La révolution de l'informatique neuromorphique

La révolution de l'informatique neuromorphique

L'informatique neuromorphique, qui comprend la production et l'utilisation de réseaux neuronaux, vise à prouver l'efficacité de tout concept sur la façon dont le cerveau exécute ses fonctions, non seulement pour prendre des décisions, mais aussi pour mémoriser des informations et même pour déduire des faits. Littéralement, "neuromorphe" signifie "prendre la forme du cerveau". Le mot clé ici est "forme", principalement parce qu'une grande partie de la recherche en IA porte sur la simulation, ou du moins l'imitation, de la fonction du cerveau. L'ingénierie d'un dispositif neuromorphe implique le développement de composants dont les fonctions sont analogues à des parties du cerveau, ou du moins à ce que l'on croit que ces parties font.

Ces composants n'ont pas la forme d'un cerveau, bien sûr, mais comme les valves d'un cœur artificiel, ils remplissent le rôle de leurs homologues organiques. Certaines architectures vont jusqu'à modéliser la plasticité perçue du cerveau (sa capacité à modifier sa propre forme en fonction de sa fonction) en fournissant de nouveaux composants en fonction des besoins des tâches en cours.

Bien que la construction d'un tel dispositif puisse nous informer sur le fonctionnement de l'esprit, ou au moins révéler certaines façons dont il ne fonctionne pas, le but réel d'une telle entreprise est de produire un mécanisme qui peut "apprendre" de ses entrées d'une telle manière qu'un composant informatique classique ne puisse le faire. Le gain pourrait être une toute nouvelle classe de machines capables d'être "entraînées" à reconnaître des modèles en utilisant beaucoup, beaucoup moins d'entrées qu'un réseau neuronal classique n'en aurait besoin.

"L'un des attributs les plus attrayants de ces réseaux neuronaux est leur portabilité sur du matériel neuromorphe de faible puissance" peut-on lire dans une demande de brevet neuromorphe d'IBM effectuée en septembre 2018, "qui peut être déployé dans des appareils mobiles et des capteurs qui peuvent fonctionner en temps réel à très faible consommation". De quoi utiliser le calcul neuromorphique dans de nombreuses applications."

Bien que Google ait été un chef de file ces dernières années sur la recherche et la production de matériel dédié spécifiquement aux applications basées sur les réseaux neuronaux (les TPU), la branche neuromorphe de l'affaire est d'une toute autre nature.

Plus précisément, il ne s'agit pas d'évaluer un ensemble de données en termes de valeurs numériques, comme les échelles de 1 à 10 ou les notes en pourcentage de 0 à 100. Ses praticiens ont un autre but en tête que celui de résoudre une équation, ou simplement de produire plus de logiciels.

Ils cherchent à créer une machine cognitive, une machine qui pourrait mener à construire une théorie rationnelle du fonctionnement de l'esprit humain. Ils veulent donc comprendre les mécanismes.

Un réseau neuronal en informatique est généralement représenté par un ensemble d'éléments en mémoire, appelés axones, d'après leurs homologues en neurologie, qui sont ajustés, ou pondérés, en réponse à une série d'entrées. On dit que ces poids laissent une impression, et c'est cette impression qu'un réseau neuronal peut (espérons-le) retenir lorsqu'on lui demande de révéler les éléments communs entre les entrées. Si cette impression peut être traitée comme un "apprentissage", alors un petit réseau neuronal peut être formé pour reconnaître les lettres de l'alphabet après une formation approfondie.

Le provisionnement d'un modèle de réseau neuronal dans un environnement purement numérique nécessite une énorme quantité de données. Un fournisseur de services dans le cloud est particulièrement bien placé pour tirer parti de cette exigence, surtout s'il peut populariser les applications qui font appel à l'apprentissage automatique. C'est pourquoi Amazon et d'autres sont si enthousiastes à propos de l'IA : ils sont de grands consommateurs de données.

Pourtant, vous avez peut-être remarqué quelque chose à propos des humains. Les humains sont devenus plutôt habiles avec le cerveau qu'ils ont, et ce sans l'utilisation de connectivité vers les fournisseurs de cloud. Pour une raison quelconque, les cerveaux sont évidemment capables d'en apprendre davantage, sans le support d'AWS, Azure ou CGP. Dans un monde parfait, un système de réseau neuronal devrait donc être capable d'apprendre exactement ce qu'une application doit savoir sur le contenu d'une vidéo, par exemple, sans avoir à stocker chaque image de la vidéo en haute résolution dans le cloud.

Conceptuellement, alors qu'un ordinateur neuromorphe serait construit sur un moteur assez complexe, une fois produit en série, il pourrait devenir une machine étonnamment simple. Mais si nous avons une théorie plausible sur ce que constitue la cognition, nous pouvons synthétiser un système qui respecte les règles de cette théorie, produisant peut-être de meilleurs résultats en utilisant moins d'énergie et nécessitant moins de mémoire.

En 2012, Alors que la recherche commençait en vue de construire des modèles neuromorphes fonctionnels, une équipe de chercheurs du California NanoSystems Institute de l'UCLA écrivait ce qui suit :

"Bien que l'activité des neurones individuels se produise à des ordres de grandeur plus lents (ms) que les vitesses d'horloge des microprocesseurs modernes (ns), le cerveau humain peut largement surpasser les ordinateurs dans une variété de tâches telles que la reconnaissance d'images, en particulier pour extraire le contenu sémantique d'informations limitées ou distordues, lorsque les images sont présentées dans des résolutions considérablement réduites.

Une hypothèse pour expliquer cela est que ces capacités humaines sont le résultat d'interactions sérielles et parallèles à travers une hiérarchie de régions du cerveau dans un réseau complexe et récurrent, où les connexions entre neurones mènent souvent à des boucles de rétroaction".

Un dispositif véritablement neuromorphe, expliquent ses praticiens, comprendrait des composants qui sont physiquement auto-assemblés. Plus précisément, il s'agirait d'interrupteurs atomiques dont les jonctions magnétiques joueraient le rôle des synapses entre les neurones. Les dispositifs qui incluent ces commutateurs se comporteraient comme s'ils avaient été conçus à l'origine pour les tâches qu'ils exécutent, plutôt que comme des ordinateurs polyvalents recevant leurs instructions à partir de programmes électroniques.

Un tel dispositif ne serait pas nécessairement chargé de faire tourner des applications d'IA. Imaginez un ensemble de contrôleurs de robots dans une usine, par exemple, dont les puces pourraient réaligner leurs propres commutateurs chaque fois qu'ils détectent des modifications dans les assemblages des composants que les robots sont en train de construire. L'Internet des objets est censé résoudre le problème des dispositifs distants qui ont besoin de nouvelles instructions pour des tâches évoluées, mais si ces dispositifs étaient de conception neuromorphe, ils n'auraient peut-être pas besoin du tout d'Internet des Objets.

Et les ingénieurs neuromorphiques ont signalé une lacune dans la conception générale des puces informatiques que nous prenons rarement le temps d'examiner : comme la loi de Moore obligeait les concepteurs de puces à entasser de plus en plus de transistors sur les circuits, le nombre d'interconnexions entre ces transistors s'est multiplié de manière tout à fait massive.

D'un point de vue technique, l'efficacité de tous les fils utilisés dans ces interconnexions se dégre à chaque génération de puces. Il y a longtemps que nous avons cessé de pouvoir communiquer avec toutes les portes logiques d'un CPU pendant un seul cycle d'horloge.

Si les puces avaient été neuromorphes il y a une ou deux décennies, nous n'aurions pas eu besoin de doubler le nombre de transistors sur une puce tous les 12 à 18 mois pour atteindre les gains de performance que nous avons vus, et qui étaient de plus en plus petits de toute façon. Si l'on considère chaque interconnexion comme une sorte de "synapse virtuelle", les puces pourraient s'adapter pour mieux servir leurs programmes.

Aujourd'hui, plusieurs expériences académiques et commerciales sont en cours pour produire des modèles neuromorphes fonctionnels et reproductibles, notamment :

-SpiNNaker est un superordinateur d'entrée de gamme mis au point par des ingénieurs de l'Institut des neurosciences et de la médecine du Jülich Research Center en Allemagne, en collaboration avec l'Advanced Processor Technologies Group du Royaume-Uni de l'Université de Manchester. Son travail consiste à simuler les fonctions appelées microcircuits corticaux, et ce à une échelle de temps plus lente qu'à l'époque de leur fabrication. En août 2018, Spinnaker a effectué ce qu'on croit être la plus grande simulation de réseau neuronal à ce jour, impliquant environ 80 000 neurones reliés par quelque 300 millions de synapses.

-Intel expérimente ce qui est décrit comme une architecture de puce neuromorphe, appelée Loihi (lo - EE - hee). Intel encore aujourd'hui Intel hésite à partager des images qui révéleraient des éléments de l'architecture de Loihi. D'après les informations dont nous disposons, Loihi pourrait être produite en utilisant des techniques de lithographie à 14 nm qu'Intel et d'autres utilisent actuellement. Annoncé pour la première fois en septembre 2017 et officiellement présenté en première mondiale au CES 2018 par Brian Krzanich, alors PDG, le microcode de Loihi comprend des énoncés conçus spécifiquement pour la formation d'un réseau neuronal. Il est conçu pour implémenter un réseau neuronal de pointe (SNN - spiking neural network), dont le modèle ajoute plus de caractéristiques de type cérébrale.

-IBM de son côté maintient un projet de dispositifs et d'architectures neuromorphiques qui porte sur de nouvelles expériences en calcul analogique. Dans un article de recherche, l'équipe d'IBM a démontré comment sa mémoire non volatile à changement de phase (PCM - phase-change memory) accélère l'algorithme de rétroaction ou de rétro-propagation associé aux réseaux neuronaux. Ces chercheurs travaillent actuellement à déterminer si le PCM peut être utilisé pour modéliser des synapses synthétiques, en remplacement des matrices statiques basées sur la RAM utilisées dans ses conceptions antérieures TrueNorth et NeuroGrid (qui n'étaient pas neuromorphiques).

Certaines des recherches neuromorphiques les plus importantes ont débuté en 2002, en réponse à une suggestion des ingénieurs de la société italienne Fiat. Ils voulaient un système capable de réagir lorsqu'un conducteur s'endort au volant. James K. Gimzewski du California NanoSystems Institute (CNSI) de l'UCLA, a répondu en examinant si un commutateur atomique pouvait être déclenché par l'état de mémoire du cerveau du conducteur. C'est là que Gimzewski a commencé sa recherche d'un lien entre la nanotechnologie et la neurologie - par exemple, dans les différences mesurées de potentiel électrique entre les signaux enregistrés par la mémoire à court terme du cerveau et ceux enregistrés par la mémoire à long terme.

Walter Freeman, professeur à l'Université de Berkeley, qui, ces dernières années, a spéculé sur la relation entre la densité du tissu du cortex cérébral et rien de moins que la conscience elle-même - le processus biologique par lequel un organisme peut affirmer en toute confiance qu'il est vivant et penseur - éclaire ce lien. Walter Freeman appelle ce tissu épais à l'intérieur du néocortex qui forme l'organe de la conscience, le neuropile, et bien que le design de Gimzewski ait une échelle beaucoup plus petite, il n'a pas peur d'emprunter ce concept pour son équivalent synthétique.

En 2014, M. Gimzewski a présenté pour la première fois ses travaux de recherche, montrant des photographies d'une grille de barres de cuivre à l'échelle quasi-micronique, qui ont été traités avec une solution de nitrate d'argent. Une fois exposés au soufre à l'état gazeux, les atomes d'argent forment des nanofils d'un point à l'autre du réseau - des fils qui se comportent de manière assez correcte comme des synapses.

Le procédé de fabrication de l'équipe de la CNSI est capable, selon Gimzewski, de déposer 1 milliard d'interconnexions synaptiques par centimètre carré. (En mars 2017, Intel a annoncé qu'il avait réussi à entasser 100 millions de transistors sur une puce d'un centimètre carré de CPU.)

Bien sûr, des neurologues et des biotechniciens minimisent l'importance du modèle de calcul neuromorphique. Certains vont jusqu'à dire que, dans la mesure où les composants d'un système neuromorphe sont incomplets, tout modèle de calcul qu'il produit est totalement fantaisiste.

Gerard Marx, PDG de la société de recherche MX Biotech, basée à Jérusalem, suggère que la vision dominante du cerveau comme une sorte de forêt tropicale infinie où les arbres de neurones balancent des synapses dans la brise ouverte, est un foutaise. Selon Marx, il manque une substance appelée matrice extracellulaire (nECM), qui n'est pas une mer gélatineuse et neutre, mais plutôt un agent actif dans le processus de rappel de mémoire du cerveau.

Marx postule que la mémoire dans le cerveau biologique nécessite des neurones, du nECM, plus une variété de dopants tels que des neurotransmetteurs (NT) libérés dans le nECM. Des processus électrochimiques ont lieu entre ces trois éléments, dont les réactions chimiques sont non seulement enregistrées, mais sont perçues comme étant étroitement liées aux émotions. Les effets physiologiques associés au rappel d'un souvenir (par exemple l'hypertension artérielle, ou une respiration plus lourde) déclenchent des effets psychiques (excitation, peur, anxiété, joie) qui ont à leur tour un effet de renforcement sur la mémoire elle-même écrit Marx avec son collègue Chaim Gilon.

Cela ne veut pas dire que l'informatique neuromorphique ne peut pas être bénéfique. Mais si la théorie veut qu'elle produise de plus grands bénéfices sans tenir compte de toutes les autres parties du cerveau, alors la position de Marx est que ses praticiens devraient cesser de se faire passer pour des chirurgiens du cerveau.

Il y a une limite théorique à la puissance de traitement d'un superordinateur. Passé ce stade, l'augmentation de la charge de travail ne donne pas plus, ou pas mieux, de résultats. Cette limite a été repoussée par les progrès des microprocesseurs, y compris par l'introduction des GPU (qui étaient autrefois uniquement des processeurs graphiques) et les TPU de Google. Mais il pourrait toutefois y avoir une limite à cette limite, car la loi de Moore ne fonctionne que lorsque la physique vous donne la possibilité de réduire l'échelle.

L'ingénierie neuromorphique met en évidence la possibilité, sinon la probabilité, d'un bond en avant massif dans la performance, par le biais d'une modification radicale de ce que signifie déduire des informations de données. Et comme l'informatique quantique, elle repose sur une force de la nature que nous ne comprenons pas encore. Ici, il s'agit tout simplement du pouvoir informationnel du bruit.

Si les recherches dans ce domaine s'avèrent payantes, les superordinateurs tels que nous les percevons aujourd'hui pourraient être rendus totalement obsolètes d'ici quelques années, et remplacés par des serveurs dotés de neurones synthétiques auto-assemblables qui peuvent être enfermées dans des armoires, libérant ainsi l'espace nécessaire au fonctionnement des méga centres de données.

Médias Sociaux et Flux RSS

Twitter icon
YouTube icon
RSS icon