Des chercheurs bernois mettent au point un nouveau mécanisme d'apprentissage pour les réseaux neuronaux

Des chercheurs bernois mettent au point un nouveau mécanisme d'apprentissage pour les réseaux neuronaux

News

Berne/Heidelberg/Okinawa – Une équipe de recherche dirigée par l'Université de Berne ouvre la voie à de nouvelles architectures informatiques grâce à son nouveau mécanisme d'apprentissage pour les réseaux neuronaux. Celles-ci fonctionnent sur de longues distances sans avoir à transporter de grandes quantités d'informations. Elles sont ainsi beaucoup plus rapides et plus économes en énergie.

(CONNECT) Timo Gierlich et le Dr Mihai A. Petrovici, du groupe de recherche NeuroTMA de l’Université de Berne ont mis au point un nouveau mécanisme d’apprentissage pour les réseaux inspirés du cerveau. Pour ce faire, ils ont collaboré avec des chercheurs de l’université de Heidelberg et de l’Institut des sciences et technologies d’Okinawa.

Leur méthode, qu’ils appellent « Spike-based Alignment Learning » (SAL), utilise, selon un Communiqué des fluctuations aléatoires de l’activité des neurones artificiels afin de mettre en évidence des connexions asymétriques. Cela permet à des synapses très éloignées les unes des autres de s’harmoniser entre elles de manière autonome, sans communiquer directement entre elles. Elles utilisent en effet exclusivement les informations disponibles au niveau de la synapse elle-même. Cette approche pourrait contribuer à mieux comprendre les processus d’apprentissage dans le cerveau et à développer des systèmes informatiques robustes, économes en énergie et inspirés du cerveau. Leur étude vient d’être publiée dans la revue spécialisée « Nature Communications ».

La nouvelle méthode utilise ce qu’on appelle le « bruit », c’est-à-dire de petites fluctuations aléatoires des signaux, pour identifier les connexions du réseau qui ne sont pas encore bien synchronisées entre elles, et qui ont donc un « besoin d’apprentissage ». « Dans les systèmes techniques, le bruit est généralement considéré comme un facteur perturbateur », explique Gierlich, doctorant et premier auteur de l’étude. « Dans notre approche, cependant, il fournit précisément la variation à partir de laquelle le réseau peut extraire des informations sur ses connexions. »

L’équipe a ainsi créé une alternative à ce qu’on appelle la « rétropropagation d’erreurs ». « Notre objectif n’est pas de remplacer la rétropropagation d’erreurs sur les ordinateurs classiques », explique Petrovici. « Nous voulons comprendre comment un réseau peut apprendre efficacement même lorsque chaque connexion n’utilise que les informations directement disponibles à son emplacement. Cela permet de concevoir des architectures de calcul innovantes qui se passent du transport de grandes quantités d’informations sur de longues distances, et qui gagnent ainsi considérablement en vitesse et en efficacité énergétique.»

Les chercheurs ont testé SAL sur différents réseaux artificiels – allant de modèles inspirés du cerveau à la reconnaissance d’images. Dans tous les cas, SAL a réussi à coordonner de manière fiable les connexions nécessaires, bien que chaque connexion n’utilisait que les informations provenant de son environnement immédiat.

SAL pourrait s’avérer particulièrement intéressant pour l’informatique neuromorphique, dont le fonctionnement s’inspire du cerveau. Parmi les applications futures possibles, les chercheurs citent notamment les capteurs intelligents et les appareils portables, qui fonctionnent de manière fiable même lorsque leurs composants ou leur environnement changent. ce/mm