Les capacités de mémoire du cerveau inspirent les experts en IA à rendre les réseaux de neurones moins “oublieux”

Premier auteur et chercheur postdoctoral Gido van de Ven et chercheur principal Andreas Tolias à Baylor, avec Hava Siegelmann à UMass Amherst, écrivent dans Communications de la nature qu’ils ont développé une nouvelle méthode pour protéger – «étonnamment efficacement» – les réseaux de neurones profonds contre «l’oubli catastrophique» – lorsqu’ils apprennent de nouvelles leçons, les réseaux oublient ce qu’ils avaient appris auparavant.

Siegelmann et ses collègues soulignent que les réseaux de neurones profonds sont les principaux moteurs des récentes avancées de l’IA, mais les progrès sont freinés par cet oubli.

Ils écrivent: “Une solution serait de stocker des exemples déjà rencontrés et de les revoir lors de l’apprentissage de quelque chose de nouveau. Bien qu’une telle” répétition “ou” répétition “résout un oubli catastrophique”, ajoutent-ils, “le recyclage constant de toutes les tâches précédemment apprises est très inefficace et la quantité de données qui devrait être stockée devient rapidement ingérable. “

Contrairement aux réseaux de neurones IA, les humains sont capables d’accumuler continuellement des informations tout au long de leur vie, en s’appuyant sur les leçons précédentes. Un mécanisme important dans le cerveau censé protéger les souvenirs contre l’oubli est la répétition des modèles d’activité neuronale représentant ces souvenirs, expliquent-ils.

Siegelmann dit que la vision principale de l’équipe consiste à «reconnaître que la relecture dans le cerveau ne stocke pas de données». Au contraire, «le cerveau génère des représentations de souvenirs à un niveau élevé et plus abstrait sans qu’il soit nécessaire de générer des souvenirs détaillés». Inspirée par cela, elle et ses collègues ont créé une rediffusion artificielle semblable à un cerveau, dans laquelle aucune donnée n’est stockée. Au lieu de cela, comme le cerveau, le réseau génère des représentations de haut niveau de ce qu’il a vu auparavant.

La «relecture cérébrale générative abstraite» s’est avérée extrêmement efficace, et l’équipe a montré que rejouer seulement quelques représentations générées est suffisant pour se souvenir d’anciens souvenirs tout en en apprenant de nouveaux. La relecture générative empêche non seulement les oublis catastrophiques et fournit une nouvelle voie plus simplifiée pour l’apprentissage du système, elle permet au système de généraliser l’apprentissage d’une situation à une autre, déclarent-ils.

Par exemple, “si notre réseau avec la relecture générative apprend d’abord à séparer les chats des chiens, puis à séparer les ours des renards, il distinguera également les chats des renards sans être spécifiquement formé pour le faire. Et notamment, plus le système apprend, mieux il apprendra de nouvelles tâches », déclare van de Ven.

Lui et ses collègues écrivent: «Nous proposons une nouvelle variante de replay inspirée du cerveau dans laquelle sont rejouées des représentations internes ou cachées générées par les propres connexions de rétroaction modulées par le contexte du réseau. Notre méthode permet d’obtenir des performances de pointe sur la remise en question des repères d’apprentissage continu sans stocker de données, et il fournit un nouveau modèle pour la relecture de niveau abstrait dans le cerveau. “

Van de Ven dit: “Notre méthode fait plusieurs prédictions intéressantes sur la façon dont la relecture pourrait contribuer à la consolidation de la mémoire dans le cerveau. Nous menons déjà une expérience pour tester certaines de ces prédictions.”

Source de l’histoire:

Matériaux fourni par Université du Massachusetts Amherst. Remarque: le contenu peut être modifié pour le style et la longueur.