Après que les IA aient maîtrisé Go et Super Mario, les scientifiques leur ont appris à “ jouer ” des expériences –

  • FrançaisFrançais



  • Inspirés par la maîtrise de l’intelligence artificielle (IA) sur des jeux comme Go et Super Mario, les scientifiques de la National Synchrotron Light Source II (NSLS-II) ont formé un agent d’IA – un programme de calcul autonome qui observe et agit – comment conduire des expériences de recherche à des niveaux surhumains en utilisant la même approche. L’équipe de Brookhaven a publié ses résultats dans la revue Apprentissage automatique: science et technologie et mis en œuvre l’agent IA dans le cadre des capacités de recherche du NSLS-II.

    En tant que centre utilisateur du bureau de la science du Département américain de l’énergie (DOE) situé au Brookhaven National Laboratory du DOE, NSLS-II permet des études scientifiques par plus de 2000 chercheurs chaque année, offrant ainsi un accès aux rayons X ultra-lumineux de l’installation. Des scientifiques du monde entier viennent sur place pour faire progresser leurs recherches dans des domaines tels que les batteries, la microélectronique et le développement de médicaments. Cependant, le temps passé aux stations expérimentales de NSLS-II – appelées lignes de lumière – est difficile à obtenir car près de trois fois plus de chercheurs aimeraient les utiliser que n’importe quelle station peut gérer en une journée – malgré les opérations de l’installation 24h / 24 et 7j / 7.

    «Étant donné que le temps passé dans nos installations est une ressource précieuse, il est de notre responsabilité d’en être de bons gestionnaires; cela signifie que nous devons trouver des moyens d’utiliser cette ressource plus efficacement afin de permettre plus de science», a déclaré Daniel Olds, scientifique de la ligne de lumière. au NSLS-II et auteur correspondant de l’étude. “Un goulot d’étranglement, c’est nous, les humains qui mesurons les échantillons. Nous proposons une stratégie initiale, mais nous l’ajustons à la volée pendant la mesure pour nous assurer que tout se passe bien. Mais nous ne pouvons pas regarder la mesure tout le temps parce que nous devons aussi manger, dormir et faire plus que simplement faire l’expérience. »

    «C’est pourquoi nous avons appris à un agent de l’IA à mener des expériences scientifiques comme s’il s’agissait de jeux vidéo. Cela permet à un robot de mener l’expérience, alors que nous – les humains – ne sommes pas là. Cela permet 24 heures sur 24, à distance , une expérimentation pratique avec environ deux fois l’efficacité que les humains peuvent atteindre », a ajouté Phillip Maffettone, associé de recherche au NSLS-II et premier auteur de l’étude.

    Selon les chercheurs, ils n’avaient même pas à donner à l’agent d’IA les règles du «jeu» pour exécuter l’expérience. Au lieu de cela, l’équipe a utilisé une méthode appelée «apprentissage par renforcement» pour former un agent d’IA sur la façon de mener une expérience scientifique réussie, puis a testé son agent sur des données de recherche simulées à partir de la ligne de lumière de la fonction de distribution de paires au NSLS-II.

    Expériences de ligne de faisceau: un défi de niveau boss

    L’apprentissage par renforcement est une stratégie pour former un agent d’IA à maîtriser une capacité. L’idée de l’apprentissage par renforcement est que l’agent d’IA perçoit un environnement – un monde – et peut l’influencer en effectuant des actions. Selon la manière dont l’agent de l’IA interagit avec le monde, il peut recevoir une récompense ou une pénalité, indiquant si cette interaction spécifique est un bon choix ou une mauvaise. L’astuce est que l’agent IA conserve la mémoire de ses interactions avec le monde, afin qu’il puisse apprendre de l’expérience pour le moment où il essaie à nouveau. De cette façon, l’agent IA comprend comment maîtriser une tâche en collectant le plus de récompenses.

    “L’apprentissage par renforcement se prête vraiment à apprendre aux agents d’IA à jouer à des jeux vidéo. Il est plus efficace avec des jeux qui ont un concept simple – comme collecter autant de pièces que possible – mais qui ont également des couches cachées, comme des tunnels secrets contenant plus de pièces. . Les expériences sur la ligne de faisceau suivent une idée similaire: le concept de base est simple, mais il y a des secrets cachés que nous voulons découvrir. Fondamentalement, pour qu’un agent IA exécute notre ligne de lumière, nous devions transformer notre ligne de lumière en un jeu vidéo “, a déclaré Olds.

    Maffettone a ajouté: “La comparaison avec un jeu vidéo fonctionne bien pour la ligne de lumière. Dans les deux cas, l’agent IA agit dans un monde avec des règles claires. Dans le monde de Super Mario, l’agent IA peut choisir de déplacer Mario vers le haut, vers le bas, à gauche, à droite; tandis que sur la ligne de lumière, les actions seraient les mouvements de l’échantillon ou du détecteur et de décider quand prendre des données. Le vrai défi est de simuler correctement l’environnement – un jeu vidéo comme Super Mario est déjà un monde simulé et vous pouvez simplement laisser l’agent d’IA jouer un million de fois pour l’apprendre. Donc, pour nous, la question était de savoir comment simuler une ligne de lumière de telle sorte que l’agent d’IA puisse jouer un million d’expériences sans les exécuter. Maffettone.

    L’équipe a «gamifié» la ligne de lumière en construisant une version virtuelle de celle-ci qui simulait les mesures que la ligne de lumière réelle peut faire. Ils ont utilisé des millions d’ensembles de données que l’agent d’IA pouvait rassembler en «jouant» pour exécuter des expériences sur la ligne de lumière virtuelle.

    «La formation de ces IA est très différente de la plupart des programmes que nous faisons sur les lignes de lumière. Vous ne dites pas explicitement aux agents ce qu’ils doivent faire, mais vous essayez de trouver une structure de récompense qui leur permette de se comporter comme vous le souhaitez. C’est un peu comme apprendre à un enfant comment jouer à des jeux vidéo pour la première fois. Vous ne voulez pas leur dire tous les mouvements qu’ils doivent faire, vous voulez qu’ils commencent à déduire eux-mêmes les stratégies. ” Dit Olds.

    Une fois que la ligne de lumière a été simulée et que l’agent de l’IA a appris à mener des expériences de recherche à l’aide de la ligne de lumière virtuelle, il était temps de tester la capacité de l’IA à traiter de nombreux échantillons inconnus.

    «Les expériences les plus courantes sur notre ligne de lumière impliquent de un à des centaines d’échantillons qui sont souvent des variations du même matériau ou de matériaux similaires – mais nous n’en savons pas assez sur les échantillons pour comprendre comment nous pouvons les mesurer de la meilleure façon. Donc, en tant qu’humains, nous aurions besoin de les parcourir tous, un par un, de prendre une mesure instantanée, puis, sur la base de ce travail, de trouver une bonne stratégie. Maintenant, nous laissons simplement l’agent d’IA pré-formé le faire. », a déclaré Olds.

    Dans leurs scénarios de recherche simulés, l’agent d’IA a pu mesurer des échantillons inconnus avec une efficacité jusqu’à deux fois supérieure à celle des humains dans des circonstances fortement contraintes, telles qu’un temps de mesure limité.

    “Nous n’avons pas eu à programmer dans la logique d’un scientifique sur la façon de mener une expérience, il a compris ces stratégies par lui-même grâce à un jeu répétitif.” Dit Olds.

    Découverte des matériaux: chargement d’un nouveau jeu

    L’agent d’IA étant prêt pour l’action, il était temps pour l’équipe de comprendre comment elle pourrait mener une véritable expérience en déplaçant les composants réels de la ligne de lumière. Pour relever ce défi, les scientifiques se sont associés au groupe d’acquisition, de gestion et d’analyse des données de NSLS-II pour créer l’infrastructure backend. Ils ont développé un programme appelé Adaptatif Bluesky, qui agit comme une interface générique entre les outils d’IA et Bluesky – la suite logicielle qui exécute toutes les lignes de lumière de NSLS-II. Cette interface a jeté les bases nécessaires pour utiliser des outils d’IA similaires sur l’une des 28 autres lignes de lumière du NSLS-II.

    “Notre agent peut désormais non seulement être utilisé pour un type d’échantillon ou un type de mesure – il est très adaptable. Nous sommes en mesure de l’ajuster ou de l’étendre selon les besoins. Maintenant que le pipeline existe, cela me prendrait 45 minutes. parler à la personne et 15 minutes à mon clavier pour adapter l’agent à ses besoins », a déclaré Maffettone.

    L’équipe prévoit d’exécuter les premières expériences réelles en utilisant l’agent d’IA ce printemps et collabore activement avec d’autres lignes de lumière du NSLS-II pour rendre l’outil accessible pour d’autres mesures.

    «Utiliser le temps de nos instruments plus efficacement, c’est comme faire fonctionner un moteur plus efficacement – nous faisons plus de découvertes chaque année. Nous espérons que notre nouvel outil permettra une nouvelle approche transformatrice pour augmenter notre production en tant qu’installation utilisateur avec les mêmes ressources. “

    L’équipe qui a rendu cet avancement possible se compose également de Joshua K. Lynch, Thomas A. Caswell et Stuart I. Campbell du NSLS-II DAMA Group et Clara E. Cook de l’Université de Buffalo.

    Cette étude a été soutenue par un fonds de recherche et développement dirigé par le laboratoire BNL (LDRD) et le Bureau des sciences (BES) du département américain de l’énergie (DOE). La National Synchrotron Light Source II (NSLS-II) est une installation utilisateur du DOE Office of Science exploitée pour le DOE Office of Science par le Brookhaven National Laboratory.

    Source

    N'oubliez pas de voter pour cet article !
    1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
    Loading...

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée.