Les étudiants développent un outil pour prédire l’empreinte carbone des algorithmes –
Français
Au quotidien, et peut-être sans le savoir, la plupart d’entre nous sont en contact étroit avec des méthodes avancées d’IA connues sous le nom d’apprentissage profond. Les algorithmes d’apprentissage en profondeur sont désabonnés chaque fois que nous utilisons Siri ou Alexa, lorsque Netflix suggère des films et des émissions de télévision en fonction de nos historiques de visionnage, ou lorsque nous communiquons avec le chatbot du service client d’un site Web.
Cependant, la technologie qui évolue rapidement, une technologie dont on attendait autrement qu’elle serve d’arme efficace contre le changement climatique, présente un inconvénient dont beaucoup de gens ne sont pas conscients – une consommation d’énergie extrêmement élevée. L’intelligence artificielle, et en particulier le sous-domaine de l’apprentissage profond, semble susceptible de devenir un facteur climatique important si les tendances du secteur se poursuivent. En seulement six ans – de 2012 à 2018 – le calcul nécessaire à l’apprentissage profond a augmenté de 300 000%. Cependant, la consommation d’énergie et l’empreinte carbone associées au développement d’algorithmes sont rarement mesurées, malgré de nombreuses études qui démontrent clairement le problème croissant.
En réponse à ce problème, deux étudiants du département d’informatique de l’Université de Copenhague, Lasse F. Wolff Anthony et Benjamin Kanding, ainsi que le professeur assistant Raghavendra Selvan, ont développé un logiciel qu’ils appellent Carbontracker. Le programme peut calculer et prévoir la consommation d’énergie et le CO2 émissions de modèles d’apprentissage profond de la formation.
“Les développements dans ce domaine vont incroyablement vite et les modèles d’apprentissage en profondeur sont de plus en plus volumineux et avancés. En ce moment, il y a une croissance exponentielle. Et cela signifie une consommation d’énergie croissante à laquelle la plupart des gens ne semblent pas penser”, selon Lasse F. Wolff Anthony.
Une session de formation = la consommation d’énergie annuelle de 126 foyers danois
La formation en apprentissage profond est le processus au cours duquel le modèle mathématique apprend à reconnaître des modèles dans de grands ensembles de données. Il s’agit d’un processus énergivore qui se déroule sur du matériel spécialisé et énergivore fonctionnant 24 heures sur 24.
«Au fur et à mesure que les ensembles de données s’élargissent de jour en jour, les problèmes que les algorithmes doivent résoudre deviennent de plus en plus complexes», déclare Benjamin Kanding.
L’un des plus grands modèles d’apprentissage en profondeur développés à ce jour est le modèle de langage avancé connu sous le nom de GPT-3. En une seule session de formation, on estime qu’il utilise l’équivalent de la consommation d’énergie d’un an de 126 foyers danois et émet la même quantité de CO2 que 700 000 kilomètres de conduite.
«Dans quelques années, il y aura probablement plusieurs modèles qui seront plusieurs fois plus grands», explique Lasse F. Wolff Anthony.
Marge d’amélioration
“Si la tendance se poursuit, l’intelligence artificielle pourrait finir par être un contributeur important au changement climatique. Il ne s’agit pas de freiner le développement technologique. Ces développements offrent des opportunités fantastiques pour aider notre climat. Il s’agit plutôt de prendre conscience du problème. et réflexion: comment pourrions-nous nous améliorer? ” explique Benjamin Kanding.
L’idée de Carbontracker, qui est un programme gratuit, est de fournir au terrain une base pour réduire l’impact climatique des modèles. Entre autres, le programme recueille des informations sur la quantité de CO2 est utilisé pour produire de l’énergie dans la région où se déroule la formation en Deep Learning. Cela permet de convertir la consommation d’énergie en CO2 prévisions d’émissions.
Parmi leurs recommandations, les deux étudiants en informatique suggèrent que les praticiens de l’apprentissage profond examinent le moment où leurs formations modèles ont lieu, car l’alimentation n’est pas également verte sur une période de 24 heures, ainsi que le type de matériel et d’algorithmes qu’ils déploient.
“Il est possible de réduire considérablement l’impact sur le climat. Par exemple, il est pertinent si l’on choisit de former son modèle en Estonie ou en Suède, où l’empreinte carbone d’un modèle de formation peut être réduite de plus de 60 fois grâce à des approvisionnements énergétiques plus verts. . Les algorithmes varient également beaucoup dans leur efficacité énergétique. Certains nécessitent moins de calcul, et donc moins d’énergie, pour obtenir des résultats similaires. Si l’on peut régler ces types de paramètres, les choses peuvent changer considérablement », conclut Lasse F. Wolff Anthony.
