Les grands modèles de langage informatique comportent des risques environnementaux et sociaux –

Mais cette capacité de calcul impressionnante a des coûts réels, y compris la perpétuation du racisme et des dommages environnementaux importants, selon un nouveau document, “Sur les dangers des perroquets stochastiques: les modèles de langage peuvent-ils être trop grands?” Le document est présenté le mercredi 10 mars à la Conférence ACM sur l’équité, la responsabilité et la transparence (ACM FAccT).

Il s’agit de la première revue exhaustive de la littérature entourant les risques associés à la croissance rapide des technologies d’apprentissage des langues, a déclaré Emily M. Bender, professeur de linguistique à l’Université de Washington et auteur principal de l’article avec Timnit Gebru, un puits -connu chercheur en IA.

“La question que nous nous posons est de savoir quels sont les dangers possibles de cette approche et les réponses que nous donnons impliquent de parcourir la littérature dans un large éventail de domaines et de les rassembler”, ont déclaré Bender, qui est l’UW Howard et Frances Nostrand. Professeur doté.

Ce que les chercheurs ont découvert, c’est qu’il y a des inconvénients à la puissance de calcul toujours croissante mise dans les modèles de langage naturel. Ils discutent de la manière dont la taille toujours croissante des données de formation pour la modélisation du langage exacerbe les problèmes sociaux et environnementaux. De façon alarmante, ces modèles de langage perpétuent le langage hégémonique et peuvent tromper les gens en leur faisant croire qu’ils ont une «vraie» conversation avec une personne plutôt qu’avec une machine. Les besoins informatiques accrus de ces modèles contribuent en outre à la dégradation de l’environnement.

Les auteurs ont été motivés à écrire l’article en raison d’une tendance dans le domaine vers des modèles de langage toujours plus larges et leurs sphères d’influence croissantes.

L’article a déjà suscité une large attention en raison, en partie, du fait que deux des co-auteurs de l’article disent avoir été licenciés récemment de Google pour des raisons qui restent incertaines. Margaret Mitchell et Gebru, les deux désormais anciens chercheurs de Google, ont déclaré qu’ils soutenaient la bourse d’études du document et pointent ses conclusions comme un appel clair à l’industrie à en tenir compte.

«Il est très clair que la prise en compte des préoccupations doit se faire maintenant, car il est déjà trop tard», a déclaré Mitchell, chercheur en IA.

Il faut une énorme quantité de puissance de calcul pour alimenter les programmes de langage modèle, a déclaré Bender. Cela prend de l’énergie à une échelle énorme et cela, selon les auteurs, entraîne une dégradation de l’environnement. Et ces coûts ne sont pas supportés par les ingénieurs informaticiens, mais plutôt par des personnes marginalisées qui ne peuvent pas assumer les coûts environnementaux.

“Ce n’est pas seulement qu’il y a de grands impacts énergétiques ici, mais aussi que les impacts carbone de cela entraîneront des coûts en premier pour les personnes qui ne bénéficient pas de cette technologie”, a déclaré Bender. «Lorsque nous effectuons une analyse coûts-avantages, il est important de penser à qui bénéficie des avantages et qui en paie les coûts, car ce ne sont pas les mêmes personnes.

La grande échelle de cette puissance de calcul peut également restreindre l’accès aux seules entreprises et groupes de recherche les mieux dotés en ressources, laissant de côté les petits développeurs en dehors des États-Unis, du Canada, de l’Europe et de la Chine. C’est parce qu’il faut d’énormes machines pour exécuter le logiciel nécessaire pour que les ordinateurs imitent la pensée et la parole humaines.

Un autre risque vient des données de formation elles-mêmes, disent les auteurs. Parce que les ordinateurs lisent le langage du Web et d’autres sources, ils peuvent capter et perpétuer des idéologies racistes, sexistes, capables, extrémistes et autres préjudiciables.

“L’une des erreurs dans lesquelles les gens tombent est bien, Internet est grand, Internet est tout. Si je ne fais que gratter tout Internet, alors j’ai clairement intégré divers points de vue”, a déclaré Bender. “Mais lorsque nous avons fait une revue étape par étape de la littérature, cela dit que ce n’est pas le cas pour le moment car tout le monde n’est pas sur Internet, et parmi les personnes qui sont sur Internet, tout le monde n’est pas socialement à l’aise de participer à la même chose. chemin.”

Et les gens peuvent confondre les modèles de langage pour une véritable interaction humaine, croyant qu’ils parlent réellement avec une personne ou lisent quelque chose qu’une personne a parlé ou écrit, alors qu’en fait, le langage provient d’une machine. Ainsi, les perroquets stochastiques.

“Il produit ce texte apparemment cohérent, mais il n’a aucune intention de communication. Il n’a aucune idée de ce qu’il dit. Il n’y a pas là-bas”, a déclaré Bender.