Une étude cinglante révèle l’approche néfaste de Google en matière de développement de l’IA


  • FrançaisFrançais



  • Une étude publiée en début de semaine par Surge AI semble mettre à nu l’un des plus gros problèmes qui affligent l’industrie de l’IA : conneries, pratiques d’étiquetage des données exploitantes.

    L’année dernière, Google a créé un ensemble de données appelé “GoEmotions”. Il a été présenté comme un “ensemble de données d’émotion à grain fin” – essentiellement un ensemble de données prêt à s’entraîner pour la construction d’une IA capable de reconnaître le sentiment émotionnel dans le texte.

    Par un article de blog Google:

    Dans “GoEmotions : un ensemble de données d’émotions fines”, nous décrivons GoEmotions, un ensemble de données annoté par l’homme de 58 000 commentaires Reddit extraits de sous-reddits populaires en anglais et étiquetés avec 27 catégories d’émotions. En tant que plus grand ensemble de données sur les émotions en anglais entièrement annoté à ce jour, nous avons conçu la taxonomie GoEmotions en tenant compte à la fois de la psychologie et de l’applicabilité des données.

    Salutations, humanoïdes

    Abonnez-vous à notre newsletter maintenant pour un récapitulatif hebdomadaire de nos histoires préférées sur l’IA dans votre boîte de réception.

    Voici une autre façon de le dire : Google a récupéré 58 000 commentaires Reddit, puis a envoyé ces fichiers à une société tierce pour étiquetage. Plus sur cela plus tard.

    L’étude

    Surge AI a examiné un échantillon de 1 000 commentaires étiquetés de l’ensemble de données GoEmotions et a constaté qu’une partie importante d’entre eux étaient mal étiquetés.

    Selon l’étude :

    Un énorme 30 % de l’ensemble de données est gravement mal étiqueté ! (Nous avons essayé de former nous-mêmes un modèle sur l’ensemble de données, mais avons remarqué des problèmes de qualité profonds. Nous avons donc pris 1000 commentaires aléatoires, demandé à Surgers si l’émotion d’origine était raisonnablement précise et trouvé de fortes erreurs dans 308 d’entre eux.)

    Il poursuit en soulignant certains des problèmes majeurs avec l’ensemble de données, y compris ce doozy :

    Problème n°1 : « Les commentaires Reddit ont été présentés sans métadonnées supplémentaires »

    Tout d’abord, la langue ne vit pas dans le vide ! Pourquoi présenteriez-vous un commentaire sans métadonnées supplémentaires ? Le sous-reddit et le message parent auquel il répond sont un contexte particulièrement important.

    Imaginez que vous voyez le commentaire “ses pièges cachent le putain de soleil” tout seul. Auriez-vous une idée de ce que cela signifie ? Probablement pas – c’est peut-être pour cela que Google l’a mal étiqueté.

    Et si on vous disait que ça vient du subreddit /r/nattyorjuice dédié à la musculation ? Vous rendriez-vous compte, alors, que les pièges font référence aux muscles trapézoïdaux de quelqu’un ?

    Le problème

    Ce type de données ne peut pas être correctement étiqueté. En utilisant le commentaire ci-dessus “ses pièges cachent le putain de soleil” comme exemple, il est impossible d’imaginer une seule personne sur la planète capable de comprendre tous les cas extrêmes en matière de sentiment humain.

    Ce n’est pas que les étiqueteurs n’ont pas fait du bon travail, c’est qu’on leur a confié une tâche impossible.

    Il n’y a pas de raccourcis pour glaner un aperçu des communications humaines. Nous ne sommes pas stupides comme le sont les machines. Nous pouvons incorporer tout notre environnement et notre histoire vécue dans le contexte de nos communications et, grâce à l’expression la plus apprivoisée de notre compréhension magistrale de la manipulation sémantique, transformer un non-sens en philosophie (la merde arrive) ou transformer une déclaration vraiment banale en punchline d’une blague sans âge (Pour aller de l’autre côté).

    Ce que ces chercheurs de Google ont fait, c’est passer on ne sait combien de temps et d’argent à développer une version numérique merdique d’un Magic 8-Ball. Parfois c’est vrai, parfois c’est faux, et il n’y a aucun moyen d’être sûr d’une manière ou d’une autre.

    Ce type particulier de développement de l’IA est une arnaque. C’est une arnaque. Et c’est l’une des plus anciennes du livre.

    Voici comment cela fonctionne : les chercheurs ont pris un problème impossible, “comment déterminer le sentiment humain dans un texte à grande échelle sans contexte”, et ont utilisé la magie des conneries pour en faire un problème relativement simple que n’importe quelle IA peut résoudre “comment faire correspondre mots-clés aux étiquettes.

    La raison pour laquelle c’est une arnaque est que vous n’avez pas besoin d’IA pour faire correspondre les mots-clés aux étiquettes. Enfer, vous pouviez le faire dans Microsoft Excel il y a 20 ans.

    Un peu plus profond

    Vous savez que l’ensemble de données sur lequel l’IA a été entraînée contient des données mal étiquetées. Ainsi, la seule façon d’être absolument sûr qu’un résultat donné est exact est de le vérifier vous-même – vous devez être le soi-disant humain dans la boucle. Mais qu’en est-il de tous les résultats qu’il ne renvoie pas alors qu’il le devrait ?

    Nous n’essayons pas de trouver toutes les voitures qui sont rouges dans un ensemble de données d’images automobiles. Nous prenons des décisions sur les êtres humains.

    Si l’IA se trompe et rate des voitures rouges, il est peu probable que ces voitures subissent des conséquences négatives. Et s’il étiquette accidentellement certaines voitures bleues comme rouges, ces voitures bleues devraient aller bien.

    Mais cet ensemble de données particulier est spécifiquement conçu pour la prise de décision liée aux résultats humains.

    Par Google :

    C’est un objectif à long terme de la communauté de recherche de permettre aux machines de comprendre le contexte et les émotions, ce qui, à son tour, permettrait une variété d’applications, y compris des chatbots empathiques, des modèles pour détecter les comportements en ligne nuisibles et des interactions améliorées avec le support client.

    Encore une fois, nous savons pertinemment que tout modèle d’IA formé sur cet ensemble de données produira des sorties erronées. Cela signifie que chaque fois que l’IA prend une décision qui récompense ou punit un humain, elle cause un préjudice démontrable à d’autres humains.

    Si la sortie de l’IA peut être utilisée pour influencer les récompenses humaines – par exemple, en faisant apparaître tous les CV d’une pile qui contiennent un “sentiment positif” – nous devons supposer que certains des fichiers qu’elle n’a pas mis en évidence ont été discriminés à tort contre.

    C’est quelque chose que les humains dans la boucle ne peuvent pas aider. Il faudrait qu’une personne examine chaque dossier qui n’était pas choisi.

    Et, si l’IA a la capacité d’influencer les humains les sanctions – en supprimant, par exemple, un contenu qu’il considère comme un “discours de haine” – nous pouvons être certains que des sentiments qui objectivement ne méritent pas d’être punis seront révélés par erreur et, par conséquent, les humains seront blessés.

    Le pire de tout, étude après étude démontre que ces systèmes sont intrinsèquement pleins de préjugés humains et que les groupes minoritaires subissent toujours un impact négatif disproportionné.

    La solution

    Il n’y a qu’un seul moyen de réparer ce genre de recherche : le jeter à la poubelle.

    Notre position ici chez Neural est qu’il est totalement contraire à l’éthique de former une IA sur un contenu créé par l’homme sans le consentement individuel exprimé des humains qui l’ont créé.

    Qu’il soit légal ou non de le faire n’a aucune importance. Lorsque je poste sur Reddit, je le fais en toute bonne foi que mon discours est destiné à d’autres humains. Google ne me rémunère pas pour mes données, il ne devrait donc pas les utiliser, même si les conditions d’utilisation le permettent.

    En outre, nous sommes également d’avis qu’il est contraire à l’éthique de déployer des modèles d’IA entraînés sur des données dont l’absence d’erreurs n’a pas été vérifiée lorsque la sortie de ces modèles a le potentiel d’affecter les résultats humains.

    Dernières pensées

    Les chercheurs de Google ne sont pas stupides. Ils savent qu’un algorithme générique de “recherche et comparaison de mots-clés” ne peut pas transformer un modèle d’IA en un expert au niveau humain en psychologie, sociologie, culture pop et sémantique simplement parce qu’il l’alimente avec un ensemble de données rempli de publications Reddit mal étiquetées au hasard. .

    Vous pouvez tirer vos propres conclusions quant à leurs motivations.

    Mais aucune quantité de talent et de technologie ne peut transformer un sac plein de conneries en un modèle d’IA utile lorsque des résultats humains sont en jeu.

    Source

    N'oubliez pas de voter pour cet article !
    1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
    Loading...

    La Rédaction

    L'équipe rédactionnnelle du site

    Pour contacter personnellement le taulier :

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée.