Est-ce que les algorithmes construisent une nouvelle infrastructure du racisme ?

On entend constamment que les algorithmes vont révolutionner le monde dans tous les secteurs. Mais depuis quelques années, de nombreuses recherches révèlent le sexisme, le racisme et d’autres discriminations sur les données qu’on utilise pour entrainer ces algorithmes. Le résultat est que ces algorithmes vont créer des autoroutes et des ponts d’informations qui seront profondément discriminants.


On entend constamment que les algorithmes vont révolutionner le monde dans tous les secteurs. Mais depuis quelques années, de nombreuses recherches révèlent le sexisme, le racisme et d'autres discriminations sur les données qu'on utilise pour entrainer ces algorithmes. Le résultat est que ces algorithmes vont créer des autoroutes et des ponts d'informations qui seront profondément discriminants.
kellepics / Pixabay

Nous ne savons pas à quoi ressemblent nos clients a déclaré Craig Berman, vice-président des communications mondiales chez Amazon à Bloomberg en juin 2015. Berman répondait aux allégations selon lesquelles le service de livraison le jour même de l’entreprise discriminait les personnes de couleur. Dans le sens le plus littéral, la défense de Berman était véridique. Amazon sélectionne les zones de livraison le jour même sur la base des coûts et des avantages tels que le revenu du ménage et l’accessibilité de la livraison. Mais ces facteurs sont agrégés par code postal ce qui signifie qu’ils portent d’autres influences qui ont façonné et continuent à façonner notre géographie culturelle. En regardant la carte de service le jour même, la correspondance avec la couleur de la peau est difficile à manquer.

La discrimination native dans les algorithmes

De telles cartes évoquent des hommes comme Robert Moses, le planificateur principal qui, au fil des décennies, a façonné une grande partie de l’infrastructure de la ville moderne de New York et des banlieues environnantes. Malheureusement, il ne voulait pas que les pauvres, en particulier les pauvres de couleur, utilisent les nouveaux parcs publics et les plages qu’il construisait à Long Island. Même s’il a travaillé à adopter une loi interdisant les autobus publics sur les autoroutes, Moïse savait que la loi pourrait un jour être abrogée. Il a donc construit quelque chose de bien plus durable. Des passages trop bas pour laisser passer les bus publics en concrétisant littéralement la discrimination. L’effet de ces décisions et de dizaines de décisions similaires était profond et persistant. Des décennies plus tard, les lois sur les autobus ont été inversées, mais les villes qui bordent les autoroutes demeurent toujours aussi isolées. La législation peut toujours être modifiée selon Moses. Mais il est très difficile de démolir un pont une fois qu’il est en place.

Aujourd’hui, un nouvel ensemble d’autoroutes, construites à partir de données façonnées par les anciennes structures, renforcent ces divisions. Alors que les architectes de la nouvelle infrastructure peuvent ne pas avoir la même intention insidieuse, ils ne peuvent pas non plus prétendre ignorer leur impact. Les professionnels de Big Data savent que les ensembles de données volumineux et richement détaillés qu’Amazon et d’autres sociétés utilisent pour fournir des services personnalisés contiennent inévitablement des empreintes digitales d’attributs tels que la couleur de la peau, le sexe et l’orientation sexuelle et politique. Les décisions, prises par ces algorithmes sur la base de ces données et avec ces attributs biaisés, sont aussi insondables que contraires à l’éthique.

WikiImages / Pixabay

Kate Crawford étudie les préjugés algorithmiques chez Microsoft Research et elle a co-fondé l’initiative AI Now, un effort de recherche axé sur les dangers posés par les systèmes d’intelligence artificielle tels qu’ils sont utilisés aujourd’hui. Elle m’a dit qu’une question fondamentale dans l’équité algorithmique est le degré auquel on peut créer des algorithmes pour comprendre le contexte social et historique des données qu’ils utilisent. Vous pouvez dire à un opérateur humain d’essayer de prendre en compte la façon dont les données sont elles-mêmes une représentation de l’histoire humaine selon Crawford. Mais comment former une machine pour le faire ? Les machines, qui ne peuvent pas comprendre le contexte de cette manière, ne feront que transmettre, au mieux, la discrimination institutionnalisée.

Des efforts incomplets pour corriger les préjugés cachés peuvent aggraver les choses. Un collègue de Crawford, Solon Barocas de l’Université Cornell, a observé que les utilisateurs finaux peuvent accepter sans critique les affirmations des concepteurs que les algorithmes ont été nettoyés des préjugés. C’est particulièrement vrai pour les applications, comme le système judiciaire où le statu quo regorge de préjugés et où la promesse de machines plus objectives est très prometteuse. Éliminer les biais algorithmiques peut également exiger de privilégier une définition subjective de ce que signifie être équitable par rapport à un autre et ce qui est choisi est généralement ce qui est le plus facile à quantifier plutôt que le plus équitable.

Cependant, pour tous ces pièges, trouver et combattre les préjugés dans les données et les algorithmes s’accompagne d’une petite opportunité : elle peut mieux afficher les contours des préjugés.

COMPAS ou la discrimination algorithmique de la justice envers les noirs

COMPAS est un logiciel utilisé par les tribunaux à travers les États-Unis. Le programme estime la probabilité qu’un condamné récidive en fonction de sa réponse à 137 questions du sondage. Cette estimation est ensuite utilisée pour éclairer les décisions de mise en liberté sous caution. Le questionnaire COMPAS ne pose pas de questions sur la couleur de la peau, le revenu ou même le code postal. Mais il pose des questions telles que si un accusé vit dans un quartier avec beaucoup de crime et s’il a eu de la difficulté à trouver un emploi qui paie plus que le salaire minimum. Que ces questions soient mieux posées à une société plutôt qu’à un individu en souligne le biais. Les réponses sont corrélées avec les attributs protégés incluant la race ce qui signifie que les algorithmes peuvent apprendre à voir efficacement ces attributs dans les données. Cependant, Northpointe, la société derrière COMPAS, a prétendu avoir calibré COMPAS de sorte que la précision de ses prédictions soit indépendante de la couleur de la peau.

En 2015, des journalistes de ProPublica ont tenté de tester cette affirmation en utilisant les archives publiques d’un client de COMPAS avec le comté de Broward en Floride. Ils ont conclu que, lorsque COMPAS a prédit qu’un accusé était à risque élevé et que l’accusé avait alors été à nouveau arrêté, alors sa prédiction était en fait incolore au sens le plus direct du terme. Mais lorsque la prédiction de COMPAS était inexacte (soit pour prédire une nouvelle arrestation quand il n’y en avait pas, soit pour ne pas prédire une réelle ré-arrestation), alors le logiciel sous-estimait systématiquement la probabilité de récidive blanche et surestimait la probabilité de récidive noire. En d’autres termes, il contenait un biais caché à la perspective d’un ensemble de statistiques, mais clairement visible dans un autre.

On entend constamment que les algorithmes vont révolutionner le monde dans tous les secteurs. Mais depuis quelques années, de nombreuses recherches révèlent le sexisme, le racisme et d'autres discriminations sur les données qu'on utilise pour entrainer ces algorithmes. Le résultat est que ces algorithmes vont créer des autoroutes et des ponts d'informations qui seront profondément discriminants.

ProPublica a rapporté cette découverte dans un article sous-titré Il existe un logiciel utilisé à travers le pays pour prédire les futurs criminels. Et c’est biaisé contre les Noirs. Northpointe a contesté leur évaluation et il a répondu par une ré-analyse statistique de leurs revendications. Northpointe a écarté l’argument de la disparité des taux d’erreur en se concentrant plutôt sur le fait que les scores de risque reflètent une prévalence réelle et sous-jacente. Davantage de prévenus afro-américains vont en fait être ré-arrêtés. Cela signifie, ont-ils soutenu, qu’il n’est pas surprenant qu’ils aient des scores de risque plus élevés en tant que population.

Au centre de l’argumentation de Northpointe, il y avait une erreur essentialiste. Comme les personnes que la police classifiait comme Afro-Américains étaient plus souvent arrêtées dans l’ensemble de données pour l’apprentissage, COMPAS est conçu pour prédire que d’autres personnes classées comme Afro-Américains par la police même dans une ville, un état et une période de temps différents, sont plus susceptibles d’être ré-arrêtés. Le cycle de la classification dans les données fait écho à la définition de W. E. B. Du Bois en 1923, l’homme noir est l’homme qui doit conduire Jim Crow en Géorgie. (Les lois Jim Crow ont été l’un des éléments majeurs de la Ségrégation raciale aux États-Unis).

Alors que cet épisode illustrait de nombreux dangers des décisions algorithmiques, il produisit aussi une vague de recherches académiques qui arrivèrent à une conclusion surprenante. L’idée même d’assigner un score de risque à un défendeur implique un compromis entre deux définitions différentes et incompatibles du mot Juste. De plus, ce compromis est universel. Tout système qui exécute ce processus aura ce défi, me dit Jon Kleinberg, professeur d’informatique à Cornell, qu’il s’agisse d’un algorithme ou d’un système de décideurs humains.

Kleinberg et ses collègues ont publié une étude prouvant que les deux définitions de l’équité utilisées par Northpointe et ProPublica sont mathématiquement incompatibles. En termes techniques, ce qu’ils ont montré est que la parité prédictive (si les scores de risque ont la même précision globale pour les défendeurs noirs et blancs) et l’équilibre des taux d’erreur (si les scores de risque obtiennent le résultat de la même manière pour différents groupes). Quand le taux de base de la mesure des résultats, ré-arrêt, dans le cas de COMPAS, est différent entre deux groupes, le fait d’appliquer le même standard aux deux groupes introduira nécessairement un biais de taux d’erreur contre le groupe ayant le taux de base plus élevé. C’est la calibration qui provoque ce problème selon Kleinberg. C’est le cas de tout système qui utilise des scores de risque, qu’il s’agisse d’un algorithme machine ou d’une institution humaine, quels que soient les facteurs utilisés pour les générer.

On entend constamment que les algorithmes vont révolutionner le monde dans tous les secteurs. Mais depuis quelques années, de nombreuses recherches révèlent le sexisme, le racisme et d'autres discriminations sur les données qu'on utilise pour entrainer ces algorithmes. Le résultat est que ces algorithmes vont créer des autoroutes et des ponts d'informations qui seront profondément discriminants.

Remarquablement, cette incompatibilité n’avait jamais été montrée auparavant. Sa découverte fait ressortir l’un des grands avantages de l’ère du big data. La logique de nos décisions peut être formellement analysée et séparée numériquement d’une manière qui était auparavant impossible. Par conséquent, les juges savent maintenant qu’ils doivent tenir compte de ces déséquilibres plus généraux dans les décisions qu’ils prennent. Les problèmes qui ont émergé chez ProPublica concernaient la façon dont nous pensons à la prédiction autant que la façon dont nous pensons aux algorithmes explique Kleinberg.

Les universitaires ont également suggéré comment COMPAS pourrait être corrigé. Alexandra Chouldechova, professeure de statistiques et de politique publique à l’école Heinz de l’Université Carnegie Mellon, a montré que si les concepteurs de COMPAS lui permettent d’être légèrement plus inexact pour les accusés afro-américains, alors ils peuvent faire en sorte que l’algorithme fasse des erreurs avec la même fréquence pour différentes races. C’est peut-être un compromis que vous voulez faire selon la chercheuse.

Le sexisme caché de Google Translate

Google Translate a un sexisme caché. Pour le voir, essayez de traduire les expressions o bir doktor et o bir hemşire du turc vers l’anglais. Étant donné que les phrases turques utilisent le pronom neutre o, Google Translate est obligé de choisir un pronom propre au genre. Le résultat est qu’il traduit la première phrase à il est médecin et la seconde à elle est infirmière.

Le sexisme caché de Google Translate

Le sexisme caché de Google Translate

La traduction fait l’objet d’un papier publié en 2016 par Tolga Bolukbasi et ses collègues de l’Université de Boston en tant qu’exemple d’un type de modèle de langage connu sous le nom de plongement de mots (Word Embedding). Ces modèles, utilisés pour alimenter les services de traduction, les algorithmes de recherche et les fonctions de saisie semi-automatique, sont formés sur des corpus de langage naturel (comme les articles de Google Actualités), généralement sans intervention d’experts en langage humain. Les mots du modèle sont cartographiés en tant que points dans un espace de haute dimension de sorte que la distance et la direction entre une paire donnée de mots indiquent à quel point ils sont proches dans le sens et leur relation sémantique.

Par exemple, la distance entre Homme et Femme est à peu près la même et dans la même direction, Roi vient de Reine. Les modèles d’inclusion de mots peuvent également perpétuer des biais cachés comme ceux de la traduction Google. L’infrastructure, des milliards de textes collectés dans des corpus numériques au cours des décennies, commence à informer notre communication quotidienne d’une manière difficile à comprendre et à changer. Mais la plupart des préjugés sont codés par l’infrastructure (les institutions humaines) avant leur intégration sous forme numérique. Et comme avec COMPAS, le fait d’étudier ces biais tels qu’ils apparaissent dans les algorithmes présente une nouvelle opportunité.

Bolukbasi et ses collègues ont mis au point une technique pour dé-polariser le langage en déplaçant les mots dans les espaces des modèles de plongement de mots. Imaginez que vous placez les mots docteur, infirmière, homme et femme sur les points d’un carré avec un homme et une femme en bas et un médecin et une infirmière en haut. La ligne reliant le médecin et l’infirmière est exactement parallèle à celle entre l’homme et la femme. Par conséquent, le système considère leur relation comme analogue. La stratégie de débiaisage de Bolukbasi pousse le médecin et l’infirmière au milieu du bord supérieur de sorte que médecin et infirmière soient à la même distance de l’homme et de la femme. Le système a oublié l’analogie. Le pronom utilisé par la traduction est un choix laissé aux concepteurs du système.

Les biais énormes du plongement de mots (Word Embedding)

L’impact du déplacement des associations entre les mots peut être considérable. Arvind Narayanan, professeur d’informatique à l’Université de Princeton, a développé un outil de mesure des préjugés dans les modèles d’apprentissage automatique en collaboration avec ses collègues Aylin Caliskan et Joanna Bryson. Le trio a commencé avec une mesure psychologique très étudiée appelée le test d’association implicite. Dans une variante commune du test, plus la rapidité avec laquelle les sujets affirment l’association de mots positifs avec des mots reflétant des catégories sociales est grande, plus grande est leur facilité avec cette association. Dans de nombreux cas, la différence moyenne dans le temps de réponse, généralement de l’ordre de quelques millisecondes, est une mesure du degré de biais implicite. Narayanan et ses collègues ont échangé le temps de réponse pour la distance entre les mots créant ce qu’ils appellent un test d’association de mots. Le test d’association de plongement de mot a répliqué le même ensemble de stéréotypes que les études de test d’association implicite ont identifiées sur le même ensemble de mots.

On entend constamment que les algorithmes vont révolutionner le monde dans tous les secteurs. Mais depuis quelques années, de nombreuses recherches révèlent le sexisme, le racisme et d'autres discriminations sur les données qu'on utilise pour entrainer ces algorithmes. Le résultat est que ces algorithmes vont créer des autoroutes et des ponts d'informations qui seront profondément discriminants.

Au cours de deux décennies, le test de l’association implicite a révélé une grande variété de biais implicites du genre à la nationalité en passant par la race entre les populations et dans de nombreux contextes différents. Étant donné que les préjugés sont si omniprésents, certains ont spéculé que les tendances humaines naturelles telles que les hiérarchies de domination ou l’identification au sein du groupe sont responsables de ces préjugés. De ce point de vue, le préjugé est un fait inévitable de la nature humaine. Les auteurs du papier sur le plongement de mots spéculent que leurs travaux soutiennent une autre possibilité, bien que non exclusive, que la simple exposition au langage contribue à ces biais implicites dans nos esprits. Autrement dit, si les préjugés sont reflétés et donc transmis dans les statistiques de la langue elle-même, alors la façon dont nous parlons ne communique pas seulement la façon dont nous nous voyons, mais elle le construit. Si des projets de débiaisage comme celui de Bolukbasi peuvent fonctionner, alors nous pouvons commencer à modifier nos biais à l’échelle et d’une manière qui était auparavant impossible en utilisant un logiciel. Si ce n’est pas le cas, alors nous risquons de renforcer et de perpétuer ces préjugés à travers une infrastructure numérique qui peut durer des générations.

Déformer les mathématiques pour corriger les biais

L’idée que vous pouvez le faire est plutôt intéressante me dit Narayanan. Pourtant, il se demande jusqu’où cela peut aller. Il souligne que l’article de Bolukbasi suppose que le genre est binaire ou du moins que la connexion entre les mots genrés suit une ligne droite. Je ne pense pas que nous ayons la moindre idée de la manière dont le débiaisage peut fonctionner pour un concept plus complexe. Il souligne en particulier les stéréotypes raciaux où la notion même de catégories est aussi problématique que les moyens utilisés pour les définir.

Quand je pose cette question à Bolukbasi, il répond que l’approche peut en principe fonctionner avec n’importe quel nombre de catégories bien qu’il admette qu’il nécessite des catégories distinctes. Il a utilisé des travailleurs recrutés par Amazon Mechanical Turk (un service promu comme “l’Intelligence Artificielle artificielle”) pour décider des catégories dans son travail de genre. Les mêmes travailleurs ont également évalué quelles analogies étaient biaisées et si le programme réussissait à éliminer ces biais. En d’autres termes, la décision sur ce qui est biaisé et ce que cela signifie pour un biais à éliminer, reste profondément liée au consensus social médian en codant un frein populiste au progrès.

Il y a des préoccupations encore plus décourageantes. Barocas et Crawford ont récemment souligné que la plupart des travaux sur l’équité dans les algorithmes se sont concentrés sur ce que l’on appelle les dommages allocatifs qui sont la répartition des ressources telle que le service le jour même ou les jugements tels que les scores de risque. Ils appellent à plus d’attention à ce que les spécialistes connaissent comme les préjudices représentationnels. Une recherche de Google Image pour PDG, par exemple, produit des images qui sont en grande majorité des hommes blancs. Narayanan estime que ces problèmes peuvent être négligés dans les discussions d’équité, car ils sont plus difficiles à formuler mathématiquement en informatique. Si vous ne pouvez pas étudier formellement quelque chose, alors son existence n’est pas aussi légitime que quelque chose que vous pouvez transformer en équation ou un algorithme.

La requête "PDG" dans Google Image affiche uniquement des hommes blancs

La requête “PDG” dans Google Image affiche uniquement des hommes blancs

Dans le pire des cas, ces limitations et d’autres sur notre traitement du biais dans les données feront en sorte que ces algorithmes vont construire des ponts de discrimination de cette génération en projetant le statu quo pour les années à venir. Dans le meilleur des cas, l’infrastructure de données nous obligera à exposer et à confronter nos définitions de l’équité et de la prise de décision d’une manière que nous n’aurions peut-être pas envisagée.

Il est difficile de détruire le pont de la discrimination une fois qu’il est construit

Cette tension est difficile à concilier avec nos notions habituelles de progrès technologique. Il est tentant de présumer que la technologie évolue plus rapidement que la société et que les logiciels peuvent renforcer le progrès social en encodant rapidement de nouvelles normes et en les isolant des acteurs régressifs ou malveillants. Un algorithme de détermination de peine peut faire moins de mal qu’un juge manifestement sectaire. Mais cela peut aussi obscurcir l’histoire et le contexte du parti pris et entraver ou même empêcher le progrès. L’infrastructure est difficile et la fenêtre d’opportunité se rétrécit. La technologie peut s’améliorer dans le futur, mais nous prenons des décisions sur les compromis à faire aujourd’hui. On ne sait pas à quelle fréquence ou même si nous aurons l’occasion de revoir ces compromis.

Après tout, plus les algorithmes deviennent omniprésents, moins ils sont susceptibles d’être remplacés. Même si nous pouvons améliorer nos téléphones tous les deux ans, il existe de sérieux obstacles à la rénovation de l’infrastructure logicielle de base. Considérez combien la technologie dépassée imprègne déjà nos vies. Les systèmes de contrôle du trafic aérien, par exemple, fonctionnent en grande partie sur un logiciel construit dans les années 1970. Le récent ransomware WannaCry, qui a paralysé les systèmes hospitaliers à travers le Royaume-Uni, a exploité le fait que ces systèmes fonctionnaient sur une version de Windows vieille de plusieurs décennies que Microsoft ne prenait même pas la peine de maintenir. Une compréhension du langage par la machine, intégrée dans les services de base, pourrait porter les préjugés présents pendant des années ou des décennies. Selon les mots de l’artiste Nicole Aptekar, l’infrastructure forge l’intention.

Le plus grand danger de la nouvelle infrastructure numérique n’est pas qu’elle se désintègre ou qu’elle soit vulnérable aux attaques, mais que ses pires caractéristiques persistent. Il est très difficile de démolir un pont une fois qu’il est en place.

Traduction d’un article de Nautilus d’Aaron M. Bornstein du Princeton Neuroscience Institute.

N'oubliez pas de voter pour cet article !
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading...

Houssen Moshinaly

Rédacteur web depuis 2009 et journaliste scientifique. Je suis également un blogueur dans la vulgarisation scientifique et la culture.

Je m'intéresse à des sujets comme les cryptomonnaie, l'activisme, mais également la politique. Je touche à tout et je le partage via mes blogs et mes réseaux.

Pour me contacter personnellement :

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *