La recherche reflète la façon dont l’IA voit à travers le miroir –

  • FrançaisFrançais



  • Les choses sont différentes de l’autre côté du miroir.

    Le texte est en arrière. Les horloges fonctionnent dans le sens antihoraire. Les voitures roulent du mauvais côté de la route. Les mains droites deviennent les mains gauches.

    Intriguée par la façon dont la réflexion modifie les images de manière subtile et pas si subtile, une équipe de chercheurs de l’Université Cornell a utilisé l’intelligence artificielle pour étudier ce qui distingue les originaux de leurs reflets. Leurs algorithmes ont appris à détecter des indices inattendus tels que les parties de cheveux, la direction du regard et, étonnamment, la barbe – des résultats ayant des implications pour la formation de modèles d’apprentissage automatique et la détection d’images fausses.

    “L’univers n’est pas symétrique. Si vous retournez une image, il y a des différences”, a déclaré Noah Snavely, professeur agrégé d’informatique à Cornell Tech et auteur principal de l’étude, “Visual Chirality”, présentée à la Conférence 2020 sur la vision par ordinateur. et Pattern Recognition, qui a eu lieu pratiquement du 14 au 19 juin. “Je suis intrigué par les découvertes que vous pouvez faire avec de nouvelles façons de glaner des informations.”

    Zhiqui Lin est le premier auteur de l’article; Les co-auteurs sont Abe Davis, professeur adjoint d’informatique, et Jin Sun, chercheur postdoctoral à Cornell Tech.

    Faire la différence entre les images originales et les reflets est une tâche étonnamment facile pour l’IA, a déclaré Snavely – un algorithme d’apprentissage en profondeur de base peut rapidement apprendre à classer si une image a été retournée avec une précision de 60% à 90%, en fonction du type d’images utilisées. pour entraîner l’algorithme. De nombreux indices qu’il détecte sont difficiles à remarquer pour les humains.

    Pour cette étude, l’équipe a développé une technologie permettant de créer une carte thermique qui indique les parties de l’image qui présentent un intérêt pour l’algorithme, afin de mieux comprendre comment il prend ces décisions.

    Ils ont découvert, sans surprise, que l’indice le plus couramment utilisé était le texte, qui semble différent en arrière dans chaque langue écrite. Pour en savoir plus, ils ont supprimé les images contenant du texte de leur ensemble de données et ont constaté que le prochain ensemble de caractéristiques sur lequel le modèle se concentrait comprenait les montres-bracelets, les cols de chemise (les boutons ont tendance à être sur le côté gauche), les visages et les téléphones – qui le plus les gens ont tendance à porter dans leurs mains droites – ainsi que d’autres facteurs révélant le droitier.

    Les chercheurs ont été intrigués par la tendance de l’algorithme à se concentrer sur les visages, qui ne semblent pas manifestement asymétriques. “D’une certaine manière, cela a laissé plus de questions que de réponses”, a déclaré Snavely.

    Ils ont ensuite mené une autre étude axée sur les visages et ont constaté que la carte de chaleur s’illuminait sur des zones telles que la partie des cheveux, le regard – la plupart des gens, pour des raisons que les chercheurs ne connaissent pas, regardent à gauche sur les photos de portrait – et la barbe.

    Snavely a déclaré que les membres de son équipe et lui-même n’avaient aucune idée des informations que l’algorithme trouve dans la barbe, mais ils ont émis l’hypothèse que la façon dont les gens se peignent ou se rasent le visage pourrait révéler de la main.

    «C’est une forme de découverte visuelle», a déclaré Snavely. «Si vous pouvez exécuter l’apprentissage automatique à grande échelle sur des millions et des millions d’images, vous pouvez peut-être commencer à découvrir de nouveaux faits sur le monde.»

    Chacun de ces indices individuellement peut ne pas être fiable, mais l’algorithme peut renforcer la confiance en combinant plusieurs indices, ont montré les résultats. Les chercheurs ont également découvert que l’algorithme utilise des signaux de bas niveau, issus de la façon dont les caméras traitent les images, pour prendre ses décisions.

    Bien qu’une étude plus approfondie soit nécessaire, les résultats pourraient avoir un impact sur la manière dont les modèles d’apprentissage automatique sont formés. Ces modèles ont besoin d’un grand nombre d’images pour apprendre à classer et à identifier les images, de sorte que les informaticiens utilisent souvent les reflets d’images existantes pour doubler efficacement leurs ensembles de données.

    Examiner en quoi ces images réfléchies diffèrent des images originales pourrait révéler des informations sur les biais possibles dans l’apprentissage automatique qui pourraient conduire à des résultats inexacts, a déclaré Snavely.

    “Cela conduit à une question ouverte pour la communauté de la vision par ordinateur: quand est-il possible de faire ce retournement pour augmenter votre jeu de données, et quand est-ce que ce n’est pas OK?” il a dit. “J’espère que cela amènera les gens à réfléchir davantage à ces questions et à commencer à développer des outils pour comprendre en quoi cela biaise l’algorithme.”

    Comprendre comment la réflexion modifie une image pourrait également aider à utiliser l’IA pour identifier des images qui ont été falsifiées ou trafiquées – un problème de plus en plus préoccupant sur Internet.

    “Il s’agit peut-être d’un nouvel outil ou d’un nouvel aperçu qui peut être utilisé dans l’univers de la criminalistique d’image, si vous voulez dire si quelque chose est réel ou non”, a déclaré Snavely.

    La recherche a été soutenue en partie par les philanthropes Eric Schmidt, ancien PDG de Google, et Wendy Schmidt.

    Source

    N'oubliez pas de voter pour cet article !
    1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
    Loading...

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée.