La nouvelle application GPT-4 peut changer la vie des personnes malvoyantes

La première application à exploiter la capacité de reconnaissance d’image du GPT-4 a été décrite comme “qui change la vie” par les utilisateurs malvoyants.

Sois mes yeux, une startup danoise, a intégré le modèle d’IA dans une nouvelle fonctionnalité destinée aux personnes aveugles ou malvoyantes. Nommé “Virtual Volunteer”, l’outil de reconnaissance d’objets peut répondre aux questions sur n’importe quelle image qui lui est envoyée.

Imaginez, par exemple, qu’un utilisateur ait faim. Ils peuvent simplement photographier un ingrédient et demander des recettes associées. S’ils préfèrent manger au restaurant, ils peuvent prendre une image d’une carte et obtenir l’itinéraire vers un restaurant. À leur arrivée, ils peuvent prendre une photo du menu et entendre les options. S’ils veulent ensuite éliminer les calories supplémentaires dans une salle de sport, ils peuvent utiliser l’appareil photo de leur smartphone pour trouver un tapis roulant.

“Je sais que nous sommes actuellement au milieu d’un cycle de battage médiatique sur l’IA, mais plusieurs de nos bêta-testeurs ont utilisé l’expression” qui change la vie “pour décrire le produit”, a déclaré Mike Buckley, PDG de By My Eyes, à TNW.

“Cela a une chance d’être transformateur en donnant à la communauté des ressources sans précédent pour mieux naviguer dans les environnements physiques, répondre aux besoins quotidiens et gagner en indépendance.”

Volontaire virtuel profite d’une mise à jour du logiciel d’OpenAI. Contrairement aux itérations précédentes des modèles tant vantés de la société, GPT-4 est multimodal, ce qui signifie qu’il peut analyser à la fois des images et du texte en tant qu’entrées.

Be My Eyes a sauté sur l’occasion pour tester la nouvelle fonctionnalité. Bien que les systèmes de conversion de texte en image ne soient pas nouveaux, la startup n’avait jamais été convaincue des performances du logiciel.

« Du trop grand nombre d’erreurs à l’incapacité de converser, les outils disponibles sur le marché n’étaient pas équipés pour répondre à bon nombre des besoins de notre communauté », déclare Buckley. “La reconnaissance d’image offerte par GPT-4 est supérieure, et les couches analytiques et conversationnelles alimentées par OpenAI augmentent la valeur et l’utilité de façon exponentielle.”

Be My Eyes soutenait auparavant les utilisateurs exclusivement avec des volontaires humains. Selon OpenAI, la nouvelle fonctionnalité peut générer le même niveau de contexte et de compréhension. Mais si l’utilisateur n’obtient pas une bonne réponse ou préfère simplement une connexion humaine, il peut toujours appeler un volontaire.