Un bracelet 3D à détection de main annonce l’avenir de la technologie portable –

Le bracelet, appelé FingerTrak, peut détecter et traduire en 3D les nombreuses positions de la main humaine, y compris 20 positions des articulations des doigts, à l’aide de trois ou quatre caméras thermiques miniatures à basse résolution qui lisent les contours sur le poignet. L’appareil pourrait être utilisé dans la traduction en langue des signes, la réalité virtuelle, la santé mobile, l’interaction homme-robot et d’autres domaines, selon les chercheurs.

“Ce fut une découverte majeure de notre équipe – qu’en regardant les contours de votre poignet, la technologie pouvait reconstruire en 3D, avec une précision extrême, où se trouvent vos doigts”, a déclaré Cheng Zhang, professeur assistant en sciences de l’information et directeur du nouveau Cornell. SciFi Lab, où FingerTrak a été développé. “C’est le premier système à reconstruire la posture de votre main en fonction des contours du poignet.”

Les anciennes caméras montées au poignet ont été considérées comme trop volumineuses et envahissantes pour un usage quotidien, et la plupart ne pouvaient reconstruire que quelques gestes discrets de la main.

La percée de FingerTrak est un bracelet léger, permettant une liberté de mouvement. Au lieu d’utiliser des caméras pour capturer directement la position des doigts, objet de la plupart des recherches antérieures, FingerTrak utilise une combinaison d’imagerie thermique et d’apprentissage automatique pour reconstruire virtuellement la main. Les quatre caméras thermiques miniatures du bracelet – chacune de la taille d’un pois – capturent plusieurs images de «silhouette» pour former un contour de la main.

Un réseau neuronal profond assemble ensuite ces images de silhouette et reconstruit la main virtuelle en 3D. Grâce à cette méthode, Zhang et ses collègues chercheurs ont pu capturer toute la pose de la main, même lorsque la main tient un objet.

Bien que la technologie ait un large éventail d’utilisations possibles, Zhang a déclaré que le plus prometteur était son application potentielle dans la traduction en langue des signes.

“La technologie actuelle de traduction en langue des signes oblige l’utilisateur à porter un gant ou à avoir une caméra dans l’environnement, qui sont tous deux encombrants”, a-t-il déclaré. “Cela pourrait vraiment pousser la technologie actuelle dans de nouveaux domaines.”

FingerTrak pourrait également avoir un impact sur les applications des soins de santé, en particulier dans la surveillance des troubles qui affectent la motricité fine, a déclaré Yin Li, professeur adjoint de biostatistique et d’informatique médicale à l’Université du Wisconsin, Madison School of Medicine and Public Health, qui a contribué à le logiciel derrière FingerTrak.

«La façon dont nous bougeons nos mains et nos doigts révèle souvent notre état de santé», a déclaré Li. “Un appareil comme celui-ci pourrait être utilisé pour mieux comprendre comment les personnes âgées utilisent leurs mains dans la vie quotidienne, aidant à détecter les premiers signes de maladies comme la maladie de Parkinson et la maladie d’Alzheimer.”

“FingerTrak: Suivi continu de la pose de la main en 3D par des silhouettes de main en apprentissage profond capturées par des caméras thermiques miniatures sur le poignet” a été publié dans les actes de l’Association for Computing Machinery on Interactive, Mobile, Wearable and Ubiquitous Technologies. Il sera également présenté à la conférence conjointe internationale ACM 2020 sur l’informatique omniprésente et omniprésente, qui aura lieu pratiquement du 12 au 16 septembre.

Source de l’histoire:

Matériaux fourni par L’Université de Cornell. Original écrit par Louis DiPietro. Remarque: le contenu peut être modifié pour le style et la longueur.