Estimation de la pose de la main en 3D à l’aide d’une caméra portée au poignet –
Français
Des chercheurs du Tokyo Institute of Technology (Tokyo Tech) travaillant en collaboration avec des collègues de l’Université Carnegie Mellon, de l’Université de St Andrews et de l’Université de New South Wales ont développé un appareil porté au poignet pour l’estimation 3D de la pose de la main. Le système se compose d’une caméra qui capture des images du dos de la main et est pris en charge par un réseau neuronal appelé DorsalNet qui peut reconnaître avec précision les gestes dynamiques.
Être capable de suivre les gestes de la main est d’une importance cruciale pour faire progresser les appareils de réalité augmentée (RA) et de réalité virtuelle (VR) qui commencent déjà à être très demandés dans les secteurs médical, sportif et du divertissement. À ce jour, ces dispositifs impliquaient l’utilisation de gants de données volumineux qui tendent à gêner les mouvements naturels ou de contrôleurs avec une plage de détection limitée.
Désormais, une équipe de recherche dirigée par Hideki Koike de Tokyo Tech a mis au point un système de reconnaissance de la pose de la main 3D au poignet, basé sur une caméra, qui pourrait à l’avenir être comparable à une montre intelligente. Leur système peut permettre de capturer les mouvements de la main dans des environnements mobiles.
«Ce travail est le premier estimateur de pose de la main 3D en temps réel basé sur la vision utilisant des caractéristiques visuelles de la région de la main dorsale», expliquent les chercheurs. Le système se compose d’une caméra supportée par un réseau neuronal appelé DorsalNet qui peut estimer avec précision les poses de la main 3D en détectant les changements dans le dos de la main.
Les chercheurs ont confirmé que leur système surpasse les travaux antérieurs avec une précision moyenne de 20% supérieure dans la reconnaissance des gestes dynamiques et atteint une précision de 75% pour détecter onze types de préhension différents.
Les travaux pourraient faire progresser le développement de contrôleurs prenant en charge l’interaction à main nue. Lors de tests préliminaires, les chercheurs ont démontré qu’il serait possible d’utiliser leur système pour le contrôle des appareils intelligents, par exemple en changeant l’heure sur une smartwatch simplement en changeant l’angle du doigt. Ils ont également montré qu’il serait possible d’utiliser le système comme une souris ou un clavier virtuel, par exemple en faisant tourner le poignet pour contrôler la position du pointeur et en utilisant un simple clavier à 8 touches pour la saisie.
Ils soulignent que d’autres améliorations du système, telles que l’utilisation d’une caméra avec une fréquence d’images plus élevée pour capturer les mouvements rapides du poignet et la capacité de faire face à des conditions d’éclairage plus diverses, seront nécessaires pour une utilisation dans le monde réel.
Source de l’histoire:
Matériaux fourni par Institut de technologie de Tokyo. Remarque: le contenu peut être modifié pour le style et la longueur.
