Le système reconnaît les gestes de la main pour étendre la saisie de l’ordinateur sur un clavier –

Le prototype, appelé “Typealike”, fonctionne via une webcam d’ordinateur portable ordinaire avec un simple miroir apposé. Le programme reconnaît les mains de l’utilisateur à côté ou à proximité du clavier et propose des opérations en fonction des différentes positions des mains.

Un utilisateur pourrait, par exemple, placer sa main droite avec le pouce pointant vers le haut à côté du clavier, et le programme reconnaîtrait cela comme un signal pour augmenter le volume. Différents gestes et différentes combinaisons de gestes peuvent être programmés pour effectuer un large éventail d’opérations.

L’innovation dans le domaine de l’interaction homme-machine vise à rendre l’expérience utilisateur plus rapide et plus fluide, avec moins de raccourcis clavier ou de travail avec une souris et un trackpad.

« Tout a commencé avec une idée simple sur de nouvelles façons d’utiliser une webcam », a déclaré Nalin Chhibber, une récente diplômée de maîtrise de la Cheriton School of Computer Science de l’Université de Waterloo. « La webcam est pointée sur votre visage, mais la plupart des interactions qui se produisent sur un ordinateur se situent autour de vos mains. Nous avons donc pensé : que pourrions-nous faire si la webcam pouvait capter les gestes de la main ? »

L’idée initiale a conduit au développement d’un petit accessoire mécanique qui redirige la webcam vers le bas vers les mains. L’équipe a ensuite créé un logiciel capable de comprendre des gestes de la main distincts dans des conditions variables et pour différents utilisateurs. L’équipe a utilisé des techniques d’apprentissage automatique pour former le programme Typealike.

“C’est un réseau de neurones, vous devez donc montrer les exemples d’algorithmes de ce que vous essayez de détecter”, a déclaré Fabrice Matulic, chercheur principal chez Preferred Networks Inc. et ancien chercheur postdoctoral à Waterloo. “Certaines personnes feront des gestes un peu différemment, et les mains varient en taille, vous devez donc collecter beaucoup de données auprès de différentes personnes avec des conditions d’éclairage différentes.”

L’équipe a enregistré une base de données de gestes de la main avec des dizaines de volontaires de recherche. Ils ont également demandé aux volontaires de faire des tests et des sondages pour aider l’équipe à comprendre comment rendre le programme aussi fonctionnel et polyvalent que possible.

“Nous cherchons toujours à créer des choses que les gens peuvent facilement utiliser”, a déclaré Daniel Vogel, professeur agrégé d’informatique à Waterloo. “Les gens regardent quelque chose comme Typealike, ou d’autres nouvelles technologies dans le domaine de l’interaction homme-machine, et ils disent que cela a du sens. C’est ce que nous voulons. Nous voulons créer une technologie intuitive et simple, mais parfois cela prend beaucoup de recherches complexes et de logiciels sophistiqués.”

Les chercheurs disent qu’il existe d’autres applications pour le programme Typealike en réalité virtuelle où il pourrait éliminer le besoin de contrôleurs portables.

Source de l’histoire :

Matériaux fourni par Université de Waterloo. Remarque : Le contenu peut être modifié pour le style et la longueur.