Robo-teammate peut détecter et partager les changements 3D en temps réel –

Même de petits changements dans votre environnement peuvent indiquer un danger. Imaginez qu’un robot puisse détecter ces changements et qu’un avertissement puisse vous alerter immédiatement via un affichage dans vos lunettes. C’est ce que les scientifiques de l’armée américaine développent avec des capteurs, des robots, une détection des changements en temps réel et des dispositifs portables de réalité augmentée.

Des chercheurs de l’armée ont démontré dans un environnement réel la première équipe homme-robot dans laquelle le robot détecte les changements physiques en 3D et partage ces informations avec un humain en temps réel grâce à la réalité augmentée, qui est alors en mesure d’évaluer les informations reçues et de décider. action de suivi.

“Cela pourrait permettre aux robots d’informer leurs coéquipiers Soldier des changements dans l’environnement qui pourraient être négligés ou non perceptibles par le Soldat, leur donnant une meilleure connaissance de la situation et les compensant par rapport aux adversaires potentiels”, a déclaré le Dr Christopher Reardon, chercheur à l’armée américaine Laboratoire de recherche de l’armée du Commandement de développement des capacités de combat. “Cela pourrait détecter n’importe quoi, des soldats ennemis camouflés aux EEI.”

Dans le cadre des efforts du laboratoire en matière de compréhension contextuelle par le biais du programme de recherche essentielle sur l’intelligence artificielle pour la mobilité et les manœuvres, cette recherche explore comment fournir une conscience contextuelle aux plates-formes robotiques autonomes au sol dans des scénarios de manœuvre et de mobilité. Les chercheurs participent également avec des partenaires de la coalition internationale au Défi stratégique de l’environnement urbain contesté du Programme de coopération technique, ou TTCP CUESC, des événements pour tester et évaluer les technologies d’association homme-robot.

La plupart des recherches universitaires sur l’utilisation d’interfaces de réalité mixte pour l’association homme-robot ne pénètrent pas dans les environnements du monde réel, mais utilisent plutôt une instrumentation externe dans un laboratoire pour gérer les calculs nécessaires au partage d’informations entre un humain et un robot. De même, la plupart des efforts d’ingénierie pour fournir aux humains des interfaces de réalité mixte n’examinent pas l’association avec des robots mobiles autonomes, a déclaré Reardon.

Reardon et ses collègues de l’armée et de l’Université de Californie à San Diego ont publié leur recherche, Enabling Situationational Awareness via Augmented Reality of Autonomous Robot-Based Environmental Change Detection, à la 12e Conférence internationale sur la réalité virtuelle, augmentée et mixte, partie de la Conférence internationale sur l’interaction homme-machine.

La recherche a associé un petit robot terrestre mobile autonome, équipé de capteurs de télémétrie laser, connus sous le nom de LIDAR, pour construire une représentation de l’environnement, avec un coéquipier humain portant des lunettes de réalité augmentée. Au fur et à mesure que le robot patrouillait dans l’environnement, il a comparé ses lectures actuelles et précédentes pour détecter les changements dans l’environnement. Ces changements ont ensuite été instantanément affichés dans les lunettes de l’homme pour déterminer si l’homme pouvait interpréter les changements dans l’environnement.

En étudiant la communication entre le robot et l’équipe humaine, les chercheurs ont testé des capteurs LIDAR de résolution différente sur le robot pour collecter des mesures de l’environnement et détecter les changements. Lorsque ces changements ont été partagés en utilisant la réalité augmentée avec l’humain, les chercheurs ont découvert que les coéquipiers humains pouvaient interpréter les changements que même les LIDAR à basse résolution détectaient. Cela indique que – en fonction de la taille des changements attendus – des capteurs plus légers, plus petits et moins chers pourraient tout aussi bien fonctionner et fonctionner plus rapidement dans le processus.

Cette capacité a le potentiel d’être intégrée dans les futures interfaces de réalité mixte Soldier telles que les lunettes de système intégré de renforcement visuel de l’armée, ou IVAS.

“L’intégration de la réalité mixte dans la protection oculaire des soldats est inévitable”, a déclaré Reardon. «Cette recherche vise à combler les lacunes en incorporant des informations utiles provenant des coéquipiers du robot dans l’écosystème d’augmentation visuelle porté par le soldat, tout en faisant des robots de meilleurs coéquipiers pour le soldat.

Les études futures continueront d’explorer comment renforcer l’association entre les humains et les agents autonomes en permettant à l’humain d’interagir avec les changements détectés, ce qui fournira plus d’informations au robot sur le contexte du changement – par exemple, les changements apportés par les adversaires par rapport aux changements environnementaux naturels ou faux positifs, a déclaré Reardon. Cela améliorera la compréhension du contexte autonome et les capacités de raisonnement de la plate-forme robotique, par exemple en permettant au robot d’apprendre et de prédire quels types de changements constituent une menace. À son tour, fournir cette compréhension à l’autonomie aidera les chercheurs à apprendre comment améliorer l’association des soldats avec des plates-formes autonomes.