Ce bras robotique fusionne les données d’une caméra et d’une antenne pour localiser et récupérer des objets, même s’ils sont enfouis sous un tas. —

Des chercheurs du MIT ont créé un système robotique qui peut faire exactement cela. Le système, RFusion, est un bras robotisé avec une caméra et une antenne radiofréquence (RF) fixée à sa pince. Il fusionne les signaux de l’antenne avec l’entrée visuelle de la caméra pour localiser et récupérer un objet, même si l’objet est enterré sous un tas et complètement hors de vue.

Le prototype RFusion développé par les chercheurs repose sur des étiquettes RFID, qui sont des étiquettes bon marché et sans batterie qui peuvent être collées à un objet et refléter les signaux envoyés par une antenne. Étant donné que les signaux RF peuvent traverser la plupart des surfaces (comme le monticule de linge sale qui peut masquer les touches), RFusion est capable de localiser un article étiqueté dans une pile.

Grâce à l’apprentissage automatique, le bras robotique se met automatiquement à zéro sur l’emplacement exact de l’objet, déplace les objets dessus, saisit l’objet et vérifie qu’il a ramassé la bonne chose. La caméra, l’antenne, le bras robotique et l’IA sont entièrement intégrés, de sorte que RFusion peut fonctionner dans n’importe quel environnement sans nécessiter une configuration spéciale.

Bien qu’il soit utile de trouver des clés perdues, RFusion pourrait avoir de nombreuses applications plus larges à l’avenir, comme trier des piles pour exécuter des commandes dans un entrepôt, identifier et installer des composants dans une usine de fabrication automobile ou aider une personne âgée à effectuer des tâches quotidiennes à la maison, bien que le prototype actuel ne soit pas encore assez rapide pour ces utilisations.

« Cette idée de pouvoir trouver des objets dans un monde chaotique est un problème ouvert sur lequel nous travaillons depuis quelques années. Avoir des robots capables de rechercher des objets sous une pile est un besoin croissant dans l’industrie aujourd’hui. maintenant, vous pouvez considérer cela comme un Roomba sous stéroïdes, mais à court terme, cela pourrait avoir de nombreuses applications dans les environnements de fabrication et d’entrepôt », a déclaré l’auteur principal Fadel Adib, professeur agrégé au Département de génie électrique et d’informatique. et directeur du groupe Signal Kinetics au MIT Media Lab.

Les co-auteurs incluent l’assistante de recherche Tara Boroushaki, l’auteur principal ; Isaac Perper, étudiant diplômé en génie électrique et en informatique; associé de recherche Mergen Nachin; et Alberto Rodriguez, professeur agrégé de la promotion 1957 au département de génie mécanique. La recherche sera présentée à l’Association for Computing Machinery Conference on Embedded Networked Senor Systems le mois prochain.

Envoi de signaux

RFusion commence à rechercher un objet à l’aide de son antenne, qui renvoie des signaux sur l’étiquette RFID (comme la lumière du soleil réfléchie sur un miroir) pour identifier une zone sphérique dans laquelle se trouve l’étiquette. Il combine cette sphère avec l’entrée de la caméra, ce qui réduit l’emplacement de l’objet. Par exemple, l’élément ne peut pas être situé sur une zone d’une table qui est vide.

Mais une fois que le robot a une idée générale de l’endroit où se trouve l’objet, il doit faire pivoter son bras largement autour de la pièce en prenant des mesures supplémentaires pour trouver l’emplacement exact, ce qui est lent et inefficace.

Les chercheurs ont utilisé l’apprentissage par renforcement pour former un réseau neuronal qui peut optimiser la trajectoire du robot vers l’objet. Dans l’apprentissage par renforcement, l’algorithme est entraîné par essais et erreurs avec un système de récompense.

“C’est aussi ainsi que notre cerveau apprend. Nous sommes récompensés par nos professeurs, par nos parents, par un jeu informatique, etc. La même chose se produit dans l’apprentissage par renforcement. Nous laissons l’agent faire des erreurs ou faire quelque chose de bien, puis nous punissons ou récompenser le réseau. C’est ainsi que le réseau apprend quelque chose qu’il est vraiment difficile de modéliser », explique Boroushaki.

Dans le cas de RFusion, l’algorithme d’optimisation a été récompensé lorsqu’il a limité le nombre de déplacements qu’il a dû effectuer pour localiser l’article et la distance qu’il a dû parcourir pour le ramasser.

Une fois que le système a identifié exactement le bon endroit, le réseau de neurones utilise des informations RF et visuelles combinées pour prédire comment le bras robotique doit saisir l’objet, y compris l’angle de la main et la largeur de la pince, et s’il doit d’abord retirer d’autres éléments. . Il scanne également l’étiquette de l’article une dernière fois pour s’assurer qu’il a récupéré le bon objet.

Couper dans le désordre

Les chercheurs ont testé RFusion dans plusieurs environnements différents. Ils ont enterré un porte-clés dans une boîte pleine de désordre et caché une télécommande sous une pile d’objets sur un canapé.

Mais s’ils avaient fourni toutes les données de la caméra et les mesures RF à l’algorithme d’apprentissage par renforcement, cela aurait submergé le système. Ainsi, en s’appuyant sur la méthode utilisée par un GPS pour consolider les données des satellites, ils ont résumé les mesures RF et limité les données visuelles à la zone juste devant le robot.

Leur approche a bien fonctionné : RFusion a obtenu un taux de réussite de 96 % lors de la récupération d’objets entièrement cachés sous une pile.

“Parfois, si vous vous fiez uniquement aux mesures RF, il y aura une valeur aberrante, et si vous ne vous fiez qu’à la vision, il y aura parfois une erreur de la caméra. Mais si vous les combinez, ils vont corriger C’est ce qui a rendu le système si robuste », dit Boroushaki.

À l’avenir, les chercheurs espèrent augmenter la vitesse du système afin qu’il puisse se déplacer en douceur, plutôt que de s’arrêter périodiquement pour prendre des mesures. Cela permettrait à RFusion d’être déployé dans un environnement de fabrication ou d’entrepôt à rythme rapide.

Au-delà de ses utilisations industrielles potentielles, un système comme celui-ci pourrait même être intégré dans les futures maisons intelligentes pour aider les personnes à effectuer un certain nombre de tâches ménagères, explique Boroushaki.

“Chaque année, des milliards d’étiquettes RFID sont utilisées pour identifier des objets dans les chaînes d’approvisionnement complexes d’aujourd’hui, y compris des vêtements et de nombreux autres biens de consommation. L’approche RFusion ouvre la voie à des robots autonomes capables de creuser un tas d’articles mélangés et de les trier en utilisant les données stockées dans les étiquettes RFID, beaucoup plus efficacement que d’avoir à inspecter chaque élément individuellement, en particulier lorsque les éléments ressemblent à un système de vision par ordinateur », explique Matthew S. Reynolds, CoMotion Presidential Innovation Fellow et professeur agrégé d’électricité et d’informatique ingénierie à l’Université de Washington, qui n’a pas participé à la recherche. « L’approche RFusion est un grand pas en avant pour la robotique opérant dans des chaînes d’approvisionnement complexes où l’identification et la ” sélection ” du bon article rapidement et avec précision sont la clé pour que les commandes soient exécutées à temps et que les clients exigeants soient satisfaits. “

La recherche est parrainée par la National Science Foundation, une bourse de recherche Sloan, NTT DATA, Toppan, Toppan Forms et le laboratoire Abdul Latif Jameel Water and Food Systems.

Vidéo sur le système RFusion : https://www.youtube.com/watch?v=iqehzw_aLc0&t=4s