Utiliser l’intelligence artificielle pour générer des hologrammes 3D en temps réel –

Les hologrammes offrent une représentation exceptionnelle du monde 3D qui nous entoure. De plus, ils sont beaux. (Allez-y – regardez la colombe holographique sur votre carte Visa.) Les hologrammes offrent une perspective changeante en fonction de la position du spectateur, et ils permettent à l’œil d’ajuster la profondeur focale pour se concentrer alternativement sur le premier plan et l’arrière-plan.

Les chercheurs ont longtemps cherché à créer des hologrammes générés par ordinateur, mais le processus exigeait traditionnellement qu’un supercalculateur passe par des simulations physiques, ce qui prend du temps et peut donner des résultats moins que photoréalistes. Maintenant, les chercheurs du MIT ont développé une nouvelle façon de produire des hologrammes presque instantanément – et la méthode basée sur l’apprentissage en profondeur est si efficace qu’elle peut fonctionner sur un ordinateur portable en un clin d’œil, disent les chercheurs.

«Les gens pensaient auparavant qu’avec le matériel existant de qualité grand public, il était impossible de faire des calculs d’holographie 3D en temps réel», explique Liang Shi, auteur principal de l’étude et doctorant au Département de génie électrique et informatique du MIT (EECS). “On dit souvent que les écrans holographiques disponibles dans le commerce seront dans 10 ans, mais cette déclaration existe depuis des décennies.”

Shi pense que la nouvelle approche, que l’équipe appelle «l’holographie tensorielle», apportera enfin cet objectif insaisissable sur 10 ans à portée de main. Cette avancée pourrait alimenter un débordement de l’holographie dans des domaines tels que la réalité virtuelle et l’impression 3D.

Shi a travaillé sur l’étude, publiée dans Nature, avec son conseiller et co-auteur Wojciech Matusik. Parmi les autres co-auteurs figurent Beichen Li d’EECS et le Laboratoire d’informatique et d’intelligence artificielle du MIT, ainsi que d’anciens chercheurs du MIT Changil Kim (maintenant à Facebook) et Petr Kellnhofer (maintenant à l’Université de Stanford).

La quête d’une meilleure 3D

Une photographie typique basée sur un objectif encode la luminosité de chaque onde lumineuse – une photo peut reproduire fidèlement les couleurs d’une scène, mais elle produit finalement une image plate.

En revanche, un hologramme code à la fois la luminosité et la phase de chaque onde lumineuse. Cette combinaison offre une représentation plus fidèle de la parallaxe et de la profondeur d’une scène. Ainsi, alors qu’une photographie des «Nénuphars» de Monet peut mettre en valeur le palais des couleurs des peintures, un hologramme peut donner vie à l’œuvre, rendant la texture 3D unique de chaque coup de pinceau. Mais malgré leur réalisme, les hologrammes sont un défi à réaliser et à partager.

Développés pour la première fois au milieu des années 1900, les premiers hologrammes ont été enregistrés optiquement. Cela nécessitait de diviser un faisceau laser, avec la moitié du faisceau utilisé pour éclairer le sujet et l’autre moitié servant de référence pour la phase des ondes lumineuses. Cette référence génère la sensation unique de profondeur d’un hologramme. Les images résultantes étaient statiques, elles ne pouvaient donc pas capturer de mouvement. Et ils étaient uniquement imprimés, ce qui les rendait difficiles à reproduire et à partager.

L’holographie générée par ordinateur évite ces défis en simulant la configuration optique. Mais le processus peut être un travail de calcul. «Parce que chaque point de la scène a une profondeur différente, vous ne pouvez pas appliquer les mêmes opérations pour tous», explique Shi. “Cela augmente considérablement la complexité.” Diriger un supercalculateur en cluster pour exécuter ces simulations basées sur la physique pourrait prendre des secondes ou des minutes pour une seule image holographique. De plus, les algorithmes existants ne modélisent pas l’occlusion avec une précision photoréaliste. L’équipe de Shi a donc adopté une approche différente: laisser l’ordinateur enseigner la physique à lui-même.

Ils ont utilisé l’apprentissage en profondeur pour accélérer l’holographie générée par ordinateur, permettant ainsi la génération d’hologrammes en temps réel. L’équipe a conçu un réseau de neurones convolutifs – une technique de traitement qui utilise une chaîne de tenseurs pouvant être entraînés pour imiter à peu près la façon dont les humains traitent les informations visuelles. L’entraînement d’un réseau de neurones nécessite généralement un ensemble de données volumineux et de haute qualité, qui n’existait pas auparavant pour les hologrammes 3D.

L’équipe a construit une base de données personnalisée de 4 000 paires d’images générées par ordinateur. Chaque paire correspond à une image – y compris les informations de couleur et de profondeur pour chaque pixel – avec son hologramme correspondant. Pour créer les hologrammes dans la nouvelle base de données, les chercheurs ont utilisé des scènes avec des formes et des couleurs complexes et variables, avec une profondeur de pixels répartie uniformément de l’arrière-plan vers l’avant-plan, et avec un nouvel ensemble de calculs basés sur la physique pour gérer l’occlusion. Cette approche a abouti à des données d’entraînement photoréalistes. Ensuite, l’algorithme s’est mis au travail.

En apprenant de chaque paire d’images, le réseau de tenseurs a peaufiné les paramètres de ses propres calculs, améliorant successivement sa capacité à créer des hologrammes. Le réseau entièrement optimisé fonctionnait des ordres de grandeur plus rapidement que les calculs basés sur la physique. Cette efficacité a surpris l’équipe elle-même.

«Nous sommes étonnés de ses performances», déclare Matusik. En quelques millisecondes, l’holographie tenseur peut créer des hologrammes à partir d’images avec des informations de profondeur – qui sont fournies par des images générées par ordinateur typiques et peuvent être calculées à partir d’une configuration multicaméra ou d’un capteur LiDAR (les deux sont standard sur certains nouveaux smartphones). Cette avancée ouvre la voie à l’holographie 3D en temps réel. De plus, le réseau de tenseurs compact nécessite moins de 1 Mo de mémoire. «C’est négligeable, compte tenu des dizaines et des centaines de gigaoctets disponibles sur le dernier téléphone portable», dit-il.

“Un bond considérable”

L’holographie 3D en temps réel améliorerait un grand nombre de systèmes, de la RV à l’impression 3D. L’équipe affirme que le nouveau système pourrait aider à immerger les téléspectateurs VR dans des paysages plus réalistes, tout en éliminant la fatigue oculaire et d’autres effets secondaires de l’utilisation de la RV à long terme. La technologie pourrait être facilement déployée sur des écrans qui modulent la phase des ondes lumineuses. Actuellement, les écrans grand public les plus abordables ne modulent que la luminosité, bien que le coût des écrans à modulation de phase baisserait s’ils étaient largement adoptés.

L’holographie tridimensionnelle pourrait également stimuler le développement de l’impression 3D volumétrique, selon les chercheurs. Cette technologie pourrait s’avérer plus rapide et plus précise que l’impression 3D classique couche par couche, car l’impression 3D volumétrique permet la projection simultanée de l’ensemble du motif 3D. D’autres applications incluent la microscopie, la visualisation de données médicales et la conception de surfaces aux propriétés optiques uniques.

«C’est un bond considérable qui pourrait complètement changer les attitudes des gens envers l’holographie», dit Matusik. “Nous avons le sentiment que les réseaux de neurones sont nés pour cette tâche.”

Le travail a été soutenu, en partie, par Sony.