L’approche ne nécessite ni studio ni caméras spécialisées –
Français
Des chercheurs de l’Université Carnegie Mellon ont démontré qu’ils pouvaient combiner des vidéos iPhone prises «dans la nature» par des caméras séparées pour créer des visualisations 4D permettant aux spectateurs de regarder l’action sous différents angles, voire d’effacer des personnes ou des objets qui bloquent temporairement les lignes de vue.
Imaginez une visualisation d’une réception de mariage, où les danseurs peuvent être vus sous autant d’angles qu’il y avait de caméras, et l’invité éméché qui a marché devant la fête nuptiale est introuvable.
Les vidéos peuvent être tournées indépendamment de divers points de vue, comme cela pourrait se produire lors d’un mariage ou d’une fête d’anniversaire, a déclaré Aayush Bansal, Ph.D. étudiant à l’Institut de robotique de la CMU. Il est également possible d’enregistrer des acteurs dans un cadre, puis de les insérer dans un autre, a-t-il ajouté.
«Nous ne sommes limités que par le nombre de caméras», a déclaré Bansal, sans limite supérieure sur le nombre de flux vidéo pouvant être utilisés.
Bansal et ses collègues ont présenté leur méthode de visualisation 4D lors de la conférence virtuelle Computer Vision and Pattern Recognition le mois dernier.
La “réalité virtualisée” n’a rien de nouveau, mais dans le passé elle a été limitée aux configurations de studio, telles que Panoptic Studio de CMU, qui possède plus de 500 caméras vidéo intégrées dans ses murs géodésiques. La fusion d’informations visuelles de scènes du monde réel prises à partir de plusieurs caméras portables indépendantes en un seul modèle complet capable de reconstruire une scène 3D dynamique n’a tout simplement pas été possible.
Bansal et ses collègues ont contourné cette limitation en utilisant des réseaux neuronaux convolutifs (CNN), un type de programme d’apprentissage en profondeur qui s’est avéré apte à analyser les données visuelles. Ils ont découvert que les CNN spécifiques à la scène pouvaient être utilisés pour composer différentes parties de la scène.
Les chercheurs de la CMU ont démontré leur méthode en utilisant jusqu’à 15 iPhones pour capturer une variété de scènes – danses, démonstrations d’arts martiaux et même flamants roses à la National Aviary de Pittsburgh.
“Le but de l’utilisation des iPhones était de montrer que n’importe qui peut utiliser ce système”, a déclaré Bansal. “Le monde est notre studio.”
La méthode ouvre également une multitude d’applications potentielles dans l’industrie cinématographique et les appareils grand public, d’autant plus que la popularité des casques de réalité virtuelle ne cesse de croître.
Bien que la méthode ne capture pas nécessairement les scènes avec des détails 3D complets, le système peut limiter les angles de lecture afin que les zones incomplètement reconstruites ne soient pas visibles et que l’illusion de l’imagerie 3D ne soit pas brisée.
Vidéo: https://www.youtube.com/watch?v=quovnDPwL1k&feature=youtu.be
Source de l’histoire:
Matériaux fourni par L’université de Carnegie Mellon. Original écrit par Byron Spice. Remarque: le contenu peut être modifié pour le style et la longueur.
