La méthode évite les scanners, les configurations d’appareils photo et les studios coûteux –

  • FrançaisFrançais



  • Normalement, il faut un équipement coûteux et une expertise pour créer une reconstruction 3D précise du visage de quelqu’un qui est réaliste et n’a pas l’air effrayant. Maintenant, les chercheurs de l’Université Carnegie Mellon ont réussi l’exploit en utilisant une vidéo enregistrée sur un smartphone ordinaire.

    L’utilisation d’un smartphone pour filmer une vidéo continue de l’avant et des côtés du visage génère un nuage dense de données. Un processus en deux étapes développé par l’Institut de robotique de la CMU utilise ces données, avec l’aide d’algorithmes d’apprentissage en profondeur, pour construire une reconstruction numérique du visage. Les expériences de l’équipe montrent que leur méthode peut atteindre une précision submillimétrique, surpassant les autres processus basés sur des caméras.

    Un visage numérique pourrait être utilisé pour créer un avatar pour le jeu ou pour la réalité virtuelle ou augmentée, et pourrait également être utilisé dans l’animation, l’identification biométrique et même les procédures médicales. Un rendu 3D précis du visage peut également être utile pour créer des masques chirurgicaux ou des respirateurs personnalisés.

    “Construire une reconstruction 3D du visage a été un problème ouvert en vision par ordinateur et en graphisme, car les gens sont très sensibles à l’apparence des traits du visage”, a déclaré Simon Lucey, professeur de recherche associé à l’Institut de robotique. “Même de légères anomalies dans les reconstructions peuvent rendre le résultat final irréaliste.”

    Les scanners laser, la lumière structurée et les configurations de studio multicaméra peuvent produire des scans très précis du visage, mais ces capteurs spécialisés sont d’un coût prohibitif pour la plupart des applications. Cependant, la méthode nouvellement développée par CMU ne nécessite qu’un smartphone.

    La méthode, que Lucey a développée avec les étudiants de maîtrise Shubham Agrawal et Anuj Pahuja, a été présentée début mars lors de la conférence d’hiver IEEE sur les applications de la vision par ordinateur (WACV) à Snowmass, Colorado. Cela commence par le tournage de 15 à 20 secondes de vidéo. Dans ce cas, les chercheurs ont utilisé un iPhone X dans le cadre du ralenti.

    “La fréquence d’images élevée du ralenti est l’un des éléments clés de notre méthode car elle génère un nuage de points dense”, a déclaré Lucey.

    Les chercheurs utilisent ensuite une technique couramment utilisée appelée localisation et cartographie visuelle simultanée (SLAM). Visual SLAM triangule des points sur une surface pour calculer sa forme, tout en utilisant ces informations pour déterminer la position de la caméra. Cela crée une géométrie initiale de la face, mais les données manquantes laissent des vides dans le modèle.

    Dans la deuxième étape de ce processus, les chercheurs s’efforcent de combler ces lacunes, tout d’abord en utilisant des algorithmes d’apprentissage en profondeur. L’apprentissage profond est cependant utilisé de manière limitée: il identifie le profil de la personne et les points de repère tels que les oreilles, les yeux et le nez. Des techniques classiques de vision par ordinateur sont ensuite utilisées pour combler les lacunes.

    «L’apprentissage en profondeur est un outil puissant que nous utilisons tous les jours», a déclaré Lucey. «Mais l’apprentissage en profondeur a tendance à mémoriser des solutions», ce qui va à l’encontre des efforts visant à inclure des détails distinctifs du visage. “Si vous utilisez ces algorithmes uniquement pour trouver les points de repère, vous pouvez utiliser des méthodes classiques pour combler les lacunes beaucoup plus facilement.”

    La méthode n’est pas nécessairement rapide; il a fallu 30 à 40 minutes de temps de traitement. Mais l’ensemble du processus peut être effectué sur un smartphone.

    En plus des reconstructions de visage, les méthodes de l’équipe CMU pourraient également être utilisées pour capturer la géométrie de presque tous les objets, a déclaré Lucey. Les reconstructions numériques de ces objets peuvent ensuite être incorporées dans des animations ou peut-être transmises sur Internet à des sites où les objets pourraient être dupliqués avec des imprimantes 3D.

    Source de l’histoire:

    Matériaux fourni par L’université de Carnegie Mellon. Remarque: le contenu peut être modifié pour le style et la longueur.

    Source

    N'oubliez pas de voter pour cet article !
    1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
    Loading...

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée.