Technologie Média

Les photos animées comme dans Harry Potter deviennent réalité

Technologie 25 décembre 2018

animation-3D-photo
Des chercheurs de l’Université de Washington (dont l’un a vendu sa startup à Facebook) ont développé un système qui utilise la vision par machine pour créer des animations 3D.

Créer une animation 3D à partir d’une photo

Ce système, appelé Photo Wake-Up, crée une animation 3D à partir d’une seule photo. Dans le document, les chercheurs le comparent aux portraits émouvants de Poudlard, une partie fictive du monde d’Harry Potter, que nombre de sociétés de technologie ont tenté de recréer. Les précédentes tentatives ont eu un léger succès, mais ce système est impressionnant par sa capacité à isoler et à créer une animation 3D assez réaliste à partir d’une seule image.
Les chercheurs ont testé leur système sur 70 photos téléchargées en ligne, comprenant des images de Stephen Curry, le personnage de dessin animé Goku, une œuvre de Banksy et un tableau de Picasso.
L’équipe a utilisé un programme appelé SMPL et pour l’apprentissage en profondeur, commençant par une découpe 2D du sujet, puis en superposant un squelette 3D. « Notre contribution technique-clé est donc une méthode de construction d’un modèle 3D animable qui correspond à la silhouette sur une seule photo », a déclaré l’équipe au MIT Technology Review.

Une animation vidéo ou en réalité virtuelle

L’équipe aurait utilisé un algorithme de déformation pour assurer l’alignement de la découpe et du squelette. L’algorithme de l’équipe serait également capable de détecter l’orientation du sujet et la direction de sa tête.
De plus, afin de s’assurer que l’animation finale soit réaliste et précise, l’équipe a utilisé une interface utilisateur propriétaire pour corriger les erreurs et faciliter les textures de l’animation. Un algorithme isole ensuite le sujet de l’image 2D, remplit l’espace restant et l’anime.
Les chercheurs notent que l’animation finale peut être visualisée sous forme de vidéo (voir ci-dessous), ainsi que sur laquelle il est possible d’interagir avec un moniteur, en réalité augmentée et en réalité virtuelle.

Un système qui a ses faiblesses

Le système, bien que très soigné, a ses faiblesses. Les chercheurs ont souligné dans leur article que leur méthode ne pouvait toujours pas animer les ombres et les reflets et que, si il pouvait gérer certaines auto-occlusions comme les bras croisés, il ne pouvait en gérer d’autres, comme un sujet assis les jambes croisées.
Pourtant, c’est certainement l’un des modèles les plus avancé pour l’animation 3D. «Nous pensons que cette méthode permet non seulement aux utilisateurs d’apprécier et d’interagir avec leurs photos, mais également de suggérer une façon de construire un avatar virtuel à partir d’une image unique tout en offrant un aperçu de l’état de la modélisation humaine à partir d’une seule photo, » ont écrit les chercheurs.

Un système qui rapproche le fantastique et la vie réelle

Bien sûr, Facebook vous permet actuellement de télécharger une vidéo en boucle en tant que photo de profil. Mais un système comme celui-ci, qui isole un sujet de son environnement, semble vouloir rapprocher davantage l’espace entre les mondes fantastiques et la vie réelle.
Les résultats de cette recherche ont été publiés dans Computer Vision and Pattern Recognition
Source : GizmodoMIT Technology Review
Crédit gif animé : capture d’écran (YouTube)