Comment sont créées les doublures numériques du cinéma
Star Wars, Logan, Benjamin Button… Depuis quelques années, dans les superproduction cinématographiques ayant assez de ressources pour se faire creuser des piscines de billets verts, la création de doubles numériques des acteurs est devenue monnaie courante.
Que ce soit pour faire jouer un acteur mort depuis des années comme dans Star Wars : Rogue One ou pour coller la tête de Hugh Jackman sur le corps de son doubleur dans des scènes d’actions de Logan filmées en gros plan : il n’y a désormais, comme dirait Palpatine, “aaaucune limite à nos pouvoooirs !”. Car en numérisant en ultra-haute définition le visage ou le corps entier d’un acteur, on peut désormais le dupliquer et re-créer une parfaite copie digitale, de laquelle on fera ce qu’on veut. Explications.
La technologie derrière ce que nous appellerons l’”Effet Agent Smith”
Vous êtes prêts pour le catapultage de science ? Alors c’est parti ! Tout le processus commence par un recueil de données dans un studio 3D. Un studio de scan 3D est composé d’une batterie d’appareils photos ultra haute-définition (une centaine, parfois plusieurs centaines d’appareils) disposés sur une structure à 360 degrés et dirigés vers le centre de l’installation, de façon à pouvoir prendre des clichés de ce que l’on y placera sous tous les angles possibles.
On place donc l’actrice ou l’acteur à l’intérieur du studio et on capture le maximum d’expressions faciales possible, en variant pour chacune l’angle d’exposition de la source lumineuse. L’opération prend quelques secondes par expression (voir dans la vidéo ci-dessous).
Une fois toutes ces données obtenues, on peut reconstruire un modèle 3D virtuel grâce à la photogrammétrie (le niveau de détail du maillage allant jusqu’à 25 micromètres). On peut ensuite y appliquer, ou re-créer les textures désirées. Le type de texture qu’on décide d’appliquer lors de cette étape déterminera par exemple la façon la peau de notre double réagira à la lumière.
Ensuite, un logiciel analyse la surface de la peau sur chacun des visages (un “visage” correspondant à UNE expression que l’on a demandé à l’acteur de mimer) pour trouver une correspondance entre les différents modèles et comprendre exactement comment réagit le visage et la peau de notre cobaye. On cherche en quelques sortes à cerner la “physique de son visage” lorsque celui-ci est en mouvement, pour savoir par exemple comment remontent ses oreilles et plissent se yeux lorsqu’il sourit. Pour ce faire, le logiciel trouve des centaines de milliers de points de correspondances entre chaque paire de visages scannés, afin de produire une matrice globale du comportement du visage.
La résolution est tellement élevée que chaque imperfection cutanée, chaque pore, chaque micro-cicatrice est capturée pour un rendu général du visage au comportement ultra-réaliste lors de la production de n’importe expression et sous n’importe quelle nouvelle source lumineuse qu’on décidera de lui appliquer.
Ça y est. Notre modèle est prêt à être importé dans un moteur de jeu vidéo ou logiciel de création d’effets spéciaux numériques.
Là ou ça se corse : l’animation des visages et la possible “Black Mirrorisation” de la technologie
Néanmoins, tout n’est pas rose au pays du fond vert (merci, merci…) et une des parties les plus difficile à réussir lors de ces reconstitutions sont les yeux. Il y a tellement de micro-muscles, tellement d’informations seulement dans cette petite partie du visage, qui est pourtant celle qui lui donne toute son âme, qu’elle nécessite une attention toute particulière.
Et vous l’avez sans doute déjà expérimenté, même dans les plus grosse production Hollywoodiennes, nous sommes encore capables de distinguer lors d’un gros plan lorsque qu’on a affaire à un double virtuel et quand c’est l’acteur réel. Pour autant, nous serions bien incapables d’expliquer comment.
“C’est au niveau de l’animation que c’est encore perfectible” nous éclaire Angéline, experte en scan 3D chez Digitage, “pour les modèles que l’on produit aujourd’hui en 3D nous sommes déjà dans du photoréalisme et l’oeil est incapable de faire la différence. Mais l’animation d’un être humain est d’une telle complexité que réussir à la reproduire à l’identique relèverait d’un hallucinant tour de force.”
Et comme vous vous en doutez, c’est particulièrement vrai pour le visage. Pour Paul Devebec, Senior Staff Engeneer chez Google et pionnier dans le domaine, “la difficulté c’est qu’on a tellement d’expérience dans l’observation des visages dans notre vie de tous les jours… [Le cerveau] possède des mécanismes spéciaux uniquement destinés à reconnaître les gens. Le plus compliqué est d’essayer de saisir les subtils détails indiquant comment quelqu’un bouge son visage en fonction de ce qu’il pense, ainsi que toutes les formes de communications non-verbales. Si il y a quoi que ce soit qui ne va pas vous le verrez très facilement, vous capterez immédiatement les indices vous conduisant à la certitude que quelque chose cloche chez cette personne que vous regardez.”
Dans l’univers de Star Wars par exemple, il est ainsi infiniment plus facile de créer numériquement des centaines d’aliens divers et variés que de recréer et animer un simple être humain.
Et que penser du rétrécissement toujours plus prononcé de la frontière entre l’humain et le virtuel ? Que se passera t’il lorsque l’on sera devenus complètement impuissants avec nos outils primitifs de décryptage (j’ai nommé notre bon vieux cerveau), lorsque nous serons incapables même si notre vie en dépendait de distinguer le vrai du faux ? Sans compter, pour la résurrection d’acteurs morts depuis des années, la question de l’éthique par rapport à l’utilisation de leur corps.
Ari Shapiro, un chercheur ayant accepté de devenir le modèle pour une campagne nouvelle génération de doublure digitale faciale ultra-poussée, confie par exemple un malaise persistant lors du déroulement du projet : “a un moment c’est presque devenu trop personnel, c’était comme s’ils avaient une poupée vaudou de moi qu’ils manipulaient, avec lequel ils faisaient toutes sortes de choses sans que j’en ai connaissance. Alors j’ai suggéré à Paul qu’il inverse les lettres de mon nom, pour pouvoir l’appeler “le Ira digital” et créer une certaine distance en moi et mon double”.
Ce n’est qu’une question de temps, car plus la technologie se perfectionne, plus il va devenir difficile de distinguer le réel de ce qui l’imite. À quand le chantage d’hommes politiques par création d’une vidéo ou il apparaît clairement dans des situations compromettante, déblatérant les pires horreurs face caméra sans sourciller ?
Le problème est ainsi, avec humour, parfaitement résumé par le grand méchant du Avatar de James Cameron, de qui on a entièrement recueilli les données 3D du visage pour les besoins du film :
“ce serait bizarre que 30 ans après ma mort, j’apparaisse dans un porno que je n’ai jamais tourné” – Stephen Lang
Le célèbre “Motion Capture”
Et le fameux “motion capture” dans tout ça ?!
Le motion capture est un procédé qui vient en complément de la création du double digital. Une fois le double virtuel créé par le processus que nous venons de décrire, alors on peut l’animer grâce au motion capture. Cette technologie enregistre les mouvements du visage ou du corps d’un acteur pendant qu’il joue, à l’aide de toute une bardée de capteurs pour ensuite faire reproduire au double digital EXACTEMENT les mêmes mouvements. Et ensuite l’incorporer dans n’importe quelle scène ou environnement. Mais Parce qu’une démonstration vaut toujours mieux qu’un long discours : Brace Yourselves, the Cumberbatch is coming…
