Divers

L'apprentissage en profondeur permet une synchronisation labiale précise en temps réel pour une animation 2D en direct

L'apprentissage en profondeur permet une synchronisation labiale précise en temps réel pour une animation 2D en direct

Deux chercheurs d'Adobe Research et de l'Université de Washington ont introduit un système interactif basé sur l'apprentissage en profondeur qui prend des performances en direct d'acteurs et génère une synchronisation labiale en temps réel pour les personnages animés en 2D.

Le système permet une expérience d'animation différente où le public et les acteurs peuvent interagir les uns avec les autres tout en voyant leurs sosies de dessins animés reflétés sur un écran.

CONNEXES: L'ARTISTE 3D CRÉE UNE ANIMATION INCROYABLE COMPARANT LES TAILLES DE LA PLANÈTE ET DE LA LUNE DANS NOTRE SYSTÈME SOLAIRE

Qu'est-ce que l'animation 2D en direct?

En 1997, dans l'épisode des Simpsons "The Itchy & Scratchy & Poochie Show", Homer Simpson a demandé à une salle d'animateurs de dessins animés si un épisode qu'ils avaient créé était diffusé en direct.

Un doubleur a répondu en plaisantant: «très peu de dessins animés sont diffusés en direct. C'est une tension terrible sur les poignets des animateurs. "

Il semble qu'Homère était une vision prophétique car en 2019, l'animation 2D en direct est un nouveau média puissant par lequel les acteurs peuvent jouer une scène qui sera animée en même temps à l'écran.

Le premier dessin animé en direct, un épisode des Simpsons, a été diffusé en 2016. Un exemple récent du médium a vu Stephen Colbert interviewer des invités de dessins animés, dont Donal Trump, sur le Late Show.

Un autre a vu le personnage principal d'Archer parler en direct à un public et répondre aux questions lors d'un événement de panel ComicCon.

La technique d'animation en direct utilise un logiciel de détection faciale, des caméras, du matériel d'enregistrement et des techniques d'animation numérique pour créer une animation en direct qui accompagne une scène réelle.

L'apprentissage automatique permet à tout cela de fonctionner encore plus facilement et de continuer à s'améliorer.

Synchronisation labiale en direct

Un aspect clé de l'animation 2D en direct est une bonne synchronisation labiale. Il permet à la bouche des personnages animés de bouger de manière appropriée lorsqu'ils parlent et de refléter les performances d'acteurs humains.

Une mauvaise synchronisation labiale, en revanche, comme un doublage de langage incorrect, peut faire ou défaire la technique en ruinant l'immersion.

Dans un article qui a été prépublié sur arXiv, les deux chercheurs d'Adobe Research et de l'Université de Washington ont présenté leur système interactif basé sur l'apprentissage en profondeur qui génère automatiquement la synchronisation labiale en direct pour les personnages animés en 2D.

Le système de réseau neuronal qu'ils ont développé utilise un modèle de mémoire à long terme (LSTM).

Comme Techexplore rapports, le modèle LSTM de Li et Aneja a montré des résultats si impressionnants qu'Adobe a décidé d'en intégrer une version dans son logiciel Adobe Character Animator, sorti en 2018.

Le système peut être utilisé pour réduire considérablement les besoins en données d'entraînement pour les modèles conçus pour produire une synchronisation labiale en temps réel. En même temps, il offre une synchronisation labiale efficace qui n'est pas trop éloignée de l'animation traditionnelle - permettant à l'animation 2D de prendre vie comme jamais auparavant.


Voir la vidéo: How to make lip sync animation easy! (Mai 2021).