Le deepfake révolutionne le monde de l’audiovisuel. Pour rappel, cette technique utilise l’intelligence artificielle pour superposer et fusionner des fichiers vidéo afin, entre autres, de changer l’apparence d’un visage. En guise d’exemple amusant, on vous a notamment partagé cette célèbre pub Dior où Charlize Theron se retrouve avec le visage de… Rowan Atkinson (Mr Bean).
Au-delà de métamorphoser les visages, le deepfake pourrait aussi grandement améliorer le doublage. C’est l’idée de la startup anglaise Flawless avec TrueSync : une IA présentée comme la première au monde capable d’adapter le mouvement des lèvres des acteurs dans toutes les langues tout en conservant la performance des acteurs.
Les premiers résultats partagés en vidéo sont assez impressionnants. Ci-dessous, vous trouverez une démonstration globale du programme ainsi qu’un extrait de Forrest Gump adapté en deux langues : japonais et espagnol. Alors, bonne ou mauvaise avancée pour le monde du cinéma ? On vous laisse évidemment seuls juges !
Forrest Gump (en japonais)
Forrest Gump (en espagnol)
C’est effectivement une technologie très intéressante ^^ ! Après ce ne sont pas du tout les premiers à sortir une technologie de lip-sync. Il y’a même plusieurs projets disponibles sur GitHub gratuitement (Wav2lip par exemple). De plus, je trouve leurs exemples pas très convaincants (on voit pas mal de problème au niveaux de l’intérieur de la bouche (les dents notamment). Vous pouvez trouver pas mal d’exemples de lip-sync sur YouTube. Si ça intéresse quelqu’un, voici un lip-sync de Macron qui chante que j’ai réalisé: https://youtu.be/91roYRWqtzw (ici il dis autre chose que le discours original mais on pourrais très bien lui… Lire la suite »
Bravo ! Est-ce que ça a été testé avec des sourds qui lisent sur les lèvres ?!