L’intelligence artificielle dans l’animation : état de l’art février 2024

L’intelligence artificielle (IA) était sur toutes les lèvres en 2023, mais nous n’avons pas encore la moindre idée de ce que 2024 nous réserve ni de ce que cela implique pour les studios d’animation.

Peu de sujets sont aussi clivants que l’IA. D’un côté, vous trouvez des artistes outrés dont les œuvres sont ingérées illégalement par des algorithmes. De l’autre, une nouvelle vague de créateurs qui utilisent l’IA pour l’expression de soi ou des gains financiers.

Quelle que soit votre opinion, nous avons jugé essentiel de donner à l’industrie de l’animation un aperçu des outils disponibles, ainsi que de leurs cas d’usage concrets, et de la façon dont ils pourraient impacter votre métier d’animateur : non seulement cet article vous aidera à trouver des moyens de vous différencier de l’art générique généré par l’IA, mais aussi comment l’intégrer comme un autre outil dans votre boîte à outils lorsqu’il y a lieu.

La liste suivante n’est pas exhaustive, mais elle tente de couvrir toutes les étapes du processus de production, de l’art conceptuel au rendu. N’hésitez pas à nous envoyer vos recommandations !

1. Génération de texte

Le premier et le plus médiatique usage de l’IA, c’est la génération de texte : utiliser l’intelligence artificielle pour écrire automatiquement un texte à partir d’une invite de départ―vous lui donnez quelques mots, et elle génère un texte complet basé sur ce qu’elle a appris à partir d’un vaste corpus de données. Les grands modèles de langage peuvent réaliser une variété de tâches générales et spécialisées pour les studios d’animation :

Idéation pour l’écriture de scripts - Proposer des idées pour décrire une scène ou un personnage, générer du dialogue, voire suggérer des rebondissements pour l’intrigue.
Descriptions de scènes - Générer des descriptions détaillées pour aider les animateurs à visualiser les scènes, déterminer les angles de caméra et établir l’ambiance globale de l’animation.
Histoires de personnages (backstories) - En spécifiant des traits clés, les animateurs peuvent jouer avec différentes nuances afin de créer des personas plus complets et plus captivants.

Liens et références

2. Génération d’images

Le texte n’est pas le seul format avec lequel l’IA peut jouer. Peut-être la technologie la plus controversée de 2023, les modèles de génération d’images comme DALL·E et MidJourney utilisent des réseaux neuronaux avancés pour générer des images à partir d’invites textuelles ou à partir d’une autre image :

Transformer des formes en illustrations complètes - Un studio d’animation peut produire rapidement une variété d’art conceptuel, en explorant différentes possibilités de design pour un nouveau projet à partir d’un simple script―ou, à défaut, d’une description textuelle.

Transformer des formes en illustrations complètes - Midjourney peut comprendre un croquis approximatif et le transformer en une illustration complète.
Design des personnages et des environnements - Les images générées par IA peuvent servir de point de départ pour le design des personnages ou pour explorer différentes idées d’environnements et d’agencements, en offrant une référence visuelle sur laquelle les animateurs pourront s’appuyer.
Génération de textures - Il existe déjà des modèles spécialisés comme Dream Textures (plugin Blender) pour générer des textures, qui peuvent être utilisés pour des personnages, des objets ou des environnements.

Exemple de génération de textures avec Dream Textures (Blender)

Combinée à la génération de texte, il est possible de produire des livres entiers d’idéation avec peu d’effort. C’est évidemment énorme pour les petits studios ou les animateurs indépendants qui veulent pitcher des concepts aux producteurs à faible coût, voire sans coût.

Liens et références

3. Upgrader (améliorateur)

Les upscalers d’IA améliorent la résolution et la qualité des images ou des vidéos sans intervention manuelle.

Rendu plus rapide et moins coûteux - Les studios doivent respecter des délais serrés et livrer du contenu rapidement, mais le rendu est souvent le principal goulot d’étranglement dans la boucle de feedback : les upscalers d’IA peuvent prendre des rendus de faible qualité et produire des aperçus de haute qualité comparables aux rendus classiques, en une fraction du temps. Blender upscaler, par exemple, peut rendre une image de qualité similaire en réduisant le temps de 37 minutes à 5 minutes (86,5 % plus rapide) :

Ajouter du réalisme - Des upscalers comme Photoshop Upscaler ou Magnific AI peuvent ajouter rapidement des détails à n’importe quel rendu pour le rendre plus détaillé et/ou plus réaliste. C’est particulièrement utile lorsque vous devez ajouter rapidement des détails à une scène ou créer des personnages photo-réalistes à partir d’images de faible résolution.

Liens et références

4. Génération de modèles

La technologie évolue tellement vite que nous allons au-delà des images : il existe déjà des preuves de concept permettant de transformer une photo prise avec votre téléphone en assets 3D prêts pour la production.

Création automatisée d’assets - Une production a besoin de très nombreux assets, et les créer est souvent un processus fastidieux et long. L’IA peut générer des modèles 3D à partir d’images, permettant aux animateurs de se concentrer davantage sur l’ajout de détails et la finition du rendu final.

Personnalisation des personnages et variations - La génération de modèles 3D pilotée par IA facilite la personnalisation : elle génère automatiquement des variations d’apparence, de vêtements et d’accessoires.
Animation procédurale - Pour des environnements complexes ou de grandes foules, l’IA peut générer des modèles 3D et des animations variés, de façon procédurale, à grande échelle, beaucoup plus efficacement :

Liens et références

5. Génération vidéo

Entrez une invite et une image optionnelle, et l’IA générera une vidéo pour vous !

Si vous pouvez générer des images, vous pouvez aussi générer des vidéos. Mais la principale difficulté technique, pour le moment, est de générer des images cohérentes à grande échelle. La technologie n’en est encore qu’à ses débuts, mais il est déjà possible de générer de courtes vidéos avec quelques secondes de séquence, qui peuvent être utilisées pour le storyboard.

Par exemple, vous avez peut-être déjà vu des extraits viraux de la Carrot Saga sur TikTok ou YouTube, qui cumulent des millions de vues :

Liens et références

6. Rendu en temps réel

Le rendu en temps réel consiste à générer des images d’animation en quelques millisecondes pour un affichage immédiat. Le rendu est traditionnellement une tâche coûteuse en calcul, mais le rendu alimenté par l’IA peut fournir des résultats quasi immédiats pour une variété de tâches :

Prévisualisation - Le rendu en temps réel donne aux animateurs un retour immédiat sur le mouvement, les expressions et les interactions, afin de créer des personnages et des environnements plus engageants.
Storytelling interactif - Grâce au rendu en temps réel, les studios d’animation peuvent créer des récits interactifs où les choix des utilisateurs influencent dynamiquement la trame. Les algorithmes d’IA contribuent à générer des scènes, personnages et résultats alternatifs, offrant une expérience plus immersive aux publics.
Prototypage collaboratif - Le rendu en temps réel est inestimable pendant la phase de prototypage : il permet aux animateurs de tester rapidement différents styles visuels, configurations d’éclairage et angles de caméra. Les artistes travaillant sur différentes parties d’un projet peuvent voir les mises à jour immédiatement, favorisant un workflow collaboratif plus efficace.

Liens et références

7. Animation par keyframes

L’animation par keyframes est une technique qui consiste à créer une séquence d’images pour définir les points de départ et d’arrivée d’un mouvement. Un outil d’IA comme Cascadeur peut faire gagner d’innombrables heures aux animateurs :

Interpolation automatisée - L’interpolation assistée par IA est une autre méthode pour générer les images entre les keyframes. À partir de quelques poses, Cascadeur peut générer des animations de mouvement réalistes, y compris des keyframes et une motion secondaire.
Génération de rig - Cascadeur peut aussi générer automatiquement des rigs pour des modèles 3D complexes.

Liens et références

Cascadeur

8. Animation rotoscopique

L’animation rotoscopique est une technique qui consiste à tracer image par image à partir de séquences en prises de vues réelles afin de créer des animations réalistes. L’IA peut aider les animateurs dans le processus de rotoscopie tout en apportant une variété d’avantages :

Vtuber - Combinée au rendu en temps réel, l’animation rotoscopique assistée par IA peut être utilisée pour créer des avatars virtuels pour le live streaming ou d’autres contenus vidéo.
Détection automatique des images - Les algorithmes d’IA peuvent détecter automatiquement les keyframes dans des séquences en prises de vues réelles, ce qui rationalise la phase initiale du processus de rotoscopie. Cela réduit l’effort manuel nécessaire au traçage image par image.
Assistance au traçage - L’IA peut aider les animateurs en automatisant certaines tâches de traçage, comme le contour des personnages ou des objets.

Liens et références

VTuber Maker

9. Reconnaissance d’images

La reconnaissance d’images est le processus qui consiste à identifier et classer les objets dans les images.

Décomposition et analyse de scène - Les algorithmes d’IA peuvent analyser des scènes complexes, en identifiant automatiquement et en catégorisant des éléments tels que les personnages, les objets, les arrière-plans et les conditions d’éclairage. Cette fonctionnalité simplifie le processus de décomposition de la scène, en fournissant une analyse détaillée de chaque image, et en facilitant une compréhension plus efficace des éléments visuels d’une scène pour des revues plus rapides.
Annotations - En combinant des outils de génération de texte, l’IA peut annoter automatiquement les storyboards avec des descriptions ou des notes afin de simplifier la communication entre les différents équipes impliquées dans le processus d’animation, en garantissant que chacun comprenne clairement les éléments visuels et narratifs visés dans chaque image de prévisualisation.
Reconnaissance faciale et analyse des expressions - Les animateurs peuvent exploiter le motion tracking pour créer des animations réalistes. C’est ainsi que les avatars Vtuber mettent en place la synchronisation labiale (lip-sync) ou la synchronisation des mains (hand-sync).
Contrôle qualité et détection d’erreurs - L’IA peut être utilisée pour le contrôle qualité―en détectant automatiquement les anomalies, les erreurs ou les incohérences dans les images afin d’assurer un niveau d’exactitude plus élevé dans le processus d’animation et d’aider les studios à identifier et corriger les problèmes tôt dans la chaîne de production.

Liens et références

10. Voix off (voice acting)

Le voice acting assisté par IA consiste à générer ou améliorer des voix pour des personnages animés ou d’autres contenus audio.

Synthèse texte-vers-parole - L’IA peut convertir du texte écrit en mots prononcés avec une intonation et une expression qui sonnent naturellement. Les studios d’animation peuvent utiliser la synthèse vocale (TTS) pour faire des prototypes rapides, générer des voix de substitution (placeholder) ou expérimenter des variantes de dialogue avant de faire appel à des comédiens voix réels.
Clonage et réplication de voix - L’IA peut analyser et reproduire le style, le ton et les nuances d’un comédien voix précis―en clonant effectivement des voix. Cette fonctionnalité est utile pour maintenir la cohérence entre les projets ou créer des répliques supplémentaires sans dépendre de la disponibilité de l’acteur vocal original.
Génération de voix multilingue - La génération vocale alimentée par IA peut produire de la parole dans plusieurs langues, offrant de la flexibilité pour les publics du monde entier : les studios d’animation peuvent facilement localiser leurs contenus, en s’assurant que les personnages parlent de façon authentique dans différentes langues sans avoir besoin d’un enregistrement vocal manuel et étendu.

Liens et références

Conclusion

L’IA transforme déjà l’industrie de l’animation, et elle continuera de le faire dans les années à venir. Même si elle n’en est encore qu’à ses débuts, on voit déjà tout le potentiel de l’IA pour les studios d’animation, de l’art conceptuel au rendu et à la diffusion.

Pour les artistes de l’animation, l’IA est un outil puissant pour rationaliser le processus de production et permettre plus de créativité, quelle que soit votre compétence de départ.

Il est important de se rappeler que l’IA ne remplace pas la créativité humaine, mais qu’elle constitue un autre outil dans la boîte à outils de l’animateur, offrant de nouvelles façons d’exprimer des idées et de leur donner vie : on peut s’attendre, dans un avenir proche, à l’émergence d’une nouvelle vague de studios d’animation composés d’une seule personne, mais aussi à davantage de partenariats entre studios, et bien sûr à plus de projets grâce à la baisse des coûts de main-d’œuvre.

Enfin et surtout, les plateformes d’IA devront gérer les droits d’auteur et trouver le bon équilibre pour s’étendre largement à travers les productions. La génération d’art ne pourra pas prospérer sans la reconnaissance des artistes. Une fois ces aspects réglés, la créativité bénéficiera de cette nouvelle technologie pour le plaisir de nos yeux !

Assurez-vous de nous rejoindre sur Discord si vous voulez discuter de l’avenir des pipelines créatifs, ou simplement passer du temps avec 1000+ experts de l’animation du monde entier !