Comment créer des vidéos de dialogue entre plusieurs personnages à l'aide de l'IA sans perdre la cohérence de la personnalité des personnages
Le dialogue à plusieurs personnages est l'un des formats les plus difficiles, dans Vidéo d'intelligence artificielle.
Un seul personnage est déjà extrêmement difficile à garder cohérent. Leur visage peut être déformé, leurs vêtements peuvent être changés, leur coiffure peut être modifiée et leurs expressions peuvent être instables. Lorsqu'on ajoute un deuxième ou un troisième personnage, la difficulté monte rapidement. Ce modèle IA doit à la fois conserver l'identité de plusieurs personnages, suivre qui parle actuellement, maintenir les relations spatiales dans la scène, contrôler les expressions faciales, gérer la synchronisation vocale ou labiale, et garantir la cohérence visuelle de l'image.
C'est pourquoi de nombreuses vidéos de conversations IA sont déconcertantes. Deux personnages ont échangé leurs visages. Le personnage qui se trouvait initialement à gauche apparaît soudainement à droite. Quand la mauvaise figure est affichée à l'écran, la bouche du locuteur bouge. Les détails des vêtements changent. Les traits des yeux ne correspondent pas. L'ensemble de la scène semble être assemblé à partir de différents extraits, plutôt qu'une conversation cohérente.
Mais les vidéos de dialogue à plusieurs personnages sont également l'un des formats de vidéos IA les plus précieux. Ils peuvent être utilisés pour des courts métrages d'animation, des vidéos explicatives pédagogiques, des sketchs comiques, des démonstrations de produits, des récits d'histoires, des influenceurs virtuels, des mascottes de marque, des décors de jeux vidéo, des adaptations de bandes dessinées et des séries de vidéos sur les réseaux sociaux. Le dialogue donne de la personnalité aux personnages d'IA. Il peut transformer les images visuelles générées en scènes.
L'essentiel est de considérer les vidéos de conversation comme une véritable production cinématographique. Ne laissez pas l'IA générer une conversation complète dans un seul prompt. Construisez la scène grâce à des références de personnages, un scénario de dialogue, une planification des plans, un contrôle du locuteur, une stratégie vocale et un montage post-production.
Elser AI Cela peut apporter un soutien, car il offre aux créateurs une manière plus structurée d'utiliser les références de personnages, les plans image vers vidéo et les invites de scène réutilisables. Si vous souhaitez créer des vidéos de conversation IA avec plusieurs personnages cohérents, inscrivez-vous sur Elser AI et construisez d'abord les personnages plutôt que de concevoir la conversation.
Commencer par le bloc d'identité du personnage
Avant de rédiger un scénario complet, veuillez définir clairement chaque personnage. Chaque personnage nécessite un bloc de définition d'identité. Ce bloc de définition doit inclure le visage, la coiffure, les vêtements, les proportions corporelles, les couleurs, les accessoires, la personnalité, la posture ainsi que le style artistique.
Par exemple :
Personnage A : “Mina, une jeune inventrice d'animation, aux cheveux courts argentés, aux yeux verts, portant des lunettes rondes, vêtue d'un sweat à capuche orange ample et d'un short noir, avec un petit sac à outils, l'air plein de vitalité, de proportions petites et harmonieuses, dans un style de dessin animé celluloïd propre et aplati.”
Personnage B : « Riko, une sabreuse d'anime posée, aux cheveux longs bleu foncé, aux yeux gris, vêtue d'une veste bleu marine, portant une écharpe blanche, de silhouette haute et mince, au air sérieux, à la posture élégante, dans un style d'anime au rendu celluloïd propre. »
Ces deux personnages doivent être visuellement différenciés. Ne concevez pas les deux personnages comme « de jeunes adolescentes d'anime aux cheveux aux couleurs vives et à la tenue à la mode ». Les modèles d'intelligence artificielle peuvent confondre des personnages similaires. Un fort contraste est utile : différentes coiffures, associations de couleurs de vêtements, proportions corporelles et airs de caractère.
Dans chaque invite de scène, répétez clairement l'identité des personnages. Si deux personnages apparaissent dans le même plan en même temps, veuillez décrire leur position :
“Mina se tient sur la gauche, portant son sweat à capuche orange et des lunettes. Rico se tient sur la droite, portant son manteau bleu marine et une écharpe blanche.”
Cela réduit l'échange de caractères.
Rédiger le dialogue avant de générer la vidéo
Ne générez pas de scènes visuelles avant de déterminer le contenu des lignes de dialogue des personnages. Le contenu du dialogue détermine le choix des plans. Les lignes de dialogue ironiques et les aveux émotionnels nécessitent des plans différents, tandis que les arguments rapides et les commentaires calmes requièrent des rythmes différents.
Écrivez cette scène sous forme d'un court scénario :
Mina : « Je l'ai réparé. »
Riko : « Il est en train de fumer. »
Mina : « Cela montre qu'il fonctionne extrêmement bien. »
Riko : « Ce n'est pas une catégorie technique. »
Cette conversation a déjà suggéré le rythme visuel. Mina est pleine d'énergie et fière. Lizi est calme et a des doutes. Cette scène peut utiliser un plan à deux, un plan de réaction en gros plan, ainsi que le plan sur la machine à fumer.
Pour les vidéos de dialogue IA, gardez les répliques courtes. Les monologues longs sont plus difficiles à synchroniser avec les lèvres, plus compliqués à sous-titrer et donnent de moins bons résultats sur les plateformes de vidéos courtes. Les excellentes scènes de dialogue utilisent généralement des échanges de dialogue rapides.
Utiliser la liste de contrôle des caméras pour gérer les orateurs
La scène de dialogue doit être découpée en plusieurs plans. N'essayez pas de générer une conversation complète en un seul segment vidéo continu.
Un scénario de conversation simple peut être utilisé :
Plan 1 : Plan à deux de présentation, montrant simultanément les deux personnages
Plan 2 : plan serré sur le personnage A qui parle
Plan 3 : gros plan sur la réaction du personnage B
Plan 4 : Plan vide sur un objet ou un environnement
Plan 5 : Plan à deux, utilisé lors de la punchline finale ou du moment de climax émotionnel
C'est la façon dont les films et les animations traitent les dialogues. Cela aide également l'intelligence artificielle, car la tâche de chaque plan est plus simple.
Par exemple :
Plan 1 : Mina et Riko se tiennent debout à côté d'une machine qui fume dans un atelier.
Plan 2 : Mina dit avec fierté : « Je l’ai réparé. »
Plan 3 : Rico regarde la fumée et dit : « Elle fume. »
Plan 4 : plan serré de la machine sans danger qui dégage des étincelles
Plan 5 : Mina dit avec un sourire : « Cela montre qu'il est en train de prendre effet de manière significative. »
Cette structure confère le contrôle à l'éditeur. En même temps, cela évite à l'intelligence artificielle de suivre simultanément deux visages et deux bouches dans des scènes continues de longue durée.
Garder la position spatiale cohérente
Cohérence spatiale est l'un des problèmes les plus saillants des vidéos de dialogue IA. Si le personnage A se trouve initialement sur la gauche de l'écran et le personnage B sur la droite, veuillez conserver leur position sauf ajustement intentionnel.
Dans les invites de prompt, placer la position de manière répétée :
Mina se trouve toujours sur la gauche de l'image. Lizi se trouve toujours sur la droite de l'image.
Lors de la prise de plans serrés, veuillez maintenir la direction du regard cohérente :
Mina regarde légèrement vers la droite en direction de Rico.
Lizi tourna légèrement la tête vers la gauche pour regarder Mina.
Cela rendra les dialogues montés naturels et cohérents. Même si les images sont d'une beauté exceptionnelle, si la direction des regards des deux personnages est erronée, le public pensera que la scène est mal raccordée et dépourvue de la continuité attendue.
Pour les scènes à plusieurs personnages avec trois personnages ou plus, évitez de montrer l'ensemble des personnages dans chaque plan. Commencez par un plan d'ensemble, puis utilisez des gros plans. Laissez le monteur suggérer le déroulement du dialogue par des coupes entre les plans.
Générer des plans de dialogue avec un mouvement contrôlé
La synchronisation labiale et l'animation faciale peuvent nuire à la reconnaissabilité des personnages. Pour les plans avec des répliques, les actions doivent rester concises. Adoptez une composition de plan stable pour que le visage soit clairement visible et minimiser les mouvements corporels.
Exemples de consignes pour le discours du personnage A :
“Utilisez Mina de l'image de référence. Veuillez conserver ses traits du visage totalement identiques, ses cheveux courts gris argenté, ses yeux verts, ses lunettes rondes, son sweat à capuche orange, son sac à outils, sa silhouette petite et bien proportionnée ainsi que son style d'animation celluloid. Mina est présentée en plan américain, debout sur la gauche de l'atelier, regardant légèrement vers la droite vers Riko. Elle prononce une courte réplique, ses lèvres bougent subtilement et elle a l'air confiante. La caméra reste stable, avec un léger effet de zoom avant. Ne modifiez pas son visage, ses vêtements, sa coiffure, son âge ou son style.”
Exemple d'indice pour la réaction du personnage B :
“Utilisez Riko issue de l'image de référence. Gardez son visage strictement identique, ses longs cheveux bleu foncé, ses yeux gris, son manteau bleu marine, son écharpe blanche, sa silhouette haute et fine, ainsi que le style d'animation au coloriage celluloïd. La scène est présentée en plan moyen et américain, mettant en scène Riko qui regarde légèrement vers la gauche vers Mina, son expression calme mais dubitative. Ses lèvres se meuvent légèrement lorsqu'elle répond. Gardez la caméra stable. Ne modifiez en aucun cas son visage, sa tenue vestimentaire, sa coiffure, son âge ou son style graphique.”
Veuillez noter que chaque consigne ne s'adresse qu'à un seul intervenant. C'est plus sûr que de faire en sorte que deux personnages se coupent la parole l'un à l'autre dans la même séquence vidéo.
Utiliser de manière stratégique la fonction de synchronisation de la voix et des lèvres
Vous n'avez pas besoin d'une synchronisation labiale parfaite sur chaque plan. Nombreuses scènes de dialogue animées recourent à des plans de réaction, des plans sur coupure, des plans à contre-épaule et des plans d'insertion environnementaux. Ces techniques rendent la scène plus dynamique tout en allégeant la pression liée à la réalisation de l'animation labiale.
Par exemple, quand Mina dit « Je l'ai réparée », tu peux donner un plan de cette machine. Quand Rico répond, tu peux couper sur un plan serré de son air dubitatif. Pendant que les personnages disent de longues répliques, tu peux montrer des plans serrés des objets dont ils parlent.
Cela est très pratique, car la technologie de synchronisation labiale par IA peut encore présenter des problèmes de déformation de la bouche, surtout lors du traitement de visages de dessins animés stylisés. On utilise la synchronisation labiale sur les plans serrés clés, et on masque le reste par montage.
Si vous créez un contenu de dialogue régulier en série, maintenez un style de parole cohérent pour chaque personnage. Un ton de parole stable et unifié fera partie de la personnalité du personnage, tout comme une tenue vestimentaire ou une coiffure. Veuillez définir un ton, un rythme de parole et un style d'expression émotionnelle différents pour chaque personnage. Mina aura probablement un rythme de parole rapide et plein d'énergie. Riko aura probablement un rythme de parole lent, avec un ton plat et sec.
Construire des scénarios de conversation au sein d'Elser AI
Elser AI Adapté au processus de création de dialogues à plusieurs personnages, vous pouvez d'abord partir des références de personnages pour générer de courtes séquences de plans de scènes autour de ces derniers. Pas besoin de générer directement une suite complète de dialogues avec un seul prompt, vous pouvez définir un positionnement de personnage clair pour chaque plan.
Un flux de travail pratique pour Elser AI :
Créer ou télécharger les documents de référence du personnage A.
Créer ou téléverser les documents de référence du personnage B
Rédigez un court script de dialogue.
Générer un plan d'ouverture à deux.
Générer des plans serrés des orateurs individuels.
Générer des plans de réaction et des plans de coupure.
Éditer avec la voix, les sous-titres et les effets sonores.
Ce flux de travail permet de maintenir la production d'une scène à un niveau gérable. Si le personnage d'un plan se dévie de son trajet, il suffit de refaire ce plan plutôt que d'abandonner tout le travail de la scène.
Si vous souhaitez créer des dialogues d'anime par IA, des sketchs comiques, des vidéos de commentaires de personnages ou des vidéos de scénarios dramatiques à plusieurs personnages, vous pouvez vous inscrire sur Elser AI et commencer par le scénario de test à deux. Veuillez limiter la durée du script à moins de 20 secondes. Une fois le test réussi, vous pourrez passer à des scénarios de dialogue plus longs.
Modèle d'invite de dialogue multi-personnages
Utilisez cette structure pour la prise de vue à double objectif :
“Créez une scène de dialogue entre deux personnages dont les caractéristiques proviennent d'une image de référence et qui sont cohérentes entre elles. Le personnage A est [identité], debout sur la gauche. Le personnage B est [identité], debout sur la droite. Veuillez conserver les visages, coiffures, vêtements, proportions corporelles, couleurs et style artistique des deux personnages. La scène se déroule dans [lieu]. Le personnage A [action/expression], tandis que le personnage B [action/expression]. Plan : [type de plan]. Lumière : [style]. N'échangez pas les personnages, ne modifiez pas leurs vêtements, ne modifiez pas leurs visages et ne changez pas le style artistique.”
Pour photographier des plans serrés des porte-parole :
“Veuillez utiliser [角色名] dans l'image de référence. Conserver son visage, sa coiffure, ses vêtements, ses proportions corporelles, son association de couleurs et son style artistique exacts. [角色名] prononce une courte réplique tout en regardant vers la [方向] de [另一个角色]. Plan : plan moyen rapproché, composition stable. Les mouvements doivent être subtils. Ne procédez à aucune déformation faciale, ne modifiez pas l'identité originale du personnage ni ne remplacez ses vêtements.”
Pour les plans de réaction :
“Utilisez le [角色名] présenté dans l'image de référence. Conservez son identité et son style. [角色名] réagit silencieusement avec [情绪]. Plan : Plan serré en approche progressive lente. Gardez le visage clair et stable.”
Erreurs courantes à éviter
Ne laissez pas tous les personnages avoir un aspect trop similaire. Ne placez pas l'ensemble de la conversation dans un seul fragment lors de la génération. Ne laissez pas les personnages changer de position aléatoirement. Ne dépendez pas de la synchronisation labiale pour chaque ligne de dialogue. Ne pas utiliser de longs dialogues nécessitant des mouvements labiaux continus. Ne modifiez pas la description des personnages dans des plans différents. Veuillez ne pas utiliser de plans où le personnage erroné parle.
Les vidéos de dialogue IA à plusieurs personnages de la plus haute qualité nécessitent un montage, et non pas une simple génération. Vous devez d'abord créer des séquences contrôlables, puis les assembler pour former une scène.
Réflexion finale
La réalisation de vidéos de dialogues à plusieurs personnages grâce à l'intelligence artificielle nécessite de la planification. Vous avez besoin de références de personnages stables, de dialogues concis, de listes de plans claires, de contrôle des locuteurs, de la cohérence spatiale, de la cohérence vocale et d'un montage soigné.
Notre objectif n'est pas de laisser l'intelligence artificielle gérer toutes les affaires en une seule fois. Notre objectif est d'attribuer des tâches plus petites et bien définies à l'intelligence artificielle.
Si vous souhaitez créer des scènes de dialogue IA cohérentes, veuillez commencer par le contenu suivant ElserAI. Créer un compte, créer deux fiches de personnages, rédiger une courte interaction de dialogue, puis générer cinq plans : le plan d'ensemble, le plan sur le personnage A qui parle, le plan sur la réaction du personnage B, le plan de coupure et le plan final à deux. Cette procédure de travail simplifiée est la base de la création de dialogues animés, de courts métrages comiques, de mascottes de marque, de vidéos de vulgarisation scientifique et de séries d'histoires AI.
