Come creare video di conversazioni con più personaggi grazie all'IA senza perdere la coerenza della personalità dei personaggi

Il dialogo a più personaggi è uno dei formati più difficili, in Video di intelligenza artificiale.

Anche un solo personaggio è già molto difficile da mantenere coerente. La forma del viso può essere alterata, i vestiti possono cambiare, l'acconciatura può modificarsi e anche l'espressione può essere instabile. Quando si aggiunge un secondo o un terzo personaggio, la difficoltà aumenta rapidamente. Il modello AI deve contemporaneamente conservare l'identità di più personaggi, tracciare chi è l'attuale parlante, mantenere le relazioni spaziali all'interno della scena, controllare le espressioni facciali, gestire la sincronizzazione tra voce e labbra e garantire anche la coerenza visiva dell'immagine.

Ecco perché molti video di conversazioni AI creano confusione. I due personaggi hanno scambiato i volti. Il personaggio che si trovava originariamente a sinistra appare improvvisamente a destra. Quando sullo schermo viene mostrato il personaggio sbagliato, la bocca di chi parla si muove. I dettagli dei vestiti cambiano. Le linee degli occhi non corrispondono. L'intera scena sembra composta da frammenti diversi, invece che da una conversazione coerente.

Ma i video di dialogo con più personaggi sono anche una tra i formati di video AI di maggiore valore. Possono essere utilizzati per cortometraggi animati, video di spiegazione educativa, sketch comici, dimostrazioni di prodotti, narrazioni di storie, influencer virtuali, mascotte di marchi, scenari di videogiochi, adattamenti di fumetti e serie di video sui social media. I dialoghi danno personalità ai personaggi dell'IA. Può trasformare le immagini visive generate in scene.

Il punto chiave è considerare i video di conversazione come vere produzioni cinematografiche. Non lasciare che l'IA generi l'intera conversazione in un singolo prompt. Costruisci la scena tramite riferimenti ai personaggi, copioni di dialoghi, pianificazione delle inquadrature, controllo dell'oratore, strategie vocali e montaggio post-produzione.

Elser AI Può offrire aiuto, poiché fornisce ai creatori un modo più strutturato per utilizzare i riferimenti ai personaggi, i video generati da immagini e i suggerimenti di scena riutilizzabili. Se desidera creare video di conversazione AI con più personaggi coerenti, si registri su Elser AI e crei prima i personaggi invece di pensare prima alla conversazione.

Inizia dal blocco di identità del personaggio

Prima di redigere la scena completa, definisci chiaramente ogni personaggio. Ogni personaggio necessita di un blocco di impostazioni di identità. Questo blocco di impostazioni deve includere il viso, l'acconciatura, l'abbigliamento, le proporzioni corporee, i colori, gli accessori, la personalità, l'atteggiamento e lo stile artistico.

Per esempio:

Personaggio A: “Mina, una giovane inventrice di anime, con capelli corti argentei, occhi verdi e occhiali rotondi, indossa una felpa con cappuccio arancione larga e pantaloncini neri, è dotata di una piccola borsa degli attrezzi, ha un'espressione vivace e una corporatura compatta e proporzionata, con uno stile di animazione pulito in tecnica cel-shading a colori piatti.”

Personaggio B: "Riko, una spadaia anime compiuta e calma, con lunghi capelli blu scuro, occhi grigi, indossa una giacca blu navy e una sciarpa bianca, ha una corporatura alta e slanciata, un'espressione seria e una postura elegante, il tutto in uno stile anime con una colorazione celluloidale pulita."

Questi due personaggi devono essere visivamente distinti. Non progettare entrambi i personaggi come «ragazze anime giovani con capelli colorati e abbigliamento alla moda». I modelli di intelligenza artificiale potrebbero confondere personaggi simili. Un forte contrasto aiuterà: acconciature diverse, abbinamenti di colori degli abiti, proporzioni del corpo e espressioni di personalità.

In ogni suggerimento per le scene, ripeti chiaramente l'identità dei personaggi. Se due personaggi appaiono contemporaneamente nella stessa inquadratura, descrivi la loro posizione:

Mina stava sul lato sinistro, indossando la sua felpa con cappuccio arancione e con gli occhiali. Rico stava sul lato destro, indossando la sua giacca blu scuro e con la sciarpa bianca.

Questo riduce lo scambio di caratteri.

Scrivere la conversazione prima di generare il video

Prima di chiarire il contenuto delle battute dei personaggi, non generare le immagini. Il contenuto dei dialoghi determina la scelta delle inquadrature. Le battute satiriche e le confessioni emotive richiedono inquadrature diverse, mentre le rapide discussioni e le spiegazioni calme richiedono ritmi diversi.

Scrivi questa scena come un breve copione:

Mina: "L'ho riparato."

Riko: "Sta fumeggiando."

Mina: "Questo dimostra che funziona a meraviglia."

理子: "Quella non è una categoria tecnica."

Questa conversazione ha già suggerito il ritmo visivo. Mina è piena di energia e orgogliosa. Lizi è calma e diffidente. Questa scena può utilizzare un piano doppio, un primo piano di reazione e un taglio sul piano della macchina per sigarette.

Per i video di conversazione con AI, mantieni le battute brevi. I monologhi lunghi sono più difficili da sincronizzare con le labbra, da sottotitolare e offrono un risultato peggiore sulle piattaforme di video brevi. Le ottime scene di conversazione di solito prevedono interazioni di conversazione veloci.

Utilizza l'elenco di controllo delle telecamere per gestire i relatori

La scena di dialogo dovrebbe essere suddivisa in più inquadrature. Non tentare di generare l'intero dialogo come un singolo video continuo.

Una semplice scena di dialogo può essere utilizzata:

Inquadratura 1: Inquadratura di presentazione per due personaggi che mostra entrambi

Inquadratura 2: primo piano del personaggio A mentre parla

Inquadratura 3: primo piano della reazione del Personaggio B

Inquadratura 4: Inquadrata vuota di oggetto o ambiente

Inquadratura 5: Inquadratura a due, da abbinare alla battuta finale o al momento di climax emotivo

Questo è il modo in cui film e animazione gestiscono le conversazioni. Anche questo è utile per l'intelligenza artificiale, perché il compito di ogni inquadratura è più semplice.

Per esempio:

Scena 1: Mina e Riko stanno accanto a una macchina che fuma nell'officina.

Scena 2: Mina dice con orgoglio: "L'ho riparato."

Inquadratura 3: Rico guardava il fumo e disse: "Sta fumando."

Inquadratura 4: Primo piano di una macchina che sprigiona scintille innocue

Scena 5: Mina ha detto sorridendo: "Questo dimostra che sta funzionando in modo significativo."

Questa struttura conferisce il controllo all'editor. Allo stesso tempo, evita che l'intelligenza artificiale tracci contemporaneamente due volti e due bocche in scene continue di lunga durata.

Mantieni la posizione spaziale coerente

La coerenza spaziale è uno dei problemi più evidenti nei video di conversazione AI. Se il personaggio A si trova inizialmente sul lato sinistro della scena e il personaggio B sul lato destro, mantieni la loro posizione a meno che non si intenda modificarla.

Nel prompt, ripetere la posizione:

“Mina rimane sempre sul lato sinistro della scena. Riko rimane sempre sul lato destro della scena.”

Quando si scatta un primo piano, si prega di mantenere la direzione dello sguardo coerente:

Mina guardò leggermente a destra verso Rico.

Riko guardò leggermente a sinistra verso Mina.

Questo farà sì che i dialoghi montati appaiano coerenti e naturali. Anche se le immagini sono straordinariamente belle, basta che la direzione dello sguardo dei due personaggi sia errata perché il pubblico pensi che la scena sia discontinua e perda la sua dovuta coerenza.

Per le scene che includono tre o più personaggi, evita di mostrare tutti i personaggi in ogni inquadratura. Inizia con un piano generale, poi passa ai primi piani. Lascia che il montatore suggerisca lo svolgimento della conversazione tramite i cambi di inquadratura.

Genera le riprese di conversazione con movimento controllato

La sincronizzazione labiale e l'animazione facciale potrebbero danneggiare la riconoscibilità del personaggio. Per le inquadrature con dialoghi, le azioni devono essere mantenute concise. Adotta un'inquadratura della fotocamera stabile, assicurati che i volti siano chiaramente visibili e riduci al minimo i movimenti corporali.

Esempio di suggerimento per il discorso del personaggio A:

“Usa Mina presente nell'immagine di riferimento. Per favore conserva le sue caratteristiche facciali perfettamente identiche, i capelli corti argentei, gli occhi verdi, gli occhiali rotondi, la felpa con cappuccio arancione, la borsa degli attrezzi, le proporzioni del corpo compatto e armonioso e lo stile di animazione cel-shaded. Mina è inquadrata in un piano medio ravvicinato, si trova sul lato sinistro del laboratorio e guarda leggermente verso destra verso Riko. Lei pronuncia una breve battuta, con movimenti labiali molto sottili e un'espressione sicura di sé. La camera rimane stabile, con un leggero effetto di zoom in. Non modificare il suo viso, i suoi abiti, i suoi capelli, la sua età o il suo stile.”

Esempio di indicazione per la reazione del personaggio B:

“Usa Riko presente nell'immagine di riferimento. Mantieni la sua faccia esattamente identica, i lunghi capelli blu scuro, gli occhi grigi, il giacca blu navy, la sciarpa bianca, la figura alta e snella e lo stile di anime a colorazione cel-shading. La scena la mostra in primo piano medio: Riko guarda leggermente verso sinistra verso Mina, con un'espressione calma e sospettosa. Le sue labbra si muovono leggermente mentre risponde. La fotocamera rimane stabile. Non modificare la sua faccia, i vestiti, l'acconciatura, l'età o lo stile artistico.”

Si prega di notare che ogni indicazione è rivolta a un solo relatore. Questa è una soluzione più sicura rispetto a far sì che due personaggi si interrompano a vicenda nella stessa clip.

Utilizzare in modo strategico la funzione di sincronizzazione vocale e labiale

Non è necessario avere una sincronizzazione labiale perfetta in ogni inquadratura. Molte scene di dialogo animate utilizzano piani di reazione, piani di taglio, piani su spalla e piani di inserimento ambientali. Queste tecniche rendono la scena più dinamica e riducono la pressione per la realizzazione dell'animazione labiale.

Per esempio, quando Mina dice «Ho riparato», puoi inquadrare questa macchina. Quando Lico risponde, puoi passare a un primo piano della sua espressione dubbiosa. Mentre i personaggi pronunciano battute più lunghe, puoi fare un primo piano dell'oggetto di cui stanno discutendo.

Questo è molto utile, poiché la tecnologia di sincronizzazione labiale AI potrebbe ancora riscontrare problemi di deformazione delle labbra, soprattutto quando si elaborano volti animati stilizzati. Utilizzare la tecnologia di sincronizzazione labiale per i piani ravvicinati chiave, mentre il resto viene mascherato tramite l'editing.

Se stai creando una serie di contenuti di conversazione regolari, mantieni uniforme lo stile di parlato di ogni personaggio. Un tono di voce coerente e uniforme diventerà parte della personalità del personaggio, proprio come un outfit o un'acconciatura. Imposta per ogni personaggio un tono, un ritmo di parlato e uno stile di espressione emotiva diversi. Mina avrà probabilmente un ritmo di parlato vivace e pieno di energia. Riko avrà probabilmente un ritmo di parlato lento, con un tono piatto e asciutto.

Costruire scenari di conversazione all'interno di Elser AI

Elser AI Adattando il flusso di creazione di dialoghi con più personaggi, puoi iniziare partendo dai riferimenti dei personaggi per generare brevi inquadrature di scena incentrate su di essi. Non è necessario generare direttamente un'intera sequenza di dialoghi con un singolo prompt, puoi assegnare a ogni inquadratura una chiara definizione del ruolo del personaggio.

Un flusso di lavoro pratico per Elser AI:

Crea o carica i materiali di riferimento per il personaggio A.

Crea o carica i materiali di riferimento per il personaggio B

Scrivi un breve script di dialogo.

Genera un'inquadratura di apertura con due persone.

Genera un primo piano singolo dell'oratore.

Genera riprese di reazione e riprese di taglio.

Modifica con voce, sottotitoli ed effetti sonori.

Questo flusso di lavoro permette di mantenere la produzione di una singola scena sotto controllo. Se i personaggi di una determinata ripresa si discostano dalla posizione prevista, basta rifare solo quella ripresa, senza dover scartare tutto il lavoro svolto per l'intera scena.

Se vuoi creare dialoghi di anime con AI, sketch comici, video di commento di personaggi o video di trame con più personaggi, registra un account su Elser AI e inizia con scenari di test per due persone. Mantieni la durata dello script inferiore a 20 secondi: dopo aver superato con successo il test, potrai passare a scenari di dialogo più lunghi.

Modello di prompt per dialoghi multi-personaggio

Usa questa struttura per le riprese con obiettivo doppio:

“Crea una scena di dialogo tra due personaggi con impostazioni coerenti, tratte da un'immagine di riferimento. Il Personaggio A è [身份], posizionato a sinistra. Il Personaggio B è [身份], posizionato a destra. Si prega di conservare volti, acconciature, abbigliamenti, proporzioni corporee, colori e stile artistico di entrambi i personaggi. La scena è ambientata in [地点]. Il Personaggio A [动作/表情], mentre il Personaggio B [动作/表情]. Inquadratura: [镜头类型]. Luce: [风格]. Non scambiare i personaggi, non modificare gli abbigliamenti, non alterare i volti né cambiare lo stile artistico.”

Per riprese di primo piano del portavoce:

«Usa il [角色名] presente nell'immagine di riferimento. Conserva la sua espressione facciale, acconciatura, abbigliamento, proporzioni corporee, combinazione di colori e stile artistico esatti. Il [角色名] sta pronunciando una breve battuta, guardando nella [方向] di [另一个角色]. Inquadratura: primo piano medio, composizione stabile. I movimenti devono essere discreti. Non eseguire deformazioni del viso, cambiare l'identità originale del personaggio o sostituire l'abbigliamento.»

Per l'obiettivo di reazione:

Usa [角色名] presente nell'immagine di riferimento. Mantieni la sua identità e il suo stile. [角色名] reagisce in silenzio con [情绪]. Inquadratura: primo piano con avvicinamento lento. Mantieni il viso chiaro e stabile.

Errori comuni da evitare

Non far sì che l'aspetto di tutti i personaggi sia troppo simile. Non inserire l'intera conversazione in un singolo frammento per la generazione. Non lasciare che i personaggi cambino posizione a caso. Non fare affidamento sulla sincronizzazione labiale per ogni battuta. Non utilizzare dialoghi lunghi che richiedano movimenti labiali continui. Non modificare la descrizione dei personaggi tra le diverse riprese. Non utilizzare le riprese in cui parla il personaggio sbagliato.

I video di conversazione AI con più personaggi di altissima qualità richiedono un montaggio, non una semplice generazione. Devi prima realizzare segmenti controllabili, poi unirli per formare una scena.

Pensieri finali

Realizzare video di dialoghi con più personaggi utilizzando l'intelligenza artificiale richiede una pianificazione. Hai bisogno di materiali di riferimento stabili per i personaggi, dialoghi brevi, un elenco chiaro delle inquadrature, controllo del parlante, coerenza spaziale, coerenza vocale e un montaggio curato.

Il nostro obiettivo non è far sì che l'intelligenza artificiale gestisca tutte le cose in una sola volta. Il nostro obiettivo è assegnare compiti più piccoli e ben definiti all'intelligenza artificiale.

Se vuoi creare scenari di conversazione AI coerenti, inizia da quanto segue Elser AI. Registra un account, crea due schede di personaggi, scrivi una breve interazione dialogica, poi genera cinque inquadrature: l'inquadratura di ambientazione, l'inquadratura del personaggio A che parla, l'inquadratura della reazione del personaggio B, un'inquadratura di taglio e l'inquadratura finale con entrambi i personaggi. Questo semplice flusso di lavoro è la base per la creazione di dialoghi animati, cortometraggi comici, mascotte di marchi, video di spiegazione divulgativa e serie di storie generate da intelligenza artificiale.