如何借助AI制作多角色对话视频且不丢失角色人设一致性

来源: Elser AI

多角色对话是最难的格式之一,在 人工智能视频.

单单一个角色就已经很难保持前后一致了。他们的脸型可能走样,服装可能更换,发型可能改变,表情也可能不稳定。当加入第二个或第三个角色时,难度会迅速攀升。该AI模型需要同时保留多个角色的身份,追踪当前发言者是谁,维持场景内的空间关系,控制面部表情,处理语音或唇形同步,还要保证画面视觉上的连贯性。

这就是为什么许多AI对话视频会让人感到困惑。两个角色互换了脸部。原本位于左侧的角色突然出现在右侧。当画面显示的是错误的角色时,说话者的嘴巴却在动。服装细节发生变化。眼部线条并不匹配。整个场景看起来就像是不同片段拼接而成,而非一段连贯的对话。

但多角色对话视频同样是最具价值的AI视频格式之一。 它们可用于动画短片、教育讲解视频、喜剧小品、产品演示、故事讲述、虚拟网红、品牌吉祥物、游戏场景、漫画改编作品以及社交视频系列。 对话赋予AI角色个性。 它能将生成的视觉画面转化为场景。

关键在于将对话视频视作真正的影视制作。不要让AI在单个提示词中生成完整的对话。通过角色参考、对话剧本、镜头策划、发言者控制、语音策略以及后期剪辑来搭建场景。

Elser AI可以提供助力,因为它为创作者提供了更结构化的方式来运用角色参考、图像转视频镜头以及可重复使用的场景提示。如果您想要创建拥有多个一致角色的AI对话视频,请在Elser AI注册,先构建角色而非先构思对话。

从角色身份块开始

在撰写完整场景前,请先清晰定义每个角色。每个角色都需要一份身份设定块。该设定块应包含面部、发型、服饰、身体比例、色彩、配饰、性格姿态以及艺术风格。

例如:

Character A: “米娜,一位年轻的动漫发明家,留着银色短发,有着绿色眼眸,佩戴圆形眼镜,身穿宽松橙色连帽衫与黑色短裤,搭配小型工具包,神情充满活力,身材比例小巧匀称,整体为干净的赛璐璐平涂动漫画风。”

角色B:“莉子,一位沉稳的动漫女剑士,留着深蓝色长发,有着灰色眼眸,身着藏青色外套,围着白色围巾,身形高挑纤细,神情严肃,姿态优雅,整体为干净的赛璐珞着色动漫风格。”

这两个角色必须在视觉上保持区分度。不要将两个角色都设计成“拥有色彩鲜艳头发和时尚穿搭的年轻动漫少女”。人工智能模型可能会混淆相似的角色。强烈的对比会有帮助:不同的发型、穿搭配色、身体比例以及个性神态。

在每个场景提示中,清晰重复角色的身份。若两名角色同时出现在同一镜头中,请描述他们的位置:

“米娜站在左侧,穿着她的橙色连帽衫,戴着眼镜。里科站在右侧,穿着她的藏青色外套,围着白色围巾。”

这减少了字符交换。

在生成视频前编写对话

在明确角色台词内容前,请勿生成画面。对话内容决定镜头选择。讽刺性台词与情感告白需要不同的镜头,快速争论与平静的解说则需要不同的节奏。

将该场景写成一段短剧本:

米娜:“我修好它了。”

理子:“它正在冒烟。”

米娜:“这说明它运行得非常出色。”

理子:“那并非一个技术类别。”

这段对话已经暗示了视觉节奏。 米娜精力充沛且满怀骄傲。 利子冷静且心存怀疑。 这个场景可以使用双人镜头、特写反应镜头,以及切到吸烟机的镜头。

对于AI对话视频,请保持台词简短。冗长的独白更难进行唇形同步,更难添加字幕,且在短视频平台上的效果更差。出色的对话场景通常会采用快速的对话互动。

使用镜头清单管控演讲者

对话场景应当被拆分为多个镜头。请勿尝试将完整对话生成为单个连续的视频片段。

一个简单的对话场景可以使用:

镜头1:双人交代镜头,同时展示两名角色

镜头2:角色A说话的特写镜头

镜头3:角色B反应特写

镜头4:物体或环境空镜

镜头5:双人镜头,搭配最终收尾包袱或情感高潮时刻

这就是电影与动画处理对话的方式。这对人工智能也有帮助,因为每个镜头的任务都更为简单。

例如:

镜头1:米娜和理子站在车间里一台冒烟的机器旁。

镜头2:米娜自豪地说道:“我修好它了。”

镜头3:里科看着烟雾说道:“它在冒烟。”

镜头4:机器无害迸出火花的特写镜头

镜头5:米娜微笑着说道:“这说明它正在显著起效。”

该结构赋予编辑器控制权。同时也避免了让人工智能在长时间的连续场景中同时追踪两张人脸和两张嘴部。

保持空间位置一致

空间连贯性是AI对话视频中最突出的问题之一。若角色A初始位于画面左侧、角色B初始位于画面右侧,除非有意调整,否则请保持它们的位置不变。

在提示词中,重复放置位置:

“米娜始终位于画面左侧。莉子始终位于画面右侧。”

拍摄特写镜头时,请保持视线方向一致:

米娜微微向右看向里科。

“莉子微微向左看向米娜。”

这会让经过剪辑的对话显得连贯自然。即便画面精美绝伦,只要两个角色的视线方向有误,观众便会觉得这场戏衔接断裂,失去了应有的连贯性。

对于包含三名及以上角色的多角色场景,避免在每个镜头中都展示所有角色。先使用定场镜头,再使用特写镜头。让剪辑师通过镜头切换来暗示对话的开展。

生成带有受控运动的对话镜头

唇形同步与面部动画可能会破坏角色的辨识度。 对于有台词的镜头,动作需保持简洁。 采用稳定的镜头构图,确保面部清晰可见,并尽量减少肢体动作。

角色A发言的提示示例:

“使用参考图中的米娜。请保留她完全一致的面部特征、银灰色短发、绿色眼眸、圆形眼镜、橙色连帽衫、工具包、小巧匀称的身材比例以及赛璐璐动画风格。米娜采用中近景镜头呈现,站在工坊左侧,略微向右看向Riko。她说出一句简短台词,嘴唇动作细微且神情自信。镜头保持稳定,同时带有轻微的推镜效果。请勿更改她的面部、穿搭、发型、年龄或风格。”

角色B反应的提示示例:

“使用参考图中的莉子。保留她完全一致的脸部、深蓝色长发、灰色眼眸、藏青色外套、白色围巾、高挑纤细的身形,以及赛璐璐着色动漫风格。画面以中近景呈现莉子,她微微向左看向米娜,神情平静又带着怀疑。她回话时嘴唇微微微动。镜头保持稳定。请勿更改她的脸部、穿搭、发型、年龄或画风。”

请注意,每个提示都仅针对一位发言者。这比让两个角色在同一段剪辑中互相抢话要更稳妥。

策略性地使用语音与唇形同步功能

你无需在每个镜头中都做到完美的唇同步。许多动画对话场景会使用反应镜头、切出镜头、过肩镜头以及环境插入镜头。这些手法能让场景更具动感,同时减轻口型动画的制作压力。

例如,当米娜说“我修好了”时,你可以给这台机器一个镜头。当利科回答时,你可以切到她怀疑的表情特写。在角色说较长台词的过程中,你可以给到他们正在讨论的物品的特写镜头。

这一点很实用,因为AI唇形同步技术仍可能出现嘴部变形问题,尤其是在处理风格化的动漫面部时。将唇形同步技术用于关键特写镜头,其余部分则通过编辑来掩盖。

如果你正在打造系列定期对话内容,请保持每个角色的说话风格统一。稳定统一的说话语气会成为角色人设的一部分,就像穿搭或发型一样。请为每位角色设定不同的语气、语速与情感表达风格。米娜可能会语速轻快、充满活力。理子可能会语速缓慢、语调平淡干涩。

在Elser AI内部构建对话场景

Elser AI适配多角色对话创作流程,你可以先从角色参考出发,围绕这些角色生成简短的场景分镜头。无需通过单个提示词直接生成一整段对话序列,你可以为每个镜头设定清晰的角色定位。

一个实用的Elser AI工作流程:

创建或上传角色A的参考资料。

创建或上传角色B的参考资料

编写一段简短的对话脚本。

生成一个双人开场镜头。

生成单独的演讲者特写镜头。

生成反应镜头和切出镜头。

使用语音、字幕和音效进行编辑。

这种工作流程能让单场戏的制作保持可控。如果某条镜头里的角色出现走位偏移,你只需重新制作该镜头即可,不必舍弃整场戏的全部工作。

如果你想要制作AI动漫对话、喜剧小品、角色解说视频或是多角色剧情视频,可在Elser AI上注册账号,先从双人测试场景入手。请将脚本时长控制在20秒以内,测试成功后,再拓展至更长的对话场景。

多角色对话提示模板

将此结构用于双镜头拍摄:

“创建一个取自参考图片的两名设定一致的角色的对话场景。角色A为[身份],站在左侧。角色B为[身份],站在右侧。请保留两名角色的面部、发型、服装、身体比例、色彩及艺术风格。该场景设置在[地点]中。角色A[动作/表情],而角色B[动作/表情]。镜头:[镜头类型]。光线:[风格]。请勿交换角色、更改服装、修改面部或改变艺术风格。”

用于拍摄发言人特写:

“请使用参考图中的[角色名]。保留其精确的面部、发型、服装、身体比例、色彩搭配与艺术风格。[角色名]正在说一句简短台词,同时朝着[另一个角色]的[方向]看去。镜头:中近景,构图稳定。动作需细微。请勿进行面部变形、改变角色原有身份或更换服装。”

用于反应镜头:

“使用参考图中的[角色名]。保留其身份与风格。[角色名]带着[情绪]做出无声反应。镜头:缓慢推近的特写镜头。保持面部清晰稳定。”

需规避的常见错误

请勿让所有角色外观过于相似。 请勿将整段对话放在单个片段中生成。 请勿让角色随机切换站位。 不要为每一句台词都依赖唇形同步。 请勿使用需要持续唇部动作的长篇对话。 请勿在不同镜头中更改角色描述。 请勿使用错误角色发言的镜头。

最优质的多角色AI对话视频需要经过剪辑,而非简单生成。你需要先制作可控的片段,再将它们拼接成一个场景。

最终思考

使用人工智能制作多角色对话视频需要进行规划。你需要稳定的角色参考素材、简短的对话、清晰的镜头列表、发言者控制、空间连贯性、语音一致性,以及精心的剪辑。

我们的目标并非让人工智能一次性处理所有事务。 我们的目标是为人工智能分配更小、定义明确的任务。

若你想要创作出连贯一致的AI对话场景,请从以下内容开始 Elser AI. 注册账号、创建两个人物角色卡、撰写一段简短的对话互动,随后生成五个镜头:定场镜头、角色A发言镜头、角色B反应镜头、切出镜头以及最终双人镜头。这套简易工作流程是动漫对话、喜剧短片、品牌吉祥物、科普讲解视频以及AI故事系列的创作基础。

最新发布