一篇文章带你入门 AI 视频模型:从基本概念到主流模型与选择方法

About this offer

AI视频模型正从技术名词变成内容创作的新引擎。本文用红果短剧的爆火切入,手把手拆解文生视频、图生视频、首尾帧等概念,从技术原理到实操技巧,帮你快速上手,看懂行业讨论,独立判断新模型的价值。 2026 年,如果你问身边的朋友:”你知道 AI 视频模型是什么吗?”他可能会摇摇头。 但如果换个问题:”你刷过红果短剧吗?” 那他可就不困了。毕竟谁不想下班后,急头白脸地来一集红果短剧?白天受的气,晚上靠穿越主角逆袭找补回来。嘴上说着”看完这集就睡”,手指已经很诚实地点开了下一集。 不过看得多了,难免也会冒出一个念头:”这剧情,我上我也能编。” 编故事可以,真”拍”出来就没那么容易了。演员从哪找?场景怎么搭?脑海里那段主角推门登场、镜头缓缓推进的画面,又该怎么拍? 这时候,聪明的你就会开始去研究:有没有什么工具,能帮我把脑海里的画面做出来? 一搜才发现,工具还真不少。可灵、海螺、Seedance、名字还没认全,又碰上了文生视频、图生视频、首尾帧、主体参考。一分钟前,你还在构思主角如何逆袭;一分钟后,你已经在研究这些按钮到底有什么区别。 稳住别慌,今天我将带上我的保姆级教学文章,陪你把这些名字和按钮背后的门道捋清楚。 你不需要有技术背景,也不用提前背下那一串英文缩写。带着”我想做一段什么样的视频”这个问题往下看就行。 读完这篇文章,你不一定能成为 AI 视频专家,但你应该能做到三件事:看懂别人在讨论什么、自己动手试的时候不慌、面对新出的模型能自己判断它值不值得关注。 第一章:什么是 AI 视频模型? 1.AI 视频模型是什么? 一句话告诉你,”AI 视频模型”主要指 根据文字、图片、音频、视频,生成或修改视频内容的模型 。 比如,你输入”店员向杯子里倒咖啡”,模型就需要把这句话变成一段具体的视频:店员长什么样,杯子放在哪里,手怎样移动,咖啡怎样流下来。你不需要逐帧画出这些变化,模型会根据你的描述,尝试生成整个动作过程。 但这句描述只交代了”谁在做什么”,并没有说明镜头离人物多远、动作有多快、咖啡店是什么样。为了生成完整的画面,模型还需要自行补充这些细节,而它补充的内容,未必与你的设想一致。 你可能想要杯子的特写,生成的却是店员的全身画面;你希望咖啡缓缓倒入,它却很快完成了动作。因此,要让结果更接近预期,就需要说清楚关键要求,或者提供图片等参考,减少模型自行发挥的空间。 理解视频模型,可以先记住这一点: 你提供创作要求和素材,模型据此生成画面,再由你判断结果、调整要求,逐步接近想要的效果。 2.AI 视频模型大概是怎么”画”出视频的? 可以先把整个过程分成两件事: 训练时学习规律,使用时根据条件生成。 训练时,模型通过图片、视频、文字、音频说明数据,学习外观、动作和语言之间的关联。例如,”倒咖啡”通常涉及容器倾斜、液体流动,以及接收容器中液面变化。这些关联通过训练保存在模型内部的参数里。 用户点击”生成”时,模型会根据输入条件和已经学到的规律,计算出一段可能符合要求的视频。 以采用 扩散或流匹配 方法的生成系统为例,可以把这个过程粗略想象成: 从杂乱的信号出发,经过多次调整,逐渐形成符合要求的内容。 为了减少计算量,许多视频模型会先处理画面压缩后的信息。你可以把它想象成一份供模型使用的”画面编码”:它用数字表示画面中的内容及其变化,模型在这份编码上完成生成,再由专门的解码模块把结果转换成可观看的视频。因此,前面说的”逐渐形成画面”,实际可能发生在这些数字编码中,我们未必能直接看到一张从模糊变清晰的中间画面。 还有一个容易误解的地方:生成过程中的”一步”,不一定对应视频中的”一帧”。模型可能在同一次计算中处理多个时间位置,让这些画面共同调整;也可能分段生成,再利用前面的内容继续往后接。 所以,不能把所有视频模型都理解成”先独立画一张,再独立画下一张,最后拼起来”。这也解释了为什么同一句要求,多次生成可能得到不同结果。你并没有规定画面的所有细节,而生成过程中通常还包含随机性。”店员倒咖啡”可以有很多种合理的演绎,模型未必每次选择同一种。 3.AI 视频模型和图片模型有什么区别? 图片模型主要解决一个瞬间的问题: 这一刻,画面应该是什么样? 视频模型还要解决: 这个画面接下来怎样变化,前后的变化能不能连起来? 仍然以倒咖啡为例。生成一张图片时,只要店员、咖啡壶、杯子和液体在这一瞬间看起来合理,就可能得到一张不错的图。 生成视频时,要求就多了: 手伸向咖啡壶,手指要与壶柄接触。 咖啡壶被拿起来时,壶身不能突然改变形状。 壶嘴倾斜后,液体应当朝杯子流动。 倒完以后,手和咖啡壶还要自然地收回。 每个瞬间都要尽量成立,瞬间之间还要存在合理的联系。 此外,画面变化有时来自主体,有时来自镜头。店员站在原地,镜头绕着他移动,人物的视角、背景的遮挡和物体之间的位置关系也会跟着变化。 因此,视频模型不仅要生成物体的样子,还要处理物体、动作和视角随时间变化的关系。判断视频时,也就不能只挑一张最好看的截图。 4.为什么视频生成比图片生成难得多? 这里的难点不只是”要生成的图片更多”,还在于这些画面彼此牵连。 变化之中,要保留不该变化的东西 店员转过头,脸的角度会变,但应该还是同一个人;杯子被手遮住一部分,再次露出来时,杯柄不应该换到另一边。 画面随时间变化时,外观和结构能否保持合理连续,通常称为 时序一致性 。这里的”一致”并不要求每一帧都一样,而是要求变化有依据。 人物走动时,衣服褶皱变化是正常的;衣服上的口袋突然消失,就可能是问题。 动作连贯,还要符合物体之间的关系 倒咖啡看起来简单,实际上包含倾斜、接触、流动和液面上升等一连串关系。 一段视频可能播放得很顺滑,却出现咖啡穿过杯壁、手没有碰到壶却把壶提起来等情况。 运动流畅和物理规律,这是两回事。 模型能够学到大量与现实规律相关的模式,但生成出一次合理的动作,并不等于它会在所有场景中可靠地遵守这些规律。 看不见的部分,再出现时也要接得上 当咖啡壶挡住杯子,或者人物转身露出背面时,模型需要根据已有条件生成暂时看不见的部分,以及它们重新出现时的样子。 如果输入只有一张正面照片,背面长什么样往往没有唯一答案。这时,生成内容既要合理,又要与已经出现的部分保持联系。 时间越长,需要协调的关系通常越多 从”拿起杯子”发展到”倒咖啡、递给顾客、顾客喝一口”,涉及更多动作、人物和物体状态。前面出现的偏差,也可能影响后面的结果。 同时,更多画面和更复杂的关系通常意味着更大的计算负担。因此,视频的长度、细节、生成速度和稳定性,都是系统设计需要考虑的问题。 这些难点最终会直接影响使用体验:一个片段可能适合做气氛画面,却还不足以承担必须准确展示商品和操作步骤的任务。 5.视频模型的几种技术路线 了解技术路线,是为了看懂模型介绍中的一些关键词。对于大部分初学者,先认识下面几种思路就够了。 a.扩散:学习怎样从噪声中逐步生成内容 扩散模型的一种典型训练方式,是给真实数据逐渐加入噪声,再让模型学习如何从带噪的信息中恢复内容。生成时,则从随机噪声出发,在文字或图片等条件的引导下,逐步形成结果。 用直观的比喻说,就像一幅杂乱的画面逐渐变得可辨认。但起点并没有藏着一段等待”擦出来”的视频,内容是模型在生成过程中形成的。视频扩散模型还需要处理时间上的联系。 b.流匹配:学习从噪声走向内容的变化方向 流匹配也可以用于从噪声生成内容。可以把它理解成:训练模型判断,在从杂乱信号变成目标内容的过程中,每一步应该朝什么方向变化。 它与扩散方法在数学上存在联系,不宜简单理解为两个完全无关的阵营。普通读者只需先记住:它们都可以通过逐步变换来生成内容,但学习和描述这个过程的方式有所不同。仅凭”采用流匹配”,不能断言一个视频模型就一定更快或更好。 c.自回归:根据已有内容,继续生成后面的内容 自回归的核心思路,是利用已经生成的部分,预测接下来的部分。 这里的”部分”可以是视频编码后的信息单元,也可以是画面或片段,不一定是一张完整图片。Google 的 VideoPoet 就展示过把视频等内容编码为序列,再进行自回归生成的路线。 这种思路需要关注一个问题:后面的生成会依赖前面的结果,前面出现的错误可能继续影响后续内容。 这些方法也可以组合使用。例如,整体上按照时间顺序生成片段,而每个片段内部使用扩散方法完成生成。已有研究明确采用了这种自回归与扩散结合的设计。 你还可能看到 DiT,也就是扩散 Transformer 。它主要涉及模型内部处理信息的网络结构,与前面讨论的生成方法并非同一层面的分类,可以和流匹配等方法结合。没有必要把这些名称当成互相排斥的选项。 到这里,最值得记住的是:AI 视频模型在生成一段随时间变化的内容。它既要让画面成立,也要让变化成立。不同技术路线会影响实现方式,但一个模型是否适合你,最终还要看它能接受哪些条件、提供哪些控制,以及能否稳定完成你的任务。 第二章:现在的视频模型能做哪些事,有什么边界? 1.从输入到输出:视频模型究竟在生成什么? 使用视频模型时,你提供的材料大致有两种作用:一是告诉它要生成什么,二是约束生成结果。 比如,”店员倒咖啡”交代了内容;一张店员照片可以约束人物外观;一段动作视频则可能用于参考动作。具体能接受哪些材料、材料能发挥什么作用,要看所选模型和模式。 同一份素材,用途也可能不同。一张咖啡店照片,可以作为视频的开头,也可以只用来参考店内环境;一段已有视频,可以作为动作参考,也可以成为需要修改的对象。 因此,看到”支持图片输入”或”支持视频输入”时,还要接着看: 模型会怎样使用这份素材? 在输出这一块需要分清,有的模型主要生成画面,有的可以同时生成声音。部分模型提供的”原生音频”能力,意味着声音随视频生成过程产生,而不是成片后再由另一个工具补上。 但”有声音”仍然是一个很宽泛的说法。能生成环境声,不等于能准确说出指定台词;能生成对白,也不等于多人对话时不会弄错说话者。对白、环境音、音效、音乐以及口型同步,需要分别确认。 对创作者来说,先想清楚自己需要的是一段画面、一段有声视频,还是一组能够剪在一起的镜头,后面的功能选择才有依据。 2.基础生成能力:从文字或图片”变”出视频 最常见的起点,是文字和图片。 文生视频:用文字描述你想拍的内容 文生视频,简称 T2V(Text-to-Video),就是主要根据文字描述生成视频。 你写给模型的这段要求,也常被称为”提示词”。 例如: 清晨的咖啡店,阳光透过窗户照进来。一位穿深色围裙的店员把咖啡倒进白色陶瓷杯,镜头缓缓靠近杯口。 这段描述同时交代了场景、人物、动作和镜头。模型需要把这些要求组织成具体画面,并补充桌面材质、人物长相等未指定的细节。 如果你还没有确定人物和场景,只想先看看一个创意大概是什么样,文生视频是很自然的起点。但如果必须使用某位人物、某件商品,仅靠文字描述通常难以准确传达全部外观细节,这时就需要图片等参考。 图生视频:先确定画面,再让它发生变化 图生视频,简称 I2V(Image-to-Video),就是以图片作为条件生成视频。 一种常见用法,是把图片作为起始画面,再通过文字描述接下来发生什么。 比如,你已经有一张店员站在柜台前、手边放着咖啡壶的图片,就可以要求: 店员拿起咖啡壶,缓缓向杯中倒入咖啡,镜头保持固定。 这样,你已经交代了人物、环境和大致构图,不必让模型从头决定这些内容。你的注意力可以更多放在”接下来怎么动”。 不过,一张图片只能提供某个角度、某个瞬间的信息。人物转身后的样子、杯子背面的图案,以及被遮住的手部,都可能需要模型继续补充。 提供图片能增加约束,但不能保证整个视频始终与图片中的细节完全一致。 3.进阶生成能力:用参考内容控制视频 如果你要让同一位店员出现在不同场景里,单纯把某张照片作为开头,未必足够。 你可能希望第一段是他在店里倒咖啡,第二段是他站在门口招呼顾客,第三段是他的面部特写。三个镜头的构图不同,但人物应该保持一致。 这就涉及 参考生视频 :让模型提取参考素材中的人物、商品、场景或其他特征,用于生成新的画面。称为 R2V(Reference-to-Video)。 它与常见首帧图生视频的差别,可以这样理解: 作为首帧: 告诉模型”从这幅画面开始”。 作为主体参考: 告诉模型”新画面里要使用这个人物或物体”。 同一张店员照片,在后一种模式中不一定需要出现在视频开头,而是用来约束新镜头中的人物形象。 参考内容还可以不止一种。例如,人物照片提供外观,商品图提供杯子的造型,视频提供动作或运镜参考。文字、图片、视频和音频这些不同形式的信息一起参与生成,通常称为 多模态参考 。 这样你就可以分别告诉模型:人物用照片里的店员,杯子参照商品图,镜头运动参考另一段视频。原本很难用文字说清的长相、造型和动作,现在可以直接用素材表达。不过,不同模型能参考的内容不同:有的主要用于保留人物或商品外观,有的还支持动作、运镜或声音参考,具体要看所选模式。 参考素材提供了依据,但生成结果能保留多少细节,还需要实际检查。比如,同一位店员在正面镜头里很像本人,转到侧面后,五官是否仍然对得上?杯子静止时图案完整,拿起来转动后,图案是否发生变化? 参考生成的目标,是让指定的人物或物体在新的画面中保持可辨认的特征;这些特征在运动和换镜头时能否保留下来,才决定了素材是否真正用得上。 4.过程控制能力:让视频更听你的话 确定”谁出现在什么地方”之后,下一步是控制”事情怎样发生”。 首尾帧与关键帧:指定某些时刻的画面 如果只给一张起始图,后续变化仍有很大的自由度。支持首尾帧的模式,则允许你同时提供开头和结尾,让模型生成两者之间的过程。 例如,第一张图是杯子放在桌上,第二张图是店员把杯子举到胸前。模型需要尝试补出拿杯、抬手的动作。 这相当于规定了起点和终点,但没有决定中间每一步。模型可能自然地拿起杯子,也可能出现手部变化或不合理的过渡。因此,首尾帧能帮助确定画面走向,但不能替代对动作过程的检查。 更进一步的关键帧控制,可以约束中间某些时刻的画面。例如,在支持指定时间位置的模式中,你可以提供一张”店员已经握住杯柄”的图片,作为第 3 秒的关键帧,再提供一张”杯子举到胸前”的图片,作为第 5 秒的关键帧,让模型生成这些画面之间的动作。 你也可以在提示词中安排节奏:”前 3 秒,店员伸手握住杯柄;第 3—5 秒,缓缓举起杯子;之后停留片刻。”这种写法是在用文字描述动作的时间安排,模型能否准确执行取决于其能力;它与上传图片、指定某一时刻画面的关键帧控制有所不同。 运镜与动作控制:分别告诉模型什么在动 “店员走近镜头”和”镜头靠近店员”,最终可能都让人物在画面中变大,但拍摄效果并不相同。 前者主要是人物移动,后者涉及相机移动,背景的透视和遮挡也会发生变化。因此,描述时最好分清主体动作与镜头运动: 店员站在原地,缓缓抬起杯子;镜头从中景向前推进,最后停在杯子的特写。 多镜头:从一个动作发展成一段叙事 一条咖啡店短片可以包含三个镜头:店铺外景、倒咖啡的特写、店员递杯。 实现这类视频,既可以分别生成后去手动剪辑,也可以使用支持多镜头生成的模型;有些平台则会自动拆分分镜,再组织生成过程。这几种方式在界面上都可能表现为”一次提交,得到一条视频”,背后的控制方式却不同。 多镜头的关键不只是发生了切换,还包括切换之后人物是否相同、杯子是否一致、动作能否衔接。部分模型已经提供相关生成能力,但一次生成多个镜头,并不等于整段故事都能按要求完成。 5.编辑与扩展能力:对已有视频进行修改 假设你已经得到一段满意的倒咖啡视频,只想把窗外的晴天改成雨天。如果重新生成整段,人物、动作和构图都可能改变。 视频编辑能力,就是尝试在已有内容的基础上完成修改。 视频编辑:修改目标,同时保留其他内容 常见的编辑任务包括替换背景、增加或移除物体、替换商品,以及调整光照或整体风格。 不过,这些任务的要求并不相同。 把整段视频改成动画风格,允许较大范围的外观变化;只替换杯子上的图案,则要求人物、杯子形状、动作和光线尽量保留。不能因为一个模型会做风格转换,就推断它也能精确完成局部修改。 编辑结果需要同时满足两个条件: 想改的地方改对了,不想改的地方保留下来了。 如果窗外变成雨天,但店员的脸也变了,这次编辑就还没有完整达到要求。 视频延长:让已经发生的动作继续下去 视频延长是在现有片段之后继续生成新内容。例如,原视频结束在店员倒完咖啡,你希望后面接上”放下咖啡壶,把杯子递给顾客”。它需要承接前面的动作、场景和人物状态。 6.能做 ≠ 做得好:当前视频模型的能力边界 看到”支持人物参考””支持多镜头””支持视频编辑”,可以确认模型提供了相应入口。但这些描述还没有回答一个更实际的问题: 你的任务交给它,能多稳定地完成? 可以把能力理解成三个层次: 支持这项功能: 允许输入相应素材,或执行相应操作。 在某些案例中做得好: 已经展示出令人满意的结果。 在你的任务中稳定可用: 经过合理次数的尝试,能够得到符合要求的内容。 这三层不能直接画等号。官方文档可以确认功能范围,样片展示的是具体结果,而稳定性需要结合实际测试判断。 在使用时,尤其需要留意以下几类边界。 第一,多个要求同时出现时,结果可能顾此失彼。 “店员抬起杯子”与”店员准确拿起指定杯子、展示杯身图案、转身、说出台词,同时完成绕拍”,任务复杂度不同。后一种情况需要协调更多条件,不能从单项示例推断整体表现。 第二,外观相似不等于细节准确。 用于表现咖啡店氛围时,杯子上的细小纹样可能不重要;用于商品广告时,杯型、标志和文字都可能是必须保留的内容。同一段视频,在不同用途下会得到不同评价。 第三,声音和画面各自成立,也可能没有配合好。 店员的台词清楚,但口型对不上;杯子已经落桌,碰撞声却晚了一拍。这些问题需要把视频和声音一起检查,不能只确认输出文件里有音轨。 第四,增加提示词不能解决所有问题。 描述不清,可以补充;功能不支持,需要换模式或工具;动作过于复杂,可能需要拆成几个镜头。遇到问题时,先判断原因,比一味的改动要求更有帮助。 这些例子是使用时需要检查的情况,不代表每个模型都会出现同样的错误。具体模型的表现,应当结合版本、输入和重复测试来讨论。 第三章:判断视频模型的能力 1.为什么不能只看”官方样片”? 官方样片可以帮助你了解一个模型能尝试哪些题材、达到过怎样的效果。但一段精彩的视频,通常不能告诉你完整的制作过程。 它可能是一次生成的结果,也可能经过多次尝试和筛选;可能直接使用模型输出,也可能加入了剪辑、配音、调色或其他处理。如果制作方没有说明,仅凭成片很难判断。 例如,一段广告展示了人物转身、商品特写和流畅的镜头切换。你看到的是完成后的效果,却未必知道其中每个镜头生成了多少次,哪些地方被剪掉,又有哪些部分经过修补。 因此,看样片时,可以顺手确认三个问题: 输入了什么? 只有文字,还是提供了人物图、场景图或动作参考? 展示了什么? 完整生成结果,还是截取出来的片段? 经过了什么处理? 是否剪辑、配音、放大画面,或者修补过局部? 官方样片展示了一种已经实现的结果,而你真正需要了解的是: 在自己的素材、要求和预算下,能否得到类似的效果。 同样的判断也适用于博主测评和用户作品。比起一句”这个模型很强”,清楚交代输入、版本、尝试次数和处理过程的案例,更有参考价值。 2.普通用户评价框架:六个核心维度 评价视频时,可以从下面六个方面看。这是一套方便日常使用的检查方法,各项之间会有联系。 1 指令遵循:有没有完成你提出的要求? 指令遵循,指生成结果与输入要求的符合程度。 假设提示词写的是: 店员先把白色杯子放到桌上,再拿起咖啡壶倒咖啡,镜头保持固定。 看结果时,可以把要求逐项对照:杯子是不是白色?动作顺序对不对?咖啡有没有倒进杯里?镜头是否保持不动? 如果画面精致,但店员一直端着杯子,没有完成指定动作,就说明画面表现和指令遵循出现了分歧。 这里尤其要注意动作关系和先后顺序。”有人、有杯子、有咖啡壶”只说明几个元素出现了,不能证明它们按照要求发生了互动。 2 画面表现:画面是否完整,风格是否合适? 这一项既包括容易辨认的画面问题,也包括审美判断。 前者可以检查人物结构、物体轮廓、纹理、文字和边缘。例如,杯柄是否完整,手指有没有与壶柄粘在一起,背景里的桌椅有没有不合理地连成一片。 后者则涉及构图、光线、色彩和风格。咖啡店宣传片可能需要温暖柔和的氛围,商品展示却可能更重视颜色准确和细节清楚。 两类判断最好分开表达: “杯身文字变形”是具体的画面问题;”我更喜欢偏暖的色调”是审美偏好。 另外,输出的分辨率只能说明画面的像素规格,不能直接说明细节是否准确。 3 动作与物理合理性:动得是否自然,关系是否成立? 可以先看动作本身:人物抬手有没有突然加速,行走时脚有没有滑动,物体移动是否出现突跳。 再看动作涉及的关系:手是否真正握住杯子,杯子倾斜后液体怎样变化,物体碰撞后有没有合理反应。 比如,一个球平稳地滚过桌面,运动可能很流畅;但滚到桌边后继续悬在空中,就出现了物理关系的问题。当然,如果要求本来就是魔法场景,判断标准也应随创作设定调整。 4 时序与主体一致性:前后还是同一个人、同一件东西吗? 时序一致性关注画面随时间变化时,外观、结构和场景能否合理延续。主体一致性则更关注人物或物体的身份有没有保持住。 可以观察几个容易暴露问题的位置: 人物从正面转向侧面,五官有没有明显改变? 杯子被手遮住后再次出现,形状和图案是否还对得上? 镜头移动后,背景里的门窗和家具是否保持合理的位置关系? 切到下一个镜头,人物是否仍能被辨认为同一个人? 这一项需要完整播放,毕竟关系到片段能否连接使用,下一节会进一步展开。 5 镜头与叙事表达:镜头有没有把事情讲清楚? 镜头有运动,并不意味着运镜就有效。 如果要求镜头靠近杯子,要看相机是否真的向前移动,画面的透视和遮挡是否合理变化;如果要求跟拍人物,要看主体是否保持在合适的位置,运动是否连贯。 多镜头视频还要看镜头之间的关系。例如,前一个镜头中店员从柜台内递出杯子,下一个镜头应当让观众理解谁接到了杯子,而不是突然换了人物、方向或场景。 在第一个指令遵循维度中我们检查的是”指定的运镜是否执行”,而在这里我们则进一步去看: 运镜和切换是否自然,是否有助于表现动作、空间与情绪。 6 创作可控性:能否按要求调整,并保留已经满意的部分? 前五项主要看视频结果,可控性还需要结合操作过程判断。 例如,第一次生成的人物和动作都很满意,只想把镜头改近一些。调整要求后,模型能否改变构图,同时尽量保留人物与动作?提供首尾帧或主体参考后,结果是否真正受到这些条件约束? 因此,可控性不能仅凭一段成片判断。它需要你尝试提供参考、改变条件或进行修改,观察结果是否朝预期方向变化。 对于有明确交付要求的创作,能否反复调整到位,会直接影响完成作品需要多少时间。 当涉及声音或编辑时,再增加对应检查 六个维度之外,还应根据任务补充检查: 有声视频: 台词是否正确、声音是否清楚、说话者是否对应,口型和声音是否同步,碰撞声等音效是否出现在正确时刻。 视频编辑: 目标修改是否完成,人物、动作、背景等不需要修改的部分是否保留下来。 3.从”变脸”说起:为什么一致性是 AI 视频的一道难题? 你可能见过这样的片段:人物正面看起来没有问题,转头之后却像换了一个人;商品刚出现时形状准确,拿起来展示时,边缘和图案开始变化。 这类问题之所以影响观感,是因为观众会自然地把前后画面理解为同一个人、同一件物体。外观一旦发生没有依据的变化,这种连续感就被打断了。 难点在于,视频中的主体必须一边变化,一边保留身份。 人物转头时,脸的可见轮廓、光照和五官位置都会改变。模型既要生成新的视角,又要让观众仍然认得出这个人。如果输入只有一张正面照片,侧面和背面的信息并不充分,生成过程中还需要补充未展示的部分。 遮挡也会增加难度。杯子被手挡住以后,再次露出的杯柄和图案,需要与前面衔接;跨镜头时,构图、距离和背景一起变化,主体的外观又要继续保持。 所以,”一致性”可以分成几个层次来看: 在判断时也不能把所有变化都当作错误。毕竟侧脸本来就与正脸不同,光照改变也会影响肤色和材质观感。