第2章视频AIGC的原理与发展脉络

输入一句“红色小球沿桌面滚动”，为什么每次得到的视频不完全相同？加一张参考图，为什么能更接近想要的构图，却仍可能出现小球变形？理解这些现象，不需要先学编程，也不必记住模型的全部术语。

AIGC 是 AI Generated Content 的缩写，通常译为“人工智能生成内容”。在本手册中，它包括用生成式人工智能制作画面、视频、声音以及相关创作材料。本章从一次生成讲起，再认识它背后的技术和发展脉络。读完后，你应能分清训练与推理、输入与输出，知道哪些要求可以交给模型，哪些结果仍需要自己检查。

本章可以独立阅读，无需账号、软件或前章素材。下面的小球、杯子等例子与配图都是概念说明，不是模型生成样片。

2.1 从输入到结果及训练与推理

模型怎样获得生成能力

模型可以先理解为一套从数据中学到规律、能够进行计算的系统。它内部有大量可调整的数值，称为参数或权重。这些数值共同影响输出，不是一本能逐条翻查的拍摄说明书。

模型获得能力的主要过程叫训练。训练时，系统反复处理图像、视频、文字或声音等数据，按设定的任务作出预测，再根据预测与目标的差异调整参数。例如，扩散模型的一种训练任务，是面对加入噪声的图像，学习预测其中的噪声。这里的噪声指加入数据的随机数值扰动，可以直观地想成干扰原有画面的杂乱变化。大量这样的调整，使模型学到形状、纹理及它们与描述之间的关系。视频训练还要处理不同时间位置之间的关系。DDPM 原论文、Video Diffusion Models 原论文分别给出了图像与视频中的代表方法。

这不等于模型看懂了训练数据中的一切。训练材料的覆盖范围、质量和标注方式会影响它擅长什么；画面中常见的关系，也不一定是现实世界的因果规律。生成通常不是从素材库直接挑一条现成视频，但这也不能保证输出绝不会接近训练样本，更不能据此免除素材与作品的权利检查。已有研究从特定图像扩散模型中提取到训练样本，说明“生成”本身并不保证没有记忆与复现风险。相关原始研究

创作者通常使用的是推理

训练完成后，用已有模型处理新输入、得到结果，叫推理。你输入提示词、放入参考图、选择时长并生成视频，通常都属于推理。普通生成不会因为你多试几次，就自动把该角色永久训练进模型；服务是否另行收集输入用于后续训练，则是另一个需要查看数据政策的问题。

图 2-1　训练与推理的关系示意。上方是能力的学习过程，下方是一次使用过程；为便于理解，省略了数据处理、安全检查等环节。

一次常见的视频生成，可以理解成四步：

提供条件：告诉系统要出现什么、怎样运动，以及可使用的参考材料。
把输入转为内部表示：文字和图像通常先经过相应的编码器，转成模型可以计算的数值。
生成一个候选结果：模型结合条件、已学规律与本次的随机因素，计算视频内容。
还原并交付媒体：把内部表示转成可播放的画面；某些流程还会经过放大、补帧或声音处理。

具体产品不一定把这些步骤展示出来。一个“生成”按钮背后，也可能串联多个模型。因此，模型不等于平台：模型承担特定计算，平台还可能提供素材管理、提示词改写、队列、编辑和导出等功能。同样名称的模型，在不同平台上也可能有不同的输入限制和后处理。

提示词提供方向，不是逐帧程序

“红色小球沿木桌向右滚动，固定机位”说明了主体、场景、动作和镜头。但它没有精确定义球的半径、每一时刻的位置、光照的全部参数。即使补上很多细节，普通自然语言也不是模型必须逐条执行的程序。

模型会根据条件生成一种可能的表现。创作者的工作因此包括两部分：先把重要要求表达清楚，再判断实际结果是否符合意图。遇到偏差时，也要分清是描述含糊、输入相互冲突，还是所选模型在这个任务上不够可靠，而不是一概归咎于“提示词写得不够长”。

2.2 多模态条件与声画生成

不同输入各自补充什么

“模态”指信息的形式，如文字、图像、视频和声音。多模态表示系统能够处理其中多种形式，但不表示任何文件都能输入，也不表示所有模态都能输出。选择工具时，应分别看它接受什么、怎样使用、最终生成什么。

左右滑动查看表格，或聚焦后使用方向键 →

输入条件	能帮助确定的内容	不能直接保证的内容
文字	主体、动作、场景、镜头意图、声音要求	每条指令都被执行，或动作精确发生在指定时刻
图像	主体外观、构图、光线，或某个指定时刻的画面	看不见的背面结构、整段身份不变、运动符合物理
视频	已有运动、表演或镜头变化，供修改、延长或参考	所有参考信息都被保留，或可自由替换任意部分
声音	语音时序、节奏或声音特征，具体取决于任务	自动理解全部语义，或支持声音克隆、精确口型等另一项能力
结构化控制信息	关键帧、姿态、深度、轨迹等更明确的布局或运动约束	任意模型都支持，或多个约束始终兼容

这里列的是条件的用途，不是一款产品的功能清单。例如，LTX-2 官方项目在 2026 年 10 月可查到文／图生视频、声音条件、关键帧与视频修改等不同流程；它们需要各自对应的管线和模型组件，不能把一个流程的输入规则套给另一个。

同一张图的角色也要分清：首帧要求从这幅画面开始，角色参考图用于提供外观线索，风格参考图用于影响视觉表现。平台即使都允许上传图片，也不代表它把图片当成同一种条件。尾帧同样只约束终点，不能独自说明中间应该经过哪些动作。

条件增加后，仍要检查是否相容

设想你提供一张“杯子放在桌子左边”的首帧，又在文字中写“开场时杯子位于桌子右边”。模型面对的是两个冲突要求。再增加一张参考图，并不会自动消除冲突。

更清楚的表达是分配各输入的职责：首帧确定开场构图，文字描述之后杯子怎样移动。如果需要指定结束状态，再选择明确支持尾帧的方式。输入更多，只有在职责清楚、内容相容时，才可能提供更有效的控制。

参考材料还涉及使用权。能够上传一张人像或一段声音，不代表可以让其中的人物作出任意表演、代言或发言。有关真实人物的授权与发布审核，需要与技术能力分开判断。

有声音的视频，可以由不同路线制成

声画联合生成是在生成过程中共同建模画面与声音的关系。例如，人说话时的口部运动与语音同时形成；杯子落桌的动作与碰撞声共同出现。LTX-2 的官方资料将同步音视频列为模型能力，这是这类路线的一个例子，不代表每次结果都能通过口型和同步检查。

分开制作则是先得到画面，再录制或生成旁白、对白、音效与音乐，最后在剪辑中对齐。也可以先确定声音，再用声音驱动画面。自动为已有视频添加音效属于后续声音生成；即使成品听起来很自然，也不能据此判断它采用了声画联合模型。

这两类路线各有用处。联合生成适合探索声画整体表现；分开制作更便于独立修改一句话、替换音乐或调整一个音效。即使最初联合生成，也可能需要后期重配。选择依据是修改需求和可用控制，而不是“原生”二字。

还要分清声音与文字：一句对白说对了，不代表画面中的招牌字样正确；生成了语音，也不代表已经交付可编辑的字幕轨道。成片中的对白、字幕、画面文字应分别检查。

2.3 模型表示与生成思路

阅读产品介绍时，经常会同时看到扩散、Transformer、潜空间、流匹配等词。它们回答的不是同一个问题。先分清三个层次，就不容易把技术名称误当成画质排名。

第一层：模型在什么表示上工作

画面最终由像素组成。视频则有一系列随时间排列的画面，直接处理全部像素很昂贵。许多生成系统会先把图像或视频压缩为较小的数值表示，在这个表示中进行主要计算，再还原为画面。这个内部空间常称为潜空间，其中的数据称为潜表示。

可以把它想成一份为了后续重建而制作的紧凑记录，但它不是人能读懂的场景摘要，也不是一套完整三维模型。压缩会舍弃部分信息，重建也可能损失细节；它与把 MP4 压小的普通视频编码不是同一件事。潜扩散原论文展示了在压缩表示中生成图像、降低计算负担的代表路线。

有些模型进一步把表示组织成 token，即计算时使用的一个个单元。文字 token 可以对应词的一部分，视觉 token 可以对应压缩后的图像或时空区域；不能把视觉 token 理解为一个“物体”，也不能一概理解为一帧。VideoGPT就是先压缩视频，再对表示中的离散单元建模的例子。

第二层：内容怎样被生成

扩散：学习逐步去噪。

以经典扩散方法为例，训练时让网络接触不同噪声程度的数据，学习与去噪有关的预测任务。生成时则从随机噪声出发，经过若干计算步骤形成内容。若有文字或图像条件，生成过程还会受到这些条件的引导。

“从杂乱中逐渐整理出画面”是一个便于理解的比喻，但噪声下面并没有一张预先藏好的目标图片等待擦出来。中途预览也不是摄影机从模糊到清晰的对焦过程。不同扩散系统可能预测噪声、较干净的数据或其他相关量，不能把一种实现当成全部模型的固定内部步骤。DDPM 原论文提供了经典训练与采样过程。

流匹配：学习怎样沿路径移动。

流匹配的一类常见做法，是安排从噪声到数据的变化路径，让网络学习路径上各位置应如何变化。生成时，从噪声出发，根据网络给出的变化方向逐步推进，得到样本。

这里的“流”发生在数值表示中，不是画面里的水流，也不是用来描述物体运动的光流。它与扩散有数学联系：流匹配框架可以采用包括扩散路径在内的不同路径。因此，“使用流匹配”不能简单译为“完全没有扩散思想”，也不能单凭名称保证更快或更好。Flow Matching 原论文明确讨论了这种关系。

自回归：根据已有部分接着生成。

自回归把结果看成有顺序的单元，每次利用已经得到的部分，预测接下来的部分。这里的“下一个”可能是一个视觉 token、一组单元或一个时间块，不必等于下一帧。VideoGPT 用这种方式生成视频的离散表示；其他系统也可能把按时间推进与块内的扩散生成结合起来。

这种思路便于理解“接着往下生成”，但也带来需要关注的问题：前面产生的错误，可能影响后面的预测。它不是所有视频模型共同遵循的唯一顺序。

第三层：用什么网络处理关系

Transformer是一类神经网络结构。它的注意力机制，可以让一个计算单元根据当前任务，结合其他相关单元的信息。放到视频中，这种关系可能跨越画面不同位置和不同时间；具体能看到哪些信息，由模型设计决定。

因此，Transformer 不等于聊天机器人，也不等于自回归。它可以用于自回归预测，也可以用在扩散模型内部。DiT通常指 Diffusion Transformer，即以 Transformer 为核心网络的扩散模型；原始 DiT 工作是在图像潜表示上，用 Transformer 替换常见的 U-Net 网络。U-Net 是另一类常用于图像处理的网络结构，本章只需知道它与 Transformer 属于同一层面的设计选择。DiT 原论文说明了这种组合。

下面先归纳模型内部的三个层次，再加上创作者实际接触的输入与任务接口，方便对应产品说明。

左右滑动查看表格，或聚焦后使用方向键 →

所处层次	回答的问题	代表术语
数据表示	在什么样的数值上计算？	像素、潜表示、token
生成与学习方式	怎样学会生成、怎样得到结果？	扩散、流匹配、自回归
网络结构	用什么计算结构处理信息关系？	Transformer、U-Net
创作者接口	我能给它什么、要求它做什么？	文生视频、图生视频、声音条件、关键帧

这些层次可以组合。一个系统完全可能“使用压缩视频表示，以 Transformer 处理时空关系，通过流匹配训练，接受文字和首帧条件”。这不是四种互相替代的技术，而是对同一系统不同方面的说明。

生成步数不是视频播放时间

“计算进行到第 20 步”与“视频播放到第 20 帧”是两种不同的进度。对一段视频的内部表示，模型可能反复计算很多次，每次都影响多个时间位置；也可能分块生成或延长。不能把去噪过程想成摄影机逐帧拍摄。

同理，更多生成步数不保证更好，更多输出帧也不自动带来更正确的动作。某些快速模型专门按较少步数训练；补帧可以增加帧数，却不等于重新解决了物体接触、身份或因果关系。实际参数的意义，要回到对应模型和流程核对。

2.4 时间一致性随机性与能力边界

视频需要保持什么一致

单张图好看，只说明一个时刻的画面成立。视频还要求不同时间的画面能够被理解为同一件事。时间一致性至少包含以下几种关系：

身份与外观：同一个人的面容、衣服，以及同一个道具的形状，在镜头中保持合理连续。
空间关系：人物经过遮挡后，从合理的位置出现；背景结构不会无故改变。
动作过程：手伸向杯子、接触杯子、拿起杯子之间有连续关系。
状态与因果：杯子被拿走后，原位置不再多出一只；东西破碎后不会无故恢复。
声画关系：说话、碰撞等可见事件，与听到的声音在内容和时机上相符。

图 2-2　时间一致性示意，假定杯子只向右平移、不发生旋转。两行中的单幅画面都能辨认，但下行杯子在遮挡后无故失去把手，破坏了同一物体的连续性。此图为人工绘制，非模型测试结果。

视频模型会用时空计算、条件信息等方式学习这些关系，并非简单地把完全独立生成的图片排在一起。但“考虑了时间”仍不等于始终正确。遮挡、出画再入画、复杂接触、多个相似主体，都会让检查变得更重要。

看起来像物理，不等于物理计算正确

普通视频生成输出的是画面，不必先建立有精确尺寸、质量和碰撞规则的三维场景。它可以学到许多符合经验的运动表现，却未必在计算每个物体的受力与接触。

例如，一只球落地再弹起，整体可能很逼真，但接触地面的瞬间仍可能穿透，反弹高度也可能不合理。2024 年的 Sora 技术报告一方面讨论了模拟能力，另一方面明确展示了物理交互和物体状态变化的局限。这里引用的是历史研究中的证据，不能用来测定另一款模型今天的表现。Sora 技术报告：局限讨论

对创作而言，应先区分要求的性质。氛围镜头可以允许合理的视觉近似；教学演示、产品结构展示或必须精确交接的动作，需要更严格地验证，必要时借助实拍、三维制作或其他可控方法。写上“符合物理规律”，本身不会把生成过程变成可靠的物理仿真。

为什么同样输入会有不同结果

许多生成流程包含采样：从模型所表达的多种可能中得到一个具体结果。扩散和流匹配常从随机噪声出发，自回归生成也可以在下一单元的多个候选中采样。相同描述可以对应多种合理构图、动作节奏和细节，因此多次生成可能不同。

有些工具提供 seed（随机种子），用于初始化伪随机过程。固定种子有助于受控比较，但它不是“角色编号”，也不是跨模型通用的画面密码。只有模型、输入、设置与计算环境等条件足够一致时，才有望接近复现；换模型版本、采样方法或硬件实现，都可能改变结果。不同环境的可复现限制，也见 PyTorch 官方复现说明。

所以，要理解一次修改是否有效，最好保留原输入和结果，并尽量一次改变一个主要因素。若同一要求在几个候选中时好时坏，应把它视为尚需筛选的能力，不能因最好的一条成功，就断言这项控制已经稳定。

控制意味着减少不确定性

提示词、参考图、关键帧和结构化条件，可以减少模型需要自行决定的内容；它们通常无法把所有不确定性消除。更明确的输入也可能引入冲突，过多同时发生的动作还会增加验收难度。

比如“一个人拿起杯子”至少需要检查手、杯子、接触点和先后顺序。再加上第二个人接过杯子、转身说话和相机环绕，需要同时成立的关系就更多了。合理的制作选择，是把真正重要的事件说清楚，并按镜头拆分复杂动作，而不是不断叠加约束后期待一次生成解决整场戏。

检查时可以先问三个问题：是不是同一个对象？事情是否连续发生？结果是否保留了前面动作造成的变化？ 这比只看第一帧是否漂亮，更接近视频的实际质量。

2.5 技术演进的短时间线

视频 AIGC 不是从某个聊天框突然诞生的。它结合了计算机图形学、计算机视觉和机器学习长期积累的方法。

传统三维制作通常由创作者明确设置场景、材质、灯光、相机与动画，再渲染画面；计算机视觉研究怎样从图像和视频中估计物体、结构与运动；生成模型则学习数据中的规律，用来产生新的内容。这些方向可以协作，并不是后一种出现后，前一种就失去了价值。

下面只选取帮助理解本章概念的代表节点。论文年份按首次公开版本列出，必要时补充会议年份；它们不是“某项能力第一次被任何人实现”的完整优先权清单，也不是产品推荐榜。

左右滑动查看表格，或聚焦后使用方向键 →

时间	代表节点	对创作者理解技术的意义
2014	GAN 原论文：让生成器与判别器在训练中相互作用	从数据学习生成内容的重要路线之一；生成式 AI 并不始于扩散模型
2016	Generating Videos with Scene Dynamics：以对抗训练生成低分辨率短视频，并研究静态图像的可能未来	动态生成很早就在探索，但与今天的通用创作平台规模和用途不同
2017	Attention Is All You Need提出 Transformer，原始实验针对语言任务	后来可用于多种媒体；一种网络结构不等于一种固定产品
2020—2021	DDPM 推进去噪扩散；潜扩散论文于 2021 年公开、发表于 CVPR 2022	逐步生成与压缩表示可以配合，图像生成中的方法也为视频研究提供基础
2021—2022	VideoGPT 研究压缩表示上的自回归视频生成；Video Diffusion Models 研究视频扩散	动态生成存在多条路线，时间关系需要专门建模
2022—2023	Flow Matching 于 2022 年公开；DiT 于 2022 年公开、发表于 ICCV 2023	训练方式、生成过程和网络结构不断组合，不能简单排成互斥的“几代技术”
2024	Sora 的公开技术报告把压缩、时空块与扩散 Transformer 结合起来，展示大规模视频生成的能力与缺陷	研究演示推动关注，但长视频展示不等于所有长动作都可靠，也不等于当时已向所有人开放
2025—2026	Wan 论文及开放项目等提供更多可研究与部署的材料；LTX-2 等项目把音视频生成和不同条件流程结合起来	创作从“能否生成”进一步走向“怎样控制、组合、修改和交付”；不同发行版仍有不同资源和许可条件

前几节链接的原论文可与这张表对应阅读。早期的自回归、对抗训练和图像方法仍有研究与应用价值；新模型也不一定用全新原理。数据、训练规模、压缩、网络、采样与工具工程的改进，都可能改变最终体验，不能只凭一个技术标签解释效果。

分清研究演示、发布与实际可用

看一则新模型消息时，可以逐层问：

展示了什么？ 是论文结果、精选演示，还是可重复运行的任务？
发布了什么？ 是技术报告、代码、权重，还是托管服务？公开代码不等于已经提供全部权重和数据。
自己能用到什么？ 当前地区、账号、产品端、版本和套餐是否支持目标功能？
任务做得怎样？ 在自己的输入、时长和质量要求下，结果是否合格，失败时能否修改？

发布日期不能代替这些判断。历史资料也可能长期保留在网上，而服务已经停止：Sora 官方帮助页说明 Web／App 于 2026 年 4 月 26 日停用，并公布 API 停用日期为 2026 年 9 月 24 日。因此，本章中的 Sora 只作技术史参考，不作为现行操作入口。官方停用说明

本章关于训练、条件、表示和随机性的解释，旨在帮助长期理解不同工具；上面的产品实例及可用性信息核验于 2026 年 10 月 14 日。具体平台选择、设备与成本条件，接着在第3章讨论。

可选：用三个判断检查理解

不用生成视频，先判断下面的说法，再看解释。

“我给模型看了一张角色图，它就永久学会了这个角色。” 不成立。普通参考图是本次推理的条件，不等于重新训练参数。
“一个模型同时使用潜空间、Transformer 和流匹配，这三个名称互相矛盾。” 不成立。它们分别涉及表示、网络结构与训练方法，可以组合。
“杯子每一帧都清晰，视频就没有问题。” 不成立。还要看杯子是否保持身份，移动、遮挡和拿取过程是否连续，声音是否相符。

能解释这些区别，就已经抓住了本章的核心：生成模型根据学到的规律与输入条件产生候选内容；创作者通过清晰的输入和实际检查，把候选变成可用素材。

继续阅读

不需要通读论文才能进入下一章。若想看图理解内部机制，可先读潜扩散论文的概览图，再读 DiT 的模型结构说明；若关心视频为什么不同于图片，可看 Video Diffusion Models。三者分别帮助理解压缩、网络组合与时间维度。更多官方学习入口见参考资料。

AI 视频创作手册原创文字 · CC BY-SA 4.0