项目二：Video Generation on Low-Cost GPUs

一句话介绍

让视频生成或视频编辑模型在单张消费级 GPU，例如 RTX 4090 或 5080，拥有可预测的显存、速度和输出质量。

背景

视频生成比图像生成昂贵得多：模型不仅要处理空间分辨率，还要处理帧数、时间一致性和运动。直接按默认参数运行，常常会出现显存溢出、生成过慢，或者画面虽清晰但运动闪烁的问题。

本项目不是“调用视频生成模型做几段视频”。学生需要把有限预算当作设计约束，测量并优化模型选择、量化、offload、帧数、分辨率、采样步骤和编解码流程，建立质量、速度、显存与成本之间的取舍。

项目问题

在单张 RTX 4090 或 5080 级别 GPU 上，完成一个明确的视频生成或视频到视频任务，例如产品概念片、镜头延展、短文本到视频、角色动作重定向或教学动画。系统应报告在固定显存和时长预算内的最优配置。

最小版本

• 一个开源或明确许可的视频模型，以及固定模型版本。
• 至少 20 条测试提示词或输入视频，覆盖不同动作和场景。
• 一条可复现的生成命令或工作流。
• 记录峰值显存、每秒生成时间、输出时长、分辨率和随机种子。
• 一个基线配置和至少两项优化，例如低精度、CPU offload、VAE 切片、分块生成、模型量化或帧插值。

推荐技术路线

1. 用最低分辨率和最短帧数跑通基线，保存日志和输出。
2. 使用 nvidia-smi、PyTorch profiler 或框架日志记录显存和速度。
3. 一次只改一个变量：分辨率、帧数、steps、guidance、dtype 或 offload。
4. 将“生成”与“后处理”分开：先以较低帧数生成，再测试帧插值或超分。
5. 设计盲评或固定评价表，避免只挑最好看的样本。
6. 选择可公开展示的提示词和素材，避免模仿在世艺术家或使用未获许可的人脸视频。

必须回答的问题

• 你优化的目标是什么：实时预览、最长视频、最高质量，还是最低成本？
• 显存的最大消耗来自模型权重、注意力、latent 还是解码？
• 降低帧数与使用帧插值相比，运动一致性如何变化？
• FP16、BF16、量化和 offload 分别带来什么影响？
• 质量评价来自人类偏好、自动指标，还是两者结合？

评测指标

• 峰值 GPU 显存和显存溢出率。
• 端到端生成时间、每帧时间和视频秒数/分钟。
• 输出分辨率、帧数、帧率和文件大小。
• 时间一致性、运动合理性和提示词一致性的人类评分。
• 可选自动指标：CLIP 相似度、FVD 或 VBench 分项分数，必须说明局限。

资源与使用边界

课程以单 GPU、可复现且可承担的预算为原则。禁止绕过平台限制、批量爬取受版权保护的视频，或生成非自愿亲密内容、仿冒真人的欺骗性内容。使用的模型、LoRA、输入素材和输出发布方式都要符合相应许可证与平台条款。

进阶方向

• 研究运动控制、相机控制或首尾帧控制。
• 蒸馏、量化或 TensorRT 加速。
• 建立自动配置器：根据 GPU 显存和目标时长选择参数。
• 把项目四的 Model Router 扩展为视频模型/管线路由器。
• 比较 4090 与 5080 在同一任务和同一软件栈下的差异。

交付物

可复现环境说明、测试提示词或输入集、运行日志、显存/速度/质量对比表、至少两段代表性视频与失败案例视频、一份许可证清单，以及推荐配置说明。

参考资源

• Diffusers：扩散模型的常用推理与优化工具箱。
• ComfyUI：可视化、可复现的视频生成工作流。
• CogVideoX：开源文本到视频模型系列。
• LTX-Video：开源视频生成模型与推理代码。
• VBench：视频生成评价基准。

常见误区

只展示最成功的一段视频不能说明系统可用。必须报告测试集、失败率和显存峰值；“能跑”与“在固定资源预算下稳定产出”是两件不同的事。

> 外部代码、模型、数据集和平台的使用须遵守其对应许可证、服务条款及适用法律；课程不授予第三方资源额外的再分发或商业使用权。