FastVideo - hao123上网导航

FastVideo官网

FastVideo是一个开源框架，旨在加速大型视频扩散模型。它提供了FastHunyuan和FastMochi两种一致性蒸馏视频扩散模型，实现了8倍推理速度提升。FastVideo基于PCM（Phased-Consistency-Model）提供了首个开放的视频DiT蒸馏配方，支持对最先进的开放视频DiT模型进行蒸馏、微调和推理，包括Mochi和Hunyuan。此外，FastVideo还支持使用FSDP、序列并行和选择性激活检查点进行可扩展训练，以及使用LoRA、预计算潜在和预计算文本嵌入进行内存高效微调。FastVideo的开发正在进行中，技术高度实验性，未来计划包括增加更多蒸馏方法、支持更多模型以及代码更新。

FastVideo是什么？

FastVideo是一个开源的轻量级框架，旨在加速大型视频扩散模型的推理速度。它提供了FastHunyuan和FastMochi两种预训练的视频扩散模型，声称可以将推理速度提升8倍。该框架不仅支持模型推理，还支持基于PCM（Phased-Consistency-Model）的蒸馏、微调等功能，方便用户对现有先进模型（如Mochi和Hunyuan）进行优化和定制。FastVideo还支持多种高效训练技术，例如FSDP、序列并行和选择性激活检查点，以及LoRA、预计算潜在和预计算文本嵌入等内存优化策略。

FastVideo的主要功能

FastVideo的核心功能在于加速视频扩散模型的推理和训练。其主要功能包括：

高性能推理：提供FastHunyuan和FastMochi两种模型，显著提升推理速度。
模型蒸馏：基于PCM提供视频DiT蒸馏配方，支持对Mochi和Hunyuan等模型进行蒸馏。
模型微调：支持使用LoRA等技术进行内存高效的模型微调。
可扩展训练：支持FSDP、序列并行和选择性激活检查点等技术，提升训练效率。
资源提供：提供预处理数据和预训练模型权重下载，方便用户使用。

如何使用FastVideo？

FastVideo的使用相对简单，主要步骤如下：

环境设置：运行./env_setup.sh fastvideo设置环境。
下载模型：使用提供的脚本下载FastHunyuan或FastMochi模型权重。
推理：运行对应的推理脚本，例如sh scripts/inference/inference_hunyuan.sh。
蒸馏：下载原始模型权重，使用bash scripts/distill/distill_mochi.sh或bash scripts/distill/distill_hunyuan.sh进行蒸馏。
微调：准备并预处理数据，使用bash scripts/finetune/finetune_mochi.sh进行微调。