ComfyUI_视频制作生产力指南

作者
Post Views: 101

一、ComfyUI 是什么

ComfyUI 是一个基于节点的 AI 创作工具，通过浏览器访问 (http://localhost:8188)。
你不需要写代码，而是像搭积木一样把各种功能模块（节点）用线连起来，
形成一个”工作流 (workflow)”，然后一键执行。

特点：

  • 所有操作本地运行，无需联网（除下载模型外）
  • 32GB 显存让你可以跑以前吃内存的大模型
  • 节点式界面，灵活组合任何能力
  • 支持 SD 1.5 / SDXL / Flux / Wan / LTX 等主流模型

二、你已安装的完整能力清单

2.1 核心模型

模型用途大小
SDXL Base 1.0高质量图像生成主模型6.6 GB
SDXL Refiner 1.0图像细节精修（接在Base后面）5.8 GB

2.2 控制能力

模型用途大小
Depth ControlNet SDXL深度图控制构图4.8 GB
Canny ControlNet SDXL边缘线稿控制739 MB
T2I-Adapter Depth SDXL轻量深度引导151 MB

2.3 人脸/风格保持

模型用途大小
IP-Adapter FaceID SDXL人脸识别保持1.0 GB
IP-Adapter FaceID SD1.5人脸保持 (SD1.5)92 MB
IP-Adapter Plus Face SDXL风格+人脸融合808 MB

2.4 视频/动画

模型用途大小
AnimateDiff v3 (mm_sd_v15)SD1.5 视频生成核心1.6 GB
AnimateDiff v3 (mm_sdxl_v10_beta)SDXL 视频生成906 MB
Motion LoRA x88种运动方向控制各 74 MB

2.5 超分/后处理

模型用途大小
4x-UltraSharp图像超分辨率64 MB
RealESRGAN x4通用超分64 MB

2.6 自定义节点 (9个)

节点包功能
comfyui_LLM_partyLLM工作流：工具调用/RAG/知识库/智能体
ComfyUI-Manager节点管理、模型管理
ComfyUI-VideoHelperSuite视频加载/编码/拼接
ComfyUI-AnimateDiff-Evolved动画视频生成
ComfyUI-Impact-Pack人脸检测/分割/细节增强
ComfyUI-IPAdapter图像风格/人脸适配
ComfyUI-Frame-Interpolation帧率插值(24fps->60fps)
OneButtonPrompt一键生成提示词
ComfyUI-AnyLLM通用LLM调用节点

三、典型生产流程（从想法到成片）

流程A：文字生成视频 (Text -> Video)

提示词 → SDXL Base 生成关键帧 → AnimateDiff 加运动 → 帧插值 → 输出视频
         ↑
    ControlNet Depth 控制构图

流程B：图片转视频 (Image -> Video)

参考图 → IP-Adapter 保持风格 → SDXL 生成多帧 → AnimateDiff 视频化
         ↑
    ControlNet Canny/Depth 保持结构

流程C：AI 角色扮演/互动小说

用户输入 → LLM Party 生成剧情 → SDXL 生成画面 → 拼接为视频
    ↑                                       ↓
  RAG知识库 ← 用户反馈修正 ← 语音输出(TTS)

流程D：人脸一致性视频（最常用）

人脸照片 → IP-Adapter FaceID → SDXL 生成多角度 → AnimateDiff 视频化
                                                    ↓
                                            超分放大 → 最终视频

四、常用工作流模板（直接拖入使用）

4.1 基础 SDXL 图像生成

打开 ComfyUI → 右侧菜单 “Templates” → “SDXL Base” 或 “SDXL Base + Refiner”

核心节点连接：

CLIP Text Encode (prompt) → KSampler → VAEDecode → Save Image
CLIP Text Encode (negative) ─┘
SDXLCheckpointLoader ────────┘

4.2 AnimateDiff 视频生成

SDXL Checkpoint → KSampler → AnimateDiffLoader → Vid2VidEncode → VideoCombine
       ↑                                              ↑
Prompt ─────────────────────────────────────  Motion LoRA (选方向)
ControlNet (Depth/Canny) ───────────────────  Context Options (帧数/重叠)

关键参数：

  • frames: 16-24 帧（32GB显存可跑更多）
  • context_length: 16（滑动窗口）
  • motion_lora: PanLeft/PanRight/TiltUp 等
  • fps: 12-24

4.3 IP-Adapter 人脸保持

Image (参考人脸) → CLIPVisionEncode → IPAdapterLoader → KSampler (conditioning)
  • ip-adapter-faceid_sdxl.bin: 纯人脸复刻
  • ip-adapter-plus-face_sdxl.safetensors: 人脸+风格融合

4.4 Impact Pack 细节增强

KSampler → ImpactDetector (检测人脸) → Detailer (局部重绘增强)
                              ↓
                        IBatch (批量处理每帧)

用于：提升视频中人脸清晰度、修复变形

4.5 帧率插值 (24fps → 60fps)

VideoCombine → FrameInterpolator (RIFE/FLAVR) → VideoCombine

用 ComfyUI-Frame-Interpolation 节点

4.6 LLM 自动生成提示词

LLM Party → API LLM Loader (选 qwen3-coder-30b)
    → 输入主题 → 输出详细英文提示词 → 传入 SDXL

参考: custom_nodes/comfyui_LLM_party/workflow/测试画画.json

五、32GB 显存的优势利用

5.1 大分辨率生成

  • SDXL 标准: 1024×1024 (你的卡轻松跑)
  • 可以尝试: 1280×1280, 1440×1440
  • SD1.5 + ControlNet 同时加载: 1920×1080 视频逐帧

5.2 长视频生成

  • 普通卡: 16帧 (0.7秒@24fps)
  • 你的卡: 可以试试 32-64 帧 (1.3-2.7秒@24fps)
  • 用 Context Options 的 overlap 参数避免闪烁

5.3 多模型同时加载

  • SDXL + Refiner + ControlNet + IP-Adapter 可同时驻留显存
  • AnimateDiff + Motion LoRA 不冲突
  • 减少了模型切换等待时间

5.4 推荐设置

在 run_comfyui.bat 启动参数中加:

python main.py --listen --port 8188 --highvram

或使用 ComfyUI 内置的 VRAM 管理:

  • Settings → Performance → 选择 “high vram” 或 “normal”

六、LLM 本地推理工作流

6.1 三种模式对比

模式速度质量网络需求适用场景
Ollama 本地中高无日常工作、代码生成
GGUF 直跑慢最高无离线环境、隐私敏感
云端 API快最高需要需要最强模型时

6.2 推荐 LLM 选择

主模型: Qwen3-Coder-30B-A3B (IQ4_NL)

  • 参数量: 激活 3B / 总 30B (MoE架构)
  • GGUF 大小: ~18GB
  • 适合: 代码生成、复杂推理、长上下文
  • 显存占用: IQ4 量化后约 8-10GB

备用: Qwen2.5-Coder-7B (Q8_0)

  • 参数量: 7B dense
  • GGUF 大小: ~7.5GB
  • 适合: 快速响应、简单任务
  • 显存占用: ~4GB

6.3 在 ComfyUI 中使用 LLM

方法1: LLM Party 节点 (推荐)

  • 添加节点: search “LLM” → 选 “API LLM Loader”
  • base_url: http://127.0.0.1:11434/v1/
  • model: qwen3-coder-30b
  • 连接 LLM 输出到其他节点

方法2: AnyLLM 节点

  • 支持 OpenAI 兼容格式
  • 可对接 Ollama / DeepSeek / OpenRouter

七、完整制作一个短视频的完整流程

假设你要做一个 5 秒的动画视频:

Step 1: 构思

  • 用 LLM 生成英文提示词 (中文描述 → LLM 翻译成专业提示词)

Step 2: 生成关键帧

  • SDXL Base 生成 4-8 张关键帧 (不同构图/角度)
  • 用 IP-Adapter 保持角色一致

Step 3: 加 ControlNet

  • Depth ControlNet 控制整体构图
  • 可选 Canny 控制边缘

Step 4: 动画化

  • AnimateDiff + Motion LoRA (选 PanLeft 或 ZoomIn)
  • frames=24, fps=12 → 2秒视频

Step 5: 帧插值

  • Frame Interpolation 把 12fps → 24fps/30fps

Step 6: 超分

  • Upscale 2x (4x-UltraSharp 或 RealESRGAN)
  • 1024×1024 → 2048×2048

Step 7: 后处理

  • VideoHelperSuite 导出 MP4
  • 可选加音频 (TTS 或背景音乐)

总耗时估算 (4080 Super):

  • Step 2: ~10秒/张 × 8张 = 80秒
  • Step 4: ~15秒 (24帧)
  • Step 5: ~5秒
  • Step 6: ~8秒
  • 总计: ~2分钟出片

八、常用快捷键和操作技巧

8.1 界面操作

  • Ctrl+S: 保存工作流 (导出 JSON)
  • Ctrl+O: 打开工作流
  • Ctrl+Shift+P: 批量执行 (自动跑多个seed)
  • Ctrl+Enter: 执行当前工作流
  • Q: 快速添加到首页
  • 右键节点 → “Bypass” 跳过某个节点
  • 右键 → “View Stats” 查看耗时

8.2 高效工作习惯

  1. 先跑通再优化: 先用低分辨率+少帧数验证流程
  2. 保存变体: 每次调整参数后 Ctrl+S 保存为新文件
  3. 用 Manager 管理模型: 在 ComfyUI Manager 中一键安装缺失节点
  4. 批量生成: 改 seed 批量出图，选最好的
  5. 利用 Queue: 右侧 Queue 面板可以排多个任务

8.3 常见问题排查

  • 节点报错红色: 检查模型路径是否正确
  • OOM (显存不足): 降低分辨率/帧数, 或用 fp8 模式
  • 视频闪烁: 增加 AnimateDiff context_length overlap
  • LLM 不回复: 确认 Ollama 服务在跑: ollama list

九、进阶：搭建自动化生产管线

9.1 用 LLM Party 做自动剪辑

用户输入剧情 → LLM 拆分场景 → 每个场景 SDXL 生成 → 
AnimateDiff 视频化 → VideoHelperSuite 拼接 → 输出

9.2 用 RAG 做知识库驱动创作

导入文档/图片库 → LLM Party RAG 节点 → 
按主题检索相关内容 → 生成带参考的创作

9.3 API 化部署

ComfyUI 本身支持 API 模式:

python main.py --listen --port 8188

然后通过 HTTP 接口调用:

curl -X POST http://localhost:8188/prompt 
  -H "Content-Type: application/json" 
  -d '{"prompt_id": "...", "prompt": {...}}'

可以把 ComfyUI 作为后端，前端用 Codex 或其他工具调度。

十、资源站推荐 (有网时补全模型)

  • CivitAI (civitai.com): 社区模型/LoRA/工作流分享
  • HuggingFace (huggingface.co): 官方模型仓库
  • ComfyUI Workflows (comfyworkflows.com): 工作流模板库
  • B站搜索 “ComfyUI 教程”: 大量中文教程

十一、文件存放规范

建议在家用电脑上这样组织:

D:comfyui
├── ComfyUI
│   ├── models              # AI模型 (已有)
│   ├── output              # 生成结果 (自动创建)
│   ├── input               # 参考图片放这里
│   └── custom_nodes        # 插件 (已有)
├── setup                   # 安装工具 (已有)
└── workflows               # 你自己保存的工作流
    ├── text_to_video.json
    ├── face_consistent.json
    └── llm_autoprompt.json

十二、快速启动检查清单

  • [ ] 双击 setupinstall_all.bat 完成安装
  • [ ] 双击 ComfyUIrun_comfyui.bat 启动
  • [ ] 浏览器打开 http://localhost:8188
  • [ ] 拖入任意 .json 工作流测试
  • [ ] 双击 setuprun_codex_ollama.bat 启动 Codex+LLM
  • [ ] 在 Codex 中测试: “帮我写一个ComfyUI工作流”

发表评论