幻剧工坊 · ComfyUI + MiniMax H3

从一个故事梗概,
到一部带配音的完整短剧

剧本生成 → 改写 → H3 规范提示词 → 角色四视图 / 场景 / 分镜板 → 链式批量视频生成 → 自动质检与提示词审计 → 一键合成成片。全流程在浏览器控制台完成,规则可编辑、失败可定位、质量有门禁。

8 步剧本到成片全流程
51 条数据库驱动可编辑规则
27 个失败码精准定位
370 项自动化回归测试
0 依赖控制台纯标准库
导演台工作台:左侧剧本与角色节点,底部 26 镜分镜时间线(含已出片版本),右侧 AI 专家对话面板 —— 截图来自真实项目《夜巷铃铛》
Features

核心能力

不是简单的"文生视频"套壳,而是一条有质检、有审计、可回溯的短剧生产线。

📜

剧本流水线

输入剧情梗概 AI 生成分镜剧本,或粘贴剧本片段 / 导入分镜 JSON 自动转换;AI 改写在"原文一字不丢"的前提下补充动作细节,改写前后左右对照。

✍️

H3 规范提示词

逐段扩写成 MiniMax H3 官方规范:三段式结构、对白(S1)/(S2)说话人 ID 与音色锁定、镜头 start/path/end、精确人数与身份锁定;提交带参考图任务时自动包装官方 Ref2VA 六段式。

🖼️

参考资产 + 自动质检

一键生成角色四视图锚点、场景图、多拍分镜板;视觉模型逐格质检(人数铁律、服装一致、肢体穿帮),不合格不入库。角色服装 / 发型与资产状态表一字不差。

🔗

链式批量生成

上段末帧自动接下段首帧,剧情连续不跳切;T2V / I2V / R2V 多参考模式,步数 4–50 可调(≤8 步自动启用 Turbo LoRA + SageAttention 加速)。

🩺

提示词审计 · fail-closed

提交前对最终发送稿逐镜硬审计:声线绑定、道具初始状态、图序与一致性…审计不通过就拦下,绝不带病提交。27 个失败码按责任层分类,先定位再修改。

🎬

一键合成成片

多版本批次对比,按段范围拼接合成;自动裁掉 H3 每段开头的"起始音节"杂音;对白轨 f0 门控自动分声部配音,成片用 whisper 转写回验台词。

Workflow

八步工作流

每一步成果实时落库,刷新 / 重启不丢;步骤断点自动恢复,回到上次进行到的位置。

1

创建项目类型 / 画幅 / 时长预算

多项目并列的项目库,随时打开继续、删除(进回收目录)。

2

脚本生成AI 生成 / 粘贴转换 / JSON 导入

梗概 + 风格 + 段数产出结构化分镜(场景 / 角色 / 动作 / 对白 / 情绪 / 运镜 / 时长),表格化逐格可改。

3

改写脚本结构级改编 · 原文保真

AI 从编剧角度理顺人物动作与情节衔接,改写前后对照,可反复重写。

4

规范提示词七层架构 + 12 段镜头契约

逐段扩写成 H3 提示词;支持 AI 批量修改、九维 100 分制评分。

5

参考资产四视图 / 场景 / 分镜板

资产状态表维护身份不变量、发型、服装;一键补缺失、断点续跑、逐格质检。

6

预览确认缺项高亮

逐段检查名称 / 时长 / 参考图 / 提示词完整性。

7

提交生成链式衔接 · 实时监控

版本化任务 ID,排队 / 运行 / 完成 / 失败实时状态,单段可重试;提示词审计拦截带病提交。

8

记录导出版本批次 · CSV · 失败码速查

每次提交记录模式 / 参数 / 提示词指纹,"这次改了什么"一目了然;一键合成完整成片。

Works

生成作品

角色锚点、场景、分镜板与成片均由本系统自动生成,可直接在页内播放;图片同样点击可放大。

《小道童误闯妖市》 · 8 段合成成片约 1 分 55 秒 · 480×844 竖版 · 剧本到成片全流程自动生成,末段自动合成拼接
《夜巷铃铛》第 01 镜 · 单段直出640×1152 竖版 · H3 原生立体声,含对白与环境音
角色锚点 · 阿城(外卖员)身份锚点图,服装与资产状态表一字不差
角色锚点 · 铃铛猫金色铃铛项圈是全剧关键道具,动物角色走专用质检规则
角色 · 女站长画外音声线登记后首句绑定,避免音色漂移
场景四宫格 · 老巷口场景图作为 R2V 参考图 Picture 1,锁定环境构图
分镜板 · 6 格 + 走位图自动生成的分镜板含走位示意(蓝=阿城,橙=铃铛猫),逐格质检后使用
Architecture

系统架构

控制台零第三方依赖(Python 标准库 + 原生前端),生成走远程 ComfyUI,文本 / 生图 / 质检三路模型均支持本地 ↔ 云端切换。

🖥️ Web 控制台console/ · 端口 8891

导演台节点舞台 + AI 专家对话 + 分镜时间线
剧本 / 提示词生成 · 改写 · 扩写 · 批量修改 · 评分
资产与质检四视图 / 场景 / 分镜板 + 视觉逐格质检
任务与合成链式提交 · 状态监控 · 版本批次 · 一键合成
↕ HTTP / SQLite

🧠 模型服务本地 ↔ 云端可切换

语言模型LM Studio / oMLX / OpenAI 兼容云端 API
文生图ComfyUI H3 Still(Ref2VA / refedit)· Boogu · 云端
视觉质检多模态模型,生成图 + 参考图一致性检查
↕ HTTP API

🚀 远程 ComfyUIMiniMax H3 工作流

视频生成T2V / I2V / R2V(Ref2VA 多参考)
加速Turbo LoRA + SageAttention(≤8 步自动启用)
输出原生立体声视频,自动下载回本地
↕ 状态持久化

💾 数据与配置数据库是唯一事实源

console.dbSQLite:项目 / 任务 / 51 条 AI 规则
rules/*.md规则可读备份,与数据库逐字一致
config.json全部相对路径,禁止绝对路径
Engineering

工程亮点

这套系统最特别的地方:所有"怎么写"的内容都是数据,代码只做装配。

🗄️

规则全部入库

剧本生成、提示词扩写、生图模板、质检判据、失败码……51 条规则全部存 SQLite,设置界面直接编辑、保存即生效。改提示词不用改代码,这是架构铁律。

规则/模板 → SQLite state 表 rule:* rules/*.md 只是可读备份,逐字一致 代码禁止写死任何提示词样板
🔢

失败码体系

27 个 F-* 失败码按责任层分类:资产 / 空间 / 动作 / 摄影 / 对白声音 / 光色。诊断决策树先定位责任层,每轮只改一个变量,连续两批无改善就停止同一路径。

F-ID-DRIFT 身份漂移(锚点图不一致) F-COUNT 人数铁律违规 F-LIPSYNC 口型对不上 H3-VOICE-PROFILE 声线未绑定
🎚️

声音也走流水线

对白自动分声部:无参考音高抽样走 f0 门控(男声 145/158Hz、女声 251/298Hz 区间校验),对白轨与画面轨双轨分离;成片用 whisper 转写回验台词有没有说对。

自动样音 f0 门控 → 声线登记 对白轨双声部分离 → 首句绑定声线 成片 whisper 转写 → 逐句回验
🔒

fail-closed 质量门

AI 生成失败明确报错或留空,禁止静默回退旧模板;分镜单格未质检通过就不进生成;提示词审计不通过就拦截提交——宁可不生成,不带病生成。

审计不通过 → 拦截提交 质检失败 → 该段留空可重试 装配变更 → 版本号 bump 使缓存失效
Quick Start

快速开始

Python 3.10+ 与 ffmpeg 即可跑起控制台;生成需要一台装有 MiniMax H3 节点的 ComfyUI(局域网远程机或本机均可)。

1环境检查

python3 scripts/check_env.py逐项输出 ✅/❌ 并给修复建议

2复制配置

cp config.example.json config.json,按 CONFIG.md 填服务器地址与模型

3启动控制台

cd console && python3 start_daemons.py,浏览器打开 127.0.0.1:8891

4讲个故事

首页输入一句话故事,选创作模式,点「开始创作」进入导演台

# 环境要求:Python 3.10+、ffmpeg、远程或本机 ComfyUI(MiniMax H3 节点)
# 一键环境检查python3 scripts/check_env.py# 复制并填写配置(所有路径写相对路径)cp config.example.json config.json# 启动控制台(web + 链式生成守护进程,后台常驻)cd console && python3 start_daemons.py# 打开http://127.0.0.1:8891

支持 macOS / Windows / Linux。语言模型与文生图可全部走云端 API(OpenAI 兼容),Apple Silicon 还可本地跑 Boogu-Image 生图。本项目为演示 / 教学用途(MIT),请勿用于任何违法违规内容。

幻剧工坊 · ComfyUI 自动化短剧生成系统
v4.9.101 · 控制台零第三方依赖 · 数据库驱动规则 · MIT License
致谢
提示词工程方法论参考 Higgsfield 开源长片《Hell Grind》的结构化生产经验
单击图片:适应窗口 ⇄ 100% 原始大小
导演台工作台界面