这是什么? 这是一个为 ComfyUI 设计的非官方插件,旨在让你在本地运行智谱 AI 最新发布的开源文生图模型 GLM-Image。
为什么要用这个插件? GLM-Image 是一个拥有 90 亿参数的高性能模型,擅长中文理解、长文本渲染和复杂指令遵循。但是,由于模型体积庞大且架构特殊,难以直接作为常规 Checkpoint 加载。
本插件采用 "前后端分离" 架构:
- 后端 (Server):一个基于 Python 的独立推理服务,内置了显存优化、防黑图机制和自动分辨率对齐。
- 前端 (Node):一个标准的 ComfyUI 节点,支持文生图、多图融合以及 CFG/Steps 等参数调节。
由于 GLM-Image 模型非常庞大(权重约 30GB+),请确保你的硬件满足以下要求:
- 显卡: NVIDIA 显卡,显存推荐 24GB 及以上 (4090 / A800 / H800)。
- 硬盘: 至少 50GB 可用空间。
- 系统: Linux (推荐) 或 Windows WSL2。
- 进入你的 ComfyUI 插件目录:
cd ComfyUI/custom_nodes/
- 克隆本项目:
git clone https://github.com/你的用户名/ComfyUI-GLM-Image-Bridge.git
我们需要创建一个独立的 Python 环境来运行模型服务,以免干扰 ComfyUI 原有的环境。
- 创建 Conda 环境:
conda create -n glm python=3.10
conda activate glm
- 安装核心依赖:
# 安装 PyTorch (根据你的 CUDA 版本调整)
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
# 安装 Diffusers 和 Transformers (必须使用最新版)
pip install git+https://github.com/huggingface/transformers.git
pip install git+https://github.com/huggingface/diffusers.git
pip install accelerate
# 安装 Web 服务依赖
pip install fastapi uvicorn python-multipart requests
你可以从 HuggingFace 或 ModelScope 下载模型。建议下载到本插件的目录下,或者任意你硬盘空间充足的地方。
# 安装下载工具
pip install modelscope
# 下载模型 (速度较快)
modelscope download --model ZhipuAI/GLM-Image --local_dir ./GLM-Image-Model
本项目提供了一个一键启动脚本 start.sh,它会自动管理环境、清理残留进程并启动服务。
- 编辑配置文件:
使用记事本或编辑器打开插件目录下的
start.sh文件,修改顶部路径:
# === 修改这里 ===
GLM_DIR="/你的路径/GLM-Image-Model" # 指向刚才下载的模型文件夹
COMFY_DIR="/你的路径/ComfyUI" # 指向你的 ComfyUI 根目录
# ===============
- 一键启动: 在终端中运行:
chmod +x start.sh
./start.sh
首次启动时,模型加载需要 1-2 分钟,请耐心等待直到终端显示 "Uvicorn running on..."。
- 打开 ComfyUI 网页。
- 右键点击空白处 -> GLM-Image -> GLM-Image (SGLang API)。
- 参数说明:
- Prompt: 输入提示词(支持中文,推荐用自然语言描述)。
- Steps: 默认为 50。步数越多画质越细腻,但速度变慢。
- Guidance Scale: 默认为 1.5。数值越大,画面越贴合提示词。
- Seed: -1 为随机种子。
- Width/Height: 分辨率。后端会自动修正为 32 的倍数(例如输入 1000 会自动调整为 992),防止报错。
- 点击 Queue Prompt 开始生成!
Q: 生成的图片是纯黑色的?
A: 这是因为分辨率过大导致显存不足,VAE 解码失败。我们的后端代码默认开启了 enable_vae_tiling 优化,通常能解决此问题。如果依然黑图,请尝试降低分辨率至 1024x1024。
Q: 报错 CUDA out of memory?
A: 请务必使用 start.sh 脚本启动,它会在启动前自动杀掉所有僵尸进程释放显存。
Q: 支持图生图吗?
A: 支持。连接 IMAGE 输入端口即可。如果连接了 Image Batch (多张图),插件会自动启用多图融合模式。Unofficial ComfyUI bridge for ZhipuAI GLM-Image model.