Skip to content

Latest commit

 

History

1 Commit

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

ComfyUI-GLM-Image-Bridge

📖 项目简介 (Introduction)

这是什么? 这是一个为 ComfyUI 设计的非官方插件,旨在让你在本地运行智谱 AI 最新发布的开源文生图模型 GLM-Image

为什么要用这个插件? GLM-Image 是一个拥有 90 亿参数的高性能模型,擅长中文理解长文本渲染复杂指令遵循。但是,由于模型体积庞大且架构特殊,难以直接作为常规 Checkpoint 加载。

本插件采用 "前后端分离" 架构:

  • 后端 (Server):一个基于 Python 的独立推理服务,内置了显存优化、防黑图机制和自动分辨率对齐。
  • 前端 (Node):一个标准的 ComfyUI 节点,支持文生图、多图融合以及 CFG/Steps 等参数调节。

🛠️ 安装教程 (Installation Guide)

由于 GLM-Image 模型非常庞大(权重约 30GB+),请确保你的硬件满足以下要求:

  • 显卡: NVIDIA 显卡,显存推荐 24GB 及以上 (4090 / A800 / H800)。
  • 硬盘: 至少 50GB 可用空间。
  • 系统: Linux (推荐) 或 Windows WSL2。

第一步:安装插件 (Install Node)

  1. 进入你的 ComfyUI 插件目录:
cd ComfyUI/custom_nodes/
  1. 克隆本项目:
git clone https://github.com/你的用户名/ComfyUI-GLM-Image-Bridge.git

第二步:搭建后端环境 (Setup Backend Environment)

我们需要创建一个独立的 Python 环境来运行模型服务,以免干扰 ComfyUI 原有的环境。

  1. 创建 Conda 环境
conda create -n glm python=3.10
conda activate glm
  1. 安装核心依赖
# 安装 PyTorch (根据你的 CUDA 版本调整)
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

# 安装 Diffusers 和 Transformers (必须使用最新版)
pip install git+https://github.com/huggingface/transformers.git
pip install git+https://github.com/huggingface/diffusers.git
pip install accelerate

# 安装 Web 服务依赖
pip install fastapi uvicorn python-multipart requests

第三步:下载模型权重 (Download Model)

你可以从 HuggingFace 或 ModelScope 下载模型。建议下载到本插件的目录下,或者任意你硬盘空间充足的地方。

# 安装下载工具
pip install modelscope

# 下载模型 (速度较快)
modelscope download --model ZhipuAI/GLM-Image --local_dir ./GLM-Image-Model

第四步:配置与启动 (Configuration & Start)

本项目提供了一个一键启动脚本 start.sh,它会自动管理环境、清理残留进程并启动服务。

  1. 编辑配置文件: 使用记事本或编辑器打开插件目录下的 start.sh 文件,修改顶部路径:
# === 修改这里 ===
GLM_DIR="/你的路径/GLM-Image-Model"   # 指向刚才下载的模型文件夹
COMFY_DIR="/你的路径/ComfyUI"         # 指向你的 ComfyUI 根目录
# ===============
  1. 一键启动: 在终端中运行:
chmod +x start.sh
./start.sh

首次启动时,模型加载需要 1-2 分钟,请耐心等待直到终端显示 "Uvicorn running on..."。


🎨 使用方法 (Usage)

  1. 打开 ComfyUI 网页。
  2. 右键点击空白处 -> GLM-Image -> GLM-Image (SGLang API)
  3. 参数说明
  • Prompt: 输入提示词(支持中文,推荐用自然语言描述)。
  • Steps: 默认为 50。步数越多画质越细腻,但速度变慢。
  • Guidance Scale: 默认为 1.5。数值越大,画面越贴合提示词。
  • Seed: -1 为随机种子。
  • Width/Height: 分辨率。后端会自动修正为 32 的倍数(例如输入 1000 会自动调整为 992),防止报错。
  1. 点击 Queue Prompt 开始生成!

❓ 常见问题 (FAQ)

Q: 生成的图片是纯黑色的? A: 这是因为分辨率过大导致显存不足,VAE 解码失败。我们的后端代码默认开启了 enable_vae_tiling 优化,通常能解决此问题。如果依然黑图,请尝试降低分辨率至 1024x1024。

Q: 报错 CUDA out of memory A: 请务必使用 start.sh 脚本启动,它会在启动前自动杀掉所有僵尸进程释放显存。

Q: 支持图生图吗? A: 支持。连接 IMAGE 输入端口即可。如果连接了 Image Batch (多张图),插件会自动启用多图融合模式。Unofficial ComfyUI bridge for ZhipuAI GLM-Image model.

About

Unofficial ComfyUI bridge for ZhipuAI GLM-Image model. Features: local backend, auto-resolution alignment, and multi-image support.

Resources

Stars

3 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages