容器化部署 ComfyUI，适应各类弹性算力平台

本指南详细阐述了将 ComfyUI 封装成 API 并使其能够直接在 Docker 容器环境中运行的方法，同时也介绍了如何在共绩算力上运用 ComfyUI 部署自定义的 stable diffusion 模型。

我们基于本教程开源了一套前后端分离的 Comfy UI 服务。具有完整的 Docker&Serverless 化部署方案，您可以参考使用。 https://github.com/nexmoe/serverless-comfyui

整体流程

无论你选择什么样的 stable diffusion 推理服务、模型或扩展，基本流程如下：

选择 Docker 基础镜像
将所需的模型和扩展复制到 Docker 镜像中
将新镜像推送到容器仓库
将镜像部署为共绩算力服务

选择 Docker 基础镜像

找到一个 ComfyUI 的 Docker 基础镜像。以下是我们验证过可以在共绩算力上运行的镜像：

ComfyUI

Git 仓库：https://github.com/ai-dock/comfyui
Docker 镜像：ghcr.io/ai-dock/comfyui:v2-rocm-6.0-runtime-22.04-v0.2.7
模型目录：/opt/ComfyUI/models
自定义节点目录：/opt/ComfyUI/custom_nodes/

📢 部署后，你应该通过 API 与其交互，而不是通过浏览器 web ui。

下载模型和扩展

下载你计划使用的所有模型文件。

在我们的示例中，我们将使用下面文件，请自行下载并保存到对应目录

下载安装准备对应的 custom_nodes

创建 Dockerfile

1. 创建基础文件结构

创建一个名为 Dockerfile 的新文件，并在你喜欢的文本编辑器中打开。此时，你的目录结构应该如下：

.
├── Dockerfile
├── checkpoints
│   └── dreamshaperXL_sfwV2TurboDPMSDE.safetensors
├── controlnet
│   ├── sai_xl_canny_256lora.safetensors
│   └── sai_xl_depth_256lora.safetensors
├── custom_nodes
│   ├── ComfyUI-Custom-Scripts
│   ├── ComfyUI-WD14-Tagger
│   ├── ComfyUI_Comfyroll_CustomNodes
│   ├── comfyui-art-venture
│   └── comfyui_controlnet_aux
├── docker-compose.yml
├── loras
│   └── StudioGhibli.Redmond-StdGBRRedmAF-StudioGhibli.safetensors
├── provisioning.sh
└── sanhua.json

2. 准备工作流文件（可选）

在 Dockerfile 所在的目录中保存一个 API 格式的 workflow.json 文件。这个文件将用于在启动服务器之前预热服务器。你可以使用 ComfyUI 网页界面创建 workflow，然后以 API 格式保存它。

3. 配置 Dockerfile

将以下内容复制到你的 Dockerfile 中：

# 我们将使用这个经过验证的 comfyui 镜像作为基础
FROM ghcr.io/ai-dock/comfyui:v2-cuda-12.1.1-base-22.04-v0.2.7

# 禁用基础镜像提供的身份验证
ENV WEB_ENABLE_AUTH=false
 
# 现在我们将模型复制到镜像中
ENV MODEL_DIR=/opt/ComfyUI/models
COPY checkpoints/dreamshaperXL_sfwV2TurboDPMSDE.safetensors ${MODEL_DIR}/checkpoints/dreamshaperXL_sfwV2TurboDPMSDE.safetensors
COPY controlnet/sai_xl_canny_256lora.safetensors ${MODEL_DIR}/controlnet/sai_xl_canny_256lora.safetensors
COPY controlnet/sai_xl_depth_256lora.safetensors ${MODEL_DIR}/controlnet/sai_xl_depth_256lora.safetensors
COPY loras/StudioGhibli.Redmond-StdGBRRedmAF-StudioGhibli.safetensors ${MODEL_DIR}/loras/StudioGhibli.Redmond-StdGBRRedmAF-StudioGhibli.safetensors

ENV NODE_DIR=/opt/ComfyUI/custom_nodes
COPY custom_nodes/ComfyUI_Comfyroll_CustomNodes ${NODE_DIR}/ComfyUI_Comfyroll_CustomNodes
COPY custom_nodes/comfyui_controlnet_aux ${NODE_DIR}/comfyui_controlnet_aux
COPY custom_nodes/comfyui-art-venture ${NODE_DIR}/comfyui-art-venture
COPY custom_nodes/ComfyUI-Custom-Scripts ${NODE_DIR}/ComfyUI-Custom-Scripts
COPY custom_nodes/ComfyUI-WD14-Tagger ${NODE_DIR}/ComfyUI-WD14-Tagger

# 启动前脚本
COPY provisioning.sh /opt/ai-dock/bin/provisioning.sh

# 我们还需要将 comfyui-api 二进制文件复制到镜像中，因为 ComfyUI 默认完全异步，没有方便的方式来获取生成的图像
ADD https://github.com/SaladTechnologies/comfyui-api/releases/download/1.6.1/comfyui-api .
RUN chmod +x comfyui-api

# 可选：通过在启动服务器之前运行工作流来预热服务器
# comfyui-api 支持预热模式，它将在启动服务器之前运行提供的工作流
# 此示例假设你在 Dockerfile 所在的目录中有一个工作流 json 文件
COPY sanhua.json .
ENV WARMUP_PROMPT_FILE=sanhua.json

CMD ["./comfyui-api"]

📢

注意：我们在镜像中包含了一个简单的包装器 comfyui-api，以便更容易获取生成的图像。

ComfyUI 将提示词放入队列中，然后最终将图像保存到本地文件系统。这使得它在像共绩算力这样的弹性无状态环境中难以使用。comfyui-api 扩展了 ComfyUI 的 /prompt API，允许在响应体中接收生成的图像，或将完整的图像提交到提供的 webhook url。

comfyui-api 全面支持 ComfyUI 的/prompt API，能够执行任何 ComfyUI 工作流，并以无状态 API 设计实现水平扩展以处理更多请求。它提供 Swagger 文档交互（位于/docs），直接返回 base64 编码图片或通过 webhook 发送完成的图片，接受 base64 编码字符串或图片 URL 提交图片，简化了图像到图像的工作流程。启动时可配置预热工作流以加载模型并准备好接收请求，返回图片格式支持 PNG、JPEG 或 WebP，默认为 PNG。此外，它还提供/health 和/ready 探针检查服务器健康状况和准备情况，动态挂载工作流端点，允许用户自带模型和扩展

4. 定义 provisioning.sh

在 provisioning.sh 中定义依赖安装脚本

printf "=========================================================\n"

pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

cd /opt/ComfyUI/custom_nodes/comfyui_controlnet_aux
pip install -r requirements.txt

cd /opt/ComfyUI/custom_nodes/ComfyUI-WD14-Tagger
pip install -r requirements.txt

printf "=========================================================\n"

构建和测试 Docker 镜像

1. 构建镜像

构建 docker 镜像。你应该根据自己的情况更改指定的版本标签。

docker build -t gongji/comfyui:0.1 .

2. 本地测试

在本地运行 docker 镜像以确认它按预期工作：

docker run -it --rm --gpus all -p 3000:3000 -p 8188:8188 --name comfyui \
gongji/comfyui:0.1

在本地使用时，我们将暴露端口 3000（api 接口）和端口 8188（让我们可以在本地访问 web ui）。

测试步骤

在浏览器中访问 http://localhost:8188。

点击 "Queue Prompt" 生成图像。

通过设置菜单启用开发者模式选项。你可以在菜单中看到一个新选项 "Save （API Format）

点击 "Save（API Format）" 按钮并保存。你会得到一个名为 workflow_api.json 的文件，其中包含 ComfyUI 再次运行该提示所需的所有内容。

注意：你可能注意到这种提示格式不太直观，但它确实包含了 ComfyUI 使用的节点和连接。根据经验，ComfyUI web ui 是设计提示的最佳方式，而不是试图从头开始创建这样的工作流 json 文件。

3. API 测试

使用 Postman 或任何你选择的 http 请求工具，将提示提交到端口 3000 上的 API 接口。

向 http://localhost:3000/prompt 发送 POST 请求，JSON 请求体如下。其中“prompt”的值是我们之前创建的 workflow_api.json。

{
 "prompt": { ... }
}

几秒钟后，你应该收到类似这样的响应：

{
   "id": "random-uuid",
   "prompt": { ... },
   "images": ["base64encodedimage"]
}

将 base64 编码的字符串解码为图像。你可以：

使用免费的浏览器工具，如 base64-to-image-converter

推送和部署 Docker 镜像到生产

1. 推送镜像到共绩算力

这一步会将上一步中自定义的镜像上传到我们的镜像仓库服务中。请参考文档进行：https://www.gongjiyun.com/docs/docker/harbor.html

2. 部署配置

下面已经配置好的 docker-compose.yml 文件，相应的镜像已上传到共绩算力镜像仓库中，可以直接用于发布任务。

version: '3.9'
services:
  comfyui:
    image: harbor.suanleme.cn/xuwenzheng/nex-comfy:sanhua0.5
    labels:
      # 第一个转发端口
      - suanleme_0.http.port=3000
      - suanleme_0.http.prefix=nexapi
      # 第二个转发端口
      - suanleme_1.http.port=8188
      - suanleme_1.http.prefix=nexui
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia # 使用 NVIDIA GPU 驱动
              count: 1 # 预留的 GPU 数量
              capabilities: [ gpu ] # 指定 GPU 功能