返回列表

Z-Image Turbo Fun ControlNet Union

阿里巴巴 PAI 團隊發布的多功能 ControlNet,支持 Canny、HED、Depth、Pose 和 MLSD 控制

ControlNet
圖像控制
多功能
PAI

概述

這是一個添加了 6 個塊的 ControlNet 模型,在 100 萬張高質量圖像數據集上從頭訓練了 10,000 步,支持多種控制條件。

特性

  • 支持 Canny、HED、Depth、Pose 和 MLSD 控制
  • 1328 分辨率訓練
  • BFloat16 精度
  • control_context_scale 可調控制強度 (0.65-0.80)
  • 詳細的提示詞可提高穩定性

图片展示

姿勢控制輸入
姿勢控制輸入示例
姿勢控制輸出
基於姿勢控制的生成結果

安装说明

# 克隆 VideoX-Fun 倉庫
git clone https://github.com/aigc-apps/VideoX-Fun.git
cd VideoX-Fun
# 創建模型目錄
mkdir -p models/Diffusion_Transformer
mkdir -p models/Personalized_Model
# 下載權重到相應目錄

使用方法

運行 examples/z_image_fun/predict_t2i_control.py

系统要求

  • Z-Image Turbo
  • VideoX-Fun 環境
  • 額外的預處理依賴
  • GPU 顯存支持