返回列表

Z-Image Turbo Fun ControlNet Union

阿里巴巴PAI发布的多功能ControlNet,支持Canny、HED、Depth、Pose和MLSD控制

ControlNet
图像控制
多功能
PAI

概述

这是一个添加了6个block的ControlNet模型,在100万高质量图像数据集上从头训练10000步,支持多种控制条件。

特性

  • 支持Canny、HED、Depth、Pose和MLSD控制
  • 1328分辨率训练
  • BFloat16精度
  • control_context_scale可调节控制强度(0.65-0.80)
  • 详细提示词提高稳定性

图片展示

姿态控制输入示例
基于姿态控制的生成结果
Canny边缘检测输入
Canny边缘控制生成结果

安装说明

# 克隆VideoX-Fun仓库
git clone https://github.com/aigc-apps/VideoX-Fun.git
cd VideoX-Fun
# 创建模型目录
mkdir -p models/Diffusion_Transformer
mkdir -p models/Personalized_Model
# 下载权重到对应目录

使用方法

运行 examples/z_image_fun/predict_t2i_control.py

系统要求

  • Z-Image Turbo
  • VideoX-Fun环境
  • 额外预处理依赖
  • GPU内存支持