首页
搜索 搜索
行业资讯

SDXL 0.9 以及 ComfyUi 简易教程(非小白向

2023-07-09 10:00:43 哔哩哔哩

为了尝鲜SDXL,目前只有comfyui做了适配,不得不用


【资料图】

先上一些我跑的图

第一步:安装

git clone /comfyanonymous/

找到文件夹,运行命令 pip install -r 安装运行依赖,

最后运行run_nvidia_进入默认界面

第二步:sdXL绘图基础流程构建

如果没什么要求,使用默认的流程图已经可以出图

sd绘画的过程一般是这样

加载模型---使用clip解析tag----从空白latent中获取噪点----使用采样器进行采样----使用vae对latent进行解码----输出图片

知道这个流程后那么我们就开始搭建sdxl的workflow,对默认的流程稍加修改即可,如图

有点需要注意,sdxl使用了两个clip,clip_g与clip_L,经过大量测试,实际使用时需要将两个框都填上同样的tag,只填一个框会出现图片与tag牛头不对马嘴的情况,或者干脆使用普通的clip文本框,但是效果稍逊一些,我个人喜欢这样,只是反面词使用专属的clip框

此外,sdxl的文本框还提供了一个分辨率的输入框,目前信息很少,没有什么头猪(

但是经过测试,如果你要生成一张1024x1024的图片,设置2048的分辨率会使这个1024的图片看起来像是经过了锐化,明显清晰很多,并出现大量的颗粒状纹理。

对比图如下

都是使用的同一个seed, 能看出来差异很大,画面构图也不一样,但是适当的提高这个值对于之后的超分放大过程会有所帮助。

第三步:超分(upscale)

与传统的图片放大过程类似,但是这次sd提供了一个专属的超分模型,叫做refiner,

所以我们可以这样搭建超分流程,

vae转换图片成latent----载入超分模型---设置放大倍率----采样器对latent按照设置的重绘率进行重绘---vae解码latent

如图所示

需要注意的是,refiner这个模型在comfyui中也有专属的clip框,也有分辨率设置,一个美学分数值(Aesthetic Scorer),大概可以在text encode过程就能防止图片过丑(猜的,随意设置自行测试吧

至此,我们就完成了一整套流程搭建,为了直观我使用了两个模型载入框,你可以只使用一个,自行进行修改

还有一点需要注意,不要尝试使用旧版的vae,例如84000之类的对sdxl进行解码,那是徒劳的

以下是整个流程

一些小tips:

sdxl的cfg可以设置的很高,例如15,也能出图

sdxl超分到2k大概需要27-35gb显存,24g显卡+共享gpu内存刚好够用

sdxl初始图分辨率必须大于1024,否则出图依托答辩

refiner也可以当基础模型使用,但是效果不好

暂时先这样,想到再来改(玩的开心