SDXL 0.9 以及 ComfyUi 简易教程(非小白向
为了尝鲜SDXL,目前只有comfyui做了适配,不得不用
【资料图】
先上一些我跑的图
第一步:安装
git clone /comfyanonymous/
找到文件夹,运行命令 pip install -r 安装运行依赖,
最后运行run_nvidia_进入默认界面
第二步:sdXL绘图基础流程构建
如果没什么要求,使用默认的流程图已经可以出图
sd绘画的过程一般是这样
加载模型---使用clip解析tag----从空白latent中获取噪点----使用采样器进行采样----使用vae对latent进行解码----输出图片
知道这个流程后那么我们就开始搭建sdxl的workflow,对默认的流程稍加修改即可,如图
有点需要注意,sdxl使用了两个clip,clip_g与clip_L,经过大量测试,实际使用时需要将两个框都填上同样的tag,只填一个框会出现图片与tag牛头不对马嘴的情况,或者干脆使用普通的clip文本框,但是效果稍逊一些,我个人喜欢这样,只是反面词使用专属的clip框
此外,sdxl的文本框还提供了一个分辨率的输入框,目前信息很少,没有什么头猪(
但是经过测试,如果你要生成一张1024x1024的图片,设置2048的分辨率会使这个1024的图片看起来像是经过了锐化,明显清晰很多,并出现大量的颗粒状纹理。
对比图如下
都是使用的同一个seed, 能看出来差异很大,画面构图也不一样,但是适当的提高这个值对于之后的超分放大过程会有所帮助。
第三步:超分(upscale)
与传统的图片放大过程类似,但是这次sd提供了一个专属的超分模型,叫做refiner,
所以我们可以这样搭建超分流程,
vae转换图片成latent----载入超分模型---设置放大倍率----采样器对latent按照设置的重绘率进行重绘---vae解码latent
如图所示
需要注意的是,refiner这个模型在comfyui中也有专属的clip框,也有分辨率设置,一个美学分数值(Aesthetic Scorer),大概可以在text encode过程就能防止图片过丑(猜的,随意设置自行测试吧
至此,我们就完成了一整套流程搭建,为了直观我使用了两个模型载入框,你可以只使用一个,自行进行修改
还有一点需要注意,不要尝试使用旧版的vae,例如84000之类的对sdxl进行解码,那是徒劳的
以下是整个流程
一些小tips:
sdxl的cfg可以设置的很高,例如15,也能出图
sdxl超分到2k大概需要27-35gb显存,24g显卡+共享gpu内存刚好够用
sdxl初始图分辨率必须大于1024,否则出图依托答辩
refiner也可以当基础模型使用,但是效果不好
暂时先这样,想到再来改(玩的开心