首页 > 福汇教程

关于Stable diffusion模型,Stable diffusion的SDXL模型以及相关实操

文章来源:福汇下载发布时间:2025-03-29 15:38:37

朋友们好,今天分享的是Stable diffusion的SDXL模型以及相关实操。前面其实我已经断断续续地介绍过几次Stable diffusion的模型,比如 1.X 和 2.X 模型,还有6月12号即将开源的SD3(2B)模型,但其实在2.X 和 SD3 之间,大概在2023年7月份左右,StableAI 还发布过一个SDXL大模型,也就是今天要分享的主题。

与之前的SD1.5大模型不同,这次的SDXL在架构上采用了“两步走”的生图方式:

以往SD1.5大模型,生成步骤为 Prompt → Base → Image,比较简单直接;而这次的SDXL大模型则是在中间加了一步 Refiner。Refiner的作用是什么呢?简单来说就是能够自动对图像进行优化,提高图像质量和清晰度,减少人工干预的需要。

简单来说,SDXL这种设计就是先用基础模型(Base)生成一张看起来差不多的图片,然后再使用一个图像精修模型(Refiner)进行打磨,从而让图片生成的质量更高。而在没有这个之前,我们往往需要通过其他手段,如高清修复或面部修复来进行调优。

除了有出图质量更高这个优势,SDXL还有以下优点:

支持更高像素的图片(1024 x 1024)对提示词的理解能力更好,比较简短的提示词也能达到不错的效果相比SD1.5模型,在断肢断手多指的情况上有所改善风格更为多样化

当然,每件事物不可能是完美的,所以SDXL也有一些局限性:

1、低像素出图质量不高

由于SDXL都是用1024x1024的图片训练的,这既导致它在这个像素级别上生成的质量比较高。但同时也导致了它在低像素级别(如512x512)生成的质量反而比较低,甚至不如SD1.5等模型。

2、与旧Lora不兼容

过去一些适用于SD1.5, 2.x 的Lora和ControlNet模型,大概率无法使用,得重新找一些带有SDXL的模型

3、对GPU显存的要求更高(这个下面会着重讲到)

4、出图时间也变久了

好了,简单讲完了SDXL大模型以及它的优缺点,接下来就开始实战了!

一、模型的下载

这次模型的下载有点不同,因为我们需要下载三个模型,分别是:sd_xl_base_1.0.safetensors、[1]sd_xl_refiner_1.0.safetensors 和 [2]sdxl_vae.safetensors[3] 。

三个模型的地址分别是:

https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/mainhttps://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/tree/mainhttps://huggingface.co/stabilityai/sdxl-vae/tree/main

如果你没有魔法,我这里也提供了网盘的下载链接,只不过如果你没有会员,估计也要下很久