Stable Diffusion不是软件是 Stability.ai 公司免费开源的图像生成模型
Stable Diffusion是一种深度学习的文本到图像生成模型,于2022年发布,主要用于根据文本的描述生成详细图像。它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产生图生图的转变。Stable Diffusion是一种潜在扩散模型,由慕尼黑大学的CompVis研究团体开发的各种生成性人工神经网络之一。
Stable Diffusion的工作原理主要包括以下几个步骤:
- 图像编码器将图像从像素空间压缩到更小维度的潜在空间,捕捉图像更本质的信息;
- 对潜在空间中的图片添加噪声,进行扩散过程;
- 通过CLIP文本编码器将输入的描述语转换为去噪过程的条件;
- 基于一些条件对图像进行去噪以获得生成图片的潜在表示,去噪步骤可以灵活地以文本、图像和其他形式为条件;
- 图像解码器通过将图像从潜在空间转换回像素空间来生成最终图像。
Stable Diffusion的应用非常广泛,例如,它可以帮助艺术家和设计师快速创建高品质的数字艺术作品。