Stable Diffusion

Stable Diffusion是一个开源的文本生成图像模型。由CompVis、StabilityAI和Runway合作开发。

简介

常见图像生成模型

名称	描述
Diffusion models
GAN (Generative adversarial networks)
VAE (Variational auto encoders)
Flow-based models

相似对比

名称	描述	网站
Stable Diffusion
Midjourney
DALL-E

安装

在线使用

平台	描述
Hugging Face	无需注册，直接使用。 官网：https://huggingface.co/spaces/stabilityai/stable-diffusion
Replicate	无需注册，直接使用，支持付费API。 官网：https://replicate.com/stability-ai/stable-diffusion
DreamStudio	Stability AI 提供的网站。 官网：http://beta.dreamstudio.ai
Google Colab	Colab是Google提供的一个免费和付费的Jupyter Notebook环境。 使用步骤： 1.登录Colab，https://colab.research.google.com/ 2.安装Stable Diffusion环境，在 https://github.com/camenduru/stable-diffusion-webui-colab 选择一个环境脚本，点击打开并在Colab运行安装。 3.Colab中安装完成后会有WebUI链接，点击访问即可。 Google Colab：https://colab.research.google.com/ stable-diffusion-webui-colab：https://github.com/camenduru/stable-diffusion-webui-colab
腾讯云GPU服务器	购买活动服务器，60元15天。 使用步骤： 1.系统选择：Docker基础镜像。 2.拉取Docker镜像：sudo docker pull gpulab.tencentcloudcr.com/ai/stable-diffusion:1.0.8 3.运行容器：sudo docker run -itd --gpus=all --network=host --device=/dev/dri --group-add=video --ipc=host --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --name=stable-diffusion gpulab.tencentcloudcr.com/ai/stable-diffusion:1.0.8 | xargs sudo docker logs --follow。 4.点击Public URL：https://xxxxxxxx.gradio.live/ 可以打开Stable Diffusion WebUI。点击http://外网IP:8888/?token=xxxxxx打开JupyterNotebook 官网：https://cloud.tencent.com/act/pro/gpu-study

了解更多 >> Stability 博客：Stable Diffusion 公开发布

Prompt 提示词

常用网站

网站名称	描述	网址
Civitai	模型分享网站，点击图片右下角的感叹号，会显示提示词。	https://civitai.com/
Promptbase	有 DALL·E, GPT, Midjourney, Stable Diffusion, ChatGPT提示词	https://promptbase.com/
Prompthero		https://prompthero.com/
无界AI		https://wujieai.com/
Lexica		https://lexica.art/

Model 模型

Stable Diffusion模型是由一大堆的图像和图像的本注释训练而成。

模型类型

名称	描述
Checkpoint	又称大模型、底模型，真正 Stable Diffusion模型，直接使用即可生成图片。模型很大，一般2 – 7 GB。 格式：ckpt，safetensors 位置：stable-diffusion-webui/models/Stable-diffusion/ 使用：点击webUI左上角Stable Diffusion checkpoint单选框选择模型，默认Stable diffusion训练模型。
LoRA

下载安装

安装模型，只需要下载模型放入对应文件夹，再在网页点击模型刷新按钮。如Checkpoint模型放入stable-diffusion-webui/models/Stable-diffusion文件夹中。可以网页浏览下载模型，也可以使用命令下载，如在Linux中下载chilloutmix 模型：

# 进入模型对应文件夹，使用wget下载。
cd stable-diffusion-webui/models/Stable-diffusion
wget -O chilloutmix_NiPrunedFp32.safetensors https://civitai.com/api/download/models/9475

名称	描述	网址
Civitai	模型多，浏览下载方便。	https://civitai.com/
Hugging Face	模型多	https://huggingface.co/

资源

官网

• Stable Diffusion 源代码：https://github.com/CompVis/stable-diffusion
• Stable Diffusion 源代码：https://github.com/Stability-AI/stablediffusion
• Stability 官网：https://stability.ai
• Runway 官网：https://runwayml.com

网站

• Stable Diffusion WebUI：https://github.com/AUTOMATIC1111/stable-diffusion-webui
• stable diffusion webui colab：https://github.com/camenduru/stable-diffusion-webui-colab
• LAION-5B ：https://laion.ai/blog/laion-5b/

视频

• 哔哩哔哩：my3d - AI绘图-stable diffusion从入门到精通
• 哔哩哔哩：AI次世代 - 【AI绘画入门教程】AI绘画入门 模型详解 保姆教程 Stable Diffusion模型到哪下载？
• Youtube：Jay Alammar - AI Art Explained: How AI Generates Images (Stable Diffusion, Midjourney, and DALLE)
• Youtube：李宏毅 -【生成式AI】速覽圖像生成常見模型
• Youtube：李宏毅 -【生成式AI】淺談圖像生成模型 Diffusion Model 原理

文章

• Jay Alammar：The Illustrated Stable Diffusion
• 画宇宙：倒立的BOB - stable diffusion 原理是什么？stable diffusion 原理介绍 - AI绘画每日一帖
• Towards AI：Youssef Hosni - Getting Started With Stable Diffusion
• 知乎：小小将 - 文生图模型之Stable Diffusion
• 知乎：新智元 - Jay Alammar再发新作：超高质量图解Stable Diffusion，看完彻底搞懂「图像生成」原理
• 知乎：Sean - Stable Diffusion原理解读
• STABLE DIFFUSION ART：models
• 亚马逊AWS官方博客: Stable Diffusion WebUI 在电商场景生成 AI 模特搭配服装的方案探索