扩散模型
Diffusion Model- 提到它的内容
- 4 篇
- 近 30 天
- +2
- 标签
- 按此标签检索 →
01定义
通过逐步去除噪声来生成图像的模型，是当前主流图像生成方法的基础。
02展开解释
扩散模型是一类生成模型。训练时，它把图像一步步加上噪声，直到变成纯噪声，同时学习怎样把这个过程倒过来；生成时，从一张随机噪声出发逐步去噪，得到一张新图像。这个思路最早见于 Jascha Sohl-Dickstein 等人 2015 年借鉴非平衡热力学提出的方法；2020 年，Jonathan Ho 等人的去噪扩散概率模型（DDPM）让它在图像质量上取得突破，此后迅速成为图像生成的主流方法。
今天常用的文生图系统大多建立在扩散模型上，并加入了几项关键改进。潜在扩散把去噪过程放到压缩后的“潜在空间”里进行，大幅降低了计算量，2022 年公开发布的 Stable Diffusion 就基于这一方法；文本编码器把提示词转成向量，引导去噪的方向；ControlNet 等方法再加入线稿、姿态、深度图等条件，让生成结果更可控。视频生成模型则把同样的思路扩展到时间维度。
扩散模型的争议主要来自训练数据。Stable Diffusion 用 LAION-5B 中的图文对训练，这些图片抓取自互联网，其中包括受版权保护的作品。2023 年 1 月，三位艺术家对 Stability AI、Midjourney 和 DeviantArt 提起诉讼，Getty Images 也在英国起诉 Stability AI。另一层问题是风格：模型可以模仿某位在世艺术家的画风，这算不算侵权、要不要允许艺术家退出训练集，各地的法律和平台规则仍在变化。
对数字媒体艺术专业的学生来说，理解扩散模型的原理有实际用处：知道它从噪声出发、受文本和条件引导，就能明白为什么同一提示词每次结果不同，为什么加入参考图和控制条件能提高可控性，也能更清醒地看待“风格”从哪里来。在创作中，它可以用于草图发散、材质和场景探索，也可以作为作品本身讨论的对象。使用时应记录模型版本、参数和后期处理，并留意平台条款和素材来源。
03历史时间线
- 2015Jascha Sohl-Dickstein 等人在 ICML 发表借鉴非平衡热力学的扩散生成方法。
- 20206 月，Jonathan Ho、Ajay Jain、Pieter Abbeel 发布去噪扩散概率模型（DDPM），论文发表于 NeurIPS 2020。
- 2021Prafulla Dhariwal 与 Alex Nichol 发表《扩散模型在图像合成上胜过 GAN》。
- 202112 月，Robin Rombach 等人提出潜在扩散模型，论文次年发表于 CVPR 2022。
- 20224 月，OpenAI 发布基于扩散模型的 DALL·E 2；8 月 22 日，Stable Diffusion 公开发布。
- 20232 月，Lvmin Zhang 等人提出 ControlNet，论文发表于 ICCV 2023。
- 20242 月，OpenAI 公布基于扩散 Transformer 的视频生成模型 Sora。
04代表人物与作品
- Jascha Sohl-DicksteinJascha Sohl-Dickstein
机器学习研究者，2015 年论文《基于非平衡热力学的深度无监督学习》的第一作者。
- Jonathan HoJonathan Ho
机器学习研究者，2020 年去噪扩散概率模型（DDPM）论文的第一作者。
- Robin RombachRobin Rombach
研究者，潜在扩散模型论文的第一作者，Stable Diffusion 即基于这项研究。
- Lvmin ZhangLvmin Zhang
研究者，ControlNet（2023）论文的第一作者。