研究笔记：扩散模型的基本原理

笔记目的：为下学期的课程准备材料，弄清扩散模型的基本原理，以及它对艺术创作意味着什么。先写原理和发展脉络，再写观察，最后列出待验证的问题。数学细节只保留直观理解，公式另见论文。

先说前向过程。取一张图，每一步往上面加一点高斯噪声，加很多步之后，图像就变成了几乎纯粹的噪声。这个过程不需要学习，规则是事先定好的：每一步加多少噪声，由一张预设的表决定。直观地说，前向过程就是把图像的结构一点点“冲掉”。

反向过程才是模型要学的。训练时，给网络一张加过噪声的图，并告诉它当前是第几步，让它预测这一步加进去的噪声；预测得越准，就越能把噪声去掉。生成时从一张纯噪声出发，让网络一步步去噪，最后得到一张新的图。模型学到的不是某一张图，而是“图像大概长什么样”的统计规律。

这个思路可以追溯到 2015 年。Jascha Sohl-Dickstein 等人在 ICML 2015 发表《利用非平衡热力学的深度无监督学习》（Deep Unsupervised Learning using Nonequilibrium Thermodynamics），受非平衡统计物理启发，提出用一个逐步破坏数据结构的前向扩散过程，再学习一个恢复结构的反向过程。“扩散”一词就来自这里。

2020 年，Jonathan Ho、Ajay Jain 和 Pieter Abbeel 发表《去噪扩散概率模型》（DDPM），收入 NeurIPS 2020。论文在 CIFAR-10 数据集上取得了当时最好的 FID 分数 3.17，在 LSUN 256 × 256 图像上的质量与 ProgressiveGAN 相近，实验中的扩散步数设为 1000。这份笔记把 2020 年记为扩散模型兴起的年份。

直接在像素上做扩散，计算量很大。2021 年 12 月，Robin Rombach 等人提出潜空间扩散模型（Latent Diffusion Models），论文收入 CVPR 2022：先用预训练的自编码器把图像压缩到较小的潜空间，在潜空间里做扩散，最后再解码回图像，在保留细节的同时大幅降低了计算成本。论文还在网络中加入交叉注意力层，让文本等条件参与生成。

Stable Diffusion 是一个基于潜空间扩散的文本生成图像模型，2022 年 8 月 22 日公开发布，权重以 Creative ML OpenRAIL-M 许可证开放下载。观察：对艺术院校来说，这一点可能比模型的效果更重要。学生第一次可以把一个图像生成模型下载到本地，自己拆开、调试和试验，而不只是通过网页使用别人的服务。

文本是怎样控制图像的？大致过程是：文字提示先经过文本编码器变成一组向量，去噪网络在每一步都通过交叉注意力“参考”这组向量，让去噪朝着与文字相符的方向走。所以同一个随机噪声起点配上不同的提示，会得到不同的图；同一个提示换一个随机种子，也会得到不同的图。

引导决定文字的约束有多强。常用的是无分类器引导（classifier-free guidance），由 Jonathan Ho 和 Tim Salimans 提出，最早发表在 NeurIPS 2021 的一个研讨会上。做法是同时训练有条件和无条件两种预测，采样时把两者组合起来，用一个系数调节二者的差别。系数越大，图像越贴合提示，但多样性会下降。

采样步数和速度是实际使用中最直接的问题。DDPM 用了 1000 步，生成一张图要让网络运行上千次。Jiaming Song 等人 2020 年提出的 DDIM（收入 ICLR 2021）可以用少得多的步数采样，论文报告速度比 DDPM 快 10 到 50 倍。观察（自己试用的感受，未系统测量）：步数太少时细节粗糙，超过一定步数后差别就不大了。

对创作者来说，最重要的变化在于“规则”从哪里来。扩散模型里没有人写下的绘画规则，它的能力主要来自训练数据：模型见过什么样的图像，就倾向于生成什么样的图像。训练数据里某类题材、某种风格多，生成结果就容易偏向它们；数据里缺少的，模型也很难凭空画出来。理解一个模型，很大程度上就是理解它的训练数据。

可以拿哈罗德·科恩的 AARON 作对比。AARON 是科恩从 1970 年代初开始开发的绘画程序，它画什么、怎么构图，都来自科恩一条条写进去的关于线条、形状和构图的规则，科恩自己说它从不自我改进。扩散模型正好相反：没有人写规则，模型从大量图像中学习统计规律，知识分散在网络参数里，很难逐条读出来。从 AARON 到扩散模型，生成艺术的关注点从“写规则”转向了“数据与模型”。

风格是 AI 艺术里争议最集中的地方。用户在提示里写上某位在世艺术家的名字，模型就可能生成带有其风格特征的图像，而这位艺术家的作品可能在未经同意的情况下进入了训练数据。大规模、低成本的模仿会直接影响艺术家的生计。这个问题在法律上和伦理上都还没有定论。

作者身份方面，国内有一个常被引用的案例。2023 年 11 月 27 日，北京互联网法院对一起 AI 生成图片著作权纠纷作出一审判决：原告用 Stable Diffusion 通过提示词和参数生成了一张图片并发布到网上，被告把这张图用作自己文章的配图，还去掉了原告的署名水印。法院认为，原告在设计提示词、设置参数和挑选结果中体现了智力投入和个性化表达，图片构成美术作品，原告享有著作权。

判决结果是被告赔礼道歉并赔偿 500 元。审理此案的法官也表示，人工智能模型本身不能成为我国著作权法上的作者；生成内容是否体现个性化表达，需要个案判断。观察：这一判决把重点放在人的智力投入上，而不是机器的能力上；但它是个案，不意味着所有 AI 生成的图片都受保护，其他国家和地区的做法也不尽相同。

待验证的问题：1. 常用模型的训练数据里，各类风格的比例能否通过公开资料大致估计？2. 引导系数和采样步数在课堂实验中怎样设置，学生最容易看清它们的作用？3. 北京互联网法院的判决之后，国内是否出现了结论不同的同类案件？4. 如果学生用自己的作品微调模型，作者身份的判断会不会因此改变？