Metis — 数字媒体艺术知识库原型 · 示例数据
演示角色
精炼 · 3 分钟

扩散模型给艺术创作带来了什么

扩散模型把生成艺术的重心从“写规则”移到“数据与模型”,训练数据、风格和作者身份随之成为创作者的问题。

2022 年 8 月,Stable Diffusion 公开发布,模型权重开放下载,有合适显卡的人都可以在自己的电脑上试验一个根据文字生成图像的模型。此后几年,扩散模型成了图像生成的主流方法,也成了 AI 艺术讨论的中心。要回答它给艺术创作带来了什么,需要先弄清它是怎样工作的,再看它把艺术家的位置挪到了哪里。

扩散模型的原理可以用几句话说清。前向过程往图像上一步步加噪声,直到它变成纯噪声;模型要学的是反向过程,即在每一步预测并去掉噪声。生成时,从一张随机噪声出发,让模型一步步去噪,最后得到一张新图。模型记住的不是哪一张图,而是“图像大概长什么样”的统计规律。

这条技术路径走了七年。2015 年,Sohl-Dickstein 等人借用统计物理的思路提出扩散生成模型;2020 年,Ho 等人的 DDPM 在 CIFAR-10 上取得了当时最好的 FID 分数;2021 年底提出的潜空间扩散把计算搬到压缩后的潜空间里,大幅降低了成本;2022 年,基于这一方法的 Stable Diffusion 公开发布,扩散模型从实验室走到了创作者手里。

最根本的变化,是生成艺术的关注点从“写规则”转向了“数据与模型”。哈罗德·科恩从 1970 年代初开始开发的 AARON 是一个对照:科恩把关于线条、形状和构图的理解一条条写成规则,程序画什么都能追溯到这些规则。扩散模型没有人写下的规则,它的能力主要来自训练数据,知识分散在网络参数里。2020 年代扩散模型兴起后,艺术家面对的不再是自己写的规则,而是别人训练的模型和它背后的数据。

艺术家的控制方式也随之改变。文字提示通过交叉注意力影响每一步去噪,引导系数决定提示的约束有多强,随机种子决定从哪一张噪声出发,步数决定速度和细节。这些参数取代了画笔,也取代了程序里的规则。创作变成了反复试验:写提示、调系数、换种子、挑结果。不同的是,参数背后的规则不再由创作者自己掌握。

训练数据带来了风格问题。模型见过什么样的图像,就倾向于生成什么样的图像;用户在提示里写上在世艺术家的名字,就可能得到带有其风格特征的结果,而这些艺术家的作品可能未经同意就进入了训练数据。对创作者来说,这意味着两件事:一是要了解所用模型的数据从哪里来,二是要警惕自己的作品沦为对某位艺术家风格的低成本复制。

作者身份是另一个问题。2023 年 11 月 27 日,北京互联网法院在一起案件中认定,原告用 Stable Diffusion 生成的图片构成美术作品,理由是原告在设计提示词、设置参数和挑选结果中体现了智力投入和个性化表达;被告擅自使用并去掉署名水印,被判赔礼道歉并赔偿 500 元。这一判决把重点放在人的投入上,但它是个案,并不意味着所有 AI 生成的图片都受保护。

所以,扩散模型给艺术创作带来的,不只是一种更快的出图工具。它改变了规则的来源,把训练数据、风格和作者身份变成了每个创作者都要面对的问题。AI 艺术的价值,或许不在于模型能画得多好,而在于艺术家能否说清:哪些是模型给的,哪些是自己做的,以及自己为什么这样选择。

查看原文研究笔记 · 研究笔记:扩散模型的基本原理
需要登录

原文“研究笔记:扩散模型的基本原理”仅对校内师生开放。

精炼内容公开;原文、课程资料和 Agent 需要登录。

学号登录