1 minute read

... views ... visitors ... total

Read in English

扩散模型的思路,可以先记成一句话:

先把真实样本逐渐变成噪声,再训练网络学会去噪;生成时,从一份全新的噪声开始,一步步得到新样本。

这里有三件事:加噪、训练、生成。加噪由我们规定,网络学习怎样去噪,生成则反复使用学到的网络。先把这条流程走通,再看它为什么有效。

下面先用 MNIST 手写数字解释,随后把同一套方法放到 ShapeNet 椅子点云中。你不需要先学完 VAE 或随机微分方程。

1. 核心直觉:容易破坏,就从破坏过程设计学习任务

假设面前有一张清晰的手写数字 3。

不断给像素加入随机噪声,笔画会越来越难辨认,最后几乎只剩雪花。这件事很容易做:程序抽取随机数,加到图像上即可。

反过来就难了。给你一张满是雪花的图,它应该变成 3、8,还是另一个数字?答案不在噪声本身,而在模型从训练数据中学到的规律里。

扩散模型把这个难题拆成许多小任务:

  • 噪声很少时,学习怎样修正受损的笔画;
  • 噪声较多时,学习怎样利用残存线索判断结构;
  • 几乎全是噪声时,学习手写数字整体上有哪些可能的结构。

训练好以后,就可以把这些不同噪声水平下的判断连起来,形成从噪声到数字的生成过程。

关键分工:破坏规则是固定的,如何沿相反方向生成才是网络要学的。

2. 前向过程:把数字逐渐变成噪声

用 $x_0$ 表示干净图像,$x_t$ 表示第 $t$ 个噪声水平下的图像。$t$ 越大,噪声越强。

同一张 MNIST 图像在不同噪声水平下保留了什么?

正在准备图表。

左图来自官方测试集,并沿用 VAE 文章的二值化预处理。右图用固定高斯噪声展示前向边缘分布;拖动滑块不会重新抽噪声,也不构成一条马尔可夫链轨迹。显示时把超出 [-1,1] 的值截断,实际计算不截断。这里没有训练或运行去噪网络。

拖动时间滑块,观察同一个数字怎样失去笔画。图中固定噪声便于比较,展示的是加噪公式,并没有运行去噪网络。

前向过程有一个很实用的性质:不用真的加噪 $t$ 次,就能直接得到第 $t$ 步的结果。

\[x_t=\sqrt{\bar\alpha_t}\,x_0+ \sqrt{1-\bar\alpha_t}\,\epsilon, \qquad \epsilon\sim\mathcal N(0,I).\]

这个式子只有两部分:

部分 含义
$\sqrt{\bar\alpha_t}\,x_0$ 留下多少原始图像信号
$\sqrt{1-\bar\alpha_t}\,\epsilon$ 混入多强的高斯噪声

我们提前安排 $\bar\alpha_t$ 随时间减小。开始时图像占主导,结束时噪声占主导。比如 $\bar\alpha_t=0.01$ 时,原图系数只有 $0.1$,噪声系数约为 $0.995$。

MNIST 的 $x_0$ 是一个 $28\times28$ 数组,$\epsilon$ 也是同样大小的数组,每个像素位置对应一个随机数。这里发生的是信号衰减与噪声混合,所以图像会变得杂乱,并非简单地变模糊。

3. 反向过程:网络到底要预测什么?

我们希望从 $x_t$ 走向稍微干净的 $x_{t-1}$。一种常用做法是让网络预测加噪公式里的 $\epsilon$:

\[\hat\epsilon=\epsilon_\theta(x_t,t).\]

网络输入两样东西:带噪图像 $x_t$,以及当前时间 $t$。输出与图像同样大小,表示每个像素上的噪声估计。

为什么还要给时间?因为轻微受损的数字和几乎完全随机的雪花,需要不同程度的调整。时间告诉网络:当前还有多少原始信号可以相信。

采样器再把这份噪声预测换算为一次更新,得到 $x_{t-1}$。在新的状态上重新预测,再走一步。

这里的“去噪”不是直接计算 $x_t-\hat\epsilon$:前向公式还有信号缩放,不同时间也对应不同的更新系数。数学篇会给出完整公式。

4. 训练目标:答案就是我们刚刚加入的噪声

训练不需要人工标注“这张图该怎样修”。程序自己加入了噪声,所以监督目标现成可用。

一次训练的流程是:

  1. 取一张真实 MNIST 图像 $x_0$。
  2. 随机选时间 $t$,再抽一份高斯噪声 $\epsilon$。
  3. 用前向公式构造 $x_t$。
  4. 把 $x_t,t$ 输入网络,得到预测 $\epsilon_\theta(x_t,t)$。
  5. 比较预测与真实噪声,更新网络参数。

常用损失就是均方误差(MSE):

\[L=\mathbb E_{x_0,t,\epsilon} \left[\|\epsilon-\epsilon_\theta(x_t,t)\|^2\right].\]

用一句话说,训练在做:

我把一张真实数字加噪,你根据带噪结果和噪声程度,预测加噪时用的噪声。

同一张数字可以搭配不同时间和噪声,产生许多训练输入。每次只需抽一个时间,无须先跑完一整条加噪链;同一个网络在不同时间共享参数。

5. 生成过程:没有原图,也能开始

训练好后,生成一张新数字:

  1. 抽取一张标准高斯噪声图 $x_T$。
  2. 网络根据 $x_T,T$ 预测噪声,采样器算出 $x_{T-1}$。
  3. 网络根据新的状态和时间,再预测、再更新。
  4. 一直走到干净端,输出生成图像。
\[x_T\sim\mathcal N(0,I) \quad\longrightarrow\quad x_{T-1} \quad\longrightarrow\quad\cdots \quad\longrightarrow\quad x_0.\]

这个过程中没有一张原图等着被“找回来”。起始噪声是新抽的,网络利用训练中学到的数字规律,逐渐组织出笔画。

  训练时 生成时
从哪里开始 真实数字 新的高斯噪声
做什么 制造带答案的去噪练习 反复使用已训练网络
是否知道原图和噪声目标 知道 不知道
一次流程调用网络多少次 每个样本抽一个时间 沿采样过程调用多次

通常可以看到结构逐渐出现、细节逐渐清晰,但不必把“某一步只管轮廓,某一步只管细节”当成严格分工。

6. 为什么预测噪声能够学会生成?

这是整个方法最值得想明白的地方。

如果训练数据是 MNIST,网络见过的是连贯的数字笔画;如果训练数据全是椅子,它见过的是坐面、椅背与椅腿。要从带噪数据推断噪声,网络必须学会什么样的结构更符合训练数据。

例如,一张带噪数字只剩两段弧线,单独看每个像素很难判断。但结合整张图,网络可以利用“3 的笔画怎样连接”“8 的上下两圈怎样排列”这些规律。

强噪声下,可能有多个合理解释。网络一般无法准确猜回本次加入的每个随机数;MSE 下的理想预测是这些解释对应的条件平均。

那么,平均预测为什么没有让所有数字都混成一张灰图?因为它被放在一个随时间演化的采样过程里:每次更新后,输入状态变了,下一次判断也随之变化。模型通过许多局部更新产生样本,而不是只做一次强噪声到原图的回归。

更深入地看,噪声预测能换算成带噪分布的对数密度梯度,也就是 Score。它为生成提供与数据分布有关的方向。这个联系可以放到后面的连续时间篇再学,不影响现在理解训练和生成。

7. 条件生成:怎样指定“我要数字 3”?

无条件模型只知道“生成一张像 MNIST 的图”,并不知道这次要哪个数字。加入条件 $c$,就让网络同时看:

\[\epsilon_\theta(x_t,t,c).\]

MNIST 中,$c$ 可以是类别 3;ShapeNet 中,可以是“椅子”类别或部分扫描;文生图中,则可以是文本编码器得到的提示词特征。

训练时,条件与真实样本一起提供。生成时,固定所需条件,从不同噪声开始,就可以得到符合要求的不同样本。文本条件常通过交叉注意力与图像特征交互。

无分类器引导(Classifier-Free Guidance,CFG)进一步在训练时随机丢弃条件,让网络同时学有条件和无条件预测;采样时增强二者之间的条件方向。引导更强不代表所有方面都更好,它也会改变生成的多样性与细节。

8. 潜空间扩散:可以先压缩,再生成

高分辨率图像包含很多像素,直接在这些像素上反复运行网络很贵。潜空间扩散先用自编码器压缩图像:

\[x \xrightarrow{\ E\ } h \quad\text{,在 }h\text{ 上加噪、训练与生成,最后}\quad h_{\mathrm{new}}\xrightarrow{\ D\ }x_{\mathrm{new}}.\]

扩散过程处理的是较紧凑的表示 $h$。解码器负责把生成的潜变量还原成图像,因此可以减少去噪网络的计算量。它的代价是最终质量也受到自编码器的信息损失影响。

MNIST 很小,适合直接在像素上练习;学习潜空间扩散时,可以把“先选择一种紧凑表示”看成额外加入的一步。

9. 换成 ShapeNet 椅子,哪些地方变了?

从每把椅子的网格表面采样 2048 个点,一件数据就是 $x_0\in\mathbb R^{2048\times3}$。把前面的“每个像素”换成“每个点的三个坐标”,加噪公式和噪声 MSE 都可以保留。

一把椅子的坐标怎样逐渐变成噪声?

正在准备图表。

左图由六个长方体表面按面积采样 768 点构成,并非 ShapeNet 数据。右图按 xₜ=a x₀+b ε 加噪,a=exp(−5t),b=√(1−a²)。噪声固定,坐标范围固定;这是前向边缘分布示意,没有训练网络。

这张图用程序构造的椅子表面展示坐标加噪。随着噪声增大,表面变厚,细腿消失,最后坐面与椅背也融入点团。实际 ShapeNet 训练会对许多不同椅子执行同样的过程。

网络的任务随之变成:输入带噪点云和时间,输出同样大小的三维噪声数组。它需要结合整件物体的结构,让所有点协同形成合理椅子。训练数据中的不同椅子,提供了不同椅背、腿型与扶手的变化。

生成时,从 $2048\times3$ 的新高斯数组出发,逐步得到一把新椅子的点云。若改为在形状潜变量上做扩散,还可以用解码器得到符号距离场(SDF),再提取网格;几何篇接着展开这条流程。

10. 和 VAE、GAN、Flow Matching 放在一起看

先比较它们怎样生成:

方法 主要思路 常见计算特点
VAE 学潜变量与解码器,从潜变量解码样本 解码通常一次前向完成,效果受表示与训练目标影响
GAN 生成器借助判别器反馈学习生成 生成通常一次前向完成,对抗训练需要处理稳定性与覆盖问题
扩散 在不同噪声水平学习去噪,反复更新生成 训练目标直接,采样通常需要多次网络调用
Flow Matching 构造噪声到数据的路径,回归移动速度 通过速度场积分生成,开销取决于路径与求解器

这张表比较机制,不给模型质量作统一排名。扩散的采样开销也催生了 DDIM 等加速方法。Flow Matching则把问题改写成“当前状态应以什么速度移动”,与扩散的概率流描述可以联系起来。

回到最初的主线:

加噪提供可控的训练问题,噪声预测让网络学习数据规律,多步采样把新噪声变成新样本。

接下来读够用版数学推导,把这条流程与前向分布、反向均值和采样公式逐一对齐。

参考与来源。 叙述顺序参考读者提供的 DeepSeek 分享回答,本文结合 MNIST 与 ShapeNet 重新组织说明。技术依据见 DDPM、Classifier-Free Diffusion Guidance、Latent Diffusion Models 与 ShapeNet。MNIST 图使用二值测试样本并映射到 $[-1,1]$;椅子图为程序构造示意,两者只展示前向加噪。原论文与数据权利归相应提供者。

AI feedback

Anonymous

Loading AI feedback…

Leave a comment