扩散模型

目录¶

• 去噪扩散概率模型

• 扩散模型改进

• 隐扩散模型

• 扩散模型实例

• 典型扩散模型

去噪扩散概率模型概述¶

样本密度分布建模¶

假设所有样本都来自分布 $p_{data}(x)$：

• 生成机器学习模型的目标是尽其所能地学习样本分布——模型近似的分布表示为 $p_\theta(x)$

• 我们通过从学习到的分布中采样来生成新样本

• 通常训练模型以最大化 $p_\theta(x)$ 的期望对数似然（或最小化负对数似然）/最小化 $p_\theta(x)$ 和 $p_{data}(x)$ 之间的散度（divergence）

现有生成模型方法：VAE与GAN¶

VAE：

GAN：

数学上可以证明，训练 GAN 等价于最小化真实数据和生成数据之间的 Jensen-Shannon 散度。当生成器完美时（$p_g = p_r$），散度为 0，损失达到其全局最小值 $-2\log2$。

生成模型的挑战与对比¶

扩散模型的物理原理与设计思想¶

• 扩散作用是一个基于分子热运动的运输现象，是分子通过布朗运动从高浓度区域 (或 高化势) 向低浓度区域 (或低化势) 的运输的过程。它是趋向于热平衡态的弛豫过程。 菲克定律 (Fick’s laws) 是扩散作用的近似描述，实际过程是从高化势区域向低化势区域的转移。扩散作用的速率和混合物的浓度梯度一般不太大，因此通常可以用近平衡态热力学理论进行处理。

• 扩散模型的灵感来自非平衡热力学。它提出了一种以小步长迭代地将马尔可夫链的输出视为模型对学习分布的近似 ，以缓慢地将随机噪声添加到样本中，然后学习逆向扩散过程，从而根据噪声构建所需的数据样本。

• 与 VAE 或流模型不同，扩散模型是通过固定程序学习的，并且隐变量具有高维度（与原始样本 相同）。

去噪扩散概率模型机制¶

去噪扩散概率模型 （ Denoising Diffusion Probabilistic Models ， DDPM ）的机制

• 正向过程用于生成建模，通过逐步添加高斯噪声将样本（如图像、文本）降级至类似随机噪声状态。数学上，每一步由高斯转换内核定义，按预定方差增加噪声。随着噪声增加，样本结构减少，趋近纯噪声。此过程旨在构建从原始样本到简单先验分布的映射，以支持逆向的去噪和重建过程。

• 逆向过程利用神经网络从噪声中逐步去噪以重建样本，模拟正向过程的逆向操作。神经网络学习去除噪声分量，通过分数匹配 (Score Matching) 或变分推理等技术优化输出。逆向迭代去噪步骤生成高质量样本，使模型能将噪声转化为连贯结构化的输出，极大增强了生成模型的能力。

正向扩散过程¶

• 给定初始的样本分布 $x_0 \sim q(x_0)$ ，在扩散过程中不断添加高斯噪声，随着 t 不断的增大，会生成一序列添加噪声的样本， $x_1, x_2, \dots, x_T$

• 步长由方差调度超参数 $\beta_t \in [0, 1)$ 确定

• 重复这个过程 $T$ 个步骤 —— 随着时间步骤的增加，原始输入的更多特征会变得无法识别

• 当 $T$ 接近无穷大时，您最终会得到各向同性高斯（即纯随机噪声）

• 转移概率 (transition probability) $q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t \mathbf{I})$, $q\left(\mathbf{x}_{1:T}\middle|\mathbf{x}_0\right)=\prod_{t=1}^{T}{q\left(\mathbf{x}_t\middle|\mathbf{x}_{t-1}\right)}$

重新参数化技巧¶

上述过程有一个很好的特性是我们可以在任意时间步对 $\mathbf{x}_t$ 以闭式进行重参数化采样。令 $\alpha_t=1-\beta_t$ 和 ${\overline{\alpha}}_t=\prod_{i=1}^{t}\alpha_i$

• 任意时刻的 $q\left(\mathbf{x}_t\right)$ 也可以完全基于 $\mathbf{x}_0$ 和 $\beta_t$ 来计算出来,而不需要做迭代

• 根据正态分布的叠加性:两个正态分布 $X\sim \mathcal{N}\left(\mu_1,\sigma_1^2\right)$ 和 $Y\sim \mathcal{N}\left(\mu_2,\sigma_2^2\right)$,$aX+bY$ 的叠加就是均值为 $a\mu_1+b\mu_2$, 方差为 $a^2\sigma_1^2+b^2\sigma_2^2$ 的正态分布;

• 叠加后的标准方差为 $\sigma=\sqrt{(1-\alpha_t)+\alpha_t(1-\alpha_{t-1})}=\sqrt{1-\alpha_t\alpha_{t-1}}$

令 $\alpha_t = 1 - \beta_t$，并定义 ${\overline{\alpha}}_t = \prod_{i=1}^t \alpha_i$，则有 $\mathbf{x}_t = \sqrt{{\overline{\alpha}}_t}\mathbf{x}_0 + \sqrt{1-{\overline{\alpha}}_t}\boldsymbol{\epsilon}$。 通过选取适当的超参数 $\alpha_t$，使得 $\alpha_t$ 递减并趋近于 0，此时 $\beta_t$ 趋近于 1。经过 $T$ 步后，原样本将近似扩散为各向同性高斯分布。例如，设 $\alpha_t$ 为单调递减序列，如 $\alpha_t = \sqrt{1-\frac{0.02t}{T}}$。

计算 $\log \alpha_T$：若 $t = T$，

根据泰勒展开，对于 $0 < x < 1$，$\log(1-x) < -x$，因此：

所以当 $T=1000$ 时，$\alpha_T \approx e^{-5} \approx 0$，此时 $\mathbf{x}_T = \sqrt{{\overline{\alpha}}_T}\mathbf{x}_0 + \sqrt{1-{\overline{\alpha}}_T}\boldsymbol{\epsilon} \approx \boldsymbol{\epsilon} \sim \mathcal{N}(0, I)$

逆向过程¶

如果能够逆正向过程,并从 $q(\mathbf{x}_{t-1}|\mathbf{x}_t)$ 中采样,那么就可以从高斯噪声输入 $\mathbf{x}_T\sim\mathcal{N}(\mathbf{0},\mathbf{I})$ 重新创建真实样本。如果 $\beta_t$ 足够小,$q(\mathbf{x}_{t-1}|\mathbf{x}_t)$ 也将是高斯的。但是估计 $q\left(\mathbf{x}_{t-1}\middle|\mathbf{x}_t\right)$ 需要使用整个数据集,因此我们需要学习一个模型 $p_\theta$ 来近似这些条件概率以便进行逆向扩散过程。从各项独立的高斯分布中恢复原始样本,假设它也是一个高斯分布,但是逆扩散无法逐步拟合分布,所以需要构建一个参数分布来做估计。

扩散模型的目标是学习逆向降噪过程，以迭代地去除正向过程中添加的噪声，逆过程也可以理解为从随机噪声中生成新样本，$\color{blue}{\text{以}}$ $\color{blue}{\mathbf{x}_0}$ $\color{blue}{\text{已知为条件时，逆向条件概率}}$ $\color{blue}{q\left(\mathbf{x}_{t-1}\middle|\mathbf{x}_t,\mathbf{x}_0\right)}$ $\color{blue}{\text{是可解的。}}$

根据联合概率公式：

我们有：

因为正向过程是马尔科夫链，$\mathbf{x}_t$ 只依赖于邻接时刻 $\mathbf{x}_{t-1}$，所以：

代入上式得：

根据前向过程的定义，我们有：

将以上高斯分布代入，得到：

将各项代入高斯分布的概率密度函数 $f(x)=\frac{1}{\sqrt{2\pi\sigma}}e^{-\frac{(x-\mu)^2}{\sigma^2}}$ 得到各自的概率密度函数:

其中 $C(\mathbf{x}_t,\mathbf{x}_0)$ 是某函数不含变量 $\mathbf{x}_{t-1}$。

多元高斯分布可以表达为 $\exp{\left(-\frac{1}{2}\mathbf{x}^TA\mathbf{x}+b^T\mathbf{x}+c\right)}$ 一般形式,其中 $\mathbf{\Sigma}=A^{-1}$,均值 $\boldsymbol{\mu}=A^{-1}b$:

因为 $\mathbf{x}_t=\sqrt{\bar{\alpha}_t}\mathbf{x}_0+\sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon} \Rightarrow \mathbf{x}_0=\frac{1}{\sqrt{\bar{\alpha}_t}}(\mathbf{x}_t-\sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}_t)$

最后的表达式就为:

损失函数与变分下界¶

目标是学习 $\tilde{\boldsymbol{\mu}}\left(\mathbf{x}_t,\mathbf{x}_0\right)$ 和 $\tilde{\beta}_t$，类似变分编码器，我们可以利用变分推断中的证据下界ELBO．在真实样本分布下，最大化模型预测分布的期望对数似然，即最小化交叉熵

对于凸函数，我们可以运用詹森不等式（Jensen’s inequality），$f(\mathbb{E}[X])\leq\mathbb{E}[f(X)]$，这种不等式本质上是指一个期望的函数小于或等于该函数的期望。这是变分推理方法的关键组成部分，确保近似值有界且表现良好。由于 $-\log$ 是凸函数，应用詹森不等式得：

展开 $L_{\mathrm{NELBO}}$，利用前向过程和逆向过程的马尔可夫性质：

对数乘法变加法：

$t=1$ 项单独写出：

根据贝叶斯公式 $q\left(\mathbf{x}_t\middle|\mathbf{x}_{t-1}\right)=\frac{q\left(\mathbf{x}_{t-1}|\mathbf{x}_t\right)q\left(\mathbf{x}_t\right)}{q\left(\mathbf{x}_{t-1}\right)}$：

对每一项概率添加 $\mathbf{x}_0$ 条件依赖，降低方差：

对数乘法再次变加法：

分子与分母展开，只有第一项 $t=1$ 和最后一项 $t=T$ 不同，其它项可以约掉（telescoping sum）：

再做合并与消除简化：

根据双重期望定理 $\mathbb{E}\left[\mathbb{E}\left[X|Y\right]\right]=\mathbb{E}[X]$：

根据 KL 散度的定义 $D_{KL}(p\|q) = \mathbb{E}_p\left[\log \frac{p}{q}\right]$，最终得到：

其中 $L_T$ 不依赖于参数 $\theta$，可视为常数项。最大化 $L_0$ 表示所有样本在 $t=1$ 时预测的高斯分布 $\mathcal{N}\left(\mathbf{x}_0;\boldsymbol{\mu}_\theta\left(\mathbf{x}_1,1\right),\sigma_1^2\mathbf{I}\right)$ 围绕 $x_0^i$ 特定区间 $[\sigma_-\left(x_0^i\right),\sigma_+\left(x_0^i\right)]$ 累积分布质量总和最大，也就是优化高斯分布中心部分（均值 $\boldsymbol{\mu}_\theta\left(\mathbf{x}_1,1\right)$）与 $x_0^i$ 对齐。

$L_{t-1}=D_{\mathrm{KL}}\left(q\left(\mathbf{x}_{t-1}\middle|\mathbf{x}_t,\mathbf{x}_0\right)\parallel p_\theta\left(\mathbf{x}_{t-1}\middle|\mathbf{x}_t\right)\right)$ 表示真实后验分布与模型预测分布之间的 KL 散度。我们的目标是让模型学习的逆向过程尽可能逼近真实的后验分布。

真实后验分布（已知 $\mathbf{x}_0$ 和 $\mathbf{x}_t$ 时 $\mathbf{x}_{t-1}$ 的条件分布）为：

模型预测的逆向分布采样公式（需要学习的分布）为：

由于两者都是高斯分布，我们可以利用高斯分布 KL 散度的解析形式来计算：

简化的损失函数：预测噪声¶

因为 $\beta_t$ 是提前定制的,所以我在计算损失中我们不考虑方差。在损失函数最小化过程中我们只关心均值,不仅如此,我们实际上是预测噪声 $\boldsymbol{\epsilon}$:

最终发现忽略权重结果更好,这不再是对数似然的变分下界。

DDPM 训练算法¶

DDPM 采样算法（根据逆向分布采样公式）¶

其中 $\sigma_t = \sqrt{\frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t} \cdot \beta_t}$ 是逆向过程的噪声标准差。

训练算法的核心思想是：对于每个训练样本，随机选择一个时间步 $t$，然后根据前向过程公式生成加噪样本 $\mathbf{x}_t$，并训练神经网络预测添加的噪声 $\boldsymbol{\epsilon}$。

采样算法则从纯噪声 $\mathbf{x}_T$ 开始，通过迭代地应用学习到的去噪函数，逐步恢复出原始样本 $\mathbf{x}_0$。

图像生成的扩散模型¶

扩散加速：去噪扩散隐式模型（DDIM）¶

当采用基于逆向扩散过程的马尔可夫链DDPM生成样本时，由于迭代次数可达几千步，生成速度相对较慢。为了加速采样，去噪扩散隐式模型(Denoising Diffusion Implicit Models, DDIM）提出了一类更高效的迭代隐式概率模型。

马尔可夫 vs 非马尔可夫：为什么 DDIM 可以跳步？¶

DDPM（马尔可夫过程）的限制：

在 DDPM 中，正向扩散过程定义为马尔可夫链，即 $\mathbf{x}_t$ 仅依赖于 $\mathbf{x}_{t-1}$：

这意味着：给定 $\mathbf{x}_{t-1}$，$\mathbf{x}_0$ 不提供关于 $\mathbf{x}_t$ 的额外信息——这就是马尔可夫性质（“无记忆性”）。因此，逆向生成过程必须严格逐步进行：$\mathbf{x}_T \to \mathbf{x}_{T-1} \to \cdots \to \mathbf{x}_1 \to \mathbf{x}_0$，无法跳过任何中间步骤。

DDIM（非马尔可夫过程）的突破：

DDIM 重新定义了正向过程，使 $\mathbf{x}_t$ 同时依赖于 $\mathbf{x}_{t-1}$ 和 $\mathbf{x}_0$：

关键在于：DDIM 构造的联合分布保持与 DDPM 相同的边际分布 $q(\mathbf{x}_t|\mathbf{x}_0)$，但转移过程 $q(\mathbf{x}_t|\mathbf{x}_{t-1}, \mathbf{x}_0)$ 是确定性的（或半确定性的）。由于过程"记住"了起点 $\mathbf{x}_0$，打破了马尔可夫的"无记忆性"。

为什么非马尔可夫允许跳步？

由于 DDPM 的训练目标仅依赖于边际分布 $q(\mathbf{x}_t|\mathbf{x}_0)$（描述在时刻 $t$ 添加了多少噪声），而不是整个轨迹的联合分布 $q(\mathbf{x}_{1:T}|\mathbf{x}_0)$，DDIM 可以：

1. 复用相同的预训练模型：神经网络 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)$ 只需从 $\mathbf{x}_t$ 预测噪声，不关心具体的采样路径。

2. 在任意子序列上采样：逆向过程可以定义在时间步的子集 $\tau_1, \tau_2, \ldots, \tau_S$（其中 $S \ll T$）上。

3. 直接跳跃：DDIM 的更新公式显式利用预测的 $\hat{\mathbf{x}}_0$，本质上是说：“我知道当前位置 $\mathbf{x}_t$，我有对目标 $\hat{\mathbf{x}}_0$ 的估计，我可以沿着这条线跳到任意中间点 $\mathbf{x}_s$（$s < t$）。”

DDIM 推导¶

接下来将可控噪声（标准偏差为 $\sigma_t$）引入到逆向生成过程（从 $\mathbf{x}_t$ 采样 $\mathbf{x}_{t-1}$）。构建一个可训练的生成过程 $p_\theta(\mathbf{x}_{0:T})$，其中每个 $p_\theta^{(t)}(\mathbf{x}_{t-1}|\mathbf{x}_t)$ 通过计算条件概率 $q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t,\mathbf{x}_0)$ 获得。在推断时，给定一个噪声样本 $\mathbf{x}_t$，运用神经网络对原样本进行预测 $\hat{\mathbf{x}}_0=f_\theta^{(t)}(\mathbf{x}_t)$，然后再通过逆向条件分布 $q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t,\hat{\mathbf{x}}_0)$ 获得样本 $\mathbf{x}_{t-1}$。