DDIM (Denoising Diffusion Implicit Model)
Published:
Paper Reading: Denoising diffusion implicit models.
文章介绍 Denoising Diffusion Implicit Model (DDIM),以图片生成为例。
给定一张图片 $x_0$, 采用一个加噪的过程将其变为Guassian分布：
\[\begin{align*} x_T \mid x_0 & \sim \mathcal{N}( \sqrt{\bar \alpha_T} x_0, (1- \bar \alpha_T) I ). \end{align*}\]令 $\bar \alpha_T \rightarrow 0$ 我们知道 $x_T \mid x_0 \sim \mathcal{N}(0,I)$. 得到了一个纯噪声。
在DDPM中，假设 $x_t $ 的分布只依赖于 $x_{t_1}$, 也即 $x_t \mid x_{t-1} \sim \mathcal{N}(\sqrt{\alpha_t} x_{t-1}, (1- \alpha_t) I)$, 其中$\alpha_t = \bar \alpha_t /\bar \alpha_{t-1}$.
在本文中，采用不同的后向分布模型，不假设如DDPM中一样的Markov性质，而是假设该分布可以依赖于 $x_0$
\[\begin{align*} x_{t-1} \mid x_t,x_0 = A x_0 + B x_t. \end{align*}\]其中 $A,B$ 为待定参数。解出上述系数后可以得到
\[\begin{align*} x_{t-1} \mid x_t, x_0 = \sqrt{\bar \alpha_{t-1}} x_0 + \frac{\sqrt{1 - \bar \alpha_{t-1}}}{\sqrt{1- \bar \alpha_t}} \left( x_t - \sqrt{\bar \alpha_t} x_0 \right). \end{align*}\]这样的后向过程是确定性的过程。
这样对应的存在一个前向过程， $p(x_t \mid x_{t-1},x_0)$, 该过程可以根据Bayes公式确定
\[\begin{align*} p(x_t \mid x_{t-1}, x_0) = \frac{p( x_{t-1} \mid x_t,x_0 ) p (x_t \mid x_0)}{p (x_{t-1} \mid x_0)}. \end{align*}\]与DDPM中的模型不同，该前向过程不满足Markov性质。
但回顾DDPM中的训练目标，训练过程中只用到了给定 $x_0$ 的情况下 $x_t$ 为Guassian分布，因此DDIM和DDPM应当具有完全相同的训练过程，但是由于DDIM中对应的后向过程为确定性过程，因此给定一个训练好的DDPM给出对于 $x_0$ 的预测 $\hat x_0$, 可以直接得到 $x_{t-1}$ 的估计或者更近一步 $x_{t-n}$ 的估计，这可以根据迭代公式唯一确定下来。这就使得相应的推断过程可以实现跳步的功能，从而达到加速采样的效果
与DDPM相比，DDIM打破了模型原来前向模型的Markov假设，却找到了一个特定的后向模型，使得该后向过程为确定性过程，这就使得后向过程的进行并不需要每一步进行采样，从而允许进行跳步缩短了后向过程的时间。