ConsitencyModel

论文链接：[2303.01469] Consistency Models (arxiv.org) diffusers：Latent Consistency Distillation (huggingface.co)

假定$p_{data}(x)$表示数据集的分布，diffusion model首先diffusing$p_{data}(x)$，利用一个SDE(stochastic differential equation):

$$ dx_t=\mu(x_t, t)dt+\rho(t)dw_t \tag{1} $$

其中$t\in[0,T],T>0$是一个常数，$\mu(\cdot,\cdot)$ 和$\rho(\cdot)$是偏移(drift)和扩散(diffusion)系数，并且$\{w_t\}_{t\in[0, T]}$表示标准的布朗运动(standard Brownian motion)。我们描述$x_t$的分布为$p_t(x)$所以$p_0(x)\equiv p_{data}(x)$。这个SDE很重要的一点是，拥有常微分方程(ODE)，称为Probability Flow (PF) ODE1，其在$t$处的解路径为：

$$ dx_t=[\mu(x_{t}, t) - \frac{1}{2}\rho(t)^{2}\nabla logp_{t}(x_{t})]dt \tag{2} $$

其中$\nabla logp_{t}(x)$就是$p_{t}(x)$的score function，所以diffusion model也就是一种score-based generative model。通常公式$(1)$中的SDE被设置为$p_{T}(x)$接近于一个比较好处理的高斯分布$\pi(x)$，这里采用了$\mu(x,t)=0,\rho(t)=\sqrt{2t}$的设置。这样，$p_{t}(x)=p_{data}(x)\otimes \mathcal{N}(0, t^{2}I)$

疑问

  1. zero-shot data editing是什么意思：
  2. diffusion model实际就是一种score-based generative models
  3. 如何理解Probability Flow ODE:ODE图解#inl ODE图解#inl

  1. Score-based generative modeling through stochastic differential equations. ↩︎