🚧 抄书之前 现在Diffusion Model一帮大佬们都在从SDE的视角看待这个东西, 因此有必要补充一下SDE的相关知识, 这个文章就是笔者为了避免读书睡着进行的一个书的抄 主要内容 首先我们来进行一个目录的抄, 我们从第四章开始: 第二章线性常微分方程的解法 伊藤积分和SDE 概率分布和SDEs的一些统计量 LinearSDEs的一些统计量 SDEs的一些有用的定理和公式 SDEs的数值模拟 NonlinearSDEs的一些近似 滤波和光滑化的理论 SDE模型的参数估计 SDE在Machine Learning中的应用 计划两周内把这本书的内容学抄完 ODE的对SDE有借鉴意义的解法 我们考虑广义的线性常微分方程(General Linear Differential Equations)(齐次的): $$ \frac{\mathrm{d} \mathbf{x}}{\mathrm{d} t}=\mathbf{F}(t) \mathbf{x}, \quad \mathbf{x}\left(t_{0}\right)=\text { given } $$ 我们定义$\mathbf{x}$的一个过渡矩阵transition matrix$\boldsymbol{\Psi}\left(t, t_{0}\right)$满足如下的性质 $$ \begin{aligned} \frac{\partial \boldsymbol{\Psi}(\tau, t)}{\partial \tau} &=\mathbf{F}(\tau) \boldsymbol{\Psi}(\tau, t), \\ \frac{\partial \boldsymbol{\Psi}(\tau, t)}{\partial t} &=-\boldsymbol{\Psi}(\tau, t) \mathbf{F}(t), \\ \boldsymbol{\Psi}(\tau, t) &=\boldsymbol{\Psi}(\tau, s) \boldsymbol{\Psi}(s, t) \\ \boldsymbol{\Psi}(t, \tau) &=\boldsymbol{\Psi}^{-1}(\tau, t) \\ \boldsymbol{\Psi}(t, t) &=\mathbf{I} \end{aligned} $$ 通常来说$\boldsymbol{\Psi}\left(t, t_{0}\right)$没有通用的闭形式. 如果我们有了齐次ODE的解了的话, 我们可以对非齐次的如下形式的方程: $$ \frac{\mathrm{d} \mathbf{x}}{\mathrm{d} t}=\mathbf{F}(t) \mathbf{x}+\mathbf{L}(t) \mathbf{w}(t), \quad \mathbf{x}\left(t_{0}\right)=\text { given } $$ 有如下形式的解: $$ \mathbf{x}(t)=\boldsymbol{\Psi}\left(t, t_{0}\right) \mathbf{x}\left(t_{0}\right)+\int_{t_{0}}^{t} \boldsymbol{\Psi}(t, \tau) \mathbf{L}(\tau) \mathbf{w}(\tau) \mathrm{d} \tau $$ 这样形式的表达对于之后SDE的求解具有一定的借鉴意义. 伊藤积分和SDE 这一章里先从积分的角度看SDEs, 之后推出了针对SDE的伊藤积分,之后在导出了微分形式, 关键的伊藤公式, 最后讨论了Linear SDEs的解法. 形式上, 伊藤积分的自变量满足这样的微分形式: $$ \frac{\mathrm{d} \mathbf{x}}{\mathrm{d} t}=\mathbf{f}(\mathbf{x}, t)+\mathbf{L}(\mathbf{x}, t) \mathbf{w}(t) $$ 我们对两侧做积分: $$ \mathbf{x}(t)-\mathbf{x}\left(t_{0}\right)=\int_{t_{0}}^{t} \mathbf{f}(\mathbf{x}(t), t) \mathrm{d} t+\int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathbf{w}(t) \mathrm{d} t $$ 其中$\mathbf{w}(t)$是zero white Gaussian process.是一个几乎处处不连续的函数 我们考虑将$\mathbf{w}(t) \mathrm{d} t$写成布朗运动的形式$\mathrm{d} \mathbf{\beta}(t)$从而试图对第二项应用高级的Stieltjes 和 Lebesgue积分. 我们的有问题的积分形式上变为了 $$ \int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathbf{w}(t) \mathrm{d} […]
