Skirrey's Blog

🚧 抄书之前 现在Diffusion Model一帮大佬们都在从SDE的视角看待这个东西, 因此有必要补充一下SDE的相关知识, 这个文章就是笔者为了避免读书睡着进行的一个书的抄 主要内容 首先我们来进行一个目录的抄, 我们从第四章开始: 第二章线性常微分方程的解法 伊藤积分和SDE 概率分布和SDEs的一些统计量 LinearSDEs的一些统计量 SDEs的一些有用的定理和公式 SDEs的数值模拟 NonlinearSDEs的一些近似 滤波和光滑化的理论 SDE模型的参数估计 SDE在Machine Learning中的应用 计划两周内把这本书的内容学抄完 ODE的对SDE有借鉴意义的解法 我们考虑广义的线性常微分方程(General Linear Differential Equations)(齐次的): $$ \frac{\mathrm{d} \mathbf{x}}{\mathrm{d} t}=\mathbf{F}(t) \mathbf{x}, \quad \mathbf{x}\left(t_{0}\right)=\text { given } $$ 我们定义$\mathbf{x}$的一个过渡矩阵transition matrix$\boldsymbol{\Psi}\left(t, t_{0}\right)$满足如下的性质 $$ \begin{aligned} \frac{\partial \boldsymbol{\Psi}(\tau, t)}{\partial \tau} &=\mathbf{F}(\tau) \boldsymbol{\Psi}(\tau, t), \\ \frac{\partial \boldsymbol{\Psi}(\tau, t)}{\partial t} &=-\boldsymbol{\Psi}(\tau, t) \mathbf{F}(t), \\ \boldsymbol{\Psi}(\tau, t) &=\boldsymbol{\Psi}(\tau, s) \boldsymbol{\Psi}(s, t) \\ \boldsymbol{\Psi}(t, \tau) &=\boldsymbol{\Psi}^{-1}(\tau, t) \\ \boldsymbol{\Psi}(t, t) &=\mathbf{I} \end{aligned} $$ 通常来说$\boldsymbol{\Psi}\left(t, t_{0}\right)$没有通用的闭形式. 如果我们有了齐次ODE的解了的话, 我们可以对非齐次的如下形式的方程: $$ \frac{\mathrm{d} \mathbf{x}}{\mathrm{d} t}=\mathbf{F}(t) \mathbf{x}+\mathbf{L}(t) \mathbf{w}(t), \quad \mathbf{x}\left(t_{0}\right)=\text { given } $$ 有如下形式的解: $$ \mathbf{x}(t)=\boldsymbol{\Psi}\left(t, t_{0}\right) \mathbf{x}\left(t_{0}\right)+\int_{t_{0}}^{t} \boldsymbol{\Psi}(t, \tau) \mathbf{L}(\tau) \mathbf{w}(\tau) \mathrm{d} \tau $$ 这样形式的表达对于之后SDE的求解具有一定的借鉴意义. 伊藤积分和SDE 这一章里先从积分的角度看SDEs, 之后推出了针对SDE的伊藤积分,之后在导出了微分形式, 关键的伊藤公式, 最后讨论了Linear SDEs的解法. 形式上, 伊藤积分的自变量满足这样的微分形式: $$ \frac{\mathrm{d} \mathbf{x}}{\mathrm{d} t}=\mathbf{f}(\mathbf{x}, t)+\mathbf{L}(\mathbf{x}, t) \mathbf{w}(t) $$ 我们对两侧做积分: $$ \mathbf{x}(t)-\mathbf{x}\left(t_{0}\right)=\int_{t_{0}}^{t} \mathbf{f}(\mathbf{x}(t), t) \mathrm{d} t+\int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathbf{w}(t) \mathrm{d} t $$ 其中$\mathbf{w}(t)$是zero white Gaussian process.是一个几乎处处不连续的函数 我们考虑将$\mathbf{w}(t) \mathrm{d} t$写成布朗运动的形式$\mathrm{d} \mathbf{\beta}(t)$从而试图对第二项应用高级的Stieltjes 和 Lebesgue积分. 我们的有问题的积分形式上变为了 $$ \int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathbf{w}(t) \mathrm{d} […]

🚧 Background 由于本科学的抽代和现在学的都是中文授课的内容,因此在这篇文章中我将搞一搞中英对照,同时希望抄一抄定义可以让自己记得更加清楚一点. Group 这部分的定义和定理都比较多, 因为给定的东西比较少, 本身Group的理论用很少的东西构建起这么多的东西就很神奇, 因此这部分也比较复杂, 一些定理我也计划抄一下证明. Basic Definition 设$G$是一个非空集合, 在$G$上定义了一个二元运算$\cdot$满足 封闭律: $ \forall a, b \in G, a \cdot b \in G$ 结合律: $\forall a, b, c \in G, (a\cdot b)\cdot c = a\cdot (b\cdot c)$ 幺元: $\exists e \in G, \forall a \in G, ea = ae = a$ 逆元: $\forall a \in G, \exists a^{-1} \in G, aa^{-1} = a^{-1} a = e$ 交换律: $\forall a, b \in G, ab=ba$ 定义: 半群(semigroup): 设G是一个非空集合, 满足上面的1, 2 定义:含幺半群(monoid): 设G是一个非空集合, 满足上面的1, 2, 3 定义: 群(group): 设G是一个非空集合, 满足上面的1, 2, 3, 4 定义: 可换群, 交换群, 阿贝尔群(abelian group, commutative group): 设G是一个非空集合, 满足上面的1, 2, 3, 4, 5 定义: 群的阶(order): 群元素的个数 定义:左单位元(left identity)和右单位元(right identity)在半群 left identity: 元素$e_L$, $\forall a \in G, e_L a = a$. right identity: 元素$e_R$, $\forall a \in G, a e_R = a$. 定理: 若半群同时有左单位元和右单位元, 则他们相等, 且是唯一的单位元 定义: 左逆元(left inverse)和右逆元(right inverse)在含幺半群 left inverse: 若存在$a_L^{-1}$使得$a_L^{-1}a = e$ right inverse: 若存在$a_R^{-1}$使得$aa_R^{-1} = […]