Skirrey's Blog

🚧

抄书之前

现在Diffusion Model一帮大佬们都在从SDE的视角看待这个东西, 因此有必要补充一下SDE的相关知识, 这个文章就是笔者为了避免读书睡着进行的一个书的抄

主要内容

首先我们来进行一个目录的抄, 我们从第四章开始:

• 第二章线性常微分方程的解法
• 伊藤积分和SDE
• 概率分布和SDEs的一些统计量
• LinearSDEs的一些统计量
• SDEs的一些有用的定理和公式
• SDEs的数值模拟
• NonlinearSDEs的一些近似
• 滤波和光滑化的理论
• SDE模型的参数估计
• SDE在Machine Learning中的应用

计划两周内把这本书的内容学抄完

ODE的对SDE有借鉴意义的解法

我们考虑广义的线性常微分方程(General Linear Differential Equations)(齐次的):

$$
\frac{\mathrm{d} \mathbf{x}}{\mathrm{d} t}=\mathbf{F}(t) \mathbf{x}, \quad \mathbf{x}\left(t_{0}\right)=\text { given }
$$

我们定义$\mathbf{x}$的一个过渡矩阵transition matrix$\boldsymbol{\Psi}\left(t, t_{0}\right)$满足如下的性质
$$
\begin{aligned}
\frac{\partial \boldsymbol{\Psi}(\tau, t)}{\partial \tau} &=\mathbf{F}(\tau) \boldsymbol{\Psi}(\tau, t), \\
\frac{\partial \boldsymbol{\Psi}(\tau, t)}{\partial t} &=-\boldsymbol{\Psi}(\tau, t) \mathbf{F}(t), \\
\boldsymbol{\Psi}(\tau, t) &=\boldsymbol{\Psi}(\tau, s) \boldsymbol{\Psi}(s, t) \\
\boldsymbol{\Psi}(t, \tau) &=\boldsymbol{\Psi}^{-1}(\tau, t) \\
\boldsymbol{\Psi}(t, t) &=\mathbf{I}
\end{aligned}
$$

通常来说$\boldsymbol{\Psi}\left(t, t_{0}\right)$没有通用的闭形式.

如果我们有了齐次ODE的解了的话, 我们可以对非齐次的如下形式的方程:

$$
\frac{\mathrm{d} \mathbf{x}}{\mathrm{d} t}=\mathbf{F}(t) \mathbf{x}+\mathbf{L}(t) \mathbf{w}(t), \quad \mathbf{x}\left(t_{0}\right)=\text { given }
$$

有如下形式的解:

$$
\mathbf{x}(t)=\boldsymbol{\Psi}\left(t, t_{0}\right) \mathbf{x}\left(t_{0}\right)+\int_{t_{0}}^{t} \boldsymbol{\Psi}(t, \tau) \mathbf{L}(\tau) \mathbf{w}(\tau) \mathrm{d} \tau
$$

这样形式的表达对于之后SDE的求解具有一定的借鉴意义.

伊藤积分和SDE

这一章里先从积分的角度看SDEs, 之后推出了针对SDE的伊藤积分,之后在导出了微分形式, 关键的伊藤公式, 最后讨论了Linear SDEs的解法.

形式上, 伊藤积分的自变量满足这样的微分形式:

$$
\frac{\mathrm{d} \mathbf{x}}{\mathrm{d} t}=\mathbf{f}(\mathbf{x}, t)+\mathbf{L}(\mathbf{x}, t) \mathbf{w}(t)
$$

我们对两侧做积分:

$$
\mathbf{x}(t)-\mathbf{x}\left(t_{0}\right)=\int_{t_{0}}^{t} \mathbf{f}(\mathbf{x}(t), t) \mathrm{d} t+\int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathbf{w}(t) \mathrm{d} t
$$

其中$\mathbf{w}(t)$是zero white Gaussian process.是一个几乎处处不连续的函数

我们考虑将$\mathbf{w}(t) \mathrm{d} t$写成布朗运动的形式$\mathrm{d} \mathbf{\beta}(t)$从而试图对第二项应用高级的Stieltjes 和 Lebesgue积分. 我们的有问题的积分形式上变为了

$$
\int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathbf{w}(t) \mathrm{d} t=\int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathrm{d} \boldsymbol{\beta}(t)
$$

但是不幸的是, 一个相当重要的, 两种积分定义上所必须的积分形式:
$$
\int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathrm{d} \boldsymbol{\beta}=\lim _{n \rightarrow \infty} \sum_{k} \mathbf{L}\left(\mathbf{x}\left(t_{k}^{*}\right), t_{k}^{*}\right)\left[\boldsymbol{\beta}\left(t_{k+1}\right)-\boldsymbol{\beta}\left(t_{k}\right)\right]
$$

其中$t_{k}^{*} \in\left[t_{k}, t_{k+1}\right]$

(右侧)并不存在极限, 因此黎曼积分和勒贝格积分都失效了, 我们需要narrow我们的积分定义, 小心地进行选择, 这样一个定义work的方式就是伊藤积分: 我们令$t_{k}^{*}  = t_{k}$, 经过简单的证明这样的条件下极限是存在的, 于是我们的伊藤积分就定义为如下的形式:

$$
\int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathrm{d} \boldsymbol{\beta}(t)=\lim _{n \rightarrow \infty} \sum_{k} \mathbf{L}\left(\mathbf{x}\left(t_{k}\right), t_{k}\right)\left[\boldsymbol{\beta}\left(t_{k+1}\right)-\boldsymbol{\beta}\left(t_{k}\right)\right]
$$

于是原始的微分方程在伊藤积分的定义下可以写成如下的有意义的形式:

$$
\mathbf{x}(t)-\mathbf{x}\left(t_{0}\right)=\int_{t_{0}}^{t} \mathbf{f}(\mathbf{x}(t), t) \mathrm{d} t+\int_{t_{0}}^{t} \mathbf{L}(\mathbf{x}(t), t) \mathrm{d} \boldsymbol{\beta}(t)
$$

从这里我们可以看出我们为什么不写成更加general的这样的微分形式

$$
\frac{\mathrm{d} \mathbf{x}(t)}{\mathrm{d} t}=\mathbf{f}(\mathbf{x}(t), \mathbf{w}(t), t)
$$

这样的形式中$\mathbf{w}(t)$这个坏形式和别的部分关系过于复杂会导致伊藤积分那样定义的形式也不存在极限. 所以作者说 Therefore, only linear functions of white noise have a meaning, whereas nonlinear functions do not.

伊藤过程 Itô process

指的是满足$\mathrm{d} \mathbf{x}=\mathbf{f}(\mathbf{x}, t) \mathrm{d} t+\mathbf{L}(\mathbf{x}, t) \mathrm{d} \boldsymbol{\beta}$微分形式的随机过程

伊藤公式 Itô Formula

这是跟链式法则同等地位的一个公式

我们考虑$\mathbf{x}(t)$是一个伊藤过程, 它和t的任意一个标量函数$\phi(\mathbf{x}(t), t)$都满足:

$$
\begin{aligned}
\mathrm{d} \phi &=\frac{\partial \phi}{\partial t} \mathrm{~d} t+\sum_{i} \frac{\partial \phi}{\partial x_{i}} \mathrm{~d} x_{i}+\frac{1}{2} \sum_{i, j}\left(\frac{\partial^{2} \phi}{\partial x_{i} \partial x_{j}}\right) \mathrm{d} x_{i} \mathrm{~d} x_{j} \\
&=\frac{\partial \phi}{\partial t} \mathrm{~d} t+(\nabla \phi)^{\top} \mathrm{d} \mathbf{x}+\frac{1}{2} \operatorname{tr}\left\{\left(\nabla \nabla^{\top} \phi\right) \mathrm{d} \mathbf{x} \mathrm{d} \mathbf{x}^{\top}\right\}
\end{aligned}
$$

证明很简单, 只需要证明保存二阶量的理由即可, 这一点是因为$\mathrm{d} \boldsymbol{\beta} \mathrm{d} \boldsymbol{\beta}^{\top}$跟$\mathrm{d} t$是一个order的.

有了伊藤公式, 我们就可以来求解Linear SDEs了!

Linear SDEs的精确求解

我们考虑非齐次的通用形式如下:

$$
\mathrm{d} \mathbf{x}=\mathbf{F}(t) \mathbf{x} \mathrm{d} t+\mathbf{u}(t) \mathrm{d} t+\mathbf{L}(t) \mathrm{d} \boldsymbol{\beta}
$$

同样地, 我们对齐次的方程

$$
\mathrm{d} \mathbf{x}=\mathbf{F}(t) \mathbf{x} \mathrm{d} t
$$

的解用$\boldsymbol{\Psi}\left(t, t_{0}\right)$表达, 之后我们考虑对原始方程两边乘以$\boldsymbol{\Psi}\left(t, t_{0}\right)$并移项, 于是$$
\boldsymbol{\Psi}\left(t_{0}, t\right) \mathrm{d} \mathbf{x}-\boldsymbol{\Psi}\left(t_{0}, t\right) \mathbf{F}(t) \mathbf{x} \mathrm{d} t=\boldsymbol{\Psi}\left(t_{0}, t\right) \mathbf{u}(t) \mathrm{d} t+\boldsymbol{\Psi}\left(t_{0}, t\right) \mathbf{L}(t) \mathrm{d} \boldsymbol{\beta}
$$

我们发现即便是伊藤公式, 左侧我们依然可以化为$\mathrm{d}\left[\boldsymbol{\Psi}\left(t_{0}, t\right) \mathbf{x}\right]$:

$$
\mathrm{d}\left[\boldsymbol{\Psi}\left(t_{0}, t\right) \mathbf{x}\right]=\boldsymbol{\Psi}\left(t_{0}, t\right) \mathbf{u}(t) \mathrm{d} t+\boldsymbol{\Psi}\left(t_{0}, t\right) \mathbf{L}(t) \mathrm{d} \boldsymbol{\beta}
$$

我们在伊藤积分的意义下进行积分于是有:

$$
\begin{aligned}
\boldsymbol{\Psi}\left(t_{0}, t\right) \mathbf{x}(t) &-\boldsymbol{\Psi}\left(t_{0}, t_{0}\right) \mathbf{x}\left(t_{0}\right) \\
&=\int_{t_{0}}^{t} \boldsymbol{\Psi}\left(t_{0}, \tau\right) \mathbf{u}(\tau) \mathrm{d} \tau+\int_{t_{0}}^{t} \boldsymbol{\Psi}\left(t_{0}, \tau\right) \mathbf{L}(\tau) \mathrm{d} \boldsymbol{\beta}(\tau)
\end{aligned}
$$

整理一下有:

$$
\mathbf{x}(t)=\boldsymbol{\Psi}\left(t, t_{0}\right) \mathbf{x}\left(t_{0}\right)+\int_{t_{0}}^{t} \boldsymbol{\Psi}(t, \tau) \mathbf{u}(\tau) \mathrm{d} \tau+\int_{t_{0}}^{t} \boldsymbol{\Psi}(t, \tau) \mathbf{L}(\tau) \mathrm{d} \boldsymbol{\beta}(\tau)
$$

这也就是我们的通解

特别地, 当退化为常系数的时候:

$$
\mathrm{d} \mathbf{x}=\mathbf{F} \mathbf{x} \mathrm{d} t+\mathbf{L} \mathrm{d} \boldsymbol{\beta}
$$

我们可以写出过渡矩阵并有如下的表达式:

$$
\mathbf{x}(t)=\exp \left(\mathbf{F}\left(t-t_{0}\right)\right) \mathbf{x}\left(t_{0}\right)+\int_{t_{0}}^{t} \exp (\mathbf{F}(t-\tau)) \mathbf{L} \mathrm{d} \boldsymbol{\beta}(\tau)
$$

这一章之后讨论了非线性的SDE以及解的存在性和另一种叫Stratonovich的积分(一个有好的chain rule但是没有鞅性的定义), 不在我的关注重点, 讨论的也比较浅, 就不抄了.

SDEs解的概率分布和统计量

这里我们首先引入鞅的定义:

History:

$$
\mathcal{X}_{t}=\{\mathbf{x}(\tau) \mid 0 \leq \tau \leq t\}
$$

鞅 Martingale:

随机过程$\mathbf{x}(t)$ 期望有界, 且满足如下条件时我们称之为鞅

$$
\mathrm{E}\left[\mathbf{x}(t) \mid \mathcal{X}_{s}\right]=\mathbf{x}(s), \quad \text { for all } t \geq s
$$

由于布朗运动是鞅, 所有的伊藤积分都很轻易地构造出一个鞅

Generator:

我们直接考虑比较复杂的, 一个关于$\mathbf{x}(t)$和$t$的函数$\phi$, 我们定义它的Generator为:

$$
\mathcal{A}_{t} \phi(\mathbf{x}, t)=\lim _{s \downarrow 0} \frac{\mathrm{E}[\phi(\mathbf{x}(t+s), t+s)]-\phi(\mathbf{x}(t), t)}{s}
$$

特别地, 若 $\mathbf{x}(t)$满足$\mathrm{d} \mathbf{x}=\mathbf{f}(\mathbf{x}, t) \mathrm{d} t+\mathbf{L}(\mathbf{x}, t) \mathrm{d} \boldsymbol{\beta}$

$$
\begin{aligned}
\mathcal{A}_{t}(\bullet)=\frac{\partial(\bullet)}{\partial t}+\sum_{i} & \frac{\partial(\bullet)}{\partial x_{i}} f_{i}(\mathbf{x}, t) \\
&+\frac{1}{2} \sum_{i, j}\left(\frac{\partial^{2}(\bullet)}{\partial x_{i} \partial x_{j}}\right)\left[\mathbf{L}(\mathbf{x}, t) \mathbf{Q} \mathbf{L}^{\top}(\mathbf{x}, t)\right]_{i j}
\end{aligned}
$$

Fokker-Planck-Kolmogorov 方程

我们记$\mathbf{x}$为满足上面方程的SDE的解, 于是我们有其概率分布满足如下的关系

$$
\begin{aligned}
\frac{\partial p(\mathbf{x}, t)}{\partial t}=&-\sum_{i} \frac{\partial}{\partial x_{i}}\left[f_{i}(\mathbf{x}, t) p(\mathbf{x}, t)\right] \\
&+\frac{1}{2} \sum_{i, j} \frac{\partial^{2}}{\partial x_{i} \partial x_{j}}\left\{\left[\mathbf{L}(\mathbf{x}, t) \mathbf{Q} \mathbf{L}^{\top}(\mathbf{x}, t)\right]_{i j} p(\mathbf{x}, t)\right\}
\end{aligned}
$$

证明比较长, 简单写一下思路

• 第一步是考虑写$\frac{\mathrm{d} \mathrm{E}[\phi]}{\mathrm{d} t}$的表达式, 分别通过$\mathrm{d} \phi$来写和期望的定义来写, 有
• $$\int \phi(\mathbf{x}) \frac{\partial p(\mathbf{x}, t)}{\partial t} \mathrm{~d} \mathbf{x} =\sum_{i} \mathrm{E}\left[\frac{\partial \phi}{\partial x_{i}} f_{i}(\mathbf{x}, t)\right]
  +\frac{1}{2} \sum_{i, j} \mathrm{E}\left[\left(\frac{\partial^{2} \phi}{\partial x_{i} \partial x_{j}}\right)\left[\mathbf{L}(\mathbf{x}, t) \mathbf{Q} \mathbf{L}^{\top}(\mathbf{x}, t)\right]_{i j}\right]$$
• 通过一些技巧我们转变为如下的形式
• $$
  \begin{aligned}
  \int & \phi(\mathbf{x}) \frac{\partial p(\mathbf{x}, t)}{\partial t} \mathrm{~d} \mathbf{x}=-\sum_{i} \int \phi(\mathbf{x}) \frac{\partial}{\partial x_{i}}\left[f_{i}(\mathbf{x}, t) p(\mathbf{x}, t)\right] \mathrm{d} \mathbf{x} \\
  +& \frac{1}{2} \sum_{i, j} \int \phi(\mathbf{x}) \frac{\partial^{2}}{\partial x_{i} \partial x_{j}}\left\{\left[\mathbf{L}(\mathbf{x}, t) \mathbf{Q} \mathbf{L}^{\top}(\mathbf{x}, t)\right]_{i j} p(\mathbf{x}, t)\right\} \mathrm{d} \mathbf{x}
  \end{aligned}
  $$
• 由$\phi$的任意性我们就得到了FPK方程.

从Operator Formulation的角度看FPK Equation

我们定义函数內积

$$
\langle\phi, \varphi\rangle=\int \phi(\mathbf{x}) \varphi(\mathbf{x}) \mathrm{d} \mathbf{x}
$$

于是期望就可以用內积表示$\mathrm{E}[\phi(\mathbf{x}(t))]=\langle\phi, p\rangle$

• 我们由Generator的定义立即能得到
• $$\mathrm{E}[\mathcal{A} \phi] =\frac{\mathrm{d}\mathrm{E}[\phi]}{\mathrm{d} t} $$
• 也就是
• $$\frac{\mathrm{d}}{\mathrm{d} t}\langle\phi, p\rangle=\langle\mathcal{A} \phi, p\rangle$$
• 利用对偶算子我们立刻有
• $$\frac{\mathrm{d}}{\mathrm{d} t}\langle\phi, p\rangle=\left\langle\phi, \mathcal{A}^{*} p\right\rangle$$
• 又由于$\phi$对t的偏导为0, 我们有
• $$
  \left\langle\phi, \frac{\partial p}{\partial t}\right\rangle=\left\langle\phi, \mathcal{A}^{*} p\right\rangle
  $$
• 由$\phi$的任意性我们立即得到
• $$
  \frac{\partial p}{\partial t}=\mathcal{A}^{*} p
  $$

因此我们利用伴随算子的性质立即得到

$$
\begin{aligned}
\mathcal{A}^{*}(\bullet)=-\sum_{i} \frac{\partial}{\partial x_{i}} & {\left[f_{i}(\mathbf{x}, t)(\bullet)\right] } \\
&+\frac{1}{2} \sum_{i, j} \frac{\partial^{2}}{\partial x_{i} \partial x_{j}}\left\{\left[\mathbf{L}(\mathbf{x}, t) \mathbf{Q} \mathbf{L}^{\top}(\mathbf{x}, t)\right]_{i j}(\bullet)\right\}
\end{aligned}
$$

我们搬出来Generator算子本身方便对比:

$$
\begin{aligned}
\mathcal{A}_{t}(\bullet)=\frac{\partial(\bullet)}{\partial t}+\sum_{i} & \frac{\partial(\bullet)}{\partial x_{i}} f_{i}(\mathbf{x}, t) \\
&+\frac{1}{2} \sum_{i, j}\left(\frac{\partial^{2}(\bullet)}{\partial x_{i} \partial x_{j}}\right)\left[\mathbf{L}(\mathbf{x}, t) \mathbf{Q} \mathbf{L}^{\top}(\mathbf{x}, t)\right]_{i j}
\end{aligned}
$$

Markov过程

$\mathbf{x}(t)$是一个Markov过程如果

$$
p\left(\mathbf{x}(t) \mid \mathcal{X}_{s}\right)=p(\mathbf{x}(t) \mid \mathbf{x}(s)), \quad \text { for all } t \geq s
$$

SDE的Transition density

对SDE给定某个时刻的初始状态时, 显然FPK方程依旧成立, 也叫forward Kolmogorov方程, 也就是给定初始状态$\mathbf{x}(s) = \mathbf{y}$时, 满足

$$
\frac{\partial p(\mathbf{x}, t \mid \mathbf{y}, s)}{\partial t}=\mathcal{A}^{*} p(\mathbf{x}, t \mid \mathbf{y}, s), \quad p(\mathbf{x}, s \mid \mathbf{y}, s)=\delta(\mathbf{x}-\mathbf{y})
\quad t \ge s$$

既然有了forward Kolmogorov方程, 显然也会有backward Kolmogorov方程

$$
-\frac{\partial p(\mathbf{y}, t \mid \mathbf{x}, s)}{\partial s}=\mathcal{A} p(\mathbf{y}, t \mid \mathbf{x}, s), \quad p(\mathbf{y}, s \mid \mathbf{x}, s)=\delta(\mathbf{y}-\mathbf{x})
$$

证明直接对函数$p(\mathbf{y}, t \mid \mathbf{x}, s)$应用伊藤公式立即得到.

SDEs相关的均值和方差

求取期望之后, 我们很容易得到均值和方差分别为

$$
\begin{aligned}
\frac{\mathrm{d} \mathbf{m}}{\mathrm{d} t}=& \mathrm{E}[\mathbf{f}(\mathbf{x}, t)] \\
\frac{\mathrm{d} \mathbf{P}}{\mathrm{d} t}=& \mathrm{E}\left[\mathbf{f}(\mathbf{x}, t)(\mathbf{x}-\mathbf{m})^{\top}\right]+\mathrm{E}\left[(\mathbf{x}-\mathbf{m}) \mathbf{f}^{\top}(\mathbf{x}, t)\right] \\
&+\mathrm{E}\left[\mathbf{L}(\mathbf{x}, t) \mathbf{Q} \mathbf{L}^{\top}(\mathbf{x}, t)\right]
\end{aligned}
$$

特别地, 对方差我们也可以写成中心的形式

$$
\begin{aligned}
\frac{\mathrm{d} \mathbf{P}}{\mathrm{d} t}=& \mathrm{E}\left[(\mathbf{f}(\mathbf{x}, t)-\mathrm{E}[\mathbf{f}(\mathbf{x}, t)])(\mathbf{x}-\mathbf{m})^{\top}\right] \\
&+\mathrm{E}\left[(\mathbf{x}-\mathbf{m})(\mathbf{f}(\mathbf{x}, t)-\mathrm{E}[\mathbf{f}(\mathbf{x}, t)])^{\top}\right] \\
&+\mathrm{E}\left[\mathbf{L}(\mathbf{x}, t) \mathbf{Q} \mathbf{L}^{\top}(\mathbf{x}, t)\right]
\end{aligned}
$$

我们也可以表达出更高阶的矩, 通过令$\phi(x)=x^n$, 并对伊藤公式求期望得到

$$
\frac{\mathrm{d} \mathrm{E}\left[x^{n}\right]}{\mathrm{d} t}=n \mathrm{E}\left[x^{n-1} f(x, t)\right]+\frac{q}{2} n(n-1) \mathrm{E}\left[x^{n-2} L^{2}(x)\right]
$$

Linear SDEs的统计量

我们将专门讨论形如下方的Linear SDEs的统计量:

$$
\mathrm{d} \mathbf{x}=\mathbf{F}(t) \mathbf{x} \mathrm{d} t+\mathbf{u}(t) \mathrm{d} t+\mathbf{L}(t) \mathrm{d} \boldsymbol{\beta}
$$

我们将上一章的公式特化发现Linear SDEs的均值和方差是有closed-form的:

$$
\begin{aligned}
&\frac{\mathrm{d} \mathbf{m}}{\mathrm{d} t}=\mathbf{F}(t) \mathbf{m}+\mathbf{u}(t) \\
&\frac{\mathrm{d} \mathbf{P}}{\mathrm{d} t}=\mathbf{F}(t) \mathbf{P}+\mathbf{P} \mathbf{F}^{\top}(t)+\mathbf{L}(t) \mathbf{Q} \mathbf{L}^{\top}(t)
\end{aligned}
$$

考虑我们其实是有用transition matrix表示过Linear SDEs的解:

$$
\begin{aligned}
\mathbf{m}(t)=& \boldsymbol{\Psi}\left(t, t_{0}\right) \mathbf{m}\left(t_{0}\right)+\int_{t_{0}}^{t} \boldsymbol{\Psi}(t, \tau) \mathbf{u}(\tau) \mathrm{d} \tau \\
\mathbf{P}(t)=& \boldsymbol{\Psi}\left(t, t_{0}\right) \mathbf{P}\left(t_{0}\right) \boldsymbol{\Psi}^{\top}\left(t, t_{0}\right) \\
&+\int_{t_{0}}^{t} \boldsymbol{\Psi}(t, \tau) \mathbf{L}(\tau) \mathbf{Q} \mathbf{L}^{\top}(\tau) \boldsymbol{\Psi}^{\top}(t, \tau) \mathrm{d} \tau,
\end{aligned}
$$

除了这样的形式化的解之外我们也可以用解ode的方式获得解. 并且由于Linear SDEs的解是高斯过程, 因此我们到二阶的矩就已经足够表征这个随机过程了. 我们已经拿到了某个时刻的状态之后, 我们可以写出这样的条件均值和方差:

$$
\begin{aligned}
&\mathbf{m}(t \mid s)=\boldsymbol{\Psi}(t, s) \mathbf{x}(s)+\int_{s}^{t} \boldsymbol{\Psi}(t, \tau) \mathbf{u}(\tau) \mathrm{d} \tau \\
&\mathbf{P}(t \mid s)=\int_{s}^{t} \boldsymbol{\Psi}(t, \tau) \mathbf{L}(\tau) \mathbf{Q} \mathbf{L}^{\top}(\tau) \boldsymbol{\Psi}^{\top}(t, \tau) \mathrm{d} \tau .
\end{aligned}
$$

又由于高斯过程仅与均值方差有关, 我们有了转移的均值和方差, 就能离散采一些时间点, 对上述的连续方程做离散化如下:

$$
\mathbf{x}\left(t_{k+1}\right)=\mathbf{A}_{k} \mathbf{x}\left(t_{k}\right)+\mathbf{u}_{k}+\mathbf{q}_{k}, \quad \mathbf{q}_{k} \sim \mathrm{N}\left(\mathbf{0}, \boldsymbol{\Sigma}_{k}\right)
$$

其中

$$
\begin{aligned}
&\mathbf{A}_{k} \triangleq \boldsymbol{\Psi}\left(t_{k+1}, t_{k}\right) \\
&\mathbf{u}_{k} \triangleq \int_{t_{k}}^{t_{k+1}} \boldsymbol{\Psi}\left(t_{k+1}, \tau\right) \mathbf{u}(\tau) \mathrm{d} \tau \\
&\boldsymbol{\Sigma}_{k} \triangleq \boldsymbol{\Sigma}\left(t_{k+1}, t_{k}\right)=\int_{t_{k}}^{t_{k+1}} \boldsymbol{\Psi}\left(t_{k+1}, \tau\right) \mathbf{L}(\tau) \mathbf{Q} \mathbf{L}^{\top}(\tau) \boldsymbol{\Psi}^{\top}\left(t_{k+1}, \tau\right) \mathrm{d} \tau
\end{aligned}
$$

Linear 时不相关 SDEs

我们去掉时间, 进一步化简:

$$
\mathrm{d} \mathbf{x}=\mathbf{F} \mathbf{x} \mathrm{d} t+\mathbf{L} \mathrm{d} \boldsymbol{\beta}
$$

这样的方程是直接可解的, 解是:

$$
\begin{aligned}
\mathbf{m}(t)=& \exp \left(\mathbf{F}\left(t-t_{0}\right)\right) \mathbf{m}\left(t_{0}\right) \\
\mathbf{P}(t)=& \exp \left(\mathbf{F}\left(t-t_{0}\right)\right) \mathbf{P}\left(t_{0}\right) \exp \left(\mathbf{F}\left(t-t_{0}\right)\right)^{\top} \\
&+\int_{t_{0}}^{t} \exp (\mathbf{F}(t-\tau)) \mathbf{L} \mathbf{Q} \mathbf{L}^{\top} \exp (\mathbf{F}(t-\tau))^{\top} \mathrm{d} \tau
\end{aligned}
$$

转移密度和对应的离散形式也都是有确定的解:

$$
p(\mathbf{x}(t) \mid \mathbf{x}(s))=\mathrm{N}(\mathbf{x}(t) \mid \mathbf{m}(t \mid s), \mathbf{P}(t \mid s))
$$
where
$$
\begin{aligned}
&\mathbf{m}(t \mid s)=\exp (\mathbf{F}(t-s)) \mathbf{x}(s) \\
&\mathbf{P}(t \mid s)=\int_{s}^{t} \exp (\mathbf{F}(t-\tau)) \mathbf{L} \mathbf{Q} \mathbf{L}^{\top} \exp (\mathbf{F}(t-\tau))^{\top} \mathrm{d} \tau
\end{aligned}
$$

对应的离散形式

$$
\mathbf{x}\left(t_{k+1}\right)=\mathbf{A}_{k} \mathbf{x}\left(t_{k}\right)+\mathbf{q}_{k}, \quad \mathbf{q}_{k} \sim \mathrm{N}\left(\mathbf{0}, \boldsymbol{\Sigma}_{k}\right)
$$

$$
\begin{aligned}
&\text { where } \Delta t_{k}=t_{k+1}-t_{k} \text { and }\\
&\mathbf{A}_{k} \triangleq \mathbf{A}\left(\Delta t_{k}\right)=\exp \left(\mathbf{F} \Delta t_{k}\right),\\
&\boldsymbol{\Sigma}_{k} \triangleq \boldsymbol{\Sigma}\left(\Delta t_{k}\right)=\int^{\Delta t_{k}} \exp \left(\mathbf{F}\left(\Delta t_{k}-\tau\right)\right) \mathbf{L} \mathbf{Q} \mathbf{L}^{\top} \exp \left(\mathbf{F}\left(\Delta t_{k}-\tau\right)\right)^{\top} \mathrm{d} \tau
\end{aligned}
$$