高斯无向图模型

1 minute read

Published: November 01, 2021

高斯无向图模型是一种重要的概率图模型，与多元高斯分布的各种性质也密切相关。

高斯无向图将变量之间用多元高斯分布建模，此时变量之间的相关关系等价于分析其协方差矩阵。

关于概率图模型的简要介绍，可以移步至概率图模型

Conditional Distribution of Gaussian

首先推导多元高斯分布的条件分布，

$\begin{align} \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} \sim \mathcal{N} \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix} , \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix} \end{align}$

对其进行Schur补变换，

$\begin{align} \begin{pmatrix} I & O \\ -\Sigma_{21}\Sigma_{11}^{-1} & I \end{pmatrix} \begin{pmatrix} X_1 - \mu_1\\ X_2 - \mu_2 \end{pmatrix} &\sim \mathcal{N} \begin{pmatrix} X_1 - \mu_1 \\ (X_2-\mu_2) - \Sigma_{21}\Sigma_{11}^{-1}(X_1 - \mu_1) \end{pmatrix} , \begin{pmatrix} \Sigma_{11} & O \\ O & \Sigma_{22-1} \end{pmatrix} \\ \text{With Schur Complement }\Sigma_{22-1} &= \Sigma_{22} - \Sigma_{21} \Sigma_{11}^{-1}\Sigma_{21} \end{align}$

据此可以得到条件分布，

$\begin{align} X_2 \vert X_1 &\sim \mathcal{N}(\mu_{2-1}, \Sigma_{22-1}) \\ \text{With } \mu_{2-1} &= u_2+ \Sigma_{12} \Sigma_{22}^{-1}(x_1- \mu_1) \end{align}$

根据上述结论，可以得到高斯无向图模型中的独立性判定。

Global Independent

全局的独立性只需要对协方差矩阵进行分析即可，用到了高斯分布不相关和独立等价的结论，可以用矩母函数证明，此处直接用该结论：

$\begin{align} X_i \perp X_j \text{ Iff } \Sigma_{ij} = 0 \end{align}$

Local Independent

局部独立性也称为Markov性质,刻画了给定其余所有变量之后两个变量的条件独立性，

$X_i \perp X_j, \text{Given All } X \ne X_i,X_j \text{ Iff } \Theta_{ij} = 0,\text{With } \Theta = \Sigma^{-1}$

其中，矩阵 $\Theta$ 为协方差矩阵 $\Sigma$ 的逆矩阵，也被称为精度矩阵或浓度矩阵（Precision Matrix，Concentration Matrix）。

证明用到上述两个矩阵的关系，

$\begin{align} \begin{pmatrix} \Theta_{11} & \Theta_{12} \\ \Theta_{21} & \Theta_{22} \end{pmatrix} = \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}^{-1} \end{align}$

利用上述Schur补中的合同变换，可以得到，

$\begin{align} \Theta_{11}^{-1} &= \Sigma_{11-2} \\ \Theta_{22}^{-1} &= \Sigma_{22-1} \end{align}$

而此时关于 $i,j$ 的条件协方差矩阵为 $2 \times 2$ 矩阵，可以算出其逆矩阵并且得到结论，

$X_i \perp X_j, \text{Given All } X \ne X_i,X_j \text{ Iff } \Theta_{ij} = 0$

Conditional Expectation

如果已知除了 $X_i$ 以外其他所有变量的分布，可以对 $X_i$ 进行预测，此时可以使用条件分布的均值进行预测。

$\begin{align} \begin{pmatrix} \Theta_{11} & \Theta_{12} \\ \Theta_{21} & \Theta_{22} \end{pmatrix} \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix} = I \end{align}$

应用矩阵分块运算，

$\begin{align} \Theta_{11} \Sigma_{11} + \Theta_{12} \Sigma_{21} &= I \\ \Theta_{11} \Sigma_{12} + \Theta_{12} \Sigma_{22} &= O \\ \Theta_{21} \Sigma_{11} + \Theta_{22} \Sigma_{21} &= O \\ \Theta_{21} \Sigma_{12} + \Theta_{22} \Sigma_{22} &= I \\ \end{align}$

提取我们关心的部分，

$\Sigma_{21} \Sigma_{11}^{-1} = - \Theta_{22}^{-1} \Theta_{21}$

而对于 $X_i$ 的条件分布的上述部分，有明显的含义，代入可以得到，

$\begin{align} E[X_i \vert X \ne X_i] &= u_i+ \Sigma_{12} \Sigma_{22}^{-1}(X- \mu) \\ &= \mu_i - \Theta_{22}^{-1} \Theta_{21}(X- \mu) \\ &= \mu_i - \frac{\sum_k \theta_{ik} (X_k - \mu_k)}{\theta_{ii}} \end{align}$

也即只需要关注 $\theta_{ik}$ 中的非零部分，对其进行线性组合即可，由于在现实数据中该矩阵通常为稀疏矩阵，上述性质在实际问题的计算中非常有用。

Share on

Twitter Facebook LinkedIn

Lesi Chen (陈乐偲)

高斯无向图模型

Conditional Distribution of Gaussian

Global Independent

Local Independent

Conditional Expectation

Share on

You May Also Enjoy

一致性，随机树，随机森林

代理性，最优性，可学性，一致性

VC维，复杂度，泛化界