假设我们有数据N个样本，每个样本都是一个p维数据，

此处xi是p维，每个x都是独立同分布的，服从高纬的高斯分布。

我们假设参数θ 是固定的，那我们就可以通过最大似然估计来求 θ

先来看最简单的情形，每个数据都是一维：

分别求两个参数的极值

下面解释两个非常重要的概念：有偏估计和无偏估计。

我们预估样本的均值就是总体的均值

样本的方差比真实的误差小了。

下面我们来看高维分布：

其中 Σ 是正定，或半正定矩阵【浅谈正定矩阵和半正定矩阵】

称为马氏距离，具体的含义如下：

我们来看当p=2维，协方差矩阵为单位矩阵

则马氏距离就是欧式距离，下面来具体看马氏距离的含义：

因为 Σ 是正定矩阵，我们可以将其分解为如下形式:

接着我们定义，

物理含义：x向量在ui方向上的投影，于是有：

我们以二维空间来解释上面的式子的含义：

我们知道 p(x) ~ N(u, Σ) 的高斯分布，p(x)在0-1之间，那对于不同的p(x) 的取值，我们都会算出一个对应的 ∆ ，那就是对应了一个不同的椭圆大小。

下面说下高斯分布的几个限制：

• 随着xi维数的升高，协方差矩阵参数个数以平方增多
• 解决方法，简化协方差矩阵，变为对角阵 更进一步，对角阵上特征都相等【各向同性】
• 高斯函数是一个单峰分布，不能很好的拟合多峰分布
• 引入隐变量

最后再聊介绍下条件高斯分布

求边缘概率和条件概率

先说一个定理：

此处 x 是p维，A 是 qxp 矩阵，B是q维，则y是一个q维矩阵，且服从高斯分布。

有了这个定理有：

边缘分布：

条件分布：

最后条件分布：

下面我们再来求：已知边缘概率和条件分布，如何求联合分布。