一、高斯混合模型参数估计的EM算法

假设观测数据\(y_1, y_2,...,y_N\)由高斯混合模型生成

\[ P(y|\theta) = \sum^k_{k=1} \alpha_k\phi(y|\theta_k)\]

其中， \(\theta = (\alpha_1, \alpha_2,...,\alpha_k:\theta_1, \theta_2, ...,\theta_k)， 我们用EM算法算法估计高斯混合模型的参数\)\theta$。

1. 明确隐变量，写出完全数据的对数似然函数

   概率\(\alpha_k\)选择第\(k\)个高斯分布模型，然后第\(k\)个分模型的概率分布生成观测数据\(y_j\)，这时\(y_j\)是已知的， 但反观数据\(y_j\)来自第\(k\)个分模型是未知，以隐变量\(\gamma_{jk}\)表示，其定义如下
   

2. EM算法的E步， 确定Q函数

3. 确定EM算法的M步

   迭代的M步是求函数\(Q(\theta, \theta^{(i)})\), 即求新一轮迭代的模型参数
   \[\theta^{(i+1)} = argmax Q(\theta, \theta^{(i)}\]