概念

要找什么样的特征

特征要保持数据的奇异性,也就是更能表示数据的分布,那么要求这个特征向量在数据空间中的方差越大越好

就这样找多个相互垂直的特征,就可以将向量压缩到目标维度

Lagrange multiplier

利用Lagrange multiplier求解这个x,要求方差最大

计算可以得到,求解第一个x时,定义 ,发现这个式子是x的协方差的特征值,W是特这个向量,要找最大,即W是最大的特征向量,是特征值

第二个X要求满足与第一相互垂直,增加限制进行结算

因为协方差是对称的,所以可以选第二大的特征值,以此类推

参考:ML Lecture 13: Unsupervised Learning - Linear Methods (youtube.com)