昨日の「主成分分析」と固有値、固有ベクトルがどう関係するかの説明資料を見つけましたので紹介します。
資料はこちら → https://blog.aidemy.net/entry/2017/10/19/222941
第２パラグラフの「共分散行列？固有値問題？」を読んでください。 「分散」の概念は覚えていますか？ 天秤にぶら下がったもので考えるとイメージが沸きます。 データの種類がｘ１つの場合は、分散σｘｘ＝Σ（ｘｉーｘﾊﾞｰ）２／ｎでしたね。 データがｘおよびｙの組み合わせの時は、共分散σｘｙ＝Σ（ｘｉーｘﾊﾞｰ）（ｙｉーｙﾊﾞｰ）／ｎとなります。ｘﾊﾞｰとｙﾊﾞｰはｘｉとｙｉの平均値です。ここではn=3としています。 この分散を行列にしたものをΣと表しています。ここではｘとｙの因子だけですので、2行2列の行列ですが、ｘ、ｙ、ｚの場合は３行３列とマトリックスが増加していきます。
第３パラグラフの「共分散行列についての固有方程式」をご覧ください。昨日、「第１主成分は射影の分散が最大になるようにする」という話をしました。３つのデータａ１、ａ２及びa3の第１主成分の軸に射影した際の分散が最大になる条件を算出します。 この時、この軸上にある単位ベクトル（ex、ey）が固有ベクトルなのです。ベクトルa1とベクトルeの内積が軸上の距離になります。３つの距離の２乗を足して平均したものが分散varですね。 ここにも転置行列が出てきました。内積を求めるために使うのですね。 次はこの分散varを最大にするために、「ラグランジュの未定係数法」という数学的手法を用います。これは、最小二乗法もこの考え方を使っています。数学的に興味のある方は追ってみてください。 赤字のところに、Σ（ex、ey）＝λ（ex、ey）という解が書かれています。この式見覚えありませんか？ 先のブログ「固有値の求め方は？」のAx=λｘの式と同じです。 行列Aの固有値がλで、固有ベクトルがｘでした。 今回、Σは第１主成分軸上に射影した分散の行列で、分散の大きさがその線上にある単位ベクトル（固有ベクトル）のλ倍になっているのです。追記のところにその説明が記載されています。
「主成分分析」に、固有値と固有ベクトルが利用されていることが認識していただけましたか？ 多次元の場合、行列で計算した方が効率的なので、固有ベクトルと固有値を利用することになります。