トピックス 数学 物理 統計

固有ベクトルの統計への利用

投稿日:

昨日の「主成分分析」と固有値固有ベクトルがどう関係するかの説明資料を見つけましたので紹介します。

資料はこちら → https://blog.aidemy.net/entry/2017/10/19/222941

第2パラグラフの「共分散行列?固有値問題?」を読んでください。 「分散」の概念は覚えていますか? 天秤にぶら下がったもので考えるとイメージが沸きます。 データの種類がx1つの場合は、分散σxx=Σ(xーxバー)/nでしたね。 データがxおよびyの組み合わせの時は、共分散σxy=Σ(xーxバー)(yーyバー)/nとなります。xバーyバーとyの平均値です。ここではn=3としています。 この分散を行列にしたものをΣと表しています。ここではxとyの因子だけですので、2行2列の行列ですが、x、y、zの場合は3行3列とマトリックスが増加していきます。

第3パラグラフの「共分散行列についての固有方程式」をご覧ください。昨日、「第1主成分は射影の分散が最大になるようにする」という話をしました。3つのデータa、a及びa3第1主成分の軸に射影した際の分散が最大になる条件を算出します。 この時、この軸上にある単位ベクトル(ex、ey)が固有ベクトルなのです。ベクトルa1とベクトルeの内積が軸上の距離になります。3つの距離の2乗を足して平均したものが分散varですね。 ここにも転置行列が出てきました。内積を求めるために使うのですね。 次はこの分散varを最大にするために、「ラグランジュの未定係数法」という数学的手法を用います。これは、最小二乗法もこの考え方を使っています。数学的に興味のある方は追ってみてください。 赤字のところに、Σ(ex、ey)=λ(ex、eyという解が書かれています。この式見覚えありませんか? 先のブログ「固有値の求め方は?」のAx=λxの式と同じです。 行列Aの固有値がλで、固有ベクトルがxでした。 今回、Σは第1主成分軸上に射影した分散の行列で、分散の大きさがその線上にある単位ベクトル(固有ベクトル)のλ倍になっているのです。追記のところにその説明が記載されています。

主成分分析」に、固有値固有ベクトルが利用されていることが認識していただけましたか? 多次元の場合、行列で計算した方が効率的なので、固有ベクトルと固有値を利用することになります。

-トピックス, 数学, 物理, 統計

Copyright© 進化するガラクタ , 2019 All Rights Reserved Powered by STINGER.