以前「やっと理解の糸が繋がった」で分散共分散行列、「固有値の求め方は?」で固有値、主成分分析は「知りたいことは、とことん突き詰める」で取り上げました。本日は、この三つの関係を整理して話します。ブログを書いていると、最初は独立(私にとっては)した内容が次第に繋がっていくのがわかります。芋づる式に、繋がってくるのです。 皆さんには興味がないことかもしれませんが、忘れないうちに資料にしてみました。
資料はこちら → 分散共分散行列
p.1 分散と共分散からなる行列は、「分散共分散行列」と呼び、対角線上のVxとVyに対して「対称行列」になっています。右上と左下がVxyで同じですね。つまり、対角線で折った時に重なる行列を「対称行列」と呼びます。この形が役に立つのです。対角化して計算を楽にするために、分散共分散行列を対称行列の形にするのですね。以下に説明します。
p.2 「n次の対称行列である分散共分散行列Sは、直交行列Qによって対角化できる」という数学の性質があります。QTSQの行列を見ると、対角にλ1、λ2、・・λnが並んでおりそれ以外はゼロになっています。2次の分散共分散行列Sの右に直交行列Qを掛け、左からその転置行列QTを掛けると対角に固有値λ1、λ2、それ以外がゼロの行列になります。 このλは、以前のブログ「」で求め方を説明しましたが、Sの行列の対角の値からλを引いた行列をゼロとして、λの2次方程式の解を求めることで得られます。Vx=133.5、Vy=111.7及びSxy=100.2の場合はλ1=224、λ2=21が得られます。p.4~9は以前説明したラグランジュの未定係数法を用いて算出しましたが、同様の結果が得られました。ラグランジュの未定係数法よりも今回の方が簡単ですね。
p.3 このページも以前、固有値の説明資料ですが、P-1APのPが直交行列の場合P-1(逆行列)=PT(転置行列)が成り立ち、P-1AP=PTAPとなり対角行列となります。
物理、数学そして統計と、いろいろなことがリンクしてくると面白くなってきますので、皆さんも是非アンテナを高くして、関連付けする技を磨いてください。