数学の式は、物理現象をイメージすると理解が深まります。
資料をご覧ください → 類似性
p.1 ご存知のピタゴラスの定理は、a2+b2=c2ですね。物理現象で考えてみます。底面の三角形の辺の長さがa、b及びc、三角柱の３つの面にa、b及びcの力が働いており、三角柱は静止しているとします。どこでもよいのですが、例えば右端の回転軸を考えます。３つの力のトルクは、回転軸からの距離に力をかけたものを足し合わせますが、aとbは時計回り、cは反時計回りで釣り合って静止しているので、整理するとa2+b2=c2となり、ピタゴラスの定理と一致します。
p.2 xy平面に５つの点があり、斜めの棒とバネを介してつながっています。力が釣りっている時に棒は静止します。この状態が、最小二乗法で求めた回帰直線と同等なのです。棒の座標をy=mx＋ｂで表します。５つのポイントのバネではフックの法則fi∝yi-(mxi+b)が成り立っています。棒が静止するためには５つの力の合力F=0が条件となります。棒が回転せずに静止するためには、５つ力のモーメントを足し合わせたM=0が必要です。棒が静止するための物理現象のイメージです。
p.3 左側は５つのデータを用いて、回帰式を算出しています。５つのy座標と回帰式との距離が誤差でバネの長さに相当しますが、誤差の平方和Sが0になる条件を偏微分＝0として求めます。平方和Sを回帰式の傾きｍで偏微分して0にした式が、モーメントの総和M=0の式と合致しています。数式の導出よりも、モーメントMの式の方が容易に式作成ができています。今回、回帰式の勾配を求める方法を思い出すのに苦労し、以前のブログ「いい加減に覚えると後が大変」が役立ちました。
以上、数学に比較して物理現象は直感的に理解を深めてくれます。数学と物理は表裏一体のものですので、数式で解けない場合は物理的な見方をする方が早道かもしれません。