以前「最短ルートは？」で「勾配降下法」について説明しましたが、もう少し簡単な説明にしてみます。以下の資料をご覧ください。
資料はこちら → 勾配降下法ver２
Excelファイルはこちら → 勾配降下法２
p.1 「勾配降下法」とは、例えばy=x2+2x+1という曲線で勾配が０になる地点の座標を求める方法です。この曲線のデータ（左上表）の黄色の数値がグラフの底で勾配０であることは明らかですね。 これをAIが求めようとする場合のアルゴリズムが「勾配降下法」です。最初、（２，９）の座標に居たとします。●の点です。この点の曲線の勾配β＝Δｙ／Δｘです。次の点（●のｘ座標＝●のｘ座標－学習率×勾配β）で算出。勾配がゼロになるまで逐次計算します。
p.2 学習率を0.3、0.4、0.5及び１にして勾配０になるまでの回数をみてみました。結果は、各々9回、6回、2回そして失敗（勾配０を通り越した）。学習率が大きい方が速く勾配０に達するが、失敗の確率も高まります。 コンピュータでは、学習率に0.01や0.1のように小さい値を入れて精度を上げるようです。 因みに、Excelのソルバーを使うと簡単に結果が得られます（右下）。
前回の説明よりは少しイメージできましたか？ 自分が納得するまで、何度何度も見直すと難しい事も道が開けてきます。