目次
最小二乗法（Least Squares Method）
最小二乗法（Least Squares Method）とは、観測データにいちばん合う曲線（とくに直線）を求める標準的な方法です。各データ点とモデル予測のズレ（残差）を二乗して足し合わせた値を最小にするよう、モデルのパラメータを決めます。
直線回帰なら切片と傾き、重回帰なら各説明変数の係数をこの基準で推定します。行列表現では正規方程式を解くか、数値的にはQR分解や勾配法で安定に解きます。
なぜ二乗なのか？
（1）ズレの符号を打ち消さずに大きな誤差をより強く罰する
（2）計算的に扱いやすい、の2点が実用上効きます。
前提として、線形関係・誤差の独立同分散（一定のばらつき）・多重共線性の弱さなどが望ましく、誤差が正規分布なら最小二乗推定は最尤推定とも一致します。外れ値に弱い欠点があるため、分散が点によって違うときは重み付き最小二乗、外れ値が多いときはロバスト回帰を使います。過学習や多重共線性には正則化が有効です。
最小二乗法（Least Squares Method）関連用語
最小二乗法（Least Squares Method）に関連する単語は以下の通りです。
- 残差（Residual）
- 正則化（リッジ／ラッソ）
- 重み付き・ロバスト回帰
最小二乗法（Least Squares Method）やさしい解説
グラフ上の点の集まりに一本の線を引くとき、点から線までのタテの距離を考えます。その距離を二乗して全部たした合計が、いちばん小さくなる線を選ぶやり方が最小二乗法。二乗にするのは、プラス・マイナスを打ち消さないで、大きなズレを強めに罰するため。こうして「いちばんそれっぽい線」を決めます。
AI関連の用語集【まとめ】
AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方はぜひご覧ください。
＼AIの導入・開発・相談なら【クラベルAI】に相談しよう！／
