目次
カルバック・ライブラー・ダイバージェンス（Kullback-Leibler Divergence：KL Divergence）
カルバック・ライブラー・ダイバージェンス（Kullback-Leibler Divergence：KL Divergence）は、本当の確率分布PとAIモデルが予想する分布Qのズレを測る指標です。ズレが大きいほど予測や符号化に生じる「説明のムダ」が増え、値も大きくなります。
0なら完全一致。向きが重要で、PからQとQからPは普通ちがいます。また、起こり得る事象をQで0とみなすと強く罰せられます。AIでは学習時に交差エントロピー（実質はKL）を小さくしてQをPに近づけます。
VAEでは潜在表現を安定させるためKL正則化を使い、強化学習では新旧の方策がかけ離れないようKLでブレーキをかけます。モデル蒸留では教師と生徒の出力分布の差をKLで測って縮めます。
直感的には、棒グラフで各事象の確率を並べ、PとQの高さの差が「ムダ」の大きさ、と覚えると理解しやすいです。対数の底で単位が変わり、自然対数ならナット、底2ならビットです。実務では確率を厳密に0にしないスムージングも重要です。
カルバック・ライブラー・ダイバージェンス（Kullback-Leibler Divergence：KL Divergence）関連用語
カルバック・ライブラー・ダイバージェンス（Kullback-Leibler Divergence：KL Divergence）に関連する単語は以下の通りです。
- 確率分布（Probability Distribution）
- 相互情報量（Mutual Information）
- 尤度 / 最尤推定（MLE）
カルバック・ライブラー・ダイバージェンス（Kullback-Leibler Divergence：KL Divergence）やさしい解説
カルバック・ライブラー・ダイバージェンス（Kullback-Leibler Divergence：KL Divergence）は「思ってた確率と本当の確率のずれ具合」を数字で表すもの。
例えば、自販機の当たりの確率が半分だと思っていたら本当は6割だった。
この思い違いのせいで、あなたの予想や説明はちょっとムダが出る。そのムダの平均量がカルバック・ライブラー・ダイバージェンスです。
ポイント3つ
- 0ならズレなし、大きいほどズレ大。
- 向きが大事（AからBと、BからAはふつう違う）。
- あり得ることを「絶対ない」と思い込むと、ペナルティはとても大きい。
AIでは、AIが出す確率（モデルの考え）を本当の答えに近づけるため、KL（=クロスエントロピー損失）を小さくするように学習します。
AI関連の用語集【まとめ】
AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方はぜひご覧ください。
＼AIの導入・開発・相談なら【クラベルAI】に相談しよう！／
