クロスエントロピー（Cross Entropy）
クロスエントロピー（Cross Entropy）とは、ある確率分布と別の確率分布の「どれだけ違うか」を測る指標です。
特に機械学習や深層学習において、分類タスクの損失関数（Cost Function）としてよく使われます。
例えば、正解ラベルを「確率分布」とみなし、モデルが出した予測確率と比べることで、予測が正解にどれだけ近いかを数値化します。
予測が正解に近いほど値は小さくなり、外れると大きな値になります。
この性質から、クロスエントロピーは「確率的にどれくらい間違えているか」を測る便利な指標として、ニューラルネットの学習に欠かせない損失関数となっています。
クロスエントロピー（Cross Entropy）関連用語
クロスエントロピー（Cross Entropy）に関連する単語は以下の通りです。
- エントロピー（Entropy）
- KLダイバージェンス（Kullback–Leibler Divergence）
- ソフトマックス関数（Softmax Function）
クロスエントロピー（Cross Entropy）やさしい解説
クロスエントロピーは、「AIが出した答えが正解にどれだけ近いか」を数字で表すものです。
例を下記にあげます。
- テストの答えを「Aが正解！」と決めてあるとき、
- AIが「Aだと思う確率90%、Bだと思う確率10%」と答えたら → 高得点（クロスエントロピー小さい）
- 逆に「Bだと思う確率90%、Aは10%」と答えたら → 大きく間違い（クロスエントロピー大きい）
という感じです。
つまり、クロスエントロピーは AIが「自信を持って正解を選べているか」 をチェックする物差しだと考えるとわかりやすいです。
AI関連の用語集【まとめ】
AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方はぜひご覧ください。
＼AIの導入・開発・相談なら【クラベルAI】に相談しよう！／
