クロスエントロピー（Cross Entropy）とは？-AI関連の用語集【クラベルAI】-

クロスエントロピー（Cross Entropy）

クロスエントロピーとは、AIが出した予測の確率が、正解からどれだけ離れているかを測る指標のことです。分類モデルを学習させるときの損失関数として、よく使われます。正解のクラスに高い確率を付けるほど値が小さく、自信を持って外すほど大きくなります。学習では、この値が小さくなるように調整を重ねます。

クロスエントロピー（Cross Entropy）関連用語

クロスエントロピー（Cross Entropy）に関連する単語は以下の通りです。

• 損失関数損失関数とは何か？→
• ソフトマックス関数（Softmax Function）確率を出す関数とは？→
• シャノンエントロピー（Shannon Entropy）もとになる情報量の考え方は？→
• カルバック・ライブラー・ダイバージェンス（Kullback-Leibler Divergence：KL Divergence）分布のズレを測るもう一つの指標は？→
• 分類（Classification）分類とはどんな課題？→
• 勾配降下法（Gradient Descent）損失を減らす手順とは？→

クロスエントロピー（Cross Entropy）で知っておくと得する有益情報

クロスエントロピーは、分類のAIを育てる基本の損失です。押さえる点を3つにまとめました。

• 自信を持って外すと重い正解に低い確率を付けるほど、損失が急に大きくなります。
• 確率を直接育てられる正解のクラスの確率を高めるように、学習が進みます。
• 完全に当てれば0正解に確率100%を付けられたとき、損失は0になります。

正解に付けた確率と損失（自然対数）

クロスエントロピーは、確率の予測の外れ方を測る分類の定番です。

クロスエントロピー（Cross Entropy）やさしい解説

確率の予測が当たったかを、どうやって測るの？

クイズ番組で、正解に「自信度」を付けて答える形式を想像してください。自信満々で外すと、大きく減点されます。

クロスエントロピーも、その減点の考え方です。

たとえば問い合わせを「注文」「返品」「苦情」に分けるAIが、苦情の問い合わせを「苦情は5%の可能性」と見立てたら、大きな損失として数えられます。学習のあいだ、この損失が小さくなるように調整を続けると、正解のクラスに高い確率を付けられるようになります。

クロスエントロピー（Cross Entropy）についてのみんなの疑問

クロスエントロピーが小さいほど良いのですか？

はい。小さいほど、予測が正解に近いことを示します。ただし訓練データで小さくても、新しいデータで大きいなら過学習です。検証データでの値も、あわせて見ましょう。

クロスエントロピーと正解率は、何が違いますか？

確率の当たり具合を見るか、当たり外れだけを見るかです。正解率は、答えが合ったかどうかだけです。クロスエントロピーは、確率の付け方まで評価するので、細かな違いも拾えます。

大規模言語モデルでも使われていますか？

はい。次の言葉を当てる学習で、使われています。次に来る言葉を予測し、正解の言葉に高い確率を付けるよう、クロスエントロピーを小さくして学習します。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

AI関連の用語集（全用語）気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか？

はい、役に立った いまいち

この記事をシェア

X Facebook LINE はてブ URLをコピー

ブログやSNSで紹介していただくときは、このページのURLをそのままお使いください（リンクはご自由にどうぞ）。

このサイトをホーム画面に追加

分からない言葉が出たとき、すぐ開けます。