シャノンエントロピー（Shannon Entropy）とは？-AI関連の用語集【クラベルAI】-

シャノンエントロピー（Shannon Entropy）

シャノンエントロピー（Shannon Entropy）は、「ある出来事をどれだけ予想しにくいか」を数字で表す指標です。
同じ箱から取り出す結果がバラバラに出るほどエントロピーは高く、ほぼ同じ結果ばかりなら低くなります。情報の世界では、不確かさ＝必要な情報量と考えるため、エントロピーは「平均して何ビットのヒントが必要か」を教えてくれます。

日常生活での使い方としては次の通りです。

• 公平なコイン（表50%, 裏50%）は当てにくい＝エントロピー1ビット。

• 9割が表のコインはだいたい当たる＝1ビット未満。

• サイコロの目がすべて同じ確率（1/6）だと、かなり当てにくい（およそ2.585ビット）。

• 結果が必ず同じならエントロピーは0（不確かさゼロ）。

シャノンエントロピー（Shannon Entropy）関連用語

シャノンエントロピー（Shannon Entropy）に関連する単語は以下の通りです。

シャノンエントロピー（Shannon Entropy）やさしい解説

シャノンエントロピー（Shannon Entropy）は「どれだけ予想しにくいか」のものさし。

• ぜんぶ同じくらい起こりそう（例：よく混ぜたトランプから1枚）→高い：当てにくい。
• ほとんど同じ結果になる（例：当たりが1つしかない福引）→低い：当たりやすい。

例えば、くじ引きで赤・青・黄が同じ数入っていると、どれが出るか本当に分かりません（エントロピー高）。もし赤が袋のほとんどを占めていたら、赤が出やすいのでだいたい予想できます（エントロピー低）。

コンピュータやAIは、この予想のむずかしさをビットという単位で数え、どれだけ情報（ヒント）を伝えれば十分かを計算します。AIの学習では、現実の起こり方に合わせてムダなく当てられるように工夫しており、そのときにエントロピーや交差エントロピー、KLダイバージェンスが活躍します。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方はぜひご覧ください。