AI関連の用語集

シャノンエントロピー(Shannon Entropy)とは?-AI関連の用語集【クラベルAI】-

シャノンエントロピー(Shannon Entropy)とは?-AI関連の用語集【クラベルAI】-

シャノンエントロピー(Shannon Entropy)

??当てやすい当てにくい評価の言葉
アイちゃんのイラスト次に何が出るか、予想しにくさ
  1. 2つの箱から玉を取ります。
  2. 同じ色ばかりなら当てやすいです。
  3. ばらばらだと当てにくいです。

シャノンエントロピーとは、ある出来事の結果が、どれだけ予想しにくいかを数字で表した情報量の指標のことです。結果がバラバラに出るほど値が大きく、ほぼ同じ結果ばかりなら小さくなります。単位はビットで、平均して何回の二択の質問が必要かの目安です。決定木の分け方や、クロスエントロピーの土台です。

シャノンエントロピー(Shannon Entropy)関連用語

シャノンエントロピー(Shannon Entropy)に関連する単語は以下の通りです。

シャノンエントロピー(Shannon Entropy)で知っておくと得する有益情報

エントロピーは、情報の価値を測る基本の考え方です。押さえる点を3つにまとめました。

  • 予想しにくいほど大きい結果が読めない出来事ほど、教えてもらう情報の価値が高くなります。
  • 単位はビット二択の質問が平均で何回必要かを表します。
  • AIの学習の土台決定木の分け方や損失関数など、多くの手法の部品になっています。

コインの偏りとエントロピー(説明用)

表の出る確率エントロピー(ビット)
50%1.00
70%約0.88
90%約0.47
99%約0.08

エントロピーを計算する

コインの表が出る確率から、エントロピーを求めます。

エントロピー0ビット

初期値は説明用の例です。表と裏の2つだけの場合の計算で、最大は1ビットです。

エントロピーが大きいほど、結果を当てるのは難しくなります。

シャノンエントロピー(Shannon Entropy)やさしい解説

いたずらなくまのイラスト
エントロピーって、物理で聞いたことがあるよ。
アイちゃんのイラスト
名前は似ていますが、ここでは情報の話です。「結果を知らされたとき、どれだけ驚くか」の平均だと思ってください。
アイちゃんのイラスト
毎日雨の町の天気予報は、驚きが少なくて価値が低い情報です。

たとえば商品の購入データから、購入者を「男性」「女性」に分けるとき、どちらも同じ割合なら、情報のばらつきが最大です。決定木は、データを分けた後にエントロピーが最も下がる条件を選んで分岐を作ります。分けるほど整理されていくイメージです。

シャノンエントロピー(Shannon Entropy)についてのみんなの疑問

質問する、いたずらなくまのイラスト

エントロピーが高いのは、良いことですか?

答えるアイちゃんのイラスト

良し悪しではなく、予想しにくさを表します。データの分類では、エントロピーが低いほど、グループがきれいに分かれています。目的によって、高い低いの意味は変わります。

質問する、いたずらなくまのイラスト

シャノンとは誰のことですか?

答えるアイちゃんのイラスト

情報理論をつくったクロード・シャノンです。1948年に発表した論文で、情報の量を数学的に定義しました。通信やデータ圧縮、AIの理論の土台になっています。

質問する、いたずらなくまのイラスト

AIのどこで使われていますか?

答えるアイちゃんのイラスト

決定木の分割や、損失関数の計算に使われます。決定木では、分けた後のエントロピーが下がる条件を選びます。クロスエントロピーも、エントロピーの考え方から作られています。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

アイちゃんのイラストAI関連の用語集(全用語)気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか?

分からない言葉が出たとき、すぐ開けます。

  • この記事を書いた人
  • 最新記事

クラベルAI運営事務局

AI活用の第一相談なら「クラベルAI」 このコンテンツはクラベルAI運営事務局が作成しております。 事務局メンバーには、第1回生成AIパスポートの資格保有者も在籍。 AI活用における、誰に・何を・どう聞けばいいの?というところからAIを使った大規模開発の相談まで、「クラベルAI」なら何度でも無料でご相談いただけます。ご相談内容に合わせて最適なパートナーとのマッチングサービスも提供。提携パートナーも随時募集中です。(個人・法人どなた様もご応募可能いただけます。) AI活用の第一相談所を目指し、日々有益な情報発信に努めております。 ご意見・ご感想等ございましたらお気軽にご連絡ください。運営会社は株式会社フィオリエラ(https://fioriera.co.jp/)です。

-AI関連の用語集
-,