目次
シャノンエントロピー(Shannon Entropy)
次に- 2つの
箱から 玉を 取ります。 - 同じ
色ばかりなら 当てやすいです。 - ばらばらだと
当てにくいです。
シャノンエントロピーとは、ある
シャノンエントロピー(Shannon Entropy)関連用語
シャノンエントロピー
クロスエントロピー(Cross Entropy) 予測と正解の ズレを 測る 指標は?
カルバック・ライブラー・ダイバージェンス(Kullback-Leibler Divergen 分布のce:KL Divergence) ズレを 測る 指標は?
決定木(Decision Tree) 分け方の基準にも 使う?
パープレキシティ(Perplexity) 言葉の予想しにくさを 測るには?
ベイズの定理 確率の(Bayes' Theorem) 見直しとの 関係は?
特徴選択(Feature Selection) 役立つ情報を選ぶ 場面でも 使う?
シャノンエントロピー(Shannon Entropy)で知っておくと得する有益情報
エントロピーは、
- 予想しに
くい 結果がほど 大きい 読めない 出来事ほど、 教えて もらう 情報の 価値が 高くなります。 - 単位は
ビット 二択の質問が 平均で 何回必要かを 表します。 - AIの
学習の 決定木の土台 分け方や損失関数など、 多くの 手法の 部品に なっています。
コインの
| 表の | エントロピー |
|---|---|
| 50% | 1.00 |
| 70% | 約0.88 |
| 90% | 約0.47 |
| 99% | 約0.08 |
エントロピーを
コインの
初期値は
エントロピーが
シャノンエントロピー(Shannon Entropy)やさしい解説



たとえば
シャノンエントロピー(Shannon Entropy)についてのみんなの疑問

エントロピーが高いのは、良いことですか?
良し悪しではなく、

シャノンとは誰のことですか?
情報理論を

AIのどこで使われていますか?
決定木の
AI関連の用語集【まとめ】
AI関連の
AI関連の用語集(全用語)気にこの記事は役に立ちましたか?
うれしいです、ありがとうございます!よければ、ほかの用語ものぞいてみてください。
教えてくださり、ありがとうございます。分かりにくかった点は、お問い合わせから一言いただけると助かります。分からない言葉が出たとき、すぐ開けます。
