シャノンエントロピー(Shannon Entropy) シャノンエントロピー(Shannon Entropy)は、「ある出来事をどれだけ予想しにくいか」を数字で表す指標です。同じ箱から取り出す結果がバラバラに出るほどエントロピーは高く、ほぼ同じ結果ばかりなら低くなります。情報の世界では、不確かさ=必要な情報量と考えるため、エントロピーは「平均して何ビットのヒントが必要か」を教えてくれます。 日常生活での使い方としては次の通りです。 公平なコイン(表50%, 裏50%)は当てにくい=エントロピー1ビット。 ...