エントロピー
正式名称
Entropy（エントロピー）
一言でいうと
1回あたり平均してどれくらいの情報を得られるか
初心者向け説明
エントロピーとは、複数の出来事が起こる場合に、1回あたり平均してどれくらいの情報量が得られるかを表したものです。
平均情報量とも呼ばれます。
各事象の発生確率をpᵢとすると、
H = -Σ pᵢ log₂pᵢ
で求めます。
結果が予測しにくいほど、エントロピーは大きくなります。
例えば、公平なコインでは表と裏がどちらも50%なので、結果を予測しづらく、エントロピーは1ビットになります。
ポイント
- 平均情報量とも呼ばれる
- 自己情報量の平均として考えられる
- 結果が予測しにくいほど大きくなる
関連用語
関連記事
- 情報量と符号化とは？エントロピー・デジタル符号化・データ圧縮を基礎から理解しよう
🍯 はちみつメモ
エントロピー = 1回あたりの平均情報量