香農熵和說扔一個 6 面骰子 100 次具有超過 256 位的熵有什麼區別？
我很困惑。
我認為扔一個 6 面骰子 100 次的熵大於 256 位，因為 $ 6^{99} < 2^{256} < 6^{100} $ . （類似的概念出現在這個 XKCD 漫畫中，從大概 2048 個單詞的字典中選擇四個隨機單詞具有 44 位熵，大概是因為 $ 2048^4 = 2^{44} $ .)
另一方面，一個 6 面骰子被拋 100 次的香農熵是 $ -6 × 1/6 × \log_2(1/6) = 2.5849625007 $ 位。（根據 Sakamaki Izayoi 對我的另一個問題的評論。）
這兩個完全不同的“熵”概念嗎？如果是這樣，有什麼區別，如果不是，我錯過了什麼？
我讀了這個文章，但我仍然感到困惑。
另一方面，一個 6 面骰子被拋 100 次的香農熵是 $ -6 × 1/6 × \log_2(1/6) = 2.5849625007 $ 位。
那是錯的： $ -6\cdot\frac16\cdot\log_2\frac16 $ 是單個擲骰子的熵。假設 $ 100 $ 骰子卷是獨立的，您可以簡單地將各個卷的熵相加得到
$$ 100 \cdot\left(-6 \cdot\frac16\cdot\log_2\frac16\right) \approx 258.49625 \text, $$ 這正是 $ \log_2(6^{100}) $ 正如預期的那樣。
似乎使用您的香農熵，您正在使用 100 次擲骰來估計單次擲骰的香農熵。如果這是一個公平的死亡，那將是 $ \log_2{6}\approx 2.58 $ .
例如，這與擲骰子 100 次以生成加密密鑰不同。每卷公平骰子將包含 $ 2.58 $ 熵位，所以總的來說你大約有 $ 2.58\cdot 100=258 $ 熵位，或 $ \log_2{6^{100}}=\log_2(6)\cdot 100 $ 如評論中所述。