有哪些適當的工具可用於估計熵？
這個問題似乎觸及了一個明顯的事實，即 NIST SP 800-90B 不適合估計由不均勻的源產生的熵，儘管是 IID 或非 IID。似乎大多數產生熵的現象並不統一。如果這確實是正確的，那麼自然會想知道有哪些適當的工具可用於估計熵？
澄清。問題是要求像NIST SP 800-90B這樣的工具。有哪些程序可以使用，希望有一個出版物來介紹它？似乎只有NIST SP 800-90B可用。
我假設您指的是物理熵源，而不是莎士比亞之類的。
您可以使用其他地方討論的強大存檔器來採用壓縮方法。但是，這總是會讓您感覺它是否足夠準確？這是一種不常見的方法，儘管它對我有用。
標準方法是簡單地計算 $ H_{\infty} $ 基於數據集中最可能的值。自相關？去掉它。具有諷刺意味的是，您的工具是一個偽隨機數生成器。和
ent。有個概念 $ (\epsilon, \tau) $ 每單位時間的熵，其中 $ \epsilon $ 是採樣解析度和 $ \tau $ 是時間樣本滯後。它是這樣的： -
- 樣品來源在 $ (\epsilon, \tau^{-1}) $ 每秒。蛋。4 位 @ 10 kSaS。
- 使用置換測試對樣本執行 IID 測試。
- 如果 sample = IID，執行
ent -c並獲取 $ {Pr_{max}} $ .- $ H_{\infty} = -log_2(Pr_{max}) $ . 完畢。
- 如果樣品 $ \ne $ IID，減少 $ \epsilon $ 或增加 $ \tau $ . 例如。3 位 @ 5 kSaS。
- 轉到 1。
置換測試是 NIST 的 90B 所做的
ea_iid。或者自己滾動。或者使用我的。該連結有很多 NIST 詳細資訊。界限更嚴格的原因是您自己設置了 IIDness 的構成要素。NIST 使用 p=0.01，而我的慢速測試使用 p=0.1，而不是依賴於壓縮器的感知強度。
不幸的是，您連結到的問題的語言超出了頂部。
主要問題不僅是現實生活來源的非均勻性，而且是非平穩性，而且還必須進行估計，例如“來源的屬性究竟是什麼時候發生變化的？” 給定一個長輸出，然後將我們帶入模型估計、混合模型、貝氏分析，變化是無窮無盡的。
因此，必鬚根據源的結構將模型限制為一組可接受的模型。
另一種可能性是使用隨機提取器，但選擇提取器的參數並設計一個有效的也很棘手。
因此，有些人只是對輸出的長連續塊進行異或運算，並在其上使用雜湊函式，而忘記了所有復雜性。
我也想參考你的答案
@fgrieu 的一個相關問題。就熵估計而言，最重要的基本缺陷與源和輸出之間的差異有關。