隱私損失是隨機變數嗎？
“標準”書 (Dwork & Roth, 2014) 將隱私損失定義如下 (p. 18)
數量
$$ \mathcal{L}^{(\xi)}_{\mathcal{M}(x) || \mathcal{M}(y)} = \ln \left( \frac{\Pr[\mathcal{M}(x) = \xi]}{\Pr[\mathcal{M}(y) = \xi]} \right) $$
對我們很重要；我們將其稱為通過觀察而導致的隱私損失 $ \xi $ .
$$ … $$與往常一樣，機率空間在機制的硬幣之上 $ \mathcal{M} $ .
所以它並沒有說它是一個隨機變數。
從我的角度來看，它只是一個實值函式 $ \mathcal{L}: (\mathcal{M} \times x \times y \times \xi) \to \mathbb{R} $ 因為它輸出兩個機率之比的對數（0 和 1 之間的數字）。
“機率空間超過硬幣”有點令人困惑，但我想他們在這裡指的是 $ \Pr[.] $ 函式，因為 $ \mathcal{M} $ 是機率密度或離散分佈。
但是，在很多地方我都遇到了隱私損失隨機變數，例如這裡：
Abadi, M., Chu, A., Goodfellow, I., McMahan, HB, Mironov, I., Talwar, K., & Zhang, L. (2016)。具有差異隱私的深度學習。2016 年 ACM SIGSAC 電腦和通信安全會議論文集，308-318。https://doi.org/10.1145/2976749.2978318
隱私損失是一個隨機變數，取決於添加到算法中的隨機雜訊。
$$ … $$相反，我們計算線性組合的隱私損失隨機變數的對數矩。然後我們使用矩界和標準馬爾可夫不等式來獲得尾界，即差分隱私意義上的隱私損失。
或者在這裡：
http://www.gautamkamath.com/CS860notes/lec5.pdf
定義 2. 讓 $ Y $ 和 $ Z $ 是兩個隨機變數。隱私損失隨機變數 $ \mathcal{L}_{Y||Z} $ 是
$$ … $$
我的問題是：如果隱私損失是一個隨機變數，它必須有一個對應的機率分佈，即積分為1。但這似乎不是兩個PDF比率的對數的一般情況（拉普拉斯，高斯) 或離散分佈（指數機制等）。它也從未被提及作為隱私損失的條件。
所以：我錯過了什麼還是只是一個誤導（語義錯誤）的名字？
這是你觀察的函式 $ \xi $ ，所以如果你的觀察本身是從一個合理的機率分佈中得出的（例如，這樣的觀察是不可能的值 $ M(x) $ 和 $ M(y) $ 不發生），它是一個隨機變數。通常我們會考慮從匹配的分佈中獲取觀察值的情況 $ M(x) $ 或者 $ M(y) $ . 請注意，函式本身並不表示機率分佈，因此不需要求和/積分為 1。
一個例子可能會有所幫助。假設我有 2 個四面骰子，其中一個（比如說 die $ x $ ) 產生 1, 2, 3, 4 的機率分別為 1/4, 1/4, 1/6, 1/3 和另一個（比如死 $ y $ ) 分別以 1/4、1/4、1/3、1/6 的機率生成它們。服用 $ \xi $ 作為骰子擲出的數字並使用以 2 為底的對數，則 $ \mathcal L(\xi) $ 根據取三個可能的值 $ \mathcal L(1)=0 $ , $ \mathcal L(2)=0 $ , $ \mathcal L(3)=-1 $ 和 $ \mathcal L(4)=1 $ .
如果擲出的骰子是骰子 $ x $ 然後 $ \mathbb P(\mathcal L(\xi)=0)=1/2 $ , $ \mathbb P(\mathcal L(\xi)=-1)=1/6 $ 和 $ \mathbb P(\mathcal L(\xi)=1)=1/3 $ . 我們確認機率總和為 1。
同樣，如果擲出的骰子是骰子 $ y $ 然後 $ \mathbb P(\mathcal L(\xi)=0)=1/2 $ , $ \mathbb P(\mathcal L(\xi)=-1)=1/3 $ 和 $ \mathbb P(\mathcal L(\xi)=1)=1/6 $ .
請注意，第一種情況下的預期隱私損失為 1/6，第二種情況下為 -1/6。在這兩種情況下，它都是對支持以下信念的預期資訊（以比特為單位）的度量 $ x $ 每次擲骰獲得骰子。