在資訊理論中,條件熵描述了在已知第二個隨機變數
的值的前提下,隨機變數
的資訊熵還有多少。同其它的資訊熵一樣,條件熵也用Sh、nat、Hart等資訊單位表示。基於
條件的
的資訊熵,用
表示。
定義
如果
爲變數
在變數
取特定值
條件下的熵,那麼
就是
在
取遍所有可能的
後取平均的結果。
給定隨機變數
與
,定義域分別爲
與
,在給定
條件下
的條件熵定義爲:[1]
![{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c200b367c0f09c8d1faad3319c6c393d3ebbe539)
注意: 可以理解,對於確定的 c>0,表達式 0 log 0 和 0 log (c/0) 應被認作等於零。
若且唯若
的值完全由
確定時,
。相反,若且唯若
和
爲獨立隨機變數時
。
鏈式法則
假設兩個隨機變數 X 和 Y 確定的組合系統的聯合熵爲
,即我們需要
bit的資訊來描述它的確切狀態。
現在,若我們先學習
的值,我們得到了
bits的資訊。
一旦知道了
,我們只需
bits來描述整個系統的狀態。
這個量正是
,它給出了條件熵的鏈式法則:
![{\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X)\,.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bd7fe4fca76a1bae5717c2b4dd90f5f6f060bc96)
鏈式法則接着上面條件熵的定義:
![{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(x,y)+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(x)\\&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log \,p(x)\\&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/29715e42b93c03defc8ba0aa7e8083ec52c91dae)
貝葉斯規則
條件熵的貝葉斯規則表述爲
![{\displaystyle H(Y|X)\,=\,H(X|Y)-H(X)+H(Y)\,.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8d77cd988d035f320fef5cad97366faa9f34889e)
證明.
and
。對稱性意味着
。將兩式相減即爲貝葉斯規則。
推廣到量子理論
在量子資訊論中,條件熵都概括為量子條件熵。
參考文獻