對數求和不等式(Log sum inequality)是一個不等式 ,可用於證明信息論中的多個定理。
定理陳述
對任何非負實數
和正數
,並記
及 ![{\displaystyle b:=\sum _{i=1}^{n}b_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9fc5bb51c7f72743cfe121cae5abbfcd05d91b24)
則有如下的對數求和不等式:
![{\displaystyle \sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}\geq a\log {\frac {a}{b}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3a0b33e8d64d75498b6dbf315a514ab1602fef5d)
上式中,等號成立的充分必要條件是所有
都相等。
證明
設輔助函數
,容易驗證這個函數是一個凸(Convex)函數,我們有
![{\displaystyle {\begin{aligned}\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}&{}=\sum _{i=1}^{n}b_{i}f\left({\frac {a_{i}}{b_{i}}}\right)=b\sum _{i=1}^{n}{\frac {b_{i}}{b}}f\left({\frac {a_{i}}{b_{i}}}\right)\\&{}\geq bf\left(\sum _{i=1}^{n}{\frac {b_{i}}{b}}{\frac {a_{i}}{b_{i}}}\right)=bf\left({\frac {1}{b}}\sum _{i=1}^{n}a_{i}\right)=bf\left({\frac {a}{b}}\right)\\&{}=a\log {\frac {a}{b}},\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1427e10359902cf68c0b64e6c5ec15a8155a999f)
推導中第二行的不等號,是由琴生不等式得到的 (可驗證
,
)。
應用
對數求和不等式可用於證明信息論中的幾個不等式,例如吉布斯不等式或KL散度的基本性質 。
例如,證明吉布斯不等式時,將
看作
,將
看作
,得到
![{\displaystyle \mathbb {D} _{\mathrm {KL} }(P\|Q)\equiv \sum _{i=1}^{n}p_{i}\log _{2}{\frac {p_{i}}{q_{i}}}\geq 1\log {\frac {1}{1}}=0.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/97e2cb1dcbad6877642594632feba9b0b1468296)
一般情形
這個不等式對於收斂的無窮級數亦成立,即當
時,附加假設
和
即可使不等式成立。
另一種推廣則是將對數函數一般化。只要將對數函數換為任何一個
,其使得
是一個凸(Convex)函數即可。2004年,Csiszár證明了將對數函數換成一個單調非減函數,定理亦成立。
參考文獻