对数求和不等式(Log sum inequality)是一个不等式 ,可用于证明信息论中的多个定理。
定理陈述
对任何非负实数
和正数
,并记
及 ![{\displaystyle b:=\sum _{i=1}^{n}b_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9fc5bb51c7f72743cfe121cae5abbfcd05d91b24)
则有如下的对数求和不等式:
![{\displaystyle \sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}\geq a\log {\frac {a}{b}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3a0b33e8d64d75498b6dbf315a514ab1602fef5d)
上式中,等号成立的充分必要条件是所有
都相等。
证明
设辅助函数
,容易验证这个函数是一个凸(Convex)函数,我们有
![{\displaystyle {\begin{aligned}\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}&{}=\sum _{i=1}^{n}b_{i}f\left({\frac {a_{i}}{b_{i}}}\right)=b\sum _{i=1}^{n}{\frac {b_{i}}{b}}f\left({\frac {a_{i}}{b_{i}}}\right)\\&{}\geq bf\left(\sum _{i=1}^{n}{\frac {b_{i}}{b}}{\frac {a_{i}}{b_{i}}}\right)=bf\left({\frac {1}{b}}\sum _{i=1}^{n}a_{i}\right)=bf\left({\frac {a}{b}}\right)\\&{}=a\log {\frac {a}{b}},\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1427e10359902cf68c0b64e6c5ec15a8155a999f)
推导中第二行的不等号,是由琴生不等式得到的 (可验证
,
)。
应用
对数求和不等式可用于证明信息论中的几个不等式,例如吉布斯不等式或KL散度的基本性质 。
例如,证明吉布斯不等式时,将
看作
,将
看作
,得到
![{\displaystyle \mathbb {D} _{\mathrm {KL} }(P\|Q)\equiv \sum _{i=1}^{n}p_{i}\log _{2}{\frac {p_{i}}{q_{i}}}\geq 1\log {\frac {1}{1}}=0.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/97e2cb1dcbad6877642594632feba9b0b1468296)
一般情形
这个不等式对于收敛的无穷级数亦成立,即当
时,附加假设
和
即可使不等式成立。
另一种推广则是将对数函数一般化。只要将对数函数换为任何一个
,其使得
是一个凸(Convex)函数即可。2004年,Csiszár证明了将对数函数换成一个单调非减函数,定理亦成立。
参考文献