包络定理

包络定理是带参数的最优化问题中的一个定理。这个定理的内容是，参数的值变动时，目标函数的变动只和参数的变动有关，而与自变量（因参数变动而引起）的变动无关。包络定理在最优化领域非常有用。

具体表述

无约束的情形

设$f(\mathbf {x} ,{\boldsymbol {\alpha }})$是$\mathbb {R} ^{n+l}$上的可微实函数，其中$\mathbf {x} \in \mathbb {R} ^{n}$是自变量，${\boldsymbol {\alpha }}\in \mathbb {R} ^{l}$是参数，目标是选择适当的$\mathbf {x}$以最大化/最小化$f$。设$V({\boldsymbol {\alpha }})=f(\mathbf {x} ^{*},{\boldsymbol {\alpha }})$，其中$\mathbf {x} ^{*}$为$f$取最大值/最小值时的$\mathbf {x}$，则包络定理即

${\frac {\mathrm {d} V}{\mathrm {d} {\boldsymbol {\alpha }}}}=\left.{\frac {\partial f}{\partial {\boldsymbol {\alpha }}}}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$。

证明

根据全微分公式有

$\mathrm {d} V=\left.\mathrm {d} f\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}=\left.\left(\sum _{i=1}^{n}{\frac {\partial f}{\partial x_{i}}}\mathrm {d} x_{i}+\sum _{i=1}^{l}{\frac {\partial f}{\partial \alpha _{i}}}\mathrm {d} \alpha _{i}\right)\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$。

因为$\mathbf {x}$取最值时必有$f$对$x_{i}$的一阶偏导数为零，即

$\left.{\frac {\partial f}{\partial \mathbf {x} }}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}=0$，

故可得到

$\mathrm {d} V=\left.\sum _{i=1}^{n}{\frac {\partial f}{\partial \alpha _{i}}}\mathrm {d} \alpha _{i}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$，

也即${\frac {\mathrm {d} V}{\mathrm {d} {\boldsymbol {\alpha }}}}=\left.{\frac {\partial f}{\partial {\boldsymbol {\alpha }}}}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$成立。

有约束的情形

在无约束的情形下加上$m$个同样可微的实约束函数$g_{j}(\mathbf {x} ,{\boldsymbol {\alpha }})=0$，则包络定理变为

${\frac {\mathrm {d} V}{\mathrm {d} {\boldsymbol {\alpha }}}}=\left.{\frac {\partial {\mathcal {L}}}{\partial {\boldsymbol {\alpha }}}}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$，

其中${\mathcal {L}}(\mathbf {x} ,{\boldsymbol {\lambda }},{\boldsymbol {\alpha }})=f(\mathbf {x} ,{\boldsymbol {\alpha }})+\sum _{j=1}^{m}\lambda _{j}({\boldsymbol {\alpha }})g_{j}(\mathbf {x} ,{\boldsymbol {\alpha }})$是拉格朗日函数。

证明过程与无约束时类似，只是$\mathbf {x}$取最值时${\frac {\partial f}{\partial x_{i}}}=0$变为${\frac {\partial {\mathcal {L}}}{\partial x_{i}}}=0$。

参见

• 霍特林引理
• 谢泼德引理
• 罗伊恒等式