跳转到内容

高斯-马尔可夫定理

本页使用了标题或全文手工转换
维基百科,自由的百科全书
(重定向自高斯-马尔可夫定理

高斯-馬可夫定理(英語:Gauss-Markov Theorem),在統計學中陳述的是在线性回归模型中,如果线性模型满足高斯马尔可夫假定,则回归系数的“最佳线性无偏估计”(BLUE,英語:Best Linear unbiased estimator)就是普通最小二乘法估计[1]最佳估计是指相较于其他估计量有更小方差估计量,同时把对估计量的寻找限制在所有可能的线性无偏估计量中。此外,误差也不一定需要满足独立同分布正态分布

本定理主要以卡爾·弗里德里希·高斯安德烈·马尔可夫命名,虽然高斯的贡献要远比马尔可夫的重要。高斯以独立正态分布的假设推导出了结果,而马尔可夫将假设放宽到了上述的形式。

表述

简单(一元)线性回归模型

对于简单(一元)线性回归模型,

其中非随机但不能观测到的参数,非随机且可观测到的一般变量,不可观测的随机变量,或称为随机误差或噪音,可观测的随机变量。

高斯-马尔可夫定理的假设条件是:

  • 在总体模型中,各变量关系为(线性于参数)
  • 我们具有服从于上述模型的随机样本,样本容量为n(随机抽样),
  • x的样本结果为非完全相同的数值(解释变量的样本有波动),
  • 对于给定的解释变量,误差的期望为零,换言之 (零条件均值),
  • 对于给定的解释变量,误差具有相同的方差,换言之 (同方差性)。

则对的最佳线性无偏估计为,

多元线性回归模型

对于多元线性回归模型,

,

使用矩阵形式,线性回归模型可简化记为,其中采用了以下记号:

(观测值向量,Vector of Responses),

(设计矩阵,Design Matrix),

(参数向量,Vector of Parameters),

(随机误差向量,Vectors of Error)。

高斯-马尔可夫定理的假设条件是:

  • (零均值),
  • ,(同方差且不相关),其中为n阶单位矩阵(Identity Matrix)。

则对的最佳线性无偏估计为

证明

首先,注意的是这里数据是而非,我们希望找到对于的线性估计量,记作

其中分别是矩阵。

根据零均值假设所得,

其次,我们同时限制寻找的估计量为无偏的估计量,即要求,因此有

零矩阵),

参见

参考资料

  1. ^ Theil, Henri. Best Linear Unbiased Estimation and Prediction. Principles of Econometrics需要免费注册. New York: John Wiley & Sons. 1971: 119–124. ISBN 0-471-85845-5. 

外部連結