簡單線性迴歸

奧肯法則在總體經濟學是簡單線性迴歸的實例。圖中應變數（經濟增長率）被推論為與自變數（失業率變動）存在負向的線性關係。

在統計學中，簡單線性迴歸是指僅具有單一的自變數的線性迴歸，其中「簡單」係單一自變數之意。此迴歸可用於估計有限的截距與斜率以推論應變數在特定自變數為條件下的均值。

普通最小二乘法是常見用於尋求簡單線性迴歸式的方法，目的是得到能使殘差平方和最小的迴歸式。其它方法，諸如最小絕對偏差（使殘差絕對值的總和最小）、泰爾－森估算（所有樣本點兩兩配對的斜率中位數做為整體斜率）等，亦可應用於簡單線性迴歸的命題。戴明迴歸（考慮自變數與應變數同時為誤差來源）的功能雖然與上述方法相似但不屬於簡單線性迴歸的範疇，因其不區分自變數與應變數且可能得到多個迴歸式。

以最小平方法處理簡單線性迴歸，則求得的斜率β等於自變數x與應變數y的皮爾森積動差相關係數與二者的標準偏差比值的乘積，

${\hat {\beta }}=r_{x,y}{\frac {s_{y}}{s_{x}}}$

而再考慮截距α則保證使迴歸線通過自變數與應變數的均值 (x, y)。

計算迴歸式

以下皆以普通最小二乘法求解簡單線性迴歸式。考慮以下的數學模型函數

$y=\alpha +\beta x$，

是一條斜率為β且y軸截距為α的直線。通常實際上自變數與應變數並非如此完美的關係而存在未知的誤差ε_i，即

$y_{i}=\alpha +\beta x_{i}+\varepsilon _{i},i=1,\ldots ,n$，

以表示第$i$對資料中自變數與應變數的關係。此模型稱為簡單線性模型。

計算迴歸式的目標是根據資料計算估計值${\hat {\alpha }}$與${\hat {\beta }}$以「最佳地」估計參數α與β。由於採用最小平方法進行計算，「最佳」係指能使殘差平方和${\hat {\varepsilon }}_{i}=y_{i}-\alpha -\beta x_{i}$最小的參數估計值為目標。換句話說，我們尋求能使Q函數值最小的解，

$Q(\alpha ,\beta )=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}$。

此解為${\hat {\alpha }}$與${\hat {\beta }}$，

${\textstyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-({\hat {\beta }}\,{\bar {x}}),\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\\&={\frac {s_{x,y}}{s_{x}^{2}}}\\&=r_{xy}{\frac {s_{y}}{s_{x}}}\end{aligned}}}$

其中

• ${\bar {x}}$與${\bar {y}}$分別為x_i與y_i的計數平均數，
• r_xy為x與y的皮爾森積動差相關係數，
• s_x與s_y分別為x與y的樣本標準偏差，
• $s_{x}^{2}$與$s_{x,y}$分別為x的樣本變異數及x與y間的樣本共變異數。

將${\hat {\alpha }}$與${\hat {\beta }}$帶入

${\hat {y}}={\hat {\alpha }}+{\hat {\beta }}x$

可得

${\frac {{\hat {y}}-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}$。

此式呈現了r_xy為預先將自變數與應變數預先標準化後的迴歸斜率。由於r_xy界於-1與1之間，左式的絕對值勢必不大於右式，體現了趨中迴歸的現象。

以${\overline {xy}}$表示對應的x與y的乘積和，

${\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}$，

可使r_xy簡化成

$r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}$。

簡單線性迴歸的判定係數即為二變數間皮爾森積動差相關係數的平方：

$R^{2}=r_{xy}^{2}$。

迴歸係數（斜率）的意義

將${\hat {\beta }}$的估計式分子乘以${\frac {(x_{i}-{\bar {x}})}{(x_{i}-{\bar {x}})}}$，可改寫為

${\hat {\beta }}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}\times {\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}\right)}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}$。

可以看出，迴歸式的斜率為${\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}$以$(x_{i}-{\bar {x}})^{2}$為權數的加權平均。因此，$(x_{i}-{\bar {x}})^{2}$越大的資料對斜率${\hat {\beta }}$的影響力越大。

截距的意義

${\hat {\alpha }}$可經由下列式子估算： ${\hat {\alpha }}={\bar {y}}-{\hat {\beta }}\ {\bar {x}}$。 由於${\hat {\beta }}=\tan(\theta )=dy/dx\rightarrow dy=dx\times {\hat {\beta }}$，其中$\theta$即為與橫軸正值的夾角，可以得到${\hat {\alpha }}={\bar {y}}-dx\times {\hat {\beta }}={\bar {y}}-dy$。