高斯過程

在概率論和統計學中，高斯過程（英語：Gaussian process）是觀測值出現在一個連續域（例如時間或空間）的隨機過程。在高斯過程中，連續輸入空間中每個點都是與一個常態分布的隨機變量相關聯。此外，這些隨機變量的每個有限集合都有一個多元常態分布，換句話說他們的任意有限線性組合是一個常態分布。高斯過程的分布是所有那些（無限多個）隨機變量的聯合分布，正因如此，它是連續域（例如時間或空間）上函數的分布。

高斯過程被認為是一種機器學習算法，是以惰性學習（英語：lazy learning）方式，利用點與點之間同質性的度量作為核函數（英語：Kernel function），以從輸入的訓練數據預測未知點的值。其預測結果不僅包含該點的值，而同時包含不確定性的資料－它的一維高斯分佈（即該點的邊際分佈）。^[1]^[2]

對於某些核函數，可以使用矩陣代數（見克里金法（英語：kriging）條目）來計算預測值。若核函數有代數參數，則通常使用軟體以擬合高斯過程的模型。

由於高斯過程是基於高斯分佈（正態分佈）的概念，故其以卡爾·弗里德里希·高斯為名。可以把高斯過程看成多元正態分佈的無限維廣義延伸。

高斯過程常用於統計建模中，而使用高斯過程的模型可以得到高斯過程的屬性。舉例來說，如果把一隨機過程用高斯過程建模，我們可以顯示求出各種導出量的分布，這些導出量可以是例如隨機過程在一定範圍次數內的平均值，及使用小範圍採樣次數及採樣值進行平均值預測的誤差。

定義

一統計學分佈定義為{X_t, t∈T}是一個高斯過程，若且唯若對下標集合T的任意有限子集t₁,...,t_k，

$X_{t_{1},\ldots ,t_{k}}=(X_{t_{1}},\ldots ,X_{t_{k}})$

是一個多元常態分布，這等同於說 $(X_{t_{1}},\ldots ,X_{t_{k}})$ 的任一線性組合是一單變量正態分佈。更準確地，取樣函數X_t 的任一線性泛函均會得出正態分佈。可以寫成X ~ GP(m,K)，即隨機函數X 以高斯過程（GP）方式分佈，且其平均數函數為m 及其協方差函數為K。^[3]當輸入向量t為二維或多維時，高斯過程亦可能被稱為高斯自由場（高斯場（英語：Gaussian random field））。^[4]

有些人^[5] 假設隨機變量 X_t 平均為0；其可以在不失一般性的前提下簡化運算，且高斯過程的均方屬性可完全由協方差函數K得出。^[6]

協方差函數

高斯過程的關鍵事實是它們可以完全由它們的二階統計量來定義.^[4]因此，如果高斯過程被假定為具有平均值零, defining 協方差函數完全定義了過程的行為。重要的是，這個函數的非負定性使得它的譜分解使用了 K-L轉換.

可以通過協方差函數定義的基本方面是過程的平穩過程, 各向同性, 光滑函數和週期函數。^[7]^[8]

平穩過程指的是過程的任何兩點x和x'的分離行為。如果過程是靜止的，取決於它們的分離x-x'，而如果非平穩則取決於x和x'的實際位置。例如，一個特例 Ornstein–Uhlenbeck 過程, 一個布朗運動過程，是固定的。

如果過程僅依賴於 $|x-x'|$ ，x和x'之間的歐幾里德距離（不是方向），那麼這個過程被認為是各向同性的。同時存在靜止和各向同性的過程被認為是同質與異質;^[9]在實踐中，這些屬性反映了在給定觀察者位置的過程的行為中的差異（或者更確切地說，缺乏這些差異）。

最終高斯過程翻譯為功能先驗，這些先驗的平滑性可以由協方差函數引起。如果我們預期對於「接近」的輸入點x和x'，其相應的輸出點y和y'也是「接近」，則存在連續性的假設。如果我們希望允許顯著的位移，那麼我們可以選擇一個更粗糙的協方差函數。行為的極端例子是Ornstein-Uhlenbeck協方差函數和前者不可微分和後者無限可微的平方指數。週期性是指在過程的行為中引發週期性模式。形式上，這是通過將輸入x映射到二維向量 $u(x)=(\cos(x),\sin(x))$ 來實現的。

常見的協方差函數

一些常見的協方差函數:^[8]

常值： $K_{\operatorname {C} }(x,x')=C$
線性： $K_{\operatorname {L} }(x,x')=x^{T}x'$
高斯噪聲: $K_{\operatorname {GN} }(x,x')=\sigma ^{2}\delta _{x,x'}$
平方指數: $K_{\operatorname {SE} }(x,x')=\exp {\Big (}-{\frac {\|d\|^{2}}{2\ell ^{2}}}{\Big )}$
Ornstein–Uhlenbeck : $K_{\operatorname {OU} }(x,x')=\exp \left(-{\frac {|d|}{\ell }}\right)$
Matérn: $K_{\operatorname {Matern} }(x,x')={\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Big (}{\frac {{\sqrt {2\nu }}|d|}{\ell }}{\Big )}^{\nu }K_{\nu }{\Big (}{\frac {{\sqrt {2\nu }}|d|}{\ell }}{\Big )}$
定期: $K_{\operatorname {P} }(x,x')=\exp \left(-{\frac {2\sin ^{2}\left({\frac {d}{2}}\right)}{\ell ^{2}}}\right)$
有理二次方: $K_{\operatorname {RQ} }(x,x')=(1+|d|^{2})^{-\alpha },\quad \alpha \geq 0$

註譯

^ Platypus Innovation: A Simple Intro to Gaussian Processes (a great data modelling tool). [2016-11-02]. （原始內容存檔於2018-05-01）.
^ Chen, Zexun; Wang, Bo; Gorban, Alexander N. Multivariate Gaussian and Student-t process regression for multi-output prediction. Neural Computing and Applications. 2019-12-31. ISSN 0941-0643. doi:10.1007/s00521-019-04687-8 （英語）.
^ Rasmussen, C. E. Gaussian Processes in Machine Learning. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science 3176. 2004: 63–71. ISBN 978-3-540-23122-6. doi:10.1007/978-3-540-28650-9_4.
^ ^4.0 ^4.1 Bishop, C.M. Pattern Recognition and Machine Learning. Springer. 2006. ISBN 0-387-31073-8.
^ Simon, Barry. Functional Integration and Quantum Physics. Academic Press. 1979.
^ Seeger, Matthias. Gaussian Processes for Machine Learning. International Journal of Neural Systems. 2004, 14 (2): 69–104. doi:10.1142/s0129065704001899.
^ Barber, David. Bayesian Reasoning and Machine Learning. Cambridge University Press. 2012 [2018-06-26]. ISBN 978-0-521-51814-7. （原始內容存檔於2020-11-11）.
^ ^8.0 ^8.1 Rasmussen, C.E.; Williams, C.K.I. Gaussian Processes for Machine Learning. MIT Press. 2006 [2018-06-26]. ISBN 0-262-18253-X. （原始內容存檔於2021-05-22）.
^ Grimmett, Geoffrey; David Stirzaker. Probability and Random Processes. Oxford University Press. 2001. ISBN 0198572220.

[1] Platypus Innovation: A Simple Intro to Gaussian Processes (a great data modelling tool). [2016-11-02]. （原始內容存檔於2018-05-01）.

[2] Chen, Zexun; Wang, Bo; Gorban, Alexander N. Multivariate Gaussian and Student-t process regression for multi-output prediction. Neural Computing and Applications. 2019-12-31. ISSN 0941-0643. doi:10.1007/s00521-019-04687-8 （英語）.

[3] Rasmussen, C. E. Gaussian Processes in Machine Learning. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science 3176. 2004: 63–71. ISBN 978-3-540-23122-6. doi:10.1007/978-3-540-28650-9_4.

[prml-4] 4.0 ^4.1 Bishop, C.M. Pattern Recognition and Machine Learning. Springer. 2006. ISBN 0-387-31073-8.

[5] Simon, Barry. Functional Integration and Quantum Physics. Academic Press. 1979.

[seegerGPML-6] Seeger, Matthias. Gaussian Processes for Machine Learning. International Journal of Neural Systems. 2004, 14 (2): 69–104. doi:10.1142/s0129065704001899.

[brml-7] Barber, David. Bayesian Reasoning and Machine Learning. Cambridge University Press. 2012 [2018-06-26]. ISBN 978-0-521-51814-7. （原始內容存檔於2020-11-11）.

[gpml-8] 8.0 ^8.1 Rasmussen, C.E.; Williams, C.K.I. Gaussian Processes for Machine Learning. MIT Press. 2006 [2018-06-26]. ISBN 0-262-18253-X. （原始內容存檔於2021-05-22）.

[PRP-9] Grimmett, Geoffrey; David Stirzaker. Probability and Random Processes. Oxford University Press. 2001. ISBN 0198572220.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

閱論編概率論：隨機過程
離散時間（英語：Discrete-time stochastic process）	伯努利過程分支過程中餐館過程高爾頓-沃特森過程（英語：Galton–Watson process）獨立同分布馬爾可夫鏈莫蘭過程（英語：Moran process）隨機漫步循環擦除隨機漫步（英語：Loop-erased）自避行走
連續時間	貝塞爾過程出生-死亡過程維納過程/布朗運動布朗橋 Excursion（英語：Brownian excursion）分數布朗運動（英語：Fractional Brownian motion）幾何布朗運動 Meander（英語：Brownian meander）柯西過程（英語：Cauchy process） Contact process（英語：Contact process (mathematics)） Cox process（英語：科克斯过程） Diffusion process（英語：Diffusion process） Empirical process（英語：Empirical process）費勒過程（英語：Feller process）弗萊明-維奧過程（英語：Fleming–Viot process）伽馬過程（英語：Gamma process）亨特過程（英語：Hunt process） Interacting particle system（英語：Interacting particle system）s 伊藤積分伊藤過程跳躍擴散（英語：Jump diffusion）跳躍過程萊維過程 Local time（英語：Local time (mathematics)）馬爾可夫加過程（英語：Markov additive process）麥基恩-弗拉索夫過程（英語：McKean–Vlasov process）奧恩斯坦-烏倫貝克過程泊松過程複合泊松過程（英語：Compound Poisson process）非齊次泊松過程泊松點過程施拉姆-勒夫納演進半鞅 Sigma-martingale（英語：Sigma-martingale） Stable process（英語：Stable process） Superprocess（英語：Superprocess） Telegraph process（英語：Telegraph process） Variance gamma process（英語：Variance gamma process）維納過程 Wiener sausage（英語：Wiener sausage）
離散時間與連續時間	分支過程高斯過程隱馬爾可夫模型（HMM）馬可夫過程鞅鞅差序列（英語：Martingale difference sequence）局部鞅（英語：Local martingale） Sub- Super-（英語：Super-） Random dynamical system（英語：Random dynamical system） Regenerative process（英語：Regenerative process） Renewal process（英語：Renewal process）白雜訊
場及其它	狄利克雷過程（英語：Dirichlet process）高斯隨機場（英語：Gaussian random field）吉布斯測度（英語：Gibbs measure）霍普菲爾德神經網絡易辛模型馬爾可夫網絡滲流理論皮特曼-約爾過程（英語：Pitman–Yor process）點過程 Cox（英語：Point process#Cox point process）泊松過程玻茨模型隨機場隨機圖
時間序列模型	ARCH模型 ARIMA模型自我迴歸模型 ARMA模型廣義ARCH模型移動平均模型
金融模型	布萊克-德爾曼-托伊模型（英語：Black–Derman–Toy model）布萊克-卡拉辛斯基模型（英語：Black–Karasinski model）布萊克-舒爾斯模型陳模型 Constant elasticity of variance (CEV)（英語：Constant elasticity of variance model）科克斯-英格索爾-羅斯模型 (CIR)（英語：Cox–Ingersoll–Ross model） Garman–Kohlhagen（英語：Garman–Kohlhagen model） HJM框架赫斯頓模型（英語：Heston model） Ho–Lee（英語：Ho–Lee model）赫爾-懷特模型 LIBOR市場模型（英語：LIBOR market model） SABR volatility（英語：SABR volatility model）瓦西塞克模型（英語：Vasicek model）
精算學	Bühlmann（英語：Bühlmann model） Cramér–Lundberg（英語：Cramér–Lundberg model） Risk process（英語：Risk process） Sparre–Anderson（英語：Sparre–Anderson model）
等候理論	Bulk（英語：Bulk queue） Fluid（英語：Fluid queue） Generalized queueing network（英語：G-network） M/G/1（英語：M/G/1 queue） M/M/1 M/M/c（英語：M/M/c queue）
性質	右連左極函數 Continuous（英語：Continuous stochastic process） Continuous paths（英語：Sample-continuous process）遍歷性 Exchangeable（英語：Exchangeable random variables） Feller-continuous（英語：Feller-continuous process） Gauss–Markov（英語：Gauss–Markov process）馬爾可夫性質 Mixing（英語：Mixing (mathematics)） Piecewise deterministic（英語：Piecewise deterministic Markov process）可預測過程循序可測過程 Self-similar（英語：Self-similar process）平穩過程 Time-reversible（英語：Time reversibility）
極限定理	中心極限定理 Donsker's theorem（英語：Donsker's theorem） Doob's martingale convergence theorems（英語：Doob's martingale convergence theorems）遍歷理論 Fisher–Tippett–Gnedenko theorem（英語：Fisher–Tippett–Gnedenko theorem） Large deviation principle（英語：Large deviation principle）大數法則重對數律 Maximal ergodic theorem（英語：Maximal ergodic theorem） Sanov's theorem（英語：Sanov's theorem）
不等式	Burkholder–Davis–Gundy（英語：Burkholder–Davis–Gundy inequalities） Doob's martingale（英語：Doob's martingale inequality） Kunita–Watanabe（英語：Kunita–Watanabe inequality）
工具	Cameron–Martin formula（英語：Cameron–Martin formula）隨機變量的收斂 Doléans-Dade exponential（英語：Doléans-Dade exponential） Doob decomposition theorem（英語：Doob decomposition theorem） Doob–Meyer decomposition theorem（英語：Doob–Meyer decomposition theorem） Doob's optional stopping theorem（英語：Doob's optional stopping theorem） Dynkin's formula（英語：Dynkin's formula）費曼-卡茨公式右連左極函數 Girsanov theorem（英語：Girsanov theorem） Infinitesimal generator（英語：Infinitesimal generator (stochastic processes)）伊藤積分伊藤引理 Kolmogorov continuity theorem（英語：Kolmogorov continuity theorem） Kolmogorov extension theorem（英語：Kolmogorov extension theorem） Lévy–Prokhorov metric（英語：Lévy–Prokhorov metric） Malliavin calculus（英語：Malliavin calculus） Martingale representation theorem（英語：Martingale representation theorem） Optional stopping theorem（英語：Optional stopping theorem） Prohorov theorem（英語：Prohorov theorem）二次變差 Reflection principle（英語：Reflection principle (Wiener process)） Skorokhod integral（英語：Skorokhod integral） Skorokhod's representation theorem（英語：Skorokhod's representation theorem）右連左極函數 Snell envelope（英語：Snell envelope）隨機微分方程 Tanaka（英語：Tanaka equation）停時隨機積分 Uniform integrability（英語：Uniform integrability） Usual hypotheses（英語：Usual hypotheses）維納空間 Classical（英語：Classical Wiener space） Abstract 漂移項
相關領域	精算學計量經濟學遍歷理論極值理論（EVT） Large deviations theory（英語：Large deviations theory）數理金融學數理統計學概率論等候理論 Renewal theory（英語：Renewal theory） Ruin theory（英語：Ruin theory）統計學隨機分析時間序列分析機器學習
分類