受限玻爾茲曼機

包含三個可見單元和四個隱單元的受限玻茲曼機示意圖（不包含偏置節點）

受限玻爾茲曼機（英語：restricted Boltzmann machine, RBM）是一種可通過輸入數據集學習概率分布的隨機生成神經網絡。RBM最初由發明者保羅·斯模稜斯基於1986年命名為簧風琴（Harmonium），但直到傑弗里·辛頓及其合作者在2000年代中葉發明快速學習算法後，受限玻茲曼機才變得知名。受限玻茲曼機在降維、分類、協同過濾、特徵學習和主題建模中得到了應用。根據任務的不同，受限玻茲曼機可以使用監督學習或無監督學習的方法進行訓練。

正如名字所提示的那樣，受限玻茲曼機是一種玻茲曼機的變體，但限定模型必須為二分圖。模型中包含對應輸入參數的輸入（可見）單元和對應訓練結果的隱單元，圖中的每條邊必須連接一個可見單元和一個隱單元。（與此相對，「無限制」玻茲曼機包含隱單元間的邊，使之成為循環神經網絡。）這一限定使得相比一般玻茲曼機更高效的訓練算法成為可能，特別是基於梯度的對比分歧（contrastive divergence）算法。

受限玻茲曼機也可被用於深度學習網絡。具體地，深度信念網絡可使用多個RBM堆疊而成，並可使用梯度下降法和反向傳播算法進行調優。

結構

標準的受限玻爾茲曼機由二值（布爾/伯努利）隱層和可見層單元組成。權重矩陣$W=(w_{i,j})$中的每個元素指定了隱層單元$h_{i}$和可見層單元$v_{j}$之間邊的權重。此外對於每個可見層單元$v_{i}$有偏置$a_{i}$，對每個隱層單元$h_{j}$有偏置$b_{j}$。在這些定義下，一種受限玻爾茲曼機配置（即給定每個單元取值）的「能量」(v,h)被定義為

$E(v,h)=-\sum _{i}a_{i}v_{i}-\sum _{j}b_{j}h_{j}-\sum _{i}\sum _{j}h_{j}w_{i,j}v_{i}$

或者用矩陣的形式表示如下：

$E(v,h)=-a^{\mathrm {T} }v-b^{\mathrm {T} }h-h^{\mathrm {T} }Wv$

這一能量函數的形式與霍普菲爾德神經網絡相似。在一般的玻爾茲曼機中，隱層和可見層之間的聯合概率分布由能量函數給出：

$P(v,h)={\frac {1}{Z}}e^{-E(v,h)}$

其中，$Z$為配分函數，定義為在節點的所有可能取值下$e^{-E(v,h)}$的和（亦即使得概率分布和為1的歸一化常數）。類似地，可見層取值的邊緣分布可通過對所有隱層配置求和得到：

$P(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}$

由於RBM為一個二分圖，層內沒有邊相連，因而隱層是否激活在給定可見層節點取值的情況下是條件獨立的。類似地，可見層節點的激活狀態在給定隱層取值的情況下也條件獨立。亦即，對$m$個可見層節點和$n$個隱層節點，可見層的配置v對於隱層配置h的條件概率如下：

$P(v|h)=\prod _{i=1}^{m}P(v_{i}|h)$.

類似地，h對於v的條件概率為

$P(h|v)=\prod _{j=1}^{n}P(h_{j}|v)$.

其中，單個節點的激活概率為

$P(h_{j}=1|v)=\sigma \left(b_{j}+\sum _{i=1}^{m}w_{i,j}v_{i}\right)\,$和$\,P(v_{i}=1|h)=\sigma \left(a_{i}+\sum _{j=1}^{n}w_{i,j}h_{j}\right)$

其中$\sigma$代表邏輯函數。

與其他模型的關係

受限玻爾茲曼機是玻爾茲曼機和馬爾科夫隨機場的一種特例。這些概率圖模型可以對應到因子分析。

訓練算法

受限玻爾茲曼機的訓練目標是針對某一訓練集$V$，最大化概率的乘積。其中，$V$被視為一矩陣，每個行向量作為一個可見單元向量解析失败 (SVG（MathML可通过浏览器插件启用）：从服务器“http://localhost:6011/zh.wikipedia.org/v1/”返回无效的响应（“Math extension cannot connect to Restbase.”）：): {\displaystyle v} ：

$\arg \max _{W}\prod _{v\in V}P(v)$

或者，等價地，最大化$V$的對數概率期望：

$\arg \max _{W}\mathbb {E} \left[\sum _{v\in V}\log P(v)\right]$

訓練受限玻爾茲曼機，即最優化權重矩陣$W$，最常用的算法是傑弗里·辛頓提出的對比分歧（contrastive divergence，CD）算法。這一算法最早被用於訓練辛頓提出的「專家積」模型。這一算法在梯度下降的過程中使用吉布斯採樣完成對權重的更新，與訓練前饋神經網絡中利用反向傳播算法類似。

基本的針對一個樣本的單步對比分歧（CD-1）步驟可被總結如下：

1. 取一個訓練樣本v，計算隱層節點的概率，在此基礎上從這一概率分布中獲取一個隱層節點激活向量的樣本h；
2. 計算v和h的外積，稱為「正梯度」；
3. 從h獲取一個重構的可見層節點的激活向量樣本v'，此後從v'再次獲得一個隱層節點的激活向量樣本h'；
4. 計算v'和h'的外積，稱為「負梯度」；
5. 使用正梯度和負梯度的差以一定的學習率更新權重$w_{i,j}$：$\Delta w_{i,j}=\epsilon (vh^{\mathsf {T}}-v'h'^{\mathsf {T}})$。

偏置a和b也可以使用類似的方法更新。

參見

• 自編碼
• 自編碼器
• 深度學習
• Hopfield神經網絡

外部連結

• Introduction to Restricted Boltzmann Machines（頁面存檔備份，存於網際網路檔案館）. Edwin Chen's blog, July 18, 2011.