15K
2579
受限玻耳茲曼機
RBM是玻耳茲曼機(Boltzmann machine,BM)的一種特殊拓撲結構。RBM是BM的一種變體,其限定模型為二分圖。模型中包含對應輸入參數的可見單元和對應訓練結果的隱藏單元,兩組單元中的每一組的一對節點具有對稱連接。相比之下,無限制BM可能包含隱藏單元間的連接,這種限定使得相比一般BM更高效的訓練算法成為可能,特別是基于梯度的對比分歧(contrastive divergence)算法。
RBM由一個可見神經元層和一個隱藏神經元層組成。由于隱層神經元之間沒有相互連接且隱層神經元獨立于給定的訓練樣本,這使得直接計算依賴數據的期望值變得容易。可見層神經元之間也沒有相互連接。通過從訓練樣本得到的隱層神經元狀態上執行馬爾可夫鏈(Markov chain,MC)抽樣過程,來估計獨立于數據的期望值,并行交替更新所有可見層神經元和隱層神經元的值。
BM及其模型已經成功應用于協同濾波、分類、降維、圖像檢索、信息檢索、語言處理、自動語音識別、時間序列建模、文檔分類、非線性嵌入學習、暫態數據模型學習和信號與信息處理等任務。RBM在降維、分類、協同過濾、特征學習和主題建模中都有應用。根據任務的不同,可以以監督學習或無監督學習的方法進行訓練。RBM也可被用于深度學習網絡,可使用多個RBM堆疊并可選地使用梯度下降法和反向傳播算法進行調優,便可得到深層信任網絡。