混合專家模型
機器學習與資料探勘 |
---|
![]() |
混合專家模型(英語:mixture of experts,簡稱MoE),或譯為多專家模型,是一種機器學習技術,通過門控(gating)模型將單一任務空間劃分為多個子任務,再由多個專家網絡(子模型)分別處理特定的子任務,最終得到整體的預測結果。[1]混合專家模型與集成學習有相似之處,它們都應用多個子模型來處理問題。但它們的區別在於,混合專家模型中的每個專家都是針對不同的數據子空間進行訓練的,以適應不同類型的輸入數據。而集成學習一般而言則是使用多種模型對整個數據空間進行訓練。
層級混合專家模型 (英語:hierarchical mixtures of experts)是包含多個層級的混合專家模型。與使用單一門控模型的普通混合專家模型相比,層級混合專家模型中的門控模型呈類似決策樹的多層結構,以適應更為複雜與靈活的應用場景。[2]
參考文獻
- ^ Baldacchino, Tara; Cross, Elizabeth J.; Worden, Keith; Rowson, Jennifer. Variational Bayesian mixture of experts models and sensitivity analysis for nonlinear dynamical systems. Mechanical Systems and Signal Processing. 2016, 66–67: 178–200. Bibcode:2016MSSP...66..178B. doi:10.1016/j.ymssp.2015.05.009.
- ^ Hauskrecht, Milos. Ensamble methods: Mixtures of experts (Presentation) (PDF). [2023-06-27]. (原始內容存檔 (PDF)於2023-04-04).