混合专家模型
机器学习与数据挖掘 |
---|
![]() |
混合专家模型(英語:mixture of experts,简称MoE),或译为多专家模型,是一种机器学习技术,通过门控(gating)模型将单一任务空间划分为多个子任务,再由多个专家网络(子模型)分别处理特定的子任务,最终得到整体的预测结果。[1]混合专家模型与集成学习有相似之处,它们都应用多个子模型来处理问题。但它们的区别在于,混合专家模型中的每个专家都是针对不同的数据子空间进行训练的,以适应不同类型的输入数据。而集成学习一般而言则是使用多种模型对整个数据空间进行训练。
层级混合专家模型 (英語:hierarchical mixtures of experts)是包含多个层级的混合专家模型。与使用单一门控模型的普通混合专家模型相比,层级混合专家模型中的门控模型呈类似决策树的多层结构,以适应更为复杂与灵活的应用场景。[2]
参考文献
- ^ Baldacchino, Tara; Cross, Elizabeth J.; Worden, Keith; Rowson, Jennifer. Variational Bayesian mixture of experts models and sensitivity analysis for nonlinear dynamical systems. Mechanical Systems and Signal Processing. 2016, 66–67: 178–200. Bibcode:2016MSSP...66..178B. doi:10.1016/j.ymssp.2015.05.009.
- ^ Hauskrecht, Milos. Ensamble methods: Mixtures of experts (Presentation) (PDF). [2023-06-27]. (原始内容存档 (PDF)于2023-04-04).