【西瓜书】 008 集成学习

集成学习通过构建多个学习器来完成学习任务。

同质集成中的个体学习器亦称为基学习器，相应的学习算法成为基学习算法。

异质集成中的个体学习器由不同的学习算法生成，这是就不再有基学习算法； 相应的，个体学习器一般不称为基学习器，常称为组件学习器或个体学习器。

弱学习器常指泛化性能略优于随机猜测的学习器。

要获得好的集成，个体学习器应“好而不同”

目前的集成学习方法分为两类

1. 个体学习器间存在强依赖关系，必须串行生成的序列化方法 代表是Boosting
2. 个体学习器间不存在强依赖关系，可同时生产的并行化方法 代表是Bagging和随机森林

Boosting

AdaBoost是这种方法的代表

Bagging和随机森林

结合策略

多样性