【西瓜书】 011 特征选择与稀疏学习

进行特征选择的原因：

1. 减轻维度灾难
2. 去除不相关特征会降低学习难度

特征选择：

1. 子集搜索 贪心算法
2. 前向搜索
3. 后向搜索
4. 双向搜索
5. 子集评价 信息增益

常见特征选择方法可分为三类

1. 过滤式
2. 包裹式
3. 嵌入式

过滤式选择

现对数据集进行特征选择，然后训练学习器。 特征选择过程与学习器与后续学习器无关。

包裹式选择

直接把最重要使用的学习器的性能作为特征子集的评价标准。 目的是为给定学习器选择最有利于其性能，量身定做的特征子集。

嵌入式选择与L1正则化

系数表示与字典学习

压缩感知