本文共 885 字，大约阅读时间需要 2 分钟。
特征选择是一个重要的数据预处理过程，去除不相关的属性，可以减轻维数灾难，并且降低学习任务的难度。
特征选择过程必须确保不丢失重要特征。 需要去除的特征如无关特征和冗余特征（冗余特征有时能简化问题，具体问题具体分析）。1、子集搜索
前向搜索：假定特征子集{a2}最优，再把{a2}与剩余的各个特征子集组合出{a2，ai}评估，如果{a2，a4}最优，则保留，再用{a2，a4}进行下一轮组合，直至迭代到得不到优化为止。 后向搜索：从完整的特征集合开始，每次尝试去掉一个无关特征，类似前向每次增加最优的一个，而后向是每次去掉最差的一个。 双向搜索：结合前后向搜索。 上述策略都是贪心的，如果没有穷举搜索，则无法找出全局最优组合。 2、子集评价 通过信息增益、不合度量、相关系数等度量对特征子集进行优劣的评估。 如将前向搜索和信息熵组合，与决策树算法非常相似。1、过滤式选择
先选择，后训练。 代表算法：Relief（适用于二分类问题）、Relief-F（适用于多分类问题） 2、包裹式选择 训练出的学习器性能作为特征子集的评价标准，效果更佳，但开销大。 代表算法：LVW，开销大，可给定终止条件T。 3、嵌入式选择 特征选择和训练过程再同一个优化过程中完成，即：在训练过程中自动进行特征选择稀疏性能使大多数问题变得线性可分。
要恰当稀疏不要过度稀疏。 字典学习（稀疏编码）：为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表示形式。 字典学习更侧重于学得字典的过程，稀疏编码更侧重于对样本进行稀疏表达的过程。 通过设置词汇量k的大小来控制字典的规模，从而影响到稀疏程度。压缩感知关注的是如何利用信号本身所具有的稀疏性，从部分观测样本中恢复原信号。
压缩感知分为两个阶段： 1、感知测量：对原始信号进行处理以获得稀疏样本表示，这方面的内容涉及傅里叶变换、小波变换、字典学习、稀疏编码等。 2、重构恢复：基于稀疏性从少量观测中恢复原信号，压缩感知的精髓，通常说的压缩感知就是指的这部分。转载地址：http://iibgi.baihongyu.com/