• 即将更新编译原理,机器学习,JavaScript,HTML/CSS等文章,谢谢关注~
  • 由于算法限制,搜索时注意简化关键字,谢谢支持~
  • 网站不兼容IE5.0及以下,请使用主流浏览器访问.
  • SFS与SBS特征选择算法

    (1)序列前向选择( SFS , Sequential Forward Selection )

    算法描述:特征子集X从空集开始,每次选择一个特征x加入特征子集X,使得特征函数J( X)最优。简单说就是,每次都选择一个使得评价函数的取值达到最优的特征加入,其实就是一种简单的贪心算法。

    算法评价:缺点是只能加入特征而不能去除特征。例如:特征A完全依赖于特征B与C,可以认为如果加入了特征B与C则A就是多余的。假设序列前向选择算法首先将A加入特征集,然后又将B与C加入,那么特征子集中就包含了多余的特征A。

    代码:

     

    (2)序列后向选择( SBS , Sequential Backward Selection )

    算法描述:从特征全集O开始,每次从特征集O中剔除一个特征x,使得剔除特征x后评价函数值达到最优。

    算法评价:序列后向选择与序列前向选择正好相反,它的缺点是特征只能去除不能加入。

    代码:

     

    另外,SFS与SBS都属于贪心算法,容易陷入局部最优值。

    读者评分
    [评分人数: 0 平均分: 0]

    评论

    OmegaXYZ