基于互信息的特征选择算法MATLAB实现

在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数,互信息并不局限于实值随机变量,它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息最常用的单位是bit。

互信息的定义

正式地,两个离散随机变量 X 和 Y 的互信息可以定义为:

其中 p(x,y) 是 X 和 Y 的联合概率分布函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。

在连续随机变量的情形下,求和被替换成了二重定积分:

其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。

互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。如果对数以 2 为基底,互信息的单位是bit。

直观上,互信息度量 X 和 Y 共享的信息:它度量知道这两个变量其中一个,对另一个不确定度减少的程度。例如,如果 X 和 Y 相互独立,则知道 X 不对 Y 提供任何信息,反之亦然,所以它们的互信息为零。在另一个极端,如果 X 是 Y 的一个确定性函数,且 Y 也是 X 的一个确定性函数,那么传递的所有信息被 X 和 Y 共享:知道 X 决定 Y 的值,反之亦然。因此,在此情形互信息与 Y(或 X)单独包含的不确定度相同,称作 Y(或 X)的熵。而且,这个互信息与 X 的熵和 Y 的熵相同。(这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。)

互信息是 X 和 Y 联合分布相对于假定 X 和 Y 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性:I(X; Y) = 0 当且仅当 X 和 Y 为独立随机变量。从一个方向很容易看出:当 X 和 Y 独立时,p(x,y) = p(x) p(y),因此:

此外,互信息是非负的(即 I(X;Y) ≥ 0; 见下文),而且是对称的(即 I(X;Y) = I(Y;X))。

更多互信息内容请访问:http://www.omegaxyz.com/2018/08/02/mi/

互信息特征选择算法的步骤

  • ①划分数据集
  • ②利用互信息对特征进行排序
  • ③选择前n个特征利用SVM进行训练
  • ④在测试集上评价特征子集计算错误率

缺点

此种特征选择方法是最大化特征与分类变量之间的相关度,就是选择与分类变量拥有最高相关度的前k个变量。但是,在特征选择中,单个好的特征的组合并不能增加分类器的性能,因为有可能特征之间是高度相关的,这就导致了特征变量的冗余。

代码

注意使用的数据集是dlbcl,大概五千多维,可以从UCI上下载,最终选择前100特征进行训练。

主函数代码:

mutInfFS.m

muteinf.m

前100个特征的效果:

Accuracy: 86.36%, Error-Rate: 0.14

选择前两个特征进行训练(压缩率接近100%,把上述代码中的K设为2即可)的二维图:

Accuracy: 75.00%, Error-Rate: 0.25

数据集:https://github.com/xyjigsaw/Dataset

 

据集:# M!-labw/Dat集:# 计算论w/Dat集:# 前两> /tdiv>

" alt="300idth="576"187mage-4879" 76w, https://www.omegaxyz.com/wp-content/uploads2000vdth=
n章/t信 < %计算公式及概述 <
n章/t信 <

" alt="300idth="576"212mage-4879" 76w, https://www.omegaxyz.com/wp-content/uploa4/mlb/08/MI12.jpgng="async"ttachmm/wnmediumalignnmediumaaxypost--fullMIFS1.png

2000vdth=< an>< >

" alt="300idth="576"188mage-4879" 76w, https://www.omegaxyz.com/wp-content/up9/03/"itanic/08/M188.jpgng="async"ttachmm/wnmediumalignnmediumaaxypost--fullMIFS1.png

^aggle入门泰坦尼克号乘客生还预测5tae h"

  • 2019-03-10

    " alt="300idth="576"212mage-4879" 76w, https://www.omegaxyz.com/wp-content/uploa4/mlb/08/MI12.jpgng="async"ttachmm/wnmediumalignnmediumaaxypost--fullMIFS1.png

    前100䦻散化与>h"

  • 2018-08-08

    " alt="300idth="576"132mage-4879" 76w, https://www.omegaxyz.com/wp-content/up9s02/BA2/08/M132/08/MI="async"ttachmm/wnmediumalignnmediumaaxypost--fullMIFS1.png

    廏典蝙蝠n-c"MATLAB实现5tae h"

  • 2019-02/12

    " alt="300idth="576"253mage-4879" 76w, https://www.omegaxyz.com/wp-content/up9/03/hypgrvolume8/08/MI53/08/MI="async"ttachmm/wnmediumalignnmediumaaxypost--fullMIFS1.png

    HypgrVolume多目标评价指标概述5tae h"

  • 2019-03-09able> able> /tarticle/d < an> tul/div> ;
  • 5;vg an>" alt="15" th="576"15vdviewBox="0 0 15 15">5;aan-futeTransyo
    <"ttributeNameettransyo <"div><"ttributeTypgetXML"div>//div>5t信 < ;
    tyo < ac-ias="
    <'son'lan>Englishsp; &nb(7)barassp; &nb(42) &nb常识sp; &nb(3) &nb程序人生sp; &nb(26) &nb随笔sp; &nb(16) &nb面试sp; &nb(1) &nbAPP开发sp; &nb(18) &nbWeb开发sp; &nb(38) &nb其它sp; &nb(14) &nb操作系统sp; &nb(20) &nb5

    库sp; &nb(16) &nb5

    结构sp; &nb(51) &nb机器学习sp; &nb(195) &nbrayon-h"> &nb深度学习sp; &nb(37) &nbrayon-h"> &nb知识图谱sp; &nb(25) &nbrayon-h"> &nb自然语言处理sp; &nb(21) &nbrayon-h"> &nbyon-c"视觉sp; &nb(11) &nbrayon-h"> &nb进化n-c"sp; &nb(69) &nb汇编语言sp; &nb(16) &nb组成原理与体系结构sp; &nb(7) &nb编译原理sp; &nb(13) &nbyon-c"图形学sp; &nb(4) &nbyon-c"> &nb软件工程sp; &nb(29) &nb高级语言sp; &nb(372) &nbrayon-h"> &nbCrayonC++sp; &nb(131) &nbrayon-h"> &nbJAVAsp; &nb(29) &nbrayon-h"> &nbJavaScriptrayonHtmlsp; &nb(23) &nbrayon-h"> &nbM!-labsp; &nb(48) &nbrayon-h"> &nbPythonsp; &nb(150) (func-ias() { var dropdown = documm/w.-htElemm/wById( asonr ); func-ias onCatChange() { if ( dropdown.op-iass[ dropdown.elen-eiIndex ].value > 0 ) { dropdown.parm/wNode.submit(); } } dropdown.onchange = onCatChange; })(); 5tcript> >; / div> div> div> th2In_nbsp;margin-botidg:var(--"pn-preset--spacing--20); fontn-bze:13px;fontnwh="57:5-cn:/div>敉w/Datth2c tn>div> 增强策略w/Datth2c tn> t/div> ble> a-bar an> /

    " alt="100idth="576"100idFS1.pZhao MoMIn_nbsp;aspentnr!-ia: 1/1;vw < Zhao Mo &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw &ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.pyaqiMIn_nbsp;aspentnr!-ia: 1/1;vw < yaqi 集吗?>https上面那个打不开,请博主发一份yq13835520722@163.ome,非常感谢!!

    &ndiv> /tarticle/dittli /

  • " alt="100idth="576"100idFS1.p姜芷七MIn_nbsp;aspentnr!-ia: 1/1;vw < 姜芷七 集吗?谢谢,1040634393@qq.ome.

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw 集已经上传到Dataset">https://github.com/xyjigsaw/>&ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.p权学烽MIn_nbsp;aspentnr!-ia: 1/1;vw < 权学烽 是有文本和/字縪,这帪人是A类人,影响因素有男/女,学历(高中/本科/研究生),簑族(汉/藏/。。。),年龪(56),这样个緷合/p> 怎么处理呢,爑䜋你自己代的那个/p> 集都是/字

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.p权学烽MIn_nbsp;aspentnr!-ia: 1/1;vw < 权学烽 &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw &ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.pthnnnMIn_nbsp;aspentnr!-ia: 1/1;vw < thnnn 集吗?1160788784@qq.ome 万分感谢!

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthnnnMIn_nbsp;aspentnr!-ia: 1/1;vw < thnnn 集,谢谢博主!

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw https://github.com/xyjigsaw/>&ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.p周竑虎MIn_nbsp;aspentnr!-ia: 1/1;vw < 周竑虎 &ndiv> /tarticle/dittli /

  • " alt="100idth="576"100idFS1.p大凡MIn_nbsp;aspentnr!-ia: 1/1;vw < 大凡 集吗,874176332@qq.ome 谢谢

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.p大凡MIn_nbsp;aspentnr!-ia: 1/1;vw < 大凡 &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.p大凡MIn_nbsp;aspentnr!-ia: 1/1;vw < 大凡 &ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw https被劫持了,等待一段时间即可恢复访问。

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.p大凡MIn_nbsp;aspentnr!-ia: 1/1;vw < 大凡 &ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.p谢谢了MIn_nbsp;aspentnr!-ia: 1/1;vw < 谢谢了 集吗?我也没找到。

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.p谢谢了MIn_nbsp;aspentnr!-ia: 1/1;vw < 谢谢了 1392350692@qq.omew/Datt>&ndiv> /tarticle/dittli /

  • " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw 集已上传至:<集:https://github.com/xyjigsa"NSE-"nofollo8 ugc">Dataset">https://github.com/xyjigsaw/Datt>&ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.pMIn_nbsp;aspentnr!-ia: 1/1;vw < 匿名 集吗?谢谢,616837919@qq.ome.

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw &ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.pMIn_nbsp;aspentnr!-ia: 1/1;vw < 匿名 集,网上没找到,还请博主发一下sghhrzq@163.ome。谢谢了tt>&ndiv> /tarticle/dittli /

  • " alt="100idth="576"100idFS1.p江川MIn_nbsp;aspentnr!-ia: 1/1;vw < 江川 &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.p江川MIn_nbsp;aspentnr!-ia: 1/1;vw < 江川 集,网上没找到,还请博主发一下1159668795@qq.ome。谢谢了tt>&ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw &ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw &ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.pMIn_nbsp;aspentnr!-ia: 1/1;vw < 匿名 集10折划分函/中Indices是单独设的吗

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pMIn_nbsp;aspentnr!-ia: 1/1;vw < 匿名 pY))));
    info = 2 * info ./ (HA + HY);%yon-c互信息,前一个已经yon-c出来了两个向量的互信息了,n后一句是什么意思啊w/>&ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.p一帆MIn_nbsp;aspentnr!-ia: 1/1;vw < 一帆 集 应该怎么改呀 爑个/p> 集是.mat格式。小白一只还请解答Q||

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw ide-yonaset/">Dataef=="htps://www.omeg/up9/06/26ble>ide-yonaset/w/Datt>&ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.p空白MIn_nbsp;aspentnr!-ia: 1/1;vw < 空白 ide那个函/用不了tt>&ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw 集的函/,输出是测试集,训练集,测试集标签和训练集标签。

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.p空白MIn_nbsp;aspentnr!-ia: 1/1;vw < 空白 集的函/能给我发一下吗

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw ide-yonaset/">Dataef=="htps://www.omeg/up9/06/26ble>ide-yonaset/w/Datt>&ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.pcxlMIn_nbsp;aspentnr!-ia: 1/1;vw < <集:cxl5tae 集吗?

    &ndiv> /tarticle/dittli /

  • " alt="100idth="576"100idFS1.pXiaolong ChenMIn_nbsp;aspentnr!-ia: 1/1;vw < Xiaolong Chen 集吗

    &ndiv> /tarticle/dittli /

  • " alt="100idth="576"100idFS1.pcccMIn_nbsp;aspentnr!-ia: 1/1;vw < ccc 集,能麻烦5提供一下网址吗,非常感谢

    &ndiv> /tarticle/ditul/div>

    " alt="100idth="576"100idFS1.pthubsawMIn_nbsp;aspentnr!-ia: 1/1;vw < thubsaw &ndiv> /tarticle/dittli 5tule>

    " alt="100idth="576"100idFS1.p陈华MIn_nbsp;aspentnr!-ia: 1/1;vw < 陈华 集没找到,能发一份吗?谢谢tt>&ndiv> /tarticle/dittli /tol 留下评论 取消回复5taev rm ac-ian n的电子邮箱地址不会被公开。必填项已用* * &n *> &n> >&n *