最大相关最小冗余（mRMR）算法 2018年10月27日2018年10月27日 由 xyjisaw 在做特征选择时，可能面临两个问题：特征与类别预测有多大相关性，特征之间有多大冗余度。在特征选择中，“最好的m个特征不 … 阅读更多
列向量互信息计算通用MATLAB代码 2018年8月10日 由 xyjisaw 互信息的定义 正式地，两个离散随机变量 X 和 Y 的互信息可以定义为： 其中 p(x,y) 是 X 和 Y 的联合概率 … 阅读更多
基于互信息的特征选择算法MATLAB实现 2018年8月3日2018年8月9日 由 xyjisaw 在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相 … 阅读更多
互信息公式及概述 2018年8月2日2018年8月1日 由 xyjisaw 在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同 … 阅读更多
英文字母信息熵与冗余度计算Python实现 2018年5月9日2018年5月7日 由 xyjisaw 26个英文字母在平均出现时的信息熵是4.7BIT,而去掉冗余度后的英文字母的信息熵是4.03BIT。
信息熵（香农熵）概述 2018年5月7日2018年5月6日 由 xyjisaw 简介 1948 年，香农提出了“信息熵”(Shannon entropy/Information entropy) 的概念，才解决了对信息的量化度量问题。 … 阅读更多
