信息论 – OmegaXYZ

最大相关最小冗余（mRMR）算法

在做特征选择时，可能面临两个问题：特征与类别预测有多大相关性，特征之间有多大冗余度。在特征选择中，“最好的m个特征不 … 阅读更多

互信息的定义正式地，两个离散随机变量 X 和 Y 的互信息可以定义为：其中 p(x,y) 是 X 和 Y 的联合概率 … 阅读更多

在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相 … 阅读更多

在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同 … 阅读更多

26个英文字母在平均出现时的信息熵是4.7BIT,而去掉冗余度后的英文字母的信息熵是4.03BIT。

简介 1948 年，香农提出了“信息熵”(Shannon entropy/Information entropy) 的概念，才解决了对信息的量化度量问题。 … 阅读更多