基于稀疏大规模矩阵的多目标进化算法简介

本文共782个字,预计阅读时间需要2分钟。

简介

可以看到本文的特色图片是个极度稀疏连接的神经网络,它是由我们即将介绍论文中的算法SparseEA得到的。

此篇论文是BIMK的田野、张兴义等人发表在IEEE Transactions on Evolutionary Computation(SCI 一区)期刊上的,时间2019.4。

论文提出了一种解决大规模稀疏问题的多目标算法,大规模稀疏存在于许多领域:机器学习、数据挖掘、神经网络。
作者主要讨论了四个具体的问题
  • ①特征选择
  • ②模式挖掘
  • ③关键节点检测
  • ④神经网络训练
上面四个问题虽然存在于不同领域,但是它们都属于多目标问题,它们的pareto面的解集都是稀疏的。举例来说,对于大规模特征选择问题,10000维中只能选取不到100个,压缩率达到了99%,是典型的稀疏问题。

具体问题

算法的贡献

  • ①设计了新的种群初始化策略(根据稀疏大规模特性,能够获得一个很好的前沿面)
  • ②设计了新的基于pareto解集稀疏性的遗传算子

具体算法

算法框架

类似于NSGA2的框架

初始化策略

为了集成两种编码,需要引入两个向量,一个是决策变量向量dec (实际上是进化的解,对于01编码来说,可以全置1),另一个是掩码向量mask(实际上一个01向量,用来记录每个维度的好坏,好的置1),最终的决策变量是两者的内积。

经过初始化后的结果:

可以看到,通过该初始化策略,获得一个一个近似于pareto面的良好分布。

交叉变异算子

这个交叉变异是算法的核心,它每次在二进制向量mask中,以同样的概率每次在0元素中翻转一个元素,或者在非0元素中翻转一个元素,翻转是根据决策变量的适应度值进行的。因此,生成的子代不会有同样数量的0和1,并且可以保持子代的稀疏度。

采用交叉变异后的结果:

可以看到,通过此策略,提高了稀疏度,被置为1的维度越来越少。

其他

对于实验部分,作者设计了具体的测试套件,结果也非常乐观,在此不赘述。

 

读者评分
[评分人数: 0 平均分: 0]

4 位极客在 “基于稀疏大规模矩阵的多目标进化算法简介” 留下足迹

评论

OmegaXYZ