基于稀疏大规模矩阵的多目标进化算法简介

简介

可以看到本文的特色图片是个极度稀疏连接的神经网络,它是由我们即将介绍论文中的算法SparseEA得到的。

此篇论文是BIMK的田野、张兴义等人发表在IEEE Transactions on Evolutionary Computation(SCI 一区)期刊上的,时间2019.4。

论文提出了一种解决大规模稀疏问题的多目标算法,大规模稀疏存在于许多领域:机器学习、数据挖掘、神经网络。
作者主要讨论了四个具体的问题
  • ①特征选择
  • ②模式挖掘
  • ③关键节点检测
  • ④神经网络训练
上面四个问题虽然存在于不同领域,但是它们都属于多目标问题,它们的pareto面的解集都是稀疏的。举例来说,对于大规模特征选择问题,10000维中只能选取不到100个,压缩率达到了99%,是典型的稀疏问题。

具体问题

算法的贡献

  • ①设计了新的种群初始化策略(根据稀疏大规模特性,能够获得一个很好的前沿面)
  • ②设计了新的基于pareto解集稀疏性的遗传算子

具体算法

算法框架

类似于NSGA2的框架

初始化策略

为了集成两种编码,需要引入两个向量,一个是决策变量向量dec (实际上是进化的解,对于01编码来说,可以全置1),另一个是掩码向量mask(实际上一个01向量,用来记录每个维度的好坏,好的置1),最终的决策变量是两者的内积。

经过初始化后的结果:

可以看到,通过该初始化策略,获得一个一个近似于pareto面的良好分布。

交叉变异算子

这个交叉变异是算法的核心,它每次在二进制向量mask中,以同样的概率每次在0元素中翻转一个元素,或者在非0元素中翻转一个元素,翻转是根据决策变量的适应度值进行的。因此,生成的子代不会有同样数量的0和1,并且可以保持子代的稀疏度。

采用交叉变异后的结果:

可以看到,通过此策略,提高了稀疏度,被置为1的维度越来越少。

其他

对于实验部分,作者设计了具体的测试套件,结果也非常乐观,在此不赘述。

 

8 评论

  1. 您好,我可以问下,为什么代码中 for i = 1 : 1+4*REAL,这个为什么是1:1+4*REAL么?

  2. 你好,请问能否回复一下此篇论文的DOI或者有效链接啊,google搜不到,感觉是不是撤回了啊

留下评论

您的电子邮箱地址不会被公开。 必填项已用 * 标注