个人主页信息提取器

本文共731个字,预计阅读时间需要3分钟。

简介

从研究人员的主页(HTML)中提取信息,并将信息自动分为三类(您可以添加更多的类)。支持中英文页面。

可以分成的类别:

  • publication
  • education
  • honor

详细

从互联网文本数据中提取并分类学术行为的流程如下图所示,整个过程是线性的。在正式提取学术行为之前,首先人工标注互联网中少量的学术行为,生成训练集后,采用fastText进行训练生成模型并保存。

接下来通过Python爬虫获取HTML元数据,将HTML数据传入网页正文提取算法WNBTE中获得正文文本,其中正文提取算法通过统计HTML不同标签中文本字数的比值来判断正文所在的位置,能够有效去除冗余无关的HTML标签。随后对正文文本段落进行短语级切分,分词后传入fastText神经网络,利用已经训练好的数据模型对短语进行分类,打上标签。

项目结构

  • ff_classifier: 使用fasttext自动训练和预测学术行为(训练时间小于1s)
  • text_toolkit.py: 提取具有一定模式的字符串,如邮箱,手机号,时间等
  • profile_class.py: 研究人员的类
  • html_extract.py: 提取HTML元素
  • demo.py: demo

结果预览(部分)

PS

如果您想提高提取器的效率或准确性,您可以在ff_classifier/train_data.txt中添加更多的训练数据,或调整ff_classifier/ classifiere .py中的第20行训练配置。

代码地址:https://github.com/xyjigsaw/fastProfileExtractor

 

 

评论