网络信息抓取与分类系统的设计与实现
近年来，随着网络技术的发展，现有的文本资源的迅速膨胀，信息处理、分类也成为人们日益关注的话题。美国最成功的分类信息模式Craigslist和2004的Web 2的趋势上升后，专业的分类信息网站蓬勃发展，门户网站的分类信息已经成为互联网上最受欢迎的领域。分类信息发布是一种常用的网络营销方法。
基于此，本文通过大量阅读相关的论文文献和了解目前在分类信息模式上所做的相关研究与应用，设计一套网络信息的抓取与分类系统。系统信息来源为各大门户网站的新闻频道。系统通过基于标签的python爬虫程序抓取相关新闻数据，并以统计局发布的行业分类作为依据，经过对文本信息的词语切分、词频统计、加权计算和特征选择、SVM分类器模型对新闻数据进行分类。系统通过使用建立在统计学习理论的VC维理论和结构风险最小原理基础上的支持向量机方法，根据有限的新闻信息样本在模型的复杂性和学习能力之间寻求最佳折衷，以期达到分类精度高、速度快和最好的推广能力。同时，系统中的python脚本程序通过配置文件读取用户自定义的html标签，对于抓取不同网站的目的信息有较强的适应能力，拓展性较强。
系统的分类结果不仅在网络营销中有着重要作用，基于行业的分类，使得分类信息更受相关领域的用户的关注，可作为各行业用户的新闻推送订阅系统的数据源，筛选垃圾信息，有一定的应用领域。
[主题词] 数据抓取；文本分类；统计学习；网络营销；支持向量机
*若需了解更多与协助请咨询↓→[电脑QQ][手机QQ]【数据协助】
