天机网络信息云采集平台

带摘要的新闻列表抽取教程

发布时间:2016.03.16

教程介绍:本教程主要描述如何从带摘要的新闻列表页中获取此列表中所有的新闻数据。主要思想是将一条新闻(包括新闻标题、摘要)作为一个整体建立组合,然后通过标题链接到新闻详情页,并获取详情页中的正文数据。

示例地址:http://toutiao.com/

相关教程:


翻页新闻列表抽取教程

操作步骤:

1、用chrome浏览器打开示例地址(http://toutiao.com/)

2、Ctrl +shift+I 调出插件,并新建方案。填写名称,点击【使用当前页】按钮将当前页面填入入口地址栏。

3、新建完成后,点击任务名称进入抽取内容设置。将列表页中新闻的标题、摘要、发布时间作为一个组合,建立一个组合型选择器。点击“+”号,新建一个item选择器,类型修改为“组合型”,并用鼠标依次选中第一条新闻组合,第二条新闻组合,此时系统会默认选中所有新闻组合,点击【确定】,选中后所有新闻组合显示为红色。勾选“支持多条记录”后,点击保存,组合型选择器建立完毕。

4、建立组合型选择器“item”的下级选择器“abstract”,用于获取新闻的摘要。点击选择器“item”下的绿色小图标,进入该选择器的下级页面,点击【新增选择器】。在选择器设置页面中,输入选择器名称为“abstract”,类型为“文本型”。在区域选择中,由于之前设置了组合型选择器,因此页面中会出现浅黄色的范围,用鼠标在浅黄色范围中选中摘要区域,点击【确定】。上级选择器设置为“item”。最后,点击【保存】,完成创建“abstract”选择器。

5、建立组合型选择器“item”的下级选择器“titlelink”,用于抽取文章标题,并通过链接进入文章的详情页。点击【新增选择器】,在选择器设置页面中,输入选择器名称为“titlelink”,类型为“链接型”。在区域选择中,由于之前设置了组合型选择器,因此页面中会出现浅黄色的范围,用鼠标在浅黄色范围中选中标题区域,点击【确定】。上级选择器设置为“item”。最后,点击【保存】,完成创建“titlelink”选择器。

6、点击新闻标题进入新闻的详情页。

7、建立链接型选择器“titlelink”的下级选择器“content”,用于抽取文章正文。在选择器设置页面中,输入选择器名称为“content”,类型为“文本型”。在区域选择中,在点击【开启选择】按钮后,用鼠标在详情页中依次选中正文区域,点击【确定】。上级选择器设置为“titlelink”。最后,点击【保存】,完成创建选择器。

8、同理,用户可以自行设置文本型选择器抽取详情页中的作者、来源等其他内容。

9、选择器全部设置完毕后,点击【开始抓取】,任务开始执行。

量知数据 版权所有 © 2016 quant-chi.com, All Rights Reserved 浙ICP备16010118号
地址:杭州市西湖区西溪路525号C楼492室 电话:0571-87956225