通过前几课的学习，我们已经学会了 采集列表数据、采集表格数据。如果一个页面上很多同类链接，需要依次点击每个链接进入详情页，然后采集每个详情页中的数据呢？

 

以百度百家号为例。现在有一个百家号资讯列表的网页：https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86&medium=2

可以看到，网页上有很多资讯链接，点击每个资讯链接进入详情页，每个详情页都有资讯标题、百家号头像、百家号、发布时间、正文等字段。

 

 

鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图

下文其他图片同理

 

如果我们需要按照网页上资讯链接的顺序，自动依次点击链接进入详情页，然后采集详情页中的字段，并保存为Excel等结构化的数据，如下图所示：

 

 

在八爪鱼中该如何操作？以下为具体步骤。

示例网址：https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86&medium=2

 

步骤一、输入网址

 

在首页【输入框】中输入目标网址，点击【开始采集】。

 

 

步骤二、建立【循环-点击元素-提取数据】

 

观察网页，此网页上是通过点击资讯标题，进入详情页的。在八爪鱼中，通过建立【循环-点击元素-提取数据】的步骤，可实现识别页面上所有标题链接，并按顺序依次点击以进入详情页，然后再提取每个详情页中的数据。

建立【循环-点击元素-提取数据】需特定步骤，下面为具体步骤。

 

先看一个包含所有具体步骤的动图：

 

再拆分每个步骤，进行详情说明：

 

1、选中页面上第1个链接。选中后的第一个标题链接会被绿色框框起来。同时出现黄色操作提示框，提示我们发现了同类链接（同类链接会被红色虚线框框起来）

 

 

 

特别说明：

a. 选中1个链接即可，第几个无所谓，第1个，第2个，第3个，都行。

b. 选中的需是可进入详情页的链接。一般的网页，链接会放在标题里，但是也有例外。

 

2、在黄色操作提示框中，选择【选中全部相似元素】。我们是想要按顺序点击每个链接的，所以选择【选中全部相似元素】，可以看到全部标题链接都被选中了，被红色框框起来。

3、在黄色操作提示框中，选择【循环点击每个链接】。选择以后，发现页面跳转到了第1个链接的详情页。

 

 

 

特别说明：

a. 有时候操作提示框中出现的不是【循环点击每个链接】，而是【循环点击每个元素】，或者【循环点击每个图片】，本质是一样的。

 

 

4、提取数据。按照 第2课：采集单个数据 的学习，将页面中的标题、百家号头像、百家号、发布时间、正文字段提取下来。下图示例是提取标题。

 

 

特别说明：

a. 步骤1-4是连续指令，连续不中断，才能建立【循环列表】。如果 1、选中页面上第1个链接 后，没有出现 2、【选中全部】怎么办？请下拉至文末查看解决方法。

 

经过以上4步，循环列表创建完成。可以看到，流程图中自动生成了1个循环步骤。循环中的项，对应着页面上所有标题链接。启动采集以后，八爪鱼就会按照循环中的顺序，依次点击每个链接进入详情页，再提取每个详情页中的字段。

 

 

步骤三、编辑字段

 

八爪鱼自动为我们提取了列表中的所有字段，我们可以对这些字段进行删除、修改字段名称等操作。编辑字段有两种布局（横向布局和纵向布局）：

横向布局下编辑字段：

鼠标双击字段名，可修改字段名称。

鼠标移动到  按钮上，可对字段进行更多操作：删除、复制、格式化等。

 

 

 

纵向布局下编辑字段，在字段名称处双击即可修改字段名；在右侧更多操作里面可以对字段进行删除、复制、格式化等操作：

 

 

步骤四、启动采集

 

1、修改完字段名后，整个规则编辑完成，点击【保存】，然后【采集】，再点击【启动本地采集】启动后八爪鱼开始全自动采集数据。（本地采集是使用自己的电脑进行采集，云采集是使用八爪鱼提供的云服务器采集，点击查看详情）

 

 

2、采集完成后，选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML。这里导出为Excel。

 

 

 

 

 

数据示例：

 

 

 

在 步骤二、建立【循环-点击元素-提取数据】步骤时，1、选中页面上第1个链接 后，没有出现 2、【选中全部】的解决办法：

 

示例网址：http://www.haerbin.ccoo.cn/post/cheliang

 

先看一个建立【循环列表】的完整步骤：

 

 

再拆分每个步骤，详细说明：

 

1、选中页面上第1个链接 。

2、继续选中页面上的另1个链接（目的是帮助八爪鱼识别页面中的所有同类链接，作用相当于【选中全部】）。

 

 

3、在黄色操作提示框中，选择【循环点击每个链接】。八爪鱼自动跳转到详情页。

4、在详情页中按需提取字段。

 

通过上面的4步，【循环-点击元素-提取数据】也能够创建完成。接下来的步骤与上面相同，不再赘述。

 

作者：Bin
编辑：surely