采集场景

在Amazon首页（https://www.amazon.com）输入关键词搜索，采集搜索后得到的商品列表数据。实例网址   https://www.amazon.com/s?k=Apple&ref=nb_sb_noss_2，是搜索关键词 Apple后得到的商品列表页。

 

采集字段

商品标题、图片URL、商品链接、商品价格、商品评分、评论数等字段。

 

 

鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图

下文其他图片同理

 

采集结果

采集结果可导出为Excel，CSV，HTML，数据库等多种格式。导出为Excel示例：

 

 

教程说明

本篇更新时间：2020/5/9   八爪鱼版本：V8.1.8

如果因网页改版造成网址或步骤无效，无法采集到目标数据，请联系官方客服，我们将及时修正。

 

采集步骤

步骤一、打开网页

步骤二、选择配送地区

步骤三、输入1个关键词并搜索，然后使用【自动识别】，识别搜索结果列表和翻页

步骤四、批量输入多个关键词

步骤五、优化采集规则

步骤六、启动采集

 

以下为具体步骤：

 

步骤一、打开网页

 

1、在首页点击左上角  按钮，选择【自定义任务】，输入示例网址 https://www.amazon.com，然后点【开始采集】，八爪鱼自动打开网页。

 

 

步骤二、选择配送地区

 

在Amazon中，选择不同的配送地址，输入关键词搜索后得到的商品列表是不一样的。

示例中打开网页后，默认的配送地址为【中国大陆】。如果默认配送地址满足采集需求，可跳过此步骤。

如果需要修改配送地址，Amazon支持通过【登录账户并确认地址簿】、【输入美国邮政编码】和【选择美国境外其他国家】修改配送地址。

本文以【输入美国邮政编码】为例，输入 California (CA)的邮政编码：95136。具体操作如下：

 

1、在页面中选中【中国大陆】，在操作提示框中点击【点击该元素】，页面弹出位置输入框

2、选中位置输入框，在操作提示框中点击【输入文本】

3、在操作提示框中输入【95136】后保存

4、选中【设置】按钮，在操作提示框中点击【点击该元素】

5、选中【完成】，在操作提示框中选择【点击该按钮】，完成配送地址的修改。

 

 

特别说明：

a. 【登录账户并确认地址簿】和【选择美国境外其他国家】来修改配送地址的方法，本文未讲解。如有需要请联系客服指导。

b. 示例中输入的是California (CA)的邮政编码：95136，可按需求更换成美国其他州的邮政编码。

 

步骤三、输入1个关键词并搜索，然后使用【自动识别】，识别搜索结果列表和翻页

 

1、选中页面中的搜索框，在黄色操作提示框中，选择【输入文本】，输入关键词【Apple】后点击确定。

2、选中【搜索】按钮，在操作提示框中点击【点击该按钮】，出现关键词的搜索结果列表页。

3、点击【自动识别网页】，成功识别了文章列表中的数据和翻页。

4、点击【生成采集设置】，将自动识别出的列表数据和翻页，生成为采集流程，方便我们使用和修改。

 

 

特别说明：

a. 本文使用【自动识别】，自动识别网页上的列表、滚动和翻页。识别成功后会生成采集规则，再对采集规则调整，以采集目标数据。如果【自动识别】的结果与以上图片不同，可点击【取消识别】自行配置采集流程或联系客服反馈。详情点击查看 【自动识别】教程

 

步骤四、批量输入多个关键词

  

1、创建【文本列表循环】，存储多个关键词

在【打开网页】步骤后，添加一个【循环】。

进入【循环】设置页面。选择循环方式为【文本列表】，点击   按钮，将我们准备好的关键字输进去（可同时输入多个关键字，一行一个即可）后保存。

 

 

特别说明：

a. 示例中输入的关键词是【Apple】、【Huawei】和【Xiaomi】，可根据自身需求进行替换。

b. 一次最多输入2W个关键字。可先准备一个包含多个关键字的文档，然后将其复制粘贴进八爪鱼中。

 

2、将【输入文本】并与【文本列表循环】联动，以输入多个关键词

将【输入文本1】、【点击元素3】和【循环翻页】步骤拖入【循环】中。

然后进入【输入文本】设置页面，勾选【使用当前循环里的文本来填充输入框】后保存。

 

 

步骤五、优化采集规则

 

以上步骤可以完成基本的数据采集。但Amazon有防采集，如需稳定采集大量数据，需对采集规则进行优化。常见的优化方法如下：

 

1、设置执行前等待 + 调整Ajax超时时间

双击进入【点击元素1】、【点击元素2】、【点击元素3】和【输入文本1】步骤的设置页面，设置【执行前等待】3s，【Ajax超时】15s。

 

 

特别说明：

a. 使用了Ajax技术的网页，八爪鱼会自动判断并设置一定的【Ajax超时】。如果系统自动设置的【Ajax超时】过短，可根据采集需求和网页加载情况进行调整，详情点击查看 Ajax教程 。

b. 执行前等待，即在执行此步骤前等待一段时间，可有效避免因网页未加载完全导致的漏数据，详情点击查看 执行前等待使用场景与设置方法

 

2、修改【循环列表】XPath

 

为了精准定位到所有关键词搜索结果列表，需修改一下【循环列表】的XPath。

进入【循环列表】设置页面，选择循环方式为【不固定元素列表循环】，然后填入XPath：//div[@data-component-type="s-search-result"] 并保存。

 

 

特别说明：

a. 在搜索关键词后，出现的搜索结果排列方式会不同，属于amazon 防采集形式的一种。默认生成的【循环列表】XPath，无法精准定位到所有关键词搜索结果列表链接，所以我们需要手动修改XPath，使之定位到所有的搜索结果列表。这里需要一定的XPath知识。点击查看 XPath学习与实例教程 。

 

3、修改字段的XPath

 

为了精准定位到所有字段，需修改一下【循环列表】的XPath。

进入【提取列表数据】设置页面，点击要修改的字段后的   按钮，然后填入XPath和 备用位置的XPath。

 

【标题】字段的XPath：//h2 ；

【商品链接】字段的XPath：//h2/a  。

 

 

特别说明：

a. 【标题】和【商品链接】字段自动生成的XPath，无法精准定位到所有搜索结果列表中的数据，所以我们需要手动修改XPath。这里需要一定的XPath知识。点击查看 XPath学习与实例教程 。

 

4、提取ASIN编码

每个商品具有唯一的ASIN编码，将其提取下来，可便于后续采集商品详情和商品评论数据。如果无需ASIN编码，可跳过此步骤。

ASIN编码在当前商品链接中，先采集商品链接，然后对商品链接进行格式化处理，得到ASIN编码。

 

提取商品链接：选中任意一个商品标题，在操作提示框中点击【A】标签，然后点击【采集该链接地址】，随后修改该字段的XPath：//h2/a 。

将商品链接格式化：点击【链接地址】字段后的【...】→【格式化数据】→【添加步骤】→【正则表达式匹配】，输入正则表达式  (?<=(dp/|dp%2F))(.+?){10} ，然后点击【应用】保存。

再次双击【提取数据】进入字段列表，ASIN编码从【链接地址】中提取出来。最后将【链接地址】字段改名为【ASIN】。

 

 

特别说明：

a. 什么是数据格式化？数据采集下来之后，有时候格式不是我们想要的，或者只想从一段数据里提取特定数据，可通过八爪鱼的【格式化数据】功能实现。详情点击查看 数据格式化教程 。

b. 正则表达式是什么？怎么写？正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，用来从文本中匹配/过滤信息。正则表达式有其特定写法，需要系统学习才能掌握，点击查看 正则表达式教程 。

 

5、设置重试条件

 

如果是初次采集，可以跳过此步骤，直接启动采集获取数据。

如果已经采集到一定数据后，发现触发了Amazon的防采集，出现验证码，可以通过设置重试条件解决。

验证码一般在打开新页面后出现。在这个规则中，【打开网页】、【点击元素3】和【点击翻页】后都会打开新页面。因此需对这3个步骤设置重试，重试时以新的IP和浏览器版本打开网页，以跳过验证码。

 

以【打开网页】为例。

进入【打开网页】设置步骤：勾选【当如下条件满足时重试】，重试条件为 当前页面的【元素XPath】不包含 //DIV[@id="glow-ingress-block"]/SPAN[2] （【打开网页】的后一个步骤【循环列表】的XPath） ，重试次数为5-10次，每次间隔0-3秒。

勾选【重试时同时切换代理IP】，选择【随机伪造IP】

勾选【重试时同时切换浏览器版本】，点击【浏览器列表】，将除手机端外的浏览器列表都勾选上。

 

 

特别说明：

a. 如何设置重试条件？如果网页按预期正常打开，那当前步骤的下一个步骤的定位XPath肯定存在，如果未正常打开，则不存在。可以此来设置重试条件。本示例中，【打开网页】后是【点击元素】，那我们就用【点击元素】的定位XPath来作为重试的条件。本示例中【点击元素】的定位XPath为： //DIV[@id="glow-ingress-block"]/SPAN[2] 。详情点击查看 重试、重试同时切换代理IP/UA 教程

b. 【重试时同时切换代理IP】是什么？网页未正常打开时，使用新的代理IP重新打开网页，可有效突破防采集。代理IP分为【优质代理IP】和【随机伪造IP】。【优质代理IP】质量高，需额外付费购买。随机伪造IP质量较低，免费使用。详情点击查看 重试、重试同时切换代理IP/UA 教程

c. 【重试时同时切换浏览器版本】是什么？在不同的浏览器版本中，网页可能有不同的显示结果。如果用默认浏览器无法正常打开网页， 可尝试【重试时同时切换浏览器版本】，用不同的浏览器版本打开网页。详情点击查看 重试、重试同时切换代理IP/UA 教程

d. 【点击元素3】【点击翻页】也需要进行重试条件设置，设置方法类似，不再赘述。

 

步骤六、启动采集

 

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。 

 

 

特别说明：

a. 【本地采集】是使用自己的电脑进行采集，【云采集】是使用八爪鱼提供的云服务器采集，点击查看 本地采集与云采集详解。

 

2、采集完成后，选择合适的导出方式来导出数据。支持导出为Excel，CSV，HTML，数据库等。这里导出为Excel。

 

 

示例数据：

 

 

作者：Bin

编辑：Aisling