问题:

云采集漏数据原因?如何排查?

 

回答:

云采集漏数据原因与排查方法:

① 自身统计有误。翻查网页,尤其是最后几页,重新统计。

② 网站本身没有那么多的数据。

对云采集的原理认识不够,机械的将云采集数据和本地采集的数据进行对比。数据没采集完,发现与本地数据不一样就认为云采集漏数据了,实际上它只是被放在了后面,参考 云加速原理教程

④ 将去重后的云采集数据与未去重的本地采集数据对比,觉得云采集数据少了。云采集数据会自动去重,看到的都是非重复数据。

⑤ 规则更改过,换过采集网址(URL),将更改后规则的数据与之前的对比,数据不同是很正常的。应该只对比一个规则本地采集和云采集的数据。

⑥ 网页格式发生变化,原来的xpath定位不准确,导致少数据。

⑦ 网站存在防采集措施(验证码、登录、封IP),导致云采集无法顺利采集所有数据。封IP和验证码,云采集和本地采集可以考虑 使用代理IP 或者 验证码套餐

⑧ 规则本身本地采集就会漏数据,这种情况请看 规则排错教程 修改规则。

⑨ 字段不存在。流程中有多个提取数据,如果某一个提取数据由于字段不存在而未提取到,同时设置的是提取不到数据【该步骤所有字段留空】,则整条数据会被删除,这样就会存在漏该数据,可将提取数据中某一个字段设置成固定字段(例如:当前时间、当前页面网址等一定能提取的数据信息)。