房源信息如何采集

2022-10-17 12:44:08 发布:网友投稿 来源:网友投稿
热度:100

随着物联网的发展,现在出现越来越多生活服务类的网站,这类网页有许多的房源信息,但这些信息数据量很大,一个个去翻阅会浪费很多时间,今天我们就借助数据采集器,来查找我们需要房源信息。

建立采集任务

  • 01

    找到要采集的房源网站,选择你要查找的房源信息,将选择好的房源网站地址复制下来

  • 02

    打开采集器,并登陆

  • 03

    建立采集任务,完成采集任务及任务组名称编辑,点击下一步

采集规则编辑

  • 01

    将复制的网页地址粘贴在八爪鱼采集器内置浏览器的地址栏中,点击跳转,采集的网页会在下方浏览器中打开,流程设计器中会生成一个“打开网页”步骤

  • 02

    将网页下拉到底部,找到翻页的按钮,右键点击,选择执行“循环点击这个元素”

  • 03

    完成后流程设计器会生成一个翻页循环,点击自定义进行设置

  • 04

    选择“元素文本=下一页”这个选项,点击确定,完成翻页循环的创建

创建提取数据列表

  • 01

    完成后上述操作后,右键点击页面中第一个房源信息的方框,在跳出的操作框中,选择下图红色方框的选项“创建一个元素列表”

  • 02

    将第一个房源的信息”添加到列表“中

  • 03

    点击第二个方框中的房源信息,同样将其”添加到列表“中

  • 04

    八爪鱼会将具有相似特征的元素抓取到列表中,如下图,所有的群组信息被添加到列表,接着点击“创建列表完成“,

  • 05

    再点击“循环”,完成列表的创建

  • 06

    创建列表完成后流程图,如左侧所示,接着我们需要对采集的房源信息进行抓取

提取要采集的文本信息

  • 01

    如图点击房源中的标题,在跳出的执行框中,选择执行”抓取这个元素文本”方框其他数据的信息抓取,重复同样的步骤即可

  • 02

    抓取到的内容会显示在右上方的操作框中,这里可以修改采集字段的名称,到这里我们就完成了房源信息提取

  • 03

    由于每一页都需要循环采集数据,所以我们需要将这个循环列表拖入到翻页循环里面。

  • 04

    注意:流程是从上网页执行的,所以这个循环列表需要放到点击翻页的前面,否则会漏掉第一页的数据。最终流程图如下图所示:点击保存,进入下一个采集步骤

开始采集

  • 01

    选择采集方式,开始房源信息的采集

  • 02

    采集完成,有多个导出格式可供选择,可以根据需要点选,采集到的重复数据八爪鱼采集器会自动识别出来,导出时可以选择是否去重,完成房源信息的采集

特别提示

这里采集的网页,只是其中的一个网站例子,其他网页的采集,可以参考这个教程的步骤去进行采集规则的编辑

下一篇:猎豹浏览器宽屏版主页怎么更换皮肤?
上一篇:科学计算器使用方法