您好!欢迎来到源码码网

开源可视化网络爬虫工具EasySpider使用介绍

  • 源码教程
  • 来源:源码码网
  • 编辑:源码码网
  • 时间:2023-06-24 21:29
  • 阅读:1902

EasySpider是一个可视化爬虫软件,可以使用图形化界面,无代码可视化的设计和执行爬虫任务。只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和执行。同时软件还可以单独以命令行的方式进行执行,从而可以很方便的嵌入到其他系统中。官网提供了详细的视频教程:

1687613445238.jpg

一、下载安装EasySpider

支持Windows、MacOS、Linux系统安装。

下载地址:https://github.com/NaiboWang/EasySpider/releases

1687613538790.jpg

下载完成后,如下图所示(macos安装为例):

1687613575679.jpg

二、测试获取ebay网站数据

1、设计任务

1)打开EasySpider主程序

2)点击【中文】

3)点击【设计任务】

然后这里选择【使用纯净版浏览器设计】,无需用户登录信息。

4)进入EasySpider设计窗口,大概过5秒钟后,会同时打开一个浏览器窗口

[XJK}4YHS]Q`PFB1{2~NU$S.png

5)点击【新建任务】,输入ebay网址地址https://www.ebay.com,点击【开始设计】,打开ebay官网

1687613769524.jpg

1687613853831.jpg

6)输入搜索关键字:右击搜索框,点击【输入文字】按钮;输入搜索关键字,然后点击【确定】按钮

7)搜索:右击【搜索】按钮,点击【点击该按钮】,搜索出关于关键字“手机”的所有商品

此时会发现EasySpider主窗口的设计面板,会多出输入文字、点击元素两个动作,表示刚才的操作被加入当前任务队列中了。

8)采集标题:右击手机商品的标题,点击【选择全部】,这时所有的商品的标题都会选中;点击【采集数据】,则采集当前页面的手机商品标题的任务会被加入队列中

这时可以看到EasySpider主窗口的设计面板,又有新的任务加入。

9)循环点击下一页:页面滚动至底部,可以看到分页按钮;右击【下一页】按钮,点击【循环点击该链接】按钮

10)通过【剪切元素】调整任务顺序,实现循环点击下一页并循环相应页面的所有商品标题

最终采集步骤如下所示:

1687614032383.jpg

11)保存设计任务,关闭设计窗口,返回首页

2、执行任务

1)回到EasySpider首页,点击【查看执行任务】

1687614098973.jpg

2)点击【任务信息】

3)点击【调用任务】

4)修改执行任务条件,点击【本地直接执行】按钮;复制弹框里的执行脚本

5)打开easyspider_executestage程序,粘贴步骤5生成的脚本,然后静静地等待任务执行完成

1687614188793.jpg

6)最终获取的数据文件会保存在Data目录下


来源今日头条,作者:好呀鱼   

特别声明:
1、如无特殊说明,内容均为本站原创发布,转载请注明出处;
2、部分转载文章已注明出处,转载目的为学习和交流,如有侵犯,请联系客服删除;
3、编辑非《源码码网》的文章均由用户编辑发布,不代表本站立场,如涉及侵犯,请联系删除;
全部评论(0)
推荐阅读
  • 常用测试压力工具使用介绍
  • 常用测试压力工具使用介绍
  • ab 是 ApacheBench 工具的缩写,它是一个HTTP压力测试工具。让我详细说明如何测试:1. 安装ApacheBenchWindows系统:方法一:安装XAMPP或WAMP(自带ab)下载地址:https://www.apachefriends.org/zh_cn/index.html安装后,ab工具在:C:xamppapacheinab.exe方法二:使
  • 开发工具
  • 来源:源码码网
  • 编辑:源码码网
  • 时间:2026-01-13 20:27
  • 阅读:59
  • 工程项目一体化自动管理软件解决方案
  • 工程项目一体化自动管理软件解决方案
  • 1.项目概述1.1项目背景在工程建设行业数字化转型浪潮下,传统项目管理面临信息孤岛、协同困难、进度不可控、成本超支等痛点。本方案旨在构建一个覆盖工程项目全生命周期、全参与方、全业务流程的一体化智能管理平台。1.2解决方案愿景打造数据驱动、智能协同、风险预警、自动执行的工程大脑,实现:管理流程自动化率≥80%项目协同效率提升40%成本偏差率降低至±3%以内安全事故发生率降低60%1.3目标用户矩阵┌───────────────┬
  • 行业资讯
  • 来源:源码码网
  • 编辑:源码码网
  • 时间:2026-01-09 11:26
  • 阅读:169
  • 车辆管理系统需求文档与技术架构PC端+小程序
  • 车辆管理系统需求文档与技术架构PC端+小程序
  • 第一部分:需求文档1.项目概述1.1项目背景为企事业单位、车队运营商、租赁公司等提供一套完整的车辆全生命周期管理解决方案,实现车辆管理数字化、智能化。1.2项目目标建立车辆从购置到报废的全流程管理体系实现用车申请、调度、监控、结算的闭环管理通过数据分析优化车辆使用效率降低车辆运维成本20%以上1.3用户角色矩阵┌──────────────┬─────────────────────────────┬──────────────
  • 行业资讯
  • 来源:源码码网
  • 编辑:源码码网
  • 时间:2026-01-09 11:11
  • 阅读:162
  • 智慧农业/渔业物联网系统需求文档
  • 智慧农业/渔业物联网系统需求文档
  • 智慧农业/渔业物联网系统需求文档文档版本: V1.0项目目标: 构建一个集环境智能监测、设备自动化控制、生长模型分析、溯源管理与远程指挥于一体的综合物联网管理平台,实现降本增效、提质增产、风险预警与品牌增值。1.系统总体概述1.1核心价值: 数据驱动决策,解放人力,实现农业/渔业生产的精准化、自动化与智能化。1.2用户角色:生产员/养殖员: 现场巡视、接收告警、执行设备手动控制、查看实时环境
  • 行业资讯
  • 来源:源码码网
  • 编辑:源码码网
  • 时间:2026-01-09 11:04
  • 阅读:68
  • 程序员AI编程工具推荐
  • 程序员AI编程工具推荐
  • AI编程工具是当前开发者的“副驾驶”,能够极大提升开发效率。以下我将从通用型、代码专用型、垂直领域型以及开源/自部署型几个维度为您分类推荐,并附上它们的核心特点和适用场景,帮助您选择。一、通用型AI对话助手(编程是核心能力之一)这类工具本质是“更懂代码的ChatGPT”,适合处理广泛的编程问题、解释代码、生成文档等。ChatGPT(GPT-4/4o)简介:行业标杆,尤其在GPT-4版本下,代码理解和生成能力极强。优点:上下文能力强,
  • 源码教程
  • 来源:源码码网
  • 编辑:源码码网
  • 时间:2026-01-09 10:56
  • 阅读:96
联系客服
源码代售 源码咨询 技术开发 联系客服
029-84538663
手机版

扫一扫进手机版
返回顶部