Boris

V1

2021/11/08阅读:97主题:橙心

爬虫管理系统推荐

爬虫管理系统推荐

大家好,双十一了,给大家推荐一波福利,一款爬虫人都能用得到的产品,爬虫管理系统-Feaplat,现在购买最高可优惠¥50 喲,文末有购买方式及参加优惠活动的方式

不想购买的亦可白嫖,不要错过

用爬虫管理系统的必要性

事项 无管理系统 有管理系统
部署 一台台服务器装环境,脚本一个个启动,极难维护 docker部署简单快捷,脚本一键启动及停止,任务均匀分发到每个服务器上,可视化管理
维护 脚本太多,记不住位置,维护繁琐;若工作交接,人员替换,则更是一团乱麻 可视化页面,每个人的任务、运行状态一目了然
监控 爬虫运行状态及数据落地情况相当于黑盒,然后自我感觉一切良好 feaplat自带可视化监控统计页面
定时 依赖系统定时任务,如crontab,设置起来麻烦 提供定时启动功能,方便清晰

从上述对比中可以看出,拥有一个爬虫管理系统可带给我们很多便利,提升工作效率

为什么推荐用feaplat爬虫管理系统

市面上的爬虫管理系统

需要先部署好master、worker节点,worker节点常驻,等待master的指令执行任务。一个worker节点里可能同时跑了多个爬虫,一旦一个爬虫内存泄露等原因,可能会引发worker节点崩溃,影响该节点里的全部任务。并且worker数量不能弹性伸缩,无法利用云原生的优势

feaplat爬虫管理系统

根据配置的爬虫数动态生成worker,爬虫启动时才创建,爬虫结束时销毁。一个worker内只跑一个爬虫,各个爬虫或任务之间互不影响,稳定性强。系统架设在docker swarm集群上,一台服务器宕机,worker会自动迁移到其他服务器节点。

特性

  1. 爬虫管理系统不仅支持 feapderscrapy,且支持执行任何脚本,可以把该系统理解成脚本托管的平台 。

  2. 支持集群

  3. 工作节点根据配置定时启动,执行完释放,不常驻

  4. 一个worker内只运行一个爬虫,worker彼此之间隔离,互不影响。

  5. 支持管理员和普通用户两种角色

  6. 可自定义爬虫端镜像

  7. 支持可视化监控

功能概览

点我观看视频

1. 项目管理

项目列表 -w1786

添加/编辑项目 -w1785

2. 任务管理

任务列表 -w1791

定时支持 crontab、时间间隔、指定日期、只运行一次 四种方式。只运行一次的定时方式会在创建任务后立即运行 -w1731

3. 任务实例

列表 -w1785

日志 -w1742

4. 用户管理

用户分为管理员普通用户两种角色,管理员可看到全部项目,普通用户只可看到自己创建的项目,且只有管理员可看到用户管理面板

5. 爬虫监控

feaplat支持对feapder爬虫的运行情况进行监控,除了数据监控和请求监控外,用户还可自定义监控内容,详情参考自定义监控

若scrapy爬虫或其他python脚本使用监控功能,也可通过自定义监控的功能来支持,详情参考自定义监控

价格

类型 价格 说明
免费版 0元 可部署10个任务
绑定版 168元 同一公网IP或机器码下永久使用
非绑定版 268元 永久使用

所有版本功能一致,均可免费更新,永久使用

双十一期间:分享本站 spidertools.cn 加一句推荐词到朋友圈或群聊,即可抵消10元,上限50。

购买方式:添加微信 boris_tm,提供转发截图

去查看官网

分类:

后端

标签:

Python

作者介绍

Boris
V1