支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单Crawlab 是一款基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。

欢迎大家来到IT世界,在知识的湖畔探索吧!

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

项目名称:Crawlab

项目作者:tikazyq

开源许可协议:BSD-3-Clause

项目地址:https://gitee.com/tikazyq/crawlab

项目简介

Crawlab 是一款基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。

Crawlab 主要解决的是大量爬虫管理困难的问题,例如需要监控上百个网站的参杂scrapy和selenium的项目不容易做到同时管理,而且命令行管理的成本非常高,还容易出错。Crawlab支持任何语言和任何框架,配合任务调度、任务监控,很容易做到对成规模的爬虫项目进行有效监控管理。

项目架构

Crawlab的架构包括了一个主节点(Master Node)和多个工作节点(Worker Node),以及负责通信和数据储存的Redis和MongoDB数据库。

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

前端应用向主节点请求数据,主节点通过MongoDB和Redis来执行任务派发调度以及部署,工作节点收到任务之后,开始执行爬虫任务,并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简,去除了不必要的节点监控模块Flower,节点监控主要由Redis完成。

项目截图

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

登录

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

首页

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

节点列表

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

节点拓扑图

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

爬虫列表

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

爬虫概览

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

爬虫分析

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

爬虫文件编辑

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

任务抓取结果

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

任务日志

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

定时任务

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

消息通知

目前该项目已经更新至 0.5.1 版本,如果你看了介绍后想要上手试一试它的表现如何, 那么就点击下方了解更多,前往项目主页看看具体的部署方法和流程吧。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://itzsg.com/77302.html

(0)

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们YX

mu99908888

在线咨询: 微信交谈

邮件:itzsgw@126.com

工作时间:时刻准备着!

关注微信