2.59 MB
242.90MB
11.0 MB
82.1MB
59M
Scrappy Web官方版是一个爬虫管理平台,可以帮助用户管理Scrappy d集群。我们可以通过ScrapyWeb对ScrapyD日志进行分析和可视化,方便你管理Scrapyd集群。
ScrapydWeb官方软件介绍
ScrapydWeb(爬虫管理平台)是一个用于Scrapyd集群管理的Web应用程序。它支持Scrapyd日志分析和可视化,并支持ScrapyD集群管理,日志可视化,任务规划,电子邮件通知和移动UI!软件功能
分散的集群管理支持所有Scrapyd JSON API
支持分组和过滤选择多个节点。
一次操作,批量执行
日志分析
统计数字
进度可视化
原木分类
上升
自动打包项目
集成日志解析器
计时器
以及监控和报警。
移动用户界面
web用户界面支持基本身份验证。
ScrapydWeb官方常见问题
1.什么是scrapy?一个爬虫框架,可以创建一个零碎的项目。
2.什么是scrapyd?
它相当于一个可以远程部署和调度零碎项目的组件。所以scrapyd可以看作是一个cs(client-server)程序,所以毫无疑问我们需要安装配置scrapyd(server)和连接的scrapy-client(client)。
3.什么是scrapydweb?
它是基于scrapyd的可视化组件,集成并提供了更多的可视化功能和更美观的界面。
总结:三者就像葫芦娃一样,一共三层。