在树莓派上搭建可视化Digger爬虫集群,0代码爬你喜欢的网站!

hehety 15cm2020-09-14102 次点击
**给大家介绍一款资源占用极低,能跑在树莓派上的非常强大的爬虫系统:Digger**

# 简介
![logo.png](https://docs.diggerit.me/static/img/author/logo.png)
[Digger](https://github/hetianyi/digger)是用纯[Golang](https://golang.org)开发的配置式分布式跨平台爬虫系统,支持使用Javascript编写插件来实现各种你想要达到的目标。Digger及相关组件能够以极低的资源开销运行在各种廉价服务器和开发板上,如树莓派。
Digger没有复杂的依赖,部署十分简单,支持Linux和Windows平台,目前支持的CPU架构有:```amd64```, ```arm```, ```arm64```

您可以在 [Demo演示环境](https://demo.diggerit.me/) 快速体验功能。
> 由于资源有限,请合理使用演示环境,定时任务会在每天0点清理数据。


## 功能简介

- 支持使用Css选择器和Xpath选择器
- 支持多种结果类型:plain text,html,array等
- web在线调试爬虫配置,精准定位问题
- 支持插件功能
- 实时浏览爬虫日志
- 结果在线浏览、导出,一键生成数据库schema(postgres和mysql)
- 定时任务
- 支持暂停任务
- 分布式worker实例,有效避免爬虫被block
- 支持任务和worker标签匹配调度功能
- 支持配置导入导出
- 邮件通知功能

## UI截图
![](https://docs.diggerit.me/static/img/screenshot/20200828111557.png)
![](https://docs.diggerit.me/static/img/screenshot/20200828111730.png)
![](https://docs.diggerit.me/static/img/screenshot/20200828113339.png)
![](https://docs.diggerit.me/static/img/screenshot/20200828113511.png)
![](https://docs.diggerit.me/static/img/screenshot/20200828131723.png)
![](https://docs.diggerit.me/static/img/screenshot/20200828205258.png)

## Digger开发讨论组
![](https://docs.diggerit.me/static/img/author/author_qr.jpg)
收藏 ♥ 感谢
Spoony 小组长 2020-09-14 
demo 登录的帐号没有提供
Tony 32.15m 2020-09-14 
@Spoony 有的,只是对比度很低,不容易察觉
登录页面显示有点问题
Spoony 小组长 2020-09-15 
@Tony 视力真好

进去看了一下,采集功能很强
Spoony 小组长 2020-09-15 
烦请楼主给这个项目加一个封面,然后我会给首页推荐
https://make.quwj.com/project/336

登录注册 后可回复。