https://hub.docker.com/r/tikazyq/crawlab

https://docs.crawlab.cn/

Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架

version: '3.3'

services:

  master: 

    image: tikazyq/crawlab:latest

    container_name: crawlab-master

    environment:

      CRAWLAB_API_ADDRESS: "192.168.99.100:8000"

      CRAWLAB_SERVER_MASTER: "Y"

      CRAWLAB_MONGO_HOST: "mongo"

      CRAWLAB_REDIS_ADDRESS: "redis"

    ports:    

      - "8080:8080" # frontend

      - "8000:8000" # backend

    depends_on:

      - mongo

      - redis

  worker:

    image: tikazyq/crawlab:latest

    container_name: crawlab-worker

    environment:

      CRAWLAB_SERVER_MASTER: "N"

      CRAWLAB_MONGO_HOST: "mongo"

      CRAWLAB_REDIS_ADDRESS: "redis"

    depends_on:

      - mongo

      - redis

  mongo:

    image: mongo:latest

    restart: always

    ports:

      - "27017:27017"

  redis:

    image: redis:latest

    restart: always

    ports:

      - "6379:6379"

这里先定义了 master 节点和 worker 节点，也就是Crawlab的主节点和工作节点。master 和 worker 依赖于 mongo 和 redis 容器，因此在启动之前会同时启动 mongo 和 redis 容器。这样就不需要单独配置 mongo 和redis 服务了，大大节省了环境配置的时间。

其中，我们设置了Redis和MongoDB的地址，分别通过 CRAWLAB_REDIS_ADDRESS 和 CRAWLAB_MONGO_HOST 参数。CRAWLAB_SERVER_MASTER 设置为Y表示启动的是主节点（该参数默认是为N，表示为工作节点）。CRAWLAB_API_ADDRESS 是前端的API地址，请将这个设置为公网能访问到主节点的地址，8000是API端口。环境变量配置详情请见 配置章节，您可以根据自己的要求来进行配置。

这样在浏览器中输入

http://192.168.99.100:8080/就可以访问啦！