https://hub.docker.com/r/anandimmannavar/azkaban-web
https://hub.docker.com/r/anandimmannavar/azkaban-exec
https://github.com/azkaban/azkaban
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种kv文件格式来建立任务之间的关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点:
兼容任何版本的 Hadoop
易于使用的 Web UI
可以使用简单的 Web 页面进行工作流上传
支持按项目进行独立管理
定时任务调度
模块化和可插入
身份验证和授权
跟踪用户操作
支持失败和成功的电子邮件提醒
SLA 警报和自动查杀失败任务
重试失败的任务
Azkaban(阿兹卡班)
一个完整的大数据分析系统,必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成,所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题:
如何定时调度某个任务?
如何在某个任务执行完成后再去执行另一个任务?
如何在任务失败时候发出预警?
......
面对这些问题,工作流调度系统应运而生。Azkaban 就是其中之一
Azkaban有三种运行模式:
solo server mode:最简单的模式,数据库内置的H2数据库,管理服务器和执行服务器都在一个进程中运行,任务量不大项目可以采用此模式。
two server mode:数据库为mysql,管理服务器和执行服务器在不同进程,这种模式下,管理服务器和执行服务器互不影响
multiple executor mode:该模式下,执行服务器和管理服务器在不同主机上,且执行服务器可以有多个。
https://www.jianshu.com/p/c7d6bf6191e7
http://www.htmltoo.com/