https://hub.docker.com/r/anandimmannavar/azkaban-web

https://hub.docker.com/r/anandimmannavar/azkaban-exec

https://github.com/azkaban/azkaban


Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种kv文件格式来建立任务之间的关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点:

兼容任何版本的 Hadoop

易于使用的 Web UI

可以使用简单的 Web 页面进行工作流上传

支持按项目进行独立管理

定时任务调度

模块化和可插入

身份验证和授权

跟踪用户操作

支持失败和成功的电子邮件提醒

SLA 警报和自动查杀失败任务

重试失败的任务


Azkaban(阿兹卡班)


一个完整的大数据分析系统,必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成,所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题:

如何定时调度某个任务?

如何在某个任务执行完成后再去执行另一个任务?

如何在任务失败时候发出预警?

......

面对这些问题,工作流调度系统应运而生。Azkaban 就是其中之一


Azkaban有三种运行模式:

solo server mode:最简单的模式,数据库内置的H2数据库,管理服务器和执行服务器都在一个进程中运行,任务量不大项目可以采用此模式。

two server mode:数据库为mysql,管理服务器和执行服务器在不同进程,这种模式下,管理服务器和执行服务器互不影响

multiple executor mode:该模式下,执行服务器和管理服务器在不同主机上,且执行服务器可以有多个。


https://www.jianshu.com/p/c7d6bf6191e7


签名:这个人很懒,什么也没有留下!
最新回复 (0)
返回