https://hub.docker.com/r/rea1shane/azkaban-web-server
https://github.com/rea1shane/docker-azkaban
docker run -d --name azkaban --restart always -p 8082:8081 --platform linux/amd64 --privileged=true --user=root -e TZ='Asia/Shanghai' --ulimit nofile=262144:262144 -v /etc/localtime:/etc/localtime:ro -v /data/site/docker/env/bizdata/azkaban/azkaban-users.xml:/app/azkaban/conf/azkaban-users.xml:ro rea1shane/azkaban-solo-server:3.90.0
http://g.htmltoo.com:8082
docker exec -it azkaban /bin/bash
-v
/app/azkaban/conf/azkaban-users.xml
<azkaban-users>
<user groups="azkaban" password="wdqdmm@0" roles="admin" username="ihunter"/>
<role name="admin" permissions="ADMIN"/>
</azkaban-users>
/app/azkaban/conf/azkaban-users.xml.bak
<azkaban-users>
<user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
<user password="metrics" roles="metrics" username="metrics"/>
<role name="admin" permissions="ADMIN"/>
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
#
Azkaban是一个分布式批处理作业调度系统,支持分布式执行。它设计用于管理和调度大规模的数据处理工作流,可以将工作流中的作业分布式执行在多个计算节点上,以提高效率和可伸缩性
Azkaban的分布式执行特性包括:
1、分布式作业执行:Azkaban可以将工作流中的不同作业分配给多个执行节点并并行执行,从而加快整个工作流的执行速度。每个执行节点可以运行在不同的物理服务器上,以充分利用计算资源。
2、水平扩展性: Azkaban支持水平扩展,您可以添加更多的执行节点以应对工作负载的增加。这允许系统在需要时进行扩展,以满足不断增长的执行需求。
3、负载均衡: Azkaban可以通过负载均衡策略来分配作业到可用的执行节点,以确保资源利用率和执行均衡。
4、高可用性: Azkaban的分布式架构还支持高可用性。如果一个执行节点故障,作业可以自动迁移到其他可用节点上执行,从而保障工作流的连续性。
5、容错性: Azkaban具有一定的容错机制,可以处理作业执行失败或执行节点故障的情况,包括重试策略和错误处理。
总之,Azkaban的分布式执行功能使其成为处理大规模数据处理工作流的强大工具,能够有效地管理和调度分布式作业,提高工作流的执行效率和可靠性。
签名:这个人很懒,什么也没有留下!