Azkaban - 分布式批处理作业调度系统 File


https://hub.docker.com/r/rea1shane/azkaban-web-server

https://github.com/rea1shane/docker-azkaban


docker run -d --name azkaban  --restart always  -p 8082:8081 --platform linux/amd64  --privileged=true --user=root   -e TZ='Asia/Shanghai'   --ulimit nofile=262144:262144  -v /etc/localtime:/etc/localtime:ro  -v /data/site/docker/env/bizdata/azkaban/azkaban-users.xml:/app/azkaban/conf/azkaban-users.xml:ro  rea1shane/azkaban-solo-server:3.90.0


http://g.htmltoo.com:8082

docker exec -it azkaban  /bin/bash

-v

/app/azkaban/conf/azkaban-users.xml

<azkaban-users>
  <user groups="azkaban" password="wdqdmm@0" roles="admin" username="ihunter"/>
  <role name="admin" permissions="ADMIN"/>
</azkaban-users>

/app/azkaban/conf/azkaban-users.xml.bak

<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>
  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>


#

Azkaban是一个分布式批处理作业调度系统,支持分布式执行。它设计用于管理和调度大规模的数据处理工作流,可以将工作流中的作业分布式执行在多个计算节点上,以提高效率和可伸缩性

Azkaban的分布式执行特性包括:

1、分布式作业执行:Azkaban可以将工作流中的不同作业分配给多个执行节点并并行执行,从而加快整个工作流的执行速度。每个执行节点可以运行在不同的物理服务器上,以充分利用计算资源。

2、水平扩展性: Azkaban支持水平扩展,您可以添加更多的执行节点以应对工作负载的增加。这允许系统在需要时进行扩展,以满足不断增长的执行需求。

3、负载均衡: Azkaban可以通过负载均衡策略来分配作业到可用的执行节点,以确保资源利用率和执行均衡。

4、高可用性: Azkaban的分布式架构还支持高可用性。如果一个执行节点故障,作业可以自动迁移到其他可用节点上执行,从而保障工作流的连续性。

5、容错性: Azkaban具有一定的容错机制,可以处理作业执行失败或执行节点故障的情况,包括重试策略和错误处理。

总之,Azkaban的分布式执行功能使其成为处理大规模数据处理工作流的强大工具,能够有效地管理和调度分布式作业,提高工作流的执行效率和可靠性。


签名:这个人很懒,什么也没有留下!
最新回复 (0)
返回