datax,datax-web 部署 - 离线数据同步工具/平台 ETL mysql


https://hub.docker.com/r/flashexpress/datax-web

https://github.com/WeiYe-Jing/datax-web

https://github.com/alibaba/DataX

https://hub.docker.com/r/876745833/datax-admin


docker run -d --restart=always  --name datax  -p 9527:9527  -e MYSQL_ADDR='mariadb:3306' -e TZ='Asia/Shanghai'   --ulimit nofile=262144:262144  -v /etc/localtime:/etc/localtime:ro  -v /data/site/docker/env/bizdata/datax/bootstrap.properties:/opt/modules/datax-admin/conf/bootstrap.properties:ro  --link mariadb --link ch flashexpress/datax-web:standalone-v2.1.2


http://g.htmltoo.com:9527/index.html

admin 123456


docker cp /data/site/htmltoo.f/htmltoo.soft/src/common/java-connector/clickhouse-jdbc-0.4.6.jar datax:/opt/modules/datax-admin/lib/clickhouse-jdbc-0.4.6.jar

docker cp /data/site/htmltoo.f/htmltoo.soft/src/common/java-connector/clickhouse-jdbc-0.4.6.jar datax:/opt/datax/plugin/writer/clickhousewriter/libs/clickhouse-jdbc-0.4.6.jar

docker cp /data/site/htmltoo.f/htmltoo.soft/src/common/java-connector/mysql-connector-java-8.0.30.jar datax:/opt/modules/datax-admin/lib/mysql-connector-java-8.0.30.jar

docker cp /data/site/htmltoo.f/htmltoo.soft/src/common/java-connector/mysql-connector-java-8.0.30.jar datax:/opt/datax/plugin/reader/mysqlreader/libs/mysql-connector-java-8.0.30.jar

docker cp /data/site/htmltoo.f/htmltoo.soft/src/common/java-connector/mysql-connector-java-8.0.30.jar datax:/opt/datax/plugin/writer/mysqlwriter/libs/mysql-connector-java-8.0.30.jar


# datax-webv2.1.2+datax 可视化离线数据同步工具/平台

实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能


DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。

Reader:数据采集模块,负责采集数据源的数据,将数据发送给Framework。

Writer:数据写入模块,负责不断向Framework取数据,并将数据写入到目的端。

Framework:用于连接Reader和Writer,作为两者的数据传输通道,并处理缓存,流控,并发,数据转换等核心技术问题。


签名:这个人很懒,什么也没有留下!
最新回复 (0)
返回