kettle 部署 - ETL工具 - 数据抽取、转换、装载 大数据 ETL mysql


http://www.kettle.net.cn/

https://hub.docker.com/r/shaowansong/kettle

https://hub.docker.com/r/hntjb/kettlepack

https://hub.docker.com/r/yanxiaofei2018/kettle


docker run -d  -p 9089:9089 --restart=always  --name kettle  -e JDBC_HOST='mariadb'  -e JDBC_PORT='3306' -e JDBC_USERNAME='root'  -e JDBC_PASSWORD='wdqdmm@r'  -v  /data/site/docker/data/kettle:/opt/kettle-pack/workspace  -e JAVA_OPTS="-Xms2048m -Xmx2048m" -v /etc/localtime:/etc/localtime:ro  --link mariadb -v /data/file:/data/file  congjing/kettlepack:latest


docker run -d  --restart=always  --name kettle  -p 8087:8080 -e JAVA_OPTS="-Xms2048m -Xmx2048m"  -v /etc/localtime:/etc/localtime:ro yanxiaofei/webspoon


http://g.htmltoo.com:9089

默认账户密码为:admin/congjingkeji



KettlePack管理系统是专门为Kettle这款ETL工具开发的web端管理工具。

KettlePack适用于Kettle有大量Job或Transformation需要管理的场景中进行使用。

KettlePack是一款免费的Kettle任务调度监控工具,定时执行、监控由spoon创建的作业(Job)和转换(Transformation),支持文件资源库、数据库资源库、文件方式的任务调度  

①:Job和Transaction文件的打包导入。

②:定时设置,可根据Cron表达式设置Job和Transaction的定时执行。

③:对Job和Transaction进行调度和监控。

④:实时查看作业运行日志。


ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法,跟大家分享碰撞交流一下!在使用中我感觉这个工具真的很强大,支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,其中最主要的我们通过熟练的应用它,减少了非常多的研发工作量,提高了我们的工作效率


ETL:简介

ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少的,Kettle就是强大的ETL工具。

Kettle:概念

 

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。

Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。

Kettle中有两种脚本文件,transformation(.ktr)和job(.kjb),transformation完成针对数据的基础转换,job则完成整个工作流的控制。

 

Kettle:四大家族(核心组件)

-Chef(中文:厨师)、Kitchen(中文:厨房)、Spoon(中文:勺子)、Pan(中文:平底锅)

    Chef—工作(job)设计工具 (GUI方式)。

    Kitchen—工作(job)执行器 (命令行方式)。

    Spoon—转换(transform)设计工具 (GUI方式)。

    pan—转换(transform)执行器 (命令行方式)。

-Job和Transformation的差别:Transformation专注于数据的ETL,而Job的范围比较广,可以是Transformation,也可以是Mail、SQL、Shell、FTP等,甚至可以是另外一个Job。


签名:这个人很懒,什么也没有留下!
最新回复 (0)
返回