http://www.kettle.net.cn/
https://hub.docker.com/r/shaowansong/kettle
https://hub.docker.com/r/hntjb/kettlepack
https://hub.docker.com/r/yanxiaofei2018/kettle
docker run -d -p 9089:9089 --restart=always --name kettle -e JDBC_HOST='mariadb' -e JDBC_PORT='3306' -e JDBC_USERNAME='root' -e JDBC_PASSWORD='wdqdmm@r' -v /data/site/docker/data/kettle:/opt/kettle-pack/workspace -e JAVA_OPTS="-Xms2048m -Xmx2048m" -v /etc/localtime:/etc/localtime:ro --link mariadb -v /data/file:/data/file congjing/kettlepack:latest
docker run -d --restart=always --name kettle -p 8087:8080 -e JAVA_OPTS="-Xms2048m -Xmx2048m" -v /etc/localtime:/etc/localtime:ro yanxiaofei/webspoon
http://g.htmltoo.com:9089
默认账户密码为:admin/congjingkeji
KettlePack管理系统是专门为Kettle这款ETL工具开发的web端管理工具。
KettlePack适用于Kettle有大量Job或Transformation需要管理的场景中进行使用。
KettlePack是一款免费的Kettle任务调度监控工具,定时执行、监控由spoon创建的作业(Job)和转换(Transformation),支持文件资源库、数据库资源库、文件方式的任务调度
①:Job和Transaction文件的打包导入。
②:定时设置,可根据Cron表达式设置Job和Transaction的定时执行。
③:对Job和Transaction进行调度和监控。
④:实时查看作业运行日志。
ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法,跟大家分享碰撞交流一下!在使用中我感觉这个工具真的很强大,支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,其中最主要的我们通过熟练的应用它,减少了非常多的研发工作量,提高了我们的工作效率
ETL:简介
ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少的,Kettle就是强大的ETL工具。
Kettle:概念
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle中有两种脚本文件,transformation(.ktr)和job(.kjb),transformation完成针对数据的基础转换,job则完成整个工作流的控制。
Kettle:四大家族(核心组件)
-Chef(中文:厨师)、Kitchen(中文:厨房)、Spoon(中文:勺子)、Pan(中文:平底锅)
Chef—工作(job)设计工具 (GUI方式)。
Kitchen—工作(job)执行器 (命令行方式)。
Spoon—转换(transform)设计工具 (GUI方式)。
pan—转换(transform)执行器 (命令行方式)。
-Job和Transformation的差别:Transformation专注于数据的ETL,而Job的范围比较广,可以是Transformation,也可以是Mail、SQL、Shell、FTP等,甚至可以是另外一个Job。