使用Bifrost将mysql数据迁移到clickhouse ETL mysql clickhouse



(1).mysql开启binlog
server_id   = 1
log_bin = /var/lib/mysql/binlog/master-bin.log
max_binlog_size = 1G
binlog_format = ROW
expire_logs_days = 2

开启之后,然后在创建相应的库及表

(2).在Bifrost中添加mysql数据源





(3).点击提交后会提示你跳到同步目标表

ConnUri的配置:tcp://10.2.3.100:9000?username=default&password=123456&compress=true



(4).需要同步的库要表设置

点击数据源--》Setting



选择要同步的库及表



点击add添加选择的表



右边的选项保持默认即可,点击批量提交







然后再次点击要同步的表sys_user



点击 刷新全量数据



选择对应的目标服务器





然后在 数据源 点击 start 开启同步





然后在 全量任务中点击--》start



当状态变为over时表示同步结束了



(5).查询clickhouse中数据是否同步成功



5.Bifrost的使用(同步全库)





此时可以看到添加成功



此时点击旁边的 批量提交





此时再次点击左边的AllTables 



然后查看右边出现如下:



然后点击 刷新全量任务列表





此时点击start进行开始



此时状态会变成running,当状态变为over,表明数据同步成功。



以上是关于使用brokercap / Bifrost将mysql数据 迁移到 clickhouse的内容



签名:这个人很懒,什么也没有留下!
最新回复 (0)
返回