bifrost 部署 - 面向生产环境的 MySQL 同步到ClickHouse,Redis,MongoDB等服务的异构中间件 ETL mysql clickhouse mongo redis


https://hub.docker.com/r/jc3wish/bifrost

https://wiki.xbifrost.com/

https://github.com/brokercap/Bifrost/releases


docker run -d -p 9992:21036  --name bifrost --restart=always  -e TZ='Asia/Shanghai'   --ulimit nofile=262144:262144  -v /etc/localtime:/etc/localtime -v /data/site/docker/env/bizdata/Bifrost.ini:/linux/etc/Bifrost.ini:ro  -v /data/site/docker/data/bifrost:/linux/data  --link mariadb  --link ch  jc3wish/bifrost:latest


http://g.htmltoo.com:9992

默认用户名和密码

用户名:Bifrost

密码:Bifrost123


docker exec -it bifrost /bin/bash


Bifrost 可以将 你 MySQL 里的数据, 全量 , 实时增量 同步到 :

Redis

MongoDB

ClickHouse

MySQL

Memcahe

RabbitMQ

ActiveMQ

Kafka

Http 自定义服务

Hprose RPC 自定义服务


编译
git clone https://github.com/brokercap/Bifrost.git
make install prefix=./target
二进制文件安装
wget https://github.com/brokercap/Bifrost/releases/download/v1.3.2-release/linux.zip
unzip linux.zip
cd linux
启动
./Bifrost-server start
停止
./Bifrost-server stop
界面管理

https://127.0.0.1:21036

用户名和密码是在 etc/Bifrost.ini 配置文件中配置的

默认用户名和密码

用户名:Bifrost

密码:Bifrost123

Docker启动
docker pull jc3wish/bifrost mkdir -p /data/BifrostData docker run -d -p21036:21036 -v /data/BifrostData:/linux/data jc3wish/bifrost


# vim Bifrost.ini
[user]
#登入用户名和密码
#用户名在前,= 号后面是密码
Bifrost=Bifrost123
BifrostMonitor=Bifrost123
[groups]
#administrator 管理人员可以添加删除等操作
#monitor 只能查看数据
Bifrost=administrator
BifrostMonitor=monitor
[Bifrostd]
#log写到入的文件夹,默认为启动文件所在文件夹下的logs目录
#log_dir=/data/log/
#监听端口,默认 0.0.0.0:21036
listen=0.0.0.0:21036
#通过界面配置的信息保存文件夹,默认为启动文件所在文件夹下的data目录
data_dir=./
#设置同步给第三方服务的队列大小,默认5000
toserver_queue_size=5000
#通道队列的大小,默认1000
channel_queue_size=1000
#是否支持动态加plugin so 插件,默认为false
#这个参数只在 linux 下有效,其他平台全部为false
dynamic_plugin=false
#是否支持https
tls=true
#server.key 及 server.crt 相对于 Bifrost 的路径,也可以填绝对路径
tls_key_file=./etc/server.key
tls_crt_file=./etc/server.crt
#采用什么方式存储,默认文件方式
meta_storage_type=redis
#存储介质的连接地址
meta_storage_path=127.0.0.1:6379
#用于区别实例的名字
cluster_name=bifrostTestClusterName


---Bifrost 特点

  • 支持 MySQL 所有存储类型

  • 界面化动态灵活配置不同的数据表及目标库

  • 多数据源,多种目标库支持

  • 同时支持 增量 及 全量 数据同步

  • 宕机后重启自动恢复配置

  • 支持自定义插件开发,动态加载

  • 支持 Email 及 微信企业号等监控报警功能

  • 提供第三方监控平台访问接口(Http Basic验证)

  • 支持对 Null 的解析,但对 Null 的支持程度,取决于插件的支持,如果有 Null 数据,请查阅


签名:这个人很懒,什么也没有留下!
最新回复 (0)
返回