ClickHouse 集群部署 - 大数据分析 clickhouse


https://hub.docker.com/r/clickhouse/clickhouse-server

https://github.com/tetafro/clickhouse-cluster

https://hub.docker.com/r/yandex/clickhouse-server

https://github.com/ClickHouse/ClickHouse/releases

https://clickhouse.tech/

https://github.com/Vertamedia/clickhouse-grafana

https://grafana.net/plugins/vertamedia-clickhouse-datasource

https://github.com/jneo8/clickhouse-setup


https://abc.htmltoo.com/thread-45886.htm    # clickhouse 单机部署 - 大数据分析

https://abc.htmltoo.com/thread-45902.htm    # MySQL-to-ClickHouse

https://abc.htmltoo.com/thread-45933.htm    # mysql2clickhouse

https://abc.htmltoo.com/thread-45940.htm    # maxwell 部署 - mysql-to-json kafka

https://abc.htmltoo.com/thread-45941.htm    # hangout 部署 - kafka2clickhouse 

https://abc.htmltoo.com/thread-45952.htm    # ClickHouse之访问权限控制

https://abc.htmltoo.com/thread-45956.htm    # WaterDrop将Kafka中的数据写入Clickhouse

https://abc.htmltoo.com/thread-45951.htm    # mysql2clickhouse + proxysql-clickhouse 部署


# 单机部署

https://abc.htmltoo.com/thread-45886.htm


# zookeeper 集群部署    

https://abc.htmltoo.com/thread-45885.htm


# kafka 安装指南

https://abc.htmltoo.com/thread-44967.htm


# 安装DBeaver

https://github.com/dbeaver/dbeaver/releases


# 进入服务端服务

clickhouse-client    # 用clickhouse-client连接本机clickhouse-server服务器: 

show databases;    #  显示数据库

select now();


# 进入交互式客户端, 

---用clickhouse-client连接本机clickhouse-server服务器: 

clickhouse-client

---用本机clickhouse-client连接远程clickhouse-server服务器: 

---clickhouse-client –host clickhouse-server –port 9000 –database default–user default –password 

-client 验证 

clickhouse-client --host=server1  --port=9000 


# 登陆clickhouse进行建表

ck-server-01 :) use yayun;
USE yayun
Ok.
0 rows in set. Elapsed: 0.001 sec. 
ck-server-01 :) CREATE TABLE tb1
:-]  ENGINE = MergeTree
:-]  PARTITION BY toYYYYMM(pay_time)
:-]  ORDER BY (pay_time) AS
:-]  SELECT *
:-]  FROM mysql('127.0.0.1:3306', 'yayun', 'tb1', 'ch_repl', '123') ;
CREATE TABLE tb1
ENGINE = MergeTree
PARTITION BY toYYYYMM(pay_time)
ORDER BY pay_time AS
SELECT *
FROM mysql('127.0.0.1:3306', 'yayun', 'tb1', 'ch_repl', '123') 
Ok.
0 rows in set. Elapsed: 0.031 sec.

这里使用MergeTree引擎,MergeTree是clickhouse里面最牛逼的引擎,支持海量数据,支持索引,支持分区,支持更新删除。toYYYYMM(pay_time)的意思是根据pay_time分区,粒度是按月。ORDER BY (pay_time)的意思是根据pay_time排序存储,同时也是索引。上面的create table命令如果mysql表里面以后数据那么数据也会一并进入clickhouse里面。通常会limit 1,然后更改一下表结构。

---看看clickhouse里面的表结构

show create table tb1;


# ClickHouse 集群和副本设置

https://abc.htmltoo.com/thread-45953.htm


==========================

ClickHouse有几核心的配置文件:

config.xml 端口配置、本地机器名配置、内存设置等

metrika.xml 集群配置、ZK配置、分片配置等

users.xml 权限、配额设置

日志的目录默认为:  /var/log/clickhouse-server/

==========================

# 创建库

CREATE DATABASE test_db ENGINE = Ordinary;

# 创建本地表

CREATE TABLE test_tables( id UInt16,name String,age String,create_date date) ENGINE = MergeTree(create_date, (id), 8192);

ENGINE:是表的引擎类型,

MergeTree:最常用的,MergeTree要求有一个日期字段,还有主键。

Log引擎没有这个限制,也是比较常用。

ReplicatedMergeTree:MergeTree的分支,表复制引擎。

Distributed:分布式引擎。

create_date:是表的日期字段,一个表必须要有一个日期字段。

id:是表的主键,主键可以有多个字段,每个字段用逗号分隔。

8192:是索引粒度,用默认值8192即可。


# Tabix 部署 - ClickHouse Web 界面

https://abc.htmltoo.com/thread-45950.htm


==========================

https://blog.csdn.net/bluetjs/article/details/83011794

https://blog.csdn.net/weixin_34067102/article/details/91421749

https://blog.csdn.net/m0_37739193/article/details/79611560

https://www.cnblogs.com/grapelet520/p/11280972.html

https://www.cnblogs.com/gomysql/p/11199856.html


签名:这个人很懒,什么也没有留下!
最新回复 (0)
返回