https://iceberg.apache.org/
https://hub.docker.com/r/kbendickson/iceberg-spark
为了标准化大数据存储格式做努力。数据湖领域有三大巨头:
Databricks DeltaLake
Apache Hudi
Apache Iceberg
存储计算分离,需要不用时把价格降低到只有存储的费用(廉价的对象存储),所以,我需要把元数据和真实数据存储在一起。
http://www.htmltoo.com/