PaimonApache Paimon 是一种流批一体的数据湖存储格式,旨在统一处理流式和批量数据,提供高吞吐摄入和低延迟查询。它支持与 Flink、Spark 等计算引擎集成,可以在 HDFS 或对象存储上构建数据湖。Paimon 的核心特点包括支持 CDC(变更数据捕获)、变更日志跟踪和高效的实时分析。Paimon学习笔记
FlussApache Fluss 是一款面向实时分析的下一代流存储系统,由阿里巴巴开源并捐赠成为 Apache 孵化项目。它作为 Lakehouse 架构 的实时数据层,旨在解决传统流存储的复制、高成本和复杂性问题。Fluss 基于 Apache Arrow 构建,支持列式存储、实时更新和高效查询,并与 Flink 等计算引擎无缝集成。Fluss学习笔记
IcebergApache Iceberg 是一种用于大型分析数据集的开源表格式,旨在解决传统数据湖的局限性,提供可靠性、高性能和灵活性。它是一个元数据层,位于数据文件之上,支持像数据库一样管理数据,并可以与 Apache Spark、Apache Flink、Presto、Hive 等多种计算引擎集成使用。Iceberg学习笔记