Apache Paimon：Streaming LakeHouse 最新进展

WOT峰会

视频学科分类 - 计算机科学技术

时长：MP4

来源 - 51CTO

目前业界主流数据湖存储格式项目都是面向 Batch 场景设计的，在数据更新处理时效性上无法满足 Streaming Lakehouse 的需求，因此 Flink 社区在一年多前内部孵化了 Flink Table Store 子项目——一个真正面向 Streaming 以及 Realtime的数据湖存储项目。2023年3月12日，Flink Table Store 项目顺利通过投票，正式进入 Apache 软件基金会 (ASF) 的孵化器，改名为 Apache Paimon (incubating)。Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。演讲大纲：1. 湖存储技术的场景与特质2. Paimon 的架构与核心优势3. Paimon 的应用场景4. Paimon 的后续探索5. 总结和展望听众收益：1. 了解湖存储相关技术2. 了解实时计算最新进展3. 了解流式数据湖的应用场景Web 平台的新功能演讲人介绍：阿里云开源大数据表存储团队负责人，负责 Apache Paimon 的研发和产品，Founder of Apache Paimon，PMC member of Apache Flink，Committer of Apache Iceberg&Beam。先后从事分布式流计算、分布式批计算、湖存储，目前专注于流式湖仓一体的技术。

查看内容