数据湖在快手的生产实践

WOT峰会

视频学科分类 - 计算机科学技术

时长：MP4

来源 - 51CTO

演讲简介：本次分享将重点介绍快手内部在HUDI数据湖技术上的生产实践。通过数据同步、数据更新和宽表拼接等典型业务场景的应用，说明如何用数据湖技术解决传统离线生产链路中的痛点，并优化效率、时效性和成本。最后介绍目前还存在的痛点和正在建设中的工作，并对未来的工作进行展望。这次分享的核心目标是突出数据湖技术在重塑离线生产方式中的关键作用。大纲：1. 简介：快手内部数据生产链路的挑战和痛点数据湖技术引入的动机和意义2. 数据湖技术概述：数据湖的基本概念和特点HUDI数据湖技术的优势和适用场景3. 数据同步应用：数据同步需求和挑战基于 HUDI的数据同步解决方案和实践4. 数据更新应用：传统离线生产链路中的数据更新问题基于HUDI实现增量数据更新的案例和经验5. 宽表拼接应用：宽表拼接在离线生产中的重要性和难点基于HUDI建设大宽表的方案和实践6. 未来展望：目前的痛点建设中的工作未来工作听众收益：了解数据湖技术在数据同步、数据更新和宽表拼接等业务场景的经验获得数据湖技术最新进展演讲人介绍：快手数据架构研发专家，先后就职于百度、阿里、快手。专注于大数据技术，包括计算引擎和数据湖方向。热爱开源技术，Apache Flink && Apache Calcite Committer，Apache HUDI Contributor。

查看内容