浅浅学习一下 Mooncake - 如何让 Postgres 的每一次写入,Iceberg 都能实时看见

Mooncake通过GlobalIndex实时生成DeletionVector替代低效EqualityDelete,并结合UnionRead将内存Arrow批次、磁盘Parquet与多级删除信息统一查询,实现Postgres到Iceberg的毫秒级实时同步与分析。

2026年4月14日 · 6 分钟 · Yuxia Luo

浅浅聊一聊四大湖格式的内部机制和一致性模型 - Hudi 篇

文章深入解析了Hudi的内部机制与一致性模型,重点阐述其基于Timeline和FileGroup的读写流程、乐观并发控制及对写入端的时间戳单调性等严格要求,揭示了其复杂性与潜在数据一致性风险。

2025年9月13日 · 4 分钟 · Yuxia Luo

浅浅聊一聊四大湖格式的内部机制和一致性模型 - Delta 篇

Delta通过递增版本的DeltaLog记录写入,采用Copy-on-write或Merge-on-read实现数据更新,并利用PutIfAbsent或表锁解决并发写入冲突,其一致性模型基于分区级冲突检测。

2025年9月13日 · 2 分钟 · Yuxia Luo

浅浅聊一聊四大湖格式的内部机制和一致性模型 - Paimon 篇

Paimon通过LSM树和Deletionvector优化主键表读写,多写者不同bucket无一致性问题,但同bucket写入可能导致更新丢失或悬空Deletionvector。

2025年9月7日 · 3 分钟 · Yuxia Luo

浅浅聊一聊四大湖格式的内部机制和一致性模型 - Iceberg 篇

本文深入解析Iceberg数据湖格式的内部机制与一致性模型,涵盖写入流程、快照管理、并发控制及冲突检测机制,确保多写者场景下的数据一致性。

2025年9月6日 · 5 分钟 · Yuxia Luo