Materialize:用 Differential Dataflow 构建实时 SQL 数据库

系列文章的最后一篇。Materialize 在 timely dataflow 和 differential dataflow 之上构建了一个完整的 SQL 数据库,将 SQL 查询编译为增量维护的 dataflow 图,实现物化视图的实时更新。

2026年5月30日 · 11 分钟 · Yuxia Luo

Differential Dataflow:让计算只做增量

解读 Differential Dataflow 的核心思想:如何将数据表达为变更流,让任意关系代数运算都能增量化执行。这是三篇系列文章的第二篇。

2026年5月30日 · 12 分钟 · Yuxia Luo

Timely Dataflow:用一个计算模型统一三种数据处理范式

解读 Naiad 论文(SOSP 2013 Best Paper),深入分析 Timely Dataflow 如何用一个支持有环图的数据流模型,统一 batch、streaming 和 iterative 三种计算范式。这是三篇系列文章的第一篇。

2026年5月30日 · 6 分钟 · Yuxia Luo

Kafka 复制协议不可不知的技术内幕 - 关于 Kafka 踩过的坑

Kafka通过主从复制的协议对消息进行备份以实现高可靠的分布式系统,但是在如何正确地实现复制的协议中,Kafka作为一款公认的稳定可靠的分布式消息队列,也踩了不少坑。本文首先深入介绍了Kafka的复制协议,然后引出了Kafka在这套复制协议上踩的若干坑和修复方案。通过理解Kafka踩的坑和解决这些问题的思路和方案,希望可以对读者的在分布式系统设计上有所借鉴和启发。

2025年1月19日 · 12 分钟 · Yuxia Luo