Materialize:用 Differential Dataflow 构建实时 SQL 数据库
系列文章的最后一篇。Materialize 在 timely dataflow 和 differential dataflow 之上构建了一个完整的 SQL 数据库,将 SQL 查询编译为增量维护的 dataflow 图,实现物化视图的实时更新。
系列文章的最后一篇。Materialize 在 timely dataflow 和 differential dataflow 之上构建了一个完整的 SQL 数据库,将 SQL 查询编译为增量维护的 dataflow 图,实现物化视图的实时更新。
解读 Differential Dataflow 的核心思想:如何将数据表达为变更流,让任意关系代数运算都能增量化执行。这是三篇系列文章的第二篇。
解读 Naiad 论文(SOSP 2013 Best Paper),深入分析 Timely Dataflow 如何用一个支持有环图的数据流模型,统一 batch、streaming 和 iterative 三种计算范式。这是三篇系列文章的第一篇。
Kafka通过主从复制的协议对消息进行备份以实现高可靠的分布式系统,但是在如何正确地实现复制的协议中,Kafka作为一款公认的稳定可靠的分布式消息队列,也踩了不少坑。本文首先深入介绍了Kafka的复制协议,然后引出了Kafka在这套复制协议上踩的若干坑和修复方案。通过理解Kafka踩的坑和解决这些问题的思路和方案,希望可以对读者的在分布式系统设计上有所借鉴和启发。