SlateDB: 面向对象存储重新设计的 RocksDB
SlateDB是基于Rust和LSM-Tree、专为对象存储设计的嵌入式KV数据库,解决RocksDB在远程存储场景下的局限性。
SlateDB是基于Rust和LSM-Tree、专为对象存储设计的嵌入式KV数据库,解决RocksDB在远程存储场景下的局限性。
Ursa是兼容Kafka协议的湖仓原生存算分离流引擎,通过将数据直接写入对象存储并内置Compaction服务,降低存储成本并支持高效分析。
KIP-1150提出Kafka存算分离架构,通过将数据存储至远程对象存储(如S3)并采用无Leader设计,降低跨可用区复制成本,提升可扩展性与成本效率。
AutoMQ是一款开源的,存算分离架构的Kafka发行版,目前在Github上有4.2kstar。AutoMQ是基于Kafka代码改的,只改了底层存储的代码,所以也天然兼容Kafka协议。AutoMQ的核心亮点就是存算分离,本文也主要介绍AutoMQ存算分离的实现。