RocksDB内部数据组织方式介绍及性能压测

RocksDB 和LevelDB都属于嵌入式数据库,内部没有设计成C/S网络结构,必须和服务部署在同一台服务器。LevleDB是Google的两位Fellow(Jeaf Dean和Sanjay Ghemawat)设计和开发的嵌入式Key-Value系统,读写性能非常彪悍,官方网站报道其写性能40万/s,读性能达到6万/s,写操作要远快于读操作。RocksDB是Facebook公司在LevelDB基础之上开发的一个嵌入式Key-Value系统,在很多方面对LevelDB做了优化和增强,更像是一个完整的产品,比如:

  • LevelDB是单线程合并文件,RocksDb可以支持多线程合并文件,充分利用多核的特性,加快文件合并的速度,避免文件合并期间引起系统停顿;

  • LevelDB只有一个Memtable,若Memtable满了还没有来得及持久化,则会引起系统停顿,RocksDB可以根据需要开辟多个Memtable;

  • LevelDB只能获取单个Key-Value,RocksDB支持一次获取多个Key-Value。

  • LevleDB不支持备份,RocksDB支持全量和增量备份。

在实际项目或者产品中,可以将 RocksDB 或者 LevleDB 作为单机数据存储引擎,在其上面实现分片和多副本,从而实现一个真正的分布式存储系统,例如:

  • 微信开源的PaxosStore,默认就是以RocksDB作为其单机的数据读写引擎,上层通过Paxos协议来保证多副本之间的数据一致性。

  • 开源数据库TiDB,其中的TiKV组件(Server)负责Key-Value的读写,底层也是采用的RocksDB来作为单机的数据读写引擎,上层通过Raft协议来保证多副本之间的数据一致性。

下面是先前我在组内做的一个关于RocksDB的分享,包括实际的性能压测数据,后面抽空录个视频展开来讲一下。

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章