一个简单的程序来使用WiredTiger 存储引擎

首页 > 一个简单的程序来使用WiredTiger 存储引擎

一个简单的程序来使用WiredTiger 存储引擎

前言

WiredTiger 自 mongodb3.0 集成进来之后为mongodb拉回了大量的口碑，从而在mongodb-3.2 版本直接代替了in-memory存储引擎，作为了mongodb的默认存储引擎。其通过支持Append-only btree + lsm-tree 以及针对磁盘/内存数据结构上的多核和无锁优化，从而拥有了极高的性能，同时支持mongodb基本的事务/备份/time-based 等需求，成为mongodb 的核心动力。

研究wiredtiger 能够对基本的B-tree/LSM-tree 数据结构的工业实现有极为深刻的理解，而且我们实际测试wired-tiger 能够提供超过 rocksdb 2-3 倍的读性能，这里的测试是有cache和没有cache场景测的，都有同样的性能提升（b-tree的查找本身就是比较高效）和不弱于rocksdb 的写性能（append-only btree 也是顺序写，所以仍然需要类似LSM-tree的compact操作）。

当然，在不了解内部核心链路的基本流程之前直接看源代码基本难度很大（百万级的行数），比rocksdb大一个量级。不过还是贴上源码地址吧：https://github.com/wiredtiger/wiredtiger

基本接口

关于 wiredtiger 的编译和安装：

on-linux 可以参考wiredtiger 编译安装
on-mac 可以直接 brew install wiredtiger

了解整个引擎之前还是先将整个引擎跑一跑，看看运行之后的db数据状态；跑跑bench-mark，看看性能什么的，后续梳理出一个roadmap 再进行源码层级的深入。

如下测试代码，涵盖了wiredtiger的基础db操作的接口：

#include 
#include 
#include 
#include 
static const char *home;void
CheckOp(const int ret, const char* funcname, const char* home) { if (ret != 0) { fprintf(stderr, "%s -- Error connecting to %s: %s
",funcname, home, wiredtiger_strerror(ret));}
}int
main(void)
{ WT_CONNECTION *conn;WT_SESSION *session;WT_CURSOR *cursor;int ret;/* 打开一个wiredtiger要操作的db目录*/if (getenv("WIREDTIGER_HOME") == NULL) { home = "WT_HOME";ret = system("rm -rf WT_HOME && mkdir WT_HOME");} else { home = NULL;}/* 打开或者创建数据库 */CheckOp(wiredtiger_open(home, NULL, "create", &conn), "wiredtiger_open", home);/* 打开1个数据库连接 */CheckOp(conn->open_session(conn, NULL, NULL, &session), "open_session", home);/* 创建一张名字为access的表，后续的db文件会以表的名字来命名 */CheckOp(session->create(session, "table:access", "key_format=S,value_format=S"), "create", home);/* 创建一个cursor，所有的请求都通过cursor来访问 */CheckOp(session->open_cursor(session, "table:access", NULL, NULL, &cursor), "open_cursor", home);/* 向一个cursor 插入一个KV */cursor->set_key(cursor, "key1");cursor->set_value(cursor, "value1");char* key = NULL;/* 获取key , 当然，获取value也是同样的方式，通过get_value即可*/CheckOp(ret = cursor->get_key(cursor, &key),"get_key", home);printf("wt key is : %s", key);CheckOp(ret = conn->close(conn, NULL),"close", home);return (ret);
}

我是在mac上编译的: gcc test_wt.c -o test_wt -lwiredtiger，如果是linux，直接链接编译好的libwiredtiger.so就可以了。

运行之后会生成一个WT_HOME的db目录：

╰─$ tree WT_HOME
WT_HOME
├── WiredTiger
├── WiredTiger.basecfg
├── WiredTiger.lock
├── WiredTiger.turtle
├── WiredTiger.wt
├── WiredTigerLAS.wt
└── access.wt

这里面的文件信息如下：

wiredTiger 是wiredTiger的版本信息或者编译时间
WiredTiger.basecfg wiredTiger的配置信息
WiredTiger.lock lock文件，防止多个进程链接同一个数据库（rocksdb的LOCK文件），单进场独享的
WiredTiger.turtle存储WiredTiger.wt文件的元数据信息
access.wt 是实际的表数据，我们在代码中创建了一个access命名的表
WiredTiger.wt 特殊的table，用于存储其他表数据的元数据信息
WiredTigerLAS.wt 这个是与wiredtiger的cache evict 相关的数据文件，主要是当内存使用率高时用于临时存放不能被逐出到用户表文件中的数据，表WiredTigerLAS中的数据会被高优先级逐出到磁盘文件WiredTigerLAS.wt中。

还有更多的官方提供的关于 session/cursor/事务等接口的使用demo 可以参考: example