Mac 从Makefile 编译 Rocksdb 源码的一些注意事项 is a project mainly written in , based on the .文章目录前言Makefile 编译流程1. 平台变量/环境变量的初始化。2. 编译需要的源码文件变量初始化。3. include 目录的设置。4. 编译的执行逻辑。问题记录1：可能的打包命令`ar` 失效问题5. 执行具体的编译指令问题记录2: jar 包编译...
Python 绘图脚本系列简单记录 is a project mainly written in , based on the .简单记录平时画图用到的python 便捷小脚本 1. 从单个文件输入 绘制坐标系图 #!/usr/bin/python # coding: utf-8 import matplotlib.pyplot as plt import numpy as np import matplotlib as mpl import sysf...
存储引擎 K/V 分离下的index回写问题 is a project mainly written in , based on the .前言 近期在做on nvme hash引擎相关的事情，对于非全序的数据集的存储需求，相比于我们传统的LSM或者B-tree的数据结构来说 能够减少很多维护全序上的计算/存储资源。当然我们要保证hash场景下的高写入能力，append-only 还是比较友好的选择。 像 Riak的bitcask 基于索引都在内存的hash引擎这种，...
KVell 单机k/v引擎：用最少的CPU 来调度Nvme的极致性能 is a project mainly written in , based on the .文章目录前言KVell背景业界引擎使用Nvme的问题CPU 会是 LSM-kv 存储的瓶颈CPU 也会是 Btree-kv 存储的瓶颈KVell 设计亮点 及 总体架构实现KVell 设计亮点1. Share nothing2. Do not sorted on disk, but keep indexes in memory3. A...
关于 线程模型中经常使用的 __sync_fetch_and_add 原子操作的性能 is a project mainly written in , based on the .最近从 kvell 这篇论文中看到一些单机存储引擎的优秀设计，底层存储硬件性能在不远的未来可能不再是主要的性能瓶颈，反而高并发下的CPU可能是软件性能的主要限制。像BPS/AEP/Optane-SSD 等Intel 推出的硬件存储栈已经能够在延时上接近DRAM的量级，吞吐在较低的队列深度下更是能够超越当前主流NVMe-ssd 数倍甚至...
关于std::string 在 并发场景下 __grow_by_and_replace free was not allocated 的异常问题 is a project mainly written in , based on the .使用string时发现了一些坑。 我们知道stl 容器并不是线程安全的，所以在使用它们的过程中往往需要一些同步机制来保证并发场景下的同步更新。 应该踩的坑还是一个不拉的踩了进去，所以还是记录一下吧。 string作为一个容器，随着我们的append 或者 针对string的+ 操作都会让string内部的数据域动态增加，而动态增加的...
Rocksdb 的 MergeOperator 简单使用记录 is a project mainly written in , based on the .本篇仅仅是一个记录 MergeOperator 的使用方式。 Rocksdb 使用MergeOperator 来代替Update 场景中的读改写操作，即用户的一个Update 操作需要调用rocksdb的 Get + Put 接口才能完成。 而这种情况下会引入一些额外的读写放大，对于支持SQL这种update 频繁的场景来说实在是不划...
关于 智能指针 的线程安全问题 is a project mainly written in , based on the .先说结论，智能指针都是非线程安全的。
多线程调度智能指针
这里案例使用的是shared_ptr，其他的unique_ptr或者weak_ptr的结果都是类似的，如下多线程调度代码：
#include
关于 linux io_uring 性能测试 及其 实现原理的一些探索 is a project mainly written in , based on the .文章目录先看看性能AIO 的基本实现io_ring 使用io_uring 基本接口liburing 的使用io_uring 非poll 模式下 的实现io_uring poll模式下的实现io_uring 在 rocksdb 中的应用总结参考...
Rocksdb Ribbon Filter : 结合 XOR-filter 以及 高斯消元算法 实现的 高效filter is a project mainly written in , based on the .文章目录前言XOR-filter 实现原理xor filter 的构造原理xor filter 构造总结XOR-filter 和 ADD-filter对比XOR-filter 在计算上的优化Ribbon filter高斯消元法总结参考...
如何用 ndctl/ipmctl 管理工具 配置不同访问模式的pmem设备 is a project mainly written in , based on the .文章目录1 PMEM 底层架构2 PMEM 逻辑架构3 ipmctl 创建 不同模式的 region3.1 安装3.2 创建AppDirect mode的region3.3 创建 Memory Mode模式3.4 创建 混合模式3.5 查看创建的结果4 ndctl 创建不同类型的 namespaces4.1 安装4.2 创建/删除 一...
跟着Rocskdb 学 存储引擎：读写链路的代码极致优化 is a project mainly written in , based on the .文章目录1. 读链路1.1 FileIndexer1.1.1 LevelDB sst查找实现1.1.2 Rocksdb FileIndexer实现1.2 PinnableSlice 减少内存拷贝1.3 Cache1.3.1 LRU Cache1.3.2 Clock Cache1.4 ThreadLocalPtr 线程私有存储1.4.1...
TCMalloc(Thread-Caching malloc) 基本设计原理 is a project mainly written in , based on the .文章目录背景如何使用架构概览1. TCMalloc Front-end1.1 小对象和大对象的内存分配过程1.2 内存释放过程1.3 Per-CPU mode1.4 Per-thread mode1.5 per-cpu 和 per-thread 运行时内存管理算法对比2. TCMalloc Middle-end2.1 Transfer...
关于 Rocksdb 的 EnvWrapper 作用的小讨论 is a project mainly written in , based on the .临下班前一位做引擎的小伙伴提了个小问题， Rocksdb 实现了非常多的Env backend 这一些backend 可以让用户根据自己需求创建不同 公共接口backend，来实现自己的文件操作或者公共线程池操作。 Env* env = new rocksdb::HdfsEnv(FLAGS_hdfs) 问题是，为什么Rocksd...
关于 fallocate 文件系统预分配 的一些细粒度测试 is a project mainly written in , based on the .文章目录Rocksdb 中的预分配Fallocate in rocksdb 性能测试Fallocate 使用 以及 对应配置的行为API 使用不同 Mode 的行为分配磁盘空间释放磁盘空间折叠/裁剪 文件内容清零文件 + 扩容文件...
内存分配器设计的演进 is a project mainly written in , based on the .文章目录栈内存空间是否够用系统调用申请内存最简单的内存分配器实现 -- bump allocator可扩容的 Bump alloactor通过free-list 管理的 allocator通过size-buckets 维护多个free-list 的 allocatorCache friendly allocator需要考虑更多问题的a...
基于持久内存的 单机上亿(128B)QPS -- 持久化 k/v 存储引擎 is a project mainly written in , based on the .文章目录性能数据设计背景设计架构Hash 索引结构 及 PMEM空间管理形态基本API 及 实现API初始化流程写流程读流程删除流程PMEM Allocator设计主要组件空间分配流程空间释放图数据库 on KVDK 性能...
Linux 下获取本机所有网卡 以及 网卡对应ip 列表 is a project mainly written in , based on the .简单record 一下
#include
XFS 文件系统 (一) ：设计概览 is a project mainly written in , based on the .文章目录0 前言1 设计背景2. 需要解决的问题2.1 异常恢复太慢2.2 不支持大文件系统2.3 不支持大型稀疏文件2.4 不支持大型连续文件2.5 不支持大目录2.6 不支持过多文件个数3 XFS 架构4 痛点解决4.1 Allocation Groups4.2 Manging Free Space4.3 大文件的支持5 总结...
Rocksdb的事务（二）：完整事务体系的 详细实现 is a project mainly written in , based on the .文章目录1. 基本事务操作1.1 TransactionDB -- Pessimistic1.2 OptimisticTransactionDB1.3 Read Uncommitted1.4 SavePoint 回滚部分事务操作1.5 SetSnapshot1.6 GetForUpdate1.7 RepeatableRead2. 实现...