环境

ceph版本：12.2.1

部署模式：ec 2+1

osd： 3个 且资源池已经有数据

执行命令：ceph daemon osd.0 flush_store_cache 进行刷缓存。即将dump_mempools内存池管理的bluestore cache中的无用数据进行释放

主要参数:

bluestore_cache_trim_interval = 0.2 #bluestore cache trim的时间间隔
bluestore_cache_trim_max_skip_pinned # trim cache的时候，如果遇见item是pin的，计数+1，计数超过此值后，停止做trim。默认为64
bluestore_cache_type = 2q #blustore cache类型，默认是2q
bluestore_2q_cache_kin_ratio = 0.5 #2q cache中真正存储新的缓存页面的链表 Ain 所占用整个cache空间的比例
bluestore_2q_cache_kout_ratio = 0.5 # 2q cache中存储被正常淘汰的缓存页面的链表 Alout 所占用整个cache的空间比例
debug_bluestore = 20/20 #设置bluestore的debug日志级别
debug_bdev = 20/20 #设置bdev的debug日志级别

刷缓存源码分析

刷缓存方式主要有两种,两种基本逻辑没有什么区别

1. osd内部bstore_mempool线程自己每隔一时间调用trim
2. OSD 子线程 admin_socket接收到终端用户 flush_store_cache信号调用trim函数

第一种方式

第二种方式

基本源码调用逻辑很简单，以我们执行ceph daemon osd.0 flush_store_cache命令的源码调用函数栈如下：

/usr/bin/ceph-osd(BlueStore::SharedBlob::put()+0x2c) 
/usr/bin/ceph-osd(BlueStore::Extent::~Extent()+0xd1) 
/usr/bin/ceph-osd(BlueStore::Onode::put()+0x96) //回收onode磁盘空间,调用extent的析构函数，sharedblob的析构函数
/usr/bin/ceph-osd(BlueStore::TwoQCache::_trim(unsigned 
/usr/bin/ceph-osd(BlueStore::Cache::trim_all()+0x30) 
/usr/bin/ceph-osd(BlueStore::flush_cache()+0x7c) //调用flush_cache函数执行trim
/usr/bin/ceph-osd(OSD::asok_command(std::basic_string<char,  //admin_socket线程处理命令

删除onde的时候即Onode::-put函数，先将onode从当前onode_map中删除，再析构掉onode对象



remove掉sharedblob磁盘数据结构。remove过程中同样需要将sharedblob先从sharedblob_set中移除，由remove函数执行，然后再释放sharedblob空间

这里介绍几个bluestore常驻内存的数据结构：

• Cache基类
  
  
• 在管理用户数据的onode和lcollection之间有一个结构 OnodeSpace
  
  
  
  这里可以看到一个每个bluestore可以包含多个cache。因为不同PG之间的客户端请求可以并发处理，为了提升性能，每个OS相应得会设置多个PG工作队列，bluetore 中的Cache实例个数与之对应
• 在真正用户数据blob和cache之间的数据结构BufferSpace
  
  
• BufferSpace的管理的基本单元Buffer,每个Buffer负责管理blob中的一段数据
  
  
• TwoQCache类
  
  
  
  可以看到TwoQCache维护四个队列。所有的Onode与Buffer最终都加入Cache,进行全局热度识别和应用淘汰策略。在BlueStore中的2Q实现，这两类数据分别应用了不同的淘汰策略：针对管理用户数据的单元Onode采用LRU，针对用户数据单元buffer使用2Q算法。