断电时文件系统发生了什么?硬盘又发生了什么?下一次开机时写到一半的文件在系统层面还在吗?在底层还在吗?
更进一步的, 文件系统如何保证事务性, 会不会存在某种极端情况导致例如最后几个bit还没写完, 文件系统却认为它成功了的情况?
回答不限任何文件系统,谢谢!
断电的一瞬间,很多事情是无法确定的:
1. 你无法确定你试图向设备驱动发送的写指令是否成功,驱动程序本身一般都有缓存;
2. 即使写指令正常返回,你也无法确定设备实际上是否写成功,因为设备本身可能也有缓存。目前没有设备能保证写指令返回的情况下,所有数据一定成功的保存在介质上(但部分厂商能保证少量数据一定能成功写入),对存储设备的flush操作并非绝对可靠;
3. 哪些成功哪些失败可能是乱序的,换句话说,如果先发送写请求A,再发送写请求B,并且都成功返回,掉电时请求A可能丢失,但B成功(NCQ功能);
4. 机械式磁盘可能会出现丢失半截数据的情况(比如,一个512字节扇区只写入了100字节,也就是题主说的bit级错误),但这种一般都会通过校验位检测出来。
因为有以上这么多的限制,实际上文件系统一般没办法保证数据一定不丢失,甚至哪些丢失哪些能恢复也是不确定的。
一般来说,文件系统有以下的几种策略:
1. 完全不管错误的事情,错了就错了;
2. 打标记位的方式,如果怀疑有错,通过磁盘检测功能恢复;
3. 在设计上保证文件系统结构上可恢复,但不保证用户数据可恢复;
4. 能在用户数据层面上保证数据的绝对正确。
第一种和第二种策略现在比较少见,FAT文件系统算是属于这类;主流文件系统基本上都能保证第三种,比如NTFS之类的;第四种比较难,一般都要配合存储驱动一起,多见于Flash介质的专属文件系统。
保证数据不损坏,具体的方案一般有:
方案1:Copy-On-Write,写数据的时候不在原来的位置写,而是先读一份,然后写到另外一个位置,当确认写成功时,把文件系统的指针指向新的位置。如下图:
实际应用中,比这个情况复杂,因为Data2写入的过程中,File1本身的一些信息(修改时间等)也发生了变化,所以CopyOnWrite产生的影响不止这一个块,而是很多。
方案2:日志(Journal)技术。使用日志记录meta-data甚至是数据块的变化情况(NTFS就是这种策略),一旦出现掉电情况,在日志中反推到一个正确的状态上,就可以保证meta-data不损坏。
常见的方案就这两种,当然还有别的更复杂的技术,可以参考这个链接(Comparison of file systems),但不管用什么方案,本质上都是以牺牲性能为代价换取结构上的稳定。
最后回到题主的问题,文件系统如何保证数据的正确性?如果是指文件的数据部分,是无法保证的,因为文件系统无法确定数据到底写没写进去,绝大多数文件系统只能保证自身结构是正确的,但这个正确可能是回滚之后的状态,具体回滚多少内容,文件系统自己也不能保证。
这事说起来挺复杂的,不同文件系统,不同设备,不同介质,效果都是有区别的。
文件系统的设计一般是性能和数据完整性的妥协,如果你想要最高完整性,那么性能会差一些,如果你想要最高性能,那么数据完整性会差一些,仅此而已。当然这些都是针对数据而言的,对于文件系统自身的元数据,一般设计者为了自身数据完整性的考虑都会有日志系统(比如ext4使用jbd2),从而尽量保证文件系统在断电时没有问题或者问题很少(需要使用fsck来解决),但是用户数据是否完备是由用户选择和配置的,而文件系统会根据不同配置选择不同的策略。
我们以Linux最通用的ext4为例,他有三种模式供用户选择data=writeback/ordered/journal,对应的是数据落盘的三种方式,writeback是指元数据更新的时候数据不考虑是否落盘,所以掉电以后可能会看到一些乱七八糟的数据,ordered的意思是元数据更新在数据更新之后(如果你没有更改元数据那就没有办法保证数据了),还有一种是journal意思是数据也先写journal再写文件(double write),这种数据安全性最高,当然性能也最差。详细的介绍可以参加mount(8)。
说完文件系统,我们再说硬盘,硬盘在文件系统下面,所以文件系统是重度依赖硬盘来实现数据完整性的,而硬盘也提供了一些命令来保障文件系统数据完整性的语义。比如硬盘会提供flush命令,保证只要上层文件系统调用了这个命令,那么文件系统之前写到硬盘里面的内容必须落盘了(一般的硬盘有内存cache,为了提高写入性能会缓存一部分数据,flush会命令硬盘将cache内容落盘。当然如果硬盘如果有电容可以保证cache即使掉电也会落盘,那么他也可以欺骗上层的文件系统 :) ),这样文件系统在写入一些关键数据以后必须调用flush,在得到硬盘的flush反馈以后再进行后面的工作。当然现代硬盘还有一些FUA(Force Unit Access)之类的操作,这些是为了加速某类磁盘落盘的操作,本质上即使硬盘不提供文件系统可以改成write+flush来实现(只是性能差一些),如果感兴趣大家可以自行google之。
说完底层,还有一层要说一下,就是你的应用是怎么写文件和硬盘的,如果是buffer write(应用只写到操作系统的内存,由操作系统延迟回写到硬盘),那么很大可能你在掉电之前一段时间写入的数据都会不见了(操作系统还没有回写),如果应用是direct IO(应用绕过操作系统内存,直接写硬盘),那么可能只有掉电时刻正在写入的数据不见了,当然这里可能还涉及到direct IO的语义以及不同文件系统的具体实现,和文件系统相关,就需要具体问题具体分析了。
关注→翻滚吧工程师 搜索:zbomPV每天更新小技巧觉得内容不错的话,点个在看呗
本文来自 运维人生 ,作者:fly是个稻草人链接:http://www.ywadmin.com/?id=76误删除linux系统文件了?不用急,本文将给你一个恢复linux文件的方法,让你轻松应对运维中的各风险问题。方法总比问题多~说在前面的话针对日常维护操作,难免会出现文件误删除的操作。大家熟知linux文件系统不同win有回收...
原文来自SecIN社区—作者:WiHat0x00 什么是WebShell渗透测试工作的一个阶段性目标就是获取目标服务器的操作控制权限,于是WebShell便应运而生。Webshell中的WEB就是web服务,shell就是管理攻击者与操作系统之间的交互。Webshell被称为攻击者通过Web服务器端口对Web服务器有一定的操作权限,而...
接到项目需求。需要搭建一个页面进行交互,慢慢来b (2).jpg使用python django框架进行页面的搭建在项目文件下打开窗口,输入命令;django-admin startproject helloword#在文件helloword/helloword/创建view.py在view.py文件中输入以代码from django....
常见的错误集合解决方案(一)No.1提示错误'Microsoft.VC90.CRT,version="9.0.21022.8"把Microsoft.NET Framework 3.5.1下面的全部勾选上。No.2解决Qt Designer设计的图标但是VS生成不显示问题描述:在Qt designer中为菜单栏和工具栏设计的图标,但是...
本文是西门子开放式TCP通信的第2篇,上一篇我们讲了使用西门子1200PLC作为TCP服务器的程序编写,可以点击下方链接阅读:【公众号dotNet工控上位机:thinger_swj】基于Socket访问西门子PLC系列教程(一)在完成上述步骤后,接下来就是编写上位机软件与PLC之间进行通信。上位机UI界面设计如下图所示:从上图可以看出...
我有一个大型数据集,列出了在全国不同地区销售的竞争对手产品。我希望通过使用这些新数据帧名称中的列值的迭代过程,根据区域将该数据帧分成几个其他区域,以便我可以分别处理每个数据帧-例如根据价格对每个地区的信息进行排序,以了解每个地区的市场情况。我给出了以下数据的简化版本:Competitor Region ProductA Product...
作为一名IT从业者,我来回答一下这个问题。首先,对于具有Java编程基础的人来说,学习Python的初期并不会遇到太大的障碍,但是要结合自己的发展规划来制定学习规划,尤其要重视学习方向的选择。Java与Python都是比较典型的全场景编程语言,相比于Java语言来说,当前Python语言在大数据、人工智能领域的应用更为广泛一些,而且大...
这段时间通过学习相关的知识,最大的变化就是看待事物更加喜欢去了解事物后面的本质,碰到问题后解决问题思路也发生了改变。举个具体的例子,我在学习数据分析,将来会考虑从事这方面的工作,需要掌握的相关专业知识这个问题暂且按下不表,那哪些具体的问题是我需要了解的呢,以下简单罗列:1、了解数据分析师这个岗位在各个地区的需求情况?2、数据分析师的薪...
这一节将开始学习python的一个核心数据分析支持库---pandas,它是python数据分析实践与实战的必备高级工具。对于使用 Python 进行数据分析来说,pandas 几乎是无人不知,无人不晓的。今天,我们就来认识认识数据分析界鼎鼎大名的 pandas。目录一. pandas主要数据结构 SeriesDataFrame二...
文章:GVINS: Tightly Coupled GNSS-Visual-Inertial Fusion for Smooth and Consistent State Estimation作者:Shaozu Cao, Xiuyuan Lu, and Shaojie Shen代码:https://github.com/HKUST-...
数据存储系统的经典书籍: 从数据系统的特性开始,先讲单机存储引擎 再到 分布式存储系统,最后到一些数据流的处理方式,作者深入浅出,译者更是精雕细琢,本书需要细品。 将持续阅读整理,先从理论走一轮,再找一些系统做一做实验。...
常见的linux进程状态如下: 关于源文件xmid,可以从Mind-Mapping获取 这里借助进程状态来描述一下linux系统中的平均负载的概念 当我们感觉到系统变慢时,通常通过top和uptime命令来了解系统的负载情况 [root@pub-ncpu-ndb0 ~]# uptime21:06:13 up 8 days, 7:...
围绕分布式存储(ceph)绘制的技能图谱可参考分布式存储ceph 技能图谱 相关的原始编辑文件可以从github-mindMapping下载 如有缺失、不足之处欢迎指正 CEPH架构 关于系统架构,这里主要是将CEPH融入操作系统架构之中 且是根据L版本进行绘制的 关于文件系统 :因为bluestore跳过了本地文件系统,同时封...
linux 系统崩溃完全没有操作空间的系统修复 1、通过U盘系统启动 2、修复文件系统 https://editor.csdn.net/md/?articleId=106213788 此时硬盘会被挂在到U盘系统下作为一个目录, 例如/dev/sda2 修复它: fsck -y /dev/sda2 很多时候都有效 3、修复g...