详解固态硬盘的有趣知识及其底层原理

引言

在随机IO访问场景下,固态硬盘( Solid State Drive,简称为 SSD )比传统机械硬盘( Hard Disk Drive,简称 HDD )快了大概2~3个数量级,随着闪存价格的降低,越来越多的业务采用固态硬盘作为其存储介质,极大提升了业务的IOPS,很多KV系统都是要求用其作为存储介质的,例如TiDB等。 在和运维要机器的时候都希望服务器配备的是固态硬盘(SSD) ,但是很少或者没有动机去了解SSD底层的原理,我列举几个SSD的特性,若觉得很新鲜的话,可以接着往下读完本文。

  • 随着使用时间的增加和可用容量的降低,固态硬盘读写延迟会增大。

  • 相当长时间不用,固态硬盘里面的数据可能会丢失。

  • 将固态硬盘放置于高温下会影响里面的数据保存期限。

  • 垃圾回收不止存在于Java、Golang这些语言里面,固态硬盘很重要的一个特性就是垃圾回收。

  • 固态硬盘的擦除和写入次数是有限的,超过则不能保证有效的读写。

  • 固态硬盘包含外部接口、CPU、内存、闪存颗粒等,用来接受外部IO请求并根据一定的算法将IO请求落到闪存颗粒。

  • 为了延长固态硬盘的使用寿命, 固态硬盘控制器需要考虑存储数据的冷热特性,同时也需要引入地址空间虚拟化技术

术语(名词)说明

为了更好的展开说明,列举一些容易混淆的概念并加以说明。

  • 固态存储(Solid State Storage) : 使用硅晶半导体技术,而不是借助于机械旋转对磁碟、光碟或者磁带进行操作,从而实现数据存取的存储方式 。  内存(RAM)、闪存(Flash)、相变存储(Phase Change Memory, 简称为 PCM)等都被称为固态存储 。当前,因为闪存在价格、容量、可靠性等多方面达到了相对领先的平衡,因此被 广泛应用于固态存储领域。

  • 闪存: 一种非易失性的半导体存储器件。所谓“非易失性”,是指在断电情况下仍能保持所存储的数据信息,分NOR闪存和NAND闪存。NOR闪存常用于存放系统启动程序,在嵌入式设备中较为常见;NAND闪存主要用于数据存储,固态硬盘中使用的就是NAND闪存。

  • 固态硬盘(SSD): 由控制器、内存、闪存颗粒(前面提到,因其多方面达到了领先的平衡,被广泛用于固态存储)等单元组成。控制器提供了外部主机接口、内部闪存管理接口,并通过内嵌的 CPU 来运行SSD固件,它管理着主机可见的存储地址空间、闪存物理空间、垃圾回收、磨损均衡等。内存用于运行SSD固件,并保存在地址空间虚拟化所需要的各种表项。闪存只是最终的存储信息的实体,多颗闪存颗粒分布在SSD的电路板上,共同为SSD提供存储空间 。

  • ATA: Advanced Technology Attachment,一种逻辑设备接口规范,SATA出来后改成PATA,最大传输速率为1Gbps。

  • SATA: 串行ATA(Serial ATA,Serial Advanced Technology Attachment),是一种逻辑设备接口规范,当前有SATA 1.5Gbps、SATA 3Gbps、SATA 6Gbps和SATA 16Gbps多种传输规格。SATA只有1个命令队列,队列深度32。

  • SCSI: Small Computer System Interface,一种逻辑设备接口规范,最大传输速率是5Gbps。

  • SAS: 串行SCSI(Serial Attached SCSI),一种逻辑设备接口规范,当前有SAS 3.0 Gbps、SAS 6.0 Gbps、SAS 12.0 Gbps、SAS 24.0 Gbps多个传输规格,与SATA兼容。需要通过适配器来和CPU进行通信。

  • NVMe: NVM Express,或称非易失性内存主机控制器接口规范(Non-Volatile Memory Host Controller Interface Specification,缩写:NVMHCIS),是一个逻辑设备接口规范,此规范主要是 为基于闪存的存储设备 提供一个低延时、内部并发化的原生界面规范。依托于PCIe总线,NVMe设备可适用于各种支持PCIe总线的物理插槽上。NVMe可以有65535个命令队列,每个队列都可以深达65536个命令。无需适配器,可以和CPU直接通信,降低交互延迟。

  • PCI: 外部链接(Peripheral Component Interconnect)标准,或称个人电脑接口(Personal Computer Interface),是一种连接电脑主板和外部设备的总线标准,规定了该总线的物理尺寸(包括线宽)、电气特性、总线时序和协议。现已被PCI Express和其他更先进的技术取代。

  • PCIe: PCI Express,简称PCI-E,官方简称PCIe,是计算机总线的一个重要分支,仅应用于内部互连。拥有更快的速率,所以几乎取代了以往所有的内部总线(包括AGP和PCI),为PCI所设计的操作系统可以不做任何代码修改来启动PCIe设备。

  • NVMe盘: 对外提供NVMe接口规范的硬盘,从NVMe的定义可知,这个硬盘基本上就是SSD硬盘。

  • SAS盘/SATA盘: 对外提供SAS或者SATA接口规范的硬盘,理论上讲,单从这个信息是不知道这个硬盘到底是SSD硬盘还是机械硬盘的,两者皆有可能。

下同是NVMe盘和SAS盘与CPU之间的连接关系:

闪存介绍

上面提到闪存在固态硬盘的广泛应用,所以在讲解固态硬盘的各种算法前需要重点介绍一下闪存的特性。

1. 概念与原理

闪存使用三端器件作为存储单元,分别为 源极、漏极和栅极,主要利用电场的效应来控制源极与漏极之间的通断;在栅极 与硅衬底之间增加了一个浮置栅极,浮置栅极可以存储电荷,利用电荷存储来存 储记忆。

擦除: 释放浮置栅极的电荷,从而使之变成‘1’,这个动作被称为“擦除”。

编程: 向浮置栅极注入电荷,从而使之变成‘0’,这个动作被称为“编程”。

下图是闪存存储单元示意图:

2. 内部组织结构

闪存颗粒内部一般由成千上万个大小相同的块(Block) 所组成,块大小一般为数百 KB 到数 MB。每一个块的内部又分为若干个大小相同的页(Page),页的大小一般为 4KB 或者 8KB。

3. 数据写入

  1. 向闪存中写入数据时,只能以页为粒度进行写入,如果闪存中某个页已经被写入了数据,那么不能向这个页中再次直接写 入数据,只能在这个页的数据被清空以后才能再次写入。

  2. 闪存进行数据清空的粒度是块,即一次清空动作会将一个块的数据全部抹除。清空动作对应着闪存的擦除动作,即擦除了一个块的数据后,这 个块中所有的 bit 位都变成了 1。

  3. 写入动作对应着闪存的编程动作,将数据写入页时,将特定的 bit 位从 1 变成 0,就使得这个页保存了相应的数据。

  4. 闪存就工作在这样的“擦除”和“编程”循环中,一次这样的循环,被 称为一次擦写(Program/Erase,简称为 P/E)。闪存中每个块的 P/E 次数有限;当某个块的 P/E 次数达到上限后,就无法保证能够继续有效地存取数据。

4. 数据读出

  1. 闪存中保存的数据,经过一段时间后,可能存在若干 bit 位的错误。如果直接将页中读出的数据返回给上层业务,就可能造成业务失败。

  2. 为了保证返回给上层业务的数据是正确有效的,闪存内部预留了部分空间用于保存业务数据的 ECC(Error Correcting Code,纠错码)。每当读取数据时,控制器会使用相应的 ECC 对这些数据进行错误检查和纠正。

  3. 受限于控制器的计算能力,ECC 的纠错范围有限,只能在页面数据中出现bit 位错误的数量不超过一定的上限时才有效。当前主流的 ECC 纠错能力一般是 24bit/1KB,即每 1KB 数据(包含业务数据和 ECC 校验数据) 内出现了 bit 位错误不超过24个时,控制器可以通过计算的方式得出正确有效的业务数据。

  4. 当某个页中的 bit 位错误数超过控制器的计算能力后,该页的业务数据无法被正确读出,此时便产生一个 UNC(Uncorrectable)错误,UNC 错误只能被更高层级的 RAID 机制所修复。

5. 闪存分类

  • 目前常见的闪存,可分为 SLC、MLC、TLC 几类。

  • SLC 是 Single Level Cell 的缩写,表示 NAND 闪存内部的每个 cell 只能 存储一个 bit 位的信息,即使用两个电平值来分别表示 0、1。    

  • MLC 是 Multi Level Cell 的缩写,原本表示 NAND 闪存内部的每个 cell 可以保存多个 bit 位的信息,但是实际使用中,MLC 特指每个 cell 保存 两个 bit 位的信息,即使用四个电平值来分表表示 00、01、10、11。MLC 又可以细分为 eMLC(Enterprise MLC,企业级 MLC)和 cMLC (Consumer MLC,消费级 MLC)。eMLC 和 cMLC 在本质上相同,只是在工厂制造处理过程中,厂商把通 过了某些数据完整性和耐用度测试之后、确认可以达到较高 P/E 次数的 MLC 定义为 eMLC,余下的就成为 cMLC。

  • TLC 是 Triple Level Cell 的缩写,表示 NAND 闪存内部的每个 cell 可以 保存三个 bit 位的信息,即使用八个电平值来分别表示 000、001、010、 011、100、101、110、111。

SSD介绍

上面提到闪存是具体的存储介质,但是光有闪存颗粒是不行的,在其外围还需要有一个控制器,即SSD控制器,同时为了运行各种算法,还需要有一定的内存空间。一块SSD,由控制器、内存、闪存颗粒等单元所组成 。

  • 控制器提供了外部主机接口、内部闪存管理接口,并通过内嵌的 CPU 来运行 SSD 固件;SSD 固件管理着主机可见的存储地址空间、闪存物理空间、垃圾回收、磨损均衡等。

  • 内存用于运行 SSD 固件,并保存在地址空间虚拟化所需要的各种表项。

  • 多颗闪存颗粒分布在 SSD 的电路板上,共同为SSD 提供存储空间。

SSD 没有 HDD 的音圈马达、悬臂等机械部件,因此抗震性极佳,更为重要的还在于可以真正做到多并发和低时延,使其 IOPS 可以超过 HDD 两个数量级以上。

下图是一块真实的SSD示意图。

提高SSD的可靠性的方法

前面提到闪存颗粒是有P/E次数的限制,超过则会影响SSD存储数据的可靠性,下面的方法或者措施都是从提高SSD的可靠性方面来考量的。

1. 地址空间虚拟化

  • SSD 的 LBA(Logical Block Address,逻辑块地址)到 PBA(Physical Block Address,物理块地址)的映射,并非固定的映射,而是可以随时更改的。

  • SSD 内部的最小空间管理粒度是页,每个页都有唯一的一个编号,这就是 PBA 。

  • SSD 内部维护了一张映射表,记录了 LBA 到 PBA 的映射关系 。

  • 当业务上面某个字段经常修改,若无地址空间虚拟化技术,则会往同一个物理区域进行擦除和写入(闪存特性决定:以页为单位写入,且在写入前需要擦除),这样很容易造成热点数据对应的物理区域达到P/E上限。为了均衡闪存的P/E次数,SSD控制器选择一个或者多个干净的页来保存这些字段修改结果,同时让映射表记录下新的映射关系。所谓“干净”,是指这些页 经历过一次擦除,同时尚未经历编程。

2. 容量冗余

为了避免部分闪存损坏所导致的整块 SSD 失效,SSD 在设计时都会做到容量冗余。举例,一块标称为 100GB 的 SSD,内部实际的闪存物理容量一般都做到了 110GB 以上。超过标称容量的部分,与标称容量的比值,被称为冗余比。一般而言,冗余比越 大,则 SSD 的可靠性、寿命、性能就越好。企业级存储产品的冗余比一般要达到28%以上。

3. 磨损均衡

磨损均衡(Wear Leveling,简称 WL)所做的事情,就是记录每一个块的 P/E 次 数,然后在需要擦除或者写入数据时,尽量选择那些 P/E 次数相对较少的块。经 过了磨损均衡的 SSD,使用寿命可以得到最大化。

  • 动态磨损均衡: 指该类磨损均衡由主机 IO 所触发 ,当主机发起一个写请求时,SSD 需要找一个或者多个干净页供新数据的写入。此 时,动态磨损均衡算法会生效,尽量选择那些 P/E 次数相对较少的块来提供干净页。

  • 静态磨损均衡: 指该类磨损均衡是 SSD 内部自主发起的。考虑这样的极端场景,一块 100GB 容量的 SSD 装满了用户数据,其中 99GB 是冷数据,用户写入后再没有更新,剩下 1GB 是热数据,用户在频繁更新。对于这 99GB 的冷数据,如果不进行特殊的处理,那么就会一直占用至少 99GB 固定的物理闪存区域,于是剩下的空间就留给 1GB 热数据进行反复的擦写。显而易见,一段时间后,99GB 被固定占用的闪存区域的 P/E 次数就会变得明显低于剩下的闪存区域。这样的不均衡容易导致 SSD 提前失效。静态磨损均衡可以解决上述问题:通过记录每个块的 P/E 次数,识别出那些磨损相对轻微、且长期没有产生垃圾页的块(即保存了冷数据的块),主动将其中的有效数据迁移到磨损相对严重的块中,从而达到保持整个SSD 磨损均衡的效果。

4. 坏块管理

在 SSD 的使用过程中,尽管有各种机制和算法来尽量延长使用寿命,但是闪存的损坏依然是不可避免的。容量冗余为解决闪存损坏的问题提供了基础保证。闪存的损坏,是以页为粒度的,即一个块内部包含了若干的页,可能有的页处于正常状态,另外的一些页处于损坏状态。实际上,当某个块内部出现了多个损坏的页时,这个块的其他页大都处于损坏的边缘。鉴于此,SSD 的固件一般以块为粒度来管理闪存的损坏情况:当发现某个块内部、因为损坏而无法读出数据的页的数量超过某个阈值时,则判定这个块已损坏,随后就将这个块中的有效数据迁移到其他可用的块中,并将这个损坏了的块标记为损坏,自此不再用于保存任何业务数据。

SSD 固件发现坏块的手段包括两种:主机 IO 触发、内部巡检。在SSD生命周期中,大概有1.5%的块会变成坏块。

5. 数据冗余保护

SSD使用多种冗余检查方法来保护用户数据不受位翻转、操作或丢失的影响。

  1. 在SSD控制器内存中使用纠错码(ECC)和循环冗余校验(CRC)来防止数据更改或操作。

  2. 在闪存颗粒中使用低密度奇偶校验(LDPC)和CRC来防止闪存颗粒错误导致的数据丢失。

  3. 在闪存颗粒之间使用异或冗余来防止闪存故障导致的数据丢失。

SSD的寿命

SSD 的使用寿命可以直接反映在写入数据量上。

SSD的垃圾回收

地址空间虚拟化在避免了对相同物理区域反复擦写的同时,也引入了垃圾数据和垃圾页。解释如下:

  1. 主机访问 LBA 100,写入数据 AA,不妨假设 SSD 内部使用编号为401的页来保存数据 AA。

  2. 过了一段时间,主机再次访问 LBA 100,写入数据 BB,由于闪存的特性,编号401的页是不能直接写入的,除非已经经过了擦除,但是SSD的擦除又是以块为单位的,因此需要借助地址空间虚拟化机制让数据BB写入到另外一个页,不妨假设这个页的编号为623。

  3. 经历了上述两个写操作,页 401 保存了数据 AA,页623保存了数据 BB,且 页 401 保存的数据是无用的,页 623 中保存的数据才是有用的。页401中保存的数据被称为垃圾数据,页401 就被称为垃圾页。

垃圾回收(Garbage Collection,简称 GC)的目的就是擦除垃圾数据,让垃圾页变成可以写入数据的干净页。在 SSD 的内部实现中,垃圾回收一般是后台任务,不断监控着 SSD 内部的块和 页的使用情况,当垃圾页过多的时候,就会:

  1. 选择那些包含了较多垃圾页的块,将其中的有效数据迁移到其他块的干净页。

  2. 对那些不再包含有效数据的块执行擦除操作。

  3. 将执行了擦除操作的块放入可用资源池中,以供新的数据写入。

垃圾回收在不断净化 SSD 的同时,也在 SSD 内部制造了更多的写操作,从而使得闪存所真正承载的写入数据量超过了主机写入的数据量,这种现象被称为写放大。当业务模型固定时,闪存真正承载的写入数据量和主机写入的数据量这两者的比 值,不会随着时间的推移而变化,而是以个固定数值为中心点小范围波动,我们 称这个中心点为写放大系数,值越小越好 。

写放大系数的业界主流水准如下, 由此可见,虽然 SSD能够胜任随机IO访问,但是在业务允许的情况下,能顺序IO访问则更好,这样可以有效减低写放大系数,从而减少闪存的P/E次数,最终提高固态硬盘的使用寿命。

  1. 在全随机小 IO 业务场景下,写放大系数约为 2.5。

  2. 在顺序大 IO 业务场景 下,写放大系数约为 1.1 。

总结

在日常开发过程中,我们很少注意到存储这一层,一方面是存储品牌商已经做了各种屏蔽和封装,另一方面是各个公司的存储系统(关系型数据库和非关系型数据库)已经为业务提供了高QPS低延迟的访问。只有在为这些存储系统选择机器资源的时候才会考虑,要选择那些配备了SSD硬盘的服务器。

从以上的介绍来看,SSD硬盘虽然是底层硬件,但是也涉及非常多的软件算法,真正和硬件打交道的地方只有两个:一是对外的各种接口协议规范,二是和闪存颗粒的擦除和写入接口。存储集中、虚拟化、云化应用场景所依赖的磁盘阵列涉及的算法更多,包括SmartQoS、SmartPartition、SmartVirtualization、SmartMulti-Tenant等等。

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章