WO2013004136A1 - 分布式存储方法、装置和系统 - Google Patents

Abstract

提供了一种分布式存储方法，分布式存储装置和分布式存储系统。所述分布式存储方法，包括：将所有存储节点的物理存储空间切割成至少两个物理块，将所有物理块的集合映射成一个逻辑的存储资源池（101）；在存储资源池上建立虚拟卷（102）；当客户端在虚拟卷上存储数据时，将数据划分成至少两个对象，将每个对象存入存储资源池的逻辑块中，为每个对象创建与存储资源池的逻辑块的映射关系，并按照每个对象的容量将物理块分配给与每个对象具有映射关系的逻辑块（103）；存储为每个对象创建的与存储资源池的逻辑块的映射关系（104）。在所提供的分布式存储方法中，对象存储在资源存储池中，物理存储空间只有当存储对象的时候，才分配给资源存储池，从而能够按照用户所需的物理存储空间，动态灵活的分配物理存储空间，从而提高了物理存储空间的利用率。

Description

分布式存储方法、 装置和系统 本申请要求于 11年 7月 1日提交中国专利局、申请号为 201110183316.5、 发明名称为 "分布式存储方法、 装置和系统" 的中国专利申请的优先权， 其全 部内容通过引用结合在本申请中。 技术领域 本发明涉及磁盘存储技术领域， 具体涉及一种分布式存储方法、 分布式 存储装置和分布式存储系统。

背景技术 云存储是在云计算概念上延伸和发展出来的一个新的概念， 分布式云存储 系统（以下筒称存储系统 )是指通过集群应用、 网格技术以及分布存储文件系 点 )通过应用软件或应用接口集合起来协同工作， 共同对外提供数据存储和业 务访问功能的一个存储系统。

目前， 存储系统的存储方法为： 创建逻辑卷， 在创建逻辑卷时， 就为每个 逻辑卷分配物理存储空间， 该物理存储空间可能是某个存储设备或者某几个存 储设备的磁盘组成。 客户端在某一逻辑卷上存储数据， 也就是将数据存储在文 件系统上， 文件系统将数据分成许多部分， 每一部分是一个对象， 对象不仅包 含数据而且还包含数据标识（ID, IDentity )等额外的信息， 文件系统将每个 对象分别写入该逻辑卷的物理存储空间， 且文件系统会记录每个对象的存储位 置信息， 从而当客户端请求访问数据时， 文件系统能够根据每个对象的存储位 置信息让客户端对数据进行访问。

存储系统为逻辑卷分配物理存储空间的过程， 具体为： 按照对存储于逻辑 卷的对象的容量估量 （该估量往往相对于实际要存储的对象的容量有很大余 量）和独立冗余磁盘阵列 （RAID, Redundant Array of Independent Disk ) 的组 别， 预先将物理存储空间划分成分条， 一个逻辑卷可以理解为一个分条， 从而 为逻辑卷分配了物理存储空间。

可是由于物理存储空间分配给逻辑卷后，被分配的物理存储空间不能发生 变化， 但由于实际存储的对象容量很可能小于被分配的物理存储空间， 在以后 的使用过程中， 被分配的物理存储空间中会有很大一部分长期处于闲置状态， 且这些闲置的物理存储空间也不能被其他逻辑卷所使用，从而造成物理存储空 间的利用率低下。 例如， 采用 7+1的 RAID5组别， 且对存储于逻辑卷的对象 的容量估量为 448KB, 存储系统设置 7个分条，每个分条被分配的物理存储空 间为 64KB, 每个分条被分配的物理存储空间不能发生变化， 那么只要实际存 储的对象容量小于 448KB, 被分配的物理存储空间就会有一部分处于闲置状 态， 造成物理存储空间的浪费， 导致物理存储空间的利用率低下。 发明内容 本发明实施例提供一种分布式存储方法、分布式存储装置和分布式存储系 统。

一种分布式存储方法， 包括：

将所有存储节点的物理存储空间切割成至少两个物理块， 将所有所述物理 块的集合映射成一个逻辑的存储资源池， 所述存储资源池包含至少两个逻辑 块；

在所述存储资源池上建立虚拟卷；

当客户端在所述虚拟卷上存储数据时， 将所述数据划分成至少两个对象， 将每个所述对象存入所述存储资源池的逻辑块中， 为每个所述对象创建与所述 存储资源池的逻辑块的映射关系， 并按照每个所述对象的容量将所述物理块分 配给与每个所述对象具有映射关系的逻辑块；

存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系。 一种分布式存储装置， 包括：

构建存储资源池单元， 用于将所有存储节点的物理存储空间切割成至少两 个物理块， 将所有所述物理块的集合映射成一个逻辑的存储资源池， 所述存储 资源池包含至少两个逻辑块；

建立虚拟卷单元， 用于在所述存储资源池上建立虚拟卷；

分配物理存储空间单元， 用于当客户端在虚拟卷上存储数据时， 将所述数 据划分成至少两个对象， 将每个所述对象写入所述存储资源池的逻辑块中， 为 每个所述对象创建与所述存储资源池的逻辑块的映射关系， 并按照每个所述对 象的容量将所述物理块分配给与每个所述对象具有映射关系的逻辑块；

存储映射关系单元， 用于存储为每个所述对象创建的与所述存储资源池的 逻辑块的映射关系。

一种分布式存储系统， 包括： 至少一个客户端、 至少一个存储节点和上述 分布式存储装置。

本发明实施例中， 对象存储在资源存储池中， 物理存储空间只有当存储对象 的时候， 才分配给资源存储池， 从而能够按照用户所需的物理存储空间， 动态 灵活的分配物理存储空间， 从而提高了物理存储空间的利用率。

附图说明 为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例描述中所 需要使用的附图作筒单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。

图 1是本发明实施例中分布式存储方法的一个实施例的流程示意图； 图 2是本发明实施例中分布式存储装置的一个实施例的逻辑结构示意图； 图 3是本发明实施例中分布式存储系统的一个实施例的逻辑结构示意图。 具体实施方式 本发明实施例提供一种分布式存储方法， 本发明实施例还提供相应的分布 式存储装置和分布式存储系统。 以下分别进行详细说明。 请参阅图 1 , 本发明实施例提供分布式存储方法的一个实施例， 具体包括： 101、 将所有存储节点的物理存储空间切割成至少两个物理块， 将所有物 理块的集合映射成一个逻辑的存储资源池；

目前存储系统为逻辑卷分配物理存储空间的过程是静态的， 在创建逻辑卷 时， 就为每个逻辑卷分配物理存储空间， 如果能够采用动态的方法按需分配物 理存储空间， 毫无疑问， 将会极大地提高物理存储空间的利用率， 从而在不增 加成本的情况下增加存储系统的容量。 而要采用动态的、 按需分配的方法就必 须将存储系统虚拟化。

本发明实施例所进行的存储虚拟化的第一步为： 将所有存储节点的物理存 储空间切割成至少两个物理块，将所有物理块的集合映射成一个逻辑的存储资 源池， 从而屏蔽了存储节点之间的差别， 构建了一个统一的存储资源池。

需要说明的是， 前述 "所有存储节点的物理存储空间"指的是由每个存储 节点的物理存储空间统一构成的总的物理存储空间。

构建存储资源池的具体过程可以为： 首先将所有存储节点的物理存储空间 划分成至少两个物理块， 再将这些物理块映射成逻辑块， 将这些逻辑块用一个 数据结构组织起来， 就能构建出一个逻辑的存储资源池。 存储系统将所有存储 节点的物理存储空间划分成至少两个物理块， 具体可以为： 将所有存储节点的 物理存储空间划分成不等大的至少两个物理块； 或者为了提高构建存储资源池 的处理速度， 将所有存储节点的物理存储空间划分成等大的至少两个物理块， 例如将 1TB的物理存储空间划分成 1000个 1GB的物理块， 构建出的存储资源池 里有 1000个逻辑块， 需要使用资源时， 从存储资源池里挑选出逻辑块来使用。

102、 在存储资源池上建立虚拟卷， 并为虚拟卷中的每个虚拟块建立与存 储资源池中的逻辑块之间的映射关系；

本发明实施例所进行的存储虚拟化的第二步为： 在存储资源池上建立存储 关系。 " ^H ' 建立虚拟卷和逻辑卷之间的映射表， 表示虚拟块到逻辑块 (存储池中的块) 的映射关系， 但不分配物理存储空间， 虚拟卷的建立使得存储系统不用在未存 储时就预先为每个客户端提供物理存储空间， 各个客户端看到的存储系统所提 供的物理存储空间实际上是在虚拟卷上建立的虚拟磁盘。

103、 将每个对象存入存储资源池， 为每个对象创建与存储资源池的逻辑 块的映射关系， 并按照每个对象的容量将物理块分配给每个与对象具有映射关 系的逻辑块；

当众多客户端中的某一个客户端在虚拟卷上存储数据时， 将数据划分成至 少两个对象， 将每个对象存入存储资源池， 为每个对象创建与存储资源池的逻 辑块的映射关系， 并按照每个对象的容量将物理块分配给每个与对象具有映射 关系的逻辑块。

上述为逻辑块分配物理块的方式使得物理存储空间仅仅在使用时才分配， 存储系统能够按照用户所需的物理存储空间， 动态灵活的分配物理存储空间， 被分配的物理存储空间不是固定不变的， 提高了物理存储空间的利用率， 并且 上述为逻辑块分配物理块的方式还使得用户避免购买暂时不需要的存储设备, 极大的节省了用户购买那些并不需要的空间所花费的预算开支和管理这些暂 时不需要的空间的管理开支； 同时， 存储设备数量的减少也使得存储系统更加 环保。

在本步骤中， 为每个对象创建与存储资源池的逻辑块的映射关系， 具体可 以为： 将对象划分成等大的粒度， 比如 8KB, 建立一个映射表， 每 8KB对应映 射表的一个表项， 里面记录这个 8KB映射到存储资源池的某个逻辑块上的某个 8KB的数据上， 比如， 对象 1的从 8K开始到 16KB的数据存储在存储资源池的逻 辑块 2上的第 3个 8KB上面。

104、 存储为每个对象创建的与存储资源池的逻辑块的映射关系。

存储系统存储步骤 103中为每个对象创建的与存储资源池的逻辑块的映射 关系，每次对数据的操作都要获取为每个对象创建的与存储资源池的逻辑块的 映射关系。

可选的，存储系统可以在存储资源池中存储为每个对象创建的与存储资源 池的逻辑块的映射关系， 也就是说， 将为每个对象创建的与存储资源池的逻辑 块的映射关系和每个对象存储在一起。

或者， 可选的， 存储系统还可以独立存储为每个对象创建的与存储资源池 的逻辑块的映射关系， 独立存储是指将为每个对象创建的与存储资源池的逻辑 块的映射关系和数据存储在不同的物理存储空间，从而导致了数据的逻辑视图 和物理视图被分开， 在存储系统将为每个对象创建的与存储资源池的逻辑块的 映射关系和每个对象存储在一起时，每次对数据的操作都要获取为每个对象创 建的与存储资源池的逻辑块的映射关系。 当操作频繁发生时， 就成为整个存储 系统的瓶颈， 限制了存储系统的扩展性， 而存储系统独立存储为每个对象创建 的与存储资源池的逻辑块的映射关系，可以通过增加独立存储为每个对象创建 的与存储资源池的逻辑块的映射关系的存储空间来解决存储系统的可扩展性 问题， 具体实现方式可以为： 将为每个对象创建的与存储资源池的逻辑块的映 射关系存储在另一个存储系统或者与存储资源池相互独立的同一存储系统的 逻辑卷。

在本实施例中， 对象存储在资源存储池中， 物理存储空间只有当存储对象 的时候， 才分配给资源存储池， 从而能够按照用户所需的物理存储空间， 动态 灵活的分配物理存储空间， 提高了物理存储空间的利用率， 而且由于在现有技 术中对象是存储在文件系统上，相当于数据需要经由文件系统才能存储在磁盘 上， 而本实施例中， 对象是存储在存储资源池上， 直接就存储在磁盘上， 去除 了文件系统环节， 减少了存储系统的复杂度。

在上述实施例中， 当客户端访问数据时， 存储系统中的操作系统可以根据 为该数据的每个对象创建的与存储资源池的逻辑块的映射关系， 获得该数据的 每个对象位于存储资源池的具体位置， 从而读取数据。 在上述实施例中， 存储节点可以为存储域网络 （ SAN , Storage Area Network ) 阵列中的存储设备， SAN阵列中的存储设备是智能设备， 也可称之 为基于对象的存储设备 ( OSD, Object-based Storage Device ), 每个 OSD具有自 己的存储介质、 处理器、 内存以及网络系统， 提供 OSD对象接口， 使得在数据 的读写过程中， 存储节点可以通过 OSD对象接口和客户端直接通信， 将为每个 对象创建的与存储资源池的逻辑块的映射关系独立存储在元数据服务器 (Metadata Server, MDS)中。 每个对象创建的与存储资源池的逻辑块的映射关 系即为元数据， 元数据服务器为客户端提供数据的逻辑视图， 包括目录构成、 每个数据所对应的 OSD等。 在传统的 SAN阵列中， 元数据由 SAN阵列中的文件 服务器负责维护， 每次对数据的操作都要获取元数据。 当操作频繁发生时， 元 数据操作就成为整个存储系统的瓶颈， 限制了性能的扩展。 但是当 SAN阵列中 的存储设备为 OSD, 对外提供 OSD对象接口， 由于每次操作只有一次对元数据 的访问， 具体的数据传输都由 OSD和客户端通过直接连接进行， 大大减少了元 数据的操作， 降低了元数据服务器的负担， 通过增加元数据服务器来解决 SAN 阵列的扩展性问题。 需要说明的是，存储节点也可以为网络存储设备（NAS, Network Attached Storage )。 参阅图 2, 本发明实施例还提供分布式存储装置的一个实施例， 本实施例 中的分布式存储装置 20可应用于上述实施例中， 执行上述是实施例中的方法。

本实施例中的分布式存储装置 20, 包括：

构建存储资源池单元 201 , 用于将所有存储节点的物理存储空间切割成至 少两个物理块， 将所有物理块的集合映射成一个逻辑的存储资源池；

建立虚拟卷单元 202, 用于在存储资源池上建立虚拟卷；

分配物理存储空间单元 203 , 用于当客户端在虚拟卷上存储数据时， 将数 据划分成至少两个对象， 将每个对象写入存储资源池， 为每个对象创建与存储 资源池的逻辑块的映射关系， 并按照每个对象的容量将物理块分配给与每个对 象具有映射关系的逻辑块；

存储映射关系单元 204, 用于存储为每个对象创建的与存储资源池的逻辑 块的映射关系。

可选的， 存储映射关系单元 204具体用于独立存储为每个对象创建的与存 储资源池的逻辑块的映射关系。

可选的， 存储映射关系单元 204具体用于将为每个对象创建的与存储资源 池的逻辑块的映射关系存储在另一个存储系统或者与存储资源池相互独立的 本存储系统的逻辑卷。

可选的， 构建存储资源池单元 201具体用于将所有存储节点的物理存储空 间切割成至少两个等大的物理块， 将每个物理块映射成逻辑块， 所有的逻辑块 用数据结构组织起来， 构建出一个逻辑的存储资源池。

在本实施例中个， 存储节点可以为存储域网络 SAN阵列中的存储设备， 且 SAN阵列中的存储设备是基于对象的存储设备（OSD , Object-based Storage Device ) , 对外提供 OSD对象接口。

在本实施例中， 分配物理存储空间单元 203将对象存储在资源存储池中， 且物理存储空间只有当存储对象的时候， 才分配给资源存储池， 从而能够按照 用户所需的物理存储空间， 动态灵活的分配物理存储空间， 提高了物理存储空 间的利用率。 参阅图 3 , 本发明实施例还提供分布式存储系统的一个实施例， 本实施例 中的分布式存储系统可应用于上述实施例中， 执行上述实施例中的方法。

本实施例中的分布式存储系统包括： 至少一个客户端 301、 至少一个存储 节点 302和分布式存储装置 303；

本实施例中的分布式存储装置 303与上述实施例中的分布式存储装置 20 相同。

可选的， 分布式存储系统还包括元数据服务器 304, 元数据服务器 304用 于独立存储分布式存储装置 304为每个对象创建的与存储资源池的逻辑块的映 射关系。

在本实施例提供的分布式存储系统中， 元数据服务器 304的数量可以为至 少一个， 这样就能够解决分布式存储系统系统的扩展性的问题。 元数据服务器 304和分布式存储装置 303中的存储节点相互独立。

可选的， 存储节点 302具体为存储域网络 SAN阵列中的存储设备， 且 SAN 阵列中的存储设备是基于对象的存储设备 OSD, 对外提供 OSD对象接口， 在此 应用场景下， 元数据服务器 304为客户端提供数据的逻辑视图， 包括目录构成、 每个数据所对应的 OSD等， 当客户端 301访问对象时， 首先向元数据服务器 304 发送请求， 元数据服务器 304根据反映对象到逻辑块的映射关系的元数据， 将 对象位于存储资源池的具体位置等信息发送给客户端 301 ; 此后根据对象位于 存储资源池的具体位置，客户端 301就直接向存储有该对象的存储节点 302发送 请求读写数据， 不需要和元数据服务器 304交互。

网络连接是存储系统的重要组成部分。 它将客户端 301、 元数据服务器 304 和存储节点 302连接起来。 网络技术的不断进步使网络连接的方式有了更多选 择。 千兆以太网具有性能高、 性价比高、 易于管理等优点， 因此成了构建存储 系统的首选。 随着光纤通道技术的成熟及成本的降低， 应用也越来越广泛。 此 外， 各种新的网络技术也不断出现， 如 Myrinet、 Infiniband等网络技术， 都具 有较高的性能。 尤其是 Infiniband, 不断扩展的性能使其具有很强的竟争力。

在本实施例中， 分布式存储装置 303可以将对象存储在资源存储池中， 且 物理存储空间只有当存储对象的时候， 才分配给资源存储池， 从而能够按照用 户所需的物理存储空间， 动态灵活的分配物理存储空间， 提高了物理存储空间 的利用率。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步 骤是可以通过程序来指令相关的硬件来完成， 该程序可以存储于一计算机可读 存储介质中， 存储介质可以包括： ROM、 RAM, 磁盘或光盘等。

以上对本发明实施例所提供的分布式存储方法、分布式存储装置和分布式 进行了阐述， 以上实施例的说明只是用于帮助理解本发明的方法及其核心思 想； 同时， 对于本领域的一般技术人员， 依据本发明的思想， 在具体实施方式 及应用范围上均会有改变之处， 综上所述， 本说明书内容不应理解为对本发明 的限制。

Claims

权利要求

1、 一种分布式存储方法， 其特征在于， 包括：

将所有存储节点的物理存储空间切割成至少两个物理块， 将所有所述 物理块的集合映射成一个逻辑的存储资源池， 所述存储资源池包含至少两 个逻辑块；

在所述存储资源池上建立虚拟卷；

当客户端在所述虚拟卷上存储数据时， 将所述数据划分成至少两个对 象， 将每个所述对象存入所述存储资源池的逻辑块中， 为每个所述对象创 建与所述存储资源池的逻辑块的映射关系， 并按照每个所述对象的容量将 所述物理块分配给与每个所述对象具有映射关系的逻辑块；

存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系。

2、 根据权利要求 1所述的方法， 其特征在于， 所述存储为每个所述对 象创建的与所述存储资源池的逻辑块的映射关系的步骤， 具体为：

独立存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关 系。

3、 根据权利要求 2所述的方法， 其特征在于，

所述独立存储为每个所述对象创建的与所述存储资源池的逻辑块的映 射关系的步骤， 具体为：

将为每个所述对象创建的与所述存储资源池的逻辑块的映射关系存储 在另一个存储系统； 或者，

将为每个所述对象创建的与所述存储资源池的逻辑块的映射关系存储 在与所述存储资源池相互独立的所述存储系统的逻辑卷。

4、 根据权利要求 1-3中任一项所述的方法， 其特征在于，

所述存储节点为存储域网络 SAN阵列中的存储设备， 且所述 SAN阵列 中的存储设备^ ^于对象的存储设备 OSD, 对外提供 OSD对象接口；

所述将每个所述对象存入所述存储资源池的步骤， 具体为：

通过所述 OSD对象接口将每个所述对象存入所述存储资源池。

5、 根据权利要求 1所述的方法， 其特征在于， 所述将所有存储节点的物理存储空间切割成至少两个物理块， 将所有 所述物理块的集合映射成一个逻辑的存储资源池的步骤， 具体为：

将所有存储节点的物理存储空间切割成至少两个物理块， 将所述物理 块映射成逻辑块， 将所述逻辑块用数据结构组织起来， 构建出一个逻辑的 存储资源池。

6、 一种分布式存储装置， 其特征在于， 包括：

构建存储资源池单元， 用于将所有存储节点的物理存储空间切割成至 少两个物理块， 将所有所述物理块的集合映射成一个逻辑的存储资源池， 所述存储资源池包含至少两个逻辑块；

建立虚拟卷单元， 用于在所述存储资源池上建立虚拟卷；

分配物理存储空间单元， 用于当客户端在虚拟卷上存储数据时， 将所 述数据划分成至少两个对象， 将每个所述对象写入所述存储资源池的逻辑 块中， 为每个所述对象创建与所述存储资源池的逻辑块的映射关系， 并按 照每个所述对象的容量将所述物理块分配给与每个所述对象具有映射关系 的逻辑块；

存储映射关系单元， 用于存储为每个所述对象创建的与所述存储资源 池的逻辑块的映射关系。

7、 根据权利要求 6所述的分布式存储装置， 其特征在于，

所述存储映射关系单元具体用于独立存储为每个所述对象创建的与所 述存储资源池的逻辑块的映射关系。

8、 根据权利要求 7所述的分布式存储装置， 其特征在于，

所述存储映射关系单元具体用于将为每个所述对象创建的与所述存储 资源池的逻辑块的映射关系存储在另一个存储系统； 或者，

所述存储映射关系单元具体用于将为每个所述对象创建的与所述存储 资源池的逻辑块的映射关系存储在与所述存储资源池相互独立的所述存储 系统的逻辑卷。

9、 根据权利要求 6- 8任一权利要求所述的分布式存储装置， 其特征在 于，

所述存储节点具体为存储域网络 SAN阵列中的存储设备， 且所述 SAN 阵列中的存储设备是基于对象的存储设备 OSD, 对外提供 OSD对象接口。

10、 根据权利要求 6所述的分布式存储装置， 其特征在于，

所述构建存储资源池单元具体用于将所有存储节点的物理存储空间切 割成至少两个等大的物理块， 将所述物理块映射成逻辑块， 所述逻辑块用 数据结构组织起来， 构建出一个逻辑的存储资源池。

11、 一种分布式存储系统， 其特征在于， 包括：

至少一个客户端、 至少一个存储节点、 如权利要求 6至 10所述的分布式 存储装置。

12、 根据权利要求 11所述的系统， 其特征在于，

所述存储节点具体为存储域网络 SAN阵列中的存储设备， 且所述 SAN阵 列中的存储设备^ ^于对象的存储设备 OSD, 对外提供 OSD对象接口。