WO2014183708A1 - 一种实现分布式文件系统块存储的方法及系统 - Google Patents

一种实现分布式文件系统块存储的方法及系统 Download PDF

Info

Publication number
WO2014183708A1
WO2014183708A1 PCT/CN2014/078556 CN2014078556W WO2014183708A1 WO 2014183708 A1 WO2014183708 A1 WO 2014183708A1 CN 2014078556 W CN2014078556 W CN 2014078556W WO 2014183708 A1 WO2014183708 A1 WO 2014183708A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
storage
file system
distributed file
block storage
Prior art date
Application number
PCT/CN2014/078556
Other languages
English (en)
French (fr)
Inventor
秦定宇
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2014183708A1 publication Critical patent/WO2014183708A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827—Management specifically adapted to NAS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Definitions

  • the present application relates to cloud computing technologies, and more particularly to a method and apparatus for implementing distributed file system block storage. Background technique
  • cloud storage has become a research hotspot in the field of information storage.
  • cloud storage is a system consisting of multiple parts including network devices, storage devices, servers, network connection interfaces, and client software.
  • the cloud storage stores the local data that the user needs to store through the network in the online storage space provided by the storage service provider. Users no longer need to set up their own data centers. When they need to store data, they only need to apply for storage services to the storage service provider.
  • the cloud storage method avoids the redundant construction of the storage platform and saves the hardware and software infrastructure. the cost of.
  • Storage systems generally provide two types of storage services, file storage services and block storage services.
  • the file storage is mainly provided by a network attached storage (NAS) device, and uses a network file system (NFS, Network File System) or a common Internet file system (CIFS) interface. Data access is achieved through the file system, which is mainly used in the file sharing environment.
  • Block storage mainly provided by a storage area network (SAN, Storage Area Network) magnetic array device, using Fibre Channel (FC, Fiber Channel), Internet Small Computer Systems Interface (ISCSI) interface Mapped to the client by mapping the LU, Logic Unit Number (L, Logic Unit Number), the client sees the device, no file system, can be formatted, create a custom file system, equivalent to the local hard disk .
  • SAN Storage Area Network
  • FC Fibre Channel
  • ISCSI Internet Small Computer Systems Interface
  • the present invention provides a method and system for implementing distributed file system block storage, which can implement block storage of a distributed file system and efficiently manage distributed file block storage by metadata.
  • the present application provides a method for implementing distributed file system block storage, including: one or more block storage nodes, one or more access nodes, a metadata server; a block storage node and access Nodes correspond one-to-one; among them,
  • the access node is set to: respectively set the corresponding logical node number LU, when the data storage request is received, the storage data is mounted, and the access node of the file mapped in the distributed file system is established through the LU of the access node. ;
  • the metadata server is configured to: map the LU of the access node into at least one file of the distributed file system, record the mapping relationship, and add the mapping relationship to the metadata information; and determine the stored information according to the metadata information.
  • the data is written to the block storage node corresponding to the file mapped by the LU;
  • the block storage node is set to: store the stored data in the storage space of the block storage node corresponding to the file mapped by the distributed file system.
  • the metadata server is further configured to: update the metadata information according to the data slice and the data distribution information of the file stored in the distributed file system.
  • the metadata information further includes: a quantity, an offset, a distribution, a copy, and a storage policy of the corresponding mapping file fragments in the distributed file system, and a state of the block storage access node and maintenance information.
  • the system further comprises: a reading server, configured to: obtain, according to the metadata information, a data slice and a data distribution of the file mapped by the distributed file system where the stored data is located; and access nodes of the block storage node corresponding to the LU Perform data reading.
  • a reading server configured to: obtain, according to the metadata information, a data slice and a data distribution of the file mapped by the distributed file system where the stored data is located; and access nodes of the block storage node corresponding to the LU Perform data reading.
  • the metadata server is further configured to: perform scheduling of the distributed file system and the block storage node according to the metadata information, perform state maintenance and capacity adjustment on the storage medium in the system.
  • the present application further provides a method for implementing distributed file system block storage, including: creating a corresponding logical node number LUN for an access node of a distributed file system, and mapping components Corresponding at least one file in the file system, and recording the mapping relationship, adding the mapping information to the metadata information;
  • the access node When the access receives the data request, after the data storage is mounted, the access node
  • the LU establishes an access connection with the file mapped in the distributed file system
  • data is written to the block storage node corresponding to the file mapped by the corresponding distributed file system of the access node establishing the access connection.
  • the metadata information further includes: a quantity, an offset, a distribution, a copy, and a storage policy of the corresponding mapping file fragments in the distributed file system, and a state of the block storage access node and maintenance information.
  • the method further comprises: updating the metadata information according to the data slice and the data distribution information of the block storage node of the file stored in the distributed file system when the data is stored according to the metadata information.
  • the method when performing block storage data reading, the method further includes:
  • the data is read by the access node of the block storage node corresponding to the LU.
  • the method further comprises: performing scheduling of the distributed file system and the block storage node according to the metadata, performing state maintenance and capacity adjustment on the storage medium in the system.
  • the access node of the block storage node is used to establish a corresponding LUN, and is mapped into at least one file in the distributed file system, and the mapping relationship is added to the metadata information, and the metadata is stored in the distributed file system for data storage. Data updates improve the performance of distributed storage in cloud storage.
  • FIG. 1 is a structural block diagram of a system for implementing distributed file system block storage according to an embodiment of the present invention
  • FIG. 2 is a flowchart of a method for implementing distributed file system block storage according to an embodiment of the present invention. Preferred embodiment of the invention
  • FIG. 1 is a structural block diagram of a system for implementing distributed file system block storage according to an embodiment of the present invention. As shown in FIG. 1, the method includes: one or more block storage nodes, one or more access nodes, and a metadata server; The node has a one-to-one correspondence with the access node;
  • the access node is respectively provided with a corresponding logical node number (LUN) for completing the storage of the storage data when receiving the data storage request, and establishing the access of the file mapped in the distributed file system by the LU of the access node. connection.
  • LUN logical node number
  • a metadata server configured to map the LUN of the access node into at least one file of the distributed file system, record the mapping relationship, and add the mapping relationship to the metadata information; determine the data to be stored according to the metadata information.
  • each block storage node is mapped to at least one file in the distributed file system, and in the network of the distributed file system, all the block storage nodes respectively correspond to at least one distributed file system file.
  • the stored data is the data transmitted when the initiator performs data storage.
  • the metadata information also includes: the number of corresponding mapping file fragments, the offset amount, the distribution, the copy and the storage policy in the distributed file system, and the status and maintenance information of the block storage access node.
  • a block storage node configured to store the stored data in a storage space of a block storage node corresponding to a file mapped by the distributed file system.
  • the block storage node may set multiple access nodes to improve data storage and read data, and create corresponding LUs for each access node.
  • the number, offset, distribution, copy and storage policy of the corresponding mapping file fragment in the above distributed file system, the state of the block storage access node and the maintenance information from the block storage agent server, the hardware attributes of the block storage, etc. It can be directly obtained from the prior art, and the present invention organizes these existing information in order to use this information for efficient storage and maintenance of distributed file system data.
  • the embodiment of the present invention is based on the file storage of the distributed file system and the file storage of the existing cloud storage.
  • the embodiment of the present invention implements an access terminal access protocol such as an Internet Small Computer System Interface (ISCSI) by using a block storage node as a storage of a distributed file system.
  • ISCSI Internet Small Computer System Interface
  • the distributed file system of the existing file storage method often only supports the file sharing environment. For enterprise data, large data of personal storage, distributed file system of file storage, performance and management cannot meet the efficient storage of data and Read the requirements.
  • the metadata server is also used to update metadata information based on data slice and data distribution information of files stored in the distributed file system.
  • the data slice and the data distribution information of the stored data can be found from the attribute information of the block storage node, which is a prior art, and the block storage space can be realized by updating the metadata. Effective management, when data is read, can also be efficiently read by the metadata server.
  • the metadata server is further configured to perform scheduling of the distributed file system and the block storage according to the metadata information, and perform state maintenance and capacity adjustment on the storage medium in the system.
  • scheduling refers to: selecting the storage space of the access node and the block storage node of the distributed file system of the data storage according to the metadata information.
  • the system of the embodiment of the present invention further includes a reading server, configured to obtain, according to the metadata information, a data slice and a data distribution of a file mapped by the distributed file system where the stored data is located; and performing, by the access node of the block storage node corresponding to the LU Data reading.
  • a reading server configured to obtain, according to the metadata information, a data slice and a data distribution of a file mapped by the distributed file system where the stored data is located; and performing, by the access node of the block storage node corresponding to the LU Data reading.
  • FIG. 2 is a flowchart of a method for implementing distributed file system block storage according to the present invention. As shown in FIG. 2, the method includes:
  • Step 100 Create a corresponding logical node number LUN for the access node of the distributed file system, map it to at least one corresponding file in the distributed file system, record the mapping relationship, and add the mapping information to the metadata information.
  • the metadata information further includes: corresponding mapping file fragmentation in the distributed file system The number, offset, distribution, copy and storage policies, block storage access node status and maintenance information.
  • the block storage node may set multiple access nodes to improve data storage and read data, and create corresponding LUs for each access node.
  • the number, offset, distribution, copy and storage policy of the corresponding file fragmentation of the above distributed file system, the state of the block storage access node and the maintenance information from the block storage agent server, the hardware attributes of the block storage, etc. Directly obtained in the art, the present invention organizes these existing information in order to use this information for efficient storage and maintenance of distributed file system data.
  • Step 101 When receiving the external data storage, after the access node completes the data storage, the access node establishes an access connection with the file mapped in the distributed file system through the LUN of the access node.
  • Step 102 Perform data writing to the block storage node corresponding to the file mapped by the corresponding distributed file system of the access node establishing the access connection according to the metadata information.
  • the method of the embodiment of the present invention further includes: when performing data storage according to the metadata information, updating the metadata information according to the data slice and the data distribution information of the block storage node of the file stored in the distributed file system.
  • the method of the embodiment of the present invention further includes:
  • the data is read by the access node of the block storage node corresponding to the LU.
  • a corresponding LUN is established for the access node of the block storage node, and is mapped into at least one file in the distributed file system, and the mapping relationship is added to the metadata information, and the metadata is performed when the distributed file system performs data storage. Updated to improve the performance of distributed storage in cloud storage.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种实现分布式文件系统块存储的方法及系统。该系统包括：至少一个块存储节点及相应的接入节点、元数据服务器；其中，为接入节点设置相应的逻辑节点号（LUN）,当接收到存储数据请求并完成挂载后，通过LUN建立与分布式文件系统映射的文件的访问连接；元数据服务器，将LUN映射成分布式文件系统的至少一个文件，并将映射关系加入元数据信息；根据元数据信息将存储的数据写入映射文件对应的块存储节点；块存储节点，用于存储数据到相应的存储空间。通过建立接入节点相应的LUN,并映射成分布式文件系统中至少一个文件，将映射关系加入元数据信息，在存储数据时更新元数据，提高了云存储中分布化存储的性能。

Description

一种实现分布式文件系统块存储的方法及系统
技术领域
本申请涉及云计算技术， 尤指一种实现分布式文件系统块存储的方法及 装置。 背景技术
随着云计算技术的兴起， 云存储成为信息存储领域的一个研究热点。 与 传统的硬件存储设备相比， 云存储是一个包含网络设备、存储设备、服务器、 网络连接接口和客户端软件等多个部分组成的系统。
云存储通过网络将用户需要存储的本地数据， 存放于存储服务提供商提 供的在线存储空间。 用户不再需要建立自己的数据中心， 当需要进行存储数 据时， 只需向存储服务提供商申请存储服务即可， 釆用云存储的方法避免了 存储平台的重复建设， 节约了软硬件基础设施的成本。
存储系统一般提供两类存储服务， 文件存储服务和块存储服务。 其中， 文件存储， 主要由网络附加存储（NAS , Network Attached Storage )设备提 供， 釆用网络文件系统 ( NFS , Network File System )或公共互联网文件系统 ( CIFS, Common Internet File System )接口， 客户端进行数据访问时， 是通 过文件系统来实现， 文件存储服务主要用于文件共享环境。 块（block )存储， 主要由存储区域网络（SAN, Storage Area Network )磁阵设备提供， 釆用基 于光纤通道（ FC, Fiber Channel )、因特网小型计算机系统接口（ ISCSI, Internet Small Computer Systems Interface )接口，通过映射 4巴還辑节点号（ LU , Logic Unit Number )映射到客户端， 客户端看到的是棵设备， 没有文件系统， 可以 进行格式化， 建立自定义的文件系统， 相当于本地硬盘。 块存储提供的高性 能和高可靠性已经为业界所认可， 尤其在关键的生产环境内。
传统的云存储系统， 往往只提供文件存储服务， 而对于目前大量存在的 数据库、 操作系统业务， 其只能运行在块存储的模式下， 块存储服务往往还 是由磁阵或存储网关来提供， 无法利用云存储中分布化存储的技术优势， 同 时在成本上也与分布式文件系统有着巨大的差距。 发明内容
为了解决上述问题， 本发明提供一种实现分布式文件系统块存储的方法 及系统， 能够实现分布式文件系统的块存储， 并通过元数据对分布式文件块 存储进行有效管理。
为了达到本发明的目的， 本申请提供一种实现分布式文件系统块存储的 方法， 包括： 一个或一个以上块存储节点、 一个或一个以上接入节点、 元数 据服务器； 块存储节点与接入节点一一对应； 其中，
接入节点， 设置为： 分别设置有相应的逻辑节点号 LU , 接收到数据存 储请求时， 完成存储数据的挂载， 通过接入节点的 LU 建立与分布式文件 系统中映射的文件的访问连接；
元数据服务器， 设置为： 将接入节点的 LU 映射成分布式文件系统的 至少一个文件， 并记录映射关系， 将映射关系加入到元数据信息中； 才艮据元 数据信息， 确定将存储的数据根据 LU 写入映射的文件所对应的块存储节 点；
块存储节点， 设置为： 将存储的数据存储在分布式文件系统映射的文件 所对应的块存储节点的存储空间。
优选地， 元数据服务器， 还设置为： 根据存储在分布式文件系统映射的 文件的数据切片和数据分布信息， 更新元数据信息。
优选地， 元数据信息还包括： 分布式文件系统中相应的映射文件分片的 数量、 偏移量、 分布、 副本和存储策略， 块存储接入节点的状态和维护信息。
优选地， 该系统还包括读取服务器， 设置为： 根据元数据信息， 获取存 储数据所在的分布式文件系统映射的文件的数据切片和数据分布；通过 LU 对应的块存储节点的接入节点的进行数据读取。
优选地， 元数据服务器还设置为： 根据元数据信息进行分布式文件系统 及块存储节点的调度、 对系统内存储介质进行状态维护和容量调整。
另一方面，本申请还提供一种实现分布式文件系统块存储的方法， 包括： 为分布式文件系统的接入节点创建相应的逻辑节点号 LUN,并映射成分 布式文件系统中相应的至少一个文件， 并记录映射关系， 将映射信息加入元 数据信息；
当接入接收到数据请求时， 完成数据存储的挂载后， 通过接入节点的
LU 建立与分布式文件系统中映射的文件的访问连接；
根据元数据信息， 向建立访问连接的接入节点相应的分布式文件系统映 射的文件对应的块存储节点进行数据写入。
优选地， 元数据信息还包括： 分布式文件系统中相应的映射文件分片的 数量、 偏移量、 分布、 副本和存储策略， 块存储接入节点的状态和维护信息。
优选地， 该方法还包括： 根据所述元数据信息进行数据存储时， 根据存 储在分布式文件系统映射的文件的块存储节点的数据切片和数据分布信息， 更新元数据信息。
优选地， 当进行块存储数据读取时， 该方法还包括：
根据元数据信息， 获取存储的数据所在的分布式文件系统映射的文件的 块存储节点的数据切片和数据分布信息；
通过 LU 对应的块存储节点的接入节点的进行数据读取。
优选地， 该方法还包括： 根据所述元数据进行分布式文件系统及块存储 节点的调度、 对系统内存储介质进行状态维护和容量调整。
通过本发明实施例为块存储节点的接入节点建立相应的 LUN,并映射成 分布式文件系统中至少一个文件， 将映射关系加入到元数据信息， 在分布式 文件系统进行数据存储时进行元数据更新， 提高了云存储中分布化存储的性 能。
附图概述
附图用来提供对本申请技术方案的进一步理解， 并且构成说明书的一部 分， 与本申请的实施例一起用于解释本申请的技术方案， 并不构成对本申请 技术方案的限制。
图 1为本发明实施例实现分布式文件系统块存储的系统的结构框图； 图 2为本发明实施例实现分布式文件系统块存储的方法的流程图。 本发明的较佳实施方式
下文中将结合附图对本申请的实施例进行详细说明。 需要说明的是， 在 不冲突的情况下， 本申请中的实施例及实施例中的特征可以相互任意组合。
图 1为本发明实施例实现分布式文件系统块存储的系统的结构框图， 如 图 1所示， 包括： 一个或一个以上块存储节点、 一个或一个以上接入节点、 元数据服务器； 块存储节点与接入节点一一对应； 其中，
接入节点， 分别设置有相应的逻辑节点号（LUN ) ， 用于接收到数据存 储请求时， 完成存储数据的挂载， 通过接入节点的 LU 建立与分布式文件 系统中映射的文件的访问连接。
元数据服务器， 用于将接入节点的 LUN映射成分布式文件系统的至少 一个文件， 并记录映射关系， 将映射关系加入到元数据信息中； 才艮据元数据 信息， 确定将存储的数据根据 LU 写入映射的文件所对应的块存储节点。
需要说明的是， 将每个块存储节点映射成分布式文件系统中的至少一个 文件， 则在分布式文件系统的网络中， 所有的块存储节点各对应至少一个分 布式文件系统文件。 存储的数据为发起者进行数据存储时所传输的数据。
元数据信息还包括： 分布式文件系统中相应的映射文件分片的数量、 偏 移量、 分布、 副本和存储策略， 块存储接入节点的状态和维护信息。
块存储节点， 用于将存储的数据存储在分布式文件系统映射的文件所对 应的块存储节点的存储空间。
需要说明的是， 根据用户对数据存储的需求， 块存储节点可以设置多个 接入节点， 以提高数据存储和读取的数据， 针对各接入节点创建相应的 LU 即可。 上述分布式文件系统中相应的映射文件分片的数量、 偏移量、 分布、 副本和存储策略， 块存储接入节点的状态和维护信息从块存储的代理端服务 器、 块存储的硬件属性等可以从现有技术中直接获得， 本发明将这些现有的 信息进行整理， 是为了将这些信息用于实现对分布式文件系统数据的高效存 储和维护。 本发明实施例基于分布式文件系统的块存储与现有云存储的文件存储相 比， 通过块存储的方式， 实现了支持大量的数据库， 提高了用户对数据存储 和读取的效率。 通过元数据对存储的数据进行存储空间的有效分配和管理， 对数据写入的位置进行记录以更新元数据服务器， 对云存储的大量用户存储 数据而言， 发挥的作用应该是显然的。
另外， 本发明实施例通过块存储节点作为分布式文件系统的存储， 实现 了支持因特网小型计算机系统接口 （ISCSI )等接入端访问协议。 而现有的文 件存储方式的分布式文件系统往往只支持文件共享环境， 对于企业数据， 个 人存储的较大数据， 文件存储的分布式文件系统， 在性能和管理上， 无法满 足数据高效存储和读取的要求。
元数据服务器， 还用于根据存储在分布式文件系统映射的文件的数据切 片和数据分布信息， 更新元数据信息。
需要说明的是， 通过在写入数据时， 从块存储节点的属性信息可以找到 存储数据的数据切片和数据分布信息， 该部分为现有技术， 通过元数据的更 新， 可以实现对块存储空间的有效管理， 在数据读取时， 也可以通过元数据 服务器进行高效读取。
元数据服务器还用于， 根据元数据信息进行分布式文件系统及块存储的 调度、 对系统内存储介质进行状态维护和容量调整。
需要说明的是， 这里的调度是指： 根据元数据信息选择数据存储的分布 式文件系统的接入节点和块存储节点的存储空间。
本发明实施例系统还包括读取服务器， 用于根据元数据信息， 获取存储 数据所在的分布式文件系统映射的文件的数据切片和数据分布； 通过 LU 对应的块存储节点的接入节点的进行数据读取。
图 2为本发明实现分布式文件系统块存储的方法的流程图，如图 2所示， 包括：
步骤 100、 为分布式文件系统的接入节点创建相应的逻辑节点号 LUN, 并映射成分布式文件系统中相应的至少一个文件， 并记录映射关系， 将映射 信息加入元数据信息。
本步骤中， 元数据信息还包括： 分布式文件系统中相应的映射文件分片 的数量、 偏移量、 分布、 副本和存储策略， 块存储接入节点的状态和维护信 息。
需要说明的是， 根据用户对数据存储的需求， 块存储节点可以设置多个 接入节点， 以提高数据存储和读取的数据， 针对各接入节点创建相应的 LU 即可。 上述分布式文件系统相应文件分片的数量、 偏移量、 分布、 副本和存 储策略， 块存储接入节点的状态和维护信息从块存储的代理端服务器、 块存 储的硬件属性等可以从现有技术中直接获得， 本发明将这些现有的信息进行 整理，是为了将这些信息用于实现对分布式文件系统数据的高效存储和维护。
步骤 101、 当接收到外部数据存储时， 接入节点完成数据存储的挂载后， 通过接入节点的 LUN建立与分布式文件系统中映射的文件的访问连接。
步骤 102、 根据元数据信息， 向建立访问连接的接入节点相应的分布式 文件系统映射的文件对应的块存储节点进行数据写入。
本发明实施例方法还包括： 根据所述元数据信息进行数据存储时， 根据 存储在分布式文件系统映射的文件的块存储节点的数据切片和数据分布信 息， 更新元数据信息。
当进行块存储数据读取时， 本发明实施例方法还包括：
根据元数据信息， 获取存储的数据所在的分布式文件系统映射的文件的 块存储节点的数据切片和数据分布信息；
通过 LU 对应的块存储节点的接入节点的进行数据读取。
虽然本申请所揭露的实施方式如上， 但所述的内容仅为便于理解本申请 而釆用的实施方式， 并非用以限定本申请。 任何本申请所属领域内的技术人 员， 在不脱离本申请所揭露的精神和范围的前提下， 可以在实施的形式及细 节上进行任何的修改与变化， 但本申请的专利保护范围， 仍须以所附的权利 要求书所界定的范围为准。
工业实用 4生
本发明实施例为块存储节点的接入节点建立相应的 LUN,并映射成分布 式文件系统中至少一个文件， 将映射关系加入到元数据信息， 在分布式文件 系统进行数据存储时进行元数据更新， 提高了云存储中分布化存储的性能。

Claims

权 利 要 求 书
1、 一种实现分布式文件系统块存储的系统， 包括： 一个或一个以上块存 储节点、 一个或一个以上接入节点、 元数据服务器； 块存储节点与接入节点 ——对应； 其中，
接入节点， 设置为： 分别设置有相应的逻辑节点号 LU , 接收到数据存 储请求时， 完成存储数据的挂载， 通过接入节点的 LU 建立与分布式文件 系统中映射的文件的访问连接；
元数据服务器， 设置为： 将接入节点的 LU 映射成分布式文件系统的 至少一个文件， 并记录映射关系， 将映射关系加入到元数据信息中； 才艮据元 数据信息， 确定将存储的数据根据 LU 写入映射的文件所对应的块存储节 点；
块存储节点， 设置为： 将存储的数据存储在分布式文件系统映射的文件 所对应的块存储节点的存储空间。
2、 根据权利要求 1所述的系统， 其中， 所述元数据服务器， 还设置为： 根据存储在分布式文件系统映射的文件的数据切片和数据分布信息， 更新元 数据信息。
3、 根据权利要求 1或 2所述的系统， 其中， 所述元数据信息还包括： 分 布式文件系统中相应的映射文件分片的数量、 偏移量、 分布、 副本和存储策 略， 块存储接入节点的状态和维护信息。
4、 根据权利要求 3所述的系统， 其中， 该系统还包括读取服务器，设置 为： 根据元数据信息， 获取存储数据所在的分布式文件系统映射的文件的数 据切片和数据分布； 通过 LU 对应的块存储节点的接入节点的进行数据读 取。
5、 根据权利要求 4所述的系统， 其中， 元数据服务器还设置为： 根据元 数据信息进行分布式文件系统及块存储节点的调度、 对系统内存储介质进行 状态维护和容量调整。
6、 一种实现分布式文件系统块存储的方法， 包括： 为分布式文件系统的接入节点创建相应的逻辑节点号 LUN,并映射成分 布式文件系统中相应的至少一个文件， 并记录映射关系， 将映射信息加入元 数据信息；
当接入接收到数据请求时， 完成数据存储的挂载后， 通过接入节点的 LU 建立与分布式文件系统中映射的文件的访问连接；
根据元数据信息， 向建立访问连接的接入节点相应的分布式文件系统映 射的文件对应的块存储节点进行数据写入。
7、 根据权利要求 6所述的方法， 其中， 所述元数据信息还包括： 分布式 文件系统中相应的映射文件分片的数量、 偏移量、 分布、 副本和存储策略， 块存储接入节点的状态和维护信息。
8、 根据权利要求 7所述的方法， 其中， 该方法还包括： 根据所述元数据 信息进行数据存储时， 根据存储在分布式文件系统映射的文件的块存储节点 的数据切片和数据分布信息， 更新元数据信息。
9、 根据权利要求 8所述的方法， 其中， 当进行块存储数据读取时， 该方 法还包括：
根据元数据信息， 获取存储的数据所在的分布式文件系统映射的文件的 块存储节点的数据切片和数据分布信息；
通过 LU 对应的块存储节点的接入节点的进行数据读取。
10、 根据权利要求 9所述的方法， 该方法还包括： 根据所述元数据进行 分布式文件系统及块存储节点的调度、 对系统内存储介质进行状态维护和容 量调整。
PCT/CN2014/078556 2013-12-02 2014-05-27 一种实现分布式文件系统块存储的方法及系统 WO2014183708A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310634665.3 2013-12-02
CN201310634665.3A CN104679665A (zh) 2013-12-02 2013-12-02 一种实现分布式文件系统块存储的方法及系统

Publications (1)

Publication Number Publication Date
WO2014183708A1 true WO2014183708A1 (zh) 2014-11-20

Family

ID=51897767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/078556 WO2014183708A1 (zh) 2013-12-02 2014-05-27 一种实现分布式文件系统块存储的方法及系统

Country Status (2)

Country Link
CN (1) CN104679665A (zh)
WO (1) WO2014183708A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072201A (zh) * 2015-08-28 2015-11-18 北京奇艺世纪科技有限公司 一种分布式存储系统及其存储质量控制方法及装置
WO2016101662A1 (zh) * 2014-12-26 2016-06-30 华为技术有限公司 一种数据处理方法及相关服务器
CN105898387A (zh) * 2016-03-30 2016-08-24 乐视控股（北京）有限公司 一种流媒体数据发送方法及装置
US20190028366A1 (en) * 2016-03-11 2019-01-24 Huawei Technologies Co., Ltd. Heartbeat information sending method and apparatus, and heartbeat sending node
CN111694791A (zh) * 2020-04-01 2020-09-22 新华三大数据技术有限公司 一种分布式基础框架中的数据存取方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302607B (zh) * 2015-06-05 2019-08-16 腾讯科技（深圳）有限公司 应用于云计算的块存储系统及方法
CN107659419B (zh) 2016-07-25 2021-01-01 华为技术有限公司 网络切片方法和系统
CN106339473A (zh) * 2016-08-29 2017-01-18 北京百度网讯科技有限公司 文件复制方法及装置
CN106599046B (zh) * 2016-11-09 2020-06-30 北京同有飞骥科技股份有限公司 分布式文件系统的写入方法及装置
CN106815298B (zh) * 2016-12-09 2020-11-17 中电科华云信息技术有限公司 基于块存储的分布式共享文件系统
CN106980647B (zh) * 2017-02-24 2021-04-23 北京同有飞骥科技股份有限公司 一种分布式文件系统数据分布方法及装置
WO2019033370A1 (zh) * 2017-08-17 2019-02-21 深圳市优品壹电子有限公司 数据获取方法及装置
CN110058784B (zh) * 2018-01-18 2020-08-04 杭州海康威视系统技术有限公司 存储数据的方法和装置
CN108959592A (zh) * 2018-07-12 2018-12-07 广州市闲愉凡生信息科技有限公司 一种云计算平台的文件分布系统
CN109871363A (zh) * 2019-02-28 2019-06-11 苏州浪潮智能科技有限公司 一种冗余架构的共享文件系统及其搭建方法
CN111858537A (zh) * 2019-04-25 2020-10-30 中兴通讯股份有限公司 一种数据分析的方法及装置
CN112783419B (zh) * 2019-11-06 2024-05-24 阿里巴巴集团控股有限公司 分布式存储方法及装置、电子设备和存储介质
CN112256201B (zh) * 2020-10-23 2023-10-31 南京鹏云网络科技有限公司 一种分布式块存储系统及其卷信息管理方法
CN113296714B (zh) * 2021-06-17 2022-03-04 杭州海康威视系统技术有限公司 一种基于nas协议的数据存储系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599994A (zh) * 2009-06-01 2009-12-09 中兴通讯股份有限公司 分布式文件系统、接入节点及节点间传输文件数据的方法
JP2011227712A (ja) * 2010-04-20 2011-11-10 Nippon Hoso Kyokai <Nhk> ノード装置及びコンピュータプログラム
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储系统及其实现方法
EP2557514A1 (en) * 2011-08-12 2013-02-13 Nexenta Systems, Inc. Cloud Storage System with Distributed Metadata
CN103207867A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 处理数据块的方法、发起恢复操作的方法和节点

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050108518A1 (en) * 2003-06-10 2005-05-19 Pandya Ashish A. Runtime adaptable security processor
JP2013543198A (ja) * 2010-11-16 2013-11-28 アクティフィオ インコーポレイテッド データ管理仮想化のためのシステムおよび方法
CN102694860A (zh) * 2012-05-25 2012-09-26 北京邦诺存储科技有限公司 一种云存储的数据处理方法、设备及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599994A (zh) * 2009-06-01 2009-12-09 中兴通讯股份有限公司 分布式文件系统、接入节点及节点间传输文件数据的方法
JP2011227712A (ja) * 2010-04-20 2011-11-10 Nippon Hoso Kyokai <Nhk> ノード装置及びコンピュータプログラム
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储系统及其实现方法
EP2557514A1 (en) * 2011-08-12 2013-02-13 Nexenta Systems, Inc. Cloud Storage System with Distributed Metadata
CN103207867A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 处理数据块的方法、发起恢复操作的方法和节点

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101662A1 (zh) * 2014-12-26 2016-06-30 华为技术有限公司 一种数据处理方法及相关服务器
CN105791370A (zh) * 2014-12-26 2016-07-20 华为技术有限公司 一种数据处理方法及相关服务器
CN105791370B (zh) * 2014-12-26 2019-02-01 华为技术有限公司 一种数据处理方法及相关服务器
CN105072201A (zh) * 2015-08-28 2015-11-18 北京奇艺世纪科技有限公司 一种分布式存储系统及其存储质量控制方法及装置
CN105072201B (zh) * 2015-08-28 2018-04-13 北京奇艺世纪科技有限公司 一种分布式存储系统及其存储质量控制方法及装置
US20190028366A1 (en) * 2016-03-11 2019-01-24 Huawei Technologies Co., Ltd. Heartbeat information sending method and apparatus, and heartbeat sending node
US11310130B2 (en) * 2016-03-11 2022-04-19 Huawei Technologies Co., Ltd. Heartbeat information sending method and apparatus, and heartbeat sending node
US11736371B2 (en) 2016-03-11 2023-08-22 Huawei Technologies Co., Ltd. Heartbeat information sending method and apparatus, and heartbeat sending node
CN105898387A (zh) * 2016-03-30 2016-08-24 乐视控股（北京）有限公司 一种流媒体数据发送方法及装置
CN111694791A (zh) * 2020-04-01 2020-09-22 新华三大数据技术有限公司 一种分布式基础框架中的数据存取方法及装置

Also Published As

Publication number Publication date
CN104679665A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
WO2014183708A1 (zh) 一种实现分布式文件系统块存储的方法及系统
US20220124149A1 (en) Synchronous replication for storage
US8504797B2 (en) Method and apparatus for managing thin provisioning volume by using file storage system
US11106375B2 (en) Deduplication of encrypted data within a remote data store
JP5026283B2 (ja) 協調的共用ストレージアーキテクチャ
US8117388B2 (en) Data distribution through capacity leveling in a striped file system
US11662930B2 (en) Aggregate inline deduplication with volume granular encryption
US8135918B1 (en) Data de-duplication for iSCSI
US10521143B2 (en) Composite aggregate architecture
US10909143B1 (en) Shared pages for database copies
CN102917005B (zh) 一种支持事务的海量存储访问方法及装置
US20070094235A1 (en) Storage system and method of controlling storage system
US20230176791A1 (en) Metadata compaction
US20160048529A1 (en) Coalescing storage operations
US20150381727A1 (en) Storage functionality rule implementation
KR101531564B1 (ko) 네트워크 분산 파일 시스템 기반 iSCSI 스토리지 시스템에서의 부하 분산 방법 및 시스템
US12014201B2 (en) Policy enforcement and performance monitoring at sub-LUN granularity
KR101470857B1 (ko) iSCSI 스토리지 시스템을 이용한 네트워크 분산 파일 시스템 및 방법
KR101589122B1 (ko) 네트워크 분산 파일 시스템 기반 iSCSI 스토리지 시스템에서의 장애 복구 방법 및 시스템
KR20120045239A (ko) 메타 데이터 서버, 서비스 서버, 비대칭 분산 파일 시스템 및 그 운용 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14798510

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14798510

Country of ref document: EP

Kind code of ref document: A1