WO2015007155A1 - 一种数据存储方法及装置 - Google Patents

一种数据存储方法及装置 Download PDF

Info

Publication number
WO2015007155A1
WO2015007155A1 PCT/CN2014/081330 CN2014081330W WO2015007155A1 WO 2015007155 A1 WO2015007155 A1 WO 2015007155A1 CN 2014081330 W CN2014081330 W CN 2014081330W WO 2015007155 A1 WO2015007155 A1 WO 2015007155A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
clusters
same type
types
storage
Prior art date
Application number
PCT/CN2014/081330
Other languages
English (en)
French (fr)
Inventor
张子刚
熊劲
刘扬宽
岳银亮
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2015007155A1 publication Critical patent/WO2015007155A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1727—Details of free space management performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures

Definitions

  • the present invention relates to the field of communications technologies, and in particular, to a data storage method and apparatus. Background technique
  • COW copy-on-write
  • garbage collection In order to maintain a certain amount of large-sized free space, space consolidation, that is, garbage collection, is required. The effective data is read out and then aggregated and written. In addition to the normal application 10 operation, 10 operations for garbage collection are additionally added, and garbage collection and normal application 10 operations generate competition, compete for bandwidth, and increase operational response. time. Summary of the invention
  • the present invention provides a data storage method and apparatus, which can reduce the overhead of garbage collection and increase the probability of forming a large free space in the storage space.
  • a first aspect of the embodiments of the present invention provides a data storage method, including: classifying the data according to a frequency of updating data;
  • the same type of data is separately stored in the same type of cluster.
  • the data is classified according to the update frequency of the data, and the method includes: The location in the node tree classifies the data, or classifies the data according to the record type of the data.
  • the data of the same type is separately stored according to the preset storage correspondence relationship.
  • the same type of cluster includes:
  • the data of nodes located in the same layer in the node tree are stored in the same type cluster of the storage space.
  • the data of the same type is separately stored according to the preset storage correspondence relationship.
  • the same type of cluster includes:
  • the index node table, the metadata of the file and the data of the directory, and the valid data of the file are respectively stored in a cluster of a corresponding type, wherein the index node table is stored in a cluster of the same type, and the metadata and the file of the file are The data of the directory is stored in a cluster of the same type, and the files are stored in clusters of the same type, wherein the data of the directory includes metadata of the directory and valid data of the directory.
  • a second aspect of the embodiments of the present invention provides a data storage device, where the data storage device includes: a dividing unit, configured to perform type division according to an update frequency of data;
  • the dividing unit is further configured to divide the storage space into a plurality of clusters, and the plurality of clusters are divided into the same number of types as the type of the data;
  • the storage unit is configured to store the same type of data into the same type of cluster according to the preset storage correspondence.
  • the method includes: the dividing unit, specifically, according to a location of a node to which the data belongs in a node tree, The data is type-divided, or the data is type-divided according to the record type of the data.
  • the method includes: the storage unit is further configured to be in the same node tree
  • the data of the nodes of the layer is stored in the same type of cluster of the storage space.
  • the method includes: the storage unit,
  • the metadata and the data of the directory and the valid data of the file are respectively stored in clusters of corresponding types, wherein the index node table is stored in a cluster of the same type, and the metadata of the file and the data of the directory are stored in the same
  • valid data of the file is stored in a cluster of the same type, wherein the data of the directory includes metadata of the directory and valid data of the directory.
  • the embodiments of the present invention have the following advantages: According to the frequency of data update, the data is type-divided, and the storage space is divided into multiple types of clusters, and multiple types of clusters are divided into at least The type of the data has the same number of types, and the same type of data is stored in the same type of cluster according to the preset storage correspondence.
  • the original data becomes garbage data.
  • the probability of forming large pieces of garbage data in a relatively short time is high, and the proportion of relative effective data is small, so when the system recycles garbage data, the data is read and written.
  • the amount is small, and the probability of forming a large free space in the storage space is also high, thereby reducing the overhead of garbage collection and increasing the probability of forming a large free space.
  • FIG. 1 is a schematic diagram of an embodiment of a data storage method according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of another embodiment of a data storage method according to an embodiment of the present invention
  • FIG. 3a is a schematic diagram of a node position of a B-tree in the prior cow technology
  • Figure 3b is a schematic diagram of the storage location of each node in Figure 3a;
  • FIG. 4 is a schematic diagram of various types of data storage locations after the node updates data in FIG. 3a;
  • FIG. 5 is a diagram showing new data and garbage data storage location after a node updates data according to an embodiment of the present invention
  • Figure 6 is a schematic diagram showing the location of files and directories in the existing WAFL technology
  • FIG. 7 is a schematic diagram showing locations of data stored in files and directories according to an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of various types of data storage locations after file update data in the prior WAFL technology
  • FIG. 9 is a schematic diagram of various types of data storage locations after file update data in the embodiment of the present invention
  • FIG. 10 is a data storage device according to an embodiment of the present invention. Schematic diagram of one embodiment
  • FIG. 11 is a schematic diagram of another embodiment of a data storage device in an embodiment of the present invention.
  • the embodiment of the invention provides a data storage method and device, which are used for reducing the overhead of garbage collection and increasing the probability of forming a large free space in the storage space.
  • the data storage method provided in the embodiment of the present invention is described by taking an implementation in the two storage technologies of copy-on-write and log structure, wherein the log structure storage technology is used to write any file layout.
  • an embodiment of a data storage method in an embodiment of the present invention includes:
  • the update frequency of different data varies depending on the number of read and write operations and the content.
  • the data is classified, and the data with the same or similar update frequency is divided into the same type.
  • the data with the fastest update frequency can be divided into the first category
  • the data with the slowest update frequency is divided into two categories
  • the data with the update frequency between the first two types of update frequencies is divided into the third category.
  • the definition of the data with similar update frequency can be specifically defined by the way of setting in the system in advance. For example, if the range of the updated frequency can be set, and the update frequency of the data is within this range, the update frequency of the data is considered to be similar. These data are classified into the same type of data.
  • the storage space is divided into multiple types of clusters, and the plurality of types of clusters are divided into at least the same number of types of data types;
  • the storage space is divided into clusters of multiple types, and the clusters of the plurality of types are divided into at least the same number of types as the number of types of data, that is, the number of types of clusters may be more than the number of data types, or may be equal to the number of data types.
  • the cluster in the embodiment of the present invention is a sub-storage space in the storage space, and can be arbitrarily delimited in the storage space of the system, and the cluster size can be different, and the clusters of the same type can have more than one, but the size of multiple clusters.
  • the settings can be customized according to the actual application of the system, which can be large or small, and the setting method is flexible.
  • step 101 Store the same type of data into the same type of cluster according to the preset storage correspondence. After the data is classified according to the update frequency, the classified data is separately stored in the cluster of the same type in the storage space according to the preset storage correspondence. As in the example in step 101, the first type of data is stored in the first cluster. The second type of data is stored in the second type of cluster, the third type of data is stored in the third type of cluster, and so on. The same type of data is stored in the same type of cluster.
  • the storage system when the stored data needs to be updated, the storage system writes the updated new data according to the policy in the preset position of the free space, and the original data that has been updated becomes the garbage data, for example, the policy is When writing near the original data, the position of the new data (ie, the preset position) is close to the original data.
  • the storage system when the stored data needs to be updated, the storage system can only write the updated new data in the preset position in the same type of cluster where the data to be updated is located according to the policy, and has been updated in the cluster. The updated original data becomes garbage data.
  • the system When the system presets the garbage collection data, or when the space occupied by the garbage data in a cluster reaches the system preset threshold, the system reclaims the space occupied by the garbage data.
  • the first type of data stored in the first type of cluster has the fastest update frequency, it is easy to form large pieces of garbage data in a short time, so that when the system recycles the garbage data, it is easy in the first type of cluster. Form a corresponding large block of free space.
  • the update frequency of the data the data is type-divided, and the storage space is divided into multiple types of clusters, and the plurality of types of clusters are divided into at least the same number of types as the type of the data.
  • the same type of data is separately stored in the same type of cluster.
  • each cluster each time the data is updated, the original data becomes garbage data, and in the cluster with fast update frequency of the data,
  • the probability of forming large pieces of junk data in a relatively short period of time is relatively high, while the proportion of relatively valid data is relatively small. Therefore, when the system recycles junk data, the amount of valid data for reading and writing is small, and the storage space is formed.
  • the probability of large free space is high. Therefore, the data is classified according to the update frequency of the data, and the same type of data is stored in the same type of cluster, which can reduce the garbage collection overhead and also improve the formation of large free space. The chance of space.
  • another embodiment of the data storage method in the embodiment of the present invention includes: 201. Classify data according to a hierarchical position of a node to which the data belongs in the node tree, or classify the data according to a record type of the data;
  • the type division of the data in the storage mode of the cow technology, is related to the update frequency of the data according to the position of the node to which the data belongs in the node tree, and the data may be classified according to the position of the node to which the data belongs in the node tree. , the data of the nodes at the same level in the node tree are divided into the same type.
  • the type division of the data is related to the update frequency of the data according to the record type of the data, and the data is classified according to the record type of the data, and the data can be divided into an index node table and a file. Metadata and catalog data, valid data for general files.
  • the storage space is divided into multiple types of clusters, and the clusters of the plurality of types are divided into the same number of types as the number of types of data;
  • the cluster in the embodiment of the present invention is a sub-storage space in the storage space, and can be arbitrarily delimited in the storage space of the system, and the cluster size can be different, and the clusters of the same type can have more than one, but the size of multiple clusters.
  • the settings can be customized according to the actual application of the system, which can be large or small, and the setting method is flexible.
  • the preset location of the free space in which the updated new data is written is written according to the policy, and is not limited in the prior art.
  • the new data is The position (ie preset position) is close to the location of the original data.
  • the shaded nodes in the figure store garbage data.
  • node A is a root node, and is a single layer in the node tree.
  • Nodes B and C are located at the same level in the node tree, and nodes D, E, and F are located at the same level in the node tree.
  • the data stored in the node A is separately divided into one class, and the data stored in the nodes B and C is divided into the same class, and the nodes D, E, and F are stored.
  • the data is divided into the same class.
  • the system writes the updated new data into the pre-divided clusters, and the updated original data has become garbage data, that is, nodes A and B.
  • garbage data that is, nodes A and B.
  • the storage space of C is occupied by garbage data and becomes an unavailable space.
  • the nodes shaded in FIG. 5 store garbage data, and the remaining nodes store valid data. Since node A is the root node, the node data of any branch of the node tree is updated, and the root node is updated together.
  • the data stored in node A is updated the most frequently, and the update frequency is the fastest. Each update makes the original data become garbage data.
  • the cluster where the node A is located has a higher probability of forming large pieces of garbage data in a shorter time.
  • the probability of forming a corresponding large block of free space in the cluster where the node A is located is also high.
  • the update frequency is the slowest, and each update makes the original data garbage.
  • the clusters of nodes D, E, and F form a large time in a short time.
  • the probability of block garbage data is low, so that when the system recycles garbage data, the probability of forming a corresponding large block of free space in the cluster where nodes D, E, and F are located is also low.
  • the file file2 is stored as a file.
  • the file includes two parts: metadata and general data.
  • the metadata is used to record the directory dirl, the directory dir2, the file filel, the file file2 attribute, the data size, the data storage location, etc.
  • the general data is the directory dirl, the directory dir2, the file filel. , the actual content of the file file2. Metadata is generally represented by an index node record, a mapping relationship between valid data record directory entries and subdirectories and files under the directory.
  • the inode map is metadata, and is used for information about the storage location of the index node
  • a directory index node for storing metadata of a directory
  • File index node used to store metadata of the file
  • metadata of the file is used for recording Data indicating the nature of the file, such as file size and block location information.
  • Valid data and metadata are included in the file filel, file file2, directory dirl, and directory dir2 data.
  • the inode map is metadata, reflecting the information of the storage location of the global directory index node and the file index node.
  • the update frequency is the fastest, and is divided into one class separately; the metadata of the file and the data of the directory are updated frequently, and the update frequency is close, therefore,
  • the metadata of the file and the data of the directory are divided into one class.
  • the effective data update frequency of the file is the slowest, and is divided into a single class, wherein the data of the directory includes the metadata of the directory and the valid data of the directory.
  • a plurality of types of clusters corresponding to the data type are divided in the storage space, and each type of cluster may be one or more, and the storage space may be divided into corresponding numbers according to the number of data types. For the type of cluster, the above three types of data are respectively stored in the pre-divided clusters, and the data of each directory in FIG. 6 and the storage location of the data of each file are as shown in FIG.
  • the stored filel metadata is updated accordingly, and the original data of the updated filel becomes garbage data, and the storage location of the garbage data and the updated element are The data location is shown in Figure 9.
  • the valid data of the file is stored in the first cluster, that is, the valid data of filel and the valid data of file2 are stored in the first cluster, metadata and directory.
  • the valid data is stored in the second type of cluster, that is, the metadata under filel and the metadata under file2, the metadata under dirl and the metadata under dir2 and the valid data under dirl and the valid data under dir2 are stored in the first
  • the inode map is stored in the third type of cluster.
  • each cluster each time the data is updated, the original data becomes garbage data.
  • the cluster with fast update frequency of data the probability of forming large pieces of garbage data in a shorter time is higher, and the relative effective data is The proportion is small, so when the system recycles garbage data, the amount of valid data read and written is small, and the probability of forming large free space in the storage space is high. Therefore, the data is classified according to the update frequency of the data. , and storing the same type of data in the same type of cluster can reduce the garbage collection overhead and increase the chance of forming large free space.
  • One embodiment of a data storage device in the process includes:
  • the dividing unit 301 is configured to perform type division on the data according to an update frequency of the data.
  • the dividing unit 301 is further configured to divide the storage space into a plurality of clusters, where the plurality of clusters are divided into the data. The same number of types of types;
  • the storage unit 302 is configured to store the same type of data into the same type of clusters according to the preset storage correspondence.
  • the dividing unit 301 divides the data into types according to the update frequency of the data, and the dividing unit 301 divides the storage space into clusters of multiple types, and the clusters of the plurality of types are divided into at least the
  • the data type has the same number of types, and the storage unit 302 stores the same type of data in the same type of cluster according to the preset storage correspondence.
  • the storage unit 302 stores the same type of data in the same type of cluster according to the preset storage correspondence.
  • the probability of forming large chunks of garbage data in a shorter time is higher, while the proportion of relative effective data is less, so when the system recycles garbage data, it reads and writes.
  • the amount of valid data is small, and the probability of forming a large free space in the storage space is high. Therefore, the data is classified according to the update frequency of the data, and the same type of data is stored in the same type cluster, which can reduce garbage.
  • the overhead of recycling can also increase the chances of forming large free space.
  • another embodiment of the data storage device in the embodiment of the present invention includes:
  • the dividing unit 401 is configured to perform type division on the data according to an update frequency of the data.
  • the dividing unit 401 is further configured to divide the storage space into a plurality of clusters, where the plurality of clusters are divided into the data. The same number of types of types;
  • the storage unit 402 is configured to store the same type of data into the same type of clusters according to the preset storage correspondence.
  • the dividing unit 401 is specifically configured to classify data according to a location of a node to which the data belongs in the node tree, or type the data according to a record type of the data;
  • the storage unit 402 is further configured to store data of nodes located in the same layer in the node tree into the same type of cluster of the storage space;
  • the storage unit 402 is further configured to use an index node table, metadata of the file, and The data of the directory and the valid data of the file are respectively stored in the cluster of the corresponding type, wherein the index node table is stored in the same type of cluster, the metadata of the file and the data of the directory are stored in the same type of cluster, and the valid data of the file Stored in the same type of cluster, the data of the directory includes the metadata of the directory and the valid data of the directory, and the index node table is metadata.
  • the dividing unit 401 performs type division on the data according to the update frequency of the data, and the dividing unit 401 divides the storage space into clusters of multiple types, and the clusters of the plurality of types are divided into at least
  • the type of the data is the same number of types, and the data is classified according to the location of the node to which the data belongs in the node tree.
  • the data is type-divided according to the record type of the data, and the storage unit 402 stores the corresponding relationship according to the preset.
  • the same type of data is stored in the cluster of the same type, and the storage unit 402 stores the data of the nodes in the same layer in the node tree into the same type of cluster in the storage space, and the storage unit 402 can also use the index node table.
  • the metadata of the file and the data of the directory and the valid data of the file are respectively stored in the cluster of the corresponding type, wherein the index node table is stored in the cluster of the same type, and the metadata of the file and the data of the directory are stored in the cluster of the same type.
  • the valid data of the file is stored in the same type of cluster, in each cluster, each updated one The data will make the original data become garbage data.
  • the probability of forming large pieces of garbage data in a short time is high, and the proportion of relative effective data is small, so the system recycles.
  • garbage data the amount of valid data read and written is small, and the probability of forming a large free space in the storage space is high, thereby reducing the overhead of garbage collection and increasing the probability of forming a large free space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Software Systems (AREA)

Abstract

一种数据存储方法及装置。按照数据的更新频率，将所述数据进行类型划分，将存储空间划分为多个类型的簇，多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的有效数据量较少，同时存储空间中形成大块空闲空间的几率较高，进而能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。

Description

一种数据存储方法及装置 本申请要求于 2013 年 07 月 18 日提交中国专利局、 申请号为 201310302791.9、 发明名称为"一种数据存储方法及装置"的中国专利申请的优 先权， 其全部内容通过引用结合在本申请中。
技术领域
本发明涉及通信技术领域， 尤其涉及一种数据存储方法及装置。 背景技术
存储系统的空间管理方法中存在两种技术， 一种是写时复制 （COW, copy-on-write )技术的基本思想是当多个访问者使用同一数据时， 只需维护指 向数据的指针， 当一个访问者要修改数据时， 需要对数据进行拷贝， 在拷贝的 数据上进行操作， 这种操作对于其他访问者透明。 另一种是日志结构 ( log-structured )的基本思想是将存储空间作为日志（ log )使用， 数据以追加 写的形式写入存储空间。 log-structured聚合小粒度写为大粒度写， 并顺序地写 入存储空间。
现有技术中， 在使用 COW技术的存储系统中， 在更新数据时将根目录到 需要更新数据的文件这一整条路径进行拷贝和重新放置。在使用 log-structured 技术的存储系统中， 在更新文件数据时， 将新数据， 文件的元数据和索引节点 表 ( inode map )进行更新并重新放置。
在上述现有技术中， 在使用 COW技术的存储系统中， 由于需要更新数据 的节点有多个， 并且不同节点更新数据的频率不同， 如， 树根节点和叶子节点 的更新频率节点的原始数据成为垃圾数据的频率不同，有效数据和垃圾数据混 杂存储， 空间碎片化严重。 当进行大粒度输入 /输出 （10, Input/Output )操作 时， 需要将大粒度 10拆分成多个小粒度 10, 严重降低存储系统的性能。 在使 用 log-structured技术的存储系统中， 随着存储空间不断使用， 大粒度空间逐渐 减少，为了维持一定数量的大粒度空闲空间，需要进行空间整理，即垃圾回收， 由于进行垃圾回收， 需要将有效数据读出， 然后再聚合写入， 除了正常的应用 10操作外， 额外地增加了进行垃圾回收的 10操作， 并且， 垃圾回收和正常应 用 10操作产生竟争， 争夺带宽， 增大操作响应时间。 发明内容
本发明提供了一种数据存储方法及装置， 能够降低垃圾回收的开销，提高 存储空间中形成大块的空闲空间的几率。
本发明实施例的第一方面提供了数据存储方法， 包括： 按照数据的更新频 率， 将所述数据进行类型划分；
将存储空间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数 据的类型数量相同数量的类型；
根据预置存储对应关系， 将同类型的数据分别存储到同类型的簇中。 结合本发明实施例的第一方面 ,在本发明实施例的第一方面的第一种实施 方式中， 所述按照数据的更新频率， 将所述数据进行类型划分具体包括： 按照数据所属节点在节点树中的位置将所述数据进行类型划分， 或者，按 照数据的记录类型将所述数据进行类型划分。
结合本发明实施例的第一方面的第一种实施方式 ,在本发明实施例的第一 方面的第二种实施方式中， 所述根据预置存储对应关系， 将同类型的数据分别 存储到同类型的簇中包括：
将在节点树中位于同一层的节点的数据存储到存储空间的同一类型簇中。 结合本发明实施例的第一方面的第一种实施方式 ,在本发明实施例的第一 方面的第三种实施方式中， 所述根据预置存储对应关系， 将同类型的数据分别 存储到同类型的簇中包括：
将索引节点表、文件的元数据及目录的数据、文件的有效数据分别存储到 对应类型的簇中， 其中， 所述索引节点表存储到同类型的簇中， 所述文件的元 数据和所述目录的数据存储到同类型的簇中， 所述文件存储到同类型的簇中， 其中所述目录的数据包括目录的元数据和目录的有效数据。
本发明实施例的第二方面提供了一种数据存储装置，所述数据存储装置包 括： 划分单元， 用于按照数据的更新频率， 将所述数据进行类型划分；
所述划分单元，还用于将存储空间划分为多个簇， 所述多个簇划分为与所 述数据的类型数量相同数量的类型；
存储单元， 用于根据预置存储对应关系，将同类型的数据分别存储到同类 型的簇中。 结合本发明实施例的第二方面 ,在本发明实施例的第二方面的第一种实施 方式中， 包括： 所述划分单元， 具体用于按照数据所属节点在节点树中的位置 将所述数据进行类型划分， 或者，按照数据的记录类型将所述数据进行类型划 分。
结合本发明实施例的第二方面的第一种实施方式 ,在本发明实施例的第二 方面的第二种实施方式中， 包括： 所述存储单元， 还用于将在节点树中位于同 一层的节点的数据存储到存储空间的同一类型簇中。
结合本发明实施例的第二方面的第一种实施方式 ,在本发明实施例的第二 方面的第三种实施方式中， 包括： 所述存储单元， 还用于将索引节点表、 文件 的元数据及目录的数据、 文件的有效数据分别存储到对应类型的簇中， 其中， 所述索引节点表存储到同类型的簇中 ,所述文件的元数据及所述目录的数据存 储到同类型的簇中， 所述文件的有效数据存储到同类型的簇中， 其中所述目录 的数据包括目录的元数据和目录的有效数据。
从以上技术方案可以看出， 本发明实施例具有以下优点： 按照数据的更新 频率， 将所述数据进行类型划分， 将存储空间划分为多个类型的簇， 多个类型 的簇划分为至少与所述数据的类型数量相同数量的类型，根据预置存储对应关 系， 将同类型的数据分别存储到同类型的簇中， 在每个簇中， 每更新一次数据 都会使得原数据成为垃圾数据， 在数据的更新频率快的簇中，在较短的时间形 成大块的垃圾数据的几率较高， 而相对的有效数据所占的比例较少， 所以系统 回收垃圾数据时， 读、 写的数据量较少， 同时在存储空间中形成大块空闲空间 的几率也较高， 进而能够降低垃圾回收的开销，也能够提高形成大块空闲空间 的几率。 附图说明
图 1为本发明实施例中的数据存储方法的一个实施例示意图；
图 2为本发明实施例中的数据存储方法的另一个实施例示意图； 图 3a为现有 cow技术中 B-树的节点位置示意图；
图 3b为图 3a中各节点的存储位置示意图；
图 4为图 3a中节点更新数据后的各类数据存储位置示意图；
图 5 为本发明实施例中节点更新数据后的新数据及垃圾数据存储位置示 意图；
图 6为现有 WAFL技术中文件及目录存储数据位置示意图；
图 7为本发明实施例中文件及目录存储数据位置示意图；
图 8为现有 WAFL技术中文件更新数据后各类数据存储位置示意图； 图 9为本发明实施例中文件更新数据后各类数据存储位置示意图； 图 10为本发明实施例中的数据存储装置的一个实施例示意图；
图 11为本发明实施例中的数据存储装置的另一个实施例示意图。
具体实施方式
本发明实施例提供了一种数据存储方法及装置， 用于降低垃圾回收的开 销， 提高存储空间中形成大块的空闲空间的几率。
本发明实施例中提供的数据存储方法，以在写时复制和日志结构两种存储 技术中的实施为例进行说明， 其中日志结构存储技术以写入任何文件布局
( WAFL , write-anywhere-file-layout )为例。
请参阅图 1 , 本发明实施例中的数据存储方法的一个实施例包括：
101、 按照数据的更新频率， 将数据进行类型划分；
在存储系统中，不同数据的更新频率会因为读写操作次数及内容的不同而 不同， 按照数据的更新频率， 将所述数据进行分类， 将更新频率相同或相近的 数据划分为同一类型。 如， 可将更新频率最快的数据划分为第一类， 将更新频 率最慢的数据划分为二类，将更新频率介于前两类更新频率之间的数据划分为 第三类。当然，也可以根据系统中对数据的读写情况划分为更多或更少的类别， 此处不作具体限定。
更新频率相近的数据的界定，可通过预先在系统中进行设置的方式具体界 定， 如可设置相近的更新频率的范围， 数据的更新频率在此范围内， 则认为数 据的更新频率相近， 可将这些数据划为同一类型的数据。
102、 将存储空间划分为多个类型的簇， 多个类型的簇划分为至少与数据 的类型数量相同数量的类型；
将存储空间划分为多个类型的簇，多个类型的簇划分为至少与数据的类型 数量相同数量的类型， 即， 簇的类型数量可以多于数据类型的数量， 也可以等 于数据类型的数量。 本发明实施例中的簇是存储空间中的子存储空间，可在系统的存储空间中 任意划定， 各簇大小可以不等， 并且同一类型的簇可以不止一个， 而是多个簇 的大小可根据系统的实际应用情况自定义设定， 可大可小， 设定方式灵活。
103、根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中。 将数据按照更新频率分类后，根据预置存储对应关系，将分类后的数据分 别存储到存储空间同类型的簇中，如步骤 101中的例子， 第一类数据存储到第 一类簇中，将第二类数据存储到第二类簇中，将第三类数据存储到第三类簇中， 以此类推。 同一类型的数据存储到同一类型的簇中。
在现有的存储系统中， 当存储的数据需要更新时，存储系统根据策略在空 闲空间的预置位置写入更新后的新数据， 则已经被更新的原数据成为垃圾数 据， 例如， 策略为在靠近原数据的地方写入， 则新数据的位置 （即预置位置） 靠近原数据的位置。 在本实施例中， 当存储的数据需要更新时， 存储系统根据 策略只能在需要更新的数据所在的同类型的簇中的预置位置写入更新后的新 数据，在该簇中已经被更新的原数据成为垃圾数据。 当到达系统预置的回收垃 圾数据的时间，或，一个簇中的垃圾数据所占用的空间达到系统预置的阀值时， 系统回收垃圾数据所占用的空间。如上例， 由于存储在第一类簇中的第一类数 据更新频率最快， 容易在较短的时间形成大块的垃圾数据， 这样， 当系统回收 垃圾数据时， 在第一类簇中容易形成对应的大块的空闲空间。 本发明实施例中， 按照数据的更新频率， 将数据进行类型划分， 将存储空 间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数据的类型数量 相同数量的类型，根据预置存储对应关系，将同类型的数据分别存储到同类型 的簇中， 在每个簇中， 每更新一次数据都会使得原数据成为垃圾数据， 在数据 的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高， 而相对 的有效数据所占的比例较少， 所以系统回收垃圾数据时， 读、 写的有效数据量 较少， 同时存储空间中形成大块空闲空间的几率较高， 因此， 按照数据的更新 频率将所述数据进行分类， 并将同一类型的数据存储到同一类型簇中， 能够降 低垃圾回收的开销， 也能够提高形成大块空闲空间的几率。
下面以另一实施例详细说明本发明实施例中的数据存储方法， 请参阅图 2 , 本 发明实施例中的数据存储方法的另一个实施例包括： 201、 按照数据所属节点在节点树中的层次位置将数据进行分类， 或者， 按照数据的记录类型将数据进行分类；
本实施例中， 在 cow技术中的存储方式， 按照数据所属节点在节点树中 的位置将数据进行类型划分与数据的更新频率相关 ,可以按照数据所属节点在 节点树中的位置将数据进行分类，将在节点树中位于同一层次的节点的数据划 分为同一类型。在 log-structured技术中的存储方式，按照数据的记录类型将所 述数据进行类型划分与数据的更新频率相关，按照数据的记录类型将数据进行 分类， 可以将数据分为索引节点表、 文件的元数据和目录的数据、 一般文件的 有效数据。
202、 将存储空间划分为多个类型的簇， 多个类型的簇划分为至少与数据 的类型数量相同数量的类型；
将存储空间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数 据的类型数量相同数量的类型， 即， 簇的类型数量可以多于数据类型的数量， 也可以等于数据类型的数量。
本发明实施例中的簇是存储空间中的子存储空间，可在系统的存储空间中 任意划定， 各簇大小可以不等， 并且同一类型的簇可以不止一个， 而是多个簇 的大小可根据系统的实际应用情况自定义设定， 可大可小， 设定方式灵活。
203、根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中。 下面举例说明本发明实施例中的数据存储方法，根据存储技术的不同分为 以下两种方式。
一、 以 cow技术中的 B-树为例， 请参阅图 3a, 在 B-树中存在节点 A、 B、 C、 D、 E、 F, 则各节点的存储位置为图 3b, 需要说明的是， 各节点的位置不 限于图 3b中所示具体存储位置， 图 3b中节点所在存储位置只是一个例子。那 么， 当节点 A、 B、 C中存储的数据发生更新时， 系统将更新后的新数据写入 空闲空间的预置位置之后形成节点 A'、 B'、 C , 则被更新的原数据已经成为 垃圾数据， 即节点 A、 B、 C的存储空间被垃圾数据占用而成为不可用空间。 其中， 更新后的新数据写入的空闲空间的预置位置为依据策略写入的， 此处为 现有技术不做限定， 例如， 策略为在靠近原数据的地方写入， 则新数据的位置 (即预置位置）靠近原数据的位置。 如图 4所示， 图中做了阴影的节点中存储 的是垃圾数据。 进一步地， 由图 3可知， 节点 A为根节点， 在节点树中单独为一个层次， 节点 B、 C在节点树中位于同一层次， 节点 D、 E、 F在节点树中位于同一层 次。 那么， 根据各节点在节点树中的层次位置， 将节点 A 中存储的数据单独 划分为一类， 将节点 B、 C中存储的数据划分为同一类， 将节点 D、 E、 F中 存储的数据划分为同一类。 为便于描述， 以每一类簇中只有一个簇为例， 请参 阅图 5, 将节点 A中的数据单独存储于一个簇中， 将节点 B、 C中的数据存储 于同一个簇中， 将节点 D、 E、 F中的数据存储于同一个簇中。 那么， 当节点 A、 B、 C 中存储的数据发生更新时， 系统在将更新后的新数据写入预先划分 的各簇中， 则被更新的原数据已经成为垃圾数据， 即节点 A、 B、 C的存储空 间被垃圾数据占用而成为不可用空间，图 5中做了阴影的节点中存储的是垃圾 数据， 其余节点中存储的是有效数据。 由于节点 A为根节点， 节点树任何一 条分支的节点数据更新， 根节点都会一同更新， 则节点 A 中存储的数据更新 的次数最多，更新频率最快，每更新一次都会使得原数据成为垃圾数据，那么， 节点 A所在簇在较短的时间形成大块的垃圾数据的几率较高， 这样， 当系统 回收垃圾数据时， 节点 A所在簇中形成对应的大块的空闲空间几率也较高。 相反的， 由于节点树的叶子节点更新的可能性相对较小， 更新频率最慢， 每更 新一次都会使得原数据成为垃圾数据， 那么， 节点 D、 E、 F所在簇在较短的 时间形成大块的垃圾数据的几率较低，这样， 当系统回收垃圾数据时，节点 D、 E、 F所在簇中形成对应的大块的空闲空间几率也较低。
二、 以 log-structured技术中的 WAFL技术为例， 在系统中创建目录 dirl 和 dir2, 在目录 dirl下创建文件 filel , 在目录 dir2下创建文件 file2, 以上创 建的目录 dirl、 目录 dir2、 文件 filel、 文件 file2都以文件的形式进行存储。 文件包括元数据和一般数据两部分，其中，元数据用于记录目录 dirl、目录 dir2、 文件 filel、 文件 file2的属性、 数据大小、 数据存储位置等， 一般数据为目录 dirl , 目录 dir2、 文件 filel、 文件 file2的实际内容。 元数据一般用索引节点记 录来表示， 目录下的有效数据记录目录项和子目录和文件之间的映射关系。
本实施例中， 索引节点表（ inode map ) 为元数据, 用于" i己录索引节点的 存储位置的信息；
目录索引节点 （inode ), 用于存储目录的元数据；
文件索引节点（inode ), 用于存储文件的元数据， 文件的元数据用于记录 文件大小、 数据块位置信息等表示文件性质的数据。
具体请参阅图 6, 在文件 filel、 文件 file2、 目录 dirl及目录 dir2的数据 中均包括有效数据和元数据。
inode map为元数据， 反映全局目录索引节点和文件索引节点存储位置的 信息， 更新频率最快， 单独划分为一类； 文件的元数据和目录的数据的更新较 为频繁， 更新频率接近， 因此， 将文件的元数据和目录的数据划分为一类， 文 件的有效数据更新频率最慢，单独划分为一类， 其中目录的数据包括目录的元 数据和目录的有效数据。 在存储空间中划分出与数据类型对应的多个类型的 簇， 每个类型的簇可以为一个， 也可以为多个， 存储空间还可以全部按照数据 类型的数量， 划分为对应数量的多个类型的簇，将上述三类数据分别存储于预 先划分的各簇中， 则图 6 中各目录的数据及各文件的数据的存储位置如图 7 所示。
当在目录 dirl下的文件 filel中发生数据更新时，写入新数据， 同时， filel 中的元数据相应更新， inode map 也相应更新， 那么， filel中被更新的原有效 数据产生垃圾数据， 该垃圾数据的存储位置及更新后的 filel中元数据、 inode ma 元数据的位置如图 8所示。
本实施例中， 当在目录 dirl下的文件 filel发生数据更新时， 存储的 filel 元数据也相应更新， 则被更新的 filel 的原数据成为垃圾数据， 该垃圾数据的 存储位置及更新后的元数据位置如图 9所示。 为便于描述， 以每一类簇中只有 一个簇为例， 文件的有效数据存储于第一类簇中， 即 filel的有效数据和 file2 的有效数据存储在第一类簇中， 元数据和目录的有效数据存储于第二类簇中， 即 filel下的元数据和 file2下的元数据， dirl下的元数据和 dir2下的元数据和 dirl下的有效数据和 dir2下的有效数据存储于第二类簇中， inode map存储于 第三类簇中。 在每个簇中， 每更新一次数据都会使得原数据成为垃圾数据， 在 数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高， 而 相对的有效数据所占的比例较少， 所以系统回收垃圾数据时， 读、 写的有效数 据量较少， 同时存储空间中形成大块空闲空间的几率较高， 因此， 按照数据的 更新频率将所述数据进行分类， 并将同一类型的数据存储到同一类型簇中， 能 够降低垃圾回收的开销， 也能够提高形成大块空闲空间的几率。
下面介绍本发明实施例中的数据存储装置， 请参阅图 10 , 本发明实施例 中的数据存储装置的一个实施例包括：
划分单元 301 , 用于按照数据的更新频率， 将所述数据进行类型划分； 所述划分单元 301 , 还用于将存储空间划分为多个簇， 所述多个簇划分为 与所述数据的类型数量相同数量的类型；
存储单元 302 , 用于根据预置存储对应关系， 将同类型的数据分别存储到 同类型的簇中。
本实施例中各功能单元实现各自功能的过程，与前述图 1所示实施例描述 的数据存储方法相同， 此处不再赘述。
本发明实施例中， 划分单元 301按照数据的更新频率，将所述数据进行类 型划分， 划分单元 301将存储空间划分为多个类型的簇， 所述多个类型的簇划 分为至少与所述数据的类型数量相同数量的类型，存储单元 302根据预置存储 对应关系， 将同类型的数据分别存储到同类型的簇中， 在每个簇中， 每更新一 次数据都会使得原数据成为垃圾数据， 在数据的更新频率快的簇中，在较短的 时间形成大块的垃圾数据的几率较高， 而相对的有效数据所占的比例较少， 所 以系统回收垃圾数据时， 读、 写的有效数据量较少， 同时存储空间中形成大块 空闲空间的几率较高， 因此， 按照数据的更新频率将所述数据进行分类， 并将 同一类型的数据存储到同一类型簇中， 能够降低垃圾回收的开销，也能够提高 形成大块空闲空间的几率。
下面以另一实施例详细描述本发明实施例中的数据存储装置， 请参阅图 11 , 本发明实施例中的数据存储装置的另一个实施例包括：
划分单元 401 , 用于按照数据的更新频率， 将所述数据进行类型划分； 所述划分单元 401 , 还用于将存储空间划分为多个簇， 所述多个簇划分为 与所述数据的类型数量相同数量的类型；
存储单元 402 , 用于根据预置存储对应关系， 将同类型的数据分别存储到 同类型的簇中。
所述划分单元 401 , 具体用于按照数据所属节点在节点树中的位置将数据 进行类型划分， 或者， 按照数据的记录类型将所述数据进行类型划分；
进一步地， 所述存储单元 402, 还用于将在节点树中位于同一层的节点的 数据存储到存储空间的同一类型簇中；
更进一步地， 所述存储单元 402 , 还用于将索引节点表、 文件的元数据及 目录的数据、 文件的有效数据分别存储到对应类型的簇中， 其中， 索引节点表 存储到同类型的簇中， 文件的元数据及目录的数据存储到同类型的簇中， 文件 的有效数据存储到同类型的簇中，目录的数据包括目录的元数据和目录的有效 数据， 索引节点表为元数据。
本实施例中各功能单元实现各自功能的过程， 与前述图 1、 图 2所示实施 例描述的数据存储方法相同， 此处不再赘述。
本发明实施例中， 划分单元 401按照数据的更新频率，将所述数据进行类 型划分， 划分单元 401将存储空间划分为多个类型的簇， 所述多个类型的簇划 分为至少与所述数据的类型数量相同数量的类型，具体按照数据所属节点在节 点树中的位置将数据进行类型划分， 或者，按照数据的记录类型将所述数据进 行类型划分，存储单元 402根据预置存储对应关系，将同类型的数据分别存储 到同类型的簇中，存储单元 402将在节点树中位于同一层的节点的数据存储到 存储空间的同一类型簇中，存储单元 402也可以将索引节点表、文件的元数据 及目录的数据、 文件的有效数据分别存储到对应类型的簇中， 其中， 索引节点 表存储到同类型的簇中， 文件的元数据及目录的数据存储到同类型的簇中， 文 件的有效数据存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原 数据成为垃圾数据，在数据的更新频率快的簇中， 在较短的时间形成大块的垃 圾数据的几率较高， 而相对的有效数据所占的比例较少， 所以系统回收垃圾数 据时， 读、 写的有效数据量较少， 同时存储空间中形成大块空闲空间的几率较 高， 进而能够降低垃圾回收的开销， 也能够提高形成大块空闲空间的几率。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可 以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存 储介质中， 上述提到的存储介质可以是只读存储器， 磁盘或光盘等。 以上对本发明所提供的一种数据存储方法及装置进行了详细介绍，对于本 领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均 会有改变之处， 综上所述， 本说明书内容不应理解为对本发明的限制。

Claims

权 利 要 求
1、 一种数据存储方法， 其特征在于， 包括：
按照数据的更新频率， 将所述数据进行类型划分；
将存储空间划分为多个类型的簇，所述多个类型的簇划分为至少与所述数 据的类型数量相同数量的类型；
根据预置存储对应关系， 将同类型的数据分别存储到同类型的簇中。
2、 根据权利要求 1所述的方法， 其特征在于， 所述按照数据的更新频率， 将所述数据进行类型划分具体包括：
按照数据所属节点在节点树中的位置将所述数据进行类型划分， 或者，按 照数据的记录类型将所述数据进行类型划分。
3、 根据权利要求 2所述的方法， 其特征在于， 所述根据预置存储对应关 系， 将同类型的数据分别存储到同类型的簇中包括：
将在节点树中位于同一层的节点的数据存储到存储空间的同一类型簇中。
4、 根据权利要求 2所述的方法， 其特征在于， 所述根据预置存储对应关 系， 将同类型的数据分别存储到同类型的簇中包括：
将索引节点表、文件的元数据及目录的数据、文件的有效数据分别存储到 对应类型的簇中， 其中， 所述索引节点表存储到同类型的簇中， 所述文件的元 数据和所述目录的数据存储到同类型的簇中， 所述文件存储到同类型的簇中， 其中所述目录的数据包括目录的元数据和目录的有效数据。
5、 一种数据存储装置， 其特征在于， 包括：
划分单元， 用于按照数据的更新频率， 将所述数据进行类型划分； 所述划分单元，还用于将存储空间划分为多个簇， 所述多个簇划分为与所 述数据的类型数量相同数量的类型；
存储单元， 用于根据预置存储对应关系，将同类型的数据分别存储到同类 型的簇中。
6、 根据权利要求 5所述的装置， 其特征在于，
所述划分单元，具体用于按照数据所属节点在节点树中的位置将所述数据 进行类型划分， 或者， 按照数据的记录类型将所述数据进行类型划分。
7、 根据权利要求 6所述的装置， 其特征在于，
所述存储单元，还用于将在节点树中位于同一层的节点的数据存储到存储 空间的同一类型簇中。
8、 根据权利要求 6所述的装置， 其特征在于，
所述存储单元， 还用于将索引节点表、 文件的元数据及目录的数据、 文件的有 效数据分别存储到对应类型的簇中， 其中， 所述索引节点表存储到同类型的簇 中， 所述文件的元数据及所述目录的数据存储到同类型的簇中， 所述文件的有 效数据存储到同类型的簇中，其中所述目录的数据包括目录的元数据和目录的 有效数据。
PCT/CN2014/081330 2013-07-18 2014-07-01 一种数据存储方法及装置 WO2015007155A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310302791.9 2013-07-18
CN201310302791.9A CN104298681B (zh) 2013-07-18 2013-07-18 一种数据存储方法及装置

Publications (1)

Publication Number Publication Date
WO2015007155A1 true WO2015007155A1 (zh) 2015-01-22

Family

ID=52318409

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/081330 WO2015007155A1 (zh) 2013-07-18 2014-07-01 一种数据存储方法及装置

Country Status (2)

Country Link
CN (1) CN104298681B (zh)
WO (1) WO2015007155A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326133B (zh) * 2015-06-29 2020-06-16 华为技术有限公司 存储系统、存储管理装置、存储器、混合存储装置及存储管理方法
JP2017027388A (ja) 2015-07-23 2017-02-02 株式会社東芝 メモリシステムおよび不揮発性メモリの制御方法
CN106572127B (zh) * 2015-10-08 2020-05-12 阿里巴巴集团控股有限公司 一种数据传输方法及装置
CN105223405B (zh) * 2015-10-23 2017-12-05 上海理工大学 电池管理系统的数据存储频率的确定方法
CN105843939B (zh) * 2016-03-31 2020-07-03 北京经纬恒润科技有限公司 一种数据存储方法及装置
CN106406756B (zh) * 2016-09-05 2019-07-09 华为技术有限公司 一种文件系统的空间分配方法及装置
CN108279975B (zh) * 2017-12-11 2022-01-14 努比亚技术有限公司 一种内存控制方法、移动终端、数据交互方法及服务器
KR20200027858A (ko) * 2018-09-05 2020-03-13 에스케이하이닉스 주식회사 메모리 컨트롤러 및 이를 포함하는 메모리 시스템
CN110555001B (zh) * 2019-09-05 2021-05-28 腾讯科技（深圳）有限公司 数据处理方法、装置、终端及介质
CN111241097B (zh) * 2020-01-08 2024-03-12 北京小米松果电子有限公司 处理对象的方法、处理对象的装置及存储介质
CN112084250A (zh) * 2020-09-15 2020-12-15 深圳市宝能投资集团有限公司 数据存储方法、数据查询方法和电子设备
CN113934373A (zh) * 2021-10-13 2022-01-14 山东鲁软数字科技有限公司 一种能源监测数据存储方法及系统
CN114281899B (zh) * 2021-12-28 2022-06-07 浙江汇鼎华链科技有限公司 基于网络大数据的用户数据分布式云存储方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020103975A1 (en) * 2001-01-26 2002-08-01 Dawkins William Price System and method for time weighted access frequency based caching for memory controllers
CN102184229A (zh) * 2011-05-11 2011-09-14 中国科学院软件研究所 一种海量rfid标签信息的内存数据存储方法
CN102473399A (zh) * 2010-06-03 2012-05-23 松下电器产业株式会社 显示控制装置、显示控制方法、显示控制程序及集成电路

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101315628B (zh) * 2007-06-01 2011-01-05 华为技术有限公司 内存数据库系统及实现内存数据库的方法和装置
CN102779180B (zh) * 2012-06-29 2015-09-09 华为技术有限公司 数据存储系统的操作处理方法,数据存储系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020103975A1 (en) * 2001-01-26 2002-08-01 Dawkins William Price System and method for time weighted access frequency based caching for memory controllers
CN102473399A (zh) * 2010-06-03 2012-05-23 松下电器产业株式会社 显示控制装置、显示控制方法、显示控制程序及集成电路
CN102184229A (zh) * 2011-05-11 2011-09-14 中国科学院软件研究所 一种海量rfid标签信息的内存数据存储方法

Also Published As

Publication number Publication date
CN104298681B (zh) 2018-06-19
CN104298681A (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
WO2015007155A1 (zh) 一种数据存储方法及装置
US9043540B2 (en) Systems and methods for tracking block ownership
EP2735978B1 (en) Storage system and management method used for metadata of cluster file system
US8983967B2 (en) Data storage system having mutable objects incorporating time
US9311252B2 (en) Hierarchical storage for LSM-based NoSQL stores
US9542409B2 (en) Deduplicated file system
US8924664B2 (en) Logical object deletion
CN107180092B (zh) 一种文件系统的控制方法、装置及终端
US20140019680A1 (en) Data storage system, method of writing to storage in the data storage system, hard disk and method of forming the hard disk
CN103544045A (zh) 一种基于hdfs的虚拟机镜像存储系统及其构建方法
US11210319B2 (en) Replication progress for UPIT snapshots
US11334523B2 (en) Finding storage objects of a snapshot group pointing to a logical page in a logical address space of a storage system
CN104054071A (zh) 访问存储设备的方法和存储设备
CN113535670B (zh) 一种虚拟化资源镜像存储系统及其实现方法
US20220398220A1 (en) Systems and methods for physical capacity estimation of logical space units
US11232043B2 (en) Mapping virtual block addresses to portions of a logical address space that point to the virtual block addresses
WO2023143596A1 (zh) 存储方法、存储管理设备、存储盘和存储系统
US11860840B2 (en) Update of deduplication fingerprint index in a cache memory
EP3436973A1 (en) File system support for file-level ghosting
WO2022262381A1 (zh) 一种数据压缩方法及装置
US11899625B2 (en) Systems and methods for replication time estimation in a data deduplication system
CN109478181A (zh) 用于使得能够修改文件系统卷内的多个数据对象的系统和方法
CN103559260B (zh) 基于ramdisk文件系统的i节点表的动态调整方法
CN115904263B (zh) 一种数据迁移方法、系统、设备及计算机可读存储介质
CN117076413B (zh) 一种支持多协议互通的对象多版本存储系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14826616

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14826616

Country of ref document: EP

Kind code of ref document: A1