WO2014019145A1

WO2014019145A1 - 一种元数据的处理方法和装置

Info

Publication number: WO2014019145A1
Application number: PCT/CN2012/079443
Authority: WO
Inventors: 何静波
Original assignee: 华为技术有限公司
Priority date: 2012-07-31
Filing date: 2012-07-31
Publication date: 2014-02-06
Also published as: CN103210389A; CN103210389B

Abstract

本发明实施例提供一种元数据的处理方法，涉及数据处理技术领域，能够提高元数据的写入效率。所述方法包括：获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目；当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；否则，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。本发明实施例还提供相应的装置。

Description

一种元数据的处理方法和装置技术领域

本发明涉及数据处理技术领域，尤其涉及一种元数据的处理方法和装置。

背景技术

计算机存储系统处理的数据包括两类：一类是用户使用的数据，即数据内容；另一类是存储系统用于管理数据的数据，即元数据。

当对一个元数据进行操作时，需要在存储介质上存储该操作后的元数据。例如，当对一个元数据进行修改时，可以直接在存储介质上存储该元数据的地址上用修改后的元数据覆盖原来的元数据。但是这样操作会导致大量不必要的磁盘 I /O (I nput /Out put , 输入 /输出），最终会导致降低元数据写入效率。

发明内容

本发明实施例提供一种元数据的处理方法和装置，能够提高元数据的写入效率。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明的一方面，提供一种元数据的处理方法，所述方法包括：获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目；

当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；

当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。

本发明另一方面，提供一种服务器，所述服务器包括：处理单元，用于获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时用于获取有效元数据数目；

存储单元，用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；

或者，

所述存储单元，用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。

采用上述技术方案后，本发明实施例提供的元数据的处理方法和装置，一方面，由于在磁盘访问中，将元数据操作在目录文件地址连续地存储，另一方面，只需要将有效元数据以添加操作的方式将有效元数据的添加操作存储到目录文件，不会导致大量不必要的磁盘 I /O。结合上述两个方面，可以提高元数据的写入效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图 1为本发明实施例提供的一种元数据的处理方法的流程图；图 2为本发明实施例提供的元数据处理的示意图；

图 3为本发明实施例提供的元数据处理的示意图；

图 4为本发明实施例提供的服务器的一结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

图 1是本发明实施例提供的一种元数据的处理方法的流程图。参照图 1 , 本发明实施例提供一种元数据的处理方法，所述方法包括：

1 1、获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目。

生成元数据操作时，会将该元数据操作存储到目录文件中。本发明实施例中，元数据操作在目录文件的地址上连续存储。当生成元数据操作，尚未存储到目录文件时，获取目录文件中已经存储的元数据操作的数目和该已经生成但尚未存储到目录文件中的元数据操作数目之和。

所述 "有效元数据"在本发明实施例中是指，一个元数据经过元数据操作之后仍有实际意义的元数据。例如，元数据 Ml在经过被修改为 ΜΓ 操作之后的有效元数据为 ΜΓ 。元数据 Ml、 M2 , 在经过删除 Ml 操作之后，在目录文件中存储元数据 Ml删除操作，即 "删除 ΜΓ " ，则元数据 Ml、 M2经过删除 Ml操作后有效元数据为 M2 , 当读取元数据时，根据元数据操作记录，认为该元数据已经删除。

所述元数据操作至少包括元数据添加操作、元数据修改操作或元数据删除操作中的一种。

本发明实施例以及后面的方法、装置实施例中提供的目录文件用来存储元数据操作，根据目录文件存储的元数据操作，可以解析出对应的元数据。

12、当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作。

在本发明实施例中，所述 "设定的阈值" 可根据需要进行设定，例如为 200%、 150%等，本发明对此不作限定。

1 3、当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。

进一步地，所述将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储具体包括：

将所述尚未存储到所述目录文件的元数据操作按照操作时序以追加写的方式在所述目录文件的地址上连续存储。

本发明实施中按照元数据操作时序是指按照元数据操作结果发生的先后顺序。

以追加写的方式在目录文件的地址上连续存储是指在目录文件当前存储的最后一个元数据操作的地址的下一个地址上连续存储元数据操作。

所述元数据操作可包括元数据添加操作、元数据修改操作和元数据删除操作。其中，元数据添加操作时，在目录文件中存储一个新的元数据添加操作，并将添加的元数据写入目录文件；元数据修改操作时，在目录文件中存储一个元数据修改操作，并将修改后的元数据写入目录文件；删除一个元数据时，在目录文件中存储一个元数据删除操作。

本发明实施例提供的元数据的处理方法，一方面，由于在磁盘访问中，元数据操作是地址连续的存储到目录文件的；另一方面，只需要以添加操作的方式将有效元数据的添加操作存储到目录文件，不会导致大量不必要的磁盘 I /O。结合上述两个方面，可以提高元数据的写入效率。

下面结合图 2至图 3对本发明实施例进行进一步说明。

首先参照图 2 , 图 2中的 M0、 Ml、 M2、 M3和 M4表示元数据，由图 2可知，首先，在目录文件存储了添加元数据 M0的操作，即 "添加 M0" , 然后在存储添加元数据 MG 的操作的下一个地址存储添加元数据 Ml 操作，同理依次存储了添加元数据 M2、 M3、 M4操作。修改元数据 M 3时，并不直接在元数据 M3 的位置将其修改成 M3，，而是在存储添加元数据 M4操作之后的下一个地址存储将元数据 M 3修改成 M3，的元数据修改操作，即 "修改 M 3， " 。删除元数据 M2时，在存储 "修改 M3， " 的下一个地址存储删除元数据 M2操作，即 "删除 M2 " 。添加元数据 M5时，在存储 "删除 M2 " 地址的下一个地址存储添加元数据 M5操作，即存储 "添加 M5 " 。后续执行多个元数据操作：修改 Ml、 M3、 M4时，同理，在操作添加 M5之后的连续三个地址执行写内容，存储相应的元数据操作，即存储将 Ml修改成 ΜΓ 、将 M3，修改成 M3 "和将 M4修改为 M4，的操作，分别表示为 "修改 ΜΓ " 、 "修改 M3 " " 和 "修改 M4， " 。以上描述的元数据操作在目录文件中都是以元数据操作发生的先后时序依次在目录文件的地址上连续存储的。

在图 2所示过程中，获取目录文件存储的元数据操作的数目和尚未存储到该目录文件的元数据操作的数目之和，同时获取有效元数据数目，所述 "有效元数据" 在本发明实施例中是指，一个元数据经过元数据操作之后仍有实际意义的元数据。在本发明实施例当中，元数据 M0 添加之后没有发生任何操作，则 M0为有效元数据；元数据 Ml添加后，又修改为 ΜΓ ，则其最终有效的元数据为 ΜΓ ；元数据 M2添加后又经过删除操作，因此不再是有效的元数据，同时， M3 "、 M4，和 M5 为有效的元数据。当该目录文件存储的元数据操作的数目和尚未存储到该目录文件的元数据操作的数目之和与有效元数据数目的比例超过设定的阈值时，删除该目录文件存储的元数据操作，在该目录文件的地址上连续存储有效元数据的添加操作。在图 2中，设定的阈值举例而言为 200%，在执行多个元数据操作：修改 Ml、 M3、 M4、删除 M2、添加 M5后，存储的元数据操作的数目为 1 1 , 其中已经存储到目录文件中的元数据操作记录数为 8 , 经过一次 I /O操作，尚未存储到目录文件的元数据操作数目为 3 , 有效元数据数目为 5 , 满足目录文件存储的元数据操作数目和尚未存储到目录文件的元数据操作数目之和与有效元数据数目的比例超过设定的阈值 2 00% , 此时，删除该目录文件存储的所有元数据操作，将有效元数据的添加操作存储到该目录文件。具体到本发明实施例，将目录文件中存储的操作记录 "添加 M0" 、 "添加 Ml " 、 "添加 M2 " 、 "添力口 M3" 、 "添力口 M4 " 、 "爹改 M3， " 、 "删除 M2， " 、 "添加 M5 " 、 "修改 ΜΓ " 、 "修改 M 3 "" 和 "修改 M4， " 全部删除，将有效元数据存储到目录文件。具体地可将有效的元数据操作以添加方式存储到该目录文件中，即将元数据操作： "添加 M0" 、 "添加 ΜΓ " 、 "添力口 M3，，，，、 "添力口 M4， " 、 "添力口 M5 " 存储目录文件。

存储有效元数据添加操作后，即可进行读取操作。在读元数据时，以有效元数据操作在目录文件中的位置为顺序依次解析所有的元数据操作，恢复出所有有效的元数据。具体过程如下：

按顺序读，每次读的操作和读完该条记录的结果是：

1、添力口 M0 M0 2、添力口 ΜΓ M0、 ΜΓ

3、添力口 M3" M0、 ΜΓ 、 Μ3"

4、添力口 M4 ' M0、 ΜΓ 、 Μ3'\

5、添力口 M5 M0、 ΜΓ 、 Μ3'\ Μ4 ' 、 Μ5

后续过程可依此类推。

如图 2所示，当进行添加元数据 Μ5操作之后，即在目录文件存储 "删除 Μ2 " 的下一个地址存储 "添加 Μ5" 操作后，存储目录文件的服务器发生重启或者其他操作时，此时没有尚未存储的元数据操作，虽然元数据操作的数目与根据该目录文件存储的元数据操作获取的有效元数据数目的比例没有达到上述实施例设定的 200% , 但是需要解析出元数据。因此，需要根据目录文件存储的元数据操作记录解析出元数据，即以元数据操作在目录文件中的位置为顺序依次解析所有的元数据操作，后面的元数据操作会覆盖前面该元数据操作，恢复出所有有效的元数据。具体过程如下：

按顺序读，每次读的操作和读完该条记录的结果是：

1、添力口 Μ0 M0

2、添力口 Ml M0、 Ml

3、添力口 M2 M0、 Ml、 M2

4、添力口 M3 M0、 Ml、 M2、 M3

5、添力口 M4 M0、 Ml、 M2、 M3、

6、修改 M3， , 覆盖 M3 M0、 Ml

7、删除 M2 , 删除 M2对应的元数据 Μ0、 Μ1、 Μ3 ' 、 Μ4

8、添力口 Μ5 Μ0、 Μ1、 Μ3 ' 、 Μ4、 Μ5。

采用本发明提供的元数据处理方法后，一方面，将元数据操作在目录文件地址连续地存储，另一方面，只需要存储有效元数据的添加操作 , 不会导致大量不必要的磁盘 I /O。结合上述两个方面，可以提高元数据的写入效率。

下面参照图 3 , 由图 3可知，在第一次磁盘访问中，通过以追加写的方式地址连续地存储元数据操作到目录文件，执行三个元数据操作：修改 Ml、 Μ3 , 删除 Μ4 , 并且在目录文件存储 "添力。 Μη" 操作的下一个地址连续存储 "修改 Ml " 、 "修改 M3" 和 "删除 M4" 操作。在第二次磁盘访问中，修改 M0、 M2 , 添力。 Mn+1 , 通过以追加写的方式在目录文件中地址连续地存储元数据操作，即在目录文件存储 "删除 M4 " 操作的下一个地址连续存储 "修改 M0" 、 "修改 M2 "和 "添加 Μη+Γ，操作。。其中，在第一次磁盘访问中，写了三个元数据，寻址 1次；在第二次磁盘访问中，写了三个元数据，寻址 1次。相比于现有元数据的处理方法，大大提高了元数据的写速度。

可见，采用本发明实施例的方案后，将元数据通过修改或者删除而固化到存储介质中时，不会导致大量的不连续写操作，同时也不会导致大量不必要的磁盘 I /O , 提高了元数据写的效率。

与上述方法实施例相对应，参照图 4 , 本发明实施例还提供一种服务器 40 , 所述服务器 40可包括：

处理单元 41 , 用于获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时用于获取有效元数据数目。

所述 "有效元数据"在本发明实施例中是指，一个元数据经过元数据操作之后仍有实际意义的元数据。例如，元数据 Ml在经过被修改为 ΜΓ 操作之后的有效元数据为 ΜΓ 。元数据 Ml、 M2 , 在经过删除 Ml 操作之后，记为 ΜΓ ，则元数据 Ml、 M2经过删除 Ml操作后有效元数据为 M2。

存储单元 42 , 用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例超过设定的阈值时，删除该目录文件存储的元数据操作，在该目录文件的地址上连续存储该有效元数据的添加操作；

或者，

存储单元 42 , 用于当该目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将该尚未存储到所述目录文件的元数据操作按照操作时序在该目录文件的地址上连续存储。

本发明实施例中的元数据操作至少包括元数据添加操作、元数据修改操作或元数据删除操作中的一种。

本发明实施例提供的服务器，一方面，将元数据操作在目录文件地址连续地存储，另一方面，只需要存储有效元数据的添加操作，不会导致大量不必要的磁盘 I /O。结合上述两个方面，可以提高元数据的写入效率。

在一个实施例中提供的服务器，其存储单元 42可具体用于：当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将该尚未存储到该目录文件的元数据操作按照操作时序以追加写的方式在所述目录文件的地址上连续存储。

这样保证在存储元数据操作时访问目录文件地址的连续性，减少寻址时间。

将有效元数据的添加操作存储到所述目录文件。从而在有效元数据添加操作存储后，即可进行读取操作。在读有效元数据添加操作时，以元数据操作在目录文件中的位置为顺序依次解析所有的元数据操作恢复出所有有效的元数据。

服务器实施例与本文中所述元数据处理方法相对应，且前面实施例已对元数据处理方法进行了详细描述，因而相关内容可参照前面方法实施例，在此不作贅述。

值得注意的是，上述服务器实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

此外，本发明实施例还提供一种分布式文件系统，所述分布式文件系统中包含有上面任一实施例所述的服务器 40。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，所述存储介质可以是只读存储器、磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

权利要求书

1、一种元数据的处理方法，其特征在于，所述方法包括：

获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目；

2、根据权利要求 1所述的方法，其特征在于，

所述将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储具体包括：

3、根据权利要求 1所述的方法，其特征在于，所述元数据操作至少包括元数据添加操作、元数据修改操作或元数据删除操作中的一种。

4、一种服务器，其特征在于，包括：

处理单元，用于获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时用于获取有效元数据数目；

或者，

5、根据权利要求 4所述的服务器，其特征在于，所述存储单元，具体用于：

当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序以追加写的方式在所述目录文件的地址上连续存储。

6、根据权利要求 4所述的服务器，其特征在于，所述元数据操作至少包括元数据添加操作、元数据修改操作或元数据删除操作中的一种。