WO2015100627A1

WO2015100627A1 - 一种分布式文件存储系统中的数据处理方法及设备

Info

Publication number: WO2015100627A1
Application number: PCT/CN2013/091143
Authority: WO
Inventors: 郭洪星
Original assignee: 华为技术有限公司
Priority date: 2013-12-31
Filing date: 2013-12-31
Publication date: 2015-07-09
Also published as: CN104272274A; US10127233B2; AU2013409624A1; EP2933733A4; US20150324371A1; CN104272274B; JP2016510148A; AU2013409624B2; JP6106901B2; EP2933733A1; CA2897129A1; CA2897129C

Abstract

　本发明涉及一种分布式文件存储系统中的数据处理方法及设备30，包括客户端代理30接收用户的数据处理请求，数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；客户端代理30根据数据处理请求中携带的文件标识获得冗余配比信息，冗余配比信息包括所述分布式文件存储系统的数据条带块的数量N和所述分布式文件存储系统的校验条带块的数量M；根据数据处理请求中携带的偏移地址和长度信息确定所述目标文件的有效条带块的数量DSC；根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块的数量N'；根据所述实际条带块的数量N'确定对应的条带块并进行处理。通过根据待处理文件的大小，动态调整目标文件条带化处理时生成的实际条带块的数量，这样既能保证在任何情况下都可以获取到正确的目标文件，还可以减少分布式文件存储系统10中的空条带块的个数，这样可以小文件场景下节省大量的网络读写I/O与磁盘读写I/O，提高分布式存储系统10的性能。

Description

一种分布式文件存储系统中的数据处理方法及设备技术领域

本发明涉及存储技术领域，尤其涉及一种分布式文件存储系统中的数据处理方法及设备。背景技术

随着计算机技术、网络技术的发展及人类生活的信息化，用户对存储系统存储容量的需求越来越大，对存储系统性能的要求也越来越高。存储系统亦由计算机自带存储器发展到存储阵列、网络附加存储（Network Attached Storage, NAS )等独立存储系统，再到大型的分布式文件存储系统。随着数字化程度的提高，存储对象也从结构化的数据为主转变为以图片、微视频等非结构化的文件数据为主。这样就对存储系统中文件数据的访问性能提出了更高的要求，提高大型的分布式文件存储系统的访问性能成为当前存储领域的首要任务。

在分布式文件存储系统中包含有多个存储服务器，多个存储服务器之间通过低延迟、高吞吐量的网络（例如 IB网络、 10G以太网）互连形成集群，构成一个大型的网络 RAID ( Redundant Array of Inexpensive Disks，独立冗余磁盘阵列），同时所有存储服务器同时对外提供数据读写服务。文件数据存储到分布式文件存储系统中时，利用跨节点的 RAID算法（例如 RAID5、 RAID6或者 RAIDZ) ，或前向纠错码（Erasure Code) 算法等算法把文件数据条带化（Stripe) ，即将文件数据切分为多个数据条带块（Strip ) ，并生成相应的校验条带块，然后将数据条带块和校验条带块存储到相应节点的存储服务器上。当读取存储的文件数据时，从存储服务器节点中读取一定数量的数据条带块和校验条带块后构造出用户需要读取的原始文件数据。随着分布式文件存储系统中集群规模的增大，为了提高整个分布式文件存储系统的空间利用率，文件数据条带化时切分的数据条带块的数量也越来越多，读写操作时的磁盘 10和网络 10也相应增加。这样，文件数据条带化时切分的数据条带块数量也相应增加，在小文件场景下，会对分布式文件存储系统的访问性能造成较大的负担。

发明内容

有鉴于此，本发明要解决的技术问题是，如何提高小文件场景下分布式文件存储系统的访问性能。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明的第一方面，提供一种应用于分布式文件存储系统的数据处理方法，所述方法包括：客户端代理接收用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；所述目标文件为所述数据处理请求中需要处理的文件；客户端代理根据所述数据处理请求中携带的所述目标文件的文件标识获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量 N和所述分布式文件存储系统的校验条带块的数量 M; 根据所述数据处理请求中携带的所述目标文件的偏移地址和长度信息确定所述目标文件的有效条带块的数量 DSC, 所述有效条带块为包含有所述目标文件的数据的条带块；根据所述有效条带块的数量 DSC和所述校验条带块的数量 M确定所述目标文件的实际条带块的数量 Ν'; 根据所述实际条带块的数量 N'确定对应的条带块并进行处理。

结合第一方面，在一种可能的实现方式中，所述根据所述有效条带块的数量 DSC和所述校验条带块的数量 M确定所述目标文件的实际条带块数量 N'具体为：若所述有效条带块的数量 DSC小于或等于所述校验条带块的数量 M, 则所述目标文件的实际条带块的数量 N' 为所述校验条带块的数量 M+1 , 即 N'=M+1 _; 若所述有效条带块的数量 DSC 大于所述校验条带块的数量 M，则所述目标文件的实际条带块数量 N'等于所述有效条带块的数量 DSC,即 N' =DSC。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，所述校验条带块的数量 M和数据条带块的数量 N可以有多组，分别存储在对应的目录信息表中。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量

N'确定对应的条带块并进行处理还包括：

对所述目标文件进行条带化处理，得到 N'个实际条带块，并使用冗余算法生成 M个校验条带块；

在所述 N'个实际条带块和所述 M个校验条带块中添加一致性标签信息和有效条带块的数量 DSC信息；所述一致性标签信息可以为时间戳或者版本号；

将所述 N'个实际条带块和所述 M个校验条带块写到对应的存储服务器节点中。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，当所述数据处理请求为数据读请求时，所述方法还包括，根据所述文件标识获取所述目标文件的条带块的分布信息；所述根据所述实际条带块的数量 N'确定对应的条带块并进行处理具体为：

生成新的数据块读请求，所述数据块读请求用于读取存储服务器节点中的所述目标文件的条带块；将所述数据块读请求根据获取到的目标文件的条带块的分布信息发送给存储实际条带块的存储服务器节点；接收所述存储实际条带块的存储服务器节点的响应消息；所述响应消息为可以读取的成功响应消息或无法读取的失败响应消息，所述成功响应消息中携带有实际条带块的一致性标签信息和有效条带块的数量 DSC信息；根据接收到的所述响应消息判断是否可以读取到所述目标文件。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，根据接收到的所述响应消息判断是否可以读取到所述目标文件具体为: 若接收到的成功响应消息的数量等于所述实际条带块的数量 N'，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量 DSC信息都相同，则可以读取到所述目标文件；

若接收到的成功响应消息的数量小于所述实际条带块的数量 Ν', 则判断所述接收到的成功响应消息的数量是否大于所述校验条带块的数量 Μ; 若所述接收到的成功响应消息的数量大于所述校验条带块的数量 Μ，则判断成功响应消息的数量是否大于或等于所述目标文件的有效条带块的数量 DSC, 并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量 DSC信息都相同；若是，则可以读取到所述目标文件；否则，根据获取到的分布信息将所述数据块读请求发送给存储校验条带块的存储服务器节点；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量大于或等于所述目标文件的有效条带块的数量 DSC, 并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量 DSC信息都相同，则可以读取到所述目标文件；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量小于所述目标文件的有效条带块的数量 DSC, 或者所述成功响应消息中携带的一致性标签信息和有效条带块的数量 DSC信息不相同，则无法读取到目标文件。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，若接收到的成功响应消息的数量小于或等于所述校验条带块的数量 Μ，根据获取到的分布信息将所述数据块读请求发送给存储校验条带块的存储服务器节点；

接收所述存储校验条带块的存储服务器节点返回的响应消息；根据所述存储校验条带块的存储服务器节点返回的响应消息判断是否可以读取到所述目标文件。

本发明的第二方面，提供了一种实现分布式文件存储系统中数据处理方法的设备 30，所述设备 30与所述分布式文件存储系统 10中的存储服务器节点 101进行通信，所述设备包括接收模块 301、处理模块 303和发送模块 305：

所述接收模块 301用于接收用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；所述目标文件为所述数据处理请求中需要处理的文件；

所述处理模块 303用于：

根据所述数据处理请求中携带的所述目标文件的文件标识从所述存储服务器节点中获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量 N和所述分布式文件存储系统的校验条带块的数量 M;

根据所述数据处理请求中携带的所述目标文件的偏移地址和长度信息确定所述目标文件的有效条带块的数量 DSC, 所述有效条带块为包含有所述目标文件的数据的条带块；

根据所述有效条带块的数量 DSC和所述校验条带块的数量 M确定所述目标文件的实际条带块的数量 N' _;

根据所述实际条带块的数量 N'确定对应的条带块并进行处理；所述发送模块 305用于将处理结果反馈给所述用户。

结合第二方面，在一种可能的实现方式中，中或者所述分布式文件存储系统中 10的存储服务器节点 101中

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，所述根据所述有效条带块的数量 DSC和所述校验条带块的数量 M确定所述目标文件的实际条带块数量 N'具体为：

若所述有效条带块的数量 DSC小于或等于所述校验条带块的数量 M, 则所述目标文件的实际条带块的数量 N'为所述校验条带块的数量 M+1 , 即 N，=M+1 ;

若所述有效条带块的数量 DSC大于所述校验条带块的数量 M，则所述目标文件的实际条带块数量 N'等于所述有效条带块的数量 DSC,即 N'DSC。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量 N'确定对应的条带块并进行处理还包括：

在所述 N'实际条带块和所述 M个校验条带块中添加一致性标签信息和有效条带块的数量 DSC信息；所述一致性标签信息可以为时间戳或者版本号; 将所述 N'个实际条带块和所述 M个校验条带块写到对应的存储服务器节点中。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量

N'确定对应的条带块并进行处理还包括：

生成新的数据块读请求，所述数据块读请求用于读取存储服务器节点中的所述目标文件的条带块；将所述数据块读请求根据获取到的目标文件的条带块的分布信息发送给存储实际条带块的存储服务器节点；

接收所述存储实际条带块的存储服务器节点的响应消息；所述响应消息为可以读取的成功响应消息或无法读取的失败响应消息，所述成功响应消息中携带有实际条带块的一致性标签信息和有效条带块的数量 DSC信息；根据接收到的所述响应消息判断是否可以读取到所述目标文件。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，所述接收模块还用于接收用户的数据删除请求，所述数据删除请求中携带有目标文件的文件标识；所述目标文件为需要删除的文件；

所述处理模块根据所述文件标识从所述存储服务器节点中获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量 N和所述分布式文件存储系统的校验条带块的数量 M;

根据所述分布式文件存储系统的数据条带块的数量 N确认存储所述目标文件的条带块的存储服务器节点；

将所述数据删除请求发送给所述存储所述目标文件的条带块的存储服务器节点；

接收所述存储所述目标文件的条带块的存储服务器节点的响应消息；所述响应消息为删除成功的响应消息、删除对应不存在的响应消息以及删除失败的响应消息中的一种；

当接收到的删除成功的响应消息和删除对象不存在的响应消息的数量超过所述数据条带块的数量 N时，删除成功；否则删除失败；

所述发送模块用于将删除成功或删除失败的结果反馈给所述用户。本发明实施例根据目标文件的大小确定有效条带块，进一步确定目标文件的实际条带块，在能保证任何情况下都可以获取到正确的目标文件的情况下，还可以减少分布式文件存储系统 10中的空条带块个数，这样在小文件场景下可以节省大量的网络读写 I/O与磁盘读写 I/O, 提高分布式存储系统 10的性能。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图 1为分布式文件存储系统的结构示意图；

图 2为条带块分布的示意图；

图 3为本发明实施例中数据处理请求实现的方法流程示意图；

图 4为本发明实施例中当数据处理请求为数据写请求的方法流程示意图图 5为本发明实施例中当数据处理请求为数据读请求的方法流程示意图图 6为本发明实施例中当数据处理请求为数据删除请求的方法流程示意图；

图 7为本发明实施例中实现分布式文件存储系统中数据处理方法的设备的结构示意图。

具体实鮮式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

分布式文件存储系统 10的主要组成部件如附图 1所示，包含有多个存储服务器 101，多个存储服务器 101之间通过低延迟、高吞吐量的网络（例如 IB 网络、 10G以太网）互连形成集群。分布式文件存储系统 10还包括前端 (Front-End)交换机 50和后端（Back-End)交换机 60。前端交换机 50用于用户数据与集群之间进行外部业务请求与数据交互。后端交换机 60用于集群内部各个存储服务器节点之间内部请求与数据交互。应用服务器 20通过所述前端交换机 50与所述分布式文件存储系统 10进行通信。

在分布式文件存储系统 10中，各应用一般通过两种方式与存储服务器 101进行交互。第一种方式是各应用通过标准的可移植操作系统接口（英文： Portable Operating System Interface, 缩写： POSIX) 直接访问部署在应用服务器 20上的文件系统客户端代理 CA (Client Agent) 30。客户端代理 30作为分布式文件存储系统 10对外提供服务的门户，收到应用的请求后再与集群内部的存储服务器 101交互。第二种访问方式是各应用通过常用的 NAS协议（如 NFS/CIFS等 )客户端访问相应的网络附加存储的服务器端（ Network Attached Storage Server, NAS Server) , 而 NAS Server与存储服务器 101部署在一起， NAS Server再访问部署在该 Server节点上的文件系统客户端代理 30实现存储业务。为了清楚说明本发明的实现原理，现采用第一种访问方式进行具体说明，第二种访问方式采用类似的实现原理。

以附图 1中所示的业务系统为例，业务系统中包含有两个应用服务器 20，所述应用服务器 20通过前端交换机 50与分布式文件存储系统 10进行通信。所述客户端代理 30部署在所述应用服务器 20中，用户的数据处理请求先发送到应用服务器 20的客户端代理 30，客户端代理 30对数据处理请求进行相应的处理。在客户端代理 30部署在存储服务器节点 101的情况下，应用服务器 20接收到用户的数据处理请求之后，通过前端交换机 50将数据处理请求发送到对应的存储服务器节点 101中的客户端代理 30，由存储服务器节点 101中的客户端代理 30对数据处理请求进行处理。

分布式文件存储系统 10中的存储服务器 101互连形成集群，构成一个大型的网络 RAID, 存储的数据采取 N+M的冗余保护机制。其中， M是分布式文件存储系统 10为了对存储的文件数据进行冗余保护的校验条带块的数量， M的具体取值可以根据业务需要设定一个固定的值。 N是文件数据进行条带化时生成的数据条带块的数量， N是根据分布式文件存储系统 10的存储服务器节点数以及 M的值计算得到的，也可以根据业务需要设定一固定的值。所述分布式文件存储系统 10可以设定统一的 N和 M的取值，也可以为某个目录设定不同的 N和 M的取值，根据业务需求而定。分布式文件存储系统 10的 N 和 M存储在分布式文件存储系统 10的文件数据元数据信息表中。所述元数据信息表与已有的实现方式相同，在此不再另行说明。为了使描述更清楚，将一个待处理的文件数据称为一个分条数据，一个分条数据条带化处理时会被切分为 N个数据条带块，并根据冗余算法生成 M个校验条带块。

客户端代理 30对接收到的文件数据进行条带化处理，将文件数据切分成

N个数据条带块，再根据冗余算法生成 M个校验条带块，并将生成的数据条带块和校验条带块存储到相应的存储服务器节点 101中，并在数据条带块和校验条带块中记录相同的时间戳或版本号等一致性标签信息。 N个数据条带块和 M个校验条带块写入到对应的存储服务器节点 101中。条带块可以根据存储服务器节点 101的编号顺序写入各存储服务器节点 101中，也可以根据其他的规则写入对应的服务器节点 101中。写入规则与已有的写入规则相同，在此不再另行说明。当用户需要读取文件数据时，客户端代理 30通过需要读取的文件数据的标识信息读取到一致性标签信息相同的一定数量数据条带块或者校验条带块来获取用户需要读取的文件数据。根据冗余算法的一致性原理，在读取采用 N+M冗余保护的分条数据时，至少需要获取到 N+M个条带块中至少任意 N个一致性标签信息相同的条带块，才能保证读取出的分条数据是正确的数据。

如附图 1中所示的分布式文件存储系统 10，包含有 8个存储服务器节点 101。假设分布式文件存储系统 10的 M设置为 2， N设置为 6; 当然也可以设置 M为 2， N为 5; 在本实施例中，以 N为 6、 M为 2进行示例性说明。当需要将文件数据存储到分布式文件存储系统 10中时，应用服务器 20中的客户端代理 30接收需要存储的文件数据，并将文件数据条带化处理切分为 6个数据条带块，再利用冗余算法生成 2个校验条带块，并在数据条带块和校验条带块中记录相同的时间戳或者版本号等一致性标签信息。客户端代理 30将 6个数据条带块按存储服务器节点 101的顺序分别存储到存储服务器节点 1-存储服务器节点 6，将 2个校验条带块按顺序存储到存储服务器节点 7和存储服务器节点 8中，例如附图 2所示。当需要读取文件数据时，客户端代理 30根据文件数据的标识信息，从存储服务器节点 101中读一致性标签信息相同的至少 6个条带块即可，这 6个条带块为数据条带块和校验条带块中的任意 6个条带块。

在小文件数据的场景下，有效文件数据可能只会占用部份的数据条带块，在已有的实现方案中，其余的数据条带块是不包含有效文件数据的空白条带块。如附图 1和附图 2所示，在 N为 6、 M为 2的分布式文件存储系统 10中，有 8 个存储服务器节点 101，数据条带块存储到存储服务器节点 1-存储服务器节点 6中，校验条带块存储到存储服务器节点 7-存储服务器节点 8。小文件数据在分条时，只占用了 2个数据条带块，如 D1和 D2, 存储到存储服务器节点 1 和存储服务器节点 2上并记录时间戳 T1。还有 4个数据条带块 D3-D6并不包含文件数据，但是在已有的实现方法中，仍然需要在存储服务器节点 3-6中记录相同的时间戳 T1。校验条带块 D7和 D8分别存储到存储服务器节点 7和存储服务器节点 8中，并记录相同的时间戳 Tl。读取小文件数据时，需要至少读取记录有时间戳 T1的 6个条带块，才能获取到正确的小文件数据。这样在写或者读取小文件数据时，会产生空条带块的 10操作，会占用分布式文件存储系统的磁盘 10以及网络 10。大型分布式文件存储系统中数据条带块的数量更多，小文件数据产生的空条带块的数量也会相应增加多，此时会造成大量的分布式文件存储系统的磁盘 10以及网络 10资源的浪费，从而影响分布式文件存储系统的 10性能。本发明提出一种在分布式文件存储系统 10中小文件数据处理的新方法，能够减少空条带块的操作，减少分布式文件存储系统中磁盘 10和网络 10的开销，提升分布式文件存储系统的 10性能。本发明主要是根据待处理的文件的大小不同，采取 N'+M的冗余保护机制。其中 M为分布式文件存储系统的校验条带块的数量， N'是文件数据在条带化时根据文件数据的大小确定的实际条带块的数量。文件数据的大小不同，切分出来的实际条带块的数量 N'就可能不同，实现了文件数据的实际条带块数量的动态调整。这样可以减少在小文件场景下空条带块的数量，从而减少分布式文件存储系统中磁盘 10和网络 10的数量，提高分布式文件存储系统的性能。为了确保本发明提供的方案仍然可以在各种异常情况下得到正确的文件数据， N'需要大于 M, 也就是说，实际的数据条带块的数量和校验条带块的数量要满足大多数原则，能够在任何异常情况下都能恢复数据。

本发明实施例中适用的分布式文件存储系统 10的结构如附图 1所示，包含有 8个存储服务器 101，多个存储服务器 101之间通过低延迟、高吞吐量的网络（例如 IB网络、 10G以太网）互连形成集群。客户端代理 30部署在应用服务器 20中，并通过前端交换机 50实现用户数据与集群间的通信。集群中的各个存储服务器节点 101则通过后端交换机 60实现内部通信。客户端代理 30 也可以部署在分布式文件存储系统 10的各个存储服务器节点 101中，其功能与部署在应用服务器 20中的客户端代理 30的功能类似，不再另行描述。

分布式文件存储系统的冗余配比中 M为 2、 N为 6。 M是分布式文件存储系统 10为了对存储的文件数据进行冗余保护的校验条带块的数量， M的具体取值可以是根据业务需要设定的。 N是对文件数据进行条带化处理时切分的数据条带块的数量， N是根据分布式文件存储系统的存储服务器节点数以及 M的值计算得到的，也可以根据业务需要设定一固定的值。所述分布式文件存储系统可以设定统一的 N和 M的取值，也可以为某个目录设定不同的 N和 M 的取值，根据业务需求而定。在本实施例中，以统一的 N和 M为例进行说明。分布式文件存储系统的 N和 M存储在分布式文件存储系统 10的文件数据元数据信息表中。

应用服务器 20上的客户端代理 30接收应用发送的用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识 FID、偏移地址 offset、文件长度 length等信息。所述目标文件为待处理的文件。根据数据处理请求中携带的偏移地址和长度信息计算出文件数据的有效条带块的数量（Data Strip Count, DSO o 有效条带块是指包含有文件数据的数据条带块。在小文件数据场景下，文件数据条带化时切分出来的有效条带块的数量 DSC小于分布式文件存储系统的数据条带块的数量 N。分布式文件存储系统的规模越大，小文件数据场景下，有效条带块的数量 DSC与分布式文件存储系统的数据条带块的数量 N的差距也就越大。

当客户端代理 30部署在分布式文件存储系统 10的存储服务器节点 101上时，应用服务器 20接收到数据处理请求之后，将数据请求通过前端交换机 50 发送给某个存储服务器上的客户端代理 30。应用服务器 20将数据处理请求发送给存储服务器 101上的客户端代理的方法与现有方法类似，在此不再详述。存储服务器 101上的客户端代理 30对数据处理请求的方法与应用服务器 20上的客户端代理 30的处理方式类似，不再另行描述。

应用服务器 20上的客户端代理 30将计算出的有效条带块的数量 DSC与校验条带块的数量 M进行比较。根据冗余算法的大多数原则，为了确保在处理过程中无论出现何种故障都可以获取到正确的文件数据，就需要读取到超过校验条带块数量 M的条带块数量。当有效条带块的数量 DSC小于或者等于校验条带块的数量 M时，即 DSC M时，实际条带块的数量 N'等于校验条带块的数量 M+1 , 即 N'=M+1。实际条带块的数量 N'与有效条带块的数量 DSC 之间的数量差需要添加空条带块来补充，即此时需要添加的空条带块的数量为 ESC=N'-DSC= (M+l ) -DSC。这样可以减少分布式文件存储系统中空条带块的数量，也相应的减少了空条带块的读写 10操作，提高了分布式文件存储系统的 10性能。

当有效条带块的数量 DSC大于校验条带块的数量 M时，即 DSC>M时，实际条带块的数量 N'等于有效条带块的数量 DSC, 即 N'=DSC。此时空条带块的数量为 0，也就是说不需要添加空条带块，减少了分布式文件存储系统中的空条带块的数量。

当文件数据比较大时，有效条带块的数量 DSC可能与分布式文件存储系统的数据条带块的数量 N相同，此时的空条带块的数量为 0，即不需要添加空条带块。

通过根据文件数据的大小，对实际条带块的数量 N'进行动态调整，特别是在小文件数据场景下，采用实际条带块的数量 N'而不是分布式文件存储系统的数据条带块的数量 N, 有效的减少了分布式文件存储系统中空条带块的数量。相应的，针对空条带块的读写 10操作减少，分布式文件存储系统的 10 性能得到提高。

客户端代理 30对 N'个实际条带块进行相应的处理。具体处理方式与数据处理请求的类型不同而各异。

下面以数据处理请求为数据写请求为例进行详细的说明，实现的方法流程如附图 3所示。所适用的分布式文件存储系统仍然以附图 1中所示的分布式文件存储系统 10为例进行说明。

在附图 1所示的分布式文件存储系统 10中，存储服务器节点 1-存储服务器节点 8之间通过低延迟、高吞吐量的网络互连形成集群。客户端代理 30部署在应用服务器 20中，并通过前端交换机 50实现用户数据与集群间的通信。集群中的各个存储服务器节点 101则通过后端交换机 60实现内部通信。客户端代理 30也可以部署在分布式文件存储系统 10的各个存储服务器节点 101中，其功能与部署在应用服务器 20中的客户端代理 30的功能类似，不再另行描述。分布式文件存储系统 10中存储的文件数据采取 N+M的冗余保护机制。 M 是分布式文件存储系统 10为了对存储的文件数据进行冗余保护的校验条带块的数量， M的具体取值可以是根据业务需要设定的。 N是对文件数据进行条带化时切分的数据条带块的数量， N是根据分布式文件存储系统 10的存储服务器节点数以及 M的值计算得到的，也可以根据业务需要设定一固定的值。所述分布式文件存储系统 10可以设定统一的 N和 M的取值，也可以为某个目录设定不同的 N和 M的取值，根据业务需求而定。在本实施例中，以统一的 N和 M为例进行说明。分布式文件存储系统 10的 N和 M存储在分布式文件存储系统 10的文件数据元数据信息表中。为某个目录设备的 M和 N存储在目录元数据表中。 N与 M的和可以等于分布式文件存储系统 10中存储服务器节点的数量总和，也可以在一个存储服务器节点 101中存储多个条带块，即 N与 M的和也可以大于存储服务器节点的数量总和。在本实施例中，分布式文件存储系统 10的 N为 6， M为 2。数据写请求通过标准的可移植操作系统接口发送给部署在应用服务器 20上的文件系统客户端代理 30。客户端代理 30对所述数据写请求进行处理，再通过前端交换机 50与各存储服务器节点 101进行通信。如果客户端代理 30部署在存储服务器节点 101上，应用服务器 20将数据写请求通过前端交换机 50发送给对应存储服务器节点 101上的客户端代理 30，存储服务器节点 101上的客户端代理 30再对数据写请求进行处理，再通过后端交换机 60与集群中的存储服务器节点 101进行通信。

当用户有文件数据需要写到分布式文件存储系统 10中时，通过客户端向应用服务器 20上的客户端代理 30发起数据写请求。为了方便说明，将待写入的文件数据称之为目标文件。所述数据写请求中携带有所述目标文件的文件标识 FID、偏移地址 offset、文件长度 length等信息。在本实施例中，文件标识 FID为 485，偏移地址为 0K, 文件长度为 160K。客户端代理 30根据目标文件的文件标识从文件系统元数据信息表中获得分布式文件存储系统的冗余配比信息以及条带块的大小，所述冗余配比信息即 N和 M的值。在本实施例中， N的值为 6， M的值为 2，条带块的大小为 128K。

客户端代理 30根据数据写请求中携带的偏移地址、文件长度信息以及获取到的条带块的大小，对目标文件进行条带化处理，得到目标文件的有效条带块的数量 DSC。在本实施例中，目标文件的偏移地址为 0K, 文件大小为 160K, 条带块的大小为 128K, 因此，客户端代理对目标文件条带化处理，生成 2个有效条带块。

客户端代理 30将目标文件条带化处理时切分出来的有效条带块的数量 DSC与获取的所述校验条带块的数量 M进行比较。当有效条带块的数量 DSC 小于或者等于所述校验条带块的数量 M时，即 DSC M时，目标文件的实际条带块的数量 N'等于校验条带块的数量 M+1 , 即 N'=M+1，此时需要添加空条带块，需要添加的空条带块的数量 ESC等于实际条带块的数量 N'减去有效条带块的数量 DSC, 即 ESC=N'-DSC=(M+1)-DSC。当有效条带块的数量 DSC 大于所述校验条带块的数量 M时，即 DSOM时，目标文件的实际条带块的数量 N'等于有效条带块的数量 DSC, 即 N'=DSC，此时不需要添加空条带块。

在本实施例中，有效条带块的数量 DSC为 2，校验条带块的数量 M为 2，有效条带块的数量 DSC等于校验条带块的数量 M, 即 DSC=M。此时，目标文件的实际条带块的数量 N'为校验条带块的数量 M+1 ,即 N'=M+1， N'=2+l=3。目标文件被条带化处理时需要被切分为 3个条带块，即目标文件的实际条带块的数量 N'为 3，而目标文件切分的有效条带块的数量 DSC为 2，这样就只需要添加 1个空条带块。而在现有的实现方式中，目标文件需要有 6个数据条带块，在有效条带块为 2的情况下，需要添加 4个空条带块。可见，采用本发明的方法，可以大大减少空条带块的数量。

如果目标文件条带化时切分出的有效条带块的数量 DSC为 1，校验条带块的数量 M为 2时，此时目标文件的有效条带块的数量 DSC小于校验条带块的数量 M, 即 DSC<M。此时，目标文件的实际条带块的数量 N'为校验条带块的数量 M+l， gPN'=M+l， N'=2+l=3。目标文件条带化时需要被切分为 3 个条带块，即目标文件的实际条带块的数量 N'为 3，而目标文件切分的有效条带块的数量 DSC为 1，这样就需要添加 2个空条带块。

另外，还有目标文件条带化时切分出来的有效条带块的数量 DSC大于校验条带块的数量 M的情况，即 DSC>M。例如，客户端代理对目标文件进行条带化处理时切分出的有效条带块的数量 DSC为 5，此时 DSC>M，实际条带块的数量 N'=DSC，即 N'=5，此时不需要添加空条带块。

由此可见，采用本发明的方法，可以根据目标文件的大小动态调整目标文件的实际条带块的数量 N'，既能保证在任何情况下都可以正确读取到目标文件，又可以有效的减少空条带块的数量。相应的，针对空条带块的读写 10 操作减少，分布式文件存储系统的 10性能得到提高。

客户端代理 30根据得到的实际条带块使用冗余算法生成 M个校验条带块，并在 N'个实际条带块和 M个校验条带块中添加一致性标签信息和有效条带块的数量 DSC。所述一致性标签信息可以是相同的时间戳 timestamp或者版本号信息。

例如，客户端代理 30对目标文件韩版条带化处理得到 D1和 D2有效条带 ±夬。此时目标文件的有效条带块的数量 DSC为 2，将有效条带块的数量 2与校验条带块的数量 2进行比较，有效条带块的数量 DSC与校验条带块的数量 M 相等，目标文件的实际条带块的数量 N'为 3，此时需要添加一个空条带块 D3。客户端代理根据条带块 Dl、 D2和 D3生成校验条带块 D7和 D8，并在条带块 Dl、 D2、 D3、 D7和 D8中添加上时间戳 T1和有效条带块的数量 DSC=2。

客户端代理 30将携带了一致性标签信息和有效条带块的数量 DSC的实际条带块和校验条带块写入相应的存储服务器节点 101中。具体如何确认各个条带块应该写入的存储服务器节点 101的方法与现有的实现方法相似，在此不再详细说明。客户端代理 30将目标文件的实际条带块的数量 N'和校验条带块的数量 M以及各条带块的分布信息保存到文件的元数据信息表中，以便于读取目标文件时能够到相应的存储服务器节点 101中读取目标文件的条带块。

例如，客户端代理 30将带有时间戳 T1和有效条带块的数量 DSC=2的 Dl、 D2和 D3分别存储到存储服务器节点 1、存储服务器节点 2和存储服务器节点 3 中， D7和 D8分别存储到存储服务器节点 7和存储服务器节点 8中。客户端代理 30将目标文件的实际条带块的数量 N'=3、校验条带块的数量 M=2以及各条带块的分布信息保存到文件的元数据信息表中。

对于客户端代理 30部署在存储服务器节点 101的分布式文件存储系统 10，客户端代理 30则通过后端交换机 60来实现各条带块的存储等操作，具体实现方式与已有的实现方式相同，在此不再另行说明。

由此可见，在目标文件为小文件数据的场景下，当对目标文件条带化处理切分出的有效条带块的数量 DSC小于分布式文件存储系统的校验条带块的数量 M时，实际条带块的数量 N'等于校验条带块的数量 M+1 , 而 M的值一般比较小，此时只需要添加少许的空条带块即可；当对目标文件条带化时切分出的有效条带块的数量 DSC大于分布式文件存储系统的校验条带块的数量 M时，此时实际条带块的数量 N'等于有效条带块的数量 DSC不需要添加空条带块。这样当目标文件为小文件数据时，将目标文件条带化处理生成 N' 个实际条带块，而不是现有技术中的分布式文件存储系统的数据条带块的数量 N, 减少了空条带块的数目，有效的减少了空条带块的写操作，减少了分布式文件存储系统的 10操作，提高了分布式文件存储系统的性能。特别是在大型的分布式文件存储系统中，对分布式文件存储系统性能的提升效果更明显。下面这一实施例以数据处理请求为数据读请求为例进行详细的说明，实现的方法流程如附图 4所示。数据读请求是指用户需要读取目标文件的请求。分布式文件存储系统 10的结构与数据处理请求为数据写请求应用的分布式文件存储系统 10的结构相同，如附图 1所示。此方法实施例中，同样以 N为 6、 M为 2进行说明。 N和 M的值也可以根据需要设定为其他数值，其实现原理相同，不再另行描述。另外，在本实施例中，也以客户端代理 30部署在应用服务器 20中为例进行说明。

当用户需要从分布式文件存储系统 10中读取存储的文件数据时，向应用服务器 20上的客户端代理 30发起数据读请求。为了描述清楚，将用户待读取的文件数据称之为目标文件。所述数据读请求中携带有目标文件的文件标识 FID、偏移地址 offset、文件长度 length等信息。客户端代理 30接收到所述数据读请求之后，根据所述数据读请求中携带的文件标识 FID从文件系统元数据信息表中获得分布式文件存储系统 10的冗余配比信息，所述冗余配比信息即 N和 M的值。 M是分布式文件存储系统为了对存储的文件数据进行冗余保护的校验条带块的数量， M的具体取值可以是根据业务需要设定的。 N是对文件数据进行条带化处理时切分的数据条带块的数量， N是根据分布式文件存储系统的存储服务器节点数以及 M的值计算得到的，也可以根据业务需要设定一固定的值。所述分布式文件存储系统 10可以设定统一的 N和 M的取值，也可以为某个目录设定不同的 N和 M的取值，根据业务需求而定。在本实施例中，以统一的 N和 M为例进行说明。分布式文件存储系统 10的 N和 M存储在分布式文件存储系统 10的文件数据元数据信息表中。为某个目录设备的 M和 N存储在目录元数据表中。在本实施例中，分布式文件存储系统 10的 N的值为 6， M的值为 2。

应用服务器 20上的客户端代理 30接收到数据读请求之后，可以根据文件标识获取目标文件的数据条带块的数量 N、校验条带块的数量 M和条带块的大小。客户端代理根据所述数据读请求中携带的偏移地址、文件长度信息以及条带块的大小计算得到目标文件的有效条带块的数量 DSC。具体计算方法与数据写请求方案中的方法类似，在此不再另行说明。下面的步骤中，以目标文件的有效条带块的数量为 2、实际条带块的数量为 3、校验条带块的数量为 2进行说明。客户端代理 30可以通过数据读请求中携带的文件标识 FID查找到目标文件的条带块的分布信息，根据所述分布信息确定目标文件的实际条带块和校验条带块存储在哪些存储服务器节点上，也可以根据计算出来的实际条带块的数量 N'以及校验条带块的数量确认存储有目标文件的实际条带块和校验条带块的服务器节点的位置。

客户端代理 30生成新的数据块读请求，并将所述数据块读请求发送给确定的存储服务器节点 101。所述数据块读请求用于读取存储服务器节点 101中的所述目标文件的条带块。

客户端代理 30可以将数据块读请求发送给确定的所有存储服务器节点 101；也可以将数据块读请求发送给分布式文件存储系统 10中所有的存储服务器节点 101。客户端代理 30还可以将数据块读请求先发送给存储目标文件的实际条带块的存储服务器节点 101，在存储有目标文件实际条带块的存储服务器节点 101反馈的响应不能正确读取到目标文件时，再将数据块读请求发送给存储目标文件的校验条带块的存储服务器节点 101。本实施例中以最后一种情况进行说明，即先将数据块读请求先发送给存储目标文件实际条带块的存储服务器节点 101，在存储有目标文件实际条带块的存储服务器节点反馈的响应不能正确读取到目标文件时，再将数据块读请求发送给存储目标文件校验条带块的存储服务器节点 101。

存储服务器节点 101接收到数据块读请求之后，根据数据块读请求中携带的文件标识判断存储的对应的条带块是否可以读取，如果可以读取，则向客户端代理发送可以读取的成功响应消息，成功响应消息中携带有条带块的一致性标签信息和有效条带块的数量 DSC信息；如果没有存储对应的条带块或者存储的对应的条带块损坏无法读取，则向客户端发送无法读取的失败响应消息。

客户端代理 30将数据块读请求发送给存储目标文件实际条带块的存储服务器节点 101，并接收各存储服务器节点 101返回的数据块读请求的响应信息。如果成功响应消息的数量与实际条带块的数量 N'相同，并且成功响应消息中的一致性标签信息和有效条带块的数量 DSC都相同，此时可以读取到目标文件，客户端代理 30读取实际条带块并构造出目标文件发送给用户。客户端代理 30读取实际条带块以及构造目标文件的实现方法与已有的方法相同，在此不再另行说明。

例如客户端代理 30收到数据读请求之后，根据数据读请求中携带的目标文件的文件标识查找元数据信息表，得到目标文件的数据条带块的数量 N为 6、校验条带块的数量 M为 2，以及目标文件条带块的分布信息，即实际条带块 D1存储在存储服务器节点 1，实际条带块 D2存储在存储服务器节点 2，实际条带块 D3存储在存储服务器节点 3，校验条带块 D7存储在存储服务器节点 7，校验条带块 D8存储在存储服务器节点 8。客户端代理 30根据数据读请求中携带的信息以及通过目标文件的文件标识得到的信息计算出目标文件的有效条带块的数量 DSC和目标文件的实际条带块的数量 N'。详细的计算方法请参考数据写请求的流程中的相关描述。

客户端代理 30生成新的数据块读请求，所述数据块读请求用于读取存储服务器节点 101中的所述目标文件的条带块。

客户端代理 30将数据块读请求发送给存储目标文件实际条带块的存储服务器节点 1-3。存储服务器节点 1-3返回可以读取的成功响应消息，成功响应消息中分别携带了条带块的时间戳信息和有效条带块的数量信息。客户端代理 30判断所有响应消息中携带的时间戳信息和有效条带块的数量信息是否都相同。如果相同，客户端代理 30读取实际条带块并构造出目标文件发送给用户。在本发明实施例中，客户端代理 30只需要读取到 3个一致性标签信息和有效条带块数量 DSC信息都相同的条带块即可，而在现有技术中，则需要读取到 N个（N=6) 个相同一致性标签信息和有效条带块数量相同的条带块才可以得到正确的目标文件。这样，就需要多读取 3个空条带块，对分布式文件存储系统的 10操作造成浪费。在大型的分布式文件存储系统中，数据条带块的数量 N的值会更大，相应的需要操作的空条带块的数量就越多，对分布式文件存储系统的 10性能造成的负担也越大。采取本实施例中提到的方法，可以有效的减少空条带块的读操作，提高整个分布式文件存储系统的 10 性能。

如果存储目标文件实际条带块的存储服务器节点 101反馈的成功响应消息的数量小于实际条带块的数量 N'或者成功响应消息中携带有相同的一致性标签信息和有效条带块的数量 DSC信息的数量小于实际条带块的数量 N'，则进一步判断成功响应消息的数量或者带有相同的一致性标签信息和有效条带块的数量 DSC信息的成功响应消息的数量是否大于分布式文件存储系统的校验条带块的数量^1。

如果成功响应消息的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量大于分布式文件存储系统的校验条带块的数量 M, 客户端代理 30则判断成功响应消息的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量是否大于或者等于目标文件的有效条带块的数量 DSC, 如果大于或者等于目标文件的有效条带块的数量 DSC,此时可以读取到正确的目标文件，客户端代理 30进行相应的处理，具体的处理方法与已有的实现方法相同，此处不再另行说明。如果成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量小于目标文件的有效条带块的数量 DSC, 客户端代理 30则将所述数据块读请求发送给存储目标文件校验条带块的存储服务器节点 101，并接收存储目标文件校验条带块的存储服务器节点 101的响应消息。客户端代理 30再判断所有成功响应消息的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量是否大于或者等于目标文件的有效条带块的数量 DSC, 如果大于或者等于目标文件的有效条带块的数量 DSC, 此时可以读取到正确的目标文件，如果小于目标文件的有效条带块的数量 DSC, 则向用户反馈读取失败的信息。

如果成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量小于或者等于分布式文件存储系统的校验条带块的数量 M, 客户端代理 30则将所述数据块读请求发送给存储目标文件校验条带块的存储服务器节点 101，并接收存储目标文件校验条带块的存储服务器节点 101的响应消息。客户端代理 30再判断所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量是否大于所述于分布式文件存储系统的校验条带块的数量 M。如果所有成功响应的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量大于所述于分布式文件存储系统的校验条带块的数量 M, 则判断所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量是否大于或者等于目标文件的有效条带块的数量 DSC。如果所有成功响应消息的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量大于或者等于目标文件的有效条带块的数量 DSC, 此时可以读取到正确的目标文件；所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量如果小于目标文件的有效条带块的数量 DSC, 则向用户反馈读取失败的信息。如果所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量小于所述于分布式文件存储系统的校验条带块的数量 M，客户端代理 30向用户反馈读取失败的信息。下面以目标文件的有效条带块的数量 DSC为 2、实际条带块的数量 N'为 3、校验条带块的数量 M为 2为例进行说明。目标文件的有效条带块 D1存储在存储服务器节点 1中，目标文件的有效条带块 D2存储服务器节点 2中，存储服务器节点 3中存储有与目标文件的空条带块 D3 , 校验条带块 D7存储在存储服务器节点 7中，校验条带块 D8存储在存储服务器节点 8中。条带块 Dl、 D2、 D3、 D7、 D8中的一致性标签信息是时间戳 Tl，有效条带块的数量信息 DSC=2。客户端代理 30先将接收到的用户的数据块读请求发送给存储服务器节点 1、存储服务器节点 2和存储服务器节点 3。当存储服务器节点 1、存储服务器节点 2、存储服务器节点 3都发送成功响应消息给客户端代理 30时，客户端代理 30判断有 3个条带块成功响应消息且成功响应消息中携带的时间戳和 DSC相同，即与目标文件的实际条带块的数量 3相同，则此时可以读取到正确的目标文件，客户端代理 30读取条带块 Dl、 D2和 D3并构造出目标文件发送给用户。如果存储服务器节点 1和存储服务器节点 3反馈成功响应的消息，成功响应消息中分别携带了条带块 D1和 D3的时间戳 T1和有效条带块数量信息 DSC=2。但是存储服务器节点 2由于存储的条带块 D2损坏而反馈失败响应的消息，这时只有 2个条带块成功响应，即客户端代理收到 2条成功响应消息，小于目标文件的实际条带块的数量 3，客户端代理 30需要进一步将成功响应消息的数量 2与分布式文件存储系统的校验条带块的数量 2进行比较。成功响应消息的数量 2与分布式文件存储系统的校验条带块的数量 2相等，则客户端代理 30将数据块读请求发送给存储服务器节点 7和存储服务器节点 8。存储服务器节点 7和存储服务器节点 8均向客户端代理 30反馈成功响应的消息，成功响应消息中分别携带了条带块 D7和 D8的时间戳 T1和有效条带块数量信息 DSC=2。客户端代理 30将收到的时间戳和有效条带块数量信息相同的成功响应消息的数量之和（有效条带块的成功响应消息数量和校验条带块的成功响应消息数量之和（1+2=3 ) ) 与目标文件的有效条带块的数量 2进行比较，此时时间戳和有效条带块数量信息相同的成功响应消息的数量大于目标文件的有效条带块的数量 2，则此时可以读取到正确的目标文件，客户端代理 30 读取条带块 Dl、 D7和 D8并构造出目标文件发送给用户。

数据处理请求还可以是数据删除请求或者数据截断请求，实现的访求流程如附图 5所示，所应用的分布式文件存储系统 10的结构与其他数据处理请求的相同，如附图 1所示。数据删除请求的实现方法与数据截断请求的实现方法类似，下面以数据删除请求为例进行说明，数据截断请求的实现方法不再另行说明。在本实施例中，分布式文件存储系统的 N的值为 6， M的值为 2。 N和 M的值也可以根据需要设定为其他数值，其实现原理相同，不再另行描述。另外，在本实施例中，也以客户端代理 30部署在应用服务器 20中为例进行说明。

用户向应用服务器 20上的客户端代理 30发起数据删除请求，用户想删除的文件数据称为目标文件，所述数据删除请求用于删除所述目标文件的存储在各存储服务器节点中的相关条带块。所述数据删除请求中携带有目标文件的文件标识 FID信息。客户端代理 30接收到所述数据删除请求之后，根据所述数据删除请求中携带的文件标识 FID从文件系统元数据信息表中获得分布式文件存储系统的冗余配比信息以及条带块的分布信息，所述冗余配比信息即 N和 M的值。 M是分布式文件存储系统为了对存储的文件数据进行冗余保护的校验条带块的数量， M的具体取值可以是根据业务需要设定的。 N是对文件数据进行条带化时切分的数据条带块的数量， N是根据分布式文件存储系统的存储服务器节点数以及 M的值计算得到的，也可以根据业务需要设定一固定的值。所述分布式文件存储系统可以设定统一的 N和 M的取值，也可以为某个目录设定不同的 N和 M的取值，根据业务需求而定。在本实施例中，以统一的 N和 M为例进行说明。分布式文件存储系统的 N和 M存储在分布式文件存储系统的文件数据元数据信息表中。为某个目录设备的 M和 N存储在目录元数据表中。

这里以目标文件的分布式文件存储系统的校验条带块的数量 M为 2、分布式文件存储系统的数据条带块的数量 N为 6进行说明。

客户端代理根据获得的条带块的分布信息将数据删除请求发送给分布式文件存储系统 10中对应的存储服务器节点 101。如果接收到数据删除请求的存储服务器节点 101中没有目标文件的条带块或者只有目标文件的空条带块，则向客户端代理 30返回删除对象不存在的响应消息。如果接收到数据删除请求的存储服务器节点 101中存储有目标文件的有效条带块或者校验条带块，则删除条带块后向客户端代理 30返回删除成功的响应消息。如果无法删除或者没有完全删除，则向客户端代理 30反馈删除失败的响应消息。客户端代理 30接收到各存储服务器节点的响应消息后，判断接收到的删除对象不存在的响应消息和删除成功的响应消息的总和是否大于或等于分布式文件存储系统的数据条带块的数量 N。也就是说，目标文件存储在所述分布式文件存储系统中的条带块的数量不能超过分布式文件存储系统的校验条带块的数量 M, 这样才能确保目标文件被删除后，无法再从分布式文件存储系统中读取到。如果接收到的条带不存在的响应消息和删除成功的响应消息的总和大于或等于分布式文件存储系统的数据条带块的数量 N, 客户端代理 30向用户返回删除成功的响应消息。否则，客户端代理 30向用户返回删除失败的响应消息。

例如客户端代理 30收到数据删除请求之后，根据数据删除请求中携带的目标文件的文件标识查找元数据信息表，得到分布式文件存储系统的校验条带块的数量 M为 2，分布式存储系统的分条条带的数量 N为 6以及条带块的分布信息。客户端代理 30将接收到的数据删除请求根据条带块的分布信息发送给分布式存储系统 30中对应的各个存储服务器节点 101。例如，存储服务器节点 1存储有目标文件的有效条带块 Dl，存储服务器节点 2中存储有目标文件的有效条带块 D2，客户端代理 30将接收到的数据删除请求发送给存储服务器节点 1和存储服务器节点 2; 存储服务器节点 1和存储服务器节点 2删除条带块 D1和 D2, 并在成功删除后向客户端代理 30返回删除成功的响应消息。存储服务器节点 3中存储有目标文件的空条带块，存储服务器节点 4、存储服务器节点 5和存储服务器节点 6中没有目标文件的条带块，存储服务器节点 3-6在接收到数据删除请求之后，分别向客户端代理 30反馈删除对象不存在的响应消息。存储服务器节点 7和存储服务器节点 8中存储有目标文件校验条带块，删除相应的条带块 D7和 D8, 并在成功删除后向客户端代理 30返回删除成功的响应消息。客户端代理 30接收到各存储服务器节点 101返回的数据删除成功的响应消息 4条，删除对象不存在的响应消息 4条，接收到的删除成功响应消息和删除对象不存在的响应消息共 8条，大于分布式文件存储系统的分条条带的数量，客户端代理 30向用户返回删除成功的响应。在数据处理请求为数据删除请求的情况下，只有返回删除成功的响应消息的数量与返回删除对象不存在的响应消息的数量之和大于或者等于分布式文件存储系统的数据条带块的数量 N时，客户端代理才能向用户返回删除成功的消息。在数据删除操作中需要与分布式文件存储系统的数据条带块的数量 N进行比较，数据写请求以及数据读请求中则需要与目标文件的实际数据条带块的数量 N'进行比较。这主要是为了确认目标文件的条带块被删除后确保无法再次读取到目标文件。

同样的，由截断引起的分条数据的删除方法，与删除数据条带块的方法相同，在此不再另行说明。

通过本发明中提供的方法，在将文件写入分布式文件存储系统时，根据待写入的文件的大小，采用 N'+M的冗余保护机制，即将目标文件条带化时根据大小生成不同条带块的数量，即实际条带块数量 N'。这样，既能保证可以在任何情况下正确的获取到正确的目标文件，又能有效地减少分布式文件存储系统中空条带块的数量，减少分布式文件存储系统中磁盘 10和网络 10的数量，提高分布式文件存储系统的性能。

本发明还提供了一种实现分布式文件存储系统中数据处理方法的设备。在本发明实施例中，该设备可以为客户端代理。所述设备可以部署在与所述分布式文件存储系统相连的应用服务器中，也可以部署在所述分布式文件存储系统中的各个存储服务器节点中，如附图 1所示。

如附图 1所示，分布式文件存储系统 10包含有多个存储服务器 101，多个存储服务器 101之间通过低延迟、高吞吐量的网络（例如 IB网络、 10G以太网）互连形成集群。分布式文件存储系统 10还包括前端（Front-End) 交换机 50 和后端（Back-End)交换机 60。前端交换机 50用于用户数据与集群之间进行外部业务请求与数据交互。后端交换机 60用于集群内部各个存储服务器节点 101之间内部请求与数据交互。应用服务器 20通过所述前端交换机 50与所述分布式文件存储系统 10进行通信。

所述设备部署在与所述分布式文件存储系统 10相连的应用服务器 20中时，各应用通过标准的可移植操作系统接口（英文： Portable Operating System Interface, 缩写： POSIX) 直接访问部署在应用服务器 20上的文件系统客户端代理 CA (Client Agent) 30。客户端代理 30作为分布式文件存储系统 10对外提供服务的门户，收到应用的请求后再与集群内部的存储服务器 101交互。当所述设备部署在所述分布式文件存储系统中的各个存储服务器节点 101中时，各应用通过常用的 NAS协议（如 NFS/CIFS等）客户端访问相应的网络附加存储的服务器端（Network Attached Storage Server, NAS Server) , 而 NAS Server与存储服务器部署在一起， NAS Server再访问部署在该 Server节点上的文件系统客户端代理实现存储业务。为了清楚说明本发明的实现原理，现采用第一种访问方式进行具体说明，第二种访问方式采用类似的实现原理。为了清楚的描述所述设备的数据处理方式，以下以所述设备为客户端代理为例进行说明。

以附图 1中所示的业务系统为例，业务系统中包含有 2个应用服务器 20，所述应用服务器 20通过前端交换机 50与分布式文件存储系统 10进行通信。所述客户端代理 30部署在所述应用服务器 20中，用户的数据处理请求先发送到应用服务器 20的客户端代理 30，客户端代理 30对数据处理请求进行相应的处理。在客户端代理 30部署在存储服务器节点 101的情况下，应用服务器 20接收到用户的数据处理请求之后，通过前端交换机 50将数据处理请求发送到对应的存储服务器节点 101中的客户端代理 30，由存储服务器节点 101中的客户端代理 30对数据处理请求进行处理。

分布式文件存储系统 10中的存储服务器 101互连形成集群，构成一个大型的网络 RAID, 存储的数据采取 N+M的冗余保护机制。其中， M是分布式文件存储系统 10为了对存储的文件数据进行冗余保护的校验条带块的数量， M的具体取值可以根据业务需要设定一个固定的值。 N是对文件数据进行条带化时切分的数据条带块的数量， N是根据分布式文件存储系统 10的存储服务器节点数以及 M的值计算得到的，也可以根据业务需要设定一固定的值。所述分布式文件存储系统 10可以设定统一的 N和 M的取值，也可以为某个目录设定不同的 N和 M的取值，根据业务需求而定。分布式文件存储系统的 N 和 M存储在分布式文件存储系统的文件数据元数据信息表中。为了使描述更清楚，将一个待处理的文件数据称为一个分条数据，一个分条数据条带化时会被切分为 N个数据条带块，并根据冗余算法生成 M个校验条带块。

客户端代理 30接包含有接收模块 301、处理模块 303和发送模块 305。所述客户端代理 30的接收模块 301用于接收应用发送的数据处理请求，所述数据处理请求中携带有目标文件的文件标识 FID、偏移地址 offset、文件长度 length等信息。所述目标文件为待处理的文件。所述处理模块 303根据数据处理请求中携带的偏移地址和长度信息计算出文件数据的有效条带块的数量（Data Strip Count, DSC)。有效条带块是指包含有文件数据的数据条带块。在小文件数据场景下，文件数据条带化时切分出来的有效条带块的数量 DSC小于分布式文件存储系统的数据条带块的数量 N。分布式文件存储系统 10的规模越大，小文件数据场景下，有效条带块的数量 DSC与分布式文件存储系统的数据条带块的数量 N的差距也就越大。

当客户端代理 30部署在分布式文件存储系统 10的服务器节点 101上时，应用服务器 20接收到数据处理请求之后，将数据请求通过前端交换机 50发送给某个存储服务器 101上的客户端代理 30。应用服务器 20将数据处理请求发送给存储服务器 101上的客户端代理 30的方法与现有方法类似，在此不再详述。存储服务器 101上的客户端代理 30对数据处理请求的方法与应用服务器 20上的客户端代理 30的处理方式类似，不再另行描述。

处理模块 303将计算出的有效条带块的数量 DSC与校验条带块的数量 M 进行比较。根据冗余算法的大多数原则，为了确保在处理过程中无论出现何种故障都可以获取到正确的文件数据，就需要读取到超过校验条带块数量 M 的条带块数量。当有效条带块的数量 DSC小于或者等于校验条带块的数量 M 时，即 DSC M时，实际条带块的数量 N'等于校验条带块的数量 M+1 , 即 N'=M+1。实际条带块的数量 N'与有效条带块的数量 DSC之间的数量差需要添加空条带块来补充，即此时需要添加的空条带块的数量为 ESC=N'-DSC= (M+1 ) -DSC。这样可以减少分布式文件存储系统中空条带块的数量，也相应的减少了空条带块的读写 10操作，提高了分布式文件存储系统的 10性能。

当有效条带块的数量 DSC大于校验条带块的数量 M时，即 DSC>M时，实际条带块的数量 N'等于有效条带块的数量 DSC, 即 N'=DSC。此时空条带块的数量为 0，也就是说不需要添加空条带块，减少了分布式文件存储系统中的空条带块的数量。当文件数据比较大时，有效条带块的数量 DSC可能与分布式文件存储系统的数据条带块的数量 N相同，此时的空条带块的数量为 0，即不需要添加空条带块。

对 N'个实际条带块进行相应的处理。具体处理方式与数据处理请求的类型不同而各异。

所述发送模块 305用于将所述处理模块 303处理的结果发送给用户。当所述数据处理为数据写请求时，所述接收模块 301用于接收所述数据写请求。

所述处理模块 303根据数据写请求中携带的偏移地址、文件长度信息以及获取到的条带块的大小，对目标文件进行条带化处理，得到目标文件的有效条带块的数量 DSC。

所述处理模块 303将目标文件条带化时切分出来的有效条带块的数量 DSC与获取的所述校验条带块的数量 M进行比较。当有效条带块的数量 DSC 小于或者等于所述校验条带块的数量 M时，即 DSC M时，目标文件的实际条带块的数量 N'等于校验条带块的数量 M+1 , 即 N'=M+1，此时需要添加空条带块，需要添加的空条带块的数量 ESC等于实际条带块的数量 N'减去有效条带块的数量 DSC, 即 ESC=N'-DSC=(M+1)-DSC。当有效条带块的数量 DSC 大于所述校验条带块的数量 M时，即 DSOM时，目标文件的实际条带块的数量 N'等于有效条带块的数量 DSC, 即 N'=DSC，此时不需要添加空条带块。

所述处理模块 303根据得到的实际条带块使用冗余算法生成 M个校验条带块，并在 N'个实际条带块和 M个校验条带块中添加一致性标签信息和有效条带块的数量 DSC。所述一致性标签信息可以是相同的时间戳 timestamp或者版本号信息。

所述处理模块 303将携带了一致性标签信息和有效条带块的数量 DSC的实际条带块和校验条带块写入相应的存储服务器节点中。具体如何确认各个条带块应该写入的存储服务器节点的方法与现有的实现方法相似，在此不再详细说明。所述处理模块 303将目标文件的实际条带块的数量 N'和校验条带块的数量 M以及各条带块的分布信息保存到文件的元数据信息表中，以便于读取目标文件时能够到相应的存储服务器节点中读取目标文件的条带块。

由此可见，在目标文件为小文件数据的场景下，当对目标文件条带化处理切分出的有效条带块的数量 DSC小于分布式文件存储系统的校验条带块的数量 M时，实际条带块的数量 N'等于校验条带块的数量 M+1 , 而 M的值一般比较小，此时只需要添加少许的空条带块即可；当对目标文件条带化时切分出的有效条带块的数量 DSC大于分布式文件存储系统的校验条带块的数量 M时，此时实际条带块的数量 N'等于有效条带块的数量 DSC不需要添加空条带块。这样当目标文件为小文件数据时，将目标文件条带化处理生成 N' 个实际条带块，而不是现有技术中的分布式文件存储系统的数据条带块的数量 N, 减少了空条带块的数目，有效的减少了空条带块的写操作，减少了分布式文件存储系统 10的 10操作，提高了分布式文件存储系统 10的性能。特别是在大型的分布式文件存储系统 10中，对分布式文件存储系统 10性能的提升效果更明显。

当数据处理请求为数据读请求时，将用户待读取的文件数据称之为目标文件。所述数据读请求即是需要读取到目标文件存储在相应服务器节点中的各条带块，并构造还原出原目标文件的请求。

所述接收模块 301用于接收所述数据读请求，所述数据读请求中携带有目标文件的文件标识 FID、偏移地址 offset、文件长度 length等信息。所述处理模块 303根据所述数据读请求中携带的文件标识 FID从文件系统元数据信息表中获得分布式文件存储系统的冗余配比信息，所述冗余配比信息即 N和 M的值。 M是分布式文件存储系统为了对存储的文件数据进行冗余保护的校验条带块的数量， M的具体取值可以是根据业务需要设定的。 N是对文件数据进行条带化时切分的数据条带块的数量， N是根据分布式文件存储系统的存储服务器节点数以及 M的值计算得到的，也可以根据业务需要设定一固定的值。所述分布式文件存储系统可以设定统一的 N和 M的取值，也可以为某个目录设定不同的 N和 M的取值，根据业务需求而定。在本实施例中，以统一的 N和 M为例进行说明。分布式文件存储系统的 N和 M存储在分布式文件存储系统的文件数据元数据信息表中。为某个目录设备的 M和 N存储在目录元数据表中。

所述处理模块 303可以根据文件标识查找目标文件的数据条带块的数量 N、校验条带块的数量 M和条带块的大小。所述处理模块 303根据所述数据读请求中携带的偏移地址、文件长度信息以及条带块的大小计算得到目标文件的有效条带块的数量 DSC。具体计算方法与数据写请求方案中的方法类似，在此不再另行说明。所述处理模块 303可以通过数据读请求中携带的文件标识查找到目标文件的条带块的分布信息，根据所述公布信息确定目标文件的实际条带块和校验条带块存储在哪些存储服务器节点上，还可以根据计算出来的实际条带块的数量 N'以及校验条带块的数量确认存储有目标文件的实际条带块和校验条带块的服务器节点的位置。所述处理模块 303可以将数据读请求发送给确定的所有存储服务器节点；也可以将数据读请求发送给分布式文件存储系统中所有的存储服务器节点。所述处理模块 303还可以将数据读请求先发送给存储目标文件的实际条带块的存储服务器节点，在存储有目标文件实际条带块的存储服务器节点反馈的响应不能正确读取到目标文件时，再将数据读请求发送给存储目标文件的校验条带块的存储服务器节点。本实施例中以最后一种情况进行说明，即所述处理模块 303先将数据读请求先发送给存储目标文件实际条带块的存储服务器节点，在存储有目标文件实际条带块的存储服务器节点反馈的响应不能正确读取到目标文件时，再将数据读请求发送给存储目标文件校验条带块的存储服务器节点。

所述处理模块生成新的数据块读请求，并将所述数据块读请求发送给确定的存储服务器节点 101。所述数据块读请求用于读取存储服务器节点 101中的所述目标文件的条带块。

存储服务器节点接收到数据块读请求之后，根据数据块读请求中携带的文件标识判断存储的对应的条带块是否可以读取，如果可以读取，则向所述处理模块 303发送可以读取的成功响应消息，成功响应消息中携带有条带块的一致性标签信息和有效条带块的数量 DSC信息；如果没有存储对应的条带块或者存储的对应的条带块损坏无法读取，则向所述处理模块 303发送无法读取的失败响应消息。

所述处理模块 303将数据块读请求发送给存储目标文件实际条带块的存储服务器节点，并接收各存储服务器节点返回的数据块读请求的响应信息。如果成功响应消息的数量与实际条带块的数量 N'相同，并且成功响应消息中的一致性标签信息和有效条带块的数量 DSC都相同，此时可以读取到目标文件，所述处理模块 303读取实际条带块并构造出目标文件发送给用户。所述处理模块 303读取实际条带块以及构造目标文件的实现方法与已有的方法相同，在此不再另行说明。如果存储目标文件实际条带块的存储服务器节点反馈的成功响应消息的数量小于实际条带块的数量 N'或者带有相同的一致性标签信息和有效条带块的数量信息的成功响应消息的数量小于实际条带块的数量 N'，则进一步判断成功响应消息的数量或者带有相同的一致性标签信息和有效条带块的数量信息的成功响应消息的数量是否大于分布式文件存储系统的校验条带块的数量 M。

如果存储目标文件实际条带块的存储服务器节点反馈的成功响应消息的数量小于实际条带块的数量 N'或者带有相同的一致性标签信息和有效条带块的数量信息的成功响应消息的数量小于实际条带块的数量 N'，则进一步判断成功响应消息的数量或者带有相同的一致性标签信息和有效条带块的数量 DSC信息的成功响应消息的数量是否大于分布式文件存储系统的校验条带块的数量 M。

如果成功响应消息的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量大于分布式文件存储系统的校验条带块的数量 M, 所述处理模块 303则判断成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量是否大于或者等于目标文件的有效条带块的数量 DSC, 如果成功响应消息的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量大于或者等于目标文件的有效条带块的数量 DSC, 此时可以读取到正确的目标文件，所述处理模块 303进行相应的处理，具体的处理方法与已有的实现方法相同，此处不再另行说明。如果成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量小于目标文件的有效条带块的数量 DSC, 所述处理模块 303则将所述数据读请求发送给存储目标文件校验条带块的存储服务器节点，并接收存储目标文件校验条带块的存储服务器节点的响应消息。所述处理模块 303再判断所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量是否大于或者等于目标文件的有效条带块的数量 DSC, 所有成功响应消息的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量如果大于或者等于目标文件的有效条带块的数量 DSC, 此时可以读取到正确的目标文件，如果所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量小于目标文件的有效条带块的数量 DSC, 则向用户反馈读取失败的信息。

如果成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量小于或者等于分布式文件存储系统的校验条带块的数量 M, 所述处理模块 303则将所述数据块读请求发送给存储目标文件校验条带块的存储服务器节点，并接收存储目标文件校验条带块的存储服务器节点的响应消息。所述处理模块 303再判断所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量是否大于所述于分布式文件存储系统的校验条带块的数量 M。如果所有成功响应的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量大于所述于分布式文件存储系统的校验条带块的数量 M, 则判断所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量是否大于或者等于目标文件的有效条带块的数量 DSC。如果所有成功响应消息的数量并且带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量大于或者等于目标文件的有效条带块的数量 DSC, 此时可以读取到正确的目标文件；如果所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量小于目标文件的有效条带块的数量 DSC, 则向用户反馈读取失败的信息。如果所有成功响应消息的数量或者带有相同一致性标签信息和有效条带块数量信息的成功响应消息的数量小于所述于分布式文件存储系统的校验条带块的数量 M, 向用户反馈读取失败的信息。

数据处理请求还可以是数据删除请求或者数据截断请求，数据删除请求的实现方法与数据截断请求的实现方法类似，下面以数据删除请求为例进行说明，数据截断请求的实现方法不再另行说明。

用户想删除的文件数据称为目标文件，所述数据删除请求用于删除所述目标文件的存储在各存储服务器节点中的相关条带块。所述数据删除请求中携带有目标文件的文件标识 FID信息。所述接收模块 301接收所述数据删除请求；所述处理模块 303根据接收到的所述数据删除请求中携带的文件标识 FID 从文件系统元数据信息表中获得分布式文件存储系统的冗余配比信息以及条带块的分布信息，所述冗余配比信息即 N和 M的值。 M是分布式文件存储系统为了对存储的文件数据进行冗余保护的校验条带块的数量， M的具体取值可以是根据业务需要设定的。 N是对文件数据进行条带化时切分的数据条带块的数量， N是根据分布式文件存储系统的存储服务器节点数以及 M的值计算得到的，也可以根据业务需要设定一固定的值。所述分布式文件存储系统可以设定统一的 N和 M的取值，也可以为某个目录设定不同的 N和 M的取值，根据业务需求而定。在本实施例中，以统一的 N和 M为例进行说明。分布式文件存储系统的 N和 M存储在分布式文件存储系统的文件数据元数据信息表中。为某个目录设备的 M和 N存储在目录元数据表中。

所述处理模块 303根据获得的条带块的分布信息将数据删除请求发送给分布式文件存储系统中对应的存储服务器节点。如果接收到数据删除请求的存储服务器节点中没有目标文件的条带块或者只有目标文件的空条带块，则向所述处理模块 303返回删除对象不存在的响应消息。如果接收到数据删除请求的存储服务器节点中存储有目标文件的有效条带块或者校验条带块，则删除条带块后向处理模块 303返回删除成功的响应消息。如果无法删除或者没有完全删除，则向处理模块 303反馈删除失败的响应消息。所述处理模块 303接收到各存储服务器节点的响应消息后，判断接收到的删除对象不存在的响应消息和删除成功的响应消息的总和是否大于或等于分布式文件存储系统的数据条带块的数量 N。也就是说，目标文件存储在所述分布式文件存储系统中的条带块的数量不能超过分布式文件存储系统的校验条带块的数量 M, 这样才能确保目标文件被删除后，无法再从分布式文件存储系统中读取到。如果接收到的条带不存在的响应消息和删除成功的响应消息的总和大于或等于分布式文件存储系统的数据条带块的数量 N, 向用户返回删除成功的响应消息。否则，向用户返回删除失败的响应消息。

本发明实施例中提供的设备，在将文件写入分布式文件存储系统时，根据待写入的文件的大小，采用 N'+M的冗余保护机制，即将目标文件条带化时根据大小生成不同条带块的数量，即实际条带块数量 N'。这样，既能保证可以在任何情况下正确的获取到正确的目标文件，又能有效地减少分布式文件存储系统中空条带块的数量，减少分布式文件存储系统中磁盘 10和网络 10 的数量，提高分布式文件存储系统的性能。

本领域普通技术人员可以意识到，本文所描述的实施例中的各示例性单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时，则在一定程度上可认为本发明的技术方案的全部或部分（例如对现有技术做出贡献的部分）是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中，包括若干指令用以使得计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括 U盘、移动硬盘、只读存储器（ROM, Read-Only Memory )、随机存取存储器（RAM, Random Access Memory), 磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

权利要求书

1、一种应用于分布式文件存储系统的数据处理方法，其特征在于，所述方法包括：

客户端代理接收用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；所述目标文件为所述数据处理请求中需要处理的文件；

客户端代理根据所述数据处理请求中携带的所述目标文件的文件标识获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量 N和所述分布式文件存储系统的校验条带块的数量 M;

根据所述有效条带块的数量 DSC和所述校验条带块的数量 M确定所述目标文件的实际条带块的数量 N'；

根据所述实际条带块的数量 N'确定对应的条带块并进行处理。

2、根据权利要求 1所述的方法，其特征在于，所述根据所述有效条带块的数量 DSC和所述校验条带块的数量 M确定所述目标文件的实际条带块数量 N'具体为：

若所述有效条带块的数量 DSC大于所述校验条带块的数量 M，则所述目标文件的实际条带块数量 N'等于所述有效条带块的数量 DSC,即 N'=DSC。

3、根据权利要求 1或 2所述的方法，其特征在于，所述校验条带块的数量 M和数据条带块的数量 N可以有多组，分别存储在对应的目录信息表中。

4、根据权利要求 1-3任一所述的方法，其特征在于，当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量 N'确定对应的条带块并进行处理还包括：

5、根据权利要求 1-3任一所述的方法，其特征在于，当所述数据处理请求为数据读请求时，所述方法还包括，根据所述文件标识获取所述目标文件的条带块的分布信息；所述根据所述实际条带块的数量 N'确定对应的条带块并进行处理具体为：

生成新的数据块读请求，所述数据块读请求用于读取存储服务器节点中的所述目标文件的条带块；

将所述数据块读请求根据获取到的目标文件的条带块的分布信息发送给存储实际条带块的存储服务器节点；

6、根据权利要求 5所述的方法，其特征在于，根据接收到的所述响应消息判断是否可以读取到所述目标文件具体为：

若接收到的成功响应消息的数量等于所述实际条带块的数量 N'，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量 DSC信息都相同，则可以读取到所述目标文件；

若接收到的成功响应消息的数量小于所述实际条带块的数量 Ν', 则判断所述接收到的成功响应消息的数量是否大于所述校验条带块的数量 Μ; 若所述接收到的成功响应消息的数量大于所述校验条带块的数量 Μ,则判断成功响应消息的数量是否大于或等于所述目标文件的有效条带块的数量 DSC, 并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量 DSC信息都相同；若是，则可以读取到所述目标文件；否则，根据获取到的分布信息将所述数据块读请求发送给存储校验条带块的存储服务器节点；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量大于或等于所述目标文件的有效条带块的数量 DSC, 并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量 DSC信息都相同，则可以读取到所述目标文件；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量小于所述目标文件的有效条带块的数量 DSC, 或者所述成功响应消息中携带的一致性标签信息和有效条带块的数量 DSC信息不相同，则无法读取到目标文件。

7、根据权利要求 6所述的方法，其特征在于，所述方法还包括：若接收到的成功响应消息的数量小于或等于所述校验条带块的数量 Μ, 根据获取到的分布信息将所述数据块读请求发送给存储校验条带块的存储服务器节点；

8、一种实现分布式文件存储系统中数据处理方法的设备 30，其特征在于：所述设备 30与所述分布式文件存储系统 10中的存储服务器节点 101进行通信，所述设备包括接收模块 301、处理模块 303和发送模块 305 :

所述处理模块 303用于：

9、根据权利要求 8所述的设备，其特征在于，所述设备 30位于与所述分布式文件存储系统 10相连的应用服务器 20中或者所述分布式文件存储系统中 10的存储服务器节点 101中。

10、根据权利要求 8或 9所述的设备，其特征在于，所述根据所述有效条带块的数量 DSC和所述校验条带块的数量 M确定所述目标文件的实际条带块数量 N'具体为：

11、根据权利要求 8-10任一所述的设备，其特征在于，当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量 N'确定对应的条带块并进行处理还包括：

12、根据权利要求 8-11任一所述的设备，其特征在于，当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量 N'确定对应的条带块并进行处理还包括：生成新的数据块读请求，所述数据块读请求用于读取存储服务器节点中的所述目标文件的条带块。

13、根据权利要求 8-12任一所述的设备，其特征在于：

所述接收模块还用于接收用户的数据删除请求，所述数据删除请求中携带有目标文件的文件标识；所述目标文件为需要删除的文件；

所述发送模块用于将删除成功或删除失败的结果反馈给所述用户。