WO2014107901A1

WO2014107901A1 - 数据存储方法、数据库存储节点故障处理方法及装置

Info

Publication number: WO2014107901A1
Application number: PCT/CN2013/070420
Authority: WO
Inventors: 智伟; 周帅锋; 殷晖; 杨磊
Original assignee: 华为技术有限公司
Priority date: 2013-01-14
Filing date: 2013-01-14
Publication date: 2014-07-17
Also published as: CN104054076B; CN104054076A

Abstract

本发明实施例提供了一种数据存储方法，所述方法包括：将数据库中的一个表的一个分区部署在数据库中的第一存储节点；将所述分区的数据文件划分为N个数据块，所述N个数据块位于所述第一存储节点；将所述N个数据块中全部数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同节点。本发明实施例可以使得分布式非关系型数据库中，节点故障的情况下，能够尽量减少跨节点数据范围，以减少时延、降低网络流量。

Description

说明书

数据存储方法、数据库存储节点故障处理方法及装置技术领域

本发明涉及互联网领域，具体涉及到一种数据存储方法，数据库存储节点故障处理方法及装置。背景技术

分布式非关系型数据库（ Not only Structured Query Language ,NOSQL ) 物理上一般由大规模的集群组成。大多数物理存储节点不仅部署分布式文件系统（ Distributed file system , DFS )的数据节点（ DataNode )进程，还部署 NOSQL数据库的从（ slave )进程，同时存储节点集群需要部署独立的调度节点 ( Namenode ) 。 NOSQL和 DFS的信息分布各自按照各自策略进行独立分配，图 1是一个分布式非关系型数据库的部署图，其中粗的实线方框代表一个存储节点，粗横线上方表示该存储节点部署 NOSQL数据库的从节点进程。粗横线下方表示该存储节点部署的数据节点（DataNode )进程。其中每一个从节点进程同时也是一个 DFS文件系统的客户，调用 DFS文件系统中存储的数据文件。

其中，分区 region-1为 NOSQL数据库中一个表的一个分区，其部署在存储节点 S1上。在 region-1创建后，完成数据写入操作，形成数据文件，该数据文件在 DFS上的被划为 4个数据块（Block ) , 分别是 Rl-bl、 Rl-b2、 Rl-b3、 Rl-b4。每一个 Block 的数据块副本分布如图 1 所示。所有涉及到 region-1的数据查询操作全部由存储节点 S1的从节点进程来完成，而在存储节点 S1上存储了 region-1的对应的数据文件的所有数据块，为表述方面，下面筒称为与 region-1对应的所有数据块，所以存储节点 S1只需要读取本地硬盘数据即可完成数据查询操作，不会涉及到通过网络读取其他存储节点上数据块副本来完成操作。

但是，在 NOSQL数据库的从节点进程故障时，如图 1A所示， NOSQL 数据库的主控节点发现从节点进程异常之后，按照负载均衡原则将存储节点 S1负责的分区全部分配给存储节点集群中的存储节点 S4。在存储节点 S1故障后，存储节点 S4将负责 region-1的全部数据查询操作。由于 DFS并不会感觉到这样的故障，所以与 region-1对应的数据文件位置将不会发生任何变化。在这样的数据分布下，涉及到 region-1的 Rl-bl、 Rl-b3 两个数据块中的数据读取时，存储节点 S4将需要通过网络去其他存储 Rl-bl、 Rl-b3数据块副本的存储节点上读取数据。

如图 1B所示，在存储节点 S1上分布式 DFS的数据节点（ DataNode )进程故障时， DFS的调度节点发现数据节点进程故障后，按照预先配置的数据块副本复制机制，将存储节点 S1原来存储的数据块副本通过其他非故障存储节点上的数据块副本恢复出来，并按照负载均衡策略放置在其他非故障存储节点上。但是，由于存储节点 S1上 NOSQL数据库的从节点进程依旧正常， NOSQL数据库的分区不会重新分布。如存储节点 S1依旧负责 region-1全部数据查询操作。而 DFS的存储节点 S1上的数据节点进程故障，导致存储节点 S1无法提供文件读取服务。在这样的数据分布下，涉及到 region-1的数据读取时，存储节点 S1需要通过网络去其他存储该分区 region-1对应的数据块副本的存储节点上读取数据。

如图 1C所示，存储节点 S1由于硬件或者是网络等原因导致整个存储节点故障。 DFS的调度节点发现数据节点进程异常后，同时调度节点按照既定的数据块副本复制机制，开始数据块副本恢复，类似图 1B中的状态。同时， NOSQL数据库的主控节点也会发现该存储节点的从节点进程故障，主控节点将根据系统的负载情况将存储节点 S1上的分区重新分布，与图 1A类似。数据库再一次达到稳定数据分布时，存储节点 S4负责 region-1全部数据查询操作。由于 DFS的存储 S1节点故障后重新分布数据块副本后，存储节点 S4上只有 region-1的 Rl-b2、 Rl-b4副本。涉及到 region-1的 Rl-bl、 Rl-b3中的数据读取时，存储节点 S4需要通过网络去其他存储该 Rl-bl、 Rl-b3的数据块副本的存储节点上读取数据。

综上所述，在现有技术的数据存储方式下，发生以上几种故障时，就会出现跨节点数据访问甚至是跨机架的访问数据，这样不仅增大了数据访问时延，还会增加网络流量。发明内容

本发明的目的是提供一种数据存储方法，以解决现有技术在节点故障时，出现跨节点访问，增加访问数据时延的问题。

第一方面，本发明实施例提供了一种数据存储方法，所述方法包括：将数据库中的一个表的一个分区部署在数据库中的第一存储节点；将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N为自然数，并且 N不小于 2。基于第一方面，在第一种可能的实施方式中，在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前，还包括：为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。基于第一方面或第一方面的第一种可能的实施方式中，还提供了第二种可能的实施方式，所述将所述 N个数据块中全部数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点，具体包括：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件中的 N-1个数据块至所述存储节点分布信息指示的存储节点。第二方面，本发明实施例提供了一种数据库存储节点故障处理方法，所述方法包括：获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的 M个数据块的备份数据块的非故障第二存储节点；其中， M为自然数；将所述第一存储节点的所述分区重新分布到所述第二存储节点。基于第二方面，在第一种可能的实施方式中，当所述第一存储节点故障为的从节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前，还包括：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。基于第二方面或第二方面的第一种可能的实施方式中，还提供了第二种可能的实施方式，当所述第一存储节点上故障为数据节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括：将所述第二存储节点上的所述 M个数据块的备份数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。

第三方面，本发明实施例提供了一种数据存储装置，所述装置包括：第一部署单元，用以将数据库中的一个表的一个分区部署在数据库中的第一存储节点；划分单元，用以将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；第二部署单元，用以将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N 为自然数，并且 N不小于 2。基于第三方面，在第一种可能的实施方式中，还包括处理单元，用以在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前：为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。基于第三方面，在第二种可能的实施方式中，所述将第二部署单元具体用于：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件中的 N-1个数据块至所述存储节点分布信息指示的存储节点。第四方面，本发明实施例提供了一种数据库存储节点故障处理装置，所述装置包括：获取单元，用以获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；确定单元，用以根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定部署有所述第一存储节点的所述分区对应的多个数据块的备份数据块的非故障第二存储节点；处理单元，用以将所述第一存储节点的所述分区重新分布到所述第二存储节点。基于第四方面，在第一种可能的实施方式中，所述第一存储节点的从节点进程故障，所述处理单元还用以：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。基于第四方面或第四方面的第一种可能的实施方式中，还提供了第二种可能的实施方式，所述第一存储节点上的数据节点进程故障，所述处理单元还用以：将所述第二存储节点上的所述 M个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。第五方面，本发明实施例提供了一种数据存储装置，所述装置包括：网络接口；

中央处理器；

存储器；

物理存储在所述存储器中的应用程序，所述中央处理器执行所述应用程序，使得所述数据存储装置执行以下步骤：：将数据库中的一个表的一个分区部署在数据库中的第一存储节点；将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N为自然数，并且 N不小于 2。基于第五方面，在第一种可能的实施方式中，在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前，还包括：为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。基于第五方面，在第二种可能的实施方式中，所述将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点具体包括：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件中的 N-1个数据块至所述存储节点分布信息指示的存储节点。第六方面，本发明实施例提供了一种数据库存储节点故障处理装置，所述装置包括：

网络接口；

中央处理器；

存储器；

物理存储在所述存储器中的应用程序，所述中央处理器执行所述应用程序，使得所述数据库存储节点故障处理装置执行以下步骤：

获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的 M个数据块的备份数据块的非故障第二存储节点；其中， M为自然数；将所述第一存储节点的所述分区重新分布到所述第二存储节点。基于第六方面，在第一种可能的实施方式中，当所述第一存储节点故障为的从节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前，还包括：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。基于第六方面，在第二种可能的实施方式中，当所述第一存储节点上故障为数据节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括：将所述第二存储节点上的所述 M个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。

第七方面，本发明实施例提供了一种非易失性计算机可读存储介质，当计算机执行所述计算机可读存储介质时，所述计算机执行如下步骤：将数据库中的一个表的一个分区部署在数据库中的第一存储节点；将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N为自然数，并且 N不小于 2。基于第七方面，在第一种可能的实施方式中，在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前，还包括：为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。基于第七方面，在第二种可能的实施方式中，所述将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点具体包括：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件的 N-1个数据块至所述存储节点分布信息指示的存储节点。

第八方面，本发明实施例提供了一种非易失性计算机可读存储介质，当计算机执行所述计算机可读存储介质时，所述计算机执行如下步骤：获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的 M个数据块的非故障第二存储节点；其中， M为自然数；将所述第一存储节点的所述分区重新分布到所述第二存储节点。基于第八方面，在第一种可能的实施方式中，当所述第一存储节点故障为的从节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前，还包括：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。基于第八方面，在第二种可能的实施方式中，当所述第一存储节点上故障为数据节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括：将所述第二存储节点上的所述 M个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。通过本发明实施例提供的数据存储方法，将数据库中的一个表中的一个分区部署在数据库中的第一存储节点，之后将所述分区的数据文件划分为 N 个数据块，所述 N个数据块位于所述第一存储节点；最后将所述多个数据块中全部数据块的备份数据块部署在相同的第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点。使得分布式非关系型数据库中，数据节点故障的情况下，能够尽量减少跨节点数据范围，以减少时延、降低网络流量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作筒单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图 1是现有技术的 NOSQL数据分布示意图；

图 1A是现有技术 NOSQL数据库从节点进程故障处理示意图；

图 1B是现有技术 NOSQL数据库数据节点进程故障处理示意图；图 1 C是现有技术 NOSQL数据库存储节点集群中的节点故障处理示意图; 图 2是本发明实施例提供的数据存储方法的应用场景示意图；图 3是本发明实施例提供的数据存储方法一种实施方式的流程图；图 4是本发明实施例提供的数据存储方法的存储状态示意图；

图 5是本发明实施例提供的数据库存储节点故障处理方法的流程图；图 6是本发明实施例提供的数据库存储节点故障处理方法一种故障处理示意图；

图 7是本发明实施例提供的数据库存储节点故障处理方法一种故障处理示意图；

图 8是本发明实施例提供的数据库存储节点故障处理方法一种故障处理示意图；

图 9是本发明实施例提供的数据存储装置一实施例的结构示意图；图 10是本发明实施例提供的数据库存储节点处理装置一种实施例的结构示意图；

图 11是本发明实施例提供的数据存储装置一实施例的结构示意图；图 12是本发明实施例提供的数据库存储节点处理装置一种实施例的结构示意图。具体实施方式

以下结合附图，对本发明实施例做进一步详细叙述。

图 2是本发明实施例提供的数据存储方法和数据库存储节点故障处理方法的应用场景示意图， NOSQL数据库只完成数据的逻辑管理，而实际上数据存储在分布式文件系统 DFS。 DFS也是一个主从分布式架构，在 NOSQL 数据库中的主控节点作为 DFS 内部提供元数据服务的调度节点。 NOSQL数据库中的从节点，作为 DFS提供文件存储以及文件操作的数据节点，统一称为存储节点。也就是说，在本发明实施例提供的数据库中同时部署了两种系统，一种是 NOSQL数据库，一种是 DFS, 在数据库的各个存储节点上，同时部署了 DFS的数据节点（ datanode )进程和 NOSQL数据库中的从节点（ slave ) 进程，在 NOSQL数据库中控制从节点（slave )进程为主控（master )进程，在 DFS中控制数据节点进程的进程为调度（ namenode )进程，主控（ master ) 进程和调度（namenode )进程共同布置的存储节点为 NOSQL数据库的主控节点，也是 DFS的调度节点。

为方便系统内部管理，存储在 DFS中的数据文件一般被分割为一定大小的数据块 (block)。为防止由于硬件故障导致丟失数据，一个数据块一般会被存储在多个存储节点。调度节点不仅负责管理文件系统名称空间和控制外部客户端的访问，同时决定将数据块映射到存储节点集群中的哪个存储节点上。对于最常见的 3个数据块副本备份机制来说，第一个数据块一般选择离发起写请求的客户端最近一个节点作为存储节点，第二个数据块所在的存储节点与存储第一个数据块的存储节点在同一机架上，第三个数据块所在的存储节点与第一数据块和第二数据块所在的存储节点属于不同的机架。

在进行数据块读取时，实际的数据块读取并不经过调度节点，只有表示存储节点和数据块之间映射关系的元数据经过调度节点。存储节点响应来自 DFS客户端的读写请求。存储节点还响应来自调度节点的创建、删除和复制数据块的命令。

如图 3所示，本发明实施例提供一种应用在上述场景中的数据存储方法，所述方法包括： 301 , 将数据库中的一个表的一个分区部署在数据库中的第一存储节点；具体而言， NOSQL数据库在创建分区时，一般是给这个分区一个分区标识，该分区标识就是底层 DFS创建数据文件的文件名。如图 4所示的应用实例中，分区 region-1 , 部署在由存储节点 Sl、存储节点 S2、存储节点 S3、存储节点 S4、存储节点 S5和存储节点 S6等组成的存储节点集群中的一个存储节点中，图 4所示的实施例中，将 region-1对应的分区部署在存储节点 Sl。概括而言，首先为数据库中的所述分区分配分区标识；之在创建分区对应的数据文件的数据块时，根据所述分区标识为所述分区的 N个数据块命名。

302, 将所述分区对应的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；

具体而言， region- 1为 NOSQL数据库中表的一个分区，其部署在存储节点 S1上。 region-1分区创建，完成数据写入操作，形成数据文件，该数据文件在 DFS上的被划为 4个数据块，分别是 Rl-bl、 Rl-b2、 Rl-b3、 Rl-b4, 这四个数据块都被部署在存储节点 S1上。

上述实施例中， N为自然数，并且 N不小于 2, 也就是说组成存储节点集群的存储节点数目，以及一个分区对应的数据文件被划分成的数据块个数都是根据实际需求设定的，不应理解为对本发明技术方案的限制。

303 , 将所述 N 个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点。具体而言，为了满足数据安全，通常需要为分区的数据文件对应的每个数据块设置多份备份数据块，也可以称之为副本。例如图 4所示的为两份副本，一份部署在存储节点 S3, —份部署在存储节点 S5, 存储节点 S5和存储节点 S3都为第二存储节点。分别将同一分区的数据文件对应的数据块的一份副本放置在同一存储节点，这样一个存储节点上从节点进程出现故障，只要将该从节点进程所负责的分区重新在备份该分区对应的数据块的其他非故障的存储节点上打开即可，这样就避免了跨节点访问数据。更具体的说，步骤 303进一步包括：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区的数据文件中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的 N-1个数据块至所述存储节点分布信息指示的存储节点。以图 4 所示的架构为例，在对数据块 Rl-bl 副本部署时，发现数据块

Rl-bl为 Region-1对应的数据文件的第一个数据块，则根据 DFS默认部署策略对 Rl-bl的副本进行部署，

对数据块 Rl-b2进行副本部署时，获取数据块 Rl-bl的数据存储节点分布信息，得知数据块 Rl-bl 的副本分布在数据存储节点 S3和数据存储节点 S5。

之后，对数据块 Rl-b2按照数据块 Rl-bl的副本数据存储节点分布情况，进行分布。

同理，数据块 Rl-b3和数据块 Rl-b4的分布过程与数据块 Rl-b2相同不

相应的，本发明实施例提供了一种数据库存储节点故障处理方法，可以应用在图 2所示的数据库系统的几种故障状况下。如图 5所示，所述方法包括：

501 ,获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；具体而言，在存储节点集群中的一个存储节点发生故障时，首先要获取存储节点集群中故障存储节点的分区分布信息，例如在第一存储节点上部署了哪些分区，这些分区对应的数据块的备份数据块的分布信息，以获知在非故障存储节点上哪个存储节点上部署了故障存储节点上的分区对应的数据块备份。 502, 根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的 M个数据块的备份数据块的非故障第二存储节点，其中， M为自然数。

503 , 将所述第一存储节点的分区重新分布到所述第二存储节点。具体而言，在所述存储节点集群中的非故障存储节点中确定了部署有所述第一存储节点的所述分区对应的 M个数据块的备份数据块的第二存储节点之后，将第一存储节点的所述分区重新分布到第二存储节点上。这样，同一分区的数据文件的数据块的备份数据块放置在同一存储节点，这样只要一个存储节点出现故障，只要将该存储节点上的所述分区分布到所述第二存储节点，重新在第二存储节点上打开即可。这样就避免了跨节点访问数据。如图 6所示，在一种可能的实施方式中，假设存储节点 S1上的 NOSQL 数据库的从节点进程异常终止， NOSQL数据库的主控节点很快就会发现该进程异常。主控节点根据非故障存储节点的分区分布信息以及故障存储节点分区对应的数据块的备份数据块分布情况，将故障存储节点存储的的 L个分区分布到有对应数据块的非故障存储节点上，其中 L为自然数。在故障存储节点分区重新分布之前，如果非故障的第二存储节点的分区未达到负载均衡阈值，则将所述第一存储节点的分区重新分布在所述第二存储节点，整个存储节点集群的分区重分布完成；如果所述第二存储节点的分区超过负载均衡阈值，说明所述第二存储节点分区数过多，此时在所述第二存储节点上随机选取多个分区，将这些分区进行重分布，使得所述第二存储节点上分区达到负载均衡。也就是说，如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的多个分区重分布至所述存储节点集群中除第二存储节点外的其它非故障存储节点。

如图 7所示，在另一种可能的实施方式中，假设存储节点 S1上 DFS的数据节点进程异常终止， DFS的调度节点发现该进程异常。调度节点按照数据块副本复制机制将原来存储节点 S1 负责的全部数据块分配给存储节点集群中其他存储节点。只有数据节点进程故障而从节点进程依旧可以正常工作的情况，是否需要重分布从节点进程负责的分区到对应的存储有该分区对应的数据块的副本的非故障存储节点上，根据配置进行操作。

调度节点根据故障存储节点 S1上的数据块归属情况，将属于同一分区的对应的数据块作为一个数据块组进行标识。调度节点根据非故障存储节点的数据块分布信息，将故障存储节点的同一分区的数据块组重分布在非故障存储节点 S2上，也就是将第一存储节点负责的同一分区的全部数据块重分布在所述存储节点集群中的非故障存储节点。

调度节点检查配置，如果对数据读取速率要求较低，则不需要将故障存储节点的分区进行重分布，则重分布完成。

如果根据读取速率需求，用户发现需要将故障存储节点的分区进行重分布，则调度节点将故障存储节点报告给主控节点，主控节点发现该存储节点从节点进程未失效，则查找故障存储节点上分区信息。主控节点根据非故障存储节点的分区分布信息以及故障存储节点上分区中数据块分布情况，将故障存储节点的同一分区的 M个数据块的备份数据块重分布到非故障存储节点上。

如图 8所示，在另一种可能的实施方式中，假设存储节点 S1由于硬件或者是网络等原因导致故障。 DFS的调度节点很快就会发现该进程异常。同时， NOSQL数据库的主控节点也会发现该存储节点 S1从节点进程异常。

主控节点将根据系统的负载情况将存储节点 S1上的分区重新分布，该过程类似从节点进程故障的情况。同时调度节点按照既定的副本复制机制，开始副本恢复，该过程类似数据节点进程故障情况，不多赘述。

如图 9所示，本发明实施例提供一种数据存储装置，所述装置包括：第一部署单元 901 , 用以将数据库中一个表中的一个分区部署在数据库中的第一存储节点；划分单元 902, 用以将所述分区的数据文件划分为 N个数据块，所述 N 个数据块位于所述第一存储节点；第二部署单元 903, 用以将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N为自然数，并且 N不小于 2。在一种可能的实施方式中，所述装置还包括处理单元，用以在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前：为所述数据库中的所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。在一种可能的实施方式中，所述第二部署单元具体用于：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区的数据文件中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件中的 N-1个数据块至所述存储节点分布信息指示的存储节点。通过本发明实施例提供的数据存储装置，可以将数据库中的一个表中的一个分区部署在数据库中的第一存储节点，之后将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；最后将所述多个数据块中全部数据块的备份数据块部署在相同的第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点。这样可以使得使得分布式非关系型数据库中，在数据节点故障的情况下，能够尽量减少跨节点数据范围，以减少时延、降低网络流量。如图 10所示，本发明实施例还提供了一种数据库存储节点故障处理装置, 所述装置包括：获取单元 1001 , 用以获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；确定单元 1002, 用以根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的分区对应的 M个数据块的非故障第二存储节点；其中， M为自然数；处理单元 1003, 用以将所述第一存储节点的所述分区重新分布到所述第二存储节点。当所述第一存储节点故障为的从节点进程故障时，所述处理单元 1003还用以在将所述第一存储节点的所述分区重新分布到所述第二存储节点之前：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。当所述第一存储节点上故障为数据节点进程故障时，所述处理单元 1003 还用以在将所述第一存储节点的所述分区重新分布在所述第二存储节点之后: 将所述第二存储节点上的所述 M个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。通过本发明实施例提供的数据库存储节点故障处理装置，能够获取存储节点集群中故障的某一存储节点的分区信息以及所述分区对应的数据块的分布信息；之后，根据所述该存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的数据块的非故障第二存储节点，之后将所述该存储节点的所述分区重新分布到所述第二存储节点。这样，在数据节点故障的情况下，处理存储节点故障时，能够尽量减少跨节点数据范围，以减少时延、降低网络流量。

如图 11所示，本发明实施例还提供了一种数据存储装置，本实施例包括网络接口 11、处理器 12和存储器 13。系统总线 14用于连接网络接口 11、处理器 12和存储器 13。

网络接口 11用于与网络和存储节点集群中的其他存储节点通信。

存储器 13具有软件模块和设备驱动程序。软件模块能够执行本发明上述方法的各种功能模块；设备驱动程序可以是网络和接口驱动程序。

在启动时，这些软件组件被加载到存储器 13中，然后被处理器 12访问并执行如下指令：将数据库中的一个表的一个分区部署在数据库中的第一存储节点；将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N为自然数，并且 N不小于 2。进一步地，在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前，还包括：为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。更具体的，所述将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点具体包括：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区的数据文件中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件中的 N-1个数据块至所述存储节点分布信息指示的存储节点。通过本发明实施例提供的数据存储装置，可以将数据库中的一个表中的一个分区部署在数据库中的第一存储节点，之后将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；最后将所述多个数据块中全部数据块的备份数据块部署在相同的第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点。这样可以使得使得分布式非关系型数据库中，在数据节点故障的情况下，能够尽量减少跨节点数据范围，以减少时延、降低网络流量。如图 12所示，本发明实施例还提供了一种数据库存储节点故障处理装置, 所述装置包括：网络接口 21、中央处理器 22和存储器 23。系统总线 24用于连接网络接口 21、中央处理器 22和存储器 23。

网络接口 21用于与网络和存储节点集群中的其他存储节点通信。

存储器 23中具有软件模块和设备驱动程序。软件模块能够执行本发明上述方法的各种功能模块；设备驱动程序可以是网络和接口驱动程序。

在启动时，这些软件组件被加载到存储器 23中，然后被中央处理器 22 访问并执行如下指令：获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的 M个数据块的非故障第二存储节点；其中， M为自然数；将所述第一存储节点的所述分区重新分布到所述第二存储节点。进一步地，当所述第一存储节点故障为的从节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前，还包括：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。进一步地，当所述第一存储节点上故障为数据节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括：将所述第二存储节点上的所述 M个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。通过本发明实施例提供的数据库存储节点故障处理装置，能够获取存储节点集群中故障的某一存储节点的分区信息以及所述分区对应的数据块的分布信息；之后，根据所述该存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的数据块的非故障第二存储节点，之后将所述该存储节点的所述分区重新分布到所述第二存储节点。这样，在数据节点故障的情况下，处理存储节点故障时，能够尽量减少跨节点数据范围，以减少时延、降低网络流量。

本发明实施例还提供了一种非易失性计算机可读存储介质，当计算机执行所述计算机可读存储介质时，所述计算机执行如下步骤：将数据库中的一个表的一个分区部署在数据库中的第一存储节点；将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N为自然数，并且 N不小于 2。进一步的，在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前，还包括：为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。进一步的，所述将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点具体包括：按照部署策略，在所述部署策略对应的第二节点上对所述分区的数据文件中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件中的 N-1个数据块至所述存储节点分布信息指示的节点。

相应的，本发明实施例还提供了一种非易失性计算机可读存储介质，当计算机执行所述计算机可读存储介质时，所述计算机执行如下步骤：获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的 M个数据块的非故障第二存储节点；其中， M为自然数；将所述第一存储节点的所述分区重新分布到所述第二存储节点。进一步的，当所述第一存储节点故障为的从节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前，还包括：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。进一步的，当所述第一存储节点上故障为数据节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括：将所述第二存储节点上的所述 M个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和筒洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所公开的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括： NAS ( Network At tached S torage ) 、 U盘、移动硬盘、只读存储器（ROM, Read-Only Memory ) 、随机存取存储器（ RAM, Random Acces s Memory ) 、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器 ( RAM ) 、内存、只读存储器（ROM ) 、电可编程 R0M、电可擦除可编程 R0M、寄存器、硬盘、可移动磁盘、 CD-ROM, 或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1、一种数据存储方法，其特征在于，所述方法包括：将数据库中的一个表的一个分区部署在数据库中的第一存储节点；将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N为自然数，并且 N不小于 2。

2、如权利要求 1所述的方法，其特征在于，在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前，还包括：为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。

3、如权利要求 1或 2所述的方法，其特征在于，所述将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同节点具体包括：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区的第一个数据块进行数据块备份；获取所述分区的第一个数据块的备份数据块的存储节点分布信息；备份所述分区的 N-1个数据块至所述存储节点分布信息指示的节点。

5、一种数据库存储节点故障处理方法，其特征在于，所述方法包括：获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；

根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的 M个数据块的非故障第二存储节点；其中， M为自然数；将所述第一存储节点的所述分区重新分布到所述第二存储节点。

6、如权利要求 5所述的方法，其特征在于，当所述第一存储节点故障为从节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前，还包括：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。

7、如权利要求 5所述的方法，其特征在于，当所述第一存储节点上故障为数据节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括：将所述第二存储节点上的所述 M个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。

8、一种数据存储装置，其特征在于，包括：第一部署单元，用以将数据库中一个表中的一个分区部署在数据库中的第一存储节点；划分单元，用以将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；第二部署单元，用以将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N 为自然数，并且 N不小于 2。

9、如权利要求 8所述的装置，其特征在于，还包括处理单元，用以在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前，为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。

10、如权利要求 8或 9所述的装置，其特征在于，所述将第二部署单元具体用于：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区的数据文件中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件中的 N-1个数据块至所述存储节点分布信息指示的存储节点。

11、一种数据库存储节点故障处理装置，其特征在于，所述装置包括：获取单元，用以获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；确定单元，用以根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的分区对应的 M个数据块的非故障第二存储节点；其中， M为自然数；处理单元，用以将所述第一存储节点的所述分区重新分布到所述第二存储节点。

12、如权利要求 11所述的装置，其特征在于，所述当所述第一存储节点故障为的从节点进程故障时，所述处理单元还用以在将所述第一存储节点的所述分区重新分布到所述第二存储节点之前：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。

13、如权利要求 10所述的装置，其特征在于，当所述第一存储节点上故障为数据节点进程故障时，所述处理单元还用以在将所述第一存储节点的所述分区重新分布到所述第二存储节点之后：将所述第二存储节点上的所述 M个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。

14、一种数据存储装置，其特征在于，所述装置包括：

网络接口；

中央处理器；

存储器；

物理存储在所述存储器中的应用程序，所述中央处理器执行所述应用程序，使得所述数据存储装置执行以下步骤：：将数据库中的一个表的一个分区部署在数据库中的第一存储节点；将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第

将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N为自然数，并且 N不小于 2。

15、如权利要求 14所述的装置，其特征在于，在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前，还包括：为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。

16、如权利要求 14或 15所述的装置，其特征于，所述将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同节点具体包括：按照部署策略，在所述部署策略对应的第二存储节点上对所述分区的数据文件中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件中的 N-1个数据块至所述存储节点分布信息指示的存储节点。

17、一种数据库存储节点故障处理装置，其特征在于，所述装置包括：网络接口；

中央处理器；

存储器；

物理存储在所述存储器中的应用程序，所述中央处理器执行所述应用程序，使得所述数据库存储节点故障处理装置执行以下步骤：获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的 M个数据块的非故障第二存储节点；其中， M为自然数；将所述第一存储节点的所述分区重新分布到所述第二存储节点。

18、如权利要求 17所述的装置，其特征在于，当所述第一存储节点故障为的从节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前，还包括：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。

19、如权利要求 17所述的装置，其特征在于，当所述第一存储节点上故障为数据节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括：将所述第二存储节点上的所述 M个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。

20、一种非易失性计算机可读存储介质，其特征在于，当计算机执行所述计算机可读存储介质时，所述计算机执行如下步骤：将数据库中的一个表的一个分区部署在数据库中的第一存储节点；将所述分区的数据文件划分为 N个数据块，所述 N个数据块位于所述第一存储节点；将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点；其中， N为自然数，并且 N不小于 2。

21、如权利要求 20所述的非易失性计算机可读存储介质，其特征在于，在所述将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前，还包括：为所述数据库中所述分区分配分区标识；根据所述分区标识为所述分区的所述 N个数据块命名。

22、如权利要求 20或 21所述的非易失性计算机可读存储介质，其特征在于，所述将所述 N个数据块的备份数据块部署在第二存储节点上，所述第二存储节点与所述第一存储节点为不同存储节点具体包括：按照部署策略，在所述部署策略对应的第二节点上对所述分区的数据文件中的第一个数据块进行数据块备份；获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息；备份所述分区的数据文件中的 N-1个数据块至所述存储节点分布信息指示的节点。

23、一种非易失性计算机可读存储介质，其特征在于，当计算机执行所述计算机可读存储介质时，所述计算机执行如下步骤：获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息；根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息，在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的

Μ个数据块的非故障第二存储节点；其中， Μ为自然数；将所述第一存储节点的所述分区重新分布到所述第二存储节点。

24、如权利要求 23所述的非易失性计算机可读存储介质，其特征在于，当所述第一存储节点故障为的从节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前，还包括：如果所述第二存储节点的分区负载超过负载均衡阈值，则将所述第二存储节点上的 L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点；其中 L为自然数。

25、如权利要求 23所述的非易失性计算机可读存储介质，其特征在于，当所述第一存储节点上故障为数据节点进程故障时，所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括：将所述第二存储节点上的所述 Μ个数据块备份到所述存储节点集群中的第三存储节点，所述第三存储节点为非故障存储节点。