WO2014106316A1

WO2014106316A1 - 一种通用射影自修复码的编码、数据重构和修复方法

Info

Publication number: WO2014106316A1
Application number: PCT/CN2013/070001
Authority: WO
Inventors: 李挥; 朱兵; 侯韩旭; 陈畅民; 周敬邦; 范曦东
Original assignee: 北京大学深圳研究生院; 深圳广信网络传媒有限公司
Priority date: 2013-01-04
Filing date: 2013-01-04
Publication date: 2014-07-10
Also published as: CN104838626B; CN104838626A

Abstract

本发明涉及一种通用射影自修复码的编码方法，包括如下步骤：取得需要存储的数据块；设置大小为q的基本有限域GF（q），所述每个数据块在所述基本有限域上用长度为m的向量表示；得到第一有限域GF（qⁱ⁺¹）和第二有限域GF（q^m），GF（q）⊂GF（qⁱ⁺¹）⊂GF（q^m）；构建存储节点/的编码向量V_i=｛w^i-1，w^i-1v，w^i-1v²，...w^i-1v^t｝，存储节点/的编码向量分别为所述t-扩展的一组基；其中，i为表示存储节点数的正整数，i=1，2，...t；得到该数据块存储在该存储节点的编码数据。本发明还涉及一种对使用上述编码方法的系统进行数据重构和数据修复的方法。实施本发明的通用射影自修复码的编码、数据重构和修复方法，具有以下有益效果：其修复数据较为简单、下载的数据量较小。

Description

一种通用射影自修复码的编码、数据重构和修复方法

技术领域

本发明涉及分布式网络存储领域，更具体地说，涉及一种通用射影自修复码的编码、数据重构和修复方法。

背景技术

随着信息产生量的迅速增长，有效地存储海量数据的存储系统已经越来越重要。分布式存储系统以其高效的可扩展性和高可用性成为存储海量数据的有效系统。然而在分布式存储系统中，存储数据的存储节点是不可靠的。为了能够由不可靠的存储节点提供可靠的存储服务，需要在存储系统中引入冗余。引入冗余最简单的方法就是对原始数据直接备份，直接备份虽然简单但是其存储效率和系统可靠性不高，而通过编码引入冗余的方法可以提高其存储效率。在¾前的存储系统中，编码方法一般采用

MDS ( Maximum Distance Separable 最大距离可分离）码， MDS码可以达到存储空间效率的最佳，一个 (n,k) MDS纠错码需要将一个原始文件分成 k个大小相等的模块，并通过线性编码生成 n个互不相关的编码模块，由 n个节点存储不同的模块，并满足 MDS属性（n个编码模块中任意 k个就可重构原始文件）。这种编码技术在提供有效的网络存储冗余中占有重要的地位，特别适合存储大的文件以及档案数据备份应用。

在分布式存储系统中，把大小为 β的数据存储在 n个存储节点中，每个存储节点存储的数据大小为《。数据接收者只需要连接并下载 η个存储节点中的任意 k个存储节点的数据即可恢复出原始数据 B, 这一过程称为数据重建过程。 RS码是满足 MDS 码特性的一种码字。当存储系统中的存储节点失效时，为了保持存储系统的冗余量，需要恢复该失效节点存储的数据并将该数据存储在新节点中，该过程称为修复过程。然而，在修复过程中， RS码首先需要下载/ 1个存储节点的数据并恢复出原始数据，之后为新节点编码出失效节点的存储数据。为了恢复一个存储节点的数据而解码出整个原始数据显然对传输带宽是一种浪费。

然而，系统节点失效或者文件损耗，系统的冗余度会随着时间而逐渐减小，因此需要一种机制来保证系统的冗余。文献 [R. Rodrigues and B. Liskov, "High Availability in DHTs: Erasure Coding vs. Replication" , Workshop on Peer-to-Peer Systems (IPTPS)2005.] 中提出的 EC ( Erasure Codes 纠错码）码，该码在存储开销上是比较有效的，然而支

替换页（细则第 26条) 持冗余恢复所需要的通信开销也比较大。图 1表示只要系统中有效节点数 ^d≥ ,就可以从现有节点中获得原始文件；图 2表示恢复失效节点所存储内容的过程。从图 1、图 2中可以看出整个恢复过程是： 1 )首先从系统中的 k个存储节点中下栽数据并重构原始文件； 2 ) 由原始文件再重新编码出新的模块，存储在新节点上。该恢复过程表明修复任何一个失效节点所需要的网络负载至少为 k个节点所存储的内容。

同时，为了降低修复过程中所使用的带宽，文 [A. G. Dimakis, P. G. Godfrey, . J. Wainwright, K. Ramchandran , "Network coding for distributed storage systems" , IEEE Proc. INFOCOM, Anchorage, Alaska, May 2007.】利用网络编码理论的思想提出了再生码 (RGC, Regenerating Codes) , RGC码也满足 MDS码特性。再生码的修复过程中，新节点需要在剩下的存储节点中连接 d个存储节点并分别从这 d个存储节点中下栽大小的数据，所以 RGC码的修复带宽为 ^。同时给出了 RGC码功能修复的模型并提出了 RGC码的两类最佳码：最小存储再生码 (MSR, Minimum-storage Regenerating)和最小修复带宽再生码 (MBR， Minimum-bandwidth Regenerating)„ RGC码的修复带宽优于 RS码，但 RGC 的修复过程需要连接 d(d>/f)个存储节点称为修复节点)。另外，修复节点需要对其存储的数据执行随机线性网络编码操作。为了满足所有编码包是相互独立的， RGC码的运算需要在一个较大的有限域内。

专利 PCT/CN2012/071177 中提出了一种 RGC码，该方案中修复一个丢失的编码模块只需要一小部分的数据量，而不需要重构整个文件。 RGC码应用线性网络编码思想，利用 NC ( Network Coding, 网络编码）属性（即最大流最小割）来改善修复一个编码模块所需要的开销，从网络信息论上可以证明用和丢失模块相同数据量的网络开销就可复丢失模块。

RGC码主要思想还是利用 MDS属性，当网络中一些存储节点失效，也就相当于存储数据丟失，需要从现有有效节点中下载信息来使得丟失的数据修复丟失的数据模块, 并将其存储在新的节点上。随着时间的推移，很多原始节点可能都会失效，一些再生的新节点可以在自身再重新执行再生过程，继而生成更多的新节点。因此再生过程需要确保两点： 1 )失效的节点间是相互独立的，再生过程可以循环递推； 2 )任意1^个节点就足够恢复原始文件。

图 3描述了当一个节点失效后的再生过程。分布式系统中 η个存储节点各自存储 "个

替换页（细则第 26条) 数据，当有一个节点失效，新节点通过从其他个存活节点中下载数据来再生，每个节点的下载量为 ^ 每个存储节点 i通过一对节点 '·"， '。"'来表示，这对节点通过一个容量为该节点的存储量（即"）的边连接。再生过程通过一个信息流图描述， "从系统中任意 d个可用节点中各自收集个数据，通过 ^x""<在 ^Χ。"'中存储个数据 , 任何一个接收者都可以访问。从信源到信宿的最大信息流是由图中最小割集决定，当信宿要重构原始文件时，这个流的大小不能低于原始文件的大小。

每个节点存储量 "和再生一个节点所需要的带宽 ^之间存在一个折中，因此又引入最小带宽再生码（MBR)和最小存储再生码（MSR)。对于最小存储点可以知道每个节点至少存储 M/k比特，因此可推出 MSR码中（，

' )⁼ ( k， k，,(d -^κ + J \) , 当 d取最大值即一个新来者同时和所有存活的 η-1个节点通信时，修复带宽 _s«最小即

^YMS'「T~^。而 MBR码拥有最小修复带宽，可以推出当 d=n-l时，获得最小修复负载 m_n)= ( . 2"- 2 2n-2

纖， k 2n~k-\ k 2n-k-\

对于节点失效修复问题，考虑了三种修复模型：精确修复：失效的模块需要正确构造，恢复的信息和丢失的一样（核心技术为千扰队列和 NC)；功能修复：新产生的模块可以包含不同于丟失节点的数据，只要修复的系统支持 MDS码属性（核心技术为 NC)；系统部分精确修复：是介于精确修复和功能修复之间的一个混合修复模型，在这个混合模型中，对于系统节点（存储未编码数据）要求必须精确恢复，即恢复的信息和失效节点所存储的信息一样，对于非系统节点（存储编码模块），则不需要精确修复，只需要功能修复使得恢复的信息能够满则 MDS码属性（核心技术为干扰队列和 NC)。

为了使 RGC码运用到实际的分布式系统中，即使不是最优情况也至少需要从 k个节点下载数据才能修复丢失模块，因此即使修复过程所需要的数据传输量比较低， RGC 码也需要高的协议负载和系统设计（NC技术）复杂度来实现。另外 RGC码中未考虑工程解决方法，如懒修复过程，因此不能避免临时失效所带来的修复负载。最后基于 NC 的 RGC码的编解码实现所需要的计算开销比较大，比传统的 EC码要高一个阶数。

替换页（细则第 26条) 专利 PCT/CN2012/083174 中提出了一种实用射影自修复码的编码、数据重构及修复方法。实用摄影自修复码（PPSRC, Practical Projective Self-repairing Codes )同样具有自修复码的两个典型属性：丢失的编码模块可从其他编码模块中下载少于整个文件的数据进行修复；丢失的编码模块从一个给定数的模块中修复，该给定数只与丟失了多少模块数有关，而与具体哪些模块丟失无关。这些属性使得修复一个丟失模块的负载比较低，另外由于系统中各节点地位相同、负栽均衡使得在网络的不同位置，可以独立并发地修复不同丢失模块。

该码字除了满足以上条件外还有以下特性：当一个节点失效时，可以有（n - 1 ) /2 对修复节点可供选择；当有（n - l ) /2 个节点同时失效时，我们仍然可以使用剩下的 ( n+1 ) /2个节点中的 2 两个节点来修复失效节点。

PPSRC码的编码以及自修复过程仅涉及异或运算，并不像一般自修复码，其编码需要计算多项式相对较复杂， PPSRC码的计算复杂度小于 PSRC码（ Projective

Self-repairing Codes , 射影自修复码）。同时， PPSRC码的修复带宽和修复节点优于 MSR码。 PPSRC码的冗余是可控的，适用于一般的存储系统， PPSRC码的重建带宽达到最佳。总而言之， PPSRC码有效地减少了数据存储节点，降低了系统数据存储的冗余度，很大程度上提高了实用自修复码的使用价值。

然而， PPSRC码也存在一定的不足之处。首先， PPSRC码的编解码过程较为复杂，有限域及其子域的划分运算量相对较大，并且数据重构过程比较繁瑣；其次，在 PPSRC 码中，编码模块是不可再分的，因此修复编码模块也必须是不可再分的。同时， PPSRC 码的整个编解码过程运算复杂度较高，冗余量虽然可控但其实还是相当大的。通常 PPSRC码存储节点数选取非常大，对于相对' j、一些的文件来说就显得完全没有必要了。这些均增加了 PPSRC码在实际分布式存储系统中实施难度，该射影自修复码通用性不强。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述运算复杂、修复花销较大的缺陷，提供一种运算简单、修复数据花销较小的通用射影自修复码的编码、数据重构和修复方法。

本发明解决其技术问题所采用的技术方案是：构造一种通用射影自修复码的编码

替换页（细则第 26条) 方法，其特征在于，包括如下步骤：

A )取得需要存储的、数据量为 B的文件，将其等分为 k个数据块，每个数据块包括 m个数据；

B)设置大小为 q的基本有限域 GF( )，所述每个数据块在所述基本有限域上用长度为 m的向量表示；所述基本有限域的 m-维向量空间为 W, 所述 W的所有子空间组成射影几何 PG (m-l,q); 所述 W的（ t+1 ) -维子空间为 t-空间，所述 t-空间的集合 S为 t-扩展;得到第一有限域和表示所述向量空间 W的第二有限域 GEfe^m), GF(q)^GF(q'^+l)^GF(q^m); 其中， B、 k、 q、 t和 m均为正整数， t+1整除 ΠΊ;

C)取得表示所述第二有限域 G ( ^m)非零元素的循环乘法群 GF^")', w为其本原元；取得表示所述第一有限域 G ⁺')非零元素的循环乘法群 GEfe'⁺¹)'， V为其本原元；构建存储节点 /的编码向量 ; = {W- V，...,w'-V}, 存储节点,的编码向量分别为所述 t-扩展的一组基；其中， ί为表示存储节点数的正整数， , = 1,2，...，t;

D)将对应于各存储节点 ,·的编码向量分别与一个数据块相乘，得到该数据块存储在该存储节点的编码数据。

更进一步地，还包括如下步骤：将多个数据块分别与各存储节点的编码数据相乘后得到的编码数据分别依次存储在各存储节点。

更进一步地，所述步骤 D)中编码向量与数据块相乘为其对应的二进制数进行异或运算。

本发明还涉及一种在上述的通用射影自修复码编码方法的存储系统中数据重构方法，包括如下步骤：

I)选择 M 个存储节点中的连续的、等于存储文件数据量或存储文件等分后得到的数据块数据量个存储节点；

J)下载所述选择的存储节点中的第 /列的编码数据， /为正整数， 1</<(/ + 1)；

K)分别取得所述选择的存储节点的解码向量，与其下载的编码数据运算，得到解码后的数据块；

L)处理所述分别得到的数据块，得到存储文件。

更进一步地，步骤 K)所述的解码向量为各存储节点的编码向量的逆矩阵，其通过取得各存储节点的编码向量后求其逆而得。

替换页（细则第 26条) 更进一步地，步骤 K)中所述编码数据与解码矩阵的运算为其对应的二进制数进行异或运算。

更进一步地，在所述步骤 L) 中组合所述步骤 Κ) 中得到的数据块，得到存储文件；所述組合包括按照设定顺序排列所述数据块。

本发明还涉及一种在上述的通用射影自修复码编码方法的存储系统中数据修复的方法，包括如下步骤：

Μ )确认一存储节点已经失效并得到该存储节点的编码数据块，设该失效的存储节点的编码数据块为 v ν₂,...,ν„;

Ν)依次由未失效的至少两个存储节点分别下载至少一个编码数据块，并运算得到所述失效存储节点的编码数据块；

Ο)将得到的多个表示失效节点编码数据的编码数据块存储在新的存储节点。更进一步地，所述步骤 Ν)进一步包括：

N1 ) 由一未失效节点下载其编码数据块 _Ml, 由另一未失效节点下载其编码数据块 w₂, 其中， _Vl=_M,+_M2; 对所迷下栽的编码数据块进行运算，得到失效存储节点的编码向量 V, ;

N2) 由再一未失效节点下载其编码向量 M₃, 其中， v₂="₂+"₃; 对所述下载的编码数据块进行运算，得到失效存储节点的编码向量；

N3)选择新的未失效存储节点重复步骤 N2)，直到得到失效存储节点的编码向量 ν_α。

更进一步地，所述步骤 Ν) 中的运算为其对应的二进制数进行异或运算；所述步骤 Ν ) 中下载进行运算的编码数据块的存储节点相同或不相同。

实施本发明的通用射影自修复码的编码、数据重构和修复方法，具有以下有益效果：由于将存储文件分为数据块，且分别对数据块编码并将得到的相互独立的编码数据存储在多个存储节点，所以，在修复数据时可以单独下载各存储节点存储的数据块子集对失效的存储节点进行修复，其修复数据较为简单、下载的数据量较小。

附图说明

图 1是现有技术中 EC码的数据重构示意图；

图 2是现有技术中 EC码的失效存储节点修复示意图；

替换页（细则第 26条) 图 3是现有技术中 RGC码的数据重构示意图；

图 4是本发明通用射影自修复码的编码、数据重构和修复方法实施例中编码流程图；

图 5是所述实施例中一种情况下编码数据的存储分布示意图；

图 6是所述实施例中数据重构流程图；

图 7是所述实施例中数据修复流程图；

图 8是所述实施例中一种情况下编码数据的修复示意图；

图 9是所述实施例中一种情况下 GPRSC码和 MSR码的修复节点和修复带宽的折中曲线比较示意图；

图 10是所述实施例中另一种情况下 GPRSC码和 MSR码的修复节点和修复带宽的折中曲线比较示意图。

具体实施方式

下面将结合附图对本发明实施例作进一步说明。

如图 4所示，在本发明通用射影自修复码的编码、数据重构和修复方法实施例中，该编码方法包括如下步骤：

步骤 S41取得数据块：在本步骤中，取得需要存储的数据块，该数据块可能是将需要存储的、数据量为 B的文件等分为 k份而得到的数据块中的一个，在这种情况下，每个数据块包括 m个数据， B=mk; 也可以是数据量为 B的文件只有一个数据块，在这种情况下，数据块的数据量为 B; 在多个数据块的情况下，对于本实施例中的方法而言，也是逐个按照本实施例中所揭示的编码方法取得一个数据块存储在各存储节点的编码数据，并将这些数据存储在对应的存储节点中。因此，每个数据块存储在一个节点上的编码数据相互之间是独立的；同时，一个数据块存储在一个存储节点上的编码数据（该数据包括多个数据项）的数据项之间，也是独立的、不相关的。

步骤 S⁴2设置基本有限域，并将数据块在基本有限域上表示，进而得到第一有限域和第二有限域：在本步骤中，定义 GF( )表示大小为 q的有限域，为 GF(g)的 m- 维向量空间。射影几何 PG(/w-l， )是由的所有子空间组成。其中， PG(w-l , q)的点为维子空间，线为 2-维子空间。可以验证 PG(m-l , 中共有 ( 1)个点、有

替换页（细则第 26条) ( -ιχ ^-ιν^-ιχ^ι)个线。任意的两个不同的点都包含在同一个线中，任意的两个不同的线都相交于一个点。

通常称的 ( +l)-维子空间为 ί-空间。 PG( -l , 的 -扩展为 ί_空间的集合 S，其划分了 PG(w-l , 的点。存在 PG(m-l，的 ί-扩展的充要条件是汁 1整除 w。扩展有限域可以构造 ί-扩展,我们用 w-维有限域 GF(g^w)表示向量空间。在扩展有限域 GF(¾r) cz GF(^'^{+ 1}) c GF(g^w)中，用 GF(^")*表示 GF(g^m)的非零元素。显然 GF«)*是循环乘法群。其中， B、 k、 q、 t和 m均为正整 t+1可以整除111。

步骤 S43得到各存储节点的编码向量：在本步骤中，用 w为 GF^")'的一个固定生成元，而 V为 GF( '⁺Y的一个生成元， w和 V分别称为 GF(^")'和 GF(< +Y的本原元。对于 GF ( ; Γ的任意元素 2, 我们用 zGF(^^{+ 1})* = eGF(g'⁺¹)*}表示 GF(« )*的陪集。当 =0， 1 , 2, ...，（一1)/ ( ⁺¹— 1) — 1时，陪集 w'GF ( 形成了 PG( , q)的一个 ί-扩展。考虑到实际应用，码字的运算域为 GF(2)。大小为 β的文件被分割为大小相等的若干数据块，每个数据块的编解码方法都是一样的。因此，我们只给出一个数据块的编解码方法，不失一般性，考虑一个数据文件只含有一个数据块，大小为 Β, 可以用长度为 β的 GF(2)上的元素表示。令 ί为满足整除 β的正整数， N为正整数 (2^β-1 )/(2^ί+1 - 1)，也就是 GF ( ) *在 GF^+Y中陪集的个数。令 ^={ 1， v, v²,…， v'}为向量空间 GF(2'^{+ I})的一组基。对于 /=1 , 2，...，《，节点 i的编码向量分别为 t-扩展的一组基，即 νν'-' V, W~^] v²,…， ¹ v^t}是对应于节点 i， i=\, 2,..., n的编码向量。本实施例中，在一些情况下，也可以先设置上述步骤 S42 、 S43 , 在按照步骤 S42、 S43的限制，去划分数据块。也就是说，在一些情况下，可以先执行上述步骤 S42、 43，再执行步骤 S41。这些步骤之间可以视具体情况加以调节。

步骤 S44依据得到的编码向量，得到存储在各存储节点的编码数据：在本步骤中，节点存储的编码数据为数据文件与编码向量 ¹ ! '的乘积， ' = 0，1， 2,...，对于所有存储节点而言，分别使用对应的上述编码向量与数据块运算得到存储在该存储节点的、对应于该数据块的编码数据 (在存储文件只有一个数据块时对应该存储文件）。此时，乘积是指数据文件与编码向量对应的二进制数的异或运算。

总之，取数据量大小为 S的文件（为简单起见这里不进行文件分块，各文件快的编解码是一样的），将该文件用 GF(2) (为不失一般性，此处 q=2 )上长度为 B的向

替换页（细则第 26条) 量表示；取正整数满足整除 β。 V是 GF(2'⁺ )的本原元，构造编码向量 ={w''一¹， w^h] v， w' ¹ v²， ...， w'-¹ v'};节点 /存储的编码数据为数据文件与编码向量 —¹ 的乘积，/ = 0, 1，2，...，。乘积是指数据文件与编码向量对应的二进制数的异或运算。

为更加具体起见，给出一个 β=8，《=10以及 /=3的例子。 8位的数据 bits分别用 O ο₂, ο₃, ο₄, ο₅， ο₆, ο₇, ο₈表示。对这 8bits的数据进行编码并分别存储在 10个存储节点中，每个存储节点存储 i+l=4bits。具体说明如下：

设有限域 F₂，的生成多项式为 /(X) = X⁸ + X⁴ + X³ + X² + 1，其乘法群 F₂'₈的生成元为 _w，则 v -' =_w ²"=l。令 v=_w ^I7，则 V的指数和 0形成了子域 GF(2⁴)。存储节点 1的编码向量为 l,v,v²,v³，即为 N₁₌{1， w¹⁷, w³⁴, w⁵¹}. 而另外 7个存储节点存储的向量空间分别为

W²¹ ,

w⁴¹, w⁵⁸}, N₉-{w⁸, w²⁵, w⁴ w⁵⁹}, N₁₀={w⁹, w²\ w⁴³, w⁶⁰}„ 指定前 8个元素分别表示为 1 =00000001, w = 00000010, w²= 00000100, w³= 00001000, w⁴= 00010000, w⁵= 00100000, w⁶= 01000000, w⁷= 10000000。那么对于存储节点 1, 其编码向量可以计算出， V =

w³+w所以节点存储的编码数据分别为。 0₄+0₅+0_S, 0₂+0₃+0₄+0₇和 0₂+0₄。同理，可以依次计算出其它节点的数据块存储情况，图 5给出了本实施例中 GPSRC(10， 2)存储的编码数据分布图。

通过本实施例中 GPSRC码（General Projective Self-Repairing Codes , 通用射影自修复码）的构造过程可知，文件 S被存储在 η个节点中，每个节点存储的数据量为并且每个节点存储数据的编码向量是相互独立。当 Λ 2时， PSRC码和 GPSRC码均不满足 MDS特性。可见 GPSRC码的重建过程不同于之前的 RS码、 EC码以及 RGC码等。

GPSRC的编码矩阵的任意一列的连续 B个元素相互独立。不妨假设数据收集者分别下载了节点 /， ...， i+B的第一个编码数据，编码向量分别为 w''， w^, ...， w^i+B~ 如果存在 B个不全为 0的系数 c₂,…， c_B, 使得 c】 w' + c₂ ...+ c_B W'^+B-' =0。那么对上式两端同时除以，则得到 ^^^：：^+…+^^^¹等于 0,这与 l，w¹,...，H^¹是GF(2^β) 的一组基是相互矛盾的。

因此， GPSRC码的重建数据的方法为：下栽连续的 β个存储节点的第 /列编码数

替换页（细则第 26条) 据， 1≤/≤(ί + 1)。我们知道，编码矩阵的任意一列的连续的 8个元素均相互独立，所以可以解码出 β个原始数据，即可以恢复出原始数据 β。

请参见图 6, 在图 6中示出了本实施例中 GPSRC码的数据重建过程，包括如下步骤：

步骤 S61选择等于存储文件数据量或数据块数据量的存储节点：在本步骤中，由 t-1个存储节点中，选择等于存储文件数据量或存储文件等分后得到的数据块数据量个存储节点，例如，如果丈件或数据块中数据为 8bits, 则选择 8个存储节点。值得一提的是，如杲存储文件只有一个数据块，且为 B个，则上迷选择的存储节点的数量为 B; 如果该存储文件被等分，则上述存储节点的数量是该数据块中数据的数量。不管何种情况出现，在本实施例中，这些被选择的存储节点一定是连续的。在本实施例中，作为一个例子，在存储文件只有一个数据块且其中数据量为 B的情况下，选择的存储节点数量为 B, 此处 B的数值与存储文件包括的数据量 B是相同的。

步骤 S62分别下载所选存储节点中的第 I列编码数据：在本步骤中，下载上述步骤中连续的 8个存储节点的第 /列编码数据，其中， 1≤/≤(/ + 1)。

步骤 S63将各存储节点下栽的编码数据分别与其对应的解码向量运算，得到其数据块：由于从各存储节点下载的数据是编码数据，需要将其解码，并组合起来才能得到当初经过编码存储在存储节点的原始数据。而在本步驟中，就是将下载的编码数椐分别按照取得该数据的存储节点的位置进行解码。通常来讲，各个存储节点的编码是不同，将各存储节点用于编码的编码向量按照其存储数据的位置对应起来时，就形成该存储节点的编码矩阵。解码也是一样，同样存在用于解码的向量或矩阵。由于编码矩阵的任意一列的连续的 β个元素均相互独立，故通过下栽的数据与解码矩阵，解码出原始数据。实际上，使用的是解码矩阵中与下载数据对应的解码向量。在本步骤中，解码矩阵是各存储节点编码矩阵的逆矩阵，按照编码数据所在位置，即可由解码矩阵中得到解码向量。所以，在本步驟中，解码向量通过取得各存储节点的编码向量后求其逆而得。编码数据与解码矩阵的运算为其对应的二进制数进行异或运算。

步骤 S64组合得到的数据块，得到存储文件：将解码出的数据进行整合，恢复出原始数据 Β。

请参见图 7 , 图 7示出本实施例中数据修复的过程，包括如下步骤：

替换页（细则第 26条) 步骤 S71确定失效存储节点，并设置其编码数据：在本步骤中，确定一个存储节点是否失效，如果一个存储节点失效，由其所在位置（或节点编号）可以得到该存储节点的编码矩阵或编码向量。在本步骤中，当确定一个存储节点失效后，可以先设置其编码数据为 _Vi， v₂,...,_Va ; 在后面的步骤中，逐个得到上述编码数据中的每个数据块，将其组合后存储在新的节点，即可完成数据修复。

步骤 S72分别由至少两个存储节点下载至少一个编码数据修复失效存储节点的编码数据：在本步骤中，分别由至少两个未失效的存储节点中分别下载至少一个编码数据，分别得到上述步骤中设置的失效节点的编码数据或编码数据块。具体来讲，在本实施例中，由一未失效节点下载其编码数据块 _Ml , 由另一未失效节点下载其编码数据块^ , 其中，这两个未失效存储节点下载的数据存在以下关系： v, = _Ml + "₂ ; 对所述下载的编码数据块进行运算，得到失效存储节点的编码向量 v,。由再一未失效节点下栽其编码向量 _¾3 , 将其与上述步驟中已经下载的编码数据配合，其中，该再一存储节点和已经现在过编码数据的存储节点上下载的数据存在以下关系： V₂ = M₂ +«₃; 对这编码数据块进行运算，得到失效存储节点的编码向量 v₂。之后，选择新的未失效存储节点重复上述步骤，直到得到失效存储节点的编码向量 v_a。在本步骤中，上述编码数据之间的运算为其对应的二进制数进行异或运算；此外，在本步骤中，上述下栽进行运算的编码数据块的存储节点相同或不相同，即在某些情况下，可以由一个存储节点下载两个编码数据并进行运算。当然，在一些情况下，一个存储节点也可以根据情况选择下载多个数据块并进行运算。

步骤 S73得到失效存储节点的编码数据并存储在新节点：在本步骤中，将上述步骤中得到的多个编码数据块组合在一起，请将其存储在一个新的存储节点上，完成数据修复。

在本实施例中，在 PSRC(n， Ar)码中，共有 r/个存储节点，每个存储节点存储《的编码数据量。当一个存储节点 Λ/,失效时，可以通过选择任意 1个存储及其相应的另一个存储节点并下栽这 2个存储节点来恢复出失效节点 Λ/,存储的数据。 GPSRC(n, /r)码中，当一个存储节点失效时，那么最多从（ " +l ) = ( f+2 )个存储节点中各下载一个数据，修复带宽为（ = ( t+2 )。

替换页（细则第 26条) 一个失效的数据可以通过任意的选择 1 个节点的数据并对应的下载另一个节点的一个数据来恢复。假设一个节点丟失数据的编码向量为 V,， V₂， …， v_a, 那么可以任意的选择一个节点的编码向量 _Wl 以及相对应的另一个节点的编码向量《₂，使得 V l^+I^ 之后，选择修复 V₂的一个编码向量为《₂以及其相对应的编码向量 " ₃使得 V₂="2+"₃。同样的道理，可以得到 V₃=W₃+l₄, ...， v_a = _U„_+M„₊,。所以修复编码向量 V,, V₂, 共下载了最多（《+1)个存储节点的编码向量 (W_t，《₂， u_a+ ), 修复带宽为

(«+1)。同时，我们称该修复过程为最佳带宽修复过程。

在图 5给出的 GPSRC(10,2)码中，当节点 1失效时，首先下载节点 2的 {«!==00010100} 和节点 6的编码向量 {w₂ = 00100000+00110101 = 00010101}可以修复向量 ^=",+"2 = 00000001} ₀ 根据最佳带宽修复过程，下载节点 3 的 {«₃=01011010}节点 4 的 {«₄=01010000}和节点 7的 {w₅=11001001}即可恢复出节点 1的所有失效数据。修复过程为 {Vi^ +l^, 3=«i+M_3i V₄="₄+"₃, Vfl^+I^+Vje 爹复带宽为 5，复节点为 5。其他节点的修复带宽也均是 5。

如图 8所示，节点 1存储数据量可以由其它节点的数据块相异或而得出，具体地说， Λ/ι = Λ/₂(ο₃+ο₅) + N₃(o₂+o_A+o_s+o₇) + Λ/₄(ο₅+ο₇) + Λ/₆(θι+ο₃+ο₅) + /N ^+OA+C^+OS)。那么若节点 1 失效，在修复过程中需要下载节点 2 的数据块 (o₃+o₅)、节点 3 的数据块 (θ2+ο₄+ο₅+ο₇), 节点 4的数据块 (o_s+o₇)、节点 6的数据块 (0 i"O₃+0₅)和节点 7的数据块

(CH+04+07+08)即可修复节点 1 存储的数据。其它节点存储的数据的修复过程与第一个节点的表示方法类似地得出。

这里补充说明的一点是，每个节点存储的原始数据块之间是可以相异或的。具体地说，为了修复节点 9存储的数据块，需要从前 8个节点存储的数据块中选择一些数据块进行异或运算。然而，这些节点存储的原始数据是并不能直接修复出节点 9丢失的数据块。这时我们需要将前面节点存储数据块进行简单异或来进行修复。比如，为了修复出节点 9 的数据块 ( +(¾)，可以选择节点 8 的数据块 (^+02+03+04+08)、 (ο₃+σ₅+σ₇+ο₈)简单异或，得到数据块 (^+02+04+05+07)。同时选择节点 4的数据块 (ο₄)、

(0₅+0₇)简单异或得到 (0₄+0₅+0₇)。所以有， (θι+0₂) = (Oi+0₂+0 +Os⁺07) + (Ο4+Ο5+Ο7)» 同理可以修复出节点 9的其它数据块，节点 10的修复方式亦然。

根据以上分析，我们给出 GPSRC的一般修复过程。首先，可以从两个节点分别下

替换页（细则第 26条) 栽 t个编码数据，可以修复失效节点的 ί个编码数据；同时，我们下载一个编码数据和已经下载的 2t个编码数据一起修复失效节点剩下的一个编码数据。以上爹复过程的修复带宽为 2t+l、修复节点为 3。同理，可以从两个节点中分别下栽 (f-1)个编码数据块并从另外两个节点下栽两个编码数据，这样，修复带宽为 2ί, 修复节点为 4。同理可以得出其它节点的修复过程，统称这些修复过程为一般修复过程。一般修复过程在修复带宽和修复节点性能中有一个折中，该折中函数可以表示为

/+d = 2t+4 = 2(l+S ) ， for t+2 > d> 2

其中， y为修复带宽， d为修复节点。所以修复带宽可以表示为

= _{+ 2}— _2≤4_≤(, _{+ 2)}。图 9和图 10分别给出了参数 8=16 r=4和 8=32, ^=4 k ， f

时 GPSRC和 MSR码的折中曲线。可以得到当给定修复节点数量时， GPSRC的修复带宽小于 MSR码的修复带宽，而当给定修复带宽时， GPSRC的修复节点数量也小于 MSR 码的修复节点。因此，可以说，一般情况下 GPSRC在修复带宽和修复节点性能中均优于 MSR码，尽管其代价为失去 MDS特性。

在本实施例中的通用射影自修复码（GPSRC ) 与 RGC码不同之处在于， RGC码主要思想还是利用 MDS属性，当网络中一些存储节点失效，需要从现有有效节点中下栽信息来使得丟失的数据修复丢失的数据模块，并将其存储在新的节点上。再生过程需要确保两点： 1 ) 失效的节点间是相互独立的，再生过程可以循环递推； 2 )任意1^个节点就足够恢复原始文件。 RGC码中要重构任意一个模块，至少需要和其他 k个节点通信，当只有一个模块丢失，所需要的最小通信量是与所有活动的 n-1个节点通信，而 GPSRC码则比较灵活，修复节点和修复带宽可以折中考虑，最少只需要和 2个节点进行通信。

HSRC码的编码需要计算多项式相对较复杂，系统计算复杂度较高。同时为了修复一个特定的失效节点，一旦随机的选择了一个节点为辅助节点，就只剩下一个节点可供选。 GPSRC码则不同，修复一个失效节点可以存在多种修复方案。具体来说，对于一个失效节点，至少存在一个节点对可以进行 "复。

在本实施例中， GPSRC码在修复节点和修复带宽方面可以折中考虑，具体编码方案实施过程中可以达到修复节点少，修复带宽小的效益，特别适合应用于实际的分布式存储系统。同时， GPSRC码提供了有效的冗余修复方案，具体包括： 1 )丢失的编

替换页（细则第 26条) 码块可以直接下载其他编码模块的若干子集进行修复，下栽的数据量小于整个文件的数据量； 2 )丟失的编码块可以通过固定数目的编码模块进行^ "复，该固定数目只与系统丟失了多少模块数有关，而与具体哪些模块丟失无关。这些属性使得修复一个丢失模块的负栽比较低，同时可以独立并发地修复不同丟失模块。

GPSRC码不仅满足 PSRC的基本特性，而且在选择存储节点的数量上更灵活，相比于之前的编码方案， GPSRC的编码效率更高。一个 GPSRC(n，k)码可以通过远小于 k 个节点来修复一个失效模块，而且很多情况下一个节点的修复能力不止一个，那么修复一个丟失模块所需要的节点数大幅度减少，从而也减少了系统的通信开销； GPSRC 码的构造过程、修复过程和重建过程均只涉及异或运算，所以计算复杂度很低、计算开销很小，适合实际的存储系统； GPSRC码可以并发修复不同的模块，很大程度上降低了系统修复时延，这使得 GPSRC易于实施、修复代价低。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

替换页（细则第 26条)

Claims

权利要求书

1、一种通用射影自修复码的编码方法，其特征在于，包括如下步骤：

A )取得需要存储的、数据量为 B的文件，将其等分为 k个数据块，每个数据块包括 m个数椐；

B)设置大小为 q的基本有限域所述每个数据块在所述基本有限域上用长度为 m的向量表示；所述基本有限域的 m-维向量空间为 W, 所述 W的所有子空间组成射影几何 PG (m-l，q); 所述 W的（ t+1 ) -维子空间为 t-空间，所述 t-空间的集合 S为 t-扩展;得到第一有限域 GEfe'+和表示所述向量空间 W的第二有限域 G ^)， GF{q)^GF{q'⁺ )aGF(q^m) 其中， B、 k、 q、 t和 m均为正整数， t+1能整除 m;

C )取得表示所述第二有限域非零元素的循环乘法群 G/^")'， w为其本原元；取得表示所述第一有限域非零元素的循环乘法群 GE '⁺¹)'， V为其本原元；构建存储节点/的编码向量^- '-¹ '-^ ²，..., '-'^，存储节点的编码向量分别为所述 t-扩展的一组基；其中， ,'为表示存储节点数的正整数， / = U,...，i;

2、根据权利要求 1 所述的通用射影自修复码的编码方法，其特征在于，还包括如下步骤：将多个数据块分别与各存储节点的编码数据相乘后得到的编码数据分别依次存储在各存储节点。

3、根据权利要求 2所迷的通用射影自修复码的编码方法，其特征在于，所述步骤 D ) 中编码向量与数据块相乘为其对应的二进制数进行异或运算。

4、一种在采用如权利要求 1 中所述的通用射影自修复码编码方法的存储系统中数据重构方法，其特征在于，包括如下步骤：

I)选择 t- 1 个存储节点中的连续的、等于存储文件数据量或存储文件等分后得到的数据块数据量个存储节点；

J) 下载所述选择的存储节点中的第 /列的编码数据， /为正整数， 1≤/≤(/ + 1)； K)分别取得所述选择的存储节点的解码向量，与其下载的编码数据运算，得到解码后的数据块；

L)处理所述分别得到的数据块，得到存储文件。

替换页（细则第 26条)

5、根据权利要求 4所述的数据重构方法，其特征在于，步骤 K )所述的解码向量为各存储节点的编码向量的逆矩阵，其通过取得各存储节点的编码向量后求其逆而得。

6、根据权利要求 5所述的数据重构方法，其特征在于，步骤 K ) 中所述编码数据与解码矩阵的运算为其对应的二进制数进行异或运算。

7、根据权利要求 6所述的数据重构方法，其特征在于，在所述步骤 L )中组合所述步骤 K ) 中得到的数据块，得到存储文件；所述组合包括按照设定顺序排列所述数据块。

8、一种在采用如权利要求 1 中所述的通用射影自修复码编码方法的存储系统中数据重构的方法，其特征在于，包括如下步骤：

M )确认一存储节点已经失效并得到该存储节点的编码数据块，设该失效的存储节点的编码数据块为 _V|， v₂,...,v_ff；

N )依次由未失效的至少两个存储节点分别下栽至少一个编码数据块，并运算得到所述失效存储节点的编码数据块；

0 )将得到的多个表示失效节点编码数据的编码数据块存储在新的存储节点。

9、根据权利要求 8所述的数据重构的方法，其特征在于，所述步骤 N )进一步包括：

N1 ) 由一未失效节点下载其编码数据块 w,，由另一未失效节点下载其编码数据块《₂ , 其中， +«₂；对所述下栽的编码数据块进行运算，得到失效存储节点的编码向量 ν_{ι ;}

N2 ) 由再一未失效节点下载其编码向量 M₃ , 其中， V₂ - M₂ +^ ; 对所述下载的编码数据块进行运算，得到失效存储节点的编码向量 v₂；

N3 )选择新的未失效存储节点重复步骤 N2 ), 直到得到失效存储节点的编码向量。

10、根据权利要求 9所述的数据重构的方法，其特征在于，所述步骤 Ν ) 中的运算为其对应的二进制数进行异或运算；所述步骤 Ν ) 中下载进行运算的编码数据块的存储节点相同或不相同。

替换页（细则第 26条)