WO2013185271A1

WO2013185271A1 - 网络存储中抗拜占庭失效的数据重构、失效数据恢复方法及装置

Info

Publication number: WO2013185271A1
Application number: PCT/CN2012/076694
Authority: WO
Inventors: 黄显霞; 李挥; 缪伟豪; 鲁跃; 傅峰春; 王茂亮
Original assignee: 北京大学深圳研究生院; 华夏城视网络电视股份有限公司
Priority date: 2012-06-11
Filing date: 2012-06-11
Publication date: 2013-12-19
Also published as: CN103703446B; CN103703446A

Abstract

本发明涉及一种网络存储中抗拜占庭失效的数据重构方法：从k个存储节点下载其所存储的编码数据和校验值，得到矩阵Y并得到CRC校验和；对矩阵Y进行错误擦除解码，得到码字C'；由码字C'得到信息序列m'并判断信息序列m'能否通过CRC校验，依据判断结果结束数据恢复或再下载两个新的节点存储的编码数据和校验值，再次得到矩阵Y和校验和，继续上述过程直到得到通过校验的信息序列m'；否则，解码失败退出。本发明还涉及一种数据恢复装置、失效数据修复方法及装置。实施本发明的网络存储中抗拜占庭失效的数据重构、失效数据恢复方法及装置，具有以下有益效果：可以抗拜占庭失效节点、数据传输有误时还有进一步的方法来恢复存储数据。

Description

网络存储中抗拜占庭失效的数据重构、失效数据恢复方法及装置技术领域

本发明涉及分布式网络存储领域，更具体地说，涉及一种网络存储中抗拜占庭失效的数据重构、失效数据恢复方法及装置。

背景技术

随着新的存储媒介的出现以及存储设备成本越来越低，存储成为了一种必需品。但是，对于大规模的分布式存储系统来说，可靠性的要求也越来越高。随着软硬件产品使用越来越广，宕机和拜占庭失效也越来越频繁。为了保证可靠的存储，需要在网络存储系统中增加一定的冗余。冗余可以通过一种简单的复制数据来实现，但是存储效应不高，而糾错码提供一种不同于复制的有效存储方案。一般编码方式为一个 (n,k)MDS ( Maximum Distance Separable 最大距离可分离）纠错码（例如 RS码（即 reed-solomon codes,—种前向糾错码） ) 。首先，用有限域 Fq中的元素个数来表示数据文件的大小， B表示文件包含的原始个数。其次，使用 RS码需要将一个原始文件分成 k个大小相等的模块，并通过线性编码生成 n个互不相关的编码模块，由 n个节点存储不同的模块，并保证 MDS属性，也就是一个终端用户或信宿通过下载 n个存储节点中任意 k个节点的编码数据就可重构原始文件。这种编码技术在提供有效的网络存储冗余中占有重要的地位，特别适合存储大的文件以及档案数据备份应用。

由于节点失效或者文件损耗，系统的冗余度会随着时间而逐渐丧失，因此需要一种装备来保证系统的可靠性和相应的容借性。文献 [R.Rodrigues and B.Liskov,"High Availability in DHTs: Erasure Coding vs. Replication", Workshop on Peer-to-Peer Systems (IPTPS)2005.] 中提出的纠错码，在存储开销上是比较有效的，然而支持冗余恢复所需要的通信开销也比较大。在失效节点修复过程中，首先从系统中的 k 个存储节点中下载数据并重构原始文件；然后由原始文件再重新编码出新的模块，并存储在新节点上。该修复过程的一个缺点是：为恢复一个存储节点的数据需要下载整个数据文件 B ,对于修复带宽来说是一种浪费。

RS 码是一种糾错码，该编码不仅可以从节点失效中恢复节点所存储的数据，也可以从拜占庭节点（节点数据被篡改）中恢复。 RS码工作在 m比特的符号上，所有的符号都来自有限域 GF(2^m)。一个 (n,d) RS码是一个线性编码，参数 n = 2^m _ l, n - d = 2t , 其中 n是一个码字的总共符号数， d是总共信息符号数, t是 RS码错误糾正能力。在文献 [I. S. Reed and G. Solomon, "Polynomial codes over certain finite field,"J.Soc.Indust. and Appl. Math.(SIAM), vol. 8 (2), pp.300-304, 1960]中给出 RS码的编码过程。首先，令有限域 GF(2^m)中的 d个信息符号序列为 _M = [_M。, 山 U(X)是由 U 中信息符号作为系数的多项式，可以表示成： u{x) = u_Q + u₁x -\ ^ u_d__xx― 。其次，码字多项式 c(x)相当于 u(x)被编码为： c(x) = u(x)x"-^d + (u(x)xⁿ-^d mod g(x))„ 其中 g(x)是 RS码的一个生成多项式， g(x)可以表示为： g(x) = (;c α² ) · · · ( — ^ go + giX十… + g_2ijc²ⁱ , 其中 a 是有限域 GF(2^m)的一个生成元， _gi s GF(2^m ) . RS码是一个对称码，其中信息符号，，， ^是多项式 c(x)中的系数。 RS码也可以通过将码字 C看成信息序列进行编码， Ρ

»

RS码的解码过程相对复杂。令 r(x)为所接收的多项式， r( ) = c(x) + e(x) + χ(χ) = c(x) + λ{χ)，其中 _{e( )} = D_jXj是错误多项式， ,(χ) = γ.χ'是擦除多项式， (X) =∑ⁿ^x^j = e(x) + γ(χ) 是正误表多项式。由于 g(x)和 C(x)有

，可以根据这些根来判断错误位置并恢复信息符号。 RS码提供码字之间最大的距离，因而是一种最佳码，只要差错个数 V满一个 (n,d)RS码就可进行数据恢复，其中 s是擦除的数或不能复原的符号

数。

图 1 列出了 RS 码解码的基本流程，第一步中的 n-k=2t 个伴随式主要是通过 s = ( ,..., ) = _cH^r计算，其中 Η为 RS码的校验矩阵， = α'·) = ό，1≤ ≤2 第二步中，假设接受矢量中存在 V (不超过 t)个错误，分别位于 ,Λ,.,., , e(x) = x^h+x^h+--x^k , 错误多项式 σ(χ) = (1— ΑΛ)(1— ₂χ)···(1— Ar¾) = (7。+_CTlx + "' + _CTvx^v , 其中 β^' , Ζ = 1,2"··,ν反映了错误位置的情况。第三步用钱搜索解出错误多项式 σ(χ)的根，得到错误位置数，再由错误位置数求得错误值从而得到错误多项式 e(x)。最后由 c(x)=r(_X)-e(x)判定码字，从而恢复信息符号。这种处理错误和擦除的解码也称作错误擦除码。在 GF(2^m)中，加法相当于位之间的异或操作，乘法是通过乘法表或离散的对数表进行运算。为了降低乘法操作的复杂性，可以构造一个不同的生成矩阵，将乘法操作也转换为异或操作。

再生码在修复过程通过在每个节点存储额外的符号或者访问更多的存储节点来实现带宽效益。令《为存储在每个存储节点上的有限域 <^(2 符号数， ≤«为在再生过程从每个存储节点所下载的数据量。为了恢复失效节点所存储的数据，一个新来者（即失效数据的恢复者）需要访问 d个存活节点，则总共修复带宽为 J 。一般情况下，总共修复带宽少于 B (而传统的 RS码需要的修复带宽为整个数据文件的大小）。一个再生码不仅可以再生丟失的编码数据还可以用于重构原始信息符号。令存储节点数为 n，一个（ n,k,d ) 再生码要求至少 k个节点进行原始数据恢复，至少 d个节点进行数据再生，其中 ≤^ ≤«-1。在文献 [Y. Wu, A.G.Dimakis, and K. Ramchandran, "Deterministic regenerating codes for distributed storage," in Proc. of 45th Annual Allerton Conference on Control, Computing, and Communication, UrbanaChampaign, Illinois, September 2007]的研究结果中，表 ^信源和信宿之间的割集界限值必须满足公式（ 1 ): (1)

在公式（ 1 )中求出《最小值将会构成一个最小存储的再生码；求出最小值将会构成一个最小修复带宽的再生码。在实际中，存储量《和修复带宽不可能同时取到最小值，因此在存储和修复带宽间存在一个折中。这两个极值点分别叫做 MSR 码 ( Minimum- storage Regenerating , 最小存储再生 ) 和 MBR 码 ( Minimum-bandwidth Regenerating, 最小带宽再生）。在 MSR码中，和值可以通过先求出 "的最小值，然后求出满足要求的的最小值，如公式（2)所述： .(2)

在 MBR码中，《和值是先通过求出 β的最小值，再求出 a的最小值，如公式（ 3 ) k(2d - k + l)

所述: 2B

k(2d - k + l)

一个参数为 Α^β)的（η, k, d ) RC码，满足最佳的条件是： 1 ) (^α，Αβ)在公式（1 ) 中取等号； 2 )减小 "或值会导致新的参数不满足公式（ 1 )。因此上述 MSR码和 MBR 码均是最佳再生码。

，令 ^{= 1} , 则公式（ )和（3 )分别筒化为：

当节点失效，有三种修复方式，分为精确修复、功能修复和系统部分精确修复。在精确修复中，失效的模块需要正确构造，恢复的信息和丢失的一样；在功能修复中，新产生的模块可以包含不同于丢失节点的数据，只要修复的系统支持 MDS码属性；系统部分精确修复是精确修复和部分修复的之间的一个混合的修复模型，在这个混合模型，对于系统节点（存储未编码数据）要求必须精确恢复，对于非系统节点（存储编码模块），则进行功能修复。相比精确修复，功能修复具有以下不足： 1 )在存储系统中，服务器必须知道全局的编码系数，因而要求服务器必须不断更新修复节点的编码系数； 2 ) 由于编码系数的变更，系统修复函数和数据重构的解码函数均需要重新调整； 3 )每次修复过程均需要增加包头以更新编码系数。精确修复不需要以上操作，而且精确修复可以编码成系统码。

现有的精确再生码中，存储节点中的每个码字可以用矩阵 C(w x c 的第 i行表示，矩阵 C的每一行均有 c个符号，而矩阵 C是由 C = ^M求出，其中 ^为 η χ d的编码矩阵， M为 dx« 的信息矩阵。矩阵 ^是事先就确定的且独立于信息符号 B。矩阵 M包含了 B个信息符号，其中的符号有可能是一样的。码字矩阵 C的第 i行可以表示为 cXM , 其中 ^为编码矩阵 ^的第 i行， t用来表示矩阵的转置。在该模型中，所有的符号均属于大小为 q的有限域 Fq。

数据重构是指客户端从任意的 k个存储节点获取 k«符号并解码出信息矩阵M。客户端下载的！^个存储节点用 ^，…，^表示，第 j节点将信息向量 /传输给客户端。这样客户端可以收到数据矩阵^ _CM，其中^ _c是矩阵 ^的 k行^ ...,^ }子矩阵。所以，客户端就可以利用矩阵 ^和 M的特性解码出信息码字。

在失效节点的精确再生过程中， A为长度为 α的向量，它为向量 ^的一部分。为了恢复失效节点 f，代替节点 f的新节点需要从现存存储节点中选择 d个 {h_l ... ,h_d}并各下载一个符号，这 d个节点称为帮助节点，每个帮助节点传输一个符号给新节点，该符号为其存储的"个符号的内部运算，帮助节点 1¾传输的符号为 .M/i 因此新节点可以获得矩阵 r_epairM _f , 其中 _p∞为矩阵 ^的 d行 {^,...， }子矩阵。在再生过程中，各个新节点只需要知道失效节点 f的编码系数，并不需要其他的编码系数。

现有精确再生码只考虑到节点宕机失效后丢失数据的再生过程，而并没有考虑拜占庭节点的情况。对于重构以及再生的数据没有进行正确性验证，从而使得整个系统数据极易被污染。另外，在执行数据重构或再生过程中，当数据传输有误时，并没有进一步的方法来恢复存储数据。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述没有考虑拜占庭节点的情况、数据传输有误时没有进一步的方法来恢复存储数据的缺陷，提供一种已考虑拜占庭节点的情况、数据传输有误时还有进一步的方法来恢复存储数据的网络存储中抗拜占庭失效的数据重构、失效数据恢复方法及装置。

本发明解决其技术问题所采用的技术方案是：构造一种网络存储中抗拜占庭失效的数据重构方法，包括如下步骤：

A )从 k个存储节点下载其存储的编码数据和校验值，由这些编码数据得到矩阵 Y; 由下载的校验值得到校验和，所述校验和为 CRC校验和；

B ) 对所述矩阵 γ进行错误擦除解码，得到码字 σ ；

c ) 将码字 σ 与编码矩阵进行运算得到信息序列 m' ；

D )判断所述恢复的信息序列 m' 是否能够通过所述 CRC校验和的校验，如能，结束数据恢复；否则，执行步骤 E );

E )判断剩下的、未下载的有效存储节点是否大于 1 ,如是，执行步骤 F ); 否则，判断解码失败并退出；

F )在剩下的存储节点中下载两个节点存储的编码数据和校验值，替代之前下载的两个存储节点，得到所述矩阵 Y和校验和；并返回步骤 B )。

在本发明所述的一种网络存储中抗拜占庭失效的数据重构方法中，所述数据编码包括最小存储再生码或最小带宽再生码。

在本发明所述的一种网络存储中抗拜占庭失效的数据重构方法中，所述 CRC校验值通过 RS编码后与存储在所述存储节点上的编码数据一起存储在所述存储节点上；所述步骤 A ) 中，其编码数据和编码后的校验值一起下载。

在本发明所述的一种网络存储中抗拜占庭失效的数据重构方法中，所述步骤 B )进一步包括：对所述矩阵 Y的每一行执行错误擦除解码，得到码字 C' 。

在本发明所述的一种网络存储中抗拜占庭失效的数据重构方法中，所述步骤 C )进一步包括：

C1 ) 由公式 t/' = C' . G 得到矩阵 U' ；其中， G^-¹是生成矩阵前 k列的逆；

C2 )依据所述矩阵 U' , 得到信息序列 m' 。

在本发明所述的一种网絡存储中抗拜占庭失效的数据重构方法中，所述步骤 B )进一步包括：对所述矩阵 Y的最后 d-k行执行错误擦除解码，得到所恢复的矩阵 C' 的最后 d-k行码字 C_d— _A ; 其中，所述 C'是一个 αχ«维的码字向量。

CY )通过公式 =^-_¾ 得到矩阵 Λ , 并计算 Λ · ; 其中，是的转置矩阵， G是（n,d ) RS码编码时的生成矩阵， G_k和 B是构成生成矩阵 G的两个子矩阵，是子矩阵的逆； 0_k 是子矩阵的前 k列， _λ是所恢复码字向量 C ' 中的最后 d-k 行中的码字；

C2' )通过公式得到矩阵其中， E是 · β中的第 Λ列、第列、…、第 — i列重新组成的矩阵， S是编码时设定的帮助节点数；

C3' )在矩阵 Γ 的每一行中执行错误擦除解码，得到码字向量 C'的前 k行矩阵 G 按照 4 = . ( ¹得到 A；

A, A₂

C4' )通过取得的和通过恢复信息序列 m' ; 其中， 0是一个

A₂ O

(d-k)x(d-k)的全零矩阵。

本发明还涉及一种网络存储中抗拜占庭失效的数据重构装置，包括：

数据下载单元：用于从 k个存储节点下载其存储的编码数据和校验值，由这些编码数据得到矩阵 Y; 由下载的校验值得到校验和，所述校验和为 CRC校验和；

码字取得单元：用于对所述矩阵 Y进行错误擦除解码，得到码字 C' ；信息取得单元：用于将码字 C 与编码矩阵进行运算得到信息序列 m' ；校验单元：用于判断所述恢复的信息序列 m' 是否能够通过所述 CRC校验和的校验；

剩余节点判断单元：用于判断剩下的、未下载的有效存储节点是否大于 1; 数据替换单元：用于在剩下的存储节点中下载两个节点存储的编码数据和校验值，替代之前下载的两个存储节点，得到所述矩阵 Y和校验和。

在本发明所述的一种网络存储中抗拜占庭失效的数据重构装置中，所述信息取得单元包括：

第一运算模块：用于由公式^/^ ^^^得到矩阵！；' ；其中， G^-¹是生成矩阵的逆；

第一信息取得模块：用于依据所述矩阵 U' , 得到信息序列 m' 。

第二运算模块：用于通过公式 ^=^— .0 得到矩阵¾，并计算 ·β; 其中，是的转置矩阵， G是（n,d) RS码编码时的生成矩阵， G_A和8是构成生成矩阵 G的两个子矩阵，是子矩阵(¾的逆；是子矩阵<¾的前 k列， _¾是所恢复码字向量中的最后 d-k行中的码字；

第三运算模块：用于通过公式 F = _£，得到矩阵其中， E是中的第 Λ列、第 Λ列第 ^列重新组成的矩阵， s是编码时设定的帮助节点数；

第四运算模块：用于在矩阵 '的每一行中执行错误擦除解码，得到码字向量 C'的前 k行矩阵按照 Λ ^·^-¹得到 Λ;

Α Α_Ί

第二信息取得模块：用于通过取得的和 Λ,通过 , 恢复信息序列

0

其中， 0是一个（J- )x(i - )的全零矩阵。

本发明还涉及一种网络存储中抗拜占庭失效的失效数据恢复方法，包括如下步骤： M) 选择 d个存储节点对失效的存储节点 i中存储的编码数据进行修复；被选择的 d个存储节点分别计算所存储的编码数据中的 α个字符和的内积；依据所述 d个存储节点存储的编码数据，得到矩阵 i;_xd , 并得到存储节点 i 的 CRC 校验和；其中， gi =[1, WH ¹)²,..^-¹)^¹] , 通过存储节点标号 i和生成元构建；

N )在所述矩阵 r„_xd的每一行执行错误擦除解码，得到码字 C；

0 )通过公式 M = C'.G- ¹和（gA)^T Υ^Α , 得到存储节点 i所存储的信息 s; P )判断所述恢复的信息 s是否能够通过所述存储节点 i的 CRC校验和的校验，如能，结束数据恢复；否则，执行步骤 Q );

Q )判断剩下的、未下载的有效存储节点是否大于 1 , 如是，执行步驟 R ); 否则，判断恢复失败并退出；

R )在剩下的存储节点中下载两个节点存储的编码数据和校验值，替代之前下载的两个存储节点，得到所述矩阵 Y和校验和；并返回步骤 N )。

在本发明所述的一种网络存储中抗拜占庭失效的失效数据恢复方法中，所述编码数据包括最小存储再生码编码数据或最小带宽再生码编码数据。

在本发明所述的一种网络存储中抗拜占庭失效的失效数据恢复方法中，所述 CRC校验值通过 RS编码后与存储在所述存储节点上的编码数据一起存储在所述存储节点上；所述步骤 M ) 中，其编码数据和编码后的校验值一起下载。

本发明还涉及一种网络存储中抗拜占庭失效的失效数据恢复装置，包括：

失效数据下载单元：用于选择 d个存储节点对失效的存储节点 i中存储的编码数据进行修复；被选择的 d个存储节点分别计算所存储的编码数据中的 α个字符和的内积; 依据所述 d个存储节点存储的编码数据，得到矩阵 i _xrf ,并得到存储节点 i的 CRC校验和；其中， ^^W'^-1)¹ ")²,… ' ' 叫，通过存储节点标号 i和生成元 a构建；

失效数据码字生成单元：用于在所述矩阵 „_X(i的每一行执行错误擦除解码，得到码字 C' ;

失效数据信息取得单元：用于通过公式 M = C'.G- ¹和（&A)^T +(a^l4)"(gA) , 得到存储节点 i所存储的信息 s;

失效数据 CRC验证单元：用于判断所述恢复的信息 s是否能够通过所述存储节点 i的 CRC校验和的校验；

剩余存储节点判断单元：用于判断剩下的、未下载的有效存储节点是否大于 1 ; 失效数据节点替换单元：用于在剩下的存储节点中下载两个节点存储的编码数据和校验值，替代之前下载的两个存储节点，得到所述矩阵 Y和校验和。

实施本发明的网络存储中抗拜占庭失效的数据重构、失效数据恢复方法及装置，具有以下有益效果：由于将 RS码和 CRC校验和结合来用于数据重构和再生过程，实现了编码数据采用 MSR码和 MBR码时的数据重构和失效数据修复。考虑错误数据的存在，在两种编码方式中均应用了在解码中采用 CRC校验来降低计算复杂性，从错误容忍度、安全强度、存储和带宽负载的分析中，表明不会给系统带来更多的负载。所以，可以抗拜占庭失效节点、数据传输有误时还有进一步的方法来恢复存储数据

附图说明

图 1是现有的 RS码解码流程示意图；

图 2是本发明第一实施例中数据重构的方法流程图；图 3是本发明第一实施例中数据重构装置的结构示意图；

图 3A是本发明第一实施例中信息取得单元的结构示意图；

图 4是本发明第一实施例中修复失效节点数据的方法流程示意图；

图 5是本发明第一实施例中失效节点数据修复装置结构示意图；

图 6是本发明第二实施例中数据重构的方法流程图；

图 7是本发明第二实施例中信息取得单元的结构示意图；

图 8是本发明第一、第二实施例的传输参数比较表。

具体实施方式

下面将结合附图对本发明实施例作进一步说明。

图 2是本发明第一实施例中数据重构的流程图，在图 2中，重构分布存储在网络上的数据包括如下步骤：

步骤 S201 选择 k个存储节点，并由各节点所存储的编码数据得到矩阵 Y: 数据重构自然需要由一定数量的存储节点下载编码数据，首先需要的是在这些存储节点中存储编码数据。在第一实施例中，编码数据的存储筒述如下：

由于在第一实施例中得到一种精确再生码能够抗拜占庭失效，因此在原始数据重构或恢复失效节点数据后均需要进行完整性校验；用于进行完整性校验的数据需要事先存储在各存储节点中。对于校验数据而言，主要考虑两种认证方案： CRC ( Cyclic Redundancy Check, 循环冗余校验码）和哈希函数。这两种方案都需要在原始数据编码之前添加额外的冗余。由于 CRC实施起来较哈希函数筒单而且所需要的冗余较少，因此在第一实施例中优先采用 CRC。

CRC使用一种循环码，使得每个信息序列都可以通过阶为 r的生成多项式进行验证， r是增加到信息序列的冗余位。一个 CRC码所能检测到的错误位数和冗余位 r相关，即一个冗余位为 r的 CRC码不能检测超过 (1/ 2^)100%比例的错误。例如，当 r=32，误检测错误位概率是关于 10-¹。的阶数。由于原始文件通常比较大，通过 CRC码所增加的冗余相对来说就比较小。例如，一个（ 100, 20, 38 ) MSR码中, 文件大小 B=19x20=380, 每个节点存储量《 = 19 , 当使用有限域 GF(2^U) ,原始文件总位数为 4180。如果 r=32，只增加了 0.77% 冗余。因此，在第一实施例中，假设 CRC校验和已经加入到原始数据中并且合成后数据大小为 B。

在数据重构或失效再生过程中，为了证实所恢复的编码数据和失效节点所存储的数据相同，需要依赖于存储在其他节点的关于失效节点的校验和信息，即相当于每个存储节点都要存储其他 n-1个存储节点的 CRC校验和。当新来者（或修复者）访问 d个现有节点进行数据修复时，需要从这些存储节点中下载失效节点的 CRC校验和。如果被墓改的存储节点数不超过 LW-l) / 2」，则新来者可以通过对所有接收的 CRC校验和进行判断来获得正确的 CRC校验和。考虑两种情况：

1 )当 ?比较大时，考虑一个数例：一个 (100，20,38)MSR码中，《 = 19，β = 4.18Μβ， ? = 1000。每个节点所存储的总位数为 19x11x1000=209000 bits.如果在每个节点上增加一个 32 位 CTC校验和，冗余为 r(n-l) / ?am = 32x 99 / 209000 « 1.5% , 传输 CRC校验和所需要的额外带宽是 rJ / ¾m = 1216/ 418000 « 0.3%。因此对于比较大的 β , 所增加的存储和带宽冗余都是可接受的。 2 ) 当比较小时，采用纠错码来编码 r位的 CRC校验和。这样可以提高存储和带宽效应。首先，选择一个有限域 GF(2™')，其中 2™'≥"-l。然后通过一个 (《- U' =「r/_m'])RS码来编码 CRC校验和。值得一提的是，这个编码不同于用于 MSR数据再生的 RS码。在将一个存储节点的 CRC校验和编码成 n-1个字符，并将 n-1个字符分配给其他存储节点时，每个节点需要存储额外的 (n-l)m，位。当一个新来者通过访问 d个存储节点来恢复失效节点 i时，被访问的节点除了发送自己所存储的编码块，也将节点 i的 CRC校验和发送出去。新来者通过纠错译码来恢复 CRC校验和。在所访问的 d个存储节点中，这种方案所能处理的被篡改的节点最大数是 LW- )/2」，所需要的额外带宽是 dm，。由于 m'远小于 n- 1和 r , 因此存储和带宽的冗余均可低。

在第一实施例中，釆用一个参数为 [n,k,d=2k-2]的 MSR码为例，对数据重构和失效（特别是拜占庭失效）的数据进行数据修复做出示例性说明。因此，在本步骤中，当数据重构开始时，下载所选择的 k个存储节点上存储的编码数据及其存储的 CRC校验和，并且由上述下载得到的编码数据得到矩阵 Y。

在第一实施例一个参数为 [n,k,d=2k-2]的最佳 MSR码中，将原文件分成大小相等的 k 份，然后编码成 n份分别存储在 n个不同的节点上，每个节点存储量为并保证 _n个节点中任意 k 个节点的数据就可重构原文件；当有节点数据需要从 d 个可用节点下载数据。假设所有

的数据字符都是来自有限域 G (2™)中的元，在 ^{= 1}的情况下，总数据为 mB比特。

将一个信息序列 m = (m_o,m^..,m_B— 转换成一个大小为 o <d的信息矢量 U , = (ί-1)(α + ί)-ί(ί + ΐ)/2+ j

2 =( 1+«/2)(«+1)— ^ + ivs+ ―"。令 ί/^Α,^],从上述构造中可以得出 4均是大小为 α α的对称矩阵。

在这个编码中，信息矢量 U的每一行都是一个长度为 η的码字。采用一个 (w,J = 2c RS 码来构造 MSR 码， U 的第 i 行即相当于码字 (_Α(α⁰)，_Α·(Α··.,Α(""—

其中 Α.(χ)是以 U的第 i行所有元素作为系数的一个多项式，即 ( = ^ , a是有限域 GF、7T、的一个生成元。通过矩阵形式可以描述为： U G = C ，其中 1 1 … 1

G , C是一个《><«维的码字向量。将 C中的第 i列分布到存储

节点 i ， = l,... 。 RS 码的生成矩阵可以重新表示成 G 其中是 G 的前行矩阵， Δ是以

( )", ^¹)", ..., ^"-¹)"为对角线元素的对角线矩阵。可以推出存储节点 i所存储的《个字符是

U 8i 其中是中第 i列。

(m

需要注意的是生成矩阵 G的任一列可以通过生成元 a和该列的指标计算，因此每个存储节点在精确再生过程不需要存储整个生成矩阵 G。

步骤 S202 在矩阵 Y的每一行执行错误擦出解码，得到码字 C' ：在本步骤中，在上述得到的矩阵 Y中，对其每一行的数据进行错误擦出解码，进而得到已下载的 k个存储节点的码字 C' 。执行借误擦除解码来获得码字 C' , 即码字矩阵的前 d列，令为 G的前 d列，则恢复的信息序列 U，可以通过 [/ ' = C- G"-¹来获得，其中 G*-¹是的逆。

步驟 S203 由公式 t/^ C' . G ^-¹恢复矩阵 U' , 进而获得信息序列 m' ：其中， G是生成矩阵。在第一实施例中，由上述公式（6 ) 所编码的 RS码的生成多项式以生成元的阶即《 ,...,《"作为根。为不失一般性，设信宿从 k个存储节点）。，^..., ^来恢复编码文件。可以看出生成矩阵 G为范德蒙矩阵，为了使得矩阵为非奇异的， (a°r, (a^lr,-, ( 'Ύ必须互不相同，如果这个编码所在的有限域 GF(2™)满足 m >「lo_{g2 raC}^ , 则这个条件可以满足。在第一实施例中，步骤 S202和 S203是两个独立过程。 S202是对码字进行擦除解码， S203 是根据码字恢复信息序列，然后如果得到的信息序列不能通过校验说明所选择的节点数据被篡改（这里的错误擦除解码过程只能糾正有限错误，当数据量大时就不能完全擦除错误），因而需要更多的存储节点数据再次进行擦除解码过程；这是一个循环递推过程，因为第一实施例的环境是在有拜占庭节点情况下即安全度不高易被攻击的条件下，采用这样一个过程是确保原数据被正确构造，使得解码得到的数据可以抗拜占庭失效。

步骤 S204 CRCTest ^ )成功？在本步骤，对上述步骤中得到信息系列进行 CRC 验证，并判断验证是否成功，如是，执行步驟 S205; 否则，执行步驟 S206;

步驟 S205 解码成功，返回 m' 并退出：由于取得的信息序列 m' 通过了 CRC验证，判断重构数据正确，因此将 m' 做为正常数据返回，并退出数据重构。

步骤 S206 从剩余的存储节点中取 d-k个，并和一开始的 k个节点的编码数据结合形成矩阵 _Xii : 在本步骤中，由于信息序列 m' 没有通过 CRC验证，这可能是存储节点的数据失效（包括被非法修改）或数据传输过程中出现错误，为解决或验证这一问题，除了已下载的 k个存储节点中的编码数据之外，信宿还需要从剩下的存储节点中取 d+2-k个节点来恢复编码字符。这一措施包括了本步骤和步驟 S209; 这两个步骤总共下载了上述数量的剩余节点编码，重新得到在步驟 S201中得到的矩阵 Y, 并再一次进行上述步驟的处理，以得到正确的信息序列。步骤 S207系统中剩下的未用的有效节点数 > 1 ? 在本步骤中，判断系统中剩下的未用的有效节点数是否大于 1，如是，执行步骤 S209; 否则，执行步骤 S208;

步骤 S208 解码失败，退出；在本步骤，由于已经没有足够的剩余存储节点，判断本次重构解码失败，退出本次重构。

步骤 S209 取额外的两个存储节点，并和已下载的编码数据构成新的矩阵 Y: 在本步骤中，如上所述，下载两个存储节点中的更多字符来进行数据恢复，这些数据和上述步骤中已经下载的编码数据重新构成新的矩阵 Y，并返回步骤 S202, 再次进行错误擦除解码。

在上述方法中，重构结束的条件是要么成功恢复原始数据，要么系统中没有可用存储节点。可以看出第一实施例中所提出的 MSR码中总数据重构的解码算法所需要的计算复杂性低，并且所使用的 RS码可以糾正 ι - ί ) /2」个错误。在实际中当 ? > 1时， MSR码中总数据重构的解码过程需要执行 /?次来恢复原始信息数据。

如图 3 所示，第一实施例中还涉及一种数据重构装置，该数据重构装置包括：数据下载单元 31、码字取得单元 32、信息取得单元 33、校验单元 34、剩余节点判断单元 35 和数据替换单元 36; 其中，数据下载单元 31用于从 k个存储节点下载其存储的编码数据和校验值，由这些编码数据得到矩阵 Y; 由下载的校验值得到校验和，所述校验和为 CRC 校验和；码字取得单元 32用于对所述矩阵 Y进行错误擦除解码，得到码字 C' ；信息取得单元 33用于将码字 C 与编码矩阵进行运算得到信息序列 m' ；校验单元 34用于判断所述恢复的信息序列 m' 是否能够通过所述 CRC校验和的校验；剩余节点判断单元 35 用于判断剩下的、未下载的有效存储节点是否大于 1 ; 数据替换单元 36用于在剩下的存储节点中下载两个节点存储的编码数据和校验值，替代之前下载的两个存储节点，得到所述矩阵 Y和校全和。

如图 3A所示，在第一实施例中，信息取得单元 33进一步包括：第一运算模块 301 和第一信息取得模块 302;其中，第一运算模块 301用于由公式 [/' = C' G 得到矩阵 U' ；其中， G^-¹是生成矩阵 G前 k列的逆；第一信息取得模块 302用于依据所述矩阵 U' , 得到信息序列 m' 。

在第一实施例中还涉及一种 MSR码中丟失数据再生的方法。如图 4所示，该数据修复方法包括如下步驟：

步骤 S401 节点 i失效，新来者（即修复者 ) 随机选择 d个存储节点进行修复：在本步骤中，已经发现（或确定）节点 i失效，也就是节点 i上存储的编码数据已经失效或被改，由上述正常的数据重构过程已经不能将数据重构出来；为此，选择 d 个存储节点，下载这些存储节点上存储的编码数据和 CRC校验值，以便于修复节点 i上存储的编码数据；

步骤 S402 被选择的存储节点计算所存储的 α个符号和 g,的内积：在本步骤中，被选择的存储节点将其存储的 α个符号与 _gi运算得到其内积， _gi =[1, (α^!'-¹)¹ , (α^!'-¹)²..., (α^!'-¹)"-¹]，可以通过节点标号 i和生成元构造，并将合成的字符发送给修复者；

步骤 S403 根据所选择的 d个存储节点存储的编码数据得到矩阵 Y，并得到节点 i的 CRC校验和：取得上述步骤 S402中个存储节点发送的字符后，得到矩阵 Y, 同时得到节点 i的 CRC校验和；步骤 S404 在矩阵 Y的每一行执行错误擦出解码过程，获得码字在本步骤中，在上述得到的矩阵 Υ中的每一行执行错误擦除解码，得到下载的码字 C'；

步骤 S405 计算 M =C'-G- ¹，通过 M和公式（ 7 ) (即 (g^ +(aⁱ-ⁱr(_glA₂y )，得到存储节点 i所存储的信息 m,; 在本步骤中，得到了节点 i存储的信息 m,;

步骤 S406 CRCTestO,.)成功？在本步骤中，对上述步骤中得到的存储节点 i 中存储的信息 m,进行验证，并判断该 CRC验证是否通过（或成功），如是，执行步骤 S406; 否则，执行步骤 S407; 在本步骤中，使用上述步骤中得到的节点 i的 CRC校验和与信息进行 CRC验证；

步骤 S407 数据再生成功，返回 ^并退出；在本步骤中，由于通过上述 CRC验证，所以判断存储节点 i存储的数据被成功再生，将其返回并退出本次数据再生（或失效数据的修复）；

步骤 S408 系统中剩余的有效节点数 >1? 在本步骤中，判断系统中剩余的有效节点数是否大于 1, 如是，执行步驟 410; 否则执行步骤 S409;

步驟 S409 再生失败，退出：因为剩余的有效节点不够，所以再生失败，退出；步骤 S410 取额外的两个存储节点，和已下载的编码数据构成新的矩阵 Y: 在本步骤中，下载两个存储节点中的更多字符来进行节点 i的数据修复，这两个新下载的有效节点与上述步骤 S401中的 d个一起（此时，用于修复的节点数为 d+2个），并返回步骤 S402, 再次进行错误擦除解码。

综上所述，在第一实施例中，如果节点 i失效，在再生过程中通过访问 s个现有存储节点来进行数据恢复，其中 d≤_s≤w-l。不失一般性，假设访问的存储节点是， ,..., — 每个被访问的存储节点计算它的《个字符和& =[1,(α^,-¹)¹,(α'-¹)²...,(α'-¹Γ¹]的内积， _gi可以通过节点标号 i和生成元构造，并将合成的字符发送给修复者（即具体执行修复的部分或设备）。由于 MSR码是一个线性编码，通过所传输的合成字符， y,. ,^ ,...,)^ 可以被解码成码字 C, 其中 _c = ([/.G) = (g, ·ί/)·<5。如果 (n s) + 2e<n d + 1, 其中 e是这 S个合成字符中错误的数，用 G 的前 d 列矩阵 G*的逆乘以码字 c，可以获得& .[/，也就相当于 •04₁,4) = (g_i .4,g_i .A₂)。由于 & 是第 i 列的转置，是对称矩阵，因此 (g,_{A = A} . · = 1,₂。失效节点 i 所存储的个字符可以通过公式（ 7 ) 来恢复： {₈₁ )⁷ +{aⁱ-^l)^a{g_iA₂)^T.{l)

通过 y,. ,^ ,..., 进行丟失数据再生的解码过程分为两步：首先，新来者访问 d个存储节点并解出 y , ,y. ,...,y. 来获得 C并恢复节点 i所存储的 α个字符；然后检验 CRC校验和。如果通过 CRC认证，则再生过程成功；否则，新来者将访问两个更多的存储节点，然后通过对所收到的解码来获得 C并恢复节点 i所存储的个字符。这个过程直到失效节点所存储的字符被正确恢复才结束。在实际中当 ?>1时，在进行 CRC校验和认证之前， MSR码中丟失数据再生的解码过程需要执行次来恢复 βα个字符。

在第一实施例中还涉及一种 MSR码中丢失数据再生的装置，如图 5所示，该装置包括：失效数据下载单元 51、失效数据码字生成单元 52、失效数据信息取得单元 53、失效数据 CRC验证单元 54、剩余存储节点判断单元 55和失效数据节点替换单元 56; 其中，失效数据下载单元 51用于选择 d个存储节点对失效的存储节点 i中存储的编码数据进行修复；被选择的 d个存储节点分别计算所存储的编码数据中的 α个字符和的内积；依据所述 d 个存储节点存储的编码数据，得到矩阵 i _xd , 并得到存储节点 i的 CRC校验和；其中， g_i =[i, '-¹)¹^'-¹)²,..^'-¹)叫，通过存储节点标号 i和生成元构建；失效数据码字生成单元

52用于在所述矩阵 U 每一行执行错误擦除解码，得到码字失效数据信息取得单元

53用于通过公式 M C'.CT¹和 (gAy +^H A , 得到存储节点 i所存储的信息 s; 失效数据 CRC验证单元 54用于判断所述恢复的信息 s是否能够通过所述存储节点 i的 CRC 校验和的校验；剩余存储节点判断单元 55用于判断剩下的、未下载的有效存储节点是否大于 1; 失效数据节点替换单元 56用于在剩下的存储节点中下载两个节点存储的编码数据和校验值，替代之前下载的两个存储节点，得到所述矩阵 Y和校验和。

在第一实施例中，上述数据重构装置和失效数据修复装置均是虚拟的功能模块，实际上，这些模块均是实现上述方法的软件功能模块。其相互之间可以处于同一个物理载体上，也可以处于不同的物理载体上。实际上，后面的第二实施例所涉及的装置也是如此。

在本发明的第二实施例中，同样涉及一种抗拜占庭失效的数据重构方法，与第一实施例中不同的是，第二实施例中涉及的数据编码采用 MBR 码（Minimum-bandwidth Regenerating 最小带宽再生）；由于编码的不同，第二实施例中的数据重构方法较第一实施例中稍有不同。

请参见图 6, 图 6示出了第二实施例中的数据重构方法，包括：

步骤 S601 选择 k个存储节点，并由各节点所存储的编码数据得到矩阵 Y:本步骤中，任意（或随机）选择 k个存储节点，下载其存储的编码数据集 CRC校验值，得到矩阵丫。本步骤与步骤 S201基本一致；

步骤 S602 在上述矩阵 Y的最后 d-k行执行错误擦出解码，获得码字 C' ：本步骤中，在上述得到的矩阵 Y中的最后 d-k行执行 RS码的数据解码算法，即错误擦出解码，得到码字 C ；

步骤 S603由¾ = ^— ^ ( ¹得到 , 并计算由得到矩阵其中，是 Λ的转置矩阵， G是（n,d ) RS码生成矩阵， G_k和 B是构成生成矩阵 G的两个子矩阵，（ ¹是子矩阵<¾的逆； E是 Α . 中的第 Λ列、第列第列重新组成的矩阵， s是编码时设定的帮助节点数；在本步骤中，就是通过计算，得到最后可以由其得到信息序列的一些中间参数；

步骤 S604 在矩阵的每一行执行错误擦除解码，获得码字向量（即码字 C' )的前 k行：在本步骤中，对矩阵的每一行执行错误擦除解码；

步骤 S605 由 = . ^-1得到 Λ ; 通过取得的和 , 恢复信息序列 m' ; 在本步骤

「A A

中，得到中间矩阵并与之前得到的中间参数一起，通过得到信息系列 m' ;

Α_Ί 0

其中， < 是一个（J -Wx(J -W的全零矩阵；

步骤 S606 CRCTest( ' )成功？在本步骤中，对上述步骤中得到的信息序列 '进行 CRC验证，并判断信息序列 m'是否通过 CRC验证，如是，执行步骤 S607; 否则，执行步骤 S608:

步骤 S607 取得数据信息 '，退出：判断为正确地重构了数据，送出该取得的数据并退出本次数据重构；

步骤 S608 系统中剩下的有效存储节点数 >1? 在本步骤中，判断系统中剩下的有效存储节点数是否大于 1, 即判断系统中存在的、仍未被下载其编码数据参与数据重构的存储节点数是否大于 1, 如是，执行步骤 610; 如否，执行步驟 S609;

步骤 S609 解码失败，退出：如果上一步骤中的有效节点数不大于 1, 判断数据重构解码失败，退出本次数据重构；

步骤 S610 取额外的两个存储节点，和已下载的编码数据构成新的矩阵 Y: 在本步驟中，下载两个存储节点中的更多字符来进行数据恢复，这些数据和上述步骤中已经下载的编码数据重新构成新的矩阵 Y, 并返回步驟 S602, 再次进行错误擦除解码。

综上所述，在第二实施例中，以一个参数任意的 [n,k,d] 最佳 MBR码为例说明数据重构的方法。将一个信息序列《 = ¾，》¾,. 转换成一个大小为《xJ的信息矢量 U, 令 ufi m. i≤j≤k

m k + l<i<d,l< ^ / 其中 =( - l)(k + lH( l)/2 + j , k₂ = (i-k-\)k + k(k + \)l2 + j

0, otherwise

令 ί/ = A A ,从上述构造中可以得出 4是一个 kxk的矩阵， 4是一个（d-k)xk的矩阵， 4 o

0是一个（d-k)x(d-k)的全零矩阵。也就是说，信息序列 m转换为一个信息适量 U表示，而信息矢量 U可以用矩阵 4、矩阵 ^以及一个全零矩阵 0的运算关系表示；其中 4,4都是对称矩阵，显然 U的维数为 dxd (或 axJ )。在本发明的实施例中， 4、 ^分别是一个由信息序列 m (该信息序列是正确的或原始的信息序列）导出的矩阵，而在稍后所提及的^、是解码过程所获得的矩阵，由、两个矩阵倒推就可得到信息序列 m' (该信息序列由解码而得，未知是否有错），信息序列 m'需要进行校验判断是否和原信息序列 m 一致。

采用一个 (w,J)RS码来编码 U的每一行，U的第 i行即相当于码字 CP^ AW),...,^^"-¹))。其中是以 U的第 i行所有元素作为系数的一个多项式，即；^ 二^^-；^^ , a是有限域 G (2^M) 的一个生成元。通过矩阵形式可以描述为： U G = C ，其中

1 1 · ... i

0 1

a a · ■·· a

G ¹ ia¹†-¹ . ··· (aⁿ-^l)^k-^] , C是一个《x«维的码字向量。 G是 (n,d)RS码的生成矩阵:

(a°)^k ··· (aⁿ-¹†

( ¹)" ■ ··· (a - -- 可以拆 •(8)

B

(a ) (a ) …- ( ,z )

需要注意的是 G_k是 (n，k)RS 码的一个生成矩阵，它将在数据恢复的解码过程中用到。由公式（8)所编码的1½码的生成多项式以生成元的阶即《 ,...，《"-^¾作为根，和第一实施例中 MSR码解码过程不同的是：在 MSR码中使用一个 (n,d)RS解码器，而在 MBR码中需用一个 (n,k)RS解码器。

设信宿从 s个存储节点 j_s_,,k <s≤n中下载数据来恢复编码文件。由于 MBR码中 a = d , 因此信宿接收 d个向量并且每个向量有 s个字符。将 d个向量中的前 k个向量收集为 Y_k，剩下的 d-k个向量收集为 Y_d—_k ,本发明中可以将码矩阵 C的最后 d-k行看成是由 G_k 而不是 G编码而来。因此，这个 (n，k)RS码的数据解码过程可以通过来恢复 C中最后 d-k行码字。令 4为 G_k的前 k列，为所恢复的矩阵 C的最后 d-k行中码字。

U中 A可以通过公式 4= — .4 .(9)恢复；然后计算 . β, 将所得矩阵的第 ·。列、第 Λ列、到第 _→列重新组成矩阵 Ε，并将減去矩阵 Ε从而获得矩阵 = - (10)。在上执行 RS码的数据解码算法从而获得 A： A = C_k -G_k ^l.(U)。

对解码的信息序列进行 CRC校验来检验所恢复数据的正确性。如果通过 CRC校验，则取得原始数据并退出；否则，需要执行进一步的解码过程，也就是在每一轮循环中需要从剩下的存储节点中访问两个更多的存储节点，该循环结束的条件是要么所有存储节点都被访问，要么取得正确的原始数据（通过 CRC校验）。

在本发明第二实施例中，同样涉及失效数据的修复方法及装置，由于第二实施例中 MBR码中失效数据的再生（修复）方法及装置和第一实施例中 MSR码的类似。就其装置而言，与第一实施例中的区别在于信息取得单元不同。请参见图 7 ,在第二实施例中，该数据重构装置包括：第二运算模块 311、第三运算模块 312、第四运算模块 313和第二信息取得模块 314; 其中，第二运算模块 311用于通过公式 ¾= «.4 得到矩阵，并计算 · ; 其中， 4 是 4的转置矩阵， G是（n,d) RS码编码时的生成矩阵，和 B 是构成生成矩阵 G的两个子矩阵，是子矩阵<¾的逆； 0_k 是子矩阵<¾的前 k列， 5_d—_k 是所恢复码字向量 C中的最后 d- k行中的码字；第三运算模块 312用于通过公式 = -E , 得到矩阵其中， E 是 Α .β中的第。列、第 ^列第 — i列重新组成的矩阵， s 是编码时设定的帮助节点数；第四运算模块 313用于在矩阵 F 的每一行中执行错误擦除解码，得到码字向量的前 k行矩阵 (^；按照 4= . ( ¹得到 Λ; 第二信息取得模块 313 用于通过取得的和 , 通过恢复信息序列 m'; 其中， 0是一个（J- ）x(c/- 的全零矩阵。

在第二实施例中，就方法而言，在获得 & ·ί/后，取它的转置，由于 U是对称的，所以即得出 .f/f ₌ .g「_{= i/} . ^。所再生的所有 ^个字符都要进行 CRC校验，如果通过 CRC校验，则说明；¾个字符是失效节点所存储的原字符；否则，需要执行进一步解码过程。所以，在此不再赞述。

图 8综合上述两个实施例对 MSR码和 MBR码在错误容忍度、安全强度、存储和带宽负载上进行了量的分析。并将 MSR码和 MBR码中数据重构和数据再生过程分开讨论。从表中数据可以看出这些实施例中能够抗拜占庭失效并且是有效的且不会带来更多的系统负担。

在对失效容忍度分析中，主要考虑两种失效：宕机失效和拜占庭失效。假设节点之间失效是相关独立的，在这两种情况下，失效容忍度均是由系统所能处理的的最大失效节点数衡量。

宕机失效：宕机失效可以看成是码字中个别字符被擦除。由于在总数据重构中至少需要 k个节点，很容易得出系统所能冗余的最大宕机失效数是 n-k。对于丢失数据再生过程，需要访问 d个存储节点，因此失效容忍度是 n-d。值得一提的是，由于现有节点均包含正确的数据符号，因此 CRC校验总是正确的。

拜占庭失效：一般情况下，在 RS码中需要两个额外的正确编码分组来鉴别一个错误的编码分组。然而，在丢失数据的再生过程，新来者获得正确的 CRC校验和的性能也会影响失效容忍度。假设在获得正确的 CRC校验和过程中使用了错误糾正码，如果新来者没有获得正确的 CRC校验和，在这种情况下即使失效的节点数没有超过 RS码所能处理的最大失效数，丟失数据的再生过程也都会失败。因此，失效容忍度必须取 RS 码（在 MBR和 MSR码中）的能力和恢复正确 CRC校验和能力的较小者。在 MSR和 MBR码中，总数据重构过丢失数据的再生过程中失效容忍度均为中的较小者

在分析安全强度时，考虑假冒攻击，即一类拜占庭攻击者通过相互合作伪造数据来破坏总数据的重构和丢失数据的再生过程，也就是说考虑一种合谋攻击。本发明通过在总数据重构和丢失数据的再生过程中，判断伪造数据的攻击者最小数，而安全强度取低于这个数的一个数值。伪造在丟失数据的再生过程是非常有效的，因为即使一个攻击者只能访问艮少的节点，但是通过数据再生过程可以将伪造的数据传输到其他存储节点上并且最终会判断这些数据是有效的，因此会导致所重构的原始数据是错误的。

在总数据重构过程，在最糟糕的情况下，考虑矩阵 υ中只有一行被篡改的安全强度。令攻击者为 …， — 并且她们可以合谋伪造一个新的信息符号。假设 y是 U中被伪造的行，令 = y + "，其中 u是矩阵 U中被伪造行的正确信息符号。通过 RS码编码过程，可以得出 yG = ( + _M)G = 3 G + _MG = _v + _c，其中 c是存储节点所存储的原始数据， V是由攻击者所篡改的数据。假设 V中非零符号数为 h，由于 V必须是一个码字，则/^ J + l，其中 n-d+1是 RS码的最小汉明距离。为了成功伪造信息符号，攻击者必须攻击一些存储节点，使得这些节点存储 yG中相应的编码符号，从而使节点所存储的码字和伪造的信息符号一致。如果攻击者攻击 k 个存储节点，当信宿恰好访问到这些被攻击的节点，根据解码过程，攻击者可以成功的伪造数据。假设攻击者攻击 b<k个存储节点，根据解码过程，当 h— b 是 RS码的错误糾正能力，解码算法仍可能将接收

n - d + 2

的向量解码为 yG。取更小的 b值，令& 因此在 MSR码中，总数据重构的安

2

n - d + 2

全强度为 min{ t -1。由于在 MBR码解码中使用（n,k)RS码，因此 MBR码的安全

2

n - k + 2

强度为 min{ t } - ι

2

在再生过程的假冒攻击中，由于 CRC校验和的计算是一个线性操作，因此攻击者没有必要破坏失效节点的 CRC校验和，只需要伪造冗余位均为 0的数据即可。因此再生过

- d + 2

程的安全强度为 minW,

~2 ~

通过上述分析可知 CRC校验并没有增加在假冒攻击中的安全强度。由于获得哈希值的操作是非线性的，因此通过使用哈希值可以提高安全强度。在这种情况下，攻击者不仅需要获得原始数据信息，也需要伪造相应的哈希值。因此安全强度在总数据重构过程中至少为 k-l，在丢失数据再生过程中至少为 d-l。

CRC校验和在存储和带宽的消耗中增加了额外的负担。在总数据重构过程中的冗余为 CRC校验和的大小即 r比特。每个信息序列后都要增加额外的 r比特，来使得数据重构后可以进行数据验证。由于 MSR码的信息位数为 mkcc— r ,因此在存储上的冗余率为 ~ - ~； mka - r 而 MBR码的信息位数为 l)/¾ -r , 因此对于冗余率为

niU- k-l)l2)-r

码和 MBR码在恢复原始数据的过程中，所下载的数据量恰好为 k个节点所存储编码模块, 因此在带宽上的冗余率等于存储上的冗余率。

对于再生过程，假设通过 (n-l,k')RS码来将编码的 CRC字符分配给其他 n-1个存储节点，其中 , m log₂(« - 由于每个节点必须存储其他 n-1 个存储节点所编码的 m

CRC字符，因此每个节点所需要的额外存储是 (n-l)m，比特。根据 MSR码和 MBR码编码特性，即存储在每个节点的编码数据字符是比特，得出这两种最佳码在存储上的冗余率均为 '。

新来者必须获得失效节点的正确 CRC校验和，才可以检验所恢复数据的正确性。被访问的 d 个存储节点需要向新来者提供它们所存储的数据，该数据还应包括失效节点的 CRC校验和。由于校验和长度为 m，比特，则总的额外带宽为 dm，比特，而 MSR码和 MBR 码中修复失效节点所存储的 ¾字符的总共带宽为 ? ，得出这两种最佳码在存储上的冗余率均为 = 。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

权利要求书

1、一种网络存储中抗拜占庭失效的数据重构方法，其特征在于，包括如下步骤：

A )信宿从 k个存储节点下载其存储的编码数据和校验值，由这些编码数据得到矩阵 Y; 由下载的校验值得到校验和，所述校验和为 CRC校验和；

B) 对所述矩阵 γ进行错误擦除解码，得到码字 σ ；

C) 将码字 C' 与编码矩阵进行运算得到信息序列 m' ；

D )判断所述恢复的信息序列 m' 是否能够通过所述 CRC校验和的校验，如能，结束数据恢复；否则，执行步骤 E);

E)判断剩下的、未下载的有效存储节点是否大于 1,如是，执行步骤 F); 否则，判断解码失败并退出；

F)在剩下的存储节点中下载两个节点存储的编码数据和校验值，替代之前下载的两个存储节点，得到所述矩阵 Y和校验和；并返回步骤 B )。

2、根据权利要求 1 所述的网络存储中抗拜占庭失效的数据重构方法，其特征在于，所述数据编码包括最小存储再生码或最小带宽再生码。

3、根据权利要求 1 所述的网络存储中抗拜占庭失效的数据重构方法，其特征在于，所述 CRC校验值通过 RS编码后与存储在所述存储节点上的编码数据一起存储在所述存储节点上；所述步驟 A ) 中，其编码数据和编码后的校验值一起下载。

4、根据权利要求 3 所述的网络存储中抗拜占庭失效的数据重构方法，其特征在于，所述步骤 B)进一步包括：对所述矩阵 Y的每一行执行错误擦除解码，得到码字 C' 。

5、根据权利要求 4所述的网络存储中抗拜占庭失效的数据重构方法，其特征在于，所述步骤 C)进一步包括：

C1 ) 由公式 t/^C'.G ^-¹得到矩阵 U' ；其中， G是编码时的生成矩阵， G^-¹是生成矩阵前 k列的逆；

C2)依据所述矩阵 U' , 得到信息序列 m' 。

6、根据权利要求 3 所述的网络存储中抗拜占庭失效的数据重构方法，其特征在于，所述步骤 B)进一步包括：对所述矩阵 Y的最后 d-k行执行错误擦除解码，得到所恢复的码字 C' 的最后 d-k行码字 C_d— _Α; 其中，所述 C'是一个《_χη维的码字向量。

7、根据权利要求 6所述的网络存储中抗拜占庭失效的数据重构方法，其特征在于，所述步骤 C)进一步包括：

CY )通过公式 = -_¾·4得到矩阵 4, 并计算 ·β; 其中， ^是 ¾的转置矩阵， G是（n,d) RS码编码时的生成矩阵， G 和 B是构成生成矩阵 G的两个子矩阵， G ¹是子矩阵的逆； G_k 是子矩阵的前 k列， _λ是所恢复码字向量 C' 中的最后 d-k 行中的码字；

C2' )通过公式

得到矩阵其中， E是 ·β中的第 Λ列、第列、…、第 — i列重新组成的矩阵， s是编码时设定的帮助节点数；

C3' )在矩阵 F 的每一行中执行错误擦除解码，得到码字向量 C'的前 k行矩阵 C_¾；按照 Λ = ·^得到 A； Α₁ Α₂'

C4' )通过取得的和 4, 通过恢复信息序列 m'; 其中， 6>是一个

Α₂ Ο

(J- )x(i - 的全零矩阵。

8、一种网络存储中抗拜占庭失效的数据重构装置，其特征在于，包括：

码字取得单元：用于对所述矩阵 γ进行错误擦除解码，得到码字 σ ；信息取得单元：用于将码字 σ 与编码矩阵进行运算得到信息序列 m' ；校验单元：用于判断所述恢复的信息序列 m' 是否能够通过所述 CRC校验和的校验；

剩余节点判断单元：用于判断剩下的、未下载的有效存储节点是否大于 1;

数据替换单元：用于在剩下的存储节点中下载两个节点存储的编码数据和校验值，替代之前下载的两个存储节点，得到所述矩阵 Y和校验和。

9、根据权利要求 7所述的网络存储中抗拜占庭失效的数据重构装置，其特征在于，所述信息取得单元包括：

第一运算模块：用于由公式 t/^C'.G^-¹得到矩阵 U' ；其中，是生成矩阵前 k列的逆；

10、根据权利要求 7所述的网络存储中抗拜占庭失效的数据重构装置，其特征在于，所述信息取得单元包括：

第二运算模块：用于通过公式 ^^ .C ¹得到矩阵¾，并计算 ¾^τ·β;其中，是的转置矩阵， G是（n，d) RS码编码时的生成矩阵，和8是构成生成矩阵 G的两个子矩阵，（ ¹是子矩阵的逆； 0_k 是子矩阵<¾的前 k列， _A是所恢复码字向量中的最后 d-k行中的码字；

第三运算模块：用于通过公式得到矩阵其中， E是 Α · 中的第 J。列、第 Λ列第 — i列重新组成的矩阵， s是编码时设定的帮助节点数；

第四运算模块：用于在矩阵 '的每一行中执行错误擦除解码，得到码字向量 C'的前 k行矩阵 ; 按照 4= . 得到 Λ;

第二信息取得模块：用于通过取得的和¾,通过 A

，恢复信息序列 0

其中， 0是一个（J-Wx(i - )的全零矩阵。

11、一种网络存储中抗拜占庭失效的失效数据恢复方法，其特征在于，包括如下步骤：

M) 选择 d个存储节点对失效的存储节点 i中存储的编码数据进行修复；被选择的 d个存储节点分别计算所存储的编码数据中的 α个字符和 g,的内积；依据所述 d个存储节点存储的编码数据，得到矩阵 y„_Xii , 并得到存储节点 i 的 CRC 校验和；其中， g_i =k (d-ⁱ ,{ct~^l)\---it-^l)^a-¹]，通过存储节点标号 i和生成元 a构建； N )在所述矩阵 Y_axd的每一行执行错误擦除解码，得到码字 C；

0 )通过公式 M = C' . G- ¹和（ Α Υ^Α , 得到存储节点 i所存储的信息 s; P )判断所述恢复的信息 s是否能够通过所述存储节点 i的 CRC校验和的校验，如能，结束数据恢复；否则，执行步骤 Q );

Q )判断剩下的、未下载的有效存储节点是否大于 1 , 如是，执行步骤 R ); 否则，判断恢复失败并退出；

12、根据权利要求 11所述的网络存储中抗拜占庭失效的失效数据恢复方法，其特征在于，所述编码数据包括最小存储再生码编码数据或最小带宽再生码编码数据。

13、根据权利要求 11所述的网络存储中抗拜占庭失效的失效数据恢复方法，其特征在于，所述 CRC校验值通过 RS编码后与存储在所述存储节点上的编码数据一起存储在所述存储节点上；所述步骤 M ) 中，其编码数据和编码后的校验值一起下载。

14、一种网络存储中抗拜占庭失效的失效数据恢复装置，其特征在于，包括：失效数据下载单元：用于选择 d个存储节点对失效的存储节点 i中存储的编码数据进行修复；被选择的 d个存储节点分别计算所存储的编码数据中的 α个字符和&的内积; 依据所述 d个存储节点存储的编码数据，得到矩阵 i _xrf ,并得到存储节点 i的 CRC校验和；其中， & ^i ¹)¹,^^-1)²,… ' ' 叫，通过存储节点标号 i和生成元构建；

失效数据码字生成单元：用于在所述矩阵 i _xrf的每一行执行错误擦除解码，得到码字

失效数据信息取得单元：用于通过公式 A^ C' .CT¹和（ 1 + («¹⁴)"(& ，得到存储节点 i所存储的信息 s;

失效数据 CRC臉证单元：用于判断所述恢复的信息 s是否能够通过所述存储节点 i的 CRC校验和的校验；