WO2018006624A1

WO2018006624A1 - 一种数据一致性并行维护方法

Info

Publication number: WO2018006624A1
Application number: PCT/CN2017/077834
Authority: WO
Inventors: 陈光宇; 史兴国
Original assignee: 苏州超块链信息科技有限公司
Priority date: 2016-07-08
Filing date: 2017-03-23
Publication date: 2018-01-11
Also published as: EP3483749A1; CN106202387B; CN106202387A; US20190205314A1; US11036760B2; EP3483749A4

Abstract

一种数据一致性并行维护方法，包括：1)节点向网络中其他节点广播请求当前同步周期的同步块并计算当前同步周期的同步锚，若未获得期望的同步块，则该节点计算已存储同步块的同步锚或初始化一起始同步块S ₀及其同步锚；2)有数据添加需求的节点i在数据A ₀中写入当前同步周期的同步锚，并按需生成一数组[A] _N；数据A ₀为需要在同步周期添加到一致性数据中的待添加数据；3)各节点并行完成本节点数组[A] _N的构建并进行广播；4)节点对收到的拥有相同同步锚的所有[A] _N进行过滤，剔除非法数据，构建下一同步周期的同步块。每个同步块之间的数据可并行产生，同时整个数据结构仍保持在依赖关系上的全局一致性。

Description

一种数据一致性并行维护方法

技术领域

本发明属于计算机技术领域，具体涉及一种在网络分布式计算环境下具有全局一致性并对并行处理过程友善的数据校验方法。

背景技术

网络分布式计算

在网络环境中的计算单元(包括但不限于计算机)独立运行，通过特定的通讯协议和应用软件协作完成特定的计算任务。当分布式计算需要依赖同一数据集时，所有计算节点依赖中心化的存储管理机制来读写所需数据。这种数据读写方式在获得充分管理的计算条件下适用，在缺少中心化存储管理的场合中，虽然现有的数据校验手段可以解决传输中的验证和纠错，但因没有中心节点提供对数据一致性的追溯手段，无法维护节点间所获数据的一致性，也无法抵御恶意节点在数据上施加干扰。

数字签名

数字签名技术是最常见的数据完整性保护机制，能产生比人类指纹更可靠的“数据指纹”。数据产生者将信息用自己的私钥加密，数据获取者对读到的数据与用数据产生者公钥解密出来的信息做对比，验证信息的完整性。这一特点也可以用于校验数据的一致性。当用这种方式来校验一组数据时，需要在数据产生时遵循一定的串行顺序来产生数据的一致性特征，不支持多节点对同一组数据的并行处理。

数字摘要

是将任意长度的消息变成固定长度的短消息，它类似于一个自变量是消息的函数，也就是Hash函数。数字摘要就是采用单项Hash函数将需要加密的明文“摘要”成一串固定长度(128位)的密文这一串密文又称为数字指纹，它有固定的长度，而且不同的明文摘要成密文，其结果总是不同的，而同样的明文其摘要必定一致。同上所述，使用数字摘要来校验一组数据的一致性关系时，也需要遵循特定的串行顺序，因此在多节点并行运算时也将成为处理瓶颈。

对等网络和哈希树

当网络分布式计算环境中不存在特定的优先节点和中心控制节点时，计算节点以对等的方式协同的一种分布式计算方式。对等网络可以利用哈希树的方式来保证共享数据的一致性，但这一方法仅对静态数据有效，无法满足分布式计算的动态计算需求。

校验链表

在离散数据中使用特定的规则，使校验数据形成可追溯的链表，通过对链表的查询可以处理历史数据的一致性校验(参考文献：Haber,S.；Stornetta,W.S.(1991)."How to time-stamp a digital document".Journal ofCryptology 3(2).)，但这样的链表仅适用于单机单节点环境下使用，如果想要在分布式环境下使用，则不仅需要中心管理节点来仲裁读写过程，还需要复杂的读写锁来避免访问冲突，对并发的读写请求做串行化处理，读写效率非常低。

大数据技术

大数据技术越来越多的用于互联网分布式应用中来解决某些并行数据问题，由于互联网大数据的离散性和非结构化的特点，大数据技术使用冗余和分布式存储的方式来保证数据的可靠性和读写性能，同时放弃了对数据关系一致性的强制性要求。因此大数据需要花较大的代价解决数据质量，尤其是数据一致性的问题(参考文献：FANW，GEERTS F.Foundations of data quality management[J].Synthesis Lectures on Data Management，2012，4(5)：1-217.)。主要的解决方式是采用数据清洗等后期处理(参考文献：范令，基于MAP-REDUCE的大数据不一致性解决算法，2015年微型机与应用第15期；RAHM E，DO H H.Data cleaning：problems and current approaches[J].IEEE Data Eng.Bull.，2000，23(4)：3-13.)，尚不能在数据产生时就生成有关数据一致性的相关校验信息。

综上所述，多节点分布式计算的现有方案依赖中心化存储和串行化处理来解决数据一致性问题，在去中心化场景中如果想要保持数据的一致性，则必须依赖数据的串行化操作，串行化方法会阻塞其他节点的操作，即使不存在上下文依赖关系的节点也经常要等待其他节点的操作完成，大大降低操作效率。而采用后处理的方法来解决数据一致性的问题则无法满足分布式系统实时运行中的数据需求。

发明内容

分布式系统中的增量全局数据在由多节点同时操作时，会将操作串行化来保持数据一致性，串行化会降低系统效率。

本发明通过在数据结构中设置一种同步块机制，为并行数据操作提供一致性参考依据，实现多节点并行处理增量全局数据时仍能保持数据的一致性。其中，同步块是由认可公共数据结构的节点共同参与生成的。同步块与节点数据之间的数据结构关系如图1所示，第x同步周期的同步块Sx的唯一数字特征(比如数字摘要)作为第x+1个同步周期内所有后继数据块数组[A]_N的依赖参照(本发明中称为同步锚)。在相邻同步周期的两同步块Sx和同步块Sx+1 之间允许存在任意多个数据块数组[A]_N。每个数据块数组[A]_N由多个数据块[A]组成，后继数据块A[n]中包含前一数据块A_[n-1]的数字摘要。由于允许同时存在多个[A]_N，当网络上的计算节点各自形成[A]_N时，可以并行进行互不影响。同步块校验和固化增量数据之间的依赖关系，并为后续增量数据提供依赖参照，使得每个同步块之间的数据可以完全并行产生，同时整个数据结构仍保持在依赖关系上的全局一致性。

本发明的技术方案为：

一种数据一致性并行维护方法，其步骤为：

1)节点向网络中其他节点广播请求当前同步周期的同步块并计算当前同步周期的同步锚，若未获得期望的同步块，则该节点计算已存储的同步块的同步锚或初始化一起始同步块S₀及其同步锚，并视该同步锚为当前同步周期的同步锚；

2)有数据添加需求的每一节点i在数据A₀中写入当前同步周期的同步锚，并按需生成数据块A₁，A₂，……A_n，得到一数组[A]_N；数据A₀为需要在当前同步周期添加到一致性数据中的待添加数据；An为数组[A]_N中的第n个数据块；

3)各节点并行完成本节点数组[A]_N的构建并进行广播；

4)节点对收到的拥有相同同步锚的所有[A]_N进行过滤，剔除非法数据，构建下一同步周期的同步块。

进一步的，同步锚为同步块的唯一数字特征，第x同步周期的同步块Sx的唯一数字特征作为第x+1个同步周期内所有后继数据块数组的同步锚。

进一步的，第x同步周期的同步块S_x中包含上一同步周期同步块S_x-1的唯一数字特征、同步块标号、自定义的数据以及同步块S_x内容的校验数据。

进一步的，步骤2)中，数组[A]_N是任意长度，且不同[A]_N的长度相同或不同；其中，在第n次产生的数据块A_n中包含前一次产生的数据块A_n-1的同步锚，在A₁中包含A₀的唯一数字特征。

进一步的，相邻同步周期的同步块Sx和同步块Sx+1之间存在若干数据块数组[A]_N；每一数据块数组[A]_N包块多个数据块[A]，后继数据块A_n中包含前一数据块A_n-1的唯一数字特征，在A₁中包含A₀的唯一数字特征。

进一步的，数据块A₀中包含同步锚记录和同步块标号记录、数据块A₀自身的标号、自定义数据以及数据块A₀自身数据内容的校验数据；数据块A_n中包含A_n-1的唯一数字特征、数据块A_n自身标号、自定义数据以及数据块A_n自身数据内容的校验数据，在A₁中包含A₀的唯一数字特征。

进一步的，步骤2)中，节点i独立产生若干数据块添加到该数组[A]_N中。

进一步的，步骤2)中，节点i与网络中其他节点协调产生若干数据块添加到该数组[A]_N中。

进一步的，步骤4)中，判断[A]_N是否拥有相同同步锚的方法为：如果两[A]_N中的第一个数据块A₀中所包含的同步锚是相同的，则认定这两个[A]_N拥有相同的同步锚并属于同一个同步周期。

进一步的，将使用数字特征算法对S₀计算所得的结果，作为第一个同步周期同步块S₀的同步锚。

进一步的，如果节点i在第x同步周期结束前未能成功完成添加的[A]_N，则在第x+1同步周期用第x+1同步周期的同步块的同步锚重新构建[A]_N并添加到第x+1同步周期的一致性数据中。

与现有技术相比，本发明的积极效果为：

在无中心控制节点的情况下，各节点并行读写到的数据是缺乏可信赖依据的，本发明通过在数据结构中插入周期性的同步块结构，这个结构被设计为具有数据固化的作用，该固化作用，给每一个并行节点提供了确定的可信赖数据。而这样的结构，并不需要一个中心节点来维护，是由所有节点存储和维护的。

当采用本发明中的方法来构建有一致性要求的公共数据时，在生成同步块以外的时间里，节点可以互不影响的并行产生公共数据，极大地提高了公共数据处理的并行性。

以网络中有i个节点各自生成100个数据块，并行生成100*i个数据块为例，假定i个节点间不存在计算依赖，这也是互联网大数据环境下的普遍情况，即无状态化计算(stateless computing)，在不采用本发明的方法时，为了构建一致性数据，需要为这组数据建立唯一校验关系，这样的校验关系必须以一维的串行结构来组织。假设这组串行结构的每次维护操作所花时间为1毫秒，则总耗时100*i毫秒；这种串行结构须通过中心控制节点管理的等待队列来协调，理论上的时间复杂度为O(n)，即最坏情况下节点需等待100*i-1毫秒。节点平均等待时间为100*i/2-1毫秒。

当采用本发明的方法时，i个节点无需由中心控制节点来协调等待关系，所有i个节点可以通过广播并行的获得当前同步锚，并以此开始分别维护数据组，同样条件下，节点完成数据生成的耗时为100毫秒，且不随i的增减变化；为了共同固化已产生数据，i个节点还需要协作生成新同步块，因此需要i个节点通过广播交换各数据并共同产生新同步块，该操作在理论上的时间复杂度为O(1)，可以在确定的时间内完成，且i越大，相对效率越高。因此数据维护的总耗时为100+2c毫秒(c为常数，反映获得同步锚和生成同步锚的时间)。并行效果要优于传统中心化方法，同时避免了中心化所带来的单点实效隐患。

附图说明

图1示例了本发明中的同步块与节点数据之间的结构关系。其中，数据块A_n是具有前驱和后继关系的数据结构；同步块S_x是一个周期性产生的数据块，将持续增长的A_n分割开；在同步块之间可以有多个数据块A_n并行的产生和增长。

图2示例了本发明的数据结构。其中，同步块S_x中包含上一个同步块S_x-1的唯一数字特征，此外还包含唯一的标号和自定义的数据，以及该同步块内容的校验数据；数据块A0中包含同步锚记录和同步块标号记录、自身标号和自定义数据，以及自身数据内容的校验数据；数据块A_n(n>0)中包含A_n-1的唯一数字特征和同步块的标号、自身标号和自定义数据，以及自身数据内容的校验数据，同步锚记录中记录了数据块A₀所属同步块的同步锚，同步块标号记录中记录了数据块A₀所属同步块的标号。

图3示例了并行一致性数据的典型维护流程图。

图4示例了一致性数据中[A]_N的生成流程图。

图5示例了节点响应同步块请求广播时的流程图。

具体实施方式

实施方案一：开放式网络环境下，网络中尚不存在可用同步锚时，并行有n个节点有数据增加和维护需求。

1，如图3所示，有数据维护需求的n个节点向网络其他节点广播同步周期查询，请求获得当前最新同步块，该查询请求广播包中包含节点自身信息和期望维护的数据结构信息、必要的版本信息和通讯协议信息，这些信息可被网络中运行同类计算软件的节点接收和解读。拥有相应同步块和同步锚的节点则响应该请求，并向请求节点回复可用的最新同步块；

2，在给定的时间内未获得期望的同步块，n个节点则各自初始化一个起始同步块S₀，S₀的内部数据域如图2所示，产生Hash(S₀)作为第一个同步周期的同步锚；同时该n个节点对外广播同步块；

3，有数据添加维护需求的n个网络节点各自记录监听获得的同步锚，自主决定采用哪一个同步锚，并如图4所示将该同步锚并写入本节点数据块A₀中；

4，(以任意某一节点i为例)节点i按需增长数据块组[A]的长度至[A]_N，方法为：

a)独立或与其他节点协调产生A₁，在A₁中包含A₀的数字摘要；

b)独立或与其他节点协调产生A_n，在A_n中包含A_n-1的数字摘要；

c)重复以上直至[A]增长至节点期望的长度，得到数组[A]_N。

5，在并行的条件下，各节点完成本节点数据[A]_N的构建；同时响应来自其它节点的同步周期查询请求，以便其它节点可以并行的加入此同步周期(如图5所示)。拥有相同同步锚的节点之间通过广播的方式汇集所有[A]_N，剔除非法数据，计算Hash([A]_N,all)；如果若干[A]_N的第一个数据块A₀中所包含的同步锚是相同的，则认定该若干[A]_N是同一个同步块后的数据。

6，n个节点各自单独构建新同步块S₁，同步块S₁的数据结构如图2所示，将Hash([A]_N,all)写入S₁，完成S₁中其他数据计算，生成正式的S₁；

7，同步块S₁作为新的同步块，产生Hash(S₁)作为新的同步锚，以该同步锚开始新的同步周期。

实施方案二：开放式网络环境下，网络中已存在可用同步锚，并行有n个节点有数据增加和维护需求。

1，如图3所示，有数据维护需求的n个节点向网络其他节点广播同步周期查询，请求当前最新同步块，该广播请求中包含节点自身信息和期望维护的数据结构信息、必要的版本信息和通讯协议信息，这些信息可被网络中运行同类计算软件的节点接收和解读。拥有相应同步块和同步锚的节点则响应该请求，并向请求节点回复可用的最新同步块；

2，有数据维护需求的节点在给定的时间内获得期望的同步块S_x-1，n个节点则各自记录该同步块，生成对应的同步锚Hash(S_x-1)，并写入本节点数据块A₀中(如图4所示)；

3，(以任意某一节点i为例)节点i按需增长数据块组[A]的长度至[A]_N，方法为：

c)重复以上直至[A]增长至节点期望的长度。

4，在并行的条件下，各节点完成本节点数据[A]_N的构建；同时响应来自其它节点的同步周期查询请求，以便其它节点可以并行的加入此同步周期(如图5所示)。拥有相同同步锚的节点之间通过广播的方式汇集所有[A]_N，剔除非法数据，计算Hash([A]_N,all)；如果若干[A]_N的第一个数据块A₀中所包含的同步锚是相同的，则认定该若干[A]_N是同一个同步块后的数据。

5，n个节点各自单独构建新同步块S_x，同步块S_x的数据结构如图2所示，将Hash ([A]_N,all)写入S_x，完成S_x中其他数据计算，生成正式的S_x；

6，同步块S_x作为新的同步块，重复步骤2开始新的同步周期。

实施方案三：开放式网络环境下，节点本地已存在历史同步锚，并行有n个节点有数据增加和维护需求。

1.如图3所示，有数据维护需求的n个节点向网络其他节点广播同步周期查询，请求当前最新同步块，该广播请求中包含节点自身信息和期望维护的数据结构信息、必要的版本信息和通讯协议信息，这些信息可被网络中运行同类计算软件的节点接收和解读。拥有相应同步块和同步锚的节点则响应该请求，并向请求节点回复可用的最新同步块；

2.有数据维护需求的节点在给定的时间内未收到期望的同步块回应，n个节点则各自将本地已存在的同步块视同为同步块S_x-1，生成对应的同步锚Hash(S_x-1)，并写入本节点数据块A₀中(如图4所示)；

3.(以任意某一节点i为例)节点i按需增长数据块组[A]的长度至[A]_N，方法为：

c)重复以上直至[A]增长至节点期望的长度。

4.在并行的条件下，各节点完成本节点数据[A]_N的构建；同时响应来自其它节点的同步周期查询请求，以便其它节点可以并行的加入此同步周期(如图5所示)。拥有相同同步锚的节点之间通过广播的方式汇集所有[A]_N，剔除非法数据，计算Hash([A]_N,all)；如果若干[A]_N的第一个数据块A₀中所包含的同步锚是相同的，则认定该若干[A]_N是同一个同步块后的数据。

5.n个节点各自单独构建新同步块S_x，同步块S_x的数据结构如图2所示，将Hash([A]_N,all)写入S_x，完成S_x中其他数据计算，生成正式的S_x；

6.同步块S_x作为新的同步块，重复步骤2开始新的同步周期。

实施方案四：开放式网络环境下，网络中尚不存在可用同步锚时，并行有n个节点有数据增加和维护需求，数据链同步锚依赖关系由抽象规则描述。

1，如图3所示，有数据维护需求的n个节点向网络其他节点广播请求当前同步块，该广播请求中包含节点自身信息和期望维护的数据结构信息、必要的版本信息和通讯协议信息，这些信息可被网络中运行同类计算软件的节点接收和解读。拥有相应同步锚的节点则响应该请求，并向请求节点回复可用的最新同步块；

2，在给定的时间内未获得期望的同步块，n个节点则各自初始化一个起始同步块S₀，S₀的内部数据域如图2所示，产生Hash(S₀)作为第一个同步周期的同步锚；同时该n个节点对外广播同步锚；

3，有数据添加维护需求的n个网络节点各自记录监听获得的同步块，自主决定采用哪一个同步块来作为当前同步周期的同步块S_x-1，生成对应的同步锚Hash(S_x-1)，并将该同步锚并写入本节点数据块A₀中(如图4所示)；

4，(以任意某一节点i为例)节点i按需增长数据块组[A]_N，方法为：

a)定义{f_j}_x是数字特征依赖规则集合。

b)独立或与其他节点协调产生A₀，A₁，…，A_N，定义数据块集合[A]_N＝{A₀，A₁，…，A_N}，相应的数字特征集合为F{[A]_N}＝{F_A0，F_A1，…，F_AN}。同步块S_(x-1)和S_(x-1)的数字特征F_S(x-1),数字特征集合F{[A]_N}，设φ_N为F{[A]_N}的不含空集的幂集，即

类似的有

…,

由依赖规则给出依赖关系F_AN＝f₁(i,φ_N-1,F_S(x-1))，或F_AN＝f₂(i,φ_N-1)，或F_AN＝f₃(φ_N-1，F_S(x-1))，或F_AN＝f₄(φ_N-1)。且F{[A]_N}＝F{[A]_N-1}∪{F_AN}。其中i是节点i的标号。

c)记[A]_N中任一数据块为[A],当[A]由数据集合{B_M|M>1，M∈自然数集}构成时,有[A]＝[B]_M，对应的数字特征为F_[A]和数字特征集合F{[B]_M}＝{F_BM|M>1，M∈自然数集，F_BM是数据块B_M的数字特征}，由依赖规则给出依赖关系，有F_[A]＝f₅(F{[B]_M},F_S(x-1))，或F_[A]＝f₆(F{[B]_M})，或者有F_[A]＝f₇([A])。

5，在并行的条件下，各节点完成本节点数据[A]_N的构建。拥有相同同步锚的节点之间通过广播的方式汇集所有[A]_N，剔除非法数据，得到各节点共同认可的合法数字特征集合F{[A]_all}。

6，n个节点使用F{[A]_all}各自单独构建新同步块S_x。

7，同步块S_x作为新的同步块，计算F_Sx＝f₈(Sx)，F_Sx作为新的同步锚，以该同步锚开始新的同步周期。

Claims

一种数据一致性并行维护方法，其步骤为：

1)节点向网络中其他节点广播请求当前同步周期的同步块并计算当前同步周期的同步锚，若未获得期望的同步块，则该节点计算已存储的同步块的同步锚或初始化一起始同步块S₀及其同步锚，并视该同步锚为当前同步周期的同步锚；

2)有数据添加需求的每一节点i在数据A₀中写入当前同步周期的同步锚，并按需生成数据块A₁，A₂，……A_n，得到一数组[A]_N；数据A₀为需要在当前同步周期添加到一致性数据中的待添加数据；An为数组[A]_N中的第n个数据块；

3)各节点并行完成本节点数组[A]_N的构建并进行广播；

4)节点对收到的拥有相同同步锚的所有[A]_N进行过滤，剔除非法数据，构建下一同步周期的同步块。
如权利要求1所述的方法，其特征在于，同步锚为同步块的唯一数字特征，第x同步周期的同步块Sx的唯一数字特征作为第x+1个同步周期内所有后继数据块数组的同步锚。
如权利要求1所述的方法，其特征在于，第x同步周期的同步块S_x中包含上一同步周期同步块S_x-1的唯一数字特征、自定义的数据以及同步块S_x内容的校验数据。
如权利要求3所述的方法，其特征在于，第x同步周期的同步块S_x中包含上一同步周期同步块S_x-1的同步块标号。
如权利要求1或2或3所述的方法，其特征在于，步骤2)中，构建数组[A]_N时，在第n次产生的数据块A_n中包含前一次产生的数据块A_n-1的唯一数字特征，在A₁中包含A₀的唯一数字特征。
如权利要求1或2或3所述的方法，其特征在于，相邻同步周期的同步块Sx和同步块Sx+1之间存在若干数据块数组[A]_N；每一数据块数组[A]_N包块多个数据块[A]，后继数据块A_n中包含前一数据块A_n-1的唯一数字特征，在A₁中包含A₀的唯一数字特征。
如权利要求1或2或3所述的方法，其特征在于，数据块A₀中包含同步锚记录和同步块标号记录、自定义数据以及数据块A₀自身数据内容的校验数据；数据块A_n中包含A_n-1的唯一数字特征、自定义数据以及数据块A_n自身数据内容的校验数据，在A₁中包含A₀的唯一数字特征。
如权利要求7所述的方法，其特征在于，数据块A₀中包含数据块A₀自身的标号；数据块A_n中包含数据块A_n自身标号。
如权利要求1或2或3所述的方法，其特征在于，步骤2)中，节点i独立产生若干数据块添加到该数组[A]_N中。
如权利要求1或2或3所述的方法，其特征在于，步骤2)中，节点i与网络中其他节点协调产生若干数据块添加到该数组[A]_N中。
如权利要求1或2或3所述的方法，其特征在于，步骤4)中，判断[A]_N是否拥有相同同步锚的方法为：如果两[A]_N中的第一个数据块A₀中所包含的同步锚是相同的，则认定这两个[A]_N拥有相同的同步锚并属于同一个同步周期。
如权利要求1或2或3所述的方法，其特征在于，将使用数字特征算法对S₀计算所得的结果，作为第一个同步周期同步块S₀的同步锚。
如权利要求1或2或3所述的方法，其特征在于，如果节点i在第x同步周期结束前未能成功完成添加的[A]_N，则在第x+1同步周期用第x+1同步周期的同步块的同步锚重新构建[A]_N并添加到第x+1同步周期的一致性数据中。