WO2016138859A1 - 数据同步方法和集群节点 - Google Patents

数据同步方法和集群节点 Download PDF

Info

Publication number
WO2016138859A1
WO2016138859A1 PCT/CN2016/075327 CN2016075327W WO2016138859A1 WO 2016138859 A1 WO2016138859 A1 WO 2016138859A1 CN 2016075327 W CN2016075327 W CN 2016075327W WO 2016138859 A1 WO2016138859 A1 WO 2016138859A1
Authority
WO
WIPO (PCT)
Prior art keywords
source data
cluster node
data
complete
generates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/075327
Other languages
English (en)
French (fr)
Inventor
唐文奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Publication of WO2016138859A1 publication Critical patent/WO2016138859A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems

Definitions

  • Embodiments of the present invention relate to the field of computer technologies, and, more particularly, to a data synchronization method and a cluster node.
  • Impala is a new query system for distributed system infrastructure (such as Hadoop) that provides SQL (Structured Query Language) semantics.
  • SQL Structured Query Language
  • Impala can query PB-level big data stored in Hadoop's HDFS (Hadoop Distributed File System) with low latency. Decisions based on data analysis provide more efficient support.
  • the distributed system Hadoop uses Hive to manually import data in a file manner, and then judges the validity or integrity of the data. Therefore, not only the labor cost is large but also inefficient.
  • the embodiment of the invention provides a data synchronization method and a cluster node, which can effectively reduce labor costs and improve data synchronization efficiency.
  • a data synchronization method comprising: verifying integrity of the source data on a cluster node that generates source data; and if the source data is determined to be complete, acquiring the source Data; updating the data table according to the source data; wherein the source data is a complete process indicating that the cluster node that generates the source data has completed generating the source data, and the data table is used for recording The meta information of the source data.
  • the generating source data Verifying the integrity of the source data on the cluster node includes determining that the source data is complete when polling the cluster node that generates the source data to obtain a complete tag; or when receiving Determining that the source data is complete when the complete tag submitted by the cluster node of the source data is generated; wherein the complete tag is generated by the cluster node that generates the source data after the source data is generated Produced later.
  • the verifying the integrity of the source data on the cluster node that generates the source data includes: When the size of the source data does not change within a predetermined time range, it is determined that the source data is complete.
  • determining that the source data is complete includes: detecting the size of the source data multiple times, each time interval,
  • the predetermined time range refers to a time interval between the first time and the last time detecting the size of the source data; if the size of the source data detected multiple times is consistent, indicating that the size of the source data is predetermined There is no change in the time range, and the source data is determined to be complete.
  • the method before the updating the data table according to the source data, the method further includes: The source data is filtered to filter out invalid data.
  • the method further includes: partitioning to create the source data a table structure that records a mapping relationship from the cluster node that generates the source data to a storage location on a target cluster node, where the target cluster node refers to a cluster node that acquires the source data.
  • the data table adopts a full scale, a time partition table or a zipper table. form.
  • a data synchronization method comprising: generating source data;
  • the target cluster node After the target cluster node determines that the source data is complete, uploading the source data to the target cluster node, so that the target cluster node updates the data table according to the source data; wherein the source data is complete Representing that the cluster node that generated the source data has completed the process of generating the source data, the data table is used to record meta information of the source data.
  • the method before the source data is uploaded to the target cluster node, the method further includes: after the source data is generated, generating a complete mark, the complete A flag is used to indicate that the source data is complete; the complete tag is submitted to the target cluster node.
  • a data synchronization cluster node includes: a verification module, configured to verify integrity of the source data on a cluster node that generates source data; and acquire a module for The verification module determines that the source data is complete, and acquires the source data; and the update module is configured to update the data table according to the source data acquired by the obtaining module; wherein the source data is a complete representation
  • the cluster node that generates the source data has completed the process of generating the source data, and the data table is used to record meta information of the source data.
  • the verification module is specifically configured to determine the source data when a complete tag is obtained by polling the cluster node that generates the source data
  • the verification module is specifically configured to: when receiving the complete tag submitted by the cluster node that generates the source data, determine that the source data is complete; wherein the complete tag is generated by a The cluster node of the source data is generated after the source data generation is completed.
  • the verification module is specifically configured to: when the size of the source data does not change within a predetermined time range, determine that the source data is complete.
  • the verification module is specifically configured to: detect the size of the source data multiple times, each time being at a certain interval Time, if the size of the source data detected multiple times is consistent, indicating that the size of the source data has not changed within a predetermined time range, determining that the source data is complete, wherein the predetermined The time range refers to the time interval between the first and last detection of the size of the source data.
  • the updating module is further configured to: filter the source data to filter out invalid data.
  • the cluster node further includes: a creating module, configured to create a table structure of the source data, The table structure records a mapping relationship from the cluster node that generates the source data to a storage location on a target cluster node, where the target cluster node refers to a cluster node that acquires the source data.
  • a fourth aspect provides a cluster node for generating source data, where the cluster node includes: a generating module, configured to generate source data; and an uploading module, configured to: after the target cluster node determines that the source data is complete, The target cluster node uploads the source data generated by the generating module, so that the target cluster node updates the data table according to the source data; wherein the source data is a complete representation indicating that the source data is generated.
  • the cluster node has completed the process of generating the source data, and the data table is used to record meta information of the source data.
  • the generating module is further configured to: after the source data is generated, generate a complete tag, where the complete tag is used to indicate the The source data is complete; the uploading module is further configured to: submit the complete tag generated by the generating module to the target cluster node.
  • the source data integrity is verified by using the cluster node that generates the source data.
  • the source data is directly obtained from the cluster node that generates the source data, and correspondingly
  • the data table in which the data element information is recorded is updated to implement data synchronization. Therefore, it is not necessary to manually import the source data by means of Hive to complete the judgment of data integrity and validity, thereby reducing the labor cost and improving the efficiency of data synchronization.
  • FIG. 1 is a schematic flow chart of a process of a data synchronization method according to an embodiment of the present invention.
  • FIG. 2 is a schematic flow chart of a process of a data synchronization method according to an embodiment of the present invention.
  • FIG. 3 is a schematic structural diagram of a data synchronization cluster node of the present invention.
  • FIG. 4 is a schematic structural diagram of a cluster node for generating source data according to the present invention.
  • FIG. 5 is a schematic structural diagram of another data synchronization cluster node of the present invention.
  • FIG. 6 is a schematic structural diagram of another cluster node that generates source data according to the present invention.
  • FIG. 1 is a schematic flow chart of a process of a data synchronization method according to an embodiment of the present invention.
  • the method of Figure 1 can be performed by a cluster node of data synchronization, including:
  • Step 101 Verify the integrity of the source data on the cluster node that generates the source data.
  • the verification of the integrity of the source data is to determine whether the cluster node that generates the source data has completed the process of generating the source data, or can be considered as a judgment on whether the source data is missing.
  • Step 102 If it is determined that the source data is complete, the source data is obtained.
  • the source data is a complete process that indicates that the cluster node that generated the source data has completed generating the source data.
  • Step 103 Update the data table according to the source data.
  • the data table is used to record meta information of the source data (also referred to as "metadata", which represents data describing the source data).
  • the source data integrity is verified by using the cluster node that generates the source data.
  • the source data is directly obtained from the cluster node that generates the source data, and correspondingly
  • the data table in which the data element information is recorded is updated to implement data synchronization. Therefore, it is not necessary to manually import the source data by means of Hive to complete the judgment of data integrity and validity, thereby reducing the labor cost and improving the efficiency of data synchronization.
  • the cluster node that generates the source data may generate a complete tag after completing the process of generating the source data, where the complete tag is used to indicate the source data. Is complete, can be polled by the cluster node that generates the source data, when polling the complete tag, it is determined that the source data is finished Integral, actively perform data acquisition.
  • the integrity of the source data may be verified by whether the size of the source data changes within a predetermined time range.
  • the cluster node that acquires the source data ie, the target cluster node
  • the predetermined time range here can be expressed as the time interval between the first and last detection of the source data. If the size of the source data detected multiple times is consistent, it indicates that the size of the source data has not changed within a predetermined time range, and it is determined that the source data is complete, and the data acquisition function can be performed.
  • the validity of the source data may be verified on the cluster node that generates the source data.
  • the validity of the source data may be verified after the source data is acquired.
  • the source data may be filtered according to a compression format to filter out invalid data. For example, verify source data (data files), exclude files that do not conform to the specified compression format, such as non-data files such as log (log files) generated by task scheduling.
  • the source data can be obtained by connecting to the Hive of the target cluster through JDBC (Java Data Base Connectivity) (for example, using the data copy function of HDFS).
  • JDBC Java Data Base Connectivity
  • the table structure of the source data may be partitioned, and the table structure records the local (that is, the cluster node that generates the source data) to the node of the target cluster (the cluster node that obtains the source data in the present invention, The mapping relationship of the storage locations on the cluster node as the method of FIG. 1 is performed.
  • the data table is in the form of a full scale table, a time partition table or a zipper table.
  • the data table can be All data recorded in the data table is updated, that is, it is generated in full; when the data table is represented by time partition, the data table can be updated according to a predetermined rule (for example, in units of days, weeks, or months); when the data table is a zipper table
  • the data table can be fully updated or some of the data in the data table can be updated (such as overwriting or appending). It should be understood that the embodiment of the present invention does not limit the form of the data table and the manner of updating the data table.
  • FIG. 2 is a schematic flow chart of a process of a data synchronization method according to an embodiment of the present invention.
  • the method of FIG. 2 may be performed by a cluster node (also referred to as a source data generator) and corresponds to the method of FIG. 1, and thus the description overlapping with the embodiment of FIG. 1 will be omitted as appropriate.
  • the method includes:
  • step 201 source data is generated.
  • Step 202 After the target cluster node determines that the source data is complete, upload the source data to the target cluster node, so that the target cluster node updates the data table according to the source data.
  • the source data is a complete process indicating that the cluster node generating the source data has completed generating the source data, and the data table is used to record the meta information of the source data.
  • the target cluster node determines that the source data is complete
  • the generated source data is uploaded to the target cluster node
  • the target cluster node updates the data table of the recorded data meta information to implement data synchronization. Therefore, it is not necessary to manually import the source data by means of Hive to complete the judgment of data integrity and validity, thereby reducing the labor cost and improving the efficiency of data synchronization.
  • the source data may be generated.
  • a complete tag is generated that indicates that the source data is complete; a complete tag is submitted to the target cluster node.
  • the target cluster node can know that the source data is complete through complete markup, and can actively obtain the source data from the cluster node that generates the source data (the data copy function of HDFS can be used).
  • the data synchronization cluster node 300 includes a verification module 301, an acquisition module 302, and an update module 303.
  • the verification module 301 is configured to verify the integrity of the source data on the cluster node that generates the source data;
  • the obtaining module 302 is configured to obtain source data if the verification module 301 determines that the source data is complete;
  • the update module 303 is configured to update the data table according to the source data acquired by the obtaining module 302.
  • the source data is a complete process indicating that the cluster node generating the source data has completed generating the source data, and the data table is used to record the meta information of the source data.
  • the source data integrity is verified by using the cluster node that generates the source data.
  • the source data is directly obtained from the cluster node that generates the source data, and correspondingly
  • the data table in which the data element information is recorded is updated to implement data synchronization. Therefore, it is not necessary to manually import the source data by means of Hive to complete the judgment of data integrity and validity, thereby reducing the labor cost and improving the efficiency of data synchronization.
  • the data synchronization cluster node 300 can implement the operations related to the cluster node in the foregoing embodiment, and therefore, in order to avoid repetition, details are not described in detail.
  • the verification module 301 may be specifically configured to: when the cluster node that generates the source data is polled, obtain the complete tag, determine that the source data is complete; or the verification module 301 may specifically use On: when receiving the generated source data When the complete tag submitted by the cluster node determines that the source data is complete; the complete tag is generated by the cluster node that generated the source data after the source data is generated.
  • the verification module 301 may be specifically configured to: when the size of the source data does not change within a predetermined time range, determine that the source data is complete.
  • the verification module 301 may be specifically configured to: detect the size of the source data multiple times, each time interval, if the size of the source data detected multiple times is consistent, indicating that the size of the source data is predetermined. There is no change in the time range, and the source data is determined to be complete, wherein the predetermined time range refers to the time interval between the first and last detection of the size of the source data.
  • the update module 303 is further configured to: filter the source data to filter out invalid data.
  • the cluster node 300 may further include a creating module 304.
  • the creating module 304 is configured to create a table structure of the source data, and the table structure records the mapping relationship from the cluster node that generates the source data to the storage location on the target cluster node, where the target cluster node refers to the cluster node that obtains the source data.
  • the cluster node 400 that generates the source data includes a generation module 401 and an upload module 402.
  • the generating module 401 is configured to generate source data.
  • the uploading module 402 is configured to: after the target cluster node determines that the source data is complete, upload the source data generated by the generating module 401 to the target cluster node, so that the target cluster node updates the data table according to the source data;
  • the cluster node that generated the source data has completed the number of generated sources.
  • the data table is used to record the meta information of the source data.
  • the target cluster node determines that the source data is complete
  • the generated source data is uploaded to the target cluster node
  • the target cluster node updates the data table of the recorded data meta information to implement data synchronization. Therefore, it is not necessary to manually import the source data by means of Hive to complete the judgment of data integrity and validity, thereby reducing the labor cost and improving the efficiency of data synchronization.
  • the cluster node 400 that generates the source data can implement the operations related to the cluster node in the above embodiment, and therefore, in order to avoid redundancy, detailed description will not be given.
  • the generating module 401 is further configured to: after the source data is generated, generate a complete tag, where the complete tag is used to indicate that the source data is complete; and the uploading module 402 is further configured to: target The cluster node submits the full tag.
  • the target cluster node can know that the source data is complete through complete markup, and can actively obtain the source data from the cluster node that generates the source data (the data copy function of HDFS can be used).
  • Node 500 includes a processor 501, a memory 502, and a transceiver 503.
  • the processor 501 controls the operation of the device 500.
  • Memory 502 can include read only memory and random access memory and provides instructions and data to processor 501.
  • a portion of the memory 502 may also include non-volatile line random access memory (NVRAM).
  • the processor 501, the memory 502, and the transceiver 503 are coupled together by a bus system 510.
  • the bus system 510 includes a power bus, a control bus, and a status signal bus in addition to the data bus. However, for clarity of description, various buses are labeled as bus system 510 in the figure.
  • the processor 501 may be an integrated circuit chip with signal processing capability. In the implementation process, each step of the foregoing method may be completed by an integrated logic circuit of hardware in the processor 501 or an instruction in a form of software.
  • the processor 501 can be a general purpose processor, including a CPU (Central Processing Unit), NP (Network) Processor, Network Processor, etc.; can also be DSP (Digital Signal Processing), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array) or other Programmable logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • the methods, steps, and logical block diagrams disclosed in the embodiments of the present invention may be implemented or carried out.
  • the general purpose processor may be a microprocessor or the processor or any conventional processor or the like.
  • Node 600 includes a processor 601, a memory 602, and a transceiver 603.
  • the processor 601 controls the operation of the device 600.
  • each step of the foregoing method may be completed by an integrated logic circuit of hardware in the processor 601 or an instruction in a form of software.
  • FIG. 6 For the function of the device shown in FIG. 6, reference may be made to the description of FIG. 5, and details are not described herein again.
  • the disclosed systems, devices, and methods may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the units/modules is only one logical function division, and may be further divided in actual implementation, such as multiple units/modules or Components can be combined or integrated into another system, or some features can be ignored or not executed.
  • each functional unit/module in various embodiments of the present invention may be integrated in one In the processing unit, each unit/module may exist physically separately, or two or more units/modules may be integrated into one unit/module.
  • the functions, if implemented in the form of software functions and sold or used as separate products, may be stored in a computer readable storage medium.
  • the technical solution of the present invention which is essential or contributes to the prior art, or a part of the technical solution, may be embodied in the form of a software product, which is stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a ROM (Read-Only Memory), a RAM (Random Access Memory), a disk or an optical disk, and the like, which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种数据同步方法和集群节点，该方法包括：在生成源数据的集群节点上对所述源数据的完整性进行验证（101）；若确定所述源数据为完整的，则获取所述源数据，其中所述源数据为完整的表示生成所述源数据的所述集群节点已完成生成所述源数据的过程（102）；根据所述源数据对数据表进行更新，所述数据表用于记录所述源数据的元信息（103）。通过在生成源数据的集群节点上来实现源数据完整性的验证，在源数据完整的情况下，实现数据同步。因此，无需通过Hive手工以文件方式导入源数据再完成数据完整性和有效性的判断，从而降低了人力成本，并且提高数据同步的效率。

Description

数据同步方法和集群节点 技术领域
本发明实施例涉及计算机技术领域，并且更具体地，涉及一种数据同步方法和集群节点。
背景技术
Impala作为分布式系统基础架构(如Hadoop)的新型查询系统，提供SQL(Structured Query Language，结构化查询语言)语义。相较于使用MapReduce编程模型的Hive(基于Hadoop的一个数据仓库工具)，Impala能够以低延时查询存储在Hadoop的HDFS(Hadoop Distributed File System，分布式文件系统)中的PB级大数据，为依托于数据分析的决策提供了更高效的支撑。
但是，在现有的数据同步过程中，分布式系统Hadoop采用Hive手工以文件方式导入数据，再对数据的有效性或完整性进行判断，因此，不仅人力成本大且效率低下。
发明内容
本发明实施例提供一种数据同步方法和集群节点，能够有效地降低人力成本，并且提高数据同步的效率。
第一方面，提供了一种数据同步方法，该方法包括：在生成源数据的集群节点上对所述源数据的完整性进行验证；若确定所述源数据为完整的，则获取所述源数据；根据所述源数据对数据表进行更新；其中所述源数据为完整的表示生成所述源数据的所述集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。
结合第一方面，在一种可能的实现方式中，所述在生成源数据的 集群节点上对所述源数据的完整性进行验证包括：当通过对生成所述源数据的所述集群节点进行轮询，获取到完整标记时，确定所述源数据为完整的；或者当接收到生成所述源数据的所述集群节点提交的完整标记时，确定所述源数据为完整的；其中所述完整标记是由生成所述源数据的所述集群节点在所述源数据生成完成之后产生的。
结合第一方面或其上述实现方式中的任一种实现方式，在另一种可能的实现方式中，所述在生成源数据的集群节点上对所述源数据的完整性进行验证包括：当所述源数据的大小在预定的时间范围内没有改变时，确定所述源数据为完整的。
进一步地，所述当所述源数据的大小在预定的时间范围内没有改变时，确定所述源数据为完整的，包括：多次检测所述源数据的大小，每次间隔一定的时间，所述预定的时间范围是指首次与最后一次检测所述源数据的大小的时间间隔；如果多次检测到的所述源数据的大小都是一致的，则表示所述源数据的大小在预定的时间范围内没有改变，确定所述源数据为完整的。
结合第一方面或其上述实现方式中的任一种实现方式，在另一种可能的实现方式中，在所述根据所述源数据对数据表进行更新之前，所述方法还包括：对所述源数据进行过滤，以过滤掉无效数据。
结合第一方面或其上述实现方式中的任一种实现方式，在另一种可能的实现方式中，在所述获取所述源数据之后，所述方法还包括：分区创建所述源数据的表结构，所述表结构记录了从生成所述源数据的所述集群节点到目标集群节点上的存储位置的映射关系，所述目标集群节点指的是获取所述源数据的集群节点。
结合第一方面或其上述实现方式中的任一种实现方式，在另一种可能的实现方式中，所述数据表采用全量表，时间分区表或拉链表的 形式。
第二方面，提供了一种数据同步方法，该方法包括：生成源数据；
在目标集群节点确定所述源数据为完整的之后，向所述目标集群节点上传所述源数据，以便所述目标集群节点根据所述源数据对数据表进行更新；其中所述源数据为完整的表示生成所述源数据的所述集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。
结合第二方面，在一种可能的实现方式中，在向所述目标集群节点上传所述源数据之前，所述方法还包括：在所述源数据生成完成之后，生成完整标记，所述完整标记用于指示所述源数据为完整的；向所述目标集群节点提交所述完整标记。
第三方面，提供了一种数据同步的集群节点，该集群节点包括：验证模块，用于在生成源数据的集群节点上对所述源数据的完整性进行验证；获取模块，用于若所述验证模块确定所述源数据为完整的，则获取所述源数据；更新模块，用于根据所述获取模块获取的所述源数据对数据表进行更新；其中所述源数据为完整的表示生成所述源数据的所述集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。
结合第三方面，在一种可能的实现方式中，所述验证模块具体用于：当通过对生成所述源数据的所述集群节点进行轮询，获取到完整标记时，确定所述源数据为完整的；或者所述验证模块具体用于：当接收到生成所述源数据的所述集群节点提交的完整标记时，确定所述源数据为完整的；其中所述完整标记是由生成所述源数据的所述集群节点在所述源数据生成完成之后产生的。
结合第三方面或其上述实现方式中的任一种实现方式，在另一种 可能的实现方式中，所述验证模块具体用于：当所述源数据的大小在预定的时间范围内没有改变时，确定所述源数据为完整的。
结合第三方面或其上述实现方式中的任一种实现方式，在另一种可能的实现方式中，所述验证模块具体用于：多次检测所述源数据的大小，每次间隔一定的时间，如果多次检测到的所述源数据的大小都是一致的，则表示所述源数据的大小在预定的时间范围内没有改变，确定所述源数据为完整的，其中所述预定的时间范围是指首次与最后一次检测所述源数据的大小的时间间隔。
结合第三方面或其上述实现方式中的任一种实现方式，在另一种可能的实现方式中，所述更新模块还用于：对所述源数据进行过滤，以过滤掉无效数据。
结合第三方面或其上述实现方式中的任一种实现方式，在另一种可能的实现方式中，所述集群节点还包括：创建模块，用于分区创建所述源数据的表结构，所述表结构记录了从生成所述源数据的所述集群节点到目标集群节点上的存储位置的映射关系，所述目标集群节点指的是获取所述源数据的集群节点。
第四方面，提供了一种生成源数据的集群节点，该集群节点包括：生成模块，用于生成源数据；上传模块，用于在目标集群节点确定所述源数据为完整的之后，向所述目标集群节点上传所述生成模块生成的所述源数据，以便所述目标集群节点根据所述源数据对数据表进行更新；其中所述源数据为完整的表示生成所述源数据的所述集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。
结合第四方面，在一种可能的实现方式中，所述生成模块还用于：在源数据生成完成之后，生成完整标记，所述完整标记用于指示所述 源数据为完整的；所述上传模块还用于：向所述目标集群节点提交所述生成模块生成的所述完整标记。
在本发明实施例中，通过在生成源数据的集群节点上来实现源数据完整性的验证，在源数据完整的情况下，从生成源数据的集群节点上直接获取该源数据，并相应地对记录数据元信息的数据表进行更新，从而实现数据同步。因此，无需通过Hive手工以文件方式导入源数据再完成数据完整性和有效性的判断，从而降低了人力成本，并且提高数据同步的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的数据同步方法的过程的示意性流程图。
图2是本发明一个实施例的数据同步方法的过程的示意性流程图。
图3是本发明一个数据同步的集群节点的示意性结构图。
图4是本发明一个生成源数据的集群节点的示意性结构图。
图5是本发明另一个数据同步的集群节点的示意性结构图。
图6是本发明另一个生成源数据的集群节点的示意性结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
图1是本发明一个实施例的数据同步方法的过程的示意性流程图。图1的方法可以由数据同步的集群节点执行，包括：
步骤101，在生成源数据的集群节点上对源数据的完整性进行验证。
其中验证源数据的完整性即是确定生成源数据的集群节点是否已完成生成所述源数据的过程，或者可以认为是对源数据是否缺失的一种判断。
步骤102，若确定源数据为完整的，则获取源数据。
其中源数据为完整的可表示生成源数据的集群节点已完成生成源数据的过程。
步骤103，根据源数据对数据表进行更新。
其中数据表用于记录源数据的元信息(也可以称为“元数据”，表示描述源数据的数据)。
在本发明实施例中，通过在生成源数据的集群节点上来实现源数据完整性的验证，在源数据完整的情况下，从生成源数据的集群节点上直接获取该源数据，并相应地对记录数据元信息的数据表进行更新，从而实现数据同步。因此，无需通过Hive手工以文件方式导入源数据再完成数据完整性和有效性的判断，从而降低了人力成本，并且提高数据同步的效率。
可选地，作为一个实施例，在步骤101中，在一种可能的实现方式中，生成源数据的集群节点在完成源数据生成的过程后可以生成完整标记，该完整标记用来指示源数据是完整的，可以通过对生成源数据的集群节点进行轮询，当轮询到该完整标记时，则确定源数据为完 整的，主动执行数据获取功能。
在另一种可能的实现方式中，可以通过源数据的大小在预定的时间范围内是否有改变来验证源数据的完整性。具体地，当源数据生成者(即生成源数据的集群节点)因环境或权限等原因不能主动提交完整标记时，获取源数据的集群节点(即目标集群节点)可以多次(两次或两次以上)检测源数据的大小，每次检测间隔一定的时间，此处预定的时间范围可以表示为首次与最后一次检测源数据的大小的时间间隔。如果多次检测到的所述源数据的大小都是一致的，则表示源数据的大小在预定的时间范围内没有改变，确定源数据为完整的，可以执行数据获取功能。
应理解，本发明实施例对于源数据完整性的验证方式并不限定。
可选地，作为另一个实施例，在步骤103之前，可以在生成源数据的集群节点上对源数据进行有效性的验证，当然也可以在获取源数据之后验证源数据的有效性。可选地，可以根据压缩格式对源数据进行过滤，以过滤掉无效数据。例如，校验源数据(数据文件)，排除不符合指定压缩格式的文件，如任务调度产生的log(日志文件)等非数据的文件。
可选地，作为另一个实施例，在步骤102中，可以通过JDBC(Java Data Base Connectivity，Java数据库连接)连接到目标集群的Hive，实现源数据的获取(如采用HDFS的数据拷贝功能)。进一步地，还可以分区创建源数据的表结构(如Hive表结构)，表结构记录了本地(即生成源数据的集群节点)到目标集群的节点(本发明中的获取源数据的集群节点，如执行图1方法的集群节点)上的存储位置的映射关系。
可选地，作为另一个实施例，在步骤103中，数据表采用全量表，时间分区表或拉链表的形式。当数据表采用全量表的形式时，可以对 数据表记录的所有数据进行更新，即全量生成一遍；当数据表为时间分区表示，可以按照预定的规则(如以天、周或月等为单元)来更新数据表；当数据表为拉链表的形式(记录了数据的历史，即数据的开始一直到当前的状态)时，可以对数据表进行全量更新或者对数据表中的部分数据进行更新(如覆盖或追加方式)。应理解，本发明实施例对数据表的形式及其更新方式不做限制。
还需要说明的是，本发明数据同步方法中可以有效针对Impala数据，当然，也可以应用到其它场景，本发明对此并不限定。
图2是本发明一个实施例的数据同步方法的过程的示意性流程图。图2的方法可以由集群节点(也称为源数据生成者)执行，并与图1的方法相对应，因此将适当省略与图1的实施例重复的描述。该方法包括：
步骤201，生成源数据。
步骤202，在目标集群节点确定源数据为完整的之后，向目标集群节点上传源数据，以便目标集群节点根据所述源数据对数据表进行更新。
其中源数据为完整的表示生成源数据的集群节点已完成生成源数据的过程，数据表用于记录源数据的元信息。
在本发明实施例中，在目标集群节点确定源数据完整的情况下，将生成的源数据上传给目标集群节点，目标集群节点对记录数据元信息的数据表进行更新，实现了数据同步。因此，无需通过Hive手工以文件方式导入源数据再完成数据完整性和有效性的判断，从而降低了人力成本，并且提高数据同步的效率。
可选地，作为一个实施例，在步骤202之前，可以在源数据生成 完成之后，生成完整标记，该完整标记用于指示源数据为完整的；向目标集群节点提交完整标记。目标集群节点通过完整标记可以获知源数据完整，可以主动地从生成源数据的集群节点上获取该源数据(可以使用HDFS的数据拷贝功能)。
图3是本发明一个数据同步的集群节点的示意性结构图。数据同步的集群节点300包括验证模块301，获取模块302和更新模块303。
验证模块301，用于在生成源数据的集群节点上对源数据的完整性进行验证；
获取模块302，用于若验证模块301确定源数据为完整的，则获取源数据；
更新模块303，用于根据获取模块302获取的源数据对数据表进行更新；
其中源数据为完整的表示生成源数据的集群节点已完成生成源数据的过程，数据表用于记录源数据的元信息。
在本发明实施例中，通过在生成源数据的集群节点上来实现源数据完整性的验证，在源数据完整的情况下，从生成源数据的集群节点上直接获取该源数据，并相应地对记录数据元信息的数据表进行更新，从而实现数据同步。因此，无需通过Hive手工以文件方式导入源数据再完成数据完整性和有效性的判断，从而降低了人力成本，并且提高数据同步的效率。
数据同步的集群节点300可实现上述实施例中涉及该集群节点的操作，因此为避免重复，不再详细描述。
可选地，作为一个实施例，验证模块301可以具体用于：当通过对生成源数据的集群节点进行轮询，获取到完整标记时，确定源数据为完整的；或者验证模块301可以具体用于：当接收到生成源数据的 集群节点提交的完整标记时，确定源数据为完整的；其中完整标记是由生成源数据的集群节点在源数据生成完成之后产生的。
可选地，作为另一个实施例，验证模块301可以具体用于：当源数据的大小在预定的时间范围内没有改变时，确定所述源数据为完整的。
进一步地，验证模块301可以具体用于：多次检测源数据的大小，每次间隔一定的时间，如果多次检测到的源数据的大小都是一致的，则表示源数据的大小在预定的时间范围内没有改变，确定源数据为完整的，其中预定的时间范围是指首次与最后一次检测所述源数据的大小的时间间隔。
可选地，作为另一个实施例，更新模块303还可以用于：对源数据进行过滤，以过滤掉无效数据。
可选地，作为另一个实施例，集群节点300还可以包括创建模块304。创建模块304，用于分区创建源数据的表结构，表结构记录了从生成源数据的集群节点到目标集群节点上的存储位置的映射关系，目标集群节点指的是获取源数据的集群节点。
图4是本发明一个生成源数据的集群节点的示意性结构图。生成源数据的集群节点400包括生成模块401和上传模块402。
生成模块401，用于生成源数据。
上传模块402，用于在目标集群节点确定源数据为完整的之后，向目标集群节点上传生成模块401生成的源数据，以便目标集群节点根据源数据对数据表进行更新；
其中源数据为完整的表示生成源数据的集群节点已完成生成源数 据的过程，数据表用于记录源数据的元信息。
在本发明实施例中，在目标集群节点确定源数据完整的情况下，将生成的源数据上传给目标集群节点，目标集群节点对记录数据元信息的数据表进行更新，实现了数据同步。因此，无需通过Hive手工以文件方式导入源数据再完成数据完整性和有效性的判断，从而降低了人力成本，并且提高数据同步的效率。
生成源数据的集群节点400可实现上述实施例中涉及该集群节点的操作，因此为避免重复，不再详细描述。
可选地，作为一个实施例，生成模块401还可以用于：在源数据生成完成之后，生成完整标记，该完整标记用于指示源数据为完整的；上传模块402还可以用于：向目标集群节点提交完整标记。目标集群节点通过完整标记可以获知源数据完整，可以主动地从生成源数据的集群节点上获取该源数据(可以使用HDFS的数据拷贝功能)。
上述本发明实施例中图1的方法可以应用图5所示的数据同步的集群节点来实现。节点500包括处理器501，存储器502和收发器503。处理器501控制设备500的操作。存储器502可以包括只读存储器和随机存取存储器，并向处理器501提供指令和数据。存储器502的一部分还可以包括非易失行随机存取存储器(NVRAM)。处理器501，存储器502，收发器503通过总线系统510耦合在一起，其中总线系统510除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图中将各种总线都标为总线系统510。
其中，处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。处理器501可以是通用处理器，包括CPU(中央处理器，Central Processing Unit)、NP(网络 处理器，Network Processor)等；还可以是DSP(数字信号处理器，Digital Signal Processing)、ASIC(专用集成电路，Application Specific Integrated Circuit)、FPGA(现成可编程门阵列，Field Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
类似地，图2的方法可以应用图6所示的生成源数据的集群节点来实现。节点600包括处理器601，存储器602和收发器603。处理器601控制设备600的操作。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。对于图6所示的设备功能可以参考图5的描述，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元/模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元/模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
另外，在本发明各个实施例中的各功能单元/模块可以集成在一个 处理单元中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一个单元/模块中。
所述功能如果以软件功能的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (17)

  1. 一种数据同步方法，包括：
    在生成源数据的集群节点上对所述源数据的完整性进行验证；
    若确定所述源数据为完整的，则获取所述源数据；
    根据所述源数据对数据表进行更新；
    其中所述源数据为完整的表示生成所述源数据的所述集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。
  2. 根据权利要求1所述的方法，其中，所述在生成源数据的集群节点上对所述源数据的完整性进行验证包括：
    当通过对生成所述源数据的所述集群节点进行轮询，获取到完整标记时，确定所述源数据为完整的；或者
    当接收到生成所述源数据的所述集群节点提交的完整标记时，确定所述源数据为完整的；
    其中所述完整标记是由生成所述源数据的所述集群节点在所述源数据生成完成之后产生的。
  3. 根据权利要求1所述的方法，其中，所述在生成源数据的集群节点上对所述源数据的完整性进行验证包括：
    当所述源数据的大小在预定的时间范围内没有改变时，确定所述源数据为完整的。
  4. 根据权利要求3所述的方法，其中，所述当所述源数据的大小在预定的时间范围内没有改变时，确定所述源数据为完整的，包括：
    多次检测所述源数据的大小，每次间隔一定的时间，所述预定的时间范围是指首次与最后一次检测所述源数据的大小的时间间隔；
    如果多次检测到的所述源数据的大小都是一致的，则表示所述源 数据的大小在预定的时间范围内没有改变，确定所述源数据为完整的。
  5. 根据权利要求1-4任一项所述的方法，其中，在所述根据所述源数据对数据表进行更新之前，所述方法还包括：
    对所述源数据进行过滤，以过滤掉无效数据。
  6. 根据权利要求1-4任一项所述的方法，其中，在所述获取所述源数据之后，所述方法还包括：
    分区创建所述源数据的表结构，所述表结构记录了从生成所述源数据的所述集群节点到目标集群节点上的存储位置的映射关系，所述目标集群节点指的是获取所述源数据的集群节点。
  7. 根据权利要求1-4任一项所述的方法，其中，所述数据表采用全量表，时间分区表或拉链表的形式。
  8. 一种数据同步方法，包括：
    生成源数据；
    在目标集群节点确定所述源数据为完整的之后，向所述目标集群节点上传所述源数据，以便所述目标集群节点根据所述源数据对数据表进行更新；
    其中所述源数据为完整的表示生成所述源数据的所述集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。
  9. 根据权利要求8所述的方法，其中，在向所述目标集群节点上传所述源数据之前，所述方法还包括：
    在所述源数据生成完成之后，生成完整标记，所述完整标记用于指示所述源数据为完整的；
    向所述目标集群节点提交所述完整标记。
  10. 一种数据同步的集群节点，包括：
    验证模块，用于在生成源数据的集群节点上对所述源数据的完整性进行验证；
    获取模块，用于若所述验证模块确定所述源数据为完整的，则获取所述源数据；
    更新模块，用于根据所述获取模块获取的所述源数据对数据表进行更新；
    其中所述源数据为完整的表示生成所述源数据的所述集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。
  11. 根据权利要求10所述的集群节点，其中，
    所述验证模块具体用于：当通过对生成所述源数据的所述集群节点进行轮询，获取到完整标记时，确定所述源数据为完整的；或者
    所述验证模块具体用于：当接收到生成所述源数据的所述集群节点提交的完整标记时，确定所述源数据为完整的；
    其中所述完整标记是由生成所述源数据的所述集群节点在所述源数据生成完成之后产生的。
  12. 根据权利要求10所述的集群节点，其中，
    所述验证模块具体用于：当所述源数据的大小在预定的时间范围内没有改变时，确定所述源数据为完整的。
  13. 根据权利要求12所述的集群节点，其中，
    所述验证模块具体用于：多次检测所述源数据的大小，每次间隔一定的时间，如果多次检测到的所述源数据的大小都是一致的，则表示所述源数据的大小在预定的时间范围内没有改变，确定所述源数据为完整的，其中所述预定的时间范围是指首次与最后一次检测所述源数据的大小的时间间隔。
  14. 根据权利要求10-13任一项所述的集群节点，其中，
    所述更新模块还用于：对所述源数据进行过滤，以过滤掉无效数据。
  15. 根据权利要求10-13任一项所述的集群节点，其中，所述集群节点还包括：
    创建模块，用于分区创建所述源数据的表结构，所述表结构记录了从生成所述源数据的所述集群节点到目标集群节点上的存储位置的映射关系，所述目标集群节点指的是获取所述源数据的集群节点。
  16. 一种生成源数据的集群节点，包括：
    生成模块，用于生成源数据；
    上传模块，用于在目标集群节点确定所述源数据为完整的之后，向所述目标集群节点上传所述生成模块生成的所述源数据，以便所述目标集群节点根据所述源数据对数据表进行更新；
    其中所述源数据为完整的表示生成所述源数据的所述集群节点已完成生成所述源数据的过程，所述数据表用于记录所述源数据的元信息。
  17. 根据权利要求16所述的集群节点，其中，
    所述生成模块还用于：在源数据生成完成之后，生成完整标记，所述完整标记用于指示所述源数据为完整的；
    所述上传模块还用于：向所述目标集群节点提交所述生成模块生成的所述完整标记。
PCT/CN2016/075327 2015-03-02 2016-03-02 数据同步方法和集群节点 Ceased WO2016138859A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510092950.6 2015-03-02
CN201510092950.6A CN104699771B (zh) 2015-03-02 2015-03-02 数据同步方法和集群节点

Publications (1)

Publication Number Publication Date
WO2016138859A1 true WO2016138859A1 (zh) 2016-09-09

Family

ID=53346892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/075327 Ceased WO2016138859A1 (zh) 2015-03-02 2016-03-02 数据同步方法和集群节点

Country Status (2)

Country Link
CN (1) CN104699771B (zh)
WO (1) WO2016138859A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818106A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 一种大数据离线计算数据质量校验方法和装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699771B (zh) * 2015-03-02 2019-09-20 北京京东尚科信息技术有限公司 数据同步方法和集群节点
CN106708835A (zh) * 2015-08-11 2017-05-24 阿里巴巴集团控股有限公司 一种数据表的分类方法和装置
CN105069128B (zh) * 2015-08-14 2018-11-09 北京京东尚科信息技术有限公司 数据同步方法和装置
CN105447172A (zh) * 2015-12-07 2016-03-30 北京先进数通信息技术股份公司 一种Hadoop平台下的数据处理方法和系统
CN105554135B (zh) * 2015-12-23 2019-03-05 北京奇虎科技有限公司 数据节点间同步元信息的方法及装置
CN108874825B (zh) * 2017-05-12 2021-11-02 北京京东尚科信息技术有限公司 一种异常数据的校验方法和装置
CN112765135B (zh) * 2021-01-29 2023-12-05 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183993A (zh) * 2007-12-21 2008-05-21 亿阳信通股份有限公司 一种网络管理系统和性能数据处理方法
US20090271653A1 (en) * 2006-04-10 2009-10-29 Huawei Technologies Co., Ltd. Method and system for data synchronization
CN102355497A (zh) * 2011-09-28 2012-02-15 中国铁道科学研究院电子计算技术研究所 数据同步方法
CN102682096A (zh) * 2012-04-27 2012-09-19 北京航空航天大学 一种仿真资源信息与模型源码协同管理装置及其方法
CN104699771A (zh) * 2015-03-02 2015-06-10 北京京东尚科信息技术有限公司 数据同步方法和集群节点

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207492A (zh) * 2006-12-21 2008-06-25 中兴通讯股份有限公司 避免下载错误文件的文件下载方法及装置
CN101499011A (zh) * 2008-01-29 2009-08-05 中兴通讯股份有限公司 实现移动通信基站系统usb启动和升级的方法及装置
CN101334797B (zh) * 2008-08-04 2010-06-02 中兴通讯股份有限公司 一种分布式文件系统及其数据块一致性管理的方法
US20100162230A1 (en) * 2008-12-24 2010-06-24 Yahoo! Inc. Distributed computing system for large-scale data handling
CN102065137B (zh) * 2010-12-21 2013-08-14 山东浪潮齐鲁软件产业股份有限公司 一种网络数据库表数据应用程序同步的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271653A1 (en) * 2006-04-10 2009-10-29 Huawei Technologies Co., Ltd. Method and system for data synchronization
CN101183993A (zh) * 2007-12-21 2008-05-21 亿阳信通股份有限公司 一种网络管理系统和性能数据处理方法
CN102355497A (zh) * 2011-09-28 2012-02-15 中国铁道科学研究院电子计算技术研究所 数据同步方法
CN102682096A (zh) * 2012-04-27 2012-09-19 北京航空航天大学 一种仿真资源信息与模型源码协同管理装置及其方法
CN104699771A (zh) * 2015-03-02 2015-06-10 北京京东尚科信息技术有限公司 数据同步方法和集群节点

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818106A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 一种大数据离线计算数据质量校验方法和装置

Also Published As

Publication number Publication date
CN104699771B (zh) 2019-09-20
CN104699771A (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
WO2016138859A1 (zh) 数据同步方法和集群节点
US20200412526A1 (en) Method and apparatus for verifying smart contracts in blockchain, and storage medium
US8938430B2 (en) Intelligent data archiving
US8260742B2 (en) Data synchronization and consistency across distributed repositories
CN104376127B (zh) 一种数据操作方法及装置
US10140351B2 (en) Method and apparatus for processing database data in distributed database system
CN108446407A (zh) 基于区块链的数据库审计方法和装置
CN106649676B (zh) 一种基于hdfs存储文件的去重方法及装置
US20130339385A1 (en) Leveraging graph databases in a federated database system
US10747776B2 (en) Replication control using eventually consistent meta-data
US20160283348A1 (en) Testing of application service versions on live data
CN111046036A (zh) 数据同步方法、装置、系统及存储介质
CN109471901B (zh) 一种数据同步方法及装置
CN108241555A (zh) 一种分布式数据库的备份、恢复方法、装置和服务器
WO2017080431A1 (zh) 一种基于日志解析的数据库复制方法及装置
CN111445597B (zh) 用于机器学习的数据拼接和整合
CN114564446B (zh) 一种文件存储的方法、装置、系统及存储介质
CN106469152A (zh) 一种基于etl的文件处理方法及系统
WO2018176812A1 (zh) 静态资源发布方法及装置
CN105843871B (zh) 分布式应用文件的控制与管理系统
CN107992492A (zh) 一种数据区块的存储方法、读取方法、其装置及区块链
WO2016101759A1 (zh) 一种数据路由方法、数据管理装置和分布式存储系统
CN103810099A (zh) 代码跟踪方法及其系统
CN114443777A (zh) 缓存数据处理方法、装置、设备及系统
US12353413B2 (en) Quality evaluation and augmentation of data provided by a federated query system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16758474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 14/12/2017)

122 Ep: pct application non-entry in european phase

Ref document number: 16758474

Country of ref document: EP

Kind code of ref document: A1