WO2015062181A1 - 用于实现多源异构数据资源自动同步的方法 - Google Patents

用于实现多源异构数据资源自动同步的方法 Download PDF

Info

Publication number
WO2015062181A1
WO2015062181A1 PCT/CN2014/071941 CN2014071941W WO2015062181A1 WO 2015062181 A1 WO2015062181 A1 WO 2015062181A1 CN 2014071941 W CN2014071941 W CN 2014071941W WO 2015062181 A1 WO2015062181 A1 WO 2015062181A1
Authority
WO
WIPO (PCT)
Prior art keywords
database
synchronization
log
data
source
Prior art date
Application number
PCT/CN2014/071941
Other languages
English (en)
French (fr)
Inventor
许丞
谢毅
刘祥涛
岳强
季统凯
Original Assignee
广东电子工业研究院有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广东电子工业研究院有限公司 filed Critical 广东电子工业研究院有限公司
Priority to US14/402,106 priority Critical patent/US20180081956A1/en
Priority to EP14806522.0A priority patent/EP2891994A4/en
Publication of WO2015062181A1 publication Critical patent/WO2015062181A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Definitions

  • the present invention relates to the field of computer application technologies, and in particular, to a method for implementing automatic synchronization of multi-source heterogeneous data resources.
  • storing and organizing data is the basis of upper-layer application services.
  • different data sources can be integrated into a logically unified data source to provide a data access interface for upper-layer application services.
  • the distributed heterogeneous database system can not affect the production nodes, so the production system can only be used as the data source of the heterogeneous database system, that is, the data on the production node is synchronized to the front-end machine as the data operation in the heterogeneous database system.
  • the data on the front-end node and the production node needs to be updated regularly to provide an effective data source for the upper-layer application service.
  • Data synchronization and backup technologies used between different database systems are quite different, and users need to have certain background knowledge and correctly configure relevant parameters before they can implement data synchronization technology.
  • This implementation is limited by user level and database system differences, making it difficult to automate the data synchronization process. Therefore, designing an automated data synchronization mechanism for data synchronization between production nodes and front-end nodes is one of the keys to solving such problems.
  • From the technical method level there are mainly two ways to achieve data synchronization, and achieve data synchronization between the production node and the front-end node. The first idea is to analyze the log files for the database on the production node, extract DDL and DML statements from them, and transfer these statements to the front-end node.
  • the FEP node performs incremental synchronization based on DDL and DML statements.
  • This mechanism can achieve fast between the production node and the front-end node. data synchronization.
  • the production node needs to enable the log function of the database, and correctly configure the relevant parameters, otherwise the incremental synchronization cannot be performed;
  • the database system generally only provides the parsing interface of the log file, but there is no Provide complete incremental synchronization function;
  • the second idea is to perform full synchronization between the production node and the front-end node. With each synchronization, the database on the production node synchronizes all data to the front-end node. This type of synchronization consumes a lot of resources on the system, and some databases do not provide a complete data migration tool, and synchronization automation cannot be achieved.
  • the technical problem to be solved by the present invention is to provide a method for realizing automatic synchronization of multi-source heterogeneous data resources; constructing between a production node and a front-end machine node to realize data synchronization.
  • the metadata service node issues a synchronous update request to the front-end node, and the front-end node accepts the request and parses out relevant parameters from it: database address, database name, username, password, etc.; parsed parameters are passed to configuration analysis
  • the configuration analyzer connects to the source database, reads the log configuration information of the source database, and determines whether the incremental synchronization mode can be adopted according to the type and configuration information of the database;
  • the log parser will first initialize the parsing environment according to the database type, then enable a thread to read the DDL and DML statements recorded in the log file from the database and save them in the local cache; The synchronous updater then enables another thread, and sequentially takes out DML or DDL statements from the cache to update the database on the front-end node;
  • the synchronization updater constructs an automated data synchronization script file based on the database type using the existing data synchronization or backup tool; then, the synchronization updater creates a new process run script. , for data synchronization;
  • the sync updater updates the synchronization status information in the metadata node, reporting that the synchronization process is complete.
  • the production node and the front-end node are components in a distributed heterogeneous database system; where, the production node refers to the node that provides the data source in the deployed production system; the front-end node refers to the distributed heterogeneous database. The node that provides the data source.
  • the configuration analyzer, the log parser, and the synchronization updater are disposed on the front-end node.
  • the configuration analyzer needs to identify the configuration information of each database, as follows: For the MySQL database, check whether the database has the binary log function enabled. If the database system does not enable the binary log function, use the full synchronization mode; if the binary log When the function is enabled, it is determined that the incremental synchronization mode is required;
  • the database system For the Oracle DB2 database, check whether the database system has the archive log mode enabled. If it is enabled, it can be determined that the incremental synchronization mode can be used. Otherwise, it is determined that the full synchronization mode is required.
  • the log mode is the full log working mode. If yes, the incremental synchronization mode can be used. Otherwise, it is determined that the full synchronization mode is required.
  • the log parser When the source database can be incrementally updated, the log parser first obtains all the log files in the specified time period, and parses the log file contents according to the database type to obtain DDL and DML statements. At the same time, for each database, log parsing The device will parse the contents of the log file in different ways, as follows:
  • the synchronization updater updates the database on the front-end node according to the selected synchronization mode; if the incremental synchronization update mode is adopted, the synchronous updater enables a thread to acquire DDL and DML statements and saves them locally.
  • the process creation object ProcessBuilder executes the synchronization script, and redirects the error output stream to the input stream to obtain synchronization progress information, as follows:
  • the synchronous updater uses the dump and load tools provided by the database system to copy the contents of the source database to the server of the target database, and then load the data using the load tool;
  • DB2 database For the DB2 database, first use the DB2 built-in commands to catalog the source data; then, use the db21ook tool to get the names of all the tables in the source database; then, view the encoding of the source database, use the export tool, and source the database table by table in ixf format. In the data export; Finally, use the load tool to load the data into the local database.
  • the system analyzes the configuration parameters of the source database that needs to be synchronized, selects a reasonable synchronization scheme, and encapsulates the details of multiple databases in the process of implementing data synchronization.
  • the application system provides a unified interface, which reduces the difficulty of user configuration.
  • the system integrates existing database synchronization tools to construct an automated data synchronization solution to achieve automatic database synchronization.
  • the data synchronization mechanism proposed by the present invention is implemented for various databases, and reduces the complexity of data synchronization, improves user experience, and satisfies automation by encapsulating details in the synchronization process. The need for synchronization.
  • An integrated data synchronization interface which can synchronize multiple types of databases: This solution can support data synchronization functions of multiple database systems through an integrated manner, and improves the use scope of the data synchronization scheme.
  • the automated data synchronization solution provided by the present invention provides an automated data synchronization solution by integrating tools such as log analysis and data migration. By encapsulating the details of the data synchronization process, a unified data synchronization setting tool is provided for the upper application interface to shield the difference between the underlying data synchronization technologies.
  • Figure 1 is a diagram showing the composition of a system of the present invention
  • FIG. 2 is a flow chart showing the execution of the present invention. detailed description
  • the distributed heterogeneous database system buffers the query results of different databases through the intermediate data engine, provides a unified data access interface for the upper layer system, and shields the underlying data query details.
  • the production node and the front-end machine node described in the present invention are components in a distributed heterogeneous database system.
  • the production node refers to the node that provides the data source in the deployed production system;
  • the front-end node refers to the node that provides the data source in the distributed heterogeneous database, and periodically synchronizes data with the production node to make the front-end machine
  • the nodes are consistent with the data of the production node.
  • the present invention is a data synchronization method constructed between a production node and a front-end machine node.
  • the metadata service node initiates a data synchronization request to the production node.
  • the FEP node takes the relevant parameters from the request and analyzes the database configuration on the production node. According to the analysis As a result, the front-end node selects incremental synchronization or full-scale synchronization to synchronize the data in the production node to the front-end node.
  • the user only needs to provide basic information such as database name, database address, user and password, and can periodically synchronize data between the production node and the front-end node.
  • the present invention encapsulates the details of the data synchronization process of various database systems, and can automatically select an appropriate synchronization mode for data synchronization.
  • an automated data synchronization mechanism consists of three key components: a configuration analyzer, a log parser, and a synchronous updater.
  • Configure the analyzer Connect to the database on the production node, read the relevant configuration, and analyze whether the database can adopt the incremental synchronization mode.
  • Log parser The log parser reads the database log files on the production node and parses them to obtain DML and DDL operation statements.
  • the FEP node pulls the parsing result from the production node through the network and saves it in the local cache.
  • Synchronous Updater After the configuration analyzer completes the database configuration analysis, the synchronization updater synchronizes the data based on the analysis results.
  • the synchronous updater calls the log parser to obtain the DDL and DML statements in the cache, updating the database contents on the front-end node; if the configuration analyzer determines production The database needs to use full synchronization.
  • the synchronous updater pulls the data from the production node to the front-end node by calling the data migration or backup tool built in the database, and updates the database content on the front-end node.
  • the metadata service node issues a synchronous update request to the front-end node, and the front-end node accepts the request, and parses out relevant parameters from it: database address, database name, user name, password, and the like.
  • the parsed parameters are passed to the configuration analyzer, the configuration analyzer is connected to the source database, the log configuration information of the source database is read, and the incremental synchronization mode can be determined according to the type and configuration information of the database. If incremental synchronization is possible, the log parser will first initialize the resolution environment based on the database type, then enable a thread to read the DDL and DML statements recorded in the log file from the database and save them in the local cache.
  • the sync updater then enables another thread. Extract the DML or DDL statements from the cache and update the database on the front-end node. If the source database requires a full synchronization update method, the synchronization updater constructs an automated data synchronization script file based on the database type using the existing data synchronization or backup tool; then, the synchronization updater creates a new process run script. , for data synchronization. When the synchronization is complete, the sync updater updates the synchronization status information in the metadata node, reporting that the synchronization process is complete.
  • the configuration recognizer needs to identify the configuration information of each database.
  • the specific scheme is as follows:
  • MySQL database check whether the database has the binary logging function enabled. If the database system does not enable the binary logging function, use the full synchronization mode. If the binary logging function is enabled, it is determined that the incremental synchronization mode is required.
  • the database system For the Oracle DB2 database, check whether the database system has the archive log mode enabled. If it is enabled, it can be determined that the incremental synchronization mode can be used. Otherwise, it is determined that the full synchronization mode is required.
  • the log mode is the full log working mode. If yes, the incremental synchronization mode can be used. Otherwise, it is determined that the full synchronization mode is required.
  • Log parser When the source database can be incrementally updated, the log parser first obtains all the log files in the specified time period, and parses the log file contents according to the database type to obtain DDL and DML statements. Since distributed heterogeneous database systems are built on the concept of virtual tables, the log parser will only fetch DDL and DML statements for table operations. At the same time, for each database, the log parser will parse the log file content in different ways. The specific scheme is as follows:
  • Synchronous Updater When the synchronization mode is determined, the synchronization updater updates the database on the front-end node according to the selected synchronization mode. If incremental synchronous update is used, the synchronous updater will enable a thread to fetch DDL and DML statements and save them in the local cache. At the same time, it will start another thread, execute DDL and DML statements in turn, and update the local server content.
  • the sync updater will open a new thread, and create a new data synchronization script, call the system's process creation object ProcessBuilder to execute the synchronization script, and redirect the error output stream to the input stream to get the synchronization progress information.
  • the specific plan is as follows:
  • the synchronous updater uses the dump and load tools provided by the database system to copy the contents of the source database to the server of the target database, and then load the data using the load tool.
  • DB2 database For the DB2 database, first use the DB2 built-in commands to catalog the source data; then, use the db21ook tool to get the names of all the tables in the source database; then, view the encoding of the source database, use the export tool, and use the ixf format to create the table by table. Data export in the source database; Finally, use the load tool to load the data into the local database.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及一种用于实现多源异构数据资源自动同步的方法。本发明涉及元数据服务节点、服务节点及生产节点；元数据服务节点负责存储分布式异构数据库系统中的数据字典；服务节点负责解析异构数据库系统中用户的请求，定期与生产节点上的数据库进行同步；生产节点负责相应生产应用系统中的查询、更新等请求；其中，服务节点由配置识别器、日志解析器和数据同步器构成；配置识别器用于分析生产节点上源数据库配置，选择可行的同步方式；日志解析器用于解析不同数据库系统的日志，是增量同步方式的前期准备工作部件；数据同步器根据配置识别器的同步方式，进行数据同步。本发明实现了多源异构数据资源的自动同步；可用于数据资源处理中。

Description

技术领域 说 本发明涉及计算机应用技术领域， 特别涉及一种用于实现多源异构数据资 源自动同步的方法。
书
背景技术 在大数据时代， 存储、 组织数据是上层应用服务的基础。 通过分布式异构 数据库系统， 不同的数据源可以整合为逻辑上统一的数据源， 为上层应用服务 提供数据访问接口。 而分布式异构数据库系统不能对生产节点产生影响， 所以 只能将生产系统作为异构数据库系统的数据源， 即将生产节点上的数据同步到 前置机上， 作为异构数据库系统中的数据操作对象。 前置机节点与生产节点上 的数据需要定期更新， 为上层应用服务提供有效的数据源。 不同的数据库系统之间采用的数据同步与备份技术有较大差异， 且需要用 户具备一定的背景知识， 正确配置相关参数， 才可以实施数据同步技术。 这种 实施方式受到用户水平、 数据库系统差异的限制， 使数据同步过程难以实现自 动化。 因此， 针对生产节点与前置机节点之间的数据同步问题， 设计一种自动 化的数据同步机制， 是解决此类问题的关键之一。 从技术方法层面， 主要有两种思路实现数据同步， 实现生产节点与前置机 节点之间的数据同步。 思路一是针对生产节点上的数据库， 分析其日志文件， 从中提取出 DDL与 DML语句， 并将这些语句传送到前置机节点上。 前置机节点根据 DDL与 DML 语句， 进行增量同步。 这种机制可以实现生产节点与前置机节点之间的快速的 数据同步。 但是， 该机制存在一些问题： （1 ) 需要生产节点开启数据库的日志 功能， 并正确配置相关参数， 否则不能进行增量同步； （2) 数据库系统一般只 提供了日志文件的解析接口， 而没有提供完整的增量同步功能； （3 ) 不同数据 库系统之间的日志记录方式不同， 解析日志需要用户具备一定的相关知识， 这 些因素都限制了增量同步的使用范围。
思路二是在生产节点与前置机节点之间进行全量同步。 每次同步， 生产节 点上的数据库都会将所有数据同步到前置机节点中。 这种同步方式对系统的资 源消耗较大， 而且部分数据库没有提供完整的数据迀移工具， 无法实现同步自 动化。
发明内容
本发明解决的技术问题在于提供一种用于实现多源异构数据资源自动同步 的方法； 构建在生产节点与前置机节点之间， 实现数据的同步。
本发明解决上述技术问题的技术方案是：
首先， 元数据服务节点向前置机节点发出同步更新请求， 前置机节点接受 请求， 并从中解析出相关参数： 数据库地址、 数据库名、 用户名、 密码等； 解析出的参数传递给配置分析器， 配置分析器连接源数据库， 读取源数据 库的日志配置信息， 根据数据库的类型及配置信息， 判断是否可以采用增量同 步方式；
如果增量同步方式可行， 日志解析器将首先根据数据库类型， 初始化解析 环境， 然后启用一个线程， 从数据库中读取日志文件中记录的 DDL和 DML语 句， 并保存在本地的缓存中； 接着， 同步更新器再启用另外一个线程， 从缓存 中依次取出 DML或 DDL语句， 更新前置机节点上的数据库；
如果源数据库需要采用全量同步更新方式， 同步更新器根据数据库类型， 使用现有的数据同步或备份工具， 构造出一个自动化的数据同步脚本文件； 然 后， 同步更新器将创建一个新的进程运行脚本， 进行数据同步； 同步完成后， 同步更新器将更新元数据节点中的同步状态信息， 报告同步 过程已完成。 生产节点与前置机节点是分布式异构数据库系统中的组件； 其中， 生产节 点是指已部署的生产系统中的提供数据源的节点； 前置机节点是指在分布式异 构数据库中提供数据源的节点。
所述的配置分析器、 日志解析器、 同步更新器设置在前置机节点上。
所述的配置分析器需要对每种数据库的配置信息进行识别， 具体如下： 对于 MySQL数据库， 查看数据库是否开启二进制日志功能， 如果数据库系 统没有开启二进制日志功能， 则使用全量同步模式； 如果二进制日志功能开启， 则判定需要采用增量同步模式；
对于 Oracle DB2数据库， 查看数据库系统是否开启归档日志模式， 如果 开启， 则判定可采用增量同步模式， 否则判定需要采用全量同步模式；
对于 SQL Server数据库， 查看日志模式是否为完全日志工作模式， 如果是， 则可采用增量同步模式， 否则判定需要采用全量同步模式。
当源数据库可以进行增量同步更新时， 日志解析器首先获取指定时间段内 的所有日志文件， 并根据数据库类型， 解析日志文件内容， 获取 DDL与 DML 语句； 同时， 针对每种数据库， 日志解析器将采用不同的方式解析日志文件内 容， 具体如下：
对于 MySQL数据库， 通过调用内置的 mysqlbinlog工具， 查询日志内容， 获取相应的 DDL与 DML语句；
对于 Oracle数据库， 通过使用 LogMiner工具， 解析归档日志的内容； 首 先调用内置的存储过程 sys.DBMS.— LOGMNR— D.BUILD 从 redo 日志中获取 LogMiner所需的数据字典； 然后， 添加需要解析的日志文件， 并进行解析； 最 后， 查看解析结果视图， 获取 DDL与 DML操作语句； 对于 DB2 数据库， 首先通过调用数据库系统内置的 API 接口 -db2ReadLogNoConn, 初始化解析环境； 然后， 调用 db2ReadLog接口， 逐条解 析日志记录， 获取 DDL与 DML语句；
对于 SQL Server数据库，利用 f — dblog,读取 SQL Server日志，并根据 SQL Server二进制日志文件格式， 逐条进行解析， 获取 DDL与 DML语句。 当确定同步方式后， 同步更新器根据选择的同步方式， 更新前置机节点上 的数据库； 如果采用增量同步更新方式， 同步更新器将启用一个线程获取 DDL 与 DML语句， 并保存在本地的缓存中； 同时， 它将启动另外一个线程， 依次执 行 DDL与 DML语句， 更新本地服务器内容； 如果是全量更新方式， 同步更新 器将开启一个新线程， 并创建一个新的数据同步脚本， 调用系统的进程创建对 象 ProcessBuilder执行同步脚本， 并重定向错误输出流到输入流中， 获取同步进 度信息， 具体如下：
对于 Oracle、 MySQL数据库， 同步更新器使用数据库系统提供的 dump及 load工具， 将源数据库的内容复制到目标数据库的服务器上， 再利用 load工具， 载入数据；
对于 DB2数据库， 首先利用 DB2 内置的命令， 编目源数据； 然后， 利用 db21ook工具， 获取源数据库所有表的名称； 接着， 查看源数据库的编码方式， 利用 export工具， 以 ixf格式逐表将源数据库中的数据导出； 最后， 利用 load 工具， 将数据载入到本地数据库中。
本发明的有益效果有：
( 1 ) 能自动识别数据库类型并判断配置， 实现自动数据库同步： 系统通过 分析需要同步的源数据库的配置参数， 选择合理的同步方案， 封装多种数据库 在实施数据同步过程中的细节， 为上层应用系统提供了统一接口， 降低了用户 的配置难度。 同时， 系统集成现有数据库同步工具， 构造自动化的数据同步方 案， 从而实现自动数据库同步。 (2) 降低数据库同步的复杂度， 改善用户体验， 本发明提出的数据同步机 制是针对多种数据库实施的， 通过封装同步过程中的细节， 降低数据同步的复 杂度， 改善用户体验， 满足自动化同步的需求。
(3 ) 提供了集成数据同步接口， 能对多类型数据库进行同步： 本方案通过 集成的方式， 可以做到支持多种数据库系统的数据同步功能， 提高了数据同步 方案的使用范围。 同时， 本发明提供的自动化数据同步方案， 通过集成日志分 析、 数据迀移等工具， 提供了一套自动化的数据同步方案。 通过封装数据同步 过程中具体细节， 为上层应用接口提供统一的数据同步设置工具， 屏蔽底层数 据同步技术之间的差异。
附图说明
下面结合附图对本发明进一步说明：
图 1是本发明系统构件组成图。
图 2是本发明执行流程图。 具体实施方式
由于历史因素等原因， 信息系统在构建过程中， 往往会采用多种数据库。 不同的数据库之间数据不能直接被上层应用系统共享， 造成了 "信息孤岛"现象。 分布式异构数据库系统通过中间数据引擎， 缓冲不同数据库的查询结果， 为上 层系统提供统一的数据访问接口， 屏蔽了底层的数据查询细节。 本发明所述的 生产节点与前置机节点是分布式异构数据库系统中的组件。 其中， 生产节点是 指已部署的生产系统中的提供数据源的节点； 前置机节点是指在分布式异构数 据库中提供数据源的节点， 定期与生产节点进行数据同步， 使前置机节点与生 产节点的数据保持一致。
本发明是一种构建在生产节点与前置机节点之间的数据同步方法。 当用户 设定同步参数后， 元数据服务节点向生产节点发起数据同步请求。 前置机节点 从请求中取出相关参数， 并对生产节点上的数据库配置进行分析。 根据分析的 结果， 前置机节点选择增量同步或全量同步的方式， 将生产节点中的数据同步 到前置机节点上。 在整个数据同步的过程中， 用户只需要提供数据库名字、 数 据库地址、 用户及密码等基本信息， 即可在生产节点与前置机节点之间定期进 行数据同步。 相对现有的数据同步技术， 本发明封装了多种数据库系统的数据 同步过程中的细节问题， 并且可以自动选择适宜的同步方式进行数据同步。
为实现上述目的， 一种自动化的数据同步机制， 由三个关键部件构成： 配 置分析器、 日志解析器、 同步更新器。
配置分析器： 连接生产节点上的数据库， 读取相关配置， 分析数据库能否 采用增量同步的模式。
日志解析器： 日志解析器读取生产节点上的数据库日志文件， 并进行解析， 获得 DML与 DDL操作语句。 前置机节点通过网络将解析结果从生产节点上拉 过来， 保存在本地的缓存中。
同步更新器： 当配置分析器完成数据库配置分析后， 同步更新器根据分析 结果进行数据同步。 当配置分析器确定生产节点上的数据库可采用增量同步时， 同步更新器调用日志解析器， 获取缓存中的 DDL和 DML语句， 更新前置机节 点上的数据库内容； 如果配置分析器确定生产数据库需要采用全量同步， 同步 更新器通过调用数据库内置的数据迀移或备份工具， 将数据从生产节点拉至前 置机节点， 更新前置机节点上的数据库内容。
具体如附图所示， 首先， 元数据服务节点向前置机节点发出同步更新请求， 前置机节点接受请求， 并从中解析出相关参数： 数据库地址、 数据库名、 用户 名、 密码等。 解析出的参数传递给配置分析器， 配置分析器连接源数据库， 读 取源数据库的日志配置信息， 根据数据库的类型及配置信息， 判断是否可以采 用增量同步方式。 如果增量同步方式可行， 日志解析器将首先根据数据库类型， 初始化解析环境， 然后启用一个线程， 从数据库中读取日志文件中记录的 DDL 和 DML语句，并保存在本地的缓存中。接着， 同步更新器再启用另外一个线程， 从缓存中依次取出 DML或 DDL语句， 更新前置机节点上的数据库。 如果源数 据库需要采用全量同步更新方式， 同步更新器根据数据库类型， 使用现有的数 据同步或备份工具， 构造出一个自动化的数据同步脚本文件； 然后， 同步更新 器将创建一个新的进程运行脚本， 进行数据同步。 同步完成后， 同步更新器将 更新元数据节点中的同步状态信息， 报告同步过程已完成。
由于本发明需要实现多种数据库的数据同步过程。 因此， 配置识别器需要 对每种的数据库的配置信息进行识别， 具体方案如下：
对于 MySQL数据库， 查看数据库是否开启二进制日志功能， 如果数据库系 统没有开启二进制日志功能， 则使用全量同步模式； 如果二进制日志功能开启， 则判定需要采用增量同步模式。
对于 Oracle DB2数据库， 查看数据库系统是否开启归档日志模式， 如果 开启， 则判定可采用增量同步模式， 否则判定需要采用全量同步模式
对于 SQL Server数据库， 查看日志模式是否为完全日志工作模式， 如果是， 则可采用增量同步模式， 否则判定需要采用全量同步模式
日志解析器： 当源数据库可以进行增量同步更新时， 日志解析器首先获取 指定时间段内的所有日志文件， 并根据数据库类型， 解析日志文件内容， 获取 DDL与 DML语句。 由于分布式异构数据库系统的是建立在虚拟表的概念上， 因此日志解析器将只获取针对表操作的 DDL和 DML语句。 同时， 针对每种数 据库， 日志解析器将采用不同的方式解析日志文件内容， 具体方案如下：
对于 MySQL数据库， 通过调用内置的 mysqlbinlog工具， 查询日志内容， 获取相应的 DDL与 DML语句
对于 Oracle数据库， 通过使用 LogMiner工具， 解析归档日志的内容。 首 先调用内置的存储过程 sys.DBMS.— LOGMNR— D.BUILD 从 redo 日志中获取 LogMiner所需的数据字典。 然后， 日志解析器添加需要解析的日志文件， 并进 行解析。 最后， 查看解析结果视图， 获取 DDL与 DML操作语句。 对于 DB2 数据库， 首先通过调用数据库系统内置的 API 接口 -db2ReadLogNoConn, 初始化解析环境。然后， 调用 db2ReadLog接口， 逐条解 析日志记录， 获取 DDL与 DML语句
对于 SQL Server数据库，利用 f — dblog,读取 SQL Server日志，并根据 SQL Server二进制日志文件格式， 逐条进行解析， 获取 DDL与 DML语句。 同步更新器:当确定同步方式后， 同步更新器根据选择的同步方式， 更新前 置机节点上的数据库。 如果采用增量同步更新方式， 同步更新器将启用一个线 程获取 DDL与 DML语句， 并保存在本地的缓存中； 同时， 它将启动另外一个 线程， 依次执行 DDL与 DML语句， 更新本地服务器内容。 如果是全量更新方 式， 同步更新器将开启一个新线程， 并创建一个新的数据同步脚本， 调用系统 的进程创建对象 ProcessBuilder执行同步脚本，并重定向错误输出流到输入流中， 获取同步进度信息， 具体方案如下：
1.对于 Oracle、 MySQL数据库， 同步更新器使用数据库系统提供的 dump 及 load工具， 将源数据库的内容复制到目标数据库的服务器上， 再利用 load工 具， 载入数据。
2.对于 DB2数据库， 首先利用 DB2内置的命令， 编目源数据； 然后， 利用 db21ook工具， 获取源数据库所有表的名称； 接着， 查看源数据库的编码方式， 利用 export工具， 以 ixf格式逐表将源数据库中的数据导出； 最后， 利用 load 工具， 将数据载入到本地数据库中。

Claims

权 利 要 求 书
1、 一种用于实现多源异构数据资源自动同步的方法， 其特征在于： 首先， 元数据服务节点向前置机节点发出同步更新请求， 前置机节点接受 请求， 并从中解析出相关参数： 数据库地址、 数据库名、 用户名、 密码等； 解析出的参数传递给配置分析器， 配置分析器连接源数据库， 读取源数据 库的日志配置信息， 根据数据库的类型及配置信息， 判断是否可以采用增量同 步方式；
如果增量同步方式可行， 日志解析器将首先根据数据库类型， 初始化解析 环境， 然后启用一个线程， 从数据库中读取日志文件中记录的 DDL和 DML语 句， 并保存在本地的缓存中； 接着， 同步更新器再启用另外一个线程， 从缓存 中依次取出 DML或 DDL语句， 更新前置机节点上的数据库；
如果源数据库需要采用全量同步更新方式， 同步更新器根据数据库类型， 使用现有的数据同步或备份工具， 构造出一个自动化的数据同步脚本文件； 然 后， 同步更新器将创建一个新的进程运行脚本， 进行数据同步；
同步完成后， 同步更新器将更新元数据节点中的同步状态信息， 报告同步 过程已完成。
2、 根据权利要求 1所述的用于实现多源异构数据资源自动同步的方法， 其 特征在于： 生产节点与前置机节点是分布式异构数据库系统中的组件； 其中， 生产节点是指已部署的生产系统中的提供数据源的节点； 前置机节点是指在分 布式异构数据库中提供数据源的节点。
3、 根据权利要求 1所述的用于实现多源异构数据资源自动同步的方法， 其 特征在于： 所述的配置分析器、 日志解析器、 同步更新器设置在前置机节点上。
4、 根据权利要求 2所述的用于实现多源异构数据资源自动同步的方法， 其 特征在于： 所述的配置分析器、 日志解析器、 同步更新器设置在前置机节点上。
5、 根据权利要求 1至 4任一项所述的用于实现多源异构数据资源自动同步 的方法， 其特征在于： 所述的配置分析器需要对每种数据库的配置信息进行识 别， 具体如下：
对于 MySQL数据库， 查看数据库是否开启二进制日志功能， 如果数据库系 统没有开启二进制日志功能， 则使用全量同步模式； 如果二进制日志功能开启， 则判定需要采用增量同步模式；
对于 Oracle DB2数据库， 查看数据库系统是否开启归档日志模式， 如果 开启， 则判定可采用增量同步模式， 否则判定需要采用全量同步模式；
对于 SQL Server数据库， 查看日志模式是否为完全日志工作模式， 如果是， 则可采用增量同步模式， 否则判定需要采用全量同步模式。
6、 根据权利要求 1至 4任一项所述的用于实现多源异构数据资源自动同步 的方法， 其特征在于： 当源数据库可以进行增量同步更新时， 日志解析器首先 获取指定时间段内的所有日志文件， 并根据数据库类型， 解析日志文件内容， 获取 DDL与 DML语句； 同时， 针对每种数据库， 日志解析器将采用不同的方 式解析日志文件内容， 具体如下：
对于 MySQL数据库， 通过调用内置的 mysqlbinlog工具， 查询日志内容， 获取相应的 DDL与 DML语句；
对于 Oracle数据库， 通过使用 LogMiner工具， 解析归档日志的内容； 首 先调用内置的存储过程 sys.DBMS.— LOGMNR— D.BUILD 从 redo 日志中获取 LogMiner所需的数据字典； 然后， 添加需要解析的日志文件， 并进行解析； 最 后， 查看解析结果视图， 获取 DDL与 DML操作语句；
对于 DB2 数据库， 首先通过调用数据库系统内置的 API 接口 -db2ReadLogNoConn, 初始化解析环境； 然后， 调用 db2ReadLog接口， 逐条解 析日志记录， 获取 DDL与 DML语句；
对于 SQL Server数据库，利用 f — dblog,读取 SQL Server日志，并根据 SQL Server二进制日志文件格式， 逐条进行解析， 获取 DDL与 DML语句。
7、 根据权利要求 5所述的用于实现多源异构数据资源自动同步的方法， 其 特征在于： 当源数据库可以进行增量同步更新时， 日志解析器首先获取指定时 间段内的所有日志文件， 并根据数据库类型， 解析日志文件内容， 获取 DDL与 DML语句； 同时， 针对每种数据库， 日志解析器将采用不同的方式解析日志文 件内容， 具体如下：
对于 MySQL数据库， 通过调用内置的 mysqlbinlog工具， 查询日志内容， 获取相应的 DDL与 DML语句；
对于 Oracle数据库， 通过使用 LogMiner工具， 解析归档日志的内容； 首 先调用内置的存储过程 sys.DBMS.— LOGMNR— D.BUILD 从 redo 日志中获取 LogMiner所需的数据字典； 然后， 添加需要解析的日志文件， 并进行解析； 最 后， 查看解析结果视图， 获取 DDL与 DML操作语句；
对于 DB2 数据库， 首先通过调用数据库系统内置的 API 接口 -db2ReadLogNoConn, 初始化解析环境； 然后， 调用 db2ReadLog接口， 逐条解 析日志记录， 获取 DDL与 DML语句；
对于 SQL Server数据库，利用 fh— dblog,读取 SQL Server日志，并根据 SQL Server二进制日志文件格式， 逐条进行解析， 获取 DDL与 DML语句。
8、 根据权利要求 1至 4任一项所述的用于实现多源异构数据资源自动同步 的方法， 其特征在于： 当确定同步方式后， 同步更新器根据选择的同步方式， 更新前置机节点上的数据库； 如果采用增量同步更新方式， 同步更新器将启用 一个线程获取 DDL与 DML语句， 并保存在本地的缓存中； 同时， 它将启动另 外一个线程， 依次执行 DDL与 DML语句， 更新本地服务器内容； 如果是全量 更新方式， 同步更新器将开启一个新线程， 并创建一个新的数据同步脚本， 调 用系统的进程创建对象 ProcessBuilder执行同步脚本， 并重定向错误输出流到输 入流中， 获取同步进度信息， 具体如下：
对于 Oracle、 MySQL数据库， 同步更新器使用数据库系统提供的 dump及 load工具， 将源数据库的内容复制到目标数据库的服务器上， 再利用 load工具， 载入数据；
对于 DB2数据库， 首先利用 DB2 内置的命令， 编目源数据； 然后， 利用 db21ook工具， 获取源数据库所有表的名称； 接着， 查看源数据库的编码方式， 利用 export工具， 以 ixf格式逐表将源数据库中的数据导出； 最后， 利用 load 工具， 将数据载入到本地数据库中。
9、 根据权利要求 5所述的用于实现多源异构数据资源自动同步的方法， 其 特征在于： 当确定同步方式后， 同步更新器根据选择的同步方式， 更新前置机 节点上的数据库； 如果采用增量同步更新方式， 同步更新器将启用一个线程获 取 DDL与 DML语句， 并保存在本地的缓存中； 同时， 它将启动另外一个线程， 依次执行 DDL与 DML语句， 更新本地服务器内容； 如果是全量更新方式， 同 步更新器将开启一个新线程， 并创建一个新的数据同步脚本， 调用系统的进程 创建对象 ProcessBuilder执行同步脚本， 并重定向错误输出流到输入流中， 获取 同步进度信息， 具体如下：
对于 Oracle、 MySQL数据库， 同步更新器使用数据库系统提供的 dump及 load工具， 将源数据库的内容复制到目标数据库的服务器上， 再利用 load工具， 载入数据；
对于 DB2数据库， 首先利用 DB2 内置的命令， 编目源数据； 然后， 利用 db21ook工具， 获取源数据库所有表的名称； 接着， 查看源数据库的编码方式， 利用 export工具， 以 ixf格式逐表将源数据库中的数据导出； 最后， 利用 load 工具， 将数据载入到本地数据库中。
10、 根据权利要求 6所述的用于实现多源异构数据资源自动同步的方法， 其特征在于： 当确定同步方式后， 同步更新器根据选择的同步方式， 更新前置 机节点上的数据库； 如果采用增量同步更新方式， 同步更新器将启用一个线程 获取 DDL与 DML语句， 并保存在本地的缓存中； 同时， 它将启动另外一个线 程， 依次执行 DDL与 DML语句， 更新本地服务器内容； 如果是全量更新方式， 同步更新器将开启一个新线程， 并创建一个新的数据同步脚本， 调用系统的进 程创建对象 ProcessBuilder执行同步脚本， 并重定向错误输出流到输入流中， 获 取同步进度信息， 具体如下：
对于 Oracle、 MySQL数据库， 同步更新器使用数据库系统提供的 dump及 load工具， 将源数据库的内容复制到目标数据库的服务器上， 再利用 load工具， 载入数据；
对于 DB2数据库， 首先利用 DB2 内置的命令， 编目源数据； 然后， 利用 db21ook工具， 获取源数据库所有表的名称； 接着， 查看源数据库的编码方式， 利用 export工具， 以 ixf格式逐表将源数据库中的数据导出； 最后， 利用 load 工具， 将数据载入到本地数据库中。
PCT/CN2014/071941 2013-11-04 2014-02-10 用于实现多源异构数据资源自动同步的方法 WO2015062181A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/402,106 US20180081956A1 (en) 2013-11-04 2014-02-10 Method for automatically synchronizing multi-source heterogeneous data resources
EP14806522.0A EP2891994A4 (en) 2013-11-04 2014-02-10 METHOD FOR AUTOMATICALLY SYNCHRONIZING MULTI-SOURCE HETEROGENEOUS DATA RESOURCES

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2013105395366 2013-11-04
CN201310539536.6A CN103617176B (zh) 2013-11-04 2013-11-04 一种实现多源异构数据资源自动同步的方法

Publications (1)

Publication Number Publication Date
WO2015062181A1 true WO2015062181A1 (zh) 2015-05-07

Family

ID=50167879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/071941 WO2015062181A1 (zh) 2013-11-04 2014-02-10 用于实现多源异构数据资源自动同步的方法

Country Status (3)

Country Link
US (1) US20180081956A1 (zh)
CN (1) CN103617176B (zh)
WO (1) WO2015062181A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760174A (zh) * 2016-03-09 2016-07-13 浪潮软件集团有限公司 一种基于Windows定时任务的建议数据抽取方法
CN107590253A (zh) * 2017-09-19 2018-01-16 郑州云海信息技术有限公司 一种针对MySQL数据库配置安全性的自动化检测方法
CN110879812A (zh) * 2019-11-20 2020-03-13 浪潮软件股份有限公司 一种电商平台中基于spark的数据同步方法
CN111858501A (zh) * 2020-06-02 2020-10-30 武汉达梦数据库有限公司 一种基于日志解析同步的日志读取方法和数据同步系统
CN112130999A (zh) * 2020-09-23 2020-12-25 南方电网科学研究院有限责任公司 一种基于边缘计算的电力异构数据处理方法
CN112231407A (zh) * 2020-10-22 2021-01-15 北京人大金仓信息技术股份有限公司 PostgreSQL数据库的DDL同步方法、装置、设备和介质
CN113010607A (zh) * 2021-04-06 2021-06-22 工银科技有限公司 系统间数据同步方法、装置、计算机系统、存储介质
CN113468170A (zh) * 2021-06-02 2021-10-01 上海赛可出行科技服务有限公司 一种自动化实现数据实时同步的系统
CN113486116A (zh) * 2021-07-07 2021-10-08 建信金融科技有限责任公司 一种数据同步方法、装置、电子设备及计算机可读介质
CN113486113A (zh) * 2021-06-25 2021-10-08 山东齐鲁数通科技有限公司 一种基于Kettle的增量同步数据的方法及终端
CN113682183A (zh) * 2021-09-29 2021-11-23 国网山东省电力公司泗水县供电公司 一种基于scada系统的智能电动汽车充电系统
CN113779141A (zh) * 2021-08-10 2021-12-10 携程商旅信息服务（上海）有限公司 商旅酒店信息同步存储方法、电子设备和介质
CN115469912A (zh) * 2022-11-02 2022-12-13 中国人民解放军国防科技大学 异构实时信息处理系统设计方法

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合系统及其数据查询方法
CN105205053A (zh) * 2014-05-30 2015-12-30 阿里巴巴集团控股有限公司 一种数据库增量日志解析方法及系统
CN104156419B (zh) * 2014-08-03 2019-07-26 广东电子工业研究院有限公司 一种异构数据源的实体化方法及其引擎
CN104572939B (zh) * 2014-12-30 2018-05-22 北京锐安科技有限公司 一种行业内异构数据交换的数据查询方法
CN106156165A (zh) 2015-04-16 2016-11-23 阿里巴巴集团控股有限公司 异构数据源之间的数据同步方法和装置
CN104881455B (zh) * 2015-05-20 2019-01-29 深圳市酷开网络科技有限公司 一种基于mysql的结构差异处理方法及系统
CN104881462B (zh) * 2015-05-22 2018-11-13 广东中标数据科技股份有限公司 元数据管理系统
CN104881494B (zh) * 2015-06-12 2019-02-19 北京奇虎科技有限公司 与Redis服务器进行数据同步的方法、装置和系统
CN105005618A (zh) * 2015-07-21 2015-10-28 杭州合众数据技术有限公司 一种异构数据库之间的数据同步方法及系统
CN105320769A (zh) * 2015-10-28 2016-02-10 浪潮(北京)电子信息产业有限公司 一种Oracle数据库的数据同步方法及系统
CN105279045A (zh) * 2015-10-28 2016-01-27 浪潮(北京)电子信息产业有限公司 一种数据库的数据恢复方法及系统
CN105426440B (zh) * 2015-11-06 2018-07-27 云南电网有限责任公司 一种基于数据库的异构型数据批量同步方法
CN105471965A (zh) * 2015-11-17 2016-04-06 国云科技股份有限公司 一种多个异构系统同步用户数据到一个ldap的方法
CN105491106A (zh) * 2015-11-18 2016-04-13 中国石油天然气集团公司 一种石油测井主从数据库系统实时同步系统和方法
CN105760517A (zh) * 2016-02-25 2016-07-13 浪潮(北京)电子信息产业有限公司 将数据从Oracle数据库迁移至DB2数据库的方法和装置
CN107844506B (zh) * 2016-09-21 2021-06-11 阿里巴巴集团控股有限公司 一种实现数据库与缓存的数据同步的方法及装置
CN106485465A (zh) * 2016-09-22 2017-03-08 济南浪潮高新科技投资发展有限公司 一种可配置的定时数据同步方法
CN106502589B (zh) * 2016-10-21 2019-08-20 普元信息技术股份有限公司 基于云计算实现缓存的加载或持久化的系统及方法
CN106777345B (zh) * 2017-01-16 2020-07-28 浪潮软件科技有限公司 一种基于海量数据迁移的数据抽取加载方法
GB201704973D0 (en) * 2017-03-28 2017-05-10 Gb Gas Holdings Ltd Data replication system
CN108984564A (zh) * 2017-06-02 2018-12-11 北京京东尚科信息技术有限公司 数据存储系统、方法和装置
CN109947726A (zh) * 2017-07-27 2019-06-28 蓝盾信息安全技术有限公司 基于事务日志分析的单导系统中db2数据库同步技术
CN107729366B (zh) * 2017-09-08 2021-01-05 广东省建设信息中心 一种普适多源异构大规模数据同步系统
CN107679158A (zh) * 2017-09-28 2018-02-09 泰康保险集团股份有限公司 数据管理方法、装置、计算机可读介质和电子设备
CN110019118A (zh) * 2017-09-28 2019-07-16 广东亿迅科技有限公司 基于DevOps提升数据库运维效率的系统及其方法
CN107844566B (zh) * 2017-11-02 2020-05-05 杭州时趣信息技术有限公司 一种dump控制方法及其系统
CN108255704B (zh) * 2017-11-07 2020-01-10 中国平安人寿保险股份有限公司 一种脚本调用事件的异常响应方法及其终端
CN109818998B (zh) * 2017-11-22 2021-05-25 中国电信股份有限公司 信息同步方法和装置
CN110543513B (zh) * 2018-05-29 2024-03-15 金篆信科有限责任公司 分布式数据库增量数据同步方法、设备及存储介质
CN109189852B (zh) * 2018-08-01 2021-05-28 武汉达梦数据库有限公司 一种数据同步的方法及用于数据同步的装置
CN109063135B (zh) * 2018-08-03 2021-08-06 中国人民银行清算总中心 一种基于多活分布式架构的数据库复制方法及系统
CN109522361A (zh) * 2018-09-27 2019-03-26 中国经济信息社有限公司 一种利用消息总线进行数据库实时同步的方法及系统
CN109657000B (zh) * 2018-10-19 2021-03-02 北京全路通信信号研究设计院集团有限公司 一种轨道交通综合监控系统的实时数据同步方法及装置
CN109447485B (zh) * 2018-10-31 2020-09-04 北京百分点信息科技有限公司 一种基于规则的实时决策系统及方法
CN109656934B (zh) * 2018-11-19 2020-10-27 武汉达梦数据库有限公司 基于日志解析的源端Oracle数据库DDL同步方法及设备
CN109558452B (zh) * 2018-11-19 2020-12-08 武汉达梦数据库有限公司 一种查询建表操作的同步方法
CN111352766A (zh) * 2018-12-21 2020-06-30 中国移动通信集团山东有限公司 一种数据库的双活实现方法及装置
CN109739931B (zh) * 2018-12-21 2023-03-24 浪潮软件股份有限公司 一种基于CMSP的MySQLBinlog日志解析的增量同步方法
FR3092678B1 (fr) * 2019-02-08 2024-01-05 Amadeus Sas Registre distribué
CN110046168B (zh) * 2019-03-28 2021-03-26 南京苏宁软件技术有限公司 一种增量数据一致性实现方法及装置
CN110147411B (zh) * 2019-05-20 2024-05-28 平安科技（深圳）有限公司 数据同步方法、装置、计算机设备及存储介质
CN110134648A (zh) * 2019-05-22 2019-08-16 中国联合网络通信集团有限公司 日志处理方法、装置、设备、系统及计算机可读存储介质
CN112231324B (zh) * 2019-06-26 2023-03-24 金篆信科有限责任公司 一种实现增量数据比对的系统及方法
CN111367994A (zh) * 2019-06-27 2020-07-03 北京关键科技股份有限公司 数据库增量数据同步备份方法及系统
CN110502540A (zh) * 2019-07-23 2019-11-26 招联消费金融有限公司 数据处理方法、装置、计算机设备和存储介质
CN110532275A (zh) * 2019-08-09 2019-12-03 国云科技股份有限公司 一种跨域数据和文件更新同步的实现方法
CN110569142A (zh) * 2019-08-29 2019-12-13 天津大学 一种oracle数据增量同步系统及方法
CN110995466B (zh) * 2019-11-06 2022-04-26 通号通信信息集团有限公司 安全态势感知系统下的多格式日志统一处理方法及系统
CN111078768A (zh) * 2019-11-25 2020-04-28 深圳壹账通智能科技有限公司 基于图形数据库的数据导入方法、系统和可读存储介质
CN111061788B (zh) * 2019-11-26 2023-10-13 江苏瑞中数据股份有限公司 一种基于云架构的多源异构数据转换整合系统及其实现方法
CN111158972B (zh) * 2019-12-05 2020-08-25 连连银通电子支付有限公司 一种开关状态确定方法、装置、设备和介质
CN111177134B (zh) * 2019-12-26 2021-04-02 上海科技发展有限公司 适用于海量数据的数据质量分析方法、装置、终端及介质
CN111324618A (zh) * 2020-02-18 2020-06-23 青岛农业大学 一种异地实时同步药用生物资源数据的系统及方法
CN111414363B (zh) * 2020-03-13 2023-04-14 上海银赛计算机科技有限公司 适用于MySQL中客户数据的并行异构方法、系统、介质及设备
CN111488243B (zh) * 2020-03-19 2023-07-07 北京金山云网络技术有限公司 MongoDB数据库的备份、恢复方法、装置、电子设备及存储介质
CN111414403B (zh) * 2020-03-20 2023-04-14 腾讯科技（深圳）有限公司 数据访问方法和装置、数据存储方法和装置
CN113468215A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN111444278B (zh) * 2020-04-01 2023-08-29 Oppo（重庆）智能科技有限公司 数据同步方法、装置及中转服务器
CN111782618B (zh) * 2020-06-24 2023-01-31 中国电子科技集团公司电子科学研究院 一种数据同步系统
CN112527839A (zh) * 2020-12-10 2021-03-19 上海浦东发展银行股份有限公司 多源数据处理方法、系统、设备及存储介质
CN112559626B (zh) * 2020-12-11 2022-06-21 武汉达梦数据库股份有限公司 一种基于日志解析的ddl操作的同步方法和同步系统
CN112559473B (zh) * 2020-12-11 2022-06-21 武汉达梦数据库股份有限公司 一种基于优先级的双路同步方法和同步系统
CN112527904B (zh) * 2020-12-17 2024-08-02 平安科技（深圳）有限公司 关联脚本自动同步方法、装置、计算机设备及存储介质
CN113010609B (zh) * 2020-12-23 2023-05-16 上海海鼎信息工程股份有限公司 一种应用于门店经营的差异化同步方法及系统
CN112860666B (zh) * 2021-02-08 2024-06-18 土巴兔集团股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN113326247B (zh) * 2021-04-28 2023-02-21 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备
CN113377770A (zh) * 2021-06-07 2021-09-10 北京沃东天骏信息技术有限公司 一种数据处理方法和装置
CN113742392A (zh) * 2021-09-17 2021-12-03 中国银行股份有限公司 一种数据同步方法、装置、电子设备及存储介质
CN113672692B (zh) * 2021-10-25 2022-02-22 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备和存储介质
CN113987078B (zh) * 2021-12-24 2022-04-19 中兴通讯股份有限公司 数据同步方法、设备及计算机可读存储介质
CN114490842B (zh) * 2021-12-28 2022-11-11 航天科工智慧产业发展有限公司 一种多源数据的接口数据查询方法和数据查询引擎
CN114661523A (zh) * 2022-03-18 2022-06-24 车主邦（北京）科技有限公司 数据备份方法、装置、程序产品、介质及电子设备
CN114490882B (zh) * 2022-04-15 2022-06-21 北京快立方科技有限公司 一种异构数据库数据同步分析方法
JP7386921B2 (ja) * 2022-04-20 2023-11-27 三菱電機Ｉｔソリューションズ株式会社 データ移行装置およびデータ移行方法
CN114996353B (zh) * 2022-05-26 2024-08-23 厦门立林科技有限公司 一种分布式的智能实时数据流分发方法及系统
CN117312281B (zh) * 2023-06-30 2024-05-24 江苏中科西北星信息科技有限公司 一种多源异构数据自动融合方法、系统、设备及存储介质
CN117834653B (zh) * 2023-12-22 2024-08-02 北京联广通网络科技有限公司 一种节点同步分级隔离的数据网网络安全系统
CN117971984B (zh) * 2024-03-29 2024-06-21 天津南大通用数据技术股份有限公司 分布式数据库集群间表数据的同步方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302327A1 (en) * 2010-06-07 2011-12-08 Salesforce.Com, Inc. System, method and computer program product for performing a synchronization of data
CN102508835A (zh) * 2011-09-22 2012-06-20 用友软件股份有限公司 基于日志管理包的增量数据实时同步装置和方法
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步系统、同步方法和节点管理方法
CN102750283A (zh) * 2011-04-20 2012-10-24 阿里巴巴集团控股有限公司 海量数据同步系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302327A1 (en) * 2010-06-07 2011-12-08 Salesforce.Com, Inc. System, method and computer program product for performing a synchronization of data
CN102750283A (zh) * 2011-04-20 2012-10-24 阿里巴巴集团控股有限公司 海量数据同步系统及方法
CN102508835A (zh) * 2011-09-22 2012-06-20 用友软件股份有限公司 基于日志管理包的增量数据实时同步装置和方法
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步系统、同步方法和节点管理方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760174A (zh) * 2016-03-09 2016-07-13 浪潮软件集团有限公司 一种基于Windows定时任务的建议数据抽取方法
CN107590253A (zh) * 2017-09-19 2018-01-16 郑州云海信息技术有限公司 一种针对MySQL数据库配置安全性的自动化检测方法
CN110879812A (zh) * 2019-11-20 2020-03-13 浪潮软件股份有限公司 一种电商平台中基于spark的数据同步方法
CN110879812B (zh) * 2019-11-20 2023-06-20 浪潮软件股份有限公司 一种电商平台中基于spark的数据同步方法
CN111858501B (zh) * 2020-06-02 2023-03-28 武汉达梦数据库股份有限公司 一种基于日志解析同步的日志读取方法和数据同步系统
CN111858501A (zh) * 2020-06-02 2020-10-30 武汉达梦数据库有限公司 一种基于日志解析同步的日志读取方法和数据同步系统
CN112130999A (zh) * 2020-09-23 2020-12-25 南方电网科学研究院有限责任公司 一种基于边缘计算的电力异构数据处理方法
CN112130999B (zh) * 2020-09-23 2024-02-13 南方电网科学研究院有限责任公司 一种基于边缘计算的电力异构数据处理方法
CN112231407A (zh) * 2020-10-22 2021-01-15 北京人大金仓信息技术股份有限公司 PostgreSQL数据库的DDL同步方法、装置、设备和介质
CN112231407B (zh) * 2020-10-22 2023-09-15 北京人大金仓信息技术股份有限公司 PostgreSQL数据库的DDL同步方法、装置、设备和介质
CN113010607A (zh) * 2021-04-06 2021-06-22 工银科技有限公司 系统间数据同步方法、装置、计算机系统、存储介质
CN113468170A (zh) * 2021-06-02 2021-10-01 上海赛可出行科技服务有限公司 一种自动化实现数据实时同步的系统
CN113486113B (zh) * 2021-06-25 2023-06-06 山东齐鲁数通科技有限公司 一种基于Kettle的增量同步数据的方法及终端
CN113486113A (zh) * 2021-06-25 2021-10-08 山东齐鲁数通科技有限公司 一种基于Kettle的增量同步数据的方法及终端
CN113486116A (zh) * 2021-07-07 2021-10-08 建信金融科技有限责任公司 一种数据同步方法、装置、电子设备及计算机可读介质
CN113779141A (zh) * 2021-08-10 2021-12-10 携程商旅信息服务（上海）有限公司 商旅酒店信息同步存储方法、电子设备和介质
CN113682183A (zh) * 2021-09-29 2021-11-23 国网山东省电力公司泗水县供电公司 一种基于scada系统的智能电动汽车充电系统
CN113682183B (zh) * 2021-09-29 2023-07-21 国网山东省电力公司泗水县供电公司 一种基于scada系统的智能电动汽车充电系统
CN115469912B (zh) * 2022-11-02 2023-01-24 中国人民解放军国防科技大学 异构实时信息处理系统设计方法
CN115469912A (zh) * 2022-11-02 2022-12-13 中国人民解放军国防科技大学 异构实时信息处理系统设计方法

Also Published As

Publication number Publication date
CN103617176A (zh) 2014-03-05
US20180081956A1 (en) 2018-03-22
CN103617176B (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
WO2015062181A1 (zh) 用于实现多源异构数据资源自动同步的方法
CN108932282B (zh) 一种数据库迁移方法、装置和存储介质
US10929398B2 (en) Distributed system with accelerator and catalog
JP6434960B2 (ja) フローベースのｅｔｌおよびエンティティリレーションシップベースのｅｔｌの組合せのサポート
NO20171080A1 (en) Apparatus and methods of data synchronization
EP2891994A1 (en) Method for achieving automatic synchronization of multisource heterogeneous data resources
CN110651265A (zh) 数据复制系统
US20150032695A1 (en) Client and server integration for replicating data
WO2022017347A1 (zh) 分布式数据库系统及数据处理方法
US20110066894A1 (en) Debugging a map reduce application on a cluster
JP6412924B2 (ja) Ｅｔｌマップ設計のためのプロジェクタおよびセレクタコンポーネントタイプの使用
JP2015531937A (ja) 外部テーブルを伴う分散型データベースの操作
WO2014074957A1 (en) Systems and methods involving resource description framework distributed data base managenent systems and/or related aspects
US9971820B2 (en) Distributed system with accelerator-created containers
Cubukcu et al. Citus: Distributed postgresql for data-intensive applications
CN105320680A (zh) 一种数据同步方法及装置
WO2024001493A1 (zh) 一种可视化的数据分析方法及设备
CN110597891B (zh) MySQL聚合为PostgreSQL数据库的设备、系统、方法、存储介质
US10423600B2 (en) Low latency query processing over a series of redo records
CN115374102A (zh) 数据处理方法及系统
CN109241156A (zh) 基于etl工具从关系型数据库向非关系型数据库更新的方法
Qiao et al. Gobblin: Unifying data ingestion for Hadoop
US20240346010A1 (en) Data processing method, distributed database system, electronic device and storage medium
Shen et al. Retrofitting high availability mechanism to tame hybrid transaction/analytical processing
US11567957B2 (en) Incremental addition of data to partitions in database tables

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14402106

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014806522

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014806522

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14806522

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE