WO2016101752A1 - 数据同步方法及装置 - Google Patents

数据同步方法及装置 Download PDF

Info

Publication number
WO2016101752A1
WO2016101752A1 PCT/CN2015/095465 CN2015095465W WO2016101752A1 WO 2016101752 A1 WO2016101752 A1 WO 2016101752A1 CN 2015095465 W CN2015095465 W CN 2015095465W WO 2016101752 A1 WO2016101752 A1 WO 2016101752A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
synchronized
database
target
data storage
Prior art date
Application number
PCT/CN2015/095465
Other languages
English (en)
French (fr)
Inventor
刘臻
Original Assignee
北京奇虎科技有限公司
奇智软件（北京）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京奇虎科技有限公司, 奇智软件（北京）有限公司 filed Critical 北京奇虎科技有限公司
Publication of WO2016101752A1 publication Critical patent/WO2016101752A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Definitions

  • the present invention relates to the field of data processing, and in particular, to a data synchronization method and apparatus.
  • source database A is a MySQL database (a relational database) and the target database is an IMS hierarchical database (a hierarchical model database).
  • IMS hierarchical database a hierarchical model database.
  • the data in the MySQL database is first converted into a data format recognizable by the IMS hierarchical database, and then the converted data is synchronized to the IMS hierarchical database.
  • the format conversion operation of the data is complicated and cumbersome, which tends to cause a high error rate in the conversion process, and the conversion operation takes a long time, which seriously affects the real-time performance of the data synchronization.
  • data synchronization is required to perform data synchronization between different types of databases, which tends to cause a certain error rate in the data synchronization process, and has poor real-time performance, further affecting the received data.
  • the normal operation of the target database is required to perform data synchronization between different types of databases, which tends to cause a certain error rate in the data synchronization process, and has poor real-time performance, further affecting the received data.
  • the present invention has been made in order to provide a data synchronization method and corresponding apparatus that overcomes the above problems or at least partially solves or alleviates the above problems.
  • a data synchronization method including: acquiring a data storage log of at least one source database; parsing the data storage log to find data to be synchronized corresponding to a current service; The data to be synchronized is written to at least one target database that is associated with the current service.
  • a data synchronization apparatus comprising: obtaining The module is adapted to obtain a data storage log of the at least one source database; the searching module is adapted to parse the data storage log to find the to-be-synchronized data corresponding to the current service; the writing module is adapted to and the search result is The synchronization data is written to at least one target database that is associated with the current service.
  • a computer program comprising computer readable code, when the computer readable code is run on a computing device, causing the computing device to perform a data synchronization method as described above .
  • a computer readable medium storing a computer program as described above is provided.
  • the data storage log of the at least one source database can be obtained, and the obtained data storage log is parsed to find the data to be synchronized corresponding to the current service, and the data to be synchronized is written and currently
  • the service has at least one target database associated with the relationship, and completes the data synchronization operation, which solves the problem in the prior art that data format conversion is required to synchronize data between different types of databases.
  • the data storage log of the source database is obtained and parsed, the storage record of the data to be synchronized corresponding to the current service stored in the source database is obtained, and the data to be synchronized is obtained according to the storage record.
  • the parsing operation of parsing the data storage log is relatively smaller than the conversion operation of converting the format of the data to be synchronized, the operation amount and/or the operation time are greatly reduced. Therefore, it is possible to solve the problem that a certain error rate occurs in data synchronization due to data conversion.
  • the resolution operation of the embodiment of the present invention is substantially reduced compared to the operation time of the conversion operation in the prior art, and the real-time performance of the data synchronization process can be improved.
  • FIG. 1 is a schematic flow chart showing the processing of a data synchronization method according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram showing a process flow of parsing a data storage log of a source database according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram showing a correspondence relationship between a source database and a target database according to an embodiment of the present invention
  • FIG. 4 is a schematic block diagram showing the structure of a data synchronization apparatus according to an embodiment of the present invention.
  • FIG. 5 is a schematic block diagram showing the structure of a data synchronization apparatus according to another embodiment of the present invention.
  • Figure 6 is a schematic block diagram showing a computing device for performing a data synchronization method in accordance with the present invention
  • Fig. 7 schematically shows a storage unit for holding or carrying program code implementing the data synchronization method according to the present invention.
  • FIG. 1 shows a process flow diagram of a data synchronization method in accordance with one embodiment of the present invention. Please refer to FIG. 1 , the process at least includes the following steps:
  • Step S102 Acquire a data storage log of at least one source database
  • Step S104 Parsing the data storage log to find the data to be synchronized corresponding to the current service
  • Step S106 Write the data to be synchronized into at least one target database that is associated with the current service according to the search result.
  • the data storage log of the at least one source database can be obtained, and the obtained data storage log is parsed to find the data to be synchronized corresponding to the current service, and the data to be synchronized is written and currently
  • the service has at least one target database associated with the relationship, and completes the data synchronization operation, which solves the problem in the prior art that data format conversion is required to synchronize data between different types of databases.
  • the data storage of the source database is obtained and parsed
  • the log records the storage record of the data to be synchronized corresponding to the current service stored in the source database, and obtains the data to be synchronized according to the storage record, and does not need to obtain the data to be synchronized in the source database for format conversion.
  • the parsing operation of parsing the data storage log is relatively smaller than the conversion operation of converting the format of the data to be synchronized, the operation amount and/or the operation time are greatly reduced. Therefore, it is possible to solve the problem that a certain error rate occurs in data synchronization due to data conversion.
  • the resolution operation of the embodiment of the present invention is substantially reduced compared to the operation time of the conversion operation in the prior art, and the real-time performance of the data synchronization process can be improved.
  • the embodiment of the present invention in order to ensure that the data to be synchronized can be directly found, the data storage log of the source database needs to be obtained first. Further, in order to ensure real-time performance of the data synchronization operation, the embodiment of the present invention determines a preset time for acquiring the data storage log, and acquires a data storage log according to the preset time. In actual operation, different source databases and/or target data correspond to different services, and their respective storage capacity, processor performance, and other attribute information also differ. Correspondingly, there is also a difference in the preset time required to acquire the data storage log of the source database to synchronize the target data.
  • the preset time for obtaining the source database may be a fixed preset time or a variable preset time.
  • different services have different requirements for the update frequency, and the time interval for the corresponding target database to obtain the data storage log of the source database is also different.
  • the obtained data storage log may be a binlog log.
  • the MySQL database is an open source database with wide open access and/or modification rights and high reliability and adaptability. Due to the above advantages, in actual operation, the MySQL database is often used as the source database to synchronize data with other databases of the business.
  • the binlog log is a log of all updated data and/or data to be updated recorded in the MySQL database. Therefore, when the source database is a MySQL database, the binlog log of the source database is obtained and parsed, and the data to be synchronized corresponding to the current service can be found.
  • FIG. 2 is a flowchart showing the process of parsing the data storage log of the source database according to an embodiment of the present invention. Please refer to FIG. 2, the process at least includes the following steps:
  • Step S202 parsing the data storage log to the lightweight data exchange json format
  • Step S204 Searching, in the data storage log of the json format, a record of the data to be synchronized corresponding to the current service;
  • Step S206 Acquire the data to be synchronized by using the record of the data to be synchronized.
  • the record of the data stored in the source database can be known.
  • the record of the data is searched for the record of the data to be synchronized corresponding to the current service, and the data to be synchronized can be further acquired according to the record of the data to be synchronized. Therefore, in the embodiment of the present invention, by directly searching for the data to be synchronized according to the record of the data to be synchronized, instead of obtaining the data to be synchronized by performing format conversion on the data to be synchronized, the correct rate of the data to be synchronized can be ensured, and the data synchronization is ensured. real-time.
  • the data to be synchronized corresponding to the current service is obtained by searching in the parsed data storage log. Therefore, the data synchronization method in the embodiment of the present invention can specify the data to be synchronized, that is, the orientation synchronization data.
  • the data packets A, B, and C corresponding to the current service are stored, and the target database X that is associated with the current service only needs to use the data packet B to perform synchronization.
  • the parsed data storage log only searches for the data packet B corresponding to the current service, and performs data synchronization operation on the target database X according to the found data packet B.
  • the directional search for the data to be synchronized is updated to the target database, so as to avoid carrying other invalid data (such as the data packets A and C in the above example) when acquiring the data to be synchronized, which can further save the time of the data synchronization operation. And improve the efficiency of data synchronization operations.
  • the data to be synchronized is written into at least one target database that is associated with the current service.
  • the embodiment of the present invention can directly call the write interface of the target database, and write the data to be synchronized to the corresponding target database through the called write interface.
  • the manner in which the data to be synchronized is written to the target database by using the write interface of the target database can ensure the orderly execution of the data write operation and avoid the error of the data to be synchronized.
  • the case of writing to a non-corresponding target database ensures the correct rate of data synchronization operations.
  • the target database may be a database of the same type as the source database, may be a database of a different type from the source database, or may be a plurality of databases including the same type as the source database and different types from the source database.
  • the embodiment of the present invention searches for the data storage log according to the source database. Synchronizing data avoids complicated operations of data to be synchronized by format conversion of data stored in the source database, thereby saving time for data synchronization and improving the efficiency of data synchronization operations.
  • the embodiment of the present invention searches for the data to be synchronized according to the data storage log of the source database, instead of copying the data to be synchronized in the source database to synchronize to the target database, thereby avoiding multiple copy operations.
  • the data synchronization method of the embodiment of the present invention supports synchronization of specified data, and supports breakpoint synchronization, further ensuring the efficiency of the data synchronization operation.
  • the target database may also be a plurality of databases including the same type as the source database and different types from the source database, that is, in the embodiment of the present invention, the data to be synchronized may be found according to the data storage log of one source database.
  • the source database may be one or more.
  • FIG. 3 is a schematic diagram showing the correspondence between a source database and a target database according to an embodiment of the present invention. The correspondence between the source database and the target database refers to using the data storage log of the source database to find the data to be synchronized and writing to the target database.
  • the correspondence between the source database and the target database includes at least:
  • the data to be synchronized found according to the data storage log of a source database is written into a target database (ie, the one-to-one correspondence shown in FIG. 3);
  • the data to be synchronized found according to the data storage log of one source database is written into multiple target databases (ie, the one-to-many correspondence shown in FIG. 3);
  • the data to be synchronized found according to the data storage logs of the multiple source databases is written into a target database (that is, the many-to-one correspondence shown in FIG. 3);
  • the data to be synchronized found according to the data storage logs of the multiple source databases is written into multiple target databases (ie, the many-to-many correspondence shown in FIG. 3).
  • three source databases in FIG. 3 to represent multiple source databases is only an example.
  • multiple source databases may be any integer number of source databases of more than one source database, which is not limited in this embodiment of the present invention.
  • the use of three target databases in FIG. 3 to represent multiple target databases is also only an example, and it is not possible to limit the number of target databases in actual applications.
  • each source database has a corresponding relationship with three target databases, which is only an example.
  • other types of many-to-many correspondences may occur, for example, three. Only one source in the source database There is a corresponding relationship between the database and the three target databases, and the remaining two source databases are only corresponding to the two target databases in the three target databases, and the like, which is not limited by the embodiment of the present invention.
  • FIG. 4 is a block diagram showing the structure of a data synchronizing apparatus according to an embodiment of the present invention.
  • the data synchronization apparatus of the embodiment of the present invention includes at least an acquisition module 410, a lookup module 420, and a write module 430.
  • the obtaining module 410 is adapted to acquire a data storage log of the at least one source database
  • the searching module 420 is coupled to the obtaining module 410, and is adapted to parse the data storage log to find the to-be-synchronized data corresponding to the current service;
  • the writing module 430 is coupled to the searching module 420, and is adapted to write the data to be synchronized into at least one target database that is associated with the current service according to the search result.
  • the type of the at least one target database comprises: a database of the same type as the at least one source database; and/or a database of a different type than the at least one source database.
  • FIG. 5 is a block diagram showing the structure of a data synchronizing apparatus according to another embodiment of the present invention.
  • the search module 420 shown in FIG. 5 of the embodiment of the present invention further includes:
  • the parsing unit 421 is adapted to parse the data storage log to the lightweight data exchange json format
  • the searching unit 422 is coupled to the parsing unit 421, and is adapted to search for a record of the data to be synchronized corresponding to the current service in the data storage log of the json format; and acquire the data to be synchronized by using the record of the data to be synchronized.
  • the obtaining module 410 is further adapted to:
  • Determining a preset time for acquiring the data storage log wherein the preset time includes at least a fixed preset time and/or a variable preset time; and acquiring the data storage log according to the preset time.
  • the writing module 430 is further adapted to: invoke a write interface of the at least one target database; and write the data to be synchronized to the corresponding target database through the write interface.
  • the writing module 430 is further adapted to:
  • the writing module 430 is further adapted to write the data to be synchronized to the at least one target database by any of the following methods:
  • the embodiments of the present invention can achieve the following beneficial effects:
  • the data storage log of the at least one source database can be obtained, and the obtained data storage log is parsed to find the data to be synchronized corresponding to the current service, and the data to be synchronized is written and currently
  • the service has at least one target database associated with the relationship, and completes the data synchronization operation, which solves the problem in the prior art that data format conversion is required to synchronize data between different types of databases.
  • the data storage log of the source database is obtained and parsed, the storage record of the data to be synchronized corresponding to the current service stored in the source database is obtained, and the data to be synchronized is obtained according to the storage record.
  • the parsing operation of parsing the data storage log is relatively smaller than the conversion operation of converting the format of the data to be synchronized, the operation amount and/or the operation time are greatly reduced. Therefore, it is possible to solve the problem that a certain error rate occurs in data synchronization due to data conversion.
  • the resolution operation of the embodiment of the present invention is substantially reduced compared to the operation time of the conversion operation in the prior art, and the real-time performance of the data synchronization process can be improved.
  • modules in the devices of the embodiments can be adaptively changed and placed in one or more devices different from the embodiment.
  • the modules or units or components of the embodiments may be combined into one module or unit or component, and further they may be divided into a plurality of sub-modules or sub-units or sub-components.
  • any combination of the features disclosed in the specification, including the accompanying claims, the abstract and the drawings, and any methods so disclosed, or All processes or units of the device are combined.
  • Each feature disclosed in this specification (including the accompanying claims, the abstract and the drawings) may be replaced by alternative features that provide the same, equivalent or similar purpose.
  • the various component embodiments of the present invention may be implemented in hardware, or in a software module running on one or more processors, or in a combination thereof.
  • Those skilled in the art will appreciate that some or all of the functionality of some or all of the components of the data synchronization apparatus in accordance with embodiments of the present invention may be implemented in practice using a microprocessor or digital signal processor (DSP).
  • DSP digital signal processor
  • the invention can also be implemented as a device or device program (e.g., a computer program and a computer program product) for performing some or all of the methods described herein.
  • Such a program implementing the invention may be stored on a computer readable medium or may be in the form of one or more signals. Such signals may be downloaded from an Internet website, provided on a carrier signal, or provided in any other form.
  • Figure 6 illustrates a computing device that can implement a data synchronization method in accordance with the present invention.
  • the computing device conventionally includes a processor 610 and a computer in the form of a memory 620 Program product or computer readable medium.
  • the memory 620 may be an electronic memory such as a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), an EPROM, a hard disk, or a ROM.
  • Memory 620 has a storage space 630 that stores program code 631 for performing any of the method steps described above.
  • storage space 630 storing program code may include respective program code 631 for implementing various steps in the above methods, respectively.
  • the program code can be read from or written to one or more computer program products.
  • Such computer program products include program code carriers such as hard disks, compact disks (CDs), memory cards or floppy disks.
  • Such a computer program product is typically a portable or fixed storage unit such as that shown in FIG.
  • the storage unit may have storage segments, storage spaces, and the like that are similarly arranged to memory 620 in the computing device of FIG.
  • the program code can be compressed, for example, in an appropriate form.
  • the storage unit comprises computer readable code 631' for performing the steps of the method according to the invention, ie code that can be read by a processor such as 610, which when executed by the computing device causes the computing device Perform the various steps in the method described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据同步方法及装置。其中，该方法包括：获取至少一个源数据库的数据存储日志；解析数据存储日志，以查找到与当前业务对应的待同步数据；根据查找结果将待同步数据写入与当前业务存在关联关系的至少一个目标数据库。本发明实施例的解析操作相对比现有技术中的转换操作的操作时间大幅度减少，能够达到提高数据同步过程的实时性的有益效果。

Description

数据同步方法及装置 技术领域
本发明涉及数据处理领域，尤其涉及一种数据同步方法及装置。
背景技术
随着大数据时代的来临，越来越多网络技术的发展需要依靠大量数据交换的操作，而数据库之间的数据交换操作(例如数据库之间的数据同步、数据传输等)是大量数据交换的基础操作。
但是，随着越来越多类型数据库的出现，由于不同类型数据库中存储数据的方式或者格式或者属性之间的差异，数据库之间的数据交换操作变得越来越繁琐复杂。例如，源数据库A为MySQL数据库(一种关系型数据库)，目标数据库为IMS层次数据库(一种层次模型数据库)。将MySQL数据库的数据同步至IMS层次数据库时，首先将MySQL数据库中的数据转换为IMS层次数据库能够识别的数据格式，其次将转换后的数据同步至IMS层次数据库。而数据的格式转换操作复杂繁琐，容易导致转换过程中存在高的出错率，并且转换操作耗费时间较长，严重影响数据同步的实时性。
综上，现有技术中需要通过数据格式转换在不同类型的数据库之间进行数据同步的方式，容易导致数据同步过程中存在一定的出错率的问题，并且实时性较差，进一步影响接收数据的目标数据库的正常运行。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决或者减缓上述问题的数据同步方法及相应的装置。
根据本发明的一个方面，提供了一种数据同步方法，包括：获取至少一个源数据库的数据存储日志；解析所述数据存储日志，以查找到与当前业务对应的待同步数据；依据查找结果将所述待同步数据写入与所述当前业务存在关联关系的至少一个目标数据库。
根据本发明的另一个方面，提供了一种数据同步装置，包括：获 取模块，适于获取至少一个源数据库的数据存储日志；查找模块，适于解析所述数据存储日志，以查找到与当前业务对应的待同步数据；写入模块，适于以及查找结果将所述待同步数据写入与所述当前业务存在关联关系的至少一个目标数据库。
根据本发明的又一个方面，提供了一种计算机程序，其包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行如上文所述的数据同步方法。
根据本发明的再一个方面，提供了一种计算机可读介质，其中存储了如上文所述的计算机程序。
本发明的有益效果为：
依据本发明实施例的数据同步方法，能够获取至少一个源数据库的数据存储日志，解析获取到的数据存储日志，以查找到与当前业务对应的待同步数据，并将待同步数据写入与当前业务存在关联关系的至少一个目标数据库，完成数据同步操作，解决了现有技术中需要通过数据格式转换以在不同类型的数据库之间进行数据同步的问题。本发明实施例的数据同步方法中，通过获取并解析源数据库的数据存储日志，获知源数据库中存储的、与当前业务对应的待同步数据的存储记录，并根据该存储记录获取待同步的数据，无需获取源数据库中的待同步数据进行格式转换。而解析数据存储日志的解析操作相对比将待同步数据的格式进行转换的转换操作，操作量和/或操作时间大幅度减少。因此，能够解决因数据转换导致数据同步出现一定出错率的问题。另外，本发明实施例的解析操作相对比现有技术中的转换操作的操作时间大幅度减少，能够提高数据同步过程的实时性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用 相同的参考符号表示相同的部件。在附图中：
图1示意性示出了根据本发明一个实施例的数据同步方法的处理流程示意图；
图2示意性示出了根据本发明一个实施例的解析源数据库的数据存储日志的处理流程示意图；
图3示意性示出了根据本发明一个实施例的源数据库与目标数据库的对应关系的示意图；
图4示意性示出了根据本发明一个实施例的数据同步装置的结构示意图；
图5示意性示出了根据本发明另一个实施例的数据同步装置的结构示意图；
图6示意性示出了用于执行根据本发明的数据同步方法的计算设备的框图；以及
图7示意性示出了用于保持或者携带实现根据本发明的数据同步方法的程序代码的存储单元。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步的描述。
为解决上述技术问题，本发明实施例提供了一种数据同步方法。图1示出了根据本发明一个实施例的数据同步方法的处理流程图。请参考图1，该流程至少包括如下步骤：
步骤S102：获取至少一个源数据库的数据存储日志；
步骤S104：解析数据存储日志，以查找到与当前业务对应的待同步数据；以及
步骤S106：根据查找结果将待同步数据写入与当前业务存在关联关系的至少一个目标数据库。
依据本发明实施例的数据同步方法，能够获取至少一个源数据库的数据存储日志，解析获取到的数据存储日志，以查找到与当前业务对应的待同步数据，并将待同步数据写入与当前业务存在关联关系的至少一个目标数据库，完成数据同步操作，解决了现有技术中需要通过数据格式转换以在不同类型的数据库之间进行数据同步的问题。本发明实施例的数据同步方法中，通过获取并解析源数据库的数据存储 日志，获知源数据库中存储的、与当前业务对应的待同步数据的存储记录，并根据该存储记录获取待同步的数据，无需获取源数据库中的待同步数据进行格式转换。而解析数据存储日志的解析操作相对比将待同步数据的格式进行转换的转换操作，操作量和/或操作时间大幅度减少。因此，能够解决因数据转换导致数据同步出现一定出错率的问题。另外，本发明实施例的解析操作相对比现有技术中的转换操作的操作时间大幅度减少，能够提高数据同步过程的实时性。
如图1中的流程图所示，本发明实施例中，为保证能够直接查找到待同步数据，需要首先获取源数据库的数据存储日志。进一步，为保证数据同步操作的实时性，本发明实施例确定获取数据存储日志的预设时间，并根据该预设时间，获取数据存储日志。实际操作中，不同的源数据库和/或目标数据对应的业务不同，其各自的存储容量、处理器性能等属性信息也存在差异。对应地，获取源数据库的数据存储日志以同步目标数据所需的预设时间也存在差异。例如，获取源数据库的预设时间可以是固定的预设时间，还可以是可变预设时间。再例如，不同业务对更新频率的要求不一样，其对应的目标数据库获取源数据库的数据存储日志的时间间隔也不同。
另外，本发明实施例中，当源数据库为MySQL数据库时，获取到的数据存储日志可以是binlog日志。MySQL数据库时一种开放源代码的数据库，其下载使用和/或修改的权限开放范围较宽，并且具有较高的可靠性及适应性。由于上述优势，实际操作中，常常利用MySQL数据库作为源数据库对业务的其他数据库进行数据同步。而binlog日志为MySQL数据库中记录所有已更新数据和/或待更新数据的日志。因此，当源数据库为MySQL数据库时，获取并解析源数据库的binlog日志，能够查找到与当前业务对应的待同步数据。
对于本发明实施例的解析数据存储日志的过程，图2示出了根据本发明一个实施例的解析源数据库的数据存储日志的处理流程图。请参考图2，该流程至少包括如下步骤：
步骤S202：解析数据存储日志至轻量级数据交换json格式；
步骤S204：在json格式的数据存储日志中查找与当前业务对应的待同步数据的记录；以及
步骤S206：利用待同步数据的记录获取到待同步数据。
由图2所示的流程可知，本发明实施例中，通过解析源数据库的数据存储日志，能够获知源数据库存储的数据的记录。在该数据的记录中查找与当前业务对应的待同步数据的记录，进一步能够根据待同步数据的记录获取到待同步数据。因此，本发明实施例中通过根据待同步数据的记录直接查找待同步数据，而非通过对待同步数据进行格式转换的方式获取待同步数据，能够保证待同步数据的正确率，并保证数据同步的实时性。
另外，本发明实施例通过在解析的数据存储日志中查找获取与当前业务对应的待同步数据，因此，本发明实施例的数据同步方法能够指定待同步的数据，即定向同步数据。例如，在源数据库中存储有与当前业务对应的数据包A、B、C，而与当前业务存在关联关系的目标数据库X仅需要利用其中的数据包B进行同步，则本发明实施例可以根据解析后的数据存储日志仅查找与当前业务对应的数据包B，进而根据查找到的数据包B对目标数据库X进行数据同步操作。本发明实施例中，定向查找待同步数据对目标数据库进行更新，避免在获取需要的待同步数据时携带其他无效数据(如上例中的数据包A、C)，能够进一步节省数据同步操作的时间，并提高数据同步操作的操作效率。
当查找到与当前业务对应的待同步数据之后，将待同步数据写入与当前业务存在关联关系的至少一个目标数据库。执行写入操作时，本发明实施例可以直接调用目标数据库的写入接口，并通过调用的写入接口将待同步数据写入对应的目标数据库。在将不同的待同步数据同步至不同的目标数据库时，利用目标数据库的写入接口将待同步数据写入目标数据库的方式能够保证数据写入操作的有序进行，避免出现将待同步数据错误地写入非对应的目标数据库的情况，保证数据同步操作的正确率。另外，在写入操作过程中，当出现写入操作中断的情况，为避免写入操作失败，或者写入的数据不完整，确定本次同步操作中是否存在未同步的部分。若存在，执行断点续传操作，继续写入未同步的部分至对应的目标数据库，完成数据同步操作。
本发明实施例中，目标数据库可以是与源数据库同类型的数据库，可以是与源数据库不同类型的数据库，还可以是包括与源数据库同类型以及与源数据库不同类型的多个数据库。对于与源数据库不同类型的目标数据库，本发明实施例根据源数据库的数据存储日志查找到待 同步数据，避免通过将源数据库中存储的数据进行格式转换获取到待同步数据的复杂操作，因此能够节省数据同步的时间，并提高数据同步操作的效率。对于与源数据库同类型的目标数据库，本发明实施例根据源数据库的数据存储日志查找待同步数据，而非对源数据库中的待同步数据进行复制以同步至目标数据库，避免由于多次复制操作导致待同步数据同步至目标数据库的过程中丢包率较高的问题。另外，由上文介绍可知，本发明实施例的数据同步方法支持指定数据的同步，并且支持断点同步，进一步保证了数据同步操作的效率。
上文提及，目标数据库还可以是包括与源数据库同类型以及与源数据库不同类型的多个数据库，即本发明实施例中，可以根据一个源数据库的数据存储日志查找到的待同步数据写入一个目标数据库，还可以根据一个源数据库的数据存储日志查找到的待同步数据写入多个目标数据库。另外，本发明实施例中，源数据库可以是一个或者多个。如图3示出了根据本发明一个实施例的源数据库与目标数据库的对应关系的示意图。其中，源数据库与目标数据库的对应关系指利用源数据库的数据存储日志查找到待同步数据并写入目标数据库。参见图3，源数据库与目标数据库的对应关系至少包括：
将根据一个源数据库的数据存储日志查找到的待同步数据，写入一个目标数据库(即图3所示的一对一对应关系)；
将根据一个源数据库的数据存储日志查找到的待同步数据，写入多个目标数据库(即图3所示的一对多对应关系)；
将根据多个源数据库的数据存储日志查找到的待同步数据，写入一个目标数据库(即图3所示的多对一对应关系)；
将根据多个源数据库的数据存储日志查找到的待同步数据，写入多个目标数据库(即图3所示的多对多对应关系)。
其中，图3中使用三个源数据库代表多个源数据库仅为示例，实际应用中，多个源数据库可以是超过一个源数据库的任意整数个源数据库，本发明实施例对此并不加以限定。同理，图3中使用三个目标数据库代表多个目标数据库也仅为示例，不能够对实际应用中的目标数据库的个数造成限定。另外，图3所示的多对多对应关系中，每个源数据库与三个目标数据库均存在对应关系，仅为示例，实际应用中，可能出现其他类型的多对多对应关系，例如三个源数据库中仅一个源 数据库与三个目标数据库均存在对应关系，剩余两个源数据库仅与三个目标数据库中的两个目标数据库存在对应关系等，本发明实施例对此并不加以限定。
基于上文各实施例提供的数据同步方法，本发明实施例提供了一种数据同步装置，以实现数据同步方法。图4示出了根据本发明一个实施例的数据同步装置的结构示意图。请参考图4，本发明实施例的数据同步装置至少包括获取模块410、查找模块420以及写入模块430。
现介绍本发明实施例的数据同步装置的各器件或组成的功能以及各部分的连接关系：
获取模块410：适于获取至少一个源数据库的数据存储日志；
查找模块420：与获取模块410相耦合，适于解析数据存储日志，以查找到与当前业务对应的待同步数据；
写入模块430：与查找模块420相耦合，适于依据查找结果将待同步数据写入与当前业务存在关联关系的至少一个目标数据库。
在另一个实施例中，至少一个目标数据库的类型包括：与至少一个源数据库同类型的数据库；和/或，与至少一个源数据库非同类型的数据库。
图5示出了根据本发明另一个实施例的数据同步装置的结构示意图。请一并参考图4和图5，相比图4中的数据同步装置，本发明实施例的查找模块420(图5所示)进一步包括：
解析单元421：适于解析数据存储日志至轻量级数据交换json格式；
查找单元422：与解析单元421相耦合，适于在json格式的数据存储日志中查找与当前业务对应的待同步数据的记录；以及利用待同步数据的记录获取到待同步数据。
在另一个实施例中，获取模块410还适于：
确定获取数据存储日志的预设时间，其中，预设时间至少包括固定预设时间和/或可变预设时间；以及根据预设时间，获取数据存储日志。
在另一个实施例中，写入模块430还适于：调用至少一个目标数据库的写入接口；以及通过写入接口将待同步数据写入对应的目标数据库。
在另一个实施例中，写入模块430还适于：
当写入操作中断，确定待同步数据中未同步的部分；以及
继续写入未同步的部分至少一个目标数据库，完成数据同步操作。
在另一个实施例中，写入模块430还适于通过以下方式任意之一将待同步数据写入至少一个目标数据库：
将来自一个源数据库的待同步数据写入一个目标数据库；
将来自一个源数据库的待同步数据写入多个目标数据库；
将来自多个源数据库的待同步数据写入一个目标数据库；
将来自多个源数据库的待同步数据分别写入多个目标数据库。
根据上述任意一个实施例或多个实施例的组合，本发明实施例能够达到如下有益效果：
依据本发明实施例的数据同步方法，能够获取至少一个源数据库的数据存储日志，解析获取到的数据存储日志，以查找到与当前业务对应的待同步数据，并将待同步数据写入与当前业务存在关联关系的至少一个目标数据库，完成数据同步操作，解决了现有技术中需要通过数据格式转换以在不同类型的数据库之间进行数据同步的问题。本发明实施例的数据同步方法中，通过获取并解析源数据库的数据存储日志，获知源数据库中存储的、与当前业务对应的待同步数据的存储记录，并根据该存储记录获取待同步的数据，无需获取源数据库中的待同步数据进行格式转换。而解析数据存储日志的解析操作相对比将待同步数据的格式进行转换的转换操作，操作量和/或操作时间大幅度减少。因此，能够解决因数据转换导致数据同步出现一定出错率的问题。另外，本发明实施例的解析操作相对比现有技术中的转换操作的操作时间大幅度减少，能够提高数据同步过程的实时性。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本 发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据同步装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图6示出了可以实现根据本发明的数据同步方法的计算设备。该计算设备传统上包括处理器610和以存储器620形式的计算机 程序产品或者计算机可读介质。存储器620可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器620具有存储用于执行上述方法中的任何方法步骤的程序代码631的存储空间630。例如，存储程序代码的存储空间630可以包括分别用于实现上面的方法中的各种步骤的各个程序代码631。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图7所示的便携式或者固定存储单元。该存储单元可以具有与图6的计算设备中的存储器620类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括用于执行根据本发明的方法步骤的计算机可读代码631’，即可以由诸如610之类的处理器读取的代码，当这些代码由计算设备运行时，导致该计算设备执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
此外，还应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于 本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (17)

  1. 一种数据同步方法，包括：
    获取至少一个源数据库的数据存储日志；
    解析所述数据存储日志，以查找与当前业务对应的待同步数据；以及
    根据查找结果将所述待同步数据写入与所述当前业务存在关联关系的至少一个目标数据库。
  2. 根据权利要求1所述的方法，其中，所述至少一个目标数据库的类型包括：
    与所述至少一个源数据库同类型的数据库；和/或
    与所述至少一个源数据库非同类型的数据库。
  3. 根据权利要求1或2所述的方法，其中，解析所述数据存储日志，以查找与当前业务对应的待同步数据的步骤进一步包括：
    解析所述数据存储日志至轻量级数据交换json格式；
    在json格式的数据存储日志中查找与所述当前业务对应的待同步数据的记录；以及
    利用所述待同步数据的记录获取到所述待同步数据。
  4. 根据权利要求1至3任一项所述的方法，其中，所述获取至少一个源数据库的数据存储日志的步骤进一步包括：
    确定获取所述数据存储日志的预设时间，其中，所述预设时间至少包括固定预设时间和/或可变预设时间；以及
    依据所述预设时间，获取所述数据存储日志。
  5. 根据权利要求1至4任一项所述的方法，其中，根据查找结果将所述待同步数据写入与所述当前业务存在关联关系的至少一个目标数据库的步骤进一步包括：
    调用所述至少一个目标数据库的写入接口；以及
    通过所述写入接口将所述待同步数据写入对应的目标数据库。
  6. 根据权利要求1至5任一项所述的方法，其中，根据查找结果将所述待同步数据写入与所述当前业务存在关联关系的至少一个目标数据库的步骤进一步包括：
    当写入操作中断，确定所述待同步数据中未同步的部分；以及
    继续写入所述未同步的部分至所述至少一个目标数据库。
  7. 根据权利要求1至6任一项所述的方法，其中，根据查找结果将所述待同步数据写入与所述当前业务存在关联关系的至少一个目标数据库的方式至少包括以下任意之一：
    将来自一个源数据库的待同步数据写入一个所述目标数据库；
    将来自一个源数据库的待同步数据写入多个所述目标数据库；
    将来自多个源数据库的待同步数据写入一个所述目标数据库；
    将来自多个源数据库的待同步数据分别写入多个所述目标数据库。
  8. 根据权利要求1至7任一项所述的方法，其中，所述数据存储日志包括binlog信息日志。
  9. 一种数据同步装置，包括：
    获取模块，适于获取至少一个源数据库的数据存储日志；
    查找模块，适于解析所述数据存储日志，以查找到与当前业务对应的待同步数据；
    写入模块，适于根据查找结果将所述待同步数据写入与所述当前业务存在关联关系的至少一个目标数据库。
  10. 根据权利要求9所述的装置，其中，所述至少一个目标数据库的类型包括：
    与所述至少一个源数据库同类型的数据库；和/或
    与所述至少一个源数据库非同类型的数据库。
  11. 根据权利要求9或10所述的装置，其中，所述查找模块进一步包括：
    解析单元，适于解析所述数据存储日志至轻量级数据交换json格式；以及
    查找单元，适于在json格式的数据存储日志中查找与所述当前业务对应的待同步数据的记录；以及利用所述待同步数据的记录获取到所述待同步数据。
  12. 根据权利要求9至11任一项所述的装置，其中，所述获取模块还适于：
    确定获取所述数据存储日志的预设时间，其中，所述预设时间至少包括固定预设时间和/或可变预设时间；以及
    依据所述预设时间，获取所述数据存储日志。
  13. 根据权利要求9至12任一项所述的装置，其中，所述写入模块还适于：
    调用所述至少一个目标数据库的写入接口；以及
    通过所述写入接口将所述待同步数据写入对应的目标数据库。
  14. 根据权利要求9至13任一项所述的装置，其中，所述写入模块还适于：
    当写入操作中断，确定所述待同步数据中未同步的部分；以及
    继续写入所述未同步的部分至所述至少一个目标数据库。
  15. 根据权利要求9至14任一项所述的装置，其中，所述写入模块还适于通过以下方式任意之一将所述待同步数据写入所述至少一个目标数据库：
    将来自一个源数据库的待同步数据写入一个所述目标数据库；
    将来自一个源数据库的待同步数据写入多个所述目标数据库；
    将来自多个源数据库的待同步数据写入一个所述目标数据库；
    将来自多个源数据库的待同步数据分别写入多个所述目标数据库。
  16. 一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-8中的任一个所述的数据同步方法。
  17. 一种计算机可读介质，其中存储了如权利要求16所述的计算机程序。
PCT/CN2015/095465 2014-12-22 2015-11-24 数据同步方法及装置 WO2016101752A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410806603.0A CN104462517A (zh) 2014-12-22 2014-12-22 数据同步方法及装置
CN201410806603.0 2014-12-22

Publications (1)

Publication Number Publication Date
WO2016101752A1 true WO2016101752A1 (zh) 2016-06-30

Family

ID=52908552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/095465 WO2016101752A1 (zh) 2014-12-22 2015-11-24 数据同步方法及装置

Country Status (2)

Country Link
CN (1) CN104462517A (zh)
WO (1) WO2016101752A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656999A (zh) * 2018-10-11 2019-04-19 平安科技（深圳）有限公司 大数据量的数据同步方法、设备、存储介质及装置
CN110334141A (zh) * 2019-05-30 2019-10-15 平安科技（深圳）有限公司 数据转换的方法、装置、计算机设备和存储介质
CN110727694A (zh) * 2019-10-10 2020-01-24 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN110928885A (zh) * 2018-09-04 2020-03-27 北京奇虎科技有限公司 Mysql数据库的数据更新到Es数据库的方法及装置
CN111008246A (zh) * 2019-11-26 2020-04-14 中盈优创资讯科技有限公司 数据库日志同步方法、装置、计算机设备及可读存储介质
CN111625605A (zh) * 2020-06-02 2020-09-04 北京金堤科技有限公司 信息同步方法和装置、以及存储介质和电子设备
CN112015804A (zh) * 2019-05-28 2020-12-01 阿里巴巴集团控股有限公司 数据同步方法、装置、设备及存储介质
CN112988899A (zh) * 2021-04-02 2021-06-18 山东英信计算机技术有限公司 一种追加数据同步方法、系统、存储介质及设备
CN113326247A (zh) * 2021-04-28 2021-08-31 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462517A (zh) * 2014-12-22 2015-03-25 北京奇虎科技有限公司 数据同步方法及装置
US9507762B1 (en) 2015-11-19 2016-11-29 International Business Machines Corporation Converting portions of documents between structured and unstructured data formats to improve computing efficiency and schema flexibility
CN105574109A (zh) * 2015-12-10 2016-05-11 青岛海信传媒网络技术有限公司 一种数据库同步方法、同步设备及系统
CN106354817B (zh) * 2016-08-30 2020-09-04 苏州创意云网络科技有限公司 一种日志的处理方法及装置
CN106506586B (zh) * 2016-09-21 2019-05-03 东软集团股份有限公司 分布式缓存同步方法、装置、节点和系统
CN108628885B (zh) * 2017-03-20 2023-04-18 腾讯科技（深圳）有限公司 一种数据同步方法、装置及存储设备
CN108399256B (zh) * 2018-03-06 2020-08-04 北京慧萌信安软件技术有限公司 异构数据库内容同步方法、装置及中间件
CN109634970B (zh) * 2018-10-19 2024-05-03 平安科技（深圳）有限公司 表数据同步方法、设备、存储介质及装置
CN109634975B (zh) * 2018-12-10 2022-02-25 拉扎斯网络科技（上海）有限公司 数据同步方法及装置、电子设备及计算机可读存储介质
CN109462661B (zh) * 2018-12-19 2021-08-10 深圳市卡牛科技有限公司 数据同步方法、装置、计算机设备和存储介质
CN109829003A (zh) * 2018-12-25 2019-05-31 北京市天元网络技术股份有限公司 数据库备份方法及装置
CN109753494B (zh) * 2019-01-04 2021-05-25 北京环境特性研究所 一种目标特性数据库系统和数据同步方法
CN110287273A (zh) * 2019-07-03 2019-09-27 成都路行通信息技术有限公司 基于监听MySQL数据库binlog变化实现数据同步的方法和系统
CN111078697B (zh) * 2019-12-11 2023-11-03 秒针信息技术有限公司 一种数据存储方法、装置、存储介质及电子设备
CN111241131B (zh) * 2020-01-08 2023-04-18 政采云有限公司 一种数据查询方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262662A (zh) * 2011-07-22 2011-11-30 浪潮(北京)电子信息产业有限公司 实现异构平台下数据库数据迁移的系统、装置及方法
US20120254105A1 (en) * 2011-04-04 2012-10-04 Microsoft Corporation Synchronizing Records Between Databases
CN103685385A (zh) * 2012-09-12 2014-03-26 中国移动通信集团公司 一种文件同步的方法、系统和装置
CN104462517A (zh) * 2014-12-22 2015-03-25 北京奇虎科技有限公司 数据同步方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346775A (zh) * 2011-09-26 2012-02-08 苏州博远容天信息科技有限公司 一种基于日志的异构多源数据库同步方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120254105A1 (en) * 2011-04-04 2012-10-04 Microsoft Corporation Synchronizing Records Between Databases
CN102262662A (zh) * 2011-07-22 2011-11-30 浪潮(北京)电子信息产业有限公司 实现异构平台下数据库数据迁移的系统、装置及方法
CN103685385A (zh) * 2012-09-12 2014-03-26 中国移动通信集团公司 一种文件同步的方法、系统和装置
CN104462517A (zh) * 2014-12-22 2015-03-25 北京奇虎科技有限公司 数据同步方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928885B (zh) * 2018-09-04 2023-05-16 三六零科技集团有限公司 Mysql数据库的数据更新到Es数据库的方法及装置
CN110928885A (zh) * 2018-09-04 2020-03-27 北京奇虎科技有限公司 Mysql数据库的数据更新到Es数据库的方法及装置
CN109656999A (zh) * 2018-10-11 2019-04-19 平安科技（深圳）有限公司 大数据量的数据同步方法、设备、存储介质及装置
CN109656999B (zh) * 2018-10-11 2024-03-15 平安科技（深圳）有限公司 大数据量的数据同步方法、设备、存储介质及装置
CN112015804A (zh) * 2019-05-28 2020-12-01 阿里巴巴集团控股有限公司 数据同步方法、装置、设备及存储介质
CN110334141A (zh) * 2019-05-30 2019-10-15 平安科技（深圳）有限公司 数据转换的方法、装置、计算机设备和存储介质
CN110334141B (zh) * 2019-05-30 2023-11-21 平安科技（深圳）有限公司 数据转换的方法、装置、计算机设备和存储介质
CN110727694A (zh) * 2019-10-10 2020-01-24 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN110727694B (zh) * 2019-10-10 2024-01-09 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN111008246A (zh) * 2019-11-26 2020-04-14 中盈优创资讯科技有限公司 数据库日志同步方法、装置、计算机设备及可读存储介质
CN111008246B (zh) * 2019-11-26 2024-04-19 中盈优创资讯科技有限公司 数据库日志同步方法、装置、计算机设备及可读存储介质
CN111625605A (zh) * 2020-06-02 2020-09-04 北京金堤科技有限公司 信息同步方法和装置、以及存储介质和电子设备
CN111625605B (zh) * 2020-06-02 2024-05-10 北京金堤科技有限公司 信息同步方法和装置、以及存储介质和电子设备
CN112988899A (zh) * 2021-04-02 2021-06-18 山东英信计算机技术有限公司 一种追加数据同步方法、系统、存储介质及设备
CN113326247B (zh) * 2021-04-28 2023-02-21 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备
CN113326247A (zh) * 2021-04-28 2021-08-31 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备

Also Published As

Publication number Publication date
CN104462517A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
WO2016101752A1 (zh) 数据同步方法及装置
US11182404B2 (en) Data replication technique in database management system
US11334544B2 (en) Method, apparatus, device and medium for storing and querying data
US10572361B2 (en) Concurrent production use of a production enterprise system and testing of a modified enterprise system
WO2016091069A1 (zh) 一种数据操作方法及装置
EP2608107A2 (en) System and method for fingerprinting video
US8938430B2 (en) Intelligent data archiving
US9619492B2 (en) Data migration
WO2012041110A1 (zh) 数据比对方法和装置
CN111046036A (zh) 数据同步方法、装置、系统及存储介质
CN107423037B (zh) 应用程序接口定位方法及设备
WO2016101758A1 (zh) 一种跨集群的数据同步方法和装置
US20200374422A1 (en) System and method of synchronizing video and audio clips with audio data
US10552394B2 (en) Data storage with improved efficiency
CN108197277B (zh) 一种统一的数据库管理查询方法以及装置
US10324933B2 (en) Technique for processing query in database management system
CN104778252A (zh) 索引的存储方法和装置
CN104376088A (zh) 一种云数据库的分布式同步方法及数据库系统
WO2021238341A1 (zh) 数据库中数据更新方法、装置和电子设备
CN111723245A (zh) 数据存储系统中建立不同类型存储对象关联关系的方法
WO2017167103A1 (zh) 一种远程命令的处理方法和装置
WO2023098593A1 (zh) 数据处理方法及装置
WO2019085235A1 (zh) 图片处理方法、用户界面显示方法及设备
JP2011223585A (ja) メディア資産を比較する方法およびシステム
WO2016155385A1 (zh) 一种生成文档索引的方法和装置以及一种搜索方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15871821

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15871821

Country of ref document: EP

Kind code of ref document: A1