WO2018210080A1 - 一种数据同步方法、装置、设备及计算机可读存储介质 - Google Patents

一种数据同步方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2018210080A1
WO2018210080A1 PCT/CN2018/083047 CN2018083047W WO2018210080A1 WO 2018210080 A1 WO2018210080 A1 WO 2018210080A1 CN 2018083047 W CN2018083047 W CN 2018083047W WO 2018210080 A1 WO2018210080 A1 WO 2018210080A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
synchronization
loop
source database
duration
Prior art date
Application number
PCT/CN2018/083047
Other languages
English (en)
French (fr)
Inventor
李刚
赵莫言
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2018210080A1 publication Critical patent/WO2018210080A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation

Definitions

  • the present application belongs to the field of data processing, and in particular, to a data synchronization method, apparatus, device, and computer readable storage medium.
  • database synchronization technology is usually used to transfer data from one database to other databases.
  • the data distributed in the database of each terminal is synchronized to the database in the backup server, and the data of each terminal can be backed up, and the data can be summarized to facilitate querying or other processing of the summarized data.
  • KETTLE tools When synchronizing data, mature data warehouse tools, such as KETTLE tools, are generally used to extract, convert, and load data from the source to the destination by using the components of the graphical interface of the synchronization tool.
  • Pre-conditions for tool components are typically set when data synchronization is done using existing data warehouse tools. For example, cyclically detecting whether a certain pre-received data is received or not, if the pre-condition is not completed, the synchronization tool will always be in a loop waiting state, and the user needs to manually turn off the switch, which is troublesome and time-sensitive.
  • the purpose of the present application is to provide a data synchronization method to solve the prior art synchronization tool using a graphical interface. If the pre-conditions set are not completed, the card will wait for a loop, and the user manually closes the operation, which is troublesome. The problem of poor timeliness.
  • an embodiment of the present application provides a data synchronization method, where the method includes:
  • an embodiment of the present application provides a data synchronization apparatus, where the apparatus includes a unit for implementing the steps of the foregoing data synchronization method.
  • an embodiment of the present application provides a data synchronization device, including a memory, a processor, and computer readable instructions stored in the memory and executable on the processor, the processor executing the The data synchronization method according to any one of the foregoing first aspects is implemented when the computer readable instructions are implemented.
  • the embodiment of the present application provides a computer readable storage medium, where the computer readable storage medium stores computer readable instructions, and when the computer readable instructions are executed by a processor, implement any of the foregoing first aspects.
  • a pre-condition that requires a loop wait in the synchronization tool is acquired, and a loop wait time corresponding to the pre-conditions is obtained, and a pre-condition is obtained by a correspondence between a preset pre-condition and a loop execution duration.
  • Corresponding loop execution duration when the waiting duration is greater than the preset loop execution duration, the end instruction is sent to the synchronization tool, so that the loop waiting operation of the synchronization tool can be closed in time and effectively, which is beneficial to improving the convenience of the staff operation. Sex.
  • FIG. 1 is a flowchart of an implementation of a data synchronization method according to a first embodiment of the present application
  • FIG. 2 is a flowchart of an implementation of determining a loop execution duration provided by the first embodiment of the present application
  • FIG. 3 is a flowchart of an implementation of a data synchronization method according to a second embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of a data synchronization apparatus according to a third embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of a data synchronization device according to an embodiment of the present application.
  • the purpose of the embodiment of the present application is to provide a data synchronization method to solve the pre-conditions of the graphical interface component after the synchronization of the data in the prior art by using the synchronization tool of the graphical interface component.
  • some pre-condition data may be delayed or lost, causing the synchronization tool to wait in a loop, the system has an alarm, and the user needs to manually turn off the switch, which is troublesome and has poor timeliness.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • FIG. 1 is a flowchart showing an implementation process of a data synchronization method according to a first embodiment of the present application, which is described in detail as follows:
  • step S101 a precondition for requiring loop waiting set in the synchronization tool is acquired, and a loop waiting time for the precondition is obtained.
  • the synchronization tool in the embodiment of the present application may be an ETL (Extract-Transform- The Load, Extract, Transform, Load tool is used to describe the process of extracting, transforming, and loading data from the source to the destination.
  • the synchronization tool can be Kettle, Data Tools such as Stage, Repository Explorer, and Bee load.
  • the synchronization tool sets preconditions that require loop wait, including setting synchronization data in the graphics component of the synchronization tool. After the data that needs to be synchronized is set, the data can be synchronized according to a predetermined cycle, including operations such as extracting, converting, and loading the data.
  • the acquisition of the preconditions that need to be cycled can obtain the preconditions corresponding to the data that needs to be synchronized when the synchronization tool is set. For example, when the insurance data is synchronized at the end of the month, it is necessary to prepare the preconditions completed on the day of the gold monthly settlement. If the day is not completed, it is always in a waiting state, and subsequent synchronization operations cannot be performed.
  • the correspondence between different preconditions and the loop execution duration can be set according to the specific needs of the synchronized data.
  • the correspondence table may be adjusted by the user according to requirements, so that the user can adjust the length of the loop waiting.
  • the step of acquiring the loop waiting time of the precondition may include:
  • the pre-conditions are monitored starting at the start time, and a loop waiting time of the pre-conditions is generated according to the monitoring result.
  • the running start time of the graphic component may be determined by the startup time of the logic flow of the setting of the synchronization tool, or may be monitored by the data process corresponding to the logic flow of the synchronization tool, and the graphic component is determined according to the monitoring result. The start time of the run.
  • the pre-condition is monitored to detect whether the data corresponding to the pre-condition is input to the synchronization tool, and if not, the synchronization is performed.
  • the tool is in a loop wait state and the cycle wait time is counted by the calculator.
  • the cycle waiting time is cleared, and the cycle waiting time is recalculated.
  • step S102 it is determined whether the loop waiting duration of the precondition is greater than or equal to the preset loop execution duration according to the correspondence between the precondition and the loop execution duration stored in advance;
  • the pre-conditions set in the synchronization tool are detected, and the corresponding loop execution duration can be queried in the pre-stored correspondence table.
  • the loop execution duration can be automatically determined based on historical data. For example, querying the historical data of the loop waiting duration corresponding to the precondition, and selecting a predetermined multiple of the average loop waiting time, for example, selecting 1.2 times the average waiting duration of the average as the loop execution duration.
  • execution time of the loop can also be determined according to the method described in FIG. 2, which specifically includes:
  • step S201 the completion deadline of the synchronization task and the data type and data amount that the synchronization task needs to synchronize are acquired.
  • the completion deadline of the synchronization task refers to the expected time to complete data synchronization.
  • the time for completing the data synchronization can be set according to different data synchronization tasks, or for periodic data synchronization tasks, such as data synchronization for the monthly knot, the data synchronization can be automatically acquired according to the previous synchronization requirements. Expected time.
  • the data type may include continuous data and discrete data.
  • time required for synchronization is also different. Therefore, data that needs to be synchronized can be distinguished by time, and can be different types. The data is calculated separately for the time required for synchronization.
  • division of continuous data and discrete data is only one of the division methods, and can also be based on other division methods to distinguish the synchronization time required for data synchronization.
  • step S202 the estimated duration required to complete the synchronization task is calculated based on the synchronization speed of the pre-stated data type.
  • the synchronization speed of different data can be obtained according to the historical synchronization data. According to the size of the different types of data and the synchronization speed, the synchronization time required for different types of data can be calculated, and then Further find the synchronization time required for all data that needs to be synchronized.
  • step S203 the loop waiting time is determined according to the completion deadline of the synchronization task and the synchronization estimation duration.
  • the cycle waiting time can be calculated.
  • the completion time of the synchronization task is 24 points
  • the time required for all data synchronization is 3 hours and 30 minutes
  • the current time is 18 points
  • the cycle execution time is 30 minutes.
  • step S103 when the loop waiting duration of the precondition is greater than or equal to the loop execution duration, an end instruction is sent to the synchronization tool.
  • the duration of the current precondition loop has exceeded the preset loop execution time. Therefore, the current loop wait needs to be ended to avoid
  • the system alarm signal requires the staff to manually eliminate the alarm signal, which can improve the convenience of data synchronization.
  • the step of sending an end instruction to the synchronization tool may include:
  • the end instruction is sent to the synchronization tool, and the switch corresponding to the pre-condition of the preset feature execution time is closed, so that the waiting for the pre-condition is ended.
  • Other synchronized data can continue to be executed and processed.
  • the end instruction may be sent to the synchronization tool, the operation of the synchronization tool is ended, and the prompt information for ending the synchronization is sent to the user.
  • the method described in the present application is based on the monitoring and judging program based on the synchronization tool composed of the existing graphic components, and the analysis and processing of the data can make the operation of the synchronization tool more reliable and improve synchronization. Operational efficiency.
  • the present application obtains a precondition for a loop waiting in the synchronization tool, and obtains a loop waiting time corresponding to the preconditions, and obtains a loop corresponding to the precondition by a preset correspondence between the precondition and the loop execution duration.
  • the execution time is long.
  • the end instruction is sent to the synchronization tool, so that the cycle waiting operation of the synchronization tool can be closed in time and effectively, which is convenient for improving the convenience of the staff operation.
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • FIG. 3 is a flowchart showing an implementation process of a data synchronization method according to a second embodiment of the present application, which is described in detail as follows:
  • step S301 a precondition for the loop waiting to be set in the synchronization tool is acquired, and a loop waiting time for the precondition is obtained.
  • step S302 it is determined whether the loop waiting duration of the pre-condition is greater than or equal to the preset loop execution duration according to the pre-stored correspondence between the pre-condition and the loop execution duration.
  • step S303 when the loop waiting duration of the precondition is greater than or equal to the loop execution duration, an end instruction is sent to the synchronization tool.
  • Steps S301-S303 are substantially the same as steps S101-S103 in the first embodiment, and are not described herein again.
  • step S304 the changed data in the source database is recorded during the time period from the last synchronization time point to the current time point.
  • step S305 the changed data in the recorded source database is sent to the target database through the synchronization tool.
  • the data that changes in the monitoring source database in the embodiment of the present application may be specifically implemented as follows:
  • the recording function in the source database is triggered. Record the portion of the data modification. This includes recording the modified data content, the location of the modified data content, and storing the recorded content in the synchronous storage area.
  • data synchronization is performed, only the data in the synchronous storage area needs to be sent to the target database.
  • the data modification in the source database may also include multiple modification of data in the same location.
  • the content of the modified data, the storage location of the modified data, and the modification may be performed.
  • the time is recorded, and the data is modified multiple times for the same location, the data corresponding to the last modified time is selected as the data of the storage location, thereby avoiding multiple invalid synchronization operations of the modified data and improving synchronization. effectiveness.
  • the synchronization method is to obtain log data in the source database, and analyze the log data to find a log that is modified to the source database, according to the location recorded in the log, at the source. Find the contents of the location in the database and synchronize the found content to the target database.
  • Embodiment 3 is a diagrammatic representation of Embodiment 3
  • FIG. 4 is a schematic structural diagram of a data synchronization apparatus according to a third embodiment of the present application, which is described in detail as follows:
  • the information obtaining unit 401 is configured to acquire a pre-condition that needs to be cyclically waited in the synchronization tool, and acquire a loop waiting time of the pre-condition;
  • the determining unit 402 is configured to determine, according to the pre-stored correspondence between the pre-conditions and the loop execution duration, whether the loop waiting duration of the pre-condition is greater than or equal to the preset loop execution duration;
  • the instruction sending unit 403 is configured to send an end instruction to the synchronization tool when a loop waiting duration of the precondition is greater than or equal to the loop execution duration.
  • the information acquiring unit includes:
  • a start time acquisition subunit configured to acquire an operation start time of the graphic component corresponding to the precondition according to a synchronization setting requirement in the synchronization tool
  • a monitoring subunit configured to monitor the preconditions at the start time, and generate a loop waiting time of the precondition according to the monitoring result.
  • the device further comprises:
  • a data monitoring unit for monitoring data that changes in the source database
  • a sending unit configured to send the changed data to the target database by using the synchronization tool.
  • the data monitoring unit is specifically configured to:
  • the trigger includes inserting a trigger, and deleting the trigger Modify one or more of the triggers.
  • the data synchronization device in the embodiment of the present application corresponds to the data synchronization method in the first embodiment and the second embodiment, and details are not described herein.
  • FIG. 5 is a schematic diagram of a data synchronization device provided by an embodiment of the present application.
  • the data synchronization device 5 of this embodiment includes a processor 50, a memory 51, and computer readable instructions 52 stored in the memory 51 and operable on the processor 50, such as data synchronization. Device program.
  • the processor 50 when executing the computer readable instructions 52, implements the steps in the various data synchronization method embodiments described above, such as steps 101 through 103 shown in FIG.
  • the processor 50 when executing the computer readable instructions 52, implements the functions of the modules/units in the various apparatus embodiments described above, such as the functions of the modules 401 through 403 shown in FIG.
  • the computer readable instructions 52 may be partitioned into one or more modules/units that are stored in the memory 51 and executed by the processor 50, To complete this application.
  • the computer readable instructions 52 may be divided into an information acquisition unit, a determination unit, and an instruction transmission unit, and the specific functions of each unit are as follows:
  • An information acquiring unit configured to acquire a precondition for setting a loop waiting in the synchronization tool, and acquiring a loop waiting time of the precondition
  • a determining unit configured to determine, according to the pre-stored correspondence between the pre-conditions and the loop execution duration, whether the loop waiting duration of the pre-condition is greater than or equal to the preset loop execution duration
  • an instruction sending unit configured to send an end instruction to the synchronization tool when a loop waiting duration of the precondition is greater than or equal to the loop execution duration.
  • the data synchronization device 5 can be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the data synchronization device may include, but is not limited to, a processor 50, a memory 51. It will be understood by those skilled in the art that FIG. 5 is only an example of the data synchronization device 5, does not constitute a limitation on the data synchronization device 5, may include more or less components than the illustration, or combine some components, or different.
  • the components, such as the data synchronization device may also include input and output devices, network access devices, buses, and the like.
  • the so-called processor 50 can be a central processing unit (Central Processing Unit, CPU), can also be other general-purpose processors, digital signal processors (DSP), application specific integrated circuits (Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware components, etc.
  • the general purpose processor may be a microprocessor or the processor or any conventional processor or the like.
  • the memory 51 may be an internal storage unit of the data synchronization device 5, such as a hard disk or memory of the data synchronization device 5.
  • the memory 51 may also be an external storage device of the data synchronization device 5, such as a plug-in hard disk equipped on the data synchronization device 5, a smart memory card (SMC), and a secure digital (Secure Digital, SD) card, flash card (Flash Card) and so on.
  • the memory 51 may also include both an internal storage unit of the data synchronization device 5 and an external storage device.
  • the memory 51 is for storing the computer readable instructions and other programs and data required by the data synchronization device.
  • the memory 51 can also be used to temporarily store data that has been output or is about to be output.
  • the disclosed apparatus and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • a computer readable storage medium A number of instructions are included to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the methods described in various embodiments of the present application.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), and a random access memory (RAM, Random Access).
  • ROM read-only memory
  • RAM Random Access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据同步方法包括：获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长；根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长；当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。本方法使得同步工具的循环等待操作可以及时有效的关闭，有利于提高工作人员操作的便利性。

Description

一种数据同步方法、装置、设备及计算机可读存储介质
本申请要求于2017年5月19日提交中国专利局、申请号为CN201710357020.8、发明名称为“一种数据同步方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于数据处理领域，尤其涉及一种数据同步方法、装置、设备及计算机可读存储介质。
 背景技术
为了保证数据的安全需要，或者为了实现不同位置的数据库的数据共享要求，通常会使用到数据库同步技术，将一个数据库中的数据传送至其它数据库。比如，将分布在各个终端的数据库中的数据，同步到备份服务器中数据库，可以对各个终端的数据进行备份，还可以对数据进行汇总，方便对汇总后的数据进行查询或其它处理。
在对数据进行同步处理时，一般会采用成熟的数据仓库工具，比如KETTLE工具等，通过使用同步工具的图形界面的各个组件，将数据从源端经过抽取、转换、加载至目的端。在使用现有的数据仓库工具进行数据同步时，一般会设置工具组件的前置条件。比如循环检测某个前置的数据是否接收完成，如果没有完成前置条件，则同步工具一直会处于循环等待状态，需要用户手动的关闭开关，操作较为麻烦，而且时效性较性。
 技术问题
本申请的目的在于提供一种数据同步方法，以解决现有技术使用图形界面的同步工具时，如果设置的前置条件没有完成，则会一直牌循环等待状态，用户手动关闭操作较为麻烦，而且时效性差的问题。
 技术解决方案
第一方面，本申请实施例提供了一种数据同步方法，所述方法包括：
获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长；
根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长；
当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。
第二方面，本申请实施例提供了一种数据同步装置，所述装置包括用于实现上述数据同步方法的步骤的单元。
第三方面，本申请实施例提供了一种数据同步设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述第一方面的任意一种实现方式所述的数据同步方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述第一方面的任意一种实现方式所述的数据同步方法。
 有益效果
在本申请中，获取在同步工具中需要循环等待的前置条件，并获取这些前置条件对应的循环等待时长，通过预先设定的前置条件与循环执行时长的对应关系，得到前置条件对应的循环执行时长，当所述等待时长大于预设的循环执行时长时，则向同步工具发送结束指令，从而使得同步工具的循环等待操作可以及时有效的关闭，有利于提高工作人员操作的便利性。
 附图说明
图1是本申请第一实施例提供的数据同步方法的实现流程图；
图2是本申请第一实施例提供的确定循环执行时长的实现流程图；
图3是本申请第二实施例提供的数据同步方法的实现流程图；
图4是本申请第三实施例提供的数据同步装置的结构示意图；
图5是本申请实施例提供的数据同步设备的结构示意图。
 本发明的实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的目的在于提供一种数据同步方法，以解决现有技术中对数据进行同步时，由于使用图形界面组件的同步工具，在设置好了图形界面组件的前置条件后。在同步工具运行过程中，有的前置条件的数据可能会延迟到达或者丢失，造成同步工具一直处于循环等待，系统出现告警，需要用户手动关闭开关，操作较为麻烦，而且时效性差的问题。下面结合附图，对本申请作进一步的说明。
实施例一：
图1示出了本申请第一实施例提供的数据同步方法的实现流程，详述如下：
在步骤S101中，获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长。
具体的，本申请实施例所述同步工具，可以为ETL（Extract-Transform- Load，抽取、转换、加载）工具，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。所述同步工具可以为Kettle 、Data Stage、Repository Explorer、Bee load等工具。
所述同步工具中设置需要循环等待的前置条件，包括同步工具的图形组件中设置同步的数据。在设置好需要同步的数据后，可以根据预定的周期，对数据进行同步操作，包括对数据进行抽取、转换和加载等操作。
所述需要循环等待的前置条件的获取，可以在同步工具设定的时候，获取需要同步的数据所对应的前置条件。比如在保险数据月结同步时，需要准备金月结当天完成的前置条件，如果当天没有完成，则一直处于等待状态，后续的同步操作无法进行。
在确定需要循环等待的前置条件时，可以根据同步的数据具体的需要，设定不同的前置条件与循环执行时长的对应关系。所述对应关系表可以由用户根据需要对循环执行时长进行调整，方便用户调整循环等待的时长。
在本申请实施例中，所述获取所述前置条件的循环等待时长步骤可以包括：
根据所述同步工具中的同步设置要求，获取所述前置条件对应的图形组件的运行起始时间；
在所述起始时间开始监测所述前置条件，并根据所述监测结果生成所述前置条件的循环等待时长。
在确定了所述前置条件对应的图形组件的运行起始时间后，可便于得到所述循环等待的时长。所述图形组件的运行起始时间，可以由同步工具的设定的逻辑流程的启动时间确定，或者可以对同步工具的逻辑流程所对应的数据进程进行监测，根据监测的结果确定所述图形组件的运行起始时间。
在获取所述起始时间后，当所述起始时间到达时，则开始对所述前置条件进行监测，检测是否有所述前置条件对应的数据输入到同步工具，如果没有，则同步工具处于循环等待状态，并通过计算器对所述循环等待时长进行计时。当监测到所述前置条件对应的数据输入到同步工具，则对所述循环等待时长清零，并重新计算循环等待时长。
在步骤S102中，根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长；
由于预先存储有前置条件与循环执行时长的对应关系，在检测到同步工具中设置的前置条件，可在预先存储的对应关系表中查询到相应的循环执行时长。或者，所述循环执行时长可以根据历史数据自动求取。比如查询所述前置条件对应的循环等待时长的历史数据，选择平均的循环等待时长的预定倍数据，比如选择平均的平均等待时长的1.2倍作为所述循环执行时长。
当然，所述循环执行时长还可以根据图2所述方法确定，具体包括：
在步骤S201中，获取同步任务的完成期限，以及所述同步任务所需要同步的数据类型和数据量。
所述同步任务的完成期限，是指完成数据同步的期望时间。所完成数据同步的时间，可以根据不同的数据同步的任务而设定，也可以对于周期性的数据同步任务，比如对于月结的数据同步，则可以根据以往的同步要求，自动获取完成数据同步的期望时间。
所述数据类型，可以包括连续的数据和离散的数据，对于连续的数据和离散的数据，同步所需要的时间也不相同，因此，可以将需要同步的数据按时间进行区分，可以对不同类型的数据分别计算同步所需要的时间。
当然，对于连续的数据和离散的数据的划分只是其中一种划分方式，还可以根据其它划分方式，以区分数据同步时所需要的同步时间。
在步骤S202中，根据预先统计的数据类型的同步速度，计算完成所述同步任务所需要的估算时长。
在对数据类型进行区分后，可以根据历史的同步数据，得到不同的数据的同步速度，根据不同类型的数据的大小以及同步的速度，即可计算不同类型的数据所需要的同步时间，进而可以进一步求得所有需要同步的数据所需要的同步时间。
在步骤S203中，根据所述同步任务的完成期限以及所述同步估算时长，确定所述循环等待时长。
在得到所有的数据同步所需要的时间后，结合同步任务的完成期限，即可计算得到循环等待的时间。比如，同步任务的完成期限为24点，所有的数据同步所需要的时间为3小时30分，当前时间为18点，那么可以得到循环执行时长为30分钟。当然，还可以根据图2所述方法计算得到的循环执行时长，以及查找前置条件所对应的循环执行时长进行比较，选择较短的一个时间作为循环执行时长。
在步骤S103中，当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。
当所述前置条件的循环等待时长大于或者等于所述循环执行时长时，表示当前的前置条件循环的时长，已超过预先设定的循环执行时长，因此，需要结束当前的循环等待，避免系统告警信号，需要工作人员手动消除告警信号，可以提高数据同步的便利性。
作为本申请可选的实施方式中，所述向所述同步工具发送结束指令步骤可以包括：
向所述同步工具发送结束指令，关闭所述前置条件对应的循环等待的开关，或者，向所述同步工具发送结束指令，结束所述同步工具的运行。
其中，向所述同步工具发送结束指令，关闭当前的循环等待时长超过预设的特征执行长时的前置条件所对应的开关，从而结束对所述前置条件的等待。可以继续执行和处理其它同步的数据。
当所述前置条件为重要基础同步的数据，则可以向所述同步工具发送结束指令，结束所述同步工具的运行，并向用户发送结束同步的提示信息。
值得注意的是，本申请所述方法是基于现有的图形组件构成的同步工具的基础上所做出的监测判断程序，通过对数据进行分析处理，可以使得同步工具的运行更加可靠，提高同步的操作效率。
本申请获取在同步工具中需要循环等待的前置条件，并获取这些前置条件对应的循环等待时长，通过预先设定的前置条件与循环执行时长的对应关系，得到前置条件对应的循环执行时长，当所述等待时长大于预设的循环执行时长时，则向同步工具发送结束指令，从而使得同步工具的循环等待操作可以及时有效的关闭，有利于提高工作人员操作的便利性。
实施例二：
图3示出了本申请第二实施例提供的数据同步方法的实现流程，详述如下：
在步骤S301中，获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长。
在步骤S302中，根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长。
在步骤S303中，当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。
步骤S301-S303与实施例一中的步骤S101-S103基本相同，在此不作重复赘述。
在步骤S304中，在上一次同步时间点至当前时间点所在的时间段内，记录源数据库中发生变化的数据。
在步骤S305中，将所记录的源数据库中发生变化的数据通过所述同步工具发送至目标数据库。
具体的，本申请实施例中所述监测源数据库中发生变化的数据，具体可以采用如下方式：
1、通过触发器监测所述源数据库中的修改操作，当监测到所述源数据库中的数据发生修改时，将发生变化的数据缓存至同步存储区，所述触发器包括插入触发器、删除触发器、修改触发器中的一种或者多种。
具体的，通过在源数据库中设置触发器，当源数据库中有数据修改时，包括数据的插入、数据的删除或者数据的改写中的任意一项发生时，则触发源数据库中的记录功能，对数据修改的部分进行记录。包括记录修改的数据内容，修改的数据内容所在的位置，并将记录的内容存储在同步存储区。当进行数据同步时，只需要将同步存储区中的数据发送给目标数据库即可。
所述源数据库中的数据修改，也可以包括对同一位置的数据的多次修改，为了提高同步存储区所存储的数据的效率，可以对修改的数据的内容、修改的数据的存储位置以及修改的时间进行记录，并对于同一位置进行了多次修改的数据，则选择最后的修改的时间所对应的数据作为该存储位置的数据，从而避免对修改数据的多次无效的同步操作，提高同步效率。
2、获取源数据库的日志，根据所述日志中记录的修改信息，确定所述源数据库发生变化的数据，将所述源数据库中发生变化的数据缓存至同步存储区。
与方式1不同之处在于，该同步方法是获取源数据库中的日志数据，并对所述日志数据进行分析，查找得到对源数据库进行修改的日志，根据所述日志中记录的位置，在源数据库中查找该位置的内容，并将查找的内容同步至目标数据库。
当然，不局限于以上两种方式，还可以包括基于全表对比的方式，查找得到修改后的数据。将修改后的数据同步至目标数据库，可以提高数据同步的效率。特别是对于数据库庞大的源数据库的同步，可以大大的减少重复数据的同步次数，提高同步资源的利用效率。
实施例三：
图4示出了本申请第三实施例提供的数据同步装置的结构示意图，详述如下：
本申请实施例所述数据同步装置，包括：
信息获取单元401，用于获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长；
判断单元402，用于根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长；
指令发送单元403，用于当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。
优选的，所述信息获取单元包括：
起始时间获取子单元，用于根据所述同步工具中的同步设置要求，获取所述前置条件对应的图形组件的运行起始时间；
监测子单元，用于在所述起始时间开始监测所述前置条件，并根据所述监测结果生成所述前置条件的循环等待时长。
优选的，所述装置还包括：
数据监测单元，用于监测源数据库中发生变化的数据；
发送单元，用于将发生变化的数据通过所述同步工具发送至目标数据库。
优选的，所述数据监测单元具体用于：
通过触发器监测所述源数据库中的修改操作，当监测到所述源数据库中的数据发生修改时，将发生变化的数据缓存至同步存储区，所述触发器包括插入触发器、删除触发器、修改触发器中的一种或者多种。
本申请实施例所述数据同步装置，与实施例一和二所述的数据同步方法对应，在此不作重复赘述。
图5示出了本申请实施例提供的数据同步设备的示意图。如图5所示，该实施例的数据同步设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52，例如数据同步装置的程序。所述处理器50执行所述计算机可读指令52时实现上述各个数据同步方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器50执行所述计算机可读指令52时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块401至403的功能。
示例性的，所述计算机可读指令52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本申请。例如，所述计算机可读指令52可以被分割成信息获取单元、判断单元和指令发送单元，各单元具体功能如下：
信息获取单元，用于获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长；
判断单元，用于根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长；
指令发送单元，用于当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。
所述数据同步设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述数据同步设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是数据同步设备5的示例，并不构成对数据同步设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述数据同步设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述数据同步设备5的内部存储单元，例如数据同步设备5的硬盘或内存。所述存储器51也可以是所述数据同步设备5的外部存储设备，例如所述数据同步设备5上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器51还可以既包括所述数据同步设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机可读指令以及所述数据同步设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种数据同步方法，其特征在于，所述方法包括：
    获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长；
    根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长；
    当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。
  2. 根据权利要求1所述数据同步方法，其特征在于，当所述前置条件满足预设的数据同步要求时，所述方法还包括：
    在上一次同步时间点至当前时间点所在的时间段内，记录源数据库中发生变化的数据；
    将所记录的源数据库中发生变化的数据通过所述同步工具发送至目标数据库。
  3. 根据权利要求1或2所述数据同步方法，其特征在于，在所述根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长的步骤之前，所述方法还包括：
    获取同步任务的完成期限，以及所述同步任务所需要同步的数据类型和数据量；
    根据预先统计的数据类型的同步速度，计算完成所述同步任务所需要的估算时长；
    根据所述同步任务的完成期限以及所述同步估算时长，确定所述循环等待时长。
  4. 根据权利要求2所述数据同步方法，其特征在于，所述记录源数据库中发生变化的数据的步骤包括：
    通过触发器监测所述源数据库中的修改操作，所述触发器包括插入触发器、删除触发器、修改触发器中的一种或者多种；
    当监测到所述源数据库中的数据发生修改时，将发生变化的数据缓存至同步存储区。
  5. 根据权利要求2所述数据同步方法，其特征在于，所述记录源数据库中发生变化的数据的步骤包括：
    获取源数据库的日志，根据所述日志中记录的修改信息，确定所述源数据库发生变化的数据；
    将所述源数据库中发生变化的数据缓存至同步存储区。
  6. 一种数据同步装置，其特征在于，所述装置包括：
    信息获取单元，用于获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长；
    判断单元，用于根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长；
    指令发送单元，用于当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。
  7. 根据权利要求6所述装置，其特征在于，当所述前置条件满足预设的数据同步要求时，所述装置还包括：
    数据记录单元，用于在上一次同步时间点至当前时间点所在的时间段内，记录源数据库中发生变化的数据；
    数据发送单元，用于将所记录的源数据库中发生变化的数据通过所述同步工具发送至目标数据库。
  8. 根据权利要求7所述装置，其特征在于，所述装置还包括：
    期限获取单元，用于获取同步任务的完成期限，以及所述同步任务所需要同步的数据类型和数据量；
    估算时长获取单元，用于根据预先统计的数据类型的同步速度，计算完成所述同步任务所需要的估算时长；
    循环等待时长获取单元，用于根据所述同步任务的完成期限以及所述同步估算时长，确定所述循环等待时长。
  9. 根据权利要求7所述装置，其特征在于，所述数据记录单元包括：
    修改操作监测子单元，用于通过触发器监测所述源数据库中的修改操作，所述触发器包括插入触发器、删除触发器、修改触发器中的一种或者多种；
    第一同步子单元，用于当监测到所述源数据库中的数据发生修改时，将发生变化的数据缓存至同步存储区。
  10. 根据权利要求7所述装置，其特征在于，所述数据记录单元包括：
    变化数据确定子单元，用于获取源数据库的日志，根据所述日志中记录的修改信息，确定所述源数据库发生变化的数据；
    第二同步子单元，用于将所述源数据库中发生变化的数据缓存至同步存储区。
  11. 一种数据同步设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长；
    根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长；
    当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。
  12. 根据权利要求11所述数据同步设备，其特征在于，当所述前置条件满足预设的数据同步要求时，还包括：
    在上一次同步时间点至当前时间点所在的时间段内，记录源数据库中发生变化的数据；
    将所记录的源数据库中发生变化的数据通过所述同步工具发送至目标数据库。
  13. 根据权利要求11或12所述数据同步设备，其特征在于，在所述根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长的步骤之前，还包括：
    获取同步任务的完成期限，以及所述同步任务所需要同步的数据类型和数据量；
    根据预先统计的数据类型的同步速度，计算完成所述同步任务所需要的估算时长；
    根据所述同步任务的完成期限以及所述同步估算时长，确定所述循环等待时长。
  14. 根据权利要求12所述数据同步设备，其特征在于，所述记录源数据库中发生变化的数据的步骤包括：
    通过触发器监测所述源数据库中的修改操作，所述触发器包括插入触发器、删除触发器、修改触发器中的一种或者多种；
    当监测到所述源数据库中的数据发生修改时，将发生变化的数据缓存至同步存储区。
  15. 根据权利要求12所述数据同步设备，其特征在于，所述记录源数据库中发生变化的数据的步骤包括：
    获取源数据库的日志，根据所述日志中记录的修改信息，确定所述源数据库发生变化的数据；
    将所述源数据库中发生变化的数据缓存至同步存储区。
  16. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如下步骤：
    获取同步工具中设置的需要循环等待的前置条件，以及获取所述前置条件的循环等待时长；
    根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长；
    当所述前置条件的循环等待时长大于或等于所述循环执行时长时，向所述同步工具发送结束指令。
  17. 根据权利要求16所述计算机可读存储介质，其特征在于，当所述前置条件满足预设的数据同步要求时，还包括：
    在上一次同步时间点至当前时间点所在的时间段内，记录源数据库中发生变化的数据；
    将所记录的源数据库中发生变化的数据通过所述同步工具发送至目标数据库。
  18. 根据权利要求16或17所述计算机可读存储介质，其特征在于，在所述根据预先存储的所述前置条件与循环执行时长的对应关系，判断所述前置条件的循环等待时长是否大于或等于所预设的循环执行时长的步骤之前，还包括：
    获取同步任务的完成期限，以及所述同步任务所需要同步的数据类型和数据量；
    根据预先统计的数据类型的同步速度，计算完成所述同步任务所需要的估算时长；
    根据所述同步任务的完成期限以及所述同步估算时长，确定所述循环等待时长。
  19. 根据权利要求17所述计算机可读存储介质，其特征在于，所述记录源数据库中发生变化的数据的步骤包括：
    通过触发器监测所述源数据库中的修改操作，所述触发器包括插入触发器、删除触发器、修改触发器中的一种或者多种；
    当监测到所述源数据库中的数据发生修改时，将发生变化的数据缓存至同步存储区。
  20. 根据权利要求17所述计算机可读存储介质，其特征在于，所述记录源数据库中发生变化的数据的步骤包括：
    获取源数据库的日志，根据所述日志中记录的修改信息，确定所述源数据库发生变化的数据；
    将所述源数据库中发生变化的数据缓存至同步存储区。
PCT/CN2018/083047 2017-05-19 2018-04-13 一种数据同步方法、装置、设备及计算机可读存储介质 WO2018210080A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710357020.8 2017-05-19
CN201710357020.8A CN107798039B (zh) 2017-05-19 2017-05-19 一种数据同步方法和装置

Publications (1)

Publication Number Publication Date
WO2018210080A1 true WO2018210080A1 (zh) 2018-11-22

Family

ID=61531119

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/083047 WO2018210080A1 (zh) 2017-05-19 2018-04-13 一种数据同步方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN107798039B (zh)
WO (1) WO2018210080A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798039B (zh) * 2017-05-19 2020-06-05 平安科技（深圳）有限公司 一种数据同步方法和装置
CN108629002A (zh) * 2018-05-03 2018-10-09 山东汇贸电子口岸有限公司 一种基于kettle的大数据比对方法及装置
CN109656999B (zh) * 2018-10-11 2024-03-15 平安科技（深圳）有限公司 大数据量的数据同步方法、设备、存储介质及装置
CN110290166B (zh) * 2019-05-05 2023-04-18 平安科技（深圳）有限公司 跨集群数据交互方法、系统、装置及可读存储介质
CN111309742A (zh) * 2020-01-20 2020-06-19 深圳壹账通智能科技有限公司 数据同步方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119408A (zh) * 2007-08-16 2008-02-06 中兴通讯股份有限公司 一种实现接口数据一致性的接口、方法及通信系统
US20080189350A1 (en) * 2007-02-06 2008-08-07 Vasa Prakash Devices, systems, and methods for providing data
CN102096685A (zh) * 2009-12-11 2011-06-15 阿里巴巴集团控股有限公司 分布式数据同步到数据仓库的方法及装置
US20130110782A1 (en) * 2011-11-01 2013-05-02 International Business Machines Corporation Oportunistic database duplex operations
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN107798039A (zh) * 2017-05-19 2018-03-13 平安科技（深圳）有限公司 一种数据同步方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6112502A (en) * 1998-02-10 2000-09-05 Diebold, Incorporated Restocking method for medical item dispensing system
US6788997B1 (en) * 1998-06-01 2004-09-07 Medselect, Inc. Medical cabinet with adjustable drawers
CN103186624B (zh) * 2011-12-31 2017-10-20 亿阳信通股份有限公司 一种数据同步方法和数据同步装置
US8751451B2 (en) * 2012-04-12 2014-06-10 Nokia Corporation Method and apparatus for facilitating switching between devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080189350A1 (en) * 2007-02-06 2008-08-07 Vasa Prakash Devices, systems, and methods for providing data
CN101119408A (zh) * 2007-08-16 2008-02-06 中兴通讯股份有限公司 一种实现接口数据一致性的接口、方法及通信系统
CN102096685A (zh) * 2009-12-11 2011-06-15 阿里巴巴集团控股有限公司 分布式数据同步到数据仓库的方法及装置
US20130110782A1 (en) * 2011-11-01 2013-05-02 International Business Machines Corporation Oportunistic database duplex operations
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN107798039A (zh) * 2017-05-19 2018-03-13 平安科技（深圳）有限公司 一种数据同步方法和装置

Also Published As

Publication number Publication date
CN107798039B (zh) 2020-06-05
CN107798039A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
WO2018210080A1 (zh) 一种数据同步方法、装置、设备及计算机可读存储介质
CN107690616B (zh) 受限的存储器环境中的流式传输联接
WO2018214835A1 (zh) 一种区块链业务受理及业务共识方法及装置
WO2019019361A1 (zh) 数据库数据处理方法、装置、计算机设备和存储介质
CN109213462B (zh) Android横竖屏数据同步方法、装置、终端及可读介质
US20210192046A1 (en) Resource Management Unit for Capturing Operating System Configuration States and Managing Malware
WO2016078323A1 (zh) 检测恶意软件的方法及装置
CN107992271B (zh) 数据预读方法、装置、设备及计算机可读存储介质
US11782761B2 (en) Resource management unit for capturing operating system configuration states and offloading tasks
CN109522273B (zh) 一种实现数据写入的方法及装置
CN111078418B (zh) 操作同步方法、装置、电子设备及计算机可读存储介质
WO2016188292A1 (zh) 一种数据处理中显示处理进度的方法及其装置
CN116361106A (zh) 一种日志处理方法、装置、电子设备及存储介质
US10331562B2 (en) Real-time cache repair tool
US10250515B2 (en) Method and device for forwarding data messages
US11630698B2 (en) Resource management unit for capturing operating system configuration states and swapping memory content
CN104317737A (zh) 一种不需要硬件支持实现基于程序同步点高速缓存一致性的方法
US20180285281A1 (en) Self-learning cache repair tool
CN116662276B (zh) 数据处理方法、装置、电子设备及存储介质
CN108037972B (zh) 一种完全隐藏光标的方法及装置
US20200110840A1 (en) Audio context assisted text search
CN116069789A (zh) 一种数据查询方法、装置以及计算机可读存储介质
CN115858423A (zh) 缓存淘汰策略的切换方法、装置、电子设备及存储介质
CN114389853A (zh) 一种数据处理方法及装置
CN112099963A (zh) 二进制日志文件解析的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18802972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04/03/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18802972

Country of ref document: EP

Kind code of ref document: A1