WO2020140661A1 - 数据同步方法和系统 - Google Patents

数据同步方法和系统 Download PDF

Info

Publication number
WO2020140661A1
WO2020140661A1 PCT/CN2019/122302 CN2019122302W WO2020140661A1 WO 2020140661 A1 WO2020140661 A1 WO 2020140661A1 CN 2019122302 W CN2019122302 W CN 2019122302W WO 2020140661 A1 WO2020140661 A1 WO 2020140661A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
server
queue
synchronized
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/122302
Other languages
English (en)
French (fr)
Inventor
方思行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Publication of WO2020140661A1 publication Critical patent/WO2020140661A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Definitions

  • This application relates to a data synchronization method and system.
  • a data synchronization method and system are provided.
  • a data synchronization method including:
  • the business server pushes the data to be synchronized to the queue server;
  • the queue server determines a queue identifier corresponding to the data to be synchronized
  • the queue server caches the data to be synchronized into a data cache queue corresponding to the queue identifier
  • the consumer server sends a data synchronization request to the queue server; the data synchronization request carries a queue identifier;
  • the queue server feeds back data to be synchronized in the data cache queue corresponding to the queue identifier.
  • a data synchronization system the system includes a business server, a queue server and a consumer server;
  • the service server is used to push data to be synchronized to the queue server;
  • the queue server is used to determine a queue identifier corresponding to the data to be synchronized; cache the data to be synchronized into a data cache queue corresponding to the queue identifier;
  • the consumer server is used to send a data synchronization request to the queue server; the data synchronization request carries a queue identifier; and
  • the queue server is configured to respond to the data synchronization request and feed back the data to be synchronized in the data cache queue corresponding to the queue identifier.
  • FIG. 1 is an application scenario diagram of a data synchronization method according to one or more embodiments
  • FIG. 2 is a schematic flowchart of a data synchronization method according to one or more embodiments
  • FIG. 3 is a schematic flowchart of a data synchronization method in another embodiment
  • Figure 4 is a block diagram of a computer device in accordance with one or more embodiments.
  • the data synchronization method provided by this application can be applied in the application environment shown in FIG. 1.
  • the first terminal 110 communicates with the service server 101 via the network
  • the service server 101 communicates with the queue server 102 via the network
  • the queue server 102 communicates with the consumer server 103
  • the consumer server 103 communicates with the second terminal 120.
  • the service server 101 obtains the data to be synchronized through the first terminal 110, and the service server 101 pushes the data to be synchronized to the queue server 102.
  • the queue server 102 determines the queue identifier corresponding to the data to be synchronized, and caches the data to be synchronized into the data cache queue corresponding to the queue identifier.
  • the consumption server 103 sends a data synchronization request carrying a queue identifier to the queue server 102.
  • the queue server 102 feeds back data to be synchronized in the data cache queue corresponding to the queue identifier.
  • the second terminal 120 triggers a data operation instruction directed to the consumption server 103, and obtains corresponding data from the data synchronized by the consumption server 103.
  • the first terminal 110 and the second terminal 120 may be, but not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
  • the service server 101, the queue server 102, and the consumer server 103 can all be implemented by independent servers or a server cluster composed of multiple servers.
  • a data synchronization method is provided.
  • the method is applied to the data synchronization system in FIG. 1 as an example for illustration, including the following steps:
  • the service server pushes the data to be synchronized to the queue server.
  • the business server is a server for providing business services.
  • the business service may specifically be a loan business, an order generation business, an order approval business, or an information promotion business.
  • the queue server is a server for caching data.
  • the queue server may specifically be ActiveMQ (message middleware system), Kafka (publish and subscribe message queue) or MSMQ (MicroSoft Message Queuing, Microsoft Message Queuing), etc.
  • Data to be synchronized is data that needs to be synchronized from one system to another.
  • the system may be implemented by independent servers or server clusters.
  • the service server may push the current data to be synchronized to the queue server in real time or regularly.
  • the queue server can receive the data to be synchronized pushed by the service server through the network connection.
  • the order approval server may push all order-related information (for example, order approval status information) generated within a preset time period to the queue server.
  • order-related information for example, order approval status information
  • the business server obtains the data to be synchronized from different sources through more than one data acquisition module; the business server determines the communication interface corresponding to the queue server; and the business server uses the data from the different sources to be synchronized through The communication interface is pushed to the queue server.
  • the queue server may provide an external API interface (Application Programming Interface).
  • the business server can send the data to be synchronized to the queue server by calling the API interface provided by the queue server.
  • the service server includes multiple data acquisition modules, and each data acquisition module has a unique identification, which may be referred to as a source identification in this embodiment.
  • the business server can obtain the data to be synchronized through multiple data acquisition modules, and then push the data to be synchronized to the queue server.
  • the service server determines the queue identifier associated with the source identifier according to the source identifier.
  • the business server can add the queue identifier to the data to be synchronized and push it to the queue server.
  • a client corresponding to the service server runs on the terminal, and the user can enter corresponding data in the client, for example, the user can enter transaction information in the transaction interface provided by the client.
  • the user can open the web interface provided by the service server through the terminal, and the user can input corresponding data in the web interface.
  • the terminal can generate data to be synchronized according to the data input by the user.
  • the terminal can generate order-related information based on the transaction information input by the user.
  • the order-related information may specifically include the current time, order number, user ID, order amount, order status, etc.
  • the information related to the order is the data to be synchronized.
  • the business server may provide an API interface
  • the terminal may communicate with the business server through the API interface provided by the business server
  • the staff may transmit the data to be synchronized to the business server through the API interface.
  • Data to be synchronized for example, promotional advertisement information about a certain product, etc.
  • the queue server determines a queue identifier corresponding to the data to be synchronized.
  • the queue server may determine the source of the data to be synchronized, and determine the corresponding queue identifier according to the source.
  • the queue server may store an association table corresponding to the source identifier and the queue identifier. For example, if the source A source corresponds to the queue a, the queue server will store the data to be synchronized obtained from the source A source in the data cache queue corresponding to the queue a.
  • the service server may add the corresponding queue identifier to the data to be synchronized.
  • the queue server can extract the queue identifier from it.
  • the queue server caches the data to be synchronized into the data cache queue corresponding to the queue identifier.
  • the cache is used to temporarily store data.
  • the data cache queue is a queue for temporarily storing data.
  • the queue server may cache the received data to be synchronized to the data cache queue identified by the queue identifier according to the corresponding queue identifier.
  • the queue server may determine the acquisition time of the data to be synchronized, and sequentially cache the data to be synchronized to the end of the queue of the data cache queue corresponding to the queue identifier in chronological order.
  • the consumer server sends a data synchronization request to the queue server; the data synchronization request carries the queue identifier.
  • the consumption server is a server for receiving data to be synchronized.
  • the consumption server may specifically be a data analysis server, an alarm server, or a server that provides group messaging.
  • the consumption server may send a data synchronization request carrying the queue identifier to the queue server according to its load status.
  • the consumer server can determine the current load status. When the consumer server is in a low load state, it can initiate a data synchronization request to the queue server. Alternatively, the consumer server can also automatically send data synchronization requests to the queue server at preset time intervals.
  • the consumption server includes multiple consumption modules, and each consumption module may read the data to be synchronized in the corresponding data cache queue in parallel from the queue server according to its own load status or timing.
  • each consumption module has a unique identification, which may be referred to herein as a target identification.
  • the consumption server may store an association table corresponding to the target party ID and the queue ID. For example, if the A'target corresponds to the a queue, the data synchronization request sent by the consumer server carries the queue identifier of the a queue.
  • the queue server responds to the data synchronization request and feeds back the data to be synchronized in the data cache queue corresponding to the queue identifier.
  • the queue server feeds back the data to be synchronized in the data cache queue corresponding to the queue identifier to the consumption server according to the queue identifier carried in the data synchronization request.
  • the consumption server includes multiple consumption modules, and each consumption module can read the data to be synchronized in the corresponding data cache queue in parallel from the queue server.
  • the consumer server also reads the data to be synchronized from the data cache queue of the queue server by calling the API interface provided by the queue server.
  • the synchronized data may be stored in a local storage medium.
  • the consumption server can receive the data operation instruction from the terminal, and the consumption server searches for the corresponding data according to the received data operation instruction and responds to the corresponding operation.
  • the terminal may run a client corresponding to the consumption server.
  • the user may trigger a query instruction for querying an order through the client, and the consumption server responds to the Query instruction, query the corresponding order-related information and feed it back to the terminal, the terminal displays the query-related information queried according to preset rules.
  • the consumption server can receive the information transmission instruction from the terminal, and in response to the information transmission instruction, send the specified promotion information to the corresponding user account (That is, the promotion information read by the consumer server from the data cache queue).
  • the data synchronization method further includes a status update step.
  • the step specifically includes: after the consumer server successfully receives the data to be synchronized fed back by the queue server, feeds back to the queue server second feedback information indicating that the data synchronization is completed; The queue server updates the data state of the data to be synchronized fed back to the synchronized state according to the second feedback information.
  • the consumption server feeds back to the queue server the second feedback information indicating that the data synchronization is completed.
  • the queue server may update the data state of the data that has been synchronized to the synchronized state, and the subsequent consumption server will not read it repeatedly.
  • the business server includes an order approval server; the data to be synchronized includes order related information; and the consumption server includes an order query server.
  • the business server may specifically be an order approval server
  • the consumption server may specifically be an order query server that provides order query services.
  • the data to be synchronized may specifically be order related information.
  • the order approval server can push the corresponding order-related information to the queue server, the queue server determines the queue ID corresponding to the order-related information, and caches the order-related information to the data corresponding to the queue ID In the cache queue.
  • the query server can read the order-related information from the corresponding data cache queue according to the queue identifier, and is used to provide the query function of the client application.
  • the business server pushes the data to be synchronized to the queue server, and the queue server determines the queue identifier corresponding to the data to be synchronized after receiving the data to be synchronized.
  • the queue server then caches the data to be synchronized into the data cache queue corresponding to the queue identifier.
  • the consumer server sends a data synchronization request carrying the queue identifier to the queue server.
  • the queue server feeds back data to be synchronized in the data cache queue corresponding to the queue identifier. In this way, when data synchronization is required between the business server and the consumer server, the data to be synchronized can be cached accordingly through the queue server.
  • the consumer server can obtain the data to be synchronized from the queue server according to the queue identifier. In this way, when faced with a large amount of data that needs to be synchronized, the processing pressure of the business server and the consumer server can be greatly relieved, and the flexibility of data synchronization is improved.
  • step S202 that is, the step in which the business server pushes the data to be synchronized to the queue server specifically includes: the business server obtains the data to be synchronized; the business server determines the source identification corresponding to the data to be synchronized; the business server determines the source The party identifies the corresponding priority level; the business server pushes the data to be synchronized to the queue server in sequence according to the order of the corresponding priority level.
  • the source identification is used to uniquely identify the source of the data to be synchronized, and may specifically be at least one of letters, numbers, Chinese characters, or character strings.
  • the priority level is the level of priority, such as high priority, medium priority, and low priority.
  • the service server includes multiple data acquisition modules, and each data acquisition module has a unique identifier, which may be referred to as a source identifier in this embodiment.
  • the service server can obtain the data to be synchronized through multiple data obtaining modules, wherein each obtaining module can obtain different types of data separately.
  • the A obtaining module can obtain order-related information
  • the B obtaining module can obtain business promotion information
  • the C obtaining module can obtain prompt warning information.
  • a client corresponding to the service server runs on the terminal, and the user can input corresponding data in the client.
  • the user can open the web interface provided by the service server through the terminal, and the user can input corresponding data in the web interface.
  • the terminal can generate data to be synchronized according to the data input by the user.
  • the terminal may send the generated data to be synchronized to the preset acquisition module of the service server.
  • the business server may provide an API interface
  • the terminal may communicate with the business server through the API interface provided by the business server
  • the staff may transmit the data to be synchronized to the preset acquisition module of the business server through the API interface.
  • the service server may determine which acquisition module specifically obtained the data to be synchronized, and then determine the corresponding source identification.
  • the service server may preset different priority levels corresponding to different acquisition modules, so as to set priorities corresponding to different categories of information.
  • the service server after determining the corresponding priority level of the source identification, sequentially pushes the data to be synchronized to the queue server in the order of priority level. For example, if the priority level corresponding to the A acquisition module is high priority, then the data to be synchronized acquired by the A acquisition module will be pushed to the queue server first.
  • the service server may perform corresponding pushing according to the time sequence in which each data to be synchronized is generated.
  • the service server pushes the data to be synchronized to the queue server in order of the priority level of the source identification corresponding to each data to be synchronized, for the data to be synchronized generated at the same time.
  • the service server sequentially pushes the data to be synchronized to the queue server according to the order of the priority level corresponding to the source identification of the data to be synchronized, so that when there is a large amount of data to be synchronized, the important data can be preferentially pushed
  • the data to be synchronized avoids the unimportant data to be synchronized occupying limited resources, and can realize the flexible push of the data to be synchronized.
  • the data synchronization method further includes the step of repeatedly pushing the data to be synchronized.
  • the step specifically includes: after the business server pushes the data to be synchronized to the queue server, the business server detects the first feedback information fed back by the queue server; When the first feedback information fed back by the queue server is not detected within a preset time period, the business server determines the priority level corresponding to the source identification corresponding to the data to be synchronized; the business server determines the repeated push method corresponding to the priority level ; The service server repeatedly pushes the synchronized data according to the corresponding repeat push method.
  • the queue server will feed back the first feedback information indicating the successful reception to the service server.
  • the service server does not receive the first feedback information fed back by the queue server within a preset time period, it indicates that the queue server failed to receive data.
  • the failure of the queue server to receive the data to be synchronized may be due to network failure, failure of the service server to send data, or failure of the queue server.
  • the service server may determine the priority level corresponding to the source identification corresponding to the data to be synchronized, and determine the priority level Repeated push method corresponding to the level.
  • the service server may set different priority levels in advance, corresponding to different repeated push methods.
  • the service server may include multiple data acquisition modules, such as data acquisition module A, data acquisition module B, and data acquisition module C.
  • the data acquisition module A corresponds to a high-priority data push level
  • the data acquisition module B corresponds to a medium-priority data push level
  • the data acquisition module C corresponds to a low-priority data push level.
  • the business server When the business server does not receive the first feedback information fed back by the queue server within a preset time period, the business server will perform the retransmission step as follows: For the data to be synchronized originating from the low-priority data acquisition module C, the push fails It will not be pushed afterwards; for the data to be synchronized from the data acquisition module B of medium priority, it will be re-pushed after the push fails, and will not be pushed again until the number of failures reaches a preset number (for example, three times); The data to be synchronized of the priority data acquisition module A will be pushed again after the push fails. If the number of failed pushes reaches a preset number (for example, three times), the data to be synchronized will be stored in the database of the business server for later Inquire.
  • a preset number for example, three times
  • the service server may push the corresponding data repeatedly according to the priority level corresponding to the source identification of the data to be synchronized. In this way, repeatedly pushing the data that fails to be pushed can avoid the omission of the data to be synchronized in the synchronization process.
  • different repeated push methods are used to repeatedly push the data to be synchronized, which greatly enhances the flexibility of data synchronization.
  • step 208 that is, the step of the consumer server sending a data synchronization request to the queue server specifically includes: the consumer server obtains the data synchronization instruction; the consumer server determines the target party identifier corresponding to the data synchronization instruction; the consumer server according to the target The party identifier determines the corresponding queue identifier; the consumer server generates a data synchronization request according to the queue identifier and sends the data synchronization request to the queue server.
  • the consumer server may receive data synchronization instructions triggered by the terminal. Or the consumer server can regularly trigger the data synchronization instruction through the timing device and obtain the data synchronization instruction. The consumer server can also monitor the current load status in real time. When the load status meets the preset load condition, the data synchronization instruction is triggered.
  • the preset load condition may specifically be that the load amount is less than a preset threshold and the like.
  • the consumption server may include multiple consumption modules, and each consumption module has a unique identification, which may be referred to herein as a target identification. After the consumption server obtains the data synchronization instruction, it can determine which data synchronization instruction is triggered by the specific consumption module, that is, determine the corresponding target party identifier.
  • the consumption server may pre-store an association relationship table corresponding to the target party identifier and the queue identifier. After determining the queue identifier corresponding to the target party identifier, the consumer server may generate a data synchronization request according to the queue identifier. For example, if the A'target corresponds to the a queue, then the data synchronization request sent by the consumer server carries the queue identifier of the a queue.
  • the consumption server may read the data to be synchronized in the corresponding data cache queue in parallel from the queue server through each consumption module according to its own load status or at regular intervals to complete the data synchronization.
  • the consumption server reads the data to be synchronized buffered in the corresponding data cache queue from the queue server through the queue identifier corresponding to the target party identifier corresponding to the data synchronization instruction. In this way, orderly storage through the queue identifier and orderly reading through the queue identifier can greatly improve the efficiency of data synchronization.
  • the data synchronization method further includes the step of repeating reception. This step specifically includes: when the consumption server does not receive the data to be synchronized fed back by the queue server, the consumption server determines the target party identifier corresponding to the data synchronization request Corresponding priority level; the consumption server determines the repeated receiving mode corresponding to the priority level; the consumption server repeatedly receives the synchronized data according to the corresponding repeated receiving mode.
  • the consumption server may receive an abnormality in the data to be synchronized fed back by the queue server.
  • the consumption server may determine the priority level corresponding to the target party identifier corresponding to the data synchronization request, and determine the corresponding repeated receiving method.
  • the consumption server may set different priority levels in advance, corresponding to different repeated receiving methods.
  • the consumption server may include multiple consumption modules, such as consumption module A', consumption module B', and consumption module C'.
  • the consumer server After the consumer module in the consumer server fails to read the data to be synchronized from the queue server, the consumer server will perform the repeated receiving steps as follows: For the low-priority consumer module C'to read the data to be synchronized, after the read fails It is no longer read; for the medium-priority consumer module B'to read the data to be synchronized, it will be re-read after the failure of reading, until the number of failures reaches the preset number of times (for example, three times), it is no longer read; The priority consumer module A'reads the data to be synchronized, and then reads it again after the reading fails. If the number of failed readings reaches the preset number of times (for example, three times), the identifier of the data to be synchronized to be read or Queue identification and other information are stored in the database of the consumer server and will be read again later.
  • the preset number of times for example, three times
  • the consumption server when the consumption server does not receive the data to be synchronized fed back by the queue server, it may be determined that the data reading fails.
  • the consumption server may perform corresponding data repeated reading according to the corresponding priority level of the target party identifier corresponding to the data synchronization request. In this way, repeated reading of the data that fails to be read can avoid the omission of the data to be synchronized in the synchronization process.
  • different repeated receiving methods are used to repeatedly read the data to be synchronized, which greatly enhances the flexibility of data synchronization.
  • the queue server can set a secondary queue identifier to classify and distinguish.
  • the associated service server and consumption server may correspond to the first-level tags of the data cache queue; the specific data acquisition module and the associated consumption module may correspond to the second-level tags of the data cache queue.
  • the A service server is associated with the A'consumer server, that is, the data to be synchronized of the A service server needs to be transmitted to the A'consumer server. Then, all the data to be synchronized transmitted from the A service server to the A'consumer server is cached to the data cache queue cluster with the first level label a. Further, when the data to be synchronized acquired by the data acquisition module A1 in the A service server is transmitted to the consumption module A1' in A'consumption server, the queue server caches the data to be synchronized to a1 data in the a data cache queue cluster Cache queue.
  • the data synchronization method specifically includes the following steps:
  • the service server obtains data to be synchronized.
  • the service server determines the source identification corresponding to the data to be synchronized.
  • the service server determines a priority level corresponding to the source identification.
  • the service server pushes the data to be synchronized to the queue server in sequence according to the order of corresponding priority levels.
  • the service server determines a repeated push method corresponding to the priority level.
  • the service server repeatedly pushes the synchronized data according to the corresponding repeated pushing method.
  • the queue server determines a queue identifier corresponding to the data to be synchronized.
  • the queue server caches the data to be synchronized into the data cache queue corresponding to the queue identifier.
  • the consumption server obtains the data synchronization instruction.
  • the consumption server determines the target party identifier corresponding to the data synchronization instruction.
  • S326 The consumption server determines the corresponding queue identifier according to the target party identifier.
  • the consumer server generates a data synchronization request according to the queue identifier, and sends the data synchronization request to the queue server.
  • the queue server feeds back the data to be synchronized in the data buffer queue corresponding to the queue identifier.
  • the consumption server determines a repeated receiving mode corresponding to the priority level.
  • S336 The consumption server repeatedly receives the data to be synchronized according to the corresponding repeated receiving mode.
  • the queue server updates the data state of the data to be synchronized fed back to the synchronized state according to the second feedback information.
  • the business server pushes the data to be synchronized to the queue server, and the queue server determines the queue identifier corresponding to the data to be synchronized after receiving the data to be synchronized.
  • the queue server then caches the data to be synchronized into the data cache queue corresponding to the queue identifier.
  • the consumer server sends a data synchronization request carrying the queue identifier to the queue server.
  • the queue server feeds back data to be synchronized in the data cache queue corresponding to the queue identifier. In this way, when data synchronization is required between the business server and the consumer server, the data to be synchronized can be cached accordingly through the queue server.
  • the consumer server can obtain the data to be synchronized from the queue server according to the queue identifier. In this way, when faced with a large amount of data that needs to be synchronized, the processing pressure of the business server and the consumer server can be greatly relieved, and the flexibility of data synchronization is improved.
  • steps in the flowcharts of FIGS. 2-3 are displayed in order according to the arrows, the steps are not necessarily executed in the order indicated by the arrows. Unless clearly stated in this article, the execution of these steps is not strictly limited in order, and these steps can be executed in other orders. Moreover, at least a part of the steps in FIG. 2-3 may include multiple sub-steps or multiple stages. These sub-steps or stages are not necessarily executed at the same time, but may be executed at different times. These sub-steps or stages The execution order of is not necessarily sequential, but may be executed in turn or alternately with at least a part of other steps or sub-steps or stages of other steps.
  • a data synchronization system 100 is provided.
  • the system includes a business server 101, a queue server 102, and a consumption server 103.
  • the service server 101 is used to push data to be synchronized to the queue server.
  • the queue server 102 is used to determine the queue identifier corresponding to the data to be synchronized; cache the data to be synchronized into the data cache queue corresponding to the queue identifier.
  • the consumption server 103 is used to send a data synchronization request to the queue server; the data synchronization request carries the queue identifier.
  • the queue server 102 is also used to respond to the data synchronization request and feed back the data to be synchronized in the data cache queue corresponding to the queue identifier.
  • the service server 101 is also used to obtain data to be synchronized from different sources through more than one data acquisition module; determine the communication interface corresponding to the queue server; and pass the data to be synchronized from different sources through the communication interface Push to the queue server.
  • the service server 101 is further used to obtain the data to be synchronized, determine the source identifier corresponding to the data to be synchronized, and determine the priority level corresponding to the source identifier, in order of the corresponding priority levels, The queue server pushes the data to be synchronized.
  • the service server 101 is further configured to determine the queue ID associated with the source ID according to the source ID; associate the data to be synchronized corresponding to the source ID with the queue ID, and associate the queue ID Add to the associated data to be synchronized; and in accordance with the order of the corresponding priority level, push the data to be synchronized including the associated queue identifier to the queue server in sequence.
  • the service server 101 is further configured to detect the first feedback information fed back by the queue server 102 after pushing the data to be synchronized to the queue server 102; when the first feedback information fed back by the queue server 102 is not detected within a preset time period When feeding back information, determine the priority level corresponding to the source identification corresponding to the data to be synchronized; determine the repeated push method corresponding to the priority level; and repeatedly push the synchronized data according to the corresponding repeated push method.
  • the queue server 102 is also used to determine the time to receive the data to be synchronized; and according to the time sequence, the data to be synchronized is sequentially cached to the tail of the data cache queue corresponding to the queue identifier.
  • the consumption server 103 is also used to obtain a data synchronization instruction, determine a target party identifier corresponding to the data synchronization instruction, determine a corresponding queue identifier according to the target party identifier, generate a data synchronization request according to the queue identifier, and send a request to the queue The server sends a data synchronization request.
  • the consumption server 103 is also used to determine the priority level corresponding to the target identification corresponding to the data synchronization request when the data to be synchronized fed back by the queue server 102 is not received; it is determined to correspond to the priority level The repeated receiving mode; repeat the receiving of the synchronized data according to the corresponding repeated receiving mode.
  • the consumption server 103 sends data synchronization requests to the queue server 102 in parallel through more than one consumption module; the data synchronization request is used to read in parallel the corresponding data cache queue to be synchronized from the queue server 102 data.
  • the consumption server 103 is further configured to, after successfully receiving the data to be synchronized fed back by the queue server 102, feed back the second feedback information indicating that the data synchronization is completed to the queue server 102.
  • the queue server 102 is further configured to update the data state of the data to be synchronized fed back to the synchronized state according to the second feedback information.
  • the business server includes an order approval server; the data to be synchronized includes order related information; and the consumption server includes an order query server.
  • the service server pushes the data to be synchronized to the queue server, and the queue server determines the queue identifier corresponding to the data to be synchronized after receiving the data to be synchronized.
  • the queue server then caches the data to be synchronized into the data cache queue corresponding to the queue identifier.
  • the consumer server sends a data synchronization request carrying the queue identifier to the queue server.
  • the queue server feeds back data to be synchronized in the data cache queue corresponding to the queue identifier. In this way, when data synchronization is required between the business server and the consumer server, the data to be synchronized can be cached accordingly through the queue server.
  • the consumer server can obtain the data to be synchronized from the queue server according to the queue identifier. In this way, when faced with a large amount of data that needs to be synchronized, the processing pressure of the business server and the consumer server can be greatly relieved, and the flexibility of data synchronization is improved.
  • Each module in the above data synchronization system may be implemented in whole or in part by software, hardware, or a combination thereof.
  • the above modules may be embedded in the hardware form or independent of the processor in the computer device, or may be stored in the memory in the computer device in the form of software so that the processor can call and execute the operations corresponding to the above modules.
  • a computer device is provided, and the computer device can be used as a business server, a queue server, or a consumption server, and its internal structure diagram can be shown in FIG. 4.
  • the computer device includes a processor, memory, network interface, and database connected by a system bus. Among them, the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer-readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in the non-volatile storage medium.
  • the database of the computer device is used to store the data to be synchronized.
  • the network interface of the computer device is used to communicate with external terminals through a network connection.
  • the computer readable instructions are executed by the processor to implement a data synchronization method.
  • FIG. 4 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer equipment to which the solution of the present application is applied.
  • the specific computer equipment may Include more or less components than shown in the figure, or combine certain components, or have a different arrangement of components.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM random access memory
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM double data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM synchronous chain (Synchlink) DRAM
  • RDRAM direct RAM
  • DRAM direct memory bus dynamic RAM
  • RDRAM memory bus dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种数据同步方法，包括：业务服务器向队列服务器推送待同步数据；所述队列服务器确定与所述待同步数据相对应的队列标识；所述队列服务器将所述待同步数据缓存至与所述队列标识相应的数据缓存队列中；消费服务器向所述队列服务器发送数据同步请求；所述数据同步请求携带队列标识；所述队列服务器响应于所述数据同步请求，反馈与所述队列标识相应的数据缓存队列中的待同步数据。

Description

数据同步方法和系统
相关申请的交叉引用
本申请要求于2019年01月04日提交中国专利局，申请号为201910007430.9，申请名称为“数据同步方法和系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及一种数据同步方法和系统。
背景技术
随着网络技术的发展，互联网给人们的日常生活带来了极大的便利。人们可以通过计算机设备在网络上进行交易或数据操作等。这样，常常会产生需要在不同系统间进行数据同步的情况。比如，用户在网络生生成一笔订单交易后后，审核人员可以通过业务系统进行审核。那么就需要将该业务系统中的订单信息同步至另一个提供查询功能的查询系统，以便用户可以随时查看订单信息。
传统的在不同系统间进行数据同步时，通常使用http直连来进行数据同步。然而，发明人意识到，采用http直连的方式进行数据同步，往往在有大量数据需同步的情况下导致同步的双方系统压力都很大，常常出现同步异常，使得数据同步不够灵活的问题。
发明内容
根据本申请公开的各种实施例，提供一种数据同步方法和系统。
一种数据同步方法，包括：
业务服务器向队列服务器推送待同步数据；
所述队列服务器确定与所述待同步数据相对应的队列标识；
所述队列服务器将所述待同步数据缓存至与所述队列标识相应的数据缓存队列中；
消费服务器向所述队列服务器发送数据同步请求；所述数据同步请求携带队列标识；及
所述队列服务器响应于所述数据同步请求，反馈与所述队列标识相应的数据缓存队列中的待同步数据。
一种数据同步系统，所述系统包括业务服务器、队列服务器和消费服务器；
所述业务服务器用于向所述队列服务器推送待同步数据；
所述队列服务器用于确定与所述待同步数据相对应的队列标识；将所述待同步数据缓存至与所述队列标识相应的数据缓存队列中；
所述消费服务器用于向所述队列服务器发送数据同步请求；所述数据同步请求携带队列标识；及
所述队列服务器用于响应于所述数据同步请求，反馈与所述队列标识相应的数据缓存队列中的待同步数据。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为根据一个或多个实施例中数据同步方法的应用场景图；
图2为根据一个或多个实施例中数据同步方法的流程示意图；
图3为另一个实施例中数据同步方法的流程示意图；
图4为根据一个或多个实施例中计算机设备的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据同步方法，可以应用于如图1所示的应用环境中。第一终端110通过网络与业务服务器101进行通信，业务服务器101通过网络与队列服务器102进行通信，队列服务器102与消费服务器103进行通信，消费服务器103与第二终端120进行通信。
业务服务器101通过第一终端110获取待同步数据，业务服务器101将待同步数据推送至队列服务器102。队列服务器102确定与待同步数据相对应的队列标识，并将待同步数据缓存至与所述队列标识相应的数据缓存队列中。消费服务器103向队列服务器102发送携带有队列标识的数据同步请求。 队列服务器102响应于该数据同步请求，反馈与队列标识相应的数据缓存队列中的待同步数据。第二终端120触发针对于消费服务器103的数据操作指令，并从消费服务器103同步的数据中获取相应的数据。
第一终端110和第二终端120可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。业务服务器101、队列服务器102、以及消费服务器103均可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些实施例中，如图2所示，提供了一种数据同步方法，以该方法应用于图1中的数据同步系统为例进行说明，包括以下步骤：
S202，业务服务器向队列服务器推送待同步数据。
业务服务器是用于提供业务服务的服务器。业务服务具体可以是借贷业务、订单生成业务、订单审批业务、或信息推广业务等。队列服务器是用于缓存数据的服务器。队列服务器具体可以是ActiveMQ(消息中间件系统)、Kafka(发布订阅类消息队列)或MSMQ(MicroSoft Message Queuing，微软消息队列)等。待同步数据是需要从一个系统同步至另一个系统的数据。在本实施例中，系统可以通过独立的服务器或服务器集群来实现。
具体地，业务服务器可实时或定时向队列服务器推送当前的待同步数据。队列服务器可以通过网络连接接收业务服务器推送的待同步数据。
举例说明，当业务服务器为订单审批服务器时，订单审批服务器可将预设时间段内产生的所有和订单相关的信息(比如，订单审核状态信息)推送至队列服务器。
在一些实施例中，业务服务器通过多于一个的数据获取模块分别获取不同来源的待同步数据；业务服务器确定与队列服务器对应的通信接口；及业务服务器将所述不同来源的待同步数据，通过所述通信接口推送至队列服务器。
在一些实施例中，队列服务器可提供对外的API接口(Application Programming Interface，应用程序编程接口)。业务服务器可通过调用队列服务器提供的API接口，将待同步数据发送至队列服务器。
在一些实施例中，业务服务器中包括有多个数据获取模块，每个数据获取模块都有唯一的标识，在本实施例中可以称作来源方标识。业务服务器可通过多个数据获取模块获取待同步数据，再将待同步数据推送至队列服务器。
在一些实施例中，业务服务器获取待同步数据后，根据来源方标识确定与来源方标识关联的队列标识。业务服务器可将队列标识添加至待同步数据中，一并推送至队列服务器。
在一些实施例中，终端上运行有与该业务服务器对应的客户端，用户可 在客户端中输入相应的数据，比如，用户可在客户端提供的交易界面中输入交易信息。或者，用户可通过终端打开业务服务器提供的网页界面，用户可在网页界面中输入相应的数据。进而，终端可根据用户输入的数据生成待同步数据。比如，终端可根据用户输入的交易信息，生成订单相关信息。其中，订单相关信息具体可包括当前的时间、订单号、用户标识、订单金额、订单状态等。该订单相关信息就是待同步数据。
在一些实施例中，业务服务器可提供API接口，终端可通过业务服务器提供的API接口和业务服务器通信，工作人员可将待同步数据通过API接口传输至业务服务器。待同步数据，比如，关于某种产品的促销广告信息等。
S204，队列服务器确定与待同步数据相对应的队列标识。
具体地，队列服务器获取待同步数据后，可确定该待同步数据的来源方，根据来源方确定相应的队列标识。在一些实施例中，队列服务器中可存储有来源方标识和队列标识相对应的关联关系表。比如，假如A来源方和a队列相对应，那么队列服务器就将从A来源方获得的待同步数据，存储至a队列所对应的数据缓存队列中。
在一些实施例中，业务服务器获取待同步数据后，可将相应的队列标识添加至待同步数据中。队列服务器在获取待同步数据后，可从中提取出队列标识。
S206，队列服务器将待同步数据缓存至与队列标识相应的数据缓存队列中。
缓存用于暂时存储数据。数据缓存队列是用于暂时存储数据的队列。具体地，队列服务器可将接收的待同步数据，按相应的队列标识，将待同步数据缓存至队列标识所标识的数据缓存队列。
在一些实施例中，队列服务器可确定待同步数据的获取时间，按照时间顺序，依次将待同步数据缓存至与队列标识相应的数据缓存队列的队尾。
S208，消费服务器向队列服务器发送数据同步请求；数据同步请求携带队列标识。
消费服务器是用于接收待同步数据的服务器。消费服务器具体可以是数据分析服务器、警报服务器、或提供消息群发的服务器等。
具体地，消费服务器可根据自身负载状态向队列服务器发送携带有队列标识的数据同步请求。消费服务器可确定当期的负载状态，当消费服务器处于低负载状态时，可向队列服务器发起数据同步请求。或者，消费服务器也可按预设时间间隔，自动向队列服务器发送数据同步请求。
在一些实施例中，消费服务器包括多个消费模块，各个消费模块可根据自身负载状态、或定时从队列服务器中并行读取相应的数据缓存队列中的待 同步数据。
在一些实施例中，每个消费模块都有唯一的标识，在这里可以称作目标方标识。消费服务器中可存储有目标方标识和队列标识相对应的关联关系表。比如，假如A’目标方和a队列相对应，那么消费服务器发送的数据同步请求中则携带a队列的队列标识。
S210，队列服务器响应于数据同步请求，反馈与队列标识相应的数据缓存队列中的待同步数据。
具体地，队列服务器在接收到来自于消费服务器的数据同步请求后，根据该数据同步请求中所携带的队列标识，将与该队列标识相应的数据缓存队列中的待同步数据反馈至消费服务器。
在一些实施例中，消费服务器包括多个消费模块，各消费模块可从队列服务器中并行读取相对应的数据缓存队列中的待同步数据。消费服务器也通过调用队列服务器提供的API接口，从队列服务器的数据缓存队列读取待同步数据。
在一些实施例中，消费服务器成功同步了待同步数据后，可将同步的数据存储至本地的存储介质中。消费服务器可接收来自于终端的数据操作指令，消费服务器根据接收的数据操作指令，查找相应的数据，并响应相应的操作。
举例说明，当待同步数据包括订单相关信息，消费服务器包括订单查询服务器时，终端可运行有消费服务器对应的客户端，用户可通过客户端触发查询某订单的查询指令，则消费服务器响应于该查询指令，查询相应的订单相关信息并反馈至终端，终端按预设规则展示查询到的订单相关信息。
或者，当待同步数据包括推广信息，消费服务器包括提供消息群发的服务器时，消费服务器可接收来自于终端的信息发送指令，则响应于该信息发送指令，向相应的用户账号发送指定的推广信息(也就是消费服务器从数据缓存队列中读取的推广信息)。
在一些实施例中，该数据同步方法还包括状态更新的步骤，该步骤具体包括：当消费服务器成功接收队列服务器反馈的待同步数据后，向队列服务器反馈表示完成数据同步的第二反馈信息；队列服务器根据第二反馈信息，将反馈的待同步数据的数据状态更新为已同步状态。
具体地，当消费服务器成功同步了数据缓存队列中的待同步数据后，消费服务器会向队列服务器反馈表示完成数据同步的第二反馈信息。队列服务器在接收到第二反馈信息后，可将已将完成同步的数据的数据状态更新为已同步状态，后续消费服务器读取时不再重复读取。
在一些实施例中，业务服务器包括订单审批服务器；待同步数据包括订单相关信息；消费服务器包括订单查询服务器。
具体地，在具体应用场景中，业务服务器具体可以是订单审批服务器，消费服务器具体可以是提供订单查询服务的订单查询服务器。待同步数据具体可以是订单相关信息。当关于订单的审批进度有更新时，订单审批服务器可将相应的订单相关信息推送至队列服务器，队列服务器确定与该订单相关信息对应的队列标识，将订单相关信息缓存至与队列标识相应的数据缓存队列中。查询服务器则可按队列标识从相应的数据缓存队列中读取订单相关信息，用于提供客户端应用的查询功能。
上述数据同步方法，业务服务器向队列服务器推送待同步数据，队列服务器接收待同步数据后确定与待同步数据相对应的队列标识。队列服务器再将待同步数据缓存至与队列标识相应的数据缓存队列中。消费服务器向队列服务器发送携带有队列标识的数据同步请求，队列服务器响应于该数据同步请求，反馈与队列标识相应的数据缓存队列中的待同步数据。这样，当业务服务器和消费服务器之间需要进行数据同步时，可通过队列服务器将待同步数据进行相应的缓存。而消费服务器在需要时，就可根据队列标识，从队列服务器中获取待同步数据。这样，在面对大量数据需同步的情况时，可大大缓解业务服务器和消费服务器的处理压力，提高了数据同步的灵活性。
在一些实施例中，步骤S202，也就是业务服务器向队列服务器推送待同步数据的步骤具体包括：业务服务器获取待同步数据；业务服务器确定与待同步数据对应的来源方标识；业务服务器确定与来源方标识相应的优先级级别；业务服务器按相应的优先级级别的顺序，依次向队列服务器推送待同步数据。
来源方标识用于唯一标识待同步数据的来源方，具体可以是字母、数字、汉字或字符串中的至少一种。优先级级别是优先级的级别，比如高优先级、中优先级和低优先级等。
具体地，业务服务器中包括有多个数据获取模块，每个数据获取模块都有唯一的标识，在本实施例中可以称作来源方标识。业务服务器可通过多个数据获取模块获取待同步数据，其中，每个获取模块可分别获取不同类别的数据。比如，A获取模块可获取订单相关信息、B获取模块可获取业务推广信息、C获取模块可获取提示预警信息等。
在一些实施例中，终端上运行有与该业务服务器对应的客户端，用户可在客户端中输入相应的数据。或者，用户可通过终端打开业务服务器提供的网页界面，用户可在网页界面中输入相应的数据。进而，终端可根据用户输入的数据生成待同步数据。终端可将生成的待同步数据发送至业务服务器的预设获取模块。
在一些实施例中，业务服务器可提供API接口，终端可通过业务服务器 提供的API接口和业务服务器通信，工作人员可将待同步数据通过API接口传输至业务服务器的预设获取模块。
进一步地，业务服务器在获取到待同步数据后，可确定待同步数据具体是哪个获取模块获取的，进而确定相应的来源方标识。在一些实施例中，业务服务器可预先设置不同的获取模块对应不同的优先级级别，以此来设置不同类别信息对应的优先级。
在一些实施例中，业务服务器在确定来源方标识相应的优先级级别后，按优先级级别的顺序，依次向队列服务器推送待同步数据。比如，假如A获取模块对应的优先级级别为高优先级，那么相应的，A获取模块获取的待同步数据将会被优先推送至队列服务器。
在一些实施例中，当业务服务器中存在大量待推送的待同步数据时，业务服务器可按照各待同步数据产生的时间的先后顺序进行相应的推送。当待同步数据产生的时间相同时，则对于同时产生的待同步数据，业务服务器按各待同步数据所对应的来源方标识的优先级级别的顺序，依次向队列服务器推送待同步数据。
上述实施例中，业务服务器通过待同步数据的来源方标识所对应的优先级级别的顺序，依次向队列服务器推送待同步数据，这样，在存在大量待推送的待同步数据时，可优先推送重要的待同步数据，避免了不重要的待同步数据占用有限的资源，可实现待同步数据的灵活推送。
在一些实施例中，该数据同步方法还包括重复推送待同步数据的步骤，该步骤具体包括：当业务服务器向队列服务器推送待同步数据后，业务服务器检测队列服务器反馈的第一反馈信息；当在预设时段内未检测到队列服务器反馈的第一反馈信息时，业务服务器确定与待同步数据所对应的来源方标识相对应的优先级级别；业务服务器确定与优先级级别相应的重复推送方式；业务服务器按相应的重复推送方式对待同步数据进行重复推送。
具体地，当业务服务器向队列服务器推送待同步数据后，当队列服务器成功接收待同步数据后，队列服务器会向业务服务器反馈表示成功接收的第一反馈信息。当业务服务器在预设时段内未接收到队列服务器反馈的第一反馈信息时，则表示队列服务器接收数据失败。队列服务器接收待同步数据失败可能是因为网络故障、业务服务器发送数据失败、或队列服务器故障等原因。
进一步地，当业务服务器在预设时段内未接收到队列服务器反馈的第一反馈信息时，业务服务器可确定与待同步数据所对应的来源方标识相对应的优先级级别，并确定与优先级级别相应的重复推送方式。在本实施例中，业务服务器可预先设置不同的优先级级别，对应不同的重复推送方式。
举例说明，业务服务器可包括多个数据获取模块，比如包括数据获取模块A、数据获取模块B和数据获取模块C。其中，数据获取模块A对应高优先级的数据推送级别；数据获取模块B对应中优先级的数据推送级别；数据获取模块C对应低优先级的数据推送级别。
当业务服务器在预设时段内未接收到队列服务器反馈的第一反馈信息时，业务服务器会按以下方式执行重发步骤：对于来源于低优先级的数据获取模块C的待同步数据，推送失败后就不再推送；对于来源于中优先级的数据获取模块B的待同步数据，推送失败后会重新推送，直到失败次数达预设次数(比如，三次)后不再推送；对于来源于高优先级的数据获取模块A的待同步数据，推送失败后会重新推送，若推送失败次数达预设次数(比如，三次)时，则将该待同步数据存储至业务服务器的数据库中，待后续查询。
上述实施例中，当业务服务器向队列服务器推送待同步数据后，在预设时段内未检测到队列服务器反馈的第一反馈信息时，则可判定当前的数据推送失败。业务服务器可按待同步数据的来源方标识相对应的优先级级别进行相应的数据重复推送。这样，对于推送失败的数据进行重复推送，可以避免待同步数据在同步过程中的遗漏。依据待同步数据的来源方对应的优先级级别采取不同的重复推送方式进行待同步数据的重复推送，则大大加强了数据同步的灵活性。
在一些实施例中，步骤208，也就是消费服务器向队列服务器发送数据同步请求的步骤具体包括：消费服务器获取数据同步指令；消费服务器确定与数据同步指令相对应的目标方标识；消费服务器根据目标方标识确定相应的队列标识；消费服务器根据队列标识生成数据同步请求，并向队列服务器发送数据同步请求。
在一些实施例中，消费服务器可接收来自于终端触发的数据同步指令。或者消费服务器可通过定时装置定时触发数据同步指令并获取数据同步指令。消费服务器也可实时监测当前自身的负载状态，当负载状态满足预设负载条件时，则触发数据同步指令。其中，预设负载条件具体可以是负载量小于预设阈值等。
在一些实施例中，消费服务器可包括多个消费模块，每个消费模块都有唯一的标识，在这里可以称作目标方标识。当消费服务器获取数据同步指令后，可确定具体是哪个消费模块所触发的数据同步指令，也就是确定相应的目标方标识。
在一些实施例中，消费服务器可预先存储有目标方标识和队列标识相对应的关联关系表。消费服务器在确定与目标方标识相应的队列标识后，可根据队列标识生成数据同步请求。比如，假如A’目标方和a队列相对应，那么 消费服务器发送的数据同步请求中则携带a队列的队列标识。
在一些实施例中，消费服务器可根据自身负载状态、或定时通过各消费模块从队列服务器中并行读取相应的数据缓存队列中的待同步数据，以完成数据的同步。
上述实施例中，消费服务器通过与数据同步指令相应的目标方标识所对应的队列标识，从队列服务器中读取相应数据缓存队列中缓存的待同步数据。这样，通过队列标识进行有序存储，再通过队列标识进行有序读取，可以大大提高数据同步的效率。
在一些实施例中，该数据同步方法还包括重复接收的步骤，该步骤具体包括：当消费服务器未接收到队列服务器反馈的待同步数据时，消费服务器确定与数据同步请求所对应的目标方标识相应的优先级级别；消费服务器确定与优先级级别相对应的重复接收方式；消费服务器按相应的重复接收方式对待同步数据进行重复接收。
具体地，当网络故障、队列服务器故障或消费服务器的消费模块故障时，消费服务器接收队列服务器反馈的待同步数据可能会出现异常。当消费服务器未接收到队列服务器反馈的待同步数据时，消费服务器可确定与数据同步请求所对应的目标方标识相应的优先级级别，并确定相应的重复接收方式。在本实施例中，消费服务器可预先设置不同的优先级级别，对应不同的重复接收方式。
举例说明，消费服务器可包括多个消费模块，比如包括消费模块A’、消费模块B’和消费模块C’。其中，消费模块A’对应高优先级的数据读取级别；消费模块B’对应中优先级的数据读取级别；消费模块C’对应低优先级的数据读取级别。
消费服务器中的消费模块在从队列服务器中读取待同步数据失败后，消费服务器会按以下方式执行重复接收的步骤：对于低优先级的消费模块C’读取待同步数据，读取失败后就不再读取；对于中优先级的消费模块B’读取待同步数据，读取失败后会重新读取，直到失败次数达到预设次数(比如，三次)后不再读取；对于高优先级的消费模块A’读取待同步数据，读取失败后会重新读取，若读取失败达次数达预设次数(比如三次)后，则将需读取的待同步数据的标识或队列标识等信息存储至消费服务器的数据库中，待后续重新读取。
上述实施例中，当消费服务器未接收到队列服务器反馈的待同步数据时，则可判定数据读取失败。消费服务器可按数据同步请求所对应的目标方标识相应的优先级级别进行相对应的数据重复读取。这样，对于读取失败的数据进行重复读取，可以避免待同步数据在同步过程中的遗漏。依据待同步数据 的目标方对应的优先级级别采取不同的重复接收方式进行待同步数据的重复读取，则大大加强了数据同步的灵活性。
进一步地，业务服务器可以有多个，相应的，消费服务器也可以有多个。针对这种情况，队列服务器可设置二级队列标识用以分类区分。比如，相关联的业务服务器和消费服务器可以与数据缓存队列的一级标签相对应；具体的数据获取模块和相关联的消费模块则可以与数据缓存队列的二级标签相对应。
举例说明，A业务服务器和A’消费服务器相关联，也就是A业务服务器的待同步数据需传输至A’消费服务器。那么所有的从A业务服务器传输至A’消费服务器的待同步数据都缓存至一级标签为a的数据缓存队列集群。进一步的，当A业务服务器中的数据获取模块A1获取的待同步数据传输至A’消费服务器中的消费模块A1’时，队列服务器则将待同步数据缓存至a数据缓存队列集群中的a1数据缓存队列。
在一个具体的实施例中，如图3所示，该数据同步方法具体包括以下步骤：
S302，业务服务器获取待同步数据。
S304，业务服务器确定与待同步数据对应的来源方标识。
S306，业务服务器确定与来源方标识相应的优先级级别。
S308，业务服务器按相应的优先级级别的顺序，依次向队列服务器推送待同步数据。
S310，当业务服务器向队列服务器推送待同步数据后，业务服务器检测队列服务器反馈的第一反馈信息。
S312，当在预设时段内未检测到队列服务器反馈的第一反馈信息时，业务服务器确定与待同步数据所对应的来源方标识相对应的优先级级别。
S314，业务服务器确定与优先级级别相应的重复推送方式。
S316，业务服务器按相应的重复推送方式对待同步数据进行重复推送。
S318，队列服务器确定与待同步数据相对应的队列标识。
S320，队列服务器将待同步数据缓存至与队列标识相应的数据缓存队列中。
S322，消费服务器获取数据同步指令。
S324，消费服务器确定与数据同步指令相对应的目标方标识。
S326，消费服务器根据目标方标识确定相应的队列标识。
S328，消费服务器根据队列标识生成数据同步请求，并向队列服务器发送数据同步请求。
S330，队列服务器响应于数据同步请求，反馈与队列标识相应的数据缓 存队列中的待同步数据。
S332，当消费服务器未接收到队列服务器反馈的待同步数据时，消费服务器确定与数据同步请求所对应的目标方标识相应的优先级级别。
S334，消费服务器确定与优先级级别相对应的重复接收方式。
S336，消费服务器按相应的重复接收方式对待同步数据进行重复接收。
S338，当消费服务器成功接收队列服务器反馈的待同步数据后，向队列服务器反馈表示完成数据同步的第二反馈信息。
S340，队列服务器根据第二反馈信息，将反馈的待同步数据的数据状态更新为已同步状态。
上述数据同步方法，业务服务器向队列服务器推送待同步数据，队列服务器接收待同步数据后确定与待同步数据相对应的队列标识。队列服务器再将待同步数据缓存至与队列标识相应的数据缓存队列中。消费服务器向队列服务器发送携带有队列标识的数据同步请求，队列服务器响应于该数据同步请求，反馈与队列标识相应的数据缓存队列中的待同步数据。这样，当业务服务器和消费服务器之间需要进行数据同步时，可通过队列服务器将待同步数据进行相应的缓存。而消费服务器在需要时，就可根据队列标识，从队列服务器中获取待同步数据。这样，在面对大量数据需同步的情况时，可大大缓解业务服务器和消费服务器的处理压力，提高了数据同步的灵活性。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中，如图1所示，提供了一种数据同步系统100，系统包括业务服务器101、队列服务器102和消费服务器103。
业务服务器101用于向队列服务器推送待同步数据。
队列服务器102用于确定与待同步数据相对应的队列标识；将待同步数据缓存至与队列标识相应的数据缓存队列中。
消费服务器103用于向队列服务器发送数据同步请求；数据同步请求携带队列标识。
队列服务器102还用于响应于数据同步请求，反馈与队列标识相应的数 据缓存队列中的待同步数据。
在一些实施例中，业务服务器101还用于通过多于一个的数据获取模块分别获取不同来源的待同步数据；确定与队列服务器对应的通信接口；及将不同来源的待同步数据，通过通信接口推送至队列服务器。
在一些实施例中，业务服务器101还用于获取待同步数据，确定与待同步数据对应的来源方标识，确定与来源方标识相应的优先级级别，按相应的优先级级别的顺序，依次向队列服务器推送待同步数据。
在一些实施例中，业务服务器101还用于根据所述来源方标识，确定与来源方标识关联的队列标识；将与来源方标识对应的待同步数据和队列标识进行关联处理，并将队列标识添加至相关联的待同步数据中；及按相应的优先级级别的顺序，依次向队列服务器推送包括有相关联的队列标识的待同步数据。
在一些实施例中，业务服务器101还用于当向队列服务器102推送待同步数据后，检测队列服务器102反馈的第一反馈信息；当在预设时段内未检测到队列服务器102反馈的第一反馈信息时，确定与待同步数据所对应的来源方标识相对应的优先级级别；确定与优先级级别相应的重复推送方式；按相应的重复推送方式对待同步数据进行重复推送。
在一些实施例中，队列服务器102还用于确定接收待同步数据的时间；及按照时间的先后顺序，依次将待同步数据缓存至与队列标识相应的数据缓存队列的队尾。
在一些实施例中，消费服务器103还用于获取数据同步指令，确定与数据同步指令相对应的目标方标识，根据目标方标识确定相应的队列标识，根据队列标识生成数据同步请求，并向队列服务器发送数据同步请求。
在一些实施例中，消费服务器103还用于当未接收到队列服务器102反馈的待同步数据时，确定与数据同步请求所对应的目标方标识相应的优先级级别；确定与优先级级别相对应的重复接收方式；按相应的重复接收方式对待同步数据进行重复接收。
在一些实施例中，消费服务器103通过多于一个的消费模块分别向队列服务器102并行发送数据同步请求；数据同步请求用于从队列服务器102中并行读取相对应的数据缓存队列中的待同步数据。
在一些实施例中，消费服务器103还用于当成功接收队列服务器102反馈的待同步数据后，向队列服务器102反馈表示完成数据同步的第二反馈信息。队列服务器102还用于根据第二反馈信息，将反馈的待同步数据的数据状态更新为已同步状态。
在一些实施例中，业务服务器包括订单审批服务器；待同步数据包括订 单相关信息；消费服务器包括订单查询服务器。
上述数据同步系统，业务服务器向队列服务器推送待同步数据，队列服务器接收待同步数据后确定与待同步数据相对应的队列标识。队列服务器再将待同步数据缓存至与队列标识相应的数据缓存队列中。消费服务器向队列服务器发送携带有队列标识的数据同步请求，队列服务器响应于该数据同步请求，反馈与队列标识相应的数据缓存队列中的待同步数据。这样，当业务服务器和消费服务器之间需要进行数据同步时，可通过队列服务器将待同步数据进行相应的缓存。而消费服务器在需要时，就可根据队列标识，从队列服务器中获取待同步数据。这样，在面对大量数据需同步的情况时，可大大缓解业务服务器和消费服务器的处理压力，提高了数据同步的灵活性。
关于数据同步系统的具体限定可以参见上文中对于数据同步方法的限定，在此不再赘述。上述数据同步系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以用作业务服务器、队列服务器或消费服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储待同步数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种数据同步方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括 非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种数据同步方法，包括：
    业务服务器向队列服务器推送待同步数据；
    所述队列服务器确定与所述待同步数据相对应的队列标识；
    所述队列服务器将所述待同步数据缓存至与所述队列标识相应的数据缓存队列中；
    消费服务器向所述队列服务器发送数据同步请求；所述数据同步请求携带队列标识；及
    所述队列服务器响应于所述数据同步请求，反馈与所述队列标识相应的数据缓存队列中的待同步数据。
  2. 根据权利要求1所述的方法，其特征在于，所述业务服务器向队列服务器推送待同步数据，包括：
    业务服务器通过多于一个的数据获取模块分别获取不同来源的待同步数据；
    所述业务服务器确定与队列服务器对应的通信接口；及
    所述业务服务器将所述不同来源的待同步数据，通过所述通信接口推送至所述队列服务器。
  3. 根据权利要求1所述的方法，其特征在于，所述业务服务器向队列服务器推送待同步数据包括：
    所述业务服务器获取待同步数据；
    所述业务服务器确定与所述待同步数据对应的来源方标识；
    所述业务服务器确定与所述来源方标识相应的优先级级别；及
    所述业务服务器按相应的优先级级别的顺序，依次向所述队列服务器推送所述待同步数据。
  4. 根据权利要求3所述的方法，其特征在于，还包括：
    所述业务服务器根据所述来源方标识，确定与所述来源方标识关联的队列标识；及
    所述业务服务器将与所述来源方标识对应的待同步数据和队列标识进行关联处理，并将所述队列标识添加至相关联的待同步数据中；
    所述业务服务器按相应的优先级级别的顺序，依次向所述队列服务器推送所述待同步数据，包括：
    所述业务服务器按相应的优先级级别的顺序，依次向所述队列服务器推送包括有相关联的队列标识的待同步数据。
  5. 根据权利要求3所述的方法，其特征在于，还包括：
    当所述业务服务器向所述队列服务器推送待同步数据后，所述业务服务 器检测所述队列服务器反馈的第一反馈信息；
    当在预设时段内未检测到所述队列服务器反馈的第一反馈信息时，所述业务服务器确定与所述待同步数据所对应的来源方标识相对应的优先级级别；
    所述业务服务器确定与所述优先级级别相应的重复推送方式；及
    所述业务服务器按相应的重复推送方式对所述待同步数据进行重复推送。
  6. 根据权利要求1所述的方法，其特征在于，所述队列服务器将所述待同步数据缓存至与所述队列标识相应的数据缓存队列中，包括：
    所述队列服务器确定接收所述待同步数据的时间；及
    所述队列服务器按照所述时间的先后顺序，依次将所述待同步数据缓存至与所述队列标识相应的数据缓存队列的队尾。
  7. 根据权利要求1所述的方法，其特征在于，所述消费服务器向所述队列服务器发送数据同步请求包括：
    所述消费服务器获取数据同步指令；
    所述消费服务器确定与所述数据同步指令相对应的目标方标识；
    所述消费服务器根据所述目标方标识确定相应的队列标识；及
    所述消费服务器根据所述队列标识生成数据同步请求，并向所述队列服务器发送所述数据同步请求。
  8. 根据权利要求7所述的方法，其特征在于，还包括：
    当所述消费服务器未接收到所述队列服务器反馈的待同步数据时，所述消费服务器确定与所述数据同步请求所对应的目标方标识相应的优先级级别；
    所述消费服务器确定与所述优先级级别相对应的重复接收方式；及
    所述消费服务器按相应的重复接收方式对所述待同步数据进行重复接收。
  9. 根据权利要求1所述的方法，其特征在于，所述消费服务器向所述队列服务器发送数据同步请求，包括：
    所述消费服务器通过多于一个的消费模块分别向所述队列服务器并行发送数据同步请求；所述数据同步请求用于从所述队列服务器中并行读取相对应的数据缓存队列中的待同步数据。
  10. 根据权利要求1至9任一项所述的方法，其特征在于，还包括：
    当所述消费服务器成功接收所述队列服务器反馈的待同步数据后，向所述队列服务器反馈表示完成数据同步的第二反馈信息；及
    所述队列服务器根据所述第二反馈信息，将反馈的所述待同步数据的数 据状态更新为已同步状态。
  11. 根据权利要求10所述的方法，其特征在于，所述业务服务器包括订单审批服务器；所述待同步数据包括订单相关信息；所述消费服务器包括订单查询服务器。
  12. 一种数据同步系统，其特征在于，所述系统包括业务服务器、队列服务器和消费服务器；
    所述业务服务器用于向所述队列服务器推送待同步数据；
    所述队列服务器用于确定与所述待同步数据相对应的队列标识；将所述待同步数据缓存至与所述队列标识相应的数据缓存队列中；
    所述消费服务器用于向所述队列服务器发送数据同步请求；所述数据同步请求携带队列标识；及
    所述队列服务器用于响应于所述数据同步请求，反馈与所述队列标识相应的数据缓存队列中的待同步数据。
  13. 根据权利要求12所述的系统，其特征在于，所述业务服务器还用于通过多于一个的数据获取模块分别获取不同来源的待同步数据；确定与队列服务器对应的通信接口；及将所述不同来源的待同步数据，通过所述通信接口推送至所述队列服务器。
  14. 根据权利要求12所述的系统，其特征在于，所述业务服务器还用于获取待同步数据，确定与所述待同步数据对应的来源方标识，确定与所述来源方标识相应的优先级级别，及按相应的优先级级别的顺序，依次向所述队列服务器推送所述待同步数据。
  15. 根据权利要求14所述的系统，其特征在于，所述业务服务器还用于根据所述来源方标识，确定与所述来源方标识关联的队列标识；将与所述来源方标识对应的待同步数据和队列标识进行关联处理，并将所述队列标识添加至相关联的待同步数据中；及按相应的优先级级别的顺序，依次向所述队列服务器推送包括有相关联的队列标识的待同步数据。
  16. 根据权利要求14所述的系统，其特征在于，所述业务服务器还用于当向所述队列服务器推送待同步数据后，检测所述队列服务器反馈的第一反馈信息；当在预设时段内未检测到所述队列服务器反馈的第一反馈信息时，确定与所述待同步数据所对应的来源方标识相对应的优先级级别；确定与所述优先级级别相应的重复推送方式；及按相应的重复推送方式对所述待同步数据进行重复推送。
  17. 根据权利要求12所述的系统，其特征在于，所述队列服务器还用于确定接收所述待同步数据的时间；及按照所述时间的先后顺序，依次将所述 待同步数据缓存至与所述队列标识相应的数据缓存队列的队尾。
  18. 根据权利要求12所述的系统，其特征在于，所述消费服务器还用于获取数据同步指令，确定与所述数据同步指令相对应的目标方标识，根据所述目标方标识确定相应的队列标识，及根据所述队列标识生成数据同步请求，并向所述队列服务器发送所述数据同步请求。
  19. 根据权利要求18所述的系统，其特征在于，所述消费服务器还用于当未接收到所述队列服务器反馈的待同步数据时，确定与所述数据同步请求所对应的目标方标识相应的优先级级别；确定与所述优先级级别相对应的重复接收方式；及按相应的重复接收方式对所述待同步数据进行重复接收。
  20. 根据权利要求12-19任一项所述的系统，其特征在于，所述消费服务器还用于当成功接收所述队列服务器反馈的待同步数据后，向所述队列服务器反馈表示完成数据同步的第二反馈信息；及所述队列服务器还用于根据所述第二反馈信息，将反馈的所述待同步数据的数据状态更新为已同步状态。
PCT/CN2019/122302 2019-01-04 2019-12-02 数据同步方法和系统 Ceased WO2020140661A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910007430.9 2019-01-04
CN201910007430.9A CN109788053B (zh) 2019-01-04 2019-01-04 数据同步方法和系统

Publications (1)

Publication Number Publication Date
WO2020140661A1 true WO2020140661A1 (zh) 2020-07-09

Family

ID=66500044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/122302 Ceased WO2020140661A1 (zh) 2019-01-04 2019-12-02 数据同步方法和系统

Country Status (2)

Country Link
CN (1) CN109788053B (zh)
WO (1) WO2020140661A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052104A (zh) * 2020-09-01 2020-12-08 掌阅科技股份有限公司 基于多机房实现的消息队列的管理方法及电子设备
CN112068972A (zh) * 2020-09-01 2020-12-11 掌阅科技股份有限公司 基于多机房实现的消息队列的消费方法及电子设备
CN112181680A (zh) * 2020-09-15 2021-01-05 的卢技术有限公司 一种基于Kafka的优先队列的实现方法
CN112187916A (zh) * 2020-09-27 2021-01-05 中国银联股份有限公司 一种跨系统的数据同步方法与装置
CN112579704A (zh) * 2020-12-24 2021-03-30 深圳市科力锐科技有限公司 数据反向同步方法、装置、系统、镜像服务器和存储介质
CN112596865A (zh) * 2020-12-22 2021-04-02 航天信息股份有限公司企业服务分公司 基于工作流事务推送待办消息的系统
CN112650814A (zh) * 2020-12-30 2021-04-13 平安壹钱包电子商务有限公司 基于消息中间件的数据存储方法、装置、设备及存储介质
CN113760980A (zh) * 2020-11-30 2021-12-07 北京京东乾石科技有限公司 一种数据缓存方法、数据提供端及数据使用端
CN114051036A (zh) * 2021-09-23 2022-02-15 通号城市轨道交通技术有限公司 轨道交通信号系统数据同步方法、装置、设备及存储介质
CN114185896A (zh) * 2021-12-14 2022-03-15 中国平安财产保险股份有限公司 数据处理方法、装置、电子设备及存储介质
CN114745571A (zh) * 2022-04-15 2022-07-12 网易（杭州）网络有限公司 直播状态信息同步方法、装置、电子设备和可读存储介质
CN114745432A (zh) * 2022-04-18 2022-07-12 北京京东拓先科技有限公司 数据传输方法和装置
CN115017233A (zh) * 2022-06-17 2022-09-06 上海明胜品智人工智能科技有限公司 一种数据同步方法、装置、电子设备及介质
CN116049209A (zh) * 2023-02-02 2023-05-02 西南科技大学 工业互联网分布式数据同步方法
CN116155831A (zh) * 2022-12-28 2023-05-23 河南辉煌科技股份有限公司 一种用于铁路生产管理系统的数据传输方法和系统
CN116319579A (zh) * 2022-09-05 2023-06-23 中国电信股份有限公司 一种业务数据的分流方法、装置和一种业务系统
CN116521622A (zh) * 2023-06-30 2023-08-01 中邮消费金融有限公司 一种基于数据快照自动化管理数据的方法及系统
CN116628087A (zh) * 2023-05-19 2023-08-22 中国工商银行股份有限公司 云端同步客户端数据的方法、装置和计算机设备
CN118916421A (zh) * 2024-07-11 2024-11-08 苏州慧工云信息科技有限公司 数据同步方法、系统、电子设备及存储介质
CN119127995A (zh) * 2024-11-08 2024-12-13 北京饼干科技有限公司 企业消费信息处理方法及装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788053B (zh) * 2019-01-04 2022-04-29 深圳壹账通智能科技有限公司 数据同步方法和系统
CN110795505A (zh) * 2019-10-23 2020-02-14 北京仿真中心 一种用户数据跨域同步分发系统以及方法
CN110781373B (zh) * 2019-10-29 2022-09-06 北京字节跳动网络技术有限公司 榜单更新方法、装置、可读介质和电子设备
CN112839067B (zh) * 2019-11-22 2022-07-22 腾讯科技（深圳）有限公司 一种数据同步方法及装置
CN112989887B (zh) * 2019-12-16 2024-06-11 深圳云天励飞技术有限公司 一种档案合并方法、装置及电子设备
CN111371900B (zh) * 2020-03-13 2022-07-12 北京奇艺世纪科技有限公司 一种监测同步链路健康状态的方法及系统
CN111581244B (zh) * 2020-05-14 2023-04-25 厦门熵基科技有限公司 一种异构系统业务交易数据有序同步方法、系统及设备
CN111651522B (zh) * 2020-05-27 2023-05-19 泰康保险集团股份有限公司 一种数据同步方法及装置
CN112035464B (zh) * 2020-07-22 2024-03-15 武汉达梦数据库股份有限公司 一种基于日志解析的数据同步的过滤方法和同步装置
CN111897828B (zh) * 2020-07-31 2024-07-19 广州视源电子科技股份有限公司 数据批处理实现方法、装置、设备及存储介质
CN111813868B (zh) * 2020-08-13 2023-11-10 中国工商银行股份有限公司 数据同步方法及装置
CN112015553A (zh) * 2020-08-27 2020-12-01 深圳壹账通智能科技有限公司 基于机器学习模型的数据处理方法、装置、设备和介质
CN112506890B (zh) * 2020-09-21 2024-08-30 北京思特奇信息技术股份有限公司 一种批量迁转用户资费的方法及装置
CN112818054B (zh) * 2020-10-15 2022-05-06 广州南天电脑系统有限公司 数据同步方法、装置、计算机设备和存储介质
CN112612799B (zh) * 2020-12-08 2022-10-18 福建天泉教育科技有限公司 一种数据同步方法及终端
CN112416633A (zh) * 2020-12-18 2021-02-26 世纪恒通科技股份有限公司 一种向外部系统推送数据并实现数据同步的方法和系统
CN113064766A (zh) * 2021-05-07 2021-07-02 数字广东网络建设有限公司 数据备份方法、装置、设备及存储介质
CN113448725A (zh) * 2021-05-27 2021-09-28 深圳震有科技股份有限公司 一种数据推送的方法、装置、终端及存储介质
CN113242313B (zh) * 2021-05-28 2023-01-20 北京达佳互联信息技术有限公司 数据同步方法、系统、装置、服务器及存储介质
CN113568570B (zh) * 2021-06-22 2024-04-12 阿里巴巴创新公司 数据处理方法及装置
CN113434525B (zh) * 2021-06-24 2023-06-09 青岛海尔科技有限公司 缓存数据的更新方法和装置、存储介质及电子装置
CN113419875B (zh) * 2021-06-29 2025-06-03 北京小米移动软件有限公司 数据扫描方法及装置、电子设备、存储介质
CN113505146B (zh) * 2021-07-26 2025-10-21 努比亚技术有限公司 一种电子价签数据传输的方法、终端及存储介质
CN114138895B (zh) * 2021-11-04 2025-07-25 金蝶云科技有限公司 多数据源的数据同步方法、装置、计算机设备和存储介质
CN114116889B (zh) * 2021-11-04 2025-07-29 金蝶云科技有限公司 物料数据的同步方法、装置、计算机设备和存储介质
CN115080311B (zh) * 2022-07-01 2023-01-24 深圳美克拉网络技术有限公司 一种大数据的信息化远程控制方法及装置
CN115964438A (zh) * 2022-11-25 2023-04-14 上海浦东发展银行股份有限公司 基于NoSql分布式数据统计传输方法及系统
CN116186154A (zh) * 2022-12-27 2023-05-30 企查查科技有限公司 数据同步方法及装置
CN116340432B (zh) * 2023-05-29 2023-08-04 武汉华瑞测智能技术有限公司 基于电力数据的数据库同步方法、设备及介质
CN119441114A (zh) * 2023-08-07 2025-02-14 华为技术有限公司 一种信息同步方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040153483A1 (en) * 2003-01-21 2004-08-05 Red Hat, Inc. Mail system synchronization
CN106204000A (zh) * 2016-07-05 2016-12-07 康存乐付保数据科技（上海）有限公司 一种服务消费支付信息处理方法及系统
CN107197017A (zh) * 2017-05-23 2017-09-22 努比亚技术有限公司 一种基于消费队列的消费方法、终端及计算机可读存储介质
CN108038767A (zh) * 2017-12-26 2018-05-15 广州供电局有限公司 基于消息队列的电商订单异步分发系统及方法
CN109788053A (zh) * 2019-01-04 2019-05-21 深圳壹账通智能科技有限公司 数据同步方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105610886B (zh) * 2014-11-25 2020-04-03 腾讯科技（深圳）有限公司 信息推送的控制方法及信息推送平台
CN108023908B (zh) * 2016-10-31 2020-04-24 腾讯科技（深圳）有限公司 数据更新方法、装置及系统
US10540369B2 (en) * 2016-12-19 2020-01-21 Salesforce.Com, Inc. Org sync suspend and resume data sync

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040153483A1 (en) * 2003-01-21 2004-08-05 Red Hat, Inc. Mail system synchronization
CN106204000A (zh) * 2016-07-05 2016-12-07 康存乐付保数据科技（上海）有限公司 一种服务消费支付信息处理方法及系统
CN107197017A (zh) * 2017-05-23 2017-09-22 努比亚技术有限公司 一种基于消费队列的消费方法、终端及计算机可读存储介质
CN108038767A (zh) * 2017-12-26 2018-05-15 广州供电局有限公司 基于消息队列的电商订单异步分发系统及方法
CN109788053A (zh) * 2019-01-04 2019-05-21 深圳壹账通智能科技有限公司 数据同步方法和系统

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068972A (zh) * 2020-09-01 2020-12-11 掌阅科技股份有限公司 基于多机房实现的消息队列的消费方法及电子设备
CN112052104A (zh) * 2020-09-01 2020-12-08 掌阅科技股份有限公司 基于多机房实现的消息队列的管理方法及电子设备
CN112181680A (zh) * 2020-09-15 2021-01-05 的卢技术有限公司 一种基于Kafka的优先队列的实现方法
CN112187916A (zh) * 2020-09-27 2021-01-05 中国银联股份有限公司 一种跨系统的数据同步方法与装置
CN112187916B (zh) * 2020-09-27 2023-12-05 中国银联股份有限公司 一种跨系统的数据同步方法与装置
CN113760980A (zh) * 2020-11-30 2021-12-07 北京京东乾石科技有限公司 一种数据缓存方法、数据提供端及数据使用端
CN112596865A (zh) * 2020-12-22 2021-04-02 航天信息股份有限公司企业服务分公司 基于工作流事务推送待办消息的系统
CN112579704A (zh) * 2020-12-24 2021-03-30 深圳市科力锐科技有限公司 数据反向同步方法、装置、系统、镜像服务器和存储介质
CN112579704B (zh) * 2020-12-24 2024-04-09 深圳市科力锐科技有限公司 数据反向同步方法、装置、系统、镜像服务器和存储介质
CN112650814A (zh) * 2020-12-30 2021-04-13 平安壹钱包电子商务有限公司 基于消息中间件的数据存储方法、装置、设备及存储介质
CN112650814B (zh) * 2020-12-30 2023-09-26 平安壹钱包电子商务有限公司 基于消息中间件的数据存储方法、装置、设备及存储介质
CN114051036A (zh) * 2021-09-23 2022-02-15 通号城市轨道交通技术有限公司 轨道交通信号系统数据同步方法、装置、设备及存储介质
CN114185896A (zh) * 2021-12-14 2022-03-15 中国平安财产保险股份有限公司 数据处理方法、装置、电子设备及存储介质
CN114745571A (zh) * 2022-04-15 2022-07-12 网易（杭州）网络有限公司 直播状态信息同步方法、装置、电子设备和可读存储介质
CN114745571B (zh) * 2022-04-15 2024-01-23 网易（杭州）网络有限公司 直播状态信息同步方法、装置、电子设备和可读存储介质
CN114745432A (zh) * 2022-04-18 2022-07-12 北京京东拓先科技有限公司 数据传输方法和装置
CN115017233A (zh) * 2022-06-17 2022-09-06 上海明胜品智人工智能科技有限公司 一种数据同步方法、装置、电子设备及介质
CN116319579A (zh) * 2022-09-05 2023-06-23 中国电信股份有限公司 一种业务数据的分流方法、装置和一种业务系统
CN116155831A (zh) * 2022-12-28 2023-05-23 河南辉煌科技股份有限公司 一种用于铁路生产管理系统的数据传输方法和系统
CN116155831B (zh) * 2022-12-28 2024-05-03 河南辉煌科技股份有限公司 一种用于铁路生产管理系统的数据传输方法和系统
CN116049209A (zh) * 2023-02-02 2023-05-02 西南科技大学 工业互联网分布式数据同步方法
CN116628087A (zh) * 2023-05-19 2023-08-22 中国工商银行股份有限公司 云端同步客户端数据的方法、装置和计算机设备
CN116521622B (zh) * 2023-06-30 2023-09-22 中邮消费金融有限公司 一种基于数据快照自动化管理数据的方法及系统
CN116521622A (zh) * 2023-06-30 2023-08-01 中邮消费金融有限公司 一种基于数据快照自动化管理数据的方法及系统
CN118916421A (zh) * 2024-07-11 2024-11-08 苏州慧工云信息科技有限公司 数据同步方法、系统、电子设备及存储介质
CN119127995A (zh) * 2024-11-08 2024-12-13 北京饼干科技有限公司 企业消费信息处理方法及装置

Also Published As

Publication number Publication date
CN109788053B (zh) 2022-04-29
CN109788053A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
WO2020140661A1 (zh) 数据同步方法和系统
CN110719318B (zh) 消息处理方法和系统
EP2998863B1 (en) Converting a serial transaction schedule to a parallel transaction schedule
WO2019174129A1 (zh) 事件提醒方法、装置、计算机设备和存储介质
WO2020140683A1 (zh) 任务调度方法、装置、计算机设备和存储介质
US10122665B2 (en) Distributed synchronization data in a message management service
WO2020233091A1 (zh) 业务数据回退方法、装置、计算机设备和存储介质
US20200097355A1 (en) Method and apparatus for outputting information
CN113127564B (zh) 一种参数同步方法和装置
AU2020203219A1 (en) Sharing unmanaged content using a content management system
CN114328132B (zh) 外部数据源的状态监控方法、装置、设备和介质
CN110908778A (zh) 任务部署方法、系统和存储介质
CN112804312A (zh) 文件上传方法、设备以及计算机可读介质
US9563485B2 (en) Business transaction context for call graph
TWI716822B (zh) 事務因果序的校正方法及裝置、電子設備
CN114637611A (zh) 基于消息队列的信息处理方法、装置及计算机设备
CN114138895B (zh) 多数据源的数据同步方法、装置、计算机设备和存储介质
CN115297105A (zh) 文件传输方法、装置、计算机设备及存储介质
CN119576694A (zh) 一种日志存储传输处理方法、系统、电子设备及介质
CN115036044B (zh) 一种消息处理方法、装置、电子设备及存储介质
CN112948430B (zh) 一种日期数据查询方法和装置
CN112346661B (zh) 数据处理方法、装置和电子设备
CN115455118A (zh) 一种多数据源台账数据的同步方法、设备及介质
WO2023193135A1 (zh) 业务编码解释织入方法、业务服务系统和存储介质
CN115174691A (zh) 基于页面请求的大数据加载方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19907831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22/10/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19907831

Country of ref document: EP

Kind code of ref document: A1