WO2018120681A1

WO2018120681A1 - 数据同步方法、装置、系统、数据处理服务器和存储介质

Info

Publication number: WO2018120681A1
Application number: PCT/CN2017/089484
Authority: WO
Inventors: 王勇
Original assignee: 平安科技（深圳）有限公司
Priority date: 2016-12-30
Filing date: 2017-06-22
Publication date: 2018-07-05
Also published as: CN107040578A; CN107040578B

Abstract

本发明公开了一种数据同步方法，应用于数据处理服务器，所述数据同步方法包括：在接收到数据同步指令时，数据处理服务器确定所述数据处理服务器关联的网络存储器；在确定的所述网络存储器中获取预设的数据同步规则；根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。本发明还公开了一种数据同步装置、系统、数据处理服务器和存储介质。本发明提高了数据同步的便捷性以及整体效率。

Description

数据同步方法、装置、系统、数据处理服务器和存储介质

本申请要求于2016年12月30日提交中国专利局、申请号为201611271367.2、发明名称为“数据同步方法、装置和系统”的中国专利申请的优先权，其全部内容通过引用结合在申请中。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据同步方法、装置、系统、数据处理服务器和存储介质。

背景技术

现有的企业级应用进行数据同步时，会通过多个数据处理服务器进行数据的同步，但是现有的数据同步，需要在数据处理服务器中存储数据同步规则，每次在拓展新的数据处理服务器进行数据同步时，都需要存储相应的规则，这种情况下，不仅对数据同步操作较繁琐，而且由于需要花费时间去存储数据同步规则，导致对数据同步的整体效率降低。

发明内容

本发明的主要目的在于提供一种数据同步方法、装置、系统数据处理服务器和存储介质，旨在解决现有的数据同步方式，操作较繁琐，且数据同步的整体效率较低的技术问题。

为实现上述目的，本发明提供的一种数据同步方法，应用于数据处理服务器，所述数据同步方法包括：

在接收到数据同步指令时，数据处理服务器确定所述数据处理服务器关联的网络存储器；

在确定的所述网络存储器中获取预设的数据同步规则；

根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。

此外，为实现上述目的，本发明还提供一种数据同步装置，应用于数据处理服务器，所述数据同步装置包括：

确定模块，用于在接收到数据同步指令时，确定所述数据处理服务器关联的网络存储器；

获取模块，用于在确定的所述网络存储器中获取预设的数据同步规则；

处理模块，用于根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。

此外，为实现上述目的，本发明还提供一种数据同步系统，所述数据同步系统包括：数据处理服务器、网络存储器和数据库服务器，所述数据处理服务器如上文所述的数据同步装置。

此外，为实现上述目的，本发明还提供一种数据处理服务器，所述数据处理服务器包括处理器、网络接口及存储器，所述存储器中存储有数据同步程序；

所述网络接口用于连接网络存储器和数据库服务器，与所述网络存储器和所述数据库服务器进行数据通信；

所述处理器用于执行所述数据同步程序，以实现以下步骤：

在接收到数据同步指令时，确定所述数据处理服务器关联的网络存储器；

在确定的所述网络存储器中获取预设的数据同步规则；

此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

在确定的所述网络存储器中获取预设的数据同步规则；

本发明提出的数据同步方法、装置、系统、数据处理服务器和存储介质，所述数据处理服务器在接收到数据同步指令时，先确定所述数据处理服务器关联的网络存储器，然后在确定的所述网络存储器中获取预设的数据同步规则，最终根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。实现了同步数据时，即使要扩展新的数据处理服务器进行数据的同步，也不需要在各个数据处理服务器中添加数据同步规则，只要将数据同步规则添加到网络存储器中即可，后续各个数据处理服务器只要从网络存储器中获取数据同步规则就可以对数据处理服务器中的数据库进行数据的同步，对数据的同步非常便捷，由于缩短了添加数据同步规则的时间，从而提高了数据同步的整体效率。

附图说明

图1为本发明数据同步方法第一实施例的流程示意图；

图2为图1中步骤S30的细化流程示意图；

图3为图2中步骤S31的细化流程示意图；

图4为本发明数据同步方法第二实施例的流程示意图；

图5为本发明数据同步过程的较佳应用场景示意图；

图6为本发明数据同步装置第一实施例的功能模块示意图；

图7为图6中处理模块30的细化功能模块示意图；

图8为图7中分析子模块31的细化功能模块示意图；

图9为本发明数据同步装置第二实施例的功能模块示意图；

图10是本发明实施例方案涉及硬件运行环境的数据处理服务器的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种数据同步方法，应用于数据处理服务器。

参照图1，图1为本发明数据同步方法第一实施例的流程示意图。

在本实施例中，所述数据同步方法包括：

步骤S10，在接收到数据同步指令时，数据处理服务器确定所述数据处理服务器关联的网络存储器。

在本实施例中，所述步骤S10之前，包括步骤：将数据处理服务器与网络存储器关联起来，并将数据同步规则存储到所述网络存储器中。值得注意的是，所述将数据同步规则存储到所述网络服务器中，实际上是将数据同步规则存储到所述网络服务器对应的共享磁盘中，以便通过共享磁盘技术供关联的各个数据处理服务器使用该数据同步规则。

在本实施例中，所述数据处理服务器优选为Kettle服务器，下文中的数据处理服务器均表示Kettle服务器。值得注意的是，所述Kettle服务器实际是一款从开源起步的ETL（ Extract-Transform-Load）工具，用于抽取、清洗、转换、装载数据，纯java编写，可以在多平台上运行，数据抽取高效稳定。所述网络存储器优选为NAS（Network Attached Storage，网络附属存储）服务器，同理，下文中的网络存储器也均表示NAS服务器。

本实施例中，一个NAS服务器可以与多个Kettle服务器建立关联关系，具体根据Kettle服务器的标识信息以及所述NAS服务器的标识信息进行关联关系的建立。由于本实施例中的所述数据处理服务器优选为Kettle服务器，因此，所述数据同步规则也可称为Kettle程序元数据。

当所述数据处理服务器接收到数据同步指令时，即可根据事先建立的关联关系，直接确定关联的网络存储器。

步骤S20，在确定的所述网络存储器中获取预设的数据同步规则。

也就是说，在确定所述数据处理服务器关联的网络存储器之后，即可在确定的所述网络存储器中获取预设的数据同步规则，由于上文已经描述了所述同步规则是存储在所述网络服务器对应的共享磁盘中，因此，所述在确定的所述网络存储器中获取预设的数据同步规则，实际上是在所述网络服务器对应的共享磁盘中获取所述数据同步规则。本实施例中的所述数据同步规则包括但不限于：待进行数据同步的各个数据库，待同步的数据类型，以及数据的同步频率等等。

应当理解，在网络存储器的共享磁盘中存储数据，并通过共享磁盘技术以供其它各个数据处理服务器进行数据的获取，无须在每个数据处理服务器分别存储数据同步规则，使得后续的数据同步更加便捷，数据同步效率也更高。

步骤S30，根据获取的所述数据同步规则，确定待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。

在本实施例中，在获取到数据同步规则之后，先根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，其中，所述数据处理服务器与数据库服务器关联关系的建立，和上文的与网络存储器的建立方式一致，并且，同样是一个数据库服务器可以与多个Kettle服务器建立关联关系，此处不做多余赘述。

本实施例中，待同步的数据库是有数据同步需求的业务数据库，需要由所述数据处理服务器完成数据的同步，并且，待同步数据库的数量至少包括两个。例如，待进行数据同步的数据库包括第一数据库和第二数据库，那么在确定第一数据库和第二数据库之后，所述数据处理服务器即可执行数据同步操作，其中，所述数据同步操作包括但不限于：将第一数据库中的数据A同步至第二数据库中，或者将第二数据库中的数据B同步至第一数据库中。

在本实施例中，为了保证数据同步的效率，参照图2，所述步骤S30包括：

步骤S31，所述数据处理服务器分析所述数据处理服务器对应的操作系统是否满足数据同步条件；

步骤S32，在所述数据处理服务器对应的操作系统满足数据同步条件时，根据获取的所述数据同步规则，确定关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。

在本实施例中，分析所述数据处理服务器对应的操作系统是否满足数据同步条件，可参照图3，具体地，所述步骤S31包括：

步骤S311，所述数据处理服务器通过预设调度程序分析所述数据处理服务器对应的操作系统的资源情况，其中，所述资源情况包括CPU资源或内存显示程序MEM资源；

步骤S312，基于分析的所述资源情况，确定所述数据处理服务器对应的操作系统是否满足数据同步条件，其中，在所述CPU资源或MEM资源的资源剩余利用率大于预设阈值时，确定所述数据处理服务器对应的操作系统满足数据同步条件。

在本实施例中，所述数据处理服务器先通过预设调度程序分析当前操作系统的资源情况，其中，所述预设调度程序优选为KEA（Kettle Enterprise application，Kettle企业级应用）调度程序，所述资源情况包括CPU（Central Processing Unit，中央处理器）资源或MEM（内存显示程序）资源。然后，基于分析的所述资源情况，确定所述数据处理服务器对应的操作系统是否满足数据同步条件，本实施例中，优选在所述CPU资源或MEM资源的资源剩余利用率大于预设阈值时，才能确定所述数据处理服务器对应的操作系统满足数据同步条件，其中，所述预设阈值根据实际情况进行设置，此处不做限定。

即，所述数据处理服务器会先分析当前操作系统是否满足数据同步条件，若当前操作系统满足数据同步条件，才会根据获取的所述数据同步规则，确定待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。若当前操作系统不满足数据同步条件，则所述数据处理服务器不执行数据同步过程，由其它数据处理服务器进行数据的同步。

应当理解，若在操作系统的资源情况不符合要求时就进行数据的同步，极有可能会出现数据同步过程中，数据同步失败的情况，或者是同步数据速度过慢的情况。因此本实施例中，通过分析数据处理服务器的操作系统是否满足数据同步条件，才决定是否进行数据的同步，有效避免了上述情况，一定程度上保证了数据的正常同步，同时也提高了数据的同步效率。

进一步地，所述数据处理服务器分析所述数据处理服务器对应的操作系统是否满足数据同步条件之后，还会将分析的情况展示给业务用户查看，以供业务用户了解数据同步的情况。

进一步地，为了实现对数据同步进行监控，所述执行“根据确定的数据库执行数据同步操作”的同时，执行以下步骤：

步骤A，所述数据处理服务器记录所述数据同步操作对应的同步过程；

步骤B，将记录的所述同步过程存储到本地的文本日志和数据库服务器的数据库日志中，以便于查看数据同步过程。

也就是说，所述数据处理服务器在根据第一数据库和第二数据库执行数据同步操作的同时，还会记录所述数据同步操作对应的同步过程，然后将记录的同步过程存储到本地的文本日志和所述数据库服务器的数据库日志中，以供所述KEA调度程序分析并计时展现给运营管理员，那么运营管理员即可查看数据同步过程，以达到数据同步监控的作用。本实施例中，所述同步过程主要包括执行程序、执行参数、执行时间以及执行结果等指标。

进一步地，还可在接收到运营管理员输入的数据同步操作对应的同步过程的查看指令时，先在显示界面中显示所述数据库服务器的数据库日志中记录的数据同步过程；

若检测到所述数据库服务器的数据库日志中的数据显示出现异常，则调用本地的文本日志，以显示数据同步操作对应的同步过程。

即，由于数据处理服务器将记录的同步过程存储到本地的文本日志和数据库服务器的数据库日志中，因此，数据库服务器的数据库日志存储的就是所有数据处理服务器进行数据同步操作的同步过程，而数据处理服务器本地的文本日志存储当前数据处理服务器对应的数据同步操作的同步过程。那么，在查看数据同步过程时，可优选先在数据库服务器的数据库日志中查看，在数据库日志异常时，才调用本地的文本日志进行数据同步过程的查看，而不用两个日志都进行显示，提高了数据同步监控的灵活性。

为更好理解，举例详述之：例如，当前有数据处理服务器a和数据处理服务器b都在进行数据同步，那么数据处理服务器a和数据处理服务器b都会数据同步操作的同步过程记录到数据库服务器的数据库日志中，但是数据处理服务器a和数据处理服务器b都只会将自己的数据同步操作的同步过程自己的本地的文本日志中，即数据处理服务器a存储到本地的文本日志a中，数据处理服务器b存储到本地的文本日志b中。后续，可以在数据库服务器的数据库日志可以查看各个数据处理服务器的数据同步过程，若是数据库日志异常，则数据处理服务器a调用文本日志a进行数据同步过程的查看，数据处理服务器b调用文本日志b进行数据同步过程的查看。

本实施例提出的数据同步方法，应用于数据处理服务器，所述数据处理服务器在接收到数据同步指令时，先确定所述数据处理服务器关联的网络存储器，然后在确定的所述网络存储器中获取预设的数据同步规则，最终根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。实现了同步数据时，即使要扩展新的数据处理服务器进行数据的同步，也不需要在各个数据处理服务器中添加数据同步规则，只要将数据同步规则添加到网络存储器中即可，后续各个数据处理服务器只要从网络存储器中获取数据同步规则就可以对数据处理服务器中的数据库进行数据的同步，对数据的同步非常便捷，由于缩短了添加数据同步规则的时间，从而提高了数据同步的整体效率。

进一步地，基于第一实施例提出本发明数据同步方法的第二实施例，在本实施例中，参照图4，所述数据同步方法还包括：

步骤S40，所述数据处理服务器若检测到相对于所述数据处理服务器的其它数据处理服务器在数据同步过程中出现数据同步中断，则确定数据同步中断的各个数据库；

步骤S50，对数据同步中断的各个数据库重新执行数据同步操作；

步骤S60，若检测到有部分数据已经被所述其它数据处理服务器同步，则用重新同步的数据更新已同步的数据。

应当理解的是，所述步骤S40可应用于步骤S30之后，也可以应用于步骤S10之前，具体的顺序不做限定。

在本实施例中，若检测到相对于所述数据处理服务器的其它数据处理服务器在数据同步过程中出现数据同步中断，则确定数据同步中断的各个数据库，例如其它数据处理服务器在对第三数据库和第四数据库进行数据同步，并且出现同步中断，此时，所述处理服务器对数据同步中断的两个数据库重新执行数据同步操作，即对第三数据库和第四数据库重新执行数据同步操作，此时的数据同步操作与上述内容一致，此处不再进行赘述。

当所述数据处理服务器对数据同步中断的各个数据库重新执行数据同步操作时，若在执行数据同步操作过程中，检测到有部分数据已经被其它数据处理服务器同步过了，此时，为了保证数据同步的准确性，所述数据处理服务器会完成整个数据同步过程，并用重新同步的数据更新已同步的数据，即更新掉其它数据处理服务器已经同步过的数据，保证了数据同步的准确性。

需要说明的是，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

应当理解，现有的ETL工具Kettle服务器，在C/S（Client/Server，客户机和服务器结构）架构下的企业级应用接口功能不全；在部署、调度、监控方面困难；并且平台可扩展性差；更甚的，在数据同步时，需要先在内部存储数据同步规则，后续根据存储的数据同步规才能执行数据同步操作，当平台中需要扩展多个Kettle服务器时，就需要在每个Kettle服务器中分别存储数据同步规则，对数据同步的整体操作较为繁琐。

本发明所述的数据同步方案，应用于Kettle企业级应用（Kettle Enterprise application，简称KEA）中，Kettle企业级应用是一套以Kettle社区版为基础，批量同步数据的综合应用系统，是集存储、调度、监控于一体的数据同步生态系统，还可以实现数据库拓容的便捷性。

该Kettle企业级应用包括：

1、KEA框架

NAS服务器存储Kettle程序元数据，通过共享磁盘存储技术供整个平台的Kettle服务器使用，Kettle服务器获取到Kettle程序元数据后，通过KEA调度程序分析操作系统的资源情况决定是否执行业务数据同步（业务数据完成后，供业务应用系统访问，进而展现给业务用户），然后把业务数据同步的信息记录到本地的文本日志和数据库服务器的数据库日志中（主要包括执行程序、执行参数、执行时间以及执行结果等重要指标记录到对应的日志库中，供监控应用程序分析并及时展现给运营工程师，以达到维护数据同步系统的稳定）。

2、KEA存储

KEA是以file格式存储Kettle程序元数据在NAS服务器上，同一Kettle平台共享使用此元数据；

主要特点：分布式平台架构，平台扩展容易。

3、KEA调度

数据同步通过Kettle的智能调度主控程序RunFileJob.sh调度相应的业务同步程序，并把业务同步程序执行的结果分别记录到本地的文本日志与数据库服务器的数据库日志中；

主要功能：

智能调度：通过分析操作系统的CPU和MEM资源决定是否执行程序；

数据同步：调度kitchen.sh程序执行业务同步；

记录日志：通过WriteLog.sh分别记录本地的文本日志与数据库服务器的数据库日志。

4、KEA监控

数据库服务器的数据库日志提供的监控接口，供监控应用系统定制化各种监控；

主要功能：本地的文本日志主要是在日志库出现问题时用于系统排查使用的，正常情况下使用日志库监控平台。

本发明的数据同步过程，集群模式地企业级应用，实现了在平台如何扩展多个Kettle工具，实现了集群模式应用，并且在平台中可以稳定的进行数据的同步，确保数据同步的持续性，以及在平台中可以监控数据同步过程，实现了掌握平台的数据同步动态。

本发明的技术方案中，具有以下优点：

1、只需要添加新的Kettle服务器，数据同步的特点是元数据读取少，数据同步量大的特点，以NAS技术实现平台共享元数据，实现了易扩容地分布式架构；

2、KEA在调度程序时，通过自开发的程序先对本机的CPU和MEM资源进行评估，决定是否以及何时执行程序，保障数据同步功能以及系统的稳定；

3、提供文本、数据库双重日志，对外提供了统一日志接口方便各应用系统监控地同时，也保证了平台独立性。

基于图1至图4所述实施例的具体描述，本实施例以具体的应用场景再次描述本发明数据同步方法的实现过程。

请参照图5，图5是本发明数据同步的具体场景示意图。

NAS服务器存储Kettle程序元数据，通过共享磁盘存储技术供整个平台的Kettle服务器使用，Kettle服务器获取到Kettle程序元数据后，通过KEA调度程序分析操作系统的资源情况决定是否执行业务数据同步（业务数据完成后，供业务应用系统访问，进而展现给业务用户），若是需要执行业务数据同步，则将第一数据库中的数据同步至第二数据库中，再把业务数据同步的信息记录到本地的文本日志（图5中的数据库）和数据库服务器的数据库日志（图5中的日志库）中，其中，日志库主要包括执行程序、执行参数、执行时间以及执行结果等重要指标记录，供监控应用程序分析并及时展现给运营工程师，以达到维护数据同步系统的稳定。

本发明进一步提供一种数据同步装置，应用于数据处理服务器。

参照图6，图6为本发明数据同步装置100第一实施例的功能模块示意图。

需要强调的是，对本领域的技术人员来说，图6所示功能模块图仅仅是一个较佳实施例的示例图，本领域的技术人员围绕图6所示的数据同步装置100的功能模块，可轻易进行新的功能模块的补充；各功能模块的名称是自定义名称，仅用于辅助理解该数据同步装置100的各个程序功能块，不用于限定本发明的技术方案，本发明技术方案的核心是，各自定义名称的功能模块所要达成的功能。

在本实施例中，所述数据同步装置100包括：

确定模块10，用于在接收到数据同步指令时，确定所述数据处理服务器关联的网络存储器。

在本实施例中，在确定模块10确定所述数据处理服务器关联的网络存储器之前，需要先将数据处理服务器与网络存储器关联起来，并将数据同步规则存储到所述网络存储器中。值得注意的是，所述将数据同步规则存储到所述网络服务器中，实际上是将数据同步规则存储到所述网络服务器对应的共享磁盘中，以便通过共享磁盘技术供关联的各个数据处理服务器使用该数据同步规则。

当接收到数据同步指令时，所述确定模块10即可根据事先建立的关联关系，直接确定关联的网络存储器。

获取模块20，用于在确定的所述网络存储器中获取预设的数据同步规则；

也就是说，在所述确定模块10确定所述数据处理服务器关联的网络存储器之后，获取模块20即可在确定的所述网络存储器中获取预设的数据同步规则，由于上文已经描述了所述同步规则是存储在所述网络服务器对应的共享磁盘中，因此，所述所述获取模块20在确定的所述网络存储器中获取预设的数据同步规则，实际上是在所述网络服务器对应的共享磁盘中获取所述数据同步规则。本实施例中的所述数据同步规则包括但不限于：待进行数据同步的各个数据库，待同步的数据类型，以及数据的同步频率等等。

处理模块30，用于根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。

在本实施例中，在所述获取模块20获取到数据同步规则之后，处理模块30先根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，其中，所述数据处理服务器与数据库服务器关联关系的建立，和上文的与网络存储器的建立方式一致，并且，同样是一个数据库服务器可以与多个Kettle服务器建立关联关系，此处不做多余赘述。

本实施例中，待同步的数据库是有数据同步需求的业务数据库，需要由所述数据处理服务器完成数据的同步，并且，待同步数据库的数量至少包括两个。例如，待进行数据同步的数据库包括第一数据库和第二数据库，那么所述处理模块30在确定第一数据库和第二数据库之后，即可执行数据同步操作，其中，所述数据同步操作包括但不限于：将第一数据库中的数据A同步至第二数据库中，或者将第二数据库中的数据B同步至第一数据库中。

在本实施例中，为了保证数据同步的效率，参照图7，所述处理模块30包括：

分析子模块31，用于分析所述数据处理服务器对应的操作系统是否满足数据同步条件；

处理子模块32，用于在所述数据处理服务器对应的操作系统满足数据同步条件时，根据获取的所述数据同步规则，确定关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。

在本实施例中，所述分析数据处理服务器对应的操作系统是否满足数据同步条件，可参照图8，具体地，所述分析子模块31包括：

分析单元311，用于通过预设调度程序分析所述数据处理服务器对应的操作系统的资源情况，其中，所述资源情况包括CPU资源或内存显示程序MEM资源；

确定单元312，用于基于分析的所述资源情况，确定所述数据处理服务器对应的操作系统是否满足数据同步条件，其中，在所述CPU资源或MEM资源的资源剩余利用率大于预设阈值时，确定所述数据处理服务器对应的操作系统满足数据同步条件。

在本实施例中，分析单元311先通过预设调度程序分析当前操作系统的资源情况，其中，所述预设调度程序优选为KEA（Kettle Enterprise application，Kettle企业级应用）调度程序，所述资源情况包括CPU（Central Processing Unit，中央处理器）资源或MEM（内存显示程序）资源。然后，确定单元312基于分析的所述资源情况，确定所述数据处理服务器对应的操作系统是否满足数据同步条件，本实施例中，优选在所述CPU资源或MEM资源的资源剩余利用率大于预设阈值时，才能确定所述数据处理服务器对应的操作系统满足数据同步条件，其中，所述预设阈值根据实际情况进行设置，此处不做限定。

即，分析子模块31会先分析当前操作系统是否满足数据同步条件，若当前操作系统满足数据同步条件，处理子模块32才会根据获取的所述数据同步规则，确定待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。若当前操作系统不满足数据同步条件，则不执行数据同步过程，由其它数据处理服务器进行数据的同步。

进一步地，所述分析子模块31分析所述数据处理服务器对应的操作系统是否满足数据同步条件之后，所述数据同步装置100还会将分析的情况展示给业务用户查看，以供业务用户了解数据同步的情况。

进一步地，为了实现对数据同步进行监控，所述数据同步装置还包括：

记录模块，用于在所述处理模块根据确定的数据库执行数据同步操作的同时，记录所述数据同步操作对应的同步过程；

存储模块，用于将记录的所述同步过程存储到本地的文本日志和所述数据库服务器的数据库日志中，以便于查看数据同步过程。

也就是说，记录模块在根据第一数据库和第二数据库执行数据同步操作的同时，还会记录所述数据同步操作对应的操作过程，然后存储模块将记录的操作过程存储到本地的文本日志和数据库服务器的数据库日志中，以供所述KEA调度程序分析并计时展现给运营管理员，那么运营管理员即可查看数据同步过程，以达到数据同步监控的作用。本实施例中，所述同步过程主要包括执行程序、执行参数、执行时间以及执行结果等指标。

若检测到所述数据库服务器的数据库日志中的数据显示出现异常，则调用所述本地的文本日志，以显示数据同步操作对应的同步过程。

即，由于所述存储模块将记录的同步过程存储到本地的文本日志和数据库服务器的数据库日志中，因此，数据库服务器的数据库日志存储的就是所有数据处理服务器进行数据同步操作的同步过程，而数据处理服务器本地的文本日志存储当前数据处理服务器对应的数据同步操作的同步过程。那么，在查看数据同步过程时，可优选先在数据库服务器的数据库日志中查看，在数据库日志异常时，才调用本地的文本日志进行数据同步过程的查看，而不用两个日志都进行显示，提高了数据同步监控的灵活性。

本实施例提出的数据同步装置，应用于数据处理服务器，所述数据处理服务器在接收到数据同步指令时，先确定所述数据处理服务器关联的网络存储器，然后在确定的所述网络存储器中获取预设的数据同步规则，最终根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。实现了同步数据时，即使要扩展新的数据处理服务器进行数据的同步，也不需要在各个数据处理服务器中添加数据同步规则，只要将数据同步规则添加到网络存储器中即可，后续各个数据处理服务器只要从网络存储器中获取数据同步规则就可以对数据处理服务器中的数据库进行数据的同步，对数据的同步非常便捷，由于缩短了添加数据同步规则的时间，从而提高了数据同步的整体效率。

进一步地，参照图9，基于第一实施例提出本发明数据同步装置100的第二实施例，在本实施例中，所述确定模块10，还用于若检测到相对于所述数据处理服务器的其它数据处理服务器在数据同步过程中出现数据同步中断，则确定数据同步中断的各个数据库；

所述处理模块30，还用于对数据同步中断的各个数据库重新执行数据同步操作；

所述数据同步装置还包括：

更新模块40，用于若检测到有部分数据已经被所述其它数据处理服务器同步，则用重新同步的数据更新已同步的数据。

在本实施例中，若检测到相对于所述数据处理服务器的其它数据处理服务器在数据同步过程中出现数据同步中断，则所述确定模块10确定数据同步中断的各个数据库，例如其它数据处理服务器在对第三数据库和第四数据库进行数据同步，并且出现同步中断，此时，所述处理模块30对数据同步中断的两个数据库重新执行数据同步操作，即对第三数据库和第四数据库重新执行数据同步操作，此时的数据同步操作与上述内容一致，此处不再进行赘述。

当所述数据处理服务器对数据同步中断的各个数据库重新执行数据同步操作时，若在执行数据同步操作过程中，检测到有部分数据已经被其它数据处理服务器同步过了，此时，为了保证数据同步的准确性，更新模块40会完成整个数据同步过程，并用重新同步的数据更新已同步的数据，即更新掉其它数据处理服务器已经同步过的数据，保证了数据同步的准确性。

需要说明的是，在硬件实现上，以上确定模块10、获取模块20、处理模块30以及更新模块40等可以以硬件形式内嵌于或独立于数据同步装置中，也可以以软件形式存储于数据同步装置的存储器中，以便于处理器执行以上各个模块对应的操作。该处理器可以为中央处理单元（CPU)、微处理器、单片机等。

本发明进一步提供一种数据同步系统，所述数据同步系统包括：数据处理服务器、网络存储器和数据库服务器，所述数据处理服务器如上文所述的数据同步装置。

本实施例提出的数据同步系统，所述数据处理服务器在接收到数据同步指令时，先确定所述数据处理服务器关联的网络存储器，然后在确定的所述网络存储器中获取预设的数据同步规则，最终根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。实现了同步数据时，即使要扩展新的数据处理服务器进行数据的同步，也不需要在各个数据处理服务器中添加数据同步规则，只要将数据同步规则添加到网络存储器中即可，后续各个数据处理服务器只要从网络存储器中获取数据同步规则就可以对数据处理服务器中的数据库进行数据的同步，对数据的同步非常便捷，由于缩短了添加数据同步规则的时间，从而提高了数据同步的整体效率。

参照图10，图10是本发明实施例方案涉及硬件运行环境的数据处理服务器的结构示意图。

本发明实施例数据处理服务器可以是Java服务器，也可以是单路服务器、多路服务器和分布式服务器。

如图10所示，该数据处理服务器可以包括：处理器1001，例如CPU，网络接口1002，存储器1003。这些组件之间的连接通信可以通过通信总线实现。网络接口1002可选的可以包括标准的有线接口（用于连接有线网络）、无线接口（如WI-FI接口、蓝牙接口、红外线接口等，用于连接无线网络）。存储器1003可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1003可选的还可以是独立于前述处理器1001的存储装置。

可选地，数据处理服务器还可以包括用户接口、摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。用户接口可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口还可以包括标准的有线接口（例如用于连接有线键盘、有线鼠标等）和/或、无线接口（例如用于连接无线键盘、无线鼠标）。

本领域技术人员可以理解，图10中示出的数据处理服务器结构并不构成对数据处理服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图10所示，作为一种存储介质的存储器1003可以包括操作系统、网络通信模块以及数据同步程序。其中，操作系统是管理和控制数据处理服务器硬件与软件资源的程序，支持网络通信模块、数据同步程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002。

在图10所示的数据处理服务器中，网络接口1002主要用于连接网络存储器和数据库服务器，与网络存储器和数据库服务器进行数据通信，所述数据处理服务器与网络存储器和数据库服务器的连接方式优选通过无线接口进行连接；而处理器1001可以用于执行存储器1003中存储的数据同步程序，以实现以下步骤：

在确定的所述网络存储器中获取预设的数据同步规则；

进一步地，所述处理器1001可以用于执行存储器1003中存储的数据同步程序，以实现根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作的步骤：

分析所述数据处理服务器对应的操作系统是否满足数据同步条件；

在所述数据处理服务器对应的操作系统满足数据同步条件时，根据获取的所述数据同步规则，确定关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。

进一步地，所述处理器1001可以用于执行存储器1003中存储的数据同步程序，以实现分析所述数据处理服务器对应的操作系统是否满足数据同步条件的步骤：

通过预设调度程序分析所述数据处理服务器对应的操作系统的资源情况，其中，所述资源情况包括CPU资源或内存显示程序MEM资源；

基于分析的所述资源情况，确定所述数据处理服务器对应的操作系统是否满足数据同步条件，其中，在所述CPU资源或MEM资源的资源剩余利用率大于预设阈值时，确定所述数据处理服务器对应的操作系统满足数据同步条件。

进一步地，所述执行根据确定的数据库执行数据同步操作的步骤同时，所述处理器1001可以用于执行存储器1003中存储的数据同步程序，以实现以下步骤：

记录所述数据同步操作对应的同步过程；

将记录的所述同步过程存储到本地的文本日志和所述数据库服务器的数据库日志中，以便于查看数据同步过程。

进一步地，所述处理器1001可以用于执行存储器1003中存储的数据同步程序，以实现以下步骤：

若检测到相对于所述数据处理服务器的其它数据处理服务器在数据同步过程中出现数据同步中断，则确定数据同步中断的各个数据库；

对数据同步中断的各个数据库重新执行数据同步操作；

若检测到有部分数据已经被所述其它数据处理服务器同步，则用重新同步的数据更新已同步的数据。

本发明提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

在确定的所述网络存储器中获取预设的数据同步规则；

进一步地，所述一个或者多个程序可被一个或者多个处理器执行，以实现根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作的步骤：

进一步地，所述一个或者多个程序可被一个或者多个处理器执行，以实现分析所述数据处理服务器对应的操作系统是否满足数据同步条件的步骤：

进一步地，所述执行根据确定的数据库执行数据同步操作的步骤同时，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

记录所述数据同步操作对应的同步过程；

进一步地，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

对数据同步中断的各个数据库重新执行数据同步操作；

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

一种数据同步方法，应用于数据处理服务器，其特征在于，所述数据同步方法包括：

在接收到数据同步指令时，数据处理服务器确定所述数据处理服务器关联的网络存储器；

在确定的所述网络存储器中获取预设的数据同步规则；

根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。
如权利要求1所述的数据同步方法，其特征在于，所述根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作的步骤包括：

所述数据处理服务器分析所述数据处理服务器对应的操作系统是否满足数据同步条件；

在所述数据处理服务器对应的操作系统满足数据同步条件时，根据获取的所述数据同步规则，确定关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。
如权利要求2所述的数据同步方法，其特征在于，所述数据处理服务器分析所述数据处理服务器对应的操作系统是否满足数据同步条件的步骤包括：

所述数据处理服务器通过预设调度程序分析所述数据处理服务器对应的操作系统的资源情况，其中，所述资源情况包括CPU资源或内存显示程序MEM资源；

基于分析的所述资源情况，确定所述数据处理服务器对应的操作系统是否满足数据同步条件，其中，在所述CPU资源或MEM资源的资源剩余利用率大于预设阈值时，确定所述数据处理服务器对应的操作系统满足数据同步条件。
如权利要求1所述的数据同步方法，其特征在于，所述执行根据确定的数据库执行数据同步操作的步骤同时，执行以下步骤：

所述数据处理服务器记录所述数据同步操作对应的同步过程；

将记录的所述同步过程存储到本地的文本日志和所述数据库服务器的数据库日志中，以便于查看数据同步过程。
如权利要求1所述的数据同步方法，其特征在于，所述数据同步方法还包括：

所述数据处理服务器若检测到相对于所述数据处理服务器的其它数据处理服务器在数据同步过程中出现数据同步中断，则确定数据同步中断的各个数据库；

对数据同步中断的各个数据库重新执行数据同步操作；

若检测到有部分数据已经被所述其它数据处理服务器同步，则用重新同步的数据更新已同步的数据。
一种数据同步装置，应用于数据处理服务器，其特征在于，所述数据同步装置包括：

确定模块，用于在接收到数据同步指令时，确定所述数据处理服务器关联的网络存储器；

获取模块，用于在确定的所述网络存储器中获取预设的数据同步规则；

处理模块，用于根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。
如权利要求6所述的数据同步装置，其特征在于，所述处理模块包括：

分析子模块，用于分析所述数据处理服务器对应的操作系统是否满足数据同步条件；

处理子模块，用于在所述数据处理服务器对应的操作系统满足数据同步条件时，根据获取的所述数据同步规则，确定关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。
如权利要求7所述的数据同步装置，其特征在于，所述分析子模块包括：

分析单元，用于通过预设调度程序分析所述数据处理服务器对应的操作系统的资源情况，其中，所述资源情况包括CPU资源或内存显示程序MEM资源；

确定单元，用于基于分析的所述资源情况，确定所述数据处理服务器对应的操作系统是否满足数据同步条件，其中，在所述CPU资源或MEM资源的资源剩余利用率大于预设阈值时，确定所述数据处理服务器对应的操作系统满足数据同步条件。
如权利要求6述的数据同步装置，其特征在于，所述数据同步装置还包括：

记录模块，用于在所述处理模块根据确定的数据库执行数据同步操作的同时，记录所述数据同步操作对应的同步过程；

存储模块，用于将记录的所述同步过程存储到本地的文本日志和所述数据库服务器的数据库日志中，以便于查看数据同步过程。
如权利要求6所述的数据同步装置，其特征在于，所述确定模块，还用于若检测到相对于所述数据处理服务器的其它数据处理服务器在数据同步过程中出现数据同步中断，则确定数据同步中断的各个数据库；

所述处理模块，还用于对数据同步中断的各个数据库重新执行数据同步操作；

所述数据同步装置还包括：

更新模块，用于若检测到有部分数据已经被所述其它数据处理服务器同步，则用重新同步的数据更新已同步的数据。
一种数据同步系统，其特征在于，所述数据同步系统包括：数据处理服务器、网络存储器和数据库服务器，所述数据处理服务器如权利要求6所述的数据同步装置。
一种数据处理服务器，其特征在于，所述数据处理服务器包括处理器、网络接口及存储器，所述存储器中存储有数据同步程序；

所述网络接口用于连接网络存储器和数据库服务器，与所述网络存储器和所述数据库服务器进行数据通信；

所述处理器用于执行所述数据同步程序，以实现以下步骤：

在接收到数据同步指令时，确定数据处理服务器关联的网络存储器；

在确定的所述网络存储器中获取预设的数据同步规则；

根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。
如权利要求12所述的数据处理服务器，其特征在于，所述处理器还用于执行所述数据同步程序，以实现根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作的步骤：

分析所述数据处理服务器对应的操作系统是否满足数据同步条件；

在所述数据处理服务器对应的操作系统满足数据同步条件时，根据获取的所述数据同步规则，确定关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。
如权利要求13所述的数据处理服务器，其特征在于，所述处理器还用于执行所述数据同步程序，以实现分析所述数据处理服务器对应的操作系统是否满足数据同步条件的步骤：

通过预设调度程序分析所述数据处理服务器对应的操作系统的资源情况，其中，所述资源情况包括CPU资源或内存显示程序MEM资源；

基于分析的所述资源情况，确定所述数据处理服务器对应的操作系统是否满足数据同步条件，其中，在所述CPU资源或MEM资源的资源剩余利用率大于预设阈值时，确定所述数据处理服务器对应的操作系统满足数据同步条件。
如权利要求12所述的数据处理服务器，其特征在于，所述执行根据确定的数据库执行数据同步操作的步骤同时，所述处理器还用于执行以下步骤：

记录所述数据同步操作对应的同步过程；

将记录的所述同步过程存储到本地的文本日志和所述数据库服务器的数据库日志中，以便于查看数据同步过程。
如权利要求12所述的数据处理服务器，所述处理器还用于执行以下步骤：

若检测到相对于所述数据处理服务器的其它数据处理服务器在数据同步过程中出现数据同步中断，则确定数据同步中断的各个数据库；

对数据同步中断的各个数据库重新执行数据同步操作；

若检测到有部分数据已经被所述其它数据处理服务器同步，则用重新同步的数据更新已同步的数据。
一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

在接收到数据同步指令时，确定数据处理服务器关联的网络存储器；

在确定的所述网络存储器中获取预设的数据同步规则；

根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。
如权利要求17所述的存储介质，其特征在于，所述一个或者多个程序还可被一个或者多个处理器执行，以实现根据获取的所述数据同步规则，确定所述数据处理服务器关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作的步骤：

分析所述数据处理服务器对应的操作系统是否满足数据同步条件；

在所述数据处理服务器对应的操作系统满足数据同步条件时，根据获取的所述数据同步规则，确定关联的数据库服务器中待进行数据同步的数据库，并根据确定的数据库执行数据同步操作。
如权利要求18所述的存储介质，其特征在于，所述一个或者多个程序还可被一个或者多个处理器执行，以实现分析所述数据处理服务器对应的操作系统是否满足数据同步条件的步骤：

通过预设调度程序分析所述数据处理服务器对应的操作系统的资源情况，其中，所述资源情况包括CPU资源或内存显示程序MEM资源；

基于分析的所述资源情况，确定所述数据处理服务器对应的操作系统是否满足数据同步条件，其中，在所述CPU资源或MEM资源的资源剩余利用率大于预设阈值时，确定所述数据处理服务器对应的操作系统满足数据同步条件。
如权利要求17所述的存储介质，其特征在于，所述执行根据确定的数据库执行数据同步操作的步骤同时，所述一个或者多个程序还可被一个或者多个处理器执行，以实现以下步骤：

记录所述数据同步操作对应的同步过程；

将记录的所述同步过程存储到本地的文本日志和所述数据库服务器的数据库日志中，以便于查看数据同步过程。