WO2017114199A1

WO2017114199A1 - 一种数据同步方法和装置

Info

Publication number: WO2017114199A1
Application number: PCT/CN2016/110658
Authority: WO
Inventors: 贾元乔; 苏艳
Original assignee: 阿里巴巴集团控股有限公司; 贾元乔; 苏艳
Priority date: 2015-12-31
Filing date: 2016-12-19
Publication date: 2017-07-06
Also published as: CN106933534B; CN106933534A

Abstract

一种数据同步方法，根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数（101）；按照期望运行的同步线程数进行线程配置，并采用配置的线程针对所述待同步数据同步至目标数据库（102）。该方法可以针对于同步任务的实际情况动态配置线程，避免出现部分线程已经完成同步任务，而同一任务的其他线程还处于等待状态的情况，提升了数据同步的效率和稳定性。

Description

一种数据同步方法和装置

技术领域

本申请涉及互联网技术领域，特别是涉及一种数据同步方法和一种数据同步装置。

背景技术

数据同步任务是针对不同数据库之间的数据同步而创建的一系列周期调度的任务。在一个大型的数据调度系统中，经常会在同一时间运行有大量的数据同步任务。例如将HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)的数据同步至mySQL(关系型数据库管理系统)，或者从HDFS同步数据至Hbase(Hadoop Database，分布式存储系统)。

在使用数据同步任务将源数据库的数据同步至目标数据库时，用户通常需要预先设置一个同步线程数，同步控制器根据预设的同步线程数调用相应的线程，分发到一个或多个同步处理设备，由同步处理设备进行数据同步处理。然而，当某个同步任务的待同步数据的数据量较大，如果将该同步任务的线程分发到比较繁忙的同步处理设备，其无法调用满足预设的同步线程数进行同步，可能部分线程已经完成同步任务，而同一任务的其他线程还处于等待状态，从而导致整个同步任务的平均同步速度较低。因此，目前的数据同步方式无法有效利用同步处理设备的同步处理能力，存在着数据同步效率较低的问题。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据同步方法和相应的一种数据同步装置。

为了解决上述问题，本申请公开了一种数据同步方法，包括：

根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数；

按照期望运行的同步线程数进行线程配置，并采用配置的线程针对所述待同步数据同步至目标数据库。

可选地，所述按照期望运行的同步线程数进行线程配置包括：

判断所述期望运行的同步线程数是否大于运行所需的同步线程数；

若是，则根据所述期望运行的同步线程数和所述运行所需的同步线程数的差值，补充配置相应的线程。

可选地，在所述根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数之前，所述方法还包括：

从用户提交的数据同步任务中，获取所述同步任务的优先级，并从保存有待同步数据的所述源数据库中，获取所述待同步数据的数据量。

可选地，所述根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数包括：

查找针对所述待同步数据的数据量和同步任务的优先级的平均同步速率；

利用所述平均同步速率、同步处理设备的最大同步速率和所述同步处理设备可供同步处理的线程数，计算所述期望运行的同步线程数。

可选地，在所述判断所述期望运行的同步线程数是否大于运行所需的同步线程数之前，所述方法还包括：

从待与源数据库进行数据同步的所述目标数据库中，获取所述运行所需的同步线程数。

可选地，在所述采用配置的线程针对所述待同步数据同步至目标数据库之前，所述方法还包括：

按照所述运行所需的同步线程数将所述待同步数据拆分成多个待同步数据块；

所述采用配置的线程针对所述待同步数据同步至目标数据库为：

将用于同步各个待同步数据块的同步线程，调度至同步处理设备，以由所述同步处理设备处理所述同步线程。

可选地，所述采用配置的线程针对所述待同步数据同步至目标数据库包括：

将线程属性满足预设条件的至少一个同步线程优先发送至所述同步处理设备。

可选地，所述预设条件包括以下至少一种：

所述至少一个同步线程属于同一个数据同步任务、待处理时间大于预设时间阈值、对应同步任务的优先级大于预设优先级阈值、单个同步处理设备可同步处理。

将所述同步线程优先发送至可供同步处理的最大线程数大于预设线程数阈值的同步处理设备。

为了解决上述问题，本申请还公开了一种数据同步装置，包括：

同步线程数生成模块，用于根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数；

同步处理模块，用于按照期望运行的同步线程数进行线程配置，并采用配置的线程针对所述待同步数据同步至目标数据库。

可选地，所述同步处理模块包括：

同步线程数判断子模块，用于判断所述期望运行的同步线程数是否大于运行所需的同步线程数，若是，则调用线程补充子模块；

线程补充子模块，用于根据所述期望运行的同步线程数和所述运行所需的同步线程数的差值，补充配置相应的线程。

可选地，所述装置还包括：

优先级及数据量获取模块，用于从用户提交的数据同步任务中，获取所述同步任务的优先级，并从保存有待同步数据的源数据库中，获取所述待同步数据的数据量。

可选地，所述同步线程数生成模块包括：

平均同步速率查找子模块，用于查找针对所述待同步数据的数据量和同步任务的优先级的平均同步速率；

同步线程数计算子模块，用于利用所述平均同步速率、同步处理设备的最大同步速率和所述同步处理设备可供同步处理的线程数，计算所述期望运行的同步线程数。

可选地，所述装置还包括：

运行所需同步线程数获取模块，用于从待与源数据库进行数据同步的目标数据库中，获取所述运行所需的同步线程数。

可选地，所述装置还包括：

待同步数据拆分模块，用于按照所述运行所需的同步线程数将所述待同步数据拆分成多个待同步数据块；

所述同步处理模块具体用于：

可选地，所述同步处理模块具体用于：

可选地，所述预设条件包括以下至少一种：

可选地，所述同步处理设备包括多个，所述同步处理模块具体用于：

本申请实施例包括以下优点：

根据本申请实施例，通过根据源数据库中待同步数据的数据量和同步任务的优先级生成期望运行的同步线程数，根据期望运行的同步线程数配置相应数量的线程进行数据同步，从而可以针对于同步任务的实际情况动态配置线程，避免出现部分线程已经完成同步任务，而同一任务的其他线程还处于等待状态的情况，提升了数据同步的效率和稳定性。而且，根据同步任务的优先级动态调整期望运行的同步线程数，使得重要程度较高的同步任务可以优先得到处理。

附图说明

图1是本申请的一种数据同步方法实施例一的步骤流程图；

图2是本申请的一种数据同步方法实施例二的步骤流程图；

图3是本申请的一种数据同步装置实施例一的结构框图；

图4是本申请的一种数据同步装置实施例二的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参照图1，示出了本申请的一种数据同步方法实施例一的步骤流程图，具体可以包括如下步骤：

步骤101，根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数。

需要说明的是，期望运行的同步线程数可以为由用户预先设置的首轮同步线程数或多轮同步线程数。因为用户无法得知本次同步任务中待同步数据的情况和同步处理设备的运行情况，或者用户并不了解如何设置，所设置的同步线程数可能与运行同步时实际所需的同步线程数并不匹配，从而导致同步时将同步线程分发到繁忙的同步处理设备上；或者用户将期望运行的同步线程数设置成一个固定值，从而导致同步任务得不到合理的同步处理资源分配而影响同步效率。此外，不同数据的同步任务的重要程序不相同，而同步控制器将各个同步任务平等对待，导致重要的同步线程因得不到处理资源而无法优先同步。因此，利用目前的数据同步方式进行数据同步，可能会导致上述的问题，从而最终导致数据同步效率较低，同步任务的处理也缺乏稳定性。

本申请实施例的具体实现中，可以利用源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数。实际应用中，用户可以提交一个数据同步任务中，该数据同步任务通常包含有同步任务优先级的相关信息，因此可以从中获取同步任务的优先级。针对用户提交的数据同步任务，可以从待同步数据来源的源数据库中，获取同步数据的数据量。当然，本领域技术人员可以采用其他途径获取数据量和优先级等的信息，例如在数据同步任务中嵌入待同步数据的数据量和同步任务的优先级等的信息，以便于从提交的数据同步任务中直接获取数据量和优先级。

根据数据量和优先级生成期望运行的同步线程数的具体方式可以有多种。例如，可以预设一个数据量-优先级-平均同步速率的对照表，对照表中不同的数据量和优先级的组合对应一个特定的平均同步速率。根据数据量和优先级查找到对应的平均同步速率。将查找的平均同步速率，处以同步处理设备上每个CPU(Central Processing Unit，中央处理器)可以运行的同步速率，可确定同步所需的CPU数量，可以将该CPU数量作为期望运行的同步线程数。

步骤102，按照期望运行的同步线程数进行线程配置，并采用配置的线程针对所述待同步数据同步至目标数据库。

可以按照期望运行的同步线程数，对同步线程进行配置。配置的方式可以有多种，例如可以根据期望运行的同步线程数与同步运行实际所需的同步线程数的差值，配置相应的虚拟线程，利用配置的虚拟线程将同步处理设备上的部分CPU置于待机状态并暂停处理其他同步任务，以保证同步处理设备有足够的资源处理该数据同步任务；当期望运行的同步线程数与同步运行实际所需的同步线程数相同，则可以直接按照期望运行的同步线程数，配置相应的实体线程。

可以采用配置的实体线程和/或虚拟线程同步处理待同步数据。实际应用中，可以先将待同步数据拆分成多个待同步数据块，每个配置的线程分别用于同步多个待同步数据块。根据同步处理设备的剩余处理资源，将多个线程调度至一个或多个同步处理设备，由同步处理设备将多个待同步数据块同步至目标数据库。

在同步控制器将同步线程调度至同步处理设备时，可以判断同步运行实际所需的同步线程数是否大于期望运行的同步线程数，根据判断结果进行不同方式的调度。

例如，当同步运行实际所需的同步线程数大于期望运行的同步线程数，同步控制器可以采用多机多线程的数据同步模式，准备针对该同步任务配置的第一轮实体线程的调度，优先发送等待时间最长、优先级最高且属于相同同步任务的实体线程至多个同步处理设备，以保证该同步任务的各个线程的可以得到优先处理，避免某个线程已经完成同步，而同属一个同步任务的其他线程还处于等待处理的状态，影响到该同步任务的平均同步速率。

当同步运行实际所需的同步线程数小于期望运行的同步线程数，同步控制器可以采用单机多线程的数据同步模式，准备针对该同步任务配置的实体线程和虚拟线程的调度，将等待时间最长、优先级最高且属于相同同步任务的线程，优先发送至某一个剩余处理资源可以支持期望运行的同步线程数的同步处理设备上；如果没有满足条件的同步处理设备，可以优先选择剩余处理资源最多的一个同步处理设备作为发送对象。

当然，本领域技术人员可以根据实际情况采用单机单线程、多机单线程等的数据同步模式进行调度，调度时可以根据同步处理设备的处理资源进行负载均衡调度，也可以随机调度，本申请实施例对此不作限制。

参照图2，示出了本申请的一种数据同步方法实施例二的步骤流程图，具体可以包括如下步骤：

步骤201，从用户提交的数据同步任务中，获取所述同步任务的优先级，并从保存有待同步数据的源数据库中，获取所述待同步数据的数据量。

具体的实现中，在需要进行数据同步时，用户可以在客户端创建数据同步任务并提交给相应的同步处理服务器。在创建数据同步任务时，客户端可以根据待同步数据的重要程度生成相应的优先级，并包含在数据同步任务中，因此同步处理服务器可以从提交的数据同步任务中获取同步任务的优先级。此外，还可以从保存有待同步数据的源数据库的元数据中读取待同步数据的数据量。例如从HDFS同步至Hbase时，通过读取HDFS的信息获取待同步数据的数据量，其他类型的数据库也可以通过类似的方式获取数据量。

步骤202，查找针对所述待同步数据的数据量和同步任务的优先级的平均同步速率。

步骤203，利用所述平均同步速率、同步处理设备的最大同步速率和所述同步处理设备可供同步处理的线程数，计算所述期望运行的同步线程数。

可以根据获取到的待同步数据的数据量和同步任务的优先级，查找同步任务的平均同步速率。具体地，可以预先根据数据量和优先级初始化同步任务的期望平均同步速率，例如：

根据当前的同步任务中待同步数据的数据量和同步任务的优先级进行查找，例如，数据量为0-10G，优先级为8的同步任务，可以查找到其对应的平均同步任务为30mb/s。

然后根据根据每个同步处理设备的处理资源，计算同步所需的CPU数量。例如，每个同步处理设备具有6个CPU内核，其最大同步速率为60mb/s，则可以计算得到每个CPU可以运行的最大同步速率为10mb/s。

将查找的同步任务的期望平均同步速率30mb/s除以每个CPU可以运行的最大同步速率为10mb/s，可以计算出所需的CPU个数为3，即为期望运行的同步线程数。

步骤204，从待与源数据库进行数据同步的目标数据库中，获取所述运行所需的同步线程数。

可以从目标数据库的源数据读取运行所需的同步线程数，例如从HDFS同步至HBase时，可以读取HBase目标表的Region个数，以Hbase目标表的Region个数作为运行所需的同步线程数。Region是HBase数据存储和管理的基本单位，通常由Region确定目标数据库在同步时采用的线程数。

步骤205，判断所述期望运行的同步线程数是否大于运行所需的同步线程数；若是，则进行步骤206。

步骤206，根据所述期望运行的同步线程数和所述运行所需的同步线程数的差值，补充配置相应的线程。

当期望运行的同步线程数大于同步运行实际所需的同步线程数，可以根据期望运行的同步线程数减去运行所需的同步线程数的差值，补充配置相应的虚拟线程，利用配置的虚拟线程将同步处理设备上的部分CPU置于待机状态并暂停处理其他同步任务，以保证同步处理设备有足够的资源处理该数据同步任务。

步骤207，按照所述运行所需的同步线程数将所述待同步数据拆分成多个待同步数据块。

步骤208，采用配置的线程针对所述待同步数据同步至目标数据库。

作为本申请实施例的优选示例，所述步骤208可以具体为：

可以将待同步数据拆分成多个待同步数据块，每个配置的线程分别用于同步多个待同步数据块。根据同步处理设备的剩余处理资源，将多个线程调度至一个或多个同步处理设备，由同步处理设备将多个待同步数据块同步至目标数据库。

在实际的应用中，可以将数据同步任务对应的多个线程提交至同步控制器，由同步控制器进行期望运行的同步线程数是否大于运行所需的同步线程数的判断处理，并根据判断结果相应地补充配置线程和将线程调度至多个同步处理设备。

作为本申请实施例的优选示例，所述步骤208可以包括：

将线程属性满足预设条件的至少一个同步线程优先发送至所述同步处理设备；其中，所述预设条件可以包括以下至少一种：

针对期望运行的同步线程数大于同步运行实际所需的同步线程数的情况，同步控制器可以采用单机多线程的数据同步模式，准备针对该同步任务配置的实体线程和虚拟线程的调度，将待处理时间大于预设时间阈值、优先级大于预设优先级阈值且属于同一个数据同步任务的线程，优先发送至单个同步处理设备可同步处理的同步处理设备上；如果没有满足条件的同步处理设备，可以优先选择剩余处理资源最多的一个同步处理设备作为发送对象。

作为本申请实施例的优选示例，所述同步处理设备包括多个，所述步骤208可以包括：

实际应用中，可能暂时没有能满足单个同步处理设备可同步处理的该预设条件的同步处理设备，此时可以将同步线程优先发送至可供同步处理的最大线程数大于预设线程数阈值的多个同步处理设备上，即选择CPU剩余处理资源较多的同步处理设备进行首轮或多轮的数据同步。针对多个同步处理设备的调度，可以根据同步处理设备的处理资源进行负载均衡调度，也可以随机调度，本申请实施例对此不作限制。

根据本申请实施例，根据期望运行的同步线程数和运行所需的同步线程数的差值补充配置相应的虚拟线程，利用虚拟线程将同步处理设备上的部分CPU置于待机状态并暂停处理其他同步任务，以保证同步处理设备有足够的资源处理该数据同步任务，提升了数据同步的效率和稳定性。而且，不需要从系统层面控制CPU的使用，提升了数据同步的灵活性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

参照图3，示出了本申请的一种数据同步装置实施例一的结构框图，具体可以包括如下模块：

同步线程数生成模块301，用于根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数。

同步处理模块302，用于按照期望运行的同步线程数进行线程配置，并采用配置的线程针对所述待同步数据同步至目标数据库。

参照图4，示出了本申请的一种数据同步装置实施例二的结构框图，具体可以包括如下模块：

优先级及数据量获取模块401，用于从用户提交的数据同步任务中，获取所述同步任务的优先级，并从保存有待同步数据的源数据库中，获取所述待同步数据的数据量。

运行所需同步线程数获取模块402，用于从待与源数据库进行数据同步的目标数据库中，获取所述运行所需的同步线程数。

同步线程数生成模块403，用于根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数。

同步处理模块404，用于按照期望运行的同步线程数进行线程配置，并采用配置的线程针对所述待同步数据同步至目标数据库。

作为本申请实施例的优选示例，所述同步线程数生成模块403可以包括：

作为本申请实施例的优选示例，所述同步处理模块404可以包括：

同步线程数判断子模块，用于判断所述期望运行的同步线程数是否大于运行所需的同步线程数，若是，则调用线程补充子模块。

作为本申请实施例的优选示例，所述装置可以还包括：

待同步数据拆分模块，用于按照所述运行所需的同步线程数将所述待同步数据拆分成多个待同步数据块。

作为本申请实施例的优选示例一，所述同步处理模块404可以具体用于：

作为本申请实施例的优选示例二，所述同步处理模块404可以具体用于：

作为本申请实施例的优选示例，所述预设条件包括以下至少一种：

作为本申请实施例的优选示例三，所述同步处理设备包括多个，所述同步处理模块404可以具体用于：

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

在一个典型的配置中，所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种数据同步方法和一种数据同步装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

一种数据同步方法，其特征在于，包括：

根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数；

按照期望运行的同步线程数进行线程配置，并采用配置的线程针对所述待同步数据同步至目标数据库。
根据权利要求1所述的方法，其特征在于，所述按照期望运行的同步线程数进行线程配置包括：

判断所述期望运行的同步线程数是否大于运行所需的同步线程数；

若是，则根据所述期望运行的同步线程数和所述运行所需的同步线程数的差值，补充配置相应的线程。
根据权利要求1所述的方法，其特征在于，在所述根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数之前，所述方法还包括：

从用户提交的数据同步任务中，获取所述同步任务的优先级，并从保存有待同步数据的所述源数据库中，获取所述待同步数据的数据量。
根据权利要求1所述的方法，其特征在于，所述根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数包括：

查找针对所述待同步数据的数据量和同步任务的优先级的平均同步速率；

利用所述平均同步速率、同步处理设备的最大同步速率和所述同步处理设备可供同步处理的线程数，计算所述期望运行的同步线程数。
根据权利要求2所述的方法，其特征在于，在所述判断所述期望运行的同步线程数是否大于运行所需的同步线程数之前，所述方法还包括：

从待与源数据库进行数据同步的所述目标数据库中，获取所述运行所需的同步线程数。
根据权利要求1所述的方法，其特征在于，在所述采用配置的线程针对所述待同步数据同步至目标数据库之前，所述方法还包括：

按照所述运行所需的同步线程数将所述待同步数据拆分成多个待同步数据块；

所述采用配置的线程针对所述待同步数据同步至目标数据库为：

将用于同步各个待同步数据块的同步线程，调度至同步处理设备，以由所述同步处理设备处理所述同步线程。
根据权利要求1所述的方法，其特征在于，所述采用配置的线程针对所述待同步数据同步至目标数据库包括：

将线程属性满足预设条件的至少一个同步线程优先发送至所述同步处理设备。
根据权利要求7所述的方法，所述预设条件包括以下至少一种：

所述至少一个同步线程属于同一个数据同步任务、待处理时间大于预设时间阈值、对应同步任务的优先级大于预设优先级阈值、单个同步处理设备可同步处理。
根据权利要求1所述的方法，其特征在于，所述同步处理设备包括多个，所述采用配置的线程针对所述待同步数据同步至目标数据库包括：

将所述同步线程优先发送至可供同步处理的最大线程数大于预设线程数阈值的同步处理设备。
一种数据同步装置，其特征在于，包括：

同步线程数生成模块，用于根据源数据库中待同步数据的数据量和同步任务的优先级，生成期望运行的同步线程数；

同步处理模块，用于按照期望运行的同步线程数进行线程配置，并采用配置的线程针对所述待同步数据同步至目标数据库。
根据权利要求10所述的装置，其特征在于，所述同步处理模块包括：

同步线程数判断子模块，用于判断所述期望运行的同步线程数是否大于运行所需的同步线程数，若是，则调用线程补充子模块；

线程补充子模块，用于根据所述期望运行的同步线程数和所述运行所需的同步线程数的差值，补充配置相应的线程。
根据权利要求10所述的装置，其特征在于，所述装置还包括：

优先级及数据量获取模块，用于从用户提交的数据同步任务中，获取所述同步任务的优先级，并从保存有待同步数据的源数据库中，获取所述待同步数据的数据量。
根据权利要求10所述的装置，其特征在于，所述同步线程数生成模块包括：

平均同步速率查找子模块，用于查找针对所述待同步数据的数据量和同步任务的优先级的平均同步速率；

同步线程数计算子模块，用于利用所述平均同步速率、同步处理设备的最大同步速率和所述同步处理设备可供同步处理的线程数，计算所述期望运行的同步线程数。
根据权利要求11所述的装置，其特征在于，所述装置还包括：

运行所需同步线程数获取模块，用于从待与源数据库进行数据同步的目标数据库中，获取所述运行所需的同步线程数。
根据权利要求10所述的装置，其特征在于，所述装置还包括：

待同步数据拆分模块，用于按照所述运行所需的同步线程数将所述待同步数据拆分成多个待同步数据块；

所述同步处理模块具体用于：

将用于同步各个待同步数据块的同步线程，调度至同步处理设备，以由所述同步处理设备处理所述同步线程。
根据权利要求10所述的装置，其特征在于，所述同步处理模块具体用于：

将线程属性满足预设条件的至少一个同步线程优先发送至所述同步处理设备。
根据权利要求16所述的装置，所述预设条件包括以下至少一种：

所述至少一个同步线程属于同一个数据同步任务、待处理时间大于预设时间阈值、对应同步任务的优先级大于预设优先级阈值、单个同步处理设备可同步处理。
根据权利要求10所述的装置，其特征在于，所述同步处理设备包括多个，所述同步处理模块具体用于：

将所述同步线程优先发送至可供同步处理的最大线程数大于预设线程数阈值的同步处理设备。