WO2014090002A1

WO2014090002A1 - 一种数据同步的方法、装置及系统

Info

Publication number: WO2014090002A1
Application number: PCT/CN2013/083584
Authority: WO
Inventors: 任志鸿; 魏霄鹏; 徐双桑
Original assignee: 中兴通讯股份有限公司
Priority date: 2012-12-14
Filing date: 2013-09-16
Publication date: 2014-06-19
Also published as: CN103873517B; CN103873517A

Abstract

本发明公开了一种数据同步的方法、装置和系统，其中，该方法包括：根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件；根据配置文件的配置，将数据文件上传至指定的第一目标地址，完成数据同步。本发明有效地解决了相关技术中文件同步方式只能针对特定服务器的特定功能进行同步，通用性较差的问题，提高了数据同步的灵活性。

Description

一种数据同步的方法、装置及系统技术领域

本发明涉及通讯领域，特别是涉及一种数据同步的方法、装置和系统。背景技术

在通信技术领域中，数据同步技术具有广泛的应用。目前，主流的数据同步方式包括消息同步和文件同步两种方式，对于消息同步方式，在处理大数据量同步时效率较低，可靠性也差；文件同步方式虽然弥补了这种缺陷，但其主要应用方式还只是针对某个具体服务器上数据，为完成某个具体功能而单独进行实施配置部署。这种应用方式，功能相对单一，通用性和灵活性也不足，具体来说，当系统数据需要割接拆分或扩容时，在新增服务器上必须重新配置并部署相同的数据同步模块，原始数据同步文件被拆分成多份，进而产生同步文件数量不一致和命名冲突等问题，后续相关接口都要做适应性修改，由此带来一系列棘手问题，不但配置复杂、维护成本增加，而且升级风险也在加大。

针对现有技术中文件同步方式只能针对特定服务器的特定功能进行同步，通用性较差的问题，目前尚未提出有效的解决方案。发明内容

本发明实施例提供了一种数据同步的方法、装置和系统，以解决现有技术中文件同步方式只能针对特定服务器的特定功能进行同步，通用性较差的问题。

为解决上述技术问题，一方面，本发明实施例提供一种数据同步的方法，包括：根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件；根据所述配置文件的配置，将数据文件上传至指定的第一目标地址，完成数据同步。

优选地，所述根据配置文件的配置，将数据文件上传至指定的第一目标地址时，所述方法还包括：根据所述配置文件的配置，生成用于校验数据文件对应的核查文件，其中，核查文件中包含数据文件的属性信息；将数据文件和核查文件协同数据文件一同上传至指定的所述第一目标地址。

优选地，所述根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件包括：根据所述配置文件中的数据库信息配置项，确定当前所述任务对应的数据库信息；根据确定的数据库信息，确定与当前所述任务对应的数据库服务器，并与确定的数据库服务器连接；执行所述配置文件中的导出脚本文件，从所述确定的数据库服务器中导出当前所述任务所需的数据文件。

优选地，所述根据配置文件的配置，生成用于校验所述数据文件的核查文件包括：根据所述配置文件的配置，对导出的所述数据文件的属性进行分析；根据分析结果生成所述核查文件，其中，所述核查文件包括以下至少之一：所述数据文件的名称、所述数据文件的大小、所述数据文件的记录数、所述数据文件的时间参数。

优选地，在将所述数据文件和所述核查文件上传至指定的所述第一目标地址之前，所述方法还包括：判断当前所述任务是否需要执行合并操作；当需要执行合并操作时，将所述数据文件和所述核查文件上传至指定的第二目标地址，根据所述配置文件中合并节点的配置项，在所述第二目标地址内对所述数据文件进行合并和 /或对所述核查文件进行合并。

优选地，所述合并节点的配置项包括以下至少之一：合并前源文件所在路径、合并文件类型、文件核查个数、合并后文件分割最大记录阈值、文件分割序列号长度、合并后文件头内容配置、合并后文件名称、合并后文件保存路径、原始文件备份目录和保存时间、是否支持文件压缩。

另一方面，本发明实施例还提供一种数据同步的装置，包括：数据导出单元，配置为根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件；上传单元，配置为根据所述配置文件的配置，将所述数据文件上传至指定的第一目标地址，完成数据同步。

优选地，所述装置还包括：核查文件生成单元，配置为根据所述配置文件的配置，生成用于校验所述数据文件的核查文件，其中，所述核查文件中包含数据文件的属性信息；上传单元配置为将所述核查文件协同所述数据文件一同上传至指定的所述第一目标地址。

优选地，所述数据导出单元包括：第一确定模块，配置为根据所述配置文件中的数据库信息配置项，确定当前所述任务对应的数据库信息；第二确定模块，配置为根据确定的数据库信息，确定与当前所述任务对应的数据库服务器，并与确定的数据库服务器连接；执行模块，配置为执行所述配置文件中的导出脚本文件，从所述确定的数据库服务器中导出当前所述任务所需的数据文件。

优选地，核查文件生成单元包括；分析模块，配置为根据所述配置文件的配置，对导出的所述数据文件的属性进行分析；生成模块，配置为根据分析结果生成所述核查文件，其中，所述核查文件包括以下至少之一：所述数据文件的名称、所述数据文件的大小、所述数据文件的记录数、所述数据文件的时间参数。

优选地，所述装置还包括：判断单元，配置为在将所述数据文件和所述核查文件上传至指定的所述第一目标地址之前，判断当前所述任务是否需要执行合并操作；合并单元，配置为在所述判断单元确定需要执行合并操作时，将所述数据文件和所述核查文件上传至指定的第二目标地址，根据所述配置文件中合并节点的配置项，在所述第二目标地址内对所述数据文件进行合并和 /或对所述核查文件进行合并。

另一方面，本发明实施例还提供一种数据同步的系统，包括：数据库客户端、数据库服务器以及上述的数据同步的装置，其中，数据同步的装置与数据库客户端连接，配置为通过所述数据库客户端访问所述数据库服务器。

本发明实施例有益效果如下：

在本发明实施例中，通过对配置文件的不同配置，获取数据同步过程中不同任务所需的数据文件，以完成不同任务的数据同步，这种数据同步的方式有效地解决了相关技术中文件同步方式只能针对特定服务器的特定功能进行同步，通用性较差的问题，提高了数据同步的灵活性。附图说明

图 1 是本发明实施例一中数据同步的方法的一种优选的流程图；图 2 是本发明实施例一中数据同步的方法中导出数据文件的一种优选的流程图；

图 3 是本发明实施例一中数据同步的方法中合并文件的一种优选的流程图；

图 4是本发明实施例一中数据同步的方法中 FTP上传文件的一种优选的流程图；

图 5 是本发明实施例二中数据同步的装置的一种优选的结构框图；图 6是本发明实施例二中数据同步的装置的另一种优选的结构框图；图 7 是本发明实施例二中数据同步的装置的又一种优选的结构框图；图 8 是本发明实施例二中数据同步的装置的又一种优选的结构框图。具体实施方式

为了解决现有技术中文件同步方式只能针对特定服务器的特定功能进行同步，通用性较差的问题，本发明实施例提供了一种数据同步的方法、装置和系统，下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本发明优选的实施例提供了一种数据同步的方法，图 1 示出该方法的一种优选的流程图，如图 1所示，该方法包括如下步骤：

S102 , 根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件；

优选地，通过数据库客户端访问数据库服务器，根据配置文件的配置项，向数据库服务器发送相关指令，优选地，该指令可以是用于导出数据文件的可执行的导出语句，也可以是 SQL脚本文件。

具体来说，在进行数据同步的系统内安装数据库客户端，通过该客户端提供远程访问和操作数据库服务器的能力。数据库服务器主要存储系统各种原始数据资源，需要时可导出同步给外部系统。优选地，考虑系统的负载均衡和运行安全因素，原始数据资源可以分散和备份在多个数据库服务器上。在获取数据文件过程中，根据配置文件的配置，向对应数据库服务器发送可执行导出语句或 SQL导出脚本文件，并根据执行结果返回生成数据文件。优选地，配置文件可支持多任务多数据库模式，即，配置文件可支持同时配置多个数据文件导出任务，各个导出任务之间相互独立，每个任务都可以对多个数据库进行访问和操作，并导出数据文件。

优选地，配置文件的各个任务为一个结构化节点配置，该节点配置具有扩展性，可通过复制整个节点来增加新的导出任务配置，部署时只需按具体情况稍作修改即可。优选地，配置文件各节点配置通常包括如下配置项：数据库信息配置、导出脚本文件配置项（包括导出前预处理 SQL语句配置、导出 SQL语句配置、导出后 SQL语句配置、导出数据文件名配置，导出数据文件存放路径配置）等。

S104, 才艮据配置文件的配置，将数据文件上传至指定的第一目标地址，以完成数据同步。

优选地，根据配置文件的配置，将数据文件上传至指定的第一目标地址时，还包括：根据配置文件的配置，生成用以校验数据文件的核查文件，其中，核查文件中包含数据文件的属性信息；将核查文件协同数据文件一同上传至指定的第一目标地址。

具体来说，根据配置文件的配置，对上述导出的数据文件的属性进行分析，并记录，根据分析结果生成核查文件，即将记录结果作为核查文件，该核查文件用于对生成的数据文件进行校验。优选地，该核查文件包括但不限于以下参数：数据文件的名称、数据文件的大小、数据文件的记录数、数据文件的时间参数。

优选地，核查文件的记录规则可以如下：无文件头，一行是一条记录，以 "\r\n" 结束，每条记录的各个字段之间以，分隔符按顺序相连。内容包括导出数据文件名称、文件大小、文件总记录数以及文件生成日期时间等。进一步地，核查文件通过配置可实现三种生成模式：不生成、 ——对应生成模式以及一对多模式。这里， ——对应生成模式即一个核查文件只记录一个导出数据文件；一对多模式，即一个核查文件记录多个导出数据文件。此外，核查文件的内容支持自由组合配置，通过配置可选择性记录数据文件属性。优选地，可支持的变量替换包括导出数据文件名称

{filename} , 文件大小 {filesize}、文件总记录数 {totalline}以及文件生成曰期 {datetime} 。假定核查文件内容配置如下： checkcontent={ filename} | {totalline} | {datetime}，则核查文件己录内容只包括导出数据文件名称、文件总记录数以及文件生成日期三个属性。将数据文件和核查文件上传至外部系统指定的服务器目录，通过核查文件中包含的属性信息对该数据文件进行校验，保证数据同步。优选地，基于文件传输协议（FTP, File Transfer Protocol )同步上传文件。这里， FTP 是 TCP/IP网络上两台计算机传送文件的协议。进一步地，上传过程支持多任务模式，每个任务之间相互独立，各个任务为一个结构化节点配置，该节点配置具有扩展性，可通过复制整个节点来增加新的上传任务配置，部署时只需按具体情况稍作修改即可。各个节点配置通常包括上传文件类型、对端月良务器 IP地址、 FTP指定端口、 FTP用户名、 FTP密码以及 FTP远程路径等。优选地，在上传过程中，还支持失败重传机制，具体地，在上传之前判断连接和登录远程服务器是否正常，正常连接，则开始同步上传。如果上传失败，则继续重传，当失败次数超过限定值，则向告警模块发送文件上传失败信息，并记录日志备查。告警模块配置为接收各种告警和错误通知消息，并入库保存，用户可通过巡检工具查询并显示该告警信息。通知消息，一般包括发送方进程号、业务类型标识、告警级别、错误码以及错误描述信息等。此外，还可以通过日志模块记录各个模块的操作步骤和执行的情况，便于跟踪和定位问题。

在本发明实施例中，通过对配置文件的不同配置，获取数据同步过程中不同任务所需的数据文件，以完成不同任务的数据同步，这种数据同步的方式有效地解决了相关技术中文件同步方式只能针对特定服务器的特定功能进行同步，通用性较差的问题，提高了数据同步的灵活性。

在本发明的一个优选的实施方式中，还对上述方法进行了优化，具体来说，提供了一种根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件的方案，该方案包括如下步骤：根据配置文件中的数据库信息配置项，确定当前任务对应的数据库信息；根据确定的数据库信息，确定与当前任务对应的数据库服务器，并与确定的数据库服务器连接；执行配置文件中的导出脚本文件，从确定的数据库服务器中导出当前任务所需的数据文件。

优选地，数据库信息配置项为一组字符串，并且具有扩展性，支持多行配置。优选地，配置规则如下：是各字段以分割线，作为分隔符按顺序相连，它们依次是数据库类型、数据库服务名、登录用户名、登录密码和导出过程文件名称。进一步地，导出脚本文件（如导出前和导出后 SQL 语句的配置）也支持多行配置，此时系统识别并组装为 SQL脚本文件。此外，各 SQL语句配置和文件名配置还支持日期变量替换，包括 YYYY、

MM、 DD，并可以自由组合，如 YYYYMMDD表示当前年月日。

下面结合附图对上述导出数据文件的过程进行具体描述：

图 2示出一种导出数据文件的优选的流程图，如图 2所示，主要包括如下步骤：

步骤 202，在流程开始时，系统判断定时任务时间是否已经到达，如果时间到达，则执行步骤 204，否则，返回并继续等待。

步骤 204，从任务列表中查找到一个任务，如果任务不存在或者均已经完成，则返回结束，否则，进入步骤 206。

步骤 206，根据任务和配置节点映射关系，获取该任务的对应配置项集合。

步骤 208，解析配置项集合，分解数据库信息配置并保存，对导出文件名称配置进行变量替换处理，对所有 SQL语句配置进行变量替换处理后，生成 SQL脚本文件，然后进入步骤 210。

步骤 210，从数据库信息配置中，获取一个数据库信息，该数据库信息包括：数据库类型、数据库服务名、登录用户名、登录密码和导出过程文件名称，如果获取成功，则进入步骤 212，否则，进入步骤 214。

步骤 212，根据获取到的数据库信息，远程连接和登录该数据库服务器，操作执行 SQL导出脚本，并根据返回结果，生成数据文件。

步骤 214，结束该任务，保存数据文件到指定目录。然后转步骤 204，开始下一个任务。

在本发明的一个优选的实施方式中，还对上述方法进行了优化，具体地，将数据文件和核查文件上传至指定的第一目标地址之前，方法还包括；判断当前任务是否需要执行合并操作；若判断结果为是，则将数据文件和核查文件上传至指定的第二目标地址，根据配置文件中合并节点的配置项，在第二目标地址内对数据文件进行合并和 /或对核查文件进行合并。

具体来说，根据配置文件配置，对指定服务器目录下指定类型的文件进行核查并合并，生成新的数据文件。此功能作为可选功能，通常系统在做数据割接或扩容时，加载该功能，将割接后的多个服务器上数据库导出的数据文件和 /或核查文件合并起来，合并后的文件名称保持与割接升级前一致。

进一步地，该功能支持多任务模式，每个任务之间相互独立，各个任务为一个结构化节点配置，该节点配置具有扩展性，可通过复制整个节点来增加新的合并任务配置。各节点配置通常包括以下至少之一：合并前源文件所在本地路径、合并文件类型、文件核查个数、合并后文件分割最大记录阈值、文件分割序列号长度、合并后文件头内容配置、并后文件名称、合并后文件所在本地保存路径、原始文件备份目录和保存时间以及是否支持文件压缩等。

优选地，合并文件类型支持通配符模式。通配符是一种特殊语句，主要有星号 (*)和问号 (？)，用来模糊搜索文件。文件核查个数是指在合并前巡检源文件目录，检索文件类型包含文件个数达到合并要求的最小值。

优选地，合并后文件支持文件头配置，若不配置则无文件头，具体内容可通过配置直接描述，其中，配置可包含的替换变量有：合并后总记录数 {totalnum}和日期时间 { datetime}。

优选地，合并后文件还支持最大记录阈值分割。具体地，若配置为空，则文件记录大小不受限制，否则，当超过文件限定的记录数，对合并后文件进行分割拆分，根据文件分割序列号长度和位置配置，对分割文件重新命名分配名称。同样，文件名配置也支持日期变量替换，包括 YYYY、 ΜΜ、 DD，并可以自由组合，如 YYYYMMDD表示当前年月日。分割序列号在文件名称位置通过配置变量替换 { SEQ }实现。假定文件分割序列号长度为 4，合并后文件名称配置如下：

filename=cardinfo_YYYYMMDD_ {SEQj .txt,

则合并再分割的文件名称形如： cardinfo_20120515_0001.txt。

优选地，对合并后文件进行压缩，对原始数据文件复制到指定目录进行备份，并定期清理备份目录下过期文件。

下面结合附图对上述合并文件的实现方法进行具体描述：

图 3示出一种合并文件的实现流程图，如图 3所示，包括如下步骤：步骤 302、在流程开始时，系统判断定时任务时间是否已经到达，如果时间到达，则执行步骤 304，否则，返回继续等待。

步骤 304，从任务列表中查找到一个任务，如果任务不存在或者均已经完成，则返回结束，否则，进入步骤 306。

步骤 306，根据任务和配置节点映射关系，获取该任务的对应配置项集合。

步骤 308，对该任务配置的目标目录下的文件进行过滤处理，核查是否与文件类型配置一致、是否存在文件头且与配置是否一致、文件内容是否为空、文件个数是否达到要求合并的最小值等，然后，进入步骤 310。

步骤 310，对目标目录下符合要求的文件进行内容合并处理，写入一个临时文件中，并复制源文件到备份目录，然后，进入步骤 312。步骤 312，对临时文件的总记录数进行校验并判定，如果超过文件分割规则设定的阈值，则进入步骤 314，否则，进入步骤 316。

步骤 314，对临时文件按照文件分割规则进行拆分处理，生成多个数据文件。这些数据文件名称通过变量替换获取分割序列号值，随文件拆分个数按顺序递增。在合并后文件名称配置项中，该分割序列号位置支持自由配置。然后，进入步骤 316。

步骤 316，改临时文件或拆分后文件为正式文件，并保存到指定目录，结束该任务，然后，转至步骤 304，开始下一个任务。

图 4示出一种 FTP上传文件的优选的流程图，如图 4所示，包括如下步骤：

步骤 402，在流程开始时，系统判断定时任务时间是否已经到达，如果时间到达，则执行步骤 404，否则，返回继续等待。

步骤 404，从任务列表中查找到一个任务，如果任务不存在或者均已经完成，则返回结束，否则，进入步骤 406。

步骤 406，根据任务和配置节点映射关系，获取该任务的对应配置项集合，然后，进入步骤 408。

步骤 408，解析该任务下配置项集合，获取远程服务器 FTP相关信息，判断目标目录下存在需要上传的文件，然后进行 FTP连接和登录测试。如果登录成功，则进入步骤 410，否则，发送告警消息并记录日志，进入步骤 416。

步骤 410，开始上传该任务配置的目标目录下符合文件类型要求的文件，然后，进入步骤 412。

步骤 412，对 FTP上传返回结果进行判定，如果失败，则进入步骤 414，否则，进入步骤 416。

步骤 414，对 FTP失败次数进行统计，如果失败次数低于配置限定值，则进入步骤 410，重新上传，否则，发送告警消息并记录日志，进入步骤 416。

步骤 416，转移目标目录下文件到备份目录，并结束该任务。然后，转至步骤 404，开始下一个任务。

实施例二

基于上述实施例一中提供的数据同步的方法，本优选的实施例提供了一种数据同步的装置，图 5 示出上述装置的一种优选的结构框图，如图 5 所示，该装置包括：

数据导出单元 502，配置为根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件；优选地，数据导出单元 502通过数据库客户端访问数据库服务器，根据配置文件的配置项，向数据库服务器发送相关指令，优选地，该指令可以是用于导出数据文件的可执行的导出语句，也可以是 SQL脚本文件。

具体来说，在进行数据同步的系统内安装数据库客户端，数据导出单元 502通过该客户端提供远程访问和操作数据库服务器的能力。数据库服务器主要存储系统各种原始数据资源，需要时可导出同步给外部系统。优选地，考虑系统的负载均衡和运行安全因素，原始数据资源可以分散和备份在多个数据库服务器上。在获取数据文件过程中，根据配置文件的配置，向对应数据库服务器发送可执行导出语句或 SQL导出脚本文件，并根据执行结果返回生成数据文件。优选地，配置文件可支持多任务多数据库模式，即，配置文件可支持同时配置多个数据文件导出任务，各个导出任务之间相互独立，每个任务都可以对多个数据库进行访问和操作，并导出数据文件。

上传单元 504，与数据导出单元 502连接，配置为根据配置文件的配置，将数据文件上传至指定的第一目标地址，以完成数据同步。

优选地，如图 6所示，上述装置还包括：核查文件生成单元 602，与数据导出单元 502和上传单元 504连接，配置为根据配置文件的配置，生成用以校验数据文件的核查文件，其中，核查文件中包含数据文件的属性信息，上传单元 504将核查文件协同数据文件一同上传至指定的第一目标地址。在第一目标地址内，根据核查文件中包含的属性信息对数据文件进行校验，以完成数据同步。

优选地，核查文件生成单元 602 包括：分析模块，配置为根据配置文件的配置，对导出的数据文件的属性进行分析；生成模块，配置为根据分析结果生成核查文件，其中，核查文件包括以下至少之一：数据文件的名称、数据文件的大小、数据文件的记录数、数据文件的时间参数。

优选地，核查文件的记录规则可以如下：无文件头，一行是一条记录，以 "\r\n" 结束，每条记录的各个字段之间以，分隔符按顺序相连。内容包括导出数据文件名称、文件大小、文件总记录数以及文件生成日期时间等。进一步地，核查文件通过配置可实现三种生成模式：不生成、 ——对应生成模式以及一对多模式。这里， ——对应生成模式即一个核查文件只记录一个导出数据文件；一对多模式，即一个核查文件记录多个导出数据文件。此外，核查文件的内容支持自由组合配置，通过配置可选择性记录数据文件属性。优选地，可支持的变量替换包括导出数据文件名称 {filename} , 文件大小 {filesize}以及文件总记录数 {totalline} , 文件生成日期 {datetime} 。假定核查文件内容配置如下： checkcontent={ filename} | {totalline} | {datetime}，则核查文件己录内容只包括导出数据文件名称、文件总记录数以及文件生成日期三个属性。

将数据文件和核查文件上传至外部系统指定的服务器目录，通过核查文件中包含的属性信息对该数据文件进行校验，保证数据同步。优选地，基于 FTP同步上传文件。这里， FTP是 TCP/IP网络上两台计算机传送文件的协议。进一步地，上传过程支持多任务模式，每个任务之间相互独立，各个任务为一个结构化节点配置，该节点配置具有扩展性，可通过复制整个节点来增加新的上传任务配置，部署时只需按具体情况稍作修改即可。各个节点配置通常包括上传文件类型、对端服务器 IP地址、 FTP指定端口、 FTP用户名、 FTP密码以及 FTP远程路径等。优选地，在上传过程中，还支持失败重传机制，具体地，在上传之前判断连接和登录远程服务器是否正常，正常连接，则开始同步上传。如果上传失败，则继续重传，当失败次数超过限定值，则向告警模块发送文件上传失败信息，并记录日志备查。告警模块配置为接收各种告警和错误通知消息，并入库保存，用户可通过巡检工具查询并显示该告警信息。通知消息，一般包括发送方进程号、业务类型标识、告警级别、错误码以及错误描述信息等。此外，还可以通过日志模块记录各个模块的操作步骤和执行的情况，便于跟踪和定位问题。

在本发明的一个优选的实施方式中，还对上述装置进行了优化，具体来说，提供了一种根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件的方案，如图 7所示，数据导出单元包括：第一确定模块 702，配置为根据配置文件中的数据库信息配置项，确定当前任务对应的数据库信息；第二确定模块 704，与第一确定模块 702连接，配置为根据确定的数据库信息，确定与当前任务对应的数据库服务器，并与确定的数据库服务器连接；执行模块 706，与第二确定模块 704连接，配置为执行配置文件中的导出脚本文件，从确定的数据库服务器中导出当前任务所需的数据文件。

优选地，数据库信息配置项为一组字符串，并且具有扩展性，支持多行配置。优选地，配置规则如下：是各字段以分割线，作为分隔符按顺序相连，它们依次是数据库类型、数据库服务名、登录用户名、登录密码和导出过程文件名称。进一步地，导出脚本文件（如导出前和导出后 SQL 语句的配置）也支持多行配置，此时系统识别并组装为 SQL脚本文件。此外，各 SQL语句配置和文件名配置还支持日期变量替换，包括 YYYY、 MM、 DD，并可以自由组合，如 YYYYMMDD表示当前年月日。

在本发明的一个优选的实施方式中，还对上述装置进行了优化，具体地，如图 8所示，该装置还包括：判断单元 802，配置为在将数据文件和核查文件上传至指定的第一目标地址之前，判断当前任务是否需要执行合并操作；合并单元 804，与判断单元 802连接，配置为在判断单元 802确定需要执行合并操作时，则将数据文件和核查文件上传至指定的第二目标地址，根据配置文件中合并节点的配置项，在第二目标地址内对数据文件和 /或对核查文件进行合并。具体来说，根据配置文件配置，对指定服务器目录下指定类型的文件进行核查并合并，生成新的数据文件。此功能作为可选功能，通常系统在做数据割接或扩容时，加载该功能，将割接后的多个服务器上数据库导出的数据文件和 /或核查文件合并起来，合并后的文件名称保持与割接升级前一致。

进一步地，该功能支持多任务模式，每个任务之间相互独立，各个任务为一个结构化节点配置，该节点配置具有扩展性，可通过复制整个节点来增加新的合并任务配置。各节点配置通常包括合并前源文件所在本地路径、合并文件类型、文件核查个数、合并后文件分割最大记录阈值，文件分割序列号长度、合并后文件头内容配置、合并后文件名称、合并后文件所在本地保存路径、原始文件备份目录和保存时间以及是否支持文件压缩等。

filename=cardinfo_YYYYMMDD_ {SEQj .txt,

则合并再分割的文件名称形如： cardinfo_20120515_0001.txt。

实际应用时，数据导出单元、上传单元、核查文件生成单元、判断单元以及合并单元可由数据同步的装置中的中央处理器（CPU， Central Processing Unit )、数字信号处理器（DSP， Digital Signal Processor )或可编程逻辑阵列（FPGA， Field - Programmable Gate Array ) 实现。

实施例三

基于上述实施例一提供的数据同步的方法和实施例二中提供的数据同步的装置，本优选的实施例提供了一种数据同步的系统，该系统包括：数据库客户端、数据库服务器以及上述实施例二中记载的数据同步的装置，其中，数据同步的装置与数据库客户端连接，配置为通过数据库客户端访问数据库服务器。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims

权利要求书

1、一种数据同步的方法，包括：

根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件；

根据所述配置文件的配置，将所述数据文件上传至指定的第一目标地址，完成数据同步。

2、如权利要求 1所述的方法，其中，所述根据所述配置文件的配置，将所述数据文件上传至指定的第一目标地址时，所述方法还包括：

根据所述配置文件的配置，生成用于校验所述数据文件的核查文件，其中，所述核查文件中包含所述数据文件的属性信息；

将所述核查文件协同所述数据文件一同上传至指定的所述第一目标地址。

3、如权利要求 1或 2所述的方法，其中，所述根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件包括：

根据所述配置文件中的数据库信息配置项，确定当前所述任务对应的数据库信息；

根据确定的数据库信息，确定与当前所述任务对应的数据库服务器，并与确定的数据库服务器连接；

执行所述配置文件中的导出脚本文件，从所述确定的数据库服务器中导出当前所述任务所需的数据文件。

4、如权利要求 2所述的方法，其中，所述根据所述配置文件的配置，生成用于检验所述数据文件的核查文件包括：

根据所述配置文件的配置，对导出的所述数据文件的属性进行分析；根据分析结果生成所述核查文件，其中，所述核查文件包括以下至少之一：所述数据文件的名称、所述数据文件的大小、所述数据文件的记录数、所述数据文件的时间参数。

5、如权利要求 2所述的方法，其中，在将所述数据文件和所述核查文件上传至指定的所述第一目标地址之前，所述方法还包括：

判断当前所述任务是否需要执行合并操作；

当需要执行合并操作时，将所述数据文件和所述核查文件上传至指定的第二目标地址，根据所述配置文件中合并节点的配置项，在所述第二目标地址内对所述数据文件进行合并和 /或对所述核查文件进行合并。

6、如权利要求 5所述的方法，其中，所述合并节点的配置项包括以下至少之一：合并前源文件所在路径、合并文件类型、文件核查个数、合并后文件分割最大记录阈值、文件分割序列号长度、合并后文件头内容配置、合并后文件名称、合并后文件保存路径、原始文件备份目录和保存时间、是否支持文件压缩。

7、一种数据同步的装置，包括：

数据导出单元，配置为根据配置文件的配置，从数据库服务器中导出当前任务所需的数据文件；

上传单元，配置为根据所述配置文件的配置，将所述数据文件上传至指定的第一目标地址，完成数据同步。

8、如权利要求 7所述的装置，其中，所述装置还包括：

核查文件生成单元，配置为根据所述配置文件的配置，生成用于校验所述所述数据文件的核查文件，其中，所述核查文件中包含所述数据文件的属性信息；

所述上传单元配置为将所述核查文件协同所述数据文件一同上传至指定的所述第一目标地址。

9、如权利要求 7或 8所述的装置，其中，所述数据导出单元包括：第一确定模块，配置为根据所述配置文件中的数据库信息配置项，确定当前所述任务对应的数据库信息；

第二确定模块，配置为根据确定的数据库信息，确定与当前所述任务对应的数据库服务器，并与确定的数据库服务器连接；

执行模块，配置为执行所述配置文件中的导出脚本文件，从所述确定的数据库服务器中导出当前所述任务所需的数据文件。

10、如权利要求 8所述的装置，其中，所述核查文件生成单元包括；分析模块，配置为根据所述配置文件的配置，对导出的所述数据文件的属性进行分析；

生成模块，配置为根据分析结果生成所述核查文件，其中，所述核查文件包括以下至少之一：所述数据文件的名称、所述数据文件的大小、所述数据文件的记录数、所述数据文件的时间参数。

11、如权利要求 8所述的装置，其中，所述装置还包括：

判断单元，配置为在将所述数据文件和所述核查文件上传至指定的所述第一目标地址之前，判断当前所述任务是否需要执行合并操作；

合并单元，配置为在所述判断单元确定需要执行合并操作时，将所述数据文件和所述核查文件上传至指定的第二目标地址，根据所述配置文件中合并节点的配置项，在所述第二目标地址内对所述数据文件进行合并和 / 或对所述核查文件进行合并。

12、一种数据同步的系统，包括：数据库客户端、数据库服务器以及权利要求 7至 11中任一项所述的数据同步的装置，其中，所述数据同步的装置与所述数据库客户端连接，配置为通过所述数据库客户端访问所述数据库服务器。