WO2011153803A1

WO2011153803A1 - 一种数据库同步部署及监控的方法和装置

Info

Publication number: WO2011153803A1
Application number: PCT/CN2010/079870
Authority: WO
Inventors: 史美康
Original assignee: 中兴通讯股份有限公司
Priority date: 2010-06-09
Filing date: 2010-12-16
Publication date: 2011-12-15
Also published as: CN101854400A; CN101854400B

Description

一种数据库同步部署及监控的方法和装置技术领域

本发明涉及数据库集群技术。尤其涉及一种快速执行数据库同步部署及监控的方法和装置。背景技术

当前数据库集群技术分属两类体系结构：基于数据库引擎的集群技术和基于数据库网关 (中间件)的集群技术。其中基于数据库引擎的集群技术又可分为共享磁盘或非共享磁盘两种方式。在数据集群技术中，为了提高数据库的高可用性，其中一种方式是通过数据同步提供数据冗余，目前无论是数据库引擎自身还是第三方厂家提供的数据同步功能，虽然功能强大可以满足各种同步需求，但是无一例外地操作复杂，部署一套同步系统需要操作人员具备专业素质，不利于普通工程人员进行安装和维护，并且没有一套统一的监控系统，可以监控数据的同步情况，不利于集中化管理和维护。发明内容

有鉴于此，本发明的主要目的在于提供一种数据库同步部署及监控的方法和装置，用于解决部署数据库集群系统时，数据同步功能安装配置复杂，不利于集中化管理、监控和维护的技术问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种数据库同步部署及监控的装置，该装置包括：

元数据管理模块，用于存储和管理与数据库同步相关的配置参数、元数据信息；数据同步模块，用于依据元数据管理模块提供的与各同步数据库相关的配置参数将各同步数据库所在节点的操作系统参数和数据库参数调整为适合执行数据同步的初始化值，以及在接收到操作维护模块的同步指令时，依据元数据管理模块提供的与数据库同步相关的元数据信息，执行数据同步；

操作维护模块，用于提供对元数据管理模块、数据同步模块的统一的操作维护功能界面。

同步监控模块，用于实时监控同步进程，获取同步状态信息、同步过程中产生的异常信息，并将获取的信息上报操作维护模块；还用于在根据设定阔值发现同步异常时，发出告警信息和 /或进行预处理；

所述操作维护模块还用于显示所述同步状态信息及处理所述异常信息。

所述同步监控模块还用于定时获取各同步数据库节点的操作系统、数据库系统的系统运行指标信息，并将其发送给所述操作维护模块；所述操作维护模块还用于对接收到的各同步数据库节点的操作系统、数据库系统的系统运行指标信息进行统计分析。

所述与数据库同步相关的配置参数包括但不限于：同步关系属性、源数据库的同步参数、目标数据库同步参数、同步数据库操作系统配置参数；所述同步关系属性指执行数据库同步的源数据库和目标数据库的对应关系；所述数据库同步参数包括但不限于：相关同步进程的配置参数、数据库系统配置参数；所述元数据信息包括但不限于：同步的类型、同步的对象信息。

所述操作维护模块还用于单独或批量向一个或多个位于不同同步数据库的数据同步模块发送同步指令，各数据同步模块分别从所述元数据管理模块读取与各自同步数据库相关的配置参数及元数据信息，启动同步进程，执行数据同步。

基于上述装置，本发明还提出一种数据库同步部署及监控的方法，该方法包括：

步骤 A、通过元数据管理模块创建并初始化各同步数据库的配置参数、元数据信息；

步骤 B、依据操作维护模块发送的指令，数据同步模块根据元数据管理模块提供的与各同步数据库相关的配置参数将各同步数据库所在节点的操作系统参数和数据库参数调整为适合执行数据同步的初始化值；

步骤 C、位于各同步数据库的数据同步模块在接收到操作维护模块发送的同步指令后，读取元数据管理模块提供的元数据信息，启动同步进程。

步骤 D、在各同步数据库节点的同步进程启动后，启动位于各同步数据库节点的同步监控模块，实时监控数据同步进程，获取同步状态信息、同步过程中产生的异常信息，并将获取的信息上报操作维护模块；同步监控模块在根据设定阔值发现同步异常时，发出告警信息和 /或进行预处理。

进一步地，同步监控模块定时获取各同步数据库节点的操作系统、数据库系统的系统运行指标信息，并将获取的信息上报操作维护模块；所述操作维护模块还用于对接收到的各同步数据库节点的操作系统、数据库系统的系统运行指标信息进行统计分析。

进一步地，所述数据同步模块通过调用各同步数据库系统所提供的数据同步功能或第三方提供的数据同步功能，依据元数据管理模块提供的数据库配置参数及元数据信息，启动同步进程，执行数据同步。

本发明在各同步数据库部署数据同步模块、数据监控模块，在元数据管理模块创建与数据库同步相关的配置参数和元数据，通过操作维护模块提供统一的控制、显示和维护功能。通过本发明可集中对数据库集群进行数据库同步的部署、执行、显示及监控；釆用本发明所述方法和装置，工程人员可以根据指定规则，大规模多局点的部署数据库集群数据同步环境，而不需要专业数据库维护人员进行操作，降低了维护成本，提高工程的规范性，实现了数据同步的集中化管理、监控和维护。附图说明

图 1 为本发明的物理部署图；

图 2 为本发明数据库同步部署及监控装置的逻辑架构图；

图 3 为本发明实施例中数据库同步部署处理流程图；

图 4为本发明实施例中数据库同步监控处理流程图。具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并参照附图，对本发明进一步详细说明。

图 2为本发明提供的数据库同步部署及监控的装置结构图，所述装置包括：元数据管理模块、数据同步模块、同步监控模块及操作维护模块。

元数据管理模块，部署于各同步数据库当中或集中部署于一个管理节点上，用于存储和管理与数据库同步相关的配置参数、元数据信息；

所述与数据库同步相关的配置参数包括但不限于下述参数：同步关系属性、源数据库的同步参数、目标数据库同步参数、同步数据库操作系统配置参数等；同步关系属性指执行数据库同步的源数据库和目标数据库的对应关系，即哪个数据库为同步源节点，哪个数据库为同步的目标节点；数据库同步参数包括但不限于：相关同步进程的配置参数、数据库系统配置参数；源数据库的同步参数包括但不限于如下一些参数：例如捕获进程的配置参数、传播进程的配置参数、同步队列的配置参数等；目标数据库的同步参数包括但不限于如下一些参数：例如应用进程配置参数、同步队列配置参数等。所述元数据信息包括：同步的类型、同步的对象信息，同步的类型包括：基于表的同步、基于空间的同步、基于数据库用户的同步等；同步的对象信息为与同步的类型相对应的具体的对象信息，例如同步的表结构信息、数据库空间信息、数据库用户信息、索引信息等。

数据同步模块，部署于各同步数据库节点上，用于在接收到操作维护模块的同步指令时，调用各数据库系统所提供的数据同步功能或第三方提供的数据同步功能，依据元数据管理模块提供的数据库配置参数及元数据信息，启动同步进程，执行数据同步；

同步监控模块，部署于各同步数据库节点上，用于实时监控同步进程，获取同步状态信息、同步过程中产生的异常信息，并根据预定义阔值产生告警信息，并获取的信息上报给操作维护模块；还用于定时获取同步节点的操作系统、数据库系统的系统运行指标等信息，上报给操作维护模块，提供给数据库管理员（DBA )进行分析；

操作维护模块：可独立位于一个操作维护节点上或部署于任意数据库或管理节点上，用于提供对元数据管理模块、数据同步模块及同步监控模块的统一的操作维护功能界面，具体功能包括：提供元数据的生成、导入和管理的操作维护界面；提供对各数据同步模块的操作维护界面，例如集中向数据同步模块发送同步开始或同步终止的同步指令等；提供对各同步监控模块的操作维护界面，例如接收和显示同步监控模块发送的同步状态及告警信息等。

基于图 1 的网络结构，可将本发明的数据同步模块和同步监控模块部署在各数据库服务器上，将元数据管理模块和操作维护模块部署在管理服务器上，通过操作维护模块提供的统一的操作维护界面进行部署操作。

本发明提供的数据同步部署及监控的方法包括以下步骤：

步骤 1、通过元数据管理模块创建同步数据库的配置参数、元数据信息，将所述同步数据库的配置参数、元数据信息存储于数据表或者配置文件（例如但不限于 XML文件等）；

步骤 2、通过元数据管理模块初始化元数据，包括但不限于以下两种方式：

通过初始化脚本或根据说明文档手工配置数据同步所需的相关元数据；

查询数据库数据字典，自动获取所有同步对象的原数据信息。

步骤 3、在执行同步前，依据操作维护模块发送的指令，由数据同步模块根据元数据管理模块提供的与各同步数据库相关的配置参数将各同步数据库所在节点的操作系统参数和数据库参数调整为适合执行数据同步的初始化值；

步骤 4、位于各同步数据库的数据同步模块在接收到操作维护模块发送的同步指令后，读取元数据管理模块提供的元数据信息，启动同步进程；步骤 5、在同步进程启动后，启动同步监控模块，获取同步状态信息、同步过程中产生的异常信息，并将获取的信息上报操作维护模块；操作维护模块集中对各同步数据库的同步状态、异常信息进行显示，并可执行相关的统计分析。

步骤 6、同步监控模块根据设定阔值，发现同步异常时，发出告警信息，可将告警信息上报给操作维护模块，由操作维护模块集中显示；同步监控模块对告警信息可根据知识库进行预处理，无法从知识库中获取处理方式的，则提示用户进行手工处理。

步骤 7、同步监控模块定时获取各同步数据库节点的操作系统、数据库系统的系统运行指标信息，并将获取的信息上报操作维护模块；通过操作维护模块对各同步监控模块上报的操作系统、数据库系统的系统运行指标进行统计分析，供数据库管理员（DBA )进行后期分析及系统优化。图 3为本发明基于 Oracle数据库实现表级数据同步的处理流程图，作为本发明的实施例所需的步骤包括：

步骤 301 , 通过元数据管理模块创建与数据库同步相关的配置参数、创建元数据表，数据流（streams )技术表级数据同步方式应用时，需要定义同步节点、同步队列、捕获、传播和应用进程、需要同步的表等相关元数据，根据需要，创立对应的元数据表；所述与数据库同步相关的配置参数也可通过数据表的方式存储和管理。

步骤 302, 通过操作维护模块提供的操作维护界面，完成 Streams技术表级数据同步所需要的各类元数据配置或导入，包括但不限于如下方式。

( a )若预定义的元数据釆用 XML文件或格式化文本文件方式存储，则可通过解析和导入工具将预定义的元数据导入到元数据表中；

( b )若预定义的元数据釆用 SQL脚本存储，则通过执行 SQL脚本将预定义的元数据导入到元数据表中；

( c )查询用户的数据库字典，自动获取所有用户表的信息插入元数据表。

步骤 303 ,通过操作维护模块可一次性批量向位于不同同步数据库节点上的数据同步模块发送同步指令，数据同步模块读取元数据管理模块中保存的与数据库同步相关的配置参数，修改同步数据库节点的操作系统和数据库相关系统参数，配置完成 Streams运行所需的系统环境，如 global— name、归档设置等等信息。

步骤 304, 数据同步模块根据配置参数在数据源节点创建 Streams捕获进程和同步发送队列，完成所需同步数据变化的捕获，将捕获数据放入同步发送队列中。

数据同步模块根据元数据管理模块管理的与数据库同步相关的配置参数，一次性完成所有同步发送队列、捕获进程的创建，并按照负荷分担方式将诸多捕获进程的捕获记录分配至多个同步队列，避免原 Oracle系统逐个创建同步队列、捕获进程和分配的繁瑣。

步骤 305 , 数据同步模块根据配置参数在数据源节点上创建 Streams传播进程，等待接受捕获数据，并完成从源节点同步队列向目标节点同步队列的传播。

数据同步模块可根据元数据管理模块管理的与数据库同步相关的配置参数，一次性完成所有从源节点至目标节点的传播进程创建，同时完成传播进程相关优化参数的调整，提高了部署效率

步骤 306, 数据同步模块根据配置参数在数据目标节点上创建 Streams 应用进程和同步接受队列，接受源节点传播进程发送来的数据变化，完成数据目标节点的数据更新同步。

数据同步模块可根据元数据管理模块管理的与数据库同步相关的配置参数，一次性完成所有同步接受队列和应用进程的创建，以及相关优化参数的设置工作，等待接受应用源数据库的变化。

步骤 307, 在各节点同步配置及同步进程启动完成后，在默认配置下，自动启动同步监控模块。

图 4本发明对数据同步过程进行统一监控的方法步骤流程，具体步骤包括：

步骤 401 , 完成数据同步相关进程启动后，启动位于数据同步节点上的同步监控模块，进行相关运行指标的监控；

步骤 402, 同步监控模块每隔 10秒（时间间隔可配置）从 Oracle系统动态视图中获取数据同步的运行信息，与预先设定的指标阔值进行比较。

步骤 403 ,对于超过预设阔值的异常，同步监控模块上报给操作维护模块以供界面显示，若允许自动恢复，则同步监控模块首先根据默认处理流程进行自动恢复处理，并进行相关日志记录；对于无法自动恢复的异常，同步监控模块将信息上报操作维护模块，操作维护模块可根据配置发出异常告警，通过告警系统通知 DBA进行人工干预。

步骤 404, 同步监控模块每隔 10秒（时间间隔可配置 )从 Oracle系统和操作系统 OS中获取数据同步、系统 10、 CPU占用率等运行数据，并上报给操作维护模块，生成统计数据，供操作维护终端进行趋势图表分析。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明保护范围之内。

Claims

权利要求书

1、一种数据库同步部署及监控的装置，其特征在于，该装置包括：元数据管理模块，用于存储和管理与数据库同步相关的配置参数、元数据信息；

数据同步模块，用于依据元数据管理模块提供的与各同步数据库相关的配置参数将各同步数据库所在节点的操作系统参数和数据库参数调整为适合执行数据同步的初始化值，以及在接收到操作维护模块的同步指令时，依据元数据管理模块提供的与数据库同步相关的元数据信息，执行数据同步；

2、根据权利要求 1所述的装置，其特征在于，所述装置还包括：同步监控模块，用于实时监控同步进程，获取同步状态信息、同步过程中产生的异常信息，并将获取的信息上报操作维护模块；还用于在根据设定阔值发现同步异常时，发出告警信息和 /或进行预处理；

3、根据权利要求 2所述的装置，其特征在于，

所述同步监控模块还用于定时获取各同步数据库节点的操作系统、数据库系统的系统运行指标信息，并将其发送给所述操作维护模块；

所述操作维护模块还用于对接收到的各同步数据库节点的操作系统、数据库系统的系统运行指标信息进行统计分析。

4、根据权利要求 1所述的装置，其特征在于，

5、根据权利要求 2所述的装置，其特征在于，

6、一种数据库同步部署及监控的方法，其特征在于，该方法包括：通过元数据管理模块创建并初始化各同步数据库的配置参数、元数据信息；

依据操作维护模块发送的指令，数据同步模块依据元数据管理模块提供的与各同步数据库相关的配置参数将各同步数据库所在节点的操作系统参数和数据库参数调整为适合执行数据同步的初始化值；

位于各同步数据库的数据同步模块在接收到操作维护模块发送的同步指令后，读取元数据管理模块提供的元数据信息，启动同步进程。

7、根据权利要求 6所述的方法，其特征在于，所述方法还包括：在各同步数据库节点的同步进程启动后，启动位于各同步数据库节点的同步监控模块，实时监控数据同步进程，获取同步状态信息、同步过程中产生的异常信息，并将获取的信息上报操作维护模块；

同步监控模块在根据设定阔值发现同步异常时，发出告警信息和 /或进行预处理。

8、根据权利要求 7所述的方法，其特征在于，所述方法还包括：同步监控模块定时获取各同步数据库节点的操作系统、数据库系统的系统运行指标信息，并将获取的信息上报操作维护模块；

9、根据权利要求 6所述的方法，其特征在于，

10、根据权利要求 6所述的方法，其特征在于，

所述数据同步模块通过调用各同步数据库系统所提供的数据同步功能或第三方提供的数据同步功能，依据元数据管理模块提供的数据库配置参数及元数据信息，启动同步进程，执行数据同步。