WO2016011904A1

WO2016011904A1 - 数据库访问方法及装置、数据库系统

Info

Publication number: WO2016011904A1
Application number: PCT/CN2015/083996
Authority: WO
Inventors: 李臻峰; 朱仲楚; 张建勋
Original assignee: 华为技术有限公司
Priority date: 2014-07-23
Filing date: 2015-07-14
Publication date: 2016-01-28
Also published as: CN105335403A; US20170132280A1; EP3173944A1; CN105335403B; US10534771B2; EP3173944A4; EP3173944B1

Abstract

提供一种数据库访问方法，包括如下步骤：接收客户端输入的访问请求，所述访问请求包含至少一条命令语句（101）；将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句，所述下沉语句为下发到数据库被所述数据源执行的语句（102）；将所述下沉语句传输到所述下沉语句指向的数据库(103)。还提供一种应用上述方法的数据库访问装置及数据库系统。

Description

数据库访问方法及装置、数据库系统

技术领域

本发明涉及数据库领域，尤其涉及一种数据库访问方法及装置、数据库系统。

背景技术

随着信息技术的发展，运营商IT系统集中化建设和面向互联网转型，企业数据集成应用增强以及互联网社区(如facebook、twitter等)和互联网业务(如微博、阅读、游戏、电子商务等)的广泛开展，数据库系统需要处理的数据量越来越大，传统的集中式数据库已越来越不能适应当前的需求，数据处理方式正由集中式向分布式转变。

分布式数据库系统通常由多个独立的计算机系统构成，每台计算机可单独放在一个地方，且每台计算机中都有数据库管理系统的一份完整拷贝副本，并具有自己的本地局部数据库，位于不同地点的许多计算机通过网络互相连接，从而共同组成一个完整的、全局的大型数据库。

联邦数据库技术是分布式数据库系统中的佼佼者之一，它提供了一个统一的用户访问界面，并屏蔽了数据库分库和分区及不同数据库之间的差异，用户使用联邦数据库系统访问数据，就像访问一个实际存在的数据库那样简单。然而由于涉及跨库处理，联邦数据库存在处理速度慢，容易出现锁争用和资源冲突等问题。因此联邦数据库或类似联邦数据库的分布式数据系统需要解决的问题就集中在如何提升处理效率。

联邦数据库提升处理效率的关键在于如何优化结构化查询语言(Structured Query Language,SQL)并输出最佳执行方案，现在的联邦数据库用于优化SQL的方案，有时会面临对数据表的数据进行重哈希或全网广播等情况，造成网络流量大以及数据在各个数据源的插入引起的对处理器和内存占用大等问题，从而导致数据处理速度慢、系统并发处理性能降低以及响应延时，无法满足使用要求。

发明内容

针对上述问题，本发明的目的在于提供一种数据库访问方法，通过预设一对应于所述SQL的规则集，对所述SQL进行规则匹配及变形处理后，生成满足数据源执行要求的变形语句，从而可以最大限度的利用数据源的数据处理能力，提升系统处理性能，避免了数据哈希造成的网络流量大及数据处理速度慢等问题。

第一方面，本发明提供一种数据库访问方法，包括如下步骤：

接收客户端输入的访问请求，所述访问请求包含至少一条命令语句；

将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句，所述下沉语句为下发到数据库被所述数据源执行的语句；

将所述下沉语句传输到所述下沉语句指向的数据库。

在第一方面的第一种可能的实现方式中，在所述接收客户端输入的访问请求之后，还包括：

对所述访问请求进行词法与语法解析与验证；

在第一方面的第二种可能的实现方式中，将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句，包括：

(1)根据所述访问请求包含的一条命令语句，查找为所述命令语句设置的规则集，所述规则集至少包含一条规则；

(2)将所述命令语句与查找得到的所述规则集内的规则逐一进行规则匹配，若所述命令语句中包含与所述规则集内的任一条规则匹配的语句时，对所述命令语句进行变形处理；

(3)将变形处理后的命令语句重新与所述规则集内的规则逐一进行规则匹配，并重复执行所述当变形处理后的命令语句包含与所述规则集内的任一条规则匹配的语句时，对所述变形处理后的命令语句进行变形处理的步骤，直至所述变形处理后的命令语句不包含与所述规则集内的任一条规则匹配的语句；

(4)分别对所述访问请求包含的其他命令语句执行步骤(1)至(3)后，生成执行计划，所述执行计划包括变形源访问请求及满足数据源执行要求的下沉语句。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述将所述下沉语句传输到所述变形语句指向的数据库之后，还包括：

收集所述数据源执行所述下沉语句后从所述数据库中提取的数据记录，并根据所述变形源访问请求指定的方式处理所述数据记录，以获得处理结果；及

将所述处理结果发送至所述客户端。

第二方面，本发明提供一种数据库访问装置，包括：

接收单元，用于接收所述客户端输入的访问请求，所述访问请求至少包含一条命令语句；

处理单元，用于将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句；

执行单元，用于将所述下沉语句传输到所述下沉语句指向的数据库。

在第二方面的第一种可能的实现方式中，所述装置还包括解析单元及验证单元，所述解析单元用于解析所述访问请求，以获得所述访问请求中的命令语句及所述命令语句包含的命令关键字、与所述命令关键字对应的语句及所述语句中的数据对象；所述验证单元用于验证所述命令语句，命令关键字是否合法或正确，若是，则通知所述处理单元，所述处理单元执行将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理的步骤。

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述装置还包括规则集单元，用于设置所述规则集。

结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述处理单元包括选择单元、匹配单元及变形单元，所述选择单元根据所述解析单元解析得到的命令关键字，从所述规则集单元中选择为所述命令关键字设置的规则集，所述匹配单元将与所述命令关键字对应的命令语句与所述规则集内的规则逐一进行规则匹配，当所述命令语句包含与所述规则集内的任一条规则匹配的语句时，通知所述变形单元对所述命令语句进行变形处理，所述匹配单元将变形处理后的命令语句重新与所述规则集内的规则逐一进行规则匹配，直至所述命令语句不包含与所述规则集内的任一条规则匹配的语句后，生成执行计划，所述执行计划包括变形源访问请求及满足数据源执行要求的下沉语句。

结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述装置还包括输出单元，所述执行单元还用以接收所述变形源访问请求，并收集所述数据源执行所述下沉语句获得的数据记录后，根据所述变形源访问请求指定的方式处理所述数据记录，生成处理结果，所述输出单元收集所述处理结果并将所述处理结果输出至所述客户端。

第三方面，本发明实施例提供一种数据库系统，所述数据库系统包括至少一个客户端、至少两个数据库及第二方面及第二方面的第一种至第四种任一实现方式所述的数据库访问装置，其中：所述客户端，用于发出访问请求；所述数据库访问装置，用于接收所述访问请求并对所述访问请求进行规则匹配及变形处理后，生成变形源访问请求及若干下沉语句，并将所述下沉语句发送至所述下沉语句指向的数据库；所述数据库，用于在接收到所述下沉语句后执行所述下沉语句，并将所述数据库内满足所述下沉语句要求的数据记录传输至所述数据库访问装置；所述数据库访问装置还用于接收所述数据记录，并根据所述变形源访问请求处理所述数据记录并生成处理结果后，将所述处理结果传输至所述客户端。

本发明实施例提供的数据库访问方法、装置及数据库系统，通过预设一包含所有可能应用到的SQL的规则集，利用所述规则集对输入的SQL进行规则匹配处理及变形处理后，生成满足数据源执行要求的下沉语句，从而可以最大限度的利用数据源的数据处理能力，提升系统处理性能，避免了数据哈希造成的网络流量大及数据处理速度慢等问题，满足使用要求。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数据库系统的结构示意图。

图2是本发明实施例提供的一种数据库访问装置的结构示意图。

图3是本发明实施例提供的一种数据库访问方法的流程示意图。

图4是本发明实施例提供的另一种数据库访问方法的流程示意图。

图5是本发明实施例提供的另一种数据库访问装置的结构示意图。

图6是图示所示的处理单元的结构示意图。

图7是本发明实施例提供的另一种数据库访问装置与客户端及数据库的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种数据库访问方法及装置、数据库系统，用于提高分布式数据库系统的处理效率，以下分别进行详细说明。

为了便于理解本发明实施例，下面先对本发明实施例的数据库系统进行描述。请参阅图1，图1是本发明实施例提供的数据库系统的结构示意图，所述数据库系统包括至少一个客户端200、数据库访问装置及由至少两个物理节点(如图1中的节点A、节点B及节点C)构成的节点队列，所述客户端200、数据库访问装置及节点队列可通过局域网、城域网、广域网或其他通信协议方式实现数据的传输，其中，所述节点内具有数据库，所述数据库内包含有至少一个数据源，所述数据源为数据库中对数据表、视图、储存过程等资源进行管理的一个对象，如Oracle数据库中的一个用户(schema)或MySQL数据库中的一个数据库(database)。所述客户端200发出访问请求，所述数据库访问装置接收并解析、优化所述访问请求后，生成包含下沉语句及变形源访问请求的执行计划，所述下沉语句发送至指定的数据库，所述数据库中的数据源执行所述下沉语句后从所述数据库内获取符合下沉语句要求的数据记录后将所述数据记录传输至所述数据库访问装置，所述数据库访问装置根据所述变形源访问请求定义的函数对所述数据记录进行处理后获得处理结果，并将所述处理结果传输至所述客户端200。

在本发明实施例中，所述客户端200可为个人计算机，所述节点可为数据库服务器，所述数据库系统还包括有应用程序编程接口(Application Program Interface，API)，所述API可为Java数据库连接(Java DataBase Connectivity，JDBC)或者开放式数据库连接(Open Database Connectivity，ODBC)，其用以提供访问请求在所述数据库访问装置与所述客户端200及所述节点队列之间传输的接口，从而实现所述访问请求在所述数据库访问装置与所述客户端200及所述节点队列之间的传输。

请参阅图2，图2是本发明实施例提供的一种数据库访问装置的结构示意图，用于执行本发明实施例提供的数据库访问方法，如图2所示，该数据库访问装置包括：至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12。通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。

在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

应用模块152，包含设备控制服务程序、设备识别服务程序等各种应用程序，用于实现各种应用业务。

具体地，处理器11用于调用存储器15中存储的程序，执行以下操作：

将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句，所述下沉语句为下发到数据库被所述数据源执行的语句；

将所述下沉语句传输到所述下沉语句指向的数据库。

上述技术方案中，所述数据库访问装置通过将其预设的规则集内的规则与所述访问请求包含的命令语句进行规则匹配处理，并将所述访问请求中包含的与所述规则相匹配的语句进行变形处理，从而生成下沉语句，所述下沉语句是根据输入的访问请求经过优化和变形处理而来的，是具有最大粒度的交付给各个数据源处理的下沉语句，从而可以最大限度的利用数据源的数据处理能力，提升系统处理性能。

在另一个实施例中，所述处理器11还可用于执行以下操作：

对所述访问请求进行语法解析及验证；

将所述下沉语句传输到所述下沉语句指向的数据库；

收集所述数据源执行所述下沉语句后从所述数据库中提取的数据，并根据变形源访问请求指定的方式处理所述数据，以获得处理结果；及

将所述处理结果发送至所述客户端。

为了更清楚的说明本发明实施例，下面将详细介绍所述数据库访问装置执行上述两个实施例的操作过程。

请参阅图3，图3是本发明实施例提供的一种数据库访问方法的流程示意图，其至少包括如下步骤：

101，接收客户端输入的访问请求，所述访问请求包含至少一条命令语句。

在本发明实施例中，所述数据库访问装置分别与所述客户端200及所述节点队列建立连接后，接收所述客户端200通过运行其存储器内存储的特定应用程序(如数据库访问程序)发出的访问请求，所述访问请求可为SQL，该SQL包含至少一条命令语句，以通过所述命令语句对所述节点队列上的数据库进行相应操作，如通过所述命令语句对所述数据库内的数据进行条件查询、排序、求和等访问操作。

102，将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句，所述下沉语句为下发到数据库被所述数据源执行的语句。

在本发明实施例中，所述数据库访问装置对接收到所述SQL进行优化、分解以及变形等处理，以生成一执行计划。具体为，所述数据库访问装置针对所述SQL里的所有的命令语句均对应设置了一规则集，所述规则集汇聚了与所述命令语句对应的规则(如变形规则)，以对所述命令语句进行变形等处理，从而生成满足数据源执行要求的下沉语句，以充分利用所述数据源的数据处理能力，同时所述规则集内的规则还可根据认识的深入进行扩充、修改或更新。

具体为，所述将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句，包括如下步骤：

(1)根据所述访问请求包含的一条命令语句中的命令关键字，查找为所述命令关键字设置的规则集，所述规则集至少包含一条规则。

在本发明实施例中，所述访问请求可包含若干命令语句，所述命令语句均含有命令关键字，所述数据库访问装置为所述的每个命令语句均构建了一个规则集，当所述数据库访问装置获取一条命令语句时，所述数据库访问装置通过所述命令关键字从全部的规则集中选择为所述命令关键字设置的规则集，所述规则集内包含了所述命令语句可能面临的各种下沉处理及变形处理的规则。

(2)将所述命令语句与查找得到的所述规则集内的规则逐一进行规则匹配，若所述命令语句中包含与所述规则集内的任一条规则匹配的语句时，对所述命令语句进行变形处理。

在本发明实施例中，所述数据库访问装置将所述规则集内的规则依次逐一与所述命令语句进行规则匹配处理，如所述规则集内包含第一规则、第二规则至第N规则共N条规则，所述数据库访问装置先将所述命令语句与所述第一规则进行规则匹配处理，若所述命令语句包含与所述第一规则匹配的语句，则对所述命令语句进行变形处理，否则，将所述命令语句与所述第二规则进行规则匹配处理。当在规则匹配处理过程中发现所述命令语句中包含与所述规则集内的任一条规则匹配的语句时，对所述命令语句进行变形处理，所述变形处理可能是对所述命令语句形式的改变，也可能是将所述命令语句分解成一些有前后关系的语句或者同时进行分解及形式改变的处理。

(3)将变形处理后的命令语句重新与所述规则集内的规则逐一进行规则匹配，并重复执行所述当变形处理后的命令语句包含与所述规则集内的任一条规则匹配的语句时，对所述变形处理后的命令语句进行变形处理的步骤，直至所述变形处理后的命令语句不包含与所述规则集内的任一条规则匹配的语句。

在本发明实施例中，所述命令语句经过一次变形处理后，所述数据库访问装置重新将变形处理后的一条命令语句与所述规则集内的所有规则进行匹配处理，(依然从第一规则开始进行规则匹配处理)，并重复执行所述当变形处理后的命令语句包含与所述规则集内的任一条规则匹配的语句时，对所述变形处理后的命令语句进行变形处理的步骤，直至所述变形处理后的命令语句不包含与所述规则集内的任一条规则匹配的语句。此时，说明所述的命令语句已经完成了规则匹配及变形处理的过程。

在本发明实施例中，当所述数据库访问装置完成一条命令语句规则的匹配及变形处理后，所述数据库访问装置获取下一条命令语句，并选择为所述的另一条命令语句设置的规则集，随后重复执行上述的规则匹配及变形处理步骤，直至所述访问请求的所有命令语句均经过规则匹配及变形处理后，生成执行计划，所述执行计划包括变形源访问请求及若干满足数据源执行要求的下沉语句。其中，下沉为将SQL下发到节点队列内的数据库的操作过程。所述下沉语句为经过规则匹配和变形处理后从所述访问请求中分离出来的部分或全部命令语句，该下沉语句中还可能包含对所述命令语句进行变形后的语句，如修改所述命令语句中的函数名等变形处理后的语句，其本身也是一条独立的SQL，因而可被下发到节点队列内的数据库，并可被所述数据库的数据源所执行。由于所述下沉语句经过了上述的规则匹配及变形处理，因而所述数据源执行所述下沉语句时，只需根据所述下沉语句完成本地数据处理，而无需进行跨库和跨区处理。

103，将所述下沉语句传输到所述下沉语句指向的数据库。

在本发明实施例中，所述数据库访问装置将所述变形语句中的若干下沉语句传输至所述下沉语句指向的数据库，所述数据库内的数据源可执行所述下沉语句，由于所述下沉语句是具有最大粒度的交付给各个数据源处理的语句，所述节点队列中的数据源只需根据所述下沉语句完成本地数据处理，而无需进行跨库和跨区处理，因而可以最大限度的利用数据源的数据处理能力，提升系统处理性能。

上面技术方案中，所述数据库访问装置通过将其预设的规则集内的规则与所述访问请求包含的命令语句进行规则匹配处理，并将所述访问请求中包含的与所述下沉规则相匹配的语句进行变形处理，生成满足所述数据源执行要求的下沉语句，所述数据源通过所述下沉语句处理数据时具有较高的处理效率，且网络流量占用量小，用户体验较佳。

请参阅图4，图4是本发明实施例提供的另一种数据库访问方法的流程示意图。

201，接收客户端输入的访问请求，所述访问请求包含至少一条命令语句。

202，对所述访问请求进行词语与语法解析与验证。

具体为，所述对所述访问请求进行词法与语法解析与验证包括：

解析所述访问请求，以获得所述命令语句中包含的命令关键字、与所述命令关键字对应的语句及所述语句中的数据对象；

验证所述命令关键字、语句及数据对象是否合法或正确；

在本发明实施例中，所述数据库访问装置解析所述SQL后，对所述SQL进行词语与语法验证，如可验证所述输入的访问请求包含的命令关键字的拼写是否有误、所述语句的结构是否合法及所述数据对象是否存在等情况。当所述数据库访问装置在验证过程中发现所述访问请求存在错误或不合法语句时，则结束本次访问请求的访问，并将错误信息返回至所述客户端200，并提示用户根据所述错误信息进行修改。当所述数据库访问装置未在验证过程中发现所述访问请求存在错误或不合法语句时，则执行下一步骤。

203，将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句。

在本发明实施例中，所述数据库访问装置根据上述的解析结果，对所述访问请求中的命令语句进行规则匹配及变形处理，以生成执行计划，所述执行计划包括变形源访问请求及若干满足数据源执行要求的下沉语句。

204，将所述下沉语句传输到所述下沉语句指向的数据库。

205，收集所述数据源执行所述下沉语句后从所述数据库中提取的数据记录，并根据所述变形源访问请求指定的方式处理所述数据记录，以获得处理结果。

在本发明实施例中，所述数据源接收到所述下沉语句后，通过执行所述下沉语句，如在数据源内部执行查询、排序，或者对分区内的数据记录执行聚集处理等操作，并将操作获得的数据记录返回至所述数据库访问装置，所述数据库访问装置接收所述数据记录后，根据所述变形源访问请求指定的方式处理所述数据记录，例如通过变形源访问请求定义的函数(可为求和函数，求平均函数，求最值函数等)对所述的各个数据源获得的数据记录做进一步处理，以完成各个数据源无法完成的跨分区或跨数据库等数据处理过程，所述数据库访问装置处理所述数据后可获得处理结果。

206，将所述处理结果发送至所述客户端。

在本发明实施例中，所述数据库访问装置将所述处理结果发送至所述客户端200，所述处理结果即为所述客户端200所需的查询结果。

为了更清楚的说明上述的数据库访问方法的流程及处理过程，下面将以一个具体的例子来详细说明所述数据库访问装置对所述访问请求的规则匹配处理及变形处理过程。

假设所述客户端200输入的访问请求为：

SELECT t1.f12,sum(t2.f22),avg(t3.f32)

FROM t1,t2,t3

WHERE t1.f11＝t2.f21and t1.f11＝t3.f31

and t1.f11mod 2＝1and t1.f12＝20

GROUP BY t1.f11

ORDER BY t1.f11；

其中，t1、t2、t3为分区表(对于一个较大的数据表，根据需要，按照特定的规则，如按照数据存储的时间顺序，将其分别分解为多个部分，分别存放在不同的数据源中，分解后得到的每个部分为一个分区表)，且都存在于多个数据源上，各数据源分布于各个数据库上。t1表为学生信息表，其包含字段f11和f12，其中f11为分区字段且f11表示学号，f12表示学生的班级号。t2表为学生成绩表，其包含字段f21、f22、f23，其中f21为分区字段，且f21表示学号，f22表示成绩，f23表示学科,f21为分区字段。t3表为学生消费表，其包含字段f31、f32、f33，其中f33为分区字段且f31表示学生学号，f32表示学生的消费，f33表示消费月份。

学生信息表(t1)

字段

f11

f12

字段含义

studentId(学号)

classid(班级号)

学生成绩表(t2)

字段	f21	f22	f23
字段	f21	f22	f23	字段含义	studentId	score(成绩)	subject(学科)

学生消费表(t3)

字段	f31	f32	f33
字段	f31	f32	f33	字段含义	studentId	cost(消费)	month(消费月份)

则所述客户端200输入的访问请求表示的含义为:查询班级号为20、学号为单号的学生，并输出这些学生的班号、学科总成绩和消费的平均值，并对查得的结果按学号进行升序排序。

当所述数据库访问装置接收到上述访问请求时，所述数据库访问装置先解析所述访问请求，以获得所述访问请求包含的命令语句、命令关键字、语句及数据对象等信息，然后所述数据库访问装置验证所述命令关键字、语句及数据对象等信息，以确定所述访问请求是否合法正确。如在本例中，所述访问请求包含的命令语句包括：SELECT列表项命令语句、WHERE条件项命令语句、Join命令语句、GROUP命令语句及ORDER命令语句。其中，SELECT列表项命令语句的命令关键字为SELECT，WHERE条件项命令语句的命令关键字为WHERE，GROUP命令语句及ORDER命令语句的关键字分别为GROUP BY和ORDER BY。

在本发明实施例中，所述数据库访问装置先对所述访问请求进行整形下沉判断，所述整体下沉为将所述访问请求不经变形而直接整体发送到所述访问请求指向的节点队列中的一个或多个数据库。其中，所述整体下沉规则集内的一条规则规定：当所述访问请求要访问的数据位于且仅位于同一个分区时(即分区的设置完全相同)，则所述访问请求可整体下沉到数据库，否则不能整体下沉到数据库。由于t3表的分区字段f33不是连接(Join)字段(Join字段是f31)，因而，该访问请求不符合整体下沉规则，不能整体下沉。

接着，所述数据库访问装置对所述访问请求中的WHERE条件项命令语句进行规则匹配处理，所述数据库访问装置根据命令关键字WHERE，选择WHERE条件项规则集，假设所述WHERE条件项规则集内的一条规则规定：如果条件项为独立的字段，且该字段为某个分区表的Join字段，则可以扩展到其它分区表的Join。将所述WHERE条件项命令语句与所述WHERE条件项规则集内的一条规则匹配，则所述访问请求经变形处理后变为：

[第一次变形后的源SQL]

SELECT t1.f12,sum(t2.f22),avg(t3.f32)

FROM t1,t2,t3

WHERE t1.f11＝t2.f21and t1.f11＝t3.f31

and t1.f11mod 2＝1and t2.f21mod 2＝1and t3.f31mod 2＝1

and t1.f12＝20

GROUP BY t1.f11

ORDER BY t1.f11；

即根据WHERE条件项规则集的变形处理，WHERE条件项命令语句中的t1.f11＝t2.f21and t1.f11＝t3.f31and t1.f11mod 2＝1扩展获得t1.f11＝t2.f21and t1.f11＝t3.f31and t1.f11mod 2＝1and t2.f21mod 2＝1and t3.f31mod 2＝1。

然后，所述数据库访问装置对所述访问请求中的Join命令语句(即条件项中包含有两个表Join的语句，如t1.f11＝t2.f21，该语句实现t1表和t2表的Join操作，Join字段为f11和f21；或者t1.f11＝t3.f31，该语句实现t1表和t3表的Join操作)进行规则匹配处理，所述数据库访问装置选择Join规则集，假设所述Join规则集的一条规则规定：Join的字段必须是两表的分区字段，且分区方式一致。由于t1表和t2表的分区方式一致，而与t3表的分区方式不一致，所以t1表和t2表的Join匹配Join下沉规则，但与t3的Join不符合Join下沉规则，将所述Join命令语句与所述Join规则集的一条规则进行规则匹配及变形处理后得到：

[第一下沉SQL]

SELECT*FROM t1,t2

WHERE t1.f11＝t2.f21and t1.f11mod 2＝1and t2.f21mod 2＝1；

and t1.f12＝20

[第二下沉SQL]

SELECT*FROM t3

WHERE t3.f31mod 2＝1；

[第二次变形后的源SQL]

SELECT tmp1.f12,sum(tmp1.f22),avg(tmp2.f32)

FROM tmp1,tmp2

WHERE tmp1.f11＝tmp2.f31

GROUP BY tmp1.f11

ORDER BY tmp1.f11；

其中，tmp1为t1、t2进行Join后的虚表，tmp2为t3表SELECT结果后对应的虚表。

再次，所述数据库访问装置对所述访问请求中的GROUP命令语句和ORDER命令语句进行规则匹配，所述数据库访问装置根据所述命令关键字GROUP BY和ORDER BY，以选择GROUP规则集和ORDER规则集，假设所述GROUP规则集和ORDER规则集中的一条规则规定：GROUP和ORDER下沉的条件为所述访问请求匹配Join下沉规则且Join命令语句必须可以完全下沉，从上述可以看到，t1表与t3表的Join不能下沉，所以GROUP命令语句及ORDER命令语句与这条规则不匹配，不能下沉。

最后，所述数据库访问装置对所述访问请求中的SELECT列表项命令语句进行规则匹配处理，所述数据库访问装置根据所述命令关键字选择SELECT，以选择SELECT列表项规则集，假设所述SELECT列表项规则集中定义了如下的下沉规则：

1)独立的字段

2)独立的字段函数或表达式(必要时需要修改函数名)

3)可以一起下沉的字段函数或表达式(必要时需要修改函数名)

4)聚集字段下沉的条件是Group可以下沉

5)不能下沉的表达式或函数，需要将字段下沉

将所述的SELECT列表项命令语句与上述的SELECT列表项规则集进行匹配及变形处理后，可以得到所述执行计划：

[第一下沉SQL]

SELECT t1.f11,t2.f22

FROM t1,t2

WHERE t1.f11＝t2.f21and t1.f11mod 2＝1and t2.f21mod 2＝1；

and t1.f12＝20

[第二下沉SQL]

SELECT f31,f32

FROM t3

WHERE t3.f31mod 2＝1；

[第三次变形后的源SQL]

SELECT tmp1.f12,sum(tmp1.f22),avg(tmp2.f32)

FROM tmp1,tmp2

WHERE tmp.f11＝tmp2.f31

GROUP BY tmp1.f11

ORDER BY tmp1.f11；

其中，所述第一下沉SQL和第二下沉SQL即为满足所述数据源执行条件的下沉语句，所述第一下沉SQL及第二下沉SQL分别下沉到t1表及t2表所在的数据源，所述第二下沉SQL下沉到t3表所在的数据源，所述数据源执行所述下沉语句后从所述数据库内的t1表、t2表及t3表提取与所述下沉语句对应的数据记录后，将数据返回至所述数据库访问装置，所述数据库访问装置接收到数据记录后，根据变形源访问请求(即上述的第三次变形后的源SQL)对所述数据进行处理后获得处理结果，如sum(tmp1.f22)为对成绩求和，avg(tmp2.f32)为对月消费求平均；GROUP BY tmp1.f11ORDER BY tmp1.f11为对获得的数据按学号分组处理并按学号的大小进行升序排序。最后，所述数据库访问装置将所述处理结果发送至所述客户端200。由于所述数据源在处理所述第一下沉SQL和第二下沉SQL时，不需要进行跨库或跨区处理，从而可以最大限度的利用数据源的数据处理能力，提升系统处理性能。

上述技术方案中，所述数据库访问装置通过将其预设的规则集内的规则与所述访问请求包含的命令语句进行规则匹配处理，并将所述访问请求中包含的与所述下沉规则相匹配的语句进行变形处理，生成满足所述数据源执行要求的下沉语句，所述数据源通过执行所述下沉语句获得数据，所述数据库访问装置通过所述变形源访问请求对所述数据进行处理，由于所述数据源处理所述数据时仅需对本地数据进行处理而无需涉及跨区和跨库的处理，因而可以最大限度的利用数据源的数据处理能力，提升系统处理性能。

请一并参阅图5至图6，图5是本发明实施例提供的另一种数据库访问装置的结构示意图，所述数据库访问装置包括接收单元10、处理单元20及执行单元30，其中，

所述接收单元10，用于接收所述客户端200输入的访问请求，所述访问请求至少包含一条命令语句。

在本发明实施例中，所述访问请求可为SQL，该SQL包含至少一条命令语句，以通过所述命令语句对所述节点上的数据库进行相应操作，如对所述数据库内的数据进行查询、排序、求和等操作。

所述处理单元20，用于将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句；

在本发明实施例中，所述处理单元20包括选择单元21、匹配单元22及变形单元23，所述选择单元21根据所访问请求包含的命令语句及与该命令语句对应的命令关键字，查找为所述命令语句设置的规则集，所述匹配单元22将所述命令语句与所述规则集内的规则逐一进行规则匹配处理，当所述命令语句包含与所述规则集内的任一条规则匹配的语句时，通知所述变形单元23对所述命令语句进行变形处理，所述匹配单元22将变形处理后的命令语句重新与所述规则集内的规则逐一进行规则匹配处理，直至所述命令语句不包含与所述规则集内的任一条规则匹配的语句后，生成变形语句，所述变形语句包括变形源访问请求及满足数据源执行要求的下沉语句。

执行单元30，用于将经所述处理单元20处理后得到的下沉语句传输至所述下沉语句指向的数据库。

请参阅图7，图7是本发明实施例提供的另一种数据库访问装置与客户端及数据库的示意图。所述数据库访问装置除了包括上述的接收单元10、处理单元20及执行单元30外，还包括：

解析单元40，用于接收所述接收单元10输入的访问请求，并对所述访问请求进行解析，以获得所述访问请求包含的命令语句、与命令语句对应的命令关键字、语句及数据对象。

验证单元50，用于验证所述解析单元40解析获得的命令语句、与命令语句对应的命令关键字、语句及数据对象是否合法。

规则集单元60，用于设置所述规则集。所述选择单元21可根据命令关键字从所述规则集单元60选择与所述命令关键字对应的规则集。

其中，所述执行单元30还用以接收所述处理单元20变形后生成的变形源访问请求，所述执行单元30收集所述数据源执行所述下沉语句获得的数据记录后，根据所述变形源访问请求指定的方式处理所述数据记录，生成处理结果。

输出单元70，用于将所述执行单元30生成的处理结果发送至所述客户端200。

上述技术方案中，通过所述处理单元20对所述访问请求中的命令语句进行规则匹配处理及变形处理，从而生成所述变形源访问请求及满足数据源执行要求的下沉语句，所述执行单元30还获取所述变形源访问请求，并根据变形源访问请求处理所述数据源执行所述下沉语句返回的数据记录，并生成所述处理结果。由于所述数据源执行所述下沉语句时无需进行跨区或跨库等数据处理过程，而将跨区或跨库等数据处理过程交由所述执行单元30处理，因而可以最大限度的利用数据源的数据处理能力，提升系统处理性能，避免了数据哈希造成的网络流量大及数据处理速度慢等问题。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random Access Memory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims

一种数据库访问方法，其特征在于，包括如下步骤：

接收客户端输入的访问请求，所述访问请求包含至少一条命令语句；

将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句，所述下沉语句为下发到数据库被所述数据源执行的语句；

将所述下沉语句传输到所述下沉语句指向的数据库。
根据权利要求1所述的数据库访问方法，其特征在于，在所述接收客户端输入的访问请求之后，还包括：

对所述访问请求进行词法与语法解析与验证；
根据权利要求1所述的数据库访问方法，其特征在于，将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句，包括：

(1)根据所述访问请求包含的一条命令语句，查找为所述命令语句设置的规则集，所述规则集包含至少一条规则；

(2)将所述命令语句与查找得到的所述规则集内的规则逐一进行规则匹配，若所述命令语句中包含与所述规则集内的任一条规则匹配的语句时，对所述命令语句进行变形处理；

(3)将变形处理后的命令语句重新与所述规则集内的规则逐一进行规则匹配，并重复执行所述当变形处理后的命令语句包含与所述规则集内的任一条规则匹配的语句时，对所述变形处理后的命令语句进行变形处理的步骤，直至所述变形处理后的命令语句不包含与所述规则集内的任一条规则匹配的语句；

(4)分别对所述访问请求包含的其他命令语句执行步骤(1)至(3)后，生成执行计划，所述执行计划包括变形源访问请求及满足数据源执行要求的下沉语句。
根据权利要求3所述的数据库访问方法，其特征在于，所述将所述下沉语句传输到所述下沉语句指向的数据库之后，还包括：

收集所述数据源执行所述下沉语句后从所述数据库中提取的数据记录，并根据所述变形源访问请求指定的方式处理所述数据记录，以获得处理结果；及

将所述处理结果发送至所述客户端。
一种数据库访问装置，其特征在于，包括：

接收单元，用于接收所述客户端输入的访问请求，所述访问请求包含至少一条命令语句；

处理单元，用于将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配，对所述访问请求包含的与所述规则相匹配的语句进行变形处理，生成满足数据源执行要求的下沉语句；

执行单元，用于将所述下沉语句传输到所述下沉语句指向的数据库。
根据权利要求5所述的数据库访问装置，其特征在于，所述装置还包括解析单元及验证单元，所述解析单元用于解析所述访问请求，以获得所述访问请求中的命令语句及所述命令语句包含的命令关键字，与所述命令关键字对应的语句及所述语句中的数据对象；所述验证单元用于验证所述命令语句，命令关键字是否合法或正确，若是，则通知所述处理单元，所述处理单元执行将所述访问请求包含的命令语句与预设规则集内的规则进行规则匹配处理的步骤。
根据权利要求6所述的数据库访问装置，其特征在于，所述装置还包括规则集单元，用于设置所述规则集。
根据权利要求7所述的数据库访问装置，其特征在于，所述处理单元包括选择单元、匹配单元及变形单元，所述选择单元根据所述解析单元解析得到的命令关键字，从所述规则集单元中选择为所述命令关键字设置的规则集，所述匹配单元将与所述命令关键字对应的命令语句与所述规则集内的规则逐一进行规则匹配，当所述命令语句包含与所述规则集内的任一条规则匹配的语句时，通知所述变形单元对所述命令语句进行变形处理，所述匹配单元将变形处理后的命令语句重新与所述规则集内的规则逐一进行规则匹配，直至所述命令语句不包含与所述规则集内的任一条规则匹配的语句后，生成执行计划，所述执行计划包括变形源访问请求及满足数据源执行要求的下沉语句。
根据权利要求8所述的数据库访问装置，其特征在于，所述装置还包括输出单元，所述执行单元还用以接收所述变形源访问请求，并收集所述数据源执行所述下沉语句获得的数据记录后，根据所述变形源访问请求指定的方式处理所述数据记录，生成处理结果，所述输出单元收集所述处理结果并将所述处理结果输出至所述客户端。
一种数据库系统，包括至少一个客户端及至少两个数据库，其特征在于，所述数据库系统还包括如权利要求5至9任一项所述的数据库访问装置，其中：

所述客户端，用于发出访问请求；

所述数据库访问装置，用于接收所述访问请求并对所述访问请求进行规则匹配及变形处理后，生成变形源访问请求及若干下沉语句，并将所述下沉语句发送至所述下沉语句指向的数据库；

所述数据库，用于在接收到所述下沉语句后执行所述下沉语句，并将所述数据库内满足所述下沉语句要求的数据记录传输至所述数据库访问装置；

所述数据库访问装置还用于接收所述数据记录，并根据所述变形源访问请求处理所述数据记录并生成处理结果后，将所述处理结果传输至所述客户端。