WO2012139331A1

WO2012139331A1 - 分布式话单查询管理系统及方法

Info

Publication number: WO2012139331A1
Application number: PCT/CN2011/075985
Authority: WO
Inventors: 张纪伟
Original assignee: 中兴通讯股份有限公司
Priority date: 2011-04-14
Filing date: 2011-06-20
Publication date: 2012-10-18
Also published as: CN102737061A; CN102737061B

Abstract

本发明涉及一种分布式话单查询管理系统及方法，上述系统包括内存文件数据库单元，网络文件管理单元以及两个或两个以上彼此相连的数据获取单元；上述方法预先将话单文件中的通话记录的索引存储到内存文件数据库单元中，并将上述话单文件存储到网络文件管理单元中，当数据获取单元收到用户查询请求后，转发给上述内存文件数据库单元，上述内存文件数据库单元查找符合条件的索引记录，返回查询结果，数据获取单元将查询结果作为一批次任务，分配给自身及系统中其他正常工作的数据获取单元；各数据获取单元执行任务并返回位置信息，当前数据获取单元读取其中的内容并汇总，将汇总结果返回给用户。本发明易扩充且成本低。

Description

分布式话单查询管理系统及方法技术领域

本发明涉及通讯行业的业务产品领域，尤其涉及一种分布式话单查询管理系统及方法。背景技术

通讯行业的业务产品，特别是 WAP ( Wireless Application Protocol, 无线应用协议）业务，产生的用户计费话单数据量很大，拿一个普通省份来说，每天产生的话单文件达数十千兆，通话记录约几亿条，当话单量随着业务增长持续增加时，对数据查询管理系统的性能考验将越来越高，目前的话单查询管理系统以传统的关系数据库为基础，对话单数据进行管理和查询等，其性能会随着数据量的增加而逐渐降低，且系统扩充涉及到的修改量和扩容费用庞大。发明内容

本发明的目的是提供一种分布式话单查询管理系统及方法，以解决现有技术数据量增长与查询效率之间的瓶颈问题。

本发明提供了一种分布式话单查询管理系统，包括内存文件数据库单上述内存文件数据库单元，用于存储话单文件中的通话记录的索引，以及在收到查询请求时，查找符合查询条件的索引记录，并将查询结果返回给发送上述查询请求的数据获取单元；

上述网络文件管理单元，用于存储话单文件，以及为各数据获取单元分配目录文件；上述数据获取单元，用于将收到的用户查询请求转发给上述内存文件数据库单元，并将上述内存文件数据库单元返回的查询结果作为一批次任务，分配给自身和上述系统中其他正常工作的数据获取单元，以及执行分配给自身的任务，收集自身及上述其他正常工作的数据获取单元的执行结果，并对上述执行结果进行汇总处理后返回给用户。

优选地，上述内存文件数据库单元，用于逐条读取查找到的符合查询条件的索引记录中的偏移量字段和文件名字段，生成查询结果。

优选地，上述数据获取单元包括查询模块，任务分配模块、任务执行模块以及汇总模块，

上述查询模块，用于接收用户查询请求，并将接收到的用户查询请求转发给上述内存文件数据库单元，以及将上述内存数据库模块返回的查询结果作为一批次任务发送给本地任务分配模块，或者将上述汇总模块发送来的汇总结果返回给用户；

上述任务分配模块，用于按照预设的分配规则，分配收到的任务并分发给本地任务执行模块和上述系统中其他正常工作的数据获取单元的任务执行模块；以及将收到的位置信息发送给本地汇总模块；

上述任务执行模块，用于执行收到的任务，并将执行结果所在的文件的位置信息返回给发送上述任务的任务分配模块；

上述汇总模块，用于根据收到的位置信息，读取其中的内容并进行汇总处理，以及将汇总结果发送给本地查询模块。

优选地，上述任务执行模块，用于根据收到的任务，在上述网络文件管理单元中查找相应的话单文件，以及在找到的话单文件中查找对应的通话记录，并读取找到的通话记录，将其存储到上述网络文件管理单元分配的目录文件中。

上述汇总模块，用于根据收到的位置信息，在上述网络文件管理单元查找对应的目录文件，读取上述目录文件中的通话记录，对上述通话记录进行排序处理。

优选地，上述任务分配模块，用于暂存收到的任务；

上述任务执行模块，用于判断本次收到的任务是否执行完毕。

本发明还提供了一种话单管理查询方法，预先将话单文件中的通话记录的索引存储到内存文件数据库单元中，并将上述话单文件存储到网络文件管理单元中，当收到用户查询请求后，分布式查询管理系统执行如下操作：

收到用户查询请求的当前数据获取单元将查询请求转发给上述内存文件数据库单元；

上述内存文件数据库单元在本地索引记录中查找符合查询条件的索引记录，并将查询结果返回给上述当前数据获取单元；

上述当前数据获取单元将查询结果作为一批次任务，分配给自身及分布上述系统中其他正常工作的数据获取单元；

各数据获取单元执行收到的任务，并将执行结果所在文件的位置信息返回给上述当前数据获取单元；

上述当前数据获取单元根据收到的位置信息，读取其中的内容并汇总，将汇总结果返回给用户。

优选地，上述通话记录的索引包括主被叫号码、通话起止时间、通话记录在话单文件中的偏移量以及上述话单文件在上述网络文件管理单元中的文件名。

优选地，上述内存文件数据库单元在本地索引记录中查找符合查询条件的索引记录，并将查询结果返回给上述当前数据获取单元步骤具体包括以下步骤：

在本地索引记录中查找符合查询条件的索引记录；逐条读取符合查询条件的索引记录中的偏移量字段和文件名字段，生成查询结果；

将上述查询结果返回给上述当前数据获取单元。

优选地，上述各数据获取单元执行收到的任务，并将执行结果所在文件的位置信息返回给上述当前数据获取单元步骤具体包括：

根据当前任务，在上述网络文件管理单元中查找相应的话单文件，并在找到的话单文件中查找对应的通话记录；

读取上述通话记录，并将其存储到上述网络文件管理单元分配给自身的目录文件中；

判断本次收到的任务是否执行完毕，若是，则返回上述目录文件的位置信息给上述当前数据获取单元，否则执行下一个任务。

优选地，上述当前数据获取单元根据收到的位置信息，读取其中的内容并汇总，将汇总结果返回给用户步骤具体包括以下步骤：

根据收到的位置信息，在上述网络文件管理单元中查找相应的目录文件；

读取其中的通话记录；

对读取到的上述通话记录进行排序，汇总处理；

将得到的汇总结果返回给用户。

本发明在用户查询话单时，釆用索引定位到通话记录，并通过任务分解和分布式执行，完成大批量任务的执行和汇总，运行成本低；当任务持续增加时，负荷被合理分担到整个系统中的各数据获取单元上，不存在执行效率瓶颈问题；当系统需要扩容时，只需要简单的增配数据获取单元和存储设备，即可实现无缝扩充，对原有系统几乎无影响。附图说明

图 1是本发明实施例分布式话单查询管理系统的原理框图；图 2是图 1中的数据获取单元的原理框图；

图 3是本发明实施例话单查询管理方法的流程图。具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图 1是本发明实施例分布式话单查询管理系统的原理框图，如图 1所示，本实施例中，分布式话单查询管理系统包括内存文件数据库单元 01、网络文件管理单元 02 以及 N个彼此相连的数据获取单元 03 , 分别为第一数据获取单元、第二数据获取单元第 N数据获取单元， N为不小于

1的整数，其中，

内存文件数据库单元 01 , 用于存储话单文件中的通话记录的索引，以及在收到查询请求时，查找符合查询条件的索引记录，并逐条读取符合查询条件的索引记录中的偏移量字段和文件名字段，生成当前索引记录的查询结果，将所有查询结果返回给发送上述查询请求的数据获取单元 03; 网络文件管理单元 02 , 用于存储话单文件，以及为各数据获取单元 03 分配目录文件；

数据获取单元 03 , 用于将收到的用户查询请求转发给上述内存文件数据库单元 01 ,并将上述内存文件数据库单元 01返回的查询结果作为一批次任务，分配给自身和本系统中其他正常工作的数据获取单元 03 , 以及执行分配给自身的任务，收集自身及本系统其他正常工作的数据获取单元 03的执行结果，并对上述执行结果进行汇总处理后返回给用户。

用户可以通过客户端的 WEB界面，输入查询请求，查询管理系统收到查询请求后，即对其进行处理，并返回查询结果给用户。

图 2是图 1中数据获取单元的原理框图，如图 2所示，数据获取单元 03包括查询模块 31 ,任务分配模块 32、任务执行模块 33以及汇总模块 34, 其中，

查询模块 31 , 用于接收用户查询请求，并将接收到的用户查询请求转发给内存文件数据库单元 01 ,以及将内存数据库模块 01返回的查询结果作为一批次任务发送给本地任务分配模块 02,或者将本地汇总模块 32发送来的汇总结果返回给用户；

任务分配模块 32 , 用于按照预设的分配规则，分配收到的任务并分发给本地任务执行模块 33和上述系统中其他正常工作的数据获取单元的任务执行模块，并暂存收到的任务；以及将收到的位置信息发送给本地汇总模块 34;

任务执行模块 33 , 用于执行收到的任务，在上述网络文件管理单元 02 中查找相应的话单文件，以及在找到的话单文件中查找对应的通话记录，并读取找到的通话记录，将其存储到上述网络文件管理单元 02分配的目录文件中，以及判断本次收到的任务是否执行完毕，若执行完毕，则将上述目录文件的位置信息返回给发送上述任务的任务分配模块；若未执行完毕，则执行下一个任务；

汇总模块 34, 用于根据收到的位置信息，在上述网络文件管理单元 02 查找对应的目录文件，读取上述目录文件中的通话记录，对上述通话记录进行排序、汇总处理，以及将汇总结果发送给本地查询模块 31。

图 3是本发明实施例话单查询管理方法的流程图，如图 3所示，本发明实施例以图 1及图 2为基础，假设第一数据获取单元 03收到了用户的查询请求，且话单文件中的通话记录的索引已存储到内存文件数据库单元 01 中，上述话单文件也已存储到网络文件管理单元 02中，本实施例包括以下步骤：

步骤 S001 : 第一数据获取单元 03的查询模块 31收到用户的查询请求时，转发给内存文件数据库单元 01 ;

所述查询请求包括用户号码和起止时间。

步骤 S002: 内存文件数据库单元 01根据查询请求，在本地索引记录中查找符合查询条件的索引记录，并逐条读取符合查询条件的索引记录中的偏移量字段和文件名字段，生成该条索引记录的查询结果；

即根据用户号码和起止时间，在本地索引记录中查找符合条件的索引记录。

索引记录包括主被叫号码、通话起止时间、本条通话记录在话单文件中的偏移量以及上述话单文件在网络文件管理单元 02中的文件名；

查询结果包括通话记录在话单文件中的偏移量以及上述话单文件在网络文件管理单元 02中的文件名。

因话单文件中的通话记录中记录有通话的主被叫号码、起止时间信息，故本步骤返回的查询结果中只需要有通话记录在话单文件中的偏移量以及上述话单文件在网络文件管理单元 02中的文件名即可，也就是说，查询结果即为符合查询条件的通话记录的地址。

步骤 S003 : 将所有查询结果返回给第一数据获取单元 03 的查询模块

31 ;

步骤 S004: 第一数据获取单元 03的查询模块 31将收到的查询结果作为一批次任务，发送给本地任务分配模块 32;

每个查询结果为一个任务，比如，内存文件数据库单元 01返回了 100 条查询结果，则本批次共有 100个任务。

步骤 S005 : 第一数据获取单元 03的任务分配模块 32按照预设的分配规则分配上述任务，并分发给本地任务执行模块 33和系统中其他正常工作的数据获取单元 03的任务执行模块 33 , 并暂存收到的任务；

步骤 S006: 任务执行模块 33执行当前任务；步骤 S006具体可以包括以下步骤：

步骤 S0061 : 根据当前任务中的文件名，在上述网络文件管理单元 02 中查找对应话单文件；

步骤 S0062: 根据当前任务中的偏移量，在找到的话单文件中查找对应的通话记录并读取；

步骤 S0063 : 将读取到的通话记录存储到网络文件管理单元 02分配的目录文件中；

步骤 S007:判断本次收到的任务是否执行完毕，若是，则执行步骤 S009; 否则，执行步骤 S008。

步骤 S008: 指向下一个任务，转入步骤 S006;

步骤 S009: 返回目录文件位置信息给第一数据获取单元的任务分配模块 31 ;

也就是说，任务执行模块会将执行结果所在的文件的位置信息返回给本次任务的发送方，比如，若本次任务是第 m数据获取单元的任务分配模块发送来的，则将执行结果所在的文件的位置信息返回给第 m数据获取单元的任务分配模块，若本次任务是本地任务分配模块发送来的，则将执行结果所在的文件的位置信息返回给本地任务分配模块。

本发明中，任务执行模块可以并行处理来自不同数据获取单元的任务，系统中的每个数据获取单元都可同时接收相连的客户端的查询请求并对上述查询请求进行处理，当需要改善系统的查询性能时，只需要增加系统中的数据获取单元个数即可。

步骤 S010: 第一数据获取单元 03的任务分配模块 31收集各数据获取单元的任务执行模块 33返回的位置信息，并将所有位置信息发送给本地汇总模块 34;

步骤 S011 :第一数据获取单元 03的汇总模块 34根据收到的位置信息，读取其中的通话记录，并对上述通话记录进行排序和汇总处理；步骤 S012: 第一数据获取单元 03的汇总模块 34将汇总结果返回给本地查询模块 31 ;

步骤 S013 : 第一数据获取单元 03的查询模块 31将汇总结果返回给用户。

需要说明的是，本发明尤其适合 T级（T表示太字节，即 Terabyte, 1T=1024G )或 PT级（ P表示 Petabyte, 1PT=1000T ) 以上海量数据文件的存储查询管理。

上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

权利要求书

1、一种分布式话单查询管理系统，其特征在于，该系统包括内存文件单元；其中，

所述内存文件数据库单元，用于存储话单文件中的通话记录的索引，以及在收到查询请求时，查找符合查询条件的索引记录，并将查询结果返回给发送所述查询请求的数据获取单元；

所述网络文件管理单元，用于存储话单文件，以及为各数据获取单元分配目录文件；

所述数据获取单元，用于将收到的用户查询请求转发给所述内存文件数据库单元，并将所述内存文件数据库单元返回的查询结果作为一批次任务，分配给自身和所述系统中其他正常工作的数据获取单元，以及执行分配给自身的任务，收集自身及所述其他正常工作的数据获取单元的执行结果，并对所述执行结果进行汇总处理后返回给用户。

2、根据权利要求 1所述的系统，其特征在于，所述内存文件数据库单元，用于逐条读取查找到的符合查询条件的索引记录中的偏移量字段和文件名字段，生成查询结果。

3、根据权利要求 1或 2所述的系统，其特征在于，所述数据获取单元包括查询模块、任务分配模块、任务执行模块以及汇总模块；其中，

所述查询模块，用于接收用户查询请求，并将接收到的用户查询请求转发给所述内存文件数据库单元，以及将所述内存数据库模块返回的查询结果作为一批次任务发送给本地任务分配模块，或者将所述汇总模块发送来的汇总结果返回给用户；

所述任务分配模块，用于按照预设的分配规则，分配收到的任务并分发给本地任务执行模块和所述系统中其他正常工作的数据获取单元的任务执行模块；以及将收到的位置信息发送给本地汇总模块；

所述任务执行模块，用于执行收到的任务，并将执行结果所在的文件的位置信息返回给发送所述任务的任务分配模块；

所述汇总模块，用于根据收到的位置信息，读取其中的内容并进行汇总处理，以及将汇总结果发送给本地查询模块。

4、根据权利要求 3所述的系统，其特征在于，

所述任务执行模块，具体用于根据收到的任务，在所述网络文件管理单元中查找相应的话单文件，以及在找到的话单文件中查找对应的通话记录，并读取找到的通话记录，将其存储到所述网络文件管理单元分配的目录文件中。

所述汇总模块，具体用于根据收到的位置信息，在所述网络文件管理单元查找对应的目录文件，读取所述目录文件中的通话记录，对所述通话记录进行排序处理。

5、根据权利要求 4所述的系统，其特征在于，

所述任务分配模块，还用于暂存收到的任务；

所述任务执行模块，还用于判断本次收到的任务是否执行完毕。

6、一种话单管理查询方法，其特征在于，预先将话单文件中的通话记录的索引存储到内存文件数据库单元中，并将所述话单文件存储到网络文件管理单元中，该方法包括：

收到用户查询请求的当前数据获取单元将查询请求转发给所述内存文件数据库单元；

所述内存文件数据库单元在本地索引记录中查找符合查询条件的索引记录，并将查询结果返回给所述当前数据获取单元；

所述当前数据获取单元将查询结果作为一批次任务，分配给自身及分布所述系统中其他正常工作的数据获取单元；各数据获取单元执行收到的任务，并将执行结果所在文件的位置信息返回给所述当前数据获取单元；

所述当前数据获取单元根据收到的位置信息，读取其中的内容并汇总，将汇总结果返回给用户。

7、根据权利要求 6所述的方法，其特征在于，所述通话记录的索引包括主被叫号码、通话起止时间、通话记录在话单文件中的偏移量以及所述话单文件在所述网络文件管理单元中的文件名。

8、根据权利要求 7所述的方法，其特征在于，所述内存文件数据库单元在本地索引记录中查找符合查询条件的索引记录，并将查询结果返回给所述当前数据获取单元步骤具体包括以下步骤：

在本地索引记录中查找符合查询条件的索引记录；

逐条读取符合查询条件的索引记录中的偏移量字段和文件名字段，生成查询结果；

将所述查询结果返回给所述当前数据获取单元。

9、根据权利要求 6至 8任一项所述的方法，其特征在于，所述各数据获取单元执行收到的任务，并将执行结果所在文件的位置信息返回给所述当前数据获取单元步骤具体包括：

根据当前任务在所述网络文件管理单元中查找相应的话单文件，并在找到的话单文件中查找对应的通话记录；

读取所述通话记录，并将其存储到所述网络文件管理单元分配给自身的目录文件中；

判断本次收到的任务是否执行完毕，本次收到的任务执行完毕，则返回所述目录文件的位置信息给所述当前数据获取单元，否则执行下一个任务。

10、根据权利要求 9所述的方法，其特征在于，所述当前数据获取单元根据收到的位置信息，读取其中的内容并汇总，将汇总结果返回给用户步骤具体包括：

根据收到的位置信息，在所述网络文件管理单元中查找相应的目录文件；

读取其中的通话记录；

对读取到的所述通话记录进行排序，汇总处理；

将得到的汇总结果返回给用户。