WO2014059808A1

WO2014059808A1 - 一种网管海量历史数据管理方法

Info

Publication number: WO2014059808A1
Application number: PCT/CN2013/079993
Authority: WO
Inventors: 邹昊
Original assignee: Fiberhome Telecommunication Technologies Co Ltd
Current assignee: Fiberhome Telecommunication Technologies Co Ltd
Priority date: 2012-10-19
Filing date: 2013-07-24
Publication date: 2014-04-24
Anticipated expiration: 2015-04-19
Also published as: MY187641A; PH12014502368A1; PH12014502368B1; CN102867071A; CN102867071B

Abstract

本发明涉及网管管理系统中历史数据的管理，具体说是一种网管海量历史数据管理方法，通过二级分表规则实现数据库分表，把保存有网管海量历史数据的单个表保存的数据，切分后保存到多个结构相同的分表中，减少单表的容量，从而提高单表的处理效率，并对各个分表进行以下管理：A历史数据分表管理，B历史数据插入管理，C历史数据查询管理，D历史数据转移管理。本发明所述的网管海量历史数据管理方法，能保存海量历史数据，并能高效的进行数据的插入、查询、转移而不影响网管软件的正常使用，提高了网管管理系统的工作效率。

Description

一种网管海量历史数据管理方法

技术领域

本发明涉及网管管理系统中历史数据的管理，具体说是一种网管海量历史数据管理方法。背景技术

目前网络技术日新月异，宽带用户规模不断扩大，电信网管系统管理的设备数量也在不斷增长，电信网管系统日常管理的日志、设备的告警数据等数据都需要保存在数据库中，电信网管系统对这些数摇的使用方式为记录数据、查询分析数据。经过日 R月累，这些数据越来越庞大，如果不对这些数据进行有效的管理，无论是数据的插入或者是数据的査询，性能都会急剧下降，从而影响网管软件的正常使用。数据库使用硬盘空间来保存其中 W数据，如果历史数据无限增长，最终将耗尽所有磁盘空间，所以需要定期对历史数据进行清理，将数据库中的一部分不常使用的数掘转储到其它位置进行保存、归档。而在数据转移的过程中，管则无法使用这些数据，如果转储的效率低下则影响网管系统的可用性，必须提供一种高效的数据转移方案。发嚷 ή容

针对现有技术中存在的缺，本发明的目的在于提供一种网管海量历史数据管理方法》能保存海量历史数据，并能高效的进行数据的插入、查询、转移而不影响网管软件的正常使用。

为达到以上目的，本发明采取的技术方案是：

一种 W管海量历史数据管理方法，其特征在于；通过二缓分表规则实现数据库分表，把保存有网管海量历史数据的单个表保存的数据，切分后保存到多个结构相同的分表中，减少单表的容量，从而提高单表的处理效率，并对各个分表进行以下管理：

A 历史数据分表管理，

B 历史数据插入管理，

C 历史数据查询管理，

D 历史数据转移管理。

在上述技术方案基础上，二级分表规则用 x l 格式的文件纪录，其中：

历史数据类型 data—type , 表示数据表保存数据的类型，分组总数 group— count , 表示对这种数据表分组的总数，分組内分表总数 sp lit—count , 表示每个分组 ή分表数最大值，分表内行总数 row— count , 表示分表行总数，当一个分表的数据量超过这个值的时候，就需要创建一个新的分表。

在上述技术方案的基础上，所述历史数据分表管理的处理流程包括以下步骤：

Al、读取记载有数据表的二级分表规则的文件，获取历史数据类型 data— ty e、分组总数 group— count 分组内分表总数 sp l it— count 禾 Π分表内 ί亍总数 row— count ;

读取数掘库分表信息表，获取所有分表分组号 group— 110、分表序号 table jo、当前正在使用标记 current—flag和已使用标 ¾ in— usej!ag, 将这些信息保存到一个分組号为键，分表信息列表为值的 ap对象中，所述分表信息列表包括分表序号 tab le no, 当前正在使用标记 current— flag和巳使用标记 in— use— flag , 其中 map 的键的取值范围从 1到分组总数 group— count , 如果在数据库分表信息表中没有某个键对应的分表信息，那么在 ap中该键对应的分表信息列表就为空；

A2、遍历 A1得到的 map对象；

A3、根据遍历的结果，如果 ap对象中当前分组号对应的分表信息列表为空，则转至步骤 A4 , 否则，转至步骤 A5;

A4、在当前分組号的分组 ψ创建一个可用的分表，分配分表序号为 1 . 设置分表当前正在使标记为 1 . 已使用标记为 1，将该分表的信息插入数据库分表信息表后转至步骤 A5_;

A5、将数据库分表信息表中记载的分表信息，按分组号为键，逐条插入到分组分表信息缓存中，该缓存用于记录所有分组中已创建的分表的信息，

将当前正在使用标记为 1的分表信息，桉分组号为键，将分表序

为 1的分表的分表序号，转步骤 A6_;

分组当前分表序号缓存内的分表，需要検査其是否超过分表内行总数；

A6、使用定时器并等待，如果定时器未超时则一直等待，当定时超时后，如果接收到应用程序退出的信号，则退出历史数据分表管理的处理流程；否则，转入步骤 A7_;

A7、遍历分组当前分表序号缓存，如果未遍历完则转步骤 A8, 若遍历完则转歩骤 A6;

A8、读取当前分组中分表序号，根据当前分组的组号和分表序号构造分表的名称，获取分表数据行数；

A9、如果分表数 «行数大于分表规则中分表内行总数 row— count, 则转步骤 A10、否则转步骤 A7;

A10、创建新分表，新分表的分表序号为分表所在分組中原来 current— flag为 1的分表的分表序号值加上 1 ,然后在数据库分表信息表 Φ插入该新分表的信息，并将该新分表的信息插入到分组分表信息缓存中，然后将分組当前分表序号缓存中的当前分组对应的分表序号改为新分表的分表序号；

A1 判断当前分组中分表总个数是否大于分组内分表总数 split— count» 如果大于则转歩骡 A12, 如果小于则转歩骤 A7;

A12、更新数据库分表信息表中该分组内分表序号最小分表的已使用标记 injsejla 为 0,标识该分表不会在数据插入和查询中使用，并将被历史数据转移管理流程处理，并从分组分表信息缓存中删除该分表的记录，转步骤 A l l。

在上述技术方案的基础上，所述历史数据插入管理的处理流程包括以下歩骤：

BU根据插入数据的内容确定数据务分组的组号，根据分组当前分表序号缓存获取分表序号，根《分表和数摇逻辑对应关系，重新排列插入数据内容，存入以分组号和分表序号为键，插入数据内存为值的 map中;

B2、適历 B1中的 map , 適历完成则退出，否则转步骤 K3 ;

B3、根据当前分组号和分表序号，构造分表名称，插入数握到当前分表中，转步骤 B2。

在上述技术方案的基础上，所述历史数摇査询管理的处理流程包括以下歩骤：

CU 读取数据库分表信息表内已使用标记为 1的分表信息； C2、分析查询条件、获取所有相关分組分表的表名列表； 03、棍据查询条件查询所有 C2中的分表。

在上述技术方案的基础上，所述历史数据转移管理的处理流程包括以下歩骤：

D 按分组号读取数据库分表信息表中所有已使用标记为 0的分表信息记录，保存到以分组号为键，分表序号列表为值的 map中;

D2、遍历 D1中获取的 map , 遍历完成,后退出；

D3、根据当前分组号和分表序号，构造分表名称，使用批处理工具直接导出指定分表名称的分表中所有行记录；

D4、根据分组号和分表序号从数据库分表信息表中删除分表信息；

D5 , 根据分表名称从数据库中删除分表，转步骤 D2。本发明所述的网管海量历史数据管理方法，通过二级分表规则实现数据库分表（数据库分表即：把单个表保存的数据，按照一定规则切分后保存到多个结构相同的表（称为分表）中，减少单表的容量，从而提高单表的处理效率，在不同务需求下可以访问不同的分表，减少锁竞争，提高运行效率），将历史数据分散到多个分表中，且保证每个分表中记录数大致与限定的分表容量相差不大，不仅保证了历史数据查询的响应效率，还保 iiE了数据的插入效率，提升了客户体验感受，提高了网管管理系统的工作效率。

本发明所述的网管海量历史数据管理方法，通过已使用标记将正在使用的和需要转移的数据表逮行分离，网管系统和数据转移功能就不会相互影响，而数据表整表处理的效率远远高于按行记录进行处理的效率，减少了对数据库系统的影响，提高了网管系统整偉的效率。

附圖谡明

本发明有如下附图：

圈 1是根据分表规则划分后，分表展示；

图 2是数据表分表规则文件的内容；

图 3是数据库分表信息表包含的数握内容；

图 4是分表管理处理流程圈；

圏 5是数据插入处理流程图；

图 6是数据查询处理流程 ffl ;

圈 7是数据转移处理流程圈。

具钵实纖方式

以下结合附图对本发明作进一步详细说明。

本发明所述的网管海量历史数据管理方法，通过二级分表规则实现数据库分表，把保存有网管海量历史数据的单个表保存的数据，切分.后保存到多个结构相同的分表中，减少单表的容量，从而提高单表的处理效率，并对各个分表进行以下管理：

A 历史数据分表管理，

B 历史数搦插入管理， c 历史数据查询管理，

D 历史数据转移管理。在上述技术方案的基础上，图 2 示出了数据表分表规则文件的内容, 此即所述的二级分表规则，二缀分表规则用 xml格式的文件纪录，其中- 历史数据类型 kta^type, 表示数据表保存数据的类型，分組总数 group— count, 表示对这种数据表分組的总数，即表示一个数据表最多可以分成几个分组，每个分组对应唯一的一个分组号；

分组内分表总数 split— count, 表示每个分組内分表数最大值，即表示一个分組内可以包括多少个分表，即分组内分表数最大值，每个分表对应唯一的一个分表序号；

分表内行总数 row— count , 表示分表内行总数 , 即分表内行总数 row_count表示一个分表内可以包括多少行数掘，即分表中数握行最大值；当一个分表的数据量超过这个值的时候》就需要创建一个新的分表。

即：一个数据表最多会有 group— count 个分组，一个分组内有 split—count个分表，一个分表最多纪录 row c oun t行数据。在上述技术方案的基础上，如图 4所示，所述历史数据分表管理的处理流程包括以下步骤：

A 读取记载有数掘表的二级分表规则的文件，获取历史数搦类型 data— type、分组总数 group— couir 分组内分表总数 sp 1 it— count 和分表内行总数 row— count

读取数据库分表信息表，获取所有分表的分组号 group— no、分表序号 table— no、当前正在使用标记 current— flag和巳使用标记 in^use^fiag, 将这些信息保存到一个分组号为键，分表信息列表为值的 map对象中，所述分表信息列表包括分表序号 table— _n0、当前正在使用标记 current— flag和巳使 ffl标记 in— use—flag, 其 Φ map 的键的取值范围从 1到分组总数 group— count, 如果在数据库分表信息表中没有某个键对应的分表信息，那么在 map Ψ该键对应的分表信息列表就为空；

数据库分表信息表的格式及内容可参见图 3所示实施例；图 3示出了数摇库分表信息表的内容，并演示了一个可能出现的状态，每一行记录一个分表的信息；假设分表规则桉照並务功能划分的组 group一 count = 3, 每个组内最多允许 split— count = 3个分表，那么当创建了第 4个分表后，这个分表序号 table— no为 4的分表就成为当前使用状态 current—fla 为 1的表，且分表編号 table jo为 1 的分表的已使用标记 injisej ag则被置为 0, 这样就可以保持所有可用的分表的总数不超过 split— co醒 t的值;

A2 , 遍历 A1得到的 map对象；

A3、根据遍历的结果，如果 map对象中当前分組号对应的分表信息列表为空，则转至歩骤 M，否则，转至歩骤 A5;

A4、在当前分组号的分组 Φ 建一个可用的分表，分配分表序号为 1，设置分表当前正在使用标记为 1 , 已使用标记为 1, 将该分表的信息插入数据库分表信息表后转至歩骠 A5;

Λ5、将数据库分表信息表中记载的分表信息，按分组号为键，逐条插入到分组分表信息缓存中，该缓存用于记录所有分組中已创建的分表的信息，

将当前正在使用标记为 1的分表信息，按分组号为键，将分表序号插入分组当前分表序号缓存，该缓存记录每个分组中 cmrrent— f lag 为 1的分表的分表序号，转步骤 A6_;

分组当前分表序号缓存内的分表，需要检查其是否超过分表内行总数；

A6,使用定时器并等待，如果定时器未超时则一直等待，当定时器超时后，如果接收到应用程序退出的信号，则退出历史数据分表管理的处理流程；否则, 转入步骤 A7; A7、遍历分组当前分表序号缓存，如果未遍历完则转步骤 Λ8, 若適历完则转步骤 A6;

Λ9、如果分表数据行数大于分表规则中分表内行总数 ro — count，则转歩骤 AM 否则转歩骤 A7;

A 10 , 创建新分表，新分表的分表序号为分表所在分组中原来 current^flag为 1的分表的分表序号值加上 1 ,然后在数据库分表信息表中插入该新分表的信息，并将该新分表的信息插入到分组分表信息缓存中，然后将分组当前分表序号缓存中当前分组对应分表序号改为新分表的分表序号；

Al 1、判断当前分组中分表总个数是否大于分组内分表总数 split—count, 如果大于则转步骤 A12, 如果小于则转步骤 A7;

A12、更新数据库分表信息表中该分组内分表序号最小分表的巳使用标记 in— use— flag为 0，标识该分表不会在数据插入和查询中使用，并将被历史数 «转移管理流程处理，并从分组分表信息缓存中删除该分表的记录，转步骤 Al l。在上述技术方案的基础上，如图 5所示，所述历史数据插入管理的处理流程包 fi以下步骤：

Bl、根据插入数据的内容确定数据业务分组的组号，根据分组当前分表序号缓存获取分表序号，根振分表和数据逻辑对应关系，重新排列插入数据内容，存入以分组号分表序号为键，插入数据内存为值的 map中;

132 , 遍历 B1中的 map , 遍历完成则退出，否则转步骤

B3、根据当前分组号和分表序号，构造分表名称，插入数据到当前分表中，转步骤 B2。在上述技术方案的基础上，如圏 6所示，所述历史数据查询管理的处理流程包括以下步骤：

CU 读取数据库分表信息表内已使用标记为 1的分表信息；

C2、分査询条件、获取所有相关分组分表的表名列表；

C3、棍据查询条件查询所有 C2中的分表。在上述技术方案的基础上，如图 7所示，所述历史数据转移管理的处理流程包括以下步骤：

D1、按分組号读取数据库分表信息表中所有已使用标记为 0的分表信息记录，保存到以分组号为键，分表序号列表为值的 ap中;

D2、遍历 D1中获取的 map, 遍历完成后退出；

D3、根据当前分组号和分表序号，构造分表名称，使用批处理工具直接导出指定分表名称的分表中所有行 i己录；

D4、根据分组号和分表序号从数据库分表信息表 ψ删錄分表信息；

D5、棍据分表名称从数据库中删除分表，转歩骤 D2。图 1示出了按照分表规则划分后可能出現的分表状态，所述的分表规则通常存储于静态文件中（例如：存储于数据表分表规则文件中），纵向表示按照业务功能划分的一个分组，如圈划分了 M个分组。每个分組内可能有多个分表，分表序号从 1开始，向后排列。每个組内的分表数量不一定相同，而是根据实际数据的数量确定,使用分组号和分表序号对的方式 τ以唯一标识一个分表，例如 (2, 1 )标识分组 2 φ序号为 1的分表。以下为一个具体实施例。

图 4示出了网管海量历史数据分表管理方法

Al、从静态文件读取数据表分表规则，从数据库分表信息表读取已使用标记 in se—flag为 1的分表信息。

分表管理只管理已使用标记为 1的分表，而已使用标记为 0的分表由数据转移功能使。

A2、按分组号遍历从数据库分表信息表读取的分表信息，適历完成转歩骠 A6，否则转歩骤 A3。

遍历进行分组分表信息缓存和分组当前分表序号缓存的初始化，完成后进行定时的分表管理步骤。

A3、若 A2中分组号为 1的分组内一个分表都没有，则转歩骤 A4, 若分组号为 1的分组有至少一个分表，则转步骤 A5_;

第一次使用网管时，历史数据是没有创建任何分表的，所以会进入歩骡 A4。

A4、创建一个新的序号 tab l e no为 1分表，更新数据库分表信息表，置分表序号为 1 的当前正在使用标记 currentj!ag为 L 每个分组内只有一个分表的当前正在使用标 i己 ciirrent— flag为 1 , 标识在数据插入时访问的分表。

A5、更新分组分表信息缓存，增加 A2中遍历的分表或者 A4中创建的分表的分表信息；同时更新分组当前分表序号缓存，该缓存用来记录每个分组正在使用的分表序号。

Αβ、定时植查 Α5中获取的分组当前分表序号缓存，如果定时器超吋，未接收到分表管理退出信号则转歩骤 Α7, 如果接收到分表管理退出信号则退出分表管理流程，根据经验数据设置定时器超时间 check— interval为 1小时。

A7、適历分组当前分表序号缓存，如果未遍历完则转歩骤 A8, 若遍历完则转步骤 A6;

检査所有当前正在使用标记为 1的分表.后，进入下一次栓査的定时器等待周期，该期的值为估算值，檢查分表容量时，数据插入不可用' 为了防止频繁检查，这个时间周期最好设定的长一些，而需要保证两次检査点之间》分表的数据行超过分表规则允许的分表内行总数讓 count不会太多。

A8、根据当前分组的组号和分表序号，获取当前正在使用标记 current— flag为 1的分表数据行数 table— row— count,假设分组号为 % 分表序号为 3 ;

A9、如果 A8中的 tab le—row— count, 大于分表规则 φ分表内行总数 row— count , 则转步骡 A 10、否则转歩骤 A7 ;

A10、创建分组号为 2，分表序号为 4 新分表，设置分表序号为 4的 current—flag为 1 , injse jlag为 1，将分表序号为 4的分表信息插入数据库分表信息表，同时在分表信息表中修改分表序号为 3的 current—flag为 0, 更新分组分表信息缓存，插入分表序号 4的分表信息，并更新分组当前分表序号缓存中分組 2对应的当前分表序号为 4;

创建新的分表后，需要更新数据库分表信息表，最新增加的分表一定就是当前使用的分表,同时要更新分组分表信息缓存和分組当前分表序号缓存，作为数据插入时获取分表的依掘。

Al l、根据分组分表信息缓存判断当前分组中分表总数是否大于分表规则中分組内分表数总数 split— count ,如果大于则转步骤 A12 , 如果小于则转歩骤 A7 ;

A 12、更新数据库分表信息表中该分組号对应的分表序号最小的分表信息，将该分表的巳使用标记 incise—flag置为 0，表示这个分表在查询时不会使用，而且需要将数据进行转移，然后从分组分表信息缓存中删除该分表的记录，转步骤 A l l。例如在分组 2中，若 spl it — TOunt为 3，则将分表序号为 1的分表的 iiuse—flag设置为 0，然后在分组分表信息缓存中删除分组 2内分表序号为 1分表的信息。图 5示出了历史数据插入的处理流程，包括以下步骤：

Bl、根据插入数据的内容确定数据业务分组的组号，根据分组当前分表信息缓存获取当前正在使用标记为 1的分表序号,根据数据对应的分表重新排列插入数攝顺序，插入以分組号分表序号为键，插入数据内容为值的皿 _{ap ;}

B2 , 遍历 map , 遍历完成则退出，未完成转步驟 Β3。

Β3 , 根掘分组号为分表序号获取分表名，将数摁插入分表中。由于分组分表的存在，一批数据可能写入到不同分組的不同分表中，为了防 ih不 «切换数据写入时使用的分表，在插入前按照分表与数据对应的方式将数据重新排列，减少表切換使用的时间，这样既可以保证数据的顺序，也¾1以提高数据插入的效率。图 6示出了历史数据査询的处理流程，包括以下歩 «_:

C1、读取数据库 Φ分表信息表内巳使用标记 in—use— flag为 1的分表信息；

C2、解析査询条件，分析需要包含的分组，然后将相关分组中所有的分表设置为查 i旬目标分表列表，倒如用（X, Y)来标识一个唯一的分表，其中 X标识分組号， Y标识分组内的分表序号，当需要查询的分组号包括 1 , 2 , 3 时，则最终需要査询的分表列表为- (1， 1), (2， 2)，（2， 3)，（2, 4)， (3, 1)，（3， 2) , (3， 3)；

C3、遍历査询所有分表，若査询结果有优先缓的要求，则 C2中的列表需要按优先缓排序，倒如： (1, 1)， (2， 4)， (2， 3) , (2， 2)， (3, 3) , (3， 2)， (3, 1》，然后依次串行查谁；若查询结果无优先级的要求，则 C2中的列表没有顺序，査询可以并行执行，合并所有的查询结果，返回。圏 7示出了历史数据转移的处理流程，包括以下步骤：

Dl、读取数据库分表信息表中所有已使用标记 in— use— flag为 0 的分表信息，保存到以分组号为键，分表序号列表为值的 map中，例如分组号为 2的分组 φ，分表序号为 1， 2的分表的已使用标记为 0;

02、依次適历 D1中获取的 imp, 获取的分组号和分表序号列表, 然后適历分表序号列表，如果未完成遍历，则转步骤 U3. 完成遍历后退出；

03、如適历的当前分表为分组 2内分表序号为 1的分表，构建的表名为 TJIISDATAJ— 1，通过数据库工具或者 SQL脚本直接将分表中所有记录导出到外部文件： D4、从数据库分表信息表 Φ删除分表号为 2, 分表序号为 1的信息；

D5、从数据库中删除分表 T— HISDATA— 2— 1 , 转步骤 D2。本说明书中未作详细描述的 Λ容属于本领域专业技术人员公知的现有技术。

Claims

权利要求书

1 . 一种网管海量历史数据管理方法，其特征在于：通过二级分表规则实现数据库分表，把保存有网管海量历史数据的单个表保存的数据，切分后保存到多个结相同的分表中，减少单表的容量，从而提高单表的处理效率，并对各个分表进行以下管理：

A 历史数据分表管理， B 历史数据插入管理， C 历史数据查询管理， D 历史数据转移管理。

2. 如权利要求 1所述的网管海量历史数据管理方法，其特征在于- 二级分表规则用《1格式的文件紀录，其中：

历史数据类型 data—type, 表示数据表保存数据的类型，分组总数 group— count, 表示对这种数攝表分组的总数，分组内分表总数 sp lit— count , 表示每个分组内分表数最大值，分表内行总数 ro^ count, 表示分表 ή行总数，当一个分表的数据量超过这个值的时候，就需要创建一个新的分表。

3. 如权利要求 2所述的网管海量历史数据管理方法，其特征在于，所述历史数据分表管理的处理流程包括以下步骤：

Al、读取记载有数据表的二级分表规则的文件，获取历史数据类型 data— type、分组总数 group— count、分组内分表总数 sp l it— count 和分表 F¾行总数 row— count；

读取数据库分表信息表，获取所有分表的分组号 group no , 分表序号 table JM 当前正在使用标记 current— flag和已使用标记 in^use^flag, 将这些信息保存到一个分组号为键，分表信息列表为值的 ma 对象中，所¾分表信息列表包括分表序号 table— _n0、当前正在使用标记 current— flag和已使 ffi标记 in— use— flag, 其中 map 的键的取值范围从 1到分组总数 grwip^ count, 如果在数据库分表信息表中没有某个键对应的分表信息，那么在 ap中该键对应的分表信息列表就为空；

A2、遍历 A1得到的 map对象； A3、根据適历的结果，如果 map对象中当前分组号对应的分表信息列表为空，则转至步骤 M , 否则, 转至步骤 A5;

A4、在当前分组号的分组 ψ创建一个可用的分表，分配分表序号为 1 . 设置分表当前正在使用标记为 1，已使用标记为 1 , 将该分表的信息插入数据库分表信息表后转至步骤 A5 _;

A5、将数据库分表信息表中 i己载的分表信息，按分組号为键，逐条插入到分组分表信息缓存 Ψ，该缓存用亍记录所有分組中已创建的分表的信息，

将当前正在使用标记为 1的分表信息，桉分组号为键，将分表序号插入分组当前分表序号缓存，该缓存记录每个分组中 curretrt—f lag 为 1的分表的分表序号，转步骤 A6_;

分組当前分表序号缓存内的分表，需要检查其是否超过分表内行总数；

A6、使用定时器并等待，如果定时器未超时则一直等待，当定时器超时后，如果接收到应用程序退出的信号，则退出历史数据分表管理的处理流程；否则, 转入步骤 A7_;

A7、遍历分组当前分表序号缓存，如果未遍历完则转步骠 A8, 若遍历完则转歩骤 A6_;

Λ8 ,读取当前分组中分表序号，根据当前分组的组号和分表序号构造分表的名称，获取分表数据行数；

Λ9、如果分表数据行数大于分表规则中分表内行总数 row count , 则转步骤 Α 10、否则转歩驟 Α7;

Α10、创建新分表，新分表的分表序号为分表所在分组 Φ原来 current— flag为 1的分表的分表序号值加上 1 ,然后在数据库分表信息表中插入该新分表的信息，并将该新分表的信息插入到分组分表信息缓存中，然后将分組当前分表序号缓存 Φ的当前分组对应的分表序号改为新分表的分表序号；

A1 K 判断当前分组中分表总个数是否大于分组内分表总数 split— coiurt, 如果大于则转歩骤 A12, 如果小于则转步骤 A7; A 12、更新数据库分表信息表中该分组内分表序号最小分表的已使用标记 in^use^fla 为 0,标识该分表不会在数据插入和査询中使用，并将被历史数据转移管理流程处理，并从分组分表信息缓存 Ψ删除该分表的记录，转步骤 A l l。

4. 如权利要求 3所述的网管海量历史数据管理方法，其特征在于，所历史数据插入管理的处理流程包括以下歩骤：

B 根据插入数据的内容确定数据並务分组的组号，根据分组当前分表序号缓存获取分表序号，根据分表和数据¾辑对应关系，重新排列插入数掘内容，存入以分组号和分表序号为键，插入数据 ή存为值的 map中；

B2、遍历 B1中的 map, 遍历完成则退出，否则转步骤 B3 ;

B3、根据当前分组号和分表序号，构造分表名称，插入数掘到当前分表中，转步骤 B2。

5. 如权利要求 3所述的网管海量历史数搦管理方法，其特征在于，所途历史数据査询管理的处理流程包括以下歩骤- ci、读取数据库分表信息表 ή已使用标记为 1的分表信息；

C2、分析查询条件、获取所有相关分组分表的表名列表；

C3、棍掘查询条件査询所有 C2中的分表。

6. 如权利要求 3所述的网管海量历史数据管理方法，其特征在于，所述历史数据转移管理的处理流程包括以下步骤：

Dl、按分组号读取数据库分表信息表中所有已使用标记为 0的分表信息记录,保存到以分组号为键，分表序号列表为值的 map中;

02、遍历获取的 ap , 遍历完成后退出；

D3、根据当前分组号和分表序号，构造分表名称，使用批处理工具直接导出指定分表名称的分表中所有行记录

M、根据分組号和分表序号从数据库分表信息表中删除分表信息；

D5、根据分表名称从数据库中删除分表，转步骤 D2。