WO2015018224A1 - 一种监控系统的多维度数据存储、检索方法及装置 - Google Patents

Abstract

本发明涉及数据监控相关技术领域，特别是一种监控系统的多维度数据存储、检索方法及装置，存储方法包括：获取与每个监控业务关联的多个监控维度，以及至少一对包括指标名称和指标值的监控指标数据；将多个监控维度分别转换为具有相同长度的多个行关键字映射值；将监控时间与多个行关键字映射值结合作为行关键字，且所述监控时间设置在行关键字中的固定的时间位置；以所述行关键字为索引在分布式数据库中存储监控指标。本发明实现根据不同的监控业务动态调整监控系统数据存储的监控维度，从而解决了现有技术修改监控维度只能通过修改程序代码的方式来实现的技术问题，减少了维护成本，提高了可扩展性。

Description

一种监控系统的多维度数据存储、 检索方法及装置 技术领域

本发明涉及数据监控相关技术领域， 特别是一种监控系统的多维 度数据存储、 检索方法及装置。 背景技术

监控数据的存储与展示一直是监控系统的关键， 对于需要监控的 系统进行数据采集的频率越大， 采集的数据量就越大， 随着采集的时 间增长， 会造成数据存储慢， 检索慢的问题， 如果采集的频率过小， 那么采集的数据量是降低了， 但是不利于系统的实时健康状况的有效 监控， 对于重要的 IT系统 （7*24小时不能中断的系统）， 后台监控的 重要性是不言而喻的， 所以对于监控数据的存储， 检索 （用于报表展 示， 历史统计， 对比） 的可靠方案设计是要求很高的。 对于监控数据的存储、 检索， 现有的技术方案通常利用普通的数 据库存储， 大致采用以下方法：

( 1 ) SQL数据库存储检索： 主要由数据存储模块、 数据查询模块 组成、 过期数据删除模块。

A、 数据存储模块： 后台采集异步批量存储来提高数据存储速度。

B、 数据查询模块： 采用标准 sql来进行数据查询。

C、 过期数据删除模块： 为了避免数据量过大导致查询速度慢， 必 须定期删除某一时间点之前的数据， 比如一个月之前的数据。 然而， 现有技术监控的监控维度通常会受设计的表结构限制 (根据 业务设计表结构)， 新增加的监控数据往往只能通过修改程序代码的方 式来实现， 增加了维护的成本，限制了可扩展性。 发明内容 基于此， 有必要针对现有监控系统数据存储的监控维度固定， 不 能根据不同的监控业务动态调整的技术问题， 提出一种监控系统的多 维度数据存储、 检索方法及装置。 一种监控系统的多维度数据存储方法， 包括：

获取与每个监控业务关联的多个监控维度， 以及至少一对包括指 标名称和指标值的监控指标数据；

将多个监控维度分别转换为具有相同长度的多个行关键字映射 值；

将监控时间与多个行关键字映射值结合作为行关键字， 且所述监 控时间设置在行关键字中的固定的时间位置；

以所述行关键字为索引在分布式数据库中存储监控指标。 一种监控系统的多维度数据存储装置， 包括：

指标获取模块， 用于获取与每个监控业务关联的多个监控维度， 以及至少一对包括指标名称和指标值的监控指标数据；

映射值获取模块， 用于将多个监控维度分别转换为具有相同长度 的多个行关键字映射值；

行关键字生成模块， 用于将监控时间与多个行关键字映射值结合 作为行关键字， 且所述监控时间设置在行关键字中的固定的时间位置； 存储模块， 用于以所述行关键字为索引在分布式数据库中存储监 控指标。 一种监控系统的多维度数据检索方法， 包括：

响应检索请求， 所述检索请求包括多个待检索监控维度以及待检 索时间范围， 将多个待检索监控维度转换为具有相同长度的多个待检 索映射值；

检索符合检索请求的行关键字， 所述行关键字包括多个具有相同 长度的行关键字映射值， 以及设置在行关键字固定的时间位置的监控 时间， 所述符合检索请求的行关键字具体包括： 从行关键字固定的时间位置拆分出的监控时间， 且拆分出的监控 时间在所述待检索时间范围内， 且

从行关键字中拆分出的多个行关键字映射值， 且拆分出的行关键 字包括所述多个待检索映射值；

获取以符合检索请求的行关键字为索引存储的至少一对包括指标 名称和指标值的监控指标数据。 一种监控系统的多维度数据检索装置， 包括：

检索请求响应模块， 用于响应检索请求， 所述检索请求包括多个 待检索监控维度以及待检索时间范围， 将多个待检索监控维度转换为 具有相同长度的多个待检索映射值；

行关键字检索模块， 用于检索符合检索请求的行关键字， 所述行 关键字包括多个具有相同长度的行关键字映射值， 以及设置在行关键 字固定的时间位置的监控时间， 所述符合检索请求的行关键字具体包 括：

从行关键字固定的时间位置拆分出的监控时间， 且拆分出的监控 时间在所述待检索时间范围内， 且

从行关键字中拆分出的多个行关键字映射值， 且拆分出的行关键 字包括所述多个待检索映射值；

指标数据获取模块， 用于获取以符合检索请求的行关键字为索引 存储的至少一对包括指标名称和指标值的监控指标数据。 本发明的一种监控系统的多维度数据存储、 检索方法及装置， 将 监控维度转换为固定长度的映射值， 将监控时间与多个行关键字映射 值结合作为行关键字， 且所述监控时间设置在行关键字中的固定的时 间位置。 由于行关键字映射值长度固定， 而监控时间在行关键字中的 位置也固定， 因此无论监控业务的监控维度为多少个， 均可以形成对 应的行关键字， 且在检索时也能非常容易地对行关键字进行拆分得到 监控维度的行关键字映射值以及监控时间， 从而实现动态修改监控维 度。 通过以行关键字为索引在分布式数据库中存储监控指标， 则能实 现根据不同的监控业务动态调整监控系统数据存储的监控维度， 从而 解决了现有技术修改监控维度只能通过修改程序代码的方式来实现的 技术问题， 减少了维护成本， 提高了可扩展性。 附图说明

图 1为本发明一种监控系统的多维度数据存储方法的工作流程图； 图 2为本发明一种监控系统的多维度数据检索方法的工作流程图； 图 3为本发明的一个例子的模块结构图；

图 4为本发明一种监控系统的多维度数据存储装置的模块结构图； 图 5为本发明一种监控系统的多维度数据检索装置的模块结构图。 具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。 如图 1 所示为本发明一种监控系统的多维度数据存储方法的工作 流程图， 包括：

步骤 S101， 获取与每个监控业务关联的多个监控维度， 以及至少 一对包括指标名称和指标值的监控指标数据；

步骤 S102， 将多个监控维度分别转换为具有相同长度的多个行关 键字映射值；

步骤 S103，将监控时间与多个行关键字映射值结合作为行关键字， 且所述监控时间设置在行关键字中的固定的时间位置；

步骤 S104， 以所述行关键字为索引在分布式数据库中存储监控指 标。 监控维度用于对监控指标进行标识， 通过监控维度， 能对指标数 据进行非常细致的划分汇总。 例如， 对北京市 A街 B楼 C层的电脑 HOST-001 的 CPU使用率、 内存使用率和硬盘使用率进行监控， 则监 控维度包括： 监控维度 1 : 北京市， 监控维度 2: A街， 监控维度 3 : B 楼， 监控维度 4: C层， 监控维度 5 : HOST-001。 通过划分监控维度， 则可以将具有相同监控维度的各种指标数据进行汇总分类。 现有的监控系统在实施监控前， 需要先对设计表结构， 即确定行 关键字和列关键字。 然而， 在监控系统中， 需要对不同的监控业务， 采用不同的监控维度， 但现有的监控系统， 只能在实施监控前， 预先 确定每个监控业务的监控维度， 在监控过程中， 则无法修改监控维度。 而本发明实施例采用的是动态修改监控维度的方式， 在实施监控 的过程中， 通过步骤 S101获取当前监控业务的监控维度， 包括监控维 度的名称及个数， 然后在步骤 S103中， 将多个监控维度与监控时间结 合作为行关键字，并以此为索引存放对应的监控指标。由于在步骤 S102 中， 将监控维度转换为具有相同长度的行关键字映射值， 同时， 在步 骤 S103中， 监控时间设置在行关键字中的固定的时间位置， 因此， 当 进行检索时能够根据固定的时间位置拆分出监控时间， 也能根据固定 的长度拆分出多个监控维度的行关键字映射值， 从而实现了将多个监 控维度和监控时间结合为行关键字， 并将结合后的行关键字作为指标 数据的存储索引。 而如果不采用固定的时间位置设置监控时间， 也不 采用固定的长度设定监控维度的行关键字映射值， 则无法在多个监控 维度和监控时间结合后重新拆分出多个监控维度和监控时间， 从而无 法实现将多个监控维度和监控时间结合的行关键字， 以作为指标数据 的存储索引。 每一个维度标识为一个字符串的标识， 行关键字映射值可以采用 多种方式转换， 在其中一个实施例中， 所述行关键字映射值为监控维 度的哈希值。 采用哈希值能减少长度， 从而节省存储空间。 当行关键 字映射值采用哈希值后， 每一个监控维度的行关键字映射值占用 4 个 字节的长度， 即整型 （int) 的占用长度。 时间位置可以设定在行关键字的任意地方， 例如设定在第一个行 关键字映射值之后， 或者在最后一个行关键字映射值之前。 在其中一 个实施例中， 所述时间位置为行关键字的首部或者尾部。 由于在监控 系统中， 监控时间的格式都是固定， 因此其数据长度也是固定的， 因 此设置在时间位置为行关键字的首部或者尾部， 则可以简单地从行关 键字的首部或者尾部截取固定长度的数据作为监控时间。 如图 2所述为本发明一种监控系统的多维度数据检索方法的工作 流程图， 包括：

步骤 S201 , 响应检索请求， 所述检索请求包括多个待检索监控维 度以及待检索时间范围， 将多个待检索监控维度转换为具有相同长度 的多个待检索映射值；

步骤 S202, 检索符合检索请求的行关键字， 所述行关键字包括多 个具有相同长度的行关键字映射值， 以及设置在行关键字固定的时间 位置的监控时间， 所述符合检索请求的行关键字具体包括：

从行关键字固定的时间位置拆分出的监控时间， 且拆分出的监控 时间在所述待检索时间范围内， 且

从行关键字中拆分出的多个行关键字映射值， 且拆分出的行关键 字包括所述多个待检索映射值；

步骤 S203 , 获取以符合检索请求的行关键字为索引存储的至少一 对包括指标名称和指标值的监控指标数据。 在其中一个实施例中， 所述步骤 S202, 具体包括：

对每个行关键字从固定的时间位置中拆分出监控时间， 将拆分出 监控时间后的行关键字按照相同长度拆分出多个具有相同长度的行关 键字映射值；

如果检索拆分出的监控时间在所述待检索时间范围内， 且拆分出 的多个行关键字映射值包括所述多个待检索映射值， 则行关键字符合 检索请求。 在其中一个实施例中， 所述待检索映射值为待检索监控维度的哈 希值。 在其中一个实施例中， 所述监控时间设置在行关键字的首部或者 尾部。 如图 3所示为本发明的一个例子的模块结构图， 包括：

数据存储接口 31、 NoSQL存储数据库 32、 数据查询接口 33和数 据汇总接口 34。 其中， 数据存储接口 31采用本发明实施例一种监控系 统的多维度数据存储方法将将监控数据存储进 NoSQL存储数据库 32 中， NoSQL存储数据库 32采用基于 Hadoop文件系统的 hbase存储。 而数据查询接口 33则采用本发明实施例一种监控系统的多维度数据检 索方法对存储在 NoSQL存储数据库 32的监控数据进行检索。 汇总模 块 34通过数据查询接口 33获取所需要的监控数据， 根据监控数据的 监控维度实现不同监控维度下分钟， 小时， 天， 周的数据汇总计算， 以求得平均值，最大值，最小值等统计值存储至 NoSQL存储数据库 32。 具体监控维度的需求由监控系统根据需要设计并提供， 通过定时任务 调用汇总模块 34获得相应的数据。 作为一个例子， 如表 1所示组合行关键字:

表 1行关键字组合例子

其中每个行关键字映射值为 4个字节（即整型数据）， 而监控时间

如表 2所示为对应存储的指标数据:

表 2指标数据存储例子

指标数据包括指标名称和指标值， 指标值可以采用 double的字节 (占用 8个字节)存储， 以此来解少存储占用空间。 采用上面的设计可以有效减少海量数据存储占用的存储空间， 并 且能有效地提高查询速度，监控维度、 监控指标可以动态扩展来适应业 务的变化。 同时， 现有的监控系统将数据存储在关系型数据库中， 因此， 存 在：

1、 存储速度与数据量的大小成正比， 并且会随着数据量的上升而 导致存储速度的变慢 （需要仔细分析保存的监控数据的时间范围， 比 如一个月， 一周）。

2、 检索速度与数据量的大小成正比， 与检索的并发数相关， 数据 量越大， 同时检索的人越多， 检索速度越慢。

3、存储容量有限，由于普通的关系型数据库数据存储的容量越多， 会影响查询速度， 通常会定时删除过期的数据， 只保留固定范围的数 据， 这也导致不能很好地跟踪历史数据进行统计对比。 而本发明实施例将指标数据存储进分布式数据库中， 因此能充分 利用分布式数据库进行数据扩展， 例如， 可以采用基于 Hadoop文件系 统的 hbase存储， 以此来解决海量数据的存储与检索， 可以设定数据存 储区间 （基于时间范围）， 自动清理过期数据。 数据存储与查询可以充 分利用 hbase的分布式特性进行接口设计与实现，海量的数据的存储与 检索效率可以通过增加存储硬件来横向扩展， 并且不会降低存储与检 索速度。 如图 4所示为本发明一种监控系统的多维度数据存储装置的模块 结构图， 包括：

指标获取模块 41，用于获取与每个监控业务关联的多个监控维度， 以及至少一对包括指标名称和指标值的监控指标数据； 映射值获取模块 42， 用于将多个监控维度分别转换为具有相同长 度的多个行关键字映射值；

行关键字生成模块 43， 用于将监控时间与多个行关键字映射值结 合作为行关键字， 且所述监控时间设置在行关键字中的固定的时间位 置；

存储模块 44， 用于以所述行关键字为索引在分布式数据库中存储 监控指标。 在其中一个实施例中，所述行关键字映射值为监控维度的哈希值。 在其中一个实施例中，所述时间位置为行关键字的首部或者尾部。 如图 5所示为本发明一种监控系统的多维度数据检索装置的模块 结构图， 包括：

检索请求响应模块 51， 用于响应检索请求， 所述检索请求包括多 个待检索监控维度以及待检索时间范围， 将多个待检索监控维度转换 为具有相同长度的多个待检索映射值；

行关键字检索模块 52， 用于检索符合检索请求的行关键字， 所述 行关键字包括多个具有相同长度的行关键字映射值， 以及设置在行关 键字固定的时间位置的监控时间， 所述符合检索请求的行关键字具体 包括：

从行关键字固定的时间位置拆分出的监控时间， 且拆分出的监控 时间在所述待检索时间范围内， 且

从行关键字中拆分出的多个行关键字映射值， 且拆分出的行关键 字包括所述多个待检索映射值；

指标数据获取模块 53， 用于获取以符合检索请求的行关键字为索 引存储的至少一对包括指标名称和指标值的监控指标数据。 在其中一个实施例中， 所述行关键字检索模块 52， 具体用于： 对每个行关键字从固定的时间位置中拆分出监控时间， 将拆分出 监控时间后的行关键字按照相同长度拆分出多个具有相同长度的行关 键字映射值；

如果检索拆分出的监控时间在所述待检索时间范围内， 且拆分出 的多个行关键字映射值包括所述多个待检索映射值， 则行关键字符合 检索请求。 在其中一个实施例中， 所述待检索映射值为待检索监控维度的哈 希值。 在其中一个实施例中， 所述监控时间设置在行关键字的首部或者 尾部。 以上所述实施例仅表达了本发明的几种实施方式， 其描述较为具 体和详细， 但并不能因此而理解为对本发明专利范围的限制。 应当指 出的是， 对于本领域的普通技术人员来说， 在不脱离本发明构思的前 提下， 还可以做出若干变形和改进， 这些都属于本发明的保护范围。 因此， 本发明专利的保护范围应以所附权利要求为准。

Claims

权 利 要 求 书

1. 一种监控系统的多维度数据存储方法， 其特征在于， 包括： 获取与每个监控业务关联的多个监控维度， 以及至少一对包括指 标名称和指标值的监控指标数据；

将多个监控维度分别转换为具有相同长度的多个行关键字映射 值；

将监控时间与多个行关键字映射值结合作为行关键字， 且所述监 控时间设置在行关键字中的固定的时间位置；

以所述行关键字为索引在分布式数据库中存储监控指标。

2. 根据权利要求 1所述的监控系统的多维度数据存储方法， 其特 征在于， 所述行关键字映射值为监控维度的哈希值。

3. 根据权利要求 1所述的监控系统的多维度数据存储方法， 其特 征在于， 所述时间位置为行关键字的首部或者尾部。

4. 一种监控系统的多维度数据存储装置， 其特征在于， 包括： 指标获取模块， 用于获取与每个监控业务关联的多个监控维度， 以及至少一对包括指标名称和指标值的监控指标数据；

映射值获取模块， 用于将多个监控维度分别转换为具有相同长度 的多个行关键字映射值；

行关键字生成模块， 用于将监控时间与多个行关键字映射值结合 作为行关键字， 且所述监控时间设置在行关键字中的固定的时间位置； 存储模块， 用于以所述行关键字为索引在分布式数据库中存储监 控指标。

5. 根据权利要求 4所述的监控系统的多维度数据存储装置， 其特 征在于， 所述行关键字映射值为监控维度的哈希值。

6. 根据权利要求 4所述的监控系统的多维度数据存储装置， 其特 征在于， 所述时间位置为行关键字的首部或者尾部。

7. 一种监控系统的多维度数据检索方法， 其特征在于， 包括： 响应检索请求， 所述检索请求包括多个待检索监控维度以及待检 索时间范围， 将多个待检索监控维度转换为具有相同长度的多个待检 索映射值；

检索符合检索请求的行关键字， 所述行关键字包括多个具有相同 长度的行关键字映射值， 以及设置在行关键字固定的时间位置的监控 时间， 所述符合检索请求的行关键字具体包括：

从行关键字固定的时间位置拆分出的监控时间， 且拆分出的监控 时间在所述待检索时间范围内， 且

从行关键字中拆分出的多个行关键字映射值， 且拆分出的行关键 字包括所述多个待检索映射值；

获取以符合检索请求的行关键字为索引存储的至少一对包括指标 名称和指标值的监控指标数据。

8. 根据权利要求 7所述的监控系统的多维度数据检索方法， 其特 征在于， 所述检索符合检索请求的行关键字的步骤， 具体包括：

对每个行关键字从固定的时间位置中拆分出监控时间， 将拆分出 监控时间后的行关键字按照相同长度拆分出多个具有相同长度的行关 键字映射值；

如果检索拆分出的监控时间在所述待检索时间范围内， 且拆分出 的多个行关键字映射值包括所述多个待检索映射值， 则行关键字符合 检索请求。

9. 根据权利要求 7所述的监控系统的多维度数据检索方法， 其特 征在于， 所述待检索映射值为待检索监控维度的哈希值。

10. 根据权利要求 7 所述的监控系统的多维度数据检索方法， 其 特征在于， 所述监控时间设置在行关键字的首部或者尾部。

11. 一种监控系统的多维度数据检索装置， 其特征在于， 包括： 检索请求响应模块， 用于响应检索请求， 所述检索请求包括多个 待检索监控维度以及待检索时间范围， 将多个待检索监控维度转换为 具有相同长度的多个待检索映射值；

行关键字检索模块， 用于检索符合检索请求的行关键字， 所述行 关键字包括多个具有相同长度的行关键字映射值， 以及设置在行关键 字固定的时间位置的监控时间， 所述符合检索请求的行关键字具体包 括：

从行关键字固定的时间位置拆分出的监控时间， 且拆分出的监控 时间在所述待检索时间范围内， 且

从行关键字中拆分出的多个行关键字映射值， 且拆分出的行关键 字包括所述多个待检索映射值；

指标数据获取模块， 用于获取以符合检索请求的行关键字为索引 存储的至少一对包括指标名称和指标值的监控指标数据。

12. 根据权利要求 11所述的监控系统的多维度数据检索装置， 其 特征在于， 所述行关键字检索模块， 具体用于：

对每个行关键字从固定的时间位置中拆分出监控时间， 将拆分出 监控时间后的行关键字按照相同长度拆分出多个具有相同长度的行关 键字映射值；

如果检索拆分出的监控时间在所述待检索时间范围内， 且拆分出 的多个行关键字映射值包括所述多个待检索映射值， 则行关键字符合 检索请求。

13. 根据权利要求 11所述的监控系统的多维度数据检索装置， 其 特征在于， 所述待检索映射值为待检索监控维度的哈希值。

14. 根据权利要求 1 1所述的监控系统的多维度数据检索装置， 其 特征在于， 所述监控时间设置在行关键字的首部或者尾部。