WO2023050705A1 - 一种监控数据管理方法、装置及电子设备和存储介质 - Google Patents

一种监控数据管理方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
WO2023050705A1
WO2023050705A1 PCT/CN2022/078205 CN2022078205W WO2023050705A1 WO 2023050705 A1 WO2023050705 A1 WO 2023050705A1 CN 2022078205 W CN2022078205 W CN 2022078205W WO 2023050705 A1 WO2023050705 A1 WO 2023050705A1
Authority
WO
WIPO (PCT)
Prior art keywords
influxdb
monitoring data
cluster
abnormal
clusters
Prior art date
Application number
PCT/CN2022/078205
Other languages
English (en)
French (fr)
Inventor
孙辽东
Original Assignee
苏州浪潮智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 苏州浪潮智能科技有限公司 filed Critical 苏州浪潮智能科技有限公司
Publication of WO2023050705A1 publication Critical patent/WO2023050705A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Definitions

  • the number of servers is 900, and an InfluxDB cluster is used to store the monitoring data of 200 servers, that is, the number of servers corresponding to a single InfluxDB cluster is 200, the number of InfluxDB clusters to be created is 5, and the indexes are 0, 1, and 2 respectively. , 3, 4.
  • the hash algorithm is used to calculate the index relationship between the server and the InfluxDB cluster. The calculation method is shown in Figure 2, (Hash (cluster index number) + Hash (node name)), and Figure 2 contains a total of 2 There are 32 positions, and the hollow circle represents the node position.
  • An acquisition module configured to acquire a data query command
  • Judgment module for judging whether the exact query condition is included in the data query command; Wherein, the precise query condition includes a single server or a single InfluxDB cluster that needs to be queried; if so, start the workflow of the response module; if not, then Start the workflow of the parsing module;
  • the recovery module is configured to recover the abnormal InfluxDB cluster according to the abnormal type when an abnormal InfluxDB cluster is detected.
  • the memory 3 may be a volatile memory or a non-volatile memory, and may also include both volatile and non-volatile memories.
  • the non-volatile memory can be read-only memory (ROM, Read Only Memory), programmable read-only memory (PROM, Programmable Read-Only Memory), erasable programmable read-only memory (EPROM, Erasable Programmable Read-Only Memory) Only Memory), Electrically Erasable Programmable Read-Only Memory (EEPROM, Electrically Erasable Programmable Read-Only Memory), Magnetic Random Access Memory (FRAM, ferromagnetic random access memory), Flash Memory (Flash Memory), Magnetic Surface Memory , CD, or CD-ROM (Compact Disc Read-Only Memory); magnetic surface storage can be disk storage or tape storage.

Abstract

本申请公开了一种监控数据管理方法、装置及一种电子设备和计算机可读存储介质，该方法包括：创建多个InfluxDB集群；根据服务器数量和InfluxDB集群数量利用哈希算法计算服务器与InfluxDB集群的索引关系，并将所述索引关系存储至关系型数据库中；采集目标服务器的监控数据，根据所述索引关系确定所述目标服务器对应的目标InfluxDB集群，并将所述监控数据写入所述目标InfluxDB集群中。由此可见，本申请提供的监控数据管理方法，实现了数量庞大的服务器的监控数据的快速存储。

Description

一种监控数据管理方法、装置及电子设备和存储介质
本申请要求在2021年09月30日提交中国专利局、申请号为202111164311.8、发明名称为“一种监控数据管理方法、装置及电子设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及存储技术领域，更具体地说，涉及一种监控数据管理方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
人工智能平台基于InfluxDB数据库存储监控数据，由于InfluxDB本身的限制在超算场景下单节点无法支持数量庞大的服务器的监控数据的快速写入和快速查询，严重影响用户的体验。
因此，如何实现数量庞大的服务器的监控数据的快速读写是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种监控数据管理方法、装置及一种电子设备和一种计算机可读存储介质，实现了数量庞大的服务器的监控数据的快速读写。
为实现上述目的，本申请提供了一种监控数据管理方法，包括：
创建多个InfluxDB集群；
根据服务器数量和InfluxDB集群数量利用哈希算法计算服务器与InfluxDB集群的索引关系，并将所述索引关系存储至关系型数据库中；
采集目标服务器的监控数据，根据所述索引关系确定所述目标服务器对应的目标InfluxDB集群，并将所述监控数据写入所述目标InfluxDB集群中。
其中，还包括：
获取数据查询命令；
将所述数据查询命令解析为多条数据查询子命令；其中，每条所述数据查询子命令对应单个InfluxDB集群；
将每条所述数据查询子命令分发至对应的InfluxDB集群中执行，得到每条所述数据查询子命令对应的响应子信息；
利用分析函数对所有所述响应子信息进行汇总分析，得到所述数据查询命令对应的响应信息。
其中，所述获取数据查询命令之后，还包括：
判断所述数据查询命令中是否包含精确查询条件；其中，所述精确查询条件包括需要查询的单个服务器或单个InfluxDB集群；
若是，则直接响应所述数据查询命令；
若否，则执行将所述数据查询命令解析为多条数据查询子命令的步骤。
其中，还包括：
利用每个所述InfluxDB集群中的告警引擎根据阈值信息对写入所述InfluxDB集群的监控数据进行监听，以生成告警信息；
汇总所有所述InfluxDB集群生成的告警信息。
其中，还包括：
对所有所述InfluxDB集群进行异常监测；
若监测到异常InfluxDB集群，则根据异常类型对所述异常InfluxDB集群进行恢复。
其中，所述根据异常类型对所述异常InfluxDB集群进行恢复，包括：
若异常类型为节点异常，则在所述异常InfluxDB集群中选取一个正常节点接管异常节点。
其中，所述服务器中缓存有自身最近预设时长的监控数据，所述根据异常类型对所述异常InfluxDB集群进行恢复，包括：
若异常类型为集群异常，则创建新的InfluxDB集群，从所述关系型数据库中获取所述异常InfluxDB集群的索引关系，从所述异常InfluxDB集群对应的服务器中获取缓存的监控数据，以实现所述新的InfluxDB集群替代所述异常InfluxDB集群。
为实现上述目的，本申请提供了一种监控数据管理装置，包括：
创建模块，用于创建多个InfluxDB集群；
计算模块，用于根据服务器数量和InfluxDB集群数量利用哈希算法计算服务器与InfluxDB集群的索引关系，并将所述索引关系存储至关系型数据库中；
写入模块，用于采集目标服务器的监控数据，根据所述索引关系确定所述目标服务器对应的目标InfluxDB集群，并将所述监控数据写入所述目标InfluxDB集群中。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述监控数据管理方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述监控数据管理方法的步骤。
通过以上方案可知，本申请提供的一种监控数据管理方法，包括：创建多个InfluxDB集群；根据服务器数量和InfluxDB集群数量利用哈希算法计算服务器与InfluxDB集群的索引关系，并将所述索引关系存储至关系型数据库中；采集目标服务器的监控数据，根据所述索引关系确定所述目标服务器对应的目标InfluxDB集群，并将所述监控数据写入所述目标InfluxDB集群中。
本申请提供的监控数据管理方法，通过多个InfluxDB集群存储大量服务器的监控数据，每个服务器的监控数据并行写入对应的InfluxDB集群中，实现了监控数据的快速写入。由此可见，本申请提供的监控数据管理方法，实现了数量庞大的服务器的监控数据的快速存储。本申请还公开了一种监控数据管理装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为根据一示例性实施例示出的一种监控数据管理方法的流程图；
图2为根据一示例性实施例示出的一种服务器与InfluxDB集群的索引关系的示意图；
图3为根据一示例性实施例示出的另一种监控数据管理方法的流程图；
图4为根据一示例性实施例示出的一种监控数据管理装置的结构图；
图5为根据一示例性实施例示出的一种电子设备的结构图；
图6为根据一示例性实施例示出的一种计算机可读存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例公开了一种监控数据管理方法，实现了数量庞大的服务器的监控数据的快速读写。
参见图1，根据一示例性实施例示出的一种监控数据管理方法的流程图，如图1所示，包括：
S101：创建多个InfluxDB集群；
S102：根据服务器数量和InfluxDB集群数量利用哈希算法计算服务器与InfluxDB集群的索引关系，并将所述索引关系存储至关系型数据库中；
在本实施例中，创建多个InfluxDB集群，用于存储大量服务器的监控数据，即基于分库思想实现InfluxDB集群的动态扩展，可以使用Ansible(一种自动化运维工具)完成整个人工智能平台的一键式部署和分库动态扩展。在具体实施中，根据服务器数量和单个InfluxDB集群对应的服务器数量，计算需要创建的InfluxDB集群数量。例如，若服务器数量为900，一个InfluxDB集群用于存储200个服务器的监控数据，即单个InfluxDB集群对应的服务器数量为200，则需要创建的InfluxDB集群数量为5，索引分别为0、1、2、3、4。根据服务器数量n和InfluxDB集群数量利用哈希算法计算服务器与InfluxDB集群的索引关系，计算方式如图2所示，(Hash(集群索引号)+Hash(节点名称))，图2中一共包含2 32个位置，空心圆代表节点位置，在添加新的InfluxDB集群时需要找到没有相关节点与之关联的位置，再进行反向计算索引。
可以理解的是，每个服务器存储有自身与其对应的InfluxDB集群的索引关系，每个InfluxDB集群也存储有自身与其对应的服务器的索引关系，所有的索引关系可以存储至关系型数据库中进行备份，例如Marladb。关系型数据库中存在多个节点时支持节点内存直接通过RPC(远程过程调用，Remote Procedure Call)采用增量更新的方式进行数据同步。进一步的，对于每个InfluxDB集群内置三种脚本部署方式：虚拟机/物理机中直接部署、容器化部署、k8s(kubernetes)部署。
S103：采集目标服务器的监控数据，根据所述索引关系确定所述目标服务器对应的目标InfluxDB集群，并将所述监控数据写入所述目标InfluxDB集群中。
在本实施例中，每个服务器中包含采集组件telegraf，用于采集自身的监控数据，并将其输出至InfluxDB集群。在具体实施中，修改采集组件telegraf的数据输出方式，动态的完成监控数据的输出，也即在telegraf原有组件的配置文件中增加新的配置项，用于定义新的数据输出方式，在该数据输出方式下，对于目标服务器，需要根据索引关系确定其对应的目标InfluxDB集群，并将目标服务器的监控数据写入该目标InfluxDB集群中。
作为一种优选实施方式，还可以自定义适配器，用于将采集到的监控数据转换为InfluxDB集群可以存储的数据格式。需要说明的是，数据入库支持 周期性写入和缓存空间溢出写入，以最小化条件为准，如果超过最大尝试次数或者对应InfluxDB集群暂时无法写入时将其存入缓存池中，预设时间后仍然无法写入时则丢弃数据。
本申请实施例提供的监控数据管理方法，通过多个InfluxDB集群存储大量服务器的监控数据，每个服务器的监控数据并行写入对应的InfluxDB集群中，实现了监控数据的快速写入。由此可见，本申请提供的监控数据管理方法，实现了数量庞大的服务器的监控数据的快速存储。
本实施例介绍数据查询方式，具体的：
参见图3，根据一示例性实施例示出的另一种监控数据管理方法的流程图，如图3所示，包括：
S201：获取数据查询命令；
在本实施例中，数据查询命令可以具体为SQL(结构化查询语言，Structured Query Language)，在InfluxDB层增加全局拦截器(Java中的Aspect思想)，拦截所有数据查询命令，即所有Dao方法，判断数据查询命令中是否包含精确查询条件；其中，精确查询条件包括需要查询的单个服务器或单个InfluxDB集群；若是，则直接响应数据查询命令；若否，则进入步骤S202。
S202：将所述数据查询命令解析为多条数据查询子命令；其中，每条所述数据查询子命令对应单个InfluxDB集群；
S203：将每条所述数据查询子命令分发至对应的InfluxDB集群中执行，得到每条所述数据查询子命令对应的响应子信息；
在具体实施中，根据数据查询命令需要查询的InfluxDB集群将数据查询命令解析为多条数据查询子命令，每条数据查询子命令用于查询一个InfluxDB集群，分发至对应的InfluxDB集群中并行执行，支持阻塞回调，得到在各InfluxDB集群的响应子信息。
S204：利用分析函数对所有所述响应子信息进行汇总分析，得到所述数据查询命令对应的响应信息。
在具体实施中，对SQL进行动态解析判断是否需要使用分析函数进行数据汇总。在ORM(对象关系映射，Object Relational Mapping)对象中增加需要参与计算的属性注解标记，基于InfluxDB本身的函数自定义分析函数，包 括均值、最大值、最小值、方差、最新值等。以均值函数为例，每个InfluxDB集群使用本身的均值函数得到计算结果，即响应子信息，然后对所有InfluxDB集群产生的计算结果进行，再除以InfluxDB集群个数，得到最终的计算结果，即数据查询命令对应的响应信息。
由此可见，本实施例实现了多个InfluxDB集群的并行数据查询，利用分析函数对所有InfluxDB集群的查询结果进行汇总分析，提高了数据查询效率。
在上述实施例的基础上，作为一种优选实施方式，还包括：利用每个所述InfluxDB集群中的告警引擎根据阈值信息对写入所述InfluxDB集群的监控数据进行监听，以生成告警信息；汇总所有所述InfluxDB集群生成的告警信息。
在具体实施中，在每个InfluxDB集群中部署告警引擎，当新的InfluxDB集群加入时，动态的完成告警引擎模块的部署。告警引擎用于根据阈值信息对写入的监听数据进行监听产生告警信息，阈值信息可以阈值范围、启用/禁用、告警频率等，由业务模块下发至每个告警引擎中，另外业务模块还可以对各告警引擎中的阈值信息进行更新。进一步的，部署告警信息汇总组件用于告警信息的统一处理，可以包括数据去重、产生告警邮件、告警信息入库等。
在上述实施例的基础上，作为一种优选实施方式，还包括：对所有所述InfluxDB集群进行异常监测；若监测到异常InfluxDB集群，则根据异常类型对所述异常InfluxDB集群进行恢复。
在具体实施中，为例保证多个InfluxDB集群可以正常存储监控数据，定时检测所有的InfluxDB集群，如果状态异常触发快速恢复监听事件。在每个服务器中，缓存有自身的最近一段时间的监控数据，用于异常恢复。
作为一种可行的实施方式，若异常类型为节点异常，即异常InfluxDB集群中监测到一个异常节点，则在该异常InfluxDB集群中选取一个正常节点接管异常节点。
作为另一种可行的实施方式，若异常类型为集群异常，则创建新的InfluxDB集群，从关系型数据库中获取异常InfluxDB集群的索引关系，从异常InfluxDB集群对应的服务器中获取缓存的监控数据，以实现新的InfluxDB 集群替代异常InfluxDB集群。
下面对本申请实施例提供的一种监控数据管理装置进行介绍，下文描述的一种监控数据管理装置与上文描述的一种监控数据管理方法可以相互参照。
参见图4，根据一示例性实施例示出的一种监控数据管理装置的结构图，如图4所示，包括：
创建模块401，用于创建多个InfluxDB集群；
计算模块402，用于根据服务器数量和InfluxDB集群数量利用哈希算法计算服务器与InfluxDB集群的索引关系，并将所述索引关系存储至关系型数据库中；
写入模块403，用于采集目标服务器的监控数据，根据所述索引关系确定所述目标服务器对应的目标InfluxDB集群，并将所述监控数据写入所述目标InfluxDB集群中。
本申请实施例提供的监控数据管理装置，通过多个InfluxDB集群存储大量服务器的监控数据，每个服务器的监控数据并行写入对应的InfluxDB集群中，实现了监控数据的快速写入。由此可见，本申请提供的监控数据管理装置，实现了数量庞大的服务器的监控数据的快速存储。
在上述实施例的基础上，作为一种优选实施方式，还包括：
获取模块，用于获取数据查询命令；
解析模块，用于将所述数据查询命令解析为多条数据查询子命令；其中，每条所述数据查询子命令对应单个InfluxDB集群；
执行模块，用于将每条所述数据查询子命令分发至对应的InfluxDB集群中执行，得到每条所述数据查询子命令对应的响应子信息；
第一汇总模块，用于利用分析函数对所有所述响应子信息进行汇总分析，得到所述数据查询命令对应的响应信息。
在上述实施例的基础上，作为一种优选实施方式，还包括：
判断模块，用于判断所述数据查询命令中是否包含精确查询条件；其中，所述精确查询条件包括需要查询的单个服务器或单个InfluxDB集群；若是， 则启动响应模块的工作流程；若否，则启动解析模块的工作流程；
响应模块，用于响应所述数据查询命令。
在上述实施例的基础上，作为一种优选实施方式，还包括：
监听模块，用于利用每个所述InfluxDB集群中的告警引擎根据阈值信息对写入所述InfluxDB集群的监控数据进行监听，以生成告警信息；
第二汇总模块，用于汇总所有所述InfluxDB集群生成的告警信息。
在上述实施例的基础上，作为一种优选实施方式，还包括：
监测模块，用于对所有所述InfluxDB集群进行异常监测；
恢复模块，用于当监测到异常InfluxDB集群时，根据异常类型对所述异常InfluxDB集群进行恢复。
在上述实施例的基础上，作为一种优选实施方式，若异常类型为节点异常，则所述恢复模块具体为在所述异常InfluxDB集群中选取一个正常节点接管异常节点的模块。
在上述实施例的基础上，作为一种优选实施方式，所述服务器中缓存有自身最近预设时长的监控数据，若异常类型为集群异常，则所述恢复模块具体为创建新的InfluxDB集群，从所述关系型数据库中获取所述异常InfluxDB集群的索引关系，从所述异常InfluxDB集群对应的服务器中获取缓存的监控数据，以实现所述新的InfluxDB集群替代所述异常InfluxDB集群的模块。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图5为根据一示例性实施例示出的一种电子设备的结构图，如图5所示，电子设备包括：
通信接口1，能够与其它设备比如网络设备等进行信息交互；
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的监控数据管理方法。而所述计算机程序存储在存储器3上。
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括 数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器3旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编 程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，参见图6，本申请实施例还提供了一种存储介质，即计算机存储介质，如图6所示，具体为计算机可读存储介质601，例如包括存储计算机程序602的存储器3，上述计算机程序602可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质601可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易 想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

  1. 一种监控数据管理方法，其特征在于，包括：
    创建多个InfluxDB集群；
    根据服务器数量和InfluxDB集群数量利用哈希算法计算服务器与InfluxDB集群的索引关系，并将所述索引关系存储至关系型数据库中；
    采集目标服务器的监控数据，根据所述索引关系确定所述目标服务器对应的目标InfluxDB集群，并将所述监控数据写入所述目标InfluxDB集群中。
  2. 根据权利要求1所述监控数据管理方法，其特征在于，还包括：
    获取数据查询命令；
    将所述数据查询命令解析为多条数据查询子命令；其中，每条所述数据查询子命令对应单个InfluxDB集群；
    将每条所述数据查询子命令分发至对应的InfluxDB集群中执行，得到每条所述数据查询子命令对应的响应子信息；
    利用分析函数对所有所述响应子信息进行汇总分析，得到所述数据查询命令对应的响应信息。
  3. 根据权利要求2所述监控数据管理方法，其特征在于，所述获取数据查询命令之后，还包括：
    判断所述数据查询命令中是否包含精确查询条件；其中，所述精确查询条件包括需要查询的单个服务器或单个InfluxDB集群；
    若所述数据查询命令中包含精确查询条件，则直接响应所述数据查询命令；
    若所述数据查询命令中不包含精确查询条件，则执行将所述数据查询命令解析为多条数据查询子命令的步骤。
  4. 根据权利要求1所述监控数据管理方法，其特征在于，还包括：
    利用每个所述InfluxDB集群中的告警引擎根据阈值信息对写入所述InfluxDB集群的监控数据进行监听，以生成告警信息；
    汇总所有所述InfluxDB集群生成的告警信息。
  5. 根据权利要求1至4中任一项所述监控数据管理方法，其特征在于，还包括：
    对所有所述InfluxDB集群进行异常监测；
    若监测到异常InfluxDB集群，则根据异常类型对所述异常InfluxDB集群进行恢复。
  6. 根据权利要求5所述监控数据管理方法，其特征在于，所述根据异常类型对所述异常InfluxDB集群进行恢复，包括：
    若异常类型为节点异常，则在所述异常InfluxDB集群中选取一个正常节点接管异常节点。
  7. 根据权利要求5所述监控数据管理方法，其特征在于，所述服务器中缓存有自身最近预设时长的监控数据，所述根据异常类型对所述异常InfluxDB集群进行恢复，包括：
    若异常类型为集群异常，则创建新的InfluxDB集群，从所述关系型数据库中获取所述异常InfluxDB集群的索引关系，从所述异常InfluxDB集群对应的服务器中获取缓存的监控数据，以实现所述新的InfluxDB集群替代所述异常InfluxDB集群。
  8. 一种监控数据管理装置，其特征在于，包括：
    创建模块，用于创建多个InfluxDB集群；
    计算模块，用于根据服务器数量和InfluxDB集群数量利用哈希算法计算服务器与InfluxDB集群的索引关系，并将所述索引关系存储至关系型数据库中；
    写入模块，用于采集目标服务器的监控数据，根据所述索引关系确定所述目标服务器对应的目标InfluxDB集群，并将所述监控数据写入所述目标InfluxDB集群中。
  9. 一种电子设备，其特征在于，包括：
    存储器，用于存储计算机程序；
    处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述监控数据管理方法的步骤。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述监控数据管理方法的步骤。
PCT/CN2022/078205 2021-09-30 2022-02-28 一种监控数据管理方法、装置及电子设备和存储介质 WO2023050705A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111164311.8 2021-09-30
CN202111164311.8A CN113609139A (zh) 2021-09-30 2021-09-30 一种监控数据管理方法、装置及电子设备和存储介质

Publications (1)

Publication Number Publication Date
WO2023050705A1 true WO2023050705A1 (zh) 2023-04-06

Family

ID=78343324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/078205 WO2023050705A1 (zh) 2021-09-30 2022-02-28 一种监控数据管理方法、装置及电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN113609139A (zh)
WO (1) WO2023050705A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561825A (zh) * 2023-07-12 2023-08-08 北京亿赛通科技发展有限责任公司 数据安全管控方法、装置及计算机设备
CN116566865A (zh) * 2023-07-11 2023-08-08 湖南星汉数智科技有限公司 抓包系统和方法
CN116595057A (zh) * 2023-07-14 2023-08-15 腾讯科技（深圳）有限公司 数据查询方法、装置、计算机设备及计算机程序产品
CN116992065A (zh) * 2023-09-26 2023-11-03 之江实验室 一种图数据库数据导入方法、系统、电子设备、介质
CN117573479A (zh) * 2023-12-12 2024-02-20 中国科学院计算机网络信息中心 一种面向信息系统多源目标的状态监测方法及系统架构
CN117632666A (zh) * 2024-01-25 2024-03-01 杭州阿里云飞天信息技术有限公司 一种告警方法、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609139A (zh) * 2021-09-30 2021-11-05 苏州浪潮智能科技有限公司 一种监控数据管理方法、装置及电子设备和存储介质
CN117349128B (zh) * 2023-12-05 2024-03-22 杭州沃趣科技股份有限公司 一种服务器集群的故障监控方法、装置、设备及存储介质
CN117472697B (zh) * 2023-12-26 2024-03-15 苏州元脑智能科技有限公司 一种集群监控方法、装置及电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140149466A1 (en) * 2012-11-27 2014-05-29 Hitachi, Ltd. Time-series database setup automatic generation method, setup automatic generation system and monitoring server
CN107015872A (zh) * 2016-12-09 2017-08-04 上海壹账通金融科技有限公司 监控数据的处理方法及装置
CN111352809A (zh) * 2020-03-06 2020-06-30 苏州浪潮智能科技有限公司 一种分布式告警方法、系统及计算机可读存储介质
CN112181942A (zh) * 2020-09-22 2021-01-05 中国建设银行股份有限公司 时序数据库系统和数据处理方法及装置
CN112199249A (zh) * 2020-09-16 2021-01-08 中国建设银行股份有限公司 监控数据的处理方法、装置、设备和介质
CN113609139A (zh) * 2021-09-30 2021-11-05 苏州浪潮智能科技有限公司 一种监控数据管理方法、装置及电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634519A (zh) * 2018-11-28 2019-04-16 平安科技（深圳）有限公司 电子装置、监控数据缓存的方法及存储介质
CN111752807A (zh) * 2020-07-01 2020-10-09 浪潮云信息技术股份公司 一种基于Kubernetes的资源监控方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140149466A1 (en) * 2012-11-27 2014-05-29 Hitachi, Ltd. Time-series database setup automatic generation method, setup automatic generation system and monitoring server
CN107015872A (zh) * 2016-12-09 2017-08-04 上海壹账通金融科技有限公司 监控数据的处理方法及装置
CN111352809A (zh) * 2020-03-06 2020-06-30 苏州浪潮智能科技有限公司 一种分布式告警方法、系统及计算机可读存储介质
CN112199249A (zh) * 2020-09-16 2021-01-08 中国建设银行股份有限公司 监控数据的处理方法、装置、设备和介质
CN112181942A (zh) * 2020-09-22 2021-01-05 中国建设银行股份有限公司 时序数据库系统和数据处理方法及装置
CN113609139A (zh) * 2021-09-30 2021-11-05 苏州浪潮智能科技有限公司 一种监控数据管理方法、装置及电子设备和存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116566865A (zh) * 2023-07-11 2023-08-08 湖南星汉数智科技有限公司 抓包系统和方法
CN116561825A (zh) * 2023-07-12 2023-08-08 北京亿赛通科技发展有限责任公司 数据安全管控方法、装置及计算机设备
CN116561825B (zh) * 2023-07-12 2023-09-26 北京亿赛通科技发展有限责任公司 数据安全管控方法、装置及计算机设备
CN116595057A (zh) * 2023-07-14 2023-08-15 腾讯科技（深圳）有限公司 数据查询方法、装置、计算机设备及计算机程序产品
CN116595057B (zh) * 2023-07-14 2024-02-27 腾讯科技（深圳）有限公司 数据查询方法、装置、计算机设备及计算机程序产品
CN116992065A (zh) * 2023-09-26 2023-11-03 之江实验室 一种图数据库数据导入方法、系统、电子设备、介质
CN116992065B (zh) * 2023-09-26 2024-01-12 之江实验室 一种图数据库数据导入方法、系统、电子设备、介质
CN117573479A (zh) * 2023-12-12 2024-02-20 中国科学院计算机网络信息中心 一种面向信息系统多源目标的状态监测方法及系统架构
CN117632666A (zh) * 2024-01-25 2024-03-01 杭州阿里云飞天信息技术有限公司 一种告警方法、设备及存储介质
CN117632666B (zh) * 2024-01-25 2024-05-07 杭州阿里云飞天信息技术有限公司 一种告警方法、设备及存储介质

Also Published As

Publication number Publication date
CN113609139A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
WO2023050705A1 (zh) 一种监控数据管理方法、装置及电子设备和存储介质
US11308092B2 (en) Stream processing diagnostics
CN108241555B (zh) 一种分布式数据库的备份、恢复方法、装置和服务器
US11481408B2 (en) Event driven extract, transform, load (ETL) processing
US11416344B2 (en) Partial database restoration
CA2930101C (en) Partition-based data stream processing framework
US8762944B2 (en) Build process management system
WO2018161559A1 (zh) 非易失性内存的掉电保护方法及装置
US9760453B2 (en) Two-tier failover service for data disaster recovery
CA3141329A1 (en) Request link tracking method and service request processing method
US20130055392A1 (en) File System Event Tracking
CA2929776A1 (en) Client-configurable security options for data streams
US8984332B2 (en) Active/passive database management across clusters
US20110167302A1 (en) Diagnostic data set component
US20130275369A1 (en) Data record collapse and split functionality
US9338057B2 (en) Techniques for searching data associated with devices in a heterogeneous data center
CN111046036A (zh) 数据同步方法、装置、系统及存储介质
US20130110785A1 (en) System and method for backing up test data
US11544229B1 (en) Enhanced tracking of data flows
US10951540B1 (en) Capture and execution of provider network tasks
CN112464044B (zh) 一种文件数据块变化信息监控管理系统及其方法
US8621070B1 (en) Statistical profiling of cluster tasks
TW200945193A (en) Adaptation of contentious storage virtualization configurations
US20210397599A1 (en) Techniques for generating a consistent view of an eventually consistent database
US20220351080A1 (en) GxP ARTIFICIAL INTELLIGENCE / MACHINE LEARNING (AI/ML) PLATFORM

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22874108

Country of ref document: EP

Kind code of ref document: A1