WO2021016978A1 - 电信网络告警预测方法及系统 - Google Patents

电信网络告警预测方法及系统 Download PDF

Info

Publication number
WO2021016978A1
WO2021016978A1 PCT/CN2019/098807 CN2019098807W WO2021016978A1 WO 2021016978 A1 WO2021016978 A1 WO 2021016978A1 CN 2019098807 W CN2019098807 W CN 2019098807W WO 2021016978 A1 WO2021016978 A1 WO 2021016978A1
Authority
WO
WIPO (PCT)
Prior art keywords
alarm
data
rules
fault
read
Prior art date
Application number
PCT/CN2019/098807
Other languages
English (en)
French (fr)
Inventor
叶可江
林鹏
须成忠
Original Assignee
中国科学院深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院深圳先进技术研究院 filed Critical 中国科学院深圳先进技术研究院
Priority to PCT/CN2019/098807 priority Critical patent/WO2021016978A1/zh
Publication of WO2021016978A1 publication Critical patent/WO2021016978A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1895—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for short real-time information, e.g. alarms, notifications, alerts, updates

Definitions

  • the invention relates to a telecommunication network alarm prediction method and system.
  • the alarm association rules in the telecommunications network are generally summarized and refined by experts based on accumulated relevant experience, and then discussed and decided. This method of manually extracting rules has the characteristics of low efficiency, incompleteness, and strong dependence, and cannot be well adapted to the current complex telecommunication network structure.
  • WinEPI extracts the alarm sequence by setting a fixed time window width, and discovers the partial order relationship of alarms in time.
  • the alarm sequence is usually a set of uneven data, it is often generated intensively in a short period of time, and then calms down after a period of time.
  • the frequency and duration of alarm events generated in different time periods are also different. If a fixed time window width is used to extract alarm transactions, there may be a lot of invalid data, resulting in invalid association rules extracted.
  • the present invention provides a method for predicting telecommunications network alarms.
  • the method includes the following steps: a. Read in telecommunications network alarm data in batches in chronological order and preprocess the alarm data; b. Preprocess the preprocessed alarm data according to Unix Perform DBSCAN clustering with timestamp; c. Mining frequent item sets and alarm association rules for alarm data after DBSCAN clustering; d. Combine and save alarm association rules mined from all batches of alarm data; e. Use combined and saved The above alarm association rules predict the alarms that have not occurred.
  • step a specifically includes:
  • Step a1 read the alarm records, and extract corresponding characteristic information for each alarm record
  • Step a2 check whether the cause of the alarm fault exists in the fault table, if yes, go to step a3; if not, discard and return to step a1;
  • Step a3 check whether the alarm type field of the alarm in the database belongs to the "alarm clear” type, if yes, discard it and return to step a1; if not, go to step a4;
  • Step a4 check whether there are alarm records in the memory that have the same network element, fault cause, and fault type, and the difference in the absolute value of the fault occurrence time is less than the given threshold. If yes, discard and return to step a1; if not, go to step a5 ;
  • Step a5 add the alarm to the memory
  • the step a1 specifically includes:
  • Read alarm records from the database extract corresponding characteristic information for each alarm record, and compose the following data format: ⁇ network element, failure reason, failure type, failure time ⁇ .
  • the step b specifically includes the following steps:
  • Step b1 Convert the occurrence time string in the alarm data format into a Unix timestamp
  • Step b2 use the DBSCAN algorithm to process the time column data
  • Step b3 use the contour coefficient to evaluate the clustering effect
  • Step b4 add the cluster label result obtained by clustering to the last column of the alarm data: ⁇ network element, failure reason, failure type, failure time, cluster category ⁇ ;
  • Step b5 Sort the alarms in the transaction in chronological order, and remove duplicate alarms.
  • the repeated alarms refer to alarms that have the same network element, failure cause, and failure type.
  • Said step c specifically includes the following steps:
  • Step c1 set the minimum support threshold min_sup, scan all the alarm transactions obtained after clustering, count each item, eliminate the item set that appears less than min_sup, and obtain the frequent 1-item set, denoted as L1;
  • Step c2 iterate on L1 to generate a candidate 2-item set, and perform pruning processing on the candidate 2-item set to obtain C2;
  • Step c3 count the support of C2, remove the itemsets smaller than min_sup, and obtain L2;
  • Step c4 repeat step c2 and step c3 to generate L3, L4...Lk, until Lk+1 is empty;
  • Step c5 set a minimum confidence threshold min_conf, and output a strong association rule with a lift greater than 1;
  • Step c6 using the method from step c1 to step c5, separately mining the association rules of the network element and the failure reason in the alarm.
  • the step d specifically includes the following steps:
  • Step d1 read the rules mined from the first batch of alarm data into the memory, the format is: ⁇ previous, subsequent, conf, samples ⁇ ;
  • Step d3 repeat step d2 until all the rules are merged, save the rules as a readable and writable file.
  • the step e specifically includes the following steps:
  • Step e1 read the file storing the rules and convert it into key-value pairs
  • Step e2 read in the current alarms in chronological order, and judge whether the difference between the time of occurrence of the alarm and the last read alarm is less than the specified threshold, if yes, go to step e3; if not, go to step e5;
  • Step e3 add the alarm to the alarm set, traverse the above key-value pair rule table, check whether there is a row of data in the rule table that belongs to a subset of the current alarm set, if yes, go to step e4; if not, continue to step e2, Expand the alarm collection;
  • Step e4 output the consequence and probability of the rule and clear the alarm set
  • Step e5 look up a separate attribute association rule table, and determine whether there are subsequent components corresponding to the current network element and the fault. If yes, go to step e6; if not, go to step e7;
  • Step e7 predict that no failure occurs
  • the key-value pair is expressed as: the key is the antecedent, the value is the latter and the confidence: ⁇ key: the antecedent, value: [the latter, conf] ⁇ .
  • the present invention proposes a telecommunication network alarm prediction scheme, through which a dynamic time window width can be realized, so that the alarm data with sudden characteristics can be handled well; for the extracted alarm transaction database, the Apriori algorithm is adopted Carry out association rule mining; finally, predict the alarm through the method of rule matching and multi-dimensional attribute probability multiplication.
  • the present invention uses time clustering to improve the effectiveness of association rules, adopts the idea of batch processing to improve the ability to process large quantities of data, and provides a predictive warning scheme.
  • Figure 1 is a flow chart of a method for predicting a telecommunication network alarm according to the present invention
  • FIG. 2 is a flowchart of the preprocessing of the alarm data in step S1 of the embodiment of the present invention
  • step S2 is a flowchart of DBSCAN clustering of preprocessed alarm data according to Unix timestamp in step S2 of the embodiment of the present invention
  • step S4 is a flowchart of the alarm association rules mined from all batches of alarm data in step S4 of an embodiment of the present invention
  • Fig. 6 is a flowchart of predicting unoccurring alarms by using the merged and saved alarm association rules in step S5 of the embodiment of the present invention.
  • FIG. 1 it is a flowchart of a preferred embodiment of a method for predicting a telecommunication network alarm of the present invention.
  • Step S1 Read in telecommunication network alarm data in batches in chronological order and preprocess the alarm data. Specifically, please refer to Figure 2:
  • Step S11 Read several alarm records from the database, extract corresponding characteristic information for each alarm record, and form the following data format: ⁇ network element, failure reason, failure type, failure time ⁇ .
  • Step S12 check whether the cause of the alarm fault exists in the fault table, if yes, go to step S13; if not, it means that the alarm may be dirty data with an error in recording, discard and return to step S11.
  • Step S13 check whether the alarm type field of the alarm in the database belongs to the "alarm clear” type, if yes, discard it and return to step S11; if not, go to step S14.
  • Step S14 check whether there are alarm records in the memory that have the same network element, fault cause, and fault type, and the difference in the absolute value of the fault occurrence time is less than the given threshold. If yes, it means that the alarm is a repeated alarm, discard it and return to step S11 ; If not, go to step S15.
  • step S15 the alarm is added to the memory.
  • step S11 to step S15 until the batch of alarm data is all processed.
  • Step S2 Perform DBSCAN clustering on the preprocessed alarm data according to the Unix timestamp. Specifically, please refer to Figure 3:
  • Step S21 Convert the occurrence time string in the alarm data format into a Unix timestamp, and extract the time column data separately.
  • Step S23 Use Silhouette Coefficient to evaluate the clustering effect.
  • the definition of the contour coefficient is as follows: a(i) is the average distance from sample i to other samples in the same cluster, and b(i) is the average distance from sample i to all samples in other clusters. The closer s(i) is to 1, the more reasonable the clustering is.
  • Step S24 Add the cluster label result obtained by clustering to the last column of the alarm data: ⁇ network element, failure reason, failure type, failure time, cluster category ⁇ , divide the alarm transaction according to the category, and the alarms of the same category Belong to the same transaction.
  • Step S25 sort the alarms in the transaction in chronological order, and remove duplicate alarms.
  • the repeated alarms refer to alarms with the same network element, failure cause, and failure type.
  • Step S3 Mining frequent item sets and alarm association rules on the alarm data after DBSCAN clustering. Specifically, please refer to Figure 4:
  • Step S31 Set the minimum support threshold min_sup, scan all the alarm transactions obtained after clustering, count each item, eliminate the item set that appears less than min_sup, and obtain the frequent 1-item set, denoted as L1.
  • step S32 L1 is iterated to generate a candidate 2-item set.
  • Apriori s premise: if an itemset is infrequent, then all its supersets are also infrequent. Therefore, the candidate 2-item set needs to be pruned, that is, the infrequent items contained in the candidate 2-item set are cut off 1-item set, get C2.
  • Step S33 Count the support of C2, and eliminate the itemsets smaller than min_sup to obtain L2.
  • Step S34 repeat step S32 and step S33 to generate L3, L4...Lk until Lk+1 is empty.
  • Step S35 Set a minimum confidence threshold min_conf, and output a strong association rule with a lift greater than 1.
  • the lift is calculated as follows:
  • Step S36 using the method from step S31 to step S35, separately mining the association rules of the network element and the failure reason in the alarm.
  • Step S4 merge and save the alarm association rules mined from all batches of alarm data. Specifically, please refer to Figure 5 together:
  • Step S41 Read the rules mined from the first batch of alarm data into the memory, in the format: ⁇ previous, subsequent, conf, samples ⁇ .
  • Step S43 repeat step S42 until all the rules are merged, and save the rules as a readable and writable file.
  • Step S5 Utilize the merged and saved the above-mentioned alarm association rules to predict the unoccurring alarm.
  • Figure 6 Please refer to Figure 6 together:
  • Step S51 Read the file storing the rules and convert it into a key-value pair, the key is the antecedent, the value is the latter and the confidence: ⁇ key: antecedent, value: [successor, conf] ⁇ .
  • Step S52 Read the currently occurring alarms in chronological order, and determine whether the difference between the occurrence time of the alarm and the last read alarm is less than the specified threshold min_time, if yes, go to step S53; if not, go to step S55.
  • Step S53 Add the alarm to the alarm set, traverse the above key-value pair rule table, check whether there is a row of data in the rule table belonging to a subset of the current alarm set, if yes, go to step S54; if not, continue to step S52, Expand the alarm collection.
  • Step S54 output the consequence and probability of the rule and clear the alarm set.
  • Step S55 search for a separate attribute association rule table (ie, network element ⁇ network element, fault ⁇ fault), and judge whether there is a subsequent component corresponding to the current network element and the fault, if yes, go to step S56; if not, go to step S57 .
  • a separate attribute association rule table ie, network element ⁇ network element, fault ⁇ fault
  • Step S57 predict that no failure occurs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种电信网络告警预测方法，包括：按时间顺序分批读入电信网络告警数据并对所述告警数据预处理；对预处理后的告警数据按照Unix时间戳进行DBSCAN聚类；对DBSCAN聚类后的告警数据挖掘频繁项集和告警关联规则；合并并保存所有批次告警数据挖掘出的告警关联规则；利用合并并保存的上述告警关联规则预测未发生的告警。本发明能够很好地处理具有突发性特点的告警数据，使用时间聚类提高了关联规则的有效性，采用分批处理的思路提高了处理大批量数据的能力。

Description

电信网络告警预测方法及系统 技术领域
本发明涉及一种电信网络告警预测方法及系统。
背景技术
随着电信网络规模的不断扩大，每天由电信设备故障产生的告警也越来越多，而且一个设备的故障经常会导致另一个设备的故障，从而给维护人员带来很大的麻烦。70年代有人提出利用专家知识建立告警关联规则库来处理电信网络产生的告警，但时至今日，这种依赖专家知识的告警关联工具显然不能很好地应付越来越复杂的网络结构。
由于近年来数据挖掘技术的发展，很多行业都开始使用这项技术来处理各自的业务，并取得了令人瞩目的效果，通信行业也不例外。在告警关联方面，运营商开始尝试使用数据挖掘技术对以往积累的大量告警历史信息进行分析，但复杂的业务逻辑和巨大的数据量给他们带来了很大的挑战。
目前电信网络中的告警关联规则一般是通过专家基于积累的相关经验进行总结提炼，然后讨论决定的。这种人工提取规则的方法，存在效率低、不完整、依赖性强等特点，无法很好适应当前复杂的电信网络结构。
已经有一些使用数据挖掘技术进行告警关联的案例，比较经典的算法是WinEPI。WinEPI通过设置固定的时间窗口宽度来提取告警序列，并发现告警在时间上的偏序关系。但由于告警序列通常是一组不均匀的数据，往往在一个短的时间段内密集产生，之后一段时间就恢复平静。且不同时间段内产生的告警事件频率、持续时间也各不相同，如果使用固定的时间窗口宽度来提取告警事务则可能存在很多无效的数据，导致最终提取的关联规则无效。
发明内容
有鉴于此，有必要提供一种电信网络告警预测方法及系统。
本发明提供一种电信网络告警预测方法，该方法包括如下步骤：a.按时间 顺序分批读入电信网络告警数据并对所述告警数据预处理；b.对预处理后的告警数据按照Unix时间戳进行DBSCAN聚类；c.对DBSCAN聚类后的告警数据挖掘频繁项集和告警关联规则；d.合并并保存所有批次告警数据挖掘出的告警关联规则；e.利用合并并保存的上述告警关联规则预测未发生的告警。
其中，所述的步骤a具体包括：
步骤a1，读取告警记录，对每一条告警记录提取相应特征信息；
步骤a2，检查该条告警故障原因是否存在故障表中，如是，则进入步骤a3；如否，则丢弃并返回步骤a1；
步骤a3，检查数据库中该告警的告警类型字段是否属于“告警清除”类型，如是，丢弃并返回步骤a1；如否，进入步骤a4；
步骤a4，检查内存中是否存在网元、故障原因、故障类型均相同，且故障发生时间绝对值之差小于给定阈值的告警记录，如是，则丢弃并返回步骤a1；如否，进入步骤a5；
步骤a5，将该告警添加进内存；
重复步骤a1到步骤a5，直至该批告警数据全部被处理完。
所述的步骤a1具体包括：
从数据库中读取告警记录，对每一条告警记录提取相应特征信息，组成以下数据格式：{网元、故障原因、故障类型、故障发生时间}。
所述的步骤b具体包括如下步骤：
步骤b1，将告警数据格式中的发生时间字符串转换成Unix时间戳；
步骤b2，使用DBSCAN算法处理时间列数据；
步骤b3，使用轮廓系数评价聚类效果；
步骤b4，将聚类得出的簇标签结果添加到告警数据的最后一列：{网元、故障原因、故障类型、故障发生时间，簇类别}；
步骤b5，对事务中的告警按照时间顺序排序，并且去掉重复告警。
所述重复告警指：网元、故障原因、故障类型都相同的告警。
所述的步骤c具体包括如下步骤：
步骤c1，设定最小支持度阈值min_sup，扫描所有聚类后得到的告警事务，对每个项进行计数，剔除出现小于min_sup的项集，得到频繁1-项集，记为L1；
步骤c2，对L1进行迭代，生成候选2-项集，对候选2-项集进行剪枝处理得到C2；
步骤c3，对C2进行支持度计数，将小于min_sup的项集剔除，得到L2；
步骤c4，重复步骤c2和步骤c3，生成L3，L4...Lk，直至Lk+1为空；
步骤c5，设定最小置信度阈值min_conf，输出提升度大于1的强关联规则；
步骤c6，使用步骤c1到步骤c5的方法，分别单独挖掘告警中网元、故障原因的关联规则。
所述的步骤d具体包括如下步骤：
步骤d1，将第一批告警数据挖掘出的规则读进内存，格式为：{前件，后件，conf，samples}；
步骤d2，读进下一批告警数据挖掘出的规则，逐条对比规则是否存在内存当中，若否则添加；若已存在，则更新内存中该规则的conf及samples：
Figure PCTCN2019098807-appb-000001
samples＝samples1+samples2；
步骤d3，重复步骤d2直至所有规则合并完成，将规则保存为可读写文件。
所述的步骤e具体包括如下步骤：
步骤e1，读取存放规则的文件，将其转换为键值对；
步骤e2，按照时间顺序读入当前发生的告警，判断该告警与上一条读进的告警发生时间之差是否小于规定的阈值，如是，则进入步骤e3；如否，执行步骤e5；
步骤e3，将该告警添加到告警集合中，遍历上述键值对规则表，检查规 则表中是否存在一行数据属于当前告警集合的子集，若是，执行步骤e4；若不是，继续执行步骤e2，扩大告警集合；
步骤e4，输出该规则的后件和概率并清空告警集合；
步骤e5，查找单独的属性关联规则表，判断是否存在当前网元和故障各自对应的后件，若有，进入步骤e6；若无，进入步骤e7；
步骤e6，记其置信度为p1和p2，将网元和故障所对应的后件组合成预测告警，并输出概率p＝p1*p2；
步骤e7，预测无故障发生；
清空告警集合，重复步骤e2到步骤e7，继续预测新的告警。
所述的键值对表示为，键为前件，值为后件及置信度：{key：前件，value：[后件，conf]}。
本发明提出了一种电信网络告警预测方案，通过这种方案能实现动态的时间窗口宽度，从而能很好地处理具有突发性特点的告警数据；对于提取出的告警事务数据库，采用Apriori算法进行关联规则挖掘；最后通过规则匹配和多维属性概率相乘的方法预测告警。本发明使用时间聚类提高了关联规则的有效性，采用分批处理的思路提高了处理大批量数据的能力，并给出了一种预测告警的方案。
附图说明
图1为本发明电信网络告警预测方法的流程图；
图2为本发明实施例步骤S1对所述告警数据预处理的流程图；
图3为本发明实施例步骤S2对预处理后的告警数据按照Unix时间戳进行DBSCAN聚类的流程图；
图4为本发明实施例步骤S3对DBSCAN聚类后的告警数据挖掘频繁项集和告警关联规则的流程图；
图5为本发明实施例步骤S4合并并保存所有批次告警数据挖掘出的告警关联规则的流程图；
图6为本发明实施例步骤S5利用合并并保存的上述告警关联规则预测未发生的告警的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
参阅图1所示，是本发明电信网络告警预测方法较佳实施例的作业流程图。
步骤S1，按时间顺序分批读入电信网络告警数据并对所述告警数据预处理。具体而言，请一并参阅图2：
步骤S11，从数据库中读取若干条告警记录，对每一条告警记录提取相应特征信息，组成以下数据格式：{网元、故障原因、故障类型、故障发生时间}。
步骤S12，检查该条告警故障原因是否存在故障表中，如是进入步骤S13；如否说明该告警可能是记录出错的脏数据，丢弃并回到步骤S11。
步骤S13，检查数据库中该告警的告警类型字段是否属于“告警清除”类型，如是，丢弃并回到步骤S11；如否，进入步骤S14。
步骤S14，检查内存中是否存在网元、故障原因、故障类型均相同，且故障发生时间绝对值之差小于给定阈值的告警记录，如是，说明该告警是重复告警，丢弃并回到步骤S11；如否，进入步骤S15。
步骤S15，将该告警添加进内存。
重复步骤S11到步骤S15，直至该批告警数据全部被处理完。
步骤S2，对预处理后的告警数据按照Unix时间戳进行DBSCAN聚 类。具体而言，请一并参阅图3：
步骤S21，将告警数据格式中的发生时间字符串转换成Unix时间戳，并将时间列数据单独提取出来。
步骤S22，使用DBSCAN算法处理时间列数据，算法的参数eps需要调节，min_samples设为2，评价标准使用曼哈顿距离(Manhattan Distance)：distance(a i-a j)＝|t i-t j|，其中t i、t j分别代表告警a i，a j发生的时间。
步骤S23，使用轮廓系数(Silhouette Coefficient)来评价聚类效果的好坏，对于样本i，轮廓系数的定义如下：
Figure PCTCN2019098807-appb-000002
a(i)为样本i到同簇其他样本的平均距离，b(i)为样本i到其他簇所有样本的平均距离。s(i)越接近1，说明聚类越合理。
步骤S24，将聚类得出的簇标签结果添加到告警数据的最后一列：{网元、故障原因、故障类型、故障发生时间，簇类别}，根据所在类别划分告警事务，同一个类别的告警属于同一事务。
步骤S25，对事务中的告警按照时间顺序排序，并且去掉重复告警。其中所述重复告警指：网元、故障原因、故障类型都相同的告警。
步骤S3，对DBSCAN聚类后的告警数据挖掘频繁项集和告警关联规则。具体而言，请一并参阅图4：
步骤S31，设定最小支持度阈值min_sup，扫描所有聚类后得到的告警事务，对每个项进行计数，剔除出现小于min_sup的项集，得到频繁1-项集，记为L1。
步骤S32，对L1进行迭代，生成候选2-项集。根据Apriori的前提假设：如果一个项集是非频繁集，那么它的所有超集也是非频繁的，因此需要对候选2-项集进行剪枝处理，即剪掉候选2-项集中包含的不频繁1-项集，得到C2。
步骤S33，对C2进行支持度计数，将小于min_sup的项集剔除，得到L2。
步骤S34，重复步骤S32和步骤S33，生成L3，L4...Lk，直至Lk+1为空。
步骤S35，设定最小置信度阈值min_conf，输出提升度大于1的强关联规则。提升度的计算方式如下：
Figure PCTCN2019098807-appb-000003
步骤S36，使用步骤S31到步骤S35的方法，分别单独挖掘告警中网元、故障原因的关联规则。
步骤S4，合并并保存所有批次告警数据挖掘出的告警关联规则。具体而言，请一并参阅图5：
步骤S41，将第一批告警数据挖掘出的规则读进内存，格式为：{前件，后件，conf，samples}。
步骤S42，读进下一批告警数据挖掘出的规则，逐条对比规则是否存在内存当中，若否则添加；若已存在，则更新内存中该规则的conf及samples：
Figure PCTCN2019098807-appb-000004
samples＝samples1+samples2。
步骤S43，重复步骤S42直至所有规则合并完成，将规则保存为可读写文件。
步骤S5：利用合并并保存的上述告警关联规则预测未发生的告警。具体包括，请一并参阅图6：
步骤S51，读取存放规则的文件，将其转换为键值对，键为前件，值为后件及置信度：{key：前件，value：[后件，conf]}。
步骤S52，按照时间顺序读入当前发生的告警，判断该告警与上一条读进的告警发生时间之差是否小于规定的阈值min_time，如是，则进入步骤S53；如否，执行步骤S55。
步骤S53，将该告警添加到告警集合中，遍历上述键值对规则表，检查规则表中是否存在一行数据属于当前告警集合的子集，若是，执行步骤S54；若不是，继续执行步骤S52，扩大告警集合。
步骤S54，输出该规则的后件和概率并清空告警集合。
步骤S55，查找单独的属性关联规则表(即网元→网元，故障→故障)，判断是否存在当前网元和故障各自对应的后件，若有，进入步骤S56；若无，进入步骤S57。
步骤S56，记其置信度为p1和p2，将网元和故障所对应的后件组合成预测告警，并输出概率p＝p1*p2。
步骤S57，预测无故障发生。
清空告警集合，重复步骤S52到步骤S57，继续预测新的告警。
虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (9)

  1. 一种电信网络告警预测方法，其特征在于，该方法包括如下步骤：
    a.按时间顺序分批读入电信网络告警数据并对所述告警数据预处理；
    b.对预处理后的告警数据按照Unix时间戳进行DBSCAN聚类；
    c.对DBSCAN聚类后的告警数据挖掘频繁项集和告警关联规则；
    d.合并并保存所有批次告警数据挖掘出的告警关联规则；
    e.利用合并并保存的上述告警关联规则预测未发生的告警。
  2. 如权利要求1所述的方法，其特征在于，所述的步骤a具体包括：
    步骤a1，读取告警记录，对每一条告警记录提取相应特征信息；
    步骤a2，检查该条告警故障原因是否存在故障表中，如是，则进入步骤a3；如否，则丢弃并返回步骤a1；
    步骤a3，检查数据库中该告警的告警类型字段是否属于“告警清除”类型，如是，丢弃并返回步骤a1；如否，进入步骤a4；
    步骤a4，检查内存中是否存在网元、故障原因、故障类型均相同，且故障发生时间绝对值之差小于给定阈值的告警记录，如是，则丢弃并返回步骤a1；如否，进入步骤a5；
    步骤a5，将该告警添加进内存；
    重复步骤a1到步骤a5，直至该批告警数据全部被处理完。
  3. 如权利要求2所述的方法，其特征在于，所述的步骤a1具体包括：
    从数据库中读取告警记录，对每一条告警记录提取相应特征信息，组成以下数据格式：{网元、故障原因、故障类型、故障发生时间}。
  4. 如权利要求3所述的方法，其特征在于，所述的步骤b具体包括如下步骤：
    步骤b1，将告警数据格式中的发生时间字符串转换成Unix时间戳；
    步骤b2，使用DBSCAN算法处理时间列数据；
    步骤b3，使用轮廓系数评价聚类效果；
    步骤b4，将聚类得出的簇标签结果添加到告警数据的最后一列：{网元、故障原因、故障类型、故障发生时间，簇类别}；
    步骤b5，对事务中的告警按照时间顺序排序，并且去掉重复告警。
  5. 如权利要求4所述的方法，其特征在于，所述重复告警指：网元、故障原因、故障类型都相同的告警。
  6. 如权利要求5所述的方法，其特征在于，所述的步骤c具体包括如下步骤：
    步骤c1，设定最小支持度阈值min_sup，扫描所有聚类后得到的告警事务，对每个项进行计数，剔除出现小于min_sup的项集，得到频繁1-项集，记为L1；
    步骤c2，对L1进行迭代，生成候选2-项集，对候选2-项集进行剪枝处理得到C2；
    步骤c3，对C2进行支持度计数，将小于min_sup的项集剔除，得到L2；
    步骤c4，重复步骤c2和步骤c3，生成L3，L4...Lk，直至Lk+1为空；
    步骤c5，设定最小置信度阈值min_conf，输出提升度大于1的强关联规则；
    步骤c6，使用步骤c1到步骤c5的方法，分别单独挖掘告警中网元、故障原因的关联规则。
  7. 如权利要求6所述的方法，其特征在于，所述的步骤d具体包括如下步骤：
    步骤d1，将第一批告警数据挖掘出的规则读进内存，格式为：{前件，后件，conf，samples}；
    步骤d2，读进下一批告警数据挖掘出的规则，逐条对比规则是否存在内存当中，若否则添加；若已存在，则更新内存中该规则的conf及samples：
    Figure PCTCN2019098807-appb-100001
    samples＝samples1+samples2；
    步骤d3，重复步骤d2直至所有规则合并完成，将规则保存为可读写文件。
  8. 如权利要求7所述的方法，其特征在于，所述的步骤e具体包括如下步骤：
    步骤e1，读取存放规则的文件，将其转换为键值对；
    步骤e2，按照时间顺序读入当前发生的告警，判断该告警与上一条读进的告警发生时间之差是否小于规定的阈值，如是，则进入步骤e3；如否，执行步 骤e5；
    步骤e3，将该告警添加到告警集合中，遍历上述键值对规则表，检查规则表中是否存在一行数据属于当前告警集合的子集，若是，执行步骤e4；若不是，继续执行步骤e2，扩大告警集合；
    步骤e4，输出该规则的后件和概率并清空告警集合；
    步骤e5，查找单独的属性关联规则表，判断是否存在当前网元和故障各自对应的后件，若有，进入步骤e6；若无，进入步骤e7；
    步骤e6，记其置信度为p1和p2，将网元和故障所对应的后件组合成预测告警，并输出概率p＝p1*p2；
    步骤e7，预测无故障发生；
    清空告警集合，重复步骤e2到步骤e7，继续预测新的告警。
  9. 如权利要求8所述的系统，其特征在于，所述的键值对表示为，键为前件，值为后件及置信度：{key：前件，value：[后件，conf]}。
PCT/CN2019/098807 2019-08-01 2019-08-01 电信网络告警预测方法及系统 WO2021016978A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/098807 WO2021016978A1 (zh) 2019-08-01 2019-08-01 电信网络告警预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/098807 WO2021016978A1 (zh) 2019-08-01 2019-08-01 电信网络告警预测方法及系统

Publications (1)

Publication Number Publication Date
WO2021016978A1 true WO2021016978A1 (zh) 2021-02-04

Family

ID=74228865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/098807 WO2021016978A1 (zh) 2019-08-01 2019-08-01 电信网络告警预测方法及系统

Country Status (1)

Country Link
WO (1) WO2021016978A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589098A (zh) * 2021-07-12 2021-11-02 国网河南省电力公司灵宝市供电公司 基于大数据驱动的电网故障预测和诊断方法
CN113641526A (zh) * 2021-09-01 2021-11-12 京东科技信息技术有限公司 告警根因定位方法、装置、电子设备及计算机存储介质
CN113792161A (zh) * 2021-09-16 2021-12-14 陈刚 一种挖掘告警中频发故障的方法
CN114285725A (zh) * 2021-12-24 2022-04-05 中国电信股份有限公司 网络故障确定方法及装置、存储介质及电子设备
CN114297453A (zh) * 2021-12-30 2022-04-08 中国电信股份有限公司 告警预测方法、装置、电子设备及存储介质
CN114301712A (zh) * 2021-12-31 2022-04-08 西安交通大学 一种基于图方法的工业互联网告警日志关联分析方法及系统
CN114866396A (zh) * 2022-07-07 2022-08-05 浩鲸云计算科技股份有限公司 基于文本相似度的实现资源不准下网络故障定位的方法
CN115271263A (zh) * 2022-09-27 2022-11-01 佰聆数据股份有限公司 基于改进关联规则的电力设备缺陷预警方法、系统及介质
CN115333922A (zh) * 2022-10-13 2022-11-11 广州极能信息技术有限公司 运维支撑网告警数据挖掘方法、系统及存储介质
CN115882938A (zh) * 2023-02-20 2023-03-31 中通服建设有限公司 一种光网故障监测系统
CN116055287A (zh) * 2022-11-17 2023-05-02 烽火通信科技股份有限公司 一种传输设备故障根因自动定位的方法与装置
CN116684306A (zh) * 2023-06-29 2023-09-01 苏州浪潮智能科技有限公司 一种故障预测方法、装置、设备及可读存储介质
CN116915507A (zh) * 2023-09-12 2023-10-20 奇安星城网络安全运营服务(长沙)有限公司 基于安全信号匹配的计算机网络安全分析系统
CN117079462A (zh) * 2023-08-24 2023-11-17 云南省交通投资建设集团有限公司 一种基于Apriori算法的路段突发交通事件预测系统及方法
CN117436073A (zh) * 2023-12-21 2024-01-23 福建极数网络科技有限公司 一种基于智能标签的安全日志告警方法、介质和设备
CN113589098B (zh) * 2021-07-12 2024-06-07 国网河南省电力公司灵宝市供电公司 基于大数据驱动的电网故障预测和诊断方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462606A (zh) * 2014-12-31 2015-03-25 中国科学院深圳先进技术研究院 一种基于日志数据确定诊断处理措施的方法
US9798540B1 (en) * 2017-04-26 2017-10-24 Semmle Limited Classification of anomalous static analysis rules
CN107517216A (zh) * 2017-09-08 2017-12-26 瑞达信息安全产业股份有限公司 一种网络安全事件关联方法
US20180248893A1 (en) * 2017-02-27 2018-08-30 Microsoft Technology Licensing, Llc Detecting Cyber Attacks by Correlating Alerts Sequences in a Cluster Environment
CN108737147A (zh) * 2017-04-25 2018-11-02 中国移动通信集团广东有限公司 一种网络告警事件处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462606A (zh) * 2014-12-31 2015-03-25 中国科学院深圳先进技术研究院 一种基于日志数据确定诊断处理措施的方法
US20180248893A1 (en) * 2017-02-27 2018-08-30 Microsoft Technology Licensing, Llc Detecting Cyber Attacks by Correlating Alerts Sequences in a Cluster Environment
CN108737147A (zh) * 2017-04-25 2018-11-02 中国移动通信集团广东有限公司 一种网络告警事件处理方法及装置
US9798540B1 (en) * 2017-04-26 2017-10-24 Semmle Limited Classification of anomalous static analysis rules
CN107517216A (zh) * 2017-09-08 2017-12-26 瑞达信息安全产业股份有限公司 一种网络安全事件关联方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUAN JING , LI DA-WEI , LU SHAO-WEN , LEI PENG: "Big Data Analysis Algorithm Research on Alarm Correlation of Communication System", TELECOM ENGINEERING TECHNICS AND STANDARDIZATION, vol. 32, no. 5, 15 May 2019 (2019-05-15), pages 80 - 84, XP055776868, ISSN: 1008-5599, DOI: 10.13992/j.cnki.tetas.2019.05.018 *
ZHANG, XIONG: "Alarm Correlation Analysis Based on Association Rules in Telecommunication Networks", MASTER THESIS, no. 3, 15 March 2017 (2017-03-15), pages 1 - 59, XP009525716, ISSN: 1674-0246 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589098A (zh) * 2021-07-12 2021-11-02 国网河南省电力公司灵宝市供电公司 基于大数据驱动的电网故障预测和诊断方法
CN113589098B (zh) * 2021-07-12 2024-06-07 国网河南省电力公司灵宝市供电公司 基于大数据驱动的电网故障预测和诊断方法
CN113641526A (zh) * 2021-09-01 2021-11-12 京东科技信息技术有限公司 告警根因定位方法、装置、电子设备及计算机存储介质
CN113641526B (zh) * 2021-09-01 2024-04-05 京东科技信息技术有限公司 告警根因定位方法、装置、电子设备及计算机存储介质
CN113792161A (zh) * 2021-09-16 2021-12-14 陈刚 一种挖掘告警中频发故障的方法
CN114285725A (zh) * 2021-12-24 2022-04-05 中国电信股份有限公司 网络故障确定方法及装置、存储介质及电子设备
CN114297453A (zh) * 2021-12-30 2022-04-08 中国电信股份有限公司 告警预测方法、装置、电子设备及存储介质
CN114297453B (zh) * 2021-12-30 2023-12-15 中国电信股份有限公司 告警预测方法、装置、电子设备及存储介质
CN114301712B (zh) * 2021-12-31 2023-04-07 西安交通大学 一种基于图方法的工业互联网告警日志关联分析方法及系统
CN114301712A (zh) * 2021-12-31 2022-04-08 西安交通大学 一种基于图方法的工业互联网告警日志关联分析方法及系统
CN114866396A (zh) * 2022-07-07 2022-08-05 浩鲸云计算科技股份有限公司 基于文本相似度的实现资源不准下网络故障定位的方法
CN115271263A (zh) * 2022-09-27 2022-11-01 佰聆数据股份有限公司 基于改进关联规则的电力设备缺陷预警方法、系统及介质
CN115333922A (zh) * 2022-10-13 2022-11-11 广州极能信息技术有限公司 运维支撑网告警数据挖掘方法、系统及存储介质
CN115333922B (zh) * 2022-10-13 2023-01-06 广州极能信息技术有限公司 运维支撑网告警数据挖掘方法、系统及存储介质
CN116055287A (zh) * 2022-11-17 2023-05-02 烽火通信科技股份有限公司 一种传输设备故障根因自动定位的方法与装置
CN115882938A (zh) * 2023-02-20 2023-03-31 中通服建设有限公司 一种光网故障监测系统
CN116684306A (zh) * 2023-06-29 2023-09-01 苏州浪潮智能科技有限公司 一种故障预测方法、装置、设备及可读存储介质
CN116684306B (zh) * 2023-06-29 2023-11-03 苏州浪潮智能科技有限公司 一种故障预测方法、装置、设备及可读存储介质
CN117079462A (zh) * 2023-08-24 2023-11-17 云南省交通投资建设集团有限公司 一种基于Apriori算法的路段突发交通事件预测系统及方法
CN117079462B (zh) * 2023-08-24 2024-05-07 云南省交通投资建设集团有限公司 一种基于Apriori算法的路段突发交通事件预测系统及方法
CN116915507A (zh) * 2023-09-12 2023-10-20 奇安星城网络安全运营服务(长沙)有限公司 基于安全信号匹配的计算机网络安全分析系统
CN116915507B (zh) * 2023-09-12 2023-12-05 奇安星城网络安全运营服务(长沙)有限公司 基于安全信号匹配的计算机网络安全分析系统
CN117436073B (zh) * 2023-12-21 2024-04-16 福建极数网络科技有限公司 一种基于智能标签的安全日志告警方法、介质和设备
CN117436073A (zh) * 2023-12-21 2024-01-23 福建极数网络科技有限公司 一种基于智能标签的安全日志告警方法、介质和设备

Similar Documents

Publication Publication Date Title
WO2021016978A1 (zh) 电信网络告警预测方法及系统
CN107294993B (zh) 一种基于集成学习的web异常流量监测方法
CN110865929B (zh) 异常检测预警方法及系统
CN110708204B (zh) 一种基于运维知识库的异常处理方法、系统、终端及介质
CN111309565B (zh) 告警处理方法、装置、电子设备以及计算机可读存储介质
CN110503247A (zh) 电信网络告警预测方法及系统
WO2022083576A1 (zh) 一种网络功能虚拟化设备运行数据的分析方法及装置
CN108876034B (zh) 一种改进的Lasso+RBF神经网络组合预测方法
US7464068B2 (en) System and method for continuous diagnosis of data streams
EP3679487A1 (en) Apparatus and method for real time analysis, predicting and reporting of anomalous database transaction log activity
CN114048870A (zh) 一种基于日志特征智能挖掘的电力系统异常监测方法
CN111552843B (zh) 一种基于加权因果依赖图的故障预测方法
US20070226216A1 (en) Methods and Apparatus for Dynamic Classification of Data in Evolving Data Stream
CN110427298A (zh) 一种分布式日志的自动特征提取方法
CN113723452A (zh) 一种基于kpi聚类的大规模异常检测系统
CN115858794B (zh) 用于网络运行安全监测的异常日志数据识别方法
CN110059126B (zh) 基于lkj异常值数据的复杂关联网络分析方法及系统
CN110750412A (zh) 日志异常检测方法
CN114416573A (zh) 一种应用程序的缺陷分析方法、装置、设备及介质
CN112363891B (zh) 一种基于细粒度事件和KPIs分析的异常原因获得方法
CN112039907A (zh) 一种基于物联网终端评测平台的自动测试方法及系统
CN115118580B (zh) 告警分析方法以及装置
CN114675789B (zh) 一种基于计算机系统的大数据分析存储系统及方法
CN114969074A (zh) 一种基于互联网ai外呼的数据库更新方法、系统及装置
CN113485878B (zh) 一种多数据中心故障检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19939409

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19939409

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19939409

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 15/02/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 19939409

Country of ref document: EP

Kind code of ref document: A1