WO2020134032A1 - 用于检测业务系统异常的方法及其装置 - Google Patents

用于检测业务系统异常的方法及其装置 Download PDF

Info

Publication number
WO2020134032A1
WO2020134032A1 PCT/CN2019/096274 CN2019096274W WO2020134032A1 WO 2020134032 A1 WO2020134032 A1 WO 2020134032A1 CN 2019096274 W CN2019096274 W CN 2019096274W WO 2020134032 A1 WO2020134032 A1 WO 2020134032A1
Authority
WO
WIPO (PCT)
Prior art keywords
business system
feature vector
monitoring
time window
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/096274
Other languages
English (en)
French (fr)
Inventor
蒋丹妮
何东杰
茅毓铭
张高磊
周雍恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Publication of WO2020134032A1 publication Critical patent/WO2020134032A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Definitions

  • the present invention relates to computer technology, and in particular to a method for detecting abnormality of a business system, a device for implementing the method, and a computer-readable storage medium.
  • the traditional business system anomaly detection technology focuses on monitoring and discovering system anomalies.
  • the common practice is to perform real-time monitoring of key indicators in the business system according to preset rules. If an anomaly is detected, an alarm is immediately reported. For example, if the monitored key index exceeds the specified threshold, an alarm is triggered.
  • the above-mentioned business system anomaly detection technology generally belongs to the medium and post-accident type, that is, an alarm is detected and remedial measures are taken when an anomaly is found.
  • an exception occurs, the business system is often already under too much pressure, and even if remedial measures are taken, it is difficult to achieve the desired effect, thereby causing even greater losses to the system.
  • the occurrence of system abnormal faults is related to multiple indicators, and the fluctuation of a single indicator is not enough to reflect the health status of the system;
  • the number of abnormal samples is small or the coverage is incomplete. Generally, the system is in a normal state most of the time, there are few abnormal samples, and it is necessary to detect the occurrence of unknown new abnormalities.
  • An aspect of the present invention is to provide a method for detecting abnormality of a business system.
  • a method for detecting abnormality of a business system includes the following steps:
  • the monitoring index is a time series for different service types in the service system.
  • the step A) includes:
  • a statistical feature component of the historical value of the monitoring index is used to construct a corresponding feature vector.
  • step B) of the above method the frequent pattern is obtained by performing cluster analysis on the feature vectors of the training samples.
  • the statistical feature component includes one or more of the following: maximum value, minimum value, average value, variance, skewness, kurtosis, first-order difference feature, and the maximum value And the position of the minimum value in the training sample.
  • the weights of the statistical feature components are dynamically changed so that the distance of training samples belonging to the same frequent pattern is less than the first threshold, and the distance of training samples belonging to different frequent patterns Greater than the second threshold.
  • the moving time window length and step size are determined based on actual business scenarios, where multiple time window lengths and step sizes can be used simultaneously.
  • C2 Determine whether the business system is in an abnormal state based on the distance between the feature vector of the current monitoring index and the frequent pattern.
  • step C2 if the distance between the feature vector of the current monitoring index and the frequent pattern is less than the set threshold, the business system is determined to be in a normal state, otherwise, the business is determined The system is in an abnormal state.
  • Another object of the present invention is to provide an abnormality detection device for a business system.
  • An anomaly detection device for a business system includes a memory, a processor, and a computer program stored on the memory and executable on the processor, wherein the processor executes the computer program To implement the above method for detecting anomalies in business systems.
  • An object of another aspect of the present invention is to provide a computer-readable storage medium.
  • a computer-readable storage medium stores a computer program thereon, and when the computer program is executed by a processor, the above method for detecting abnormality of a business system is implemented.
  • the method for detecting abnormality of a business system according to an aspect of the present invention in terms of timeliness of system monitoring, the method for detecting abnormality of a business system according to an aspect of the present invention can detect abnormal fluctuation patterns of monitoring indicators. Alarm before system abnormality occurs to improve the robustness of the system.
  • the method for detecting anomalies in a business system according to an aspect of the present invention is based on correlation analysis of multi-dimensional monitoring indicators to identify system anomalies, and is suitable for actual operation and maintenance scenarios of complex business systems.
  • FIG. 1 shows a flowchart of a method for detecting abnormality of a business system according to an embodiment of the present invention.
  • FIG. 2 shows a flowchart of a method for determining frequent patterns according to an embodiment of the present invention.
  • FIG. 3 shows a schematic block diagram of an anomaly detection device of a business system according to an embodiment of the present invention.
  • These computer program instructions may be stored in a computer-readable memory, and these instructions may instruct the computer or other programmable processor to implement functions in a specific manner, so that these instructions stored in the computer-readable memory constitute an implementation flowchart and/or A block of one or more blocks of the specified function / operation of the instruction component production products.
  • FIG. 1 shows a flowchart of a method for detecting abnormality of a business system according to an embodiment of the present invention.
  • the training samples and feature vectors of the monitoring indicators are determined, which include the following sub-steps: sampling the monitoring indicators according to the specified time window length and step size, wherein the monitoring data within the same time window length constitutes a training Samples; and for each of the training samples, construct a corresponding feature vector by extracting statistical features of the time window. For example, the number of links, throughput, queue length, response time, and success rate of different business types of the business system.
  • the statistical characteristics of the time window include one or more of the following: maximum, minimum, average, variance, skewness , Kurtosis, first-order difference value, and the position of the maximum and minimum values in the training sample.
  • step 110 historical monitoring indicators are used as a sample training set to determine the statistical characteristics of each training sample to construct a corresponding feature vector.
  • each indicator corresponds to a time series.
  • the historical monitoring indicators are divided into multiple subsequences, and the historical values of all monitoring indicators within the same time window constitute a training sample.
  • the time stamp is accurate to the second level, and the monitoring indexes are three monitoring indexes of link number (A), throughput (B), and queue length (C).
  • the time sequence length is 86400 seconds, with 30 seconds as the time window length, and 5 seconds as the sampling step.
  • the time sequence is divided into 17280 subsequences (that is, 0 seconds to 30 seconds as a subsequence, 5 seconds to 35 Seconds as a subsequence, and so on). Therefore, the i-th training sample contains three sequence fragments [A i , B i , C i ] of A, B, and C, where,
  • the original data of the three monitoring indicators of link number, throughput and queue length, time window statistical features and first-order difference features are used to construct corresponding feature vectors.
  • the original data is first normalized, that is, the three subsequences A i , B i and C i of the original data are normalized using the min-max method to eliminate data stretching 3. The effect of deformation on frequent pattern mining in the following steps.
  • the statistical characteristics of the time window of the original data A i , B i and C i , the link number of the three indicators, throughput and queue length [max, min, avg, var, skew, kurt ,lt1,lt2] and the mean and variance of the first-order difference are spliced together in order to form the corresponding feature vector of the sample, where max represents the maximum value, min represents the minimum value, avg represents the average value, and var represents the variance , Skew indicates skewness, kurt indicates kurtosis, and lt1 and lt2 indicate the relative positions of the maximum and minimum values in the sequence segment, respectively. Then go to step 120.
  • step 120 cluster analysis is performed on the above feature vectors to obtain one or more frequent patterns.
  • a density-based clustering algorithm can be used, which can find a cluster structure of arbitrary shape in the noisy data space, and select the algorithm to mine the frequent patterns of the above monitoring indicators in the multidimensional feature space.
  • a specific method for determining frequent patterns based on feature vectors will be described in detail in FIG. 3.
  • detecting whether the business system is abnormal based on one or more frequent patterns includes the following sub-steps: determining the feature vector of the current monitoring index according to the methods described in steps 110 and 120 above; and based on the current monitoring index
  • the distance between the feature vector of and the frequent pattern determines whether the business system is in an abnormal state. If the distance between the feature vector of the current monitoring index and the frequent pattern is less than the set threshold, it is determined that the business system is in a normal state, otherwise, it is determined that the business system is in an abnormal state.
  • the distance may be Euclidean distance.
  • the feature vectors of the current business system monitoring index link number, throughput, and queue length are calculated, where the time window length is consistent with the time window length of historical data sampling. Use the monitoring data of link number, throughput and queue length of the last 30 seconds as the sample data of anomaly detection, and refresh the detection sample in real time at any time.
  • the feature vector of the detection sample is constructed according to the above steps 110 and 120, and the distance between the feature vector and each frequent pattern is calculated respectively. If the current sample does not fall into any existing frequent patterns, it is regarded as abnormal, otherwise the business system is normal.
  • the sample sampling method using the moving time window takes into account the cumulative effect on the original data, using the time window statistical features and first-order difference features to construct the corresponding feature vector, filtering out the phenomenon of single-point glitches, which can reduce data noise Impact on abnormal monitoring.
  • the sample sampling method using the moving time window takes into account the cumulative effect on the original data, using the time window statistical features and first-order difference features to construct the corresponding feature vector, filtering out the phenomenon of single-point glitches, which can reduce data noise Impact on abnormal monitoring.
  • time window statistical features and first-order difference features in addition to using the original data, time window statistical features and first-order difference features, other feature extraction methods may be alternatively used.
  • the time window length and step length of the movement may be dynamically adjusted based on the frequency of occurrence of anomalies. You can use a variety of time window length and random step size methods to sample historical data, thereby enhancing the diversity of data for detecting short-term or long-term index anomalies.
  • FIG. 2 shows a flowchart of a method for determining frequent patterns according to an embodiment of the present invention.
  • step 210 cluster analysis is performed on the feature vectors of the historical values of the monitoring indicators determined by the steps in FIG.
  • a density-based clustering algorithm may be used to divide the sample into multiple clustering clusters, that is, the maximum set of high-density connected points, based on how closely the sample is distributed in the feature space.
  • the specific implementation steps are as follows:
  • the pattern r j is defined as a frequent pattern.
  • MinPts is defined as the threshold of the number of samples in the neighborhood where the distance of a sample is ⁇ .
  • step 220 during the cluster analysis process, the weights of the statistical feature components of the feature vector are dynamically changed so that the distance of training samples belonging to the same frequent pattern is less than the first threshold, and the distance of training samples belonging to different frequent patterns is greater than the first Two thresholds, and make the samples in the historical values of the monitoring indicators before and during the occurrence of outliers (outliers) in order to better distinguish frequent patterns and outliers.
  • the first threshold and the second threshold may be predetermined based on the characteristics of the monitoring indicator and the importance to the business system. Then go to step 230.
  • one or more frequent patterns r j are determined through cluster analysis, and whether the business system is abnormal is detected based on the one or more frequent patterns. If the distance between the feature vector of the current monitoring index and the frequent pattern is less than the set threshold, it is determined that the business system is in a normal state, otherwise, it is determined that the business system is in an abnormal state.
  • the distance may be Euclidean distance or other distances, such as Manhattan distance, Chebyshev distance, Mahalanobis distance, etc.
  • FIG. 3 shows a schematic block diagram of an anomaly detection device of a business system according to an embodiment of the present invention.
  • the abnormality detection device 30 of the business system includes a memory 310, a processor 320, and a computer program 330 stored on the memory and executable on the processor.
  • the processor 320 runs the program 330 to implement the above method for detecting an abnormality of a business system.
  • a computer-readable storage medium on which a computer program is stored, and when the program is executed by a processor, the above method for detecting abnormality of a business system can be realized.
  • the present invention based on the sampling, feature extraction, and splicing of historical values of multiple monitoring indicators, it is possible to analyze the change trend of multiple monitoring indicators in the business system and the correlation between multiple monitoring indicators, and mine multi-dimensional monitoring Frequent patterns of indicators to identify abnormal conditions in business systems, and without triggering system failure threshold alarms, system abnormalities are discovered in advance so that remedial measures can be taken early.
  • the present invention is applicable to time series data generated by multiple business system monitoring, without the need to judge the periodicity, volatility and other characteristics of monitoring indicators, because frequent pattern mining is based on unsupervised or semi-supervised Training method, so it is suitable for the case where the training samples have no labels or fewer negative samples.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及计算机技术，具体涉及用于检测业务系统异常的方法、实现该方法的装置和计算机可读存储介质。按照本发明一个方面的用于检测业务系统异常的方法包含下列步骤：A)确定监控指标的历史值的特征向量；以及B)对所述特征向量进行聚类分析以得到一个或多个频繁模式以用于判断业务系统是否异常，所述特征向量与所述监控指标的波动性和所述监控指标之间的关联性相关。

Description

用于检测业务系统异常的方法及其装置 技术领域
本发明涉及计算机技术，具体涉及用于检测业务系统异常的方法、实现该方法的装置和计算机可读存储介质。
背景技术
传统业务系统异常检测的技术重在监控和发现系统异常，常见的做法是根据预先设定的规则对业务系统中的关键指标进行实时监控，如果发现异常则立即报警。例如，如果监控的关键指标超过了规定的阈值则触发报警。
上述业务系统异常检测技术一般属于事中型和事后型，即发现异常后报警并采取补救措施。然而，当异常发生时业务系统往往已经压力过大，即使采取补救措施也难以达到理想的效果，从而对系统造成的影响甚至较大的损失。
在新兴的智能异常检测领域，目前的相关技术尚未成熟，仍处于探索和发展的阶段，在实际异常检测场景中的应用还存在以下问题：
1.许多情况下系统异常故障的发生与多个指标相互关联，单个指标的波动现象不足以反映系统的健康状态；
2.大多数监控数据缺少数据标签，人工标注训练数据集合的工作量大且成本高；
3.异常样本数量较少或覆盖面不全。一般系统多数时间处于正常状态，异常样本较少，而且需要检测未知的新异常的发生。
公开于本发明背景部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的一个方面是提供一种用于检测业务系统异常的方法。
按照本发明的一个方面的一种用于检测业务系统异常的方法，其中，包括下列步骤：
A)确定监控指标的历史值的特征向量；以及
B)对所述特征向量进行聚类分析以得到一个或多个频繁模式以用于判断业务系统是否异常，所述特征向量与所述监控指标的波动性和所述监控指标之间的关联性相关。
可选地，在上述方法中，所述监控指标是所述业务系统中针对不同业务类型的时间序列。
可选地，在上述方法中，所述步骤A)包括：
按照移动的时间窗口长度和步长对所述监控指标的历史值进行采样，其中，同一时间窗口长度内的监控指标的历史值构成一个训练样本；以及
针对每个所述训练样本，利用其中的监控指标的历史值的统计特征分量构建相应的特征向量。
可选地，在上述方法中在步骤B)中，通过对所述训练样本的特征向量进行聚类分析以得到所述频繁模式。
可选地，在上述方法中，所述统计特征分量包括下列中的一项或多项：最大值、最小值、平均值、方差、偏度、峰度、一阶差分特征以及所述最大值和最小值在所述训练样本中的位置。
可选地，在上述方法中，在聚类分析时，动态改变所述统计特征分量的权重，使得属于同一频繁模式的训练样本的距离小于第一阈值，而属于不同频繁模式的训练样本的距离大于第二阈值。
可选地，在上述方法中，所述移动的时间窗口长度和步长基于实际业务场景确定，其中，能够同时使用多种时间窗口长度和步长。
可选地，在上述方法中，依照下列方式确定业务系统是否异常：
C1)确定当前监控指标的特征向量；以及
C2)基于当前监控指标的特征向量与所述频繁模式之间的距离确定业务系统是否处于异常状态。
可选地，在上述方法中，在步骤C2)中，如果当前监控指标的特征向量与所述频繁模式之间的距离小于设定的阈值，则确定业务系统处于正常状态，否则，则确定业务系统处于异常状态。
本发明另一方面的目的是提供一种业务系统的异常检测装置。
按照本发明的另一方面的一种业务系统的异常检测装置，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述用于检测业务系统异常的方法。
本发明又一方面的目的是提供一种计算机可读存储介质。按照本发明又一方面的计算机可读存储介质，其上存储计算机程序，该计算机程序被处理器执行时实现上述的用于检测业务系统异常的方法。
根据本发明的一个方面的用于检测业务系统异常的方法，其在系统监控的时效性方面，本发明的一个方面的用于检测业务系统异常的方法能够检测出监控指标的异常波动模式，在系统发生异常之前进行告警，以提高系统的鲁棒性。在异常检测的准确性方面，本发明的一个方面的用于检测业务系统异常的方法基于多维监控指标的关联性分析以识别系统异常情况，适合于复杂业务系统的实际运维场景。
多种其它特征和优点将从如下详细描述和附图中显而易见。
附图说明
本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：
图1示出了按照本发明一实施例的用于检测业务系统异常的方法的流程图。
图2示出了按照本发明一实施例的用于确定频繁模式的方法的流程图。
图3示出了按照本发明一实施例的业务系统的异常检测装置的示意框图。
具体实施方式
在本说明书中，参照其中图示了本发明示意性实施例的附图更为全面地说明本发明。但本发明可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的各实施例旨在使本文的披露全面完整，以将本发明的保护范围更为全面地传达给本领域技术人员。
诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各 单元之用。
下文参考根据本发明实施例的方法和系统的流程图说明、框图和/或流程图来描述本发明。将理解这些流程图说明和/或框图的每个框、以及流程图说明和/或框图的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以构成机器，以便由计算机或其他可编程数据处理设备的处理器执行的这些指令创建用于实施这些流程图和/或框和/或一个或多个流程框图中指定的功能/操作的部件。
可以将这些计算机程序指令存储在计算机可读存储器中，这些指令可以指示计算机或其他可编程处理器以特定方式实现功能，以便存储在计算机可读存储器中的这些指令构成包含实施流程图和/或框图的一个或多个框中指定的功能/操作的指令部件的制作产品。
可以将这些计算机程序指令加载到计算机或其他可编程数据处理器上以使一系列的操作步骤在计算机或其他可编程处理器上执行，以便构成计算机实现的进程，以使计算机或其他可编程数据处理器上执行的这些指令提供用于实施此流程图和/或框图的一个或多个框中指定的功能或操作的步骤。还应该注意在一些备选实现中，框中所示的功能/操作可以不按流程图所示的次序来发生。例如，依次示出的两个框实际可以基本同时地执行或这些框有时可以按逆序执行，具体取决于所涉及的功能/操作。
图1示出了按照本发明一实施例的用于检测业务系统异常的方法的流程图。
在步骤110中，确定监控指标的训练样本及特征向量，其包括以下子步骤：按照指定时间窗口长度和步长对所述监控指标进行采样，其中，同一时间窗口长度内的监控数据构成一个训练样本；以及针对每个所述训练样本，通过提取时间窗口统计特征构建相应的特征向量。例如，业务系统不同业务类型的链接数、吞吐量、队列长度、响应时间和成功率，时间窗口统计特征包括下列中的一项或多项：最大值、最小值、平均值、方差、偏度、峰度、一阶差分值以及所述最大值和最小值在所述训练样本中的位置。
可选地，在步骤110中，使用历史监控指标作为样本训练集，以确定每个训练样本的统计特征以构建相应的特征向量。可选地，假定业务系统中有多个维度的监控指标，每个指标都对应于一段时间序列。按照预定的移动时间窗口长度和步长，将历史监控指标划分为多个子序列，同一时间窗口内的 所有监控指标的历史值构成一个训练样本。
具体而言，假设监控指标的历史值为过去一天的监控数据，时间戳精确到秒级，监控指标分别为链接数(A)、吞吐量(B)和队列长度(C)三种监控指标。由上可知，时间序列长度为86400秒，以30秒为时间窗口长度，5秒为采样步长将时间序列划分成17280个子序列(即，0秒到30秒作为一个子序列，5秒到35秒作为一个子序列，以此类推)。所以，第i个训练样本中包含A、B、C的三个序列片段[A i，B i，C i]，其中，
Figure PCTCN2019096274-appb-000001
Figure PCTCN2019096274-appb-000002
在得到训练样本之后，利用链接数、吞吐量和队列长度三种监控指标的原始数据、时间窗口统计特征和一阶差分特征构建相应的特征向量。在构建样本的特征向量之前，首先对原始数据进行归一化处理，即对原始数据的三个子序列A i、B i和C i使用min-max方法做归一化处理，以消除数据拉伸、变形对以下步骤中频繁模式挖掘的影响。接着，分别统计三个监控指标在单位时间窗口长度内的最大值、最小值、平均值、方差、偏度、峰度以及最大值和最小值在序列片段中的相对位置，同时对每个子序列做一阶差分运算，即
Figure PCTCN2019096274-appb-000003
再分别计算差分后序列的平均值和方差，以此衡量子序列的波动性。
在得到上述统计特征分量之后，分别将原始数据A i、B i和C i、三个指标链接数、吞吐量和队列长度的时间窗口的统计特征[max,min,avg,var,skew,kurt,lt1,lt2]以及一阶差分的平均值和方差有序的拼接在一起，以形成该样本的相应特征向量，其中，max表示最大值，min表示最小值，avg表示平均值，var表示方差，skew表示偏度，kurt表示峰度，以及lt1和lt2分别表示最大值和最小值在序列片段中的相对位置。接着进入步骤120。
在步骤120中，对上述特征向量进行聚类分析以得到一个或多个频繁模式。可选地，可以使用基于密度的聚类算法，其可在有噪声的数据空间中发现任意形状的簇结构，选择该算法在多维特征空间中挖掘上述监控指标的频繁模式。基于特征向量确定频繁模式的具体方法将在图3中详细描述。
在步骤130中，基于一个或多个频繁模式来检测业务系统是否异常，其包括以下子步骤：按照上述步骤110和步骤120中所述的方法确定当前监控 指标的特征向量；以及基于当前监控指标的特征向量与所述频繁模式之间的距离确定业务系统是否处于异常状态。如果当前监控指标的特征向量与所述频繁模式之间的距离小于设定的阈值，则确定业务系统处于正常状态，否则，则确定业务系统处于异常状态。可选地，所述距离可以是欧式距离。
具体而言，基于移动时间窗口计算当前业务系统监控指标链接数、吞吐量和队列长度的特征向量，其中，时间窗口长度与历史数据采样的时间窗口长度一致。使用链接数、吞吐量和队列长度最近30秒的监控数据作为异常检测的样本数据，并且随时时间推移实时刷新检测样本。按照上述步骤110和步骤120来构建该检测样本的特征向量，分别计算该特征向量与各个频繁模式的距离。如果当前的样本没有落在任何已有的频繁模式中，则视为异常发生，否则业务系统正常。
在上述步骤中，利用移动时间窗口的样本采样方法考虑了对原始数据的累积效应，利用时间窗口统计特征和一阶差分特征构建相应的特征向量，过滤掉单点毛刺的现象，能够减少数据噪声对异常监控的影响。同时，基于频繁模式的离群点判断，能够检测出未知的异常情况。
可选地，在上述步骤中，除了利用原始数据、时间窗口统计特征和一阶差分特征，还可以备选地使用其它特征提取方法。可选地，所述移动的时间窗口长度和步长基于异常发生的频率可以动态地调整。可以使用多种时间窗口长度以及随机步长的方法对历史数据进行采样，从而增强数据的多样性，以用于检测短期或长期的指标异常。
图2示出了按照本发明一实施例的用于确定频繁模式的方法的流程图。在步骤210中，对通过图1中的步骤确定的监控指标的历史值的特征向量进行聚类分析。可选地，在该步骤中可以使用基于密度的聚类算法，通过样本在特征空间分布的紧密程度，将样本划分为多个聚类簇，即高密度相连的点的最大集合。具体实现步骤如下：
定义训练样本为r i；
确定σ邻域，其表示所述训练样本r i中与模式r j的距离小于等于距离阈值σ的样本的集合，即，N σ(r j)＝{r i∈D|Distance(r i,r j)≤σ}，其中，r j表示所述模式的核心对象；
如果所述模式r j的所述σ邻域中至少包含MinPts个所述训练样本，即 |N σ(r j)|≥MinPts，则定义所述模式r j为频繁模式。其中，MinPts定义为某一样本的距离为σ的邻域中样本个数的阈值。
在步骤220中，在聚类分析过程中，动态改变特征向量的统计特征分量的权重，使得属于同一频繁模式的训练样本的距离小于第一阈值，而属于不同频繁模式的训练样本的距离大于第二阈值，并且使得监控指标的历史值中在异常发生前和发生期间的样本为离群点(异常状态)，以便更好地区分频繁模式和离群点。其中，第一阈值和第二阈值可以基于监控指标的特点和对业务系统的重要程度来预先确定。接着进入步骤230。
在步骤230中，通过聚类分析确定一个或多个频繁模式r j，基于一个或多个频繁模式来检测业务系统是否异常。如果当前监控指标的特征向量与所述频繁模式之间的距离小于设定的阈值，则确定业务系统处于正常状态，否则，则确定业务系统处于异常状态。其中，所述距离可以是欧式距离或者其它距离，诸如曼哈顿距离、切比雪夫距离、马氏距离等。
图3示出了按照本发明一实施例的业务系统的异常检测装置的示意框图。该业务系统的异常检测装置30包含存储器310、处理器320以及存储在所述存储器上并且可在所述处理器上运行的计算机程序330。所述处理器320运行所述程序330以实现上述用于检测业务系统异常的方法。
按照本发明的另一方面，还提供了一种计算机可读存储介质，其上存储计算机程序，该程序被处理器执行时可实现上述用于检测业务系统异常的方法。
根据本发明的方法及其装置，基于多监控指标的历史值的采样、特征提取和拼接，能够分析业务系统中多个监控指标的变化趋势和多个监控指标之间的关联关系，挖掘多维监控指标的频繁模式，从而识别业务系统中的异常状态，在未触发系统故障阈值告警的情况下，提前发现系统异常以便及早采取补救措施。此外，在数据模型的适用性方面，本发明适用于多种业务系统监控产生的时序数据，而无需判断监控指标的周期性、波动性等特征，由于频繁模式挖掘是基于无监督或半监督的训练方法，所以适用于训练样本无标签或负样本较少的情况。
提供本文中提出的实施例和示例，以便最好地说明按照本技术及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本发明。但是， 本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本发明的各个方面或者将本发明局限于所公开的精确形式。
鉴于以上所述，本公开的范围通过以下权利要求书来确定。

Claims (11)

  1. 一种用于检测业务系统异常的方法，其特征在于，包括下列步骤：
    A)确定监控指标的历史值的特征向量；以及
    B)对所述特征向量进行聚类分析以得到一个或多个频繁模式以用于判断业务系统是否异常，所述特征向量与所述监控指标的波动性和所述监控指标之间的关联性相关。
  2. 如权利要求1所述的方法，其中，所述监控指标是所述业务系统中针对不同业务类型的时间序列。
  3. 如权利要求1所述的方法，其中，所述步骤A)包括：
    按照移动的时间窗口长度和步长对所述监控指标的历史值进行采样，其中，同一时间窗口长度内的监控指标的历史值构成一个训练样本；以及
    针对每个所述训练样本，利用其中的监控指标的历史值的统计特征分量构建相应的特征向量。
  4. 如权利要求3所述的方法，其中，在步骤B)中，通过对所述训练样本的特征向量进行聚类分析以得到所述频繁模式。
  5. 如权利要求3所述的方法，其中，所述统计特征分量包括下列中的一项或多项：最大值、最小值、平均值、方差、偏度、峰度、一阶差分值以及所述最大值和最小值在所述训练样本中的相对位置。
  6. 如权利要求4所述的方法，其中，在聚类分析时，动态改变所述统计特征分量的权重，使得属于同一频繁模式的训练样本的距离小于第一阈值，而属于不同频繁模式的训练样本的距离大于第二阈值。
  7. 如权利要求3所述的方法，其中，所述移动的时间窗口长度和步长基于实际业务场景确定，其中，能够同时使用多种时间窗口长度和步长。
  8. 如权利要求1至7中任一项所述的方法，其中，依照下列方式确定业务系统是否异常：
    C1)确定当前监控指标的特征向量；以及
    C2)基于当前监控指标的特征向量与所述频繁模式之间的距离确定业务系统是否处于异常状态。
  9. 如权利要求8所述的方法，其中，在步骤C2)中，如果当前监控指标的特征向量与所述频繁模式之间的距离小于设定的阈值，则确定业务系统处于正常状态，否则，则确定业务系统处于异常状态。
  10. 一种业务系统的异常检测装置，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的用于检测业务系统异常的方法。
  11. 一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的用于检测业务系统异常的方法。
PCT/CN2019/096274 2018-12-28 2019-07-17 用于检测业务系统异常的方法及其装置 Ceased WO2020134032A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811622495.6 2018-12-28
CN201811622495.6A CN110032490A (zh) 2018-12-28 2018-12-28 用于检测系统异常的方法及其装置

Publications (1)

Publication Number Publication Date
WO2020134032A1 true WO2020134032A1 (zh) 2020-07-02

Family

ID=67235430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/096274 Ceased WO2020134032A1 (zh) 2018-12-28 2019-07-17 用于检测业务系统异常的方法及其装置

Country Status (2)

Country Link
CN (1) CN110032490A (zh)
WO (1) WO2020134032A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286951A (zh) * 2020-11-26 2021-01-29 杭州数梦工场科技有限公司 数据检测方法及装置
CN112329517A (zh) * 2020-09-17 2021-02-05 中国南方电网有限责任公司超高压输电公司南宁监控中心 一种变电站刀闸确认视频图像分析方法及系统
CN113568819A (zh) * 2021-01-31 2021-10-29 腾讯科技（深圳）有限公司 异常数据检测方法、装置、计算机可读介质及电子设备
CN113672467A (zh) * 2021-08-24 2021-11-19 中国电信股份有限公司 运维预警方法及装置、电子设备、存储介质
CN114095081A (zh) * 2021-11-02 2022-02-25 中国联合网络通信集团有限公司 光模块健康度的确定方法、装置及计算机可读存储介质
CN114327964A (zh) * 2020-10-10 2022-04-12 腾讯科技（深圳）有限公司 业务系统的故障原因处理方法、装置、设备及存储介质
CN114443416A (zh) * 2021-12-22 2022-05-06 天翼云科技有限公司 监控变频采样方法、设备、系统及存储介质
CN114493357A (zh) * 2022-02-17 2022-05-13 中国工商银行股份有限公司 异常业务处理方法及装置
CN114625609A (zh) * 2022-03-17 2022-06-14 杭州云深科技有限公司 一种异常app的确定方法、计算机设备及介质
CN115499246A (zh) * 2022-11-15 2022-12-20 阿里云计算有限公司 一种异常事件的处理、检测方法以及处理系统
CN115718672A (zh) * 2022-11-22 2023-02-28 支付宝(杭州)信息技术有限公司 应用异常检测方法及装置
CN116049764A (zh) * 2023-01-16 2023-05-02 中国科学院软件研究所 一种面向物联网的跨尺度时序数据融合方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427278A (zh) * 2019-07-31 2019-11-08 中国工商银行股份有限公司 异常检测方法和装置
CN110995508B (zh) * 2019-12-23 2022-11-11 中国人民解放军国防科技大学 基于kpi突变的自适应无监督在线网络异常检测方法
CN111368681B (zh) * 2020-02-27 2023-09-01 深圳数联天下智能科技有限公司 基于多点定位的活体甄别方法、装置、设备及存储介质
CN113515554A (zh) * 2020-04-09 2021-10-19 华晨宝马汽车有限公司 用于不规则采样的时间序列的异常检测方法和系统
CN114064382B (zh) * 2020-07-31 2025-11-04 中移(苏州)软件技术有限公司 一种异常监控方法、装置、设备及存储介质
CN111859056B (zh) * 2020-07-31 2023-08-29 中国工商银行股份有限公司 数据处理方法、装置、电子设备和介质
CN114328123A (zh) * 2021-12-30 2022-04-12 北京百度网讯科技有限公司 异常确定方法、训练方法、装置、电子设备以及存储介质
CN114297031B (zh) * 2021-12-30 2025-11-28 中国银联股份有限公司 一种告警分析方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039232A1 (ja) * 2010-09-24 2012-03-29 株式会社日立ソリューションズ オペレーショナルリスク分析サーバおよびオペレーショナルリスク分析システム
CN105847302A (zh) * 2016-05-31 2016-08-10 北京奇艺世纪科技有限公司 一种异常检测方法及装置
CN108053095A (zh) * 2017-11-22 2018-05-18 全球能源互联网研究院有限公司 一种电能质量扰动事件特征提取方法及系统
CN108509979A (zh) * 2018-02-28 2018-09-07 努比亚技术有限公司 一种异常检测方法、服务器及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205113A (zh) * 2015-09-01 2015-12-30 西安交通大学 一种时序数据异常变化过程的挖掘系统及方法
CN106126391A (zh) * 2016-06-28 2016-11-16 北京百度网讯科技有限公司 系统监控方法和装置
CN106649050B (zh) * 2016-09-09 2019-03-12 西安交通大学 时序系统多参数运行态势图形表示方法
CN106649438A (zh) * 2016-09-09 2017-05-10 西安交通大学 一种时序数据非预期故障检测方法
CN108880841A (zh) * 2017-05-11 2018-11-23 上海宏时数据系统有限公司 一种业务监控系统的阀值设置、异常检测系统及方法
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN108234524B (zh) * 2018-04-02 2020-08-21 广州广电研究院有限公司 网络数据异常检测的方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039232A1 (ja) * 2010-09-24 2012-03-29 株式会社日立ソリューションズ オペレーショナルリスク分析サーバおよびオペレーショナルリスク分析システム
CN105847302A (zh) * 2016-05-31 2016-08-10 北京奇艺世纪科技有限公司 一种异常检测方法及装置
CN108053095A (zh) * 2017-11-22 2018-05-18 全球能源互联网研究院有限公司 一种电能质量扰动事件特征提取方法及系统
CN108509979A (zh) * 2018-02-28 2018-09-07 努比亚技术有限公司 一种异常检测方法、服务器及计算机可读存储介质

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329517A (zh) * 2020-09-17 2021-02-05 中国南方电网有限责任公司超高压输电公司南宁监控中心 一种变电站刀闸确认视频图像分析方法及系统
CN112329517B (zh) * 2020-09-17 2022-11-29 中国南方电网有限责任公司超高压输电公司南宁监控中心 一种变电站刀闸确认视频图像分析方法及系统
CN114327964A (zh) * 2020-10-10 2022-04-12 腾讯科技（深圳）有限公司 业务系统的故障原因处理方法、装置、设备及存储介质
CN112286951A (zh) * 2020-11-26 2021-01-29 杭州数梦工场科技有限公司 数据检测方法及装置
CN113568819A (zh) * 2021-01-31 2021-10-29 腾讯科技（深圳）有限公司 异常数据检测方法、装置、计算机可读介质及电子设备
CN113568819B (zh) * 2021-01-31 2024-04-16 腾讯科技（深圳）有限公司 异常数据检测方法、装置、计算机可读介质及电子设备
CN113672467A (zh) * 2021-08-24 2021-11-19 中国电信股份有限公司 运维预警方法及装置、电子设备、存储介质
CN114095081B (zh) * 2021-11-02 2023-02-17 中国联合网络通信集团有限公司 光模块健康度的确定方法、装置及计算机可读存储介质
CN114095081A (zh) * 2021-11-02 2022-02-25 中国联合网络通信集团有限公司 光模块健康度的确定方法、装置及计算机可读存储介质
CN114443416A (zh) * 2021-12-22 2022-05-06 天翼云科技有限公司 监控变频采样方法、设备、系统及存储介质
CN114493357A (zh) * 2022-02-17 2022-05-13 中国工商银行股份有限公司 异常业务处理方法及装置
CN114625609A (zh) * 2022-03-17 2022-06-14 杭州云深科技有限公司 一种异常app的确定方法、计算机设备及介质
CN114625609B (zh) * 2022-03-17 2025-02-07 杭州云深科技有限公司 一种异常app的确定方法、计算机设备及介质
CN115499246B (zh) * 2022-11-15 2023-04-07 阿里云计算有限公司 一种异常事件的处理、检测方法以及处理系统
CN115499246A (zh) * 2022-11-15 2022-12-20 阿里云计算有限公司 一种异常事件的处理、检测方法以及处理系统
CN115718672A (zh) * 2022-11-22 2023-02-28 支付宝(杭州)信息技术有限公司 应用异常检测方法及装置
CN116049764A (zh) * 2023-01-16 2023-05-02 中国科学院软件研究所 一种面向物联网的跨尺度时序数据融合方法及系统
CN116049764B (zh) * 2023-01-16 2025-12-23 中国科学院软件研究所 一种面向物联网的跨尺度时序数据融合方法及系统

Also Published As

Publication number Publication date
CN110032490A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
WO2020134032A1 (zh) 用于检测业务系统异常的方法及其装置
US9652354B2 (en) Unsupervised anomaly detection for arbitrary time series
CN111656418B (zh) 用于监测工业自动化系统的方法以及工业工厂监测设备
CN108319981A (zh) 一种基于密度的时序数据异常检测方法及装置
CN112231174A (zh) 异常告警方法、装置、设备及存储介质
CN114528934A (zh) 时序数据异常检测方法、装置、设备及介质
JP7703011B2 (ja) プロセストレースからの装置故障モードの予測
CN107766533B (zh) 话务量异常的自动检测方法及系统、存储介质、电子设备
CN111666187B (zh) 用于检测异常响应时间的方法和装置
WO2019141144A1 (zh) 确定网络故障的方法和装置
WO2018131219A1 (ja) 異常検知装置、異常検知方法、および記憶媒体
KR102079359B1 (ko) 개선된 sax 기법 및 rtc 기법을 이용한 공정 모니터링 장치 및 방법
CN117787707B (zh) 一种指令监控方法、装置、电子设备及介质
CN113204914A (zh) 一种基于多架次飞行数据表征建模的飞行数据异常判读方法
CN115495274B (zh) 基于时序数据的异常处理方法、网络设备和可读存储介质
CN114997284A (zh) 水电站故障解列装置异常行为报警方法及系统
CN118821007A (zh) 一种gis设备的设备缺陷定位方法及系统
CN114881167A (zh) 异常检测方法、装置、电子设备和介质
CN120893705B (zh) 一种基于数据要素的智慧工厂生产过程监管方法
CN117454299A (zh) 异常节点的监测方法及系统
CN120705775A (zh) 油气管网全局风险态势预测方法、装置、设备和介质
CN114416418A (zh) 数据检测方法、装置、电子设备和存储介质
CN117149486B (zh) 告警和根因定位方法、模型训练方法、装置、设备及介质
CN119645762A (zh) 一种主机负载异常检测方法、系统、电子设备及存储介质
CN117573412A (zh) 系统故障预警方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904998

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19904998

Country of ref document: EP

Kind code of ref document: A1