WO2018142703A1 - 異常要因推定装置、異常要因推定方法及びプログラム - Google Patents

異常要因推定装置、異常要因推定方法及びプログラム Download PDF

Info

Publication number
WO2018142703A1
WO2018142703A1 PCT/JP2017/040090 JP2017040090W WO2018142703A1 WO 2018142703 A1 WO2018142703 A1 WO 2018142703A1 JP 2017040090 W JP2017040090 W JP 2017040090W WO 2018142703 A1 WO2018142703 A1 WO 2018142703A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormality
metric
numerical vector
detection
unit
Prior art date
Application number
PCT/JP2017/040090
Other languages
English (en)
French (fr)
Inventor
泰弘 池田
中野　雄介
敬志郎 渡辺
石橋　圭介
川原　亮一
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2018565942A priority Critical patent/JP6751168B2/ja
Priority to US16/482,605 priority patent/US11501106B2/en
Publication of WO2018142703A1 publication Critical patent/WO2018142703A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to an abnormality factor estimation device, an abnormality factor estimation method, and a program.
  • the system has a function for observing various data in real time, and when the data shows a tendency different from the normal state, consider an abnormality detection that considers that the system has an abnormality.
  • Such an abnormality detection function learns teacher data at “normal time”, and determines “abnormal” when the test data shows a tendency different from the teacher data at the “test time” in which abnormality detection is performed.
  • the probability that at least one metric will show an abnormal tendency will increase when the number of observed metrics increases, and it will be ⁇ abnormal '' in many time zones.
  • the present invention has been made in view of the above points, and an object thereof is to support estimation of factors when an abnormality is detected for an abnormality detection target.
  • the abnormality factor estimation device includes a learning device that learns a first numerical vector obtained from the detection target when the abnormality detection target is normal, and a plurality of timings from the detection target. Based on the obtained second numerical vector, for each metric of the detection unit that detects an abnormality of the detection target and the second numerical vector in which the abnormality is detected, the first numerical value is calculated from the value of the metric. A value obtained by dividing the result of subtracting the average of the metric in the vector by the standard deviation of the metric in the first numerical vector is calculated as information for estimating the metric of the cause of the abnormality 1 calculation unit.
  • FIG. 1 is a diagram illustrating an example of a system configuration in the first embodiment.
  • a network N1 is a network that is an abnormality detection target.
  • the network N1 is configured by connecting a plurality of nodes such as routers and server devices to each other, and packets are transmitted and received between arbitrary nodes in order to provide a predetermined service.
  • Measuring devices 20 are arranged at a plurality of locations in the network N1.
  • the measuring device 20 collects observation data obtained by monitoring the arrangement location at a plurality of timings. Examples of collected observation data include MIB (Management Information Base) data, NetFlow flow data, CPU usage rate, and the like.
  • MIB Management Information Base
  • NetFlow flow data NetFlow flow data
  • CPU usage rate CPU usage rate
  • MIB is a common policy among manufacturers for monitoring network devices.
  • the MIB data is aggregated in units of, for example, 5 minutes, and includes “time, host name, interface (IF) name, input data amount (ibps), output data amount (obsps)”, and the like.
  • NetFlow is a technology for performing network monitoring in units of flows, and information about the flow is output when communication is completed.
  • the flow is a unit for grasping “where” and “where” “what kind of communication” “how much” is performed, and the IP address (srcIP) on the sender side of the communication ,
  • the flow data includes “flow start time, srcIP, srcport, dstIP, dstport, protocol, flow duration, total number of transmitted packets, total number of transmitted bytes”, and the like.
  • the CPU usage rate is a usage rate of a CPU such as a server device or a router included in the network N1, for example.
  • the observation data collected by the measurement device 20 is collected by the abnormality detection device 10.
  • the abnormality detection device 10 learns the characteristics at the normal time from the collected observation data, and detects the occurrence of abnormality in the observation data input thereafter based on the learning result (determines whether there is an abnormality). It is a computer. Note that a process in which normal feature learning is performed is referred to as a “learning process”. A process in which an abnormality is detected based on a result learned in the learning process is referred to as a “test process”.
  • FIG. 2 is a diagram illustrating a hardware configuration example of the abnormality detection apparatus 10 according to the first embodiment. 2 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, an interface device 105, and the like, which are mutually connected by a bus B.
  • a program that realizes processing in the abnormality detection apparatus 10 is provided by a recording medium 101 such as a CD-ROM.
  • the recording medium 101 storing the program is set in the drive device 100, the program is installed from the recording medium 101 to the auxiliary storage device 102 via the drive device 100.
  • the program need not be installed from the recording medium 101 and may be downloaded from another computer via a network.
  • the auxiliary storage device 102 stores the installed program and also stores necessary files and data.
  • the memory device 103 reads the program from the auxiliary storage device 102 and stores it when there is an instruction to start the program.
  • the CPU 104 executes functions related to the abnormality detection device 10 according to a program stored in the memory device 103.
  • the interface device 105 is used as an interface for connecting to a network.
  • FIG. 3 is a diagram illustrating a functional configuration example of the abnormality detection apparatus 10 according to the first embodiment.
  • the abnormality detection apparatus 10 includes a reception unit 11, a learning process control unit 12, a preprocessing unit 13, a learning unit 14, a detection process control unit 15, a detection unit 16, a post-processing unit 17, and the like. Each of these units is realized by processing that one or more programs installed in the abnormality detection apparatus 10 cause the CPU 104 to execute.
  • the abnormality detection apparatus 10 also uses a teacher data storage unit 121, a parameter storage unit 122, an observation data storage unit 123, a learning result storage unit 124, a learning data storage unit 125, and the like.
  • Each of these storage units can be realized using, for example, a storage device that can be connected to the auxiliary storage device 102 or the abnormality detection device 10 via a network.
  • observation data that has been confirmed to have been collected in advance at normal times is stored as teacher data.
  • the teacher data may be artificially created instead of being selected from the observation data.
  • the receiving unit 11 receives observation data from the measuring device 20.
  • the received observation data is stored in the observation data storage unit 123.
  • the learning process control unit 12 controls the learning process.
  • the pre-processing unit 13 performs pre-processing on the teacher data set, the observation data set, or the learning data set stored in the learning data storage unit 125.
  • Pre-processing is processing such as extraction of feature amounts per unit time from a data set and normalization of extracted feature amounts.
  • the feature amount is expressed in the form of a numerical vector.
  • a teacher data group stored in the teacher data storage unit 121 is a target of preprocessing. When reception of observation data is started by the receiving unit 11, the observation data group is subjected to preprocessing.
  • the learning data group is subjected to preprocessing. It is said.
  • the pre-processing unit 13 also generates or normalizes parameters for normalizing observation data or learning data (hereinafter referred to as “normalization parameters”) when performing pre-processing on the teacher data group or learning data group.
  • normalization parameters parameters for normalizing observation data or learning data
  • the updated normalization parameter is stored in the parameter storage unit 122.
  • the learning unit 14 performs learning based on teacher data or learning data.
  • the learning result by the learning unit 14 is stored in the learning result storage unit 124.
  • the detection process control unit 15 controls the detection process.
  • the detection unit 16 uses a numerical vector generated when the observation data stored in the observation data storage unit 123 is preprocessed by the preprocessing unit 13 and a learning result stored in the learning result storage unit 124. The occurrence of abnormality is detected based on this. Specifically, the detection unit 16 detects the occurrence of an abnormality by calculating a difference from the learning result as a degree of abnormality for the preprocessed numerical vector and comparing the degree of abnormality with a threshold value. The value before normalization of the numerical vector in which no abnormality is detected is stored in the learning data storage unit 125 as learning data.
  • the post-processing unit 17 estimates the metric that is the cause of the abnormality based on the degree of abnormality for each metric of the numerical vector when the abnormality is detected.
  • FIG. 4 is a flowchart for explaining an example of the processing procedure of the learning process in the first embodiment.
  • flow data is a processing target.
  • the learning process control unit 12 acquires a teacher data group from the teacher data storage unit 121, and inputs the teacher data group to the preprocessing unit 13 (S101).
  • the preprocessing unit 13 divides the input teacher data group into sets for each unit time (S102).
  • the teacher data storage unit 121 stores teacher data for a unit time ⁇ U period (hereinafter referred to as “learning period”). Therefore, the teacher data group is divided into U sets.
  • the preprocessing unit 13 extracts a feature quantity according to the purpose for each divided set, and generates a multidimensional numerical vector having the extracted feature quantity as an element of each dimension (S103).
  • the preprocessing unit 13 extracts the feature amount every minute. Further, the feature amount is assumed to be the total number of transmitted bytes of each protocol (TCP, UDP).
  • TCP the total number of transmitted bytes of each protocol
  • UDP the total number of transmitted bytes of each protocol
  • the attribute of the feature value can be specified as a combination such as “TCP and transmission port number 80”. Further, if each flow is considered to have a value such as “number of flows: 1”, the total number of flows of each attribute can be calculated in the same manner and regarded as a feature amount.
  • the preprocessing unit 13 calculates the maximum value xmax_i of each metric i (each dimension i) in each numerical vector, and stores the calculated xmax_i in the parameter storage unit 122 (S104). That is, in the first embodiment, the maximum value xmax_i of each metric i is a normalization parameter.
  • the numerical vector generated in step S103 is ⁇ 80, 20 ⁇ , ⁇ 90, 35 ⁇ , ⁇ 100, 50 ⁇ . This is because the total number of TCP transmission bytes and the total number of UDP transmission bytes in a certain three minutes are “TCP: 80 bytes, UDP: 20 bytes”, “TCP: 90 bytes, UDP: 35 bytes”, and “TCP: 100 bytes, UDP: "50 bytes”.
  • the preprocessing unit 13 normalizes each numerical vector based on the normalization parameter (S105). Normalization is performed by dividing the value of the metric i of each numerical vector by the maximum value xmax_i. Therefore, the normalized numerical vector is ⁇ 0.8, 0.4 ⁇ , ⁇ 0.9, 0.7 ⁇ , ⁇ 1, 1 ⁇ .
  • the learning unit 14 learns the numerical vector using a learning device (S106).
  • the learning result is stored in the learning result storage unit 124.
  • the learning process control unit 12 waits for the learning data for the learning period to be stored (accumulated) in the learning data storage unit 125 (S107). That is, the standby is continued until U number of numerical vectors before normalization are stored in the learning data storage unit 125.
  • the learning data storage unit 125 stores a numerical vector determined to be normal (no abnormality has occurred) by the detection unit 16.
  • the learning processing control unit 12 acquires the numerical vector group from the learning data storage unit 125, and preprocesses the numerical vector group. Input to the unit 13 (S108). The acquired numerical vector group is deleted from the learning data storage unit 125. Subsequently, step S104 and subsequent steps are executed for the numerical vector group. Therefore, in the next step S105, normalization is performed based on the newly calculated xmax_i.
  • FIG. 5 is a flowchart for explaining an example of the processing procedure of the detection processing in the first embodiment.
  • the processing procedure in FIG. 5 may be started any time after step S106 in FIG. 4 has been executed at least once. That is, the processing procedure of FIG. 5 is executed in parallel with the processing procedure of FIG.
  • step S201 the detection processing control unit 15 waits for the unit time to elapse.
  • the unit time is the same length as the unit time in the description of FIG. During this standby, the observation data collected in real time and received by the receiving unit 11 is stored in the observation data storage unit 123.
  • the detection processing control unit 15 acquires the observation data group for the latest unit time from the observation data storage unit 123, and inputs the observation data group to the preprocessing unit 13 ( S202).
  • the preprocessing unit 13 extracts a feature quantity according to the purpose from the observation data group, and generates a multidimensional numerical vector having the extracted feature quantity as an element of each dimension (S203). For example, the total number of transmitted bytes of all flows whose protocol is TCP and the total number of transmitted bytes of all flows whose protocol is UDP are extracted, and a two-dimensional numerical vector having these as elements of each dimension is generated. Here, one numerical vector is generated.
  • the preprocessing unit 13 normalizes the generated numerical vector based on the maximum value xmax_i stored in the parameter storage unit 122 (S204). That is, each metric i of the numeric vector is divided by the maximum value xmax_i.
  • step S104 of FIG. 4 is executed only once based on the teacher data
  • the maximum value xmax_i is ⁇ 100, 50 ⁇ . Therefore, when the numerical vector is ⁇ 60, 40 ⁇ , the numerical vector is normalized to ⁇ 0.6, 0.8 ⁇ .
  • the detection unit 16 executes an abnormality determination process (S205).
  • an abnormality determination process whether or not there is an abnormality in the network N1 is determined based on the normalized numerical vector and the latest learning result stored in the learning result storage unit 124.
  • the detection processing control unit 15 stores the numerical vector before normalization of the numerical vector in the learning data storage unit 125 as learning data (S207).
  • the numerical vector before normalization of the numerical vector is not stored in the learning data storage unit 125. Therefore, the learning data storage unit 125 stores only normal numerical vectors.
  • step S201 and subsequent steps are repeated. Note that, in the process of repeating step S201 and subsequent steps, the normalization parameter used in step S204 is updated as needed in step S104 of FIG. 4 being executed in parallel. As a result, the numerical vector can be normalized in consideration of the trend of the input observation data.
  • observation data is flow data
  • MIB data MIB data
  • CPU usage rate a data type in which the observation data is flow data.
  • MIB data given in a format such as ⁇ hostID, interfaceID, ibps, obsps ⁇ , “host IDa ibps in unit time”, “host IDa obsps in unit time”, “host IDb in unit time” Ibps of host IDb in unit time "" interfaces IDx ibs in unit time ",” interfaceIDx obsps in unit time ",” interfaceIDy ibps in unit time ",” interfaceIDy obsps in unit time " It is possible to extract a numerical vector like
  • steps S ⁇ b> 106 and S ⁇ b> 205 a numerical vector group assigned with the data type as a label is input to the learning unit 14 or the detection unit 16.
  • the label is any one of “flow data”, “MIB data”, and “CPU usage rate”.
  • the label is given to the teacher data and the observation data by the measuring device 20 or the receiving unit 11. That is, the label to be given to the observation data can be specified based on the observation data collection source.
  • the label is inherited by a numerical vector generated by the preprocessing unit 13.
  • the learning unit 14 generates a learning device for each data type.
  • the learning unit 14 classifies the numerical vector based on the label given to the input numerical vector, and inputs the numerical vector to the learning device corresponding to the classification result.
  • a “flow data learning device”, a “MIB data learning device”, and a “CPU usage rate learning device” are generated.
  • an auto encoder Non-Patent Document 2 that performs abnormality detection by learning correlation between numerical vector metrics, principal component analysis, or the like can be used.
  • the principal component analysis is detailed in, for example, “Ringberg, Haakon, et al.” Sensitivity of PCA for traffic anomaly detection. ”ACM SIGMETRICS Performance Evaluation Review 35.1 (2007): 109-120.
  • an example in which an auto encoder is used as a learning device will be described.
  • FIG. 6 is a diagram for explaining the auto encoder.
  • the auto encoder is an anomaly detection algorithm based on deep learning.
  • the auto encoder utilizes the fact that the input data at normal time has a correlation between metrics and can be compressed to a low dimension. Since the correlation between the input data is lost at the time of abnormality, the compression is not performed correctly, and the difference between the input data and the output data becomes large.
  • the learning device (auto encoder) generated by the learning unit 14 performs learning so that the output layer (Layer L 3 ) is close to the input layer (Layer L 1 ). Specifically, the learning unit 14 duplicates the numerical vector, applies one to the input layer, applies the other to the output layer, performs learning, and outputs a learning result.
  • the learning result is stored in the learning result storage unit 124.
  • the learning result is a parameter group for the learning device. Since learning devices are generated for each data type, learning results are also output for each data type and stored in the learning result storage unit 124.
  • the detection unit 16 similarly to the learning unit 14, the detection unit 16 also generates a learning device for each data type.
  • the learning device a method corresponding to the learning device generated by the learning unit 14 in the auto encoder, the principal component analysis, or the like can be used as in the learning device generated by the learning unit 14.
  • step S205 in FIG. 5 the detection unit 16 performs “flow data learning device”, “MIB data learning device”, and “CPU usage rate learning” based on the learning result stored in the learning result storage unit 124. Is created. That is, the learning device generated by the detection unit 16 is the same as the learning device generated by the learning unit 14 when the learning result is output.
  • the detection unit 16 inputs the numerical vector for each data type input in step S205 to a learning device corresponding to the data type of the numerical vector, and inputs data to the learning device.
  • the distance between the output data and the output data is calculated as the degree of abnormality.
  • a mean square error (MSE: Mean Squared Error) that is a distance between the input layer and the output layer of the auto encoder is calculated as the degree of abnormality.
  • MSE Mean Squared Error
  • MSE for flow data MSE for MIB data
  • MSE for CPU usage MSE for CPU usage.
  • the detection unit 16 calculates the average of the obtained MSEs as the final abnormality degree, and determines that the abnormality is abnormal when the final abnormality degree exceeds a predetermined threshold. Otherwise, the detection unit 16 determines that it is normal. Note that the detection unit 16 inputs a numerical vector or the like when it is determined to be abnormal to the post-processing unit 17.
  • FIG. 7 is a flowchart for explaining an example of a processing procedure executed by the post-processing unit 17 in the first embodiment.
  • distribution information (average ⁇ _i and standard deviation ⁇ _i) for each metric i is calculated for a numerical vector group before normalization based on the teacher data group stored in the teacher data storage unit 121. And stored in the teacher data storage unit 121.
  • step S301 the post-processing unit 17 acquires the average ⁇ _i and standard deviation ⁇ _i for each metric i of the numerical vector group based on the teacher data group from the teacher data storage unit 121.
  • the post-processing unit 17 calculates, for each metric i of the numerical vector input from the detection unit 16, a degree of deviation ⁇ 1_i from the distribution of the metric in the numerical vector group based on the teacher data (S302).
  • the post-processing unit 17 extracts a metric i in which the absolute value of ⁇ 1_i exceeds a predetermined threshold (S303).
  • the post-processing unit 17 uses the extracted metric i as an abnormality factor candidate, and estimates an abnormality factor from a list of the ID (identifier) of the metric i and the degree ⁇ 1_i of the metric i. (S304). Note that the output order may be the descending order of the deviation degree ⁇ 1_i.
  • the average ⁇ _i and standard deviation ⁇ _i acquired in step S301 are the average ⁇ _i and standard deviation of each metric i in the learning data group if the learning data group for the learning period is stored in the learning data storage unit 125. It may be ⁇ _i.
  • the degree of deviation from the distribution of numerical vectors based on the teacher data group is calculated for each metric.
  • a metric whose degree of detachment exceeds a threshold value is output.
  • the user can estimate that the output metric is a cause of abnormality. Therefore, it is possible to support estimation of a factor when an abnormality is detected for an abnormality detection target.
  • FIG. 8 is a flowchart for explaining an example of a processing procedure executed by the post-processing unit 17 in the second embodiment.
  • the numerical value vector x (the numerical value vector in the input layer in FIG. 6B) input to the learning device when an abnormality is detected by the detection unit 16 and the learning device outputs the numerical value vector x.
  • the numerical vector y (the numerical vector of the output layer in FIG. 6B) is input from the detection unit 16 to the post-processing unit 17.
  • the degree of deviation ⁇ 2_i is the distance (difference) between x_i and y_i.
  • ⁇ 2_i y_i ⁇ x_i
  • the post-processing unit 17 extracts a metric i in which the absolute value of ⁇ 2_i exceeds a predetermined threshold (S403).
  • the post-processing unit 17 uses the extracted metric i as an abnormality factor candidate, and lists the ID of the metric i and the degree ⁇ 2_i of the metric i as information for estimating the abnormality factor.
  • step S501 the post-processing unit 17 minimizes the degree of abnormality in the learning device (function) in which the detection unit 16 has detected an abnormality with respect to the numerical vector (hereinafter referred to as “input vector”) input from the detection unit 16.
  • input vector the numerical vector
  • Search for a numeric vector to be converted By searching for a numerical vector that minimizes the degree of abnormality while the internal parameters (learning results) of the learning device (function) are fixed, the dimension causing the abnormality is corrected. Note that a known method such as a steepest descent method can be used for such a search.
  • the post-processing unit 17 calculates a difference ⁇ 3_i for each metric i with respect to the input vector and the searched numerical vector (search vector).
  • the post-processing unit 17 extracts a metric i whose absolute value of ⁇ 3_i exceeds a predetermined threshold (S503). Subsequently, the post-processing unit 17 outputs the list of the metric i ID and the difference ⁇ 3_i of the metric i as information for estimating the abnormality factor, using the extracted metric i as the abnormality factor candidate. (S504).
  • the output order may be the descending order of the difference ⁇ 3_i.
  • estimation of a factor when an abnormality is detected for an abnormality detection target can be supported.
  • the fourth embodiment is a combination of the first, second, and third embodiments.
  • the processing procedure of FIG. 7 is replaced with the processing procedure of FIG.
  • step S601 the post-processing unit 17 executes steps S301 and S302 in FIG. 7 to calculate the degree of deviation ⁇ 1_i for each metric of the input numerical vector.
  • step S401 in FIG. 8 the post-processing unit 17 executes step S401 in FIG. 8 to calculate a degree of ⁇ 2_i for each metric of the input numerical vector (S602).
  • the post-processing unit 17 executes steps S501 and S502 in FIG. 9 to calculate a difference ⁇ 3_i for each metric of the input numerical vector (S603).
  • the post-processing unit 17 determines the integrated detachment degree ⁇ _i of the metric i by combining ⁇ 1_i, ⁇ 2_i, and ⁇ 3_i (S604).
  • the post-processing unit 17 extracts a metric i whose absolute value of ⁇ _i exceeds a predetermined threshold (S605). Subsequently, the post-processing unit 17 uses the extracted metric i as an abnormality factor candidate, and estimates the abnormality factor from a list of the ID (identifier) of the metric i and the difference ⁇ _i of the metric i. It outputs as information (S606).
  • the output order may be the descending order of the difference ⁇ _i.
  • steps S601, S602, and S603 may be omitted.
  • the estimation of factors when an abnormality is detected for an abnormality detection target is supported. Can do.
  • each of the above embodiments may be applied to data collected from other than the network.
  • the above-described embodiments may be applied to data collected from a computer system.
  • the abnormality detection device 10 is an example of an abnormality factor estimation device.
  • the post-processing unit 17 is an example of a first calculation unit, a second calculation unit, a third calculation unit, and a fourth calculation unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

異常要因推定装置は、異常の検知対象が正常である場合に前記検知対象から得られる第１の数値ベクトルを学習した学習器と、前記検知対象から複数のタイミングで得られる第２の数値ベクトルとに基づいて、前記検知対象の異常を検知する検知部と、異常が検知された前記第２の数値ベクトルのメトリックごとに、当該メトリックの値から前記第１の数値ベクトルにおける当該メトリックの平均を差し引いた結果を、前記第１の数値ベクトルにおける当該メトリックの標準偏差で除することで得られる値を、当該異常の要因のメトリックを推定するための情報として算出する第１の算出部と、を有することで、異常の検知対象について異常が検知された場合の要因の推定を支援する。

Description

異常要因推定装置、異常要因推定方法及びプログラム
　本発明は、異常要因推定装置、異常要因推定方法及びプログラムに関する。
　様々なデータをリアルタイムで観測する機能が存在するシステムにおいて、データが正常時と異なる傾向を示した場合に、システムに異常が発生しているとみなすような異常検知を考える。
　このような異常検知機能は、「正常時」の教師データを学習しておき、異常検知を行う「テスト時」には、テストデータが教師データとは異なる傾向を示した時に異常と判断する。
　観測するデータのメトリック毎に正常時との比較を行うとすると、観測メトリック数が増加した場合に、少なくとも一つのメトリックが異常な傾向を示す確率が増加し、多くの時間帯において「異常」と検知されてしまう事態が生じる。例えば、全てのデータが正規分布に従うとした場合、観測値が平均からのずれが±３σに収まらない確率は約０．６％である（非特許文献１参照）。しかし、観測メトリック数がＮ個であるとすると、全てのメトリックの観測値が平均±３σに収まる確率は０．９９４Ｎであり、この確率はＮ＝１００で約５４％にまで低減する。
Hodge, Victoria J., and Jim Austin. "A survey of outlier detection methodologies." Artificial intelligence review 22.2 (2004): 85-126. 櫻田 麻由 ・ 矢入 健久，"オートエンコーダを用いた次元削減による宇宙機の異常検知"， 人工知能学会全国大会論文集 28, 1-3, 2014
　一方で、メトリック毎の異常度ではなく、正常時におけるメトリック間の相関関係がテストデータにおいて崩れていた場合に、そのテストデータの「異常度」を出力するようなアルゴリズムが提案されている（例えば、非特許文献１、非特許文献２）。このようなアルゴリズムを用いることで、上記のような「異常」が頻発する問題は解決できる一方で、アルゴリズムの出力が「異常度」の一次元であるため、どの観測メトリックが異常の要因となっているかについての判別が困難である。
　本発明は、上記の点に鑑みてなされたものであって、異常の検知対象について異常が検知された場合の要因の推定を支援することを目的とする。
　そこで上記課題を解決するため、異常要因推定装置は、異常の検知対象が正常である場合に前記検知対象から得られる第１の数値ベクトルを学習した学習器と、前記検知対象から複数のタイミングで得られる第２の数値ベクトルとに基づいて、前記検知対象の異常を検知する検知部と、異常が検知された前記第２の数値ベクトルのメトリックごとに、当該メトリックの値から前記第１の数値ベクトルにおける当該メトリックの平均を差し引いた結果を、前記第１の数値ベクトルにおける当該メトリックの標準偏差で除することで得られる値を、当該異常の要因のメトリックを推定するための情報として算出する第１の算出部と、を有する。
　異常の検知対象について異常が検知された場合の要因の推定を支援することができる。
第１の実施の形態におけるシステム構成例を示す図である。 第１の実施の形態における異常検知装置１０のハードウェア構成例を示す図である。 第１の実施の形態における異常検知装置１０の機能構成例を示す図である。 第１の実施の形態における学習処理の処理手順の一例を説明するためのフローチャートである。 第１の実施の形態における検知処理の処理手順の一例を説明するためのフローチャートである。 オートエンコーダを説明するための図である。 第１の実施の形態において後処理部１７が実行する処理手順の一例を説明するためのフローチャートである。 第２の実施の形態において後処理部１７が実行する処理手順の一例を説明するためのフローチャートである。 第３の実施の形態において後処理部１７が実行する処理手順の一例を説明するためのフローチャートである。 第４の実施の形態において後処理部１７が実行する処理手順の一例を説明するためのフローチャートである。
　以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態におけるシステム構成例を示す図である。図１において、ネットワークＮ１は、異常の検知対象とされるネットワークである。ネットワークＮ１は、ルータやサーバ装置等の複数のノードが相互に接続されることによって構成され、所定のサービスを提供するために任意のノード間においてパケットの送受信が行われる。
　ネットワークＮ１の複数箇所には測定装置２０が配置されている。測定装置２０は、配置箇所を監視することで得られる観測データを複数のタイミングで採取する。収集される観測データの一例として、ＭＩＢ（Management Information Base）データ、ＮｅｔＦｌｏｗによるフローデータ、ＣＰＵ使用率等が挙げられる。
　ＭＩＢは、ネットワーク機器を監視するためのメーカ間の共通ポリシーである。ＭＩＢデータは、例えば、５分単位で集約され、「時刻、ホスト名、インターフェース（ＩＦ）名、入力データ量（ｉｂｐｓ）、出力データ量（ｏｂｐｓ）」等を含む。
　ＮｅｔＦｌｏｗは、フロー単位でのネットワーク監視をおこなう技術であり、通信が終了した段階でそのフローに関する情報が出力される。また、フローとは、「何処」と「何処」が「どのような通信」を「どれだけの量」行っているかを把握するための単位をいい、通信の送り手側のＩＰアドレス（ｓｒｃＩＰ）、送り手側のポート番号（ｓｒｃｐｏｒｔ）、受け手側のＩＰアドレス（ｄｓｔＩＰ）、受け手側のポート番号（ｄｓｔｐｏｒｔ）、通信プロトコル（ｐｒｏｔｏ）の５属性によりまとめられる。フローデータは、「フロー開始時刻、ｓｒｃＩＰ、ｓｒｃｐｏｒｔ、ｄｓｔＩＰ、ｄｓｔｐｏｒｔ、ｐｒｏｔｏ、フロー継続時間、総送信パケット数、総送信バイト数」等を含む。
　ＣＰＵ使用率は、例えば、ネットワークＮ１に含まれるサーバ装置又はルータ等のＣＰＵの使用率である。
　測定装置２０によって採取された観測データは、異常検知装置１０によって収集される。異常検知装置１０は、収集された観測データから、正常時の特徴を学習し、学習結果に基づいて、その後に入力される観測データについて、異常の発生を検知する（異常の有無を判定する）コンピュータである。なお、正常時の特徴の学習が行われる処理を「学習処理」という。学習処理において学習された結果に基づいて異常の検知が行われる処理を「テスト処理」という。
　図２は、第１の実施の形態における異常検知装置１０のハードウェア構成例を示す図である。図２の異常検知装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
　異常検知装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って異常検知装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
　図３は、第１の実施の形態における異常検知装置１０の機能構成例を示す図である。図３において、異常検知装置１０は、受信部１１、学習処理制御部１２、前処理部１３、学習部１４、検知処理制御部１５、検知部１６及び後処理部１７等を有する。これら各部は、異常検知装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。異常検知装置１０は、また、教師データ記憶部１２１、パラメータ記憶部１２２、観測データ記憶部１２３、学習結果記憶部１２４及び学習データ記憶部１２５等を利用する。これら各記憶部は、例えば、補助記憶装置１０２、又は異常検知装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
　教師データ記憶部１２１には、予め正常時に収集されたことが確認されている観測データが教師データとして記憶されている。但し、教師データは、観測データから選別されるのではなく、人為的に作成されてもよい。
　受信部１１は、測定装置２０から観測データを受信する。受信された観測データは、観測データ記憶部１２３に記憶される。
　学習処理制御部１２は、学習処理を制御する。
　前処理部１３は、教師データの集合、観測データの集合、又は学習データ記憶部１２５に記憶されている学習データの集合について前処理を実行する。前処理とは、データ集合からの単位時間ごとの特徴量の抽出や、抽出された特徴量の正規化等の処理である。特徴量は、数値ベクトルの形式で表現される。なお、１回目の学習時には、教師データ記憶部１２１に記憶されている教師データ群が前処理の対象とされる。受信部１１によって観測データの受信が開始されると、観測データ群が前処理の対象とされる。更に、検知部１６による異常の検知が開始され、正常であると判定され、学習データとして学習データ記憶部１２５に記憶された観測データが所定数に達すると、当該学習データ群が前処理の対象とされる。
　前処理部１３は、また、教師データ群又は学習データ群について前処理を実行する際に、観測データ又は学習データを正規化するためのパラメータ（以下、「正規化パラメータ」という。）を生成又は更新し、生成又は更新された正規化パラメータをパラメータ記憶部１２２に記憶する。
　学習部１４は、教師データ又は学習データに基づいて学習を実行する。学習部１４による学習結果は、学習結果記憶部１２４に記憶される。
　検知処理制御部１５は、検知処理を制御する。
　検知部１６は、観測データ記憶部１２３に記憶されている観測データが前処理部１３によって前処理されることで生成される数値ベクトルと、学習結果記憶部１２４に記憶されている学習結果とに基づいて異常の発生を検知する。具体的には、検知部１６は、前処理された数値ベクトルについて、学習結果との違いを異常度として算出し、当該異常度を閾値と比較することで異常の発生を検知する。異常が検知されなかった数値ベクトルの正規化前の値は、学習データとして学習データ記憶部１２５に記憶される。
　後処理部１７は、異常が検知された際の数値ベクトルのメトリックごとの異常度に基づいて、異常の要因となっているメトリックの推定を行う。
　以下、異常検知装置１０が実行する処理手順について説明する。図４は、第１の実施の形態における学習処理の処理手順の一例を説明するためのフローチャートである。なお、以下においては、便宜上、フローデータが処理対象である例について示す。
　学習処理が開始されると、学習処理制御部１２は、教師データ記憶部１２１から教師データ群を取得し、当該教師データ群を前処理部１３へ入力する（Ｓ１０１）。
　続いて、前処理部１３は、入力された教師データ群を、単位時間ごとの集合に分割する（Ｓ１０２）。なお、教師データ記憶部１２１には、単位時間×Ｕの期間（以下、「学習期間」という。）分の教師データが記憶されていることとする。したがって、教師データ群は、Ｕ個の集合に分割される。
　続いて、前処理部１３は、分割された集合ごとに、目的に応じた特徴量を抽出し、抽出された特徴量を各次元の要素とする多次元数値ベクトルを生成する（Ｓ１０３）。
　例えば、単位時間が１分で、前処理部１３が、１分間ごとの特徴量を抽出するとする。また、特徴量を、各プロトコル（ＴＣＰ、ＵＤＰ）の全送信バイト数であるとする。この場合、先頭の教師データのフロー開始時刻が１２：００：００であるとすると、前処理部１３は、全教師データのうち、フロー開始時刻ｔが１１：５９：００＜＝ｔ＜１２：００：００であるような教師データ（フローデータ）の集合について、プロトコルがＴＣＰである全フローの全送信バイト数、プロトコルがＵＤＰである全フローの全送信バイト数等を計算し、それらの特徴量を各次元の要素とする２次元数値ベクトルを生成する。（Ｕ－１）個の他の集合についても同様に、数値ベクトルが生成される。
　なお、特徴量の属性としては、「ＴＣＰかつ送信ポート番号が８０」のような組合せとして指定することも可能である。また、各フローが「フロー数：１」のような値を持つと見なせば、各属性を持つフローの総フロー数についても同様に計算し、特徴量としてみなすことが可能である。
　続いて、前処理部１３は、各数値ベクトルにおける各メトリックｉ（各次元ｉ）の最大値ｘｍａｘ＿ｉを算出し、算出したｘｍａｘ＿ｉをパラメータ記憶部１２２に記憶する（Ｓ１０４）。すなわち、第１の実施の形態において、各メトリックｉの最大値ｘｍａｘ＿ｉが、正規化パラメータである。
　ここで、Ｕ＝３とする。また、ステップＳ１０３において生成された数値ベクトルが｛｛８０，２０｝，｛９０，３５｝，｛１００，５０｝｝であるとする。これは、或る３分におけるＴＣＰの総送信バイト数及びＵＤＰの総送信バイト数がそれぞれ「ＴＣＰ：８０ｂｙｔｅ，ＵＤＰ：２０ｂｙｔｅ」、「ＴＣＰ：９０ｂｙｔｅ，ＵＤＰ：３５ｂｙｔｅ」、「ＴＣＰ：１００ｂｙｔｅ，ＵＤＰ：５０ｂｙｔｅ」であったことを示す。この場合、これらの数値ベクトルの各メトリックの最大値ｘｍａｘ＿ｉは、｛１００，５０｝である（すなわち、ｘｍａｘ＿１＝１００，ｘｍａｘ＿２＝５０である）。
　続いて、前処理部１３は、正規化パラメータに基づいて、各数値ベクトルを正規化する（Ｓ１０５）。正規化は、各数値ベクトルのメトリックｉの値が最大値ｘｍａｘ＿ｉによって除されることにより行われる。したがって、正規化された数値ベクトルは、｛｛０．８，０．４｝，｛０．９，０．７｝，｛１，１｝｝となる。
　続いて、学習部１４は、当該数値ベクトルについて学習器を利用して学習する（Ｓ１０６）。学習結果は、学習結果記憶部１２４に記憶される。
　続いて、学習処理制御部１２は、学習データ記憶部１２５に、学習期間分の学習データが記憶（蓄積）されるのを待機する（Ｓ１０７）。すなわち、Ｕ個の正規化前の数値ベクトルが学習データ記憶部１２５に記憶されるまで待機が継続する。なお、学習データ記憶部１２５には、検知部１６によって正常である（異常が発生していない）と判定された数値ベクトルが記憶される。
　学習期間分の数値ベクトルが学習データ記憶部１２５に記憶されると（Ｓ１０７でＹｅｓ）、学習処理制御部１２は、学習データ記憶部１２５から数値ベクトル群を取得し、当該数値ベクトル群を前処理部１３へ入力する（Ｓ１０８）。なお、取得された数値ベクトル群は、学習データ記憶部１２５から削除される。続いて、当該数値ベクトル群について、ステップＳ１０４以降が実行される。したがって、次のステップＳ１０５では、新たに計算されるｘｍａｘ＿ｉに基づいて正規化が行われる。
　図５は、第１の実施の形態における検知処理の処理手順の一例を説明するためのフローチャートである。図５の処理手順は、図４のステップＳ１０６が少なくとも１回実行された後であれば、いつ開始されてもよい。すなわち、図５の処理手順は、図４の処理手順と並行して実行される。
　ステップＳ２０１において、検知処理制御部１５は、単位時間の経過を待機する。当該単位時間は、図４の説明における単位時間と同じ時間長である。この待機中に、リアルタイムに収集され、受信部１１によって受信された観測データは観測データ記憶部１２３に記憶される。
　単位時間が経過すると（Ｓ２０１でＹｅｓ）、検知処理制御部１５は、直近の単位時間分の観測データ群を観測データ記憶部１２３から取得し、当該観測データ群を前処理部１３へ入力する（Ｓ２０２）。
　続いて、前処理部１３は、当該観測データ群から目的に応じた特徴量を抽出し、抽出された特徴量を各次元の要素とする多次元数値ベクトルを生成する（Ｓ２０３）。例えば、プロトコルがＴＣＰである全フローの全送信バイト数、プロトコルがＵＤＰである全フローの全送信バイト数が抽出され、これらを各次元の要素とする２次元数値ベクトルが生成される。ここでは、１つの数値ベクトルが生成される。
　続いて、前処理部１３は、生成された数値ベクトルを、パラメータ記憶部１２２に記憶されている最大値ｘｍａｘ＿ｉに基づいて正規化する（Ｓ２０４）。すなわち、当該数値ベクトルの各メトリックｉが、最大値ｘｍａｘ＿ｉによって除算される。
　例えば、図４のステップＳ１０４が上記の教師データに基づいて１回のみ実行されている場合、最大値ｘｍａｘ＿ｉは、｛１００，５０｝である。したがって、当該数値ベクトルが｛６０，４０｝である場合、当該数値ベクトルは、｛０．６，０．８｝に正規化される。
　続いて、検知部１６は、異常判定処理を実行する（Ｓ２０５）。異常判定処理では、正規化された数値ベクトルと、学習結果記憶部１２４に記憶されている最新の学習結果とに基づいて、ネットワークＮ１について異常の有無が判定される。
　異常が無いと判定された場合（Ｓ２０６でＹｅｓ）、検知処理制御部１５は、当該数値ベクトルの正規化前の数値ベクトルを、学習データとして学習データ記憶部１２５に記憶する（Ｓ２０７）。異常が有ると判定された場合（Ｓ２０６でＮｏ）、当該数値ベクトルの正規化前の数値ベクトルは、学習データ記憶部１２５に記憶されない。したがって、学習データ記憶部１２５には、正常時の数値ベクトルのみが記憶される。
　続いて、ステップＳ２０１以降が繰り返される。なお、ステップＳ２０１以降が繰り返される過程において、ステップＳ２０４で利用される正規化パラメータは、並行して実行されている図４のステップＳ１０４において随時更新される。その結果、入力される観測データのトレンドを考慮して数値ベクトルを正規化することができる。
　例えば、Ｕ＝３である場合、ステップＳ２０７が３回実行されて、｛｛６０，４０｝，｛４５，２０｝，｛３０，３０｝｝が学習データ記憶部１２５に記憶されたとする。この場合、ｘｍａｘ＿１＝６０、ｘｍａｘ＿２＝４０に更新され、更新結果がパラメータ記憶部１２２に反映される。
　なお、上記では、観測データがフローデータである例について説明したが、フローデータ、ＭＩＢデータ、及びＣＰＵ使用率が並列的に観測データとして受信されてもよい。この場合、図４及び図５の処理手順の各ステップでは、データ種別ごと（フローデータ、ＭＩＢデータ、及びＣＰＵ使用率ごと）に実行されればよい。
　なお、例えば｛ｈｏｓｔＩＤ，ｉｎｔｅｒｆａｃｅＩＤ，ｉｂｐｓ，ｏｂｐｓ｝のような形式で与えられるＭＩＢデータについては、「単位時間におけるホストＩＤａのｉｂｐｓ」、「単位時間におけるホストＩＤａのｏｂｐｓ」、「単位時間におけるホストＩＤｂのｉｂｐｓ」、「単位時間におけるホストＩＤｂのｏｂｐｓ」...「単位時間におけるｉｎｔｅｒｆａｃｅＩＤｘのｉｂｐｓ」、「単位時間におけるｉｎｔｅｒｆａｃｅＩＤｘのｏｂｐｓ」、「単位時間におけるｉｎｔｅｒｆａｃｅＩＤｙのｉｂｐｓ」、「単位時間におけるｉｎｔｅｒｆａｃｅＩＤｙのｏｂｐｓ」のように、数値ベクトルを抽出することが可能である。
　続いて、図４のステップＳ１０６及び図５のステップＳ２０５の一例について説明する。ステップＳ１０６及びＳ２０５では、データ種別がラベルとして付与された数値ベクトル群が学習部１４又は検知部１６に入力される。本実施の形態において、ラベルは「フローデータ」、「ＭＩＢデータ」、及び「ＣＰＵ使用率」のいずれかである。ラベルは、例えば、測定装置２０又は受信部１１によって教師データ及び観測データに付与される。すなわち、観測データの採取元に基づいて当該観測データに付与すべきラベルが特定可能である。当該ラベルは、前処理部１３によって生成される数値ベクトルに引き継がれる。
　図４のステップＳ１０６において、学習部１４は、データ種別ごとに学習器を生成する。学習部１４は、入力される数値ベクトルに付与されているラベルに基づいて数値ベクトルを分類し、分類結果に対応する学習器へ当該数値ベクトルを入力する。本実施の形態では「フローデータの学習器」、「ＭＩＢデータの学習器」、「ＣＰＵ使用率の学習器」が生成される。学習器としては数値ベクトルのメトリック間の相関関係の学習による異常検知を行うオートエンコーダ（非特許文献２）や主成分分析等を用いることができる。主成分分析については、例えば、「Ringberg, Haakon, et al. "Sensitivity of PCA for traffic anomaly detection." ACM SIGMETRICS Performance Evaluation Review 35.1 (2007): 109-120.」に詳しい。本実施の形態では、学習器にオートエンコーダを用いる例について説明する。
　図６は、オートエンコーダを説明するための図である。オートエンコーダは、ディープラーニングによる異常検知アルゴリズムである。オートエンコーダは、正常時の入力データがメトリック間で相関関係を持ち、低次元に圧縮可能であることを利用する。異常時には入力データの相関関係が崩れるため、圧縮が正しく行われず入力データと出力データとの差が大きくなる。
　図６の（１）に示されるように、学習部１４が生成する学習器（オートエンコーダ）は、出力層（Ｌａｙｅｒ　Ｌ３）が入力層（Ｌａｙｅｒ　Ｌ１）に近くなるように学習を行う。具体的には、学習部１４は、数値ベクトルを２つに複製し、一方を入力層へ当てはめ、他方を出力層に当てはめて学習を行い、学習結果を出力する。学習結果は、学習結果記憶部１２４に記憶される。学習結果は、学習器に対するパラメータ群である。なお、学習器は、データ種別ごとに生成されるため、学習結果もデータ種別ごとに出力され、学習結果記憶部１２４に記憶される。
　一方、検知部１６も、学習部１４と同様に、データ種別ごとに学習器を生成する。当該学習器には、学習部１４によって生成される学習器と同様にオートエンコーダ又は主成分分析等のうち、学習部１４が生成する学習器に対応する方法を用いることができる。
　図５のステップＳ２０５において、検知部１６は、学習結果記憶部１２４に記憶されている学習結果に基づいて、「フローデータの学習器」、「ＭＩＢデータの学習器」、「ＣＰＵ使用率の学習器」を生成する。すなわち、検知部１６によって生成される学習器は、当該学習結果の出力時において学習部１４によって生成された学習器と同じである。検知部１６は、図６の（２）に示されるように、ステップＳ２０５において入力されたデータ種別ごとの数値ベクトルを当該数値ベクトルのデータ種別に対応する学習器へ入力し、学習器に対する入力データと出力データとの距離（メトリック間の相関関係の崩れの程度を示す指標）を異常度として計算する。本実施の形態ではオートエンコーダの入力層と出力層との距離である平均二乗誤差（ＭＳＥ：Mean Squared Error）が異常度として計算される。ＭＳＥの計算式は、以下の通りである。
Figure JPOXMLDOC01-appb-M000001
 　本実施の形態では、フローデータのＭＳＥ、ＭＩＢデータのＭＳＥ、ＣＰＵ使用率のＭＳＥの３種のＭＳＥが得られる。検知部１６は、得られたＭＳＥの平均を、最終的な異常度として計算し、最終的な異常度が予め定められた閾値を超えていた場合に異常であると判定する。そうでない場合、検知部１６は、正常とであると判定する。なお、検知部１６は、異常であると判定した場合の数値ベクトル等を、後処理部１７へ入力する。
　続いて、検知部１６から数値ベクトルが入力された場合に、後処理部１７が実行する処理手順について説明する。
　図７は、第１の実施の形態において後処理部１７が実行する処理手順の一例を説明するためのフローチャートである。なお、第１の実施の形態では、教師データ記憶部１２１に記憶されている教師データ群に基づく正規化前の数値ベクトル群について、メトリックｉごとの分布情報（平均μ＿ｉ及び標準偏差σ＿ｉ）が算出され、教師データ記憶部１２１に記憶されていることとする。
　ステップＳ３０１において、後処理部１７は、教師データ群に基づく数値ベクトル群のメトリックｉごとの平均μ＿ｉ及び標準偏差σ＿ｉを教師データ記憶部１２１から取得する。
　続いて、後処理部１７は、検知部１６から入力された数値ベクトルのメトリックｉごとに、教師データに基づく数値ベクトル群における当該メトリックの分布からの外れ度合いγ１＿ｉを算出する（Ｓ３０２）。γ１＿ｉの計算式は、以下の通りである。
γ１＿ｉ＝（ｘ＿ｉ－μ＿ｉ）／σ＿ｉ
　続いて、後処理部１７は、γ１＿ｉの絶対値が予め定められた閾値を超えたメトリックｉを抽出する（Ｓ３０３）。続いて、後処理部１７は、抽出されたメトリックｉを異常の要因候補として、当該メトリックｉのＩＤ（識別子）と、当該メトリックｉの外れ度合いγ１＿ｉとの一覧を、異常の要因を推定するための情報として出力する（Ｓ３０４）。なお、出力順は、外れ度合いγ１＿ｉの降順でもよい。
　なお、ステップＳ３０１において取得される平均μ＿ｉ及び標準偏差σ＿ｉは、学習データ記憶部１２５に学習期間分の学習データ群が記憶されていれば、当該学習データ群における各メトリックｉの平均μ＿ｉ及び標準偏差σ＿ｉであってもよい。
　上述したように、第１の実施の形態によれば、異常が検知された場合の観測データに基づく数値ベクトルについて、メトリックごとに、教師データ群に基づく数値ベクトルの分布からの外れ度合いが算出され、当該外れ度合いが閾値を超えるメトリックが出力される。その結果、ユーザは、出力されたメトリックが異常の要因であると推定することができる。したがって、異常の検知対象について異常が検知された場合の要因の推定を支援することができる。
　次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。第２の実施の形態では、図７の処理手順が図８の処理手順に置き換わる。
　図８は、第２の実施の形態において後処理部１７が実行する処理手順の一例を説明するためのフローチャートである。第２の実施の形態では、検知部１６によって異常が検知された際に学習器に入力されていた数値ベクトルｘ（図６（２）の入力層の数値ベクトル）と、当該学習器から出力された数値ベクトルｙ（図６（２）の出力層の数値ベクトル）とが検知部１６から後処理部１７へ入力される。
　ステップＳ４０１において、後処理部１７は、数値ベクトルｘ＝（ｘ＿１，ｘ＿２，…，ｘ＿Ｎ）と、数値ベクトルｙ＝（ｙ＿１，ｙ＿２，…，ｙ＿Ｎ）とについて、メトリックｉごとに外れ度合いγ２＿ｉを算出する（Ｓ４０１）。第２の実施の形態において、外れ度合いγ２＿ｉは、ｘ＿ｉとｙ＿ｉとの距離（差分）である。
γ２＿ｉ＝ｙ＿ｉ－ｘ＿ｉ
　続いて、後処理部１７は、γ２＿ｉの絶対値が予め定められた閾値を超えたメトリックｉを抽出する（Ｓ４０３）。続いて、後処理部１７は、抽出されたメトリックｉを異常の要因候補として、当該メトリックｉのＩＤと、当該メトリックｉの外れ度合いγ２＿ｉとの一覧を、異常の要因を推定するための情報として出力する（Ｓ４０４）。なお、出力順は、外れ度合いγ２＿ｉの降順でもよい。
　上述したように、第２の実施の形態によれば、第１の実施の形態と同様に、異常の検知対象について異常が検知された場合の要因の推定を支援することができる。
　次に、第３の実施の形態について説明する。第３の実施の形態では第１の実施の形態と異なる点について説明する。第３の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。第３の実施の形態では、図７の処理手順が図９の処理手順に置き換わる。
　ステップＳ５０１において、後処理部１７は、検知部１６から入力された数値ベクトル（以下、「入力ベクトル」という。）について、検知部１６が異常を検知した学習器（関数）において、異常度が最小化される数値ベクトルを探索する。当該学習器（関数）の内部パラメータ（学習結果）を固定した状態で異常度が最小化されるような数値ベクトルを探索することで、異常の要因となっている次元が修正される。なお、斯かる探索には、例えば、最急降下法等、公知の方法を用いることができる。
　続いて、後処理部１７は、入力ベクトルと、探索された数値ベクトル（探索ベクトル）とについて、メトリックｉごとに差分γ３＿ｉを算出する。
　続いて、後処理部１７は、γ３＿ｉの絶対値が予め定められた閾値を超えたメトリックｉを抽出する（Ｓ５０３）。続いて、後処理部１７は、抽出されたメトリックｉを異常の要因候補として、当該メトリックｉのＩＤと、当該メトリックｉの差分γ３＿ｉとの一覧を、異常の要因を推定するための情報として出力する（Ｓ５０４）。なお、出力順は、差分γ３＿ｉの降順でもよい。
　上述したように、第３の実施の形態によれば、第１又は第２の実施の形態と同様に、異常の検知対象について異常が検知された場合の要因の推定を支援することができる。
　次に、第４の実施の形態について説明する。第４の実施の形態では第１の実施の形態と異なる点について説明する。第４の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。第４の実施の形態は、第１、第２、及び第３の実施の形態を組み合わせたものである。第４の実施の形態では、図７の処理手順が図１０の処理手順に置き換わる。
　ステップＳ６０１において、後処理部１７は、図７のステップＳ３０１及びＳ３０２を実行して、入力された数値ベクトルのメトリックごとに、外れ度合いγ１＿ｉを算出する。
　続いて、後処理部１７は、図８のステップＳ４０１を実行して、入力された数値ベクトルのメトリックごとに、外れ度合いγ２＿ｉを算出する（Ｓ６０２）。
　続いて、後処理部１７は、図９のステップＳ５０１及びＳ５０２を実行して、入力された数値ベクトルのメトリックごとに、差分γ３＿ｉを算出する（Ｓ６０３）。
　続いて、後処理部１７は、γ１＿ｉ、γ２＿ｉ及びγ３＿ｉを組み合わせて、メトリックｉの統合的な外れ度合いγ＿ｉを決定する（Ｓ６０４）。組み合せ方としては、単純な平均（γ＿ｉ＝（γ１＿ｉ＋γ２＿ｉ＋γ３＿ｉ）／３）でもよいし、重み付け平均でもよいし、最大値が選択されてもよいし、中央値が選択されてもよいし、他の方法が採用されてもよい。
　続いて、後処理部１７は、γ＿ｉの絶対値が予め定められた閾値を超えたメトリックｉを抽出する（Ｓ６０５）。続いて、後処理部１７は、抽出されたメトリックｉを異常の要因候補として、当該メトリックｉのＩＤ（識別子）と、当該メトリックｉの差分γ＿ｉとの一覧を、異常の要因を推定するための情報として出力する（Ｓ６０６）。なお、出力順は、差分γ＿ｉの降順でもよい。
　なお、ステップＳ６０１、Ｓ６０２及びＳ６０３のいずれか一つが省略されてもよい。
　上述したように、第４の実施の形態によれば、第１、第２又は第３の実施の形態と同様に、異常の検知対象について異常が検知された場合の要因の推定を支援することができる。
　なお、上記各実施の形態は、ネットワーク以外から収集されるデータに関して適用されてもよい。例えば、コンピュータシステムから収集されるデータに関して上記各実施の形態が適用されてもよい。
　なお、上記各実施の形態において、異常検知装置１０は、異常要因推定装置の一例である。後処理部１７は、第１の算出部、第２の算出部、第３の算出部及び第４の算出部の一例である。
　以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　本出願は、２０１７年２月２日に出願された日本国特許出願第２０１７－０１７９２２号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。
１０　　　　　異常検知装置
１１　　　　　受信部
１２　　　　　学習処理制御部
１３　　　　　前処理部
１４　　　　　学習部
１５　　　　　検知処理制御部
１６　　　　　検知部
１７　　　　　後処理部
２０　　　　　測定装置
１００　　　　ドライブ装置
１０１　　　　記録媒体
１０２　　　　補助記憶装置
１０３　　　　メモリ装置
１０４　　　　ＣＰＵ
１０５　　　　インタフェース装置
１２１　　　　教師データ記憶部
１２２　　　　パラメータ記憶部
１２３　　　　観測データ記憶部
１２４　　　　学習結果記憶部
１２５　　　　学習データ記憶部
Ｂ　　　　　　バス
Ｎ１　　　　　ネットワーク

Claims (8)

  1. 　異常の検知対象が正常である場合に前記検知対象から得られる第１の数値ベクトルを学習した学習器と、前記検知対象から複数のタイミングで得られる第２の数値ベクトルとに基づいて、前記検知対象の異常を検知する検知部と、
    　異常が検知された前記第２の数値ベクトルのメトリックごとに、当該メトリックの値から前記第１の数値ベクトルにおける当該メトリックの平均を差し引いた結果を、前記第１の数値ベクトルにおける当該メトリックの標準偏差で除することで得られる値を、当該異常の要因のメトリックを推定するための情報として算出する第１の算出部と、
    を有することを特徴とする異常要因推定装置。
  2. 　異常の検知対象が正常である場合に前記検知対象から得られる第１の数値ベクトルを学習した学習器と、前記検知対象について複数のタイミングで得られる第２の数値ベクトルとに基づいて、前記検知対象の異常を検知する検知部と、
    　異常が検知された前記第２の数値ベクトルのメトリックごとに、当該メトリックの値と、当該第２の数値ベクトルを前記学習器に入力して得られる数値ベクトルの当該メトリックの値との差分を、当該異常の要因のメトリックを推定するための情報として算出する第２の算出部と、
    を有することを特徴とする異常要因推定装置。
  3. 　異常の検知対象が正常である場合に前記検知対象から得られる第１の数値ベクトルを学習した学習器と、前記検知対象について複数のタイミングで得られる第２の数値ベクトルとに基づいて、前記検知対象の異常を検知する検知部と、
    　異常が検知された前記第２の数値ベクトルについて、前記検知部によって異常が検知されない第３の数値ベクトルを探索し、当該第２の数値ベクトルと前記第３の数値ベクトルとのメトリックごとの差分を、当該異常の要因のメトリックを推定するための情報として算出する第３の算出部と、
    を有することを特徴とする異常要因推定装置。
  4. 　異常の検知対象が正常である場合に前記検知対象から得られる第１の数値ベクトルを学習した学習器と、前記検知対象について複数のタイミングで得られる第２の数値ベクトルとに基づいて、前記検知対象の異常を検知する検知部と、
    　第１の算出部、第２の算出部及び第３の算出部のうちのいずれか２以上と、
    　第４の算出部とを有し、
    　前記第１の算出部は、異常が検知された前記第２の数値ベクトルのメトリックごとに、当該メトリックの値から前記第１の数値ベクトルにおける当該メトリックの平均を差し引いた結果を、前記第１の数値ベクトルにおける当該メトリックの標準偏差で除することで得られる値を算出し、
    　前記第２の算出部は、異常が検知された前記第２の数値ベクトルのメトリックごとに、当該メトリックの値と、当該第２の数値ベクトルを前記学習器に入力して得られる数値ベクトルの当該メトリックの値との差分を算出し、
    　前記第３の算出部は、異常が検知された前記第２の数値ベクトルについて、前記検知部によって異常が検知されない第３の数値ベクトルを探索し、当該第２の数値ベクトルと前記第３の数値ベクトルとのメトリックごとの差分を算出し、
    　前記第４の算出部は、前記第１の算出部によって算出される値と、前記第２の算出部によって算出される差分と、前記第３の算出部によって算出される差分とのいずれか２以上に基づいて、前記異常の要因のメトリックを推定するための情報を算出する、
    ことを特徴とする異常要因推定装置。
  5. 　異常の検知対象が正常である場合に前記検知対象から得られる第１の数値ベクトルを学習した学習器と、前記検知対象から複数のタイミングで得られる第２の数値ベクトルとに基づいて、前記検知対象の異常を検知する検知手順と、
    　異常が検知された前記第２の数値ベクトルのメトリックごとに、当該メトリックの値から前記第１の数値ベクトルにおける当該メトリックの平均を差し引いた結果を、前記第１の数値ベクトルにおける当該メトリックの標準偏差で除することで得られる値を、当該異常の要因のメトリックを推定するための情報として算出する第１の算出手順と、
    をコンピュータが実行することを特徴とする異常要因推定方法。
  6. 　異常の検知対象が正常である場合に前記検知対象から得られる第１の数値ベクトルを学習した学習器と、前記検知対象について複数のタイミングで得られる第２の数値ベクトルとに基づいて、前記検知対象の異常を検知する検知手順と、
    　異常が検知された前記第２の数値ベクトルのメトリックごとに、当該メトリックの値と、当該第２の数値ベクトルを前記学習器に入力して得られる数値ベクトルの当該メトリックの値との差分を、当該異常の要因のメトリックを推定するための情報として算出する第２の算出手順と、
    をコンピュータが実行することを特徴とする異常要因推定方法。
  7. 　異常の検知対象が正常である場合に前記検知対象から得られる第１の数値ベクトルを学習した学習器と、前記検知対象について複数のタイミングで得られる第２の数値ベクトルとに基づいて、前記検知対象の異常を検知する検知手順と、
    　異常が検知された前記第２の数値ベクトルについて、前記検知手順において異常が検知されない第３の数値ベクトルを探索し、当該第２の数値ベクトルと前記第３の数値ベクトルとのメトリックごとの差分を、当該異常の要因のメトリックを推定するための情報として算出する第３の算出手順と、
    をコンピュータが実行することを特徴とする異常要因推定方法。
  8. 　請求項１乃至４いずれか一項記載の各部としてコンピュータを機能させるためのプログラム。
PCT/JP2017/040090 2017-02-02 2017-11-07 異常要因推定装置、異常要因推定方法及びプログラム WO2018142703A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018565942A JP6751168B2 (ja) 2017-02-02 2017-11-07 異常要因推定装置、異常要因推定方法及びプログラム
US16/482,605 US11501106B2 (en) 2017-02-02 2017-11-07 Anomaly factor estimation device, anomaly factor estimation method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-017922 2017-02-02
JP2017017922 2017-02-02

Publications (1)

Publication Number Publication Date
WO2018142703A1 true WO2018142703A1 (ja) 2018-08-09

Family

ID=63040501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040090 WO2018142703A1 (ja) 2017-02-02 2017-11-07 異常要因推定装置、異常要因推定方法及びプログラム

Country Status (3)

Country Link
US (1) US11501106B2 (ja)
JP (1) JP6751168B2 (ja)
WO (1) WO2018142703A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021144054A (ja) * 2018-08-23 2021-09-24 株式会社明電舎 異常予兆検出方法
CN117951455A (zh) * 2024-03-22 2024-04-30 汶上义桥煤矿有限责任公司 一种刮板输送机运行故障在线监测方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019087987A1 (ja) * 2017-11-02 2020-11-12 日本電信電話株式会社 異常検知装置、異常検知方法、及びプログラム
KR20200036085A (ko) * 2018-09-19 2020-04-07 엘지전자 주식회사 인공지능 장치
JP2020201871A (ja) * 2019-06-13 2020-12-17 ファナック株式会社 診断装置
CN112241351B (zh) * 2020-09-30 2023-12-22 中国银联股份有限公司 数据处理方法、装置、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329329A (ja) * 2006-06-08 2007-12-20 Omron Corp 不良要因抽出装置、不良要因抽出方法、不良要因抽出用プログラム、および不良要因抽出用プログラムを格納した記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972332B2 (en) * 2015-08-31 2021-04-06 Adobe Inc. Identifying factors that contribute to a metric anomaly

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329329A (ja) * 2006-06-08 2007-12-20 Omron Corp 不良要因抽出装置、不良要因抽出方法、不良要因抽出用プログラム、および不良要因抽出用プログラムを格納した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAYU ET AL: "Dimensionality reduction with the autoencoder for anomaly detectionof spacecrafts", JSAI 2014 PROCEEDINGS, THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 12 May 2014 (2014-05-12), Retrieved from the Internet <URL:https://kaigi.org/jsai/webprogram/2014/pdf/94.pdf> *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021144054A (ja) * 2018-08-23 2021-09-24 株式会社明電舎 異常予兆検出方法
JP7196954B2 (ja) 2018-08-23 2022-12-27 株式会社明電舎 異常予兆検出方法
CN117951455A (zh) * 2024-03-22 2024-04-30 汶上义桥煤矿有限责任公司 一种刮板输送机运行故障在线监测方法
CN117951455B (zh) * 2024-03-22 2024-06-07 汶上义桥煤矿有限责任公司 一种刮板输送机运行故障在线监测方法

Also Published As

Publication number Publication date
JPWO2018142703A1 (ja) 2019-11-21
US20200250475A1 (en) 2020-08-06
JP6751168B2 (ja) 2020-09-02
US11501106B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
WO2018142703A1 (ja) 異常要因推定装置、異常要因推定方法及びプログラム
JP6564799B2 (ja) 閾値決定装置、閾値決定方法及びプログラム
JP6823501B2 (ja) 異常検知装置、異常検知方法及びプログラム
US10536343B2 (en) Traffic management apparatus and traffic management method
US10104124B2 (en) Analysis rule adjustment device, analysis rule adjustment system, analysis rule adjustment method, and analysis rule adjustment program
US9106548B2 (en) Network fault localization
KR101098744B1 (ko) 장애의 탐지 및 진단
GB2478066A (en) Identifying errors in a computer system using the relationships between the sources of log messages
JPWO2014132612A1 (ja) システム分析装置、及び、システム分析方法
US11088960B2 (en) Information processing apparatus and verification system
WO2015182629A1 (ja) 監視システム、監視装置及び監視プログラム
JP2007036839A (ja) パケット交換網における品質劣化切り分け装置および切り分けシステム、ならびに切り分け方法
CN111565124B (zh) 拓扑分析方法及装置
US20230106935A1 (en) Network probe placement optimization
JP6858798B2 (ja) 特徴量生成装置、特徴量生成方法及びプログラム
WO2018142704A1 (ja) 特徴量生成装置、特徴量生成方法及びプログラム
JP2015115672A (ja) 通信品質劣化要因分析装置
Kilinçer et al. Automatic fault detection with Bayes method in university campus network
JP2018207345A (ja) 計算装置及び計算方法
JP2006033715A (ja) ネットワークｅ２ｅ性能評価システムと方法およびプログラム
Kawahara et al. Mobile QoS tomography using compressed sensing
US20240235974A1 (en) Traffic monitoring device and traffic monitoring method
US11991063B2 (en) Anomaly detection device, anomaly detection method, and program
JP7272189B2 (ja) 情報処理装置、無線通信システム、情報処理方法及びプログラム
JP5443406B2 (ja) 推定装置、推定方法、ネットワークシステム及び推定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17894799

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018565942

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17894799

Country of ref document: EP

Kind code of ref document: A1