WO2007055222A1 - ネットワーク異常検知方法およびネットワーク異常検知システム - Google Patents

ネットワーク異常検知方法およびネットワーク異常検知システム Download PDF

Info

Publication number
WO2007055222A1
WO2007055222A1 PCT/JP2006/322236 JP2006322236W WO2007055222A1 WO 2007055222 A1 WO2007055222 A1 WO 2007055222A1 JP 2006322236 W JP2006322236 W JP 2006322236W WO 2007055222 A1 WO2007055222 A1 WO 2007055222A1
Authority
WO
WIPO (PCT)
Prior art keywords
correlation coefficient
histogram
network
probability
calculated
Prior art date
Application number
PCT/JP2006/322236
Other languages
English (en)
French (fr)
Inventor
Yuji Waizumi
Hiroshi Tsunoda
Yoshiaki Nemoto
Original Assignee
Tohoku University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University filed Critical Tohoku University
Priority to US12/092,997 priority Critical patent/US8001583B2/en
Priority to JP2007544150A priority patent/JP4677569B2/ja
Publication of WO2007055222A1 publication Critical patent/WO2007055222A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Definitions

  • the present invention relates to a technology for detecting unauthorized access that causes a security breach to a network.
  • anomaly detection type IDS Intrusion Section System
  • the normal state of the network is defined in advance, and the presence or absence of an abnormality in the network is judged by evaluating how much the current state of the network has lost its normal state power.
  • the anomaly detection type IDS is different from the fraud detection type IDS represented by Snort [Non-Patent Document 1], and does not require rules or signatures for attacks at the time of detection. It is excellent in that it has the ability to detect.
  • abnormal detection technology is an important technology for network management because it can detect abnormalities caused by failures such as malfunction of network devices and server down due to unauthorized access alone.
  • Non-Patent Document 2 which is an anomaly detection method specialized for DoS attacks
  • the normal state is defined by using the number of packets per unit time predicted based on the past state!
  • the state definition based on the absolute quantity of a single feature quantity such as the number of packets cannot cope with a sudden change in traffic flow during normal times.
  • Non-Patent Document 4 uses the number of packets observed for each type as a feature value, and defines the normal state by the ratio of multiple feature values.
  • the correlation of the number of packets for each type is similarly shown.
  • the normal state is defined by the principal component axis evaluated by principal component analysis. Since various types of traffic flowing through the network are restricted by various protocols, it is considered that there is some relationship between the flow rate and how it changes in the normal state, so the definition of the normal state considering the correlation is abnormal. It can be said that it is effective for detection.
  • Patent Document 1 provides a method for evaluating the network state based on a plurality of correlation coefficients calculated for each combination of feature amounts in order to define the normal state in consideration of the cause identification after abnormality detection.
  • this method in order to suppress the loss of information related to the normal state, modeling is not performed based on the average value or variance of the correlation coefficient, but the normal state is defined by a histogram showing the appearance probability of the correlation coefficient. The degree of abnormality is evaluated by comparing the correlation coefficient between them and the probability of appearance of the corresponding histogram class.
  • Patent Document 1 Japanese Patent Application No. 2005-323007 “Network Abnormality Detection Method and Network Abnormality Detection System”
  • Non-Patent Literature 1 M. Roesch, ⁇ 3 ⁇ 4nort- Lightweight Intrusion Detection for Networks, Proc.Usenix LISA '99Conf., Novemver 1999
  • Non-Patent Document 2 Yuichi Uchiyama, Yuji Waizumi, Nei Kato, Yoshiaki Nemoto, "Detecting and Tracing DDoS Attacks in the Traffic Analysis Using Auto Regressive Model", IEICE Transactions on Traffic Measurement and Analysis, Vol.E87— D No.12 p.2635, December 2004
  • Non-Patent Document 3 Tatsuya Oikawa, Yuji Izumi, Kohei Ota, Nei Kato, Yoshiaki Nemoto, "Detection of Network Abnormal State by Statistical Clustering Method", IEICE Technical Report NS2002-143 Oct 2002
  • Non-Patent Document 4 Nobuyuki Nakamura, Toshihisa Nakai, "Network anomaly detection using traffic internal state change", IEICE Technical Report NS2005-5 April 2005
  • Patent Document 1 the correlation coefficient between each feature amount and the histogram of the corresponding histogram are disclosed. Since we decided to evaluate the degree of anomalies by comparing the probability of the appearance of a lath, we could not grasp the overall traffic even if we could detect individual anomalies, and what happened to the entire network. There was a problem that it was difficult to make an instant determination.
  • the present invention represents the probability of occurrence of a correlation coefficient as a matrix based on any two observation quantities from which the correlation coefficient is calculated, and the occurrence probability value is expressed as a matrix. Perform image selection using the assigned color. This makes it possible to express the relationship between multiple observed amounts of network traffic with a single image, and intuitively understand the overall traffic.
  • an image corresponding to an abnormality or fraud that occurs in the network is generated, by creating a database of the images at the time of the abnormality occurrence, you can see what happens to the entire network just by looking at the image. Judgment can be made instantly and network management efficiency can be realized.
  • the network abnormality detection method includes a feature amount generation step of generating, as a feature amount, the number of packets for each traffic type in which the network traffic power is also counted for each time slot.
  • a correlation coefficient calculating step of calculating a correlation coefficient between each element having a traffic type as an element using the feature quantity generated in the feature quantity generating step; and a correlation calculated in the correlation coefficient calculating step A network abnormality detection method comprising: a histogram generation step for generating a histogram using a number; and an abnormality degree calculation step for calculating an abnormality degree using the histogram generated in the histogram generation step, wherein the histogram Calculated by the state similarity evaluation process that evaluates similarity using the probability of occurrence of the correlation coefficient calculated from the state similarity evaluation process. It represents the probability of occurrence of the correlation coefficients as Matrigel box, and having a visualization step of performing image I spoon using the color assigned to the value of the probability.
  • the feature value generation step according to claim 2 is a method of measuring the number of packets for each time slot for each of k classifications, with the traffic classification being a classification of packets classified according to protocol classifications and flags. Is generated as a feature quantity. Where k is a natural number of 2 or more.
  • the correlation coefficient calculation step includes the k types generated in the feature amount generation step.
  • the medium feature of the feature amount A procedure for calculating the number of correlations in the window of the width W time slot for any two elements, and calculating the number of correlations each time the window is slid for each S time slot, And the correlation coefficient of all the combinations is calculated from k kinds of feature values using the above procedure.
  • W is a natural number greater than 2
  • S is a natural number.
  • the correlation coefficient related to the combination is defined as an exceptional value.
  • the correlation coefficient in this case is defined as an exceptional value (a value outside the range of _1 to +1). This exceptional value is necessary to model a class whose correlation coefficient cannot be calculated as a histogram in the subsequent histogram generation process.
  • the histogram generation step uses the correlation coefficients calculated for all the combinations of the k types of feature values in the correlation coefficient calculation step. It is characterized in that a histogram representing the probability of class appearance is generated for each combination.
  • a class width for example, 0.1
  • a histogram representing the probability is generated for each of the combinations. If the correlation coefficient is the above-mentioned exceptional value, it falls outside the range of _1 to +1, but a class in which the correlation coefficient cannot be calculated is provided, and a histogram including its appearance probability is generated.
  • the histogram generated in the histogram generation step is defined in advance as a normal state model, and each feature calculated in the correlation coefficient calculation step is defined. It is characterized in that the degree of abnormality is evaluated by comparing the correlation coefficient between the quantities and the appearance probability of the corresponding class of the histogram.
  • the correlation coefficient between the respective feature amounts calculated in the correlation coefficient calculating step is represented by a correlation coefficient matrix, and is defined in advance as a model of the normal state.
  • the correlation coefficient matrix is generated using the probability of occurrence of the histogram class Conversion to a probability matrix and the total number of elements whose occurrence probability is less than or equal to the threshold in the correlation coefficient occurrence probability matrix, or elements whose occurrence probability in each row and each column of the correlation coefficient occurrence probability matrix is less than or equal to the threshold And a step of quantitatively calculating the degree of abnormality based on the total number.
  • the correlation coefficient between the feature amounts calculated in the correlation coefficient calculation step is represented by a correlation coefficient matrix, and is defined in advance as a model of the normal state.
  • the correlation coefficient matrix is converted into a probability distribution vector using the probability of occurrence of the class of histograms, and a plurality of probability distribution vectors in several similar abnormal states are calculated and clustered.
  • This method is characterized in that it is defined as a profile by a method such as the above, and the cause of the abnormality is estimated by a method of evaluating the similarity between the profile and an arbitrary probability distribution vector.
  • the Euclidean distance between the probability distribution vector defined as the profile and an arbitrary probability distribution vector is calculated, and the Euclidian distance is set as a state. It is characterized by being used as an evaluation index of similarity.
  • the correlation coefficient between each feature amount calculated in the correlation coefficient calculation step is represented by a correlation coefficient matrix, and is preliminarily stored as a model of the normal state.
  • the process of converting the correlation coefficient matrix into a correlation number occurrence probability matrix using the occurrence probability of the defined histogram class, and the elements having the occurrence probability of two correlation coefficient occurrence probability matrices A and B below the threshold And a step of quantitatively calculating the degree of similarity of the correlation coefficient occurrence probability matrices A and B based on the total number in the case where they match.
  • the visualization step according to claim 11 uses the probability distribution vector (n X n-dimensional vector) of the correlation coefficient calculated in the state similarity evaluation step, and the combination between the feature amounts is 1 pixel. Display color by assigning a color corresponding to the value of the occurrence probability that changes over time while performing n x n-dimensional imaging using the color assigned to the occurrence probability value for each pixel. It is characterized by visualizing changes in the network state due to changes in the network. Where n is a natural number of 2 or more.
  • the network anomaly detection system is characterized in that the network traffic power is also generated as a feature quantity by the number of packets for each traffic type counted for each time slot.
  • a quantity generation unit a correlation coefficient calculation unit that calculates a correlation coefficient between elements having a traffic type as an element using the feature quantity generated by the feature quantity generation unit, and a calculation performed by the correlation coefficient calculation unit.
  • a network anomaly detection system having a histogram generation unit that generates a histogram using a correlation coefficient that is output, and an abnormality degree calculation unit that calculates an abnormality degree using the histogram generated by the histogram generation unit.
  • the state similarity evaluation unit that evaluates similarity using the occurrence probability of the correlation number for which the histogram force is also calculated, and the occurrence probability of the correlation coefficient calculated by the state similarity evaluation unit are expressed as a matrix.
  • a visualizing unit that performs an image using a color assigned to the value of the occurrence probability.
  • the feature value generation unit is configured to measure the number of packets per time slot for each of k classifications by classifying the packets classified as Hi according to protocol type or flag. It has the means to produce
  • the correlation coefficient calculation unit wherein the medium force of the k types of feature amounts generated by the feature amount generation unit is also an arbitrary two elements! / And a means for calculating the correlation coefficient each time the window is slid for each S time slot, and using the means, the correlation coefficients of all combinations of k types of feature quantities It has the means to calculate.
  • W is a natural number greater than 2
  • S is a natural number.
  • the correlation coefficient calculation unit further comprising means for defining a correlation coefficient related to the combination as an exceptional value when the correlation coefficient cannot be calculated and there is a combination.
  • a correlation coefficient related to the combination is defined as an exceptional value (a value outside the range of -1 to +1). This exceptional value is necessary in order to model the class that the correlation coefficient cannot be calculated as a histogram in a later histogram generation unit.
  • the histogram generation unit uses the correlation coefficients calculated for all combinations of k types of feature amount forces. And a means for generating a histogram representing the probability of appearance of each class.
  • a class width for example, 0.1
  • a histogram representing the current probability is generated for every combination. If the correlation coefficient is the exceptional value, it falls outside the range of _1 to +1, but a class that the correlation coefficient cannot be calculated is provided, and a histogram including its appearance probability is generated.
  • the degree-of-abnormality calculation unit predefines the histogram generated by the histogram generation unit as a normal state model, and calculates each of the correlation coefficient calculation units calculated by the correlation coefficient calculation unit. Means for evaluating the degree of abnormality by comparing the correlation coefficient between feature quantities and the appearance probability of the corresponding class of the histogram is provided.
  • the degree-of-abnormality calculation unit represents a correlation coefficient between the feature amounts calculated by the correlation coefficient calculation unit by a correlation coefficient matrix, and is defined in advance as a model of the normal state.
  • the state similarity evaluation unit represents a correlation coefficient between the feature amounts calculated by the correlation coefficient calculation unit as a correlation coefficient matrix, and is predetermined as a model of the normal state. Using the defined histogram class appearance probability, the correlation coefficient matrix is converted into a probability distribution vector, and a plurality of probability distribution vectors in several similar abnormal states are calculated and clustered.
  • the profile is defined as a single profile by the above method, and the cause of the abnormality is estimated by means of evaluating the similarity between the profile and an arbitrary probability distribution vector.
  • the means for evaluating similarity calculates a Euclidean distance between a probability distribution vector defined as the profile and an arbitrary probability distribution vector, and uses the Euclidean distance as a state similarity. It is characterized by using as an evaluation index.
  • the state similarity evaluation unit includes each of the correlation coefficient calculation units calculated by the correlation coefficient calculation unit.
  • the correlation coefficient between the feature quantities is represented by a correlation coefficient matrix, and the correlation coefficient matrix is converted into a correlation coefficient generation probability matrix by using the appearance probability of a histogram class defined in advance as the normal state model.
  • the visualization unit according to claim 22 uses a probability distribution vector (n x n-dimensional vector) of the correlation coefficient calculated by the state similarity evaluation unit as a combination of feature amounts as 1 pixel.
  • a probability distribution vector (n x n-dimensional vector) of the correlation coefficient calculated by the state similarity evaluation unit as a combination of feature amounts as 1 pixel.
  • the appearance probability of the correlation coefficient is represented by a histogram using a plurality of correlation coefficients calculated for each combination of feature amounts, and the cause is identified after the abnormality is detected. Therefore, it is possible to quantitatively evaluate the network status and identify the cause of the abnormality.
  • by visualizing changes in the network status by changing the display color it becomes possible to easily grasp the change in the status of the network at a glance and to take immediate action when an abnormality occurs.
  • the image at the time of the abnormality can be created in a database, so you can instantly see what is happening in the entire network just by looking at the image. Therefore, it is possible to realize the efficiency of network management.
  • the network traffic force is also characterized by using the number of packets for each traffic type counted for each time slot as the feature quantity. Therefore, the correlation coefficient between each element with the traffic type as an element is calculated, so the network state can be defined quantitatively using the correlation coefficient. Since various traffic flowing through the network is subject to various protocol restrictions, there is some relationship between the flow rate and how it changes under normal conditions. The definition of the normal state using the relationship is effective for detecting an abnormality.
  • the correlation coefficient related to the combination is defined as an exceptional value. Even if the correlation coefficient cannot be calculated, such as when no packet of a certain type is observed or when the number of packets remains unchanged, the network state is modeled by a histogram including the class that the correlation coefficient cannot be calculated. It is possible to hesitate and is effective in evaluating the network status.
  • each histogram representing probability is generated, when defining the normal state, it is compared with other methods (e.g., evaluation method using principal component axis, model value method using mean value or variance of correlation coefficient). Thus, loss of information can be suppressed.
  • the total number of elements whose occurrence probability is equal to or less than a threshold, or the occurrence of each row and each column of the correlation coefficient occurrence probability matrix is calculated.
  • a calculation method that emphasizes the degree of abnormality in each row and each column can be used. Identification becomes easy.
  • a plurality of probability distribution vectors in several similar abnormal states are defined as profiles, and the profile Evaluating the similarity between an arbitrary probability distribution vector and the probability distribution vector makes it possible to easily estimate the cause of the abnormality and reduce the time required to investigate the cause of the abnormality.
  • the correlation coefficient is based on the total number in the case where two correlation coefficient occurrence probability matrices A and B have the occurrence probability equal to or less than a threshold value. Departure By quantitatively calculating the similarity between raw probability matrices A and B, it is possible to easily estimate the cause of the abnormality and to reduce the time spent investigating the cause of the abnormality. .
  • FIG. 1 is a block diagram showing a configuration of a network abnormality detection system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a flow of generating a correlation coefficient histogram between each feature quantity.
  • FIG. 3 is a diagram showing an example of a correlation coefficient value corresponding to a change in traffic flow rate.
  • FIG. 4 is a diagram showing a method of generating a histogram by calculating a correlation coefficient using a sliding window.
  • FIG. 5 is a diagram showing a method of calculating a correlation coefficient occurrence probability using a correlation coefficient histogram.
  • FIG. 6 is a diagram showing a method for calculating an abnormality score based on a correlation coefficient occurrence probability and a method for identifying the cause of the abnormality.
  • FIG. 7 is a diagram showing a probability distribution vector.
  • FIG. 8 A diagram showing the configuration of an experimental network.
  • FIG. 9 A diagram showing a correlation coefficient histogram obtained by experiments, showing a probability distribution by a combination of each feature quantity.
  • FIG. 10 is a diagram showing an example of abnormal scores during the experiment.
  • FIG. 10 A correlation coefficient histogram between TCP and TCP obtained by experiment is shown.
  • FIG. 1 A first figure.
  • FIG. 1 A first figure.
  • FIG. 14 An image (probability distribution vector visualized) in which Euclidean distances of probability distribution vectors are calculated and arranged in order from the closest Euclidean distance.
  • FIG. 15 is a diagram showing an example of creating a new profile from a plurality of SSH login try profiles.
  • FIG. 16 is a diagram showing a display example of a network state change.
  • FIG. 17 is a diagram showing a display example of a correlation coefficient occurrence probability matrix when an abnormality occurs.
  • FIG. 18 is a diagram showing a display example of a correlation coefficient occurrence probability matrix when an abnormality occurs.
  • FIG. 19 is a diagram showing an example of anomaly detection caused by one observation type.
  • FIG. 22 is a diagram showing a similar event occurrence date and correlation coefficient occurrence probability matrix.
  • FIG. 23 shows traffic dump data of similar events.
  • FIG. 1 is a block diagram showing a configuration of a network abnormality detection system according to an embodiment of the present invention.
  • FIG. As shown in Fig. 1, at the observation point, a traffic measurement unit (feature generation unit) 101 that measures the number of packets for each traffic type, which is also counted for each time slot, and generates it as a feature amount, And a storage unit 102 for storing feature amount information.
  • feature generation unit feature generation unit
  • the correlation coefficient calculation unit 103 that calculates the correlation coefficient between each element having the traffic type as an element by using the feature amount information stored in the storage unit 102 and the correlation coefficient calculation unit 103 Calculated by the histogram generation unit 104 that generates a histogram using the correlation coefficient, the abnormality degree calculation unit 105 that calculates the degree of abnormality using the histogram generated by the histogram generation unit 104, and the correlation number calculation unit 103.
  • the correlation coefficient between each feature quantity is represented by a correlation coefficient matrix (probability distribution vector), and a state similarity evaluation unit 106 that evaluates similarity to the probability distribution vector in an abnormal state, and a state similarity evaluation unit 106
  • a visualization unit that performs an n X n-dimensional image using the color assigned to the occurrence probability value for each pixel 107 And have.
  • the traffic measurement unit (feature amount generation unit) 101 observes network traffic and generates the number of packets for each traffic type counted for each time slot as a feature amount. That is, packets classified into k types according to protocol types and flags are used as traffic types, and the number of packets measured per time slot is generated as feature values for each k types of classifications. Where k is a natural number of 2 or more.
  • Correlation coefficient calculation section 103 receives the feature quantity information stored in storage section 102, sets a window for the generated feature quantity column, and correlates between various feature quantities in the window. Calculate the coefficient.
  • the number of correlations in the window of the width W time slot is calculated for two arbitrary elements of the k types of feature quantities generated by the traffic measurement unit (feature quantity generation unit) 101, and the window is converted to the S time slot. It has a means to calculate the number of correlations by sliding each time. Using the above means, the correlation coefficient of all the combinations of k types of feature values is calculated. Where W is a natural number greater than 2, and S is a natural number.
  • the correlation coefficient r is the two elements X and y
  • the value of the correlation coefficient r is in the range of -l ⁇ r ⁇ l. The closer to 1, the stronger the correlation between the two elements.
  • the correlation coefficient related to the combination is defined as an exceptional value.
  • the correlation coefficient in this case is defined as an exceptional value (a value outside the range of -1 to +1). This exceptional value is necessary for modeling the class as a histogram when the correlation coefficient cannot be calculated by the histogram generation unit 104.
  • the histogram generation unit 104 uses the correlation coefficients calculated for all the combinations of the k types of feature amounts by the correlation coefficient calculation unit 103, and uses the correlation coefficients calculated for all the combinations.
  • a histogram representing the appearance probability is generated.
  • the correlation coefficient values are distributed in the range of _1 to +1, and the class width (for example, 0.1) is set in the above range using the characteristic, and the appearance of the class to which a series of correlation coefficients belong A histogram representing the probability is generated for each of the combinations. If the correlation coefficient is the above-mentioned exceptional value, it falls outside the range of _1 to +1, but a class that the correlation coefficient cannot be calculated is provided, and a histogram including the appearance probability is generated. These histograms are called correlation coefficient histograms, and this correlation coefficient histogram is used to define the normal state.
  • the degree-of-abnormality calculation unit 105 predefines the correlation coefficient histogram generated by the histogram generation unit 104 as a normal state model and calculates the correlation coefficient calculation unit 103. The degree of abnormality is evaluated by comparing the correlation coefficient between each feature amount and the appearance probability of the corresponding class of the histogram.
  • the degree-of-abnormality calculation unit 105 represents a correlation coefficient between the feature amounts calculated by the correlation coefficient calculation unit 103 as a correlation coefficient matrix, and serves as the normal state model.
  • a means for quantitatively calculating the degree of abnormality will be described later.
  • the state similarity evaluation unit 106 represents a correlation coefficient between each feature amount calculated by the correlation coefficient calculation unit 103 as a correlation coefficient matrix, and is defined in advance as a normal state model.
  • the correlation coefficient matrix is converted into a probability distribution vector using the appearance probability of the histogram class, and a plurality of probability distribution vectors in several similar abnormal states are calculated as an average value.
  • the profile is defined as a single profile by a method such as clustering, and the cause of the abnormality is estimated by means of evaluating the similarity between the profile and an arbitrary probability distribution vector.
  • the Euclidean distance between the probability distribution vector defined as the profile and an arbitrary probability distribution vector is calculated, and the Euclidean distance is used as an evaluation index of state similarity. At the same time, it is determined that the Euclidean distance is small!
  • the state similarity evaluation unit 106 represents a correlation coefficient between the feature amounts calculated by the correlation coefficient calculation unit 103 as a correlation coefficient matrix, and the normal state model Means for converting the correlation coefficient matrix into a correlation coefficient generation probability matrix using the occurrence probability of the histogram class defined in advance, and the occurrence probability is a threshold value between the two correlation coefficient generation probability matrices A and B. Means for quantitatively calculating the similarity between the correlation coefficient occurrence probability matrices A and B based on the total number when the following elements match.
  • the visualization unit 107 uses the probability distribution vector (n X n-dimensional vector) of the correlation coefficient calculated by the state similarity evaluation unit 106 to represent a combination between feature quantities as one pixel.
  • N x n-dimensional imaging is performed using the color assigned to the occurrence probability value for each pixel, and the color corresponding to the occurrence probability value that changes over time is assigned to change the display color.
  • Fig. 2 shows the flow of generating a correlation coefficient histogram between each feature quantity using the total packet count (ALL), IP packet count (IP), and TCP packet count (TCP) as the feature quantities. Yes.
  • the feature amount generation unit observes network traffic, counts the number of packets in the time slot for each traffic type that has been determined, and generates it as a feature amount. Each obtained feature value is passed to the correlation coefficient calculation unit as time-series data.
  • the correlation coefficient calculation unit receives the time-series data of the feature values passed from the feature value generation unit, calculates the correlation coefficient value for each time using the sliding window method V, and calculates the correlation number Generate time series data. The correlation coefficient is calculated for every combination of the feature values generated by the feature value generation unit, and passed to the histogram generation unit.
  • the histogram generator generates a histogram of the correlation coefficient time series data calculated for all combinations according to the determined class width.
  • the obtained histogram is converted to a probability distribution by dividing by the total frequency.
  • the obtained probability distribution is histogrammed.
  • the correlation coefficient is defined by Eq. (1) when the bivariate is X and y, and takes a value between -1 and 1. Since the correlation coefficient is also calculated for various traffic flow forces flowing through the network, it varies depending on the usage and combination of the target network.
  • Figure 3 shows an example of correlation coefficient values corresponding to changes in traffic flow. As shown in Fig. 3 (a), a positive correlation is such that when one increases, the other increases in force [1, and when one decreases, the other decreases.
  • the number of SYN packets and the number of FIN packets used for the start and end of a TCP connection correspond to each other one-to-one, indicating a strong positive correlation.
  • uncorrelation is shown in Fig.
  • Fig. 3 (c) An example of a negative correlation is shown in Fig. 3 (c). Negative correlation is the opposite of positive correlation, when one increases, the other decreases and one decreases. The relationship is such that the other increases.
  • the left figure in Fig. 3 (c) shows the increase / decrease in the number of packets with the SYN flag and the number of packets with the PSH flag, indicating a negative correlation. Although each vertical axis is significantly different, a decrease in SYN packets and an increase in PSH packets occur at the same time, and thus there is a negative correlation.
  • the correlation coefficient cannot be calculated, but the probability of occurrence of such a state is also important information in anomaly detection that represents individual network characteristics and user behavior. Therefore, in order to evaluate such a network state, this network state is reflected in the correlation coefficient histogram as a class of 1.1 or higher.
  • the correlation coefficient calculation unit 103 calculates the correlation coefficient using a sliding window method taking into consideration that the network state changes with time (FIG. 4).
  • a window of width W time slot is set for the generated feature column, and correlation coefficients between various feature values in the window are calculated.
  • This window is slid by S time slots to calculate the correlation coefficient each time, and the calculated series of correlation coefficients is input to the histogram generator, and the correlation coefficient for each combination according to the specified class width. Create a histogram for.
  • the histogram of the probability of occurrence of this correlation coefficient that is finally output is called the correlation coefficient histogram.
  • the normal state is defined using this correlation coefficient histogram, and the correlation coefficient histogram is calculated.
  • the state is evaluated by correlating the correlation coefficient. Since the correlation coefficient is generated for all combinations of feature quantities, ⁇ * ( ⁇ -1) ⁇ / 2 histograms are generated in total for N feature quantities.
  • the normal state of the network is defined using all these correlation coefficient histograms.
  • the correlation between all the features is calculated using one principal component axis. Unlike the principal component analysis described above, the degree of abnormality in each combination is evaluated individually, so the individual evaluation results will be useful information for identifying the cause of the abnormality.
  • Network anomaly detection and state similarity evaluation! / Effects are first evaluated, and correlation coefficients for various combinations over time are calculated.
  • the calculated correlation coefficient value is not used for evaluation as it is.As shown in Fig. 5, the probability of occurrence of the correlation coefficient calculated using the correlation coefficient histogram generated in advance is obtained.
  • the probability of occurrence is used as an evaluation index. This is because the probability of occurrence of an event as indicated by the number of correlations in the target network does not evaluate the correlation itself indicated by the calculated number of correlations, but as an evaluation index.
  • the calculated occurrence probability indicates the degree of abnormality of the combination. If the occurrence probability of the correlation coefficient is high, it can be said that the combination is a frequently occurring event and has a normal correlation. If the probability of occurrence is low, it can be said that the combination has an abnormal correlation.
  • the state of the network is evaluated using the occurrence probability obtained here as an index of the degree of abnormality.
  • the abnormality degree calculation unit 105 in FIG. 1 There are two methods for quantitatively calculating the degree of abnormality described above.
  • the first method in order to evaluate the state in abnormality detection, it is performed by comparing the occurrence probability of the correlation coefficient of each combination with a reference value, and determining that the combination less than that value is abnormal.
  • the total number of combinations determined to be abnormal for a window is used as an abnormality score that serves as an index for the degree of abnormality in that window.
  • many correlation coefficient combinations are usually too small, and correlation coefficients are calculated. An abnormal event is considered to have occurred.
  • the probability of occurrence of correlation coefficient values for all combinations of observed quantities in the window to be evaluated is calculated based on a histogram defined in advance as a normal state model.
  • h is a correlation coefficient histogram of observation types i and j.
  • the degree of abnormality (AS), which represents the degree of abnormality, is calculated from the correlation coefficient occurrence probability matrix defined above.
  • the degree of anomaly is calculated as shown in Equation (3) based on the total number of cases where the probability of occurrence of the correlation coefficient for any observation type i is below the threshold.
  • ⁇ is a threshold for p to indicate anomalies
  • Equation (3) expresses the sum of the number of s powers of the number of occurrences of the abnormally low correlation coefficient for a certain observation type i.
  • s represents sensitivity, and can be interpreted as a function that emphasizes the number of abnormal correlation coefficient values for observation type i.
  • the degree of abnormality (AS) is The higher the anomalous correlation coefficient between one observation and the other, the higher the value. It is possible to determine that the observed quantity that caused the high degree of abnormality is the cause of the abnormality.
  • the first method uses a probability distribution with the probability of occurrence of the number of correlations in each combination as an independent component to evaluate the state similarity of the network. This is defined as a probability distribution vector, and the window state is evaluated using the probability distribution vector. If the network is in a similar state, the probability distribution of the correlation coefficient at the corresponding time is considered to be similar.Therefore, similar events are considered to be distributed in the vector space. It is done.
  • the similarity of the state can be evaluated by calculating the Euclidean distance between the correlation coefficient probability distribution vectors of the time to compare the network states.
  • the Euclidean distance is short, the network is considered to be in a similar state, and when the Euclidean distance is long, the network is considered to be in a different state (Fig. 7).
  • a profile can be created using probability distribution vectors by combining multiple probability distribution vectors under several similar abnormal states into one by means such as calculating the average value or clustering.
  • the Euclidean distance of the time probability distribution vector to be compared with the created probability distribution vector profile is close, it can be said that the states are similar, and it is possible to detect anomalies using the Euclidean distance between the probability vectors as an index.
  • creating a profile for multiple probability distribution vectors in the time when there is no abnormality is considered to be equivalent to creating a normal state profile of the network and defining the normal state.
  • the power using a method in which the Euclidean distance between vectors is used as an evaluation index of state similarity weighted Euclidean distance, city block distance, Mahalanobis distance, inner product, etc. are used as evaluation indexes. There is a method to use.
  • Equation (5) shows a high degree of similarity when the elements with abnormal probability of occurrence of the matrices ⁇ and ⁇ match, that is, when the same observed quantity is the cause of the abnormality between the matrices ⁇ ⁇ ⁇ ⁇ and ⁇ . Will show.
  • the network that was evaluated was a LAN with about 50 hosts configured as shown in Figure 8.
  • the time slot for obtaining the correlation coefficient is 10 seconds, the window width of the sliding window is 30 slots, and the slide width is 5 slots.
  • the observation period is May 2005, and the correlation histogram is generated on a daily basis.
  • the class width of the correlation coefficient histogram is 0.1.
  • the feature quantity classifies traffic into the following types, and handles the number of packets for each type in each time slot. In abnormal condition detection experiments, the probability of correlation coefficient generation is low. Therefore, the abnormality determination threshold for determining that the state is abnormal is set to 1%.
  • IP IP, ARP, other Ether frame
  • TCP Transmission Control Protocol
  • UDP User Datagram Protocol
  • ICMP other IP packet
  • FIG. 9 shows an example of a correlation coefficient histogram in which the traffic data power for one month is also created.
  • Each graph in Fig. 9 shows a correlation coefficient histogram for a combination of TCP SYN, FIN, PSH, UDP, and TCP packet with destination port number 22 in the traffic flowing into the network. From now on, these features will be
  • the direction part indicates whether it is an incoming packet (IN) or an outgoing packet (OUT), and the type part indicates the type or port number of the TCP flag.
  • the port number is described as either the source (src) or the destination (dst), and if there is a corresponding application or protocol such as SSH or HTTP, it is represented by the character string instead of the port number. If the type is ALL, it means the total number of packets for that protocol.
  • the correlation coefficient histogram between the feature quantities can be obtained by taking a shape reflecting the network usage state at the normal time! /. If the correlation coefficients of many combinations are judged to have a low probability of appearance based on the correlation coefficient histogram, it is considered that the network may have taken a different abnormal state.
  • the abnormality judgment threshold for evaluating that the probability of occurrence of the correlation coefficient is low is set to 1%, and if the probability of occurrence of the correlation coefficient falls below this value, the combination is abnormal. It is judged that.
  • the total number of abnormal combinations in the window is used as the abnormal score for the window.
  • Fig. 10 shows an example of changes in abnormal scores for one day. It can be seen that the abnormal scores are constantly changing throughout the day, and the network status is constantly changing. It can also be seen that high abnormal scores were obtained at several times. In this analysis, we examined the traffic data in the window in detail, assuming that the window that showed such a high!
  • the correlation coefficient in this window is about 0.98. Therefore, when traffic was investigated focusing on these two features, a large-scale scan using SYN packets as described above was detected.
  • the feature quantity for which the correlation coefficient is indicated to be abnormal corresponds to the port number where the scan was performed, and the cause of the abnormality can be identified by focusing on the combination of correlation coefficients. It can be a problem.
  • the correlation coefficient is calculated, showing a strong positive correlation, and the probability of occurrence is very small. (Fig. 12).
  • the correlation coefficient of was an abnormal value (Fig. 13). This combination is normally uncorrelated, but in this window, the correlation coefficient was about 0.8, indicating a strong correlation that could not occur in normal times.
  • the correspondence table (Table 2) shows the relationship between the events found when the abnormality score is high and the characteristics of the occurrence probability of the correlation number related to the abnormality.
  • the network traffic data used in the experiment targets about 50 client PCs and a network that is open to the public and one SMTP server, and the access to and from the target network and the Internet. Independent traffic is observed as inflow and outflow.
  • the correlation coefficient histogram is created and the correlation coefficient occurrence probability matrix and the degree of abnormality are calculated on a daily basis.
  • the correlation coefficient histogram is created using the correlation coefficient occurrence probability matrix and the data from the previous day of the calculation of the degree of abnormality. In other words, when calculating the degree of anomaly on January 2, the correlation coefficient histogram created on January 1 is used. [0079] Figs.
  • FIG. 17 and 18 show the correlation coefficient generation probability matrix of the Window showing the highest degree of abnormality and the second highest degree of abnormality in the experimental period.
  • Figures 17 and 18 show the highest degree of abnormality and the second highest degree of abnormality in either case. Is.
  • the image in the figure is an image of the correlation coefficient generation probability matrix that is assigned a white image to elements whose occurrence probability is less than or equal to the threshold ⁇ and a black image to elements that are greater than the threshold ⁇ .
  • a scan of a plurality of ports was performed as a force network abnormality with different dates and times.
  • the straight line in the image corresponds to the observation type including the port number used for the scan, and an increase that cannot occur in the normal number of packets using that port is normal correlation with other observations. This is because the relationship was broken and an abnormal correlation coefficient was calculated. In other words, if a correlation coefficient with a low probability of occurrence in a correlation coefficient occurrence probability matrix can be detected efficiently, it is possible to detect an abnormal condition including the cause of the abnormality. .
  • the detection criterion for the degree of abnormality AS was set to about the size when one straight line exists in each of the vertical and horizontal directions in the image, and the corresponding abnormal state was detected.
  • FIG. 19 shows an example of the detection result. From the figure, it can be seen that the anomaly caused by a certain observation amount can be detected by appropriately setting the detection range of the degree of abnormality.
  • Table 4 shows examples of detected abnormal events.
  • the underlined packet in the figure is a packet detected as the cause of the abnormality. Analyzing the host communications regarding the detected packets in this way also shows that a series of abnormal communications can be extracted.
  • sensitivity s is set to be greater than 1
  • the overall abnormality level is calculated by emphasizing the probability of abnormality arranged on a straight line.
  • the degree of anomaly in that line is greater than the total number of elements in the occurrence probability matrix, which is greater than the case where anomalies are established by dispersion within the matrix.
  • the state similarity evaluation unit 106 in FIG. 1 will be described based on the results of verification through experiments using traffic in the actual operation network.
  • the results of verification using the first method for evaluating the state similarity of the network described above will be described.
  • the traffic of the actual operation network (Verification Experiment 1) used in the first method for state evaluation in the above-described abnormality detection is used.
  • the state similarity is evaluated by calculating the Euclidean distance between the probability distribution vector of the time when the abnormality is observed and the probability distribution vector of the other time.
  • Figure 14 shows the Euclidean distances of probability distribution vectors calculated during similar scan times, normal times, and FTP communications, and arranged in the order of Euclidean distance.
  • the black and white grayscale image is an image that visualizes a probability distribution vector of 132 X 132 dimensions, and is called a probability distribution vector image in the following.
  • the correlation coefficient between each feature value is lower than the abnormality determination threshold, it is white as an abnormality, above the abnormality determination threshold If present, it is usually black.
  • an event profile is created by averaging the probability distribution images of a series of events.
  • Figure 15 shows an example of creating a more accurate profile by taking a combination of correlation coefficients that are common abnormalities of SSH login try force that occurred at different times.
  • ProfileA force profileC that is the profile of each event is SSH login t
  • Features other than ry are also included.
  • a new profile in which only the SSH login try itself is emphasized is created by calculating the average of each profile for the part common to multiple profiles.
  • the forces indicating the Euclidean distance between the profileA and profileC, which are the original profiles are all new, and are larger than the Euclidean distance with the profile.
  • the Euclidean distance from the profile has become smaller because the combination of the new profile where the original profile force is also abnormal due to other events has been removed, and represents the SSH login try event itself. It is conceivable that. By averaging the profiles of the same event that occurred at different times in this way, it can be said that it is possible to create a highly accurate profile file that represents the event itself.
  • SSH login try is taken as an example, but it has been confirmed by experiments that it is possible to create a profile for each event even in the case of various scans.
  • FIG. 16 shows an image of a state change vector obtained by vectorizing the state change of each correlation coefficient as an independent component.
  • the lpixel force corresponds to the state change of two correlation coefficients, and the color represents the contents of each state change.
  • Table 5 shows the correspondence between the state change and color.
  • Fig. 16 shows a series of flows from normal state to occurrence of scan, continuation of scan, and end of scan, and the state of the network in each phase is represented directly by the state distribution vector image.
  • a scan occurs, many green elements are observed that change to a normal state force abnormal state.
  • the corresponding correlation coefficient also continues to be in an abnormal state, so that many red elements are generally seen in the image.
  • the change shown in red is the continuation of the abnormal condition, It should be noted in doing.
  • Abnormal force at the end of the scan with many combinations of correlation coefficients The state changes to the normal state, so a lot of blue is seen.
  • the experimental environment used is the traffic of the actual operation network (Verification Experiment 2) used in the second method for state evaluation in the above-mentioned abnormality detection.
  • the number of packets observed for each type is used as a feature amount, and a plurality of correlation coefficients calculated for each combination of feature amounts are used to represent the appearance probability of the correlation coefficient as a histogram.
  • a technology that quantitatively evaluates the network status and identifies the cause of anomaly by defining the state taking into account the cause identification.
  • the probability of occurrence of the correlation coefficient is an arbitrary source of the correlation coefficient calculation source.

Abstract

　異常検出後の原因特定を考慮した状態定義を行い直感的にネットワークトラヒック全体の様子を把握できるシステムを提供することを目的とする。 　ネットワークトラヒックからタイムスロット毎にカウントしたトラヒック種別毎のパケット数を測定して特徴量として生成するトラヒック測定部（特徴量生成部）101と、特徴量の情報を格納する記憶部102と、トラヒック種別を要素とする各要素間の相関係数を算出する相関係数算出部103と、相関係数を用いてヒストグラムを生成するヒストグラム生成部104と、ヒストグラムを用いて異常度を算出する異常度算出部105と、相関係数の発生確率を用いて類似性を評価する状態類似性評価部106と、相関係数の確率分布ベクトルを用いて、１ピクセル毎に発生確率の値に割り当てた色を用いてn×n次元の画像化を行う可視化部107とを有することを特徴とし、特徴量の組合せ毎に算出した複数の相関係数から生成した確率分布ベクトルを用いてネットワーク状態を可視化する。

Description

明 細 書
ネットワーク異常検知方法およびネットワーク異常検知システム
技術分野
[0001] 本発明は、ネットワークに対するセキュリティ侵害を行う不正アクセスを検知する技 術に関するものである。
背景技術
[0002] 現在のインターネットにお!/、ては、攻撃者による侵入や Denial of Service(DoS)攻撃 の手口が巧妙化するとともに、新種のワーム、ウィルスが次々と出現して、 帯域の浪 費によるネットワーク通信障害、情報漏洩などのセキュリティ面で大きな問題となって いる。
そのため近年、このような新たな攻撃を検知するために異常検知型の Intrusion Det ection System(IDS)が注目されている。異常検知型 IDSでは、あらかじめネットワーク の通常状態を定義しておき、現在のネットワークの状態が通常状態力もどの程度逸 脱しているかを評価することにより、ネットワーク内の異常の有無を判断する。つまり、 異常検知型 IDSは、 Snort [非特許文献 1]に代表されるような不正検知型 IDSとは異 なり、検知の際に攻撃に関するルール、シグネチヤなどを必要としないため、新種の 攻撃を検知する能力を有している点で優れている。また、 不正アクセスだけでなぐ ネットワーク機器の不調やサーバ自体のダウンなどの障害による異常も検出できるた めに、異常検知技術はネットワーク管理にぉ 、て重要な技術となって 、る。
[0003] 異常検知を行うためには適切にネットワークの通常状態を定義することが必要であ り、そのために定量的な状態評価方式が必要となる。 DoS攻撃に特化した異常検知 手法である非特許文献 2では、過去の状態に基づ!/、て予測した単位時間あたりのパ ケット数を特徴量とし、通常状態を定義している。しかし、このようにパケット数という単 一の特徴量の絶対的な量に基づ 、た状態定義では、通常時のトラヒック流量の急変 に対応できないという問題がある。この問題に対処するために、非特許文献 4では、 種別毎に観測したパケット数を特徴量とし、複数の特徴量の比率によって通常状態 を定義している。また、非特許文献 3では、同様に種別毎のパケット数の相関関係を 主成分分析により評価し、得られた主成分軸によって通常状態を定義している。ネッ トワークを流れる各種トラヒックは各種プロトコルの制約を受けるため、通常状態では その流量と変化の仕方に何らかの関係性が保たれていると考えられることから、相関 関係を考慮した通常状態の定義は異常検知に有効であるといえる。
[0004] しかし非特許文献 3では、複数の特徴量間の相関関係を単一の主成分軸で評価し てしまうため、検出した異常の原因の特定が困難であるという問題があった。そこで特 許文献 1では、異常検出後の原因特定を考慮した通常状態の定義のために、特徴 量の組合せ毎に算出した複数の相関係数によってネットワーク状態を評価する方法 を提供している。この方法では、通常状態に関する情報の損失を抑えるために、相関 係数の平均値や分散などによるモデル化は行わず、相関係数の出現確率を表すヒ ストグラムによって通常状態を定義し、各特徴量間の相関係数と、対応する前記ヒスト グラムのクラスの出現確率とを比較して異常の程度を評価する。
[0005] 特許文献 1：特願 2005-323007『ネットワーク異常検知方法およびネットワーク異常検 知システム』
非特干文献 1 : M. Roesch,〃¾nort- Lightweight Intrusion Detection for Networks , Pr oc.Usenix LISA '99Conf., Novemver 1999
非特許文献 2 : Yuichi Uchiyama, Yuji Waizumi, Nei Kato, Yoshiaki Nemoto, "Detecti ng and Tracing DDoS Attacks in the Traffic Analysis Using Auto Regressive Model", IEICE Transactions on Traffic Measurement and Analysis, Vol.E87— D No.12 p.2635, December 2004
非特許文献 3 :及川達也、和泉勇治、太田耕平、加藤寧、根元義章、 "統計的クラスタ リング手法によるネットワーク異常状態の検出"、電子情報技術学会技術研究報告書 NS2002-143 2002年 10月
非特許文献 4 :中村信之、中井敏久、 "トラフィック内部状態変化を利用したネットヮー ク異常検知"、電子情報技術学会技術研究報告書 NS2005-5 2005年 4月
発明の開示
発明が解決しょうとする課題
[0006] し力しながら特許文献 1では、各特徴量間の相関係数と、対応するヒストグラムのク ラスの出現確率とを比較して異常の程度を評価することとしたため、個々の異常を検 知できてもトラヒック全体の様子を把握することができず、ネットワーク全体に何が起き ているのかを瞬時に判断することが困難であるという問題があった。
[0007] 本発明は、上記問題を解決するため、相関係数の発生確率を相関係数の算出元と なった任意の二つの観測量に基づ 、たマトリックスとして表し、発生確率の値に割り 当てた色を用いて画像ィ匕を行う。これによりネットワークトラヒックの複数の観測量の関 係を一枚の画像で表現することが可能となり、トラヒック全体の様子を直感的に把握 することが可能になる。またネットワークで起きている異常や不正に対応した画像が 生成されるため、異常発生時の画像をデータベース化することにより、画像を一見し ただけで、ネットワーク全体に何が起きて 、るのかを瞬時に判断することが可能となり 、ネットワーク管理の効率ィ匕を実現することができる。
課題を解決するための手段
[0008] 上記目的を達成するため、請求項 1に記載のネットワーク異常検知方法は、ネットヮ 一クトラヒック力もタイムスロット毎にカウントしたトラヒック種別毎のパケット数を特徴量 として生成する特徴量生成工程と、前記特徴量生成工程で生成された特徴量を用い てトラヒック種別を要素とする各要素間の相関係数を算出する相関係数算出工程と、 前記相関係数算出工程で算出された相関係数を用 ヽてヒストグラムを生成するヒスト グラム生成工程と、前記ヒストグラム生成工程で生成されたヒストグラムを用いて異常 度を算出する異常度算出工程とを有するネットワーク異常検知方法であって、前記ヒ ストグラムから算出される相関係数の発生確率を用いて類似性を評価する状態類似 性評価工程と、前記状態類似性評価工程で算出された相関係数の発生確率をマトリ ックスとして表し、発生確率の値に割り当てた色を用いて画像ィ匕を行う可視化工程と を有することを特徴とする。
[0009] 請求項 2に記載の特徴量生成工程は、パケットをプロトコル種別やフラグ等により k 通りに分類したものをトラヒック種別とし、 k通りの分類ごとにタイムスロット毎のパケット 数を測定したものを特徴量として生成することを特徴とする。ここで kは 2以上の自然 数である。
[0010] 請求項 3に記載の相関係数算出工程は、前記特徴量生成工程で生成した k種類の 特徴量の中力 任意の 2要素について、幅 Wタイムスロットのウィンドウ内における相 関係数を算出すると共に、該ウィンドウを Sタイムスロット毎にスライドさせその都度相 関係数を算出する手順を有すること、および前記手順を用いて k種類の特徴量から 全ての組合せの相関係数を算出することを特徴とする。ここで Wは 2以上の自然数で あり、 Sは自然数である。
[0011] 請求項 4に記載の相関係数算出工程において相関係数が算出できな 、組合せが 存在する場合、該組合せに関する相関係数を例外値として定義することを特徴とす る。ここで相関係数が算出できない場合として、観測ウィンドウ内である種類のバケツ トが全く観測されな 、場合やパケット数に変動の無 、状態が続 、た場合などがある。 このような状態の出現確率もネットワーク状態を評価する上で重要な情報となるため、 この場合の相関係数を例外値 (_1〜+1の範囲外の値）として定義する。この例外値は 、後のヒストグラム生成工程において、相関係数が算出不可というクラスをヒストグラム としてモデルィ匕するために必要となる。
[0012] 請求項 5に記載のヒストグラム生成工程は、前記相関係数算出工程で k種類の特徴 量カゝら全ての組合せに対してそれぞれ算出された相関係数を用いて、前記全ての組 合せに対してクラスの出現確率を表すヒストグラムをそれぞれ生成することを特徴とす る。ここで、相関係数の値が _1〜+1の範囲に分布している特性を利用して、前記範 囲に階級幅 (例えば 0.1)を設定し、一連の相関係数が属するクラスの出現確率を表 すヒストグラムを、前記全ての組合せ毎に生成する。また相関係数が前記例外値の 場合、 _1〜+1の範囲外となるが、相関係数が算出不可というクラスを設け、その出現 確率を含めてヒストグラムを生成することにする。
[0013] 請求項 6に記載の異常度算出工程は、前記ヒストグラム生成工程で生成されたヒス トグラムを通常状態のモデルとして予め定義しておくと共に、前記相関係数算出工程 で算出された各特徴量間の相関係数と、対応する前記ヒストグラムのクラスの出現確 率とを比較して異常の程度を評価することを特徴とする。
[0014] 請求項 7に記載の異常度算出工程は、前記相関係数算出工程で算出された各特 徴量間の相関係数を相関係数行列で表し、前記通常状態のモデルとして予め定義 されたヒストグラムのクラスの出現確率を用いて、前記相関係数行列を相関係数発生 確率行列に変換する工程と、前記相関係数発生確率行列で発生確率が閾値以下の 要素の総数、または前記相関係数発生確率行列の各行、各列の発生確率が閾値以 下となる要素の総数に基づき、異常度を定量的に算出する工程と、を有することを特 徴とする。
[0015] 請求項 8に記載の状態類似性評価工程は、前記相関係数算出工程で算出された 各特徴量間の相関係数を相関係数行列で表し、前記通常状態のモデルとして予め 定義されたヒストグラムのクラスの出現確率を用いて、前記相関係数行列を確率分布 ベクトルに変換すると共に、幾つかの類似した異常状態での複数の確率分布べタト ルを、平均値の算出やクラスタリングなどの手法により一つにまとめてプロファイルとし て定義し、該プロファイルと任意の確率分布ベクトルとの類似性を評価する方法によ り異常の原因を推定することを特徴とする。
[0016] 請求項 9に記載の類似性を評価する方法は、前記プロファイルとして定義された確 率分布ベクトルと任意の確率分布ベクトルとの間のユークリッド距離を算出して、該ュ ークリツド距離を状態類似性の評価指標とすることを特徴とする。
[0017] 請求項 10に記載の状態類似性評価工程は、前記相関係数算出工程で算出され た各特徴量間の相関係数を相関係数行列で表し、前記通常状態のモデルとして予 め定義されたヒストグラムのクラスの出現確率を用いて、前記相関係数行列を相関係 数発生確率行列に変換する工程と、二つの相関係数発生確率行列 A、 Bで発生確率 が閾値以下の要素が一致している場合の総数に基づき、相関係数発生確率行列 A、 Bの類似度を定量的に算出する工程と、を有することを特徴とする。
[0018] 請求項 11に記載の可視化工程は、前記状態類似性評価工程で算出された相関 係数の確率分布ベクトル (n X n次元ベクトル）を用いて、特徴量間の組合せを 1ピクセ ルとして表し、 1ピクセル毎に発生確率の値に割り当てた色を用いて n X n次元の画像 化を行うと共に、時間の経過とともに変化する発生確率の値に対応した色を割り当て ることにより、表示色の変化によりネットワークの状態変化を可視化することを特徴と する。ここで nは 2以上の自然数である。
[0019] 請求項 12に記載のネットワーク異常検知システムは、ネットワークトラヒック力もタイ ムスロット毎にカウントしたトラヒック種別毎のパケット数を特徴量として生成する特徴 量生成部と、前記特徴量生成部で生成された特徴量を用いてトラヒック種別を要素と する各要素間の相関係数を算出する相関係数算出部と、前記相関係数算出部で算 出された相関係数を用いてヒストグラムを生成するヒストグラム生成部と、前記ヒストグ ラム生成部で生成されたヒストグラムを用いて異常度を算出する異常度算出部とを有 するネットワーク異常検知システムであって、前記ヒストグラム力も算出される相関係 数の発生確率を用いて類似性を評価する状態類似性評価部と、前記状態類似性評 価部で算出された相関係数の発生確率をマトリックスとして表し、発生確率の値に割 り当てた色を用いて画像ィ匕を行う可視化部とを有することを特徴とする。
[0020] 請求項 13に記載の特徴量生成部は、パケットをプロトコル種別やフラグ等により Hi りに分類したものをトラヒック種別とし、 k通りの分類ごとにタイムスロット毎のパケット数 を測定したものを特徴量として生成する手段を有することを特徴とする。ここで kは 2以 上の自然数である。
[0021] 請求項 14に記載の相関係数算出部は、前記特徴量生成部で生成した k種類の特 徴量の中力も任意の 2要素につ!/、て、幅 Wタイムスロットのウィンドウ内における相関 係数を算出すると共に、該ウィンドウを Sタイムスロット毎にスライドさせその都度相関 係数を算出する手段を有すること、および前記手段を用いて k種類の特徴量力 全 ての組合せの相関係数を算出する手段を有することを特徴とする。ここで Wは 2以上 の自然数であり、 Sは自然数である。
[0022] 請求項 15に記載の相関係数算出部にお 、て相関係数が算出できな 、組合せが 存在する場合、該組合せに関する相関係数を例外値として定義する手段を有するこ とを特徴とする。ここで相関係数が算出できない場合として、観測ウィンドウ内である 種類のパケットが全く観測されな 、場合やパケット数に変動の無 、状態が続 、た場 合などがある。このような状態の出現確率もネットワーク状態を評価する上で重要な 情報となるため、この場合の相関係数を例外値 (-1〜+1の範囲外の値)として定義す る。この例外値は、後のヒストグラム生成部において、相関係数が算出不可というクラ スをヒストグラムとしてモデルィ匕するために必要となる。
[0023] 請求項 16に記載のヒストグラム生成部は、前記相関係数算出部で k種類の特徴量 力も全ての組合せに対してそれぞれ算出された相関係数を用いて、前記全ての組合 せに対してクラスの出現確率を表すヒストグラムをそれぞれ生成する手段を有すること を特徴とする。ここで、相関係数の値が -1〜+1の範囲に分布している特性を利用し て、前記範囲に階級幅 (例えば 0.1)を設定し、一連の相関係数が属するクラスの出 現確率を表すヒストグラムを、前記全ての組合せ毎に生成する。また相関係数が前記 例外値の場合、 _1〜+1の範囲外となるが、相関係数が算出不可というクラスを設け， その出現確率を含めてヒストグラムを生成することにする。
[0024] 請求項 17に記載の異常度算出部は、前記ヒストグラム生成部で生成されたヒストグ ラムを通常状態のモデルとして予め定義しておくと共に、前記相関係数算出部で算 出された各特徴量間の相関係数と、対応する前記ヒストグラムのクラスの出現確率と を比較して異常の程度を評価する手段を備えたことを特徴とする。
[0025] 請求項 18に記載の異常度算出部は、前記相関係数算出部で算出された各特徴 量間の相関係数を相関係数行列で表し、前記通常状態のモデルとして予め定義さ れたヒストグラムのクラスの出現確率を用いて、前記相関係数行列を相関係数発生確 率行列に変換する手段と、前記相関係数発生確率行列で発生確率が閾値以下の要 素の総数、または前記相関係数発生確率行列の各行、各列の発生確率が閾値以下 となる要素の総数に基づき、異常度を定量的に算出する手段と、を有することを特徴 とする。
[0026] 請求項 19に記載の状態類似性評価部は、前記相関係数算出部で算出された各 特徴量間の相関係数を相関係数行列で表し、前記通常状態のモデルとして予め定 義されたヒストグラムのクラスの出現確率を用いて、前記相関係数行列を確率分布べ タトルに変換すると共に、幾つかの類似した異常状態での複数の確率分布ベクトルを 、平均値の算出やクラスタリングなどの手法により一つにまとめてプロファイルとして定 義し、該プロファイルと任意の確率分布ベクトルとの類似性を評価する手段により異 常の原因を推定することを特徴とする。
[0027] 請求項 20に記載の類似性を評価する手段は、前記プロファイルとして定義された 確率分布ベクトルと任意の確率分布ベクトルとの間のユークリッド距離を算出して、該 ユークリッド距離を状態類似性の評価指標とすることを特徴とする。
[0028] 請求項 21に記載の状態類似性評価部は、前記相関係数算出部で算出された各 特徴量間の相関係数を相関係数行列で表し、前記通常状態のモデルとして予め定 義されたヒストグラムのクラスの出現確率を用いて、前記相関係数行列を相関係数発 生確率行列に変換する手段と、二つの相関係数発生確率行列 A、 Bで発生確率が閾 値以下の要素が一致している場合の総数に基づき、相関係数発生確率行列 A、 Bの 類似度を定量的に算出する手段と、を有することを特徴とする。
[0029] 請求項 22に記載の可視化部は、前記状態類似性評価部で算出された相関係数 の確率分布ベクトル (n X n次元ベクトル）を用いて、特徴量間の組合せを 1ピクセルと して表し、 1ピクセル毎に発生確率の値に割り当てた色を用いて n X n次元の画像ィ匕 を行うと共に、時間の経過とともに変化する発生確率の値に対応した色を割り当てる ことにより、表示色の変化によりネットワークの状態変化を可視化することを特徴とす る。
発明の効果
[0030] 請求項 1または請求項 12に係る発明によれば、特徴量の組合せ毎に算出した複数 の相関係数を用いて相関係数の出現確率をヒストグラムで表し、異常検出後の原因 特定を考慮した状態定義を行うこととしたため、定量的にネットワーク状態を評価し異 常の原因を特定することが可能になる。さらにネットワークの状態変化を表示色の変 化によって可視化することで、ネットワークの状態変化を一見して容易に把握すること ができるようになり、異常発生時に即時の対応をとることが可能になる。またネットヮー クで起きている異常や不正に対応した画像が生成されるため、異常発生時の画像を データベース化することで、画像を一見しただけで、ネットワーク全体に何が起きてい るのかを瞬時に判断することが可能となり、ネットワーク管理の効率ィ匕を実現すること ができる。
[0031] 請求項 2および請求項 3、または請求項 13および請求項 14に係る発明によれば、 ネットワークトラヒック力もタイムスロット毎にカウントしたトラヒック種別毎のパケット数を 特徴量として、特徴量を用いてトラヒック種別を要素とする各要素間の相関係数を算 出することとしたため、相関係数を用いてネットワーク状態を定量的に定義することが できる。ネットワークを流れる各種トラヒックは各種プロトコルの制約を受けるため、通 常状態ではその流量と変化の仕方に何らかの関係性が保たれていることから、相関 関係を用いた通常状態の定義は異常検知に有効である。
[0032] 請求項 4または請求項 15に係る発明によれば、相関係数が算出できな 、組合せが 存在する場合、該組合せに関する相関係数を例外値として定義することとしたため、 観測ウィンドウ内である種類のパケットが全く観測されない場合やパケット数に変動の 無い状態が続いた場合などの相関係数が算出できない場合でも、相関係数が算出 不可というクラスを含めたヒストグラムによってネットワーク状態をモデルィ匕することが 可能となり、ネットワーク状態を評価する上で有効である。
[0033] 請求項 5または請求項 16に係る発明によれば、 k種類の特徴量から全ての組合せ に対してそれぞれ算出された相関係数を用いて、前記全ての組合せに対してクラス の出現確率を表すヒストグラムをそれぞれ生成することとしたため、通常状態を定義 する際に、他の手法 (例えば、主成分軸による評価法、相関係数の平均値や分散に よるモデルィ匕法)と比較して、情報の損失を抑えることができる。
[0034] 請求項 6または請求項 17に係る発明によれば、異常と判断された特徴量の組合せ に着目して各組合せの異常の程度を個別に評価することとしたため、他の手法 (例え ば、全ての特徴量間の相関係数を一つの主成分軸を用いる主成分分析法）と比較し て、異常発生時の原因の特定に有効である。
[0035] 請求項 7または請求項 18に係る発明によれば、相関係数発生確率行列で発生確 率が閾値以下の要素の総数、または前記相関係数発生確率行列の各行、各列の発 生確率が閾値以下となる要素の総数に基づき、異常度を定量的に算出する際に、各 行、各列の異常度を強調するような算出方式を用いることで、従来よりも異常原因の 特定が容易になる。
[0036] 請求項 8および請求項 9、または請求項 19および請求項 20に係る発明によれば、 幾つかの類似した異常状態での複数の確率分布ベクトルをプロファイルとして定義し ておき、該プロファイルと任意の確率分布ベクトルとの類似性を評価することで、異常 の原因を容易に推定することが可能になるとともに、異常の原因の調査にかかる時間 を短縮するメリットがある。
[0037] 請求項 10または請求項 21に係る発明によれば、二つの相関係数発生確率行列 A 、 Bで発生確率が閾値以下の要素が一致している場合の総数に基づき、相関係数発 生確率行列 A、 Bの類似度を定量的に算出することで、異常の原因を容易に推定す ることが可能になるとともに、異常の原因の調査に力かる時間を短縮するメリットがあ る。
[0038] 請求項 11または請求項 22に係る発明によれば、ネットワークの状態変化を表示色 の変化によって可視化することで、ネットワークの状態変化を一見して容易に把握す ることができるようになり、異常発生時に即時の対応をとることが可能になる。またネッ トワークで起きている異常や不正に対応した画像が生成されるため、異常発生時の 画像をデータベース化することで、画像を一見しただけで、ネットワーク全体に何が 起きているのかを瞬時に判断することが可能となり、ネットワーク管理の効率ィ匕を実現 することができる。
図面の簡単な説明
[0039] [図 1]本発明の実施の形態に係るネットワーク異常検知システムの構成を示すブロッ ク図である。
[図 2]各特徴量間の相関係数ヒストグラムが生成される流れを示した図である。
[図 3]トラヒック流量の変化と対応する相関係数の値の例を示した図である。
[図 4]スライディングウィンドウを用いて相関係数を算出しヒストグラムを生成する方法 を示した図である。
[図 5]相関係数ヒストグラムを用いて相関係数発生確率を算出する方法を示した図で ある。
[図 6]相関係数発生確率に基づいて異常得点を算出する方法と異常原因を特定す る方法を示した図である。
[図 7]確率分布ベクトルを示した図である。
[図 8]実験ネットワークの構成を示した図である。
[図 9]実験によって得られた相関係数ヒストグラムを示した図であり、各特徴量の組合 せによる確率分布を示して 、る。
[図 10]実験期間中の異常得点の例を示した図である。
[図 11]実験によって得られた TCP -TCP 間の相関係数ヒストグラムを
IN,SYN IN,dst:144-1023
示した図である。 [図 12]実験によって得られた TCP -TCP 間の相関係数ヒストグラムを示
IN'SYN IN,dst:SSH
した図である。
[図 13]実験によって得られた TCP -TCP 間の相関係数ヒストグラ
IN,dst:S TP OUT,dst:S TP
ムを示した図である。
[図 14]確率分布ベクトルのユークリッド距離を算出し、ユークリッド距離の近い順に並 ベた画像 (確率分布ベクトルを可視化した画像)である。
[図 15]複数の SSH login try profileから新しい profileを作成する例を示す図である。
[図 16]ネットワークの状態変化の表示例を示した図である。
[図 17]異常発生時の相関係数発生確率行列の表示例を示した図である。
[図 18]異常発生時の相関係数発生確率行列の表示例を示した図である。
[図 19]一つの観測種別が原因となった異常の検知の例を示した図である。
[図 20]s=2の場合に検知されたパケットを送信したホストに関するトラヒックダンプデー タの例を示した図である。
[図 21]s=lの場合にのみ生じた誤検知の例を示した図である。
[図 22]類似事象の発生日時と相関係数発生確率行列を示した図である。
[図 23]類似事象のトラヒックダンプデータを示した図である。
符号の説明
[0040] 101 トラヒック測定部（特徴量生成部）
102 記憶部
103 相関係数算出部
104 ヒストグラム生成部
105 異常度算出部
106 状態類似性評価部
107 可視化部
発明を実施するための最良の形態
[0041] 次に、本発明の実施の形態に係るネットワーク異常検知システムについて図面に基 づいて説明する。なお、この実施の形態により本発明が限定されるものではない。
[0042] 図 1は、本発明の実施の形態に係るネットワーク異常検知システムの構成を示すブ ロック図である。図 1に示すように、観測点には、ネットワークトラヒック力もタイムスロッ ト毎にカウントしたトラヒック種別毎のパケット数を測定して特徴量として生成するトラヒ ック測定部 (特徴量生成部） 101と、特徴量の情報を格納する記憶部 102とを有する。 また記憶部 102に格納された特徴量の情報を入力としてトラヒック種別を要素とする各 要素間の相関係数を算出する相関係数算出部 103と、相関係数算出部 103で算出さ れた相関係数を用いてヒストグラムを生成するヒストグラム生成部 104と、ヒストグラム生 成部 104で生成されたヒストグラムを用いて異常度を算出する異常度算出部 105と、相 関係数算出部 103で算出された各特徴量間の相関係数を相関係数行列 (確率分布 ベクトル)で表し、異常状態での確率分布ベクトルとの類似性を評価する状態類似性 評価部 106と、状態類似性評価部 106で算出された相関係数の確率分布ベクトル (n X n次元ベクトル)を用いて、 1ピクセル毎に発生確率の値に割り当てた色を用いて n X n次元の画像ィ匕を行う可視化部 107とを有する。
[0043] トラヒック測定部（特徴量生成部） 101は、ネットワークトラヒックを観測し、タイムスロッ ト毎にカウントしたトラヒック種別毎のパケット数を特徴量として生成する。すなわち、 パケットをプロトコル種別やフラグ等により k通りに分類したものをトラヒック種別とし、 k 通りの分類ごとにタイムスロット毎のパケット数を測定したものを特徴量として生成する 。ここで kは 2以上の自然数である。
[0044] 相関係数算出部 103は、記憶部 102に格納された特徴量の情報を入力として、生成 された特徴量の列に対してウィンドウを設定し、ウィンドウ内の各種特徴量間の相関 係数を算出する。すなわちトラヒック測定部 (特徴量生成部） 101で生成した k種類の 特徴量の中力 任意の 2要素について、幅 Wタイムスロットのウィンドウ内における相 関係数を算出すると共に、該ウィンドウを Sタイムスロット毎にスライドさせその都度相 関係数を算出する手段を有する。前記手段を用いて k種類の特徴量カゝら全ての組合 せの相関係数を算出する。ここで Wは 2以上の自然数であり、 Sは自然数である。 相関係数 rは、 2要素 X, yを
とした場合に次式で定義される。 (式 1 )
Figure imgf000015_0001
ここで x、 y
は各データの平均値を示す。相関係数 rの値は- l≤r≤lの範囲の値をとり、 1に近い 程 2つの要素間には強い相関があるといえる。
[0045] また相関係数算出部 103において相関係数が算出できない組合せが存在する場 合、該組合せに関する相関係数を例外値として定義する。ここで相関係数が算出で きない場合として、観測ウィンドウ内である種類のパケットが全く観測されない場合や パケット数に変動の無い状態が続いた場合などがある。このような状態の出現確率も ネットワーク状態を評価する上で重要な情報となるため、この場合の相関係数を例外 値 (-1〜+1の範囲外の値）として定義する。この例外値は、ヒストグラム生成部 104に ぉ 、て、相関係数が算出不可と 、うクラスをヒストグラムとしてモデルィ匕するために必 要となる。
[0046] ヒストグラム生成部 104は、相関係数算出部 103で k種類の特徴量カゝら全ての組合せ に対してそれぞれ算出された相関係数を用いて、前記全ての組合せに対してクラス の出現確率を表すヒストグラムをそれぞれ生成する。ここで、相関係数の値が _1〜+1 の範囲に分布して 、る特性を利用して、前記範囲に階級幅 (例えば 0.1)を設定し、 一連の相関係数が属するクラスの出現確率を表すヒストグラムを、前記全ての組合せ 毎に生成する。また相関係数が前記例外値の場合、 _1〜+1の範囲外となるが、相関 係数が算出不可というクラスを設け，その出現確率を含めてヒストグラムを生成するこ とにする。これらのヒストグラムを相関係数ヒストグラムと呼び、この相関係数ヒストグラ ムを通常状態の定義に用いる。
[0047] 異常度算出部 105は、第 1の機能として、ヒストグラム生成部 104で生成された相関係 数ヒストグラムを通常状態のモデルとして予め定義しておくと共に、相関係数算出部 1 03で算出された各特徴量間の相関係数と、対応する前記ヒストグラムのクラスの出現 確率とを比較して異常の程度を評価する。 [0048] また、異常度算出部 105は、第 2の機能として、相関係数算出部 103で算出された各 特徴量間の相関係数を相関係数行列で表し、前記通常状態のモデルとして予め定 義されたヒストグラムのクラスの出現確率を用いて、前記相関係数行列を相関係数発 生確率行列に変換する手段と、前記相関係数発生確率行列で発生確率が閾値以 下の要素の総数、または前記相関係数発生確率行列の各行、各列の発生確率が閾 値以下となる要素の総数に基づき、異常度を定量的に算出する手段と、を有する。 異常度を定量的に算出する手段については後述する。
[0049] 状態類似性評価部 106は、第 1の機能として、相関係数算出部 103で算出された各 特徴量間の相関係数を相関係数行列で表し、通常状態のモデルとして予め定義さ れたヒストグラムのクラスの出現確率を用いて、前記相関係数行列を確率分布べタト ルに変換すると共に、幾つかの類似した異常状態での複数の確率分布ベクトルを、 平均値の算出やクラスタリングなどの手法により一つにまとめてプロファイルとして定 義し、該プロファイルと任意の確率分布ベクトルとの類似性を評価する手段により異 常の原因を推定する。ここで類似性を評価する手段には、前記プロファイルとして定 義された確率分布ベクトルと任意の確率分布ベクトルとの間のユークリッド距離を算 出して、該ユークリッド距離を状態類似性の評価指標として用いると共に、ユークリツ ド距離が小さ!/、場合は類似した異常が発生して ヽると判別する。
[0050] また、状態類似性評価部 106は、第 2の機能として、相関係数算出部 103で算出され た各特徴量間の相関係数を相関係数行列で表し、前記通常状態のモデルとして予 め定義されたヒストグラムのクラスの出現確率を用いて、前記相関係数行列を相関係 数発生確率行列に変換する手段と、二つの相関係数発生確率行列 A、 Bで発生確率 が閾値以下の要素が一致している場合の総数に基づき、相関係数発生確率行列 A、 Bの類似度を定量的に算出する手段と、を有する。
[0051] 可視化部 107は、状態類似性評価部 106で算出された相関係数の確率分布べタト ル (n X n次元ベクトル）を用いて、特徴量間の組合せを 1ピクセルとして表し、 1ピクセ ル毎に発生確率の値に割り当てた色を用いて n X n次元の画像化を行うと共に、時間 の経過とともに変化する発生確率の値に対応した色を割り当てることにより、表示色 の変化によりネットワークの状態変化を可視化する。 [0052] 図 2は、全パケット数 (ALL)、 IPパケット数 (IP)、 TCPパケット数 (TCP)を特徴量とし て、各特徴量間の相関係数ヒストグラムが生成される流れを示している。
(1)特徴量生成部においてネットワークトラヒックを観測し、あら力じめ定められたトラヒ ック種別毎にタイムスロット内のパケット数をカウントし特徴量として生成する。得られ た各特徴量は時系列データとして相関係数算出部へと渡す。
(2)相関係数算出部では特徴量生成部から渡された特徴量の時系列データを受け 取り、スライディングウィンドウ方式を用 V、て時間毎に相関係数の値を算出し相関係 数の時系列データを生成する。相関係数は特徴量生成部で生成された特徴量の全 ての組合せにぉ 、てそれぞれ算出し、ヒストグラム生成部へと渡す。
(3)ヒストグラム生成部では，全ての組合せについて算出された相関係数の時系列 データを決められたクラス幅に従ってヒストグラム化する。得られたヒストグラムは頻度 の合計で割ることにより確率分布へと変換する。得られた確率分布を相関係数ヒスト グラムする。
(4)評価したい時間の相関係数を算出し、相関係数ヒストグラムを用いて状態評価を 行う。
相関係数は全ての特徴量の組合せに対して生成されるため， N個の特徴量に対し て全部で {N * (N-l)}/2個のヒストグラムが生成されることになる。
[0053] 相関係数 は 2変量を X, yとした場合に式 (1)で定義され， -1から 1の間の値をとる 。相関係数はネットワークを流れる各種トラヒック流量力も算出されるため、対象ネット ワークの利用状況や組合せにより様々に変化する。図 3にトラヒック流量の変化と対 応する相関係数の値の例を示す。図 3(a)のように正の相関関係は一方が増加した 場合にもう一方が増力 [1、一方が減少した場合にもう一方が減少する様な関係性であ る。 TCPのコネクションの開始と終了に用いられる SYNパケットの数と FINパケットの 数はそれぞれ 1対 1に対応し強い正の相関を示す。また無相関は図 3(b)に示される 通りで、一方の変化に対してもう一方の変化が影響しない場合である。 TCPと UDP はそれぞれ IP上の独立なプロトコルであるためそのパケットの総数はそれぞれ影響 を及ぼさず図 3(b)左図の様な波形をとる。さらに負の相関の例を図 3(c)に示す。負 の相関は正の相関とは逆に一方が増加した合にもう一方が減少、一方が減少した場 合にもう一方が増加する様な関係性である。図 3(c)左図は SYNフラグの立っているパ ケットと PSHフラグの立っているパケットの増減を示したものであり負の相関を示して いる。それぞれの縦軸が大きく違うが SYNパケットの減少と PSHパケットの増加が同 時に起きて 、るために負の相関となって 、る。
[0054] なお、トラヒックに含まれるパケットの種別はユーザの挙動に依存するために、観測 ウィンドウ内である種類のパケットがまったく観測されない場合やパケット数に変動の 無い状態が考えられる。この場合は相関係数が算出できなくなるが、このような状態 の出現確率も個々のネットワークの特性やユーザの挙動を表した異常検出における 重要な情報である。そのためこのようなネットワーク状態も評価するために、このネット ワーク状態を相関係数ヒストグラムに 1.1以上の階級として反映させる。標準偏差 σ = 0となり相関係数が算出不可能となった場合の相関係数を例外クラスとして、例えば 次式のように定義する。
r = 1.1 ( σ (x)=0 and σ (y)= 0 )
r = 1.2 ( σ (x)=0 and σ (y)≠0 )
r = 1.3 ( σ (χ)≠0 and σ (y) = 0 )
[0055] 次に、相関係数の算出方法について説明する。相関係数算出部 103においては、 ネットワークの状態が時間により変化することを考慮に入れスライディングウィンドウ方 式を用いて相関係数を算出する (図 4)。まず生成された特徴量の列に対して幅 Wタイ ムスロットのウィンドウを設定し、ウィンドウ内の各種特徴量間の相関係数を算出する。 このウィンドウを Sタイムスロットずつスライドさせその都度相関係数を算出し、算出さ れた一連の相関係数をヒストグラム生成部に入力、指定されたクラス幅に従 、各組合 せ毎に相関係数のヒストグラムを作成する。最終的に出力されるこの相関係数の発生 確率のヒストグラムを相関係数ヒストグラムと呼び、本評価手法ではこの相関係数ヒス トグラムを用いて通常状態を定義し、相関係数ヒストグラムと算出された相関係数を対 応させることで状態の評価を行う。相関係数は全ての特徴量の組合せに対して生成 されるため、 N個の特徴量に対して全部で {Ν * (Ν-1)}/2個のヒストグラムが生成される ことになる。ネットワークの通常状態はこの個の相関係数ヒストグラム全てを用いて定 義される。本評価手法では，全ての特徴量間の相関関係を一つの主成分軸を用い て表す主成分分析と異なり、各組合せの異常の程度を個別に評価するため個々の 評価結果は異常発生時の原因の特定に有効な情報になると考える。
[0056] 次に、ネットワーク状態を評価する手法にっ 、て説明する。本評価手法は、ネットヮ ークの異常検知と状態類似性評価の 2種類あり、ネットワークの異常検知，状態類似 性評価！/ヽずれもまず評価を行 、た 、時間における各種組合せの相関係数の算出を 行う。算出された相関係数の値はそのまま評価に使用するのではなぐ図 5で示すよ うに事前に生成されている相関係数ヒストグラムを用いて算出された相関係数の発生 確率を求めて、この発生確率を評価指標として使用する。これは算出された相関係 数で示される相関関係そのものを評価するのではなぐ対象ネットワークにおいて相 関係数で示されるような事象がどれほどの確率で発生するかを評価の指標とするた めである。求めた発生確率がその組合せの異常の程度を示しており、相関係数の発 生確率が高い場合にはその組合せは頻繁に発生する事象であり通常の相関関係に あると言え、相関係数の発生確率が低 、場合にはその組合せは異常な相関関係に あると言える。本評価手法ではここで得られる発生確率を異常程度の指標としてネッ トワークの状態評価を行う。
[0057] まず、図 1の異常度算出部 105で行うネットワークの異常検知について説明する。前 記で述べた定量的に異常度を算出する手法には 2つある。第 1の手法として、異常検 知における状態評価をするために、各組合せの相関係数の発生確率を基準とする 値と比較し、その値に満たない組合せを異常と判別することによって行う。本手法で はあるウィンドウについて異常と判断された組合せの総数を、そのウィンドウの異常の 程度を表す指標となる異常得点として用いる。異常得点の高い時間帯では、多くの 相関係数の組合せが通常あまり取りえな 、相関係数を算出して 、ることから、多くの 特徴量間において通常とりえない関係性をとつており何らかの異常な事象が発生し ていると考えられる。本手法では、全ての特徴量間の相関関係を 1つの主成分軸を 用いて表す主成分分析とは異なり、各組合せの異常の程度を個別に評価することに なる。そのため異常得点が高いなどの理由力も異常原因の特定を行う場合には、異 常が発生している時間の相関係数の 1つ 1つを調査することにより異常な相関係数を とる組合せを特定し、その組合せの特徴量に注目することにより異常の原因を推察 することができると考えられる (図 6)。
次に、異常検知における状態評価をするための第 2の手法について説明する。評 価対象の Window内の観測量の全ての組合せに関する相関係数の値の発生確率を 通常状態のモデルとして予め定義されたヒストグラムに基づき算出し、その発生確率
ノ Ί
を要素とした行列 1i (相関係数発生確率行列)を生成する。任意の二つの観測種別 iと j の該当 Window内の観測量の相関係数を rとしたとき、相関係数発生確率行列 Pの要 素 Pは
(式 2)
Figure imgf000020_0001
となる。ここで hは、観測種別 iと jの相関係数ヒストグラムである。上記で定義した相関 係数発生確率行列から異常の程度を表す異常度 (AS)を算出する。異常度は、任意 の観測種別 iに関する組合せの相関係数の発生確率が閾値以下となったものの総数 に基づき式 (3)のように算出される。
(式 3)
Figure imgf000020_0002
ここで Θは異常を表すための pに対する閾値とすると、 asは、
0 ρ, > θ
と定義され、式 (3)はある観測種別 iに関する相関係数の発生確率が異常に低いもの の個数の s乗の総和を表すことになる。ここで、 sは感度を表し、観測種別 iに対する異 常な相関係数の値の個数を強調する機能であると解釈できる。また、異常度 (AS)は、 ある観測量とその他の観測量との間の異常な相関係数が多い程、高い値をとること になる。高い異常度を算出する原因となった観測量が、その異常の原因と判断するこ とが可能である。
[0059] 次に、図 1の状態類似性評価部 106で行うネットワークの状態類似性評価について 説明する。前記で述べたように、ネットワークの状態類似性を評価する手法には 2つ ある。第 1の手法として、ネットワークの状態類似性評価をするために、各組合せの相 関係数の発生確率を独立な成分とする確率分布を用いる。これを確率分布ベクトル として定義し確率分布ベクトルを用いてウィンドウの状態の評価を行う。ネットワーク上 で類似した状態をとつている場合には、該当時間における相関係数の確率分布も類 似していると考えられることから、ベクトル空間上でも類似した事象は近い位置に分 布すると考えられる。以上のことからネットワークの状態を比較したい時間の相関係数 確率分布ベクトル間のユークリッド距離を算出することにより、状態の類似性が評価 できると考える。ユークリッド距離が近い場合にはネットワークは類似した状態にあると 考えられ、ユークリッド距離が離れている場合にはネットワークは異なった状態にある と考えられる (図 7)。
ここで幾つかの類似した異常状態での複数の確率分布ベクトルを、平均値の算出 やクラスタリングなどの手法により 1つにまとめることで確率分布ベクトルによるプロファ ィルの作成ができると考えられる。作成された確率分布ベクトルのプロファイルと比較 する時間の確率分布ベクトルのユークリッド距離が近い場合には状態が類似している と言え、確率ベクトル間のユークリッド距離を指標とした異常の検出も可能となる。ま た逆に、異常の無い時間における複数の確率分布ベクトルに対しプロファイルを作 成することはネットワークの通常状態のプロファイル作成し、通常状態を定義すること と同意であるとも考えられる。
[0060] なお上記の説明ではベクトル間のユークリッド距離を状態類似性の評価指標とする 方法を用いている力 他の方法として重み付きユークリッド距離、シティブロック距離、 マハラノビス距離、内積などを評価指標に用いる方法がある。
[0061] 次に、ネットワークの状態類似性評価をするための第 2の手法について説明する。
任意の二つの相関係数発生確率行列 A、 Bの類似度 Sを式 (5)で定義し、定量的に評 価する。
(式 5)
Figure imgf000022_0001
'
Figure imgf000022_0002
ここで θは、式 (4)で用いた異常を判断するための閾値である。式 (5)は、行列 Α、 Βの 異常な発生確率となる要素が一致している場合、つまり、行列 Α、 Β間で同一の観測 量が異常原因となっている場合に高い類似度を示すことになる。
[0062] (検証実験 1)
次に、図 1の異常度算出部 105について、実運用ネットワークのトラヒックを用いた実 験を通して検証した結果にっ 、て説明する。
[0063] まず、前記で述べた異常検知における状態評価をするための第 1の手法を用いて 検証した結果について説明する。評価対象としたネットワークは、図 8に示す様な構 成の約 50台のホストを有する LANである。
相関係数を求める際のタイムスロットは 10秒、スライディングウィンドウのウィンドウ幅 は 30スロット、スライド幅は 5スロットとする。観測期間は 2005年の 5月とし、相関係 数ヒストグラムは 1 日単位で生成する。相関係数ヒストグラムの階級幅は 0.1とする。 特徴量はトラヒックを下記に示す種別毎に分類し、各タイムスロットにおける種別毎の パケット数を扱う。異常状態の検出実験においては、相関係数の発生確率が低いた めに異常状態であるとして判断するための異常判定閾値を 1%とする。
使用する特徴量は基本的に細かい分類を用いる程、異常検出後の異常原因の特 定が容易となる。
參全体 (All)
參プロトコノレ毎
Layer3 (IP, ARP, other Etherフレーム）
Layer4 ( TCP, UDP, ICMP, other IPパケット）
參 TCPフラグ（URG, ACK, PSH, RST, SYN, FIN)
參ポート毎
•TCP (20, 21, 22, 25, 80, 143, 443)
上記を除くその他の範囲を 9分割（ 0 79, 81 109, 111 142, 144 442, 444 102 3, 1024 2999, 3000 5999, 6000 9999, 10000 65535)
•UDP (53, 123, 520)
上記を除くその他の範囲を 6分割（ 0 52, 54 122, 124 519, 521 1023, 1024 9 999, 10000 65535)
[表 1] 個別に扱うポー卜番号とサービス名
Figure imgf000023_0001
TCPと UDPについては、それぞれ主要なアプリケーションについてのみ個別のポ ート毎 (表 1)にパケットをカウントし、他のポートについては異常検知時の原因特定を 考慮し、 TCPでは 9分割， UDPでは 6分割して範囲毎にカウントした。ポート番号の 領域の分割は、一般に良く使われるとされ予約されている 1024番までの well known portでは区間を小さぐその他の番号では区間を大きくとってある。本手法ではパケ ットが観測されない様な状態も前述した通り例外クラスとして扱うため特徴量としてそ のまま用いる。またこれは対象とするネットワークによりトラヒックの内容が変化すること を考えると汎用性の点で長所となると考える。さらに個別に観測するポート番号に関 しては、事前調査としてポート毎のパケット到着数をあら力じめ調べておくことが望ま しい。対象とするネットワークである特定のサービスを提供する場合には、そのサービ スの脆弱性を狙う不正アクセスの対象になる可能性は高いため、個別のポート番号 を 1つの特徴量として加えることが望まれる。ポート番号はそれぞれ sourceと destinati onを区別する。図 8に示した通り対象ネットワーク力も流出するパケットを IN,対象ネ ットワークへ流入するパケットを OUTとして区別して扱う。以上より総計 132種の特徴 量を用いることになり、結果として全 {132 * (132-1)}/2 = 8646種類の相関係数ヒストグ ラムによって通常状態を定義することになる。
[0064] なお、相関係数の出現確率に基づく異常検知という手法の性質を考え、大半の時 間帯で相関係数が算出できないような特徴量の組合せは異常状態の判断材料から 除外した。具体的には、各特徴量において関連する全てのヒストグラムを調査し、 1.1 の階級値をとる確率の平均値を算出する。そして，平均値力 0%以上をとる場合には 、該当特徴量とそれが関連する全てのヒストグラムを異常判定力も除外した。
[0065] 1ヶ月間のトラヒックデータ力も作成された相関係数ヒストグラムの例を図 9に示す。
図 9の各グラフはネットワークに流入したトラヒック中の TCP SYN、 FIN、 PSHや UDP、 宛先ポート番号が 22番の TCPパケットの組合せにおける相関係数ヒストグラムを示し ている。以降ではこれらの特徴量を
プロ トコル ¾；
という表記によって表す。方向の部分では、流入するパケット (IN)であるか流出する パケット (OUT)であるかを示し、種別の部分では TCPのフラグの種類またはポート番 号を示す。ポート番号については送信元 (src)であるか宛先 (dst)であるかを合わせ て記述し、 SSHや HTTPなど対応するアプリケーションやプロトコルがある場合には、 ポート番号ではなくその文字列で表す。なお、種別が ALLの場合は、そのプロトコル の全パケット数であることを意味する。
[0066] 図 9より TCP^Nパケッ ト数と TCP1 パケット数 間には正の強い相関があることがわかる (図 9左上)。コネクションの開始を示す SYNと 終了を示す FINの役割より、このヒストグラムが通常状態を表しているといえる。また、
7 パケット数と: re "/ パケット数 の相関係数は、多くの場合に正の値を取りその出現確率はほぼ均等であるといえる。 このヒストグラムは基本的に通信量がコネクション数に依存するという TCPの特性を 表したものとなっている (図 9右上)。
[0067] また
TCP パケット数と UDP パケット数
には正負どちらにも大きな相関係数の偏りは見られない (図 9左下)。 TCPと UDPには プロトコルで規定された関係が存在しないため、ヒストグラム力もわ力るように基本的 に無相関な状態にある。
[0068] また
TCP LL バケツト数と
Figure imgf000025_0001
のバケツト数 の相関係数は大半の場合に前記で述べた階級値 1.1を多くとっている (図 9右下)。こ れは外部ネットワークから内部のホストへの SSH通信の要求が非常に少ないことを示 しており、対象ネットワークの利用状況から見ても妥当な結果であるといえる。ただし 前記で述べた理由によりこのようなヒストグラムは異常状態の判断材料力 除外される 可能 ¾が高い。
[0069] 以上により、各特徴量間の相関係数ヒストグラムは通常時のネットワークの利用状況 を反映した形状をとつて 、ると!/、える。多くの組合せの相関係数が相関係数ヒストグラ ムに基づいて出現確率が低いと判断された場合に、ネットワークが通常と異なる異常 な状態をとつた可能性を示すと考えられる。
[0070] 次に、異常検知の事例について説明する。今回の行う異常状態の検出実験におい ては、相関係数の発生確率が低いと評価する異常判定閾値を 1%とし、相関係数の発 生確率がこの値を下回った場合にその組合せを異常であると判断する。前記で述べ た通りウィンドウ中の異常な組合せの総数をそのウィンドウの異常得点とする。 [0071] 図 10はある 1 日の異常得点の変化を例として示したものであり、 1日を通して異常 得点が常に変化をしており、ネットワークの状態が常に変化していることがわかる。ま た、いくつかの時間において高い異常得点をとっていることも見られる。今回は解析 対象期間内にお 、てこの様な高!、異常得点を示したウィンドウで異常な状態をとつて いるとして、該当ウィンドウ内のトラヒックデータを詳細に調査した。
[0072] [例 1：大規模なスキャン]
あるウィンドウにおいては、全てのホストの特定ポートに対するスキャンおよび一部の ホストの様々なポートに対するスキャンが発見された。このウィンドウでは様々な組合 せの相関係数が異常な値を取って 、たが、異常な相関係数を取った組合せの多くに は次の 3つの特徴量
、 1 、 1
の！、ずれかが含まれて!/、た。
例えば、図 11の相関係数ヒストグラムからわ力るように、
は通常時に非常に強い相関を示すことは稀である力 このウィンドウでの相関係数は 約 0.98という値をとつた。そのためこの 2つの特徴量に注目してトラヒックを調査したと ころ、上述したような SYNパケットによる大規模なスキャンが検出された。スキャンの内 容に関しても相関係数が異常と示された特徴量とスキャンが行われたポート番号とが 対応しており、相関係数の組合せに着目することにより異常原因の特定が可能であ ることがゎカゝる。
[0073] [例 2： SSH(TCP22)への login試行]
別のウィンドウにおいては、全てのホストの SSH(22番 port)への login試行が観測され た。このウィンドウでは通常ごく強い正の相関を示す
し が弱 、正の相関を示して 、る。さらに通常算出されな!ヽ
1し
の相関係数が算出され強い正の相関を示し、その発生確率は非常に小さいものとな つている (図 12)。
[0074] [例 3：スパムメールの到着]
別のウィンドウでは外部から内部へのスパムメール送信が確認された。このときには
の相関係数が異常な値をとつていた (図 13)。この組合せは通常時にはほぼ無相関で あるが、このウィンドウにおいては相関係数が約 0.8と通常時には起こり得ない強い 相関が見られた。そこで、 SMTPポートに注目してネットワークトラヒックを調査した結 果、複数のスパムメールがほぼ同時刻にメールサーバで送受信されていることがわ かった。さらに詳細な調査により、これはスパムメールの宛先となったメールアドレスか ら外部のメールアドレスへの転送設定が行われていたためであることが確認された。
[0075] 以下に異常得点が高くなつた場合において発見された事象と異常に関する相関係 数の発生確率の特徴との関係を対応表 (表 2)に示す。
[表 2] 得られた異常事象と ¾常となった扣関係数の特徴との関係
Figure imgf000027_0001
[0076] (検証実験 2)
次に、前記で述べた異常検知における状態評価をするための第 2の手法を用いて検 証した結果につ!ヽて説明する。
[0077] 実験で利用するネットワークトラヒックデータは、約 50台のクライアント PCと外部に公 開している Webサーバ 1台、 SMTPサーノ 1台力もなるネットワークを対象とし、対象ネ ットワークとインターネットとの出入りのトラヒックを流入、流出として独立に観測する。 観測種別は表 3に示す 66種類のトラヒックで、流入と流出を別に観測するため 132種 類のトラヒックを観測することになり、通常状態のモデルとして予め定義されるヒストグ ラムの総数は、その組合せ 132(132-1)/2=8646個になる。 [表 3] 対象観測量
V
1 仝てのバケツ卜
2-3 ARP. その ffeの Etherフレーム
4 IP ノ ケッ卜
5 7 TCP,UDP,ICMPバケツ卜
8 その他の IPパケッ卜
9-14 TCP フラグ（URG，ACK，PSH，RST，SYN,FIN)
TCP ゾ一スポ一ト(¾ ；
Figure imgf000028_0001
32-40 20,21 ,22,25,80, 110, 143,443
40-48 上記を除くその他の範 1川を 9分割
(0^79, 81〜109, 111— 142, 144〜442, 444〜： 1023,
1024〜2999， 3000^5999,6000^9999, 10000^65535)
UDP ソースポート潘 ί
Figure imgf000028_0002
58-60
61-66 b を除くその他の 川を 6分割
(0~52, 54~ 122, 124〜519, 521^1023,
1025〜9999， 10000^65535) 実験では、該当種別のトラヒックを 10秒のタイムスロットにより観測した。相関係数を 求める Window幅は 300秒 (30スロット)、異常度算出の閾値は Θ =0.01とした。実験期間 は、 2005年 1月 1日から 2005年 5月 31日の 5ヶ月間で、観測されたパケット総数は、 113 2900380個であった。相関係数ヒストグラムの作成と相関係数発生確率行列、異常度 の算出は 1日単位で行い、相関係数ヒストグラムの作成は相関係数発生確率行列と 異常度の算出の前日のデータを用いる。つまり、 1月 2日の異常度を算出する場合は 、 1月 1日のデータ力 作成した相関係数ヒストグラムを用いることになる。 [0079] 図 17、図 18に実験期間で最も高い異常度と 2番目に高い異常度を示した Windowの 相関係数発生確率行列を示す。異常度算出時の感度は s=l ,2,3の 3つの値を利用し 、図 17、図 18は、そのいずれの場合においても、最も高い異常度と 2番目に高い異常 度を示したものである。図の画像は、発生確率が閾値 Θ以下となった要素に白画像 、閾値 Θより大きい要素に黒画像を割り当て、相関係数発生確率行列を画像化した ものである。
[0080] 図 17、図 18は、それぞれ異なる日時のものである力 ネットワーク異常としては、複 数のポートに対するスキャンが行われていた。画像中の直線は、スキャンに利用され たポート番号を含む観測種別に対応するもので、そのポートを利用したパケット数の 通常時では起こり得ない増加が、他の観測量との通常時の相関関係を崩し、異常な 相関係数が算出されたため生じたものである。つまり、相関係数発生確率行列中で 発生確率の低い相関係数が直線上に並んでいるものを効率良く検知できれば、異 常の原因を含めた形で異常状態の検知が可能になると考えられる。
[0081] そこで、異常度 ASに対する検知基準を画像中の縦横それぞれに一つの直線が存 在する場合の大きさ程度に設定し、該当する異常状態の検知をした。観測種別は、 6 6種類でネットワークの流入と流出を別に観測するため、合計で 132種類となる。その ため、若干の誤差を許容するように、 s = lの場合、検知対象の異常度の範囲を 264(1 32 X 2)〜280(140 X 2)とした。 s = 2, 3の場合は、感度 sによって強調されるのは行列 の行のみであるため、横の直線状の異常な発生確率の個数のみ s乗され、縦の異常 な発生確率の個数はそのまま加算されるだけである。つまり、 s = 2, 3の場合の検知 対象の異常度の範囲は、それぞれ、 17556(1322+132)〜19740(1402+140)、 2300100(1 323+132)〜2744140(1403+140)となる。
[0082] 図 19に検知結果の一例を示す。図から、異常度の検知範囲を適切に設定すること によって、ある一つの観測量により生じた異常の検知が可能であることが分かる。表 4 に、検知された異常事象例を示す。
[表 4] 検知事象例
Figure imgf000030_0001
それぞれのパケットが観測された前後の 12時間のデータを調査したが、 s = 1 ,3の場 合、該当パケットを送信したホストからの通信は発見されな力つた。そのため、何らか の異常や不正によるパケットやそれらに伴う backscatterが観測されたと考えられる。こ れは、 5ヶ月の実験期間で記録された 11億個のパケットから 1〜3個の異常パケットを 発見した結果であり、本提案手法の有効性を証明するものである。また図 20には、 s = 2の場合に検知されたパケットを送信したホスト〖こ関するトラヒックダンプデータを示 す。図中の下線部のパケットが異常原因として検知されたパケットである。このように 検知されたパケットに関するホストの通信を解析することによつても、一連の異常な通 信の抽出が可會となつて ヽることが示されて 、る。
[0083] 図 21には、 s = lの場合にのみ生じた誤検知の例を示す。 s = lの場合、異常な発生 確率が分散してしまって 、ても、その総数が検知の閾値以上になると誤検知を起こし てしまうことになる。一方、感度 sを 1より大きく設定した場合、直線上に並んだ異常確 率を強調して全体の異常度を算出することになる。特に、感度 sを 2以上とし、直線上 に異常発生確率が並んだ場合、その一行の異常度は発生確率行列の全要素数以 上となり、行列内に分散して異常確立が生じた場合よりも優位に大きな異常度が算出 されることになる。そのため、 s = lでは誤検知が生じた力 s = 2,3の場合にはそのよう な現象が観測されな力つたと考えられ、感度を導入した異常度の算出式 (3)は有効 なものであると言える。
[0084] (検証実験 3)
次に、図 1の状態類似性評価部 106について、実運用ネットワークのトラヒックを用い た実験を通して検証した結果にっ 、て説明する。 [0085] まず、前記で述べたネットワークの状態類似性評価をするための第 1の手法を用い て検証した結果について説明する。なお実験環境は、前記の異常検知における状 態評価をするための第 1の手法で用いた実運用ネットワークのトラヒック (検証実験 1) を用いる。
[0086] 状態類似性実験にお!、ては異常の観測された時間の確率分布ベクトルとその他の 時間の確率分布べ外ルとのユークリッド距離を算出することにより状態類似性の評 価を行う。まず例としてスキャン時の確率分布ベクトルとの例を挙げて説明する。図 14 は類似した他の時間のスキャン時、通常時、 FTP通信時の確率分布ベクトルのユー クリツド距離を算出し、ユークリッド距離の近い順に並べたものである。白黒の濃淡画 像は 132 X 132次元の確率分布ベクトルを可視化した画像であり、以下において確 率分布ベクトル画像と呼ぶ。相関係数それぞれの発生確率がどのような分布をとつて いるかわ力りやすくするため、各特徴量間の相関係数が異常判定閾値よりも下回る 場合には異常として白、異常判定閾値以上であれば通常として黒としてある。
[0087] 図 14においてユークリッド距離 Dist=0である基準とするスキャン時の確率分布べタト ル画像とユークリッド距離 Dist=14.2である (異なる時間の)スキャン時の確率分布べク トル画像とが類似していることから、異なる 2つの時間のネットワークの状態が類似し ていることがわかる。また、特にスキャン等の異常が発生していない Dist=53.6の場合 では確率分布ベクトル画像が大きく異なっておりネットワークの状態が異なっているこ とがわかる。さらに，実験ネットワークでは通常あまり発生していない FTP通信発生時 ではユークリッド距離はさらに大きくなつており、確率分布ベクトル画像も大きく異なつ て!、ることがわ力る。このようにネットワークで類似した事象が発生して 、る場合にお いてユークリッド距離が小さくなり、異なるネットワーク状態でユークリッド距離が大きく なること力も確率分布ベクトル間のユークリッド距離を 1つの指標としてネットワークの 状態類似性評価が可能であると言える。
[0088] 次に一連の事象の確率分布画像の平均をとることで事象のプロファイルを作成する 。図 15は異なる時間に起きた SSH login try力 共通な異常となっている相関係数の 組合せをとることにより、より精度の高いプロファイルを作成している例である。個々の 事象のプロファイルである profileA力 profileCはそれぞれその時間帯の SSH login t ry以外の特徴も含まれている。ここで複数のプロファイルに共通な部分を各プロファ ィルの平均を求めることで SSH login tryそのものののみが強調された新しいプロファ ィルを作成する。図 15の SSH login try profileの部分ではもともとのプロファイルである profileA profileC間のユークリッド距離をそれぞれ示している力 いずれの タリ ッド距離も新 、プロファイルとのユークリッド距離よりも大きくなつて 、る。新 、プロ ファイルとのユークリッド距離が小さくなつているのは、新しいプロファイルがもともとの プロファイル力もその他の事象により異常となっている組合せが除去され、より SSH lo gin tryの事象そのものを表しているからと考えられる。このように異なる時間で発生し た同じ事象のプロファイルの平均をとることでより事象そのものを表した精度の高いプ 口ファイルの作成が可能であるといえる。ここでは SSH login tryを例に挙げたが各種 スキャンの場合にも事象毎のプロファイルの作成が可能であることが実験により確認 されている。
[0089] 次に、各相関係数の状態変化を独立な成分としてベクトルィ匕した状態変化ベクトル を画像ィ匕したものが図 16である。 lpixel力^つの相関係数の状態変化に対応し色が それぞれの状態変化の内容を表している。起きている状態変化と色の対応は表 5に 示す通りである。
[表 5]
状態変化と表示色
Figure imgf000032_0001
[0090] 図 16では通常状態からスキャンの発生、スキャンの継続、スキャンの終了といった一 連の流れを表しており、状態分布ベクトル画像でそれぞれのフェイズでのネットワーク の状態が端的に表されていることがわかる。スキャンの発生時には通常状態力 異常 状態へと変化しているものが多ぐ緑色の要素が観察される。また、スキャンが継続し て 、る間は対応する相関係数も異常状態を継続して 、るために全体的に赤色の要 素が画像中に多く見られる。赤で表される変化は異常状態の継続であり異常検知を 行う上で注目されるべきものである。スキャン終了時には多くの相関係数の組合せで 異常力 通常状態への状態変化が起こるために青色が多く見られる。このように状態 変化を色により表示することによりネットワーク管理者へネットワークの状態変化を効 果的に提示することが可能であると考えられる。また、さらに画像で表示された状態 変化の分布と確率分布ベクトルにより作成されたプロファイルとの比較をとることにより 異常の原因の特定へと繋げることも期待できる。
[0091] 以上の状態類似性評価実験力 は同様の事象が発生している時間帯の確率分布 ベクトルのユークリッド距離が近 、ことがわかった。このため複数のユークリッド距離の 近 、事象を集め確率分布ベクトルの平均を取ることにより、発生して!/ヽる事象のプロ ファイルの作成が可能であることが示された。作成されたプロファイルは異常の特定 に重要な情報を持つと考えられ、プロファイルとの類似性を評価することで、既知の 異常な事象の検知が容易になり異常原因の特定につながると考えられる。また、それ ぞれのプロファイルは重ね合わせられるため複数の異常が同時に起こった場合でも それぞれのプロファイルとのマッチングをとることでそれぞれ検知可能であると考えら れる。このように発見された様々な異常のプロファイルの作成を行い、各時間の発生 確率分布ベクトルとの距離を算出することによりネットワークベースの異常検知が可能 になるといえる。
[0092] (検証実験 4)
次に、前記で述べたネットワークの状態類似性評価をするための第 2の手法を用い て検証した結果について説明する。なお実験環境は、前記の異常検知における状 態評価をするための第 2の手法で用いた実運用ネットワークのトラヒック (検証実験 2) を用いる。また類似事象の検索基準としては、図 19において s = 2場合の 1個の UDP パケットが検知された事象を用いる。
[0093] 表 6と図 22、 23に、それぞれ、類似事象の発生日時と発生確率行列、ネットワークト ラヒックダンプデータを示す。図 22から類似した発生確率行列が適切に検索されて ヽ ることが分かる。また、図 23に示されるように、類似事象の検索によって、検索基準と なった 2005年 5月 15日のトラヒックと同様の UDPパケットが原因となった異常を検索で きている。表 6とパケットの観測時刻に誤差がある力 これは、相関係数の算出ウィン ドウが (10秒幅の観測スロット） X (30スロット) =5分となっているからである。
[0094] 本実験から、相関係数発生確率行列の異常な確率を持つ要素の分布状態の類似 性を適切に評価することにより、数力月に渡る期間を討象に解析を行ったとしても、同 様の異常パケットを発見可能であることが明らかとなった。
産業上の利用可能性
[0095] インターネットの普及に伴い、ネットワーク管理者は DoS/DDoS攻撃をはじめとする ホストやネットワークデバイス等を狙った攻撃などのネットワークの異常を発見し迅速 に対応する必要性が増している中で、本発明は、種別毎に観測したパケット数を特 徴量とし、特徴量の組合せ毎に算出した複数の相関係数を用 、て相関係数の出現 確率をヒストグラムで表し、異常検出後の原因特定を考慮した状態定義を行うことに より定量的にネットワーク状態を評価し異常の原因を特定する技術を提供し、さらに 相関係数の発生確率を相関係数の算出元となった任意の二つの観測量に基づいた マトリックスとして表し、発生確率の値に割り当てた色を用いて画像ィ匕を行うことにより トラヒック全体の様子を直感的に把握する技術を提供するものであり、ネットワーク管 理ツールに本発明の技術を利用することにより、ネットワーク全体に何が起きているの 力を瞬時に判断することが可能となり、ネットワークの管理支援および異常発見サイク ルの効率ィ匕を図ることが可能となる。

Claims

請求の範囲
[1] ネットワークトラヒック力もタイムスロット毎にカウントしたトラヒック種別毎のパケット数を 特徴量として生成する特徴量生成工程と、前記特徴量生成工程で生成された特徴 量を用いてトラヒック種別を要素とする各要素間の相関係数を算出する相関係数算 出工程と、前記相関係数算出工程で算出された相関係数を用いてヒストグラムを生 成するヒストグラム生成工程と、前記ヒストグラム生成工程で生成されたヒストグラムを 用いて異常度を算出する異常度算出工程とを有するネットワーク異常検知方法であ つて、前記ヒストグラム力も算出される相関係数の発生確率を用いて類似性を評価す る状態類似性評価工程と、前記状態類似性評価工程で算出された相関係数の発生 確率をマトリックスとして表し、発生確率の値に割り当てた色を用いて画像ィ匕を行う可 視化工程とを有することを特徴とするネットワーク異常検知方法。
[2] 前記特徴量生成工程は、パケットをプロトコル種別やフラグ等により k通り（k: 2以上の 自然数）に分類したものをトラヒック種別とし、 k通りの分類ごとにタイムスロット毎のパ ケット数を測定したものを特徴量として生成することを特徴とする請求項 1に記載のネ ットワーク異常検知方法。
[3] 前記相関係数算出工程は、前記特徴量生成工程で生成した k種類の特徴量の中か ら任意の 2要素につ 、て、幅 Wタイムスロットのウィンドウ内における相関係数を算出 すると共に、該ウィンドウを Sタイムスロット毎にスライドさせその都度相関係数を算出 する手順を有すること、および前記手順を用いて k種類の特徴量カゝら全ての組合せ の相関係数を算出することを特徴とする請求項 1に記載のネットワーク異常検知方法
[4] 前記相関係数算出工程において相関係数が算出できない組合せが存在する場合、 該組合せに関する相関係数を例外値として定義することを特徴とする請求項 3に記 載のネットワーク異常検知方法。
[5] 前記ヒストグラム生成工程は、前記相関係数算出工程で k種類の特徴量カゝら全ての 組合せに対してそれぞれ算出された相関係数を用いて、前記全ての組合せに対し てクラスの出現確率を表すヒストグラムをそれぞれ生成することを特徴とする請求項 1 に記載のネットワーク異常検知方法。
[6] 前記異常度算出工程は、前記ヒストグラム生成工程で生成されたヒストグラムを通常 状態のモデルとして予め定義しておくと共に、前記相関係数算出工程で算出された 各特徴量間の相関係数と、対応する前記ヒストグラムのクラスの出現確率とを比較し て異常の程度を評価することを特徴とする請求項 1に記載のネットワーク異常検知方 法。
[7] 前記異常度算出工程は、前記相関係数算出工程で算出された各特徴量間の相関 係数を相関係数行列で表し、前記通常状態のモデルとして予め定義されたヒストグラ ムのクラスの出現確率を用いて、前記相関係数行列を相関係数発生確率行列に変 換する工程と、前記相関係数発生確率行列で発生確率が閾値以下の要素の総数、 または前記相関係数発生確率行列の各行、各列の発生確率が閾値以下となる要素 の総数に基づき、異常度を定量的に算出する工程と、を有することを特徴とする請求 項 1に記載のネットワーク異常検知方法。
[8] 前記状態類似性評価工程は、前記相関係数算出工程で算出された各特徴量間の 相関係数を相関係数行列で表し、前記通常状態のモデルとして予め定義されたヒス トグラムのクラスの出現確率を用いて、前記相関係数行列を確率分布ベクトルに変換 すると共に、幾つかの類似した異常状態での複数の確率分布ベクトルを、平均値の 算出やクラスタリングなどの手法により一つにまとめてプロファイルとして定義し、該プ 口ファイルと任意の確率分布ベクトルとの類似性を評価する方法により異常の原因を 推定することを特徴とする請求項 1に記載のネットワーク異常検知方法。
[9] 前記類似性を評価する方法は、前記プロファイルとして定義された確率分布ベクトル と任意の確率分布ベクトルとの間のユークリッド距離を算出して、該ユークリッド距離 を状態類似性の評価指標とすることを特徴とする請求項 8に記載のネットワーク異常 検知方法。
[10] 前記状態類似性評価工程は、前記相関係数算出工程で算出された各特徴量間の 相関係数を相関係数行列で表し、前記通常状態のモデルとして予め定義されたヒス トグラムのクラスの出現確率を用いて、前記相関係数行列を相関係数発生確率行列 に変換する工程と、二つの相関係数発生確率行列 A、 Bで発生確率が閾値以下の要 素が一致している場合の総数に基づき、相関係数発生確率行列 A、 Bの類似度を定 量的に算出する工程と、を有することを特徴とする請求項 1に記載のネットワーク異常 検知方法。
[11] 前記可視化工程は、前記状態類似性評価工程で算出された相関係数の確率分布 ベクトル (n X n次元ベクトル）を用いて、特徴量間の組合せを 1ピクセルとして表し、 1 ピクセル毎に発生確率の値に割り当てた色を用いて n X n次元の画像ィ匕を行うと共に 、時間の経過とともに変化する発生確率の値に対応した色を割り当てることにより、表 示色の変化によりネットワークの状態変化を可視化することを特徴とする請求項 1に 記載のネットワーク異常検知方法。
[12] ネットワークトラヒック力もタイムスロット毎にカウントしたトラヒック種別毎のパケット数を 特徴量として生成する特徴量生成部と、前記特徴量生成部で生成された特徴量を 用いてトラヒック種別を要素とする各要素間の相関係数を算出する相関係数算出部 と、前記相関係数算出部で算出された相関係数を用いてヒストグラムを生成するヒスト グラム生成部と、前記ヒストグラム生成部で生成されたヒストグラムを用いて異常度を 算出する異常度算出部とを有するネットワーク異常検知システムであって、前記ヒスト グラムから算出される相関係数の発生確率を用いて類似性を評価する状態類似性 評価部と、前記状態類似性評価部で算出された相関係数の発生確率をマトリックスと して表し、発生確率の値に割り当てた色を用いて画像化を行う可視化部とを有するこ とを特徴とするネットワーク異常検知システム。
[13] 前記特徴量生成部は、パケットをプロトコル種別やフラグ等により k通り（k: 2以上の自 然数）に分類したものをトラヒック種別とし、 k通りの分類ごとにタイムスロット毎のバケツ ト数を測定したものを特徴量として生成する手段を有することを特徴とする請求項 12 に記載のネットワーク異常検知システム。
[14] 前記相関係数算出部は、前記特徴量生成部で生成した k種類の特徴量の中から任 意の 2要素につ 、て、幅 Wタイムスロットのウィンドウ内における相関係数を算出する と共に、該ウィンドウを Sタイムスロット毎にスライドさせその都度相関係数を算出する 手段を有すること、および前記手段を用いて k種類の特徴量から全ての組合せの相 関係数を算出する手段を有することを特徴とする請求項 12に記載のネットワーク異 常検知システム。
[15] 前記相関係数算出部において相関係数が算出できない組合せが存在する場合、該 組合せに関する相関係数を例外値として定義する手段を有することを特徴とする請 求項 14に記載のネットワーク異常検知システム。
[16] 前記ヒストグラム生成部は、前記相関係数算出部で k種類の特徴量力 全ての組合 せに対してそれぞれ算出された相関係数を用いて、前記全ての組合せに対してクラ スの出現確率を表すヒストグラムをそれぞれ生成する手段を有することを特徴とする 請求項 12に記載のネットワーク異常検知システム。
[17] 前記異常度算出部は、前記ヒストグラム生成部で生成されたヒストグラムを通常状態 のモデルとして予め定義しておくと共に、前記相関係数算出部で算出された各特徴 量間の相関係数と、対応する前記ヒストグラムのクラスの出現確率とを比較して異常 の程度を評価する手段を有することを特徴とする請求項 12に記載のネットワーク異 常検知システム。
[18] 前記異常度算出部は、前記相関係数算出部で算出された各特徴量間の相関係数 を相関係数行列で表し、前記通常状態のモデルとして予め定義されたヒストグラムの クラスの出現確率を用 Vヽて、前記相関係数行列を相関係数発生確率行列に変換す る手段と、前記相関係数発生確率行列で発生確率が閾値以下の要素の総数、また は前記相関係数発生確率行列の各行、各列の発生確率が閾値以下となる要素の総 数に基づき、異常度を定量的に算出する手段と、を有することを特徴とする請求項 1 2に記載のネットワーク異常検知システム。
[19] 前記状態類似性評価部は、前記相関係数算出部で算出された各特徴量間の相関 係数を相関係数行列で表し、前記通常状態のモデルとして予め定義されたヒストグラ ムのクラスの出現確率を用いて、前記相関係数行列を確率分布ベクトルに変換する と共に、幾つかの類似した異常状態での複数の確率分布べ外ルを、平均値の算出 やクラスタリングなどの手法により一つにまとめてプロファイルとして定義し、該プロフ アイルと任意の確率分布ベクトルとの類似性を評価する手段により異常の原因を推定 することを特徴とする請求項 12に記載のネットワーク異常検知システム。
[20] 前記類似性を評価する手段は、前記プロファイルとして定義された確率分布ベクトル と任意の確率分布ベクトルとの間のユークリッド距離を算出して、該ユークリッド距離 を状態類似性の評価指標とすることを特徴とする請求項 19に記載のネットワーク異 常検知システム。
[21] 前記状態類似性評価部は、前記相関係数算出部で算出された各特徴量間の相関 係数を相関係数行列で表し、前記通常状態のモデルとして予め定義されたヒストグラ ムのクラスの出現確率を用いて、前記相関係数行列を相関係数発生確率行列に変 換する手段と、二つの相関係数発生確率行列 A、 Bで発生確率が閾値以下の要素が 一致している場合の総数に基づき、相関係数発生確率行列 A、 Bの類似度を定量的 に算出する手段と、を有することを特徴とする請求項 12に記載のネットワーク異常検 知方法。
[22] 前記可視化部は、前記状態類似性評価部で算出された相関係数の確率分布べタト ル (n X n次元ベクトル）を用いて、特徴量間の組合せを 1ピクセルとして表し、 1ピクセ ル毎に発生確率の値に割り当てた色を用いて n X n次元の画像化を行うと共に、時間 の経過とともに変化する発生確率の値に対応した色を割り当てることにより、表示色 の変化によりネットワークの状態変化を可視化することを特徴とする請求項 12に記載 のネットワーク異常検知システム。
PCT/JP2006/322236 2005-11-08 2006-11-08 ネットワーク異常検知方法およびネットワーク異常検知システム WO2007055222A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/092,997 US8001583B2 (en) 2005-11-08 2006-11-08 Network failure detection method and network failure detection system
JP2007544150A JP4677569B2 (ja) 2005-11-08 2006-11-08 ネットワーク異常検知方法およびネットワーク異常検知システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005323007 2005-11-08
JP2005-323007 2005-11-08
JP2006-130680 2006-05-09
JP2006130680 2006-05-09

Publications (1)

Publication Number Publication Date
WO2007055222A1 true WO2007055222A1 (ja) 2007-05-18

Family

ID=38023224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/322236 WO2007055222A1 (ja) 2005-11-08 2006-11-08 ネットワーク異常検知方法およびネットワーク異常検知システム

Country Status (3)

Country Link
US (1) US8001583B2 (ja)
JP (1) JP4677569B2 (ja)
WO (1) WO2007055222A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009218825A (ja) * 2008-03-10 2009-09-24 Kddi Corp ネットワーク攻撃検出装置及び防御装置
JP5459608B2 (ja) * 2007-06-06 2014-04-02 日本電気株式会社 通信網の障害原因分析システムと障害原因分析方法、及び障害原因分析用プログラム
JP2014060722A (ja) * 2012-09-18 2014-04-03 Kddi Corp 将来のネットワーク攻撃を検知及び予測するために、様々な指標と過去の攻撃事例を相関させ、攻撃に関する指標のプロファイルを作成するシステム及び方法
JP2015076863A (ja) * 2013-10-11 2015-04-20 富士通株式会社 ログ分析装置、方法およびプログラム
JP2017059964A (ja) * 2015-09-15 2017-03-23 富士通株式会社 ネットワーク監視装置、ネットワーク監視方法及びネットワーク監視プログラム
JP2019009549A (ja) * 2017-06-22 2019-01-17 株式会社日立製作所 攻撃検知分析装置及び攻撃検知方法
WO2021044500A1 (ja) * 2019-09-02 2021-03-11 オムロン株式会社 異常に対する処理の支援装置
JP2022540785A (ja) * 2019-07-05 2022-09-20 サービスナウ， インコーポレイテッド インテリジェントロードバランサ
CN116610682A (zh) * 2023-07-21 2023-08-18 山东盈动智能科技有限公司 基于数据存储的温度测试仪数据分类方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9143393B1 (en) 2004-05-25 2015-09-22 Red Lambda, Inc. System, method and apparatus for classifying digital data
US8689326B2 (en) * 2006-01-16 2014-04-01 Cyber Solutions Inc. Device for analyzing and diagnosing network traffic, a system for analyzing and diagnosing network traffic, and a system for tracing network traffic
US8479288B2 (en) * 2006-07-21 2013-07-02 Research In Motion Limited Method and system for providing a honeypot mode for an electronic device
US20100138919A1 (en) * 2006-11-03 2010-06-03 Tao Peng System and process for detecting anomalous network traffic
US9680693B2 (en) * 2006-11-29 2017-06-13 Wisconsin Alumni Research Foundation Method and apparatus for network anomaly detection
US8245295B2 (en) * 2007-07-10 2012-08-14 Samsung Electronics Co., Ltd. Apparatus and method for detection of malicious program using program behavior
US7941382B2 (en) * 2007-10-12 2011-05-10 Microsoft Corporation Method of classifying and active learning that ranks entries based on multiple scores, presents entries to human analysts, and detects and/or prevents malicious behavior
KR101481510B1 (ko) * 2007-12-10 2015-01-13 엘지전자 주식회사 휴대용 단말기 및 그 동작 제어 방법
US20110107155A1 (en) * 2008-01-15 2011-05-05 Shunsuke Hirose Network fault detection apparatus and method
US7962611B2 (en) * 2008-03-27 2011-06-14 International Business Machines Corporation Methods, systems and computer program products for detecting flow-level network traffic anomalies via abstraction levels
US20100235908A1 (en) * 2009-03-13 2010-09-16 Silver Tail Systems System and Method for Detection of a Change in Behavior in the Use of a Website Through Vector Analysis
US20100235909A1 (en) * 2009-03-13 2010-09-16 Silver Tail Systems System and Method for Detection of a Change in Behavior in the Use of a Website Through Vector Velocity Analysis
US9705899B2 (en) * 2010-01-26 2017-07-11 Bae Systems Information And Electronic Systems Integration Inc. Digital filter correlation engine
KR101215326B1 (ko) * 2011-04-13 2012-12-26 한국전자통신연구원 모바일 단말에서의 분산서비스공격을 방어하기 위한 장치 및 방법
JP5752020B2 (ja) * 2011-12-06 2015-07-22 株式会社Ｋｄｄｉ研究所 攻撃対策装置、攻撃対策方法及び攻撃対策プログラム
US20150170079A1 (en) * 2013-11-13 2015-06-18 NIIT Technologies Ltd Providing guidance for recovery from disruptions in airline operations
JP6223897B2 (ja) * 2014-04-17 2017-11-01 株式会社日立製作所 異常検知装置及び異常検知システム
US9210181B1 (en) * 2014-05-26 2015-12-08 Solana Networks Inc. Detection of anomaly in network flow data
US9900344B2 (en) * 2014-09-12 2018-02-20 Level 3 Communications, Llc Identifying a potential DDOS attack using statistical analysis
WO2016073457A2 (en) 2014-11-03 2016-05-12 Level 3 Communications, Llc Identifying a potential ddos attack using statistical analysis
US10484406B2 (en) * 2015-01-22 2019-11-19 Cisco Technology, Inc. Data visualization in self-learning networks
US9462013B1 (en) 2015-04-29 2016-10-04 International Business Machines Corporation Managing security breaches in a networked computing environment
US9923908B2 (en) 2015-04-29 2018-03-20 International Business Machines Corporation Data protection in a networked computing environment
US9954870B2 (en) 2015-04-29 2018-04-24 International Business Machines Corporation System conversion in a networked computing environment
US10505819B2 (en) 2015-06-04 2019-12-10 Cisco Technology, Inc. Method and apparatus for computing cell density based rareness for use in anomaly detection
US9690938B1 (en) 2015-08-05 2017-06-27 Invincea, Inc. Methods and apparatus for machine learning based malware detection
US10985993B2 (en) 2015-09-16 2021-04-20 Adobe Inc. Identifying audiences that contribute to metric anomalies
US10021130B2 (en) * 2015-09-28 2018-07-10 Verizon Patent And Licensing Inc. Network state information correlation to detect anomalous conditions
RU2625051C1 (ru) * 2016-02-18 2017-07-11 Акционерное общество "Лаборатория Касперского" Система и способ обнаружений аномалий в технологической системе
EP3475822B1 (en) 2016-06-22 2020-07-22 Invincea, Inc. Methods and apparatus for detecting whether a string of characters represents malicious activity using machine learning
GB2555192B (en) 2016-08-02 2021-11-24 Invincea Inc Methods and apparatus for detecting and identifying malware by mapping feature data into a semantic space
US10432652B1 (en) * 2016-09-20 2019-10-01 F5 Networks, Inc. Methods for detecting and mitigating malicious network behavior and devices thereof
US11038869B1 (en) 2017-05-12 2021-06-15 F5 Networks, Inc. Methods for managing a federated identity environment based on application availability and devices thereof
CN107566164B (zh) * 2017-08-15 2021-01-26 深圳市盛路物联通讯技术有限公司 一种物联网信息识别方法和装置
US10601676B2 (en) * 2017-09-15 2020-03-24 Cisco Technology, Inc. Cross-organizational network diagnostics with privacy awareness
CN108647707B (zh) * 2018-04-25 2022-09-09 北京旋极信息技术股份有限公司 概率神经网络创建方法、故障诊断方法及装置、存储介质
US11354320B2 (en) * 2018-10-11 2022-06-07 International Business Machines Corporation Determining causes of events in data
CN109522657B (zh) * 2018-11-20 2023-01-13 未必然数据科技(北京)有限公司 一种基于相关性网络和svdd的燃气轮机异常检测方法
US11070285B2 (en) 2019-02-15 2021-07-20 The Boeing Company System and method for configuring a multistage interconnection network based on user traffic demand
US11349981B1 (en) 2019-10-30 2022-05-31 F5, Inc. Methods for optimizing multimedia communication and devices thereof
KR102304173B1 (ko) * 2019-12-10 2021-09-27 한국철도기술연구원 멀티센서를 이용한 자율주행 트램 주행제어 안전시스템
CN112731022B (zh) * 2020-12-18 2023-06-23 阳光智维科技股份有限公司 光伏逆变器故障检测方法、设备及介质
US20230056018A1 (en) * 2021-08-23 2023-02-23 Infineon Technologies Ag Anamoly detection system for peripheral component interconnect express
CN115983646B (zh) * 2023-03-20 2023-06-02 章和技术(广州)有限公司 一种评估变电站网络设备风险的方法及其相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545749B2 (en) * 2005-02-15 2009-06-09 Microsoft Corporation High-accuracy packet pair for network bottleneck bandwidth measurement

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IZUMI Y. ET AL: "Sokankeisu Histogram ni yoru Network Jotai Hyoka Hoshiki/A state evaluation methode of network traffic using histograms of correlation coefficients", IEICE TECHNICAL REPORT, vol. 106, no. 41, 11 May 2006 (2006-05-11), pages 33 - 36, XP003012661 *
OIKAWA T. ET AL: "Tokeiteki Clustering Shuho ni yoru Network Ijo Jotai no Kenshutsu/Network anomaly detection using statistical clustering method", IEICE TECHNICAL REPORT, vol. 102, no. 349, 24 September 2002 (2002-09-24), pages 83 - 88, XP003012662 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5459608B2 (ja) * 2007-06-06 2014-04-02 日本電気株式会社 通信網の障害原因分析システムと障害原因分析方法、及び障害原因分析用プログラム
JP2009218825A (ja) * 2008-03-10 2009-09-24 Kddi Corp ネットワーク攻撃検出装置及び防御装置
JP2014060722A (ja) * 2012-09-18 2014-04-03 Kddi Corp 将来のネットワーク攻撃を検知及び予測するために、様々な指標と過去の攻撃事例を相関させ、攻撃に関する指標のプロファイルを作成するシステム及び方法
JP2015076863A (ja) * 2013-10-11 2015-04-20 富士通株式会社 ログ分析装置、方法およびプログラム
JP2017059964A (ja) * 2015-09-15 2017-03-23 富士通株式会社 ネットワーク監視装置、ネットワーク監視方法及びネットワーク監視プログラム
JP2019009549A (ja) * 2017-06-22 2019-01-17 株式会社日立製作所 攻撃検知分析装置及び攻撃検知方法
JP2022540785A (ja) * 2019-07-05 2022-09-20 サービスナウ， インコーポレイテッド インテリジェントロードバランサ
JP7330602B2 (ja) 2019-07-05 2023-08-22 サービスナウ， インコーポレイテッド インテリジェントロードバランサ
WO2021044500A1 (ja) * 2019-09-02 2021-03-11 オムロン株式会社 異常に対する処理の支援装置
CN116610682A (zh) * 2023-07-21 2023-08-18 山东盈动智能科技有限公司 基于数据存储的温度测试仪数据分类方法
CN116610682B (zh) * 2023-07-21 2023-09-29 山东盈动智能科技有限公司 基于数据存储的温度测试仪数据分类方法

Also Published As

Publication number Publication date
JPWO2007055222A1 (ja) 2009-04-30
JP4677569B2 (ja) 2011-04-27
US8001583B2 (en) 2011-08-16
US20090265784A1 (en) 2009-10-22

Similar Documents

Publication Publication Date Title
JP4677569B2 (ja) ネットワーク異常検知方法およびネットワーク異常検知システム
CN108289088B (zh) 基于业务模型的异常流量检测系统及方法
Cvitić et al. Boosting-based DDoS detection in internet of things systems
US7752665B1 (en) Detecting probes and scans over high-bandwidth, long-term, incomplete network traffic information using limited memory
US8056115B2 (en) System, method and program product for identifying network-attack profiles and blocking network intrusions
US8418247B2 (en) Intrusion detection method and system
Robinson et al. Ranking of machine learning algorithms based on the performance in classifying DDoS attacks
Paschalidis et al. Spatio-temporal network anomaly detection by assessing deviations of empirical measures
US20220247778A1 (en) Systems and methods for automatically selecting an access control entity to mitigate attack traffic
Duffield et al. Rule-based anomaly detection on IP flows
Celenk et al. Predictive network anomaly detection and visualization
US11700269B2 (en) Analyzing user behavior patterns to detect compromised nodes in an enterprise network
CN110769007B (zh) 一种基于异常流量检测的网络安全态势感知方法及装置
Hammad et al. Intrusion detection system using feature selection with clustering and classification machine learning algorithms on the unsw-nb15 dataset
Aiello et al. A similarity based approach for application DoS attacks detection
Ippoliti et al. Online adaptive anomaly detection for augmented network flows
CN113904795A (zh) 一种基于网络安全探针的流量快速精确检测方法
Musa et al. Analysis of complex networks for security issues using attack graph
Akiyoshi et al. Detecting emerging large-scale vulnerability scanning activities by correlating low-interaction honeypots with darknet
JP2008219525A (ja) ネットワーク異常検知方法およびネットワーク異常検知システム
McLaren et al. Mining malware command and control traces
Krasnov et al. Detecting DDoS attacks using the analysis of network traffic as dynamical system
Aldhyani et al. Analysis of dimensionality reduction in intrusion detection
Kanna et al. A defensive mechanism based on PCA to defend denial of-service attack
Hoque et al. Denial of service attack detection using multivariate correlation analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007544150

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12092997

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06823140

Country of ref document: EP

Kind code of ref document: A1