WO2016208159A1 - 情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体 - Google Patents

情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体 Download PDF

Info

Publication number
WO2016208159A1
WO2016208159A1 PCT/JP2016/002898 JP2016002898W WO2016208159A1 WO 2016208159 A1 WO2016208159 A1 WO 2016208159A1 JP 2016002898 W JP2016002898 W JP 2016002898W WO 2016208159 A1 WO2016208159 A1 WO 2016208159A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
alert
alert information
dissimilarity
information processing
Prior art date
Application number
PCT/JP2016/002898
Other languages
English (en)
French (fr)
Inventor
池田　聡
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/735,244 priority Critical patent/US11057399B2/en
Priority to JP2017524622A priority patent/JP6753398B2/ja
Publication of WO2016208159A1 publication Critical patent/WO2016208159A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold

Definitions

  • the present invention relates to information communication, and more particularly, to an information processing apparatus, an information processing system, an information processing method, and a storage medium that monitor communication.
  • a device that monitors a network that communicates information uses a firewall or IDS (Intrusion Detection System) to monitor the communication and, if necessary, to prevent attacks or unauthorized intrusions on the monitored network. Block communication. In recent years, targeted attacks aimed at stealing intellectual property or confidential information have increased. Therefore, the demand for cybersecurity for networks is increasing. As a technique for realizing cyber security, a technique for monitoring a network and responding to an incident using an SOC (Security Operation Center) has become common.
  • IDS Intrusion Detection System
  • a device that monitors a network classifies alerts detected by a monitoring device that implements a function such as a firewall or IDS based on the degree of risk (see, for example, Non-Patent Document 1).
  • An alert is a message that calls attention.
  • the alert is a message notifying that an abnormality in the network has been detected.
  • the alert that the monitoring device creates based on the detection includes an alert that does not need to be reported as an incident.
  • the alert detected by the monitoring device includes an alert with low risk or an alert that is a false detection.
  • an operator who performs network monitoring work classifies alerts by referring to the following information, that is, information included in detected alerts or external information. Set the risk level. And the apparatus which monitors a network reports the detected alert as an alert corresponding to an incident as needed based on the risk set by the operator.
  • information to be referred to in the above classification includes, for example, a detection rule that detects an alert, an IP (Internet protocol) address and port number of a transmission source host, and an IP address and port number of a transmission destination host.
  • a detection rule that detects an alert for example, an IP (Internet protocol) address and port number of a transmission source host, and an IP address and port number of a transmission destination host.
  • IP Internet protocol
  • information to be referred to in the above classification for example, the importance assigned to the detection rule used by the security vendor to detect the alert, and the communication included in the communication (for example, packet) that caused the detection There is information.
  • the system described in Non-Patent Document 1 classifies alerts. More specifically, the system described in Non-Patent Document 1 uses machine learning using alert information and aggregated information obtained from alert information for classification. In the agent mode, the system described in Non-Patent Document 1 processes an alert having a high reliability of the classification result based on machine learning without presenting it to the operator. The system described in Non-Patent Document 1 improves the efficiency of operator processing based on such operations.
  • Non-Patent Document 1 In the system described in Non-Patent Document 1, there is a risk of false negative in which an alert that is a positive detection is determined to be a false detection alert. Therefore, the system described in Non-Patent Document 1 randomly extracts some alerts from the alerts determined not to be presented to the operator based on the classification result using machine learning, and presents them to the operator. do. Based on such an operation, the system described in Non-Patent Document 1 suppresses false negatives in classification.
  • Tadeusz Pietraszek "Using Adaptive Alert Classification to Reduce False Positives in Intrusion Detection '', Recent Advances in Intrusion Detection (Subtitle: 7th international Symposium, RAID 2004, Sophia 102 epte, , 2004
  • Alerts that are highly similar to alerts included in learning samples used for machine learning have characteristics similar to those of learning alerts. Probability is high. That is, there is a low possibility that a false negative occurs in an alert having a high similarity to a learning alert.
  • alerts with low similarity to learning alerts are likely to have different characteristics from learning alerts. Therefore, when compared with an alert having a high similarity to a learning alert, a possibility that a false negative occurs in an alert having a low similarity to a learning alert is increased.
  • the alert presented to the operator is an alert having a low similarity to the learning alert.
  • the alert extraction in the technique described in Non-Patent Document 1 is a random extraction. Random extraction is extraction that is not related to machine learning.
  • the technique described in Non-Patent Document 1 extracts an alert as an alert to be presented to an operator without considering similarity with a learning alert. That is, the system described in Non-Patent Document 1 may present an inappropriate alert as an alert to be presented to the operator.
  • Non-Patent Document 1 has a problem that an appropriate alert cannot be presented to the operator.
  • An object of the present invention is to provide an information processing apparatus, an information processing system, an information processing method, and a storage medium that solve the above-described problems and create alert information that can be appropriately presented to an operator.
  • An information processing apparatus includes first alert information including a first alert that has already been received and information related to the first alert, a second alert that has been newly received, and a second alert that has been newly received.
  • a dissimilarity calculating means for calculating a dissimilarity that is a distance from the second alert information including information related to the information, and a classification relating to detection of the first alert information by applying machine learning to the first alert information
  • a machine learning means for generating a classifier that determines a classification result that is a determination result of the above, and applying the classifier to the second alert information to determine the classification result, and a false detection indicating that the determination result is erroneous
  • the dissimilarity is less than a predetermined threshold
  • information indicating that the determination result is set as the classification result of the second alert information and the information indicating the presentation of the second alert information is not required to be presented And set the judgment result In the case of correct detection indicating correct detection, or when the determination result is false detection indicating erroneous detection
  • An information processing system is directed to the above information processing apparatus, alert display means for receiving first alert information from the information processing apparatus and displaying the classification result, and the classification result in the displayed alert information.
  • a data processing method includes a first alert that has already been received and information related to the first alert.
  • a dissimilarity that is a distance between the first alert information including the second alert information including the information related to the second alert newly received and the second alert is calculated, and the first alert information is calculated.
  • the determination result is set to the classification result of the second alert information when the determination result is false detection indicating that the detection result is incorrect and the dissimilarity is less than a predetermined threshold, If the information indicating the presentation of the alert information is set to information indicating that the presentation is unnecessary, and the determination result is a positive detection indicating correct detection, or the determination result is a false detection indicating erroneous detection, and When the dissimilarity is equal to or greater than a predetermined threshold, information indicating that presentation is necessary is set in the information indicating the presentation of the second alert information.
  • the storage medium includes a first alert information including a first alert that has already been received and information related to the first alert, a second alert that is newly received, and a second alert. It is a determination result of classification related to detection of the first alert information by applying dissimilarity, which is a distance from the second alert information including related information, and machine learning to the first alert information.
  • a process of generating a classifier for determining a classification result, a process of determining a classification result by applying the classifier to the second alert information, a false detection indicating that the determination result is erroneous, and a dissimilarity A determination result is set in the classification result of the second alert information, and information indicating that presentation is unnecessary is set in the information indicating the presentation of the second alert information, If the judgment result is correct If the detection result is positive detection, or the determination result is false detection indicating erroneous detection, and the dissimilarity is equal to or greater than a predetermined threshold, the information indicating the second alert information must be presented.
  • a program for causing a computer to execute processing for setting information indicating that the information is stored is stored.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing system including an information processing apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the information processing apparatus according to the first embodiment.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the presentation device according to the first embodiment.
  • FIG. 4 is a flowchart illustrating an example of an operation of machine learning in the machine learning unit according to the first embodiment.
  • FIG. 5 is a flowchart illustrating an example of the dissimilarity calculation operation in the dissimilarity calculation unit according to the first embodiment.
  • FIG. 6 is a flowchart illustrating an example of an operation for updating alert information in the determination unit according to the first embodiment.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing system including an information processing apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the information processing apparatus according to the first embodiment.
  • FIG. 7 is a sequence diagram illustrating an example of an operation for setting a classification result in alert information in the information processing system according to the first embodiment.
  • FIG. 8 is a diagram illustrating an example of alert information used in the description of the first embodiment.
  • FIG. 9 is a block diagram illustrating an example of a configuration of an information processing system including the information processing apparatus according to the second embodiment.
  • FIG. 10 is a block diagram illustrating an example of the configuration of the information processing apparatus according to the second embodiment.
  • FIG. 11 is a flowchart illustrating an example of the operation of the re-determination unit according to the second embodiment.
  • FIG. 12 is a block diagram illustrating an example of a configuration of an information processing system including an information processing apparatus according to the third embodiment.
  • FIG. 13 is a block diagram illustrating an example of the configuration of the information processing apparatus according to the third embodiment.
  • FIG. 14 is a flowchart illustrating an example of the operation of the dissimilarity calculation unit according to the third embodiment.
  • FIG. 15 is a block diagram illustrating an exemplary configuration of an information processing apparatus according to a modification.
  • FIG. 16 is a block diagram illustrating an exemplary configuration of an information processing apparatus according to a modification.
  • Alert information is information including an alert (the alert includes information related to the communication that caused the alert) and information related to the alert (for example, an alert determination result).
  • FIG. 8 is a diagram showing an example of alert information 500 used in the following description. In FIG. 8, each row indicates each alert information 500.
  • the alert information 500 includes a detection time 501, a transmission source IP (Internet Protocol) address 502, a transmission destination IP address 503, a detection rule identifier 504, a presentation flag 505, and a classification result 506. Communication information 507.
  • a transmission source IP Internet Protocol
  • the detection time 501, the transmission source IP address 502, the transmission destination IP address 503, the detection rule identifier 504, and the communication information 507 are information relating to the communication that caused the alert. That is, the monitoring device that monitors the network to be monitored transmits these pieces of information as an alert to the information processing device according to each embodiment.
  • the alert may include other information.
  • the alert may include source and destination port numbers.
  • the alert may not include a part of the information.
  • presentation flag 505 and the classification result 506 are information related to the alert.
  • the detection time 501 is the time when the monitoring device detects an alert.
  • the transmission source IP address 502 is an address of a transmission source device (for example, a transmission source host) in communication that caused the alert.
  • the transmission destination IP address 503 is an address of a transmission destination device (for example, transmission destination host) in the communication that caused the alert.
  • the detection rule identifier 504 is an identifier for identifying a rule used when the monitoring device detects an alert.
  • Communication information 507 is information communicated in the communication that caused the alert.
  • the communication information 507 is, for example, a byte string included as a payload of a packet used for communication, a character string included in an HTTP (Hyper Text Transfer Transfer Protocol) request, or an HTTP response.
  • HTTP Hyper Text Transfer Transfer Protocol
  • the presentation flag 505 is information indicating whether or not the alert information 500 needs to be presented to the operator in the presentation device.
  • the machine learning unit of the information processing apparatus sets the value of the presentation flag 505.
  • the value of the presentation flag 505 is not particularly limited. Therefore, in the following description, the value “1” in the presentation flag 505 indicates that it is necessary to present to the operator, and the value “0” in the presentation flag 505 indicates that it is not necessary to present to the operator. And That is, the machine learning unit of each information processing apparatus sets “1 (required)” in the presentation flag 505 when the operator needs to be presented, and “0” in the presentation flag 505 when the operator does not need to be presented. (Unnecessary) ”is set. The initial value of the presentation flag 505 is “1 (required)”.
  • the classification result 506 is information that classifies alert detection. That is, the classification result 506 is information indicating whether the alert information 500 is detected correctly or erroneously. Further, the classification result 506 may include information indicating the subject that performed the classification. For example, the result classified by the information processing apparatus described below may include information indicating this (hereinafter referred to as “/ automatic”).
  • the classification result 506 is any one of the values indicating “correct detection”, “false detection”, “false detection / automatic”, or “blank (not shown or not set)”. Is set.
  • the classification result 506 may hold the above value as a numerical value, or may hold a value other than a numerical value (for example, a character string).
  • the initial value of the classification result 506 is “blank”.
  • the information processing apparatus may include a process that makes the determination of the other person unnecessary for “correction detection”.
  • the classification result 506 includes information corresponding to “correct detection / automatic”.
  • the information included in the alert information 500 need not be limited to the above information.
  • the alert information 500 may include other information.
  • the alert information 500 may not include some information as long as the operation described below can be realized.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an information processing system 10 including an information processing apparatus 20 according to the first embodiment of the present invention.
  • the information processing system 10 includes an information processing device 20, a presentation device 30, a network 40, and a monitoring device 50.
  • the network 40 is a monitoring target in the present embodiment, that is, in the information processing system 10.
  • the network 40 according to the present embodiment is not particularly limited.
  • the network 40 may be an in-house network limited to use within a predetermined range.
  • the network 40 is not limited to a physical network, and may be a logical network such as a VLAN (Virtual Local Area Network). Therefore, detailed description of the network 40 is omitted.
  • VLAN Virtual Local Area Network
  • the monitoring device 50 monitors communication information 507 in the network 40.
  • the monitoring device 50 detects a communication abnormality occurring in the network 40 based on a predetermined detection rule.
  • the communication abnormality occurring in the network 40 is, for example, an abnormality that occurs due to an external attack on the network 40 or the operation of the network 40.
  • the monitoring apparatus 50 notifies the information processing apparatus 20 of a detection result (detected abnormality) as an alert.
  • the monitoring device 50 according to the present embodiment is not particularly limited, and is a device that monitors a commonly used network 40. Therefore, detailed description of the monitoring device 50 is omitted.
  • the presentation device 30 presents information (for example, alert information 500) analyzed by the information processing device 20 to an operator of the information processing system 10.
  • the presentation device 30 transmits an instruction from the operator to the information processing device 20.
  • the instruction is, for example, a determination result of the alert information 500 (for example, a value set in the classification result 506).
  • FIG. 3 is a block diagram showing an example of the configuration of the presentation device 30 according to the first embodiment.
  • the presentation device 30 includes an alert display unit 31 and an input unit 32.
  • the alert display unit 31 receives information (for example, alert information 500) stored in the information processing apparatus 20 from the information processing apparatus 20. Then, the alert display unit 31 displays the received information (for example, alert information 500).
  • the information displayed by the alert display unit 31 is information for an operator to input an instruction to the input unit 32. Therefore, the alert display unit 31 may display other information in addition to the information received from the information processing device 20. Or alert display part 31 does not need to display information unnecessary for an operator's judgment. Further, the alert display unit 31 selects and displays information to be displayed based on information (for example, the presentation flag 505, the classification result 506, or the detection time 501) included in the information received from the information processing device 20. May be.
  • the input unit 32 receives an input (instruction) from the operator and transmits it to the information processing apparatus 20.
  • the operator input is information instructing to change information (for example, the classification result 506) included in the alert information 500.
  • the input unit 32 receives an input (correction detection or erroneous detection) of the classification result 506 that is an operator determination result for the displayed alert information 500 by the alert display unit 31.
  • the input unit 32 transmits the received operator input (instruction) to the information processing apparatus 20.
  • the information processing apparatus 20 stores information (instructions) received from the presentation apparatus 30 in the alert information 500.
  • the information processing apparatus 20 receives the classification result 506 from the presentation apparatus 30, the information processing apparatus 20 stores the value of the received classification result 506 in the classification result 506 of the alert information storage unit 23 described later. .
  • FIG. 2 is a block diagram illustrating an example of the configuration of the information processing apparatus 20 according to the first embodiment.
  • the information processing apparatus 20 includes a machine learning unit 21, a dissimilarity calculation unit 22, an alert information storage unit 23, and a determination unit 26.
  • the determination unit 26 receives the alert detected by the monitoring device 50 and stores the received alert and information related to the alert (that is, “alert information 500”) in the alert information storage unit 23.
  • alert information 500 corresponding to an alert (latest alert) newly received from the monitoring device 50 is distinguished from other alert information 500
  • the alert information 500 excluding the alert information (A) may be referred to as first alert information.
  • the alert information (A) may be referred to as second alert information.
  • the determination part 26 receives a new alert, it notifies that each structure received the alert as needed.
  • the determination unit 26 updates the value of the alert information 500 based on the determination result in the machine learning unit 21 described later and the dissimilarity calculated by the dissimilarity calculation unit 22.
  • the determination unit 26 receives a request from the presentation device 30 and transmits information corresponding to the request to the presentation device 30. In addition, the determination unit 26 receives information from the presentation device 30 and stores the received information in the alert information storage unit 23.
  • the machine learning unit 21 performs machine learning on the classification result 506 of the alert information 500. More specifically, the machine learning unit 21 uses the alert information 500 in which the classification result 506 is not blank (not entered or not set) in the alert information 500 stored in the alert information storage unit 23 as a machine learning learning sample. Execute machine learning using. That is, the machine learning unit 21 performs machine learning of the classification result 506 using the set classification result 506. Further, when the classification result 506 stores information indicating the classification performed by the own device (“/ automatic”), the machine learning unit 21 may exclude the classification result 506 classified by the own device from the learning sample. Good. The machine learning unit 21 determines whether the alert information 500 is a positive detection or a false detection based on the machine learning.
  • the determination unit 26 stores the determination result of the machine learning unit 21 in the classification result 506 of the alert information 500 stored in the alert information storage unit 23.
  • the classification result 506 stores information (“/ automatic”) indicating that the classification is performed by the own apparatus
  • the determination unit 26 indicates that the classification result is classified by the own apparatus (“/ automatic”).
  • the classification result 506 is saved.
  • the information processing apparatus 20 stores the classification result 506 (that is, “false detection / automatic”) indicating that it has been set by its own apparatus regarding false detection.
  • the dissimilarity calculation unit 22 calculates dissimilarity between the alert information (A) newly received by the information processing apparatus 20 and a part or all of the alert information 500 stored in the alert information storage unit 23. .
  • the calculation of the dissimilarity in the dissimilarity calculating unit 22 will be described in detail later.
  • the alert information storage unit 23 stores alert information 500.
  • FIG. 4 is a flowchart illustrating an example of an operation of machine learning in the machine learning unit 21 according to the first embodiment.
  • the machine learning unit 21 first extracts the alert information 500 used as a learning sample from the alert information 500 stored in the alert information storage unit 23 (step S101).
  • the alert information 500 used as the learning sample is preferably the alert information 500 in which the classification result 506 is set based on other than the information processing apparatus 20.
  • the information processing apparatus 20 uses the alert information 500 set by receiving the classification result 506 from the operator as a learning sample. Therefore, the learning sample in the description of the present embodiment is the alert information 500 in which the classification result 506 is “correct detection” or “false detection”.
  • the machine learning unit 21 calculates a feature vector based on the learning sample (step S102).
  • the “feature vector” is a vector having information for comparing dissimilarities as elements.
  • the feature vector is usually a multidimensional vector calculated from a learning sample. One feature vector is calculated for one learning sample.
  • the machine learning unit 21 may use a general feature vector calculation method as a feature vector calculation method used in the present embodiment.
  • the machine learning unit 21 includes the IP address classification, the host classification, the detection rule identifier, or the number of alerts belonging to the same classification in a certain time width included in the alert information 500 described in Non-Patent Document 1. You may use the feature vector calculated using.
  • the machine learning unit 21 may convert the communication information 507 included in the alert information 500 into a vector format and use it as a feature vector. Note that the machine learning unit 21 may count the appearance frequency of N-grams, for example, in order to convert the communication information 507 into a vector format.
  • the above feature vector is an example of a feature vector that can be used by the machine learning unit 21.
  • the above description does not limit the feature vectors that can be used by the machine learning unit 21 according to the present embodiment to the above feature vectors.
  • the machine learning unit 21 can use a value obtained by applying information included in the alert information 500 to a mechanical calculation process as a feature vector. Further, the machine learning unit 21 may combine the above feature vectors.
  • the machine learning unit 21 performs machine learning using the learning sample classification result 506 as a teacher signal. Then, the machine learning unit 21 creates or updates a classifier as a result of machine learning (step S103).
  • the machine learning unit 21 can use a general machine learning algorithm as the machine learning here. For example, the machine learning unit 21 may use decision tree learning, support vector machine, or ensemble learning.
  • the classifier created by the machine learning unit 21 uses the feature vector to determine whether the alert information 500 corresponding to the feature vector is a positive detection or a false detection.
  • machine learning unit 21 may use either batch learning or sequential learning if the learning algorithm used allows it.
  • the machine learning unit 21 When employing batch learning, the machine learning unit 21 creates or updates a classifier by executing the above machine learning process at a predetermined timing or a predetermined time interval.
  • the machine learning unit 21 When adopting sequential learning, the machine learning unit 21 creates or updates a classifier at a timing when the classification result 506 of the alert information 500 stored in the alert information storage unit 23 is changed.
  • FIG. 5 is a flowchart illustrating an example of the dissimilarity calculation operation in the dissimilarity calculation unit 22 according to the first embodiment.
  • the dissimilarity calculation unit 22 starts the operation at the timing when the alert information (A) for the new alert is received (step S201). Specifically, the determination unit 26 receives an alert from the monitoring device 50, adds necessary information to generate alert information 500 (alert information (A)), and stores the alert information 500 as the alert information 500 in the alert information storage unit 23. save. Then, the determination unit 26 notifies the dissimilarity calculation unit 22 that a new alert has been received. Based on this notification, the dissimilarity calculation unit 22 acquires the alert information (A) stored in the alert information storage unit 23.
  • the dissimilarity calculation unit 22 acquires alert information 500 other than the alert information (A) from the alert information storage unit 23, that is, the alert information 500 to be compared (step S202).
  • the alert information 500 excluding the alert information (A) is past alert information 500 with respect to the alert information (A). That is, the alert information 500 to be compared is the past (stored) alert information 500.
  • the dissimilarity calculation unit 22 may acquire all the alert information 500 stored in the alert information storage unit 23. Alternatively, the dissimilarity calculation unit 22 may acquire part of the alert information 500 stored in the alert information storage unit 23. For example, the dissimilarity calculation unit 22 may acquire the alert information 500 that is used to detect the alert information (A) and is detected using the same detection rule as the detection rule. Specifically, the dissimilarity calculation unit 22 may acquire the alert information 500 including the detection rule identifier 504 having the same value as the detection rule identifier 504 of the alert information (A). Alternatively, the dissimilarity calculation unit 22 may acquire the alert information 500 in which the classification result 506 included in the alert information 500 is a predetermined value (for example, “correct detection” or “false detection”).
  • a predetermined value for example, “correct detection” or “false detection”.
  • the dissimilarity calculation unit 22 calculates dissimilarity between the alert information (A) and each past alert information 500 extracted (step S203).
  • the “dissimilarity” is a distance between the alert information (A) and each extracted alert information 500. More specifically, the “dissimilarity” is a value corresponding to the distance between the alert information (A) and each extracted alert information 500. When the distance is large, the dissimilarity increases.
  • the dissimilarity calculation unit 22 can use various distances as the dissimilarity.
  • the dissimilarity calculation unit 22 may use a distance between feature vectors calculated based on the alert information 500 used by the machine learning unit 21 described above.
  • the dissimilarity calculation unit 22 may use an edit distance between the communication information 507 included in each alert information 500 as the dissimilarity.
  • the dissimilarity is an example of the dissimilarity according to the present embodiment.
  • the dissimilarity according to the present embodiment is not limited to the above.
  • the dissimilarity calculating unit 22 After calculating the dissimilarity with each alert information 500, the dissimilarity calculating unit 22 has the dissimilarity in a predetermined order (K) when arranged in ascending order among the calculated dissimilarities. Select. Then, the dissimilarity calculation unit 22 sets the selected dissimilarity as the dissimilarity between the alert information (A) and the past alert information 500 (step S204). In other words, the dissimilarity calculation unit 22 sets the dissimilarity of the alert information (A) corresponding to the newly received alert in a predetermined order (K) from the smallest of the calculated dissimilarities. Adopt dissimilarity. That is, the dissimilarity of the alert information (A) is a dissimilarity with the past alert information 500 corresponding to the vicinity of K of the alert information (A).
  • the predetermined order (K) is a value set in advance in the dissimilarity calculation unit 22.
  • FIG. 6 is a flowchart illustrating an example of an operation for updating the alert information 500 in the determination unit 26 according to the present embodiment.
  • the determination unit 26 starts the following operation when receiving a new alert (step S301).
  • the determination unit 26 creates alert information 500 (in this case, alert information (A)) corresponding to the alert, and stores the created alert information 500 in the alert information storage unit 23.
  • the determination part 26 performs the following operation
  • the determination unit 26 determines alert information (A) using the classifier created by the machine learning unit 21 described with reference to FIG. 4 (step S302). More specifically, the determination unit 26 determines using the classifier as follows.
  • the determination unit 26 calculates a feature vector based on the alert information (A). This operation is the same as step S102 shown in FIG. Therefore, the determination unit 26 may request the machine learning unit 21 to calculate a feature vector. Next, the determination unit 26 inputs the calculated feature vector to the classifier. And the determination part 26 acquires the determination result (a right detection or a false detection) of alert information (A) as an output of a classifier. Note that the determination unit 26 may request the machine learning unit 21 to perform feature vector determination processing using a classifier in addition to calculation of feature vectors. That is, in the information processing apparatus 20, the machine learning unit 21 may execute step S302.
  • the determination part 26 determines whether the determination result of a classifier is a positive detection (step S303).
  • the determination unit 26 sets “1 (required)” in the presentation flag 505 of the alert information (A) (step S306).
  • the determination unit 26 acquires the dissimilarity with respect to the alert information (A) calculated by the dissimilarity calculation unit 22 described with reference to FIG. Step S304).
  • the determination part 26 determines whether a dissimilarity is more than a predetermined threshold value (step S305).
  • the threshold used here is a value set in the determination unit 26 in advance.
  • the determination unit 26 sets “1 (necessary)” in the presentation flag 505 (step S306).
  • the determination unit 26 sets “0 (unnecessary)” to the presentation flag 505 (step S307). Further, the determination unit 26 sets the classification result 506 to “false detection / automatic” in order to indicate that the own device (mechanically) has determined the false detection (step S308).
  • FIG. 7 is a sequence diagram illustrating an example of an operation of storing the classification result 506 in the alert information 500 in the information processing system 10 according to the present embodiment.
  • the alert display unit 31 of the presentation device 30 requests the information processing device 20 to transmit the alert information 500 (S401).
  • the determination unit 26 of the information processing device 20 transmits the alert information 500 stored in the alert information storage unit 23 to the presentation device 30 based on the request from the alert display unit 31 (S402).
  • the alert display unit 31 of the presentation device 30 presents the received alert information 500 (S403).
  • the alert display unit 31 may display all received alert information 500. However, in order to clarify the display, it is desirable that the alert display unit 31 selects and displays the alert information 500 whose presentation flag 505 is “1 (necessary)” as the alert information 500 to be displayed. Furthermore, the alert display unit 31 preferably selects and displays the alert information 500 for which the operator's judgment is not set, specifically, the alert information 500 whose classification result 506 is “blank”. For example, in the case of the alert information 500 shown in FIG. 8, the alert display unit 31 desirably displays the alert information 500 on the sixth line.
  • the presentation device 30 can display appropriate alert information 500 for the operator based on the alert information 500 created by the information processing device 20.
  • the machine learning unit 21 of the information processing apparatus 20 may transmit alert information 500 that satisfies the above conditions.
  • the input unit 32 of the presentation device 30 receives an instruction (correct detection or erroneous detection) for the displayed alert information 500 from the operator (S404).
  • the input unit 32 sends the received instruction (correction detection or erroneous detection) to the information processing apparatus 20 (S405).
  • the determination unit 26 of the information processing apparatus 20 sets (stores) the received instruction in the alert information 500 stored in the alert information storage unit 23 (S406).
  • the information processing apparatus 20 can produce an effect of creating alert information 500 that can be appropriately presented to an operator.
  • the machine learning unit 21 of the information processing apparatus 20 generates a classifier used for classifying the alert information 500 based on the machine learning. Further, the dissimilarity calculation unit 22 calculates the dissimilarity between the received alert information (A) and the past alert information 500. Then, the determination unit 26 determines whether or not it is necessary to present the alert information 500 to the operator based on the classification result 506 and the dissimilarity based on the classifier, and the determination result is indicated by the presentation flag 505 of the alert information 500. It is for setting to.
  • the presentation device 30 that presents the alert information 500 to the operator uses the presentation flag 505 in addition to the classification result 506 based on the classifier generated by the machine learning unit 21. be able to. That is, the presentation device 30 can select the alert information 500 to be presented based on the presentation flag 505 in addition to the classification result 506. More specifically, the presentation device 30 can select the alert information 500 having low similarity to the past alert information 500 based on the presentation flag 505 and present it to the operator.
  • the information processing apparatus 20 facilitates selection of the alert information 500 having characteristics different from the past alert information 500.
  • the information processing system 10 including the information processing apparatus 20 can obtain the classification result 506 for the alert information 500 having characteristics different from the past alert information 500. As a result, the information processing system 10 can reduce the occurrence of false negatives in the alert information 500.
  • FIG. 9 is a block 9 showing an example of the configuration of the information processing system 11 including the information processing apparatus 60 according to the second embodiment.
  • the information processing system 11 is different from the information processing system 10 according to the first embodiment in that an information processing device 60 is included instead of the information processing device 20. Therefore, the description of the same configuration and operation as in the first embodiment will be omitted, and the configuration and operation related to the present embodiment will be described.
  • FIG. 10 is a block diagram illustrating an example of the configuration of the information processing apparatus 60 according to the second embodiment.
  • the information processing device 60 includes a redetermination unit 24 in addition to the configuration of the information processing device 20 of the first embodiment. Therefore, a detailed description of the configuration and operation similar to those of the first embodiment will be omitted, and the configuration and operation unique to the present embodiment will be mainly described.
  • the re-determination unit 24 re-determines the alert information 500 stored in the alert information storage unit 23 using the classifier created (updated) by the machine learning unit 21.
  • FIG. 11 is a flowchart showing an example of the operation of the re-determination unit 24 according to the second embodiment.
  • the re-determination unit 24 first extracts the alert information 500 whose classification result 506 is “false detection / automatic” from the alert information 500 stored in the alert information storage unit 23 (step S601). That is, the re-determination unit 24 sets the alert information 500 classified as erroneous detection by its own device as a processing target. In other words, the re-determination unit 24 extracts the alert information 500 that re-determines the classification result 506.
  • the alert information 500 for re-determining the classification result 506 may be referred to as third alert information.
  • the re-determination unit 24 calculates a feature vector for the extracted alert information 500 (step S602).
  • the re-determination unit 24 applies the calculated feature vector to the updated classifier, and acquires the determination result. That is, the re-determination unit 24 re-determines the feature vector using the updated classifier (step S603).
  • the re-determination unit 24 updates the presentation flag 505 of the alert information 500 to “1 (required)” (step S604).
  • the determination unit 26 may be configured to include the re-determination unit 24 in order to unify the functions for the alert information 500.
  • the re-determination unit 24 does not update the presentation flag 505 of the alert information 500.
  • the information processing apparatus 60 updates the presentation flag 505 based on the operation of the re-determination unit 24.
  • the information processing apparatus 60 can transmit the alert information 500 in which the presentation flag 505 is updated to the presentation apparatus 30.
  • the alert display unit 31 of the presentation device 30 displays alert information 500 determined as “correct detection” after the update to the operator.
  • the information processing apparatus 20 can receive an operator's instruction for the updated alert information 500 from the presentation apparatus 30.
  • the machine learning unit 21 updates the classifier. Therefore, the information processing apparatus 60 can update the classification result 506 using the updated classifier. Therefore, the information processing apparatus 60 can set the classification result 506 more accurately than the information processing apparatus 20.
  • the re-determination unit 24 uses the alert information 500 with the classification result 506 of “false detection / automatic” as a target of re-determination.
  • the redetermination unit 24 may further limit the target alert information 500.
  • the re-determination unit 24 may use, for example, the alert information 500 detected after a predetermined time as a re-determination target using the detection time 501 included in the alert information 500.
  • the machine learning part 21 may exclude the classification result 506 classified by the own apparatus from the learning sample in the machine learning. This is because it may be desirable for the machine learning unit 21 to avoid re-referencing the determination result (classification result) based on the machine learning of the own device in the re-determination.
  • the information processing apparatus 60 can achieve the effect of achieving a more accurate determination.
  • the re-determination unit 24 included in the information processing apparatus 60 re-determines the alert information 500 classified as erroneous detection by the own apparatus by using the updated classifier.
  • the updated classifier is created in a state where learning samples in the machine learning unit 21 are expanded. Therefore, it can be expected that the updated classifier has improved classification accuracy compared to the previous classifier. Therefore, the re-determination classification result 506 using the updated classifier in the re-determination unit 24 is more accurate than the classification result 506 using the previous classifier. is there.
  • the method for calculating the dissimilarity in the information processing apparatus 20 need not be limited to the method already described.
  • the information processing apparatus 20 may use information representing the characteristics of the alert information 500 using the dissimilarity calculation method.
  • information representing the characteristics of the alert information 500 may be used as a feature of the alert information 500.
  • FIG. 12 is a block diagram illustrating an example of the configuration of the information processing system 12 including the information processing apparatus 70 according to the third embodiment.
  • the information processing system 12 is different from the information processing system 10 according to the first embodiment in that an information processing device 70 is included instead of the information processing device 20. Therefore, the description of the same configuration and operation as in the first embodiment will be omitted, and the configuration and operation related to the present embodiment will be described.
  • FIG. 13 is a block diagram showing an example of the configuration of the information processing apparatus 70 according to the third embodiment.
  • the information processing device 70 is different from the information processing device 20 in the first embodiment in that a dissimilarity calculation unit 25 is included instead of the dissimilarity calculation unit 22. Therefore, detailed description of the configuration and operation similar to those of the first embodiment will be omitted, and the configuration and operation unique to the present embodiment will be described. That is, the dissimilarity calculation unit 25 will be described.
  • the dissimilarity calculation unit 25 calculates the dissimilarity between the alert information (A) corresponding to the newly received alert and the past alert information 500, similarly to the dissimilarity calculation unit 22. However, the dissimilarity calculating unit 25 uses a different method from the dissimilarity calculating unit 22 for calculating the dissimilarity. That is, the dissimilarity calculation unit 25 calculates distribution information in the feature vector calculated based on the alert information 500, and uses the calculated distribution information to calculate the dissimilarity with respect to the feature vector calculated based on the alert information (A). Is calculated.
  • the distribution information is information that summarizes the distribution of the alert information 500 on the feature vector space.
  • the dissimilarity calculation unit 25 uses the normal ( ⁇ ) and variance (or covariance matrix ( ⁇ )) in the distribution to determine its normality.
  • the relationship of information to be evaluated with respect to the distribution can be calculated.
  • the relationship calculated by the dissimilarity calculation unit 25 is, for example, the Mahalanobis distance indicating the degree of disagreement (dissimilarity).
  • the dissimilarity calculation unit 25 obtains the average ( ⁇ ) and the covariance matrix ( ⁇ ) of the alert information 500 as the distribution information.
  • the feature vector in this description may be, for example, the feature vector in the machine learning of the first embodiment already described, but is not limited thereto.
  • the feature vector in this description may be a histogram (H).
  • the dissimilarity calculation unit 25 may store the calculated distribution information in a storage unit (not shown) when the calculated distribution information is used for an operation for calculating the next dissimilarity.
  • FIG. 14 is a flowchart showing an example of the operation of the dissimilarity calculation unit 25 according to the third embodiment.
  • the distribution information used by the dissimilarity calculation unit 25 according to the present embodiment is not particularly limited.
  • the distribution information is a parameter that determines a distribution such as an average or a variance, for example.
  • the dissimilarity calculation unit 25 uses the average value ( ⁇ ) of the histogram (H) representing the number of appearances of the character string included in the communication information 507 in the alert information (A) and the variance as the distribution information.
  • ⁇ a covariance matrix
  • the dissimilarity calculation unit 25 has already calculated and stored distribution information (average value ( ⁇ ) and variance-covariance matrix ( ⁇ )) for the past alert information 500.
  • the dissimilarity calculation unit 25 uses the Mahalanobis distance (D) as an example of the distance.
  • the dissimilarity calculation unit 25 starts the operation at the timing when the alert information (A) is received, similarly to the dissimilarity calculation unit 22 (step S201).
  • the dissimilarity calculation unit 25 creates a histogram (H) for the character string included in the communication information 507 in the alert information (A) (step S205).
  • the dissimilarity calculation unit 25 uses the created histogram (H) and the distribution information (average value ( ⁇ ) and variance-covariance matrix ( ⁇ )) for the past alert information 500 stored.
  • the Mahalanobis distance (D) is calculated (step S206).
  • the Mahalanobis distance (D) calculated here is the dissimilarity in the present embodiment.
  • the dissimilarity calculation unit 25 updates the distribution information (average value ( ⁇ ) and variance-covariance matrix ( ⁇ )) for the past alert information 500 using the created histogram (H) (step S207). .
  • the dissimilarity calculation unit 25 of the present embodiment receives the alert information (A)
  • the dissimilarity calculation unit 25 updates the distribution information used for calculating the dissimilarity. Based on this update, the dissimilarity calculation unit 25 can approximately calculate the variance-covariance matrix ( ⁇ ) for the past alert information 500.
  • the information processing apparatus 70 may include a function corresponding to the redetermination unit 24 according to the second embodiment.
  • the dissimilarity calculation unit 25 uses the histogram (H) of the communication information 507 included in the alert information 500 as the dissimilarity.
  • the dissimilarity calculation unit 25 may use other information as information representing the characteristics of the alert information 500. For example, the dissimilarity calculation unit 25 estimates a probability distribution for the communication information 507 based on the communication information 507 of the past alert information 500. And the dissimilarity calculation part 25 may use the low appearance probability of alert information (A) in the estimated probability distribution as the dissimilarity.
  • Information representing the characteristics of the alert information 500 is information in which the alert information 500 is collected. Therefore, in general, the number of pieces of information representing the characteristics of the alert information 500 is smaller than the number of alert information 500. Therefore, the dissimilarity calculation unit 25 has a smaller amount of information to process than the dissimilarity calculation unit 22. As a result, the dissimilarity calculation unit 25 can reduce the processing cost compared to the dissimilarity calculation unit 22.
  • the information processing apparatus 70 according to the third embodiment can achieve the effect of efficiently calculating the dissimilarity in addition to the effect of the first embodiment.
  • the dissimilarity calculation unit 22 of the information processing apparatus 20 needs to calculate the dissimilarity between the alert information (A) and the plurality of alert information 500.
  • the dissimilarity calculation unit 25 calculates the dissimilarity of the alert information (A) using the distribution information of the past alert information 500.
  • the distribution information of the past alert information 500 is information obtained by collecting a plurality of alert information 500 into a small number of information. That is, the dissimilarity calculation unit 25 calculates the dissimilarity of the alert information (A) by using less information compared to the alert information 500.
  • the information processing apparatus 20, the information processing apparatus 60, and the information processing apparatus 70 described above are configured as follows.
  • each component of the information processing apparatus 20 may be configured with a hardware circuit.
  • the information processing apparatus 20 may be configured using a plurality of apparatuses in which each component is connected via a network (not shown).
  • the information processing apparatus 20 may be configured with the alert information storage unit 23 as an external storage device (not shown).
  • FIG. 16 is a block diagram illustrating an example of the configuration of the information processing apparatus 90 according to the first modification of the information processing apparatus 20.
  • the information processing apparatus 90 is configured with the alert information storage unit 23 as an external storage device connected via a network (not shown).
  • the information processing apparatus 90 includes a machine learning unit 21, a dissimilarity calculation unit 22, and a determination unit 26.
  • the information processing apparatus 90 configured in this way can obtain the same effects as the information processing apparatus 20.
  • each configuration included in the information processing device 90 can operate in the same manner as the configuration of the information processing device 20 using the alert information storage unit 23 provided in the external storage device.
  • the information processing apparatus 90 is the minimum configuration in the embodiment of the present invention.
  • the information processing apparatus 20 may be configured with a plurality of components by a single piece of hardware.
  • the information processing apparatus 20 may be realized as a computer apparatus including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • the information processing device 20 may be realized as a computer device that further includes an input / output connection circuit (IOC: Input / Output Circuit) and a network interface circuit (NIC: Network Interface Circuit).
  • IOC Input / Output Circuit
  • NIC Network Interface Circuit
  • FIG. 15 is a block diagram illustrating an example of the configuration of the information processing apparatus 700 according to the second modification of the information processing apparatus 20. That is, FIG. 15 is a block diagram illustrating an example of the configuration of the information processing apparatus 700, which is an example when the information processing apparatus 20 is realized as the above-described computer apparatus.
  • the information processing apparatus 700 includes a CPU 710, a ROM 720, a RAM 730, an internal storage device 740, an IOC 750, and a NIC 780, and constitutes a computer.
  • CPU 710 reads a program from ROM 720.
  • the CPU 710 controls the RAM 730, the internal storage device 740, the IOC 750, and the NIC 780 based on the read program.
  • the computer including the CPU 710 controls these configurations and implements the functions as the machine learning unit 21, the dissimilarity calculation unit 22, and the determination unit 26 illustrated in FIG.
  • the CPU 710 may use the RAM 730 or the internal storage device 740 as a temporary program storage when realizing each function.
  • the CPU 710 may read a program included in the storage medium 790 storing the program so as to be readable by a computer using a storage medium reading device (not shown).
  • the CPU 710 may receive a program from an external device (not shown) via the NIC 780, store the program in the RAM 730, and operate based on the stored program.
  • ROM 720 stores a program executed by CPU 710 and fixed data.
  • the ROM 720 is, for example, a P-ROM (Programmable-ROM) or a flash ROM.
  • the RAM 730 temporarily stores programs executed by the CPU 710 and data.
  • the RAM 730 is, for example, a D-RAM (Dynamic-RAM).
  • the internal storage device 740 stores data and programs that the information processing device 700 stores for a long time. Further, the internal storage device 740 may operate as a temporary storage device for the CPU 710. The internal storage device 740 operates as the alert information storage unit 23.
  • the internal storage device 740 is, for example, a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), or a disk array device.
  • the ROM 720 and the internal storage device 740 are non-transitory storage media.
  • the RAM 730 is a volatile storage medium.
  • the CPU 710 can operate based on a program stored in the ROM 720, the internal storage device 740, or the RAM 730. That is, the CPU 710 can operate using a nonvolatile storage medium or a volatile storage medium.
  • the IOC 750 mediates data between the CPU 710, the input device 760, and the display device 770.
  • the IOC 750 is, for example, an IO interface card or a USB (Universal Serial Bus) card.
  • the input device 760 is a device that receives an input instruction from an operator of the information processing apparatus 700.
  • the input device 760 is, for example, a keyboard, a mouse, or a touch panel.
  • the display device 770 is a device that displays information to the operator of the information processing apparatus 700.
  • the display device 770 is a liquid crystal display, for example.
  • the NIC 780 relays data exchange with an external device (not shown) via the network.
  • the NIC 780 is, for example, a LAN card.
  • the information processing apparatus 700 configured in this way can obtain the same effects as the information processing apparatus 20.
  • First alert information including the first alert that has already been received and information related to the first alert, and second alert information that includes information related to the newly received second alert and second alert Dissimilarity calculating means for calculating dissimilarity that is a distance from Applying machine learning to the first alert information, generating a classifier that determines a classification result that is a classification determination result related to detection of the first alert information, and applying the classifier to the second alert information for classification A mood learning means to determine the results;
  • the determination result is false detection indicating erroneous detection and the dissimilarity is less than a predetermined threshold
  • the determination result is set in the classification result of the second alert information, and the second alert information is presented Set information indicating that presentation is not necessary in the information indicating
  • the determination result is a positive detection indicating correct detection, or when the determination result is a false detection indicating erroneous detection and the dissimilarity is equal to or higher than a predetermined threshold, the second alert information is presented.
  • An information processing apparatus comprising: determination means for setting information
  • Machine learning means As machine learning, As the first alert information applied to machine learning, the first alert information in which the determined classification result other than the own device is set is extracted, The information processing apparatus according to appendix 1, wherein a classifier is created based on the classification result set in the extracted first alert information.
  • Machine learning means A first feature vector is calculated based on the extracted first alert information, a classifier is generated by applying the calculated first feature vector to machine learning, and a second feature is generated based on the second alert information.
  • the information processing apparatus according to appendix 2, wherein a vector is calculated and the second feature vector is applied to a classifier to determine a classification result.
  • the judging means When the second alert information is received, the classification result of the second alert information is determined using a classifier, and the determination result which is another result is set in the second alert information.
  • Information processing device When the second alert information is received, the classification result of the second alert information is determined using a classifier, and the determination result which is another result is set in the second alert information.
  • the dissimilarity calculation means Any one of the supplementary notes 1 to 4, wherein a distance in a predetermined order is set as a dissimilarity when the distance between the second alert information and a part or all of the first alert information is arranged from a smaller one
  • Dissimilarity calculation means The degree of low appearance probability of the communication information included in the second alert information with respect to the distribution of information included in the communication information included in the first alert information is calculated as the dissimilarity.
  • the dissimilarity calculation means The information processing apparatus according to any one of appendices 1 to 4, wherein distribution information about the first alert information is calculated as dissimilarity, and a relationship of the second alert information with respect to the calculated distribution information is calculated.
  • Dissimilarity calculation means The degree of low appearance probability of the communication information included in the second alert information with respect to the distribution of information included in the communication information included in the first alert information is calculated as the dissimilarity.
  • Appendix 9 Extract third alert information for resetting the classification result from the first alert information, Calculating a feature vector of the third alert information;
  • the information processing apparatus according to any one of appendices 1 to 8, further including a re-determination unit that re-determines the classification result of the third alert information by applying the feature vector of the third alert information to the classifier.
  • Appendix 10 The information processing apparatus according to any one of appendices 1 to 9, Alert display means for receiving first alert information from the information processing apparatus and displaying a classification result;
  • An information processing system comprising: an input unit that receives an input for a classification result in the displayed alert information and transmits the input to the information processing device.
  • First alert information including the first alert that has already been received and information related to the first alert, and second alert information that includes information related to the newly received second alert and second alert Dissimilarity, which is the distance to Applying machine learning to the first alert information, generating a classifier that determines a classification result that is a classification determination result related to detection of the first alert information, Apply a classifier to the second alert information to determine the classification result,
  • the determination result is false detection indicating erroneous detection and the dissimilarity is less than a predetermined threshold
  • the determination result is set in the classification result of the second alert information, and the second alert information is presented Set information indicating that presentation is not necessary in the information indicating
  • the determination result is a positive detection indicating correct detection, or when the determination result is a false detection indicating erroneous detection and the dissimilarity is equal to or higher than a predetermined threshold
  • the second alert information is presented.
  • First alert information including the first alert that has already been received and information related to the first alert, and second alert information that includes information related to the newly received second alert and second alert
  • the determination result is false detection indicating erroneous detection and the dissimilarity is less than a predetermined threshold
  • the determination result is set in the classification result of the second alert information, and the second alert information is presented
  • a process of setting information indicating that presentation is not necessary in the information indicating When the determination result is a positive detection indicating correct detection, or when the determination result is a false detection indicating erroneous detection and the dissimilarity is equal to or higher than a predetermined threshold, the second alert information is presented.
  • a computer-readable storage medium storing
  • Information processing system 11 Information processing system 12 Information processing system 20 Information processing apparatus 21 Machine learning part 22 Dissimilarity degree calculation part 23 Alert information storage part 24 Re-determination part 25 Dissimilarity degree calculation part 26 Judgment part 30 Presentation apparatus 40 Network 50 Monitoring device 60 Information processing device 70 Information processing device 90 Information processing device 500 Alert information 501 Detection time 502 Transmission source IP address 503 Transmission destination IP address 504 Detection rule identifier 505 Presentation flag 506 Classification result 507 Communication information 700 Information processing device 710 CPU 720 ROM 730 RAM 740 Internal storage device 750 IOC 760 Input device 770 Display device 780 NIC 790 storage media

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

オペレータに適切に提示することができるアラート情報を作成するため、本発明の情報処理装置は、既に受信した第１のアラート情報と、新たに受信した第２のアラート情報と非類似度を算出する非類似度算出手段と、第１のアラート情報に機械学習を適用し、分類結果を判定する分類器を生成する機械学習手段と、第２のアラート情報に分類器を適用して分類結果を判定し、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第２のアラート情報の分類結果に判定の結果を設定し、第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する判定手段とを含む。

Description

情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体
　本発明は、情報の通信に関し、特に、通信を監視する情報処理装置、情報処理システム、情報処理方法、及び記憶媒体に関する。
　情報を通信しているネットワークを監視する装置は、監視対象のネットワークに対する攻撃又は不正侵入を防ぐことを目的として、ファイアウォール又はＩＤＳ（Intrusion Detection System）などを用いて、通信を監視し、必要に応じて通信を遮断する。近年、知的財産又は機密情報の窃取を目的とした標的型攻撃が、増加している。そのため、ネットワークに対するサイバーセキュリティ（cybersecurity）の需要が、高まっている。サイバーセキュリティを実現する技術としては、ＳＯＣ（Security Operation Center）を用いて、ネットワークの監視及びインシデント（incident）に対応する技術が、一般的になっている。
　ネットワークを監視する装置は、ファイアウォール又はＩＤＳなどの機能を実現する監視機器が検知したアラート（alert）を、危険度に基づいて、分類する（例えば、非特許文献１を参照）。なお、アラートとは、注意を促すメッセージである。例えば、アラートは、ネットワークにおける異常を検知したことを通知するメッセージである。
　ただし、監視機器が検知を基に作成するアラートには、インシデントとして報告する必要がないアラートが含まれている。例えば、監視機器が検知したアラートには、危険性が低いアラート、又は、誤検知であるアラートが、含まれる。
　そのため、ネットワークの監視業務を行う操作者（オペレータ：operator）は、下記のような情報、つまり、検知されたアラートに含まれる情報、又は、外部情報を参照して、アラートを分類し、アラートに危険度を設定する。そして、ネットワークを監視する装置は、オペレータが設定した危険度を基に、必要に応じて、インシデントに対応したアラートとして、検知したアラートを報告する。
　なお、上記の分類において参照する情報として、例えば、アラートを検知した検知ルール、送信元ホストのＩＰ（Internet Protocol）アドレス及びポート番号、並びに、送信先ホストのＩＰアドレス及びポート番号がある。あるいは、上記の分類において参照する情報として、例えば、セキュリティベンダーがアラートを検知するために用いた検知ルールに割り当てた重要度、及び、検知の原因となった通信（例えば、パケット）に含まれる通信情報がある。
　非特許文献１に記載のシステムは、アラートを分類する。より詳細には、非特許文献１に記載のシステムは、分類に、アラート情報及びアラート情報から得られる集約情報を利用した機械学習を利用する。非特許文献１に記載のシステムは、エージェントモードにおいて、機械学習に基づく分類結果の信頼度が高いアラートを、オペレータに提示せず、処理する。非特許文献１に記載のシステムは、このような動作を基に、オペレータの処理の効率化を図っている。
　ただし、非特許文献１に記載のシステムには、正検知であるアラートを誤検知のアラートと判定する誤陰性のリスクがある。そこで、非特許文献１に記載のシステムは、機械学習を用いた分類結果に基づいてオペレータへの提示が不要と判定したアラートの中から、ランダムに、一部のアラートを抽出し、オペレータに提示をする。このような動作を基に、非特許文献１に記載のシステムは、分類における誤陰性を抑制している。
Tadeusz Pietraszek, "Using Adaptive Alert Classification to Reduce False Positives in Intrusion Detection", Recent Advances in Intrusion Detection (Subtitle: 7th international Symposium, RAID 2004, Sophia Antipolis, France, September 15-17, 2004), pp. 102-124, 2004
　機械学習に用いられた学習サンプルに含まれるアラート（以下、このようなアラートを、単に「学習アラート」と呼ぶ）との類似性が高いアラートは、学習アラートが持つ特徴と、同様の特徴を持つ可能性が高い。つまり、学習アラートとの類似性が高いアラートにおいて、誤陰性が発生する可能性は、低い。
　反対に、学習アラートとの類似性が低いアラートは、学習アラートとは異なる特徴を持つ可能性が高い。そのため、学習アラートとの類似性が高いアラートと比較すると、学習アラートとの類似性が低いアラートにおいて、誤陰性が発生する可能性が、高くなる。
　そのため、オペレータに提示されるアラートは、学習アラートとの類似性が低いアラートであることが望ましい。
　しかしながら、上記の非特許文献１に記載の技術におけるアラートの抽出は、ランダムな抽出である。ランダムな抽出は、機械学習と関連しない抽出である。非特許文献１に記載の技術は、オペレータに提示するアラートとして、学習アラートとの類似性を考慮しないで、アラートを抽出する。つまり、非特許文献１に記載のシステムは、オペレータに提示するアラートとして、適切ではないアラートを提示してしまう場合があった。
　このように、非特許文献１に記載の技術は、オペレータに、適切なアラートを提示できないという問題点があった。
　本発明の目的は、上記問題点を解決し、オペレータに適切に提示することができるアラート情報を作成する情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体を提供することにある。
　本発明の一形態における情報処理装置は、既に受信した第１のアラートと第１のアラートに関連する情報とを含む第１のアラート情報と、新たに受信した第２のアラートと第２のアラートに関連する情報を含む第２のアラート情報との距離である非類似度を算出する非類似度算出手段と、第１のアラート情報に機械学習を適用し、第１のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、第２のアラート情報に分類器を適用して分類結果を判定する機械学習手段と、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第２のアラート情報の分類結果に判定の結果を設定し、第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する判定手段とを含む。
　本発明の一形態における情報処理システムは、上記の情報処理装置と、情報処理装置から第１のアラート情報を受信し、分類結果と表示するアラート表示手段と、表示されたアラート情報における分類結果に対する入力を受信し、情報処理装置に送信する入力手段とを含む提示装置とを含む
　本発明の一形態におけるデータ処理方法は、既に受信した第１のアラートと第１のアラートに関連する情報とを含む第１のアラート情報と、新たに受信した第２のアラートと第２のアラートに関連する情報を含む第２のアラート情報との距離である非類似度を算出し、第１のアラート情報に機械学習を適用し、第１のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、第２のアラート情報に分類器を適用して分類結果を判定し、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第２のアラート情報の分類結果に判定の結果を設定し、第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する。
　本発明の一形態における記憶媒体は、既に受信した第１のアラートと第１のアラートに関連する情報とを含む第１のアラート情報と、新たに受信した第２のアラートと第２のアラートに関連する情報を含む第２のアラート情報との距離である非類似度を算出する処理と、第１のアラート情報に機械学習を適用し、第１のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成する処理と、第２のアラート情報に分類器を適用して分類結果を判定する処理、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第２のアラート情報の分類結果に判定の結果を設定し、第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定する処理と、判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する処理とをコンピュータに実行させるプログラムを記憶する。
　本発明に基づけば、オペレータに適切に提示することができるアラート情報を作成するとの効果を奏することができる。
図１は、本発明における第１の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。 図２は、第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図３は、第１の実施形態に係る提示装置の構成の一例を示すブロック図である。 図４は、第１の実施形態に係る機械学習部における機械学習の動作の一例を示すフローチャートである。 図５は、第１の実施形態に係る非類似度算出部における非類似度算出の動作の一例を示すフローチャートである。 図６は、第１の実施形態に係る判定部におけるアラート情報を更新する動作の一例を示すフローチャートである。 図７は、第１の実施形態に係る情報処理システムにおけるアラート情報に分類結果を設定する動作の一例を示すシーケンス図である。 図８は、第１の実施形態の説明に用いるアラート情報の一例を示す図である。 図９は、第２の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。 図１０は、第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図１１は、第２の実施形態に係る再判定部の動作の一例を示すフローチャートである。 図１２は、第３の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。 図１３は、第３の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図１４は、第３の実施形態に係る非類似度算出部の動作に一例を示すフローチャートである。 図１５は、変形例に係る情報処理装置の構成の一例を示すブロック図である。 図１６は、変形例に係る情報処理装置の構成の一例を示すブロック図である。
　次に、本発明の実施の形態について図面を参照して詳細に説明する。
　各図面は、本発明の実施形態を説明するものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。
　また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
　各実施形態の説明の前に、以下の説明に用いるアラート情報について説明する。
　「アラート情報」とは、アラート（アラートには、アラートの原因となった通信に関する情報が含まれる）と、アラートに関連する情報（例えば、アラートの判定の結果）とを含む情報である。
　図８は、以下の説明の用いるアラート情報５００の一例を示す図である。図８において、各行が、各アラート情報５００を示している。
　図８に示すように、アラート情報５００は、検知時刻５０１と、送信元ＩＰ（Internet Protocol）アドレス５０２と、送信先ＩＰアドレス５０３と、検知ルール識別子５０４と、提示フラグ５０５と、分類結果５０６と、通信情報５０７とを含む。
　アラート情報５００において、検知時刻５０１と、送信元ＩＰアドレス５０２と、送信先ＩＰアドレス５０３と、検知ルール識別子５０４と、通信情報５０７が、アラートの原因となった通信に関する情報である。つまり、監視対象のネットワークを監視する監視装置は、アラートとして、これらの情報を、各実施形態に係る情報処理装置に送信する。
　なお、情報処理装置に送信されるアラートが含む情報は、これらに限る必要はない。アラートは、他の情報を含んでもよい。例えば、アラートは、送信元及び送信先のポート番号を含んでもよい。また、アラートは、上記情報の一部を含まなくてもよい。
　また、提示フラグ５０５と分類結果５０６とが、アラートに関連する情報である。
　続いて、図８に示されているアラート情報５００に含まれる各情報を説明する。
　検知時刻５０１は、監視装置がアラートを検知した時刻である。
　送信元ＩＰアドレス５０２は、アラートの原因となった通信における送信元の装置（例えば、送信元ホスト）のアドレスである。
　送信先ＩＰアドレス５０３は、アラートの原因となった通信における送信先の装置（例えば、送信先ホスト）のアドレスである。
　検知ルール識別子５０４は、監視装置がアラートを検知するときに用いたルールを識別する識別子である。
　通信情報５０７は、アラートの原因となった通信において、通信された情報である。通信情報５０７は、例えば、通信に用いられるパケットのペイロードとして含まれるバイト列、又は、ＨＴＴＰ（Hyper Text Transfer Protocol）要求、若しくは、ＨＴＴＰ応答に含まれる文字列である。
　提示フラグ５０５は、提示装置において、そのアラート情報５００を、オペレータに提示する必要があるか否かを表す情報である。後ほど説明するように、各実施形態に係る情報処理装置の機械学習部が、提示フラグ５０５の値を設定する。なお、提示フラグ５０５の値は、特に制限はない。そのため、以下の説明では、提示フラグ５０５における「１」の値が、オペレータに提示する必要があることを示し、提示フラグ５０５における「０」の値が、オペレータに提示する必要がないことを示すとする。つまり、各情報処理装置の機械学習部は、オペレータを提示する必要がある場合、提示フラグ５０５に「１（必要）」を設定し、オペレータを提示する必要がない場合、提示フラグ５０５に「０（不要）」を設定する。提示フラグ５０５の初期値は、「１（必要）」とする。
　分類結果５０６は、アラートの検知を分類した情報である。つまり、分類結果５０６は、アラート情報５００が正しく検知されたか、誤って検知されたかを示す情報である。さらに、分類結果５０６は、分類を実行した主体を示す情報を含んでもよい。例えば、以下で説明する情報処理装置が分類した結果には、そのことを示す情報（以下、「／自動」とする）を含んでもよい。
　そのため、以下の説明では、分類結果５０６には、「正検知」、「誤検知」、「誤検知／自動」、又は、「空欄（未入力又は未設定を示す）」を示す値のいずれかの値が設定されるとする。分類結果５０６は、上記の値を数値として保持してもよく、数値以外の値（例えば、文字列）として保持してもよい。分類結果５０６の初期値は、「空欄」である。
　ただし、各実施形態に係る情報処理装置は、「正検知」について、他者の判定を不要とする処理を含んでもよい。その場合、分類結果５０６は、「正検知／自動」に対応する情報を含む。
　なお、アラート情報５００が含む情報は、上記の情報に限る必要はない。アラート情報５００は、他の情報を含んでもよい。あるいは、アラート情報５００は、以下で説明する動作を実現できる限り、一部の情報を含まなくてもよい。
　＜第１の実施形態＞
　まず、本発明における第１の実施形態に構成について説明する。
　［構成の説明］
　図１は、本発明における第１の実施形態に係る情報処理装置２０を含む情報処理システム１０の構成の一例を示すブロック図である。
　図１に示すように、情報処理システム１０は、情報処理装置２０と、提示装置３０と、ネットワーク４０と、監視装置５０とを含む。
　ネットワーク４０は、本実施形態における、つまり、情報処理システム１０における監視対象である。本実施形態に係るネットワーク４０は、特に制限はない。例えば、ネットワーク４０は、所定の範囲内での使用に限られた社内ネットワークでもよい。あるいは、ネットワーク４０は、物理的なネットワークに限らず、ＶＬＡＮ（Virtual Local Area Network）のような、論理的なネットワークでもよい。そのため、ネットワーク４０の詳細な説明を省略する。
　監視装置５０は、ネットワーク４０における通信情報５０７を監視する。また、監視装置５０は、所定の検知ルールに基づいて、ネットワーク４０で発生した通信の異常を検知する。ここで、ネットワーク４０で発生した通信の異常とは、例えば、ネットワーク４０に対する外部からの攻撃又はネットワーク４０の動作を原因として発生した異常である。そして、監視装置５０は、検知結果（検知した異常）を、アラートとして、情報処理装置２０に通知する。本実施形態に係る監視装置５０は、特に制限はなく、一般的に用いられるネットワーク４０を監視する装置である。そのため、監視装置５０の詳細な説明を省略する。
　提示装置３０は、情報処理システム１０のオペレータに対して、情報処理装置２０が解析した情報（例えば、アラート情報５００）を提示する。また、提示装置３０は、オペレータからの指示を情報処理装置２０に送信する。ここで、指示とは、例えば、アラート情報５００の判定結果（例えば、分類結果５０６に設定する値）である。
　図３は、第１の実施形態に係る提示装置３０の構成の一例を示すブロック図である。
　図３に示すように、提示装置３０は、アラート表示部３１と、入力部３２とを含む。
　アラート表示部３１は、情報処理装置２０から、情報処理装置２０が保存している情報（例えば、アラート情報５００）を受信する。そして、アラート表示部３１は、受信した情報（例えば、アラート情報５００）を表示する。
　なお、アラート表示部３１が表示する情報は、オペレータが、入力部３２に指示を入力するための情報となる。そのため、アラート表示部３１は、情報処理装置２０から受信した情報に加え、別の情報を表示してもよい。あるいは、アラート表示部３１は、オペレータの判定に不要な情報を表示しなくてもよい。さらに、アラート表示部３１は、情報処理装置２０から受信した情報に含まれる情報（例えば、提示フラグ５０５、分類結果５０６、又は、検知時刻５０１）を基に、表示する情報を選択して、表示してもよい。
　入力部３２は、オペレータからの入力（指示）を受信し、情報処理装置２０に送信する。ここで、オペレータの入力とは、アラート情報５００に含まれる情報（例えば、分類結果５０６）の変更を指示する情報である。例えば、入力部３２は、アラート表示部３１が、表示したアラート情報５００に対する、オペレータの判定結果である分類結果５０６の入力（正検知又は誤検知）を受信する。
　そして、入力部３２は、受信したオペレータの入力（指示）を、情報処理装置２０に送信する。
　なお、後ほど詳細に説明するように、情報処理装置２０は、提示装置３０から受信した情報（指示）を、アラート情報５００に保存する。例えば、情報処理装置２０が、提示装置３０から分類結果５０６を受信した場合、情報処理装置２０は、後ほど説明するアラート情報記憶部２３の分類結果５０６に、受信した分類結果５０６の値を保存する。
　次に、第１の実施形態に係る情報処理装置２０について、図面を参照して説明する。
　図２は、第１の実施形態に係る情報処理装置２０の構成の一例を示すブロック図である。
　図２に示すように、情報処理装置２０は、機械学習部２１と、非類似度算出部２２と、アラート情報記憶部２３と、判定部２６とを含む。
　判定部２６は、監視装置５０が検知したアラートを受信し、受信したアラート及びそのアラートに関連する情報（つまり、「アラート情報５００」）をアラート情報記憶部２３に保存する。以下、新たに監視装置５０から受信したアラート（最新のアラート）に対応するアラート情報５００を他のアラート情報５００から区別する場合、「アラート情報（Ａ）」とする。以下、アラート情報（Ａ）を除いたアラート情報５００を、第１のアラート情報と呼ぶ場合がある。また、アラート情報（Ａ）を第２のアラート情報と呼ぶ場合がある。なお、判定部２６は、新たなアラートを受信した場合、必要に応じて、各構成にアラートを受信したことを通知する。
　さらに、判定部２６は、後ほど説明する機械学習部２１における判定結果と非類似度算出部２２が算出する非類似度とを基に、アラート情報５００の値を更新する。
　また、判定部２６は、上記の提示装置３０から依頼を受信し、依頼に対応した情報を提示装置３０に送信する。また、判定部２６は、提示装置３０から情報を受信し、受信した情報をアラート情報記憶部２３に保存する。
　機械学習部２１は、アラート情報５００の分類結果５０６についての機械学習を実行する。より詳細には、機械学習部２１は、機械学習の学習サンプルとして、アラート情報記憶部２３に保存されているアラート情報５００の中において分類結果５０６が空欄（未入力又は未設定）でないアラート情報５００を用いて、機械学習を実行する。つまり、機械学習部２１は、設定済みの分類結果５０６を用いて、分類結果５０６の機械学習を実行する。さらに、分類結果５０６が、自装置で実施した分類示す情報（「／自動」）を保存している場合、機械学習部２１は、自装置で分類した分類結果５０６を学習サンプルから除外してもよい。そして、機械学習部２１は、機械学習を基に、アラート情報５００が正検知であるか誤検知であるかを判定する。
　既に説明しているが、判定部２６は、機械学習部２１の判定の結果を、アラート情報記憶部２３に保存されているアラート情報５００の分類結果５０６に保存する。分類結果５０６が、自装置で実施した分類であることを示す情報（「／自動」）を保存する場合、判定部２６は、判定結果に自装置で分類したことを示す情報（「／自動」）を含めて、分類結果５０６を保存する。なお、既に説明したとおり、本実施形態の情報処理装置２０は、誤検知に関して、自装置で設定したことを示す分類結果５０６（つまり、「誤検知／自動」）を保存する。
　非類似度算出部２２は、情報処理装置２０が新たに受信したアラート情報（Ａ）と、アラート情報記憶部２３に保存されている一部又は全てのアラート情報５００との非類似度を算出する。非類似度算出部２２における非類似度の算出については、後ほど詳細に説明する。
　アラート情報記憶部２３は、アラート情報５００を記憶する。
　［動作の説明］
　次に、本実施形態に係る情報処理装置２０の動作について、図面を参照して詳細に説明する。
　まず、情報処理装置２０における機械学習の動作について、図面を参照して説明する。
　図４は、第１の実施形態に係る機械学習部２１における機械学習の動作の一例を示すフローチャートである。
　機械学習部２１は、まず、アラート情報記憶部２３に保存されているアラート情報５００の中から、学習サンプルとして用いるアラート情報５００を抽出する（ステップＳ１０１）。既に説明した通り、学習サンプルとして用いるアラート情報５００は、情報処理装置２０以外に基づいて分類結果５０６が設定されているアラート情報５００であることが望ましい。例えば、情報処理装置２０は、オペレータから分類結果５０６を受信して設定したアラート情報５００を学習サンプルとして用いる。そのため、本実施形態の説明における学習サンプルは、分類結果５０６が「正検知」又は「誤検知」となっているアラート情報５００となる。
　次に、機械学習部２１は、学習サンプルを基に、特徴ベクトルを算出する（ステップＳ１０２）。ここで、「特徴ベクトル」とは、非類似度を比較するための情報を要素とするベクトルである。また、特徴ベクトルは、通常は、学習サンプルから算出される多次元ベクトルである。特徴ベクトルは、１つの学習サンプルに対して１つ算出される。
　特徴ベクトルの算出方法として、多くの方法が提案されている。機械学習部２１は、本実施形態で用いる特徴ベクトルの算出方法として、一般的な特徴ベクトルの算出方法を用いればよい。例えば、機械学習部２１は、非特許文献１に記載されている、アラート情報５００に含まれる、ＩＰアドレスの区分、ホストの区分、検知ルール識別子、又は、一定時間幅における同一区分に属するアラート数を用いて算出される特徴ベクトルを用いてもよい。あるいは、機械学習部２１は、アラート情報５００に含まれる通信情報５０７をベクトル形式に変換して、特徴ベクトルとして用いてもよい。なお、機械学習部２１は、通信情報５０７をベクトル形式に変換するために、例えば、Ｎグラムの出現頻度を計数すればよい。
　ただし、上記の特徴ベクトルは、機械学習部２１が用いることができる特徴ベクトルの一例である。上記の説明は、本実施形態に係る機械学習部２１の利用可能な特徴ベクトルを、上記の特徴ベクトルに限定するものではない。機械学習部２１は、特徴ベクトルとして、アラート情報５００に含まれる情報を、機械的な算出処理に適用して得られる値を用いることができる。また、機械学習部２１は、上記の特徴ベクトルを組み合わせてもよい。
　機械学習部２１は、学習サンプルの分類結果５０６を教師信号として、機械学習を実行する。そして、機械学習部２１は、機械学習の結果として分類器を作成又は更新する（ステップＳ１０３）。機械学習部２１は、ここでの機械学習として、一般的な機械学習アルゴリズムを用いることができる。例えば、機械学習部２１は、決定木学習、サポートベクタマシーン、又は、アンサンブル学習を用いてもよい。
　機械学習部２１が作成した分類器は、特徴ベクトルを用いて、特徴ベクトルに対応するアラート情報５００が正検知であるか誤検知であるかを判定する。
　なお、機械学習部２１は、用いている学習アルゴリズムが許容している場合、一括学習又は逐次学習のどちらを用いてもよい。
　一括学習を採用する場合は、機械学習部２１は、所定のタイミング又は所定の時間間隔で、上記の機械学習の処理を実行し、分類器を作成又は更新する。
　逐次学習を採用する場合は、機械学習部２１は、アラート情報記憶部２３が記憶しているアラート情報５００の分類結果５０６が変更されたタイミングで、分類器を作成又は更新する。
　次に、情報処理装置２０における非類似度を算出する動作について、図面を参照して説明する。
　図５は、第１の実施形態に係る非類似度算出部２２における非類似度算出の動作の一例を示すフローチャートである。
　非類似度算出部２２は、新たなアラートに対するアラート情報（Ａ）を受信したタイミングで、動作を開始する（ステップＳ２０１）。具体的には、判定部２６が、監視装置５０からアラートを受信し、必要な情報を追加してアラート情報５００（アラート情報（Ａ））を生成し、アラート情報５００としてアラート情報記憶部２３に保存する。そして、判定部２６は、非類似度算出部２２に、新たなアラートを受信したことを通知する。非類似度算出部２２は、この通知に基づいて、アラート情報記憶部２３に保存されているアラート情報（Ａ）を取得する。
　続いて、非類似度算出部２２は、アラート情報記憶部２３から、アラート情報（Ａ）以外の他のアラート情報５００、つまり、比較対象となるアラート情報５００を取得する（ステップＳ２０２）。なお、アラート情報（Ａ）を除いたアラート情報５００は、アラート情報（Ａ）に対して、過去のアラート情報５００である。つまり、比較対象となるアラート情報５００は、過去（保存済み）のアラート情報５００である。
　なお、非類似度算出部２２は、アラート情報記憶部２３に保存されている全てのアラート情報５００を取得してもよい。あるいは、非類似度算出部２２は、アラート情報記憶部２３に保存されているアラート情報５００の一部を取得してもよい。例えば、非類似度算出部２２は、アラート情報（Ａ）の検知に用いられて検知ルールと同じ検知ルールを用いて検知されたアラート情報５００を取得してもよい。具体的には、非類似度算出部２２は、アラート情報（Ａ）の検知ルール識別子５０４と同じ値の検知ルール識別子５０４を含むアラート情報５００を取得してもよい。あるいは、非類似度算出部２２は、アラート情報５００に含まれる分類結果５０６が所定の値（例えば、「正検知」、又は、「誤検知」）であるアラート情報５００を取得してもよい。
　次に、非類似度算出部２２は、アラート情報（Ａ）と、抽出された過去の各アラート情報５００との非類似度を算出する（ステップＳ２０３）。
　ここで、「非類似度」とは、アラート情報（Ａ）と抽出された各アラート情報５００とにおける離れている程度である。より具体的には、「非類似度」とは、アラート情報（Ａ）と抽出された各アラート情報５００との距離に相当する値である。距離が大きい場合、非類似度は大きくなる。
　非類似度算出部２２は、非類似度として、いろいろな距離を用いることができる。非類似度算出部２２は、例えば、上記の機械学習部２１が用いたアラート情報５００を基に算出された特徴ベクトル間の距離を用いてもよい。あるいは、非類似度算出部２２は、非類似度として、各アラート情報５００に含まれる通信情報５０７間の編集距離を用いてもよい。ただし、上記の非類似度は、本実施形態に係る非類似度の一例である。本実施形態に係る非類似度は、上記に限定されない。
　各アラート情報５００との非類似度の算出後、非類似度算出部２２は、算出した非類似度の中において、小さい方から並べた場合に所定の順番（Ｋ）となっている非類似度を選択する。そして、非類似度算出部２２は、選択した非類似度を、アラート情報（Ａ）と過去のアラート情報５００との非類似度とする（ステップＳ２０４）。つまり、非類似度算出部２２は、新たに受信したアラートに対応するアラート情報（Ａ）の非類似度として、算出した非類似度の中において、小さい方から所定の順番（Ｋ）となっている非類似度を採用する。つまり、アラート情報（Ａ）の非類似度は、アラート情報（Ａ）のＫ近傍に相当する過去のアラート情報５００との非類似度である。なお、所定の順番（Ｋ）は、予め、非類似度算出部２２に設定された値である。
　次に、情報処理装置２０におけるアラート情報５００を解析する動作ついて、図面を参照して説明する。
　図６は、本実施形態に係る判定部２６おけるアラート情報５００を更新する動作の一例を示すフローチャートである。
　判定部２６は、新たにアラートを受信すると、以下の動作を開始する（ステップＳ３０１）。なお、判定部２６は、アラートを受信すると、そのアラートに対応するアラート情報５００（今の場合、アラート情報（Ａ））を作成し、作成したアラート情報５００をアラート情報記憶部２３に保存する。そして、判定部２６は、以下の動作を、保存したアラート情報５００に対して実行する。つまり、判定部２６は、以下で説明する動作を、上記のアラート情報（Ａ）に対して実行することになる。そのため、以下、アラート情報（Ａ）を用いて説明する。
　判定部２６は、まず、図４に用いて説明した機械学習部２１が作成した分類器を用いて、アラート情報（Ａ）を判定する（ステップＳ３０２）。より詳細には、判定部２６は、分類器を用いて、以下のように判定する。
　まず、判定部２６は、アラート情報（Ａ）を基に、特徴ベクトルを算出する。この動作は、図４に示すステップＳ１０２と同様の動作である。そのため、判定部２６は、機械学習部２１に、特徴ベクトルの算出を依頼してもよい。次に、判定部２６は、算出した特徴ベクトルを、分類器に入力する。そして、判定部２６は、分類器の出力として、アラート情報（Ａ）の判定結果（正検知、又は、誤検知）を取得する。なお、判定部２６は、特徴ベクトルの算出に加え、分類器を用いた特徴ベクトルの判定の処理まで、機械学習部２１に依頼してもよい。つまり、情報処理装置２０において、機械学習部２１が、ステップＳ３０２を実行してもよい。
　そして、判定部２６は、分類器の判定結果が正検知であるか否かを判定する（ステップＳ３０３）。
　分類器の判定の結果が、正検知の場合（ステップＳ３０３でＹＥＳ）、分類器の判定は、オペレータの判定が必要である。そのため、判定部２６は、アラート情報（Ａ）の提示フラグ５０５に、「１（必要）」を設定する（ステップＳ３０６）。
　誤検知と判定された場合（ステップＳ３０３でＮＯ）、判定部２６は、図５を参照して説明した、非類似度算出部２２が算出したアラート情報（Ａ）に対する非類似度を取得する（ステップＳ３０４）。
　そして、判定部２６は、非類似度が所定の閾値以上か否かを判定する（ステップＳ３０５）。なお、ここで用いる閾値は、予め、判定部２６に設定されている値である。
　非類似度が、所定の閾値以上の場合（Ｓ３０５でＹＥＳ）、分類器の判定は、オペレータの判定が必要である。そのため、判定部２６は、提示フラグ５０５に、「１（必要）」を設定する（ステップＳ３０６）。
　非類似度が、所定の閾値未満の場合（ステップＳ３０５でＮＯ）、分類器の判定は、オペレータの判定が不要である。そのため、判定部２６は、提示フラグ５０５に、「０（不要）」を設定する（ステップＳ３０７）。さらに、判定部２６は、自装置で（機械的に）誤検知と判定したことを示すため、分類結果５０６を「誤検知／自動」に設定する（ステップＳ３０８）。
　次に、情報処理装置２０を含む情報処理システム１０のおける、アラート情報５００を分類する動作について図面を参照して説明する。
　図７は、本実施形態に係る情報処理システム１０おけるアラート情報５００に分類結果５０６を保存する動作の一例を示すシーケンス図である。
　提示装置３０のアラート表示部３１は、情報処理装置２０に、アラート情報５００の送信を依頼する（Ｓ４０１）。
　情報処理装置２０の判定部２６は、アラート表示部３１からの依頼を基に、アラート情報記憶部２３に保存されているアラート情報５００を提示装置３０に送信する（Ｓ４０２）。
　提示装置３０のアラート表示部３１は、受信したアラート情報５００を提示する（Ｓ４０３）。アラート表示部３１は、受信した全てのアラート情報５００を表示してもよい。ただし、表示を明確にするため、アラート表示部３１は、表示するアラート情報５００として、提示フラグ５０５が「１（必要）」であるアラート情報５００を選択して、表示することが望ましい。さらに、アラート表示部３１は、オペレータの判断を設定していないアラート情報５００、具体的には、分類結果５０６が「空欄」となっているアラート情報５００を選択して、表示することが望ましい。例えば、図８に示されているアラート情報５００の場合、アラート表示部３１は、６行目のアラート情報５００を表示することが望ましい。
　このように、提示装置３０は、情報処理装置２０が作成したアラート情報５００を基に、オペレータに適切なアラート情報５００を表示することができる。
　なお、情報処理装置２０の機械学習部２１が、上記条件を満足するアラート情報５００を送信してもよい。
　アラート情報５００の表示後、提示装置３０の入力部３２は、オペレータのから、表示されているアラート情報５００に対する指示（正検知又は誤検知）を受け取る（Ｓ４０４）。
　そして、入力部３２は、受信した指示（正検知又は誤検知）を情報処理装置２０に送付する（Ｓ４０５）。
　情報処理装置２０の判定部２６は、受信した指示をアラート情報記憶部２３に保存されているアラート情報５００に設定（保存）する（Ｓ４０６）。
　［効果の説明］
　次に、本実施形態の効果について説明する。
　第１の実施形態に係る情報処理装置２０は、オペレータに適切に提示することができるアラート情報５００を作成するとの効果を奏することができる。
　その理由は、次のとおりである。
　本実施形態に係る情報処理装置２０の機械学習部２１は、機械学習に基づいて、アラート情報５００の分類するために用いる分類器を生成する。また、非類似度算出部２２は、受信したアラート情報（Ａ）と過去のアラート情報５００との非類似度を算出する。そして、判定部２６は、分類器の基づく分類結果５０６及び非類似度に基づいて、アラート情報５００をオペレータに提示することが必要か否かを判断し、判断結果をアラート情報５００の提示フラグ５０５に設定するためである。
　情報処理装置２０が作成したアラート情報５００を用いる場合、そのアラート情報５００をオペレータに提示する提示装置３０は、機械学習部２１が生成した分類器に基づく分類結果５０６に加え、提示フラグ５０５を用いることができる。つまり提示装置３０は、分類結果５０６に加え、提示フラグ５０５を基に、提示するアラート情報５００を選別できる。より詳細には、提示装置３０は、提示フラグ５０５を基に、過去のアラート情報５００と類似性の低いアラート情報５００を選択して、オペレータに提示することができる。
　このように、情報処理装置２０は、過去のアラート情報５００とは異なる特徴を持つアラート情報５００の選択を容易にしている。
　そのため、情報処理装置２０を含む情報処理システム１０は、過去のアラート情報５００と異なる特徴を持つアラート情報５００に対する分類結果５０６を得ることができる。その結果、情報処理システム１０は、アラート情報５００の誤陰性の発生を低減できる。
　＜第２の実施形態＞
　本発明における第２の実施形態は、正確性を高めるため、再判定を実行する。
　次に、図面を参照して本実施形態に係る情報処理装置６０について説明する。
　［構成の説明］
　まず、情報処理装置６０の構成について図面を参照して説明する。
　図９は、第２の実施形態に係る情報処理装置６０を含む情報処理システム１１の構成の一例を示すブロック９である。図９に示すように情報処理システム１１は、第１の実施形態の情報処理システム１０と比較すると、情報処理装置２０に換えて、情報処理装置６０を含む点で異なる。そのため、第１の実施形態と同様の構成及び動作についての説明を省略し、本実施形態に関連する構成及び動作を説明する。
　図１０は、第２の実施形態に係る情報処理装置６０の構成の一例を示すブロック図である。図１０に示すように、情報処理装置６０は、第１の実施形態の情報処理装置２０の構成に加え、再判定部２４を含む。そのため、第１の実施形態と同様の構成及び動作の詳細な説明を省略し、本実施形態に特有の構成及び動作を中心に説明する。
　再判定部２４は、機械学習部２１が作成（更新）した分類器を用いて、アラート情報記憶部２３に保存されているアラート情報５００を再判定する。
　［動作の説明］
　次に、図面を参照して、再判定部２４の動作について説明する。
　図１１は、第２の実施形態に係る再判定部２４の動作の一例を示すフローチャートである。
　再判定部２４は、まず、アラート情報記憶部２３に保存されているアラート情報５００から、分類結果５０６が「誤検知／自動」であるアラート情報５００を抽出する（ステップＳ６０１）。つまり、再判定部２４は、自装置で誤検知と分類したアラート情報５００を処理対象とする。言い換えると、再判定部２４は、分類結果５０６を再判定するアラート情報５００を抽出する。この分類結果５０６を再判定するアラート情報５００を第３のアラート情報と呼ぶ場合もある。
　次に、再判定部２４は、抽出したアラート情報５００に対する特徴ベクトルを算出する（ステップＳ６０２）。
　そして、再判定部２４は、算出した特徴ベクトルを、更新されている分類器に適用して、判定結果を取得する。つまり、再判定部２４は、更新された分類器を用いて、特徴ベクトルを再判定する（ステップＳ６０３）。
　そして、「正検知」と判定された場合（ステップＳ６０３で「正検知判定」）、再判定部２４は、アラート情報５００の提示フラグ５０５を「１（必要）」に更新する（ステップＳ６０４）。なお、アラート情報５００に対する機能と統一するため、判定部２６が、再判定部２４を含むように構成されてもよい。
　「誤検知」と判定された場合（ステップＳ６０３で「誤検知」）、再判定部２４は、そのアラート情報５００の提示フラグ５０５を更新しない。
　このように、情報処理装置６０は、再判定部２４の動作を基に、提示フラグ５０５を更新する。
　その結果、情報処理装置６０は、提示フラグ５０５が更新されたアラート情報５００を提示装置３０に送信できる。提示装置３０のアラート表示部３１は、更新後に「正検知」と判定されたアラート情報５００を、オペレータに対して表示する。そして、第１の実施形態と同様に、情報処理装置２０は、提示装置３０から、更新後のアラート情報５００に対するオペレータの指示を受信できる。
　既に説明したとおり、機械学習部２１は、分類器を更新する。そのため、情報処理装置６０は、更新された分類器を用いて、分類結果５０６を更新できる。そのため、情報処理装置６０は、情報処理装置２０と比較して、分類結果５０６を、より正確に設定することができる。
　なお、ここまでの説明において、再判定部２４は、分類結果５０６が「誤検知／自動」のアラート情報５００を再判定の対象とした。しかし、再判定部２４は、対象とするアラート情報５００をさらに限定してもよい。再判定の対象とするアラート情報５００の数が多い場合、再判定部２４は、再判定の算出処理に多くの時間を必要とする。そのため、再判定部２４は、例えば、アラート情報５００に含まれる検知時刻５０１を用いて、所定の時刻以降に検知されたアラート情報５００を再判定の対象としてもよい。
　なお、再判定を実行する場合、機械学習部２１は、機械学習において、自装置で分類した分類結果５０６を学習サンプルから除外してもよい。これは、機械学習部２１が、再判定において、自装置の機械学習に基づいた判定結果（分類結果）の再参照を避けた方が望ましい場合があるためである。
　［効果の説明］
　本実施形態に係る情報処理装置６０は、第１の実施形態の効果に加え、より正確性の高い判定を実現するとの効果を奏することができる。
　その理由は、次のとおりである。
　本実施形態に係る情報処理装置６０に含まれる再判定部２４は、自装置で誤検知と分類したアラート情報５００に対して、更新された分類器を用いて再判定する。更新された分類器は、機械学習部２１における学習サンプルが拡充された状態で作成されている。したがって、更新された分類器は、以前の分類器と比較して、分類の正確性が向上していると期待できる。そのため、再判定部２４における更新された分類器を用いた再判定の分類結果５０６は、以前の分類器を用いた分類結果５０６と比較して、より正確性の高い判定となっているためである。
　＜第３の実施形態＞
　情報処理装置２０における非類似度の算出手法は、既に説明した手法に限る必要はない。
　例えば、情報処理装置２０は、非類似度を算出手法として、アラート情報５００の特徴を表す情報を用いてもよい。そこで、アラート情報５００の特徴として、アラート情報５００の統計情報（特に、分布情報）を用いる場合について、第３の実施形態として説明する。
　［構成の説明］
　まず、本実施形態の構成について図面を参照して説明する。
　図１２は、第３の実施形態に係る情報処理装置７０を含む情報処理システム１２の構成の一例を示すブロック図である。図１２に示すように情報処理システム１２は、第１の実施形態の情報処理システム１０と比較すると、情報処理装置２０に換えて、情報処理装置７０を含む点で異なる。そのため、第１の実施形態と同様の構成及び動作についての説明を省略し、本実施形態に関連する構成及び動作を説明する。
　図１３は、第３の本実施形態に係る情報処理装置７０の構成の一例を示すブロック図である。図１３に示すように、情報処理装置７０は、第１の実施形態に情報処理装置２０と比較すると、非類似度算出部２２に換えて、非類似度算出部２５を含む点で異なる。そのため、第１の実施形態と同様の構成及び動作の詳細な説明を省略し、本実施形態に特有の構成及び動作について説明する。つまり、非類似度算出部２５について説明する。
　非類似度算出部２５は、非類似度算出部２２と同様に、新たに受信したアラートに対応するアラート情報（Ａ）と、過去のアラート情報５００との非類似度を算出する。ただし、非類似度算出部２５は、非類似度の算出に、非類似度算出部２２とは異なる方式を用いる。すなわち、非類似度算出部２５は、アラート情報５００を基に算出した特徴ベクトルにおける分布情報を算出し、算出した分布情報を用いてアラート情報（Ａ）を基に算出した特徴ベクトルに対する非類似度を算出する。
　ここで、分布情報は、特徴ベクトル空間上のアラート情報５００の分布を要約した情報である。例えば、情報の分布が、（多次元）正規分布と仮定した場合、非類似度算出部２５は、その分布における平均（μ）と分散（又は共分散行列（Σ））を基に、その正規分布に対する評価対象の情報の関係を、算出できる。ここで、非類似度算出部２５が算出する関係は、例えば、外れ具合（非類似度）を示すマハラノビス距離である。
　そこで、アラート情報５００の分布が、（多次元）正規分布と仮定した場合、非類似度算出部２５は、分布情報として、アラート情報５００の平均（μ）と共分散行列（Σ）を求めればよい。なお、この説明における特徴ベクトルは、例えば、既に説明した第１の実施形態の機械学習における特徴ベクトルでもよいが、これに限る必要はない。例えば、この説明における特徴ベクトルは、ヒストグラム（Ｈ）でもよい。
　なお、本実施形態に係る非類似度算出部２５は、算出した分布情報を、次の非類似度を算出する動作に用いる場合、図示しない記憶部に算出した分布情報を記憶してもよい。
　［動作の説明］
　次に図面を参照して、非類似度算出部２５の動作について詳細に説明する。
　図１４は、第３の実施形態に係る非類似度算出部２５の動作の一例を示すフローチャートである。
　なお、本実施形態に係る非類似度算出部２５が用いる分布情報は、特に制限はない。分布情報とは、例えば、平均、又は、分散などの分布を決定するパラメータである。
　ただし、以下の説明では、非類似度算出部２５は、分布情報として、アラート情報（Ａ）における通信情報５０７に含まれる文字列の出現回数を表すヒストグラム（Ｈ）の平均値（μ）と分散共分散行列（Σ）とを用いるとする。また、非類似度算出部２５は、既に、過去のアラート情報５００に対する分布情報（平均値（μ）と分散共分散行列（Σ））を算出済みで、記憶しているとする。
　また、非類似度算出部２５は、距離の一例として、マハラノビス距離（Ｄ）を用いるとする。
　図１４に示すように、非類似度算出部２５は、非類似度算出部２２と同様に、アラート情報（Ａ）を受信したタイミングで、動作を開始する（ステップＳ２０１）。
　非類似度算出部２５は、アラート情報（Ａ）における通信情報５０７に含まれる文字列に対するヒストグラム（Ｈ）を作成する（ステップＳ２０５）。
　次に、非類似度算出部２５は、作成したヒストグラム（Ｈ）と、記憶している過去のアラート情報５００に対する分布情報（平均値（μ）及び分散共分散行列（Σ））とを用いて、マハラノビス距離（Ｄ）を算出する（ステップＳ２０６）。ここで算出されたマハラノビス距離（Ｄ）が、本実施形態における非類似度である。
　そして、非類似度算出部２５は、作成したヒストグラム（Ｈ）を用いて、過去のアラート情報５００に対する分布情報（平均値（μ）及び分散共分散行列（Σ））を更新する（ステップＳ２０７）。
　このように、本実施形態の非類似度算出部２５は、アラート情報（Ａ）を受信すると、非類似度の算出に用いる分布情報を更新する。この更新に基づいて、非類似度算出部２５は、近似的に、過去のアラート情報５００に対する分散共分散行列（Σ）を算出することができる。
　なお、情報処理装置７０は、第２の実施形態に係る再判定部２４に相当する機能を含んでもよい。
　また、ここまでの本実施形態の説明において、非類似度算出部２５が、非類似度として、アラート情報５００に含まれる通信情報５０７のヒストグラム（Ｈ）を用いた。
　しかし、これは、本実施形態を制限するものではない。非類似度算出部２５は、アラート情報５００の特徴を表す情報として、他の情報を用いてもよい。例えば、非類似度算出部２５は、過去のアラート情報５００の通信情報５０７に基づいて、通信情報５０７に対する確率分布を推定する。そして、非類似度算出部２５は、推定した確率分布におけるアラート情報（Ａ）の出現確率の低さを、非類似度として用いてもよい。
　アラート情報５００の特徴を表す情報（例えば、分布情報）は、アラート情報５００をまとめた情報である。そのため、一般的に、アラート情報５００の特徴を表す情報の数は、アラート情報５００の数より少ない。そのため、非類似度算出部２５は、非類似度算出部２２に比べ、処理する情報量が少ない。その結果、非類似度算出部２５は、非類似度算出部２２に比べ、処理コストを削減できる。
　［効果の説明］
　次に、本実施形態に係る情報処理装置７０の効果について説明する。
　第３の実施形態に係る情報処理装置７０は、第１の実施形態の効果に加え、効率的に非類似度を算出するとの効果を奏することができる。
　その理由は、次のとおりである。
　第１の実施形態に係る情報処理装置２０の非類似度算出部２２は、アラート情報（Ａ）と、複数のアラート情報５００との非類似度を算出する必要があった。
　これに対し、本実施形態に係る非類似度算出部２５は、アラート情報（Ａ）の非類似度として、過去のアラート情報５００の分布情報を用いて算出する。ここで、過去のアラート情報５００の分布情報は、複数のアラート情報５００を少ない数の情報にまとめた情報である。つまり、非類似度算出部２５は、アラート情報（Ａ）の非類似度を、アラート情報５００と比較して、少ない情報を用いて算出するためである。
　＜変形例＞
　以上の説明した情報処理装置２０、情報処理装置６０、及び、情報処理装置７０（以下、まとめて、情報処理装置２０として説明する）は、次のように構成される。
　例えば、情報処理装置２０の各構成部は、ハードウェア回路で構成されてもよい。
　また、情報処理装置２０は、各構成部が、図示しないネットワークを介して接続された複数の装置を用いて、構成されてもよい。例えば、情報処理装置２０は、アラート情報記憶部２３を、図示しない外部の記憶装置として構成されてもよい。
　図１６は、情報処理装置２０の第１の変形例に係る情報処理装置９０の構成の一例を示すブロック図である。
　情報処理装置９０は、アラート情報記憶部２３を、図示しないネットワークなどを介して接続された外部の記憶装置として構成されている。
　そのため、情報処理装置９０は、機械学習部２１と、非類似度算出部２２と、判定部２６とを含む。
　このように構成された情報処理装置９０は、情報処理装置２０と同様の効果を得ることができる。
　その理由は、情報処理装置９０に含まれる各構成が、外部の記憶装置に設けられたアラート情報記憶部２３を用いて、情報処理装置２０の構成と同様に動作できるためである。
　なお、情報処理装置９０は、本発明の実施形態における最小構成である。
　また、情報処理装置２０は、複数の構成部を１つのハードウェアで構成されてもよい。
　また、情報処理装置２０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現されてもよい。情報処理装置２０は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input / Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現されてもよい。
　図１５は、情報処理装置２０の第２の変形例に係る情報処理装置７００の構成の一例を示すブロック図である。つまり、図１５は、情報処理装置２０を上記のコンピュータ装置として実現した場合の一例である情報処理装置７００の構成の一例を示すブロック図である。
　情報処理装置７００は、ＣＰＵ７１０と、ＲＯＭ７２０と、ＲＡＭ７３０と、内部記憶装置７４０と、ＩＯＣ７５０と、ＮＩＣ７８０とを含み、コンピュータを構成している。
　ＣＰＵ７１０は、ＲＯＭ７２０からプログラムを読み込む。そして、ＣＰＵ７１０は、読み込んだプログラムに基づいて、ＲＡＭ７３０と、内部記憶装置７４０と、ＩＯＣ７５０と、ＮＩＣ７８０とを制御する。そして、ＣＰＵ７１０を含むコンピュータは、これらの構成を制御し、図２に示す、機械学習部２１と、非類似度算出部２２と、判定部２６としての各機能を実現する。
　ＣＰＵ７１０は、各機能を実現する際に、ＲＡＭ７３０又は内部記憶装置７４０を、プログラムの一時記憶として使用してもよい。
　また、ＣＰＵ７１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７９０が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ７１０は、ＮＩＣ７８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ７３０に保存して、保存したプログラムを基に動作してもよい。
　ＲＯＭ７２０は、ＣＰＵ７１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ７２０は、例えば、Ｐ－ＲＯＭ（Programmable-ROM）又はフラッシュＲＯＭである。
　ＲＡＭ７３０は、ＣＰＵ７１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ７３０は、例えば、Ｄ－ＲＡＭ（Dynamic-RAM）である。
　内部記憶装置７４０は、情報処理装置７００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置７４０は、ＣＰＵ７１０の一時記憶装置として動作してもよい。内部記憶装置７４０は、アラート情報記憶部２３として動作する。内部記憶装置７４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。
　ここで、ＲＯＭ７２０と内部記憶装置７４０は、不揮発性（non-transitory）の記憶媒体である。一方、ＲＡＭ７３０は、揮発性（transitory）の記憶媒体である。そして、ＣＰＵ７１０は、ＲＯＭ７２０、内部記憶装置７４０、又は、ＲＡＭ７３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ７１０は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。
　ＩＯＣ７５０は、ＣＰＵ７１０と、入力機器７６０及び表示機器７７０とのデータを仲介する。ＩＯＣ７５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。
　入力機器７６０は、情報処理装置７００の操作者からの入力指示を受け取る機器である。入力機器７６０は、例えば、キーボード、マウス又はタッチパネルである。
　表示機器７７０は、情報処理装置７００の操作者に情報を表示する機器である。表示機器７７０は、例えば、液晶ディスプレイである。
　ＮＩＣ７８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ７８０は、例えば、ＬＡＮカードである。
　このように構成された情報処理装置７００は、情報処理装置２０と同様の効果を得ることができる。
　その理由は、情報処理装置７００のＣＰＵ７１０が、プログラムに基づいて情報処理装置２０と同様の機能を実現できるためである。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年　６月２６日に出願された日本出願特願２０１５－１２８７６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　既に受信した第１のアラートと第１のアラートに関連する情報とを含む第１のアラート情報と、新たに受信した第２のアラートと第２のアラートに関連する情報を含む第２のアラート情報との距離である非類似度を算出する非類似度算出手段と、
　第１のアラート情報に機械学習を適用し、第１のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、第２のアラート情報に分類器を適用して分類結果を判定する気概学習手段と、
　　判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第２のアラート情報の分類結果に判定の結果を設定し、第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、
　　判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する判定手段と
　を含む情報処理装置。
　（付記２）
　機械学習手段が、
　機械学習として、
　機械学習に適用する第１のアラート情報として、自装置以外の判断した分類結果が設定されている第１のアラート情報を抽出し、
　抽出した第１のアラート情報に設定されている分類結果を基に分類器を作成する
　付記１に記載の情報処理装置。
　（付記３）
　機械学習手段が、
　抽出した第１のアラート情報を基に第１の特徴ベクトルを算出し、算出した第１の特徴ベクトルを機械学習に適用して分類器を生成し
　第２のアラート情報を基に第２の特徴ベクトルを算出し、第２の特徴ベクトルを分類器に適用して、分類結果を判定する
　付記２に記載の情報処理装置。
　（付記４）
　判定手段が、
　第２のアラート情報を受信したときに、第２のアラート情報の分類結果を、分類器を用いて判定し他結果である判定結果を第２のアラート情報に設定する
　付記２又は３に記載の情報処理装置。
　（付記５）
　非類似度算出手段が、
　第２のアラート情報と、第１のアラート情報との一部又は全てとの距離を小さい方から並べた場合に所定の順番である距離を非類似度とする
　付記１ないし４のいずれか１項に記載の情報処理装置。
　（付記６）
　非類似度算手段が、
　第１アラート情報に含まれる通信情報に含まれる情報の分布に対する第２のアラート情報に含まれる通信情報の出現確率の低さの程度を非類似度として算出する
　付記１ないし４のいずれか１項に記載の情報処理装置。
　（付記７）
　非類似度算出手段が、
　非類似度として、第１のアラート情報についての分布情報を算出し、算出した分布情報に対する第２のアラート情報の関係を算出する
　付記１ないし４のいずれか１項に記載の情報処理装置。
　（付記８）
　非類似度算手段が、
　第１アラート情報に含まれる通信情報に含まれる情報の分布に対する第２のアラート情報に含まれる通信情報の出現確率の低さの程度を非類似度として算出する
　付記１ないし４のいずれか１項に記載の情報処理装置。
　（付記９）
　第１のアラート情報の中から分類結果を再設定する第３のアラート情報を抽出し、
　第３のアラート情報の特徴ベクトルを算出し、
　第３のアラート情報の特徴ベクトルを分類器に適用して第３のアラート情報の分類結果を再判定する
　再判定手段を
　さらに含む付記１ないし８のいずれか１項に記載の情報処理装置。
　（付記１０）
　付記１ないし９のいずれか１項に記載の情報処理装置と、
　情報処理装置から第１のアラート情報を受信し、分類結果と表示するアラート表示手段と、
　表示されたアラート情報における分類結果に対する入力を受信し、情報処理装置に送信する入力手段と
　を含む提示装置と
　を含む情報処理システム。
　（付記１１）
　既に受信した第１のアラートと第１のアラートに関連する情報とを含む第１のアラート情報と、新たに受信した第２のアラートと第２のアラートに関連する情報を含む第２のアラート情報との距離である非類似度を算出し、
　第１のアラート情報に機械学習を適用し、第１のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、
　第２のアラート情報に分類器を適用して分類結果を判定し、
　判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第２のアラート情報の分類結果に判定の結果を設定し、第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、
　判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する
　情報処理方法。
　（付記１２）
　既に受信した第１のアラートと第１のアラートに関連する情報とを含む第１のアラート情報と、新たに受信した第２のアラートと第２のアラートに関連する情報を含む第２のアラート情報との距離である非類似度を算出する処理と、
　第１のアラート情報に機械学習を適用し、第１のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成する処理と、
　第２のアラート情報に分類器を適用して分類結果を判定する処理、
　判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第２のアラート情報の分類結果に判定の結果を設定し、第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定する処理と、
　判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する処理と
　をコンピュータに実行させるプログラムをコンピュータ読み取り可能に記憶する記憶媒体。
　１０　情報処理システム
　１１　情報処理システム
　１２　情報処理システム
　２０　情報処理装置
　２１　機械学習部
　２２　非類似度算出部
　２３　アラート情報記憶部
　２４　再判定部
　２５　非類似度算出部
　２６　判定部
　３０　提示装置
　４０　ネットワーク
　５０　監視装置
　６０　情報処理装置
　７０　情報処理装置
　９０　情報処理装置
　５００　アラート情報
　５０１　検知時刻
　５０２　送信元ＩＰアドレス
　５０３　送信先ＩＰアドレス
　５０４　検知ルール識別子
　５０５　提示フラグ
　５０６　分類結果
　５０７　通信情報
　７００　情報処理装置
　７１０　ＣＰＵ
　７２０　ＲＯＭ
　７３０　ＲＡＭ
　７４０　内部記憶装置
　７５０　ＩＯＣ
　７６０　入力機器
　７７０　表示機器
　７８０　ＮＩＣ
　７９０　記憶媒体

Claims (10)

  1. 　既に受信した第１のアラートと前記第１のアラートに関連する情報とを含む第１のアラート情報と、新たに受信した第２のアラートと前記第２のアラートに関連する情報を含む第２のアラート情報との距離である非類似度を算出する非類似度算出手段と、
    　前記第１のアラート情報に機械学習を適用し、前記第１のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、前記第２のアラート情報に前記分類器を適用して分類結果を判定する機械学習手段と、
    　前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値未満の場合に、前記第２のアラート情報の前記分類結果に前記判定の結果を設定し、前記第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、前記判定結果が正しい検知を示す正検知の場合、又は、前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値以上の場合に、前記第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する判定手段と
    　を含む情報処理装置。
  2. 　前記機械学習手段が、
    　前記機械学習として、
    　前記機械学習に適用する前記第１のアラート情報として、自装置以外の判断した前記分類結果が設定されている前記第１のアラート情報を抽出し、
    　前記抽出した第１のアラート情報に設定されている前記分類結果を基に前記分類器を作成する
    　請求項１に記載の情報処理装置。
  3. 　前記機械学習手段が、
    　前記抽出した第１のアラート情報を基に第１の特徴ベクトルを算出し、算出した前記第１の特徴ベクトルを前記機械学習に適用して前記分類器を生成し、
    　前記第２のアラート情報を基に第２の特徴ベクトルを算出し、前記第２の特徴ベクトルを前記分類器に適用して、前記分類結果を判定する
    　請求項２に記載の情報処理装置。
  4. 　前記判定手段が、
    　前記第２のアラート情報を受信したときに、前記第２のアラート情報の前記分類結果を、前記分類器を用いて判定した結果である前記判定結果を前記第２のアラート情報に設定する
    　請求項２又は３に記載の情報処理装置。
  5. 　前記非類似度算出手段が、
    　前記第２のアラート情報と、前記第１のアラート情報との一部又は全てとの距離を小さい方から並べた場合に所定の順番である距離を前記非類似度とする
    　請求項１ないし４のいずれか１項に記載の情報処理装置。
  6. 　前記非類似度算出手段が、
    　前記第１のアラート情報に含まれる通信情報に含まれる情報の分布に対する前記第２のアラート情報に含まれる通信情報の出現確率の低さの程度を前記非類似度として算出する
    　請求項１ないし４のいずれか１項に記載の情報処理装置。
  7. 　前記第１のアラート情報の中から前記分類結果を再設定する第３のアラート情報を抽出し、
    　前記第３のアラート情報の特徴ベクトルを算出し、
    　前記第３のアラート情報の特徴ベクトルを前記分類器に適用して前記第３のアラート情報の前記分類結果を再判定する
    　再判定手段を
    　さらに含む請求項１ないし６のいずれか１項に記載の情報処理装置。
  8. 　請求項１ないし７のいずれか１項に記載の情報処理装置と、
    　前記情報処理装置から前記第１のアラート情報を受信し、前記分類結果と前記第１のアラート情報とを表示するアラート表示手段と、
    　前記表示されたアラート情報における前記分類結果に対する入力を受信し、前記情報処理装置に送信する入力手段と
    　を含む提示装置と
    　を含む情報処理システム。
  9. 　既に受信した第１のアラートと前記第１のアラートに関連する情報とを含む第１のアラート情報と、新たに受信した第２のアラートと前記第２のアラートに関連する情報を含む第２のアラート情報との距離である非類似度を算出し、
    　前記第１のアラート情報に機械学習を適用し、前記第１のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、
    　前記第２のアラート情報に前記分類器を適用して分類結果を判定し、
    　前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値未満の場合に、前記第２のアラート情報の前記分類結果に前記判定の結果を設定し、前記第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、
    　前記判定結果が正しい検知を示す正検知の場合、又は、前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値以上の場合に、前記第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する
    　情報処理方法。
  10. 　既に受信した第１のアラートと前記第１のアラートに関連する情報とを含む第１のアラート情報と、新たに受信した第２のアラートと前記第２のアラートに関連する情報を含む第２のアラート情報との距離である非類似度を算出する処理と、
    　前記第１のアラート情報に機械学習を適用し、前記第１のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成する処理と、
    　前記第２のアラート情報に前記分類器を適用して分類結果を判定する処理、
    　前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値未満の場合に、前記第２のアラート情報の前記分類結果に前記判定の結果を設定し、前記第２のアラート情報の提示を示す情報に提示不要であることを示す情報を設定する処理と、
    　前記判定結果が正しい検知を示す正検知の場合、又は、前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値以上の場合に、前記第２のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する処理と
    　をコンピュータに実行させるプログラムをコンピュータ読み取り可能に記憶する記憶媒体。
PCT/JP2016/002898 2015-06-26 2016-06-15 情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体 WO2016208159A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/735,244 US11057399B2 (en) 2015-06-26 2016-06-15 Information processing device, information processing system, information processing method, and storage medium for intrusion detection by applying machine learning to dissimilarity calculations for intrusion alerts
JP2017524622A JP6753398B2 (ja) 2015-06-26 2016-06-15 情報処理装置、情報処理システム、情報処理方法、及び、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-128768 2015-06-26
JP2015128768 2015-06-26

Publications (1)

Publication Number Publication Date
WO2016208159A1 true WO2016208159A1 (ja) 2016-12-29

Family

ID=57585401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002898 WO2016208159A1 (ja) 2015-06-26 2016-06-15 情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体

Country Status (3)

Country Link
US (1) US11057399B2 (ja)
JP (1) JP6753398B2 (ja)
WO (1) WO2016208159A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109883A (ja) * 2017-01-05 2018-07-12 株式会社東芝 ジョブ実行制御装置、ジョブ実行制御方法およびプログラム
WO2020148934A1 (ja) * 2019-01-16 2020-07-23 株式会社日立製作所 分析装置および分析方法
WO2020255512A1 (ja) * 2019-06-21 2020-12-24 株式会社日立製作所 監視システム、および、監視方法
JP2021018630A (ja) * 2019-07-22 2021-02-15 ソフトバンク株式会社 警報集約選別装置及び警報集約選別方法
US20220060487A1 (en) * 2019-02-05 2022-02-24 Nec Corporation Priority determination apparatus, priority determination method, and computer readable medium
US11507881B2 (en) 2018-02-22 2022-11-22 Hitachi, Ltd. Analysis apparatus, analysis method, and analysis program for calculating prediction error and extracting error factor

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481966B2 (en) * 2017-05-24 2019-11-19 Vmware, Inc. Methods and systems to prioritize alerts with quantification of alert impacts
US11537938B2 (en) * 2019-02-15 2022-12-27 Wipro Limited Method and a system for context based clustering of object
US11756404B2 (en) 2019-04-08 2023-09-12 Microsoft Technology Licensing, Llc Adaptive severity functions for alerts
US11956253B1 (en) * 2020-06-15 2024-04-09 Exabeam, Inc. Ranking cybersecurity alerts from multiple sources using machine learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005085157A (ja) * 2003-09-10 2005-03-31 Toshiba Corp 不正アクセス検出装置、不正アクセス検出方法、および管理端末
WO2009110326A1 (ja) * 2008-03-07 2009-09-11 日本電気株式会社 障害分析装置、障害分析方法および記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525696B2 (en) * 2000-09-25 2016-12-20 Blue Coat Systems, Inc. Systems and methods for processing data flows
US7941855B2 (en) * 2003-04-14 2011-05-10 New Mexico Technical Research Foundation Computationally intelligent agents for distributed intrusion detection system and method of practicing same
US8312023B2 (en) * 2007-12-21 2012-11-13 Georgetown University Automated forensic document signatures
US9258217B2 (en) * 2008-12-16 2016-02-09 At&T Intellectual Property I, L.P. Systems and methods for rule-based anomaly detection on IP network flow
US20120254333A1 (en) * 2010-01-07 2012-10-04 Rajarathnam Chandramouli Automated detection of deception in short and multilingual electronic messages
US8756693B2 (en) * 2011-04-05 2014-06-17 The United States Of America As Represented By The Secretary Of The Air Force Malware target recognition
US9021589B2 (en) * 2012-06-05 2015-04-28 Los Alamos National Security, Llc Integrating multiple data sources for malware classification
US11126720B2 (en) * 2012-09-26 2021-09-21 Bluvector, Inc. System and method for automated machine-learning, zero-day malware detection
US9497204B2 (en) * 2013-08-30 2016-11-15 Ut-Battelle, Llc In-situ trainable intrusion detection system
US9288220B2 (en) * 2013-11-07 2016-03-15 Cyberpoint International Llc Methods and systems for malware detection
US9641542B2 (en) * 2014-07-21 2017-05-02 Cisco Technology, Inc. Dynamic tuning of attack detector performance
EP3292471B1 (en) * 2015-05-04 2021-11-17 Hasan, Syed Kamran Method and device for managing security in a computer network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005085157A (ja) * 2003-09-10 2005-03-31 Toshiba Corp 不正アクセス検出装置、不正アクセス検出方法、および管理端末
WO2009110326A1 (ja) * 2008-03-07 2009-09-11 日本電気株式会社 障害分析装置、障害分析方法および記録媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109883A (ja) * 2017-01-05 2018-07-12 株式会社東芝 ジョブ実行制御装置、ジョブ実行制御方法およびプログラム
US11507881B2 (en) 2018-02-22 2022-11-22 Hitachi, Ltd. Analysis apparatus, analysis method, and analysis program for calculating prediction error and extracting error factor
WO2020148934A1 (ja) * 2019-01-16 2020-07-23 株式会社日立製作所 分析装置および分析方法
JP2020113216A (ja) * 2019-01-16 2020-07-27 株式会社日立製作所 分析装置および分析方法
JP7033560B2 (ja) 2019-01-16 2022-03-10 株式会社日立製作所 分析装置および分析方法
US20220060487A1 (en) * 2019-02-05 2022-02-24 Nec Corporation Priority determination apparatus, priority determination method, and computer readable medium
US11956256B2 (en) * 2019-02-05 2024-04-09 Nec Corporation Priority determination apparatus, priority determination method, and computer readable medium
WO2020255512A1 (ja) * 2019-06-21 2020-12-24 株式会社日立製作所 監視システム、および、監視方法
JP2021018630A (ja) * 2019-07-22 2021-02-15 ソフトバンク株式会社 警報集約選別装置及び警報集約選別方法
JP7034989B2 (ja) 2019-07-22 2022-03-14 ソフトバンク株式会社 警報集約選別装置及び警報集約選別方法

Also Published As

Publication number Publication date
JPWO2016208159A1 (ja) 2018-04-19
JP6753398B2 (ja) 2020-09-09
US11057399B2 (en) 2021-07-06
US20180181883A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
WO2016208159A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体
US9282112B2 (en) System and method for determining category of trust of applications performing interface overlay
JP6690646B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
US20210034759A1 (en) Systems and methods for attributing security vulnerabilities to a configuration of a client device
US10789118B2 (en) Information processing device and error detection method
CN112567367A (zh) 用于聚类和加速多个事故调查的基于相似性的方法
US20170185785A1 (en) System, method and apparatus for detecting vulnerabilities in electronic devices
US10489720B2 (en) System and method for vendor agnostic automatic supplementary intelligence propagation
US20200327237A1 (en) Systems and methods for aggregating, ranking, and minimizing threats to computer systems based on external vulnerability intelligence
JP6523582B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20140195793A1 (en) Remotely Establishing Device Platform Integrity
US10262122B2 (en) Analysis apparatus, analysis system, analysis method, and analysis program
US10931706B2 (en) System and method for detecting and identifying a cyber-attack on a network
WO2018088383A1 (ja) セキュリティルール評価装置およびセキュリティルール評価システム
JP2020004009A (ja) 異常検知装置、および、異常検知方法
US20200065482A1 (en) Evaluation method, information processing apparatus, and storage medium
US10129277B1 (en) Methods for detecting malicious network traffic and devices thereof
US10812496B2 (en) Automatic generation of cluster descriptions
US20220201016A1 (en) Detecting malicious threats via autostart execution point analysis
WO2020246011A1 (ja) ルール生成装置、ルール生成方法、及びコンピュータ読み取り可能な記録媒体
JP2017211806A (ja) 通信の監視方法、セキュリティ管理システム及びプログラム
US20170185772A1 (en) Information processing system, information processing method, and program
US11899793B2 (en) Information processing apparatus, control method, and program
CN111258845A (zh) 事件风暴的检测
US10063348B2 (en) Retransmission data processing device, retransmission data communication device, retransmission data communication system, retransmission data processing method, retransmission data communication method, and non-transitory computer readable medium for detecting abnormality by comparing retransmission data to transmission data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16813933

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524622

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15735244

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16813933

Country of ref document: EP

Kind code of ref document: A1