WO2020255512A1 - 監視システム、および、監視方法 - Google Patents

監視システム、および、監視方法 Download PDF

Info

Publication number
WO2020255512A1
WO2020255512A1 PCT/JP2020/012805 JP2020012805W WO2020255512A1 WO 2020255512 A1 WO2020255512 A1 WO 2020255512A1 JP 2020012805 W JP2020012805 W JP 2020012805W WO 2020255512 A1 WO2020255512 A1 WO 2020255512A1
Authority
WO
WIPO (PCT)
Prior art keywords
alert
alerts
monitoring system
classification information
added
Prior art date
Application number
PCT/JP2020/012805
Other languages
English (en)
French (fr)
Inventor
和 三村
千絵 増田
幸三 池上
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2020255512A1 publication Critical patent/WO2020255512A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a monitoring system for operating system hardware and / or software.
  • Such issues are not limited to security aspects, but are the same for alerts due to equipment failures.
  • Failure monitoring of the entire information system including server equipment and network equipment is also performed by an operation center (called the information system department or network operation center (NOC: Network Operation Center)) where specialized staff are stationed, as in SOC. It has been.
  • NOC Network Operation Center
  • the NOC combines the log information generated from each device with the alert information due to performance degradation, etc., and determines whether the alert is temporary, due to a service change, or due to a device failure. There must be.
  • the failure monitoring specialists judge the importance of alerts based on their own knowledge and experience.
  • the model generation unit purchases the users of the products and / or services sold in the predetermined e-commerce.
  • a prediction model is generated with the presence or absence of the objective variable as the objective variable and the user's attribute as the explanatory variable, and the update unit calculates the calculation result of the prediction model with the attribute of the specific user who is a user who has not purchased the product and / or service as the explanatory variable.
  • the update is performed with the action history of a specific user.
  • the system is to evaluate the importance of an alert, such as whether the alert is at a dangerous level, only if the calculation result of the prediction model is equal to or higher than a predetermined threshold, the alert actually leads to an incident. Even though it is important, the alert may be evaluated as a false alarm that is not enough to be noted.
  • the first disclosure is a monitoring system in which a computer monitors a predetermined system based on an alert of the predetermined system, and the controller of the computer executes a program recorded in a memory to notify the alert.
  • Classification information is added, and this classification information distinguishes the magnitude of the importance of the alert.
  • the alert to which the classification information is added is recorded in a memory, a plurality of alerts are selected from the memory, and the alert is selected.
  • a plurality of selected alerts are evaluated, the alert is determined before the classification information is added to the alert issued from the predetermined system, and the determination is based on the evaluation results of the plurality of alerts.
  • the purpose is to distinguish between the first alert to which the classification information is added and the second alert to which the classification information is added without being based on the evaluation result.
  • the second disclosure is a method in which a computer monitors the predetermined system based on an alert of the predetermined system, and the computer causes a countermeasure of the operation center to add classification information to the alert.
  • This classification information distinguishes the magnitude of the importance of the alert, and each of the plurality of alerts to which the classification information is added is selected, the selected plurality of alerts are evaluated, and the predetermined alerts are evaluated.
  • the alert is discriminated before the classification information is added to the alert issued from the system, and this determination includes the first alert that adds the classification information to the alert based on the evaluation results of the plurality of alerts and the first alert. This is to distinguish it from the second alert to which the classification information is added without being based on the evaluation result.
  • the alert issued from the monitored system can be accurately evaluated, and the monitored system can be operated stably and safely.
  • FIG. 1 It is a block diagram of hardware which concerns on an example of the whole system including a system to be monitored and a monitoring system, and shows the embodiment of this invention. It is an example of the hardware block diagram of the computer applied to the system shown in FIG. It is an example of the functional block diagram of the alert analyzer of FIG. This is an example of an alert collection table created by the alert collection unit of the alert analyzer. This is an example of the log collection table created by the log collection unit of the alert analyzer. This is an example of a timing chart (sequence diagram) for explaining the related operation between the SOC, the alert analyzer, and the external threat information database constituting the entire system of FIG. This is an example of a type management table for managing alert types.
  • This is an example of an evaluation table for alert components (data elements).
  • This is an example of a screen in which the display unit 5 of the alert analyzer displays the aggregated result of the predicted value of the test alert on the display. It is a characteristic diagram which showed an example of the outlier judgment by the boundary area which becomes similar to the element of a reference alert.
  • This is an example of a screen output by the display unit for determining outliers.
  • FIG. 1 is a hardware block diagram of an entire system including a monitoring target system 100 and a monitoring system 1.
  • the monitoring system 1 is for protecting the monitored system 100 from security threats such as cyber attacks.
  • security monitoring will be described, but the monitoring system 1 may monitor other alerts, for example, a failure of the monitored system 100 due to a failure, or a system malfunction. ..
  • the monitoring system 1 includes an SOC 130 and an alert analysis device 134 that captures and analyzes alerts issued from the monitored system 100. Although the alert analyzer 134 is shown as being outside the SOC 130, it may be inside the SOC.
  • the monitored system 100 may be related to social infrastructure such as a power supply system and a water and sewage management system, in addition to a computer system in the financial field and a computer system in the IT field, for example.
  • the monitoring target system 100 includes a first network 110, one or more client terminals 111, a business server 112, a network monitoring device 113, a FW / IPS 114, and a proxy server 116.
  • the first network 110 is, for example, a bus, and the client terminal 111, the business server 112, the network monitoring device 113, the FW / IPS 114, the proxy server 116, and the SOC 130 are connected to each other so as to be able to communicate with each other.
  • the FW / IPS 114 is connected to the external network 115.
  • the external network 115 is, for example, a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet.
  • the monitored system 100 monitors hardware and software, and when it detects a server attack, a virus, or other fraud, it creates an alert and notifies the SOC 130.
  • the SOC 130 includes an alert management device 131, a log management device 132, and a second network 135.
  • the second network 135 is, for example, a bus to which the alert management device 131, the log management device 132, the alert analysis device 134, and the external threat information database 133 are connected.
  • the alert management device 131 When the alert management device 131 receives an event such as virus detection, abnormal system behavior detection, connection detection with an unregistered device, failure, or failure from the monitored system 100 as a new alert, the alert management device 131 identifies the new alert.
  • the management information of is registered in the alert management table 131A.
  • the alert management information includes the date and time when the alert occurred, the type of the alert target (the source of the alert), and the address of the alert target.
  • SOC security experts refer to the external threat information database 133 to analyze and evaluate new alerts registered in the alert management table 131A, and the alerts are leaked and the system Classify whether the risk of a security incident such as runaway is high, or the alert has been addressed, or the alert is just a false report, and the risk is not high and you do not need to pay much attention.
  • Classification information (flag 0: alert is not dangerous, flag 1: alert is dangerous) is set for each alert. If the expert determines the latter, he or she will either take action in response to the alert or advise the monitored system 100.
  • the log management device 132 acquires an access log from the monitored system 100, records the history of the access log in the log management table 132A, and manages it.
  • the log is historical information indicating when, which computer in the monitored system 100 sends and receives what data to which communication partner.
  • the alert analyzer 134 learns the combination of the alert and the classification, and creates a model for evaluating the alert based on the learning result. Based on this model, the alert analyzer 134 analyzes new alerts, calculates predictive values for classification of new alerts, and notifies experts of this. Experts can review this forecast and categorize alerts.
  • the alert analysis device 134 refers to the management table 131A and the log management table 132A at predetermined intervals, and executes learning for alerts, analysis of new alerts, analysis, and the like.
  • the external threat information database 133 discloses threat information on the Internet. The threat information may include malware, program vulnerabilities, spam, and malicious URLs (Uniform Resource Locators).
  • FIG. 2 is a hardware block diagram of a computer applied to the system shown in FIG.
  • the computer is applied to each of the client terminal 111, the business server 112, the network monitoring device 113, the FW / IPS 114, the proxy server 116, the alert management device 131, the log management device 132, and the alert analysis device 134.
  • the computer 200 includes a processor 201, a storage device 202, an input device 203, an output device 204, and a communication interface (communication IF) 205.
  • the processors 201 and the like are connected to each other by the bus 206.
  • the storage device 202 may be a non-temporary or temporary recording means for storing programs and data.
  • FIG. 3 shows the functional block of the alert analyzer 134.
  • the alert analyzer 134 creates an alert evaluation model by using, for example, machine learning (predictive coding) by artificial intelligence, updates it by continuing learning, and further classifies the alert based on the evaluation model. It is possible to calculate the predicted value of.
  • the alert analyzer 134 configures the alert and learns the association between the data elements that characterize the alert and the classification flags.
  • the data element may be log information related to the alert.
  • the evaluation model may be, for example, a weight in the relationship with the flag for each of a plurality of data elements, or a model of a mathematical formula.
  • the alert analysis device 134 has an alert alert collection unit 301 for alerts, a log collection unit 302 for logs, a discrimination unit 303, an evaluation unit 304, and a display unit 305.
  • Each block, such as the alert collecting unit 301, is a functional module realized by the processor 201 executing a program stored in the storage device 202. Therefore, each of the alert collecting unit 301 and the like may be rephrased as an alert collecting module, an alert collecting means, an alert collecting circuit, an alert collecting unit, an alert collecting element, and the like.
  • the functional module may be realized by hardware.
  • the alert collection unit 301 refers to the alert management table 131A at predetermined time intervals, and registers the alert management information in the alert collection table 500 (FIG. 4).
  • FIG. 4 is an example of this table.
  • the alert collection table 500 is stored in a predetermined storage area of the alert analyzer 134.
  • the alert collector table 500 includes fields of an alert identifier 501, an occurrence date and time 502, an alert target 503, a communication partner 504, a processing result 505, and a classification 506.
  • the alert identifier 501 is identification information that uniquely identifies the alert.
  • the occurrence date and time 502 is the date and time when the alert was generated.
  • the alert target 503 is the source of the alert.
  • the communication partner 504 is a destination of data transmitted by the alert target 503 or a transmission source of data transmitted to the alert target 503.
  • the alert is identified by the alert identifier 501, the date and time of occurrence 502, the alert target 503, and the communication partner 504. These are obtained by the alert management device 131 analyzing the alert from the monitored system 100.
  • the processing result 505 is a response made by an expert to the alert.
  • the processing result includes, for example, “false positive and determination”, “unaddressed attack and determination”, “addressed attack and determination”, or "unprocessed”.
  • Classification 506 is information input by an expert based on the processing result 505.
  • a “1” indicates that the alert (alert identifier) is important, that is, the degree of risk is high, and a "0" indicates that the alert is not important, that is, it is not dangerous and does not require attention. The latter is, for example, that the alert is "misinformation" or "alert has been addressed”.
  • the log collection unit 302 accesses the log management table 132A at predetermined time intervals, refers to the log information group of the log management table 132A, extracts the log related to the alert, and uses this as the alert-related log in the log collection table.
  • Register at 600 (Fig. 5).
  • the log collection table 600 is recorded in a predetermined storage area of the alert analyzer 134.
  • FIG. 5 is an example of the log collection table 600.
  • the log collection table 600 has an alert identifier 501, an aggregation date and time 602, a proxy server log 603, a business server log 604, and external threat information 605 as fields.
  • the aggregation date and time 602 is a fixed time interval (10 minutes) from the time retroactive by a predetermined time (1 hour) from the alert generation date and time 502, and is the timing for aggregation of logs and the like. For entries whose aggregation date and time 602 is "2018/10/10 12:57", the statistics such as logs aggregated in 10 minutes from "12:48" to "12:57” of "2018/10/10" are displayed. Shown.
  • the data elements that make up the alert may be defined as logs within a predetermined range before the alert occurrence date and time. That is, the log information 603 and 604 of the aggregation date and time of the alert having the same identifier is a feature amount related to the alert, that is, a data element constituting the alert. Further, the external threat information 605 may also be used as the alert configuration information. Since the alert occurrence date and time 502 in which the alert identifier 501 is "Alert_005" is "2018/10/10 13:57" (FIG.
  • alert collection table 500 the alert aggregation date and time 602 is set to the occurrence date and time 502 " "2018/10/10 12:57” which goes back one hour from “2018/10/10 13:57” and "2018/10/10 13:07” in 10-minute increments from "2018/10/10 12:57” , "2018/10/10 13:17", “2018/10/10 13:27", “2018/10/10 13:37”, “2018/10/10 13:47”, and "2018 / 10/10 13:57 ”.
  • the proxy server log 603 has a cache miss count 631 and an abnormal response count 632 as subfields.
  • the number of cache misses 631 is the number of times the proxy server 116 has made a cache miss at the aggregation date and time 602.
  • the number of abnormal responses 632 is the number of times that the proxy server 116 received the abnormal response at the aggregation date and time 602.
  • the subfield of the proxy server log 603 may be other than the number of cache misses 631 and the number of abnormal responses 632 (for example, the number of communication bytes).
  • the business server log 604 has an abnormal response count of 641 and an access count of 642 as subfields.
  • the number of abnormal responses 641 is the number of times that the business server 112 received the abnormal response at the aggregation date and time 602.
  • the number of accesses 642 is the number of times that the business server 112 is accessed by the other computer 200 during the aggregation period specified by the aggregation date and time 602.
  • the subfield of the business server log 604 may be other than the number of abnormal responses 641 and the number of accesses 642 (for example, the number of authentication failures).
  • the external threat information 605 has an IP address risk level 651 and a URL risk level 652 as subfields.
  • the IP address risk level 651 is an index value indicating the risk level of the IP address stepwise in the external threat information database 133 when the communication partner 504 of the alert target 503 at the aggregation date and time 602 is specified by the IP address. .. Of the “6" stages of "0 to 5", "5" has the highest risk.
  • the URL risk level 652 is an index value indicating the risk level of the URL in the external threat information database 133 stepwise when the communication partner 504 of the alert target 503 at the aggregation date and time 602 is specified by the URL. There are “6" stages of “0 to 5", and "5" has the highest risk.
  • the subfield of the external threat information 605 may be other than the IP address risk 651 and the URL risk 652 (for example, the vulnerability of the terminal).
  • the evaluation unit 304 performs learning based on the alert selected from the alert collection table 500 (FIG. 4). This learning is to evaluate the relationship between the data element of the alert and the classification given to the alert, and create and update the evaluation model.
  • the data element of the alert is the operating value, attribute value, characteristic value, measured value, or measured value of the hardware or software belonging to the monitored system 100 that led to the alert.
  • the proxy server log, the business server log, and the external threat information in the log collection information table 600 (FIG. 5).
  • the classification is an index of whether or not the alert is dangerous and leads to an incident
  • the security expert classifies the alert as "0": no danger and "1”: dangerous.
  • the importance is not limited to being divided into two stages of "0" and "1", and may include more stages.
  • the evaluation unit 304 calculates the predicted value of the new alert based on the evaluation model.
  • the evaluation unit 304 makes the predicted value referable to an expert.
  • the expert 306 processes and classifies the alert with reference to this predicted value, and registers the classification result in the alert management table 131A. Since the expert 306 can refer to the predicted value before actually processing the alert, the alert can be processed efficiently, and the risk level of the alert can be eliminated.
  • the discrimination unit 303 discriminates between a new alert for which a predicted value is to be calculated and a new alert for which an expert 303 directly evaluates and classifies the alert without calculating the predicted value.
  • FIG. 6 is a timing chart illustrating related operations between the SOC 130, the alert analyzer 134, and the external threat information database 133. Parts that overlap with the description of FIG. 3 may be omitted.
  • the alert collecting unit 301 determines the range for collecting alert information from the alert management table 301A of the alert management device 131 for learning the alert (step S401). Each time the alert management device 131 receives an alert from the monitored system 100, the alert management device 131 registers the alert management information in the alert management table 131A.
  • the alert collection unit 301 collects alerts registered in the alert management table 131A.
  • the alert collection unit 301 collects management information of alerts that have occurred within the collection range (for example, 30 days) from the alert with the oldest occurrence date and time among the alerts that have not been captured (step S402).
  • the alert collection unit 301 registers the collected alert management information in the alert collection table 500 (step S403).
  • the alert collection unit 301 notifies the log collection unit 302 that the registration of the alert in the alert collection table has been completed (step S404).
  • the log collection unit 302 receives the log from the log management table 132A (step S405) and receives the external threat information from the external threat information database 133 (step S406).
  • the log collecting unit 302 refers to the alert collecting table 500 and the external threat information, and registers the management information of the log corresponding to the alert in the log collecting total table 600 (step S407).
  • the alert collection unit 301 sets the alert type for the captured alert (step S408). There are three types: “reference”, “test”, and “unprocessed”. Alerts with “reference” set are used to evaluate the relationship between alert data elements and alert classification (classification), and to create and update evaluation models for predicting alert classification. The alerts that are set to "test” are for testing the evaluation model, and the alerts that are set to "unprocessed” are not finished in management by SOC130 and are "referenced", It should not be set to "test”. The alert collecting unit 301 may determine an alert for which "reference” is set and an alert for which "test” is set, based on a predetermined rule.
  • FIG. 7 is an example of the type management table 700 for managing the types of alerts.
  • the type management table 700 defines a data type for each alert, is created by the alert collecting unit 301 (step S408), and is stored in a predetermined area of the storage device 202 of the alert analysis device 134.
  • the type of the alert identifier 501 is set for each timing when the alert collecting unit 301 collects the alert.
  • the first period (T) 702 indicates, for example, the type of alert captured in “2018/6/1”-“2018/6/30” (T: one month), and the second period (T). +1) 703 indicates the type of alert captured in "2018/6/1”-"2018/7/31", and the third period (T + 2) 704 is "2018/6/1". -Indicates the type of alert captured in "2018/8/31".
  • T is the collection range determined in step S401.
  • the ratio of "reference” to "test” is not particularly limited, and the alert collection unit 301 may set it as appropriate. In the type management table 700 of FIG. 7, "test” is set as an alert whose occurrence time is close to the present.
  • one alert type may transition from “test” to "reference”. Further, the alert that is "unprocessed” transitions to "test” or “reference” as the processing in the SOC 130 progresses and the collection period progresses.
  • the alert collection unit 301 may randomly set “reference” and "test” for the type management table 700.
  • the evaluation unit 304 starts learning for creating and updating the evaluation model at the timing when the collection of information (step S408) from the alert management table 131A and the log management table 132A is completed. Based on the alert collection unit 301, the evaluation unit 304 refers to the type table 700 (step S801) and selects the identifier of the alert to which the “reference” is assigned. Next, the evaluation unit 304 refers to the log collection table 600 based on the log collection unit 302 (step S802), and for a plurality of alerts set to “reference”, a plurality of data of alerts from the log collection table 600. Extract elements (proxy server cache miss count, etc.). Further, the evaluation unit 304 evaluates the weights of the plurality of data elements constituting the alert, which are given to the alert classification (FIGS. 4, 506) (step S803).
  • FIG. 9 is an example of the evaluation table 900 of the alert component (data element).
  • the evaluation unit 304 evaluates the components of the alert, the evaluation unit 304 records the components of the alert and the weights which are the evaluation results in the table 900. This table is registered in a predetermined storage area of the alert analyzer 134.
  • the evaluation table 900 has an item 901, a range 902, and a correlation degree 903 as fields.
  • Item 901 is the name of the data element of the alert to which the "reference" is given, that is, the reference alert. This corresponds to the proxy server log cache miss count 631 and the like in the log collection table 600.
  • the range 902 is a range of values that item 901 can take.
  • the data element of the alert is composed of a combination of item 901 and range 902.
  • the degree of correlation 903 corresponds to an index for evaluating the correlation between the data element and the classification 506, that is, the weight.
  • the correlation degree 903 is, for example, the appearance frequency p1 (occurrence probability) of the range 902 obtained by dividing the number of appearances of the range 902 in the feature amount (data element) of the reference data by the total number of times of the feature amount, and the degree of classification 506 (q). ) And the correlation coefficient (R1) of.
  • the correlation coefficient (R1) is the standard deviation ( ⁇ p1) of the appearance frequency (p1), the standard deviation ( ⁇ q) of (q), and the covariance (Sp1q) of the appearance frequencies (p1) and (q). Is calculated by the following formula (1).
  • R1 Sp1q / ( ⁇ p1 ⁇ ⁇ q) ... (1)
  • the appearance frequency p1 will be explained in detail.
  • the alert identifier 501 set to “reference” at the first alert collection timing 702 is from “Alert_001” to “Alert_008”.
  • the evaluation unit 304 obtains the appearance frequency (p1) and (q) for each alert identifier 501.
  • the alert identifier 501 is "Alert_005" and the item 901 is "proxy server cache miss count”, it is as follows.
  • the number of cache misses 631 of the proxy server log 603 in which the alert identifier 501 is “Alert_005” is “3” (2018/10/10 12:57), “4” (2018/10/10 13). : 07), ..., "4" (2018/10/10 13:57).
  • the total date and time 602 is "2018/10/10 13:17", “2018/10/10 13:27", “2018/10/10 13:37", and "2018/10/10 13:47".
  • the number of cache misses 631 was set to a value other than "3" and "4".
  • the number of occurrences of the range 902 "3" to "4" in the cache miss count 631 of the proxy server log 603 in which the alert identifier 501 is "Alert_005" is three times.
  • the total number of cache misses 631 of the proxy server log 603 whose alert identifier 501 is "Alert_005" is "2018/10/10 12:57”, “2018/10/10 13:07”, "2018/10/10". 10 13:17 ”,“ 2018/10/10 13:27 ”,“ 2018/10/10 13:37 ”,“ 2018/10/10 13:47 ”, and“ 2018/10/10 13:57 ” "7 times.
  • the appearance frequency (p1) of the range 902 of "3” to "4" in the cache miss count 631 of the proxy server log 603 in which the alert identifier 501 is "Alert_005" is "3/7".
  • the classification degree (q) in which the alert identifier 501 is "Alert_005" is "0" (506 in FIG. 4).
  • a positive (R1> 0) correlation coefficient (R1) indicates that the alert is correct, that is, the alert is dangerous, such as a virus attack, and the value of the correlation coefficient (R1) is large. The higher the degree of danger.
  • the fact that the correlation coefficient (R1) is negative (R1 ⁇ 0) indicates that the alert is not so dangerous, such as that the alert is based on a false alarm, and the correlation coefficient (R1) is small. The more (the larger the absolute negative value), the higher the false alarm.
  • the valuation unit 304 alerts by integrating, fusing, combining, unifying, or synthesizing the correlation coefficients of the respective data elements. The risk of the alert itself can be evaluated based on the score of.
  • FIG. 9 is one form of the evaluation model obtained by learning.
  • the evaluation unit 304 creates a model formula for calculating the predicted value of the classification degree based on the appearance frequency (p1) and the classification degree (q) (step S804).
  • the objective variable (Y) is the importance 506 and the explanatory variable (Xn) is “P” (item 901 and range 902).
  • P (Z) represents the probability of occurrence of event Z (item) (appearance frequency (p1)).
  • X1 P (proxy server cache miss count "3" to "4")
  • X2 P (proxy server cache miss count "10" to "15”) ⁇ ⁇ ⁇ And so on.
  • the evaluation unit 304 creates a multiple regression equation as shown in the following equation (1) as an example of the model equation.
  • N is the total number of combinations of the factor item 901 and the range 902, that is, the total number of events (Z).
  • the explanatory variable (Xn) Assuming that the value of is "xn_k", each coefficient "b0", “b1", “b2”, ..., "Bn” of the above equation (2) is a matrix as shown in the following equation (2) as an example. It can be obtained by an equation. In the equation (2), “i” indicates an arbitrary entry of the feature quantity (learning data) entries “1” to “k”.
  • the model formula based on the above formula (2) is an example of an evaluation model.
  • the method of creating this model formula is an example, and it may be derived using generally known methods such as regularization, decision tree, ensemble learning, neural network, and Bayesian network.
  • the classification is set to "0" or "1” as described above.
  • the predicted value of the classification is set as a value of "0" or more and “1" or less.
  • the evaluation unit 304 may determine the degree of classification based on this predicted value and make it available to experts.
  • the evaluation unit 304 may compare the predicted value with the threshold value and determine the classification based on the comparison result. In order to determine the threshold value, the evaluation unit 304 refers to the type table 700 based on the alert collection unit 301 (step S805), selects the alert classified as “test”, and logs the data element of this test alert. Extract from the collection table 60 (step S806).
  • the evaluation unit 304 calculates the predicted value based on the test alert using the model formula described above (step S807).
  • the evaluation unit 304 calculates the predicted value “y_k” by giving the explanatory variables “x1_k”, “x2_k”, ..., “Xn_k” of the feature amount (data element) of this alert to the model formula.
  • the evaluation unit 304 outputs the calculation result of the predicted value to the display unit 305 (step S808), and the display unit 305 displays the result on the display so that an expert can refer to it.
  • the evaluation unit 305 determines the threshold value manually by the expert 306 or based on a predetermined rule (step S809).
  • the threshold value is an index for classifying the calculated predicted value into "0" or "1".
  • the evaluation unit 304 sets “0” if the predicted value is smaller than the threshold value and “1” if the predicted value is equal to or higher than the threshold value.
  • FIG. 10 is an example in which the display unit 305 displays the aggregated result of the predicted value of the alert set in “test” on the display in step S808.
  • the output screen 1000 has a tab 1001 for displaying a predicted value by a test alert.
  • the display unit 305 displays a distribution of predicted values 1002 based on a plurality of test alerts and a list of predicted values 1003 for the test alerts.
  • Distribution 1002 is configured in the form of a histogram.
  • the number of cases is the cumulative number of test alerts
  • the black graph shows the test alert with the classification (FIGS. 4, 506) of "1”
  • the white graph shows the test alert with the classification "0”.
  • the list consists of a table and represents the classification and predicted value of the result of comparing the predicted value and the threshold value.
  • the threshold value of the "predicted value” may be determined so as not to be distributed to "".
  • the display unit 305 may display information on the SOC alert management device 131, for example.
  • the SOC alert management device 131 registers the newly generated alert in the alert management table 131A. Further, the log management device 132 registers the log related to the alert in the log management table 132A.
  • the determination unit 303 of the alert analyzer 134 refers to the alert management table 131A at predetermined time intervals (for example, every minute), and when it detects an alert to which no classification is added, the alert log information is extracted from the log management table 132A. (Step S811), an alert that should calculate the predicted value by applying the above-mentioned model formula based on the log information, and an alert that is directly entrusted to expert analysis without calculating the predicted value. Is determined (step S812).
  • the evaluation unit 304 causes the evaluation unit 304 to calculate the predicted value (step S814), and outputs the calculation result to the display unit 305.
  • the determination unit 303 determines the latter alert (step S821), the determination unit 303 outputs this determination result to the display unit 305.
  • the display unit 305 displays the determination result (step S822) so that the expert can refer to it, and notifies the expert of an alert (step S821) in which the predicted value is not calculated (step S823).
  • the expert may evaluate the risk level of the alert, determine the classification, and register the alert in the alert management table 131A without waiting for the calculation result of the predicted value.
  • the determination unit 303 determines whether or not the data element of the new alert is a singular value such as an outlier with respect to the data element of the reference alert. Therefore, the outlier determination will be described.
  • the determination unit 303 sequentially determines whether the value of each data element of the new alert is outside the range of the value of the same element of the plurality of alerts set to "reference". For each of the plurality of elements, when the value of the data element of the new alert is out of the range of the value of the data element of the reference alert in at least one data element, the determination unit 305 determines the new alert as an outlier.
  • the value of the data element of the new alert is a numeric type, it is determined whether the value of the same element of the alert set in "reference" is out of the range from the minimum value to the maximum value.
  • the number of alerts set to “reference” is “m"
  • the number of elements is "n”
  • the determination of outliers is Vi ⁇ min (Wij), max (Wij) ⁇ Vi, and The determination that is not an outlier is min (Wij) ⁇ Vi ⁇ max (Wij).
  • the determination unit 303 calculates a set of values of the same element of the reference alert and determines whether the set is different. Assuming that the set of the values of the same element is "WIj" and the set is "WI”, it can be expressed as follows.
  • the discriminator 303 uses a mathematical method, a statistical method, a probabilistic method, or a rule-based method, or a method including machine learning to make the new alert similar to the reference alert.
  • the area may be calculated and the outliers may be determined based on whether the new alert is outside the boundary area.
  • FIG. 11 is a characteristic diagram showing an example of outlier determination based on a boundary region that is similar to the element of the reference alert.
  • the determination unit 303 extracts the elements “ ⁇ 1” and “ ⁇ 2” from the reference alert and plots the reference alert.
  • the element is not limited to two axes, and may be three or more axes.
  • For the plotted reference alert determine the boundary that determines the boundary area 1100.
  • a method such as clustering or "SVM" (Support Vector Machine) is used to obtain the boundary region, but other mathematical methods, statistical methods, probabilistic methods, rule-based methods, or machine learning are used. You may use the method including.
  • SVM Small Vector Machine
  • the new alert is determined to be similar to the reference alert and is not outlier. On the other hand, if the plot 1101 of the new alert is outside the boundary region 1100, the new alert is determined to be an outlier because it is not similar to the reference alert.
  • the discrimination unit 303 performs outlier determination by one or two of the two discrimination methods described above.
  • new alerts are discriminated by outliers, for example, because the evaluation model is learned based on the reference alert even if the evaluation model is applied to the new alert that is out of the attributes of the reference alert. Therefore, the evaluation result of the new alert does not match the substantive classification of the new alert.
  • the expert classifies the new alert directly and trains the evaluation unit 304 as a reference alert, so that the alert rarely occurs with an outlier. No, the model formula (evaluation model) can be evolved to apply to outliers.
  • the predicted value obtained by the model formula corresponds well to the risk level of the alert of the monitored system.
  • the alert collecting unit 301 treats the alert determined as an outlier as a reference alert from the beginning until learning progresses. See “Alert_012” in FIG.
  • FIG. 12 is an example of the screen 1200 output by the display unit 305 for outlier determination.
  • the screen 1200 displays the alert list 1202 based on the tab 1201. This is because the display unit 305 generates the prediction result and the outlier determination result (step S822).
  • the determination unit 303 refers to the alert management table 131A based on the new alert identifier 501, and together with the alert management information, determines the result of outlier determination and the predicted value of the classification of the alert determined not to be an outlier. , Displayed on the display unit 305. As shown in FIG. 13, the presence / absence of outliers and the display of predicted values may be integrated in the alert list 1302 (1303).
  • the discrimination unit 303 may record the alert lists 1202 and 1302 as outlier management tables in a predetermined portion of the storage area of the alert analyzer 134.
  • the outlier management table may be referred to so that the alert determined as the outlier is selected as the reference alert.
  • alerts with outliers are evaluated as reference alerts, so it is possible to train the evaluation model to be smart while avoiding overlooking incidents.
  • the external threat information database 133 may be a failure information database or an external information database including these
  • the risk level of the alert may be the importance of the alert including the fault information database, or the security operation center.
  • SOC security operation center
  • Monitoring system 100 Monitoring target system 131 Alert management device 132 Log management device 133 External threat information database 134 Alert analysis device 301
  • Alert collection unit 302 Log collection unit 303 Discrimination unit 304 Evaluation unit 305
  • Display unit 500 Alert collection table 600

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

所定システムのアラートに基づいて、所定システムを監視する監視システムであって、所定システムから発せられるアラートに分類情報が付加される前に当アラートを判別し、この判別は、アラートを複数のアラートの評価結果に基づいて分類情報が付加される第１アラートと、評価結果基づくことなく前記分類情報が付加される第２アラートとを区別することにより、監視対象システムから発せられるアラートを正確に評価して、監視対象システムを安定、かつ、安全に運営できるようにする。

Description

監視システム、および、監視方法
　本発明は、システムのハードウェア、および／または、ソフトウェアを運用するための監視システムに係る。
　標的型攻撃をはじめとするサイバー攻撃、“ＤＤｏＳ”（Ｄｉｓｔｒｉｂｕｔｅｄ　Ｄｅｎｉａｌ　ｏｆ　Ｓｅｒｖｉｃｅ）攻撃、ウィルス拡散など、サイバー空間の脅威に対応する必要性が高まっている。サイバー空間では攻撃側が構造的に優位であり、その攻撃は日々高度化、増加、そして、変化してきている。しかも、攻撃対象は、金融サービス事業者やＩＴサービス事業者に留まらず、インンフラ事業者等へと拡大している。
　一方、企業内のＩＴシステムは、クラウドサービスの利用拡大、スマホ、タブレットなどのモバイルデバイスの普及、リモートワーク等、益々、複雑化、多様化している。こうした状況では、いつ、どこからネットワークに不正侵入され、企業にとって重要な情報が外部に流出するかわからない。
　これまでは、サーバやネットワーク分野に詳しいＩＴ部門の技術者が、セキュリティの脅威に対応していたが、多層的なセキュリティ対策と併せ、専門スタッフが常時監視するセキュリティオペレーションセンタ（ＳＯＣ：Ｓｅｃｕｒｉｔｙ　Ｏｐｅｒａｔｉｏｎ　Ｃｅｎｔｅｒ）の必要性が高まっている。
　しかしながら、セキュリティ専門家の必要数が確保できないために、情報システムや制御システムにおけるセキュリティインシデントの発生を監視する業務に支障を来たすことが懸念されていた。例えば、社会インフラ事業では、監視対象がシステム全体に及ぶため、そもそも、ＳＯＣの運用能力の大幅な向上が望まれていた。
　ＳＯＣでの運用業務において、最も比重が高いのは、“ＦＷ”（Ｆｉｒｅｗａｌｌ）／“ＩＰＳ”（Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍ）等から通知されるセキュリティアラートの重要度を評価すること、即ち、セキュリティ専門家が、アラートがインシデントか、または、誤検知等注意を払わなくてもよいかを評価することである。ＳＯＣのセキュリテイ専門家は、監視対象システムの各装置ログ、外部脅威情報、マルウェアの危険度評価等を参照し、アラートの重要度を自身の知識と経験とに基づいて判断している。
　増加し続けるサイバー攻撃や監視対象システムの大規模化に対応して、ＳＯＣの運用を将来にわたって安定して継続させるには、セキュリティアラートの危険度を評価する業務を自動化、または、これを支援することが望まれる。
　このような課題は、セキュリティ面に限らず装置などの故障によるアラートであっても同様である。サーバ装置やネットワーク装置を含む情報システム全体の故障監視も、ＳＯＣのように、専門スタッフが常駐するオペレーションセンタ（情報システム部や、ネットワークオペレーションセンタ（ＮＯＣ：Ｎｅｔｗｏｒｋ　Ｏｐｅｒａｔｉｏｎ　Ｃｅｎｔｅｒ）などと呼ばれる。）によって行われている。ＮＯＣは、各装置から発生するログ情報と、パフォーマンス低下などによるアラート情報を結び付けて、そのアラートが一時的なものなのか、サービス変更によるものなのか、または、装置故障によるものなのかを判断しなければならない。故障監視を行う専門スタッフは、ＳＯＣの場合と同様に、アラートの重要度を自身の知識と経験とに基づいて判断している。
　業務の自動化が進展することで、これまで以上に様々なサービスが情報システム上に追加されるようになっているため、上記ログ情報やアラート情報は増加する一方である。そのため、オペレーションセンタの運用能力の大幅な向上が望まれており、その運用を将来にわたって安定して継続させるには、ＳＯＣ業務と同様に、アラートの重要度を評価する業務を自動化、または、これを支援することが望まれる。
　例えば、下記特許文献１のシステムは、コンテンツの配信対象ユーザを効果的に拡張することができることを目的として、モデル生成部は、所定のｅコマースで販売される商品および／またはサービスのユーザの購入の有無を目的変数、ユーザの属性を説明変数とする予測モデルを生成し、更新部は、商品および／またはサービスの購入がないユーザである特定ユーザの属性を説明変数とした予測モデルの演算結果が所定閾値以上である場合に、特定ユーザの行動履歴を有とする更新を行うというものである。
特開２０１８－１５２１４１号公報
　しかしながら、予測モデルの演算結果が所定閾値以上か否かにだけで、アラートが例えば危険レベルか否かといった、アラートの重要性をシステムに評価させようとすると、実際には、アラートがインシデントに繋がる重要なものであるにも拘らず、アラートが注意するに足りない誤報程度のものとして評価されてしまう虞がある。
　従って、監視対象システムから発せられるアラートを正確に評価して、監視対象システムを安定、かつ、安全に運営できるようにすることが望まれる。
　そこで、第１の開示は、コンピュータが所定システムのアラートに基づいて、当該所定システムを監視する監視システムであって、前記コンピュータのコントローラは、メモリに記録されたプログラムを実行して、前記アラートに分類情報を付加し、この分類情報は、前記アラートの重要度の大小を区別するものであり、前記分類情報が付加されたアラートをメモリに記録し、当該メモリから複数のアラートを選択し、当該選択された複数のアラートを評価し、前記所定システムから発せられるアラートに前記分類情報が付加される前に当該アラートを判別し、この判別は、当該アラートを前記複数のアラートの評価結果に基づいて前記分類情報が付加される第１アラートと、当該評価結果に基づくことなく前記分類情報が付加される第２アラートとを区別するというものである。
　さらに、第２の開示は、コンピュータが所定システムのアラートに基づいて、当該所定システムを監視する方法であって、前記コンピュータは、オペレーションセンタの対策者に対して、前記アラートに分類情報を付加させ、この分類情報は、前記アラートの重要度の大小を区別するものであり、夫々に、前記分類情報が付加された複数のアラートを選択し、当該選択された複数のアラートを評価し、前記所定システムから発せられるアラートに前記分類情報が付加される前に当該アラートを判別し、この判別は、当該アラートを前記複数のアラートの評価結果に基づいて前記分類情報を付加する第１アラートと、当該評価結果に基づくことなく前記分類情報を付加する第２アラートとを区別するというものである。
　本発明によれば、監視対象システムから発せられるアラートを正確に評価して、監視対象システムを安定、かつ、安全に運営できるようになる。
監視対象システムと監視システムとからなる全体システムの一例に係わり、本発明の実施形態を表すハードウェアのブロック図である。 図１に示すシステムに適用されるコンピュータのハードウェアブロック図の一例である。 図１のアラート分析装置の機能ブロック図の一例である。 アラート分析装置のアラート収集部が作成したアラート収集テーブルの一例である。 アラート分析装置のログ収集部が作成したログ収集テーブルの一例である。 図１の全体システムを構成する、ＳＯＣ、アラート分析装置、そして、外部脅威情報データベースの間の関連動作を説明するタイミングチャート（シーケンス図）の一例である。 アラートの種別を管理するための種別管理テーブルの一例である。 アラート分析装置の評価部の動作を説明するシーケンス図の一例である。 アラートの構成要素（データ要素）の評価テーブルの一例である。 アラート分析装置の表示部５が、テストアラートの予測値の集計結果をディスプレイに表示している画面の一例である。 参照アラートの要素に類似になる境界領域による外れ値判定の一例を示した特性図である。 外れ値判別について、表示部によって出力される画面の一例である。 外れ値判別について、表示部によって出力される画面の他の例である。
　本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。
　次に、本発明に係る監視システムの実施形態を図面に基づいて説明する。図１は、監視対象システム１００と監視システム１とからなる全体システムのハードウェアブロック図である。監視システム１は監視対象システム１００をサイバー攻撃等セキュリティの脅威から防衛するためのものである。なお、以下の実施形態では、セキュリティの監視について述べるが、監視システム１は、その他のアラート、例えば、故障に係るものによる監視対象システム１００の故障、システムの不調を監視するものであってもよい。
　監視システム１は、ＳＯＣ１３０と、監視対象システム１００から発せられるアラートを取り込んで分析するアラート分析装置１３４と、を備えている。アラート分析装置１３４はＳＯＣ１３０外に存在するものとして図示されているが、ＳＯＣ内に存在してもよい。
　監視対象システム１００は、例えば、金融分野のコンピュータシステム、ＩＴ分野のコンピュータシステムの他、電力供給システム、上下水道管理システムのような社会インフラに係るものであってもよい。監視対象システム１００は、第１ネットワーク１１０、１台以上のクライアント端末１１１、業務サーバ１１２、ネットワーク監視装置１１３、ＦＷ／ＩＰＳ１１４、およびプロキシサーバ１１６を有する。
　第１ネットワーク１１０は、例えば、バスであり、クライアント端末１１１、業務サーバ１１２、ネットワーク監視装置１１３、ＦＷ／ＩＰＳ１１４、プロキシサーバ１１６、ＳＯＣ１３０が、互いに通信可能に接続されている。ＦＷ／ＩＰＳ１１４は、外部ネットワーク１１５に接続される。外部ネットワーク１１５は、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、または、インターネットである。
　監視対象システム１００は、ハードウェア、ソフトウェアを監視し、サーバ攻撃、ウィルス等の不正を検知すると、アラートを作成してＳＯＣ１３０に通知する。ＳＯＣ１３０は、アラート管理装置１３１と、ログ管理装置１３２と、第２ネットワーク１３５と、を備える。第２ネットワーク１３５は、例えば、バスであり、アラート管理装置１３１、ログ管理装置１３２、アラート分析装置１３４、および、外部脅威情報データベース１３３が接続されている。
　アラート管理装置１３１は、監視対象システム１００からウィルス検出、システムの異常な挙動の検出、未登録装置との接続の検出、故障、障害等の事象を新規アラートとして受信すると、新規アラートを特定するための管理情報をアラート管理テーブル１３１Ａに登録する。アラートの管理情報は、アラートの発生日時と、アラート対象（アラートの発生元）の種類と、アラート対象のアドレスを含む。
　ＳＯＣのセキュリティ専門家（以下、専門家、という。）は、外部脅威情報データベース１３３を参照して、アラート管理テーブル１３１Ａに登録された新規アラートを分析、評価して、アラートが情報漏えい、システムの暴走等セキュリティインシデントに繋がる危険度が高いものか、あるいは、アラートが対策済み、または、アラートが誤報に過ぎない等、危険度が高くなく、さほど注意を払わなくてもよいものかを分類して、分類情報（フラグ０：アラートが危険ではない、フラグ１：アラートが危険である）をアラート毎に設定する。専門家は後者を判定すると、アラートに対応する対策を実行するか、或いは、監視対象システム１００にこれを助言する。
　ログ管理装置１３２は、監視対象システム１００からアクセスログを取得して、アクセスログの履歴をログ管理テーブル１３２Ａに記録して管理する。ログは、いつ、監視対象システム１００内のどのコンピュータがどのようなデータをどの通信相手に送受信したかを示す履歴情報である。
　アラート分析装置１３４は、アラートと分類との組み合わせを学習し、学習結果に基づいてアラートを評価するためのモデルを作成する。アラート分析装置１３４は、このモデルに基づいて、新規アラートを分析し、新規アラートの分類のための予測値を計算し、これを専門家に通知する。専門家はこの予測値を確認して、アラートを分類することができる。アラート分析装置１３４は、管理テーブル１３１Ａと、ログ管理テーブル１３２Ａと、を所定期間毎に参照し、アラートに対する学習と、新規アラートの分析、解析等を実行する。外部脅威情報データベース１３３は、インターネット上で脅威情報を公開するものである。脅威情報には、マルウェア、プログラムの脆弱性、スパム、そして、不正ＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）が含まれていてよい。
　図２は、図１に示すシステムに適用されるコンピュータのハードウェアブロック図である。当該コンピュータは、クライアント端末１１１、業務サーバ１１２、ネットワーク監視装置１１３、ＦＷ／ＩＰＳ１１４、プロキシサーバ１１６、アラート管理装置１３１、ログ管理装置１３２、アラート分析装置１３４の夫々に適用される。コンピュータ２００は、プロセッサ２０１と、記憶デバイス２０２と、入力デバイス２０３と、出力デバイス２０４と、通信インターフェース（通信ＩＦ）２０５と、を備える。プロセッサ２０１等は、バス２０６により互いに接続されている。記憶デバイス２０２は、プログラムやデータを記憶する非一時的なまたは一時的な記録手段でよい。
　図３に、アラート分析装置１３４の機能ブロックを示す。アラート分析装置１３４は、例えば、人工知能による機械学習（プレディクティブコーディング）を利用して、アラートの評価モデルを作成し、これを学習の継続により更新し、さらに、評価モデルに基づいて、アラートに対する分類の予測値を算出できるようにしている。アラート分析装置１３４は、アラートを構成し、アラートを特徴付けるデータ要素と、分類フラグとの関連性を学習する。データ要素は、アラートに関連するログの情報でよい。評価モデルは、例えば、複数のデータ要素毎のフラグとの関係性における重み、或いは、数式のモデルでよい。
　アラート分析装置１３４は、アラートのアラート収集部３０１と、ログのログ収集部３０２と、判別部３０３と、評価部３０４と、表示部３０５と、を有する。アラート収集部３０１等の夫々のブロックは、プロセッサ２０１が記憶デバイス２０２に保存されたプログラムを実行することによって実現される機能モジュールである。したがって、アラート収集部３０１等の夫々を、アラート収集モジュール、アラート収集手段、アラート収集回路、アラート収集ユニット、または、アラート収集要素等と言い換えてもよい。なお、機能モジュールをハードウェアによって実現してもよい。
　アラート収集部３０１は、アラート管理テーブル１３１Ａを所定時間毎参照し、アラートの管理情報をアラート収集テーブル５００（図４）に登録する。図４は、このテーブルの一例である。アラート収集テーブル５００は、アラート分析装置１３４の所定の記憶領域に保存される。アラート収集計テーブル５００は、アラート識別子５０１と、発生日時５０２と、アラート対象５０３と、通信相手５０４と、処理結果５０５と、分類５０６と、の夫々のフィールドを備える。
　アラート識別子５０１は、アラートを一意に特定する識別情報である。発生日時５０２は、アラートが発生した日付時刻である。アラート対象５０３は、アラートの発生元である。通信相手５０４は、アラート対象５０３が送信したデータの宛先またはアラート対象５０３にデータを送信した送信元である。アラートは、アラート識別子５０１、発生日時５０２、アラート対象５０３、および、通信相手５０４によって、特定される。これらは、アラート管理装置１３１が監視対象システム１００からのアラートを解析して得られる。
　処理結果５０５は、アラートに対して、専門家によって行われた対応である。処理結果には、例えば、“誤検知と判断”、“未対処の攻撃と判断”、“対処済みの攻撃と判断”、または、“未処理”がある。分類５０６は、処理結果５０５に基づいて、専門家によって入力された情報である。“１”はアラート（アラート識別子）が重要、即ち、危険度が大きいことを示し、“０”はアラートが重要ではない、即ち、危険ではなく注意を払わなくてもよいことを示す。後者は、例えば、アラートが“誤報”、または、“アラートが対策済み”であるということである。
　ログ収集部３０２は、ログ管理テーブル１３２Ａを所定時間毎にアクセスして、ログ管理テーブル１３２Ａのログ情報群を参照して、アラートに関連するログを抽出し、これをアラート関連ログとしてログ収集テーブル６００（図５）に登録する。ログ収集テーブル６００は、アラート分析装置１３４の所定の記憶領域に記録されている。図５はログ収集テーブル６００の一例である。ログ収集テーブル６００は、アラート識別子５０１と、集計日時６０２と、プロキシサーバログ６０３と、業務サーバログ６０４と、外部脅威情報６０５と、をフィールドとして有する。
　プロキシサーバログ６０３、業務サーバログ６０４、および、外部脅威情報６０５以外にも監視対象システム１００内の他のコンピュータ（クライアント端末１１１やＦＷ／ＩＰＳ１１４、ネットワーク監視装置１１３など）についてのログがあってもよい。
　集計日時６０２は、アラートの発生日時５０２から所定時間（１時間）遡った時刻から一定時間間隔（１０分）であって、ログ等を集計するタイミングである。集計日時６０２が“２０１８／１０／１０　１２：５７”のエントリは、“２０１８／１０／１０”の“１２：４８”から“１２：５７”までの１０分間で集計されたログ等の統計を示す。
　アラートを構成するデータ要素は、アラートの発生日時以前の所定範囲のログであると定義してよい。つまり、同じ識別子のアラートの集計日時のログの情報６０３，６０４がアラートに関連する特徴量、即ち、アラートを構成するデータ要素である。さらに、外部脅威情報６０５もアラートの構成情報としてもよい。アラート識別子５０１が“Ａｌｅｒｔ＿００５”であるアラートの発生日時５０２は“２０１８／１０／１０　１３：５７”であるため（図４：アラート収集テーブル５００）、アラートの集計日時６０２は、発生日時５０２の“２０１８／１０／１０　１３：５７”から１時間遡った“２０１８／１０／１０　１２：５７”と、“２０１８／１０／１０　１２：５７”から１０分刻みの“２０１８／１０／１０　１３：０７”、“２０１８／１０／１０　１３：１７”、“２０１８／１０／１０　１３：２７”、“２０１８／１０／１０　１３：３７”、“２０１８／１０／１０　１３：４７”、および、“２０１８／１０／１０　１３：５７”になる。
　プロキシサーバログ６０３は、サブフィールドとして、キャッシュミス回数６３１と異常応答回数６３２とを有する。キャッシュミス回数６３１は、集計日時６０２においてプロキシサーバ１１６がキャッシュミスした回数である。異常応答回数６３２は、集計日時６０２においてプロキシサーバ１１６が異常応答を受信した回数である。なお、プロキシサーバログ６０３のサブフィールドは、キャッシュミス回数６３１や異常応答回数６３２以外（例えば、通信バイト数）であってもよい。
　業務サーバログ６０４は、サブフィールドとして、異常応答回数６４１とアクセス回数６４２とを有する。異常応答回数６４１は、集計日時６０２において業務サーバ１１２が異常応答を受信した回数である。アクセス回数６４２は、集計日時６０２で特定される一定時間間隔の集計期間において業務サーバ１１２が他のコンピュータ２００にアクセスされた回数である。なお、業務サーバログ６０４のサブフィールドは、異常応答回数６４１やアクセス回数６４２以外（例えば、認証失敗回数）であってもよい。
　外部脅威情報６０５は、サブフィールドとして、ＩＰアドレス危険度６５１とＵＲＬ危険度６５２とを有する。ＩＰアドレス危険度６５１は、集計日時６０２におけるアラート対象５０３の通信相手５０４がＩＰアドレスで特定された場合に、外部脅威情報データベース１３３において当該ＩＰアドレスの危険度を段階的に示した指標値である。“０～５”の“６”段階のうち、“５”が最も危険度が高い。
　ＵＲＬ危険度６５２は、集計日時６０２におけるアラート対象５０３の通信相手５０４がＵＲＬで特定された場合に、外部脅威情報データベース１３３において当該ＵＲＬの危険度を段階的に示した指標値である。“０～５”の“６”段階とし、“５”が最も危険度が高い。なお、外部脅威情報６０５のサブフィールドは、ＩＰアドレス危険度６５１やＵＲＬ危険度６５２以外（例えば、端末の脆弱度）であってもよい。
　評価部３０４は、アラート収集テーブル５００（図４）から選択されたアラートに基づいて、学習を行う。この学習は、アラートのデータ要素と、アラートに付与された分類との関連性を評価して、評価モデルを作成、更新することである。アラートのデータ要素とはアラートに至ることになった、監視対象システム１００に属するハードウェアやソフトウェアの稼働値、属性値、特性値、測定値、或いは、計測値であり、具体的には、既述のとおり、ログ収集情報テーブル６００（図５）における、プロキシサーバログ、および、業務サーバログ、外部脅威情報である。
　既述のとおり、分類はアラートがインシデントに繋がる危険なものか否かの指標であって、セキュリティ専門家は、アラートを“０”：危険なし、“１”：危険に分類する。なお、重要度は、“０”か“１”かの２段階に区別されることに限らず、より多くの段階を含んでもよい。
　評価部３０４は、評価モデルに基づいて、新規アラートの予測値を演算する。評価部３０４は、予測値を専門家が参照できるようにする。専門家３０６は、新規アラートを処理する前に、この予測値を参考にして、アラートを処理して分類し、分類結果をアラート管理テーブル１３１Ａに登録する。専門家３０６は、アラートを実際に処理する前に予測値を参照できるために、アラートの処理を効率的に行うことができ、かつ、アラートの危険度の見逃しを無くすことができる。
　判別部３０３は、新規アラートを、予測値を計算しようとするものと、予測値を算出することなく、直接専門家３０３がアラートを評価して分類するものとに判別する。
　次に、監視システム１の動作について説明する。図６は、ＳＯＣ１３０、アラート分析装置１３４、そして、外部脅威情報データベース１３３の間の関連動作を説明するタイミングチャートである。図３の説明と重複する部分は省略することがある。アラート収集部３０１は、アラートの学習のために、アラート管理装置１３１のアラート管理テーブル３０１Ａからアラート情報を収集する範囲を決定する（ステップＳ４０１）。アラート管理装置１３１は、監視対象システム１００からアラートを受信する都度、アラートの管理情報をアラート管理テーブル１３１Ａに登録する。
　アラート収集部３０１は、アラート管理テーブル１３１Ａに登録されているアラートを収集する。アラート収集部３０１は、例えば、取り込まれていないアラートのうち最も発生日時が古いアラートから、収集する範囲（例えば、３０日）で発生したアラートの管理情報を収集する（ステップＳ４０２）。アラート収集部３０１は、収集したアラートの管理情報をアラート収集テーブル５００に登録する（ステップＳ４０３）。アラート収集部３０１は、アラート収集テーブルへのアラートの登録が終了したことをログ収集部３０２に通知する（ステップＳ４０４）。
　ログ収集部３０２は、ログ管理テーブル１３２Ａからログを受信し（ステップＳ４０５）、外部脅威情報データベース１３３から外部脅威情報を受信する（ステップＳ４０６）。ログ収集部３０２は、アラート収集テーブル５００と外部脅威情報とを参照して、アラートに対応するログの管理情報をログ収集計テーブル６００に登録する（ステップＳ４０７）。
　アラート収集部３０１は、取り込まれたアラートに対して、アラートの種別を設定する（ステップＳ４０８）。種別には、“参照”、“テスト”、および、“未処理”の３種類ある。“参照”が設定されたアラートは、アラートのデータ要素とアラートの分類（分類）との関連性が評価され、アラートの分類を予測するための評価モデルを作成、更新等するのに利用されるものであり、“テスト”が設定されたアラートは、評価モデルをテストするためのものであり、“未処理”が設定されたアラートは、ＳＯＣ１３０での管理が終わっておらず、“参照”、“テスト”に設定されてはならないものである。アラート収集部３０１は、所定のルールに基づいて、“参照”が設定されるアラート、“テスト”が設定されるアラート、を決めてよい。
　図７は、アラートの種別を管理するための種別管理テーブル７００の一例である。種別管理テーブル７００は、アラート毎にデータ種別を規定し、アラート収集部３０１により作成され（ステップＳ４０８）、アラート分析装置１３４の記憶デバイス２０２の所定領域に記憶される。種別管理テーブル７００は、アラート識別子５０１について、アラート収集部３０１がアラートを収集するタイミング毎に種別を設定している。
　第１の期間（Ｔ）７０２は、例えば、“2018/6/1”―“2018/6/30”に取り込まれたアラートの種別を示し（Ｔ：一か月）、第２の期間（Ｔ+１）７０３は、“2018/6/1”―“2018/7/31”に取り込まれたアラートの種別を示し、第３の期間（Ｔ+２）７０４は、“2018/6/1”―“2018/8/31”に取り込まれたアラートの種別を示す。“Ｔ”は、ステップＳ４０１で決定された収集範囲である。“参照”と“テスト”の比率は特に制限されるものではなく、アラート収集部３０１が適宜設定してよい。図７の種別管理テーブル７００は、“テスト”を発生時期が現在に近いアラートに設定している。したがって、期間が進むにしたがって、一つのアラートの種別が“テスト”から“参照”に遷移してよい。また、“未処理”であるアラートは、ＳＯＣ１３０での処理が進み、収集の期間が進むにしたがって、“テスト”、または、“参照”に遷移する。アラート収集部３０１は、種別管理テーブル７００に対して“参照”と“テスト”をランダムに設定してもよい。
　次に、評価部３０４の動作をシーケンス図（図８）に基づいて説明する。評価部３０４は、アラート管理テーブル１３１Ａ、ログ管理テーブル１３２Ａから情報の収集（ステップＳ４０８）が終わったタイミングで、評価モデルを作成、更新するための学習を開始する。評価部３０４は、アラート収集部３０１に基づいて、種別テーブル７００を参照して（ステップＳ８０１）、“参照”が割り当てられているアラートの識別子を選択する。次いで、評価部３０４は、ログ収集部３０２に基づいて、ログ収集テーブル６００を参照し（ステップＳ８０２）、“参照”に設定されている複数のアラートについて、ログ収集テーブル６００からアラートの複数のデータ要素（プロキシサーバ　キャッシュミス回数等）を抽出する。さらに、評価部３０４は、アラートの分類（図４、５０６）に与える、アラートを構成する複数のデータ要素個々の重みを評価する（ステップＳ８０３）。
　図９は、アラートの構成要素（データ要素）の評価テーブル９００の一例である。評価部３０４は、アラートの構成要素を評価すると、アラートの構成要素と評価結果である重みを、このテーブル９００に記録する。このテーブルはアラート分析装置１３４の所定の記憶領域に登録されている。
　評価テーブル９００は、項目９０１と、値域９０２と、相関度９０３と、をフィールドとして有する。項目９０１は、“参照”が付与されたアラート、即ち、参照アラートのデータ要素の名である。これは、ログ収集テーブル６００のプロキシサーバログキャッシュミス回数６３１等に対応する。
　値域９０２は、項目９０１が取り得る値の範囲である。アラートのデータ要素は、項目９０１と値域９０２との組み合わせで構成される。相関度９０３はデータ要素と分類５０６との相関性を評価した指標、即ち、重みに対応する。
　相関度９０３は、例えば、参照データの特徴量（データ要素）における値域９０２の出現回数を当該特徴量の集計回数で除算した値域９０２の出現頻度ｐ１（発生確率）と、分類５０６の度合い（ｑ）と、の相関係数（Ｒ１）でよい。例えば、相関係数（Ｒ１）は、出現頻度（ｐ１）の標準偏差（σｐ１）と、（ｑ）の標準偏差（σｑ）と、出現頻度（ｐ１）および（ｑ）の共分散（Ｓｐ１ｑ）と、により、下記式（１）で算出される。
　Ｒ１＝Ｓｐ１ｑ／（σｐ１×σｑ）・・・（１）
　出現頻度ｐ１について詳説する。図７において、第１のアラート収集タイミング７０２に“参照”設定されているアラートの識別子５０１は、“Ａｌｅｒｔ＿００１”から“Ａｌｅｒｔ＿００８”である。評価部３０４は、アラート識別子５０１ごとに、出現頻度（ｐ１）および（ｑ）を求める。
　アラート識別子５０１が“Ａｌｅｒｔ＿００５”で、かつ、項目９０１が“プロキシサーバ　キャッシュミス回数”を説明すると次のとおりである。図５によれば、アラート識別子５０１が“Ａｌｅｒｔ＿００５”であるプロキシサーバログ６０３のキャッシュミス回数６３１は、“３”（２０１８／１０／１０　１２：５７）、“４”（２０１８／１０／１０　１３：０７）、…、“４”（２０１８／１０／１０　１３：５７）である。なお、集計日時６０２が“２０１８／１０／１０　１３：１７”、“２０１８／１０／１０　１３：２７”、“２０１８／１０／１０　１３：３７”、および“２０１８／１０／１０  １３：４７”のキャッシュミス回数６３１を“３”および“４”以外の値とした。
　アラート識別子５０１が“Ａｌｅｒｔ＿００５”であるプロキシサーバログ６０３のキャッシュミス回数６３１における値域９０２“３”～“４”の出現回数は３回である。アラート識別子５０１が“Ａｌｅｒｔ＿００５”であるプロキシサーバログ６０３のキャッシュミス回数６３１の集計回数は、“２０１８／１０／１０　１２：５７”、“２０１８／１０／１０　１３：０７”、“２０１８／１０／１０　１３：１７”、“２０１８／１０／１０　１３：２７”、“２０１８／１０／１０　１３：３７”、“２０１８／１０／１０　１３：４７”、および、“２０１８／１０／１０　１３：５７”の７回である。したがって、アラート識別子５０１が“Ａｌｅｒｔ＿００５”であるプロキシサーバログ６０３のキャッシュミス回数６３１における値域９０２が“３”～“４”の出現頻度（ｐ１）は、“３／７”である。また、アラート識別子５０１が“Ａｌｅｒｔ＿００５”である分類度合い（ｑ）は、“０”である（図４の５０６）。
　評価部３０４は、種別が“参照”であるアラートの識別子５０１ごとに、出現頻度（ｐ１）と分類度合い（ｑ）との組み合わせを求め、夫々の項目の現象が出現する頻度（ｐ１）から、出現頻度（ｐ１）の標準偏差（σｐ１）を求め、複数のアラート夫々の分類度合い（ｑ）から標準偏差（σｑ）を求め、さらに、共分散（Ｓｐ１ｑ）を求める。そして、評価部３０４は、上記式（１）により、種別が“参照”であるアラート識別子５０１についての項目９０１“プロキシサーバ　キャッシュミス回数”の値域９０２が“３”～“４”に対応する相関係数（Ｒ１＝－０．５４）を算出する。
　相関係数（Ｒ１）が正（Ｒ１＞０）であることは、アラートが正しく、即ち、アラートがウィルス攻撃等危険のものを示すものであり、そして、相関係数（Ｒ１）の値が大きいほど、危険の程度が高いことを示す。一方、相関係数（Ｒ１）が負（Ｒ１＜０）であることは、アラートが誤報に基づくものである等、それほどアラートに危険がない事を示し、そして、相関係数（Ｒ１）が小さいほど（マイナスの絶対値が大きいほど）誤報である程度が高いことを示している。このように、アラートの複数のデータ要素毎に相関度が求められるため、価部３０４は、夫々のデータ要素の相関係数を統合、融合、組み合わせること、統一、または、合成する等によって、アラートのスコアに基づいて、アラート自体の危険度を評価することができる。
　図９は、学習によって得られた評価モデルの一つの形態である。評価部３０４は、これにと留まらず、出現頻度（ｐ１）および分類度合い（ｑ）に基づいて、分類度合いの予測値を算出するモデル式を作成する（ステップＳ８０４）。このモデル式は、目的変数（Ｙ）を重要度５０６、説明変数（Ｘｎ）を“Ｐ”（項目９０１と値域９０２）とする。ただし、Ｐ（Ｚ）は、事象Ｚ（項目）の発生確率（出現頻度（ｐ１））を表す。説明変数（Ｘｉ）を、評価テーブル９００を参照して、
　Ｘ１＝Ｐ（プロキシサーバ　キャッシュミス回数“３”～“４”）
　Ｘ２＝Ｐ（プロキシサーバ　キャッシュミス回数“１０”～“１５”）
　・・・
　などとする。
　評価部３０４は、モデル式の一例として、下記式（１）のような重回帰式を作成する。“ｎ”は、要因項目９０１および値域９０２との組み合わせの総数、すなわち、事象（Ｚ）の総数である。
Figure JPOXMLDOC01-appb-M000001
　ここで、特徴量（学習データ）のエントリ（ｋ）（例えば、“Ａｌｅｒｔ＿００５”に関する目的変数（Ｙ）と説明変数（Ｘｎ）の組み合わせ）に対する目的変数（Ｙ）の値を“ｙ＿ｋ”（重要度ｑ＝（０．０）、説明変数（Ｘ１）の値を“ｘ１＿ｋ”（出現頻度ｐ１＝３／７）、説明変数（Ｘ２）の値を“ｘ２＿ｋ”、・・・、説明変数（Ｘｎ）の値を“ｘｎ＿ｋ”とすれば、上記式（２）の各係数“ｂ０”、“ｂ１”、“ｂ２”、・・・、“ｂｎ”は、一例として下記式（２）のような行列式によって求めることができる。式（２）中、“ｉ”は、特徴量（学習データ）のエントリ“１”～“ｋ”の任意のエントリを示す。
Figure JPOXMLDOC01-appb-M000002
　上記式（２）によるモデル式は、評価モデルの一例である。このモデル式の作成方法は一例であり、一般的に知られている正則化や決定木、アンサンブル学習、ニューラルネットワーク、ベイジアンネットワークなどの手法を用いて導出してもよい。
　分類は、既述のように、“０”または“１”に設定される。分類の予測値は、“０”以上“１”以下の値として設定される。評価部３０４は、この予測値に基づいて分類度を判定し、これを専門家が参照できるようにしてよい。評価部３０４は、予測値を閾値と比較し、比較結果に基づいて分類を決めてもよい。評価部３０４は、閾値を決めるために、アラート収集部３０１に基づいて、種別テーブル７００を参照し（ステップＳ８０５）、“テスト”に分類されたアラートを選択し、このテストアラートのデータ要素をログ収集テーブル６０から抽出する（ステップＳ８０６）。
　そして、評価部３０４は、既述のモデル式を用いて、テストアラートに基づいて予測値を計算する（ステップＳ８０７）。評価部３０４は、このアラートの特徴量（データ要素）の説明変数“ｘ１＿ｋ”、“ｘ２＿ｋ”、…、“ｘｎ＿ｋ”をモデル式に与えることにより、予測値“ｙ＿ｋ”を算出する。評価部３０４は、予測値の計算結果を表示部３０５に出力し（ステップＳ８０８）、表示部３０５は、その結果をディスプレイに表示して専門家が参照できるようする。その後、評価部３０５は、専門家３０６によるマニュアル操作、または、所定のルールに基づいて閾値を決定する（ステップＳ８０９）。閾値は、算出された予測値を、“０”か“１”に分類する指標である。評価部３０４は、予測値が閾値より小さければ“０”を、閾値以上であれば“１”を設定する。
　図１０は、ステップＳ８０８において、表示部３０５が、“テスト”に設定されたアラートの予測値の集計結果をディスプレイに表示している例である。出力画面１０００は、テストアラートによって予測値を表示するためのタブ１００１を有する。表示部３０５は、複数のテストアラートに基づく、予測値の分布１００２と、テストアラートに対する予測値のリスト１００３とを表示する。
　分布１００２は、ヒストグラムの形態で構成されている。件数はテストアラートの累計数であり、黒のグラフは、分類（図４、５０６）が“１”のテストアラートを示し、白のグラフは分類が“０”のテストアラートを示す。リストはテーブルの形態からなり、予測値と閾値とを比較した結果の分類と予測値とを表している。
　専門家は、図１０の分布を参照して、専門家がアラートを実際に評価する際の“分類”に対して齟齬が出ないように、すなわち、危険度が高いアラートであるものが“０”に振り分けられないように、“予測値”の閾値を決めればよい。なお、表示部３０５は、例えば、ＳＯＣのアラート管理装置１３１に情報を表示させてもよい。
　監視対象システム１００から、ＳＯＣ１３０に新規アラートが通知されると、ＳＯＣのアラート管理装置１３１は、新規発生したアラートを、アラート管理テーブル１３１Ａに登録する。さらに、ログ管理装置１３２は、アラートに関連するログをログ管理テーブル１３２Ａに登録する。
　アラート分析装置１３４の判別部３０３は所定時間毎（例えば、１分毎）にアラート管理テーブル１３１Ａを参照し、分類が付加されていなアラートを検出すると、アラートのログ情報をログ管理テーブル１３２Ａから抽出し（ステップＳ８１１）、ログ情報に基づいて、既述のモデル式を適用して、予測値を算出すべきアラートと、予測値を算出することなく、直接、専門家の分析に委ねるアラートと、を判別する（ステップＳ８１２）。判別部３０３は、前者のアラートを判別すると（ステップＳ８１３）、評価部３０４に予測値を演算させ（ステップＳ８１４）、演算結果を表示部３０５に出力する。判別部３０３は後者のアラートを判別すると（ステップＳ８２１）、表示部３０５にこの判別結果を出力する。
　表示部３０５は判別結果を表示し（ステップＳ８２２）、これを専門家が参照できるようにして、予測値が計算されないアラート（ステップＳ８２１）を専門家に通知する（ステップＳ８２３）。専門家は、このアラートについて、予測値の演算結果を待つことなく、アラートの危険度を評価して分類を決定し、これをアラート管理テーブル１３１Ａに登録すればよい。
　この判別は、例えば、新規アラートの構成が、既述の参照アラートの構成から離間されたものであるか否かによって行われる。判別部３０３は、新規アラートのデータ要素が参照アラートのデータ要素に対して、外れ値等の特異値であるか否かの判定を行う。そこで、外れ値判定について説明する。判別部３０３は、新規アラートのデータ要素毎値が、“参照”に設定された複数のアラートの同じ要素の値の範囲外であるかを順番に判定する。複数の要素の夫々について、少なくとも、一つのデータ要素において、新規アラートのデータ要素の値が参照アラートのデータ要素の値の範囲外であるとき、判別部３０５は新規アラートを外れ値として判別する。
　新規アラートのデータ要素の値が数値型である場合には、“参照”に設定されたアラートの同じ要素の最小値から最大値までの範囲から外れているかを判定する。
　“参照”に設定されたアラートの件数を“ｍ”、要素の数を“ｎ”、要素の値を“Ｖｉ”（ｉ＝１、２、…、ｎ）、“参照”に設定されたアラートの同要素の値を“Ｗｉｊ”（ｊ＝１、２、…、ｍ）とすると、
　外れ値である判定は、Ｖｉ＜ｍｉｎ（Ｗｉｊ）、ｍａｘ（Ｗｉｊ）＜Ｖｉであり、
　外れ値でない判定は、ｍｉｎ（Ｗｉｊ）≦Ｖｉ≦ｍａｘ（Ｗｉｊ）である。
　判別部３０３は、新規アラートのデータ要素が列挙型である場合には、参照アラートの同要素の値の集合を算出し、その集合が異なるかを判定する。同要素の値を“Ｗｉｊ”の集合を“ＷＩ”とすると、下記のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
　さらに、他の方法として、判別部３０３は、数学的手法、または統計的手法、または確率的手法、またはルールベース、または機械学習を含む手法を用いて、新規アラートが参照アラートに類似とする境界領域を算出し、新規アラートがその境界領域の外側に位置するか否かで外れ値を判定することがある。
　図１１は、参照アラートの要素に類似になる境界領域による外れ値判定の一例を示した特性図である。判別部３０３は参照アラートから要素“α１”、“α２”を抽出し、参照アラートをプロットする。要素は２軸に限らず、３軸以上でもよい。プロットした参照アラートに対して、境界領域１１００を決定する境界線を決定する。境界領域の求め方として、一般的にはクラスタリングや“ＳＶＭ”（ＳｕｐｐｏｒｔＶｅｃｔｏｒ Ｍａｃｈｉｎｅ）などの手法を用いるが、他の数学的手法、または統計的手法、または確率的手法、またはルールベース、または機械学習を含む手法を用いてもよい。
　新規アラートのプロット１１０１がこの境界領域１１００内に含まれていれば、新規アラートは、参照アラートに類似しているとして、外れ値でないと判定される。一方、新規アラートのプロット１１０１が境界領域１１００外であれば、新規アラートは、参照アラートに類似していないとして、外れ値であると判定される。判別部３０３は、既述の２つの判別法の１つ、または、２つによって外れ値判定を行う。
　このように、新規アラートを、例えば、外れ値で判別するのは、参照アラートの属性から外れている新規アラートについて評価モデルを適用しても、評価モデルが参照アラートに基づいて学習されたものであるため、新規アラートの評価結果は、新規アラートの実質的な分類に適合したものにならないためである。
　一方、新規アラートが参照アラートから外れていても、新規アラートを専門家が直に分類し、これを参照アラートとして、評価部３０４に学習させることによって、アラートが外れ値で稀に発生したとはいえ、モデル式（評価モデル）が外れ値に適用するよう進化させることができる。
　その結果、モデル式によって得られる予測値は、監視対象システムのアラートの危険度によく対応したものになる。そもそも、監視対象システムをセキュリテイのリスクから防衛する上で、アラートが外れ値で稀なものであっても、これを軽く扱うべきではない。したがって、アラート収集部３０１は、外れ値として判別されたアラートについては、学習が進展するまで、最初からこのアラートを参照アラートとして扱う。図７の“Ａｌｅｒｔ_０１２”を参照されたい。
　図１２は、外れ値判別について、表示部３０５によって出力される画面１２００の一例である。画面１２００は、タブ１２０１に基づいて、アラートリスト１２０２を表示する。これは、表示部３０５が、予測結果と外れ値判別結果を用いて生成することによる（ステップＳ８２２）。判別部３０３は、新規アラート識別子５０１に基づいて、アラート管理テーブル１３１Ａを参照し、アラートの管理情報とともに、外れ値判別の結果と、外れ値ではないと判別されたアラートについての分類の予測値を、表示部３０５に表示させる。図１３に示すように、アラートリスト１３０２に外れ値の有無と予測値との表示とを一体化させてもよい(１３０３)。
　判別部３０３は、アラートリスト１２０２,１３０２を外れ値管理テーブルとして、アラート分析装置１３４の記憶領域の所定部分に記録してよい。アラート収集部３０１が種別テーブル７００を作成する際、外れ値管理テーブルを参照して、外れ値として判定されたアラートが参照アラートとして選択されるようにすればよい。
　監視対象システム１００の運用が開始された初期の段階では、参照アラートが少なく、外れ値となるアラートが発生し易いが、外れ値となるアラートが発生しても、これを専門家が分析して、アラートの危険度を分類した上で、アラートを参照アラートとして評価されるようにしたため、インシデントの見逃しを回避しながら、評価モデルが賢くなるように学習させることができる。
　上記開示は、代表的実施形態に関して記述されているが、当業者は、開示される主題の趣旨や範囲を逸脱することなく、形式及び細部において、様々な変更や修正が可能であることを理解するであろう。例えば、外部脅威情報データベース１３３は、故障情報データベースや、これらを含む外部情報データベースであっても良いし、アラートの危険度は、これを含むアラートの重要度であっても良いし、セキュリティオペレーションセンタ（ＳＯＣ）は、セキュリティだけでなく、故障などより広い範囲のアラートにも対応するオペレーションセンタであってもよい。
　また、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えてもよい。また、ある実施形態の構成に他の実施形態の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。
１　監視システム１００　監視対象システム１３１　アラート管理装置１３２　ログ管理装置１３３　外部脅威情報データベース１３４　アラート分析装置３０１　アラート収集部３０２　ログ収集部３０３　判別部３０４　評価部３０５　表示部５００　アラート収集テーブル６００　ログ収集テーブル７００　種別管理テーブル９００　評価テーブル

Claims (9)

  1. 　コンピュータが所定システムのアラートに基づいて、当該所定システムを監視する監視システムであって、
    　前記コンピュータのコントローラは、メモリに記録されたプログラムを実行して、
    　前記アラートに分類情報を付加し、この分類情報は、前記アラートの重要度の大小を区別するものであり、
    　前記分類情報が付加されたアラートをメモリに記録し、
    　当該メモリから複数のアラートを選択し、
    　当該選択された複数のアラートを評価し、
    　前記所定システムから発せられるアラートに前記分類情報が付加される前に当該アラートを判別し、この判別は、当該アラートを前記複数のアラートの評価結果に基づいて前記分類情報が付加される第１アラートと、当該評価結果に基づくことなく前記分類情報が付加される第２アラートとを区別するものである、
    監視システム。
  2. 　請求項１に記載の監視システムであって、
    　前記コントローラが前記判別を行うことは、前記メモリから選択された複数のアラートに基づいて、前記所定システムからのアラートについて外れ値を判定することを含む、
    監視システム。
  3. 　請求項１に記載の監視システムであって、
    　前記コントローラが前記第２アラートを判別すると、当該第２アラートを、前記メモリから選択される複数のアラートに加える、
    監視システム。
  4. 　請求項１に記載の監視システムであって、
    　前記コントローラが前記複数のアラートを評価することは、
    　当該複数のアラート夫々について、アラートの複数のデータ要素を特定することと、
    　当該複数のデータ要素夫々の前記分類情報との組み合わせに対する重みを算出することと、
    　を備える、
    監視システム。
  5. 　請求項１に記載の監視システムであって、
    　前記コントローラは、前記複数のアラートの評価に基づいて、前記重要度の予測値を算出するためのモデルを設定する、
    監視システム。
  6. 　請求項１に記載の監視システムであって、
    　前記コントローラは、
    　前記第２アラートをオペレーションセンタに対して表示し、
    　当該第２アラートに、当該オペレーションセンタによって、前記分類情報が設定されるようにした、
    監視システム。
  7. 　請求項２に記載の監視システムであって、
    　前記コントローラは、前記所定システムからのアラートのデータ要素に基づいて、前記外れ値を判定する、
    監視システム。
  8. 　請求項７に記載の監視システムであって、
    　前記データ要素は、前記アラートが発生することの所定時間前に前記所定システムで検出されたログであり、前記コントローラは、当該ログの値の範囲に基づいて前記外れ値判定を実行する、
    監視システム。
  9. 　コンピュータが所定システムのアラートに基づいて、当該所定システムを監視する方法であって、
    　前記コンピュータは、
    　オペレーションセンタの対策者に対して、前記アラートに分類情報を付加させ、この分類情報は、前記アラートの重要度の大小を区別するものであり、
    　夫々に、前記分類情報が付加された複数のアラートを選択し、
    　当該選択された複数のアラートを評価し、
    　前記所定システムから発せられるアラートに前記分類情報が付加される前に当該アラートを判別し、この判別は、当該アラートを前記複数のアラートの評価結果に基づいて前記分類情報を付加する第１アラートと、当該評価結果に基づくことなく前記分類情報を付加する第２アラートとを区別するものである、
    　前記方法。
PCT/JP2020/012805 2019-06-21 2020-03-23 監視システム、および、監視方法 WO2020255512A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019115924 2019-06-21
JP2019-115924 2019-06-21

Publications (1)

Publication Number Publication Date
WO2020255512A1 true WO2020255512A1 (ja) 2020-12-24

Family

ID=74039984

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012805 WO2020255512A1 (ja) 2019-06-21 2020-03-23 監視システム、および、監視方法

Country Status (1)

Country Link
WO (1) WO2020255512A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005085157A (ja) * 2003-09-10 2005-03-31 Toshiba Corp 不正アクセス検出装置、不正アクセス検出方法、および管理端末
WO2016208159A1 (ja) * 2015-06-26 2016-12-29 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005085157A (ja) * 2003-09-10 2005-03-31 Toshiba Corp 不正アクセス検出装置、不正アクセス検出方法、および管理端末
WO2016208159A1 (ja) * 2015-06-26 2016-12-29 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体

Similar Documents

Publication Publication Date Title
US11245713B2 (en) Enrichment and analysis of cybersecurity threat intelligence and orchestrating application of threat intelligence to selected network security events
US11212299B2 (en) System and method for monitoring security attack chains
US11336669B2 (en) Artificial intelligence cyber security analyst
Shen et al. {ATTACK2VEC}: Leveraging temporal word embeddings to understand the evolution of cyberattacks
US8191149B2 (en) System and method for predicting cyber threat
CN114584405B (zh) 一种电力终端安全防护方法及系统
US11507881B2 (en) Analysis apparatus, analysis method, and analysis program for calculating prediction error and extracting error factor
US20170208085A1 (en) System and Method for Prediction of Future Threat Actions
US11863573B2 (en) Custom triggers for a network security event for cybersecurity threat intelligence
US20190089725A1 (en) Deep Architecture for Learning Threat Characterization
EP2943843A1 (en) Method, device and computer program for monitoring an industrial control system
Nelub et al. Economic analysis of data protection in systems with complex architecture using neural network methods.
Arvindhan et al. Analysis of load balancing detection methods using hidden markov model for secured cloud computing environment
Bezas et al. Comparative analysis of open source security information & event management systems (SIEMs)
Anuar et al. A risk index model for security incident prioritisation
Simmons et al. ADAPT: a game inspired attack-defense and performance metric taxonomy
WO2020255512A1 (ja) 監視システム、および、監視方法
JP7033560B2 (ja) 分析装置および分析方法
Fatkieva Systems of Information Security Indicators for Industrial Enterprises
AlSadhan et al. Leveraging information security continuous monitoring for cyber defense
JP2022024277A (ja) 分析システム、分析装置、分析方法
Wang et al. [Retracted] Industrial Information Security Detection and Protection: Monitoring and Warning Platform Architecture Design and Cryptographic Antitheft Technology System Upgrade
WO2022239162A1 (ja) 決定方法、決定装置及び決定プログラム
Paulikas et al. Survey of Cloud Traffic Anomaly Detection Algorithms
WO2022239161A1 (ja) 抽出方法、抽出装置及び抽出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20825940

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20825940

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP