WO2022239166A1 - 抽出方法、抽出装置及び抽出プログラム - Google Patents

抽出方法、抽出装置及び抽出プログラム Download PDF

Info

Publication number
WO2022239166A1
WO2022239166A1 PCT/JP2021/018127 JP2021018127W WO2022239166A1 WO 2022239166 A1 WO2022239166 A1 WO 2022239166A1 JP 2021018127 W JP2021018127 W JP 2021018127W WO 2022239166 A1 WO2022239166 A1 WO 2022239166A1
Authority
WO
WIPO (PCT)
Prior art keywords
ioc
feature information
extraction unit
dns
domain name
Prior art date
Application number
PCT/JP2021/018127
Other languages
English (en)
French (fr)
Inventor
大紀 千葉
満昭 秋山
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023520666A priority Critical patent/JP7563587B2/ja
Priority to US18/290,029 priority patent/US20240289446A1/en
Priority to PCT/JP2021/018127 priority patent/WO2022239166A1/ja
Publication of WO2022239166A1 publication Critical patent/WO2022239166A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034—Test or assess a computer or a system

Definitions

  • the present invention relates to an extraction method, an extraction device, and an extraction program.
  • SOC security operation center
  • References 1 and 2 below, analysts who process a large number of alerts on a daily basis cause a situation called alert fatigue, which leads to analyst burnout.
  • Reference 1 S. C. Sundaramurthy, A. G. Bardas, J. Case, X. Ou, M. Wesch, J. McHugh, and S. R. Rajagopalan, “A human capital model for mitigating security analyst burnout,” Proc. SOUPS, 2015.
  • Reference 2 Ponemon Institute, “Improving the Effectiveness of the Security Operations Center,” 2019.
  • Non-Patent Documents 1 to 5 a technology has been proposed to distinguish between truly malicious alerts and non-malicious alerts that are false positives by estimating the anomaly score and malignancy score of each security-related alert from past alerts.
  • Non-Patent Documents 6 to 8 there is a known technology that supports analysts' subsequent processes by extracting information that is most relevant to each security alert (see, for example, Non-Patent Documents 6 to 8).
  • the technology described in the prior art document above employs characteristic information necessary to determine whether an IOC is abnormal or malignant. On the other hand, whether an IOC is abnormal or malignant and whether the IOC requires further investigation by an analyst is independent.
  • the extraction method is an extraction method executed by an extraction device, and is an observation result by a predetermined organization for an IOC (Indicator of Compromise) included in cybersecurity information. and a creation step of creating characteristic information of the IOC based on information obtained from the observation results acquired by the acquisition step.
  • IOC Intelligent of Compromise
  • useful feature information can be obtained for determining the priority of IOC investigations.
  • FIG. 1 is a diagram explaining a security system.
  • FIG. 2 is a diagram showing an example of an alert monitor screen.
  • FIG. 3 is a diagram showing an example of an IOC checker screen.
  • FIG. 4 is a diagram illustrating a configuration example of a determination device according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of a request period.
  • FIG. 6 is a flowchart showing the flow of learning processing.
  • FIG. 7 is a flowchart showing the flow of processing for extracting feature information.
  • FIG. 8 is a flowchart showing the flow of prediction processing.
  • FIG. 9 is a diagram illustrating an example of a computer that executes a determination program;
  • the determination device functions as an extraction device.
  • FIG. 1 is a diagram explaining a security system.
  • the security system 1 performs automatic analysis by an analysis engine or analysis by an analyst based on predetermined information generated in the security appliance of the customer organization.
  • Security appliances include, for example, intrusion prevention systems (IPS), proxies, sandboxes, and unified threat management (UTM).
  • IPS intrusion prevention systems
  • proxies proxies
  • sandboxes sandboxes
  • UPM unified threat management
  • the SOC analyzes security-related information obtained from security appliances in real time.
  • security related information includes security logs and alerts.
  • the SOC is used as an outsourced SOC provided by a large-scale MSSP (Managed Security Service Provider).
  • MSSP Managed Security Service Provider
  • this embodiment is also applicable to an in-house SOC.
  • the customer organization's security appliance sends alerts and security logs to the SOC's analysis engine 10 (step S1).
  • the security system 1 can process security logs in the same manner as alerts.
  • the analysis engine 10 performs automatic analysis (step S2).
  • the analysis engine 10 responds to alerts by performing analysis based on known malicious characteristics and pre-defined rules and blacklists.
  • the analysis engine 10 may perform analysis using a function called SOAR (Security Orchestration, Automation, and Response).
  • SOAR Security Orchestration, Automation, and Response
  • the analysis engine 10 sends an alert that satisfies a predetermined condition to the determination device 20, alert monitor 30, or IOC checker 40 (step S3).
  • FIG. 2 is a diagram showing an example of an alert monitor screen.
  • the alert monitor 30 stores the date of the event that caused the alert (Date), the customer name (Customer), the device that sent the alert (Device), the name of the alert (Alert Name), and the event that triggered the alert. An overview of the status, etc. is displayed.
  • the IOC checker 40 displays information about the IOC (Indicator of Compromise) included in the alert.
  • FIG. 3 is a diagram showing an example of an IOC checker screen.
  • the IOC includes domain names, IP addresses, URLs, file hash values, etc.
  • the IOC checker 40 can check the status of investigation in the SOC (Status), the SOC's most recent judgment on the malignancy of the IOC (SOC Last Decision), the latest threat intelligence result of the IOC (Detection in TI), etc.
  • the analyst uses tools dedicated to IOC evaluation, such as the alert monitor 30 and the IOC checker 40, to triage (evaluate) IOCs for alerts that could not be processed by the analysis engine 10.
  • tools dedicated to IOC evaluation such as the alert monitor 30 and the IOC checker 40, to triage (evaluate) IOCs for alerts that could not be processed by the analysis engine 10.
  • the determination device 20 determines an IOC with a high priority and notifies the analyst of it. This can prevent multiple analysts from manually evaluating the same IOC at the SOC.
  • the determination device 20 it is possible to preferentially analyze IOCs with high priority, so that the effect on the workload of the analyst can be improved.
  • the decision device 20 learns the model or predicts the priority of the IOC using the model (step S4). Then, the determining device 20 determines an IOC with a higher priority based on the prediction result, and notifies the determined IOC (step S5).
  • the decision device 20 notifies the analyst of the decided IOC via the IOC checker 40 .
  • the analyst performs analysis based on the notified priority (step S6).
  • the analyst may also search a threat intelligence service (eg, VirusTotal (https://www.virustotal.com/)) during the analysis (step S7).
  • a threat intelligence service eg, VirusTotal (https://www.virustotal.com/)
  • Some threat intelligence services provide scores regarding the level and severity of threats. However, such a score by itself does not necessarily determine the analyst's next action.
  • an IOC related to an attack that uses a vulnerability that has already been patched may have a high score for being malicious, but it is not an immediate threat from the perspective of protecting customer organizations.
  • the decision of the IOC with the higher priority by the deciding device 20 is useful for securing time for the analyst's decision and for reducing the investigation operation of each IOC.
  • the analyst ultimately determines whether the alert to be analyzed and the IOC included in the alert are malignant or non-malignant, further determines whether reporting to the customer is necessary, and if it is necessary to report to the customer , to the system administrator of the client organization, etc. (step S8).
  • the conditions for triggering alerts in the analysis engine 10 can be changed based on the results.
  • the IOC can be used in the analysis engine 10 as a custom blacklist or custom signature.
  • logs containing the same IOC can be automatically detected by other SOC customers. Additionally, if the assessment identifies an IOC with a low false positive or threat level, the SIEM logic that triggers the alert can be changed to prevent the same false positive alert from occurring again, reducing analyst workload. .
  • FIG. 4 is a diagram showing a configuration example of the determination device according to the first embodiment.
  • the determination device 20 has a feature information extraction unit 21 , label assignment unit 22 , learning unit 23 , prediction unit 24 and model information 25 .
  • the decision device 20 performs model learning processing using a machine learning method and prediction processing using the learned model.
  • the feature information extraction unit 21, the labeling unit 22, and the learning unit 23 are used. Also, in the prediction process, the feature information extraction unit 21 and the prediction unit 24 are used.
  • the feature information extraction unit 21 extracts feature information from the IOCs included in the information on cybersecurity. For example, information regarding cyber security is an alert obtained from the analysis engine 10 .
  • the feature information extraction unit 21 extracts information characterizing the characteristics of the IOC (hereinafter referred to as feature information) from the IOCs included in past alerts obtained from the analysis engine 10 .
  • the feature information may be the domain name, IP address, URL, file hash value, etc. included in the IOC.
  • the feature information extraction unit 21 extracts feature information from alerts that have occurred during a predetermined number of days.
  • the feature information extraction unit 21 functions as an extraction device having an acquisition unit and a creation unit.
  • the acquisition unit acquires observation results by a predetermined organization for IOCs included in cybersecurity information.
  • the creation unit creates IOC characteristic information based on information obtained from the acquired observation results.
  • the feature information extraction unit 21 creates feature information based on the observation results (items 1, 2, 3) of the threat intelligence service or the observation results (items 4, 5) of networks such as the Internet.
  • the feature information of items 1, 2 and 3 is feature information focusing on the characteristics of threats already observed by the threat intelligence service in relation to each IOC.
  • the feature information extraction unit 21 acquires the detection status of items related to the IOC by the threat intelligence service.
  • the feature information extraction unit 21 creates feature information based on the detection situation.
  • the threat intelligence service may be prepared by the customer organization or may be provided by an external organization.
  • a threat intelligence service is a service such as VirusTotal that can acquire threat information related to domain names, IP addresses, URLs, and file hash values.
  • the feature information extraction unit 21 refers to the threat intelligence service and obtains (1) the detection URL including the domain name, (2) the detection file communicated to the domain name, (3) the The number of the detected files downloaded from the domain name and (4) the detected files referring to the domain name are respectively counted and used as characteristic information.
  • the feature information extraction unit 21 obtains, for example, four pieces of feature information. According to the feature information of item 1, it is possible to identify whether the IOC is associated with known threats.
  • the detected URL containing the relevant domain name in (1) is defined as one detected by at least one of the arbitrary detection engines on the threat intelligence service among the URLs with the common domain name part.
  • any arbitrary on the threat intelligence service Defined as detected by at least one of the detection engines.
  • the detected files downloaded from the relevant domain name in (3) are defined as those detected by at least one or more of the arbitrary detection engines on the threat intelligence service among the files acquired from the relevant domain name. .
  • At least one or more of the arbitrary detection engines on the threat intelligence service detected the detected file that mentions the domain name in (4), among the files that contain the character string of the domain name. defined as things.
  • the feature information extraction unit 21 refers to the threat intelligence service and obtains (1) a non-detected URL containing the domain name, (2) a non-detected file addressed to the domain name, (3 ) non-detected files downloaded from the domain name, and (4) the number of non-detected files referring to the domain name.
  • the feature information in item 2 corresponds to feature information in which the part "detected" in item 1 is replaced with "not detected".
  • a URL or file not detected means that it was examined by the threat intelligence service, but was not detected as malicious or suspicious by any detection engine.
  • the feature information extraction unit 21 obtains, for example, four pieces of feature information. According to the feature information of item 2, it is possible to identify whether the IOC is benign or legitimate.
  • the feature information extraction unit 21 extracts information on the number of detections, which indicates how many detection engines out of a plurality of detection engines existing in the threat intelligence service have detected each of items (1) to (4) of item 1. collect.
  • the feature information extraction unit 21 calculates 5 statistics (average value, minimum value, maximum value, standard deviation, variance) for the 4 types of detection numbers, and creates a total of 20 pieces of feature information.
  • the feature information extraction unit 21 creates feature information based on information obtained from observation results and statistics calculated from the information.
  • the feature information in item 3 it is possible to determine whether the detected URL or file is a major threat detected by more detection engines, or a minor threat detected by only a few detection engines. can be distinguished.
  • a network is, for example, the Internet.
  • the feature information extraction unit 21 uses a Passive DNS (Domain Name System) database to acquire information on how many times each IOC has been referred to in a certain network.
  • Passive DNS Domain Name System
  • a Passive DNS database is a database that records the correspondence between domain names and IP addresses and their histories from the DNS messages that are actually exchanged by observing the communication in any cache DNS server or authoritative DNS server.
  • the Passive DNS database may be prepared by the customer organization or may be provided by an external organization.
  • the feature information extraction unit 21 extracts five items included in items 4 and 5, a total of 147 pieces of feature information, as feature information related to communication characteristics observed within the network.
  • the feature information extraction unit 21 acquires a DNS (Domain Name System) record corresponding to the domain name associated with the IOC as an observation result, and creates, for example, seven pieces of feature information based on the number of times the DNS record information has been changed. .
  • DNS Domain Name System
  • the feature information extraction unit 21 refers to the Passive DNS database and selects seven types of DNS resource records (A, AAAA, CNAME, MX, NS, SOA, TXT ), the number of resource record changes from a certain point in the past to the present is counted as feature information.
  • the feature information extraction unit 21 counts the number of changes of the IOC corresponding to the domain name “example.com” as one.
  • the feature information extraction unit 21 may extract the above feature information after associating the IOC with the domain name.
  • the feature information extraction unit 21 associates the IOC with the domain name part "www.example.com” and counts.
  • the characteristic information extraction unit 21 refers to the DNS reverse lookup record to obtain the corresponding domain name, or uses the Passive DNS database to link the IP address. can extract the domain name.
  • the feature information extraction unit 21 can refer to the threat intelligence service to extract the domain name of the destination of communication of the file or the source of the download of the file.
  • the feature information extraction unit 21 acquires DNS (Domain Name System) records corresponding to domain names associated with IOCs as observation results, and creates, for example, 140 pieces of feature information based on the number of times of use and the period of use of the DNS records. do.
  • DNS Domain Name System
  • the feature information extraction unit 21 creates, for example, 35 pieces of feature information based on the average value, minimum value, maximum value, standard deviation, and variance of past DNS query counts.
  • the feature information extraction unit 21 first refers to the Passive DNS database as in item 4, and selects seven types of DNS resource records (A, AAAA, CNAME, MX, NS, SOA, TXT), the number of DNS queries for each combination is counted.
  • the number of DNS queries is defined as the number of times a combination of resource records (eg "example.com", A record, "192.0.2.1”) is observed in the Passive DNS database.
  • FIG. 5 shows an example of two past DNS A records for "example.com” and their DNS query counts (5,000 and 15,000, respectively).
  • the feature information extraction unit 21 calculates five statistics (mean value, minimum value, maximum value, standard deviation, variance) for seven types of resource records, and creates a total of 35 pieces of feature information. .
  • the feature information extraction unit 21 creates, for example, 35 pieces of feature information based on the average value, minimum value, maximum value, standard deviation, and variance of the elapsed days from the first DNS query.
  • the feature information extraction unit 21 first refers to the Passive DNS database as in item 4, and selects seven types of DNS resource records (A, AAAA, CNAME, MX, NS, SOA, TXT), extract the date the first DNS query for each combination was made.
  • the feature information extraction unit 21 calculates the number of days that have elapsed from the date to the day on which feature information is to be extracted.
  • Fig. 5 shows an example of two records for "example.com" and the date when the first DNS query was observed.
  • the feature information extraction unit 21 extracts the first record from 2019-10-31 to 2020-06- Count the number of days until 01, and the number of days from 2020-01-24 to 2020-06-01 for the second record.
  • the feature information extraction unit 21 creates 35 pieces of feature information based on the average value, minimum value, maximum value, standard deviation, and variance of the number of days elapsed since the last DNS query.
  • the feature information extraction unit 21 extracts feature information by changing "first DNS query" in item 5-2 to "last DNS query”.
  • the feature information extraction unit 21 extracts the first record from 2020-01-23 to 2020-06- 01, and for the second record count the number of days from 2020-04-01 to 2020-06-01.
  • the feature information extraction unit 21 calculates five statistics (mean value, minimum value, maximum value, standard deviation, variance) of the number of days counted for each of the seven types of resource records, and obtains a total of 35 pieces of feature information. to create five statistics (mean value, minimum value, maximum value, standard deviation, variance) of the number of days counted for each of the seven types of resource records, and obtains a total of 35 pieces of feature information. to create five statistics (mean value, minimum value, maximum value, standard deviation, variance) of the number of days counted for each of the seven types of resource records, and obtains a total of 35 pieces of feature information. to create
  • the feature information extractor 21 is based on the mean, minimum, maximum, standard deviation, and variance of the period in which the DNS queries existed. 35 pieces of feature information are created.
  • the characteristic information extraction unit 21 extracts items 5- Obtain the date of the first DNS query as in item 2 and the date of the last DNS query as in item 5-3.
  • the characteristic information extraction unit 21 extracts the number of days from 2019-10-31 to 2020-01-23 for the first record, and the number of days from 2020-01-24 to 2020-2020 for the second record. Count the days until 04-01.
  • the feature information extraction unit 21 calculates five statistics (mean value, minimum value, maximum value, standard deviation, variance) of the number of days counted for each of the seven types of resource records, and obtains a total of 35 pieces of feature information. to create five statistics (mean value, minimum value, maximum value, standard deviation, variance) of the number of days counted for each of the seven types of resource records, and obtains a total of 35 pieces of feature information. to create five statistics (mean value, minimum value, maximum value, standard deviation, variance) of the number of days counted for each of the seven types of resource records, and obtains a total of 35 pieces of feature information. to create
  • the labeling unit 22 gives each IOC a label according to the amount of work required to respond to the associated alert.
  • the label is assumed to be binary data indicating whether the priority is high or not.
  • the label assigning unit 22 assigns a label indicating that the priority is high to IOCs that have consumed a large amount of work of the analyst in the past, and assigns labels indicating that the priority is not high to other IOCs. do.
  • the label assigning unit 22 assigns a label indicating a high priority to an IOC for which the number of manual investigations that occurred within a certain period of time for the related alert is equal to or greater than a predetermined value, and assigns a label indicating that the manual investigation is performed.
  • a label indicating that the priority is not high is assigned to the IOC whose number of times is less than a predetermined value.
  • priority a label indicating high priority
  • non-priority a label indicating low priority
  • the learning unit 23 uses learning data obtained by combining the feature information extracted by the feature information extraction unit 21 and the label assigned by the label assignment unit 22 to learn a model that outputs a label from the IOC feature information.
  • the learning unit 23 creates and updates models by supervised machine learning.
  • the model information 25 is information including parameters for constructing a model.
  • the learning unit 23 creates and updates model information 25 .
  • the learning unit 23 can employ any known supervised machine learning algorithm. In this embodiment, the learning unit 23 adopts standard logistic regression.
  • Logistic regression is scalable and fast, so it is suitable for predicting IOC contained in a large number of alerts from many customers, such as in an SOC environment.
  • logistic regression is known to be highly interpretable.
  • the output of logistic regression by its nature can be interpreted as the probability that the input IOC is preferred, and can indicate which feature among the feature information corresponding to each IOC contributes to the result.
  • logistic regression has the advantage of being highly interpretable.
  • the learning unit 23 particularly uses logistic regression with L1 regularization.
  • the learning unit 23 converts the conditional probability y of the label shown in equation (1) into a model as shown in equation (2).
  • ⁇ is the parameter of the logistic regression model.
  • ⁇ is a sigmoid function. Also assume that all features of x are normalized to the range [0,1].
  • the learning unit 23 obtains the parameter ⁇ for minimizing the objective function of the formula (4) into which the hyperparameter ⁇ that determines the degree of regularization is introduced. Use a set of training data.
  • 1 adds a penalty to the objective function, and has the effect of identifying and reducing feature information that does not contribute significantly.
  • the prediction unit 24 uses the model trained by the learning unit 23 to predict the label from the IOC feature information.
  • the prediction unit 24 uses the model learned by the learning unit 23 to input the IOC included in the alert newly generated in real time and the corresponding feature information, and determines which IOC will be used by the analyst in the future. Predict whether you will consume a lot of
  • the prediction unit 24 makes predictions using a logistic regression model constructed based on the model information 25.
  • the prediction unit 24 predicts the probability that the analyst will manually analyze the target IOC K times or more within P days (where P is an integer).
  • the prediction unit 24 uses the parameter ⁇ determined by the learning unit 23, the prediction unit 24 obtains the probability p that the vector x of the feature information corresponding to the IOC is “priority”, and sets the predicted label ⁇ y ( ⁇ directly above y) (5) is defined by the formula.
  • the decision device 20 Based on the labels predicted by the prediction unit 24, the decision device 20 outputs the IOCs that are considered to lead to repeated investigations by the SOC analyst, that is, the IOCs predicted with the "priority" label, in descending order of probability p. and present it to the analyst.
  • the analyst can use the information presented by the decision device 20 to prioritize the research targets and efficiently perform triage and detailed analysis.
  • the analyst can investigate IOCs with high priority and reflect the results in the analysis engine 10 .
  • the analysis engine 10 can automatically process alerts containing the same IOC, avoiding the need for the analyst to manually investigate the IOC every time, and reducing the amount of operation of the SOC as a whole. .
  • the analyst investigates IOCs determined to have a high priority, and based on the results, causes the analysis engine 10 to automatically analyze the IOCs. As a result, the IOC will not be handed over to other analysts, thus reducing the amount of work.
  • the determining device 20 re-executes the learning process offline periodically (for example, once a day) to update the model information 25 .
  • the determination device 20 performs learning processing using data for a predetermined period before and after the feature information extraction point shown in FIG. 5 .
  • the determination device 20 performs the learning process using data for F+L days, which is F days up to the point of feature extraction and L days from the point of feature information extraction (where F and L are integers).
  • the determination device 20 processes the IOC included in the alert from the customer organization in real time, that is, when performing the prediction process, the feature information to extract
  • the determining device 20 calculates the probability p that the analyst will conduct K or more manual investigations in the future P days from the extracted feature information.
  • the decision device 20 repeats the above prediction process for each IOC received in real time. As a result, a list of IOCs to be investigated preferentially by the analyst is displayed on the screen of the IOC checker 40 as shown in FIG. 3 and continuously updated.
  • FIG. 6 is a flowchart showing the flow of learning processing. As shown in FIG. 6, first, the determination device 20 receives an input of past alerts (step S101).
  • the determining device 20 extracts feature information from the IOC included in the input alert (step S102). Subsequently, the determination device 20 assigns a correct label regarding priority based on the amount of work of the analyst for each IOC (step S103).
  • the determining device 20 learns a model that outputs a priority-related label from the feature information using the correct label (step S104).
  • FIG. 7 is a flowchart showing the flow of processing for extracting feature information.
  • the processing in FIG. 7 corresponds to step S102 in FIG.
  • the determination device 20 acquires the IOC observation results (step S102a).
  • the decision device 20 creates feature information based on the detection status by the threat intelligence service (items 1, 2, 3) (step S102b). Further, the determining device 20 creates characteristic information based on the DNS record corresponding to the domain name associated with the IOC (items 4 and 5) (step S102c).
  • FIG. 8 is a flowchart showing the flow of prediction processing. As shown in FIG. 8, the determining device 20 first receives an input of the most recent alert (step S201).
  • the determination device 20 extracts feature information from the IOC included in the input alert (step S202). Subsequently, the determination device 20 extracts a correct label based on the analyst's working amount for each IOC (step S203).
  • the determining device 20 inputs the feature information into the learned model and predicts a label related to priority (step S204).
  • the decision device 20 can notify the SOC analyst of the high-priority IOC based on the predicted label.
  • the characteristic information extraction unit 21 acquires observation results by a predetermined organization with respect to IOCs included in cybersecurity-related information.
  • the feature information extraction unit 21 creates IOC feature information based on information obtained from the observation results obtained by the feature information extraction unit 21 .
  • the feature information extraction unit 21 acquires the detection status of items related to the IOC by the threat intelligence service.
  • the feature information extraction unit 21 creates feature information based on the detection situation.
  • the feature information extraction unit 21 can reflect in the feature information whether the IOC is malignant or benign, or the degree of threat of the IOC.
  • the characteristic information extraction unit 21 acquires the DNS record corresponding to the domain name associated with the IOC as an observation result.
  • the feature information extraction unit 21 creates feature information based on the number of changes in DNS record information.
  • the characteristic information extraction unit 21 can distinguish between domain names whose DNS records themselves are frequently changed and domain names that are used stably.
  • the characteristic information extraction unit 21 acquires the DNS record corresponding to the domain name associated with the IOC as an observation result.
  • the feature information extraction unit 21 creates feature information based on the number of times of use and the period of use of the DNS record.
  • the characteristic information extraction unit 21 can reflect the DNS trend regarding domain names in the characteristic information.
  • the feature information extraction unit 21 creates feature information based on information obtained from observation results and statistics calculated from the information.
  • the feature information extraction unit 21 can obtain more feature information from limited information.
  • each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed or Can be integrated and configured.
  • all or any part of each processing function performed by each device is realized by a CPU (Central Processing Unit) and a program analyzed and executed by the CPU, or hardware by wired logic can be realized as Note that the program may be executed not only by the CPU but also by other processors such as a GPU.
  • CPU Central Processing Unit
  • the determination device 20 can be implemented by installing a determination program that executes the determination process described above as package software or online software on a desired computer.
  • the information processing device can function as the decision device 20 by causing the information processing device to execute the decision program.
  • the information processing apparatus referred to here includes a desktop or notebook personal computer.
  • information processing devices include mobile communication terminals such as smartphones, mobile phones and PHS (Personal Handyphone Systems), and slate terminals such as PDAs (Personal Digital Assistants).
  • the decision device 20 can also be implemented as a decision server device that uses a terminal device used by a user as a client and provides the client with services related to the above-described decision processing.
  • the determination server device is implemented as a server device that provides a determination service that receives security alerts as inputs and outputs high-priority IOCs.
  • the determination server device may be implemented as a web server, or may be implemented as a cloud that provides services related to the above-described determination processing through outsourcing.
  • FIG. 9 is a diagram showing an example of a computer that executes a determination program.
  • the computer 1000 has a memory 1010 and a CPU 1020, for example.
  • Computer 1000 also has hard disk drive interface 1030 , disk drive interface 1040 , serial port interface 1050 , video adapter 1060 and network interface 1070 . These units are connected by a bus 1080 .
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012 .
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • Hard disk drive interface 1030 is connected to hard disk drive 1090 .
  • a disk drive interface 1040 is connected to the disk drive 1100 .
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 .
  • Serial port interface 1050 is connected to mouse 1110 and keyboard 1120, for example.
  • Video adapter 1060 is connected to display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, application programs 1092, program modules 1093, and program data 1094. That is, the program that defines each process of the decision device 20 is implemented as a program module 1093 in which computer-executable code is described.
  • Program modules 1093 are stored, for example, on hard disk drive 1090 .
  • the hard disk drive 1090 stores a program module 1093 for executing processing similar to the functional configuration of the determination device 20 .
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094 in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads the program modules 1093 and program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary, and executes the processes of the above-described embodiments.
  • the program modules 1093 and program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program modules 1093 and program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). Program modules 1093 and program data 1094 may then be read by CPU 1020 through network interface 1070 from other computers.
  • LAN Local Area Network
  • WAN Wide Area Network
  • security system 10 analysis engine 20 decision device 21 feature information extraction unit 22 labeling unit 23 learning unit 24 prediction unit 25 model information 30 alert monitor 40 IOC checker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

特徴情報抽出部（２１）は、サイバーセキュリティに関する情報に含まれるＩＯＣに対する所定の組織による観測結果を取得する。特徴情報抽出部（２１）は、特徴情報抽出部（２１）によって取得された観測結果から得られる情報を基に、ＩＯＣの特徴情報を作成する。

Description

抽出方法、抽出装置及び抽出プログラム
　本発明は、抽出方法、抽出装置及び抽出プログラムに関する。
　企業や組織ではサイバーセキュリティを担保するために、セキュリティ管理や脅威を検知するためのシステムが導入されている。セキュリティオペレーションセンタ（ＳＯＣ：Security　Operation　Center）は、このようなシステムの運用を行う組織である。ＳＯＣのアナリスト（分析者）は、システムから出力される大量のログやアラートを監視、分析し、必要な対処を行う。
　一方で、下記の参考文献１、２によると、日々大量に発生するアラートを処理するアナリストが、アラート疲労と呼ばれる状況を起こし、アナリストの燃え尽きにつながることが問題視されている。
　参考文献１：S.　C.　Sundaramurthy,　A.　G.　Bardas,　J.　Case,　X.　Ou,　M.　Wesch,　J.　McHugh,　and　S.　R.　Rajagopalan,　“A　human　capital　model　for　mitigating　security　analyst　burnout,”　Proc.　SOUPS,　2015.
　参考文献２：Ponemon　Institute,　“Improving　the　Effectiveness　of　the　Security　Operations　Center,”　2019.
　また、上記の問題を解決するために必要なことは、よりすぐれた自動化を実現してアナリストの稼働を削減することである。実際、参考文献３によると、多くのＳＯＣのマネージャは、ＳＯＣコンポーネントの自動化レベルが不十分であることが現在のＳＯＣ組織における最重要課題であるととらえている。
　参考文献３：F.　B.　Kokulu,　A.　Soneji,　T.　Bao,　Y.　Shoshitaishvili,　Z.　Zhao,　A.　Doupe,　and　G.-J.　Ahn,　“Matched　and　Mismatched　SOCs:　A　Qualitative　Study　on　Security　Operations　Center　Issues,”　Proc.　ACM　CCS,　2019.
　これに対し、例えば、セキュリティに関する各アラートの異常スコアや悪性度スコアを過去のアラートから推定することで、真に悪性なアラートと誤検知となる本来非悪性のアラートとを識別する技術が提案されている（例えば、非特許文献１から５を参照）。
　また、セキュリティに関する各アラートと最も関連性の高い情報を抽出してくることで、アナリストのその後のプロセスをサポートする技術が知られている（例えば、非特許文献６から８を参照）。
W.　U.　Hassan,　S.　Guo,　D.　Li,　Z.　Chen,　K.　Jee,　Z.　Li,　and　A.　Bates,　"NoDoze:　Combatting　Threat　Alert　Fatigue　with　Automated　Provenance　Triage,"　Proc.　NDSS,　2019. A.　Oprea,　Z.　Li,　R.　Norris,　and　K.　Bowers,　"MADE:　Security　Analytics　for　Enterprise　Threat　Detection,"　Proc.　ACSAC,　2018. K.　A.　Roundy,　A.　Tamersoy,　M.　Spertus,　M.　Hart,　D.　Kats,　M.　Dell’Amico,　and　R.　Scott,　"Smoke　Detector:　Cross-Product　Intrusion　Detection　With　Weak　Indicators,"　Proc.　ACSAC,　2017. Y.　Liu,　M.　Zhang,　D.　Li,　K.　Jee,　Z.　Li,　Z.　Wu,　J.　Rhee,　and　P.　Mittal,　"Towards　a　Timely　Causality　Analysis　for　Enterprise　Security,"　Proc.　NDSS,　2018. P.　Najafi,　A.　Muhle,　W.　Punter,　F.　Cheng,　and　C.　Meinel,　"MalRank:　a　measure　of　maliciousness　in　SIEM-based　knowledge　graphs,"　Proc.　ACSAC,　2019. C.　Zhong,　J.　Yen,　P.　Liu,　and　R.　F.　Erbacher,　"Automate　Cybersecurity　Data　Triage　by　Leveraging　Human　Analysts’　Cognitive　Process,"　Proc.　IEEE　IDS,　2016. C.　Zhong,　T.　Lin,　P.　Liu,　J.　Yen,　and　K.　Chen,　"A　cyber　security　data　triage　operation　retrieval　system,"　Comput.　Secur.,　vol.76,　pp.12-31,　2018. S.　T.　Chen,　Y.　Han,　D.　H.　Chau,　C.　Gates,　M.　Hart,　and　K.　A.　Roundy,　"Predicting　Cyber　Threats　with　Virtual　Security　Products,"　Proc.　ACSAC,　2017. P.　Vadrevu,　B.　Rahbarinia,　R.　Perdisci,　K.　Li,　and　M.　Antonakakis,　"Measuring　and　Detecting　Malware　Downloads　in　Live　Network　Traffic,"　Proc.　ESORICS,　2013. M.　Antonakakis,　R.　Perdisci,　D.　Dagon,　W.　Lee,　and　N.　Feamster,　"Building　a　dynamic　reputation　system　for　DNS,"　Proc.　USENIX　Security　Symposium,　2010. L.　Bilge,　E.　Kirda,　C.　Kruegel,　and　M.　Balduzzi,　"EXPOSURE:　Finding　Malicious　Domains　Using　Passive　DNS　Analysis,"　Proc.　NDSS,　2011. R.　Perdisci,　I.　Corona,　and　G.　Giacinto,　"Early　Detection　of　Malicious　Flux　Networks　via　Large-Scale　Passive　DNS　Traffic　Analysis,"　IEEE　Trans.　Dependable　Secure　Comput.,　vol.9,　no.　5,　pp.714-726,　Sep.　2012. S.　Alrwais,　X.　Liao,　X.　Mi,　P.　Wang,　X.　Wang,　F.　Qian,　R.　Beyah,　and　D.　McCoy,　"Under　the　Shadow　of　Sunshine:　Understanding　and　Detecting　Bulletproof　Hosting　on　Legitimate　Service　Provider　Networks,"　Proc.　IEEE　S&P,　2017. B.　Rahbarinia,　R.　Perdisci,　and　M.　Antonakakis,　"Segugio:　Efficient　behavior-based　tracking　of　malware-control　domains　in　large　ISP　networks,"　Proc.　IEEE/IFIP　DSN,　2015.
　しかしながら、従来の技術には、ＩＯＣの調査の優先度を決定するために有用な特徴情報が得られない場合があるという問題がある。
　例えば、上記の先行技術文献に記載された技術では、ＩＯＣが異常又は悪性であるか否かを決定するのに必要な特徴情報が採用されている。一方で、ＩＯＣが異常又は悪性であることと、当該ＩＯＣが分析者による詳細な調査が必要であるかどうかは独立である。
　上述した課題を解決し、目的を達成するために、抽出方法は、抽出装置によって実行される抽出方法であって、サイバーセキュリティに関する情報に含まれるＩＯＣ（Indicator　of　Compromise）に対する所定の組織による観測結果を取得する取得工程と、前記取得工程によって取得された観測結果から得られる情報を基に、ＩＯＣの特徴情報を作成する作成工程と、を含むことを特徴とする。
　本発明によれば、ＩＯＣの調査の優先度を決定するために有用な特徴情報を得ることができる。
図１は、セキュリティシステムについて説明する図である。 図２は、アラートモニタの画面の例を示す図である。 図３は、ＩＯＣチェッカーの画面の例を示す図である。 図４は、第１の実施形態に係る決定装置の構成例を示す図である。 図５は、リクエストの期間の例を示す図である。 図６は、学習処理の流れを示すフローチャートである。 図７は、特徴情報を抽出する処理の流れを示すフローチャートである。 図８は、予測処理の流れを示すフローチャートである。 図９は、決定プログラムを実行するコンピュータの一例を示す図である。
　以下に、本願に係る抽出方法、抽出装置及び抽出プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。なお、本実施形態では、決定装置が抽出装置として機能する。
［第１の実施形態の構成］
　まず、図１を用いて、第１の実施形態に係る決定装置を含むセキュリティシステムについて説明する。図１は、セキュリティシステムについて説明する図である。
　セキュリティシステム１は、顧客組織のセキュリティプライアンスにおいて生じた所定の情報を基に、分析エンジンによる自動分析、又は分析者による分析が行われる。
　セキュリティプライアンスは、例えば侵入防御システム（ＩＰＳ：Intrusion　Prevention　System）、プロキシ、サンドボックス、統合脅威管理（ＵＴＭ：Unified　Threat　Management）等である。
　ＳＯＣでは、セキュリティアプライアンスから取得したセキュリティに関する情報をリアルタイムに分析する。例えば、セキュリティに関する情報にはセキュリティログ及びアラートが含まれる。
　図１の例では、ＳＯＣは大規模なＭＳＳＰ（Managed　Security　Service　Provider）で提供されるアウトソースＳＯＣとして利用されている。一方で、本実施形態は、インハウスＳＯＣにも適用可能である。
　アウトソースＳＯＣとインハウスＳＯＣは組織的な違いはあるが、全体的なワークフローは類似している。このため、スケールメリットを十分に発揮できる規模の組織のインハウスＳＯＣであれば、本実施形態の効果が得られやすい。
　セキュリティシステム１における処理の流れを説明する。図１に示すように、まず、顧客組織のセキュリティアプライアンスは、アラート及びセキュリティログをＳＯＣの分析エンジン１０に送信する（ステップＳ１）。
　以下、アラートについて処理を行う場合の例を説明する。セキュリティシステム１は、セキュリティログについても、アラートと同様に処理することができる。
　分析エンジン１０は自動分析を行う（ステップＳ２）。分析エンジン１０は、既知の悪意のある特性や、事前に定義されたルールやブラックリストに基づいて分析を行うことで、アラートに対応する。
　分析エンジン１０は、ＳＯＡＲ（Security　Orchestration,　Automation,　and　Response）と呼ばれる機能を用いて分析を行ってもよい。
　分析エンジン１０は、所定の条件を満たすアラートを決定装置２０、アラートモニタ３０又はＩＯＣチェッカー４０に送信する（ステップＳ３）。
　このとき、図２に示すように、アラートモニタ３０は、アラートに関する情報を表示する。図２は、アラートモニタの画面の例を示す図である。
　例えば、アラートモニタ３０には、アラートの原因となったイベントの日付（Date）、顧客名（Customer）、アラートを送信したデバイス（Device）、アラートの名前（Alert　Name）、アラートのトリガーとなった状況の概要等が表示される。
　また、図３に示すように、ＩＯＣチェッカー４０は、アラートに含まれるＩＯＣ（Indicator　of　Compromise）に関する情報を表示する。図３は、ＩＯＣチェッカーの画面の例を示す図である。
　例えば、ＩＯＣには、ドメイン名、ＩＰアドレス、ＵＲＬ、ファイルハッシュ値等が含まれる。
　図３に示すように、例えば、ＩＯＣチェッカー４０は、ＳＯＣでの調査状況（Status）、ＩＯＣの悪性度に関するＳＯＣの直近の判断（ＳＯＣ　Last　Decision）、そのＩＯＣの最新の脅威インテリジェンス結果（Detection　in　TI）等を表示する。
　例えば、分析者は、アラートモニタ３０及びＩＯＣチェッカー４０といった、ＩＯＣ評価専用のツールを使って、分析エンジン１０によって処理できなかったアラートについてＩＯＣのトリアージ（評価）を行う。
　ＳＯＣの分析者は日頃のＳＯＣワークフローで大量のアラートを処理する。そこで、決定装置２０は、優先度が高いＩＯＣを決定し、分析者に通知する。これにより、ＳＯＣにおいて複数の分析者が同じＩＯＣを手動で評価することを防止することができる。
　また、決定装置２０によれば、優先度が高いＩＯＣを優先して分析することができるため、分析者の稼働量に対する効果を向上させることができる。
　決定装置２０は、モデルの学習、又はモデルを用いてＩＯＣの優先度の予測を行う（ステップＳ４）。そして、決定装置２０は、予測結果に基づき優先度が高いＩＯＣを決定し、当該決定したＩＯＣを通知する（ステップＳ５）。
　例えば、決定装置２０は、決定したＩＯＣを、ＩＯＣチェッカー４０を介して分析者に通知する。
　分析者は、通知された優先度に基づき分析を実施する（ステップＳ６）。また、分析者は、分析の過程で脅威インテリジェンスサービス（例えば、VirusTotal（https://www.virustotal.com/））の検索を行ってもよい（ステップＳ７）。
　脅威インテリジェンスサービスの中には、脅威のレベルや悪性度に関するスコアを提供するものがある。しかしながら、本来そのようなスコアは必ずしも分析者の次のアクションを決定するものではない。
　例えば、既にパッチが展開されている脆弱性を利用した攻撃に関連したＩＯＣは、悪性であるスコアが高いかもしれないが、顧客組織を守るという観点では差し迫った脅威ではない。
　このように、ＳＯＣにおけるアラート分析は単純ではないため、アラート分析を完全自動化することは難しく、分析者による判断が必要になる場合がある。
　このため、決定装置２０による優先度が高いＩＯＣの決定は、分析者の判断の時間を確保し、また各ＩＯＣの調査稼働を削減するために有用であるということができる。
　分析者は、最終的に分析対象のアラート及び当該アラートに含まれたＩＯＣが悪性か非悪性かを判断し、さらに顧客への報告が必要かどうかを判断し、顧客への報告が必要な場合、顧客組織のシステム管理者等に報告を行う（ステップＳ８）。
　例えば、分析者があるＩＯＣの評価を完了すると、その結果に基づいて、分析エンジン１０におけるアラートのトリガーされる条件を変更することができる。
　例えば、分析者による評価で明らかに悪性のＩＯＣが特定された場合、カスタムブラックリスト又はカスタムシグネチャとして当該ＩＯＣを分析エンジン１０において使用することができる。
　その場合、同一ＩＯＣを含むログをＳＯＣの他の顧客でも自動的に検知できるようにすることができる。また、評価で誤検知や脅威レベルが少ないＩＯＣが特定された場合、アラートをトリガーするＳＩＥＭロジックが変更され、同じ誤検知アラートが再び発生するのを防ぐことができ、分析者の稼働削減につながる。
　以降、決定装置２０が優先度の高いＩＯＣを決定する処理について、決定装置２０の構成とともに詳細に説明する。
　図４は、第１の実施形態に係る決定装置の構成例を示す図である。図４に示すように、決定装置２０は、特徴情報抽出部２１、ラベル付与部２２、学習部２３、予測部２４及びモデル情報２５を有する。
　決定装置２０は、機械学習手法によるモデルの学習処理、及び学習済みのモデルを使った予測処理を行う。
　学習処理では、特徴情報抽出部２１、ラベル付与部２２及び学習部２３が用いられる。また、予測処理では、特徴情報抽出部２１及び予測部２４が用いられる。
　特徴情報抽出部２１は、サイバーセキュリティに関する情報に含まれるＩＯＣから特徴情報を抽出する。例えば、サイバーセキュリティに関する情報は、分析エンジン１０から取得するアラートである。
　特徴情報抽出部２１は、分析エンジン１０から入手した過去のアラートに含まれるＩＯＣから、当該ＩＯＣの特性を特徴づける情報（以後、特徴情報）を抽出する。
　特徴情報は、ＩＯＣに含まれるドメイン名、ＩＰアドレス、ＵＲＬ、ファイルハッシュ値等であってもよい。
　例えば、特徴情報抽出部２１は、あらかじめ定められた一定の日数の間に発生したアラートから特徴情報を抽出する。
　ここで、特徴情報抽出部２１による特徴情報の抽出方法を詳細に説明する。特徴情報抽出部２１は、取得部及び作成部を有する抽出装置として機能する。
　取得部は、サイバーセキュリティに関する情報に含まれるＩＯＣに対する所定の組織による観測結果を取得する。作成部は、取得した観測結果から得られる情報を基に、ＩＯＣの特徴情報を作成する。
　特徴情報抽出部２１は、脅威インテリジェンスサービスによる観測結果（項目１、２、３）、又はインターネット等のネットワークにおける観測結果（項目４、５）を基に特徴情報を作成する。
　各項目の特徴情報について説明する。まず、項目１、２及び３の特徴情報は、各ＩＯＣに関連して既に脅威インテリジェンスサービスによって観測された脅威の特性に着目した特徴情報である。
　特徴情報抽出部２１は、ＩＯＣに関連する事項の脅威インテリジェンスサービスによる検知状況を取得する。特徴情報抽出部２１は、検知状況を基に特徴情報を作成する。
　脅威インテリジェンスサービスは、顧客組織が用意したものであってもよいし、外部組織が提供しているものであってもよい。例えば、脅威インテリジェンスサービスは、VirusTotalのようなドメイン名やＩＰアドレスやＵＲＬやファイルハッシュ値に関する脅威情報を取得できるサービスである。
　項目１、２、３に包含される特徴情報は、例えば２８個である。以下、項目Ｘのように表記される項目、及び項目Ｘ－Ｙのように表記される項目の特徴情報は、項目Ｘに包含される特徴情報であるものとする。
（項目１）
　特徴情報抽出部２１は、ドメイン名のＩＯＣがあった場合、脅威インテリジェンスサービスを参照し、（１）当該ドメイン名を含む検知ＵＲＬ、（２）当該ドメイン名宛に通信した検知ファイル、（３）当該ドメイン名からダウンロードされた検知ファイル、（４）当該ドメイン名を言及している検知ファイルの４つの事項の数をそれぞれカウントし、特徴情報とする。
　これにより、特徴情報抽出部２１は、例えば４個の特徴情報を得る。項目１の特徴情報によれば、当該ＩＯＣが既知の脅威と関連しているかどうかを識別することができる。
　ここで、（１）の当該ドメイン名を含む検知ＵＲＬを、ドメイン名部分が共通するＵＲＬのうち、脅威インテリジェンスサービス上の任意の検知エンジンのうち少なくとも１つ以上で検知したものと定義する。
　また、（２）の当該ドメイン名宛に通信した検知ファイルを、サンドボックス化された環境での実行や解析を通じて当該ドメイン名宛に通信することが確認されたファイルのうち、脅威インテリジェンスサービス上の任意の検知エンジンのうち少なくとも１つ以上で検知したものと定義する。
　また、（３）の当該ドメイン名からダウンロードされた検知ファイルを、当該ドメイン名から取得されたファイルのうち、脅威インテリジェンスサービス上の任意の検知エンジンのうち少なくとも１つ以上で検知したものと定義する。
　また、（４）の当該ドメイン名を言及している検知ファイルを、当該ドメイン名の文字列を内部に含むファイルのうち、脅威インテリジェンスサービス上の任意の検知エンジンのうち少なくとも１つ以上で検知したものと定義する。
（項目２）
　特徴情報抽出部２１は、ドメイン名のＩＯＣがあった場合、脅威インテリジェンスサービスを参照し、（１）当該ドメイン名を含む非検知ＵＲＬ、（２）当該ドメイン名宛に通信した非検知ファイル、（３）当該ドメイン名からダウンロードされた非検知ファイル、（４）当該ドメイン名を言及している非検知ファイルの数の４つの事項の数をそれぞれカウントし、特徴情報とする。
　項目２の特徴情報は、項目１の「検知された」という部分を「検知されなかった」と置き換えた特徴情報に相当する。検知されなかったＵＲＬやファイルとは、脅威インテリジェンスサービスによって検査されたが、いずれの検知エンジンによっても悪意のあるもの又は不審なものとしては検出されなかったことを意味する。
　これにより、特徴情報抽出部２１は、例えば４個の特徴情報を得る。項目２の特徴情報によれば、当該ＩＯＣが良性又は正規なものかどうかを識別することができる。
（項目３）
　特徴情報抽出部２１は、項目１の（１）から（４）の各事項について、脅威インテリジェンスサービスに存在する複数の検知エンジンのうち、何個の検知エンジンが検知したかという検知数の情報を収集する。
　さらに、特徴情報抽出部２１は、４種類の検知数について、５つの統計量（平均値、最小値、最大値、標準偏差、分散）を計算して、合計２０個の特徴情報を作成する。
　このように、特徴情報抽出部２１は、観測結果から得られる情報、及び情報から計算される統計量を基に、特徴情報を作成する。
　項目３の特徴情報によれば、検知されたＵＲＬやファイルが、より多くの検知エンジンで検出されているメジャーな脅威なのか、それとも少数の検知エンジンでしか検知されていないマイナーな脅威なのかを区別することができる。
　項目４及び５の、各ＩＯＣに関連するネットワーク内で観測される通信の特性に着目した特徴情報について説明する。ネットワークは、例えばインターネットである。
　具体的には、特徴情報抽出部２１は、各ＩＯＣがあるネットワークでどの程度参照されたのかという情報を取得するために、Passive　ＤＮＳ（Domain　Name　System）データベースを利用する。
　Passive　ＤＮＳデータベースとは、任意のキャッシュＤＮＳサーバや権威ＤＮＳサーバにおいてその通信を観測し、実際にやりとりされたＤＮＳメッセージから、ドメイン名とＩＰアドレスの対応関係やその履歴を記録したデータベースである。
　Passive　ＤＮＳデータベースは、顧客組織が用意したものであってもよいし、外部組織が提供しているものであってもよい。
　特徴情報抽出部２１は、ネットワーク内で観測される通信特性に関する特徴情報として、項目４及び５に包含される５つの項目、合計１４７個の特徴情報を抽出する。
（項目４）
　特徴情報抽出部２１は、ＩＯＣに紐付くドメイン名に対応するＤＮＳ（Domain　Name　System）レコードを観測結果として取得し、ＤＮＳレコードの情報の変更回数を基に、例えば７個の特徴情報を作成する。
　例えば、特徴情報抽出部２１は、ドメイン名のＩＯＣがあった場合、Passive　ＤＮＳデータベースを参照し、ドメイン名に対応する７種類のＤＮＳリソースレコード（Ａ、ＡＡＡＡ、ＣＮＡＭＥ、ＭＸ、ＮＳ、ＳＯＡ、ＴＸＴ）ごとに、過去のある時点から現在までのリソースレコードの変更回数を特徴情報としてカウントする。
　例えば、図５の上側の表に示すように、「example.com」のＡレコード（ＩＰｖ４アドレス）が過去に「192.0.2.1」で、その後「203.0.113.1」になったことが観測されている場合、特徴情報抽出部２１は、ドメイン名「example.com」に相当するＩＯＣの変更回数を１とカウントする。
　項目４の特徴情報によれば、ＤＮＳレコードそのものが頻繁に変更されているドメイン名と、安定的に利用されているドメイン名とを区別することができる。
　なお、ドメイン名以外のＩＯＣの場合、特徴情報抽出部２１は、当該ＩＯＣをドメイン名に紐付けた上で上記の特徴情報を抽出すればよい。
　例えば、特徴情報抽出部２１は、ＩＯＣがＵＲＬ「https://www.example.com」である場合、当該ＩＯＣをドメイン名部分「www.example.com」と紐付けてカウントを行う。
　また、ＩＯＣがＩＰアドレスの場合、特徴情報抽出部２１は、ＤＮＳの逆引きレコードを参照して対応するドメイン名を入手するか、あるいは、Passive　ＤＮＳデータベースを使うことで当該ＩＰアドレスに紐付いていたドメイン名を抽出できる。
　さらに、ＩＯＣがファイルハッシュ値の場合、特徴情報抽出部２１は、脅威インテリジェンスサービスを参照して、当該ファイルが通信した先あるいは当該ファイルをダウンロードした元のドメイン名を抽出できる。
（項目５）
　特徴情報抽出部２１は、ＩＯＣに紐付くドメイン名に対応するＤＮＳ（Domain　Name　System）レコードを観測結果として取得し、ＤＮＳレコードの利用回数及び利用期間を基に、例えば１４０個の特徴情報を作成する。
（項目５－１）
　特徴情報抽出部２１は、過去のＤＮＳクエリ数の平均値、最小値、最大値、標準偏差、分散に基づく、例えば３５個の特徴情報を作成する。
　例えば、ドメイン名のＩＯＣがあった場合、特徴情報抽出部２１は、まず項目４と同様に、Passive　ＤＮＳデータベースを参照し、ドメイン名に対応する７種類のＤＮＳリソースレコード（Ａ、ＡＡＡＡ、ＣＮＡＭＥ、ＭＸ、ＮＳ、ＳＯＡ、ＴＸＴ）の中から、各組み合わせのＤＮＳクエリ回数をカウントする。
　ここで、ＤＮＳクエリ回数を、Passive　ＤＮＳデータベースにおいて、リソースレコードの組み合わせ（例えば「example.com」、Ａレコード、「192.0.2.1」）が観測された回数と定義する。
　図５の上側には、「example.com」の２つの過去のＤＮＳ　Ａレコードと、それらのＤＮＳクエリ回数（それぞれ５，０００回と１５，０００回）の例が示されている。
　次に、特徴情報抽出部２１は、７種類のリソースレコードについて、５つの統計量（平均値、最小値、最大値、標準偏差、分散）を計算し、合計で３５個の特徴情報を作成する。
　項目５－１の特徴情報によれば、ドメイン名にアクセスしているインターネットユーザーの数の傾向を反映させることができる。
（項目５－２）
　特徴情報抽出部２１は、最初のＤＮＳクエリからの経過日数の平均値、最小値、最大値、標準偏差、分散に基づく、例えば３５個の特徴情報を作成する。
　例えば、ドメイン名のＩＯＣがあった場合、特徴情報抽出部２１は、まず項目４と同様に、Passive　ＤＮＳデータベースを参照し、ドメイン名に対応する７種類のＤＮＳリソースレコード（Ａ、ＡＡＡＡ、ＣＮＡＭＥ、ＭＸ、ＮＳ、ＳＯＡ、ＴＸＴ）ごとに、各組み合わせの最初のＤＮＳクエリが行われた日付を抽出する。
　次に、特徴情報抽出部２１は、各々の日付について、当該日付から特徴情報を抽出する当日までの経過日数を算出する。
　図５に「example.com」に対する２つのレコードとその最初のＤＮＳクエリが観測された日付の例を示す。
　例えば、図５に示すように、特徴情報を抽出するのが２０２０年６月１日とした場合、特徴情報抽出部２１は、１つ目のレコードについては２０１９－１０－３１から２０２０－０６－０１までの日数、２つ目のレコードについては２０２０－０１－２４から２０２０－０６－０１までの日数をカウントする。
　項目５－２の特徴情報によれば、各レコードの使用開始時期を中心に、ドメイン名に関するＤＮＳトレンドを反映させることができる。
（項目５－３）
　特徴情報抽出部２１は、最後のＤＮＳクエリからの経過日数の平均値、最小値、最大値、標準偏差、分散に基づく、３５個の特徴情報を作成する。
　例えば、ドメイン名のＩＯＣがあった場合、特徴情報抽出部２１は、項目５－２の「最初のＤＮＳクエリ」を「最後のＤＮＳクエリ」に変更して特徴情報を抽出する。
　例えば、図５に示すように、特徴情報を抽出するのが２０２０年６月１日とした場合、特徴情報抽出部２１は、１つ目のレコードについては２０２０－０１－２３から２０２０－０６－０１まで、２つ目のレコードについては２０２０－０４－０１から２０２０－０６－０１までの日数をカウントする。
　その後、特徴情報抽出部２１は、７種類のリソースレコード毎にカウントした日数の５つの統計量（平均値、最小値、最大値、標準偏差、分散）を計算し、合計で３５個の特徴情報を作成する。
　項目５－３の特徴情報によれば、各レコードの使用が停止した時期に着目して、ドメイン名に関するＤＮＳトレンドを反映させることができる。
（項目５－４）
　特徴情報抽出部２１は、ＤＮＳクエリが存在していた期間の平均値、最小値、最大値、標準偏差、分散に基づく。３５個の特徴情報を作成する。
　例えば、ドメイン名のＩＯＣがあった場合、特徴情報抽出部２１は、ドメイン名に対応する７種類のＤＮＳリソースレコード（Ａ、ＡＡＡＡ、ＣＮＡＭＥ、ＭＸ、ＮＳ、ＳＯＡ、ＴＸＴ）ごとに、項目５－２と同様に最初のＤＮＳクエリの日付を、項目５－３と同様に最後のＤＮＳクエリの日付を入手する。
　図５の例では、特徴情報抽出部２１は、１つ目のレコードについては２０１９－１０－３１から２０２０－０１－２３までの日数、２つ目のレコードについては２０２０－０１－２４から２０２０－０４－０１までの日数をカウントする。
　その後、特徴情報抽出部２１は、７種類のリソースレコード毎にカウントした日数の５つの統計量（平均値、最小値、最大値、標準偏差、分散）を計算し、合計で３５個の特徴情報を作成する。
　項目５－４の特徴情報によれば、各レコードがどのくらいの期間使用されているかに注目して、ドメイン名に関するＤＮＳトレンドを反映させることができる。
　ラベル付与部２２は、ＩＯＣのそれぞれについて、関連するアラートの対応に要した稼働量の実績に応じたラベルを付与する。
　ここでは、ラベルは優先度が高いか否かを表す二値データであるものとする。例えば、ラベル付与部２２は、過去に分析者の稼働を多く消費したＩＯＣについては、優先度が高いことを示すラベルを付与し、そうでないものについては優先度が高くないことを示すラベルを付与する。
　なお、従来技術（例えば、非特許文献４から８に記載の技術）では、ＩＯＣが悪性のもの（又は悪意があるもの）であるか否かを示すラベルが付与されていた。一方で、本実施形態では、分析者の稼働量に基づきラベルが付与される。
　ラベル付与部２２は、ＩＯＣのうち、関連するアラートに対して一定期間内に発生した手動調査の回数が所定値以上であるＩＯＣについて、優先度が高いことを示すラベルを付与し、手動調査の回数が所定値未満であるＩＯＣについて、優先度が高くないことを示すラベルを付与する。
　以降の説明では、優先度が高いことを示すラベルを「優先」、優先度が高くないことを示すラベルを「非優先」と表記する。
　学習部２３は、特徴情報抽出部２１によって抽出された特徴情報及びラベル付与部２２によって付与されたラベルを組み合わせた学習データを用いて、ＩＯＣの特徴情報からラベルを出力するモデルの学習を行う。
　学習部２３は、教師あり機械学習により、モデルの作成及び更新を行う。モデル情報２５は、モデルを構築するためのパラメータ等を含む情報である。学習部２３は、モデル情報２５の作成及び更新を行う。
　学習部２３は、既知の任意の教師あり機械学習のアルゴリズムを採用することが可能である。本実施形態では、学習部２３は標準的なロジスティック回帰を採用するものとする。
　ロジスティック回帰は、スケーラブルで高速なので、ＳＯＣ環境のように多くの顧客からの大量のアラートに含まれるＩＯＣを予測するのに適している。
　また、ロジスティック回帰は解釈可能性が高いことが知られている。ロジスティック回帰の出力は、その性質上、入力されたＩＯＣが優先される確率として解釈でき、さらに各ＩＯＣに対応する特徴情報のうちどの特徴が結果に貢献しているかを示すことができる。このように、ロジスティック回帰には解釈可能性が高いという利点がある。
　ここでは、学習部２３は、特にＬ１正則化つきロジスティック回帰を利用するものとする。
　まず、学習部２３は、特徴情報抽出部２１によって抽出された特徴情報を表すベクトルｘが与えられたとき、（１）式に示すラベルの条件付き確率ｙを、（２）式のようにモデル化する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここで、θはロジスティック回帰モデルのパラメータである。また、σはシグモイド関数である。また、ｘの全ての特徴は、［０，１］の範囲に正規化されるものとする。
　学習部２３は、正則化の度合いを決定するハイパーパラメータλを導入した（４）式の目的関数を最小化する際のパラメータθを求めるために、（３）式に示すｎ個のラベル付きの学習用データの集合を使用する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　（４）式のうち、Ｌ１正則化部分λ｜｜θ｜｜１は、目的関数にペナルティを加えており、有意に寄与しない特徴情報を識別して削減する効果がある。
　このような特徴量の削減は必要以上に学習データに合わせてしまうオーバーフィッティングの防止に寄与するだけでなく、メモリ使用量の削減や、ＳＯＣアナリストに提示する結果をより簡潔で解釈しやすいものにする効果がある。
　予測部２４は、学習部２３による学習が行われたモデルを用いて、ＩＯＣの特徴情報からラベルを予測する。
　予測部２４は、学習部２３によって学習が行われたモデルを利用して、新たにリアルタイムで発生したアラートに含まれるＩＯＣと対応する特徴情報を入力し、どのＩＯＣが将来的に分析者の稼働を多く消費することになるのかを予測する。
　例えば、予測部２４は、モデル情報２５を基に構築したロジスティック回帰モデルを使って予測を行う。
　例えば、予測部２４は、分析者が対象のＩＯＣをＰ日以内にＫ回以上手動で分析する確率を予測することである（ただし、Ｐは整数）。
　予測部２４は、学習部２３によって決定されたパラメータθを用いて、ＩＯＣに対応する特徴情報のベクトルｘが「優先」である確率ｐ求め、予測するラベル＾ｙ（ｙの直上に＾）を（５）式で定義する。
Figure JPOXMLDOC01-appb-M000005
　決定装置２０は、予測部２４によって予測されたラベルを基に、ＳＯＣの分析者による繰り返しの調査につながると考えられるＩＯＣ、すなわち「優先」ラベルが予測されたＩＯＣを、確率ｐが高い順に出力し、分析者に提示する。
　このとき、分析者は、決定装置２０によって提示された情報を利用して、調査対象の優先順位付けを行い、効率的にトリアージや詳細分析を行うことができる。
　ＳＯＣの分析者は、ＩＯＣに対してどのようなアクションを取るべきかを可能な限り決定し記録することが求められる。
　本実施形態によれば、分析者は優先度が高いＩＯＣを調査し、その結果を分析エンジン１０に反映させることができる。それによって、分析エンジン１０は同じＩＯＣを含むアラートを自動処理できるようになるため、分析者が毎回当該ＩＯＣを手動で調査することを回避し、ＳＯＣ全体としての稼働量の削減を図ることができる。
　例えば、分析者は優先度が高いと決定されたＩＯＣを調査し、その結果を基に分析エンジン１０に当該ＩＯＣを自動分析させるようにする。これにより、当該ＩＯＣは他の分析者に受け渡されることがなくなるため、稼働量が削減される。
　なお、決定装置２０は、学習処理をオフラインで定期的（例えば１日に１回）に再実行し、モデル情報２５を更新する。決定装置２０は、図５に示す特徴情報抽出時点前後の所定の期間のデータを利用して学習処理を行う。例えば、決定装置２０は、特徴抽出時点までのＦ日間と特徴情報抽出時点からのＬ日間を合わせたＦ＋Ｌ日間のデータを利用して学習処理を行う（ただし、Ｆ及びＬは整数）。
　一方、決定装置２０が、顧客組織からのアラートに含まれるＩＯＣをリアルタイムに処理する際、すなわち予測処理を行う際には、当該ＩＯＣに対して、過去Ｆ日間分のデータを利用して特徴情報を抽出する。
　そして、決定装置２０は、抽出した特徴情報から、未来のＰ日間に分析者によるＫ回以上の手動調査が実施される確率ｐを計算する。
　決定装置２０は、上記の予測処理をリアルタイムに受信するＩＯＣごとに繰り返す。その結果、分析者が優先的に調査するべきＩＯＣのリストが、図３のようにＩＯＣチェッカー４０の画面に表示され継続的に更新される。
［第１の実施形態の処理］
　図６は、学習処理の流れを示すフローチャートである。図６に示すように、まず、決定装置２０は、過去のアラートの入力を受け付ける（ステップＳ１０１）。
　次に、決定装置２０は、入力されたアラートに含まれるＩＯＣから特徴情報を抽出する（ステップＳ１０２）。続いて、決定装置２０は、各ＩＯＣに対する分析者の稼働量に基づいて優先度に関する正解ラベルを付与する（ステップＳ１０３）。
　そして、決定装置２０は、正解ラベルを用いて、特徴情報から優先度に関するラベルを出力するモデルを学習する（ステップＳ１０４）。
　図７は、特徴情報を抽出する処理の流れを示すフローチャートである。図７の処理は、図６のステップＳ１０２に相当する。
　まず、図７に示すように、決定装置２０は、ＩＯＣの観測結果を取得する（ステップＳ１０２ａ）。
　次に、決定装置２０は、脅威インテリジェンスサービスによる検知状況に基づく特徴情報を作成する（項目１、２、３）（ステップＳ１０２ｂ）。さらに、決定装置２０は、ＩＯＣに紐付くドメイン名に対応するＤＮＳレコードに基づく特徴情報を作成する（項目４、５）（ステップＳ１０２ｃ）。
　図８は、予測処理の流れを示すフローチャートである。図８に示すように、まず、決定装置２０は、直近のアラートの入力を受け付ける（ステップＳ２０１）。
　次に、決定装置２０は、入力されたアラートに含まれるＩＯＣから特徴情報を抽出する（ステップＳ２０２）。続いて、決定装置２０は、各ＩＯＣに対する分析者の稼働量に基づいて正解ラベルを抽出する（ステップＳ２０３）。
　そして、決定装置２０は、特徴情報を学習済みのモデルに入力して、優先度に関するラベルを予測する（ステップＳ２０４）。
　決定装置２０は、予測したラベルに基づき優先度の高いＩＯＣをＳＯＣの分析者に通知することができる。
［第１の実施形態の効果］
　これまで説明してきたように、特徴情報抽出部２１は、サイバーセキュリティに関する情報に含まれるＩＯＣに対する所定の組織による観測結果を取得する。特徴情報抽出部２１は、特徴情報抽出部２１によって取得された観測結果から得られる情報を基に、ＩＯＣの特徴情報を作成する。
　これにより、ＩＯＣの調査の優先度を決定するために有用な特徴情報を得ることができる。
　特徴情報抽出部２１は、ＩＯＣに関連する事項の脅威インテリジェンスサービスによる検知状況を取得する。特徴情報抽出部２１は、検知状況を基に、特徴情報を作成する。
　これにより、特徴情報抽出部２１は、ＩＯＣが、悪性であるか、良性であるか、又はＩＯＣの脅威の度合いを特徴情報に反映させることができる。
　特徴情報抽出部２１は、ＩＯＣに紐付くドメイン名に対応するＤＮＳレコードを観測結果として取得する。特徴情報抽出部２１は、ＤＮＳレコードの情報の変更回数を基に、特徴情報を作成する。
　これにより、特徴情報抽出部２１は、ＤＮＳレコードそのものが頻繁に変更されているドメイン名と、安定的に利用されているドメイン名とを区別することができる。
　特徴情報抽出部２１は、ＩＯＣに紐付くドメイン名に対応するＤＮＳレコードを観測結果として取得する。特徴情報抽出部２１は、ＤＮＳレコードの利用回数及び利用期間を基に、特徴情報を作成する。
　これにより、特徴情報抽出部２１は、ドメイン名に関するＤＮＳトレンドを特徴情報に反映させることができる。
　特徴情報抽出部２１は、観測結果から得られる情報、及び情報から計算される統計量を基に、特徴情報を作成する。
　これにより、特徴情報抽出部２１は、限られた情報からさらに多くの特徴情報を得ることができる。
［システム構成等］
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central　Processing　Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、ＣＰＵだけでなく、ＧＰＵ等の他のプロセッサによって実行されてもよい。
　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　一実施形態として、決定装置２０は、パッケージソフトウェアやオンラインソフトウェアとして上記の決定処理を実行する決定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の決定プログラムを情報処理装置に実行させることにより、情報処理装置を決定装置２０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。
　また、決定装置２０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の決定処理に関するサービスを提供する決定サーバ装置として実装することもできる。例えば、決定サーバ装置は、セキュリティに関するアラートを入力とし、優先度の高いＩＯＣを出力とする決定サービスを提供するサーバ装置として実装される。この場合、決定サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の決定処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
　図９は、決定プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、決定装置２０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、決定装置２０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　１　セキュリティシステム
　１０　分析エンジン
　２０　決定装置
　２１　特徴情報抽出部
　２２　ラベル付与部
　２３　学習部
　２４　予測部
　２５　モデル情報
　３０　アラートモニタ
　４０　ＩＯＣチェッカー

Claims (7)

  1. 　抽出装置によって実行される抽出方法であって、
    　サイバーセキュリティに関する情報に含まれるＩＯＣ（Indicator　of　Compromise）に対する所定の組織による観測結果を取得する取得工程と、
    　前記取得工程によって取得された観測結果から得られる情報を基に、ＩＯＣの特徴情報を作成する作成工程と、
    　を含むことを特徴とする抽出方法。
  2. 　前記取得工程は、前記ＩＯＣに関連する事項の脅威インテリジェンスサービスによる検知状況を取得し、
    　前記作成工程は、前記検知状況を基に、前記特徴情報を作成することを特徴とする請求項１に記載の抽出方法。
  3. 　前記取得工程は、前記ＩＯＣに紐付くドメイン名に対応するＤＮＳ（Domain　Name　System）レコードを前記観測結果として取得し、
    　前記作成工程は、前記ＤＮＳレコードの情報の変更回数を基に、前記特徴情報を作成することを特徴とする請求項１に記載の抽出方法。
  4. 　前記取得工程は、前記ＩＯＣに紐付くドメイン名に対応するＤＮＳ（Domain　Name　System）レコードを前記観測結果として取得し、
    　前記作成工程は、前記ＤＮＳレコードの利用回数及び利用期間を基に、前記特徴情報を作成することを特徴とする請求項１に記載の抽出方法。
  5. 　前記作成工程は、前記観測結果から得られる情報、及び前記情報から計算される統計量を基に、前記特徴情報を作成することを特徴とする請求項１から４のいずれか１項に記載の抽出方法。
  6. 　サイバーセキュリティに関する情報に含まれるＩＯＣ（Indicator　of　Compromise）に対する所定の組織による観測結果を取得する取得部と、
    　前記取得部によって取得された観測結果から得られる情報を基に、ＩＯＣの特徴情報を作成する作成部と、
    　を有することを特徴とする抽出装置。
  7. 　コンピュータに、
    　サイバーセキュリティに関する情報に含まれるＩＯＣ（Indicator　of　Compromise）に対する所定の組織による観測結果を取得する取得手順と、
    　前記取得手順によって取得された観測結果から得られる情報を基に、ＩＯＣの特徴情報を作成する作成手順と、
    　を実行させることを特徴とする抽出プログラム。
PCT/JP2021/018127 2021-05-12 2021-05-12 抽出方法、抽出装置及び抽出プログラム WO2022239166A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023520666A JP7563587B2 (ja) 2021-05-12 2021-05-12 抽出方法、抽出装置及び抽出プログラム
US18/290,029 US20240289446A1 (en) 2021-05-12 2021-05-12 Extraction method, extraction device, and extraction program
PCT/JP2021/018127 WO2022239166A1 (ja) 2021-05-12 2021-05-12 抽出方法、抽出装置及び抽出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018127 WO2022239166A1 (ja) 2021-05-12 2021-05-12 抽出方法、抽出装置及び抽出プログラム

Publications (1)

Publication Number Publication Date
WO2022239166A1 true WO2022239166A1 (ja) 2022-11-17

Family

ID=84028059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018127 WO2022239166A1 (ja) 2021-05-12 2021-05-12 抽出方法、抽出装置及び抽出プログラム

Country Status (3)

Country Link
US (1) US20240289446A1 (ja)
JP (1) JP7563587B2 (ja)
WO (1) WO2022239166A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117132A1 (ja) * 2015-01-23 2016-07-28 株式会社Ｕｂｉｃ 電子メール分析システム、電子メール分析システムの制御方法、及び電子メール分析システムの制御プログラム
WO2018235252A1 (ja) * 2017-06-23 2018-12-27 日本電気株式会社 分析装置、ログの分析方法及び記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407645B2 (en) 2014-08-29 2016-08-02 Accenture Global Services Limited Security threat information analysis
US10681071B1 (en) 2016-08-02 2020-06-09 ThreatConnect, Inc. Enrichment and analysis of cybersecurity threat intelligence and orchestrating application of threat intelligence to selected network security events
US10469509B2 (en) 2016-12-29 2019-11-05 Chronicle Llc Gathering indicators of compromise for security threat detection
US11194905B2 (en) 2019-04-09 2021-12-07 International Business Machines Corporation Affectedness scoring engine for cyber threat intelligence services

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117132A1 (ja) * 2015-01-23 2016-07-28 株式会社Ｕｂｉｃ 電子メール分析システム、電子メール分析システムの制御方法、及び電子メール分析システムの制御プログラム
WO2018235252A1 (ja) * 2017-06-23 2018-12-27 日本電気株式会社 分析装置、ログの分析方法及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIBAHARA, TOSHIKI; KODERA, HIROKAZU; CHIBA, DAIKI; AKIYAMA, MITSUAKI; HATO, KUNIO; SÖDERSTRÖM, OLA; DALEK, DANIEL; MURATA, MASAYU: "Efficient Incident Detection by Predicting Potential Important Alerts", PROCEEDINGS OF COMPUTER SECURITY SYMPOSIUM 2019; OCTOBER 21-24, 2019, vol. 2019, 14 October 2019 (2019-10-14) - 24 October 2019 (2019-10-24), pages 1092 - 1099, XP009535472 *

Also Published As

Publication number Publication date
JPWO2022239166A1 (ja) 2022-11-17
JP7563587B2 (ja) 2024-10-08
US20240289446A1 (en) 2024-08-29

Similar Documents

Publication Publication Date Title
Usman et al. Intelligent dynamic malware detection using machine learning in IP reputation for forensics data analytics
JP6916300B2 (ja) セキュリティ脅威検出のための危殆化のインジケータを収集すること
US11750659B2 (en) Cybersecurity profiling and rating using active and passive external reconnaissance
US20220014560A1 (en) Correlating network event anomalies using active and passive external reconnaissance to identify attack information
Shen et al. {ATTACK2VEC}: Leveraging temporal word embeddings to understand the evolution of cyberattacks
US11245713B2 (en) Enrichment and analysis of cybersecurity threat intelligence and orchestrating application of threat intelligence to selected network security events
CA2998749C (en) Systems and methods for security and risk assessment and testing of applications
US12041091B2 (en) System and methods for automated internet- scale web application vulnerability scanning and enhanced security profiling
US20210360032A1 (en) Cybersecurity risk analysis and anomaly detection using active and passive external reconnaissance
US8312536B2 (en) Hygiene-based computer security
US10862906B2 (en) Playbook based data collection to identify cyber security threats
US20200004957A1 (en) Machine learning-based security alert escalation guidance
JP6401424B2 (ja) ログ分析装置、ログ分析方法およびログ分析プログラム
WO2007109721A2 (en) Tactical and strategic attack detection and prediction
US11374946B2 (en) Inline malware detection
CN111651591A (zh) 一种网络安全分析方法和装置
US11201875B2 (en) Web threat investigation using advanced web crawling
Walker et al. Cuckoo’s malware threat scoring and classification: Friend or foe?
US20240259414A1 (en) Comprehensible threat detection
EP3799367B1 (en) Generation device, generation method, and generation program
WO2022239166A1 (ja) 抽出方法、抽出装置及び抽出プログラム
US20220245249A1 (en) Specific file detection baked into machine learning pipelines
WO2022239161A1 (ja) 抽出方法、抽出装置及び抽出プログラム
WO2022239162A1 (ja) 決定方法、決定装置及び決定プログラム
EP3999985A1 (en) Inline malware detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941900

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520666

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18290029

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941900

Country of ref document: EP

Kind code of ref document: A1