WO2017217349A1 - 情報処理システム、分析装置、制御装置、方法および記憶媒体 - Google Patents

情報処理システム、分析装置、制御装置、方法および記憶媒体 Download PDF

Info

Publication number
WO2017217349A1
WO2017217349A1 PCT/JP2017/021561 JP2017021561W WO2017217349A1 WO 2017217349 A1 WO2017217349 A1 WO 2017217349A1 JP 2017021561 W JP2017021561 W JP 2017021561W WO 2017217349 A1 WO2017217349 A1 WO 2017217349A1
Authority
WO
WIPO (PCT)
Prior art keywords
analysis
rule
analysis rule
state
storage unit
Prior art date
Application number
PCT/JP2017/021561
Other languages
English (en)
French (fr)
Inventor
靖伸 千葉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018523881A priority Critical patent/JP6930535B2/ja
Priority to US16/305,437 priority patent/US11243865B2/en
Publication of WO2017217349A1 publication Critical patent/WO2017217349A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to a technique for collecting and analyzing information.
  • Patent Document 1 discloses a technique for receiving a security event from various sensors and analyzing the received security event to detect a threat.
  • this related technique receives a security event including a destination address and an event signature from a software agent.
  • the received event signature is used to identify a set of vulnerabilities used by the security event.
  • the destination address is used to specify the asset in the target network.
  • This related technology extracts a set of vulnerabilities of the targeted asset by referring to the asset model (information including IP (Internet Protocol) address, host name, vulnerability, etc.).
  • IP Internet Protocol
  • Patent Document 2 discloses a technique for collecting security events from various network devices and analyzing the collected security events to generate a meta event. This related technology normalizes collected security events into a common format, and generates a meta event by applying a group of rules to the normalized security events.
  • a rule engine that applies a rule group stores event information for a set period of time in order to apply the rule group.
  • Patent Document 3 discloses a technique for adjusting the capacity of an object resource in accordance with the demand for the object resource from the client in a distributed network of servers. According to the document, this related technology is based on past demand, input region, cost requirements, etc. in order to match the capacity of the object resource on the server with the predicted required capacity. And adjust the capacity accordingly.
  • Patent Document 4 describes a technique for generating a new analysis process based on the data analysis result. According to this document, this related technique generates a new analysis process by calculating a feature amount of an analysis result and applying an inference rule to the analysis result that the feature amount satisfies a predetermined condition.
  • Patent Document 5 describes a technique for correcting a rule for checking the validity of the content of a document. This related technique checks a target document with a predetermined rule, and corrects the rule based on the evaluation result of the check result.
  • Non-Patent Document 1 discloses a generalized, expandable and fault-tolerant data processing system.
  • Patent Documents 1 and 2 in order to detect security threats or infringements in information communication systems, information is collected from a wide variety of information processing devices and communication devices, and the collected information is defined in advance. There is a need to analyze on the basis of established procedures. Further, as shown in Non-Patent Document 1, there is a need to collect real-time analysis by collecting a large amount of information from various devices, not limited to security applications. As shown in Patent Document 2, when an analysis is performed, information representing a state related to the analysis needs to be stored in the information processing system using a main storage device, a secondary storage device, or the like. There is.
  • Patent Document 3 does not suggest a technique for dealing with the above problem in a situation where it is difficult to predict demand.
  • Patent Documents 4 and 5 show that a new analysis is performed based on the analysis result and the evaluation result, but in the situation where the amount and content of the information to be analyzed cannot be predicted, No technology to address the problem is suggested.
  • an object of the present invention is to provide a technique for more reliably continuing analysis in an application in which it is difficult to predict the amount or content of information input as an analysis target.
  • an information processing system of the present invention stores an analysis execution means for executing analysis based on an analysis rule for data input as an analysis target and outputting an analysis result, and the analysis rule.
  • An analysis apparatus comprising: analysis rule storage means; analysis rule management means for managing the analysis rules; and analysis state storage means for storing analysis state information representing the analysis state generated or referred to by the analysis execution means.
  • Analysis state monitoring means for monitoring the usage status of the analysis state storage means, evaluation result management means for acquiring and managing evaluation results for the analysis results, evaluation result storage means for storing the evaluation results, and the analysis Analysis rule control means for controlling the analysis rule via the analysis rule management means based on the use status of the state storage means and the evaluation result.
  • a control unit that, the.
  • the analysis apparatus of the present invention is configured as an analysis apparatus in the information processing system described above.
  • control device of the present invention is configured as a control device in the information processing system described above.
  • the method of the present invention includes an analysis execution unit that performs analysis on data input as an analysis target based on an analysis rule and outputs an analysis result, an analysis rule storage unit that stores the analysis rule, and the analysis
  • An analysis apparatus having analysis rule management means for managing rules and analysis state storage means for storing analysis state information representing the state of the analysis generated or referred to by the analysis execution means. Monitor the usage status of the analysis status storage means, acquire and manage an evaluation result for the analysis result, and based on the usage status of the analysis status storage means and the evaluation result, the analysis rule management means Control analysis rules.
  • the storage medium of the present invention comprises an analysis execution means for executing analysis based on an analysis rule for data input as an analysis target and outputting an analysis result, an analysis rule storage means for storing the analysis rule,
  • An analysis state for an analysis apparatus comprising: analysis rule management means for managing analysis rules; and analysis state storage means for storing analysis state information representing the state of analysis generated or referred to by the analysis execution means.
  • An analysis state monitoring step for monitoring the usage status of the storage means, an evaluation result management step for acquiring and managing an evaluation result for the analysis result, an evaluation result storage step for storing the evaluation result, and a use of the analysis state storage means
  • An analysis rule control step for controlling the analysis rule via the analysis rule management means based on the situation and the evaluation result. Stores programs to be executed by the data device.
  • the present invention can provide a technique for more reliably continuing the execution of an analysis in an application where it is difficult to predict the amount and content of information input as an analysis target.
  • FIG. 1 It is a figure which shows an example of the information memorize
  • FIG. 1 is a functional block diagram showing the configuration of the information processing system 1 according to the first embodiment of this invention.
  • the information processing system 1 includes an analysis device 10 and a control device 11.
  • the analysis device 10 and the control device 11 are connected to be communicable.
  • the analysis device 10 is connected to the sensor 5 and the evaluation device 7 so as to be communicable.
  • the control apparatus 11 is connected so that communication with the evaluation apparatus 7 is possible.
  • the evaluation device 7 is connected to the notification destination device 9 so as to be communicable.
  • one analysis device 10 and one control device 11 are shown, but the number of devices included in the information processing system 1 is not limited.
  • three sensors 5 and one evaluation device 7 and one notification destination device 9 are shown, but the number of devices connected to the information processing system 1 is not limited.
  • the analysis apparatus 10 includes an analysis execution unit 101, an analysis rule storage unit 102, an analysis state storage unit 103, and an analysis rule management unit 104.
  • the control device 11 includes an analysis state monitoring unit 111, an evaluation result storage unit 112, an evaluation result management unit 113, and an analysis rule control unit 114.
  • each device constituting the information processing system 1 can be configured by hardware elements as shown in FIG.
  • the analysis apparatus 10 includes a CPU (Central Processing Unit) 1001, a memory 1002, and a network interface 1005.
  • the control device 11 includes a CPU 1101, a memory 1102, and a network interface 1105.
  • Each of the memories 1002 and 1102 includes a RAM (Random Access Memory), a ROM (Read Only Memory), an auxiliary storage device (such as a hard disk), and the like.
  • Network interfaces 1005 and 1105 are interfaces connected to the network, respectively.
  • the analysis execution unit 101 and the analysis rule management unit 104 of the analysis apparatus 10 are configured by a network interface 1005 and a CPU 1001 that reads and executes a computer program stored in the memory 1002.
  • the analysis rule storage unit 102 and the analysis state storage unit 103 are configured by a memory 1002.
  • the analysis state monitoring unit 111, the evaluation result management unit 113, and the analysis rule control unit 114 of the control device 11 are configured by a network interface 1105 and a CPU 1101 that reads and executes a computer program stored in the memory 1102. .
  • the evaluation result storage unit 112 is configured by the memory 1102. Note that the hardware configuration of each device and each functional block constituting the information processing system 1 is not limited to the above-described configuration.
  • the analysis execution unit 101 executes analysis based on the analysis rule stored in the analysis rule storage unit 102 for the data input as the analysis target, and outputs the analysis result.
  • the analysis based on the analysis rule is a process of determining whether or not the analysis rule is satisfied using input data, and outputting information representing the result as an analysis result when the analysis rule is satisfied.
  • the input data may be information received from the sensor 5, for example.
  • the analysis execution unit 101 performs an analysis with reference to the analysis state information stored in the analysis state storage unit 103 during the analysis based on the analysis rule. However, depending on the analysis rule, the analysis may not require reference to the analysis state information. In addition, when the analysis execution unit 101 detects information that can be referred to in the analysis being executed or other analysis during the analysis based on the analysis rule, the analysis execution unit 101 stores the information in the analysis state storage unit 103 as analysis state information. . Details of the analysis state information will be described later.
  • the analysis execution unit 101 outputs an analysis result as necessary in the analysis based on the analysis rule.
  • the output destination is the evaluation device 7.
  • the analysis execution unit 101 uniquely identifies the analysis rule as information related to the detection of the event that satisfies the analysis rule as an analysis result. You may output with information.
  • the analysis result includes information used by the evaluation device 7 described later when the analysis result is evaluated.
  • the analysis execution unit 101 may perform the analysis according to the information representing the validity.
  • an analysis rule including information indicating that it is valid is also referred to as an effective analysis rule.
  • An analysis rule including information indicating that it is not valid (that is, invalid) is also referred to as an invalid analysis rule.
  • the analysis execution unit 101 executes an analysis based on the analysis rule for a valid analysis rule, and does not execute an analysis based on the analysis rule for an invalid analysis rule.
  • the analysis rule storage unit 102 stores analysis rules.
  • the analysis rule represents a rule that can be determined using input data.
  • an analysis rule is information that defines that, when it is detected that data matching a predetermined condition has been input more than a specified number of times during a predetermined period, the detection rule is output as an analysis result. Also good.
  • the analysis rule may include a condition for the latest input data, or may include a condition for data input so far and their statistical processing results.
  • the analysis rule may include information indicating effectiveness. Effectiveness represents whether or not an analysis based on the analysis rule is a target to be executed by the analysis execution unit 101.
  • whether or not the analysis is to be executed is also referred to as analysis execution availability.
  • FIG. 3 shows a table for storing each entry indicating the analysis rule. Each entry includes information representing an ID that uniquely identifies the analysis rule, the analysis rule, and the validity (valid or invalid) of the analysis rule.
  • the analysis rule of the entry whose ID is 1 is also referred to as analysis rule ID (1).
  • the 3 defines an analysis rule ID (1) that outputs an analysis result when the following condition is satisfied.
  • the entry indicates that the analysis rule ID (1) is a target to be executed by the analysis execution unit 101 (it is valid).
  • the analysis rule storage unit 102 can store one or more entries including an analysis rule to be executed by the analysis execution unit 101.
  • the analysis state storage unit 103 stores analysis state information.
  • the analysis state information is information representing an analysis state generated or referred to by the analysis execution unit 101.
  • the generated analysis status information is information representing the status of the currently running analysis that can be used in the running analysis or other analysis runs.
  • the other analysis may be an analysis executed in the future based on an analysis rule applied in the analysis currently being executed. Alternatively, the other analysis may be an analysis performed in the future based on an analysis rule different from the analysis rule applied in the currently executing analysis.
  • the analysis state information may be data that can be referred to in an analysis that is currently being executed or another analysis in order to determine whether or not an analysis rule is satisfied.
  • data that can be referred to in the analysis currently being performed or other analysis is the data that is the target of the analysis currently being performed or the past analysis, or information obtained by processing such data. Also good.
  • FIG. 4 shows an example of information stored in the analysis state storage unit 103 in this case.
  • FIG. 4 shows a table for storing each entry indicating the analysis state information.
  • each entry includes information representing an analysis rule ID and analysis state information.
  • the analysis rule ID is information for uniquely identifying the analysis rule, and corresponds to the ID of the analysis rule storage unit 102 shown in FIG.
  • the top entry in FIG. 4 represents analysis state information used in the execution of the analysis based on the analysis rule ID (1).
  • the analysis state information associated with the analysis rule ID (1) in FIG. 4 is referred to by the analysis execution unit 101 when the analysis based on the analysis rule ID (1) is executed. That is, the analysis state information is referred to in determining whether or not all conditions of the analysis rule ID (1) are satisfied.
  • the analysis execution unit 101 outputs an analysis result.
  • the analysis rule management unit 104 manages analysis rules stored in the analysis rule storage unit 102. Specifically, the analysis rule management unit 104 is connected to the control device 11 and executes addition, deletion, and change of analysis rules based on control by the control device 11. For example, it is assumed that the information shown in FIG. 3 is stored in the analysis rule storage unit 102. In this case, the analysis rule management unit 104 changes the information indicating the validity (executability) of the analysis rule of the entry designated by the control device 11 from valid to invalid or from invalid to valid.
  • changing the information indicating the validity of the analysis rule from valid to invalid is also referred to as invalidating the analysis rule.
  • changing the information indicating the validity of the analysis rule from invalid to valid will also be described as validating the analysis rule.
  • the analysis state monitoring unit 111 is connected to the analysis state storage unit 103 of the analyzer 10 and monitors the usage state of the analysis state storage unit 103.
  • the usage status may be, for example, the capacity and number of analysis state information stored in the analysis state storage unit 103, free storage capacity, contents of analysis state information, and the like.
  • the monitoring result is notified to the analysis rule control unit 114 described later.
  • the analysis state monitoring unit 111 acquires the number of entries in the table, the used storage capacity, the free storage capacity, and the contents of each entry as the usage status based on the instruction of the analysis rule control unit 114, and acquires the acquired values.
  • the analysis rule control unit 114 may be notified.
  • the evaluation result storage unit 112 stores an evaluation result for the analysis result output from the analysis execution unit 101 of the analysis apparatus 10.
  • the evaluation result for the analysis result may be information indicating the accuracy of the analysis result. Note that the evaluation result may be information generated by the evaluation device 7 or information input to the evaluation device 7.
  • FIG. 5 is a diagram illustrating an example of information stored in the evaluation result storage unit 112.
  • FIG. 5 shows a table for storing each entry indicating the evaluation result.
  • each entry includes information representing an evaluation completion time, an analysis rule ID, and an evaluation result.
  • the evaluation completion time represents the time when the evaluation result for the corresponding analysis result is generated or acquired.
  • the analysis rule ID indicates the ID of the analysis rule applied when the corresponding analysis result is output.
  • the evaluation result represents an evaluation result for the corresponding analysis result.
  • the top entry in FIG. 5 shows that the evaluation result that is a false positive for the analysis result output by the analysis based on the analysis rule ID (3) is the time 2016/01/22 at 17: 00.00. Indicates that it was generated or acquired.
  • the evaluation result storage unit 112 stores one or more entries including the evaluation result of the analysis result output from the analysis execution unit 101 of the analysis apparatus 10.
  • the evaluation result management unit 113 acquires the evaluation result of the analysis result output from the analysis execution unit 101 of the analysis device 10 from the evaluation device 7 and stores it in the evaluation result storage unit 112. Further, the evaluation result management unit 113 acquires an entry included in the table of the evaluation result storage unit 112 based on the control of the analysis rule control unit 114 and notifies the analysis rule control unit 114 of the acquired content.
  • the analysis rule control unit 114 refers to the usage status of the analysis state storage unit 103 of the analysis apparatus 10 via the analysis state monitoring unit 111. Further, the analysis rule control unit 114 refers to the information stored in the evaluation result storage unit 112 via the evaluation result management unit 113. And the analysis rule control part 114 controls the analysis rule memorize
  • the analysis rules are controlled via the analysis rule management unit 104. Specifically, the analysis rule control unit 114 controls information indicating the validity of the analysis rule selected based on the evaluation result when the usage state of the analysis state storage unit 103 satisfies a predetermined condition. With this control, the analysis rule control unit 114 controls whether or not the analysis execution unit 101 of the analysis apparatus 10 performs an analysis based on the analysis rule.
  • the analysis rule control unit 114 specifies the analysis rule ID based on the low evaluation result when the free storage capacity, which is the usage status of the analysis state storage unit 103, falls below a predefined threshold.
  • the low evaluation result may be the high incidence of false positives.
  • the analysis state information is not newly stored due to an analysis rule having a high false positive rate (low effect obtained by analysis), and the analysis state compresses the capacity of the analysis state storage unit 103. Saving of information is suppressed.
  • the analysis execution unit 101 can continue to execute the analysis rule having a relatively high true positive rate (higher effect obtained by the analysis) than the invalidated analysis rule. If such analysis rule control is not executed, the analysis state storage unit 103 exceeds its capacity, and new analysis state information cannot be stored, and execution of all analyzes is stopped.
  • the analysis rule control unit 114 avoids stopping execution of all such analyzes.
  • the analysis rule management unit 104 may delete the entry stored in the analysis state storage unit 103 in association with the analysis rule ID to be invalidated. Such entry deletion may be performed by the analysis execution unit 101 under an instruction from the analysis rule management unit 104. Thereby, in the analysis state storage unit 103, storage of analysis state information that is not used for analysis is further suppressed, and the free storage capacity is expanded. As a result, the continuity of the analysis execution by the analysis execution unit 101 is further improved.
  • the analysis rule control unit 114 among the analysis rules invalidated in the analysis rule storage unit 102, when the free storage capacity that is the usage status of the analysis state storage unit 103 exceeds a predefined threshold value, The analysis rule ID is specified based on the height of the evaluation result.
  • the high evaluation result may be a low incidence of false positives.
  • the analysis state storage unit 103 may specify an analysis rule ID whose false positive rate is less than a threshold among the analysis rules invalidated in the analysis rule storage unit 102. Then, the analysis rule control unit 114 instructs the analysis rule management unit 104 of the analysis apparatus 10 to validate the specified analysis rule ID. As a result, the analysis rule management unit 104 searches the analysis rule storage unit 102 for the entry of the specified analysis rule ID, and changes the information indicating the validity of the corresponding entry from invalid to valid. The execution of the analysis based on the activated analysis rule ID will be started. As a result, it is possible to continue the execution of the analysis based on the analysis rule having a low false positive rate (high effect obtained by the analysis).
  • the sensor 5 is connected to the analysis execution unit 101 of the analyzer 10. Further, the sensor 5 generates data targeted for analysis performed in the analysis execution unit 101. As described above, one or more sensors 5 are connected to the information processing system 1.
  • the information processing system 1 is a system that collects security events from a network device and performs analysis for detecting a security threat of the network or the information system.
  • a network device such as a firewall device or a threat detection system called Intrusion Detection System
  • Intrusion Detection System is applicable as the sensor 5.
  • the evaluation device 7 is connected to the analysis execution unit 101 of the analysis device 10 and the evaluation result management unit 113 of the control device 11. Further, the evaluation device 7 generates or acquires an evaluation result of the analysis result output from the analysis execution unit 101 of the analysis device 10.
  • the evaluation result may be information indicating the accuracy of the analysis result.
  • the evaluation device 7 may execute a process for generating an evaluation result based on the analysis result output from the analysis execution unit 101.
  • the evaluation apparatus 7 may output the analysis result output from the analysis execution part 101 to an output device, and may acquire the information input from an input device etc. according to an output as an evaluation result.
  • the evaluation device 7 outputs the generated or acquired evaluation result to the evaluation result management unit 113 of the control device 11.
  • the evaluation device 7 outputs the analysis result to the notification destination device 9.
  • the notification destination device 9 is connected to the evaluation device 7.
  • the notification destination device 9 is a device that uses the analysis result output from the analysis execution unit 101 of the analysis device 10.
  • the notification destination device 9 may perform processing using the analysis result.
  • the notification destination device 9 may output the analysis result to an output device or the like.
  • the analysis result output to the output device or the like can be used by the operator of the sensor 5 or the operator of the information processing system 1.
  • the analysis device 10 and the control device 11 are illustrated as different devices. However, the analysis apparatus 10 and the control apparatus 11 may be configured as an integrated apparatus. Further, the analysis device 10, the control device 11, or a device in which the analysis device 10 and the control device 11 are integrated may include the evaluation device 7.
  • steps A101 to A106 show an example of the operation of each device when an analysis based on an analysis rule that does not need to refer to an analysis state is performed.
  • the analysis execution unit 101 of the analysis apparatus 10 receives a log from the group of sensors 5, the analysis execution unit 101 executes an analysis based on an analysis rule that does not require an analysis state reference (step A101).
  • the analysis execution unit 101 transmits the analysis result to the evaluation device 7 (step A102).
  • the evaluation device 7 generates or acquires the evaluation result for the received analysis result (step A103).
  • the evaluation device 7 associates the analysis rule ID that uniquely identifies the analysis rule applied in the output of the analysis result with the evaluation result for the analysis result, and transmits the association to the control device 11 (step A104). ).
  • the evaluation result management unit 113 of the control device 11 associates the received evaluation result and the analysis rule ID, and stores them in the evaluation result storage unit 112 (step A105).
  • step A106 the evaluation device 7 notifies the notification destination device 9 of the analysis result. Note that the operation of step A106 only needs to be performed after step A102, and does not necessarily have to be performed after step A103 and step A104.
  • steps A201 to A203 show an example of the operation of each device when an analysis based on an analysis rule that needs to refer to an analysis state is performed but no analysis result is output.
  • the analysis execution unit 101 of the analysis apparatus 10 receives a log from the group of sensors 5, the analysis execution unit 101 reads the analysis state information when executing the analysis that needs to refer to the analysis state (step A201).
  • the analysis execution unit 101 executes analysis (step A202).
  • the analysis execution unit 101 detects data that can be used for the analysis being performed or other analysis, the analysis execution unit 101 stores information related to the data in the analysis state storage unit 103 as analysis state information (step A203). ).
  • the analysis execution unit 101 does not output the analysis result.
  • steps A301 to A303 represent operations for monitoring the usage status of the analysis state storage unit 103. This operation is executed at every predetermined timing.
  • step A301 the analysis state monitoring unit 111 of the control device 11 transmits information for confirming the use status of the analysis state storage unit 103 of the analysis device 10 to the analysis device 10 (step A301).
  • the analysis apparatus 10 transmits information indicating the usage status of the analysis state storage unit 103 (step A302).
  • the analysis rule control unit 114 of the control device 11 determines whether or not the usage state satisfies a predetermined depletion condition (step A303).
  • the predetermined depletion condition may be that the free storage capacity as the usage status falls below a predefined threshold.
  • the analysis rule control unit 114 does not execute analysis rule control.
  • steps A401 to A408 show an example of the operation of each device when an analysis rule requiring reference to an analysis state is performed and an analysis result is output.
  • the analysis execution unit 101 of the analysis apparatus 10 receives a log from the group of sensors 5, the analysis execution unit 101 reads analysis state information when executing an analysis that requires reference to the analysis state (step A401).
  • the analysis execution unit 101 executes analysis (step A402).
  • the analysis execution unit 101 detects data that can be used for analysis being performed or other analysis, all conditions of the analysis rule are determined based on the information related to the data and the read analysis state information. Suppose that it is satisfied. In this case, the analysis execution unit 101 outputs the analysis result to the evaluation device 7 (step A403).
  • the analysis result may include an analysis rule ID and information used when the evaluation device 7 determines whether the analysis result is true positive or false positive.
  • the information used when the determination is made may be, for example, a log input when executing the analysis in steps A202 and A402.
  • the analysis execution unit 101 may discard analysis state information that is not expected to be used in the future in the analysis state storage unit 103 (step A404). Note that the operation of step A404 only needs to be performed after step A402, and does not necessarily have to be performed after step A403.
  • Steps A405 to A48 are the same as those of Steps A103 to A106 described above, description thereof will be omitted.
  • the evaluation result for the analysis result output in step A403 is stored in the evaluation result storage unit 112.
  • steps A101 to A106 are executed in the order described above
  • steps A201 to A203 are executed in the order described above
  • steps A301 to A303 are executed in the order described above
  • steps A401 to A408 are executed in the order described above.
  • the order of execution other than the above between the steps shown in FIG. 6 is not limited to the order shown.
  • the resource exhaustion state refers to a state in which resources are being exhausted in the analysis state storage unit 103 of the analysis apparatus 10.
  • steps B101 to B107 represent operations for controlling analysis rules when the usage status of the analysis state storage unit 103 satisfies a predetermined depletion condition.
  • Steps B101 to B103 Since the operations of Steps B101 to B103 are the same as Steps A301 to A303 in the steady state described with reference to FIG.
  • the analysis rule control unit 114 of the control device 11 obtains a determination result as to whether or not the usage status of the analysis state storage unit 103 of the analysis device 10 satisfies a predetermined depletion condition.
  • the usage state satisfies a predetermined depletion condition.
  • the analysis rule control unit 114 determines an analysis rule to be invalidated based on the low evaluation result stored in the evaluation result storage unit 112 (step B104).
  • the analysis rule control unit 114 transmits information representing an invalidation instruction and an analysis rule ID that uniquely identifies an invalidation analysis rule to the analysis apparatus 10 as a set (step) B105).
  • the analysis rule storage unit 102 invalidates the analysis rule of the received analysis rule ID (step). B106).
  • the analysis execution unit 101 discards the analysis state information associated with the received analysis rule ID in the analysis state storage unit 103 (step B107).
  • analysis based on the invalidated analysis rule ID is not executed by the analysis execution unit 101 thereafter.
  • analysis state information is not newly stored in the analysis state storage unit 103 by the analysis based on the invalidated analysis rule ID. That is, the analysis apparatus 10 can avoid that the analysis cannot be continued due to the usage state of the analysis state storage unit 103. Specifically, the analysis apparatus 10 can avoid the exhaustion of the free storage capacity of the analysis state storage unit 103.
  • steps A201 to A203 it is possible to continue the operations of steps A201 to A203 in which an analysis that needs to refer to the analysis state is executed and the analysis result is not output.
  • the operations in steps A201 to A203 are the same as those in FIG.
  • step A203 analysis state information is newly stored in the analysis state storage unit 103 of the analyzer 10, and the analysis is continued.
  • steps A301 to A303 for monitoring the usage status of the analysis state storage unit 103 are performed at a predetermined timing.
  • the operations in steps A301 to A303 are the same as those in FIG.
  • the analysis rule control unit 114 does not control the analysis rule.
  • steps A401 to A408 for executing the analysis that needs to refer to the analysis state and outputting the analysis result.
  • the operations in steps A401 to A408 are the same as those in FIG.
  • steps B101 to B107 are executed in the order described above
  • steps A201 to A203 are executed in the order described above
  • steps A301 to A303 are executed in the order described above
  • steps A401 to A408 are executed in the order described above.
  • the order of execution other than the above between the steps shown in FIG. 7 is not limited to the order shown.
  • the resource surplus state refers to a state in which resources are surplus in the analysis state storage unit 103 of the analysis apparatus 10.
  • steps C101 to C106 represent operations for controlling analysis rules when the usage status of the analysis state storage unit 103 satisfies a predetermined surplus condition.
  • Steps C101 to C102 are the same as those in steps A301 to A302 in the steady state described with reference to FIG.
  • the analysis rule control unit 114 of the control device 11 obtains the usage status of the analysis state storage unit 103 of the analysis device 10.
  • the analysis state monitoring unit 111 of the control device 11 determines whether or not the usage status of the analysis state storage unit 103 satisfies a predetermined surplus condition (step C103).
  • the predetermined surplus condition may be that the free storage capacity as the usage status exceeds a threshold value set as the surplus condition.
  • the determination as to whether or not the usage state of the analysis state storage unit 103 satisfies a predetermined surplus condition is made after it is determined that the usage state of the analysis state storage unit 103 does not satisfy the predetermined depletion condition described above. Also good.
  • the analysis rule control unit 114 sets a target of validation from the set of analysis rules invalidated in the analysis rule storage unit 102 based on the height of the evaluation result stored in the evaluation result storage unit 112. An analysis rule is determined (step C104).
  • the analysis rule control unit 114 transmits to the analysis apparatus 10 a combination of information indicating an instruction for validation and an analysis rule ID that uniquely identifies the analysis rule to be validated (step) C105).
  • the analysis rule storage unit 102 validates the analysis rule of the received analysis rule ID (step). C106).
  • the analysis execution unit 101 After the execution of step C106, the analysis execution unit 101 starts analysis based on the analysis rule of the activated analysis rule ID.
  • steps A201 to A203 that subsequently performs an analysis that needs to refer to the analysis state and does not output the analysis result is performed.
  • the operations in steps A201 to A203 are the same as those in FIG.
  • steps A301 to A303 for monitoring the usage state of the analysis state storage unit 103 are performed at a predetermined timing.
  • the operations in steps A301 to A303 are the same as those in FIG.
  • the analysis rule control unit 114 does not control the analysis rule.
  • steps A401 to A408 it is possible to continue the operations of steps A401 to A408 for executing an analysis that needs to refer to the analysis state and outputting the analysis result.
  • the operations in steps A401 to A408 are the same as those in FIG.
  • steps C101 to C106 are executed in the order described above
  • steps A201 to A203 are executed in the order described above
  • steps A301 to A303 are executed in the order described above
  • steps A401 to A408 are executed in this order.
  • the execution order other than the above between the steps shown in FIG. 8 is not limited to the order shown.
  • the evaluation result management unit 113 acquires the evaluation result from the evaluation device 7 (step S11).
  • the evaluation result management unit 113 stores the acquired evaluation result in the evaluation result storage unit 112 (step S12).
  • control device 11 ends the operation of acquiring the evaluation result.
  • the analysis state monitoring unit 111 transmits information for confirming the use state of the analysis state storage unit 103 to the analysis apparatus 10 (step S21).
  • the analysis state monitoring unit 111 receives information representing the usage status of the analysis state storage unit 103 from the analysis device 10 (step S22).
  • the analysis rule control unit 114 determines whether or not the usage status of the analysis state storage unit 103 satisfies a predetermined depletion condition (step S23).
  • the predetermined depletion condition may be that the free capacity as the usage state falls below a predetermined threshold.
  • the analysis rule control unit 114 selects an analysis rule to be invalidated based on the low evaluation result stored in the evaluation result storage unit 112 (step S24).
  • the analysis rule control unit 114 transmits a set of information for instructing invalidation and an analysis rule ID for uniquely specifying the analysis rule to be invalidated to the analysis apparatus 10 (step S25). . And the control apparatus 11 complete
  • the analysis rule control unit 114 determines whether or not the usage status of the analysis state storage unit 103 satisfies a predetermined surplus condition (step S26).
  • the predetermined surplus condition may be that the free storage capacity as the usage state exceeds a threshold value set as the surplus condition.
  • the threshold value set as the surplus condition may be the same as the threshold value set as the depletion condition. In this case, the execution of step S26 can be omitted.
  • the threshold value set as the surplus condition may be a different threshold value that exceeds the threshold value set as the depletion condition.
  • the analysis rule control unit 114 selects the validation target from the analysis rules invalidated in the analysis rule storage unit 102 based on the height of the evaluation result stored in the evaluation result storage unit 112. The analysis rule to be selected is selected (step S27).
  • the analysis rule control unit 114 transmits a set of information instructing the validation and an analysis rule ID that uniquely identifies the analysis rule to be validated to the analysis device 10 (step S28). . And the control apparatus 11 complete
  • control device 11 ends the process.
  • the operation shown in FIG. 10 corresponds to each of steps A301 to A303, B101 to B105, B303, C101 to C105, and C303 in FIGS. 6, 7, and 8. Further, the operation shown in FIG. 10 is executed at predetermined timings as described with reference to FIGS. 6, 7, and 8. The execution at every predetermined timing may be periodic execution or repetitive execution based on some rule or schedule.
  • the analysis execution unit 101 receives a log from the group of sensors 5 (step S31).
  • the analysis execution unit 101 reads one analysis rule from the analysis rule storage unit 102 (step S32).
  • the analysis execution unit 101 determines whether or not this analysis rule is valid (step S33).
  • the analysis execution unit 101 reads analysis state information necessary for execution of the analysis from the analysis state storage unit 103 (step S34). .
  • analysis state information associated with the corresponding analysis rule ID is read.
  • the analysis execution unit 101 executes analysis (step S35).
  • Step S36 when the analysis execution unit 101 detects a log used for the analysis being performed or other analysis in the execution of the analysis, the analysis state storage unit 103 uses the information regarding the log as analysis state information.
  • the analysis execution unit 101 determines whether or not the analysis rule with this analysis rule ID is satisfied (step S37).
  • the analysis state information read in step S34 and the analysis state information saved in step S36 are referred to.
  • the analysis execution unit 101 outputs the analysis result to the evaluation device 7 (Step S38).
  • step S33 when it is determined in step S33 that the analysis rule is not valid (No in step S33), the analysis execution unit 101 determines whether there is an unexecuted analysis rule to be executed on the received log. The determination is executed (step S39).
  • step S37 If it is determined in step S37 that the analysis rule is not satisfied (No in step S37), the analysis executing unit 101 executes step S39.
  • Step S38 after outputting the analysis result, the analysis execution unit 101 executes Step S39.
  • step S39 If it is determined in step S39 that there is an unexecuted analysis rule to be executed on the received log (Yes in step S39), the analysis execution unit 101 repeatedly executes steps S32 to S39.
  • the analysis apparatus 10 reads a different analysis rule that has not been executed each time step S32 is executed.
  • the analysis apparatus 10 ends the process.
  • step S41 information for confirming usage status
  • step S42 information indicating the usage status of the analysis state storage unit 103
  • the analysis device 10 transmits information representing the usage status to the control device 11 (step S43), and the process is terminated.
  • the analysis apparatus 10 receives information for instructing invalidation of an analysis rule (“information for instructing invalidation” in step S41).
  • the analysis rule management unit 104 searches the analysis rule storage unit 102 for the analysis rule ID received together with the information for instructing invalidation (step S52).
  • the analysis rule management unit 104 invalidates the analysis rule of the searched analysis rule ID (step S53).
  • the analysis rule management unit 104 determines whether or not analysis state information associated with the invalidated analysis rule ID is stored in the analysis state storage unit 103 (step S54).
  • step S54 If it is determined that the analysis state information associated with the invalidated analysis rule ID is stored (Yes in step S54), the analysis rule management unit 104 discards the analysis state (step S55). The process is terminated.
  • the analysis apparatus 10 ends the process.
  • the analysis apparatus 10 receives information for instructing validation of an analysis rule (“information for instructing validation in step S41”).
  • the analysis rule management unit 104 searches the analysis rule storage unit 102 for the analysis rule ID received together with the information for instructing validation (step S62).
  • the analysis rule management unit 104 validates the analysis rule of the searched analysis rule ID (step S63).
  • the information processing system as the first exemplary embodiment of the present invention can continue the analysis more reliably in applications where it is difficult to predict the amount and content of information input as an analysis target.
  • the analysis execution unit executes the analysis rule based on the analysis rule and outputs the analysis result.
  • the analysis rule storage unit stores the analysis rule including information indicating effectiveness.
  • the analysis rule management unit manages the analysis rules in the analysis rule storage unit.
  • the analysis state storage unit stores analysis state information generated or referred to when the analysis is executed by the analysis execution unit.
  • the analysis state monitoring unit monitors the usage status of the analysis state storage unit.
  • the evaluation result management unit acquires the evaluation result of the analysis result, stores it in the evaluation result storage unit, and manages it.
  • the analysis rule control unit selects an analysis rule based on the low evaluation result when the usage status of the analysis state storage unit of the analyzer satisfies a predetermined depletion condition. Then, the analysis rule control unit controls the analysis rule via the analysis rule management unit of the analysis device so as to invalidate the selected analysis rule, thereby controlling the execution of the analysis based on the analysis rule. Because it does. In addition, the analysis rule control unit, based on the height of the evaluation result, among the analysis rules related to the analysis that has been stopped when the usage state of the analysis state storage unit satisfies a predetermined surplus condition Select. Then, the analysis rule control unit controls the execution of the analysis based on the analysis rule by controlling the analysis rule via the analysis rule management unit of the analyzer so as to validate the selected analysis rule. is there.
  • the present embodiment suppresses storage of analysis state information for an analysis rule having a low effect (high false positive rate) obtained by analysis, and consequently, an analysis state storage for storing analysis state information.
  • the storage of analysis state information that exceeds the capacity of the part is suppressed.
  • the analysis state information necessary for the analysis cannot be stored due to the limitation of the analysis state storage unit that stores the analysis state information. Can be avoided.
  • FIG. 13 is a functional block diagram showing the configuration of the information processing system 2 according to the second embodiment of this invention.
  • the information processing system 2 includes an analysis device 10, an analysis device 20, and a control device 21. Further, the analyzer 10 and the analyzer 20 are each connected to a control device 21. Moreover, the analyzer 10 and the analyzer 20 are connected so as to be communicable with the sensor 6 and the evaluation apparatus 8, respectively.
  • the control device 21 is connected to the evaluation device 8 so as to be communicable. Further, the evaluation device 8 is connected to the notification destination device 9 so as to be communicable.
  • FIG. 13 is a functional block diagram showing the configuration of the information processing system 2 according to the second embodiment of this invention.
  • the information processing system 2 includes an analysis device 10, an analysis device 20, and a control device 21. Further, the analyzer 10 and the analyzer 20 are each connected to a control device 21. Moreover, the analyzer 10 and the analyzer 20 are connected so as to be communicable with the sensor 6 and the evaluation apparatus 8, respectively.
  • the analysis device 10, the analysis device 20, and the control device 21 are shown one by one, but the number of devices included in the information processing system 2 is not limited.
  • the number of devices included in the information processing system 2 is not limited.
  • three sensors 6, one evaluation device 8 and one notification destination device 9 are shown, but the number of devices connected to the information processing system 2 is not limited.
  • the difference from the first embodiment will be mainly described.
  • the analysis apparatus 10 can be applied to an analysis apparatus (for example, a real-time processing type analysis apparatus) that has a smaller analysis delay and lower resource utilization efficiency for analysis than an analysis apparatus 20 described later. .
  • an analysis apparatus for example, a real-time processing type analysis apparatus
  • the analysis device 20 is different from the analysis device 10 in that it includes an analysis execution unit 201 instead of the analysis execution unit 101 and an analysis rule storage unit 202 instead of the analysis rule storage unit 102.
  • the analysis apparatus 20 is different from the analysis apparatus 10 in that a log storage unit 205 is provided instead of the analysis state storage unit 103.
  • an analysis apparatus for example, a batch processing type analysis apparatus
  • the analyzer 20 corresponds to an embodiment of another analyzer according to the present invention.
  • the analysis device 20 can be configured by hardware elements similar to those of the analysis device 10 according to the first embodiment of the present invention described with reference to FIG.
  • the log storage unit 205 is configured by the memory 1002.
  • the hardware configuration of the analyzer 20 and each functional block thereof is not limited to the above-described configuration.
  • the analysis execution unit 201 is configured in substantially the same manner as the analysis execution unit 101 described in the first embodiment of the present invention, except for the following points. That is, the analysis execution unit 101 performs analysis based on the analysis rule every time data to be analyzed is received. On the other hand, when the analysis execution unit 201 receives the data to be analyzed, the analysis execution unit 201 stores it in the log storage unit 205, and then executes analysis on the stored data. Note that the data received by the analysis execution unit 201 from the sensor 6 is the same as the data received by the analysis execution unit 101 of the analysis apparatus 10 from the sensor 6. That is, the sensor 6 transmits the same log to the analysis device 10 and the analysis device 20, respectively.
  • the analysis rule storage unit 202 is configured in substantially the same manner as the analysis rule storage unit 102 of the analysis apparatus 10 described in the first embodiment of the present invention. However, the analysis rule storage unit 202 is different in that the analysis rule that is valid in the analysis rule storage unit 102 is stored as an invalid analysis rule in the initial state.
  • FIG. 14 is a diagram illustrating an example of information stored in the analysis rule storage unit 202. The difference from the example of information stored in the analysis rule storage unit 102 shown in FIG. 3 is that information indicating that each entry in the table is invalid is included. An invalid analysis rule in the analysis rule storage unit 202 represents that the analysis rule storage unit 202 is not an object to be executed by the analysis execution unit 201.
  • the log storage unit 205 stores the data received by the analysis execution unit 201.
  • the data stored in the log storage unit 205 is referred to when the analysis execution unit 201 performs the analysis.
  • FIG. 15 is a diagram illustrating an example of information stored in the log storage unit 205.
  • FIG. 15 shows a table for storing entries representing received data. Each entry includes information representing a reception time, a customer ID (Customer ID), a signature ID (Signature ID), a source IP address (Source IP IP Address), and a destination IP address (Destination IP IP Address). For example, the entry at the top of FIG.
  • the analysis execution unit 201 can determine whether or not all conditions of the analysis rule are satisfied by referring to the entry included in the table when executing the analysis based on the analysis rule. .
  • control device 21 and its functional blocks will be described.
  • the control device 21 is different from the control device 11 according to the first embodiment of the present invention in that the evaluation result storage unit 112 is replaced with the evaluation result storage unit 112, and the analysis rule control unit 214 is replaced with the analysis rule control unit 114. Is different.
  • control device 21 and each functional block thereof can be configured by hardware elements similar to those of the control device 11 in the first embodiment of the present invention described with reference to FIG.
  • the hardware configuration of the control device 21 and each functional block thereof is not limited to the above-described configuration.
  • the evaluation result storage unit 212 stores the evaluation results for the analysis results output from the analysis execution unit 101 of the analysis apparatus 10 and the analysis execution unit 201 of the analysis apparatus 20.
  • FIG. 16 is a diagram illustrating an example of information stored in the evaluation result storage unit 212.
  • a table is shown that stores entries each including information representing an evaluation completion time, an analysis device ID, an analysis rule ID, and an evaluation result.
  • the evaluation completion time represents the time when the evaluation result is generated or acquired by the evaluation device 8.
  • the analysis device ID is an ID that uniquely identifies the analysis device that is the output source of the analysis result to be evaluated. In this example, it is assumed that the ID of the analyzer 10 is “A” and the ID of the analyzer 20 is “B”.
  • the analysis rule ID is an ID that uniquely identifies the analysis rule applied when the analysis result to be evaluated is output.
  • the evaluation result is information generated or acquired by the evaluation device 8 and represents, for example, the likelihood of the analysis result.
  • the evaluation result storage unit 212 can store one or more entries including the evaluation results for the analysis results output from the analysis execution unit 101 of the analysis device 10 or the analysis execution unit 201 of the analysis device 20.
  • the analysis rule control unit 214 is configured in substantially the same manner as the analysis rule control unit 114 described in the first embodiment of the present invention, except for the following points. That is, the analysis rule control unit 214 controls the analysis rules stored in the analysis rule storage unit 202 of the analysis device 20 in addition to controlling the analysis rules stored in the analysis rule storage unit 102 of the analysis device 10. . Control of the analysis rules stored in the analysis rule storage unit 202 is performed via the analysis rule management unit 104. Specifically, when the analysis rule control unit 214 controls the analysis apparatus 10 not to perform analysis based on a certain analysis rule, the analysis rule of the analysis apparatus 20 is configured to cause the analysis apparatus 20 to perform analysis based on the analysis rule. The analysis rules stored in the storage unit 202 are controlled.
  • the analyzer 10 the storage of the analysis state information that exceeds the capacity of the analysis state storage unit 103 is suppressed, and the true positive rate is relatively high compared to the invalidated analysis rule (obtained by analysis). The same is true in that the execution of analysis rules can be continued.
  • the sensor 6 is configured in substantially the same manner as the sensor 5 in the first embodiment of the present invention. However, the sensor 6 is different from the sensor 5 in that it is connected to the analysis execution unit 201 of the analysis apparatus 20 in addition to being connected to the analysis execution unit 101 of the analysis apparatus 10. The sensor 6 is different in that the generated data is further transmitted to the analysis execution unit 201 of the analysis apparatus 20 in addition to transmitting the generated data to the analysis execution unit 101 of the analysis apparatus 10.
  • the evaluation device 8 is configured in substantially the same manner as the evaluation device 7 in the first embodiment of the present invention. However, in addition to the analysis result output from the analysis execution unit 101 of the analysis device 10 to the evaluation device 7, the evaluation device 8 also applies to the analysis result output from the analysis execution unit 201 of the analysis device 20 The difference is that an evaluation result is generated or acquired.
  • the analysis device 10, the analysis device 20, and the control device 21 are illustrated as different devices. Not limited to this, some or all of these devices may be configured as an integrated device. Further, an apparatus in which some or all of these apparatuses are integrated may include the evaluation apparatus 8.
  • the group of sensors 6 transmits a log to the analysis device 10 and the analysis device 20.
  • the operation of the analyzer 10 that has received the log and the subsequent operations of the evaluation device 8 and the control device 21 are the same as those in the first embodiment described with reference to FIG. Omitted.
  • the analysis execution unit 201 stores the received log in the log storage unit 205. Further, the analysis execution unit 201 determines whether or not there is an analysis to be performed on the saved log (step A501). Details of the determination process will be described later. Here, it is assumed that there was no analysis to be performed. Therefore, the analysis execution unit 201 ends the process without executing the analysis. In addition, since the operation
  • steps B501 to B509 represent operations for controlling the analysis rules when the usage status of the analysis state storage unit 103 satisfies a predetermined depletion condition.
  • the control device 21 and the analysis device 10 execute Steps B501 to B503.
  • the operations in steps B501 to B503 are the same as those in steps B301 to B303 in the first embodiment of the present invention described with reference to FIG.
  • the analysis rule control unit 214 of the control device 21 obtains a determination result as to whether or not the usage status of the analysis state storage unit 103 of the analysis device 10 satisfies a predetermined depletion condition.
  • a predetermined depletion condition it is assumed that the usage state satisfies a predetermined depletion condition.
  • the analysis rule control unit 214 determines an analysis rule to be controlled based on the low evaluation result stored in the evaluation result storage unit 212 (step B504).
  • the analysis rule to be controlled is a target for invalidation in the analysis device 10 and a target for validation in the analysis device 20.
  • the analysis rule control unit 214 transmits information representing an invalidation instruction and an analysis rule ID that uniquely identifies the analysis rule to be controlled as a set to the analysis apparatus 10 (step B505). ).
  • the analysis rule control unit 214 transmits to the analysis apparatus 20 a combination of information indicating an instruction for validation and an analysis rule ID that uniquely identifies the analysis rule to be controlled (step B506).
  • Steps B507 to B508 executes Steps B507 to B508.
  • the operations of Steps B507 to B508 are the same as Steps B106 to B107 of the first embodiment of the present invention described with reference to FIG. Thereby, the analysis apparatus 10 can avoid the exhaustion of the free storage capacity of the analysis state storage unit 103, and can continue the execution of the analysis.
  • the analysis rule storage unit 202 validates the analysis rule of the received analysis rule ID (step). B509).
  • the analysis apparatus 10 that has received the log executes an analysis based on the analysis rule.
  • the analysis apparatus 10 performs the operations of steps A201 to A203 that perform an analysis that needs to refer to the analysis state and do not output the analysis result.
  • the operations in steps A201 to A203 are the same as those in FIG.
  • the analysis device 20 that has received the log stores the received data in the log storage unit 205 (step B601).
  • the analysis apparatus 20 determines whether there is an analysis rule to be executed.
  • at least the analysis rule validated in step B509 exists as an analysis rule to be executed.
  • the analysis execution unit 201 reads the saved log (step B602) and executes the analysis (step B603).
  • the analysis execution unit 201 ends the process without outputting the analysis result.
  • the analysis apparatus 10 performs the operations of steps A201 to A203 that perform the analysis that needs to refer to the analysis state on the received log and do not output the analysis result.
  • the operations in steps A201 to A203 are the same as those in FIG.
  • the analysis apparatus 20 performs an operation that needs to refer to the analysis state on the received log and outputs an analysis result.
  • the analysis execution unit 201 of the analysis apparatus 20 receives a log from the group of sensors 6, the analysis execution unit 201 executes Steps B701 to B703. Since the operations of Steps B701 to B703 are the same as those of Steps B601 to B603 described above, description thereof will be omitted. As a result, the received data is stored in the log storage unit 205, and analysis is executed based on the stored log.
  • the analysis execution unit 201 notifies the evaluation device 8 of the analysis result (step B704).
  • Steps B705 to B708 The operations in steps B705 to B708 are the same as those in steps A405 to A408 in the operation of the first embodiment of the present invention described with reference to FIG. Thereby, the evaluation result with respect to the analysis result output in step B704 is stored in the evaluation result storage unit 212.
  • steps C501 to C508 represent operations for controlling analysis rules when the usage status of the analysis state storage unit 103 satisfies a predetermined surplus condition.
  • the control device 21 and the analysis device 10 execute Steps C501 to C503.
  • the operations in steps C501 to C503 are the same as those in steps C101 to C103 described with reference to FIG.
  • the analysis rule control unit 214 of the control device 21 obtains a determination result as to whether or not the usage status of the analysis state storage unit 103 of the analysis device 10 satisfies a predetermined surplus condition.
  • the usage state satisfies a predetermined surplus condition.
  • the analysis rule control unit 214 determines an analysis rule to be controlled based on the height of the evaluation result stored in the evaluation result storage unit 212 (step C504).
  • the analysis rule to be controlled is a validation target in the analysis apparatus 10 and a invalidation target in the analysis apparatus 20.
  • the analysis rule control unit 214 transmits to the analysis apparatus 10 a combination of information indicating an instruction for validation and an analysis rule ID that uniquely identifies the analysis rule to be controlled (step C505). ).
  • the analysis rule control unit 214 transmits to the analysis apparatus 20 a combination of information indicating an invalidation instruction and an analysis rule ID that uniquely identifies the analysis rule to be controlled (step C506).
  • step C507 the analysis apparatus 10 that has received the information indicating the activation instruction executes Step C507.
  • the operation of step C507 is the same as that of step C106 of the first embodiment of the present invention described with reference to FIG. Thereby, the analysis execution unit 101 starts analysis based on the analysis rule of the activated analysis rule ID.
  • the analysis rule management unit 104 of the analysis device 20 receives the information indicating the invalidation instruction and the analysis rule ID
  • the analysis rule storage unit 202 invalidates the analysis rule of the received analysis rule ID (step). C508).
  • the analysis apparatus 20 stops the analysis based on the analysis rule that has been executed by the analysis execution unit 201 instead of the analysis execution unit 101.
  • step A502 or step A503 executes step A502 or step A503 and saves the log.
  • the operations in steps A502 and A503 are the same as the operation of the analyzer 20 described with reference to FIG.
  • the operations of the analysis device 20, the evaluation device 8, and the control device 21 when the log is received thereafter are the same as the steady-state operations in the first embodiment of the present invention described with reference to FIG. Therefore, the description is omitted.
  • control device 21 acquires the evaluation result.
  • the operation in which the control device 21 acquires the evaluation result is the same as that in the first embodiment of the present invention described with reference to FIG.
  • the analysis state monitoring unit 111 of the control device 21 operates in the same manner as in the first embodiment of the present invention from step S21 to S23, and the usage status of the analysis state storage unit 103 is predetermined. It is determined whether or not the depletion condition is satisfied.
  • the analysis rule control unit 214 selects an analysis rule to be controlled based on the low evaluation result stored in the evaluation result storage unit 212 (step S71).
  • the analysis rule control unit 214 transmits information for instructing invalidation and an analysis rule ID for uniquely specifying an analysis rule to be controlled to the analysis apparatus 10 (step S72).
  • analysis rule control unit 214 transmits to the analysis device 20 information for instructing validation and an analysis rule ID for uniquely specifying the analysis rule to be controlled (step S73).
  • step S74 determines whether or not the usage status of the analysis state storage unit 103 satisfies the surplus condition. As described in the first embodiment of the present invention, when the threshold value set as the surplus condition is the same as the threshold value set as the depletion condition, execution of step S74 can be omitted.
  • the analysis rule control unit 214 sets a control target from among the analysis rules invalidated in the analysis rule storage unit 102 based on the height of the evaluation result stored in the evaluation result storage unit 212. An analysis rule is selected (step S75).
  • the analysis rule control unit 214 transmits information for instructing activation and an analysis rule ID for uniquely specifying the analysis rule selected as a control target to the analysis apparatus 10 (step S76).
  • the analysis rule control unit 214 transmits to the analysis apparatus 20 information for instructing invalidation and an analysis rule ID for uniquely specifying the analysis rule selected as a control target (step S77).
  • the operation shown in FIG. 20 corresponds to each of steps A301 to A303, B501 to B506, and C501 to C506 in FIG. 17, FIG. 18, and FIG. Further, the operation shown in FIG. 20 is executed at predetermined timings as described with reference to FIGS. 17, 18, and 19.
  • the execution at every predetermined timing may be periodic execution or repetitive execution based on some rule or schedule.
  • FIG. 21 shows details of the operation of the analysis apparatus 20 for executing the analysis.
  • the operation in which the analysis apparatus 20 performs analysis is different from the operation in which the analysis apparatus 10 described with reference to FIG.
  • step S81 is executed to store the received log in the log storage unit 205 before reading the analysis rule in step S32. is there.
  • step S32 Another difference is that, when it is determined that the analysis rule read in step S32 is valid in step S33, the saved log is saved from the log saving unit 205 instead of step S34 for reading the analysis state information.
  • the reading step S82 is executed.
  • step S36 for saving the analysis state information is not executed after the analysis based on the analysis rule is executed in step S35.
  • the operation in which the analysis device 20 performs the analysis is the same as the operation in which the analysis device 10 performs the analysis.
  • the operation performed by the analysis device 20 based on an instruction from the control device 21 is the same as the operation performed by the analysis device 10 described with reference to FIG. 12 based on an instruction from the control device 21.
  • the difference is that information for confirming the usage status of the analysis state storage unit 103 is not received.
  • step S41 when the information for instructing invalidation is received (“information for instructing invalidation” in step S41), the analysis rule of the analysis rule ID to be controlled is invalidated, and the related analysis state information is displayed. The difference is that the discarding steps S54 to S55 are not executed.
  • step S41 the operation when the information instructing the activation is received (“information instructing the activation” in step S41) is the same as the operation when the analysis apparatus 10 receives the information instructing the activation.
  • the information processing system performs analysis without stopping execution of part of the analysis in an application in which it is difficult to predict the amount or content of information input as an analysis target. Can be continued without fail.
  • the information processing system has other analysis devices including at least an analysis execution unit, an analysis rule storage unit, and an analysis rule management unit in addition to the same configuration as that of the first embodiment of the present invention. is doing.
  • the analysis rule storage unit of another analysis device stores the same analysis rule as that of the analysis rule storage unit of the analysis device in association with invalidity in the initial state. Then, when the analysis rule control unit of the control device controls the analysis device based on the analysis rule not to execute the analysis based on the analysis state information, the control based on the analysis rule is controlled to be executed by another analysis device. Because it does. Specifically, the analysis rule control unit invalidates the validity of the analysis rule selected based on the low evaluation result in the analysis device when the analysis state storage unit of the analysis device satisfies a predetermined depletion condition. Enable in other analyzers.
  • the analysis rule control unit based on the height of the evaluation result among the analysis rules invalidated in the analysis rule storage unit of the analyzer when the analysis state storage unit of the analyzer satisfies a predetermined surplus condition Select the analysis rule to be controlled. This is because the analysis rule control unit validates the validity of the selected analysis rule of the control target in the analysis device having the analysis state storage unit and invalidates it in the other analysis devices.
  • the present embodiment it is possible to continue the analysis without stopping the execution of the analysis related to the analysis rule having a low evaluation result and without depleting the use state of the analysis state storage unit.
  • the present embodiment when the amount or content of information to be analyzed changes, it becomes impossible to store the required analysis state information due to the limitation of the analysis state storage unit that stores the analysis state information. The problem that the execution of the analysis cannot be continued can be avoided.
  • FIG. 23 shows a configuration of an information processing system 3 as a third embodiment of the present invention.
  • the information processing system 3 that is the minimum configuration of the present invention includes an analysis device 30 and a control device 31.
  • the analysis device 30 and the control device 31 are connected to be communicable.
  • the analysis device 30 includes an analysis execution unit 301, an analysis rule storage unit 302, an analysis state storage unit 303, and an analysis rule management unit 304.
  • control device 31 includes an analysis state monitoring unit 311, an evaluation result storage unit 312, an evaluation result management unit 313, and an analysis rule control unit 314.
  • each functional block of the analysis device 30 and the control device 31 can be configured by hardware elements similar to those of the first embodiment of the present invention shown in FIG.
  • the hardware configuration of the analysis device 30, the control device 31, and each functional block thereof is not limited to the above-described configuration.
  • the analysis execution unit 301 performs analysis on data input as an analysis target based on an analysis rule and outputs an analysis result.
  • the analysis rule storage unit 302 stores the analysis rule.
  • the analysis state storage unit 303 stores analysis state information representing an analysis state generated or referred to by the analysis execution unit 301 when the analysis is executed.
  • the analysis rule management unit 304 manages analysis rules.
  • the analysis state monitoring unit 311 monitors the usage status of the analysis state storage unit 303.
  • the evaluation result management unit 313 acquires and manages the evaluation result for the analysis result.
  • Evaluation result storage unit 312 stores evaluation results.
  • the analysis rule control unit 314 controls the analysis rule via the analysis rule management unit 304 based on the usage state and the evaluation result of the analysis state storage unit 303.
  • the control of the analysis rule may be, for example, changing the content of the analysis rule so that the amount or content of the analysis state information newly generated in the analysis by the analysis execution unit 301 is adjusted. .
  • the analysis device 30 and the control device 31 are illustrated as different devices. However, the present invention is not limited thereto, and these devices may be configured as an integrated device.
  • FIG. 24 shows the operation of the analysis apparatus 30 for executing the analysis.
  • the analysis execution unit 301 acquires data to be analyzed (step S1001).
  • the analysis execution unit 301 reads one analysis rule from the analysis rule storage unit 302 (step S1002).
  • the analysis execution unit 301 reads analysis state information necessary for execution of the analysis from the analysis state storage unit 303 (step S1003).
  • the analysis execution unit 301 executes an analysis based on this analysis rule while referring to the read analysis state information (step S1004).
  • the analysis execution unit 301 detects analysis state information that can be used for the analysis being performed or other analysis in the execution of the analysis, the analysis execution unit 301 stores the analysis state information in the analysis state storage unit 303 (step S1005). ).
  • step S1006 the analysis execution unit 301 outputs an analysis result as necessary based on this analysis rule. If it is not necessary to output the analysis result based on the analysis rule, the operation in step S1006 is omitted.
  • step S1002 If it is determined that analysis is not required based on the analysis rule read in step S1002, the operations in steps S1003 to S1006 are omitted.
  • the analysis execution unit 301 determines whether or not there is an unexecuted analysis rule for the analysis target data (step S1007).
  • step S1007 if there is an unexecuted analysis rule for the data to be analyzed (Yes in step S1007), the analysis execution unit 301 repeatedly executes steps S1002 to S1007.
  • step S1007 if there is no unexecuted analysis rule for the data to be analyzed (No in step S1007), the analysis device 30 ends the process.
  • control device 31 acquires the evaluation result.
  • the operation in which the control device 31 acquires the evaluation result is the same as that in the first embodiment of the present invention described with reference to FIG.
  • the analysis state monitoring unit 311 transmits information for confirming the use state of the analysis state storage unit 303 to the analysis device 30 (step S3001).
  • the analysis state monitoring unit 311 receives information indicating the usage status of the analysis state storage unit 303 (step S3002).
  • the analysis rule control unit 314 determines whether or not the analysis rule needs to be controlled based on the usage status of the analysis state storage unit 303 (step S3003).
  • the analysis rule control unit 314 analyzes the information for controlling the analysis rule based on the usage state of the analysis state storage unit 303 and the evaluation result of the evaluation result storage unit 312. It transmits with respect to the apparatus 30 (step S3004).
  • the information for controlling the analysis rule may be content instructing to change the analysis rule so that the amount or content of the analysis state information newly generated in the analysis by the analysis execution unit 301 is adjusted. .
  • step S3003 if it is determined in step S3003 that control of the analysis rule is not necessary, the control device 31 ends the process.
  • the operation shown in FIG. 25 is executed at predetermined timings.
  • the execution at every predetermined timing may be periodic execution or repetitive execution based on some rule or schedule.
  • step S4002 the case where the analysis apparatus 30 receives information for confirming the usage state of the analysis state storage unit 303 will be described (“information for confirming the usage state” in step S4001).
  • the analysis device 30 acquires information indicating the usage status of the analysis state storage unit 303 (step S4002).
  • the analysis device 30 transmits information representing the usage status to the control device 31 (step S4003), and ends the process.
  • the analysis apparatus 30 receives information for controlling the analysis rule (“information for controlling the analysis rule” in step S4001).
  • the information for controlling the analysis rule includes information for specifying the analysis rule to be controlled and the content of the control.
  • the analysis rule management unit 304 changes the analysis rule to be controlled in the analysis rule storage unit 302 according to the control content (step S4004).
  • the information processing system can continue the analysis more reliably in applications where it is difficult to predict the amount and content of information input as an analysis target.
  • the analysis execution unit executes the analysis rule based on the analysis rule and outputs the analysis result.
  • the analysis rule storage unit stores the analysis rule.
  • the analysis rule management unit manages the analysis rules in the analysis rule storage unit.
  • the analysis state storage unit stores analysis state information generated or referred to when the analysis is executed by the analysis execution unit.
  • the analysis state monitoring unit monitors the usage status of the analysis state storage unit.
  • the evaluation result management unit acquires the evaluation result for the analysis result, and saves and manages it in the evaluation result storage unit. This is because the analysis rule control unit controls the analysis rule via the analysis rule management unit based on the usage status of the analysis state storage unit and the evaluation result of the evaluation result storage unit.
  • the analysis rule is changed to a content that adjusts the amount and content of analysis state information newly generated in the analysis by the analysis execution unit.
  • the analysis rule is controlled as necessary based on the usage state of the analysis state storage unit in the analysis execution apparatus and the evaluation result for the analysis result.
  • this Embodiment adjusts the quantity and content of the analysis state information which are newly produced
  • the analysis state information necessary for analysis cannot be stored due to the limitation of the analysis state storage unit that stores the analysis state information. Can be avoided. And this Embodiment can continue execution of analysis reliably.
  • system configuration the configuration of each device, the sequence, and the flowchart shown in each drawing are examples for helping understanding of the present invention, and are not limited to the configuration shown in these drawings.
  • the functional blocks of the analysis apparatus may be distributed and realized in a plurality of apparatuses.
  • the functional blocks of the control device may be realized by being distributed among a plurality of devices.
  • the analysis apparatus receives the analysis target log from the sensor group.
  • the data to be analyzed in the present invention is not limited to the log output from the sensor group.
  • any data collected in real time, non-real time, online or offline can be applied.
  • the information processing system of the present invention may analyze data collected or stored in advance using a communication line or other medium prior to the start of analysis.
  • the analysis state monitoring unit of the control device acquires the available resource amount (free storage capacity) as the use state of the analysis state storage unit.
  • the analysis state monitoring unit may acquire other information related to the use state of the analysis state storage unit or a combination thereof as the use state.
  • the analysis rule control unit of the control device causes the free storage capacity to fall below (or exceed) the threshold as a predetermined depletion condition (or surplus condition).
  • a predetermined depletion condition or surplus condition
  • the analysis rule control unit may apply other conditions related to the usage status of the analysis state storage unit as the predetermined depletion condition (or surplus condition).
  • the evaluation result storage unit of the control device stores information representing true positive or false positive as the evaluation result of the analysis result.
  • the analysis rule control unit of the control device specifies an analysis rule whose false positive incidence exceeds (or does not exceed) a threshold value as an analysis rule to be invalidated (or validated).
  • the analysis rule control unit may specify the analysis rule to be invalidated (or validated) based on other criteria.
  • the evaluation result storage unit may store a numerical value indicating the probability of the analysis result for each analysis rule ID as the evaluation result of the analysis result.
  • the analysis rule control unit may specify the analysis rule to be invalidated (or validated) based on the total value of the numerical values indicating the certainty for each analysis rule ID.
  • the evaluation result storage unit may store a value based on the importance of the sensor that transmitted the log that contributed to the output of the analysis result as the evaluation result for the analysis result. The importance of such a sensor may be determined in advance.
  • the analysis rule control unit may specify the analysis rule to be invalidated (or validated) based on the total value of the numerical values based on the importance of the sensor for each analysis rule ID.
  • each functional block of the analysis device and the control device is realized by a CPU that executes a computer program stored in a memory.
  • the present invention is not limited to this, and some, all, or a combination of each functional block may be realized by dedicated hardware.
  • the operations of the analysis device and the control device described with reference to the flowcharts are stored in a storage device (storage medium) of the computer device as a computer program of the present invention. deep. Then, the computer program may be read and executed by the CPU. In such a case, the present invention is constituted by the code of the computer program or a storage medium.
  • An analysis execution unit that performs analysis on data input as an analysis target based on an analysis rule and outputs an analysis result;
  • An analysis rule storage unit for storing the analysis rule;
  • An analysis rule management unit for managing the analysis rules;
  • An analysis state storage unit that stores analysis state information representing the state of the analysis generated or referred to by the analysis execution unit;
  • An analysis state monitoring unit for monitoring the usage status of the analysis state storage unit;
  • An evaluation result management unit that acquires and manages an evaluation result for the analysis result;
  • An evaluation result storage unit for storing the evaluation result;
  • a control device having an analysis rule control unit that controls the analysis rule via the analysis rule management unit based on the usage status of the analysis state storage unit and the evaluation result;
  • An information processing system comprising: (Appendix 2)
  • the analysis execution unit executes an analysis based on the analysis rule for each analysis rule,
  • the evaluation result storage unit stores the evaluation result for each analysis rule,
  • the analysis rule control unit controls the analysis rule selected
  • the information processing system according to appendix 1, wherein whether or not to execute the control is controlled.
  • the analysis state monitoring unit acquires the amount of available resources as the usage state of the analysis state storage unit,
  • the analysis rule control unit controls the analysis rule selected based on the low evaluation result when the amount of available resources satisfies a predetermined depletion condition, thereby performing the analysis based on the analysis rule.
  • the information processing system according to appendix 3 wherein the analysis rule control unit deletes analysis state information related to an analysis rule of analysis controlled to stop the execution from the analysis state storage unit.
  • the analysis rule control unit selects the analysis rule selected based on the height of the evaluation result from the analysis rules of the analysis that are stopped when the available resource amount satisfies a predetermined surplus condition.
  • the information processing system according to appendix 3 or appendix 4, wherein the execution based on the analysis rule is controlled so that execution by the analysis execution unit is started.
  • the analysis rule control unit executes the analysis based on the analysis rule to the analysis execution unit of the other analysis device when controlling the analysis execution unit of the analysis device not to execute the analysis based on the analysis rule.
  • Processing system. (Appendix 8) The analyzer in the information processing system according to any one of appendix 1 to appendix 7. (Appendix 9) The control device in the information processing system according to any one of appendix 1 to appendix 7.
  • An analysis execution unit that performs analysis on data input as an analysis target based on an analysis rule and outputs an analysis result
  • an analysis rule storage unit that stores the analysis rule
  • an analysis rule management unit that manages the analysis rule
  • an analysis state storage unit that stores analysis state information representing the state of the analysis generated or referred to by the analysis execution unit.
  • Computer equipment Monitor the usage status of the analysis state storage unit, Obtain and manage evaluation results for the analysis results, A method of controlling the analysis rule via the analysis rule management unit based on the usage status of the analysis state storage unit and the evaluation result.
  • An analysis execution unit that performs analysis on data input as an analysis target based on an analysis rule and outputs an analysis result, an analysis rule storage unit that stores the analysis rule, and an analysis rule management unit that manages the analysis rule And an analysis state storage unit that stores analysis state information representing the state of the analysis generated or referred to by the analysis execution unit.
  • An analysis state monitoring step for monitoring the usage state of the analysis state storage unit;
  • An evaluation result management step for acquiring and managing an evaluation result for the analysis result;
  • An evaluation result storing step for storing the evaluation result;
  • An analysis rule control step for controlling the analysis rule via the analysis rule management unit based on the usage status of the analysis state storage unit and the evaluation result; That causes a computer device to execute the program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本発明は、分析対象として入力される情報の量や内容を予測することが困難な用途において、分析の実行をより確実に継続する技術を提供する。 分析装置10において、分析実行部101は、分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する。分析規則記憶部102は、分析規則を記憶する。分析規則管理部104は、分析規則を管理する。分析状態記憶部103は、分析の実行時に生成または参照される分析状態情報を記憶する。制御装置11において、分析状態監視部111は、分析状態記憶部の使用状況を監視する。評価結果管理部113は、分析結果に対する評価結果を取得し管理する。評価結果記憶部112は、評価結果を記憶する。分析規則制御部114は、分析状態記憶部103の使用状況および評価結果に基づいて、分析規則管理部104を介して分析規則を制御する。

Description

情報処理システム、分析装置、制御装置、方法および記憶媒体
 本発明は、情報を収集し分析する技術に関する。
 情報を収集し分析する技術がある。
 例えば、特許文献1には、多様なセンサからセキュリティイベントを受信し、受信したセキュリティイベントを分析して脅威を検出する技術が開示されている。同文献によると、この関連技術は、ソフトウェアエージェントから、宛先アドレス、イベントシグネチャを含むセキュリティイベントを受信する。受信したイベントシグネチャは、セキュリティイベントが利用する脆弱性の組を特定することに利用される。また、宛先アドレスは、標的となったネットワーク内の資産を特定することに利用される。そして、この関連技術は、資産のモデル(IP(Internet Protocol)アドレス、ホスト名、脆弱性等を含む情報)を参照することにより、標的となった資産が持つ脆弱性の組を取り出す。そして、この関連技術は、セキュリティイベントが利用する脆弱性の組と、標的となった資産が持つ脆弱性の組とを比較することにより、脅威を検出する。
 また、特許文献2には、多種多様なネットワーク装置からセキュリティイベントを収集し、収集したセキュリティイベントを分析してメタイベントを生成する技術が開示されている。この関連技術は、収集したセキュリティイベントを共通の形式に正規化し、正規化されたセキュリティイベントに対し規則群を適用することによりメタイベントを生成する。同文献において、規則群を適用するルールエンジンは、規則群を適用するために、設定された一定時間、イベント情報を記憶する。
 また、特許文献3には、サーバの分散ネットワークにおいて、クライアントからのオブジェクト・リソースの需要に応じて、オブジェクト・リソースの容量を調整する技術が開示されている。同文献によると、この関連技術は、オブジェクト・リソースのサーバ上の容量を、予測される必要な容量に合わせるために、過去の需要、入力される地域、コスト要件等に基づいて動的に需要を予測し、それに応じて容量調整を行う。
 また、特許文献4には、データの分析結果に基づいて、新たな分析処理を生成する技術が記載されている。同文献によると、この関連技術は、分析結果の特徴量を算出し、特徴量が所定条件を満たす分析結果に推論ルールを適用することにより、新たな分析処理を生成する。
 また、特許文献5には、文書の内容の妥当性をチェックするルールを修正する技術が記載されている。この関連技術は、対象文書を所定のルールでチェックし、チェック結果の評価結果に基づいて、ルールを修正する。
 また、非特許文献1には、一般化された、拡張可能かつ耐障害性の高いデータ処理システムが開示されている。
米国特許第7260844号明細書 米国特許第7376969号明細書 特許第3627005号公報 特開2012-238207号公報 特開2007-172260号公報
Nathan MarzおよびJames Warren著、「Big Data: Principles and best practices of scalable realtime data systems」、(米国)、1st Edition、Manning Publications、2015年5月10日
 特許文献1および2に示されているように、情報通信システムにおけるセキュリティ脅威または侵害を検出するために、多種多様な情報処理装置や通信機器等から情報を収集し、収集した情報を事前に定義された手続きに基づき分析したいというニーズが存在する。また、非特許文献1に示されているように、セキュリティ用途に限らず、多種多様な装置から大量の情報を収集し、実時間分析を実行したいというニーズが存在する。特許文献2に示されているように、分析を実行する際には、情報処理システム内において、分析に関わる状態を表す情報を、主記憶装置や二次記憶装置等を利用して保存する必要がある。しかし、分析対象となる情報(システムに対する入力)の量や内容が変化した場合に、主記憶装置や二次記憶装置の制限により、分析に関わる状態を表す情報を保存できなくなることがある。この場合、所望の分析の実行を継続できなくなるという問題が生じる。この問題は、特に、分析対象となる情報の量や内容を予め見積もることが困難な用途では顕著である。
 また、特許文献3には、将来の需要(システムに対する入力)を予測することにより、需要を充足するようにシステムを制御することが示されているものの、需要の予測が可能であることが前提である。特許文献3には、需要の予測が困難な状況において上述の問題に対処する技術は、示唆されていない。
 また、特許文献4および5には、分析結果やその評価結果に基づいて、新たな分析を行うことが示されているものの、分析対象となる情報の量や内容を予測できない状況で、上述の問題に対処する技術は、示唆されていない。
 本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は、分析対象として入力される情報の量や内容を予測することが困難な用途において、分析の実行をより確実に継続する技術を提供することを目的とする。
 上記目的を達成するために、本発明の情報処理システムは、分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する分析実行手段と、前記分析規則を記憶する分析規則記憶手段と、前記分析規則を管理する分析規則管理手段と、前記分析実行手段によって生成または参照される前記分析の状態を表す分析状態情報を記憶する分析状態記憶手段と、を有する分析装置と、前記分析状態記憶手段の使用状況を監視する分析状態監視手段と、前記分析結果に対する評価結果を取得し管理する評価結果管理手段と、前記評価結果を記憶する評価結果記憶手段と、前記分析状態記憶手段の使用状況および前記評価結果に基づいて、前記分析規則管理手段を介して前記分析規則を制御する分析規則制御手段と、を有する制御装置と、を備える。
 また、本発明の分析装置は、上述の情報処理システムにおける分析装置として構成される。
 また、本発明の制御装置は、上述の情報処理システムにおける制御装置として構成される。
 また、本発明の方法は、分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する分析実行手段と、前記分析規則を記憶する分析規則記憶手段と、前記分析規則を管理する分析規則管理手段と、前記分析実行手段によって生成または参照される前記分析の状態を表す分析状態情報を記憶する分析状態記憶手段と、を有する分析装置に対して、コンピュータ装置が、前記分析状態記憶手段の使用状況を監視し、前記分析結果に対する評価結果を取得して管理し、前記分析状態記憶手段の使用状況および前記評価結果に基づいて、前記分析規則管理手段を介して前記分析規則を制御する。
 また、本発明の記憶媒体は、分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する分析実行手段と、前記分析規則を記憶する分析規則記憶手段と、前記分析規則を管理する分析規則管理手段と、前記分析実行手段によって生成または参照される前記分析の状態を表す分析状態情報を記憶する分析状態記憶手段と、を有する分析装置に対して、前記分析状態記憶手段の使用状況を監視する分析状態監視ステップと、前記分析結果に対する評価結果を取得し管理する評価結果管理ステップと、前記評価結果を記憶する評価結果記憶ステップと、前記分析状態記憶手段の使用状況および前記評価結果に基づいて、前記分析規則管理手段を介して前記分析規則を制御する分析規則制御ステップと、をコンピュータ装置に実行させるプログラムを記憶している。
 本発明は、分析対象として入力される情報の量や内容を予測することが困難な用途において、分析の実行をより確実に継続する技術を提供することができる。
本発明の第1の実施の形態としての情報処理システムの構成を示すブロック図である。 本発明の第1の実施の形態としての情報処理システムのハードウェア構成の一例を示す図である。 本発明の第1の実施の形態において分析規則記憶部に記憶される情報の一例を示す図である。 本発明の第1の実施の形態において分析状態記憶部に記憶される情報の一例を示す図である。 本発明の第1の実施の形態において評価結果記憶部に記憶される情報の一例を示す図である。 本発明の第1の実施の形態としての情報処理システムの定常時における動作を説明するシーケンス図である。 本発明の第1の実施の形態としての情報処理システムの資源枯渇状態における動作を説明するシーケンス図である。 本発明の第1の実施の形態としての情報処理システムの資源余剰状態における動作を説明するシーケンス図である。 本発明の第1の実施の形態における制御装置が評価結果を取得し保存する動作を説明するフローチャートである。 本発明の第1の実施の形態における制御装置が分析状態記憶部を監視する動作を説明するフローチャートである。 本発明の第1の実施の形態における分析装置が分析規則に基づく分析を実行する動作を説明するフローチャートである。 本発明の第1の実施の形態における分析装置が制御装置の指示の下に実行する動作を説明するフローチャートである。 本発明の第2の実施の形態としての情報処理システムの構成を示すブロック図である。 本発明の第2の実施の形態において分析規則記憶部に記憶される情報の一例を示す図である。 本発明の第2の実施の形態においてログ保存部に記憶される情報の一例を示す図である。 本発明の第2の実施の形態において評価結果記憶部に記憶される情報の一例を示す図である。 本発明の第2の実施の形態としての情報処理システムの定常時における動作を説明するシーケンス図である。 本発明の第2の実施の形態としての情報処理システムの資源枯渇状態における動作を説明するシーケンス図である。 本発明の第2の実施の形態としての情報処理システムの資源余剰状態における動作を説明するシーケンス図である。 本発明の第2の実施の形態における制御装置が分析状態記憶部を監視する動作を説明するフローチャートである。 本発明の第2の実施の形態における他の分析装置が分析規則に基づく分析を実行する動作を説明するフローチャートである。 本発明の第2の実施の形態における他の分析装置が制御装置の指示の下に実行する動作を説明するフローチャートである。 本発明の第3の実施の形態としての情報処理システムの構成を示すブロック図である。 本発明の第3の実施の形態における分析装置が分析規則に基づく分析を実行する動作を説明するフローチャートである。 本発明の第3の実施の形態における制御装置が分析状態記憶部を監視する動作を説明するフローチャートである。 本発明の第3の実施の形態における分析装置が制御装置の指示の下に実行する動作を説明するフローチャートである。
 以下、本発明の実施の形態を説明する。各実施の形態は例示であり、本発明は、各実施の形態に限定されるものではない。
 [第1の実施の形態]
 本発明の第1の実施の形態について図面を参照して詳細に説明する。図1は、本発明の第1の実施の形態の情報処理システム1の構成を示す機能ブロック図である。図1を参照すると、情報処理システム1は、分析装置10および制御装置11を含む。分析装置10および制御装置11は、通信可能に接続されている。また、分析装置10は、センサ5および評価装置7と通信可能に接続される。また、制御装置11は、評価装置7と通信可能に接続される。また、評価装置7は、通知先装置9と通信可能に接続される。なお、図1において、分析装置10および制御装置11を1つずつ示したが、情報処理システム1に含まれる各装置の数は、限定されない。また、図1において、3つのセンサ5と、1つずつの評価装置7および通知先装置9とを示したが、情報処理システム1に接続される各装置の数は、限定されない。
 分析装置10は、分析実行部101と、分析規則記憶部102と、分析状態記憶部103と、分析規則管理部104とを有する。また、制御装置11は、分析状態監視部111と、評価結果記憶部112と、評価結果管理部113と、分析規則制御部114とを有する。
 ここで、情報処理システム1を構成する各装置は、図2に示すようなハードウェア要素によって構成可能である。図2において、分析装置10は、CPU(Central Processing Unit)1001、メモリ1002、および、ネットワークインタフェース1005を含む。また、制御装置11は、CPU1101、メモリ1102、および、ネットワークインタフェース1105を含む。メモリ1002および1102は、それぞれ、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)等によって構成される。ネットワークインタフェース1005および1105は、それぞれ、ネットワークに接続するインタフェースである。
 この場合、分析装置10の分析実行部101および分析規則管理部104は、ネットワークインタフェース1005と、メモリ1002に格納されるコンピュータ・プログラムを読み込んで実行するCPU1001とによって構成される。また、分析規則記憶部102および分析状態記憶部103は、メモリ1002によって構成される。また、制御装置11の分析状態監視部111、評価結果管理部113および分析規則制御部114は、ネットワークインタフェース1105と、メモリ1102に格納されるコンピュータ・プログラムを読み込んで実行するCPU1101とによって構成される。また、評価結果記憶部112は、メモリ1102によって構成される。なお、情報処理システム1を構成する各装置およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
 次に、分析装置10の各機能ブロックの詳細について説明する。
 分析実行部101は、分析対象として入力されるデータに対して、分析規則記憶部102に記憶された分析規則に基づく分析を実行し分析結果を出力する。ここで、分析規則に基づく分析とは、入力されるデータを用いて分析規則が満たされるか否かを判断し、満たした場合にその旨を表す情報を分析結果として出力する処理である。入力されるデータとは、例えば、センサ5から受信される情報であってもよい。
 また、分析実行部101は、分析規則に基づく分析の際に、分析状態記憶部103に保存された分析状態情報を参照して分析を行う。ただし、分析規則によっては、分析状態情報の参照が不要な分析となる場合もある。また、分析実行部101は、分析規則に基づく分析の際に、実行中の分析もしくは他の分析において参照され得る情報を検出すると、その情報を分析状態情報として、分析状態記憶部103に保存する。分析状態情報の詳細については後述する。
 また、分析実行部101は、分析規則に基づく分析において、必要に応じて分析結果を出力する。出力先は、評価装置7である。例えば、分析実行部101は、分析規則を満足する事象が検出された場合に、分析結果として、分析規則を満足する事象が検出されたことに関連する情報を、その分析規則を一意に特定する情報と共に出力してもよい。分析結果は、後述の評価装置7によってその分析結果の評価の際に用いられる情報を含んでいる。
 また、例えば、分析実行部101は、分析規則にその有効性を表す情報が含まれる場合、その有効性を表す情報にしたがって、分析を実行してもよい。以降、有効であることを表す情報を含む分析規則を、有効な分析規則、とも記載する。また、有効でない(すなわち無効である)ことを表す情報を含む分析規則を、無効な分析規則、とも記載する。この場合、具体的には、分析実行部101は、有効な分析規則については、当該分析規則に基づく分析を実行し、無効な分析規則については当該分析規則に基づく分析を実行しない。
 分析規則記憶部102は、分析規則を記憶する。分析規則は、入力されるデータを用いて判断可能な規則を表す。例えば、分析規則は、定められた期間中に所定の条件に合致するデータが指定回数以上入力されたことを検出した場合に、検出したことを分析結果として出力することを定めた情報であってもよい。なお、分析規則は、直近の入力データに対する条件を含んでいてもよいし、それまでに入力されたデータやそれらの統計処理結果に対する条件を含んでいてもよい。
 また、例えば、前述のように、分析規則は、有効性を表す情報を含んでいていてもよい。有効性とは、その分析規則に基づく分析が分析実行部101によって実行される対象となる否かを表す。以降、分析が実行される対象となる否かを、分析の実行可否とも記載する。この場合、分析規則記憶部102に記憶される情報の一例を、図3に示す。図3には、分析規則を示す各エントリを格納するテーブルが示されている。各エントリは、分析規則を一意に特定するIDと、分析規則と、分析規則の有効性(有効または無効)とをそれぞれ表す情報を含む。以降、IDが1のエントリの分析規則を、分析規則ID(1)とも記載する。例えば、図3の一番上のエントリは、次の条件が満たされた場合に、分析結果を出力する分析規則ID(1)を定義している。その条件とは、顧客IDが1であり(Customer ID=1)、かつ、シグネチャIDが32である(Signature ID=32)データが10分間(10 Minutes)の間に5回以上(Count>=5)観測されるという条件である。また、当該エントリは、分析規則ID(1)が分析実行部101によって実行される対象となる(有効である)ことを示している。このように、分析規則記憶部102は、分析実行部101による実行の対象となる分析規則を含む一つ以上のエントリを記憶することができる。
 分析状態記憶部103は、分析状態情報を記憶する。分析状態情報とは、分析実行部101によって生成または参照される分析の状態を表す情報である。換言すると、生成される分析状態情報は、実行中の分析、もしくは、他の分析の実行において利用され得る、現在実行中の分析の状態を表す情報である。なお、他の分析とは、現在実行中の分析で適用される分析規則に基づき将来実行される分析であってもよい。あるいは、他の分析とは、現在実行中の分析で適用される分析規則とは異なる分析規則に基づき将来実行される分析であってもよい。
 例えば、分析状態情報とは、分析規則を充足するか否かの判断のために、現在実行中の分析または他の分析において参照され得るデータであってもよい。また、現在実行中の分析または他の分析において参照され得るデータとは、現在実行中の分析または過去の分析で対象となったデータそのもの、または、そのようなデータが加工された情報であってもよい。
 この場合、分析状態記憶部103に記憶される情報の一例を図4に示す。図4には、分析状態情報を示す各エントリを格納するテーブルが示されている。この例では、各エントリは、分析規則IDと、分析状態情報とをそれぞれ表す情報を含む。分析規則IDは、分析規則を一意に特定する情報であり、図3に示す分析規則記憶部102のIDに対応する。例えば、図4の一番上のエントリは、分析規則ID(1)に基づく分析の実行において利用される分析状態情報を表す。すなわち、そのような分析状態情報として、時刻(Detected At)が1453448586.923002638、1453448628.885667185、1453448639.857580021、1453448653.592506500、の各々において、分析規則ID(1)の条件の一部である、顧客IDが1であり(Customer ID=1)、かつ、シグネチャIDが32である(Signature ID=32)、を充足するデータが1回ずつ検出(Count=1)されたことを表す情報が記憶されている。
 また、図4において分析規則ID(1)に関連付けられた分析状態情報は、分析規則ID(1)に基づく分析が実行される際に、分析実行部101によって参照される。つまり、この分析状態情報は、分析規則ID(1)の全条件を充足するか否かの判断において参照される。分析規則ID(1)に関連付けられた分析状態情報が、分析規則ID(1)の全条件を充足する場合、分析実行部101により分析結果が出力される。
 分析規則管理部104は、分析規則記憶部102に記憶されている分析規則を管理する。具体的には、分析規則管理部104は、制御装置11と接続され、制御装置11による制御に基づき、分析規則の追加、削除、変更を実行する。例えば、分析規則記憶部102に図3に示した情報が記憶されているとする。この場合、分析規則管理部104は、制御装置11によって指定されたエントリの分析規則の有効性(実行可否)を表す情報を、有効から無効に、または、無効から有効に変更する。以降、分析規則の有効性を表す情報を有効から無効に変更することを、分析規則を無効化する、とも記載する。また、分析規則の有効性を表す情報を無効から有効に変更することを、分析規則を有効化する、とも記載する。
 次に、制御装置11の各機能ブロックについて述べる。
 分析状態監視部111は、分析装置10の分析状態記憶部103と接続され、分析状態記憶部103の使用状況を監視する。使用状況とは、例えば、分析状態記憶部103に記憶される分析状態情報の容量や数、空き記憶容量、分析状態情報の内容等であってもよい。監視結果は、後述の分析規則制御部114に通知される。例えば、分析状態記憶部103に、図4に示す情報が記憶されているとする。この場合、分析状態監視部111は、使用状況として、テーブルのエントリ数、利用記憶容量、空き記憶容量や、各エントリの内容を、分析規則制御部114の指示に基づき取得し、取得した値を分析規則制御部114に通知してもよい。
 評価結果記憶部112は、分析装置10の分析実行部101から出力された分析結果に対する評価結果を記憶する。分析結果に対する評価結果とは、分析結果の確からしさを表す情報であってもよい。なお、評価結果は、評価装置7によって生成された情報であってもよいし、評価装置7に対して入力された情報であってもよい。
 図5は、評価結果記憶部112に記憶される情報の一例を示す図である。図5には、評価結果を示す各エントリを格納するテーブルが示されている。図5の例では、各エントリは、評価完了時刻と、分析規則IDと、評価結果とをそれぞれ表す情報を含む。評価完了時刻は、該当する分析結果に対する評価結果が生成または取得された時刻を表す。また、分析規則IDは、該当する分析結果が出力される際に適用された分析規則のIDを示す。また、評価結果は、該当する分析結果に対する評価結果を表す。例えば、図5の一番上のエントリは、分析規則ID(3)に基づく分析により出力された分析結果について、偽陽性であるという評価結果が、時刻2016/01/22 17:00.00に生成または取得されたことを示している。なお、この例では、「偽陽性」とは、「分析結果は誤って出力されたものである」という評価を表す。また、「真陽性」とは、「分析結果は正しく出力されたものである」という評価を表す。このように、評価結果記憶部112は、分析装置10の分析実行部101から出力された分析結果の評価結果を含むエントリを一つ以上記憶する。
 評価結果管理部113は、分析装置10の分析実行部101から出力された分析結果の評価結果を、評価装置7から取得し、評価結果記憶部112に保存する。また、評価結果管理部113は、分析規則制御部114の制御に基づき、評価結果記憶部112のテーブルに含まれるエントリを取得し、取得内容を分析規則制御部114に通知する。
 分析規則制御部114は、分析状態監視部111を介して、分析装置10の分析状態記憶部103の使用状況を参照する。また、分析規則制御部114は、評価結果管理部113を介して、評価結果記憶部112に記憶された情報を参照する。そして、分析規則制御部114は、両者の情報に基づいて、分析装置10の分析規則記憶部102に記憶された分析規則を制御する。分析規則の制御は、分析規則管理部104を介して行われる。詳細には、分析規則制御部114は、分析状態記憶部103の使用状況が所定の条件を満たしたときに、評価結果に基づき選択した分析規則の有効性を表す情報を制御する。この制御により、分析規則制御部114は、該分析規則に基づく分析を、分析装置10の分析実行部101に実行させるか否かを制御する。
 例えば、分析規則記憶部102に、図3に示した情報が記憶されているとする。この場合、分析規則制御部114は、分析状態記憶部103の使用状況である空き記憶容量が予め定義された閾値を下回った場合に、評価結果の低さに基づいて、分析規則IDを特定する。評価結果の低さとは、偽陽性の発生率の高さであってもよい。
 具体的には、分析状態記憶部103は、偽陽性の発生率が閾値以上の分析規則ID(例えばID=3)を特定してもよい。そして、分析規則制御部114は、特定した分析規則IDの分析規則を無効化するよう、分析装置10の分析規則管理部104に指示する。これにより、分析規則管理部104は、分析規則記憶部102において、指示された分析規則ID(例えばID=3)のエントリを検索し、該当するエントリの有効性を表す情報を有効から無効に変更する。無効化された分析規則IDに基づく分析の実行は、停止されることになる。その結果、偽陽性の発生率が高い(分析によって得られる効果が低い)分析規則のために、分析状態情報が新たに保存されることがなくなり、分析状態記憶部103の容量を圧迫する分析状態情報の保存が抑制される。その結果、分析実行部101は、無効化された分析規則と比較して、相対的に真陽性率が高い(分析によって得られる効果が高い)分析規則の実行を継続できる。もしも、このような分析規則の制御が実行されない場合、分析状態記憶部103の容量超過が発生し、新たな分析状態情報の保存が不可能となり、全ての分析の実行が停止する。分析規則制御部114は、このような全ての分析の実行が停止することを回避する。
 また、分析規則管理部104は、分析規則を無効化する際に、無効化する分析規則IDに関連付けて分析状態記憶部103に記憶されているエントリを消去してもよい。このようなエントリの消去は、分析規則管理部104からの指示の下に、分析実行部101により行われてもよい。これにより、分析状態記憶部103において、分析に利用されない分析状態情報の記憶がさらに抑制され、空き記憶容量が拡大する。その結果、分析実行部101による分析の実行の継続性は、さらに向上する。
 また、分析規則制御部114は、分析状態記憶部103の使用状況である空き記憶容量が予め定義された閾値を上回った場合に、分析規則記憶部102において無効化されている分析規則のうち、評価結果の高さに基づいて、分析規則IDを特定する。評価結果の高さとは、偽陽性の発生率の低さであってもよい。
 具体的には、分析状態記憶部103は、分析規則記憶部102において無効化されている分析規則のうち、偽陽性の発生率が閾値未満の分析規則IDを特定してもよい。そして、分析規則制御部114は、特定した分析規則IDを有効化するよう、分析装置10の分析規則管理部104に指示する。これにより、分析規則管理部104は、分析規則記憶部102において、指示された分析規則IDのエントリを検索し、該当するエントリの有効性を表す情報を無効から有効に変更する。有効化された分析規則IDに基づく分析の実行は、開始されることになる。その結果、偽陽性の発生率が低い(分析によって得られる効果が高い)分析規則に基づく分析の実行が継続可能となる。
 次に、情報処理システム1に接続される各装置について説明する。
 センサ5は、分析装置10の分析実行部101に接続される。また、センサ5は、分析実行部101において実行される分析が対象とするデータを生成する。なお、前述したように、情報処理システム1には、1つまたは複数のセンサ5が接続される。例えば、情報処理システム1が、ネットワーク装置からセキュリティイベントを収集し、ネットワーク、もしくは、情報システムのセキュリティ脅威を検出するための分析を実行するシステムであるとする。この場合、センサ5としては、ネットワーク装置(ファイアウォール装置やIntrusion Detection Systemと呼ばれる脅威検知システムなど)が適用可能である。
 評価装置7は、分析装置10の分析実行部101と、制御装置11の評価結果管理部113とに接続される。また、評価装置7は、分析装置10の分析実行部101から出力される分析結果について、その評価結果を生成または取得する。前述のように、評価結果は、分析結果の確からしさを表す情報であってもよい。例えば、評価装置7は、分析実行部101から出力される分析結果に基づいて評価結果を生成する処理を実行してもよい。あるいは、評価装置7は、分析実行部101から出力される分析結果を出力装置に出力し、出力に応じて入力装置等から入力される情報を、評価結果として取得してもよい。また、評価装置7は、生成または取得した評価結果を、制御装置11の評価結果管理部113に出力する。加えて、評価装置7は、分析結果を、通知先装置9に出力する。
 通知先装置9は、評価装置7に接続される。通知先装置9は、分析装置10の分析実行部101から出力される分析結果を利用する装置である。通知先装置9は、分析結果を利用した処理を行ってもよい。あるいは、通知先装置9は、出力装置等に分析結果を出力してもよい。出力装置等に出力された分析結果は、センサ5の運用者または情報処理システム1の運用者等によって利用可能である。
 なお、図1において、分析装置10および制御装置11を、異なる装置として例示した。これに限らず、分析装置10および制御装置11は、一体とした装置として構成されてもよい。また、分析装置10、制御装置11、もしくは、分析装置10と制御装置11を一体とした装置は、評価装置7を含んでいてもよい。
 続いて、本実施の形態の動作について図面を参照して詳細に説明する。
 まず、本発明の第1の実施の形態の定常時の動作を、図6のシーケンス図に示す。なお、以下の動作の説明では、分析対象となるデータを、ログとも記載する。
 図6において、ステップA101~A106のステップは、分析状態の参照が不要な分析規則に基づく分析が行われる際の各装置の動作の一例を示している。
 まず、分析装置10の分析実行部101は、センサ5の群からログを受信すると、分析状態の参照が不要な分析規則に基づく分析を実行する(ステップA101)。
 次に、分析実行部101は、分析結果を評価装置7に送信する(ステップA102)。
 次に、評価装置7は、受信した当該分析結果について、その評価結果を生成または取得する(ステップA103)。
 次に、評価装置7は、当該分析結果の出力において適用された分析規則を一意に特定する分析規則IDと、当該分析結果についての評価結果とを関連付けて、制御装置11に送信する(ステップA104)。
 次に、制御装置11の評価結果管理部113は、受信した評価結果および分析規則IDを関連付けて、評価結果記憶部112に保存する(ステップA105)。
 次に、評価装置7は、分析結果を通知先装置9に通知する(ステップA106)。なお、ステップA106の動作は、ステップA102の後に実行されればよく、必ずしもステップA103およびステップA104の後に実行されなくてもよい。
 また、図6において、ステップA201~A203は、分析状態の参照が必要な分析規則に基づく分析が行われるが分析結果が出力されない場合の各装置の動作の一例を示している。
 この場合、まず、分析装置10の分析実行部101は、センサ5の群からログを受信すると、分析状態の参照が必要な分析の実行にあたり、分析状態情報を読み込む(ステップA201)。
 次に、分析実行部101は、分析を実行する(ステップA202)。
 次に、分析実行部101は、実行中の分析、もしくは、他の分析に利用され得るデータを検出した場合、そのデータに関する情報を、分析状態情報として分析状態記憶部103に記憶する(ステップA203)。
 なお、ここでは、今回検出された分析状態情報と、読み込んだ分析状態情報とに基づいて、分析規則が満たされないと判断されたとする。したがって、分析実行部101は、分析結果を出力しない。
 また、図6において、ステップA301~A303のステップは、分析状態記憶部103の使用状況を監視する動作を表す。この動作は、所定のタイミング毎に実行される。
 ステップA301では、制御装置11の分析状態監視部111は、分析装置10の分析状態記憶部103の使用状況を確認する情報を、分析装置10に送信する(ステップA301)。
 次に、分析装置10は、分析状態記憶部103の使用状況を表す情報を送信する(ステップA302)。
 次に、制御装置11の分析規則制御部114は、使用状況が所定の枯渇条件を満たすか否かを判断する(ステップA303)。例えば、所定の枯渇条件とは、使用状況としての空き記憶容量が予め定義した閾値を下回ることであってもよい。ここでは、使用状況が所定の枯渇条件を満たさなかったものとする。この場合、分析規則制御部114は、分析規則の制御を実行しない。
 また、図6において、ステップA401~A408のステップは、分析状態の参照が必要な分析規則が行われ分析結果が出力される場合の各装置の動作の一例を示している。
 この場合、まず、分析装置10の分析実行部101は、センサ5の群からログを受信すると、分析状態の参照が必要な分析の実行にあたり、分析状態情報を読み込む(ステップA401)。
 次に、分析実行部101は、分析を実行する(ステップA402)。
 次に、分析実行部101は、実行中の分析、もしくは、他の分析に利用され得るデータを検出した場合、そのデータに関する情報と、読み込んだ分析状態情報とに基づいて、分析規則の全条件を充足すると判断したとする。この場合、分析実行部101は、分析結果を、評価装置7に出力する(ステップA403)。
 例えば、分析結果は、分析規則IDと、評価装置7によってこの分析結果が真陽性であるか偽陽性であるかが判断される際に用いられる情報を含んでいてもよい。判断される際に用いられる情報とは、例えば、ステップA202、A402での分析の実行時に入力されたログであってもよい。
 なお、このとき、分析実行部101は、分析状態記憶部103において、将来利用される見込みがない分析状態情報を廃棄してもよい(ステップA404)。なお、ステップA404の動作は、ステップA402の後に実行されればよく、必ずしもステップA403の後に実行されなくてもよい。
 次に、制御装置11および評価装置7は、ステップA405~A408を実行する。ステップA405~A408の動作は、前述のステップA103~A106と同様であるため、説明を省略する。これにより、ステップA403で出力された分析結果に対する評価結果が、評価結果記憶部112に保存される。
 なお、図6において、ステップA101~A106は上述した順に実行され、ステップA201~A203は上述した順に実行され、ステップA301~A303は上述した順に実行され、ステップA401~A408は上述した順に実行される。ただし、図6に示したステップ間における上記以外の実行順序は、図示した順に限定されない。
 次に、本発明の第1の実施の形態の資源枯渇状態における動作を、図7のシーケンス図に示す。ここで、資源枯渇状態とは、分析装置10の分析状態記憶部103において資源が枯渇しつつある状態をいうものとする。
 図7において、ステップB101~B107は、分析状態記憶部103の使用状況が所定の枯渇条件を満たす際に分析規則を制御する動作を表す。
 この場合、まず、制御装置11および評価装置7は、ステップB101~B103を実行する。ステップB101~B103の動作は、図6を参照して説明した定常時のステップA301~A303と同様であるため、説明を省略する。これにより、制御装置11の分析規則制御部114は、分析装置10の分析状態記憶部103の使用状況が所定の枯渇条件を満たすか否かの判定結果を得る。ここでは、使用状況が所定の枯渇条件を満たしたものとする。
 そこで、分析規則制御部114は、評価結果記憶部112に記憶された評価結果の低さに基づいて、無効化の対象とする分析規則を決定する(ステップB104)。
 次に、分析規則制御部114は、分析装置10に対して、無効化の指示を表す情報と、無効化の対象となる分析規則を一意に特定する分析規則IDとを組みとして送信する(ステップB105)。
 次に、分析装置10の分析規則管理部104は、無効化の指示を表す情報および分析規則IDを受信すると、分析規則記憶部102において、受信した分析規則IDの分析規則を無効化する(ステップB106)。
 そして、分析実行部101は、分析状態記憶部103において、受信した分析規則IDに関連付けられた分析状態情報を廃棄する(ステップB107)。
 ステップB106~B107の実行により、以降、分析実行部101によって、無効化された分析規則IDに基づく分析が実行されない。その結果、分析状態記憶部103には、無効化された分析規則IDに基づく分析により新たに分析状態情報が記憶されることがない。すなわち、分析装置10は、分析状態記憶部103の使用状況が原因で分析が継続不能になることを回避できる。具体的には、分析装置10は、分析状態記憶部103の空き記憶容量の枯渇を免れることができる。
 これにより、例えば、続いて、図7に示すように、分析状態の参照が必要な分析を実行し分析結果を出力しないステップA201~A203の動作が継続可能となる。ステップA201~A203の動作は図6と同様であるため、説明を省略する。
 なお、このとき、既にステップB106~B107の実行により、分析状態記憶部103の使用状況は、新たな分析状態情報を記憶可能となっている。このため、ステップA203において、分析装置10の分析状態記憶部103には、新たに分析状態情報が記憶され、分析が継続される。
 続いて、図7に示すように、分析状態記憶部103の使用状況を監視するステップA301~A303の動作が、所定のタイミングとなり行われたとする。ステップA301~A303の動作は、図6と同様であるため、説明を省略する。ここでは、ステップB107において分析状態情報が廃棄されたことにより、使用状況は、所定の枯渇条件を満たさなかったものとする。したがって、分析規則制御部114は、分析規則の制御を実行しない。
 また、引き続き、図7に示すように、分析状態の参照が必要な分析を実行し分析結果を出力するステップA401~A408の動作が継続可能である。ステップA401~A408の動作は、図6と同様であるため、説明を省略する。
 なお、図7において、ステップB101~B107は上述した順に実行され、ステップA201~A203は上述した順に実行され、ステップA301~A303は上述した順に実行され、ステップA401~A408は上述した順に実行される。ただし、図7に示したステップ間における上記以外の実行順序は、図示した順に限定されない。
 次に、本発明の第1の実施の形態の資源余剰状態における動作を、図8のシーケンス図に示す。ここで、資源余剰状態とは、分析装置10の分析状態記憶部103において資源が余剰している状態をいうものとする。
 図8において、ステップC101~C106は、分析状態記憶部103の使用状況が所定の余剰条件を満たす際に分析規則を制御する動作を表す。
 この場合、まず、制御装置11および評価装置7は、ステップC101~C102を実行する。ステップC101~C102の動作は、図6を参照して説明した定常時のステップA301~A302と同様であるため、説明を省略する。これにより、制御装置11の分析規則制御部114は、分析装置10の分析状態記憶部103の使用状況を得る。
 次に、制御装置11の分析状態監視部111は、分析状態記憶部103の使用状況が所定の余剰条件を満たすか否かの判定を行う(ステップC103)。例えば、所定の余剰条件とは、使用状況としての空き記憶容量が、余剰条件として定められた閾値を上回ることであってもよい。なお、分析状態記憶部103の使用状況が所定の余剰条件を満たすか否かの判定は、分析状態記憶部103の使用状況が前述した所定の枯渇条件を満たさないと判定された後に行われてもよい。ここでは、分析状態記憶部103の使用状況が余剰条件を満たしたものとする。
 そこで、分析規則制御部114は、評価結果記憶部112に記憶された評価結果の高さに基づいて、分析規則記憶部102において無効化されている分析規則の集合から、有効化の対象とする分析規則を決定する(ステップC104)。
 次に、分析規則制御部114は、分析装置10に対して、有効化の指示を表す情報と、有効化の対象となる分析規則を一意に特定する分析規則IDとを組みとして送信する(ステップC105)。
 次に、分析装置10の分析規則管理部104は、有効化の指示を表す情報および分析規則IDを受信すると、分析規則記憶部102において、受信した分析規則IDの分析規則を有効化する(ステップC106)。
 ステップC106の実行により、以降、分析実行部101によって、有効化された分析規則IDの分析規則に基づく分析が開始される。
 例えば、有効化された分析規則IDの分析規則に基づく分析として、続いて、分析状態の参照が必要な分析を実行し分析結果を出力しないステップA201~A203の動作が行われたとする。ステップA201~A203の動作は、図6と同様であるため、説明を省略する。
 続いて、図8に示すように、分析状態記憶部103の使用状況を監視するステップA301~A303が、所定のタイミングとなり行われたとする。ステップA301~A303の動作は、図6と同様であるため、説明を省略する。ここでは、使用状況が所定の枯渇条件を満たさなかったものとする。したがって、分析規則制御部114は、分析規則の制御を実行しない。
 また、引き続き、図8に示すように、分析状態の参照が必要な分析を実行し分析結果を出力するステップA401~A408の動作が継続可能である。ステップA401~A408の動作は、図6と同様であるため、説明を省略する。
 なお、図8において、ステップC101~C106は上述した順に実行され、ステップA201~A203は上述した順に実行され、ステップA301~A303は上述した順に実行され、ステップA401~A408はこの順に実行される。ただし、図8に示したステップ間における上記以外の実行順序は、図示した順に限定されない。
 次に、制御装置11が評価結果を取得する動作の詳細を、図9のフローチャートに示す。
 図9では、まず、評価結果管理部113は、評価結果を、評価装置7から取得する(ステップS11)。
 次に、評価結果管理部113は、取得した評価結果を、評価結果記憶部112に保存する(ステップS12)。
 以上で、制御装置11は、評価結果を取得する動作を終了する。
 次に、制御装置11が、分析状態記憶部103の使用状況を監視し分析規則を制御する動作の詳細を、図10のフローチャートに示す。
 図10では、まず、分析状態監視部111は、分析装置10に対して、分析状態記憶部103の使用状況を確認する情報を送信する(ステップS21)。
 次に、分析状態監視部111は、分析装置10から、分析状態記憶部103の使用状況を表す情報を受信する(ステップS22)。
 次に、分析規則制御部114は、分析状態記憶部103の使用状況が、所定の枯渇条件を満たすか否かを判定する(ステップS23)。前述のように、所定の枯渇条件とは、使用状況としての空き容量があらかじめ定められた閾値を下回ることであってもよい。
 ここで、分析状態記憶部103の使用状況が所定の枯渇条件を満たすと判定された場合について説明する(ステップS23でYes)。この場合、分析規則制御部114は、評価結果記憶部112に記憶された評価結果の低さに基づいて、無効化の対象とする分析規則を選択する(ステップS24)。
 そして、分析規則制御部114は、無効化を指示する情報と、無効化の対象となる分析規則を一意に特定する分析規則IDとを組として、分析装置10に対して送信する(ステップS25)。そして、制御装置11は、処理を終了する。
 一方、分析状態記憶部103の使用状況が所定の枯渇条件を満たさないと判定された場合について説明する(ステップS23でNo)。この場合、分析規則制御部114は、分析状態記憶部103の使用状況が所定の余剰条件を満たすか否かを判定する(ステップS26)。例えば、前述のように、所定の余剰条件とは、使用状況としての空き記憶容量が、余剰条件として定められた閾値を上回ることであってもよい。なお、余剰条件として定められる閾値は、枯渇条件として定められた閾値と同一であってもよい。この場合、ステップS26の実行は省略可能である。あるいは、余剰条件として定められる閾値は、枯渇条件として定められた閾値を上回る異なる閾値であってもよい。
 ここで、分析状態記憶部103の使用状況が余剰条件を満たすと判定された場合について説明する(ステップS26でYes)。この場合、分析規則制御部114は、評価結果記憶部112に記憶された評価結果の高さに基づいて、分析規則記憶部102において無効化されている分析規則の中から、有効化の対象とする分析規則を選択する(ステップS27)。
 そして、分析規則制御部114は、有効化を指示する情報と、有効化の対象となる分析規則を一意に特定する分析規則IDとを組として、分析装置10に対して送信する(ステップS28)。そして、制御装置11は、処理を終了する。
 一方、分析状態記憶部103の使用状況が所定の余剰条件を満たさないと判定された場合(ステップS26でNo)、制御装置11は、処理を終了する。
 なお、図10に示した動作は、図6、図7、図8におけるステップA301~A303、B101~B105、B303、C101~C105およびC303のそれぞれに相当する。また、図10に示した動作は、図6、図7、図8を参照して説明したように、所定のタイミング毎に実行される。所定のタイミング毎の実行とは、定期的な実行であってもよいし、何らかの規則やスケジュールに基づく反復的な実行であってもよい。
 次に、分析装置10が分析を実行する動作の詳細を、図11のフローチャートに示す。
 図11では、まず、分析実行部101は、センサ5の群からログを受信する(ステップS31)。
 次に、分析実行部101は、分析規則記憶部102から、分析規則を1つ読み込む(ステップS32)。
 次に、分析実行部101は、この分析規則が有効であるか否かを判定する(ステップS33)。
 ここで、分析規則が有効であると判定された場合(ステップS33でYes)、分析実行部101は、分析の実行に必要となる分析状態情報を、分析状態記憶部103から読み込む(ステップS34)。ここでは、該当する分析規則IDに関連付けられた分析状態情報が読み込まれる。
 次に、分析実行部101は、分析を実行する(ステップS35)。
 次に、分析実行部101は、分析の実行において、実行中の分析、もしくは、他の分析に利用されるログを検出した場合、そのログに関する情報を、分析状態情報として、分析状態記憶部103に保存する(ステップS36)。
 次に、分析実行部101は、この分析規則IDの分析規則が満たされるか否かを判定する(ステップS37)。この判定処理において、ステップS34で読み込んだ分析状態情報や、ステップS36で保存した分析状態情報が参照される。
 ここで、分析規則が満たされると判定された場合(ステップS37でYes)、分析実行部101は、分析結果を、評価装置7に対して出力する(ステップS38)。
 一方、ステップS33において分析規則が有効ではないと判定された場合(ステップS33でNo)、分析実行部101は、受信したログに対して実行すべき未実行の分析規則が存在するか否かの判定を実行する(ステップS39)。
 また、ステップS37において、分析規則が満たされないと判定された場合も(ステップS37でNo)、分析実行部101は、ステップS39を実行する。
 また、ステップS38において、分析結果を出力した後、分析実行部101は、ステップS39を実行する。
 ステップS39において、受信したログに対して実行すべき未実行の分析規則が存在すると判定された場合(ステップS39でYes)、分析実行部101は、ステップS32からステップS39までを繰り返し実行する。分析装置10は、ステップS32の実行の度に、未実行の異なる分析規則を読み込む。
 受信したログに対して未実行の分析規則が存在しない場合(ステップS39でNo)、分析装置10は、処理を終了する。
 次に、分析装置10が制御装置11の指示に基づいて実行する動作の詳細を、図12のフローチャートに示す。
 図12では、まず、分析装置10が、分析状態記憶部103の使用状況を確認する情報を受信した場合について説明する(ステップS41で「使用状況を確認する情報」)。この場合、分析装置10は、分析状態記憶部103の使用状況を表す情報を取得する(ステップS42)。
 次に、分析装置10は、使用状況を表す情報を、制御装置11に対して送信し(ステップS43)、処理を終了する。
 また、分析装置10が、分析規則の無効化を指示する情報を受信した場合について説明する(ステップS41で「無効化を指示する情報」)。この場合、分析規則管理部104は、無効化を指示する情報と共に受信した分析規則IDを、分析規則記憶部102から検索する(ステップS52)。
 次に、分析規則管理部104は、検索した分析規則IDの分析規則を無効化する(ステップS53)。
 次に、分析規則管理部104は、分析状態記憶部103において、無効化した分析規則IDに関連付けられた分析状態情報が記憶されているか否かを判定する(ステップS54)。
 ここで、無効化した分析規則IDに関連付けられた分析状態情報が記憶されていると判定された場合(ステップS54でYes)、分析規則管理部104は、当該分析状態を廃棄し(ステップS55)、処理を終了する。
 一方、無効化した分析規則IDに関連付けられた分析状態情報が記憶されていないと判定された場合(ステップS54でNo)、分析装置10は、処理を終了する。
 また、分析装置10が、分析規則の有効化を指示する情報を受信した場合について説明する(ステップS41で「有効化を指示する情報」)。この場合、分析規則管理部104は、有効化を指示する情報と共に受信した分析規則IDを、分析規則記憶部102から検索する(ステップS62)。
 次に、分析規則管理部104は、検索した分析規則IDの分析規則を有効化する(ステップS63)。
 以上で、分析装置10が、制御装置11の指示の下に行う動作の説明を終了する。
 次に、本発明の第1の実施の形態の効果について述べる。
 本発明の第1の実施の形態としての情報処理システムは、分析対象として入力される情報の量や内容を予測することが困難な用途において、分析の実行をより確実に継続することができる。
 その理由について説明する。本実施の形態では、分析装置において、分析実行部が、分析規則に基づいて分析規則を実行し分析結果を出力する。また、分析規則記憶部が、分析規則に有効性を表す情報を含めて記憶している。また、分析規則管理部が、分析規則記憶部の分析規則を管理する。また、分析状態記憶部が、分析実行部による分析の実行時に生成または参照される分析状態情報を記憶している。また、制御装置において、分析状態監視部が、分析状態記憶部の使用状況を監視する。また、評価結果管理部が、分析結果の評価結果を取得し、評価結果記憶部に保存して管理する。そして、分析規則制御部が、分析装置の分析状態記憶部の使用状況が所定の枯渇条件を満たしたときに、評価結果の低さに基づいて分析規則を選択する。そして、分析規則制御部が、選択した分析規則を無効化するよう、分析装置の分析規則管理部を介して分析規則を制御することにより、該分析規則に基づく分析の実行が停止されるよう制御するからである。また、分析規則制御部が、分析状態記憶部の使用状況が所定の余剰条件を満たしたときに、実行が停止されている分析に関わる分析規則のうち、評価結果の高さに基づいて分析規則を選択する。そして、分析規則制御部が、選択した分析規則を有効化するよう、分析装置の分析規則管理部を介して制御することにより、該分析規則に基づく分析の実行が開始されるよう制御するからである。
 このように、本実施の形態は、分析によって得られる効果が低い(偽陽性発生率が高い)分析規則のための分析状態情報の記憶を抑制し、ひいては、分析状態情報を記憶する分析状態記憶部の容量を超過するような分析状態情報の保存を抑制する。これにより、本実施の形態は、分析対象となる情報の量や内容が変化した場合に、分析状態情報を記憶する分析状態記憶部の制限により分析に必要な分析状態情報を記憶できなくなる状況を回避できる。その結果、本実施の形態は、所望の分析、特に分析によって得られる効果が高い分析の実行を確実に継続することができる。
 以上、本発明の第1の実施の形態の構成及び動作について説明したが、第1の実施の形態は変形を加えることができる。以下、変形を加えた本発明の第2の実施の形態について説明する。
 [第2の実施の形態]
 第1の実施の形態では、分析によって得られる効果が低い分析規則に基づく分析を停止することにより、所望の分析、特に分析によって得られる効果が高い分析の実行継続を図る例について説明した。本実施の形態では、分析によって得られる効果が低い分析規則に基づく分析も停止することなく、所望の分析の実行継続を図る例について説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第1の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
 本発明の第2の実施の形態について図面を参照して詳細に説明する。図13は、本発明の第2の実施の形態の情報処理システム2の構成を示す機能ブロック図である。図13を参照すると、情報処理システム2は、分析装置10、分析装置20および制御装置21を含む。また、分析装置10および分析装置20は、それぞれ、制御装置21に接続されている。また、分析装置10および分析装置20は、それぞれ、センサ6および評価装置8と通信可能に接続される。また、制御装置21は、評価装置8と通信可能に接続される。また、評価装置8は、通知先装置9と通信可能に接続される。なお、図13において、分析装置10、分析装置20および制御装置21を1つずつ示したが、情報処理システム2に含まれる各装置の数は、限定されない。また、図13において、3つのセンサ6と、1つずつの評価装置8および通知先装置9とを示したが、情報処理システム2に接続される各装置の数は、限定されない。以下、第1の実施の形態との相違点を中心に説明する。
 まず、分析装置10について説明する。
 分析装置10の構成および動作は、本発明の第1の実施の形態において説明した通りである。なお、分析装置10は、例えば、後述の分析装置20と比較して、分析遅延が小さいが、分析に対する資源利用効率が低い分析装置(例えば、リアルタイム処理型の分析装置)を適用することができる。
 次に、分析装置20およびその各機能ブロックについて説明する。
 分析装置20は、分析装置10に対して、分析実行部101に替えて分析実行部201と、分析規則記憶部102に替えて分析規則記憶部202とを有する点が異なる。また、分析装置20は、分析装置10に対して、分析状態記憶部103の代わりに、ログ保存部205を有する点も異なる。また、分析装置20は、例えば、分析装置10と比較して、分析遅延が大きいが、分析に対する資源利用効率が高い分析装置(例えば、バッチ処理型の分析装置)を適用することができる。なお、分析装置20は、本発明における他の分析装置の一実施形態に相当する。
 なお、分析装置20は、図2を参照して説明した本発明の第1の実施の形態における分析装置10と同様のハードウェア要素によって構成可能である。この場合、ログ保存部205は、メモリ1002によって構成される。ただし、分析装置20およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
 分析実行部201は、本発明の第1の実施の形態で説明した分析実行部101と略同様に構成されるが、次の点が異なる。すなわち、分析実行部101は、分析対象のデータを受信する度に、分析規則に基づく分析を行う。これに対して、分析実行部201は、分析対象のデータを受信するとログ保存部205に保存し、その後、保存したデータに対して分析を実行する。なお、分析実行部201がセンサ6から受信するデータは、分析装置10の分析実行部101がセンサ6から受信するデータと同一である。つまり、センサ6は、分析装置10および分析装置20に対して、同一のログをそれぞれ送信する。
 分析規則記憶部202は、本発明の第1の実施の形態で説明した分析装置10の分析規則記憶部102と略同様に構成される。ただし、分析規則記憶部202は、分析規則記憶部102において有効な分析規則と同一の分析規則を、初期状態では無効な分析規則として記憶する点が異なる。図14は、分析規則記憶部202に記憶される情報の一例を示す図である。図3に示した分析規則記憶部102に記憶される情報の例との相違点は、テーブルの各エントリについて、無効であることを表す情報が含まれている点である。分析規則記憶部202において無効な分析規則は、分析実行部201による実行の対象でないことを表している。
 ログ保存部205は、分析実行部201によって受信されたデータを保存する。ログ保存部205に保存されたデータは、分析実行部201による分析実行時に参照される。図15は、ログ保存部205に記憶される情報の一例を示す図である。図15には、受信されたデータを表すエントリを格納するテーブルが示されている。各エントリは、受信時刻、顧客ID(Customer ID)、シグネチャID(Signature ID)、送信元IPアドレス(Source IP Address)および宛先IPアドレス(Destination IP Address)をそれぞれ表す情報からなる。例えば、図15の一番上のエントリは、時刻1453448586.923002619に、顧客IDが2であるセンサ6から、シグネチャIDが96、送信元IPアドレスが10.0.1.1、宛先IPアドレスが10.0.1.2のデータが受信されたことを表す。分析実行部201は、分析規則に基づく分析を実行する際に、本テーブルに含まれるエントリを参照することにより、当該分析規則の全条件を充足するか否かの判断を行うことが可能となる。
 次に、制御装置21およびその各機能ブロックについて説明する。
 制御装置21は、本発明の第1の実施の形態における制御装置11に対して、評価結果記憶部112に替えて評価結果記憶部212と、分析規則制御部114に替えて分析規則制御部214とを有する点が異なる。
 なお、制御装置21およびその各機能ブロックは、図2を参照して説明した本発明の第1の実施の形態における制御装置11と同様のハードウェア要素によって構成可能である。ただし、制御装置21およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
 評価結果記憶部212は、分析装置10の分析実行部101および分析装置20の分析実行部201から出力された分析結果に対する評価結果を記憶する。図16は、評価結果記憶部212に記憶される情報の一例を示す図である。図16の例では、評価完了時刻と、分析装置IDと、分析規則IDと、評価結果とをそれぞれ表す情報からなるエントリを格納するテーブルが示されている。評価完了時刻は、評価装置8によって評価結果が生成または取得された時刻を表す。また、分析装置IDは、評価対象の分析結果の出力元である分析装置を一意に特定するIDである。この例では、分析装置10のIDが“A”であり、分析装置20のIDが“B”であるとする。また、分析規則IDは、評価対象の分析結果が出力される際に適用された分析規則を一意に特定するIDである。評価結果は、評価装置8によって生成または取得された情報であり、例えば、分析結果に対する確からしさを表す。
 例えば、図16の一番上のエントリは、分析規則ID(3)の適用により分析装置10(ID=A)から出力された分析結果について、偽陽性であるという評価結果が、時刻2016/01/22 17:00.00に取得または生成されたことを表している。このように、評価結果記憶部212は、分析装置10の分析実行部101または分析装置20の分析実行部201から出力された分析結果に対する評価結果を含むエントリを、一つ以上記憶できる。
 分析規則制御部214は、本発明の第1の実施の形態で説明した分析規則制御部114と略同様に構成されるが、次の点が異なる。すなわち、分析規則制御部214は、分析装置10の分析規則記憶部102に記憶された分析規則を制御することに加えて、分析装置20の分析規則記憶部202に記憶された分析規則を制御する。分析規則記憶部202に記憶された分析規則の制御は、分析規則管理部104を介して行われる。詳細には、分析規則制御部214は、ある分析規則に基づく分析を分析装置10に実行させないよう制御する場合、当該分析規則に基づく分析を分析装置20に実行させるよう、分析装置20の分析規則記憶部202に記憶された分析規則を制御する。
 例えば、分析規則記憶部102に、図3に示した情報が記憶され、分析規則記憶部202に、図14に示した情報が記憶されているとする。このとき、分析状態記憶部103の使用状況である空き記憶容量が予め定義された閾値を下回ったとする。この場合に、分析規則制御部214が分析装置10に対して行う制御は、本発明の第1の実施の形態における分析規則制御部114と同様である。すなわち、この場合、分析規則制御部214は、評価結果として偽陽性発生率が閾値を超える分析規則(例えばID=3)を特定し、特定した分析規則を無効化する制御を行う。これにより、分析装置10において、分析状態記憶部103の容量を超過する分析状態情報の保存が抑制され、無効化された分析規則と比較して相対的に真陽性率が高い(分析によって得られる効果が高い)分析規則の実行が継続可能となる点も同様である。
 本実施の形態では、さらに、分析規則制御部214は、分析装置20に対して、次のような制御を行う。具体的には、分析規則制御部214は、分析装置20の分析規則管理部104に対して、分析装置10において無効化した分析規則(例えば、ID=3)に相当する分析規則を有効化するよう指示する。これにより、分析規則制御部214は、当該分析規則に基づく分析を、分析実行部201に実行させるよう制御することになる。この制御の基、分析装置20の分析規則管理部104は、分析規則記憶部202において分析規則ID(3)のエントリを検索し、該当するエントリの有効性を表す情報を、無効から有効に変更する。これにより、分析装置10において無効化された、偽陽性発生率が閾値を超える(分析によって得られる効果が低い)分析規則についても、分析装置20においてその分析が継続される。
 次に、情報処理システム2に接続される各装置について説明する。
 センサ6は、本発明の第1の実施の形態におけるセンサ5と略同様に構成される。ただし、センサ6は、センサ5に対して、分析装置10の分析実行部101に接続されることに加えて、分析装置20の分析実行部201に接続される点が異なる。また、センサ6は、生成したデータを、分析装置10の分析実行部101に送信することに加えて、分析装置20の分析実行部201にもさらに送信する点が異なる。
 評価装置8は、本発明の第1の実施の形態における評価装置7と略同様に構成される。ただし、評価装置8は、評価装置7に対して、分析装置10の分析実行部101から出力される分析結果に加えて、分析装置20の分析実行部201から出力される分析結果についても、その評価結果を生成または取得する点が異なる。
 なお、図13において、分析装置10と、分析装置20と、制御装置21とを、異なる装置として例示した。これに限らず、これらの装置の一部もしくは全ては、一体とした装置として構成されてもよい。また、これらの装置の一部もしくは全てを一体とした装置は、評価装置8を含んでいてもよい。
 続いて、本実施の形態の動作について図面を参照して詳細に説明する。
 まず、本発明の第2の実施の形態の定常時の動作を、図17のシーケンス図に示す。なお、以下の動作の説明では、分析対象となるデータを、ログとも記載する。
 図17において、まず、センサ6の群は、分析装置10および分析装置20に対して、ログを送信する。
 ここで、ログを受信した分析装置10の動作、および、それに続く評価装置8、制御装置21の動作は、図6を参照して説明した第1の実施の形態と同様であるため、説明を省略する。
 次に、ログを受信した分析装置20では、分析実行部201は、受信したログを、ログ保存部205に保存する。また、分析実行部201は、保存したログに対して、実行すべき分析が存在するか否かの判定を実行する(ステップA501)。判定処理の詳細については後述する。ここでは、実行すべき分析が存在しなかったものとする。したがって、分析実行部201は、分析を実行せずに処理を終了する。なお、ステップA502、A503の動作は、ステップA501と同様であるため、説明を省略する。
 次に、本発明の第2の実施の形態の資源枯渇状態における動作を、図18のシーケンス図に示す。
 図18において、ステップB501~B509は、分析状態記憶部103の使用状況が所定の枯渇条件を満たす際に分析規則を制御する動作を表す。
 ここでは、まず、制御装置21および分析装置10は、ステップB501~B503を実行する。ステップB501~B503の動作は、図7を参照して説明した本発明の第1の実施の形態におけるステップB301~B303と同様であるため、説明を省略する。これにより、制御装置21の分析規則制御部214は、分析装置10の分析状態記憶部103の使用状況が所定の枯渇条件を満たすか否かの判定結果を得る。ここでは、使用状況が所定の枯渇条件を満たしたものとする。
 そこで、分析規則制御部214は、評価結果記憶部212に記憶された評価結果の低さに基づいて、制御の対象とする分析規則を決定する(ステップB504)。制御の対象とする分析規則は、分析装置10において無効化の対象となるとともに、分析装置20において有効化の対象となる。
 次に、分析規則制御部214は、分析装置10に対して、無効化の指示を表す情報と、制御の対象となる分析規則を一意に特定する分析規則IDとを組みとして送信する(ステップB505)。
 さらに、分析規則制御部214は、分析装置20に対して、有効化の指示を表す情報と、制御の対象となる分析規則を一意に特定する分析規則IDとを組みとして送信する(ステップB506)。
 ここで、無効化の指示を表す情報を受信した分析装置10は、ステップB507~B508を実行する。ステップB507~B508の動作は、図7を参照して説明した本発明の第1の実施の形態のステップB106~B107と同様であるため、説明を省略する。これにより、分析装置10は、分析状態記憶部103の空き記憶容量の枯渇を免れることができ、分析の実行を継続できる。
 次に、分析装置20の分析規則管理部104は、有効化の指示を表す情報および分析規則IDを受信すると、分析規則記憶部202において、受信した分析規則IDの分析規則を有効化する(ステップB509)。
 続いて、図18に示すように、センサ6の群から、分析装置10および分析装置20に対して、ログが送信されたとする。
 このとき、ログを受信した分析装置10は、ステップB507で無効化されていない分析規則があれば、その分析規則に基づく分析を実行する。ここでは、分析装置10は、分析状態の参照が必要な分析を実行し分析結果を出力しないステップA201~A203の動作を実行したとする。ステップA201~A203の動作は、図6と同様であるため、説明を省略する。
 また、ログを受信した分析装置20は、受信したデータをログ保存部205に保存する(ステップB601)。
 そして、分析装置20は、実行するべき分析規則が存在するか否かの判断を行う。ここでは、実行するべき分析規則として、ステップB509で有効化された分析規則が少なくとも存在する。
 そこで、分析実行部201は、保存済みのログを読み込み(ステップB602)、分析を実行する(ステップB603)。
 ここでは、ログ保存部205から読み込んだデータが、分析規則を充足しないとする。そこで、分析実行部201は、分析結果を出力せずに、処理を終了する。
 さらにその後、図18に示すように、センサ6の群から、分析装置10および分析装置20に対して、ログが送信されたとする。
 ここでは、分析装置10は、受信したログに対して、分析状態の参照が必要な分析を実行し分析結果を出力しないステップA201~A203の動作を実行したとする。ステップA201~A203の動作については、図6と同様であるため、説明を省略する。
 また、分析装置20は、受信したログに対して、分析状態の参照が必要な分析を実行し分析結果を出力する動作を実行したとする。
 ここでは、まず、分析装置20の分析実行部201は、センサ6の群からログを受信すると、ステップB701~B703を実行する。ステップB701~B703の動作は、上述したステップB601~B603と同様であるため、説明を省略する。これにより、受信したデータがログ保存部205に保存されるとともに、保存済みのログに基づいて、分析が実行される。
 そして、ここでは、ログ保存部205から読み込まれたデータが、分析規則を充足するものとする。そこで、分析実行部201は、分析結果を、評価装置8に通知する(ステップB704)。
 そして、制御装置21および評価装置8は、ステップB705~B708を実行する。ステップB705~B708の動作は、図6を参照して説明した本発明の第1の実施の形態の動作におけるステップA405~A408と同様であるため、説明を省略する。これにより、ステップB704で出力された分析結果に対する評価結果が、評価結果記憶部212に記憶される。
 次に、本発明の第2の実施の形態の資源余剰状態における動作を、図19のシーケンス図に示す。
 図19において、ステップC501~C508は、分析状態記憶部103の使用状況が所定の余剰条件を満たす際に分析規則を制御する動作を表す。
 ここでは、まず、制御装置21および分析装置10は、ステップC501~C503を実行する。ステップC501~C503の動作は、図8を参照して説明したステップC101~C103と同様であるため、説明を省略する。これにより、制御装置21の分析規則制御部214は、分析装置10の分析状態記憶部103の使用状況が所定の余剰条件を満たすか否かの判定結果を得る。ここでは、使用状況が所定の余剰条件を満たしたものとする。
 そこで、分析規則制御部214は、評価結果記憶部212に記憶された評価結果の高さに基づいて、制御の対象とする分析規則を決定する(ステップC504)。制御の対象とする分析規則は、分析装置10において有効化の対象となるとともに、分析装置20において無効化の対象となる。
 次に、分析規則制御部214は、分析装置10に対して、有効化の指示を表す情報と、制御の対象となる分析規則を一意に特定する分析規則IDとを組みとして送信する(ステップC505)。
 さらに、分析規則制御部214は、分析装置20に対して、無効化の指示を表す情報と、制御の対象となる分析規則を一意に特定する分析規則IDとを組みとして送信する(ステップC506)。
 ここで、有効化の指示を表す情報を受信した分析装置10は、ステップC507を実行する。ステップC507の動作は、図8を参照して説明した本発明の第1の実施の形態のステップC106と同様であるため、説明を省略する。これにより、以降、分析実行部101によって、有効化された分析規則IDの分析規則に基づく分析が開始される。
 次に、分析装置20の分析規則管理部104は、無効化の指示を表す情報および分析規則IDを受信すると、分析規則記憶部202において、受信した分析規則IDの分析規則を無効化する(ステップC508)。これにより、分析装置20において、分析実行部101の代わりに分析実行部201によって実行されていた分析規則に基づく分析が、停止される。
 続いて、図19に示すように、センサ6の群から、分析装置10および分析装置20に対して、ログが送信されたとする。
 ここでは、分析装置20の分析規則記憶部202には、ステップC508での無効化の動作により、有効な分析規則が記憶されていないものとする。
 したがって、これ以降ログが受信された際に、分析装置20は、ステップA502やステップA503を実行してログを保存する。ステップA502やA503の動作は、図17を参照して説明した分析装置20の動作と同様であるため、説明を省略する。
 また、これ以降ログが受信された際の分析装置20、評価装置8および制御装置21の動作は、図6を参照して説明した本発明の第1の実施の形態における定常時の動作と同様であるため、説明を省略する。
 次に、制御装置21が評価結果を取得する動作について説明する。制御装置21が評価結果を取得する動作は、図9を参照して説明した本発明の第1の実施の形態と同様であるため、図示および説明を省略する。
 次に、制御装置21が分析状態記憶部103の使用状況を監視し分析規則を制御する動作の詳細を、図20のフローチャートに示す。
 図20では、まず、制御装置21の分析状態監視部111は、ステップS21~S23まで、本発明の第1の実施の形態と同様に動作して、分析状態記憶部103の使用状況が、所定の枯渇条件を満たすか否かを判定する。
 ここで、分析状態記憶部103の使用状況が枯渇条件を満たすと判定された場合について説明する(ステップS23でYes)。この場合、分析規則制御部214は、評価結果記憶部212に記憶された評価結果の低さに基づいて、制御の対象とする分析規則を選択する(ステップS71)。
 次に、分析規則制御部214は、分析装置10に対して、無効化を指示する情報および制御の対象となる分析規則を一意に特定する分析規則IDを送信する(ステップS72)。
 さらに、分析規則制御部214は、分析装置20に対して、有効化を指示する情報および制御の対象となる分析規則を一意に特定する分析規則IDを送信する(ステップS73)。
 一方、分析状態記憶部103の使用状況が枯渇条件を満たさないと判定された場合について説明する(ステップS23でNo)。この場合、分析規則制御部214は、分析状態記憶部103の使用状況が余剰条件を満たすか否かを判定する(ステップS74)。なお、本発明の第1の実施の形態で説明したように、余剰条件として定められる閾値が、枯渇条件として定められた閾値と同一である場合には、ステップS74の実行は省略可能である。
 ここで、分析状態記憶部103の使用状況が所定の余剰条件を満たすと判定された場合について説明する(ステップS74でYes)。この場合、分析規則制御部214は、評価結果記憶部212に記憶された評価結果の高さに基づいて、分析規則記憶部102において無効化されている分析規則の中から、制御の対象とする分析規則を選択する(ステップS75)。
 次に、分析規則制御部214は、分析装置10に対して、有効化を指示する情報および制御の対象として選択した分析規則を一意に特定する分析規則IDを送信する(ステップS76)。
 さらに、分析規則制御部214は、分析装置20に対して、無効化を指示する情報および制御の対象として選択した分析規則を一意に特定する分析規則IDを送信する(ステップS77)。
 一方、分析状態記憶部103の使用状況が所定の余剰条件を満たさないと判定された場合について説明する(ステップS74でNo)。この場合、制御装置21は、処理を終了する。
 なお、図20に示した動作は、図17、図18、図19におけるステップA301~A303、B501~B506、C501~C506のそれぞれに相当する。また、図20に示した動作は、図17、図18、図19を参照して説明したように、所定のタイミング毎に実行される。所定のタイミング毎の実行とは、定期的な実行であってもよいし、何らかの規則やスケジュールに基づく反復的な実行であってもよい。
 次に、分析装置10が分析を行う動作について説明する。分析装置10が分析を行う動作は、図11を参照して説明した本発明の第1の実施の形態と同様である。したがって図示および詳細な説明を省略する。
 次に、分析装置20が分析を実行する動作の詳細を、図21に示す。
 図21に示すように、分析装置20が分析を実行する動作は、図11を参照して説明した分析装置10が分析を実行する動作に対して、次の点が異なる。
 相違点の1つは、ステップS31でセンサ6の群からログを受信した後、ステップS32で分析規則を読み込む前に、受信したログをログ保存部205に保存するステップS81が実行される点である。
 また、他の相違点は、ステップS32で読み込んだ分析規則がステップS33で有効であると判定された場合に、分析状態情報を読み込むステップS34の代わりに、ログ保存部205から保存済みのログを読み込むステップS82が実行される点である。
 また、さらに他の相違点は、ステップS35で分析規則に基づく分析を実行後、分析状態情報を保存するステップS36が実行されない点である。
 これらの相違点以外は、分析装置20が分析を実行する動作は、分析装置10が分析を実行する動作と同様である。
 次に、分析装置10が制御装置21の指示に基づいて実行する動作について説明する。分析装置10が制御装置21の指示に基づいて実行する動作は、図12を参照して説明した本発明の第1の実施の形態と同様である。したがって図示および詳細な説明を省略する。
 次に、分析装置20が制御装置21の指示に基づいて実行する動作の詳細を、図22のフローチャートに示す。
 図22に示すように、分析装置20が制御装置21の指示に基づいて実行する動作は、図12を参照して説明した分析装置10が制御装置21の指示に基づいて実行する動作に対して、分析状態記憶部103の使用状況を確認する情報を受信しない点が異なる。
 また、無効化を指示する情報を受信した場合に(ステップS41で「無効化を指示する情報」)、制御の対象となる分析規則IDの分析規則を無効化した後、関連する分析状態情報を廃棄するステップS54~S55を実行しない点が異なる。
 なお、有効化を指示する情報を受信した場合(ステップS41で「有効化を指示する情報」)の動作は、分析装置10が有効化を指示する情報を受信した場合の動作と同様である。
 以上で、分析装置20が、制御装置21の指示の下に行う動作の説明を終了する。
 次に、本発明の第2の実施の形態の効果について述べる。
 本発明の第2の実施の形態としての情報処理システムは、分析対象として入力される情報の量や内容を予測することが困難な用途において、一部の分析の実行を停止することなく、分析を確実に継続することができる。
 その理由について説明する。本実施の形態では、情報処理システムが、本発明の第1の実施の形態と同様の構成に加えて、分析実行部、分析規則記憶部、分析規則管理部を少なくとも含む他の分析装置を有している。
 そして、他の分析装置の分析規則記憶部は、分析装置の分析規則記憶部と同一の分析規則に、初期状態では無効であることを関連付けて保存している。そして、制御装置の分析規則制御部が、分析規則に基づく分析を、分析状態情報を有する分析装置に実行させないよう制御する場合、該分析規則に基づく分析を、他の分析装置に実行させるよう制御するからである。具体的には、分析規則制御部は、分析装置の分析状態記憶部が所定の枯渇条件を満たした場合、評価結果の低さに基づいて選択した分析規則の有効性を、分析装置において無効化し、他の分析装置において有効化する。また、分析規則制御部は、分析装置の分析状態記憶部が所定の余剰条件を満たした場合、分析装置の分析規則記憶部において無効化されている分析規則のうち、評価結果の高さに基づいて制御対象の分析規則を選択する。そして、分析規則制御部は、分析状態記憶部を有する分析装置において、選択した制御対象の分析規則の有効性を有効化し、他の分析装置において無効化するからである。
 このように、本実施の形態は、評価結果の低い分析規則に関わる分析の実行を停止させることなく、分析状態記憶部の使用状況を枯渇させずに、分析の実行を継続させることができる。これにより、本実施の形態は、分析対象となる情報の量や内容が変化した場合に、分析状態情報を記憶する分析状態記憶部の制限により、必要とする分析状態情報を記憶できなくなり、所望の分析の実行を継続できなくなるという問題を回避することができる。
 [第3の実施の形態]
 第3の実施の形態では、本発明の最小構成の実施の形態について説明する。まず、図23に、本発明の第3の実施の形態としての情報処理システム3の構成を示す。図23において、本発明の最小構成である情報処理システム3は、分析装置30と、制御装置31とを含む。分析装置30および制御装置31は、通信可能に接続される。
 分析装置30は、分析実行部301と、分析規則記憶部302と、分析状態記憶部303と、分析規則管理部304とを含む。
 また、制御装置31は、分析状態監視部311と、評価結果記憶部312と、評価結果管理部313と、分析規則制御部314とを含む。
 ここで、分析装置30および制御装置31の各機能ブロックは、図2に示した本発明の第1の実施の形態と同様のハードウェア要素によって構成可能である。ただし、分析装置30、制御装置31およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
 分析実行部301は、分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する。
 分析規則記憶部302は、分析規則を記憶する。
 分析状態記憶部303は、分析実行部301によって分析の実行時に生成または参照される分析の状態を表す分析状態情報を記憶する。
 分析規則管理部304は、分析規則を管理する。
 分析状態監視部311は、分析状態記憶部303の使用状況を監視する。
 評価結果管理部313は、分析結果に対する評価結果を取得し管理する。
 評価結果記憶部312は、評価結果を記憶する。
 分析規則制御部314は、分析状態記憶部303の使用状況および評価結果に基づいて、分析規則管理部304を介して分析規則を制御する。ここで、分析規則の制御とは、例えば、分析実行部301による分析において新たに生成される分析状態情報の量や内容が調整されるように分析規則の内容を変更することであってもよい。
 なお、図23において、分析装置30と、制御装置31とを、異なる装置として例示した。これに限らず、これらの装置は、一体とした装置として構成されてもよい。
 以上のように構成された情報処理システム3の動作について、図面を参照して説明する。
 まず、分析装置30が分析を実行する動作を、図24に示す。
 図24では、まず、分析実行部301は、分析対象のデータを取得する(ステップS1001)。
 次に、分析実行部301は、分析規則記憶部302から、分析規則を1つ読み込む(ステップS1002)。
 次に、分析実行部301は、分析の実行に必要となる分析状態情報を、分析状態記憶部303から読み込む(ステップS1003)。
 次に、分析実行部301は、この分析規則に基づく分析を、読み込んだ分析状態情報を参照しながら実行する(ステップS1004)。
 次に、分析実行部301は、分析の実行において、実行中の分析もしくは他の分析に利用され得る分析状態情報を検出した場合、その分析状態情報を分析状態記憶部303に保存する(ステップS1005)。
 次に、分析実行部301は、この分析規則に基づいて、分析結果を必要に応じて出力する(ステップS1006)。分析規則に基づき分析結果の出力が必要でなければ、ステップS1006の動作は省略される。
 また、もし、ステップS1002で読み込んだ分析規則に基づき分析の実行が不要と判断される場合、ステップS1003~S1006の動作は省略される。
 次に、分析実行部301は、分析対象のデータに対して未実行の分析規則があるか否かを判定する(ステップS1007)。
 ここで、分析対象のデータに対して未実行の分析規則があれば(ステップS1007でYes)、分析実行部301は、ステップS1002からS1007までを繰り返し実行する。
 一方、分析対象のデータに対して未実行の分析規則がなければ(ステップS1007でNo)、分析装置30は、処理を終了する。
 次に、制御装置31が評価結果を取得する動作について説明する。制御装置31が評価結果を取得する動作は、図9を参照して説明した本発明の第1の実施の形態と同様であるため、図示および説明を省略する。
 次に、制御装置31が、分析状態記憶部303の使用状況を監視し分析規則を制御する動作の詳細を、図25のフローチャートに示す。
 図25では、まず、分析状態監視部311は、分析装置30に対して、分析状態記憶部303の使用状況を確認する情報を送信する(ステップS3001)。
 次に、分析状態監視部311は、分析状態記憶部303の使用状況を表す情報を受信する(ステップS3002)。
 次に、分析規則制御部314は、分析状態記憶部303の使用状況に基づいて、分析規則の制御が必要であるか否かを判断する(ステップS3003)。
 ここで、分析規則の制御が必要である場合、分析規則制御部314は、分析状態記憶部303の使用状況および評価結果記憶部312の評価結果に基づいて、分析規則を制御する情報を、分析装置30に対して送信する(ステップS3004)。例えば、分析規則を制御する情報は、分析実行部301による分析において新たに生成される分析状態情報の量や内容が調整されるように分析規則を変更することを指示する内容であってもよい。そして、制御装置31は、処理を終了する。
 また、ステップS3003において、分析規則の制御が必要でないと判断された場合も、制御装置31は、処理を終了する。
 なお、図25に示した動作は、所定のタイミング毎に実行される。所定のタイミング毎の実行とは、定期的な実行であってもよいし、何らかの規則やスケジュールに基づく反復的な実行であってもよい。
 次に、分析装置30が制御装置31の指示に基づいて実行する動作の詳細を、図26のフローチャートに示す。
 図26では、まず、分析装置30が、分析状態記憶部303の使用状況を確認する情報を受信した場合について説明する(ステップS4001で「使用状況を確認する情報」)。この場合、分析装置30は、分析状態記憶部303の使用状況を表す情報を取得する(ステップS4002)。
 次に、分析装置30は、使用状況を表す情報を、制御装置31に対して送信し(ステップS4003)、処理を終了する。
 また、分析装置30が、分析規則を制御する情報を受信した場合について説明する(ステップS4001で「分析規則を制御する情報」)。ここでは、分析規則を制御する情報には、制御の対象となる分析規則を特定する情報および制御の内容が含まれているとする。この場合、分析規則管理部304は、分析規則記憶部302において、制御の対象の分析規則を、制御の内容にしたがって変更する(ステップS4004)。
 以上で、分析装置30が、制御装置31の指示の下に行う動作の説明を終了する。
 次に、本発明の第3の実施の形態の効果について述べる。
 本発明の第3の実施の形態としての情報処理システムは、分析対象として入力される情報の量や内容を予測することが困難な用途において、分析の実行をより確実に継続することができる。
 その理由について説明する。本実施の形態では、分析装置において、分析実行部が、分析規則に基づいて分析規則を実行し分析結果を出力する。また、分析規則記憶部が、分析規則を記憶している。また、分析規則管理部が、分析規則記憶部の分析規則を管理する。また、分析状態記憶部が、分析実行部による分析の実行時に生成または参照される分析状態情報を記憶している。また、制御装置において、分析状態監視部が、分析状態記憶部の使用状況を監視する。また、評価結果管理部が、分析結果に対する評価結果を取得し、評価結果記憶部に保存して管理する。そして、分析規則制御部が、分析状態記憶部の使用状況および評価結果記憶部の評価結果に基づいて、分析規則管理部を介して分析規則を制御するからである。分析規則の制御により、例えば、分析規則は、分析実行部による分析において新たに生成される分析状態情報の量や内容が調整されるような内容に変更される。
 このように、本実施の形態は、分析実行装置における分析状態記憶部の使用状況および分析結果に対する評価結果に基づいて、必要に応じて分析規則を制御する。これにより、本実施の形態は、分析実行装置において新たに生成されて分析状態記憶部に記憶される分析状態情報の量や内容を調節する。その結果、本実施の形態は、分析対象となる情報の量や内容が変化した場合に、分析状態情報を記憶する分析状態記憶部の制限により分析に必要な分析状態情報を記憶できなくなる状況を回避できる。そして、本実施の形態は、分析の実行を確実に継続することができる。
 以上、本発明の各実施の形態を説明したが、本発明は、上記した実施の形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。
 例えば、各図面に示したシステム構成、各装置の構成、シーケンス、フローチャートは、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
 また、上述した本発明の各実施の形態において、分析装置の機能ブロックは、複数の装置に分散されて実現されてもよい。また、制御装置の機能ブロックは、複数の装置に分散されて実現されてもよい。
 また、上述した本発明の第1および第2の実施の形態では、分析装置が、センサ群から分析対象のログを受信する例について説明した。ただし、本発明において分析対象となるデータは、センサ群から出力されたログに限定されない。分析対象となるデータとしては、リアルタイム、非リアルタイム、オンラインまたはオフラインに収集された任意のデータを適用可能である。例えば、本発明の情報処理システムは、分析の開始に先立って、予め、通信回線、もしくは、他の媒体を利用して収集または蓄積されたデータを、分析対象としてもよい。
 また、上述した本発明の第1および第2の実施の形態において、制御装置の分析状態監視部が、分析状態記憶部の使用状況として可用資源量(空き記憶容量)を取得する例について説明した。これに限らず、分析状態監視部は、使用状況として、分析状態記憶部の使用状況に関わる他の情報またはこれらの組み合わせを取得してもよい。
 また、上述した本発明の第1および第2の実施の形態では、制御装置の分析規則制御部が、所定の枯渇条件(または余剰条件)として、空き記憶容量が閾値を下回る(または上回る)ことを適用する例について説明した。これに限らず、分析規則制御部は、所定の枯渇条件(または余剰条件)として、分析状態記憶部の使用状況に関わる他の条件を適用してもよい。
 また、上述した本発明の第1および第2の実施の形態において、制御装置の評価結果記憶部が、分析結果の評価結果として、真陽性もしくは偽陽性を表す情報を記憶する例について説明した。また、制御装置の分析規則制御部が、無効化(または有効化)する分析規則として、偽陽性発生率が閾値を超える(または超えない)分析規則を特定する例について説明した。これに限らず、分析規則制御部は、無効化(または有効化)の対象となる分析規則の特定を、他の基準に基づいて行ってもよい。例えば、評価結果記憶部が、分析結果の評価結果として、分析結果の確からしさを示す数値を分析規則ID毎に記憶していてもよい。この場合、分析規則制御部は、分析規則ID毎の確からしさを示す数値の合計値に基づいて、無効化(または有効化)の対象となる分析規則を特定してもよい。さらに、評価結果記憶部が、分析結果に対する評価結果として、分析結果の出力に寄与したログの送信元のセンサの重要度に基づく値を記憶していてもよい。そのようなセンサの重要度は、あらかじめ定められていてもよい。そして、この場合、分析規則制御部は、分析規則ID毎にセンサの重要度に基づく数値の合計値に基づいて、無効化(または有効化)の対象となる分析規則を特定してもよい。
 また、上述した本発明の各実施の形態において、分析装置および制御装置の各機能ブロックが、メモリに記憶されたコンピュータ・プログラムを実行するCPUによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。
 また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した分析装置および制御装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置(記憶媒体)に格納しておく。そして、係るコンピュータ・プログラムを当該CPUが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。
 また、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施の形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施の形態の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
 また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
 また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
 また、上述した各実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
 分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する分析実行部と、
 前記分析規則を記憶する分析規則記憶部と、
 前記分析規則を管理する分析規則管理部と、
 前記分析実行部によって生成または参照される前記分析の状態を表す分析状態情報を記憶する分析状態記憶部と、を有する分析装置と、
 前記分析状態記憶部の使用状況を監視する分析状態監視部と、
 前記分析結果に対する評価結果を取得し管理する評価結果管理部と、
 前記評価結果を記憶する評価結果記憶部と、
 前記分析状態記憶部の使用状況および前記評価結果に基づいて、前記分析規則管理部を介して前記分析規則を制御する分析規則制御部と、を有する制御装置と、
 を備える情報処理システム。
(付記2)
 前記分析実行部は、前記分析規則毎に該分析規則に基づく分析を実行し、
 前記評価結果記憶部は、前記評価結果を前記分析規則毎に記憶し、
 前記分析規則制御部は、前記分析状態記憶部の使用状況が所定条件を満たしたときに、前記評価結果に基づき選択した分析規則を制御することにより、該分析規則に基づく分析を前記分析実行部に実行させるか否かを制御することを特徴とする付記1に記載の情報処理システム。
(付記3)
 前記分析状態監視部は、前記分析状態記憶部の使用状況として可用資源量を取得し、
 前記分析規則制御部は、前記可用資源量が所定の枯渇条件を満たしたときに、前記評価結果の低さに基づいて選択した前記分析規則を制御することにより、該分析規則に基づく分析の前記分析実行部による実行が停止されるよう制御することを特徴とする付記2に記載の情報処理システム。
(付記4)
 前記分析規則制御部は、前記実行が停止されるよう制御される分析の分析規則に関わる分析状態情報を、前記分析状態記憶部から削除することを特徴とする付記3に記載の情報処理システム。
(付記5)
 前記分析規則制御部は、前記可用資源量が所定の余剰条件を満たしたときに、実行が停止されている前記分析の分析規則のうち、前記評価結果の高さに基づいて選択した前記分析規則を制御することにより、該分析規則に基づく分析の前記分析実行部による実行が開始されるよう制御することを特徴とする付記3または付記4に記載の情報処理システム。
(付記6)
 前記分析実行部と、前記分析規則記憶部と、前記分析規則管理部と、を少なくとも含む他の分析装置をさらに備えることを特徴とする付記1から付記5のいずれか1つに記載の情報処理システム。
(付記7)
 前記分析規則制御部は、前記分析規則に基づく分析を、前記分析装置の前記分析実行部に実行させないよう制御する場合、該分析規則に基づく分析を前記他の分析装置の前記分析実行部に実行させるよう、前記他の分析装置の前記分析規則記憶部に記憶された前記分析規則を、前記他の分析装置の前記分析規則管理部を介して制御することを特徴とする付記6に記載の情報処理システム。
(付記8)
 付記1から付記7のいずれか1つに記載の情報処理システムにおける分析装置。
(付記9)
 付記1から付記7のいずれか1つに記載の情報処理システムにおける制御装置。
(付記10)
 分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する分析実行部と、前記分析規則を記憶する分析規則記憶部と、前記分析規則を管理する分析規則管理部と、前記分析実行部によって生成または参照される前記分析の状態を表す分析状態情報を記憶する分析状態記憶部と、を有する分析装置に対して、
 コンピュータ装置が、
 前記分析状態記憶部の使用状況を監視し、
 前記分析結果に対する評価結果を取得して管理し、
 前記分析状態記憶部の使用状況および前記評価結果に基づいて、前記分析規則管理部を介して前記分析規則を制御する方法。
(付記11)
 分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する分析実行部と、前記分析規則を記憶する分析規則記憶部と、前記分析規則を管理する分析規則管理部と、前記分析実行部によって生成または参照される前記分析の状態を表す分析状態情報を記憶する分析状態記憶部と、を有する分析装置に対して、
 前記分析状態記憶部の使用状況を監視する分析状態監視ステップと、
 前記分析結果に対する評価結果を取得し管理する評価結果管理ステップと、
 前記評価結果を記憶する評価結果記憶ステップと、
 前記分析状態記憶部の使用状況および前記評価結果に基づいて、前記分析規則管理部を介して前記分析規則を制御する分析規則制御ステップと、
 をコンピュータ装置に実行させるプログラム。
 以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
 この出願は、2016年6月13日に出願された日本出願特願2016-117145を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 1、2、3  情報処理システム
 10、20、30  分析装置
 11、21、31  制御装置
 101、201、301  分析実行部
 102、202、302 分析規則記憶部
 103、303  分析状態記憶部
 104、304  分析規則管理部
 111、311  分析状態監視部
 112、212、312  評価結果記憶部
 113、313  評価結果管理部
 114、214、314  分析規則制御部
 205  ログ保存部
 1001、1101  CPU
 1002、1102  メモリ
 1005、1105  ネットワークインタフェース
 5、6  センサ
 7、8  評価装置
 9  通知先装置

Claims (11)

  1.  分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する分析実行手段と、
     前記分析規則を記憶する分析規則記憶手段と、
     前記分析規則を管理する分析規則管理手段と、
     前記分析実行手段によって生成または参照される前記分析の状態を表す分析状態情報を記憶する分析状態記憶手段と、を有する分析装置と、
     前記分析状態記憶手段の使用状況を監視する分析状態監視手段と、
     前記分析結果に対する評価結果を取得し管理する評価結果管理手段と、
     前記評価結果を記憶する評価結果記憶手段と、
     前記分析状態記憶手段の使用状況および前記評価結果に基づいて、前記分析規則管理手段を介して前記分析規則を制御する分析規則制御手段と、を有する制御装置と、
     を備える情報処理システム。
  2.  前記分析実行手段は、前記分析規則毎に該分析規則に基づく分析を実行し、
     前記評価結果記憶手段は、前記評価結果を前記分析規則毎に記憶し、
     前記分析規則制御手段は、前記分析状態記憶手段の使用状況が所定条件を満たしたときに、前記評価結果に基づき選択した分析規則を制御することにより、該分析規則に基づく分析を前記分析実行手段に実行させるか否かを制御することを特徴とする請求項1に記載の情報処理システム。
  3.  前記分析状態監視手段は、前記分析状態記憶手段の使用状況として可用資源量を取得し、
     前記分析規則制御手段は、前記可用資源量が所定の枯渇条件を満たしたときに、前記評価結果の低さに基づいて選択した前記分析規則を制御することにより、該分析規則に基づく分析の前記分析実行手段による実行が停止されるよう制御することを特徴とする請求項2に記載の情報処理システム。
  4.  前記分析規則制御手段は、前記実行が停止されるよう制御される分析の分析規則に関わる分析状態情報を、前記分析状態記憶手段から削除することを特徴とする請求項3に記載の情報処理システム。
  5.  前記分析規則制御手段は、前記可用資源量が所定の余剰条件を満たしたときに、実行が停止されている前記分析の分析規則のうち、前記評価結果の高さに基づいて選択した前記分析規則を制御することにより、該分析規則に基づく分析の前記分析実行手段による実行が開始されるよう制御することを特徴とする請求項3または請求項4に記載の情報処理システム。
  6.  前記分析実行手段と、前記分析規則記憶手段と、前記分析規則管理手段と、を少なくとも含む他の分析装置をさらに備えることを特徴とする請求項1から請求項5のいずれか1項に記載の情報処理システム。
  7.  前記分析規則制御手段は、前記分析規則に基づく分析を、前記分析装置の前記分析実行手段に実行させないよう制御する場合、該分析規則に基づく分析を前記他の分析装置の前記分析実行手段に実行させるよう、前記他の分析装置の前記分析規則記憶手段に記憶された前記分析規則を、前記他の分析装置の前記分析規則管理手段を介して制御することを特徴とする請求項6に記載の情報処理システム。
  8.  請求項1から請求項7のいずれか1項に記載の情報処理システムにおける分析装置。
  9.  請求項1から請求項7のいずれか1項に記載の情報処理システムにおける制御装置。
  10.  分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する分析実行手段と、前記分析規則を記憶する分析規則記憶手段と、前記分析規則を管理する分析規則管理手段と、前記分析実行手段によって生成または参照される前記分析の状態を表す分析状態情報を記憶する分析状態記憶手段と、を有する分析装置に対して、
     コンピュータ装置が、
     前記分析状態記憶手段の使用状況を監視し、
     前記分析結果に対する評価結果を取得して管理し、
     前記分析状態記憶手段の使用状況および前記評価結果に基づいて、前記分析規則管理手段を介して前記分析規則を制御する方法。
  11.  分析対象として入力されるデータに対して分析規則に基づき分析を実行し分析結果を出力する分析実行手段と、前記分析規則を記憶する分析規則記憶手段と、前記分析規則を管理する分析規則管理手段と、前記分析実行手段によって生成または参照される前記分析の状態を表す分析状態情報を記憶する分析状態記憶手段と、を有する分析装置に対して、
     前記分析状態記憶手段の使用状況を監視する分析状態監視ステップと、
     前記分析結果に対する評価結果を取得し管理する評価結果管理ステップと、
     前記評価結果を記憶する評価結果記憶ステップと、
     前記分析状態記憶手段の使用状況および前記評価結果に基づいて、前記分析規則管理手段を介して前記分析規則を制御する分析規則制御ステップと、
     をコンピュータ装置に実行させるプログラムを記憶した記憶媒体。
PCT/JP2017/021561 2016-06-13 2017-06-12 情報処理システム、分析装置、制御装置、方法および記憶媒体 WO2017217349A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018523881A JP6930535B2 (ja) 2016-06-13 2017-06-12 情報処理システム、分析装置、制御装置、方法およびプログラム
US16/305,437 US11243865B2 (en) 2016-06-13 2017-06-12 Information processing system, method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016117145 2016-06-13
JP2016-117145 2016-06-13

Publications (1)

Publication Number Publication Date
WO2017217349A1 true WO2017217349A1 (ja) 2017-12-21

Family

ID=60663282

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021561 WO2017217349A1 (ja) 2016-06-13 2017-06-12 情報処理システム、分析装置、制御装置、方法および記憶媒体

Country Status (3)

Country Link
US (1) US11243865B2 (ja)
JP (1) JP6930535B2 (ja)
WO (1) WO2017217349A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167098A (ja) * 1999-12-07 2001-06-22 Hitachi Ltd 大量データの分散並列分析方法
JP2004326480A (ja) * 2003-04-25 2004-11-18 Hitachi Ltd 大量データの分散並列分析方法
JP2005038073A (ja) * 2003-07-17 2005-02-10 Hitachi Ltd ルール検索方法、装置、プログラム及び記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466980B1 (en) 1999-06-17 2002-10-15 International Business Machines Corporation System and method for capacity shaping in an internet environment
US20110219035A1 (en) * 2000-09-25 2011-09-08 Yevgeny Korsunsky Database security via data flow processing
US7155514B1 (en) * 2002-09-12 2006-12-26 Dorian Software Creations, Inc. Apparatus for event log management
US7376969B1 (en) 2002-12-02 2008-05-20 Arcsight, Inc. Real time monitoring and analysis of events from multiple network security devices
US7260844B1 (en) 2003-09-03 2007-08-21 Arcsight, Inc. Threat detection in a network security system
JP2007172260A (ja) 2005-12-21 2007-07-05 Mitsubishi Electric Corp 文書ルール作成支援装置および文書ルール作成支援方法並びに文書ルール作成支援プログラム
US8448234B2 (en) * 2007-02-15 2013-05-21 Marvell Israel (M.I.S.L) Ltd. Method and apparatus for deep packet inspection for network intrusion detection
JP5584917B2 (ja) 2011-05-12 2014-09-10 株式会社日立製作所 データ分析システム及びデータ分析方法
US20140336984A1 (en) * 2013-05-13 2014-11-13 Abb Technology Ag. Conditional monitoring of industrial systems
US20200067861A1 (en) * 2014-12-09 2020-02-27 ZapFraud, Inc. Scam evaluation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167098A (ja) * 1999-12-07 2001-06-22 Hitachi Ltd 大量データの分散並列分析方法
JP2004326480A (ja) * 2003-04-25 2004-11-18 Hitachi Ltd 大量データの分散並列分析方法
JP2005038073A (ja) * 2003-07-17 2005-02-10 Hitachi Ltd ルール検索方法、装置、プログラム及び記録媒体

Also Published As

Publication number Publication date
JPWO2017217349A1 (ja) 2019-04-11
JP6930535B2 (ja) 2021-09-01
US11243865B2 (en) 2022-02-08
US20200319990A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
RU2638710C1 (ru) Способы обнаружения вредоносных элементов веб-страниц
EP3516574B1 (en) Enterprise graph method of threat detection
US20170126724A1 (en) Log analyzing device, attack detecting device, attack detection method, and program
US11403389B2 (en) System and method of detecting unauthorized access to computing resources for cryptomining
US11182163B1 (en) Customizable courses of action for responding to incidents in information technology environments
CN108337269B (zh) 一种WebShell检测方法
CN101388768A (zh) 检测恶意http请求的方法及装置
US20150089300A1 (en) Automated risk tracking through compliance testing
JP2014086821A (ja) 不正コネクション検出方法、ネットワーク監視装置及びプログラム
US9319420B1 (en) Cyber intelligence clearinghouse
JP2021027505A (ja) 監視装置、監視方法、および監視プログラム
JP2022166187A (ja) クラウドサーバにおけるインスタンスリスクレベルを決定する方法、装置及び電子機器
KR20170056876A (ko) 로그 분석을 기반으로 하는 보안 모니터링 방법, 장치 및 시스템
US20190354991A1 (en) System and method for managing service requests
KR102199177B1 (ko) 시나리오 기반 상관분석을 통한 해킹 탐지 보안 정보 이벤트 운영 시스템 및 방법
JPWO2018143097A1 (ja) 判定装置、判定方法、および、判定プログラム
KR102393913B1 (ko) 이상행위 탐지 장치, 방법 및 이를 포함하는 시스템
KR20150133370A (ko) 웹서비스 접속제어 시스템 및 방법
WO2017217349A1 (ja) 情報処理システム、分析装置、制御装置、方法および記憶媒体
CN116226865A (zh) 云原生应用的安全检测方法、装置、服务器、介质及产品
CN113591079A (zh) 获取异常应用安装包的方法、装置及电子设备
JP2020194478A (ja) 異常検知システム、及び異常検知方法
CN115085956B (zh) 入侵检测方法、装置、电子设备及存储介质
US9998495B2 (en) Apparatus and method for verifying detection rule
KR101828156B1 (ko) 트랜잭션 모니터링 시스템 및 그 동작방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018523881

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17813246

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17813246

Country of ref document: EP

Kind code of ref document: A1