WO2014020908A1 - システム状態判別支援装置、及び、システム状態判別支援方法 - Google Patents

システム状態判別支援装置、及び、システム状態判別支援方法 Download PDF

Info

Publication number
WO2014020908A1
WO2014020908A1 PCT/JP2013/004622 JP2013004622W WO2014020908A1 WO 2014020908 A1 WO2014020908 A1 WO 2014020908A1 JP 2013004622 W JP2013004622 W JP 2013004622W WO 2014020908 A1 WO2014020908 A1 WO 2014020908A1
Authority
WO
WIPO (PCT)
Prior art keywords
reliability
model
threshold
discrimination
monitoring information
Prior art date
Application number
PCT/JP2013/004622
Other languages
English (en)
French (fr)
Inventor
允裕 大野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014528001A priority Critical patent/JPWO2014020908A1/ja
Publication of WO2014020908A1 publication Critical patent/WO2014020908A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Definitions

  • the present invention relates to a system state determination support device and a system state determination support method.
  • the administrator In operation management for enterprise systems, the administrator cannot or cannot possibly receive the IT service normally so that the user can use the IT (Information Technology) service stably. A certain state (incident) is detected, and an incident to be dealt with is determined from those incidents.
  • Patent Document 1 An example of an apparatus (incident determination apparatus) using such an incident determination technique is described in Patent Document 1, for example.
  • the apparatus described in Patent Literature 1 generates model data based on past operation information when the computer system is normal.
  • the apparatus determines that the state of the computer system is abnormal when the statistical divergence between the model data and the value of the current computer system operation information is greater than or equal to a certain threshold value.
  • the threshold value for determining whether the computer system state is normal or abnormal includes false positive for determining an abnormal state as a normal state and false negative for determining a normal state as an abnormal state. There is a trade-off. For this reason, the administrator needs to set an appropriate threshold value based on experience and knowledge.
  • the administrator uses the incident determination device to generate model data for determining incidents from system monitoring information in a test environment. Set the threshold.
  • the incident discriminating device generates model data for discriminating an incident based on monitoring information in a normal state of the enterprise system or an abnormal state in the test environment. Then, the administrator uses the above model data and the provisional threshold value for the model data to test whether the incident determination device can correctly detect and determine the incident from the monitoring information in the test environment. Set.
  • the administrator sets a threshold value so that the case where the administrator determines that it is an incident is not determined that the incident determination device is not an incident, that is, false positives are reduced. This is because the administrator places importance on being able to detect incidents without omission so that the user can stably use the business service.
  • the incident determination device determines an incident from the system monitoring information in the production environment using the model data generated in the test environment and the set threshold value.
  • incident determination is performed using model data generated in a test environment and a set threshold value even in a production environment.
  • the test environment is an environment for the purpose of verifying the operation of the computer system.
  • no unnecessary program operation or network communication failure occurs, so no data loss occurs and no data delay occurs. Therefore, high quality monitoring information can be obtained in the test environment.
  • IT service usage environment during busy periods and quiet periods, virus check and update to maintain IT services, operating environment of resident programs such as scan desk, actual data transfer amount and communication failure frequency
  • the network communication environment changes. Therefore, various quality monitoring information can be obtained in the production environment.
  • the incident discriminating apparatus operates so that an incident can be correctly detected when the status (monitoring status) when monitoring information is acquired in the system is the same when the model data is generated and when the model data is used. For this reason, even if a threshold is set so that an incident can be correctly detected in the test environment in which the model data is generated, there is a problem that an incident cannot be detected correctly in a production environment in which the monitoring status is different from the test environment. For example, even if the threshold is set so that false positives are reduced in the test environment, false positives in incident determination in the production environment may not be reduced.
  • An object of the present invention is to solve the above-mentioned problems and support system state determination that can correctly determine the system state even when the monitoring state when determining the state of the system is different from the monitoring state at the time of generating model data
  • An apparatus and a system state determination support method are provided.
  • a system state determination support apparatus is configured to calculate a model reliability that is a reliability of the monitoring information of the system used for generating a determination model for determining whether or not the system is in a predetermined state.
  • the system state determination support method in one aspect of the present invention calculates a model reliability that is the reliability of the monitoring information of the system used to generate a determination model for determining whether the system is in a predetermined state, A target reliability that is the reliability of the monitoring information to be discriminated in the system is calculated, and a threshold used in discrimination by the discrimination model is corrected based on the model reliability and the target reliability.
  • the computer-readable recording medium calculates a model reliability that is the reliability of the monitoring information of the system used to generate a discrimination model for determining whether or not the system is in a predetermined state. And calculating a target reliability that is a reliability of the monitoring information of the discrimination target of the system, and correcting a threshold used in discrimination by the discrimination model based on the model reliability and the target reliability.
  • the effect of the present invention is that the system state can be correctly determined even when the monitoring state when determining the state of the system is different from the monitoring state when generating model data.
  • FIG. It is a block diagram which shows the characteristic structure of embodiment of this invention. It is a block diagram which shows the structure of the distributed system in embodiment of this invention. It is a block diagram which shows the structure of the incident determination apparatus 100 in embodiment of this invention, and the incident determination assistance apparatus 200.
  • FIG. It is a block diagram which shows the structure of the computer system 500 in embodiment of this invention. It is a flowchart which shows the process at the time of the discrimination
  • FIG. 2 is a block diagram showing the configuration of the distributed system in the embodiment of the present invention.
  • the distributed system includes an incident determination device (system state determination device) 100, an incident determination support device (system state determination support device) 200, a management terminal 300, a user terminal 400, a computer system 500, and a network 600. including.
  • the computer system 500 executes IT service (or service) processing. Further, the computer system 500 generates a monitoring information log indicating a resource usage state and an operating state, and a monitoring status log relating to the monitoring information.
  • the incident determination device 100 collects monitoring information from the computer system 500 and generates a determination model for performing incident determination.
  • the incident discriminating apparatus 100 discriminates the incident of the computer system 500 using the monitoring information to be discriminated and the discrimination model.
  • the incident discrimination support apparatus 200 calculates the reliability of the monitoring information (model reliability) used for generating the discrimination model and the reliability of the monitoring information to be discriminated (target reliability) based on the monitoring status. Further, the incident determination support apparatus 200 controls (corrects) a determination threshold value for performing incident determination based on the calculated model reliability and target reliability.
  • the user terminal 400 receives a service execution request from a user or the like and transmits it to the computer system 500. Further, the user terminal 400 receives the execution result of the service by the computer system 500.
  • the network 600 is realized by, for example, the Internet, an intranet, a local area network, or the like. These may be used alone or in combination.
  • the network 600 connects the computer system 500 and the user terminal 400.
  • the management terminal 300 instructs the incident discriminating apparatus 100 to generate a discrimination model and execute incident discrimination in response to a request from an administrator or the like. In addition, the management terminal 300 outputs a determination result of incident determination to an administrator or the like. In addition, the management terminal 300 performs various settings for the incident determination device 100, the incident determination support device 200, and the computer system 500.
  • FIG. 4 is a block diagram showing a configuration of the computer system 500 according to the embodiment of the present invention.
  • the computer system 500 includes one or more front end nodes 510 and a plurality of processing nodes 520.
  • the computer system 500 is realized by, for example, a cloud computing system, a grid computing system, a parallel distributed computer, a super computer, a server computer, a personal computer, and a combination of any number thereof.
  • the front end node 510 receives a service execution request from the user terminal 400 and transfers it to the processing node 520. Further, the front end node 510 transfers the execution result of the service by the processing node 520 to the user terminal 400.
  • the front-end node 510 may limit the number of service execution requests from the user terminal 400 that are accepted during a certain period of time.
  • the processing node 520 is a computer that executes service processing.
  • the processing node 520 may be a virtual computer (virtual processing node) constructed on a computer.
  • the processing node 520 includes a physical or logical processor, a physical or logical memory, a physical or logical storage, and a physical or logical communication interface as resources (not shown). Further, the processing node 520 may include, as resources, information processing apparatuses, computer clusters, and other hardware that executes information processing. Further, the processing node 520 may include an application program, an operating system, and other software resources as resources.
  • the processing node 520 further includes an execution unit 540, a monitoring unit 550, a monitoring information log storage unit 580, and a monitoring status log storage unit 590.
  • the execution unit 540 executes part or all of the service processing.
  • the monitoring unit 550 monitors the monitoring information of each resource of the processing node 520 and the monitoring status related to the monitoring information, and stores them in the monitoring information log 581 and the monitoring status log 591 respectively.
  • the monitoring information log storage unit 580 and the monitoring status log storage unit 590 store a monitoring information log 581 and a monitoring status log 591, respectively.
  • the monitoring unit 550 monitors the usage status of resources and the operating status of resources (for example, normal, abnormal, error, stopped, unknown, etc.) as monitoring information.
  • the type (resource type) of the monitoring information related to the usage status CPU (Central Processing Unit) usage rate (CPU_Usage), memory usage (MEM_Usage), storage storage capacity, network usage, throughput (Throughput), Average request response time, average transaction processing time, number of transactions, etc. are used.
  • an operating state log (Syslog) or the like is used as a resource type related to the operating state.
  • the monitoring unit 550 monitors (acquires) monitoring information of one or more resource types and stores the monitoring information in the monitoring information log 581 every predetermined period. Further, the monitoring unit 550 monitors (acquires) the monitoring status of monitoring information of one or more resource types for each predetermined period, and stores the monitoring status in the monitoring status log 591.
  • the type of monitoring status for example, monitoring interval (acquisition interval), loss frequency, delay frequency, etc. in monitoring monitoring information of one or more resource types are used.
  • the monitoring status type includes an operating status of a resident program (predetermined program) executed on the processing node 520, such as a virus check and update for maintaining a service, a scan desk, etc., a data transfer amount, and a communication failure frequency.
  • a resident program predetermined program
  • the communication status in the communication interface (predetermined interface) on the processing node 520 may be used.
  • FIG. 3 is a block diagram showing configurations of the incident determination device 100 and the incident determination support device 200 according to the embodiment of the present invention.
  • the incident determination apparatus 100 includes a service monitoring unit 110, a determination model generation unit 120, a determination unit 130, a monitoring information setting storage unit 140, a monitoring information history storage unit 150, a determination model storage unit 160, and a determination threshold storage.
  • Unit 170 and discrimination history storage unit 180 are examples of the incident determination apparatus 100.
  • the monitoring information setting storage unit 140 stores the monitoring information setting 141.
  • the monitoring information setting 141 indicates a monitoring item that the processing node 520 monitors as monitoring information.
  • FIG. 9 is a diagram showing an example of the monitoring information setting 141 according to the embodiment of the present invention.
  • the monitoring information setting 141 includes a service ID, a node ID, a resource type, and a resource threshold.
  • the service ID is an identifier of the service.
  • the node ID is an identifier of the processing node 520 that executes the service indicated by the service ID.
  • the resource type is a resource type of monitoring information monitored by the processing node 520 indicated by the node ID.
  • the resource threshold is a threshold for determining whether the measurement value of the monitoring information indicated by the resource type is normal or abnormal.
  • the upper limit threshold value of the measurement value, the lower limit threshold value of the measurement value, or both are set as the resource threshold value of the resource type related to the usage state.
  • a character string indicating an abnormal state is set in the resource threshold of the resource type related to the operating state.
  • the processing node 520 “LB011” that executes the service “SID001” monitors the resource types “Throughput” and “Syslog” as the monitoring information. Further, if the measured value of the monitoring information of the resource type “Throughput” is “5000” or more, it indicates that the measured value is determined to be abnormal. Similarly, if the measured value of the monitoring information of the resource type “Syslog” is “failed”, it indicates that the measured value is determined to be abnormal.
  • the monitoring information setting 141 is set in advance through the management terminal 300 by an administrator or the like.
  • the service monitoring unit 110 collects monitoring information from the monitoring information log 581 of the processing node 520 with reference to the monitoring information setting 141 in response to a service monitoring request from the management terminal 300.
  • the service monitoring unit 110 stores the collected monitoring information in the monitoring information history 151 and stores it in the monitoring information history storage unit 150.
  • the monitoring information history storage unit 150 stores the monitoring information history 151.
  • FIG. 10 is a diagram showing an example of the monitoring information history 151 in the embodiment of the present invention.
  • the monitoring information history 151 includes a log ID, a service ID, a service state, a node ID, a node state, a resource type, and a resource type measurement value.
  • the log ID indicates the time (time for each predetermined cycle) when the monitoring information of one or more resource types monitored (acquired) by the processing node 520 is stored in the monitoring information log 581.
  • the resource type measurement value is a measurement value of the monitoring information indicated by the resource type at the time indicated by the log ID collected from the processing node 520 indicated by the node ID.
  • the node status is the status of the processing node 520 at the time indicated by the log ID collected from the processing node 520 indicated by the node ID. For example, “normal”, “partially abnormal”, and “abnormal” are set as the node state. Here, “normal” indicates that the measured values of all resource types monitored by the processing node 520 are normal. “Partial abnormality” indicates that the measured value of any resource type monitored by the processing node 520 is abnormal. “Abnormal” indicates that the measured values of all resource types monitored by the processing node 520 are abnormal.
  • the node state is set by the monitoring unit 550 comparing the measured value of the monitoring information of each resource type with the resource threshold value to determine whether the measured value is normal or abnormal.
  • the service status is the status of the processing node 520 group that performs processing of the service indicated by the service ID. For example, “normal”, “partially abnormal”, “abnormal” or the like is set as the service state.
  • “normal” indicates that the node states of all the processing nodes 520 that perform service processing are normal.
  • “Partial abnormality” indicates that the node state of any of the processing nodes 520 that perform service processing is abnormal.
  • “Abnormal” indicates that the node states of all the processing nodes 520 that perform service processing are abnormal.
  • the service status is set based on the node status collected from the processing node 520 in the service monitoring unit 110.
  • the discriminant model generation unit 120 refers to the monitoring information history 151 and generates a discriminant model for each service on the computer system 500.
  • the service monitoring unit 110 stores the generated discrimination model in the discrimination model information 161 and saves it in the discrimination model storage unit 160.
  • the discriminant model storage unit 160 stores discriminant model information 161.
  • the discrimination model information 161 indicates a discrimination model for each incident type of service.
  • FIG. 11 is a diagram showing an example of the discrimination model information 161 in the embodiment of the present invention.
  • the discrimination model information 161 includes a service ID, a model ID, an incident type, a resource type, and a resource type statistic.
  • the incident type indicates the state of the computer system 500 that processes the service indicated by the service ID (a state in which the service state and the node state are combined).
  • “ALLClear”, “PartialError”, or the like is set as the incident type.
  • “ALLClear” indicates that the service state is “normal”.
  • “PartialError” indicates that the service state is “partial error” and the node states of some processing nodes 520 are “abnormal”.
  • “PartialError11”, “PartialError12”, etc. may be set according to the combination of the processing nodes 520 whose node state is “abnormal”.
  • the model ID is an identifier of the discrimination model.
  • the resource type statistic is a statistical value of monitoring information for determining whether or not the state of the computer system 500 that performs processing of the service indicated by the service ID is an incident type.
  • Resource type statistics are set for each resource type.
  • the statistics include, for example, the number of samples, the arithmetic mean, the standard deviation, the median, the mode, the unbiased standard deviation, the unbiased variance, the kurtosis, the skewness, the minimum value, the maximum value, and the range (related to the measurement value of the monitoring information.
  • a set of one or more of (maximum value ⁇ minimum value), sum, and n% confidence interval is used.
  • the discrimination threshold storage unit 170 stores discrimination threshold information 171.
  • the discrimination threshold information 171 indicates the discrimination threshold set for the discrimination model.
  • FIG. 12 is a diagram showing an example of the discrimination threshold information 171 (before correction) in the embodiment of the present invention.
  • the discrimination threshold information 171 includes a service ID, a model ID, an incident type, a node ID, a discrimination threshold, a maximum threshold, and a minimum threshold.
  • the discrimination threshold is a threshold used when discriminating whether the measurement value of the monitoring information of the processing node 520 indicated by the node ID is in the incident type state based on the discrimination model indicated by the model ID. is there.
  • a range of measurement values of monitoring information is set as the discrimination threshold.
  • the discrimination threshold may be set using, for example, the resource type statistic of the corresponding discrimination model.
  • the maximum threshold is the maximum width of the discrimination threshold that can be changed by the discrimination threshold correction unit 220.
  • the minimum threshold is the minimum width of the determination threshold that can be changed by the determination threshold correction unit 220.
  • the discrimination threshold information 171 of FIG. 12 is obtained when the measured value of the monitoring information of the processing node 520 “LB011” is the discrimination threshold “avg (average value) ⁇ 2.0, for example, when incident discrimination is performed using the discrimination model“ Model011 ”. If it is within the range of “ ⁇ (standard deviation value)”, this indicates that the processing node 520 “LB011” is determined to be in the incident type “ALLClear”. Further, it is shown that the discrimination threshold can be changed within the range from the minimum threshold “avg ⁇ 1.0 ⁇ ” to the maximum threshold “avg ⁇ 3.0 ⁇ ”.
  • the initial value, maximum threshold value, and minimum threshold value of the discrimination threshold are set by an administrator or the like. Further, the initial value, the maximum threshold value, and the minimum threshold value of the discrimination threshold may be set by the discrimination model generation unit 120.
  • the discriminating unit 130 refers to the discriminating model information 161 and the discriminating threshold information 171 and discriminates incidents for each service on the computer system 500.
  • the determination unit 130 stores the determination result of the incident determination in the determination history information 181 and stores it in the determination history storage unit 180.
  • the discrimination history storage unit 180 stores discrimination history information 181.
  • the discrimination history information 181 indicates the discrimination result of incident discrimination.
  • FIG. 14 is a diagram showing an example of the discrimination history information 181 in the embodiment of the present invention.
  • the discrimination history information 181 includes a log ID, a service ID, a model ID, an incident type, and a discrimination result.
  • the discrimination history information 181 may further include a node ID and a discrimination threshold.
  • the determination result indicates whether or not the monitoring information related to the service indicated by the service ID is in an incident type state. For example, “OK” indicating that the state is indicated by the incident type, “NG” indicating that the state is not indicated by the incident type, or the like is set in the determination result.
  • the discrimination threshold is a discrimination threshold used in incident discrimination for the processing node 520 indicated by the node ID.
  • the determination threshold “avg ⁇ 2.4 ⁇ ” is used for the processing node 520 “LB011”.
  • the incident discrimination support apparatus 200 includes a discrimination model reliability calculation unit 210, a discrimination threshold correction unit 220, a monitoring situation setting storage unit 230, and a discrimination model reliability storage unit 240.
  • the monitoring status setting storage unit 230 stores the monitoring status setting 231.
  • the monitoring status setting 231 indicates a monitoring item that the processing node 520 monitors as a monitoring status.
  • FIG. 15 is a diagram showing an example of the monitoring status setting 231 in the embodiment of the present invention.
  • the monitoring status setting 231 includes a service ID, a node ID, and a monitoring status type.
  • the monitoring status type is a monitoring status type of a monitoring status monitored by the processing node 520 indicated by the node ID.
  • the processing node 520 “LB011” monitors the monitoring states of the monitoring status types “monitoring interval”, “missing frequency”, and “delay frequency”.
  • the monitoring status setting 231 is set in advance through the management terminal 300 by an administrator or the like.
  • the discrimination model reliability calculation unit 210 refers to the monitoring status setting 231 and collects the monitoring status related to the monitoring information used for generating the discrimination model from the monitoring status log 591 of each processing node 520. Then, the discriminant model reliability calculation unit 210 calculates the reliability (model reliability) of the monitoring information used for generating the discriminant model based on the collected monitoring situation. The discriminant model reliability calculation unit 210 stores the calculated model reliability in the discriminant model reliability information 241 and stores it in the discriminant model reliability storage unit 240.
  • the discriminant model reliability storage unit 240 stores discriminant model reliability information 241.
  • the discrimination model reliability information 241 indicates the model reliability of the discrimination model.
  • FIG. 17 is a diagram showing an example of the discrimination model reliability information 241 in the embodiment of the present invention.
  • the discriminant model reliability information 241 includes a service ID, a model ID, an incident type, a node ID, a model reliability, a maximum model reliability, and a minimum model reliability.
  • model reliability the maximum model reliability, and the minimum model reliability are respectively the reliability of the monitoring information of the processing node 520 indicated by the node ID used for generating the discriminant model indicated by the model ID.
  • the average value, maximum value, and minimum value are shown.
  • the discrimination threshold correction unit 220 refers to the monitoring status setting 231 and collects the monitoring status related to the discrimination target monitoring information from the monitoring status log 591 of each processing node 520. Then, the discrimination threshold correction unit 220 calculates the reliability (target reliability) of the monitoring information to be discriminated based on the collected monitoring status. Further, the discrimination threshold correction unit 220 corrects the discrimination threshold based on the target reliability and the model reliability acquired from the discrimination model reliability information 241.
  • the incident determination apparatus 100 and the incident determination support apparatus 200 may each be a computer that includes a CPU and a storage medium that stores a program, and that operates by control based on the program.
  • FIG. 5 is a flowchart showing processing at the time of generating a discrimination model of the incident discrimination device 100 and the incident discrimination support device 200 in the embodiment of the present invention.
  • the monitoring information setting 141 in FIG. 9 and the monitoring status setting 231 in FIG. 15 are set by an administrator or the like. Further, as shown in FIG. 10, it is assumed that the monitoring information history 151 stores measured values of monitoring information during the period (time “T0001” to “T1000”) during which service processing is executed in the test environment. To do.
  • the discrimination model generation unit 120 of the incident determination device 100 receives a discrimination model generation request from the management terminal 300 (step S101).
  • the discriminant model generation request includes a period (modeling period) of monitoring information used for generating the discriminant model and a service ID of the service for which the discriminant model is to be generated.
  • the modeling period for example, the period (time “T0001” to “T1000”) in which the service process is executed in the test environment is specified.
  • the discriminant model generation unit 120 collects monitoring information measurement values for the service ID and modeling period specified in the discriminant model generation request from the monitoring information history 151 (step S102).
  • the discriminant model generation unit 120 classifies the collected measurement values of the monitoring information according to the above incident types (step S103).
  • the discriminant model generation unit 120 generates a discriminant model for each incident type using the measured values of the monitoring information for each incident type classified by the incident type (step S104).
  • the discrimination model generation unit 120 calculates a statistic of a measurement value for each resource type of each processing node 520 as a discrimination model. Then, the discriminant model generation unit 120 stores the calculated resource type statistic in the discriminant model information 161.
  • the discrimination model generation unit 120 uses the discrimination information of FIG. 11 based on the monitoring information history 151 of FIG. Discrimination models “Model011”, “Model012”,... In the model information 161 are generated.
  • the discrimination model generation unit 120 transmits a discrimination model generation event to the incident discrimination support device 200 (step S105).
  • the discriminant model generation event includes a service ID, a model ID, an incident type, and a modeling period related to the generated discriminant model.
  • the discriminant model generation event may include time information corresponding to each incident type in the modeling period.
  • the discrimination model generation unit 120 transmits a discrimination model generation completion notification to the management terminal 300 (step S106).
  • the discrimination model reliability calculation unit 210 of the incident discrimination support apparatus 200 receives a discrimination model generation event from the incident discrimination apparatus 100 (step S201).
  • the discriminant model reliability calculation unit 210 collects measured values of the monitoring status during the modeling period designated by the discriminant model generation event from the processing node 520 (step S202).
  • the discrimination model reliability calculation unit 210 refers to the monitoring situation setting 231 and acquires a node ID and a monitoring situation type corresponding to the service ID specified in the discrimination model generation event. Then, the discriminant model reliability calculation unit 210 collects the monitoring state measurement values of the acquired monitoring state type from the processing node 520 corresponding to the acquired node ID.
  • the discriminant model reliability calculation unit 210 generates a monitoring status collection result 251 for the modeling period based on the collected monitoring status measurement values.
  • FIG. 16 is a diagram showing an example of the monitoring status collection result 251 of the modeling period in the embodiment of the present invention.
  • the monitoring status collection result 251 includes a log ID, a service ID, a model ID, an incident type, a node ID, a monitoring status type, and a monitoring status measurement value.
  • the monitoring status measurement value is a measurement value of the monitoring status indicated by the monitoring status type collected from the processing node 520 indicated by the node ID at the time indicated by the log ID.
  • the discriminant model reliability calculation unit 210 generates the monitoring status collection result 251 of FIG. 16 for the service “SID001” and the modeling period “T0001 to T1000”.
  • the discriminant model reliability calculation unit 210 calculates the reliability of the monitoring information used for generating the discriminant model for each time in the modeling period based on the collected measurement values of the monitoring situation (step S203).
  • FIG. 6 is a flowchart showing details of the monitoring information reliability calculation process (step S203) in the embodiment of the present invention.
  • the average value x_iavg, the deviation value x_istdev, and the variation coefficient (deviation value x_istdev / average value x_iavg) are calculated (step S2031).
  • the average value x_iavg and the deviation value x_istdev are, for example, an average value and a deviation value for a plurality of times of measurement values of the monitoring status of each monitoring status type of each processing node 520.
  • the discriminant model reliability calculation unit 210 may use a value calculated in advance or a value set in advance by an administrator or the like instead of calculating the average value x_iavg and the deviation value x_istdev in step S2031.
  • the discriminant model reliability calculation unit 210 assumes that a monitoring situation type with a larger variation in the monitoring situation measurement value is a monitoring situation type to which attention should be paid, and based on a ratio of variation coefficients of each monitoring situation type, Is assigned a weight w_i (step S2032).
  • the discriminant model reliability calculation unit 210 sets the sum of the weights of all the monitoring statuses to 1, and assigns weights 0.2, 0.3 and 0.5 are assigned.
  • the discriminant model reliability calculation unit 210 uses the average value x_iavg, the deviation value x_istdev of the monitoring situation measurement value x_i calculated in step S2031, and the weight w_i calculated in step S2032, for each processing node 520 for each time.
  • the reliability D of the monitoring information is calculated by using Equation 1 and Equation 2 (Step S2033).
  • Formula 1 is a formula for calculating the reliability of the monitoring information.
  • Expression 2 is an expression for standardizing the measurement value of the monitoring situation.
  • the discriminant model reliability calculation unit 210 uses the monitoring information used for generating the discriminant model for each incident type based on the reliability of the monitoring information in each processing node 520 at each time calculated in step S203. Is calculated (model reliability) (step S204).
  • the discriminant model reliability calculation unit 210 sets the average value, the maximum value, and the minimum value regarding the reliability of the monitoring information at each time corresponding to each incident type to the incident type, respectively.
  • the model reliability, maximum model reliability, and minimum model reliability of the corresponding discriminant model are calculated.
  • the discriminant model reliability calculation unit 210 stores the calculated model reliability, the maximum model reliability, and the minimum model reliability in the discriminant model reliability information 241.
  • the discriminant model reliability calculation unit 210 applies the model for each discriminant model “Model011”, “Model012”,... Calculate reliability.
  • FIG. 7 is a flowchart showing a process at the time of incident determination in the incident determination apparatus 100 and the incident determination support apparatus 200 in the embodiment of the present invention.
  • the discrimination threshold information 171 in FIG. 12 is set by the administrator or the like for the discrimination model information 161 in FIG. Further, it is assumed that the monitoring information history 151 stores the measurement value of the monitoring information during the service processing period (time “T2001”) in the production environment as shown in FIG.
  • the determination unit 130 of the incident determination apparatus 100 receives an incident determination request from the management terminal 300 (step S151).
  • the incident determination request includes the time at which the incident is to be determined and the service ID of the service to be determined.
  • the determination target time for example, the time (time “T2001”) included in the period in which the service process is executed in the production environment is specified.
  • the determination unit 130 transmits an incident determination event to the incident determination support device 200 (step S152).
  • the incident determination event includes the time to be determined and the service ID specified in the incident determination request.
  • the discrimination threshold correction unit 220 of the incident discrimination support apparatus 200 receives an incident discrimination event from the incident discrimination apparatus 100 (step S251).
  • the discrimination threshold correction unit 220 collects the measurement value of the monitoring status at the discrimination target time designated by the incident discrimination event from the processing node 520 (step S252).
  • the discrimination threshold correction unit 220 refers to the monitoring status setting 231 and acquires the node ID and the monitoring status type corresponding to the service ID specified in the incident discrimination event. Then, the discrimination threshold correction unit 220 collects the monitoring state measurement values of the acquired monitoring state type from the processing node 520 corresponding to the acquired node ID.
  • the discrimination model reliability calculation unit 210 generates a monitoring status collection result 261 at the discrimination target time based on the collected monitoring status measurement values.
  • FIG. 18 is a diagram showing an example of the monitoring status collection result 261 of the discrimination target time according to the embodiment of the present invention.
  • the monitoring status collection result 261 includes a log ID, a service ID, a node ID, a monitoring status type, and a monitoring status measurement value.
  • the discrimination model reliability calculation unit 210 collects the monitoring status of FIG. 18 for the time “T2001” and the service “SID001”. A result 261 is generated.
  • the discrimination threshold correction unit 220 calculates the reliability (target reliability) of the monitoring information at the discrimination target time for each processing node 520 based on the collected measurement value of the monitoring status at each processing node 520 (step reliability). S253).
  • the discriminant model reliability calculation unit 210 calculates the reliability of the monitoring information at the time to be discriminated in the same procedure as steps S2031 to 2033 (FIG. 6).
  • the discriminant model reliability calculation unit 210 stores the calculated reliability in the target reliability calculation result 271 as the target reliability.
  • FIG. 19 is a diagram showing an example of the target reliability calculation result 271 in the embodiment of the present invention.
  • the target reliability calculation result 271 includes a log ID, a service ID, a node ID, and a target reliability.
  • the target reliability indicates the reliability of the monitoring information of the processing node 520 indicated by the node ID at the time indicated by the log ID.
  • the discriminant model reliability calculation unit 210 calculates the target reliability for the time “T2001” and the service “SID001” as shown in FIG. 19 based on the monitoring status collection result 261 of FIG.
  • the discrimination threshold correction unit 220 corrects the discrimination threshold of each discrimination model using the target reliability and the model reliability (step S254).
  • the discrimination threshold correction unit 220 corrects the discrimination threshold of each discrimination model corresponding to the service ID specified by the incident discrimination event, which is stored in the discrimination threshold information 171 of the incident discrimination device 100.
  • FIG. 8 is a flowchart showing details of the discrimination threshold value correction process (step S254) in the embodiment of the present invention.
  • the discrimination threshold correction unit 220 selects one node ID of the processing node 520 from the target reliability calculation result 271 (step S2541).
  • the discrimination threshold correction unit 220 acquires the target reliability for the selected node ID from the target reliability calculation result 271 (step S2542).
  • the discrimination threshold correction unit 220 selects one model ID of the discrimination model for the discrimination target service ID from the discrimination model reliability information 241 (step S2543).
  • the discrimination threshold correction unit 220 acquires the model reliability for the model ID selected in step S2543 and the node ID selected in step S2541 from the discrimination model information 161 (step S2544).
  • the discrimination threshold correction unit 220 compares the target reliability acquired in step S2542 with the model reliability acquired in step S2544 (step S2545).
  • step S2545 when the target reliability and the model reliability are the same, the discrimination threshold correction unit 220 proceeds to step S2548.
  • the determination threshold correction unit 220 determines the range indicated by the determination threshold to be narrow according to the difference between the target reliability and the model reliability. The threshold value is corrected (step S2546).
  • the discrimination threshold correction unit 220 divides, as a difference between the target reliability and the model reliability, a value obtained by subtracting the model reliability from the target reliability by a value obtained by subtracting the minimum model reliability from the maximum model reliability. The calculated value is calculated.
  • the discrimination threshold correction unit 220 then subtracts the range indicated by the minimum threshold (maximum value of the minimum threshold ⁇ minimum value of the minimum threshold) from the range indicated by the discrimination threshold (maximum value of the discrimination threshold ⁇ minimum value).
  • the range indicated by the value obtained by multiplying the difference in reliability and the discrimination threshold is narrowed.
  • the discrimination threshold for the discrimination model “Model011” and the processing node 520 “WB012” in the discrimination threshold information 171 in FIG. 12 is avg ⁇ 2.0 ⁇
  • the maximum threshold is avg ⁇ 3.0 ⁇
  • the minimum threshold is avg ⁇ 1.0 ⁇ .
  • the range indicated by the discrimination threshold is 4.0 ⁇
  • the range indicated by the minimum threshold is 2.0 ⁇
  • the value obtained by subtracting the range indicated by the minimum threshold from the range indicated by the discrimination threshold is 2.0 ⁇ .
  • the determination threshold correction unit 220 increases the range indicated by the determination threshold according to the difference between the target reliability and the model reliability.
  • the discrimination threshold is corrected (step S2547).
  • the discrimination threshold correction unit 220 divides a value obtained by subtracting the target reliability from the model reliability as a difference between the target reliability and the model reliability by a value obtained by subtracting the minimum model reliability from the maximum model reliability. The calculated value is calculated.
  • the discrimination threshold correction unit 220 subtracts the range indicated by the discrimination threshold (the maximum value of the discrimination threshold ⁇ the minimum value) from the range indicated by the maximum threshold (the maximum value of the maximum threshold ⁇ the minimum value of the maximum threshold).
  • the range indicated by the value obtained by multiplying the difference amount of the reliability and the discrimination threshold is widened.
  • the discrimination threshold for the discrimination model “Model011” and the processing node 520 “LB011” is avg ⁇ 2.0 ⁇
  • the maximum threshold is avg ⁇ 3.0 ⁇
  • the minimum threshold is avg ⁇ 1.0 ⁇ .
  • the range indicated by the maximum threshold is 6.0 ⁇
  • the range indicated by the discrimination threshold is 4.0 ⁇
  • the value obtained by subtracting the range indicated by the discrimination threshold from the range indicated by the maximum threshold is 2.0 ⁇ .
  • the discrimination threshold correction unit 220 calculates avg ⁇ 2.4 ⁇ , which is a widening of the discrimination threshold avg ⁇ 2.0 ⁇ by 0.4 ⁇ , as a new discrimination threshold.
  • the discrimination threshold correction unit 220 may execute Step S2546 or Step S2547 when the difference between the target reliability and the model reliability is equal to or greater than a predetermined value in Step S2545.
  • the determination unit 130 repeats steps S2543 to S2547 for all model IDs corresponding to the service IDs to be determined (step S2548).
  • Step S2549 the determination unit 130 repeats Steps S2541 to S2548 for all node IDs corresponding to the service ID to be determined.
  • FIG. 13 is a diagram showing an example of the discrimination threshold information 171 (after correction) in the embodiment of the present invention.
  • the discrimination threshold correction unit 220 corrects the discrimination threshold for each discrimination model “Model011,” “Model012,”... Of the service “SID001” in the discrimination threshold information 171 of FIG.
  • the discrimination threshold correction unit 220 transmits a discrimination threshold correction end event to the incident discrimination device 100 (step S255).
  • the determination unit 130 receives a determination threshold value correction end event from the incident determination support device 200 (step S153).
  • the discriminating unit 130 collects the monitoring information measurement values for the discrimination target time and service ID from the monitoring information history 151 (step S154).
  • the discrimination unit 130 selects one model ID of the discrimination model for the discrimination target service ID from the discrimination model information 161 (step S155).
  • the discriminating unit 130 acquires the resource type statistic for the selected model ID from the discriminant model information 161. In addition, the determination unit 130 acquires a determination threshold for the selected model ID from the determination threshold information 171 (step S156).
  • the discriminating unit 130 uses the resource type statistic and the discrimination threshold acquired in step S156 to perform incident discrimination on the measurement value of the monitoring information collected in step S154 at the discrimination target time (step S157).
  • the determination unit 130 determines whether or not the measured value of each resource type of each node ID related to the service ID to be determined is within the determination threshold range of the node ID.
  • the determination unit 130 sets “OK” as the determination result when the measured values are within the determination threshold value range for all resource types of all the node IDs related to the service ID to be determined. NG "is set.
  • the determination unit 130 obtains the measured values of the resource types of the processing nodes 520 “LB011”, “WEB011”,... For the time “T2001” and the service “SID001” in the monitoring information history 151 of FIG. It is determined whether or not each processing node 520 “LB011”, “WEB011”,... For the determination model “Model011” in the determination threshold information 171 is within the determination threshold range. For example, for the processing node 520 “LB011”, it is determined whether or not the measurement value “3800” of the resource type “Throughput” is within the determination threshold value “avg (3500) ⁇ 2.4 ⁇ (200.0)”.
  • the determination unit 130 stores the determination result of the incident determination in the determination history information 181 (step S158).
  • the discriminating unit 130 repeats steps S155 to S158 for the model IDs (all incident types) of all discriminating models for the service ID to be discriminated (step S159).
  • the determination unit 130 stores the determination results for each of the determination models “Model011,” “Model012,”... Of the service “SID001” as shown in FIG.
  • the determination unit 130 transmits an incident determination completion notification to the management terminal 300 (step S160).
  • the management terminal 300 acquires the discrimination history information 181 from the discrimination history storage unit 180 and outputs (displays) the discrimination result to an administrator or the like. Further, the management terminal 300 may output (display) the determination result included in the incident determination completion notification to an administrator or the like.
  • the period to be determined may be specified.
  • the incident determination support apparatus 200 corrects the determination threshold for each time in the specified period, and the incident determination apparatus 100 performs incident determination using the corrected determination threshold.
  • FIG. 1 is a block diagram showing a characteristic configuration of an embodiment of the present invention.
  • an incident discrimination support device (system state discrimination support device) 200 includes a discrimination model reliability calculation unit 210 and a discrimination threshold correction unit 220.
  • the discriminant model reliability calculation unit 210 calculates a model reliability that is the reliability of the monitoring information of the system used for generating the discriminant model for determining whether or not the system is in a predetermined state.
  • the discrimination threshold correction unit 220 calculates the target reliability, which is the reliability of the monitoring information to be discriminated in the system, and corrects the threshold used in discrimination by the discrimination model based on the model reliability and the target reliability.
  • the discrimination threshold correction unit 220 is based on the model reliability that is the reliability of the monitoring information used to generate the discrimination model and the target reliability that is the reliability of the monitoring information to be discriminated. This is to correct the threshold value used in discrimination by the discrimination model.
  • the administrator regenerates model data generated in the test environment and adjusts the set threshold so that the incident can be correctly determined in the production environment. It was necessary to do.
  • the discrimination threshold correction unit 220 corrects the threshold used for discrimination by the discrimination model according to the difference in the monitoring status between the test environment and the production environment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

　システムの状態を判別するときの監視状況がモデルデータ生成時の監視状況と異なる場合であっても、システムの状態を正しく判別する。　インシデント判別支援装置（システム状態判別支援装置）２００は、判別モデル信頼度算出部２１０と判別閾値補正部２２０とを含む。判別モデル信頼度算出部２１０は、システムが所定状態にあるかどうかを判別するための判別モデルの生成に用いたシステムの監視情報の信頼度であるモデル信頼度を算出する。判別閾値補正部２２０は、システムの判別対象の監視情報の信頼度である対象信頼度を算出し、モデル信頼度と対象信頼度とをもとに、判別モデルによる判別で用いる閾値を補正する。

Description

システム状態判別支援装置、及び、システム状態判別支援方法
　本発明は、システム状態判別支援装置、及び、システム状態判別支援方法に関する。
　企業システムを対象とした運用管理では、ユーザがＩＴ（Information Technology）サービスを安定して利用できるように、管理者は、ユーザが正常にＩＴサービスを受けることができない状態、もしくは、そうなる可能性がある状態（インシデント）を検出し、それらのインシデントから対応すべきインシデントを判別する。
　インシデントの判別技術として、コンピュータシステムのモデルデータをもとに、コンピュータシステムの状態を判別する技術が提案されている。このようなインシデントの判別技術を用いた装置（インシデント判別装置）の一例が、例えば、特許文献１に記載されている。特許文献１に記載の装置は、過去における、コンピュータシステムの正常時の稼動情報をもとに、モデルデータを生成する。そして、この装置は、モデルデータと現在のコンピュータシステムの稼動情報の値との統計的乖離度がある閾値以上である場合に、コンピュータシステムの状態が異常であると判別する。
　ここで、コンピュータシステムの状態が正常か異常かを判別する閾値の設定には、異常な状態を正常な状態と判別する偽陽性と、正常な状態を異常な状態と判別する偽陰性と、のトレードオフがある。このため、管理者は、経験や知識をもとに、適切な閾値を設定する必要がある。
　例えば、企業システムを対象とした運用管理では、運用開始前のテスト工程で、管理者は、インシデント判別装置を用いて、テスト環境におけるシステムの監視情報からインシデントを判別するためのモデルデータを生成し、その閾値を設定する。
　具体的には、インシデント判別装置は、企業システムの正常な状態、もしくは、テスト環境での異常な状態における監視情報をもとに、インシデントを判別するためのモデルデータを生成する。そして、管理者は、上記のモデルデータとモデルデータに対する仮の閾値とを用いて、インシデント判別装置が、テスト環境における監視情報からインシデントを正しく検出し、判別できるかどうかをテストすることにより、閾値を設定する。
　特に、管理者は、管理者がインシデントであると判別するケースを、インシデント判別装置がインシデントでないと判別することがないように、すなわち、偽陽性が少なくなるように閾値を設定する。これは、管理者は、ユーザが業務サービスを安定して利用できるように、インシデントを漏れなく検出できることを重視するためである。
　そして、運用開始後の運用保守工程で、インシデント判別装置は、テスト環境で生成されたモデルデータと設定された閾値とを用いて、本番環境におけるシステムの監視情報からインシデントを判別する。
特開２０１１－０３４２０８号公報
　上述の特許文献１のインシデント判別装置を用いたインシデント判別では、本番環境においても、テスト環境で生成されたモデルデータと設定された閾値とを用いてインシデント判別が行われる。
　テスト環境は、コンピュータシステムの動作検証を目的とする環境である。テスト環境では、不要なプログラムの稼動やネットワークの通信障害等が生じないため、データ欠損が生じず、データ遅延が発生しない。従って、テスト環境においては、高品質な監視情報が得られる。一方、本番環境では、繁忙期や閑散期等のＩＴサービスの利用環境、ＩＴサービスを保守するためのウイルスチェックやアップデート、スキャンデスク等の常駐プログラムの稼動環境、実際のデータ転送量や通信障害頻度等のネットワークの通信環境が変化する。従って、本番環境では、様々な品質の監視情報が得られる。
　インシデント判別装置は、システムにおいて監視情報を取得したときの状況（監視状況）がモデルデータ生成時とモデルデータ利用時とで同一である場合に、インシデントを正しく検出できるように動作する。このため、モデルデータを生成したテスト環境においてインシデントを正しく検出できるように閾値が設定されても、テスト環境と監視状況が異なる本番環境では、インシデントを正しく検出できないという課題がある。例えば、テスト環境において偽陽性が少なくなるように閾値が設定されても、本番環境のインシデント判別における偽陽性は少なくならないことがある。
　本発明の目的は、上述の課題を解決し、システムの状態を判別するときの監視状況がモデルデータ生成時の監視状況と異なる場合であっても、システムの状態を正しく判別できるシステム状態判別支援装置、及び、システム状態判別支援方法を提供することである。
　本発明の一態様におけるシステム状態判別支援装置は、システムが所定状態にあるかどうかを判別するための判別モデルの生成に用いた前記システムの監視情報の信頼度であるモデル信頼度を算出する判別モデル信頼度算出手段と、前記システムの判別対象の監視情報の信頼度である対象信頼度を算出し、前記モデル信頼度と前記対象信頼度とをもとに、前記判別モデルによる判別で用いる閾値を補正する判別閾値補正手段と、を含む。
　本発明の一態様におけるシステム状態判別支援方法は、システムが所定状態にあるかどうかを判別するための判別モデルの生成に用いた前記システムの監視情報の信頼度であるモデル信頼度を算出し、前記システムの判別対象の監視情報の信頼度である対象信頼度を算出し、前記モデル信頼度と前記対象信頼度とをもとに、前記判別モデルによる判別で用いる閾値を補正する。
　本発明の一態様におけるコンピュータが読み取り可能な記録媒体は、システムが所定状態にあるかどうかを判別するための判別モデルの生成に用いた前記システムの監視情報の信頼度であるモデル信頼度を算出し、前記システムの判別対象の監視情報の信頼度である対象信頼度を算出し、前記モデル信頼度と前記対象信頼度とをもとに、前記判別モデルによる判別で用いる閾値を補正する、処理をコンピュータに実行させるプログラムを格納する。
　本発明の効果は、システムの状態を判別するときの監視状況がモデルデータ生成時の監視状況と異なる場合であっても、システムの状態を正しく判別できることである。
本発明の実施の形態の特徴的な構成を示すブロック図である。 本発明の実施の形態における、分散システムの構成を示すブロック図である。 本発明の実施の形態におけるインシデント判別装置１００、及び、インシデント判別支援装置２００の構成を示すブロック図である。 本発明の実施の形態におけるコンピュータシステム５００の構成を示すブロック図である。 本発明の実施の形態における、インシデント判別装置１００、及び、インシデント判別支援装置２００の、判別モデル生成時の処理を示すフローチャートである。 本発明の実施の形態における、監視情報の信頼度の算出処理（ステップＳ２０３）の詳細を示すフローチャートである。 本発明の実施の形態における、インシデント判別装置１００、及び、インシデント判別支援装置２００の、インシデント判別時の処理を示すフローチャートである。 本発明の実施の形態における、判別閾値補正処理（ステップＳ２５４）の詳細を示すフローチャートである。 本発明の実施の形態における監視情報設定１４１の例を示す図である。 本発明の実施の形態における監視情報履歴１５１の例を示す図である。 本発明の実施の形態における判別モデル情報１６１の例を示す図である。 本発明の実施の形態における判別閾値情報１７１（補正前）の例を示す図である。 本発明の実施の形態における判別閾値情報１７１（補正後）の例を示す図である。 本発明の実施の形態における判別履歴情報１８１の例を示す図である。 本発明の実施の形態における監視状況設定２３１の例を示す図である。 本発明の実施の形態における、モデル化期間の監視状況収集結果２５１の例を示す図である。 本発明の実施の形態における判別モデル信頼度情報２４１の例を示す図である。 本発明の実施の形態における、判別対象時刻の監視状況収集結果２６１の例を示す図である。 本発明の実施の形態における対象信頼度算出結果２７１の例を示す図である。
　次に、本発明の実施の形態について説明する。
　はじめに、本発明の実施の形態の構成について説明する。
　＜分散システムの構成＞
　図２は、本発明の実施の形態における、分散システムの構成を示すブロック図である。図２を参照すると、分散システムは、インシデント判別装置（システム状態判別装置）１００、インシデント判別支援装置（システム状態判別支援装置）２００、管理端末３００、ユーザ端末４００、コンピュータシステム５００、及び、ネットワーク６００を含む。
　ここで、コンピュータシステム５００は、ＩＴサービス（または、サービス）の処理を実行する。また、コンピュータシステム５００は、リソースの使用状態や稼動状態を示す監視情報のログ、及び、監視情報に係る監視状況のログを生成する。
　インシデント判別装置１００は、コンピュータシステム５００から監視情報を収集し、インシデント判別を行うための判別モデルを生成する。インシデント判別装置１００は、判別対象の監視情報と判別モデルを用いて、コンピュータシステム５００のインシデント判別を行う。
　インシデント判別支援装置２００は、監視状況をもとに、判別モデルの生成に用いた監視情報の信頼度（モデル信頼度）と判別対象の監視情報の信頼度（対象信頼度）とを算出する。また、インシデント判別支援装置２００は、算出したモデル信頼度、及び、対象信頼度をもとに、インシデント判別を行うための判別閾値を制御（補正）する。
　ユーザ端末４００は、ユーザ等によるサービスの実行要求を受け付けて、コンピュータシステム５００に送信する。また、ユーザ端末４００は、コンピュータシステム５００によるサービスの実行結果を受信する。
　ネットワーク６００は、例えば、インターネット、イントラネット、ローカルエリアネットワーク等により実現される。これらは、単独で用いられてもよく、混在して用いられてもよい。ネットワーク６００は、コンピュータシステム５００とユーザ端末４００とを接続する。
　管理端末３００は、管理者等からの要求に応じて、インシデント判別装置１００に対して、判別モデルの生成、インシデント判別の実行を指示する。また、管理端末３００は、インシデント判別の判別結果を、管理者等に出力する。また、管理端末３００は、インシデント判別装置１００、インシデント判別支援装置２００、及び、コンピュータシステム５００に対する各種設定を行う。
　＜コンピュータシステム５００の構成＞
　図４は、本発明の実施の形態におけるコンピュータシステム５００の構成を示すブロック図である。コンピュータシステム５００は、１以上のフロントエンドノード５１０、及び、複数の処理ノード５２０を含む。コンピュータシステム５００は、例えば、クラウドコンピューティングシステム、グリッドコンピューティングシステム、並列分散コンピュータ、スーパーコンピュータ、サーバコンピュータ、パーソナルコンピュータ、及び、これらの任意の数同士の組み合わせ等によって実現される。
　フロントエンドノード５１０は、ユーザ端末４００からサービスの実行要求を受け付け、処理ノード５２０へ転送する。また、フロントエンドノード５１０は、処理ノード５２０によるサービスの実行結果をユーザ端末４００へ転送する。フロントエンドノード５１０は、一定時間に受け付けるユーザ端末４００からのサービスの実行要求の数を制限してもよい。
　処理ノード５２０は、サービスの処理を実行するコンピュータである。処理ノード５２０は、コンピュータ上に構築される仮想的なコンピュータ（仮想的な処理ノード）でもよい。
　処理ノード５２０は、図示されていないリソースとして、物理または論理プロセッサ、物理または論理メモリ、物理または論理ストレージ、物理または論理通信インタフェースを含む。また、処理ノード５２０は、リソースとして、情報処理装置、計算機クラスタ、その他の情報処理を実行するハードウエアを含んでいてもよい。また、処理ノード５２０は、リソースとして、アプリケーションプログラム、オペレーティングシステム、その他のソフトウエアリソースを含んでいてもよい。
　処理ノード５２０は、さらに、実行部５４０、監視部５５０、監視情報ログ記憶部５８０、及び、監視状況ログ記憶部５９０を含む。
　ここで、実行部５４０は、サービスの処理の一部または全部を実行する。
　監視部５５０は、処理ノード５２０の各リソースの監視情報、及び、監視情報に係る監視状況を監視し、それぞれ、監視情報ログ５８１、及び、監視状況ログ５９１に格納する。
　監視情報ログ記憶部５８０、及び、監視状況ログ記憶部５９０は、それぞれ、監視情報ログ５８１、及び、監視状況ログ５９１を記憶する。
　本発明の実施の形態では、監視部５５０は、監視情報として、リソースの使用状態や、リソースの稼動状態（例えば、正常、異常、エラー、停止、不明等）を監視する。ここで、使用状態に係る監視情報の種別（リソースタイプ）として、ＣＰＵ（Central Processing Unit）使用率（CPU_Usage）、メモリ使用量（MEM_Usage）、ストレージの記憶容量、ネットワーク使用量、スループット（Throughput）、平均リクエスト応答時間、平均トランザクション処理時間、トランザクション数等が用いられる。また、稼動状態に係るリソースタイプとして、稼動状態のログ（Syslog）等が用いられる。
　また、本発明の実施の形態では、監視部５５０は、所定周期ごとに、１以上のリソースタイプの監視情報を監視（取得）し、監視情報ログ５８１に格納する。さらに、監視部５５０は、所定周期ごとの１以上のリソースタイプの監視情報の監視について、監視状況を監視（取得）し、監視状況ログ５９１に格納する。ここで、監視状況の種別（監視状況タイプ）として、例えば、１以上のリソースタイプの監視情報の監視における、監視間隔（取得間隔）、欠損頻度、遅延頻度等が用いられる。なお、監視状況タイプには、サービスを保守するためのウイルスチェックやアップデート、スキャンデスク等、処理ノード５２０上で実行される常駐プログラム（所定のプログラム）の稼動状況や、データ転送量や通信障害頻度等、処理ノード５２０上の通信インタフェース（所定のインタフェース）における通信状況が用いられてもよい。
　＜インシデント判別装置１００の構成＞
　図３は、本発明の実施の形態におけるインシデント判別装置１００、及び、インシデント判別支援装置２００の構成を示すブロック図である。図３を参照すると、インシデント判別装置１００は、サービス監視部１１０、判別モデル生成部１２０、判別部１３０、監視情報設定記憶部１４０、監視情報履歴記憶部１５０、判別モデル記憶部１６０、判別閾値記憶部１７０、及び、判別履歴記憶部１８０を含む。
　ここで、監視情報設定記憶部１４０は、監視情報設定１４１を記憶する。監視情報設定１４１は、処理ノード５２０が、監視情報として監視する監視項目を示す。
　図９は、本発明の実施の形態における監視情報設定１４１の例を示す図である。図９を参照すると、監視情報設定１４１は、サービスＩＤ、ノードＩＤ、リソースタイプ、及び、リソース閾値を含む。
　ここで、サービスＩＤは、サービスの識別子である。
　ノードＩＤは、サービスＩＤで示されるサービスを実行する処理ノード５２０の識別子である。
　リソースタイプは、ノードＩＤで示される処理ノード５２０が監視する監視情報のリソースタイプである。
　リソース閾値は、リソースタイプで示される監視情報の測定値が正常か異常かを判別するための閾値である。ここで、使用状態に係るリソースタイプのリソース閾値には、測定値の上限閾値、測定値の下限閾値、または、これらの両方が設定される。稼動状態に係るリソースタイプのリソース閾値には、異常な状態を示す文字列が設定される。
　図９の監視情報設定１４１は、例えば、サービス「SID001」を実行する処理ノード５２０「LB011」が、監視情報として、リソースタイプ「Throughput」、「Syslog」を監視することを示している。また、リソースタイプ「Throughput」の監視情報の測定値が「5000」以上であれば、測定値が異常と判別されることを示している。同様に、リソースタイプ「Syslog」の監視情報の測定値が「failed」であれば、測定値が異常と判別されることを示している。
　監視情報設定１４１は、管理者等により、管理端末３００を通して、予め設定される。
　サービス監視部１１０は、管理端末３００からのサービス監視要求に応じて、監視情報設定１４１を参照して、処理ノード５２０の監視情報ログ５８１から、監視情報を収集する。サービス監視部１１０は、収集した監視情報を監視情報履歴１５１に格納し、監視情報履歴記憶部１５０に保存する。
　監視情報履歴記憶部１５０は、監視情報履歴１５１を記憶する。
　図１０は、本発明の実施の形態における監視情報履歴１５１の例を示す図である。図１０を参照すると、監視情報履歴１５１は、ログＩＤ、サービスＩＤ、サービス状態、ノードＩＤ、ノード状態、リソースタイプ、及び、リソースタイプ測定値を含む。
　ここで、ログＩＤは、処理ノード５２０が、監視（取得）した１以上のリソースタイプの監視情報を監視情報ログ５８１に格納した時刻（所定周期ごとの時刻）を示す。
　リソースタイプ測定値は、ノードＩＤで示される処理ノード５２０から収集した、ログＩＤで示される時刻におけるリソースタイプで示される監視情報の測定値である。
　ノード状態は、ノードＩＤで示される処理ノード５２０から収集した、ログＩＤで示される時刻における当該処理ノード５２０の状態である。ノード状態には、例えば、「正常」、「一部異常」、「異常」が設定される。ここで、「正常」は、処理ノード５２０で監視する全リソースタイプの測定値が正常であることを示す。「一部異常」は、処理ノード５２０で監視するいずれかのリソースタイプの測定値が異常であることを示す。「異常」は、処理ノード５２０で監視する全リソースタイプの測定値が異常であることを示す。
　ノード状態は、監視部５５０において、各リソースタイプの監視情報の測定値とリソース閾値とを比較し、測定値が正常か異常かを判別することにより設定される。
　サービス状態は、サービスＩＤで示されるサービスの処理を行う処理ノード５２０群の状態である。サービス状態には、例えば、「正常」、「一部異常」、「異常」等が設定される。ここで、「正常」は、サービスの処理を行う全処理ノード５２０のノード状態が正常であることを示す。「一部異常」は、サービスの処理を行ういずれかの処理ノード５２０のノード状態が異常であることを示す。「異常」は、サービスの処理を行う全処理ノード５２０のノード状態が異常であることを示す。
　サービス状態は、サービス監視部１１０において、処理ノード５２０から収集したノード状態をもとに設定される。
　図１０の監視情報履歴１５１は、例えば、時刻「T0001」において、処理ノード５２０「LB011」、「WEB011」、「WEB012」のノード状態が「正常」であり、サービス「SID001」が「正常」であることを示している。
　判別モデル生成部１２０は、監視情報履歴１５１を参照して、コンピュータシステム５００上の各サービスについて、判別モデルを生成する。サービス監視部１１０は、生成した判別モデルを、判別モデル情報１６１に格納し、判別モデル記憶部１６０に保存する。
　判別モデル記憶部１６０は、判別モデル情報１６１を記憶する。判別モデル情報１６１は、サービスの各インシデントタイプに対する判別モデルを示す。
　図１１は、本発明の実施の形態における判別モデル情報１６１の例を示す図である。図１１を参照すると、判別モデル情報１６１は、サービスＩＤ、モデルＩＤ、インシデントタイプ、リソースタイプ、及び、リソースタイプ統計量を含む。
　ここで、インシデントタイプは、サービスＩＤで示されるサービスの処理を行うコンピュータシステム５００の状態（サービス状態とノード状態とを組み合わせた状態）を示す。インシデントタイプには、例えば、「ALLClear」、「PartialError」等が設定される。ここで、「ALLClear」は、サービス状態が「正常」であることを示す。また、「PartialError」は、サービス状態が「一部異常」で、一部の処理ノード５２０のノード状態が「異常」であることを示す。なお、ノード状態が「異常」である処理ノード５２０の組み合わせに応じて、「PartialError11」、「PartialError12」、…、等が設定されてもよい。
　モデルＩＤは、判別モデルの識別子である。
　リソースタイプ統計量は、サービスＩＤで示されるサービスの処理を行うコンピュータシステム５００の状態が、インシデントタイプの状態であるか否かを判別するための監視情報の統計値である。リソースタイプ統計量は、リソースタイプごとに設定される。統計量としては、例えば、監視情報の測定値に関する標本数、算術平均、標準偏差、中央値、最頻値、不偏標準偏差、不偏分散、尖度、歪度、最小値、最大値、範囲（最大値-最小値）、総和、n%信頼区間のうちの１以上の集合が用いられる。
　図１１の判別モデル情報１６１において、例えば、判別モデル「Model011」は、サービス「SID001」について、インシデントタイプ「ALLClear」のインシデント判別を行う判別モデルである。また、判別モデル「Model011」は、コンピュータシステム５００の状態がインシデントタイプ「ALLClear」の場合、処理ノード５２０「LB011」におけるリソースタイプ「Throughput」の監視情報の統計量が、「N=100,avg=3500,std=200.0」であることを示す。ここで、Nは標本数、avgは平均、stdは標準偏差である。
　判別閾値記憶部１７０は、判別閾値情報１７１を記憶する。判別閾値情報１７１は、判別モデルについて設定された判別閾値を示す。
　図１２は、本発明の実施の形態における判別閾値情報１７１（補正前）の例を示す図である。図１２を参照すると、判別閾値情報１７１は、は、サービスＩＤ、モデルＩＤ、インシデントタイプ、ノードＩＤ、判別閾値、最大閾値、及び、最小閾値を含む。
　ここで、判別閾値は、モデルＩＤで示される判別モデルにより、ノードＩＤで示される処理ノード５２０の監視情報の測定値が、インシデントタイプの状態であるか否かを判別するときに用いられる閾値である。判別閾値には、監視情報の測定値の範囲が設定される。判別閾値は、例えば、対応する判別モデルのリソースタイプ統計量を用いて、設定されてもよい。
　最大閾値は、判別閾値補正部２２０が変更可能な判別閾値の最大幅である。最小閾値は、判別閾値補正部２２０が変更可能な判別閾値の最小幅である。
　図１２の判別閾値情報１７１は、例えば、判別モデル「Model011」を用いてインシデント判別を行う場合に、処理ノード５２０「LB011」の監視情報の測定値が、判別閾値「avg（平均値）±2.0σ（標準偏差値）」の範囲内であれば、処理ノード５２０「LB011」がインシデントタイプ「ALLClear」の状態であると判別されることを示している。また、判別閾値は、最小閾値「avg±1.0σ」から最大閾値「avg±3.0σ」の範囲で、変更可能なことを示している。
　判別閾値の初期値、最大閾値、及び、最小閾値は、管理者等により設定される。また、判別閾値の初期値、最大閾値、及び、最小閾値は、判別モデル生成部１２０により設定されてもよい。
　判別部１３０は、判別モデル情報１６１と判別閾値情報１７１とを参照して、コンピュータシステム５００上の各サービスについて、インシデント判別を行う。判別部１３０は、インシデント判別の判別結果を判別履歴情報１８１に格納し、判別履歴記憶部１８０に保存する。
　判別履歴記憶部１８０は、判別履歴情報１８１を記憶する。判別履歴情報１８１は、インシデント判別の判別結果を示す。
　図１４は、本発明の実施の形態における判別履歴情報１８１の例を示す図である。図１４を参照すると、判別履歴情報１８１は、ログＩＤ、サービスＩＤ、モデルＩＤ、インシデントタイプ、及び、判別結果を含む。判別履歴情報１８１は、さらに、ノードＩＤ、及び、判別閾値を含んでいてもよい。
　ここで、判別結果は、サービスＩＤで示されるサービスに係る監視情報が、インシデントタイプの状態であるか否かを示す。判別結果には、例えば、インシデントタイプで示す状態であることを示す「ＯＫ」、または、インシデントタイプで示す状態でないことを示す「ＮＧ」等が設定される。
　判別閾値は、ノードＩＤで示される処理ノード５２０に対して、インシデント判別で用いられた判別閾値である。
　図１４の判別履歴記憶部１８０は、例えば、時刻「T2001」のサービス「SID001」に係る監視情報が、判別モデル「Model011」を用いたインシデント判別により、インシデントタイプ「ALLClear」の状態であると判別されたことを示している。また、このインシデント判別では、例えば、処理ノード５２０「LB011」に対して、判別閾値「avg±2.4σ」が用いられたことを示している。
　＜インシデント判別支援装置２００の構成＞
　図３を参照すると、インシデント判別支援装置２００は、判別モデル信頼度算出部２１０、判別閾値補正部２２０、監視状況設定記憶部２３０、及び、判別モデル信頼度記憶部２４０を含む。
　ここで、監視状況設定記憶部２３０は、監視状況設定２３１を記憶する。監視状況設定２３１は、処理ノード５２０が、監視状況として監視する監視項目を示す。
　図１５は、本発明の実施の形態における監視状況設定２３１の例を示す図である。図１５を参照すると、監視状況設定２３１は、サービスＩＤ、ノードＩＤ、及び、監視状況タイプを含む。
　ここで、監視状況タイプは、ノードＩＤで示される処理ノード５２０が監視する監視状況の監視状況タイプである。
　図１５の監視状況設定２３１は、例えば、処理ノード５２０「LB011」が、監視状況タイプ「監視間隔」、「欠損頻度」、及び、「遅延頻度」の監視状態を監視することを示している。
　監視状況設定２３１は、管理者等により、管理端末３００を通して、予め設定される。
　判別モデル信頼度算出部２１０は、監視状況設定２３１を参照して、判別モデルの生成に用いた監視情報に係る監視状況を、各処理ノード５２０の監視状況ログ５９１から収集する。そして、判別モデル信頼度算出部２１０は、収集した監視状況をもとに、判別モデルの生成に用いた監視情報の信頼度（モデル信頼度）を算出する。判別モデル信頼度算出部２１０は、算出したモデル信頼度を、判別モデル信頼度情報２４１に格納し、判別モデル信頼度記憶部２４０に保存する。
　判別モデル信頼度記憶部２４０は、判別モデル信頼度情報２４１を記憶する。判別モデル信頼度情報２４１は、判別モデルのモデル信頼度を示す。
　図１７は、本発明の実施の形態における判別モデル信頼度情報２４１の例を示す図である。図１７を参照すると、判別モデル信頼度情報２４１は、サービスＩＤ、モデルＩＤ、インシデントタイプ、ノードＩＤ、モデル信頼度、最大モデル信頼度、及び、最小モデル信頼度を含む。
　ここで、モデル信頼度、最大モデル信頼度、及び、最小モデル信頼度は、それぞれ、モデルＩＤで示される判別モデルの生成に用いた、ノードＩＤで示される処理ノード５２０の監視情報の信頼度の平均値、最大値、及び、最小値を示す。
　判別閾値補正部２２０は、監視状況設定２３１を参照して、判別対象の監視情報に係る監視状況を、各処理ノード５２０の監視状況ログ５９１から収集する。そして、判別閾値補正部２２０は、収集した監視状況をもとに、判別対象の監視情報の信頼度（対象信頼度）を算出する。さらに、判別閾値補正部２２０は、対象信頼度と判別モデル信頼度情報２４１から取得したモデル信頼度とをもとに、判別閾値を補正する。
　なお、インシデント判別装置１００、及び、インシデント判別支援装置２００は、それぞれ、ＣＰＵとプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。
　次に、本発明の実施の形態における、インシデント判別装置１００、及び、インシデント判別支援装置２００の動作について説明する。
　＜判別モデル生成時の処理＞
　図５は、本発明の実施の形態における、インシデント判別装置１００、及び、インシデント判別支援装置２００の、判別モデル生成時の処理を示すフローチャートである。
　ここでは、管理者等により、図９の監視情報設定１４１、図１５の監視状況設定２３１が設定されていると仮定する。また、監視情報履歴１５１には、図１０のように、テスト環境において、サービスの処理が実行された期間（時刻「T0001」～「T1000」）の監視情報の測定値が格納されていると仮定する。
　インシデント判別装置１００の判別モデル生成部１２０は、管理端末３００から、判別モデル生成要求を受信する（ステップＳ１０１）。ここで、判別モデル生成要求は、判別モデルの生成に用いる監視情報の期間（モデル化期間）と判別モデルの生成対象のサービスのサービスＩＤとを含む。モデル化期間には、例えば、上述の、テスト環境においてサービスの処理が実行された期間（時刻「T0001」～「T1000」）が指定される。
　判別モデル生成部１２０は、監視情報履歴１５１から、判別モデル生成要求で指定されたサービスＩＤ、モデル化期間に対する監視情報の測定値を収集する（ステップＳ１０２）。
　判別モデル生成部１２０は、収集した監視情報の測定値を、上述のインシデントタイプで分類する（ステップＳ１０３）。
　判別モデル生成部１２０は、インシデントタイプで分類された各インシデントタイプの監視情報の測定値を用いて、各インシデントタイプの判別モデルを生成する（ステップＳ１０４）。ここで、判別モデル生成部１２０は、判別モデルとして、各処理ノード５２０のリソースタイプごとの測定値の統計量を算出する。そして、判別モデル生成部１２０は、算出したリソースタイプ統計量を、判別モデル情報１６１に格納する。
　例えば、判別モデル生成要求において、モデル化期間「T0001～T1000」、サービス「SID001」が指定された場合、判別モデル生成部１２０は、図１０の監視情報履歴１５１をもとに、図１１の判別モデル情報１６１における判別モデル「Model011」、「Model012」、…を生成する。
　判別モデル生成部１２０は、判別モデル生成イベントをインシデント判別支援装置２００へ送信する（ステップＳ１０５）。ここで、判別モデル生成イベントは、生成された判別モデルに係るサービスＩＤ、モデルＩＤ、インシデントタイプ、及び、モデル化期間を含む。なお、判別モデル生成イベントは、モデル化期間のうち、各インシデントタイプに対応する時刻の情報を含んでいてもよい。
　判別モデル生成部１２０は、管理端末３００へ、判別モデル生成完了通知を送信する（ステップＳ１０６）。
　次に、インシデント判別支援装置２００の判別モデル信頼度算出部２１０は、インシデント判別装置１００から、判別モデル生成イベントを受信する（ステップＳ２０１）。
　判別モデル信頼度算出部２１０は、処理ノード５２０から、判別モデル生成イベントで指定されたモデル化期間における、監視状況の測定値を収集する（ステップＳ２０２）。ここで、判別モデル信頼度算出部２１０は、監視状況設定２３１を参照し、判別モデル生成イベントで指定されたサービスＩＤに対応するノードＩＤと監視状況タイプを取得する。そして、判別モデル信頼度算出部２１０は、取得したノードＩＤに対応する処理ノード５２０から、取得した監視状況タイプの監視状況測定値を収集する。判別モデル信頼度算出部２１０は、収集した監視状況測定値をもとに、モデル化期間の監視状況収集結果２５１を生成する。
　図１６は、本発明の実施の形態における、モデル化期間の監視状況収集結果２５１の例を示す図である。図１６を参照すると、監視状況収集結果２５１は、ログＩＤ、サービスＩＤ、モデルＩＤ、インシデントタイプ、ノードＩＤ、監視状況タイプ、及び、監視状況測定値を含む。
　ここで、監視状況測定値は、ノードＩＤで示される処理ノード５２０から収集した、ログＩＤで示される時刻における、監視状況タイプで示される監視状況の測定値である。
　監視状況測定値には、当該監視状況で得られる監視情報が高品質であるほど大きくなるように、実際の測定値が変換された値が格納される。例えば、収集間隔のように、得られる監視情報が高品質であるほど大きくなる場合、監視状況測定値には、実際の測定値がそのまま格納される。また、欠損頻度のように、得られる監視情報が高品質であるほど小さくなる場合、監視状況測定値には、最も低品質な状況を示す値から、実際の測定値を減算した値が格納される。例えば、最も高品質な状況を示す値が0、最も低品質な状況を示す値が100、実際の測定値が0.99の場合、監視状況測定値には、99.01（=100-0.99）が格納される。
　例えば、判別モデル信頼度算出部２１０は、サービス「SID001」、モデル化期間「T0001～T1000」について、図１６の監視状況収集結果２５１を生成する。
　判別モデル信頼度算出部２１０は、収集した監視状況の測定値をもとに、モデル化期間における各時刻について、判別モデルの生成に用いた監視情報の信頼度を算出する（ステップＳ２０３）。
　図６は、本発明の実施の形態における、監視情報の信頼度の算出処理（ステップＳ２０３）の詳細を示すフローチャートである。
　はじめに、判別モデル信頼度算出部２１０は、各処理ノード５２０における、各監視状況タイプの監視状況測定値x_i（ここで、i=1,2,…, N_typeは、監視状況タイプを示す。また、_iは、添え字を示す。）の平均値x_iavg、偏差値x_istdev、及び、変動係数（偏差値x_istdev／平均値x_iavg）を算出する（ステップＳ２０３１）。ここで、平均値x_iavg、及び、偏差値x_istdevは、例えば、各処理ノード５２０の各監視状況タイプの監視状況の測定値の複数の時刻に関する平均値、及び、偏差値である。なお、判別モデル信頼度算出部２１０は、ステップＳ２０３１で平均値x_iavg、及び、偏差値x_istdevを算出する代わりに、予め算出した値や、管理者等により予め設定された値を用いてもよい。
　判別モデル信頼度算出部２１０は、監視状況測定値のばらつきが大きい監視状況タイプほど注目すべき監視状況タイプであると仮定し、各監視状況タイプの変動係数の比に基づいて、各監視状況タイプに重みw_iを付与する（ステップＳ２０３２）。
　例えば、３つの監視状況タイプの変動係数が0.4、0.6、1.0の場合、判別モデル信頼度算出部２１０は、全ての監視状況の重みの総和を1として、それぞれの監視状況タイプに、重み0.2、0.3、0.5を付与する。
　判別モデル信頼度算出部２１０は、ステップＳ２０３１で算出した監視状況測定値x_iの平均値x_iavg、偏差値x_istdev、及び、ステップＳ２０３２で算出した重みw_iを用いて、各時刻について、各処理ノード５２０の監視情報の信頼度Dを、数１式、数２式により算出する（ステップＳ２０３３）。ここで、数１式は、監視情報の信頼度の算出式である。数２式は、監視状況の測定値を標準化するための式である。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　次に、判別モデル信頼度算出部２１０は、ステップＳ２０３で算出した、各時刻の各処理ノード５２０における監視情報の信頼度をもとに、各インシデントタイプについて、判別モデルの生成に用いた監視情報の信頼度（モデル信頼度）を算出する（ステップＳ２０４）。ここで、判別モデル信頼度算出部２１０は、各インシデントタイプに対応する各時刻の監視情報の信頼度の、複数の時刻に関する平均値、最大値、及び、最小値を、それぞれ、当該インシデントタイプに対応する判別モデルのモデル信頼度、最大モデル信頼度、最小モデル信頼度として算出する。判別モデル信頼度算出部２１０は、算出したモデル信頼度、最大モデル信頼度、及び、最小モデル信頼度を、判別モデル信頼度情報２４１に格納する。
　例えば、判別モデル信頼度算出部２１０は、図１６の監視状況収集結果２５１をもとに、サービス「SID001」の各判別モデル「Model011」、「Model012」、…について、図１７のように、モデル信頼度を算出する。
　＜インシデント判別時の処理＞
　図７は、本発明の実施の形態における、インシデント判別装置１００、及び、インシデント判別支援装置２００の、インシデント判別時の処理を示すフローチャートである。
　ここでは、図１１の判別モデル情報１６１に対して、管理者等により、図１２の判別閾値情報１７１が設定されていると仮定する。また、監視情報履歴１５１には、図１０のように、本番環境において、サービスの処理が実行された期間（時刻「T2001」）の監視情報の測定値が格納されていると仮定する。
　インシデント判別装置１００の判別部１３０は、管理端末３００から、インシデント判別要求を受信する（ステップＳ１５１）。ここで、インシデント判別要求は、インシデントの判別対象の時刻と判別対象のサービスのサービスＩＤとを含む。判別対象の時刻には、例えば、上述の、本番環境においてサービスの処理が実行された期間に含まれる時刻（時刻「T2001」）が指定される。
　判別部１３０は、インシデント判別イベントをインシデント判別支援装置２００へ送信する（ステップＳ１５２）。ここで、インシデント判別イベントは、インシデント判別要求で指定された判別対象の時刻とサービスＩＤとを含む。
　インシデント判別支援装置２００の判別閾値補正部２２０は、インシデント判別装置１００から、インシデント判別イベントを受信する（ステップＳ２５１）。
　判別閾値補正部２２０は、処理ノード５２０から、インシデント判別イベントで指定された判別対象の時刻における、監視状況の測定値を収集する（ステップＳ２５２）。ここで、判別閾値補正部２２０は、監視状況設定２３１を参照し、インシデント判別イベントで指定されたサービスＩＤに対応するノードＩＤと監視状況タイプを取得する。そして、判別閾値補正部２２０は、取得したノードＩＤに対応する処理ノード５２０から、取得した監視状況タイプの監視状況測定値を収集する。判別モデル信頼度算出部２１０は、収集した監視状況測定値をもとに、判別対象の時刻の監視状況収集結果２６１を生成する。
　図１８は、本発明の実施の形態における、判別対象時刻の監視状況収集結果２６１の例を示す図である。図１８を参照すると、監視状況収集結果２６１は、ログＩＤ、サービスＩＤ、ノードＩＤ、監視状況タイプ、及び、監視状況測定値を含む。
　例えば、インシデント判別要求において、判別対象時刻「T2001」、サービス「SID001」が指定された場合、判別モデル信頼度算出部２１０は、時刻「T2001」、サービス「SID001」について、図１８の監視状況収集結果２６１を生成する。
　判別閾値補正部２２０は、収集した各処理ノード５２０における監視状況の測定値をもとに、各処理ノード５２０について、判別対象の時刻の監視情報の信頼度（対象信頼度）を算出する（ステップＳ２５３）。ここで、判別モデル信頼度算出部２１０は、ステップＳ２０３１～２０３３（図６）と同様の手順により、判別対象の時刻の監視情報の信頼度を算出する。判別モデル信頼度算出部２１０は、算出した信頼度を、対象信頼度として、対象信頼度算出結果２７１に格納する。
　図１９は、本発明の実施の形態における対象信頼度算出結果２７１の例を示す図である。図１９を参照すると、対象信頼度算出結果２７１は、ログＩＤ、サービスＩＤ、ノードＩＤ、及び、対象信頼度を含む。
　ここで、対象信頼度は、ログＩＤで示される時刻における、ノードＩＤで示される処理ノード５２０の監視情報の信頼度を示す。
　例えば、判別モデル信頼度算出部２１０は、図１８の監視状況収集結果２６１をもとに、時刻「T2001」、サービス「SID001」について、図１９のように、対象信頼度を算出する。
　次に、判別閾値補正部２２０は、対象信頼度とモデル信頼度を用いて、各判別モデルの判別閾値を補正する（ステップＳ２５４）。ここで、判別閾値補正部２２０は、インシデント判別装置１００の判別閾値情報１７１に格納されている、インシデント判別イベントで指定されたサービスＩＤに対応する各判別モデルの判別閾値を補正する。
　図８は、本発明の実施の形態における、判別閾値補正処理（ステップＳ２５４）の詳細を示すフローチャートである。
　はじめに、判別閾値補正部２２０は、対象信頼度算出結果２７１から、処理ノード５２０のノードＩＤを一つ選択する（ステップＳ２５４１）。
　判別閾値補正部２２０は、対象信頼度算出結果２７１から、選択したノードＩＤに対する対象信頼度を取得する（ステップＳ２５４２）。
　判別閾値補正部２２０は、判別モデル信頼度情報２４１から、判別対象のサービスＩＤに対する判別モデルのモデルＩＤを一つ選択する（ステップＳ２５４３）。
　判別閾値補正部２２０は、判別モデル情報１６１から、ステップＳ２５４３で選択したモデルＩＤとステップＳ２５４１で選択したノードＩＤに対するモデル信頼度を取得する（ステップＳ２５４４）。
　判別閾値補正部２２０は、ステップＳ２５４２で取得した対象信頼度と、ステップＳ２５４４で取得したモデル信頼度とを比較する（ステップＳ２５４５）。
　ステップＳ２５４５において、対象信頼度とモデル信頼度が同じ場合、判別閾値補正部２２０は、ステップＳ２５４８へ進む。
　ステップＳ２５４５において、対象信頼度がモデル信頼度より大きい場合、判別閾値補正部２２０は、対象信頼度とモデル信頼度との間の差分に応じて、判別閾値が示す範囲が狭くなるように、判別閾値を補正する（ステップＳ２５４６）。
　ここで、判別閾値補正部２２０は、対象信頼度とモデル信頼度との差分として、対象信頼度からモデル信頼度を減じた値を、最大モデル信頼度から最小モデル信頼度を減じた値で除した値を算出する。
　例えば、判別モデル「Model011」、処理ノード５２０「WB012」について判別閾値を補正する場合、図１９の対象信頼度算出結果２７１における処理ノード５２０「WB012」に対する対象信頼度は+0.6、図１７の判別モデル信頼度情報２４１における判別モデル「Model011」、処理ノード５２０「WB012」に対するモデル信頼度は+0.1、最大モデル信頼度は+1.0、最小モデル信頼度は-1.0である。この場合、判別閾値補正部２２０は、対象信頼度とモデル信頼度との差分として(0.6-0.1)/(1-(-1.0))=0.25を算出する。
　そして、判別閾値補正部２２０は、判別閾値が示す範囲（判別閾値の最大値-最小値）から最小閾値が示す範囲（最小閾値の最大値-最小閾値の最小値）を減じた値に、上記の信頼度の差分を乗じた値、判別閾値が示す範囲を狭くする。
　例えば、図１２の判別閾値情報１７１における判別モデル「Model011」、処理ノード５２０「WB012」に対する判別閾値はavg±2.0σ、最大閾値はavg±3.0σ、最小閾値はavg±1.0σである。この場合、判別閾値が示す範囲は4.0σ、最小閾値が示す範囲は2.0σ、判別閾値が示す範囲から最小閾値が示す範囲を減じた値は2.0σである。この値に、上記の対象信頼度とモデル信頼度との差分を乗じた値は、2.0σx0.25=0.5σである。従って、判別閾値補正部２２０は、判別閾値（avg±2.0σ）を0.5σ狭くしたavg±1.5σを、新たな判別閾値として算出する。
　一方、ステップＳ２５４５において、対象信頼度がモデル信頼度より小さい場合、判別閾値補正部２２０は、対象信頼度とモデル信頼度との間の差分に応じて、判別閾値が示す範囲が広くなるように、判別閾値を補正する（ステップＳ２５４７）。
　ここで、判別閾値補正部２２０は、対象信頼度とモデル信頼度との差分として、モデル信頼度から対象信頼度を減じた値を、最大モデル信頼度から最小モデル信頼度を減じた値で除した値を算出する。
　例えば、判別モデル「Model011」、処理ノード５２０「LB011」について判別閾値を補正する場合、図１９の対象信頼度算出結果２７１における処理ノード５２０「LB011」に対する対象信頼度は+0.2、図１７の判別モデル信頼度情報２４１における判別モデル「Model011」、処理ノード５２０「LB011」に対するモデル信頼度は+0.6、最大モデル信頼度は+1.0、最小モデル信頼度は-1.0である。この場合、判別閾値補正部２２０は、対象信頼度とモデル信頼度との差分として(0.6-0.2)/(1-(-1.0))=0.20を算出する。
　そして、判別閾値補正部２２０は、最大閾値が示す範囲（最大閾値の最大値-最大閾値の最小値）から判別閾値が示す範囲（判別閾値の最大値-最小値）を減じた値に、上記の信頼度の差分量を乗じた値、判別閾値が示す範囲を広くする。
　例えば、図１２の判別閾値情報１７１における、判別モデル「Model011」、処理ノード５２０「LB011」に対する判別閾値はavg±2.0σ、最大閾値はavg±3.0σ、最小閾値はavg±1.0σである。この場合、最大閾値が示す範囲は6.0σ、判別閾値が示す範囲は4.0σ、最大閾値が示す範囲から判別閾値が示す範囲を減じた値は2.0σである。この値に、上記の対象信頼度とモデル信頼度との差分量を乗じた値は、2.0σx0.20=0.4σである。従って、判別閾値補正部２２０は、判別閾値avg±2.0σを0.4σ広くしたavg±2.4σを、新たな判別閾値として算出する。
　なお、判別閾値補正部２２０は、ステップＳ２５４５において、対象信頼度とモデル信頼度との差が、所定の値以上の場合に、ステップＳ２５４６、または、ステップＳ２５４７を実行してもよい。
　判別部１３０は、判別対象のサービスＩＤに対する全てのモデルＩＤについて、ステップＳ２５４３からＳ２５４７を繰り返す（ステップＳ２５４８）。
　また、判別部１３０は、判別対象のサービスＩＤに対する全てのノードＩＤについて、ステップＳ２５４１からＳ２５４８を繰り返す（ステップＳ２５４９）。
　図１３は、本発明の実施の形態における判別閾値情報１７１（補正後）の例を示す図である。例えば、判別閾値補正部２２０は、図１２の判別閾値情報１７１における、サービス「SID001」の各判別モデル「Model011」、「Model012」、…について、図１３のように、判別閾値を補正する。
　判別閾値補正部２２０は、インシデント判別装置１００へ、判別閾値補正終了イベントを送信する（ステップＳ２５５）。
　次に、判別部１３０は、インシデント判別支援装置２００から、判別閾値補正終了イベントを受信する（ステップＳ１５３）。
　判別部１３０は、監視情報履歴１５１から、判別対象の時刻、サービスＩＤに対する監視情報の測定値を収集する（ステップＳ１５４）。
　判別部１３０は、判別モデル情報１６１から、判別対象のサービスＩＤに対する判別モデルのモデルＩＤを一つ選択する（ステップＳ１５５）。
　判別部１３０は、判別モデル情報１６１から、選択したモデルＩＤに対するリソースタイプ統計量を取得する。また、判別部１３０は、判別閾値情報１７１から、選択したモデルＩＤに対する判別閾値を取得する（ステップＳ１５６）。
　判別部１３０は、ステップＳ１５６で取得したリソースタイプ統計量と判別閾値を用いて、ステップＳ１５４で収集した判別対象時刻の監視情報の測定値についてのインシデント判別を行う（ステップＳ１５７）。ここで、判別部１３０は、判別対象のサービスＩＤに係る各ノードＩＤの各リソースタイプの測定値が、当該ノードＩＤの判別閾値の範囲内にあるかどうかを判別する。判別部１３０は、判別対象のサービスＩＤに係る全ノードＩＤの全リソースタイプについて測定値が判別閾値の範囲内にある場合、判別結果に「ＯＫ」を設定し、そうでない場合、判別結果に「ＮＧ」を設定する。
　例えば、判別部１３０は、図１０の監視情報履歴１５１における、時刻「T2001」、サービス「SID001」に対する各処理ノード５２０「LB011」、「WEB011」、…の各リソースタイプの測定値が、図１３の判別閾値情報１７１における判別モデル「Model011」に対する各処理ノード５２０「LB011」、「WEB011」、…の判別閾値の範囲内にあるかどうかを判別する。例えば、処理ノード５２０「LB011」について、リソースタイプ「Throughput」の測定値「3800」が、判別閾値「avg(3500)±2.4σ(200.0)」の範囲内かどうかが判別される。
　判別部１３０は、インシデント判別の判別結果を、判別履歴情報１８１に格納する（ステップＳ１５８）。
　判別部１３０は、判別対象のサービスＩＤに対する全ての判別モデルのモデルＩＤ（全てのインシデントタイプ）について、ステップＳ１５５からＳ１５８を繰り返す（ステップＳ１５９）。
　例えば、判別部１３０は、サービス「SID001」の各判別モデル「Model011」、「Model012」、…について、図１４のように判別結果を格納する。
　判別部１３０は、管理端末３００へ、インシデント判別完了通知を送信する（ステップＳ１６０）。管理端末３００は、判別履歴記憶部１８０から、判別履歴情報１８１を取得し、判別結果を管理者等へ出力（表示）する。また、管理端末３００は、インシデント判別完了通知に含まれる判別結果を管理者等へ出力（表示）してもよい。
　なお、インシデント判別要求では、判別対象の期間が指定されていてもよい。この場合、指定された期間の各時刻について、インシデント判別支援装置２００が判別閾値を補正し、インシデント判別装置１００は、補正された判別閾値を用いてインシデント判別を行う。
　以上により、本発明の実施の形態の動作が完了する。
　次に、本発明の実施の形態の特徴的な構成を説明する。図１は、本発明の実施の形態の特徴的な構成を示すブロック図である。
　図１を参照すると、インシデント判別支援装置（システム状態判別支援装置）２００は、判別モデル信頼度算出部２１０と、判別閾値補正部２２０と、を含む。
　判別モデル信頼度算出部２１０は、システムが所定状態にあるかどうかを判別するための判別モデルの生成に用いたシステムの監視情報の信頼度であるモデル信頼度を算出する。判別閾値補正部２２０は、システムの判別対象の監視情報の信頼度である対象信頼度を算出し、モデル信頼度と対象信頼度とをもとに、判別モデルによる判別で用いる閾値を補正する。
　本発明の実施の形態によれば、システムの状態を判別するときの監視状況がモデルデータ生成時の監視状況と異なる場合であっても、システムの状態を正しく判別できる。その理由は、判別閾値補正部２２０が、判別モデルの生成に用いた監視情報の信頼度であるモデル信頼度と、判別対象の監視情報の信頼度である対象信頼度と、をもとに、判別モデルによる判別で用いる閾値を補正するためである。
　また、特許文献１のインシデント判別装置を用いたインシデント判別では、管理者は、本番環境においてインシデントが正しく判別できるように、テスト環境で生成されたモデルデータの再生成や、設定された閾値の調整をする必要があった。
　本発明の実施の形態によれば、本番環境における、モデルデータの再生成や、閾値の調整の手間を削減できる。その理由は、判別閾値補正部２２０が、テスト環境と本番環境との監視状況の違いに応じて、判別モデルによる判別で用いる閾値を補正するためである。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年８月３日に出願された日本出願特願２０１２－１７２９０８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１００　　インシデント判別装置
　１１０　　サービス監視部
　１２０　　判別モデル生成部
　１３０　　判別部
　１４０　　監視情報設定記憶部
　１４１　　監視情報設定
　１５０　　監視情報履歴記憶部
　１５１　　監視情報履歴
　１６０　　判別モデル記憶部
　１６１　　判別モデル情報
　１７０　　判別閾値記憶部
　１７１　　判別閾値情報
　１８０　　判別履歴記憶部
　１８１　　判別履歴情報
　２００　　インシデント判別支援装置
　２１０　　判別モデル信頼度算出部
　２２０　　判別閾値補正部
　２３０　　監視状況設定記憶部
　２３１　　監視状況設定
　２４０　　判別モデル信頼度記憶部
　２４１　　判別モデル信頼度情報
　２５１　　監視状況収集結果
　２６１　　監視状況収集結果
　２７１　　対象信頼度算出結果
　３００　　管理端末
　４００　　ユーザ端末
　５００　　コンピュータシステム
　５１０　　フロントエンドノード
　５２０　　処理ノード
　５４０　　実行部
　５５０　　監視部
　５８０　　監視情報ログ記憶部
　５８１　　監視情報ログ
　５９０　　監視状況ログ記憶部
　５９１　　監視状況ログ
　６００　　ネットワーク

Claims (9)

  1. 　システムが所定状態にあるかどうかを判別するための判別モデルの生成に用いた前記システムの監視情報の信頼度であるモデル信頼度を算出する判別モデル信頼度算出手段と、
    　前記システムの判別対象の監視情報の信頼度である対象信頼度を算出し、前記モデル信頼度と前記対象信頼度とをもとに、前記判別モデルによる判別で用いる閾値を補正する判別閾値補正手段と、を含むシステム状態判別支援装置。
  2. 　前記判別モデルは、前記システムの監視情報の値を示し、前記閾値は、前記判別モデルが示す値に対する範囲を示し、
    　前記判別閾値補正手段は、前記対象信頼度が前記モデル信頼度より大きい場合、前記対象信頼度と前記モデル信頼度との間の差分に応じて、前記閾値が示す範囲が狭くなるように、前記閾値を補正し、前記対象信頼度が前記モデル信頼度より小さい場合、前記対象信頼度と前記モデル信頼度との間の差分に応じて、前記閾値が示す範囲が広くなるように、前記閾値を補正する、
    請求項１に記載のシステム状態判別支援装置。
  3. 　前記監視情報の信頼度は、監視情報を監視したときの前記システムの状況に応じた当該監視情報の品質の度合いをもとに算出される、
    請求項１または２に記載のシステム状態判別支援装置。
  4. 　前記システムの状況は、複数の異なる監視情報の監視間隔、複数の異なる監視情報の欠損頻度、複数の異なる監視情報の遅延頻度、所定のプログラムの稼動状況、所定のインタフェースの通信状況のうちの少なくとも１つである、
    請求項３に記載のシステム状態判別支援装置。
  5. 　前記監視情報の信頼度は、監視情報を監視したときの前記システムの複数種別の状況の各々に対する品質の度合いを、前記複数種別の状況の各々の品質の度合いのばらつきに応じた重みで重み付けして合算することにより算出される、
    請求項３に記載のシステム状態判別支援装置。
  6. 　システムが所定状態にあるかどうかを判別するための判別モデルの生成に用いた前記システムの監視情報の信頼度であるモデル信頼度を算出し、
    　前記システムの判別対象の監視情報の信頼度である対象信頼度を算出し、前記モデル信頼度と前記対象信頼度とをもとに、前記判別モデルによる判別で用いる閾値を補正する、
    システム状態判別支援方法。
  7. 　前記判別モデルは、前記システムの監視情報の値を示し、前記閾値は、前記判別モデルが示す値に対する範囲を示し、
    　前記閾値を補正する場合、前記対象信頼度が前記モデル信頼度より大きい場合、前記対象信頼度と前記モデル信頼度との間の差分に応じて、前記閾値が示す範囲が狭くなるように、前記閾値を補正し、前記対象信頼度が前記モデル信頼度より小さい場合、前記対象信頼度と前記モデル信頼度との間の差分に応じて、前記閾値が示す範囲が広くなるように、前記閾値を補正する、
    請求項６に記載のシステム状態判別支援方法。
  8. 　システムが所定状態にあるかどうかを判別するための判別モデルの生成に用いた前記システムの監視情報の信頼度であるモデル信頼度を算出し、
    　前記システムの判別対象の監視情報の信頼度である対象信頼度を算出し、前記モデル信頼度と前記対象信頼度とをもとに、前記判別モデルによる判別で用いる閾値を補正する、
    処理をコンピュータに実行させるプログラムを格納する、コンピュータが読み取り可能な記録媒体。
  9. 　前記判別モデルは、前記システムの監視情報の値を示し、前記閾値は、前記判別モデルが示す値に対する範囲を示し、
    　前記閾値を補正する場合、前記対象信頼度が前記モデル信頼度より大きい場合、前記対象信頼度と前記モデル信頼度との間の差分に応じて、前記閾値が示す範囲が狭くなるように、前記閾値を補正し、前記対象信頼度が前記モデル信頼度より小さい場合、前記対象信頼度と前記モデル信頼度との間の差分に応じて、前記閾値が示す範囲が広くなるように、前記閾値を補正する、処理をコンピュータに実行させる請求項８に記載のプログラムを格納する、コンピュータが読み取り可能な記録媒体。
PCT/JP2013/004622 2012-08-03 2013-07-31 システム状態判別支援装置、及び、システム状態判別支援方法 WO2014020908A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014528001A JPWO2014020908A1 (ja) 2012-08-03 2013-07-31 システム状態判別支援装置、及び、システム状態判別支援方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012172908 2012-08-03
JP2012-172908 2012-08-03

Publications (1)

Publication Number Publication Date
WO2014020908A1 true WO2014020908A1 (ja) 2014-02-06

Family

ID=50027611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004622 WO2014020908A1 (ja) 2012-08-03 2013-07-31 システム状態判別支援装置、及び、システム状態判別支援方法

Country Status (2)

Country Link
JP (1) JPWO2014020908A1 (ja)
WO (1) WO2014020908A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017522653A (ja) * 2014-06-06 2017-08-10 クラウドストライク インコーポレイテッド 監視対象デバイスの状態のリアルタイムモデル
WO2019167225A1 (ja) * 2018-03-01 2019-09-06 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10409980B2 (en) 2012-12-27 2019-09-10 Crowdstrike, Inc. Real-time representation of security-relevant system state
JP2020038525A (ja) * 2018-09-05 2020-03-12 東日本電信電話株式会社 異常検知装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233369A (ja) * 1992-02-21 1993-09-10 Toshiba Corp ソフトウェア信頼度モデル選定装置
JP2009252137A (ja) * 2008-04-10 2009-10-29 Nec Personal Products Co Ltd 予防保全システム
JP2011210215A (ja) * 2010-03-31 2011-10-20 Hitachi Ltd プラントの制御装置及び火力発電プラントの制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233369A (ja) * 1992-02-21 1993-09-10 Toshiba Corp ソフトウェア信頼度モデル選定装置
JP2009252137A (ja) * 2008-04-10 2009-10-29 Nec Personal Products Co Ltd 予防保全システム
JP2011210215A (ja) * 2010-03-31 2011-10-20 Hitachi Ltd プラントの制御装置及び火力発電プラントの制御装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409980B2 (en) 2012-12-27 2019-09-10 Crowdstrike, Inc. Real-time representation of security-relevant system state
JP2017522653A (ja) * 2014-06-06 2017-08-10 クラウドストライク インコーポレイテッド 監視対象デバイスの状態のリアルタイムモデル
WO2019167225A1 (ja) * 2018-03-01 2019-09-06 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JPWO2019167225A1 (ja) * 2018-03-01 2021-03-18 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11899793B2 (en) 2018-03-01 2024-02-13 Nec Corporation Information processing apparatus, control method, and program
JP2020038525A (ja) * 2018-09-05 2020-03-12 東日本電信電話株式会社 異常検知装置

Also Published As

Publication number Publication date
JPWO2014020908A1 (ja) 2016-07-21

Similar Documents

Publication Publication Date Title
JP6394726B2 (ja) 運用管理装置、運用管理方法、及びプログラム
US10102097B2 (en) Transaction server performance monitoring using component performance data
CN107005438B (zh) 生成动态地可缩放网络负载的方法、系统和介质
US10055275B2 (en) Apparatus and method of leveraging semi-supervised machine learning principals to perform root cause analysis and derivation for remediation of issues in a computer environment
US8930757B2 (en) Operations management apparatus, operations management method and program
US9582395B2 (en) Critical systems inspector
Gill et al. RADAR: Self‐configuring and self‐healing in resource management for enhancing quality of cloud services
US9047396B2 (en) Method, system and computer product for rescheduling processing of set of work items based on historical trend of execution time
JP5267749B2 (ja) 運用管理装置、運用管理方法、及びプログラム
US20110185235A1 (en) Apparatus and method for abnormality detection
US10318399B2 (en) Using canary instances for software analysis
US10057142B2 (en) Diagnostic framework in computing systems
WO2014020908A1 (ja) システム状態判別支援装置、及び、システム状態判別支援方法
US20120317069A1 (en) Throughput sustaining support system, device, method, and program
US9355009B2 (en) Performance of scheduled tasks via behavior analysis and dynamic optimization
US9009536B2 (en) Test case production utilizing problem reports
US20160094392A1 (en) Evaluating Configuration Changes Based on Aggregate Activity Level
US9397921B2 (en) Method and system for signal categorization for monitoring and detecting health changes in a database system
US20150281008A1 (en) Automatic derivation of system performance metric thresholds
US20200042373A1 (en) Device operation anomaly identification and reporting system
US10055277B1 (en) System, method, and computer program for performing health checks on a system including a plurality of heterogeneous system components
US20150178140A1 (en) Information processing system and monitoring method
US20140122692A1 (en) Diagnostics information extraction from the db signals with measureless parameters
CN114610560B (zh) 系统异常监控方法、装置和存储介质
US20200287847A1 (en) System and control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13825640

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014528001

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13825640

Country of ref document: EP

Kind code of ref document: A1