WO2011083687A1 - 運用管理装置、運用管理方法、及びプログラム記憶媒体 - Google Patents

運用管理装置、運用管理方法、及びプログラム記憶媒体 Download PDF

Info

Publication number
WO2011083687A1
WO2011083687A1 PCT/JP2010/073058 JP2010073058W WO2011083687A1 WO 2011083687 A1 WO2011083687 A1 WO 2011083687A1 JP 2010073058 W JP2010073058 W JP 2010073058W WO 2011083687 A1 WO2011083687 A1 WO 2011083687A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
monitored
abnormal
operation management
server
Prior art date
Application number
PCT/JP2010/073058
Other languages
English (en)
French (fr)
Inventor
英男 長谷川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2011548953A priority Critical patent/JP5267684B2/ja
Priority to EP10842200.7A priority patent/EP2523115B1/en
Priority to US13/133,719 priority patent/US8645769B2/en
Priority to CN201080060935.9A priority patent/CN102713861B/zh
Publication of WO2011083687A1 publication Critical patent/WO2011083687A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold

Definitions

  • the present invention relates to an operation management apparatus, an operation management method, and a program storage medium for monitoring system operation information.
  • 2005-285040 collects continuous amount information as initial monitoring information from a plurality of network devices, monitors the statistical behavior of this continuous amount information, and detects a behavior different from normal. For the first time, the cause of the failure is identified by collecting a plurality of related monitoring information and judging each value.
  • the technique disclosed in Japanese Patent Laid-Open No. 2006-244447 detects a failure tendency of various parameters in the data storage array to avoid a failure of the system. This technique controls access to a memory array space composed of a plurality of data storage devices, and accumulates performance data from each data storage device in a history log. This technique then analyzes the performance data in order to detect an abnormal operation of the data storage device and initiates corrective action on the data storage device in response to the analysis.
  • the technique disclosed in Japanese Patent Application Laid-Open No. 2008-9842 collects information related to the operating state of a computer system, records correlation information indicating a correlation between the collected information, and calculates the computer system from the correlation information and the collected information. Detects a failure that has occurred in the service executed in step 1, and generates a process to recover from this failure.
  • the effect and influence given to the computer system by the execution of this process are determined with reference to the correlation information, and at least the necessity / unnecessity of execution of the processes for which the effect and the effect are determined, the execution order, and the execution time are determined. Decide one.
  • 2009-199533 obtains performance information for each of a plurality of types of performance items from a plurality of managed devices, and at least first performance is obtained when the performance item or the managed device is an element. Based on the correlation function between the first performance series information indicating the time series change of the performance information related to the element and the second performance series information indicating the time series change of the performance information related to the second element, the correlation model is changed to each element. Generate for combinations between. This technique analyzes whether or not the performance information newly detected from the managed device maintains the correlation model. If the result is negative, the element is regarded as abnormal.
  • An object of the present invention is to provide an operation management apparatus, an operation management method, and a program storage medium that can shorten the time required for the process.
  • the operation management device acquires measurement values for a plurality of performance indexes for each of a plurality of monitored devices connected to a common device, and measures the values of each of the plurality of monitored devices.
  • the operation management method of the present invention obtains measurement values for a plurality of performance indicators for each of a plurality of monitored devices connected to a common device, and measures the values of each of the plurality of monitored devices.
  • the abnormal performance index is detected as an abnormal item, and the abnormal items detected in all of the plurality of monitored devices are excluded from the abnormal items of each of the plurality of monitored devices.
  • the abnormal items are output.
  • the program recording medium of the present invention obtains measurement values for a plurality of performance indicators for each of a plurality of monitored devices connected to a common device in a computer, and each of the plurality of monitored devices.
  • the performance index having an abnormal measured value is detected as an abnormal item, and the abnormal item detected in all of the plurality of monitored devices is excluded from the abnormal item of each of the plurality of monitored devices. Then, an operation management program for executing processing for outputting the remaining abnormal items is recorded.
  • the effect of the present invention is that when an abnormality is detected from a plurality of servers, the administrator can quickly identify the cause of the failure that has occurred in the system.
  • FIG. 1 is a functional block diagram showing the configuration of the monitoring system of this embodiment.
  • the monitoring system of the present embodiment includes a server operation management device 2 and a monitoring terminal 3.
  • the server operation management device 2 monitors a plurality of monitored servers 1 (monitored devices).
  • the monitoring terminal 3 sends a request for investigating the presence / absence of abnormality of each monitored server 1 to the server operation management device 2 according to the investigation command input by the administrator's operation, and the investigation received from the server operation management device 2 The result is displayed on the management screen 31.
  • the monitored server 1 is a server constituting a multi-tier system that is monitored by the server operation management device 2.
  • a multi-tier system is a system in which information processing for providing a service is divided into a plurality of tiers, and a load-distributed server group is provided in each tier.
  • the three-tier system includes a web server group, an application server group, and a database server group.
  • FIG. 2 is a diagram showing an example of the configuration of the multi-tier system in the present embodiment.
  • the monitored server 1 forms a three-tier system.
  • This three-tier system includes two application servers and three web servers as monitored servers 1.
  • AP server group B includes two application servers, and Web server group A includes three web servers. Access to the Web server group A via the Internet D from a client or other server (not shown) is equally distributed to each Web server by the load balancer C.
  • each web server then randomly forwards the request to the first or second application server. Further, each monitored server 1 measures a plurality of performance indexes (metrics) in its own device at regular intervals, and sends measured data of each performance index to the server operation management apparatus 2 as performance information.
  • the metric refers to a performance index that can be observed from a server or a network device. For example, as a performance index, CPU (Central Processing Unit) usage rate, memory usage, disk usage status, service application operating status, whether the latest correction module is applied to OS (Operating System) or application, There are number of password errors.
  • the server operation management apparatus 2 includes a performance information collection unit 21, a performance information storage unit 22, a failure detection unit 26, and a spread determination unit 27.
  • the performance information collection unit 21 collects a set of measured data as performance information for each of a plurality of performance indexes from each of a plurality of monitored servers 1 constituting a multi-tier system at each collection time.
  • the performance information storage unit 22 stores the collected performance information of each monitored server 1.
  • the failure detection unit 26 reads the performance information of each monitored server 1 measured at the investigation time designated by the administrator in the investigation request from the monitoring terminal 3 from the performance information storage unit 22, and the actual measurement data of each performance index is normal. Is determined based on a comparison result with each model data, and an abnormal performance index is detected as an abnormal item.
  • the propagation determining unit 27 extracts and excludes the abnormal items that are common to all monitored servers 1 in the same hierarchy from the abnormal items of each monitored server 1 detected by the failure detecting unit 26, and each monitored server 1 Management abnormality information indicating the remaining abnormality items is generated for presentation to the administrator.
  • the ripple determination unit 27 excludes an abnormal item common to all servers in the same hierarchy as being caused by a ripple from a server in another hierarchy.
  • the remaining abnormal items of each server are used as management abnormal information, it is possible to present to the administrator information that does not bury the failure source due to the spread of abnormalities between layers.
  • FIG. 3 is a diagram illustrating an example of a spillover state of a failure that occurs in the multi-tier system according to the present embodiment.
  • FIG. 3 when a failure occurs in one server of the application server group, all the servers in the web server group are uniformly affected, and abnormalities of the same tendency occur simultaneously in all the web servers. To do.
  • the web server detects an abnormality in a range several times that of the application server.
  • the server operation management apparatus 2 of the present embodiment may include an abnormality score calculation unit 28.
  • the abnormality score calculation unit 28 totals the number of abnormal items of each monitored server 1 based on the management abnormality information generated by the propagation determination unit 27, and the number of abnormal items occupying the number of performance indexes for each monitored server 1. The percentage is calculated as an abnormal score. As a result, an abnormality score is calculated as a value representing the degree of abnormality of each monitored server 1 by negating the difference in the number of performance indexes (metric number), so that it is not affected by the difference in the number of performance indexes of each monitored server 1. Therefore, it is possible to determine the monitored server 1 in which abnormalities are concentrated, and to obtain accurate cause candidate rankings. Furthermore, the server operation management apparatus 2 of the present embodiment includes a correlation model generation unit 23 and a correlation model storage unit 24.
  • the correlation model generation unit 23 is based on the normal performance information of each monitored server 1 for a certain period accumulated in the performance information accumulation unit 22, for each monitored server 1, and for each combination of two performance indicators. A conversion function indicating a correlation between the measured data of the two performance indexes is generated as a correlation model.
  • the correlation model storage unit 24 stores each generated correlation model.
  • the failure detection unit 26 calculates one actual measurement data of the performance index combinations in the performance information of each monitored server measured at the investigation time from the other actual measurement data based on the correlation model related to the combination. Compare with model data. Then, the failure detection unit 26 determines whether or not the difference satisfies a certain error range, and detects the combination of the performance indexes determined as “no” as the above-described abnormal items.
  • the server operation management apparatus 2 of the present embodiment includes a logical configuration information storage unit 25 and a communication control unit 29.
  • the logical configuration information storage unit 25 stores in advance multi-level logical configuration information indicating to which level each of the plurality of monitored servers 1 belongs.
  • the communication control unit 29 controls communication with the monitoring terminal 3.
  • the performance information collection unit 21 in the server operation management apparatus 2 collects each performance information measured by each monitored server 1 from each monitored server 1 and sequentially sends it to the performance information storage unit 22.
  • the performance information storage unit 22 stores and manages the performance information of each monitored server 1 as time-series data for each performance index, and is specified in response to a request from the correlation model generation unit 23 or the failure detection unit 26
  • the performance information of each monitored server 1 during the period is output.
  • the correlation model generation unit 23 acquires normal performance information for a certain period of each monitored server 1 from the performance information storage unit 22.
  • the correlation model generation unit 23 acquires actual measurement data for all performance indexes (metrics) of each monitored server 1.
  • generation part 23 calculates the correlation model which shows a correlation about all the combinations of two metrics for every to-be-monitored server 1 based on a predetermined arithmetic algorithm.
  • one week or one month may be set as the certain period.
  • the correlation model generation unit 23 may generate a correlation model using a technique described in Japanese Patent Laid-Open No. 2009-199533.
  • the correlation model generation unit 23 uses, as an arithmetic algorithm, the measured data of one performance index among the combinations of performance indices in the performance information of the monitored server 1 as x and the measured data of the other performance index as y.
  • the correlation model storage unit 24 receives and stores the correlation model generated by the correlation model generation unit 23, and outputs a correlation model in response to a request from the failure detection unit 26.
  • the logical configuration information storage unit 25 stores in advance multi-level logical configuration information in which the identifier of each monitored server 1 is associated with the hierarchical name of the hierarchy to which the monitored server 1 belongs.
  • the failure detection unit 26 reads the performance information of each monitored server 1 during the investigation period specified by the investigation request from the monitoring terminal 3 from the performance information storage unit 22 and stores the correlation model of each monitored server 1 in the correlation model. Read from unit 24.
  • the failure detection unit 26 For each collection time within the investigation period, the failure detection unit 26 uses one actual measurement data of the performance index (metric) combination in the performance information of each monitored server 1 and the other actual measurement data in the correlation model related to this combination. The residual value between the model data calculated by substitution is calculated. When the residual value exceeds a preset value, the failure detection unit 26 detects this combination of performance index (metric) as an abnormal item. For example, when the combination of performance indexes is “CPU usage rate of system process” and “memory usage amount”, the failure detection unit 26 is calculated based on the correlation model with “CPU usage rate of system process” as an input. The model data of “memory usage” is compared with the measured data of “memory usage”.
  • the propagation determining unit 27 identifies the hierarchy (server group) to which each monitored server 1 belongs based on the logical configuration information stored in advance in the logical configuration information storage unit 25, and each monitored target detected by the failure detection unit 26. Abnormal items that are common among all monitored servers 1 in the same hierarchy are extracted from the abnormal items of the server 1. Then, the propagation determination unit 27 generates management abnormality information in consideration of the propagation of the abnormality by excluding the extracted common abnormality item from all the abnormality items of each monitored server.
  • the function of the spread determining unit 27 will be described based on specific examples shown in FIGS. 4 and 5. FIG.
  • FIG. 4 is a diagram illustrating an example of an abnormal item in the present embodiment.
  • FIG. 4 shows abnormal items of each monitored server 1 detected by the failure detection unit 26 when three web servers and two application servers are used as the monitored server 1.
  • FIG. 5 is a diagram illustrating an example of management abnormality information in the present embodiment.
  • FIG. 5 shows a management abnormality generated by the ripple determining unit 27 extracting and excluding abnormal items common to the monitored servers 1 in each layer from the abnormal items of each monitored server 1 shown in FIG. Information. 4 and 5, “Web1”, “Web2”, and “Web3” represent web server identifiers (server names), and “AP1” and “AP2” represent application server identifiers (server names), respectively.
  • FIG. 4 shows abnormal items of each monitored server 1 detected by the failure detection unit 26 when three web servers and two application servers are used as the monitored server 1.
  • FIG. 5 is a diagram illustrating an example of management abnormality information in the present embodiment.
  • FIG. 5 shows a management abnormality generated by the ripple determining unit
  • a combination of performance indices (one performance index u and the other performance index y) in which a correlation abnormality is detected is shown as an abnormality item of each server.
  • CPU user% represents the CPU usage rate of the user process.
  • CPU system% represents the CPU usage rate of the system process.
  • disk IO / sec represents a disk input / output rate.
  • Mem used% represents the memory usage.
  • disk used% represents the disk usage.
  • CPU Wait I / O% represents the CPU input / output waiting time.
  • Packet Recv” and “Packet Sent” represent the number of received packets and the number of transmitted packets. In the example illustrated in FIG.
  • the abnormality information for management generated by the propagation determining unit 27 is as shown in FIG.
  • the abnormality score calculation unit 28 receives the management abnormality information from the propagation determination unit 27 and counts the number of abnormal items of each monitored server 1 based on the management abnormality information.
  • FIG. 6 is a diagram illustrating an example of information output from the abnormality score calculation unit 28 in the present embodiment.
  • the information output by the abnormality score calculation unit 28 is a table having four columns: a server identifier, the number of abnormal items, the total number of combinations of metrics (the number of correlation models), and an abnormality score.
  • a server identifier the number of abnormal items
  • the total number of combinations of metrics the number of correlation models
  • FIG. 7 is a diagram illustrating an example of monitoring information displayed on the management screen 31 of the monitoring terminal 3 in the present embodiment. The monitoring information shown in FIG.
  • the 7 includes a table 71 indicating an abnormality score of each monitored server 1, a correlation abnormality map 72, and an actual measurement data graph 73.
  • the table 71 has columns for server identifiers and abnormality scores thereof.
  • the rows of the table 71 may be arranged according to the abnormality score. Further, the number of rows in the table 71 may be limited to the number determined by the administrator. Thereby, the administrator can easily grasp the monitored server 1 having the highest possibility of abnormality as a result of analysis.
  • the correlation abnormality map 72 the relationship between each layer and each monitored server 1 is represented by a rectangular area. Then, a circle representing a metric is displayed in the area of each monitored server 1, and a straight line is drawn between the metrics where an abnormality is detected.
  • the actual data graph 73 includes a graph showing the measured data of both metrics in which an abnormality is detected in time series, and a graph showing the difference between the measured data and the correlation model calculated by the failure detection unit 26.
  • the server operation management apparatus 2 of this embodiment includes a logical configuration information storage unit 25, and the propagation determination unit 27 is configured to monitor each monitored server based on the logical configuration information stored in advance in the logical configuration information storage unit 25.
  • the hierarchy (server group) to which 1 belongs is identified.
  • the present invention is not limited to this, and the server operation management device 2 does not include the logical configuration information storage unit 25, and the propagation determination unit 27 determines whether each monitored server uses the server identifier included in the performance information of each monitored server 1 described above.
  • the hierarchy to which the server 1 belongs may be determined. For example, if the server identifier included in the performance information is “Web2”, the spread determination unit 27 may determine that the “Web” portion belongs to the same hierarchy as “Web1” and “Web3”. According to the server operation management apparatus 2 of the present embodiment, the ripple determination unit 27 excludes the abnormal items common to the monitored servers 1 in the same hierarchy as those caused by the ripple from the other hierarchy, and manages the remaining abnormal items. Since it is displayed as anomaly information, it is possible to eliminate the burying of the failure source due to the spread of anomalies between layers.
  • FIG. 8 is a flowchart showing the performance information collection operation of the server operation management apparatus 2 of this embodiment. As shown in FIG. 8, first, the performance information collection unit 21 determines whether or not the collection time set in advance at a constant interval (eg, 1 minute interval) has been reached (step S81 in FIG. 8), and at the collection time.
  • a constant interval eg, 1 minute interval
  • the monitored server 1 When it is determined that the performance has been reached, the monitored server 1 is accessed to obtain performance information (step S82 in FIG. 8).
  • the performance information storage unit 22 stores the acquired performance information of the monitored server 1 (step S83 in FIG. 8).
  • the performance information collection unit 21 refers to the logical configuration information in the logical configuration information storage unit 25 to determine whether or not performance information has been acquired from all monitored servers 1 (step S84 in FIG. 8).
  • FIG. 9 is a flowchart showing the correlation model generation operation of the server operation management apparatus 2 of this embodiment.
  • the correlation model generation unit 23 reads the performance information of each normal monitored server 1 for a certain period (for example, for one week) stored in the performance information storage unit 22 in accordance with an instruction from the monitoring terminal 3 (Ste S91 in FIG. 9). For each monitored server 1, the correlation model generation unit 23 generates, as a correlation model, a conversion function indicating the correlation between the measured data of the performance index for each combination of the two performance indexes (step S92 in FIG. 9). .
  • the correlation model storage unit 24 stores the generated correlation models (step S93 in FIG. 9). When the correlation model generation unit 23 generates correlation models for all monitored servers 1 (Yes in step S94 in FIG. 9), the correlation model generation operation ends.
  • FIG. 9 the correlation model generation operation ends.
  • the failure detection unit 26 reads the performance information of each monitored server 1 for each measurement time included in the investigation target period (for example, one week) designated by the monitoring terminal 3 from the performance information storage unit 22 (FIG. 10). Step S101). The failure detection unit 26 determines whether or not the combination of the measured data of each performance index satisfies the corresponding correlation model (conversion function) within a certain error range, and determines the combination of the performance index determined as “no”. It is detected as an abnormal item (step S102 in FIG. 10).
  • the propagation determining unit 27 refers to the logical configuration information, and from the abnormal items of each monitored server 1 detected by the failure detecting unit 26, an abnormal item common to all the monitored servers 1 in the same hierarchy is obtained. Extract (step S103 in FIG. 10). The propagation determining unit 27 generates management abnormality information indicating the remaining abnormal items excluding the extracted common abnormal items from the abnormal items of each monitored server 1 (step S104 in FIG. 10). Then, when the propagation determination unit 27 generates management abnormality information for all layers (Yes in step S105 in FIG. 10), the management abnormality information is output to the abnormality score calculation unit 28 (step in FIG. 10). S106).
  • FIG. 11 is a flowchart showing an abnormality score calculation operation of the server operation management apparatus 2 of the present embodiment.
  • the abnormality score calculation unit 28 counts the number of abnormal items for each monitored server 1 based on the management abnormality information input from the propagation determination unit 27 (step S111 in FIG. 11).
  • the abnormal score calculation unit 28 refers to the correlation model stored in the correlation model storage unit 24 and counts the number of correlation models for each monitored server 1 (step S112 in FIG. 11).
  • the abnormal score calculation unit 28 calculates a ratio of the number of abnormal items to the number of correlation models for each monitored server 1 as an abnormal score (step S113 in FIG. 11).
  • the abnormal score of each monitored server 1 is output to the monitoring terminal 3 (step S115 in FIG. 11).
  • an abnormality score corresponding to the number of metrics can be calculated for each monitored server 1, so that the monitored server 1 in which the abnormality is concentrated is determined regardless of the number of metrics, and an accurate cause candidate ranking is obtained. I can do it.
  • FIG. 12 is a block diagram showing a characteristic configuration of the present embodiment.
  • the operation management apparatus includes a failure detection unit 26 and a propagation determination unit 27.
  • the failure detection unit 26 acquires measurement values for a plurality of performance indexes for each of a plurality of monitored devices connected to a common device, and measures the values for each of the plurality of monitored devices. Detects an abnormal performance index as an abnormal item.
  • the spread determining unit 27 excludes the abnormal items detected in all of the plurality of monitored devices from the abnormal items of the plurality of monitored devices, and outputs the remaining abnormal items.
  • the server operation management apparatus 2 uses the characteristics of the load balancing cluster server group to determine the similarity of the abnormality that has occurred for each server group, and to detect the abnormality that has occurred between the server groups. Since the spillover is identified and the abnormality information is corrected, the administrator can easily determine the cause of the abnormality.
  • the server operation management apparatus 2 of the present embodiment is common to all monitored servers 1 in the same hierarchy from the abnormal items of each monitored server 1 when an abnormality is detected from a plurality of monitored servers 1 in the multi-tier system.
  • the failure source server has a lower upper limit on the number of abnormal metrics than others, so all the metrics indicate an abnormality.
  • the number of abnormal metrics is smaller than that of other servers affected by the failure. Since the administrator usually investigates from a server having a large absolute number of abnormality metrics, the abnormality of the server that is the source of the failure is buried in another server group. For this reason, the administrator pays attention to the wrong server, and as a result, misunderstands the cause of the abnormality.
  • the server operation management apparatus 2 calculates an abnormality score corresponding to the number of metrics for each monitored server 1, the server operation management apparatus 2 can seamlessly analyze the monitored server 1 having a relatively small number of metrics. Regardless of the difference in the number of metrics between the monitoring servers 1, it is possible to identify the monitored server 1 in which abnormalities are concentrated and to obtain accurate cause candidate rankings. As a result, the administrator can accurately and quickly identify the fault location. While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
  • the failure detection unit 26 detects a combination of the two performance indexes as an abnormal item when the measured values of the two performance indexes do not satisfy the correlation model corresponding to the two performance indexes. is doing. However, the failure detection unit 26 determines whether each performance index is abnormal by comparing the measured value of each performance index with a predetermined threshold, and outputs each performance index determined to be abnormal as an abnormal item. Also good.
  • This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2010-003008 for which it applied on January 8, 2010, and takes in those the indications of all here.
  • the present invention is applicable to technology for monitoring the operating status of each server in a multi-tier system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Debugging And Monitoring (AREA)

Abstract

　複数のサーバから異常を検出した場合に、管理者が障害の原因を特定するまでの時間を短縮する。　運用管理装置は、障害検出部２６と、波及判定部２７とを含む。障害検出部２６は、共通の装置に接続された複数の被監視対象装置の各々を対象に、複数の性能指標について計測値を取得し、複数の被監視対象装置の各々における計測値が異常な性能指標を異常項目として検出する。波及判定部２７は、複数の被監視対象装置の各々の異常項目から、複数の被監視対象装置の全てにおいて検出された異常項目を除外して、残った異常項目を出力する。

Description

運用管理装置、運用管理方法、及びプログラム記憶媒体
　本発明は、システムの稼働情報を監視する運用管理装置、運用管理方法、及びプログラム記憶媒体に関する。
　データセンタ等に設置された多数のサーバやネットワーク機器で構成される情報システムの技術分野において、ＷＥＢサービスや業務サービスなど、システムが提供するサービスの社会インフラとしての重要性が高まっている。このため、それらのサービスを管理する各サーバの安定稼働が不可欠になっている。このようなシステムを管理する技術として、複数のサーバの稼働状況を一元的に監視し、障害の発生を検出する統合管理システムが知られている。
　この統合管理システムとしては、例えば、監視対象となる複数のサーバから稼働状況に関する実測データをオンラインで取得し、この実測データが閾値を越えた場合に異常を検出するシステムが広く知られている。しかしながら、このシステムでは、異常が検出された場合、その原因がメモリ容量不足か、ＣＰＵ負荷か、ネットワーク負荷か等、修復のために原因を絞り込む必要があった。
　一般に異常の原因を解明するには、関係がありそうな計算機のシステムログやパラメータの調査を要する。この調査は、システムエンジニアの経験と勘に頼る必要あり、異常解明に時間と労力を要する。このため、通常の統合管理システムでは、複数の機器から収集したイベントデータ（状態通知）に基づいて、異常状態の組み合わせ等の分析を自動的に行い、大局的な問題点や原因を推定して管理者に通知し、対処支援を行うことが重要である。特に、サービスの長期連続運用での信頼性確保には、発生した異常だけでなく、明確な異常になっていない性能劣化や将来発生が予想される障害の兆候といった状態を検出し、計画的な設備増強を行うことが求められている。
　ここで、このような統合管理システムに関連する以下のような技術が開示されている。特開２００２−３４２１０７号公報に開示された技術は、検出されたシステム障害がソフトウェア障害と特定された場合に、そのソフトウェア障害が発生したプロセスの再起動の再開範囲をドメイン単位に限定することで、サービスの中断時間を短縮する。
　特開２００５−２８５０４０号公報に開示された技術は、複数のネットワーク装置から初期監視情報として連続量情報を収集し、この連続量情報の統計的な振舞いを監視し、通常と異なる振舞いを検出した場合に初めて、関連する複数の監視情報を収集して、その各値を判定することで障害の原因を特定する。
　特開２００６−２４４４４７号公報に開示された技術は、データ記憶アレイにおける各種パラメータの障害傾向を検出してシステムの障害を回避する。この技術は、複数のデータ記憶装置により構成されるメモリ・アレイ空間へのアクセスを制御し、履歴ログへ各データ記憶装置からの動作性能データを累積する。そして、この技術は、データ記憶装置の異常な動作を検出するために動作性能データを解析し、解析に応答してデータ記憶装置の訂正処置を開始する。
　特開２００８−９８４２号公報に開示された技術は、コンピュータシステムの稼動状態に関する情報を収集し、この収集された情報間の相関関係を示す相関情報を記録し、相関情報と収集情報からコンピュータシステムで実行されるサービスに生じた障害を検出し、この障害を回復するための処理を生成する。そして、この技術は、この処理の実行によってコンピュータシステムに与えられる効果及び影響を相関情報を参照して判定し、効果及び影響が判定された処理の実行の要否、実行順序及び実行時刻の少なくとも一つを決定する。
　特開２００９−１９９５３３号公報に開示された技術は、複数の被管理装置から複数種の性能種目毎の性能情報を取得し、性能種目又は被管理装置を要素とした場合に、少なくとも第１の要素に関する性能情報の時系列変化を示す第１の性能系列情報と、第２の要素に関する性能情報の時系列変化を示す第２の性能系列情報との相関関数に基づいて、相関モデルを各要素間の組み合わせについて生成する。そして、この技術は、被管理装置から新たに検出された性能情報が相関モデルを維持しているか否かを分析し、その結果が否であれば、その要素を異常とする。
　しかしながら、上述の関連技術では、サーバシステムが大規模になると、異常が検出されるサーバの数が多くなるため、管理者が障害発生源とは異なる箇所に注目し、障害発生源のサーバが特定されるまでに時間を要するという課題があった。
　例えば、複数のサーバ群により構成される多階層システムでは、１つのサーバで発生した障害による異常が多数のサーバに波及して影響を及ぼすことがある。この場合、この異常の波及により障害発生源が埋没してしまう。例えば、３階層システムでは、アプリケーションサーバで発生した障害による異常が上位のＷｅｂサーバ群に波及することにより、類似の異常がＷｅｂサーバ群で一斉に発生する。このような異常の波及は、１対多の関係で発生することが多く、１台のアプリケーションサーバの障害が１００台のＷｅｂサーバの異常として検出されることがある。ここで、管理者が、異常が検出されたサーバを順に調査するときに、１００台のＷｅｂサーバに着目してしまうと、障害発生源のアプリケーションサーバに行き着くまでに相当な時間がかかってしまう。
　本発明は、上記課題を解決して、複数のサーバから異常を検出した場合に、異常の要因となる障害発生源を特定するために有効な情報を提示し、管理者が異常原因を特定するまでに要する時間を短縮できる運用管理装置、運用管理方法、及びプログラム記憶媒体を提供することを目的とする。
　本発明の運用管理装置は、共通の装置に接続された複数の被監視対象装置の各々を対象に、複数の性能指標について計測値を取得し、前記複数の被監視対象装置の各々における計測値が異常な前記性能指標を異常項目として検出する障害検出手段と、前記複数の被監視対象装置の各々の前記異常項目から、前記複数の被監視対象装置の全てにおいて検出された前記異常項目を除外して、残った前記異常項目を出力する波及判定手段とを含む。
　本発明の運用管理方法は、共通の装置に接続された複数の被監視対象装置の各々を対象に、複数の性能指標について計測値を取得し、前記複数の被監視対象装置の各々における計測値が異常な前記性能指標を異常項目として検出し、前記複数の被監視対象装置の各々の前記異常項目から、前記複数の被監視対象装置の全てにおいて検出された前記異常項目を除外して、残った前記異常項目を出力する。
　本発明のプログラム記録媒体は、コンピュータに、共通の装置に接続された複数の被監視対象装置の各々を対象に、複数の性能指標について計測値を取得し、前記複数の被監視対象装置の各々における計測値が異常な前記性能指標を異常項目として検出し、前記複数の被監視対象装置の各々の前記異常項目から、前記複数の被監視対象装置の全てにおいて検出された前記異常項目を除外して、残った前記異常項目を出力する処理を実行させる運用管理プログラムを記録する。
　本発明の効果は、複数のサーバから異常を検出した際に、管理者がシステムで発生した障害の原因を迅速に特定できることである。
本発明にかかる一実施形態の監視システムの構成を示す機能ブロック図である。 本実施形態における多階層システムの構成の一例を示す図である。 本実施形態における多階層システムで発生する障害の波及状態の一例を示す図である。 本実施形態における異常項目の一例を示す図である。 本実施形態における管理用異常情報の一例を示す図である。 本実施形態における異常スコア計算部２８から出力される情報の一例を示す図である。 本実施形態における監視端末３の管理画面３１に表示される監視情報の一例を示す図である。 本実施形態のサーバ運用管理装置の性能情報収集動作の一例示すフローチャートである。 本実施形態のサーバ運用管理装置の相関モデル生成動作の一例を示すフローチャートである。 本実施形態のサーバ運用管理装置の管理用異常情報生成動作の一例を示すフローチャートである。 本実施形態のサーバ運用管理装置の異常スコア算出動作の一例を示すフローチャートである。 本実施形態の特徴的な構成を示すブロック図である。
　以下、本発明にかかる一実施形態を、図面に基づいて説明する。
　図１は、本実施形態の監視システムの構成を示す機能ブロック図である。図１に示すように、本実施形態の監視システムは、サーバ運用管理装置２と、監視端末３とを含む。サーバ運用管理装置２は、複数の被監視サーバ１（被監視装置）を監視する。監視端末３は、管理者の操作により入力される調査指令に従って、サーバ運用管理装置２に対し各被監視サーバ１の異常の有無の調査依頼を送信すると共に、サーバ運用管理装置２から受けた調査結果を管理画面３１に表示する。
　被監視サーバ１は、サーバ運用管理装置２が監視対象としている多階層システムを構成するサーバである。多階層システムとは、サービスを提供するための情報処理を複数の階層に分離し、各階層に、負荷分散されたサーバ群を設けたシステムである。例えば、３階層システムは、ウェブサーバ群、アプリケーションサーバ群、及びデータベースサーバ群とからなる。図２は、本実施形態における多階層システムの構成の一例を示す図である。図２の例では、被監視サーバ１が３階層システムを構成している。この３階層システムは、被監視サーバ１として、２機のアプリケーションサーバと３機のウェブサーバとを含む。また、ＡＰサーバグループＢは、２機のアプリケーションサーバを含み、ＷｅｂサーバグループＡは、３機のウェブサーバを含む。図示していないクライアント又は他のサーバからのインターネットＤを介したＷｅｂサーバグループＡへのアクセスは、ロードバランサＣにより各ウェブサーバへ均等に負荷分散される。そして、それぞれのウェブサーバは、ランダムに第１又は第２のアプリケーションサーバにリクエストを転送する。
　また、各被監視サーバ１は、自機における複数の性能指標（メトリック）を一定間隔毎に計測し、この各性能指標の実測データを性能情報としてサーバ運用管理装置２へ送る。ここで、メトリックとは、サーバやネットワーク機器から観測できる性能指標のことを指す。例えば、性能指標としては、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）使用率、メモリ使用量、ディスク使用状況、サービスアプリケーションの稼働状況、最新の修正モジュールがＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）またはアプリケーションに適用されているか否か、パスワードエラーの回数などがある。
　本実施形態のサーバ運用管理装置２は、性能情報収集部２１と、性能情報蓄積部２２と、障害検出部２６と、波及判定部２７とを含む。性能情報収集部２１は、多階層システムを構成する複数の被監視サーバ１の各々から、複数の性能指標について、収集時刻毎に、計測された各実測データの組を性能情報として収集する。性能情報蓄積部２２は、収集された各被監視サーバ１の性能情報を蓄積する。障害検出部２６は、監視端末３からの調査依頼において管理者が指定した調査時刻に計測された各被監視サーバ１の性能情報を性能情報蓄積部２２から読み出し、各性能指標の実測データが正常か異常かを各モデルデータとの比較結果に基づいて判断し、異常な性能指標を異常項目として検出する。波及判定部２７は、障害検出部２６により検出された各被監視サーバ１の異常項目から、同一階層の全被監視サーバ１間で共通する異常項目を抽出して除外し、各被監視サーバ１の残りの異常項目を示す管理用異常情報を管理者への提示用として生成する。
　このような構成の本実施形態のサーバ運用管理装置２によれば、波及判定部２７により、同一階層の全サーバに共通する異常項目を他階層のサーバからの波及により生じたものであるとして除外し、各サーバの残りの異常項目を管理用異常情報とするため、階層間の異常の波及による障害発生源の埋没がない情報を管理者に提示することができる。
　ここで、異常の波及とは、１つのサーバで発生した障害が、そのサーバに接続された他の階層における多数のサーバに異常をもたらすことである。図３は、本実施形態における多階層システムで発生する障害の波及状態の一例を示す図である。例えば、図３に示すように、アプリケーションサーバ群の１つのサーバに障害が発生すると、ウェブサーバ群の全てのサーバに一様に影響を与えて、全てのウェブサーバで同一傾向の異常が同時発生する。その結果、１つのアプリケーションサーバの障害が波及すると、ウェブサーバではアプリケーションサーバの数倍の範囲で異常が検出される。
　また、本実施形態のサーバ運用管理装置２は、異常スコア計算部２８を含んでいてもよい。異常スコア計算部２８は、波及判定部２７により生成された管理用異常情報に基づいて各被監視サーバ１の異常項目数を集計し、被監視サーバ１毎に性能指標数に占める異常項目数の割合を異常スコアとして算出する。
　これにより、各被監視サーバ１の異常度合いを表す値として、性能指標数（メトリック数）の違いを打ち消した異常スコアを算出するので、各被監視サーバ１の性能指標数の違いに左右されずに異常が集中する被監視サーバ１を判定し、正確な原因候補のランキングを得ることができる。
　更に、本実施形態のサーバ運用管理装置２は、相関モデル生成部２３と、相関モデル記憶部２４とを含む。相関モデル生成部２３は、性能情報蓄積部２２に蓄積された一定期間分の正常な各被監視サーバ１の性能情報に基づいて、被監視サーバ１毎に、２つの性能指標の組み合わせ毎に、当該２つの性能指標の実測データ間の相関関係を示す変換関数を相関モデルとして生成する。相関モデル記憶部２４は、生成された各相関モデルを記憶する。障害検出部２６は、調査時刻に計測された各被監視サーバの性能情報における性能指標の組み合わせのうちの一方の実測データを、当該組み合わせに係る相関モデルに基づいて他方の実測データから算出されるモデルデータと比較する。そして、障害検出部２６は、その差分が一定の誤差範囲内を満たすか否かを判定し、否と判定された性能指標の組み合わせを、上述した異常項目として検出する。
　これにより、正常時の相関関係が崩れている性能指標の組を複数検出し、重複している性能指標を異常発生源として迅速に特定できる。
　また更に、本実施形態のサーバ運用管理装置２は、論理構成情報記憶部２５と、通信制御部２９とを含む。論理構成情報記憶部２５は、複数の各被監視サーバ１がどの階層に属しているかを示す多階層の論理構成情報を予め記憶する。通信制御部２９は、監視端末３との通信を制御する。
　サーバ運用管理装置２における性能情報収集部２１は、各被監視サーバ１で計測された各々の性能情報を各被監視サーバ１から収集し、性能情報蓄積部２２へ順次送る。
　性能情報蓄積部２２は、各被監視サーバ１の性能情報を、性能指標毎の時系列データとして保存管理すると共に、相関モデル生成部２３又は障害検出部２６からの要求に応じて、指定された期間の各被監視サーバ１の性能情報を出力する。
　相関モデル生成部２３は、各被監視サーバ１の一定期間分の正常な性能情報を性能情報蓄積部２２から取得する。ここで、相関モデル生成部２３は、各被監視サーバ１の全ての性能指標（メトリック）について、実測データを取得する。そして、相関モデル生成部２３は、予め定められた算術的アルゴリズムに基づいて、被監視サーバ１毎に、２つのメトリックの組み合わせ全てについて、相関関係を示す相関モデルを算出する。ここで、一定期間としては、例えば、１週間又は１ヶ月などが設定されていてもよい。また、相関モデル生成部２３は、特開２００９−１９９５３３号公報に記載された技術を用いて相関モデルを生成してもよい。
　例えば、相関モデル生成部２３は、算術的アルゴリズムとして、被監視サーバ１の性能情報における性能指標の組み合わせのうち、一方の性能指標の実測データをｘとし他方の性能指標の実測データをｙとした場合に、変換関数「ｙ＝Ａｘ＋Ｂ」が成り立つように係数Ａ、Ｂの値を算出する。そして、相関モデル生成部２３は、この算出した係数Ａ、Ｂの値を含む変換関数「ｙ＝Ａｘ＋Ｂ」を、この性能指標の組み合わせに対応する相関モデルとしてもよい。
　相関モデル記憶部２４は、相関モデル生成部２３により生成された相関モデルを受け取り記憶すると共に、障害検出部２６からの要求に対応して相関モデルを出力する。論理構成情報記憶部２５は、各被監視サーバ１の識別子にその被監視サーバ１が所属する階層の階層名を対応付けた、多階層の論理構成情報を予め記憶する。
　障害検出部２６は、各被監視サーバ１の、監視端末３からの調査依頼で指定された調査期間の性能情報を性能情報蓄積部２２から読み出すと共に各被監視サーバ１の相関モデルを相関モデル記憶部２４から読み出す。障害検出部２６は、調査期間内の収集時刻毎に、各被監視サーバ１の性能情報における性能指標（メトリック）の組み合わせの一方の実測データと、この組み合わせに係る相関モデルに他方の実測データを代入して算出したモデルデータとの間の残差値を算出する。障害検出部２６は、残差値が予め設定された値を超えていた場合、この性能指標（メトリック）の組み合わせを異常項目として検出する。
　例えば、性能指標の組み合わせを「システムプロセスのＣＰＵ使用率」と「メモリ使用量」とした場合、障害検出部２６は、「システムプロセスのＣＰＵ使用率」を入力として相関モデルを基に算出される「メモリ使用量」のモデルデータと、「メモリ使用量」の実測データとを比較する。そして、障害検出部２６は、その残差が予め設定された許容範囲内でない場合、この組み合わせを異常項目として検出する。
　波及判定部２７は、論理構成情報記憶部２５に予め記憶された論理構成情報を基に各被監視サーバ１が属する階層（サーバグループ）を同定し、障害検出部２６によって検出された各被監視サーバ１の異常項目から同一階層の全ての被監視サーバ１間で共通する異常項目を抽出する。そして、波及判定部２７は、この抽出した共通の異常項目を各被監視サーバの全異常項目から除外することで、異常の波及を考慮した管理用異常情報を生成する。
　ここで、波及判定部２７の機能を図４及び図５に示す具体例に基づいて説明する。図４は、本実施形態における異常項目の一例を示す図である。図４は、３つのウェブサーバと２つのアプリケーションサーバとを被監視サーバ１とした場合の、障害検出部２６が検出した各被監視サーバ１の異常項目である。図５は、本実施形態における管理用異常情報の一例を示す図である。図５は、図４に示す各被監視サーバ１の異常項目から、波及判定部２７が、各階層の被監視サーバ１間で共通な異常項目を抽出し、除外することにより生成した管理用異常情報である。
　図４及び図５における「Ｗｅｂ１」、「Ｗｅｂ２」、「Ｗｅｂ３」はそれぞれウェブサーバの識別子（サーバ名）を表し、「ＡＰ１」、「ＡＰ２」はそれぞれアプリケーションサーバの識別子（サーバ名）を表す。図４では、各サーバの異常項目として、相関関係の異常を検出した性能指標の組み合わせ（一方の性能指標ｕと他方の性能指標ｙ）が示されている。ここで、「ＣＰＵ　ｕｓｅｒ％」は、ユーザプロセスのＣＰＵ使用率を表す。「ＣＰＵ　ｓｙｓｔｅｍ％」は、システムプロセスのＣＰＵ使用率を表す。「Ｄｉｓｋ　ＩＯ／ｓｅｃ」は、ディスク入出力レートを表す。「Ｍｅｍ　ｕｓｅｄ％」は、メモリ使用量を表す。「Ｄｉｓｋ　ｕｓｅｄ％」は、ディスク使用量を表す。「ＣＰＵ　Ｗａｉｔ　Ｉ／Ｏ％」は、ＣＰＵ入出力待ち時間を表す。「Ｐａｃｋｅｔ　Ｒｅｃｖ」及び「Ｐａｃｋｅｔ　Ｓｅｎｔ」は、受信パケット数及び送信パケット数を表す。
　図４に示す例では、「Ｗｅｂ１」、「Ｗｅｂ２」、「Ｗｅｂ３」からなるウェブサーバグループにおいて、「ＣＰＵ　ｕｓｅｒ％」と「ＣＰＵ　ｓｙｓｔｅｍ％」の組み合わせ、及び「Ｍｅｍ　ｕｓｅｄ％」と「Ｄｉｓｋ　ｕｓｅｄ％」の組み合わせが３つのウェブサーバ間で、共通の異常項目である。一方で、「ＡＰ１」、「ＡＰ２」からなるアプリケーションサーバグループにおいて、共通の異常項目は無い。この結果、波及判定部２７によって生成される管理用異常情報は図５のようになる。
　異常スコア計算部２８は、波及判定部２７から管理用異常情報を受け取り、管理用異常情報を基に各被監視サーバ１の異常項目数をカウントする。そして、異常スコア計算部２８は、被監視サーバ１毎に、２つのメトリックの組み合わせ総数に占める異常項目数の割合を異常スコアとして算出し、各被監視サーバ１の異常スコアを示す情報と上述した管理用異常情報とを監視端末３へ送出する。図６は、本実施形態における異常スコア計算部２８から出力される情報の一例を示す図である。図６に示すように、異常スコア計算部２８が出力する情報は、サーバ識別子、異常項目数、メトリックの組み合わせ総数（相関モデル数）、異常スコアの４つのカラムを持つテーブルである。図６の例では、このテーブルの１番目のレコードに、サーバ識別子としてアプリケーションサーバの１つを表す「ＡＰ１」が記録されており、異常項目数に「７」、相関モデル数に「２０」、異常スコアに「０．３５」が記録されている。
　監視端末３は、管理者による操作に従って、サーバ運用管理装置２に調査指令を送る。また、監視端末３は、調査指令に対してサーバ運用管理装置２から送られてくる各被監視サーバ１の異常スコアと管理用異常情報とに基づく監視情報を管理画面３１に表示する。
　図７は、本実施形態における監視端末３の管理画面３１に表示される監視情報の一例を示す図である。図７に示す監視情報には、各被監視サーバ１の異常スコアを示すテーブル７１、相関異常マップ７２、実測データグラフ７３が含まれている。テーブル７１は、サーバ識別子及びその異常スコアのカラムを持つ。テーブル７１の行は、異常スコアに応じて整列されていてもよい。また、テーブル７１の行の数は、管理者が決めた数に限定されていてもよい。これにより、管理者は分析の結果もっとも異常の可能性の高い被監視サーバ１を容易に把握することができる。
　相関異常マップ７２には、各階層と各被監視サーバ１との関係が矩形のエリアで表される。そして、各被監視サーバ１のエリア内にメトリックを表す円が表示され、異常が検出されたメトリック間に直線が描画される。実データグラフ７３には、異常が検出された両メトリックの実測データを時系列で示したグラフと、障害検出部２６によって算出された、実測データと相関モデルとの差分を示したグラフが含まれる。
　ここで、本実施形態のサーバ運用管理装置２は、論理構成情報記憶部２５を含み、波及判定部２７が、論理構成情報記憶部２５に予め記憶された論理構成情報を基に各被監視サーバ１が属する階層（サーバグループ）を同定する。しかしながら、これに限らず、サーバ運用管理装置２が論理構成情報記憶部２５を含まずに、波及判定部２７が、上述した各被監視サーバ１の性能情報に含まれるサーバ識別子から、各被監視サーバ１が所属する階層を判別してもよい。例えば、波及判定部２７は、性能情報に含まれるサーバ識別子が「Ｗｅｂ２」であれば、「Ｗｅｂ」部分が同じ「Ｗｅｂ１」及び「Ｗｅｂ３」と同一階層に属すると判別してもよい。
　本実施形態のサーバ運用管理装置２によれば、波及判定部２７により同一階層の被監視サーバ１に共通する異常項目を他階層からの波及により生じたものとして除外し、残りの異常項目を管理用異常情報として表示するため、階層間の異常の波及による障害発生源の埋没を解消することができる。また、サーバ間のメトリック数の違いに左右されない指標である異常スコアを被監視サーバ１毎に算出するため、管理者は障害発生源である可能性が大きい被監視サーバ１を容易に特定することができる。
　次に、本実施形態におけるサーバ運用管理装置２の動作について説明する。ここで、以下の動作説明は、本発明のサーバ運用管理方法の実施形態の説明でもある。
　図８は、本実施形態のサーバ運用管理装置２の性能情報収集動作を示すフローチャートである。図８に示すように、まず、性能情報収集部２１が、予め一定間隔（例えば１分間隔）で設定された収集時刻になったか否かを判断し（図８のステップＳ８１）、収集時刻になったと判断すると被監視サーバ１にアクセスして性能情報を取得する（図８のステップＳ８２）。そして、この取得された被監視サーバ１の性能情報を性能情報蓄積部２２が記憶する（図８のステップＳ８３）。続いて、性能情報収集部２１が、論理構成情報記憶部２５の論理構成情報を参照して全ての被監視サーバ１から性能情報を取得したか否かを判断し（図８のステップＳ８４）、全ての被監視サーバ１から性能情報を取得した場合、次の収集時刻まで待機する。
　次に、図９は、本実施形態のサーバ運用管理装置２の相関モデル生成動作を示すフローチャートである。
　まず、相関モデル生成部２３が、監視端末３からの指示に従って、性能情報蓄積部２２に蓄積された一定期間分（例えば、１週間分）の正常な各被監視サーバ１の性能情報を読み出す（図９のステップＳ９１）。相関モデル生成部２３は、被監視サーバ１毎に、２つの性能指標の組み合わせ毎に、当該性能指標の実測データ間の相関関係を示す変換関数を相関モデルとして生成する（図９のステップＳ９２）。この生成された各相関モデルを相関モデル記憶部２４が記憶する（図９のステップＳ９３）。そして、相関モデル生成部２３は、すべての被監視サーバ１について相関モデルを生成したら（図９のステップＳ９４のはい）、相関モデル生成動作を終了する。
　次に、図１０は、本実施形態のサーバ運用管理装置２の管理用異常情報検出動作を示すフローチャートである。
　まず、障害検出部２６が、監視端末３に指定された調査対象期間（例えば、１週間）に含まれる測定時刻毎の各被監視サーバ１の性能情報を性能情報蓄積部２２から読み出す（図１０のステップＳ１０１）。障害検出部２６は、その各性能指標の実測データの組み合わせが、対応する相関モデル（変換関数）を一定の誤差範囲内で満たすか否かを判定し、否と判定された性能指標の組み合わせを異常項目として検出する（図１０のステップＳ１０２）。
　続いて、波及判定部２７が、論理構成情報を参照して、障害検出部２６によって検出された各被監視サーバ１の異常項目から、同一階層の全被監視サーバ１間で共通する異常項目を抽出する（図１０のステップＳ１０３）。波及判定部２７は、各被監視サーバ１の異常項目から、この抽出した共通の異常項目を除外した残りの異常項目を示す管理用異常情報を生成する（図１０のステップＳ１０４）。そして、波及判定部２７は、全ての階層について管理用異常情報を生成した場合に（図１０のステップＳ１０５のはい）、その管理用異常情報を異常スコア計算部２８へ出力する（図１０のステップＳ１０６）。
　これにより、同一階層の全被監視サーバ２に共通する異常項目を他階層からの波及により生じたものとして除外し、残りの異常項目を管理用異常情報とするので、階層間の異常の波及による異常発生源の埋没を抑制することができる。
　次に、図１１は、本実施形態のサーバ運用管理装置２の異常スコア算出動作を示すフローチャートである。
　まず、異常スコア計算部２８が、波及判定部２７から入力された管理用異常情報に基づいて、被監視サーバ１毎に異常項目数を計数する（図１１のステップＳ１１１）。異常スコア計算部２８は、相関モデル記憶部２４に記憶されている相関モデルを参照して、被監視サーバ１毎に相関モデル数を計数する（図１１のステップＳ１１２）。続いて、異常スコア計算部２８は、被監視サーバ１毎に異常項目数の相関モデル数に対する割合を異常スコアとして算出する（図１１のステップＳ１１３）。
　そして、全ての被監視サーバ１について異常スコアを算出した場合に（図１１のステップＳ１１４のはい）、各被監視サーバ１の異常スコアを監視端末３へ出力する（図１１のステップＳ１１５）。
　これにより、各被監視サーバ１についてメトリック数に応じた異常スコアを算出できるため、メトリック数に左右されず、異常が集中している被監視サーバ１を判定し、正確な原因候補のランキングを得ることが出来る。
　ここで、上述したサーバ運用管理装置２における、性能情報収集部２１、相関モデル生成部２３、障害検出部２６、波及判定部２７、及び異常スコア計算部２８については、その機能内容をプログラム化して、コンピュータに実行させるように構成してもよい。
　次に、本実施形態の特徴的な構成について説明する。図１２は、本実施形態の特徴的な構成を示すブロック図である。
　運用管理装置は、障害検出部２６と、波及判定部２７とを含む。
　ここで、障害検出部２６は、共通の装置に接続された複数の被監視対象装置の各々を対象に、複数の性能指標について計測値を取得し、複数の被監視対象装置の各々における計測値が異常な性能指標を異常項目として検出する。波及判定部２７は、複数の被監視対象装置の各々の異常項目から、複数の被監視対象装置の全てにおいて検出された異常項目を除外して、残った異常項目を出力する。
　以上のように、本実施形態のサーバ運用管理装置２は、負荷分散クラスタサーバ群の特徴を利用して、サーバグループ毎に発生した異常の類似性を判定し、サーバグループ間に発生する異常の波及を特定し、異常情報の補正を行うため、管理者は、異常原因を容易に判別できる。
　本実施形態のサーバ運用管理装置２は、多階層システムにおける複数の被監視サーバ１から異常を検出した場合に、各被監視サーバ１の異常項目から、同一階層の全被監視サーバ１に共通する異常項目を他階層のサーバからの波及により生じたものとして除外し、残りの異常項目を管理用異常情報とするため、障害発生源の被監視サーバ１の異常項目を相対的に多くして、障害発生源の埋没を抑えることができる。よって、管理者は分析の結果もっとも異常の可能性の高い被監視サーバ１を容易に把握することができ、多階層システムで発生した異常の原因解明を正確且つ迅速に実施することができる。
　また、上述の特開２００９−１９９５３３号公報等に開示された関連技術では、多階層システムにおいて、障害発生源のサーバのメトリック数が少数であった場合に、障害の原因が埋没してしまう問題があった。
　例えば、アプリケーションサーバとデータベースサーバとの間では、ディスク搭載数の違い、ソフトウェアの監視項目数の違いにより、何倍ものメトリック数の違いがあり、各階層のサーバグループ間では、メトリック数に相対的に大きな差異がある。ここで、メトリック総数が相対的に少ないサーバが障害の発生源である場合、その障害発生源のサーバは、異常メトリック数の上限が他に比べて少ないため、全てのメトリックが異常を示していても、障害が波及した他のサーバより異常メトリック数が少ない。管理者は、通常、異常メトリック数の絶対数が多いサーバから調査するため、障害発生源のサーバの異常は他のサーバ群に埋没してしまう。このため、管理者は誤ったサーバに着目してしまい、結果として異常原因を見誤る。
　本実施形態のサーバ運用管理装置２は、被監視サーバ１毎にメトリック数に応じた異常スコアを算出するため、相対的にメトリック数の少ない被監視サーバ１の分析をシームレスに可能にし、各被監視サーバ１間のメトリック数の違いに左右されず、異常が集中している被監視サーバ１を特定し、正確な原因候補のランキングを得ることができる。これにより、管理者は正確且つ迅速な障害箇所の特定が可能となる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　例えば、上記実施形態では、障害検出部２６が、２つの性能指標の計測値が当該２つの性能指標に対応する相関モデルを満足していない場合、当該２つの性能指標の組み合わせを異常項目として検出している。しかしながら、障害検出部２６は、各性能指標の計測値を所定の閾値と比較する等により、各性能指標が異常かどうかを判定し、異常と判定された各性能指標を異常項目として出力してもよい。
　この出願は、２０１０年１月８日に出願された日本出願特願２０１０−００３００８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、多階層システムにおける各サーバの稼働状況を監視する技術に適用可能である
　１　被監視サーバ
　２　サーバ運用管理装置
　３　監視端末
　２１　性能情報収集部
　２２　性能情報蓄積部
　２３　相関モデル生成部
　２４　相関モデル記憶部
　２５　論理構成情報記憶部
　２６　障害検出部
　２７　波及判定部
　２８　異常スコア計算部
　２９　通信制御部
　３１　管理画面

Claims (12)

  1. 　共通の装置に接続された複数の被監視対象装置の各々を対象に、複数の性能指標について計測値を取得し、前記複数の被監視対象装置の各々における計測値が異常な前記性能指標を異常項目として検出する障害検出手段と、
    　前記複数の被監視対象装置の各々の前記異常項目から、前記複数の被監視対象装置の全てにおいて検出された前記異常項目を除外して、残った前記異常項目を出力する波及判定手段と
    を含む運用管理装置。
  2. 　さらに、前記複数の被監視対象装置の各々について、前記複数の性能指標の内の異なる２つの性能指標毎に、当該２つの性能指標間の相関関係を示す変換関数を記憶する相関モデル記憶手段を含み、
    　前記障害検出手段は、前記複数の性能指標の内の２つの性能指標の一方の計測値を、当該２つの性能指標に対応する変換関数に入力して得られた値と、他方の計測値との差分が所定値以上の場合、当該２つの性能指標を前記異常項目として検出する
    請求項１に記載の運用管理装置。
  3. 　さらに、前記複数の被監視対象装置の各々について、前記波及判定手段により出力された前記異常項目の数の、当該被監視装置の前記変換関数の数に対する割合を、異常スコアとして出力する異常スコア算出手段を含む
    請求項２に記載の運用管理装置。
  4. 　さらに、
    　前記複数の被監視対象装置の各々において計測された、前記複数の性能指標についての計測値を時系列に記憶する性能情報蓄積手段と、
    　前記性能情報蓄積手段に記憶された所定期間の前記複数の性能指標の計測値をもとに前記変換関数を生成し、相関モデル記憶手段に保存する相関モデル生成手段と
    を含む請求項３に記載の運用管理装置。
  5. 　共通の装置に接続された複数の被監視対象装置の各々を対象に、複数の性能指標について計測値を取得し、前記複数の被監視対象装置の各々における計測値が異常な前記性能指標を異常項目として検出し、
    　前記複数の被監視対象装置の各々の前記異常項目から、前記複数の被監視対象装置の全てにおいて検出された前記異常項目を除外して、残った前記異常項目を出力する
    運用管理方法。
  6. 　さらに、前記複数の被監視対象装置の各々について、前記複数の性能指標の内の異なる２つの性能指標毎に、当該２つの性能指標間の相関関係を示す変換関数を記憶し、
    　前記異常項目を検出する場合、前記複数の性能指標の内の２つの性能指標の一方の計測値を、当該２つの性能指標に対応する変換関数に入力して得られた値と、他方の計測値との差分が所定値以上の場合、当該２つの性能指標を前記異常項目として検出する
    請求項５に記載の運用管理方法。
  7. 　さらに、前記複数の被監視対象装置の各々について、前記異常項目の数の、当該被監視装置の前記変換関数の数に対する割合を、異常スコアとして出力する
    請求項６に記載の運用管理方法。
  8. 　さらに、
    　前記複数の被監視対象装置の各々において計測された、前記複数の性能指標についての計測値を時系列に記憶し、
    　所定期間の前記複数の性能指標の計測値をもとに前記変換関数を生成する
    請求項７に記載の運用管理方法。
  9. 　コンピュータに、
    　共通の装置に接続された複数の被監視対象装置の各々を対象に、複数の性能指標について計測値を取得し、前記複数の被監視対象装置の各々における計測値が異常な前記性能指標を異常項目として検出し、
    　前記複数の被監視対象装置の各々の前記異常項目から、前記複数の被監視対象装置の全てにおいて検出された前記異常項目を除外して、残った前記異常項目を出力する
    処理を実行させる運用管理プログラムを記録したプログラム記録媒体。
  10. 　さらに、前記複数の被監視対象装置の各々について、前記複数の性能指標の内の異なる２つの性能指標毎に、当該２つの性能指標間の相関関係を示す変換関数を記憶し、
    　前記異常項目を検出する場合、前記複数の性能指標の内の２つの性能指標の一方の計測値を、当該２つの性能指標に対応する変換関数に入力して得られた値と、他方の計測値との差分が所定値以上の場合、当該２つの性能指標を前記異常項目として検出する
    前記運用管理プログラムを記録した請求項９に記載のプログラム記録媒体。
  11. 　さらに、前記複数の被監視対象装置の各々について、前記異常項目の数の、当該被監視装置の前記変換関数の数に対する割合を、異常スコアとして出力する
    前記運用管理プログラムを記録した請求項１０に記載のプログラム記録媒体。
  12. 　さらに、
    　前記複数の被監視対象装置の各々において計測された、前記複数の性能指標についての計測値を時系列に記憶し、
    　所定期間の前記複数の性能指標の計測値をもとに前記変換関数を生成する
    前記運用管理プログラムを記録した請求項１１に記載のプログラム記録媒体。
PCT/JP2010/073058 2010-01-08 2010-12-15 運用管理装置、運用管理方法、及びプログラム記憶媒体 WO2011083687A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011548953A JP5267684B2 (ja) 2010-01-08 2010-12-15 運用管理装置、運用管理方法、及びプログラム記憶媒体
EP10842200.7A EP2523115B1 (en) 2010-01-08 2010-12-15 Operation management device, operation management method, and program storage medium
US13/133,719 US8645769B2 (en) 2010-01-08 2010-12-15 Operation management apparatus, operation management method, and program storage medium
CN201080060935.9A CN102713861B (zh) 2010-01-08 2010-12-15 操作管理装置、操作管理方法以及程序存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010003008 2010-01-08
JP2010-003008 2010-01-08

Publications (1)

Publication Number Publication Date
WO2011083687A1 true WO2011083687A1 (ja) 2011-07-14

Family

ID=44305424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/073058 WO2011083687A1 (ja) 2010-01-08 2010-12-15 運用管理装置、運用管理方法、及びプログラム記憶媒体

Country Status (5)

Country Link
US (1) US8645769B2 (ja)
EP (1) EP2523115B1 (ja)
JP (1) JP5267684B2 (ja)
CN (1) CN102713861B (ja)
WO (1) WO2011083687A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042789A1 (ja) * 2011-09-19 2013-03-28 日本電気株式会社 運用管理装置、運用管理方法、及びプログラム
WO2013111560A1 (ja) * 2012-01-23 2013-08-01 日本電気株式会社 運用管理装置、運用管理方法、及びプログラム
JP2013161305A (ja) * 2012-02-06 2013-08-19 Nippon Telegr & Teleph Corp <Ntt> リソース監視装置、リソース監視システム、リソース監視方法及びリソース監視プログラム
WO2014141660A1 (ja) * 2013-03-13 2014-09-18 日本電気株式会社 システム分析装置、及び、システム分析方法
JP2019021056A (ja) * 2017-07-18 2019-02-07 株式会社東芝 データ処理装置、データ処理方法、およびプログラム
US10539468B2 (en) 2015-02-25 2020-01-21 Nec Corporation Abnormality detection apparatus, abnormality detection method, and non-transitory computer-readable medium
US11640459B2 (en) 2018-06-28 2023-05-02 Nec Corporation Abnormality detection device
US11941495B2 (en) 2017-08-02 2024-03-26 Nec Corporation Information processing device, information processing method, and recording medium

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081834B2 (en) 2011-10-05 2015-07-14 Cumulus Systems Incorporated Process for gathering and special data structure for storing performance metric data
US9081829B2 (en) 2011-10-05 2015-07-14 Cumulus Systems Incorporated System for organizing and fast searching of massive amounts of data
US20130091266A1 (en) 2011-10-05 2013-04-11 Ajit Bhave System for organizing and fast searching of massive amounts of data
CN104956373A (zh) * 2012-12-04 2015-09-30 惠普发展公司，有限责任合伙企业 确定异常网络行为的可疑根本原因
US20150200820A1 (en) * 2013-03-13 2015-07-16 Google Inc. Processing an attempted loading of a web resource
CN106104627A (zh) * 2014-03-14 2016-11-09 Nec飞鼎克株式会社 信息提供装置、信息提供系统、信息提供方法及程序
DE102014208034A1 (de) * 2014-04-29 2015-10-29 Siemens Aktiengesellschaft Verfahren zum Bereitstellen von zuverlässigen Sensordaten
US10904312B2 (en) * 2014-12-10 2021-01-26 Akamai Technologies, Inc. Server-side prediction of media client steady state
WO2016103650A1 (ja) 2014-12-22 2016-06-30 日本電気株式会社 運用管理装置、運用管理方法、及び、運用管理プログラムが記録された記録媒体
US10031831B2 (en) 2015-04-23 2018-07-24 International Business Machines Corporation Detecting causes of performance regression to adjust data systems
US11200529B2 (en) * 2015-08-06 2021-12-14 Ns Solutions Corporation Information processing apparatus, information processing system, information processing method and non-transitory computer readable recording medium
US10404791B2 (en) * 2015-12-04 2019-09-03 Microsoft Technology Licensing, Llc State-aware load balancing of application servers
US10331802B2 (en) 2016-02-29 2019-06-25 Oracle International Corporation System for detecting and characterizing seasons
US10885461B2 (en) 2016-02-29 2021-01-05 Oracle International Corporation Unsupervised method for classifying seasonal patterns
US11113852B2 (en) 2016-02-29 2021-09-07 Oracle International Corporation Systems and methods for trending patterns within time-series data
US10699211B2 (en) 2016-02-29 2020-06-30 Oracle International Corporation Supervised method for classifying seasonal patterns
JP6881434B2 (ja) * 2016-03-30 2021-06-02 日本電気株式会社 ログ分析装置、ログ分析方法及びプログラム
US9705751B1 (en) * 2016-03-31 2017-07-11 Sas Institute Inc. System for calibrating and validating parameters for optimization
US10198339B2 (en) 2016-05-16 2019-02-05 Oracle International Corporation Correlation-based analytic for time-series data
US11082439B2 (en) 2016-08-04 2021-08-03 Oracle International Corporation Unsupervised method for baselining and anomaly detection in time-series data for enterprise systems
US10635563B2 (en) 2016-08-04 2020-04-28 Oracle International Corporation Unsupervised method for baselining and anomaly detection in time-series data for enterprise systems
US10949436B2 (en) 2017-02-24 2021-03-16 Oracle International Corporation Optimization for scalable analytics using time series models
US10915830B2 (en) 2017-02-24 2021-02-09 Oracle International Corporation Multiscale method for predictive alerting
EP3611489B1 (en) * 2017-04-13 2023-07-05 NTN Corporation State monitoring device, state monitoring system, and state monitoring method
US10817803B2 (en) 2017-06-02 2020-10-27 Oracle International Corporation Data driven methods and systems for what if analysis
US11378944B2 (en) 2017-10-10 2022-07-05 Nec Corporation System analysis method, system analysis apparatus, and program
JP6835763B2 (ja) * 2018-03-08 2021-02-24 富士通フロンテック株式会社 メッセージ監視サーバ、方法、プログラム
CN108923952B (zh) * 2018-05-31 2021-11-30 北京百度网讯科技有限公司 基于服务监控指标的故障诊断方法、设备及存储介质
US10997517B2 (en) 2018-06-05 2021-05-04 Oracle International Corporation Methods and systems for aggregating distribution approximations
US10963346B2 (en) 2018-06-05 2021-03-30 Oracle International Corporation Scalable methods and systems for approximating statistical distributions
US11138090B2 (en) 2018-10-23 2021-10-05 Oracle International Corporation Systems and methods for forecasting time series with variable seasonality
US12001926B2 (en) 2018-10-23 2024-06-04 Oracle International Corporation Systems and methods for detecting long term seasons
US10938623B2 (en) * 2018-10-23 2021-03-02 Hewlett Packard Enterprise Development Lp Computing element failure identification mechanism
US10855548B2 (en) 2019-02-15 2020-12-01 Oracle International Corporation Systems and methods for automatically detecting, summarizing, and responding to anomalies
US11533326B2 (en) 2019-05-01 2022-12-20 Oracle International Corporation Systems and methods for multivariate anomaly detection in software monitoring
US11537940B2 (en) 2019-05-13 2022-12-27 Oracle International Corporation Systems and methods for unsupervised anomaly detection using non-parametric tolerance intervals over a sliding window of t-digests
US11887015B2 (en) 2019-09-13 2024-01-30 Oracle International Corporation Automatically-generated labels for time series data and numerical lists to use in analytic and machine learning systems
US11892930B2 (en) * 2021-04-29 2024-02-06 Hewlett-Packard Development Company, L.P. Performance metric calculations

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342107A (ja) 2001-05-14 2002-11-29 Nippon Telegr & Teleph Corp <Ntt> 分散サーバシステム、障害復旧方法、障害復旧プログラムおよび記録媒体
JP2003263342A (ja) * 2002-03-07 2003-09-19 Telecommunication Advancement Organization Of Japan 情報処理装置の監視装置および監視方法並びにそのプログラム
JP2005285040A (ja) 2004-03-31 2005-10-13 Nec Corp ネットワーク監視システム及びその方法、プログラム
JP2005327261A (ja) * 2004-04-16 2005-11-24 Ns Solutions Corp 性能監視装置、性能監視方法及びプログラム
JP2006244447A (ja) 2005-03-03 2006-09-14 Seagate Technology Llc データ記憶アレイにおける障害傾向の検出及び訂正を行う装置及び方法
JP2007122330A (ja) * 2005-10-27 2007-05-17 Nec Corp クラスタ障害推定システム
JP2007207173A (ja) * 2006-02-06 2007-08-16 Fujitsu Ltd 性能分析プログラム、性能分析方法、および性能分析装置
JP2007323193A (ja) * 2006-05-30 2007-12-13 Nec Corp 性能負荷異常検出システム、性能負荷異常検出方法、及びプログラム
JP2008009842A (ja) 2006-06-30 2008-01-17 Hitachi Ltd コンピュータシステムの制御方法及びコンピュータシステム
JP2009199533A (ja) 2008-02-25 2009-09-03 Nec Corp 運用管理装置、運用管理システム、情報処理方法、及び運用管理プログラム
JP2010003008A (ja) 2008-06-18 2010-01-07 Fujitsu Ltd 検出プログラム、検出装置および検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444263B2 (en) * 2002-07-01 2008-10-28 Opnet Technologies, Inc. Performance metric collection and automated analysis
US7349746B2 (en) * 2004-09-10 2008-03-25 Exxonmobil Research And Engineering Company System and method for abnormal event detection in the operation of continuous industrial processes
JP5105218B2 (ja) * 2005-06-06 2012-12-26 トヨタ自動車株式会社 異常判定装置
US7246043B2 (en) * 2005-06-30 2007-07-17 Oracle International Corporation Graphical display and correlation of severity scores of system metrics
JP5123641B2 (ja) * 2007-10-31 2013-01-23 株式会社日立製作所 性能履歴の管理方法および性能履歴の管理システム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342107A (ja) 2001-05-14 2002-11-29 Nippon Telegr & Teleph Corp <Ntt> 分散サーバシステム、障害復旧方法、障害復旧プログラムおよび記録媒体
JP2003263342A (ja) * 2002-03-07 2003-09-19 Telecommunication Advancement Organization Of Japan 情報処理装置の監視装置および監視方法並びにそのプログラム
JP2005285040A (ja) 2004-03-31 2005-10-13 Nec Corp ネットワーク監視システム及びその方法、プログラム
JP2005327261A (ja) * 2004-04-16 2005-11-24 Ns Solutions Corp 性能監視装置、性能監視方法及びプログラム
JP2006244447A (ja) 2005-03-03 2006-09-14 Seagate Technology Llc データ記憶アレイにおける障害傾向の検出及び訂正を行う装置及び方法
JP2007122330A (ja) * 2005-10-27 2007-05-17 Nec Corp クラスタ障害推定システム
JP2007207173A (ja) * 2006-02-06 2007-08-16 Fujitsu Ltd 性能分析プログラム、性能分析方法、および性能分析装置
JP2007323193A (ja) * 2006-05-30 2007-12-13 Nec Corp 性能負荷異常検出システム、性能負荷異常検出方法、及びプログラム
JP2008009842A (ja) 2006-06-30 2008-01-17 Hitachi Ltd コンピュータシステムの制御方法及びコンピュータシステム
JP2009199533A (ja) 2008-02-25 2009-09-03 Nec Corp 運用管理装置、運用管理システム、情報処理方法、及び運用管理プログラム
JP2010003008A (ja) 2008-06-18 2010-01-07 Fujitsu Ltd 検出プログラム、検出装置および検出方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042789A1 (ja) * 2011-09-19 2013-03-28 日本電気株式会社 運用管理装置、運用管理方法、及びプログラム
JPWO2013042789A1 (ja) * 2011-09-19 2015-03-26 日本電気株式会社 運用管理装置、運用管理方法、及びプログラム
US9389946B2 (en) 2011-09-19 2016-07-12 Nec Corporation Operation management apparatus, operation management method, and program
WO2013111560A1 (ja) * 2012-01-23 2013-08-01 日本電気株式会社 運用管理装置、運用管理方法、及びプログラム
US10296408B2 (en) 2012-01-23 2019-05-21 Nec Corporation Operation management apparatus, operation management method, and program
EP2808797A4 (en) * 2012-01-23 2015-08-12 Nec Corp OPERATION MANAGEMENT DEVICE, OPERATION MANAGEMENT METHOD, AND PROGRAM
US9367382B2 (en) 2012-01-23 2016-06-14 Nec Corporation Apparatus, method, and program product for calculating abnormality based on degree of correlation destruction
JP2013161305A (ja) * 2012-02-06 2013-08-19 Nippon Telegr & Teleph Corp <Ntt> リソース監視装置、リソース監視システム、リソース監視方法及びリソース監視プログラム
JPWO2014141660A1 (ja) * 2013-03-13 2017-02-16 日本電気株式会社 システム分析装置、及び、システム分析方法
WO2014141660A1 (ja) * 2013-03-13 2014-09-18 日本電気株式会社 システム分析装置、及び、システム分析方法
US10311172B2 (en) 2013-03-13 2019-06-04 Nec Corporation System analysis device and system analysis method
US10635765B2 (en) 2013-03-13 2020-04-28 Nec Corporation Cluster drawing on divided display region allocated to cluster
US10539468B2 (en) 2015-02-25 2020-01-21 Nec Corporation Abnormality detection apparatus, abnormality detection method, and non-transitory computer-readable medium
JP2019021056A (ja) * 2017-07-18 2019-02-07 株式会社東芝 データ処理装置、データ処理方法、およびプログラム
US11941495B2 (en) 2017-08-02 2024-03-26 Nec Corporation Information processing device, information processing method, and recording medium
US11640459B2 (en) 2018-06-28 2023-05-02 Nec Corporation Abnormality detection device

Also Published As

Publication number Publication date
EP2523115A4 (en) 2015-08-12
CN102713861A (zh) 2012-10-03
JP5267684B2 (ja) 2013-08-21
CN102713861B (zh) 2015-09-23
EP2523115A1 (en) 2012-11-14
US20120278663A1 (en) 2012-11-01
JPWO2011083687A1 (ja) 2013-05-13
US8645769B2 (en) 2014-02-04
EP2523115B1 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
JP5267684B2 (ja) 運用管理装置、運用管理方法、及びプログラム記憶媒体
JP6394726B2 (ja) 運用管理装置、運用管理方法、及びプログラム
US9672085B2 (en) Adaptive fault diagnosis
US10303533B1 (en) Real-time log analysis service for integrating external event data with log data for use in root cause analysis
JP5267736B2 (ja) 障害検出装置、障害検出方法およびプログラム記録媒体
US9471462B2 (en) Proactive risk analysis and governance of upgrade process
JP5874936B2 (ja) 運用管理装置、運用管理方法、及びプログラム
US9424157B2 (en) Early detection of failing computers
US8375251B2 (en) Monitoring and healing a computing system
WO2016103650A1 (ja) 運用管理装置、運用管理方法、及び、運用管理プログラムが記録された記録媒体
US20160378583A1 (en) Management computer and method for evaluating performance threshold value
JP6190468B2 (ja) 管理システム、プラン生成方法、およびプラン生成プログラム
CN102576326A (zh) 操作监测设备、操作监测方法和程序存储介质
JP6009089B2 (ja) 計算機システムを管理する管理システム及びその管理方法
US9021078B2 (en) Management method and management system
JP6252309B2 (ja) 監視漏れ特定処理プログラム，監視漏れ特定処理方法及び監視漏れ特定処理装置
JP2019121863A (ja) 影響範囲特定プログラム、影響範囲特定方法、および影響範囲特定装置
US11210159B2 (en) Failure detection and correction in a distributed computing system
US20140047102A1 (en) Network monitoring
WO2015145676A1 (ja) 監視計算機および監視方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080060935.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13133719

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10842200

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011548953

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2010842200

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE