WO2010016239A1 - 障害解析装置 - Google Patents

障害解析装置 Download PDF

Info

Publication number
WO2010016239A1
WO2010016239A1 PCT/JP2009/003715 JP2009003715W WO2010016239A1 WO 2010016239 A1 WO2010016239 A1 WO 2010016239A1 JP 2009003715 W JP2009003715 W JP 2009003715W WO 2010016239 A1 WO2010016239 A1 WO 2010016239A1
Authority
WO
WIPO (PCT)
Prior art keywords
failure
topology information
abnormal
information
functional
Prior art date
Application number
PCT/JP2009/003715
Other languages
English (en)
French (fr)
Inventor
飛鷹洋一
吉川隆士
樋口淳一
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010523756A priority Critical patent/JP5423677B2/ja
Priority to US13/057,365 priority patent/US8635496B2/en
Publication of WO2010016239A1 publication Critical patent/WO2010016239A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment

Definitions

  • the present invention relates to a failure analysis apparatus in a computer system.
  • the present invention relates to a failure analysis device that identifies a cause of failure when a computer system fails.
  • each of hardware and software is composed of elements that realize individual functions (hereinafter referred to as “functional elements”).
  • each device including software forms a multilayer from hardware to software.
  • Functional elements belonging to each layer cooperate with each other to realize a function as one apparatus (a multi-layer apparatus is also referred to as “multi-layer apparatus” including software).
  • a system composed of a plurality of multilayer devices hereinafter referred to as “multilayer system”.
  • FIG. 10 is a diagram for explaining a client-server system type multilayer system 1 which is an example of a multilayer system.
  • the multilayer system 1 includes a server 10, a client 20, and a switch 30.
  • the server 10, the client 20, and the switch 30 are all examples of a multilayer device.
  • the server 10 includes computer hardware 100, an operating system 110, and a server application 120.
  • the server 10 includes three layers: a hardware layer realized by the computer hardware 100, an operation layer realized by the operating system 110, and an application layer realized by the server application 120.
  • the client 20 includes computer hardware 200, an operating system 210, and a client application 220.
  • the client 20 includes three layers: a hardware layer realized by the computer hardware 200, an operation layer realized by the operating system 210, and an application layer realized by the client application 220.
  • the switch 30 includes switch hardware 300, an operating system 310, and a switch application 320. That is, the switch 30 includes three layers: a hardware layer realized by the switch hardware 300, an operation layer realized by the operating system 310, and an application layer realized by the switch application 320.
  • the computer hardware 100 of the server 10 includes a network card 101, an HDD 102, a CPU 103, a main memory 104, and a failure monitoring unit 109.
  • the network card 101, HDD 102, CPU 103, and main memory 104 are functional elements belonging to the computer hardware 100 of the server 10.
  • the failure monitoring unit 109 monitors the network card 101, the HDD 102, the CPU 103, and the main memory 104, and detects a failure notification (abnormality detection information) when the failure of these functional elements is detected (see FIG. 11, details). Send to (described later).
  • the operating system 110 of the server 10 includes a network driver 111, an HDD driver 112, a network protocol 113, a memory management unit 114, and a failure monitoring unit 119.
  • the network driver 111, the HDD driver 112, the network protocol 113, and the memory management unit 114 are functional elements belonging to the operating system 110 of the server 10.
  • the failure monitoring unit 119 monitors the network driver 111, the HDD driver 112, the network protocol 113, and the memory management unit 114, and transmits a failure notification to the failure analysis device 40 when detecting a failure of these functional elements.
  • the network protocol 113 is an execution unit (a program that implements TCP / IP) that executes TCP / IP or the like, or a control unit (control program) thereof. The same applies to the network protocol 213 (described later).
  • the server application 120 of the server 10 includes an application execution unit 121 and a failure monitoring unit 129.
  • the application execution unit 121 is a functional element that belongs to the server application 120 of the server 10.
  • the failure monitoring unit 129 monitors the application execution unit 121, and transmits a failure notification to the failure analysis device 40 when a failure is detected.
  • the computer hardware 200 of the client 20 includes a network card 201, an HDD 202, a CPU 203, a main memory 204, and a failure monitoring unit 209.
  • the network card 201, HDD 202, CPU 203, and main memory 204 are functional elements belonging to the computer hardware 200 of the client 20.
  • the failure monitoring unit 209 monitors the network card 201, the HDD 202, the CPU 203, and the main memory 204. When a failure of these functional elements is detected, a failure notification is transmitted to the failure analysis device 40.
  • the operating system 210 of the client 20 includes a network driver 211, an HDD driver 212, a network protocol 213, a memory management unit 214, and a failure monitoring unit 219.
  • the network driver 211, the HDD driver 212, the network protocol 213, and the memory management unit 214 are functional elements belonging to the operating system 210 of the client 20.
  • the failure monitoring unit 219 monitors the network driver 211, the HDD driver 212, the network protocol 213, and the memory management unit 214, and transmits a failure notification to the failure analysis device 40 when detecting a failure of these functional elements.
  • the client application 220 of the client 20 includes an application execution unit 221 and a failure monitoring unit 229.
  • the application execution unit 221 is a functional element that belongs to the server application 220 of the client 20.
  • the failure monitoring unit 229 monitors the application execution unit 221 and transmits a failure notification to the failure analysis device 40 when a failure is detected.
  • the switch hardware 300 of the switch 30 includes network interfaces (NWI / F) 301 to 303, a switch fabric 304, a CPU 305, a memory 306, and a failure monitoring unit 309.
  • the network interfaces 301 to 303, the switch fabric 304, the CPU 305, and the memory 306 are functional elements belonging to the switch hardware 300 of the switch 30.
  • the failure monitoring unit 309 monitors the network interfaces 301 to 303, the switch fabric 304, the CPU 305, and the memory 306, and transmits a failure notification to the failure analysis device 40 when detecting a failure of these functional elements.
  • the operating system 310 of the switch 30 of the switch 30 includes a switch driver 311, a memory management unit 312, and a failure monitoring unit 319.
  • the switch driver 311 and the memory management unit 312 are functional elements belonging to the operating system 310 of the switch 30 of the switch 30.
  • the failure monitoring unit 319 monitors the switch driver 311 and the memory management unit 312, and transmits a failure notification to the failure analysis device 40 when detecting a failure of these functional elements.
  • the switch application 320 of the switch 30 includes a routing protocol 321 and a failure monitoring unit 329.
  • the routing protocol 321 is a functional element belonging to the switch application 320 of the switch 30.
  • the failure monitoring unit 329 monitors the routing protocol 321 and transmits a failure notification to the failure analysis device 40 when a failure is detected.
  • the routing protocol 321 is an execution unit (a program in which RIP2 is implemented) that executes RIP2 or the like, or a control unit (control program) thereof.
  • the cable 2 connects the network card 101 of the server 10 and the network interface 301 of the switch 30.
  • the cable 3 connects the network card 201 of the client 20 and the network interface 303 of the switch 30.
  • a system configuration management device 60 is connected to the end of the cable 4 connected to the network interface 302 of the switch 30.
  • the system configuration management device 60 performs system configuration change management of the multilayer system 1. Therefore, for example, the cable 4 is used for transmission / reception of information such as system setting information from the system configuration management device 60.
  • each functional element belonging to each layer in the server 10, the client 20, and the switch 30 operates in cooperation. Further, when a failure occurs in a certain functional element of the multi-layer system 1, the failure is propagated to related functional elements, and each failure notification is transmitted from each failure monitoring unit to the failure analysis apparatus 40.
  • FIG. 11 is a diagram for explaining a failure analysis device 40 which is an example of a conventional analysis device.
  • FIG. 12 is a diagram illustrating an example of information stored in the failure analysis table 403 in the failure analysis apparatus 40.
  • the failure analysis device 40 includes a failure collection unit 401, a search unit 402, a failure analysis table 403, and a failure notification unit 404.
  • the failure collection unit 401 collects failure notifications from the multilayer system 1.
  • the failure analysis table 403 includes a plurality of failure notification sources 1, 2, 3,..., N, an assumed failure specifying location 1 corresponding to the plurality of failure notification sources, and a failure specifying location. It consists of two entries. For example, the table No.
  • the search unit 402 performs a failure location prediction search with reference to the failure analysis table 403 from the collected failure notifications.
  • the failure notification unit 404 notifies the operator of failure notification and failure location prediction specifying information indicating the failure cause function element (function element that is the occurrence source of the failure) searched by the search unit 402. That is, in the failure analysis device 40, a failure occurs when the operator presets the failure analysis table 403 based on past experience (predicting failure location prediction results for multiple failure elements in advance). The failure location is presented using the information in the failure analysis table 403.
  • Conventional failure analysis methods include a method in which an operator confirms a failure notification and identifies a failure location based on his / her own experience, etc., or a work for identifying a failure location such as the failure analysis device 40 described above.
  • the operator defines in advance fault identification points corresponding to a plurality of fault events.
  • FIG. 13 is a flowchart showing an example of the operation of the failure analysis apparatus 40, which is an example of a conventional analysis apparatus.
  • FIG. 14 is a flowchart illustrating the work performed by the operator after the failure analysis apparatus 40 notifies the failure location.
  • the flowchart shown in FIG. 13 is a flow from the system operation stage to failure occurrence and failure location identification.
  • the operator sets the failure analysis table 403 of the failure monitoring device 40 according to the system. That is, the failure analysis table 403 of the failure analysis device 40 is generated based on the operator input (step S101). Thereby, the failure analysis apparatus 40 enters an operation state.
  • the failure collection unit 401 collects (receives) a plurality of failure notifications from the switch 30 (step S102).
  • the search unit 402 identifies the failure location with reference to the failure notification and the failure analysis table 403 (step S104).
  • the failure notification unit 404 of the failure analysis apparatus notifies the operator of the failure notification and failure location prediction specifying information (step S106).
  • the failure notification unit 404 of the failure analysis device 40 presents the failure notification and failure location prediction identification information to the operator. As shown in FIG. 14, when the failure location notified by the failure location prediction specifying information is true (appropriate), the operator recovers the failure location (operation 1). However, when the failure location notified by the failure location prediction specifying information is not true, the operator confirms the failure location for all failure notifications (operation 2). The operator first performs failure identification work (work 4) through investigations in hardware, software, and each layer (work 3).
  • the operator restores the failure location (operation 5). However, if the failure location identified in the 4th stage of work is not true, the operator conducts a survey considering the relationship between layers (task 6), and changes the survey layer again to investigate another layer ( Perform operation 3). In this manner, the operator identifies the failure location by repeating the investigation within the layer and the investigation between the layers and narrowing down the suspected failure (operation 4).
  • Patent Document 1 describes a device that estimates a failure influence range on a system composed of a plurality of multilayer devices.
  • Patent Document 2 describes an analysis technique for analyzing the range of influence of a system failure when a system failure occurs.
  • the method in which the operator confirms the failure notification and identifies the failure location based on his / her own experience is limited because it is based on human knowledge. For example, there is a problem that only a failure similar to a past failure can be dealt with. In addition, when the monitored multilayer system is enlarged and complicated, it is expected that it becomes difficult to identify the fault location.
  • the operator determines the relationship between the failure event and the failure identification point. It is necessary to identify and define in advance. However, there is a limit to the identification by the operator due to knowledge problems. Therefore, as a result, the conventional failure analysis device such as the failure analysis device 40 has a problem that it can deal only with failures within the range assumed (defined) by the operator. Also, the task of identifying the relationship between the failure event and the failure specific location and the definition work (registration work) are troublesome. Even when the system configuration is changed, it may be troublesome because it may require re-examination work and definition work.
  • An object of this invention is to provide the failure analysis apparatus which can respond to the failure in a wide range. It is another object of the present invention to provide a failure analysis apparatus that places little burden on the operator.
  • the first means is a failure analysis device, which is information representing the topology of the system, and is a system topology comprising functional elements relating to hardware and software belonging to each device constituting the system, and links between the respective functional components.
  • a system topology information storage unit that stores information, an abnormality detection information acquisition unit that acquires abnormality detection information related to an abnormal function element that is a functional element that has developed an abnormal operation, and anomaly detection information acquired by the abnormality detection information acquisition unit
  • a failure cause identifying unit that identifies a cause of system failure and a failure cause functional element that is an expected functional element based on the system topology information stored in the system topology information storage unit.
  • the link inside has information indicating the propagation direction of the abnormal operation between the functional elements at the time of failure.
  • the abnormality detection information acquisition unit acquires abnormality detection information related to a plurality of abnormality function elements
  • the abnormality detection element sequentially selects one abnormality function element from the plurality of abnormality function elements, and the selected abnormality It is determined whether the direction from the functional element to another abnormal functional element that has not been selected matches the propagation direction in the system topology information. Identified as a failure cause functional element.
  • the second means is the above failure analysis device, and the system topology information does not include information on the device and layer to which the functional element belongs.
  • a third means is the failure analysis apparatus described above, and when the abnormality detection information acquisition unit acquires abnormality detection information related to a plurality of abnormality function elements, the system topology information is referred to and a part of the system topology information is obtained. , Further comprising a failure topology information generation unit that generates failure topology information including a plurality of abnormal function elements and links between the abnormal function elements, and the failure cause identification unit includes a plurality of abnormal function elements When one of the abnormal function elements is acquired, one abnormal function element is sequentially selected from a plurality of abnormal function elements, and the selected abnormal function element is transferred to another abnormal function element that is not selected. It is determined whether or not the direction matches the propagation direction in the failure topology information. When it is determined that the direction matches, the selected one abnormal function element is specified as the failure cause function element.
  • the fourth means is the failure analysis apparatus described above, and for each layer included in each apparatus constituting the system, basic topology information including functional elements belonging to the layer and links between the functional elements in the layer is obtained.
  • a basic topology information storage unit that stores information
  • a system topology information generation unit that generates system topology information by referring to information indicating a system configuration and basic topology information stored in the basic topology information storage unit .
  • the fifth means is the failure analysis apparatus, wherein the system topology information generation unit updates the system topology information stored in the system topology information storage unit with a tree structure by referring to a plurality of abnormal function elements. To do.
  • the failure location is not specified based on the definition of the relationship between the failure event and the failure identification location.
  • the fault location is specified based on the system topology information (concept of the propagation direction of abnormal operation) that supports the entire system. For this reason, it is possible to deal with failures within a very wide range.
  • the burden on the operator is small.
  • FIG. 1 is a block diagram of a failure analysis apparatus 50 according to an embodiment.
  • FIG. 2 shows an example of information stored in the basic topology information storage unit 505.
  • the failure analysis device 50 is a system model (system topology information) that is functional information of all layers from hardware to software belonging to each device constituting the system and links between the functional components, which are information on the entire system. ) To identify the functional elements that are expected to cause the system failure (failure-causing functional elements).
  • the failure analysis device 50 includes a failure collection unit 501 (corresponding to the abnormality detection information acquisition unit of the present invention), a failure notification unit 504, a basic topology information storage unit 505, a system topology. Information storage unit 506, failure topology information storage unit 507, system topology management unit 508, system topology information generation unit 509, failure topology information generation unit 510, and failure prediction algorithm processing unit 511 (corresponding to the failure cause identification unit of the present invention) ).
  • the failure analysis device 50 analyzes the failure of the multilayer system 1 shown in FIG.
  • the failure collection unit 501 corresponds to the failure collection unit 401 of the conventional failure analysis apparatus 40. That is, the failure collection unit 501 collects failure notifications from the multilayer system 1.
  • the basic topology information storage unit 505 is a basic topology composed of functional elements of each layer belonging to each device (server 10, client 20, switch 30) constituting the multilayer system 1 and links between the functional elements of each layer.
  • the basic topology information storage unit 505 stores, for example, basic topology information illustrated in FIG.
  • the basic topology information represented by a table manages each layer and topology information of each device in a one-to-one correspondence. For example, table NO. In 1, topology information associated with the computer hardware 100 is entered. In addition, the table No. In 2, topology information associated with the switch hardware 300 is entered. “ ⁇ >” In the topology information shown in FIG. 2 indicates a link. For example, table NO.
  • topology information (topology information corresponding to the computer hardware 100) indicates, for example, that the main memory 104 is linked to the CPU 103 and operating system memory management.
  • the HDD 102 is linked to the CPU 103 and the operating system.
  • Each link has information indicating the propagation direction of the abnormal operation in the functional element at the time of failure (direction of failure propagation).
  • each functional element it is necessary that the functional element is a sufficiently large hardware or software or a collection of functions as a target for monitoring and detecting a failure.
  • the propagation direction of abnormal operation is defined (set) in each link without distinguishing the size of the functional element and the layer to which it belongs.
  • a device component is defined as a functional element
  • a connection relationship is defined as a link.
  • the hardware module block and the failure detection register are defined as functional elements
  • the relationship between the hardware module block and the failure detection register is defined as a link.
  • a function and a failure detection variable are defined as functional elements, and a relationship between the function and the failure detection variable is defined as a link.
  • the basic topology information becomes more accurate as the relationship between the functional element and the link is extracted more precisely from the hardware and software design information.
  • the basic topology information may be defined from the known physical connection state and operational relationship.
  • the system topology management unit 508 receives system configuration information from the system configuration management device 60. Specifically, the system topology management unit 508 receives system configuration information from the system configuration management device 60 when there is a change in the configuration of the operating multilayer system 1. Note that the operator uses the system configuration management device 60 as before, and changes and manages the system configuration. Further, the system topology management unit 508 may hold the acquired system configuration information.
  • the system topology information generation unit 509 refers to the system configuration of the multilayer system 1 and the basic topology information stored in the basic topology information storage unit 505, and is the topology information of the entire system, to which each functional element belongs. System topology information that does not hold information on the devices and layers to be generated is generated. Each link of the system topology information has information indicating the propagation direction of abnormal operation in the functional element at the time of failure.
  • the system topology information generation unit 509 stores the generated system topology information in the system topology information storage unit 506.
  • system topology information generation unit 509 may update the system topology information so as to have a tree structure when the failure collection unit 501 receives a failure notification related to a plurality of abnormal function elements.
  • the processing (described later) of the failure prediction algorithm processing unit 511 is accelerated.
  • FIG. 3 is a graph of basic topology information of the computer hardware 100.
  • FIG. 4 is a graph of basic topology information of the switch hardware 300.
  • FIG. 5 is a graph of part of the system topology information.
  • the graphs of FIGS. 3, 4, and 5 indicate functional elements as nodes and relationships with other nodes by links with arrows.
  • the arrow direction of the link is the propagation direction of abnormal operation.
  • a flow of operation for generating system topology information of a part related to the computer hardware 100 and the switch hardware 300 which is a part of the multilayer system 1 shown in FIG.
  • the system topology information generation unit 509 obtains information on the system configuration in operation from the system topology management unit 508 and decomposes it into functional elements constituting the system, such as hardware resources, software resources, application resources, and the basic topology information Table NO. Based on the topology information of 1, the basic topology information graph of the computer hardware 100 shown in FIG. 3 is obtained. In addition, the table NO. Based on the topology information of 2, the basic topology information graph of the switch hardware 300 shown in FIG. 4 is obtained.
  • the system topology information generation unit 509 connects (couples) the obtained basic topology information of the computer hardware 100 and the switch hardware 300 between connectable links. Specifically, the system topology information generation unit 509 connects V101, which is a node related to the network card 101, and V301, which is a node related to the network interface 301, by V2 which is a node related to the cable 2.
  • V101 which is a node related to the network card 101
  • V301 which is a node related to the network interface 301
  • V2 which is a node related to the cable 2.
  • the system topology information generation unit 509 includes information indicating that the network card 101 (V101) and the network interface 301 (V301) can be connected in the above-described system configuration information acquired from the system topology management unit 508. It is.
  • the system topology information generation unit 509 generates system topology information of the entire multilayer system 1 shown in FIG. 10 by the same method.
  • the failure topology information generation unit 510 refers to the system topology information when the failure collection unit 501 acquires a failure notification related to a plurality of abnormal function elements (functional elements that have developed an abnormal operation), and refers to the plurality of abnormal function elements. And fault topology information (topology information which is a part of system topology information) including the links between the abnormal function elements. Each link of the fault topology information has information indicating the propagation direction of the abnormal operation in the functional element at the time of the fault (direction of fault propagation).
  • the failure topology information generation unit 510 stores the generated failure topology information in the failure topology information storage unit 507.
  • FIG. 6 is a diagram for explaining the generation process of the fault topology information.
  • the functional elements “Va”, “Vb”, “Vc”, “Vd”, “Ve”, “Vf”, and “Vg” shown in FIG. 6 are for explaining the generation process of the fault topology information. It does not correspond to the functional elements of the multilayer system 1 shown. The same applies to the functional elements “Vc”, “Vd”, “Ve”, and “Vf” shown in FIG.
  • the failure topology information generation unit 510 when the failure collection unit 501 acquires a failure notification related to the abnormal function elements “Vc”, “Vd”, “Ve”, and “Vf”, the abnormal function elements “Vc” and “Vd” from the failure collection unit 501. ”“ Ve ”and“ Vf ”are acquired.
  • the fault topology information generation unit 510 that has acquired the fault notification relating to the abnormal functional elements “Vc”, “Vd”, “Ve”, and “Vf” from the fault collection unit 501 is illustrated in FIG. 6A stored in the system topology information storage unit 506.
  • the fault topology information generation unit 510 generates the abnormal topology information illustrated in FIG. 6C, which includes the abnormal function elements “Vc”, “Vd”, “Ve”, and “Vf” and the links between the abnormal function elements.
  • the fault topology information generated by the fault topology information generation unit 510 can be considered as a system model indicating the spread of the fault.
  • the failure prediction algorithm processing unit 511 sequentially selects and selects one abnormal function element from the plurality of abnormal function elements when the failure collection unit 501 acquires a failure notification related to the plurality of abnormal function elements. It is determined whether the direction from one abnormal function element that is not selected to the other abnormal function element that is not selected matches the propagation direction in the fault topology information.
  • the abnormal function element is identified as a failure cause function element (a function element expected to cause a system failure).
  • FIG. 7A to 7E are diagrams for explaining the algorithm of the failure prediction algorithm processing unit 511.
  • FIG. The failure prediction algorithm processing unit 511 when the failure collection unit 501 acquires a failure notification related to the abnormal function elements “Vc”, “Vd”, “Ve”, and “Vf”, the abnormal function elements “Vc”, “Vd”, and “Ve”.
  • the abnormal function element “Vd” is selected from “Vf”.
  • the failure prediction algorithm processing unit 511 indicates that the link direction (propagation direction) from the selected abnormal function element “Vd” to the abnormal function element “Vf” is the link of the failure topology shown in FIG. 7A. Judged to be consistent with the direction. However, the failure prediction algorithm processing unit 511 displays the link direction from the abnormal function element “Vd” to the abnormal function element “Vc” and the link direction from the abnormal function element “Vd” to the abnormal function element “Ve”. It is determined that the link direction of the failure topology shown in 7A does not match. Therefore, the failure prediction algorithm processing unit 511 does not identify the abnormal function element “Vd” as the failure cause function element. Note that the failure topology information shown in FIG. 7A is generated by the failure topology information generation unit 510 as described above.
  • the failure prediction algorithm processing unit 511 selects, for example, the abnormal function element “Vf”. As shown in FIG. 7D, the failure prediction algorithm processing unit 511 links the selected abnormal function element “Vf” to the abnormal function element “Vd”, and the abnormal function element “Vd” to the abnormal function element “Vc”. And the link direction from the abnormal function element “Vd” to the abnormal function element “Ve” is determined not to match the link direction of the failure topology shown in FIG. 7A. Therefore, the failure prediction algorithm processing unit 511 does not identify the abnormal function element “Vf” as the failure cause function element.
  • the failure prediction algorithm processing unit 511 selects, for example, the abnormal functional element “Ve”. As shown in FIG. 7E, the failure prediction algorithm processing unit 511 links the selected abnormal function element “Ve” to the abnormal function element “Vd” and the abnormal function element “Vd” to the abnormal function element “ It is determined that the link direction to “Vf” matches the link direction of the failure topology shown in FIG. 7A. However, the failure prediction algorithm processing unit 511 determines that the link direction from the abnormal function element “Ve” to the abnormal function element “Vc” does not match the link direction of the failure topology illustrated in FIG. 7A. Therefore, the failure prediction algorithm processing unit 511 does not identify the abnormal function element “Ve” as the failure cause function element.
  • the failure prediction algorithm processing unit 511 finally selects the abnormal function element “Vc”. As shown in FIG. 7B, the failure prediction algorithm processing unit 511 links the selected abnormal function element “Vc” to the abnormal function element “Vd”, and the abnormal function element “Vc” to the abnormal function element “Ve”. And the link direction from the abnormal function element “Vd” to the abnormal function element “Vf” are determined to match the link direction of the fault topology shown in FIG. 7A. Therefore, the failure prediction algorithm processing unit 511 identifies the abnormal function element “Vc” as the failure cause function element.
  • the failure prediction algorithm processing unit 511 matches the propagation direction in the failure topology information only when it is assumed that the abnormal functional element “Vc” is the failure cause functional element. Therefore, the failure prediction algorithm processing unit 511 determines that the abnormal function element “Vc” is a failure cause function element.
  • the system topology information has a tree structure (that is, the failure topology information also has a tree structure)
  • the processing by the algorithm processing unit 511 is accelerated. This is because if the tree structure is used, the total number of links is small, so the number of times of determining the matching is small.
  • the failure notification unit 504 notifies the operator of failure notification and failure location prediction specifying information indicating the failure cause functional element specified by the failure prediction algorithm processing unit 511.
  • FIG. 8 is a flowchart showing an example of the operation of the failure analysis apparatus 50 according to the embodiment of the present invention.
  • the flowchart shown in FIG. 8 is a flow representing a process for identifying a failure location when a failure occurs in the system operation stage.
  • the failure collection unit 501 collects (receives) failure notifications related to a plurality of abnormal functional elements (step S202).
  • the system topology information storage unit 506 stores the latest system topology information of the multilayer system 1 (the configuration of the operating multilayer system 1 has been changed).
  • the system topology management unit 508 acquires system configuration information, and the system topology information generation unit 509 regenerates the latest system topology information and stores it in the system topology information storage unit 506).
  • the failure topology information generation unit 510 refers to the failure notification and the system topology information stored in the system topology information storage unit 506, and generates failure topology information (step S203).
  • the failure topology information generation unit 510 stores the generated failure topology information in the failure topology information storage unit 507.
  • the failure prediction algorithm processing unit 511 sequentially selects one abnormal function element from the plurality of abnormal function elements, and propagates the failure from the selected one abnormal function element to another abnormal function element that is not selected. It is determined whether the direction matches the propagation direction in the fault topology information. If the failure prediction algorithm processing unit 511 determines that the propagation directions are consistent, the failure prediction algorithm processing unit 511 identifies the selected abnormal function element as a failure cause function element (step S204).
  • the system topology information generation unit 509 updates the system topology information so as to have a tree structure when necessary (step S205). For example, two links from the functional element “Vc” to the functional element “Vd” of the system topology information shown in FIG. 6A (direct link to the functional element “Vd”, the functional element “Ve” via the functional element “Ve”). One of the links (which leads to “Vd”) is temporarily blocked (assuming that there is no link). For example, when the failure collection unit 501 acquires the failure notification indicating the abnormal function elements “Vc”, “Vd”, and “Vf”, the system topology information generation unit 509 links the function element “Vc” to the function element “Ve”. Is once blocked. This is because the abnormal operation does not propagate from the abnormal function element “Vc” to the abnormal function element “Ve”.
  • the system topology information generation unit 509 attaches a coefficient (a numerical value attached to the link in FIGS. 3 to 5 (all coefficients are “10”, hereinafter referred to as “link cost”)) to the link, and the system The topology information may be updated so as to have a tree structure, for example, the system topology information generation unit 509 may attach a high link cost to the link that should be blocked once.
  • the system topology information that is a tree structure can be easily generated from the system topology information that has been, and the configuration of the tree of the system topology information that is a tree structure can be easily updated.
  • the failure notification unit 503 of the failure analysis apparatus notifies the operator of failure notification and failure location prediction specifying information (step S206).
  • the failure location is specified based on the system topology information (concept of the propagation direction of abnormal operation) that supports the entire system. For this reason, it is possible to deal with failures within a very wide range. In addition, since there is no need to identify and define the relationship between the failure event and the failure specific location, the burden on the operator is small.
  • system topology management unit 508 acquires system configuration information, and the system topology information generation unit 509 regenerates the latest system topology information. For this reason, there is no burden on the operator.
  • system topology information failure topology information
  • failure topology information system topology information that does not have information about the device and layer to which each functional element belongs. This is because (system topology information, fault topology information) can be utilized.
  • FIG. 9 is a block diagram of a failure analysis apparatus 51 according to another embodiment of the present invention.
  • the failure analysis apparatus 51 includes a failure collection unit 501, a failure notification unit 504, a basic topology information storage unit 505, a system topology information storage unit 506, a system topology management unit 508, a system topology information generation unit 509, And the failure prediction algorithm process part 511 is provided (the same code
  • the failure prediction algorithm processing unit 511 of the failure analysis device 51 when the failure collection unit 501 acquires a failure notification related to a plurality of abnormal function elements, selects one abnormal function element from the plurality of abnormal function elements. Select sequentially.
  • the failure prediction algorithm processing unit 511 determines whether the direction from the selected abnormal function element to another abnormal function element that is not selected matches the propagation direction in the system topology information.
  • the failure prediction algorithm processing unit 511 identifies the selected abnormal functional element as the failure cause functional element. That is, the failure prediction algorithm processing unit 511 directly identifies the failure cause function element from the system topology information without generating the failure topology information.
  • Multi-layer system 10 Server 20 Client 30 Switch 40 Conventional failure analysis device 50 Failure analysis device 51 Failure analysis device 60 System configuration management device 100 Computer hardware 101 Network card 102 HDD 103 CPU 104 Main memory 109 Fault monitoring unit 110 Operating system 111 Network driver 112 HDD driver 113 Network protocol 114 Memory management unit 119 Fault monitoring unit 120 Server application 121 Application execution unit 129 Fault monitoring unit 200 Computer hardware 201 Network card 202 HDD 203 CPU 204 Main memory 209 Fault monitoring unit 210 Operating system 211 Network driver 212 HDD driver 213 Network protocol 214 Memory management unit 219 Fault monitoring unit 220 Client application 221 Application execution unit 229 Fault monitoring unit 300 Switch hardware 301 Network interface (NWI / F) 302 Network interface (NWI / F) 303 Network interface (NWI / F) 304 Switch fabric 305 CPU 306 Memory 309 Fault monitoring section 310 Operating system 311 Switch driver 312 Memory management section 319 Fault monitoring section 320 Switch application 321 Routing protocol 329 Fault monitoring section 401 Fault collection section 402

Abstract

　異常検知情報取得部によって取得された異常検知情報と、システムトポロジ情報記憶部に記憶されているシステムトポロジ情報とに基づいて、システム障害の原因と予想される機能要素である障害原因機能要素を特定する障害原因特定部とを備える障害解析装置を提供する。システムトポロジ情報内のリンクは、障害時における機能要素間の異常動作の伝播方向を示す情報を有する。障害原因特定部は、異常検知情報取得部が複数の異常機能要素に係る異常検知情報を取得した場合に、複数の異常機能要素のなかから一の異常機能要素を順次選択する。障害原因特定部は、選択している一の異常機能要素から選択していない他の異常機能要素への方向がシステムトポロジ情報内の伝播方向と整合するか否かを判断する。障害原因特定部は、伝播方向が整合すると判断したときは、選択している一の異常機能要素を障害原因機能要素として特定する。

Description

障害解析装置
　本発明は、コンピュータシステムにおける障害解析装置に関する。特に、コンピュータシステムの障害時の障害原因を特定する障害解析装置に関する。
　本願は、２００８年８月４日に、日本に出願された特願２００８－２０１２７２号に基づき優先権を主張し、その内容をここに援用する。
　現在、コンピュータシステムの多くは、ハードウェアおよびソフトウェアから構成されている。また、ハードウェアおよびソフトウェアのそれぞれも、個々の機能を実現する要素（以下、「機能要素」という）から構成されている。つまり、ソフトウェアを含む各装置は、ハードウェアからソフトウェアに至るマルチレイヤを成す。各レイヤに属する機能要素が互いに連携しあい、一装置としての機能を実現している（マルチレイヤである装置をソフトウェアも含めて「マルチレイヤ装置」という）。また、複数のマルチレイヤ装置から構成されたシステム（以下、「マルチレイヤシステム」という）も普及している。
　図１０は、マルチレイヤシステムの一例であるクライアントサーバシステム型のマルチレイヤシステム１を説明するための図である。マルチレイヤシステム１は、図１０に示すように、サーバ１０、クライアント２０、スイッチ３０から構成されている。サーバ１０、クライアント２０およびスイッチ３０は、何れもマルチレイヤ装置の一例である。
　サーバ１０は、コンピュータハードウェア１００、オペレーティングシステム１１０、サーバアプリケーション１２０から構成される。つまり、サーバ１０は、コンピュータハードウェア１００によって実現されるハードウェアレイヤ、オペレーティングシステム１１０によって実現されるオペレーションレイヤ、および、サーバアプリケーション１２０によって実現されるアプリケーションレイヤの３つのレイヤから成る。
　クライアント２０は、コンピュータハードウェア２００、オペレーティングシステム２１０、クライアントアプリケーション２２０から構成される。つまり、クライアント２０は、コンピュータハードウェア２００によって実現されるハードウェアレイヤ、オペレーティングシステム２１０によって実現されるオペレーションレイヤ、および、クライアントアプリケーション２２０によって実現されるアプリケーションレイヤの３つのレイヤから成る。
　スイッチ３０は、スイッチハードウェア３００、オペレーティングシステム３１０、スイッチアプリケーション３２０から構成される。つまり、スイッチ３０は、スイッチハードウェア３００によって実現されるハードウェアレイヤ、オペレーティングシステム３１０によって実現されるオペレーションレイヤ、および、スイッチアプリケーション３２０によって実現されるアプリケーションレイヤの３つのレイヤから成る。
　サーバ１０のコンピュータハードウェア１００は、ネットワークカード１０１、ＨＤＤ１０２、ＣＰＵ１０３、メインメモリ１０４および障害監視部１０９から構成される。ネットワークカード１０１、ＨＤＤ１０２、ＣＰＵ１０３およびメインメモリ１０４は、サーバ１０のコンピュータハードウェア１００に属する機能要素である。なお、障害監視部１０９は、ネットワークカード１０１、ＨＤＤ１０２、ＣＰＵ１０３、メインメモリ１０４を監視し、これらの機能要素の障害を検知すると、障害通知（異常検知情報）を障害解析装置４０（図１１、詳細後述）に送信する。
　サーバ１０のオペレーティングシステム１１０は、ネットワークドライバ１１１、ＨＤＤドライバ１１２、ネットワークプロトコル１１３、メモリ管理部１１４および障害監視部１１９から構成される。ネットワークドライバ１１１、ＨＤＤドライバ１１２、ネットワークプロトコル１１３およびメモリ管理部１１４は、サーバ１０のオペレーティングシステム１１０に属する機能要素である。なお、障害監視部１１９は、ネットワークドライバ１１１、ＨＤＤドライバ１１２、ネットワークプロトコル１１３、メモリ管理部１１４を監視し、これらの機能要素の障害を検知すると、障害通知を障害解析装置４０に送信する。また、ネットワークプロトコル１１３は、ＴＣＰ／ＩＰなどを実行する実行部（ＴＣＰ／ＩＰを実装したプログラム）またはその制御部（制御プログラム）である。ネットワークプロトコル２１３（後述）も同様である。
　サーバ１０のサーバアプリケーション１２０は、アプリケーション実行部１２１および障害監視部１２９から構成される。アプリケーション実行部１２１は、サーバ１０のサーバアプリケーション１２０に属する機能要素である。なお、障害監視部１２９は、アプリケーション実行部１２１を監視し、障害を検知すると、障害通知を障害解析装置４０に送信する。
　クライアント２０のコンピュータハードウェア２００は、ネットワークカード２０１、ＨＤＤ２０２、ＣＰＵ２０３、メインメモリ２０４および障害監視部２０９から構成される。ネットワークカード２０１、ＨＤＤ２０２、ＣＰＵ２０３およびメインメモリ２０４は、クライアント２０のコンピュータハードウェア２００に属する機能要素である。なお、障害監視部２０９は、ネットワークカード２０１、ＨＤＤ２０２、ＣＰＵ２０３、メインメモリ２０４を監視し、これらの機能要素の障害を検知すると、障害通知を障害解析装置４０に送信する。
　クライアント２０のオペレーティングシステム２１０は、ネットワークドライバ２１１、ＨＤＤドライバ２１２、ネットワークプロトコル２１３、メモリ管理部２１４および障害監視部２１９から構成される。ネットワークドライバ２１１、ＨＤＤドライバ２１２、ネットワークプロトコル２１３およびメモリ管理部２１４は、クライアント２０のオペレーティングシステム２１０に属する機能要素である。なお、障害監視部２１９は、ネットワークドライバ２１１、ＨＤＤドライバ２１２、ネットワークプロトコル２１３、メモリ管理部２１４を監視し、これらの機能要素の障害を検知すると、障害通知を障害解析装置４０に送信する。
　クライアント２０のクライアントアプリケーション２２０は、アプリケーション実行部２２１および障害監視部２２９から構成される。アプリケーション実行部２２１は、クライアント２０のサーバアプリケーション２２０に属する機能要素である。なお、障害監視部２２９は、アプリケーション実行部２２１を監視し、障害を検知すると、障害通知を障害解析装置４０に送信する。
　スイッチ３０のスイッチハードウェア３００は、ネットワークインターフェイス（ＮＷＩ／Ｆ）３０１～３０３、スイッチファブリック３０４、ＣＰＵ３０５、メモリ３０６および障害監視部３０９から構成される。ネットワークインターフェイス３０１～３０３、スイッチファブリック３０４、ＣＰＵ３０５およびメモリ３０６は、スイッチ３０のスイッチハードウェア３００に属する機能要素である。なお、障害監視部３０９は、ネットワークインターフェイス３０１～３０３、スイッチファブリック３０４、ＣＰＵ３０５、メモリ３０６を監視し、これらの機能要素の障害を検知すると、障害通知を障害解析装置４０に送信する。
　スイッチ３０のスイッチ３０のオペレーティングシステム３１０は、スイッチドライバ３１１、メモリ管理部３１２および障害監視部３１９から構成される。スイッチドライバ３１１およびメモリ管理部３１２は、スイッチ３０のスイッチ３０のオペレーティングシステム３１０に属する機能要素である。なお、障害監視部３１９は、スイッチドライバ３１１、メモリ管理部３１２を監視し、これらの機能要素の障害を検知すると、障害通知を障害解析装置４０に送信する。
　スイッチ３０のスイッチアプリケーション３２０は、ルーティングプロトコル３２１および障害監視部３２９から構成される。ルーティングプロトコル３２１は、スイッチ３０のスイッチアプリケーション３２０に属する機能要素である。なお、障害監視部３２９は、ルーティングプロトコル３２１を監視し、障害を検知すると、障害通知を障害解析装置４０に送信する。また、ルーティングプロトコル３２１は、ＲＩＰ２などを実行する実行部（ＲＩＰ２を実装したプログラム）またはその制御部（制御プログラム）である。
　ケーブル２は、サーバ１０のネットワークカード１０１とスイッチ３０のネットワークインターフェイス３０１とを接続する。ケーブル３は、クライアント２０のネットワークカード２０１とスイッチ３０のネットワークインターフェイス３０３とを接続する。また、スイッチ３０のネットワークインターフェイス３０２に接続されたケーブル４の先には、システム構成管理装置６０が接続されている。なお、システム構成管理装置６０は、マルチレイヤシステム１のシステム構成変更管理を行う。従って、例えば、ケーブル４は、システム構成管理装置６０からのシステム設定情報などの情報の送受信に使用される。
　以上のように、マルチレイヤシステム１では、サーバ１０、クライアント２０、スイッチ３０内の各々レイヤに属する各機能要素が連携して動作している。また、マルチレイヤシステム１のある機能要素で障害が発生した際、障害は関連している機能要素に波及し、各障害監視部から各障害通知が障害解析装置４０に送信される。
　図１１は、従来の解析装置の一例である障害解析装置４０を説明するための図である。図１２は、障害解析装置４０内の障害解析テーブル４０３に記憶された情報の一例を示す図である。障害解析装置４０は、障害収集部４０１、検索部４０２、障害解析テーブル４０３、および、障害通知部４０４を備える。障害収集部４０１は、マルチレイヤシステム１から障害通知を収集する。障害解析テーブル４０３は、図１２に示すように、複数の障害通知元1、２、３・・・、Ｎと、その複数の障害通知元に対応する想定される障害特定箇所１、障害特定箇所２のエントリで構成される。例えば、テーブルＮｏ．１は、ネットワークインターフェイス３０１とネットワークカード１０１から障害通知を受信した場合、想定される障害箇所はケーブル２かスイッチハードウェア３００である旨を示している。検索部４０２は、収集した障害通知から障害解析テーブル４０３を参照して、障害箇所予測検索を行う。障害通知部４０４は、障害通知、および、検索部４０２によって検索された障害原因機能要素（障害の発生元である機能要素）を示す障害箇所予測特定情報を運用者に通知する。つまり、障害解析装置４０では、運用者が、過去の経験に基づいて障害解析テーブル４０３を予め設定（複数障害の要素に対し障害箇所の予測結果を予め入力）しておくことによって、障害が発生した際、障害解析テーブル４０３の情報を利用して障害箇所を提示している。
　従来の障害解析の方法は、運用者が障害通知を確認して自身の経験等を元に障害箇所を特定するという方法や、上述の障害解析装置４０のように、障害箇所を特定する作業の効率化を図るために、運用者が複数の障害イベントと対応する障害特定箇所を予め定義しておくという方法である。
　図１３は、従来の解析装置の一例である障害解析装置４０の動作の一例を示すフローチャートである。図１４は、障害解析装置４０による障害箇所の通知後の運用者による作業を示すフローチャートである。図１３に示すフローチャートは、システム運用段階から障害発生、障害箇所特定に至るまでのフローである。
　まず、障害解析装置４０を稼動させるために、運用者によるシステムに合わせた障害監視装置４０の障害解析テーブル４０３の設定を行う。つまり、運用者の入力に基づいて障害解析装置４０の障害解析テーブル４０３を生成する（ステップＳ１０１）。これにより、障害解析装置４０は、運用状態に入る。
　障害解析装置４０の運用状態において、システム構成管理装置６０によってシステム変更が行われた場合には、再度、ステップＳ１０１に戻って障害解析テーブル４０３の設定を行う。
　障害解析装置４０の運用状態において、マルチレイヤシステム１に障害が発生すると、機能要素間で障害が波及し、マルチレイヤシステム１上の各障害監視にて複数の障害が検出される。これにより、複数の障害通知がスイッチ３０から障害解析装置４０に送信される。つまり、障害収集部４０１は、スイッチ３０から複数の障害通知を収集（受信）する（ステップＳ１０２）。
　検索部４０２は、障害通知と障害解析テーブル４０３とを参照して障害箇所を特定する（ステップＳ１０４）。障害解析装置の障害通知部４０４は、障害通知および障害箇所予測特定情報を運用者に通知する（ステップＳ１０６）。
　障害解析装置４０の障害通知部４０４は、障害通知および障害箇所予測特定情報を運用者に提示する。運用者は、図１４に示すように、障害箇所予測特定情報によって通知された障害箇所が真（適切）である場合、当該障害箇所を復旧する（作業１）。しかしながら、障害箇所予測特定情報によって通知された障害箇所が真でない場合、運用者は全ての障害通知に関して障害箇所の確認を行なう（作業２）。運用者は、まず、ハードウェア、ソフトウェア、各レイヤ内での調査（作業３）によって障害特定作業を行う（作業４）。
　作業４段階で特定した障害箇所が真である場合、運用者は、当該障害箇所を復旧する（作業５）。しかしながら、作業４段階で特定した障害箇所が真でない場合、運用者は、レイヤ間の関係を考慮した調査（作業６）を行い、また、調査レイヤを変更して再度別のレイヤでの調査（作業３）を行う。このように、運用者はレイヤ内の調査、レイヤ間の調査を繰り返ししながら、障害被疑を絞っていき、障害箇所を特定する（作業４）。
　なお、特許文献１には、複数のマルチレイヤの装置から構成されるシステム上の故障影響範囲を推定する装置が記載されている。また、特許文献２には、システム障害が発生した際に、システム障害の影響範囲を解析する解析技術が記載されている。
特開２０００－０６９００３号公報 特開２００５－２５８５０１号公報
まず、運用者が障害通知を確認して自身の経験等を元に障害箇所を特定するという方法の場合、人間の知識を基礎としているため限界がある。例えば、過去の障害と類似の障害にしか対応できないという問題がある。また、監視対象のマルチレイヤシステムが拡大化、複雑化した場合には、障害箇所の特定は困難になると予想される。
また、上述の障害解析装置４０のように、運用者が複数の障害イベントと対応する障害特定箇所を予め定義しておくという方法の場合、運用者は、障害イベントと障害特定箇所との関係を予め洗い出して定義しておく必要がある。しかし、知識上の問題などから、運用者による当該洗い出しには限界がある。従って、結果的に、障害解析装置４０のような従来の障害解析装置は、運用者が想定（定義）した範囲の障害にしか対応できないという問題がある。また、障害イベントと障害特定箇所との関係の洗い出し業務や定義作業（登録作業）も面倒である。システムの構成が変更されたときにも、再度、洗い出し業務や定義作業を要する場合があって面倒である。
本発明は、広い範囲内の障害に対応することができる障害解析装置を提供することを目的とする。また、運用者の負担が小さい障害解析装置を提供することを目的とする。
　上記問題を解決するために、例えば、以下のような手段が提供される。
　第１の手段は障害解析装置であって、システムのトポロジを表す情報であって、システムを構成する各装置に属するハードウェアおよびソフトウェアに関する機能要素と、各機能要素間のリンクとからなるシステムトポロジ情報を記憶するシステムトポロジ情報記憶部と、異常動作を発現した機能要素である異常機能要素に係る異常検知情報を取得する異常検知情報取得部と、異常検知情報取得部によって取得された異常検知情報と、システムトポロジ情報記憶部に記憶されているシステムトポロジ情報とに基づいて、システム障害の原因と予想される機能要素である障害原因機能要素を特定する障害原因特定部とを備え、システムトポロジ情報内のリンクは、障害時における機能要素間の異常動作の伝播方向を示す情報を有し、障害原因特定部は、異常検知情報取得部が複数の異常機能要素に係る異常検知情報を取得した場合に、複数の異常機能要素のなかから一の異常機能要素を順次選択し、選択している一の異常機能要素から選択していない他の異常機能要素への方向がシステムトポロジ情報内の伝播方向と整合するか否かを判断し、整合すると判断したときは、選択している一の異常機能要素を障害原因機能要素として特定する。
　第２の手段は上記障害解析装置であって、システムトポロジ情報は、機能要素が所属する装置およびレイヤに関する情報を含まない。
　第３の手段は上記障害解析装置であって、異常検知情報取得部が複数の異常機能要素に係る異常検知情報を取得した場合に、システムトポロジ情報を参照し、システムトポロジ情報の一部分であって、複数の異常機能要素と、各異常機能要素間のリンクとからなる障害トポロジ情報を生成する障害トポロジ情報生成部を更に備え、障害原因特定部は、異常検知情報取得部が複数の異常機能要素に係る異常検知情報を取得した場合に、複数の異常機能要素のなかから一の異常機能要素を順次選択し、選択している一の異常機能要素から選択していない他の異常機能要素への方向が障害トポロジ情報内の伝播方向と整合するか否かを判断し、整合すると判断したときは、選択している一の異常機能要素を障害原因機能要素として特定する。
　第４の手段は上記障害解析装置であって、システムを構成する各装置に含まれるレイヤ毎に、レイヤに属する機能要素と、当該レイヤ内における各機能要素間のリンクとからなる基本トポロジ情報を記憶する基本トポロジ情報記憶部と、システムの構成を示す情報と、基本トポロジ情報記憶部に記憶されている基本トポロジ情報とを参照し、システムトポロジ情報を生成するシステムトポロジ情報生成部とを更に備える。
　第５の手段は上記障害解析装置であって、システムトポロジ情報生成部は、複数の異常機能要素を参照してシステムトポロジ情報記憶部に記憶されているシステムトポロジ情報を木構造となるように更新する。
　上記手段によれば、障害イベントと障害特定箇所との関係の定義に基づいて障害箇所を特定するものではない。上記手段においては、システム全体をサポートしたシステムトポロジ情報（異常動作の伝播方向という概念）に基づいて障害箇所を特定する。このため、非常に広い範囲内の障害に対応することができる。また、障害イベントと障害特定箇所との関係の洗い出し業務や定義作業も不要であるから、運用者の負担も小さい。
障害解析装置のブロック図である。 基本トポロジ情報記憶部に記憶される情報の一例を示す図である。 コンピュータハードウェアの基本トポロジ情報のグラフである。 スイッチハードウェアの基本トポロジ情報のグラフである。 システムトポロジ情報の一部のグラフである。 障害トポロジ情報の生成過程を説明する図である。 障害トポロジ情報の生成過程を説明する図である。 障害トポロジ情報の生成過程を説明する図である。 障害予測アルゴリズム処理部のアルゴリズムを説明する図である。 障害予測アルゴリズム処理部のアルゴリズムを説明する図である。 障害予測アルゴリズム処理部のアルゴリズムを説明する図である。 障害予測アルゴリズム処理部のアルゴリズムを説明する図である。 障害予測アルゴリズム処理部のアルゴリズムを説明する図である。 障害解析装置の動作の一例を示すフローチャートである。 障害解析装置のブロック図である。 マルチレイヤシステムの一例であるクライアントサーバシステム型のマルチレイヤシステム１を説明するための図である。 従来の解析装置の一例である障害解析装置を説明するための図である。 従来の解析装置の一例である障害解析装置内の障害解析テーブルに記憶された情報の一例を示す図である。 従来の解析装置の一例である障害解析装置の動作の一例を示すフローチャートである。 従来の解析装置の一例である障害解析装置を用いた場合の障害箇所の通知後の運用者による作業を示すフローチャートである。
　図１は、一実施形態における障害解析装置５０のブロック図である。図２は、基本トポロジ情報記憶部５０５に記憶される情報の一例を示す。障害解析装置５０は、システム全体の情報である、当該システムを構成する各装置に属するハードウェアからソフトウェアに至る全レイヤの機能要素と、各機能要素間のリンクとからなるシステムモデル（システムトポロジ情報）を主に参照して、システム障害の原因と予想される機能要素（障害原因機能要素）を特定する。
　具体的には、障害解析装置５０は、図１に示すように、障害収集部５０１（本発明の異常検知情報取得部に相当する）、障害通知部５０４、基本トポロジ情報記憶部５０５、システムトポロジ情報記憶部５０６、障害トポロジ情報記憶部５０７、システムトポロジ管理部５０８、システムトポロジ情報生成部５０９、障害トポロジ情報生成部５１０、および、障害予測アルゴリズム処理部５１１（本発明の障害原因特定部に相当する）を備える。なお、以下の説明において、障害解析装置５０は、図１０に示すマルチレイヤシステム１の障害を解析するものとする。
　障害収集部５０１は、従来の障害解析装置４０の障害収集部４０１に相当する。つまり、障害収集部５０１は、マルチレイヤシステム１から障害通知を収集する。
　基本トポロジ情報記憶部５０５は、マルチレイヤシステム１を構成する各装置（サーバ１０、クライアント２０、スイッチ３０）に属する各レイヤの機能要素と、各レイヤの各機能要素間のリンクとからなる基本トポロジ情報を記憶する。具体的には、基本トポロジ情報記憶部５０５は、例えば、図２に示す基本トポロジ情報を記憶する。テーブルで表される基本トポロジ情報は、各装置の各レイヤとトポロジ情報を１対１に対応付けて管理する。例えば、テーブルＮＯ．１は、コンピュータハードウェア１００に対応付けたトポロジ情報がエントリされている。また、テーブルＮＯ．２は、スイッチハードウェア３００に対応付けたトポロジ情報がエントリされている。図２に示すトポロジ情報内の「＜＞」は、リンクを示す。例えば、テーブルＮＯ．１のトポロジ情報（コンピュータハードウェア１００に対応するトポロジ情報）においては、例えば、メインメモリ１０４が、ＣＰＵ１０３およびオペレーティングシステムメモリ管理とリンクしている旨を示している。また、ＨＤＤ１０２については、ＣＰＵ１０３およびオペレーティングシステムとリンクしている旨を示している。また、各リンクは、障害時における機能要素内の異常動作の伝播方向（障害の波及方向）を示す情報を有する。
　基本トポロジ情報の定義について更に説明する。各機能要素を定義する場合には、当該機能要素が障害を監視・検出する対象として十分な大きさのハードウェアやソフトウェア、あるいは機能の集まりである必要がある。また、異常動作の伝播方向（障害の波及方向）については、機能要素の大きさ、属するレイヤを区別せず各リンクに定義（設定）する。例えば、システムレベルでは、機器構成要素を機能要素、接続関係をリンクと定義する。ハードウェアレベルでは、ハードウェアモジュールブロックや障害検出レジスタを機能要素、ハードウェアモジュールブロックと障害検出レジスタ間の関係をリンクと定義する。ソフトウェアレベルでは、関数と障害検出変数を機能要素、関数と障害検出変数の関係をリンクと定義する。これによって、基本トポロジ情報を結合して容易にシステムトポロジ情報を生成することができるようになる。また基本トポロジ情報は、ハードウェア並びにソフトウェアの設計情報から機能要素とリンクの関係を精密に抽出すればするほど、精度が高くなる。しかし、設計情報が解らない場合、判明している物理的な接続状態および動作関係などから基本トポロジ情報を定義してもよい。
　システムトポロジ管理部５０８は、システム構成管理装置６０からシステム構成情報を受け取る。具体的には、システムトポロジ管理部５０８は、運用中のマルチレイヤシステム１の構成に変更があった場合に、システム構成管理装置６０からシステム構成情報を受け取る。なお、運用者は、従来同様、システム構成管理装置６０を使用し、システム構成の変更、管理を行う。また、システムトポロジ管理部５０８は、取得したシステム構成情報を保持していてもよい。
　システムトポロジ情報生成部５０９は、マルチレイヤシステム１のシステム構成と、基本トポロジ情報記憶部５０５に記憶されている基本トポロジ情報とを参照し、システム全体のトポロジ情報であって、各機能要素が所属する装置およびレイヤに関する情報を保持しないシステムトポロジ情報を生成する。システムトポロジ情報の各リンクは、障害時における機能要素内の異常動作の伝播方向を示す情報を有する。システムトポロジ情報生成部５０９は、生成したシステムトポロジ情報をシステムトポロジ情報記憶部５０６に記憶する。
　また、システムトポロジ情報生成部５０９は、障害収集部５０１が複数の異常機能要素に係る障害通知を受け取った場合に、システムトポロジ情報を木構造となるように更新してもよい。なお、システムトポロジ情報が木構造である場合、障害予測アルゴリズム処理部５１１の処理（後述）が高速化する。
　以下、システムトポロジ情報の生成過程を説明する。図３は、コンピュータハードウェア１００の基本トポロジ情報のグラフである。図４は、スイッチハードウェア３００の基本トポロジ情報のグラフである。図５は、システムトポロジ情報の一部のグラフである。なお、図３、図４、図５のグラフは、機能要素をノード、他のノードとの関係性を矢印のリンクによって示している。また、リンクの矢印方向は、異常動作の伝播方向である。以下、図１０に示すマルチレイヤシステム１の一部である、コンピュータハードウェア１００とスイッチハードウェア３００に関係する部分のシステムトポロジ情報を生成する動作の流れを説明する。
　システムトポロジ情報生成部５０９は、システムトポロジ管理部５０８から運用中のシステム構成の情報を入手し、ハードウェア資源や、ソフトウェア資源、アプリケーション資源等、システムを構成する機能要素に分解し、基本トポロジ情報記憶部５０５のテーブルＮＯ．１のトポロジ情報に基づいて、図３に示すコンピュータハードウェア１００の基本トポロジ情報のグラフを得る。また、基本トポロジ情報記憶部５０５のテーブルＮＯ．２のトポロジ情報に基づいて、図４に示すスイッチハードウェア３００の基本トポロジ情報のグラフを得る。
　次に、システムトポロジ情報生成部５０９は、得られたコンピュータハードウェア１００とスイッチハードウェア３００の基本トポロジ情報を、接続可能なリンク間によって接続（結合）する。具体的には、システムトポロジ情報生成部５０９は、ネットワークカード１０１に係るノードであるＶ１０１と、ネットワークインターフェイス３０１に係るノードであるＶ３０１とを、ケーブル２に係るノードであるＶ２によって接続し、図５に示すシステムトポロジ情報を生成する。なお、図５に示すシステムトポロジ情報は、各機能要素の所属元である装置およびレイヤに関する情報を有しない（例えば、Ｖ１０１の所属元である、装置（サーバ１０）およびレイヤ（コンピュータハードウェア１００）に関する情報を有しない）。なお、システムトポロジ情報生成部５０９は、ネットワークカード１０１（Ｖ１０１）とネットワークインターフェイス３０１（Ｖ３０１）とが接続可能である旨の情報は、システムトポロジ管理部５０８から取得する上述のシステム構成の情報に含まれている。システムトポロジ情報生成部５０９は、同様の方法によって、図１０に示すマルチレイヤシステム１全体のシステムトポロジ情報を生成する。
　障害トポロジ情報生成部５１０は、障害収集部５０１が複数の異常機能要素（異常動作を発現した機能要素）に係る障害通知を取得した場合に、システムトポロジ情報を参照し、当該複数の異常機能要素と、当該各異常機能要素間のリンクとからなる障害トポロジ情報（システムトポロジ情報の一部分であるトポロジ情報）を生成する。障害トポロジ情報の各リンクは、障害時における機能要素内の異常動作の伝播方向（障害の波及方向）を示す情報を有する。障害トポロジ情報生成部５１０は、生成した障害トポロジ情報を障害トポロジ情報記憶部５０７に記憶する。
　以下、障害トポロジ情報の生成過程を説明する。図６は、障害トポロジ情報の生成過程を説明する図である。なお、図６に示す機能要素「Ｖａ」「Ｖｂ」「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」「Ｖｇ」は、障害トポロジ情報の生成過程を説明する為のものであって、図１０に示すマルチレイヤシステム１の機能要素と対応していない。次の図７に示す機能要素「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」についても同様である。
　障害トポロジ情報生成部５１０は、障害収集部５０１が異常機能要素「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」に係る障害通知を取得した場合、障害収集部５０１から異常機能要素「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」に係る障害通知を取得する。障害収集部５０１から異常機能要素「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」に係る障害通知を取得した障害トポロジ情報生成部５１０は、システムトポロジ情報記憶部５０６に記憶されている図６Ａに示すシステムトポロジ情報に含まれる機能要素「Ｖａ」「Ｖｂ」「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」「Ｖｇ」のなかから、図６Ｂに示す、異常機能要素「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」のみを抽出する。そして、障害トポロジ情報生成部５１０は、異常機能要素「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」と当該異常機能要素間のリンクとからなる、図６Ｃに示す、異常トポロジ情報を生成する。なお、障害トポロジ情報生成部５１０が生成する障害トポロジ情報は、障害の波及を示すシステムモデルと考えることができる。
　障害予測アルゴリズム処理部５１１は、障害収集部５０１が複数の異常機能要素に係る障害通知を取得した場合に、当該複数の異常機能要素のなかから一の異常機能要素を順次選択し、選択している一の異常機能要素から選択していない他の異常機能要素への方向が障害トポロジ情報内の伝播方向と整合するか否かを判断し、整合すると判断したときは、選択している一の異常機能要素を障害原因機能要素（システム障害の原因と予想される機能要素）として特定する。
　以下、具体例を用いて説明する。図７Ａ～Ｅは、障害予測アルゴリズム処理部５１１のアルゴリズムを説明する図である。障害予測アルゴリズム処理部５１１は、障害収集部５０１が異常機能要素「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」に係る障害通知を取得した場合に、異常機能要素「Ｖｃ」「Ｖｄ」「Ｖｅ」「Ｖｆ」のなかから、例えば、異常機能要素「Ｖｄ」を選択する。
　障害予測アルゴリズム処理部５１１は、図７Ｃに示すように、選択している異常機能要素「Ｖｄ」から異常機能要素「Ｖｆ」へのリンク方向（伝播方向）は、図７Ａに示す障害トポロジのリンク方向と整合すると判断する。しかし、障害予測アルゴリズム処理部５１１は、異常機能要素「Ｖｄ」から異常機能要素「Ｖｃ」へのリンク方向、および、異常機能要素「Ｖｄ」から異常機能要素「Ｖｅ」へのリンク方向が、図７Ａに示す障害トポロジのリンク方向と整合しないと判断する。よって、障害予測アルゴリズム処理部５１１は、異常機能要素「Ｖｄ」を障害原因機能要素として特定しない。なお、図７Ａに示す障害トポロジ情報は、上述のように、障害トポロジ情報生成部５１０によって生成されたものである。
　次に、障害予測アルゴリズム処理部５１１は、例えば、異常機能要素「Ｖｆ」を選択する。障害予測アルゴリズム処理部５１１は、図７Ｄに示すように、選択している異常機能要素「Ｖｆ」から異常機能要素「Ｖｄ」へのリンク方向、異常機能要素「Ｖｄ」から異常機能要素「Ｖｃ」へのリンク方向、および、異常機能要素「Ｖｄ」から異常機能要素「Ｖｅ」へのリンク方向が、図７Ａに示す障害トポロジのリンク方向と整合しないと判断する。よって、障害予測アルゴリズム処理部５１１は、異常機能要素「Ｖｆ」を障害原因機能要素として特定しない。
　次に、障害予測アルゴリズム処理部５１１は、例えば、異常機能要素「Ｖｅ」を選択する。障害予測アルゴリズム処理部５１１は、図７Ｅに示すように、選択している異常機能要素「Ｖｅ」から異常機能要素「Ｖｄ」へのリンク方向、および、異常機能要素「Ｖｄ」から異常機能要素「Ｖｆ」へのリンク方向は、図７Ａに示す障害トポロジのリンク方向と整合すると判断する。しかし、障害予測アルゴリズム処理部５１１は、異常機能要素「Ｖｅ」から異常機能要素「Ｖｃ」へのリンク方向が、図７Ａに示す障害トポロジのリンク方向と整合しないと判断する。よって、障害予測アルゴリズム処理部５１１は、異常機能要素「Ｖｅ」を障害原因機能要素として特定しない。
　次に、障害予測アルゴリズム処理部５１１は、最後に、異常機能要素「Ｖｃ」を選択する。障害予測アルゴリズム処理部５１１は、図７Ｂに示すように、選択している異常機能要素「Ｖｃ」から異常機能要素「Ｖｄ」へのリンク方向、異常機能要素「Ｖｃ」から異常機能要素「Ｖｅ」へのリンク方向、および、異常機能要素「Ｖｄ」から異常機能要素「Ｖｆ」へのリンク方向の何れもが、図７Ａに示す障害トポロジのリンク方向と整合すると判断する。よって、障害予測アルゴリズム処理部５１１は、異常機能要素「Ｖｃ」を障害原因機能要素として特定する。
　つまり、障害予測アルゴリズム処理部５１１は、異常機能要素「Ｖｃ」が障害原因機能要素であると仮定した場合にのみ、障害トポロジ情報内の伝播方向と整合する。このため、障害予測アルゴリズム処理部５１１は、異常機能要素「Ｖｃ」が障害原因機能要素であると判断する。なお、システムトポロジ情報が木構造（つまり障害トポロジ情報も木構造）である場合、アルゴリズム処理部５１１による処理が高速化する。木構造であれば、リンクの総数が少ないため、上述の整合を判断する回数が少ないからである。
　障害通知部５０４は、障害通知、および、障害予測アルゴリズム処理部５１１によって特定された障害原因機能要素を示す障害箇所予測特定情報を運用者に通知する。
　以下、障害解析装置５０の動作を説明する。図８は、本発明の実施形態による障害解析装置５０の動作の一例を示すフローチャートである。図８に示すフローチャートは、システム運用段階において障害が発生した場合に、この障害箇所の特定を行う処理を表すフローである。
　障害解析装置５０の運用状態において、マルチレイヤシステム１に障害が発生すると、機能要素間で障害が波及し、マルチレイヤシステム１上の各障害監視部にて複数の障害が検出される。これにより、複数の異常機能要素に係る障害通知が障害解析装置５０に送信される。つまり、障害収集部５０１は、複数の異常機能要素に係る障害通知を収集（受信）する（ステップＳ２０２）。なお、障害解析装置５０の運用状態において、システムトポロジ情報記憶部５０６には、マルチレイヤシステム１の最新のシステムトポロジ情報が記憶されている（運用中のマルチレイヤシステム１の構成に変更があった場合には、システムトポロジ管理部５０８がシステム構成情報を取得し、システムトポロジ情報生成部５０９が最新のシステムトポロジ情報を再生成し、システムトポロジ情報記憶部５０６に記憶する）。
　障害トポロジ情報生成部５１０は、障害通知とシステムトポロジ情報記憶部５０６に記憶されているシステムトポロジ情報とを参照し、障害トポロジ情報を生成する（ステップＳ２０３）。障害トポロジ情報生成部５１０は、生成した障害トポロジ情報を障害トポロジ情報記憶部５０７に記憶する。
　障害予測アルゴリズム処理部５１１は、複数の異常機能要素のなかから一の異常機能要素を順次選択し、選択している一の異常機能要素から選択していない他の異常機能要素への障害の伝播方向が障害トポロジ情報内の伝播方向と整合するか否かを判断する。障害予測アルゴリズム処理部５１１は、伝播方向が整合すると判断したときは、選択している一の異常機能要素を障害原因機能要素として特定する（ステップＳ２０４）。
　また、システムトポロジ情報生成部５０９は、必要な場合、システムトポロジ情報を木構造になるように更新する（ステップＳ２０５）。例えば、図６Ａに示すシステムトポロジ情報の機能要素「Ｖｃ」から機能要素「Ｖｄ」に至る２つのリンク（直接、機能要素「Ｖｄ」に至るリンク、機能要素「Ｖｅ」を経由して機能要素「Ｖｄ」に至るリンク）の一方を一旦封鎖する（リンクがないものとみなす）。例えば、障害収集部５０１が異常機能要素「Ｖｃ」「Ｖｄ」「Ｖｆ」を示す障害通知を取得した場合、システムトポロジ情報生成部５０９は、機能要素「Ｖｃ」から機能要素「Ｖｅ」に至るリンクを一旦封鎖する。異常機能要素「Ｖｃ」から異常機能要素「Ｖｅ」に異常動作が伝播していないからである。
　なお、システムトポロジ情報生成部５０９は、リンクに係数（図３から図５のリンクに付した数値（何れの係数も「１０」で、以下、「リンクコスト」という。）を付して、システムトポロジ情報を木構造になるように更新してもよい。例えば、システムトポロジ情報生成部５０９は、一旦封鎖すべきリンクに対し高いリンクコストを付してもよい。これによって、網（ネットワーク）構成であったシステムトポロジ情報から木構造であるシステムトポロジ情報を簡便に生成することができる。また、木構造であるシステムトポロジ情報の木の構成を簡便に更新することができる。
　障害解析装置の障害通知部５０３は、障害通知、障害箇所予測特定情報を運用者に通知する（ステップＳ２０６）。
　以上、本発明の実施形態による障害解析装置５０によれば、システム全体をサポートしたシステムトポロジ情報（異常動作の伝播方向という概念）に基づいて障害箇所を特定する。このため、非常に広い範囲内の障害に対応することができる。また、障害イベントと障害特定箇所との関係の洗い出し業務や定義作業も不要であるから、運用者の負担も小さい。
　また、システムの構成が変更した場合であっても、システムトポロジ管理部５０８がシステム構成情報を取得し、システムトポロジ情報生成部５０９が最新のシステムトポロジ情報を再生成する。このため、運用者に負担がかからない。
　なお、従来の障害解析装置４０を使用した場合、特定された障害箇所が適切でないという事態、障害箇所が特定されないという事態が生じた場合には、図１４に示すように、運用者は非常に面倒な作業を強いられる。しかし、障害解析装置５０を使用した場合には、万が一、特定された障害箇所が適切でないという事態、障害箇所が特定されないという事態が生じた場合であっても、運用者に掛かる負担は少ない。運用者は、機能要素が所属する装置およびレイヤに関する情報を保持しないトポロジ情報（システムトポロジ情報、障害トポロジ情報）、つまり、各機能要素の所属元である装置およびレイヤに関する情報を有しないシステムトポロジ情報（システムトポロジ情報、障害トポロジ情報）を活用することができるからである。
　なお、一実施形態として、障害収集部５０１、障害通知部５０４、基本トポロジ情報記憶部５０５、システムトポロジ情報記憶部５０６、障害トポロジ情報記憶部５０７、システムトポロジ管理部５０８、システムトポロジ情報生成部５０９、障害トポロジ情報生成部５１０、および、障害予測アルゴリズム処理部５１１を備える図１に示す障害解析装置５０を説明した。この他の実施形態として、図９に示す障害解析装置５１で代用してもよい。図９は、本発明の他の実施形態による障害解析装置５１のブロック図である。
　障害解析装置５１は、図９に示すように、障害収集部５０１、障害通知部５０４、基本トポロジ情報記憶部５０５、システムトポロジ情報記憶部５０６、システムトポロジ管理部５０８、システムトポロジ情報生成部５０９、および、障害予測アルゴリズム処理部５１１を備える（図１と同一符号は同一部材である）。つまり、図９に示す障害解析装置５１は、図１に示す障害解析装置５０が備えている障害トポロジ情報記憶部５０７および障害トポロジ情報生成部５１０を備えない。
　従って、障害解析装置５１の障害予測アルゴリズム処理部５１１は、障害収集部５０１が複数の異常機能要素に係る障害通知を取得した場合に、当該複数の異常機能要素のなかから一の異常機能要素を順次選択する。障害予測アルゴリズム処理部５１１は、選択している一の異常機能要素から選択していない他の異常機能要素への方向がシステムトポロジ情報内の伝播方向と整合するか否かを判断する。障害予測アルゴリズム処理部５１１は、伝播方向が整合すると判断したときは、選択している一の異常機能要素を障害原因機能要素として特定する。つまり、障害予測アルゴリズム処理部５１１は、障害トポロジ情報を生成せずに、直接、システムトポロジ情報から障害原因機能要素を特定する。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　上記の実施形態に示される構成により、コンピュータシステムにおける広い範囲内の障害に対応することができる障害解析装置を提供することができる。
１　マルチレイヤシステム
１０　サーバ
２０　クライアント
３０　スイッチ
４０　従来の障害解析装置
５０　障害解析装置
５１　障害解析装置
６０　システム構成管理装置
１００　コンピュータハードウェア
１０１　ネットワークカード
１０２　ＨＤＤ
１０３　ＣＰＵ
１０４　メインメモリ
１０９　障害監視部
１１０　オペレーティングシステム
１１１　ネットワークドライバ
１１２　ＨＤＤドライバ
１１３　ネットワークプロトコル
１１４　メモリ管理部
１１９　障害監視部
１２０　サーバアプリケーション
１２１　アプリケーション実行部
１２９　障害監視部
２００　コンピュータハードウェア
２０１　ネットワークカード
２０２　ＨＤＤ
２０３　ＣＰＵ
２０４　メインメモリ
２０９　障害監視部
２１０　オペレーティングシステム
２１１　ネットワークドライバ
２１２　ＨＤＤドライバ
２１３　ネットワークプロトコル
２１４　メモリ管理部
２１９　障害監視部
２２０　クライアントアプリケーション
２２１　アプリケーション実行部
２２９　障害監視部
３００　スイッチハードウェア
３０１　ネットワークインターフェイス（ＮＷＩ／Ｆ）
３０２　ネットワークインターフェイス（ＮＷＩ／Ｆ）
３０３　ネットワークインターフェイス（ＮＷＩ／Ｆ）
３０４　スイッチファブリック
３０５　ＣＰＵ
３０６　メモリ
３０９　障害監視部
３１０　オペレーティングシステム
３１１　スイッチドライバ
３１２　メモリ管理部
３１９　障害監視部
３２０　スイッチアプリケーション
３２１　ルーティングプロトコル
３２９　障害監視部
４０１　障害収集部
４０２　検索部
４０３　障害解析テーブル
４０４　障害通知部
５０１　障害収集部
５０４　障害通知部
５０５　基本トポロジ情報記憶部
５０６　システムトポロジ情報記憶部
５０７　障害トポロジ情報記憶部
５０８　システムトポロジ管理部
５０９　システムトポロジ情報生成部
５１０　障害トポロジ情報生成部
５１１　障害アルゴリズム処理部

Claims (7)

  1. 　ハードウェア及びソフトウェアを含む機能要素から構成されるコンピュータシステムの障害解析装置であって、
    　前記機能要素に関する情報と、前記機能要素間のリンクであって、障害時における前記機能要素間の異常動作の伝播方向を示す情報とを含むシステムトポロジ情報を記憶するシステムトポロジ情報記憶部と、
    　異常動作を発現した前記機能要素である異常機能要素に係る異常検知情報を取得する異常検知情報取得部と、
    　前記異常検知情報と、前記システムトポロジ情報とに基づいて、障害の原因と予想される前記機能要素である障害原因機能要素を特定する障害原因特定部と、
    　を具備する障害解析装置。
  2. 　前記障害原因特定部は、
    　前記異常機能要素が複数である場合、前記複数の異常機能要素のなかから一の異常機能要素を順次選択し、前記選択した異常機能要素から他の異常機能要素への異常動作の伝播方向が前記システムトポロジ情報内の前記伝播方向と整合するとき、前記選択した異常機能要素を前記障害原因機能要素として特定する障害解析装置。
  3. 　前記障害解析装置は、前記システムトポロジ情報を参照し、前記複数の異常機能要素と、前記各異常機能要素間のリンクとからなる障害トポロジ情報を生成する障害トポロジ情報生成部を更に備え、
    　前記障害原因特定部は、
    　前記選択した異常機能要素から他の異常機能要素への異常動作の伝播方向が前記障害トポロジ情報内の前記伝播方向と整合するときは、前記選択した異常機能要素を前記障害原因機能要素として特定する請求項１に記載の障害解析装置。
  4. 　前記障害解析装置は、
    　前記コンピュータシステムを構成する各装置に含まれるレイヤ毎に、前記レイヤに属する前記機能要素と、当該レイヤ内における前記各機能要素間のリンクとからなる基本トポロジ情報を記憶する基本トポロジ情報記憶部と、
    　前記コンピュータシステムの構成を示す情報と、前記基本トポロジ情報とを参照し、前記システムトポロジ情報を生成するシステムトポロジ情報生成部と
    　を更に備える請求項１に記載の障害解析装置。 
  5. 　前記システムトポロジ情報生成部は、
    　前記複数の異常機能要素を参照し、前記システムトポロジ情報を木構造を適用して更新する請求項１に記載の障害解析装置。
  6. 　コンピュータ読み出し可能な記録媒体に格納され、ハードウェア及びソフトウェアを含む機能要素から構成されるコンピュータシステムにおいて障害解析を行うコンピュータプログラムであって、
    　前記機能要素に関する情報と、前記機能要素間のリンクであって、障害時における前記機能要素間の異常動作の伝播方向を示す情報とを含むシステムトポロジ情報を生成し、
    　異常動作を発現した前記機能要素である異常機能要素に係る異常検知情報を取得し、
    　前記異常検知情報と、前記システムトポロジ情報とに基づいて、障害の原因と予想される前記機能要素である障害原因機能要素を特定する、
    　を実行する命令語を具備するコンピュータプログラム。
  7. 　ハードウェア及びソフトウェアを含む機能要素から構成されるコンピュータシステムにおける障害解析方法であって、
    　前記機能要素に関する情報と、前記機能要素間のリンクであって、障害時における前記機能要素間の異常動作の伝播方向を示す情報とを含むシステムトポロジ情報を生成するステップと、
    　異常動作を発現した前記機能要素である異常機能要素に係る異常検知情報を取得するステップと、
    　前記異常検知情報と、前記システムトポロジ情報とに基づいて、障害の原因と予想される前記機能要素である障害原因機能要素を特定するステップと、
    　を具備する障害解析方法。
PCT/JP2009/003715 2008-08-04 2009-08-04 障害解析装置 WO2010016239A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010523756A JP5423677B2 (ja) 2008-08-04 2009-08-04 障害解析装置、コンピュータプログラムおよび障害解析方法
US13/057,365 US8635496B2 (en) 2008-08-04 2009-08-04 Trouble analysis apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008201272 2008-08-04
JP2008-201272 2008-08-04

Publications (1)

Publication Number Publication Date
WO2010016239A1 true WO2010016239A1 (ja) 2010-02-11

Family

ID=41663468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003715 WO2010016239A1 (ja) 2008-08-04 2009-08-04 障害解析装置

Country Status (3)

Country Link
US (1) US8635496B2 (ja)
JP (1) JP5423677B2 (ja)
WO (1) WO2010016239A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012131868A1 (ja) * 2011-03-28 2012-10-04 株式会社日立製作所 計算機システムの管理方法及び管理装置
WO2013140608A1 (ja) * 2012-03-23 2013-09-26 株式会社日立製作所 イベントの根本原因の解析を支援する方法及びシステム
US8713356B1 (en) 2011-09-02 2014-04-29 Emc Corporation Error detection and recovery tool for logical volume management in a data storage system
JP2016029520A (ja) * 2014-07-25 2016-03-03 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
CN106155899A (zh) * 2015-04-17 2016-11-23 比亚迪股份有限公司 多媒体程序缺陷的定位方法和系统
JP2019515403A (ja) * 2016-04-11 2019-06-06 ケーピーアイティ テクノロジーズ リミテッド 診断のためのグラフデータベースおよびシステム健康モニタリング
US10977108B2 (en) 2017-01-18 2021-04-13 Fujitsu Limited Influence range specifying method, influence range specifying apparatus, and storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805144B1 (en) * 2019-06-18 2020-10-13 Cisco Technology, Inc. Monitoring interactions between entities in a network by an agent for particular types of interactions and indexing and establishing relationships of the components of each interaction
CN115542067A (zh) * 2021-06-30 2022-12-30 华为技术有限公司 一种故障检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259331A (ja) * 1998-03-13 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> ネットワークにおける障害箇所検出方法及び装置及びネットワークにおける障害箇所検出プログラムを格納した記憶媒体
JPH11338804A (ja) * 1998-05-27 1999-12-10 Nec Corp ネットワーク構成管理対象アクセスシステム及び方法
JP2001256032A (ja) * 2000-03-14 2001-09-21 Mitsubishi Electric Corp 障害メッセージ表示装置
JP2005538459A (ja) * 2002-09-11 2005-12-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 分散システム内の根本原因識別および問題判定のための方法および装置
JP2006133983A (ja) * 2004-11-04 2006-05-25 Hitachi Ltd 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2008065668A (ja) * 2006-09-08 2008-03-21 Internatl Business Mach Corp <Ibm> 障害発生の原因箇所の発見を支援する技術

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3530036B2 (ja) 1998-08-21 2004-05-24 日本電信電話株式会社 マルチレイヤネットワーク故障影響範囲推定方法及びその装置
US7340649B2 (en) * 2003-03-20 2008-03-04 Dell Products L.P. System and method for determining fault isolation in an enterprise computing system
GB0325560D0 (en) * 2003-10-31 2003-12-03 Seebyte Ltd Intelligent integrated diagnostics
JP2005258501A (ja) 2004-03-09 2005-09-22 Mitsubishi Electric Corp 障害影響範囲解析システム及び障害影響範囲解析方法及びプログラム
US7516362B2 (en) * 2004-03-19 2009-04-07 Hewlett-Packard Development Company, L.P. Method and apparatus for automating the root cause analysis of system failures
US7631222B2 (en) * 2004-08-23 2009-12-08 Cisco Technology, Inc. Method and apparatus for correlating events in a network
JP2008066668A (ja) 2006-09-11 2008-03-21 Toshiba Corp 半導体装置及びその製造方法
US7529974B2 (en) * 2006-11-30 2009-05-05 Microsoft Corporation Grouping failures to infer common causes
WO2010062435A1 (en) * 2008-09-04 2010-06-03 Telcordia Technologies, Inc. Computing diagnostic explanations of network faults from monitoring data
US8639986B2 (en) * 2010-09-28 2014-01-28 Lsi Corporation Firmware tracing in a storage data communication system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259331A (ja) * 1998-03-13 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> ネットワークにおける障害箇所検出方法及び装置及びネットワークにおける障害箇所検出プログラムを格納した記憶媒体
JPH11338804A (ja) * 1998-05-27 1999-12-10 Nec Corp ネットワーク構成管理対象アクセスシステム及び方法
JP2001256032A (ja) * 2000-03-14 2001-09-21 Mitsubishi Electric Corp 障害メッセージ表示装置
JP2005538459A (ja) * 2002-09-11 2005-12-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 分散システム内の根本原因識別および問題判定のための方法および装置
JP2006133983A (ja) * 2004-11-04 2006-05-25 Hitachi Ltd 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2008065668A (ja) * 2006-09-08 2008-03-21 Internatl Business Mach Corp <Ibm> 障害発生の原因箇所の発見を支援する技術

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012131868A1 (ja) * 2011-03-28 2012-10-04 株式会社日立製作所 計算機システムの管理方法及び管理装置
US8583789B2 (en) 2011-03-28 2013-11-12 Hitachi, Ltd. Computer system management method and management apparatus
US8713356B1 (en) 2011-09-02 2014-04-29 Emc Corporation Error detection and recovery tool for logical volume management in a data storage system
WO2013140608A1 (ja) * 2012-03-23 2013-09-26 株式会社日立製作所 イベントの根本原因の解析を支援する方法及びシステム
JP5684946B2 (ja) * 2012-03-23 2015-03-18 株式会社日立製作所 イベントの根本原因の解析を支援する方法及びシステム
US9354961B2 (en) 2012-03-23 2016-05-31 Hitachi, Ltd. Method and system for supporting event root cause analysis
JP2016029520A (ja) * 2014-07-25 2016-03-03 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
CN106155899A (zh) * 2015-04-17 2016-11-23 比亚迪股份有限公司 多媒体程序缺陷的定位方法和系统
JP2019515403A (ja) * 2016-04-11 2019-06-06 ケーピーアイティ テクノロジーズ リミテッド 診断のためのグラフデータベースおよびシステム健康モニタリング
US10977108B2 (en) 2017-01-18 2021-04-13 Fujitsu Limited Influence range specifying method, influence range specifying apparatus, and storage medium

Also Published As

Publication number Publication date
JPWO2010016239A1 (ja) 2012-01-19
US20110145647A1 (en) 2011-06-16
US8635496B2 (en) 2014-01-21
JP5423677B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
JP5423677B2 (ja) 障害解析装置、コンピュータプログラムおよび障害解析方法
US10205635B2 (en) System and method for diagnosing database network integrity using application business groups and application epicenters
US7194445B2 (en) Adaptive problem determination and recovery in a computer system
JP6532603B2 (ja) エレベーター遠隔保守支援システム、およびエレベーター遠隔保守支援方法
WO2012131909A1 (ja) サーボ制御装置の異常診断装置および異常診断システム
US7793151B2 (en) Dynamic partitioning of event patterns for determining symptoms
JP2005516276A (ja) 検出および／または制御環境用のオブジェクト指向フレームワーク・アーキテクチャ
US8755953B2 (en) Aircraft information management system
JP2016099938A (ja) イベント分析システムおよび方法
US20190108063A1 (en) Device and method for acquiring values of counters associated with a computational task
JP6837017B2 (ja) 作業手順提示装置及び作業手順提示方法、並びに、自動制御装置及び自動制御方法
JP5505966B2 (ja) 障害管理システム及び方法
KR101656012B1 (ko) It 인프라 품질 감시 시스템 및 방법
JP2018010430A (ja) 制御システムの遠隔監視を行う装置およびシステム
KR20140145259A (ko) 컴포넌트 기반 시스템의 이상 상태 분석 장치 및 그 방법
US8972789B2 (en) Diagnostic systems for distributed network
JP6992959B2 (ja) 通信処理システム、通信処理装置、通信処理方法および通信処理プログラム
CN107133189B (zh) 用于机器仪器的隔离通信结构
JP4965239B2 (ja) 遠隔監視システム
JP2009237807A (ja) 脆弱性診断実施装置および診断スケジュール作成プログラム
US20220035359A1 (en) System and method for determining manufacturing plant topology and fault propagation information
JP2008293103A (ja) 分散配置装置及び仮想装置の配置方法
JP4026456B2 (ja) 計算機システム及び情報収集方法
CN110887671B (zh) 自动驾驶中定位车辆故障的根本原因的方法和装置
US11599438B1 (en) System, method, and computer program for combining results of event processing received from a plurality of virtual servers

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09804726

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010523756

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13057365

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09804726

Country of ref document: EP

Kind code of ref document: A1