JP6867589B2 - 影響範囲特定プログラム、影響範囲特定方法、および影響範囲特定装置 - Google Patents

Description

本発明は、影響範囲特定プログラム、影響範囲特定方法、および影響範囲特定装置に関する。

コンピュータネットワークシステムでは、システム内の一部の機器で障害が発生した場合、その機器に依存している機器も障害の影響を受ける。障害の影響を受ける機器は、例えば通常よりも動作が遅くなったり、アプリケーションプログラムなどを実行できなくなったりする。このような障害の影響は、ネットワークを介して連鎖的に発生する。特に大規模システムにおいては、多くの機器が依存関係にある。そのため、障害の影響は、障害の発生下の機器やその機器に直接接続された機器に留まらず、周囲の様々な機器におよぶ。

ある機器で障害が発生し、他の機器がその障害の影響を受けた場合、利用者が影響を受けたことに気づく場合もあるが、機器によっては障害の影響を受けているにも関わらず、利用者がそのことに気づかない場合もある。障害の影響を受けていることに利用者が気づかない場合、障害の影響を受けた機器があることが、利用者からシステムの運用者に通知されず、運用者による対処も行われない。また、障害発生時には負荷がかかっていない（アプリケーションプログラムなどが実行されていない）ため現在は影響を受けていないが、負荷がかかると影響を受ける可能性が大きい機器もある。

利用者が気づいていない、または負荷がかかっていないため影響を受けていない機器は、今後トラブルの原因になる可能性がある。そのため、これらの影響を受ける可能性のある機器群（影響範囲）を、システムの運用者が認識しておくことは、システムの安定運用のために重要である。

そこで、障害発生時のシステムの管理を支援するための、様々な技術が開発されている。例えば障害の発生した計算機上で動作していた業務の内容や、その優先度などの情報を得ることができるシステム管理方式が考えられている。また、障害の影響が及ぶ範囲を正しく特定する障害影響分析装置も考えられている。また、ある情報機器に障害が発生した場合、この障害の影響がどのような機器のどのような情報処理に波及するかを適確に把握できる障害波及管理システムも考えられている。さらに、個々の障害に対する影響範囲や個々のサービスの障害に対する原因部分を切り分けて表示可能にした運用管理装置も考えられている。

特開２００５−２３４８６１号公報 特開２０１１−１１３１２２号公報 特開２０１３−２０６０４７号公報 特開２０１５−０２２３９６号公報

システム運用者は、利用者からの障害発生通知を受けることで障害の発生を認識する。そして、障害の発生を認識した運用者は、例えば障害影響分析により影響範囲を推定して、調査、修復を行う。

しかし、従来の障害影響分析では、障害の影響範囲内の機器について、障害の影響を受ける可能性の高さの違いが判断されていない。そのため、障害の影響を受ける可能性の高さに関係なく、影響を受けるものと推定される多数の機器が同レベルで提示される。その結果、運用者は、影響を受ける可能性の低い機器から調査、修復を行ってしまうことがある。障害の影響を受ける可能性の低い機器から調査すると、実際に障害の影響を受けている機器に対する対処が遅れ、その分、障害復旧にも時間がかかってしまう。

１つの側面では、本件は、障害の影響を受ける可能性の高さの違いを判別できるようにすることを目的とする。

１つの案では、コンピュータに以下の処理を実行させる影響範囲特定プログラムが提供される。
影響範囲特定プログラムに基づいて、コンピュータは、まず、ネットワークに含まれる複数の機器のうちの障害が発生した第１機器を示す障害発生情報を取得する。次にコンピュータは、複数の機器間の接続関係を示すシステム構成モデルを参照し、複数の機器間の接続関係に基づいて、第１機器を起点として、障害の影響がおよぶ可能性のある第１影響範囲内に存在する複数の第２機器を探索する。次にコンピュータは、複数の第２機器それぞれについて、障害の影響で異常が起きているか否かを判定する。次にコンピュータは、複数の第２機器間の接続関係に基づいて、複数の第２機器のうちの異常が起きている第３機器を起点として、第３機器以外の複数の第２機器それぞれについて、第３機器の異常の影響がおよぶ可能性のある第２影響範囲内に存在するか否かを判定する。次にコンピュータは、第２影響範囲内に存在するか否かの判定結果に基づいて、第３機器以外の複数の第２機器それぞれについて、障害の影響を受ける可能性の高さのランクを決定する。そしてコンピュータは、第３機器以外の複数の第２機器それぞれについて決定したランクを示すランク情報を出力する。

１態様によれば、障害の影響を受ける可能性の高さの違いが判別可能となる。

第１の実施の形態の影響範囲特定装置の一例を示す図である。 第２の実施の形態のシステム構成例を示す図である。 第２の実施の形態に用いる管理サーバのハードウェアの一例を示す図である。 管理サーバを示すブロック図である。 システム構成モデル記憶部が記憶しているシステム構成モデルの一例を示す図である。 影響範囲探索モデル記憶部が記憶している影響範囲探索モデルの一例を示す図である。 システム構成モデル作成処理の一例を示す図である。 システム構成モデル作成処理の手順の一例を示すフローチャートである。 システム構成モデルをグラフで表した例を示す図である。 障害影響機器可視化処理の手順の一例を示すフローチャートである。 障害発生受信処理の一例を示す図である。 障害発生受信処理の手順の一例を示すフローチャートである。 影響範囲探索処理の一例を示す図である。 影響範囲探索経路情報の一例を示す図である。 影響範囲探索の一例を示す図である。 影響範囲探索処理の手順の一例を示すフローチャートである。 障害発生機器を起点とした影響範囲の探索例を示す第１の図である。 障害発生機器を起点とした影響範囲の探索例を示す第２の図である。 障害発生機器を起点とした影響範囲の探索例を示す第３の図である。 異常検知処理の一例を示す図である。 リソース情報を用いた異常検知の第１の例を示す図である。 リソース情報を用いた異常検知の第２の例を示す図である。 リソース情報を用いた異常検知の第３の例を示す図である。 異常検知処理の手順の一例を示すフローチャートである。 異常発生機器の検出結果の一例を示す図である。 影響範囲探索の一例を示す図である。 異常影響範囲探索処理の手順の一例を示すフローチャートである。 異常影響範囲探索の結果の一例を示す第１の図である。 異常影響範囲探索の結果の一例を示す第２の図である。 影響機器ランク付け処理の一例を示す図である。 影響機器ランク付け処理の手順の一例を示すフローチャートである。 影響機器ランク付け結果の一例を示す図である。 影響範囲表示処理の一例を示す図である。 影響範囲表示処理の手順の一例を示すフローチャートである。 影響範囲の表示例を示す図である。 複数の障害発生機器による影響範囲を重ね合わせたスコア計算例を示す図である。 複数の障害発生機器による影響範囲に異常発生機器の影響範囲を重ね合わせたスコア計算例を示す図である。

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。第１の実施の形態は、影響範囲特定装置に、影響範囲特定方法を実行させることで、障害の影響範囲内にある各機器について、障害の影響を受ける可能性の高さに応じたランク付けをするものである。なお、影響範囲特定装置は、例えば影響範囲特定プログラムに記述された処理を実行することで、影響範囲特定方法を実現できる。

図１は、第１の実施の形態の影響範囲特定装置の一例を示す図である。影響範囲特定装置１０は、ネットワーク２を介して複数の機器１ａ，１ｂ，・・・に接続されている。複数の機器１ａ，１ｂ，・・・は、例えばサーバコンピュータやストレージ装置である。なお複数の機器１ａ，１ｂ，・・・には、仮想マシンも含まれる。

影響範囲特定装置１０は、ネットワーク２に接続されたいずれかの機器で障害が発生した場合に、その障害の影響範囲を特定する。その際、影響範囲特定装置１０は、影響範囲内に存在する機器について、影響を受ける可能性に基づいてランク付けをする。このような処理を行うために、影響範囲特定装置１０は、記憶部１１と処理部１２とを有する。

記憶部１１は、複数の機器１ａ，１ｂ，・・・間の接続関係を示すシステム構成モデル１１ａを記憶する。記憶部１１は、例えば影響範囲特定装置１０が有するメモリ、またはストレージ装置である。

処理部１２は、障害が発生したときに、障害の影響範囲の特定、および障害がおよぶ可能性のある機器のランク付けを行う。処理部１２は、例えば影響範囲特定装置１０が有するプロセッサ、または演算回路である。

処理部１２は、複数の機器１ａ，１ｂ，・・・のうちの障害が発生した第１機器を示す障害発生情報３を取得する（ステップＳ１）。例えば処理部１２は、障害が発生した機器から、障害発生情報３としてエラーメッセージを取得する。また処理部１２は、システムの運用者が入力した障害発生情報３を取得する場合もある。図１の例では、機器名「Ｍ１」の機器に障害が発生しており、この機器が第１機器となる。

処理部１２は、障害発生情報３を取得すると、システム構成モデル１１ａを参照して、複数の機器１ａ，１ｂ，・・・間の接続関係を把握する。そして処理部１２は、複数の機器１ａ，１ｂ，・・・間の接続関係に基づいて、第１機器を起点として、障害の影響がおよぶ可能性のある第１影響範囲４内に存在する複数の第２機器を探索する（ステップＳ２）。例えば処理部１２には、第１機器の機能と障害の種別との組み合わせに、起点とする機器からの接続関係の探索順を対応付けた第１探索情報が、予め設定されている。処理部１２は、第１探索情報に従って、第１機器を起点として複数の機器間の接続関係を辿り、到達できた機器を複数の第２機器とする。図１の例では、機器名「Ｍ２」〜「Ｍ１８」の機器が、それぞれ第２機器として検出されている。

次に処理部１２は、複数の第２機器それぞれについて、障害の影響で異常が起きているか否かを判定する（ステップＳ３）。そして、処理部１２は、障害の影響で異常が起きている機器を、第３機器とする。

例えば処理部１２は、複数の第２機器それぞれを判定対象とし、判定対象の第２機器から、障害発生時刻を含む期間における判定対象の第２機器の動作状態を示す動作状態情報５を取得する。そして処理部１２は、動作状態情報５に示される動作状態と、判定対象の第２機器の過去の所定の期間における動作状態とを比較することで、判定対象の第２機器に異常が起きているか否かを判定する。過去の所定の期間における動作状態とは、例えば、障害が発生した日と同じ曜日の過去の複数の日における、障害発生時刻と同じ時刻を含む期間内での判定対象の第２機器の平均的な動作状態である。判定対象の第２機器の動作状態は、例えばプロセッサの使用率、メモリの使用率、ストレージ装置への単位時間当たりのアクセス回数などで表すことができる。

動作状態を比較するため、例えば処理部１２は、障害発生時刻を含む期間における動作状態と、過去の所定の期間における動作状態との差異を数値化する。数値化された差異は、例えば、動作状態を示す数値の代表値（平均値など）の差である。例えば処理部１２は、障害発生時刻を含む期間内の動作状態を示す数値（プロセッサの利用率など）の代表値と、過去の所定の期間内の動作状態を示す数値の代表値との差を取る。処理部１２は、差異を示す値が閾値以上であれば、判定対象の第２機器に異常が起きていると判定する。図１の例では、機器名「Ｍ７」、「Ｍ１０」、「Ｍ１４」の各機器で異常が起きていると判定され、これらの機器が第３機器として特定されている。

処理部１２は、複数の第２機器間の接続関係に基づいて、異常と判定された各第３機器を起点として、第３機器の異常の影響を受ける可能性がある範囲（第２影響範囲）内に存在する第２機器を探索する（ステップＳ４）。図１の例では、機器名「Ｍ７」の第３機器の第２影響範囲６ａ、機器名「Ｍ１０」の第３機器の第２影響範囲６ｂ、および機器名「Ｍ１４」の第３機器の第２影響範囲６ｃが探索されている。

探索により、第３機器以外の複数の第２機器それぞれについて、第３機器の異常の影響がおよぶ可能性のある第２影響範囲６ａ，６ｂ，６ｃ内に存在するか否かが判定できる。例えば処理部１２は、第３機器の機能と障害の種別との組み合わせに予め対応付けられている、起点とする機器からの接続関係の探索順を示す第２探索情報に従って、第３機器を起点として複数の第２機器間の接続関係を辿る。そして処理部１２は、複数の第２機器間の接続関係を辿ることで到達できた機器について、第２影響範囲６ａ，６ｂ，６ｃ内に存在すると判定する。図１の例では、機器名「Ｍ７」の機器の第２影響範囲６ａには、機器名「Ｍ２」〜「Ｍ１１」の各機器が含まれている。機器名「Ｍ１０」の機器の第２影響範囲６ｂには、機器名「Ｍ２」〜「Ｍ１４」の各機器が含まれている。機器名「Ｍ１４」の機器の第２影響範囲６ｃには、機器名「Ｍ９」〜「Ｍ１８」の各機器が含まれている。

処理部１２は、第２影響範囲６ａ，６ｂ，６ｃ内に存在するか否かの判定結果に基づいて、第３機器以外の複数の第２機器それぞれについて、障害の影響を受ける可能性の高さのランクを決定する（ステップＳ５）。例えば障害が発生した第１機器と、異常と判断された第３機器のそれぞれの影響範囲の重なり回数が多い範囲ほど、多くの異常または障害が検知された機器の影響範囲になっている。このことから、影響範囲の重なりが多い範囲に存在する機器ほど、障害または異常の影響を受ける可能性が高いと判断できる。そこで処理部１２は、例えば、複数ある第３機器のいずれかを起点とした第２影響範囲６ａ，６ｂ，６ｃ内に存在すると判定された回数が多い第２機器ほど、高いランクに決定する。

図１に示すシステム構成モデル１１ａでは、第２機器それぞれについて、ステップＳ４での探索により求められた第２影響範囲６ａ，６ｂ，６ｃ内に含まれた回数が、第２機器に対応するノードの近傍に示されている。機器名「Ｍ９」、「Ｍ１１」の機器は、第２影響範囲６ａ，６ｂ，６ｃのすべてに存在するため３回と判定されている。機器名「Ｍ２」〜「Ｍ８」の機器は、第２影響範囲６ａ，６ｂに存在し、「Ｍ１２」、「Ｍ１３」の機器は、第２影響範囲６ｂ，６ｃに存在するため、それぞれ２回と判定されている。機器名「Ｍ１５」〜「Ｍ１８」の機器は、第２影響範囲６ｃに存在するため１回と判定されている。

ここで３段階にランク分けする場合を考える。例えば、影響を受ける可能性が高い第２機器のランクを「ランク１」、影響を受ける可能性が中程度の第２機器のランクを「ランク２」、影響を受ける可能性が低い第２機器のランクを「ランク３」とする。この場合、機器名「Ｍ９」、「Ｍ１１」の機器のランクは、「ランク１」となる。機器名「Ｍ２」〜「Ｍ８」、「Ｍ１２」、「Ｍ１３」の機器のランクは、「ランク２」となる。機器名「Ｍ１５」〜「Ｍ１８」の機器のランクは、「ランク３」となる。

最後に処理部１２は、第３機器以外の複数の第２機器それぞれについて決定したランクを示すランク情報７を出力する（ステップＳ６）。
このような影響範囲特定装置１０によれば、例えばシステムの運用者は、障害の影響を受ける可能性がある機器が複数存在するときに、ランク情報７に基づいて、影響を受ける可能性の高さの違いを認識することができる。その結果、運用者は、障害の影響を受ける可能性が高い機器から、障害の復旧作業を行うことができ、障害の復旧作業を効率的に実施できる。

なお、図１の例では、障害が検知された第１機器が１台のみであるが、第１の機器が複数ある場合もある。この場合、処理部１２は、複数の第１機器それぞれについて、ステップＳ１〜Ｓ２の処理を実行する。次に処理部１２は、複数の第１機器それぞれの障害の影響範囲が重なる部分にある第２機器ほど高いランクとなるように、各第２機器に第１段階のランク付けを行う。次に処理部１２は、ステップＳ３，Ｓ４の処理を行う。そして処理部１２は、ステップＳ５におけるランク決定では、複数の第１機器と複数の第３機器それぞれの影響範囲の重なりが多い範囲に存在する第２機器ほどランクが高くなるように、第２段階のランク付けを行う。このように第１機器が複数ある場合に、複数の第１機機および第３機器それぞれの影響範囲の重なり度合いに基づいてランクを決定することで、第１機器や第３機器が多いほど多段階にランクを分けることができ、ランク分けの精度を向上させることができる。

さらに処理部１２は、第１機器の機能と障害の種別に応じた第１探索情報を用いて、影響範囲内の機器を探索すると共に、第３機器の機能と異常の種別に応じた第２探索情報を用いて影響範囲内の機器を探索している。これにより、障害および異常の影響範囲を正確に求めることができ、影響範囲が重なる範囲も正確に求めることができる。その結果、ランク分けの精度が向上する。

〔第２の実施の形態〕
次に第２の実施の形態について説明する。
図２は、第２の実施の形態のシステム構成例を示す図である。ネットワーク２０には、監視対象の機器として、例えばサーバ３１ａ，３１ｂ，・・・、端末装置３２ａ，３２ｂ，・・・、ストレージ装置３３ａ，３３ｂ，・・・、ネットワーク機器３４ａ，３４ｂ，・・・などがある。ネットワーク２０には、さらに管理サーバ１００と管理用端末装置３０が接続されている。管理サーバ１００は、監視対象の機器から情報を取得し、いずれかの機器が故障した場合に、その故障の影響範囲を検出する。管理用端末装置３０は、システムの運用者が使用するコンピュータである。

図３は、第２の実施の形態に用いる管理サーバのハードウェアの一例を示す図である。管理サーバ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

メモリ１０２は、管理サーバ１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

バス１０９に接続されている周辺機器としては、ストレージ装置１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

グラフィック処理装置１０４には、モニタ２１が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。

入力インタフェース１０５には、キーボード２２とマウス２３とが接続されている。入力インタフェース１０５は、キーボード２２やマウス２３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス２３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク２４に記録されたデータの読み取りを行う。光ディスク２４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

機器接続インタフェース１０７は、管理サーバ１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０７には、メモリ装置２５やメモリリーダライタ２６を接続することができる。メモリ装置２５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ２６は、メモリカード２７へのデータの書き込み、またはメモリカード２７からのデータの読み出しを行う装置である。メモリカード２７は、カード型の記録媒体である。

ネットワークインタフェース１０８は、ネットワーク２０に接続されている。ネットワークインタフェース１０８は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

以上のようなハードウェア構成によって、第２の実施の形態における管理サーバ１００の処理機能を実現することができる。なお、第１の実施の形態に示した影響範囲特定装置１０も、図３に示した管理サーバ１００と同様のハードウェアにより実現することができる。

管理サーバ１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。管理サーバ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、管理サーバ１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。また管理サーバ１００に実行させるプログラムを、光ディスク２４、メモリ装置２５、メモリカード２７などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

次に、管理サーバ１００における、障害の影響を受ける機器を可視化するための機能について説明する。
図４は、管理サーバを示すブロック図である。管理サーバ１００は、システム構成モデル記憶部１１０、影響範囲探索モデル記憶部１２０、情報収集部１３１、障害発生受信部１３２、影響探索部１３３、異常検知部１３４、影響機器ランク付け部１３５、および影響範囲表示部１３６を有する。

システム構成モデル記憶部１１０は、システムに含まれる管理対象の機器の構成を示すシステム構成モデルを記憶する。管理対象の機器には、サーバなどのハードウェア機器に加え、ＶＭ（Virtual Machine）などの仮想機器も含まれる。システム構成モデル記憶部１１０としては、例えばメモリ１０２またはストレージ装置１０３の記憶領域の一部が用いられる。

影響範囲探索モデル記憶部１２０は、影響範囲の探索対象の機器の構成を示す影響範囲探索モデルを記憶する。影響範囲探索モデル記憶部１２０としては、例えばメモリ１０２またはストレージ装置１０３の記憶領域の一部が用いられる。

情報収集部１３１は、機器・接続情報を収集し、システム構成モデルを作成する。また情報収集部１３１は、各機器から、機器の動作状態を表す動作状態情報を取得する。動作状態情報としては、例えば、リソースの使用状況を示すリソース情報がある。また動作状態情報として、出力されたメッセージの履歴を示すログ情報を収集することもできる。

障害発生受信部１３２は、管理対象の機器における障害の発生を検知する。例えば障害発生受信部１３２は、ＶＭなどの機器を監視して、障害の発生を自動検知することができる。また障害発生受信部１３２は、運用者からの入力により、障害の発生を検知する場合もある。以下、障害発生受信部１３２が障害発生を認知した機器を、障害発生機器と呼ぶ。

影響探索部１３３は、障害発生機器の影響範囲を推定する。例えば影響探索部１３３は、障害発生機器を起点に、システム構成情報と、あらかじめ定義した影響範囲探索経路を元に、影響範囲を探索する。そして、影響探索部１３３は、影響範囲の探索結果に基づいて、システム構成モデルから、障害の影響を受ける可能性のある機器を抽出する。以下、障害の影響を受ける可能性のある機器を、障害影響機器と呼ぶ。また影響探索部１３３は、障害の影響を受けていることが確認できた機器を起点とした、影響範囲の探索も行う。

異常検知部１３４は、障害の影響を受けている機器を検出する。例えば異常検知部１３４は、影響探索部１３３が抽出した障害影響機器それぞれについて、リソース情報やログ情報に基づいて、実際に影響を受けているかどうかを確認する。以下、実際に影響を受けていることが確認された機器を、異常発生機器と呼ぶ。

影響機器ランク付け部１３５は、影響を受ける可能性（影響度）のランク付けを行う。例えば影響機器ランク付け部１３５は、影響探索部１３３による影響範囲の探索により、影響範囲内にあると判断された回数が多い障害影響機器ほど影響度を高くする。そして影響機器ランク付け部１３５は、各障害影響機器について、影響度に応じたランク分けを行う。

影響範囲表示部１３６は、障害の影響範囲の表示制御を行うユーザインターフェースである。例えば影響範囲表示部１３６は、影響機器ランク付け部１３５で順位付けされた障害影響機器をモニタ２１または管理用端末装置３０に表示する。また影響範囲表示部１３６は、キーボード２２または管理用端末装置３０を用いて、障害発生を運用者が入力する際のインタフェースとしても機能する。

なお、図４に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図４に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。

次に、管理サーバ１００が記憶している情報について、具体的に説明する。
図５は、システム構成モデル記憶部が記憶しているシステム構成モデルの一例を示す図である。システム構成モデル１１１には、機器情報と接続情報とが含まれる。機器情報には、システムの構成要素である機器（ＶＭなどの仮想機器も含まれる）の名称（機器名）に対応付けて、機器の機能、障害または異常の発生の有無を示すフラグ（障害発生フラグ）、および影響度が設定されている。接続情報には、ネットワーク上で直接接続されている機器のリストが設定されている。なお各機器の機器名は、機能を示す名称の後に識別番号を付与した名前となっている。

図６は、影響範囲探索モデル記憶部が記憶している影響範囲探索モデルの一例を示す図である。影響範囲探索モデル１２１には、システム構成モデル１１１に示された情報のうちの、障害発生機器と障害影響機器とに関する情報が含まれる。

次に、管理サーバ１００における障害影響機器のランク付け処理について、具体的に説明する。管理サーバ１００は、障害影響機器のランク付けを行うための事前処理として、システム構成モデル１１１の作成処理を行う。

図７は、システム構成モデル作成処理の一例を示す図である。情報収集部１３１は、例えば定期的に、管理対象のサーバ３１ａ，３１ｂ，・・・などの機器からシステム構成情報４１を収集する。システム構成情報４１には、収集元の機器の機器名や、収集元の機器に接続された他の機器の機器名が含まれる。情報収集部１３１は、収集したシステム構成情報４１に基づいてシステム構成モデル１１１を作成する。情報収集部１３１は、作成したシステム構成モデル１１１をシステム構成モデル記憶部１１０に格納する。

図８は、システム構成モデル作成処理の手順の一例を示すフローチャートである。以下、図８に示す処理をステップ番号に沿って説明する。
［ステップＳ１０１］情報収集部１３１は、システム構成情報４１の収集タイミングになったか否かを判断する。例えば情報収集部１３１は、１日に１回といった所定間隔でシステム構成情報４１を収集する場合、予め設定された収集時刻に達すると、収集タイミングになったと判断する。また情報収集部１３１は、障害発生時にシステム構成情報４１を収集することもできる。この場合、情報収集部１３１は、例えば障害発生受信部１３２において障害の発生が検知されたとき、システム構成情報４１の収集タイミングになったと判断する。情報収集部１３１は、収集タイミングになった場合、処理をステップＳ１０２に進める。また情報収集部１３１は、収集タイミングになっていなければ、ステップＳ１０１の処理を繰り返す。

［ステップＳ１０２］情報収集部１３１は、システム内のサーバ３１ａ，３１ｂ，・・・などの機器それぞれからシステム構成情報４１を収集する。
［ステップＳ１０３］情報収集部１３１は、収集したシステム構成情報４１に基づいて、システム構成モデル１１１を作成する。そして情報収集部１３１は、作成したシステム構成モデル１１１を、システム構成モデル記憶部１１０に格納する。

［ステップＳ１０４］情報収集部１３１は、システム構成モデル作成処理の終了の指示があるか否かを判断する。情報収集部１３１は、終了の指示が入力された場合、システム構成モデル作成処理を終了する。情報収集部１３１は、終了の指示が入力されていなければ、処理をステップＳ１０１に進め、次の収集タイミングになるのを待つ。

このようにして、システム構成モデル１１１が定期的に作成され、最新状態に保たれる。システム構成モデル１１１には機器間の接続関係が示されている。そのため、システム構成モデル１１１に基づいて、機器間の接続関係をグラフで表すことができる。

図９は、システム構成モデルをグラフで表した例を示す図である。図９の上段には、ネットワーク２０における機器の接続関係を示している。このような接続関係がシステム構成モデル１１１内に設定される。そしてシステム構成モデル１１１は、各機器をノードとして、接続されている機器間をエッジで接続したグラフで表すことができる。

いずれかの機器で障害が発生すると、図９に示すようなシステム構成モデル１１１を用いて、障害の影響範囲を調べ、影響範囲内にある他の障害影響機器を、影響度に応じてランク分けすることができる。

次に、障害発生時の障害影響機器可視化処理について詳細に説明する。
図１０は、障害影響機器可視化処理の手順の一例を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。

［ステップＳ１１１］障害発生受信部１３２は、障害発生の自動検知、または人手による障害情報の入力に基づく、障害発生受信処理を行う。障害発生受信処理の詳細は、後述する（図１２参照）。

［ステップＳ１１２］影響探索部１３３は、障害の影響範囲を探索する影響範囲探索処理を行う。影響範囲探索処理によって、障害影響機器が抽出される。影響範囲探索処理の詳細は後述する（図１６参照）。

［ステップＳ１１３］異常検知部１３４は、障害影響機器のうち、実際に動作の異常が発生している機器を検知する異常検知処理を行う。異常検知処理によって、異常発生機器が抽出される。異常検知処理の詳細は後述する（図２４参照）。

［ステップＳ１１４］影響探索部１３３は、異常発生機器を起点として、影響範囲を探索する異常影響範囲探索処理を行う。異常影響範囲探索処理の詳細は後述する（図２７参照）。

［ステップＳ１１５］影響機器ランク付け部１３５は、障害影響機器についての影響度に応じたランク付け処理（影響機器ランク付け処理）を行う。影響機器ランク付け処理により、障害影響機器について、影響度のランクが設定される。影響機器ランク付け処理の詳細は後述する（図３１参照）。

［ステップＳ１１６］影響範囲表示部１３６は、障害の影響範囲をモニタ２１または管理用端末装置３０に表示する影響範囲表示処理を行う。影響範囲表示処理の詳細は後述する（図３４参照）。

［ステップＳ１１７］異常検知部１３４は、ステップＳ１１３の異常検知処理において少なくとも１台の異常発生機器が検知できたか否かを判断する。異常検知部１３４は、異常発生機器が検知できていない場合、処理をステップＳ１１８に進める。また異常検知部１３４は、異常発生機器が検知できた場合、障害影響機器ランク分け処理を終了する。

［ステップＳ１１８］異常検知部１３４は、障害が発生してから、予め設定されている異常発生機器の探索時間が経過したか否かを判断する。異常発生機器の探索時間は、異常発生機器の検出を断念するまでの時間である。例えば異常検知部１３４には、探索時間が１時間に設定される。探索時間が経過した場合、異常検知部１３４は、異常発生機器の検出を断念し、障害影響機器ランク分け処理を終了する。異常検知部１３４は、探索時間が経過していなければ、処理をステップＳ１１９に進める。

［ステップＳ１１９］異常検知部１３４は、前回の異常検知処理を実行してから、予め設定された探索待ち時間が経過したか否かを判断する。異常検知部１３４は、探索待ち時間が経過した場合、処理をステップＳ１１３に進める。また異常検知部１３４は、探索待ち時間が経過していなければ、ステップＳ１１９の処理を繰り返し、探索待ち時間が経過するのを待つ。

このような手順で、障害影響機器のランク分けが行われる。以下、ステップＳ１１１〜Ｓ１１６の各処理の詳細を順番に説明する。
＜障害発生受信処理＞
以下、図１１〜図１２を参照して、障害発生受信処理について説明する。

図１１は、障害発生受信処理の一例を示す図である。障害発生の検知方法としては、二通りの方法がある。
第１の障害発生検知方法は、障害発生受信部１３２が管理対象のサーバ３１ａ，３１ｂ，・・・などの機器を監視し、障害の発生を自動で検知するものである。例えば障害発生受信部１３２は、定期的に管理対象の機器と通信し、エラー情報を収集する。そして障害発生受信部１３２は、エラー情報を出力した機器を、障害発生機器として特定する。また障害発生受信部１３２は、定期的に管理対象の機器に生起確認コマンド（ping等）を送信し、所定期間内に応答を返してこない機器を、障害発生機器として特定する。障害発生受信部１３２は、特定した障害発生機器を示す障害発生機器情報４２を、影響探索部１３３に送信する。また障害発生受信部１３２は、管理用端末装置３０へ、電子メールなどにより、障害が発生したことを示す障害検知通知を送信する。

第２の障害発生検知方法は、管理用端末装置３０からの障害発生の入力により、障害の発生を検知するものである。例えばシステムの運用者がいずれかの機器の障害の発生に気づく場合がある。またサービスの利用がいずれかの機器の障害の発生に気づき、障害が発生していることをシステムの運用者に連絡する場合がある。これらの場合、運用者は、例えば管理用端末装置３０により、影響範囲表示部１３６と通信する。そして管理者が管理用端末装置３０に障害発生機器の機器名を入力すると、その機器名が、管理用端末装置３０から影響範囲表示部１３６に送信される。影響範囲表示部１３６は、障害発生機器の機器名を受信すると、受信した障害発生機器の機器名を、障害発生受信部１３２に送信する。障害発生受信部１３２は、障害発生機器の機器名を受信すると、その機器で障害が発生したことを認識し、障害発生機器情報４２を影響探索部１３３に送信する。

図１２は、障害発生受信処理の手順の一例を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。
［ステップＳ１３１］障害発生受信部１３２は、いずれかの機器の障害の発生を検知する。障害の発生を検知する場合には、自動検知した場合と、障害の発生したことを示す情報が手動入力された場合とがある。障害発生受信部１３２は、障害の発生を自動検知した場合、障害が発生した機器の機器名を取得すると共に、現在の時刻を障害発生時刻として記憶する。また障害発生受信部１３２は、障害の発生が手動入力される場合、障害が発生した機器の機器名と障害発生時刻との入力を受け付ける。

［ステップＳ１３２］障害発生受信部１３２は、障害発生機器情報４２を、影響探索部１３３に対して出力する。
［ステップＳ１３３］障害発生受信部１３２は、障害発生を自動検知したのか否かを判断する。障害発生受信部１３２は、自動検知であれば、処理をステップＳ１３４に進める。自動検知でなければ、障害発生受信処理を終了する。

［ステップＳ１３４］障害発生受信部１３２は、障害検知通知を、管理用端末装置３０に送信する。例えば障害発生受信部１３２は、運用者のメールアドレス宛に障害検知通知を示す電子メールを送信する。送信された障害検知通知は、一旦、図示していないメールサーバに保存される。管理用端末装置３０は、所定のタイミングでメールサーバから障害検知通知を受信する。

このようにして障害発生受信部１３２により障害の発生が検知され、障害発生機器を示す障害発生機器情報４２が、影響探索部１３３に送信される。すると、影響探索部１３３により、影響範囲探索処理が実行される。

＜影響範囲探索処理＞
以下、図１３〜図１９を参照して、影響範囲探索処理について説明する。
図１３は、影響範囲探索処理の一例を示す図である。影響探索部１３３は、影響範囲探索経路情報４３を有している。影響範囲探索経路情報４３には、機器の機能ごとに、障害原因に応じた影響範囲の探索経路が設定されている。影響探索部１３３は、障害発生機器情報４２を受信すると、システム構成モデル１１１を参照し、あらかじめ定義した影響範囲探索経路情報４３に基づいて、障害影響機器を抽出する。影響探索部１３３は、抽出した障害影響機器に基づいて、影響範囲探索モデル１２１を作成する。そして影響探索部１３３は、作成した影響範囲探索モデル１２１を、影響範囲探索モデル記憶部１２０に格納する。

図１４は、影響範囲探索経路情報の一例を示す図である。影響範囲探索経路情報４３には、例えば障害・探索経路対応表４３ａと探索経路情報４３ｂとが含まれる。障害・探索経路対応表４３ａには、機器の機能と障害種別との組に対応付けて、探索経路を一意に示す探索経路番号が設定されている。障害種別は、例えばＤｉｓｋ関連障害やＣＰＵ関連障害というように、障害の原因となる資源の種別である。

探索経路情報４３ｂには、探索経路番号ごとに、その探索経路番号に対応する探索経路が示されている。探索経路は、影響範囲の探索を行う機器の機能の配列によって示されている。例えば「探索経路＃１」に示されている探索経路は、「ＶＭ→Ｄａｔａｓｔｏｒｅ→ＲＡＩＤ→Ｄａｔａｓｔｏｒｅ→ＶＭ」である。この探索経路では、まず機能が「ＶＭ」の機器から探索を開始することが示されている。次に「ＶＭ」の機器に接続された、機能が「Ｄａｔａｓｔｏｒｅ」の機器を探索することが示されている。該当する機器が検出できた場合、探索経路に示される順番で、対応する機能を有する機器が、最後に検出した機器に接続された機器の中から探索される。

図１５は、影響範囲探索の一例を示す図である。例えば障害原因がＤｉｓｋ関連で、機器名「ＶＭ１」の機器が障害発生機器であるものとする。この場合、障害発生機器の機能は「ＶＭ」である。すると、図１４に示した障害・探索経路対応表４３ａによれば、探索経路として「探索経路＃１」が決定される。そこで、機器「ＶＭ１」を起点として、探索経路情報４３ｂに示されている探索経路「探索経路＃１」に従って、影響範囲探索が行われる。

まずシステム構成モデル１１１に示されるシステム構成において、機器「ＶＭ１」に接続されている機器の中から、機能が「Ｄａｔａｓｔｏｒｅ」の機器が探索される。すると、例えば機器「Ｄａｔａｓｔｏｒｅ２」が検出される。次に、機器「Ｄａｔａｓｔｏｒｅ２」に接続されている機器の中から、機能が「ＲＡＩＤ」の機器が探索される。すると、例えば機器「ＲＡＩＤ１」が検出される。次に機器「ＲＡＩＤ１」に接続されている機器の中から、機能が「Ｄａｔａｓｔｏｒｅ」の機器が探索される。すると、例えば機器「Ｄａｔａｓｔｏｒｅ２」と機器「Ｄａｔａｓｔｏｒｅ３」とが検出される。次に、機器「Ｄａｔａｓｔｏｒｅ２」に接続されている機器の中から、機能が「ＶＭ」の機器が探索されると共に、機器「Ｄａｔａｓｔｏｒｅ３」に接続されている機器の中から、機能が「ＶＭ」の機器が探索される。すると、機器「Ｄａｔａｓｔｏｒｅ２」に接続されている機器「ＶＭ８」と、機器「Ｄａｔａｓｔｏｒｅ３」に接続されている機器「ＶＭ９」とが検出される。

この結果、経路ａ「ＶＭ１→Ｄａｔａｓｔｏｒｅ２→ＲＡＩＤ１→Ｄａｔａｓｔｏｒｅ３→ＶＭ９」と経路ｂ「ＶＭ１→Ｄａｔａｓｔｏｒｅ２→ＲＡＩＤ１→Ｄａｔａｓｔｏｒｅ２→ＶＭ８」とが検出されている。経路ｂに示すように、起点の障害発生機器から経路を辿ったときに、一度辿った経路を逆に戻ることも許容されている。

図１５には、機器「ＶＭ１」に接続されている機能が「Ｄａｔａｓｔｏｒｅ」の機器のうち、機器「Ｄａｔａｓｔｏｒｅ２」を経由した探索例のみを示しているが、機器「Ｄａｔａｓｔｏｒｅ１」を経由した探索も行われる。

なお、探索経路「探索経路＃１」に従った場合、機能「ＨＶ」の機器を経由した探索は行われない。また、機能「ＲＡＩＤ」の機器を共有しない機能「Ｄａｔａｓｔｏｒｅ」の機器は探索されない。

このような影響範囲探索経路情報４３に基づいて、障害の影響範囲の探索が行われる。
図１６は、影響範囲探索処理の手順の一例を示すフローチャートである。以下、図１６に示す処理を、ステップ番号に沿って説明する。

［ステップＳ１４１］影響探索部１３３は、障害発生機器情報４２を受信する。障害発生機器情報４２には、例えば障害が発生した１または複数の機器それぞれの、機器名および障害発生時刻が含まれる。

［ステップＳ１４２］影響探索部１３３は、障害の種類を取得する。例えば影響探索部１３３は、運用者により管理用端末装置３０へ入力された障害の種類を、管理用端末装置３０から取得する。また、障害発生受信部１３２が障害の発生を検知したときに、障害の種類も判明した場合、障害発生受信部１３２は、障害発生機器情報４２に障害の種類を含めることができる。例えば障害発生受信部１３２は、障害の自動検知の際に取得したエラー情報に、障害の種類を示す情報が含まれていた場合、その障害の種類を障害発生機器情報４２に含める。

［ステップＳ１４３］影響探索部１３３は、システム構成モデル記憶部１１０から、システム構成モデル１１１を読み込む。このとき影響探索部１３３は、読み込んだシステム構成モデル１１１における、障害発生機器の障害発生フラグに「１」を設定する。

［ステップＳ１４４］影響探索部１３３は、障害発生機器情報４２に示されている障害発生機器の中から、未選択の障害発生機器の１つを、起点となる障害発生機器として選択する。

［ステップＳ１４５］影響探索部１３３は、影響範囲探索経路情報４３に基づいて、影響範囲を探索するための探索経路を決定する。
［ステップＳ１４６］影響探索部１３３は、起点となる障害発生機器から、決定した探索経路に従って影響範囲を探索する。このとき影響探索部１３３は、システム構成モデル１１１における、探索によって検出した経路上の障害発生機器以外の機器の影響度に「１」を加算する。

［ステップＳ１４７］影響探索部１３３は、すべての障害発生機器を起点とした探索が完了したか否かを判断する。影響探索部１３３は、すべての障害発生機器の探索が完了した場合、処理をステップＳ１４８に進める。また影響探索部１３３は、未探索の障害発生機器がある場合、処理をステップＳ１４４に進める。

［ステップＳ１４８］影響探索部１３３は、影響範囲探索によって検出された機器を、障害影響機器として出力する。
［ステップＳ１４９］影響探索部１３３は、障害影響機器に基づいて、影響範囲探索モデル１２１を作成する。

このようにして、障害発生機器を起点とした影響範囲の探索が行われ、障害影響機器が検出される。
図１７は、障害発生機器を起点とした影響範囲の探索例を示す第１の図である。機器「ＶＭ１」が障害発生機器として検出された場合、システム構成モデル１１１における機器「ＶＭ１」の障害発生フラグに「１」が設定される。ここで、障害種別が「Ｄｉｓｋ関連障害」であり、探索経路が「探索経路＃１」と判断されたものとする。

図１８は、障害発生機器を起点とした影響範囲の探索例を示す第２の図である。機器「ＶＭ１」を起点として、探索経路「探索経路＃１」による探索を行った結果、障害影響機器が検出される。そして、システム構成モデル１１１における障害影響機器の影響度に「１」が設定される。図１８では、障害影響機器を表すノードの近傍に、その障害影響機器の影響度を示す数値を示している。

図１９は、障害発生機器を起点とした影響範囲の探索例を示す第３の図である。システム構成モデル１１１に示されるシステム構成から、障害発生機器と障害影響機器とのいずれでもない機器を除外することで、影響範囲探索モデル１２１が作成される。そして影響範囲探索モデル１２１が、影響範囲探索モデル記憶部１２０に格納される。

障害発生機器を起点とした影響範囲探索が完了したことで、障害の影響を受ける可能性がある機器が、障害影響機器として特定される。ただし、この段階では、障害の影響の度合いの優劣が判断されていない。そこで異常検知処理により、障害影響機器の中から、実際に何らかの影響を受けている機器が判断される。

なお、図１７〜図１９の例では、障害発生機器は１台のみであるが、障害発生機器が複数存在する場合もある。その場合、図１９に示したシステム構成モデル１２１では、複数の機器の障害発生フラグに「１」が設定される。また障害発生機器が複数ある場合には、各障害発生機器から影響範囲内の障害影響機器が探索され、探索ごとに、影響範囲機器それぞれの影響度に「１」が加算される。そのため、複数の障害発生機器の影響範囲内に存在する障害影響機器の影響度は、「２」以上の値となる。例えば、障害発生機器が２台の場合、一方のみの障害発生機器の影響範囲に存在する障害影響機器の影響度は「１」となり、両方の障害発生機器の影響範囲に存在する障害影響機器の影響度は「２」となる。

＜異常検知処理＞
以下、図２０〜図２５を参照して、異常検知処理について説明する。
図２０は、異常検知処理の一例を示す図である。異常検知部１３４は、影響範囲探索モデル記憶部１２０内の影響範囲探索モデル１２１を参照し、障害影響機器を示す障害影響機器情報６１を取得する。そして異常検知部１３４は、情報収集部１３１に、障害影響機器の動作状態情報５０の収集を依頼する。すると情報収集部１３１は、障害影響機器それぞれから動作状態情報５０を取得し、取得した動作状態情報５０を異常検知部１３４に転送する。

動作状態情報５０には、例えばリソース情報５１とログ情報５２との少なくともいずれか一方が含まれる。リソース情報５１は、障害影響機器のリソースの使用状況を示す情報である。例えばＣＰＵ使用率の時間変化、メモリ使用率の時間変化、ディスクの単位時間当たりのライト回数の時間変化などが、リソース情報５１に含まれる。なおリソース情報５１として、障害種別に対応するリソースの情報のみを取得してもよい。例えば障害種別がＤｉｓｋ関連障害であれば、情報収集部１３１は、ディスクの単位時間当たりのライト回数の時間変化を、リソース情報５１として取得する。ログ情報５２は、障害影響機器において発生したイベントのログを示す情報である。ログ情報５２には、例えば障害影響機器で発生したエラーを示すエラーログが含まれる。

異常検知部１３４は、障害影響機器それぞれの動作状態情報５０に基づいて、実際に障害の影響を受けている異常発生機器を抽出する。異常検知部１３４は、異常発生機器を示す異常発生機器情報６２を、影響探索部１３３に送信する。

ここで、図２１〜図２３を参照して、リソース情報を用いた異常検知方法について説明する。
図２１は、リソース情報を用いた異常検知の第１の例を示す図である。例えば異常検知部１３４は、機器のリソースの状態に周期性がある場合、障害影響機器それぞれの障害種別に関連するリソース情報を取得し、障害発生時間帯と過去の対応周期とのリソースの状態の時間変化を比較する。障害影響機器のリソースの状態の時間変化の仕方が、障害発生時間帯と過去の対応周期で異なる場合、異常検知部１３４は、その障害影響機器を異常発生機器として出力する。

過去のリソース状態の時間変化は、例えば過去の所定周期分のリソース状態の時間変化を平均化したものである。例えばリソースの状態の同じような時間変化が、１日周期で繰り返される場合がある。この場合、異常検知部１３４は、毎日、情報収集部１３１を介して、各機器の１日分のリソース情報を取得する。そして異常検知部１３４は、各日のリソースの状態から、平均的な１日のリソースの状態の時間変化を算出し、算出結果をストレージ装置１０３に格納する。障害が検知されて異常検知処理が開始されると、異常検知部１３４は、過去のリソース状態の時間変化として、ストレージ装置から平均的な１日のリソースの状態の時間変化を取得し、現在のリソースの状態の時間変化と比較する。

例えば異常検知部１３４は、障害発生時刻を含む所定の期間について、過去と現在とのリソース状態の時間変化を比較する。例えば障害発生時刻が「１２：００」であれば、前後３０分「１１：３０〜１２：３０」の１時間の時間帯について比較する。例えば異常検知部１３４は、リソース状態の時間変化を統計的検定手法を用いて比較し、所定値以上の有意な差が認められた場合、判定対象の障害影響機器は障害の影響を受けていると判定する。

また異常検知部１３４は、比較対象の時間帯のリソース状態の平均値を比較し、過去の平均と現在の平均値との間に所定値以上の有意な差がある場合、判定対象の障害影響機器は、障害の影響を受けていると判定してもよい。その場合、例えば現在の平均値を過去の平均値で除算した値が、「０．６〜１．４」の範囲外のときであれば、判定対象の障害影響機器は、障害の影響を受けていると判定する。

図２１の例では、障害発生時刻前後において、通常は１秒当たりのライト回数が高い状態が継続しているところ、現在の状態では、障害発生時刻を境に１秒当たりのライト回数が低下している。従って、判定対象の障害影響機器は、障害の影響による異常があると判断される。

図２２は、リソース情報を用いた異常検知の第２の例を示す図である。図２２の例では、障害発生時刻前後において、通常は１秒当たりのライト回数が低い状態が継続しているところ、現在の状態では、障害発生時刻を境に１秒当たりのライト回数が上昇している。従って、判定対象の障害影響機器は、障害の影響による異常があると判断される。

図２３は、リソース情報を用いた異常検知の第３の例を示す図である。図２３の例では、障害発生時刻前後において、過去と障害発生時刻前後との双方で、１秒当たりのライト回数がほぼ０に近く、負荷がかかっていない（アプリケーションプログラムなどが実行されていない）。このように、過去においても、障害発生時刻前後においても、負荷がかかっていない場合、異常検知部１３４は、判定対象の障害影響機器に障害の影響が及んでいるか否かは不明であると判断する。

このようにしてリソース情報を用いて、障害影響機器に帯する異常検知が行われる。
ログ情報５２に基づいて異常を検知する場合、例えば異常検知部１３４は、障害が発生した時刻前後の所定期間内にエラーメッセージを出力した機器を、異常発生機器とすることができる。また異常検知部１３４は、所定期間内のログの総出力数に基づいて、異常発生機器を判定することもできる。例えば異常検知部１３４は、ログ出力数の時間変化に周期性がある場合、障害発生時を含む所定期間内のログ出力数と、過去の対応する期間内のログ出力数（対応する複数の期間の平均値）とを比較する。そして、ログ出力数の差（または増減率）が所定値以上の場合、異常検知部１３４は、判定対象の障害影響機器は、障害の影響を受けていると判定する。例えば異常検知部１３４は、一定値以上の割合でログ出力数が増加した場合、増加したログに記載された機器を、異常発生機器としてもよい。

図２４は、異常検知処理の手順の一例を示すフローチャートである。以下、図２４に示す処理をステップ番号に沿って説明する。
［ステップＳ１６１］異常検知部１３４は、影響範囲探索モデル記憶部１２０内の影響範囲探索モデル１２１から、障害影響機器を示す障害影響機器情報６１を取得する。

［ステップＳ１６２］異常検知部１３４は、動作状態情報５０を、情報収集部１３１に問い合わせる。問い合わせには、障害影響機器の機器名が含まれる。すると情報収集部１３１は、障害影響機器から、障害発生時刻前後の所定期間の動作状態情報５０を取得し、その動作状態情報を異常検知部１３４に転送する。

［ステップＳ１６３］異常検知部１３４は、動作状態情報を受信する。
［ステップＳ１６４］異常検知部１３４は、まだ判定対象としていない障害影響機器の１つを、判定対象として選択する。

［ステップＳ１６５］異常検知部１３４は、選択した障害影響機器から取得した動作状態情報に基づいて、その障害影響機器における、障害の影響による状態異常の有無を判定する。

［ステップＳ１６６］異常検知部１３４は、異常があると判定した場合、処理をステップＳ１６７に進める。また異常検知部１３４は、異常がないと判定した場合、処理をステップＳ１６８に進める。

［ステップＳ１６７］異常検知部１３４は、選択した障害影響機器を、異常発生機器として登録する。例えば異常検知部１３４は、影響範囲探索モデル１２１内の選択した障害影響機器の障害発生フラグに「１」を設定する。この場合、影響範囲探索モデル１２１において、障害発生フラグが「１」であり、影響度が「１」以上の値の機器が、異常発生機器である。

［ステップＳ１６８］異常検知部１３４は、すべての障害影響機器について、状態異常の有無の判定が完了したか否かを判断する。異常検知部１３４は、すべての障害影響機器について判定が完了した場合、異常検知処理を終了する。また異常検知部１３４は、未判定の障害影響機器がある場合、処理をステップＳ１６４に進める。

このようにして、障害影響機器の中から、異常発生機器が検出される。
図２５は、異常発生機器の検出結果の一例を示す図である。図２５の例では、機器「ＶＭ２」、「ＶＭ３」、「ＶＭ４」が異常発生機器と判定されている。影響範囲探索モデル１２１では、異常発生機器と判定された機器の障害発生フラグに「１」が設定されている。

このようにして、異常発生機器が検出されると、異常発生機器を起点として、再度影響範囲の探索が行われる。
＜異常影響範囲探索処理＞
以下、図２６〜図２９を参照して、異常影響範囲探索処理について説明する。

図２６は、影響範囲探索の一例を示す図である。異常検知部１３４から異常発生機器情報６２を受信した影響探索部１３３は、影響範囲探索モデル記憶部１２０内の影響範囲探索モデル１２１から障害影響機器情報６１を抽出する。そして影響探索部１３３は、影響範囲探索経路情報４３に示されている探索経路に基づいて、異常発生機器を起点として、異常影響範囲探索処理を行う。

図２７は、異常影響範囲探索処理の手順の一例を示すフローチャートである。以下、図２７に示す処理をステップ番号に沿って説明する。
［ステップＳ１７１］影響探索部１３３は、異常発生機器情報６２を受信する。

［ステップＳ１７２］影響探索部１３３は、影響範囲探索モデル記憶部１２０内の影響範囲探索モデル１２１から障害影響機器情報６１を取得する。
［ステップＳ１７３］影響探索部１３３は、異常発生機器情報６２に示されている異常発生機器の中から、未選択の異常発生機器の１つを、起点となる異常発生機器として選択する。

［ステップＳ１７４］影響探索部１３３は、影響範囲探索経路情報４３に基づいて、選択した異常発生機器で発生した異常の影響範囲を探索するための探索経路を決定する。例えば影響探索部１３３は、選択した異常発生機器の機能と、影響範囲探索処理の際にステップＳ１４２（図１６参照）で取得した障害の種類との組に対応する探索経路番号を、障害・探索経路対応表４３ａから取得する。そして影響探索部１３３は、特定した探索経路番号に対応する探索経路情報４３ｂ内の探索経路を、選択した異常発生機器で発生した異常の影響範囲を探索するための探索経路に決定する。

［ステップＳ１７５］影響探索部１３３は、起点となる異常発生機器から、決定した探索経路に従って影響範囲を探索する。
［ステップＳ１７６］影響探索部１３３は、影響範囲探索モデル１２１における、影響範囲内の機器（探索によって検出した経路上の異常発生機器以外の機器）の影響度に「１」を加算する。

［ステップＳ１７７］影響探索部１３３は、すべての異常発生機器を起点とした探索が完了したか否かを判断する。影響探索部１３３は、すべての異常発生機器を起点とした探索が完了した場合、異常影響範囲探索処理を終了する。また影響探索部１３３は、未探索の異常発生機器がある場合、処理をステップＳ１７３に進める。

このようにして、異常発生機器を起点とした影響範囲の探索が行われ、障害影響機器の影響度が更新される。
図２８は、異常影響範囲探索の結果の一例を示す第１の図である。図２８の例では、機器「ＶＭ２」を起点として、影響範囲を探索した結果を示している。影響範囲探索モデル１２１における、機器「ＶＭ２」からの探索で探索範囲内に含まれる障害影響機器の影響度に「１」が加算されている。

同様に、他の異常発生機器である機器「ＶＭ３」と機器「ＶＭ４」とのそれぞれを起点とした影響範囲の探索も行われる。
図２９は、異常影響範囲探索の結果の一例を示す第２の図である。図２９には、すべての異常発生機器それぞれを起点とした影響範囲の探索の終了後の状態を示している。影響範囲探索モデル１２１における障害影響機器の影響度は、異常影響範囲探索による影響範囲に含まれた回数分だけ、カウントアップされている。

このようにして求められた影響度が高い障害影響機器ほど、障害の影響を受ける可能性が高いものと推定できる。そこで、障害影響機器の影響度に基づいて、影響範囲の影響機器ランク付けが行われる。

＜影響機器ランク付け処理＞
以下、図３０〜図３２を参照して、影響機器ランク付け処理について説明する。
図３０は、影響機器ランク付け処理の一例を示す図である。影響機器ランク付け部１３５は、影響範囲探索モデル記憶部１２０から、障害影響機器の影響度が設定された影響範囲探索モデル１２１を取得する。そして影響機器ランク付け部１３５は、障害影響機器に対して、影響度に応じランク（順位）付けを行う。例えば影響機器ランク付け部１３５は、影響度が高い機器は、多くの異常発生機器の影響範囲になっていることから、発生した障害の影響を受ける可能性が高いことを表すため、高いランクとする。

影響機器ランク付け部１３５は、障害の影響範囲内の機器間の接続関係と、障害影響機器のランクとを示す影響範囲モデル７１を生成する。そして影響機器ランク付け部１３５は、作成した影響範囲モデル７１を、影響範囲表示部１３６に送信する。

図３１は、影響機器ランク付け処理の手順の一例を示すフローチャートである。以下、図３１に示す処理をステップ番号に沿って説明する。
［ステップＳ１８１］影響機器ランク付け部１３５は、影響範囲探索モデル記憶部１２０から、影響範囲探索モデル１２１を読み込む。

［ステップＳ１８２］影響機器ランク付け部１３５は、影響度の値を正規化する。例えば影響機器ランク付け部１３５は、障害発生機器の数（図２９の例では「１」）と異常発生機器（図２９の例では「３」）を合わせた数で、障害度の値を除算する。除算により得られた商が、影響度の正規化後の値となる。

［ステップＳ１８３］影響機器ランク付け部１３５は、正規化後の影響度に応じたランクを決定する。例えば影響機器ランク付け部１３５に対して、予め、複数のランクに対応付けて、各ランクに対応する影響度の範囲を設定しておく。そして影響機器ランク付け部１３５は、各障害影響機器の影響度が、どのランクに対応する範囲に属しているかによって、その障害影響機器のランクを決定する。

［ステップＳ１８４］影響機器ランク付け部１３５は、障害影響機器のランクを示す影響範囲モデル７１を、影響範囲表示部１３６に送信する。
図３２は、影響機器ランク付け結果の一例を示す図である。図３２の例では、正規化後の影響度が「０．８」より大きく、「１」以下の障害影響機器を「ランク１」としている。また正規化後の影響度が「０．６」より大きく、「０．８」以下の障害影響機器を「ランク２」としている。さらに正規化後の影響度が「０」以上、「０．６」以下の障害影響機器を「ランク３」としている。ランクを示す数値は、値が小さいほど、障害の影響を受ける可能性が高いことを示している。図３２に示す障害影響機器のうち、「ランク１」の障害影響機器を示すノードは太い実線で表されており、「ランク２」の障害影響機器を示すノードは細い実線で表されており、「ランク３」の障害影響機器を示すノードは破線で表されている。

そして障害影響機器のランクを示す影響範囲モデル７１が作成される。影響範囲モデル７１には、例えば機器情報と接続情報とが含まれる。機器情報には、障害の影響範囲内の機器の機器名に対応付けて、機器の機能、機器種別、スコア、およびランクが設定されている。機器種別には、障害発生機器、異常発生機器、障害影響機器のいずれの機器なのかが示されている。スコアには、影響度を正規化することで得られた値が設定されている。ランクには、正規化後の影響度に応じて決定したランクを示す値が設定されている。接続情報には、ネットワーク上で直接接続されている機器のリストが設定されている。

このようにして異常発生機器のランク付けが行われる。そして影響範囲表示部１３６により、各異常発生機器のランクが分かるような表示形態で、影響範囲内の異常発生機器が表示される。

＜影響範囲表示処理＞
以下、図３３〜図３５を参照して、影響範囲表示処理について説明する。
図３３は、影響範囲表示処理の一例を示す図である。影響範囲表示部１３６は、影響機器ランク付け部１３５から送信された影響範囲モデル７１を受信する。すると影響範囲表示部１３６は、管理用端末装置３０に、影響範囲モデル７１に示される機器間の接続関係をグラフで表示する。その際、影響範囲表示部１３６は、障害影響機器に対応するノードを、影響を受ける度合いに応じたランクが視覚的に分かるように表示する。

図３４は、影響範囲表示処理の手順の一例を示すフローチャートである。以下、図３４に示す処理をステップ番号に沿って説明する。
［ステップＳ１９１］影響範囲表示部１３６は、影響範囲モデル７１を受信する。

［ステップＳ１９２］影響範囲表示部１３６は、影響範囲モデル７１に示されている影響範囲を、管理用端末装置３０の画面に表示する。
図３５は、影響範囲の表示例を示す図である。影響範囲表示画面８０には、障害発生機器の名称（障害発生機器名８１）や障害の種類８２が表示されている。また影響範囲表示画面８０には、障害影響モデル８３が、グラフ形式で表示されている。

障害影響モデル８３では、影響範囲内の各機器がノードで表され、各機器間の接続関係がエッジ（ノード間を接続する線）で表されている。機器が、障害発生機器なのか、異常発生機器なのか、障害影響機器なのかは、対応するノードの表示態様の違い（図３５の例では網掛けの違い）で表されている。また障害影響機器のランクは、対応するノードの表示態様の違い（図３５の例では枠の線種の違い）で表されている。障害影響機器に対応するノードの近傍には、その障害影響機器の正規化後の影響度を示す値が表示されている。

このような影響範囲の表示処理を行うことで、運用者は、障害の影響を受ける可能性が高い機器がどれなのかを、容易に認識することができる。その結果、障害の影響を受ける可能性の高い機器を優先的に障害の復旧作業の対象とすることで、復旧作業を効率的に行うことができる。

しかも、障害発生機器が複数検出された場合、複数の障害発生機器の影響範囲を重ね合わせることで、より高精度に障害影響機器のスコアを計算することができる。以下、図３６、図３７を参照して、障害発生機器が複数検出された場合におけるスコアの計算例について説明する。

図３６は、複数の障害発生機器による影響範囲を重ね合わせたスコア計算例を示す図である。図３６の例では、機器２０１〜２１７のうち２つの機器２０１、２０８で障害が発生している。そこで機器２０１，２０８それぞれで発生した障害の影響範囲が探索される。機器２０１の障害の影響範囲には、機器２０２〜２０８，２１１〜２１７が含まれる。機器２０８の障害の影響範囲には、機器２０２〜２１０が含まれる。そして障害の影響範囲を重ね合わせてスコアが計算される。その結果、両方の影響範囲に含まれる機器２０２〜２０７のスコアは「２」となり、その他の機器２０９〜２１７のスコアは「１」となる。

図３７は、複数の障害発生機器による影響範囲に異常発生機器の影響範囲を重ね合わせたスコア計算例を示す図である。図３７の例では、機器２１１において異常が検出されている。そこで機器２１１で発生した異常の影響範囲が、図３６に示した障害の影響範囲内で探索されている。図３７の例では、機器２１１で発生した異常の影響範囲には、機器２０２，２０３，２０６，２０７，２１２，２１４，２１５が含まれる。そして図３６に示した障害の影響範囲に、機器２１１の異常の影響範囲を重ね合わせてスコアが計算される。その結果、機器２０２，２０３，２０６，２０７のスコアは「３」となり、機器２０４，２０５，２０９，２１０，２１２，２１４，２１５のスコアは「２」となり、機器２１３，２１６，２１７のスコアは「１」となる。

このようにして、検出された障害発生機器の数が多くなれば、障害および異常の影響範囲の重ね合わせ回数も多くなり、スコアの最大値も大きくなる。このようなスコアを用いて障害影響機器をランク付けすることで、多段階でランク付けすることができ、障害の復旧作業をより効率的に行うことができる。

〔その他の実施の形態〕
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

１ａ，１ｂ，・・・ 機器
２ ネットワーク
３ 障害発生情報
４ 第１影響範囲
５ 動作状態情報
６ａ，６ｂ，６ｃ 第２影響範囲
７ ランク情報
１０ 影響範囲特定装置
１１ 記憶部
１２ 処理部

Claims (7)

1. コンピュータに、
   ネットワークに含まれる複数の機器のうちの障害が発生した第１機器を示す障害発生情報を取得し、
   前記複数の機器間の接続関係を示すシステム構成モデルを参照し、前記複数の機器間の接続関係に基づいて、前記第１機器を起点として、前記障害の影響がおよぶ可能性のある第１影響範囲内に存在する複数の第２機器を探索し、
   前記複数の第２機器それぞれについて、前記障害の影響で異常が起きているか否かを判定し、
   前記複数の第２機器間の接続関係に基づいて、前記複数の第２機器のうちの異常が起きている第３機器を起点として、前記第３機器以外の前記複数の第２機器それぞれについて、前記第３機器の異常の影響がおよぶ可能性のある第２影響範囲内に存在するか否かを判定し、
   前記第２影響範囲内に存在するか否かの判定結果に基づいて、前記第３機器以外の前記複数の第２機器それぞれについて、前記障害の影響を受ける可能性の高さのランクを決定し、
   前記第３機器以外の前記複数の第２機器それぞれについて決定した前記ランクを示すランク情報を出力する、
   処理を実行させる影響範囲特定プログラム。
2. 前記第２影響範囲内に存在するか否かの判定では、前記第３機器が複数ある場合、複数ある前記第３機器それぞれを起点として、前記第３機器以外の前記複数の第２機器それぞれについて、前記第２影響範囲内に存在するか否かを判定し、
   前記ランクの決定では、複数ある前記第３機器のいずれかを起点とした前記第２影響範囲内に存在すると判定された回数が多い第２機器ほど、高い前記ランクに決定する、
   請求項１記載の影響範囲特定プログラム。
3. 前記複数の第２機器の探索では、前記第１機器の機能と前記障害の種別との組み合わせに対応する、起点とする機器からの接続関係の探索順を示す第１探索情報に従って、前記第１機器を起点として前記複数の機器間の接続関係を辿り、到達できた２以上の機器を前記複数の第２機器とする、
   請求項１または２記載の影響範囲特定プログラム。
4. 前記第２影響範囲内に存在するか否かの判定では、前記第３機器の機能と前記障害の種別との組み合わせに対応する、起点とする機器からの接続関係の探索順を示す第２探索情報に従って、前記第３機器を起点として前記複数の機器間の接続関係を辿り、到達できた機器について、前記第２影響範囲内に存在すると判定する、
   請求項１ないし３のいずれかに記載の影響範囲特定プログラム。
5. 異常が起きているか否かの判定では、前記複数の第２機器それぞれを判定対象とし、前記障害の発生時刻を含む時間帯における判定対象の第２機器の動作状態と、前記判定対象の第２機器の過去の所定の時間帯における動作状態とを比較することで、前記判定対象の第２機器に異常が起きているか否かを判定する、
   請求項１ないし４のいずれかに記載の影響範囲特定プログラム。
6. コンピュータが、
   ネットワークに含まれる複数の機器のうちの障害が発生した第１機器を示す障害発生情報を取得し、
   前記複数の機器間の接続関係を示すシステム構成モデルを参照し、前記複数の機器間の接続関係に基づいて、前記第１機器を起点として、前記障害の影響がおよぶ可能性のある第１影響範囲内に存在する複数の第２機器を探索し、
   前記複数の第２機器それぞれについて、前記障害の影響で異常が起きているか否かを判定し、
   前記複数の第２機器間の接続関係に基づいて、前記複数の第２機器のうちの異常が起きている第３機器を起点として、前記第３機器以外の前記複数の第２機器それぞれについて、前記第３機器の異常の影響がおよぶ可能性のある第２影響範囲内に存在するか否かを判定し、
   前記第２影響範囲内に存在するか否かの判定結果に基づいて、前記第３機器以外の前記複数の第２機器それぞれについて、前記障害の影響を受ける可能性の高さのランクを決定し、
   前記第３機器以外の前記複数の第２機器それぞれについて決定した前記ランクを示すランク情報を出力する、
   影響範囲特定方法。
7. ネットワークに含まれる複数の機器間の接続関係を示すシステム構成モデルを記憶する記憶部と、
   前記複数の機器のうちの障害が発生した第１機器を示す障害発生情報を取得し、前記システム構成モデルを参照し、前記複数の機器間の接続関係に基づいて、前記第１機器を起点として、前記障害の影響がおよぶ可能性のある第１影響範囲内に存在する複数の第２機器を探索し、前記複数の第２機器それぞれについて、前記障害の影響で異常が起きているか否かを判定し、前記複数の第２機器間の接続関係に基づいて、前記複数の第２機器のうちの異常が起きている第３機器を起点として、前記第３機器以外の前記複数の第２機器それぞれについて、前記第３機器の異常の影響がおよぶ可能性のある第２影響範囲内に存在するか否かを判定し、前記第２影響範囲内に存在するか否かの判定結果に基づいて、前記第３機器以外の前記複数の第２機器それぞれについて、前記障害の影響を受ける可能性の高さのランクを決定し、前記第３機器以外の前記複数の第２機器それぞれについて決定した前記ランクを示すランク情報を出力する処理部と、
   を有する影響範囲特定装置。

Images