JP5910727B2 - 運用管理装置、運用管理方法、及び、プログラム - Google Patents

運用管理装置、運用管理方法、及び、プログラム Download PDF

Info

Publication number
JP5910727B2
JP5910727B2 JP2014504679A JP2014504679A JP5910727B2 JP 5910727 B2 JP5910727 B2 JP 5910727B2 JP 2014504679 A JP2014504679 A JP 2014504679A JP 2014504679 A JP2014504679 A JP 2014504679A JP 5910727 B2 JP5910727 B2 JP 5910727B2
Authority
JP
Japan
Prior art keywords
correlation
configuration change
destruction
monitored device
correlation destruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014504679A
Other languages
English (en)
Other versions
JPWO2013136739A1 (ja
Inventor
清志 加藤
清志 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2013136739A1 publication Critical patent/JPWO2013136739A1/ja
Application granted granted Critical
Publication of JP5910727B2 publication Critical patent/JP5910727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G01M99/008—Subject matter not provided for in other groups of this subclass by doing functionality tests
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment

Description

本発明は、運用管理装置、運用管理方法、及びプログラムに関し、特にシステムの異常を検出する運用管理装置、運用管理方法、及びプログラムに関する。
システム性能の時系列情報を用いて、システムのモデル化を行い、生成されたモデルを用いてそのシステムの障害を検出する運用管理システムの一例が特許文献１に記載されている。
特許文献１記載の運用管理システムは、システムの複数のメトリック（性能指標）の計測値をもとに、複数のメトリック間の組み合わせのそれぞれに対して相関関数を決定することにより、メトリック間の相関関係を示す相関モデルを生成する。そして、この運用管理システムは、生成された相関モデルを用いて、新たに入力されたメトリックの計測値に対する相関関係の破壊（相関破壊）を検出し、相関破壊をもとに障害の要因を特定する。このように、相関破壊をもとに障害要因を分析する技術は、不変関係分析と呼ばれる。
不変関係分析では、メトリックの値の大きさではなく、メトリック間の相関関係に着目するため、それぞれのメトリックの値を閾値と比較することにより障害検出を行う場合に比べて、閾値の設定が不要、閾値により検出できない障害の検出が可能、異常原因の特定が容易等の利点がある。
なお、関連技術として、特許文献２、及び、特許文献３には、不変関係分析において、過去の障害時における異常度（相関破壊の程度）の分布や、相関関係毎の相関破壊の検出有無をもとに、検出された相関破壊に対する障害要因を特定する運用管理システムが開示されている。
特開２００９‐１９９５３３号公報 国際公開第２０１０／０３２７０１号 国際公開第２０１１／１５５６２１号
上述の特許文献１に記載された不変関係分析では、分析対象のシステムが正常な状態で動作している、ある期間におけるメトリックの計測値をもとに生成された相関モデルが用いられる。このため、システム構成が変化した場合、相関破壊が誤って検出されてしまうことにより、相関関係が異常と判定されてしまう可能性がある。
例えば、分析対象システムが、２４時間サービスを提供するＷＥＢシステムの場合、システム内の一部に故障があってもサービスを継続させるために、代替サーバや代替ハードディスク、冗長ネットワークなどによる冗長構成が用いられる。この場合、例えば、冗長構成に切り替えが発生すると、システムの挙動が変化してしまうため、切り替え前のメトリック間の相関関係と、切り替え後の相関関係は部分的に異なる。
システム構成の変更により相関関係が変化した状態で、システム構成の変更前の相関モデルを用いて分析を行うと、サービスが正常に動作していても、変化した相関関係に係るメトリックに異常が検出される。この場合、管理者は、変化した相関関係を把握し、そのメトリックに関する異常を除外するなどの作業が必要になり、管理者に求められる知識、及び、作業が増加する。
本発明の目的は、上述の課題を解決し、不変関係分析において、システム構成が変化した場合でも、適切な相関モデルを用いて障害解析を行うことができる運用管理装置、運用管理方法、及びプログラムを提供することである。
本発明の一態様における運用管理装置は、システムの複数のメトリックの内の異なる２つのメトリック間の相関関係を示す相関関数を１以上含む相関モデルを生成する相関モデル生成手段と、前記システムの構成変更の有無を検出する構成変更検出手段と、前記構成変更検出手段により前記システムの構成変更が検出された場合に、前記システムの構成変更後の前記複数のメトリックの計測値をもとに生成された相関モデルを用いて、前記システムの障害要因を特定する障害分析手段とを含む。
本発明の一態様における運用管理方法は、システムの複数のメトリックの内の異なる２つのメトリック間の相関関係を示す相関関数を１以上含む相関モデルを生成し、前記システムの構成変更の有無を検出し、前記システムの構成変更が検出された場合に、前記システムの構成変更後の前記複数のメトリックの計測値をもとに生成された相関モデルを用いて、前記システムの障害要因を特定する。
本発明の一態様におけるコンピュータが読み取り可能な記録媒体は、コンピュータに、システムの複数のメトリックの内の異なる２つのメトリック間の相関関係を示す相関関数を１以上含む相関モデルを生成し、前記システムの構成変更の有無を検出し、前記システムの構成変更が検出された場合に、前記システムの構成変更後の前記複数のメトリックの計測値をもとに生成された相関モデルを用いて、前記システムの障害要因を特定する処理を実行させるプログラムを格納する。
本発明の効果は、不変関係分析において、システム構成が変化した場合でも、適切な相関モデルを用いて障害解析を行うことができることである。
本発明の第１の実施の形態の特徴的な構成を示すブロック図である。 本発明の第１の実施の形態における、運用管理システム１の構成を示すブロック図である。 本発明の第１の実施の形態における、運用管理装置１００の処理を示すフローチャートである。 本発明の第１の実施の形態における、構成変更検出ルール１２５の例を示す図である。 本発明の第１の実施の形態における、相関破壊パターン更新ルール１２６の例を示す図である。 本発明の第１の実施の形態における、性能系列情報１２１の例を示す図である。 本発明の第１の実施の形態における、分析対象システム２００の構成の例を示すブロック図である。 本発明の第１の実施の形態における、構成情報１２７の例を示す図である。 本発明の第１の実施の形態における、相関モデル１２２の例を示す図である。 本発明の第１の実施の形態における、相関マップ１２８の例を示す図である。 本発明の第１の実施の形態における、相関破壊情報１２３の例を示す図である。 本発明の第１の実施の形態における、相関破壊パターン１２４の例を示す図である。 本発明の第１の実施の形態における、システム構成の変更、相関モデル１２２、及び、相関破壊パターン１２４の関係を示す図である。 本発明の第１の実施の形態における、構成変更検出画面３００の例を示す図である。 本発明の第１の実施の形態における、分析結果出力画面３１０の例を示す図である。 本発明の第２の実施の形態における、運用管理システム１の構成を示すブロック図である。 本発明の第２の実施の形態における、運用管理装置１００の処理を示すフローチャートである。 本発明の第２の実施の形態における、構成変更検出ルール１２５の例を示す図である。 本発明の第２の実施の形態における、相関破壊パターン更新ルール１２６の例を示す図である。 本発明の第２の実施の形態における、分析対象システム２００の構成の例を示すブロック図である。 本発明の第２の実施の形態における、相関モデル１２２の例を示す図である。 本発明の第２の実施の形態における、相関マップ１２８の例を示す図である。 本発明の第２の実施の形態における、相関破壊パターン１２４の例を示す図である。 本発明の第２の実施の形態における、分析対象システム２００の構成の他の例を示すブロック図である。 本発明の第２の実施の形態における、相関モデル１２２の他の例を示す図である。 本発明の第２の実施の形態における、相関マップ１２８の他の例を示す図である。 本発明の第２の実施の形態における、相関破壊パターン１２４の他の例を示す図である。 本発明の第２の実施の形態における、分析対象システム２００の構成の他の例を示すブロック図である。 本発明の第２の実施の形態における、相関モデル１２２の他の例を示す図である。 本発明の第２の実施の形態における、相関マップ１２８の他の例を示す図である。 本発明の第２の実施の形態における、相関破壊パターン１２４の他の例を示す図である。 本発明の第２の実施の形態における、システム構成の変更、相関モデル１２２、及び、相関破壊パターン１２４の関係を示す図である。 本発明の第２の実施の形態における、相関モデル１２２の他の例を示す図である 本発明の第２の実施の形態における、構成変更検出画面３００の例を示す図である。
（第１の実施の形態）
次に、本発明の第１の実施の形態について説明する。
はじめに、本発明の第１の実施の形態の構成について説明する。図２は、本発明の第１の実施の形態における、運用管理システム１の構成を示すブロック図である。
図２を参照すると、本発明の第１の実施の形態における運用管理システム１は、運用管理装置１００と分析対象システム２００とを含む。運用管理装置１００と分析対象システム２００とは、ネットワーク等により接続される。
図７は、本発明の第１の実施の形態における、分析対象システム２００の構成の例を示すブロック図である。ここで、分析対象システム２００は、被監視装置２０１を１以上含む。被監視装置２０１は、例えば、ＷＥＢサーバ、アプリケーションサーバ（ＡＰサーバ）、データベースサーバ（ＤＢサーバ）等のサービス処理を実行するコンピュータである。なお、以下の説明において、引用番号に続く（）内の符号は、識別子を示す。例えば、被監視装置２０１（Ａ１）は、識別子Ａ１の被監視装置２０１を示す。図７の例では、分析対象システム２００は、被監視装置２０１（Ａ１、Ｂ１、Ｂ２）を備える。
被監視装置２０１は、被監視装置２０１の複数種目の性能値の実測データ（計測値）を一定間隔（所定の性能情報収集周期）毎に計測し、運用管理装置１００へ送信する。性能値の種目として、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）使用率（ＣＰＵ）、メモリ使用率（ＭＥＭ）、ディスクアクセス頻度（ＤＳＫ）、ネットワークの使用率（ＮＷ）等、コンピュータリソースの使用率や使用量が用いられる。
ここで、被監視装置２０１と性能値の種目の組をメトリック（性能指標）とし、同一時刻に計測された複数のメトリックの値の組を性能情報とする。メトリックは、整数や小数の数値より表される。また、メトリックは、特許文献１における要素に相当する。
運用管理装置１００は、監視対象である被監視装置２０１から収集した性能情報をもとに、分析対象システム２００についての相関モデル１２２を生成し、生成した相関モデル１２２を用いて、被監視装置２０１の障害や異常の検出を行う。
運用管理装置１００は、情報収集部１０１、相関モデル生成部１０２、相関破壊検出部１０３、障害分析部１０４、対話部１０５、対処実行部１０６、構成変更検出部１０７、相関破壊パターン更新部１０８、性能情報記憶部１１１、相関モデル記憶部１１２、相関破壊記憶部１１３、相関破壊パターン記憶部１１４、及び、構成情報記憶部１１７を含む。
情報収集部１０１は、所定の性能情報収集周期で、被監視装置２０１から性能情報を収集し、その時系列変化を性能系列情報１２１として性能情報記憶部１１１に保存する。
図６は、本発明の第１の実施の形態における、性能系列情報１２１の例を示す図である。図６の例では、性能系列情報１２１は、被監視装置２０１（Ａ１）のＣＰＵ使用率（Ａ１．ＣＰＵ）、メモリ使用量（Ａ１．ＭＥＭ）、被監視装置２０１（Ｂ１）のＣＰＵ使用率（Ｂ１．ＣＰＵ）等を性能種目として含む。
また、情報収集部１０１は、所定の装置属性収集周期で、被監視装置２０１の属性（装置属性）を収集し、構成情報１２７として構成情報記憶部１１７に保存する。
図８は、本発明の第１の実施の形態における、構成情報１２７の例を示す図である。図８の例では、構成情報１２７は、被監視装置２０１の装置属性として、被監視装置２０１の識別子、及び当該被監視装置２０１のサービス処理の種別（サーバ種別）を含む。
情報収集部１０１は、例えば、ＳＮＭＰ（Simple Network Management Protocol）により被監視装置２０１のＭＩＢ(Management information base)を参照することにより、装置属性を収集する。また、情報収集部１０１は、被監視装置２０１から性能情報とともに、装置属性を取得してもよい。
相関モデル生成部１０２は、性能系列情報１２１をもとに、分析対象システム２００の相関モデル１２２を生成する。
ここで、相関モデル１２２は、複数のメトリックの内のメトリックの対毎の、メトリック間の相関関係を示す相関関数（または、変換関数）を含む。相関関数は、メトリックの対の内の一方のメトリックの値の時系列から他方のメトリックの値の時系列を予測する関数である。相関モデル生成部１０２は、所定のモデル化期間の性能系列情報１２１をもとに、各メトリックの対について、相関関数の係数を決定する。相関関数の係数は、特許文献１の運用管理装置と同様に、メトリックの計測値の時系列に対する、システム同定処理によって決定される。
なお、相関モデル生成部１０２は、特許文献１の運用管理装置と同様に、各メトリックの対について、相関関数の重みを算出し、重みが所定値以上の相関関数（有効な相関関数）の集合を相関モデル１２２としてもよい。
相関モデル記憶部１１２は、相関モデル生成部１０２が生成した相関モデル１２２を記憶する。
図９は、本発明の第１の実施の形態における、相関モデル１２２の例を示す図である。図９の例では、相関モデル１２２は、入力メトリック（Ｘ）と出力メトリック（Ｙ）の対に対する、相関関数の係数（α、β）、重みを含む。ここで、相関関数は、Ｙ＝αＸ+βであると仮定する。なお、メトリックの対の内の一方のメトリックの値の時系列から他方のメトリックの値の時系列を予測できれば、相関関数として、他の関数式を用いてもよい。例えば、Ｘの値の過去の時系列であるＸ１、Ｘ２、Ｘ３、及び、Ｙの過去の時系列であるＹ１、Ｙ２による関数式であるＹ＝ａＸ１＋ｂＸ２＋ｃＸ３＋ｄＹ１＋ｅＹ２＋ｆを用いてもよい。
図１０は、本発明の第１の実施の形態における、相関マップ１２８の例を示す図である。図１０の相関マップ１２８は、図９の相関モデル１２２に対応する。相関マップ１２８においては、相関モデル１２２は、ノードと矢印を含むグラフで示される。ここで、各ノードはメトリックを示し、メトリック間の矢印は、２つのメトリックの内の一方から他方への相関関係を示す。
相関破壊検出部１０３は、特許文献１の運用管理装置と同様に、新たに入力された性能情報について、相関モデル１２２に含まれる相関関係の相関破壊を検出する。
ここで、相関破壊検出部１０３は、特許文献１と同様に、複数のメトリックの内の２つのメトリックの内の一方のメトリックの計測値を、当該２つのメトリックに対応する相関関数に入力して得られた他方のメトリックの予測値と、当該他方のメトリックの計測値との差分（相関関数による変換誤差）が所定値以上の場合、当該２つのメトリック間の相関関係の相関破壊として検出する。また、相関破壊検出部１０３は、検出された相関破壊の状態をもとに、相関破壊の程度を示す異常度を算出する。ここで、異常度は、例えば、相関モデル１２２において、相関破壊が検出された相関関係の数や、相関関係の数に対する相関破壊が検出された相関関係の数の割合、相関破壊の大きさ等をもとに算出される。
相関破壊記憶部１１３は、相関破壊が検出された相関関係を示す相関破壊情報１２３を記憶する。図１１は、本発明の第１の実施の形態における、相関破壊情報１２３の例を示す図である。図１１の相関破壊情報１２３は、図９の相関モデル１２２ｂに対応する。図１１の例では、相関破壊情報１２３は、相関モデル１２２の各相関関係について、相関破壊の有無を示す。
相関破壊パターン記憶部１１４は、過去の障害時における相関破壊の状態を示す相関破壊パターン１２４を記憶する。図１２は、本発明の第１の実施の形態における、相関破壊パターン１２４の例を示す図である。図１２の相関破壊パターン１２４は、図９の相関モデル１２２に対応する。図１２の例では、相関破壊パターン１２４は、特許文献３における相関破壊セット情報と同様に、障害名、及び、当該障害が発生したときの相関モデル１２２の各相関関係についての相関破壊の検出有無を示す。
なお、過去の障害時における相関破壊の状態を示していれば、相関破壊パターン１２４として他の情報を用いてもよい。例えば、相関破壊パターン１２４として、特許文献２と同様に、メトリック毎の異常度（相関破壊の程度）の分布を用いてもよい。
障害分析部１０４は、特許文献２または特許文献３と同様に、新たな性能情報に対して検出された相関破壊の状態と相関破壊パターン１２４とを比較し、類似する相関破壊パターン１２４の障害を推定要因として特定する。
構成変更検出部１０７は、構成情報１２７を用いて、分析対象システム２００における構成変更を検出する。構成変更検出部１０７は、構成変更検出ルール１２５をもとに、構成変更の種別を特定する。図４は、本発明の第１の実施の形態における、構成変更検出ルール１２５の例を示す図である。図４の例では、構成変更検出ルール１２５は、構成変更の種別毎に、当該種別を判定するための判定条件を含む。判定条件には、現在の構成情報１２７と前の構成情報１２７との間での、装置属性の変化や同一性に関する条件が設定される。
相関破壊パターン更新部１０８は、相関破壊パターン更新ルール１２６に従って、相関破壊パターン１２４を更新する。図５は、本発明の第１の実施の形態における、相関破壊パターン更新ルール１２６の例を示す図である。図５の例では、相関破壊パターン更新ルール１２６は、構成変更の種別毎に、相関破壊パターン１２４の更新方法を含む。更新方法には、相関破壊パターン１２４を、構成変更後に用いられる相関モデル１２２に適合するように補正する方法が設定される。
対話部１０５は、構成変更が検出されたことを管理者等に出力し、相関破壊検出部１０３が相関破壊を検出するために用いる相関モデル１２２（分析用の相関モデル１２２）の切り替え指示を管理者等から受け付ける。また、対話部１０５は、管理者等に障害分析結果を出力し、管理者等から障害に対する対処等の指示を受け付ける。
対処実行部１０６は、管理者等により指示された対処を分析対象システム２００上で実行する。
なお、運用管理装置１００は、ＣＰＵとプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。また、性能情報記憶部１１１、相関モデル記憶部１１２、相関破壊記憶部１１３、及び、相関破壊パターン記憶部１１４は、それぞれ個別の記憶媒体でも、一つの記憶媒体によって構成されてもよい。
次に、本発明の第１の実施の形態における運用管理装置１００の動作について説明する。
図３は、本発明の第１の実施の形態における、運用管理装置１００の処理を示すフローチャートである。
はじめに、運用管理装置１００の情報収集部１０１は、分析対象システム２００上の被監視装置２０１から性能情報を収集する（ステップＳ１０１）。情報収集部１０１は、取得した性能情報を性能系列情報１２１として性能情報記憶部１１１に保存する。
情報収集部１０１は、所定の装置属性収集周期のタイミング等、装置属性を収集する場合（ステップＳ１０２／Ｙｅｓ）、被監視装置２０１から装置属性を収集し、構成情報１２７を生成する（ステップＳ１０３）。情報収集部１０１は、生成した構成情報１２７を構成情報記憶部１１７に保存する。
構成変更検出部１０７は、構成情報１２７をもとに、構成変更を検出する（ステップＳ１０４）。ここで、構成変更検出部１０７は、構成変更検出ルール１２５に従って、構成変更を検出する。
ステップＳ１０４で、構成変更が検出されない場合（ステップＳ１０５／Ｎｏ）、ステップＳ１１０以降の処理が行われる。
一方、ステップＳ１０４で、構成変更が検出された場合（ステップＳ１０５／Ｙｅｓ）、障害分析部１０４は、対話部１０５を介して、管理者等に対して「構成変更検出」を出力する（ステップＳ１０６）。
次に、対話部１０５が、管理者等からモデル切り替えの指示を受け付けると、障害分析部１０４は、相関モデル生成部１０２に相関モデル１２２の生成を指示する。相関モデル生成部１０２は、性能情報記憶部１１１の性能系列情報１２１を参照し、相関モデル１２２を生成する（ステップＳ１０７）。ここで、相関モデル生成部１０２は、構成変更検出後に収集された所定のモデル化期間の性能情報をもとに、相関モデル１２２を生成する。相関モデル生成部１０２は、生成した相関モデル１２２を相関モデル記憶部１１２に保存する。
なお、障害分析部１０４は、所定のモデル化期間の性能情報が収集された後で、相関モデル１２２の生成が可能となったときに、ステップＳ１０６の「構成変更検出」の出力を行ってもよい。また、障害分析部１０４は、ステップＳ１０６において、管理者等からの指示を待たずに、ステップＳ１０７以降の処理を実行してもよい。
障害分析部１０４は、生成した相関モデル１２２を分析用の相関モデル１２２に設定する（ステップＳ１０８）。
相関破壊パターン更新部１０８は、相関破壊パターン１２４を更新する（ステップＳ１０９）。ここで、相関破壊パターン更新部１０８は、相関破壊パターン更新ルール１２６に従って、相関破壊パターン１２４を更新する。
相関破壊検出部１０３は、性能系列情報１２１を用いて、分析用の相関モデル１２２に含まれる相関関係の相関破壊を検出し、相関破壊情報１２３を生成する（ステップＳ１１０）。相関破壊検出部１０３は、相関破壊情報１２３を相関破壊記憶部１１３に保存する。
障害分析部１０４は、生成された相関破壊情報１２３に含まれる相関破壊の状態と、相関破壊パターン１２４とを比較し、障害の推定要因を特定する（ステップＳ１１１）。
最後に、障害分析部１０４は、対話部１０５を介して、障害分析結果を出力する（ステップＳ１１２）。そして、対処実行部１０６は、対話部１０５を介して管理者等より受け付けた障害に対する対処を、分析対象システム２００上で実行する。
次に、動作の具体例を説明する。図１３は、本発明の第１の実施の形態における、システム構成の変更、相関モデル１２２、及び、相関破壊パターン１２４の関係を示す図である。
ここでは、分析対象システム２００の変更前の構成が、図７（構成変更前）のように、冗長構成の被監視装置２０１（Ｂ１、Ｂ２）の内、被監視装置２０１（Ｂ１）が稼働中、被監視装置２０１（Ｂ２）が停止中の場合を例に、動作を説明する。ここで、冗長構成の被監視装置２０１（Ｂ１、Ｂ２）は、サーバ種別が同じであり、サービス処理を実現するために実行されるプログラムモジュール等の構成も同一であると仮定する。
また、分析用の相関モデル１２２として、図９の相関モデル１２２ａ（図１０の相関マップ１２８ａ）が、生成、設定されていると仮定する。さらに、図１３の時刻ｔ０において発生した、被監視装置２０１（Ｂ１）（ＷＥＢサーバ）の障害（障害２）に対する相関破壊パターン１２４として、図１２の相関破壊パターン１２４ａが生成、設定されていると仮定する。
図１３の時刻ｔ１において、冗長構成の切り替えにより、図７（構成変更後）に示すように、被監視装置２０１（Ｂ１）が停止中、被監視装置２０１（Ｂ２）が稼働中に変化したと仮定する。
図１３の時刻ｔ２において、情報収集部１０１は、図８の構成情報１２７ｂを生成する。構成変更検出部１０７は、構成情報１２７ｂを、前回の構成情報１２７である図８の構成情報１２７ａと比較する。ここで、サーバ種別が「ＷＥＢ」である被監視装置２０１（Ｂ１）が検出から未検出、被監視装置２０１（Ｂ２）が未検出から検出になったことから、構成変更検出部１０７は、図４の構成変更検出ルール１２５に従って、構成変更種別「置換（被監視装置２０１（Ｂ１）を被監視装置２０１（Ｂ２）で置換）」の構成変更が発生したと判定する。
図１４は、本発明の第１の実施の形態における、構成変更検出画面３００の例を示す図である。図１３の時刻ｔ３において、対話部１０５は、「構成変更検出」を、例えば、図１４のような構成変更検出画面３００で出力する。図１４の例では、構成変更検出画面３００は、異常度の時系列変化を示す異常度グラフ３０１、構成変更が検出されたことを示す構成変更検出情報３０２、及び、モデル切り替えの指示を受け付けるボタン３０３を含む。なお、構成変更検出画面３００は、相関破壊が検出されたメトリックの情報を含んでいてもよい。また、構成変更検出画面３００は、例えば、構成変更により検出、または、未検出となった被監視装置２０１のメトリック等、構成変更により影響があるメトリックの情報を含んでいてもよい。
これにより、管理者等は、分析対象システム２００の構成変更を把握し、適切な相関モデル１２２への切り替えを指示できる。
次に、対話部１０５が、ボタン３０３により管理者等からモデル切り替えの指示を受け付けると、相関モデル生成部１０２は、図９の相関モデル１２２ｂ（図１０の相関マップ１２８ｂ）を生成する。そして、障害分析部１０４は、図９の相関モデル１２２ｂを分析用の相関モデル１２２に設定する。
相関破壊パターン更新部１０８は、図５の相関破壊パターン更新ルール１２６の構成変更種別「置換」に対応する更新方法に従って、相関破壊パターン１２４ａにおける、被監視装置２０１（Ａ１）の識別子を被監視装置２０１（Ｂ１）の識別子に置き換えることにより、図１２の相関破壊パターン１２４ｂを生成する。
以降、図９の相関モデル１２２ｂ、及び、図１２の相関破壊パターン１２４ｂを用いて、障害分析が行われる。
図１３の時刻ｔ４において、被監視装置２０１（Ｂ２）（ＷＥＢサーバ）の障害（障害３）が発生したと仮定する。
この場合、相関破壊検出部１０３は、例えば、図１１のような相関破壊情報１２３を生成する。障害分析部１０４は、図１１の相関破壊情報１２３と、図１２の相関破壊パターン１２４ｂとを比較し、相関破壊パターン１２４ｂの障害「被監視装置２０１（Ｂ２）のＣＰＵ障害」を推定要因として特定する。
図１５は、本発明の第１の実施の形態における、分析結果出力画面３１０の例を示す図である。対話部１０５は、障害分析結果として、例えば、図１５のような分析結果出力画面３１０を出力する。図１５の例では、分析結果出力画面３１０は、異常度グラフ３０１、及び、障害の推定要因を示す障害候補情報３１１を含む。障害候補情報３１１では、推定要因の被監視装置２０１のサーバ種別や装置識別子が示される。
これにより、管理者等は、障害候補情報３１１の内容から、障害３が、障害２と類似する障害（ＷＥＢサーバの障害）であることを、把握できる。
以上により、本発明の第１の実施の形態の動作が完了する。
なお、本発明の第１の実施の形態においては、被監視装置２０１がサービス処理を実行するコンピュータの場合を例に説明したが、この例に限らず、構成情報１２７をもとに構成変更が検出でき、構成変更に応じて相関破壊パターン１２４が更新できれば、被監視装置２０１は、ネットワークスイッチやストレージなどの他の装置でもよい。
また、本発明の第１の実施の形態においては、構成変更として「置換」を検出する場合を例に説明したが、構成情報１２７をもとに検出できれば、他の種別の構成変更を検出してもよい。例えば、構成変更検出部１０７は、構成変更として「複製」（同じサーバ種別の被監視装置２０１追加）を検出してもよい。この場合、構成変更検出部１０７は、例えば、構成情報１２７において、未検出から検出になった被監視装置２０１と同じサーバ種別の被監視装置２０１が存在する場合、「複製」の構成変更が発生したと判定する。そして、相関破壊パターン更新部１０８は、後述する、本発明の第２の実施の形態と同様に、構成変更種別「複製」に対応した相関破壊パターン１２４の更新を行う。
次に、本発明の第１の実施の形態の特徴的な構成を説明する。図１は、本発明の第１の実施の形態の特徴的な構成を示すブロック図である。
図１を参照すると、運用管理装置１００は、相関モデル生成部１０２、構成変更検出部１０７、及び、障害分析部１０４を含む。
相関モデル生成部１０２は、システムの複数のメトリックの内の異なる２つのメトリック間の相関関係を示す相関関数を１以上含む相関モデル１２２を生成する。構成変更検出部１０７は、システムの構成変更の有無を検出する。障害分析部１０４は、構成変更検出部１０７によりシステムの構成変更が検出された場合に、システムの構成変更後の複数のメトリックの計測値をもとに生成された相関モデル１２２を用いて、システムの障害要因を特定する。
本発明の第１の実施の形態によれば、不変関係分析において、システム構成が変化した場合でも、適切な相関モデルを用いて障害分析を行うことができる。その理由は、構成変更検出部１０７が、分析対象システム２００の構成変更を検出し、障害分析部１０４が、構成変更後に生成された相関モデル１２２を、分析対象システム２００の障害を検出するための（分析用の）相関モデル１２２に設定するためである。
また、特許文献２や特許文献３のように、過去の障害時における相関破壊パターンをもとに、検出された相関破壊に対する障害要因を特定する場合、上述のように、システム構成の変化に伴って分析用の相関モデル１２２を変更しても、相関破壊パターンは分析用の相関モデル１２２に対応していないため、過去の障害と類似した障害が発生しても、障害要因を正確に特定できない。この場合、管理者等は、当該類似した障害について、再度、分析を行い、相関破壊パターンを登録する必要がある。
これに対して、本発明の第１の実施の形態によれば、システム構成が変更された場合でも、適切な相関破壊パターンを用いて障害解析を行うことができる。その理由は、相関破壊パターン更新部１０８が、構成変更の種別に対応した更新方法に従って、相関破壊パターン１２４を更新するためである。
さらに、特許文献２や特許文献３のように、過去の障害時における相関破壊パターンをもとに、検出された相関破壊に対する障害要因を特定する場合、過去の障害をもとにした障害要因が適切に提示できないことにより、分析や対処の遅延、あるいは、それに伴う管理者等の作業負担が増加し、ミスを誘発する可能性がある。特に、長期間連続運用されるシステムでは、サーバやストレージ、ネットワーク等が冗長化され、部分的な故障の場合にはそれらを切り替えることにより、サービスが継続される。これらの冗長構成の切り替えが有効に働いた場合に、その構成変化に適切に追従できず、不変関係分析の効果が低下する。
これに対して、本発明の第１の実施の形態によれば、長期間連続運用されるシステムでも、不変関係分析の速度と精度を、維持、向上させることができる。その理由は、障害分析部１０４が、上述の通り、構成変更後のシステムに適合した相関モデル１２２、及び、相関破壊パターン１２４を用いて、障害分析を行うためである。
また、本発明の第１の実施の形態によれば、不変関係分析において、検出された相関破壊が、障害によるものか、システム構成の変更によるものかを区別できる。その理由は、構成変更が検出された場合に、対話部１０５が、異常度の時系列変化を示す異常度グラフ３０１を含む構成変更検出画面３００に、構成変更が検出されたことを示す構成変更検出情報３０２を含めて出力するためである。
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態においては、構成変更検出部１０７が、相関モデル１２２をもとに構成変更を検出する点において、本発明の第１の実施の形態と異なる。
はじめに、本発明の第２の実施の形態の構成について説明する。図１６は、本発明の第２の実施の形態における、運用管理システム１の構成を示すブロック図である。
運用管理装置１００は、情報収集部１０１、相関モデル生成部１０２、相関破壊検出部１０３、障害分析部１０４、対話部１０５、対処実行部１０６、構成変更検出部１０７、相関破壊パターン更新部１０８、性能情報記憶部１１１、相関モデル記憶部１１２、相関破壊記憶部１１３、及び、相関破壊パターン記憶部１１４を含む。
相関モデル生成部１０２は、所定のモデル化周期毎に、分析対象システム２００の相関モデル１２２を生成する。
構成変更検出部１０７は、相関モデル１２２を用いて、分析対象システム２００における構成変更を検出する。構成変更検出部１０７は、構成変更検出ルール１２５をもとに、構成変更の種別を特定する。図１８は、本発明の第２の実施の形態における、構成変更検出ルール１２５の例を示す図である。図１８の例では、構成変更検出ルール１２５は、構成変更の種別毎に、当該種別を判定するための判定条件を含む。ここで、判定条件には、現在の相関モデル１２２と前の相関モデル１２２との間での、相関関係の変化や類似性に関する条件が設定される。また、図１９は、本発明の第２の実施の形態における、相関破壊パターン更新ルール１２６の例を示す図である。
次に、本発明の第２の実施の形態における運用管理装置１００の動作について説明する。
図１７は、本発明の第２の実施の形態における、運用管理装置１００の処理を示すフローチャートである。
はじめに、運用管理装置１００の情報収集部１０１は、分析対象システム２００上の被監視装置２０１から性能情報を収集する（ステップＳ２０１）。情報収集部１０１は、取得した性能情報を性能系列情報１２１として性能情報記憶部１１１に保存する。
相関モデル生成部１０２は、所定のモデル化周期のタイミング等、相関モデル１２２を生成する場合（ステップＳ２０２／Ｙｅｓ）、性能情報記憶部１１１の性能系列情報１２１を参照し、所定のモデル化期間の性能情報をもとに、相関モデル１２２を生成する（ステップＳ２０３）。相関モデル生成部１０２は、生成した相関モデル１２２を相関モデル記憶部１１２に保存する。
構成変更検出部１０７は、相関モデル１２２をもとに、構成変更を検出する（ステップＳ２０４）。ここで、構成変更検出部１０７は、構成変更検出ルール１２５に従って、構成変更を検出する。
ステップＳ２０４で、構成変更が検出されない場合（ステップＳ２０５／Ｎｏ）、ステップＳ２０９以降の処理が行われる。
一方、ステップＳ２０４で、構成変更が検出された場合（ステップＳ２０５／Ｙｅｓ）、障害分析部１０４は、対話部１０５を介して、管理者等に対して「構成変更検出」を出力する（ステップＳ２０６）。
次に、対話部１０５が、管理者等からモデル切り替えの指示を受け付けると、障害分析部１０４は、ステップＳ２０２で生成された相関モデル１２２を分析用の相関モデル１２２に設定する（ステップＳ２０７）。
なお、ここで、管理者等からの指示を待たずに、ステップＳ２０７以降の処理が実行されてもよい。
相関破壊パターン更新部１０８は、相関破壊パターン１２４を更新する（ステップＳ２０８）。ここで、相関破壊パターン更新部１０８は、相関破壊パターン更新ルール１２６に従って、相関破壊パターン１２４を更新する。
以降、相関破壊情報１２３を生成してから障害分析結果を出力するまでの処理（ステップＳ２０９〜Ｓ２１１）は、本発明の第１の実施の形態（ステップＳ１１０〜Ｓ１１２）と同様となる。
次に、動作の具体例を説明する。図３２は、本発明の第２の実施の形態における、システム構成の変更、相関モデル１２２、及び、相関破壊パターン１２４の関係を示す図である。また、図２０、図２４、図２８は、本発明の第２の実施の形態における、分析対象システム２００の構成の例を示すブロック図である。図２１、図２５、図２９は、本発明の第２の実施の形態における、相関モデル１２２の例を示す図である。図２２、図２６、図３０は、本発明の第２の実施の形態における、相関マップ１２８の例を示す図である。図２２、図２６、図３０の相関マップ１２８は、それぞれ、図２１、図２５、図２９の相関モデル１２２に対応する。図２３、図２７、図３１は、本発明の第２の実施の形態における、相関破壊パターン１２４の例を示す図である。
はじめに、第１の例として、分析対象システム２００の変更前の構成が、図２０（構成変更前）のように、冗長構成の被監視装置２０１（Ｂ１、Ｂ２）の両方が稼働中、被監視装置２０１（Ａ１）と被監視装置２０１（Ｂ１）とが連携関係にある場合を例に、動作を説明する。この例では、被監視装置２０１（Ｂ１）が稼働中の場合でも、被監視装置２０１（Ｂ２）は稼動しており、被監視装置２０１（Ｂ１）とは別の処理を実行している。
この場合、分析用の相関モデル１２２として、図２１の相関モデル１２２ａ（図２２の相関マップ１２８ａ）が、生成、設定されていると仮定する。また、図３２の時刻ｔ０において発生した、被監視装置２０１（Ｂ１）（ＷＥＢサーバ）の障害（障害２）に対する相関破壊パターン１２４として、図２３の相関破壊パターン１２４ａが生成、設定されていると仮定する。
図３２の時刻ｔ１において、図２０（構成変更後）に示すように、被監視装置２０１（Ａ１）−（Ｂ１）間の連携関係が、被監視装置２０１（Ａ１）−（Ｂ２）間に移動したと仮定する。
図３２の時刻ｔ２において、相関モデル生成部１０２は、図２１の相関モデル１２２ｂ（図２２の相関マップ１２８ｂ）を生成する。構成変更検出部１０７は、相関モデル１２２ｂを、前回の相関モデル１２２である図２１の相関モデル１２２ａと比較する。図２１では、「Ａ１．ＣＰＵ−Ｂ１．ＣＰＵ」間の相関関係、及び、「Ａ１．ＣＰＵ−Ｂ２．ＣＰＵ」間の相関関係が変化している。また、相関モデル１２２ａの「Ａ１．ＣＰＵ−Ｂ１．ＣＰＵ」間の相関関係と相関モデル１２２ｂの「Ａ１．ＣＰＵ−Ｂ２．ＣＰＵ」間の相関関係、及び、相関モデル１２２ａの「Ａ１．ＣＰＵ−Ｂ２．ＣＰＵ」間の相関関係と相関モデル１２２ｂの「Ａ１．ＣＰＵ−Ｂ１．ＣＰＵ」間の相関関係が、それぞれ、類似している。従って、構成変更検出部１０７は、図１８の構成変更検出ルール１２５に従って、構成変更種別「連携関係移動（被監視装置２０１（Ａ１）−（Ｂ１）間の相関関係が被監視装置２０１（Ａ１）−（Ｂ２）間へ移動）」の構成変更が発生したと判定する。
ここで、構成変更検出部１０７は、例えば、相関関係間で相関関数の各係数や重みの差異が、所定の閾値以下の場合、これらの相関関係が類似していると判断する。また、構成変更検出部１０７は、相関関係間で相関関数の各係数の符号が反転している場合や、各係数が時系列順にシフトしている場合、各係数が一定の倍率関係にある場合、定数項のみが異なる場合も、これらの相関関係が類似していると判断してよい。
なお、図２１では、被監視装置２０１内の相関関係である、「Ｂ１．ＣＰＵ−Ｂ１．ＤＳＫ」間の相関関係、及び、「Ｂ２．ＣＰＵ−Ｂ２．ＤＳＫ」間の相関関係も変化しているが、これらは、相互に類似してはいないため、構成変更検出部１０７は、これらの相関関係の相関関数の係数が変化したと判定する。これは、例えば、被監視装置２０１（Ｂ２）が被監視装置２０１（Ａ１）とは独立に、バッチ処理などのディスク負荷の高い処理を行っている場合に相当する。この場合、被監視装置２０１（Ａ１）−被監視装置２０１（Ｂ１）間の連携関係が被監視装置２０１（Ａ１）−被監視装置２０１（Ｂ２）間に移動しても、被監視装置２０１（Ｂ２）内のディスク負荷に関する相関関係には影響しない。
対話部１０５は、「構成変更検出」を、例えば、前述の図１４のような構成変更検出画面３００で出力する。
次に、対話部１０５が、管理者等からモデル切り替えの指示を受け付けると、障害分析部１０４は、図２１の相関モデル１２２ｂを分析用の相関モデル１２２に設定する。
相関破壊パターン更新部１０８は、図１９の相関破壊パターン更新ルール１２６の構成変更種別「連携関係移動」に対応する更新方法に従って、相関破壊パターン１２４ａにおける、被監視装置２０１（Ａ１）−被監視装置２０１（Ｂ１）間の連携関係に係る破壊パターンと、被監視装置２０１（Ａ１）−被監視装置２０１（Ｂ２）間の連携関係に係る破壊パターンとを入れ替えることにより、図２３の相関破壊パターン１２４ｂを生成する。
以降、図２１の相関モデル１２２ｂ、及び、図２３の相関破壊パターン１２４ｂを用いて、障害分析が行われる。
ここで、本発明の第１の実施の形態と比較すると、第１の実施の形態では、構成情報１２７をもとに構成変更を検出している。このため、被監視装置２０１単位の変更しか検出できず、被監視装置２０１単位で、破壊パターンの更新が行われる。従って、上述の連携関係の移動のように、構成変更として、被監視装置２０１の部分的な稼働状態の変更が発生した場合には、相関破壊パターン１２４を正しく更新できない。
一方、第２の実施の形態では、相関モデル１２２をもとに構成変更を検出している。このため、上述の部分的な稼働状態の変更に対応した相関関係の変更を検出でき、相関関係単位で、破壊パターンの更新ができる。
このように、被監視装置２０１間の連携関係の移動のように、部分的な稼働状態の変更が発生した場合でも、構成変更後のシステムに適合した相関破壊パターン１２４を得ることができる。
次に、第２の例として、分析対象システム２００の変更前の構成が、第１の動作例と同様に、図２４（構成変更前）の場合を例に動作を説明する。
この場合、分析用の相関モデル１２２として、図２５の相関モデル１２２ａ（図２６の相関マップ１２８ａ）が、生成、設定されていると仮定する。また、図３２の時刻ｔ０において発生した、被監視装置２０１（Ｂ１）（ＷＥＢサーバ）の障害（障害２）に対する相関破壊パターン１２４として、図２７の相関破壊パターン１２４ａが生成、設定されていると仮定する。
図３２の時刻ｔ１において、図２４（構成変更後）に示すように、被監視装置２０１（Ａ１）の複製である被監視装置２０１（Ａ２）が追加されたと仮定する。
図３２の時刻ｔ２において、相関モデル生成部１０２は、図２５の相関モデル１２２ｂ（図２６の相関マップ１２８ｂ）を生成する。構成変更検出部１０７は、相関モデル１２２ｂを、前回の相関モデル１２２である図２５の相関モデル１２２ａと比較する。図２５では、相関モデル１２２ｂにおいて、相関モデル１２２ａでは検出されていない被監視装置２０１（Ａ２）に係る相関関係が検出されている。また、相関モデル１２２ｂにおいて、「Ａ１．ＣＰＵ−Ａ１．ＮＷ」間の相関関係と「Ａ２．ＣＰＵ−Ａ２．ＮＷ」間の相関関係、「Ａ１．ＣＰＵ−Ａ１．ＤＳＫ」間の相関関係と「Ａ２．ＣＰＵ−Ａ２．ＤＳＫ」間の相関関係、「Ａ１．ＣＰＵ−Ｂ１．ＣＰＵ」間の相関関係と「Ａ２．ＣＰＵ−Ｂ１．ＣＰＵ」間の相関関係、及び、「Ａ１．ＣＰＵ−Ｂ２．ＣＰＵ」間の相関関係と「Ａ２．ＣＰＵ−Ｂ２．ＣＰＵ」間の相関関係が、それぞれ、類似している。さらに、「Ａ１．ＣＰＵ−Ａ２．ＣＰＵ」間の重みの値が大きい。従って、構成変更検出部１０７は、図１８の構成変更検出ルール１２５に従って、構成変更種別「複製（被監視装置２０１（Ａ１）の複製である被監視装置２０１（Ａ２）を追加）」の構成変更が発生したと判定する。
対話部１０５は、「構成変更検出」を、例えば、前述の図１４のような構成変更検出画面３００で出力する。
次に、対話部１０５が、管理者等からモデル切り替えの指示を受け付けると、障害分析部１０４は、図２５の相関モデル１２２ｂを分析用の相関モデル１２２に設定する。
相関破壊パターン更新部１０８は、図１９の相関破壊パターン更新ルール１２６の構成変更種別「複製」に対応する更新方法に従って、相関破壊パターン１２４ａにおける、被監視装置２０１（Ａ１）に係る破壊パターンを複製し、被監視装置２０１（Ａ１）の識別子を被監視装置２０１（Ａ２）の識別子に置き換えることにより、図２７の相関破壊パターン１２４ｂを生成する。
以降、図２５の相関モデル１２２ｂ、及び、図２７の相関破壊パターン１２４ｂを用いて、障害分析が行われる。
このように、被監視装置２０１の複製による構成変更が発生した場合でも、構成変更後のシステムに適合した相関破壊パターン１２４を得ることができる。
次に、第３の例として、分析対象システム２００の変更前の構成が、図２８（構成変更前）のように、冗長構成の被監視装置２０１（Ｂ１、Ｂ２、Ｂ３）の内、被監視装置２０１（Ｂ１、Ｂ２）が稼働中、被監視装置２０１（Ｂ３）が停止中の場合を例に、動作を説明する。
この場合、分析用の相関モデル１２２として、図２９の相関モデル１２２ａ（図３０の相関マップ１２８ａ）が、生成、設定されていると仮定する。また、図３２の時刻ｔ０において発生した、被監視装置２０１（Ｂ１）（ＷＥＢサーバ）の障害（障害２）に対する相関破壊パターン１２４として、図３１の相関破壊パターン１２４ａが生成、設定されていると仮定する。
図３２の時刻ｔ１において、冗長構成の切り替えにより、図２８（構成変更後）に示すように、被監視装置２０１（Ｂ２）が停止中、被監視装置２０１（Ｂ３）が稼働中に変化したと仮定する。
図３２の時刻ｔ２において、相関モデル生成部１０２は、図２９の相関モデル１２２ｂ（図３０の相関マップ１２８ｂ）を生成する。構成変更検出部１０７は、相関モデル１２２ｂを、前回の相関モデル１２２である図２９の相関モデル１２２ａと比較する。図２９では、相関モデル１２２ｂにおいて、相関モデル１２２ａでは検出されていない被監視装置２０１（Ｂ３）に係る相関関係が検出されている。また、相関モデル１２２ｂにおいて、相関モデル１２２ａで検出されていた被監視装置２０１（Ｂ２）に係る相関関係が検出されていない。また、相関モデル１２２ａの「Ａ１．ＣＰＵ−Ｂ２．ＣＰＵ」間の相関関係と相関モデル１２２ｂの「Ａ１．ＣＰＵ−Ｂ３．ＣＰＵ」間の相関関係、及び、相関モデル１２２ａの「Ｂ２．ＣＰＵ−Ｂ２．ＤＳＫ」間の相関関係と相関モデル１２２ｂの「Ｂ３．ＣＰＵ−Ｂ３．ＤＳＫ」間の相関関係が、それぞれ、類似している。従って、構成変更検出部１０７は、図１８の構成変更検出ルール１２５に従って、構成変更種別「置換（被監視装置２０１（Ｂ２）を被監視装置２０１（Ｂ３）で置換）」の構成変更が発生したと判定する。
対話部１０５は、「構成変更検出」を、例えば、前述の図１４のような構成変更検出画面３００で出力する。
次に、対話部１０５が、管理者等からモデル切り替えの指示を受け付けると、障害分析部１０４は、図２９の相関モデル１２２ｂを分析用の相関モデル１２２に設定する。
相関破壊パターン更新部１０８は、図１９の相関破壊パターン更新ルール１２６の構成変更種別「置換」に対応する更新方法に従って、相関破壊パターン１２４ａにおける、被監視装置２０１（Ｂ２）の識別子を被監視装置２０１（Ｂ３）の識別子に置き換えることにより、図３１の相関破壊パターン１２４ｂを生成する。
以降、図２９の相関モデル１２２ｂ、及び、図３１の相関破壊パターン１２４ｂを用いて、障害分析が行われる。
このように、被監視装置２０１の置換による構成変更が発生した場合でも、構成情報１２７を用いることなく、本発明の第１の実施の形態と同様に、構成変更後のシステムに適合した相関破壊パターン１２４を得ることができる。
以上により、本発明の第２の実施の形態の動作が完了する。
なお、本発明の第２の実施の形態においては、部分的な稼働状態の変更の例として、連携関係にある被監視装置２０１間のＣＰＵ使用率に係る相関関係が変化する場合を例に説明したが、この例に限らず、他の性能値の種目に係る相関関係が変化する場合でも同様の効果が得られる。例えば、ネットワークトラフィックの時系列情報からネットワーク障害を特定する場合において、部分的なネットワーク経路の切り替えやフロー制御に対応する相関関係の変化を検出してもよい。また、ストレージ装置の障害分析において、ストレージ装置に含まれるディスク切り替えや交換に対応する相関関係の変化を検出してもよい。また、アプリケーションプログラムの障害分析において、部分的なパッチ適用に対応する相関関係の変化を検出してもよい。
また、本発明の第２の実施の形態においては、構成変更として「連携関係の移動」、「複製」、及び、「置換」を検出する場合を例に説明したが、相関モデル１２２をもとに検出できれば、他の種別の構成変更を検出してもよい。例えば、構成変更検出部１０７は、「連携関係の複製」を検出してもよい。この場合、構成変更検出部１０７は、例えば、構成情報１２７において、未検出から検出になった被監視装置２０１（Ａ１）−被監視装置２０１（Ｂ２）間の相関関係と類似する相関関係が被監視装置２０１（Ａ１）−被監視装置２０１（Ｂ１）間に存在する場合、「連携関係の複製（被監視装置２０１（Ａ１）−（Ｂ１）間の相関関係を被監視装置２０１（Ａ１）−（Ｂ２）間へ追加）」の構成変更が発生したと判定する。そして、相関破壊パターン更新部１０８は、相関破壊パターン１２４における、被監視装置２０１（Ａ１）−被監視装置２０１（Ｂ１）間の連携関係に係る破壊パターンを、被監視装置２０１（Ａ１）−被監視装置２０１（Ｂ２）間の連携関係に係る破壊パターンを生成、追加することにより、相関破壊パターン１２４を更新する。
また、構成変更検出部１０７は、相関関係の移動や複製を伴わないような構成変更を検出してもよい。図３３は、本発明の第２の実施の形態における、相関モデル１２２の他の例を示す図である。図３４は、本発明の第２の実施の形態における、構成変更検出画面３００の例を示す図である。図３３では、「Ａ１．ＣＰＵ−Ｂ１．ＣＰＵ」間の相関関係、及び、「Ｂ１．ＣＰＵ−Ｂ１．ＤＳＫ」間の相関関係に関し、相関関係の係数が変化している。これは、例えば、被監視装置２０１（Ｂ１）のシステム増強（ＣＰＵ変更）が行われた場合に相当する。構成変更検出部１０７は、被監視装置２０１（Ｂ１）のＣＰＵ使用率に係る相関関数の係数の変化を検出することにより、このような「システム増強」の構成変更を検出できる。また、この場合、対話部１０５は、「構成変更検出」を、例えば、図３４のような構成変更検出画面３００で出力する。図３４の例では、構成変更検出画面３００は、変化した相関関係についての構成変更前と構成変更後のメトリック間の関係を示す相関関係変化情報３０４を含む。これにより、管理者等は、分析対象システム２００のシステム増強とその効果を容易に把握し、適切な相関モデル１２２への切り替えを指示できる。
本発明の第２の実施の形態によれば、不変関係分析において、システム構成が変化した場合でも、構成情報１２７を用いることなく、適切な相関モデル、及び、相関破壊パターンを用いて障害分析を行うことができる。その理由は、構成変更検出部１０７が、相関モデル１２２をもとに、分析対象システム２００の構成変更を検出するためである。
また、本発明の第２の実施の形態によれば、不変関係分析において、構成変更として、被監視装置２０１の部分的な稼働状態の変更が発生した場合でも、構成変更後のシステムに適合した相関破壊パターン１２４を得ることができる。その理由は、構成変更検出部１０７が、相関モデル１２２の相関関係単位の変更を検出し、相関破壊パターン更新部１０８が、相関関係単位で、相関破壊パターン１２４を更新するためである。これにより、本発明の第１の実施の形態に比べて、より適合度の高い相関破壊パターン１２４を生成することができる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
例えば、構成変更検出部１０７は、第１の実施の形態で示した構成情報１２７をもとにした構成変更の検出結果と、第２の実施の形態で示した相関モデル１２２をもとにした構成変更の検出結果との両方を用いて、構成変更を検出してもよい。例えば、第２の実施の形態で第１〜第３の例として説明した稼働状態の変化が連続して発生した場合、構成変更検出部１０７は、相関関係の変化だけでは、構成変更を正確に検出できない可能性がある。この場合、構成変更検出部１０７は、構成情報１２７をもとに検出される構成変更の検出結果を併せて用いることにより、構成変更をより正確に検出できる。これにより、複雑な相関関係の変化が発生した場合でも、より正確な相関破壊パターン１２４を生成できる。
この出願は、２０１２年３月１４日に出願された日本出願特願２０１２−０５７３３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 運用管理システム
１００ 運用管理装置
１０１ 情報収集部
１０２ 相関モデル生成部
１０３ 相関破壊検出部
１０４ 障害分析部
１０５ 対話部
１０６ 対処実行部
１０７ 構成変更検出部
１０８ 相関破壊パターン更新部
１１１ 性能情報記憶部
１１２ 相関モデル記憶部
１１３ 相関破壊記憶部
１１４ 相関破壊パターン記憶部
１１７ 構成情報記憶部
１２１ 性能系列情報
１２２ 相関モデル
１２３ 相関破壊情報
１２４ 相関破壊パターン
１２５ 構成変更検出ルール
１２６ 相関破壊パターン更新ルール
１２７ 構成情報
１２８ 相関マップ
２００ 分析対象システム
２０１ 被監視装置
３００ 構成変更検出画面
３０１ 異常度グラフ
３０２ 構成変更検出情報
３０３ ボタン
３０４ 相関関係変化情報
３１０ 分析結果出力画面
３１１ 障害候補情報

Claims (10)

  1. システムの複数のメトリックの内の異なる２つのメトリック間の相関関係を示す相関関数を１以上含む相関モデルを生成する相関モデル生成手段と、
    前記システムの構成変更の有無を検出する構成変更検出手段と、
    前記構成変更検出手段により前記システムの構成変更が検出された場合に、前記システムの構成変更後の前記複数のメトリックの計測値をもとに生成された相関モデルを用いて、前記システムの障害要因を特定する障害分析手段と
    を含む運用管理装置。
  2. 相関モデルに含まれる相関関係の破壊を相関破壊と定義したときに、
    前記障害分析手段は、前記複数のメトリックの新たな計測値に対して検出された相関破壊の状態と、前記システムの過去の障害時における相関破壊の状態を示す相関破壊パターンと、を比較することにより、前記システムの障害要因を特定し、
    さらに、前記構成変更検出手段により前記システムの構成変更が検出された場合に、前記相関破壊パターンを、前記構成変更後に用いられる相関モデルに適合するように補正する、相関破壊パターン更新手段を含む
    請求項１に記載の運用管理装置。
  3. 前記構成変更検出手段は、前記システムに含まれる１以上の被監視装置の各々の属性情報の変化をもとに、前記システムの構成変更の有無を検出する
    請求項１に記載の運用管理装置。
  4. 前記構成変更検出手段は、前記相関モデル生成手段により生成される相関モデルの変化をもとに、前記システムの構成変更の有無を検出する
    請求項１に記載の運用管理装置。
  5. 相関モデルに含まれる相関関係の破壊を相関破壊と定義したときに、
    前記障害分析手段は、前記複数のメトリックの新たな計測値に対して検出された相関破壊の状態と、前記システムの過去の障害時における相関破壊の状態を示す相関破壊パターンと、を比較することにより、前記システムの障害要因を特定し、
    さらに、前記構成変更検出手段により前記システムの構成変更が検出された場合に、前記相関破壊パターンを、前記構成変更後に用いられる相関モデルに適合するように補正する、相関破壊パターン更新手段を含み、
    前記相関破壊パターンは、相関モデルに含まれる１以上の相関関係の各々の相関破壊の有無を示し、
    前記相関破壊パターン更新手段は、
    前記構成変更検出手段により前記システムに含まれる第１の被監視装置の、当該第１の被監視装置と同じ構成を有する第２の被監視装置との置換が検出された場合、前記相関破壊パターンにおける当該第１の被監視装置に係る相関関係の相関破壊の有無の情報を、当該第２の被監視装置に係る相関関係の相関破壊の有無の情報に修正し、
    前記構成変更検出手段により前記システムに含まれる第１の被監視装置と同じ構成を有する第２の被監視装置の追加が検出された場合、前記相関破壊パターンにおける当該第１の被監視装置に係る相関関係の相関破壊の有無の情報から、当該第２の被監視装置に係る相関関係の相関破壊の有無の情報を生成して、前記相関破壊パターンに追加する
    請求項３または４に記載の運用管理装置。
  6. 相関モデルに含まれる相関関係の破壊を相関破壊と定義したときに、
    前記障害分析手段は、前記複数のメトリックの新たな計測値に対して検出された相関破壊の状態と、前記システムの過去の障害時における相関破壊の状態を示す相関破壊パターンと、を比較することにより、前記システムの障害要因を特定し、
    さらに、前記構成変更検出手段により前記システムの構成変更が検出された場合に、前記相関破壊パターンを、前記構成変更後に用いられる相関モデルに適合するように補正する、相関破壊パターン更新手段を含み、
    前記相関破壊パターンは、相関モデルに含まれる１以上の相関関係の各々の相関破壊の有無を示し、
    前記相関破壊パターン更新手段は、
    前記構成変更検出手段により前記システムに含まれる第１の被監視装置と第２の被監視装置との間の相関関係の当該第１の被監視装置と第３の被監視装置との間への移動が検出された場合、前記相関破壊パターンにおける当該第１の被監視装置と当該第２の被監視装置との間の相関関係の相関破壊の有無の情報を、当該第１の被監視装置と当該第３の被監視装置との間へ移動した相関関係の相関破壊の有無の情報に修正し、
    前記構成変更検出手段により前記システムに含まれる第１の被監視装置と第２の被監視装置との間の相関関係の当該第１の被監視装置と第３の被監視装置との間への追加が検出された場合、前記相関破壊パターンにおける当該第１の被監視装置と当該第２の被監視装置との間の相関関係の相関破壊の有無の情報から、当該第１の被監視装置と当該第３の被監視装置との間の追加された相関関係の相関破壊の有無の情報を生成して、前記相関破壊パターンに追加する
    請求項４に記載の運用管理装置。
  7. システムの複数のメトリックの内の異なる２つのメトリック間の相関関係を示す相関関数を１以上含む相関モデルを生成し、
    前記システムの構成変更の有無を検出し、
    前記システムの構成変更が検出された場合に、前記システムの構成変更後の前記複数のメトリックの計測値をもとに生成された相関モデルを用いて、前記システムの障害要因を特定する
    運用管理方法。
  8. 相関モデルに含まれる相関関係の破壊を相関破壊と定義したときに、
    前記システムの構成変更が検出された場合に、前記システムの過去の障害時における相関破壊の状態を示す相関破壊パターンを、前記構成変更後に用いられる相関モデルに適合するように補正し、
    前記複数のメトリックの新たな計測値に対して検出された相関破壊の状態と、前記相関破壊パターンと、を比較することにより、前記システムの障害要因を特定する
    請求項７に記載の運用管理方法。
  9. コンピュータに、
    システムの複数のメトリックの内の異なる２つのメトリック間の相関関係を示す相関関数を１以上含む相関モデルを生成し、
    前記システムの構成変更の有無を検出し、
    前記システムの構成変更が検出された場合に、前記システムの構成変更後の前記複数のメトリックの計測値をもとに生成された相関モデルを用いて、前記システムの障害要因を特定する
    処理を実行させるプログラム。
  10. 相関モデルに含まれる相関関係の破壊を相関破壊と定義したときに、
    前記システムの構成変更が検出された場合に、前記システムの過去の障害時における相関破壊の状態を示す相関破壊パターンを、前記構成変更後に用いられる相関モデルに適合するように補正し、
    前記複数のメトリックの新たな計測値に対して検出された相関破壊の状態と、前記相関破壊パターンと、を比較することにより、前記システムの障害要因を特定する処理を実行させる
    請求項９に記載のプログラム。
JP2014504679A 2012-03-14 2013-03-08 運用管理装置、運用管理方法、及び、プログラム Active JP5910727B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012057337 2012-03-14
JP2012057337 2012-03-14
PCT/JP2013/001480 WO2013136739A1 (ja) 2012-03-14 2013-03-08 運用管理装置、運用管理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JPWO2013136739A1 JPWO2013136739A1 (ja) 2015-08-03
JP5910727B2 true JP5910727B2 (ja) 2016-04-27

Family

ID=49160671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014504679A Active JP5910727B2 (ja) 2012-03-14 2013-03-08 運用管理装置、運用管理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US20150046123A1 (ja)
EP (1) EP2827251B1 (ja)
JP (1) JP5910727B2 (ja)
CN (1) CN104205063B (ja)
WO (1) WO2013136739A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5375829B2 (ja) * 2008-09-18 2013-12-25 日本電気株式会社 運用管理装置、運用管理方法、および運用管理プログラム
JP5267736B2 (ja) * 2010-06-07 2013-08-21 日本電気株式会社 障害検出装置、障害検出方法およびプログラム記録媒体
EP3239839A4 (en) 2014-12-22 2018-08-22 Nec Corporation Operation management device, operation management method, and recording medium in which operation management program is recorded
US9853873B2 (en) 2015-01-10 2017-12-26 Cisco Technology, Inc. Diagnosis and throughput measurement of fibre channel ports in a storage area network environment
US9900250B2 (en) 2015-03-26 2018-02-20 Cisco Technology, Inc. Scalable handling of BGP route information in VXLAN with EVPN control plane
US10222986B2 (en) 2015-05-15 2019-03-05 Cisco Technology, Inc. Tenant-level sharding of disks with tenant-specific storage modules to enable policies per tenant in a distributed storage system
US11588783B2 (en) 2015-06-10 2023-02-21 Cisco Technology, Inc. Techniques for implementing IPV6-based distributed storage space
US10630561B1 (en) * 2015-06-17 2020-04-21 EMC IP Holding Company LLC System monitoring with metrics correlation for data center
US9575828B2 (en) * 2015-07-08 2017-02-21 Cisco Technology, Inc. Correctly identifying potential anomalies in a distributed storage system
US10778765B2 (en) 2015-07-15 2020-09-15 Cisco Technology, Inc. Bid/ask protocol in scale-out NVMe storage
US9892075B2 (en) 2015-12-10 2018-02-13 Cisco Technology, Inc. Policy driven storage in a microserver computing environment
US10699211B2 (en) 2016-02-29 2020-06-30 Oracle International Corporation Supervised method for classifying seasonal patterns
US10867421B2 (en) 2016-02-29 2020-12-15 Oracle International Corporation Seasonal aware method for forecasting and capacity planning
US10331802B2 (en) 2016-02-29 2019-06-25 Oracle International Corporation System for detecting and characterizing seasons
US10885461B2 (en) 2016-02-29 2021-01-05 Oracle International Corporation Unsupervised method for classifying seasonal patterns
US10198339B2 (en) * 2016-05-16 2019-02-05 Oracle International Corporation Correlation-based analytic for time-series data
US10140172B2 (en) 2016-05-18 2018-11-27 Cisco Technology, Inc. Network-aware storage repairs
US20170351639A1 (en) 2016-06-06 2017-12-07 Cisco Technology, Inc. Remote memory access using memory mapped addressing among multiple compute nodes
US10664169B2 (en) 2016-06-24 2020-05-26 Cisco Technology, Inc. Performance of object storage system by reconfiguring storage devices based on latency that includes identifying a number of fragments that has a particular storage device as its primary storage device and another number of fragments that has said particular storage device as its replica storage device
US10146609B1 (en) * 2016-07-08 2018-12-04 Splunk Inc. Configuration of continuous anomaly detection service
US10200262B1 (en) 2016-07-08 2019-02-05 Splunk Inc. Continuous anomaly detection service
US10635563B2 (en) 2016-08-04 2020-04-28 Oracle International Corporation Unsupervised method for baselining and anomaly detection in time-series data for enterprise systems
US11082439B2 (en) 2016-08-04 2021-08-03 Oracle International Corporation Unsupervised method for baselining and anomaly detection in time-series data for enterprise systems
US11563695B2 (en) 2016-08-29 2023-01-24 Cisco Technology, Inc. Queue protection using a shared global memory reserve
US10338986B2 (en) * 2016-10-28 2019-07-02 Microsoft Technology Licensing, Llc Systems and methods for correlating errors to processing steps and data records to facilitate understanding of errors
US10545914B2 (en) 2017-01-17 2020-01-28 Cisco Technology, Inc. Distributed object storage
US10243823B1 (en) 2017-02-24 2019-03-26 Cisco Technology, Inc. Techniques for using frame deep loopback capabilities for extended link diagnostics in fibre channel storage area networks
US10949436B2 (en) 2017-02-24 2021-03-16 Oracle International Corporation Optimization for scalable analytics using time series models
US10915830B2 (en) 2017-02-24 2021-02-09 Oracle International Corporation Multiscale method for predictive alerting
US10713203B2 (en) 2017-02-28 2020-07-14 Cisco Technology, Inc. Dynamic partition of PCIe disk arrays based on software configuration / policy distribution
US10254991B2 (en) 2017-03-06 2019-04-09 Cisco Technology, Inc. Storage area network based extended I/O metrics computation for deep insight into application performance
US10817803B2 (en) 2017-06-02 2020-10-27 Oracle International Corporation Data driven methods and systems for what if analysis
US10303534B2 (en) 2017-07-20 2019-05-28 Cisco Technology, Inc. System and method for self-healing of application centric infrastructure fabric memory
US10404596B2 (en) 2017-10-03 2019-09-03 Cisco Technology, Inc. Dynamic route profile storage in a hardware trie routing table
US10942666B2 (en) 2017-10-13 2021-03-09 Cisco Technology, Inc. Using network device replication in distributed storage clusters
US10963346B2 (en) 2018-06-05 2021-03-30 Oracle International Corporation Scalable methods and systems for approximating statistical distributions
US10997517B2 (en) 2018-06-05 2021-05-04 Oracle International Corporation Methods and systems for aggregating distribution approximations
US11138090B2 (en) 2018-10-23 2021-10-05 Oracle International Corporation Systems and methods for forecasting time series with variable seasonality
US10855548B2 (en) 2019-02-15 2020-12-01 Oracle International Corporation Systems and methods for automatically detecting, summarizing, and responding to anomalies
US11533326B2 (en) 2019-05-01 2022-12-20 Oracle International Corporation Systems and methods for multivariate anomaly detection in software monitoring
US11537940B2 (en) 2019-05-13 2022-12-27 Oracle International Corporation Systems and methods for unsupervised anomaly detection using non-parametric tolerance intervals over a sliding window of t-digests
US11887015B2 (en) 2019-09-13 2024-01-30 Oracle International Corporation Automatically-generated labels for time series data and numerical lists to use in analytic and machine learning systems
CN111858120B (zh) * 2020-07-20 2023-07-28 北京百度网讯科技有限公司 故障预测方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076695B2 (en) * 2001-07-20 2006-07-11 Opnet Technologies, Inc. System and methods for adaptive threshold determination for performance metrics
US8332908B2 (en) * 2006-06-22 2012-12-11 Nec Corporation Sharing management system, sharing management method and program
US9021464B2 (en) * 2006-08-07 2015-04-28 Netiq Corporation Methods, systems and computer program products for rationalization of computer system configuration change data through correlation with product installation activity
JP4872944B2 (ja) 2008-02-25 2012-02-08 日本電気株式会社 運用管理装置、運用管理システム、情報処理方法、及び運用管理プログラム
JP5375829B2 (ja) 2008-09-18 2013-12-25 日本電気株式会社 運用管理装置、運用管理方法、および運用管理プログラム
US8868987B2 (en) * 2010-02-05 2014-10-21 Tripwire, Inc. Systems and methods for visual correlation of log events, configuration changes and conditions producing alerts in a virtual infrastructure
JP5416833B2 (ja) * 2010-04-06 2014-02-12 株式会社日立製作所 性能監視装置，方法，プログラム
JP5267736B2 (ja) 2010-06-07 2013-08-21 日本電気株式会社 障害検出装置、障害検出方法およびプログラム記録媒体

Also Published As

Publication number Publication date
EP2827251B1 (en) 2020-02-12
CN104205063B (zh) 2017-05-24
EP2827251A4 (en) 2015-08-12
WO2013136739A1 (ja) 2013-09-19
US20150046123A1 (en) 2015-02-12
EP2827251A1 (en) 2015-01-21
CN104205063A (zh) 2014-12-10
JPWO2013136739A1 (ja) 2015-08-03

Similar Documents

Publication Publication Date Title
JP5910727B2 (ja) 運用管理装置、運用管理方法、及び、プログラム
JP6394726B2 (ja) 運用管理装置、運用管理方法、及びプログラム
JP5874936B2 (ja) 運用管理装置、運用管理方法、及びプログラム
JP5532150B2 (ja) 運用管理装置、運用管理方法、及びプログラム
JP6875179B2 (ja) システム分析装置、及びシステム分析方法
JP6183450B2 (ja) システム分析装置、及び、システム分析方法
JP6183449B2 (ja) システム分析装置、及び、システム分析方法
US10430268B2 (en) Operations management system, operations management method and program thereof
WO2009110329A1 (ja) 障害分析装置、障害分析方法および記録媒体
WO2006117833A1 (ja) 監視シミュレーション装置，方法およびそのプログラム
JP5971395B2 (ja) システム分析装置、及び、システム分析方法
US10157113B2 (en) Information processing device, analysis method, and recording medium
US9690639B2 (en) Failure detecting apparatus and failure detecting method using patterns indicating occurrences of failures
WO2015182072A1 (ja) 因果構造推定システム、因果構造推定方法およびプログラム記録媒体
CN114629785B (zh) 一种告警位置的检测与预测方法、装置、设备及介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160314

R150 Certificate of patent or registration of utility model

Ref document number: 5910727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150