JP6426850B2 - 管理装置、管理方法、および、管理プログラム - Google Patents

Description

本発明は、計算機群を接続するネットワークを管理する管理装置、管理方法、および、管理プログラムに関する。

企業、組織において、計算機資源やアプリケーションを安価且つ柔軟に活用するために、クラウドサービスを提供するデータセンタの利用が進展している。データセンタにおいて通信障害が発生した場合、データセンタの管理者は、通信障害の影響を受けた顧客やアプリケーションへの対応を迅速に行う必要がある。従来、通信障害の影響を受けた可能性がある顧客（以降、「潜在的実害顧客」と呼称）は、データセンタの静的な構成情報（たとえば、サーバや通信装置に接続情報や設定情報）を用いて特定される。

しかし、静的な構成情報で分かることは、顧客の通信が障害発生箇所を通過する可能性があるか否かまでである。障害発生時、実際に顧客が通信中であり、障害の実害を受けたか（そのような顧客を「実害有り顧客」と呼称）否か（そのような顧客を「実害無し顧客」と呼称）は不明である。このため、障害発生時の潜在的実害顧客が多い場合、データセンタの管理者は、実害有り顧客と実害無し顧客とを区別することができず、実害有り顧客への対応が実害無し顧客への対応よりも遅れてしまうことがある。

したがって、実害有り顧客と実害無し顧客とを区別するために、顧客の通信の利用実態に基づき障害発生時に顧客が障害箇所のネットワークを利用していたか否か判断する必要がある。このような技術として、特許文献１および特許文献２がある。

特許文献１は、資源管理装置でセッション情報を管理しておき、障害発生時、障害情報(障害発生箇所、障害発生時刻、障害回復時刻)とセッション情報とを比較することで、障害の影響を受けた顧客（上述の実害有り顧客に相当）を特定する方法を提示する。ここで、特許文献１におけるセッション情報とは、通信の開始時刻や終了時刻、サービス端点（送信元および宛先ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス）を組み合わせた情報である。

特許文献２は、ネットワークを流れる通信パケットに基づき当該ネットワークのトポロジを推定し、トポロジ情報とパケットサンプリング情報を用いて他ネットワークに発生した品質異常やその影響範囲を把握するパケットサンプリング方法を提示する。

特開２０１１−１８８４２２号公報 米国特許出願公開第２００９／０１８０３９３明細書

しかしながら、特許文献１，２を用いても、データセンタにおいて通信障害の影響を被った顧客、すなわち実害有り顧客を迅速に特定することはできない。たとえば、特許文献１では、資源管理装置がセッション情報を管理することが前提となるが、クラウドサービスに利用されるデータセンタがセッション情報を管理することは困難である。具体的には、セッションに含まれる通信の開始時間や終了時間を把握するには、データセンタに流れる全通信を常に収集、解析し、セッションごとに開始と終了を判断する必要がある。しかしながら、膨大な通信が流れるデータセンタの全通信をリアルタイムに解析することは困難であり、障害発生時、障害の影響を受けた実害有り顧客を迅速に特定することができない。また、特許文献２は、サンプリングの対象を通信量の多い特定の通信に限定しているため、通信量の少ない顧客についての通信の利用実態を把握できない。

本発明は以上の点を考慮してなされたもので、迅速かつ高精度に、顧客への障害の影響確度を推定することを目的とする。

本願において開示される発明の一側面となる管理装置、管理方法、および、管理プログラムは、計算機群を接続するネットワークと通信可能な管理装置、管理方法、および、管理プログラムであって、記憶デバイスは、前記ネットワーク内で前記計算機群の計算機間を流れる一連のデータである顧客についてのフローの通信量の周期的な経時的変化を示す通信パターンと、前記フローが経由する前記ネットワーク内の通信装置の識別情報とを、フローごとに記憶しており、プロセッサは、前記ネットワーク内で障害が発生した特定の通信装置から、前記特定の通信装置の識別情報と障害発生日時とを含む障害情報を受信する受信処理と、前記受信処理によって受信された障害情報に含まれる前記特定の通信装置の識別情報に基づいて、フロー群の中から前記特定の通信装置を経由する特定のフローを選択する選択処理と、前記選択処理によって選択された特定のフローについて前記障害発生日時から設定期間前の日時から前記障害発生日時までの期間内での通信量の経時的変化を示す特定の時系列データと、前記特定のフローについての前記通信パターンと、が類似するか否かを判断する判断処理と、前記判断処理によって類似すると判断された通信パターンにおける通信量の出現頻度に基づいて、前記特定のフローが前記障害発生日時に通信されていた確度を算出する算出処理と、前記算出処理による算出結果を出力する出力処理と、を実行することを特徴とする。

本発明の代表的な実施例によれば、迅速かつ高精度に、顧客への障害の影響確度を推定することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

顧客障害影響推定例を示す説明図である。 ネットワークシステムのシステム構成例を示す説明図である。 管理装置のハードウェア構成例を示すブロック図である。 管理装置の機能的構成例を示すブロック図である。 データセンタＤＣｉおよびデータセンタＤＣｉ，ＤＣｊ間の詳細な構成例を示す説明図である。 通信装置管理テーブルの一例を示す説明図である。 顧客情報テーブルの一例を示す説明図である。 フロー特性情報テーブルの一例を示す説明図である。 時系列データテーブルの一例を示す説明図である。 通信パターン情報テーブルの一例を示す説明図である。 フロー除外条件の一例を示す説明図である。 フロー組み合わせ条件の一例を示す説明図である。 外部ＤＣ管理情報テーブルの一例を示す説明図である。 外部ＤＣ障害テーブルの一例を示す説明図である。 外部ＤＣ顧客情報テーブルの一例を示す説明図である。 サンプルパケットのフォーマット例を示す説明図である。 フロー統計情報解析結果テーブルの一例を示す説明図である。 顧客障害影響推定シーケンス例を示す説明図である。 図１８に示したフロー情報解析機能における時系列データ算出（ＳＰ３）の詳細な処理手順例を示すフローチャートである。 サンプルパケットの取得割合（ＳＰ３０）の一例を示す概念図である。 不要データ削除機能における不要データ削除（ＳＰ１０）の詳細な処理手順例を示すフローチャートである。 通信パターン推定機能における通信パターン推定（ＳＰ１１）の詳細な処理手順例を示すフローチャートである。 影響確度推定機能における影響確度推定（ＳＰ１６）の詳細な処理手順例を示すフローチャートである。 障害発生時刻と周期の時間位置との対応関係の一例を示す説明図である。 通知先のクライアント端末や運用管理装置での表示画面の一例を示す説明図である。

＜顧客障害影響推定例＞
図１は、顧客障害影響推定例を示す説明図である。顧客障害影響推定は、管理装置が、ネットワークシステム内の通信を中継するスイッチのような通信装置を介して、顧客への障害の影響を推定する処理である。

１．管理装置は、ネットワークシステム内の通信装置における各時間帯のプロトコル毎の通信量の周期的な通信パターンを統計情報として計算する。具体的には、（１−１）管理装置は、通信装置が中継するパケットをサンプリングし、その通信量（パケット数）を計測する。

（１−２）管理装置は、フーリエ解析により通信の周期性の有無を判断する。図１の例は、管理装置が、顧客（テナントＡ）の仮想マシンＶＭ１，ＶＭ２間の通信に周期性ありと判断した例である。

（１−３）管理装置は、（１−２）で検出された通信パターンから、たとえば、ＡＲＰ（Ａｄｄｒｅｓｓ Ｒｅｓｏｌｕｔｉｏｎ Ｐｒｏｔｏｃｏｌ）パケットのような周期性のない通信を外れ値として除外する。（１−３）の通信パターンを周期的通信パターンと称す。このように、過去の通信量をサンプリングすることにより、管理装置は、ネットワークシステム内の全通信を常に解析することなく、また、通信量の多さにかかわらず、障害発生前に未然に周期的通信パターンを生成しておくことができる。

２．つぎに、管理装置は、ネットワークシステムでの通信障害時に障害情報と周期的通信パターンと比較し、テナントごとに、通信への影響確度を算出する。ここで、障害情報は、障害を特定する情報であり、たとえば、障害の発生時刻、障害の発生した通信装置の通信装置ＩＤが含まれる。また、ネットワークシステム内のデータセンタ間ネットワークで障害が発生した場合は、これに加え、障害の影響を受けた可能性のあるフローのフローＩＤも追加される。また、影響確度は、通信に実害があるか否かを示す確からしさであり、たとえば、確率により表現される。

３．そして、管理者は、実害が顕著な顧客を絞り込み、早急な対応をする。実害が顕著な顧客とは、障害発生時に、上記２で算出した影響確度が高い（たとえば、７０％以上）顧客である。当該顧客は、常時通信をおこなっている顧客であると推定される。また、影響確度は低い（たとえば、０％以上３０％未満）顧客は、普段は通信していない顧客であると推定される。また、影響確度がたとえば、３０％以上７０％未満の顧客は、たまに通信する顧客であると推定される。

このように、管理装置は、障害の影響範囲内において障害発生時に実害有り顧客および実害無し顧客を判別するため、管理者は、早急な対応が必要な実害有り顧客を迅速に絞り込み、優先的に対応することができる。

＜ネットワークシステム構成例＞
図２は、ネットワークシステムのシステム構成例を示す説明図である。ネットワークシステム１は、複数のデータセンタＤＣ１〜ＤＣｎ（ｎは２以上の整数）がデータセンタ間ネットワーク２を介して通信可能に接続されたシステムである。

データセンタＤＣｉ（ｉは１≦ｉ≦ｎ）は、１台以上の電子計算機６０と、１台以上の通信装置２０と、がデータネットワーク１０を介して通信可能に接続されており、かつ、通信装置２０と、管理装置５０と、が制御ネットワーク１１を介して通信可能に接続されたシステムである。電子計算機６０は、１台以上の通信装置２０と通信可能に接続される。電子計算機６０は、たとえば、サーバやパーソナルコンピュータであり、データネットワーク１０を介して相互に通信可能である。

通信装置２０は、たとえば、ＬＡＮスイッチやルータのような中継装置である。通信装置２０は、データネットワーク１０に接続された１または複数のインタフェースと、制御ネットワーク１１に接続されたインタフェースとを備える。なお、通信装置２０はハードウェアに限らず、ソフトウェアであっても良い。また、データネットワーク１０と制御ネットワーク１１は同一のネットワークでも良い。

通信装置２０は、転送機能２１と、フロー統計通知機能２２と、仮想ＮＷ統計算出機能２３と、を有する。転送機能２１は、通信装置２０の任意のインタフェースを介して受信したフローを解析し、解析により得られたフロー特性情報に基づいて、予め定められた規則に従って当該フローを出力すべきインタフェースを決定し、決定したインタフェースからフローを出力する。

ここで本実施例におけるフローは、フロー特性情報によって一意に定められた通信を指す。また、フロー特性情報とは、そのフローの送信元のインタフェースのアドレスである「送信元ＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレス」と、そのフローの送信先のインタフェースのアドレスである「宛先ＭＡＣアドレス」と、そのフローのＯＳＩ（Ｏｐｅｎ Ｓｙｓｔｅｍｓ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ）参照モデルにおけるネットワーク層の種類を表す「フレームタイプ」と、そのフローの送信元の通信機器のＩＰアドレスである「送信元ＩＰアドレス」と、そのフローの送信先の通信機器のＩＰアドレスである「宛先ＩＰアドレス」と、そのフローを送受する際のＯＳＩ参照モデルにおけるトランスポート層の種類を表す「ＩＰプロトコル」と、通信装置２０が稼動させる複数のプログラムからトラフィックの送信元となるプログラムを指定する「送信元ポート番号」と、その通信装置２０が稼動させる複数のプログラムからフローの宛先となるプログラムを指定する「宛先ポート番号」と、そのフローが所属する仮想ネットワークを表す「仮想ＮＷＩＤ」と、を指す。転送機能２１は、フロー特性情報を、フローを構成する各パケットのヘッダ部から取得する。

仮想ネットワークは、通信の識別子付与やカプセル化などにより通信を論理的に分離する手法であり、たとえば、ＶＬＡＮやＭＰＬＳ（Ｍｕｌｔｉｐｒｏｔｏｃｏｌ Ｌａｂｅｌ Ｓｗｉｔｃｈｉｎｇ），ＶＸＬＡＮ，ＧＲＥ（Ｇｅｎｅｒｉｃ Ｒｏｕｔｉｎｇ Ｅｎｃａｐｓｕｌａｔｉｏｎ），ＮＶＧＲＥ（Ｎｅｔｗｏｒｋ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ＧＲＥ）のような公知技術で実現される。

たとえば、図１の例では、仮想マシンＶＭ１と仮想マシンＶＭ２との間でデータネットワーク１０を構成する通信装置２０を経由して、共通の仮想ＮＷＩＤを含む一連のパケットであるフローにより、仮想ネットワークが規定される。なお、仮想マシンＶＭ２は、他のデータセンタＤＣｊ（ｊは、ｉ≠ｊで、１≦ｊ≦ｎ。以下、外部データセンタＤＣｊ）の電子計算機６０上にあってもよい。

フロー統計通知機能２２は、通信装置２０を通過するフローに関する所定の情報（サンプルパケットのフロー特性情報またはフローの時刻ごとの通過パケット数）をフロー統計情報３０として制御ネットワーク１１を介して管理装置５０に通知する。

仮想ＮＷ統計算出機能２３は、通信装置２０を通過する各仮想ネットワークについて、フローの時刻ごとの通過パケット数をフローごとにカウントする機能である。

転送機能２１、フロー統計通知機能２２、および仮想ＮＷ統計算出機能２３はいずれも既存技術で実現される。たとえば、転送機能２１は、ＬＡＮスイッチのスイッチング機能により実現される。フロー統計通知機能２２は、ｓＦｌｏｗやＩＰＦＩＸ（ＩＰ Ｆｌｏｗ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｐｏｒｔ）を適用することにより実現される。仮想ＮＷ統計算出機能２３は、仮想ネットワークごとの分解能を持つ通信装置２０のカウンタ機能を適用することにより実現される。

なお、以下においては、フロー統計通知機能２２としてｓＦｌｏｗを想定し、フロー統計情報３０は、サンプルパケット情報として、ｓＦｌｏｗフローサンプルを想定する。なお、フロー統計情報３０のフォーマット詳細は図１６に示す。管理装置５０は、フロー統計情報３０に基づいて、顧客が通信障害の影響確度を算出し、算出結果を、後述する影響確度情報３２として通知先４０に送信する。

通知先４０は、たとえば、データセンタＤＣｉの管理者４３が操作するクライアント端末４２や、データセンタＤＣｉの運用管理装置４１である。通知先４０がクライアント端末４２の場合、クライアント端末４２は、影響確度情報３２が管理装置５０から与えられると、管理装置５０により推定された各顧客への障害の影響確度を所定形式で表示する。

影響確度情報３２は、障害が各顧客のフローに影響を与えた確度を示す情報である。これに加え、各顧客の重要度や、各顧客の全フローのうち障害の影響を受けた確度の高いフローの割合、各顧客のフローの詳細情報、障害の発生した通信装置が冗長化されているか、過去の通信パターンと障害発生直前の通信パターンが一致しているか、といった情報を含んでも良い。なお、フローの詳細情報とは、顧客の各フローの通信パターン代表周期やフロー特性情報、通信パケット数、周期性の有無を指す。

影響確度情報３２が管理装置５０から通知先４０に通知される際に使用するプロトコルは、たとえば、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）のような公知のプロトコルでよいし、プロプライエタリなものでもよい。また、影響確度情報３２のデータフォーマットは、たとえば、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）やＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）のような公知のものでもよいし、プロプライエタリなものでもよい。

また、以下の説明において、通信パターンとは、フローの１周期分にあたる時系列データを１周期データと呼ぶ際、類似した複数の１周期データの集合を指す。通信パターン代表周期とは、通信パターン内で代表となる１周期データを指す。

＜管理装置５０のハードウェア構成例＞
図３は、管理装置５０のハードウェア構成例を示すブロック図である。管理装置５０は、プロセッサ３０２、主記憶デバイス３０３、外部記憶デバイス３０４、通信制御デバイス３０１および入出力デバイス３０５を有する。これらは、内部バス３０６を介して相互に接続される。

プロセッサ３０２は、管理装置５０全体の動作制御を司るハードウェアである。主記憶デバイス３０３は、たとえば、半導体メモリから構成され、各種プログラムや制御データを一時的に保持する。主記憶デバイス３０３は、図４で後述する演算部２００が備えるプログラム群のほか、図４で後述する情報記憶部２１０のテーブル群を保持する。

外部記憶デバイス３０４は、大容量の記憶容量を有する記憶デバイスであり、たとえばハードディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。外部記憶デバイス３０４は、各種プログラムやデータを保持する。情報記憶部２１０のテーブル群のうち、更新や参照が少ない情報は外部記憶デバイス３０４に保存しても良い。主記憶デバイス３０３および外部記憶デバイス３０４は、プロセッサ３０２からアクセス可能である。

通信制御デバイス３０１は、各通信装置２０との通信を制御する機能を有するハードウェアであり、インタフェース３００を介して制御ネットワーク１１に接続される。入出力デバイス３０５は、ユーザが各種操作入力を行うためのキーボードやマウスなどの入力デバイスと、各種情報を表示するための液晶ディスプレイのような出力デバイスと、を含む。

＜管理装置５０の機能的構成例＞
図４は、管理装置５０の機能的構成例を示すブロック図である。管理装置５０は、演算部２００および情報記憶部２１０を有する。演算部２００は、フロー情報解析機能２０１、通信パターン解析機能２０２、影響確度推定機能２０３、外部連携機能２０４、不要データ削除機能２０５、および障害検知機能２０６を有する。各機能２０１〜２０６は、プロセッサ３０２が主記憶デバイス３０３に格納されたプログラムを実行することにより実現される。

フロー情報解析機能２０１は、データネットワーク１０を構成する各通信装置２０から制御ネットワーク１１を介して送信されるフロー統計情報３０を解析する。フロー情報解析機能２０１は、データネットワーク１０を流れる各フローのフロー特性情報やフローの時刻ごとの通信パケット数を解析する。フロー情報解析機能２０１は、フロー特性情報および通信パケット数をフロー解析情報ＤＢ２１２に格納する。

通信パターン解析機能２０２は、フロー解析情報ＤＢ２１２と条件情報テーブル２１５を基に、各フローの周期性を解析して通信パターンを算出した後、算出した通信パターンを通信パターン情報テーブル２１３に格納する。

影響確度推定機能２０３は、通信パターン情報テーブル２１３と顧客情報テーブル２１４を基に、障害発生時に各顧客が障害の影響を受けた確度である影響確度情報３２を算出し、影響確度情報３２を通知先４０に通知する。

外部連携機能２０４は、外部ＤＣ情報テーブル２１６を基に、外部データセンタＤＣｊとの間にある管理装置５０と間でフローの時系列データや障害情報を共有する。なお、外部データセンタＤＣｊの管理装置５０とのメッセージの送受信に使用するプロトコルは、たとえば、ＨＴＴＰのような公知のものでよいし、プロプライエタリなものでもよい。また、データフォーマットは、ＪＳＯＮやＸＭＬのような公知のものでもよいし、プロプライエタリなものでもよい。

不要データ削除機能２０５は、図１３にて後述する条件情報テーブル２１５に基づいて、フロー解析情報ＤＢ２１２に含まれるフロー特性情報および時系列データを削除する。

障害検知機能２０６は、データセンタＤＣｉ内の通信装置２０および外部データセンタＤＣｊの通信装置２０（以下、外接通信装置２０と称す）の障害を監視する。ここで、外接通信装置２０とは、外部データセンタＤＣｊの内部ネットワークと、外部データセンタＤＣｊとの間にあるデータセンタ間ネットワークと、の境界に存在する通信装置２０を指す。また、外部データセンタＤＣｊの外接通信装置２０の障害を監視する理由は、データセンタ間ネットワーク２に障害があった際もデータセンタＤＣｉ内と同様に顧客が障害の影響を受けた確度の推定を可能にするためである。なお、障害検知機能２０６の代わりに、障害検知機能２０６と同じ機能を有する外部の障害監視装置を用いても良い。

情報記憶部２１０は、通信装置管理テーブル２１１、フロー解析情報ＤＢ２１２、通信パターン情報テーブル２１３、顧客情報テーブル２１４、条件情報ＤＢ２１５、および外部ＤＣ情報ＤＢ２１６を有する。各テーブル２１２〜２１６は、たとえば、主記憶デバイス３０３に格納された情報により実現される。

なお、以後の説明では情報記憶部２１０に格納される情報を「テーブル」形式によって説明するが、これら情報は必ずしもテーブルによるデータ構造で表現されていなくても良く、リスト、ＤＢ、キュー等のデータ構造やそれ以外で表現されていても良い。そのため、データ構造に依存しないことを示すために「テーブル」、「リスト」、「ＤＢ」、「キュー」等について単に「情報」と呼ぶことがある。また、各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「名前」、「ＩＤ」という表現を用いることが可能であり、これらについてはお互いに置換が可能である。

通信装置管理テーブル２１１は、データネットワーク１０内に存在する通信装置２０を特定するデータ構造である。通信装置管理テーブルの詳細については、図６で後述する。

フロー解析情報ＤＢ２１２は、データネットワーク１０内に存在するフローの特徴を示すフロー解析情報（図８、図９で後述）を保持する。

通信パターン情報テーブル２１３は、データネットワーク１０内に存在するフローの通信パターンを保持するデータ構造である。

顧客情報テーブル２１４は、データセンタＤＣｉを利用する顧客の情報を規定するデータ構造である。

条件情報テーブル２１５は、時系列データから外れ値を検出する際や、複数のフローを組み合わせる際に利用される設定情報を保持するデータ構造である。

外部ＤＣ情報テーブル２１６は、外部データセンタＤＣｊにアクセスするための情報や、外部データセンタＤＣｊと共有した情報を保持するデータ構造である。

なお、フロー情報解析機能２０１、通信パターン解析機能２０２、外部連携機能２０４、不要データ削除機能２０５、または障害検知機能２０６の少なくともいずれかの機能は、管理装置５０と通信可能な外部装置が有してもよい。また、情報記憶部２１０も、管理装置５０と通信可能な外部装置が有してもよい。

＜データセンタＤＣｉおよびデータセンタＤＣｉ，ＤＣｊ間の構成例＞
図５は、データセンタＤＣｉおよびデータセンタＤＣｉ，ＤＣｊ間の詳細な構成例を示す説明図である。ただし、管理装置５０が稼働する環境は図５に示されるデータセンタＤＣｉ，ＤＣｊの構成に限定されるものではない。なお、それぞれのデータセンタＤＣｉ、ＤＣｊ内の構成要素の符号には、電子計算機６０ｉ，６０ｊのように、ｉ，ｊを付す。区別しない場合には、単に通信装置２０のようにｉ，ｊを省略する。また、それぞれのデータセンタＤＣｉ、ＤＣｊには通信装置２０は複数存在するため、それらを区別するために、通信装置２０ｉＡ，２０ｉＢ，通信装置２０ｊＡ，２０ｊＢのように末尾に大文字アルファベットを付す。区別しない場合には、単に通信装置２０ｉ，２０ｊのように大文字アルファベットを省略する。

データセンタＤＣｉとデータセンタＤＣｊとがデータセンタ間ネットワーク２を介して接続されており、データセンタＤＣｉとデータセンタＤＣｊは、それぞれ管理装置５０ｉ，５０ｊを有する。各通信装置２０ｉ（２０ｊ）および電子計算機６０ｉ（６０ｊ）間はデータネットワーク１０ｉ（１０ｊ）で接続されている。

データセンタＤＣｉ，ＤＣｊのような複数のデータセンタＤＣに跨って顧客システムが構成されている場合がある。このような顧客システムは、データセンタＤＣｉ，ＤＣｊに跨ったフローを発生させるため、それぞれのデータセンタＤＣｉ，ＤＣｊ内で、管理装置５０ｉ，５０ｊは、解析したフロー情報や障害情報を互いに共有することで通信障害の影響推定の精度を向上できる。本実施例は、複数のデータセンタＤＣの情報を共有して、通信障害の影響推定の精度を向上させている。また、データセンタＤＣｉ，ＤＣｊに跨ったネットワークシステム１は、データセンタ間ネットワーク２の障害の影響を受ける。このため、本実施例では、管理装置５０は、データセンタ間ネットワーク２の死活監視を行うことで、データセンタ間ネットワーク２の障害にも対応する。

また、各データセンタＤＣｉ，ＤＣｊにおいて、通信装置２０ｊＡを除く通信装置２０は、可用性向上や負荷分散を目的として冗長構成４１０をとる。通信装置２０が冗長構成４１０をとる場合、ある通信装置２０に障害が発生すると、当該通信装置２０を通過していたフローは冗長化された別の通信装置２０を通過するよう経路が変更される。このため、通信装置２０に障害が起きてもフローには障害の影響が現れない場合がある。本実施例では、管理装置５０は、障害の発生した通信装置２０が冗長化されているか判断し、障害の影響確度情報に冗長化の有無の情報を付加する。

＜各テーブルの記憶内容例＞
つぎに、情報記憶部２１０に記憶された各テーブルの記憶内容例について説明する。なお、以降の説明において、ＡＡフィールドｘｘｘ（ＡＡはフィールド名、ｘｘｘは符号）の値を、ＡＡｘｘｘと表記する。たとえば、通信装置ＩＤフィールド６０１の値を、通信装置ＩＤ６０１と表記する。

図６は、通信装置管理テーブル２１１の一例を示す説明図である。通信装置管理テーブル２１１は、データネットワーク１０内に存在する通信装置２０の構成情報を保持する。データセンタＤＣｉの管理者４３が、入出力デバイス２６を操作して、構成情報を予め設定する。ただし、管理者４３が制御ネットワーク１１を介して構成情報を設定できるようにしても良い。

通信装置管理テーブル２１１は、通信装置ＩＤフィールド６０１と、管理ＩＰアドレスフィールド６０２と、冗長化グループＩＤフィールド６０３と、を有し、各フィールドの値により、通信装置２０の構成情報を規定するエントリを構成する。すなわち、通信装置管理テーブル２１１では、一つの行であるエントリが、データネットワーク１０における１台の通信装置２０に対応する。

通信装置ＩＤフィールド６０１は、値として、通信装置ＩＤ６０１を格納する記憶領域である。通信装置ＩＤ６０１は、データセンタＤＣｉ内で通信装置２０を一意に特定する識別情報である。

管理ＩＰアドレスフィールド６０２は、値として、管理ＩＰアドレス６０２を格納する記憶領域である。管理ＩＰアドレス６０２は、通信装置ＩＤ６０１で特定される通信装置２０のＩＰアドレスである。管理ＩＰアドレス６０２は、他の通信装置２０と制御情報をやりとりする際に用いられる。管理ＩＰアドレス６０２は、ｓＦｌｏｗの送信元となる通信装置２０を特定する際や、他の通信装置２０から一定期間内における各仮想ネットワークのパケット総数を取得する際（図１９のＳＰ３１を参照）に使用される。

冗長化グループＩＤフィールド６０３は、値として、冗長化グループＩＤ６０３を格納する記憶領域である。冗長化グループＩＤ６０３は、通信装置２０がどのように冗長化されているかを特定する情報である。冗長化されている通信装置２０の組には同一の冗長化グループＩＤ６０３が付与される。図６の例では、通信装置ＩＤ６０１が「ＳｗｉｔｃｈＡ」の通信装置２０と「ＳｗｉｔｃｈＢ」の通信装置２０とに冗長化グループＩＤ６０３として共通の「１」が付与されている。したがって、通信装置ＩＤ６０１が「ＳｗｉｔｃｈＡ」の通信装置２０と「ＳｗｉｔｃｈＢ」の通信装置２０は、冗長構成をとる。

図７は、顧客情報テーブル２１４の一例を示す説明図である。顧客情報テーブル２１４は、データセンタＤＣｉを利用する顧客の情報を保持し、各フローと顧客とを関連付ける。本実施例において、各フローと顧客の関連付けは仮想ＮＷＩＤを用いる。これは通常のクラウドサービスにおいて、１つの仮想ネットワークを複数の顧客で共有することはないことに由来する。データセンタＤＣｉの管理者４３は入出力デバイス２６を操作して、顧客情報テーブル２１４に含まれる顧客情報を予め設定する。ただし、管理者４３が制御ネットワーク１１を介して顧客情報を設定できるようにしても良い。

顧客情報テーブル２１４は、顧客ＩＤフィールド７０１と、仮想ＮＷＩＤフィールド７０２と、重要度フィールド７０３と、を有し、各フィールドの値により顧客情報を規定するエントリを構成する。すなわち、顧客情報テーブル２１４では、一つの行であるエントリが、１つの仮想ネットワークに対応する。

顧客ＩＤフィールド７０１は、値として、顧客ＩＤ７０１を格納する記憶領域である。顧客ＩＤ７０１は、データセンタＤＣｉの計算機資源やアプリケーションを利用している顧客を一意に特定する識別情報である。顧客ＩＤ７０１は、管理装置５０が管理する複数のデータセンタＤＣ内で一意とする。

仮想ＮＷＩＤフィールド７０２は、値として、仮想ＮＷＩＤ７０２を格納する記憶領域である。仮想ＮＷＩＤ７０２は、顧客ＩＤ７０１で特定される顧客が利用している仮想ネットワークを一意に特定する識別情報である。

重要度フィールド７０３は、値として、重要度７０３を格納する記憶領域である。重要度７０３は、顧客ＩＤ７０１で特定される顧客に障害の影響が及んだ際のリスクの度合いを仮想ＮＷＩＤ７０２ごとに示す指標であり、たとえば、高・中・低で表現される。重要度７０３は、顧客の障害の影響確度からデータセンタＤＣｉの管理者４３が障害対応の優先順位を考える際の参考情報として利用される。

図８および図９は、フロー解析情報ＤＢ２１２の一例を示す説明図である。フロー解析情報ＤＢ２１２は、フロー情報解析機能２０１がフロー統計情報３０を解析することで生成されるフロー解析情報を保持する。具体的には、たとえば、フロー解析情報ＤＢ２１２は、フロー解析情報として、フロー特性情報テーブル８００と時系列データテーブル９００とを保持する。

図８は、フロー特性情報テーブル８００の一例を示す説明図である。フロー特性情報テーブル８００は、データネットワーク１０を流れるフローのフロー特性情報を格納する。フロー特性情報は、各フローの所属する仮想ネットワークを参照する際や、ｓＦｌｏｗフローサンプルから時系列データを生成する際に利用される。フロー特性情報テーブル８００は、フローＩＤフィールド８０１と、宛先ＭＡＣアドレスフィールド８０２と、送信元ＭＡＣアドレスフィールド８０３と、フレームタイプフィールド８０４と、宛先ＩＰアドレスフィールド８０５と、送信元ＩＰアドレスフィールド８０６と、ＩＰプロトコルフィールド８０７と、宛先ポート番号フィールド８０８と、送信元ポート番号フィールド８０９、仮想ＮＷＩＤフィールド８１０と、を有し、各フィールドの値により、フロー特性情報を規定するエントリを構成する。フロー特性情報テーブル８００では、一つの行であるエントリが、１つのフローに対応する。

フローＩＤフィールド８０１は、値として、フローＩＤ８０１を格納する記憶領域である。フローＩＤ８０１は、フローを一意に特定する識別情報である。フローＩＤ８０１は、データセンタＤＣｉ内で一意となる。

宛先ＭＡＣアドレスフィールド８０２は、値として、宛先ＭＡＣアドレス８０２を格納する記憶領域である。送信元ＭＡＣアドレスフィールド８０３は、値として、送信元ＭＡＣアドレス８０３を格納する記憶領域である。フレームタイプフィールド８０４は、値として、フレームタイプ８０４を格納する記憶領域である。宛先ＩＰアドレスフィールド８０５は、値として、宛先ＩＰアドレス８０５を格納する記憶領域である。送信元ＩＰアドレスフィールド８０６は、値として、送信元ＩＰアドレス８０６を格納する記憶領域である。ＩＰプロトコルフィールド８０７は、値として、ＩＰプロトコル８０７を格納する記憶領域である。宛先ポート番号フィールド８０８は、値として、宛先ポート番号８０８を格納する記憶領域である。送信元ポート番号フィールド８０９は、値として、送信元ポート番号８０９を格納する記憶領域である。仮想ＮＷＩＤフィールド８１０は、値として、仮想ＮＷＩＤ８１０を格納する記憶領域である。

図９は、時系列データテーブル９００の一例を示す説明図である。時系列データテーブル９００は、各フローの時刻別のパケット数を示す時系列データを格納する。時系列データは、通信パターン算出の際や、障害発生直前のリアルタイムデータの把握の際に利用される。時系列データテーブル９００は、フローＩＤフィールド９０１と、通信装置ＩＤフィールド９０２と、算出時刻フィールド９０３と、推定パケット数フィールド９０４と、取得元ＤＣＩＤフィールド９０５と、を有し、各フィールドの値により時系列データを規定するエントリを構成する。すなわち、時系列データテーブル９００では、１つの行がデータセンタＤＣｉで取得された１時刻における１フローのデータ群に対応する。

フローＩＤフィールド９０１は、値として、フローＩＤ９０１を格納する記憶領域である。フローＩＤ９０１は、フローを一意に特定する識別情報である。フローＩＤ９０１は、データセンタＤＣｉ内で一意となる。なお、算出時刻９０３の相違により、同一フローＩＤ９０１のエントリが複数存在する。

通信装置ＩＤフィールド９０２は、値として、通信装置ＩＤ９０２を格納する記憶領域である。通信装置ＩＤ９０２は、データセンタＤＣｉ内で通信装置２０を一意に特定する識別情報である。具体的には、通信装置ＩＤ９０２は、フローＩＤ９０１で特定されるフローの算出時刻９０３において、パケットサンプリングで当該フローのフロー特性情報を出力した通信装置２０の通信装置ＩＤ９０２である。

算出時刻フィールド９０３は、値として、算出時刻９０３を格納する記憶領域である。算出時刻９０３は、フロー情報解析機能２０１が時系列データを算出した際の時刻である。

推定パケット数フィールド９０４は、値として、推定パケット数９０４を格納する記憶領域である。推定パケット数９０４は、前回時系列データを算出してから、今回時系列データを算出するまでにデータネットワーク１０ｉを通過した当該フローのパケット数の推定値となる通信量である。

取得元ＤＣＩＤフィールド９０５は、値として、取得元ＤＣＩＤ９０５を格納する記憶領域である。取得元ＤＣＩＤ９０５は、時系列データを外部データセンタＤＣｊから取得した場合の当該外部データセンタＤＣｊを一意に特定する識別情報である。なお、取得元ＤＣＩＤフィールド９０５が空（「−」で表記）であるエントリは、自身のデータセンタＤＣｉで取得した時系列データを示す。

図１０は、通信パターン情報テーブル２１３の一例を示す説明図である。通信パターン情報テーブル２１３は、データネットワーク１０内に存在するフローの周期情報を含む通信パターン情報を保持する。通信パターン情報は、通信パターン解析機能２０２がフロー解析情報ＤＢ２１２を解析することで生成される情報である。

通信パターン情報テーブル２１３は、フィールドとして、フローＩＤフィールド１００１と、通信経路フィールド１００２と、周期性フィールド１００３と、周期フィールド１００４と、パターンＩＤフィールド１００５と、データ区間フィールド１００６と、を有し、各フィールドの値により、通信パターン情報を規定するエントリを構成する。すなわち、通信パターン情報テーブル２１３では、１つの行が通信パターン情報に対応する。具体的には、フローの周期情報は、同一行のフローＩＤ１００１、周期性１００３、および周期１００４で構成される。

フローＩＤフィールド１００１は、値として、フローＩＤ１００１を格納する記憶領域である。フローＩＤ１００１は、フローを一意に特定する識別情報である。フローＩＤ１００１は、データセンタＤＣｉ内で一意となる。複数フローを組み合わせて周期が算出された場合、一エントリに複数のフローＩＤ１００１が格納される。

通信経路フィールド１００２は、値として、通信経路１００２を格納する記憶領域である。通信経路１００２は、通信経路１００２は、フローＩＤ１００１で特定されるフローが通過した通信装置２０の識別子である通信経路ＩＤである。

周期性フィールド１００３は、値として、周期性１００３を格納する記憶領域である。周期性１００３は、フローＩＤ１００１で特定される各フローの周期性の有無を示す情報であり、たとえば、「あり」、「なし」の２値である。「あり」の場合は、パターンＩＤ１００５の通信パターンは、各データ区間１００６において周期１００４で繰り返す波形であることを意味する。

周期フィールド１００４は、値として、周期１００４を格納する記憶領域である。周期１００４は、フローＩＤ１００１で特定される各フローの一周期の時間（秒）である。

パターンＩＤフィールド１００５は、値として、パターンＩＤ１００５を格納する記憶領域である。パターンＩＤ１００５は、フローＩＤ１００１で特定される各フローの通信パターンを一意に特定する識別情報である。通信パターンは１つの周期性１００３を持つフローに対し、複数存在する場合がある。

データ区間フィールド１００６は、値として、データ区間１００６を格納する記憶領域である。データ区間１００６は、パターンＩＤ１００５で特定される通信パターンの区間を規定する情報である。周期性１００３が「あり」の場合、データ区間フィールド１００６内の一行一行が、周期を示す。

パターンＩＤ１００５のデータ区間１００６内に該当する算出時刻９０３の推定パケット数９０４を時刻順に並べた時系列データは、フローの通信量（推定パケット数９０４）の周期的な経時的変化を示す通信パターンとなる。

図１１および図１２は、条件情報ＤＢ２１５の一例を示す説明図である。条件情報ＤＢ２１５は、時系列データから外れ値を検出する際や、複数フローを組み合わせる際に利用される設定情報を保持する。具体的には、たとえば、条件情報ＤＢ２１５は、フロー除外条件１１００とフロー組み合わせ条件１２００とを保持する。なお、フロー除外条件１１００およびフロー組み合わせ条件１２００は、具体的には、たとえば、データセンタＤＣｉの管理者４３が入出力デバイス２６を利用して予め設定される。ただし、制御ネットワーク１１を介して管理者４３が設定できるようにしても良い。

図１１は、フロー除外条件１１００の一例を示す説明図である。フロー除外条件１１００は、外れ値として除外されるべきフロー特性情報（フロー特性情報テーブル８００のエントリ）の条件を規定する情報であり、通信パターンの解析に利用される。フロー除外条件１１００は、除外条件１１０１を保持する。除外条件１１０１は、外れ値となるフロー特性情報の条件を格納する。除外条件１１０１は、たとえば、フロー特性情報の構成要素（フローＩＤ８０１以外のフロー特性情報テーブル８００の値８０２〜８１０の少なくともいずれか１つ）と、任意のパラメータと、Ｃ言語における比較演算子と、論理演算子と、で表現される。例として、「フレームタイプ＝＝“ＡＲＰ”」という条件がある場合、フロー特性情報テーブル８００内の各エントリのうち、フレームタイプ８０４が「ＡＲＰ」であるエントリで規定されるフローについては、通信パターンは計算されないということを表す。

図１２は、フロー組み合わせ条件１２００の一例を示す説明図である。フロー組み合わせ条件１２００は、周期性が見られないフローを複数組み合わせる際に、その組み合わせ方の条件を規定する情報であり、通信パターンの解析に利用される。フロー組み合わせ条件１２００は、パラメータ条件１２０１と同一フロー数１２０２とを有する。これは、フローを組み合わせは「同一の送信元ＩＰアドレス８０６を持ち、かつ周期性１００３の無いフローが２０個以上あった場合にそれらのフローを組み合わせる」というように組合せ条件を指定するためである。

パラメータ条件１２０１は、複数フローを組み合わせる際に一致していなければならないフロー特性情報の条件を格納する。具体的には、たとえば、パラメータ条件１２０１は、フロー特性情報の構成要素（フローＩＤ８０１以外のフロー特性情報テーブル８００の値８０２〜８１０の少なくともいずれか１つ）と、Ｃ言語における比較演算子と、論理演算子と、で表現される。例として、「送信元ＩＰアドレス１＝＝宛先ＩＰアドレス２」という条件がある場合、フロー特性情報テーブル８００内のフローＩＤ８０１が「Ａ」（以下、フローＡ）、「Ｂ」（以下、フローＢ）の各エントリにおいて、フローＡの送信元ＩＰアドレス８０６がフローＢの宛先ＩＰアドレス８０５であれば、フローＡとフローＢは、組合せ可能であるということを表す。

同一フロー数１２０２は、パラメータ条件１２０１の条件を満たし、かつ周期性１００３の無いフローがいくつ以上必要かという情報を格納する。

図１３〜図１５は、外部ＤＣ情報ＤＢ２１６の一例を示す説明図である。外部ＤＣ情報ＤＢ２１６は、外部データセンタＤＣｊにアクセスするための情報や、外部データンセンタＤＣｊと共有した情報を保持する。外部ＤＣ情報ＤＢ２１６は、外部ＤＣ管理情報テーブル１３００と外部ＤＣ障害テーブル１４００と外部ＤＣ顧客情報テーブル１５００からなる。

図１３は、外部ＤＣ管理情報テーブル１３００の一例を示す説明図である。外部ＤＣ管理情報テーブル１３００は、外部データンセンタＤＣｊにアクセスする情報を保持する。外部ＤＣ管理情報テーブル１３００は、たとえば、後述する障害監視（ＳＰ１３）で利用される。

外部ＤＣ管理情報テーブル１３００は、ＤＣＩＤフィールド１３０１と、障害推定システムＩＰアドレスフィールド１３０２と、外接ＩＰアドレスフィールド１３０３と、を有し、各フィールドの値により外部データンセンタＤＣｊにアクセスする情報を規定するエントリを構成する。外部ＤＣ管理情報テーブル１３００は、具体的には、たとえば、データセンタＤＣｉの管理者４３が入出力デバイス２６を利用して予め設定される。ただし、制御ネットワーク１１を介して管理者４３が設定できるようにしても良い。

ＤＣＩＤフィールド１３０１は、値として、ＤＣＩＤ１３０１を格納する記憶領域である。ＤＣＩＤ１３０１は、データセンタＤＣｉ外の外部データセンタＤＣｊを一意に特定する識別情報である。

障害推定システムＩＰアドレスフィールド１３０２は、値として、障害推定システムＩＰアドレス１３０２を格納する記憶領域である。障害推定システムＩＰアドレス１３０２は、ＤＣＩＤ１３０１で特定される外部データセンタＤＣｊにある管理装置５０の管理ＩＰアドレスであり、各データセンタＤＣ内の管理装置５０間の情報共有のために利用される。

外接ＩＰアドレスフィールド１３０３は、値として、外接ＩＰアドレス１３０３を格納する記憶領域である。外接ＩＰアドレス１３０３は、ＤＣＩＤ１３０１で特定される外部データセンタＤＣｊの外接通信装置の管理ＩＰアドレスであり、データセンタ間ネットワーク２の死活監視に利用される。外接通信装置とは、外部データセンタＤＣｊ内にあり、かつ、データセンタ間ネットワーク２に直接接続されている通信装置２０ｊである。図５の例では、通信装置２０ｊＡが外接通信装置である。

図１４は、外部ＤＣ障害テーブル１４００の一例を示す説明図である。外部ＤＣ障害テーブル１４００は、外部データセンタＤＣｊにて発生した障害情報を格納する。外部ＤＣ障害テーブル１４００は、外部データセンタＤＣｊの障害の影響を受けたフローの時系列データを、誤検出を招く可能性のある外れ値として判断して不要データ削除時に削除するために利用される。

外部ＤＣ障害テーブル１４００は、ＤＣＩＤフィールド１４０１と、障害発生時刻フィールドは、値として１４０２と、障害復旧時刻フィールド１４０３と、を有し、各フィールドの値により外部データセンタＤＣｊの障害情報を規定するエントリを構成する。

ＤＣＩＤフィールド１４０１は、値として、ＤＣＩＤ１４０１を格納する記憶領域である。ＤＣＩＤ１４０１は、データセンタＤＣｉ外で障害が発生または復旧した外部データセンタＤＣｊを一意に特定する識別情報である。

障害発生時刻フィールド１４０２は、値として、障害発生時刻１４０２を格納する記憶領域である。障害発生時刻１４０２は、ＤＣＩＤ１４０１で特定されるデータセンタＤＣｊで障害が発生した時刻である。

障害復旧時刻フィールド１４０３は、値として、障害復旧時刻１４０３を格納する記憶領域である。障害復旧時刻１４０３は、ＤＣＩＤ１４０１で特定されるデータセンタＤＣｊで障害が復旧した時刻である。

図１５は、外部ＤＣ顧客情報テーブル１５００の一例を示す説明図である。外部ＤＣ顧客情報テーブル１５００は、外部データセンタＤＣｊと自身のデータセンタＤＣｉに共通して流れる共通フロー情報を保持する。外部ＤＣ顧客情報テーブル１５００は、外部データセンタＤＣｊ内の時系列データを取得するために利用される。

外部ＤＣ顧客情報テーブル１５００は、ＤＣＩＤフィールド１５０１と、格納顧客ＩＤフィールド１５０２と、フローＩＤフィールド１５０３と、を有し、各フィールドの値により、共通フロー情報を規定するエントリを構成する。

ＤＣＩＤフィールド１５０１は、値として、ＤＣＩＤ１５０１を格納する記憶領域である。ＤＣＩＤ１５０１は、データセンタＤＣｉ外の外部データセンタＤＣｊを一意に特定する識別情報である。

格納顧客ＩＤフィールド１５０２は、値として、格納顧客ＩＤ１５０２を格納する記憶領域である。格納顧客ＩＤ１５０２は、ＤＣＩＤ１５０１で特定される外部データセンタＤＣｊと自身のデータセンタＤＣｉに共通して存在する顧客を一意に特定する識別情報である。

フローＩＤフィールド１５０３は、値として、フローＩＤ１５０３を格納する記憶領域である。フローＩＤ１５０３は、ＤＣＩＤ１５０１で特定される外部データセンタＤＣｊと自身のデータセンタＤＣｉに共通して存在するフローを一意に特定する識別情報である。

＜顧客障害影響推定シーケンス＞
つぎに、顧客障害影響推定シーケンスについて説明する。顧客障害影響推定シーケンスは、通信装置２０から送信されてくるフロー統計情報３０を解析することにより顧客障害影響を推定するシーケンスである。フロー統計情報３０は、たとえば、ｓＦｌｏｗサンプルパケットとする。

図１６は、サンプルパケットのフォーマット例を示す説明図である。サンプルパケット１６００は、ヘッダ部１６０１とデータ部１６０２とを有する。ヘッダ部１６０１は、ＩＰヘッダ１６１１とＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）ヘッダ１６１２とｓＦｌｏｗヘッダ１６１３とを有する。データ部１６０２は、フローサンプルヘッダ１６２１とフローサンプルデータ１６２２との組み合わせをフローごとに含む。

フローサンプルデータ１６２２は、図２に示したフロー統計情報３０である。フローサンプルデータ１６２２には、たとえば、（Ａ），（Ｂ）の２種類のフォーマットがある。（Ａ）は、ＶＬＡＮで仮想ネットワークを実現した場合のフローサンプルデータ１６２２のフォーマット例である。（Ｂ）は、ＶｘＬＡＮで仮想ネットワークを実現した場合のフローサンプルデータ１６２２のフォーマット例である。（Ａ），（Ｂ）の違いは、たとえば、外部ヘッダ１６３０の有無や仮想ＮＷＩＤ１６３６として参照するデータである。（Ａ），（Ｂ）の両フォーマットは、宛先ＭＡＣアドレス１６３１、送信元ＭＡＣアドレス１６３２、仮想ＮＷＩＤ１６３３、フレームタイプ１６３４、宛先ＩＰアドレス１６３５、送信元ＩＰアドレス１６３６、ＩＰプロトコル１６３７、宛先ポート番号１６３８、および送信元ポート番号１６３９を有する。なお、宛先ＭＡＣアドレス１６３１〜送信元ポート番号１６３９が、フロー特性情報としてフロー特性情報テーブル８００に格納される。

図１７は、フロー統計情報解析結果テーブルの一例を示す説明図である。フロー統計情報解析結果テーブル１７００は、フロー解析情報ＤＢ２１２に格納される。フロー統計情報解析結果テーブル１７００は、フロー統計情報３０（フローサンプルデータ１６２２）の解析結果を格納するテーブルである。フロー統計情報解析結果テーブル１７００は、フローＩＤフィールド１７０１と、通信装置ＩＤフィールド１７０２と、取得時刻フィールド１７０３と、を有し、各フィールドの値により、フローごとの解析結果を規定するエントリを構成する。

フローＩＤフィールド１７０１は、値として、フローＩＤ１７０１を格納する記憶領域である。フローＩＤ１７０１は、フローを一意に特定する識別情報であり、サンプルパケット１６００に含まれるフロー特性情報に対応する。

通信装置ＩＤフィールド１７０２は、値として、通信装置ＩＤ１７０２を格納する記憶領域である。通信装置ＩＤ１７０２は、データセンタＤＣｉ内で通信装置２０を一意に特定する識別情報である。具体的には、通信装置ＩＤ１７０２は、フローＩＤ８０１で特定されるフローにおいて、サンプルパケット１６００を送信した通信装置２０の識別情報である。具体的には、たとえば、通信装置ＩＤ１７０２は、サンプルパケット１６００のＩＰヘッダ１６１１に含まれる送信元ＩＰアドレスに一致する管理ＩＰアドレス６０２に対応する通信装置ＩＤ６０１である。

取得時刻フィールド１７０３は、値として、取得時刻１７０３を格納する記憶領域である。取得時刻１７０３は、通信装置２０からサンプルパケット１６００を受信して、フロー統計情報３０（フローサンプルデータ１６２２）を取得した時刻である。

図１８は、顧客障害影響推定シーケンス例を示す説明図である。顧客障害影響推定シーケンス例は、通信装置２０からサンプルパケット１６００を受信し、サンプルパケット１６００からフロー統計情報（フローサンプルデータ１６２２）を取得してから、管理装置５０が障害発生時に各顧客の障害影響確度を推定し、障害影響情報を送信するまでの処理の一連の流れを示す。なお、図１８において点線で囲まれた処理（ＳＰ３〜ＳＰ１３）の各々は、たとえば、一定時間間隔またはイベント駆動により実行される処理である。

管理装置５０が通信装置２０からのサンプルパケット１６００内のフロー統計情報３０を取得すると（ＳＰ１）、まず、フロー情報解析機能２０１がフロー統計情報解析を行う（ＳＰ２）。フロー統計情報解析（ＳＰ２）とは、具体的には、たとえば、フロー統計情報３０（フローサンプルデータ１６２２）を解析して、データセンタＤＣｉ内に流れるフローの特性を調べる処理であり、公知の技術を用いて実現される。本実施例において、フロー統計情報３０はｓＦｌｏｗサンプルパケットであるため、フロー統計情報解析（ＳＰ２）はｓＦｌｏｗフローサンプルの構文解析（パース）処理である。

具体的には、たとえば、フロー統計情報解析（ＳＰ２）において、フロー情報解析機能２０１は、フロー統計情報３０（フローサンプルデータ１６２２）をサンプルパケット１６００に対応したパケット解析プログラムに入力する。フロー情報解析機能２０１は、フロー統計情報３０（フローサンプルデータ１６２２）に含まれるフロー特性情報をフローごとに取得する。そして、フロー情報解析機能２０１は、フローＩＤ８０１を発行して、当該フローＩＤ８０１と取得したフロー特性情報とを関連付けて、図８のフロー特性情報テーブル８００のエントリを生成する。なお、一致するフロー特性情報を有するエントリがすでにフロー特性情報テーブル８００に存在する場合は、フロー情報解析機能２０１は、エントリを生成しない。

また、フロー情報解析機能２０１は、発行したフローＩＤ８０１を、フロー統計情報解析結果テーブル１７００のフローＩＤフィールド１７０１にフローＩＤ１７０１として格納する。また、フロー情報解析機能２０１は、通信装置管理テーブル２１１を参照して、サンプルパケット１６００のＩＰヘッダ１６１１に含まれる送信元ＩＰアドレスに一致する管理ＩＰアドレス６０２を特定し、特定した管理ＩＰアドレスに対応する通信装置ＩＤ６０１を特定する。そして、フロー情報解析機能２０１は、特定した通信装置ＩＤ６０１を、上記格納したフローＩＤ１７０１と同一エントリの通信装置ＩＤフィールド１７０２に、通信装置ＩＤ１７０２として格納する。

また、フロー情報解析機能２０１は、フローＩＤ１７０１として格納されたフローＩＤ８０１で特定されるフローについて、通信装置２０からサンプルパケット１６００を受信して、フロー統計情報（フローサンプルデータ１６２２）を取得した時刻を、取得時刻１７０３として取得時刻フィールド１７０３に格納する。これにより、フロー統計情報解析結果テーブル１７００のエントリが生成される。

これにより、フロー情報解析機能２０１は、フロー統計情報解析（ＳＰ２）を終了する。なお、フロー統計情報解析結果テーブル１７００のエントリは、後述する時系列データ算出（ＳＰ３）が実行されるまで、主記憶デバイス３０３に保存され、時系列データ算出（ＳＰ３）の終了後にフロー情報解析機能２０１が削除する。

つぎに、フロー情報解析機能２０１は、決められた間隔（たとえば、１０分おきなど）で時系列データ算出を行う（ＳＰ３）。時系列データ算出（ＳＰ３）の詳細は、図１９で後述する。算出される時系列データは、図９に示した時系列データテーブル９００のフローごとのエントリである。フロー情報解析機能２０１は、算出した時系列データを通信パターン解析機能２０２に提供する。当該時系列データは、通信パターン推定（ＳＰ１１）で利用される。

また、外部連携機能２０４は、ＤＣ間データ共有を行う（ＳＰ５）。ＤＣ間データ共有は、外部連携機能２０４を有する管理装置５０ｉが所属するデータセンタＤＣｉおよび外部データセンタＤＣｊ（以下、複数のデータセンタＤＣ）に跨ったフローの時系列データを当該複数のデータセンタＤＣ間で共有することを目的とした処理である。ＤＣ間データ共有（ＳＰ５）は、複数のデータセンタＤＣに跨ったフローの通信パターンをより正確に推定できる可能性を高める。ＤＣ間データ共有（ＳＰ５）は大きく３つの処理（ＳＰ５−１〜ＳＰ５−３）で構成される。以下、処理内容を詳述する。

第一の処理（ＳＰ５−１）は、自身のデータセンタＤＣｉ内に格納された顧客情報（顧客情報テーブル２１４のエントリ）を外部データセンタＤＣｊに通知する処理である。第一の処理（ＳＰ５−１）は、たとえば、一定時間間隔おきに実行される。外部連携機能２０４は、顧客情報テーブル２１４内のエントリを、外部ＤＣ管理情報テーブル１３００の障害推定システムＩＰアドレス１３０２を宛先として送信する。なお、外部連携機能２０４は、顧客情報として全フィールドの値を毎回送信しても良いし、前回送信した顧客情報からの差分情報（ただし、顧客ＩＤ７０１は必ず含む）のみ送信しても良い。

第二の処理（ＳＰ５−２）は、外部データセンタＤＣｊからの情報取得要求に応答し、該当する情報を送信する処理である。外部データセンタＤＣｊから要求される情報は、たとえば、顧客ＩＤ７０１で特定される顧客のフロー特性情報または仮想ＮＷＩＤ８１０以外のフロー特性情報で示される特定のフローの時系列データの２種類である。

特定の顧客のフロー特性情報を要求された場合、外部連携機能２０４は、要求された特定の顧客の顧客ＩＤ７０１に関連付けされた１以上の仮想ＮＷＩＤ７０２を顧客情報テーブル２１４から取得する。つぎに、外部連携機能２０４は、フロー特性情報テーブル８００から、取得した仮想ＮＷＩＤ７０２を含むフロー特性情報を仮想ＮＷＩＤ７０２に一致する仮想ＮＷＩＤ８１０ごとに取得する。そして、外部連携機能２０４は、取得したフロー特性情報からフローＩＤ８０１および仮想ＮＷＩＤ８１０を除いた情報を、要求元の外部データセンタＤＣｊに送信する。

また、特定のフローの時系列データを要求された場合、外部連携機能２０４は、フロー特性情報テーブル８００から、要求されたフローのフロー特性情報に一致するフローＩＤ８０１を取得する。つぎに、外部連携機能２０４は、時系列データテーブル９００を参照して、取得したフローＩＤ８０１と一致するフローＩＤ９０１のエントリ（複数個ある場合がある）を取得する。そして、外部連携機能２０４は、取得したエントリのうち、取得元ＤＣＩＤ９０５が空（すなわち、自身のデータセンタＤＣｉで取得した時系列データ）かつ、算出時刻９０３が現在時刻から予め定められた一定時刻前までのエントリ群を抽出する。その後、外部連携機能２０４は、抽出したエントリ群の算出時刻９０３および推定パケット数９０４を、要求元の外部データセンタＤＣｊに送信する。

なお、第二の処理（ＳＰ５−２）で送信される情報は前回要求されてからの差分情報だけでも良い。また、要求のたびに情報を送信するのではなく、一度情報取得要求を行ったデータセンタＤＣｊに対して、定期的に新規情報を送信するようにしても良い。

第三の処理（ＳＰ５−３）は、外部データセンタＤＣｊから、自身のデータセンタＤＣｉと外部データセンタＤＣｊに跨って流れるフローの時系列データを取得する処理である。まず、外部連携機能２０４は、外部データセンタＤＣｊが格納する顧客情報を把握するため、外部データセンタＤＣｊから定期的に送信される顧客ＩＤを外部ＤＣ顧客情報テーブル１５００の格納顧客ＩＤフィールド１５０２に格納する。

ここで、格納顧客ＩＤ１５０２と同一の顧客ＩＤが顧客情報テーブル２１２の顧客ＩＤフィールド７０１に存在する場合、外部連携機能２０４は、当該顧客ＩＤ７０１のフロー特性情報の取得要求を外部データセンタＤＣｊに送信する。このフロー特性情報の取得要求により、外部連携機能２０４は、外部データセンタＤＣｊから、外部データセンタＤＣｊに流れる当該顧客ＩＤ７０１のフロー特性情報群を受信する。当該フロー特性情報群を受信後、外部連携機能２０４は、受信したフロー特性情報に一致するフローをフロー特性情報テーブル８００から検索する。

受信したフロー特性情報に一致するフローが存在する場合、外部連携機能２０４は、そのフローは自身のデータセンタＤＣｉと外部データセンタＤＣｊに跨って流れていると判断する。そして、外部連携機能２０４は、当該フローのフロー特性情報をキーとして、当該フローの時系列データ取得要求を外部データセンタＤＣｊに送信する。これにより、外部連携機能２０４は、外部データセンタＤＣｊから、外部データセンタＤＣｊに流れる当該顧客ＩＤ７０１の時系列データを受信する。

時系列データを受信後、外部連携機能２０４は、受信した時系列データを時系列データテーブル９００に格納する。このとき、外部連携機能２０４は、フロー特性情報テーブル８００から当該フローのフロー特性情報と一致するエントリのフローＩＤ８０１を取得して、フローＩＤフィールド９０１に格納し、通信装置ＩＤフィールド９０２に空の値を格納し、取得元ＤＣフィールド９０５に時系列データを送信した外部データセンタＤＣｊのＤＣＩＤを格納する。

ここで、ＤＣ間データ共有（ＳＰ５）は、各データセンタＤＣｉの管理装置５０による自律分散型の処理であるが、自律分散処理に限定されるものでは無く、集中管理型であっても良い。集中管理型のＤＣ間データ共有（ＳＰ５）では、管理装置５０は、たとえば、特定の管理装置５０に管理対象の全データセンタＤＣｉの顧客情報、フロー特性情報、または時系列データを集約する。そして、各データセンタＤＣｉの管理装置５０は、これらの情報が集約された特定の管理装置５０から必要な情報を取得することで実現できる。ＤＣ間データ共有（ＳＰ５）により取得した時系列データは、通信パターン推定で利用される（ＳＰ６）。

つぎに、外部データセンタＤＣｊの障害情報が通知された際（ＳＰ７）、外部連携機能２０４は、外部ＤＣ障害登録を行う（ＳＰ８）。障害情報とは、障害が発生したことを通知する障害発生情報または障害が復旧したことを通知する障害復旧情報の総称である。障害情報が障害発生情報の場合、障害発生時刻を含み、障害復旧情報の場合は障害復旧時刻を含む。

外部ＤＣ障害登録（ＳＰ８）は、外部データセンタＤＣｊの障害情報を外部ＤＣ障害テーブル１４００に登録する処理である。具体的には、たとえば、外部ＤＣ障害登録（ＳＰ８）が開始されると、外部連携機能２０４は、障害情報の送信元ＩＰアドレスをキーとして外部ＤＣ管理情報テーブル１３００を検索し、障害情報の送信元ＩＰアドレスに一致する障害推定システムＩＰアドレス１３０２を特定し、障害推定システムＩＰアドレス１３０２に対応するＤＣＩＤ１３０１を抽出する。外部連携機能２０４は、抽出したＤＣＩＤ１３０１を、外部ＤＣ障害テーブル１４００のＤＣＩＤフィールド１４０１に格納する。

また、外部連携機能２０４は、障害情報内の障害発生時刻または障害復旧時刻を、外部ＤＣ障害テーブル１４００の障害発生時刻１４０２または障害復旧時刻１４０３に格納する。外部ＤＣ障害テーブル１４００の情報は、通信パターン解析機能２０２が、通信パターン推定（ＳＰ１１）を行う際、自身のデータセンタＤＣｉと外部データセンタＤＣｊに跨って流れるフローの通信パターンが、外部データセンタＤＣｊの障害の影響で変化した可能性を判断するために利用される（ＳＰ９）。

不要データ削除機能２０５は、決められた間隔（たとえば、２４時間おきなど）で不要データ削除処理を実施する（ＳＰ１０）。不要データ削除処理（ＳＰ１０）は、フロー特性情報テーブル８００、時系列データテーブル９００、および、外部ＤＣ顧客情報テーブル１５００から一定の条件を満たしたデータを削除する処理である。不要データ削除処理（ＳＰ１０）は、管理装置５０が保持するデータ量を削減し、かつ誤ったデータを参照することによる影響確度の誤推定を抑制することができる。これにより、影響確度推定精度が向上する。不要データ削除処理（ＳＰ１０）の詳細は、図２１で詳述する。

通信パターン解析機能２０２は、たとえば、決められた時間間隔（１時間おきなど）で通信パターン推定を実行する（ＳＰ１１）。通信パターン推定（ＳＰ１１）は、時系列データテーブル９００や外部ＤＣ障害テーブル１４００を用い、データネットワーク１０を流れるフローの通信パターンを周期性に基づいて推定する処理である。通信パターン推定（ＳＰ１１）は、各フローの通信パターンを生成し、障害発生時に各フローが通信していた確度を推定することを可能にする。通信パターン推定（ＳＰ１１）の詳細は、図２２で詳述する。ここで算出した通信パターンは、障害の影響確度推定処理で利用される（ＳＰ１２）。

障害検知機能２０６は、常時、障害監視を実行する（ＳＰ１３）。ただし、障害監視（ＳＰ１３）は外部の障害監視装置を用いて実施しても良い。障害監視（ＳＰ１３）は、自身のデータセンタＤＣｉやデータセンタ間ネットワーク２についての障害の発生または復旧を検知する。本実施例において障害監視（ＳＰ１３）が対象とする障害は、一例として、通信装置２０が稼働しているかという単純な死活監視のみであるが、これ以外に外部の障害監視装置を用いて、通信装置２０のインタフェースごとの死活監視や仮想ネットワークごとのエラーパケット数の増加率を監視してもよい。

障害監視（ＳＰ１３）は、たとえば、決められた間隔（１０秒おきなど）で通信装置２０の管理ＩＰアドレスへの疎通を確認することで実現される。ここで用いられる管理ＩＰアドレスは、通信装置管理テーブル２１１の管理ＩＰアドレス６０２や外部ＤＣ管理情報テーブル１３００の外接ＩＰアドレス１３０３である。障害検知機能２０６は、これらのＩＰアドレスに対し、たとえば、ＩＣＭＰ（Ｉｎｔｅｒｎｅｔ Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ Ｐｒｏｔｏｃｏｌ）のＥｃｈｏ Ｒｅｑｕｅｓｔパケットを送信し、一定時間以上ＩＣＭＰのＥｃｈｏ Ｒｅｐｌｙパケットが返送されなければ、障害が発生したと判断する。

反対に、障害状態から通信装置２０の管理ＩＰアドレスへの疎通が再開すれば、障害検知機能２０６は、当該通信装置２０の障害が復旧したと判断する。なお、外部データセンタＤＣｊの外接通信装置の死活監視に失敗した際は、障害検知機能２０６は、データセンタ間ネットワーク２に障害が発生したと判断し、反対に障害状態から疎通が再開すれば、データセンタ間ネットワーク２に障害が復旧したと判断する。

障害監視（ＳＰ１３）により障害の発生または復旧が検知されると、障害検知機能２０６は、影響確度推定機能２０３および外部連携機能２０４に障害情報を通知する（ＳＰ１４）。上述したように、障害情報には、障害発生情報と障害復旧情報の２種類がある。障害発生情報は、障害発生時刻と、障害の発生した通信装置の通信装置ＩＤとを含む。データセンタ間ネットワーク２で障害が発生した場合は、これに加え、障害の影響を受けた可能性のあるフロー一覧も含まれる。一方、障害復旧情報は、障害復旧時刻と、障害の復旧した通信装置の通信装置ＩＤとを含む。

障害情報の通知（ＳＰ１４）を受けると、外部連携機能２０４は障害情報通知を行う（ＳＰ１５）。障害情報通知（ＳＰ１５）とは、障害情報を外部データセンタＤＣｊに通知する処理である。外部データセンタＤＣｊに通知する障害情報は、前述のように外部データセンタＤＣｊの情報をもとに通信パターンの外れ値を検出するために利用される。具体的には、たとえば、障害情報通知（ＳＰ１５）では、外部連携機能２０４は、障害発生情報の通知を受けると（ＳＰ１４）、障害発生情報に含まれている障害発生時刻および障害の発生した通信装置ＩＤを保持しておき、障害復旧情報の通知を受けると、保持した障害発生時刻の中から、通知された障害復旧情報と通信装置ＩＤが等しく、かつ障害発生時刻が最も新しい障害発生情報を呼び出す。そして、外部連携機能２０４は、障害発生時刻および障害復旧時刻を格納した外部ＤＣ障害情報を、連携する全外部データセンタＤＣｊに送信する。

最後に、影響確度推定機能２０３は、障害発生情報の通知（ＳＰ１４）を受けると、影響確度推定を実行する（ＳＰ１６）。影響確度推定（ＳＰ１６）は、通信パターン情報を基に、障害発生時に各フローが障害の発生した通信装置を通過していた確度の推定により、障害時に影響を顧客が受けた確度を算出する。影響確度推定（ＳＰ１６）の詳細は図２３で後述する。影響確度推定機能２０３は、影響確度推定処理が終了すると、通知先４０に影響確度情報３２を送信する（ＳＰ１７）。

＜顧客障害影響推定シーケンス内処理のフローチャート＞
［時系列データ算出（ＳＰ３）］
図１９は、図１８に示したフロー情報解析機能２０１における時系列データ算出（ＳＰ３）の詳細な処理手順例を示すフローチャートである。時系列データ算出（ＳＰ３）は決められた間隔（以降、時系列算出間隔と呼称する）で実行される。時系列データ算出（ＳＰ３）は、フロー統計情報解析結果テーブル１７００に格納されたフローの情報から、時系列算出間隔の時間帯に通過した各フローの推定パケット数を算出する処理である。

なお、時系列データ算出（ＳＰ３）は、単純にサンプルパケット１６００の数をカウントするのではなく、通信装置２０の仮想ＮＷ統計算出機能２３がカウントしている仮想ネットワークごとの通過パケット総数とサンプルパケット１６００の情報を組み合わせてパケット数の推定精度を向上させる。また、時系列データ算出（ＳＰ３）は、複数の通信装置２０でそれぞれ算出した推定パケット数の平均値を最終的な出力にすることでパケット数の推定精度を向上させる。

時系列データ算出（ＳＰ３）が開始されると、フロー情報解析機能２０１は、まず、各仮想ネットワーク内における各フローのサンプルパケット１６００の取得割合を通信装置ＩＤごとに算出する（ＳＰ３０）。具体的には、たとえば、フロー情報解析機能２０１は、フロー統計情報解析結果テーブル１７００の全エントリ、すなわち、時系列データ算出間隔の時間帯にデータネットワーク１０でサンプリングされたサンプルパケット１６００を通信装置ＩＤ１７０２ごとに分類する。また、フロー情報解析機能２０１は、フロー特性情報テーブル８００を参照して、フローＩＤ１７０１に一致するフローＩＤ８０１のエントリを検索し、当該エントリの仮想ＮＷＩＤ８１０を特定する。フロー情報解析機能２０１は、特定した仮想ＮＷＩＤ８１０ごとのエントリ数（以下、「通信装置別仮想ＮＷサンプル数」と呼称）を計数する。

また、フロー情報解析機能２０１は、フロー統計情報解析結果テーブル１７００を参照して、同一仮想ネットワーク内でフローＩＤ１７０１ごとのエントリ数（以下、「通信装置別仮想ＮＷ別フローサンプル数」と呼称）を計数する。その後、フロー情報解析機能２０１は、通信装置別仮想ＮＷ別フローサンプル数を通信装置別仮想ＮＷサンプル数で割った値（以下、「通信装置別仮想ＮＷ別フローサンプル割合」と呼称）を算出する。ここで、単純な例で上記内容を説明する。

図２０は、サンプルパケット１６００の取得割合（ＳＰ３０）の一例を示す概念図である。楕円２０００は、時系列データ算出間隔の時間帯でのフロー統計情報解析結果テーブル１７００の全エントリである。当該全エントリ２０００は、通信装置ＩＤ１７０２ごとに分類されるが、図２０では、全エントリ２０００は、通信装置ＩＤ１７０２として、Ｓｗ１（左上の扇形）、Ｓｗ２（右上の扇形）、Ｓｗ３（左下の扇形）、Ｓｗ４（右下の扇形）の４つのエントリ群に分類される。各扇形で示した通信装置ＩＤ（Ｓｗ１〜Ｓｗ４）ごとのエントリ群は、さらに、フローＩＤ１７０１に一致するフローＩＤ８０１に対応する仮想ＮＷＩＤ８１０ごとに分類される。

Ｓｗ１（左上の扇形）のエントリ群に着目すると、Ｓｗ１（左上の扇形）のエントリ群で特定されるフローは、仮想ＮＷ１〜仮想ＮＷ４で通信されるため、仮想ＮＷ１〜仮想ＮＷ４のエントリ群に分類される。また、そのうち、仮想ＮＷ１のエントリ群に着目すると、仮想ＮＷ１のエントリ群で特定されるフローは、フローＡ，Ｂ，Ｃの３種類である。ここで、仮想ＮＷ１のエントリ群におけるエントリ数Ｎが、通信装置ＩＤ１７０２が「Ｓｗ１」で、かつ、仮想ＮＷＩＤ８１０が「仮想ＮＷ１」である通信装置別仮想ＮＷサンプル数である。

また、フローＡのエントリ群におけるエントリ数ＮＡが、通信装置ＩＤ１７０２が「Ｓｗ１」で、かつ、仮想ＮＷＩＤ８１０が「仮想ＮＷ１」であるフローＡの通信装置別仮想ＮＷ別フローサンプル数である。同様に、フローＢのエントリ群におけるエントリ数ＮＢが、通信装置ＩＤ１７０２が「Ｓｗ１」で、かつ、仮想ＮＷＩＤ８１０が「仮想ＮＷ１」であるフローＢの通信装置別仮想ＮＷ別フローサンプル数である。同様に、フローＣのエントリ群におけるエントリ数ＮＣが、通信装置ＩＤ１７０２が「Ｓｗ１」で、かつ、仮想ＮＷＩＤ８１０が「仮想ＮＷ１」であるフローＣの通信装置別仮想ＮＷ別フローサンプル数である。

上記の例では、通信装置別仮想ＮＷサンプル数Ｎは、フローＡ〜Ｃの通信装置別仮想ＮＷ別フローサンプル数ＮＡ〜ＮＣの合計値である。フローＡ〜Ｃ別の通信装置別仮想ＮＷ別フローサンプル割合ＰＡ〜ＰＣは、以下の通りである。

ＰＡ＝ＮＡ／Ｎ
ＰＢ＝ＮＢ／Ｎ
ＰＣ＝ＮＣ／Ｎ

図１９に戻り、フロー情報解析機能２０１は、データネットワーク１０内の各通信装置２０にアクセスし、通信装置２０の仮想ＮＷ統計算出機能２３が算出した時系列データ算出間隔の時間帯に通過した仮想ネットワーク内のパケット総数（以下、「仮想ＮＷパケット総数」と呼称）を取得する（ＳＰ３１）。ここで、各通信装置２０にアクセスするためのプロトコルにはＴＥＬＮＥＴやＳＳＨ（Ｓｅｃｕｒｅ Ｓｈｅｌｌ）などの公知技術が利用できる。なお、仮想ＮＷ統計算出機能２３から通信装置２０の起動時からの仮想ＮＷパケット総数しか取得できない場合、フロー情報解析機能２０１は、今回取得した「仮想ＮＷパケット総数」から、１回前の時系列データ算出（ＳＰ３０）の際に取得した「仮想ＮＷパケット総数」を減算することで「仮想ＮＷパケット総数」を算出する。

つぎに、フロー情報解析機能２０１は、各フローの通信装置別仮想ＮＷ別フローサンプル割合ＰＡ〜ＰＣと、通信装置別仮想ＮＷ別フローサンプル割合ＰＡ〜ＰＣに通信装置２０および仮想ネットワークが対応する仮想ＮＷパケット総数と、を乗算することで、各フローの推定パケット数を算出する（ＳＰ３２）。

具体的には、たとえば、図２０において、通信装置ＩＤ１７０２が「Ｓｗ１」で、かつ、仮想ＮＷＩＤ８１０が「仮想ＮＷ１」である仮想ＮＷパケット総数をＮＺとする。各フローＡ〜Ｃの推定パケット数ＮｅＡ〜ＮｅＣは、以下の通りである。

ＮｅＡ＝ＮＺ×ＰＡ
ＮｅＢ＝ＮＺ×ＰＢ
ＮｅＣ＝ＮＺ×ＰＣ

つぎに、フロー情報解析機能２０１は、ステップＳＰ３２で通信装置２０ごとに算出した各フローの推定パケット数ＮｅＡ〜ＮｅＣの通信装置２０間の平均値（以下、「平均推定パケット数」と呼称）を算出する（ＳＰ３３）。たとえば、フローＡについて、時系列データテーブル９００の通信装置ＩＤフィールド９０２に、Ｓｗ１，Ｓｗ２が存在すると仮定する。上述の例では、通信装置ＩＤ１７０２：「Ｓｗ１」について、推定パケット数ＮｅＡが算出されたが、同様に、Ｓｗ２についても推定パケット数が算出される。フロー情報解析機能２０１は、両推定パケット数の平均値を算出することにより、平均推定パケット数を得る。

なお、フローの通信経路外の通信装置２０の影響で平均値に誤差を発生させないようにするため、当該フローの推定パケット数が算出されなかった（すなわち、フローが通過しなかった、またはサンプリングから漏れた）通信装置２０は、当該フローの平均計算から除外される。また、冗長化された通信装置２０の場合、フロー情報解析機能２０１は、冗長化グループＩＤ６０３が同一である各通信装置２０の推定パケット数を予め１つに合算した後、それ以外の通信装置２０と平均推定パケット数計算を行う。これは、複数の通信装置２０を同時に利用する冗長化の場合、１つのフローが複数の通信装置２０に分散されるためである。

最後に、フロー情報解析機能２０１は、算出結果を時系列データテーブル９００に格納する（ＳＰ３４）。具体的には、たとえば、フロー情報解析機能２０１は、フローＩＤフィールド９０１に当該フローのフローＩＤを格納する。フロー情報解析機能２０１は、通信装置ＩＤフィールド９０２に、時系列データ算出間隔の時間帯でのサンプルパケット１６００の取得元となる通信装置２０の通信装置ＩＤを格納する。フロー情報解析機能２０１は、算出時刻フィールド９０３に、時系列データ算出（ＳＰ３）を実行した時刻を格納する。フロー情報解析機能２０１は、推定パケット数フィールド９０４にＳＰ３３で算出した平均推定パケット数を格納する。フロー情報解析機能２０１は、取得元ＤＣＩＤフィールド９０５に空値（図９では、「−」）を格納する。これにより、フロー情報解析機能２０１は、時系列データ算出（ＳＰ３）を終了する。

このように、時系列データ算出（ＳＰ３）では、単純にサンプルパケット１６００の数をカウントするのではなく、通信装置２０の仮想ＮＷ統計算出機能２３がカウントしている仮想ネットワークごとの通過パケット総数とサンプルパケット１６００の情報を組み合わせるため、パケット数の推定精度の向上を図ることができる。

また、時系列データ算出（ＳＰ３）では、複数の通信装置２０でそれぞれ算出した推定パケット数の平均値を最終的な出力にすることにより、パケット数の推定精度の向上を図ることができる。

［不要データ削除（ＳＰ１０）］
図２１は、不要データ削除機能２０５における不要データ削除（ＳＰ１０）の詳細な処理手順例を示すフローチャートである。不要データ削除（ＳＰ１０）は、たとえば、決められた間隔で実行され、フロー特性情報テーブル８００と通信パターン情報テーブル２１３から、現在利用されていない可能性の高いデータを削除する処理である。不要データ削除（ＳＰ１０）は、管理装置５０が保持するデータ量を削減し、影響確度推定時の精度を向上させる。

不要データ削除（ＳＰ１０）が開始されると、不要データ削除機能２０５は、まず、フロー特性情報テーブル８００から、未選択のフローＩＤ８０１を１つ選択する（ＳＰ４０）。

つぎに、不要データ削除機能２０５は、時系列データテーブル９００から、ＳＰ４０での選択フローＩＤ８０１と同一のフローＩＤ９０１のエントリのうち、最後に取得したエントリの算出時刻９０３を取得する。そして、不要データ削除機能２０５は、最後に取得したエントリのフローＩＤ９０１で示されるフローが、現在時刻までの一定期間に新規サンプルパケット１６００を受信したか否かを判断する（ＳＰ４１）。具体的には、たとえば、不要データ削除機能２０５は、取得した算出時刻９０３と現在時刻との差分がデータセンタＤＣｉの管理者などにより設定された値（以下、「フロー生存期間」と呼称）より大きいか否か判断する。大きい場合、当該フローＩＤ９０１で示されるフローは一定期間新規サンプルパケット１６００を受信していないことを意味する。したがって、Ｓ４１：Ｎｏとなり、ＳＰ４３に移行する。

一方、大きくない場合、当該フローＩＤ９０１で示されるフローは一定期間新規サンプルパケット１６００を受信したことを意味する。したがって、Ｓ４１：Ｙｅｓとなり、ＳＰ４２に移行する。

ＳＰ４２において、不要データ削除機能２０５は、当該フローＩＤ９０１で示されるフローに関連する情報を削除して（ＳＰ４２）、ＳＰ４３に移行する。削除される関連情報は、フロー特性情報テーブル８００、時系列データテーブル９００、および、外部ＤＣ顧客情報テーブル１５００において、当該フローＩＤ９０１に一致するフローＩＤのエントリである。

ＳＰ４３において、不要データ削除機能２０５は、通信パターン情報テーブル２１３から、当該フローＩＤと同一のフローＩＤ１００１を持つエントリを取得する（ＳＰ４３）。

その後、不要データ削除機能２０５は、ＳＰ４３の取得エントリにおいて、通信パターンを特定するパターンＩＤ１００５およびそれに対応するデータ区間１００６を参照し、現在時刻までの一定期間に新規時系列データが分類されていない通信パターンがあるか否かを判断する（ステップＳ４４）。具体的には、たとえば、不要データ削除機能２０５は、それぞれの通信パターンにおいて、最後にデータが分類された時刻と現在時刻との差分がデータセンタＤＣｉの管理者により設定された値（「通信パターン生存期間」と呼称）より大きいか否かを判断する。大きい場合は、当該通信パターンは、現在時刻までの一定期間に新規時系列データが分類されていないことを示し、大きくない場合は、現在時刻までの一定期間に新規時系列データが分類されたことを示す。

現在時刻までの一定期間に新規時系列データが分類されていない通信パターンが１つもない場合（ＳＰ４４：Ｎｏ）、いずれの通信パターンも一定期間内に新規時系列データが分類されたことになり、ＳＰ４６に移行する。一方、現在時刻までの一定期間に新規時系列データが分類されていない通信パターンがある場合（ＳＰ４４：Ｙｅｓ）、当該通信パターンは、データセンタＤＣｉや顧客システムの構成変更により、現在は現れない通信パターンである可能性がある。このような通信パターンの存在は、障害影響推定時の誤推定の要因となる。

一方、単純に当該通信パターンに含まれる時系列データを削除すると、通信パターンの推定時、特定の期間の時系列データを失う（すなわち、通信量が０と認識される）ため、周期を誤検出する可能性が高まる。そこで、不要データ削除機能２０５は、当該通信パターンに最後に分類された時系列データより過去の当該フローＩＤで示されるフローの時系列データを時系列データテーブル９００からすべて削除する（ＳＰ４５）。

そして、不要データ削除機能２０５は、フロー特性情報テーブル８００における全フローに対してステップＳＰ４１〜ステップＳＰ４５の処理を実行したか否かを判断する（ＳＰ４６）。全フロー実行済みでない場合（ＳＰ４６：Ｎｏ）、ＳＰ４０に戻る。一方、全フロー実行済みである場合（ＳＰ４６：Ｙｅｓ）、不要データ削除機能２０５は、不要データ削除（ＳＰ１０）を終了する。これにより、管理装置５０が保持するデータ量が削減され、影響確度推定時の精度が向上する。

［通信パターン推定（ＳＰ１１）］
図２２は、通信パターン解析機能２０２における通信パターン推定（ＳＰ１１）の詳細な処理手順例を示すフローチャートである。通信パターン解析機能２０２は、たとえば、決められた間隔（以下、「通信パターン推定間隔」と呼称する）で実行される。通信パターン解析機能２０２は、時系列データテーブル９００に格納されたフローの時系列データから各フローの周期性に基づいて、各フローの通信パターンを推定する。

なお、通信パターン推定（ＳＰ１１）では、顧客システムのメンテナンスなどに起因する各フローの通信パターンの外れ値を判別すべく、通信パターン解析機能２０２は、１つのフローから複数の通信パターンを算出する。また、通信パターン解析機能２０２は、外部データセンタＤＣｊの障害により、通常とは異なる通信パターンが生成された可能性を判断し、該当する通信パターンを外れ値みなす処理を行う。

また、通信パターン解析機能２０２は、ブロードキャストなど顧客の通信利用とは無関係に送受信されるフローをパケットの情報に基づき外れ値として除外する。また、通信パターン解析機能２０２は、単一フローでは周期性がなくとも複数フローを組み合わせることで周期性が確認されるフローは複数組み合わせて通信パターンを算出する。さらに、通信パターン解析機能２０２は、周期性が見られないフローも仮の周期で通信パターンを算出する。これにより、周期性の無いフローを持つ顧客に対しても障害の影響確度推定が可能となる。

通信パターン推定（ＳＰ１１）が開始されると、通信パターン解析機能２０２は、まず、通信パターン情報テーブル２１３における、過去の通信パターン情報を含むエントリをすべて削除することにより、通信パターン情報テーブル２１３を初期化する（ＳＰ５９）。これは、時系列データ数が足りないために、誤った周期を算出した周期を保持することを防ぐためである。このため、時系列データが増加しても周期が変化しないなど、安定した周期を算出するフローを識別する情報を通信パターン情報に付与し、周期の安定したフローの通信パターン情報を含むエントリは削除しないこととしても良い。

つぎに、通信パターン解析機能２０２は、フロー特性情報テーブル８００から、未選択のフローのフローＩＤ８０１を選択する（ＳＰ６１）。その後、通信パターン解析機能２０２は、フロー特性情報テーブル８００から選択フローＩＤのエントリであるフロー特性情報を取得し、当該フロー特性情報がフロー除外条件１１００に接触するか否かを判断する（ＳＰ６２）。抵触する場合（ＳＰ６１：Ｙｅｓ）、選択フローは顧客の通信利用とは関係無く送受信されたフローであるとみなされる。したがって、通信パターン解析機能２０２は、選択フローＩＤの通信パターン推定（ＳＰ１１）を中止し、ＳＰ６０から処理をやり直す。一方、抵触しない場合（ＳＰ６１：Ｎｏ）、通信パターン解析機能２０２は、時系列データテーブル９００から選択フローＩＤと同一フローＩＤ９０１の全エントリである時系列データを取得する（ＳＰ６２）。

その後、通信パターン解析機能２０２は、選択フローが周期性を持つか判断する（ＳＰ６３）。周期性の有無の判断には、たとえば、フーリエ解析やウェーブレット解析が用いられる。具体的には、たとえば、フーリエ解析の場合、ＳＰ６２での取得時系列データの算出時刻９０３と推定パケット数９０４をフーリエ変換し、取得時系列データの周波数の分布関数を算出する。この分布関数は、取得時系列データ内に含まれる周波数（周期の数）をスペクトル強度で表現した関数である。

分布関数において、周波数が１（周波数１は周期が無いとみなす）以外で、かつ最もスペクトルが強く、かつ他の周波数とのスペクトルとの差（たとえば、周波数の分布関数における標準偏差との差）が一定以上の周波数を、取得時系列データの周波数とみなす。通信パターン解析機能２０２は、「取得時系列データの取得期間÷取得時系列データの周波数」から周期を算出する。取得時系列データの取得期間とは、選択フローの時系列データを示すエントリ群のうち最新の算出時刻９０３から最古の算出時刻９０３を引いた期間である。

通信パターン解析機能２０２は、周期の算出の可否により通信の周期性の有無を判断する。周期が算出できない場合、選択フローは周期が無いとして（ＳＰ６３：Ｎｏ）、通信パターン解析機能２０２は、選択フローの通信パターン推定（ＳＰ１１）を中止し、ステップＳＰ６０から処理をやり直す。

一方、周期が算出できた場合、通信の周期性ありとして（ＳＰ６３：Ｙｅｓ）、通信パターン解析機能２０２は、周期情報（周期１００４および周期性１００３）となるＳＰ６３での算出周期および周期性有りを示す情報と、通信経路１００２となる取得時系列データ内の通信装置の通信装置ＩＤとを、選択フローＩＤ９０１に関連づけて通信パターン情報テーブル２１３に登録する。なお、通信経路１００２については、仮想マシンの移動などによる経路変更があった場合を考慮して、取得時系列データ中の直近一定時間のエントリからのみ通信装置ＩＤを参照するようにしても良い。

つぎに、通信パターン解析機能２０２は、取得時系列データを算出周期ごとに分割し、１周期分の時系列データ（「１周期データ」と呼称）を複数作成する（ＳＰ６５）。そして、通信パターン解析機能２０２は、外部ＤＣ障害の影響を受けた１周期データを除外する（ＳＰ６６）。具体的には、たとえば、通信パターン解析機能２０２は、選択フローＩＤが外部ＤＣ顧客情報テーブル１５００のフローＩＤ１５０３に含まれるフローについて、複数の１周期データのうち、周期の時刻が外部ＤＣ障害テーブル１４００の障害発生時刻１４０２から障害復旧時刻１４０３に含まれる１周期データを外れ値として破棄する。ただし、時系列データテーブル９００からの削除はしない。

その後、通信パターン解析機能２０２は、類似する１周期データをグループ化してデータ区間１００６とし、各グループに一意のパターンＩＤ１００５を付与し、通信パターン情報として、パターンＩＤ１００５およびデータ区間１００６を通信パターン情報テーブル２１３に登録する（ＳＰ６７）。

ここで、１周期データの類似について説明する。たとえば、複数の１周期データについて、相関分析で算出される相関係数が一定以上である場合、当該複数の１周期データは類似するとして、グループ化の対象となる。また、たとえば、複数の１周期データについて、動的時間伸縮法で算出されるＤＴＷ（Ｄｙｎａｍｉｃ＿Ｔｉｍｅ＿Ｗａｒｐｉｎｇ）距離が一定以下である場合、当該複数の１周期データは類似するとして、グループ化の対象となる。通信パターン情報テーブル２１３の登録時のデータ区間フィールド２００６には、通信パターンとしてグループ化された時系列データの時刻情報の集合が格納される。図１０のフローＩＤ１００１：Ｆｌｏｗ１のエントリでは、パターンＩＤ１００５が２つ（Ｐａｔｔｕｒｎ１とＰａｔｔｕｒｎ２）存在するため、２つのグループにグループ分けされたことを示す。

そして、通信パターン解析機能２０２は、フロー特性情報テーブル８００における全フローに対し、ステップＳＰ５９〜ステップＳＰ６７が実行済みであるか否かを判断する（ＳＰ６８）。全フロー実行済みでない場合（ＳＰ６８：Ｎｏ）、ＳＰ６０に戻る。

一方、全フロー実行済みである場合（ＳＰ６８：Ｙｅｓ）、通信パターン解析機能２０２は、フロー特性情報テーブル８００において、ステップＳＰ６３で周期性が無いと判断されたフロー（「無周期フロー」と呼称）内で、図１２のフロー組み合わせ条件１２００を満たす無周期フローの組み合わせがあるか否かを判断する（ＳＰ６９）。具体的には、たとえば、通信パターン解析機能２０２は、パラメータ条件１２０１を満たした無周期フローが同一フロー数１２０２の値以上あるか否かを判断する。

無周期フローの組み合わせがある場合（ＳＰ６９：Ｙｅｓ）、通信パターン解析機能２０２は、フロー組み合わせ条件１２００を満たす無周期フローの組み合わせを１つのフローとみなして（ＳＰ７０）、ＳＰ６３に戻る。一方、無周期フローの組み合わせがない場合（ステップＳ６９：Ｎｏ）、ＳＰ７１に移行する。

最後に、通信パターン解析機能２０２は、無周期フローを通信パターン情報テーブル２１３に登録する（ＳＰ７１）。このとき、通信パターン解析機能２０２は、無周期フローの時系列データを予め設定された間隔で分割し、分割された複数の時系列データを１つの通信パターンとして通信パターン情報テーブル２１３に登録する。これにより、管理装置５０は、フローごとの通信パターンを事前登録することができる。

［影響確度推定（ＳＰ１６）］
図２３は、影響確度推定機能２０３における影響確度推定（ＳＰ１６）の詳細な処理手順例を示すフローチャートである。影響確度推定（ＳＰ１６）は、障害発生時に実行される。影響確度推定（ＳＰ１６）は、通信パターン情報テーブル２１３をもとに、障害発生時に各フローが通信していたか否かを推定することで、フローに対する障害の影響を算出する処理である。

影響確度推定（ＳＰ１６）が開始されると、影響確度推定機能２０３は、まず、ＳＰ１４で障害検知機能２０６から送信された障害情報から、障害発生時刻および障害の発生した通信装置２０の通信装置ＩＤを取得する（ＳＰ８８）。

つぎに、影響確度推定機能２０３は、通信装置管理テーブル２１１の冗長化グループＩＤ６０３を参照し、障害の発生した通信装置が冗長化されているか確認し、その情報を保持する（ＳＰ８９）。これは、障害の発生した通信装置が冗長化されており、障害が瞬断に留まった可能性がある場合、その情報を障害の影響確度情報と共にデータセンタＤＣｉの管理者に通知するためである。なお、影響確度推定機能２０３は、冗長化先の通信装置２０にも障害が発生しているか確認し、障害が発生していれば、その情報をさらに追加しても良い。

つぎに、影響確度推定機能２０３は、障害が発生した通信装置２０を通過した可能性のあるフローを特定する（ＳＰ９０）。具体的には、たとえば、影響確度推定機能２０３は、通信パターン情報テーブル２１３から、障害の発生した通信装置２０の通信装置ＩＤを通信経路フィールド１００２に含むエントリをすべて取得し（ＳＰ９０）、取得エントリ群の中から未選択エントリを１つ選択する（ＳＰ９１）。たとえば、障害の発生した通信装置２０の通信装置ＩＤが「Ｓｗ１」である場合、通信経路１００２に「Ｓｗ１」を含むエントリとして、フローＩＤ１００１が「Ｆｌｏｗ１」であるエントリが、選択エントリとして通信パターン情報テーブル２１３から選択される。

つぎに、影響確度推定機能２０３は、ＳＰ８８で取得した障害発生時刻よりもあらかじめ設定された時間だけ前の時刻から障害発生時刻まで（「特定区間」と呼称）の選択エントリのフローＩＤ１００１に一致するフローＩＤ９０１の時系列データ（「特定の時系列データ」と呼称）を、時系列データテーブル９００からすべて取得する（ＳＰ９２）。たとえば、ＳＰ９１の選択エントリが「Ｆｌｏｗ１」のエントリである場合、フローＩＤ９０１が「Ｆｌｏｗ１」であり、かつ、算出時刻９０３が特定区間に含まれるエントリが、時系列データテーブル９００から取得される。特定区間が、たとえば、「２０１５−０６−１０Ｔ１０：０３〜２０１５−０６−１０Ｔ１０：３３」の場合、１行目は取得されないが、３行目のエントリは取得される。

つぎに、影響確度推定機能２０３は、ＳＰ９２の特定の時系列データと、選択エントリのフローと同一フローにおける各通信パターンに対応する時系列データ（以下、比較対象時系列データ）との類似度を計算し、特定の時系列データに類似する通信パターンがあるか判断する（ＳＰ９３）。具体的には、たとえば、影響確度推定機能２０３は、図２４で後述するズレを算出することにより、比較対象時系列データのデータ区間１００６において、障害発生時刻が対応する時間位置を特定する。そして、影響確度推定機能２０３は、特定の時系列データと、対応する時間位置から特定区間分遡った範囲の比較対象時系列データとの類似度を算出する。

影響確度推定機能２０３は、たとえば、特定の時系列データと比較対象時系列データとの間で、相関分析で算出される相関係数が一定以上である場合や、動的時間伸縮法で算出されるＤＴＷ距離が一定以下である場合、比較対象時系列データにより規定される通信パターンは、特定の時系列データに類似すると判断する。

特定の時系列データに類似する通信パターンがない場合（ＳＰ９３：Ｎｏ）、影響確度推定機能２０３は、特定の時系列データが今までの通信パターンと異なる可能性が高いと判断して、そのことを記憶し（ＳＰ９４）、比較対象時系列データのうち最も類似する比較対象時系列データを選択し（ＳＰ９５）、選択した比較対象時系列データにＳＰ９４の情報を付与して、ＳＰ９６に移行する。なお、最も類似する比較対象時系列データとは、たとえば、相関係数を用いる場合、相関係数が最大または所定のしきい値以上の比較対象時系列データである。所定のしきい値以上の比較対象時系列データがない場合または所定のしきい値以上の比較対象時系列データが複数存在する場合は、相関係数が最大の比較対象時系列データが採用される。また、ＤＴＷ距離を用いる場合、ＤＴＷ距離が最小または所定のしきい値以下の比較対象時系列データである。所定のしきい値以下の比較対象時系列データがない場合または所定のしきい値以下の比較対象時系列データが複数存在する場合は、ＤＴＷ距離が最小の比較対象時系列データが採用される。

一方、類似する通信パターンがある場合（ＳＰ９３：Ｙｅｓ）、影響確度推定機能２０３は、最も類似度が高い通信パターンを選択して、最尤推定やベイズ推定を用い、ＳＰ９１の選択エントリで特定されるフローが障害発生時に通信していた確度を算出して記憶する（ＳＰ９６）。

具体的には、たとえば、単純な最尤推定の場合、影響確度推定機能２０３は、障害発生時と同位相、すなわち、最も類似度が高い通信パターンの各データ区間１００６に含まれる算出時刻９０３に対応する推定パケット数９０４を取得する。推定パケット数９０４を取得したデータ区間１００６の件数をＡとする。また、影響確度推定機能２０３は、件数Ａのデータ区間１００６のうち、０より大きい推定パケット数９０４が取得されたデータ区間１００６の件数を計数する。計数されたデータ区間１００６の件数をＢとする。影響確度推定機能２０３は、ＳＰ９１の選択エントリで特定されるフローが障害発生時に通信していた確度として、Ｂ／Ａを算出する。

その後、影響確度推定機能２０３は、ＳＰ９０で取得した全エントリに対し、ステップＳＰ９１〜ステップＳＰ９６が実行済みであるか否かを判断する（ＳＰ９７）。実行済みでない場合（ＳＰ９７：Ｎｏ）、ＳＰ９１に戻る。

実行済みである場合（ＳＰ９７：Ｙｅｓ）、影響確度推定機能２０３は、影響確度情報３２を通知先に通知する（ＳＰ９８）。なお、フローと顧客とは、通信パターン情報テーブル２１３内のフローＩＤ１００１をフロー特性情報テーブル８００のフローＩＤ８０１と照合して得た仮想ＮＷＩＤ８１０と、顧客情報テーブル２１４の仮想ＮＷＩＤ７０２と、により関連付けられる。また、通信パターン代表周期は、通信パターン内の１周期データの、各時刻における推定パケット数の平均値を組み合わせた時系列データとする。さらに、通信パケット数は、通信パターン代表周期における障害発生時と同位相、すなわち、最も類似度が高い抽出時系列データの時間帯の推定パケット数とする。

図２４は、障害発生時刻と周期の時間位置との対応関係の一例を示す説明図である。ここでは、障害発生時刻を「２０１５ ７／２４ ９：００」とし、通信装置ＩＤ：Ｓｗ１の通信装置２０に障害が発生した場合を例に挙げて説明する。図２４の（Ａ）に示す通信パターン情報２４０１は、ＳＰ９０によって特定される、障害が発生した通信装置２０を通過した可能性のあるフロー（フローＩＤ１００１：Ｆｌｏｗ１、以下、当該フローを単に「フロー１」と呼称）を示す通信パターン情報テーブル２１３のエントリである。（Ｂ）に示すグラフは、（Ａ）の通信パターン情報２４０１のデータ区間１００６における推定パケット数の時系列データで表現されるパターンＩＤ：Ｐａｔｔｕｒｎ１の通信パターン波形２４０２である。

（Ｂ）において、観測開始時刻は、フロー１を観測し始めた時刻である。周期は、同一波形が繰り返す時間幅である。周期開始時刻は、周期の開始時刻である。障害周期は、周期の開始時刻から終了時刻の間に障害発生時刻を含む周期である。障害周期開始時刻は、障害周期の周期開始時刻である。ズレは、障害周期の周期開始時刻と障害発生時刻との時間差である。本例では、２時間である。

各周期の周期開始時刻（通信パターン情報２４０１のデータ区間１００６の左側の時刻）をズレの時間分だけ後ろに遷移させた時刻が、障害発生時刻に対応する時間位置となる。ズレの時間を算出することにより、障害発生時刻を周期の時間位置に対応付けることができる。計算手順は、以下の通りである。

まず、影響確度推定機能２０３は、下記式（１）により障害周期開始時刻を算出する。

障害周期開始時刻＝周期×ｎ・・・（１）

ここで、ｎは下記式（２）を満たす整数である。

観測開始時刻＋周期×ｎ＜障害発生時刻＜観測開始時刻＋周期×（ｎ＋１）・・（２）

つぎに、影響確度推定機能２０３は、下記式（３）によりズレを算出する。

ズレ＝障害発生時刻−障害周期開始時刻・・・（３）

影響確度推定機能２０３は、各周期の開始時刻からズレの時間分時間が進む方向にシフトした時間位置を、障害発生時刻に対応付けることにより、ＳＰ９１での特定の時系列データと、各周期に対応する時系列データ（比較対象時系列データ）との類似度を計算することになる。

＜表示画面例＞
図２５は、通知先４０のクライアント端末４２や運用管理装置４１での表示画面の一例を示す説明図である。この表示画面２５００は、顧客が障害の影響を受けたかを示唆するための情報をデータセンタＤＣｉの管理者や運用管理装置４１に提示するための画面である。表示画面２５００は、顧客一覧表示領域２５０１と顧客詳細表示領域２５０２と通信パターン表示領域２５０４とを有する。

顧客一覧表示領域２５０１は、各顧客への障害の影響の一覧情報を表示する領域である。顧客詳細表示領域２５０２は、顧客一覧表示領域２５０１の顧客のうち、操作者が選択（図２５中の黒背景の行）した特定の顧客の情報を詳細に表示する領域である。通信パターン表示領域２５０４は、顧客詳細表示領域２５０２のフローのうち、操作者が選択（図２５中の黒背景の行）した特定のフローの通信パターンおよび特定の時系列データをグラフで表示する領域である。

顧客一覧表示領域２５０１および顧客詳細表示領域２５０２内の表は、各列で昇順または降順にデータを並び替えられる他、閾値２５０３に操作者が任意の値を入力することで、表示する情報を絞り込むことが可能である。絞り込む表現方法は、閾値の条件を満たしたデータに背景色をつける（図２５中の網掛け行）ことや、閾値の条件を満たさないデータを表示させないなどがある。

顧客一覧表示領域２５０１には、顧客名と影響通信割合と重要度とが表示される。影響通信割合とは、顧客の障害で影響を受けた通信の割合である。ただし、影響通信割合は設定により別の情報を表示してもよく、たとえば最も影響を受けた確度の値でもよい。

顧客詳細表示領域２５０２には、顧客一覧表示領域２５０１で選択されている顧客のフローごとにフロー情報が表示されている。フロー情報は、たとえば、フローＩＤと、通信有無と、周期と、影響確度と、特性情報と、通信パターンと、パケット数と、冗長化と、を含む。

フロー情報のうち「通信有無」は、障害の発生した通信装置２０をフローが通過したか否かを示す情報である。「有」が通過したことを示し、「無」が通過していないことを示す。「特性情報」は、同一フローＩＤについてのフロー特性情報テーブル８００のエントリが示す情報である。「影響確度」は、当該フローについて図２３の影響確定推定で算出された確度（ＳＰ９６）である。「通信パターン」は、当該フローについての障害発生時の通信パターンである。パケット数は、当該障害発生時の通信パターンにおける推定パケット数である。「冗長化」は、障害の発生した通信装置２０についての冗長化の有無である。また、操作者が特定のフロー情報を選択した際は、フローの通信パターン情報が表示領域２５０４に表示される。

通信パターン表示領域２５０４は、縦軸がパケット数、横軸が時刻のグラフに、通信パターン代表周期２５０５と特定の時系列データのサンプル情報２５０６とを表示する。このグラフに障害発生時刻２５０７を表示することで、データセンタＤＣｉの管理者は障害がフローにどのような影響を与えたかグラフィカルに認識できる。

これにより、管理装置５０は、データセンタＤＣｉ内の全通信を常に解析することなく、また通信量の少ない顧客の通信の利用実態も把握した上で、障害発生時に実害有り顧客および実害無し顧客を判別するために、各顧客の通信の利用実態を基に各顧客の障害の影響の確度を推定することができる。したがって、データセンタＤＣｉの管理者は、早急な対応が必要な実害有り顧客を迅速に絞り込み、優先的に対応することができる。

また、管理装置５０は、類似度により通信パターンをグルーピングすることにより、顧客システムの定期メンテナンスや構成変更などによる各フローの用途の変化を外れ値として除外することができる。したがって、通信障害の影響を被った確度の推定精度の向上を図ることができる。

また、管理装置５０は、時系列データの生成時に、各通信装置から顧客単位に指定期間内の総パケット数を取得し、サンプルパケットの情報と組み合わせることにより、各フローの時刻別の推定パケット数の算出精度の向上を図ることができる。

また、管理装置５０は、時系列データ生成時に、複数の通信装置から取得したサンプルパケットの情報を統合することにより、各フローの時刻別の推定パケット数の算出精度の向上を図ることができる。

外部データセンタＤＣｊの通信装置２０から取得したサンプルパケットサンプルの情報も統合することにより、各フローの時刻別の推定パケット数の算出精度の向上を図ることができる。

また、管理装置５０は、外部データセンタＤＣｊの影響で通信パターンが変化している可能性のある時系列データを事前に削除しておくことで、当データセンタＤＣｉでの通信障害発生時に、影響確度推定精度の向上を図ることができる。

また、管理装置５０は、外部データセンタＤＣｊの外接通信装置の死活監視を行うことにより、データセンタ間のネットワークにおける障害を検知することで、データセンタ間に跨ったシステムを有する顧客がデータセンタ間ネットワークの障害の影響を受けた確度を推定することができる。

また、管理装置５０は、顧客の通信利用によらず発生する通信（たとえば、ＡＲＰ送信、ブロードキャスト受信など）を通信パターンから除外することにより、通信障害の影響を被った確度の推定精度の向上を図ることができる。

また、管理装置５０は、無周期フローを、設定された条件（たとえば、Ｗｅｂサーバなど、短時間で通信量の少ないフローを複数発生させるような条件）にしたがって複数組み合わせることにより、周期性の有無を確認することができる。

また、管理装置５０は、顧客への障害影響推測時に通信装置２０の冗長化の有無を通知することにより、障害発生時、通信経路が冗長先通信装置に切り替わることで、顧客の通信は瞬断されるに留まったか、通信装置２０が冗長化されていないために、顧客の通信は障害復旧までその影響を受け続けたのかを示唆する情報を、データセンタＤＣｉの管理者に提供することができる。

また、管理装置５０は、一定期間以上通信の無いフローおよび、一定期間以上分類されていない通信パターングループに含まれる時系列データを削除することにより、データ量を削減でき、かつ古いデータを参照することによる影響確度推定時の誤推定の低減を図ることができる。

また、管理装置５０は、通信パターン解析時に、周期性の無い通信を設定された周期（たとえば１日周期）を持つと仮定して時系列データを処理することにより、周期性を持たない通信でも、周期性がある通信と同様に影響確度推定を行うことができる。

また、管理装置５０は、障害情報の通知の際、障害の影響確度とともに、障害を受けた通信の種類や推定パケット数を通知することにより、データセンタＤＣｉの管理者は障害の影響確度に加えフローの種類や推定パケット数を考慮して、障害対応の優先度を考えることができる。

また、管理装置５０は、顧客ごとの重要度を保持しておき、障害情報の通知の際、障害の影響確度とともに重要度を通知することにより、データセンタＤＣｉの管理者は障害の影響確度に加え顧客の重要度を考慮して、障害対応の優先度を考えることができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (15)

1. 計算機群を接続するネットワークに接続される管理装置であって、
   プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、前記ネットワークと接続するインタフェースと、を有し、
   前記記憶デバイスは、
   前記ネットワーク内で前記計算機群の計算機間を流れる一連のデータである顧客についてのフローの通信量の周期的な経時的変化を示す通信パターンと、前記フローが経由する前記ネットワーク内の通信装置の識別情報とを、フローごとに記憶しており、
   前記プロセッサは、
   前記ネットワーク内で障害が発生した特定の通信装置から、前記特定の通信装置の識別情報と障害発生日時とを含む障害情報を受信する受信処理と、
   前記受信処理によって受信された障害情報に含まれる前記特定の通信装置の識別情報に基づいて、フロー群の中から前記特定の通信装置を経由する特定のフローを選択する選択処理と、
   前記選択処理によって選択された特定のフローについて前記障害発生日時から設定期間前の日時から前記障害発生日時までの期間内での通信量の経時的変化を示す特定の時系列データと、前記特定のフローについての前記通信パターンと、が類似するか否かを判断する判断処理と、
   前記判断処理によって類似すると判断された通信パターンにおける通信量の出現頻度に基づいて、前記特定のフローが前記障害発生日時に通信されていた確度を算出する算出処理と、
   前記算出処理による算出結果を出力する出力処理と、
   を実行することを特徴とする管理装置。
2. 請求項１に記載の管理装置であって、
   前記プロセッサは、
   前記フローの通信量の経時的変化を示す時系列データを取得する取得処理と、
   前記取得処理によって取得された時系列データに周期性があるか否かを判定する判定処理と、
   前記判定処理によって周期性ありと判定された場合、前記時系列データを周期単位で分割する分割処理と、
   前記分割処理によって分割された周期単位の時系列データ群を、前記フローの通信量の周期的な経時的変化を示す通信パターンとして登録する登録処理と、を実行し、
   前記判断処理では、前記プロセッサは、前記特定の時系列データと、前記登録処理によって登録された前記フローの通信量の周期的な経時的変化を示す通信パターンの中の前記特定のフローについての前記通信パターンと、が類似するか否かを判断することを特徴とする管理装置。
3. 請求項２に記載の管理装置であって、
   前記取得処理では、前記プロセッサは、所定の除外条件に該当しないフローの通信量の経時的変化を示す時系列データを取得することを特徴とする管理装置。
4. 請求項２に記載の管理装置であって、
   前記分割処理では、前記プロセッサは、前記周期単位の時系列データ群を、前記周期単位の時系列データが類似する複数のグループに分割し、
   前記登録処理では、前記プロセッサは、前記複数のグループの各グループを、前記フローの周期的な経時的変化を示す通信パターンとして登録することを特徴とする管理装置。
5. 請求項２に記載の管理装置であって、
   前記分割処理では、前記プロセッサは、前記周期単位の時系列データ群の中から、前記計算機群および前記ネットワークを含むデータセンタとは異なる外部のデータセンタ内における障害発生時刻から障害復旧時刻までの期間に該当する周期単位の時系列データを除外することを特徴とする管理装置。
6. 請求項２に記載の管理装置であって、
   前記プロセッサは、
   前記判断処理によって周期性がないと判断された無周期フロー群が所定の組み合わせ条件に該当する場合、前記無周期フロー群の各々の時系列データを集約する集約処理を実行し、
   前記判断処理では、前記プロセッサは、前記集約処理によって集約された時系列データに周期性があるか否かを判断することを特徴とする管理装置。
7. 請求項２に記載の管理装置であって、
   前記分割処理では、前記プロセッサは、前記判断処理によって周期性がないと判断された無周期フロー群が所定の組み合わせ条件に該当しない場合、前記無周期フロー群の各々の時系列データを集約して、一定期間で分割することを特徴とする管理装置。
8. 請求項１に記載の管理装置であって、
   前記プロセッサは、
   所定期間内における前記フローの通信量を前記フローが経由する通信装置から取得し、取得した前記フローが経由する通信装置ごとの前記所定期間内における前記フローの通信量に基づいて、前記記憶デバイスに記憶されている前記フローの通信量を更新する更新処理を実行することを特徴とする管理装置。
9. 請求項８に記載の管理装置であって、
   前記更新処理では、前記プロセッサは、前記フローが経由する通信装置ごとの前記所定期間内における前記フローの通信量の平均値により、前記記憶デバイスに記憶されている前記フローの通信量を更新することを特徴とする管理装置。
10. 請求項８に記載の管理装置であって、
    前記フローが経由する通信装置は、前記計算機群および前記ネットワークを含むデータセンタとは異なる外部のデータセンタ内のネットワークにおける通信装置を含むことを特徴とする管理装置。
11. 請求項１に記載の管理装置であって、
    前記特定の通信装置は、前記計算機群および前記ネットワークを含むデータセンタとは異なる外部のデータセンタ内で障害が発生した通信装置であり、
    前記受信処理では、前記プロセッサは、前記特定の通信装置の死活監視をすることにより、前記特定の通信装置の識別情報と障害発生日時とを含む障害情報を受信することを特徴とする管理装置。
12. 請求項１に記載の管理装置であって、
    前記記憶デバイスは、通信装置ごとに冗長化の有無を示す情報を記憶しており、
    前記出力処理では、前記プロセッサは、前記算出結果とともに前記特定の通信装置の冗長化の有無を示す情報を出力することを特徴とする管理装置。
13. 請求項１に記載の管理装置であって、
    前記プロセッサは、
    一定期間受信されていないフローを検出する検出処理と、
    前記検出処理によって検出されたフローの通信量を削除する削除処理と、
    を実行することを特徴とする管理装置。
14. 計算機群を接続するネットワークに接続される管理装置による管理方法であって、
    前記管理装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、前記ネットワークと接続するインタフェースと、を有し、
    前記記憶デバイスは、
    前記ネットワーク内で前記計算機群の計算機間を流れる一連のデータである顧客についてのフローの通信量の周期的な経時的変化を示す通信パターンと、前記フローが経由する前記ネットワーク内の通信装置の識別情報とを、フローごとに記憶しており、
    前記プロセッサは、
    前記ネットワーク内で障害が発生した特定の通信装置から、前記特定の通信装置の識別情報と障害発生日時とを含む障害情報を受信する受信処理と、
    前記受信処理によって受信された障害情報に含まれる前記特定の通信装置の識別情報に基づいて、フロー群の中から前記特定の通信装置を経由する特定のフローを選択する選択処理と、
    前記選択処理によって選択された特定のフローについて前記障害発生日時から設定期間前の日時から前記障害発生日時までの期間内での通信量の経時的変化を示す特定の時系列データと、前記特定のフローについての前記通信パターンと、が類似するか否かを判断する判断処理と、
    前記判断処理によって類似すると判断された通信パターンにおける通信量の出現頻度に基づいて、前記特定のフローが前記障害発生日時に通信されていた確度を算出する算出処理と、
    前記算出処理による算出結果を出力する出力処理と、
    を実行することを特徴とする管理方法。
15. 記憶デバイスにアクセス可能なプロセッサに、計算機群を接続するネットワークを管理させる管理プログラムであって、
    前記記憶デバイスは、前記ネットワーク内で前記計算機群の計算機間を流れる一連のデータである顧客についてのフローの通信量の周期的な経時的変化を示す通信パターンと、前記フローが経由する前記ネットワーク内の通信装置の識別情報とを、フローごとに記憶しており、
    前記プロセッサに、
    前記ネットワーク内で障害が発生した特定の通信装置から、前記特定の通信装置の識別情報と障害発生日時とを含む障害情報を受信する受信処理と、
    前記受信処理によって受信された障害情報に含まれる前記特定の通信装置の識別情報に基づいて、フロー群の中から前記特定の通信装置を経由する特定のフローを選択する選択処理と、
    前記選択処理によって選択された特定のフローについて前記障害発生日時から設定期間前の日時から前記障害発生日時までの期間内での通信量の経時的変化を示す特定の時系列データと、前記特定のフローについての前記通信パターンと、が類似するか否かを判断する判断処理と、
    前記判断処理によって類似すると判断された通信パターンにおける通信量の出現頻度に基づいて、前記特定のフローが前記障害発生日時に通信されていた確度を算出する算出処理と、
    前記算出処理による算出結果を出力する出力処理と、
    を実行させることを特徴とする管理プログラム。

Images