JP6187021B2 - 情報処理システム、情報処理システムの制御方法及び管理装置の制御プログラム - Google Patents

Description

本発明は、情報処理システム、情報処理システムの制御方法及び管理装置の制御プログラムに関する。

近年の高度科学技術計算を行うＨＰＣ（High Performance Computing）システムにおいては、システム全体の演算処理性能に対する要求から、従来よりも大量の計算サーバを管理し並列に動作させる必要性が年々高まりつつある。

このような大量のサーバを有するＨＰＣシステムについては、システムの停止時間をより少なくし、稼働時間の長時間化が求められる。従って、ファイルサーバなど主要なサーバは冗長構成を採用し、異常が発生した場合は運用系から待機系への切り替え（フェイルオーバ）が行われ、継続運用が可能な可用性が高いシステムが採用される。

一方、ＨＰＣシステムでは性能を向上させるためには演算処理を行う計算サーバの数（例えば８００００個の計算サーバ）も比例して多くなるため、システム内のネットワークにおける通信負荷の低減が望まれる。

そのため、大規模なＨＰＣシステムの計算サーバとファイルサーバとを含むサーバ群の状態を監視するために、従来、階層構造を用いてシステム監視を行っている。

例えば図１に示すように、システム全体を監視する監視マスタサーバを、例えば木構造等の階層構造における最上位階層に設け、第２階層には管理の中継器となる複数の監視サブマスタサーバを設け、最下位階層には監視される複数のサーバ（図１の例ではファイルサーバ及び計算サーバ）を設けるようにしている。すなわち、監視マスタサーバは、複数の監視サブマスタサーバを監視し、監視サブマスタサーバは、自身の配下の被監視サーバである計算サーバ及びファイルサーバの監視を行う。図１の例では、ファイルサーバＡとファイルサーバＢは、互いにフェイルオーバペアとなっている。

例えば、各被監視サーバ（計算サーバ及びファイルサーバ）は、各サーバ上にサービス監視デーモンを有し、自サーバ内のサービス（ジョブ運用のためのサービス）を一定間隔（例えば６０秒間隔）で監視している。例えば、ファイルサーバＡで異常が発生した場合、ファイルサーバＡは、次の監視タイミングで、当該異常の発生によるファイルサーバＡのダウン状態への状態変化を通知するための状態変更通知を、監視サブマスタサーバへ送信する（図２：１０００）。監視サブマスタサーバは、直ぐに監視マスタサーバに状態変更通知を転送するのではなく、監視サブマスタサーバ内に当該状態変更通知を一定時間（例えば３０秒）キャッシュ（保持）する（図２：１０１０）。このキャッシュを状態変更通知キャッシュとも呼ぶ。

状態変更通知キャッシュは、大規模なＨＰＣシステムにおいて一斉起動及び停止を行った際に、システム内において木構造等の階層構造における上位階層のサーバ及び下位階層のサーバに対して状態変更通知のためのパケットが飛び交うことによりネットワークに負荷を与えるため、状態変更通知を一定時間キャッシュしてネットワーク負荷を軽減させる技術である。

一定時間が経過すると、監視サブマスタサーバは、キャッシュしたファイルサーバＡの状態変化を他のサーバに通知するための状態変更通知を監視マスタサーバへ送信する（図２：１０２０）。監視マスタサーバは、状態変更通知を受信しても直ぐには処理せず、状態変更通知を一定時間（例えば３０秒）キャッシュ（保持）する（図２：１０３０）。一定時間経過後、当該状態変更通知を、監視マスタサーバは、２つの監視サブマスタサーバへ送信する（図２：１０４０）。

監視サブマスタサーバは、状態変更通知を受信しても直ぐには処理せず、監視サブマスタサーバ内に当該状態変更通知を一定時間（例えば３０秒）キャッシュ（保持）する（図２：１０５０）。一定時間経過後、この状態変更通知を、監視サブマスタサーバは、ファイルサーバＡ以外の被監視サーバへ送信する（図２：１０６０及び１０７０）。

ファイルサーバＡのフェイルオーバペアであるファイルサーバＢは、当該状態変更通知を受信すると、フェイルオーバを開始するが（１５０秒後）、ファイルサーバＢは、次の監視タイミング（１８０秒後）でなければ、当該状態変更通知によるフェイルオーバという状態を検出しない。以降、フェイルオーバについての状態変更通知の伝搬と、フェイルオーバからダブル（Ｄｏｕｂｌｅ。サービス片寄せ状態）についての状態変更通知の伝搬とが、同じような時間をかけて行われる。すなわち、３９０秒程度、ファイルサーバの切り替えが完了するまでかかることになる。

このようにサーバの切り替え処理は、各被監視サーバにおける監視時間間隔及び状態変更通知キャッシュのために時間がかかり、重要な状態変化に拘わらず結果として運用停止時間が長期化する。

監視装置による被監視装置の監視時間間隔を動的に変更したり、監視装置から被監視装置に対して監視時間間隔の変更を指示する技術は存在しているが、監視装置側の管理負荷が大きい。

特開昭６１−２２１５４２号公報 特開平９−８３６４１号公報

従って、本発明の目的は、一側面によれば、情報処理システムに含まれる情報処理装置の状態変化を当該状態変化に応じて柔軟に通知できるようにするための技術を提供することである。

本発明に係る情報処理システムは、第１の管理装置と、複数の情報処理装置と、第１の管理装置と複数の情報処理装置とに接続される第２の管理装置とを有する。そして、上記第２の管理装置は、複数の情報処理装置のうち状態の変更が発生した通知元情報処理装置から、当該通知元情報処理装置の状態の変更が発生した旨を通知する状態変更通知を受信した場合、受信した当該状態変更通知に含まれる通知元情報処理装置の変化後の状態を示す状態情報に対応して規定された所定時間だけ受信した当該状態変更通知を保持してから、受信した当該状態変更通知を第１の管理装置に送信する。

一側面によれば、情報処理システムに含まれる情報処理装置の状態変化を当該状態変化に応じて柔軟に通知できるようになる。

図１は、システム構成例を示す図である。 図２は、状態変更通知の配信態様を説明するための図である。 図３は、実施の形態におけるシステム構成例を示す図である。 図４は、被監視サーバの構成例を示す図である。 図５は、監視サブマスタサーバの構成例を示す図である。 図６は、監視マスタサーバの構成例を示す図である。 図７は、ファイルサーバにおける監視間隔に関する設定データの一例を示す図である。 図８は、計算サーバにおける監視間隔に関する設定データの一例を示す図である。 図９は、管理サーバにおける監視間隔に関する設定データの一例を示す図である。 図１０は、監視サブマスタサーバに格納される監視間隔に関する設定データの一例を示す図である。 図１１は、監視マスタサーバに格納される監視間隔に関する設定データの一例を示す図である。 図１２は、監視マスタサーバ及び監視サブマスタサーバに格納されるキャッシュ時間に関する設定データの一例を示す図である。 図１３は、被監視サーバにおける処理フローを示す図である。 図１４は、監視サブマスタサーバにおける処理フローを示す図である。 図１５は、監視マスタサーバにおける処理フローを示す図である。 図１６は、第１の実施の形態における処理例を示す図である。 図１７は、第２の実施の形態を説明するための図である。 図１８は、第２の実施の形態における処理フローを示す図である。 図１９は、コンピュータの機能ブロック図である。

［実施の形態１］
図３に、本実施の形態に係る情報処理システムの構成例を示す。本情報処理システムは、監視マスタサーバ１００と、監視サブマスタサーバ１１０及び１２０と、フェイルオーバペアとなっているファイルサーバＡ及びＢと、計算サーバ２１０及び２２０と、管理サーバ２３０とを有する。

そして、この情報処理システムは、論理的な階層構造を有しており、最上位階層として監視マスタサーバ１００を含み、中間階層として監視サブマスタサーバ１１０及び１２０を含み、最下位階層の被監視サーバとして、ファイルサーバＡ及びＢと、計算サーバ２１０及び２２０と、管理サーバ２３０とを有する。但し、中間階層は複数層の場合もある。

ファイルサーバＡ及びＢは、計算サーバ２１０及び２２０等によって用いられるファイルを管理している。計算サーバ２１０及び２２０は、指示された計算処理を実行する。管理サーバ２３０は、計算サーバ２１０及び２２０と、ファイルサーバＡ及びＢとを管理する処理を行う。

被監視サーバの数及び監視サブマスタサーバの数は一例であり、図示した数に限定されない。特に管理サーバ２３０についてはフェイルオーバを行う場合には複数台の管理サーバが設けられる。

次に、被監視サーバ（ファイルサーバＡ及びＢ、計算サーバ２１０及び２２０、及び管理サーバ２３０）の構成例を図４に示す。

図４に示すように、被監視サーバは、監視デーモン５００と、被監視サービス群６００と、設定データ格納部７００とを含む。被監視サービス群６００は、ここではサービスα乃至γを含み、それぞれ予め定められたジョブのための処理を実行する。一方、監視デーモン５００は、通信部５１０と、サービス監視部５２０とを有する。

通信部５１０は、サービスに発生した異常に基づく状態変化を他のサーバに通知するための状態変更通知を送信したり、他のサーバ等からの状態変更通知を、関係するサービスに通知する処理を行う。サービス監視部５２０は、設定データ格納部７００に格納されている設定データによる監視間隔で被監視サービス群６００に含まれる各サービスを監視し、異常が検出されると当該異常に基づく状態変化を他のサーバに通知するための状態変更通知を、通信部５１０に送信させる。

次に、監視サブマスタサーバ１１０の構成例を図５に示す。監視サブマスタサーバ１１０は、第１受信部１１１と、第１振分処理部１１２と、第１キュー群１１３と、第１送信部１１４と、設定データ格納部１１５と、第２受信部１１６と、第２振分処理部１１７と、第２キュー群１１８と、第２送信部１１９とを有する。

第１受信部１１１は、配下の被監視サーバから状態変更通知を受信し、第１振分処理部１１２に出力する。第１振分処理部１１２は、設定データ格納部１１５に格納されているデータに従って、第１キュー群１１３のうち該当するキューに状態変更通知を格納する。第１送信部１１４は、設定データ格納部１１５に格納されているデータに従って特定される間隔で、各キューに格納されている状態変更通知を、監視マスタサーバ１００に送信する。

第２受信部１１６は、監視マスタサーバ１００から状態変更通知を受信し、第２振分処理部１１７に出力する。第２振分処理部１１７は、設定データ格納部１１５に格納されているデータに従って、第２キュー群１１８のうち該当するキューに状態変更通知を格納する。第２送信部１１９は、設定データ格納部１１５に格納されているデータに従って特定される間隔で、各キューに格納されている状態変更通知を、該当する被監視サーバへ送信する。

監視マスタサーバ１００の構成例を図６に示す。監視マスタサーバ１００は、受信部１０１と、振分処理部１０２と、キュー群１０３と、出力部１０４と、設定データ格納部１０５と、送信部１０９と、状態管理部１３０とを有する。

受信部１０１は、配下の監視サブマスタサーバ１１０又は１２０から状態変更通知を受信し、振分処理部１０２に出力する。振分処理部１０２は、設定データ格納部１０５に格納されているデータに従って、キュー群１０３のうち該当するキューに状態変更通知を格納する。出力部１０４は、設定データ格納部１０５に格納されているデータに従って特定される間隔で、各キューに格納されている状態変更通知を、状態管理部１３０に送信する。状態管理部１３０は、状態変更通知に応じて定められた処理を実行する。なお、状態管理部１３０は、状態変更通知を、ダウン状態（すなわち停止状態）以外の状態の被監視サーバ等に配信する処理も行う。この場合、状態管理部１３０は、状態変更通知を、送信部１０９に出力する。なお、状態管理部１３０のこれ以外の処理については、本実施の形態には関係しないので、これ以上述べない。

送信部１０９は、該当する監視サブマスタサーバ１１０及び１２０へ送信する。

次に、被監視サーバが有する設定データ格納部７００に格納されるデータについて説明する。

本実施の形態では、被監視サーバの種別及び検出された変化後の状態に応じて異なる監視間隔が自律的に採用される。

すなわち、ファイルサーバＡ及びＢの設定データ格納部７００には、例えば図７に示すようなデータが格納される。図７の例では、通常実行状態「Ｒｕｎ」であれば監視間隔は３０秒であり、フェイルオーバ状態「Ｆａｉｌｏｖｅｒ」であれば監視間隔は３秒であり、片寄せ状態「Ｄｏｕｂｌｅ」であれば監視間隔は３秒であることが規定されている。すなわち、何らかの事情によりフェイルオーバ状態に遷移した場合及び片寄せ状態に遷移した場合については、発生する問題に早期に対処するため監視間隔を短縮する。なお、ダウン状態であれば、監視は行わなくなるので、規定されていない。

また、計算サーバ２１０及び２２０の設定データ格納部７００には、例えば図８に示すようなデータが格納される。図８の例では、通常実行状態「Ｒｕｎ」であれば監視間隔は６０秒であることが規定されている。なお、計算サーバ２１０及び２２０の場合には、他の状態はダウン状態のみであり、ダウン状態であれば監視は行わなくなるので、規定されていない。

さらに、管理サーバ２３０の設定データ格納部７００には、例えば図９に示すようなデータが格納される。図９の例では、通常実行状態「Ｒｕｎ」であれば監視間隔は６０秒であり、フェイルオーバ状態「Ｆａｉｌｏｖｅｒ」であれば監視間隔は３秒であることが規定されている。なお、管理サーバ２３０の場合には、片寄せ状態「Ｄｏｕｂｌｅ」という状態は存在しないので、規定されていない。また、ダウン状態であれば監視は行わなくなるので、規定されていない。

なお、監視サブマスタサーバ１１０及び１２０の設定データ格納部１１５には、配下の被監視サーバの種別に応じたデータを格納している。すなわち、監視サブマスタサーバ１１０であれば、配下はファイルサーバのみなので、図７に示すようなデータが設定データ格納部１１５に格納される。また、監視サブマスタサーバ１２０であれば、配下は計算サーバ及び管理サーバなので、図１０に示すようなデータが設定データ格納部１１５に格納される。より具体的には図８及び図９のデータが格納される。なお、監視サブマスタサーバ１１０及び１２０がファイルサーバ機能、計算サーバ機能、管理サーバ機能をも有する場合には、その機能に応じた監視時間についてのデータも格納される。

さらに、監視マスタサーバ１００の設定データ格納部１０５には、配下の被監視サーバの種別に応じたデータが格納される。本例では、図１１に示すように、ファイルサーバ、計算サーバ及び管理サーバに対する監視時間の規定を含む。

このようなデータについては、監視マスタサーバ１００から配下のサーバへ配信される場合もある。

また、本実施の形態では、状態変化の検出元サーバ種別と変化後の状態とに応じて状態変更通知のキャッシュ時間を動的に且つ自律的に変化させる。

そのため、監視サブマスタサーバ１１０及び１２０の設定データ格納部１１５には、キャッシュ時間についてのデータも格納される。また、監視マスタサーバ１００の設定データ格納部１０５にも、同様のキャッシュ時間についてのデータが格納される。

すなわち、図１２に示すように、ファイルサーバから通知される変化後の状態が「Ｒｕｎ」であれば最大１０秒キャッシュし、変化後の状態が「Ｄｏｗｎ（ダウン）」であれば最大５秒キャッシュし、変化後の状態が「Ｆａｉｌｏｖｅｒ」又は「Ｄｏｕｂｌｅ」であれば、０秒キャッシュする（すなわち、キャッシュしない）ということを表すデータが格納される。

また、計算サーバから通知される変化後の状態が「Ｒｕｎ」であれば最大３０秒キャッシュし、変化後の状態が「Ｄｏｗｎ」であれば最大１０秒キャッシュするということを表すデータが格納される。これ以外の状態は通知されないので、規定されない。また、管理サーバから通知される変化後の状態が「Ｒｕｎ」であれば最大２０秒キャッシュし、変化後の状態が「Ｄｏｗｎ」であれば最大５秒キャッシュし、変化後の状態が「Ｆａｉｌｏｖｅｒ」であれば０秒キャッシュする（すなわち、キャッシュしない）ということを表すデータが格納される。

次に、図１３乃至図１６を用いて、各サーバの動作について説明する。

まず、図１３を用いて各被監視サーバにおける処理を説明する。

監視デーモン５００におけるサービス監視部５２０は、被監視サービス群６００に含まれる各サービスに対するサービス監視を実行する（ステップＳ１）。具体的には、異常発生の有無や現在の状態を検知する。そうすると、サービス監視部５２０は、従前の状態からの状態変化を検出したか判断する（ステップＳ３）。状態変化が検知されていないと判断された場合には、処理はステップＳ１１に移行する。すなわち、サービス監視部５２０は、時間の計測を開始する（ステップＳ１１）。なお、初期的には、状態変化が検出されるものとする。

一方、状態変化が検出されると、サービス監視部５２０は、通信部５１０に、検出元サーバの識別子、検出元サーバ種別及び変化後の状態についてのデータを含む状態変更通知を上位の監視サーバ（ここでは監視サブマスタサーバ１１０又は１２０）に送信させる（ステップＳ５）。

ここで、変化後の状態がダウン状態「Ｄｏｗｎ」である場合には、以降非監視になる。従って、サービス監視部５２０は、変化後の状態がダウン状態のように予め設定されている非監視の状態であるか否かを判断する（ステップＳ７）。非監視の状態であれば、処理を終了する。

一方、非監視の状態でなければ、サービス監視部５２０は、変化後の状態に応じた監視間隔を、設定データ格納部７００のデータにおいて特定し、設定する（ステップＳ９）。ファイルサーバＡ又はＢにおいて、フェイルオーバ状態が検出されると、図７に示すように、監視間隔は３秒となる。

そして、サービス監視部５２０は、時間の計測を開始する（ステップＳ１１）。その後、サービス監視部５２０は、計測時間が、設定された監視間隔に達したか否かを判断する（ステップＳ１３）。監視間隔に達していない場合には、サービス監視部５２０は、処理終了が指示されたか判断する（ステップＳ１５）。処理終了が指示された場合には、処理を終了する。一方、処理終了が指示されていない場合には、処理はステップＳ１３に戻る。

一方、計測時間が、設定された監視間隔に達した場合には、処理はステップＳ１に戻る。

以上のような処理を行うことで、サービス監視の重要性が高い状態への変化が検出されれば監視間隔を短くし、サービス監視の重要度が高くない状態への変化が検出されれば、監視期間を長くすることができるようになる。すなわち、状態の重要度に応じた間隔で状態変化を検出できるようになる。

次に、監視サブマスタサーバ１１０又は１２０の処理内容について、図１４を用いて説明する。

第１受信部１１１は、配下の被監視サーバから状態変更通知を受信すると（ステップＳ２１）、当該状態変更通知を第１振分処理部１１２へ出力する。第１振分処理部１１２は、状態変更通知から検出元サーバ種別及び変化後の状態を抽出し（ステップＳ２３）、設定データ格納部１１５に格納されたデータから、検出元サーバ種別及び変化後の状態に対して規定されているキャッシュ時間を特定する（ステップＳ２５）。

そして、第１振分処理部１１２は、キャッシュ時間が０秒であるか否かを判断する（ステップＳ２７）。キャッシュ時間が０秒であれば、キャッシュせずに送信することになるので、第１振分処理部１１２は、受信した状態変更通知を第１送信部１１４に出力する。

第１送信部１１４は、状態変更通知を監視マスタサーバ１００へ送信する（ステップＳ２９）。これによって、重要な状態変更通知については即座に監視マスタサーバ１００へ送信されるようになる。

一方、キャッシュ時間が０秒ではない場合には、第１振分処理部１１２は、状態変更通知を、第１キュー群１１３において、特定されたキャッシュ時間のためのキューに格納する（ステップＳ３１）。監視サブマスタサーバ１１０の場合には、配下はファイルサーバＡ及びＢのみなので、キャッシュ時間は１０秒と５秒と０秒のいずれかになる。従って、１０秒のためのキューと、５秒のためのキューとを設けて、変化後の状態が「Ｒｕｎ」であれば１０秒のキューに状態変更通知を格納し、変化後の状態が「Ｄｏｗｎ」であれば５秒のキューに状態変更通知を格納する。

一方、第１送信部１１４は、キュー毎に、当該キューに設定されたキャッシュ時間間隔で、当該キューに格納されている状態変更通知を、監視マスタサーバ１００へ送信する（ステップＳ３３）。第１送信部１１４の処理は、図示の都合上ステップＳ３３に示しているが、実際にはそれ以外の処理とは非同期に行われる。

このような処理を実行することで、状態変更通知の重要度に応じて、当該状態変更通知を即座に監視マスタサーバ１００へ転送したり、短い時間キャッシュしたり、長い時間キャッシュしたりして、監視マスタサーバ１００への通知速度を調整できるようになる。

なお、第２受信部１１６、第２振分処理部１１７、第２キュー群１１８及び第２送信部１１９についての処理も、おおよそ図１４に示すような処理フローに従う。

すなわち、第２受信部１１６は、監視マスタサーバ１００から状態変更通知を受信すると（ステップＳ２１）、当該状態変更通知を第２振分処理部１１７へ出力する。第２振分処理部１１７は、状態変更通知から検出元サーバ種別及び変化後の状態を抽出し（ステップＳ２３）、設定データ格納部１１５に格納されたデータから、検出元サーバ種別及び変化後の状態に対して規定されているキャッシュ時間を特定する（ステップＳ２５）。

そして、第２振分処理部１１７は、キャッシュ時間が０秒であるか否かを判断する（ステップＳ２７）。キャッシュ時間が０秒であれば、キャッシュせずに送信することになるので、第２振分処理部１１７は、受信した状態変更通知を第２送信部１１９に出力する。

第２送信部１１９は、状態変更通知を配下の被監視サーバへ送信する（ステップＳ２９）。但し、監視マスタサーバ１００からの状態変更通知は、ダウンしたサーバ以外の被監視サーバへ通知することになるので、ここでも、ダウンしたサーバ以外の被監視サーバへ送信する。

これによって、重要な状態変更通知については即座に他の被監視サーバへ送信されるようになる。

一方、キャッシュ時間が０秒ではない場合には、第２振分処理部１１７は、状態変更通知を、第２キュー群１１８において、特定されたキャッシュ時間のためのキューに格納する（ステップＳ３１）。監視マスタサーバ１００からの状態変更通知には、検出元サーバがファイルサーバの場合もあれば、管理サーバ、計算サーバである場合もあるので、設定データ格納部１１５に格納されているキャッシュ時間の各々についてキューを設ける。

そして、監視サブマスタサーバ１２０の場合には、検出元サーバがファイルサーバＡで且つ変化後の状態「Ｄｏｗｎ」である状態変更通知を受信すると、５秒のためのキューに状態変更通知を格納する。

一方、第２送信部１１９は、キュー毎に、当該キューに設定されたキャッシュ時間間隔で、当該キューに格納されている状態変更通知を、配下の被監視サーバ（検出元サーバを除く）へ送信する（ステップＳ３３）。第２送信部１１９の処理は、図示の都合上ステップＳ３３に示しているが、実際にはそれ以外の処理とは非同期に行われる。

このような処理を実行することで、状態変更通知の重要度に応じて、当該状態変更通知を即座に各被監視サーバへ転送したり、短い時間キャッシュしたり、長い時間キャッシュしたりして、被監視サーバへの通知速度を調整できるようになる。

次に、監視マスタサーバ１００の処理内容について、図１５を用いて説明する。

受信部１０１は、配下の監視サブマスタサーバ１１０又は１２０から状態変更通知を受信すると（ステップＳ４１）、当該状態変更通知を振分処理部１０２へ出力する。振分処理部１０２は、状態変更通知から検出元サーバ種別及び変化後の状態を抽出し（ステップＳ４３）、設定データ格納部１０５に格納されたデータから、検出元サーバ種別及び変化後の状態に対して規定されているキャッシュ時間を特定する（ステップＳ４５）。

そして、振分処理部１０２は、キャッシュ時間が０秒であるか否かを判断する（ステップＳ４７）。キャッシュ時間が０秒であれば、キャッシュせずに出力することになるので、振分処理部１０２は、受信した状態変更通知を出力部１０４に出力する。

出力部１０４は、状態変更通知を状態管理部１３０へ出力する（ステップＳ４９）。これによって、重要な状態変更通知については即座に状態管理部１３０へ出力されるようになる。そして処理はステップＳ５５に移行する。

一方、キャッシュ時間が０秒ではない場合には、振分処理部１０２は、状態変更通知を、キュー群１０３において、特定されたキャッシュ時間のためのキューに格納する（ステップＳ５１）。状態変更通知の送信元サーバは、ファイルサーバの場合もあれば、管理サーバ、計算サーバである場合もあるので、設定データ格納部１０５に格納されているキャッシュ時間の各々についてキューを設ける。

ファイルサーバＡの変化後の状態が「Ｒｕｎ」であれば１０秒のキューに状態変更通知を格納し、ファイルサーバＡの変化後の状態が「Ｄｏｗｎ」であれば５秒のキューに状態変更通知を格納する。

一方、出力部１０４は、キュー毎に、当該キューに設定されたキャッシュ時間間隔で、当該キューに格納されている状態変更通知を、状態管理部１３０へ送信する（ステップＳ５３）。出力部１０４の処理は、図示の都合上ステップＳ５３に示しているが、実際にはそれ以外の処理とは非同期に行われる。

状態管理部１３０は、状態変更通知を出力部１０４から受信すると、当該状態変更通知について予め定められている処理を実行する（ステップＳ５５）。一方、状態管理部１３０は、ダウンした被監視サーバ以外の被監視サーバへ通知するために状態変更通知を、送信部１０９へ出力する（ステップＳ５７）。

このような処理を実行することで、状態変更通知の重要度に応じて、当該状態変更通知を即座に状態管理部１３０へ出力したり、短い時間キャッシュしたり、長い時間キャッシュしたりして、状態管理部１３０への通知速度を調整できるようになる。

例えば、ファイルサーバＡにおいて異常が発生してダウンしてしまった場合について図１６を用いて説明する。

ファイルサーバＡでサービス監視が０秒で行われた後に異常が発生しても、３０秒まではサービス監視が行われないので、異常による状態変化は検出されない。３０秒になると、サービス監視部５２０は、ファイルサーバＡのダウン状態への状態変化を検出し、通信部５１０に、状態変更通知を監視サブマスタサーバ１１０へ送信させる（図１６：１１０１）。監視サブマスタサーバ１１０は、ファイルサーバＡから状態変更通知を受信すると、検出元サーバの種別「ファイルサーバ」及び変化後の状態「Ｄｏｗｎ」から、キャッシュ時間「５秒」を特定し、５秒のためのキューに格納する（図１６：１１０２）。最大５秒キューに格納された後に、監視サブマスタサーバ１１０は、キュー内の状態変更通知を、監視マスタサーバ１００に送信する（図１６：１１０３）。

監視マスタサーバ１００は、状態変更通知を受信すると、ここでも状態変更通知における検出元サーバの種別「ファイルサーバ」及び変化後の状態「Ｄｏｗｎ」から、キャッシュ時間「５秒」を特定し、５秒のためのキューに格納する（図１６：１１０４）。その後、監視マスタサーバ１００は、この状態変更通知を他の被監視サーバなどに通知するために、配下の監視サブマスタサーバ１１０及び１２０に送信する（図１６：１１０５）。

監視サブマスタサーバ１１０及び１２０は、監視マスタサーバ１００から状態変更通知を受信すると、上で述べた場合と同様に、５秒のためのキューに格納する（図１６：１１０６）。その後、監視サブマスタサーバ１１０及び１２０は、ダウンしたファイルサーバＡ以外の被監視サーバへ、状態変更通知を送信する（図１６：１１０７及び１１０８）。

ファイルサーバＢは、このような状態変更通知を受信すると、フェイルオーバペアのファイルサーバＡがダウンしたことを認識して、フェイルオーバを実行する。但し、まだ３０秒間隔でサービス監視が行われるので、６０秒になるまでフェイルオーバ状態は検出されない。６０秒になると、ファイルサーバＢのサービス監視部５２０は、フェイルオーバ状態を検出すると、通信部５１０に、状態変更通知を監視サブマスタサーバ１１０へ送信させる（図１６：１１０９）。

監視サブマスタサーバ１１０は、状態変更通知を受信すると、ここでも状態変更通知における検出元サーバの種別「ファイルサーバ」及び変化後の状態「Ｆａｉｌｏｖｅｒ」から、キャッシュ時間「０秒」を特定し、そのまま状態変更通知を即座に監視マスタサーバ１００へ送信する（図１６：１１１０）。

監視マスタサーバ１００は、状態変更通知を受信すると、ここでも状態変更通知における検出元サーバの種別「ファイルサーバ」及び変化後の状態「Ｆａｉｌｏｖｅｒ」から、キャッシュ時間「０秒」を特定するので、そのまま状態変更通知を状態管理部１３０に出力する。さらに、監視マスタサーバ１００は、この状態変更通知を他の被監視サーバなどに通知するために、配下の監視サブマスタサーバ１１０及び１２０に送信する（図１６：１１１１）。

監視サブマスタサーバ１１０及び１２０は、監視マスタサーバ１００から状態変更通知を受信すると、上で述べた場合と同様に、ダウンしたファイルサーバＡ以外の被監視サーバへ、状態変更通知を送信する（図１６：１１１２及び１１１３）。

ファイルサーバＡ及びＢ以外の被監視サーバは、フェイルオーバが発生したことを認識して、ファイルサーバＢへファイルを要求するようになる。

一方、ファイルサーバＢは、フェイルオーバが他の被監視サーバなどに通知されたことを確認すると、Ｄｏｕｂｌｅ状態に遷移する。ファイルサーバＢのサービス監視部５２０は、３０秒間隔での監視から３秒間隔での監視に移行しているので、６３秒以内にＤｏｕｂｌｅ状態に遷移していれば、６３秒のサービス監視において状態変化が検出される。この例では、処理が遅れて６３秒では、Ｄｏｕｂｌｅ状態になったと検出されなかった例を示している。

６６秒で、ファイルサーバＢのサービス監視部５２０は、Ｄｏｕｂｌｅ状態への状態変化を検出して、通信部５１０に、状態変更通知を監視サブマスタサーバ１１０へ送信させる（図１６：１１１４）。

監視サブマスタサーバ１１０は、状態変更通知を受信すると、ここでも状態変更通知における検出元サーバの種別「ファイルサーバ」及び変化後の状態「Ｄｏｕｂｌｅ」から、キャッシュ時間「０秒」を特定し、そのまま状態変更通知を即座に監視マスタサーバ１００へ送信する（図１６：１１１５）。

監視マスタサーバ１００は、状態変更通知を受信すると、ここでも状態変更通知における検出元サーバの種別「ファイルサーバ」及び変化後の状態「Ｄｏｕｂｌｅ」から、キャッシュ時間「０秒」を特定するので、そのまま状態変更通知を状態管理部１３０に出力する。さらに、監視マスタサーバ１００は、この状態変更通知をダウンした被監視サーバ以外の被監視サーバなどに通知するために、配下の監視サブマスタサーバ１１０及び１２０に送信する（図１６：１１１６）。

監視サブマスタサーバ１１０及び１２０は、監視マスタサーバ１００から状態変更通知を受信すると、上で述べた場合と同様に、ダウンしたファイルサーバＡ以外の被監視サーバへ、状態変更通知を送信する（図１６：１１１７及び１１１８）。

以上のような処理を行うことで、状態変化を他の被監視サーバなどに、状態変化の重要度に応じた速度で通知できるようになる。

なお、計算サーバ２１０又は２２０がダウンした場合には、図１６の１１０１から１１０８のような状態変更通知の配信が行われて、このダウンについての通知は完了する。フェイルオーバが発生しないためである。

また、管理サーバ２３０がダウンした場合には、図１６と同様に、３回状態変更通知の配布が行われるが、最後はＤｏｕｂｌｅ状態ではなくＲｕｎ状態に遷移するので、図１６のようにキャッシュ時間が０秒ではなく長くなる。上で述べた例では、監視サブマスタサーバ１１０及び１２０と監視マスタサーバ１００では、２０秒がキャッシュ時間として特定される。管理サーバ２３０がダウンしても計算サーバ２１０及び２２０のジョブ実行には影響がないためである。

以上のように、状態変更通知で通知される状態変化の重要度（又は他のサーバへの影響度）に応じて、その通知の緩急が付けられるようになる。

［実施の形態２］
状態変更通知キャッシュは、短時間に大量の状態変更通知が情報処理システム内のネットワークを流れるのを防止するために行われるが、被監視サーバの数が少ない場合には、ネットワークにおける通信負荷が抑えられている場合もある。また、被監視サーバの数が多くても、ダウンしている被監視サーバの数が多ければ又は稼働中の被監視サーバの数が少なければ、同様にネットワークにおける通信負荷が抑えられている場合もある。

従って、本実施の形態では、図１７に模式的に示すように、監視マスタサーバ１００の状態管理部１３０が把握している配下の被監視サーバの数、稼働中の被監視サーバの数又はダウンしている被監視サーバの数等のデータを、監視サブマスタサーバ１１０及び１２０に例えば定期的に又は任意のタイミングで通知する。

監視マスタサーバ１００並びに監視サブマスタサーバ１１０及び１２０は、このようなサーバ数データに基づき、例えば図１８に示すような処理を実行するようにしても良い。

すなわち、監視マスタサーバ１００並びに監視サブマスタサーバ１１０及び１２０は、総被監視サーバ数又は稼働中被監視サーバ数が、対応する閾値未満であるか否かを判断する（ステップＳ６１）。ダウンした被監視サーバ数による判断であっても良いが、この場合には、対応する閾値以上であるか否かを判断する。

ステップＳ６１の条件が満たされている場合には、監視マスタサーバ１００並びに監視サブマスタサーバ１１０及び１２０は、キャッシュ無しモードに遷移し、キャッシュ無しで状態変更通知を送信又は出力するようにする（ステップＳ６５）。そして、処理はステップＳ６７に移行する。

一方、ステップＳ６１の条件が満たされていない場合には、監視マスタサーバ１００並びに監視サブマスタサーバ１１０及び１２０は、通常キャッシュモードに遷移し、第１の実施の形態で示したように状態変更通知に応じたキャッシュを実行する（ステップＳ６３）。

そして、監視マスタサーバ１００並びに監視サブマスタサーバ１１０及び１２０は、処理終了が指示されたか判断し（ステップＳ６７）、処理終了が指示された場合には処理を終了する。一方、処理終了が指示されていない場合には、監視マスタサーバ１００並びに監視サブマスタサーバ１１０及び１２０は、モード変更タイミングであるか否かを判断する（ステップＳ６９）。例えば、監視マスタサーバ１００から指示されたタイミング又は定期的に、モード変更タイミングが設定される。

モード変更タイミングでない場合には、ステップＳ６９に戻る。一方、モード変更タイミングであれば、監視マスタサーバ１００並びに監視サブマスタサーバ１１０及び１２０は、ステップＳ６１に戻る。

このようにすれば、情報処理システムのネットワークにおける通信負荷が低いと想定される状態においては、状態変更通知キャッシュを行わず、通信負荷が通常以上と想定される状態においては、第１の実施の形態のように、状態変更通知に応じてキャッシュ時間が設定される。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、図４乃至図６の機能ブロック図は一例であって、プログラムモジュール構成及びデータ格納部構成とは一致しない場合もある。

処理フローについても、処理結果が変わらない限り、ステップの処理順番を入れ替えたり、複数ステップを並列に実行するようにしても良い。

なお、上で述べた各種サーバは、コンピュータ装置であって、図１９に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本実施の形態をまとめると、以下のようになる。

本実施の形態に係る情報処理システムは、第１の管理装置（例えば監視マスタサーバ）と、第１の管理装置の配下の第２の管理装置（例えば監視サブマスタサーバ）と、第２の管理装置の配下の複数の情報処理装置とを有する。そして、上記第２の管理装置が、複数の情報処理装置のいずれかの情報処理装置から、当該情報処理装置の状態変更通知を受信すると、当該状態変更通知において示される変化後の状態に対応して予め規定されている時間に応じたキャッシュを行ってから、当該状態変更通知を第１の管理装置に送信する。

変化後の状態毎にキャッシュの時間を適切に規定しておけば、情報処理システムに含まれる情報処理装置の状態変化を当該状態変化に応じて柔軟に通知できるようになる。なお、キャッシュの時間は０も含まれる。

また、上で述べた第２の管理装置が、受信した状態変更通知において示される、状態変化の検出元である情報処理装置の種別にさらに対応して予め規定されている時間に応じたキャッシュを行うようにしても良い。情報処理装置の種別によって重要性や他の情報処理装置への影響度合いも異なるためである。

さらに、上で述べた第２の管理装置が、第１の管理装置から、ある情報処理装置の状態変化を通知するための状態変更通知を受信すると、ある情報処理装置の変化後の状態及び上記ある情報処理装置の種別に対応して予め規定されている時間に応じたキャッシュを行ってから、当該状態変更通知を複数の情報処理装置のうち停止状態以外の状態の情報処理装置に送信するようにしても良い。

このようにすれば、情報処理装置も他の情報処理装置で発生した状態変化に応じた処理を行うことができるようになる。

また、上で述べた複数の情報処理装置の各々は、自情報処理装置の状態の変化を検出すると、当該変化後の状態に対応して予め設定されている時間間隔で自情報処理装置の監視を行うように設定するようにしても良い。変化後の状態によっては、頻繁に状態変更通知を送信することが好ましい場合もあるためである。

さらに、上で述べた第１の管理装置が、第２の管理装置から状態変更通知を受信すると、当該状態変更通知において示される変化後の状態に対応して予め規定されている時間に応じたキャッシュを行ってから、当該状態変更通知の処理を行うようにしても良い。

さらに、上で述べた第２の管理装置が、複数の情報処理装置の数又は複数の情報処理装置のうち稼働中の情報処理装置の数が閾値以上である場合に、状態変更通知のキャッシュを行うようにしても良い。情報処理システムのネットワークにおける通信負荷を考慮するものである。

なお、上で述べたような処理をコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭなどの光ディスク、光磁気ディスク、半導体メモリ（例えばＲＯＭ）、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、ＲＡＭ等の記憶装置に一時保管される。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
第１の管理装置と、複数の情報処理装置と、前記第１の管理装置と前記複数の情報処理装置とに接続される第２の管理装置とを有する情報処理システムにおいて、
前記第２の管理装置は、
前記複数の情報処理装置のうち状態の変更が発生した通知元情報処理装置から、前記通知元情報処理装置の状態の変更が発生した旨を通知する状態変更通知を受信した場合、受信した前記状態変更通知に含まれる前記通知元情報処理装置の変化後の状態を示す状態情報に対応して規定された所定時間だけ受信した前記状態変更通知を保持してから、受信した前記状態変更通知を前記第１の管理装置に送信する
情報処理システム。

（付記２）
前記第２の管理装置はさらに、
受信した前記状態変更通知に含まれる前記通知元情報処理装置の状態情報と、受信した前記状態変更通知に含まれる前記通知元情報処理装置の種別を示す種別情報とに対応して規定された所定時間だけ受信した前記状態変更通知を保持する
付記１記載の情報処理システム。

（付記３）
前記第２の管理装置はさらに、
前記第１の管理装置を経由して前記通知元情報処理装置についての状態変更通知を受信した場合、前記通知元情報処理装置の変化後の状態を示す状態情報と前記通知元情報処理装置の種別を示す種別情報とに対応して規定された所定時間だけ保持してから、受信した前記状態変更通知を前記複数の情報処理装置のうち稼動状態の情報処理装置に送信する
付記２記載の情報処理システム。

（付記４）
前記複数の情報処理装置の各々は、
自装置の状態の変化を検出した場合、自装置の変化後の状態に対応して設定された時間間隔で自装置を監視する
付記１乃至３のいずれか１つ記載の情報処理システム。

（付記５）
前記第１の管理装置は、
前記第２の管理装置を経由して前記通知元情報処理装置からの状態変更通知を受信した場合、前記通知元情報処理装置からの状態変更通知に含まれる前記通知元情報処理装置の変化後の状態を示す状態情報に対応して規定された所定時間だけ受信した前記状態変更通知を保持してから受信した前記状態変更通知を処理する
付記１乃至４のいずれか１つ記載の情報処理システム。

（付記６）
前記第２の管理装置は、
前記複数の情報処理装置の数又は前記複数の情報処理装置のうち稼働中の情報処理装置の数が閾値以上である場合、受信した前記状態変更通知を前記所定時間だけ保持する
付記１乃至５のいずれか１つ記載の情報処理システム。

（付記７）
第１の管理装置と、複数の情報処理装置と、前記第１の管理装置と前記複数の情報処理装置とに接続される第２の管理装置とを有する情報処理システムの制御方法において、
前記複数の情報処理装置のうち状態の変更が発生した通知元情報処理装置から、前記通知元情報処理装置の状態の変更が発生した旨を通知する状態変更通知を受信した場合、前記第２の管理装置が、受信した前記状態変更通知を保持し、
受信した前記状態変更通知に含まれる前記通知元情報処理装置の変化後の状態を示す状態情報に対応して規定された所定時間の経過後、前記第２の管理装置が、受信した前記状態変更通知を前記第１の管理装置に送信する
制御方法。

（付記８）
他の管理装置と、複数の情報処理装置と、前記他の管理装置と前記複数の情報処理装置とに接続される管理装置の制御プログラムにおいて、
前記複数の情報処理装置のうち状態の変更が発生した通知元情報処理装置から、前記通知元情報処理装置の状態の変更が発生した旨を通知する状態変更通知を受信した場合、前記管理装置に、受信した前記状態変更通知を保持させ、
受信した前記状態変更通知に含まれる前記通知元情報処理装置の変化後の状態を示す状態情報に対応して規定された所定時間の経過後、前記管理装置に、受信した前記状態変更通知を前記他の管理装置に送信させる
制御プログラム。

１００ 監視マスタサーバ
１１０，１２０ 監視サブマスタサーバ
２１０，２２０ 計算サーバ
２３０ 管理サーバ

Claims (8)

1. 第１の管理装置と、複数の情報処理装置と、前記第１の管理装置と前記複数の情報処理装置とに接続される第２の管理装置とを有する情報処理システムにおいて、
   前記第２の管理装置は、
   前記複数の情報処理装置のうち状態の変更が発生した通知元情報処理装置から、前記通知元情報処理装置の状態の変更が発生した旨を通知する状態変更通知を受信した場合、通常状態を示す状態情報に対応付けられた時間と非通常状態を示す状態情報に対応付けられた時間とを格納するデータ格納部から、受信した前記状態変更通知に含まれる前記通知元情報処理装置の変化後の状態を示す状態情報に対応付けられた時間を特定し、
   特定された前記時間だけ受信した前記状態変更通知を保持してから、受信した前記状態変更通知を前記第１の管理装置に送信する
   情報処理システム。
2. 前記データ格納部に格納された、前記通常状態を示す状態情報に対応付けられた時間及び前記非通常状態を示す状態情報に対応付けられた時間は、情報処理装置の種別を示す種別情報にさらに対応付けられ、
   前記第２の管理装置はさらに、
   受信した前記状態変更通知に含まれる前記通知元情報処理装置の状態情報と、受信した前記状態変更通知に含まれる前記通知元情報処理装置の種別を示す種別情報とに対応付けられた時間を前記データ格納部から特定し、
   特定された前記時間だけ受信した前記状態変更通知を保持する
   請求項１記載の情報処理システム。
3. 前記第２の管理装置はさらに、
   前記第１の管理装置を経由して前記通知元情報処理装置についての状態変更通知を受信した場合、前記通知元情報処理装置の変化後の状態を示す状態情報と前記通知元情報処理装置の種別を示す種別情報とに対応付けられた時間を前記データ格納部から特定し、
   特定された前記時間だけ受信した前記状態変更通知を保持してから、受信した前記状態変更通知を前記複数の情報処理装置のうち稼働状態の情報処理装置に送信する
   請求項２記載の情報処理システム。
4. 前記複数の情報処理装置の各々は、
   自装置の状態の変化を検出した場合、自装置の変化後の状態に対応して設定された時間間隔で自装置を監視する
   請求項１乃至３のいずれか１つ記載の情報処理システム。
5. 前記第１の管理装置は、
   前記第２の管理装置を経由して前記通知元情報処理装置からの状態変更通知を受信した場合、前記通知元情報処理装置からの状態変更通知に含まれる前記通知元情報処理装置の変化後の状態を示す状態情報に対応して規定された所定時間だけ受信した前記状態変更通知を保持してから受信した前記状態変更通知を処理する
   請求項１乃至４のいずれか１つ記載の情報処理システム。
6. 前記第２の管理装置は、
   前記複数の情報処理装置の数又は前記複数の情報処理装置のうち稼働中の情報処理装置の数が閾値以上である場合、受信した前記状態変更通知を、特定された前記時間だけ保持する
   請求項１乃至５のいずれか１つ記載の情報処理システム。
7. 第１の管理装置と、複数の情報処理装置と、前記第１の管理装置と前記複数の情報処理装置とに接続される第２の管理装置とを有する情報処理システムの制御方法において、
   前記複数の情報処理装置のうち状態の変更が発生した通知元情報処理装置から、前記通知元情報処理装置の状態の変更が発生した旨を通知する状態変更通知を受信した場合、前記第２の管理装置が、受信した前記状態変更通知を保持し、
   前記第２の管理装置が、通常状態を示す状態情報に対応付けられた時間と非通常状態を示す状態情報に対応付けられた時間とを格納するデータ格納部から、受信した前記状態変更通知に含まれる前記通知元情報処理装置の変化後の状態を示す状態情報に対応付けられた時間を特定し、
   特定された前記時間の経過後、前記第２の管理装置が、受信した前記状態変更通知を前記第１の管理装置に送信する
   制御方法。
8. 他の管理装置と、複数の情報処理装置と、前記他の管理装置と前記複数の情報処理装置とに接続される管理装置の制御プログラムにおいて、
   前記複数の情報処理装置のうち状態の変更が発生した通知元情報処理装置から、前記通知元情報処理装置の状態の変更が発生した旨を通知する状態変更通知を受信した場合、前記管理装置に、受信した前記状態変更通知を保持させ、
   通常状態を示す状態情報に対応付けられた時間と非通常状態を示す状態情報に対応付けられた時間とを格納するデータ格納部から、受信した前記状態変更通知に含まれる前記通知元情報処理装置の変化後の状態を示す状態情報に対応付けられた時間を前記管理装置に特定させ、
   特定された前記時間の経過後、前記管理装置に、受信した前記状態変更通知を前記他の管理装置に送信させる
   制御プログラム。

Images