JPH09293059A

JPH09293059A - 分散システム及びその運用管理方法

Info

Publication number: JPH09293059A
Application number: JP8105292A
Authority: JP
Inventors: Michio Morioka; 道雄森岡; Takanori Ookura; 敬規大倉; Hidehito Takewa; 秀仁武和; Kenichi Kurosawa; 憲一黒澤; Shigenori Kaneko; 茂則金子
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-04-25
Filing date: 1996-04-25
Publication date: 1997-11-11

Abstract

(57)【要約】【課題】あるサーバノードのある業務に障害が発生して
も、冗長化された他のノードにおいて該業務を継続する
な高信頼な分散システムを提供する。【解決手段】サーバノード3000などには、複数の業務
Ａ，Ｂの稼働を業務毎に管理する業務ノード3200を設け
る。また、分散システムで稼働する全ての業務に関し
て、その稼働状態、待機系業務情報、クライアントとの
通信経路情報などを管理するシステム内業務情報管理手
段1100を設ける。クライアントノード2000では、業務Ａ
を利用するために通信経路を確立するときに、業務Ａの
待機系業務に対しても通信経路を確立して”待機”させ
る冗長通信経路確立手段2200を設ける。現用／待機の通
信経路は通信経路報告手段2300により業務情報管理手段
1100に報告する。さらに業務が運用系／待機系のいずれ
で実行されているか判断し、実行中の業務との通信経路
を選択する通信経路切り替え手段2200を設けている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の計算機がネ
ットワークで接続された分散システムに係わり、特に計
算機システムに障害が発生しても業務を継続可能とする
高信頼運用管理方式に関する。

【０００２】

【従来の技術】近年、複数の計算機を接続した分散シス
テムが銀行や証券あるいは、鉄道管理や電力管理といっ
た重要な業務に活用されるのに伴い、分散システムの高
信頼化が重要な課題となってきている。

【０００３】従来、分散システムの高信頼化は分散シス
テムを構成する各計算機ノードを多重化することによっ
て実現されている。代表的な計算機多重化技術としては
ホットスタンバイシステムがある。本技術は、特開昭６
２−１０５２４７号のデータベース・システムの管理方
法や、論文”Software Implemented Fault Tolerance:T
echnologies and Experience,"〔Proceedings of 23rd
IEEE Conference on Fault-Tolerant Computing System
s(FTCS93),pp.2-9,1993〕に開示されている。

【０００４】ホットスタンバイシステムとは、計算機ノ
ードを運用系計算機と待機系計算機で構成し、両者に常
駐する監視プログラムによって相互に稼動状況を監視す
る。運用系に障害が発生すると、待機系は監視プログラ
ムによりこれを検出する。待機系は、引き継ぐべき業務
アプリケーションを起動し運用系の業務を引き継ぐ。運
用系から待機系に切り替わる場合、共有ディスクやネッ
トワークアドレスなどの資源を引き継ぐ。ネットワーク
資源を引き継ぐことによってクライアント側で意識して
接続先を切り替える必要がなくなる。

【０００５】ホットスタンバイシステムから、さらに進
化したものとしてＮ対１バックアップ方式の技術もあ
る。これは、複数のノードで同時に障害が発生する確率
は低いとの観点から、各ノードに待機系を設けるのでは
なく、複数ノードに対して１つの待機系を設けるもので
ある。

【０００６】また、他の分散システム高信頼化技術とし
て、特開平５−２５７９１６号には資源管理情報に基づ
く分散システム高信頼化技術が開示されている。これ
は、ホットスタンバイ技術と分散システムの資源管理技
術を融合させたものである。

【０００７】本技術では、分散システム内に冗長化され
たサーバ計算機と、そのサービスを利用するクライアン
ト計算機に加え、分散システム内の計算機資源を管理す
る管理手段を設けている。クライアント計算機から、サ
ーバ計算機に通信経路が確立されると、その内容が前記
管理手段に報告され記憶される。そして、サーバ計算機
に障害が発生し、待機系サーバ計算機が業務を引き継い
だ場合、前期管理手段によってこれがクライアント計算
機に報告され、クライアント計算機から待機系サーバ計
算機に対して新たな通信経路が確立される。これによ
り、分散システムにおいて計算機ノードに障害が発生し
ても業務を停止することなく継続することができるもの
である。

【０００８】

【発明が解決しようとする課題】上記の従来技術では、
１つのサーバ計算機で複数の業務が稼働していた場合、
１つの業務で発生した障害に起因して、関係の無い他の
業務まで待機系への切り替えが必要になる。待機系サー
バへの切り替えが発生すると数分間は業務が停止しアベ
ーラビリティが低下してしまう。

【０００９】例えば、１つのサーバ計算機で重要度の高
い業務と低い業務が稼働している場合、重要度の低い業
務で発生したアプリケーション障害によって、重要度の
高い業務まで一時停止となってしまうという問題があ
る。この場合、重要度の高い業務は、待機系業務に切り
替わることなく業務を継続できることが望ましい。ま
た、計算機単位で運用系・待機系サーバを設けて冗長化
すると、システム価格が高くなるという問題もある。

【００１０】さらに、運用系から待機系計算機へネット
ワークアドレスを引き継ぐ方式を前提とすれば、待機系
計算機は運用系計算機がダウンしない限り遊んでしま
う。現実のシステムでは、待機系計算機を優先度の低い
業務に利用したい、あるいは新しく実装する業務の事前
テストに使用したいなどのニーズがあり、ネットワーク
アドレスを引き継ぐ方式では対応できないという問題が
ある。

【００１１】一方、ネットワークアドレスを引き継がな
い方式では、運用系サーバ計算機の故障が発生して待機
系サーバ計算機に業務が引き継がれた場合、サーバ計算
機側のネットワークアドレスが変わってしまう。クライ
アントアプリケーションは、ネットワークアドレスを指
定してサーバ計算機に要求を送信しているため、サーバ
のネットワークアドレスが変わると通信できなくなって
しまう。このため、クライアントアプリケーションは通
信経路の切替指示に従い、待機系サーバ計算機に対して
通信経路を再度はりなおすことが必要になる。

【００１２】本発明の目的は、複数のクライアントノー
ド及び複数のサーバノードがネットワークによって接続
され、各サーバノードにおいて１つまたは複数の業務が
稼働する分散システムにおいて、あるサーバノードの業
務に障害が発生した場合、該サーバノードで稼働する他
の業務を待機系サーバに切り替えることなく、障害の発
生した業務のみ待機系サーバに切り替えて業務を継続す
る、アベーラビリティの高い分散システムとその運用管
理方法を提供することにある。

【００１３】本発明の他の目的は、前記分散システムに
おいてあるサーバノードの業務に障害が発生した場合、
該サーバノードで稼働する他の業務を待機系サーバに切
り替えることなく継続でき、待機系計算機を優先度の低
い業務等に有効活用できる分散システムを提供すること
にある。

【００１４】本発明の他の目的は、前記複数のサーバノ
ードにおいて、運用系業務の障害に起因して待機系業務
に切り替える時に、サーバノードのネットワークアドレ
スをサーバノード間で引き継ぐことなく業務を継続可能
にするシステム運用技術を提供することにある。

【００１５】本発明の他の目的は、前記分散システムに
おいて、運用系業務の障害に起因して待機系業務に切り
替りかわったときに、該業務に対して通信経路を確立し
ていたクライアントアプリケーションに対して、業務の
切り替えを意識させずに通信経路の切り替えが可能なシ
ステム運用技術を提供することにある。

【００１６】

【課題を解決するための手段】上記目的は、システム管
理ノード、複数のクライアントノード及び複数のサーバ
ノードがネットワークによって接続され、各サーバノー
ドで稼働する冗長系を含む１つまたは複数の業務をクラ
イアントノードから利用する分散システムにおいて、前
記業務単位に運用系／待機系の区別と、生、死または待
機の業務状態と、サーバノード番号を含む業務管理情報
をオンラインに一元管理するとともに、運用系の所定業
務を稼働状態（生）とする場合にその待機系の前記所定
業務を待機状態に管理し、稼働中の前記所定業務に障害
が発生した時に他の業務は継続し、該所定業務のみを前
記待機系に切替ることにより達成される。

【００１７】上記他の目的は、上記構成において、前記
複数の業務の中の所定業務を運用系業務と待機系業務に
冗長化して異なるサーバノードで稼働するようにし、且
つ、１つまたは複数のサーバノード内で異なる運用系業
務と待機系業務を並行可能に構成してなり、運用系の所
定業務に障害が発生した時に当該サーバーノードにおけ
る他の業務をそのまま継続し、前記所定業務のみを前記
待機系に切替ることにより達成される。

【００１８】上記他の目的は、前記業務管理情報に通信
経路情報を含み、前記クライアントノードは前記所定業
務を利用する際に前記運用系のサーバノードとの間で通
信経路を確立するとともに、前記待機系のサーバノード
との通信経路も確立し、これら運用系通信経路と待機系
通信経路を前記システム管理ノードに送信して前記業務
管理情報として管理し、前記システム管理ノードは、稼
働中の前記所定業務に障害が発生した場合に、対応する
待機系の所定業務を待機状態から稼働状態に切り替える
ように該当サーバノードに指示すること、また、前記所
定業務を利用しているクライアントノードに対し通信経
路を運用系から待機系に切り替えるように指示すること
により達成される。

【００１９】上記構成によれば、サーバノードは常に担
当する業務の稼働状況を監視し、システム管理ノードに
対して報告する。これによって、管理ノードは分散シス
テム内の全ての業務に関して、その稼働状況、待機系業
務の情報などを管理する。クライアントノードは運用系
業務との通信経路を確立するときに、管理ノードに問い
合わせて、対象業務の待機系の場所（サーバノード番
号）を識別し、運用系業務、待機系業務の両者に対して
通信経路を確立する。そして、確立された両通信経路を
管理ノードに報告する。これによって、管理ノードは各
業務を利用するクライアントとの通信経路情報を保持で
きる。

【００２０】サーバノードにおいて運用系業務に障害が
発生した場合、サーバ自身の監視手段または管理ノード
のウオッチドッグタイマにより検出する。これにより、
システム管理ノードは障害が発生した業務の待機系業務
が稼働するサーバノードを特定し、待機系業務の立ち上
げを指示する。さらに、障害が発生した運用系業務に対
して通信経路を確立していたクライアントを特定し、通
信経路の切り替えを指示する。クライアントノードは、
運用系業務に障害が発生したことを認識すると、待機系
業務への通信経路に切り替える。

【００２１】

【発明の実施の形態】図１は、本発明の一実施形態によ
る分散システムの全体構成を示している。本システム
は、業務アプリケーションを実行するサーバノード300
0，4000，5000、業務アプリケーションに対してサービ
スを要求するクライアントノード2000及び分散システム
内の業務アプリケーションや業務とクライアントとの通
信経路を管理する管理ノード1000がネットワーク6000を
経由して接続される。

【００２２】管理ノード1000には、マネージャ1100が常
駐し、業務管理データベース1200を管理する。マネージ
ャ1100は、分散システム内に存在する業務の名称、分類
の情報1210，1220を収集し、業務データベース1200に登
録する。また、各業務からの定期的な報告により“生”
・“死”等の業務状態1230も管理する。更には各業務に
対して接続されたクライアントからの通信経路情報1250
も管理する。

【００２３】サーバノード3000，4000，5000には、エイ
ジェント3100，4100，5100が常駐し、マネージャ1100か
らの指示に従って自ノード内の業務情報を収集する。ま
た、各エイジェントは自ノード内の業務からの報告を受
け付けマネージャ1100に転送する。

【００２４】業務サーバ3300，3200は複数のタスクから
構成される各業務を管理し、その停止あるいは立ち上げ
等稼動状態を制御する。業務の稼動状態は定期的にアラ
イブメッセージを自エイジェントに送るかあるいは業務
停止を直接エイジェントに報告する。業務サーバは必要
であれば、運用系業務サーバ・待機系業務サーバのペア
で冗長にすることも可能である。例えば、図１の例では
業務Ａの運用系業務サーバ3300はサーバノードＸ3000に
置かれ、待機系業務サーバ4200はサーバノードＹ4000に
置かれている。

【００２５】クライアントノード2000には、クライアン
トプログラム2100があり、サーバノード3000，4000，50
00に配置された業務サーバに対して特定の業務サービス
を要求する。業務サービスは、例えば業務サーバＡ3300
の通信ポート3310に対して要求を送ることによって受け
付けられる。本実施例での通信ポートは、ノード番号と
通信ポート番号のペアで識別され、分散システム内に唯
一しか存在しないように管理される。そして各通信ポー
ト毎に業務サービスが割り当てられる。

【００２６】本実施例では通信ポートをノード番号と通
信ポート番号のペアで表現するが、当然通信ポート管理
プログラムにより、ノード番号に依存しないシステム内
で一貫した通信ポート番号を割り当てることも可能であ
る。

【００２７】クライアントプログラム2100が業務サーバ
3300に対して業務サービスを要求する場合、対応する業
務サービスのノード番号・通信ポート番号を指定し、高
信頼通信ライブラリ2200及びネットワーク6000を経由し
て通信経路6100を確立する。

【００２８】図１の例では、通信経路6100は業務サーバ
Ａ3300の通信ポート3310とクライアント側通信ポート22
20を接続する。高信頼通信ライブラリ2200は、通信経路
6100を確立すると同時に、待機系業務が存在すれば待機
系業務への通信経路6200も確立する。待機系業務が存在
するかどうか、また存在するならばそのノード番号・通
信ポート番号の情報は、クライアントノード2000のエイ
ジェント2300経由で管理ノード1000のマネージャ1100に
問い合わせることにより判別する。

【００２９】今、業務サーバＡ3300にて障害3900が発生
した場合、業務サーバＡはエイジェント3100を経由して
マネージャ1100に報告する。マネージャ1100は、業務管
理データベース1200から業務サーバＡの待機系業務サー
バ4200のノード番号を識別し、サーバノードＹ4000のエ
イジェント4100経由で待機系業務サーバ4200に立ち上げ
指示を送る。一方、業務サーバＡ3300との通信経路6100
を確立していたクライアントノード2000に対して、切り
替えるべきクライアント側の通信ポート番号2220を通知
する。高信頼通信ライブラリ2200は、通信経路切替指示
に従って、待機系通信経路6200を使用する。

【００３０】図２は、管理ノード1000のマネージャ1100
が管理する業務管理データベース1200の詳細を示してい
る。名称欄1210は分散システム内に存在する業務サーバ
の名称を示す。分類欄1220は業務サーバの種類、すなわ
ち運用系・待機系あるいは待機系なしなどの情報を示
す。状態欄1230は業務サーバの状態、すなわち“生”、
“死“、”待機中“などを示す。場所欄1240は業務サー
バが稼動するノード番号を示す。サービス名称欄1250及
びサービスポート番号欄1260は、それぞれ業務サーバが
サポートするサービスの名称及びそのポート番号を示
す。

【００３１】例えば、クライアントが業務ＡのＬサービ
スを利用したい場合は、ノードＸのポート番号10に対し
て通信経路を確立しメッセージを送ればよい。クライア
ントノード番号欄1270及びクライアントポート番号欄12
80は、対応する業務サービスを利用しているクライアン
トのノード番号及びポート番号を示す。１つの業務サー
ビスを複数のクライアントが使用する場合も有り得る。

【００３２】図２の例で言えば、業務Ａは運用系がノー
ドＸ、待機系がノードＹに存在し、運用系業務が稼動中
であることを示している。そして、業務ＡのＬサービス
はポート番号10で指定でき、現在このサービスを利用し
ているのは、ノード番号Ｓで稼動し、ポート番号２で通
信経路を確立しているクライアントと、ノード番号Ｔで
稼動し、ポート番号５で通信経路を確立しているクライ
アントであることを示している。

【００３３】図１０、図１１は、それぞれ図１と図２に
対応し、待機系計算機を有効に活用する例を示してい
る。本例では、管理ノード1000は業務Ｃの運用系10000
をサーバノードＸで稼働させ、業務Ｃの待機系10001を
サーバノードＹに割り当てる。サーバノードＹを有効活
用するため、管理ノード1000は業務Ｄの運用系10002を
このノードで稼働させる。同様に、サーバノードＺに
は、業務Ｅの運用系10004と業務Ｄの待機系10003を割り
当てる。

【００３４】以下に詳述するように、本発明によれば障
害が発生した業務のみを待機系に切り替える。例えばノ
ードＹで稼働している業務Ｄの運用系に障害が発生して
ノードＺの待機系業務Ｄに切り替えても、ノードＹにお
ける待機系業務Ｃの稼働は維持できる。これにより、重
要な業務Ｃを冗長化したサーバノードＹ、業務Ｄを冗長
化したサーバノードＺは、遊ぶことなく優先度の低い業
務や事前テストなどに有効に活用でき、システムのアベ
ラビリティないしコストパフォーマンスを向上できる。

【００３５】図３は管理ノードの内部構成を示してい
る。管理ノード1000には、オぺレーティングシステム13
00とマネージャ1100が常駐する。マネージャ1100は業務
管理データベース1200の内容を管理する。

【００３６】マネージャ1100はメッセージ分配ユニット
1110、業務情報収集ユニット1120、業務状態監視ユニッ
ト1130、通信管理ユニット1140、障害回復ユニット1150
で構成される。業務情報収集ユニット1120は、定期的に
分散システム内の各ノードに常駐するエイジェントに対
して業務情報の報告を要求するメッセージを送ることに
よって静的な業務情報を収集する。

【００３７】エイジェントからの業務情報報告は、メッ
セージ分配ユニット1110を経由して業務情報収集ユニッ
ト1120に配送される。業務情報報告は、該当ノードに存
在する業務の名称、運用系・待機系などの分類、業務が
提供するサービス名称とそのポート番号等を含む。業務
情報収集ユニット1120は、各ノードのエイジェントから
の業務情報報告を受け、その内容を業務管理データベー
ス1200に登録する。

【００３８】業務状態監視ユニット1130は、分散システ
ム内の動的な業務情報すなわち、業務の稼動状態を監視
する。各ノードのエイジェントからの定期的な業務稼動
状態の報告を受けて、業務管理データベース1200に登録
する。業務稼動状態としては、“生”“死”“待機中”
等がある。業務稼動状態の報告は、例えば各業務から１
秒間隔で報告される。

【００３９】また、業務状態監視ユニット1130は、各業
務毎にワッチドッグタイマ1160を割り当て、定期的な業
務稼動状態の報告を受けるたびにワッチドッグタイマを
リセットする。ある業務からの報告が一定期間到着しな
ければ、該当するワッチドッグタイマでタイムアウトが
発生し、該業務は停止したと判断して業務管理データベ
ース1200に登録する。

【００４０】通信管理ユニット1140は主に、業務サーバ
に関する待機系情報のクライアントからの問い合わせに
応答する処理と、クライアントから通信経路確立の報告
をうけて業務管理データベース1200に登録する通信経路
情報の登録処理を行う。

【００４１】クライアントからの業務サーバに関する待
機系情報の問い合わせは、クライアントがサービスを要
求する業務名称およびサービスポート番号のペアを引き
数として受信される。通信管理ユニット1140は、業務管
理データベース1200を検索し、指定された業務の待機系
業務を検索し、該業務が稼働するサーバノード番号およ
びサービスポート番号を獲得し、クライアントに返送す
る。

【００４２】また、クライアントは、業務サーバのサー
ビスポートと通信経路を確立すると、通信管理ユニット
1140に対して通信経路確立を報告する。通信経路確立の
報告は、引き数として、業務サーバ側の業務名称／サー
ビスポート番号およびクライアント側のノード番号／ポ
ート番号を有する。通信管理ユニット1140は、通信経路
確立の報告を受けてその内容を業務管理データベース12
00に登録する。

【００４３】障害回復ユニット1150は、業務状態監視ユ
ニット1130からの業務停止報告を受けて、待機系業務サ
ーバの立ち上げおよび、関連するクライアントの通信経
路を待機系業務サーバへ切り替える指示を発行する。

【００４４】たとえば、業務Ａの運用系サーバが停止し
た報告を受けた場合、業務管理データベース1200を検索
し、業務Ａの待機系サーバが稼働するノード番号を獲得
する。そして、該当ノードのエイジェントに対して、業
務Ａの待機系サーバを立ち上げるよう指示する。更に、
障害回復ユニット1150は、業務管理データベース1200を
検索し、停止した業務Ａに通信経路を確立していたクラ
イアントのノード番号およびポート番号を獲得する。こ
れは複数存在しうる。対象となるクライアントノードの
エイジェントに対して、ポート番号を指定して通信経路
を待機系に切り替えるよう指示する。

【００４５】図４はサーバノードの内部構成を示す。サ
ーバノード3000にはオペレーティングシステム3500とエ
イジェント3100が常駐する。また複数の業務サーバ320
0，3300，3400が稼働しており、それぞれ自業務に関連
する業務タスク、例えば業務サーバ3200であれば業務タ
スク3600，3610，3620を管理する。

【００４６】エイジェント3100は、管理ノード1000のマ
ネージャ1100とメッセージを送受信することによって、
自ノード内の業務を管理する。エイジェントはメッセー
ジ分配ユニット3110、業務情報収集ユニット3120、業務
管理ユニット3130から構成される。

【００４７】メッセージ分配ユニット3110は、マネージ
ャ1100とのメッセージ交換を制御する。業務情報収集ユ
ニット3120は、マネジャ1100からの業務情報報告要求を
うけて、自ノード内の業務サーバ3200，3300，3400から
静的な業務情報（該当ノードに存在する業務の名称、運
用系・待機系などの分類、業務が提供するサービス名称
とそのポート番号等）を収集しマネージャ1100に転送す
る。更に、業務サーバからの定期的な（例えば１秒間
隔）業務稼動状態（“生”“死”“待機中”等）の報告
を受けて、これをマネージャ1100に報告する。

【００４８】業務管理ユニット3130は、マネージャ1100
からの業務操作命令を受けて、対象業務に命令を転送す
る。業務操作命令には、待機系業務サーバの立ち上げ
や、業務サーバの停止などが含まれる。

【００４９】業務サーバ3200は、業務に関連する業務タ
スク3600，3610，3620を管理するサーバであり、業務情
報管理ユニット3210、業務情報テーブル3240、業務状態
報告ユニット3220、業務状態制御ユニット3230から構成
される。業務情報テーブル3240には、業務の名称、運用
系・待機系などの分類、業務が提供するサービス名称と
そのポート番号、業務に関連する業務タスク名称等がユ
ーザによって登録される。本サーバでは、異なる業務の
運用系と待機系の登録が可能となる。

【００５０】業務情報管理ユニット3210は、エイジェン
ト3100から静的な業務情報報告要求を受けて、業務情報
テーブル3240を検索し、自業務の名称、運用系・待機系
などの分類、自業務が提供するサービス名称とそのポー
ト番号等をエイジェント3100に返送する。業務状態報告
ユニット3220は、定期的に自業務の状態をエイジェント
3100に報告する。

【００５１】また、業務状態制御ユニット3230は、エイ
ジェントからの業務操作命令を受けて自業務の立ち上げ
あるいは停止処理を行う。更に、関連業務タスク3600，
3610，3620の障害を検出し、自業務の閉塞などを行う。
例えば、業務タスク3600を実行時に障害が発生すると、
オペレーティングシステム3500はこれを検出し、業務サ
ーバ3200に報告する。業務状態制御ユニット3230は、こ
れを受けて自業務に関連する業務タスク3600，3610，36
20を停止させる。業務状態報告ユニット3220は、業務の
状態が”生”から”死”に変化したことをエイジェント
3100に報告する。

【００５２】図５は、クライアントノードの内部構成を
示している。クライアントノード2000にはオペレーティ
ングシステム2500とエイジェント2300が常駐する。また
業務サーバのサービスを利用するクライアントアプリケ
ーション2100，2900，2910，2920が稼働する。

【００５３】クライアントアプリケーション2100には、
高信頼通信ライブラリ2200が付属し通信経路の管理を行
う。クライアントアプリケーション2100は特定の業務サ
ーバのサービスを利用する場合、高信頼通信ライブラリ
2200に対して、該当するノード番号／サービスポート番
号を指定して、通信経路の確立を要求する。通信経路確
立後は、通信経路のクライアント側端点であるポートに
対してサービスを要求する。

【００５４】高信頼通信ライブラリ2200は、通信経路生
成機能2210と通信切り替え機能2220からなる。通信経路
生成機能2210は、クライアントアプリケーション2100か
らの通信経路確立要求を受けて、運用系業務サーバおよ
び待機系業務サーバに対して運用系通信経路、待機系通
信経路の両者を確立する。待機系業務サーバのノード番
号／ポート番号は、エイジェント2300経由で、管理ノー
ド1000のマネジャ1100に問い合わせることによって獲得
する。

【００５５】また、通信経路の確立に成功した場合、ク
ライアント側の端点であるポート番号を、エイジェント
2300経由で管理ノード1000のマネージャ1100に報告す
る。通信切り替え機能2220は、クライアントが業務サー
バに対してデータ転送をするときに、通信経路の状況に
よって運用系通信経路を利用するか待機系通信経路を利
用するか選択する機能を有する。通信経路の状況は、エ
イジェント2300に問い合わせることにより識別する。

【００５６】エイジェント2300は通信管理ユニット232
0、通信ポート管理ユニット2330および通信ポート管理
テーブル2340、メッセージ分配ユニット2310から構成さ
れる。通信管理ユニット2320は、高信頼通信ライブラリ
2200からの待機系業務サーバ情報の問い合わせを受け付
け、管理ノード1000のマネージャ1100に問い合わせ返送
する。また、通信経路確立報告を受けて、クライアント
側ポート番号を管理ノード1000に報告する。このとき、
通信ポート管理ユニット2330にもポート番号を報告す
る。

【００５７】通信ポート管理ユニット2330は、自ノード
の通信ポートの状態を示す通信ポート管理テーブル2340
の管理を担当し、通信管理ユニット2320からの通信経路
確立報告があると、該当するクライアント側ポート番号
を通信ポート管理テーブル2340に登録する。また、管理
ノード1000のマネージャ1100から業務サーバの障害に起
因して、通信経路切り替え指示があると、該当する通信
経路のクライアント側ポートの状態を”死”に変更す
る。また、高信頼通信ライブラリ2200からの通信経路状
態の問い合わせを受けて、通信ポート管理テーブル2340
を検索し、運用系通信経路／待機系通信経路の状態を報
告する。

【００５８】図６は通信ポート管理テーブルの詳細な内
容を示している。テーブル2340のクライアントポート番
号2341は、確立された通信経路のクライアント側ポート
番号を示している。ポート状態2342は、該当ポートに関
連する通信経路の状態を示している。通信経路の状態に
は”生”、”死”、”待機”などがある。待機系ポート
番号2343は、関連する通信経路の待機系ポート番号を示
す。

【００５９】次に、本実施形態による通信経路の確立方
法を説明する。図７に通信経路生成の手順を示す。クラ
イアントアプリケーション2100は、Ｓ100で所望の業務
サーバのサービスを利用するため通信経路生成要求、例
えばFT_CONNECT関数を発行する。FT_CONNECT関数により
高信頼通信ライブラリ2200が読み出される。

【００６０】通信ライブラリ2200は、Ｓ110で対象業務
の待機系業務サーバのノード番号／ポート番号をクライ
アントノード2000のエイジェント2300に問い合わせる。
エイジェント2300は、Ｓ160で該問い合わせを管理ノー
ド1000のマネージャ1100に転送する。マネージャ1100
は、Ｓ190で業務管理データベース1200の内容を検索
し、待機系業務サーバのノード番号／ポート番号を読み
出し、クライアントノードのエイジェント2300を経由し
て通信ライブラリ2200に返送する。

【００６１】高信頼通信ライブラリ2200は、Ｓ120で所
望の運用系業務サーバとの通信経路を生成する関数、例
えばCONNECT関数を発行する。サーバノード3000の運用
系業務サーバは、これを受けてＳ220で通信経路を確立
し、通信ライブラリ2200に対して確認応答を返送する。
通信ライブラリ2200は、Ｓ130で確立した運用系通信経
路のクライアント側ノード番号／ポート番号を自ノード
のエイジェント2300に報告する。

【００６２】クライアントノードのエイジェント2300
は、Ｓ170でこの通信経路情報を管理ノードのマネージ
ャ1100に転送するとともに、自ノードの通信ポート管理
テーブル2340に登録し、該通信経路の状態を”生”とす
る。管理ノードのマネージャは、Ｓ200で受信した運用
系通信経路のクライアント側ノード番号／ポート番号を
業務管理データベース1200の関連業務サーバの欄に登録
する。

【００６３】一方、高信頼通信ライブラリ2200はＳ140
で待機系業務サーバとの通信経路を生成する関数、例え
ばCONNECT関数を発行する。サーバノードの待機系業務
サーバはこれを受けてＳ230で通信経路を確立し、通信
ライブラリ2200に対して確認応答を返送する。通信ライ
ブラリ2200は、Ｓ150で確立した待機系通信経路のクラ
イアント側ノード番号／ポート番号を自ノードエイジェ
ント2300に報告する。

【００６４】エイジェント2300は、Ｓ180で該通信経路
情報を管理ノードのマネージャ1100に転送するととも
に、自ノードの通信ポート管理テーブル2340に登録し、
該通信経路の状態を”待機中”とする。管理ノードのマ
ネージャ1100は、Ｓ210で受信した待機系通信経路のク
ライアント側ノード番号／ポート番号を業務管理データ
ベース1200の関連業務サーバの欄に登録する。

【００６５】以上の手順により、クライアントアプリケ
ーションから所望の業務をサービスする運用系業務サー
バに対して通信経路を確立するときに、管理ノードから
得た当該業務の情報を基に待機系サーバに対しても通信
経路を確立し待機させる。また、これら運用系通信経路
・待機系通信経路を管理ノードに登録しておき、運用系
業務の障害時に、管理ノードからの指示で待機系サーバ
の起動と通信回路の切り替えを行なう。

【００６６】次に、図８を用いてクライアントから業務
サーバへのデータ転送手順を示す。クライアントアプリ
ケーション2100は、Ｓ300で業務サーバに対してデータ
転送を要求する関数、例えばFT_SEND関数を発行する。F
T_SEND関数により高信頼通信ライブラリ2200が読み出さ
れる。通信ライブラリ2200は、Ｓ310で自ノードのエイ
ジェント2300に対して運用系・待機系通信経路の状態を
問い合わせる。エイジェント2300は、Ｓ370で通信ポー
ト管理テーブル2340より通信経路の状態を識別し、通信
ライブラリ2200に返送する。

【００６７】高信頼通信ライブラリ2200は、Ｓ320で運
用系通信経路の状態を判定し、”生”ならばＳ330で運
用系通信経路により運用系業務サーバにデータを送信す
る。サーバノードの運用系業務サーバはＳ380でこれを
受けて処理する。一方、運用系通信経路の状態が”死”
ならば、Ｓ340で待機系通信経路の状態を判定する。状
態が”生”ならばＳ350で待機系通信経路により待機系
業務サーバにデータを送信する。サーバノードの待機系
業務サーバはＳ390でこれを受けて処理する。待機系通
信経路の状態が”待機”である場合はしばらく待ってリ
トライする。また、待機系通信経路の状態が”死”であ
ればＳ360で障害処理を行う。

【００６８】次に、図９を用いて運用系業務サーバで障
害が発生した場合の回復手段を示す。業務サーバにおけ
る障害の検出は２つのケースがありうる。１つは、業務
サーバが自業務に関連するタスクの障害を検出し、管理
ノード1000のマネージャ1100に報告するケースである。
この場合、タスク実行中の障害は、一旦オペレーティン
グ3500に検出され、該当する例えば業務サーバ3200に報
告される。業務サーバ3200は、業務を継続可能かどうか
判断し、継続不可の場合自ノードのエイジェント3100を
経由してマネージャ1100に報告する。

【００６９】もう１つの障害検出方法は、業務サーバが
管理ノードのマネージャ1100に対して一定期間ごとに報
告するアライブ報告がとぎれた場合に、マネージャ1100
が該当業務が停止したと判断する。図９の例は、業務サ
ーバによって障害が検出されるケースに関して手順を示
したものである。

【００７０】運用系業務サーバが、Ｓ400で自業務の障
害を検出し継続不可と判断して、関連する業務タスクを
停止させて業務を閉塞する。そして運用系業務の停止を
自ノードのエイジェントに報告する。エイジェントはＳ
410で業務の停止を管理ノードのマネージャに報告す
る。

【００７１】マネージャ1100は、Ｓ420で業務管理デー
タベース1200から待機系業務サーバのノード番号を検索
し、該ノードのエイジェントに対して、待機系業務の立
ち上げを指示する。待機系業務サーバが稼働するノード
のエイジェントは、Ｓ450で待機系業務立ち上げ指示を
待機系業務サーバに転送し、待機系業務サーバはＳ460
で、関連する業務タスクを全て起動する。

【００７２】次に、管理ノードのマネージャ1100は、Ｓ
430で業務管理データベース1200から、停止した業務に
通信経路を確立していたクライアントアプリケーション
のノード番号及びクライアント側のポート番号を検索す
る。そしてＳ440で、関連するクライアントアプリケー
ションが稼働するノードのエイジェントに対して、ポー
ト番号を指定して通信経路の切り替えを指示する。クラ
イアントノードのエイジェントは、Ｓ470で通信経路切
り替え指示を受け付けて、通信ポート管理テーブル2340
の対応するポートの状態を”生”から”死”に変更す
る。これによって、クライアントアプリケーションは、
運用系通信経路の閉塞を検出し、待機系通信経路への切
り替えを行う。

【００７３】以上、本実施形態によれば、複数のクライ
アントノード及び複数のサーバノードがネットワークに
よって接続され、各サーバノードにおいて１つまたは複
数の業務が稼働する分散システムにおいて、あるサーバ
ノードの所定業務に障害が発生したとき当該ノードの他
の業務は継続しながら、その所定業務はそれが冗長化さ
れた他のノードに切り替えて継続することが可能にな
る。

【００７４】また、クライアントの通信管理手段は、サ
ーバとの通信経路確立時にシステム稼働状態を一元管理
する管理ノードに通知するとともに、待機系業務サーバ
情報を問合せして管理しているので、運用系業務の障害
に起因する待機系業務への切り替えに際し、サーバノー
ドのネットワークアドレスをサーバノード間で引き継ぐ
ことなく、また、クライアントアプリケーションに対し
て業務の切り替えを意識させずに通信経路の切り替えが
可能になる。

【００７５】

【発明の効果】本発明によれば、運用系業務／待機系業
務など冗長系を管理する対象を、ノード単位ではなく業
務単位とすることによって、障害の発生した業務のみ待
機系サーバに切り替え、他の業務は切り替えることなく
それぞれ継続できるので、分散システム全体のアベイラ
ビリティを向上させる効果がある。また、待機系計算機
を遊ばせずに重要度の低い業務を担わせる等、有効活用
が可能になる。

【００７６】本発明によれば、運用系業務の障害に起因
して待機系業務に切り替える時に、サーバノードのネッ
トワークアドレスをサーバノード間で引き継ぐことな
く、また、該業務に対して通信経路を確立していたクラ
イアントアプリケーションに対して、業務の切り替えを
意識させずに通信経路の切り替えが可能な信頼性の高い
分散システムを提供できる。

【図面の簡単な説明】

【図１】本発明の一実施形態による分散システムの全体
構成図。

【図２】業務管理データベースの内容を示す構成図。

【図３】管理ノードの構成図。

【図４】サーバノードの構成図。

【図５】クライアントノードの構成図。

【図６】通信ポート管理テーブルの内容を示す構成図。

【図７】通信経路生成手順を示すフロー図。

【図８】データ転送手順を示すフロー図。

【図９】障害回復手順を示すフロー図。

【図１０】図１と同じ基本構成で、待機系計算機の活用
例を示す分散システムの全体構成図。

【図１１】図１０の業務管理データベースの内容を示す
構成図。

【符号の説明】

1000…管理ノード、1100…マネージャ、1120…業務情報
収集ユニット、1130…業務状態監視ユニット、1140…通
信管理ユニット、1150…障害回復ユニット、1200…業務
管理データベース、2000…クライアントノード、2100，
2900…クライアントアプリケーション、2200…高信頼通
信ライブラリ、2210…通信経路生成機能、2220…通信切
替機能、2300…エイジェント、2320…通信管理ユニッ
ト、2330…通信ポート管理ユニット、2340…通信ポート
管理テーブル、3000，4000，5000…サーバノード、3100
…エイジェント、3200，3300，3400…業務サーバ、3210
…業務情報管理ユニット、3220…業務状態報告ユニッ
ト、3230…業務状態制御ユニット、3240…業務情報テー
ブル、3500…ＯＳ、3600，3610，3620…業務タスク、60
00…ネットワーク。

───────────────────────────────────────────────────── フロントページの続き (72)発明者黒澤憲一茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内 (72)発明者金子茂則茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内

Claims

【特許請求の範囲】

【請求項１】システム管理ノード、複数のクライアン
トノード及び複数のサーバノードがネットワークによっ
て接続され、各サーバノードで稼働する冗長系を含む１
つまたは複数の業務をクライアントノードから利用する
分散システムにおいて、前記業務単位に運用系／待機系の区別と、生、死または
待機の業務状態と、サーバノード番号を含む業務管理情
報をオンラインに一元管理するとともに、運用系の所定
業務を稼働状態（生）とする場合にその待機系の前記所
定業務を待機状態に管理し、稼働中の前記所定業務に障
害が発生した時に当該サーバーノードにおける他の業務
をそのまま継続し、該所定業務のみを前記待機系に切替
ることを特徴とする分散システムの運用管理方法。
【請求項２】請求項１において、前記業務管理情報に通信経路情報を含み、前記クライア
ントノードは前記所定業務を利用する際に前記運用系の
サーバノードとの間で通信経路を確立するとともに、前
記待機系のサーバノードとの通信経路も確立し、これら
運用系通信経路と待機系通信経路を前記システム管理ノ
ードに送信して前記業務管理情報として管理することを
特徴とする分散システムの運用管理方法。
【請求項３】請求項２において、前記システム管理ノードは、稼働中の前記所定業務に障
害が発生した場合に、対応する待機系の所定業務を待機
状態から稼働状態に切り替えるように該当サーバノード
に指示し、また、前記所定業務を利用しているクライア
ントノードに対し通信経路を運用系から待機系に切り替
えるように指示することを特徴とする分散システムの運
用管理方法。
【請求項４】請求項２または３において、前記クライアントノードは、前記運用系通信経路と前記
待機系通信経路の通信ポートと経路状態を自ノード内に
管理し、前記サーバノードへのデータ転送に際し、前記
運用系通信経路の経路状態が死ならば前記待機系通信経
路の経路状態を判定し、生ならば該待機系通信経路によ
り待機系業務サーバにデータを送信し、待機ならば所定
時間後にリトライすることを特徴とする分散システムの
運用管理方法。
【請求項５】システム管理ノード、複数のクライアン
トノード及び複数のサーバノードがネットワークによっ
て接続され、各サーバノードで稼働する１つまたは複数
の業務をクライアントノードから利用する分散システム
において、前記複数の業務の中の所定業務を現用系業務と待機系業
務に冗長化して異なるサーバノードで稼働するように構
成し、前記システム管理ノードに、前記業務単位に運用系／待
機系の区別と、生、死または待機の業務状態と、サーバ
ノード番号と通信経路情報をオンラインに一元管理する
業務管理データベースと、前記業務の稼働中の業務状態
を監視し運用系の前記所定業務の障害検知により前記業
務管理データベースから前記所定業務の待機系の情報を
参照して、前記所定業務のみをその待機系のサーバノー
ドに切替る障害回復手段を設けることを特徴とする分散
システム。
【請求項６】システム管理ノード、複数のクライアン
トノード及び複数のサーバノードがネットワークによっ
て接続され、各サーバノードで稼働する１つまたは複数
の業務をクライアントノードから利用する分散システム
において、前記複数の業務の中の所定業務を運用系業務と待機系業
務に冗長化して異なるサーバノードで稼働するように
し、且つ、１つまたは複数のサーバノード内で異なる運
用系業務と待機系業務を並行可能に構成し、前記システム管理ノードに、前記業務単位に運用系／待
機系の区別と、生、死または待機の業務状態と、サーバ
ノード番号と通信経路情報をオンラインに一元管理する
業務管理データベースと、前記業務の稼働中の業務状態
を監視し運用系の前記所定業務の障害検知により、当該
サーバーノードにおける他の業務をそのまま継続し、前
記業務管理データベースから前記所定業務の待機系の情
報を参照して、前記所定業務のみをその待機系のサーバ
ノードに切替る障害回復手段を設けることを特徴とする
分散システム。
【請求項７】請求項５または６において、前記システム管理ノードは、業務の利用に際して確立さ
れた通信経路を前記業務管理データベースに管理すると
ともに、前記所定業務の障害検知時に利用中のクライア
ントサーバに待機系業務の通信経路へ切り替え指示する
通信管理手段を設けることを特徴とする分散システム。
【請求項８】請求項７において、前記クライアントノードは、利用する前記所定業務に対
し接続対象となる運用系業務のサーバノードに要求して
運用系通信経路を確立するとともに、前記所定業務の待
機系サーバノードを前記システム管理ノードに問合せ、
その待機系サーバノードに要求して待機系経路を確立し
て管理するとともに、これら通信経路を前記システム管
理ノードに報告する通信経路管理手段を設けることを特
徴とする分散システム。
【請求項９】請求項８において、前記通信経路管理手段は、前記通信経路のポート番号等
とともに生、死または待機の経路状態を記憶する通信ポ
ート管理テーブルと、自ノードが利用する通信経路を運
用系通信経路または待機系通信経路の前記経路状態に応
じて選択する通信切替手段を有していることを特徴とす
る分散システム。