JPH07306794A - 分散システム及び分散システムの高信頼化方法 - Google Patents

Abstract

(57)【要約】 【目的】 クライアント・サーバモデルで動作するシス
テムにおいて、サーバ計算機に障害が発生した場合で
も、クライアントプロセスの処理が停止することなく正
常に動作をつづける高信頼なクライアント・サーバシス
テムを得る。 【構成】 クライアント計算機２からの処理要求を複数
のサーバ計算機３，４，５へ送信する。サーバ計算機
３，４，５は処理結果をクライアント計算機に返送す
る。クライアントプロセス９の処理結果比較手段は得ら
れた処理結果を多数決回路により検査し正しい処理結果
を出力する。 【効果】 サーバ・プロセスの動作するサーバ計算機を
冗長化させることによって、サーバ計算機に障害が発生
しても、クライアントプロセス９へのサービスの提供が
中断されることがない。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、計算機がネットワー
クで接続された分散計算機環境で、クライアント・サー
バモデルで動作するシステムにおいて、サーバ計算機に
障害が発生した場合でもその障害を隠蔽して、冗長化さ
せた他のサーバ計算機によって処理の継続が可能な分散
システムの高信頼化方式に関するものである。

【０００２】

【従来の技術】

従来例１．従来の技術の例として、ネットワークに複数
の計算機が接続されている分散計算機環境のクライアン
ト・サーバモデルがある。クライアント・サーバモデル
とは、高速な演算能力を持つ、あるいは、大容量のディ
スクなどを備えたサーバ計算機の計算資源を、複数のク
ライアント計算機からネットワークを介して利用するシ
ステム形態をいう。クライアント計算機は、サーバ計算
機の計算機資源を共有して利用するため、安価なエンジ
ニアリング・ワーク・ステーションＥＷＳが用いられ
る。従来の汎用計算機による集中方式で同様のシステム
を構築する場合と比較すると少ない費用で実現可能とな
る。また、クライアント計算機は、ネットワークさえ設
置してある場所ならば、自由に設置場所を変更すること
が可能となり、システム設定後の構成変更にも容易に対
応できる。

【０００３】図２１に、クライアント・サーバモデルの
システム構成を示す。１は、通信回線である。２、９
３、９４は、クライアント計算機である。３は、サーバ
計算機である。９５から９７は、クライアントプロセス
である。６は、サーバ・プロセスである。

【０００４】クライアントプロセス９５は、通信回線１
を介してサーバ・プロセス６にサービス要求を送信し、
サーバ・プロセス６の処理結果が返送されるのを待つ。
クライアントプロセス９５のサービス要求を受信したサ
ーバ・プロセス６は、要求された処理を実行後、処理結
果をクライアントプロセス９５に返送する。クライアン
トプロセス９６、９７も同様の方法で、サーバ・プロセ
ス６のサービスを受ける。

【０００５】従来例２．また、データ処理の信頼性を高
めるために多数決回路を利用したプロセッサーが従来か
ら知られている。多数決回路を利用したプロセッサーは
複数のＣＰＵからのデータを多数決回路に入力し、正し
い処理結果を選択して出力するというものである。この
様な多数決回路を利用したプロセッサーを用いることに
より、データの信頼性が向上するが、多くの場合この技
術は一つの計算機内部、あるいは、一つの基盤上（ボー
ド）、あるいは、一つのＬＳＩの中で実現されているも
のである。

【０００６】従来例３．また、高い信頼性が要求される
ような工業制御システムなどでは、２台の制御用計算機
を用意し、一方の制御用計算機に障害が発生した場合で
も、正常に動作している計算機で、障害の発生した計算
機の処理を引き継ぐ方法を用いている。このような計算
機システムはホットスタンバイ型システムなどと呼ばれ
ている。

【０００７】図２２に、ホットスタンバイ型システムの
構成を示す。９８、９９は、制御用計算機である。１０
０は、制御用計算機によって制御される工場の生産ライ
ンや発電プラントなどの制御対象システムである。１０
１は、制御用計算機９８、９９と制御対象システム１０
０間で、制御データを通信するための制御用通信路であ
る。１０２は、制御用計算機に異常が発生した場合、そ
の異常を正常に動作しているもう一方の制御用計算機に
通知するための計算機異常高速通知装置である。１０３
は、２台の制御用計算機から共有して利用可能な計算機
間共有メモリ装置である。１０４は、２台の制御用計算
機から共有して利用可能な計算機間共有ディスク装置で
ある。１０５、１０６、１０７は、制御用計算機の処理
結果を入力し表示等の処理を行うクライアント計算機で
ある。１０８は、制御用計算機とクライアント計算機間
で、データを通信するための計算機間通信路であり、通
常ＬＡＮなどが用いられる。１０９は、制御対象システ
ム１００のデータ、あるいはクライアント１０５、１０
６、１０７からの要求を入力し、処理を行い、結果を制
御対象システム１００、あるいはクライアント１０５、
１０６、１０７へ出力する実行中の制御処理プロセスで
ある。１１０は、制御処理プロセス１０９あるいは制御
用計算機９９に障害が発生した場合、制御処理プロセス
１０９の処理を引き継ぐために待機状態となっている制
御処理プロセスである。

【０００８】制御処理プロセス１０９は、制御対象シス
テム１００、あるいはクライアント１０５、１０６、１
０７からのデータを入力すると、入力したデータとデー
タ入力元に関する情報を計算機間共有メモリ装置１０
３、あるいは計算機間共有ディスク装置１０４に記録す
る。

【０００９】制御処理プロセス１０９は、制御対象シス
テム１００、あるいはクライアント１０５、１０６、１
０７から入力したデータに対する処理を行った後、制御
対象システム１００、あるいはクライアント１０５、１
０６、１０７に処理結果を返送する。

【００１０】制御処理プロセス１０９は、制御対象シス
テム１００、あるいはクライアント１０５、１０６、１
０７へ処理結果を返送した後、処理結果を計算機間共有
メモリ装置１０３、あるいは計算機間共有ディスク装置
１０４に記録する。

【００１１】制御用計算機９８が障害の発生により異常
停止した場合、計算機異常高速通知装置１０２によっ
て、制御用計算機９８の停止が瞬時に制御用計算機９９
へ通知される。

【００１２】制御用計算機９８の異常停止を検出した制
御処理プロセス１１０は、計算機間共有メモリ装置１０
３、あるいは計算機間共有ディスク装置１０４から、停
止した制御用計算機９８で動作していた制御処理プロセ
ス１０９の処理情報を読み込む。

【００１３】制御処理プロセス１０９が、制御対象シス
テム１００、あるいはクライアント１０５、１０６、１
０７からのデータを入力した後、処理結果を出力する前
に停止した場合、制御処理プロセス１１０は、計算機間
共有メモリ装置１０３、あるいは計算機間共有ディスク
装置１０４から読み込んだ未処理データを処理し、制御
対象システム１００、あるいはクライアント１０５、１
０６、１０７に処理結果を返送する。

【００１４】以上のような方式によって、２台用意した
制御用計算機のうち１台に障害が発生しても、正常に動
作している制御用計算機によって処理を継続することが
可能である。

【００１５】

【発明が解決しようとする課題】従来のクライアント・
サーバシステムは、以上のように構成されているので、
サーバ・プロセスの動作するサーバ計算機に障害が発生
し、サーバ・プロセスが動作不可能になってしまった場
合、サーバ・プロセスのサービスによって処理を行なっ
ている複数のクライアントプロセス全ての処理が、継続
不可能な状態になってしまうという問題点あった。

【００１６】また、従来の多数決回路を利用したプロセ
ッサーは、一つのシステムユニットやボードやＬＳＩの
中というような限られた空間の中で実現されているもの
である。従って、この多数決回路を利用したプロセッサ
ーの考えをそのままクライアント・サーバシステムのよ
うな広範囲で、かつ、柔軟なシステムに適用することは
できない。また、クライアント・サーバシステムは、処
理要求に対して処理結果を返すという動作が基本になっ
ているのに対し、多数決回路を利用したプロセッサー
は、単に複数のＣＰＵからの処理結果の多数決をとっ
て、正しい処理結果を出力するという一方通行の処理を
行なうのみである。従って、多数決回路を利用したプロ
セッサーのシステムを、処理要求に対して処理結果を返
すクライアント・サーバシステムに対して、応用するこ
とは出来ない。

【００１７】また、ホットスタンバイ型のようなシステ
ムでは、一方の計算機の異常停止を高速に検出する必要
があるため、計算機異常高速通知装置といった特殊な装
置が必要になる。さらに、停止した計算機の処理情報を
引き継ぐため、複数の計算機から共有可能なメモリ装置
やディスク装置が必要になる。そして、制御処理プロセ
スには、処理の進行状況を共有ディスク等に書き込む処
理を追加しなければならない。ホットスタンバイ型のよ
うなシステムは、ハードウェアコストが高かった場合に
有効な方式であったが、現在ハードウェアコストの低下
は著しいものがある。また、計算機異常高速通知装置
や、複数の計算機から共有可能なメモリ装置やディスク
装置などの特殊な装置の装備は、オープン化／標準化さ
れた計算機との接続性を困難なものとしている。

【００１８】この発明は、上記のような問題点を解消す
るためになされたもので、サーバ・プロセスが動作する
サーバ計算機に障害が発生しても、サーバ・プロセスの
サービスを利用するクライアントプロセスは、停止する
ことなくシステムとして正常に動作が可能となるような
高信頼なクライアント・サーバシステムを得ることを目
的としている。さらにこの発明は、システム運用後、シ
ステムの構成変更依頼があった場合でも、サーバ・プロ
セス、クライアントプロセス開発者は、システムを改修
することなく構成変更に対応可能なシステムを提供する
ものである。

【００１９】

【課題を解決するための手段】この発明に係わる分散シ
ステムは、処理要求を送信してその処理結果を受信する
要求手段を有する要求計算機と、処理要求を受信して処
理要求を実行しその処理結果を送信する処理手段を有す
る処理計算機と、上記要求計算機と処理計算機を接続し
処理要求と処理結果を伝送するネットワークを備えた分
散システムにおいて、上記を処理計算機を複数備えると
ともに、上記要求計算機は複数の処理手段に対して同一
の処理要求をそれぞれ送信し複数の処理計算機の処理手
段からその処理結果を受信する送受信手段と、受信した
複数の処理結果を比較して正しい処理結果を出力する結
果比較手段を備えたことを特徴とする。

【００２０】この発明に係わる分散システムは、処理要
求を送信してその処理結果を受信する要求手段を有する
要求計算機と、処理要求を受信して処理要求を実行しそ
の処理結果を送信する処理手段を有する処理計算機と、
上記要求計算機と処理計算機を接続し処理要求と処理結
果を伝送するネットワークを備えた分散システムにおい
て、上記処理計算機を複数備えるとともに、上記要求計
算機の要求手段からの処理要求を受信する要求受信手段
と、その処理要求を複数の処理計算機の処理手段に対し
てそれぞれ送信し上記複数の処理計算機の処理手段から
処理結果を受信する送受信手段と、受信した処理結果を
比較して正しい処理結果を出力する結果比較手段と、そ
の結果比較手段からの出力を要求計算機に送信する結果
送信手段を有する中継手段を備えたことを特徴とする。

【００２１】上記分散システムは３台以上の処理計算機
を備え、上記結果比較手段は３台以上の処理計算機から
の処理結果を入力して多数決をとり正しい処理結果を得
ることを特徴とする。

【００２２】上記複数の処理計算機は、計算機の誤りを
検出するための試験要求を受信して受信した試験要求を
実行し試験結果を送信する誤り検出手段をそれぞれ備
え、上記送受信手段は、上記複数の処理計算機の誤り検
出手段に対して試験要求をそれぞれ送信し複数の処理計
算機の誤り検出手段からその試験結果を受信するととも
に、上記結果比較手段は受信した複数の試験結果を比較
して処理計算機の異常を検出することを特徴とする。

【００２３】上記の分散システムは、３台以上の処理計
算機を備え、上記結果比較手段は３以上の誤り検出手段
からの試験結果を入力して多数決をとり処理計算機の異
常を検出するを特徴とする。

【００２４】上記の分散システムは、さらに、ネットワ
ークに接続され予備計算機を備え、上記結果比較手段
は、上記処理計算機を予備計算機で代替する必要が生じ
た場合、上記予備計算機を起動する予備資源起動手段を
備えたことを特徴とする。

【００２５】上記の分散システムは、上記中継手段を上
記ネットワークに接続された中継計算機に備えたことを
特徴とする。

【００２６】上記の分散システムは、上記中継計算機を
複数備えたことを特徴とする。

【００２７】上記要求手段は、処理要求を生成する実行
プロセスと、実行プロセスと結合して上記中継手段との
インタフェースをとるインタフェース手段を備えたこと
を特徴とする。

【００２８】上記処理手段は、処理結果を生成する処理
プロセスと処理プロセスと、結合して、上記中継手段と
のインタフェースをとるインタフェース手段を備えたこ
とを特徴とする。

【００２９】この発明に係わる分散システムの高信頼化
方法は、以下の工程を備えたことを特徴とする。 （ａ）要求計算機において処理要求を発生する工程、
（ｂ）上記処理要求を複数の処理計算機にそれぞれ送信
する工程、（ｃ）上記複数の処理計算機において処理要
求に対する処理をそれぞれ実行する工程、（ｄ）上記複
数の処理計算機から処理結果を要求計算機に送信する工
程、（ｅ）要求計算機において受信した複数の処理結果
から正しい処理結果を選択して、上記処理要求に対する
する処理結果とする工程。

【００３０】

【作用】この発明における分散システムは、冗長化させ
た２台以上の処理計算機を備え、要求計算機は処理計算
機に処理要求を送信し、要求計算機は返送された処理結
果を比較することにより正しい処理結果を選択する。し
たがって冗長化させた処理計算機の一方に障害が発生し
ても正常に動作している処理計算機によって処理を継続
する。

【００３１】また、この発明における分散システムにお
いては、要求計算機と複数の処理計算機の間に中継手段
を備え、中継手段により要求計算機から複数の処理計算
機に対して要求を送信するとともに、複数の計算機から
受信した処理結果の中から正しい処理結果を選択して要
求計算機に返送する。したがって、中継手段を介在させ
ることにより要求計算機及び処理計算機は従来どおりの
処理を継続するだけでよく、なおかつ中継手段を介在さ
せることによりシステムの信頼性が向上する。

【００３２】また、上記分散システムに３台以上の処理
計算機を備えることにより、結果比較手段は３以上の処
理結果を入力して多数決をとることができ信頼性がさら
に向上するとともに正しい処理結果を容易に選択するこ
とが可能になる。

【００３３】さらに、上記分散システムにおいて、複数
の処理計算機に誤り計算手段を設け、要求計算機からの
誤り検出要求に基づき誤り検出を行なうので障害の発生
した、あるいは、障害の発生させる可能性のある処理計
算機を検出することができる。

【００３４】また、誤り検出の場合も、処理計算機を３
台以上備えることにより誤り検出手段からの試験結果の
多数決をとることができ、処理計算機の異常を容易に検
出することができる。

【００３５】また、処理計算機の予備計算機を備え、障
害が発生した場合に処理計算機を予備計算機で代替させ
ることにより、常に複数の処理計算機により処理が継続
できる。

【００３６】さらに、前述した中継手段を独立した中継
計算機に備えることにより、要求計算機と処理計算機の
負荷を軽減するとともに、要求計算機と処理計算機の変
更を最小減に止めながら信頼性を向上させる。

【００３７】さらに、中継計算機を複数備えることによ
りいずれかの中継計算機が故障した場合においても、か
ならず中継処理を継続することができる。

【００３８】さらに、中継手段を備えている場合には、
従来通り処理の要求を生成する実行プロセスに対して中
継手段とのインタフェースをとるインタフェース手段を
備えることにより、中継処理を行なえ要求手段の開発を
軽減する。

【００３９】同様に、従来通り処理結果を生成する処理
プロセスに対して、中継手段とのインタフェースをとる
インタフェース手段を備えることにより、処理手段の開
発負荷を軽減する。

【００４０】また、この発明における分散システムの高
信頼化方法においては、要求計算機から複数の処理計算
機に対して処理要求を送信し、複数の処理計算機からの
処理結果の中から正しい処理結果を選択するため処理結
果の信頼性が向上する。

【００４１】

【実施例】

実施例１．図１は、この発明の実施例１を示す図であ
り、１〜２は、上記従来と同様である。３〜５は、サー
バ・プロセスが動作するサーバ計算機である。６〜８
は、クライアントプロセスの要求を入力し処理結果を出
力するサーバ・プロセスである。９は、複数のサーバ計
算機上で動作する全てのサーバ・プロセスに要求を送信
し、サーバ・プロセスから返送された複数の処理結果に
多数決を適用し、正しい結果を得る処理結果比較手段を
備えたクライアントプロセスである。

【００４２】図２は、クライアント計算機の詳細を示す
ブロック図である。クライアントプロセス９の中には、
実行プロセス１９１と、送信手段１９３と、受信手段１
９４と、処理結果比較手段１９５が設けられている。処
理結果比較手段１９５の内部には、多数決回路１９６と
エラー情報出力手段１９７が設けられている。実行プロ
セス１９１において処理要求１９２が発生すると、実行
プロセス１９１は送信手段１９３に対して処理要求１９
２を引き渡す。送信手段１９３は、通信回線１を使って
サーバ計算機に対して処理要求を送信する。この処理要
求は、複数のサーバ計算機に対してそれぞれ送信され
る。一方受信手段１９４は、複数のサーバ計算機からの
処理結果を受信し、複数の処理結果を多数決回路１９６
に送り込む。多数決回路１９６では、処理結果の多数決
をとり、選択された正しい結果を処理結果１９０として
実行プロセス１９１に伝える。多数決回路１９６におい
て、すべの処理結果が一致しない場合、あるいは、いず
れかの処理結果が一致しない場合には、これをエラー情
報としてエラー情報出力手段１９７に伝える。エラー情
報出力手段１９７は、サーバ計算機に異常があったこと
を表示装置に出力する。

【００４３】次に、この実施例の動作を図１〜図３を参
照しながら説明する。図３は、クライアントプロセス９
がサーバ・プロセスのサービスを受けるため、複数のサ
ーバ・プロセスに要求を送信してから、返送された処理
結果に対して処理結果比較手段を適用し、正しい処理結
果を得るまでを示したフローチャートである。

【００４４】先ずクライアントプロセス９は、サーバ・
プロセスのサービスを受けるために、図３に示すステッ
プ１０を実行し、サーバ・プロセス６〜８へ要求を送信
する。要求を送信したクライアントプロセス９は、図３
に示すステップ１１に進み、サーバ・プロセスの処理結
果を待つ。

【００４５】クライアントプロセス９からの要求を受信
したサーバ・プロセス６〜８は、要求に対する処理を行
ない処理結果をクラアントプロセス９へ出力する。

【００４６】ステップ１１は、要求を送信したサーバ・
プロセス６〜８から処理結果を受信するか、もしくは、
サーバ・プロセス６〜８から処理結果が返送されなくと
も、ある一定時間が経過した場合、次の処理であるステ
ップ１２へ進む。ステップ１１で、サーバ・プロセス６
〜８からの処理結果を待つ時間間隔の設定は、クライア
ントプロセス９によって、サーバ・プロセス６〜８へ要
求を送信する前に決められているものとする。

【００４７】ステップ１２は、ステップ１１が終了した
条件の判定を行なう。要求を送信したサーバ・プロセス
６〜８全てから処理結果を受信した場合、ステップ１３
へ進む。要求を送信したサーバ・プロセス６〜８全てか
ら処理結果を受信する前に、一定時間が経過したためス
テップ１１が終了した場合には、ステップ１５へ進む。

【００４８】ステップ１２の条件判定によってステップ
１３へ進んだ場合、ステップ１３では、サーバ・プロセ
ス６〜８の出力した処理結果が等しい値であるかどうか
を比較する。サーバ・プロセス６〜８の出力した処理結
果が等しい値であったならば、ステップ１４へ進む。サ
ーバ・プロセス６〜８の出力した処理結果を比較し、異
なる処理結果を出力していたサーバ・プロセスが存在し
ていた場合には、ステップ１７へ進む。

【００４９】ステップ１３におけるサーバ・プロセス６
〜８の処理結果比較によってステップ１４へ進んだ場
合、ステップ１４では、サーバ・プロセス６〜８全ての
処理結果が等しい値であるため、任意のサーバ・プロセ
スの処理結果を正しいサーバ・プロセスの出力とし、サ
ーバへのサービス要求処理を終える。

【００５０】ステップ１２の判定によって、ステップ１
５へ進んだ場合、ステップ１５では、ステップ１１の待
ち時間内に処理結果を返送したサーバ・プロセスが存在
したかどうかを判定する。サーバ・プロセス６〜８のど
れからも処理結果の返送がなかった場合には、ステップ
１６に進む。ステップ１１の待ち時間内に、処理結果を
返送したプロセスが存在した場合には、ステップ１７へ
進む。

【００５１】ステップ１５の判定によって、ステップ１
６へ進んだ場合、ステップ１６では、サーバへの要求処
理が実行されなかったため、システムエラーとなりエラ
ー情報を出力した後サーバへのサービス要求処理を終え
る。

【００５２】ステップ１５の判定によって、もしくは、
ステップ１３の判定によって、ステップ１７へ進んだ場
合、ステップ１７では、処理結果比較手段としてサーバ
・プロセス６〜８の出力した処理結果を比較し、同じ値
を出力したサーバの数が最も多いものを正しい結果とす
る多数決方式を適用し、サーバ・プロセスの処理結果と
する。次にステップ１８に進む。

【００５３】ステップ１８では、ステップ１３、ステッ
プ１５で検出された、異なった処理結果を出力した、あ
るいは、処理結果を返送しなかったサーバ・プロセスが
存在したことを示すエラー情報を出力し、サーバへのサ
ービス要求処理を終える。

【００５４】以上のように、この実施例はネットワーク
に複数の計算機が接続されている分散計算機環境のクラ
イアント・サーバモデルで動作するシステムにおいて、
クライアントプロセスからの要求を入力し処理結果を出
力するサーバ・プロセス、サーバ・プロセスを動作させ
る復数台のサーバ計算機、複数のサーバ・プロセスに要
求を送信するクライアントプロセス、サーバ・プロセス
から複数の処理結果を処理結果手段によって正しい処理
結果を得ることを特徴とした分散システムの高信頼化方
法について説明した。

【００５５】この実施例による分散システムの高信頼化
方式は、サーバ計算機を冗長化させ、３台以上のサーバ
計算機でサーバ・プロセスを動作させる。冗長化させて
全てサーバ・プロセスに要求を送信するクライアントプ
ロセスと、サーバ・プロセスが出力した処理結果に多数
決を適用して正しい処理結果を得る処理結果比較手段と
を設けたものである。

【００５６】この実施例におけるクライアントプロセス
は、冗長化させた３台以上のサーバ計算機で動作するサ
ーバ・プロセスに要求を送信し、返送されたサーバ・プ
ロセスの処理結果に対し多数決を適用することで、正し
い処理結果を得ると同時に、障害の発生したサーバ計算
機も検出する。冗長化させたサーバ計算機の１台に障害
が発生しても正常に動作しているサーバ計算機によって
サーバ・プロセスの処理を継続する。

【００５７】この実施例によればサーバ計算機が冗長構
成をとっているので、１台のサーバ計算機に障害が発生
しても、他のサーバ計算機で動作しているサーバ・プロ
セスによって、クライアントプロセスからの要求に対
し、サービスを継続して提供することが可能となる。

【００５８】実施例２．図４は、実施例２を示す図であ
り、１〜８は、上記実施例１と同様のものである。１９
〜２１は、クライアントプロセスからの試験手続き実行
命令を受け、サーバ計算機に対して浮動小数点演算、フ
ァイルアクセス等の試験手続きを実行し、試験結果を出
力する誤り検出プロセスである。２２は、サーバ計算機
３〜５上で動作する全てのサーバ・プロセスに要求を送
信し、サーバ計算機３〜５上で動作する誤り検出プロセ
スへ試験手続き実行命令を送信し、サーバ・プロセス及
び誤り検出プロセスの処理結果に対して、処理結果及び
試験結果比較手段を適用し正しい結果を得るクライアン
トプロセスである。

【００５９】図５は、処理結果試験結果比較手段の詳細
を示す図である。処理結果試験結果比較手段１９８の内
部には、処理結果多数決回路１９５と試験結果多数決回
路１９９が設けられている。受信手段１９４から処理結
果試験結果比較手段１９８に、複数の処理結果と複数の
試験結果が入力される。複数の処理結果は、処理結果多
数決回路１９５に入力され、多数決を取られ処理結果１
８３として実行プロセス１９１に渡される。一方の複数
の試験結果は試験結果多数決回路１９９に入力され、エ
ラーがあったかどうかが判定される。処理結果多数決回
路１９５及び、試験結果多数決回路１９９のいずれかか
らエラーが検出された場合には、エラー情報出力手段１
９７はエラーがあったことを表示する。

【００６０】次にこの実施例の動作を図４〜６を参照し
ながら説明する。図６は、クライアントプロセス２２
が、サーバ・プロセスのサービスを受けるため、サーバ
・プロセス６〜サーバ・プロセス８へ要求を送信し、か
つ、同時に誤り検出プロセス１９〜２１へ試験手続き実
行命令を送信してから、サーバ・プロセスから返送され
た処理結果と、誤り検出プロセスから返送された試験結
果に対して、処理結果及び試験結果比較手段を適用し、
正しい処理結果を得るまでを示したフローチャートであ
る。

【００６１】先ずクライアントプロセス２２は、サーバ
・プロセスのサービスを受けるために図６に示すステッ
プ２３を実行し、サーバ・プロセス６〜８へサービス要
求を送信する。また、その送信と同時に誤り検出プロセ
ス１９〜２１へ試験手続き実行命令を送信する。要求、
及び、試験手続き実行命令を送信したクライアントプロ
セス２２は、図６に示すステップ２４に進み、サーバの
処理結果を待つ。

【００６２】クライアントプロセス２２からの要求を受
信したサーバ・プロセス６〜８は、要求に対する処理を
行ない処理結果をクライアントプロセス２２へ出力す
る。また、クライアントプロセス２２からの試験手続き
実行命令を受信した誤り検出プロセス１９〜２１は、サ
ーバ計算機に対して浮動小数点演算、ファイルアクセス
等の試験手続きを実行し、試験結果を上記要求に対する
処理結果とともにクライアントプロセス２２へ出力す
る。

【００６３】ステップ２４は、要求を送信したサーバ・
プロセス６〜８からの処理結果と誤り検出プロセス１９
〜２１からの試験結果を全て受信するか、もしくは、サ
ーバ・プロセス６〜８と誤り検出プロセス１９〜２１か
らの処理結果が返送されなくとも、ある一定時間が経過
した場合、次の処理であるステップ２５へ進む。ステッ
プ２４で、サーバ・プロセス６〜８と誤り検出プロセス
１９〜２１からの処理結果を待つ時間間隔の設定は、ク
ライアントプロセス２２によって、サーバ・プロセスと
誤り検出プロセスへ要求を送信する前に決められている
ものとする。

【００６４】ステップ２５は、ステップ２４が終了した
条件の判定を行なう。要求を送信したサーバ・プロセス
６〜８と、誤り検出プロセス１９〜２１の全てから処理
結果を受信した場合、ステップ２６へ進む。要求を送信
したサーバ・プロセス６〜８と誤りプロセス１９〜２１
の全てから処理結果を受信する前に、一定時間が経過し
たためステップ２４が終了した場合には、ステップ２８
へ進む。

【００６５】ステップ２５の条件判定によってステップ
２６へ進んだ場合、ステップ２６では、サーバ・プロセ
ス６〜８の出力した処理結果が、全て等しい値であり、
かつ、誤り検出プロセス９〜２１の出力した試験結果が
全て等しい値であるかどうかを判定する。サーバ・プロ
セス６〜８の出力した処理結果が全て等しい値であり、
かつ、誤り検出プロセス１９〜２１の出力した試験結果
が全て等しい値であったならば、ステップ２７へ進む。
サーバ・プロセス６〜８の出力した処理結果と誤り検出
プロセス１９〜２１の出力した試験結果を比較し、異な
る処理結果を出力していたサーバ・プロセスもしくは誤
り検出プロセスが存在した場合には、ステップ３０へ進
む。

【００６６】ステップ２６におけるサーバ・プロセスと
誤り検出プロセスの処理結果比較によってステップ２７
へ進んだ場合、ステップ２７では、サーバ・プロセス６
〜８全ての処理結果が等しい値であるため、任意のサー
バ・プロセスの処理結果を正しいサーバ・プロセスの出
力とし、サーバへのサービス要求処理を終える。

【００６７】ステップ２５の判定によって、ステップ２
８へ進んだ場合、ステップ２８では、ステップ２４の待
ち時間内に処理結果を返送したサーバ・プロセスが存在
したかどうかを判定する。サーバ・プロセス６〜８のど
れからも処理結果の返送がなかった場合には、ステップ
２９に進む。ステップ２４の待ち時間内に、処理結果を
返送したサーバ・プロセスが存在した場合には、ステッ
プ３０へ進む。

【００６８】ステップ２８の判定によって、ステップ２
９へ進んだ場合、ステップ２９では、サーバ・プロセス
への要求処理が実行されなかったため、システムエラー
となりエラー情報を出力した後サーバ・プロセスへのサ
ービス要求処理を終える。

【００６９】ステップ２８の判定によって、もしくは、
ステップ２６の判定によって、ステップ３０へ進んだ場
合、ステップ３０では、処理結果及び試験結果比較手段
としてサーバ・プロセス６〜８出力した処理結果を比較
する。同じ値を出力したサーバの数が最も多いものを正
しい結果とする多数決方式を適用し、サーバ・プロセス
の正しい処理結果を得る。同様に、誤り検出プロセス１
９〜２１の出力した試験結果を比較する。同じ値を出力
したサーバの数が最も多いものを正しい試験結果とする
多数決方式を適用し、誤り検出プロセスの正しい試験結
果を得る。異なった試験結果を出力した誤り検出プロセ
スが存在した場合は、その誤り検出プロセスが動作して
いた計算機に障害が発生したものとする。次にステップ
３１に進む。

【００７０】ステップ３１では、ステップ２６、ステッ
プ２８で検出された、異なった処理結果、試験結果を出
力した、あるいは、処理結果、試験結果を返送しなかっ
たサーバ・プロセス、誤り検出プロセスが存在したこと
を示すエラー情報を出力し、サーバへのサービス要求処
理を終える。

【００７１】以上のように、この実施例においては、複
数のサーバ計算機上で動作し、計算機に対する試験手続
きを実行してその結果を出力する誤り検出プロセス、サ
ーバ・プロセスに要求と誤り検出プロセスに試験手続き
実行命令を送信し、サーバ・プロセス、誤り検出プロセ
スから返送された複数の処理結果、試験結果に対して、
多数決を適用し正しい結果を得る処理結果及び試験結果
比較手段を備えたクライアントプロセスによって、サー
バ・プロセスの処理で検出可能な障害以外のサーバ計算
機の以上を検出し、重大な障害が発生する以前にシステ
ムから障害の発性したサーバ計算機を切り離すことを特
徴とする分散システムの高信頼化方式を説明した。

【００７２】すなわち、この実施例は冗長化させた３台
以上のサーバ計算機でサーバ・プロセスの他に、試験手
続きを実行する誤り検出プロセスを動作させ、冗長化さ
せた全てのサーバ・プロセスに要求を送信し、同時に全
ての誤り検出プロセスに試験手続き実行命令を送信する
クライアントプロセスと、サーバ・プロセスが出力した
処理結果、誤り検出プロセスが出力した試験結果に多数
決を適用して、正しい処理結果を得る処理結果及び試験
結果比較手段とを設けたものである。

【００７３】この実施例では、サーバ・プロセスが利用
しないサーバ計算機の計算機資源を利用した処理を行う
誤り検出プロセスを同時に動作させることによって、サ
ーバ・プロセスの処理結果のみからでは得られない、サ
ーバ計算機の障害情報を検出可能とする。

【００７４】したがって冗長化させたサーバ計算機で、
誤り検出プロセス動作させることで、サーバ・プロセス
の処理で使用しないサーバ計算機の計算機資源に対する
試験手続きが実施でき、サーバ計算機に発生した障害
が、サーバ・プロセスの処理結果に影響する前に、サー
バ計算機の障害をマスクすることが可能となる。

【００７５】実施例３．図７は、実施例３を示す図であ
り、１〜８、１９〜２１は、上記実施例２と同様のもの
である。３２、３３は、サーバ計算機３〜５が障害によ
って異常停止した場合、異常停止したサーバ計算機に代
わってサービスを供給するサーバ・プロセスを起動する
ための予備サーバ計算機である。３４、３５は、サーバ
計算機３〜５の障害によってサーバ・プロセスが停止し
た場合に、サーバ・プロセスに代わってサービスを供給
する予備サーバ・プロセスである。３６、３７は、サー
バ計算機３〜５の障害によって、サーバ・プロセスが停
止した場合に、サーバ・プロセスに代わってサービスを
供給する予備サーバ計算機に対して、浮動小数点演算、
ファイルアクセス等の試験手続きを実行し、試験結果を
出力する予備誤り検出・プロセスである。３８は、サー
バ計算機３〜５上で動作する全てのサーバ・プロセスに
要求を送信し、かつ、同時に、サーバ計算機３〜５上で
動作誤り検出プロセスへ試験手続き実行命令を送信し、
サーバ・プロセス及び誤り検出プロセスの処理結果に対
して、多数決を適用し正しい結果を得る処理結果及び試
験結果比較手段を備え、処理結果及び試験結果比較手段
によって障害の発性したサーバ計算機の存在を検出した
ならば、システムにあらかじめ用意してある予備サーバ
計算機、予備サーバ・プロセス、予備誤り検出・プロセ
スを起動する予備資源起動手段を備えたクライアントプ
ロセスである。

【００７６】図８はクライアント計算機の詳細を示すブ
ロック図である。処理結果試験結果比較手段１９８の内
部には、予備資源起動手段４００が設けられている。前
述したように処理結果試験結果比較手段１９８の内部に
は、エラー情報出力手段１９７が設けられているがエラ
ー情報出力手段は、単にエラーが有ったことを表示する
だけである。一方予備資源起動手段４００はエラーが報
告されに場合に待機しているサーバ計算機（予備資源）
を起動させるものである。

【００７７】次に、この実施例の動作を図７〜図１０を
参照しながら説明する。図９は、サーバ計算機５に障害
が発生した場合、クライアントプロセス３８の予備資源
起動手段によって予備サーバ計算機３３、予備サーバ・
プロセス３５、予備誤り検出・プロセス３７が起動さ
れ、サーバ計算機の冗長構成数を維持したままサーバ・
プロセスがサービスを供給していることを示している。
図１０は、クライアントプロセス３８が、サーバ・プロ
セスのサービスを受けるため、サーバ・プロセス６〜８
へ要求を送信し、かつ、誤り検出プロセス１９〜２１試
験手続き実行命令を送信してから、サーバ・プロセスか
ら返送された処理結果と、誤り検出プロセスから返送さ
れた試験結果に対して、処理結果及び試験結果比較手段
を適用し、正しい処理結果を得るまでを示したフローチ
ャートである。

【００７８】先ずクライアントプロセス３８は、サーバ
・プロセスのサービスを受けるために、図１０に示すス
テップ３９を実行し、サーバ・プロセス６〜８へサービ
ス要求を、誤り検出プロセス１９〜２１へ試験手続き実
行命令を送信する。要求、及び、試験手続き実行命令を
送信したクライアントプロセス３８は、図１０に示すス
テップ４０に進み、サーバの処理結果を待つ。

【００７９】クライアントプロセス３８からの要求を受
信したサーバ・プロセス６〜８は、要求に対する処理を
行ない処理結果をクライアントプロセス３８へ出力す
る。クライアントプロセス３８からの試験手続き実行命
令を受信した誤り検出プロセス１９〜２１は、サーバ計
算機に対して浮動小数点演算、ファイルアクセス等の試
験手続きを実行し、試験結果をクライアントプロセス３
８へ出力する。

【００８０】ステップ４０は、要求を送信したサーバ・
プロセス６〜８から処理結果と誤り検出プロセス１９〜
２１から試験結果を全て受信するか、もしくは、サーバ
・プロセス６〜８と誤り検出プロセス１９〜２１からの
処理結果が全て返送されなくとも、ある一定時間が経過
した場合、次の処理であるステップ４１へ進む。ステッ
プ４０で、サーバ・プロセス６〜８、誤り検出プロセス
１９〜２１から処理結果を待つ時間間隔の設定は、クラ
イアントプロセス３８によって、サーバ・プロセスと誤
り検出プロセスへ要求を送信する前にきめられているも
のとする。

【００８１】ステップ４１は、ステップ４０が終了した
条件の判定を行なう。要求を送信したサーバ・プロセス
６〜８と誤り検出プロセス１９〜２１の全てからの処理
結果を受信した場合ステップ４２へ進む。要求を送信し
たサーバ・プロセス６〜８と誤り検出プロセス１９〜２
１の全てからの処理結果を受信する前に、一定時間が経
過したためにステップ４０が終了した場合には、ステッ
プ４４へ進む。

【００８２】ステップ４１の条件判定によってステップ
４２へ進んだ場合、ステップ４２では、サーバ・プロセ
ス６〜８の出力した処理結果、誤り検出プロセス１９〜
２１の出力した試験結果が等しい値であるかどうかを比
較する。サーバ・プロセス６〜８の出力した処理結果、
誤り検出プロセス１９〜２１の出力した試験結果が等し
い値であったならば、ステップ４３へ進む。サーバ・プ
ロセス６〜８の出力した処理結果、誤り検出プロセス１
９〜２１の出力した試験結果を比較し、異なる処理結果
を出力していたサーバ・プロセス、誤り検出プロセスが
存在した場合には、ステップ４８へ進む。

【００８３】ステップ４２におけるサーバ・プロセス、
誤り検出プロセスの処理結果比較によってステップ４３
へ進んだ場合、ステップ４３では、サーバ・プロセス６
〜８全ての処理結果が等しい値であるため、任意のサー
バプロセスの処理結果を正しいサーバ・プロセスの出力
とし、サーバへのサービス処理を終える。

【００８４】ステップ４１の判定によって、ステップ４
４へ進んだ場合、ステップ４４ではステップ４０の待ち
時間内に処理結果を返送したサーバ・プロセスが存在し
たかどうかを判定する。サーバ・プロセス６〜８のどれ
からも処理結果の返送がなかった場合には、ステップ４
５に進む。ステップ４０の待ち時間内に、処理結果を返
送したサーバ・プロセスが存在した場合には、ステップ
４８へ進む。

【００８５】ステップ４４の判定によって、ステップ４
５へ進んだ場合、ステップ４５では、予備資源手段によ
って起動可能な未起動の予備サーバ計算機が存在するか
判定する。未起動の予備サーバ計算機が存在した場合に
は、ステップ４６へ進む。全ての予備サーバ計算機が予
備資源起動手段によって起動ずみであった場合には、ス
テップへ進む。

【００８６】ステップ４５の判定によって、ステップ４
６へ進んだ場合、ステップ４６では、予備資源起動手段
によって未起動の予備サーバ計算機、予備サーバ・プロ
セス、予備誤り検出・プロセスを起動する。起動した予
備サーバ計算機の予備サーバ・プロセスからサービスを
受けるためステップ３９に戻り再度サービス要求を送信
する。

【００８７】ステップ４５の判定によって、ステップ４
７へ進んだ場合、ステップ４７では、サーバ・プロセス
への要求処理が実行されず、予備資源起動手段によって
起動可能な予備サーバ計算機も存在しないため、システ
ムエラーとなりエラー情報を出力した後サーバ・プロセ
スへのサービス要求処理を終える。

【００８８】ステップ４４の判定によって、もしくは、
ステップ４２の判定によって、ステップ４８へ進んだ場
合、ステップ４８では、処理結果及び試験結果比較手段
としてサーバ・プロセス６〜８の出力した処理結果を比
較する。同じ値を出力したサーバの数が最も多いものを
正しい結果とする多数決方式を適用し、サーバ・プロセ
スの正しい処理結果を得る。同様に、誤り検出プロセス
１９〜２１の出力した試験結果を比較する。同じ値を出
力したサーバの数が最も多いものを正しい試験結果とす
る多数決方式を適用し、誤り検出プロセスの正しい試験
結果を得る。異なった試験結果を出力した誤り検出プロ
セスが存在した場合には、その誤り検出プロセスが動作
していた計算機に障害が発生したものとする。次にステ
ップ４９に進む。

【００８９】ステップ４９では、ステップ４２、ステッ
プ４４で検出された、異なった処理結果、試験結果を出
力した、あるいは、処理結果、試験結果を返送しなかっ
たサーバ・プロセス、誤り検出プロセスが存在したこと
を示すエラー情報を出力する。次にステップ５０へ進
む。

【００９０】ステップ５０では、予備資源起動手段によ
って起動可能な未起動のサーバ計算機が存在するか判定
する。未起動の予備サーバ計算機が存在した場合には、
ステップ５１へ進む。全ての予備サーバ計算機が予備資
源起動手段によって起動ずみであつた場合には、サーバ
へのサービス要求処理を終える。

【００９１】ステップ５０の判定によって、ステップ５
１へ進んだ場合、ステップ５１では、予備資源起動手段
によって未起動の予備サーバ計算機、予備サーバ・プロ
セス、予備誤り検出・プロセスを起動し、サーバへのサ
ビース要求処理を終える。次にクライアントがサーバ・
プロセスのサービスを受けるため、要求をサーバへ送信
する場合、障害の発生したサーバ計算機のサーバ・プロ
セスへ要求を送信せず、予備資源起動手段によって新た
に起動した予備サーバ計算機の予備サーバ・プロセスへ
送信する。予備サーバ計算機起動した予備サーバ計算機
サーバ・プロセスからサービスを受けるためステップ３
９に戻り再度サービス要求を送信する。

【００９２】以上のように、この実施例は、サーバ計算
機に障害が発生した場合に起動させる予備サーバ計算
機、予備サーバ計算機上で動作する予備サーバ・プロセ
ス、予備サーバ計算機上で動作する予備誤り検出・プロ
セス、サーバ・プロセスに要求、及び誤り検出プロセス
に試験手続き実行命令を送信し、サーバ・プロセス、誤
り検出プロセスから返送された複数の処理結果、試験結
果に対し、多数決を適用し正しい結果を得る処理結果及
び試験結果手段を備えた、また、処理結果及び試験結果
比較手段によって障害の発生したサーバ計算機を検出し
たならば、予備サーバ計算機、予備サーバ・プロセス、
予備誤り検出・プロセスを起動する予備資源起動手段を
備えたクライアントプロセスによって、障害の発生した
サーバ計算機をシステムから切り離し、さらに、起動し
た予備資源を利用することによって、障害発生後も冗長
構成をとりながらサーバ・プロセスのサービスを提供す
ることを特徴とする分散システムの高信頼化方式につい
て説明した。

【００９３】この実施例は、冗長化させた３台以上のサ
ーバ計算機とそこで動作するサーバ・プロセス、誤り検
出プロセスの他に、サーバ計算機に障害が発生した場合
バックアップとして起動する予備サーバ計算機と、処理
結果及び試験結果比較手段によって障害の発生を検知し
たクライアントプロセスが、予備サーバ計算機を起動す
る予備資源起動手段とを設けたものである。

【００９４】この実施例によれば、予備計算機を用意
し、サーバ計算機を常に３台以上の構成で動作させるこ
とにより、障害の発生したサーバ計算機を復旧する前
に、別のサーバ計算機に障害が発生した場合でも、クラ
イアントプロセスに多数決による正しいプロセスの処理
結果の提供を可能とする。

【００９５】すなわち、冗長化させたサーバ計算機の他
に予備サーバ計算機を用意し、作動中のサーバ計算機に
障害が発生した場合、予備サーバ計算機を起動すること
で、常に複数台のサーバ計算機の冗長構成が可能とな
り、システムとしての信頼性が向上する。

【００９６】実施例４．図１１は、実施例４を示す図で
あり、１〜５、１９〜２１は、上記実施例２と同様のも
のである。５２は、クライアントプロセスである。５３
〜５５は、サーバ・プロセスである。５６、５７は、フ
ォールト・トレラント・サーバである。フォールト・ト
レラント・サーバ５６、５７は、クライアントプロセス
５２のサービス要求を入力したならば、サーバ・プロセ
ス５３〜５５へ転送し、同時に誤り検出プロセス１９〜
２１へ、試験手続き実行命令を送信する。また、サーバ
・プロセス５３〜５５から出力された処理結果と、誤り
検出プロセス１９〜２１から出力された試験結果に対し
て、処理結果及び試験結果比較手段を適用し、正しいサ
ーバ・プロセス５３〜５５の処理結果をクライアントプ
ロセス５２へ返送する。さらに、障害の発性したサーバ
計算機を検出したならば、サーバ計算機の障害情報をユ
ーザに通知する。５８、５９はフォールト・トレラント
・サーバ５６、５７が動作する中継計算機である。

【００９７】６０は、フォールト・トレラント・サーバ
５６、５７との通信機能を提供するクライアント・アプ
リケーション・インタフェースである。クライアントプ
ロセス開発者は、クライアント・アプリケーション・イ
ンタフェース６０をリンクすることでフォールト・トレ
ラント・サーバ５６、５７ととの通信手段を記述不要と
なる。６１〜６３は、フォールト・トレラント・サーバ
５６、５７との通信機能をもつサーバ・アプリケーショ
ン・インタフェースである。サーバ・プロセス開発者
は、サーバ・アプリケーション・インターフース６１〜
６３をリンクすることでフォールト・トレント・サーバ
５６、５７との通信手段を記述不要となる。６４は、フ
ォールト・トレラント・サーバ５６、５７が動作してい
る中継計算機５８、５９の位置情報を格納しているフォ
ールト・トレラント・サーバ・テーブルである。

【００９８】クライアントプロセス５２がサーバ・プロ
セス５３〜５５に対してサービス要求を送信する場合、
クライアント・アプリケーション・インタフェース６０
を呼び出す。クライアント・アプリケーシュン・インタ
ーフェス６０は、フォールト・トレラント・サーバ・テ
ーブル６４を参照し、フォールト・トレラント・サーバ
５６、５７が動作している中継計算機５８、５９の位置
情報を得た後、フォルト・トレラント・サーバ５６、５
７のどちらか一方にサービス要求を送信する。６５〜６
６は、サービスを供給しているサーバ・プロセスが動作
しているサーバ計算機の位置情報を格納しているサーバ
・テーブルである。フォールト・トレラントサーバ５
６、５７は、クライアントプロセス５２からのサービス
要求を入力すると、サーバ・プロセス６５〜６６を参照
し、サーバ・プロセス５３〜５５の動作しているサーバ
計算機３〜５の位置情報を得た後、サーバ・プロセス５
３〜５５へ、クライアントプロセス５２のサービス要求
を転送する。

【００９９】図１２は中継計算機５８の詳細を示すブロ
ック図である。フォールト・トレラント・サーバ５６に
は、クライアント計算機にから要求を受信する要求受信
手段５６１と、受信した要求を複数のサーバ計算機に送
信する送信手段５６２が、設けられており、クライアン
ト計算機からの要求を複数のサーバ計算機に中継する。
また、フォールト・トレラント・サーバ５６には、複数
のサーバ計算機から処理結果を受信する受信手段５６３
と、処理結果試験結果比較手段５６４と、結果をクライ
アント計算機に送信する結果送信手段５６４がもうけら
れており、複数のサーバ計算機からの処理結果の中か
ら、正しい処理結果を選択しクライアント計算機に中継
する。

【０１００】次に、この実施例４の動作を図１１〜図１
９を参照しながら説明する。図１３〜図１６は、フォー
ルト・トレラント・サーバ５６、５７がクライアントプ
ロセス５２のサービス要求を入力してから、正しい処理
結果を返送するまでの処理を示したフローチャートであ
る。図１７は、フォールト・トレラント・サーバのロー
カル記憶領域に割り当てられた、クライアントプロセス
要求、サーバ・プロセスの処理結果、誤り検出プロセス
の試験結果を管理するめの要求管理リストに登録される
情報を示している。図１８はフォールト・トレラント・
サーバテーブル６４の内容を示している。図１９はサー
バテーブル６５の内容を示している。

【０１０１】先ずクライアントプロセス５２は、サーバ
・プロセスのサービスを受けるために、クライアント・
アプリケーション・インタフェース６０を呼び出す。ク
ライアント・アプリケーション・インタフェース６０
は、図１８に示すようなフォールト・トレラント・サー
バ・テーブル６４を参照しフォールト・トレラント・サ
ーバ５６、５７が動作する中継計算機５８、５９の位置
情報を獲得し、どちらか一方の中継計算機上で動作する
フォールト・トレラント・サーバへサービス要求を送信
する（ここでは、フォールト・トレラント・サーバ５６
へ要求を送信したものとする）。

【０１０２】フォールト・トレラント・サーバ５６は、
起動されると、フォールト・トレラント・サーバ５６の
処理をループさせる一定時間（例えば１秒）と、要求に
対して処理結果を待つ最大要求待ち時間（例えば１０
秒）の２つの時間を設定する。そして、図１３に示す処
理を開始する。ステップ６７で、クライアントプロセス
５２、サーバ・プロセス５３〜５５、誤り検出プロセス
１９〜２１からの入力待ち状態になる。ステップ６７
は、クライアントプロセス５２、誤り検出プロセス１９
〜２１、サーバ・プロセス５３〜５５からの要求、処理
結果、試験結果を入力するか、フォールト・トレラント
・サーバ５６起動時に設定された一定時間が経過した場
合、次の処理であるステップ６８へ進む。

【０１０３】ステップ６８では、ステップ６７が終了し
た条件がクライアントプロセスからの要求であるか判定
する。クライアントプロセスからの要求であったなら
ば、ステップ６９へ進む。クライアントプロセスからの
要求以外の事象で、ステップ６７が終了したならば、ス
テップ７４へ進む。

【０１０４】ステップ６８の条件判定によってステップ
６９に進んだ場合、ステップ６９では、図１４に示す処
理が行なわれる。図１４ステップ７０では、入力したク
ライアントプロセスの要求ごとに、異なった識別子を生
成する。ステップ７１では、ステップ７０で生成された
識別子と、クライアントプロセス５２からの要求を入力
した受け付け時刻を要求管理リストに登録するる。ステ
ップ７２では、図１９に示すようなサーバ・テーブル６
５を参照し、サーバ・プロセス５３〜５５、誤り検出プ
ロセス１９〜２１の動作しているサーバ計算機３〜５の
位置情報を得る。ステップ７３では、サーバ・プロセス
５３〜５５へクライアントプロセス５２のサービス要求
と、ステップ７０で生成した識別子を送信する。また、
誤り検出プロセス１９〜２１へ、試験手続き実行命令と
ステップ７０で生成した識別子を同時に送信する。次
に、ステップ８５へ進む。

【０１０５】サーバ・プロセス５３〜５５は、起動後、
サーバ・アプリケーション・インタフェースで、フォー
ルト・トレラント・サーバ５６、５７から入力待ち状態
になつている。サーバ・プロセス５３〜５５は、フォー
ルト・トレラント・サーバ５６から転送されたクライア
ントプロセス５２の要求とフォールト・トレラント・サ
ーバ５６のステップ７０で生成された識別子を入力する
と、入力した要求に対する処理を行い、処理結果をフォ
ールト・トレラント・サーバ５６に返送する。この時フ
ォールト・トレラント・サーバ５６のステップ７０で生
成された識別子も一緒にフォールト・トレラント・サー
バ５６へ送信する。

【０１０６】誤り検出プロセス１９〜２１は、起動後、
フォールト・トレラント・サーバ５６〜５７からの試験
手続き実行命令入力待ち状態になっている。誤り検出プ
ロセス１９〜２１は、フォールト・トレラント・サーバ
５６から送られた試験手続き実行命令と、フォールト・
トレラント・サーバ５６のステップ７０で生成された識
別子を入力すると、試験手続きを実行し試験結果をフォ
ールト・トレラント・サーバ５６に返送する。この時に
フォールト・トレラント・サーバ５６のステップ７０で
生成された識別子も一緒にフォールト・トレラント・サ
ーバ５６へ返送する。

【０１０７】フォールト・トレラント・サーバ５６のス
テップ６８の条件判定によってステップ７４に進んだ場
合、ステップ７４では、ステップ６７が終了した条件
が、サーバ・プロセス５３〜５５からの処理結果受信で
あるかを判定する。サーバ・プロセス５３〜５５からの
処理結果受信であったならば、ステップ７５へ進む。サ
ーバ・プロセス５３〜５５からの処理結果受信以外の事
象で、ステップ６７が終了したならば、ステップ７６へ
進む。

【０１０８】フォールト・トレラント・サーバ５６のス
テップ７４の条件判定によって、ステップ７５に進んだ
場合、ステップ７５では、サーバ・プロセスから返送さ
れた処理結果を要求管理リストに登録する。サーバ・プ
ロセスから返送された処理結果には、処理結果の他に要
求送信時に送信した識別子が付加されている。その識別
子を基に、要求管理リストにおけるクライアントプロセ
ス５２の要求が格納してあるリストにサーバ・プロセス
からの処理結果を追加する。次にステップ７８に進む。

【０１０９】ステップ７４の条件判定によって、ステッ
プ７６に進んだ場合、ステップ７６では、ステップ６７
が終了した条件が誤り検出プロセス１９〜２１からの試
験結果であるかを判定する。誤り検出プロセス１９〜２
１からの試験結果であったならば、ステップ７７へ進
む。誤り検出プロセス１９〜２１からの試験結果受信以
外の事象でステップ６７が終了したならば（この場合の
ステップ６７が終了した条件は、フォールト・トレラン
ト・サーバ５６起動時に設定された一定時間が経過した
ことによる）、ステップ８５へ進む。

【０１１０】ステップ７６の判定によって、ステップ７
７へ進んだ場合、ステップでは、誤り検出プロセスから
返送された試験結果を要求管理リストに登録する。誤り
検出プロセスから返送された試験結果には、試験結果の
他に試験手続き実行命令送信時に送信した識別子が追加
されている。その識別子を基に、要求管理リストにおけ
るクライアントプロセス５２の要求が格納してあるリス
トに誤り検出プロセスから処理結果を追加する。次にス
テップ７８に進む。

【０１１１】ステップ７８では、ステップ７５もしくは
ステップ７７で操作したリストにおいて、クライアント
プロセスの要求に対するサーバ・プロセスの処理結果、
及び、誤り検出プロセスの試験結果が、全てのサーバ・
プロセス５３〜５５、誤り検出プロセス１９〜２１から
返送されたか判定を行なう。クライアントプロセスの要
求に対して、全てのサーバ・プロセス５３〜５５、誤り
検出プロセス１９〜２１から処理結果、試験結果が返送
されているならば、ステップ７９へ進む。未返送の処理
結果あるいは試験結果があるのならば、ステップ８５へ
進む。

【０１１２】ステップ７８の条件判定によって、ステッ
プ７９に進んだ場合、ステップ７９では、図１５に示す
処理が行われる。ステップ８０では、処理結果、試験結
果に対して多数決を適用する処理結果及び試験結果比較
手段によって正しいサーバ・プロセスの処理結果を得
る。ステップ８１では、ステップ８０の処理結果及び試
験結果比較手段によって、異なった処理結果、試験結果
を出力したサーバ・プロセス、誤り検出プロセスが存在
したかを判定する。異なった処理結果、試験結果を出力
したサーバ・プロセス、誤り検出プロセスが存在した場
合には、ステップ８２へ進む。異なった処理結果、試験
結果を出力したサーバ・プロセス、誤り検出プロセスが
存在しなかった場合には、ステップ８３へ進む。ステッ
プ８２では、異なった処理結果、試験結果を出力したサ
ーバ・プロセス、誤り検出プロセスが存在したことを示
すエラー情報と、そのサーバ・プロセス、誤り検出プロ
セスが動作していたサーバ計算機の情報をユーザに対し
て出力し、ステップ８３へ進む。ステップ８３では、ス
テップ８０の処理結果及び試験結果比較手段によって得
られた正しいサーバ・プロセスの処理結果をクライアン
トプロセス５２へ返送する。ステップ８４では、処理結
果の返送が終了したクライアントプロセス５２の要求
と、それに対する処理結果、試験結果情報を要求管理リ
ストから削除する。ステップ７９が終了したならば、ス
テップ８５へ進む。

【０１１３】ステップ８５では、図１６に示す処理が行
なわれる。ステップ８６では、要求管理リストのクライ
アント要求情報を全て参照する。要求管理リストにおけ
るクライアント要求情報の受け付け時刻と現在の時刻よ
り、クライアントプロセスの要求を受け付けてから経過
した時間を要求待ち経過時間として算出する。算出した
要求待ち経過時間とフォールト・トレラント・サーバ５
６起動時に設定された最大要求待ち時間を比較する。フ
ォールト・トレラント・サーバ５６起動時に設定された
最大要求待ち時間が、クライアントプロセスの要待ち経
過時間よりも大きいならば、ステップ６７に進む。フォ
ールト・トレラント・サーバ５６起動時に設定された最
大要求待ち時間が、クライアントプロセスの要求待ち経
過時間よりも小さい、または、等しいならば、ステップ
８７に進む。

【０１１４】ステップ８６の条件判定によって、ステッ
プ８７に進んだ場合、ステップ８７では、最大要求待ち
時間を越えてしまったクライアントプロセスの要求に対
して、処理結果を返送したサーバ・プロセスが存在する
かどうかを判定する。処理結果を返送したサーバ・プロ
セスが存在するならば、ステップ８８へ進む。処理結果
を返送したサーバ・プロセスが存在しないならば、ステ
ップ９０へ進む。ステップ８８では、返送されたサーバ
・プロセスの処理結果、誤り検出プロセスの試験結果に
対して処理結果及び比較手段を適用しサーバ・プロセス
の正しい処理結果を得る。ステップ８８の処理結果及び
試験結果比較手段によって得られた正しいサーバ・プロ
セスの処理結果をクライアントプロセスへ返送する。ス
テップ９０では、返送可能なサーバ・プロセスの処理結
果を得ることが出来なかったため、クライアントプロセ
スに対してシステムエラーの発性を通知する。

【０１１５】ステップ９１では、処理結果の返送が終了
したクライアントプロセスの要求、処理結果、試験結果
情報を要求管理リストから削除する。ステップ９２で
は、異なった処理結果、試験結果を出力した、あるい
は、処理結果を返送しなかったサーバ・プロセス、誤り
検出プロセスが存在したことを示すエラー情報と、その
サーバ・プロセス、誤り検出プロセスが動作していたサ
ーバ計算機の情報をユーザに対して出力し、ステップ６
７へ進む。

【０１１６】以上のように、この実施例はクライアント
プロセスからの要求を入力しサーバ・プロセスに転送
し、また、誤り検出プロセスに試験手続き実行命令を送
信し、さらに、サーバ・プロセスの処理結果、誤り検出
プロセスの試験結果を入力し多数決によって正しいサー
バ・プロセスの処理結果を得る処理結果及び試験結果比
較手段を備え、正しいサーバ・プロセスの処理結果をク
ライアントプロセスに返送する。そして、障害の発生し
たサーバ計算機の情報をユーザに通知するフォールト・
トレラント・サーバ、フォールト・トレラント・サーバ
の動作する中継計算機、クライアントプロセスとフォー
ルト・トレラント・サーバとの通信手段を備えクライア
ント・アプリケーションにリンクし使用するクライアン
ト・アプリケーション・インタフェース、サーバ・プロ
セスとフォールト・トレラント・サーバとの通信手段を
備えサーバ・アプリケーションにリンクし使用するサー
バ・アプリケーション・インタフェース、クライアント
計算機に設置されフォールト・トレラント・サーバが動
作する中継計算機の位置情報を格納しているフォールト
・トレラント・サーバ・テーブル、フォールト・トレラ
ント・サーバが動作する中継計算機に設置され、サーバ
・プロセスが動作するサーバ計算機の位置の情報を格納
しているサーバ・テーブルを備えることを特徴とした分
散システムの高信頼化方法について説明した。

【０１１７】この実施例は、クライアントプロセスの処
理結果及び試験結果比較手段手段をクライアントプロセ
スから分離し、１つのプロセスとしたフォールト・トレ
ラント・サーバを設け、クライアントプロセス、サーバ
・プロセスとの通信処理インタフェース化することで、
クライアントプロセス、サーバ・プロセスの通信部分を
開発不要とし、サーバ・プロセス、フォールト・トレラ
ント・サーバの動作する計算機の位置情報をファイルに
登録するサーバ・テーブル、フォールト・トレラント・
サーバ・テーブルを設けたものである。

【０１１８】この実施例によればシステム運用後に、構
成変更要求があった場合でも、位置情報が記録してある
ファイルを修正することによって、動作中のプログラム
を改修することなく対応可能とする。通信処理部分をイ
ンタフェースとして提供することで、プログラムか開発
者の開発負荷を軽減する。

【０１１９】すなわち、サーバ・プロセス、クライアン
トプロセスにアプリケーションインタフェースを持たせ
ることで、ソフトウエア開発負荷の軽減が可能となる。
また、システム構成の変更もサーバ・テーブル、フォー
ルト・トレラント・サーバ・テーブルを書き換えること
で対応することが可能となる。

【０１２０】実施例５．なお、上記実施例では、誤り検
出プロセス１９〜２１へ試験手続き実施命令を送信する
タイミングを、クライアントプロセスからサービス要求
が出された時としていたが、クライアントプロセスから
の要求がなくとも、フォールト・トレラント・サーバが
定期的に試験手続き実行命令を発行しサーバ計算機の状
態を監視しても良い。

【０１２１】上記実施例では、サーバ計算機が３台以上
ある場合について説明したが図２０に示すようにサーバ
計算機は、２台以上複数台存在している場合であっても
かまわない。２台しか存在していない場合には、処理結
果比較手段多数決を用いて正しい処理結果を選択するこ
とができないが、２つの処理結果を比較して一致した処
理結果を最終的な処理結果とすることにより信頼性が向
上する。

【０１２２】

【発明の効果】以上のように、この発明によれば、処理
計算機が冗長構成をとっているので１台の処理計算機に
障害が発生しても、他の処理計算機が処理要求に対して
サービスを継続して提供することができる。

【０１２３】また、この発明によれば中継手段が要求計
算機と処理計算機の間で処理要求と処理結果を中継する
ようにしたので、要求計算機と処理計算機の変更を最小
減にすることができ、分散システムの信頼性を向上する
ことができる。

【０１２４】また、この発明によれば、３台以上の処理
計算機を備えることにより多数決による処理結果の選択
を行なえ容易に正しい処理結果を得ることができる。

【０１２５】また、この発明によれば、処理計算機に誤
り検出手段を設けているので、要求に基づき処理計算機
の誤り検出を行なうことができ、処理計算機に発生する
障害が処理結果に影響する前に検出することができる。

【０１２６】また、この発明によれば、誤りを検出する
場合も３台以上の処理計算機を備えているため、多数決
により試験結果の正常異常を正しく判断することができ
る。

【０１２７】また、この発明によれば、予備計算機を用
意し処理計算機に障害が発性した場合でも、予備計算機
を起動させることで常に復数台の処理計算機の冗長構成
をとることができ、システムとしての信頼性が向上す
る。

【０１２８】また、この発明によれば、中継手段を独立
の中継計算機に備えることにより要求計算機と処理計算
機の処理負荷を軽減させる。さらに、中継計算機を独立
してあらかじめ準備することにより、要求計算機処理計
算機のソフトウエア開発及びハードウエア開発の負荷を
軽減させる。

【０１２９】また、この発明によれば、中継計算機を複
数備えることにより、いずれかの中継計算機に障害が発
性した場合でも継続して中継処理を行なうことができ
る。

【０１３０】また、この発明によれば、要求計算機に中
継手段とのインタフェースをとるインタフェース手段を
持たせることで要求計算機のシステム開発負荷が軽減す
る。

【０１３１】また、この発明によれば、処理計算機の中
に中継手段とのインタフェースをとるインタフェース手
段を備えたので処理計算機のシステム開発の負荷が軽減
する。

【０１３２】また、この発明による分散システムの高信
頼化方法によれば、要求計算機からの要求を複数の処理
計算機で処理させ、その処理結果を比較選択することに
より正しい処理結果を選ぶことができ、分散システムの
信頼性が向上する。

【図面の簡単な説明】

【図１】 この発明の実施例１におけるクライアント・
サーバシステムのシステム構成図である。

【図２】 この発明の実施例１におけるクライアント計
算機の構成図である。

【図３】 この発明の実施例１におけるクライアントプ
ロセスの動作を示すフローチャート図である。

【図４】 この発明の実施例２におけるクライアント・
サーバシステムのシステム構成図である。

【図５】 この発明の実施例２における処理結果試験結
果比較手段の構成図である。

【図６】 この発明の実施例２におけるクライアントプ
ロセスの動作を示すフローチャート図である。

【図７】 この発明の実施例３におけるよびサーバ計算
機を備えたクライアント・サーバシステムのシステム構
成図である。

【図８】 この発明の実施例３におけるクライアント計
算機の構成図である。

【図９】 この発明の実施例３において、サーバ計算機
に障害が発生した後、予備資源を起動した冗長構成でサ
ービスを提供しているクライアント・サーバシステムの
システム構成図である。

【図１０】 この発明の実施例３におけるクライアント
プロセスの動作を示すフローチャート図である。

【図１１】 この発明の実施例４におけるクライアント
・サーバシステムのシステム構成図である。

【図１２】 この発明の実施例４における中継計算機の
構成図である。

【図１３】 この発明の実施例４におけるフォールト・
トレラント・サーバの動作を示すフローチャート図であ
る。

【図１４】 この発明の実施例４におけるフォールト・
トレラント・サーバの動作としてクライアントからの要
求を入力した場合の詳細を示しているフローチャート図
である。

【図１５】 この発明の実施例４におけるフォールト・
トレラント・サーバの動作としてクライアントへ処理結
果を返送する場合の詳細を示しているフローチャート図
である。

【図１６】 この発明の実施例４におけるフォールト・
トレラント・サーバの動作として要求待ちタイムオーバ
となった場合の詳細を示しているフローチャート図であ
る。

【図１７】 この発明の実施例４におけるフォールト・
トレラント・サーバが管理している要求管理リストに登
録されている情報を示す図である。

【図１８】 この発明の実施例４におけるフォールト・
トレラント・サーバ・テーブルの一例を示す図である。

【図１９】 この発明の実施例４におけるサーバ・テー
ブルの一例を示す図である。

【図２０】 この発明の実施例５におけるクライアント
・サーバシステムのシステム構成図である。

【図２１】 従来のクライアント・サーバシステムのシ
ステム構成図である。

【図２２】 従来のホットスタンバイ型システムのシス
テム構成図である。

【符号の説明】

１ 通信回線、２ クアイアント計算機、３ サーバ計
算機、４ サーバ計算機、５ サーバ計算機、６ サー
バ・プロセス、７ サーバ・プロセス、８サーバ・プロ
セス、９ クライアントプロセス、１９ 誤り検出プロ
セス、２０誤り検出プロセス、２１ 誤り検出プロセ
ス、２２ クライアントプロセス、３２ 予備のサーバ
計算機、３３ 予備のサーバ計算機、３４ 予備のサー
バ・プロセス、３５ 予備のサーバ・プロセス、３６
予備の誤り検出・プロセス、３７ 予備の誤り検出・プ
ロセス、３８ クライアントプロセス、５２ クライア
ントプロセス、５３ サーバ・プロセス、５４ サーバ
・プロセス、５５ サーバ・プロセス、５６ フォール
ト・トレラント・サーバ、５７ フォールト・トレラン
ト・サーバ、５８ 中継計算機、５９ 中継計算機、６
０ クライアント・アプリケーション・インタフェー
ス、６１ サーバ・アプリケーション・インタフェー
ス、６２ サーバ・アプリケーション・インタフェー
ス、６３ サーバ・アプリケーション・インタフェー
ス、６４ フォールト・トレラント・サーバ・テーブ
ル、６５ サーバ・テーブル、６６ サーバ・テーブ
ル、９３ クライアント計算機、９４ クライアント計
算機、９５ クライアントプロセス、９６ クライアン
トプロセス、９７ クライアントプロセス。

Claims (11)

【特許請求の範囲】
1. 【請求項１】 処理要求を送信してその処理結果を受信
   する要求手段を有する要求計算機と、処理要求を受信し
   て処理要求を実行しその処理結果を送信する処理手段を
   有する処理計算機と、上記要求計算機と処理計算機を接
   続し処理要求と処理結果を伝送するネットワークを備え
   た分散システムにおいて、 上記処理計算機を複数備えるとともに、 上記要求計算機は複数の処理手段に対して同一の処理要
   求をそれぞれ送信し複数の処理計算機の処理手段からそ
   の処理結果を受信する送受信手段と、受信した複数の処
   理結果を比較して正しい処理結果を出力する結果比較手
   段を備えたことを特徴とする分散システム。
2. 【請求項２】 処理要求を送信してその処理結果を受信
   する要求手段を有する要求計算機と、処理要求を受信し
   て処理要求を実行しその処理結果を送信する処理手段を
   有する処理計算機と、上記要求計算機と処理計算機を接
   続し処理要求と処理結果を伝送するネットワークを備え
   た分散システムにおいて、 上記処理計算機を複数備えるとともに、 上記要求計算機の要求手段からの処理要求を受信する要
   求受信手段と、その処理要求を複数の処理計算機の処理
   手段に対してそれぞれ送信し上記複数の処理計算機の処
   理手段から処理結果を受信する送受信手段と、受信した
   処理結果を比較して正しい処理結果を出力する結果比較
   手段と、その結果比較手段からの出力を要求計算機に送
   信する結果送信手段を有する中継手段を備えたことを特
   徴とする分散システム。
3. 【請求項３】 上記分散システムは３台以上の処理計算
   機を備え、上記結果比較手段は３台以上の処理計算機か
   らの処理結果を入力して多数決をとり正しい処理結果を
   得ることを特徴とする請求項１又は２記載の分散システ
   ム。
4. 【請求項４】 上記複数の処理計算機は、計算機の誤り
   を検出するための試験要求を受信して受信した試験要求
   を実行し試験結果を送信する誤り検出手段をそれぞれ備
   え、上記送受信手段は、上記複数の処理計算機の誤り検
   出手段に対して試験要求をそれぞれ送信し複数の処理計
   算機の誤り検出手段からその試験結果を受信するととも
   に、上記結果比較手段は受信した複数の試験結果を比較
   して処理計算機の異常を検出することを特徴とする請求
   項１又は２記載の分散システム。
5. 【請求項５】 上記の分散システムは、３台以上の処理
   計算機を備え、上記結果比較手段は、３以上の誤り検出
   手段からの試験結果を入力して多数決をとり処理計算機
   の異常を検出するを特徴とする請求項４記載の分散シス
   テム。
6. 【請求項６】 上記の分散システムは、さらに、ネット
   ワークに接続された予備計算機を備え、上記結果比較手
   段は、上記処理計算機を予備計算機で代替する必要が生
   じた場合、上記予備計算機を起動する予備資源起動手段
   を備えたことを特徴とする請求項１、２、３、４、又は
   ５記載の分散システム。
7. 【請求項７】 上記中継手段を上記ネットワークに接続
   された中継計算機に備えたことを特徴とする請求項２記
   載の分散システム。
8. 【請求項８】 上記中継計算機を複数備えたことを特徴
   とする請求項７記載の分散システム。
9. 【請求項９】 上記要求手段は、処理要求を生成する実
   行プロセスと、実行プロセスと結合して上記中継手段と
   のインタフェースをとるインタフェース手段を備えたこ
   とを特徴とする請求項２、７、または８記載の分散シス
   テム。
10. 【請求項１０】 上記処理手段は、処理結果を生成する
    処理プロセスと、処理プロセスと結合して、上記中継手
    段とのインタフェースをとるインタフェース手段を備え
    たことを特徴とする請求項２、７、又は８記載の分散シ
    ステム。
11. 【請求項１１】 以下の工程を備えた分散システムの高
    信頼化方法 （ａ）要求計算機において処理要求を発生する工程、 （ｂ）上記処理要求を複数の処理計算機にそれぞれ送信
    する工程、 （ｃ）上記複数の処理計算機において処理要求に対する
    処理をそれぞれ実行する工程、 （ｄ）上記複数の処理計算機から処理結果を要求計算に
    送信する工程、 （ｅ）要求計算機において受信した複数の処理結果から
    正しい処理結果を選択して、上記処理要求に対するする
    処理結果とする工程。