JPH09282296A - 多重化ノード間通信制御方式 - Google Patents

Abstract

(57)【要約】 【課題】分散型処理システムで、複数のノードが同一動
作をする多重化ノードでは各ノードの状態の一致が必要
であるが、ノードごとにメッセージの受信処理順序が異
なると、ノード全体の状態遷移が異なる可能性がある。 【解決手段】ノード１ｄから多重化ノード１ｅへの送信
で、通信制御部６はメッセージ受信用ポート３で受信し
たメッセージをすぐにアプリケーション５には配送せ
ず、一旦バッファに格納し、受信確認の応答を送信元ノ
ードに送信する。メッセージ送信元ノードでは多重化の
全ノードからの応答が揃ったら、配送許可通知を多重化
ノードの配送許可通知受信用ポート４宛に送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は分散処理システムの
多重化ノードのメッセージ受信順序の制御方式に関す
る。

【０００２】

【従来の技術】従来、システムの高信頼化技術として、
複数のノードが同じ動作をする多重化ノードを用いて、
多重化ノード内のある１台のノードが故障しても他のノ
ードが処理を引き継ぐことにより、システム全体に影響
を与えないようにする方法がある。多重化ノードは常に
同一メッセージを受信し、同期して同一処理を行う。し
かし、分散型システムではネットワークを介したメッセ
ージ伝達により遅延が発生するため、多重化ノード間で
の完全な同期処理は困難である。ＣＳＭＡ／ＣＤ（Carr
ier-sence Multiple-access with Collision-detectio
n）方式の伝送路のように、ネットワーク上でメッセー
ジ順序が入れ替わることがなければ、ブロードキャスト
送信で多重化ノードにメッセージを送信した場合、ＬＡ
Ｎからノードに到着する順序はノード間で一致すること
が保証できる。しかし、ＬＡＮからの受信割り込みを受
けて受信処理を行う時、複数メッセージが同時に別々の
ポートに届いていた場合には、その処理順序まで一致す
るとは限らない。さらに、ブロードキャスト通信ではメ
ッセージ抜けの可能性があり、全ノードに確実に届く保
証はない。

【０００３】そこで、各ノードのメッセージの受信処理
順序を一致させることで、状態遷移を仮想的に同期させ
る方法がある。

【０００４】多重化プロセスでメッセージの受信順序を
同一にする方法として、例えば情報処理学会マルチメデ
ィア通信と分散処理研究会52-35（1991.9.27)に示すも
のがある。これは、多重化プロセスのうち１台をマス
タ、他をバックアッププロセスとし、マスタの定めた順
序に構成プロセスが従うことで同一順序化する。マスタ
はメッセージを受信した順にデリバラブル（Deliverabl
e）としてバッファリングし、この順に受信イベントを
受け取る。バックアップは受信メッセージをアンデリバ
ラブル（Undeliverable）で一旦バッファリングし、マ
スタからの順序決定通知を受信してはじめてデリバラブ
ルとする。よってマスタの定めた順にデリバラブルにな
るので全プロセスが同一順序で受信できる。

【０００５】またプロセスグループ内における放送型通
信で全ノードのメッセージ受信順序を保証する方式とし
て、例えば、電子情報通信学会誌D-Ivol.J73-D-INo.2
（1990.2）に示すものがある。これは通信累積量と呼ぶ
ＬＡＮ通過メッセージ量を特徴付けるもの（通信回数な
ど）をメッセージに付加し、各計算機ごとの通信累積量
を全計算機が把握する。受信したメッセージに含まれる
各計算機の通信累積量と通信累積量合計を自計算機が保
持してる通信累積量と比較することにより、受信側全ノ
ードで受信順序が一致する。

【０００６】

【発明が解決しようとする課題】このように、多重化ノ
ードでは状態の一致が必要であるが、多重化された各ノ
ードごとにメッセージの受信順序が異なると、上位アプ
リケーションの起動順序も異なり、ノード全体の状態遷
移がノードごとに異なる可能性があるという課題があ
る。

【０００７】ＣＳＭＡ／ＣＤ方式の伝送路のように、ネ
ットワーク上でメッセージ順序が入れ替わることなく多
重化ノードに同じ順で到着したとしても、同時に複数の
メッセージを受信したノードの処理順序まで同順とは保
証できないため、ノード全体の状態遷移がノードごとに
異なるという課題が残る。また、送信側が状態更新要求
のメッセージなどを連続して送信する時、送信順とメッ
セージの処理順が異なって処理した場合の最終的状態が
送信順に処理した場合と異なる可能性があるという問題
がある。

【０００８】従来のマスタプロセスの受信順序をバック
アッププロセスに通知する方法では、マスタは通知処理
が必要で、マスタの負担が他のノードに比べて大きくな
るという問題がある。また、通信累積量を利用する方法
では、各ノードが全ノードの送受信情報を保持する必要
があり、さらにそれをメッセージに付加するため、メッ
セージサイズの最大を考えるとノード数も限られてくる
という問題がある。

【０００９】本発明の目的は、多重化ノードでマスタ，
バックアップを区別することなく、自ノードの送受信メ
ッセージに関する情報だけで、メッセージの受信配送処
理順序の一致化を行う方式を提供することにある。

【００１０】さらに本発明の目的は、各多重化ノードへ
の確実なメッセージ送信と、上位エンティティへのメッ
セージ配送順序の一致化で、処理順序を一致させ、状態
遷移が仮想的に同期することにより、故障ノードからの
処理の引継を簡単にする方式を提供することにある。

【００１１】また本発明の他の目的は、送信元ノードが
送信した順序通りに受信側ノードがメッセージを処理す
る方式を提供することにある。

【００１２】

【課題を解決するための手段】上記目的は、受信側ノー
ドで伝送路からのパケット受信処理でメッセージをすぐ
に上位エンティティには配送せず、一旦バッファに格納
し、受信確認応答を送信する手段と、指定した全ノード
からの応答を受信したメッセージ送信元が配送許可通知
を送信する手段と、さらに、全ノードからの配送許可を
共通のポートで受信し、配送許可通知の受信順序通りに
上位エンティティに配送する手段とを設けることによっ
て達成される。

【００１３】また、上記他の目的は、送信ノードがメッ
セージ送信順を保持しておく手段と、配送許可通知をメ
ッセージ送信順と同様に送信する手段を設けることによ
って達成される。

【００１４】さらに、上記目的は、送信メッセージに送
信時のタイムスタンプを付加する手段と、タイムスタン
プの小さい順にメッセージを配送する手段とを設けるこ
とによって達成される。

【００１５】

【発明の実施の形態】以下、本発明の実施例を図面を参
照しながら説明する。

【００１６】（第１実施例）：図１は本発明の方式を示
すシステムの説明図である。それぞれメモリ，ＣＰＵを
持つノード１（１ａ〜１ｄ）が伝送路を介して接続され
る。ノード（＃１）１ａ、ノード（＃２）１ｂは多重化
ノード１ｅとして同様のデータを持ち、同様の処理を行
う。下位エンティティとしてＬＡＮとのメッセージ送受
信を行う通信制御部６、上位エンティティとしてメッセ
ージ受信イベントによって通信制御部６より起動され、
メッセージを配送されるアプリケーション（ＡＰ）５が
ある。ノード間の通信のため、送信用ポート２、受信用
ポート３の他に、さらに配送許可通知受信専用のポート
４を設ける。多重化でない一般ノード（＃４）１ｄと多
重化ノード１ｅが通信する場合、ノード＃４はメッセー
ジｍ１をノード＃１とノード＃２の両方に送信する。通
信制御部６はメッセージ受信用ポート３で受信したメッ
セージｍ１をすぐにＡＰ５には配送せず、一旦、バッフ
ァに格納し、ｍ１を受信した確認として応答（ＡＣＫ）
を送信元であるノード＃４にメッセージ送信用ポートか
ら送信する。ノード＃４では多重化の各ノード＃１，＃
２からの応答が揃ったら、ｍ１に対する配送許可通知
（ＯＫ）を多重化ノードの配送許可通知受信用ポート４
宛に送信する。ノード＃１，＃２では配送許可通知を受
信した通信制御部６がｍ１をＡＰ５に配送する。

【００１７】図２は図１における本発明の方式を示すタ
イムチャートである。ノード＃４がメッセージｍ１を、
ノード３がメッセージｍ２をそれぞれ多重化ノード（ノ
ード＃１，＃２）宛に送信する。多重化の各ノードでは
ノード＃３とノード＃４からのメッセージを別々のポー
トで受信する。ノード＃１では先にｍ２を受信処理し、
ｍ２を、一旦、バッファに格納してｍ２の受信確認の応
答を送信元であるノード＃３に送信する。ノード＃２で
はまずｍ１を受信処理し、ｍ１をバッファに格納してｍ
１の受信確認の応答を送信元であるノード＃４に送信
し、次にｍ２を受信し、ｍ１と同様の処理を行う。ノー
ド＃１はその後ｍ１を受信し、ｍ２と同様の処理を行
う。送信元ノード＃３，＃４では多重化ノードのそれぞ
れからの応答が揃ったところで各メッセージに対する配
送許可通知を送信する。ノード＃１，＃２ではまずｍ２
の配送許可通知が届き、ｍ２をＡＰに配送する。その後
ｍ１の配送許可通知が届き、ｍ１をＡＰに配送する。よ
って多重化の各ノードではｍ１，ｍ２と同じ順序でメッ
セージを配送できる。

【００１８】例えば、ｍ１の配送で起動されるＡＰとｍ
２の配送で起動されるＡＰが異なるとする。ＬＡＮから
の受信順序が、ノード＃１がｍ２，ｍ１、ノード＃２が
ｍ１，ｍ２の順とノードごとに異なる場合、受信順序の
ままＡＰに配送し起動すると、ＡＰの動作順序がノード
によって異なることになる。本発明によれば、ＬＡＮか
らの受信順序が多重化ノードの各ノードごとに異なって
いる場合でも、上位エンティティに配送する順序を一致
させることができ、ＡＰの動作順序を一致化し、ノード
の状態遷移を仮想的に同期させることができる。

【００１９】本発明の詳細な実現方式を説明する。

【００２０】図３は各ノードがメモリ内に備えるソフト
ウェアの構成を示す。メッセージ送信処理を行う送信モ
ジュール７、メッセージ，応答，配送許可通知などの受
信処理を行う受信モジュール８、応答待ちに使用するタ
イマのタイムアウト時の処理を行うタイマ処理モジュー
ル９から成る通信制御部６、ＴＣＰ，ＵＤＰ，ＩＰのプ
ロトコル処理部１６、ソケットＩＦにメッセージ、応答
の送信用ポート２、メッセージ受信用ポート３、配送許
可通知受信用ポート４、伝送路との通信を制御するドラ
イバ１７、受信メッセージを格納する受信バッファ１
０、格納したメッセージへのポインタである配送待ちキ
ュー１１、送信バッファ１２、メッセージ送信側が応答
待ちを行う時に使用する応答待ち管理キュー１３、受信
キュー１４、送信キュー１５、アプリケーション（Ａ
Ｐ）５から構成される。

【００２１】図４は通信制御部６のメッセージ送信モジ
ュール７の処理を示すフローチャートである。ＡＰから
のメッセージ送信要求により起動され、送信先が多重化
ノードをみて（ステップ４１）、多重化ノードならばパ
ケット種別を通常データとして送信パケットを生成し
（ステップ４２）、ＬＡＮへ送信する（ステップ４
３）。そして各ノードからの受信確認の応答を待つた
め、ＡＣＫ待ち管理キューに登録し（ステップ４４）す
る。多重化の全ノードからの応答が揃わなかった場合、
メッセージを再送するか、そのメッセージを廃棄するよ
う通知するため、ＡＣＫ待ちタイマをスタートする（ス
テップ４５）。送信先が一般ノードの場合はパケット種
別を空にしてパケットを生成し（ステップ４６）、ＬＡ
Ｎへ送信する（ステップ４７）。

【００２２】図５は通常データ、応答、配送許可通知、
廃棄通知に共通のパケットフォーマットである。送信元
アドレス５１、送信先アドレス５２、パケット種別５
３、シーケンス番号５４、データ長５５、ユーザデータ
部５６からなる。パケット種別５３には通常データ、応
答、配送許可通知、廃棄通知のいずれかを設定し、空の
場合は多重化ノード宛でない通常データを示す。シーケ
ンス番号５４には通常データ送信時、送信元でシーケン
ス番号を設定し、応答、配送許可通知、廃棄通知の場合
は対応する通常データのシーケンス番号を設定する。

【００２３】図６は受信モジュール８の処理を示すフロ
ーチャートである。ＬＡＮからの受信割り込みによって
起動され、パケットを受信し（ステップ６１）、パケッ
ト種別によって処理を決定する（ステップ６２）。通常
データの場合、データを一旦バッファリングし（ステッ
プ６３）、配送待ちキューに登録する（ステップ６
４）。受信確認の応答パケットを生成し（ステップ６
５）、送信元アドレス宛に応答を送信する（ステップ６
６）。

【００２４】パケット種別が配送許可通知の場合、該当
するメッセージを配送待ちキューから取り出し、ＡＰに
配送する（ステップ６７）。廃棄通知の場合は、該当す
るメッセージを配送待ちキューから取り出し、バッファ
を解放して廃棄する（ステップ６８）。

【００２５】パケット種別が空の場合は、自ノードが多
重化ノードではなく、受信パケットは通常メッセージで
あり、ＡＰに配送する（ステップ７０）。

【００２６】パケット種別が応答の場合は応答受信処理
を行う（ステップ６９）。

【００２７】図７は応答受信処理を示すフローチャート
である。応答送信元とデータのシーケンス番号から該当
するＡＣＫ待ち管理キューのＡＣＫ待ちフラグをオンに
し(ステップ７１）、多重化の各ノードからの応答が揃
ったかをチェックする（ステップ７２）。全ノードから
の応答が揃っている場合、ＡＣＫ待ちタイマをストップ
し（ステップ７５）、パケット種別が配送許可のパケッ
トを生成し（ステップ７４）、配送許可通知を送信（ス
テップ７５）し、送信バッファを解放する（ステップ７
６）。応答が揃っていない場合は続けて応答を待つ。

【００２８】図８はＡＣＫ待ちタイマのタイムアウト時
に呼ばれるタイマ処理モジュールのフローチャートであ
る。全ノードからの応答が揃わず、ＡＣＫ待ちタイマが
タイムアウトになった時、再送指示があるかをみて（ス
テップ８１）、再送指示がある場合はメッセージを再送
する（ステップ８２）。再送メッセージのシーケンス番
号５４には最初の送信と同じ番号を設定する。再びＡＣ
Ｋ待ちタイマをスタートし（スッテプ８３）、ＡＣＫ待
ちキュー内の再送回数を１減算する（ステップ８４）。
再送指示なしの場合は該当するメッセージを廃棄するよ
う指示するため、パケット種別を廃棄通知としたパケッ
トを生成し（ステップ８５）、廃棄通知を送信する（ス
テップ８６）。

【００２９】図９は応答待ち処理と応答待ちタイマ処理
で使用するＡＣＫ待ち管理キュー１３の構成を示す。Ａ
ＣＫ待ちのメッセージごとに送信バッファへのポインタ
９１、シーケンス番号９２、再送回数９３、ＡＣＫ待ち
ノードごとのＡＣＫ待ちフラグ９４からなる。再送回数
９３には再送指示回数を設定し、再送処理を行う時に１
つずつ減算していき、０になったら再送オーバーとす
る。再送指示なしの場合は０を設定する。

【００３０】以上の処理により多重化ノードとの通信で
多重化の各ノードが受信メッセージを同じ順序で上位Ａ
Ｐに配送でき、ノード内の状態遷移が仮想的に同期す
る。

【００３１】この説明では、多重化の各ノード間の配送
順序を一致化させるが、送信側で送信した順序通りには
配送できない可能性がある。そこで送信元ノードで配送
許可通知を送信の際に、メッセージの送信順と同順に配
送許可通知も送信することで、送信順序を保存する。図
１０にタイムチャートを示す。ノード＃４はメッセージ
ｍ３，ｍ４の順にメッセージを送信する。ノード＃１で
はｍ４，ｍ３の順にメッセージを受信処理し、ｍ４に対
する応答、ｍ３に対する応答の順に受信確認の応答を送
信する。ノード＃２ではｍ３，ｍ４の順にメッセージを
受信し、それぞれに対する応答をノード＃４に送信す
る。送信元ノード＃４では、メッセージを送信した順
（ｍ３，ｍ４）でＡＣＫ待ちキューに登録しているた
め、ｍ４のＡＣＫが揃ってもｍ３のＡＣＫが揃うのを待
つ。ｍ３のＡＣＫが揃ったところでｍ３の配送許可通
知、ｍ４の配送許可通知の順に送信する。よって受信側
多重化ノード（ノード＃１，ノード＃２）ではそれぞれ
ｍ３，ｍ４の順に配送することになる。

【００３２】図１１はＡＣＫ待ち管理キュー１３の構成
を示す。図１１のキュー構成に配送許可フラグ９５を追
加する。

【００３３】図１２は応答受信処理のフローチャートで
ある。図７と異なるのは全ノードからの応答が揃っただ
けでなく、ＡＣＫ待ち管理キューの先頭にあるメッセー
ジに対してのみ配送許可通知を送信する点である。応答
を受信し、全応答が揃ったことの判断まで（ステップ７
１〜７３）は図７と同様で、その後、ＡＣＫ待ち管理キ
ュー１３の配送許可フラグ９５をオンにする（ステップ
１２１）。該メッセージがＡＣＫ待ちキューの先頭であ
るかをみて（ステップ１２２）、先頭であれば配送許可
通知パケットを生成し（ステップ１２３）、送信し（ス
テップ１２４）、送信バッファを解放する（ステップ１
２５）。そしてＡＣＫ待ち管理キューの次のメッセージ
が既に配送許可になっているかを確認し（ステップ１２
６）、配送許可になっていれば配送許可パケット生成、
送信、送信バッファ解放（ステップ１２３〜１２５）を
繰り返す。次のメッセージが配送許可になっていなけれ
ば終了する。

【００３４】多重化ノードからのＡＣＫが揃わずＡＣＫ
待ちタイマがタイムアウトになった場合は、次のメッセ
ージが配送許可になっていたら先に配送許可として、配
送許可通知を送信する（ステップ１２３〜１２５）。

【００３５】このようにメッセージ送信順序と同順に配
送許可通知を送信することで、多重化ノードでは配送順
序が一致し、かつ送信元が送信した順序で処理できる。

【００３６】（第２実施例）：本発明のもう一つの実施
例として、図１３にタイムチャートを示す。第１実施例
と異なるのは送信タイムスタンプを使用し、そのタイム
スタンプ順に上位エンティティに配送する点である。

【００３７】ノード＃４がメッセージｍ１を送信する時
間をＴ１、ノード＃３がメッセージｍ２を送信する時間
をＴ２、Ｔ１＜Ｔ２とする。ｍ１，ｍ２にはそれぞれＴ
１，Ｔ２を付加して送信する。受信側の多重化ノードの
うち、ノード＃１ではｍ２を受信し、一旦バッファリン
グして、配送待ちキューに登録する。その後、ｍ１を同
様に受信処理し、配送待ちキューに登録する時、配送待
ちキューに登録されているメッセージのタイムスタンプ
でｍ１のＴ１より大きい（時間的に遅い）ものがあるか
チェックする。ｍ２のタイムスタンプＴ２＞Ｔ１である
ため、ｍ２の前にｍ１を登録する。ノード＃２ではｍ
１，ｍ２の順にメッセージを受信し、配送待ちキューに
登録する時点で、ノード＃１同様にタイムスタンプをチ
ェックし、ｍ１，ｍ２の順に登録する。配送待ちキュー
に登録後、各ノードはそれぞれｍ１，ｍ２に対する応答
を送信する。送信元からの配送許可通知が届いたら該メ
ッセージを配送許可にし、配送待ちキューの先頭にある
場合のみ配送する。ノード＃１，ノード＃２ともノード
＃３から先にｍ２の配送許可通知が届くが、ノード＃
１，＃２の配送待ちキューではｍ１が先頭にあるためｍ
１の配送を待つ。ｍ１の配送許可通知が届いた時点でｍ
１を配送し、ｍ２の配送となる。

【００３８】第１実施例では配送許可通知は全ノードか
ら共通のポートで受信していたが、本実施例では専用の
ポートを設ける必要はない。

【００３９】図１４は配送待ちキュー１１の構成を示
す。受信バッファへのポインタ１４１、送信元アドレス
１４２、シーケンス番号１４３、タイムスタンプ１４
４、配送フラグ１４５からなる。

【００４０】図１５はパケットフォーマットを示す。図
５のパケットフォーマットに送信時のタイムスタンプ５
７を追加する。

【００４１】図１６は受信モジュールの処理を示すフロ
ーチャートである。パケット種別の判断まで（ステップ
５１，５２）とパケット種別が応答の場合、空の場合は
第１実施例の図６と同様の処理である。パケット種別が
通常データの場合、メッセージをバッファリングし（ス
テップ１６１）、受信メッセージに含まれるタイムスタ
ンプ５７と配送待ちキューに登録されているタイムスタ
ンプ１４４を比較し(ステップ１６２）、タイムスタン
プの早い順になるよう登録する（ステップ１６３）。そ
の後は図６と同様、応答パケットを生成し（ステップ１
６４）、送信する（ステップ１６５）。

【００４２】パケット種別が配送許可通知の場合、配送
待ちキューの配送フラグ１４５をオンにし（ステップ１
６６）、メッセージが配送待ちキューの先頭かをみて
（ステップ１６７）、先頭ならば上位ＡＰに配送する
（ステップ１６８）し、次のメッセージについて配送フ
ラグオンの確認（ステップ１６９）と、配送フラグがオ
ンのメッセージの配送（ステップ１６８）を繰り返す。

【００４３】パケット種別が廃棄通知の場合、受信バッ
ファを解放して配送待ちキューから削除する（ステップ
１７０）。廃棄となったメッセージがキューの先頭にあ
った場合（ステップ１７１）は、次に先頭になったメッ
セージの配送フラグを確認し（ステップ１６９）、オン
の場合は配送（ステップ１６８）を行い、これを繰り返
す。

【００４４】以上のように送信タイムスタンプ順に上位
エンティティに配送するため、送信元が送信した順序通
りに受信側で処理することができ、各ノードで上位エン
ティティのメッセージ処理順序も一致する。またタイム
スタンプ順にメッセージを配送することで送信側で送信
した順序を保存し、受信側で送信順序通りに処理するこ
とができる。

【００４５】

【発明の効果】本発明は、多重化された各ノードでのメ
ッセージの処理順序を一致させることにより、状態遷移
を仮想的に同期させることができるので、多重化ノード
のうち１台が故障した場合にも他のノードへの引継が簡
単に行える。

【００４６】また本発明は、受信側の多重化ノードで
は、送信元がメッセージを送信した順序で受信配送処理
を行うので、送信側の要求通りの正常な状態遷移ができ
る。

【図面の簡単な説明】

【図１】本発明の第一の実施例におけるシステムの説明
図。

【図２】本発明の第一の実施例におけるタイムチャー
ト。

【図３】本発明の第一の実施例におけるソフトウェアの
説明図。

【図４】本発明の第一の実施例における送信モジュール
のフローチャート。

【図５】本発明の第一の実施例におけるパケットフォー
マットの説明図。

【図６】本発明の第一の実施例における受信モジュール
のフローチャート。

【図７】本発明の第一の実施例における応答受信処理の
フローチャート。

【図８】本発明の第一の実施例におけるタイマ処理モジ
ュールのフローチャート。

【図９】本発明の第一の実施例におけるＡＣＫ待ち管理
キューの説明図。

【図１０】本発明の第一の実施例の変形例におけるタイ
ムチャート。

【図１１】本発明の第一の実施例の変形例におけるＡＣ
Ｋ待ち管理キューの説明図。

【図１２】本発明の第一の実施例の変形例における応答
受信処理のフローチャート。

【図１３】本発明の第二の実施例におけるタイムチャー
ト。

【図１４】本発明の第二の実施例における配送待ちキュ
ーの説明図。

【図１５】本発明の第二の実施例におけるパケットフォ
ーマットの説明図。

【図１６】本発明の第二の実施例における受信モジュー
ルのフローチャート。

【符号の説明】

１…計算機、２…送信用ポート、３…受信用ポート、４
…配送許可受信用ポート、５…アプリケーション、６…
通信制御部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 綿谷 洋 茨城県日立市大みか町五丁目２番１号株式 会社日立製作所大みか工場内

Claims (3)

【特許請求の範囲】
1. 【請求項１】メモリ，ＣＰＵを持つ複数のノードが伝送
   路に接続され、前記各ノードがデータを持ち、それぞれ
   の処理を行う分散型処理システムにおいて、ノード故障
   に備えて、前記複数のノードで全く同じ処理を行う多重
   化ノード構成をとる場合の多重化ノードへの送信で、受
   信側である多重化の各ノードがメッセージを受信する
   際、前記伝送路からの受信割り込みでメッセージを受信
   処理する下位エンティティが、すぐにアプリケーション
   などの上位エンティティに配送するのでなく一旦バッフ
   ァリングし、受信確認の応答を送信元に送信し、前記送
   信元では送信先の全ノードから応答を受信した時点で配
   送許可通知を送信し、受信側では各送信元からの配送許
   可通知を共通のポートで受信し、前記配送許可通知の受
   信順にバッファリングしていたデータを上位エンティテ
   ィに配送し、各多重化ノードの受信メッセージの処理順
   序を一致化することを特徴とする多重化ノード間通信制
   御方式。
2. 【請求項２】前記分散型処理システムにおける多重化ノ
   ードへの送信で、送信側はメッセージの送信順を保持し
   ておき、配送許可通知をメッセージの送信順と同じ順序
   で送信して、受信側の多重化ノードが送信順序を保存し
   た上位エンティティに配送を行う多重化ノード間通信制
   御方式。
3. 【請求項３】前記分散型処理システムにおける多重化ノ
   ードとの通信で、送信側は送信タイムスタンプをメッセ
   ージに付加して送信し、受信側では応答を送信し、バッ
   ファリングしたメッセージを配送待ちキューで送信タイ
   ムスタンプ順に並べ替え、送信元からの配送許可通知を
   受信したメッセージでかつ配送待ちキューの先頭にある
   メッセージを上位エンティティに配送して、送信順序を
   保存し、かつ上位エンティティでのメッセージ処理順序
   を一致化する多重化ノード間通信制御方式。