JPS6351302B2 - - Google Patents

Description

請求の範囲 １ ｎ個のプロセツサで編成され且つ障害の数ｔ
が（ｎ／２）より小さいという条件を満足する、
信頼性のある（ｔ＋１）接続のネツトワークにお
いて、下記ステツプから成るｎプロセツサ間の合
意を得る方法。

(a) 第１のメツセージ通過の間に、１つの開始プ
ロセツサからその偽造不可能な署名を有する値
メツセージを、それ自身を含むアクテイブなす
べてのプロセツサへそれぞれ同報通信するステ
ツプ。

(b) 第２のメツセージ通過の間に、アクテイブな
各受信プロセツサからその偽造不可能な署名を
添付した前記メツセージを、それ自身を含むす
べてのアクテイブなプロセツサへそれぞれ送信
するステツプ。

(b) アクテイブな各プロセツサは、すべてのアク
テイブなプロセツサが署名している場合は、最
初の２つのメツセージ通過の終了時に、前記メ
ツセージ値に合意して停止し、 (1) 署名数が少なくとも（ｔ＋１）個である
が、全員一致でない場合は、前記メツセージ
に署名して（ｔ＋１）個の署名とともに送信
し、 (2) 全員一致の署名を有する前記メツセージを
受信することによつて停止されなかつた各プ
ロセツサは、（ｔ＋２）個のメツセージ通過
が済むまで、受信した前記メツセージにその
署名を添付してこれを送信する操作する操作
を続け、（ｔ＋２）個のメツセージ通過の終
了時点で、少なくとも（ｔ＋１）個の署名が
前記メツセージに添付されている場合はその
値に合意し、さもなければ省略時の値をとる
ようにするステツプ。

２ 請求の範囲第１項において、生成された各メ
ツセージが、合意識別子（AI）、生成時刻
（TG）、メツセージ値（ｖ）、及び少なくとも１
つの添付された署名を含むことを特徴とするプロ
セツサ間の合意を得る方法。

３ 請求の範囲第１項において、各プロセツサが
少なくとも同報通信モニタ及びビザンチン合意モ
ニタを含むことを特徴とするプロセツサ間の合意
を得る方法。

［技術分野］ 本発明は複数のプロセツサが同期されたフエー
ズで情報を交換するようなネツトワークに係り、
更に詳細に説明すれば、障害プロセツサが存在す
る場合でさえも、前記複数のプロセツサ間で分散
されたタスクを実行するか、または全く実行しな
いかについて、これらのプロセツサ間の合意
（agreement）を得る方法に係る。

［背景技術］ CPUネツトワークに分散されたタスクの並行
処理によつて計算を行なうことは、よく知られて
いる。事実、米国特許第4274139号に記述された
システムでは、１つのタスクを実行中の局所
CPUが別の機能を他の遠隔CPUに送り、そして
この遠隔CPUで処理された出力結果を、局所
CPUが受取るようにしている。同様に、同時係
属出願の米国特許出願第459746号（1983年１月21
日出願）では、所与の計算を構成する複数の並行
処理可能なタスクと対話するために、単一の物理
ポートを使用する方法が開示されている。この方
法に利用される機能の中には、パス・スルー
（pass−through）、即ち１つのサイトの使用者が
別のサイトのCPUにログオンし、そのフアイル
を転送することを可能にする機能がある。

一般に、計算とは複数の並行処理可能なタスク
から成り、これらのタスクにはネツトワーク中の
局所または遠隔CPUにおける情報のアクセス、
変更、及び復元が含まれる。このことは、調整、
活動の同時性、または最終結果の相似性を必要と
する。例としては、分散された複数の勘定口座の
借方／貸方の同額を記入すること、同じ開始クロ
ツク値を使用すること、等の多種多様のものがあ
る。それらに共通する重要な特性は、複数の非同
期プロセツサが、それらの１つによつて生ぜられ
た情報値を使用するとともに、それらに依存する
ことである。この場合、受取つた値が送られた最
初の値であつたかどうかを決定することが必要で
ある。この問題を処理するために２クラスのプロ
トコル、即ち多重フエーズ確約（commit）／放
棄プロトコル及びビザンチン合意（Byzantine
Agreement）プロトコルが考案されている。

確約／放棄プロトコルとビザンチン合意プロト
コルは共に、ネツトワーク構成のCPU（ノード）
間で同期されたフエーズのメツセージを交換する
こと、及びそれぞれのノードでこれらのメツセー
ジを評価することを含む。その目的は、すべての
ノードにおけるトランザクシヨンの一様な確約を
最終的に保証することであるが、プロトコルの種
類によつて強調点が異なる。例えば、ビザンチン
合意プロトコルは、アクテイブノードの各々が、
ネツトワーク中の他のすべてのアクテイブノード
のアイデンテイテイを知つていること、そしてそ
れらの間に直接結合があることを仮定する。更
に、ビザンチン合意プロトコルは、高いメツセー
ジ・オーバヘツドで、一定期間内に集中的に合意
しようとする。これに対し、多重フエーズ確約プ
ロトコルは、Gray、“Operating Systems、An
Advanced Course”、Springer Verlag、1978で
説明しているように、タスクの階層に焦点を当て
ており、ノードに関する個々のノードの知識を従
属ノードに限定している。

多重フエーズ確約プロトコルは、多くのメツセ
ージが失なわれても許容することができるが、こ
れらのプロトコルは調整用プロセツサノードにつ
いては、一瞬の障害でさえも許容することができ
ない。このノードは、ネツトワーク構成された幾
つかのプロセツサに、トランザクシヨンの確約信
号を選択的に送り、その他のプロセツサには、ト
ランザクシヨンの放棄信号を送る。それとは対照
的に、ビザンチン合意プロトコルは、平均してよ
り多くのメツセージを必要とし、限られた数のノ
ード／リンク障害を許容するが、これらの障害に
は、各種のものがある。従つて、このプロトコル
の目的が、保証された同報通信を確保することで
ある場合、メツセージ・オーバヘツドと保証の信
頼性の間で、トレードオフが計られる。

また、Skeen、“Non−Blocking
CommitProtocols”、ACM Ｓ IGMOD
Conference、1981、pp133−142には、障害時の
閉塞（ブロツキング）の可能性を減少させる多重
フエーズ確約プロトコルが記述されている。計算
の目的が、複写されたデータベースの同時更新で
ある場合、プロトコルのクラス間のメツセージ伝
送量が同じ大きさとなることがある。

Pease et al、“Reaching Agreement in the
Presence of Faults”、27Journal of the ACM、
pp228〜234、April1980では、ビザンチン合意プ
ロトコルを、同期されたフエーズで情報交換する
手段を有するネツトワークにおいて非同期プロセ
ツサの間の、一貫性及び合意を実現する方法とし
て定義している。これは、いくつかのプロセツサ
に障害がある場合でさえも適用される。それと関
連して、Lamport、“The Byzantine
Generals′Problem”、＃4ACM Transaction on
Programming Languages and Systems、
pp382−401、July1982では、軍事用語の範例が
図式的に説明されている。しかしながら、両方向
性のリンクによつて情報を交換できるｎプロセツ
サのネツトワークに適用された場合の問題点は、
潜在的に障害のあるプロセツサ、またはリンクを
含む環境において、プロセツサの１つによつて伝
送中の、メツセージの内容（値）についてすべて
のプロセツサが合意することである。このような
環境の下では、障害のある構成要素の動作につい
ていかなる仮定も行なわれない。従つて、どの方
法でも、メツセージを中断することができなかつ
たり、またはその内容を破壊することさえあるプ
ロセツサまたはリンクに、対処しなければならな
い。

ビザンチン合意（BA）は、１組のプロセツサ
に対する同報通信を結果的に保証するものであ
る。つまり、システム中の障害の数が、この保証
の信頼性を特徴づけるパラメータｔを越えないこ
とを条件として、正しく動作するすべてのプロセ
ツサが同じメツセージを受取るか、またはどのプ
ロセツサもメツセージを受取らない、ということ
である。特徴としては、潜在的に信頼性が低いプ
ロセツサのネツトワークは、いくつかの同期され
たフエーズの情報交換を行なう手段を含む。この
情報交換後、前記プロセツサはすべて、それらの
プロセツサの１つが最初に保持していた値につい
て合意しなければならない。

BAは： (1) すべての正しいプロセツサが同じ値について
合意し、かつ、 (2) もし開始プロセツサが正しければ、すべての
プロセツサがその値について合意する。

ときに得られる。

項目(1)及び(2)が暗に含んでいるのは、プロセツ
サの各々がそのプロトコルの実行を完了して合意
に達するのに或る時間を要すること、そしてすべ
てのプロセツサがこの時間について承知していな
ければならない、ということである。もし、すべ
てのプロセツサが同じフエーズで合意に達するな
らば、それは“即時”の合意と呼ばれ、そうでな
い場合は、最後”合意と呼ばれる。

プロトコルは必要に応じて確認
（authentication）を使用し、これにより任意の
プロセツサが新しい値またはメツセージを情報交
換に導入することを阻止する。確認プロトコル
は、送信プロセツサがメツセージに署名を添付す
ることを要求する。この署名には符号化されたメ
ツセージのサンプル部分が含まれているので、任
意の受信プロセツサはこのメツセージが真正であ
り且つ生成プロセツサによつて作成されたことを
検査できる。また、どのプロセツサも、他のプロ
セツサの署名を偽造不可能な、即ち、見破られず
にメツセージ内容を変更できないものと仮定され
る。

若しも、信頼度ｔを有するBAがｔよりも少な
い障害によつて影響されるとすれば、実際にはｆ
個の障害しか生じえないという合意に、複数のプ
ロセツサがどれ位の時間で到達できるであろう
か。この問題の解決には、停止の概念を明白にす
ることが含まれる。プロセツサは、それが合意の
値を決めたとき停止しているとみなされ、この合
意に関するそれ以上の処理またはメツセージの中
継を行なわない。或るプロセツサが、特定の合意
に関して停止したとき、他のプロセツサまたはそ
れ自身の合意の結果に影響することなく、その通
信リンクの全部を切断することができる。

従来技術では、確認を用いて“即時BA”を達
成するための方法は、ｔ＋１のフエーズ及び０
（nt）メツセージを必要とする。ここで、確認を
必要とする幾つかのプロトコルでは、ｎプロセツ
サのネツトワークにおいて合意を得るためのメツ
セージ数が、係数ｎ及びｔを含む小さな多項式関
数で表わされるものと仮定する。また、確認なし
に、これらの結果が更に変更されるものと仮定す
る。

［発明の説明］ 本発明の目的は、ネツトワーク化されたアクテ
イブなプロセツサ間でビザンチン合意を得るため
の、計算機で実現可能な方法を提供することであ
る。但し、このネツトワークでは、合意を得るの
に必要なフエーズ及びメツセージの数が制限され
ており、またこれらのプロセツサが確認された同
報通信メツセージを同期化されたフエーズで交換
するものとする。それに関連して、本発明の他の
目的は、高々ｔ＜（ｎ／２）個のプロセツサ／リ
ンクに障害があつたとしても、信頼性のある（ｔ
＋１）接続のネツトワークに結合されたｎプロセ
ツサ間で、該方法が動作可能であり、更に、（ｔ
＋２）のフエーズで合意を得ることができるよう
にすることである。本発明の他の目的は、障害の
あるプロセツサがない場合に、該方法により最小
数のフエーズで合意を得ることである。

これらの目的は、下記ステツプ(a)〜(c)を含む方
法によつて達成される： (a) 偽造不可能な署名を有する値メツセージを、
開始プロセツサから、それ自身を含むすべての
アクテイブなプロセツサに同報通信する。

(b) 各受信プロセツサは前記のメツセージを受取
り、それ自身の偽造不可能な署名を付加して、
それ自身を含む他のすべてのアクテイブなプロ
セツサに渡す。

(c) 若しアクテイブなプロセツサがどれもみな署
名し、全員一致のサポートを得るならば、アク
テイブな各プロセツサはこのメツセージ値に合
意し且つ最初の２メツセージの通過の終りで停
止する。若し、署名数が少なくともｔ＋１であ
るが、全員一致でないならば、署名を行ない且
つｔ＋１の署名を有するメツセージを送付し、
全員一致のサポートによる停止がなされない各
プロセツサは、受取つたメツセージを、繰返し
送付し、ｔ＋２メツセージが通過するまで、そ
の署名をメツセージに付加するステツプを続行
する。ｔ＋２メツセージが通過した時点で、若
し、少なくともｔ＋１の署名がメツセージに付
加されていれば、その値に対する合意が得ら
れ、そうでない場合には、省略時の値
（default value）がとられる。

この方法の核心は、それ自身を含むすべてのア
クテイブなプロセツサに対し、受取つたメツセー
ジの“署名及び送信”を行なうことである。若
し、最初の２つのメツセージの連続通過後、すべ
てのプロセツサが署名した（全員一致でサポート
した）ならば、早期の停止が得られる。そうでな
い場合は、これらの全員一致のサポートが得られ
ないプロセツサは、ｔ＋２の通過が生じるまで、
受取つたメツセージの署名、送信を繰返し行なう
ステツプを続行する。この方法の利点は、障害が
無いときに早期の停止を生じるだけではなく、メ
ツセージ数を０（nt）まで直線的に制限するとい
う点にある。従来技術の他の方法に関しては、関
与プロセツサ数が2t＋１ほどに小さいときは、前
記のような障害がない場合の早期停止は許されな
い。

【図面の簡単な説明】

第１図はBA呼出しの流れ図、 第２図は同報通信モニタの流れ図、 第３図は同報通信モニタとビザンチン・モニタ
の間の起時間（wakeup time）の伝達に関する
流れ図、 第４図はビザンチン・モニタの流れ図、 第５図は、７プロセツサのネツトワークで、そ
の中の３プロセツサに障害があるかもしれない場
合の、メツセージ署名、送付のシナリオを示す図
である。

最良の実施態様 本発明の方法は、完全かつ確実に接続された同
期ネツトワークにおいて、すべてのプロセツサ
が、大部分の時間、正常であると仮定する。この
方法は特に、(a)障害のあるプロセツサがない場
合、または(b)最大ｔプロセツサまで障害のある場
合、ビザンチン合意を得るのに必要なフエーズ及
び確認されたメツセージの数を最小限にするよう
に定められている。

ビザンチン合意及び同期されたフエーズの情報交
換 以下の説明は、関係するネツトワークがアクテ
イブなプロセツサだけから成り、そしてメツセー
ジ・トラフイツクが複数のプロセツサをアクテイ
ブと非アクテイブ（passive）に区分することに
よつて部分的に管理できるという仮定の下に行な
う。ここで、フエーズ１ではすべての“アクテイ
ブ”なプロセツサに対し、ソースｓが偽造不可能
な署名を有する値ｖを送付する（生じる）ものと
仮定しよう。これに関連して、“フエーズ”を有
向グラフで表わす場合、そのノードはプロセツサ
を表わし、枝はノードの対の間で伝送されるメツ
セージを表わす。また、“フエーズ”は、送信者
が伝送してから、すべてのプロセツサがこのメツ
セージの値ｖを受取り、前記メツセージを処理
し、次の停止を決定するまでの時間差と定義され
る。

若し、ｐ番目のプロセツサによつて、（ｖ）ｓ
が正確に受取られるならば、このプロセツサは、
その署名（（ｖ）ｓ）ｐを添付し、フエーズ２の
間に、それ自身を含むすべてのプロセツサに対
し、署名されたメツセージを送付する。また、こ
のフエーズの間に、（（ｖ）ｓ）ｐが、それ自身を
含む各プロセツサｐから、ｑ番目のプロセツサに
よつて正確に受取られ、かつフエーズ２の間に、
他のメツセージが受取られないならば、ｑ番目の
プロセツサは、この方法に対する、これ以上の関
与を停止し、その確約された値のリストに値ｖを
加える。フエーズ２で、署名された値ｖが、それ
自身を含むすべてのプロセツサから正確に受取ら
れると、“早期停止”が行なわれる。この制約が
ないと、ｑ番目のプロセツサは、フエーズ（ｔ＋
２）まで待たなければならない。その後に、値ｖ
を確約された値のリストに加えることができる。

若し、ｖ以外の値を、ｑ番目のプロセツサが受
取つたならば、送信者の障害が推定され、ｑ番目
のプロセツサはその省略時の値をとる。

特殊メツセージ構文 ここで、特殊メツセージ構文を次のように定義
する： (1) 値ｖのセツトは原子メツセージのセツトに含
まれる。

(2) ラベルは、原子メツセージ、確認またはラベ
ル・シーケンスのどれかである。

(3) 確認は（ラベルａ）ｐの形式を有するラベル
である。ただしｐはプロセツサの名前であり、
ラベルａは１つのラベルである。

(4) ラベル・シーケンスは、形式ラベルａ、ｂの
ラベルである。ただし、ラベルａ、ｂはラベル
である。（ａ、ｂ、ｃ）ｐは(a)ｐ(b)ｐ(c)と同じ
ではないことに注意されたい。

(5) 若し、ａ＝ｂであるか、またはａがｃの一部
であり且つｂ＝ｃ（ｐ）となるようなラベルｃ
及びプロセツサｐがあるか、またはｂ＝ｃ、ｄ
であり且つａがｃ若しくはｄの一部であるよう
なラベルｃ及びｄがあれば、ラベルａはラベル
ｂの一部である。

(6) メツセージはコンマのないラベルである。

低いサポート及び密なメツセージ 或るプロセツサが値ｖについて“低いサポー
ト”を有するといわれるのは、次のようなｔ＋１
のプロセツサｐの各々ごとに、当該プロセツサが
その唯一の原子メツセージ部分として、ｖを有す
るｐによつて署名された確認を受取る場合であ
る。任意のフエーズで或るプロセツサに受取られ
たメツセージが“密”であるといわれるのは、そ
の唯一の原子メツセージ部分が値であり、その他
のすべての部分が確認であり、そして複数のプロ
セツサの明白なｖ署名がそのメツセージに現われ
る場合である。ここで説明の便宜上、ｐ、ｇ、ｒ
及びｓをプロセツサとし、ｖを値とし、ｔ＝２と
する。そうすると、（（（ｖ）ｓ）ｐ）ｑがフエー
ズ４ではなく、フエーズ３で受取られるならば、
これは“密”なメツセージである。これに関連し
て、シーケンス（（ｖ）ｓ）ｐ、（（ｖ）ｓ）ｑは
ｖに対して“低いサポート”である。なぜなら、
これは原子部分ｖを有するメツセージに（ｔ＋
１）＝３の明白な署名を含むからである。一般に、
フエーズｋで受取つた密なメツセージは次の形式 （………（（ｖ）ｐ／Ｉ／……）ｐ／ｋ／ を有する。低いサポートはフエーズ２でｔメツセ
ージを必要とする。後に、メツセージ数は、フエ
ーズｔ後の１つの密なメツセージと同じ位、大き
くまたは小さくなることがある。

密なメツセージと低いサポートの概念は次のよ
うに表現することができる： フエーズｑで受取つた密なメツセージ＝（値ｖ
だけの）原子メツセージ部分＋明白なｑプロセツ
サからの確認 低いサポート＝原子部分の値ｖだけを有する密
なメツセージで受取つたｑ＞＝（ｔ＋１）の明白
な署名 若し、或るプロセツサがフエーズ２で停止せ
ず、かつこのプロセツサが値ｖについて低いサポ
ートを有するならば、このプロセツサは、(1)その
確約された値のリストにｖを加え、そして(2)若
し、ｖが最初の２つの値の１つであるならば、密
なメツセージを含む十分なメツセージを送り、ｖ
に対する低いサポートを伝達しなければならな
い。最後に、プロセツサは、若し前記以外の場合
で停止しないならば、フエーズｔ＋２の後に停止
しなければならない。

本発明の方法は、障害のない場合には、全員一
致のサポーシを受取るプロセツサがフエーズ２で
停止することを可能にするという点で最適化され
るが、障害のある場合には、全員一致のサポート
を受けないプロセツサは、低いサポートを有する
密なメツセージを、フエーズ２とフエーズｔ＋２
の間の期間中待ち、伝達された値をそれらの確約
された値のリストに加え、そして、最初に受取つ
た前記２つの値に対応するすべてのプロセツサ
に、密なメツセージを伝送しなければならない。

相互依存効果と局所クロツキング 複数ノードを有するネツトワークは、メツセー
ジ・インターフエースに対の伝送が存在するよう
な、単一送信者／単一受信者型のネツトワークで
ある。既に説明したように、用語“フエーズ”
は、ノード対間のメツセージ伝送を特徴づけ、か
つ大まかに“時間間隔”に対応する。相互依存の
問題は、時間がノード間において正確に同じでは
ないという事実から生じる。詳細については、
Lamport、“Time、Clocks、and、the Ordering
of Events in ａ Distributed System”、21
Communications of the ACM、pp558−565、
July1978に記述されている。実際的には、これ
は、若しシステムが大域（グローバル）クロツク
によつて同期化できるなら、用語“フエーズ”は
時間間隔と同義語である。

局所ノードの実行環境 初めに、本発明の方法は、主記憶、入出力チヤ
ンネル、制御装置、直接アクセス記憶装置及びそ
の他のＩ／Ｏ装置が、それぞれ接続されている少
なくとも１つのCPUを含むような計算システム
で実行可能である。このようなシステムは米国特
許第3400371号に説明されている。このシステム
には、プロセスの実行に必要な、計算システムま
たはオペレーテイング・システムの機能のすべて
が、資源として含まれる。代表的な資源には、主
記憶、Ｉ／Ｏ装置、CPU、データ・セツト、及
び制御プログラムまたは処理プログラムが含まれ
る。更に、このようなシステムは多重プログラミ
ング能力を有する。これは、計算システムによる
２つ以上のプロセスの並行処理に適し、IBM社
から発行された刊行物GC28−6646（1973年７月）
に説明されているIBMシステム／360オペレーテ
イング・システムによつて動作するコンピユータ
で管理することができる。非同期動作する複数の
CPUから成るネツトワークは、米国特許第
3940743号、同第4223380号に記述されている。

本発明の方法を実行する流れ図 ネツトワークの各プロセツサ・ノードには、第
２図の同報通信モニタ及び第４図のビザンチン合
意モニタが含まれる。同報通信モニタは、ノード
に対する一般的なメツセージ通信プロセツサであ
る。また、これには、障害がない場合に早期停
止、即ちフエーズ２によつて停止するビザンチン
合意を決定する機能も含まれる。対照的に、ビザ
ンチン合意モニタは早期停止以外の合意を決定す
る。

第１図には、メツセージ構文が示されている。
これは、合意プロセスの開始時にビザンチン合意
が呼出される場合は、合意識別子（AI）、生成時
刻（TG）、及び値（ｖ）を含むメツセージが生
成されることを意味する。（ビザンチン合意の目
的は、プロセツサが初めに伝えたことに関しての
合意を確認することである。）そして、メツセー
ジは署名され、他のすべてのアクテイブなプロセ
ツサに送信される。これは、ネツトワーク中の他
のすべてのアクテイブな関与プロセツサが分つて
いるからである。更に、完壁なものにするため
に、“署名”として、暗号化されたメツセージを
用いたり、または少なくとも１つの追加ECCバ
イトを用いることができる。

モニタの属性 モニタは、計算資源に結合された手順の集りで
ある。これは、資源を割当てたり、資源に対する
参照を制御する責任を有する。一般に、システム
中の各資源は特定のモニタを有する。例えば、記
憶モニタ、通信（同報通信）モニタ、または
CPUモニタがある。モニタの各々は、責任を有
する資源についての情報を含むテーブルまたは他
の構造に対し、排他的なアクセスを有する。モニ
タに関連するものに“メール・ボツクス”があ
る。メール・ボツクスは、２つ以上の送信プロセ
スからのメツセージを記録できるような受信者に
関連したキユー（queue）である。

同報通信モニタ 第２図には、本発明による同報通信モニタの流
れ図が示されている。このモニタは、指定された
論理レジスタにイニシアル・タイムを記録する。
モニタ手順は、最初に同報通信メイル・ボツクス
をアクセスしてこれをロツクし、そして繰返し手
順（ループ）を用いて、メール・ボツクスを定義
する外部ソースからのメツセージのキユーが使い
果たされるまで、各メツセージを順次に処理する
ように構築される。この時点で、メール・ボツク
スは、アンロツク（unlock）されており、新し
いメツセージの到着を持つ。各メツセージは、そ
の中に組込まれた同報通信情報ブロツクによつて
形成化される。このブロツクには、アイデンテイ
テイ、生成時刻及び確約値に対するステータス情
報が含まれる。そして、一般的に認められる幾つ
かのループがある。最初のループは、誤つている
か、または確認されていないか、または現在時刻
（CT）がメツセージ生成時刻（TG）所定量越え
ているようなメツセージをすべて廃棄することに
関連する。これらの量は署名数（Ｓ）に等しい時
間単位である。メツセージが廃棄されると、同報
通信モニタは“休止”状態に戻る。メツセージが
確認されたものであつて。誤りのないものであ
り、しかも現在時刻が、生成時刻に所定の増加量
を加えたものを越えていないと仮定すれば、“ベ
ース”と呼ばれる一定配列の目的リストから成る
データ構造がアクセスされる。“ベース”は、任
意の合意について最初に受取られるメツセージで
ある。また、メツセージ内の検出されたベースの
数をカウントするために、走行変数Ｋが０にセツ
トされる。これらのベースは、その生成時刻
（TG）によつて配列されるので、“次のベース”
を取出す次のステツプは、リストから次の最大の
大きさを有するTGを得ることを意味する。若
し、“次のベース”がなければ、この最初のプロ
セスのメツセージは、この一定配列のリストのデ
ータ構造にベースとして記憶される。

“次のベース”を取出すステツプで、“次のベ
ース”が見つかつたものと仮定すると、処理中の
メツセージのアイデンテイテイをベースのアイデ
ンテイテイと比較する必要がある。若し、両者が
等しくないならば、次のベースが取出され、比較
される。ベースがなくなるまで、または処理中の
メツセージのAI（合意識別子）と同じAIを有する
ベースが見つかるまで、一定配列のリストは走査
される。カウントは一単位ずつ増加される、即ち
Ｋ＝Ｋ＋１となる。

次に、若し、ベースが見つかつたならば、この
ベースの値がメツセージの値ｖに等しいかどうか
について検査が行なわれる。若し、処理中のメツ
セージの値と、ベースの値が等しくないならば、
Ｋが２よりも小さい場合に、ベースは再走査され
る。このリストでは２つのベースだけを維持すれ
ばよいことに注意されたい。これは、現在のメツ
セージと１つのベースの間の値ｖの不一致が、送
信者の障害を表わすのに十分であるという判断を
前提としている。即ち、若し、送信者が同じAI
の下に異なつた値を有する２つのメツセージを送
るならば、障害が表示される。若し、ベースが２
回以上ループされ（即ちＫ＝＞２）、かつメツセ
ージとベースの値が不一致であるならば、メツセ
ージは廃棄される。

ここで、現在処理されたメツセージ値ｖがベー
ス値に等しいものと仮定しよう。若し、該ベース
が“ｃ”または“ｄ”によつてマークされれば、
それは廃棄される。これは、これ以上のメツセー
ジ処理またはビザンチン合意を行なわなくてもよ
いことを意味し、合意は既に決定されていること
を表わす。

若し、ベースがマークされていなければ、メツ
セージの署名は、ベースの署名を更新するのに用
いられる。即ち、最初のｔ＋２の署名は完全に記
憶され、それらのすべてに適切なビツトがマーク
される。

若し、現在時刻CTが生成時刻TGプラス２単
位を越えていないならば、それは早期停止時刻以
前、即ちフエーズ２の範囲内にある。若し、すべ
ての署名が受取られているならば、全員一致のサ
ポートが存在する。一方、すべての署名が受取ら
れていなかつたならば、メツセージは廃棄され、
同報通信モニタは“休止”状態に戻る。

ここで早期停止中の処理について考えてみる
と、ベースを検査して、処理中のメツセージ及び
ベースと同じAIを有するもう１つのベースが存
在するかどうかを調べる。若し、存在するなら、
ベースは、“ｄ”をマークしてリストに戻され、
プロセツサは省略時の値をとる。さもなければ、
ベースは、“ｃ”をマークしてリストに戻され、
そしてベース値ｖが合意値として採用される。こ
の実現形態では、省略時の値は、送信者が障害を
有するという情報を含む。“ｃ”または“ｄ”の
どちらかにベースがマークされた後、同報通信モ
ニタは“休止”状態になる。こうして、早期停止
のプロセスが完了する。

次に、データ構造を循環した後、ベースが存在
しないものと仮定すると、処理中のメツセージが
ベースとして記憶される。若し、そのメツセージ
の署名数が２つであれば、同報通信モニタは直ち
に“休止”状態に戻る。他方、若し、署名数が２
以外であれば、プロセツサは、そのメツセージに
署名し、これら自らを含む。すべての他のプロセ
ツサに同報通信する。その後、同報通信モニタは
“休止”状態に戻る。

同報通信モニタは、各メツセージを順次に処理
し、時間確認または誤り基準に適合しないメツセ
ージを廃棄してベースを確立する。同報通信モニ
タが合意を決定する唯一の時機は早期停止の場合
である。同報通信モニタの活動と同期していない
のは、ビザンチン・モニタの活動であり、該モニ
タは早期停止の合意以外の合意を決定することを
目的とする。同報通信モニタとビザンチン・モニ
タの間の通信は、ベースを変更し、それを記憶す
ることによつて行なわれる。

第３図を参照するに、そこではメツセージがベ
ースとして記憶され、生成時刻＋２単位がビザン
チン・モニタのベースをポイントする起動時間の
リストに入れられる。起動時間の最も早い時機に
ビザンチン・モニタを起動するため、ビザンチ
ン・モニタのタイマが必要に応じてリセツトされ
る。

ビザンチン・モニタ 第４図には、ビザンチン・モニタの流れ図が示
されている。このモニタは、２つの配列されたリ
ストに応答する。このモニタは、呼出されると、
同報通信メール・ボツクスをアクセスし、ロツク
して、現在時刻を得るとともに、配列されたリス
トをロツクする。これに関しては、最初のリスト
は、いくつかのベースのTG＋２またはTG＋ｔ
＋２に対応する起動時間の一定配列のリストであ
るが、他のリストは、依然としてアクテイブなベ
ースの配列されたリストである。これらのリスト
の内容はループによつて処理される。１つのメツ
セージがベースとして記憶されるごとに、時刻
TG＋２単位は、ビザンチン・モニタの起動時間
として記憶される。そのリスト上の該目的に関連
するのは、他のリストに記憶されたベースに対す
るポインタである。オペレーテイング・システム
が起動時間に応答してビザンチン・モニタを呼出
す場合、この起動時間はリストから除去され、そ
して関連するベースのアクセスが行なわれる。こ
のベースは、“ｃ”または“ｄ”とマークされて
いるか、または全くマークされていない。若し、
このベースがマークされているならば、ビザンチ
ン・モニタは“休止”状態に戻る。若し、ベース
が“マーク”されていない”ならば、起動時間
WTはベースの生成時刻TGと比較される。若し、
WT＝TG＋２であり、そして、ベースに低いサ
ポート（ｔ＋１の署名）があれば、ベースは署名
されたとえ、前に送信されていても、全部のプロ
セツサに送信される。いずれにしても、TG＋ｔ
＋２の新しい起動時間がリストに載せられる。ま
た、若し、最も早い“起動時間”に起動する必要
があれば、ビザンチン・モニタはそのタイマをリ
セツトした後に“休止”に戻る。若し、WT＝
TG＋ｔ＋２ならば、ベースのメツセージに付随
する署名数が検査され、それが十分にサポートさ
れているかどうかが確かめられる。即ち、若し、
署名数ｓが（ｔ＋１）よりも小さければ、サポー
トは不十分であるとみなされ、ベースは“ｄ”と
マークされる。プロセツサは合意とは反対の決定
をし、省略時の値をとる。そして、ビザンチン・
モニタは“休止”状態に戻る。他方、若し、ｓ＝
＞（ｔ＋１）ならば、リストにおいて同じ識別子
を有するもう１つのベースの探索が行なわれる。
若し、このベースが見つかれば、それを“ｄ”と
マークし、プロセツサは合意に反対の決定をし
て、省略時の値をとり、ビザンチン・モニタは
“休止”状態に戻る。若し、同じ識別子を有する
もう１つのベースがなければ、ベースは“ｃ”と
マークされ、プロセツサはそのベースの合意値ｖ
をとる。その後、ビザンチン・モニタは“休止”
状態に戻る。

ビザンチン・モニタの機能は、時刻TG＋（ｔ
＋２）時間単位で合意を決定することである。従
つて、同報通信モニタは、最初の２フエーズ内
で、合意の可否を決定するが、ビザンチン・モニ
タは、フエーズｔ＋２で、合意の可否を非同期的
に決定する。この方法によつて、障害のない場合
には２フエーズ内に、または、障害数ｔが（ｎ／
２）よりも小さい場合にはｔ＋２フエーズ内に、
アクテイブなプロセツサはことごとく、合意値ま
たは省略時の値に達することが保証される。

本発明のビザンチン合意方法 本発明の方法は、複数のプロセツサがトランザ
クシヨンの確約または放棄についての合意を、所
定の時間内で保証することが望ましい場合、本発
明の方法は２フエーズ確約プロトコルに適用する
ことができる。従つて、本方法によるメツセージ
に或るプロセツサが応答し、その応答が、同期さ
れた（ｔ＋１）接続のプロセツサ・ネツトワーク
中の更にもう１つのプロセツサに受取られるのに
要する時間の上限τが存在する。（ｔ＋１）接続
ネツトワークは、ネツトワーク中の任意の２点が
ｔ＋１の「互いに素」（disjoint）なる経路を有す
ることを意味すると定義される。

若し、プロセツサが或る値を予期し、その後、
時間τ内にそれを受取らなければ、このプロセツ
サは、送信または受信プロセツサのどちらかに障
害があると結論する。本発明の方法を２フエーズ
確約に適用するプロトコルは、下記のステツプを
必要とする； (a) ノードの１つをトランザンシヨン・コーデイ
ネータとして指定し、（そのクロツクの）時刻
ｔで、“確約準備（prepare−to−commit）”
メツセージを、すべての関与プロセツサに同報
通信し、 (b) 各プロセツサは、“準備された（prepared）”
レコードを記録して“イエス”と投票するか、
または放棄して“ノード”と投票することによ
り、“確約準備”に応答し、 (c) 若し、時刻ｔ＋2τまでに、トランザクシヨ
ン・コーデイネータが、すべてのネツトワーク
関与者から“イエス”を受取つているならば、
ビザンチン合意プロトコルを用いて事象“確
約”を同報通信するか、または前記ビザンチ
ン・プロトコルを用いて“放棄”を同報通信
し、 (d) 若し、そのクロツクの時刻ｔ＋6τまでに、プ
ロセツサは、“確約”することを決定していな
ければ、“放棄”することを決定する。即ち省
略時の値を採用する。

最悪の場合のシナリオ 第５図には、CPUネツトワークのグラフのノ
ード間の有向性の枝に沿つたメツセージ伝達パタ
ーンが示されている。この場合、ｎ＝７のCPU
があり、そのうち、ｔ＝３のCPUに障害がある。
黒丸のノードは障害のあるプロセツサを表わし、
自丸のノードは正しいプロセツサを表わす。第１
のフエーズで、Ａは値ｖを含み、Ａが署名したメ
ツセージを、時物TGにおいてＢにだけ（不正な
様式で）送る。第２のフエーズで、Ｂは、送られ
たメツセージに正しく署名し、それをすべてのノ
ードに送る。第３のフエーズで、Ｇは（不正な様
式で）そのメツセージに署名し、それをＦにだけ
送る。第４のフエーズで、Ｆは同じように（不正
な様式で）そのメツセージに署名し、それをＥに
だけ送る。最後の第５のフエーズで、Ｅは正し
く、そのメツセージに署名し、それをすべてのノ
ードに送る。面白いことに、メツセージは、それ
が少なくともｔ＋１の署名を必要とするという理
由から、第４フエーズまでは十分にサポートされ
ず、第５フエーズになつて始めて十分にサポート
される。メツセージが署名され、ノードＧ及びＦ
から送られるためには、両ノードは、たぶん共謀
して動作するものとみられる。Ｅにだけ送られた
メツセージに（ｔ＋１）＝４の署名をノードが添
付するのは、第４フエーズにおいてだけである。
若し、Ｆが実際に、たつた１つのノードの代りに
すべてのノードにメツセージを送つていたなら
ば、フエーズTG＋４で合意が決定されたであろ
う。

複数のフエーズは、不連続に生じているように
説明されてはいるが、入力関係でもよいことはい
うまでもない。更に、若し、ネツトワークが完全
に接続され、各ノードが他のあらゆるノードに連
結され、かつ少なくとも（ｔ＋１）接続であるな
らば、本発明は、変更なしに、ｔ（ｎ／２）の範
囲まで、検出されないノード／リンク障害に耐え
るであろう。

有利な点として、本発明は、ベースがすべての
アクテイブなプロセツサの署名を含んでいる場
合、その時点（第２フエーズ）で即時停止を要求
する。早期停止しない場合、プロセツサは少なく
ともｔ＋１の署名が得られる。ｔ＋２のフエーズ
まで待つて始めて、確約された値のリストに値ｖ
を加えることができる。若し、ｖ以外の値を受取
つたならば、このプロセツサは、送信者に障害が
あつたものと結論づけ、省略時の値を採用する。
障害の証拠は即時停止を満足させないことである
と考えられる。即ち、若し、２フエーズの処理の
後、プロセツサが停止していなければ、ノードの
１つのどこかに障害がある。