JP2534430B2

JP2534430B2 - フォ―ルト・トレランスのあるコンピュ―タ・システム出力の合致を達成するための方法

Info

Publication number: JP2534430B2
Application number: JP5020966A
Authority: JP
Inventors: ジューアン・アルバート・ギャレイ; ケニス・ジェイ・ペリー
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1992-04-15
Filing date: 1993-02-09
Publication date: 1996-09-18
Anticipated expiration: 2011-09-18
Also published as: US5598529A; JPH0683661A; EP0565915A2; EP0565915A3

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、全般的には、コンピ
ュータ処理装置システムのフォールト・トレランス（耐
故障性）に関する。より詳細には、この発明は、ある数
の処理装置がクラッシュ（動作停止）により故障し、他
のある数の処理装置が勝手な動作を行うこと（ビザンチ
ン故障）によって同時に故障した後にシステムを適切に
動作させ続けることを可能とするプロトコルを使用する
コンピュータ処理装置システムに関する。

【０００２】

【従来の技術】フォールト・トレランスのあるシステ
ム、すなわち、システムにおける一つ以上の処理装置の
故障後においてさえも適切に動作するコンピュータ・シ
ステムを必要とする多くのコンピュータ・システムの用
途がある。しばしば重要なモニタリングおよび制御機能
を実行するこれらの用途は、航空交通管制システム、原
子炉制御システム、電話交換システム、航空機／宇宙船
管制システム、金融資金の転送システムおよび「ウォー
ル・ストリート」保全トレーディング・システムを含
む。

【０００３】従来技術は通常、故障に対してあるレベル
の許容度を提供するために、これらのコンピュータ・シ
ステムにおいて複数の処理装置を使用する。しばしば、
これらの処理装置は同一の機能を実行する。すなわち、
これらの処理装置は互いに同一である。多重処理装置シ
ステムは、故障した処理装置の機能を再現および実行す
る残りの非故障の処理装置に頼ることによって、一つ以
上の処理装置の故障を許容することができる。例えば、
航空機の飛行管制システムにおいては、処理装置は、セ
ンサからの信号を得て、飛行管制面（例えば、方向舵）
の位置をどのように変化させるかを決定するためにこの
信号を使用し、最後にその位置を実際に変化させるため
に信号を発生する必要がある。もし一つの処理装置だけ
がこの機能を実行しており、この処理装置が故障を起こ
したならば、航空機の安全な操縦は危いであろう。そこ
で、これらの機能を複数の処理装置において再現すれ
ば、たとえこの処理装置が故障してもその他の非故障の
処理装置を適切な管制のために使用することができるの
で、航空機の安全性を高めることができる。

【０００４】フォールト・トレランスのあるシステム
は、たとえ個々の処理装置が故障してもシステムが適切
に動作することを保証するために、プロトコルと呼ばれ
るコンピュータ・プログラムを使用する。一つのフォー
ルト・トレランスのあるコンピュータ・システムの設計
は、多数の同一の処理装置と二つのタイプのプロトコル
とをともに使用する。これらの二つのプロトコルは次の
ようなものである。第１に、同報通信プロトコル、すな
わちシステムにおけるすべての処理装置に対する信号の
フォールト・トレランスのある同報通信である。第２
に、出力合致プロトコル、すなわち出力合致に到達する
フォールト・トレランスのある方法である。本質的に
は、すべての非故障の処理装置はまず、入力を同報通信
プロトコルによって分散させることによって、システム
入力に対して同等の値を決定する。次に、すべての処理
装置は、個々に出力動作を提案するために入力に対して
必要な計算を行う。最後に、すべての処理装置は、非故
障の処理装置が共通の出力動作に関して一致するように
出力合致プロトコルを実行する。

【０００５】航空機の飛行管制システムの前の例に関し
ては、システムにおける代替の処理装置に対する入力と
なるセンサ出力が同一であることを保証するために、同
報通信プロトコルを使用することができる。これらの代
替の処理装置は次に、飛行管制面を移動させる方向を決
定するために、センサ出力に基づいて必要な計算を行う
ことができる。次にすべての非故障の処理装置が飛行管
制面を移動させる方向に関して一致するように決定する
ために出力合致プロトコルを使用する。

【０００６】同報通信または出力合致プロトコルが許容
することができる処理装置故障の数は、故障している処
理装置の数とその故障の性質（モード）に依存する。処
理装置は、本来実行すべき機能を適切に実行することが
できなくなったときに故障したという。クラッシュ故障
とビザンチン故障との二つの故障のモードがある。処理
装置は、もしその処理装置がある段階まで一定の機能を
実行したが、その後に完全に動作を停止してしまう状態
を第一のモードであるクラッシュ故障という。処理装置
が動作を継続しているがその機能を適切に実行していな
い状態を第二のモードであるビザンチン故障という。ビ
ザンチン処理装置の挙動は、完全に任意であり、無制約
である。すなわち、ビザンチン処理装置は、その機能を
実行したり、クラッシュ（なにも実行しない）したり、
あるいは誤ったまたは任意の方法で動作し（実行はして
いるが適切でない）、結果としてそれは計算に対して誤
った結果を与える。

【０００７】フォールト・トレランスのある同報通信プ
ロトコルは、一つの「同報通信」処理装置（またはセン
サ）、すなわち同報通信機によって発生された信号を、
たとえいくつかのシステム処理装置が故障しても他の処
理装置に高い信頼性で分散させることをその目的として
有する。同報通信機が送った信号は本来、すべてのシス
テム内の非故障の受信する処理装置に関して同一である
はずである。しかしながら同報通信処理装置は一度に一
つの処理装置だけに信号を送り、その信号をすべての所
望の処理装置に送る前に故障する可能性があるので、同
報通信プロトコルが必要である。もし同報通信機が故障
したら、システムにおけるいくつかの処理装置は、信号
を検出するが他の処理装置はそれを検出しない（同報通
信機がクラッシュにより故障した場合）、あるいは、異
なる信号値を検出する（同報通信機が勝手に動作するこ
とにより故障した場合）。フォールト・トレランスのあ
る同報通信プロトコルは、すべての非故障の処理装置が
最終的に同等の信号値を検出し、また、同報通信処理装
置が非故障の場合には検出された信号値が同報通信機に
よって発生されたものと同一であることを保証する。

【０００８】フォールト・トレランスのある出力合致プ
ロトコルは、一の処理装置が、システムにおける他のす
べての処理装置出力と合致することを要するような動作
（信号による）を提起することを可能とする。フォール
ト・トレランスのある出力合致プロトコルは、すべての
非故障の処理装置および最終的にはシステムによって行
われる共通の動作（例えば、スイッチをオフする）に関
して「出力合致」に到達することをその目的として有す
る。処理装置は一度に一つの他の処理装置だけにしか信
号を送らず、その発信元の処理装置の故障は受信する二
つの処理装置が互いに異なる信号を検出するという状態
を引き起こすため、出力合致プロトコルが必要である。
これらの困難性にもかかわらず、フォールト・トレラン
スのある出力合致プロトコルは、すべての非故障の処理
装置が共通の動作に関して一致し、この動作が非故障の
処理装置によって提起されたものであることを保証す
る。

【０００９】出力合致プロトコルにおいては最初にそれ
ぞれの処理装置が、後にシステムにおけるすべての処理
装置によって出力合致される動作（信号による）を提起
することを可能とする。システムは次に、出力合致プロ
トコルのステップに入る。出力合致プロトコルのステッ
プを終了した後、出力合致の共通動作が決定される。例
えば、飛行管制システムにおいては、航空機が上昇する
必要があるか下降する必要があるかを決定する計算を行
う、それ自身のセンサをそれぞれ備えたいくつかの処理
装置がある。システム内に故障している装置があると、
いくつかの処理装置は航空機が上昇することを提案する
が、他の処理装置はそれが下降することを提案する。し
かしながらすべての非故障の処理装置が方向に関して同
一の結論に到達し、従って航空機の移動において合致し
て動作することが重要である。

【００１０】従来技術は、もし同報通信および出力合致
プロトコルを使用するコンピュータ・システムが十分に
多くの処理装置を有するならば、それらのうちの一定数
の装置がクラッシュ・モードによって故障しても、それ
を許容することができることを開示している。この従来
技術によれば、ｎ個の処理装置から成るシステムが最大
ｔ個のクラッシュ型の故障を許容するためには、ｎ＞ｔ
である必要がある。すなわち、システムには、クラッシ
ュ故障を起こした処理装置よりも少なくとも一つ多い処
理装置がなければならない。言い換えれば、もしシステ
ムにおけるすべての同一の処理装置が一つだけを除いて
故障したとしても、一つの動作している処理装置がなお
システムの機能を実行することができるので、システム
はこれらの故障を許容する。例えば、最大２個のクラッ
シュ型処理装置故障を許容するためには、３個の処理装
置を使用するコンピュータ・システムで十分である。こ
れは、同報通信および出力合致プロトコルはそのような
条件下で動作可能であり、少なくとも一つの非故障の処
理装置が常に必要な計算および出力動作を実行する動作
状態にあり、かつ使用可能であるためである。

【００１１】これらのシステムおよびそれらのプロトコ
ルは、クラッシュ故障と同時のビザンチン処理装置故障
を全く許容しない。

【００１２】他の従来技術は、ビザンチン・モードでだ
け故障したある数の故障した処理装置を許容することが
できる、十分な数の処理装置を有するコンピュータ・シ
ステムを開示している。これらのシステムは、許容され
るビザンチン処理装置故障の数の３倍だけ多い与えられ
た数ｎの処理装置を必要とする。すなわち、ｎ個の処理
装置から成るシステムが最大ｔ個のビザンチン型の故障
を許容するためには、ｎ＞３ｔである必要がある。例え
ば、最大２個のビザンチン型処理装置故障を許容するた
めには、７個の処理装置を使用するコンピュータ・シス
テムで十分である。これは、同報通信および出力合致プ
ロトコルはそのような条件下で動作可能であり、そし
て、もしすべての処理装置出力を合致に到達させること
によって出力動作が決定されるならば、すべての非故障
の処理装置によって同等の出力動作が実行され、この例
では少なくとも５であるその非故障の処理装置の数が、
この例では高々２であるビザンチン処理装置の数を越え
る。従って、大多数の処理装置は同等の動作を実行す
る。

【００１３】これらのシステムおよびそれらのプロトコ
ルは、最大ｔ個のビザンチン故障を許容することがで
き、それらのうちのいくつかまたは全部はビザンチン・
クラッシュ型の故障であり得るが、これらのシステムは
３ｔ個よりも多くの処理装置が動作することを必要とす
る。

【００１４】

【発明が解決しようとする課題】従来技術の限界は、フ
ォールト・トレランスのあるコンピュータ・システムの
設計者をジレンマに陥らせる。すなわち、頻度は少ない
がより深刻なビザンチン故障を許容するシステムは、頻
度は多いが軽微なクラッシュ故障を許容するシステムよ
りも多くの処理装置（そして費用）を必要とするという
ことである。システム設計者は、最小値ｔ＋１個の処理
装置を有するシステムを設計することによって、ｔ個の
クラッシュ故障（ビザンチン故障はない）だけを許容す
ることができるフォールト・トレランスのあるシステム
を構築することができる。このシステムは、最も一般的
な故障、すなわちクラッシュ故障を許容するが、ビザン
チン・モードで故障しているたった一つの処理装置がシ
ステム全体の誤動作を引き起こして破局的な結果をもた
らす。あるいは、設計者は、システムにおける最小値３
ｔ＋１個の処理装置により、ｔ個のビザンチン故障を許
容するフォールト・トレランスのあるシステムを構築す
ることができる。この場合、めったに発生しないような
故障を許容するシステムを得るために、過剰の処理装置
をもって構成することとなる。この種のシステムのコス
トはとてつもなく高く、特に、もしそれぞれの処理装置
が大型コンピュータ・システムの場合これは顕著であ
る。

【００１５】従って、クラッシュおよびビザンチン処理
装置故障を同時に許容することができるが（耐性がある
が）多数の処理装置は必要としない、フォールト・トレ
ランスのあるコンピュータ・システムの設計の必要性
は、産業界においてい長い間切望されてきた。本発明者
の知るかぎり、３ｔ＋１個よりも少ない処理装置を有す
るフォールト・トレランスのあるコンピュータ・システ
ムにおいてクラッシュおよびビザンチン故障の両方を許
容することができる従来技術は存在しない。後述するよ
うに本発明は最小ｔ＋２ｂ＋１個の処理装置でクラッシ
ュおよびビザンチン処理装置故障を同時に許容すること
ができるが、ビザンチン故障数ｂは全故障数ｔよりも小
さいのでｔ＋２ｂ＋１は３ｔ＋１よりも小さい。

【００１６】この発明の目的は、クラッシュおよびビザ
ンチン処理装置故障の両方を同時に許容することができ
る改良されたフォールト・トレランスのあるコンピュー
タ・システムを構築することにある。

【００１７】この発明の他の目的は、システムにおける
３ｔ＋１個（ｔはシステムが許容することができる全処
理装置故障の最大数）よりも少ない数の処理装置によ
り、同時に起きるクラッシュおよびビザンチン処理装置
故障の両方を許容することができるフォールト・トレラ
ンスのあるコンピュータ・システムを構築することにあ
る。

【００１８】この発明の他の目的は、与えられた数ｔ個
のクラッシュおよびビザンチン処理装置故障の両方を同
時に許容することができる最小の可能な数の処理装置に
より、フォールト・トレランスのあるコンピュータ・シ
ステムを構築することにある。

【００１９】この発明の他の目的は、クラッシュおよび
ビザンチン故障の両方を許容することができる出力合致
プロトコルを構築することにある。

【００２０】この発明の他の目的は、クラッシュおよび
ビザンチン故障の両方を許容することができる同報通信
プロトコルを構築することにある。

【００２１】

【課題を解決するための手段】この発明は、最大でｔ個
の処理装置の故障を許容することができ、それらのうち
のｂ個はビザンチン型である、コンピュータ処理装置か
ら成るシステムである。このシステムは、これらの処理
装置故障にかかわらず、ある機能を適切に実行し続ける
ために、最小の可能な数の処理装置を使用する。このタ
イプのフォールト・トレランスのあるシステムに対する
処理装置の最小数はｔ＋２ｂ＋１である。

【００２２】一般的に、このシステムはｎ個の処理装置
を有する。それぞれの処理装置は、システムにおけるす
べての他の処理装置と順次通信を行うことができるだけ
である。順次通信とは、一つの処理装置が一度に一つの
他の処理装置にメッセージを送ることができるだけであ
ることを意味する。

【００２３】故障は一続きのメッセージを送る途中に起
こりうるので、非故障の処理装置によって検出された値
が同報通信処理装置によって発生されたものであること
を保証するために、新規なフォールト・トレランスのあ
る同報通信プロトコルを使用する。このシステムはま
た、処理装置のシステムが共通の動作に関して一致する
ことを可能とするために、新規なフォールト・トレラン
スのある出力合致プロトコルを使用する。

【００２４】出力合致プロトコルは、システムにおける
それぞれの処理装置がシステムにおけるすべての他の処
理装置に信号（またはメッセージ）を送ることを指示す
る。この信号は、典型的には２進値であり、送信を行う
処理装置間で変化する。２進値がすべての可能な信号値
を表すのに不十分である場合には、出力合致プロトコル
は、信号値のそれぞれのビットの２進表示に対して実行
される。送信を行う処理装置は、システムにおけるそれ
ぞれの処理装置に順次的に、かつ、すべての受信する処
理装置が同一の信号を送られるまで、その信号を送る。
（それぞれの送信を行う処理装置それ自身は信号を送っ
たり送らなかったりする。）システムにおけるすべての
処理装置はこのタスクを同時に実行する。

【００２５】出力合致プロトコルの間、受信する処理装
置のそれぞれは、他の処理装置のそれぞれから信号を受
信するときに、受信された値の第１のベクトルを生成す
る。その第１の受信された値のベクトルが満たされた
後、それぞれの処理装置は、第１のベクトルにおける
値、ｎ（処理装置の数）の値、ｂ（システムが許容する
ビザンチン故障の最大数）の値およびｔ（システムが許
容する全故障の最大数）を使用する第１の試験を行う。
それぞれの処理装置に対するこの試験の結果は第１の結
果値である。それぞれの処理装置は次に、その第１の結
果値を他の処理装置のそれぞれに再び順次的に送る。処
理装置のそれぞれは次に、他の処理装置のそれぞれから
第１の結果値を受信するときに、受信された値の第２の
ベクトルを生成する。第２の受信された値のベクトルが
満たされた後、それぞれの処理装置は次に、第２の受信
された値のベクトルおよび値ｂを使用する第２の試験を
行って第２の結果値を生成する。これらの第２の結果値
は次に、キング交換と呼ばれる特殊な交換方法で処理装
置間で交換される。一つの受信された値から成る第３の
ベクトルが満たされた後、この値とｎ、ｂおよびｔの値
とを使用して第３の試験が行われる。これによって、第
３の結果値が得られる。この手順は適当な回数だけ繰り
返され、その後それぞれの処理装置は最終結果を得る。

【００２６】もしｔ個以下の全処理装置故障しかなく、
かつこれらの故障のうちのｂ個以下がビザンチン型であ
るならば、上述の出力合致プロトコルを実行すること
は、すべての非故障の処理装置が同一の最終結果を得る
ことを保証する。さらに、非故障の処理装置の数は２ｂ
を越えているので、非故障の処理装置の数は、その動作
を制御することができないビザンチン故障処理装置の最
大数ｂを越えるであろう。その結果、非故障の処理装置
は残りの機能している処理装置の過半数を構成し、従っ
てシステムにより行われる動作は、非故障の処理装置に
よって得られる最終結果によって決定されるであろう。

【００２７】妥当性条件と呼ばれる制約条件が出力合致
プロトコルに課され、処理装置の入力信号の値を出力合
致の最終結果として得られる値に関係づける。妥当性条
件は、出力合致プロトコルによって達成される最終結果
が、意味のあるものであり、正しく、非自明であること
を保証するのを助ける。妥当性条件は、出力合致プロト
コルの最終結果として得られる値が少なくとも、それぞ
れの処理装置における入力信号値に関係づけられること
を保証するのを助ける。妥当性条件は、すべての処理装
置が最終結果として同一の定数値を選んでしまう（例え
ば、常に航空機に下降を指示する）ような誤った自明な
システム出力合致を妨げるのを助ける。

【００２８】妥当性条件は同報通信プロトコルにも課さ
れ、同報通信処理装置によって発生されたものであると
して検出された値を同報通信処理装置によって発生され
る実際の値に関係づける。同報通信の妥当性条件は、検
出された値が非故障の同報通信処理装置によって発生さ
れた値に関係づけられることを保証するのを助ける。こ
れらの条件は、すべての処理装置が、どの値が同報通信
処理装置によって発生されたかということと無関係に同
一の定数値を検出するのを防止する。

【００２９】同報通信プロトコルは、同報通信機、同報
通信処理装置またはセンサが、２進値信号（またはメッ
セージ）を、システムにおけるそれぞれの他の処理装置
に順次的に、すなわち、すべての処理装置が同一の信号
を送られるまで、まず一つの受信する処理装置に、それ
から次の処理装置に送ることを指示する。２進値がすべ
ての可能な信号値を表すのに不十分である場合には、同
報通信プロトコルは、信号値の２進値表示のそれぞれの
ビットに対して実行することができる。それぞれの受信
する処理装置は、同報通信処理装置から受信される値
（または、何も受信されなければ、あるデフォルト値）
を出力合致プロトコルに対する入力値（上述）として使
用する。従って、同報通信プロトコルは、どのような信
号が同報通信処理装置によって実際に発生されたかを決
定するために、出力合致プロトコルを使用する。同報通
信プロトコルは、もしｔ個以下の全処理装置故障しかな
く、かつこれらの故障のうちのｂ個以下がビザンチン型
であるならば、すべての非故障の処理装置が同報通信処
理装置によって発生される信号に対する共通の値を決定
する。さらに、プロトコルに課される同報通信妥当性条
件は、もし同報通信処理装置が非故障であるならば、決
定された値が同報通信処理装置によって発生されたもの
であることを指示する。

【００３０】故障のうちのｂ個以上がビザンチン型とな
らないようにｔ個以下の全処理装置故障を許容するフォ
ールト・トレランスのあるコンピュータ・システムは、
同報通信のタイプと上述の出力合致プロトコルとを組み
合わせることによって構築することができる。

【００３１】

【実施例】この発明は、出力合致プロトコル、同報通信
プロトコルおよびこれらの二つのプロトコルを組み合わ
せて使用することによって構築されるフォールト・トレ
ランスのあるコンピュータ・システムを含む。

【００３２】図１は、通信回線（１１〜１５および２
０）によって接続された５個の処理装置（０〜４）から
成る一般的なコンピュータ・システム１０の一例を示
す。それぞれの処理装置３０は、チップ上のコンピュー
タから大型コンピュータ・システムまでの従来公知の任
意のタイプのコンピュータ処理装置であってよい。通信
回線は、一つの処理装置３０から他の処理装置にデータ
を伝送するための一般的に知られた任意の通信手段であ
ってよい。例えば、これらの通信回線は、それぞれの対
の処理装置３０間の一つの双方向の通信回線２０または
それぞれの対の処理装置３０間のそれぞれの方向におけ
る一つの一方向回線２０であってよい。これらのコンピ
ュータ・システム１０および通信回線２０は従来周知で
ある。また、同一の処理装置に対する情報の通信として
示されている通信回線１１〜１５は、記述を容易にする
ために示されている。処理装置３０がそれ自身に対して
情報を送る場合においては、それを通信回線上でそれ自
身に送ることなく処理装置内で単にデータを移動させる
ことのみによって、等価な結果を達成することができ
る。

【００３３】図１のシステムにおける処理装置（０〜
４）は、フォールト・トレランスのあるシステムを形成
するためにそれら自身を完全に同一とする必要はない。
しかしながら、全システム１０によって実行される動作
に関連する処理装置の機能は、処理装置３０のそれぞれ
において同一であり、この出力合致および同報通信プロ
トコルによって使用される。この発明の出力合致および
同報通信プロトコルは、システムの処理装置３０のうち
のいくつかの同時的なクラッシュおよびビザンチン故障
を全システムが許容するようにするために、このような
コンピュータ・システム１０上でともに動作する。それ
ぞれのプロトコルおよびそれらが動作するフォールト・
トレランスのあるコンピュータ・システムは、ｔ個の全
処理装置故障を許容することができ、それらのうちのｂ
個はビザンチン型の故障である。このシステムは、この
レベルのフォールト・トレランスを達成するために、ｔ
＋２ｂ＋１個の処理装置だけを必要とする。

【００３４】図２は、このフォールト・トレランスのあ
るコンピュータ・システムの一般的な場合を示す。前述
のように、通信回線２０は、それぞれの処理装置間の一
つの双方向のものまたは二重の一方向のものとすること
ができる。ｐ₀〜ｐ_n-1の番号が付けられたｎ個の処理装
置のそれぞれは、従来公知の任意の簡便な方法でそれ自
身と通信することができる。任意のラウンドＫ（ラウン
ドは以下で説明される）において、処理装置３０は、シ
ステムにおける他の処理装置３０に値Ｖを送る。典型的
なラウンドＫの間にｎ個の処理装置から成るシステムに
おいてある処理装置ｐ_pから送られる典型的な値Ｖは、
Ｖ_p（Ｋ）で示される。

【００３５】図３は、他の典型的な処理装置ｐ_qに値Ｖ_p
（Ｋ）を送っている典型的な処理装置ｐ_yを示す。それ
ぞれの処理装置３０は、その処理装置が他の処理装置か
ら受信する値が記憶される受信ベクトル５０、Ｒを有す
る。図３において、送信を行う処理装置ｐ_pは受信ベク
トル５０、Ｒ_pを有し、受信する処理装置ｐ_qは受信ベク
トル５０、Ｒ_qを有する。図３に示されるように、それ
ぞれの処理装置３０におけるそれぞれの受信ベクトル５
０は、システムにおける他の処理装置３０から受信され
る値Ｖを記憶するために、少なくともｎ個の記憶位置５
５を有し、たとえばその１つがｒ_pで示されている。ラ
ウンドＫにおけるステップの間に、送信を行う処理装置
３０、ｐ_pが受信する処理装置３０、ｐ_qにその値Ｖ
_p（Ｋ）を送るとき、受信する処理装置ｐ_qは受信された
値Ｖ_p（Ｋ）を、処理装置ｐ_pに対して指定されたその受
信ベクトルＲ_qにおける記憶位置ｒ_pに入れる。

【００３６】図２はシステムの処理装置間での値の交換
の１ラウンドまたは反復Ｋを示す。１ラウンドは、シス
テムにおけるそれぞれの処理装置３０が、典型的にはす
べての非故障の処理装置が送る値Ｖで、その受信ベクト
ル５０における記憶位置５５を更新する間の期間であ
る。この同報通信および出力合致プロトコルを実行して
いるとき、システムにおける処理装置は典型的には、そ
のラウンドが終了した後に計算を行う。典型的な処理装
置３０は一度に一つの他の処理装置に値Ｖを送ることが
できるだけであるから、１ラウンドは、システム１０に
おけるそれぞれの処理装置３０に値Ｖを送るために、典
型的な処理装置３０に対して、少なくともｎステップを
必要とする。例えば、典型的な処理装置ｐ_pは、値Ｖ
_p（Ｋ）がシステム１０におけるすべての処理装置に順
次送られるまで、典型的なラウンドＫのそれぞれのステ
ップの間に一つの他の処理装置にその値Ｖ_p（Ｋ）を送
る。すべての処理装置はこの同一のタスクを同時に実行
することができる。

【００３７】図２は交換ラウンドまたは交換と呼ばれる
一つのタイプのラウンドを示す。ラウンドの第１のステ
ップ、すなわちステップｉ＝０の間、システムにおける
すべての処理装置はその値Ｖを処理装置ｐ₀に送る。図
２の例においては、処理装置ｐ₀は、交換ラウンドまた
は反復Ｋにおけるステップｉ＝０に対する受信する処理
装置である。ステップｉ＝０の間、システムにおけるそ
れぞれの処理装置はその値Ｖを処理装置ｐ₀に送る。信
号Ｖ₀（Ｋ）〜Ｖ_n-1（Ｋ）によってそれぞれ表されるこ
れらの値は、ｐ₀〜ｐ_n-1で示されたシステム１０におけ
る処理装置３０のそれぞれの出力である。処理装置ｐ₀
がこのステップの間に値Ｖ₀（Ｋ）をそれ自身に送るこ
とにも注意されたい。システムにおける処理装置から
値、典型的にはＶ_p（Ｋ）を受信したときには、ステッ
プｉ＝０において受信する処理装置（この例では処理装
置ｐ₀）は、受信されたそれぞれの値をその適当な記憶
位置ｒ_pに入れる。これらの記憶位置５５は、図３にお
いて、受信ベクトル５０のｒ₀〜ｒ_n-1として示され、処
理装置ｐ₀に対してＲ₀と示されている。故障している処
理装置、例えば処理装置ｐ_qは、受信する処理装置に値
を送ることができないことがあることに注意されたい。
そのような場合においては、受信する処理装置は、受信
ベクトル内の適当な記憶位置ｒ_qを、何の値も受信され
ていないことを示す値（「空値」）で更新する。ステッ
プｉ＝０において送られるすべての値、すなわちラウン
ドのＶ₀（Ｋ）〜Ｖ_n-1（Ｋ）が、受信する処理装置、こ
こではｐ₀によって受信されたとき、受信ベクトル５
０、ここではＲ₀は完全に更新される。一般に、受信ベ
クトルＲは、ラウンドまたは反復Ｋの間に受信する処理
装置に値を送る必要のある、システムにおけるすべての
処理装置の現在の値（または空値）をその記憶位置５５
が含んだ後に、処理装置３０において更新される。図２
の例においては、この時点でステップｉ＝１が開始す
る。ステップｉ＝１においては、システムにおけるすべ
ての処理装置はその値を次の受信する処理装置、すなわ
ちｐ₁に送る。受信する処理装置ｐ₁は次に、システム１
０における処理装置３０から受信されたそれぞれの値を
その適当な記憶位置に記憶する。典型的な記憶位置は、
ｐ₁の受信ベクトル５０（Ｒ₁）においてｒ_pで示され
る。Ｒ₁における記憶位置は次に、受信ベクトルＲｐ₁が
ラウンドに対して更新されるまで満たされる。この手順
は、ラウンド（反復）のそれぞれのステップにおいて、
受信する処理装置３０、典型的にはｐ_pがその受信ベク
トル５０、典型的にはＲ_pを、ラウンドＫの間にシステ
ム１０における処理装置３０によってそれに送られるす
べての値で更新するように継続する。ラウンドの最後の
ステップ、すなわちｉ＝ｎ−１が終了したとき、最後の
処理装置ｐ_n-1はその受信ベクトルＲ_n-1を更新する。こ
の時点で、システム１０におけるすべての処理装置３０
はそれらの受信ベクトル５０を更新する。すべての受信
する処理装置が受信ベクトルをそれらに送られるすべて
の値で更新した後、処理装置間の情報の交換が終了し、
交換ラウンドと呼ばれるラウンドまたは反復が終了す
る。

【００３８】図２は、システムの処理装置間の情報の交
換の一例を示すに過ぎないことに注意されたい。この例
においては、システムにおけるそれぞれの処理装置は、
その値Ｖ_p（Ｋ）をシステムにおける処理装置に番号順
に送る。すなわち、処理装置３０、典型的にはｐ_pは、
その値Ｖ_p（Ｋ）を、最後の処理装置ｐ_n-1に値Ｖ
_p（Ｋ）が送られるまで、システム１０において、まず
処理装置ｐ₀に、次に処理装置ｐ₁に、その後それぞれの
処理装置、典型的にはｐ_pに送る。図２に示されている
ように、この方式では、システムにおけるそれぞれの受
信する処理装置は、ラウンドにおける一つのステップに
おいてシステムにおけるすべての処理装置から値を受信
することになる。しかしながら、それぞれの処理装置３
０の受信ベクトル５０を更新する目的を達成するための
この方式には多くの変形がある。これらの方式のすべて
はこの発明の意図する範囲内にある。例えば、典型的な
処理装置ｐ_pはその値、典型的にはＶ_p（Ｋ）を、システ
ムにおける他の処理装置３０に、任意のタイプの順序
で、例えばランダムな順序でさえも送ることができる。
他の処理装置は、それらの値を同一または異なる順序で
送ることができる。処理装置は、それらの順次伝送の途
中で休止しまたは他のタスクを実行することさえでき
る。情報の交換をうまく行うための主な基準は、それぞ
れの処理装置３０が受信し、ラウンドが終了する前に、
その受信ベクトル５０を、ラウンドの送信を行う処理装
置が送る必要のある値、典型的にはＶ_p（Ｋ）で、また
は送ることができない故障している処理装置に対しては
「空」で更新する。

【００３９】図４は、この同報通信および出力合致プロ
トコルによって使用される交換ラウンドの特殊な場合を
示す。このタイプのラウンドは、キングのラウンドまた
はキング交換と呼ばれる。キングのラウンドは、基本的
には、その値Ｖ_K（Ｋ）をシステムにおけるすべての処
理装置に送る、「キング」と呼ばれるただ一つの処理装
置ｐ_Kがあることを除いて、交換ラウンドと同一であ
る。もし処理装置がキング交換の間にキングから値を受
信しなければ、キングは故障しており、処理装置はあた
かもそれがキングから固定されたデフォルト値、例えば
０を受け取ったかのように動作する。システム１０にお
ける処理装置３０は、それらの受信ベクトル５０をキン
グ値で更新しない。しかしながら、キング処理装置ｐ_K
が送るキング値Ｖ_K（Ｋ）は、キング値位置５６と呼ば
れる別々の処理装置記憶位置ｋ_Kに入れられる。一旦シ
ステム１０におけるすべての処理装置３０がそれらのキ
ング値位置５６をキング処理装置ｐ_Kが送る値Ｖ_K（Ｋ）
で更新すると、ラウンドＫは終了する。再び、キング処
理装置は、ラウンドが終了する前にすべての処理装置３
０がそれらのキング値位置５６をキング値Ｖ_K（Ｋ）で
更新する限り、任意の順序でシステムにおける処理装置
に情報を送ることができる。この出力合致プロトコルに
おいては、システム１０における少なくともｔ＋１個の
処理装置がラウンドのキングである機会を有する。

【００４０】図３において処理装置ｐ_pおよびｐ_qに対し
て詳細に示されているように、記憶位置５５のベクトル
５０は、任意の適当な記憶位置に記憶することができ
る。しかしながら、最低でも、処理装置３０が交換ラウ
ンドで受信するすべての値Ｖを記憶するために、それぞ
れの処理装置の受信ベクトル５０に関連する十分な記憶
位置５５がなければならない。処理装置はまた、それぞ
れの反復に対して記憶位置５５を有する別々のベクトル
５０を有する。あるいは、位置５５は、ラウンドに続く
計算後に重ね書きされ、再び使用される。さらに、受信
された値が特定の送信を行う処理装置３０から来たもの
と識別される限り、受信された値Ｖは記憶位置５５に任
意の順序で記憶することができる。

【００４１】この同報通信および出力合致プロトコル
は、システム１０がフォールト・トレランスのあるもの
であることを保証するために、上述と同様に、システム
１０上で動作する。それぞれのプロトコルは、合計ｔ個
の処理装置故障を許容し、それらのうちのｂ個はビザン
チン故障である。これらのプロトコルはシステム上で次
のように動作する。まず、同報通信機、処理装置または
センサは、データ、観察および／または要求された動作
をシステムにおけるそれぞれの処理装置に送る。この伝
送は、同報通信処理装置またはセンサがどのような値を
発生したかを決定するために、同報通信プロトコルを使
用して値の形で送られる。この決定された値は次に、す
べての処理装置によって採用され、すべての処理装置に
存在する。（この同報通信プロトコルの決定は次に、シ
ステムにおけるそれぞれの同報通信機（処理装置または
センサ）に対して繰り返される。）一旦システムにおけ
るすべての同報通信機によって同報通信か行われたすべ
ての値が同報通信プロトコルによって決定されると、シ
ステムにおけるそれぞれの同報通信を表す一組の決定さ
れた同報通信値がそれぞれの処理装置上に存在する。そ
れぞれの処理装置は次に、共通の組の決定値を使用した
ある計算を行う。それぞれの処理装置は同一の計算を行
い、ある結果に到達する。（例えば、一つの処理装置同
報通信機から決定される航空機のエンジン出力の表示お
よび他の処理装置同報通信機から決定される航空機のピ
ッチは、システム１０のすべての処理装置３０上にある
一組の決定された同報通信値を生じる。システムのすべ
ての処理装置は次に、結果、すなわちどの位の速さで航
空機を上昇させるかを計算するために、これらの決定値
を使用する。）出力合致プロトコルは次に、システムが
何をなすべきか（どの位の速さで航空機を上昇させる
か）について一致を決定するために、システムにおける
すべての処理装置の結果に対して実行される。出力合致
プロトコルの結果は、システムがどのような動作を行う
かを決定する。

【００４２】ｔ個の全処理装置故障を許容し、それらの
うちのｂ個はビザンチン型である出力合致プロトコル
は、このフォールト・トレランスのあるシステムを構築
する際の最初のステップである。この発明の出力合致プ
ロトコルは、システムのすべての処理装置間で情報を交
換するステップと、それぞれの処理装置において受信さ
れる値のベクトルを生成するステップと、そのベクトル
における受信された値および他のパラメータを使用した
試験を行って結果を得るステップと、最終結果が得られ
るまでこれらのステップを繰り返すステップとを有す
る。以下に述べる妥当性条件は結果を制約する。

【００４３】図５は、この出力合致プロトコルの一つの
好ましい実施例のフロー・チャートである。それは、反
復番号０〜ｔと呼ばれる（ｔ＋１）個の反復から成る。
値ｔは、システムが許容するように設計された任意のタ
イプの故障の全数を表す。任意の１つの反復を反復Ｋと
呼ぶことにする。この実施例においては、処理装置シス
テムは、上述の図２に示される方法で情報を交換する
（ブロック１１０）ことによって、（反復Ｋ＝０）を開
始する（ブロック１０５）。最初の交換後、それぞれの
処理装置３０は、その更新された受信ベクトル５０にお
ける値を使用した第１の試験を適用する（ブロック１１
５）。（図６および出力合致試験の詳細についての以下
の説明を参照。）この第１の試験を使用して、それぞれ
の処理装置３０は、それぞれの処理装置ｐ_pに対してＷ_p
（Ｋ）と呼ばれる新たな第１の結果を発生する（ブロッ
ク１２０）。それぞれの処理装置は次に、その出力値Ｖ
_p（Ｋ）を第１の試験の結果Ｗ_p（Ｋ）と置換する（ブロ
ック１２０）。システム１０のすべての処理装置は次
に、出力値Ｗ_p（Ｋ）を再び交換する（ブロック１２
５）。それぞれの処理装置３０は次に、その受信ベクト
ル５０における新たに更新された値を使用した第２の試
験を適用する（ブロック１３０）。この第２の試験を使
用して、それぞれの処理装置３０は、それぞれの処理装
置に対してＸ_p（Ｋ）と呼ばれる新たな第２の結果を発
生する（ブロック１３５）。この第２の結果は次に、そ
れぞれの処理装置の出力としての第１の結果を置換する
（ブロック１３５）。システム１０のすべての処理装置
は次に、上述の記述および図４に従ってキング交換を実
行する（ブロック１３５）。このキング交換は受信ベク
トル５０における値を更新しないが、キング値を別々の
位置５６に記憶する。キング交換の後（ブロック１４
０）、それぞれの処理装置は、現在の受信ベクトル５０
およびキング値を使用した第３の試験を適用する（ブロ
ック１４５）。この第３の試験（ブロック１４５）を使
用して、それぞれの処理装置３０は第３の結果を置換す
る（ブロック１５０）。それぞれの処理装置に対する第
３の結果は次に、それぞれの処理装置の出力としての第
２の結果を置換する（ブロック１５０）。これらの出力
値（第３の試験の結果（ブロック１５０））は、出力合
致プロトコルの次の反復を開始させるために使用され、
従って再びＶ_pと呼ばれる処理装置出力となる。新たな
反復は、もしシステムがｔ＋１回の反復を実行したこと
がブロック１６０で決定されなかったならば、新たな反
復が開始される（ブロック１５５および１６５）。シス
テム１０が（ｔ＋１）回の反復を終了したとき、値Ｖ_p
（ｔ）はシステムに対する出力合致プロトコルの最終結
果となる。出力合致プロトコルを実行させることは、す
べての非故障の処理装置に対するＶ_p（ｔ）が同一であ
り、ある妥当性条件が満たされていることを保証する
（ブロック１７０）。これは合致状態と呼ばれる。

【００４４】図６は、上述の出力合致プロトコルにおい
てシステムによって実行される三つの試験を示す。三つ
の変数がこれらの試験に対して定義される。それぞれの
処理装置３０において、変数「Ones」は、それぞれの試
験が行われる前に値１を含む受信ベクトル５０における
記憶位置５５の数に等しい。それぞれの処理装置３０に
対してと同様な方法により、変数「Twos」は、値２を含
む受信ベクトル５０における記憶位置５５の数に等し
く、変数「Zeroes」は値０を含む受信ベクトル５０にお
ける記憶位置５５の数に等しい。

【００４５】第１の試験（ブロック２０５）を行ってい
るとき、それぞれの処理装置３０は、値０および１を含
むその記憶位置５５の数を計算し、上述の定義を使用し
て、その変数ZeroesおよびOnesの値を決定する（ブロッ
ク２１０）。この時点で、Zeroesの値がシステムが許容
することができる非故障の処理装置の数以上であるか否
か、および、Onesの値がシステムが許容するように設計
されたビザンチン型故障の数ｂ以下であるか否かを決定
するために、第１の論理比較が行われる（ブロック２１
５）。もし比較（ブロック２１５）が真であれば、第１
の結果値Ｗ_p（Ｋ）に値０が割り当てられる（ブロック
２２０）。もし第１の論理比較（ブロック２１５）が偽
であれば、Onesの値が（ｎ−ｔ）以上であるか否か、お
よび、Zeroesの値がｂ以下であるか否かを決定するため
に、第２の論理比較（ブロック２２５）が行われる（ブ
ロック２２５）。もし第２の論理比較が真であれば、第
１の結果値Ｗ_p（Ｋ）に値１が割り当てられる（ブロッ
ク２３０）。もし第２の論理比較が偽であれば、第１の
結果値Ｗ_p（Ｋ）に値２が割り当てられる（ブロック２
３５）。

【００４６】第１の試験を行う前に、ｎ−ｔ個の非故障
の処理装置は、０または１である値Ｖを有する。二つの
２値（ここでは０および１）しか許されないので、これ
らの非故障の処理装置のうちの少なくとも（ｎ−ｔ）／
２個は多数値と呼ばれる同一の値を有する。この一組の
処理装置は多数非故障処理装置と呼ばれる。システムに
おける処理装置の数ｎはｔ＋２ｂよりも大きい（すなわ
ち、ｎ＞ｔ＋２ｂ）ので、非故障の多数処理装置の数
（ｎ−ｔ）／２はｂを越える。すなわち、（ｎ−ｔ）／
２＞ｂである。もし多数値が０であれば、非故障の過半
数のそれぞれの処理装置はすべての他の処理装置に０を
送るので、すべての非故障の処理装置においてZeroesは
ｂよりも大きくなるであろう。同様に、もし多数値が１
であれば、すべての処理装置におけるOnesの値はｂより
も大きくなるであろう。従って、もし多数値が０（また
は１）であれば、試験の条件１（ブロック２２５または
２３５が真）は、Ｗ_p（Ｋ）＝１（または０）を割り当
てることができないように設定される。その結果、第１
の結果値は、多数非故障処理装置の値（０または１）、
または、不確定を示す値２が再び割り当てられる（ブロ
ック２３５）。

【００４７】第２の試験（ブロック２４５）は、それぞ
れの処理装置３０の受信ベクトル５０における記憶位置
５５における値０、１および２の発生数を計数すること
によって開始する。このようにして、変数Zeroes、Ones
およびTwosの値が決定される（ブロック２５０）。次
に、Zeroesの値がｂよりも大きいか否かを決定するため
に比較（ブロック２５５）が行われる。もしZeroesがｂ
よりも大きければ、第２の結果値Ｘ_p（Ｋ）は値０を割
り当てられる（ブロック２６０）。もしZeroesがｂより
も大きくなければ、変数Onesの値はｂと比較される（ブ
ロック２６５）。もしOnesがｂよりも大きければ、第２
の結果値Ｘ_p（Ｋ）に値１が割り当てられ（ブロック２
７０）、もしそうでなければ、第２の結果値Ｘ_p（Ｋ）
は第１の結果値Ｗ_p（Ｋ）と等しくされる（ブロック２
７５）。

【００４８】第２の試験は、非故障の処理装置が、第１
の試験の結果として多数値を割り当てていることを表明
している処理装置の数を決定することを可能とする。も
し決定点（ブロック２５５または２６５）が真であれ
ば、ビザンチン・モードで故障している可能性のある処
理装置はｂ個より多くないので、少なくとも一つの非故
障または少なくとも一つの非ビザンチン故障の処理装置
は受信する処理装置に０または１をそれぞれ送り、この
値が多数派であることを表明する。非故障またはビザン
チン・モードで故障していない処理装置は、第１の試験
のステップに正確に従うので、これが実際に多数値であ
ることを保証することができる。これらの場合において
は、この値の送信を行う処理装置のうちの少なくとも一
つは非ビザンチンでなければならないので、第２の結果
値Ｘ_p（Ｋ）は０または１に等しく設定される（それぞ
れブロック２６０または２７０）。もし両決定点（２５
５および２６５）が偽であれば、第２の試験からは何の
結論も引き出すことができないので、第２の結果値は第
１の結果値に等しく設定される。従って、第２の結果値
は、多数非故障処理装置の値（０または１）、または、
不確定を表す値２が再び割り当てられる。

【００４９】第３の試験（ブロック２８０）は再び、そ
れぞれの処理装置３０の受信ベクトル５０における記憶
位置５５における値０、１および２の数を計算すること
によって開始する。前述のように、変数Zeroes、Onesお
よびTwosの値がそれぞれの処理装置３０に対して決定さ
れる（ブロック２８５）。この第３の試験の性格は、処
理装置の第２の結果値によって決定される（ブロック２
９０）。もし第２の結果値が０であり、論理条件（ブロ
ック３１０）が真であれば、次の反復の開始時に処理装
置によって送られる結果値Ｖ_p（Ｋ＋１）は０である
（ブロック３１５を参照）。ブロック３１０の論理条件
は、変数Zeroesの値が非故障の処理装置の数（ｎ−ｔ）
以上であり、かつ、変数Twosの値が許容されるビザンチ
ン・モード故障の数ｂよりも小さいことである。もし第
２の結果値が１であり（ブロック２９０）、論理条件
（ブロック３２０）が真であれば、次の反復の開始時に
処理装置によって送られる結果値Ｖ_p（Ｋ＋１）は１で
ある（ブロック３２５を参照）。ブロック３２０の論理
条件は、変数Onesの値が、非故障の処理装置の数（ｎ−
ｔ）以上であること、および、変数Twosの値がｂ以下で
あることを指示する。もし第２の結果値が２であるか
（ブロック２９０）、あるいは、もし論理条件３１０ま
たは３２０が偽であれば、結果値Ｖ_p（Ｋ＋１）は最小
値１または先の交換においてキングによって送られる値
に等しく設定される（ブロック３３０）。

【００５０】もし論理条件３１０または論理条件３２０
が真であれば、一致が達成されたという強い指示があ
る。もし強い指示がなければ、キングは第３の結果値が
０であるか１であるかを決定する。第３の試験は第３の
結果値を０または１にする。２は第３の試験の結果値に
対して可能な選択ではないことに注意されたい。従っ
て、次の反復の開始時には、システムの処理装置３０は
０または１を送るだけである。

【００５１】第３の試験の意味は、もしキングが非故障
の処理装置であれば、試験の終了時に出力合致が得られ
るということである。これは、すべての処理装置の結果
値が、論理試験における非常に強い一致（ブロック３１
０または３２０が真）または非故障の処理装置の出力に
よって決定されるからである。その結果、出力合致プロ
トコルは、非故障のキングを有する反復が実行されるま
で、上述の反復を実行することによって、処理装置の出
力の合致を保証することができる。システムにおいては
高々ｔ個の故障した処理装置があるので、もし反復がｔ
＋１回実行されるならば、少なくとも一つの非故障のキ
ングがある反復に存在する。ｔ＋１回の反復（例えば、
Ｋは０から増加し始める）の終了時には、それぞれの処
理装置は最終結果値Ｖ_p（Ｋ＝ｔ）を有し、システムは
出力合致状態にある。言い換えれば、出力合致プロトコ
ルを実行することは、すべての非故障の処理装置の最終
結果値が等しいことを保証する。

【００５２】この出力合致プロトコルの他の変形が可能
であり、本発明者の企図の範囲内である。例えば、３ｔ
＋３回反復する同様なプロトコルを考案することができ
る。この出力合致プロトコルにおいては、第１の試験
は、第１の反復における交換後に実行され、第２の試験
は第２の反復における交換後に実行され、第３の試験は
第３の反復後に実行される。この一組の三つの反復をｔ
＋１回繰り返すことによって、図６の三つの個々の試験
が一つのより大きな試験の三つの部分になることを除い
て、上述と同一のプロトコルが得られる。どの試験部分
を実行するかということと、それぞれの試験部分におけ
るどの値を使用するかということとは、反復を計算し、
かつそれぞれの試験部分において使用される値の情報を
絶えず得ることによって決定される。計算し、かつ値の
情報を絶えず得るための技術は従来周知である。

【００５３】いくつかのプロトコルは通常、システムに
おける処理装置の最終値をある方法で制約する。制約の
レベルは、妥当性条件によって分類される。例えば、最
終値は、ある非故障の処理装置の入力値と同等に制約さ
れる。例えば、入力信号値が航空機を上昇または下降さ
せたいという処理装置の願望に対応し、最終結果が航空
機を実際に動かす航空機の飛行管制システムにおいて
は、最終結果（移動される方向）が少なくとも一つの非
故障の処理装置の願望と一致することが望ましいことは
明らかである。もしそのような制約がない結果であれ
ば、故障した処理装置は常に、最終結果に航空機が下降
することを示させる。

【００５４】妥当性条件を変更することにより、出力合
致に対するより強い要件を示すことができる。例えば、
より強い条件は、すべての非故障の処理装置が同等の入
力値を有する場合において非故障の処理装置の入力値に
最終結果が一致することを必要とする。

【００５５】この発明の目的のために、出力合致プロト
コルの妥当性条件は三つのクラス、すなわち強い、弱い
およびもろい、になる。これらの妥当性条件の定義は以
下の通りである。１．「強い」妥当性条件は、もし少なくとも（ｎ−ｔ）
個の非故障の処理装置が同一の値のＶ_p（０）で出力合
致プロトコルを開始するならば、それぞれの非故障の処
理装置において出力合致プロトコルの最終結果がその値
に等しいことを述べる。２．「弱い」妥当性条件は、もしｎ個の非故障の処理装
置（すなわち、すべての処理装置が非故障）が同一の値
のＶ_p（０）で出力合致プロトコルを開始するならば、
それぞれの非故障の処理装置において出力合致プロトコ
ルの最終結果がその値に等しいことを述べる。３．「もろい」妥当性条件は、もしｎ−ｂ個の非ビザン
チン処理装置（すなわち、非故障の処理装置およびクラ
ッシュによってのみ故障する処理装置）が同一の値のＶ
_p（０）で出力合致プロトコルを開始するならば、それ
ぞれの非故障の処理装置において出力合致プロトコルの
最終結果がその値に等しいことを述べる。

【００５６】強い妥当性条件を満たす出力合致プロトコ
ルは、もろい妥当性条件および弱い妥当性条件をも満た
すことに注意されたい。同様に、もろい妥当性条件を満
たす出力合致プロトコルは、弱い妥当性条件も満たす。

【００５７】合計ｔ個の処理装置故障を許容することが
でき、それらのうちのｂ個はビザンチン型である同報通
信プロトコルは、このフォールト・トレランスのあるシ
ステムの他の要件である。この発明の同報通信プロトコ
ルは、どのような値が特定の同報通信機によって送られ
たと決定されたかについてすべてのシステム処理装置間
で一致を達成するために、上述の出力合致プロトコルを
使用する。この出力合致の結果は、決定値と呼ばれる。
この決定値は、同報通信機によって発生された値を表す
ためにシステムにおけるすべての処理装置によって使用
される。

【００５８】同報通信プロトコルは図７に示されてお
り、以下のように動作する。１．図８は同報通信プロトコルにおける最初のステップ
を示す。ここでは任意に処理装置ｐ₀で示された同報通
信機は、その値をシステムにおけるすべての処理装置に
順次送る（図７におけるブロック５００）。この情報の
交換は、キングが同報通信機であるキング交換と同様で
ある。２．ｎ個の処理装置は次に、最大でｔ個の故障を許容
し、それらのうちの最大ｂ個がビザンチンである出力合
致プロトコルを使用してＶに対して出力合致を達成する
（ブロック５１０）。３．ステップ２において決定される出力合致プロトコル
の最終結果は、ブロック５２０ですべての処理装置によ
って決定値として採用され、同報通信処理装置によって
発生された値であると考えられる。この決定値は出力合
致プロトコルによって計算されたので、すべての非故障
の処理装置は同等の決定値を有する。これは、たとえ同
報通信処理装置が、ステップ１において異なる処理装置
に異なる値を送るような故障を起こしていたとしても、
真実である。

【００５９】この発明の同報通信プロトコルが実行され
た後、すべての非故障の処理装置は、同報通信処理装置
によって発生されたものであると考えられる共通（決定
された）の値に関して一致する。共通値は、たとえ同報
通信機が故障していても決定される。

【００６０】同報通信プロトコルは妥当性条件も有す
る。この発明の目的のために、二つの妥当性条件、すな
わち弱いおよび強いがある。同報通信の弱い妥当性条件
を満たす同報通信プロトコルは、図７の同報通信プロト
コルのステップ２における弱い妥当性条件を少なくとも
満たす出力合致プロトコルを使用することによって得ら
れる。同報通信の弱い妥当性条件を満たす同報通信プロ
トコルは、決定値を、処理装置の故障が起きていない場
合においてのみ同報通信機によって選択されるものに制
約する。同報通信の強い妥当性条件を満たす同報通信プ
ロトコルは、図７の同報通信プロトコルのステップ２に
おけるもろい妥当性条件を満たす出力合致プロトコルを
使用することによって得られる。同報通信の強い妥当性
条件を満たす同報通信プロトコルは、決定値を、任意の
他の処理装置の故障にかかわらず、処理装置が非故障で
ある場合においてのみ同報通信機によって選択されるも
のに制約する。

【００６１】同報通信の強い妥当性条件を満たす同報通
信プロトコルは、同報通信の弱い妥当性条件も満たすこ
とに注意されたい。

【００６２】強い妥当性条件を満たす出力合致プロトコ
ルは、同報通信の強い妥当性条件を満たす同報通信プロ
トコルから以下のように得ることができる。１．それぞれの処理装置は別々の同報通信プロトコルに
おける同報通信機として動作し、それぞれが同報通信の
強い妥当性条件を満たす合計ｎ個の同報通信プロトコル
が得られる。２．ｎ個の同報通信の終了時に、それぞれの処理装置は
ｎ個の決定値の受信ベクトル５０を有する。３．出力合致プロトコルの最終結果は、決定値のベクト
ルにおける多数値である。

【００６３】図９は、ｔ個の処理装置故障を許容するこ
とができ、それらのうちのｂ個以下がビザンチン型のも
のであるコンピュータ・システム上で同報通信および出
力合致プロトコルがどのようにともに動作するかを示
す。まず、同報通信機はこの発明の同報通信プロトコル
を実行する（ブロック６１０）。同報通信プロトコルに
よって決定された値はシステムにおける処理装置によっ
て採用される（ブロック６２０）。この処理は、値を分
散させる必要のあるそれぞれの処理装置に対してＮＢ回
（ＮＢは同報通信機の数）繰り返される（ブロック６３
０および６３５）。すべての処理装置が共通の決定され
た同報通信値（それぞれの同報通信機から一つの値）の
ベクトルを有するとき（ブロック６４０）、それぞれの
処理装置は共通の決定された同報通信値の同一のベクト
ルを使用して計算を行う（ブロック６５０）。この結果
はそれぞれの処理装置に対する計算値である（ブロック
６５０）。次に、計算の結果について出力合致を達成す
るために、この発明の出力合致プロトコルが実行される
（ブロック６７０）。出力合致状態が到達されたとき、
システムは、処理装置が一致して行う計算によって決定
される動作（ブロック６８０）を行う。

【００６４】図１０は、出力合致状態にあるこの発明の
コンピュータ・システム１０を示す。５個の処理装置を
有するこのシステムは、２個である合計ｔ個の故障を許
容することができ、それらのうちｂ個はビザンチンであ
る（ｂ＝１）。図示されたシステムは、クラッシュ型
（処理装置２において「Ｘ」で示されている）とビザン
チン型（処理装置４において「Ｂ」で示されている）と
の二つの故障を有する。このシステムは、３個、すなわ
ちｔ＋１回の反復を行ったものである。出力合致状態に
おいては、すべての非故障の処理装置（処理装置０、１
および３）は同一の値、すなわち１に等しい値を有す
る。クラッシュを起こした処理装置（処理装置２）はゼ
ロ出力を有し、ビザンチン処理装置（処理装置４）は任
意の出力、すなわち２を有する。出力合致を達成したの
で、システムは、非故障の処理装置が一致し、それらが
ビザンチン・モードで故障を起こした処理装置の数を上
回ることが保証される。クラッシュ・モードで故障を起
こした処理装置は、それらはもはや機能していないの
で、関係がない。

【図面の簡単な説明】

【図１】複数の処理装置を有する典型的なコンピュータ
・システムを示す略線図である。

【図２】コンピュータ処理装置システムにおける処理装
置間の情報の交換を示す略線図である。

【図３】ｎ個の記憶位置の受信ベクトルを有するこのフ
ォールト・トレランスのあるコンピュータ・システムに
おける二つの典型的な処理装置を示す略線図である。

【図４】このフォールト・トレランスのあるコンピュー
タ・システムにおける処理装置間の情報のキング交換を
示す略線図である。

【図５】この出力合致プロトコルの好ましい一実施例の
フロー・チャートである。

【図６】好ましい出力合致プロトコルにおいて使用され
る三つの試験のフロー・チャートである。

【図７】この発明の好ましい同報通信プロトコルのフロ
ー・チャートである。

【図８】この同報通信プロトコルの一実施例における同
報通信の第１のステップを示す略線図である。

【図９】フォールト・トレランスのあるコンピュータ・
システム上で動作するこの同報通信および出力合致プロ
トコルのフロー・チャートである。

【図１０】出力合致状態にあるフォールト・トレランス
のあるコンピュータ・システムを示す略線図である。

【符号の説明】

１０コンピュータ・システム１１〜１５、２０通信回線３０処理装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者ケニス・ジェイ・ペリーアメリカ合衆国、ニューヨーク州リバーデイル、インディペンデンスアベニュ 3901、アパートメントスリージェイ

Claims

(57)【特許請求の範囲】

【請求項１】ｎ個の処理装置から成り、故障処理装置の
許容最大数がｔであり、上記処理装置の内許容できるビ
ザンチン故障の最大数がｂであり、ｎがｔ＋２ｂより大
であるフォールト・トレランスのあるコンピュータ・シ
ステムの出力の合致を達成するための方法であって、ａ．上記システムにおける処理装置間で各処理装置出力
信号値を他の処理装置に順次送るステップと、ｂ．それぞれの上記処理装置において上記ステップａ．
の間に他の処理装置から受信される上記出力信号値をベ
クトル要素とする第１のベクトルを生成するステップ
と、ｃ．上記第１のベクトル、全許容故障の最大数ｔ、上記
処理装置の数ｎおよび許容ビザンチン故障の最大数ｂを
使用した第１の試験において上記第１のベクトルの要素
の第１の値の個数をｎ−ｔと比較し、上記第１のベクト
ルの要素の第２の値の個数をｂと比較することによって
決定される第１の結果値でそれぞれの上記処理装置にお
ける上記出力信号値を置換するステップと、ｄ．それぞれの上記処理装置の上記第１の結果値を上記
システムにおけるすべての上記処理装置に順次送るステ
ップと、ｅ．上記ステップｄ．の間にそれぞれの上記処理装置に
おいて受信される上記第１の結果値を表す値をベクトル
要素とする第２のベクトルを生成するステップと、ｆ．それぞれの上記処理装置における上記出力信号値
を、上記第２のベクトルおよび上記許容ビザンチン故障
の最大数ｂを使用した第２の試験によって決定される第
２の結果値で置換するステップと、ｇ．上記ｎ個の処理装置の内選ばれた１つの処理装置で
あるキング処理装置の上記第２の結果値を他の処理装置
に送るステップと、ｈ．上記キング処理装置によって送られる上記第２の結
果値を表す１つのベクトル要素からなる第３のベクトル
を生成するステップと、ｉ．それぞれの上記処理装置における出力信号値を、上
記ｎ個の処理装置の第２の結果値、上記全許容故障の最
大数ｔ、上記処理装置の数ｎ、上記許容ビザンチン故障
の最大数ｂおよび上記第３のベクトルを使用した第３の
試験によって決定される第３の結果値で置換するステッ
プと、ｊ．上記ステップａ．から上記ステップｉ．を、上記ス
テップｇ．で選ばれるキング処理装置を変えた上でプロ
トコルが許容するように設計された全故障数ｔよりも１
多い回数だけ繰り返して出力合致を得るステップと、を有する方法。
【請求項２】上記第１の試験は、（ｃ１）もし上記第１のベクトルがｎ−ｔ個以上の第１
の値を有し、かつ、ｂ個以下の第２の値を有するなら
ば、上記第１の結果値に一つの上記第１の値を割り当て
るステップと、（ｃ２）もし上記第１のベクトルがｎ−ｔ個以上の上記
第２の値を有し、かつ、ｂ個以下の上記第１の値を有す
るならば、上記第１の結果値に一つの上記第２の値を割
り当てるステップと、（ｃ３）もし上記第１のベクトルが上記（ｃ１）および
上記（ｃ２）の条件を満たさなければ、上記第１の結果
値に第３の値を割り当てるステップとをさらに有し、上記第２の試験は、（ｆ１）もし上記第２のベクトルにおける上記第１の値
の数がｂよりも多ければ、上記第２の結果値に上記第１
の値を割り当てるステップと、（ｆ２）もし上記第２のベクトルにおける上記第２の値
の数がｂよりも多ければ、上記第２の結果値に上記第２
の値を割り当てるステップと、（ｆ３）もし上記（ｆ１）および上記（ｆ２）の条件が
満たされなければ、上記第２の結果値は上記第３の値で
あるステップとをさらに有し、上記第３の試験は、（ｉ１）もし上記第２の結果値が上記第１の値に等し
く、上記第２のベクトルにおける上記第１の値の個数が
ｎ−ｔ個以上であり、上記第２のベクトルにおける上記
第３の値の個数がｂ個以下であれば、上記第３の結果値
に上記第１の値を割り当てるステップと、（ｉ２）もし上記第２の結果値が上記第２の値に等し
く、上記第２のベクトルにおける上記第２の値の個数が
ｎ−ｔ個以上であり、上記第２のベクトルにおける上記
第３の値の個数がｂ個以下であれば、上記第３の結果値
に上記第２の値を割り当てるステップと、（ｉ３）もし上記（ｉ１）および上記（ｉ２）の条件が
満たされなければ、上記第３の結果値に上記交換の上記
キング処理装置によって決定される一つの値を割り当て
るステップとをさらに有することを特徴とする請求項１
記載の方法。
【請求項３】上記第１の値が０であり、上記第２の値が
１であり、上記第３の値が２であることを特徴とする請
求項２記載の方法。