JPS6066538A - クロツク同期方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、ネットワーク・プロセッサ・ノードが非同期
で情報を交換する分散８１算ネットワークにおけるクロ
ックの同期に係る。

Ｃ従来技術］ 分散システムにおいて、各ノードはそれ自身の内部クロ
ックを基準にするものと仮定する。分散システム内の各
クロックは、ばらばらに偏差を生じるので、定期的に同
期をとり直し、極めて近い値をとるようにしなければな
らない。この再同期は、分散システムの多数のプロトコ
ルを実行するのに必要である。

Ｌａｍｐｏｒｔ、２１　ＣＡＣＭ、５５８−５６５．Ｊ
ｕｌｙ　１９８２．”Ｔｉｍｅ。

Ｃ１ｏｃｋｓ、ａｎｄ　ｔｈｅ　Ｏｒｄｅｒｉｎｇ　ｏ
ｆ　Ｅｖｅｎｔｓ　ｉｎ　ａＤｉｓｔｒｉｂｕｔｅｄ　
Ｓｙｓｔｅｍ”の論文では、１つの事象をもう１つの事
象の前に生じさせ、事象の生じる順序を部分的に決める
という着想が使すれる。

Ｌａｍｐｏｒｔは、この部分的順序を全体的な順序に拡
張して事象を同期させるプロトコル、更にこれを物理的
なりロック装置に適用することについて説明している。

これは、１組の正確なりロックの差が、指定しうる量の
範囲内に納まることを保証するものである。

Ｌａｍｐｏｒｔ　ａｎｄ　Ｍｅｌｌｉａｒ−５ｍｉｔｈ
Ｉ“ＳｙｎｃｈｒｏｎｉｚｉｎｇＣｌｏｃｋｓ　ｉｎ　
ｔｈｅ　Ｐｒｅｓｅｎｃｅ　ｏｆ　Ｆａｕｌｔｓ”、Ｓ
ＲＩ丁ｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔｓ、ｐｕｂｌｉ
ｓｈｅｄ　Ｊｕｌｙ　１３．１９８１の論文は、分散シ
ステムにおいて、各プロセッサがそれ自身の時刻を回報
通信することを要求されるクロック再同期について説明
している。各プロセッサは、他のすべてのプロセッサか
ら回報通信された時刻を受取り、その中の極端な値を捨
て、平均値をとってそれに同期する。ｆの誤がある場合
にクロック同期を達成するために、（２ｆ　＋　１）の
プロセッサが必要とされる。この場合のクロック同期は
、クロックの差が指定された範囲内に納まるという状態
に過ぎない。

米国特許出願第４８５５７３号（１９８３年４月１８日
）は、誤りのない場合の早期停止が保証され、ｆ＜（ｎ
／２）の誤りの場合には最後には停止する。信頼しうる
（ｆ　＋　１）連結のネットワークにおいて、ｎ個のプ
ロセッサ間でビザンチン合意（Ｂｙｚａｎｔｉｎｅ　Ａ
ｇｒｅｅｍｅｎｔ）が得られる方法について説明してい
る。ビザンチン合意は、すべての正確なプロセッサが、
最後には、ある値に合意することを保証するプロトコル
である。クロック同期プロトコルは、対照的に、すべて
の正確なプロセッサが（小さな指定された幅の誤りの範
囲内で）ある時刻に合意することを保証しなければなら
ない。

再同期を行なうためのメツセージ交換の外に、従来のプ
ロトコルでは、前に示唆したように、かなりの量のメツ
セージの受渡しが行なわれる。前記ＬａｍｐｏｒｔとＭ
ｅｌｌｉａｒ−３ｍｉｔｈの論文では、約ｎそ＋１個の
メツセージが交換される。ただし、ｎは全プロセッサ数
、ｆは許容しうる誤りの数である。また、システムによ
っては、非並行事象に同じ時刻を刻時する。

［発明が解決しようとする問題点］ 本発明の目的は、誤りのある、分散計算システムにおい
て、情報交換により、クロック同期を行なう方法を提供
することである。この方法は、メツセージ・トラヒック
を少なくして同期を達成し、誤りのある環境で連続動作
することができなけ九ばならない。

［問題点を解決するための手段］ 前記目的は、対向通信するＣＰＵのネットワークにおい
て、ローカル・クロックを定期的に同期させ、クロック
間の偏差率と、ネットワーク・メツセージの移送及び処
理時間を一定の範囲内に制限するための、誤りを許容し
ろる方法により達成される。この方法は下記のステップ
を含む。

（ａ）　一定順序のノード識別リストを形成し、該リス
トを各ノードで複製する。

（ｂ）　該リスト上の最初のノードより、それ自身を含
む全ノードに対し、偽造不可能な署名とともに、時刻値
を回報通信する。

（Ｃ）　一定のプロトコルにより、時刻値についての多
重メツセージ交換をノード間で行なう。

その場合、 （１）　若し、時刻値が、署名数の関数として所定の間
隔内で受取られるなら、各ノルドは該時刻値を有効なも
のとして受入れ、そのクロックを前進（ｆｏｒｗａｒｄ
）にセツトシ、（２）　そうでない場合には、順次、該
リスト上の次のノードからもう１つの時刻値を同報通信
することにより、時刻を変更するように、ステップ（ｂ
）及び（ｃ）を反復する。

［作用］ この方法はネットワークが切断されない限り有効であり
、時刻値の回報通信及び複数フェーズのメツセージ交換
の間、更に、新しいクロックを生成し、オーバラップし
て存在する期間の後に、古いクロックを捨てるステップ
が含まれている。新しいクロック指示値と古いクロック
指示値の差は明確であり、決して一定量を越えることは
ない。

本発明では、クロック同期は定期的に更新されるプロセ
スであると仮定する。更新される条件は、すにでの正確
なプロセッサのクロックは、ある最大偏差以」二には決
して偏移しないことを保証するものである。この条件は
、クロックを定期的に再同期することにより達成される
ので、正確なりロックは、ある最大偏差以上には偏移し
ない。再同期のプロセスにおいて、正確なりロックは、
１つの周期中に、最大量よりも大きく調整されることも
なければ、セットし直されることもない。前に述べたよ
うに、本発明の方法は、各周期において、前に同意した
関連全プロセッサの一定順序のリストがあり、その周期
で指定された時刻に、該リストの最初のプロセッサがそ
のクロックに全クロックの同期を試みることを必要とす
る。その結果は、ずへての正確なプロセッサが所望の許
容範囲内に同期されるか、または他のすべての正確なプ
ロセッサが、該リス１への最初のプロセッサが同期に失
敗したことに合意することである。若し、最初の試みが
失敗すれば、以下、次の試みが順次に行なねれる。

この方法の重要なパラメータは、許容される誤りの数ｆ
である。若し、ネットワークが少なくとも（ｆ＋１）個
のプロセッサを有するなら、がっ。

若し、ｆよりも多くの誤りがなくて正確なプロセッサの
下位ネットワークを切断しないなら、最初の（ｆ＋１）
回の試みの１つは成功するに違いない。若し、ネットワ
ークの（ｆ＋１）よりも少ないプロセッサしかなく、正
確なプロセッサのサブネットワークが接続されたままで
あるなら、同期はｎ回（ｎはプロセッサ数）以内の試み
で成功するであろう。

［実施例コ クロック同　１　び　。

分散システムにおけるクロック同期は、従来の技術では
、幾つかの方法に制約されている。その一つの方法は、
ＬａｍｐｏｒｔとＭｃｌｌｉａｒ−５ｍｉｔｈによって
提供されたものである。それによれば、任意の与えられ
た実時間に、任意の２つの正確なプロセッサ／クロック
の時刻の差は、ある定数（ｄｍａｘ）に制限され、各フ
ェーズの終りに、誤りのないクロックを増加する量が定
数によって制限される。

本発明では、直接には観測できない仮定のニュートン時
間系で測定されたような実時間と、あるクロックで測定
されたクロックタイムとが区別される。若し、Ｃが誤り
のないクロックであるなら、関数ｃ（ｔ）は、実時間ｔ
で読取られたクロックタイムＣを表わすのに用いられる
。

Ｃが実時間から偏移している率の領域をρで表わすもの
とすると１本発明が正確に動作するためには、下記の条
件を仮定する必要がある：条件１ 正確なプロセッサのクロックタイムが実時間がら偏移す
るＷＪ期をｆｒＩＪ限する率ρが存在する。

制限された偏差の率は、次式によって表わされる二 （１＋ρ）−’（ｖ−ｕ）＜ｃ（ｖ）−ｃ（ｕ）＜（１
＋ρ）（ｖ７ｕ）条件２ 若し、２つのプロセッサ、及びこＡしらのプロセッサを
連結するリンクが、誤りのないものであれば、′時刻は
ｔである″のような短いメツセージを作成し、リンクに
沿って送信し、受信端で処理するのに必要な時刻の既知
の」二限ｔｄｅｌ　（時間遅延）が存在する。

束丑ｌ プロセッサごとに番号１．２、・・・、ｎを付与する。

若し、プロセッサｉがメツセージＩｎを送信しようとす
るなら、 （ａ）　ｉ以外のプロセッサはメツセージｅ、［ｍ］を
作成できない。

ように関数ｅ、が符号化される。これは、どのメツセー
ジも偽造できないことを意味し、（ｂ）　若し、プロセ
ッサｊがｅ、［ｍ］を受信すれば、プロセッサｊはｍを
復号し、メツセージを送ったプロセッサがｉであったと
決めることができる。

即ち、メツセージは確認できる。

条件４ 許容しつる偏差率及び誤りの数は次の関係式によって表
わされる： １−２ρ（１＋ρ）（ｆ　＋　１）（２ｆ　＋　１）＞
０最近使われているクロックは、条件１のρ＝１０″′
Ｇを保証するのに十分精密である。更に、ｔｄａｌ＝０
．１秒の時間遅延は、条件２の場合にほぼ等しい。メツ
セージ・ソースの確認を満足する暗号化技術（署名偽造
の不可能性）の使用は、例えば、Ｒｉｖｅｓｔ　ｅｔ　
ａｌ、”Ａ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｏｂｔａｉｎｉｎ
ｇＤｉｇｉｔａｌ　Ｓｉｇｎａｔｕｒｅｓ　ａｎｄ　Ｐ
ｕｂｌｉｃ−ｋｅｙＣｒｙｐｔｏｓｙｓｔｅｍｓ”、Ｃ
ＡＣＭ、Ｖｏｌ、２１．Ｎｏ、２．Ｆｅｂｒｕａｒｙ　
１９７８のようによく知られている。前述のようなρ＝
１０−″の場合、誤りｆ＜４９８は、条件４を満足する
。一般に、誤りの数は、大抵の使用例で３またはそれよ
りも少ない。

ローカル・ノード町！行 本発明の方法は、少なくとも１つのＣＰＵを含み、それ
ぞれのＣＰＵは、主記憶装置、入出力チャネル、制御装
置、直接アクセス記憶装置、アドレス可能なローカル・
クロック、及びそれらに連結された他の■／○装置を有
するｉｌｌ算システムで実行可能である。このようなシ
ステムは、米国特許第３４００３７１号に記載されてい
る。前記システムは、資源として、Ｍ１算システム、ま
たは該システム上で本発明の方法を含むプロセスの実行
に必要なランをするオペレーティング・システムの機能
のすべてを含む。代表的な資源として、主記憶装置Ｉ１
０装置、ＣＰＵ、データセット、及び制御または処理プ
ログラムがある。更に、前記システムは、″マルチプロ
グラミング″が可能である。これは、計算システムによ
る２つ以」二のプロセスの並行実施に適し、Ｉ　Ｂ　Ｍ
　Ｐｕｂｌｊ、ｃａｔｉｏｎＧＣ２８−６６４６，Ｊｕ
ｌ！／　１９７３に記載されているようにＩＢＭシステ
ム／３７０オペレーティング・システムによってランし
ているコンピュータで管理でき、Ｉ　Ｂ　Ｍ　５ｙｓｔ
ｅｌ！ｌ／３６０　Ｂｉｂｌｉｏｇｒａｐｌ＋ｙ、ＧＡ
２２−６８２２に集録されている。非同期で動作するＣ
ＰＵのネットワークについては、米国特許第３９４０７
４−３号及び同第４２２３３８０号に記載されている。

木・ＩＩＪの一法をｔ′テする流れ 第１図では、本発明の方法が高いレベルの流れ図で示さ
ｈでいる。ネットワークの各々のプロセッサ／クロック
・ノードには、一定順序のノード・リストを常駐させる
。先ず、リスト上の最初のノードが、そＪし自身を含む
他のすべてのノードに自らの偽造不可能な署名と一緒に
時刻を回報通信する。次に、メツセージ交換が進められ
、ネットワーク中の各受信プロセッサは、それ自身を含
むすべての活動中のプロセッサに、自らの偽造不可能な
署名と一緒に前記のメツセージを送る。若し、メツセー
ジが、署名数の関数として所定の間隔内に受取られるな
ら、時刻は有効なものとして受入れられ、ローカル・ク
ロックは“前進″にセットされる。若し、時刻が前記間
隔内で受取られないなら、リスト」二の最初のノードは
、次のノードと置換えられ、次のノードが、それ自身を
含むすべてのノートに、自らの偽造不可能な署名と一緒
に、更新された時刻を回報通信し、メツセージ交換を反
復する。リスト上の最初のノードは、他のプロセッサに
、現在の時刻を知らせる。このような“シンクロナイザ
″は、誤りを有することがあるから、一定順序のリスト
により、１＜４りを有するシンクロナイザを取換える方
法が提供される。

本、明の　法のタスク構成 ネットワーク内の各プロセッサは、３つのタスク　−そ
のうち少なくとも２つは待ち状態である−の収集を実行
する。本発明の説明を進めるに当り、時刻及びタロツク
に関する項を定義し、ネットワークの関連する状態を特
徴づけ、これらを、本発明の方法のステップを実行する
タスクに関連させることが望ましい。本発明の説明後、
その使用例として、最初に、誤りのない完全に接続され
たネットワークの場合と１次に、同じネットワークで、
プロセッサ及び通信リンクに誤りのある場合について説
明する。

最初、新しいクロックを開始することにより、同期が行
なわれる。ｋ番目の同期の後、プロセッサｉは、そのＣ
ＬＯＣＫ　（ｋ）のランを生じる。

プロセッサは、ｋ番目の同期がいつ生じるかについて正
確に合意できないので、実時間は、非オーバラツプ間隔
１ｎｔｋ＝　［ｂｅｇｉ＋ｙａｎｄｋ］に分解される。

ただし、ｂｃｇ、は、最後の、誤りのないプロセッサか
に番目のクロックの開始を決める時刻であり、ｅｎｄｌ
は、最初の誤りのないプロセッサが、ｋ＋１番目のクロ
ックの開始を決める時刻である。最初に、すべてのプロ
セッサは、同時にＣＬＯＣＫ　（０）のランを始める。

説明を簡単にするため、この開始時刻をＯとする。数学
的には、すべてのｉに対し。

ｂｅｇｏ二〇ＬＯＣＫ（０）＝Ｏである。もちろん、同
期初期開始以外の開始も可能である。このような、強制
が緩和された場合の説明は後に行なう６ 一般に、間隔（ｅｎｄｋ−ｂｅｇｋ）の長さは時間単位
であるが、間隔（ｂｅｇｋ＋１−ｅｎｄｋ）の間のギャ
ップは秒単位である。本発明では、間隔の間のギャップ
はタイムアウトされなくてもよく、また、プロセッサは
、数秒間、ｋ番目のクロックを（ｋ＋１）番目の間隔に
使用し、ｋ番目の間隔で開始されたプロ１−フルのタイ
ミングを行なう。例え、２つのクロックを使用している
短かいオーバラップ周期があっても、すべてのプロ１〜
コルはタイム・スタンプを必要とするので、どのタロツ
クを使用すべきかについてもあいまいさはない。

ネッ１−ワーク全般に共通する変数名及び定数名、並び
に特定のプロセッサの部分的な変数名及び定数名は次の
とおりである。

ネットワーク全般に共通する変数名及び定数名：ｎ＝プ
ロセッサ数 ｐｅｒ　＝同期周期 ｔｄｅｌ　＝最大の伝送・処理遅延 ｄｍａｘ　＝クロックの最大偏差 ｆ、＝リンクの許容しうる誤りの数 ｆ、＝プロセッサの許容しうる誤りの数ｆ＝ｆ、十ｆ、
＝許容しうる全誤り数 ５ｙｎｃ　＝現在のシンクロナイザのプロセッサ数ａｔ
＝次に予定された同期タイム 特定のプロセッサの部分的な変数名及び定数名：ｉ＝特
定のプロセッサ番号（１，２、・・・ｎの範囲） ｋ−現在のクロックの指標（０，１，２、・・・の範囲
） ＣＩ、０ＣＲ（０：ｋ）＝クロックのアレイ（０〜無限
大の範囲） ネットワーク位相（１−ポロン）の関数は、ｎｔｒ（ｆ
）　、ｂｙｚｔ（ｓ、ｆ）及びｄｉａｍ　（ｆ　ｐ　ｒ
　ｆ＊　）である。これらの関数については、後述の″
一般的考察″の項で詳細に説明する。タスク・スケジュ
ーリングのプリミティブは、時刻の持続期間を測定する
タイマ、及び起動、即ち、タイマがオフになる事象を含
むいくつかの事象の発生、またはいくつかの他のタスク
及び起動タスクｉからの起動メツセージにより、プロセ
ッサを″起動”するモニタを含み、′起動″メツセージ
をタスクｉに送る。また、すべてのプロセッサの初期値
は、 ５ｙｎｃ＝１ に＝０ ＣＬＯＣＫ（０）　＝　０ ｅｔ＝タスク１では、プロセッサ１のタイマがｐｅｒで
オフになるようにセットされ、タスク３では、すべての
プロセッサのタイマは ｐｅｒ＋ｂｙｚｔ（ｎｔｒ（ｆＬｆ）でオフになるよう
にセラ１−される を含む。

タスク 第２図〜第４図は、誤りのない各プロセッサに常駐して
いるタスクから成り、大抵の場合、タスクの１つは待ち
状態にはなく、残りのタスクは実行中である。

第２図は同報通信モニタを示す。このタスクでは、実行
中の、誤りのないプロセッサｊ　（ｊは］−〜ｎの範囲
）は、その現在のタロツク（ＣＩ、０ＣＲ（ｋ））がｅ
ｔよりも大きいか、またはｅｔに等しい値を有するかど
うかを検査する。若し、ＣＬＯＣＫ（ｋ）がｅｔよりも
小さいなら、プロセッサｉは、時刻ｅｔで起動するよう
にタイマをセットする。若し、ＣＬＯＣＫ（ｋ）がｅｔ
よりも大きいか、またはｅｔに等しいなら、プロセッサ
ｊは、署名の上、′同期せよ。時刻はｅｔ、　ｕのメツ
セージを、すべてのプロセッサに送り出す。

このメツセージは、符号化関数ｅ、を使って符号化され
るので、その偽造は不可能である。このタスク（タスク
１）は休止状態にな−る。

第３図は有効性モニタを示す。プロセッサｉは、若し、
′同期せよ。時刻はｔ。′のメツセージを受取れば、そ
のメツセージが有効かどうかを確かめるため、後述する
一連の検査を実行する。若し、これらの検査の１つが“
イエス″の答を出せば、プロセッサｌはメツセージを無
視して休止状態になる。

最初に検査されるのは、メツセージが確認されたかどう
かである。即ち、受取ったメツセージが正しく符号化さ
れ、すべての信号が明白であるかどうかである。メツセ
ージの次の検査は、メツセージの署名の方が少なかった
場合に、誤りのないいくつかのプロセッサが受取ったに
違いない多くの署名があったかどうかについて行なわれ
る。または、メツセージで与えられた時刻が、プロセッ
サが期待している時刻と異なるかどうかが検査される。

換言すれば、Ｓはｎｔｒ（ｆ）よりも大きいか、または
ｔはａｔに等しくないかどうかが検査される。

３番目の検査は、シンクロナイザに誤りがない場合、プ
ロセッサｉの現在のタロツク・タイムが、クロック同期
を行なうのに必要な時間よりも大きいかどうか、即ち、
ＣＬＯｃＫ（ｋ）がｔ４ｂｙｚｔ　（ｓ　、　ｆ　）よ
りも大きいかどうかである。最後の検査は、現在のクロ
ック・タイムが新しい同期を開始するには早過ぎるかど
うか、即ち、　ＣＬＯＣＫ（ｋ）が（ｔ−ｓ（ｄｍａｘ
））よりも小さいかどうかである。

若し、前記検査の結果がどれもノーであれば、メツセー
ジは有効とみなされ、続いて、プロセッサｉは実際の同
期を実行する。同期は下記ステップから成る： （１）ｋの値を１だけ増加して新しいクロックを生成す
る。即ち、ｋ　＝　ｋ　＋　１とする。

（２）前に合意した新しいクロックの開始時刻にＣＬＯ
ＣＲ（ｋ）をセットすることにより（新しいクロックと
なった）ＣＬＯＣＫ　（ｋ）のランを開始する。即ち、
ＣＬＯＣＫ（ｋ）＝ｅｔ＋ｂｙｚｔ（ｎｔｒ（ｆ）、ｆ
）を実行する。これは、新しいタロツクが古いクロック
の現在時刻よりも大きい開始時刻を有することを意味す
る。

（３）　次のクロック同期の予想時刻をセットすする。

即ち、ｅｔ＝ｅｔ＋ｐｅｒを実行する。

（４）起動メツセージをタスク３に送る。

同期を実行した後、プロセッサｉは、プロセッサｊがリ
スト上の最初のノード（シンクロナイザ）であるかどう
かを検査する。若し、その結果が″イエス”　（Ｉ＝Ｓ
ＹＮ（：）なら、プロセッサｉはタスク１に起動コマン
ドを出す。プロセッサｉがシンクロナイザであるかどう
かにかがねらず、プロセッサ１はメツセージに署名し、
それを他のすべてのプロセッサに送る。最後に、このタ
スク（タスク２）は休止状態になる。

第４図には、現在のシンクロナイザ・モニタが示されて
いる。若し、プロセッサｉが、同期実行を要する時点で
有効なメツセージを受取っていなければ、現在のシンク
ロナイザに誤りがあるに違いない。従って、プロセッサ
ｉは、リスト上の次のシンクロナイザを選び、予想され
る再同期を前進させる。即ち、若し、プロセッサ１の現
在のクロック・タイムが、クロック同期が実行されるべ
き時刻よりも小さければ、プロセッサ】は、そのタイマ
を該時刻に起動するようにセラ１−する。若し、シンク
ロナイザに誤りがなけＪしば、該時刻までにクロック同
期は完了する。第４図で、若し、ＣＬＯＣＫ（ｋ）がｅ
ｔ＋ｂｙｚｔ（ｎｔｒ（ｆＬｆ）よりも小さければ、プ
ロセッサｊのタイマはｅｔ＋ｂｙｚｔ（ｎｔｒ（ｆ）、
ｆ）に起動するようにセットされる。そうでない場合は
、プロセッサｉは下記のステップを実行する：（１）プ
ロセッサｉはリスト上の次のプロセッサをシンクロナイ
ザに選択する。これは５ＹＮＣ＝ＳＹＮＣ＋１（ＭＯＤ
　Ｎ）を実行することを意味する。

（２）　予期される同期時刻はそれに応じて増加する。

即ち、ｅｔ＝ｅｔ＋ｂｙｚｔ（ｎｔｒ（ｆＬｆ）を実行
する。次いで、プロセッサｊは、プロセッサｊがシンク
ロナイザであるがどうかを検査する。

若し、プロセッサｉがシンクロナイザなら、プロセッサ
ｉは、タスク１に起動コマンドを出す。プロセッサｉが
シンクロナイザであるかどうかにかかわらず、プロセッ
サｉは、そのタイマを該時刻に起動するようにセラ１へ
する。若し、新しいシンクロナイザに誤りがなければ、
新しいシンクロナイザとのクロック同期は、該時刻まで
に、即ちｅｔ＋ｂｙｚｔ（ｎｔｒ（ｆ）。

ｆ）とＣＬＯＣＫ（ｋ）の間の時刻に完了する。

一般的考察 ネットワーク内には最大ｆの誤りがあり、更に、ネット
ワーク内の各々のノード対の間には一定の経路があるも
のと仮定されている。またｇが、最初のネットワークと
同じノード・セットを有し、かつ、これらのノード間の
経路に誤りがない場合は正確に２つのノード間のエツジ
を有するグラフであるとすると、グラフｇは最初のネッ
トワーク、経路及び誤りセットに依存するものと推定さ
オルる。

若し、ｇが該誤りセットによって切断さねなければ、ｇ
において、誤りのないどのノード対の間にも最短経路が
存在する。該誤りセットにｆ、のノード誤りとｆ交のリ
ンク誤りがある場合、これらの最短経路の中の最長経路
をｄｉａｍ（Ｌｏｆｔ）とすると、　ｆ＝ｆ、＋ｆ、で
あるので、次式が成立する。

ｎノードで完全に連結されたグラフの場合、若し、ｆ、
１１かっｆ、＋ｆ、≦ｎ−２なら、ｄｉａｍ（Ｃ＋ｆｇ
）＝２である。若し、ｆ、＝０から、即ち、リンク誤り
がないなら（ＬａｍｐｏｒｔとＭｅｌｌｉａｒ−５ｍｉ
ｔｈの論文で考えられるケース）　、　ｄｉａｍ（ｆ、
ｏ）＝１である。どちらの場合も、ｎｔｒ（ｆ）＝ｆ＋
］である。

本充１外礼伎 本発明の方法のステップは下記特性を有する。

（１）　任意の与えられた時刻で、任意の２つの正確な
プロセッサの時刻の相違は定数ｄｍａｘの範囲内である
。

（２）プロセッサｉの（ｋ十ｔ）番目のクロックは、間
隔［ｅｎｄｋ、ｂｅｇｋヤ、コ内のある時刻で開始され
る。その最初の時刻は、ＣＬＯＣに（ｋ）のそれよりも
遅いが、多くても２（ｆ＋１）ｄｍａｘ＋ｎＬｒ（ｆ）
ｔｄｅｌの範囲内に過ぎない。

（３）各々の間隔はだいたいｐｅｒに等しい持続期間を
有する。

（４）最初のプロセッサが新しいクロックを開始する時
刻と、最後のプロセッサが新しいクロックを開始する時
刻の間のギャップは僅かである。即ち、このギャップは
、ｄｉａｍ（ｆｒ＋ｆ交）・ｔｄｅｌよりも小さい。

各間隔の最初に、誤りのないプロセッサのクロックは、
ｄｉａｍ（ｆ、、ｆｌ）・ｔｄｅｌ、　（間隔間のギャ
ップ）の範囲内で同期される。各間隔は、はぼｐｅｒに
辱しい持続期間を有するので、間隔の終りまでに、だい
たいｄｉａｍ（ｆ、、ｆｔ１ｔｄｅｌ＋２　ｐ　ｐｅｒ
偏移する。この時点で、新しい同期が得られる。

本発明のｊ法の口１ 本発明の方法は、再同期が定期的に行なわれることを必
要とする。前に説明したように、再同期間の時間は、同
期プロ１−フルの１つの参加者からもう１つの参加者に
行くメツセージの最大遅延。

個々のクロックの最大偏差率、及び再同期中に生じる誤
りの数によって決まる。完全に連結されたネットワーク
において、本発明の動作の例として。

４つのノード、１００ミリ秒の最大伝送遅延、１０６秒
ごとに１秒の最大クロック偏差、及び許容誤り２がある
と仮定する６また、１時間ごとに再同期を必要とし、正
確なりロックに最大３００ミリ秒の差異が許容されるも
のと仮定する。

プロセッサは、第５図に示すように、１．２．３．４と
付番される。また、この番号リス１へはシンクロナイザ
の順序を表わす。最初、１１ζ（りはなく、タロツクは
すべて真夜中の１２時に同期され、ｅｔ＝１：００ＡＭ
である。プロセッサ１のクロックの」：００ＡＭに、プ
ロセッサ１は、″同期せよ。時刻は１：ＯＯＡＭ、”の
メツセージを符号化し、すべてのプロセッサに送ること
により、新しい同期を開始する。クロックは、１時間に
最大７．２ミリ秒偏移する。（誤りがないので、）すべ
てのプロセッサは、メツセージを、送信されてから１０
０ミリ秒以内に受取り、メツセージが有効であることを
速かに検査し、新しいタロツクを、に〇〇ＡＭ＋１．２
秒を表示するようにセラ１〜する。

次に予期される同期時刻は２　：　ＯＯＡＭ＋１．２秒
にセラ１〜される。

いま、プロセッサ１のクロックが進み始め、プロセッサ
２とプロセッサ３の間の通信リンクが故障するものと仮
定すると、そのクロックの２二〇〇ＡＭ＋１．２秒で、
プロセッサ１は、″同期せよ。時刻は２　：　ＯＯＡＭ
＋１．２秒。″のメツセージを符号化し、すべてのプロ
セッサに送ることにより、別の同期を開始する。しかし
、プロセッサ１のクロックは進んでいる状態であるので
、他のすべてのプロセッサは、このメツセージを、それ
らのクロックが１：５５ＡＭと１’、５６Ａ−Ｍの間を
表示するときに受取る。このメツセージは有効性検査に
合格しない、というのは、到着が早過ぎるからであって
、そのため、メツセージは無視され、有効性モニタは、
休止する。各々のクロックの２　：　ＯＯＡＭ＋２．４
秒で、プロセッサ２．３及び４の現在のシンクロナイザ
・モニタは起動し、その間隔中に有効なメツセージが受
取られていないことが分る。プロセッサ１は誤りがある
と知らされ、プロセッサ２が現在のシンクロナイザにな
る。プロセッサ２の現在のシンクロナイザ・モニタはそ
のタスク１：放送モニタに起動コマンドを出す。そして
、プロセッサ２は、″同期せよ。

時刻は２　：　ＯＯＡＭ＋２．４秒。″のメツセージを
符号化し、すべてのプロセッサに送る。プロセッサ４は
、該メツセージを受取り、それを有効とみなす。プロセ
ッサ３はプロセッサ２からメツセージを受取らない、と
いうのは、プロセッサ２とプロセッサ３の間の通信リン
クは依然として故障しているからである。しかし、プロ
セッサ４は、該メツセージを受取り、それを有効とみな
すので、該メツセージを符号化し、署名し、すべてのプ
ロセッサに送る。プロセッサ４とプロセッサ３の間のリ
ンクは誤りがないので、プロセッサ３は、プロセッサ４
からメツセージを受取り、それを有効とみなす。このよ
うに、プロセッサ２．３及び４はすべて有効なメツセー
ジを受取り、２・ｔｃｌｅｌ＝２００ミリ秒の時間内に
再同期する。プロセッサ１はいまは誤りがあるので、プ
ロセッサ１の再同期は不要である。

第２〜４図に示されているような３つのタスク、タスク
１〜３は、ＰＬ／Ｉのような高度のプログラム言語で表
現できる。ちなみに、ＰＬ／Ｉは、Ｉ　Ｂ　Ｍ　Ｓｙｓ
ｔｅｍｓ　Ｒｅｆｅｒｅｎｃｅ　Ｌｉｂｒａｒｙ　Ｍａ
ｎｕａ１５３６０−２９．Ｃａｔａｌｏｇ　Ｎｏ、ＧＣ
２８−８２０１−４，Ｆｊｆｔｈ　Ｅｄｉｔｉｏｎ。

ｃｏｐｙｒｉｇｈｔｅｄ　Ｄｅｃｅｍｂｅｒ　１９７２
に詳細に説明されている。モニタ、特に起動モニタ、同
報通信モニタ、及びビザンチン・モニタの特性、及びそ
れらの、各ローカル・ノードのプロセッサの実行環境で
の実現についての説明は、前記米国特許出願第４８５５
７３号（１９８３年４月１８日）を参照されたい。また
、前記出願で表示された回報通信モニタ及びビザンチン
・モニタの選択さｈた部分は、それぞれの回報通信及び
他のノードとの間の複数フェーズ・メツセージ交換に利
用できる。複数メツセージ交換は必ずしもビザンチン・
プロトコルに限定されない。

［発明の効果］ 本発明の方法により、分散計算システムにおいて、クロ
ックを定期的に再同期し、正確なグロックを、ある最大
量以上には偏移させないようにし、連続動作を行なうこ
とができる。

【図面の簡単な説明】

第１図は本発明の方法を示す高いレベルの流れ図、 第２図はクロック・モニタを示す図、 第３図はメツセージ処理モニタの流れ図、第４図は有効
メツセージが受信されなかった場合にシステムを再調整
するタスクを示す図、第５図はプロセッサ及びローカル
・クロックのネットワークを完全に連結する４つのノー
ドを示す図である。 出願人　インターナショナル・ビジネス・マシーンズ・
コーポレーション 代理人　弁理士　頓　宮　孝　− （外１名）

Claims (1)

1. 【特許請求の範囲】 対向通信する複数のノードのネットワークにおけるロー
   カル・クロックを定期的に同期させる方法であって、ク
   ロック間の偏差率及びネットワーク・メツセージ移送・
   処ＩＪＪ１時間が制限されるものにおいて、下記ステッ
   プ（ａ）乃至（ｂ）を含むことを特徴とするクロック同
   期方法。 （ａ）　一定順序のノード識別リストを形成し、該リス
   １へを各ノードで複製する。 （ｂ）　該リスト上の最初のノードにより、偽造不可能
   な署名と一緒に時刻値を全ノードに同報通信する。 （ｃ）　ノード間で該時刻値の多重メツセージ交換を行
   い、各ノードは該署名の数の関数として予め決められた
   期間内に該時刻値を受取った場合には該時刻値を有効な
   ものとして受付けて当該ノードのクロックをセットする
   。 （ｄ）　各ノードが該期間内に該時刻値を受取らなかっ
   た場合には該リストにおける次のノードがら時刻値を回
   報通信するように修正して前記ステップ（ｂ）及び（ｃ
   ）を行う。