JPH0773059A - フォールトトレラント型コンピュータシステム - Google Patents

Abstract

(57)【要約】 【目的】 フォールトトレラント型コンピュータシステ
ムにおいて、高速プロセッサの高速処理能力を十分活用
できるようにする。 【構成】 フォールトトレラント型コンピュータシステ
ムは、独立したクロックサイクルタイミングで同一の命
令ストリームを実行する多重のＣＰＵを使用する。前記
ＣＰＵは、その入力動作または出力動作がローカルＣＰ
Ｕクロックとは非同期のメモリまたは装置に対するアク
セスを必要とするまで、前記命令を内部的に実行する。
このような入出力動作において、各前記ＣＰＵは、同数
のクロックサイクルを使用してその入出力動作を完了す
るよう強制される。前記入出力動作が完了すると、前記
命令ストリームの内部処理は、各ＣＰＵ内でクロック整
列されるが、発振器のドリフトによって実時間に関して
は分離しているかもしれない状態で、続行される。累積
したドリフトは、実時間に関して前記ＣＰＵ同士を同期
させるタイマ割り込みによって定期的に除去される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、コンピュータシステ
ムに関し、特に、多重のＣＰＵを使用したフォールトト
レラント型コンピュータシステムに関するものである。

【０００２】

【従来の技術】高い信頼性を有するディジタル処理は、
工業的処理制御から航空宇宙産業、ならびに、人間の安
全に関わるその他の用途、および、銀行、金融業務など
の多くの用途において、きわめて重要である。これま
で、冗長（リダンダンシー）構成を使用することによっ
て、様々なコンピュータアーキテクチャにおける高い信
頼性が実現されている。例えば、３重モジュール・リダ
ンダンシー（TMR：TripleModular Redundancy）システ
ム（以下、ＴＭＲシステムという）は、同一の命令スト
リームを実行する３つの中央処理ユニット（ＣＰＵ）を
使用し、各々のＣＰＵの出力をボーティング（voting）
するための、つまり、比較して多数決するためのハード
ウエアまたはソフトウエアによりクロス検査することに
よって、高い信頼性を提供するものである。

【０００３】このようなＴＭＲシステムにおいて、ボー
ティング回路またはボーティングソフトウエアは、典型
的には、各ＣＰＵからの入出力（Ｉ／Ｏ）動作要求を比
較する。このボーティングでは、３つのＣＰＵのうちの
２つのみが一致するので、１つのＣＰＵにおける故障を
検出できることになる。その後、該故障を生じたＣＰＵ
は無視され、前記一致した２つのＣＰＵを使用した動作
が続行される。この種のボーティングにおいて重要なこ
とは、前記３つのＣＰＵのＩ／Ｏ要求が一致するよう、
各前記ＣＰＵが同一の命令ストリームを実行していなけ
ればならない、ということである。また、正しいＴＭＲ
動作を行うためには、同じく前記３つのＣＰＵのＩ／Ｏ
要求が一致するよう、各前記ＣＰＵが、他の２つのＣＰ
Ｕと時間的に近接して同一の命令ストリームを実行す
る、ことが必要である。このため、ボーティングによる
フォールトトレランス（故障許容性）には、ＣＰＵ間に
おけるある種の同期が重要である。

【０００４】最も簡単な同期方式は、すべてのＣＰＵに
ついて単一のクロックを使用する“ロックステップ”方
式であり、この方式はＴＭＲシステムでは普通に使用さ
れている。しかしながら、単一のクロックは単一の故障
点の検出を可能にするにすぎないので、システムのフォ
ールトトレランスが制限される。他の同期方式は、前記
ＣＰＵごとに個別のクロックを使用するものであり、こ
こでは、比較を可能にするために前記ＣＰＵ同士が同期
させられる。このような個別クロック式のＴＭＲシステ
ムにあっては、各々のＣＰＵのサイクルごとの同期が行
われている。しかし、上記のような多重のＣＰＵ間の
“厳格”な同期によって、各ＣＰＵがボーティング可能
に命令ストリームの同一点にあることが保証されること
になるが、このような連続的な同期は、処理速度に対し
て重い負担と、重大な影響を与える。個別クロック式の
ＣＰＵをより長い間隔で同期させる“疎結合”システム
は、性能を向上できるものである。しかし、前記個別ク
ロック式の疎結合システムにおけるＣＰＵ同期方式に
は、重大な問題点がある。特定の実時間時点において、
発振器のドリフトによって各ＣＰＵが異なる命令を実行
している可能性があるので、実時間、すなわち、“掛時
計タイム”に基づいた定期的な同期は、信頼性に欠け
る。

【０００５】代案として、“仮想時間”、すなわち、各
ＣＰＵで実行される命令の進行に応じて各ＣＰＵ内で定
義される時間を、同期のために使用することも可能であ
る。しかし、この場合、各ＣＰＵにおける同一の仮想時
間時点でのみボーティングがなされるよう、各ＣＰＵ内
の仮想時間を精密にモニタする、ことが必要になる。よ
り高いクロック速度、および、より完全な内部アーキテ
クチャを使用した高性能のマイクロプロセッサデバイス
が利用可能になっている。これらのマイクロプロセッサ
デバイスは、該デバイスを使用するフォールトトレラン
ト型コンピュータシステムに対して、より高い潜在能力
を提供する。

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
ような高速マイクロプロセッサの高性能化は、同一の命
令ストリームを実行する多重のプロセッサを使用したＴ
ＭＲまたはその他のフォールトトレラント型システムに
おいてこれらプロセッサを同期させる上で、様々な問題
を有する。特に、現在のリスク（RISC: Reduced Instru
ction Set Computing）プロセッサのような、いくつか
の高性能の多重マイクロプロセッサは、一部並列的に命
令を実行するものであり、このため、該プロセッサの仮
想時間を明確に定義するのが困難または不可能である。
また、各サイクル後の同期は、多重ＣＰＵシステムか
ら、高速プロセッサによって実現可能な処理速度を奪っ
てしまう。従って、同期タイプの高信頼性の構成におい
て、現在の高速プロセッサの高速処理能力を十分活用で
きるフォールトトレラント型コンピュータシステムが要
望されている。この発明は上述の点に鑑みてなされたも
ので、同期タイプの高信頼性の構成において、高速プロ
セッサの高速処理能力を十分活用できるようにしたフォ
ールトトレラント型コンピュータシステムを提供しよう
とするものである。特に、この発明は、各々独立のクロ
ックを使用して緩く結合された複数のプロセッサを備え
た高性能のフォールトトレラント型コンピュータシステ
ムにおいて、これらのプロセッサを内部と外部の処理動
作の両方にわたってクロック長同期化することにより、
高性能を実現したフォールトトレラント型コンピュータ
システムを提供しようとするものである。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、この発明に係るフォールトトレラント型コンピュー
タシステムは、複数のプロセッサモジュールであって、
各前記プロセッサモジュールが、命令ストリームを実行
するものであり、前記命令の実行タイミングを制御する
クロック信号を発生する独立したクロックを有し、各前
記プロセッサモジュールがＩ／Ｏ（入出力）動作要求を
定期的に発生し、該Ｉ／Ｏ動作要求が前記プロセッサモ
ジュール間において非同期的に発生されるようになった
前記複数のプロセッサモジュールと、前記プロセッサモ
ジュールとは別個にクロックされる１つまたは２つ以上
の外部装置と、Ｉ／Ｏ動作中、前記プロセッサモジュー
ルを前記１つまたは２つ以上の外部装置に接続する手段
と、各前記プロセッサモジュールごとの前記Ｉ／Ｏ動作
の長さを、各前記プロセッサモジュールごとに同じクロ
ックサイクル数となるよう制御する同期手段とを具備し
たものである。

【０００８】また、この発明に係るフォールトトレラン
ト型コンピュータシステムは、複数の中央処理ユニット
（ＣＰＵ）であって、各ＣＰＵが、他のＣＰＵとは独立
したタイミングで命令の実行を制御するための独立した
クロックを有し、複数の命令の実行の後に定期的にＩ／
Ｏ動作要求を発する前記複数のＣＰＵと、前記複数のＣ
ＰＵから前記定期的なＩ／Ｏ動作要求を入力し、該Ｉ／
Ｏ動作要求をボートする手段と、前記ＣＰＵのＩ／Ｏ動
作のクロック長を制御する同期手段であって、各前記Ｃ
ＰＵが要求したＩ／Ｏ動作のために該ＣＰＵが使用した
クロックサイクル数を調べる手段と、前記クロックサイ
クル数を比較して、前記Ｉ／Ｏ動作に関する最長のクロ
ック長を検出する手段と、各前記ＣＰＵにおける前記Ｉ
／Ｏ動作のためのクロック長が前記最長のクロック長と
なるよう制御する手段とを備えた前記同期手段とを具備
したものである。

【０００９】さらに、この発明に係るフォールトトレラ
ント型コンピュータシステムは、命令ストリームを処理
し、外部装置との通信を行うフォールトトレラント型コ
ンピュータシステムであって、略同じ命令ストリームを
実行し、略同一の構成を有する第１、第２および第３の
中央プロセッサユニット（ＣＰＵ）であって、各前記Ｃ
ＰＵが独立したクロックを有し、さらに、前記命令スト
リームが複数のクロックサイクルにわたって前記ＣＰＵ
の間で非同期的に実行されるよう、前記クロックが前記
命令ストリームの実行のタイミングをとるようになった
前記第１、第２および第３のＣＰＵと、１つまたは２つ
以上のメモリモジュールと、前記第１、第２および第３
のＣＰＵならびに前記１つまたは２つ以上のメモリモジ
ュールに接続されていて、前記ＣＰＵのＩ／Ｏ動作中に
おいて、前記ＣＰＵによる前記メモリモジュールおよび
前記外部装置に対するアクセスを可能にするバス手段
と、前記Ｉ／Ｏ動作中、各前記ＣＰＵごとに同じ量、前
記ＣＰＵを一時機能停止させる手段と、前記ＣＰＵ同士
を実時間に関して略整列させるために、前記ＣＰＵを異
なる一時機能停止時間長にわたり定期的に一時機能停止
させる手段とを具備したものである。

【００１０】さらに、この発明に係る方法は、各前記Ｃ
ＰＵごとに独立に与えられるクロックサイクルで、同じ
命令ストリームを実行する複数の中央プロセッサユニッ
ト（ＣＰＵ）を備えたフォールトトレラント型コンピュ
ータシステムを同期させる方法であって、各前記ＣＰＵ
のローカルクロックサイクルを他の前記ＣＰＵの各々に
与える工程と、前記ＣＰＵによるＩ／Ｏ動作要求を検出
し、各前記ＣＰＵにおける前記ローカルクロックサイク
ルのカウントを開始するためのカウント開始信号を出力
する工程と、各前記ＣＰＵが自己のローカルクロックお
よび他の前記ＣＰＵのローカルクロックのクロックサイ
クルをカウントするよう、前記Ｉ／Ｏ動作要求を検出し
カウントする工程を繰り返す工程と、各前記ＣＰＵが各
前記ＣＰＵに対応するＩ／Ｏカウント値を有するよう、
前記Ｉ／Ｏ動作の終わりを検出し、各前記ＣＰＵ内にお
けるクロックサイクルのカウントを停止する工程と、各
前記ＣＰＵ内におけるカウント値を比較し、最長のカウ
ント値を検出する工程と、

【００１１】各前記ＣＰＵごとに、ローカルカウント値
と前記最大のカウント値との差を検出し、該差を待ちカ
ウント値として出力する工程と、前記ＣＰＵの前記待ち
カウント値に対応する数のクロックサイクルにわたり各
前記ＣＰＵを一時機能停止する工程と、前記待ちカウン
ト値に対応する一時機能停止が完了した後、前記命令ス
トリームの処理を続行するために各前記ＣＰＵのを開放
する工程とからなり、各前記ＣＰＵが前記Ｉ／Ｏ動作に
ついて同じ数のクロックサイクルを使用するよう強制さ
れることを特徴とするものである。

【００１２】さらに、この発明に係るフォールトトレラ
ント型コンピュータシステムは、複数のプロセッサモジ
ュールであって、各前記プロセッサモジュールが、命令
ストリームを実行するものであり、前記命令の実行タイ
ミングを制御するクロック信号を発生する独立したクロ
ックを有し、各前記プロセッサモジュールがＩ／Ｏ動作
要求を定期的に発生し、該Ｉ／Ｏ動作要求が前記プロセ
ッサモジュール間において非同期的に発生されるように
なった前記複数のプロセッサモジュールと、前記Ｉ／Ｏ
動作要求を入力し、要求されたＩ／Ｏ動作が完了したと
きに前記プロセッサモジュールに対して確認信号を出力
する手段とを具備し、各前記プロセッサモジュールが、
各前記プロセッサモジュールごとの前記Ｉ／Ｏ動作の長
さを検出する手段と、１または２つ以上の前記プロセッ
サモジュールについて前記Ｉ／Ｏ動作の長さのエラーを
検出する手段とを備えたことを特徴とするものである。

【００１３】

【作用】上記構成からなるこの発明のフォールトトレラ
ント型コンピュータシステムは、内部処理および外部処
理の両方の動作においてクロック長同期された（clockl
ength synchronized）疎結合（loosely coupled）高性
能プロセッサ群を使用することによって、高い性能を実
現するを提供するものである。好ましい実施例による
と、この発明は、同一の命令ストリームを実行する多重
の中央処理ユニットまたは中央処理モジュール（ＣＰ
Ｕ）を使用したコンピュータシステムを提供する。前記
ＣＰＵは、それぞれ自己の独立したクロックを有し、互
いに“疎結合”されている。すなわち、この場合、“掛
時計時間”のある特定時点において、各々の前記ＣＰＵ
は、異なるクロックサイクルにあり、異なる命令を実行
しているかもしれない。これらローカルのＣＰＵクロッ
クと同期していないメモリまたは装置に対するアクセス
を必要とするまで、前記ＣＰＵは、前記命令ストリーム
を内部的に実行する。このようなＩ／Ｏ動作において、
各前記ＣＰＵは、同期論理回路によって、同数のクロッ
クサイクルを使用して前記Ｉ／Ｏ動作を完了するよう強
制される。該Ｉ／Ｏ動作が完了すると、各前記ＣＰＵに
おいてクロック整列しているが、発振器のドリフトによ
り実時間に関しては整列していないかもしれないような
状態で、前記命令ストリームの内部処理が続行される。

【００１４】好ましい実施例において、各ＣＰＵには、
前記Ｉ／Ｏ動作を完了するために該ＣＰＵおよび他のＣ
ＰＵが使用したサイクル数を調べる同期論理回路が使用
される。好ましくは、各前記ＣＰＵの同期論理回路は、
各ＣＰＵからローカルクロックサイクルを入力する、前
記ＣＰＵの数と同数のカウンタを使用する。前記カウン
タのカウント値は、最長のカウント値を検出するために
比較され、各ＣＰＵの同期論理回路は、前記最長のカウ
ント値から、そのＣＰＵが前記動作のために必要とした
サイクル数を減算する。その減算結果は“待ちカウント
値”となる。そして、各ＣＰＵの同期論理回路は、前記
Ｉ／Ｏ動作の終わりにそのＩ／Ｏ論理回路を解放する前
に、前記“待ちカウント値”によって示されたサイクル
数だけ待つ。読出しの場合、前記ＣＰＵはデータを待つ
ので、前記インターフェース論理回路の解放により、前
記ＣＰＵも解放されることになる。しかし、書込みにつ
いては、前記ＣＰＵは一時機能停止していないかもしれ
ないので、前記インターフェースの解放は、該インター
フェースを再使用のためにのみ解放する。前記“待ちカ
ウント値”分の調節の後、各Ｉ／Ｏ要求は、各ＣＰＵに
おいて全く同数のクロックサイクルを使用したことにな
る。このように、各ＣＰＵは同数のクロックサイクルを
使用するので、該ＣＰＵが他のＣＰＵに対して有してい
たドリフトつまり実時間のズレは、前記Ｉ／Ｏ動作中維
持される。故に、ある１つのクロックカウント値は、各
ＣＰＵ内における同一の状態を明確に定義し、これによ
り、ボーティングのための比較が可能になる。

【００１５】この発明の他の特徴によると、前記ＣＰＵ
が待ち状態のまま過ごサイクル数を最少化し、且つ、性
能に対する影響を最小化するため、累積されたドリフト
は定期的に除去される。最初にＩ／Ｏ要求を行うＣＰＵ
は、該Ｉ／Ｏ要求が実行の前にボートされ得るよう、他
のＣＰＵが同じ要求を行うのを待たなければならない。
各ＣＰＵについて前記Ｉ／Ｏ動作の長さを同じに維持す
るために、すべての前記ＣＰＵは、同数のクロックサイ
クル待たなければならない。故に、ドリフトによって、
前記最初のＣＰＵはより長く待つことになる。その後、
より遅いＣＰＵも同じサイクル数だけ待たなければなら
ない。通常の動作時において、前記発振器はすべて公称
値に近接しており、すべてのＣＰＵは相互に数クロック
サイクルの範囲内であり、その結果、実時間ドリフトは
性能に対して最小の影響を与えるのみである。好ましく
は、本発明は、このドリフトに関する絶対的な制限を、
所定のクロックサイクル数に制限する。

【００１６】好ましい実施例において、前記ＣＰＵが整
列させられることによって、累積したドリフトを除去で
きるよう、クロックサイクルをカウントするタイマは、
例えば１０ミリ秒ごとに前記ＣＰＵに割り込みをかけ
る。この整列は、より速い方のＣＰＵを一時的に停止す
るためのソフトウエアルーチンによって開始されるのが
好ましい。この一時機能停止の前に、前記ＣＰＵは“ア
イドル”状態におかれる。故に、異なる長さの一時機能
停止の間において、同期上の不確実性を発生する可能性
のあるイベントは、存在しないことになる。

【００１７】１つの実施例において、前記ＣＰＵによる
Ｉ／Ｏ要求についてのボーティングは、Ｉ／Ｏプロセッ
サと前記ＣＰＵとの間に設けられたメモリモジュールに
おいて行ってよい。二重のデータを格納した２つの同一
の、自己チェック機能を有するメモリモジュールが使用
される。前記ＣＰＵによるメモリ参照は、各前記メモリ
モジュールの別個のポートに接続された別個のバスを介
して行われる。該別個のＣＰＵからメモリへのバスを介
したメモリ参照は、メモリリクエスト時において各前記
メモリモジュールでボートされる。

【００１８】このシステムの前記ＣＰＵは、Unix（登録
商標）のようなオペレーティングシステムを利用可能な
市販の高性能マイクロプロセッサを使用するものが好ま
しい。該システムをフォールトトレラントにする該シス
テムの構成要素は、前記オペレーティングシステムにと
って透明であり、該オペレーティングシステムに容易に
適合されるものである。

【００１９】従って、本発明は、ボーティングによる速
度および出力の比較のために最適に同期される多重ＣＰ
Ｕを備えた、高信頼性のコンピュータシステムを提供す
る。さらに、本発明は、現在広く使用されているオペレ
ーティングシステムおよび応用ソフトウエアとの互換性
を有する、高性能のフォールトトレラント型コンピュー
タシステムを提供する。

【００２０】

【実施例】図１には、この発明のフォールトトレラント
型コンピュータシステムの一実施例が示されている。図
示のように、このコンピュータシステムは、ここではＣ
ＰＵ−Ａ、ＣＰＵ−ＢおよびＣＰＵ−Ｃとも言う３つの
ＣＰＵを備え、これらのＣＰＵは１つの論理的プロセッ
サとして動作するようになっている。なお、ここでは、
最小のＴＭＲボーティングシステムに対応する３つのＣ
ＰＵが示されているが、異なるレベルのフォールトトレ
ランスを提供するために、２つのＣＰＵまたは３つ以上
のＣＰＵを使用してもよい。好ましくは、各前記ＣＰＵ
は、応用ソフトウエアを処理しながら、同一の命令スト
リームを実行する。前記３つのＣＰＵが同一の命令スト
リームを実行しない唯一の時は、起動時の自己検査、診
断等の処理を行う場合である。

【００２１】前記３つのＣＰＵは、ここではそれぞれメ
モリ―＃１およびメモリ―＃２とも言う２つのメモリモ
ジュール１４、１５に接続されており、該メモリモジュ
ール１４、１５は、各々、同一のアドレススペースに同
一のデータを記憶している。好ましい実施例において、
各前記ＣＰＵ１１、１２、１３はローカルメモリ１６を
有し、該ローカルメモリ１６は、対応するＣＰＵによっ
てのみアクセス可能になっている。

【００２２】各前記ＣＰＵ１１、１２、１３および各前
記メモリモジュール１４、１５は、自己のクロック発振
器１７を有する。すなわち、前記ＣＰＵ１１、１２、１
３は、単一のクロックに基づいた“ロックステップ”で
動作するのではなく、以下に詳しく述べるように、“疎
結合”によって同期されるようになっている。外部割り
込みは、各前記ＣＰＵからの割り込み要求およびステー
タスを他の２つのＣＰＵに対して接続するための１組の
バスを使用する技術によって、前記３つのＣＰＵ間で同
期される。つまり、各前記ＣＰＵ−Ａ、ＣＰＵ−Ｂおよ
びＣＰＵ−Ｃは、自己の割り込み要求および他のＣＰＵ
から受け取る２つの割り込み要求である合計３つの割り
込み要求に応答して、同一のクロックサイクルで各ＣＰ
Ｕに対して割り込み要求を発するものである。

【００２３】前記ＣＰＵ−Ａは、バス２１によって前記
メモリ―＃１モジュール１４およびメモリ―＃２モジュ
ール１５に接続されており、ＣＰＵ−Ｂは、バス２２に
よって前記メモリ―＃１モジュール１４およびメモリ―
＃２モジュール１５に接続されており、ＣＰＵ−Ｃは、
バス２３によって前記メモリ―＃１モジュール１４およ
びメモリ―＃２モジュール１５に接続されている。各前
記バス２１，２２，２３は、多重化されたアドレス／デ
ータバス、コマンドバス、ならびに、アドレスストロー
ブおよびデータストローブのための制御線を含んでい
る。各々の前記ＣＰＵはこれらのバス２１，２２，２３
を個々に制御するものであり、従って、アービトレーシ
ョン、すなわち、バス要求およびバス許可は存在しな
い。

【００２４】各前記メモリモジュール１４，１５は、そ
れぞれのＩ／Ｏバス２４または２５に接続されており、
各前記バス２４または２５は、２つ（または３つ以上）
のＩ／Ｏプロセッサ２６，２７に接続されている。ま
た、このシステムは、特定のシステム構成のために必要
なＩ／Ｏ装置を設ける必要性に応じて、多数のＩ／Ｏプ
ロセッサを備えていてもよい。各前記Ｉ／Ｏプロセッサ
２６，２７は、ＶＭＥバス（登録商標）のような標準的
な構成のバス２８に接続されており、各前記バス２８
は、標準的なＩ／Ｏコントローラ３０とのインターフェ
ースを行うための１つまたは２つ以上のバスインターフ
ェースモジュール（ＢＩＭ）２９に接続されている。

【００２５】前記Ｉ／Ｏプロセッサ２６，２７は、前記
メモリモジュール１４，１５を介して、前記ＣＰＵ１
１，１２，１３によってアドレス可能であり、また、前
記メモリモジュール１４，１５を介して、前記ＣＰＵ１
１，１２，１３に対して割り込み信号を送ることが可能
になっている。前記Ｉ／Ｏコントローラ３０によって作
動される典型的な周辺装置は、ディスクドライブ、ＣＲ
Ｔスクリーンおよびキーボードを備えた端末、ならび
に、ネットワークアダプタである。また、前記Ｉ／Ｏコ
ントローラ３０は、データブロックを伝送するために、
前記メモリモジュール１４，１５に対して直接メモリア
クセス（ＤＭＡ）タイプのメモリ参照を行うことができ
る。各前記Ｉ／Ｏプロセッサ２６，２７等は、バス要
求、バス許可のために、各前記メモリモジュール１４，
１５に直接接続された個々の線を有する。このような二
点間接続は、以下において“放射（RADIALS）”と言
い、１グループの放射線３１を介して行われる。

【００２６】なお、図１のアーキテクチャから理解され
るように、前記ＣＰＵの外部動作、すなわち、前記ＣＰ
Ｕとは別個にクロックされるモジュールまたは装置に対
する動作であって、ここではＩ／Ｏ動作と言う動作は、
前記メモリモジュール１４，１５を通して行われる。こ
れらのメモリモジュール１４，１５は、前記３つのＣＰ
ＵによるＩ／Ｏ要求についての、ボーティング、すなわ
ち、比較多数決処理を行う。しかし、前記ＣＰＵによる
Ｉ／Ｏ要求が、すべてのＣＰＵに関連するグローバルメ
モリを通ることなく直接的に外部装置に送られる場合、
その他のアーキテクチャを使用してもよい。いずれにせ
よ、このようなＣＰＵによるＩ／Ｏ要求は、適当なボー
ティング回路によってボーティングされることになる。

【００２７】システムステータスバス３２は、各ＣＰＵ
１１，１２，１３、各メモリモジュール１４，１５およ
びその他の各要素に接続されている。このステータスバ
ス３２は、現在、前記ＣＰＵ、メモリモジュールおよび
Ｉ／Ｏプロセッサのいずれが該システムに属し、且つ、
適切に動作しているか、についての情報を提供するもの
である。

【００２８】前記３つのＣＰＵ１１，１２，１３と２つ
のメモリモジュール１４，１５とを接続しているアクノ
リッジステータスバス３３は、前記ＣＰＵによってＩ／
Ｏ要求がなされ、メモリモジュール１４，１５によって
該Ｉ／Ｏ要求についてのボーティングがなされた時に、
前記メモリモジュール１４，１５が前記ＣＰＵに対して
アクノリッジ（確認）信号を送るために使用する、個々
のステータス線を有する。これと同時に、コマンドのス
テータス、および、該コマンドが正しく実行されたか否
かについてを報告する、ステータスフィールドが送られ
る。前記メモリモジュール１４，１５は、それぞれのグ
ローバルメモリに対して読み書きされるデータについて
のパリティチェックを行うだけではなく、該メモリモジ
ュールを通って前記Ｉ／Ｏバス２４，２５に対してやり
取りされるデータついてのパリティチェックをも行い、
また、コマンドの有効性をチェックする。さらに、前記
バス３３のステータス線によって、これらのチェック結
果は前記ＣＰＵ１１，１２，１３に報告される。このた
め、エラーが発生した場合、そのエラーが発生した要素
を隔離するためのエラールーチンが開始されるようにな
っている。エラーが発生した要素の再結合処理を含むエ
ラー回復ルーチンは、Douglas E. Jewettらによって199
0年1月5日付けで出願され、本出願の譲受人に譲渡され
た米国特許出願No.07/461,250に開示されている。

【００２９】両前記メモリモジュール１４，１５は、そ
れぞれのグローバルメモリに同一のデータを格納してお
り、すべてのメモリ参照動作を同時に二重に行う。ある
特定の時において、前記メモリモジュール１４，１５の
一方は主メモリモジュールとして指定され、他方はバッ
クアップメモリモジュールとして指定される。前記主メ
モリモジュールおよびバックアップメモリモジュールが
同一の処理を実行し続けることができるよう、バス３４
は、前記主メモリモジュールからバックアップメモリモ
ジュールに制御情報を送る。起動時において、いずれか
一方の前記メモリモジュールが主メモリモジュールとし
ての役割を果たすことができるようになっており、動作
中において、その役割は、ソフトウエアによる制御の下
に切り換えられるようになっている。前記役割は、所定
のエラー状態が前記ＣＰＵによって、または、該システ
ムにおけるその他のエラー応答要素によって検出された
ときにも、切り換えられるようになっている。

【００３０】前記ＣＰＵ内で発生された一定の割り込み
信号も、前記メモリモジュール１４，１５によってボー
ティングされる。前記ＣＰＵがこのような割り込み条件
に遭遇したとき（且つ、機能の一時機能停止していない
とき）、前記ＣＰＵは、割り込みバス３５のそれぞれの
線を介して、前記メモリモジュールに対して割り込み要
求信号を出力する。こうして、前記３つのＣＰＵからの
３つの割り込み要求がボーティング可能になる。このよ
うな割り込み要求信号のボーティングは、前記ＣＰＵの
動作をチェックする機能をも果たす。前記３つのＣＰＵ
は、ＣＰＵ間バス１８を介して、ボーティングされたＣ
ＰＵ割り込み信号を同期し、各前記ＣＰＵにおける共通
のクロックサイクルで、前記割り込み信号を各前記ＣＰ
Ｕに送る。この割り込み同期は、前記ＣＰＵを一時機能
停止させることなく実行される。前記メモリモジュール
１４，１５によって行われるボーティング、および、Ｉ
／Ｏプロセッサ２６，２７についてのより詳細な説明
は、Charles E. Peet,Jr.らに対して1992年9月8日付け
で付与され、本出願の譲受人に譲渡された米国特許No.
5,146,589に開示されている。

【００３１】ＣＰＵモジュール：図２には、前記ＣＰＵ
モジュール１１，１２，１３のうちの１つが、より詳細
に示されている。好ましい実施例において、前記３つの
ＣＰＵのすべては同一の構成を有するので、ここでは、
ＣＰＵ−Ａについてのみ説明する。コストを競争可能範
囲内に抑えるため、且つ、既に開発されているソフトウ
エアおよびオペレーティングシステムに対するアクセス
を容易にするため、市販のマイクロプロセッサチップを
使用するのが好ましく、また、多数のデバイスのいずれ
を選択してもよい。前記リスク（RISC）アーキテクチャ
はいくつかの性能上の利点を有するが、Motorola 68030
デバイスまたはIntel 80386デバイスもしくはIntel 804
86のような、より通常のシスク（CISC：Complex Instru
ction Set）マイクロプロセッサを使用してもよい。高
速のRISCマイクロプロセッサは、いくつかの供給源から
入手可能である。例えば、Motorola、MIPS Computer Sy
stems Inc.、Sun Microsystems、および、Cypress Semi
conductorは、すべて、様々な設計を有する高性能RISC
マイクロプロセッサを製造している。

【００３２】図示例におけるＣＰＵボードすなわちＣＰ
Ｕモジュールは、好ましい実施例では前記MIPS Compute
r Systems Inc.によって設計されたR4000デバイスであ
るマイクロプロセッサ４０を使用している。前記R4000
デバイスは、RISCアーキテクチャを使用した64−ビット
プロセッサであり、１００メガヘルツのクロックレート
で高い性能を実現するものである。内部で使用される１
００メガヘルツのクロックは、前記マイクロプロセッサ
４０がローカル発振器１７から例えば５０メガヘルツの
クロック信号を受け取り、該クロック信号を逓倍するこ
とによって得られる。また、前記ＣＰＵモジュールの残
りの部分をクロックするために使用される２５メガヘル
ツのクロック信号は、前記１００メガヘルツのクロック
信号を例えば２５メガヘルツに分周することによって得
られる。なお、このプロセッサにおいて、それが可能で
あれば、より高いクロック速度、および、他の性能を向
上させるための特徴が利用されてもよい。このデバイス
の他の例として、より遅いクロックス速度でのコスト削
減を可能にするR3000等を使用してもよい。前記プロセ
ッサ４０は、さらに、内部の整数浮動小数点用コプロセ
ッサおよび内部キャッシュ（図示せず）を有する。な
お、ここでは、各前記ＣＰＵについて１つのマイクロプ
ロセッサ４０のみが示されているが、１つの論理ユニッ
トとして並列的に動作する２つ以上のマイクロプロセッ
サ４０が設けられていてもよい。さらに、以下に述べる
同期技術も、この種のマルチプロセッサＣＰＵシステム
に使用されるのに適している。

【００３３】前記プロセッサ４０は、多重化されたアド
レス／データバス４１および制御バス４３を有するロー
カルバスに接続されている。好ましくは、外部キャッシ
ュメモリ４５が設けられており、該外部キャッシュメモ
リ４５は、図２において個別に示されているアドレスバ
ス、データバスおよび制御バスを有する個別バス４４を
介して、前記プロセッサ４０に接続されている。前記ロ
ーカルバス４１，４３は、プロトコル変換回路５０を介
して、内部制御論理バス（ＣＬＢ）構造に接続されてい
る。より詳しくは、図３を参照して後で詳述する前記プ
ロトコル変換回路５０は、データバス５３、アドレスバ
ス５４および制御バス５５を有する前記制御論理バス構
造に接続されている。ローカルメモリ１６はこの内部バ
スによってアクセスされ、該内部バスに接続されたバス
インターフェース５６は、システムバス２１（他のＣＰ
Ｕではバス２２または２３）にアクセスするために使用
される。前記内部バスのデータバス５３およびアドレス
バス５４（前記プロセッサ４０のバス４１から派生す
る）は、前記システムバス２１の多重化されたアドレス
／データバス５７に変換されており、これに対応して、
コマンド線および制御線も、この外部バスのコマンド線
５８および制御線５９に変換されている。また、前記バ
スインターフェース５６は、前記メモリモジュール１
４，１５からのアクノリッジ／ステータス線３３を収容
している。これらの線３３において、分離したステータ
ス線３３−１または３３−２は前記メモリモジュール１
４，１５から接続されており、これにより、後述するよ
うに、両前記メモリモジュール１４，１５からの応答
は、前記ＣＰＵとグローバルメモリとの間のデータ伝送
（読出しまたは書込み）イベント直後に評価され得るよ
うになっている。

【００３４】好ましくは、前記ローカルメモリ１６は、
前記ＣＰＵモジュールのクロックサイクルの約３サイク
ル（例えば２５メガヘルツ）内にアクセス可能なダイナ
ミックＲＡＭである。このアクセスは、この実施例では
上述のごとく１００メガヘルツとすることができる、前
記プロセッサ４０のクロックと同期する。前記ローカル
メモリ１６は、メモリ制御回路６０によってアクセスさ
れるものである。該メモリ制御回路６０は、多重化アド
レス機能を有するダイナミックＲＡＭである場合、通常
そうであるように、前記アドレスバス５４からのアドレ
スおよび前記制御バス５５からのアドレスストローブを
受け取り、しかる後、行アドレス信号（ＲＡＳ）および
桁アドレス信号（ＣＡＳ）を発生する。

【００３５】データは、データバス５３を介して、前記
ローカルメモリ１６に対して読み書きされる。さらに、
前記ローカルメモリ１６は、ダイナミックＲＡＭである
が故に、定期的なリフレッシュを必要とする。リフレッ
シュタイマ７１は、後で詳述するように、このようなリ
フレッシュ動作を制御するメモリ制御回路６０に対して
リフレッシュ要求信号を与えるものである。さらに、前
記オペレーティングシステムによって使用可能な、不揮
発性ＲＡＭのような不揮発性メモリ６２および高速ＰＲ
ＯＭ６３、ならびに、いくつかのローカルレジスタ６１
は、前記内部バスによってアクセスされる。該レジスタ
メモリのあるものは電源投入時のみに使用され、また、
あるものは、前記オペレーティングシステムによって使
用され、内部キャッシュまたはキャッシュ４５に連続的
に設けられてよく、また、その他の部分は前記メモリマ
ップの非キャツシュ部分に設けられてよい。

【００３６】外部割り込み信号は、前記プロトコル変換
回路５０を介して、図２のＣＰＵモジュール内の割り込
み回路６５から前記プロセッサ４０に与えられる。前記
プロセッサ４０によって割り込みが実行される前に、前
記３つのＣＰＵのすべてに対して同一の割り込み信号が
与えられたか否かを判定するために、すべての割り込み
信号は前記割り込み回路６５でボーティングされるよう
になっている。この目的のため、前記割り込み回路６５
は、他の２つのＣＰＵ１２，１３からの割り込みペンデ
ィング入力６６を受け取り、線６７を介して、前記他の
２つのＣＰＵ１２，１３に対して割り込みペンディング
信号を送る。これらの線は、３つのＣＰＵ１１、１２、
１３同士を接続しているバス１８の一部である。また、
他の種類の割り込み信号、すなわち、例えば、ＣＰＵが
発生した割り込み信号についてのボーティングを行うた
めに、前記割り込み回路６５は、バス３５の線６８を介
して、このＣＰＵからの割り込み要求を両前記メモリモ
ジュール１４、１５に送り、線６９、７０を介して、該
メモリモジュール１４、１５から個別にボーティングさ
れた割り込み信号を受け取る。両メモリモジュール１
４、１５は、実行すべき外部割り込みを与える。例えば
Ｉ／Ｏチャンネル２８の１つを介してキーボードまたは
ディスクドライブのような外部割り込み源で発生した割
り込み信号は、後述するように各ＣＰＵ１１、１２、１
３が同一のクロックサイクルとなるまでは、割り込み回
路６５から前記プロセッサ４０に与えられない。

【００３７】図２に示すように、前記割り込み回路６５
は、クロックサイクルカウンタ５１からクロックカウン
タ出力ＣＣ―４およびＣＣ―８を受け取る。該カウンタ
５１は、クロック信号をカウントすることにより、図１
５〜図１９を参照して後で詳述する外部割り込み同期の
ために使用されるカウント値を出力する。カウンタ５１
に対する入力によって示されているように、該カウンタ
５１は、後述するクロックドリフト除去処理の完了後に
発せられる解放信号を受け取った時に可能化（イネーブ
ル化）され、ドリフト除去レジスタ読み取りスタート信
号受け取った時に不能化（ディスエーブル化）される。
このように、前記クロックサイクルカウンタ５１は、後
述するクロックドリフト除去処理の間、および、すべて
のＣＰＵが動作している間、可能化されることによって
クロックサイクルをカウントする。

【００３８】さらに図２に示すように、前記ＣＰＵモジ
ュールは、ＣＰＵ同期論理回路７３を備えている。この
ＣＰＵ同期論理回路７３は、ＣＰＵ間バス１８を介して
他のＣＰＵに接続されている。また、前記メモリモジュ
ールによってバスインターフェース５６に与えられる確
認信号は、前記プロセッサ４０に直接送られることな
く、前記同期論理回路７３に送られる。こうして、該同
期論理回路７３は、前記プロセッサ４０に送るべき解放
信号をバスインターフェース５６に与える。この同期論
理回路７３については、図４、図５および図６に関して
後で詳述する。前記プロセッサ４０は、メモリ対メモリ
命令を支持しないがメモリ対レジスタまたはレジスタ対
メモリ命令（すなわち、ロード命令またはストア命令）
のみを支持するリスク命令セットを有する。頻繁に使用
されるデータおよび現在実行中のコードをローカルメモ
リまたはキャッシュに保持することが重要である。従っ
て、ブロック伝送動作は、前記バスインターフェース５
６に接続されたＤＭＡステートマシーン７４によって行
われる。前記プロセッサ４０は、コマンドとして機能す
べきワードを前記ＤＭＡ回路７４の１つのレジスタに書
き込み、前記ブロックのスタートアドレスおよび長さを
前記ＤＭＡ回路７４のレジスタに書き込む。１つの実施
例において、前記ＤＭＡ回路７４が引き継いでブロック
伝送を実行し、必要なアドレス、コマンドおよびストロ
ーブをバス５３〜５５および２１に出力している間、前
記マイクロプロセッサはその動作を一時停止する。この
ブロック伝送を開始するために前記プロセッサ４０によ
って実行されるコマンドは、前記ＤＭＡ回路７４の１つ
のレジスタから読み出すことができる。Unixオペレーテ
ィングシステムにおけるメモリ管理は、要求時ページン
グに依存しているので、これらのブロック伝送は、しば
しば、グローバルメモリ、ローカルメモリおよびＩ／Ｏ
トラフィック間で移動中のページである。前記バス２
１、２２、２３は、前記ＣＰＵとグローバルメモリとの
間における１ワードの読出し伝送および書込み伝送を支
持するが、ここで言うブロック伝送は、ローカルメモリ
とグローバルメモリとの間でのみ可能である。

【００３９】図３には、前記プロトコル変換回路５０が
ブロック図で示されている。該プロトコル変換回路５０
は、前記多重化されたアドレス／データおよびアドレス
／データバス４１と制御バス４３との間のコマンドプロ
トコルを翻訳する。前記アドレス／データバス４１およ
び制御バス４３は前記プロセッサ４０と直接通信し、前
記制御論理バスのデータバス５３、アドレスバス５４お
よび制御バス５５は、バスインターフェース５６および
内部同期ボーティング回路６５と通信する。前記バス４
１および４３ならびに５３〜５５は、共に６４ビット幅
のバスであるのが好ましいが、異なるデータ幅のもので
あってもよい。また、両前記バスは最大のＣＰＵモジュ
ール速度でクロックされるのが好ましいが、バス５３〜
５５については分周されたクロックレートが使用されて
もよい。故に、前記プロトコル変換回路５０は、グロー
バルメモリのブロックモードアクセスのためのデータ速
度補償を行うと共に、異なるビット幅のバスの間におい
てアドレスおよびデータの復号化を行う。

【００４０】より詳しくは、図３に示すように、前記プ
ロトコル変換回路５０は、アドレスバスプロトコルの変
換を行うためのシステムアドレスレジスタ７５と、デー
タバスプロトコルの変換を行いデータバスバッファリン
グを行うためのデータレジスタ７５とを有する。また、
コマンドレジスタ７７は、制御バス４３、４５によって
与えられるコマンドのためのプロトコル変換およびバッ
ファリングを行うためのものである。さらに、前記シス
テムアドレスレジスタ７５およびコマンドレジスタ７７
は、キャッシュメモリに格納されたデータを無効にする
可能性があるローカルメモリに対する書込みを検出し、
前記プロセッサ４０に対して、外部キャッシュ４５（図
２）および該プロセッサ４０の内部キャッシュを無効化
するよう命令する。

【００４１】さらに図３に示すように、前記プロトコル
変換回路５０は、前記プロセッサのアドレス／データバ
ス４１に接続されたローカルメモリ検出アドレス復号回
路７８を備えているのが好ましい。該ローカルメモリ復
号回路７８は、前記システムアドレスレジスタ７５およ
びコマンドレジスタ７７を介して、前記プロセッサ４０
からのメモリ要求信号を受け取る。該要求信号を完全に
復号する前に、前記ローカルメモリ復号回路７８は、先
ず第１の警告信号、すなわち、“LM WARNING”をローカ
ルメモリ制御回路６０に出力し、前記プロセッサ４０に
よるローカルメモリアクセス要求を示す。前記プロセッ
サ４０によるメモリ要求が前記ローカルメモリ復号回路
７８によって復号され終わった後であって、且つ、ロー
カルメモリアクセス要求が確認されている場合、前記復
号回路７８は、図３に示すように、ローカルメモリ制御
回路６０に対して、ローカルメモリ動作信号“LM OP”
である第２の警告信号を出力する。図１２、図１３およ
び図１４に関して後で詳述するように、これら第１の警
告信号および第２の警告信号、すなわち、LM WARNINGお
よびLM OPは、前記ローカルメモリ制御回路６０によっ
て、ダイナミックＲＡＭ１６のローカルのメモリリフレ
ッシュのタイミングを制御することによって該リフレッ
シュ動作を前記プロセッサ４０から隠蔽するために使用
される。

【００４２】さらに図３に示すように、前記プロトコル
変換回路５０は、データ解放回路８０を備えている。後
で詳述するように、各々のＣＰＵ間での同期処理が完了
後、前記グローバルメモリまたはＩ／Ｏ装置からのデー
タ読み取り処理が終わった後において、バスインターフ
ェース回路５６からの解放信号に応答して、該データ解
放回路８０は、前記プロセッサ４０に対してストローブ
信号を与える。これと同じ解放信号は、前記ＣＰＵボー
ド上のローカルメモリまたはいずれかのレジスタからの
読み出し後にも、与えられる。これは、前記ドリフト除
去スタートレジスタからの読み出しをも含む。

【００４３】ＣＰＵの同期：図４、図５および図６に
は、ＣＰＵ同期論理回路７３の好ましい実施例がブロッ
ク図で示されている。前記ＣＰＵ間における様々な構成
要素の接続状態をより明確に示すために、前記３つのＣ
ＰＵつまりＣＰＵ−Ａ、ＣＰＵ−Ｂ、ＣＰＵ−Ｃの各々
についての同期論理回路は、図４、図５および図６に別
々に示されている。しかし、同期回路は各前記ＣＰＵご
とに同一であるので、各々のＣＰＵの回路における同じ
構成要素には同じ符号が付されており、また、明確さの
ために必要な場合には、前記構成要素がどのＣＰＵに関
係するものであるのかを示す“Ａ”、“Ｂ”、“Ｃ”が
数字符号の後に付されている。

【００４４】図４、図５および図６において、各ＣＰＵ
の同期論理回路７３は、該ＣＰＵのローカルクロック信
号を入力し、線１０１および１０２によって該クロック
信号を他のＣＰＵに分配する。このようなクロック信号
を他のＣＰＵに分配する前記線１０１および１０２は、
高度のフォールトトレランスを実現できるよう、独自の
ドライバ１０３、１０４を有するのが好ましい。すなわ
ち、前記ドライバ１０３、１０４の一方またはそれが接
続されている線がショートしたり故障したりした場合で
あっても、他方の線が、依然として正常に、前記ローカ
ルクロック信号を他のＣＰＵに送り続け、これにより、
該コンピュータシステムは、２つのＣＰＵによって動作
し続けることがてきる。

【００４５】図４、図５および図６にさらに示すよう
に、各前記ＣＰＵは、そのローカルクロック信号をロー
カルカウンタ１０６にも与える。該ローカルカウンタ１
０６は、クロックイネーブル論理回路１０８によって可
能状態にされたときに、ローカルクロックサイクル１７
をカウントする。前記クロックイネーブル論理回路１０
８は、Ｉ／Ｏ動作の開始を示すローカルプロセッサ４０
からのＩ／Ｏ要求信号を入力する。その後、前記クロッ
クイネーブル論理回路１０８がローカルカウンタ１０６
にイネーブル信号を出力し、これにより、該ローカルカ
ウンタ１０６によるローカルクロックパルスのカウント
がスタートする。また、前記クロックイネーブル論理回
路１０８は、独立したフォールトトレラントドライバ１
１３、１１４を使用したそれぞれの線１１０、１１１を
介して、他のＣＰＵにもイネーブル信号を出力する。

【００４６】さらに、各前記ＣＰＵの同期論理回路７３
は、他の２つのＣＰＵからクロック信号およびクロック
イネーブル信号をそれぞれ入力する第２のカウンタ１１
５および第３のカウンタ１１６を備えている。こうし
て、例えば、ＣＰＵ−Ａのカウンタ１１５は、線１０１
−Ｂを介してＣＰＵ−Ｂからのクロック信号を入力し、
線１１０−Ｂを介してＣＰＵ−Ｂからのクロックイネー
ブル信号を入力する。また、ＣＰＵ−Ａの第２のカウン
タ１１６は、線１０２−Ｃおよび１１１−Ｃを介してＣ
ＰＵ−Ｃからのクロック信号およびクロックイネーブル
信号をそれぞれ入力する。

【００４７】このように、前記ＣＰＵ−Ａは、そのロー
カルクロックサイクルをカウントするローカルカウンタ
１０６、ＣＰＵ−Ｂからのクロックサイクルをカウント
するカウンタ１１５およびＣＰＵ−Ｃからのクロックサ
イクルをカウントするカウンタ１１６を使用している。
これらのカウンタは、ある特定のＩ／Ｏ動作中各前記Ｃ
ＰＵにおけるクロックサイクルの数を測定するために使
用される。このように、各前記ＣＰＵは、各ＣＰＵによ
って実行されるＩ／Ｏ動作中、該ＣＰＵのローカルクロ
ック、および、他の２つのＣＰＵからのクロック信号を
カウントする３つのカウンタ（３つのＣＰＵからなる好
ましい実施例では３つ）有する同期論理回路を使用して
いる。

【００４８】前記Ｉ／Ｏ動作がボーティングされ、完了
すると、前記グローバルメモリによってバスインターフ
ェース５６に対して確認信号（ACK）が与えられる（図
２）。バスインターフェース５６は、前記プロセッサ４
０に対してではなく、ＣＰＵの同期論理回路７３に対し
て前記確認信号を送る。このようにして、前記Ｉ／Ｏ動
作の終了は、前記グローバルメモリからの確認信号によ
って、各前記ＣＰＵの同期論理回路に対して同時に知ら
される。その後、クロックの整列度およびクロックの準
安定度に応じて、すべてのＣＰＵにおける前記同期論理
回路は、典型的には、相互に１サイクルの範囲内で、こ
の信号を受け取る。この確認信号は、各前記ＣＰＵの同
期論理回路７３のクロックイネーブル論理回路１０８に
与えられ、該イネーブル論理回路１０８では、他のＣＰ
Ｕに分配するクロックイネーブル信号をオフする。この
イネーブル信号のオフにより、前記複数のカウンタは、
それぞれのカウント値を保持し、自己のクロックを用い
て、この静止したカウント値をサンプルできることにな
る。

【００４９】好ましい実施例において、図７に関して後
で詳述するように、各前記ＣＰＵの同期論理回路７３
は、カウントイネーブル信号がオフされた後に２クロッ
クサイクル待って、前記カウンタのカウント値をサンプ
ルする。前記クロックイネーブル信号は、これら２クロ
ックサイクルの間および中間クロックにおいてサンプル
され、これら３つのイネーブルサンプルは、エラーボー
ト論理回路１２２に送られる。後で詳述するように、こ
れらのイネーブルサンプルは、前記エラーボート論理回
路１２２によって、カウントの有効性を確かめるために
使用される。こうして、各前記ＣＰＵにおける前記Ｉ／
Ｏ動作のクロックサイクルによる長さは、比較論理回路
１１８によって比較される。該比較論理回路１１８で
は、前記３つのカウンタ１０６，１１５，１１６の出力
を比較することによって、前記Ｉ／Ｏ動作を実行するた
めにどのＣＰＵが最大のクロックサイクル数を要したか
を判定する。そして、前記最大のクロックサイクルカウ
ント値とローカルカウンタ１０６によるカウント値との
差が、単純な減算処理によって算出される。この最大の
クロックサイクルカウント値とローカルカウンタ１０６
によるカウント値との差、つまり、“待ちカウント値”
は、前記Ｉ／Ｏ動作が前記最大カウント値を要したＣＰ
Ｕと同数のクロックサイクルを有するまで前記ＣＰＵが
待たなければならない、クロックサイクル数を示すもの
である。この待ちカウント値は、線１２０を介して前記
比較論理回路１１８からローカルカウンタ１０６に送ら
れる。

【００５０】前記ローカルカウンタ１０６はロード可能
なものであり、前記待ちカウント値は該ローカルカウン
タ１０６にロードされ、これと同時に、該カウンタ１０
６は、イネーブル状態にされることによって、カウント
値がゼロになるまで、各クロック当たり１ずつそのカウ
ントをデクリメントし始める。前記待ちカウント値がロ
ーカルカウンタ１０６によってゼロになるまでデクリメ
ントされ終わると、前記プロセッサを解放し、Ｉ／Ｏ動
作によって要求されるデータを受け入れ可能にするため
に、線１２１によって、前記バスインターフェース５６
およびプロトコル変換回路５０を介して、前記ローカル
プロセッサ４０に対して、解放信号が送られる。出力動
作は上記と同じステップに従うが、前記解放信号はイン
ターフェース回路を解放するにすぎない。前記プロセッ
サは前記インターフェース回路が利用可能になるのを待
つために一時機能停止するかもしれないが、出力動作は
直接的には前記プロセッサを一時機能停止させない。

【００５１】対応するローカルカウンタ１０６の出力が
前記３つのＣＰＵのうちで最大のカウント値であると前
記比較論理回路１１８が判定した場合には、前記待ちカ
ウント値はゼロであり、従って、前記ローカルカウンタ
１０６は、前記プロセッサ４０を前記Ｉ／Ｏ動作結果の
まま解放するために、直ちに、線１２１によって、プロ
トコル変換回路５０を介して、前記バスインターフェー
ス５６およびプロセッサ４０に解放信号を送る。

【００５２】前記比較論理回路１１８は、前記カウンタ
１０６，１１５，１１６からのカウント値を入力するリ
ードオンリーメモリ（ＲＯＭ）の出力としての予想待ち
カウント結果をセットすることによって、直に実行され
てもよい。待ちカウント数を最小化し、且つ、性能に対
する影響を最小化できるよう、前記３つのＣＰＵにおけ
るプロセッサ間の全体的なドリフト量は、所定のクロッ
クサイクル数に制限されるのが好ましい。例えば、前記
ドリフト量は、±３２クロックサイクルに制限されてよ
い。このようなＣＰＵ間におけるクロックドリフトの制
限は、クロックサイクルをカウントし、例えば１０ミリ
秒ごとの一定の間隔で線１２６によって割り込み信号を
発するタイマ１２５を使用することによって、実現可能
である。後で詳述するように、この割り込み信号は、ド
リフト除去同期回路１２４を介して前記ＣＰＵ−Ａ、Ｃ
ＰＵ−ＢおよびＣＰＵ−Ｃ間における累積したクロック
ドリフトを除去する、ソフトウエアルーチンを起動す
る。

【００５３】さらに、前記比較論理回路１１８は、前記
カウンタ１０６，１１５，１１６用のモジュラー（ラッ
プアラウンド）カウンタを使用し、前記カウンタが相互
にラップアラウンド（循環）を有するか否かを判定する
ことによって、簡略化してもよい。例えば、前記カウン
タ１０６，１１５，１１６用に７ビットのモジュラーカ
ウンタが使用される場合、各カウンタは１２８カウント
までカウント可能である。故に、これら３つのカウンタ
のカウンタ出力値が、合計１２８のカウントクロック範
囲の略中間である６４カウント範囲内である（すなわ
ち、前記カウンタの０または１２８のカウント範囲から
３２カウントより少ない）場合、比較は直接的に行われ
る。しかし、前記範囲の始めと終わり近くでクラスタが
発生した場合、１つまたは２つ以上の前記カウンタが循
環したにちがいないということになる。この場合、前記
比較論理回路１１８は、比較を行う前に、循環したカウ
ント値（０近くのカウント値）に対して１２８を自動的
に加える。このため、前記比較論理回路１１８は、予め
計算された結果を格納したメモリ位置をそれぞれ供給す
るＲＯＭのアドレス線を介してカウント値を入力するこ
とによって、前記カウンタ１０６，１１５，１１６から
の減算結果およびその結果としての待ちカウント値を直
接出力するラップアラウンド減算器を、１つまたは２つ
以上のＲＯＭによって実現してもよい。また、代案とし
て、最大カウント値を選んだ後、この値をデクリメント
するよう前記ローカルカウンタ１０６を制御するコンパ
クトな論理機能を実行する、プログラマブル論理デバイ
ス（ＰＬＤ）が使用されてもよい。

【００５４】さらに図４、図５および図６に示すよう
に、各ＣＰＵの同期論理回路は、エラーボート論理回路
１２２を含んでいるのが好ましい。該エラーボート論理
回路１２２の動作は、図７に示すようなカウンタ１１
５，１１６の好ましい実施例を考察することによって、
理解可能であろう。図７に示すように、前記カウンタ１
１５，１１６は、クロックイネーブル信号（CLKEN）を
入力し、パイプライン・サンプルポイント１２７，１２
８，１２９においてクロックイネーブルサンプル
“１”，“２”，“３”を出力するパイプライン構造を
使用するのが好ましい。また、各前記カウンタ１１５，
１１６は、カウンタ１３０を含んでいる。前記カウンタ
が出力する２つの分離したサンプルＳ１およびＳ２は、
前記カウンタ１３０のカウント値をサンプルするサンプ
リング回路１３１，１３２によって提供される。そし
て、これらのサンプルは、マルチプレクサ１３３を介し
て前記比較論理回路１１８に出力される。こうして、各
前記カウンタ１１５，１１６は、前記エラーボート論理
回路１２２に対して３つのクロックイネーブルサンプル
を送ると共に、前記比較論理回路１１８に対して２つの
カウンタサンプルを送る。前記待ちカウント値判定にど
のサンプルを使用すべきかは、前記比較論理回路１１８
にその旨指示するエラーボート論理回路１２２によって
決定される。

【００５５】各ＣＰＵのエラーボート論理回路１２２
は、他の２つのＣＰＵの各々がそのカウント値を信用す
るのに十分な程度同期しているか否かを判定する。フォ
ールトトレランスを確実にするため、常時、２つの正常
なプロセッサが独立に同じ決定をし、同期していなけれ
ばならない。前記エラーボート論理回路１２２は、図７
に示すように、３つのクロックイネーブルパイプライン
サンプルを使用して、エラー判定を行う。

【００５６】より詳しくは、前記２つのカウンタの“ス
ナップショット”を一緒に取り扱う前記３つのサイクル
の間、対応するクロックイネーブルがオフした場合、前
記エラーボート論理回路１２２は、前記カウンタサンプ
ルが有効であると判定する。前記イネーブルが実際にオ
フした場合、前記カウント値は安定し、両サンプルは有
効カウントとなる。いずれかの前記クロックイネーブル
サンプルについて、前記エラーボート論理回路１２２が
表明すべきイネーブル信号を検出した場合、前記カウン
ト値は疑わしいものとなる。

【００５７】この判定から、次のような４つのケースが
発生することが考えられる。

【表１】

【００５８】上記表は、３ビットの“クロックイネーブ
ル”パイプラインについての８つの組合わせを示してい
る。前記イネーブルは、時間１でサンプルされ、そして
再び、時間２および時間３でサンプルされる。前記カウ
ンタサンプルは、前記“クロックイネーブル”パイプラ
インの第１のサンプルおよび第３のサンプルと一致す
る。しかし、前記“クロックイネーブル”は、前記カウ
ンタを同期制御するために使用され、また、前記クロッ
クイネーブルパイプラインによって非同期的にサンプル
されるので、１クロックサイクル（クロックの立下が
り）の最中に状態を変化する。前記表１は、さらに、こ
れらの値に基づいてなされる判定を示している。

【００５９】ケース１およびケース４は、明確な結果を
示している。つまり、前記カウンタのスナップショット
は、明らかに、ケース１ではに有効であり、ケース４で
は有効ではない。前記エラーボート線はそれ自身が故障
する可能性があるので、これらのケースではこれを見な
い。ケース２およびケース３では、前記エラーボート論
理回路は、該回路が１つの有効なサンプルを有し、該サ
ンプルを比較に使用可能である旨判定する。しかし、そ
のＣＰＵからのカウント値を含むすべての信号は、疑わ
しく、信用できない。この問題を解決するために、前記
エラーボート論理回路は、内部ＣＰＵバスの一部を構成
するエラーバス１０７により、前記ＣＰＵ間に分配され
た“ボートエラー”信号を使用する。すなわち、前記Ｃ
ＰＵエラーボート論理回路１２２は、疑わしくないＣＰ
Ｕからのボートエラー信号をチェックする。該ＣＰＵと
他のＣＰＵとの間のクロック差により、前記他のＣＰＵ
は使用可能なスナップショットを有していないかもしれ
ない。前記他の疑わしくないＣＰＵがそのボートエラー
信号をハイ状態に駆動し、有効なレジスタサンプルを有
さない旨示した場合、前記エラーボート論理回路１２２
はそのサンプルも使用しない。しかし、そうでないない
場合には、前記エラーボート論理回路１２２は、その有
効なスナップショットを比較に使用する。いずれにせ
よ、エラーステータス情報は、バスインターフェース５
６を介して、バス２１によって通知される。

【００６０】両前記ＣＰＵが疑わしいものである場合、
その判定をしたＣＰＵは故障したユニットであり、それ
がどのような判定を行うのかは重要ではない。前記他の
ＣＰＵは、このＣＰＵを無視するボーティングを行い、
同期状態のまま動作を続行する。前記エラーボート論理
回路１２２は、プログラマブル論理デバイス（ＰＬＤ）
によって前記表１の判定結果を実行するのが好ましい。

【００６１】図８には、ドリフト除去同期論理回路１２
４を介して、前記クロックドリフト除去同期動作を開始
する前記ソフトウエアルーチンが示されている。図４、
図５および図６に関して上述したように、タイマ１２５
は、線１２６を介して、図８のクロックドリフト除去ル
ーチンを開始するための割り込み信号を、定期的に発す
る。前記タイマ１２５は、例えば３２クロックサイクル
である所望の範囲を超えるクロック除去を防止するのに
十分な頻度の割り込み信号を出力するようになってい
る。例えば、１０ミリ秒タイマ１２５が適当である。し
かし、許容可能なクロックサイクルドリフト量、およ
び、特定のシステムに関するクロックサイクルドリフト
量に応じて、前記タイマ１２５は調節されてよい。

【００６２】好ましくは、前記タイマ１２５は、タイム
アウト時に、高い優先度の割り込み信号を出力する。こ
の高優先度の割り込み信号は、各前記ＣＰＵ―Ａ、ＣＰ
Ｕ―Ｂ、ＣＰＵ―Ｃにおける、同一のクロックサイクル
であるが、異なる実時間時点において発生されることに
なる。この高優先度の割り込み信号は、カーネルコード
に基づき、図８のルーチンを呼出す。このルーチンは、
前記ＣＰＵにおいてペンディング中のすべての処理を完
了させ、各前記ＣＰＵの同期回路１２４に対して、ドリ
フト除去動作を行うよう指示するものである。これは、
各前記ＣＰＵに異なる長さの機能一時機能停止を課す前
記同期回路１２４に与えられる、特別の読出し命令を使
用することによって実現されるのが好ましい。図９およ
び図１０に関して後で詳述するように、この同期が完了
すると、各前記ＣＰＵは、実時間に関して略整列したク
ロックカウントを開始することになる。

【００６３】より詳しくは、図８においてステップ１４
０では、前記タイマ１２５からの割り込み信号に応答し
て、前記ＣＰＵのレジスタの状態をセーブする。その状
態をセーブすべき特定のレジスタは、特定のＣＰＵが割
り込み処理する方法に応じて決まる。あるＣＰＵにおい
ては、このステップは省略してよい。次に、ステップ１
４４において、前記割り込み信号が前記同期用のタイマ
１２５（図４、図５および図６）によって発生されたも
のであるか否かを判定する。該ステップ１４４は、例え
ば、前記割り込み信号の発生源を確認するために、割り
込み原因レジスタを調べることからなっていてよい。該
ステップ１４４では、前記割り込み原因判定の結果に応
じた分岐がなされる。前記割り込み信号が前記同期用の
タイマ１２５からではない場合、このルーチンは通常の
割り込み処理を行う。このような場合、図１５〜図１９
に関して後述する方法で、前記割り込み信号はクロック
カウントに予め整列されている。ステップ１４４におい
て、前記割り込み信号が前記同期用のタイマ１２５から
であると判定された場合、このルーチンはステップ１４
６に進む。

【００６４】ステップ１４６では、前記ルーチンは、前
記ＣＰＵに対して、各ＣＰＵのプロセッサ４０（図２）
によって現在実行されているすべての処理を完了するよ
う指示する。ステップ１４６におけるこれらの命令によ
り、各前記プロセッサ４０で処理されている命令ストリ
ームは、先に進行する前に、現在の処理が完了するのを
待つ。例えば、MIPS Computers Inc.,によって設計され
た図２に関して上述したR4000は、並列的に処理動作
（浮動小数点処理および固定小数点乗算／除算処理）可
能な２つの分離したユニットを有する。このようにし
て、図８のステップ１４６におけるR4000に対する適当
な命令は、（１）すべての浮動小数点処理を終了する命
令、および（２）すべての整数乗算／除算処理を終了す
る命令を含むことになる。ステップ１４６においてすべ
てのペンディング中の処理を完了する命令が前記プロセ
ッサ４０に送られた後、このルーチンはステップ１４８
に進む。 ステップ１４８では、好ましい実施例におい
て、前記プロセッサバスが同期ルーチンの間要求されな
いよう、前記割り込み信号は前記プロトコル変換回路に
よって不能化される。図８のステップ１５０では、前記
同期ルーチンは、タイマ１２５をクリアし、該タイマ１
２５に対するカウント入力を不能化する。このルーチン
は高優先度に応答する場合以外に呼出されるので、タイ
マ１２５をクリアすることによって、図８に示された異
なる長さの一時機能停止の間にタイムアウトしないこと
が保証される。

【００６５】ステップ１５２では、このドリフト除去同
期ルーチンは、前記同期回路１２４（図４、図５および
図６）によるドリフト除去同期処理を開始するための、
特別読出しコマンドを発する。図８のステップ１５２に
おいて、この特別読出しコマンドは、ドリフト除去処理
を開始する“同期レジスタ読出し”として示されてい
る。ステップ１５４において、このルーチンは、同期回
路１２４によって前記ドリフト除去同期処理が完了され
るまで、他のすべての外部の可視イベントおよび制御可
能イベントを一時機能停止させる。

【００６６】ステップ１５６の判定処理に示すように、
前記同期回路１２４から解放信号が入力されたことが検
出されるまで、前記同期ルーチンは、すべての命令の実
行一時機能停止を維持する。前記同期回路１２４から解
放信号が入力されたことが検出されると、このルーチン
は、ステップ１５８において前記割り込み信号を再び可
能化し、前記タイマ１２５が、クリアされ再び可能化さ
れる。最後に、ステップ１６０において、前記ＣＰＵが
クロックサイクルのみならず実時間に関しても整列した
状態で、前記命令ストリームが再開される。

【００６７】図９には、前記同期回路１２４の好ましい
実施例がブロック図で示されている。さらに、図１０に
は、ＣＰＵ―Ａが最も速い発振器を持つＣＰＵであると
仮定した場合における、図９の線ＳＹＮＣ＿Ａ、ＳＹＮ
Ｃ＿Ｂ、ＳＹＮＣ＿Ｃにおける信号のタイミングを示す
図である。図９および図１０において、図８のソフトウ
エアによる同期ルーチンの同期レジスタ読出しステップ
１５２が完了すると、その命令は、復号され、前記同期
回路１２４の同期レジスタ１６２に与えられる。該同期
レジスタ１６２に与えられる同期レジスタ読出し命令の
復号によって、前記同期レジスタの出力は例えばローか
らハイに変化し、該出力は、図１に示したＣＰＵ間バス
１８の一部を構成する同期バス１０５に与えられる。例
えば、図９に示した回路がＣＰＵ―Ａに対応するもので
ある場合、前記同期レジスタ１６２の出力は、同期バス
１０５のＳＹＮＣ＿Ａ に与えられる。ＣＰＵ―Ｂおよ
びＣＰＵ―Ｃにおける対応する同期回路の同期レジスタ
の出力は、ＳＹＮＣ＿ＢおよびＳＹＮＣ＿Ｃにそれぞれ
接続される。このように、前記ＣＰＵ―Ａの発振器が前
記３つのＣＰＵの中で最も速いと仮定した場合、前記Ｓ
ＹＮＣ＿Ａの出力変化が、ＳＹＮＣ＿Ａに最初に現れ
る。ＳＹＮＣ＿Ａによるこの出力は、各前記ＣＰＵの同
期ボーティング回路１６４に送られる。

【００６８】図９に示すように、前記同期ボーティング
回路１６４は、入力端子Ａ、Ｂ、Ｃにおいて、各前記Ｃ
ＰＵからの同期信号をそれぞれ入力する。これらの入力
は、前記ＳＹＮＣ＿Ａ、ＳＹＮＣ＿ＢおよびＳＹＮＣ＿
Ｃによって与えられるパルスを、該信号を入力するＣＰ
Ｕのローカルクロックに整列させるクロック整列回路１
６６、１６７を介して与えられる。例えば、準安定性を
除去し、前記入力を前記ローカルクロックに整列させる
ために、前記クロック整列回路１６６、１６７に対応す
る、前記ローカルクロックパルスを入力する１対のフリ
ップフロップを各線に設けてよい。

【００６９】最初の同期パルスが前記同期ボーティング
回路に入力された後、該回路は、同期バス１０５による
次の同期パルスを入力可能状態になる。図１０に示すよ
うに、次の同期パルスはＳＹＮＣ＿Ｃからのものであ
り、前記ボーティング回路では、線１６８によって、タ
イマ１７０をスタートするためのタイマスタート信号を
出力する。該タイマ１７０は、前記ＣＰＵ間で許容され
るドリフトに対応する所定数のクロックパルスで、カウ
ントするよう設定されている。例えば、上述のごとく前
記ＣＰＵを３２クロックサイクルのドリフト範囲内に維
持したい場合、前記タイマ１７０は、３２クロックパル
スで、または、好ましくは、わずかなクロック不整列を
許容するためにこれより数クロックカウント多いクロッ
クパルスで、タイムアウトするよう設定してよい。前記
タイマ１７０が前記カウント値に達すると、線１７２に
よって、前記同期ボーティング回路に対してタイムアウ
ト信号が送られる。

【００７０】前記同期ボーティング回路が２番目の同期
パルスを入力すると、該ボーティング回路は、３番目の
同期パルスが前記タイマ１７０によって設定された時間
リミット内に入力された否か、または、最初にタイムア
ウトが発生したか否かを判定するために待ち。前者の場
合、３つのＣＰＵのすべてが例えば３２クロックサイク
ルである許容可能なクロックドリフトの範囲内というこ
とになり、前記ボーティング回路は、前記命令ストリー
ムの処理を続行するために前記ＣＰＵを解放してもよ
い、と判定する。これは図１０のタイミングチャートに
示されており、ここでは、３番目に発生する同期パルス
ＳＹＮＣ＿Ｂはタイマ１７０のタイマアウトの前に発生
し、解放パルスは図示のように発生する。この解放パル
スは、同期ボーティング回路１６２４によって線を介し
て与えられて、同期レジスタ１６２をリセットし、ま
た、前記バスインターフェース回路５６（図２）に与え
らる。こうして、該バスインターフェース回路５６は、
プロトコル変換回路５０を介して、前記プロセッサ４０
に前記解放信号を与える。この同期ボーティング処理
は、前記３つのＣＰＵにおいて同時に行われる。また、
前記解放は前記３番目に発生する同期パルス（図１０の
例では、ＳＹＮＣ＿Ｂ）によって同時に開始されるの
で、前記解放信号は、各前記ＣＰＵにおいて、１つまた
は２つのクロックサイクルの範囲内に発生されることに
なる。このようにして、各前記ＣＰＵは、解放されて、
実時間に関して１つまたは２つのクロックサイクルの範
囲内に整列された前記命令ストリームの処理を続行する
ことになる。

【００７１】一方、前記同期ボーティング回路から前記
３番目に発生する同期パルスが入力される前に、前記タ
イマ１７０がタイムアウトした場合、前記解放信号は前
記２つの一時機能停止したプロセッサのみにおいて発生
され、前記回路は線１７６を介してエラー信号を発す
る。このエラー信号は、前記３つのＣＰＵが、相互に、
前記許可されたクロックドリフトの範囲内にないという
ことを示し、エラー割り込みルーチンを開始する。従っ
て、前記同期回路１２４は、比較的簡単な構成により、
前記割り込み用のタイマ１２５（図４、図５および図
６）に応答して定期的に、前記３つのＣＰＵを、実時間
に関して１つまたは２つのクロックサイクルの範囲内に
整列することができる。

【００７２】ローカルメモリリフレッシュ制御：図１１
〜図１４には、前記ローカルメモリ１６（図２）のリフ
レッシュ動作を制御するメモリ制御回路６０およびリフ
レッシュタイ７１の動作を説明するものである。図１１
には、リフレッシュタイマ７１がブロック図で示されて
いる。上述のごとく、前記ローカルメモリ１６は、格納
したデータの損失を防止するために定期的にリフレッシ
ュされる必要のあるダイナミックランダムアクセスメモ
リ（ＤＲＡＭ）であるのが好ましい。このタイマ７１
は、前記ローカルメモリ１６に使用されるＤＲＡＭの特
定の設計仕様に応じて、前述のようなデータ損失を防止
するのに十分高速でリフレッシュがなされる、ことを保
証するものである。このため、前記リフレッシュタイマ
７１は、線１８２によってそのカウント入力端子にクロ
ック信号カウンタ１８０を使用している。このカウンタ
１８０は、所望のリフレッシュ速度に応じた所定数のク
ロックサイクル後にタイムアウトするよう、設定されて
いる。このカウンタ１８０のタイムアウト信号は、線１
８４を介して、第２のカウンタ１８６に出力される。該
第２のカウンタ１８６は、２つ以上のリフレッシュ要求
が前記ローカルメモリ１６による実行を待ちながら“蓄
積”されるのを可能にする。該第２のカウンタ１８６
は、線１８４を介して、そのカウントアップ入力端子
に、カウンタ１８０からの出力を入力する。前記カウン
タ１８６のカウント値が０より大きい場合、該カウンタ
１８６は、その出力端子からリフレッシュ要求信号を出
力する。このローカルメモリリフレッシュが完了する
と、リフレッシュ完了信号がカウンタ１８６のカウンタ
ダウン入力端子に与えられ、該カウンタ１８６のカウン
ト値がデクリメントされる。

【００７３】このようにして、前記第１のカウンタ１８
０の幾つかのカウンタ出力は、第２のカウンタ１８６に
蓄積され、該カウンタ１８６のからの継続的なリフレッ
シュ要求出力が維持される。該リフレッシュ要求は、前
記リフレッシュ完了信号が前記第２のカウンタ１８６を
０にデクリメントした時に、終了される。これにより、
前記ダイナミックなローカルメモリを特定のＤＲＡＭの
仕様の範囲内に維持するために必要な数のリフレッシュ
を維持するために、便利な方法が提供される。図１２、
図１３および図１４は、幾つかの異なるシナリオにおい
て、ローカルメモリ制御回路６０によって行われるリフ
レッシュを説明するタイミングチャートである。

【００７４】図１２、図１３および図１４に示すよう
に、前記ローカルのクロック信号の他に、４つの信号が
ローカルメモリ制御回路６０に与えられる。該４つの信
号は、前記制御回路６０によってリフレッシュタイミン
グを制御するために使用される。より詳しくは、前記ロ
ーカルメモリ制御回路６０は、前記プロセッサ４０から
直接に第１の警告信号（VALID OUT）を入力する。図３
に関して上述したように、第２の警告信号（LM WARNIN
G）および第３の警告信号（LM OP）は、共に、前記プロ
トコル変換回路５０から入力される。前記リフレッシュ
要求信号は、リフレッシュタイマ７１から与えられる。
これらの信号は、ローカルメモリ制御回路６０によっ
て、前記ＤＲＡＭに対するタイミング信号を制御してリ
フレッシュを制御するために使用される。特に、前記ロ
ーカルメモリ制御回路６０は次のような信号を発生す
る。

【００７５】CAS ENABLE信号：CAS信号を可能化する
（ローカルメモリ１６にインターリーブメモリバンクが
使用される場合、その代りに、該インターリーブメモリ
の２つのバンクのうちのどちらがローカルメモリ制御回
路６０によってアドレスされるかを制御する偶数／奇数
タイミング信号が与えられる）。 CAS信号： ＤＲＡＭにおける桁のアドレスを知らせるた
めに通常使用されるコラムアドレスストローブ信号。RA
S ENABLE信号。 RAS信号：前記ＤＲＡＭ内の行アドレスを選択するロー
アドレスストローブ信号。 図示されたリフレッシュ制御においては、RAS信号の前
に前記ＤＲＡＭに対してCAS信号を与えることによっ
て、前記ＤＲＡＭのリフレッシュが開始され、次に、RA
S信号に応答したリフレッシュが行われる。通常のＤＲ
ＡＭ制御においては、メモリ読出しまたは書込みは、最
初にRAS信号そしてアドレスすべきＤＲＡＭ内の行を特
定するアドレスを与え、次に、CAS信号そしてアドレス
すべき桁を特定するアドレスを与えて、前記ＤＲＡＭの
アドレス空間のメモリ位置を特定することによって、行
われる。図１２、図１３および図１４に示すようにRAS
信号の前にCAS信号を与えることによって、前記ＤＲＡ
Ｍには、メモリ読出しまたは書込み動作とは異なる、リ
フレッシュ要求が通知される。しかし、他の設計のＤＲ
ＡＭが、異なる信号を使用してメモリリフレツシュを行
うようにしてもよく、従って、図示された信号は、現在
の通常の設計によるＤＲＡＭを組込んだ好ましい実施例
を単に例示するものにすぎない。

【００７６】図１２、図１３および図１４に示すリフレ
ッシュ制御タイミングを制御するためのタイミング信号
は、前記ローカルメモリ１６が前記プロセッサ４０によ
ってアクセスされていない時にのみ、ローカルメモリ１
６のリフレッシュが行われる、ということを保証するも
のである。このようにして、前記ローカルメモリ１６に
対するアクセスを伴うプロセッサの実行サイクルは、決
して、リフレッシュのために一時機能停止されない。こ
のような一時機能停止は、各々のＣＰＵ間における様々
な潜在的な同期上の問題を発生する。

【００７７】これは、前記ローカルメモリ１６に対する
潜在的なアクセスを示す、連続してより高度になる復号
化表示を提供する前記３つの警告信号をモニタすること
によって実現される。これらの信号は、前記プロセッサ
４０からのローカルメモリアクセス要求による限定に応
じて、リフレッシサイクルを一時機能停止したり中断し
たりするために、前記ローカルメモリ制御回路６０によ
って使用される。この３段階の警告処理により、前記プ
ロセッサ４０によるローカルメモリに対するアクセスの
前に、ローカルメモリリフレッシュを中断したり、また
は、完了するための十分な時間が保証され、これによ
り、前記プロセッサ４０から前記リフレッシュ動作を完
全に隠蔽することができる。

【００７８】前記プロトコル変換回路５０に関して上述
したように、前記プロセッサ４０が前記プロトコル変換
回路５０に対してあるコマンドを送っている旨示す前記
第１の警告信号(VALID OUT）は、前記プロセッサ４０か
ら直接に前記ローカルメモリ制御回路６０に送られる。
こうして、前記ローカルメモリ１６に対するアクセスに
ついて、最先ではあるが、ローカルメモリ要求が実際に
与えられたという確実性が最も小さい予告がなされる。
すなわち、前記VALID OUT信号は、そのうちの１つのみ
がローカルメモリ１６に対するメモリサイクルである、
多数の動作を示す。故に、前記第１の警告信号(VALID O
UT）を入力した時、前記ローカルメモリ制御回路６０
は、単に、前記第２の警告信号が入力したか否かの判定
を行うのに十分な時間にわたり、ローカルメモリリフレ
ツシュを遅延させる。

【００７９】図示例において、前記プロセッサ４０から
の第１の警告信号(VALID OUT）の入力は、前記メモリ制
御論理がそのサイクルでリフレッシュを行った場合にの
み、ローカルメモリリフレツシュを１クロックサイクル
遅延させる。１クロックサイクルは、前記プセッサ信号
を処理するプロトコル変換回路５０が、前記ローカルメ
モリに対する要求を処理している旨示す第２の警告信号
（LM WARNING）を発するのに十分な時間である。リフレ
ッシュが開始される前に前記第２の警告信号がローカル
メモリ制御回路６０に入力された場合、メモリリフレッ
シュは、無限に、つまり、前記LM WARNING信号がオフさ
れるまで遅延される。最後に、前記第３の警告信号（LM
OP）は、前記ローカルメモリに対するアクセスが前記
プロセッサ４０によって要求された旨、および、数サイ
クル後に前記制御回路６０がローカルメモリアクセス要
求（LM START）を入力する旨示すものである。前記第３
の警告信号（LM OP）の入力は、思惑的なメモリリフレ
ッシュサイクルをキャンセルし、前記プロセッサからの
アクセス要求を実行するよう前記メモリを準備させる。

【００８０】従って、プロセッサ命令に関する異なる復
号レベルに対応する前記３つのレベルの警告信号を使用
することによって、本発明では、前記プロセッサによる
ローカルメモリアクセスの前に、ローカルメモリリフレ
ッシュが完了するか、または、このようなアクセスを可
能にするために中断されるようになっている。このよう
にして、前記ローカルメモリリフレッシュは前記プロセ
ッサから完全に隠蔽され、このフォールトトレラント型
コンピュータシステムの多重ＣＰＵの間における同期目
的を達成する際、前記ローカルメモリリフレッシュは無
視されることができる。前記リフレッシュ制御の隠蔽を
確実にするために各種信号が使用される方法は、図１
２、図１３および図１４にそれぞれ示された３つの例を
考察することによって、より明確に理解されると思う。

【００８１】図１２において、前記プロセッサ４０から
のローカルメモリアクセスを示す警告信号に基づいて、
中断なく行われるローカルメモリリフレッシュが示され
ている。このため、図１２から理解されるように、前記
３つの警告信号の各々は、リフレッシュ処理の間中、ロ
ーレベルである。（なお、場合によっては、耐ノイズ性
を高めるため、反転された信号が使用されるのが好まし
い）。リフレッシュを開始するために、前記リフレッシ
ュタイマ７１からのリフレッシュ要求信号は、リフレッ
シュされる前記ＤＲＡＭの設計上の要件に従うリフレッ
シュの必要を示す、ハイレベルになっている。ローカル
メモリ警告信号が検出されていないので、このリフレッ
シュ要求信号は、思惑的なリフレッシュを知らせるCAS
ENABLE信号をオンする。半クロックサイクル後、ローカ
ルメモリ制御回路６０によって、CAS信号が前記ＤＲＡ
Ｍに出力される。RAS信号の前に前記ＤＲＡＭに与えら
れるCAS信号は、前記ＤＲＡＭに対して、リフレッシュ
が要求されている旨知らせるので、前記ＤＲＡＭは、前
記RAS信号が該ＤＲＡＭに与えられた時に、リフレシュ
を開始する。CAS信号から半クロックサイクル後、前記
ローカルメモリ制御回路６０には警告信号が入力されな
いので、RAS ENABLE信号がハイレベルになり、次の半ク
ロックサイクル後、RAS信号自体がハイレベルになる。

【００８２】さらに図１２に示すように、ハイレベルに
なったRAS ENABLE信号はCAS ENABLE信号をローレベルに
し、こうして、CAS信号がローレベルになる。RAS信号お
よびRAS ENABLE信号がハイレベルのままCAS信号がロー
レベルになると、前記ＤＲＡＭは、その内部的なメモリ
リフレッシュを開始する。このリフレッシュは、特定の
ＤＲＡＭ設計に応じて要求されるサイクル数だけRAS信
号が継続した時に、完了される。図１２から分るよう
に、前記リフレッシュは、前記ローカルメモリに対する
前記プロセッサによるアクセスを示す警告信号からの干
渉無しに行われ、また、前記ローカルプロセッサ４０か
ら完全に隠蔽される。

【００８３】図１３には、前記リフレッシュを１クロッ
クサイクル遅延する第１の警告信号が与えられた場合に
おける、前記ローカルメモリ制御回路６０に与えられた
信号、および、該制御回路６０から出力されるメモリ制
御信号のタイミングが示されている。しかし、第２およ
び第３の警告信号は与えられておらず、リフレッシュは
完了まで続行することができる。より詳しくは、図１３
において、図１２のリフレッシュと同様に、先ずCAS EN
ABLE信号がハイレベルになり、次にCAS信号がハイレベ
ルになることによって、リフレッシュ要求信号が思惑的
なリフレッシュを開始する。しかし、この時点におい
て、前記第１の警告信号(VALID OUT）が前記プロセッサ
４０から入力される。

【００８４】図１３において破線で示すように、CAS信
号が入力された後、通常、１クロック内にRAS ENABLE信
号が入力され、その後、次の１クロック内にRAS信号が
入力されることになる。しかし、ローカルメモリ制御回
路６０はCAS信号を出力した後に前記第１の警告信号(VA
LID OUT）を入力するので、図１３の破線と実線との差
によって示すように、前記RAS ENABLE信号が１クロック
サイクル遅延される。同様に、図１３の破線と実線との
差によって示すように、前記RAS信号が１クロックサイ
クル遅延される。このようにしてリフレッシュは１クロ
ックサイクル遅延されるが、第２の警告信号（LM WARNI
NG）は、前記第１の警告信号から所定の時間内、すなわ
ち、１クロックサイクル内には発生されない。このよう
に、図１３の実線で示すように、前記RAS ENABLE線は１
サイクル後にハイレベルになる。このため、前記プロセ
ッサによる要求の以後の復号はリフレッシュを停止する
時間に間に合うよう第２の警告をオンしないので、前記
ローカルメモリリフレッシュ制御は最初の警告に関わら
ず進行する。

【００８５】さらに図１３において、前記第２の警告信
号（LM WARNING）および第３の警告信号（LM OP）に関
する破線部分から分るように、これらの信号が図示のよ
うに発生しても、ローカルメモリリフレッシュは実行さ
れ進行する。しかし、前記プロセッサによるローカルメ
モリアクセスの開始を示すLM START信号によって示され
る（破線のタイミング信号として示される）ように、こ
のアクセスは、ローカルメモリのリフレッシュ完了前に
は要求されない。故に、リフレッシュ実行時点は、リフ
レッシュが実行されると、前記メモリに対するアクセス
が前記プロセッサによって要求される前に完了するよ
う、設定される。

【００８６】図１４には、前記第１、第２および第３の
警告信号の適当なシーケンスによって通知されるローカ
ルメモリアクセスによってメモリリフレッシュがキャン
セルされる場合における、前記ローカルメモリリフレッ
シュ制御のタイミングシーケンスが示されている。より
詳しくは、図１４に示すように、リフレッシュ要求信号
が思惑的なリフレッシュサイクルを開始するCAS ENABLE
信号を開始した後、第１の警告信号(VALIDOUT）がロー
カルメモリ制御回路６０に与えられる。破線で示すよう
に、RAS ENABLE信号が第１の状態から第２の状態に変化
することによって、これは前記RASENABLE信号を１クロ
ックサイクル遅延させる。RAS信号も遅延される。次
に、前記RAS ENABLE信号がローレベルからハイレベルに
変化する前に、第２の警告信号（LM WARNING）が入力さ
れる。図１４の第２および第３の破線組によって示すよ
うに、これは、前記RAS ENABLE信号がおよびRAS信号を
さらに２クロックサイクル遅延させる。さらに、図１４
に示すように、最後に、前記第３の警告信号（LMOP）は
CAS ENABLE信号をオフし、これにより、ローカルメモリ
リフレッシュ動作が、ローカルメモリ制御回路６０によ
ってキャンセルされる。

【００８７】例えば、図１４に示すように、前記第３の
警告信号（LM OP）は、RAS信号がハイレベルになる前に
CAS ENABLE信号およびCAS信号をハイレベルからローレ
ベルに変化させ、通常のＤＲＡＭのためにリフレッシュ
動作を示す必要をなくすために使用可能である。LM STA
RT線およびメモリアクセス表示によって示されるよう
に、前記メモリアクセスは、リフレッシュ動作がキャン
セルされた後に開始される。こうして、前記プロセッサ
によるローカルメモリに対するアクセスは、中断された
リフレッシュ動作が前記プロセッサ４に与えられている
旨の表示無しに、進行する。前記第１および第２の警告
信号(VALID OUTおよびLM WARNING）は、リフレッシュサ
イクルの実行のみを遅延させる。前記リフレッシュ要求
信号および第３の警告信号は、思惑的なリフレッシュサ
イクルの開始またはキャンセルを制御する。

【００８８】図１２、図１３および図１４に示し上述し
た成功したリフレッシュ動作および中断されたリフレッ
シュ動作の例から理解されるように、この発明は、前記
プロセッサによるアクセス動作に大きな影響を与えるこ
となく、前記プロセッサによるメモリアクセスが可能に
なる前にリフレッシュが適切に完了するか、または、こ
のようなメモリアクセスを可能にするためにメモリリフ
レッシュを中断することを可能にする。故に、リフレッ
シュを可能にし、または、該リフレッシュに対して特定
のタイミングシーケンスで中断することを可能にするた
めに、前記ローカルメモリ制御回路６０によって使用さ
れる警告信号のシーケンスは、前記プロセッサからリフ
レッシュ動作を隠蔽することができる。

【００８９】このリフレッシュ動作の隠蔽は、フォール
トトレラント型コンピュータシステムの多重のＣＰＵ間
における付加的な複雑化を回避する。これにより、後で
説明する外部割り込みボーティングと同様にリフレッシ
ュ要求をボートしなければならない、潜在的に複雑なボ
ーティング用ハードウエアを不要にする。さらに、リフ
レッシュが隠蔽されるので、前記プロセッサは、決し
て、リフレッシュのために遅延されず、前記ローカルメ
モリに対するアクセスを待つことを強要されない。

【００９０】割り込み同期：図１のシステムの前記３つ
のＣＰＵは、単一の論理的プロセッサとして機能するこ
とが要求されているので、該３つのＣＰＵのプログラミ
ングモデルが単一の論理的プロセッサのモデルであるこ
とを保証するために、これらのＣＰＵはその内部状態に
関してある制限に従う必要がある。故障モードおよび診
断モードの場合を除き、前記３つのＣＰＵによって実行
される命令ストリームは同一でなければならない。同一
でない場合、グローバルメモリに対するアクセスをボー
トするのが難しくなる。つまり、この場合、ボーティン
グ回路は、１つのＣＰＵが故障しているか否か、つま
り、該ＣＰＵが他とは異なる命令シーケンスを実行して
いるか否かを知ることができない。上述した同期は、故
障が発生していない限り、ＣＰＵのＩ／Ｏ要求により、
いずれかのＣＰＵのコードストリームが他のＣＰＵのコ
ードストリームから逸脱しない、ことを保証する。しか
し、外部割り込み同期も必要である。

【００９１】前記３つのＣＰＵ−Ａ、ＣＰＵ−Ｂおよび
ＣＰＵ−Ｃが割り込みの結果相互に逸脱しないことを保
証するために、すべての割り込みは、特定のクロックカ
ウントに同期して発生する必要がある。しかし、異なる
クロックカウント値で発生する割り込み前記ＣＰＵのコ
ードストリームを相互に逸脱させるシナリオはいくつか
存在する。例えば、処理Ａが完了する前に１つのＣＰＵ
における文脈を変化させるが、他のＣＰＵでは処理Ａが
完了した後に前記文脈を変化させる割り込みは、ある時
間後に、一方のＣＰＵは処理Ａを実行しつづけている
が、他方のＣＰＵは処理Ａがすでに完了しているので該
処理Ａを実行できない、という状況を発生する。このよ
うな場合、異なる命令について割り込みが発生すると、
異常プログラムカウンタが異なる、という事実によって
問題が発生する。前記異常プログラムカウンタの値をグ
ローバルメモリに書き込む動作により、前記ボーティン
グ回路は前記３つのＣＰＵと異なるデータを検出し、ボ
ートエラーが発生する。

【００９２】前記ＣＰＵにおける一定種類の異常は、本
来的に、クロックカウントに同期するものである。１つ
の例は、区切り点命令の実行によって発生する区切り点
異常である。前記ＣＰＵの命令ストリームは同一である
ので、前記区切り点異常は、前記３つのＣＰＵのすべて
において同じ命令で発生する。同様に、このような内部
異常のすべては、本来的に、命令ストリームに同期して
発生する。外部異常は、本来的に、各ＣＰＵのクロック
カウントに同期しない。Ｉ／Ｏ装置２６，２７または３
０は、前記３つのＣＰＵ１１，１２，１３の仮想時間に
ついての情報を有さない。故に、後で説明するように、
これらのＩ／Ｏ装置によって発生されるすべての割り込
みは、前記ＣＰＵに与えられる前に、クロックカウント
に同期されなければならない。

【００９３】外部装置は、これらのＣＰＵを１つの論理
的プロセッサとみなし、前記ＣＰＵ間の同期または同期
不足についての情報を有さないので、各前記ＣＰＵの個
々の命令ストリームと同期した割り込み信号を発生でき
ない。いずれの種類の同期も存在しない場合、ある外部
装置がある実時間において割り込み信号を発生し、該割
り込み信号がこの時点で前記ＣＰＵに対して直接的に与
えられると、前記３つのＣＰＵは異なる命令において割
り込み信号を受けることになり、前記３つのＣＰＵは許
容不能な状態に置かれることになる。これは、実時間に
は同期しているが、各ＣＰＵのクロックカウントには同
期していないイベント（割り込み表明）の一例である。

【００９４】割り込み信号について分散したボートを行
い、所定のサイクルカウント値で割り込み信号を前記プ
ロセッサに与えることによって、割り込み信号は、図１
および図２のシステムの各ＣＰＵのクロックカウントに
同期される。図１５は、図２の割り込み同期論理回路６
５のより詳細なブロック図を示す。各ＣＰＵは、前記メ
モリモジュール１４または１５から延びる線６９または
７０によって送られる外部割り込み信号を入力するディ
ストリビュータ１３５を備えている。この外部割り込み
信号の入力は、クロックサイクルカウンタ５１（図２）
から延びる入力線ＣＣ−４を介して通知される、例えば
カウント値４のような所定のサイクルカウント値で行わ
れる。入力された前記割り込み信号は、前記ＣＰＵ間バ
ス１８を介して、他の２つのＣＰＵに分配される。これ
らの分配される割り込み信号を、ペンディング割り込み
信号と言う。該ペンディング割り込み信号には３グルー
プあり、１つの前記グループは１つのＣＰＵ１１，１２
または１３に対応するものである。ボータ回路１３６
は、前記ペンディング割り込み信号を入力し、前記ＣＰ
Ｕのすべてが前記外部割り込み要求を受け取ったことを
確かめるためのボートを行う。

【００９５】次に、この例では入力線ＣＣ−８を介して
入力するサイクル８である、所定のサイクルカウント
（クロックサイクルカウンタ５１で検出したもの）で、
前記ボータ回路１３６は、線１３７を介して、前記プロ
トコル変換回路およびさらに各々のマイクロプロセッサ
４０に対して前記割り込み信号を出力する。前記割り込
み信号を出力するサイクルカウントは予め決められてい
るので、すべての前記マイクロプロセッサ４０は、同じ
クロックカウント値で前記割り込み信号を入力し、こう
して、前記割り込み信号が同期されたことになる。

【００９６】図１６は、前記割り込みをクロックカウン
トに同期させるためのイベントシーケンスを示すもので
ある。ＣＰＵ−Ａ、ＣＰＵ−ＢおよびＣＰＵ−Ｃと表示
された列は、各ＣＰＵのカウンタの実時間時点における
サイクルカウントを示す。ＩＲＱ＿Ａ＿ＰＥＮＤ、ＩＲ
Ｑ＿Ｂ＿ＰＥＮＤおよびＩＲＱ＿Ｃ＿ＰＥＮＤと表示さ
れた列は、前記ＣＰＵ間バス１８を介して前記ボータ回
路１３６の入力端子に接続された割り込みペンディング
ビットの状態を示す（“１”は、前記ペンディングビッ
トがセットされていることを示す）。また、ＩＲＱ＿
Ａ、ＩＲＱ＿ＢおよびＩＲＱ＿Ｃと表示された列は、前
記マイクロプロセッサ４０の割り込み入力ピンの状態
（線１３７上の信号）を示し、ここで、“１”は、前記
入力ピンに割り込みが存在していることを示す。図１６
において、外部割り込み信号（ＥＸ＿ＩＲＱ）は、時点
ｔ0で、線６９に表明つまり出力される。前記ディスト
リビュータ１３５が、サイクルカウント４で、前記割り
込み信号を入力し前記ＣＰＵ間バス１８に分配すると、
ＩＲＱ＿Ｃ＿ＰＥＮＤは時点ｔ1で能動状態になり、Ｉ
ＲＱ＿Ｂ＿ＰＥＮＤは時点ｔ2で能動状態になり、ＩＲ
Ｑ＿Ａ＿ＰＥＮＤは時点ｔ4で能動状態になる。また、
前記割り込みボータ回路１３６が、サイクルカウント８
で、前記割り込みペンディングビットを入力してボート
すると、ＩＲＱ＿Ｃは時点ｔ5で能動状態になり、ＩＲ
Ｑ＿Ｂは時点ｔ6で能動状態になり、ＩＲＱ＿Ａは時点
ｔ8で能動状態になる。その結果、実時間では異なる時
点であるが同じクロックカウント（すなわち、カウント
８）で、前記割り込み信号が各前記ＣＰＵに与えられ
る。

【００９７】図１７は、図１６に示されたアルゴリズム
の変更を要するシナリオを例示するものである。なお、
ここでは、前記クロックサイクルカウンタ５１は、モジ
ュロ８のカウンタである。外部割り込み信号（ＥＸ＿Ｉ
ＲＱ）は時点ｔ3に出力され、前記ディストリビュータ
１３５は、サイクルカウント４で、前記外部割り込み信
号を入力し、前記ＣＰＵ間バス１８に分配する。ＣＰＵ
−ＢおよびＣＰＵ−Ｃは時点ｔ3の前にサイクルカウン
ト４を実行しており、ＣＰＵ−Ａは、時点ｔ4で、前記
外部割り込み信号を入力して分配する。

【００９８】しかし、前記割り込みボータ回路１３６
が、カウントサイクル７で、割り込みペンディングビッ
トを入力してボートする場合、ＣＰＵ−Ａの割り込みボ
ータ回路は、時点ｔ7で、ＩＲＱ＿Ａ＿ＰＥＮＤ信号を
入力する。この時、２つの他の割り込みペンディングビ
ットはセットされない。前記ＣＰＵ−Ａの割り込みボー
タ回路１３６は、すべてのＣＰＵが前記外部割り込み信
号を分配したのではないことを認識し、故に、入力した
割り込みペンディングビットを保持レジスタ１３８に格
納する。また、前記ＣＰＵ−ＢおよびＣＰＵ−Ｃの割り
込みボータ回路１３６は、それぞれ時点ｔ5およびｔ4
で、単一の前記割り込みペンディングビットを入力す
る。前記ＣＰＵ−Ａの割り込みボータ回路１３６と同様
に、前記ＣＰＵ−ＢおよびＣＰＵ−Ｃの割り込みボータ
回路１３６は、すべての割り込みペンディングビットが
セットされたのではないことを認識し、故に、セットさ
れた割り込みペンディングビットを保持レジスタ１３８
に格納する。

【００９９】各ＣＰＵのサイクルカウンタ５１は、サイ
クルカウント７に到達すると、サイクルカウント０から
のカウントを再び開始する。前記外部割り込み信号は依
然として発生されているので、前記ＣＰＵ−ＢおよびＣ
ＰＵ−Ｃの割り込みディストリビュータ１３５は、それ
ぞれ時点ｔ10およびｔ9で、前記外部割り込み信号を入
力する。これらの時間は、サイクルカウントが４になる
時に対応する。時点ｔ12では、前記ＣＰＵ−Ｃの割り込
みボータ回路１３６は、前記ＣＰＵ間バス１８上の割り
込みペンディングビットを入力する。該ボータ回路１３
６は、すべての前記ＣＰＵが前記外部割り込み信号を入
力して分配したと判定し、前記割り込み信号を前記プロ
セッサ４０に与える。次に、時点ｔ13およびｔ15におい
て、前記ＣＰＵ−ＢおよびＣＰＵ−Ｃの割り込みボータ
回路１３６は、前記割り込みペンディングビットを入力
し、前記割り込み信号を前記プロセッサ４０に与える。
その結果、すべての前記プロセッサ４０は、同一の命令
で外部割り込み要求を入力し、前記保持レジスタにセー
ブした情報は必要でなくなる。

【０１００】保持レジスタ：図１７に関して上述した割
り込みシナリオにおいて、前記ボータ回路１３６は、あ
る状態情報をセーブするめたに保持レジスタ１３８を使
用している。とくに、セーブされた状態情報は、前記Ｃ
ＰＵのうちの、すべてではなくいくつかが外部割り込み
信号を入力して分配したという状態を示すものであっ
た。（図１７のシナリオと同様に）該システムが故障を
有さない場合、前述の例に示したように、外部割り込み
信号は保持レジスタ１３８を使用することなく前記クロ
ックカウントに同期可能であるので、この状態情報は必
要ではない。このアルゴリズムでは、前記ボータ回路１
３６が、所定のクロックカウントで、割り込みペンディ
ングビットを入力してボートする。すべての前記割り込
みペンディングビットが入力されると、該割り込み信号
は、所定のクロックカウントで、前記プロセッサ４０に
与えられる。図１７の例において、前記割り込み信号は
サイクルカウント７でボートされる。

【０１０１】さらに、図１７において、ＣＰＵ−Ｃが故
障し、前記割り込みディストリビュータ１３５が正しく
機能しない故障モードであり、このため、割り込み信号
が前記プロセッサ４０に送られる前にすべての割り込み
ペンディングビットがセットされるまで、前記ボータ回
路１３６が待った場合、割り込み信号が与えられないと
いう結果になる。このように、単一のＣＰＵにおける単
一の故障によって、すべてのＣＰＵの全体的な割り込み
連鎖が働かなくなる。前記保持レジスタ１３８は、最後
の割り込みボートサイクルで、前記割り込みペンディン
グビットのすべてではないが、少なくとも１つが入力さ
れた、ということを前記ボータ回路１３６が知るための
機構を提供する。前記最後の割り込みボートサイクル
は、前記ボータ回路１３６が割り込みペンディングビッ
トを入力してボートするサイクルカウントに発生するも
のである。前記割り込みペンディングビットのいくつか
がセットされることになるシナリオは、２つしかない。
そのうちの１番目は、図１７に関して説明したシナリオ
であり、あるＣＰＵにおける割り込み信号分配サイクル
の前ではあるが、他のＣＰＵにおける割り込み信号分配
サイクルの後に、外部割り込み信号が発生する場合であ
る。また、２番目のシナリオは、割り込み信号分配が不
能になる程に、少なくとも１つのＣＰＵが故障する場合
である。

【０１０２】前記割り込みペンディングビットのいくつ
かのみが前記割り込みボートサイクルでセットされる理
由が前記１番目のシナリオである場合、すべての割り込
みペンディングビットが次の割り込みボートサイクルで
セットされる、ということが前記ボータ回路１３６に保
証される。故に、前記保持レジスタがセットされ、すべ
ての割り込みペンディングビットはセットされていな
い、ということを前記ボータ回路１３６が発見した場
合、前記ＣＰＵのうちの１または２つ以上にエラーが存
在するにちがいないということになる。これは、割り込
みが与えられた時に、各ＣＰＵの保持レジスタ１３８が
クリアされ、その結果、前記保持レジスタ１３８の状態
が前記割り込みペンディングビットに関する旧くて無効
な状態を示さない、ということを仮定している。エラー
が発生した場合、前記ボータ回路１３６は、前記プロセ
ッサ４０に割り込み信号を与え、同時に、前記割り込み
同期論理回路においてエラーが発生した旨示すことがで
きる。

【０１０３】前記ボータ回路１３６は、前記割り込みペ
ンディングビットおよび保持レジスタ１３８の状態をチ
ェックすることによって、前記プロセッサ４０に割り込
み信号を与えるべきか否か、および、前記割り込み同期
論理回路におけるエラーを表示すべきか否かを決定す
る。 モジュロサイクルカウンタ：図１７に示した割り込み同
期の例は、割り込みサイクルカウンタ５１をモジュロＮ
（例えば８）のカウンタとして示している。このモジュ
ロＮのカウンタは、割り込みボートサイクルの概念を考
慮することによって、前記割り込みボート要のアルゴリ
ズムの説明が簡略化される。このモジュロＮのカウンタ
によって、前記割り込みボートサイクルは、０からＮ−
１の範囲内の１つのサイクルカウントとして説明可能で
ある（Ｎは前記サイクルカウンタのモジュロ）。前記割
り込みボートサイクルのためにサイクルカウンタのいず
れの値が選択されようと、そのサイクルカウントは、Ｎ
個のサイクルカウントごとに発生するよう保証される。
つまり、図１７の例のようにモジュロ８のカウンタの場
合では、８カウントごとに割り込みボートサイクルが発
生する。ここでは、該割り込みボートサイクルは、単
に、モジュロＮのカウンタの定期性を説明するために使
用されている。モジュロＮのカウンタの特定のサイクル
カウントに基づくイベントは、Ｎ個のサイクルカウント
ごとに発生するよう保証される。

【０１０４】Ｎの値は、該システムにプラスの影響を与
えるシステムパラメータを最大にし、且つ、該システム
にマイナスの影響を与えるシステムパラメータを最小に
する、よう設定される。先ずパラメータのいくつかを説
明すると、次のようである。ＣvおよびＣdは、それぞ
れ、割り込みボートサイクルおよび割り込み分配サイク
ルである（図１５の回路では、これらは、それぞれ、入
力ＣＣ−８およびＣＣ４である）。ＣvおよびＣdの値
は、０からＮ−１の範囲内でなければならない（Ｎは前
記サイクルカウンタのモジュロである）。Ｄmaxは、前
記同期論理回路によって許容可能な前記３つのＣＰＵ間
におけるクロックカウントドリフト最大量である。該ド
リフトは、ある実時間時点において各ＣＰＵからクロッ
クカウントのスナップショットを取り出すことによって
検出される。該ドリフトは、モジュロＮの減算として、
最も速いＣＰＵのサイクルカウント値から最も遅いＣＰ
Ｕのサイクルカウント値を減算することによって算出さ
れる。このＤmaxの値は、ＮならびにＣvおよびＣdの関
数として与えられる。

【０１０５】先ず、ＤmaxはＣｖ−Ｃｄの差分の関数と
して与えられ、この減算はモジュロＮの減算として行わ
れる。これは、Ｄmaxを最大化するＣvおよびＣdの値を
選択することを可能にする。ここで、図１８のシナリオ
を考察する。ここで、Ｃd＝８およびＣv＝９とする。図
１８から、前記ＣＰＵ間のドリフトは、Ｄmax＝４であ
ると算出可能である。線６９上の外部割り込み信号は、
時点ｔ4に入力される。この場合、ＣＰＵ−Ｂは、時点
ｔ5で、前記割り込み信号を入力して分配する。その
後、ＣＰＵ−Ｂは、時点ｔ6で、割り込みペンディング
ビットを入力してボートする。ＣＰＵ−Ｂは、ＣＰＵ−
Ａが前記割り込み分配サイクルを実行する前に、その割
り込みボートサイクルを実行するので、このシナリオは
上述した割り込み同期アルゴリズムと一致していない。
このシナリオに関する欠点は、前記ＣＰＵがＣvとＣdと
の差分以上にドリフトすることである。

【０１０６】その関係を式にすると Ｃv−Ｃd ＜ Ｄmax−ｅ 式（１） であり、ここで、ｅは、前記割り込みペンディングビッ
トが前記ＣＰＵ間バス１８によって伝播するのに要する
時間である。前の例においては、ｅはゼロであると仮定
されていた。掛時計時間はクロックサイクル（ランサイ
クル）インクリメント時に量子化されているので、ｅも
量子化可能である。このようにして、前記式は Ｃv−Ｃd ＜ Ｄmax−１ 式（２） となり、ここで、Ｄmaxは整数のクロックカウント値と
して表されている。次に、前記最大ドリフトはＮの関数
として示すことができる。図１９は、Ｎ＝４で、ＣＰＵ
間ドリフトがＤ＝３であるシナリオを例示している。こ
こで、Ｃd＝０とする。各前記ＣＰＵのサイクルカウン
ト０に付記した下付文字は、命令サイクルカウントの商
部分（Ｑ）を示すものである。前記サイクルカウントは
モジュロＮで示されているので、前記サイクルカウンタ
の値はＩ／Ｎの余りである（ここで、Ｉは時点ｔ0以後
実行された命令の数である）。前記命令サイクルカウン
トの商部分（Ｑ）は、Ｉ／Ｎの整数部分である。前記外
部割り込み信号が時点ｔ3で発生された場合、ＣＰＵ−
Ａは、時点ｔ4で、この割り込み信号を入力して分配
し、ＣＰＵ−Ｂは、時点ｔ5で、その割り込み信号分配
サイクルを実行する。前記ＣＰＵ−Ａに関する割り込み
信号分配サイクルはＱ＝１を有し、前記ＣＰＵ−Ｂに関
する割り込み信号分配サイクルはＱ＝２を有するので、
これは問題を生じる。

【０１０７】しかし、前記同期論理回路は、あたかも問
題が全く無いかのように動作し続け、同等のサイクルカ
ウント値において、前記割り込み信号を前記ＣＰＵに与
える。しかし、各前記ＣＰＵのＱが異なるので、前記割
り込み信号は異なる命令において各々ＣＰＵに与えられ
る。故に、Ｎの関数としてのＤmaxの関係式は Ｎ／２ ＞ Ｄmax 式（３） となり、ここで、Ｎは偶数であり、Ｄmaxは整数のサイ
クルカウントとして表される。（これらの不等式（２）
および（３）は、サンプリング定理におけるナイキスト
理論と同等のものとして示すことができる。）これら式
（２）および（３）を組合わせると、 Ｃv−Ｃd ＜ （Ｎ／２）−１ 式（４） となり、これにより、特定のＮの値に関して、最適なＣ
vおよびＣdの値を選択可能になる。

【０１０８】すべての上記式は、Ｎをできる限り大きな
値にすべきことを示唆している。Ｎを小さな値にしよう
とする唯一の要素は、割り込み待ち時間である。該割り
込み待ち時間は、線６９による外部割り込み信号の出力
と、線１３７による前記マイクロプロセッサに対する前
記外部割り込み信号の入力との間の時間間隔である。前
記割り込み待ち時間を決定するためにどのプロセッサを
使用すべきかは、明確に選択できない。前記３つのプロ
セッサは、クロック１７の水晶発振器のわずかな差によ
り異なる速度で動作するものである。すなわち、最も速
いプロセッサ、最も遅いプロセッサ、および、その他の
プロセッサが存在することになる。該システムの性能
は、最終的に、最も遅いプロセッサの性能によって決ま
るので、前記最も遅いプロセッサを基準として前記割り
込み待ち時間を規定するのが適当である。最長の割り込
み待ち時間は、 Ｌmax ＝ ２Ｎ―１ 式（５） ここで、Ｌmaxはサイクルカウント値で表した最長割り
込み待ち時間である。この最長割り込み待ち時間は、最
も速いプロセッサの割り込み信号分配サイクルＣdの後
であるが、最も遅いプロセッサの割り込み信号分配サイ
クルＣdの前において、前記外部割り込み信号が出力さ
れたときに、発生する。

【０１０９】平均的な割り込み待ち時間Ｌaveの算出
は、より複雑である。というのは、この算出は、前記外
部割り込み信号が最も速いプロセッサの割り込み信号分
配サイクルＣの後であって、最も遅いプロセッサの割り
込み信号分配サイクルＣの前に発生する、という見込に
依存するからである。この見込は前記プロセッサ間のド
リフトによって左右され、該ドリフトは多数の外部要因
によって決まる。これらの見込がゼロであると仮定した
場合、平均的な割り込み待ち時間は、 Ｌave ＝（Ｎ／２）＋（Ｃv―Ｃd） 式（６） である。

【０１１０】これらの関係を使用し、Ｄmaxおよび割り
込み待ち時間に関するシステム要件を使用して、Ｎ、Ｃ
vおよびＣdの値が選択される。例えば、Ｃ＝１２８、
（Ｃv―Ｃd）＝１０、Ｌave＝７４または約４．４マイ
クロ秒を選択する。４ビット（４つの ２進段階）カウ
ンタ５１が割り込み同期カウンタとして使用され、分配
およびボート出力が上述のようにＣＣ―４およびＣＣ―
８による好ましい実施例を使用することによって、Ｎ＝
１６、Ｃv＝８およびＣd＝４であり、従って、Ｌave＝
１６／２＋（８―４）＝１２サイクルまたは０．７マイ
クロ秒である。

【０１１１】

【発明の効果】以上のように、この発明は、同期タイプ
の高信頼性の構成において、高速プロセッサの高速処理
能力を十分活用できる、という優れた効果を奏する。

【図面の簡単な説明】

【図１】この発明の一実施例に係るコンピュータシステ
ムを示すブロック図。

【図２】図１に示したシステムの複数のＣＰＵのうちの
１つを示すブロック図。

【図３】図２に示したＣＰＵに使用されるプロトコル変
換回路を示すブロック図。

【図４】図１および図２に示したシステムに使用される
ＣＰＵ同期論理回路の一部分を示すブロック図。

【図５】同ＣＰＵ同期論理回路の他の部分を示すブロッ
ク図。

【図６】同ＣＰＵ同期論理回路の他の部分を示すブロッ
ク図。

【図７】図４、図５および図６に示した同期回路に使用
されるクロックサイクルカウンタを示す図。

【図８】この発明によって実行されるＣＰＵクロックド
リフト除去ルーチンを示すフローチャート。

【図９】図４、図５および図６に示したドリフト除去回
路のブロック図。

【図１０】図９に示した同期回路のタイミングチャー
ト。

【図１１】図２のＣＰＵに使用されるローカルメモリリ
フレッシュタイマのブロック図。

【図１２】図２のローカルメモリ制御回路によって行わ
れる隠れローカルメモリリフレッシュ制御を説明するタ
イミングチャート。

【図１３】図２のローカルメモリ制御回路によって行わ
れる隠れローカルメモリリフレッシュ制御を説明するタ
イミングチャート。

【図１４】図２のローカルメモリ制御回路によって行わ
れる隠れローカルメモリリフレッシュ制御を説明するタ
イミングチャート。

【図１５】図２のＣＰＵに使用される割り込み同期回路
のブロック図。

【図１６】割り込み発生時における、図１および図２の
ＣＰＵ内での命令実行に関するイベント対時間の関係を
示すタイミングチャート。

【図１７】割り込み発生時における、図１および図２の
ＣＰＵ内での命令実行に関するイベント対時間の関係を
示すタイミングチャート。

【図１８】割り込み発生時における、図１および図２の
ＣＰＵ内での命令実行に関するイベント対時間の関係を
示すタイミングチャート。

【図１９】割り込み発生時における、図１および図２の
ＣＰＵ内での命令実行に関するイベント対時間の関係を
示すタイミングチャート。

【符号の説明】

１１，１２，１３ ＣＰＵ １４，１５ メモリモジュール １６ ローカルメモリ ２６，２７ Ｉ／Ｏプロセッサ ４０ プロセッサ ５０ プロトコル変換回路 ５１ クロックサイクルカウンタ ５６ バスインターフェース回路 ６０ ローカルメモリ制御回路 ６５ 割り込み同期論理回路 ７１ リフレッシュタイマ ７３ 同期論理回路 １２４ ドリフト除去同期

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジェイムズ・エス・クレッカ アメリカ合衆国 78717 テキサス，オー スチン，エフレイム・ロード 8651 (72)発明者 カイラン・タブリュ・フェイ・ジュニア アメリカ合衆国 78660 テキサス，フリ ューゲルビル，ヒッコリー・リッジ 507 (72)発明者 ラリー・エル・ラマノ アメリカ合衆国 78759 テキサス，オー スチン，アローポイント・コウブ 6805 (72)発明者 ニキール・エイ・メータ アメリカ合衆国 78758 テキサス，オー スチン，プライリエ・ヘン・コウブ 1715

Claims (30)

【特許請求の範囲】
1. 【請求項１】 複数のプロセッサモジュールであって、
   各前記プロセッサモジュールが、命令ストリームを実行
   するものであり、前記命令の実行タイミングを制御する
   クロック信号を発生する独立したクロックを有し、各前
   記プロセッサモジュールが入出力（以下Ｉ／Ｏという）
   動作要求を定期的に発生し、該Ｉ／Ｏ動作要求が前記プ
   ロセッサモジュール間において非同期的に発生されるよ
   うになった前記複数のプロセッサモジュールと、 前記プロセッサモジュールとは別個にクロックされる１
   つまたは２つ以上の外部装置と、 Ｉ／Ｏ動作中、前記プロセッサモジュールを前記１つま
   たは２つ以上の外部装置に接続する手段と、 各前記プロセッサモジュールごとの前記Ｉ／Ｏ動作の長
   さを、各前記プロセッサモジュールごとに同じクロック
   サイクル数となるよう制御する同期手段とを具備した、
   命令ストリームを処理するためのフォールトトレラント
   型コンピュータシステム。
2. 【請求項２】 前記同期手段が、各前記プロセッサモジ
   ュールに複数設けられたクロックサイクルカウンタから
   なり、各前記プロセッサモジュールにおける前記カウン
   タの数が、前記プロセッサモジュールの数と同数である
   請求項１に記載のフォールトトレラント型コンピュータ
   システム。 【請求項２】 前記同期手段が、各前記プロセッサモジ
   ュールに複数設けられたクロックサイクルカウンタから
   なり、各前記プロセッサモジュールにおける前記カウン
   タの数が、前記プロセッサモジュールの数と同数である
   請求項１に記載のフォールトトレラント型コンピュータ
   システム。
3. 【請求項３】 各前記プロセッサモジュールが、 所定の間隔で割り込み信号を発生する手段と、 前記割り込み信号に応答して、実時間に関して、前記プ
   ロセッサモジュールの動作を他の前記プロセッサモジュ
   ールに略整列させるクロックドリフト除去手段とをさら
   に備えた請求項１に記載のフォールトトレラント型コン
   ピュータシステム。
4. 【請求項４】 前記割り込み信号を発生する手段が前記
   クロック信号を入力するタイマからなり、該タイマが、
   所定数の前記クロック信号ごとに前記割り込み信号を発
   生する請求項３に記載のフォールトトレラント型コンピ
   ュータシステム。
5. 【請求項５】 前記クロックドリフト除去手段が、 前記プロセッサモジュールに対して、現在実行中のすべ
   ての動作を完了するよう指示する手段と、 前記プロセッサモジュールに対する割り込みを不能化す
   る手段と、 前記プロセッサモジュールと前記他のプロセッサモジュ
   ールとの間における累積したクロック信号のドリフトを
   除去するために、前記他のプロセッサモジュールとは異
   なる時間の間、前記プロセッサモジュールが前記命令ス
   トリームを実行するのを一時機能停止させる手段とを備
   えた請求項３に記載のフォールトトレラント型コンピュ
   ータシステム。
6. 【請求項６】 前記クロックドリフト除去手段が、 同期命令を発する手段と、 前記同期命令に応答して、同期信号を発生し、且つ、前
   記他のプロセッサモジュールに前記同期信号を与える手
   段とを備えた請求項５に記載のフォールトトレラント型
   コンピュータシステム。
7. 【請求項７】 前記クロックドリフト除去手段が、前記
   プロセッサモジュールの間における累積したクロック信
   号ドリフトに対応するそれぞれのタイミングで、各前記
   プロセッサモジュールから前記同期信号を入力し、且
   つ、前記累積したクロック信号ドリフトが所定の許容可
   能な範囲内にあるか否かを判定する同期ボート手段をさ
   らに備えた請求項６に記載のフォールトトレラント型コ
   ンピュータシステム。
8. 【請求項８】 前記同期ボート手段が、前記同期信号が
   前記所定の範囲内にあると判定したときに前記異なる長
   さの一時機能停止状態を解放するための信号を発生する
   請求項７に記載のフォールトトレラント型コンピュータ
   システム。
9. 【請求項９】 前記接続する手段が、前記プロセッサモ
   ジュールのＩ／Ｏ動作要求をボートし、および、ボート
   された前記Ｉ／Ｏ動作が完了した時に確認信号を出力
   し、前記同期手段が、前記確認信号を入力し、該確認信
   号に応答して、前記プロセッサモジュールが前記Ｉ／Ｏ
   動作要求を出力する前記異なる時間に対応する各前記プ
   ロセッサモジュールごとに異なる時間に、前記プロセッ
   サモジュールに対して解放信号を出力する請求項１に記
   載のフォールトトレラント型コンピュータシステム。
10. 【請求項１０】 前記接続する手段が、フォールトトレ
    ラントメモリモジュールと、該メモリを前記プロセッサ
    モジュールに接続するバス手段とを備えた請求項９に記
    載のフォールトトレラント型コンピュータシステム。
11. 【請求項１１】 複数の中央処理ユニット（ＣＰＵ）で
    あって、各ＣＰＵが、他のＣＰＵとは独立したタイミン
    グで命令の実行を制御するための独立したクロックを有
    し、複数の命令の実行の後に定期的にＩ／Ｏ動作要求を
    発する前記複数のＣＰＵと、 前記複数のＣＰＵから前記定期的なＩ／Ｏ動作要求を入
    力し、該Ｉ／Ｏ動作要求をボートする手段と、 前記ＣＰＵのＩ／Ｏ動作のクロック長を制御する同期手
    段であって、各前記ＣＰＵが要求したＩ／Ｏ動作のため
    に該ＣＰＵが使用したクロックサイクル数を調べる手段
    と、前記クロックサイクル数を比較して、前記Ｉ／Ｏ動
    作に関する最長のクロック長を検出する手段と、各前記
    ＣＰＵにおける前記Ｉ／Ｏ動作のためのクロック長が前
    記最長のクロック長となるよう制御する手段とを備えた
    前記同期手段とを具備したフォールトトレラント型コン
    ピュータシステム。
12. 【請求項１２】 所定数のクロックサイクルの後に割り
    込み信号を発生する手段と、 前記ＣＰＵ同士を実時間に関して略整列させるために、
    前記割り込み信号に応答して、異なるクロックサイクル
    数の間、前記ＣＰＵを一時機能停止させる手段とをさら
    に具備した請求項１１に記載のフォールトトレラント型
    コンピュータシステム。
13. 【請求項１３】 前記ＣＰＵの数がＮ個であって、前記
    クロックサイクル数を調べる手段がＮ個のカウンタをＮ
    グループ備えており、各前記グループが、各前記ＣＰＵ
    とは独立にクロックサイクルをカウントする請求項１１
    に記載のフォールトトレラント型コンピュータシステ
    ム。
14. 【請求項１４】 前記同期手段が、各前記ＣＰＵがＩ／
    Ｏ動作要求を開始した時、各前記グループ内の１つのカ
    ウンタにクロックイネーブル信号を与える手段をさらに
    具備した請求項１３に記載のフォールトトレラント型コ
    ンピュータシステム。
15. 【請求項１５】 前記ボートする手段が、略同時にすべ
    ての前記カウンタを不能化するＩ／Ｏ動作完了を示す信
    号を出力する請求項１４に記載のフォールトトレラント
    型コンピュータシステム。
16. 【請求項１６】 前記比較する手段が、各前記カウンタ
    のグループに接続されていて、前記グループ内の前記Ｎ
    個のカウンタの出力を入力し、前記グループにおける最
    長のカウント長を検出し、該最長のカウント長を前記制
    御する手段に与える手段を備えている請求項１３に記載
    のフォールトトレラント型コンピュータシステム。
17. 【請求項１７】 前記同期手段が、前記グループ内のそ
    れぞれの前記カウンタが有効なカウント値を有するか否
    かを判定するエラーボート手段をさらに備えている請求
    項１６に記載のフォールトトレラント型コンピュータシ
    ステム。
18. 【請求項１８】 前記定期的なＩ／Ｏ動作要求を入力す
    る手段が、各前記ＣＰＵに接続されたメモリモジュール
    を備えている請求項１１に記載のフォールトトレラント
    型コンピュータシステム。
19. 【請求項１９】 命令ストリームを処理し、外部装置と
    の通信を行うフォールトトレラント型コンピュータシス
    テムであって、 略同じ命令ストリームを実行し、略同一の構成を有する
    第１、第２および第３の中央プロセッサユニット（ＣＰ
    Ｕ）であって、各前記ＣＰＵが独立したクロックを有
    し、さらに、前記命令ストリームが複数のクロックサイ
    クルにわたって前記ＣＰＵの間で非同期的に実行される
    よう、前記クロックが前記命令ストリームの実行のタイ
    ミングをとるようになった前記第１、第２および第３の
    ＣＰＵと、 １つまたは２つ以上のメモリモジュールと、 前記第１、第２および第３のＣＰＵならびに前記１つま
    たは２つ以上のメモリモジュールに接続されていて、前
    記ＣＰＵのＩ／Ｏ動作中において、前記ＣＰＵによる前
    記メモリモジュールおよび前記外部装置に対するアクセ
    スを可能にするバス手段と、 前記Ｉ／Ｏ動作中、各前記ＣＰＵごとに同じ量、前記Ｃ
    ＰＵを一時機能停止させる手段と、 前記ＣＰＵ同士を実時間に関して略整列させるために、
    前記ＣＰＵを異なる一時機能停止時間長にわたり定期的
    に一時機能停止させる手段とを具備したフォールトトレ
    ラント型コンピュータシステム。
20. 【請求項２０】 前記メモリモジュールと前記外部装置
    との間に接続された第１のＩ／Ｏプロセッサおよび第２
    のＩ／Ｏプロセッサをさらに備えた請求項１９に記載の
    フォールトトレラント型コンピュータシステム。
21. 【請求項２１】 各前記ＣＰＵごとに独立に与えられる
    クロックサイクルで、同じ命令ストリームを実行する複
    数の中央プロセッサユニット（ＣＰＵ）を備えたフォー
    ルトトレラント型コンピュータシステムを同期させる方
    法であって、 各前記ＣＰＵのローカルクロックサイクルを他の前記Ｃ
    ＰＵの各々に与える工程と、 前記ＣＰＵによるＩ／Ｏ動作要求を検出し、各前記ＣＰ
    Ｕにおける前記ローカルクロックサイクルのカウントを
    開始するためのカウント開始信号を出力する工程と、 各前記ＣＰＵが自己のローカルクロックおよび他の前記
    ＣＰＵのローカルクロックのクロックサイクルをカウン
    トするよう、前記Ｉ／Ｏ動作要求を検出しカウントする
    工程を繰り返す工程と、 各前記ＣＰＵが各前記ＣＰＵに対応するＩ／Ｏカウント
    値を有するよう、前記Ｉ／Ｏ動作の終わりを検出し、各
    前記ＣＰＵ内におけるクロックサイクルのカウントを停
    止する工程と、 各前記ＣＰＵ内におけるカウント値を比較し、最長のカ
    ウント値を検出する工程と、 各前記ＣＰＵごとに、ローカルカウント値と前記最大の
    カウント値との差を検出し、該差を待ちカウント値とし
    て出力する工程と、 前記ＣＰＵの前記待ちカウント値に対応する数のクロッ
    クサイクルにわたり各前記ＣＰＵを一時機能停止する工
    程と、 前記待ちカウント値に対応する一時機能停止が完了した
    後、前記命令ストリームの処理を続行するために各前記
    ＣＰＵのを開放する工程とからなり、各前記ＣＰＵが前
    記Ｉ／Ｏ動作について同じ数のクロックサイクルを使用
    するよう強制されることを特徴とする方法。
22. 【請求項２２】 複数のプロセッサモジュールであっ
    て、各前記プロセッサモジュールが、命令ストリームを
    実行するものであり、前記命令の実行タイミングを制御
    するクロック信号を発生する独立したクロックを有し、
    各前記プロセッサモジュールがＩ／Ｏ動作要求を定期的
    に発生し、該Ｉ／Ｏ動作要求が前記プロセッサモジュー
    ル間において非同期的に発生されるようになった前記複
    数のプロセッサモジュールと、 前記Ｉ／Ｏ動作要求を入力し、要求されたＩ／Ｏ動作が
    完了したときに前記プロセッサモジュールに対して確認
    信号を出力する手段とを具備し、各前記プロセッサモジ
    ュールが、 各前記プロセッサモジュールごとの前記Ｉ／Ｏ動作の長
    さを検出する手段と、 １または２つ以上の前記プロセッサモジュールについて
    前記Ｉ／Ｏ動作の長さのエラーを検出する手段とを備え
    たことを特徴とする、命令ストリームを処理するフォー
    ルトトレラント型コンピュータシステム。
23. 【請求項２３】 各前記プロセッサモジュールにおける
    前記長さを検出する手段が、前記プロセッサモジュール
    の数と同数であって各前記プロセッサモジュールからの
    クロック信号をカウントする複数のカウンタを備えてい
    る請求項２２に記載のフォールトトレラント型コンピュ
    ータシステム。
24. 【請求項２４】 各前記カウンタが、対応する前記プロ
    セッサモジュールからカウンタイネーブル信号を入力
    し、該カウントイネーブル信号が、前記対応するプロセ
    ッサモジュールのＩ／Ｏ動作中において前記カウンタの
    カウントを可能化するものである請求項２３に記載のフ
    ォールトトレラント型コンピュータシステム。
25. 【請求項２５】 前記エラーを検出する手段が、前記複
    数のプロセッサモジュールによって与えられる前記カウ
    ンタイネーブル信号の複数のサンプルを比較し、１つの
    前記プロセッサモジュールにおけるエラーを検出する請
    求項２４に記載のフォールトトレラント型コンピュータ
    システム。
26. 【請求項２６】 前記エラーを検出する手段が、検出さ
    れたエラーに応答して、他の前記プロセッサモジュール
    の各々にエラー信号を出力する請求項２２に記載のフォ
    ールトトレラント型コンピュータシステム。
27. 【請求項２７】 各前記プロセッサモジュールが、前記
    長さを検出する手段から各前記プロセッサモジュールの
    前記Ｉ／Ｏ動作の長さを入力し、前記Ｉ／Ｏ動作の長さ
    を比較することにより最長のＩ／Ｏ動作の長さを検出す
    る請求項２２に記載のフォールトトレラント型コンピュ
    ータシステム。
28. 【請求項２８】 前記比較する手段が、前記エラーを検
    出する手段によってエラーが検出されたＩ／Ｏ動作の長
    さを、前記比較の対象から除外する請求項２７に記載の
    フォールトトレラント型コンピュータシステム。
29. 【請求項２９】 各前記プロセッサモジュールが、 前記最長のＩ／Ｏ動作の長さを入力し、該最長のＩ／Ｏ
    動作の長さから前記ローカルプロセッサモジュールのＩ
    ／Ｏ動作の長さを減算することによって、Ｉ／Ｏ動作の
    長さの差を求める手段と、 前記Ｉ／Ｏ動作の長さの差に対応する時間にわたり、前
    記プロセッサモジュールを一時機能停止する手段とを備
    えた請求項２７に記載のフォールトトレラント型コンピ
    ュータシステム。
30. 【請求項３０】 前記複数のカウンタイネーブル信号の
    サンプルが、前記確認信号がローカルの前記プロセッサ
    モジュールに入力された時によって決定されるサンプリ
    ングウィンドウにおいて検出される請求項２５に記載の
    フォールトトレラント型コンピュータシステム。