JPH1097513A - マルチプロセッサ・コンピュータ・システム中のノード、及びマルチプロセッサ・コンピュータ・システム - Google Patents

Abstract

(57)【要約】 【課題】 マルチプロセッサ・コンピュータ・システム
中の極めて多数のデバイスを接続するためのより効率の
良いアーキテクチャが望まれている。 【解決手段】 ＸＭＰコンピュータ・システム（１３
０）はＳＭＰノード（１２０Ａ−１２０Ｃ）を備え、各
ノードは、単方向ポイントツウポイント・リンク（１４
０，１４２，１４４）によって互いに接続され、ＸＭＰ
インターフェイス（１２８）、このＸＭＰインターフェ
イスへ高レベルのバス（２２）によって接続されたリピ
ータ（３４）、及び各リピータへ低レベルのバス（３
２）によって接続されたバス・デバイス（３８）を含
む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、マルチプロセッ
サ・コンピュータ・システムの分野、特にマルチプロセ
ッサ・コンピュータ・システム内の多数のプロセッサの
アーキテクチャ接続に関するものである。

【０００２】

【従来の技術】マルチプロセッサ・コンピュータ・シス
テムは、計算タスクを行うのに用いられる２個以上のプ
ロセッサを備えている。特定の計算タスクが１個のプロ
セッサで行われ得る、他のプロセッサはそれとは関連の
ない計算タスクを行う。特定の計算タスクの諸部分は多
数のプロセッサに分散させられて、全体として計算タス
クを行うのに要する時間を短くすることができる。一般
的に云えば、プロセッサは、１つ以上のオペランドで或
る結果を得る演算を行うように構成されたデバイスであ
る。演算は、プロセッサによって実行される命令に応答
して行われる。

【０００３】商業的マルチプロセッサ・コンピュータ・
システムにおいて評判の良いアーキテクチャは、対称的
マルチプロセッサ（ＳＭＰ）アーキテクチャである。代
表的な例のＳＭＰコンピュータ・システムは、キャッシ
ュ階層を介して共有バスに接続された多数のプロセッサ
を備えている。共有バスには、コンピュータ・システム
中の複数のプロセッサが共有するメモリも接続されてい
る。メモリ内の特定の記憶場所へのアクセスは、他の特
定記憶場所へのアクセスと同じ時間の長さで起こる。メ
モリ中の各記憶場所が一様にアクセスされるので、この
構成は一様メモリ・アーキテクチャ（ＵＭＡ）と称され
る。

【０００４】プロセッサは内部キャッシュを有するよう
に構成されることが多く、そして１個以上のキャッシュ
が典型的にはＳＭＰコンピュータ・システム中の複数の
プロセッサと共有バス間のキャッシュ階層に含まれる。
特定の主メモリ・アドレスにあるデータの多数のコピー
はキャッシュにストアされる。特定のアドレスが任意所
定の時間に１つのデータ値を正確にストアする共有メモ
リ・モデルを維持するために、共有バス・コンピュータ
・システムはキャッシュ・コヒーレンシィを用いてい
る。一般的に云えば、特定のメモリ・アドレスにストア
されたデータに関する演算結果がキャッシュ階層内のデ
ータの各コピーに反映されるなら、演算はコヒーレント
である。例えば、特定のメモリ・アドレスにストアされ
たデータが更新される時に、この更新は先行データのコ
ピーをストアしているキャッシュに与えられる。或は、
前のデータのコピーをキャッシュ中で無効とし、特定の
メモリ・アドレスへの後続のアクセスのときは、更新さ
れたコピーを主メモリから転送させるようにする。共有
バス・システムに、スヌープ・バス・プロトコルが典型
的には用いられる。共有バスで行われた各コヒーレント
・トランザクションはキャッシュ中のデータに対して調
べられる（“スヌープ”される）。もし用いたデータの
コピーが見い出されるなら、データを含むキャッシュ・
ラインの状態はコヒーレント・トランザクションに応答
して更新され得る。

【０００５】残念ながら、共有バス・アーキテクチャに
は、マルチプロセッサ・コンピュータ・システムの有用
性を制限する幾つかの欠点がある。バスは帯域幅（バス
を横断して転送されるバイトの数／秒）を最大にでき
る。別なプロセッサがバスに取り付けられると、プロセ
ッサにデータ及び命令を供給するのに要する帯域幅はバ
スの最大帯域幅を超える。幾つかのプロセッサはバス帯
域幅が利用可能となるまで待たされるので、プロセッサ
の帯域幅要件が利用可能なバス帯域幅を超える時にコン
パ・システムの性能は影響を受ける。

【０００６】更に、共有バスにより多くのプロセッサを
付加すると、バスへの容量性負荷が増え、バスの物理的
長さを増大させることにさえなる。容量性負荷が増え且
つバスの長さが増えると、バスを通る信号の伝播遅れが
増える。伝播遅れが増加すると、トランザクションの実
行に長くかかる。従って、バスの最大帯域幅はプロセッ
サが付加されるにつれて減少する。

【０００７】これら問題は、動作周波数及びプロセッサ
性能の絶え間のない増大で更に大きくなる。より高い周
波数及びもっと進歩したプロセッサのマイクロアーキテ
クチャによって可能とされた性能の増大は、同数のプロ
セッサに対してさえ、先代のプロセッサよりも大きい帯
域幅を要求することになる。従って、マルチプロセッサ
・コンピュータ・システムに対して不十分な帯域幅を有
するバスは、高性能プロセッサを用いる同様なコンピュ
ータ・システムには不十分である。

【０００８】もっと多くのプロセッサ及びデバイスが共
有バス・システムに付加される時に負う諸問題を扱うた
めの共通の方法は、バスの階層を持つことである。階層
共有バス・システムでは、プロセッサ及び他のバス・デ
バイスは幾つかの低レベルのバス間に分割される。これ
ら低レベル・バスは１つ以上の高レベル・バスによって
接続される。トランザクションは、低レベル・バスで発
され、高レベル・バスへ送られ、そしてリピータによっ
て全ての低レベル・バスへドライブ・バックされる。従
って、全てのバス・デバイスはトランザクションを同時
に見、且つトランザクションは順序化されたままであ
る。階層共有バスは、論理的には、全てのデバイスに１
つの大きな共有バスとして現れる。更に、階層構造は、
単一の大きな共有バスの電気的制約を克服する。

【０００９】しかしながら、上述した階層共有バス構造
での１つの問題は、低レベル・バスでトランザクション
が常に２回ブロードキャストされることである。この効
率の悪さは低レベル・バスでの利用可能な帯域幅を厳し
く制限する。可能な解決策は、高レベルのバス階層への
ウェイ・アップ（way up）でのトランザクション及び高
レベルのバス階層からのウェイ・ダウン（way down）で
のトランザクションのために別々の単方向バスを持つこ
とである。しかし、この解決策には、２倍のバス信号量
及びバス・デバイス・パケージでの２倍のピン量が必要
である。

【００１０】伝統的な階層バス構造を用いるＳＭＰコン
ピュータ・システム１０の一例が図１に示されている。
ここには２レベルのバス構造が示されており、バス・デ
バイス８Ａ−８Ｂは低レベルのＬ１．１バス４Ａに、そ
してバス・デバイス８Ｃ−８Ｄは低レベルのＬ１．２バ
ス４Ｂに接続されている。バス・デバイスは、プロセッ
サ／メモリ・デバイス又はＩ／Ｏブリッジ・デバイスの
ように最近のコンピュータ・システム中で見られるロー
カル・バス型のデバイスならどんなものでも良い。各Ｌ
１バス４Ａ，４Ｂはリピータ６Ａ，６Ｂによって高レベ
ルのＬ２バス２に結合されている。各リピータ、Ｌ１バ
ス及びバス・デバイスはリピータ・ノード５を構成す
る。例えばリピータ６Ａ，Ｌ１バス４Ａ及びバス・デバ
イス８Ａ，８Ｂがリピータ・ノード５Ａを構成する。

【００１１】バス・トランザクション（メモリからの読
出しのような）がバス・デバイスによって開始される時
に、トランザクションは元のＬ１バス（４Ａ又は４Ｂ）
からＬ２バス２へ送られる。トランザクションは、それ
ぞれのリピータ６Ａ，６Ｂによって両方のＬ１バス４
Ａ，４Ｂに同時に送り戻される。このやり方では、全て
のバス・デバイス８はトランザクションを同時に見るこ
とができる。更に、図１の階層構造は、バス・トランザ
クションが同一順序で全てのバス・デバイス８に現れる
のを確保する。従って、階層バス構造は、バス・デバイ
ス８Ａ−８Ｄに論理的に単一の共有バスとして見える。

【００１２】図１のコンピュータ・システムの動作は、
図２に示したようなタイミング図で表わせる。タイミン
グ図１２の各列は特定のバス・サイクルに対応する。左
から右へ時間が増す１１のバス・サイクルが１１の列で
表わされる。Ｌ２バス２，Ｌ１．１バス４Ａ及びＬ１．
２バス４Ｂの状態はそれぞれの行１４−１６に応じて各
バス・サイクルの間示される。

【００１３】バス・サイクル１の間、送り出されるパケ
ット（アドレス及びコマンド）は、各リピータ・ノード
５中のＬ１バス４に結合された１個のバス・デバイス８
によってドライブされる。タイミング図１２中では、送
り出されたパケットはＬ１．１バス４ＡでのＰ１（ｏ）
及びＬ１．２バス４ＢでのＰ２（ｏ）として示される。
同一サイクル中に２つの異なるバス・トランザクション
が発されたので、これらがＬ２バス２に現れる順序は、
選ばれた調停方法次第である。タイミング図１２に示さ
れた例では、Ｌ１．１バス４Ａにて発されたトランザク
ションが、バス・サイクル２中のＬ２バス２にＰ１で表
わされたように、まずＬ２バス２に送られる。トランザ
クションＰ２（ｏ）はそのリピータ６Ｂ中で行列待ちさ
せられている。又、バス・サイクル２中、Ｌ１．１バス
４ＡでのトランザクションＰ３（ｏ）及びＬ１．２バス
４ＢでのトランザクションＰ４（ｏ）で表わされたよう
に、２つの新しいトランザクションが低レベルのバスに
て発せられる。

【００１４】バス・サイクル３中、行１５及び１６にＰ
１（ｉ）で示したように、トランザクションＰ１は両方
のリピータ・ノード５のＬ１バス４に到着トランザクシ
ョンとしてブロードキャストされる。又、バス・サイク
ル３中、バス・サイクル１からの第２の送出トランザク
ションＰ２（ｏ）は、タイミング図１２の行１４に示し
たように、Ｌ２バス２にブロードキャストする。

【００１５】バス・サイクル４中、トランザクションＰ
２は、行１５及び１６にＰ２（ｉ）で表わされたよう
に、Ｌ１バス４に到着トランザクションとしてブロード
キャストされる。又、バス・サイクル４中、送出トラン
ザクションＰ３（ｏ）はタイミング図１２の行１４に示
されたようにトランザクションＰ３としてＬ２バス２に
ブロードキャストする。同様に、バス・トランザクショ
ンＰ３及びＰ４はバス・サイクル５及び６中Ｌ１バスに
ブロードキャストされる。Ｌ１バスの帯域幅のせいで到
着トランザクションがリピータへのブロードキャストで
消費されるので、新しく送出トランザクションはバス・
サイクル７まで発されない。その結果、Ｌ２バス２の全
帯域幅は、バス・サイクル６及び７中の行１４における
ギャップで示したように利用されない。

【００１６】極めて多数のプロセッサを要するシステム
では、上述した階層バス構造が多くのレベルの階層を必
要とするかもしれない。階層の頂上に各トランザクショ
ンをブロードキャストし且つバック・ダウンすることに
関連した遅れ、及びバスの調停に関連した遅れは、大き
な階層構造のスループットをきびしく制限し得る。

【００１７】マルチプロセッサ・コンピュータ・システ
ム用の他の構造は分散型共有メモリ・アーキテクチャで
ある。この分散型共有メモリ・アーキテクチャは、内部
にプロセッサやメモリがある多数のノードを含む。多数
のノードはそれらの間に結合されたネットワークを通じ
て通信する。全体として考える時には、多数のノード内
に含まれたメモリはコンピュータ・システムの共有メモ
リを形成する。代表的な例では、ディレクトリを使用し
て、特定のアドレスに対応するデータのコピーをどのノ
ードがキャッシュしたかを識別する。コヒーレンシィ活
動はディレクトリの調査で生じられ得る。

【００１８】

【発明が解決しようとする課題】しかしながら、分散型
共有メモリ・アーキテクチャにも欠点がある。ディレク
トリ・ルックアップ、アドレス変換及びコヒーレンシィ
の維持は全て、ノード間のトランザクションに待ち時間
を加える。又、分散型共有メモリ・アーキテクチャ・シ
ステムには、通常、共有バス・アーキテクチャよりもっ
と複雑なハードウェアが必要である。

【００１９】以上の説明から明らかなように、マルチプ
ロセッサシステム中の極めて多数のデバイスを接続する
ためのもっと効率の良いアーキテクチャが望まれる。こ
の発明はこの目的に答えるものである。

【００２０】

【課題を解決するための手段】上述した諸問題の大部分
は、この発明に係るコンピュータ・システムによって解
決される。一般的に云うと、この発明は、高レベルのバ
スによって相互接続された多数のリピータ・ノードを含
むマルチプロセッサ・コンピュータ・システムを形成す
る。各リピータ・ノードは、多数のバス・デバイス、低
レベルのバス及びアドレス・リピータを含む。バス・デ
バイスは低レベルのバスで相互接続される。リピータは
高レベルのバスを低レベルのバスへ結合する。バス・デ
バイスはプロセッサ／メモリ・バス・デバイスで良く、
各バス・デバイスは到着待ち行列を含む。プロセッサ／
メモリ・バス・デバイスは、ＳＰＡＲＣプロセッサのよ
うな高性能のプロセッサ、ＤＲＡＭメモリ、及び高速で
第２レベルのキャッシュメモリを含む。各バス・デバイ
スに置かれた物理的ＤＲＡＭメモリは、ひとまとめにな
ってマルチプロセッサ・コンピュータ・システムのシス
テム・メモリを構成する。又、バス・デバイスは入力／
出力バス・デバイスでも良い。このＩ／Ｏバス・デバイ
スも到着待ち行列を含む。更に、Ｉ／Ｏバス・デバイス
は、ＰＣＩバスのような周辺Ｉ／Ｏバスをサポートする
Ｉ／Ｏバス・ブリッジを含み得る。この周辺Ｉ／Ｏバス
は、グラフィク・コントローラ、直並列ポート及びディ
スク・ドライブとも通信する。

【００２１】バス・デバイスは、バス・トランザクショ
ンを送受信することによって互いに通信し合う。１つの
バス・デバイスによって開始されたバス・トランザクシ
ョンは、始動バス・デバイスが取り付けられている低レ
ベルのバスに送出トランザクションとしてブロードキャ
ストされる。同じ低レベルのバスに取り付けられた他の
各バス・デバイスは、この送出トランザクションをそれ
ぞれの到着待ち行列にストアする。又、この低レベルの
バスに取り付けられたリピータは送出トランザクション
を高レベルのバスにブロードキャストする。他の複数の
リピータ・ノードの各々中のリピータは、この送出トラ
ンザクションを受け、且つこれを到着トランザクション
としてそれぞれの低レベル・バスに送る。起動リピータ
・ノード中のリピータは、送り出されたバス・トランザ
クションを到着バス・トランザクションとしてその低レ
ベル・バスへ中継しない。その代わり、他のリピータが
送出トランザクションを到着トランザクションとしてそ
れぞれの低レベル・バスにドライブする時に、起動リピ
ータ・ノード中のリピータは制御信号をアセートする。
この制御信号は、始動リピータ・ノード中の各バス・デ
バイスに警告を発し、到着待ち行列よりも先にストアさ
れたパケットを現在の到着トランザクションとして処理
させる。非起動リピータ・ノード中のリピータは、それ
ぞれの低レベル・バスに結合されたバス・デバイスへの
制御信号をアサートすることにより、これらのバス・デ
バイスがその到着待ち行列をバイパスして低レベル・バ
スにブロードキャストされた到着トランザクションを受
けるべきであることを指示する。起動リピータ・ノード
中のバス・デバイスの到着待ち行列に送出トランザクシ
ョンをストアすると、始動リピータ・ノード中の低レベ
ル・バスを解放して他の送出トランザクションをブロー
ドキャストさせるが、最初のトランザクションは非起動
リピータ・ノード中の低レベル・バスにブロードキャス
トされている。従って、低レベル・バスの帯域幅を最大
限利用できる。

【００２２】一般的に云えば、或る低レベル・バスに結
合された全てのバス・デバイスは、その低レベル・バス
に現れる全ての送出トランザクションを到着待ち行列に
ストアする。送出トランザクションは、これが低レベル
・バスに現れる同一順序でリピータによって高レベル・
バスへブロードキャストされる。各リピータ・ノードの
リピータは、高レベル・バスに現れるトランザクション
が他のリピータ・ノードからの到着トランザクションで
ある時だけ、前記トランザクションを低レベル・バスに
到着パケットとしてドライブする。このようにして、コ
ンピュータ・システム中の全てのバス・デバイスは特定
の各トランザクションを同時に且つ同一順序で見る。
又、各バス・トランザクションは各バスに１回だけ現れ
る。従って、この発明の階層バス構造は、全てのバス・
デバイス及びマルチプロセッサ・コンピュータ・システ
ムに対して単一の大きな論理的に共有されたバスとして
現れる。

【００２３】この発明の他の実施態様は、拡張マルチプ
ロセッサ・コンピュータ・アーキテクチャを目論む。幾
つかのマルチプロセッサ・ノードは複数の単方向ポイン
トツウポイント・リンク接続で相互接続される。各マル
チプロセッサ・リンク・ノードは、これらポイントツウ
ポイント・リンク接続とインターフェイスするためのト
ップレベルのインターフェイス・デバイスを含む。各ノ
ードは又、トップレベルのインターフェイスを１個以上
のリピータへ結合する高レベルのバスを含む。各リピー
タは、上述した実施形態について述べたのど同様な仕方
で個別の低レベル・バスにも結合される。１個以上のバ
ス・デバイスは各低レベル・バスに取り付けられる。

【００２４】所定のマルチプロセッサ・ノード中の各リ
ピータは内部待ち行列及びバイパス・パスを含む。各リ
ピータはトップレベルのインターフェイスから制御信号
も受信する。制御信号が使用されるのは、高レベル・バ
スから低レベル・バスへトランザクションを送信するの
にバイパス・パスが待ち行列を選択するためである。所
定のリピータ・ノード内で出るトランザクションは、待
ち行列中にストアされるが、他のマルチプロセッサ・ノ
ードから到着するトランザクションはバイパス・パスを
通して低レベル・バスへ送信される。マルチプロセッサ
・ノードの複数のトップレベル・インターフェイス間の
ポイントツウポイント・リンク構造は、各マルチプロセ
ッサ・ノード間で複数のトランザクションを同時に伝送
させる。従って、調停遅れはこれらトップレベル伝送に
は無関係である。トランザクションの順序化は、厳格に
定められたトランザクション順序によってこのトップレ
ベル・インターフェイスに維持される。どんな順序を選
んでも良いが、或る特別に定められた順序を終始一貫し
て使用しなければならない。例えば、そのような順序化
の一例は、３つのノード即ちノードＡ、ノードＢ及びノ
ードＣを備えたシステムにおいて、ノードＡから出るト
ランザクションがノードＢから出るトランザクションよ
りも優先度が高く、そしてノードＢから出るトランザク
ションがノードＣから出るトランザクションよりも優先
度が高いというものである。この定められた順序は、チ
ップレベルのポイントツウポイント・リンク構造で伝送
されたトランザクションが各マルチプロセッサ・ノード
中のリピータへ送信される順序を指示する。複数の非起
動リピータ・ノードの高レベル・バスでブロードキャス
トされたトランザクションは、これらノード中でバイパ
ス・パスによって低レベル・バスへ更に送信される。し
かしながら、同一トランザクションは起動リピータ・ノ
ード中の高レベル・バスにはブロードキャストされな
い。その代わり制御信号がアサートされ、トランザクシ
ョンがリピータ待ち行列から低レベル・バスへブロード
キャストされるべきことをリピータに指示する。これは
始動ノード中の高レベル・バスを新しいトランザクショ
ンのブロードキャスト化に対して自由にさせる。

【００２５】拡張マルチプロセッサ・コンピュータ・シ
ステムについての上述した動作から理解できるように、
複数のマルチプロセッサ・ノード間でブロードキャスト
されたバス・トランザクションは、各マルチプロセッサ
・ノードの各高レベル・バス及び低レベル・バスだけに
現れる。これによりバスの最大帯域幅を利用できる。更
に、複数のトップレベルのポイントツウポイント接続の
ための厳しく定められた順序化は、順序化されたトラン
ザクションが常に生じ且つシステム中の各バス・デバイ
スが各トランザクションを同時に同一順序で見ることを
確実にする。

【００２６】各バス・デバイスはメモリを含み得る。各
バス・デバイスに置かれたメモリは、ひとまとめになっ
て、拡張マルチプロセッサ、コンピュータ・システムの
システム・メモリを形成する。メモリは、各マルチプロ
セッサ・ノードが総アドレス空間の一部を割当てられる
ように異なる領域に分けられる。各アドレス空間部分の
サイズは、拡張マルチプロセッサ・コンピュータ・シス
テムを構成するマルチプロセッサ・ノードの数に逆比例
する。例えば、もし３つのノードがあれば、各ノードに
は、アドレス空間の１／３が割当てられる。

【００２７】各ノード間にメモリのコヒーレンシィを維
持するために、システム・メモリ中の各キャッシュ・ラ
インは、そのモードのためのコヒーレンシィ状態が付け
られる。コヒーレンシィ状態タグはＭＴＡＧと呼ばれ
る。特定ノード中のバス・デバイスがトランザクション
を開始する時に、そのノードでのＭＴＡＧは、そのトラ
ンザクション・アドレスに対してそのノードが有効なア
クセスを有するかどうかを決定するために調べられる。
もし検索されたＭＴＡＧが適切なアクセス権を示せば、
完了されたトランザクションは有効である。さもなけれ
ば、トランザクションは他のノードに対してグローバル
に再発されなければならない。

【００２８】この発明の拡張マルチプロセッサ・コンピ
ュータ・システムの他の実施態様では、システム・メモ
リのアドレス空間の異なる領域が３つのモードのうちの
１つで作動するように割当てられ得る。３つのモードと
は、複製モード、移行モード及び正常モードのことであ
る。正常モードで作動している記憶領域のために、全て
のメモリ・トランザクションはグローバルなトランザク
ションを送ることなく起動マルチプロセッサ・ノード中
で試行される。

【００２９】複製モードでは、複製記憶領域は、記憶領
域の複製コピーが各ノードにストアされるように、各プ
ロセッサ・ノード中に置かれたメモリにマップされる。
従って、複製モードのトランザクションは始動マルチプ
ロセッサ・ノード中で常に局部的に試行される。もしＭ
ＴＡＧが不適当なアクセス権を示すなら、トランザクシ
ョンは、複製モードでグローバルに送られるにすぎな
い。移行モードでは、トランザクションは第１回目に常
にグローバルで送られる。従って、ＭＴＡコヒーレンシ
ィ状態を維持する必要がない。

【００３０】この発明の他の目的や利点は、以下の詳し
い説明を読み且つ添付図面を参照する時に、明らかにな
るだろう。この発明は種々の変形例及び代用形態に実施
可能であるが、その特定の実施形態を図面に例示して詳
細に説明する。しかしながら、図面及びその詳細な説明
はこの発明をここに開示した特定の形態に制限するので
はなく、かえって、特許請求の範囲に定義されたように
この発明の精神及び範囲内に入る全ての変形例、等化物
及び代用形態をカバーするものとする。

【００３１】

【発明の実施の形態】図３はマルチプロセッサ・コンピ
ュータ・システム２０の一実施形態を示すブロック図で
ある。このコンピュータ・システム２０は、高レベルの
バス（Ｌ２バス）２２で相互接続された多数のリピータ
・ノード３０Ａ−３０Ｂを含む。ここで使用される要素
には、数字と英文字から成る符号を付けたが、集合的に
説明する場合には、数字だけを付ける。例えば、リピー
タ・ノード３０Ａ−３０Ｂは集合的にはデバイス・ノー
ド３０と称される。図３にはわずか２個のリピータ・ノ
ード３０しか示さないが、任意の数のリピータ・ノード
３０を接続することができる。しかし、Ｌ２バス２２の
物理的／電気的束縛によって制限される。図示の実施形
態では、各リピータ・ノード３０が複数のバス・デバイ
ス３８，低レベルのバス３２及びリピータ３４を含み、
例えばリピータ・ノード３０Ａがバス・デバイス３８Ａ
及び３８Ｂを有するように構成される。これらバス・デ
バイス３８Ａと３８Ｂは低レベルのバス（Ｌ１バス）３
２Ａで相互接続されている。Ｌ１バス３２Ａはリピータ
３４Ａを介してＬ２バス２２とインターフェイスする。

【００３２】バス・デバイス３８Ａはプロセッサ／メモ
リ・デバイスであって、プロセッサ／メモリ素子４８Ａ
の他に到着待ち行列４０Ａとマルチプレクサ４２Ａを含
む。プロセッサ／メモリ素子は、高性能のプロセッサ、
ＤＲＡＭメモリ及び高速のキャッシュ・メモリを含み得
る。各バス・デバイス３８に置かれた物理ＤＲＡＭメモ
リは、図３のコンピュータ・システム２０にシステム・
メモリをまとめて含めてある。

【００３３】バス・デバイス３８Ｂは入力／出力（Ｉ／
Ｏ）バス・デバイスである。プロセッサ／メモリ・デバ
イス３８Ａと同様に、Ｉ／Ｏバス・デバイス３８Ｂは、
Ｉ／Ｏ素子５０の他に到着待ち行列４０Ｂ及びマルチプ
レクサ４２Ｂを含む。Ｉ／Ｏ素子５０は、周辺部品イン
ターコネクト（ＰＣＩ）バスのような周辺バスへのバス
・ブリッジを含み得る。ＰＣＩバスを使用してグラフィ
ク・インターフェイス，直並列ポート，デスク・ドライ
ブ，モデム・プリンタ等のような周辺機器へインターフ
ェイスすることができる。

【００３４】図３の実施形態は各リピータ・ノード３０
中にわずか２個のバス・デバイス３８しか示さないが、
バス・デバイス３８の数は所望の構成次第でもっと多く
ても或は少なくても良い。又、プロセッサ／メモリ・デ
バイスとＩ／Ｏデバイスの混合仕方はどのようにしても
良い。リピータ・ノード３０中で許容できるバス・デバ
イス３８の最大数は、各Ｌ１バス３２の物理的／電気的
束縛によって制限される。その上、わずか２つの階層バ
ス・レベルしか図示していないが、ここに説明した実施
形態は、所望ならばより多くの階層バス・レベルを用い
るように拡張できる。

【００３５】一般的に云うと、バス・デバイス３８は、
バス・トランザクションを送受信することにより互いに
通信する。バス・トランザクションは、メモリ動作又は
Ｉ／Ｏ動作を行える。一般に、メモリ動作はデータをソ
ースから宛先へ転送させる動作である。ソースと宛先の
少なくとも一方は、イニシエイタ内の記憶場所でも良い
し或はシステム・メモリ内の記憶場所でも良い。ソース
または宛先がシステム・メモリ内の記憶場所である時
に、ソース又は宛先はメモリ動作で伝えられたアドレス
によって特定される。メモリ動作とはリード動作又はラ
イト動作である。リード動作は、イニシエイタの外部の
ソースからイニシエイタの内部の宛先へデータを転送さ
せる。逆に、ライト動作は、イニシエイタの内部のソー
スからイニシエイタの外部の宛先へデータを転送させ
る。図３に示したコンピュータ・システム２０では、メ
モリ動作はＬ１バス３２及びＬ２バス２２上の１つ以上
のトランザクションを含み得る。バス・トランザクショ
ンは、アドレス，コマンド及びソースｉｄを含むビット
・エンコード化されたパケットしてブロードキャストさ
れる。他の情報も、モード又はマスク情報のアドレッシ
ングのように各パケット中でエンコード化されることが
できる。

【００３６】一般的に云うと、Ｉ／Ｏ動作は、宛先がＩ
／Ｏバス・デバイスであることを除けば、メモリ動作と
同様である。Ｉ／Ｏデバイスは、直列ポート又はフロッ
ピイ・デスク・ドライブのような周辺機器と通信するの
に使用される。例えば、Ｉ／Ｏリード動作はＩ／Ｏ素子
５０からバス・デバイス３８Ｄ中のプロセッサへデータ
を転送させることができる。同様に、Ｉ／Ｏライト動作
は、バス・デバイス３８Ｄのプロセッサからバス・デバ
イス３８中のＩ／Ｏ素子５０へデータを転送させること
ができる。図３に示したコンピュータ・システム２０で
は、Ｉ／Ｏ動作はＬ１バス３２及びＬ２バス２２の１つ
以上のトランザクションを含み得る。

【００３７】図３のコンピュータ・システム２０のアー
キテクチャは、代表的なバス・トランザクションの流れ
を追跡することによりもっと良く理解できる。例えば、
バス・デバイス３８Ａ中のプロセッサ／メモリ素子４８
によって開始されたバス・トランザクションはインター
コネクト・パス４４Ａに出される。トランザクション
は、Ｌ１．１バス３２Ａに送り出されたパケットＰ１
（ｏ）として見られる。Ｌ１．１バス３２Ａに接続され
た、開始バス・デバイス（この例では３８Ａ）を含む各
バス・デバイスは、到着待ち行列４０中に送り出された
パケットＰ１（ｏ）をストアする。又、リピータ３４Ａ
はパケットＰ１（ｏ）をＬ２バス２２にブロードキャス
トする。これはパケットＰ１として現わされている。パ
ケットを出さない非始動の各リピータ・ノード中のリピ
ータは、パケットＰ１を受けてこれをそれぞれのＬ１バ
ス３２に到着パケットＰ（ｉ）としてドライブする。図
３に示した実施形態にはわずか２個のリピータ・ノード
３０しか示さないので、リピータ３４ＢはＬ２バス２２
にパケットＰ１を受けてこれを上述した例ではＬ１．２
バス３２Ｂに到着パケットＰ１（ｉ）としてドライブす
る。送り出されたパケットＰ１（ｏ）であるパケットＰ
１を出したリピータ・ノード３０Ａのリピータ３４Ａ
は、そのパケットＰ１を到着パケットとしてＬ１．１バ
ス３２Ａへドライブ・バックしない。その代わり、リピ
ータ３４Ｂのような他のリピータがパケットＰ１をそれ
ぞれのＬ１バスにドライブする時に、リピータ３４Ａは
到着信号３６Ａをアサートする。この到着信号３６Ａは
始動ノード中にある各バス・デバイスに警告してその到
着待ち行列４０中にストアされたパケットを現在の到着
パケットとして処理させる。非始動リピータ・ノード３
０Ｂ中のリピータ３４Ｂはその到着信号３６Ｂをアサー
トしない。従って、バス・デバイス３８Ｃ及び３８Ｄは
それぞれの到着待ち行列４０をバイパスし、且つＬ１．
２バス３２Ｂからの到着パケットＰ１（ｉ）を受ける。
マルチプレクサ４２は到着信号に応答し且つ各デバイス
にＬ１バス３２のパケットか、到着待ち行列４０の最初
のパケットを現在のパケットとして調べさせる。

【００３８】上例では、始動リピータ・ノード３０Ａ中
の全てのバス・デバイス３８Ａ−３８Ｂの到着待ち行列
４０Ａ−４０Ｂに送り出されたパケットＰ１（ｏ）をス
トアすることは、他の送り出されたパケットをブロード
キャストさせるためにＬ１．１バス３２Ａをフリーアッ
プする。一方、第１のパケットは他の非始動リピータ・
ノード（３０Ｂ）のＬ１バス３２にブロードキャスト中
であり且つリピータ・ノード３０Ａ中の到着待ち行列４
０Ａ−４０Ｂに存在する。従って、同一のバス・トラン
ザクションはどの所定バスにも１回よりも多く決して現
れず、したがって、バスの帯域幅を最大まで利用させ
る。

【００３９】一般的に云えば、所定のＬ１バス３２に結
合された全てのデバイスは、このバスに現れる全ての送
出トランザクション・パケットをその到着待ち行列４０
中にストアさせる。リピータ・ノード３０中のリピータ
３４は、全ての送出トランザクション・パケットを、こ
れらが始動Ｌ１バス３２に現れたのと同じ順序でＬ２バ
ス２２にブロードキャストする。各リピータ・ノード３
０中のリピータは、Ｌ２へパケットをそのリピータ・ノ
ードから出さなかった時だけ、Ｌ２のパケットをＬ１バ
ス３２に到着パケットとしてドライブする。もし、Ｌ２
のパケットが特定のリピータ・ノード（起動ノード）か
ら出たなら、そのリピータ・ノードは、他のリピータが
そのパケットを到着パケットとしてドライブしているバ
ス・サイクルの間に、そのパケットを再度ドライブする
代わりに到着信号３６をアサートする。従って、コンピ
ュータ・システム２０中の全てのバス・デバイス３８は
トランザクションを同時に見る。起動リピータ・ノード
内のバス・デバイス３８はその到着待ち行列４０からパ
ケットを見る。そして非起動リピータ・ノード中のバス
・デバイス３８はそれぞれのバイパス・パス４６を介し
てＬ１バス３２のパケットを見る。起動リピータ・ノー
ド中のバス・デバイス３８がそれぞれの到着待ち行列４
０を使用してパケットを見るので、起動リピータ・ノー
ド中のＬ１バス３２は他の送り出されたパケットを自由
にブロードキャストできる。このようにしてＬ２バス２
２の全帯域幅を利用できる。

【００４０】全ての送出トランザクション・パケット
は、出されたのと同じ順序（デバイス間の調停をさせ
る）でブロードキャストされ、且つ同一バス・サイクル
中に全てのデバイスに現れるので、Ｌ１バス３２、リピ
ータ３４及びＬ２バス２２から成る階層バス構造はバス
・デバイス３８に対して単一の大きくて論理的に共有し
たバスとして現れる。しかしながら、単一の物理的に共
有したバスに許容できるよりももっと多くのバス・デバ
イス３８を図３の階層構造でサポートできる。一実施形
態では、各プロセッサ／メモリ・バス・デバイスに物理
的に置かれたメモリは、システム・メモリを形成する単
一の論理的メモリとして一まとめに現れる。システム・
メモリは一般的には全てのバス・デバイス３８でアクセ
スできる。

【００４１】バス・リクエストを同時に扱うために、バ
ス・デバイス３８及びリピータ３４の各々中に調停論理
部が含まれる。実施形態では、各リピータ・ノード３０
中のリピータ３４及びバス・デバイス３８はそのノード
中のＬ１バス３４を調停する。更に、各リピータ３４は
Ｌ２バス２２へのアクセスを調停する。Ｌ１トランザク
ション・パケットを未定のままにすると、各バス・デバ
イス３８中の送り出される待ち行列が列をつくるかもし
れない。同様に、未定のＬ２パケット及び未定の到着Ｌ
１パケットは各リピータ３４中で列をつくるかもしれな
い。各バス・レベルのためのラウンド・ロビン又は優先
度のような種々の調停方法を用いても良い。

【００４２】図３をまた参照しながら図４を見れば、図
３のコンピュータ・システム２０の動作は、図４に示さ
れたようなタイミング６０によって例示される。このタ
イミング６０の各列は特定のバス・サイクルに対応す
る。左から右へ時間が増す１１のバス・サイクルが１１
の列で表わされる。Ｌ２バス２２、Ｌ１．１バス３２
Ａ、Ｌ１．２バス３２Ｂ、到着信号３６Ａ、及び到着信
号３６Ｂの状態は、それぞれ行６１−６５に応じて各バ
ス・サイクルの間に示されている。

【００４３】バス・サイクル１中、送り出されたパケッ
トはバス・デバイス３８によって各リピータ・ノード３
０中のＬ１バス３２にドライブされる。タイミング６０
中には、送り出されたパケットが行６２（Ｌ１．１バ
ス）にＰ１（ｏ）として且つ行６３（Ｌ１．２バス）に
Ｐ２（ｏ）として示される。同一サイクル中に２つの異
なるバス・トランザクションが出されたので、これらが
Ｌ２バス２２に現れる順序は、調整方法に依存する。タ
イミング６０に示された実施形態のため、バス・サイク
ル２中の行６１（Ｌ２バス）のＰ１で表わされたよう
に、Ｌ１．１バス３２Ａで発されたトランザクションは
まずＬ２バス２２へ送られる。トランザクションＰ２
（ｏ）はそれぞれのリピータ中で列を作る。又、バス・
サイクル２中、２つの新しいトランザクションは、行６
２（Ｌ１．１バス）で送出トランザクションＰ３（ｏ）
及び行６３（Ｌ１．２バス）で送出トランザクションＰ
４（ｏ）で表わされたように、低レベルのバス３２に出
される。トランザクションが出されたリピータ・ノード
中の全てのバス・デバイス３８に対し全ての送出トラン
ザクション・パケットが到着待ち行列４０中で列をなす
ことに注目するのが重要である。例えば、送出トランザ
クションＰ３（ｏ）は、Ｌ１．１バス３２Ａに出され、
従って起動リピータ・ノード３０Ａ中のバス・デバイス
３８Ａ，３８Ｂのそれぞれ到着待ち行列４０Ａ，４０Ｂ
にストアされる。送出トランザクションＰ３（ｏ）はど
ちらのバス・デバイス３８Ａ又は３８Ｂから出ても良
い。

【００４４】バス・サイクル３中、トランザクションＰ
１は、行６３（Ｌ１．２バス）でのＰ１（ｉ）で表わさ
れたように、リピータ・ノード３０ＢのＬ１バス３２Ｂ
に到着トランザクションとしてブロードキャストされ
る。しかし、トランザクションＰ１はリピータ・ノード
３０ＡのＬ１バスにはブロードキャストされない。その
理由は、リピータ・ノード３０がトランザクションＰ１
を出したリピータ・ノードだからである。その代わり、
リピータ・ノード３０Ａでの到着信号３６Ａが、タイミ
ング６０の行６４に示されたように、アサートされる。
到着信号３６Ａのアサートは、リピータ・ノード３０Ａ
の各バス・デバイス３８Ａ，３８Ｂに、それぞれの到着
待ち行列６０からの到着パケットＰ１（ｉ）としてトラ
ンザクションＰ１を見させる。従って、起動リピータ・
ノード３０Ａ中のＬ１バス３２Ａは、バス・サイクル３
中タイミング図６０の行６２にＰ５（ｏ）で表わされた
ように、他の送出トランザクションの伝送に対して自由
である。又、バス・サイクル３中、バス・サイクル１か
らの第２の送出トランザクションＰ２（ｏ）は、タイミ
ング６０の行６１に示されたようにＬ２バス２２にブロ
ードキャストする。

【００４５】バス・サイクル４中、トランザクションＰ
２は、行６２にＰ２（ｉ）で表わされたように、リピー
タ・ノード３０ＡのＬ１バス３２Ａに到着トランザクシ
ョンとしてブロードキャストされる。しかしながら、ト
ランザクションＰ２は、これを出したリピータ・ノード
３０ＢのＬ１バスにはブロードキャストされない。その
代わり、リピータ・ノード３０Ｂでの到着信号３６Ｂは
バス・サイクル４の間タイミング６０の行６５に示され
たようにアサートされる。到着信号３６Ｂは、アサート
されるとリピータ・ノード３０Ｂの各バス・デバイス３
８Ｃ−３８Ｄに、それぞれの到着待ち行列４０からの到
着パケットＰ２（ｉ）としてトランザクションＰ２を見
させる。従って、起動リピータ・ノード３０Ｂ中のＬ１
バス３２Ｂは、バス・サイクル４中タイミング図６０の
行６３でのＰ６（ｏ）で表わされたように、同一バス・
サイクルの間他の送出トランザクションを自由に伝送す
る。又、バス・サイクル４中、送出トランザクションＰ
３（ｏ）は、タイミング６０の行６１に示されたように
トランザクションＰ３としてＬ２バス２２にブロードキ
ャストする。

【００４６】上述した動作は、バス・デバイスから出さ
れた全てのバス・トランザクションに適用できる。タイ
ミング６０から明らかなように、一定のトランザクショ
ン・パケットはどのＬ１バス３２にも１回だけ、送り出
されたパケット又は到着パケットとして現れるが、両方
が現れることはない。従って、全てのトランザクション
・パケットは図３のコンピュータ・システム２０中の各
バスに正確に１回現れる。この実施形態がＬ２バス２２
の全帯域幅を利用させることもタイミング６０から明ら
かである。タイミング６０は、又、コンピュータ・シス
テム２０の各バス・デバイス３８が同一バス・サイクル
中同一順序で特定の各トランザクションを見ることを例
示する。それは、特定の各トランザクションがコンピュ
ータ・システム中の一つ置きのバス・デバイス３８に現
れるからである。

【００４７】図５は、プロセッサ／メモリ・バス・デバ
イス７０の詳細を示す。バス・デバイス７０は図３のプ
ロセッサ／メモリ・バス・デバイス３８Ａ，３８Ｃ，３
８Ｄの１つに対応する。バス・デバイス７０は、高性能
のプロセッサであり得るプロセッサ８０を含む。一実施
形態では、プロセッサ８０は、ＳＰＡＲＣプロセッサ・
アーキテクチャのバージョン９にしうたがうＳＰＡＲＣ
プロセッサである。しかしながら、プロセッサ８０には
どんなプロセッサ・アーキテクチャを用いても良いこと
に注目されたい。

【００４８】代表的な例では、プロセッサ８０は内部命
令及びデータ・キャッシュを含む。従って、外部キャッ
シュ７６はＬ２キャッシュ（レベル２用、一方内部キャ
ッシュはレベル１キャッシュである。）と表わした。も
しプロセッサ８０に内部キャッシュが無ければ、外部キ
ャッシュ７６はレベル１キャッシュである。“レベル”
と云う術語は、プロセッサ８０内の処理コアに対して特
定のキャッシュが近いことを識別するために使用される
ことに注目されたい。レベル１が処理コアに一番近く、
レベル２が次に近く、以下同様である。外部キャッシュ
７６は、これに結合されたプロセッサ８０からアクセス
されたメモリ・アドレスに速い応答を与える。外部キャ
ッシュ７６は様々な特定キャッシュ構造のどれで構成し
ても良いことに注目されたい。例えば、セットアンシァ
ティブ又はダイレクトマップ構成でもよい。

【００４９】メモリ８２は、コンピュータ・システム中
のプロセッサ８０及び他のバス・デバイスで使用するた
めのデータ及び命令コードをストアするように構成され
ている。どんなタイプのメモリを使っても良いが、メモ
リ８２にはダイナミック・ランダム・アクセス・メモリ
（ＤＲＡＭ）が好ましい。図５及び図３を参照すれば、
他のバス・デバイス３８中及び他のリピータ・ノード３
０中の同様なメモリと一緒にメモリ８２は共有メモリ装
置を形成する。システム・メモリはデバイス及びリピー
タ・ノード間に物理的に分散され得るが、物理的メモリ
は論理的には一緒になって単一の共有メモリとして現れ
る。従って、特定のバス・デバイス３８内のプロセッサ
８０がシステム・メモリにアクセスする時に、メモリ・
アドレスによって他のバス・デバイス又はそれ自体のバ
ス・デバイスのメモリ８２からアクセスすることができ
る。しかしながら、図３の動作について上述したよう
に、同一バス・サイクル中全てのメモリ・トランザクシ
ョンは各バス・デバイスに現れる。従って、メモリ・ア
クセスのトランザクション時間はイニシエイタ又はメモ
リ８２の物理的場所に依存しない。

【００５０】プロセッサ８０は、メモリにアクセスする
時に、データを積極的にキャッシュすることができる。
従って、コンピュータ・システム２０中の全てのバス・
デバイス３８間にコヒーレンシィを維持しなければなら
ない。通常のＳＭＰコヒーレンシィ・プロトコルは、コ
ヒーレンシィを維持するためにＭＥＳＴのように使用さ
れることができる。それは、図３のアーキテクチャによ
り全てのトランザクションはコンピュータ・システム２
０中の全てのバス・デバイスに亘り大体同一時間に且つ
同一順序で見られるようにするからである。

【００５１】図３に戻れば、階層Ｌ１／Ｌ２バス構造
は、コンピュータ・システム２０中の全てのバス・デバ
イス間の通信を考慮する。一実施形態では、Ｌ１バス３
２及びＬ２バス２２の各々は、アドレス・バスとそれに
関連する制御信号及びデータ・バスとそれに関連する制
御信号を含む。このようにアドレス・バスとデータ・バ
スが分離しているので、分割トランザクション・バス・
プロトコルを用いることができる。分割トランザクショ
ン・バス・プロトコルとは、アドレス・バスに生じるト
ランザクションとデータ・バスに同時に生じるトランザ
クションとが違っていて良いプロトコルである。アドレ
ス及びデータを伴うトランザクションは、アドレス及び
関連制御情報がアドレス・バスに伝えられるアドレス・
フェーズとデータがデータ・バスに伝えられるデータ・
フェーズとを含む。他のトランザクション用の別なアド
レス・フェーズ及び／又はデータ・フェーズは、特定の
アドレス・フェーズに対応するデータ・フェーズの前に
開始することができる。アドレス・フェーズとデータ・
フェーズは多数の仕方で相関されて良い。例えば、デー
タ・トランザクションは、アドレス・トランザクション
が起きるのと同じ順序で起きるかもしれない。或は、ト
ランザクションのアドレス・フェーズとデータ・フェー
ズは独特のタグ又はソースｉｄによって識別することが
できる。簡潔のためここに述べたバス・トランザクショ
ンを通常、アドレス・トランザクションと云う。これに
対応して、図３のＬ１バス３２及びＬ２バス２２はアド
レス・バスだけを表わす。データ・バスも全てのバス・
デバイス３８に相互接続する。データ・バスは、普通の
バス構造、データ・スイッチ、又はこれらの組合わせで
良い。

【００５２】図５の実施形態のバス・デバイス７０は、
バックプレーン（この上にＬ１バス３２が置かれる）に
挿入され得る印刷回路板として構成することができる。
この態様では、リピータ・ノード３０内に含まれたプロ
セツサ及び／又はＩ／Ｏインターフェイスの数は、バス
・デバイスを挿入したり取り出したりすることで変えれ
る。例えば、図３のコンピュータ・システムは最初、少
数のバス・デバイス３８で構成できる。コンピュータ・
システムのユーザによって必要とされた計算能力が増え
るにつれ、別なバス・デバイス３８を随時付加すること
ができる。

【００５３】アドレス・コントローラ７２はＬ１バス３
２に結合され、データ・コントローラ８４はデータ・バ
スに結合される。アドレス・コントローラ７２はキャッ
シュ７６とＬ１バス３２の間にインターフェイスを形成
する。図示の例では、アドレス・コントローラ７２は、
アウト待ち行列７４及びイン待ち行列４０を含む。アド
レス・コントローラ７２がＬ１バス３２へのアクセスを
許されるまで、アウト待ち行列７２はこれに接続された
プロセツサ８０からのトランザクションを緩衝する。ア
ドレス・コントローラ７２は、トランザクションがアウ
ト待ち行列７４に置かれた順序でこれらトランザクショ
ンをアウト待ち行列にストアする（即ちアウト待ち行列
７４はＦＩＦＯ待ち行列である）。アドレス・コントロ
ーラ７２によってなされたトランザクション及びＬ１バ
ス３２から受け、キャッシュ７６とプロセッサ８０の内
部キャッシュでスヌープされるトランザクションは、イ
ン待ち行列４０中に置かれる。

【００５４】アウト待ち行列７４と同様に、イン待ち行
列４０もＦＩＦＯ待ち行列である。全てのアドレス・ト
ランザクションは、上述したように、始動ノードの各バ
ス・デバイスのイン待ち行列にストアされる（アドレス
・トランザクションを開始するバス・デバイスのイン待
ち行列内でさえ）。非始動ノードに対してイン待ち行列
４０はバイパス・パス４６でバイパスされる。アドレス
・コントローラ７２は、適切なバス・サイクル中バイパ
ス・パス４６又はイン待ち行列４０を選ぶために、マル
チプレクサ４２を制御させる到着信号３６を受ける。も
し別な緩衝が必要なら、第２のイン待ち行列（図示しな
い）をマルチプレクサ４２の出力側に置けば良い。複数
のアドレス・トランザクションは、従ってこれらがＬ１
バス３２に生じる順序でスヌープするために全てのバス
・デバイスに提示される。

【００５５】データ・コントローラ８４は、データ・バ
ス・メモリ８２及びキャッシュ７６への、又はこれらか
らのデータを運ぶ。データ・コントローラ８４はアドレ
ス・コントローラ７２と同様にイン待ち行列及びアウト
待ち行列を含み得る。一例では、データ・コントローラ
８４は、バイトに切り分けられたバス構造中に多数の物
理的ユニットを用いる。

【００５６】図５に示されたようなプロセツサ８０はメ
モリ管理ユニット（ＭＭＵ）７８を含む。このＭＭＵ７
８は、プロセツサで実行された命令コードによって生じ
たデータ・アドレス及び命令アドレスで仮想アドレス対
物理アドレス変換を行う。命令の実行に応答して生じた
アドレスは仮想アドレスである。換言すれば、仮想アド
レスはＣＰＵによって生じたアドレスである。仮想アド
レスはアドレス変換機構（ＭＭＵ７８中に含まれる）に
通され、ここから対応する物理アドレスが生じる。物理
アドレスはシステム・メモリ内の記憶場所を識別する。

【００５７】アドレス変換機構は、アクセス制御又は保
護機能部に最もひんぱんに結合される。例えば、アドレ
ス変換機構は、或る種のメモリ・アドレスに対する特定
の計算タスクのアクセスを肯定ないし否定するのに使用
できる。このようにして、１つの計算タスク内のデータ
及び命令は他の計算タスクのデータ及び命令から隔離さ
れる。更に、計算タスクのデータ及び命令の部分はハー
ド・デイスク・ドライブに“ページアウトされ”る。或
る部分がページアウトされる時に、変換は無効にされ
る。計算タスクによるその部分へのアクセス時に、間違
った変換のせいでトラップが起きる。このトラップによ
って、動作中のシステムがハード・ディスク・ドライブ
から対応する情報を検索する。このやり方で、バス・デ
バイス７０のために図示したメモリ８２のようにバス・
デバイス間に物理的に分散される実際のシステム・メモ
リよりも多くの仮想メモリが入手できる。仮想メモリの
ための多くの他の使用法も周知である。

【００５８】図６はＩ／Ｏバス・デバイス９０の一例を
示し、このＩ／Ｏバス・デバイス９０は図３のバス・デ
バイス３８Ｂに相当し得る。Ｉ／Ｏバス・デバイス９０
は、Ｌ１バス３２をメザニーン（mezzanine ）・バス９
６へインターフェイスするＩ／Ｏブリッジ・コントロー
ラ９２を備えている。同様に、Ｉ／Ｏデータ・コントロ
ーラ９４は、システム・データ・バスをメザニーン・バ
ス９６へインターフェイスする。メザニーン・バス９６
には、２個の周辺機器インターコネクト（ＰＣＩ）バス
・コントローラ９８Ａ−９８Ｂ及びビデオ・フレーム・
バッファ１００が結合されている。ＰＣＩバス・コント
ローラ９８はメザニーン・バス９６をそれぞれのＰＣＩ
バス１０２Ａ−１０２Ｂにインターフェイスする。複数
のＰＣＩデバイス例えばＰＣＩカード１０４Ａ−１０４
Ｂ，１０４Ｃ−１０４ＤはそれぞれＰＣＩバス１０２
Ａ，１０２Ｂに結合することができる。ＰＣＩカード１
０４Ａ−１０４Ｄはマルチメディア・インターフェイ
ス，直列ポート・インターフェイス・ビデオ・インター
フェイス等のようなどんなタイプの周辺機器もサポート
し得る。

【００５９】Ｉ／Ｏブリッジ・コントローラ９２は、図
５のアドレス・コントローラ７２と同様なアドレス・コ
ントローラ９３を含む。従って、Ｉ／Ｏバス・デバイス
９０中のアドレス・コントローラ９３は、到着信号３６
を受信し且つイン待ち行列４０Ｂ及びバイパス・パス４
６を含む。従って、Ｉ／Ｏバス・デバイス９０は起動デ
バイス又は受信デバイスとしてバス・トランザクション
に関係し得る。Ｉ／Ｏバス・デバイス９０は、図４のタ
イミング図に応じて図３の階層Ｌ１／Ｌ２バス構造で作
動する。例えば、ＰＣＩカード１０４ＡはＰＣＩバス１
０２Ａにトランザクションを開始する。トランザクショ
ンは、ＰＣＩバス・コントローラ９８Ａによってまずメ
ザニーン・バス９６へ、次いでＩ／Ｏブリッジ・コント
ローラ９２によってＬ１バス３２へ送られる。簡潔にす
るためこの例ではバスの調停が無視される。トランザク
ションは、Ｌ１バス３２へ送られるので、Ｉ／Ｏブリッ
ジ・コントローラ９２中に置かれたアドレス・コントロ
ーラ９３中の到着待ち行列４０にもストアされる。同様
に、Ｉ／Ｏバス・デバイス９０でのデバイスは、他のバ
ス・デバイス３８によって開始されたトランザクション
に対する宛先であり得る。その場合には、トランザクシ
ョンがＩ／Ｏバス・デバイス９０と同一のノードから出
たかどうかにより、Ｉ／Ｏブリッジ・コントローラ９２
はイン待ち行列４０からか、バイパス・パス４６からの
到着トランザクションを受ける。トランザクションの宛
先は、ＰＣＩカード１０４Ａ−１０４Ｄの１つ又はフレ
ーム・バッファ１００で良い。従って、Ｉ／Ｏバス・デ
バイス９０は、プロセツサ／メモリ・バス・デバイスに
ついて上述したのと同じ仕方でバス・トランザクション
に関係し得る。

【００６０】図７はこの発明の他の実施形態である拡張
対称プロセッサ・コンピュータ・システム（ＸＭＰ）１
３０を示す。３個のＳＭＰノード１２０Ａ−１２０Ｃが
示されている。各ＳＭＰノード１２０はＸＭＰインター
フェイス１２８を有する。各ＳＭＰノード１２０内には
２個のアドレス・リピータ３４もある。ＸＭＰインター
フェイス１２８及びリピータ３４は高レベルのバスＬ２
に結合する。各リピータ３４は低レベルのバス３２にも
結合されている。バス・デバイス３８は低レベルのバス
３２に結合されている。バス・デバイス３８は、図５の
バス・デバイス７０と同様なプロセツサ／メモリ・バス
・デバイスでも良いし、或は図６のバス・デバイス９０
と同様なＩ／Ｏバス・デバイスでも良い。他の実施形態
は他の種々のバス・デバイス構成を含み得る。最近のコ
ンピュータ・システム中で見られるどんなローカル・バ
ス・タイプのデバイスもこの発明内で使用することを目
論まれる。

【００６１】図７中の各ＳＭＰノード１２０は、図３に
示したＳＭＰシステムと同様に構成されて良い。しかし
ながら、図７のＳＭＰノード１２０は、高レベルのバス
２２に結合されたＸＭＰインターフェイス１２８で構成
されている。各ＳＭＰノード１２０のＸＭＰインターフ
ェイス１２８は、ポイントツウポイント接続により互い
のＳＭＰノード１２０のＸＭＰインターフェイス１２８
とも接続されている。例えば、ＳＭＰノード１２０Ａの
ＸＭＰインターフェイス１２８Ａはポイントツウポイン
ト・リンク１４２によりＳＭＰノード１２０ＢのＸＭＰ
インターフェイス１２８Ｂにポイントツウポイント接続
されている。ＳＭＰノード１２０Ａ中のトップレベルの
インターフェイス１２８Ａはポイントツウポイント・リ
ンク１４０によりＳＭＰノード１２０Ｃ中のＸＭＰイン
ターフェイス１２８Ｃに個別にポイントツウポイント接
続されている。このやり方では、各ＳＭＰノード１２０
は１つ置きのＳＭＰノードへの個別のポイントツウポイ
ント接続を有する。各ポイントツウポイント接続は２つ
の単方向リンクである。ポイントツウポイント接続のこ
のネットワークは、幾つかのＳＭＰノードを一緒に結合
させ、拡張ＳＭＰ（ＸＭＰ）コンピュータ・システム１
３０を形成する。ＳＭＰノード１２０間のポイントツウ
ポイント接続の結合ネットワークは、より深い階層及び
他のアーキテクチャに関連した多くの物理的抑制及び潜
在問題に取り組むことなく、図３の階層バス構造を拡張
させる。

【００６２】図８はＳＭＰノード１２０のもっと詳しい
ブロック図である。ＳＭＰノード１２０は図７のＳＭＰ
ノード１２０Ａ−１２０Ｃの１つに相当する。ＳＭＰ１
２０の構造及び動作は、後で説明するように、変更部分
を除けば、図３のＳＭＰコンピュータ・システムについ
て上述した構造及び動作に非常に似ている。ＳＭＰノー
ド１２０は、そのＬ２バス２２とＸＭＰコンピュータ・
システム１３０中の他のＳＭＰノードとの間のインター
フェイスとなるＸＭＰインターフェイス１２８を含む。
図３におけるように、２つのリピータ・ノード３４はＬ
２バス２２に接続されている。各リピータ・ノードはリ
ピータ３４，Ｌ１バス３２及び２個のバス・デバイス３
８を含んでいる。図８には２個のリピータ・ノードだけ
を示すが、リピータ・ノードの数は２個より多くても、
逆に少なくても良い。更に、各リピータ・ノード毎に２
個のバス・デバイス３８しか示さないが、同様に２個よ
り多くても少なくても良い。又、この発明の他の実施形
態では、共有バスの代わりに、Ｌ２バス２２は各リピー
タ３４をＸＭＰインターフェイス１２８へ個別に結合す
るポイントツウポイント接続であり得る。

【００６３】各リピータ３４は内部待ち行列１２２及び
バイパス・パス１２４を含む。各リピータ３４はＸＭＰ
インターフェイス１２８から制御信号も受ける。制御信
号１２６は、リピータ３４中でバイパス・パス１２４と
待ち行列１２２のどちらが選ばれるかを制御するために
使用される。このバイパス／待ち行列構造は、図３のバ
ス・デバイス３８で示されたバイパス／待ち行列構造と
同様である。トランザクションがＸＭＰコンピュータ・
システム１３０中の他のＳＭＰノードにブロードキャス
トされなければならない時に、そのトランザクションは
起動ＳＭＰノード１２０中の各リピータ３４の待ち行列
１２２にストアされる。又、完全に局部的なトランザク
ション（他のノードへブロードキャストされない）は待
たされる。他のＳＭＰノードから到着するトランザクシ
ョンはＸＭＰインターフェイス１２８によってＬ２バス
２２にブロードキャストされる。他のＳＭＰノードから
のトランザクションのため、ＸＭＰインターフェイス１
２８は、バイパス・パス１２４が各リピータ３４中で選
ばれるように制御信号をアサートする。従って、外のＳ
ＭＰノードから出る全てのトランザクションはバイパス
・パス１２４及びリピータ３４を通して送られ、そして
ＳＭＰノード１２０中で出る全てのトランザクションは
ＳＭＰノード１２０のリピータ待ち行列１２２にストア
される。

【００６４】図７と図８を同時に参照すれば、ポイント
ツウポイント接続１４０，１４２及び１４４を有するポ
イントツウポイント・リンク構造はトランザクション同
期構造である。従って、各ＳＭＰノード１２０は互いの
ＳＭＰノード１２０とほぼ同時にトランザクションを送
受信し得る。ＳＭＰノード１２０間の結合構造が単方向
ポイントツウポイント接続を備えるので調停遅れはＳＭ
Ｐノード１２０間でトランザクションを送ることに関連
付けられない。このトップレベルの結合構造に関する厳
しいトランザクション順序を追従することにより、トラ
ンザクションの順序化は維持される。ＳＭＰノード１２
０間の幾つかのポイントツウポイント・リンクに同時に
送られたトランザクションは、ＳＭＰノード１２０Ａか
ら出るトランザクションがＳＭＰノード１２０Ｂから出
るトランザクションの前に起こるとして定義され且つＳ
ＭＰノード１２０Ｂから出るトランザクションがＳＭＰ
ノード１２０Ｃから出るトランザクションの前に起こる
として定義されるように、慣例により順序化される。例
えば、１トランザクション・サイクル中、ＳＭＰノード
１２０ＡはトランザクションをＳＭＰノード１２０Ｂ及
び１２０Ｃへブロードキャストし得る。同一サイクル
中、ＳＭＰノード１２０Ｂは異なるトランザクションを
ＳＭＰノード１２０Ａ及び１２０Ｃにブロードキャスト
でき、そしてＳＭＰノード１２０Ｃは更に他のトランザ
クションをＳＭＰノード１２０Ａ及び１２０Ｂにブロー
ドキャストできる。従って、３つの異なるバス・トラン
ザクションは、それぞれ各ＳＭＰノード１２０Ａ，１２
０Ｂ，１２０Ｃから１つのトランザクションが出る全て
のＳＭＰノードへ同一サイクル中ブロードキャストし得
る。定義された順序化は、ＳＭＰノード１２０Ｂ及び１
２０Ｃから出るトランザクションよりも前に、各ＳＭＰ
ノード１２０中のリピータへブロードキャストされるこ
とを命令する。次にノード１２０Ｂから出るトランザク
ションが各ＳＭＰノード１２０のＬ２バス２２にブロー
ドキャストされ、最後にＳＭＰノード１２０Ｃから出る
トランザクションが各ＳＭＰノード１２０のＬ２バス２
２にブロードキャストされる。他のＳＭＰノードから出
るトランザクションが特定のＳＭＰノードのＸＭＰイン
ターフェイスによってそのＬ２バス２２にブロードキャ
ストされる時に、ＸＭＰインターフェイス１２８は、そ
のＳＭＰノード中の全てのリピータ３４にてバイパス・
パス１２４が選ばれるように制御信号１２６をアサート
する。しかしながら、トランザクションが発生られたＳ
ＭＰノード中では、リピータ３４が待ち行列１２２を選
んでトランザクションをＬ１バス３２へドライブするよ
うにＸＭＰインターフェイス１２８は制御信号１２６を
アサートする。従って、起動Ｌ２ノード中のＬ２バス２
２は新しいバス・トランザクションをブロードキャスト
するために自由のままである。

【００６５】図７および図８のＸＭＰアーキテクチャに
ついての上述した動作から理解できるように、ＳＭＰノ
ード１２０間でブロードキャストされたトランザクショ
ンは各ＳＭＰノード１２０のＬ２バス２２に１回だけ現
れる。これはバスの帯域幅を最大まで利用させる。更
に、トップレベルのポイントツウポイント・リンク接続
のために定義された厳しい順序化は、どんな調停遅れも
無しに順序化されたトランザクションが常にブロードキ
ャストされることを確実にする。上述したポイントツウ
ポイント・リンク構造は、伝統的な階層バス構造よりも
実に良いスケーリング及び距離特性を提供する。ＳＭＰ
ノード１２０Ａから出るトランザクションがノード１２
０Ｂから同時に出るトランザクションに先行し且つＳＭ
Ｐノード１２０Ｂから出るトランザクションがＳＭＰノ
ード１２０Ｃから同時に出るトランザクションよりも優
先権を有する定義されたトップレベルのトランザクショ
ン順序化は、制限しないことを理解されたい。換言すれ
ば、定義されたどんな順序を選んでも良いが、全てのＳ
ＭＰノード１２０について全てのトランザクションが同
一順序で見られるのを確実にするために特定の定義され
た順序を持つことが必要である。

【００６６】各バス・デバイス３８及び各ＳＭＰノード
１２０は、図３のＳＭＰコンピュータ・システムについ
て上述したようなメモリを含み得る。各バス・デバイス
３８及び各ＳＭＰノード１２０中に置かれたメモリは、
ひとまとめにしてＸＭＰコンピュータ・システムのシス
テム・メモリを形成する。しかしながら、システム・メ
モリのアドレス空間は、各ＳＭＰノード１２０が総アド
レス空間の一部を得るように異なる領域に分割される。
各アドレス空間部分のサイズはＸＭＰコンピュータ・シ
ステム中のＳＭＰノード１２０の数に依存する。図７及
び図８のＸＭＰコンピュータ・システム１３０に関する
限り、各ＳＭＰノード１２０Ａ−１２０Ｃには総システ
ム・メモリ・アドレス空間の１／３が割当てられる。も
し特定のＳＭＰノード１２０中のバス・デバイス３８が
その特定ＳＭＰノード１２０に割当てられたアドレス空
間領域内の或るメモリ領域にアクセスするならば、トラ
ンザクションを他のＳＭＰノード１２０へブロードキャ
ストすることなく、ＳＭＰノード内のメモリから満足さ
れる。従って、ＳＭＰノード１２０間のポイントツウポ
イント・リンク構造のトランザクション・トラフィク
は、特定のＳＭＰノード１２０内で満足され得ないトラ
ンザクションだけに制限される。

【００６７】ＸＭＰコンピュータ・システム中での各Ｓ
ＭＰノード１２０間のメモリ・コヒーレンシィを維持す
るために、システム・メモリの各キャッシュ・ラインは
ＳＭＰノード用のコヒーレンシィ状態がタグ化される。
これらコヒーレンシィ状態タグはひとまとめにして図８
ではＭＴＡＧ１５０と称される。複数のＭＴＡＧ１５０
は、メモリを含む各バス・デバイス３８のメモリにスト
アすることができる。他の例では、ＭＴＡＧをＳＲＡＭ
にストアできる。特定のＳＭＰノード１２０中のバス・
デバイス３８がトランザクションを開始する時に、トラ
ンザクションはその特定ＳＭＰノードでだけ試行され
る。開始中のバス・デバイスは、検索されたＭＴＡＧコ
ヒーレンシィ状態を調べて、ＳＭＰノードがトランザク
ション・アドレスのための有効なアクセス権を有するか
どうかを決定する。もし検索されたコヒーレンシィ状態
が適正なアクセス権を示すなら、完了されたトランザク
ションは有効である。しかしながら、もしコヒーレンシ
ィ状態が不適当なアクセス権を示すなら、トランザクシ
ョンはグローバル・トランザクションとしてバス・デバ
イスによって再発されなければならない。トランザクシ
ョンがグローバル・トランザクションとしてバス・デバ
イスから出されると、トランザクションは起動ＳＭＰノ
ード１２０中のＸＭＰインターフェイス１２８によって
ポイントツウポイントＳＭＰノード接続で互いのＳＭＰ
ノード１２０へブロードキャストされるであろう。トラ
ンザクションがグローバル・トランザクションとして意
図されるかどうかは、トランザクション・パケットのビ
ット・エンコード化部分から決定される。

【００６８】一般的に云えば、特定の記憶場所（例えば
メモリ又はキャッシュ）にあるコヒーレンシィ・ユニッ
ト（例えばキャッシュライン）のために維持されたコヒ
ーレンシィ状態は、そのＳＭＰノード１２０でのコヒー
レンシィ・ユニットへのアクセス権を示す。このアクセ
ス権は、コヒーレンシィ・ユニットの有効さ及びそのＳ
ＭＰノード１２０内のコヒーレンシィ・ユニットのコピ
ーに許されたリード／ライト許可を示す。一例では、Ｘ
ＭＰコンピュータ・システム１３０によって用いられた
コヒーレンシィ状態は変更され、所有され、共有され、
そして無効にされる。変更された状態は、ＳＭＰノード
１２０が対応するコヒーレンシィ・ユニットを更新した
ことを示す。従って、他のＳＭＰノード１２０はコヒー
レンシィ・ユニットのコピーを持たない。更に、変更さ
れたコヒーレンシィ・ユニットがＳＭＰノードによって
無視される時に、コヒーレンシィ・ユニットは、コヒー
レンシィ・ユニットが属するアドレス空間領域に割当て
られるＳＭＰノード１２０へストア・バックされる。所
有された状態は、ＳＭＰノード１２０がコヒーレンシィ
・ユニットに責任を負うことを示すが、他のＳＭＰノー
ドがコピーを共有したかもしれない。再び、コヒーレン
シィ・ユニットからＳＭＰノード１２０によって無視さ
れる時に、コヒーレンシィ・ユニットは、このコヒーレ
ンシィ・ユニットが属するアドレス空間領域を割当てら
れるＳＭＰノード１２０へストア・バックされる。共有
された状態は、ＳＭＰノード１２０がコヒーレンシィ・
ユニットをリードできるが、所有された状態を得ること
なくコヒーレンシィ・ユニットを更新できないことを示
す。更に、他のＳＭＰノード１２０は同様にコヒーレン
シィ・ユニットのコピーを持てる。最後に、無効にされ
た状態は、ＳＭＰノード１２０がコヒーレンシィ・ユニ
ットのコピーを持たないことを示す。一例では、変更さ
れた状態はライト許可及びどんな状態も示すが、無効は
対応するコヒーレンシィ・ユニットへのリード許可を示
す。他のどんな許容し得るコヒーレンシィ技術を用いて
も良い。

【００６９】上述した動作から理解できるように、ＳＭ
Ｐノード１２０間のトップレベルのポイントツウポイン
ト相互接続バスは、純粋のブロードキャスト・バスであ
り且つコヒーレンシィ・スヌープ又はろ波機能を行わな
い。全てのメモリ・コヒーレンシィ・スヌープは、シス
テム・メモリ内にストアされた複数のＭＴＡＧを利用す
ることによって個々のＳＭＰノード１２０内で行われ
る。トップレベルのポイントツウポイント相互接続シス
テムにグローバルに送られた全てのトランザクション
は、各ＳＭＰノード１２０中の全ての低レベルのバスで
正確に１回起きるだろう。スヌープ及びろ波は、グロー
バルな注意を要するトランザクションだけがトップ・ポ
イントツウポイント相互接続構造を横切って送られるよ
うに、各ＳＭＰノード１２０中で最低のレベルにて行わ
れる。

【００７０】図７及び図８のＸＭＰコンピュータ・シス
テム１３０の他の実施形態では、システム・メモリのア
ドレス空間の領域を図９に示されたように３つのモード
のうちの１つで作動するように割当てらることができ
る。各ＳＭＰノード１２０に置かれた物理的メモリは、
図９に示されたように３つのモードの各々にて作動する
アドレス領域にマップされ得る。３つのメモリ・モード
は複製（ｓｅｐｌｉｃａｔｅ）モード，移行（ｍｉｇｒ
ａｔｅ）モード及び正常モードである。各ＳＭＰノード
１２０に置かれた物理的メモリは、図９に示されたよう
に３つのモードの各々中で作動するアドレス領域にマッ
プされ得る。正常モードで作動中のシステム・メモリ領
域に対し、全てのメモリ・トランザクションは、グロー
バルなトランザクションを送ることなくまず起動ＳＭＰ
ノード１２０中で試行される。その起動ＳＭＰノード１
２０中でのメモリ・アドレスが有効でないことをもしＭ
ＴＡＧが示すなら、トランザクションはグローバルに送
られるにすぎない。その場合、トランザクションは上述
したようにグローバルに再発される。もしトランザクシ
ョンのアドレスが外部のＳＭＰノード１２０にマップさ
れたメモリ領域に対応するなら、トランザクションが１
回目にグローバルに発されることに注目されたい。もし
メモリ・アドレスがそのＳＭＰノードにマップされた記
憶領域に相当するなら、トランザクションは起動ノード
中で局部的に試行されるにすぎない。従って、正常な動
作モードでは、トランザクションが通常、グローバルに
送られる時に、２つの例がある。そのような一例は、ト
ランザクション・アドレスが他のＳＭＰノードにマップ
された記憶領域に相当する時であり、そして他の例は、
始動ノードにマップされたがメモリ・アドレスが不適当
なコヒーレンシィ状態を有することをＭＴＡＧが示す時
である。例えば、もしそのメモリ・キャッシュ・ライン
が他のＳＭＰノードのバス・デバイスのキャッシュにリ
ードされて変更されたならば、コヒーレンシィ状態は不
適当であるかもしれない。その場合、トランザクション
は他のＳＭＰノードによって、スヌープされなければな
らない。

【００７１】複製モードでは、複製記憶領域が各ＳＭＰ
ノード１２０中に置かれたメモリにマップされる。従っ
て、記憶領域の局部コピーは各ＳＭＰノード１２０にス
トアされる。従って、複製モードでは、トランザクショ
ンが始動ＳＭＰノード中で局部的に常に試行される。複
製アドレス領域のコピーが各ＳＭＰノード１２０中に置
かれれるので、トランザクションは第１回目はグローバ
ルには決して開始されない。もしＭＴＡＧが不適当なキ
ャッシュ・コヒーレンシィ状態に戻るなら、グローバル
なトランザクションは再発トランザクションとしてのみ
起きる。もし対応するキャッシュ・ラインのアドレスが
他のＳＭＰノードの複製記憶領域中で変更されたなら、
不適当なキャッシュ・コヒーレンシィ状態が起こり得
る。複製モードは、記憶領域の大部分を共有するリード
から成る用途のために好都合に利用されて良い。そのよ
うな用途は、データ・ベースが複製記憶領域にストアさ
れ且つ通常、リード・トランザクションだけが行われる
大きなデータ・ベースへのアクセスを含み得る。

【００７２】もし記憶領域が移行モードにあれば、トラ
ンザクションは常にグローバルに送られる。従って、Ｍ
ＴＡＧキャッシュ・コヒーレンシィ状態をメモリ中に維
持する必要はない。移行モードは、データ構造が種々の
ＳＭＰノード１２０間でしばしばアクセスされる局部性
の貧弱な用途において好都合に利用され得る。そのよう
な移行データ構造用途では、ＭＴＡＧミスの可能性は、
もし正常モードが使用されたならば高い。従って、トラ
ンザクションを常にグローバルに開始することにより、
正常モードで必要とされた再発トランザクションは移行
モードでは避けれる。

【００７３】一例では、一定のメモリ・アドレスが複製
モード、移行モード又は正常モードの領域のためかどう
かは、トランザクション・パケット中のビット・エンコ
ード化メッセージによって示され得る。一例では、この
ビット・エンコード化メッセージはＭＭＵによって生じ
られた物理アドレスの最上位桁ビットで良い。動作中の
システムは、システム・メモリの種々の領域にモードを
割当てる責任を持ち、又いわゆるフリーリストでの自由
な物理メモリ・ページを追跡し続けることができる。複
製モードでのメモリの割当てを簡単化するため、動作中
のシステムは、全てのノード中で使用されないページに
対して専用のフリーリストを維持し得る。ページは複製
モードで使用されるべく利用可能であり、従って複製記
憶領域のコピーが各ＳＭＰノードにストアされ得るよう
になる。

【００７４】他の例では、アドレス・モードは各バス・
デバイスのアドレス・コントローラ中でプログラマブル
であり得る。そのような例では、トランザクションがグ
ローバルであることを意図されるかどうかを示す各トラ
ンザクションのアドレス・パケット中にビット・エンコ
ード化信号が含まれ得る。

【００７５】上述したように、グローバル・トランザク
ションとして定義されるメモリ・トランザクションは、
ポイントツウポイント接続で起動ＳＭＰノード１２０の
ＸＭＰインターフェイス１２８から他のＳＭＰノードの
各々へブロードキャストされて、起動ＳＭＰノード１２
０中のアドレス・リピータ３４のリピータ待ち行列１２
８中に置かれる。しかしながら或る種のトランザクショ
ンは、他のＳＭＰノードの各々へグローバルにブロード
キャストされる必要がない。例えば、Ｉ／Ｏトランザク
ションは、アドレス付けられたＩ／Ｏバス・デバイスが
あるノードだけにポイントツウポイント接続でブロード
キャストされて良い。又、ライト・バック・トランザク
ションは、ライト・バックされるべき記憶領域があるノ
ードだけにグローバルにブロードキャストされて良い。
もし図７のＳＭＰノード１２０Ｂにおけるバス・デバイ
ス３８がＳＭＰノード１２０Ａに割当てられた記憶領域
に対応するメモリ・キャッシュ・ラインをリードしてそ
のキャッシュ・ラインを変更したなら、そのキャッシュ
・ラインが他のＳＭＰノードによってアクセスされ得る
前に、キャッシュ・ラインをＳＭＰノード１２０Ａにラ
イト・バックすることが必要かもしれない。そのような
場合には、ライト・バック・トランザクションは、ポイ
ントツウポイント接続１４２上でのみ起きる必要があ
る。従って、ライト・バック及びＩ／Ｏトランザクショ
ンのため必要なポイントツウポイント接続だけが利用さ
れ、同一サイクル中他のＩ／Ｏ又はライト・バック・ト
ランザクションを行うのに他のポイントツウポイント接
続をフリーアップする。これはポイントツウポイント相
互接続の全帯域幅を利用可能にさせる。この発明の他の
実施形態では、他のタイプのトランザクションが又、全
てのＳＭＰノード１２０へグローバルにブロードキャス
トする代わりに、個々のポイントツウポイント相互接続
を通してブロードキャストされる必要があることに注目
されたい。

【００７６】図１０は、上述したＸＭＰコンピュータ・
システム１３０の動作を例示するタイミング図１６０で
ある。このタイミング１６０に示されたトランザクショ
ンは全てグローバルなトランザクションである。従っ
て、タイミング図１６０は移行モードに割当てられたア
ドレス領域へのメモリ・トランザクションを例示してい
る。

【００７７】タイミング図の各列は特定のバス・サイク
ルに相当する。左から右へ時間が増えるバス・サイクル
は１０の列で表わされる。図７及び図８も参照すれば、
トップレベルのリンク１４０，１４２，１４４の状態は
行１６１によるグループとして表わされる。ノード１２
０ＡのＬ２バスの状態は行１６２で表わされる。同様
に、ノード１２０Ｂ，１２０Ｃでのバスの状態はそれぞ
れ行１６３，１６４で表わされる。行１６５−１６７は
各ノード１２０のバイパス／待ち行列制御信号の状態を
示す。

【００７８】バス・サイクル１中、送り出されたパケッ
トは各ノード１２０のＬ２バス２２にある。タイミング
図１６０では、送り出されたパケットは行１６２（Ｌ
２，１バス）にＰ１（ｏ）として、行１６３（Ｌ２，２
バス）にＰ２（ｏ）として且つ行１６４（Ｌ２，３バ
ス）にＰ３（ｏ）として示されている。ノード１２０間
のトップレベル接続が単方向リンクであるので、３つの
送り出されたパケットは全てバス・サイクル２のための
行１６１に示されたように同一サイクル中各ノード１２
０間で伝送される。又、バス・サイクル２中、新しいト
ランザクションは行１６２，１６３，１６４にそれぞれ
Ｐ４（ｏ），Ｐ５（ｏ），Ｐ６（ｏ）で表わされたよう
に各ノード１２０のＬ２バス２２にある。Ｌ２バス２２
の全ての送出トランザクション・パケットは、トランザ
クションが開始したＳＭＰノード中の各リピータ３４内
のリピータ待ち行列１２２にて待たされることに注目す
るのが重要である。例えば、送出トランザクションはＳ
ＭＰノード１２０から発し、従ってノード１２０中の各
リピータ３４のリピータ待ち行列１２２にストアされ
る。

【００７９】バス・サイクル３中、バス・サイクル２中
にトップレベルの接続で伝送されたトランザクションの
１つは、ＳＭＰノード１２０へブロードキャストされ
る。定められた順序によりどのトランザクションが最初
にブロードキャストされるかが決定される。単一の定め
られた順序化方法はバス・トランザクションが各ノード
に同一順序で現れることを確実にするために終始一貫し
て使用されなければならない。タイミング図１６０で例
示された例では、順序化方法は、ノード１２０Ａからの
トランザクションがノード１２０Ｂからのトランザクシ
ョンに先行し、このノード１２０Ｂからのトランザクシ
ョンがノード１２０Ｃからのトランザクションに先行す
ることである。従って、バス・サイクル３中、トランザ
クションＰ１は行１６３，１６４にＰ１（ｉ）で表わさ
れたようにノード１２０Ｂ，１２０ＣのＬ２バス２２に
到着トランザクションとしてブロードキャストされる。
トランザクションＰ２及びＰ３はＸＭＰインターフェイ
ス１２８中で待たされる。しかしながら、ノード１２０
ＡがトランザクションＰ１を出したノードなので、トラ
ンザクションＰ１はノード１２０ＡのＬ２バス２２には
ブロードキャストされない。その代わり、バス・サイク
ル３中行１６５に示したように、制御信号１２６はノー
ド１２０Ａ中でアサートされる。このように制御信号１
２６がアサートされると、各リピータ３４は、トランザ
クションＰ１をそれぞれのリピータ待ち行列１２２から
次のバス・サイクル中に到着パケットＰ１（ｉ）として
ブロードキャストさせる。ノード１２０Ｂ及び１２０Ｃ
中の制御信号１２６は行１６６及び１６７に示されたよ
うにバス・サイクル３中アサートされないままであり、
これはこれらノード中のリピータ３４に対してリピータ
待ち行列１２２の代わりにリピータ・バイパス・パス１
２４を選択させ、もってＰ１（ｉ）トランザクションを
次のバス・サイクル中にＬ１バス３２にブロードキャス
トすることを指示する。従って、Ｐ１（ｉ）は同一バス
・サイクル中全てのノード１２０中で全てのバス・デバ
イス３８によって見られる。又、始動ノード１２０Ａ中
のＬ２バス２２は、バス・サイクル３中タイミング図１
６０の行１６２にＰ７（ｏ）で表わされたように、バス
・サイクル３中他の送出トランザクションの伝送に対し
てフリーのままである。又、バス・サイクル３中、バス
・サイクル２からのトランザクションＰ４（ｏ），Ｐ５
（ｏ），Ｐ６（ｏ）は、タイミング図１６０に行１６１
で示されたようにトップレベルのポイントツウポイント
接続に同時にブロードキャストする。

【００８０】バス・サイクル４中、定められた順序によ
り、トランザクションＰ２は、行１６２及び１６４にＰ
２（ｉ）で表わされたように、ノード１２０Ａ及び１２
０ＣのＬ２バス２２に到着トランザクションとしてブロ
ードキャストされる。トランザクションＰ３−Ｐ６はＸ
ＭＰインターフェイス１２８中で並ばされる。しかしな
がら、ノード１２０ＢがトランザクションＰ２を発した
ノードであるので、トランザクションＰ２はノード１２
０ＢのＬ２バス２２にはブロードキャストされない。そ
の代わり、ノード１２０Ｂの制御信号１２６は、バス・
サイクル４中行１６６に示されたように、アサートされ
る。このように制御信号１２６がアサートされると、各
リピータ３４はトランザクションＰ２を次のバス・サイ
クル中それぞれのリピータ待ち行列１２２から到着パケ
ットＰ２（ｉ）としてブロードキャストする。ノード１
２０Ａ及び１２０Ｃ中の制御信号１２６は行１６５及び
１６７に示されたようにバス・サイクル４中アサートさ
れない。これは、これらノード中のリピータ３４へ、リ
ピータ待ち行列１２２に代えてリピータ・バイパス・パ
ス１２４を選択してＰ２（ｉ）トランザクションを次の
バス・サイクル中Ｌ１バス３２にブロードキャストする
ことを指示する。従って、Ｐ２（ｉ）は同一バス・サイ
クル中全てのノード１２０中で全てのバス・デバイス３
８によって見られる。又、始動ノード１２０Ｂ中のＬ２
バス２２は、バス・サイクル４中タイミング図１６０中
の行１６３におけるＰ８（ｏ）で表わされたように、バ
ス・サイクル４中他の送出トランザクションの伝送に対
してフリーのままである。又、バス・サイクル４中、バ
ス・サイクル３からの送出トランザクションＰ７（ｏ）
は、タイミング図１６０の行１６１に示したようにトッ
プレベルのポイントツウポイント接続にブロードキャス
トする。

【００８１】上述した動作は、バス・デバイスによって
発された全てのバス・トランザクションに適用できる。
各ノード１２０中のＬ１バス３２でのトランザクション
がタイミング図１６０には示されていないことに注意さ
れたい。図４のタイミング図６０によって例示された動
作は、各ノード１２０内のＬ２／Ｌ１バス動作に適用で
きる。タイミング図１６０から明らかなように、或るト
ランザクション・パケットは、Ｌ２バス２２又はＬ１バ
ス３２に１回、しかも１回だけ、送り出されたパケット
又は到着パケットとして現れる（両方は現れない）。従
って、全てのトランザクション・パケットは、図７のＸ
ＭＰコンピュータ・システム１３０中の各バスに正確に
１回現れる。タイミング図１６０から又明らかなよう
に、この実施形態はＬ２バス２２の全帯域幅を利用させ
る。又、タイミング図１６０は、同一バス・サイクル中
及び特定の各トランザクションがＸＭＰコンピュータ・
システム１３０中の１つ置きのバス・デバイス３８に現
れるのと同じ順序でＸＭＰコンピュータ・システム１３
０中の各バス・デバイス３８が上記トランザクションを
見ることを例示する。

【００８２】上記開示を十分に理解すれば、沢山の変形
例は当業者に明らかとなろう。特許請求の範囲はそのよ
うな変形例を全て包含すると解釈されたい。

【図面の簡単な説明】

【図１】 階層バス構造を用いる対称的マルチプロセッ
サ・コンピュータ・システムのブロック図である。

【図２】 図１のコンピュータ・システムの動作を例示
するタイミング図である。

【図３】 この発明の一実施形態に係る、階層バス構造
を用いる対称的マルチプロセッサ・コンピュータ・シス
テムのブロック図である。

【図４】 図３のコンピュータ・システムの動作を例示
するタイミング図である。

【図５】 この発明の一実施形態用のプロセツサ／メモ
リ・バス・デバイスのブロック図である。

【図６】 この発明の一実施形態に係るＩ／Ｏブリッジ
・バス・デバイスのブロック図である。

【図７】 この発明の他の実施形態に係る拡張対称的マ
ルチプロセッサ・コンピュータ・システムのブロック図
である。

【図８】 図７の拡張対称的マルチプロセッサ・コンピ
ュータ・システムのＳＭＰノードを詳しく示すブロック
図である。

【図９】 この発明に用いられた異なるアドレッシング
・モードを示す図である。

【図１０】 図７の拡張対称的マルチプロセッサ・コン
ピュータ・システムの動作を例示するタイミング図であ
る。

【符号の説明】

１３０…ＸＭＰコンピュータ・システム、１２０，１２
０Ａ−１２０Ｃ…ＳＭＰノード、１２８，１２８Ａ−１
２８Ｃ…ＸＭＰインターフェイス、２２…高レベルのバ
ス、３４，３４Ａ，３４Ｂ…リピータ、１２２Ａ，１２
２Ｂ…到着待ち行列、１２４Ａ，１２４Ｂ…バイパス・
パス、３２Ａ，３２Ｂ…低レベルのバス、３８Ａ，３８
Ｃ，３８Ｄ…プロセツサ／メモリ・バス・デバイス、３
８Ｂ…Ｉ／Ｏバス・デバイス、１４０，１４２，１４４
…ポイントツウポイント接続である。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成９年１０月１４日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図３】

【図５】

【図９】

【図４】

【図６】

【図７】

【図８】

【図１０】

───────────────────────────────────────────────────── フロントページの続き (71)出願人 591064003 901 ＳＡＮ ＡＮＴＯＮＩＯ ＲＯＡＤ ＰＡＬＯ ＡＬＴＯ，ＣＡ 94303，Ｕ. Ｓ．Ａ. (72)発明者 マーク・ディ・ヒル アメリカ合衆国・94024・カリフォルニア 州・ロス アルトス・コヴィントン ロー ド・272

Claims (4)

【特許請求の範囲】
1. 【請求項１】 マルチプロセッサ・コンピュータ・シス
   テム中のノードであって、 そのノードからは出たのではない到着トランザクション
   を受け、かつそのノードを発信元とする送出トランザク
   ションを送信するトップレベルのインターフェイスと、 高レベルのバスと、 この高レベルのバスによって前記トップレベルのインタ
   ーフェイスに結合され、到着待ち行列及びバイパス・パ
   スを含む第１のリピータと、 を備え、 この第１のリピータは、前記トップレベルのインターフ
   ェイスから前記到着トランザクションを受け且つ前記バ
   イパス・パスを通して低レベルのバスへ前記到着トラン
   ザクションを送り、又前記高レベルのバスでの前記送出
   トランザクションを受信し且つ前記到着待ち行列を通し
   て低レベルのバスへその送出トランザクションを送信す
   る、 マルチプロセッサ・コンピュータ・システム中のノー
   ド。
2. 【請求項２】 前記低レベルのバスに結合され、前記第
   １のリピータによって前記低レベルのバスに送信された
   トランザクションを受け、又前記送出トランザクション
   を開始させるように構成されたプロセッサ・デバイスを
   更に備えた請求項１記載のノード。
3. 【請求項３】 前記高レベルのバスによって前記トップ
   レベルのインターフェイスに結合されると共に第２の低
   レベルのバスに結合され、第２の到着待ち行列及び第２
   のバイパス・パスを含む第２のリピータを更に備えた請
   求項１記載のノード。
4. 【請求項４】 第１のマルチプロセッサ・ノードと、 この第１のマルチプロセッサ・ノードへ２つの単方向ト
   ランザクション・リンクによって結合された第２のマル
   チプロセッサ・ノードと、 を備え、 前記２つの単方向トランザクション・リンクは、前記第
   １のマルチプロセッサ・ノードから前記第２のマルチプ
   ロセッサ・ノードへトランザクションを送ると同時に、
   前記第２のマルチプロセッサ・ノードから前記第１のマ
   ルチプロセッサ・ノードへトランザクションを送るよう
   に構成されており、 前記第１のマルチプロセッサ・ノードは、 前記２つの単方向トランザクション・リンクに結合され
   た第１のトップレベルのインターフェイスと、 第１の高レベルのバスと、 この第１の高レベルのバスによって前記第１のトップレ
   ベルのインターフェイスへ結合され、トランザクション
   が前記第２のマルチプロセッサ・ノードから発した時に
   前記第１のリピータ中のバイパス・パスを通して前記第
   １の高レベルのバスから第１の低レベルのバスへ前記ト
   ランザクションをブロードキャストし、又トランザクシ
   ョンが前記第１のマルチプロセッサ・ノード中で発した
   時に到着待ち行列を通して、前記第１の低レベルのバス
   へ前記トランザクションをブロードキャストする第１の
   リピータと、を含むことを特徴とすマルチプロセッサ・
   コンピュータ・システム。