JPH03505793A - 階層構造を有するキャッシュメモリシステムを含むマルチプロセッサシステム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 告を　ずるキャッシュ旦し乙左ｔｋＥ１Ｕマルチプロセソサシスーム 発１属し１訪 本発明は、分配されたアドレス空間によってデータをサポートする、分配された 物理的メモリを存するスカラー・マルチプロセッサ・アーキテクチャ−を備えた コンピュータシステムに関する。本発明によれば、データ項目の物理的位置は、 そのアドレスから独立となる。データ項目のコピーのいくつかが、同時にシステ ム内の異なる物理的位置に存在し得る。データは、データ項目の各コピーが同一 の値をもつように（データコヒーレンス）取り扱われなければならない。システ ム中におけるデータ項目の最後のコピーが消去されることが、また回避される。

理法」支曹 分配されたアドレス空間は、既によく知られた概念である。分配されたアドレス 空間を存する典型的なアーキテクチャ−として、ソークエント（Ｓｅｑｕｅｎｔ ）およびエンコアー（Ｅｎｃｏｒｅ）等の分配された物理的メモリを備えたコン ピュータが存在する。しかしながら、分配されたアドレス空間を備えたアーキテ クチャ−は、このようなやり方で提供される必要はない。本発明は、分配された 物理的メモリを用いることはせず、むしろ、ハードウェアの構造は、メソセージ パッシング装置におけるものに類似している。

メノセージバノシング装置は、典型的には、通信網によって接続された、巨大な 分割されたメモリを備えた多くのプロセッサである。

分配された物理的メモリを有する装置は、典型的には、分配されたバスによって 巨大な物理的に分配されたメモリに接続された、小さな分割メモリまたはキャン シュを備えた、制限された数のプロセッサのみを有している。メンセージバソシ ング装置においては、通常、他のプロセッサとのメモリアクセスおよびコミュニ ケーションが、完全に分離された機能とみなされる必要がある。したがって、ソ フトウェアは、しばしば、離れた位置のオブジェク１−に対する参照値を適当な メツセージ中にマソビングすることによって、分配されたアドレス空間の形態を ソミュレーシヲンしなければならない。他方、分配された物理的メモリを備えた 装置は、通常、分配されたアドレス空間を直接支援し、それによって、ソフトウ ェアはメモリアクセスによってコミュニケーションを無条件に達成するが、これ を実行するためにいく種類かのロノキング機構が必要とされる。

メンセージバノシング装置は、一般に、すべてのプロセッサに対してスカラブル である。しかしながら、分配された物理的メモリを有する装置の分配されたバス およびメモリは、接続され得るプロセッサの数を制限するという欠点を有してい る。しかしながら、メノセージパノシング装置は、メモリに対しかなりの程度ま で実行を効果的に分配するため、ハードウェアのスカラー性は、ソフトウェアが コミュニケーションを最小限度にとどめ得る範囲内においてのみ有用である。

本発明によるコンピュータシステムは、そのメモリが分配され、そして装置がす べてのメモリに対してスカラ的である限りにおいて、メノセージバノシング装置 に類似している。本発明によるコンピュータシステムは、また、データコヒーレ ンスプロトコルが、プロセッサをハスを介して接続することによって、分配され たアドレス空間を支援する、分配された物理的メモリを備えた装置と同様である 。メツセージパッシング装置および分配された物理的メモリを備えた装置の双方 に対する本発明の新規性は、データ項目の位置がそのアドレスから完全に独立と なっているという点にある。

本発明および本発明によるシステムに関する付加的な情報が、ディピッド　Ｈ， Ｄ、ワレン（Ｄａｖｉｄ　Ｈ，Ｄ、　Ｗａｒｒｅｎ）およびシーク　ハリディ（ Ｓｅｉｆ　Ｈａｒｉｄｉ）による論文、［データ分散装置−−−−スカラー的に 分配された仮想マルチプロセッサ（Ｄａｔａ　Ｄｉｆｆｕｓｉｏｎ　Ｍａｃｈｉ ｎｅ　−八５ｃａｌａｂｌｅ　５ｈａｒｅｄ　Ｖｉｒｔｕａｌ　Ｍｕｌｔｉｐｒ ｏｃｅｓｓｏｒ）ｊ　、第５世代コンピユークシステムに関する国際会議（ｔｈ ｅ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｆｉｆｔｈ　 Ｇｅｎｅｒａｔｉｏｎ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍｓ）　１９８８年、　 ＩＣ０Ｔ、並びに平行アーキテクチャおよび言語のコーロノバ会議議事録（ｉｎ 　ｔｈｅ　Ｐｒｏｃｅｅｄｉｎｇｓ　　ｏｆ　　ｔｈｅ　　Ｐａｒａｌｌｅｌ　 　八ｒｃｈｉｔｅｃｔｕｒｅ　　ａｎｄ　　Ｌａｎｇｕａｇｅ　　Ｅｕｒｏ垂■ @　Ｃ ｏｎ　ｆ　ｅｒｅｎｃｅ）、ＰＡＲＬＥ　、　１９８９年６月における、エリツ ク　ハガーシュテン（Ｅｒｉｋ　Ｈａｇｅｒｓｔｅｎ）およびシーク　ハリディ （Ｓｅｉｆ　Ｈａｒｉｄｉ）による［データ分散装置のキャッシュコヒーレンス プロトコル（Ｔｈｅ　Ｃａｃｈｅ　Ｃｏｈｅｒｅｎｃｅ　Ｐｒｏｔｏｃｏｌ　ｏ ｆ　ｔｈｅ　Ｄａｔａ　Ｄｉｆｆｕｓｉｏｎ　Ｍａｃｈｉｎｅ）Ｊに記載されて いる。

光」Ｉと【絢 上述の目的を達成するために、本発明は、分配された物理的メモリおよび分配さ れたアドレス空間を有し、階層中における１個または数個のバスによって結合さ れたメモリと一対となったブロモ、すを含む、スカラ・マルチプロセッサ・アー キテクチャ−を有するコンピュータソステムを提供する。本発明の従来技術から 峻別される特徴は、プロセッサーメモリの各対がコントローラに接続され、メモ リ内の各データ項目に関する状態情報をもつ状態メモリ　（ディレクトリ−）を 含んでいるという点である。コントローラは、デンタ項目の状態の関数としての プロトコルに応じて、データ項目の読み取りおよび書き込みを行う。このとき、 データ項目の位置は、そのアドレスから独立している。

本発明の従来技術から峻別される他の特徴、並びに新規な点を、請求の範囲の第 ２項以下に記載した。

側里夏■亀久設所 次に、添付図面を参照して、本発明を説明する。

第１図は、装置の構成を概略的に示した図、第２図は、バスの能力を拡張するた めの構成を示した図、第３図は、ディレクトリ−に接続された異なるバッファを 概略的に示した図、 第４図は、データ項目の種々の読み取り状態を示した図である。

本光皿ユ丑　しい　　　の量　な！１ 本発明によるコンピュータの構成は、以下の考察に基づいている。

ソフトウェアが関係している限り、データ項目が通常とどまっていなければなら ない区別されたホーム位置は存在しない、理想的には、各データの物理的位置は 、ソフトウェアに対して完全に透明でなければならず、そしてその位置はハード ウェアによって自動的に制御されなければならない。

ソフトウェアの観点からは、すべてのデータは、物理的位置とは独立なグローバ ルなアドレス空間を通じて一様にアクセスされる。

したがって、装置は、通常の、分配されたメモリを有するマルチプロセッサ（例 えば、シークエンドおよびエンコアー）と同様のソフトウェアビューを呈してい る。すなわち、それは、広範囲にわたる言語並びに応用をカバーすることができ る、完全な多目的装置である。しかし、かかる装置は、データが、典型的に一旦 書き込まれた後にのみ読み出される宣言型言語を実行するのに特に適していると 考えられる。装置は、データがいかにしてアドレス空間内に割り当てられるべき かという点に関し、いかなる制限も加えないことによって、散在する配列をサポ ートする。

ハードウェアの観点からは、装置は、バスの階層およびコントローラ（ディレク トリ−）によって接続されたプロセッサーメモリの任意の数の対からなる。階層 内の４対２のレベルで無数のプロセッサをサポートするのに十分である。メモリ は、全くフレキシブルに物理的メモリ内にマツピングされる。このマツピングは 、グイナミソクであり、データを最も必要とされる位置に移動させることを可能 とする。

個々のデータ項目に関する多数のコピーが存在するが、これらのコピーは、すべ て同一のアドレスを共有する。アドレスに対応する特別のホーム位置は存在しな い。その代わり、データは、データアクセス時間を短縮し、かつデータ量を最少 とするように、装置にわたって自動的に分配される。その結果、最大のメモリ要 求がプロセッサ自体のメモリによって満たされる。遠隔アクセスを特徴とする請 求は、わずか（４ＸＮ−２）回（ここで、Ｎは階層中のレベルの数である）のハ ス処理によって満たされ、一般には、装置の限定された部分にわたるデータ量を 制限するのみである。

装置の構成 第１図には、装置の構成を示した。

装置は階層的である。階層の最上部では、プロセッサは、それぞれ巨大なローカ ルメモリを有しており、通常のキャッシュを通じてアクセスされ得る。メモリは 、グローバルなアドレス空間のいくつかの部分のイメージを含んでいる。メモリ は、（非常に巨大な）キャッシュと同様に、結合的に構成されるが、これは、装 置内の主メモリ単独の構成であることが強調されなければならない。メモリは、 メモリコントローラを介してローカルバスに接続される。ローカルバスは、一群 のプロセッサ、キャッシュ、メモリおよびコントローラに接続される。ローカル バスは、それ自体コントローラを介してより上層のハス等の、階層のより上層に 接続される。より上層にあるコントローラは、それぞれ、状態情報のディレクト リ−にアクセスし、ディレクトリ−コントローラと呼ばれる。ディレクトリ−は 、結合的に構成され、より下層にあるメモリ内のデータ項目のすべてに対する状 態ビットのためのスペースを有している。

ディレクトリ−の機能は、上層のバスとその下層の下部システムとの間の制御を 行うことである。その機能および作用は、単一バスの分配されたメモリを有する プロセッサにおける、スヌーピングキャノシュの一般化である。これによって、 メモリ要求を、可能な限り局所的に取扱うことが可能となる。しかし要求が局所 的に取扱われ得ない場合には、その要求を上層または下層に転送し、それが満た されるようにする必要がある。ディレクトリ−は、アドレス空間のどの部分が、 その下層の下部システムのメモリにマツピングされたのか、そしてまた、このア ドレスのどれかの部分が、下部システムの外側のメモリにマツピングされたかど うかをディレクトリに知らせる状態メモリを含んでいる。こうして、すべてのア ドレスに対して、コントローラは、「このデータは自分の下部システム中にある かどうか９」および「このデータは他の下部システム中の別の場所にあるのかど うか？」という質問に答えることができる。

ディレクトリ−は、メモリ要求が、もしく１）それがローカルデータの読み取り であれば、あるいはもしく２）それが分配されないデー夕の書き込みであれば、 下部システムの外側に転送されることがないように作用する。特に、もしプロセ ッサが、そのローカルメモリ中において、データを読み取り、あるいは分配され ないデータを書き込もうとすれば、外部コミュニケーションは要求されない。通 常、くれはメモリ要求の大部分をカバーする。

もし下部システムが、非局所的なデータを読み取ろうとすれば、データのコピー の検索が必要とされる限り、読み取り要求が伝えられ、そしてデータが必要な位 置に割り当てられたものとしてマークされる。もし下部システムが分配されたデ ータを書き込もうとすれば、要求がデータの他のすべてのコピーを消去するよう に転送され、そして、データは分配されないものとしてマークされる。

以下の点に注意されなければならない。プロセッサそれ自体が生し別のプロセッ サによって要求されなければ、どこが他の位置にコピーされることはない。プロ セッサは、その時間の大部分をこのようなデータをアクセスするために費やす傾 向がある。プロセッサは、もしデータが最初に遠隔的であれば、遠隔メモリがら のデータアクセスを繰り返し行うことを要しない。その代わり、遠隔的なデータ は、それが有効に使用される位置に移動する傾向があり、い（っがの固定された ホーム位置に拘束されることはない。これらの点で、本発明は、例えばシークエ ンド、エンコアー、およびＢＢＮバタフライ（ＢＢＮ　Ｂｕｔ、ｔｅｒｆｌｙ） のような通常の分配された（物理的）メモリを有する装置とは異なっている。こ れらの新規な特徴によって、分配されたリソースに対するコンテンションおよび 平均データアクセス時間の双方が大きく減少する。

たいていのメモリアクセスは局所的となる傾向があるにもがかわらず、より上層 のハスが障害となる。しかしながら、第２図に示したように、より上層のバスお よびディレクトリ−をコピーして、アドレス空間の異なる部分を取り扱うように し、さらに、まず最初奇数アドレスと偶数アドレスとに分割した後、アドレスの 連続的によデータアクセスプロトコル 以下において、データアクセスプロトコルをより詳細に説明する。

ここで、次のように仮定する。

最低レベル（レベル１）において、システムは多数のプロセッサからなる。各プ ロセッサは、コントローラによってメモリおよびバスに接続される。より高いレ ベル（ｉ＞１）において、各下部システムに対するディレクトリ−が存在する。

各バス上には１つの要求を選択するためのアービターが存在する。レベルｌにお けるメモリ内の各データは、次の状態のうちの１つに存在する。すなわち、排他 的状態（Ｅ）：データ項目の単一のコピーが存在する状態。

分配状態（Ｓ）：データ項目の他のコピーが存在する状態。

無効状Ｊｌｉ（１）：データ項目が無効である（実際に存在しない）状態。

読み取り状ａ（Ｒ）：データ項目が読み取りのために要求される状態。

待機状Ｍ（Ｗ）：データ項目が排他的となるなるまで待機している状態。

状ＭＲおよびＷは過渡的なものであり、単一ハスマルチプロセソサ内に現れるこ とはない。

各メモリは、Ｎ方向に結合し、データ項目およびそれらの関係する状態ビットを 記憶する。ディレクトリ−は、その下の階層のメモリー内の全項目数に等しい大 きさでもってＮ方向に結合している。

ディレクトリ−は、状態ビットを記憶するためのスペースを有しているのみであ る。

ディレクトリ−内の各データは、次の状態のうちのいずれか１つの状態にある。

すなわち、 排他的状態（Ｅ）：下部システムの外側にいかなるコピーも存在しない状態。

分配状態（Ｓ）：下部システムの外側にコピーが存在する状態。

無効状Ｊ１３ｉ（１）：データ項目が無効である（下部システム内には実際に存 在しない）状態。

読み取り状態（Ｒ）：データ項目が読み取りのために必要とされる状態。

待機状［（Ｗ）：データ項目が排他的となるまで待機している状態。

応答状ｆｉ（Ａ）：データ項目が（実際に）読み取り要求に応答する状態。

除去状［（Ｌ）：データ項目は下部システム中に含まれるが、まさにそれから取 り除かれようとしている状態。

次のデータ交換ストラテジーが仮定される。これについては後に詳細に説明する 。もしデータが存在すれば、まず最初無効位置が選択される。さもなければ、直 前に使用された分配されたデータが交換のために選択される。もしこのようなデ ータが存在しなければ、直前に使用された排他的な項目が選択される。後者の２ つの場合のいずれかにおいて、交換アルゴリズムが呼び出される。

通常のように、読み取りヒツトが存在するときはいっでも、データ項目の値がフ ェッチされ、いかなる特別な作用も呼び出されることはない。排他的データ項目 の書き取りヒツトもまた、別のいかなる作用をも導くことはない。

ハスの構成 ハスは、プロセッサまたは下部システムからなるクライアントに下方に接続され ている。仲裁機能が、すべてのクライアントおよび上層のディレクトリ−の間を 仲裁し、次の送信１（ｓｅｎｄｅｒ）を選択する。送信源は、以下に掲げたバス フェイズの１つまたはいくつかからなる次のトランザクションを初期化する。

初期化フェイズ：Ｉ・ランザクジョンを初期化し、トランザクションコードおよ びデータ項目のアドレスを転送するフェイズ。

データフェイズ：データ項目のデータ部分を転送するフェイズ。

カウンタフェイズ；トランザクションのカウンタ値を転送するフエイズウ 応答フェイズ：すべての情報クライアントが１イエス」の応答をする（クライア ントのいずれもが「イエス」の応答をしなかったか、あるいはクライアントの少 なくとも１つが「イエス」の応答をしたかどうかを指示する）フェイズ。

選択フェイズ：イエスの応答をしたクライアントのうちの１つが選択されるフェ イズ。

バスの処理 ハスは、本発明により次のトランザクションを転送する。連続する待機ハスフェ イズがカウントされる。しかしながら、より小さいフェイズにおいて状態変化を 行い得るクライアントは、予めトランザクションを中断する。典型的には、応答 および選択フェイズが排除される。

「、リード：　（初期化、応答、選択フェイズ）、システム内のなにかがデータ 項目の読み取りを要求するトランザクション。

ｅ、イレース＝　（初期化フェイズ）、このデータ項目のすべてのコピーを放棄 するトランザクション。

ｉ、インジェクト：　（初期化、データ、カウンタ、応答、選択フェイス）、デ ータ項目の最後のコピーのみを下部システム内の新たな場所に見つけ出すトラン ザクション。

０、アウト：（初期化、データ、応答フェイズ）、データ項目が下部システムか ら出る途中にあるトランザクション。そのデータ項目が同一のデータ項目の別の コピーと出会ったとき（あるいは別のコピーから追跡されるとき）、これは終了 する。

Ｘ、イクスクルノンブ：　（初期化フヱイズ）、システム中にこのデータ項目の ただ１つだけのコピーが存在する。

１、リーブ：　（初期化、応答、選択フェイズ）、この要素が下部システムから 取り除かれようとしているトランザクション。

Ｕ、アンプ：　（初期化、データフェイズ）、このデータ項目が、Ｌ状態におい てディレクトリ−に出会わなくなるまでアップし続けるトランザクション。

バッファおよびそれらの機能 第３図は、２つのバスおよびそれらのバッファの構成を示したものである。メモ リは、トランザクションを開始する前に、バスを割り当てられなければならない ので、その上層のハスに対する出力バッファを備えている必要がある。ディレク トリ−は、それに接続されたハスの１つに優先順位を与えなければならない。そ の上層のハスからの入カドランザクジョンは、最高の優先順位を有する。

ディレクトリ−は、上層のバスへ向かう出力バッファ、並びに下層のハスへ向か う出力および入力バッファを有している。

出力バッファは、バス上に送られるトランザクションを記憶し、入力バッファは 、既にバス上に送られたトランザクションと、応答フェイズ中のすべての値とを 記憶する。

バス上のい（つかのトランザクションが、その下側に接続された出カバソファ内 の他のトランザクションを消去し得る。それに続くトランザクションが、またこ のような消去を行い得る。

イレーストランザクションは、同一のデータ項目に対する他のすべてのトランザ クションを消去する。

アウトトランザクションは、同一のデータ項目に対する他のアウトトランザクシ ョンを消去する。

プロトコルテーブル 以下のテーブルは、メモリおよびディレクトリ−コントローラに対するプロトコ ルをまとめたものである。このテーブルは、コントローラが、トランザクション が受は取られたとき、いかにしてデータ項目の状態に依存する種々のトランザク ションに応答するかを記述したものである。縦の欄にはそれぞれの状態を、横の 欄にはそれぞれのトランザクションを掲げた。作用は次のようなフォーマントを 有している。すなわち、 ガード−新たな状態：送り出されるトランザクションのインデックスであり、こ こで、インデックスＡは上層バスと呼ばれ、インデックスＢは下層バスと呼ばれ る。空白部分は作用が存在しないことを表している。残りの記号は、テーブルに 従って説明される。

記号およびその説明 ０　この状況は不可能である。

エ　プロセッサは処理を続行可能である。

に対応するセント中に空きスペースが存在しない場合には、「交換」によって置 き換えられる。

２：「交換」は、最初に、交換されるべきデータ項目を選択する。

ａ　：　−ｙｅｓクライアントはイエスと応答する。

ａ＝Ｑ→　いずれのクライアントもイエスと応答しない。

ａ≧１→　少なくとも１つのクライアントがイエスと応答する。

５ｅｌｅｃｔｅｄ−クライアントはイエスと応答する。他のいかなるクライアン トもトランザクションを終えていない。クライアントが選択フェイズ内に選択さ れている。

Ｘ：ｙ＋１　　　トランザクションｙが送り出される前に、カウウンタが増加す る。

ｃｉｒ　＞１１ｍ１ｔ−カウンタがその限界値を超える。

上述のスキームの特徴 ■、排他的となる（書き込み操作を実行するための）データに対して、イレース メノセージが、項目が排他的となるディレクトリ−まで転送される。ディレクト リ−は、ロックとして機能し、イレース肯定応答を下方へ送る。こうして、最悪 の場合、４つのレベルからなる装置内におけるデータは、８回のパストランザク ション、４回の上層へのイレーストランザクションおよび４回の下層へのイレー ス肯定応答の後に排他的となる。

２、いかなる読み取り要求も永久に停止しないことが示され得る。

さらに、説明したシステムは、項目メソセージが下層へ転送されるとき、ブロー ドキャスト読み取り作用を有し、また読み取り要求が上層へ転送されるとき、結 合読み取り作用を有する。結合読み取り作用は、ＩＢＭ　　ＲＰ３　　マルチプ ロセッサによって与えられるものと同様である。例えば、もし１個のプロセッサ がデータを有し、さらに残りの（６４に−１）個のプロセッサが、同時に同一の データを要求すれば、すべてのプロセッサが、わずか１６のバストランザクソヨ ンにおいてデータを得る。

３、　　（ＲＰ３のような）多くの巨大なマルチプロセッサにおいて生しる熱点 現象が、本発明によるシステムにおいては生じない。

４、上述のプロトコルが、すべてのトラフィックが、トランザクションに関係す る下部システム内に、他の下部システムを乱すことなく局所化される。

複雑な状況の例 第４図は、発生し得る複雑な状況の典型例を示したものである。

２つのプロセッサＰ１、Ｐ２が読み取りＲｘを要求し、かつ２つの下部システム がデータ項目Ｘを有している。プロセッサのうちの一方、すなわちプロセッサＰ １が書き込み操作Ｗｘに対する排他的なアクセスを要求する。ＡおよびＢの間の コントローラＡＢは、コントローラＡＣおよびコントローラＢＥによって発せら れた読み取り要求を満たすように決定され、ハスＢ上に読み取り要求を発する。

ここで２つの可能性が存在する。すなわち、（１）Ｐｉが肯定応答された消去要 求を得る可能性と、（２）Ｐｉ中のデータ項目が、多の下部システムが排他的な アクセスに対して選択されるために、消去され得るという可能性である。最初の 場合には、次のようなことが起こる。すなわち、コントローラＡＢはＷに状態を 変化させる。そして消去要求ＥｘがハスＡ上に現れ、左側最上部の下部システム におけるＸに対する消去操作が開始される。その後、消去肯定応答ｘｘがバスＡ 上に現れて下層に転送され、コントローラＡＣの状態をＷからＥに変化させる。

そして、コントローラＡＣはその読み取り要求ｒｘを繰り返し、ｘｘ）ランザク ジョンを追跡すると共に、コントローラＡＢおよびＢＤの状態をＡに変化させる 。さらに、コントローラＢＤは再びＲｘを発し、ただ１つのＲｘのみがバスＤ上 に現れる（結合効果）。その後、プロセッサＰ１はその書き込みを実行し、そし て読み取り要求がブロードキャストモードにおいて用いられる。第２の場合は、 プロトコルを調べることによって容易にわかるように、直接的である。正味の作 用は、左側最上部の下部システムがその読み取りを実行し、データがＰｌに対し てブロードキャストとなり、また他のプロセッサが読み取りを要求し、最後に２ １が排他的なアクセスを獲得するということである。

交換ストラテジー 書き込みミスおよび読み取りミスが生じたとき、新たなデータ項目が、実際にメ モリに対して読み取られる。新たなデータ項目が記憶されるセ・２トが満たされ た場合には、古いデータ項目がメモリがら取り除かれるように選択され、その場 所は、新たなデータ項目に対して左側に位置する。この一連の処理は、交換と呼 ばれる。古いデータ項目の状態に応して、２つのタイプの交換トランザクション 、すなわちアウトおよびインジェクトトランザクションが存在する。

選択された古いデータ項目が状態Ｓにあれば、交換はアウトトランザクションを 用いてなされる。アウトトランザクションは、おそらくどこかに分配された古い データ項目を直接除去することよりも複雑である。まず最初、このデータ項目の 他のコピーも同様に除去されてしまわないことが確認されなければならない。問 題のメモリは、アウトトランザクションをバス上に送り出すことによって、交換 を初期化する。Ｓ、Ｒ，Ｗ、Ｌあるいはへのうちいずれがの状態にある現在のデ ータ項目を有するハス上の他のメモリは、イエスの応答をする。なぜなら、それ らの下部システムは、そのデータ項目のコピーを現在有しているか、あるいはコ ピーを有することかが既に約束されているからである。少なくとも１つのメモリ がイエスの応答をした場合には、データ項目の他のコピーが見つけ出され、そし てトランザクションは終了する。すべてのメモリがイエスの応答をしない場合に は、ディレクトリ−は、次に上層にあるバス上にアウトトランザクションを送り 、データ項目の状態を■に変化させる。

なぜならば、下部システム内には、データ項目のコピーが存在しないと考えられ るからである。

状態Ｓにおけるデータ項目は、実際、分配され得るがあるいは排他的であり得る かのいずれかである。単に、これは、システム中に２つのコピーが存在していた が、第２のコピーが前述のように交換されたということが理由である。たとえい くっがの不必要な作業が次の書き込み操作においてなされるとしても、状況は完 全に安全である。しかしながら、ディレクトリ−は、次の最後のコピーが除去さ れるときを検出する。これは、下層のハス上のアウトトランザクションが、正確 に１つのイエスの応答を得たときに生し、そしてディレクトリ−は、状態已にお けるデータ項目を有する。そのとき、ディレクトリ−は、ハス上に（イクスクル ソシブ）トランザクションを送り出し、残りのデータ項目の状態をＥに変化させ 得る。これが作業を節約させるかどうかは明らかではなく、その機構はテーブル において説明しなかった。

データ項目の２つの最後のコピーが同時に交換され、同一のバス上に送り出され るべく、分離されたバッファ内にアウトトランザクションの形態でとどまってい る場合には、以下のような状況が生じる。ハス上の最初のアウトトランザクショ ンが、出カバソファ内に残っているアウトトランザクションを消去する。そして 、それがデータ項目の最後のコピーとなる。下層からイエスの応答のアウトトラ ンザクションを受けたディレクトリ−は、何が発生したのかを判断し、そのアウ トトランザクションをインジェクトトランザクションに変換する（以下を参照） 。

交換されるべきデータ項目が状ＢＥにある場合には、これは、インジェクトトラ ンザクションあるいは新たなホームを検索する退避を生じる。メモリが退避のた めのスペースを有している場合には、それはイエスの応答をし、もし選択される ならば、それは、状態Ｅにおけるデータ項目に対する新たなホームを提供する。

メモリが、退避のためのスペースををしていない場合には、インジェクトトラン ザクションが次の上層のバス上において繰り返され、ここで、ディレクトリ−は それに機会を与える。しかしながら、ディレクトリ−は、いかなるものも保証す ことはできない。なぜなら、インジェクトトランザクションは、処理を先へ進め ることを拒否することができ、また処理をもとへ戻すように強いられるからであ る。インジェクトトランザクションに随伴するカウンタは、インジェクトトラン ザクションが何回処理を実行したのかをカウントする。カウンタが限界値を超え たとき、インジェクトトランザクションは停止され、第２のメモリに送り出され る。データ項目を直接第２のメモリに送るメモリは、限界値に初期化されたその カウンタを有するインジェクトトランザクションと共に、それを行う。

状［Ａにある下部システムが、読み取り要求に応答することが保証されている。

要求は、データ項目の存在するメモリに到達する前に、既に交換され、そしてイ ンジェクトまたはアウトトランザクションが上層へ転送される途中にある。これ は順調に実行される。

なぜなら、これらのトランザクションは、データ項目のデータ値を運ぶからであ る。こうして、応答することが保証されたディレクトリ−は、上層のハス上に送 り出されるデータトランザクションを生成することによってそれを実行し得る。

しかしながら、上層へ転送される途中のトランザクションがインジェクトタイプ のものである場合には、警告がなされなければならない。下層のハス上のクライ アントがインジェクトトランザクションに機会を与えること（少なくとも１つの クライアントがイエスの応答をすること）が保証されている場合には、クライア ントは、それが１つのデータ項目のコピーのみを有しているものと認める。その とき、ディレクトリ−は、その代わりに、下層へ新たな読み取りトランザクショ ンを送る。

ディレクトリ−によって初期化された交換データ項目は下層のメモリ内にスペー スを見出すから、データ項目が、簡単にディレクトリ−内にスペースを見出すこ とが確信されないかもしれない。下層から読み取りトランザクションを受ける、 状ｆｉｌにあるデータ項目を有するディレクトリ−は、データ項目の状態をＲに 変化させ、そして上層のバスのその読み取りを繰り返さなければならない。デー タ項目の新たな状態に対して意図されたセントが満たされた場合には、古いデー タ項目は、新たなデータ項目に対するスペースをつくるために、下部システムが ら選択され、かつ除去されねばならない。これは、システム内において下層に送 られるリーブトランザクションによって達成される。各バス上において、１つの クライアントが、下層へのり−ブトランザクションを継続し、データ項目の状態 をＬに変化させるために選択され、一方、データ項目を含む他のクライアントは 、イレーストランザクションを下層−・送り、データ項目の状態を１に変化させ る。最低レベルにおいて、選択されたメモリが、Ｌ状態におけるすべてのディレ クトリ−を通じて上層へ転送されるアンプトランザクションに応答する。

アップトランザクションが最終的に、交換を初期化したディレクトリ−に到達し たとき、インジェクトトランザクションあるいはアウトトランザクションのいず れかが生しる。

交換を開始したデータ項目は、交換が終了したとき、そのリードトランザクショ ンを繰り返さなければならない。これは、交換が第１のリーブトタンザクジョン によって初期化された後すぐに、このデータ項目に対するイレーストランザクシ ョンを下層へ送ることによって達成される。このトランザクションが最終的にデ ータ項目の読み取り要求するメモリに達したとき、メモリは、再び上層へのリー ドトランザクションを繰り返す。うまくいけば、このとき、ディレクトリ−内に スペースが見出される。

上述のことに関するハードウェアの最適化は、リーブトランザクションが終了す る間に、交換されるべきデータ項目を記憶し得るディレクトリ−内における小さ いメモリである。これは、遅延なしに継続するリードトランザクションに対する 場所をすくに準備する。

リードトランザクションに対するイレーストランザクションが、このメモリが満 たされた場合にのみ下層へ送り出される。このメモリは非常に小さいが、十分に その機能を発揮する。

ロッキング いくつかの操作が、プロセッサの特性に依存して自動的に実行される必要がある 。例えば、プロセッサが、テスト−セット命令を与えるような場合には、リード モディファイトランザクションがメモリコントローラによって実行される。リー ドモディファイトランザクンヨンは、データ項目が書き込まれる前に、データ項 目の元の値がプロセッサにフィードハックされることを除いては、ライトトラン ザクションと同様に動作する。このようなリードモディファイトランザクション の遂行は、装置の一般的な動作と共に、以下に示すように、いかなるトラフィッ クを生じさせることもなく、スピン−ロッキングを局所的に実行する。すなわち 、Ｌｏｃｋ（Ｘ）： ５ｔａｒｔ：　Ｆｌａｇ　：＝　Ｔｅ５ｔ　ｌｉ　Ｓｅｔ　Ｘ；　χｗｈｅｒｅ 　Ｆｌａｇ　ｉｓ　ａ　ｒｅｇｉｓｔｅｒ。

Ｉｆ　　Ｆｌａｇ　　＝　　Ｏｔｈｅｎ　　Ｅｘｉｔ；Ｌｏｏｐ：　　ＨＸ　＝ 　１　　ｔｈｅｎ　ｇｏｔｏ　Ｌｏｏｐ　ｅｌｓｅ　ｇｏｔｏ　５ｔａｒｔ；　 χ１ｏｃａｌ　　ｓｐｉｎｎｉｎｇ　　ｕｎｔｉｌ　　Ｘ　　ｉｓ　　ｍｏｄｉ ｆｉｅｄＥｘｉｔ： Ｕｎｌｏｃｋ（Ｘ）： Ｘ　　：＝　　０； こうして、本発明によれば、データコヒーレンスが保持されている間に、データ 項目を自動的に移動させ、コピーしまたは交換することが可能となり、さらにシ ステムからいがなるデータも失われることがない。本発明は、本発明の説明のた めの例示としての以上の記述における特別の用語に限定されるものではない。本 発明は、本発明の請求の範囲によってのみ限定されるものである。

ＦＩＧ、　　２ Ｆｌｃｒ、３ ＦＩＧ、　　４ 補正書の翻訳文提出書く特許法第１８４条の８）平成２年１２月２７日省。

Claims (10)

【特許請求の範囲】
1. （１）分配された物理的メモリおよび分配されたアドレス空間を有するマルチプ ロッセサ・アーキテクチャーを有し、データ項目の状態のみならずデータ値をも 記憶するプロセッサーメモリ対を含むコンピュータシステムにおいて、 前記システムの唯一のデータメモリが、結合的な特性を有し、前記各データ項目 の物理的位置をそのアドレスから独立にするプロセッサ項目メモリからなってい るものであることを特徴とするコンピュータシステム。
2. （２）プロセッサーメモリ対を備えたツリー状の階層的バス構造を有しているこ とを特徴とする第１請求項に記載のコンピュータシステム。
3. （３）前記階層的なツリ一の分岐点において、それより下層のツリー部分のすべ てのデータ項目に関する状態情報を記憶するディレクトリーを有していることを 特徴とする第２請求項に記載のコンピュータシステム。
4. （４）前記データ項目のコピーを必要な場所に移動させ、メモリの一貫性を維持 するプロトコルを有していることを特徴とする第１請求項〜第３請求項のいずれ か１項に記載のコンピュータシステム。
5. （５）前記データ項目を、その状態に応じて、読み取り、書き込み等するための トランザクションを調整するプロトコルを有していることを特徴とする第１請求 項〜第４請求項のいずれか１項に記載のコンピュータシステム。
6. （６）データ項目メモリおよび状態メモリの両方からなるメモリが、結合的に構 成されていることを特徴とする第１請求項〜第５請求項のいずれか１項に記載の コンピュータシステム。
7. （７）前記各データ項目が、 排他的状態（Ｅ）：前記データ項目の唯一のコピーが存在する状態、、 分配状態（Ｓ）：前記各データ項目の別のコピーが存在する状態、、 無効状態（Ｉ）：前記データ項目が無効な状態（前記各データ項項目が実際には 下部システム中に存在しない状態）、読み取り状態（Ｒ）：前記データ項目が読 み取りのために要求される状態、 待機状態（Ｗ）：前記データ項目が排他的となるまで待機している状態のうちい ずれか１つの状態に存在し得ることを特徴とする第１請求項〜第６請求項のいず れか１項に記載のコンピュータシステム。
8. （８）前記ディレクトリー内の前記データ項目が、排他的状態（Ｅ）：前記下部 システムの外部にいかなるコピーも存在しない状態、 分配状態（Ｓ）：前記下部システムの外部に他のコピーが存在する状態、 無効状態（Ｉ）：前記データ項目が無効な状態（データ項目が実際には前記下部 システム中に存在しない）状態、読み取り状態（Ｒ）：前記データ項目が読み取 りのために要求される状態、 待機状態（Ｗ）：前記データ項目が排他的となるまで待機している状態、 応答状態（Ａ）：読み取り要求が、実際にようみとり要求に応答する状態、 除去状態（Ｌ）：前記データ項目が前記下部システム中に存在するが、それから 除去される途中にある状態のうちのいずれか１つの状態に存在し得ることを特徴 とする第７請求項に記載のコンピュータシステム。
9. （９）前記データ項目の種々の状態トランザクションを実行すべく、前記バス上 に、 ｒ，リード：前記システム内において前記データ項目の読み取りを要求するトラ ンザクション、 ｅ，イレース：問題となる前記データ項目のすべてのコピーを消去するトランザ クション、 ｄ，データ：分配された（分配されることが保証された｝前記データ項目を送り 出すトランザクション、ｉ，インジェクト：前記データ項目の最後のコピーを交 換するトランザクション、 ｏ，アウト：前記データ項目が前記下部システムから除去される途中にあるトラ ンザクション、 ｘ，イクスクルッシブ：前記データ項目が前記システム中における最後のコピー となるトランザクション、ｌ．リーブ：前記データ項目が前記下部システムから 除去されつつあるトランザクション、 ｕ，アップ：前記データ項目が、前記Ｌ状態にないディレクトリーに出会うまで 上層へ転送されるトランザクションを送り出し得ることを特徴とする第８請求項 に記載のコンピュータシステム。
10. （１０）各データ項目メモリが上層のバスに対する出力バッファを有しており、 各ディレクトリーが、下層のバスに対する入力および出力バッファと、上層のバ スに対する出力バッファを有すると共に、上層のバスからのトランザクションの 入力に対し優先順位を与えることを特徴とする第１請求項〜第９請求項のいずれ か１項に記載のコンピュータシステム。