JPH11232173A - ローカルメモリに組み込んでいるリモートキャッシュとｃｃ−ＮＵＭＡ（キャッシュ整合型の不均一メモリアクセス）アーキテクチュアを有するデータ処理システム - Google Patents

Abstract

(57)【要約】 【課題】 独立したメモリとしてリモートキャッシュを
実装するには、専用メモリ制御装置のサポートも必要で
あり、かつ、このような実装は柔軟性がない。 【解決手段】 ノード１、２がリモート・インタフェー
ス・ブリッジ１３および相互通信リング１４を用いて相
互通信し、メモリアドレスで定められたシステムメモリ
空間にプロセッサ３、４がアクセスするデータ処理シス
テムにおいて、各ノードは、システムメモリ空間の一部
をローカルメモリの他の部分９Ａにマップするユニット
１０と、それぞれ、ローカルメモリの他の部分に格納さ
れたデータブロックに対応付けられ、しかも、それぞれ
ブロックを識別するインデックスと、ブロックの整合状
態を示すビットから成っているラベル（タグ）を格納し
て、各ノードにあるローカルメモリの他の部分がノード
のリモートキャッシュになるようにするＳＲＡＭ技術の
メモリを備えていることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ｃｃ−ＮＵＭＡア
ーキテクチュアを有するデータ処理システムに関する。

【０００２】

【従来の技術】対称的マルチプロセッサ・アーキテクチ
ュア（複数のプロセッサが、共用メモリへのアクセスに
用いるシステムバスに接続される）の拡張性の制限を克
服するために、様々な解決法のうち、「キャッシュ整合
型の不均一メモリアクセス」アーキテクチュアとして定
められた新しいタイプのアーキテクチュアが提案されて
いることが知られている。

【０００３】このモジュラ・アーキテクチュアの基礎
は、様々なプロセッサを複数の「ノード」にグループ化
することと、データ処理システムのワーキングメモリ
を、ノードごとに１つ、複数のローカルメモリに分ける
ことである。

【０００４】従って、各ノードは１つ以上のプロセッサ
から成り、それらのプロセッサがローカルバスを介して
ローカルメモリと通信する。さらに、各ノードは、相互
通信ノードのネットワークを形成するために、通信チャ
ネルを介して、このノードと他のノードを相互接続する
ブリッジも備えている。

【０００５】この通信チャネルは、それ自体公知のもの
であって、ネットワーク（メッシュルータ）、１つのリ
ング、複数のリング、リングのネットワークなどであ
る。

【０００６】あるノードの各プロセッサは、相互接続ブ
リッジおよび通信チャネルを用いれば、必要とするデー
タがメモリに入っているノードにメッセージを送ること
で、他のあらゆるノードのローカルメモリ（リモートメ
モリと見なされる）に入っているデータにアクセスする
ことができる。

【０００７】プロセッサがこのノードのローカルメモリ
にアクセスする動作はかなり高速であって、ローカルバ
スにアクセスして、メモリアドレス、すなわち要求され
る動作型式を定めるコードをローカルバス上に提示する
こと、またこの動作が書込み動作であれば、書込まれる
データを提示することだけを求めるが、データが他のノ
ードに常駐しているか、あるいは他のノード向けに転送
される場合には、ローカルバスにアクセスすることだけ
でなく、相互接続ブリッジを起動し、通信チャネルを用
いて、また相互接続ブリッジと宛先ノードのローカルバ
スを用いてメッセージを宛先ノードに送って、宛先ノー
ドのメモリ資源にアクセスし、適宜、要求されたデータ
を含む応答メッセージを同一経路を使って送り返すこと
も必要である。

【０００８】たとえ上記の動作が、まったくソフトウェ
アの介在なしにハードウェアだけで行われる場合でも、
この実行時間は、ローカルメモリアクセスよりもずっと
長くかかる（一桁分も長くなる）。

【０００９】このような理由で、この種のアーキテクチ
ュアは、「ＮＵＭＡ」アーキテクチュアとして定められ
ている。

【００１０】ローカルメモリアクセスの場合でも、他の
ノードのメモリへのアクセスの場合でも、できるだけア
クセスタイムを短くすることが望ましい。

【００１１】この目的に従って、様々なプロセッサに
は、公知のやり方で、少なくとも１つのキャッシュ、好
ましくはワーキングメモリに入っているブロックのコピ
ーであるもっとも頻繁に使用されるデータのブロックを
格納する２つの連想キャッシュ・メモリが備えられてい
る。

【００１２】コストのために、大容量ダイナミックメモ
リＤＲＡＭで構成されるローカルメモリとは異なって、
これらのキャッシュは、ずっと高速なスタティックメモ
リ「ＳＲＡＭ」で実現され、かつ連想メモリである（少
なくとも一次キャッシュは、好ましくは「完全連想メモ
リ」である）。

【００１３】それゆえ、様々なキャッシュやローカルメ
モリにコピーされるデータを確実に整合できるようにす
る際に、問題が発生する。

【００１４】各ノード内での上記作業は、公知のやり方
で、ローカルバス上での「バス・ウォッチング」動作ま
たは「スヌーピング」動作を利用して、また適切な整合
プロトコル（例えば、頭字語ＭＥＳＩにより公知のも
の）を使用して、非常に簡単に行うことができる。

【００１５】しかしながら、ノードの各プロセッサに関
係を持たせた一次キャッシュと二次キャッシュには、ロ
ーカルメモリまたは他のノードのキャッシュに常駐して
いるデータが入れられることもある。

【００１６】このことは、データの整合性を保証する問
題をかなり複雑にする。

【００１７】実際、ノードのローカルメモリに常駐して
いるどんなデータも、他のノードの１つ以上のキャッシ
ュに、コピーされることもある。

【００１８】従って、ノードのローカルメモリに入って
いるデータを変更するか、あるいは暗黙のうちに無効に
する（キャッシュに入っていて、ローカルメモリ常駐の
データのコピーであるデータを変更することにより）ロ
ーカル動作はすべて、他のノードに伝達して、ローカル
メモリに入っているコピーはどれも無効にすることが必
要である（一般に、コピーを更新するよりもコピーを無
効にする方が簡単で、かつ速いから、コピーを無効にす
る作業が好ましい）。

【００１９】このデータ処理システムの性能を制限する
上記負担を回避するために、ローカルメモリと同じ技術
（すなわち、ＤＲＡＭ技術）を用いて形成された直接マ
ップ「ディレクトリ」で、かつローカルメモリ内の各デ
ータブロックに関して、他のどのノードに当該データブ
ロックがコピーされるかどうか、さらに可能であればこ
れらのノードのうちのいずれかで当該データブロックが
変更されているかどうか明示するディレクトリを、ロー
カルメモリすべてに対応づけることが提案されている
（例えば、第１７回の年次国際コンピュータ・アーキテ
クチュア・シンポジウムの報告、ＩＥＥＥ１９９０、１
４８〜１５９ページの、Ｄ．Ｌｅｎｏｓｋｙ、Ｊ．Ｌａ
ｕｄｏｎ、Ｋ．Ｇｈａｒａｃｈｏｒｌｏｏ、Ａ．Ｇｕｐ
ｔａ、Ｇ．Ｈｅｎｎｅｓｓｙ著による「ＤＡＳＨマルチ
プロセッサのディレクトリ・ベースのキャッシュ整合プ
ロトコル」に記載）。

【００２０】さらなる開発として、ディレクトリのサイ
ズを小さくし、かつ、その速度を上げるために、このデ
ィレクトリを連想スタティックメモリＳＲＡＭとして形
成することが提案されている。

【００２１】従って、整合処理の実行を必要とするトラ
ンザクションだけを他のノードに伝達する。

【００２２】別の見方をすれば、あるノードのローカル
メモリに格納されたデータを別のノードのキャッシュに
コピーして、そのキャッシュの中でデータを変更できる
ことに留意することが必要である。

【００２３】従って、このような変更が発生する時に
は、ローカルメモリが常駐しているノードに、このよう
な処理を指示して、そのディレクトリの状態を更新し、
さらに可能であればキャッシュに常駐しているデータの
コピーを無効にすることが必要である。

【００２４】ローカルメモリに対応づけられたディレク
トリを用いれば、ノード間のデータの整合性が保証され
る。それゆえ、このようなアーキテクチュアは、ｃｃ−
ＮＵＭＡアーキテクチュアとして定められる。

【００２５】しかしながら、ローカルメモリに対応づけ
られたディレクトリを用いても、他のノードのローカル
メモリに常駐しているデータへのアクセスをスピードア
ップする問題、従って全体としてデータ処理システムの
性能を向上させる問題は解決されない。

【００２６】この成果を達成するためには、リモートメ
モリから、すなわち他のノードのローカルメモリから取
り出されたごく最近使用のデータブロックを、ローカル
で、あるノードに格納したいわゆるリモートキャッシュ
（ＲＣ）を利用する。

【００２７】このリモートキャッシュは、ノードのプロ
セッサすべてのために働く必要があるので、ノードの様
々なプロセッサのキャッシュに付加される三次キャッシ
ュである。

【００２８】従って、このリモートキャッシュは、スタ
ティックメモリＳＲＡＭとして実装される場合には高速
であるが容量が小さく、またＤＲＡＭとして実装される
場合には、アクセス処理を実行する時でも、アクセス処
理を有効／無効にする時でも容量は大きいが低速である
という結果から、 ｃｃ−ＮＵＭＡアーキテクチュアを
有する公知システムは、リモートキャッシュを、ノード
の相互接続ブリッジまたはリモートコントローラに対応
づけられた構成要素として統合している。

【００２９】さらに、ハイブリッド構造を有するリモー
トキャッシュを、 データブロックを格納するためにＤ
ＲＡＭとして、またブロック、およびそれらの状態を識
別する「タグ」を格納するためにＳＲＡＭとして実装
し、必要に応じて、アクセス処理の有効化／無効化、お
よびノード間のメッセージ交換の可能性ある起動をスピ
ードアップすることも提案されている。

【００３０】

【発明が解決しようとする課題】しかしながら、独立し
たメモリとしてリモートキャッシュを実装するには、専
用メモリ制御装置のサポートも必要であり、かつ、この
ような実装は柔軟性がない。なぜなら、その記憶容量
は、設計限度内に設計でき、導入段階であらかじめ定め
られる。しかしながら、導入されるメモリ構成要素の数
に左右され、特定のどんな時にも発生し得るユーザ要件
に応じてデータ処理システムを初期設定（ブート）する
際、記憶容量は変えられないからである。

【００３１】

【課題を解決するための手段】本発明のｃｃ−ＮＵＭＡ
アーキテクチュアを有するデータ処理システムにおい
て、データブロック、およびそれらの状態を識別する
「タグ」を格納するためにスタティックメモリＳＲＡＭ
として、またデータブロックを格納するために、ローカ
ルメモリの一部で構成されたダイナミックメモリＤＲＡ
Ｍとして、リモートキャッシュを実装していることか
ら、構造的な単純化と、全般的な性能向上を達成すれ
ば、このような従来技術の制限は克服されることにな
る。

【００３２】前述のローカルメモリは、導入できる様々
な数のメモリモジュールにより、公知のやり方で構成さ
れ、従って、そのサイズ、すなわち容量は必要に応じて
拡張でき（必要な場合には、容量の異なるモジュールを
用いることもある）、しかも当該ローカルメモリは制御
・構成ユニットを有して、導入されるモジュールの数と
容量、およびブート中に設定される他のパラメータ（例
えば、あらかじめ定められたインタリービング・レベル
など）に基づいてデータ処理システムをブートする時
に、その構成が定められるようになっている。

【００３３】本発明の目的では、これらのパラメータの
１つは、実際、リモートキャッシュのサイズであること
もある。

【００３４】本発明の特徴と効果は、本発明の好適な実
施の形態の下記説明から、また添付図面から明確になる
であろう。

【００３５】

【発明の実施の形態】ｃｃ−ＮＵＭＡアーキテクチュア
の一般的な面は公知のものであって、本発明のデータ処
理システムが、このような面に反していないから、本発
明を理解するには、この一般面の簡単な説明で十分であ
ろう。

【００３６】図１に関しては、 ｃｃ−ＮＵＭＡアーキ
テクチュアを有するデータ処理システムは、複数のＭ個
のノード１、２で構成されており、ここで、Ｍは、デー
タ処理システムの様々なノードを説明し識別するデータ
を格納するために、各ノードに装備する必要のあるレジ
スタの容量によってのみ設計段階で限定される任意の数
である。

【００３７】各ノード、例えばノード１は、少なくとも
１つのプロセッサ、一般的には設計段階で定められる最
大Ｎまでの複数のプロセッサ３、４（プロセッサ≠１、
プロセッサ≠ｎ）から成っている。

【００３８】３、４のような各プロセッサは、一般に完
全連想メモリで容量は小さいが非常に高速である関連内
部一次キャッシュ（ＣＡＣＨＥ Ｌ１）５、６と、それ
よりも低速であるが、容量がずっと大きい（一般に約４
Ｍｂ）外部二次キャッシュ（ＣＡＣＨＥ Ｌ２）７、８
を有する。

【００３９】一次キャッシュは、好ましくは実際に、２
つの独立したキャッシュ、一方はデータ用のもの、また
他方は命令用のもので構成されている。

【００４０】好適な実施の形態では、二次キャッシュの
容量（ブロックで表される）が６４ｋｂｌｏｃｋとなる
ように、６４バイトに等しいデータラインまたはデータ
ブロックが、すべてのキャッシュ「エントリ」に入って
いる。

【００４１】各ノード、例えばノード１は、ローカルメ
モリ９（ワーキングメモリであって、磁気ディスク、テ
ープ、光ディスク装置またはＭＯディスク装置で構成さ
れる大容量記憶装置と混同してはならない）も含んでい
る。

【００４２】ＤＲＡＭ技術のローカルメモリ９は、様々
なアプリケーションに必要な記憶容量を達成する目的で
導入される様々な数のモジュールで構成されており、こ
のローカルメモリを構成・制御ユニット１０で制御すれ
ば、必要なタイミング信号や制御信号を発生させたり、
メモリを構成したりでき、すなわち導入されたモジュー
ルの数と容量により、様々なモジュールの記憶アドレス
とアドレス可能位置との一対一の対応付けを定めること
ができる。

【００４３】言い換えれば、様々なモジュールのうちの
１個のただ１つの記憶位置が、それぞれの記憶アドレス
に対応付けられる。

【００４４】一般に、このように設定された対応付けも
唯一のものであり、すなわち、それぞれのモジュール記
憶場所は、ただ１つの記憶アドレスによりアクセスされ
る。

【００４５】このメカニズムは非常に簡単である。すな
わち、構成ユニットは、複数対のレジスタを備え、それ
らのレジスタの内容は、データ処理システムをブートし
た時に設定されるものであって、複数のアドレスフィー
ルドを、フィールド下限とフィールド上限を用いて定め
ている。

【００４６】総称アドレスがそれらのフィールドの１つ
にあり、そのことが、レジスタの内容との比較により確
認されるということから、メモリがインタリーブド・メ
モリとして構成される場合には、１個のモジュール、ま
たは１群のモジュールを選択するための信号が発生す
る。

【００４７】この第２のケースでは、いくつかの最下位
アドレスビットを解読すれば、このグループの中で、ど
のモジュールを選択すべきか明らかにする。

【００４８】これらの様々なレジスタの代りに、変換テ
ーブルが入っているスタティックメモリを用いることが
できる。この変換テーブルは、ブート時に書込まれ、適
切なアドレスフィールドでアドレス指定されて、モジュ
ール選択の信号またはコードを出力する。

【００４９】これらの基準により動作し、優れた性能の
達成に最適なインタリーブド構造を有するメモリを構成
する構成・制御ユニットの１例は、例えば米国特許第
５，６６８，９７４号、および、対応する欧州公開第０
６２９９５２号で説明されている。

【００５０】しかしながら、この種の構成・制御ユニッ
トを用いれば、最上位ビットが互いにくい違っている複
数のアドレスを、同一のメモリ・エントリと一対一に相
関させ、従って、同一アドレスの変名（別名）となるよ
うに手配することができる。

【００５１】本発明は、以下でより明確に説明される通
り、リモートメモリ空間をローカルメモリの一部にマッ
プするのに効果的に使用して、このローカルメモリ空間
がリモートキャッシュの機能を果たすことができるよう
にする。

【００５２】このような役割を果たすローカルメモリ部
分は、図１の数字９Ａで示される。

【００５３】プロセッサ３と４は、ローカルバス１１を
用いて、ローカルメモリ９（メモリ制御ユニット１０を
介して）に接続される。

【００５４】さらに、例えば、周辺装置（大容量記憶装
置、Ｉ／Ｏターミナル、プリンタ）が接続されている頭
字語ＰＣＩ（周辺制御装置相互接続）の公知タイプの二
次バスと相互接続するためのブリッジ１２と、ノード１
をリモート相互接続チャネルまたはリング（ＲＥＭ Ｉ
ＮＴＣＮＴ ＬＩＮＫ）１４を介してデータ処理システ
ムの他のノードに相互接続するためのブリッジ１３も、
ローカルバス１１に接続する。

【００５５】分かりやすくするために、様々な機能は個
々の構成要素で果たされるが、ブリッジ１３は、一般に
リモート・インタフェース・コントローラ（ＲＥＭ Ｉ
ＮＴＦ ＣＮＴＲ）として定めることができ、様々なプ
ロセッサ、ブリッジ１２、およびそれ自体によるローカ
ルバスへのアクセスを調停し、ローカルバスの通信・整
合プロトコルを制御し、ノードの様々なプロセッサに対
するリモートメモリ空間へのアクセス（すなわち、他の
ノードのローカルメモリに格納されたデータへのアクセ
ス）の要請を認識し、さらにデータの送信または受信の
ためにも、様々なノードの間でデータの整合性を保証す
るためにも、リング１４を介して他のノードとメッセー
ジを交換する仕事がある。

【００５６】以上の面はすべて、従来技術に属する。

【００５７】好ましくは連想メモリとして形成されるロ
ーカルメモリのディレクトリＬＭＤ１５は、リモート・
インタフェース・コントローラ１３に接続して、ノード
のローカルメモリに格納されたデータブロックが他のノ
ードにコピーがあるか確認できるようにし、さらにこれ
らのコピーがどのノードに常駐しているか、またそれら
のコピーが変更されているかどうかも確認できるように
している。

【００５８】このローカルメモリのディレクトリＬＭＤ
は、すでに述べた通り、ローカルメモリ空間に属するデ
ータを様々なノードの間で確実に整合できるようにする
ために、コントローラ１３による読取りおよび書込みと
してアクセスできる。

【００５９】このローカルメモリのディレクトリだけで
なく、ＳＲＡＭ技術で作られ、それゆえ高速であるスタ
ティックメモリ１６も提供されて、他のノードのローカ
ルメモリ空間に属するデータブロックに関するラベルま
たはタグを格納し、さらに、それらのラベルまたはタグ
はノード１のリモートキャッシュ９Ａにも入れられる。

【００６０】メモリ１６はＲＣＴ（リモートキャッシュ
・タグ）メモリと呼ばれ、コントローラ１３に接続され
ており、読取りや書込みのためにアクセスしてリモート
キャッシュに入っているデータブロックと、それらの状
態を認識し、これらの指示により、整合性に必要な動
作、並びに、リモートキャッシュにも他のノードのロー
カルメモリにもアクセスするのに必要な動作を起こすこ
とができる。

【００６１】ノード２のような他のノードのアーキテク
チュアは、上に説明されたものと同様であって、さらな
る説明は、まったく必要でない。

【００６２】図１に示されるデータ処理システムの動作
を考察する前に、アドレス可能システム空間、すなわち
システム空間をどのようにマップするか考察することが
ふさわしい。

【００６３】データ処理システムにおいては、データ
は、バイト水準でアドレス指定される。

【００６４】それゆえ、アドレス指定できるバイドの数
は、アドレスを構成するビットの数によって決まる。

【００６５】最新のデータ処理システムは、３２ビット
のアドレス、もしくは４８ビットまでのアドレスを使用
でき、アドレス可能データ用のスペースは、それぞれ４
Ｇｂ（ギガバイト）と２５６Ｔｂ（テラバイト）であ
る。

【００６６】実際上、実行可能な実施の形態の現状で
は、システムメモリの全容量は１６Ｇｂを超えない。

【００６７】それゆえ、３４ビットで十分である。

【００６８】図２は、一例として、ｃｃ−ＮＵＭＡアー
キテクチュアを有する従来のシステムに、どのようにし
てシステム空間をマップするのか図示している。

【００６９】分かりやすくするため、考察されるシステ
ム空間は、０〜１６Ｇｂのフィールドに制限され、また
データ処理システムが有するノードの数は、例えば４で
ある。

【００７０】このような場合、例えば、ノード１のロー
カルメモリ空間として０〜３Ｇｂ−１のシステム空間が
割り当てられるか、または定められ、ノード２のローカ
ルメモリ空間として３Ｇｂ 〜６Ｇｂ−１のシステム空
間が割り当てられ、ノード３のローカルメモリ空間とし
て６Ｇｂ 〜９Ｇｂ−１のシステム空間が割り当てら
れ、さらに、ノード４のローカルメモリ空間として９Ｇ
ｂ 〜１３Ｇｂ−１のシステム空間が割り当てられる。

【００７１】周辺空間として１３Ｇｂ〜１６Ｇｂ−１の
システム空間が割り当てられ、そのシステム空間を使用
して、周辺装置、レジスタ、および不揮発性制御メモリ
を識別する。

【００７２】システム空間を様々なノードに分ける処理
は、まったく任意であって、かつ不均一である（例え
ば、図２では、ノード４に割り当てられるローカルメモ
リ空間が大きくなる）。

【００７３】しかしながら、実際上、このように分ける
処理は、各ローカル空間の下限と上限を定めるのに求め
られるアドレスビット（これは、すでに述べられた通
り、各ノードのリモート・インタフェース・コントロー
ラ１３の適切なレジスタに格納する必要がある（図
１））の数を最小限に減らすようなやり方で、効果的に
定められる。

【００７４】言換すれば、全体のアドレス可能空間、お
よびその分割の説明は、各ノードのリモート・インタフ
ェース・コントローラ１３に入れなければならないし、
またその説明は当然、ノードのすべてにおいて同一でな
ければならない。

【００７５】各ノードのローカルメモリ空間を物理的に
サポートするために、モジュール１７、１８、１９、２
０を、様々なノードに導入する。

【００７６】様々なノードにあるメモリモジュールは必
ずしも、各ノードの全容量を、各ノードに割り当てられ
たローカルメモリ空間に等しくする必要はなく、すなわ
ち、その全容量は小さくなってもよく、そのような場
合、システム空間は、物理資源ではサポートされないホ
ール（アドレスフィールド）を有する。

【００７７】様々なノードにあるメモリ構成ユニット１
０（図１）は、様々なモジュールの容量に基づいて、ロ
ーカルメモリ空間のフィールドのアドレスと、様々なモ
ジュールのアドレス可能位置との唯一の対応付けを決定
する。

【００７８】各ノードのリモート・インタフェース・コ
ントローラ１３（図１）は、ローカルバス上にあるアド
レスと、言及されたシステム構成レジスタの内容を比較
することにより、それらのアドレスが、ノードのローカ
ルメモリ空間に属するか、別のノードのローカルメモリ
空間に属するかどうか、もしもそうであれば、どのノー
ドであるか認識して、適切な処置を講じる。

【００７９】各ノードでは、他のノードのローカルメモ
リ空間全体は、図２に示される通り、リモートメモリ空
間ＮＯＤＥ１、２、３、ＲＥＭＯＴＥ ＳＰＡＣＥを構
成している。

【００８０】図３は、一例として、どのようにして、こ
のような従来のマッピングシステムを変更して、ローカ
ルメモリの一部として実装される直接マップ・リモート
キャッシュを有するｃｃ−ＮＵＭＡシステムを形成する
のか図示している。

【００８１】分かりやすくするために、データ処理シス
テムのメモリ空間のマッピングは、ローカルメモリ空間
がアドレスフィールド３Ｇｂ〜６Ｇｂ−１で定められて
いる単一ノードに関して示されている。

【００８２】さらに、例えば、それぞれ容量が０．５Ｇ
ｂである５個のモジュール２１．．．２５は、ローカル
メモリとしてノードに導入されると考えられる。

【００８３】これらのモジュールのうちの４個は、事実
上、ローカルデータの記憶装置専用であって、メモリ構
成ユニットは、ローカルメモリ空間のアドレスフィール
ド（例えば、３Ｇｂ〜６Ｇｂ−１）のアドレスと、モジ
ュール２１、２２、２３、２４の様々なアドレス可能位
置との唯一の対応付けを設定する。

【００８４】しかしながら、他のモジュール２５は、リ
モートメモリ空間に属するアドレスで特定されたデータ
を、リモートキャッシュとして記憶する専用モジュール
である。

【００８５】この場合には、メモリ構成ユニットは、リ
モートメモリ空間のアドレスとモジュール２５の様々な
アドレス可能位置との一対一の（ただし唯一ではない）
対応付けを設定する。

【００８６】明らかに、リモートメモリ空間の複数のア
ドレスは、別のモジュールの変名と同一のモジュール２
５のアドレス可能位置と相関関係にある。

【００８７】とくに、すでに述べられた通りモジュール
２５が０．５Ｇｂの容量を有する場合には、このモジュ
ールの様々なアドレス可能位置は、総称アドレスの２９
の最下位ビットで特定される（これらの２９ビットのう
ち、いくつかの最下位ビットは、メモリ並行処理、すな
わち、当該モジュールの１つのアドレス可能位置または
エントリに入っているバイト数により、無視される）。

【００８８】１６Ｇｂのスペースにおいて１バイトのデ
ータを特定するのに必要な３４のアドレスビットのう
ち、５つの最上位ビットは、このアドレスがローカルメ
モリ空間に属するか、リモートメモリ空間に属するかど
うか識別する。

【００８９】それゆえ、ローカルメモリ空間に属するア
ドレスを除き、単に５の最上位ビットしかくい違ってな
い３４ビットのアドレスはすべて、当該モジュールの同
一エントリと相関関係にあり、かつ別のモジュールの変
名であることが明らかである。

【００９０】従って、モジュール２５は、リモートメモ
リ空間向けの直接マップ・キャッシュＲＣ、もっと正確
に言えば、直接マップ・キャッシュのデータセクション
となる。

【００９１】これらのアドレスと、前記キャッシュに入
っているデータとの唯一の対応付けを設定し直すために
は、整合データが入っているだけでなく、各キャッシュ
・エントリの識別に役立たないアドレスビット（該当す
る例では、５の最上位ビット）から成るインデックスも
入っているタグを当該キャッシュ・エントリに対応付け
ることが必要である。

【００９２】この機能は、図１に関して説明されている
通り、リモートキャッシュに対応付けられた高速ＳＲＡ
Ｍメモリ１６すなわちＲＣＴによって果たされる。

【００９３】リモートキャッシュを構成しているモジュ
ール（あるいは、モジュールの構成部分）の数と、リモ
ートキャッシュのサイズは要件により随意に選択でき、
しかもブート時にプログラムすることができるが、ただ
し、その最大サイズは、関連タグメモリＲＣＴの最大サ
イズよりも大きくなく、またその最小サイズは、関連タ
グメモリに格納できるインデックス・フィールドの幅で
可能な最小サイズよりも小さくなり得ないという制限が
ある。

【００９４】後者の構想を明らかにする例がある。

【００９５】ＲＣＴメモリが１０ビットのインデックス
・フィールドを格納できるようになっていて、またリモ
ートメモリ空間において１バイトを識別するアドレスが
３４バイトから成っている場合には、リモートキャッシ
ュは、容量が少なくとも２^{(3 4-10)}バイトでなければな
らない。

【００９６】他の状況では、１０ビットよりも大きい幅
のインデックス・フィールドは、ＲＣＴメモリに入れる
ことができなくとも、必要となろう。

【００９７】リモートキャッシュの最適サイズは、デー
タ処理システムで実行されるアプリケーションの種類に
よって決まる。すなわち、様々なノードに属するプロセ
ッサが、おもに相互排他的に同一データで動作する場合
には、リモートキャッシュのサイズが大きくなればなる
ほど、それだけ衝突率が小さくなり、またノードを相互
接続するリングを介してリモートメモリ空間にアクセス
する必要性も少なくなる。

【００９８】しかしながら、様々なノードに属する複数
のプロセッサが共に同一データで動作する必要がある場
合には、大容量のリモートキャッシュを使用すると、ノ
ード間の整合処理の頻度がかなり高まる場合があり、そ
の結果、リモートデータのローカルコピーを有するとい
う利点が大幅に失われてしまう。

【００９９】このような欠点に加えて、リモートキャッ
シュとしてローカルメモリのかなりの部分を用いると、
効果的にローカルメモリとして利用できるローカルメモ
リ容量が小さくなるという欠点もある。

【０１００】従って、本発明の効果的な面は、ブート時
にアプリケーションに応じて、上に質的に示された容量
の上限と下限の範囲内で、リモートキャッシュの容量を
プログラムできる点である。

【０１０１】この目的では、特許公開第６２９９５２号
に説明される通り、導入されたモジュールのサイズと数
に関しても、他のパラメータ、とくに各ノードのリモー
トキャッシュが有するべきサイズ（ノードにより様々で
ある）に関しても構成データを入力するには、メモリ制
御・構成ユニット１０（図１）が、それ自体公知のＪＴ
ＡＧインタフェース２６を有するだけで十分である。

【０１０２】また、ＪＴＡＧインタフェースでなく、構
成ユニットの内部レジスタ（すなわちアドレス変換メモ
リ）は、周辺空間に属するアドレスでアドレス指定でき
る周辺装置であって、ローカルバスを用いて伝送されキ
ーボード・ターミナルを用いてデータ処理システムに入
力される適切なデータをロードすることのできる周辺装
置と見なされる。

【０１０３】図１のデータ処理システムの働きは、動作
の点で、ｃｃ−ＮＵＭＡアーキテクチュアを有する従来
のシステムの働きとたいして違わないが、ここで、簡潔
に考察できる。

【０１０４】プロセッサ（例えば、図１のプロセッサ
３）が、読取りまたは書込みの動作のために、データ処
理システムのメモリ空間に属する総称アドレスＩで特定
されるデータを必要とする場合には、この要求は、まず
第一に、一次キャッシュＬ１に送られる。

【０１０５】１）アドレス指定されたデータが属してい
るブロックがＬ１に入っている場合には、動作はローカ
ルで行われる。

【０１０６】整合動作が必要である場合には（例えば、
書込みのため）、そのアドレスは、必要な整合信号とい
っしょに、ローカルバスでキャッシュＬ２に伝送され
る。

【０１０７】リモート・インタフェース・コントローラ
でアドレスＩを受け取れば、データがローカルメモリ空
間に属しているかどうか証明できる（そのような場合、
ローカルメモリのディレクトリを用いて、そのデータの
コピーが他のノードに常駐しているかどうか認識し、そ
の結果、適切な整合メッセージを、それらのノードに送
ることができる）。

【０１０８】データがリモートメモリ空間に属している
場合には、データが、セクションＲＣＴ内でその状態を
更新するためにコピーとしてリモートキャッシュに入っ
ているかどうか、リモートキャッシュのＲＣＴセクショ
ン１６を用いて認識することができる。

【０１０９】２）アドレス指定されたデータが属してい
るブロックが、Ｌ１には入ってなくてＬ２に入っている
場合には、動作はローカルで行われ、さらに、前のケー
スの通り、整合動作が必要である場合には、そのアドレ
スをローカルバスで伝送して、インタフェース・コント
ローラが、必要な整合動作を実行できるようにしてい
る。

【０１１０】３）アドレス指定されたデータが属してい
るブロックがＬ１／Ｌ２に入っていない場合には、ロー
カルバスで転送されるデータのアドレスから、リモート
・インタフェース・コントローラは、アドレス指定され
たデータがローカルメモリ空間に属しているか、リモー
トメモリ空間に属しているかどうか、また後者の場合に
はデータを含むブロックが、リモートキャッシュに入っ
ているかどうか認識することができる。

【０１１１】データがローカルメモリ空間に属している
か、またはリモートキャッシュに入っている場合には、
データが入っているブロックを読み取って、上位レベル
のキャッシュ（Ｌ１／Ｌ２）に取り込み、必要に応じ
て、データを変更する。

【０１１２】リモート・インタフェース・コントローラ
は、必要な整合動作をすべて実行する。

【０１１３】公知のやり方では、アドレス指定されたデ
ータが、ノードの別のプロセッサのキャッシュＬ１、Ｌ
２に入っている場合、このキャッシュをローカルメモリ
に代用でき、また要求されるデータを、介入として公知
の手順を用いて提供する際、リモートキャシュに代用で
きることも注目しなければならない。

【０１１４】４）最後に、アドレス指定されたデータが
ローカルメモリ空間に属してなく、またリモートキャッ
シュにも入っていない場合（書込み動作はリモートメモ
リ空間からリモートキャッシュへのデータの取り込みを
前提としているから、この事象は読込み動作についての
み可能である）には、リモート・インタフェース・コン
トローラは、適切なノード間通信メッセージを発生させ
る。

【０１１５】従って、この動作方法は、ｃｃ−ＮＵＭＡ
アーキテクチュアを有するシステムの動作方法と厳密に
同一であって、唯一の相違は、データがリモートキャッ
シュに入っている時に、ローカルメモリを起動して、独
立したリモートキャッシュではなくてリモートキャッシ
ュの働きをするローカルメモリの一部を選択する点であ
る。

【０１１６】

【発明の効果】このようにして得られたリモートキャッ
シュは、すでに考察されたデュアル（ＤＲＡＭ−ＳＲＡ
Ｍ）実装技術からもたらされた効果を生かせるだけでな
く、以下のような利点も有している。

【０１１７】− このリモートキャッシュは柔軟性があ
る。なぜなら、そのサイズは、ブート時に必要に応じ
て、制御・構成ユニットで実行できる構成「解決」で、
またリモートキャッシュの最大容量を定める導入済みの
関連ＳＲＡＭのサイズで制限を加えるだけで、選択でき
るからである。

【０１１８】− このリモートキャッシュは、それぞれ
のタイミングとリフレッシング・ロジックを有する専用
制御ユニットの追加費用の負担はない。つまり、これら
の機能はすべて、ローカルメモリの制御・構成ユニット
で行われるからである。

【０１１９】− このリモートキャッシュは、高度の並
行処理、インタリーブド・アーキテクチュア、ブレーク
ダウンの場合の再構成可能度などのようなローカルメモ
リのサブシステムにより講じられる機能すべてから効果
が得られる。

【０１２０】− ローカルバスの段階では、このリモー
トキャッシュは、ローカルバスのデータチャネルに接続
された負荷の数を減らすために、転送速度が速くなる。

【０１２１】この結果として得られた効果が主として補
償している唯一の欠点は、メモリ制御・構成ユニットを
構造的に簡単にしておく場合に、リモートキャッシュＲ
Ｃに直接マップしなければならないことである。

【０１２２】しかしながら、ローカルメモリの一部を、
複数の一連の連想メモリとして編成することを妨げるも
のは何もない。

【図面の簡単な説明】

【図１】本発明によりリモートキャッシュを各ノードの
ローカルメモリに組み込んでいるｃｃ−ＮＵＭＡアーキ
テクチュアを有するデータ処理システムの全体ブロック
図である。

【図２】従来のｃｃ−ＮＵＭＡアーキテクチュアにおけ
る様々なノードの間のデータ処理システム・アドレス可
能空間の分割およびマッピング図である。

【図３】本発明のｃｃ−ＮＵＭＡアーキテクチュアにお
ける単一ノードに限定されたデータ処理システム・アド
レス可能空間の分割およびマッピング図である。

【符号の説明】

１ ノード１ ２ ノードＭ ３、４ プロセッサ ５、６、７、８ キャッシュ ９ ローカルメモリ １０ メモリコントローラ １１ ローカルバス １２ ＰＣＩ １３ リモート・インターフェース・コントローラ １４ リモート相互接続リンク １５ ＬＭＤ １６ ＲＣＴ １７、１８、１９、２０、２１、２２、２３、２４、２
５ モジュール

Claims (2)

【特許請求の範囲】
1. 【請求項１】 それぞれがローカルバス（１１）を用い
   てＤＲＡＭ技術のローカルメモリ（９）と相互通信する
   少なくとも１つのプロセッサ（３、４）で構成された複
   数のノード（１、２）から成り、それらのノード（１、
   ２）がリモート・インタフェース・ブリッジ（１３）お
   よび少なくとも１つの相互通信リング（１４）を用いて
   相互通信し、それぞれがデータブロックおよびデータブ
   ロック内の１バイトを識別する複数のメモリアドレスで
   定められたシステムメモリ空間に各ノード（１、２）の
   少なくとも１つのプロセッサ（３、４）がアクセスす
   る、ｃｃ−ＮＵＭＡアーキテクチュアを有するデータ処
   理システムであって、 各ノードが、 ローカルメモリ（９）を構成し、ノードごとに異なるシ
   ステムメモリ空間の第１の部分をローカルメモリの一部
   に単独にマップし、全体として他のノードすべてのロー
   カルメモリの一部に単独にマップされたシステムメモリ
   空間の一部をローカルメモリの残りの部分（９Ａ）にマ
   ップするユニット（１０）とそれぞれが、前記のローカ
   ルメモリの残りの部分に格納されたデータブロックに対
   応付けられ、かつ、ブロックを識別するインデックスと
   ブロックの整合状態を示すビットから成る複数のラベル
   （タグ）を格納して、各ノードにあるローカルメモリの
   残りの部分がノードのリモートキャッシュを構成するた
   めのＳＲＡＭ技術のメモリとを備えていることを特徴と
   するデータ処理システム。
2. 【請求項２】 前記構成ユニットが、データ処理システ
   ムをブートされる時に各ノード内のリモートキャッシュ
   のサイズをプログラミングする手段（２６）を備えてい
   ることを特徴とする請求項１に記載のデータ処理システ
   ム。