JPH10503310A - 不均一メモリ・アクセス（ｎｕｍａ）システムにおけるページ移動 - Google Patents

Abstract

(57)【要約】 不均一メモリ・アクセス（ＮＵＭＡ）システムにおけるページ移動に関し、ページ移動コントローラが開示されている。ページ移動コントローラはメモリ・アクセス要求によってアドレスされたメモリ・ページをローカル処理ノードからリクエスタ（要求側）処理ノードへ移動しておくべきかどうかを決定する。ページ移動コントローラはアレイ（配列）をアクセスして、アドレスされたメモリ・ページとリクエスタ処理ノードに関連づけられた第１カウントと、アドレスされたメモリ・ページとローカル処理ノードに関連づけられた第２カウントとを取得する。第１カウントはインクリメントされ、その後、第２カウントはインクリメントされた第１カウントから減算され、第２カウントとインクリメントされた第１カウントとの差が得られる。コンパレータはその差が移動しきい値より大であるかどうかを決定する。差が移動しきい値より大であれば、移動割込みが出される。

Description

【発明の詳細な説明】 不均一メモリ・アクセス（ＮＵＭＡ）システム におけるページ移動 発明の背景 発明の分野 本発明は、一般的には、分散メモリを装備するコンピュータ・システムにおけ るデータの割振りに関し、具体的には、分散化された非一様ないし不均一メモリ ・アクセス（non-uniform memory access‐ＮＵＭＡ）コンピュータ・システム におけるメモリ・ページの移動に関する。 関連技術 分散メモリ・コンピュータ・システムは、各々に１つまたは２つ以上のプロセ ッサが置かれている、物理的に離散し分離されている複数の処理ノードと、これ らのプロセッサのどれからでもアクセスができるメインメモリとから構成されて いるのが代表的である。メインメモリは処理ノード間で物理的に分散化されてい る。言い換えれば、各処理ノードはメインメモリの一部を備えている。従って、 各プロセッサからは、「ローカル」メインメモリ（つまり、プロセッサと同じ処 理ノードに置かれているメインメモリの部分）と「リモート」メインメモリ（つ まり、他の処理ノードに置かれているメインメモリの部分）が存在するように見 える。 各プロセッサでは、ローカル・メインメモリをアクセスするときに起こるレイ テンシ(latency：待ち時間）は、リモート・メインメモリをアクセスするときに 起こるレイテンシよりも大幅に小さくなっている。従って、上述した分散メモリ ・コンピュータ・システムは不均一メモリ・アクセス（non-uniform memory access-ＮＵＭＡ）コンピュータ・システムとも呼ばれている。 ＮＵＭＡコンピュータ・システムでは、最も頻繁にデータをアクセスするプロ セッサと同じ処理ノード（または最も頻繁にデータをアクセスするプロセッサに できる限り近くに置かれた処理ノード）に置かれているメインメモリ部分にデー タをストアしておくことが望ましい。言い換えれば、最も頻繁にデータをアクセ スするプロセッサが置かれている処理ノードにデータを移しておくことが望まし い。このようにすると、メモリ・アクセス・レイテンシは減少するのでシステム 全体のパフォーマンスが向上することになる。 この目標は、１つだけのプロセスによって使用される私有データ(private dat a)の場合には達成が容易である。この場合には、オペレーティング・システムは 、プロセスが実行されようとするプロセッサと同じ処理ノードに置かれているメ インメモリ部分にデータを移している。しかし、多数のプロセス（各プロセスは 異なる処理ノードで実行されている可能性がある）によってアクセスされる共有 データ(shared data)の場合には、オペレーティング・システムはどのプロセス が最も頻繁に共有データをアクセスするかについては知らないのが一般的である 。私有データの場合でも、あるプロセスが移動されたとき（つまり、ある処理ノ ードから別の処理ノードへ転送されたとき）、そのプロセスが最終的には元のノ ードに戻されることを予想して、最も頻繁に使用されるデータだけを新しいノー ドに移しておいた方が合理的な場合がある。 キャッシュオンリ・メモリ・アーキテクチャ(cache-only memory architectur e-ＣＯＭＡ）は、メモリ・アクセス・レイテンシを低減化するためにＮＵＭＡコ ンピュータ・システムでデータを移動する１つのハードウェア方式として知られ ている。ＣＯＭＡは、データをアクセスしようとするプロセッサの近くにデータ を移しておく働きをする。ＣＯＭＡでは、メインメモリはキャッシュメモリとし て扱われている。ＣＯＭＡは、改良キャッシュ・コヒーレンシ・プロトコル(mod ified cache coherency protocol)を使用してこの機能性を達成している。従来 のキャッシュ・コヒーレンシ・プロトコルと異なり、ＣＯＭＡキャッシュ・コヒ ーレンシ・プロトコルはメモリ・ブロック置換(memory block replacement)およ びマルチレベル・キャッシュ包含(multi-level cache inclusion)の実施という問題を取り扱わなければならない。以上のように、ＣＯ ＭＡはキャッシュ・コヒーレンシ・プロトコルを複雑化するので、望ましいソリ ューションではない。 ＣＯＭＡでは、キャッシュ・ミス(cache miss)を処理するとき、ローカル・メ インメモリとリモート・メインメモリ（これがダーティである）を順次にアクセ スして、ローカル・メインメモリに見つからなかったメモリ・ロケーションをア クセスするようにしている。ＣＯＭＡでは、これらのメモリ・ルックアップ（me mory look-up：メモリ参照）を行うためにも、キャッシュ・ミスが満足されたと きローカル・メモリの最終的割振りを行うためにも、相対的に大きなメモリ・バ ンド幅が必要である。従って、ＣＯＭＡアーキテクチャは、一般的に、他のアー キテクチャよりもパフォーマンスが低く、他のアーキテクチャよりもメモリ・レ イテンシが高くなっている。 ＣＯＭＡでは、すべてのメモリ・ブロック（３２バイトから１２８バイトのメ モリであるのが代表的）にキャッシュ・タグ(cache tag)を付けている。これら のキャッシュ・タグは高価なスタチック・ランダムアクセスメモリ（static ran dom access memory-ＳＲＡＭ）に保存されていることが多い（安価なダイナミッ クＲＡＭにではなく）。従って、ＣＯＭＡに関連するメモリ・オーバヘッドが大 になる潜在性をもっている。 メモリ・アクセス・レイテンシを低減化するためにＮＵＭＡコンピュータ・シ ステムでデータを移動するソフトウェア方式も提案されている。１つの方式では 、ソフトウェアは処理ノードごとにメモリ・ページごとのカウンタを維持してい る。ソフトウェアがキャッシュ・ミスのたびにカウンタを更新していないのは、 ソフトウェアをそのように動作させると、重大なシステム・パフォーマンス低下 が起こるためである。その代わりに、ソフトウェアはＴＬＢ(translation look- aside buffer：変換索引バッファ）ミスが起こるたびに、ノードのカウンタをイ ンクリメントしている。代表例として、カウンタはＴＬＢ例外ハンドラ(TLB exc eption handler)によって更新されている。 この公知ソフトウェア方式によると、（キャッシュ・ミスが起こるたびにカウ ンタを更新する場合に比べて）パフォーマンスに対する影響が低減されるが、そ れでもなお、オペレーティング・システムの中でパフォーマンス上非常に重要な 部分にソフトウェア命令が追加されている。さらに、ＴＬＢミスの数は必ずしも あるページに起こるキャッシュ・ミスの数と相関関係がない。従って、ＴＬＢミ スが起こったときページ移動を行うようにすると、該当ノードへのページ移動が 著しく遅延したり、ページが誤ってあるノードから別のノードへ移動されるおそ れがある。 以上の理由により、メモリ・アクセス・レイテンシを低減化するためにＮＵＭ Ａコンピュータ・システムでデータを移動する改良システムと方法が要望されて いる。 発明の概要 本発明は、メインメモリのローカル部分を含んでいるローカル処理ノードにお ける装置を提供することを目的としている。ローカル処理ノードは１つまたは２ つ以上の追加処理ノードからなるコンピュータ・システムに置かれており、そこ では、各々の追加処理ノードはメインメモリのリモート部分を含んでいる。本装 置は、コンピュータ・システムにおけるメモリ・ページの移動(migration of me mory pages)を制御するものである。 本装置はコンピュータ・システムの各領域(region)のカウントを、メインメモ リのローカル部分に置かれている各メモリ・ページごとにストアしておくアレイ (array：配列）を含んでいる。各領域には、コンピュータ・システムの１つまた は２つ以上の処理ノードが収容されている。また、本装置は、メモリ要求によっ てアドレスされたメモリ・ページをメインメモリのローカル部分からリクエスタ （要求側）処理ノード（そのメモリ要求がリクエスタ処理ノードから出された場 所）へ移動しておくべきかどうかを決定するページ移動コントローラ(pagemigra tion controller)も含んでいる。 ページ移動コントローラはアレイをアクセスし、アドレスされたメモリ・ペー ジとリクエスタ処理ノードに関連づけられた第１カウント(first count)と、ア ドレスされたメモリ・ページとローカル処理ノードに関連づけられた第２カウン ト(second count)を取得する。第１カウントはインクリメントされ、そのあと第 ２カウントはインクリメントされた第１カウントから減算されて、第２カウント とインクリメントされた第１カウントとの差が得られる。コンパレータ（比較器 ）は、その差が移動のしきい値(migration threshold value)より大であるかど うかを決定する。差が移動しきい値より大であれば、移動割込み(migration int errupt)が出される。ソフトウェアはこの移動割込みを受け取り、メモリ・ペー ジを移動すべきかどうかを決定する。 本発明のその他の特徴と利点は、本発明の種々実施例の構造およびオペレーシ ョンと共に、添付図面を参照して以下で詳しく説明する。図面において、同一ま たは機能的に類似のエレメントは類似の参照符号を付けて示されている。 図面の簡単な説明 以下、添付図面を参照して本発明について説明する。添付図面において、 図１は、不均一メモリ・アクセス（ＮＵＭＡ）コンピュータ・システムを示す ブロック図である。 図２Ａは、メインメモリの部分を示すブロック図である。 図２Ｂは、図２Ａのメインメモリ部分に関連するアレイを示すブロック図であ る。 図３は、図２Ｂのアレイのエントリを示すブロック図である。 図４は、本発明の好適実施例によるページ移動コントローラを示す機能ブロッ ク図である。 図５は、図４のページ移動コントローラのオペレーションを示すフローチャー トである。 好適実施例の詳細な説明 本発明は、メモリ・アクセス・レイテンシを低減するためにＮＵＭＡ（不均一 メモリ・アクセス）コンピュータ・システムでデータを移動する改良システムお よび方法を提供することを目的としている。本発明は、データ・アイテム（項目 ）を最も頻繁にアクセスするプロセッサが置かれている処理ノードへ、またはそ の近くにそのデータ・アイテムを移動する(migrateないしtransfer)ように動作 する。 このようなデータ移動はハードウェアとソフトウェアの組合せを通して達成さ れている。本発明によれば、処理ノード（参照の便宜上ローカル・ノードと呼ぶ ことにする）内のハードウェアは、ＮＵＭＡコンピュータ・システムの各処理ノ ードのカウントをローカル・メインメモリ（つまり、ローカル・ノードに置かれ ているメインメモリ部分）の各ページごとに維持している（代替実施例では、カ ウントは後述するように、処理ノード群と関連づけられている）。メモリ・アク セス要求(memory access request)があるたびに、ハードウェアはリクエスタ・ ノード（つまり、メモリ・アクセス要求を出したプロセッサが置かれている処理 ノード）に関連するカウントをインクリメントする。一実施例では、メモリ・ア クセス要求の目的はキャッシュ・ミスを埋め合わせる(fill)ことである。その場 合には、リクエスタ・ノードはキャッシュ・ミスが起こったプロセッサが置かれ ている処理ノードである。 ハードウェアはリクエスタ・ノードのカウントをローカル・ノードに関連する カウントと比較する。リクエスタ・ノードのカウントがローカル・ノードのカウ ントより十分に高ければ、ソフトウェア・プロセスにそのことが通知される（例 えば、割込みまたはポーリングを通して）。ソフトウェア・プロセスは特定のメ モリ・ページをリクエスタ・ノードに移動させる場合もあれば、そのリクエスタ ・ノードの近くに移動させる場合もある。 以下、本発明について詳しく説明する。図１は分散メモリ・コンピュータ・シ ステム１０２、好ましくは、分散化された不均一メモリ・アクセス（ＮＵＭＡ） コンピュータ・システム１０２を示すブロック図である。コンピュータ・システ ム１０２は複数の処理ノード１０４を含んでおり、これらは物理的に区別され、 相互に物理的に分離されている。処理ノード１０４は通信ネットワーク１２０を 通して相互に通信している。通信ネットワークとしては、バス、多段相互接続ネ ットワーク(multistage interconnection network)、ローカルエリア・ネット ワーク、広域ネットワークなどの公知のデータ通信手段、またはこれらを任意に 組み合わせたものにすることができる。 各処理ノード１０４には、１つまたは２つ以上のコンピューティング・ノード (computing node)１０６が置かれている（好ましくは、処理ノード１０４には２ つのコンピューティング・ノード１０６が置かれているが、各処理ノード１０４ に置くことができるコンピューティング・ノード１０６の数は２つ以外にするこ とも可能である）。各コンピューティング・ノード１０６にはプロセッサ１０８ とキャッシュ１１０が置かれている。また、各コンピューティング・ノード１０ ６には、メモリ・コントローラとネットワーク間インタフェース(memorycontrol ler and network interface)１１２も置かれている。任意の特定処理ノード１０ ４内のプロセッサ１０８は、その処理ノード１０４に置かれたメモリ・コントロ ーラとネットワーク間インタフェース１１２を通して通信ネットワーク１２０に 接続された他のデバイスと通信する。 各処理ノード１０４には、メインメモリ１１４の部分も置かれている。処理ノ ード１０４のすべてに置かれているメインメモリ１１４の各部分が集合したもの がコンピュータ・システム１０４のメインメモリである。任意の処理ノード１０ ４内の任意のプロセッサ１０８は、任意の他の処理ノード１０４に置かれている メインメモリ１１４の部分に入っているデータをアクセスすることができる。任 意の特定処理ノード１０４のメインメモリ１１４の部分に入っているデータへの アクセスは、その同一処理ノード１０４に置かれているメモリ・コントローラと ネットワーク間インタフェース１１２によって制御される。 図２Ａはメインメモリの部分を示す詳細ブロック図である。メインメモリ１１ ４の各部分には、Ｎ個のメモリ・ページ２０２（各ページには、ページ０，ペー ジ１，... ，ページＮのラベルが付いている）が収容されている。好ましくは、 各メモリ・ページは４Ｋバイトのサイズになっているが、本発明によれば、他の メモリ・ページ・サイズにしても動作効果は同じである。Ｎの値はどのようにイ ンプリメントするかによって決まる。 図２Ｂは本発明の好適実施例に従って各処理ノード１０４に維持されているア レイ２０４を示すブロック図である。アレイ２０４はメインメモリ１１４の部分 に置かれている各メモリ・ページ２０２のエントリ２０６を含んでいる。従って 、アレイ２０４はＮ個のエントリ２０６を含んでおり、各エントリにエントリ０ ，エントリ１，... ，エントリＮのラベルが付けられている。エントリ０はメモ リ・ページ０に対応し、エントリ１はメモリ・ページ１に対応し、以下同様であ る。アレイ２０４は好ましくはダイナミック・ランダムアクセスメモリ（ＤＲＡ Ｍ）にストアされている。一実施例では、アレイ２０４はメインメモリ１１４用 のキャッシュ・コヒーレント・ディレクトリ部分にストアされている。本発明に よれば、アドレスされたページ２０２と、そのアドレスされたページ２０２に関 連するアレイ２０４内のエントリ２０６とを同時にアクセスして、取り出すこと によってシステム・パフォーマンスを向上させている。 図３はアレイ２０４内のエントリ２０６を示すブロック図である。各エントリ ２０６には、Ｎ個のカウント３０４（個々にカウント０，カウント１，... ，カ ウント Mのラベルが付いている）がコンピュータ・システム１０２の各領域ごと に１つあて収められている。（従って、アレイ２０４はカウント３０４のバンク を表している。当然に理解されるように、レジスタなどの他の記憶機構を使用し てカウント３０４をストアすることも可能である。）コンピュータ・システム１ ０２にＭ個またはそれ以下の処理ノード１０４がある場合は、領域に単一の処理 ノード１０４を置いておくことが好ましく、そうすれば、カウント３０４を単一 の処理ノード１０４に対応させることができる。逆に、コンピュータ・システム １０２にＰ個の処理ノード１０４がある場合には（ただし、ＰはＭより大である ）、各領域には複数の処理ノード１０４が置かれることになる。この場合には、 各領域にはＱ個の処理ノード１０４を置いておくことが好ましい。ただし、Ｐ／ ＱはＭより小か等しい。（当然に理解されるように、どの処理ノード１０４のグ ループも、領域を表すように設定することができる。）Ｑは８に等しいことが好 ましいが、本発明によれば、Ｑが他の値であっても同じ動作効果が得られる。 上述の説明から理解されるように、各カウント３０４は特定の処理ノード１０ ２に置かれている特定のメモリ・ページ２０２と関連づけられており、コンピュ ータ・システム１０２の特定の領域とも関連づけられている。カウント ３０４は、その領域に置かれているプロセッサ（１つまたは複数）１０８がその 特定処理ノード１０２に置かれている、その特定メモリ・ページを何回アクセス したかを示している。カウント３０４は、本発明によれば、その特定メモリ・ペ ージ２０２をカウント３０４に関連する領域内の処理ノード２０４へ移しておく べきかどうかを判断するために使用される。 図４はページ移動コントローラ４０２を示すブロック図である。ページ移動コ ントローラ４０２は、好ましくは、メモリ・コントローラとネットワーク間イン タフェース１１２の一部として処理ノード１０４に実装されているハードウェア ・デバイスになっている。以下では、説明の便宜上、処理ノード１０４Ａのメモ リ・コントローラとネットワーク間インタフェース１１２Ａに置かれているペー ジ移動コントローラ４０２について説明することにする（なお、以下の説明はす べてのノード１０４に置かれているページ移動コントローラ４０２にも適用され る）。この処理ノード１０４Ａは参照の便宜上ローカル・ノード１０４Ａと呼ぶ ことにする。ページ移動コントローラ４０２は、ローカル・ノード１０４Ａ側の メモリ・ページをコンピュータ・システム１０２内の他の処理ノード１０４Ｂ， １０４Ｃ（参照の便宜上リモート・ノード１０４Ｂ，１０４Ｃと呼ぶことにする ）へ移しておくべきかどうかを決定する。 ページ移動コントローラ４０２内に置かれているコンポーネントはページ移動 コントローラ４０２によって実行されるオペレーション（演算、操作など）や機 能(function)を表している。ページ移動コントローラ４０２が図４に示され、こ こで説明されているオペレーションや機能を実行するようにページ移動コントロ ーラ４０２をどのようにインプリメント（実装）するかは、当該分野の当業者に は自明のことである。 以下では、図４を参照して、さらに図５に示す機能フローチャートを参照して ページ移動コントローラ４０２のオペレーションについて説明する。なお、理解 を容易にするために、以下では、各カウント３０４が単一の処理ノード１０４に 対応しているものとして（つまり、各領域には１つの処理ノード１０４が置かれ ているとして）説明する。しかし、当然に理解されるように、以下の説明は各領 域に複数の処理ノード１０４が置かれている場合にも適用される。 ステップ５０６で、ページ移動コントローラ４０２はプロセッサ１０８から出 されたメモリ・アクセス要求４50を受け取る。このプロセッサ１０８が置かれて いる処理ノード１０４は参照の便宜上リクエスタ（要求側）ノード１０４と呼ぶ ことにする。メモリ・アクセス要求４５０はローカル・ノード１０４Ａに置かれ ているプロセッサ１０８から出されることもあるが、その場合には、ローカル・ ノード１０４Ａはリクエスタ・ノード１０４Ａと同じになっている。また、メモ リ・アクセス要求４５０はリモート・ノード１０４Ｂまたは１０４Ｃに置かれて いるプロセッサ１０８から出されることもあるが、その場合には、ローカル・ノ ード１０４Ａはリクエスタ・ノード１０４Ｂまたは１０４Ｃと同じになっていな い。説明の便宜上、処理ノード１０４Ｃ内のプロセッサ１０８Ｅまたは１０８Ｆ がメモリ・アクセス要求を出し、その処理ノード１０４Ｃがリクエスタ・ノード １０４Ｃとなる場合を想定して説明する。 メモリ・アクセス要求４５０には、アクセスしようとするメモリ・ページ２０ ２を識別する情報が収められている。理解を容易にするために、メモリ・ページ １をアクセスするものとして説明する。また、メモリ・アクセス要求４５０には 、リクエスタ・ノード１０４Ｃを指定している情報も収められている。ステップ ５０８で、ページ移動コントローラないしカウンタ４０２はメモリ・アクセス要 求４５０に入っているこの情報を使用してアレイ２０４をアクセスし、メモリ・ ページ１およびリクエスタ・ノード１０４Ｃ（つまり、メモリ・アクセス要求４ ５０で指定されたメモリ・ページとノード）に関連するカウント３０４を取り出 す。 ステップ５１０で、インクリメンタ（増分器）４０４はリクエスタ・ノード１ ０４Ｃのカウント３０４を１だけインクリメントし、このカウント３０４の新し い値をアレイ２０４にストアする。別の実施例では、統計的インクリメント(sta tistical increment)が行われるが、このインクリメントでは、リクエスタ・ノ ードのカウントをインクリメントする確率は１以下になっている。好ましくは、 この確率は、Ｎ回のローカル・クロック・サイクルのあと、あるいはＮ個の要求 またはＤＲＡＭのリフレッシュ・サイクルのあと各要求をインクリメントすると いったように、いくつかの擬似乱数メカニズム(pseudo-random mechanism)の１つによってセットされる。 ステップ５１２から始まるステップのシーケンスおよびステップ５２０から始 まるステップのシーケンスはステップ５１０のあとで実行される。具体的には、 ステップ５１２から始まるステップのシーケンスはステップ５２０から始まるス テップのシーケンスと同時に実行される。まず、ステップ５１２から始まるステ ップのシーケンスについて説明することにする。 ステップ５１２で、ページ移動コントローラ４０２はアレイ２０４をアクセス し、メモリ・ページ１（つまり、メモリ・アクセス要求４５０で指定された同じ メモリ・ページ２０２）とローカル・ノード１０４Ａに関連するカウント３０４ を取り出す。 ステップ５１４で、ローカル・ノード１０４Ａのカウント３０４とリクエスタ ・ノード１０４Ｃのカウント３０４（インクリメンタ４０４によってインクリメ ントされている）は減算器(subtractor)４０８に渡される。減算器４０８はロー カル・ノード１０４Ａのカウント３０４をリクエスタ・ノード１０４Ｃのカウン ト３０４から減算し、その差をコンパレータ（比較器）４１２へ送る。減算器４ ０８とコンパレータ４１２は例えば、演算論理ユニット（arithmetic logic uni t-ＡＬＵ）に相当するものとすることも可能である。 ステップ５１６で、コンパレータ４１２は前記の差を移動しきい値レジスタ４ １０に格納されている移動しきい値と比較し、差が移動しきい値より大であるか どうかを決定する。この機能の目的は以下で説明する。 メモリ・ページ１をローカル・ノード１０４Ａからリクエスタ・ノード１０４ Ｃへ移動するとき若干のシステム・コストが発生する。従って、メモリ・ページ １をリクエスタ・ノード１０４Ｃへ移動するのは、リクエスタ・ノード１０４Ｃ によって行われるメモリ・ページ１へのアクセス回数がローカル・ノード１０４ Ａによって行われるアクセス回数より十分に大である場合に限るべきである。移 動しきい値によって、この移動システム・コストが決まる。差が移動しきい値よ り大であれば、メモリ・ページ１を移動することが必要である。逆に、差が移動 しきい値より小か等しければ、メモリ・ページ１はリクエスタ・ノード１０４Ｃ へ移動されない。 移動しきい値はどのようにインプリメントするかによって決まり、コンピュー タ・システム１０２のパフォーマンス・パラメータによって決まる。好ましくは 、移動しきい値レジスタ４１０に格納される移動しきい値はコンピュータ・シス テム１０２のすべての領域で同じになっている。別の実施例では、移動しきい値 レジスタ４１０はコンピュータ・システム１０２の各領域ごとに移動しきい値を 格納している。この別実施例では、移動しきい値は、領域がローカル・ノード１ ０４Ａからどれだけ離れているか、ページをローカル・ノード１０４Ａから領域 へ移動するとき生じる通信コスト、システム負荷量、メモリ・ページの移動ヒス トリ（活動記録）などの、いくつかの要因に応じて各領域ごとに指定されている 。 移動しきい値はソフトウェアで調整可能であるが、好ましい実施例では、動的 に調整されないようになっている。別の実施例では、移動しきい値は各領域ごと に動的に調整されるようになっている。このことは、移動しきい値が１つだけで すべての領域に共通している実施例の場合も同じである。このような動的調整は システム負荷量、実行されるアプリケーションの数とタイプ、ユーザ特性などの いくつかの要因によって決まる。 差が移動しきい値より大でないとステップ５１６において判定されると、ステ ップ５１２から始まるステップのシーケンスはステップ５１８で示すように完了 する。そうでなければ、ステップ５１７が実行される。 ステップ５１７を説明する前に、アレイ２０４のもう１つの特徴を説明してお くことにする。図３に戻って説明すると、すでに説明したように、各エントリ２ ０６はＭ個のカウント３０４（個別にカウント０，カウント１，...,カウントＭ のラベルが付いている）を収めている。本発明の実施例によれば、各エントリ２ ０６はメモリ・ページ／処理ノード（または領域）別にモードを示しているモー ド情報も収めている。このモード情報は、好ましくは、オペレーティング・シス テムによってセットされるが、ユーザ調整可能にすることもできる。本発明によ れば、好ましくは、「移動」、「複写」、「移動と複写」、「無視(don't care) 」の４つのモードがサポートされている。これらのモードの意味については、以 下の説明の中で明らかにする。好ましくは、モード情報は２個のバイナ リ・コード化ビットで実現されている。 好ましくは、本発明はページのエントリ２０６で指定されたモードに従って動 作する（別の実施例では、本発明はローカル・ノード１０４Ａ全体に対してセッ トされたモードで動作させることも、あるいはリクエスタ・ノード１０４Ｃのモ ードで決まるモードで動作させることも可能である）。従って、ステップ５１２ （上述した）では、メモリ・ページ１とローカル・ノード１０４Ａに関連するカ ウント３０４を取り出すほかに、ページ移動コントローラ４０２はアレイ２０４ もアクセスして、メモリ・ページ１（つまり、要求されたメモリ・ページ）とロ ーカル・ノード１０４Ａに関連するモード情報を取り出す。 図５に戻って説明すると、ステップ５１７で、ページ移動コントローラ４０２ はメモリ・ページ１とローカル・ノード１０４Ａのモードが「移動」または「移 動と複写」に等しいかかどうかを決定する。メモリ・ページ１とローカル・ノー ド１０４Ａのモードが「移動」または「移動と複写」に等しければ、ステップ５ ２２が実行される。そうでなければ、ステップ５１２から始まるステップのシー ケンスはステップ５１８で示すように完了する。 ステップ５２２で、ページ移動コントローラ４０２はメモリ・アクセス要求４ ５０に入っている情報を、移動／複写候補ページ／ノード・レジスタ４１４に格 納する。この情報はアクセスされたページ（つまり、ページ１）とそのページを アクセスしたノード（つまり、リクエスタ・ノード１０４Ｃ）を示している。次 に、ページ移動コントローラ４０２は移動割込み４１８を出す（後述するように 、ソフトウェア・プロセッサが移動信号を得るためにポーリングする場合には、 移動信号を出すことになる）。（別の実施例では、ページ移動コントローラ４０ ２はステップ５２２でメモリ・ページ１をリクエスタ・ノード１０４Ｃへ移動さ せる。） ソフトウェア・プロセス（図示せず）は移動割込み／信号４１８を受信すると 、移動／複写候補ページ／ノード・レジスタ４１４にもアクセスして移動ページ ／ノード４２０（つまり、メモリ・ページ１とリクエスタ・ノード１０４Ｃを指 定している情報）を取得する。ソフトウェア・プロセスは、好ましくは、オペレ ーティング・システムの一部になっている。ソフトウェア・プロセスはページ １をリクエスタ・ノード１０４Ｃに移動すべきかどうかを決定する。ソフトウェ ア・プロセスはシステム負荷量、メモリ・ページの移動ヒストリ、ノード・バン ド幅アンバランス(imbalance)などの、いくつかの要因を考慮してこの決定を行 う。この決定の結果に応じて、ソフトウェア・プロセスはメモリ・ページ１をリ クエスタ・ノード１０４Ｃへ移動させることになる。 以下では、ステップ５２０から始まるステップのシーケンスについて説明する 。 ステップ５２０で、コンパレータ４５１はリクエスタ・ノード１０４Ｃのカウ ント３０４を、複写しきい値レジスタ４５２に格納されている複写しきい値と比 較する（別の実施例では、リクエスタ・ノード１０４Ｃが置かれている領域に関 連するカウントが複写しきい値と比較される）。リクエスタ・ノード１０４Ｃの カウント３０４が複写しきい値より大であれば、メモリ・ページ１をリクエスタ ・ノード１０４Ｃに複写することが必要である。従って、ステップ５21が実行さ れるが、これについては後述する。逆に、リクエスタ・ノード１０４Ｃのカウン トが複写しきい値より小か等しければ、メモリ・ページ１はリクエスタ・ノード １０４Ｃに複写されず、処理はステップ５１８で示すように完了する。 ステップ５２１で、ページ移動コントローラ４０２はメモリ・ページ１とロー カル・ノード１０４Ａのモードが「複写」または「移動と複写」に等しいかどう かを判断する。メモリ・ページ１とローカル・ノード１０４Ａのモードが「複写 」または「移動と複写」に等しければ、ステップ５２２が実行される。そうでな ければ、ステップ５２０から始まるステップのシーケンスはステップ５１８で示 すように完了する。 ステップ５２２で、ページ移動コントローラ４０２はメモリ・アクセス要求４ ５０に入っている情報を移動／複写候補ページ／ノード・レジスタ４１４に格納 する。この情報はアクセスされたページ（つまり、ページ１）とそのページをア クセスしたノード（つまり、リクエスタ・ノード１０４Ｃ）を示している。その あと、ページ移動コントローラ４０２は複写割込み４５６を出す（ソフトウェア ・プロセスが後述するように複写信号を得るためにポーリングする場合は、複写 信号を出す）。（別の実施例では、ページ移動コントローラ４０２はステップ ５２２でメモリ・ページ１をリクエスタ・ノード１０４Ｃに複写させる。） ソフトウェア・プロセス（図示せず）は上述したものと同じソフトウェア・プ ロセスにすることができるが、複写割込み／信号４５６を受信すると、移動／複 写候補ページ／ノード・レジスタ４１４にもアクセスして、複写ページ／ノード ４２０（つまり、メモリ・ページ１とリクエスタ・ノード１０４Ｃを指定してい る情報）を取得する。このソフトウェア・プロセスは好ましくはオペレーティン グ・システムの一部になっている。ソフトウェア・プロセスはページ１をリクエ スタ・ノード１０４Ｃに移動すべきかどうかを判断する。ソフトウェア・プロセ スはシステム負荷量、メモリ・ページの移動ヒストリ、ノード・バンド幅アンバ ランスなどの、いくつかの要因を考慮してこの決定を行う。この決定の結果に応 じて、ソフトウェア・プロセスはページ１をリクエスタ・ノード１０４Ｃに複写 させる。 複写しきい値レジスタ４５２に格納された複写しきい値はノードがメモリ・ペ ージを何回アクセスしたら、メモリ・ページをノードに複写することが有利にな るかを示している。移動しきい値に関する考慮事項（上述した）は一般的に複写 しきい値にも適用される。 上述したように、ソフトウェア・プロセスは移動割込み４１８（移動割込み４ １８が出された場合）および複写割込み４５６（複写割込み４５６が出された場 合）を受け取る。また、上述したように、ソフトウェア・プロセスはメモリ・ペ ージをリクエスタ・ノードに移動または複写すべきかどうかを判断するとき、い くつかの要因を考慮する。上述した要因以外にも、考慮される要因がもう１つあ る。それは、ソフトウェア・プロセスが移動割込み４１８と複写割込み４５６の 両方を受け取ったかどうかである。 当然に理解されるように、あるメモリ・ページがローカル・ノードからリクエ スタ・ノードへ移動されると、ローカル・ノードに置かれているメモリ・ページ のコピーは無効にされる。これに対して、メモリ・ページがリクエスタ・ノード に複写された場合には、ローカル・ノード側のメモリ・ページのコピーは有効に なっている（この側面から見た本発明は、主に読取り専用データの場合に効果的 であるので、この側面を利用すると、複写する必要のあるページ、つまり、複数 のコピーが複数のノードで作成されるようなページを識別することができる）。 本発明によれば、メモリ・ページの移動と複写は同時には行われない。 ソフトウェア・プロセスが移動割込み４１８と複写割込み４５６の両方を受け 取ると、ソフトウェア・プロセスは移動するのか、複写するのか、どちらも行わ ないのかを判断する。一実施例では、ソフトウェア・プロセスは複写よりも移動 に高い優先度を置いているので、移動割込み４１８と複写割込み４５６の両方を 受けたときは、移動が行われるようになっている（ただし、ソフトウェア・プロ セスが移動も複写もしないと判断しないことが条件である）。なお、この点にお けるソフトウェア・プロセスのオペレーションは、どのようにインプリメントし たかによって決まる。 なお、モードが「無視」のときは、ページ移動コントローラ４０２は移動割込 み４１８も複写割込み４５６も出さない。 上述したページ移動コントローラ４０２のオペレーション、具体的には、上述 したページ移動コントローラ４０２のコンポーネント間の相互作用は、コントロ ーラ４２２のオペレーションによって達成される。好ましくは、コントローラ４ ２２は、例えば、ハードウェアのステート・マシン(state machine)でインプリ メント（実現）されている。コントローラ４２２をどのようにインプリメントす るかは、当該分野の当業者に自明のことである。 また、ページ移動コントローラを実際にどのようにインプリメントするかも、 当該分野の当業者に自明のことである。例えば、実用上、ページ移動コントロー ラ４０２は中間結果を一時的に格納しておく、いくつかのレジスタを装備するこ とが可能である。例えば、あるレジスタをインクリメンタ４０４と減算器４０８ の間に置いておくと、減算器４０８の結果を一時的に格納することができる。別 のレジスタはアレイ２０４およびインクリメント４０４と減算器４０８の間に置 いておくと、アレイ２０４から取り出したカウントを一時的に格納することがで きる。その他のインプリメントの詳細は当該分野の当業者に自明のことである。 本発明はハードウェアで実現されているので、上述したように、従来のソフト ウェアによる手法で起こっていた問題が起こることがない。具体的には、本発明 はハードウェアで実現されているので、本発明によれば、各メモリ・アクセスご とにカウントを更新してもシステム・パフォーマンスが低下するおそれがない。 従って、本発明によると、ＮＵＭＡコンピュータ・システムにおけるメモリ・ペ ージの移動を効率的かつ効果的に行うことができる。 以上から明らかなように、本発明によれば、キャッシュ・コヒーレント・プロ トコルを複雑化しなくてもページ移動を効率的かつ効果的に行うことができる。 また、本発明によれば、メモリ・ルックアップ用のメモリ・バンド幅を大きくし なくてもページ移動を行うことができる。さらに、本発明によれば、メモリの各 ブロックごとにキャッシュ・タグを関連づける必要がない。本発明のアレイは高 価なＳＲＡＭにではなく、安価なＤＲＡＭにストアされることに注目すべきであ る。従って、本発明によれば、上述したように、従来のハードウェアによる手法 で起こっていた問題が起こることはない。 以上、本発明の種々の実施例について説明してきたが、当然に理解されるよう に、これらの実施例は単なる例示であり、本発明は上述した実施例に限定される ものではない。従って、本発明の技術範囲は上述した実施例のどれによっても制 限されるものではなく、請求の範囲に記載されている本発明の範囲によってのみ 判断されるべきものである。

【手続補正書】特許法第１８４条の７第１項 【提出日】１９９６年１１月８日 【補正内容】 ２７．ローカル処理ノードにストアされていて、メモリ・アクセス要求によって アドレスされたメモリ・ページを、前記メモリ・アクセス要求が出されたリクエ スタ処理ノードに複写しておくべきかどうかを決定する方法であって、 前記アドレスされたメモリ・ページと前記リクエスタ処理ノードに関連づけら れたカウントを前記ローカル処理ノードにおけるアレイから取得するステップと 、 前記カウントをインクリメントするステップと、 前記インクリメントされたカウントが複写しきい値より大であれば複写信号を 出すステップと を具えたことを特徴とする方法。 ２８．請求項１に記載の装置において、前記インクリメンタは前記第１カウント を統計的にインクリメントすることを特徴とする装置。 ２９．ローカル処理ノードにストアされていて、メモリ・アクセス要求によって アドレスされたメモリ・ページを、前記メモリ・アクセス要求が出されたリクエ スタ処理ノードに複写しておくべきかどうかを決定する方法であって、 前記アドレスされたメモリ・ページと前記リクエスタ処理ノードに関連づけら れたカウントを取得するステップと、 前記カウントをインクリメントするステップと、 前記インクリメントされたカウントが複写しきい値より大であれば複写信号を 出すステップと、 前記複写信号を受信するステップと、 前記複写信号を受信した後、前記メモリ・ページを複写しておくべきかどうか を、システム負荷量、前記アドレスされたメモリ・ページの移動ヒストリ、また はノード・バンド幅アンバランスを含む追加のしきい値の要因に基づいて決定す るステップと を具えたことを特徴とする方法。

Claims (1)

1. 【特許請求の範囲】 １．ローカル処理ノードに置かれた装置であって、該ローカル処理ノードはメイ ンメモリのローカル部分を具え、該ローカル処理ノードは１つまたは２つ以上の 追加処理ノードを具えたコンピュータ・システムに置かれており、各追加処理ノ ードはメインメモリのリモート部分を具え、前記装置は前記コンピュータ・シス テムにおけるメモリ・ページの移動を制御するものにおいて、前記装置は、 前記コンピュータ・システムの各領域のカウントを、メインメモリの前記ロー カル部分に置かれている各メモリ・ページごとにストアしておく記憶機構であっ て、各領域は前記コンピュータ・システムの１つまたは２つ以上の処理ノードを 収容している記憶機構と、 メモリ・アクセス要求によってアドレスされたメモリ・ページをメインメモリ の該ローカル部分からリクエスタ処理ノードへ移動しておくべきかどうかを決定 するページ移動コントローラであって、前記メモリ・アクセス要求は前記リクエ スタ処理ノードから出されたものであるページ移動コントローラとを具え、 該ページ移動コントローラは、 前記記憶機構にアクセスして、前記アドレスされたメモリ・ページと該リ クエスタ処理ノードに関連づけられた第１カウントと、該アドレスされたメモリ ・ページと前記ローカル処理ノードに関連づけられた第２カウントを取得する手 段と、 前記第１カウントをインクリメントするインクリメンタと、 前記インクリメントされた第１カウントを前記記憶機構にストアする手段 と、 前記第２カウントと該インクリメントされた第１カウントとの差が移動し きい値より大であるとき移動信号を発行する移動信号発行手段と を具えていることを特徴とする装置。 ２．請求項１に記載の装置において、前記移動信号発行手段は、 前記第２カウントを前記インクリメントされた第１カウントから減算して該第 ２カウントと該インクリメントされた第１カウントとの差を得るための減算器と 、 前記差が前記移動しきい値より大であるかどうかを判定するコンパレータと、 前記差が前記移動しきい値より大であれば前記移動信号を発行するコントロー ラとを具えていることを特徴とする装置。 ３．請求項２に記載の装置において、前記ページ移動コントローラは、 前記コンピュータ・システムの各領域ごとに移動しきい値を格納しておく移動 しきい値レジスタと、 前記リクエスタ処理ノードが置かれている該コンピュータ・システムの領域に 関連づけられた移動しきい値を前記移動しきい値レジスタから取り出す手段と、 前記取り出した移動しきい値を前記コンパレータヘ渡す手段と をさらに具えていることを特徴とする装置。 ４．請求項１に記載の装置において、前記コンピュータ・システムは、前記移動 信号を受けたときにそれに応答して、前記アドレスされたメモリ・ページを前記 ローカル処理ノードから前記リクエスタ処理ノードへ移動する手段を含んでいる ことを特徴とする装置。 ５．請求項２に記載の装置において、前記コントローラは、前記差が前記移動し きい値より大であるとき前記アドレスされたメモリ・ページを前記ローカル処理 ノードから前記リクエスタ処理ノードへ移動させることを特徴とする装置。 ６．請求項１に記載の装置において、前記第１カウントは、前記リクエスタ処理 ノードが置かれている領域内のプロセッサによるキャッシュ・ミスを埋め合わす 目的で、前記アドレスされたメモリ・ページが何回アクセスされたかを示し、前 記第２カウントは、前記ローカル処理ノードが置かれている領域内のプロセッサ によるキャッシュ・ミスを埋め合わす目的で、該アドレスされたメモリ・ページ が何回アクセスされたかを示していることを特徴とする装置。 ７．ローカル処理ノードに置かれたページ移動コントローラであって、該ローカ ル処理ノードはメインメモリのローカル部分を具え、該ローカル処理ノードは１ つまたは２つ以上の追加処理ノードを具え、コンピュータ・システムに置かれて おり、各追加処理ノードはメインメモリのリモート部分を具え、前記ローカル処 理ノードは前記コンピュータ・システムの各領域のカウントを、メインメモリの 前記ローカル部分に置かれている各メモリ・ページごとにストアしておく記憶機 構も具えており、各領域は前記コンピュータ・システムの１つまたは２つ以上の 処理ノードを収容しており、前記ページ移動コントローラはメモリ・アクセス要 求によってアドレスされたメモリ・ページをメインメモリの前記ローカル部分か らリクエスタ処理ノードへ移動しておくべきかどうかを決定し、前記メモリ・ア クセス要求は前記リクエスタ処理ノードから出されたものであって、前記ページ 移動コントローラは、 前記記憶機構にアクセスして、前記アドレスされたメモリ・ページと該リクエ スタ処理ノードに関連づけられた第１カウントと、該アドレスされたメモリ・ペ ージと前記ローカル処理ノードに関連づけられた第２カウントを取得する手段と 、 前記第１カウントをインクリメントするインクリメンタと、 前記インクリメントされた第１カウントを該記憶機構にストアする手段と、 前記第２カウントと該インクリメントされた第１カウントとの差が移動しきい 値より大であるとき移動信号を発行する移動信号発行手段と を具えていることを特徴とするページ移動コントローラ。 ８．請求項７に記載のページ移動コントローラにおいて、前記移動信号発行手段 は、 前記第２カウントを前記インクリメントされた第１カウントから減算して該第 ２カウントと該インクリメントされた第１カウントとの差を得るための減算器 と、 前記差が前記移動しきい値より大であるかどうかを判定するコンパレータと、 前記差が前記移動しきい値より大であれば前記移動信号を発行するコントロー ラとを具えていることを特徴とするページ移動コントローラ。 ９．請求項８に記載のページ移動コントローラにおいて、前記ページ移動コント ローラは、 前記コンピュータ・システムの各領域ごとに移動しきい値を格納しておく移動 しきい値レジスタと、 前記リクエスタ処理ノードが置かれている該コンピュータ・システムの領域に 関連づけられた移動しきい値を前記移動しきい値レジスタから取り出す手段と、 前記取り出した移動しきい値を前記コンパレータへ渡す手段と をさらに具えていることを特徴とするページ移動コントローラ。 １０．請求項７に記載のページ移動コントローラにおいて、前記コンピュータ・ システムは、前記移動信号を受けたときにそれに応答して、前記アドレスされた メモリ・ページを前記ローカル処理ノードから前記リクエスタ処理ノードへ移動 する手段を含んでいることを特徴とするページ移動コントローラ。 １１．請求項８に記載のページ移動コントローラにおいて、前記コントローラは 、前記差が前記移動しきい値より大であるとき前記アドレスされたメモリ・ペー ジを前記ローカル処理ノードから前記リクエスタ処理ノードへ移動させることを 特徴とするページ移動コントローラ。 １２．請求項７に記載のページ移動コントローラにおいて、前記第１カウントは 、前記リクエスタ処理ノードが置かれている領域内のプロセッサによるキャッシ ュ・ミスを埋め合わす目的で、前記アドレスされたメモリ・ページが何回アク セスされたかを示し、前記第２カウントは、前記ローカル処理ノードが置かれて いる領域内のプロセッサによるキャッシュ・ミスを埋め合わす目的で、該アドレ スされたメモリ・ページが何回アクセスされたかを示していることを特徴とする ページ移動コントローラ。 １３．複数の処理ノードを具えたメモリ・コンピュータ・システムであって、各 処理ノードは、 複数のメモリ・ページを有するメインメモリのローカル部分と、 前記コンピュータ・システムの各領域のカウントを、メインメモリの前記ロー カル部分に置かれている各メモリ・ページごとにストアしておく記憶機構であっ て、各領域は前記コンピュータ・システムの１つまたは２つ以上の処理ノードを 収容している記憶機構と、 メモリ・アクセス要求によってアドレスされたメモリ・ページをメインメモリ の該ローカル部分からリクエスタ処理ノードへ移動しておくべきかどうかを決定 するページ移動コントローラであって、前記メモリ・アクセス要求は前記リクエ スタ処理ノードから出されたものであるページ移動コントローラとを具え、 該ページ移動コントローラは、 前記記憶機構にアクセスして、前記アドレスされたメモリ・ページと該リ クエスタ処理ノードに関連づけられた第１カウントと、該アドレスされたメモリ ・ページと前記ローカル処理ノードに関連づけられた第２カウントを取得する手 段と、 前記第１カウントをインクリメントするインクリメンタと、 前記インクリメントされた第１カウントを前記記憶機構にストアする手段 と、 前記第２カウントと該インクリメントされた第１カウントとの差が移動し きい値より大であるとき移動信号を発行する移動信号発行手段と を具えていることを特徴とするメモリ・コンピュータ・システム。 １４．請求項１３に記載のメモリ・コンピュータ・システムにおいて、前記移動 信号発行手段は、 前記第２カウントを前記インクリメントされた第１カウントから減算して該第 ２カウントと該インクリメントされた第１カウントとの差を得るための減算器と 、 前記差が前記移動しきい値より大であるかどうかを判定するコンパレータと、 前記差が前記移動しきい値より大であれば前記移動信号を発行するコントロー ラとを具えていることを特徴とするメモリ・コンピュータ・システム。 １５．請求項１４に記載のメモリ・コンピュータ・システムにおいて、前記ペー ジ移動コントローラは、 前記コンピュータ・システムの各領域ごとに移動しきい値を格納しておく移動 しきい値レジスタと、 前記リクエスタ処理ノードが置かれている該コンピュータ・システムの領域に 関連づけられた移動しきい値を前記移動しきい値レジスタから取り出す手段と、 前記取り出した移動しきい値を前記コンパレータヘ渡す手段と をさらに具えていることを特徴とするメモリ・コンピュータ・システム。 １６．請求項１３に記載のメモリ・コンピュータ・システムにおいて、前記コン ピュータ・システムは、前記移動信号を受けたときにそれに応答して、前記アド レスされたメモリ・ページを前記ローカル処理ノードから前記リクエスタ処理ノ ードへ移動する手段を含んでいることを特徴とするメモリ・コンピュータ・シス テム。 １７．請求項１４に記載のメモリ・コンピュータ・システムにおいて、前記コン トローラは、前記差が前記移動しきい値より大であるとき前記アドレスされたメ モリ・ページを前記ローカル処理ノードから前記リクエスタ処理ノードへ移動さ せることを特徴とするメモリ・コンピュータ・システム。 １８．請求項１３に記載のメモリ・コンピュータ・システムにおいて、前記第１ カウントは、前記リクエスタ処理ノードが置かれている領域内のプロセッサによ るキャッシュ・ミスを埋め合わす目的で、前記アドレスされたメモリ・ページが 何回アクセスされたかを示し、前記第２カウントは、前記ローカル処理ノードが 置かれている領域内のプロセッサによるキャッシュ・ミスを埋め合わす目的で、 該アドレスされたメモリ・ページが何回アクセスされたかを示していることを特 徴とするメモリ・コンピュータ・システム。 １９．メモリ・アクセス要求によってアドレスされたメモリ・ページを、該メモ リ・ページがストアされているローカル処理ノードから前記メモリ・アクセス要 求が出されたリクエスタ処理ノードへ移動しておくべきかどうかを決定するペー ジ移動コントローラであって、 前記アドレスされたメモリ・ページと該リクエスタ処理ノードに関連づけられ た第１カウントと、該アドレスされたメモリ・ページと前記ローカル処理ノード に関連づけられた第２カウントを取得する手段と、 前記第１カウントをインクリメントするインクリメンタと、 前記第２カウントと該インクリメントされた第１カウントとの差が移動しきい 値より大であるとき移動信号を発行する移動信号発行手段と を具えていることを特徴とするページ移動コントローラ。 ２０．請求項１９に記載のページ移動コントローラにおいて、前記移動信号発行 手段は、 前記第２カウントを前記インクリメントされた第１カウントから減算して該第 ２カウントと該インクリメントされた第１カウントとの差を得るための減算器と 、 前記差が前記移動しきい値より大であるかどうかを判定するコンパレータと、 前記差が前記移動しきい値より大であれば前記移動信号を発行するコントロー ラとを具えていることを特徴とするページ移動コントローラ。 ２１．請求項２０に記載のページ移動コントローラにおいて、前記コントローラ は、前記差が前記移動しきい値より大であるとき前記アドレスされたメモリ・ペ ージを前記ローカル処理ノードから前記リクエスタ処理ノードへ移動させること を特徴とするページ移動コントローラ。 ２２．請求項１９に記載のページ移動コントローラにおいて、前記第１カウント は、前記リクエスタ処理ノードが置かれている領域内のプロセッサによるキャッ シュ・ミスを埋め合わす目的で、前記アドレスされたメモリ・ページが何回アク セスされたかを示し、前記第２カウントは、前記ローカル処理ノードが置かれて いる領域内のプロセッサによるキャッシュ・ミスを埋め合わす目的で、該アドレ スされたメモリ・ページが何回アクセスされたかを示していることを特徴とする ページ移動コントローラ。 ２３．メモリ・アクセス要求によってアドレスされたメモリ・ページを、該メモ リ・ページがストアされているローカル処理ノードから前記メモリ・アクセス要 求が出されたリクエスタ処理ノードを移動しておくべきかどうかを決定する方法 であって、 前記アドレスされたメモリ・ページと前記リクエスタ処理ノードに関連づけら れた第１カウントと、該アドレスされたメモリ・ページと前記ローカル処理ノー ドに関連づけられた第２カウントとを取得するステップと、 前記第１カウントをインクリメントするステップと、 前記第２カウントと前記インクリメントされた第１カウントとの差が移動しき い値より大であれば、移動信号を出すステップと を具えたことを特徴とする方法。 ２４．請求項２３に記載の方法において、 前記移動信号を受けたときにそれに応答して、前記アドレスされたメモリ・ペ ージを前記ローカル処理ノードから前記リクエスタ処理ノードへ移動させるステ ップをさらに具えたことを特徴とする方法。 ２５．請求項２３に記載の方法において、 前記差が前記移動しきい値より大であれば、前記アドレスされたメモリ・ペー ジを前記ローカル処理ノードから前記リクエスタ処理ノードへ移動させるステッ プをさらに具えたことを特徴とする方法。 ２６．請求項２３に記載の方法において、前記第１カウントは、前記リクエスタ 処理ノードが置かれている領域内のプロセッサによるキャッシュ・ミスを埋め合 わす目的で、前記アドレスされたメモリ・ページが何回アクセスされたかを示し 、前記第２カウントは、前記ローカル処理ノードが置かれている領域内のプロセ ッサによるキャッシュ・ミスを埋め合わす目的で、該アドレスされたメモリ・ペ ージが何回アクセスされたかを示していることを特徴とする方法。 ２７．ローカル処理ノードにストアされていて、メモリ・アクセス要求によって アドレスされたメモリ・ページを、前記メモリ・アクセス要求が出されたリクエ スタ処理ノードに複写しておくべきかどうかを決定する方法であって、 前記アドレスされたメモリ・ページと前記リクエスタ処理ノードに関連づけら れたカウントを取得するステップと、 前記カウントをインクリメントするステップと、 前記インクリメントされたカウントが複写しきい値より大であれば複写信号を 出すステップと を具えたことを特徴とする方法。 ２８．請求項１に記載の装置において、前記インクリメンタは前記第１カウント を統計的にインクリメントすることを特徴とする装置。