JPH09506728A - 大規模平行処理システムのためのアドレス - Google Patents

Abstract

(57)【要約】 分散型メモリ大規模平行処理（ＭＰＰ）システムのためのアドレス翻訳手段は、プログラムの制御下でＰＥの区分に関し処理要素（ＰＥ）とメモリの仮想アドレスを定義する手段と、ＭＰＰ内においてＰＥの３次元相互接続ネットワーク内のＰＥとメモリについて論理アドレスと、コンピュータキャビネット内のＰＥモジュールの同定と位置に対応したＰＥとメモリの物理アドレスとを定義する手段を含む。論理ＭＰＰにマップされるか、マップから外させる物理ＰＥが予備として必要なので、論理アドレスは更新される。仮想アドレスモードにおいて区分内のＰＥによって生成されるアドレスは論理アドレスに、そしてネットワーク上のルーティングのため物理アドレスに変換される。

Description

【発明の詳細な説明】 大規模平行処理システムのためのアドレス 発明の分野 本発明は、一般的には、大規模平行処理システムのためのアドレス指定技術に 関し、より詳細には、メモリ分散大規模平行処理システムにおける仮想アドレス から論理アドレス、物理アドレスへのアドレス変換技術に関する。 発明の背景 大規模平行処理システムは、高速接続ネットワークで連係された数百もしくは 数千の処理要素（ＰＥ ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）を含んでいる 。メモリ分散処理システムは、その一つで各プロセッサは、ローカルなメモリバ ンクの群に対して好ましい短い待ち時間の広い帯域幅のパスを有するとともに、 接続ネットワークを介して接続された他のプロセッサ（遠隔又は大規模メモリ） に付属するメモリバンクに対して長い待ち時間のより狭い帯域帯のアクセスを有 する。共用メモリシステムでは、全てのメモリは、プロセッサ自身のローカルメ モリに存在するデータへのローカルなアクセスを介してであれ、いま一つのプロ セッサにとってローカルであるメモリ内に存在するデータへの遠隔アクセスを介 してであれ、システム内のいかなるプロセッサによっても直接にアドレス指定が 可能である。 ローカル及び遠隔アドレス指定を処理することに加えて、かかるシステムは、 仮想のプロセッサアドレスから論理プロセッサアドレス、さらに好ましくは物理 プロセッサアドレスへのアドレス指定を処理することができなければならない。 より小規模な多プロセッサシステムで使用されている仮想から論理アドレスへの 変換は、大規模平行処理システムに応用した場合、パフォーマンスと柔軟性の可 能性についての利点を存分に享受するには適当でなく、あるいは失敗するかもし れない。プロセッサの数の多さ、プロセッサのサイズ、設置場所や区分の形態に おける多様性は、大規模平行システムにおけるアドレス指定に種々の問題をもた らす。また、処理要素間の３次元相互接続ネットワークの使用および故障したも のと置き換えるための余分の処理要素を用意しておく必要性は、アドレス指定シ ステムの設計をさらに複雑なものにしている。 発明の要旨 上に述べた制約および本明細書を読みかつ理解することによって明らかになる であろう制約を克服するために、本発明は、大規模平行共用分散メモリシステム において、仮想ＰＥアドレスから論理ＰＥアドレスへの、物理ＰＥアドレスへの アドレス変換を与える改良されたアドレス指定システムを提供する。この発明の システムは、３次元相互接続ネットワークおよびパーティションを扱うことがで き、さらに、故障したＰＥをマッピングし、かつ予備のＰＥで置き換えることを 可能にするため、論理アドレスから物理アドレスへの変換を扱うことができる。 図面の簡単な説明 本発明の前述のおよび他の目的、特徴および利点並びに本発明の現在の好まし い実施例は、以下の詳細な説明および添付の図面を読みかつ理解することによっ て明らかになるであろう。 添付の図面中、第１図は、本発明の好ましい実施例に従って、一対のＰＥ、ロ ーカルメモリおよびアドレス変換要素を有する、相互接続ネットワークへの接続 のためのＭＰＰシステムのノードのブロックダイヤグラムを示す； 第２図は、３次元に相互接続されたＭＰＰシステムにおけるノードの論理的関 係および番号付けを示すダイヤグラムである； 第３図はＭＰＰシステムにおける３個の８ノード区分形態を示すダイヤグラム である； 第４図は２次元配列のための仮想ノード番号を示すダイヤグラムである； 第５図は仮想および論理ノード番号を示すダイヤグラムである； 第６図はメモリ仮想アドレス空間を示すダイヤグラムである； 第７図は仮想から部分物理アドレスへの変換を示すダイヤグラムである； 第８図は付属ＤＴＢの機能を示すダイヤグラムである； 第９図は部分物理アドレス空間を示すダイヤグラムである； 第１０図は仮想ＰＥアドレス変換を示すダイヤグラムである； 第１１図は論理ＰＥアドレス変換を示すダイヤグラムである； 第１２図はネットワークインターフェース接続を示すダイヤグラムである； 第１３図は３個の８ノード区分形態および仮想ノード番号を示すダイヤグラム である； 第１４図は仮想ノード番号の１０ビット仮想ノード番号への再編成を示すダイ ヤグラムである； 第１５図はベースノードアドレス付加を示すダイヤグラムである； 第１６図は形状（コンフィグレーション）マスクを示すダイヤグラムである； 第１７図は２次元４ノード区分および仮想ノード番号を示すダイヤグラムであ る； 第１８図は論理ノード番号のルーティングタグへの変換を示すダイヤグラムで ある； 第１９図はパケット形式を示すダイヤグラムである； 第２０図はデータフィット（ｄａｔａ ｐｈｉｔ）を示すダイヤグラムである ； 第２１図はノードデートライン交差を示すダイヤグラムである；および 第２２図はＩ／Ｏゲートウェイと予備ＰＥノード位置を示すダイヤグラムであ る。 好ましい実施例の詳細な説明 以下の好ましい実施例の詳細な説明において、本発明が実施される特定の実施 例が図示されており、以下の説明の一部を形成する添付の図面が参照される。 また、この明細書の一部を形成し、好ましい実施例の以下の説明において引用 される表を含む添付の付録Ａも参照される。他の実施例も実施可能であり、本発 明の範囲を逸脱することなしに構造的な変更をなしうることに注目すべきである 。 本発明がアドレス変換を提供する好ましいＭＰＰシステムは、物理的には分散 し、全体としてアドレス指定可能なメモリを備えたＭＩＭＤ大規模平行多重プロ セッサである。個々のＭＰＰシステムは数百又は数千のプロセッサを含んでおり 、各プロセッサはローカルメモリと関連する支援回路が備えられている。各プロ セッ サ、ローカルメモリおよび支援回路構成は処理要素（ＰＥ）と呼ばれる。この好 ましい実施例では、ノード当たり２つのＰＥがあり、全てのノードは相互接続ネ ットワークを介して連結されている。本発明は、１ノード当たり２ＰＥより多い あるいは少ない設計にも適用できる。 第１図において、ＭＰＰシステムの単一ノードは、引用番号１と１１で示され る一対のＰＥを有する。ＰＥ１はデータパスを介して付属ＤＴＢ２に接続される 。付属ＤＴＢは比較要素３に接続され、該要素は識別データＷＨＯＡＭＩを受信 する。比較要素３は、引用番号５で示されるローカルＤＲＡＭメモリに向かうロ ーカル参照データパス４に接続されるとともに遠隔参照データパス６に接続され ている。これらの要素の機能と動作はこの明細書において以下に説明する。 ＰＥ１１は付属ＤＴＢ１２に接続され、該ＤＴＢは比較要素１３に接続され、 該要素はそれ自身の識別データＷＨＯＡＭＩを受け取る。比較要素１３は引用番 号１５で示されるローカルＤＲＡＭメモリに向かうローカル参照データパス１４ に接続されるとともに、遠隔参照データパス１６に接続される。 遠隔参照データパス６と１６は、要求キュー７と１７に夫々接続され、要求キ ューの出力はデータパス２１と２２を介して、仮想−物理コンバータ３０に夫々 接続される。該コンバータの出力はパス３１を介してルックアップテーブル３２ に接続される。ルックアップテーブル３２の出力はパケット生成要素３４に接続 される。この要素は一方ＭＰＰシステムの相互接続ネットワーク５０に接続され る。実際には、第１図に示されるようなノードの多数がすべてネットワーク５０ に接続される。 好ましいＭＰＰシステムは、物理的に分散されたメモリを有し、各プロセッサ １，１１はローカルメモリ５，１５に対して、好ましい短い待ち時間の高帯域幅 のパスを有するとともに、相互接続ネットワーク５０で接続された他のプロセッ サのメモリバンクに対して長めの待ち時間の低帯域帯のアクセスを有する。好ま しい実施例において、相互接続ネットワークは、接続されるとＰＥの３次元マト リックスを形成する３次元のトーラス（ｔｏｒｕｓ）からなる。ネットワークの 一部が第２図に示されており、図において、ドットはノードを表わし、ドット間 のラインはｘ，ｙ，ｚのプラス方向、マイナス方向の相互接続ラインを表わす。 トーラス設計は、情報転送の速度や不良な通信リンクを回避する能力を含むいく つかの利点がある。相互接続ネットワークは３次元全てにおいて基準化可能であ る。 この種の相互接続ネットワークは、１９９２年１１月３０日に出願され、現在 係属中で本件と共通に譲渡された、“多重処理システムにおける方向順位ルーテ ィング”と題するグレゴリイ・エム・ソーセン（Ｇｒｅｇｏｒｙ Ｍ． Ｔｈｏ ｒｓｅｎ）のアメリカ合衆国特許出願番号０７／９８３，９７９と１９９３年１ ２月１０日に出願され、現在係属中で本件と共通に譲渡された、“ＭＰＰコンピ ュータのための多次元相互接続およびルーティングネットワーク”と題するマー ク・エス・バーリッテラ等のアメリカ合衆国特許出願とにより詳細に開示されて いる。なお、これら２つのアメリカ合衆国特許出願は、本件明細書において引用 文献として援用される。 アドレス指定 本発明が適用される好ましいＭＰＰシステムは、物理的に分散され、論理的に 共用されるメモリを有するので、あるＰＥのマイクロプロセッサによって生成さ れたアドレスは物理メモリを直接引用するために使用することができない。 この節では、ＭＰＰシステムにおいてシステムデータとレジスタを引用するた めに使用される要素とプロセスを記述する。 機能記述 ＭＰＰシステム内のＰＥは、仮想ＰＥ番号、論理ＰＥ番号、および物理ＰＥ番 号を用いて特定される。ＭＰＰシステムは、仮想ＰＥをあるユーザ区分内の１つ のＰＥと解釈する。論理ＰＥは本システム内に配位されたＰＥである（このこと は禁止予備ノード、Ｉ／Ｏノードおよび故障ノードを排除する）。物理ＰＥはシ ステム内のいずれかのＰＥである。 ＭＰＰシステム内において使用されるアドレスは、仮想、論理および物理とし て区別される。いずれの形式のアドレスもＭＰＰシステムがローカルメモリ、参 照メモリマップレジスタおよびネットワークを通るルートパケットをアドレス指 定するために使用する情報を含んでいる。 ＰＥ番号付け 前後関係に依存して、ＰＥは３つのタイプの番号の１つ、物理ＰＥ番号、論理 ＰＥ番号、又は仮想ＰＥ番号によって同定される。これら３つのタイプの番号の 全てはＰＥビットとノード番号即ちノード座標を含んだフィールドとからなる。 物理ＰＥ番号 ＭＰＰシステム内の各ＰＥは当該ＰＥがシステム内において物理的にどこに位 置しているかを示す固有の番号を割り当てられる。この番号は物理ＰＥ番号であ る。 各ＰＥ内の支援回路は、物理ＰＥレジスタと呼ばれるレジスタを含む。回路基 板がシステムキャビネット内に配置されると、ハードウェアは当該ＰＥがキャビ ネット内のどこに位置しているかを示すために物理ＰＥレジスタのビットを設定 する。 物理ＰＥ番号は物理ノード番号とＰＥビットの２つの部分を含む。物理ノード 番号は当該ＰＥが位置している物理ノード（ＰＥノード、空きＰＥノード、入力 ノード又は出力ノード）を示す。ＰＥビットは、ノード内においてＰＥ０又はＰ Ｅ１を示す。表１は簡略物理ＰＥ番号を示している。詳しいビットフォーマット および物理ＰＥ番号の使用に関するより多くの情報は、以下の“レジスタマッピ ング”において与えられる。 ローカルＰＥ番号 ＭＰＰシステム内の物理ＰＥはその全部ではないが、ＭＰＰシステムの論理構 成の一部である。例えば、５１２−ＰＥ ＭＰＰシステムは５２０個の物理ＰＥ を含む（Ｉ／ＯゲートウェイのＰＥを含まずに）。５２０個の物理ＰＥのうち、 ５１２個のＰＥは論理システムにおいて使用され、８個のＰＥ（４個の予備ＰＥ ノード内の）予備ＰＥとして用いられる。 論理システムにおいて用いられる各物理ＰＥは固有の論理ＰＥ番号を割り当て られる。論理ＰＥ番号はノードの論理システム内のＰＥの位置を特定する。 論理ＰＥ番号は、論理ノード番号とＰＥビットという２つの部分を含む。論理 ノード番号は当該ＰＥがどの論理ノード（処理要素ノード、入力ノード、又は出 力ノード）に存在するかを示す。ＰＥビットは当該ＰＥがＰＥ０かＰＥ１のいず れであるかを示す。表２は論理ＰＥ番号の簡略フォーマットを示す。論理ＰＥ番 号の正確なビットフォーマットに関するより多くの情報は、以下の“レジスタマ ッピング”において与えられる。 論理ノードはノードの３次元マトリックスを形成する。例えば、第２図は１２ ８−ＰＥ ＭＰＰシステム用の論理ＰＥノードを示す。システムは６９個の物理 ノードを実際には含んでいるが、６４個のノードのみが論理システムにおいて使 用される。残りの４個の予備物理ノードは物理的に相互接続ネットワークに接続 されているが、論理ノード番号は与えられていない。 この形式の構成は、故障ノードを論理的に置き換える予備ノードを可能にする 。これが発生すると、予備ノードは論理番号を獲得する一方、故障ノードは新し い論理ノード番号を受け取ることはない。 例えば、論理ノードＺ＝０，Ｙ＝２，Ｘ＝３が正しく動作することに失敗する と、この番号が付与された物理ノードは論理システムから除去される。予備ノー ドには論理ノード番号Ｚ＝０，Ｙ＝２，Ｘ＝３が割り当てられ、故障ノードはあ る論理ノード番号を受け取ることはない。 仮想ＰＥ番号 あるＭＰＰアプリケーションが始まると、ホストシステム上で実行中の支援ソ フトウェアが当該アプリケーションに必要な資源を決定し、アプリケーションを 実行に移すべき区分（ｐａｒｔｉｔｉｏｎ）を作り出す。区分は、ＰＥの群と一 つのアプリケーションに割り当てられたバリア同期資源（ｂａｒｒｉｅｒ ｓｙ ｎｃｈｒｏｎｉｚａｔｉｏｎ ｒｅｓｏｕｒｃｅｓ）の一部分である。アプリケ ーションは、区分内においてＰＥを特定するため仮想ＰＥ番号を使用する。 区分には、オペレーティングシステム区分とハードウェア区分という２つの区 分がある。オペレーティングシステム区分においては、アプリケーションがＰＥ 間でデータを転送するときに、オペレーティングシステムがその転送に関与しな ければならない（同一のＰＥに対し多重の指定がなされた場合、オペレーティン グシステムは、遠隔ＰＥに対する第１の転送に関与する。同一のＰＥに対する後 続の転送はオペレーティングシステムを巻き込まない）。オペレーティングシス テムは、アプリケーションによって使用される仮想ＰＥ番号を論理ＰＥ番号に変 換する。 アプリケーションがＰＥ間でデータを転送するときに、ハードウェア区分では 、オペレーティングシステムは転送に関与しない。各ＰＥノード内のハードウェ アはアプリケーションによって使用される仮想ＰＥ番号を論理ＰＥ番号に変換す る。 仮想ＰＥ番号は、仮想ノード番号とＰＥビットという２つの部分を含む。仮想 ノード番号は、１から１０ビットの範囲であり、ハードウェア区分において当該 ＰＥがどの処理要素ノードに存在するかを示す。ＰＥビットは当該ノードにおい てＰＥがＰＥ０かＰＥ１かを示す（表３参照）。 仮想ノード番号は０から３個のビットがＸ次元に割り当てられ、０から４個の ビットがＹ次元に割り当てられ、０から３個のビットがＺ次元に割り当てられる 。仮想ノード番号のビットを適当な次元に割り当てることにより、ソフトウェア は仮想ノードを数個の形態の一つに配置する。例えば、３ビットの仮想ノード番 号は、ハードウェア区分において８個のノードが存在することを示す。これらの ノードは１０形態の一つに配置される。 表４は、３ビット仮想ノード番号について可能なノード形態を列記している。 各形態について各次元におけるノードの数は２のべき乗（１，２，４，８，１６ 等）に限られる。 第３図は１２８−ＰＥ ＭＰＰシステムにおける８個のノード区分形態のうち の３つを示している。 仮想ＰＥ番号の例として、第４図は１６個のＰＥを含む２次元８ノード区分を 示している。区分の各ノードは、第３図に示す３ビット仮想ノード番号によって 指定される。 ８個のノードの２次元配列は論理システムにおける多くの８ノード２次元配列 の一つに実際に対応している。例えば、第５図は１２８−ＰＥ ＭＰＰシステム 内のノードの論理システム内にこの２次元配列がどのように配置されるかを示す ２つの例を示している。 仮想ノード番号は同じ論理番号とは必ずしも対応していない。例えば、第５図 は第４図の仮想ノードＹ＝１，Ｘ＝２が論理ノード番号Ｚ＝１，Ｙ＝２，Ｘ＝２ 又は論理ノード番号Ｚ＝１，Ｙ＝３，Ｘ＝６のいずれかに対応する状態を示して いる。 マイクロプロセッサ・アドレス解釈 各ＰＥ内で実行中のアプリケーションプログラムは各マイクロプロセッサ内の ハードウェアが部分物理アドレスに変換する仮想アドレスを生成する。 以下の分節は、仮想アドレスと部分物理アドレスの両方を記述する。 仮想アドレス 仮想アドレスは、プログラムコンパイラによって生成されるバイト本位アドレ スである。仮想アドレスは、セグメント、仮想インデックスおよび仮想アドレス オフセットの３つの部分を含む。表５は仮想アドレスのビットフォーマットを示 す。長さは６４ビットであるが、アドレスの４１ビットのみが実際に使用される 。 マイクロプロセッサ・オペレーティングシステム・ソフトウェアは、マイクロ プロセッサ・ハードウェアが、仮想アドレスを部分物理アドレス中にマップする 仕方を規定する。ソフトウェアで定義されたとして、このプロセスの故に、仮想 アドレスのフォーマットは変更可能であるが、表５に示したフォーマットはマイ クロプロセッサが仮想アドレスを解釈する方法の一例として含まれている。 セグメント セグメントは仮想アドレス空間を１６個のセグメントにまで分割する４ビット の数である。各セグメントはメモリの固有の形式を特定する。例えば、セグメン ト番号が４に設定されると、情報はＰＥの支援回路もしくはＰＥノードの他の構 成要素内のメモリマップレジスタに書込み、或いはそれから読み出すことができ る（第６図参照）。 いくつかのセグメントは私用に指定され、いくつかのセグメントは共用として 指定される。私用のセグメントはＰＥのローカルメモリに格納された情報を参照 し、かつＰＥ内のマイクロプロセッサによってのみ使用される。ＰＥ内のマイク ロプロセッサのみが私用として指定されたセグメントに書込み、或いはそれから 読み出すことができる。 共用のセグメントはシステム内のいずれのＰＥ内に格納された情報を参照する ことができ、区分内のいずれのマイクロプロセッサによっても使用される。共用 のセグメントは区分内の全てのＰＥ内においてローカルメモリと同じ領域に位置 する。 仮想インデックス 仮想インデックスは付属ＤＴＢにおける１つのエントリを指定する５ビットの 数である。付属ＤＴＢはマイクロプロセッサに対して外部となる３２エントリテ ーブルであり（第１図の参照番号２，１２のＰＥの支援回路における）、該テー ブルはシステムメモリの全てを包含するように、マイクロプロセッサのアドレス 指定範囲を拡張するために使用される情報を含んでいる。付属ＤＴＢにおける各 エントリはＰＥ番号とメモリ機能コード（ＦＣ）との２つの部分を含んでいる。 表６は付属ＤＴＢエントリのフォーマットを示している。 ＰＥ番号はノード番号とＰＥビットを含んでいる。ノード番号は仮想ノード番 号又は論理ノード番号である。ＰＥビットはメモリ機能が生じるＰＥを指示する 。 機能コードはＰＥが実行するメモリ参照機能を示す３ビットの数である。表７ は機能コードと対応するメモリ機能を列記する。 付属ＤＴＢにおける各エントリはＰＥが実行するメモリ参照機能を記述する。 付属ＤＴＢのエントリ０はオペレーティングシステムによる使用のために確保さ れており、常に論理ＰＥ番号を含んでいる。システムコントールレジスタの２ビ ットは残りの３１エントリが仮想又は論理ＰＥ番号を含んでいるかを決定する。 システムコントールレジスタ（ＳＣＲ）はあるＰＥの支援回路内に存在するメ モリマップレジスタである。１にセットされたときに、システムコントールレジ スタのビット０は付属ＤＴＢのエントリ０から１５をイネーブルとし、それによ ってユーザ又はオペレーティングシステムによりそこに書き込まれる（エントリ １から１５は仮想ＰＥ番号として解釈される）。０にセットされると、システム コントールレジスタの０ビットは付属ＤＴＢのエントリ０から１５への書込みを 不 能化する（エントリ０から１５はそのとき論理ＰＥ番号として解釈される）。 同様に、１にセットされたとき、システムコントールレジスタのビット１は付 属ＤＴＢの１６から３１のエントリをイネーブルとし、ユーザ又はオペレーティ ングシステムが書き込むことができる（エントリ１６から３１は仮想ＰＥ番号と して解釈される）。０にセットされると、システムコントールレジスタのビット １は付属ＤＴＢの１６から３１のエントリへの書込みを不能化する（１６から３ １のエントリは論理ＰＥ番号として解釈される）。 表８は付属ＤＴＢのあるサンプルについてのエントリを示している。この例に おいて、システムコントールレジスタのビット１は１に、ビット０は０にセット されている。エントリ０はオペレーティングシステムによる使用のために確保さ れている。 仮想アドレスオフセット 仮想アドレスオフセットは仮想アドレス空間のセグメント内のバイトを指定す るバイト向きのアドレスである。仮想アドレスの下位３２ビットはオフセットを 定義する。仮想アドレスオフセットは０から４ギガバイトまでの範囲にある。 部分物理アドレス アプリケーションプログラムから仮想アドレスを受け取った後、マイクロプロ セッサのハードウェアは仮想アドレスを部分物理アドレスに変換する。部分物理 アドレスはマイクロプロセッサがマイクロプロセッサのアドレスピン上に置かれ るアドレスである。 ＭＰＰシステムにおいてマイクロプロセッサのアドレスピンは物理メモリを直 接に指定するものではない。その代わり、ＰＥ内の支援回路が部分物理アドレス を解釈し、マイクロプロセッサとローカルメモリ、メモリマップレジスタ又は遠 隔ＰＥのメモリいずれかとの間でのデータのルートを指定する。 第７図はマイクロプロセッサが仮想アドレスを部分物理アドレスにマップする 方法を示している。 部分物理アドレスは付属ＤＴＢインデックス、アドレス空間区分（ＡＳＰ）及 びアドレスオフセットの３つの部分を含む。部分物理アドレスのビット３４から ６３はマイクロプロセッサの出力ピン上におかれることはなく使用されない。 付属ＤＴＢインデックス 付属ＤＴＢインデックスは物理付属ＤＴＢにおける３２個のエントリの１つを 指定する５ビットの数である（第８図参照）。 マイクロプロセッサから付属ＤＴＢインデックスを受け取った後、付属ＤＴＢ は適当な付属ＤＴＢエントリの内容をＰＥ支援回路に送る。支援回路は実行され るべきメモリ機能のタイプとメモリ機能を実行する部分を決定するために付属Ｄ ＴＢの情報を解釈する。 システムコントールレジスタのビット１又はビット０を１にセットされると、 付属ＤＴＢの対応するエントリはユーザ又はオペレーティングシステムによって 書き込むことができる。この場合支援回路は付属ＤＴＢの仮想ＰＥ番号と機能コ ードのエントリを解釈する。 コントールレジスタのビット１またはビット０が０にセットされると、付属Ｄ ＴＢの対応するエントリには書き込まれることがない。この場合、支援回路は論 理ＰＥ番号及び機能コードとして付属ＤＴＢのエントリを解釈する。 支援回路は付属ＤＴＢのエントリ０を論理ＰＥ番号及びオペレーティングシス テムによって定義される機能コードとして解釈する。 アドレス空間区分ビット アドレス空間区分ビットは部分物理アドレスのビット０から２８のアドレス空 間を３つの領域に分割する（表９参照）。ビット２８は部分物理アドレス空間を ローカルメモリとメモリマップレジスタ空間とに分割する。ビット２７は更にロ ーカルメモリスペースをＳＥＣＤＥＤ保護付きのローカルメモリとＳＥＣＤＥＤ 保護なしのローカルメモリとに分割する。第９図はあるＰＥについて部分物理ア ドレス空間のマップを示す。 ＳＥＣＤＥＤ保護付きのローカルメモリについてのアドレススペースはメモリ の１２８メガバイト（１６メガワード）まで設けられる；しかしながら、アドレ ス空間の全てが使用されるわけではない。例えば、各ＰＥごとに２メガワード（ １６メガバイト）のローカルメモリサイズを備えたＭＰＰシステムでは、アドレ ス オフセットの２３個の重要でないビットのみが使用される。アドレス空間の１６ メガワードはシステムメモリの将来の拡張のために設けられている。 ＳＥＣＤＥＤ保護なしのローカルメモリについてのアドレス空間はメモリの１ ２８メガバイト（１６メガワード）まで設けることができるが、しかし、全ての アドレス空間が使用されるわけではない。ローカルメモリアドレス空間のこの部 分に格納された情報はメッセージのヘッダからのものである。 メモリマップレジスタのアドレス空間はメモリマップレジスタに格納され、ま たは、読み出される情報についてのアドレスを含む。メモリマップレジスタはＰ Ｅの支援回路又はＰＥノードの他の要素に存在するレジスタであるが、ローカル マイクロプロセッサによってそれらがローカルメモリ内に存在するかのように、 アドレス指定される。 例えば、マイクロプロセッサがブロック転送エンジンを制御するレジスタ内の 情報を格納すると、マイクロプロセッサはブロック転送エンジンレジスタに対し て指定するアドレスへの書込み操作を実行する。データ及びアドレス情報を受け 取った後、ＰＥ内の支援回路はローカルＤＲＡＭ内に情報を格納する代わりに、 データを適当なレジスタに仕向ける。 アドレスオフセットはＰＥのローカルメモリにおいてあるバイトを指定するバ イト向きアドレスであるが、ＰＥ内の支援回路は部分物理アドレスのアドレスオ フセット部分の最後の２ビットを使用することはない。 支援回路はアドレスオフセットの３から２６までのビットをＰＥのローカルメ モリにおいて６４ビットワードを指定するワード向きアドレスとして解釈する。 支援回路はアドレスオフセットの３から２６ビットのみを使用するので“アドレ スオフセット”なる用語はローカルメモリ内において、６４ビットワードを指定 する２４ビットアドレスオフセットとして参照される。 アドレスオフセットがシステム内のローカルメモリのサイズについて最大アド レスオフセットより大きい時は、アドレス範囲エラーが生じる。 ＰＥ支援回路アドレス解釈 マイクロプロセッサがあるメモリ機能が実行されるべきことを要求した時に、 マイクロプロセッサと付属ＤＴＢは支援回路にアドレス情報を与える。支援回路 はこの情報を仮想ＰＥのアドレス又は論理ＰＥのアドレスとして解釈する。 仮想ＰＥアドレス解釈 付属ＤＴＢのエントリが書き込まれる状態の時に、支援回路はアドレス情報を 仮想ＰＥアドレスとして解釈する。支援回路はマイクロプロセッサと付属ＤＴＢ からメモリ機能コード、仮想ＰＥ番号、ＡＳＰビット及びアドレスオフセットの 計４つの形式の情報を受け取る（第１０図参照）。 付属ＤＴＢから仮想ＰＥ番号を受け取った後、支援回路は仮想ＰＥ番号の値と 仮想ＰＥレジスタ（Ｖ ＷＨＯＡＭＩ）内に格納された値と比較する。Ｖ ＷＨ ＯＡＭＩレジスタはＰＥの仮想ＰＥ番号を含み、ＭＰＰシステムの区分が変更さ れた時にオペレーティングシステムによってロードされる。 付属ＤＴＢからの仮想ＰＥ番号がＶ ＷＨＯＡＭＩレジスタに格納されたＰＥ 番号に整合したときにマイクロプロセッサはローカルＰＥ内において、あるメモ リ機能が実行されることを要求する。どのメモリ機能が実行されるべきかを選択 する機能コードビットを解釈した後、支援回路はマイクロプロセッサとローカル メモリの間又はマイクロプロセッサとメモリマップレジスタとの間で情報を転送 する（場所はＡＳＰビットによって特定されている）。 付属ＤＴＢからの仮想ＰＥ番号がＶ ＷＨＯＡＭＩレジスタ内に格納されたＰ Ｅ番号と整合しない時には、マイクロプロセッサはメモリ機能が遠隔ＰＥ内にお いて実行されることを要求する。マイクロプロセッサがメモリファンクションが 遠隔ＰＥにおいて行われるべきことを要求した場合、支援回路はハードウェア区 分において最大の仮想ＰＥ番号より小さいことを確認するため仮想ＰＥ番号の値 をチェックする。 支援回路は付属ＤＴＢから受け取った仮想ＰＥ番号の値を当該ＰＥ番号を仮想 ＰＥ範囲マスクレジスタ（ＶＲＴ ＲＧ）に格納された仮想ＰＥ範囲マスクと比 較することによってチェックする。このレジスタはＭＰＰシステムの区分が変更 された時にオペレーティングシステムによってロードされる。ＶＲＴ ＲＧレジ スタのビット０は使用されない。ＶＲＴ ＲＧレジスタのビット１から１０はユ ーザ区分のサイズについて正当なビット１において０の連続したフィールドを含 み残りのビットは１にセットされる（表１０参照）。 仮想ＰＥ番号と仮想ＰＥ範囲マスクの同じビットが１にセットされると（論理 ＡＮＤ機能）、仮想ＰＥ範囲エラーが生じる。仮想ＰＥ番号の値をチェックした 後、ＰＥ内の支援回路はネットワークインターフェースにアドレスと制御のため の情報を送る。ネットワークインターフェースはこの情報をパケットを生成する ために使用する。 論理ＰＥアドレス解釈 付属ＤＴＢのエントリが書き込まれない時には、支援回路はアドレス情報を論 理ＰＥアドレスとして解釈する。支援回路はメモリ機能コード、論理ＰＥ番号、 ＡＳＰビット及びアドレスオフセットの計４種類の情報をマイクロプロセッサと 付属ＤＴＢから受け取る（第１１図参照）。 付属ＤＴＢから論理ＰＥ番号を受け取った後、支援回路は論理ＰＥ番号の値を 論理ＰＥレジスタ（Ｌ ＷＨＯＡＭＩ）に格納された値と比較する。Ｌ ＷＨＯ ＡＭＩレジスタはＰＥの論理ＰＥ番号を含みＭＰＰシステムが初期化された時に オペレーティングシステムによってロードされる。 付属ＤＴＢからの論理ＰＥ番号がＬ ＷＨＯＡＭＩレジスタに格納されたＰＥ 番号と一致すると、マイクロプロセッサはそのローカルＰＥ内においてメモリ機 能が実行されるべきことを要求する。どのメモリ機能が実行されるべきかを選択 する機能コードバイトを解釈した後支援回路は情報をマイクロプロセッサとロー カルメモリとの間又はマイクロプロセッサとメモリマップレジスタとの間におい て転送する（場所はＡＳＰビットによって特定されている）。 付属ＤＴＢからの論理ＰＥ番号がＬ ＷＨＯＡＭＩレジスタに格納されたＰＥ 番号に整合しないときにはマイクロプロセッサはメモリ機能が遠隔のＰＥ内にお いて実行されるべきことを要求する。このことが生じた場合ＰＥ内の支援回路は 論理ＰＥ番号に関する範囲チェックを行わない。支援回路はアドレスと制御情報 をパケット内において使用するためネットワークインターフェースに直接に送る 。 ネットワークインターフェースアドレス解釈 ネットワークインターフェースはアドレス情報とＰＥ０，ＰＥ１からのデータ 或は処理要素ノード内のブロック転送エンジンからのデータを受け取る（第１２ 図参照）。アドレス情報は仮想ＰＥアドレス情報或は論理ＰＥアドレス情報であ る。情報が仮想ＰＥアドレス情報である場合、ネットワークインターフェースは その情報を用いてパケットを生成する前に仮想ＰＥ情報を論理ＰＥ情報に変換し なければならない。 仮想ＰＥ番号の論理ＰＥ番号への変換 第５図に示されるように、仮想ＰＥ番号は異なる論理ＰＥ番号に対応する。こ の特性の故に、ネットワークインターフェースはメモリ機能が仕向けられている 論理ＰＥを決定するために仮想ＰＥ番号を直接に使用することはできない。ネッ トワークインターフェースは仮想ＰＥ番号を対応する論理ＰＥ番号に変換しなけ ればならない。 例えば、第１３図は１２８−ＰＥ ＭＰＰシステムにおける３個の８ノード区 分（区分Ａ，Ｂ，Ｃ）を示している。各区分において、仮想ＰＥ番号はその区分 内のあるＰＥを指定し、仮想ＰＥ番号は仮想ノード番号とＰＥビットを含んでい る。全ての３つの区分における仮想ノード番号は３ビットの数である。区分Ａに ついての仮想ノード番号の全ての３ビットはＸ次元に割り当てられる（第１３図 を再び参照）。区分Ｂにおいて、仮想ノード番号のビット０と１はＸ次元に割り 当てられ、ビット２はＹ次元に割り当てられる。区分Ｃにおいて、仮想ノード番 号の０ビットはＸ次元に割り当てられ、ビット１はＹ次元に割り当てられ、ビッ ト２はＺ次元に割り当てられる。 ネットワークインターフェースは仮想ＰＥ番号を論理ＰＥ番号に変換するため に、３段階プロセスを用いる。最初にネットワークインターフェースは仮想ノー ド番号（１対１ビット数である）を１０ビットの仮想ノード番号にリフォーマッ トする（第１４図参照）。 ネットワークインターフェースはリフォーマットされた仮想ノード番号の３個 の最下位ビットをＸマスクと比較する。Ｘマスクは仮想ノード番号の幾つのビッ トがＸ次元に割り当てられているかを示す連続した１の右詰めフィールドである 。 Ｘマスク内のビットが１にセットされると、仮想ノード番号の対応するビットは 有効である。Ｘマスク内のビットが０にセットされると仮想ノード内の対応する ビットはＸ次元に使用されない。 ネットワークインターフェースはリフォーマットされた仮想ノード番号をＹ次 元に割り当てられた第１ビットが０ビット位置にくるまで右方向に０から３ビッ トの範囲でシフトする。ネットワークインターフェースはシフトされた仮想ノー ド番号の４個の最下位ビットをＹマスクと比較する。Ｙマスクのあるビットが１ にセットされているとき、シフトされた仮想ノード番号の対応するビットは有効 である。Ｙマスク内のあるビットが０にセットされていると、シフトされた仮想 ノード番号の対応するビットはＹ次元に使用されない。 仮想インターフェースはＹ次元に割り当てられた第１のビットが０ビット位置 にくるまで、元のリフォーマットされた仮想ノード番号を０から７ビット右方向 にシフトする。ネットワークインターフェースはシフトされた仮想ノード番号の 最下位３ビットをＺマスクと比較する。Ｚマスク内のあるビットが１にセットさ れている場合にシフトされた仮想ノード番号の対応するビットは有効である。Ｚ マスク内のあるビットが０にセットされている場合、シフトされた仮想ノード番 号の対応ビットはＺ次元として使用されない。 仮想ノード番号を１０ビットの仮想ノード番号にリフォーマットした後、ネッ トワークインターフェースはベースノードアドレスを１０ビット仮想ノード番号 に加える（第１５図参照）。 ベースノードアドレスはある区分において、最小の仮想ＰＥノード番号の論理 ノード番号である。例えば、表１２は表１３に示した３個の区分についてベース ノードアドレスを列記している。表１２は各区分について、シフトおよびマスク の値をも表している。 ベースノードアドレスを１０ビット仮想ノード番号に加えた後、ネットワーク インターフェースはＸ，Ｙ，Ｚ次元番号の２つの最上位ビットをＸ，Ｙ，Ｚ次元 構成マスクと比較する（第１６図参照）。Ｘ，Ｙ，またはＺ次元構成マスクのあ るビットが０にセットされている場合、Ｘ，Ｙ又はＺ次元番号における対応ビッ トは有効である。Ｘ，ＹまたはＺ次元のあるビットが１にセットされている場合 Ｘ，Ｙ，またはＺ次元番号の対応ビットは０にセットされる。 構成マスクはあるシステム内における論理ノードの数より最後の論理ノード番 号が大きくなるのを防ぐ。例えば第１７図は１２８−ＰＥ ＭＰＰシステムにお ける２次元の４ノード区分を示している。ネットワークインターフェースが仮想 ノード番号１１（Ｙ＝１，Ｘ＝１）をある論理ノード番号に変換する時に、ネッ トワークインターフェースは最初に仮想ノード番号を１０ビット仮想ノード番号 にリフォーマットする。 仮想ノード番号を１０ビット仮想ノード番号にリフォーマットした後、ネット ワークインターフェースは仮想ノード番号にベースノードアドレスを加える（表 １１参照）。この例において、一時的な論理ノード番号のＹ次元部分は４である 。この値はＹ次元における最大ノード番号より大きい（再び第１７図参照）。 ネットワークインターフェースはその後一時的な論理ノード番号を最終の論理 ノード番号Ｚ＝１，Ｙ＝０，Ｘ＝７を得るために構成マスクと比較する（再び表 １１及び第１７図参照）。 ＭＰＰシステムの異なる構成についての構成マスクの値に関する詳しい情報は この節のレジスタマッピングの項を参照のこと。ベース，シフト，マスク及び構 成マスクの３次元全てについての値は、ネットワークインターフェースＰＥ、調 整レジスタ（ＬＰＥ ＸＬＡＴＥ）と呼ばれるレジスタ内に格納される。このレ ジスタはＭＰＰシフトの区分が変更される時にオペレーティングシステムによっ てロードされる。ＬＰＥ ＸＬＡＴＥレジスタ内のベース，シフト及びマスク番 号の値を変更することによってオペレーティングシステムは論理ＭＰＰシステム における区分を定義する。ＬＰＥ ＸＬＡＴＥレジスタに関するより多くの情報 はこの節のレジスタマッピングの項において与えられる。 論理ＰＥ番号のルーティングタグへの変換 ネットワークインターフェースは論理ＰＥ番号を２つの経路のうちの一方にお いて受け取る。即ち、処理要素ノード内のＰＥ又はＢＬＴから直接に或は仮想Ｐ Ｅ番号を論理ＰＥ番号に変更することによってである。先に述べたように、論理 ＰＥ番号はＭＰＰシステム内において同じ物理ＰＥに必ずしも対応するものでは ない。 論理ＰＥ番号は論理ノード番号とＰＥビットという２つの部分を含む論理ノー ド番号は必ずしも同一の物理ノードに対応することはないのでネットワークイン ターフェースは正しい物理ノードに情報を仕向けるための計算に論理ノード番号 を使用することはできない。 各ノードにおけるネットワークインターフェースは、ルーティングタグを作る ためにルックアップテーブルを用いる。ネットワークインターフェース内の回路 は論理ノード番号をルーティングタグ、ルックアップテーブルに入力する。ルー ティングタグ、ルックアップテーブルはその論理ノードに対応するルーティング タグを与える（第１８図参照）。 ルーティングタグはパケットが相互接続ネットワークを通して物理ソースノー ドから物理行先ノードに達するように従うべきパスを指示する情報を含んでいる 。この情報は各次元において完了するのに必要なホップの数、各次元における移 動の方向及び各次元において使用されるべき仮想チャンネル（ＶＣ）を含む。 ＭＰＰシステムにおける各ノードのルーティングタグはホストシステムにおい て実行されているプログラムによって生成される。ルーティングタグ計算プログ ラムが各ノード及びＭＰＰシステムにおける通信リンクに関する情報を含んでい る構成ファイルを用いる。 ＭＰＰシステムにおける通信リンク又はノードが十分に機能していない場合、 システムの管理者はホストシステム内において構成ファイルを修正する。その後 、管理者はルーティングタグ計算プログラムを実行する。プログラムは悪いノー ドもしくは通信リンクを迂回させて情報を送る新しいルーティングタグを生成す る。 ＭＰＰシステムがブート（ｂｏｏｔ）されるとルーティングタグはシステムの 各ノードのルーティングタグ、ルックアップテーブルに書き込まれる。ルーティ ング、ルックアップテーブルのアドレス及びフォーマットに関する多くの情報は この節におけるレジスタマッピングの項に与えられる。 パケットの生成 ネットワークインターフェースは情報を生成するとともに、ＰＥ又はＢＬＴか ら受け取った情報をパケットの生成のために用いる。表１３は種々の機能により ネットワークインターフェースが生成するパケットの種類を示す。第１９図は各 パケットのフォーマットを示している。各パケットはヘッダを含み更にデータを も含む。以下の分節ではヘッダの各フィット及びパケットのデータ部分について 記述する。 各パケットはヘッダを含む。ヘッダは以下の種類のフィッツからなる： ルーティングタグフィット、行先フィット、命令フィット、要求アドレスフィ ット、ソースフィット又は応答アドレスフィット。以下のパラグラフではフィッ トの各種類について説明する。 各パケットはルーティングタグフィットを含む。ネットワークインターフェー スからルーティングタグを受け取った後、ネットワークルータ内のＸ次元スイッ チはルーティングタグのビット０から３を調べる。ビット０から３が０に等しい 時、Ｘ次元スイッチはルーティングタグ情報をネットワークインターフェースの Ｙ次元スイッチに送る。Ｘ次元スイッチが情報をＹ次元スイッチに渡すのでルー ティングタグのビットはビット０から３がΔＹビットを含むように回路基板上で 再配列される。 ルーティングタグフィットのビットフォーマットは情報がネットワークインタ ーフェースのＸ，Ｙ次元スイッチの間又はＺ，Ｙ次元スイッチの間で転送される 度ごとに回路基板上において再配列される。ルーティングタグフィットのビット は同一ゲート配列形式がＸ，Ｙ，Ｚ次元に使用しうるように再配列される。 元のルーティングタグのビット０から３が０に等しくなければ、Ｘ次元スイッ チは±Ｘビットの値をチェックする。このビットはパケットが＋Ｘまたは−Ｘ通 信リンク上で送られるべきことを指示する。Ｘ次元スイッチは次いでＸ ＶＣビ ットの値を調べて通信リンク上のどちらの仮想チャンネルを使うべきかを決定す る（より詳細な情報はこの節のルーティングタグルックアップテーブル下位ビッ トレジスタの項を参照されたい）。これら２つのビットの値をチェックした後、 Ｘ次元スイッチはルーティングタグフィットのΔＸ部分の値を１だけインクリメ ン トし、そのフィットを＋Ｘまたは−Ｘ方向において次のノードのネットワークイ ンターフェースに送る（ΔＸ部分はＸ次元において全部を満たすためホップの数 の２の補数を含むのでインクリメントされる）。 各パケットは行先フィットを含む。行先フィットは行先ＰＥ番号を含む（表１ ５参照）。行先ＰＥ番号はパケットを受け取るべきＰＥの論理ＰＥ番号である。 ネットワークインターフェースは付属ＤＴＢから読まれるか、付属ＤＴＢから読 まれた仮想ＰＥ番号から変換された行先論理ＰＥ番号の０から１１ビットにより 行先ＰＥ番号を得る。 各パケットは更に行先ＰＥに対して、実行すべき機能の種類を指示する情報を もった命令フィットを含む。ネットワークインターフェースはあるＰＥ又はＢＬ Ｔの支援回路から情報を受け取った後、命令情報をフォーマットする。 命令フィットのビット０から１１は命令フィールドを含む（表１６参照）。ビ ット１２は行先ＰＥノードにおいてパケットがＰＥ０又はＰＥ１に行くべき時を 指示する。命令フィットのビット１３と１４はビット８から１２及び０から７に ついて偶数のパリティビットをそれぞれ含んでいる。ビット１５は１にセットさ れている場合、パケットが間違って仕向けられたパケットからネットワークイン ターフェースによって生成されたエラーメッセージであることを示す。 命令フィールドはパケット形式フィールド、要求又は応答ビット及びコマンド の３つの部分を含む（表１７参照）。パケット形式フィールドは命令フィットが 存在するパケットの形式を示す（再び第１９図参照）。要求又は応答ビットは１ にセットされている時、パケットが要求パケットであることを示す。０にセット されている時には、要求又は応答ビットはパケットが応答パケットであることを 示す。コマンドは実行されるべき機能を示す。 ルーティングタグ、行先及びデータフィットを除くパケット内のすべてのフィ ットはパリティビットによってプロテクトされる。ネットワークインターフェー スはパケットの各フィット（ルーティングタグ、行先及びデータフィットを除く ）を受け取ると、ネットワークインターフェースは２個の新しいパリティビット を生成する。 新しいパリティビットがフィット内のパリティビットと同一でない場合、転送 の途中でエラーが生じたことを示す。ネットワークインターフェースはシステム ステイタスレジスタ（ＳＳＲ）のビット１を１にセットし、パケットをエラーメ ッセージに変換し、そのエラーメッセージをＰＥ０もしくはＰＥ１に送る（これ は命令フィットにおいて識別される）。 要求パケットのみが要求アドレスフィットを含む。要求アドレスはＰＥのメモ リ内において一つの６４ビットワード又はデータの４ワードブロックの第１ワー ドを指定する。ネットワークインターフェースはＰＥ又はＢＬＴによって生成さ れたアドレスオフセットから要求アドレスを得る。表１８は要求アドレスフィッ トのフォーマットを示す。 ＢＬＴエラービット（ビット１２）は要求パケット形式４又は６の３個のＢＬ Ｔエラーの１つを指示するのに用いられる。ＢＬＴが書き込み要求（パケット形 式４または６）を発するとともにＢＬＴエラービットが１にセットされている時 にＢＬＴが転送を中止する。 各要求パケットはソースフィットを含む。ソースフィットは要求パケットを生 成するノードの論理ノード番号であるソースノード番号を含む。ソースフィット はソースノードにおいてパケットを生成したＰＥを示すＰＥビットを含んでいる 。表１９はソースフィットのフォーマットを示す。 要求パケットを受け取ったノードはソースノード番号を応答パケット内の行先 ノード番号として用いる。ネットワークインターフェースはネットワークインタ ーフェースソースレジスタＸ ＷＨＯＡＭＩと呼ばれるレジスタ内に格納された ノード番号を読むことによってソースノード番号を生成する。 ネットワークインターフェースはＸ ＷＨＯＡＭＩレジスタをパケットが正し いノードに仕向けられたか否かをチェックするのに使用する。パケットを受信し たのち、ネットワークインターフェースはＸ ＷＨＯＡＭＩレジスタに格納され たノード番号をパケット内の行先ノード番号と比較する。２つの番号が等しいと き、パケットは正しい行先ノードに到達したと考える。２つの番号が等しくない 場合、エラーが発生し、パケットは間違ったノードに到達したことを示す。 ネットワークインターフェースが今一つのノードに転送されたと考えられるパ ケットを受け取った時、ネットワークインターフェースのハードウェアはシステ ムステイタスレジスタのビット１（ネットワークパケットエラービット）をパケ ットが誤って仕向けられたことを指示するためにセットする。 次いでネットワークインターフェースはそのパケットをエラーメッセージに変 換し、メッセージをパケットを受け取ったノード内のＰＥ０又はＰＥ１に送る（ パケットの命令フィールドに格納されているＰＥビットに応じて）。マイクロプ ロセッサはメッセージを調べ、エラーの原因を種々試みて決定する。 要求又は応答パケットは応答アドレスを含む。応答アドレスは読み込まれた応 答パケットから１ワードデータもしくは４ワードデータが格納されるであろうソ ースＰＥのローカルメモリ内の位置を指定する。表２０は応答アドレスフィット のフォーマットを示す。 ＢＬＴエラービット（ビット１２）は要求パケット形式にもしくは応答パケッ ト形式４又は６におけるＢＬＴ範囲エラーを指示するのに用いられる。ＢＬＴが 読みだし要求（パケット形式２）を発生し、かつ、ＢＬＴエラービットが応答ア ドレスフィット０内において１にセットされると、パケットを受け取ったＰＥは メモリ読み出しを実行し、応答パケット形式４又は６を生成する。ＰＥはまた応 答パケットの応答アドレスフィット０において、ＢＬＴエラービットを１に設定 する。応答パケットを受け取ったＰＥはメモリ書き込みを実行することはない。 データ 要求及び応答パケットの両方はデータを含み、データは１つの６４ビットワー ド又は４つの６４ビットワードであってパケットを受け取るＰＥによって使用さ れる。ネットワークインターフェースは処理要素ノード内のＰＥからパケットに ついてのデータを受け取る。７個のチェックビット（データのエラーをチェック するためマイクロプロセッサで使用される）は各３２ビットハーフワードととも に送られる。第２０図はパケット内のワード０についてのデータフィットのフォ ーマットを示す。 レジスタマッピング ＭＰＰシステムはアドレス情報を解釈する際に、数個のメモリマップレジスタ を用いる。これらのレジスタはＰＥがどこに位置しているかを特定し、仮想及び 論理ＰＥ番号の値をチェックし、ルーティングタグを生成するのに使用される。 以下の分節ではＭＰＰシステム内におけるアドレス指定のために用いられるメモ リマップレジスタ（以下単にレジスタという）についてのアドレス指定及びビッ ト割り当てを説明する。各分節においてレジスタの機能の簡単な説明が与えられ る。 表２１はレジスタとその名前の概要である。表６から８はマイクロプロセッサ のアドレスピンに現れる各レジスタの部分物理アドレスを示している。 注意書：多重のデータパスの故にある処理要素ノードの１つのＰＥがＸ ＷＨ ＯＡＭＩ、ＬＰＥ ＸＬＡＴＥ、ＲＯＵＴＥ ＬＯ、又はＲＯＵＴＥ ＨＩレジ スタの内容を修正しつつある時にノード内の他のＰＥは同時に共用レジスタのい ずれかを修正しようとしてはならない。共用レジスタはＸ ＷＨＯＡＭＩ、ＬＰ Ｅ ＸＬＡＴＥ、ＲＯＵＴＥ ＬＯＮＲＯＵＴＥ ＨＩ、ＮＥＴ ＥＮＡ、ＮＥ Ｔ ＰＦＭ、ＮＯＥＤ ＣＳＲ及びＢＬＴレジスタを含む。 仮想アドレスはソフトウェアによって定義されるのでレジスタの各々のアドレ スはマイクロプロセッサのピン上に現れるに従って部分物理アドレスに応じて与 えられる。 物理ＰＥ番号レジスタアドレスｘ１０４０００００ 物理ＰＥ番号レジスタ（Ｐ ＷＨＯＡＭＩ）は１２ビット、リード−オンリー 、システムで特権が与えられたレジスタであって物理ＰＥ番号を含む。物理ＰＥ 番号はシステム内の各ＰＥに対して割り当てられた固有の番号であり、システム キャビネット内においてＰＥが物理的に位置する場所を示している。表２２はマ イクロプロセッサのアドレスピン上に現れるに従ってＰ ＷＨＯＡＭＩレジスタ アドレスについてのビット割り当てを示す。 オペレーティングシステムはシステムがデッドスタートされた時にＰ ＷＨＯ ＡＭＩレジスタに格納された値をＭＰＰシステムの論理ＰＥ番号レジスタにロー ドするために用いる。このことはシステム内の各物理ＰＥについて固有の一時的 論理ＰＥ番号を与え、オペレーティングシステムがシステム内のすべてのＰＥに 対してデッドスタート情報を転送することを可能にする。システムがデッドスタ ートされた後、論理ＰＥ番号レジスタは適当な論理ＰＥ番号がロードされる。 ＰＥを含むＭＰＰシステムには２つのモジュール形式が存在する。処理要素モ ジュール（ＰＥＭ）と入力／出力モジュール（ＩＯＭ）である。ＰＥＭは２つの プリント回路基板を含む。各プリント回路基板は２つの処理要素ノードを含む。 各入力ノード又は出力ノードは１個のＰＥを含む。 あるＰＥＭ又はＩＯＭがＭＰＰキャビネットに挿入されると、モジュール上の ハードウェア及びキャビネットのワイヤーマットからの信号はＰ ＷＨＯＡＭＩ レジスタのビットの値をセットする。これらの値はシステムのハードウェアにお いてＰＥが存在する箇所を示す。 表２３はＰ ＷＨＯＡＭＩレジスタのビットフォーマットを示しており、以下 の分節においてレジスタの各ビットについて説明する。 ＰＥ番号ビット０ ＰＥ番号ビットは処理要素ノードにおいて、ＰＥがＰＥ０かＰＥ１かを示す。 １にセットされている場合、ＰＥはＰＥ１であり、０にセットされている場合に はＰＥはＰＥ０である。ＰＥが入力ノードまたは出力ノードにあるときは、この ビットは０にセットされる。 Ｘ座標ビット１から３ これらのビットは物理ノード番号のＸ次元部分を示す。Ｘ次元番号は０から７ の範囲である。 ノード番号ビット４ ノード番号ビットはＰＥがプリント回路基板上のどのノードに存在するかを示 す。処理要素プリント回路基板上ではこのビットはＰＥが処理要素ノード０又は 処理要素ノード１のいずれに存在するかを示す。Ｉ／Ｏゲートウエイプリント回 路基板上ではこのビットはＰＥが入力ノード（ノード０）又は出力ノード（ノー ド１）のいずれに存在するかを示す。 プリント回路基板番号ビット５ このビットはＰＥがＰＥＭ又はＩＯＭのいずれのプリント回路基板に存在する かを示す。プリント回路基板はボードＡ（Ｏ）及びボードＢ（１）として参照さ れる。 シャーシＩＤビット６及び７ シャーシＩＤビットはＰＥＭ又はＩＯＭが多重キャビネット構成においてどの キャビネットに存在するかを示す。 Ｚ座標ビット８から１０ Ｚ座標ビットはＰＥが存在するモジュールの形式に依存して異なる値にセット される。これらのモジュールは標準ＰＥＭ、予備ＰＥＭ、及びＩＯＭである。 ＰＥが標準ＰＥＭ上にあるときにはこれらのビットは物理ノード番号のＺ次元 部分を示す。Ｚ次元番号は０から７の範囲にある。 ＰＥが予備ＰＥＭ上にあるときにはＺ座標ビットは１にセットされる（００１ ）。 Ｉ／Ｏ又は予備ＰＥビットも同様に１にセットされる。これは全体のＺ次元及 び物理ＰＥ番号のＩ／Ｏ又は予備ＰＥビット部分を９（１００１）にセットする 。 ＰＥがＩＯＭ上にあるときＺ座標ビット８と９はいずれも０にセットされる。 ビット１０はＩＯＭ内では常に１にセットされる。 Ｉ／Ｏ又は予備ＰＥビット１１ １にセットされているときこのビットはＰＥが予備ＰＥＭ又はＩＯＭ上にある ことを示す。ＰＥが予備ＰＥＭ上にあるときには、Ｚ座標ビットは１（００１） にセットされる。ＰＥがＩＯＭ上にあるときは、Ｚ座標ビットは４（１００）に セットされる。 論理ＰＥ番号レジスタアドレスｘ１０４５００００ 論理ＰＥ番号レジスタ（Ｌ ＷＨＯＡＭＩ）は論理ＰＥ番号を含む１２ビット 、ライト−オンリーシステム特権レジスタである。論理ＰＥ番号は論理ＭＰＰシ ステム内において使用される各物理ＰＥに対してオペレーティングシステムによ り割り当てられた固有の番号である。支援回路はＬ ＷＨＯＡＭＩレジスタをメ モリ機能がローカルＰＥ又は遠隔ＰＥのいずれかで実行されるべきかをチェック するために使用する。 表２４はそれらがマイクロプロセッサのアドレスピン上に現れるに従ってＬ ＷＨＯＡＭＩレジスタアドレスについてのビット割り当てを示している。 表２５はＬ ＷＨＯＡＭＩレジスタのビットフォーマットを示しており、レジ スタ内の各ビットを記述している。 仮想ＰＥ番号レジスタアドレスｘ１０４５４０００ 仮想ＰＥ番号レジスタ（Ｖ ＷＨＯＡＭＩ）は仮想ＰＥ番号を含む１１ビット のライト−オンリーシステム特権レジスタである。仮想ＰＥ番号はオペレーティ ングシステムによってある区分内の論理ＰＥに割り当てられる番号である。支援 回路はＶ ＷＨＯＡＭＩレジスタをメモリ機能がローカルＰＥにおいて行われる べきか遠隔ＰＥにおいて行われるべきかをチェックするために使用する。 表２６はマイクロプロセッサのアドレスピン上に現れるに従ってＶ ＷＨＯＡ ＭＩレジスタアドレスについてのビット割り当てを示す。 表２７はＶ ＷＨＯＡＭＩレジスタのビッフォーマットを示し、レジスタ内の 各ビットを記述している。 仮想ＰＥ範囲マスクレジスタアドレスｘ１０４５８００００ 仮想ＰＥ範囲マスクレジスタ（ＶＲＴ ＲＧ）は仮想ＰＥ範囲マスクを含む１ ０ビットのリード−オンリーシステム特権レジスタである。仮想ＰＥ範囲マスク はユーザ区分のサイズについての正当ビット位置における０の連続フィールドを 含む。残りのビットは１にセットされる。 表２８はマイクロプロセッサのアドレスピン上に現れるに応じてＶＲＴ ＲＧ レジスタアドレスについてのビット割り当てを示す。 表２９はＶＲＴ ＲＧレジスタのビットフォーマットを示しており、各ビット について記述している。仮想範囲マスクの例については表１０を再度参照された い。 ネットワークインターフェースソースレジスタアドレスｘ１０６Ａ００００ ネットワークインターフェースソースレジスタ（Ｘ ＷＨＯＡＭＩ）はソース 論理ノード番号を含む１１ビットのライト−オンリーシステム特権レジスタであ る。ネットワークインターフェースはソース論理ノード番号をどの論理ノードが パケット（ソースフィット）を生成したかを示すために用いる。 表３０はマイクロプロセッサのアドレスピン上に現れるに従ってＸ ＷＨＯＡ ＭＩレジスタアドレスについてのビット割り当てを示す。 表３１はＸ ＷＨＯＡＭＩレジスタのビットフォーマットを示し、各ビットレ ジスタについて記述している。 ネットワークインターフェースはまたＸ ＷＨＯＡＭＩレジスタをパケットヘ ッダ内の行先論理ノード番号の値をチェックするために使用する。 パケットを受け取った後、ネットワークインターフェースはＸ ＷＨＯＡＭＩ レジスタに格納されたノード番号をパケット内の行先ノード番号と比較する。両 者の番号が等しいときにはパケットは正しい行先ノードに到着したことを示す。 番号が等しくないときにはネットワークパケットエラーが発生し、パケットが誤 ったノードに到達したことを示す。 ネットワークインターフェースＰＥ調整レジスタアドレスｘ１０６Ｂ００００ ネットワークインターフェースＰＥ調整レジスタ（ＬＰＥ ＸＬＡＴＥ）は仮 想ノード番号を論理ノード番号に変換するために使用されるシフト、ベース、マ スク及び構成マスクの値を含む３１ビットのＰＥ調整レジスタである（再び第１ ３図から１６図参照）。 表３２はマイクロプロセッサのアドレスピンに現れるに従ってＬＰＥ ＸＬＡ ＴＥレジスタアドレスについてのビット割り当てを示す。 表４２はＬＰＥ ＸＬＡＴＥレジスタビットフォーマットを示し、各レジスタ のビットを記述している。 表３９はＭＰＰシステムの各構成について構成マスクの値を示している。 ルーティングタグルックアップテーブル下位ビットレジスタアドレスｘ１−６ Ｆ００００ ルーティングタグルックアップ下位ビットレジスタ（ＲＯＵＴＥ ＬＯ）はル ーティングタグの下位１２ビットを含む１２ビットのライト−オンリーシステム 特権レジスタである。 表４０はマイクロプロセッサのアドレスピン上に現れるに従ってＲＯＵＴＥ ＬＯレジスタアドレスについてのビット割り当てを示している。 アドレスのビット５から１５は２０４８個のＲＯＵＴＥ ＬＯレジスタの１つ を指定する。各ＲＯＵＴＥ ＬＯレジスタは１つの行先ノード番号に対応する。 例えば、行先論理ノード番号Ｚ＝１，Ｙ＝５，Ｘ＝２に対応するＲＯＵＴＥ Ｌ Ｏレジスタのアドレスは５から１５ビットが１５＝Ｏ（Ｉ／Ｏビット）に又１４ から１２は００１（Ｚ次元）、１１から８は０１０１（Ｙ次元）、ビット７から ５は０１０（Ｘ次元）にそれぞれセットされている。 表３３は各ＲＯＵＴＥ ＬＯレジスタのビットフォーマットを示し、各レジス タ内のビットを記述している。第２１図はＭＰＰシステムのＸ次元における８こ のノードを示している。簡単のため、ＺとＹ次元における他のノードに接続され た通信リンクは示されていない。この図は以下の例の参考として使用される。 以下のパラグラフは第２１図においてノードＺ＝１，Ｙ＝１，Ｘ＝２における ルーティングタグルックアップテーブルについてのＲＯＵＴＥ ＬＯレジスタの 値の例を与える。これらの例においては論理ＰＥ番号が物理ノード番号に等しい ものとしている（予備ＰＥノードが使用されていない）。又これらの例ではＸ次 元についてのデートラインは最も小さい番号のノードを最も大きい番号のノード に接続する通信リンクであるものとする。 行先ノード番号Ｚ＝１，Ｙ＝１，Ｘ＝４についてのＲＯＵＴＥ ＬＯレジスタ の値はΔＸ＝Ｅ，±Ｘ＝０，Ｘ ＶＣ＝０、ΔＹ＝０，±Ｙ＝０，Ｙ ＶＣ＝０ である。ΔＸの値はＥが２の２の補数であるので、Ｅ₁₆にセットされる。パケッ トはノードＺ＝１，Ｙ＝１，Ｘ＝２からノードＺ＝１，Ｙ＝１Ｘ＝４に移動する ためＸ次元において２つのホップを補う±Ｘの値はパケットがＸの正方向に移動 するため０にセットされる。Ｘ ＶＣ選択ビット０はパケットがネットワーク内 を移動するときＸ次元におけるデートラインを横断しないので、０にセットされ る。 行先ノード番号Ｚ＝１，Ｙ＝１，Ｘ＝７についてのＲＯＵＴＥ ＬＯレジスタ の値はΔＸ＝Ｄ，±Ｘ＝１，Ｘ ＶＣ＝１，ΔＹ＝０，±Ｙ＝０，Ｙ ＶＣ＝０ である。ΔＸの値はＤが３の２の補数であるので、Ｄにセットされる。パケット はノードＺ＝１，Ｙ＝１，Ｘ＝２からノードＺ＝１，Ｙ＝１，Ｘ＝７に移動する ためＸ次元において３個のホップを補う。±Ｘの値はパケットがＸの負の方向に 移動するので１にセットされる。Ｘ ＶＣ選択ビット０はネットワーク内を移動 するときパケットはＸ次元においてデートラインを横切らないので１にセットさ れる。 第２１図に示す８個のノードはＩ／Ｏゲートウエイ、予備処理要素ノード又は Ｉ／Ｏゲートウエイと予備処理要素ノードのいずれにも接続されておらず、ルー ティングタグはその次元内を移動する際パケットが作成したホップの数を反映す る値を含んでいる。 第２２図は８個の処理要素ノードとＩ／ＯゲートウエイとＭＰＰシステムのＸ 次元における予備の処理要素ノードとを示している。簡単のため、Ｚ及びＹ次元 の他のノードに接続される通信リンクは図示されていない。 以下のパラグラフでは第２２図におけるノードＺ＝０，Ｙ＝１，Ｘ＝３におけ るルーティングタグルックアップテーブルについてのＲＯＵＴＥ ＬＯレジスタ の値の例が示されている。これらの例において論理ＰＥ番号は物理ノード番号に 等しいものとする（予備処理要素ノードは使用されていない）。またこれらの例 ではＸ次元のデートラインは最も小さい番号のノードを最も大きい番号のノード に接続する通信リンクであるものとする。 行先ノード番号Ｚ＝０，Ｙ＝１，Ｘ＝０についてのＲＯＵＴＥ＿ＬＯレジスタ の値はΔＸ＝Ｂ，±Ｘ＝１，Ｘ ＶＣ＝０，ΔＹ＝０，±Ｙ＝０，Ｙ ＶＣ＝０ である。ΔＸの値はＢが５の２の補数であるのでＢにセットされる。Ｉ／Ｏゲー トウエイは２つのノード（入力ノードと出力ノード）を含むのでパケットはノー ドＺ＝０，Ｙ＝１，Ｘ＝３からノードＺ＝０，Ｙ＝１，Ｘ＝０に移動するために Ｘ次元において５個のホップを補う。±Ｘの値はパケットがＸの負の方向に移動 するので１にセットされる。Ｘ ＶＣ選択ビット０はパケットがネットワークを 移動する際Ｘ次元におけるデートラインを横切らないので、０にセットされる。 行先ノード番号Ｚ＝０，Ｙ＝１，Ｘ＝５についてのＲＯＵＴＥ ＬＯレジスタ の値はΔＸ＝Ｄ，±Ｘ＝０，Ｘ ＶＣ＝０，ΔＹ＝０，±Ｙ＝０，Ｕ ＶＣ＝０ である。ΔＸの値はＤが３の２の補する際であるのでＤにセットされる。予備処 理要素ノードのためにパケットはノードＺ＝０，Ｙ＝１，Ｘ＝３からノードＺ＝ ０，Ｙ＝１，Ｘ＝５へ移動する際、Ｘ次元において３個のホップを補う。±Ｘの 値はパケットがＸの正の方向に移動するので０にセットされる。Ｘ ＶＣ選択ビ ットはパケットがネットワーク内を移動する際、Ｘ次元におけるデートラインを 横切ることはないので０にセットされる。 ルーティングタグルックアップテーブル上位ビットレジスタアドレスｘ１−７ Ｆ００００ ルーティングタグルックアップテーブル上位ビットレジスタ（ＲＯＵＴＥ Ｈ Ｉ）はルーティングタグの上位６ビットを含む６ビットのライト−オンリーシス テム特権レジスタである。 表３４はそれらがマイクロプロセッサのアドレスピン上に現れるに従ってＲＯ ＵＴＥ ＨＩレジスタアドレスについてのビット割り当てを示している。アドレ スの５から１５ビットは２０４８個のＲＯＵＴＥ ＨＩレジスタの１つを指定す る。＆ＲＯＵＴＥ ＨＩレジスタは１つの行先論理ノード番号に対応している。 例えば、アドレスの５から１５ビットが１５＝０（Ｉ／Ｏビット）、１４から１ ２＝００１（Ｚ次元）、１１から８＝０１０１（Ｙ次元）及びビット７から５＝ ０１０（Ｘ次元）にそれぞれセットされ、ＲＯＵＴＥ ＨＩレジスタは行先論理 ノード番号Ｚ＝１，Ｙ＝５，Ｘ＝２に対応する。 表３５は各ＲＯＵＴＥ ＨＩレジスタのビットフォーマットを示し、各レジス タのビットを記述している。 本発明は、表、図面、更にはＰＥ及びノードの番号付けネットワーク構成、ア ドレス及びレジスタフィールド、メモリアドレス方式、ビット及びバイト割り当 て等の特別なパラメータを用いた議論を参照しながら説明されたけれどもこれら の特定の様式は単に例示のためだけであって、限定をするものではない。当業者 ならば明らかなように、上記の明細書、表及び図面に基づいて種々の異なる特別 な改良は本発明の範囲内において可能である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 パシント、ランダル・エス アメリカ合衆国、ウィスコンシン54729、 チッペワ・フォールズ、グラディ・ドライ ブ 90番

Claims (1)

1. 【特許請求の範囲】 １．ｎ次元の相互接続ネットワークによって相互に接続された複数の処理要素（ ＰＥ）を有するとともに、個々のＰＥに局所的に付属する、全体的にアドレス指 定可能なローカルメモリ部分から構成される分散メモリを有する多重プロセッサ コンピュータシステムのアドレス変換システムは以下のものからなる： 多重プロセッサコンピュータシステム内のＰＥの物理的位置に対応して、ＰＥ とそれに付属するローカルメモリについて物理アドレスを定義する手段； ＰＥの論理構成内におけるＰＥとそれに付属するローカルメモリについて、論 理アドレスを定義するソフトウェア制御下で作動する手段、上記論理アドレスは 相互接続ネットワークの論理表現内のＰＥの論理位置に対応する； ＰＥのユーザ区分内におけるＰＥの仮想位置に対応して、アプリケーションを 実行するＰＥのユーザ区分内におけるＰＥとそれに付属するローカルメモリの仮 想アドレスを定義する、ソフトウェア制御下で作動する手段；および 仮想アドレスを論理アドレスに変換するとともに、相互接続ネットワーク上で のルーティングのために論理アドレスを物理アドレスに変換する手段。 ２．アドレス変換システムは、上記ローカルメモリ部分に連係するＰＥを中断す ることなしに、全体的にアドレス指定可能なローカルメモリ部分間にデータを再 分配するブロック転送エンジンによって生成される仮想アドレスを変換する、請 求項１のアドレス変換システム。 ３．論理アドレスを定義する手段は、予備のＰＥに故障のＰＥの論理位置を割り 当てることにより、ＰＥの論理構成内の故障のＰＥを該論理構成に含まれていな い予備のＰＥで置換えるように修正可能である請求項１に記載のアドレス変換シ ステム。 ４．多重プロセッサコンピュータシステムは以下のものからなる： 複数の処理ノード、各ノードはプロセッサを有する処理要素とローカルメモリ とを有し、各処理要素は多重プロセッサコンピュータシステム内の処理要素の物 理的位置に対応した物理番号によって特定され、処理要素の論理構成内における 各処理要素は、論理構成内における論理位置に対応した論理番号によって特定さ れ、アプリケーションを実行する処理要素のユーザ区分内における各処理要素は ユーザ区分内の処理要素の仮想位置に対応した仮想番号によって特定される、お よび ソースノードからの仮想又は論理番号に基づく情報にもとづいて、行先ノード に与えられるべき情報のパケットを生成するネットワークインターフェース、こ こにおいて、各パケットはソースノードから行先ノードまでのパスを指示する物 理番号にもとづく情報を有するルーティングタグを含んでいる； 複数の処理ノードを相互に接続するｎ次元の相互接続ネットワーク；および 全体的にアドレス指定可能な各処理要素のローカルメモリ部分を含む分散メモ リ。 ５．各処理ノードがさらにルーティングタグを格納したルックアップテーブルを 備え、ネットワークインターフェースは、行先ノードの処理要素に対応する論理 番号を与え、該論理番号に対応したルーティングタグを索引するようにした、請 求項４の多重プロセッサコンピュータシステム。 ６．ネットワークインターフェースは、仮想番号に基づく情報をルックアップテ ーブルを索引するための論理番号に翻訳するためのハードウェアを含む、請求項 ５の多重プロセッサコンピュータシステム。 ７．各処理要素は、仮想番号に基づく情報を論理番号にもとづく情報に翻訳する ハードウェアを含む、請求項４の多重プロセッサコンピュータシステム。 ８．相互接続ネットワークはノード間でパケットをルート付けするための仮想チ ャネルを含むとともに、ルーティングタグ内の物理番号に基づく情報は、各次元 における補完のために相互接続ネットワーク内に存在するホップの数、各次元に おける走行方向、仮想チャネルがあるとして、行先ノードに到達するために各次 元において使用されるべき仮想チャネルを表す情報を含んでいる、請求項４の多 重プロセッサコンピュータシステム。 ９．さらに、ホストシステムを有し、各ノードについてのルーティングタグは、 各ノードおよびノードを接続する相互接続ネットワークに関する情報を含む構成 ファイルに基づいてホストシステムで実行するプログラムにより生成される、請 求項４の多重プロセッサコンピュータシステム。 １０．構成ファイルは、処理要素の論理構成を含み、該論理構成は、故障ノード の論理番号を予備ノードに割り当てることにより、論理構成内の処理要素を含む 故障ノードを論理構成に含まれていない処理要素を有する予備ノードで置換える ことにより修正可能である、請求項９の多重プロセッサコンピュータシステム。 １１．各処理ノードは、さらに連係するプロセッサを中断することなしに、全体 的にアドレス指定可能なローカルメモリ部分間でデータを再分配するためのブロ ック転送エンジンを含む、請求項４の多重プロセッサシステム。 １２．ブロック転送エンジンは、仮想番号に基づく情報を論理番号に基づく情報 に翻訳するハードウェアを含む、請求項１１の多重プロセッサコンピュータシス テム。 １３．各処理ノードが、さらに分散されたメモリの全てを含むようにプロセッサ のアドレス範囲を拡張するため関連するプロセッサによって与えられるアドレス の部分によって索引が付けられた情報を含む付属テーブルを含む、請求項４の多 重プロセッサコンピュータシステム。 １４．さらに、複数のネットワークルータを含み、各ネットワークルータは、処 理ノードの対応するネットワークインターフェースと相互接続ネットワークに連 結されるとともに、各ネットワークルータは、相互接続ネットワークのｎ次元の 各々に対応してｎ種の次元スイッチを含んでより、次元スイッチはソースノード から行先ノードに相互接続ネットワークに沿って情報パケットを仕向けるための ルーティングタグに応答する、請求項４の多重プロセッサコンピュータシステム 。 １５．ｎ次元の相互接続ネットワークによって接続された複数の処理要素（ＰＥ ）を有するとともに、個々のＰＥと局所的に連係する、全体的にアドレス指定可 能なローカルメモリ部分からなる分散メモリを有する多重プロセッサコンピュー タシステムにおけるアドレス翻訳方法は以下のものからなる： ＰＥとその連係するローカルメモリについて物理アドレスを定義する、該物理 アドレスは多重プロセッサコンピュータシステム内のＰＥの物理位置に対応する ； ＰＥの論理構成内のＰＥとその連係するローカルメモリについて論理アドレス を定義する、該論理アドレスは相互接続ネットワークの論理表現内のＰＥの論理 位置に対応する； アプリケーションを実行するＰＥのユーザ区分内のＰＥと連係するローカルメ モリについて、ユーザ区分内のＰＥの仮想位置に対応して仮想アドレスを定義す る； 仮想アドレスを論理アドレスに翻訳する；および 相互接続ネットワーク上でのルーティングのために論理アドレスを物理アドレ スに翻訳する。 １６．故障のＰＥの論理位置を予備のＰＥに割り当てることにより、ＰＥの論理 構成内の故障ＰＥを論理構成内に含まれていない予備ＰＥで置き換えるステップ をさらに含む、請求項１５の方法。