JPH08511886A - 待ち時間が可変の、プロセッサをメモリに接続する相互接続ネットワーク - Google Patents

Abstract

(57)【要約】 プロセッサをメモリに接続する或る相互接続ネットワークは、小規模および大規模のマルチ処理システムの双方の構築に使用可能である。この相互接続ネットワークは、ネットワーク・モジュールとメモリ・モジュールを備えている。ネットワーク・モジュールおよびメモリ・モジュールは、一連のｎ×ｍスイッチで構成され、各ｎ×ｍスイッチは、ｎ個の入力に対しｍ個の出力のうちの一つへ経路を設定する。これらのスイッチは、相互接続ネットワークにおけるメッセージの競合が低減されるように設計されている。これらのスイッチ、したがってメモリ・モジュールおよびネットワーク・モジュールは、高いモジュール性を有し、これにより、実質的に任意の規模のマルチ処理システムを同一の構成要素を利用して構築できる。

Description

【発明の詳細な説明】 待ち時間が可変の、プロセッサをメモリに接続する相互接続ネットワーク 〈発明の背景〉 多くのデータ処理のタスクは、データの整然とした配列に対する大規模な算術 操作を必要とする。一般に、この種の操作すなわち「ベクトル」処理は、データ 集合の連続する各要素に対して同一操作を繰り返し実行することが必要となる。 整然とした配列データを扱うときに処理速度およびハードウェア効率を向上させ るために、ベクトル計算機が開発されている。ベクトル計算機は、そのハードウ ェア機構により整然とした配列データを扱うものであり、したがって、スカラ計 算機よりも高い演算速度(speed of operation)が得られる。 スカラ計算機およびベクトル計算機の双方における処理速度(computer proces sing speed)および処理効率は、マルチ処理技術(multiprocessing techniques) を利用して更に向上させることができる。マルチ処理は、主記憶のようなシステ ム資源を共有する数百ないし数千のプロセッサを使用する必要がある。異なるジ ョブの独立したタスクまたは単一ジョブの関連するタスクは、複数のプロセッサ 上で実行される。各プロセッサはそれ自身の命令セット従い、それぞれの命令を 並列に実行する。プロセッサの数を増やしてそれらを並列に動作させることによ り、より多くの作業をより短い時間で行うことができる。 マルチ処理は作業速度(performance speed)を向上させることができるが、そ の向上は使用されるプロセッサの数と線形の関係にはならない。これは、主とし て二つの要因すなわちオーバヘッドとロックアウト(lock out)によるものである 。プロセッサとプロセッサの機能との間で調整をとるのに要する同期と制御のレ ベルが増大するため、マルチプロセッサの環境の下では著しいオーバヘッドが生 じる。全プロセッサ間での通信および全プロセッサの制御は、マルチ処理システ ムに性能低下を生じさせる。数個のプロセッサが協調して一つのタスクを実行し ているときには、データの依存性とプロセッサ間でのデータの転送は不可避であ る。 或るプロセッサが他のプロセッサから転送されるべきデータを待たなければなら ないときに、プロセッサのアイドル時間が生じる。このプロセッサのアイドル時 間はシステム性能を低下させることになる。 マルチプロセッサ・システムの性能低下の他の重大な原因は、プロセッサのロ ックアウトすなわちブロッキング(blocking)であり、複数のプロセッサが共通の 資源を共有することに関連している。これは、一つのプロセッサが、他のプロセ ッサが既に使用している共有資源、例えば共有メモリにアクセスをしようとする ときに生じる。そのプロセッサは、このときその共有資源の使用を阻止され（ブ ロックされ）、他のプロセッサが停止するまで待機しなければならない。この場 合もまた、プロセッサのアイドル時間が発生し、システムの性能が低下する。 プロセッサのメモリに対するインタフェイスは、オーバヘッドとロックアウト の概念と緊密につながっており、それは計算機の全体的な性能にも影響を与える 。マルチプロセッサのインタフェイスの一例を、ＢＢＮシステム・アンド・テクノ ロジー社(BBN Systems and Technologies Corporation)によって設計されたモナ ーク(Monarch)並列マルチ処理計算機に見ることができる。モナークはスカラ方 式で単一スレッドのマルチ処理アーキテクチャとなっており、プロセッサとメモ リとの間の通信に回線交換技術を使用している。この回線交換技術によれば、全 てのプロセッサはメモリへ至る同一の経路を共有する。モナークの設計における 或るプロセッサがメモリを要求するとき、そのプロセッサ網からメモリへの経路 全体が開放され、そのメモリとそのプロセッサとの間の通信が完了するまで開放 されたままとなる。この方式は、その回線交換網を経由してメモリを参照しよう としている他のプロセッサをブロックすることができ、メモリ参照の転送速度を 制限し、その結果、プロセッサのアイドル時間が長くなる。したがって、このよ うな設計をマルチプロセッサによるマルチスレッドのベクトル処理において採用 するのは実用的ではなく、このようなベクトル処理ではプロセッサとメモリとの 間で本来的に大量のデータを転送しなければならない。 マルチプロセッサのメモリインタフェイスの他の例を、ホライゾン(HORIZON) ルーティング方式に見ることができる。このホライゾンのインタフェイス・ネッ トワークは、自暴自棄ルーティング(desperation routing)またはホットポテト・ ルーティング(hot potato routing)と呼ばれる方式を使用している。ホライゾン の自暴自棄ルーティングは、複数の入力と同数の出力を有する多段ネットワーク である。この方式は、どのネットワークのサイクルにおいても各入力に対し一つ の出力への経路を設定する必要がある。例えば、４個の入力情報(input referen ces)が存在し、その４個の入力情報が同一の出力に行くことを欲している場合、 その４個の入力情報のうち一つが正しい出力へ行き、他の全ての入力は欲してい ない他のいずれかの出力へ行く。これは、４個の入力のうち３個は格段に長い経 路をとってそのネットワークを通過することを意味する。このホライゾンの自暴 自棄ネットワークは、これらの他の三つの情報(references)は結局は望ましい入 力へ戻って、望ましい出力に到達する別の機会を持つように、ネットワークに経 路が定められる。したがって、それらの情報がネットワークの中で永久に失われ るということはなく、ホライゾンのルーティング方式は、そのネットワーク内に 最も長く存在している情報が最高の優先度を持つような機構を有しており、これ により、それらの情報はいつかは同一の出力に対する競合する情報に打ち勝つこ とになる。このようなルーティング方式によれば、一つの情報が要求する終点へ の可能な経路を複数持ち、多くの情報は、その目的地へ到達する前にネットワー ク内を通行するのに非常に長い期間を費やすことになりかねない、ということが 当業者には容易にわかるであろう。したがって、このホライゾンの自暴自棄ルー ティング方式をマルチ処理の計算機で使用するのは望ましくない。 マルチ処理システムにおける他の重要な概念は、スケーラビリティ(scalabili ty)の概念である。スケーラビリティとは、異なる使用者の要求に合わせるため に種々の異なるサイズとすることができるシステムの能力をいう。例えば、最大 システムは１０２４個のプロセッサを持つことができるが、５１２個のプロセッ サを有する構成、２５６個のプロセッサを有する構成、または他の或る構成とい うように縮小化されたシステムを利用できるようにするのが望ましい。最大シス テムを構成する基本的なビルディングブロック(building blocks)を修正するこ となく使用して最小システムを作り上げることができることが重要であり、逆も また同様である。したがってスケーラブルなシステムは、格段に柔軟性に富み、 このようなシステムの展開によって使用者の変化する要求に合わせることができ る。 以上より、プロセッサをメモリに接続する相互接続ネットワークであって、例 えばプロセッサが競合することなくメモリ参照を発行できるようにした相互接続 ネットワークに対する要求が当業界にあり、それは、ネットワーク内でのメモリ 参照の間での競合を低減し、どの１回の参照についてもネットワーク内で費やす 時間を低減し、その結果、プロセッサのアイドル時間が減少し、システムの性能 が向上する。また、モジュラーな相互接続ネットワークであって、その相互接続 ネットワークを構成する個々のモジュールの再設計を必要とせずに、任意の個数 のプロセッサおよび異なるサイズのメモリを有するマルチ処理システムに適合す るように容易に規模を変更することができる相互接続ネットワークに対する要求 もある。 〈発明の要約〉 上記技術における限界を克服するために、および本明細書を読んで理解すれば 明らかになるであろう他の限界を克服するために、本発明は、プロセッサをメモ リに接続するマルチ処理用の相互接続ネットワークを提供する。この相互接続ネ ットワークは、種々の個数のプロセッサおよび種々のメモリサイズを有するよう に構成されたシステムでの使用に適合したものである。すなわち、この相互接続 ネットワークのモジュール性により、単純な複製で任意の規模のシステムを構築 できるようになる。 この相互接続ネットワークは、ネットワーク・モジュールおよびメモリ・モジュ ールを含む。ネットワーク・モジュールおよびメモリ・モジュールは、一連のｎ× ｍスイッチで構成されていて、各ｎ×ｍスイッチはｎ個の入力のうちの一つから ｍ個の出力のうちの一つへの経路を設定する。このスイッチは、相互接続ネット ワークにおけるメッセージの競合が低減されるように設計されている。このスイ ッチ、したがってメモリとネットワークのモジュールは高いモジュール性を有し ており、これにより、同一の構成要素を利用して任意の規模のマルチ処理システ ム を実質的に構築できるようになる。 また、メッセージの競合を低減するための機構および相互接続ネットワークを 実現するために必要な相互接続の数が与えられる。最後に、相互接続ネットワー ク内の特定の経路上のデータが正しいか否かを判定するために健全性コード(san ity code)が使用される。この健全性コードは、メモリ・バンクもしくはネットワ ーク経路の故障を検出し、または、システムのグレードを下げるためにも使用さ れる。 〈図面の簡単な説明〉 図面において、同一符号はいくつかの図を通して同一構成要素を示している。 図１は、４個のＣＰＵを有するマルチ処理システムの一例のブロック図を示す 。 図２は、図１に示した４個のＣＰＵを有するマルチ処理システムのより詳細な ブロック図である。 図３は、３２個のＣＰＵを有するマルチ処理システムの一例のブロック図を示 す。 図４は、図３に示した３２個のＣＰＵのシステムにおける、８個のＣＰＵと４ 個のネットワーク・モジュールとの間の接続のより詳細なブロック図を示す。 図５は、図３に示した３２個のＣＰＵのシステムにおける、ネットワーク・モ ジュールと８個のメモリ・モジュールとの間の接続のより詳細なブロック図を示 す。 図６は、メモリ・モジュールのブロック図を示す。 図７は、図６に示したメモリ・モジュールにおける出力経路(outgoing path)の より詳細なブロック図を示す。 図８は、図６に示したメモリ・モジュールにおける入力経路(return path)のよ り詳細なブロック図を示す。 図９は、ネットワーク・モジュールのブロック図を示す。 図１０は、図９に示したネットワーク・モジュールにおける出力経路のより詳 細なブロック図を示す。 図１１は、図９に示したネットワーク・モジュールにおける入力経路のより詳 細なブロック図を示す。 図１２は、レディ／レジューム(READY/RESUME)のハンドシェイクのための制御 回路の詳細構成を示す。 図１３は、健全性コードの制御回路の詳細構成を示す。 図１４〜１５は、本発明の相互接続ネットワークを使用することができるマル チ処理システムのいくつかの例についての種々の構成を示す表である。 図１６は、１×２スイッチの遅延チェイン(delay chain)の詳細を示す。 〈好ましい実施形態の詳細な説明〉 以下の詳細な説明では、本文の一部を構成すると共に、例として本発明の特定 の実施形態を示した添付図面を参照することにする。しかし、他の実施形態を利 用してもよく、本発明の範囲を逸脱しない限り構造的または論理的な変更を施す こともできる。したがって、以下の詳細な説明は限定された意味で解されるべき ではなく、本発明の範囲は添付した請求の範囲によって定めるべきである。 図１を参照しつつ、マルチ処理システムの一例の簡略ブロック図を説明する。 図１は、４個のメモリ・モジュール６００ａ-ｄから成る共通メモリに接続された ４個のＣＰＵ１００を示す。図２は、図１のシステムのより詳細なブロック図を 示す。４個のＣＰＵ１００ａ-ｄのそれぞれは、ポート０とポート１の二つのポ ートを持っている。ポート０とポート１のそれぞれは、４個のメモリ・モジュー ル６００ａ-ｄのうちの一つに経路が設定され、ＣＰＵ１個当たり全部で８出力 に対し、メモリ・モジュール１個当たり８入力に経路が設定される。 マルチ処理システムの他の例を図３に示す。図３は、３２個のＣＰＵを有する 最大規模のシステムである。８個のＣＰＵから成る４個のＣＰＵ群１００ａ-ｈ 、１００ｉ-ｐ、１００ｑ-ｘ、１００ｙ-ｆｆが、４個のネットワーク・モジュー ルから成る４個のネットワーク・モジュール群３００ａ-ｄ、３００ｅ-ｈ、３０ ０ｉ-ｌ、３００ｍ-ｐを介して、８個のメモリ・モジュールから成る４個のメモ リ・モジュール群６００ａ-ｈ、６００ｉ-ｐ、６００ｑ-ｘ、６００ｙ-ｆｆに接 続されている。プロセッサをメモリに接続するこの相互接続ネットワークを使用 して構築することができる４個、８個、および３２個のＣＰＵのシステム例を以 下に おいて更に詳細に説明する。 図１〜３は、ネットワーク・モジュール３００およびメモリ・モジュール６００ のアーキテクチャのモジュール性により、如何にして、単純な複製で任意の規模 のシステムの構築が可能となるのかを示している。１〜４個のＣＰＵを有するシ ステムにおいては、それらのＣＰＵは図１および２に示すようにメモリ・モジュ ール６００に直結される。４個よりも多くのＣＰＵを有するシステムにおいては 、それらのＣＰＵは、まずネットワーク・モジュール３００に接続され、そのネ ットワーク・モジュールがメモリ・モジュール６００に接続される。最小のマルチ 処理システムを構成するものと同一のネットワーク・モジュールおよびメモリ・モ ジュールを、修正することなく、最大のシステムを構築するために使用すること ができる。モジュール性と拡張性は本相互接続ネットワークの設計に本来的に備 わっているものであるため、それらはシステム実現のために選択される技術に依 存せず、極めて柔軟性に富み、その結果、容易に規模を変更できるマルチ処理シ ステムが得られる、ということが当業者には容易にわかるであろう。 ４個、８個、および３２個のＣＰＵを有するマルチ処理システムの例を説明す る前に、メモリの相互接続ネットワークを構成するメモリ・モジュール６００お よびネットワーク・モジュール３００について詳細に説明する。一般に、メモリ・ モジュール６００およびネットワーク・モジュール３００は、異なった数種類の ｎ×ｍスイッチの集合から構成される。これらのｎ×ｍスイッチは、種々の形態 に接続されてメモリおよびネットワークのモジュールを形成し、それらは、プロ セッサと共通メモリとの間にメッセージの経路を設定する。相互接続ネットワー クを構築するために同一のｎ×ｍスイッチ群が繰り返し使用されるように、その スイッチが作製される。したがって、その結果得られる構造はモジュール性が高 く、小規模のマルチ処理システムを構築するために使用されるものと同一の構成 要素が大規模なシステムにおける接続にも使用できるようになっている。 〈メモリ・モジュール〉 次にメモリ・モジュール６００について詳細に説明する。図６は、メモリ・モジ ュール６００のブロック図を示す。出力経路(outgoing path)６０４および入力 経 路(return path)６０６の双方が示されている。各メモリ・モジュール６００は、 ８個の入力０〜７と１６個のメモリ・バンク６４０ａ〜６４０ｐとを備えている 。実現の容易化のため、このメモリ・モジュールは、論理的に二つの独立部分に 分離されている。入力０〜３はメモリ・バンク６４０ａ〜６４０ｈ（上半部）へ 経路が設定されており、一方、入力３〜７はメモリ・バンク６４０ｉ〜６４０ｐ （下半部）へ経路が設定されている。これら二つの部分は、完全に分離されてい て、互いに影響されることはない。物理的に、これら二つの部分は、一つのプリ ント回路基板の上部側と底部側に配置されるのが好ましい。しかし、本相互接続 ネットワークは、この物理的な実現方法に限定されないと理解すべきである。す なわち、多くの他の物理的な所定の実現が当業者によって容易に考えられるであ ろう。 入力０〜７のそれぞれは、まず１×１スイッチ６１０によってバッファリング される。４個のスイッチ６１０から成る２個のスイッチ群は、２個の４×４スイ ッチ６２０のうちの一つの入力へ接続される。２×２スイッチ４２０は、４個の 入力のそれぞれから４個の１×２スイッチ６３０の一つへ経路を設定する。１× ２スイッチ６３０のそれぞれは、一つの入力から２個のメモリ・バンク６４０の 一つへ経路を設定する。 各メモリ・モジュール６００の入力経路６０６において、２個のメモリ・バンク は２×１スイッチ６５０へ経路が設定されている。４個の２×１スイッチ６５０ は、４×４スイッチ６６０の入力へ接続され、その後、それらは４個の１×１ス イッチ６７０の一つへ経路が設定され、全部で８個の出力０〜７へ経路が設定さ れている。 図７は、メモリ・モジュール６００の出力経路側６０４のより詳細なブロック 図を示す。上半部および下半部の双方が示されている。メモリ・モジュール６０ ０の入力０〜７のそれぞれは、ＣＰＵ１００からそのメモリ・モジュールへのメ モリ参照をバッファリングする１×１スイッチを有している。各１×１スイッチ ６１０におけるバッファの数は、クロスバー・スイッチ間での通信の往復時間に よって変わる。各クロックの周期がその通信時間に付加されるため、各１×１ス イッチ６１０に対して更にバッファを追加する必要がある。１×１スイッチ６１ ０の目的は、メッセージ・パケットを多重に送ることができるように、クロスバ ー・スイッチ間の通信時間をカバーすることにある。したがって、図６に示した 本メモリ・モジュールには、６個のバッファＡ〜Ｆが設けられていて、ｎ×ｍス イッチがクロックの１周期の期間で通信を行う。 １×１スイッチ６１０におけるバッファＡ〜Ｆ、および本相互接続ネットワー クを構築するために使用される全てのｎ×ｍスイッチにおけるバッファは、先入 れ先出し（ＦＩＦＯ）のキュー構造体(queue structure)を有している。入力０ 〜７のうちの一つを経由してメモリ・モジュール６００に入るメッセージは、そ の経路用の対応するバッファＡに他のメッセージが既に存在するということがな ければ、そのバッファＡに保持される。バッファＡが占有されている場合には、 そのメッセージは、バッファＢが使用可能であれば、バッファＡの代えてバッフ ァＢに保持される。バッファＡがいったん空になると、バッファＢに存在するメ ッセージはバッファＡへ移される。別のメッセージがアクセスしようとしたとき バッファＡおよびバッファＢの双方が満杯であれば、そのメッセージはバッファ Ｃに入る。このようにして入力バッファは、先入れ先出しキューとして動作する 。別のメッセージがその入力バッファ６１０に入ろうとしたときバッファＡ〜Ｆ が全て満杯であれば、そのメッセージは、メモリ・モジュールに入る前に、ＦＩ ＦＯバッファの一つが解放されるまで単に待機するだけである。入力保持バッフ ァ(input holding buffer)６２１が他のメッセージを受け取る用意ができている ときは、１×１スイッチ６１０のバッファＡ内のメッセージは、４×４スイッチ の入力保持バッファ６２１の中に保持される。 いったんメッセージが入力保持バッファ６２１に保持されると、バッファＡは ２個のメッセージ・ステアリング・ビット(message steering bit)を解読してその メッセージの経路を４個の出力要求バッファ(output request buffers)のいずれ に設定すべきかを決定する。２個のメッセージ・ステアリング・ビットを解読した 後、バッファＡは、最初のパケット内の２個のメッセージ・ステアリング・ビット を、８個の入力０〜７のうちいずれの入力からそのメッセージがメモリ・モジュ ール６００に入ったかを表す２個のビットに置き換える。このようにして、メッ セージがメモリ・バンク６４０へ行く途中においてメモリ・モジュールの層を順次 通過して行く間に、発信元のＣＰＵへ戻すリターン・アドレス(return address) がそのメッセージ・ステアリング・ビットに組み込まれる。データが適切なメモリ・ バンクから取り出された後、その取り出されたデータを発信元のプロセッサま で案内するために、プロセッサ・リターン・アドレス情報をそのメッセージ・ステ アリング・ビットから得ることができるようになる。同様に、一旦そのメッセー ジがプロセッサに戻ると、その参照がどのメモリ・バンクから来たのかを示すリ ターン・アドレスをそのメッセージ・ステアリング・ビットから得ることができる ようになる。この方法では、データ中に誤りがあれば、そのプロセッサは誤りの あるメッセージがどのメモリ・バンクから来たのかを知り、これにより、その誤 りがどこで生じたのかを正確に指摘するための助けとなる。 このビット置換方式は、プロセッサ・リターン・アドレスをメッセージとともに 送る必要がなくなるため、システムにおける相互接続およびメッセージ長を低減 する。その代わりに、本発明の好ましい実施形態におけるビット置換方式は、出 力経路上でメッセージを導き、自動的にプロセッサまたはメモリ・バンクのリタ ーン・アドレスを生成するために、同じビットを使用して相互接続を行うだけで ある。 入力保持バッファ６２１のバッファＡ内で解読されたメッセージ・ステアリン グ・ビットは、メッセージが入力保持バッファＡを出た後に４個の出力要求バッ ファ６２２ａ-ｄのうちのいずれに行くのかを決定する。出力要求バッファ６２ ２の目的は、相互接続ネットワーク内におけるメッセージ競合およびブロッキン グを低減することにある。例えば、群バッファ(group buffer)６２３ａが満杯で あれば、出力要求バッファ内で待機しているメッセージはブロックされ（封鎖さ れ）、その経路が空くのを待っているメッセージが存在することになる。しかし 、例えば、異なる群バッファ６２３ｂ、ｃまたはｄに向かう別のメッセージが、 入力０からメモリ・モジュール６００に入ると、そのメッセージは群バッファ６ ２３ａに対して待機しているメッセージによってブロックされることなく、適切 な出力要求バッファ６２２の中へ入ることができる。このように、他のいずれか の 群バッファ６２３に向かう更なるメッセージが入力０に入った場合、そのメッセ ージは、適切な出力要求バッファ６２２に入って行くだけであるため、群バッフ ァ６２３へのアクセスをブロックされることがない。このようにして、より多く のメッセージはクロスバー・ネットワークにおけるブロックを「避けて通る」こ とができる。相互接続ネットワークを通過する特定の経路が１×１スイッチ６１ ０を通る全ての通路でブロックされている場合にのみ、その経路に入ったメッセ ージは全ての出力経路からブロックされる。もし、４×４スイッチ６２０内に出 力要求バッファ６１０が存在しなければ、４個の出力は全てブロックされるであ ろう。出力要求バッファ６２２を使用することにより、４個の出力の経路のうち 一つのみがブロックされる。出力要求バッファは、各ｎ×ｍスイッチおよびネッ トワークにおける、メッセージ競合およびブロッキングの可能性とメモリ・モジ ュール自体とを大いに低減する、ということが当業者には容易に理解できるであ ろう。 メッセージが出力要求バッファ６２２に入った後は、そのメッセージは適切な 群バッファ６２３ａ-ｄに導かれる状態になる。各群バッファ６２３は、各入力 の経路に対応する出力要求バッファ６２２からメッセージを探す。例えば、群バ ッファ６２３ａは、入力０、１、２、および３から４×４スイッチ６２０にそれ ぞれ入った適格なメッセージを、その対応する出力要求バッファ６２２ａ、６２ ２ｅ、６２２ｉおよび６２２ｍから探す。適切な出力要求バッファ６２２内に適 格なメッセージが一つだけ存在する場合は、群バッファ６２３はそのメッセージ を対応する１×２スイッチ６３０へ送るだけである。好ましい実施形態では、適 切な出力要求バッファ６２２内に適格なメッセージが複数存在すれば、群バッフ ァ６２３は、最後に選ばれた出力要求バッファからラウンドロビンの順序での次 のメッセージが送られる。例えば、群バッファ６２３ａが転送のために出力要求 バッファ６２２ｂを選択した場合において、もし、出力要求バッファ６２２ｃが 適格なメッセージを有していて、適格なメッセージが複数存在すれば、その群バ ッファは、転送のために出力要求バッファ６２２ｃを次に選択するであろう。 一旦或るメッセージが４×４スイッチ６２０の群バッファ６２３を通過すると 、 そのメッセージは、対応する１×２スイッチ６３０へ進む。好ましい実施形態で は、１×２スイッチ６３０に入るメッセージは、２個のメモリ・バンク６４０の うちの一つに経路が設定される。 或るメッセージが１×１スイッチ６３９のバッファＡに入った後は、バッファ Ａはメッセージ・ステアリング・ビットを解読して、そのメッセージを２個のバン ク入力バッファ(bank input buffer)６３２ａまたは６３２のうちの一つに導く 。各バンク入力バッファ６３２は、異なるメモリ・バンク６４０に対応づけられ ている。例えば、１×２スイッチ６３０ａに入るメッセージは、メモリ・バンク ０４へ経路を設定されるべきものであって、バンク入力バッファ６３２ｂへ導か れる。この段階において、メッセージは、バンク制御論理チップにより選択され て適切なメモリチップにアクセスできる状態になる。 メモリ・モジュール６００から要求元のＣＰＵへ戻るために、参照は、上述の ようにプロセッサからメモリへの出力経路側参照がメモリ・モジュールの出力経 路側６０４を通って進むのと同様にして、そのメモリ・バンクを出て、メモリ・モ ジュール６００の適切な入力経路側６０６を通って発信元のプロセッサに戻る。 メモリ・モジュール６００の入力経路側６０６の詳細を図８に示す。この場合も また、上半部と下半部の双方が示されている。入力経路参照(return reference) は、メモリ・バンク６１６を出た後、２×１スイッチ６５０に入る。各２×１ス イッチ６５０は８個のバッファＦＩＦＯ６５２を備えている。このスイッチにお けるＦＩＦＯは、パイプライン方式のメモリ部の可能性に対応できるように８段 の深さがなければならない（これについては下記において詳細に論じられる）。 各２×１スイッチ６５０は、２個の対応するメモリ・バンクからメッセージを受 け取り、そのメッセージを８個のバッファＦＩＦＯによってバッファリングし、 そのメッセージの経路を４×４スイッチ６６０の入力へと設定する。４×４スイ ッチ６６０は、図５を参照しつつ上記において説明された４×４スイッチ６２０ と同じように動作する。リターン・メッセージ(return message)は、４×４スイ ッチ６６０から適切な１×１出力バッファ６７０へと経路が設定される。１×１ スイッチ６７０は、図５を参照しつつ上記において説明された１×１スイッチ６ １ ０と同じように動作する。このリターン・メッセージは、対応する出力０〜７か らメモリ・モジュール６００を出て行く。 〈ネットワーク・モジュール〉 図９は、ネットワーク・モジュール３００のブロック図を示す。各ネットワー ク・モジュールは、１６個の入力０〜１５と１６個の出力０〜１５とを有してい る。実現の容易化のため、各ネットワーク・モジュールは二つの部分に論理的に 分離されている。入力０〜７はメモリ・モジュール６００ａ-ｈ（上半部）へと経 路が設定され、入力８〜１５はメモリ・モジュール６００ｉ-ｐ（下半部）へと経 路が設定されている。メモリ・モジュールに関し上記で説明したように、これら 二つの部分は完全に分離されていて、互いに影響されることはない。物理的に、 これら二つの部分は、プリント回路基板の上部側と底部側に実装されるのが好ま しい。しかし、本相互接続ネットワークは、ここに述べられた物理的な実現方法 に限定されるものではなく、多くの他の物理的な所定の実現が当業者にとっては 明白であろう。 或る特定のネットワーク・モジュール（図３参照）に接続された８個のプロセ ッサのそれぞれは、メモリに対して二つのポートを持っていて、それらは、１６ 個の１×１スイッチ３１０ａ-ｐを介してネットワーク・モジュール３００の入力 へ接続されている。例えば、ＣＰＵ０に対する二つのポートは、１×１スイッチ ３１０ａおよび１×１スイッチ３１０ｉを介して接続されている。そして各１× １スイッチ３１０は４個の４×４スイッチ３２０ａ-ｄのうちの一つに接続され ている。そして各４×４スイッチは、その４個の入力のそれぞれから４個の出力 の一つへと経路を設定し、出力側は、８個の２×２スイッチ３３０ａ-ｈで構成 されている。そして８個の２×２スイッチ３３０ａ-ｈのそれぞれは、１６個の メモリ・モジュール６００ａ-ｐの一つへの入力を有している。 メモリ・モジュール３００の入力経路３０４は、出力経路３０２上におけるも のと同様のこれらのスイッチから構成されている。１６個の１×１スイッチ３５ ０ａ〜３５０ｐは、１６個のメモリ・モジュール６００ａ-ｐの一つに接続されて いる。１×１スイッチ３５０は、１×１スイッチ３１０ａと同じように動作し、 それらと同様の構造となっており、上記において図６〜８を参照しつつ１×１ス イッチ６１０および６７０について論じられたのと同様である。４×４スイッチ ３６０ａ-ｄは、それぞれ、４個の１×１スイッチ３５０から成るスイッチ群か らの入力を受け取り、その４個の入力のそれぞれに対し、４個の２×２スイッチ ３７０の一つへ経路を設定する。４×４スイッチ３６０は、ネットワーク・モジ ュール３００の入力側３０２における４×４スイッチ３２０と同じように動作す る。同様に、２×２スイッチ３７０は、ネットワーク・モジュール３００の入力 側３０２における２×２スイッチ３３０と同じように動作する。一つの２×２ス イッチからの各出力は、８個のプロセッサ１００ａ-ｈのうちの２個のプロセッ サに接続された出力のうちの一つである。このようにして、図９に示すように、 ＣＰＵ１００ａのポート０は２×２スイッチ３７０ａに接続され、ＣＰＵ１００ ａのポート１は２×２スイッチ３７０ｅに接続される。 図１０は、ネットワーク・モジュール３００の出力経路３０２のより詳細なブ ロック図を示す。図１０は出力経路の上半部のみを示している。すなわち、入力 ３１０ａ〜３１０ｈは示されているが３１０ｉ〜３１０ｐは示されていない。し かし、図１０に示されていないネットワーク・モジュールの下半部は、図１０お よび１１を参照しつつ説明される上半部と同じように動作する。図１０は、１× １スイッチ３１０、４×４スイッチ３２０、および２×２スイッチ３３０のそれ ぞれの内部構造を示している。図１０に示された詳細より、１×１スイッチ３１ ０は、図６〜８を参照しつつ上記において説明された１×１スイッチ６１０ａお よび１×１スイッチ６７０と同じように動作し、それらと同様の構造となってい る。また、４×４スイッチ３２０は、図６〜８を参照しつつ説明された４×４ス イッチ６６０および６２０と同じように動作し、それらと同様の構造となってい る。 ２個の４×４スイッチ３２０ａおよび３２０ｂからの４個の出力のそれぞれは 、４個の２×２スイッチ３３０ａ-ｄのうちの一つへ経路が設定されている。２ ×２スイッチ３３０のそれぞれは、４個のバッファを有する２個のＦＩＦＯ３３ １ａおよび３３１ｂを有しており、これらのＦＩＦＯのそれぞれは、メッセージ の 経路を２個のモジュール・バッファ３３２ａおよび３３２ｂへ設定している。Ｆ ＩＦＯ３３１におけるバッファＡは、メッセージ・ステアリング・ビットを解読し て、そのメッセージに対し適切なモジュール・バッファ３３２へ経路を設定する 。各モジュール・バッファは、メモリ・モジュールの一つに対する入力となってい る。 図１１は、ネットワーク・モジュールを通過する入力経路３０４を示す。図１ ０と同様に、図１１は、ネットワーク・モジュール３００における入力経路の上 半部のみを示している。図１１に示された詳細より、１×１スイッチ３５０は、 図１０に示された１×１スイッチ３１０、図７に示された１×１スイッチ６１０ 、および図８に示された１×１スイッチ６７０と同じように動作し、それらと同 様の構造となっている。同様に、４×４スイッチ３６０は、図１０に示された４ ×４スイッチ３２０、図８に示された４×４スイッチ６６０、および図７に示さ れた４×４スイッチ６２０と同じように動作し、それらと同様の構造となってい る。最後に、２×２スイッチ３７０は、図１０を参照しつつ上記において説明さ れた２×２スイッチ３３０と同じように動作し、それと同様の構造となっている 。 〈マルチ処理システムの一例についての詳細な説明〉 上記の説明より当業者にとっては、メモリ・モジュール６００およびネットワ ーク・モジュール３００の設計におけるモジュール性は明白であろう。最小のマ ルチ処理システムを構成するものと同一のｎ×ｍスイッチを、修正することなく 、最大のシステムを構築するために使用することができる。したがって、モジュ ール性と拡張性は本ネットワーク・モジュールおよびメモリ・モジュールの設計に 本来的に備わっているものであるため、それらはシステム実現のために選択され る技術に依存せず、また、極めて柔軟性に富み、容易に規模を変更できるマルチ 処理システムを得ることができる、ということが当業者には容易に理解できるで あろう。 本発明の相互接続ネットワークを用いて構築することができるマルチ処理シス テムの三つの例を詳細に説明する。 再び図１を参照しつつ、４個のＣＰＵを有するマルチ処理システムを説明する 。図２は、各ＣＰＵ１００からの８個の出力のそれぞれに対し共通メモリ６０２ へ の経路を設定する方法の詳細を示している。図２に示された接続により、各ＣＰ Ｕは共通メモリ６０２内の全てのメモリ・バンクにアクセスできるようなる。図 ２は、例えば、ＣＰＵ１００ａのポート０および１がメモリ・モジュール６００ ａの入力０および４にそれぞれ接続されていることを示している。図６は、入力 ０がメモリ・バンク６４０ａ-ｈへのアクセス経路を有し、入力４がメモリ・バン ク６４０ｉ-ｐへのアクセス経路を有することを示している。このように、各メ モリ・バンクは、各ＣＰＵ１００のポート０またはポート１のいずれかに対応づ けられる。ＣＰＵ１００ａのポート０および１は、同様にしてメモリ・モジュー ル６００ｂ-ｄにも接続されている。ＣＰＵ１００ｂ-ｄも同様にして各メモリ・ モジュール６００に接続され、これにより、各ＣＰＵが共通メモリ６０２内のメ モリ・バンク６４０の全てにアクセス経路を有するようになっている。 次に図３を参照しつつ、ＣＰＵが３２個のマルチ処理システムを説明する。３ ２個のＣＰＵ１００ａ-ｆｆとネットワーク・モジュール３００ａ-ｐとの間の接 続の細部を図４により詳細に示す。図４は、８個のＣＰＵと、ネットワーク・モ ジュール３００ａ、３００ｅ、３００ｉおよび３００ｍの間の、それらのＣＰＵ に関連する相互接続とを示している。ＣＰＵ１００ａ-ｆｆは、各ＣＰＵがメモ リ・モジュール６００の各メモリ・バンクへのアクセス経路を有するように、ネッ トワーク・モジュール３００に接続されている。このようにして、ＣＰＵ１００ ａのポート０は、ネットワーク・モジュール３００ａの入力０、ネットワーク・モ ジュール３００ｅの入力０、ネットワーク・モジュール３００ｉの入力０、およ びネットワーク・モジュール３００ｍの入力０に接続される。図９に示すように 、ネットワーク・モジュール３００において、ＣＰＵ１００ａのポート０は入力 ０経由でメモリ・モジュール６００ａ-ｈへアクセスする経路を有し、ＣＰＵ１０ ０ａのポート１は入力８経由でメモリ・モジュール６００ｉ-ｐへアクセスする経 路を有している。図３に示された３２個のＣＰＵのシステムにおける残りのプロ セッサも同様にして接続され、各ＣＰＵが共通メモリ６０２内の全てのメモリ・ バンクへの経路を有するようになっている。 図５は、図３に示された３２個のＣＰＵのシステムの一例における、ネットワ ーク・モジュール３００ａ-ｄとメモリ・モジュール６００ａ-ｈとの間の接続をよ り詳細に示している。各メモリ・モジュール６００ａ-ｈは、４個のネットワーク・ モジュール３００ａ-ｄのそれぞれにおける２個の出力に接続されている。この ネットワーク・モジュールとメモリ・モジュールは、３２個のプロセッサのいずれ からの参照も共通メモリ６０２内のいずれのメモリ・バンクにも到達できるよう に接続されている。 例えば、ＣＰＵ１００ｄからの参照に対しメモリ・モジュール６００ｈのメモ リ・バンク６４０ｅへ経路を設定するために（図３参照）、ＣＰＵ１００ｄのポ ート０はネットワーク・モジュール３００ａの入力３へ経路が設定される（図４ 参照）。ネットワーク・モジュール３００ａからは、メッセージがネットワーク・ モジュール３００ａの出力７より出される（図５に示されている）。この出力は メモリ・モジュール６００ｈの入力０に接続されている。次に図６を参照すると 、各メモリ・モジュール６００の入力０は、それぞれのバンク６４０ｅへの経路 として、４×４スイッチ６２０ａおよび１×２スイッチ６３０ｃ経てバンク６４ ０ｅへ到達するという経路が設定されている。再び図３を見ると、ＣＰＵ１００ ｑからの参照に対し、ネットワーク・モジュール３００ｇを経由して、または、 いずかのＣＰＵとメモリ・バンクとの間で上述の経路と同様の相互接続ネットワ ーク内の経路に沿って、メモリ・モジュール６００ｉへの経路を設定することが できる。 ４個よりも多いが３２個よりも少ないプロセッサを有するシステムは、図３の ３２個のＣＰＵのシステムを変形したものを用いて構築することができる。例え ば、８個のＣＰＵのシステムを、ネットワーク・モジュール３００ａを介してメ モリ・モジュール６００ａ-ｈに接続されたＣＰＵ１００ａ-ｈで構築することが できる。図４および５に示すように、８個のＣＰＵのシステム内の各ＣＰＵの各 ポートに対し８個のメモリ・モジュール６００ａ-ｈへの経路を提供するためには 、各ＣＰＵ１００ａ-ｈの出力０および１のみが必要である。したがって、各Ｃ ＰＵの出力２〜７は無効なものとなる。 ８個のＣＰＵのマルチ処理システム内のネットワーク・モジュール３００ａは 、 図５に示すように８個のメモリ・モジュール６００ａ-ｈのそれぞれに接続されて いる。ただ一つのネットワーク・モジュールのみが必要であるため、各メモリ・モ ジュールの入力０および１のみが使用される。残りの入力は接続されず、したが って残りの経路におけるどのデータも無効である。 ８個のＣＰＵと８個のメモリ・モジュールを有するマルチ処理システムのよう なシステムでは、ＣＰＵの全ての出力が使用されているわけではなく、そのよう なシステムに対しては、相互接続ネットワークにおける各経路上のデータが有効 か否かを示す機構が設けられている。使用されていないそれらの出力に対しては 、ノイズまたは他の無効な情報が所定のプロセッサからメモリ経路へ送られる。 もし、メモリ・バンクがこれらの無効な信号を或るメモリ位置に対して読み出す べき又は書き込むべき命令またはデータと解釈すれば、エラーが発生する可能性 がある。 有効なデータが各信号線に存在することを保証するために、プロセッサの有効 な出力のそれぞれは、シリアルなビット・ストリームを相互接続ネットワークの 最初のスイッチに送り込む。このシリアルなビット・ストリームは、その出力か らのデータが有効か否かを示すために、その中に「健全性コード(sanity code) 」が埋め込まれている。この健全性コードは、プロセッサの有効な出力のそれぞ れに相互に接続された最初のネットワーク・スイッチへシリアルにかつ連続的に 送り出される６ビットのパターンである。したがって、図２に示した各ＣＰＵに 対しては、ＣＰＵの有効な出力のそれぞれが、それぞれのメモリ・モジュール６ ００の最初のスイッチへ健全性コードを送る。図３に示した各ＣＰＵに対しては 、ＣＰＵの有効な出力のそれぞれが、それぞれのネットワーク・モジュール３０ ０の最初のスイッチへ健全性コードを送る。この健全性コードの目的は、相互接 続ネットワーク内のモジュール間のインタフェイスを保護することである。正し い健全性コードが受け取られると、その入力がアクセス経路を有している８個の 出力の全てに、その受け取ったものが同報送信される。このようにして、例えば 、図７では、問題となっているＣＰＵの出力がメモリ・モジュール６００の入力 ２に接続されていれば、１×１スイッチ６１０ｃが健全性コードが正しいか否か を 調べ、正しい健全性コードを受け取っていれば、それを、入力２がアクセス経路 を有している８個のメモリ・バンク６４０ａ-ｈへ同報送信する。 健全性コードを監視するための制御回路を図１３に示す。各モジュールの最初 のスイッチにおける健全性検査回路７００は、受け取った健全性コードを監視し て、モジュールのその入力に入って来たデータが有効か否かを判定する。メモリ・ モジュール６００に対しては、各入力０〜７に対応する各１×１スイッチ６１ ０ａ-ｈ内に健全性検査回路７００が存在する。ネットワーク・モジュール３００ に対しては、各入力０〜１５に対応する各１×１スイッチ３１０ａ-ｐ内に健全 性検査回路７００が存在する。 健全性検査回路７００は、対応するスイッチのＦＩＦＯをイネーブルにするも のとして動作する。健全性コードが正しく受信されなければ、そのスイッチ内の ＦＩＦＯは使用可能とはされず、そのスイッチに入る如何なる情報もＦＩＦＯバ ッファの中へは格納されない。 無効なＣＰＵによって又はネットワーク・モジュールもしくはメモリ・モジュー ルの未接続の入力によって生じるノイズが健全性コードと同じになるということ が極めてまれであるように、健全性コードを選択しなければならない。したがっ て、６ビットの健全性コードの適切な一例は、 ０１００１１ である。 上述のように、この６ビットの健全性コードは、ＣＰＵの有効な出力によって のみ、シリアルにかつ連続的に送り出される。その６ビットのコードがシリアル に１６回連続して受け取られたと健全性検査回路が判定すると、一つのメモリ・ バンクが動作可能とされて、相互接続ネットワークの所定の経路上のデータに注 意を払うようになるだけである。如何なるときであっても正しい健全性コードが 受け取られない場合は、そのメモリ・バンクは、正しい６ビットのコードが再び シリアルに１６回連続して受け取られるまで、その経路上のデータを無視する。 結果として得られる９６ビットのコード（６ビットのコードが１６回繰り返さ れたもの）は、非常に明瞭な周波数とその中に組み込まれた信号パターン(signa lling patterns)を有する信号である。これらの周波数および信号パターンがノ イズと同じとなるのは極めてまれである。 本相互接続ネットワークのモジュール性により、小規模システムを構築するた めに使用されるのと同一のモジュールを、修正を加えずに、最大規模のシステム を構築するために使用することができる。図１３および１４は、本発明の相互接 続ネットワークを使用して構築することができるマルチ処理システムのいくつか の例を記載した表を示している。図１３は、１〜４個のＣＰＵを有するマルチ処 理システムについてのモジュール数、セクション構成(section configurations) 、およびアドレス・ビットの割り付け(address bit layout)を記載した表を示し ている。図１４は、８〜３２個のＣＰＵを有するマルチ処理システムの例に対す る表を示している。図１３および１４に示したシステムおよびこの中で説明され たシステムの例は、決して、本相互接続システムを使用して構築できる唯一のマ ルチ処理システムではない。それどころか、無限の種類の構成が本発明の範囲を 逸脱することなく構築可能であろう。 〈パケット化メッセージ〉 好ましい実施形態では、書込情報(write references)は、２個の連続したパケ ットでメモリ・モジュール６００へＣＰＵによって送られる。読出情報(read ref erences)は、単一のパケットで転送される。書込情報に対しては、１番目のパケ ットが必要なアドレスおよび制御情報の全てと書込データの半分とを収容してい る。２番目のパケットは、書込データの後半部を収容している。共通メモリへの 書込については時間は本質的なものではないため、この方法は、ネットワーク・ モジュールおよびメモリ・モジュールの出力経路において必要とされる相互接続 を最小化する。 好ましい実施形態では、２番目のパケットは１番目のパケットに追随して、直 後のクロックの周期でスイッチに入ってそれを通過し、１番目のパケットと同一 の相互接続経路に沿って進む。このため、各データ移動にはクロックの２周期の 期間を要する。このように、２番目のパケットは、１番目のパケットに対してち ょうどクロックの１周期分だけ遅れて、メモリ・モジュールおよびネットワーク・ モ ジュールの各ｎ×ｍスイッチ内に存在する。 書込情報をパケット化して、それらにネットワーク・モジュールおよびメモリ・ モジュールを順次巡回させることにより、各ｎ×ｍスイッチの実現に要する相互 接続の数が１／２に低減される、ということが当業者には容易にわかるであろう 。現在の設計では、チップ内のゲートを利用し得る相互接続よりも、比率として は多くのゲートがチップに含まれている。したがって、相互接続は、多くのチッ プ設計において乏しい資源である。例えば、４個の独立した入力の経路および４ 個の独立した出力の経路を有する４×４スイッチと、１２０ビット幅のメモリ参 照とを想定されたい。そのようなクロスバー・スイッチを作製するのに必要な相 互接続の数は、この場合、１２０の８倍の数となる。これは極めて大きな数であ って、単一チップに適合する数よりもはるかに大きく、実際、数個のチップに適 合する数よりもはるかに大きい、ということが当業者には容易にわかるであろう 。 メモリ参照をパケット化することにより、１２０ビット幅のメモリ参照が１／ ２に減少する。これにより、システムの全ての相互接続も１／２に減少する。こ れは極めて大きな意味を持ち得る低減である。本発明において使用されるこのパ ケット化方法は、各スイッチを単一チップ内に実現できるという点で、システム 設計を大幅に簡潔にするものである、ということが当業者には容易にわかるであ ろう。 しかし、読出情報は書込情報のようにはパケット化されない。出力経路上にお いて、読出情報は制御情報と所望の読出アドレスのみを有している。読み出しの 待ち時間をできるだけ短くすることが重要であるため、メモリ・モジュールおよ びネットワーク・モジュールの入力経路６０６および３０４は、それぞれ、その 幅が完全に１ワード分となっている。このため、各読出情報は、書込情報の出力 経路のように２クロックを必要とするのではなく、各クロック毎に転送される。 また、相互接続を更に節約するために、目的地コード（すなわち、プロセッサ・ リターン・アドレス）を出力経路の読出情報の書込データのフィールドの中に入 れて送る。この方法は、相互接続ネットワークの出力経路上で必要となる相互接 続の数を更に節約する、ということが当業者には容易にわかるであろう。 〈ハンドシェイク・プロトコル〉 レディ／レジューム(READY/RESUME)のハンドシェイク・プロトコルにより、連 続するｎ×ｍスイッチ層の間での円滑な通信が達成される。図１２は、４×４ス イッチ６２０に接続された１×１スイッチ６１０の制御回路の更なる詳細を示す 。本ハンドシェイク・プロトコルは、図１２に示した１×１スイッチおよび４× ４スイッチを特に参照して説明されるが、スイッチ６１０および６２０は単に例 に過ぎず、これらは、図６〜１１を参照しつつ上記において説明されたスイッチ のいずれかの代表として考えている。 本相互接続ネットワークにおける各ｎ×ｍスイッチは、そのスイッチの各出力 に対応づけられたカウンタを備えている。したがって、例えば、図１２に示した スイッチ６１０は、その単一の出力の経路に対応づけられた１個のカウンタ６１ ２を備えている。４×４スイッチ６２０は４個のカウンタ６２４ａ-ｄを備えて いて、それらのカウンタのそれぞれは、４個の群バッファ６２３ａ-ｄのうちの 一つに対応している。目的スイッチ内のＦＩＦＯバッファの数に等しい値を最大 のカウント値としている。したがって、例えば、カウンタ６１２は、４×４スイ ッチ６２０のＦＩＦＯ６２１ａ内のバッファＡ〜Ｄの数である４までカウントす る。 これらのカウンタは、２個のスイッチの間で伝送されるレディおよびレジュー ムのハンドシェイク信号により、値が増加または減少する。レディ信号はカウン タの値を増加させる。レジューム信号はカウンタの値を減少させる。したがって 、１×１スイッチ６１０は、１×１スイッチ６１０のカウンタ６１２の値が４よ りも小さい間は更にメッセージを４×４スイッチ６２０に送信できることを知る 。カウンタ６１２の値が４であれば、１×１スイッチは、４×４スイッチ６２０ 内のＦＩＦＯバッファ６２１ａが満杯であり、１×１スイッチ６１０から更なる メッセージの受理はできないことを知る。 カウンタの値は０から始まる。一つのメッセージが１×１スイッチ６１０内の ＦＩＦＯのバッファＡから送り出される毎に、レディ信号もそのメッセージの内 容とともに４×４スイッチ６２０へ送られる。このレディ信号は二つの目的を持 っている。第１にレディ信号は、一つのメッセージがバッファＡから送り出され る毎にカウンタ６１２に入力される。レディ信号はカウンタ６１２の値を増加さ せる。第２にレディ信号は、ＦＩＦＯ６２１ａにより、１×１スイッチ６１０か ら送られるメッセージ・データに対する有効信号として使用される。このカウン タの値は０から始まるため、１×１スイッチ６１０は、４個のメッセージを送る ことができ、それらの送出後は４×４スイッチ６２０から送られるレジューム信 号を待たなければならない。 ４×４スイッチ６２０内のＦＩＦＯ６２１ａのバッファＡからメッセージが出 て行くと、必ずレジューム信号が１×１スイッチ６１０へ送り返される。このレ ジューム信号はカウンタの値を減らし、ＦＩＦＯ６２１ａ内で一つのスペースが 空いたことを示す。 レディ／レジュームのハンドシェイクは、この中で説明された各ｎ×ｍスイッ チに対して同じように機能する。このようにして本相互接続ネットワーク内の各 スイッチ層の間での円滑な通信が達成される。 〈メモリのタイミング〉 好ましい相互接続ネットワークは、広範囲のメモリ・アクセス時間およびサイ クル時間での使用に適応できる。制御回路は、各メモリ・モジュール６００の１ ×２スイッチ６３０内に配置されている。このスイッチの更なる詳細を図１６に 示す。図１６は、ＦＩＦＯバッファ６３１、アドレス経路６３３、制御ビット経 路６３４、および遅延チェイン(delay chain)６３６を示しており、これらの全 ては、１×２スイッチ６３０内に存在する。遅延チェイン６３６は、マルチ処理 システムに取り付けられたメモリの速度とサイクル時間に応じて、１×２スイッ チ６３０における遅延を制御する。マルチ処理システムに取り付けられたメモリ のアクセス時間は、８位置セレクタ６３７ａによって１×２スイッチ６３０へ知 らされる。セレクタ６３７ａは、制御タグ(control tag)が入力６３５ａ-ｈのい ずれに入るかを制御することにより、遅延チェイン６３６ａの長さを制御する。 この制御タグは、遅延チェインの８入力６３５ａ-ｈのうちの一つに入る。この 制御タグは、目的地コード、リターン・アドレス、および他の制御情報を有して いる。セレクタ６３７ａは、遅延チェイン６３６ａ内のいずれの場所に制御タグ が入るかを制御する。 このタグが一旦遅延チェイン６３６ａに入ると、このタグは、遅延チェイン６ ３６ａの最後に到達するまで、そのチェインを流れていく。その後、この制御タ グは、メモリ・バンクから出て来るメッセージ・データを採取してそのメッセージ をＦＩＦＯ６５２における最初の空いているバッファにロードする時点になると 、メモリ・バンクの出力側における２×１スイッチ６５０に信号を送るために使 用される。 メモリのサイクル時間は、メモリのアクセス時間と同様に制御される。８位置 のセレクタ６３７ｂが、まさに上述のようにして同様の遅延チェイン６３６ｂを 制御する。しかし、セレクタ６３７ｂおよび遅延チェイン６３６ｂはメモリのサ イクル時間を制御するため、この遅延チェインの出力は、１×２スイッチ６３０ のバッファ６３２ａおよび６３２ｂまで送られて、メッセージがその１×２スイ ッ チを出てメモリ・バンクへ行く頻度を制御する。 更なるセレクタ６３７ｃは、マルチ処理システムに取り付けられたメモリ部分 がパイプライン方式のメモリ部分か、パイプライン方式ではないメモリ部分かを 示す２位置のセレクタである。このように、本相互接続ネットワークは、異なる アクセス時間およびサイクル時間を有する多くの異なる種類のメモリを本相互接 続ネットワークにおいて使用することを想定している。例えば、ＳＲＡＭまたは ＳＲＡＭを使用することができる。どのようなメモリが使用されるかに応じて、 セレクタ６３７はそのメモリの種類に対応するように設定される。 本相互接続ネットワークの設計はマルチ処理システムのスケーラビリティ(sca lability)を大きく増大させる、ということが当業者には容易に認識できるであ ろう。ネットワーク・モジュールおよびメモリ・モジュール内の各ｎ×ｍスイッチ はその隣接部と通信するだけでよいため、この相互接続ネットワークは、極めて スケーラビリティに富んでいる。個々のｎ×ｍスイッチのそれぞれは、相互接続 ネットワーク全体について、または、２つ若しくは３つ前方の層で起こっている 事象についての大域的な情報を持つ必要はない。各ｎ×ｍスイッチは、ＣＰＵと メモリとの間で調停を行いデータを送るために、局所的な情報を持つだけでよい 。同様に、ＣＰＵは、メモリ参照を送出する前に、相互接続ネットワークについ て又はメモリの応答時間についての大域的な知識を持つ必要はない。この方法に おいて、ＣＰＵは、そのＣＰＵからメモリ・バンクまでのデータ経路全体が空い ていることを確かめる必要はない。本相互接続ネットワークを使用すると、ＣＰ Ｕは、簡単に「火をつけて忘れる(fire and forget)」ことができる。本相互接 続ネットワークは大域的な調停回路(arbitrator)を必要としないことから、ＣＰ Ｕや、ｎ×ｍスイッチ、オペレーティングシステムについての如何なる再設計も 必要としないので、単純な複製によって極めて容易にシステムの規模を変えるこ とができる、ということを当業者は理解するであろう。異なる構成における構成 要素を接続し直すだけで、アーキテクチャの規模が直ちに変更される。 本相互接続ネットワークの他の利点は、この相互接続ネットワークは使用され るＣＰＵの種類に依存せず、またメモリの速度にも依存しないということである 。 メモリの応答時間に依存しない如何なる種類のプロセッサの構成も、本発明のシ ステムに適応できる。このようなプロセッサ構成の一つは、同時係属中で本出願 人に譲渡され、1990年10月19日に出願された、オバーリン(Oberlin)らによる「S CALABLE PARALLEL VECTOR COMPUTER SYSYTEM（スケーラブルな並列ベクトル計算 機システム）」という名称の米国特許出願第07/600,328号の中に見ることができ る。参考までにこの出願をここに挙げておく。また、たとえメモリの全てのバン クが異なる速度で動作しても、本相互接続ネットワークは正しく機能し、複雑な 再設計を行う必要はない。したがって本相互接続ネットワークの設計はこの点に おいて極めて柔軟性に富む、ということが当業者はわかるであろう。このように 、本相互接続ネットワークで使用されるＣＰＵは、時間に影響を受けやすいもの ではなく、したがって、メモリの待ち時間がより長い場合であっても効率よく動 作する。本相互接続ネットワークの設計は、大量のデータがＣＰＵとメモリとの 間で移動できるように、バンド幅を広げるものである。このような設計方式によ り、極めて広いバンド幅で極めて高いスループットの計算機が得られる、という ことを当業者は容易に理解するであろう。すなわち、これは、並列度の高いベク トル処理のタスクに特によく適合した設計である。 ここでは特定の実施形態が説明されているが、同一の目的を達成することを意 図している如何なる構成も、その説明された特定の実施形態の代わりに用いるこ とができる、ということを当業者は理解するであろう。例えば、本発明のアーキ テクチャは、異なる数のプロセッサ、異なる量のメモリ、または、プロセッサ１ 個当たりの異なる数のプログラム・スレッド(program threads)で実現されてもよ い。また、本発明のアーキテクチャは、使用されるプロセッサの特定の種類、メ モリの速度、または、この詳細な説明において開示された特定の論理設計のいず れにも依存しない、ということが当業者にはわかるであろう。本発明の範囲を逸 脱することなく、異なる種類のプロセッサを使用できるであろう。 この出願は、本発明の改造または変形をカバーするものである。したがって、 この発明は請求の範囲およびその均等物によってのみ限定されることは明かであ る。

【手続補正書】特許法第１８４条の８ 【提出日】１９９４年１１月２９日 【補正内容】 おいて更に詳細に説明する。 図１〜３は、ネットワーク・モジュール３００およびメモリ・モジュール６００ のアーキテクチャのモジュール性により、如何にして、単純な複製で任意の規模 のシステムの構築が可能となるのかを示している。１〜４個のＣＰＵを有するシ ステムにおいては、それらのＣＰＵは図１および２に示すようにメモリ・モジュ ール６００に直結される。４個よりも多くのＣＰＵを有するシステムにおいては 、それらのＣＰＵは、まずネットワーク・モジュール３００に接続され、そのネ ットワーク・モジュールがメモリ・モジュール６００に接続される。最小のマルチ 処理システムを構成するものと同一のネットワーク・モジュールおよびメモリ・モ ジュールを、修正することなく、最大のシステムを構築するために使用すること ができる。モジュール性と拡張性は本相互接続ネットワークの設計に本来的に備 わっているものであるため、それらはシステム実現のために選択される技術に依 存せず、極めて柔軟性に富み、その結果、容易に規模を変更できるマルチ処理シ ステムが得られる、ということが当業者には容易にわかるであろう。 ４個、８個、および３２個のＣＰＵを有するマルチ処理システムの例を説明す る前に、メモリの相互接続ネットワークを構成するメモリ・モジュール６００お よびネットワーク・モジュール３００について詳細に説明する。一般に、メモリ・ モジュール６００およびネットワーク・モジュール３００は、ｎ×ｍスイッチの 集合から構成される。これらのｎ×ｍスイッチは、種々の形態に接続されてメモ リおよびネットワークのモジュールを形成し、それらは、プロセッサと共通メモ リとの間にメッセージの経路を設定する。相互接続ネットワークを構築するため に同一のｎ×ｍスイッチ群が繰り返し使用されるように、そのスイッチが作製さ れる。したがって、その結果得られる構造はモジュール性が高く、小規模のマル チ処理システムを構築するために使用されるものと同一の構成要素が大規模なシ ステムにおける接続にも使用できるようになっている。 〈メモリ・モジュール〉 次にメモリ・モジュール６００について詳細に説明する。図６は、メモリ・モジ ュール６００のブロック図を示す。出力経路(outgoing path)６０４および入力 経 路(return path)６０６の双方が示されている。各メモリ・モジュール６００は、 ８個の入力０〜７と１６個のメモリ・バンク６４０ａ〜６４０ｐとを備えている 。実現の容易化のため、このメモリ・モジュールは、論理的に二つの独立部分に 分離されている。入力０〜３はメモリ・バンク６４０ａ〜６４０ｈ（上半部）へ 経路が設定されており、一方、入力４〜７はメモリ・バンク６４０ｉ〜６４０ｐ （下半部）へ経路が設定されている。これら二つの部分は、完全に分離されてい て、互いに影響されることはない。物理的に、これら二つの部分は、一つのプリ ント回路基板の上部側と底部側に配置されるのが好ましい。しかし、本相互接続 ネットワークは、この物理的な実現方法に限定されないと理解すべきである。す なわち、多くの他の物理的な所定の実現が当業者によって容易に考えられるであ ろう。 入力０〜７のそれぞれは、まず１×１スイッチ６１０によってバッファリング される。４個のスイッチ６１０から成る２個のスイッチ群は、２個の４×４スイ ッチ６２０のうちの一つの入力へ接続される。２×２スイッチ４２０は、４個の 入力のそれぞれから４個の１×２スイッチ６３０の一つへ経路を設定する。１× ２スイッチ６３０のそれぞれは、一つの入力から２個のメモリ・バンク６４０の 一つへ経路を設定する。 各メモリ・モジュール６００の入力経路６０６において、２個のメモリ・バンク は２×１スイッチ６５０へ経路が設定されている。４個の２×１スイッチ６５０ は、４×４スイッチ６６０の入力へ接続され、その後、それらは４個の１×１ス イッチ６７０の一つへ経路が設定され、全部で８個の出力０〜７へ経路が設定さ れている。 図７は、メモリ・モジュール６００の出力経路側６０４のより詳細なブロック 図を示す。上半部および下半部の双方が示されている。メモリ・モジュール６０ ０の入力０〜７のそれぞれは、ＣＰＵ１００からそのメモリ・モジュールへのメ モリ参照をバッファリングする１×１スイッチを有している。各１×１スイッチ ６１０におけるバッファの数は、クロスバー・スイッチ間での通信の往復時間に よって変わる。各クロックの周期がその通信時間に付加されるため、各１×１ス イッチ６１０内のバッファを更に追加する必要がある。１×１スイッチ６１０の 目的は、メッセージ・パケットを多重に送ることができるように、クロスバー・ス イッチ間の通信時間をカバーすることにある。したがって、図６に示した本メモ リ・モジュールには、６個のバッファＡ〜Ｆが設けられていて、ｎ×ｍスイッチ がクロックの１周期の期間で通信を行う。 １×１スイッチ６１０におけるバッファＡ〜Ｆ、および本相互接続ネットワー クを構築するために使用される全てのｎ×ｍスイッチにおけるバッファは、先入 れ先出し（ＦＩＦＯ）のキュー構造体(queue structure)を有している。入力０ 〜７のうちの一つを経由してメモリ・モジュール６００に入るメッセージは、そ の経路用の対応するバッファＡに他のメッセージが既に存在するということがな ければ、そのバッファＡに保持される。バッファＡが占有されている場合には、 そのメッセージは、バッファＢが使用可能であれば、バッファＡの代えてバッフ ァＢに保持される。バッファＡがいったん空になると、バッファＢに存在するメ ッセージはバッファＡへ移される。別のメッセージがアクセスしようとしたとき バッファＡおよびバッファＢの双方が満杯であれば、そのメッセージはバッファ Ｃに入る。このようにして入力バッファは、先入れ先出しキューとして動作する 。別のメッセージがその入力バッファ６１０に入ろうとしたときバッファＡ〜Ｆ が全て満杯であれば、そのメッセージは、メモリ・モジュールに入る前に、ＦＩ ＦＯバッファの一つが解放されるまで単に待機するだけである。入力保持バッフ ァ(input holding buffer)６２１が他のメッセージを受け取る用意ができている ときは、１×１スイッチ６１０のバッファＡ内のメッセージは、４×４スイッチ の入力保持バッファ６２１の中に保持される。 いったんメッセージが入力保持バッファ６２１に保持されると、バッファ６２ １のバッファＡは２個のメッセージ・ステアリング・ビット(message steering bi t)を解読してそのメッセージの経路を４個の出力要求バッファ(output request buffers)のいずれに設定すべきかを決定する。２個のメッセージ・ステアリング・ ビットを解読した後、バッファＡは、最初のパケット内の２個のメッセージ・ス テアリング・ビットを、８個の入力０〜７のうちいずれの入力からそのメッセー ジがメモリ・モジュール６００に入ったかを表す２個のビットに置き換える。こ のようにして、メッ そのメッセージは、対応する１×２スイッチ６３０へ進む。好ましい実施形態で は、１×２スイッチ６３０に入るメッセージは、２個のメモリ・バンク６４０の うちの一つに経路が設定される。 或るメッセージが1×２スイッチ６３０のバッファＡに入った後は、バッファ Ａはメッセージ・ステアリング・ビットを解読して、そのメッセージを２個のバン ク入力バッファ(bank input buffer)６３２ａまたは６３２ｂのうちの一つに導 く。各バンク入力バッファ６３２は、異なるメモリ・バンク６４０に対応づけら れている。例えば、１×２スイッチ６３０ａに入るメッセージは、メモリ・バン ク０４へ経路を設定されるべきものであって、バンク入力バッファ６３２ｂへ導 かれる。この段階において、メッセージは、バンク制御論理チップにより選択さ れて適切なメモリチップにアクセスできる状態になる。 メモリ・モジュール６００から要求元のＣＰＵへ戻るために、参照は、上述の ようにプロセッサからメモリへの出力経路側参照がメモリ・モジュールの出力経 路側６０４を通って進むのと同様にして、そのメモリ・バンクを出て、メモリ・モ ジュール６００の適切な入力経路側６０６を通って発信元のプロセッサに戻る。 メモリ・モジュール６００の入力経路側６０６の詳細を図８に示す。この場合も また、上半部と下半部の双方が示されている。入力経路参照(return reference) は、メモリ・バンク６１６を出た後、２×１スイッチ６５０に入る。各２×１ス イッチ６５０は８個のバッファＦＩＦＯ６５２を備えている。このスイッチにお けるＦＩＦＯは、パイプライン方式のメモリ部分の可能性に対応できるように８ 段の深さがなければならない（これについては下記において詳細に論じられる） 。各２×１スイッチ６５０は、２個の対応するメモリ・バンクからメッセージを 受け取り、そのメッセージを８個のバッファＦＩＦＯによってバッファリングし 、そのメッセージの経路を４×４スイッチ６６０の入力へと設定する。４×４ス イッチ６６０は、図５を参照しつつ上記において説明された４×４スイッチ６２ ０と同じように動作する。リターン・メッセージ(return message)は、４×４ス イッチ６６０から適切な１×１出力バッファ６７０へと経路が設定される。１× １スイッチ６７０は、図５を参照しつつ上記において説明された１×１スイッチ ６１ 【図１】 【図２】 【図３】 【図４】 【図５】 【図６】 【図７】 【図７】 【図７】 【図７】 【図８】 【図８】 【図８】 【図８】 【図９】 【図９】 【図１０】 【図１０】 【図１０】 【図１０】 【図１１】 【図１１】 【図１１】 【図１１】 【図１２】 【図１２】 【図１３】 【図１４】 【図１５】 【図１６】 【図１６】 【図１６】 【図１６】 【手続補正書】特許法第１８４条の８ 【提出日】１９９５年５月３日 【補正内容】 トワークは、自暴自棄ルーティング(desperation routing)またはホットポテト・ ルーティング(hot potato routing)と呼ばれる方式を使用している。ホライゾン の自暴自棄ルーティングは、複数の入力と同数の出力を有する多段ネットワーク である。この方式は、どのネットワークのサイクルにおいても各入力に対し一つ の出力への経路を設定する必要がある。例えば、４個の入力情報(input referen ces)が存在し、その４個の入力情報が同一の出力に行くことを欲している場合、 その４個の入力情報のうち一つが正しい出力へ行き、他の全ての入力は欲してい ない他のいずれかの出力へ行く。これは、４個の入力のうち３個は格段に長い経 路をとってそのネットワークを通過することを意味する。このホライゾンの自暴 自棄ネットワークは、これらの他の三つの情報(references)は結局は望ましい入 力へ戻って、望ましい出力に到達する別の機会を持つように、ネットワークに経 路が定められる。したがって、それらの情報がネットワークの中で永久に失われ るということはなく、ホライゾンのルーティング方式は、そのネットワーク内に 最も長く存在している情報が最高の優先度を持つような機構を有しており、これ により、それらの情報はいつかは同一の出力に対する競合する情報に打ち勝つこ とになる。このようなルーティング方式によれば、一つの情報が要求する終点へ の可能な経路を複数持ち、多くの情報は、その目的地へ到達する前にネットワー ク内を通行するのに非常に長い期間を費やすことになりかねない、ということが 当業者には容易にわかるであろう。したがって、このホライゾンの自暴自棄ルー ティング方式をマルチ処理の計算機で使用するのは望ましくない。 マルチプロセッサのメモリインタフェイスの更に他の例が、ムラタ(Murata)ら によって1992年４月１日こ出願されたヨーロッパ特許出願第0 510 821号におい て説明されている。この出願は、共有メモリ・モジュールと複数のプロセッサと の間でデータを転送するためにアドレスバスに接続されたスイッチを使用するこ とを教示している。このアドレスバスは、特定のプロセッサのキャッシュ内に存 在するデータのアドレスに対するメモリ参照について調べる(snoop)ために使用 することができ、一方、このスイッチは、メモリ・モジュールとプロセッサとの 間での高速のデータ転送路を提供する。 マルチプロセッサのメモリインタフェイスの他の例が、ハイデルバーガ(Heide lberger)らによって1990年３月２日に出願されたヨーロッパ特許出願第0 392 18 4号において説明されている。この出願は、メモリとプロセッサ双方のキャッシ ュの使用について述べている。このメモリ・キャッシュは、共有メモリに対する アクセス時間を短縮するために共有メモリデータをキャッシュするのに使用され る。 マルチ処理システムにおける他の重要な概念は、異なる使用者の要求に合わせ て種々の異なるサイズにすることである。例えば、最大システムは１０２４個の プロセッサを持つことができるが、５１２個のプロセッサを有する構成、２５６ 個のプロセッサを有する構成、または他の或る構成というように縮小化されたシ ステムを利用できるようにするのが望ましい。最大システムを構成する基本的な ビルディングブロック(building blocks)を修正することなく使用して最小シス テムを作り上げることができることが重要であり、逆もまた同様である。したが ってスケーラブルなシステムは、格段に柔軟性に富み、このようなシステムの展 開によって使用者の変化する要求に合わせることができる。 以上より、プロセッサをメモリに接続する相互接続ネットワークであって、例 えばプロセッサが競合することなくメモリ参照を発行できるようにした相互接続 ネットワークに対する要求が当業界にあり、それは、ネットワーク内でのメモリ 参照の間での競合を低減し、どの１回の参照についてもネットワーク内で費やす 時間を低減し、その結果、プロセッサのアイドル時間が減少し、システムの性能 が向上する。また、モジュラーな相互接続ネットワークであって、その相互接続 ネットワークを構成する個々のモジュールの再設計を必要とせずに、任意の個数 のプロセッサおよび異なるサイズのメモリを有するマルチ処理システムに適合す るように容易に規模を変更することができる相互接続ネットワークに対する要求 もある。 〈発明の要約〉 上記技術における限界を克服するために、および本明細書を読んで理解すれば 明らかになるであろう他の限界を克服するために、本発明は、プロセッサをメモ リに接続するマルチ処理用の相互接続ネットワークを提供する。この相互接続ネ ッ トワークは、種々の個数のプロセッサおよび種々のメモリサイズを有するように 構成されたシステムでの使用に適合したものである。すなわち、この相互接続ネ ットワークのモジュール性により、単純な複製で任意の規模のシステムを構築で きるようになる。 この相互接続ネットワークは、ネットワーク・モジュールおよびメモリ・モジュ ールを含む。ネットワーク・モジュールおよびメモリ・モジュールは、一連のｎ× ｍスイッチで構成されていて、各ｎ×ｍスイッチはｎ個の入力のうちの一つから ｍ個の出力のうちの一つへの経路を設定する。このスイッチは、相互接続ネット ワークにおけるメッセージの競合が低減されるように設計されている。このスイ ッチ、したがってメモリとネットワークのモジュールは高いモジュール性を有し ており、これにより、同一の構成要素を利用して任意の規模のマルチ処理システ ムを実質的に構築できるようになる。 また、メッセージの競合を低減するための機構および相互接続ネットワークを 実現するために必要な相互接続の数が与えられる。最後に、相互接続ネットワー ク内の特定の経路上のデータが正しいか否かを判定するために健全性コード(san ity code)が使用される。この健全性コードは、メモリ・バンクもしくはネットワ ーク経路の故障を検出し、または、システムのグレードを下げるためにも使用さ れる。 本発明は、請求項１（ネットワーク）、請求項８（読み出し方法）、請求項９ （書き込み方法）、請求項１０（計算機システム）、および請求項１７（メモリ・ モジュール）において定義されている。 〈図面の簡単な説明〉 図面において、同一符号はいくつかの図を通して同一構成要素を示している。 図１は、４個のＣＰＵを有するマルチ処理システムの一例のブロック図を示す 。 図２は、図１に示した４個のＣＰＵを有するマルチ処理システムのより詳細な ブロック図である。 図３は、３２個のＣＰＵを有するマルチ処理システムの一例のブロック図を示 す。 図４は、図３に示した３２個のＣＰＵのシステムにおける、８個のＣＰＵと４ 個のネットワーク・モジュールとの間の接続のより詳細なブロック図を示す。 図５は、図３に示した３２個のＣＰＵのシステムにおける、ネットワーク・モ ジュールと８個のメモリ・モジュールとの間の接続のより詳細なブロック図を示 す。 図６は、メモリ・モジュールのブロック図を示す。 図７は、図６に示したメモリ・モジュールにおける出力経路(outgoing path)の より詳細なブロック図を示す。 図８は、図６に示したメモリ・モジュールにおける入力経路(return path)のよ り詳細なブロック図を示す。 図９は、ネットワーク・モジュールのブロック図を示す。 図１０は、図９に示したネットワーク・モジュールにおける出力経路のより詳 細なブロック図を示す。 図１１は、図９に示したネットワーク・モジュールにおける入力経路のより詳 チを出てメモリ・バンクへ行く頻度を制御する。 更なるセレクタ６３７ｃは、マルチ処理システムに取り付けられたメモリ部分 がパイプライン方式のメモリ部分か、パイプライン方式ではないメモリ部分かを 示す２位置のセレクタである。このように、本相互接続ネットワークは、異なる アクセス時間およびサイクル時間を有する多くの異なる種類のメモリを本相互接 続ネットワークにおいて使用することを想定している。例えば、ＳＲＡＭまたは ＤＲＡＭを使用することができる。どのようなメモリが使用されるかに応じて、 セレクタ６３７はそのメモリの種類に対応するように設定される。 本相互接続ネットワークの設計はマルチ処理システムのスケーラビリティ(sca lability)を大きく増大させる、ということが当業者には容易に認識できるであ ろう。ネットワーク・モジュールおよびメモリ・モジュール内の各ｎ×ｍスイッチ はその隣接部と通信するだけでよいため、この相互接続ネットワークは、極めて スケーラビリティに富んでいる。個々のｎ×ｍスイッチのそれぞれは、相互接続 ネットワーク全体について、または、２つ若しくは３つ前方の層で起こっている 事象についての大域的な情報を持つ必要はない。各ｎ×ｍスイッチは、ＣＰＵと メモリとの間で調停を行いデータを送るために、局所的な情報を持つだけでよい 。同様に、ＣＰＵは、メモリ参照を送出する前に、相互接続ネットワークについ て又はメモリの応答時間についての大域的な知識を持つ必要はない。この方法に おいて、ＣＰＵは、そのＣＰＵからメモリ・バンクまでのデータ経路全体が空い ていることを確かめる必要はない。本相互接続ネットワークを使用すると、ＣＰ Ｕは、簡単に「火をつけて忘れる(fire and forget)」ことができる。本相互接 続ネットワークは大域的な調停回路(arbitrator)を必要としないことから、ＣＰ Ｕや、ｎ×ｍスイッチ、オペレーティングシステムについての如何なる再設計も 必要としないので、単純な複製によって極めて容易にシステムの規模を変えるこ とができる、ということを当業者は理解するであろう。異なる構成における構成 要素を接続し直すだけで、アーキテクチャの規模が直ちに変更される。 本相互接続ネットワークの他の利点は、この相互接続ネットワークは使用され るＣＰＵの種類に依存せず、またメモリの速度にも依存しないということである 。 メモリの応答時間に依存しない如何なる種類のプロセッサの構成も、本発明のシ ステムに適応できる。このようなプロセッサ構成の一つは、同時係属中で本出願 人に譲渡され、1994年12月28日に発行された、オバーリン(Oberlin)らによる「S CALABLE PARALLEL VECTOR COMPUTER SYSYTEM（スケーラブルな並列ベクトル計算 機システム）」という名称のＥＰ公報第0553158号の中に見ることができる。参 考までにこの出願をここに挙げておく。また、たとえメモリの全てのバンクが異 なる速度で動作しても、本相互接続ネットワークは正しく機能し、複雑な再設計 を行う必要はない。したがって本相互接続ネットワークの設計はこの点において 極めて柔軟性に富む、ということが当業者はわかるであろう。このように、本相 互接続ネットワークで使用されるＣＰＵは、時間に影響を受けやすいものではな く、したがって、メモリの待ち時間がより長い場合であっても効率よく動作する 。本相互接続ネットワークの設計は、大量のデータがＣＰＵとメモリとの間で移 動できるように、バンド幅を広げるものである。このような設計方式により、極 めて広いバンド幅で極めて高いスループットの計算機が得られる、ということを 当業者は容易に理解するであろう。すなわち、これは、並列度の高いベクトル処 理のタスクに特によく適合した設計である。 ここでは特定の実施形態が説明されているが、同一の目的を達成することを意 図している如何なる構成も、その説明された特定の実施形態の代わりに用いるこ とができる、ということを当業者は理解するであろう。例えば、本発明のアーキ テクチャは、異なる数のプロセッサ、異なる量のメモリ、または、プロセッサ１ 個当たりの異なる数のプログラム・スレッド(program threads)で実現されてもよ い。また、本発明のアーキテクチャは、使用されるプロセッサの特定の種類、メ モリの速度、または、この詳細な説明において開示された特定の論理設計のいず れにも依存しない、ということが当業者にはわかるであろう。本発明の範囲を逸 脱することなく、異なる種類のプロセッサを使用できるであろう。 この出願は、本発明の改造または変形をカバーするものである。したがって、 この発明は請求の範囲によってのみ限定されることは明かである。 請求の範囲 １．マルチプロセッサ・システムにおける複数のＣＰＵ（１００）と複数のメモ リ・モジュール（６００）との間でパケットの経路を設定する相互接続ネットワ ーク（３００）において、下記の（ａ）および（ｂ）の部分を備えることを特徴 とする相互接続ネットワーク。 （ａ）前記複数のＣＰＵ（１００）を前記複数のメモリ・モジュール（６００ ）に接続する出力経路ネットワーク（３０２）であって、下記の（ａ１）および （ａ２）の部分を備える出力経路ネットワーク（３０２） （ａ１）第１および第２クロスバー・スイッチ（３２０、３３０）であって 、該第１および第２クロスバー・スイッチのうちのいずれかのスイッチが、前記 複数のＣＰＵ（１００）から該スイッチを経由して転送されているパケットをキ ューイングするために使用されるＦＩＦＯキュー構造体（３２１、３３１）を有 する第１および第２クロスバー・スイッチ（３２０、３３０） （ａ２）パケットを前記ＣＰＵ（１００）から前記第１クロスバー・スイッ チ（３２０）へ転送するために、前記第１クロスバー・スイッチ（３２０）およ び前記複数のＣＰＵ（１００）に接続された入力バッファ（３１０） （ｂ）前記複数のメモリ・モジュール（６００）を前記複数のＣＰＵ（１００ ）に接続する入力経路ネットワーク（３０４）であって、下記の（ｂ１）および （ｂ２）の部分を備える入力経路ネットワーク（３０４） （ｂ１）第１および第２クロスバー・スイッチ（３６０、３７０）であって 、該第１および第２クロスバー・スイッチのうちのいずれかのスイッチが、前記 メモリ・モジュール（６００）から該スイッチを経由して転送されているパケッ トをキューイングするために使用されるＦＩＦＯキュー構造体を有する第１およ び第２クロスバー・スイッチ（３６０、３７０） （ｂ２）パケットを前記メモリ・モジュール（６００）から前記第１クロス バー・スイッチ（３６０）へ転送するために、前記メモリ・モジュール（６００） および前記第１クロスバー・スイッチ（３６０）に接続された入力バッファ（３ ５０） ２．請求項１に記載の相互接続ネットワークにおいて、前記出力経路ネットワー ク（３０２）の前記入力バッファ（３１０）が、前記スイッチ（３２０）に向け て転送されているパケットをキューイングするために使用されるＦＩＦＯキュー 構造体（３１１）を備える相互接続ネットワーク。 ３．請求項１に記載の相互接続ネットワークにおいて、前記出力経路ネットワー ク（３０２）の前記第１および第２クロスバー・スイッチ（３２０、３３０）の うちのいずれかのスイッチが、パケットの転送中にパケットを一時的に格納する ために使用される出力要求バッファを更に有する相互接続ネットワーク。 ４．請求項１に記載の相互接続ネットワークにおいて、前記パケットがメッセー ジ・ステアリング・ビットを有し、前記出力経路ネットワーク（３０２）の第１お よび第２クロスバー・スイッチ（３２０、３３０）が、複数の前記メッセージ・ス テアリング・ビットを前記クロスバー・スイッチへの入力を表すビットで置き換え る手段を更に有する相互接続ネットワーク。 ５．請求項１に記載の相互接続ネットワークにおいて、前記入力経路ネットワー ク（３０４）の前記入力バッファ（３５０）が、前記スイッチ（３６０）に向け て転送されているパケットをキューイングするために使用されるＦＩＦＯキュー 構造体（３５１）を備える相互接続ネットワーク。 ６．請求項１に記載の相互接続ネットワークにおいて、前記入力経路ネットワー ク（３０４）の前記第１および第２クロスバー・スイッチ（３６０、３７０）の うちのいずれかのスイッチが、パケットの転送中にパケットを一時的に格納する ために使用される出力要求バッファを更に有する相互接続ネットワーク。 ７．請求項１に記載の相互接続ネットワークにおいて、前記パケットがメッセー ジ・ステアリング・ビットを有し、前記出力経路ネットワーク（３０２）の第１お よび第２クロスバー・スイッチ（３２０、３３０）が、複数の前記メッセージ・ス テアリング・ビットを前記クロスバー・スイッチへの入力を表すビットで置き換え る手段を更に有する相互接続ネットワーク。 ８．相互接続ネットワークに接続された複数のＣＰＵを備えるマルチプロセッサ 計算システムにおける該相互接続ネットワークに接続された複数のメモリ・モジ ュールの一つのメモリ・モジュール（６００）内のメモリの読み出し方法におい て、 前記メモリ・モジュール（６００）に接続された出力経路ネットワーク（３０ ２）であって、該出力経路ネットワークは入力と、出力と、該入力を該出力に接 続する複数の段とを備え、各段はスイッチとバッファを備え、前記複数の段は第 １段を含んでいる出力経路ネットワーク（３０２）を用意するステップと、 前記メモリ・モジュール（６００）に接続された入力経路ネットワーク（３０ ４）であって、該入力経路ネットワークは入力と、出力と、該入力を該出力に接 続する複数の段とを備え、各段はスイッチとバッファを備え、前記複数の段は第 １段を含んでいる入力経路ネットワーク（３０４）を用意するステップと、 メッセージ・ステアリング・ビットを有する読出コマンド・パケットを前記出力 経路ネットワークの前記入力へ転送するステップと、 前記読出コマンド・パケットを前記出力経路ネットワークの前記第１段におけ るバッファに格納するステップと、 前記出力経路ネットワークの次の段への経路が空いている場合に、前記読出コ マンド・パケットを前記出力経路ネットワークの該次の段へ転送するとともに、 前記読出コマンド・パケットが何処から来たかを示すために前記メッセージ・ステ アリング・ビットを修正するステップと、 前記出力経路ネットワークの全ての段を通過した場合に、前記読出コマンド・ パケットを前記メモリ・モジュールへ転送するとともに、前記読出コマンド・パケ ットが何処から来たかを示すために前記メッセージ・ステアリング・ビットを修正 するステップと、 前記読出コマンド・パケットを前記メモリ・モジュール内のバッファに格納する ステップと、 前記読出コマンド・パケットによって指示された位置でメモリの読み出しを行 ってデータを獲得するステップと、 メッセージ・ステアリング・ビットを有する前記データをデータ・パケットに入 れて前記入力経路ネットワークの前記入力へ転送するステップと、 前記データ・パケットを前記入力経路ネットワークの前記第１段におけるバッ ファに格納するステップと、 前記入力経路ネットワークの次の段への経路が空いている場合に、前記データ・ パケットを前記入力経路ネットワークの該次の段へ転送するとともに、前記デ ータ・パケットが何処から来たかを示すために前記メッセージ・ステアリング・ビ ットを修正するステップと、 を有することを特徴とするメモリの読み出し方法。 ９．相互接続ネットワークに接続された複数のＣＰＵを備えるマルチプロセッサ 計算システムにおける該相互接続ネットワークに接続された複数のメモリ・モジ ュールの一つのメモリ・モジュール（６００）内のメモリの書き込み方法におい て、 前記メモリ・モジュール（６００）に接続された出力経路ネットワーク（３０ ２）であって、該出力経路ネットワークは入力と、出力と、該入力を該出力に接 続する複数の段とを備え、各段はスイッチとバッファを備え、前記複数の段は第 １段を含んでいる出力経路ネットワーク（３０２）を用意するステップと、 前記メモリ・モジュール（６００）に接続された入力経路ネットワーク（３０ ４）であって、該入力経路ネットワークは入力と、出力と、該入力を該出力に接 続する複数の段とを備え、各段はスイッチとバッファを備え、前記複数の段は第 １段を含んでいる入力経路ネットワーク（３０４）を用意するステップと、 アドレスとメッセージ・ステアリング・ビットと書込データとを有する書込コマ ンド・パケットを前記出力経路ネットワークの前記入力へ転送するステップと、 前記書込コマンド・パケットを前記出力経路ネットワークの前記第１段におけ るバッファに格納するステップと、 前記出力経路ネットワークの次の段への経路が空いている場合に、前記書込コ マンド・パケットを前記出力経路ネットワークの該次の段へ転送するとともに、 前記書込コマンド・パケットが何処から来たかを示すために前記メッセージ・ステ アリング・ビットを修正するステップと、 前記出力経路ネットワークの全ての段を通過した場合に、前記書込コマンド・ パケットを前記メモリ・モジュールへ転送するとともに、前記書込コマンド・パケ ッ トが何処から来たかを示すために前記メッセージ・ステアリング・ビットを修正す るステップと、 前記書込コマンド・パケットを前記メモリ・モジュール内のバッファに格納する ステップと、 前記書込データを前記アドレスによって指示された位置に格納するステップと 、 を有することを特徴とするメモリの書き込み方法。 １０． 複数のＣＰＵ（１００）と、 複数のメモリ・モジュール（６００）と、 請求項１において定義された相互接続ネットワークと、 を備えるマルチプロセッサ計算システム。 １１．請求項１０に記載の相互接続ネットワークにおいて、前記出力経路ネット ワーク（３０２）の前記入力バッファ（３１０）が、前記スイッチ（３２０）に 向けて転送されているパケットをキューイングするために使用されるＦＩＦＯキ ュー構造体（３１１）を備える相互接続ネットワーク。 １２．請求項１０に記載の相互接続ネットワークにおいて、前記出力経路ネット ワーク（３０２）の前記第１および第２クロスバー・スイッチ（３２０、３３０ ）のうちのいずれかのスイッチが、パケットの転送中にパケットを一時的に格納 するために使用される出力要求バッファを更に有する相互接続ネットワーク。 １３．請求項１０に記載の相互接続ネットワークにおいて、前記パケットがメッ セージ・ステアリング・ビットを有し、前記出力経路ネットワーク（３０２）の第 １および第２クロスバー・スイッチ（３２０、３３０）が、複数の前記メッセー ジ・ステアリング・ビットを前記クロスバー・スイッチへの入力を表すビットで置 き換える手段を更に有する相互接続ネットワーク。 １４．請求項１０に記載の相互接続ネットワークにおいて、前記入力経路ネット ワーク（３０４）の前記入力バッファ（３５０）が、前記スイッチ（３６０）に 向けて転送されているパケットをキューイングするために使用されるＦＩＦＯキ ュー構造体（３５１）を備える相互接続ネットワーク。 １５．請求項１０に記載の相互接続ネットワークにおいて、前記入力経路ネット ワーク（３０４）の前記第１および第２クロスバー・スイッチ（３６０、３７０ ）のうちのいずれかのスイッチが、パケットの転送中にパケットを一時的に格納 するために使用される出力要求バッファを更に有する相互接続ネットワーク。 １６．請求項１０に記載の相互接続ネットワークにおいて、前記パケットがメッ セージ・ステアリング・ビットを有し、前記出力経路ネットワーク（３０２）の第 １および第２クロスバー・スイッチ（３２０、３３０）が、複数の前記メッセー ジ・ステアリング・ビットを前記クロスバー・スイッチへの入力を表すビットで置 き換える手段を更に有する相互接続ネットワーク。 １７．相互接続ネットワークに接続された複数のＣＰＵを備えるマルチプロセッ サ計算システムにおける該相互接続ネットワークに接続された複数のメモリ・モ ジュールの一つのメモリ・モジュール（６００）において、 複数の入力と、 複数の出力と、 複数のメモリ・バンク（６４０ａ〜６４０ｐ）と、 前記複数の入力を前記複数のメモリ・バンクに接続し、前記メモリ・バンクのう ちのいずれか一つに向けて転送されているパケットをキューイングするために使 用されるＦＩＦＯキュー構造体（３１１）を有する第１スイッチを含む複数のス イッチ（６１０）を備える第１ルーティング・ネットワークと、 前記複数のメモリ・バンクを前記複数の出力に接続し、前記メモリ・バンクのう ちのいずれか一つから転送されているパケットをキューイングするために使用さ れるＦＩＦＯキュー構造体（３１１）を有する第１スイッチを含む複数のスイッ チを備える第２ルーティング・ネットワークと、 を備えることを特徴とするメモリ・モジュール（６００）。 １８．請求項１７に記載のメモリ・モジュール（６００）において、前記第１ル ーティング・ネットワーク内の前記ＦＩＦＯキュー構造体（３１１）はＮ個のエ ントリを有し、該数字Ｎは指定されたスイッチの間での通信の往復時間をカバー するように選ばれているメモリ・モジュール（６００）。 １９．請求項１７に記載のメモリ・モジュール（６００）において、前記第１ル ーティング・ネットワークがクロスバー・スイッチ（３２０）を更に備え、該クロ スバー・スイッチが、前記第１ルーティング・ネットワークの前記第１スイッチか ら受け取ったパケットをバッファリングするために前記第１スイッチに接続され たＦＩＦＯキュー構造体（３１１）を有するメモリ・モジュール（６００）。 ２０．請求項１９に記載のメモリ・モジュール（６００）において、前記クロス バー・スイッチ（３２０）が、パケットの転送中にパケットを一時的に格納する ために使用される出力要求バッファを更に有するメモリ・モジュール（６００） 。 ２１．請求項１９に記載のメモリ・モジュール（６００）において、前記パケッ トがメッセージ・ステアリング・ビットを有し、前記クロスバー・スイッチが、複 数のメッセージ・ステアリング・ビットを前記複数の入力のうちの一つを表すビッ トで置き換える手段を更に有するメモリ・モジュール（６００）。 ２２．請求項２１に記載のメモリ・モジュール（６００）において、各メモリ・バ ンクが複数のメモリ・デバイスを備え、各メモリ・デバイスがアクセス時間および サイクル時間を有しており、前記各メモリ・バンクは、前記複数のメモリ・デバイ スの前記アクセス時間およびサイクル時間に応じて前記メモリ・バンクの速度を 調整するための遅延手段を更に備えているメモリ・モジュール（６００）。 ２３．請求項１７に記載のメモリ・モジュール（６００）において、前記第２ル ーティング・ネットワーク内の前記ＦＩＦＯキュー構造体（３１１）が、パイプ ライン方式のメモリ部分を扱うのに十分な深さを有するメモリ・モジュール（６ ００）。 ２４．請求項１７に記載のメモリ・モジュール（６００）において、前記第２ル ーティング・ネットワークがクロスバー・スイッチ（３２０）を更に備え、該クロ スバー・スイッチが、前記第２ルーティング・ネットワークの前記第１スイッチか ら受け取ったパケットをバッファリングするために前記第１スイッチに接続され たＦＩＦＯキュー構造体（３１１）を有するメモリ・モジュール（６００）。 ２５．請求項２４に記載のメモリ・モジュール（６００）において、前記クロス バー・スイッチ（３２０）が、パケットの転送中にパケットを一時的に格納する ために使用される出力要求バッファを更に有するメモリ・モジュール（６００） 。 ２６．請求項２４に記載のメモリ・モジュール（６００）において、前記パケッ トがメッセージ・ステアリング・ビットを有し、前記クロスバー・スイッチ（３２ ０）が、複数のメッセージ・ステアリング・ビットを前記複数のメモリ・バンクの うちの一つを表すビットで置き換える手段を更に有するメモリ・モジュール（６ ００）。

Claims (1)

1. 【特許請求の範囲】 １．マルチ処理システムにおける複数のＣＰＵと共通メモリとの間でメッセージ の経路を設定するための相互接続ネットワークにおいて、 各メモリ・モジュールが、 複数の第１入力と、 前記複数の入力のそれぞれから複数のメモリ・バンクへのメッセージの経路 の設定に適合した第１ルーティング・ネットワークと、 前記複数のメモリ・バンクの前記それぞれから複数の第１出力へのメッセー ジの経路の設定に適合した第２ルーティング・ネットワークとを更に有する複数 のメモリ・モジュール、および、 各ネットワーク・モジュールが複数のメモリ・モジュールおよび複数のＣＰＵに 接続された複数のネットワーク・モジュールであって、該各ネットワーク・モジュ ールが、 複数の第２入力と、 前記複数の入力のそれぞれから複数のメモリ・バンクへのメッセージの経路 の設定に適合した第３ルーティング・ネットワークと、 前記複数のメモリ・バンクのそれぞれから複数の第２出力へのメッセージの 経路の設定に適合した第４ルーティング・ネットワークとを更に有する複数のネ ットワーク・モジュールを備え、 前記メモリ・モジュールは、前記共通メモリのアクセス時間およびサイクル時 間に応じて前記メモリ・モジュールの速度を調整するための遅延手段を更に有す る相互接続ネットワーク。