JP4524073B2 - 動的再分割を介するスーパーコンピュータでのフォールト・トレランス - Google Patents

Description

本発明は、全般的に、ソフトウェア制御される動的再分割による並列コンピュータの相互接続ネットワークでのフォールト・トレランスの提供に関する。

重要な計算の大きいクラスを、大量並列コンピュータ・システムによって実行することができる。そのようなシステムは、多数の同一の計算ノードからなり、計算ノードのそれぞれは、通常は、１つまたは複数のＣＰＵ、メモリ、およびそのノードを他のノードに接続する１つまたは複数のネットワーク・インターフェースからなる。
米国仮出願番号６０／２７１，１２４

大量並列スーパーコンピュータに関する、２００１年２月２４日出願の米国仮出願番号６０／２７１，１２４に記載のコンピュータでは、システムオンアチップ（ＳＯＣ）技術を活用して、高いスループットを有する、スケーラブルでコスト効率のよいコンピューティング・システムが作成される。ＳＯＣ技術によって、集積された第１レベル・キャッシュを伴うＣＰＵコアを含む組込み構成要素のライブラリを使用して、単一のチップ上でマルチプロセッサ・ノード全体を作ることが可能になった。そのようなパッケージ化によって、ノードの構成要素カウントが大きく減り、信頼性がある大スケール計算機の作成が可能になる。

本発明は、動的再分割を介するスーパーコンピュータでのフォールト・トレランスを提供する。マルチプロセッサ並列コンピュータは、冗長な待機プロセッサの余分のグループを設けることと、これらのプロセッサの余分なグループを、ハードウェア障害を経験するグループと交換できるようにシステムを設計することによって、ハードウェア障害に対してトレラントにされる。この交換は、ソフトウェア制御の下で行うことができ、これによって、コンピュータ全体がハードウェア障害に耐えられるようになるが、待機プロセッサをスワップ・インした後に、ソフトウェアに対して元の完全に機能するシステムに見えるようにすることができる。

動的再分割を介するスーパーコンピュータでのフォールト・トレランスの提供に関する本発明の前述の目的および長所は、添付図面と共に検討される、本発明の複数の実施形態の以下の詳細な説明を参照して、当業者が簡単に理解することができる。添付図面では、類似する要素が、複数の図面を通じて同一の符号によって示される。

米国仮出願番号６０／２７１，１２４に記載の大量並列スーパーコンピュータでは、複数の別々の通信ネットワークによって接続された（ｘ、ｙ、ｚ）（ただし、ｘ＝６４、ｙ＝３２、ｚ＝３２）個の計算ノードを有する大量並列スーパーコンピュータが記述される。これらのネットワークの第１のネットワークは、３次元（３Ｄ）トーラスであり、ここで、各計算ノードは、＋および−のｘ、ｙ、ｚ方向の６つのリンクによって、６つの論理的に隣接する最近傍計算ノードに接続され、各計算ノードが、６つの両方向トーラス・ポートを有する。

大量並列スーパーコンピュータには、６４×３２×３２個の計算ノードが含まれ、各計算ノードには、２つのプロセッサを有するＡＳＩＣが含まれ、このプロセッサの１つは、大量並列スーパーコンピュータの一部として処理を実行し、第２のプロセッサは、メッセージ受渡動作を実行する。

図４は、概念的に大量並列スーパーコンピュータの床配置図と見なすことができる図であり、この図には、サービスを容易にするために８つのアイルによって分離されたコンピュータ・ラックの９行が示されている。各行の９つのラックのそれぞれは、おおむね冷蔵庫のサイズであり、２つのミッドプレーンが含まれる。各ミッドプレーンは、基本構成要素であり、８×８×８個の計算ノードが含まれ、各計算ノードには、上で説明したようにマルチプロセッサが含まれる。

物理的な計算機アーキテクチャは、３Ｄトーラスに最も密に結合される。これは、エッジで「ラップ」される、単純な３次元最近傍相互接続である。計算ノードＡＳＩＣの異なるラックの間に存在するものなどの飛行時間の差を除いて、６つのすべてのトーラス近傍が、等しい距離にあり、コードの書き込みおよび最適化が楽になる。したがって、各ノードは、６つの独立の両方向最近傍リンクを有する。

図１に、並列スーパーコンピュータのトーラスの８つのノードの非常に単純化された図と、この８つのノードの間のリンクを示すが、図１は、ノードの全アレイの部分図であり、ここで、各ノードは、実際に＋および−のｘ、ｙ、ｚ方向で６つのトーラス・リンクを有する。リンクは、最高の番号のノードから最低の番号のノードへ各論理方向（ｘ、ｙ、またはｚ）でラップして、システム内のすべてのノードの６方向で６つのトーラス・リンクが維持される。図１に、図４のｘ、ｙ、ｚ座標系との一貫性を有するｘ、ｙ、ｚ座標系も概略的に示されている。大量並列スーパーコンピュータは、ミッドプレーンに挿入される、計算回路カードおよびリンク回路カードを有する。回路カードは、２×２×２サブキューブで配線され、ラックごとに２つのミッドプレーンは、８×８×８サブキューブとして配線される。動作する６４ｋ計算機は、６４×３２×３２のトーラスであるが、故障した構成要素を補償するための冗長性を設けるために、計算機は、物理的には７２×３２×３２のトーラスとして実施され、ここで、追加の８×３２×３２個のノードが、冗長性のために設けられて、冗長待機プロセッサの余分なグループが設けられる。

６つの最近傍ノードへの各ノードの６つのトーラス・リンクのほかに、大量並列スーパーコンピュータには、２つの他の完全に別々の通信リンク・ネットワークが含まれる。第２の通信リンク・ネットワークは、図２および６に示されている、リンクのグローバル・コンバイニング・ツリーである。第３の通信リンク・ネットワークが、図７に示されている、グローバル割込み信号の組である。リンクのコンバイニング・ツリーおよびグローバル割込み信号は、ツリー構造において互いに類似し、計算機の区画全体（６４×３２×３２個の計算ノード）にまたがる通信を提供するが、その両方を下で説明する。

図２は、大量並列スーパーコンピュータのグローバル・コンバイニング・ツリーの非常に簡略化された図であり、このグローバル・コンバイニング・ツリーは、計算機全体に延び、データを任意のノードからすべての他のノード（ブロードキャスト）またはノードのサブセットに送れるようにする。グローバル和、グローバル最小値、およびグローバル最大値も計算することができる。メッセージ受渡は、グローバル・コンバイニング・ツリーでサポートされ、各計算ノードの第２プロセッサによって制御され、すべて対すべての通信などの集中型動作を、計算ノードと独立に進行させることができる。

本発明によれば、冗長待機プロセッサの余分なグループを設けることと、これらのプロセッサの余分なグループを、ハードウェア障害を経験するグループと交換できるようにシステムを設計することによって、マルチプロセッサ並列コンピュータが、ハードウェア障害に耐えるようにされる。この交換は、ソフトウェア制御の下で行うことができ、これによって、コンピュータ全体がハードウェア障害に耐えられるようになるが、待機プロセッサをスワップ・インした後に、ソフトウェアに対して元の完全に機能するシステムに見えるようにすることができる。

システム再分割
本明細書で説明する大量並列スーパーコンピュータでは、３つの主要な別々の相互接続ネットワークすなわち、３次元トーラス、グローバル・コンバイニング・ツリー、およびグローバル割込みの組が、この動的再分割から利益を得ることができる。大量並列スーパーコンピュータは、ミッドプレーンの間のケーブルを介して信号をステアリングするリンク・チップと共に、ミッドプレーンごとに５１２個のマルチプロセッサ（８×８×８個のノード）のグループに編成される。リンク・チップ（リンク回路カードごとに６チップ）は、システムのソフトウェア再構成を可能にする主要な形である。

大量並列スーパーコンピュータを、ソフトウェア制御によって論理的に再分割することができる。これによって、物理的に１つのシステムとして一緒に配線された、ラックの大きいグループ（図４に示されたもの）を、複数のサブシステムに論理的に分割できるようになる。これらの論理的に分離されたサブシステムのそれぞれが、異なるコードを同時に実行することができ、あるいは、いくつかの分離されたシステムを、他のシステムの計算中にサービスすることができる。したがって、論理再分割によって、コード開発およびシステム保守が容易になる。

再分割を制御するリンク・チップの動作を、図３に示し、以下の節で説明する。後続の節で、可能な再分割のタイプを詳細に説明する。

リンク・チップ
大量並列スーパーコンピュータのトーラス、グローバル・コンバイニング・ツリー、およびグローバル割込み信号は、異なるミッドプレーンの間で追跡する時に、リンク・チップを通過する。このチップは、２つの機能をサービスする。第１に、リンク・チップは、ミッドプレーンの間でケーブル上の信号を再駆動し、異なるミッドプレーン上の計算ＡＳＩＣの間の長く損失があるトレースケーブルトレース接続の中央での高速信号の形状および振幅を改善する。第２に、リンク・チップは、その異なるポートの間で信号をリダイレクトすることができる。このリダイレクション機能が、大量並列スーパーコンピュータを複数の論理的に別々のシステムに動的に再分割できるようにする機能である。

リンク・チップは、正規リダイレクションおよびスプリット・リダイレクションと称する、システム再分割に関する２種類のトーラス信号リダイレクションを実行する。

正規リダイレクション
正規リダイレクションでは、大きいコンピュータ・システムの１論理方向から（図４に示されたｘ軸、ｙ軸、またはｚ軸のいずれかに沿って）１つのミッドプレーンが除去される。正規リダイレクションを、図３のモード１および２に示す。これには、リンク・チップのポートＣ、Ｆ、Ａ、およびＢが用いられる。ポートＣおよびＦは、図５の上部に示されているように、特定のトーラス論理方向ｘ、ｙ、またはｚで、現在のミッドプレーンと上位または下位のミッドプレーンとの間でケーブルによって＋方向および−方向に接続される。これらのケーブル接続を、図４では、論理Ｘケーブル４０、論理Ｙケーブル４２、および論理Ｚケーブル４４という符号を付けられた矢印によって示す。ポートＡおよびＢは、ミッドプレーン・トーラス・ループに接続され、このループは、図３および図５で、ミッドプレーンＸトーラス５１、ミッドプレーンＹトーラス５２、ミッドプレーンＺトーラス５３として示されているように、ミッドプレーン内で直列の８つの計算プロセッサを介して循環する。

モード１で動作する時に、リンク・チップは、前のミッドプレーンからのポートＣを介する信号を、現在のミッドプレーンを介し、ミッドプレーン・トーラス・ループによって示されているように、ポートＦを介して次のミッドプレーンに経路指定する。これによって、リンク・チップは、現在のミッドプレーンを、より大きい計算システムの一部にする。

モード２で動作する時に、前のミッドプレーンからのケーブル信号は、ポートＣを介して入り、ポートＦを介して次のミッドプレーンに直接に渡され、現在のミッドプレーンが、より大きい計算システムから除去される。また、モード２では、現在のミッドプレーンのトーラス信号が、ポートＡおよびＢを介してこのミッドプレーンに接続され、このミッドプレーン内でループし、より小さい計算システムが作成される。

スプリット・リダイレクション
スプリット・リダイレクションでは、計算機の大きい６４×３２×３２ノード・セクションを、２つの同等の３２×３２×３２である半分または４つの１６×３２×３２である１／４に分割できるようになる。リンク・チップで実施される時に、スプリット・リダイレクションによって、システム分割の多数の変形を可能にすることができる。しかし、長いケーブルのコストおよび信号保全性の懸念に起因して、スプリット・リダイレクションが、論理Ｘ方向でのみ物理的に配線され、大きいシステムを２つの等しい半分または４つの１／４に分割できるようにするのに必要な数のラック行（図４）でのみ物理的に配線されることが好ましい。スプリット・リダイレクションを、図３のモード３および４に示す。３から１０までの８つのモードが、スプリット・リダイレクションを達成するのに必要であるが、図３には、説明のためにそのうちの２つ、モード３および４だけが示され、残りのモードは、類似する形で動作する。スプリット・リダイレクションでは、リンク・チップによって、隣接するミッドプレーンへの＋ケーブル方向または−ケーブル方向と見なされるケーブル・ポートが再定義される。リンク・チップは、正規ポートＣからの＋方向ポートを、スプリット・ポートＤまたはＥあるいはその両方に再定義し、あるいは、正規ポートＦからの−方向ポートをスプリット・ポートＤまたはＥあるいはその両方に再定義する。正規ケーブルは、図４で矢印を有する細い線（論理ｘケーブル４０、論理ｙケーブル４２、および論理ｚケーブル４４）によって示され、スプリット・ケーブル４６は、矢印のない太い線（論理ｘケーブルの中央付近）として示されている。論理ｘケーブルは、ｘ方向に沿って延び、同様に、論理ｙケーブルはｙ方向、論理ｚケーブルはｚ方向である。

図４に、論理Ｘケーブルがラックの間でどのように接続されるかを示す。行番号は、左側の０から８までの数字によって示されている。論理ｘケーブルが、しばしば、端の行０と１の間の１つのケーブルおよび行７と８の間の１つのケーブルを除いて、１つおきの行に接続され、ケーブルが、行０と２の間、１と３の間、２と４の間、３と５の間などにあることに留意されたい。これらのケーブルによって、どのケーブルも過度に長くならないようにして、ミッドプレーンをｘ軸に沿って隣接するミッドプレーンに接続できるようになる。類似するケーブル接続方式を、ｙ軸およびｚ軸に沿って使用することができる。

スプリット・ケーブルによって、正規論理ｘケーブルに沿ったもの以外のｘ次元トーラス接続が可能になる。たとえば、計算機が、２つのより小さい計算機に分割され、第１の計算機が行０から４を有し、第２の計算機が行５から８を有する場合に、スプリット・ケーブル４６’を、論理ケーブル４０’の代わりに切り替え、その結果、第１の計算機のｘケーブルが、０と２、２と４、４と３、３と１、および１と０になるようにし、第２の計算機が類似する形に切り替えられるようにすることができる。

トーラス分割
図４に、大量並列スーパーコンピュータの配線および分割を示す。

論理再分割によって、計算機をどのように再分割できるかに関するある範囲のオプションが可能になる。図４に、正規分割およびスプリット分割の両方の例を示し、サービスのためにミッドプレーンをどのようにしてシステムから分離できるかを示す。

スプリット分割によって、大きい７２×３２×３２に配線された大量並列スーパーコンピュータを、２つのほぼ等しい半分の２つのサブシステムすなわち、４０×３２×３２サブシステムおよび３２×３２×３２サブシステムに分割することができる。これは、ミッドプレーンが誤動作している時に、ミッドプレーンが物理的にどこに配置されるかに無関係に、２つの３２×３２×３２サブシステムを必ず作成できる（上のスプリット・リダイレクションで説明した形でスプリット・ケーブル４６を使用することによって）ことを保証するために、２つの形の１つで行うことができる。４０×３２×３２サブシステムがラックの上５行であり、３２×３２×３２サブシステムがラックの下４行であるか、その逆のいずれかである。たとえば、図４の正方形４／５によって示される、ラック内の行１のミッドプレーンが、サービスを必要とする場合に、スプリット区画を使用して、ラックの上４行と下５行の間でシステムを分割することができる。この場合に、０、１、２、３、および４という番号の下５行が、４０×３２×３２サブシステムを形成し、上４行５、６、７、および８（すべてがシステム区画６を示す番号６を付けられたラックを有する）が、別々の３２×３２×３２サブシステムを形成する。両方のサブシステムを、このサイズで動作させることができ、あるいは、正規分割を使用してこれらをさらに再分割することができる。

正規分割によって、１つの１ミッドプレーン（８ノード）長のセクションを任意の論理トーラス方向から分離することができる。図４の行１のラック４／５のミッドプレーンが誤動作している場合に、正規分割を使用して、行１を、下側の４０×３２×３２システムの残りから、論理ｘ方向で分離することができ、これによって、行０、２、３、および４の１という符号を付けられた３２×３２×３２システム（システム１）と、ラックに２、３、および４／５という符号を付けられた行１の８×３２×３２システムが作成される。この行１の８×３２×３２セクションの論理ｙ方向での正規分割によって、ラック３およびラック４／５がラック２から分離され、８×２４×３２セクション（２ラック、システム２）および８×８×３２セクション（ラック３およびラック４／５）が与えられる。８×８×３２セクションの論理ｚ方向での２回の正規分割によって、ラック４／５とラック３が分離され、８×８×１６セクション（ラック２、システム３）および２つの８×８×８セクション（ラック４／５、システム４および５）がもたらされ、この８×８×８セクションの１つを、他のすべての再分割が計算している間にサービスすることができる。類似する分割を異なる組合せで使用して、異なるサブセクションを再分割し、分離することができる。

図５に、隣接するミッドプレーンに接続されたケーブルを介してリンク・カードに出入りし、リンク・カードを介し、現在のミッドプレーンのトーラスに出入りするトーラス信号の経路指定を示す。リンクＡＳＩＣによって、任意選択として、現在のミッドプレーンの３次元８×８×８トーラスが、より大きい計算機のトーラスに接続される。図５の上部で、＋および−のｘ、ｙ、およびｚの信号が、それぞれ、図４の＋および−の論理ｘケーブル４０、論理ｙケーブル４２、論理ｚケーブル４４に結合される。図５のｘ方向の「スプリット１へ」および「スプリット２へ」に出入りする信号は、図４の＋および−のスプリット・ケーブル４６に結合される。上で説明したように、スプリット・ケーブル４６は、ｘ方向に沿ってのみ設けられるが、より複雑な実施形態では、ｙ方向およびｚ方向に沿ってスプリット・ケーブルを設けることもできる。リンク・カードには、ｘ方向、ｙ方向、およびｚ方向のそれぞれの＋および−のＡＳＩＣが含まれ、これは、図３に関して上で説明したように動作する。

ツリーおよび割込みの再分割
グローバル・コンバイニング・ツリー信号およびグローバル割込み信号は、図５、６、および７の上部を比較することによってわかるように、トーラス信号と同一のリンク・チップおよびケーブルを介して経路指定される。したがって、正規再分割およびスプリット再分割によって、ツリーが、トーラスと正確に同一の形で論理副区画に分割される。論理副区画内では、各ミッドプレーンの入出力プロセッサが、区画内のツリーを接続するようにソフトウェアによって再構成される。

図６および７に、トーラス信号も担持する、ミッドプレーンの間のケーブルおよびリンク・チップ（ｘ、ｙ、およびｚのリンク・チップが示されている）を介するグローバル・コンバイニング・ツリー信号およびグローバル割込み信号の経路指定を示す。リンク・チップが再構成される時に、どのミッドプレーンがシステムの論理区画のそれぞれで接続されるかが設定される。しかし、再分割の際に、コンバイニング・ツリー・ネットワークおよび割込み信号ネットワークの両方が、さらに構成され、その結果、コンバイニング・ツリーの頭部および割込み信号ネットワークの頭部の両方が、各論理計算機区画全体を通じて定義されるようになることを必要とする。これは、多数の形で達成することができる。

図６に、グローバル・コンバイニング・ツリー・ネットワークの信号であり、図５のトーラス信号と正確に同一のケーブルを介して経路指定される、グローバル・ツリー信号の経路指定を示す。

グローバル・コンバイニング・ツリーについて、大量並列スーパーコンピュータは、各ミッドプレーンの最上レベル・ミッドプレーン計算プロセッサ（ＡＳＩＣ）のグループを使用して、隣接ミッドプレーンへの６つのミッドプレーンから出るケーブル方向（リンク・ケーブルを介する信号）のどれが、アップツリー（透視図から、図２のツリーの最上部に向かう）またはツリーのより高い論理レベルに移動するものとして定義されるか、および、どれがダウンツリー（透視図から、図２の木の最下部に向かう）として定義されるかを、集合的に定義する。これらの最上レベル・ミッドプレーンＡＳＩＣは、それぞれ３つのグローバル・ツリー・ポートを有し、これらのポートを、ソフトウェア制御の下で切り替えて、どのポートがアップツリーまたはダウンツリーであるかを定義することができる。集合的に、これらの最上レベル・ミッドプレーンＡＳＩＣによって、図６に示されているように、６つのミッドプレーンから出るケーブル・リンクの１つがアップツリーとして定義され、他の５つがダウンツリーとして定義され、これによって、他の下位レベル・ミッドプレーンＡＳＩＣのツリー接続がもたらされる。

図７に、グローバル割込み信号ネットワークの信号であり、図５のトーラス信号と正確に同一のケーブルを介して経路指定される、割込み信号の経路指定を示す。

割込みは、単純なＡＮＤ機能およびＯＲ機能なので、複数のダウンツリー分岐をアップツリー・リンクに接続する時に、ミッドプレーン計算ＡＳＩＣの複雑なプロセッサが算術演算を実行する必要はない。最上レベル計算ＡＳＩＣのグループが、割込みネットワークのミッドプレーンから出るアップツリー・リンクおよびダウンツリー・リンクを接続する必要はない。これによって、図７の割込み経路指定を、図６のグローバル・ツリー経路指定と比較して単純にすることができる。グローバル割込みについて、図７のリンク・チップは、信号線５４を介してそれ自体の間で通信し、一緒に、リンク・カード上のリンクＦＰＧＡ（ASIC Field Programmable Gate Array）への信号線５５を介して単一の両方向アップツリー信号を提示する。このＦＰＧＡは、ダウンツリー・ブロードキャストと、アップツリーのＡＮＤ論理機能およびＯＲ論理機能を実行することができる。このＦＰＧＡは、５つのダウンツリー・ケーブル接続を介し、また、ミッドプレーンへ、ダウンツリー信号を通信する。

図５、６、および７に、ケーブルおよびリンク・カードの間のトーラス信号、グローバル・ツリー信号、および割込み信号のすべての経路指定が、正確に同一であることを示した。３つのネットワークのすべてが、同一のケーブルを介して移動し、各リンク・カードが、３つのすべてのタイプのネットワークの３つのすべてのタイプの信号の経路指定および再分割を処理する。

本明細書で、動的再分割を介するスーパーコンピュータでのフォールト・トレランスに関する本発明の複数の実施形態および変形形態を詳細に説明したが、本発明の開示および教示によって、当業者に多数の代替設計が提案されることは明白である。

並列コンピュータの非常に単純化された８個ノード・セクションと、この８つのノードの間のトーラス・リンクを示す図である。これは、ノードの完全なアレイのトーラス・リンクの部分的な図であり、ここで、各ノードは、実際に＋および−のｘ、ｙ、ｚ方向で６つのトーラス・リンクを有し、リンクは、最高の番号のノードから最低の番号のノードへ各論理方向（ｘ、ｙ、またはｚ）でラップして、システム内のすべてのノードの６方向で６つのトーラス・リンクが維持される。 大量並列スーパーコンピュータのグローバル・コンバイニング・ツリーの非常に簡略化された図である。この図は、コンピュータ・ノードの区画全体にわたってすべてのノードを接続するグローバル・コンバイニング・ツリーの全体の部分図である。 再分割を制御するリンク・チップの動作を示す図である。 概念的に大量並列スーパーコンピュータの床配置図と見なすことができる図である。この図には、８つのアイルによって分離された８つのコンピュータ・ラックの９行が示され、ここで、各行の８つのラックのそれぞれに、２つのミッドプレーンが含まれ、各ミッドプレーンに、８×８×８個の計算ノードが含まれる。 隣接するミッドプレーンに接続されたケーブルを介してリンク・カードに出入りし、リンクカードを介し、現在のミッドプレーンのトーラスに出入りするトーラス信号の経路指定を示す図である。リンクＡＳＩＣによって、任意選択として、現在のミッドプレーンの３次元８×８×８トーラスが、より大きい計算機のトーラスに接続される。 リンク・カードに出入りし、隣接ミッドプレーンに接続されるケーブルを介し、リンク・カードを介し、ミッドプレーン計算ＡＳＩＣに出入りするグローバル・コンバイニング・ツリー・ネットワークの信号である、グローバル・ツリー信号の経路指定を示す図である。リンクＡＳＩＣおよび最上レベル計算ＡＳＩＣは、集合的に、現在のミッドプレーンのツリーをより大きいシステムのグローバル・コンバイニング・ツリーに接続する方法を決定する。 隣接ミッドプレーンに接続されたケーブルを介してリンク・カードに出入りし、リンク・カードＡＳＩＣおよびＦＰＧＡを介し、ミッドプレーンに出入りするグローバル割込み信号ネットワークの信号である、割込み信号の経路指定を示す図である。

Claims (1)

1. 並列コンピュータ・システムをハードウェア障害に対してトレラントにするために複数のプロセッサを含む前記コンピュータ・システムでフォールト・トレランスを提供する方法であって、
   前記コンピュータ・システムに冗長待機プロセッサの余分なグループを設けることと、
   冗長待機プロセッサの前記余分なグループを、ハードウェア障害を経験する前記コンピュータ・システムのプロセッサのグループの代わりに動作するように切り替えることと
   前記コンピュータ・システムが、３次元トーラスとして接続されたａ×ｂ×ｃ個の計算ノードのアレイを含み、各計算ノードが、６つの隣接する計算ノードへの＋および−のｘ、ｙ、ｚ方向で、ラップ・リンクを含む６つのリンクによって接続する、
   前記コンピュータ・システムが、リンクのグローバル・コンバイニング・ツリーを介する通信リンクと、グローバル割込み信号の組のツリー構造として類似するコンバイニング・ツリーも経路指定する
   方法であって、
   前記コンピュータ・システムは、３次元トーラスとして接続された、＋および−のｘ、ｙ、ｚ方向で６つのトーラス・リンクを有する計算ノードを含むミッドプレーンを含み、前記ミッドプレーンに挿入されるリンク回路カードは６つのリンク・チップを有し、前記コンピュータ・システムのトーラス信号、グローバル・コンバイニング・ツリー信号、およびグローバル割込み信号は、異なるミッドプレーンの間で追跡する時にリンク・チップを介して通過し、
   前記リンク・チップは、隣接するミッドプレーンを接続する正規論理ｘケーブルと該正規論理ｘケーブルに接続された２つの正規ポート（ＩＮとＯＵＴ）及びｘ方向でスプリットするために設けたスプリット・ケーブル（ｘ方向）と２つのスプリット・ポート（ＩＮとＯＵＴ）と、ミッドプレーンｘトーラスループに信号をリダイレクトするための２つのミッドプレーン（ＩＮとＯＵＴ）を有するｘ方向のリンク・チップと、ｙ方向のリンク・チップ及びｚ方向のリンク・チップをそれぞれ有することで、正規ポートを正規ポートまたはミッドプレーン・ポートに経路指定したり、または、正規ポートをスプリット・ポートに経路指定することで、リダイレクトし、
   グローバル・コンバイニング・ツリー信号およびグローバル割込み信号は、トーラス信号と同一のリンク・チップおよびケーブルを介して経路指定され、正規再分割およびスプリット再分割によって、ツリーが、トーラスと同一の形で論理副区画に分割され、前記論理副区画内では、ミッドプレーンの入出力プロセッサが、区画内のツリーを接続するようにソフトウェアによって再構成する、
   方法。

Images