JPH10506736A

JPH10506736A - トーラス相互結合網のための適応ルーティング機構

Info

Publication number: JPH10506736A
Application number: JP8530986A
Authority: JP
Inventors: ソーソン，グレゴリー・エム; スコット，スティーブン・エル
Original assignee: クレイ・リサーチ・インコーポレイテッド
Priority date: 1995-04-13
Filing date: 1995-11-29
Publication date: 1998-06-30
Anticipated expiration: 2015-11-29
Also published as: JP3532574B2; DE69514550T2; WO1996032681A1; EP0821816B1; DE69514550D1; US5701416A; EP0821816A1

Abstract

(57)【要約】ルーティング機構は、２つのタイプの仮想チャンネルバッファを有する２つの非循環非適応仮想チャンネルと第３の仮想チャンネルバッファを有する１つの適応仮想チャンネルとを含み、上記２つのタイプの仮想チャンネルバッファは、ｎ次元でネットワーク化されたシステムにおける複数のノード間の複数の決定的仮想パスに沿った複数のパケットを記憶し、上記第３の仮想チャンネルバッファは、上記複数のノード間の非決定的仮想パスに沿った上記複数のパケットを記憶する。上記複数のパケットは、ルーティング情報に基づいて上記複数の決定的仮想パスの選択された一部分又は上記複数の非決定的仮想パスの選択された一部分に沿った複数のノード間でルーティングされ、上記ルーティング情報は、上記ある１つの決定的仮想パスの選択された一部分に関連する第３のタイプの仮想チャンネルバッファが全体のパケットを記憶するために利用できる十分な空間を有しなければ、パケットは上記複数の非決定的仮想パスのうちの１つの選択された部分上にルーティングされないというような情報である。

Description

【発明の詳細な説明】トーラス相互結合網のための適応ルーティング機構発明の分野本発明は一般的に、高速ディジタルデータ処理システムに関し、特に、デッドロックを回避する多重処理ネットワーク内でのデータの適応ルーティングの方法に関する。発明の背景マルチプロセッサコンピュータシステムは、相互結合網によって互いに接続された幾つかの処理素子ノードを備える。上記マルチプロセッサシステムの全体的性能は、大部分が相互結合網の性能に依存する。相互結合網の性能低下の最初の原因は、上記網における一様でない通信パターンとランダムな平衡状態（方程式）による輻輳である。輻輳が非常に局所的に限定された処理素子ノードに制限されると、その輻輳はメッセージの大きな停滞へ導く。上記輻輳問題に対処するために使用されている１つの技術は、適応ルーティングである。適応ルーティングは、データの複数のパケットが相互結合網における輻輳した領域の周囲を動的にルーティング（ルート選択）されることを可能にする。それにもかかわらず、適応ルーティング機構の潜在的な性能の利点は、もし適切に実施されなければ、設計の複雑さを加えてデッドロックの可能性を導入する。さらに、三次元トーラス（正方格子網において、最左端と最右端、最上端と最下端どうしのノードを結合したもの）相互結合トポロジにおいて、デッドロックを回避するための前述の解決法は非常に高価であった。相互結合網はノード間で情報のパケットを送信する。１つのパケットに含まれる可能性のある情報の例は、メッセージ、共有されるメモリ動作、又は種々の形態のデータである。パケットは多数の物理的転送単位（フィット(phits)）を備える。１つのフィットは典型的に、処理素子ノード間のネットワークの物理的通信リンク又は物理チャンネルの幅である。ネットワークの性能は、パケットの遅延及びスループットの関数である。パケットの遅延は、パケットの送信の開始から上記パケットの最後のフィットがそれの目的地で受信されるまでの時間である。パケットのスループットは典型的に、相互結合網によって伝送される処理素子当たりの１秒当たりのバイトとして測定される。遅延とスループットは独立し、両方とも通信負荷に依存する。相互結合網のタイプ第１世代のマルチプロセッサシステムは、ストアアンドフォワード相互結合網を利用する。ストアアンドフォワード相互結合網は、ソースから目的地へのパスに沿ってノードからノードに単一の単位としてパケットを転送する。パケットの最後のフィットが受信されるまで、各ノードはパケットのヘッドを次のノード上に送信するために待機する。より最近のマルチプロセッサシステムは、ワームホールルーティングの幾つかの形態を使用する相互結合網を利用する。ワームホールルーティングの相互結合網は、パケットの後部がノードによって受信される前に、上記ノードからのパケットの先頭をルーティングする。上記パケットはフロー制御単位(flow control units、以下、flit（フリット）という。)と呼ばれる幾つかのより小さいメッセージパケットに分割され、上記フリットは１つ又はそれ以上のフィットでもよい。ヘッダのフリットは処理素子ノードによって受信され、それの目的地について調査される。ヘッダのフリットは上記ルーティングアルゴリズムによって示される次のノード上に送信される。残りのフリットはデータ列(train)のような方法でヘッダのフリットの後に続く。ノード間のフロー制御は、ストアアンドフォワード相互結合網においてはパケット毎の基準よりむしろフリット毎の基準で達成される。従って、ワームホールルーティングにおいて、１つのパケットは物理的通信リンクをわたって部分的に転送されてもよく、そのとき、受信するノードにおいてバッファ空間の不足のためにブロックされるかもしれない。ワームホールルーティングは、少し負荷を与えられたネットワークにおけるパケットの遅延を明らかに減少し、なぜなら、リンク上にパケットを転送するための時間（１パケット×クロックの周期当たりのフィット）は、１ホップ当たりに一度よりむしろネットワークの１回の横断当たりに一度だけ行われるからである。ノードは全体のパケットをバッファする必要がないので、ワームホールルーティングはまた、ネットワークにおいてバッファするときの必要条件を大幅に減少させる。しかしながら、ワームホールルーティングに伴う問題は、ヘッダのフリットがブロックすると、残りのフリットが上記ヘッダの後ろで立ち往生することである。ブロックされたパケットは、ブロックされた所のノードを介してルーティングすることをヘッダのフリットが所望してないパケットでさえも、進行する他の複数のパケットを邪魔するかもしれない。このことは、特に一様でない通信パターンの存在において、大きなネットワークの性能劣化を引き起こす。相互結合網の第３のタイプは仮想カットスルー相互結合網である。仮想カットスルー相互結合網は、１つのパケットがバッファをブロックするときそのバッファが１つの全体のパケットを受信しなければならないことを除いて、ワームホールネットワークに似ている。従って、仮想カットスルールーティングは、ワームホールルーティングにおいて発生するブロッキング固有の問題を回避するが、ブロックされたすべてのパケットをバッファする必要がある付加的なハードウェアのコストがある。本アプリケーションはワームホールルーティングネットワークを拡張する複数の機構に関係する。デッドロックデッドロックは、循環的依存状態（cyclic dependencies）が１組のチャンネルバッファ間に生じるときに発生し、含まれるすべてのバッファを満たしてブロックすることを引き起こす。相互結合網の設計と対応するルーティングアルゴリズムにおける最初の考慮は、デッドロックを回避することである。デッドロック状況は、チャンネル−依存度のグラフによって定式化され、指示されたグラフのノードはネットワークのチャンネルを表し、指示されたグラフの弧はチャンネル間の依存度を表す。ある１つのパケットがチャンネルｘからチャンネルｙに直接ルーティングすることができる場合及びその場合に限って、１つの弧はチャンネルｘとｙとの間に存在する。もしそれのチャンネル−依存度のグラフが非循環的であればネットワークはデッドロックフリー（デッドロック状態が起きないこと）であることが提供される。デッドロックを回避するための１つの簡単な方法は、循環的なバッファの依存状態の可能性を除去するために、相互結合網上の処理素子ノード間の複数のパケットをルーティングするために用いられる相互結合網のトポロジ及び／又はルーティング機能を制限することである。例えば、もしルーティング機能が制限されて、その結果、次元がいつもｅ−キューブ又は次元順序ルーティングアルゴリズムを用いて昇順で横断されるので、二次元のハイパーキューブトポロジはデッドロックフリーである。ほとんどで、１つのホップが１次元当たりに行われてパケットがより低い次元にルーティングされないので、循環的バッファ依存状態はない。各次元における反対側を流れているトラヒックが別個の複数組のバッファを使用して、次元は昇順で横断されるので、ｅ−キューブルーティングアルゴリズムはまた、ｎ次元メッシュトポロジのデッドロックフリーを生成するために使用されることができる。しかしながら、トーラストポロジは、ｅ−キューブルーティングに制限されたときにデッドロックフリーではなく、なぜなら、トーラストポロジにおける周囲を包囲するラップアラウンドリンクは、循環的バッファ依存状態が単一のリング上で形成されることを可能にするからである。さらに、複数のメッシュにおいて、デッドロックは要求パケットと応答パケットとの間の依存状態のために生じる。１つのノードは、上記ノードが前の要求に対して応答パケットを送信するまで、より多くの要求パケットを受信することができないので、もし応答パケットがネットワークにおいて要求パケットの後ろに待機させられるときに、デッドロックは発生する。要求パケットと応答パケットとの間のこの依存状態問題への高価な解決策は、要求と応答に対して独立した物理ネットワークを使用することである。仮想チャンネル仮想チャンネルは、デッドロックを回避してネットワークの輻輳を減少するために使用される。各物理チャンネルは１つ又はそれ以上の仮想チャンネルに分割される。各仮想チャンネルは、仮想パスに沿った複数のパケットを記憶するための仮想チャンネルバッファを含む。複数の仮想チャンネルは共通の物理チャンネルをわたって多重化されるが、他の点では独立して動作する。従って、共通の物理チャンネルをわたって多重化された第１の仮想チャンネル上のブロックされたパケットは、共通の物理チャンネル上で多重化された第２の仮想チャンネルの後ろの複数のパケットをブロックしない。適応ルーティング適応ルーティングはマルチプロセッサコンピュータシステムの性能を増大するために使用されている。適応ルーティング相互結合網は、上記相互結合網における輻輳の回りの複数のパケットを動的にルーティングする。従って、適応ルーティング機構は、ネットワークのスループットを劇的に増大し、通信パターンにおける変化へのネットワークの感度を劇的に減少する。適応ルーティングアルゴリズムは、最小又は非最小のいずれかであるとして特徴付けられる。最小ルーティングアルゴリズムは、ソースノードと目的ノードの間の最短距離のルーティングパスだけを可能にする。非最小ルーティングアルゴリズムは、パケットがソースノードと目的ノードとの間の全体のルート距離を増す代わりのパスをルーティングすることを可能にする。従って、非最小ルーティングアルゴリズムは、最小ルーティングアルゴリズムが単一のパスに束縛される状況において適応ルーティングを可能にする。このように、非最小ルーティングアルゴリズムはネットワークにおける故障部（フォルト）の周囲を動的にルーティングするために使用される。しかしながら、非最小ルーティングアルゴリズムは、異なる物理的な仕切りでの複数の処理間のネットワークの干渉を引き起こす。さらに、前方向への進行が保証されないので、非最小ルーティングアルゴリズムはライブロック状況が発生することを許してしまう。デッドロックの回避は非最小ルーティングアルゴリズムにおいてより困難になってしまう。最小適応ルーティングアルゴリズムは完全に適応的又は部分的に適応的であることが可能である。完全適応ルーティングアルゴリズムはソースと目的地の間のどのような代わりのパスをも可能にし、一方、部分適応ルーティングアルゴリズムは幾つかの方法での選択を制限する。例えば、部分適応ルーティングアルゴリズムは、すべての次元の正方向におけるルーティングが、負方向におけるいかなるルーティングが実行される前に終了される必要がある。二次元トーラスにおいて、これは、＋Ｘ及び＋Ｙ方向におけるパケットの移動に対する完全適応性を結果として生じるが、＋Ｘ及び−Ｙ方向において移動するパケットに対する決定的ルーティングを結果として生じる。デッドロックが回避されなければならないので、適応ルーティングアルゴリズムは実施することが困難である。上述したように、デッドロックは、チャンネル −依存度のグラフからの循環を除去するためにトポロジ又はルーティング機能を制限することによって回避されることが可能である。対照的に、適応ルーティングの目的は、パケットがルーティングしてもよい多数の代わりのパスを提供するためにルーティング機能の自由度を増大させることである。適応ルーティングによって生じられる付加的な問題は、ネットワークの順序付けに関する。決定的（非適応）ルーティングを用いて、同一のソースから同一の目的地に伝送される２つのパケットが順番に送られる。多くの状況において、上記２つのパケットは、同一の遠隔のメモリ位置に要求を書き込むようなセットの順序で伝送されなければならない。適応ルーティングは一般的に、２つのパケットが異なるルートを取って反対の順序で到達することを可能にする。従って、順番にパケットを伝送する問題は、もし伝送順序が要求されれば、注意を向けられなければならない。仮想チャンネルを使用する完全適応ルーティング C.R.Jesshope，P.R．Miller and J.P．Yantchev(シー・アール・ジェスホープ、ピー・アール・ミラー及びジェイ・ピー・ヤンチェフ)，High Performance Co mmunications in Processor Networks (プロセッサネットワークにおける高性能通信)，proc．16th International Symposium on Computer Architectureの１５０−１５７において１９８９年５月における物理ネットワークは、複数のターン（turns）によって起こされるサイクルを壊すために移動の方向に依存する多数の仮想ネットワークに分割される。各仮想ネットワーク内の付加的仮想チャンネルはトーラスにおけるラップアラウンドリンクによって起こされるサイクルを壊すために開かれる。２ⁿの仮想ネットワークはｎ次元トーラス又はメッシュのために必要とされる。２倍の仮想チャンネル数は二次元トーラストポロジにおけるラップアラウンドサイクルを壊すために必要とされる。ジェスホープ他の文書は、複数の要求とそれに対応する複数の応答によって生成される複数のサイクルに注意を向けていない。要求／応答サイクルは、すべてのサイクルを壊すために必要とされる仮想チャンネル数を２倍にする。ジェスホープ他の方法を使用する要求及び応答トラヒックに対する三次元メッシュを構築するために、１つの物理チャンネル当たり１６個の仮想チャンネルが必要とされる。少なくとも３２個の仮想チャンネルが、三次元トーラストポロジに対する１個の物理チャンネル当たりに必要とされる。 D.H．Linder and G.C．Harden(ディー・エイチ・リンダー及びジー・シー・ハーデン)，An Adaptive and Fault Tolerant Wormhole Routing Strategy for k- ary n-cubes （ｋ−ａｒｙでｎ個の立方体に対する適応及びフォールトトレラントワームホールルーティングストラテジー)，I.E.E.E．Trans．on Computersの２−１２において１９９１年１月における移動方向に基づく複数の仮想ネットワークは、ｎ次元トーラス又はメッシュのために使用される。リンダー他は、ｎ次元トーラス又はメッシュに対して２ⁿ−１個の仮想ネットワークを必要とする。さらに、１個の仮想ネットワーク当たりｎ＋１個の仮想チャンネルがトーラスにおいてラップアラウンドリンクによって引き起こされるサイクルを壊すために必要とされる。また、要求／応答サイクルはリンダー他の文献では注意を向けられてない。リンダー他の方法を使用する三次元トーラストポロジは１個の物理チャンネル当たりに３２個の仮想チャンネルを必要とする。 W.J．Dally and H．Aoki(ダブリュ・ジェイ・ダリー及びエイチ・アオキ)，Ad aptive Routing Using Virtual Channels (仮想チャンネルを使用する適応ルーティング)，I.E.E.E．Transactions on Parallel and Distributed Systems，Vol ．4，No.4の４６６−４７５における１９９３年４月において、静的アルゴリズムと動的ルーティングアルゴリズムが開示されている。ダリー他の静的アルゴリズムにおいて、移動方向に基づいて仮想チャンネルのクラスを生成することよりむしろ、仮想チャンネルのクラスは、パケットが行う次元の反転の回数に基づいて生成される。パケットがより高い番号を付けられた次元からより低い番号を付けられた次元にルーティングするときに、次元の反転は発生する。ｎ＋１個のそのようなクラスを用いて、１つのパケットはｎ次元の反転を行うだけでもよく、次いで、決定的にルーティングしなければならない。ダリー他の文献だけが複数のメッシュについて論及している。ダリー他の動的方法はデッドロックフリーのサブネットワークのセクションのもとで以下で述べられる。仮想チャンネルを使用する部分的適応ルーティング上記の文献は、付加的仮想チャンネルに基づいて完全適応ルーティング機構を記述する。C.J．Glass and L.M．Ni(シー・ジェイ・グラス及びエル・エム・ニー)，The Turn Model for Adaptive Routing(適応ルーティングのためのターンモデル)，Proc．19th International Symposium on Computer Architectureの２７８−２８７の１９９２年５月において、仮想チャンネルを加えることなく部分的適応性を提供するターンモデルルーティング方法が述べられる。上記ターンモデルは、複数のパケットがチャンネル−依存度のグラフにおけるサイクルを壊すために生成するターン数を制限する。グラス他は複数の二次元メッシュトポロジのための幾つかの部分的適応ルーティングアルゴリズムを表す。例えば、パケットを決定的に西、次いで東、北及び南方向に適応的にルーティングする１番目に西へルート選択するルーティングアルゴリズムが記述される。最小ルーティングに対して、１番目に西へルート選択するルーティングアルゴリズムは西に移動しないパケットに対しては完全適応性を提供し、西に移動するパケットに対しては適応性を提供しない。グラス他の文献は、余分な仮想チャンネルを加えることなく４より大きい基数を有するトーラスのための適応的でデッドロックフリーな最小ルーティングアルゴリズムを提供することは不可能であることを述べる。複数のトーラストポロジのための幾つかの非最小で部分的適応アルゴリズムはグラス他の文献に表される。 A.A．Chien and J.H．Kim(エー・エー・チェン及びジェイ・エイチ・キム)，P lanar-Adaptive Routine: Low-Cost Networks for Multiprocessors (二次元適応ルーチン：マルチプロセッサに対する適応ネットワークのための低コストネットワーク)，proc．19th International Symposium on Computer Architectureの２６８−２７７における１９９２年５月において、二次元適応モデルが記述される。二次元適応モデルは付加的な仮想チャンネルを使用することによってトーラス及びメッシュに対する部分的適応性を提供する。二次元適応モデルは一連の二次元平面（例えば、三次元ネットワークにおけるＸＹとＹＺである。）において適応的にパケットをルーティングする。二次元適応モデルは、２より大きいｎであり独立したｎであるｎ次元ネットワークに対して一定数の仮想チャンネルを必要とする。二次元適応モデルは、メッシュトポロジに対して１個の物理チャンネル当たり３個の仮想チャンネルを必要とし、トーラストポロジに対して１個の物理チャンネル当たり６個の仮想チャンネルを必要とする。しかしながら、チェン他の文献は要求／応答サイクルを考慮することを無視する。二次元適応モデルを使用する三次元トーラスネットワークは、要求／応答サイクルを壊すために１個の物理チャンネル当たり１２個の仮想チャンネルを必要とする。デッドロックフリーなサブネットワーク上述したように、以前は、相互結合網においてデッドロックを回避するためにチャンネル−依存度のグラフは非循環的でなければならないと信じられていた。次の２つのルーティング方法は、パケットがいつも入ることができてかつパケットがそれらの目的地に到達することを可能にするグラフの非循環的な部分があれば、チャンネル−依存度のグラフは非循環的でなくてもよいという考えに基づいている。第１のそのような方法は、上記で参照されてダリー他の文献において記述されたダリー他の動的ルーティングアルゴリズムである。ダリー他の静的アルゴリズムのように、ダリー他の動的アルゴリズムはパケットがとる次元の反転回数を計数するが、フィールドのサイズとその回数を記録するために用いられるパケットとによる計数ではなく、この回数を制限しない。ネットワークは２つのクラスに分割される：適応的と非適応的である。すべてのパケットは適応的仮想ネットワークにおいて始まり、所望される回数でより低い次元に変化する。より少ない次元反転回数を有するパケットによって占有されたバッファ上で待機する必要がある任意のパケットは、適応仮想ネットワークを出て非適応仮想ネットワークにおけるそれの目的地への別のルートにルーティングする必要がある。これは適応仮想ネットワークにおける発生からのデッドロックサイクルを動的に防止する。ダリー他の動的ルーティングアルゴリズムは、１個の物理チャンネル当たり単一の仮想チャンネルだけを用いる完全適応ルーティングを提供する。しかしながら、パケットが非適応仮想ネットワークにおいてルーティングするために適応仮想ネットワークを出なければならないとき、上記パケットはその移動時間のために非適応仮想ネットワークに残らなければならない。それゆえ、パケットは非適応仮想ネットワークに入るとすぐに、適応性は失われる。ダリーの動的方法は実施することがかなり困難であり、なぜなら、次元の反転回数はすべてのパケットに対して保持されなければならず、ノードは、ノードが送信することができるすべての適応チャンネルに対するチャンネルバッファに記憶される、パケットの次元の反転回数を知る必要がある。チャンネル−依存度のグラフは非循環でなくてもよいという根本的な考えを使用する第２の適応ルーティング方法は、J．Duato(ジェイ・デュアト)，A New Th eory of Deadlock-Free Adaptive Routing in Wormhole Networks (ワームホールネットワークにおけるデッドロックフリーな適応ルーティングの新しい理論)，I .E.E.E．Transactions on Parallel and Distributed Systems，Vol.4，No.12の１３２０−１３３１における１９９３年１２月に開示される。デュアトの適応ルーティング方法は１組の仮想チャンネル（Ｃ）を２つのサブセットの（Ｃ１、ＮＣ１）に分割する。第１のサブセット（Ｃ１）は、すべてのノード間の非適応的でデッドロックフリーであるルーティングを実施する。第２のサブセット（ＮＣ１）は最小であって適応的であるルーティングを実施し、それのチャンネル−依存度のグラフにおけるサイクルを有する可能性がある。パケットはＮＣ１チャンネルにおいて自由にルーティングでき、循環的依存状態はＮＣ１バッファ間で生じるかもしれない。ＮＣ１チャンネルにおけるパケットはいつも、これらの循環的依存状態を壊すためにＣ１チャンネルにルーティングできなければならない。Ｃ１におけるパケットはいかなる時でもＮＣ１チャンネルにルーティングしてもよい。発生するデッドロックを回避するために、デュアトは彼の適応ルーティング方法における幾つかの制限を強要する。まず最初に、デュアトは、現在のチャンネルと目的ノードのより柔軟な機能よりむしろ現在のノードと目的ノードの機能としてルーティングを画成する。ほとんどのルーティングアルゴリズムは、現在のチャンネルと目的のノードの機能としてルーティング機能を画成する。デュアトの第２の制限は、仮想チャンネルの待ち行列（バッファ）は異なるパケットに属するフリットを含むことはできないことである。この要求を実施するために、デュアトは、待ち行列が最後のフリットを受信した後でもう１つのヘッダフリットを受信する前に、上記待ち行列は空にされなければならないことを必要とする。この制限は、ＮＣ１チャンネルにおけるすべてのパケットが、もし循環的依存状態を壊すことが必要とされなければ、Ｃ１チャンネルにルーティングすることができることを保証する。デュアトの方法において、パケットの先頭がそれのＮＣ１の待ち行列におけるもう１つのパケットの後ろでブロックされることは不可能であり、よって上記先頭は（待ち行列の前で）いつもアクセス可能である。デュアトの方法の第３の制限は、Ｃ１仮想ネットワークの拡張されたチャンネル−依存度のグラフが非循環的でなければならないことである。拡張されたチャンネル−依存度のグラフは、間接依存状態に対する付加的な弧を用いて増大される通常のチャンネル−依存度のグラフである。パケットがチャンネルｘからＮＣ１チャンネルにルーティングし、ＮＣ１チャンネルにおける０又はそれ以上のより付加的なホップでルーティングし、次いで、チャンネルｙ上のＣ１にルーティングすることができる場合及びその場合に限って、間接依存状態はＣ１チャンネルｘとｙの間に存在する。トーラスのＣ１サブネットワークに対する拡張されたチャンネル−依存度のグラフは、循環的である。従って、デュアトの方法はトーラストポロジに対しては機能しない。適応的なルーティングへの上記のアプローチのどれもが、三次元トーラスネットワークに対しては適切な機構ではない。従って、完全適応ルーティング機構は、いかなる次元のトーラス上でもデッドロックフリーなルーティングを提供し、実施のために最小仮想チャンネルを要求することを所望される。発明の概要本発明は、ｎ次元トポロジにおける複数のノードと上記複数のノードを相互結合する物理的通信リンクとを有するネットワーク化されたシステムにおいて、ソースノードと目的ノードの間でパケットをルーティングする方法と装置とを提供する。１つのパケットは、ルーティング情報を有するヘッダを転送されるべき情報に取り付けることによって形成される。各物理的通信リンクは、第１のタイプの仮想チャンネルバッファと第２のタイプの仮想チャンネルバッファと第３のタイプの仮想チャンネルバッファとを割り当てられる。２つの非循環非適応仮想チャンネルは、ルーティング情報に基づいてソースノードから目的ノードへの決定的仮想パスに沿ったパケットを記憶するために、第１のタイプと第２のタイプとの仮想チャンネルバッファを使用することができるように画成される。適応仮想チャンネルは、ルーティング情報に基づいてソースノードから目的ノードへの複数の非決定的仮想パスに沿ったパケットを記憶するために第３のタイプの仮想チャンネルバッファを使用することができるように画成される。パケットは、ルーティング情報に基づいて、ソースノードから隣接するノードへの１つの決定的仮想パスの一部分、又はソースノードから隣接するノードへの複数の非決定的仮想パスの一部分のいずれかに沿ってルーティングされ、上記ルーティング情報は、ある１つの非決定的仮想パスの一部分に関連する第３のタイプの仮想チャンネルバッファが１つの全体のパケットを記憶するために利用できる十分な空間を有していなければ、上記非決定的仮想パスの一部分はルーティングのために選択されないというような情報である。パケットは、上記パケットが目的ノードに到達するまで、上述の方法におけるルーティング情報に基づいて選択された仮想パス上をルーティングすることを続ける。本発明の好ましい実施形態は、複数のパケットをルーティングする方向の順序を画成する。方向の順序は、決定的仮想パスに沿った２ｎ個の方向の各々においてパケットをルーティングする優先順位を画成する。ある１つの非決定的仮想パスは好ましくは、ブロックされる又はディスエーブルされる２ｎ個の方向のうちの最も低い優先順位の方向においてルーティングするために予め選択される。本発明の好ましい実施形態において、１つのパスは、１つの非決定的仮想パスを予め選択することと、パケットをルーティングする予め選択された非決定的仮想パスの一部分及び決定的仮想パスの一部分との両方を要求することとによって、ルーティングするために選択される。複数の物理的通信リンクへのアクセスは、上記複数の物理的通信リンクに対する要求及び他の競合する要求に応答して承認又は否認される。もし適応仮想チャンネルと非適応仮想チャンネルとが物理的通信リンクのアクセスを両方ともに要求すれば、非適応仮想チャンネルが物理的通信リンクへのアクセスを承認される。承認された仮想パスの一部分は、もし要求のうちの少なくとも１つが承認されれば選択される。１つの非決定的仮想パスの一部分は、もし両方の要求が承認されれば選択される。上記要求は、要求のいずれも承認されなければ再試行される。本発明は好ましくは、複数のノード間で多数のパケットをルーティングする。順序付けられたルーティングをサポートするための本発明の１つの形態において、予め決められた順序で目的ノードに到達するために要求される複数のパケットの複数の順序依存グループが、決定される。決定的仮想パスだけが、複数のパケットの１つの順序依存グループにある上記複数のパケットをルーティングするために選択される。要求パケットと応答パケットとの間で形成されるサイクルを説明するために、複数の非循環非適応仮想チャンネルは好ましくは、要求情報を処理する２つの非循環非適応仮想チャンネルと、応答情報を処理する２つの独立した非循環非適応仮想チャンネルとを含む。本発明の好ましい実施形態は、より短い代わりの複数のルーティングを提供するために複数の最初の自由なホップと複数の最後のホップとを使用する。上記複数の最初の自由なホップと上記複数の最後のホップによって、相互結合網は修復不可能な多くの複合的な故障部の周囲に形成することができる。本発明のもう１つの態様は、たとえ１つの非決定的仮想パスの一部分に関連する第３のタイプの仮想チャンネルバッファが１つの全体のパケットを記憶するために十分な空間を有してなくても、上記１つの非決定的仮想パスの一部分がルーティングのために選択されることを可能にすることによって、複数の任意長のパケットをサポートするルーティング機構を提供する。しかしながら、このルーティング機構は、もし１つの非決定的仮想パスの一部分に関連する第３のタイプの仮想チャンネルバッファが空でなければ、ルーティングのための上記１つの非決定的仮想パスの一部分を選択しない。もし１つのパケットがある１つの非決定的仮想パスの一部分にルーティングされれば、パケットが上記ある１つの非決定的仮想パスの一部分に入るとき、上記パケットが存在する方向と決定的仮想パスは記録される。上記パケットが決定的仮想パスに再び入ると、上記パケットは、もし記録された方向におけるすべての転送が完全に行わなければ、記録された方向で記録された決定的仮想パス上をルーティングすることを続ける。図面の簡単な説明図１は、超並列処理（ＭＰＰ）システムの図である。図２は、図１のＭＰＰシステムのための処理素子ノードと相互結合網コンポーネントの図である。図３は、図１のＭＰＰシステムのための処理素子コンポーネントの図である。図４は、三次元トーラスネットワークトポロジを有するＭＰＰシステムの図である。図５は、図１のＭＰＰシステムの好ましい実施形態の各ネットワークの物理的通信リンク又はチャンネルのために用いられる複数の仮想チャンネルを図示する図である。図６は、複数の仮想チャンネルを使用する三次元ネットワークにおける切り換え機構のブロック図である。図７は、部分的なＺ平面を図示するＭＰＰシステムネットワークのサブセクションである。図８は、壊れた物理的通信リンクを回避するために＋Ｘ及び−Ｘの物理的通信リンクの両方の使用を図示するＭＰＰシステムネットワークのサブセクションである。図９は、物理的サイクルに対する横断時間の仮想チャンネルへの割り当てを図示する図である。好ましい実施形態の説明好ましい実施形態の以下の詳細な説明において、これの一部分を形成しかつ本発明が実施される特定の実施形態の図として示される添付の図面から参照される。他の実施形態が利用され、構造的又は論理的変形例が本発明の範囲を逸脱することなく形成されてもよい。それゆえ、次の詳細な説明は限定的な解釈で取られるのではなく、本発明の範囲は添付の請求の範囲によって定義される。ＭＰＰシステム図１は、通常２０で示される超並列処理（massively parallel processing、ＭＰＰ）システムのコンポーネントの簡単化されたモデルを図示する。ＭＰＰシステム２０は典型的に、処理素子ノード２２のような数百又は数千の処理素子ノードを備える。相互結合網２４は、ＭＰＰシステム２０における複数の処理素子ノード間の通信パスを提供する。図１において図示される当該システム２０のモデルにおいて、相互結合網２４は通信パスの三次元マトリックスを形成し、上記通信パスは、矢印２６によって示されるｘ、ｙ及びｚ次元において複数の処理素子ノードを接続する。相互結合網２４はまた、複数の処理素子ノード２２をＩ／Ｏゲートウェイ２８に接続する。Ｉ／Ｏゲートウェイ２８は、ホストシステム（図示せず。）とＭＰＰシステム２０との間でシステムデータ及び制御情報を転送する。上記ホストシステムは、ＭＰＰシステム２０のためのソフトウェアコンパイラを実行する。ＭＰＰシステム２０のために記述されたすべてのソフトウェアプログラムは、ホストシステム上でコンパイルされるが、ＭＰＰシステム２０において実行される。単一のキャビネットの構成においては、ホストシステムはＭＰＰシステム２０と同一のキャビネットに属する。複数のキャビネットの構成においては、ホストシステムは、ＭＰＰシステム２０に接続される離れたキャビネットに属する。図２は、処理素子ノード２２のより詳細な図面と処理素子ノード２２の相互結合網２４への接続とを提供する。処理素子ノード２２のような各処理素子ノードは典型的に、処理素子３０とブロック転送エンジン３２とネットワークインターフェース３４とを備える。処理素子ノード２２は１つ以上の処理素子３０を備えてもよい。図３において図示されるように、各処理素子３０は、マイクロプロセッサ３８とローカルメモリ４０とサポート回路４２とを備える。各処理素子３０はローカルメモリ４０を含むので、ＭＰＰシステム２０は動的な分散型メモリを含む。それにもかかわらず、ＭＰＰシステム２０のメモリはまた、論理的に共有される。ある１つの処理素子３０におけるマイクロプロセッサ３８は、その処理素子３０におけるマイクロプロセッサ３８を含まずに、もう１つの処理素子３０のメモリにアクセスすることができるので、ＭＰＰシステム２０のメモリは論理的に共有される。ローカルメモリ４０は好ましくは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え、システムデータを記憶する。低い待ち時間で高い帯域幅のデータのパスは、マイクロプロセッサ３８を処理素子３０におけるローカルメモリ４０に接続する。サポート回路４２はマイクロプロセッサ３８の制御機能とアドレス機能を拡張する。サポート回路４２はデータ転送をローカルメモリ４０に又はローカルメモリ４０から実行する。図２に戻って参照すると、ブロック転送エンジン（block transfer engine、ＢＬＴ）３２は、システムデータを再分散する非同期直接メモリアクセスコントローラである。ＢＬＴ３２は、処理素子３０におけるローカルメモリ４０と遠隔な処理素子におけるローカルメモリとの間でシステムデータを再分散する。ＢＬＴ３２は、処理素子３０又は遠隔な処理素子に割り込むことなく、データを再分散することができる。ＭＰＰシステム２０の変形例の実施形態において、ソフトウェアは、複数の処理素子３０のローカルメモリ４０間のデータのブロックの移動を制御する。ネットワークインターフェース３４は、相互結合網２４をわたってもう１つの処理素子ノード２２又はＩ／Ｏゲートウェイ２８に送信されるべき情報をフォーマットする。ネットワークインターフェース３４はまた、他の処理素子ノード２２又はＩ／Ｏゲートウェイ２８からの到来情報を受信し、上記情報を処理素子３０に向けて送信する。相互結合網２４は、図２において図示されるネットワークルータ３６のような複数のネットワークルータを備える。さらに、相互結合網２４は、各次元の各方向における複数の物理的通信リンクを備える。複数のＸ次元の通信リンク４４はｘ次元における複数の処理素子ノードに接続する。複数のＹ次元の通信リンク４６はｙ次元における複数の処理素子ノードに接続する。複数のＺ次元の通信リンク４８はｚ次元における複数の処理素子ノードに接続する。各次元における代表的な通信リンクは図１において図示される。さらに、図２は、−Ｘ次元における通信リンク４４ａ、＋Ｘ次元における通信リンク４４ｂ、−Ｙ次元における通信リンク４６ａ、＋Ｙ次元における通信リンク４６ｂ、−Ｚ次元における通信リンク４８ａ及び＋Ｚ次元における通信リンク４８ｂを図示する。通信リンク４４、４６及び４８は、相互結合網２４におけるネットワークルータ３６間でデータ及び制御情報を転送する。通信リンクは典型的に２つの単方向チャンネルを備える。上記通信リンクにおける各チャンネルは好ましくは、データ信号と物理的単位（phit、フィット）タイプ信号と仮想チャンネル選択信号と仮想チャンネル応答信号とを含む。複数のデータ信号は好ましくは、要求情報又は応答情報のいずれかを運ぶ。要求情報は、ノードに行動を実行するように要求する情報を含む。例えば、ソースノードは、メモリからの情報を読み取るために目的ノードに情報を送信してもよい。この要求は、通信リンクにおけるある１つのチャンネルをわたって送信される。複数の応答情報は活動の結果である情報を含む。例えば、読取りデータのための要求を受信した後に、目的ノードはその応答をそのソースノードに返信する。上記応答は上記読取りデータを含む。要求と応答は、デッドロックを回避するように好ましくは論理的に分割される。要求と応答の論理的な分割は以下で説明される。相互結合網２４は好ましくは、双方向のトーラスにおける複数の処理素子ノード２２を接続する。図４は、ｘ、ｙ及びｚ次元における三次元トーラスネットワークを有するＭＰＰシステムの好ましい実施形態を図示する。三次元トーラスにおける各処理素子ノードは、ｘ、ｙ及びｚ次元の十及び一方向における通信リンクを有する。明細書における他の幾つかの図面は三次元ネットワークの接続を示す。明解にするために、これらの他の図面においては、各次元における上記トーラスを完全にする複数の通信リンクは図示されない。トーラストポロジにおいて、リングは、情報があるノードから同一の次元におけるすべてのノードを介して元のノードに転送することができる各次元において、形成される。トーラスネットワークは、情報の転送速度の高速化のような、ネットワークの通信のための幾つかの利点を提供する。トーラスネットワークのもう１つの利点は、情報を上記ネットワークの周囲を長距離で送信することによって、有害な通信リンクを回避する能力である。情報は、パケットの形状で複数の通信リンク上の複数の処理素子ノード間を転送される。各パケットは好ましくはヘッダを備える。上記ヘッダは、ネットワークを介するパケットを処理するルート情報と、どの処理素子がパケットを受信すべきかを示す目的地情報と、パケットを受信して動作を実行する処理素子に命令する制御情報とを含む。上記ヘッダはまた、どの処理素子がどのパケットを生成したかを示すソース情報を含んでもよく、メモリアドレス情報を含んでもよい。パケットは任意にボディを備える。パケットのボディは典型的に、複数の処理素子ノード間を転送されるべきデータ又はホストシステムから若しくはホストシステムへのシステムデータを含む。各処理素子ノード３０でのネットワークルータ３６のようなネットワークルータは、各パケットの各ヘッダにおいて含まれるルーティング情報に基づいて、相互結合網２４における複数の通信リンクを介してパケットを転送する。上記ヘッダと上記ボディは、種々のリンクを有し、同時に通信リンクのある１つのフィット上を転送する。ＭＰＰシステム２０は背景セクションにおいて定義されたワームホールルーティングを使用し、ルーティング情報は上記ワームホールルーティングにおけるヘッダのフリット（flit）に含まれ、残りのフリットはデータ列のような方法でそれの後ろに続く。複数のノード間のフロー制御は、パケット毎の基準よりむしろフリット毎の基準で実行され、従って、ある１つのパケットがリンク上を部分的に送信され、受信する処理素子ノードにおけるバッファ空間の不足のためにブロックされることが起こりうる。上述したように、本発明の好ましい実施形態は、双方向の三次元トーラスネットワークであり、上記三次元トーラスネットワークはさらにデッドロックの状況を悪化する。適応ルーティング機構相互結合網２４を介して複数のパケットをルーティングする本発明に係る適応ルーティング機構は、共通の複数の物理的通信リンクをわたって多重化された複数の仮想チャンネルを使用するが、他の点では独立的に動作する。背景セクションにおいて説明されたデュアト（Duato）のデッドロックフリーなサブネットワーク方法を用いて、ＭＰＰシステム２０は、仮想チャンネルＣ１の第１のサブセットを使用する適応ルーティング機構を用いる。上記仮想チャンネルＣ１は、すべてのノード間で非適応的でデッドロックフリーなルーティングを実行する。仮想チャンネルの第２のタイプは仮想チャンネルＮＣ１である。仮想チャンネルＮＣ１は最小完全適応ルーティングを実行する。複数のパケットが仮想チャンネルＮＣ１において自由にルーティングするので、仮想チャンネルＮＣ１はそれのチャンネル−依存度のグラフにおける複数のサイクルを有する。デュアトの方法におけるように、もしいかなるときにも、仮想チャンネルＮＣ１においてデッドロックされることが決定されると、パケットは仮想チャンネルＣ１にジャンプすることができなければならない。従って、仮想チャンネルＮＣ１における複数のパケットはいつも仮想チャンネルＣ１にルーティングすることができなければならない。図５は、各ネットワークの物理チャンネル又は物理的通信リンクのために使用される複数の仮想チャンネルを図示する。２つの仮想チャンネル５０及び５２は仮想要求ネットワークＣ１のために使用される。仮想チャンネル５０はｖｃ０タイプの仮想チャンネルであり、仮想チャンネル５２はｖｃ１タイプの仮想チャンネルである。同様に、応答Ｃ１仮想ネットワークは２つの仮想チャンネル５４及び５６を備える。仮想チャンネル５４はｖｃ０タイプの仮想チャンネルであり、仮想チャンネル５６はｖｃ１タイプの仮想チャンネルである。ｖｃタイプである第３の仮想チャンネルは適応ＮＣ１仮想チャンネル５８であり、上記適応ＮＣ１仮想チャンネル５８は要求及び応答のネットワークの両方における適応ルーティングを提供する。図５に図示される好ましい実施形態は１つのＮＣ１仮想チャンネルを使用するが、独立したＮＣ１仮想チャンネルは要求と応答の仮想ネットワークの両方のために使用されてもよい。図６を参照すると、各ノードはローカル処理素子（processing element、ＰＥ）と同様に、６方向（＋Ｘ，−Ｘ，＋Ｙ，−Ｙ，＋Ｚ，−Ｚ）の各々に対して１つの入力及び１つの出力を有する。図６のブロック図は、複数の仮想チャンネルを使用する三次元の要求又は応答Ｃ１ネットワークにおける切り替えを図示する。仮想チャンネルのためのバッファは、物理的通信リンクの受信側の最後での処理ノードの複数の入力にある。各物理的通信リンク上の送信側のノードは、反対方向のリンク上で送信されるフロー制御情報を使用して、受信側の処理素子ノードにおける各仮想チャンネルのために利用できるバッファ空間のトラックを保持する。いかなる時も、仮想チャンネルＣ１における１つのパケットは、複数のパケットの現在のノードでの仮想チャンネルＮＣ１にルーティングしてもよく、上記複数のパケットの現在のノードはそれの（最小限の）目的地に近い１つのパケットを移動する。仮想チャンネルＮＣ１における１つのパケットはまた、それの現在のノードで任意の仮想チャンネルＮＣ１に最小限でルーティングしてもよい。仮想チャンネルＮＣ１における１つのパケットはいつでも仮想チャンネルＣ１にルーティングしてもよい。仮想チャンネルＣ１のネットワークに再び入ると、パケットは、現在のノードの仮想チャンネルのルックアップテーブルを使用して、決定的Ｃ１ルーティングアルゴリズムに従って物理及び仮想チャンネル上でルーティングする。要求又は応答の仮想チャンネルＣ１ネットワーク内のいずれかで、ｖｃ０仮想チャンネル又はｖｃ１仮想チャンネル上のパケットのルーティングを開始するために選択することと、パケットのルートの間に仮想チャンネルをいつ変更するかを決定することは、正確性と性能の両方に影響を与える。最初の比較は正確性である（即ち、ｖｃ０とｖｃ１との間の仮想チャンネル配置がデッドロックを防止する必要がある。）。次の３つのステップが実行されて、複数のＣ１仮想チャンネルにおけるデッドロックを防止する。まず最初に、複数の要求及び応答パケットは独立した複数組の仮想チャンネル上にルーティングされる。このことは、要求と応答とのトラヒックの間のいかなるサイクルをも壊す。第２に、方向順序ルーティングは好ましくは、多数の方向を含むいかなるサイクルをも壊すために用いられる。言い換えれば、複数のパケットは、（＋Ｘ，＋Ｙ，＋Ｚ，−Ｘ，−Ｙ，−Ｚ）のような予め決められた方向の優先順位を用いてルーティングされる。例えば、上述の方向の順序を用いて、＋Ｘ、−Ｙ及び＋Ｚの目的地に対するルートは、まず最初に＋Ｘ、次いで＋Ｚ、次に−Ｙでルーティングする。方向順序ルーティングは、本発明の譲受人であるクレイ・リサーチ・インコーポレイテッドに譲渡された係属中の１９９２年の１１月３０日に出願された特許出願シリアル番号第０７／９８３，９７９号で“マルチ処理システムにおける方向順序ルーティング（DIRECTION ORDER ROUTING IN MULTIPROCESSING SYSTEM）”と名称づけられた特許出願に詳細に説明される。デッドロックを回避するための第３のステップは、各リング内の複数のサイクルを壊すための２つの仮想チャンネル（ＶＣ０及びＶＣ１）の使用である。この第３のステップは、性能を最適にするために種々の方法において実行されることが可能である。仮想チャンネル配置の好ましい方法は、本出願の発明者であるスティーブン・エル・スコットとグレゴリー・エム・トーソンとにこれと共に同日出願された名称“並列処理システムにおける最適化された仮想チャンネル配置（ OPTIMIZED VIRTUAL CHANNEL ALLOCATION IN PARALLEL PROCESSING SYSTEM）”である係属中の一般的な米国特許出願に詳細に説明される。ある１つのパケットが、そのリング（対応する次元における目的ノードの座標）上のパケットの目的地に基づいて、（図２に図示された）仮想チャンネルルックアップテーブル３７において記憶されたルーティング情報によってリング上でルーティングを開始するときに、ｖｃ０又はｖｃ１仮想チャンネルは選択される。各処理素子ノードは、小さくてシステムに設定可能な、上記処理素子ノードの６方向の各々に対する仮想チャンネルルックアップテーブル３７を有する。Ｃ１ネットワークにおけるルーティングは厳密に決定的である。Ｃ１とＮＣ１との間のルーティング機構は、背景セクションにおいて説明されたデュアトの方法からの多くの制限を除去する。デュアトの方法とは異なり、ルーティング関数は仮想チャンネルを考慮に入れる。さらに、本発明のルーティング機構は、多数のパケットからのフリットが同一の仮想チャンネルバッファに属することを可能にする。最終的には、本発明のルーティング機構は、Ｃ１仮想ネットワークの拡張されたチャンネル−依存度のグラフにおける複数のサイクルを可能にする。それにもかかわらず、次の制限はＮＣ１仮想チャンネルに対して要求される：「ＮＣ１仮想チャンネルに対するバッファが全体のパケットを保持すべき空間を有しないかぎり、パケットはそのＮＣ１仮想チャンネルに入らなくてもよい。」本発明の適応ルーティング機構の上記の制限は２つの結果を生じる。第１に、当該制限は複数のＮＣ１仮想チャンネル内で発生するデッドロックを防止し、なぜなら、パケットは、それの後部が異なるチャンネルバッファの先頭をブロックするようにＮＣ１仮想チャンネルにおいてブロックすることができないからである。先頭がＮＣ１仮想チャンネルバッファの前にある１つのパケットはいつでも、Ｃ１仮想チャンネルにルーティングすることができるので、ＮＣ１仮想チャンネルネットワークのデッドロックは不可能である。対照的に、デュアトの方法は、パケットが同一の結果を達成するためには同一のチャンネルバッファを共有しないことを必要とする。デュアトの制限は、リンクにわたる複数のパケットの送信のパイプライン処理を妨げ、なぜなら、第２のパケットが送信を開始する前に第２のパケットより前のパケットがそれのチャンネルバッファから出力されるまで、第２のパケットは待たなければならないからである。本発明の上記の制限の第２の結果は、複数のＣ１仮想チャンネル間の間接依存状態がもはや存在しないことである。ＮＣ１仮想チャンネルに入るどのパケットも、最初のＮＣ１仮想チャンネルバッファによって完全に受信され、なぜなら、そのチャンネルに対するバッファが上記全体のパケットを保持するための空間を有さなければ、パケットはＮＣ１仮想チャンネルに入らなくてもよいからである。それゆえ、パケットはＣ１仮想チャンネルからＮＣ１仮想チャンネルにルーティングすることができずに戻り、次いでパケットの後部が最初のＣ１仮想チャンネルバッファにおけるバッファ空間を消耗するようにブロックする。結果として、デュアトの文献によって画成された拡張されたチャンネル−依存度のグラフは、本発明の適応ルーティング機構に適切ではない。代わりに、本発明のルーティング機構は、任意の相互結合網トポロジを介して複数のパケットをルーティングするために使用されることができ、Ｃ１仮想チャンネル上のデッドロックフリーな決定的ルーティングアルゴリズムが上記任意の相互結合網トポロジのために構築されることができる。好ましくは、上述したように、デッドロックフリーな決定的ルーティングアルゴリズムは、要求ネットワークに割り当てられた２つの仮想チャンネルと応答ネットワークに割り当てられた２つの仮想チャンネルとを有する方向順序ルーティング方法である。ソースノードから目的ノードへの２つのノード間で使用するための仮想パスを選択するために使用されるルーティング機構は、次のようになる：Ａ．もしＮＣ１仮想チャンネルの先頭とＣ１仮想チャンネルの先頭とが両方ともに物理的通信リンクを要求すれば、Ｃ１仮想チャンネルが物理的通信リンクへのアクセスが承認される。Ｂ．与えられた１つのパケットは、２つのノード間の予め選択されたＣ１仮想チャンネルパスと、２つのノード間のある１つのＮＣ１仮想チャンネルパスとを有し、上記予め選択されたＣ１仮想チャンネルパスと上記ある１つのＮＣ１仮想チャンネルパスとの両方を要求する。Ｃ．上記ある１つのＮＣ１仮想チャンネルパスは、ブロックされず又はディスエーブルされない最も高い順序の方向として選択される。Ｄ．もし上記予め選択されたＣ１仮想チャンネルパスと上記ある１つのＮＣ１チャンネルパスに対する少なくとも１つの要求が承認されれば、承認された仮想パスの一部分が選択される。上記予め選択されたＣ１仮想チャンネルパスの要求と上記ある１つのＮＣ１仮想チャンネルパスの要求の両方が承認されれば、上記ある１つのＮＣ１仮想チャンネルパスが選択される。Ｅ．もし上記予め選択されたＣ１仮想チャンネルパスと上記ある１つのＮＣ１仮想チャンネルパスに対する２つの要求のいずれもが承認されなければ、パケットは次のクロックサイクルで両方の要求を再試行する。上述のステップＣにおいて、最も高い順序の方向が選択され、その結果、適応的なＮＣ１仮想チャンネルは、非適応的なＣ１仮想チャンネルにおいて後にルーティングされる方向にルーティングする。例えば、＋Ｘ、＋Ｙ、＋Ｚ、−Ｘ、− Ｙ、−Ｚの優先順位を有するＮＣ１チャンネルの方向の順序に対して、最も低い順序の方向は＋Ｘであり、最も高い順序の方向は−Ｚである。上述のステップＤにおいて、もし上記予め選択されたＣ１仮想チャンネルパスの要求と上記ある１つのＮＣ１仮想チャンネルパスの要求の両方が承認されれば、上記ある１つの適応的なＮＣ１仮想チャンネルパスが２つの理由のために選択される。まず第１に、もしパケットが上記ＮＣ１仮想チャンネルを承認されれば、ステップＡのために、他のＣ１仮想チャンネルはＮＣ１仮想チャンネルによって要求された物理チャンネルを要求しなかっただろう。それゆえ、幾つかの他のパケットが与えられたパケットの道に存在することはより起こりそうにない。第２の理由は、最も高い順序がより輻輳されにくい傾向にあることである。最も高い順序の方向は、Ｃ１仮想チャンネルにおいて順序付けする方向のために、より輻輳しにくい傾向にある。輻輳は、最も高い順序から最も低い順序への依存度のストリングのために、結果として生じる。方向順序方法によって示されるように、ルートは、最も低い順序の方向におけるＣ１仮想チャンネルに入る傾向があり、最も高い順序の方向におけるＣ１仮想チャンネル上のネットワークを出る傾向がある。任意長のパケットのためのサポート好ましいＭＰＰシステム２０は、キャッシュラインより少し長いような最大のパケット長を有し、その結果、パケットがＮＣ１仮想チャンネルにルーティングする前に上記ＮＣ１仮想チャンネルのバッファが上記全体のパケットのための空間を有するという制限は、実行可能である。それにもかかわらず、本発明のもう１つの実施形態は、パケットがＮＣ１仮想チャンネルにルーティングする前に上記ＮＣ１仮想チャンネルのバッファが上記全体のパケットのための空間を有するという制限を除去することによって、任意長のパケットを用いる適応ルーティングをサポートする。本発明に係る適応ルーティング機構のこの実施形態はまた、もしチャンネルバッファへの記憶が非常に制限されれば有効であり、又はＮＣ１仮想チャンネルバッファが全体のパケットを記憶する要求がある任意の他の場合においては実行可能ではない。この変形例の実施形態において、上記ルーティング機構は、複数のＮＣ１仮想チャンネル間のデッドロックを防ぐために２つの方法のいずれかを使用する。この第１の方法は、複数のパケットが同時にある１つのＮＣ１仮想チャンネルバッファ内に存在することができないというデュアトの方法の制限を使用することである。第２の方法は、各ＮＣ１仮想チャンネルバッファに入るべき最後のパケットの先頭のトラックを保持して、そのパケットが上記ＮＣ１仮想チャンネルバッファからある１つのＣ１仮想チャンネルに排出されるようにイネーブルして、それの前のパケットをバイパスするハードウェアを使用することである。これらの解決法のいずれかによって、複数のＮＣ１仮想チャンネル間の循環的依存状態は、ある１つのＮＣ１仮想チャンネルバッファからある１つのＣ１チャンネル内に複数のパケットをルーティングすることによって壊されることができる。この実施形態において、ＮＣ１仮想チャンネルバッファは、もはや全体のパケットを記憶することを保証されない。従って、複数の間接依存状態は、幾つかの中間のＮＣ１仮想チャンネルを介する２つのＣ１仮想チャンネル間に発生する。本発明に係る適応ルーティング機構のこの実施形態は、ＮＣ１仮想チャンネルにおける複数のパケットのルーティングでの余分な状態の情報を保持することと、上記ＮＣ１仮想チャンネルからＣ１仮想チャンネルに再び入るときに使用する仮想チャンネルの選択を制限することとによって、三次元トーラストポロジにおけるＣ１仮想チャンネルでのデッドロックの発生によるこれらの間接依存状態を防止する。Ｃ１仮想ネットワークは好ましくは、方向順序ルーティングを使用するので、デッドロックを引き起こす間接依存状態に対する唯一の方法は、パケットが方向ｉに移動しているＣ１仮想チャンネルを離れて、ＮＣ１仮想チャンネルにルーティングして、次いで、ＮＣ１仮想チャンネルに再び入り、方向ｉでルーティングすることを続けることである。この問題は、あるパケットがＣ１仮想チャンネルを離れる前にそれが移動していた同一の方向に移動してＣ１仮想チャンネルに再び入り、上記パケットが同一の仮想チャンネル上で続けることを保証することと、与えられた方向におけるすべてのリングのデートラインを調整することとによって解決される。Ｃ１仮想チャンネルｃ上を方向ｄで移動しているある１つのパケットがＮＣ１ネットワークに入ると、仮想チャンネルｃはパケットのヘッダにセーブされる。もし上記パケットが方向ｄにおいて実行すべき付加的なルーティングを有すれば、ヘッダにおける（継続ビットと呼ばれる）１ビットはセットされる。上記パケットがＮＣ１チャンネルにおいてルーティングすると、もし方向ｄが満たされれば継続ビットがクリアされる。Ｃ１仮想チャンネルにおいて使用される好ましい方向順序ルーティングアルゴリズムを与えられると、方向ｄはいつも最も低い順序のあまり満たされない方向であり、よって、方向ｄはパケットに明確にセーブされなくてもよい。もしパケットがＣ１仮想チャンネルに再び入ればかつ入ったとき、もし継続ビットがセットされれば、パケットは方向ｄにルーティングすることを継続し、セーブされたＣ１仮想チャンネルｃが使用される。さもなければ、パケットは新しく最も高い順序の方向において開始し、仮想チャンネルはテーブルのルックアップによって選択される。これの変形例の実施形態のルーティング機構は、ただ１つのＣ１仮想チャンネルが与えられた方向におけるパケットによるすべてのホップに対して使用されることを保証する。複数の仮想チャンネルテーブルにおける複数のデートラインが与えられた方向のすべてのリングに対して同一であるので、循環的依存状態はＣ１仮想チャンネル間では生じない。順序付けられたルーティングのためのサポート適応ルーティング機構を有するある１つの相互結合網における目的のノードに複数のパケットが伝送される順序は、保証されていない。複数のパケットが適応ルーティングにおける複数のノード間の複数の代わりのパスのいずれかを横断するので、第２のパケットはおそらく、第２のパケットの前に同一のソースノードから送信されたパケットの前の目的ノードに到達する。応答パケットの伝送の順序がプログラムの正確性には影響を与えないので、応答パケットはいつも、適応的にルーティングされることができる。さらに、ＭＰＰシステム２０は好ましくは、ほとんどの要求が任意の順序で伝送されることができるための、緩和されたメモリ整合モデルをサポートする。しかしながら、幾つかの場合において、これは許容されない。例えば、同一プロセスによって同一の遠隔のメモリ位置に記述する２つのものは、もしプログラムの正確性が保護されるべきものであれば、順序通りに伝送されなければならない。パケット毎を基準とする順序付けられた複数の要求を送信する機能は、ＭＰＰシステム２０によってサポートされる。特別に順序付けられたビットは、パケットの適応ルーティングを防ぐために順序付けられた要求パケットにセットされる。このように、順序付けられた複数の要求パケットはいつも、いかなる２つの与えられたノードの間の同一組の仮想チャンネルをも横断する。従って、順序付けられた複数のパケットは相互結合網を互いに通過することはできない。たとえ特別に順序付けられたビットが、すべての要求が順序付けられることを示すすべての要求パケットにおいてセットされても、適応ルーティングは複数の応答パケットと共に実行する。さらに、一般的なルールとして、メモリ要求の作業負荷は、書き込み要求より読み取り要求の方をより多く含むので、よって、応答のトラヒックは、ほとんどの場合において要求トラヒックよりも重くなる傾向にある。パケットのルーティングＭＰＰシステム２０は好ましくは、ソースノードから目的ノードへの三次元すべてにおいて絶対的なアドレス指定を使用する。あるいは代わって、ＭＰＰシステム２０は異なるアドレス指定を使用し、ここで、目的地のアドレスはソースノードで計算されて、それが目的ノードに到達すると０にデクリメント／インクリメントされる。上述したように、Ｃ１仮想チャンネルは好ましくは、（＋Ｘ，＋Ｙ，＋Ｚ，− Ｘ，−Ｙ，−Ｚ）のような予め決められた方向の優先順位を有する方向順序ルーティングを使用する。ＭＰＰシステム２０の好ましい実施形態は、自由なホップがデートラインに向かない限りは、ルートの最初のホップが順序付けの６方向のうちの最初の３方向のいずれか１つにおける自由なホップであることを可能することによって、この予め決定された方向の優先順位の例外を可能にする。特定の最初の自由なホップの後に、パケットは、本発明の適応ルーティング機構によって指定されたＣ１仮想チャンネル上の方向順序付け又はＮＣ１想チャンネルの適応的順序付けによって指示される上記６方向のうちの残りの方向で通常にルーティングすることを可能にされる。この“最初の”ホップは、与えられたパケットのソースが最初のホップを達成するためにパケットにおける余分なルーティング情報を全く含む必要がないという意味において自由である。ソースノードのルータは単に、パケットを最初のホップの方向に送信して、ルーティングはそのホップの目的地で開始する。最初の自由なホップに加えて、上記ルーティング機構の好ましい実施形態は、もし最後のホップがルーティング情報においてセットされれば、最も低い優先順序の方向における最後のホップを実施することができる。この最後のホップは部分的な平面へのより良いアクセスを可能にする。最後のホップは自由ではなく、なぜなら、ある１つのビット（最後のホップビット）は、最後の方向における１つのホップが取られるべきかどうかを示すことを必要とされるからである。図７を参照すると、ＭＰＰシステム２０は好ましくは、部分的なＺ平面のような部分的な平面に対して可能であるように形成される。部分的なＺ平面はＺ次元に垂直な平面である。（＋Ｘ，＋Ｙ，＋Ｚ，−Ｘ，−Ｙ，−Ｚ）の方向の優先順位を与えられると、部分的なＺ平面上に生じるパケットのトラヒックは、部分的なＺ平面に隣接した平面への＋Ｚにおける最初のホップを取ることができる。パケットのトラヒックは、隣接する平面から生じるパケットのトラヒックの対応するルーティングタグと同一である複数めルーティングタグを有する隣接する平面からルーティングされる。部分的なＺ平面上の目的ノードにルーティングされるべきパケットのトラヒックは、＋Ｚ方向における上記部分的なＺ平面に隣接する平面にルーティングされる。＋Ｚの隣接する平面から、−Ｚ方向における最後のホップは部分的なＺ平面に到達するために取られる。通常のルートが部分的なＺ平面から又は部分的なＺ平面に存在しなければ、最初と最後のホップのみが取られる。例えば、図７において、部分的なＺ平面６０からのパケットルーティングは、完全なＺ平面への最初のホップを形成することができる。もし目的ノードが部分的なＺ平面６０上にあれば、パケットは完全なＺ平面６２にルーティングすることができて、次いで、部分的なＺ平面６０に到達するために−Ｚ方向において最後のホップを取る。ＭＰＰシステム２０のような非常に大きなシステムにおいて複数の部分的なＺ平面を有するのは２つの主要な理由がある。第１に、ＭＰＰシステム２０は好ましくは、複数の余分なノードを含み、その結果、ＭＰＰシステム２０は故障したノードを余分なノードと置き換えて再形成されることができる。第２に、部分的なＺ平面によって、ＭＰＰシステム２０は同時に１つのモジュールを更新されることができる。例えば、ＭＰＰシステム２０のある１つの実施形態において、ある１つのモジュールは液体で冷却されるシステムにおいては８個の処理素子ノードを備え、空気で冷却されるシステムにおいては４個の処理素子ノードを備える。図８を参照すると、本発明に係るルーティング機構は最初と最後のホップを使用し、より短い別のルートを提供する。さらに、最初と最後のホップによって、相互結合網は他の方法では修復できない多くの複合的な故障部の周囲に形成することができる。例えば、ある１つのパケットのルーティングビットが−Ｘ、＋Ｙ、＋Ｚのパスを示す一方で、上記パケットは＋Ｘの初期方向を与えられる。（＋Ｘ，＋Ｙ，＋Ｚ，−Ｘ，−Ｙ，−Ｚ）の方向の優先順序を与えられると、この例では、パケットは、＋Ｙ方向、次いで＋Ｚ方向、最後に−Ｘ方向におけるルートを次に行う、＋Ｘ方向における単一の“最初のホップ”を生成する。図８において、処理素子ノード６６と処理素子ノード６８の間の＋Ｙの物理的通信リンク６４は壊される。図８に図示されるように、パケットは＋Ｘ方向における処理素子ノード６６から処理素子ノード７０への最初の自由なホップを取る。次いで、処理素子ノード７０から、パケットは処理素子ノード７２に＋Ｙ方向においてルーティングし、次いで、目的のノード６８に−Ｘ方向においてルーティングして、それによって故障部の通信リンク６４を回避する。最初の自由なホップはデートラインには生成されることはできず、それにもかかわらず、ｖｃ０らｖｃ０への依存状態はデートラインに沿って拡大される。最初のホップへのもう１つの制限は、デートラインは与えられた方向に対して調整されなければならないことであり、それにもかかわらずｖｃ０らｖｃ０の依存状態はデートラインに沿って拡大される。仮想チャンネルの割り当て上述したように、要求又は応答の仮想チャンネルネットワークのいずれかにおけるｖｃ０とｖｃ１との間の配置は、正確性と同様に性能にも悪い影響を与える。ある１つの物理的通信リンクを共有する複数の仮想チャンネルの使用の平衡化は、ネットワークにおけるコンテンション（競合）を減少し、通信の遅延を低下させ、ネットワークの帯域幅を増大する。複数の仮想チャンネル配置は、デッドロックがＣ１ネットワークにおいて回避されることを保証するために、各リング内でのサイクルを壊すことを実行されなければならない。仮想チャンネルｖｃ０及びｖｃ１間の配置の１つの方法は、横断時間の方法である。図９を参照すると、横断時間の方法は仮想チャンネルｖｃ０上ですべてのパケットを開始する。リング上のある１つのノード（デートラインノード７４）は、リング上のデートラインノード７４を通過するいずれのパケットでも仮想チャンネルｖｃ１上に転送する。パケットは仮想チャンネルｖｃ０上のデートラインノード７４に入らずに出るので、サイクルはｖｃ０のバッファ間には形成されない。パケットは決してリングの周囲のすべての道を移動しないので、パケットは決して仮想チャンネルｖｃ１上のデートラインノード７４に入らず、従って、サイクルはｖｃ１のバッファ間には形成されない。さらに、パケットは決して仮想チャンネルｖｃ１から仮想チャンネルｖｃ０にはルーティングしないので、サイクルはｖｃ０及びｖｃ１のバッファの両方を含んで形成されない。パケットは決して仮想チャンネルｖｃ１からデートラインノード７４には入らないので、仮想チャンネルｖｃ１上のデートラインを横断することを試みるいかなるパケットもハードウェアによって包括され、エラーのフラグが立てられる。仮想チャンネルｖｃ０とｖｃ１との間の配置のもう１つの方法は、予想された横断の方法（predicted-crossing）である。予想された横断の方法は仮想チャンネル間でパケットを切り換える物理的デートラインノードを使用しない。代わりに、予想された横断の方法は論理デートラインノード又はリンクを使用してデッドロックを回避する。予想された横断の方法を使用する相互結合網において、リング上のパケットのソースノードと目的ノードが与えられた、論理デートラインノード又はリンクを横断するいずれかのパケットは、仮想チャンネルｖｃ０を使用し、他では上記パケットは仮想チャンネルｖｃ１を使用するというように、複数のパケットは予めスケジュールを立てられる。パケットは与えられたリング上の仮想チャンネルを切り換えない。論理デートラインに基づく予めスケジュールを立てることは、複数のｖｃ１バッファ間のいかなるサイクルをも壊す。複数のｖｃ０バッファ間にサイクルがないようにするために、パケットは予想された横断の方法ではリングの周囲の中間点以上をルーティングしてはいけない。従って、横断時間の方法においては、デートラインノードによって、仮想チャンネル上のメッセージはもう１つの仮想チャンネルに動的にスイッチすることができる。対照的に、予想された横断の方法においては、メッセージは仮想チャンネル上で予めスケジュールを立てられなければならず、その結果、メッセージは論理デートラインを横断しない。横断時間の方法と予想された横断の方法の両方は、仮想チャンネルを注意深く選択することによって改善されることが可能であり、パケットは上記仮想チャンネル上における仮想チャンネル使用の平衡化のためにルーティングされる。平衡化された横断時間の方法として参照されるもう１つの仮想チャンネル配置方法において、与えられたリング上の幾つかのソースノードは、仮想チャンネルｖｃ０よりむしろ仮想チャンネルｖｃ１上のそれらのパケットを開始し、仮想チャンネルの使用を平衡化を行う。もしこれらのパケットがデートラインを横断すれば、これらのパケットは仮想チャンネルｖｃ１上に残る。従って、平衡化された横断時間の方法において、仮想チャンネルｖｃ１上のそれらのパケットを開始するソースノードを選択することは注意されなければならず、その結果、デッドロックはこの最適化によってリングの複数のｖｃ１仮想チャンネル間には導入されない。平衡化された予想された横断の方法は、デートライン又は反対のデートラインのどちらも横断しないパケットによって導入された柔軟性を利用する予想された横断の方法のスーパーセット（superset）である。この“不定の”状況において、仮想チャンネルはｖｃ０とｖｃ１とのトラヒック間の平衡を最大にするために選択される。平衡化された予想された横断の方法は、平衡化された横断時間の方法より優れた平衡を達成することができる。しかしながら、平衡化された横断時間の方法はメッセージを予めスケジュールを立てることをしない。結果として、平衡化された横断時間の方法においては、仮想チャンネル割り当て情報は、パケットとは伝送されないが、代わりに相互結合網それ自身に記憶される。対照的に、平衡化された予想された横断の方法に要求される予めスケジュールを立てることは典型的に、パケットと共に伝送される。平衡化された横断時間の方法を用いて、仮想チャンネル配置は、壊されたノード情報を再ロードされず、なぜなら、デートラインノードは、仮想チャンネルｖｃ０及びｖｃ１間のメッセージを物理的に切り換えるからである。従って、平衡化された横断時間の方法において、仮想チャンネル割り当ては典型的には、最適化された優良なマシンに基礎を置かれる。一方、論理デートラインノード又はリンクに要求される予めスケジュールを立てることは典型的には、壊されたノード情報を考慮に入れるためにパケットと共に再ロードされて伝送される必要がある。平衡化された横断時間の方法又は平衡化された予想された横断の方法のいずれかを用いて、すべての拘束されないルートを最適化する種々の方法が存在する。拘束されないルートは、平衡化された横断時間の方法におけるデートラインを横断しないパケットのルートと、平衡化された予想された横断の方法におけるデートライン又は反対のデートラインのいずれも横断しないパケットのルートである。すべての拘束されないルートを最適化する好ましい方法は、上記で引用された、係属中であるスティーブン・エル・スコットとグレゴリー・エム・トーソンによって同日出願された米国特許出願の名称“並列処理システムにおける最適化された仮想チャンネル配置（OPTIMIZED VIRTUAL CHANNEL ALLOCATION IN PARALLEL PROCESSING SYSYTEMS）”に詳細に説明される。結論本発明に係るルーティング機構は、いかなる次元のトーラス上でも完全に適応的なデッドロックフリーなルーティングを提供する。本発明のルーティング機構は５つの仮想チャンネルだけを必要とし：要求のための２つのＣ１チャンネルと応答のための２つのＣ１チャンネルと１つのＮＣ１チャンネルとである。物理又は仮想デートラインのいずれかは、Ｃ１チャンネルにおけるデッドロックを回避するために使用されることができる。ルーティング機構は、必要なときにパケット毎の基準で順序付けられた伝送を提供するために容易に変更されることができる。最後に、本発明のルーティング機構は、もし任意長のパケットがサポートされなければならないならば、変更された機構を使用することによって上述と同一機能を提供することが可能である。

【手続補正書】【提出日】１９９７年１２月２日【補正内容】請求の範囲１．ｎ次元にネットワーク化されたシステムにおける複数のノード間で転送されるべき情報を含む複数のパケットをルーティングするルーティング機構であって、上記ルーティング機構は、２つのタイプの仮想チャンネルバッファを有し、複数のノード間の複数の決定的仮想パスに沿った上記複数のパケットを記憶する２つの非循環的非適応仮想チャンネル（５０，５２，５４，５６）と、第３のタイプの仮想チャンネルバッファを有し、複数のノード間の複数の非決定的仮想パスに沿った上記複数のパケットを記憶する適応仮想チャンネル（５８）と、上記ルーティング情報に基づいて、決定的仮想パスに沿った２つの処理素子ノード間の上記決定的仮想パスの一部分、又は非決定的仮想パスに沿った２つの処理素子ノード間の上記非決定的仮想パスの一部分のうちのいずれかを選択する手段（３６，３７）とを備え、ここで、上記非決定的仮想パスの一部分に関連する第３のタイプの仮想チャンネルバッファが１つの全体のパケットを記憶するために利用できる十分な空間を有しなければ、上記非決定的仮想パスの一部分は選択されず、上記複数の仮想パスの選択された複数の部分に沿った上記処理素子ノード間の上記複数のパケットをルーティングする手段（３６）を備えたルーティング機構。２．ｎ次元にネットワーク化されたシステムにおける複数のノード間で転送されるべき情報を含む複数のパケットをルーティングするルーティング機構であって、上記ルーティング機構は、２つのタイプの仮想チャンネルバッファを有し、複数のノード間の複数の決定的仮想パスに沿った上記複数のパケットを記憶する２つの非循環的非適応仮想チャンネル（５０，５２，５４，５６）と、第３のタイプの仮想チャンネルバッファを有し、複数のノード間の複数の非決定的仮想パスに沿った上記複数のパケットを記憶する適応仮想チャンネル（５８）と、決定的仮想パスに沿った２つのノード間の上記決定的仮想パスの一部分、又は非決定的仮想パスに沿った２つのノード間の上記非決定的仮想パスの一部分のいずれかを選択する手段（３６，３７）とを備え、ここで、上記非決定的仮想パスの一部分に関連する第３のタイプの仮想チャンネルバッファが空でなければ、上記非決定的仮想パスの一部分は選択されず、上記複数の仮想パスの選択された一部分に沿った複数のノード間のパケットをルーティングする手段（３６）とを備え、上記ルーティングする手段は、パケットが非決定的仮想パスの一部分に入ると上記パケットが存在する方向及び決定的仮想パスとを記録する手段と、上記記録された方向におけるすべての転送が完了しなければ継続ビットをセットし、かつ上記記録された方向におけるすべての転送が完了すれば上記継続ビットをクリアする手段と、上記バケットが上記非決定的仮想パスの一部分から上記決定的仮想パスに再び入るときに、継続ビットがセットされれば、上記パケットを上記記録された決定的仮想パスにおける上記記録された方向でルーティングする手段とを含むルーティング機構。３．ｎ次元トポロジにおいて、複数のノードと、上記複数のノードを相互結合する複数の物理的通信リンクとを備えるネットワーク化されたシステムにおけるソースノードと目的ノードとの間で１つのパケットをルーティングする方法であって、上記方法は、ルーティング情報を含むヘッダを生成すること（３４）と、１つのパケットを生成するために上記ヘッダを転送されるべき情報に取り付けること（３４）と、第１のタイプの仮想チャンネルバッファと第２のタイプの仮想チャンネルバッファと第３のタイプの仮想チャンネルバッファとを、各物理的通信リンクに割り当てることと、上記ルーティング情報に基づいて上記ソースノードから上記目的ノードへの１つの決定的仮想パスに沿ったパケットを記憶すべき第１及び第２のタイプの仮想チャンネルバッファを使用することができる２つの非循環非適応仮想チャンネル（５０，５２，５４，５６）を画成することと、上記ルーティング情報に基づいて上記ソースノードから上記目的ノードへの複数の非決定的仮想パスに沿ったパケットを記憶すべき第３のタイプの仮想チャンネルバッファを使用することができる１つの適応仮想チャンネル（５８）を画成することと、上記ルーティング情報に基づいて、上記決定的仮想パスに沿った上記ソースノードから隣接するノードへの決定的仮想パスの一部分、又は上記ある１つの非決定的仮想パスに沿った上記ソースノードからある１つの隣接するノードへの非決定的仮想パスのうちの１つの一部分のいずれかを選択すること（３６，３７）とを備え、ここで、上記ある１つの非決定的仮想パスの一部分に関連する第３のタイプの仮想チャンネルバッファが全体のパケットを記憶するために利用できる十分な空間を有しなければ、上記ある１つの非決定的仮想パスの一部分は選択されず、上記選択された仮想パスの一部分に沿って上記ソースノードから上記隣接するノードへ上記パケットをルーティングすること（３６）と、上記パケットが上記目的ノードに到達するまで、上記ソースノードから上記目的ノードへの各ノードで仮想パスを選択し、上記選択された仮想パス上で上記パケットをルーティングすることを続けることとを備えた方法。４．ｎ次元トポロジにおいて、複数のノードと、上記ノードを相互結合する複数の物理的通信リンクとを備えるネットワーク化されたシステムにおいてソースノードと目的ノードとの間の１つのパケットをルーティングする方法であって、上記方法は、ルーティング情報を含むヘッダを生成すること（３４）と、１つのパケットを形成するために上記ヘッダを転送されるべき情報に取り付けること（３４）と、第１のタイプの仮想チャンネルバッファと第２のタイプの仮想チャンネルバッファと第３のタイプの仮想チャンネルバッファとを各物理的通信リンクに割り当てることと、上記ルーティング情報に基づいて、上記ソースノードから上記目的ノードへの決定的仮想パスに沿った上記パケットを記憶する上記第１及び上記第２のタイプの仮想チャンネルバッファを使用することができる２つの非循環的非適応仮想チャンネル（５０，５２，５４，５６）を画成することと、上記ルーティング情報に基づいて、上記ソースノードから上記目的ノードへの複数の非決定的仮想パスに沿った上記パケットを記憶する上記第３のタイプの仮想チャンネルバッファを使用することができる適応仮想チャンネル（５８）を画成することと、上記ルーティング情報に基づいて、上記決定的仮想パスに沿った上記ソースノードから隣接するノードへの上記決定的仮想パスの一部分、又はある１つの非決定的仮想パスに沿って上記ソースノードから隣接するノードへの上記非決定的仮想パスのうちの１つの一部分のいずれかを選択すること（３６，３７）とを備え、ここで、上記ある１つの非決定的仮想パスの一部分に関連する上記第３のタイプの仮想チャンネルバッファが空でなければ、上記ある１つの非決定的仮想パスの一部分は選択されず、上記選択された仮想パスの一部分に沿って上記ソースノードから上記隣接するノードヘ上記パケットをルーティングすること（３６）と、もしパケットが上記ある１つの非決定的仮想パスの一部分にルーティングされれば、上記パケットが上記ある１つの非決定的仮想パスの一部分に入るとき上記パケットが存在する方向と決定的仮想パスを記録し、上記記録された方向におけるすべての転送が完了しなければ継続ビットをセットし、上記記録された方向におけるすべての転送が完了すれば継続ビットをクリアし、上記パケットが上記決定的仮想パスに再び入るときに、上記継続ビットがセットされれば、上記記録された決定的仮想パスにおける上記記録された方向で上記パケットをルーティングすることとを続け、上記パケットが上記目的ノードに到達するまで、上記ソースノードから上記目的ノードへの各ノードで仮想パスを選択して上記選択された仮想パス上を上記パケットをルーティングすることを続けることとを備えた方法。５．複数のパケットをルーティングする方向の順序を画成するステップをさらに備え、ここで、上記方向の順序は上記決定的仮想パスに沿って２ｎ個の方向の各々で上記複数のパケットをルーティングする優先順位を画成する請求項３又は４記載の方法。６．上記ある１つの非決定的仮想パスは、ブロックされた又はディスエーブルされた上記２ｎ個の方向の最も低い優先順位の方向でルーティングするように予め選択された請求項５記載の方法。７．ルーティングするためのパスを選択するステップは、上記ある１つの非決定的仮想パスを予め選択するステップと、上記パケットをルーティングするための上記予め選択された非決定的仮想パスの一部分と上記決定的仮想パスの一部分との両方を要求するステップと、上記複数の物理的通信リンクに対する土記要求と他の競合丁る要求とに応答して上記複数の物理的通信リンクへのアクセスを承認又は否認するステップとを備え、ここで、もし１つの適応仮想チャンネルと１つの非適応仮想チャンネルが両方とも１つの物理的通信リンクのアクセスを要求すれば、上記非適応仮想チャンネルは上記物理的通信リンクへのアクセスを承認され、もし上記要求の少なくとも１つが承認されれば上記承認された仮想パスの一部分を選択するステップとを備え、ここで、もし上記要求の両方が承認されれば上記ある１つの非決定的仮想パスの一部分が選択され、もし上記要求のいずれもが承認されなければ、上記要求するステップを再試行するステップとを備えた請求項３又は４記載の方法。８．上記方法は上記複数のノード間の多数のパケットをルーティングし、上記方法は、予め選択された順序で目的ノードに到達することを要求される複数のパケットの複数の順序依存グループを決定するステップと、複数のパケットの１つの順序依存グループにある複数のパケットをルーティングする複数の決定的仮想パスだけを選択するステップとを備えた請求項３又は４記載の方法。９．上記転送されるべき情報は要求情報及び応答情報を含み、上記非循環非適応仮想チャンネルを画成するステップは、要求情報を処理する２つの非循環非適応仮想チャンネルと応答情報を処理する非循環非適応仮想チャンネルとを画成することを含む請求項３又は４記載の方法。１０．上記選択するステップより前に、上記ソースノードから上記隣接するノードへの自由なホップでパケットを送信するステップをさらに含む請求項３又は４記載の方法。１１．上記パケットを転送するステップは、目的ノードに隣接するある１つのノードからの最後のホップでパケットを送信して目的ノードへのルートを完成するステップをさらに備えた請求項３又は４記載の方法。

Claims

【特許請求の範囲】１．ｎ次元にネットワーク化されたシステムにおける複数のノード間で転送されるべき情報を含む複数のパケットをルーティングするルーティング機構であって、上記ルーティング機構は、２つのタイプの仮想チャンネルバッファを有し、複数のノード間の複数の決定的仮想パスに沿った上記複数のパケットを記憶する２つの非循環的非適応仮想チャンネルと、第３のタイプの仮想チャンネルバッファを有し、複数のノード間の複数の非決定的仮想パスに沿った上記複数のパケットを記憶する適応仮想チャンネルと、複数の決定的仮想パスの選択された一部分又は複数の非決定的仮想パスの選択された一部分のいずれかに沿った複数のノード間の上記複数のパケットをルーティングする手段とを備え、ここで、ある１つの非決定的仮想パスの選択された一部分に関連する第３のタイプの仮想チャンネルバッファが１つの全体のパケットを記憶するために利用できる十分な空間を有しなければ、１つのパケットは上記非決定的仮想パスのうちの１つの選択された一部分上にルーティングされないルーティング機構。２．ｎ次元にネットワーク化されたシステムにおける複数のノード間で転送されるべき情報を含む複数のパケットをルーティングするルーティング機構であって、上記ルーティング機構は、２つのタイプの仮想チャンネルバッファを有し、複数のノード間の複数の決定的仮想パスに沿った上記複数のパケットを記憶する２つの非循環的非適応仮想チャンネルと、第３のタイプの仮想チャンネルバッファを有し、複数のノード間の複数の非決定的仮想パスに沿った上記複数のパケットを記憶する適応仮想チャンネルと、決定的仮想パスに沿った２つのノード間の上記決定的仮想パスの一部分、又は非決定的仮想パスに沿った２つのノード間の上記非決定的仮想パスの一部分のいずれかを選択する手段とを備え、ここで、上記非決定的仮想パスの一部分に関連する第３のタイプの仮想チャンネルバッファが空でなければ、上記非決定的仮想パスの一部分は選択されず、上記複数の仮想パスの選択された一部分に沿った複数のノード間のパケットをルーティングする手段とを備え、上記ルーティングする手段は、パケットが非決定的仮想パスの一部分に入ると上記パケットが存在する方向及び決定的仮想パスとを記録する手段と、上記パケットが上記非決定的仮想パスの一部分から上記決定的仮想パスに再び入るときに、もし記録された方向におけるすべての転送が終了しなければ、上記パケットを上記記録された決定的仮想パスにおける上記記録された方向でルーティングする手段とを含むルーティング機構。３．ｎ次元トポロジにおいて、複数のノードと、上記複数のノードを相互結合する複数の物理的通信リンクとを備えるネットワーク化されたシステムにおけるソースノードと目的ノードとの間で１つのパケットをルーティングする方法であって、上記方法は、ルーティング情報を含むヘッダを生成することと、１つのパケットを生成するために上記ヘッダを転送されるべき情報に取り付けることと、第１のタイプの仮想チャンネルバッファと第２のタイプの仮想チャンネルバッファと第３のタイプの仮想チャンネルバッファとを、各物理的通信リンクに割り当てることと、上記ルーティング情報に基づいて上記ソースノードから上記目的ノードへの１つの決定的仮想パスに沿ったパケットを記憶すべき第１及び第２のタイプの仮想チャンネルバッファを使用することができる２つの非循環非適応仮想チャンネルを画成することと、上記ルーティング情報に基づいて上記ソースノードから上記目的ノードへの複数の非決定的仮想パスに沿ったパケットを記憶すべき第３のタイプの仮想チャンネルバッファを使用することができる１つの適応仮想チャンネルを画成することと、上記ルーティング情報に基づいて、上記決定的仮想パスに沿った上記ソースノードから隣接するノードへの決定的仮想パスの一部分、又は上記ある１つの非決定的仮想パスに沿った上記ソースノードからある１つの隣接するノードへの非決定的仮想パスのうちの１つの一部分のいずれかを選択することとを備え、ここで、上記ある１つの非決定的仮想パスの一部分に関連する第３のタイプの仮想チャンネルバッファが全体のパケットを記憶するために利用できる十分な空間を有しなければ、上記ある１つの非決定的仮想パスの一部分は選択されず、上記選択された仮想パスの一部分に沿って上記ソースノードから上記隣接するノードヘ上記パケットをルーティングすることと、上記パケットが上記目的ノードに到達するまで、上記ソースノードから上記目的ノードへの各ノードで仮想パスを選択し、上記選択された仮想パス上で上記パケットをルーティングすることを続けることとを備えた方法。４．ｎ次元トポロジにおいて、複数のノードと、上記ノードを相互結合する複数の物理的通信リンクとを備えるネットワーク化されたシステムにおいてソースノードと目的ノードとの間の１つのパケットをルーティングする方法であって、上記方法は、ルーティング情報を含むヘッダを生成することと、１つのパケットを形成するために上記ヘッダを転送されるべき情報に取り付けることと、第１のタイプの仮想チャンネルバッファと第２のタイプの仮想チャンネルバッファと第３のタイプの仮想チャンネルバッファとを各物理的通信リンクに割り当てることと、上記ルーティング情報に基づいて、上記ソースノードから上記目的ノードへの決定的仮想パスに沿った上記パケットを記憶する上記第１及び上記第２のタイプの仮想チャンネルバッファを使用することができる２つの非循環的非適応仮想チャンネルを画成することと、上記ルーティング情報に基づいて、上記ソースノードから上記目的ノードへの複数の非決定的仮想パスに沿った上記パケットを記憶する上記第３のタイプの仮想チャンネルバッファを使用することができる適応仮想チャンネルを画成することと、上記ルーティング情報に基づいて、上記決定的仮想パスに沿った上記ソースノードから隣接するノードへの上記決定的仮想パスの一部分、又はある１つの非決定的仮想パスに沿って上記ソースノードから隣接するノードへの上記非決定的仮想パスのうちの１つの一部分のいずれかを選択することとを備え、ここで、上記ある１つの非決定的仮想パスの一部分に関連する上記第３のタイプの仮想チャンネルバッファが空でなければ、上記ある１つの非決定的仮想パスの一部分は選択されず、上記選択された仮想パスの一部分に沿って上記ソースノードから上記隣接するノードヘ上記パケットをルーティングすることと、もしパケットが上記ある１つの非決定的仮想パスの一部分にルーティングされれば、上記パケットが上記ある１つの非決定的仮想パスの一部分に入るとき上記パケットが存在する方向と決定的仮想パスを記録し、上記パケットが上記決定的仮想パスに再び入るときに、もし上記記録された方向におけるすべての転送が完了しなければ、上記記録された決定的仮想パスにおける上記記録された方向で上記パケットをルーティングすることとを続け、上記パケットが上記目的ノードに到達するまで、上記ソースノードから上記目的ノードへの各ノードで仮想パスを選択して上記選択された仮想パス上を上記パケットをルーティングすることを続けることとを備えた方法。５．複数のパケットをルーティングする方向の順序を画成するステップをさらに備え、ここで、上記方向の順序は上記決定的仮想パスに沿って２ｎ個の方向の各々で上記複数のパケットをルーティングする優先順位を画成する請求項３又は４記載の方法。６．上記ある１つの非決定的仮想パスは、ブロックされた又はディスエーブルされた上記２ｎ個の方向の最も低い優先順位の方向でルーティングするように予め選択された請求項５記載の方法。７．ルーティングするためのパスを選択するステップは、上記ある１つの非決定的仮想パスを予め選択するステップと、上記パケットをルーティングするための上記予め選択された非決定的仮想パスの一部分と上記決定的仮想パスの一部分との両方を要求するステップと、上記複数の物理的通信リンクに対する上記要求と他の競合する要求とに応答して上記複数の物理的通信リンクへのアクセスを承認又は否認するステップとを備え、ここで、もし１つの適応仮想チャンネルと１つの非適応仮想チャンネルが両方とも１つの物理的通信リンクのアクセスを要求すれば、上記非適応仮想チャンネルは上記物理的通信リンクへのアクセスを承認され、もし上記要求の少なくとも１つが承認されれば上記承認された仮想パスの一部分を選択するステップとを備え、ここで、もし上記要求の両方が承認されれば上記ある１つの非決定的仮想パスの一部分が選択され、もし上記要求のいずれもが承認されなければ、上記要求するステップを再試行するステップとを備えた請求項３又は４記載の方法。８．上記方法は上記複数のノード間の多数のパケットをルーティングし、上記方法は、予め選択された順序で目的ノードに到達することを要求される複数のパケットの複数の順序依存グループを決定するステップと、複数のパケットの１つの順序依存グループにある複数のパケットをルーティングする複数の決定的仮想パスだけを選択するステップとを備えた請求項３又は４記載の方法。９．上記転送されるべき情報は要求情報及び応答情報を含み、上記非循環非適応仮想チャンネルを画成するステップは、要求情報を処理する２つの非循環非適応仮想チャンネルと応答情報を処理する非循環非適応仮想チャンネルとを画成することを含む請求項３又は４記載の方法。１０．上記選択するステップより前に、上記ソースノードから上記隣接するノードへの自由なホップでパケットを送信するステップをさらに含む請求項３又は４記載の方法。１１．上記パケットを転送するステップは、目的ノードに隣接するある１つのノードからの最後のホップでパケットを送信して目的ノードへのルートを完成するステップをさらに備えた請求項３又は４記載の方法。