JP3532574B2 - トーラス相互結合網のための適応ルーティング機構 - Google Patents

Description

【発明の詳細な説明】 発明の分野 本発明は一般的に、高速ディジタルデータ処理システ
ムに関し、特に、デッドロックを回避する多重処理ネッ
トワーク内でのデータの適応ルーティングの方法に関す
る。

発明の背景 マルチプロセッサコンピュータシステムは、相互結合
網によって互いに接続された幾つかの処理素子ノードを
備える。上記マルチプロセッサシステムの全体的性能
は、大部分が相互結合網の性能に依存する。

相互結合網の性能低下の最初の原因は、上記網におけ
る一様でない通信パターンとランダムな平衡状態（方程
式）による輻輳である。輻輳が非常に局所的に限定され
た処理素子ノードに制限されると、その輻輳はメッセー
ジの大きな停滞へ導く。上記輻輳問題に対処するために
使用されている１つの技術は、適応ルーティングであ
る。適応ルーティングは、データの複数のパケットが相
互結合網における輻輳した領域の周囲を動的にルーティ
ング（ルート選択）されることを可能にする。それにも
かかわらず、適応ルーティング機構の潜在的な性能の利
点は、もし適切に実施されなければ、設計の複雑さを加
えてデッドロックの可能性を導入する。さらに、三次元
トーラス（正方格子網において、最左端と最右端、最上
端と最下端どうしのノードを結合したもの）相互結合ト
ポロジにおいて、デッドロックを回避するための前述の
解決法は非常に高価であった。

相互結合網はノード間で情報のパケットを送信する。
１つのパケットに包まれる可能性のある情報の例は、メ
ッセージ、共有されるメモリ動作、又は種々の形態のデ
ータである。パケットは多数の物理的転送単位（フィッ
ト（phits））を備える。１つのフィットは典型的に、
処理素子ノード間のネットワークの物理的通信リンク又
は物理チャンネルの幅である。

ネットワークの性能は、パケットの遅延及びスループ
ットの関数である。パケットの遅延は、パケットの送信
の開始から上記パケットの最後のフィットがそれの目的
地で受信されるまでの時間である。パケットのスループ
ットは典型的に、相互結合網によって伝送される処理素
子当たりの１秒当たりのバイトとして測定される。遅延
とスループットは独立し、両方とも通信負荷に依存す
る。

相互結合網のタイプ 第１世代のマルチプロセッサシステムは、ストアアン
ドフォワード相互結合網を利用する。ストアアンドフォ
ワード相互結合網は、ソースから目的地へのパスに沿っ
てノードからノードに単一の単位としてパケットを転送
する。パケットの最後のフィットが受信されるまで、各
ノードはパケットのヘッドを次のノード上に送信するた
めに待機する。

より最近のマルチプロセッサシステムは、ワームホー
ルルーティングの幾つかの形態を使用する相互結合網を
利用する。ワームホールルーティングの相互結合網は、
パケットの後部がノードによって受信される前に、上記
ノードからのパケットの先頭をルーティングする。上記
パケットはフロー制御単位（flow control units、以
下、flit（フリット）という。）と呼ばれる幾つかのよ
り小さいメッセージパケットに分割され、上記フリット
は１つ又はそれ以上のフィットでもよい。ヘッダのフリ
ットは処理素子ノードによって受信され、それの目的地
について調査される。ヘッダのフリットは上記ルーティ
ングアルゴリズムによって示される次のノード上に送信
される。残りのフリットはデータ列（train）のような
方法でヘッダのフリットの後に続く。ノード間のフロー
制御は、ストアアンドフォワード相互結合網においては
パケット毎の基準よりむしろフリット毎の基準で達成さ
れる。従って、ワームホールルーティングにおいて、１
つのパケットは物理的通信リンクをわたって部分的に転
送されてもよく、そのとき、受信するノードにおいてバ
ッファ空間の不足のためにブロックされるかもしれな
い。

ワームホールルーティングは、少し負荷を与えられた
ネットワークにおけるパケットの遅延を明らかに減少
し、なぜなら、リンク上にパケットを転送するための時
間（１パケット×クロックの周期当たりのフィット）
は、１ホップ当たりに一度よりむしろネットワークの１
回の横断当たりに一度だけ行われるからである。ノード
は全体のパケットをバッファする必要がないので、ワー
ムホールルーティングはまた、ネットワークにおいてバ
ッファするときの必要条件を大幅に減少させる。

しかしながら、ワームホールルーティングに伴う問題
は、ヘッダのフリットがブロックすると、残りのフリッ
トが上記ヘッダの後ろで立ち往生することである。ブロ
ックされたパケットは、ブロックされた所のノードを介
してルーティングすることをヘッダのフリットが所望し
てないパケットでさえも、進行する他の複数のパケット
を邪魔するかもしれない。このことは、特に一様でない
通信パターンの存在において、大きなネットワークの性
能劣化を引き起こす。

相互結合網の第３のタイプは仮想カットスルー相互結
合網である。仮想カットスルー相互結合網は、１つのパ
ケットがバッファをブロックするときそのバッファが１
つの全体のパケットを受信しなければならないことを除
いて、ワームホールネットワークに似ている。従って、
仮想カットスルールーティングは、ワームホールルーテ
ィングにおいて発生するブロッキング固有の問題を回避
するが、ブロックされたすべてのパケットをバッファす
る必要がある付加的なハードウェアのコストがある。

本アプリケーションはワームホールルーティングネッ
トワークを拡張する複数の機構に関係する。

デッドロック デッドロックは、循環的依存状態（cyclic dependenc
ies）が１組のチャンネルバッファ間に生じるときに発
生し、含まれるすべてのバッファを満たしてブロックす
ることを引き起こす。相互結合網の設計と対応するルー
ティングアルゴリズムにおける最初の考慮は、デッドロ
ックを回避することである。

デッドロック状況は、チャンネル−依存度のグラフに
よって定式化され、指示されたグラフのノードはネット
ワークのチャンネルを表し、指示されたグラフの弧はチ
ャンネル間の依存度を表す。ある１つのパケットがチャ
ンネルｘからチャンネルｙに直接ルーティングすること
ができる場合及びその場合に限って、１つの孤はチャン
ネルｘとｙとの間に存在する。もしそれのチャンネル−
依存度のグラフが非循環的であればネットワークはデッ
ドロックフリー（デッドロック状態が起きないこと）で
あることが提供される。

デッドロックを回避するための１つの簡単な方法は、
循環的なバッファの依存状態の可能性を除去するため
に、相互結合網上の処理素子ノード間の複数のパケット
をルーティングするために用いられる相互結合網のトポ
ロジ及び／又はルーティング機能を制限することであ
る。例えば、もしルーティング機能が制限されて、その
結果、次元がいつもｅ−キューブ又は次元順序ルーティ
ングアルゴリズムを用いて昇順で横断されるので、二次
元のハイパーキューブトポロジはデッドロックフリーで
ある。ほとんどで、１つのホップが１次元当たりに行わ
れてパケットがより低い次元にルーティングされないの
で、循環的バッファ依存状態はない。各次元における反
対側を流れているトラヒックが別個の複数組のバッファ
を使用して、次元は昇順で横断されるので、ｅ−キュー
ブルーティングアルゴリズムはまた、ｎ次元メッシュト
ポロジのデッドロックフリーを生成するために使用され
ることができる。しかしながら、トーラストポロジは、
ｅ−キューブルーティングに制限されたときにデッドロ
ックフリーではなく、なぜなら、トーラストポロジにお
ける周囲を包囲するラップアラウンドリンクは、循環的
バッファ依存状態が単一のリング上で形成されることを
可能にするからである。

さらに、複数のメッシュにおいて、デッドロックは要
求パケットと応答パケットとの間の依存状態のために生
じる。１つのノードは、上記ノードが前の要求に対して
応答パケットを送信するまで、より多くの要求パケット
を受信することができないので、もし応答パケットがネ
ットワークにおいて要求パケットの後ろに待機させられ
るときに、デッドロックは発生する。要求パケットと応
答パケットとの間にこの依存状態問題への高価な解決策
は、要求と応答に対して独立した物理ネットワークを使
用することである。

仮想チャンネル 仮想チャンネルは、デッドロックを回避してネットワ
ークの輻輳を減少するために使用される。各物理チャン
ネルは１つ又はそれ以上の仮想チャンネルに分割され
る。各仮想チャンネルは、仮想パスに沿った複数のパケ
ットを記憶するための仮想チャンネルバッファを含む。
複数の仮想チャンネルは共通の物理チャンネルをわたっ
て多重化されるが、他の点では独立して動作する。従っ
て、共通の物理チャンネルをわたって多重化された第１
の仮想チャンネル上のブロックされたパケットは、共通
の物理チャンネル上で多重化された第２の仮想チャンネ
ルの後ろの複数のパケットをブロックしない。

適応ルーティング 適応ルーティングはマルチプロセッサコンピュータシ
ステムの性能を増大するために使用されている。適応ル
ーティング相互結合網は、上記相互結合網における輻輳
の回りの複数のパケットを動的にルーティングする。従
って、適応ルーティング機構は、ネットワークのスルー
プットを劇的に増大し、通信パターンにおける変化への
ネットワークの感度を劇的に減少する。

適応ルーティングアルゴリズムは、最小又は非最小の
いずれかであるとして特徴付けられる。最小ルーティン
グアルゴリズムは、ソースノードと目的ノードの間の最
短距離のルーティングパスだけを可能にする。非最小ル
ーティングアルゴリズムは、パケットがソースノードと
目的ノードとの間の全体のルート距離を増す代わりのパ
スをルーティングすることを可能にする。従って、非最
小ルーティングアルゴリズムは、最小ルーティングアル
ゴリズムが単一のパスに束縛される状況において適応ル
ーティングを可能にする。このように、非最小ルーティ
ングアルゴリズムはネットワークにおける故障部（フォ
ルト）の周囲を動的にルーティングするために使用され
る。しかしながら、非最小ルーティングアルゴリズム
は、異なる物理的な仕切りでの複数の処理間のネットワ
ークの干渉を引き起こす。さらに、前方向への進行が保
証されないので、非最小ルーティングアルゴリズムはラ
イブロック状況が発生することを許してしまう。デッド
ロックの回避は非最小ルーティングアルゴリズムにおい
てより困難になってしまう。

最小適応ルーティングアルゴリズムは完全に適応的又
は部分的に適応的であることが可能である。完全適応ル
ーティングアルゴリズムはソースと目的地の間のどのよ
うな代わりのパスをも可能にし、一方、部分適応ルーテ
ィングアルゴリズムは幾つかの方法での選択を制限す
る。例えば、部分適応ルーティングアルゴリズムは、す
べての次元の正方向におけるルーティングが、負方向に
おけるいかなるルーティングが実行される前に終了され
る必要がある。二次元トーラスにおいて、これは、＋Ｘ
及び＋Ｙ方向におけるパケットの移動に対する完全適応
性を結果として生じるが、＋Ｘ及び−Ｙ方向において移
動するパケットに対する決定的ルーティングを結果とし
て生じる。

デッドロックが回避されなければならないので、適応
ルーティングアルゴリズムは実施することが困難であ
る。上述したように、デッドロックは、チャンネル−依
存度のグラフからの循環を除去するためにトポロジ又は
ルーティング機能を制限することによって回避されるこ
とが可能である。対照的に、適応ルーティングの目的
は、パケットがルーティングしてもよい多数の代わりの
パスを提供するためにルーティング機能の自由度を増大
させることである。

適応ルーティングによって生じられる付加的な問題
は、ネットワークの順序付けに関する。決定的（非適
応）ルーティングを用いて、同一のソースから同一の目
的地に伝送される２つのパケットが順番に送られる。多
くの状況において、上記２つのパケットは、同一の遠隔
のメモリ位置に要求を書き込むようなセットの順序で伝
送されなければならない。適応ルーティングは一般的
に、２つのパケットが異なるルートを取って反対の順序
で到達することを可能にする。従って、順番にパケット
を伝送する問題は、もし伝送順序が要求されれば、注意
を向けられなければならない。

仮想チャンネルを使用する完全適応ルーティング C.R.Jesshope,P.R.Miller and J.P.Yantchev（シー・
アール・ジェスホープ、ピー・アール・ミラー及びジェ
イ・ピー・ヤンチェフ）,High performance Communicat
ions in Processor Networks（プロセッサネットワーク
における高性能通信）,proc.16th International Sympo
sium on Computer Architectureの150−157において198
9年５月における物理ネットワークは、複数のターン（t
urns）によって起こされるサイクルを壊すために移動の
方向に依存する多数の仮想ネットワークに分割される。
各仮想ネットワーク内の付加的仮想チャンネルはトーラ
スにおけるラップアラウンドリンクによって起こされる
サイクルを壊すために開かれる。2ⁿの仮想ネットワーク
はｎ次元トーラス又はメッシュのために必要とされる。
２倍の仮想チャンネル数は二次元トーラストポロジにお
けるラップアラウンドサイクルを壊すために必要とされ
る。ジェスホープ他の文書は、複数の要求とそれに対応
する複数の対応によって生成される複数のサイクルに注
意を向けていない。要求／応答サイクルは、すべてのサ
イクルを壊すために必要とされる仮想チャンネル数を２
倍にする。ジェスホープ他の方法を使用する要求及び応
答トラヒックに対する三次元メッシュを構築するため
に、１つの物理チャンネル当たり16個の仮想チャンネル
が必要とされる。少なくとも32個の仮想チャンネルが、
三次元トーラストポロジに対する１個の物理チャンネル
当たりに必要とされる。

D.H.Linder and G.C.Harden（ディー・エイチ・リン
ダー及びジー・シー・ハーデン）,An Adaptive and Fau
lt Tolerant Wormhole Routing Strategy for k−ary n
−cubes（ｋ−aryでｎ個の立方体に対する適応及びフォ
ールトトレラントワームホールルーティングストラテジ
ー）,I.E.E.E.Trans.on Computersの２−12において199
1年１月における移動方向に基づく複数の仮想ネットワ
ークは、ｎ次元トーラス又はメッシュのために使用され
る。リンダー他は、ｎ次元トーラス又はメッシュに対し
て2ⁿ−１個の仮想ネットワークを必要とする。さらに、
１個の仮想ネットワーク当たりｎ＋１個の仮想チャンネ
ルがトーラスにおいてラップアラウンドリンクによって
引き起こされるサイクルを壊すために必要とされる。ま
た、要求／応答サイクルはリンダー他の文献では注意を
向けられてない。リンダー他の方法を使用する三次元ト
ーラストポロジは１個の物理チャンネル当たりに32個の
仮想チャンネルを必要とする。

W.J.Dally and H.Aoki（ダブリュ・ジェイ・ダリー及
びエイチ・アオキ）,Adaptive Routing Using Virtual
Channels（仮想チャンネルを使用する適応ルーティン
グ）,I.E.E.E.Transactions on Parallel and Distribu
ted Systems,Vol.4,No.4の466−475における1993年４月
において、静的アルゴリズムと動的ルーティングアルゴ
リズムが開示されている。ダリー他の静的アルゴリズム
において、移動方向に基づいて仮想チャンネルのクラス
を生成することよりむしろ、仮想チャンネルのクラス
は、パケットが行う次元の反転の回数に基づいて生成さ
れる。パケットがより高い番号を付けられた次元からよ
り低い番号を付けられた次元にルーティングするとき、
次元の反転は発生する。ｎ＋１個のそのようなクラスを
用いて、１つのパケットはｎ次元の反転を行うだけでも
よく、次いで、決定的にルーティングしなければならな
い。ダリー他の文献だけが複数のメッシュについて論及
している。ダリー他の動的方法はデッドロックフリーの
サブネットワークのセクションのもとで以下で述べられ
る。

仮想チャンネルを使用する部分的適応ルーティング 上記の文献は、付加的仮想チャンネルに基づいて完全
適応ルーティング機構を記述する。C.J.Glass and L.M.
Ni（シー・ジェイ・グラス及びエル・エム・ニー）,The
Turn Model for Adaptive Routing（適応ルーティング
のためのターンモデル）,Proc. 19th International Sy
mposium on Computer Architectureの278−287の1992年
５月において、仮想チャンネルを加えることなく部分的
適応性を提供するターンモデルルーティング方法が述べ
られる。上記ターンモデルは、複数のパケットがチャン
ネル−依存度のグラフにおけるサイクルを壊すために生
成するターン数を制限する。グラス他は複数の二次元メ
ッシュトポロジのための幾つかの部分的適応ルーティン
グアルゴリズムを表す。例えば、パケットを決定的に
西、次いで東、北及び南方向に適応的にルーティングす
る１番目に西へルート選択するルーティングアルゴリズ
ムが記述される。最小ルーティングに対して、１番目に
西へルート選択するルーティングアルゴリズムは西に移
動しないパケットに対しては完全適応性を提供し、西に
移動するパケットに対しては適応性を提供しない。グラ
ス他の文献は、余分な仮想チャンネルを加えることなく
４より大きい基数を有するトーラスのための適応的でデ
ッドロックフリーな最小ルーティングアルゴリズムを提
供することは不可能であることを述べる。複数のトーラ
ストポロジのための幾つかの非最小で部分的適応アルゴ
リズムはグラス他の文献に表される。

A.A.Chien and J.H.Kim（エー・エー・チェン及びジ
ェイ・エイチ・キム）,Planar−Adaptive Routine:Low
−Cost Networks for Multiprocessors（二次元適応ル
ーチン：マルチプロセッサに対する適応ネットワークの
ための低コストネットワーク）,proc.19th Internation
al Symposium on Computer Architectureの268−277に
おける1992年５月において、二次元適応モデルが記述さ
れる。二次元適応モデルは付加的な仮想チャンネルを使
用することによってトーラス及びメッシュに対する部分
的適応性を提供する。二次元適応モデルは一連の二次元
平面（例えば、三次元ネットワークにおけるXYとYZであ
る。）において適応的にパケットをルーティングする。
二次元適応モデルは、２より大きいｎであり独立したｎ
であるｎ次元ネットワークに対して一定数の仮想チャン
ネルを必要とする。二次元適応モデルは、メッシュトポ
ロジに対して１個の物理チャンネル当たり３個の仮想チ
ャンネルを必要とし、トーラストポロジに対して１個の
物理チャンネル当たり６個の仮想チャンネルを必要とす
る。しかしながら、チェン他の文献は要求／応答サイク
ルを考慮することを無視する。二次元適応モデルを使用
する三次元トーラスネットワークは、要求／応答サイク
ルを壊すために１個の物理チャンネル当たり12個の仮想
チャンネルを必要とする。

デッドロックフリーなサブネットワーク 上述したように、以前は、相互結合網においてデッド
ロックを回避するためにチャンネル−依存度のグラフは
非循環的でなければならないと信じられていた。次の２
つのルーティング方法は、パケットがいつも入ることが
できてかつパケットがそれらの目的地に到達することを
可能にするグラフの非循環的な部分があれば、チャンネ
ル−依存度のグラフは非循環的でなくてもよいという考
えに基づいている。

第１のそのような方法は、上記で参照されてダリー他
の文献において記述されたダリー他の動的ルーティング
アルゴリズムである。ダリー他の静的アルゴリズムのよ
うに、ダリー他の動的アルゴリズムはパケットがとる次
元の回転回数を計算するが、フィールドのサイズとその
回数を記録するために用いられるパケットとによる計数
ではなく、この回数を制限しない。ネットワークは２つ
のクラスに分割される：適応的と非適応的である。すべ
てのパケットは適応的仮想ネットワークにおいて始ま
り、所望される回数でより低い次元に変化する。より少
ない次元反転回数を有するパケットによって占有された
バッファ上で待機する必要がある任意のパケットは、適
応仮想ネットワークを出て非適応仮想ネットワークにお
けるそれの目的地への別のルートにルーティングする必
要がある。これは適応仮想ネットワークにおける発生か
らのデッドロックサイクルを動的に防止する。

ダリー他の動的ルーティングアルゴリズムは、１個の
物理チャンネル当たり単一の仮想チャンネルだけを用い
る完全適応ルーティングを提供する。しかしながら、パ
ケットが非適応仮想ネットワークにおいてルーティング
するために適応仮想ネットワークを出なければならない
とき、上記パケットはその移動時間のために非適応仮想
ネットワークに残らなければならない。それゆえ、パケ
ットは非適応仮想ネットワークに入るとすぐに、適応性
は失われる。ダリー他の動的方法は実施することがかな
り困難であり、なぜなら、次元の反転回数はすべてのパ
ケットに対して保持されなければならず、ノードは、ノ
ードが送信することができるすべての適応チャンネルに
対するチャンネルバッファに記憶される、パケットの次
元の回転回数を知る必要がある。

チャンネル−依存度のグラフは非循環でなくてもよい
という根本的な考えを使用する第２の適応ルーティング
方法は、J.Duato（ジェイ・デュアト）,A New Theiry o
f Deadlock−Free Adaptive Routing in Wormhole Netw
orks（ワームホールネットワークにおけるデッドロック
フリーな適応ルーティングの新しい論理）,I.E.E.E.Tra
nsactions on Parallel and Distributed Systems,Vol.
4,No.12の1320−1331における1993年12月に開示され
る。デュアトの適応ルーティング方法は１組の仮想チャ
ンネル（Ｃ）を２つのサブセットの（C1、NC1）に分割
する。第１のサブセット（C1）は、すべてのノード間の
非適応的でデッドロックフリーであるルーティングを実
施する。第２のサブセット（NC1）は最小であって適応
的であるルーティングを実施し、それのチャンネル−依
存度のグラフにおけるサイクルを有する可能性がある。
パケットはNC1チャンネルにおいて自由にルーティング
でき、循環的依存状態はNC1バッファ間で生じるかもし
れない。NC1チャンネルにおけるパケットはいつも、こ
れらの循環的依存状態を壊すためにC1チャンネルにルー
ティングできなければならない。C1におけるパケットは
いかなる時でもNC1チャンネルにルーティングしてもよ
い。

発生するデッドロックを回避するために、デュアトは
彼の適応ルーティング方法における幾つかの制御を強要
する。まず最初に、デュアトは、現在のチャンネルと目
的ノードのより柔軟な機能よりむしろ現在のノードと目
的ノードの機能としてルーティングを画成する。ほとん
どのルーティングアルゴリズムは、現在のチャンネルと
目的のノードの機能としてルーティング機能を画成す
る。デュアトの第２の制限は、仮想チャンネルの待ち行
列（バッファ）は異なるパケットに属するフリットを含
むことはできないことである。この要求を実施するため
に、デュアトは、待ち行列が最後のフリットを受信した
後でもう１つのヘッダフリットを受信する前に、上記待
ち行列は空にされなければならないことを必要とする。
この制限は、NC1チャンネルにおけるすべてのパケット
が、もし循環的依存状態を壊すことが必要とされなけれ
ば、C1チャンネルにルーティングすることができること
を保証する。デュアトの方法において、パケットの先頭
がそれのNC1の待ち行列におけるも１つのパケットの後
ろでブロックされることは不可能であり、よって上記先
頭は（待ち行列の前で）いつもアクセス可能である。

デュアトの方法の第３の制限は、C1仮想ネットワーク
の拡張されたチャンネル−依存度のグラフが非循環的で
なければならないことである。拡張されたチャンネル−
依存度のグラフは、間接依存状態に対する付加的な孤を
用いて増大される通常のチャンネル−依存度のグラフで
ある。パケットがチャンネルｘからNC1チャンネルにル
ーティングし、NC1チャンネルにおける０又はそれ以上
のより付加的なホップでルーティングし、次いで、チャ
ンネルｙ上のC1にルーティングすることができる場合及
びその場合に限って、間接依存状態はC1チャンネルｘと
ｙの間に存在する。トーラスのC1サブネットワークに対
する拡張されたチャンネル−依存度のグラフは、循環的
である。従って、デュアトの方法はトーラストポロジに
対しては機能しない。

適応的なルーティングへの上記のアプローチのどれも
が、三次元トーラスネットワークに対しては適切な機構
ではない。従って、完全適応ルーティング機構は、いか
なる次元のトーラス上でもデッドロックフリーなルーテ
ィングを提供し、実施のために最小仮想チャンネルを要
求することを所望される。

発明の概要 本発明は、ｎ次元トポロジにおける複数のノードと上
記複数のノードを相互結合する物理的通信リンクとを有
するネットワーク化されたシステムにおいて、ソースノ
ードと目的ノードの間でパケットをルーティングする方
法と装置とを提供する。１つのパケットは、ルーティン
グ情報を有するヘッダを転送されるべき情報に取り付け
ることによって形成される。各物理的通信リンクは、第
１のタイプの仮想チャンネルバッファと第２のタイプの
仮想チャンネルバッファと第３のタイプの仮想チャンネ
ルバッファとを割り当てられる。２つの非循環非適応仮
想チャンネルは、ルーティング情報に基づいてソースノ
ードから目的ノードへの決定的仮想パスに沿ったパケッ
トを記憶するために、第１のタイプと第２のタイプとの
仮想チャンネルバッファを使用することができるように
画成される。適応仮想チャンネルは、ルーティング情報
に基づいてソースノードから目的ノードへの複数の非決
定的仮想パスに沿ったパケットを記憶するために第３の
タイプの仮想チャンネルバッファを使用することができ
るように画成される。パケットは、ルーティング情報に
基づいて、ソースノードから隣接するノードへの１つの
決定的仮想パスの一部分、又はソースノードから隣接す
るノードへの複数の非決定的仮想パスの一部分のいずれ
かに沿ってルーティングされ、上記ルーティング情報
は、ある１つの非決定的仮想パスの一部分に関連する第
３のタイプの仮想チャンネルバッファが１つの全体のパ
ケットを記憶するために利用できる十分な空間を有して
いなければ、上記非決定的仮想パスの一部分はルーティ
ングのために選択されないというような情報である。パ
ケットは、上記パケットが目的ノードに到達するまで、
上述の方法におけるルーティング情報に基づいて選択さ
れた仮想パス上をルーティングすることを続ける。

本発明の好ましい実施形態は、複数のパケットをルー
ティングする方向の順序を画成する。方向の順序は、決
定的仮想パスに沿った2n個の方向の各々においてパケッ
トをルーティングする優先順位を画成する。あつ１つの
非決定的仮想パスは好ましくは、ブロックされる又はデ
ィスエーブルされる2n個の方向のうちの最も低い優先順
位の方向においてルーティングするために予め選択され
る。

本発明の好ましい実施形態において、１つのパスは、
１つの非決定的仮想パスを予め選択することと、パケッ
トをルーティングする予め選択された非決定的仮想パス
の一部分及び決定的仮想パスの一部分との両方を要求す
ることとによって、ルーティングするために選択され
る。複数の物理的通信リンクへのアクセスは、上記複数
の物理的通信リンクに対する要求及び他の競合する要求
に応答して承認又は否認される。もし適応仮想チャンネ
ルと非適応仮想チャンネルとが物理的通信リンクのアク
セスを両方ともに要求すれば、非適応仮想チャンネルが
物理的通信リンクへのアクセスを承認される。承認され
た仮想パスの一部分は、もし要求のうちの少なくとも１
つが承認されれば選択される。１つの非決定的仮想パス
の一部分は、もし両方の要求が承認されれば選択され
る。上記要求は、要求のいずれも承認されなければ再試
行される。

本発明は好ましくは、複数のノード間で多数のパケッ
トをルーティングする。順序付けられたルーティングを
サポートするための本発明の１つの形態において、予め
決められた順序で目的ノードに到達するために要求され
る複数のパケットの複数の順序依存グループが、決定さ
れる。決定的仮想パスだけが、複数のパケットの１つの
順序依存グループにある上記複数のパケットをルーティ
ングするために選択される。

要求パケットと応答パケットとの間で形成されるサイ
クルを説明するために、複数の非循環非適応仮想チャン
ネルは好ましくは、要求情報を処理する２つの非循環非
適応仮想チャンネルと、応答情報を処理する２つの独立
した非循環非適応仮想チャンネルとを含む。

本発明の好ましい実施形態は、より短い代わりの複数
のルーティングを提供するために複数の最初の自由なホ
ップと複数の最後のホップとを使用する。上記複数の最
初の自由なホップと上記複数の最後のホップによって、
相互結合網は修復不可能な多くの複合的な故障部の周囲
に形成することができる。

本発明にもう１つの態様は、たとえ１つの非決定的仮
想パスの一部分に関連する第３のタイプの仮想チャンネ
ルバッファが１つの全体のパケットを記憶するために十
分な空間を有していなくても、上記１つの非決定的仮想
パスの一部分がルーティングのために選択されることを
可能にすることによって、複数の任意長のパケットをサ
ポートするルーティング機構を提供する。しかしなが
ら、このルーティング機構は、もし１つの非決定的仮想
パスの一部分に関連する第３のタイプの仮想チャンネル
バッファが空でなければ、ルーティングのための上記１
つの非決定的仮想パスの一部分を選択しない。もう１つ
のパケットがある１つの非決定的仮想パスの一部分にル
ーティングされれば、パケットが上記ある１つの非決定
的仮想パスの一部分に入るとき、上記パケットが存在す
る方向と決定的仮想パスは記録される。上記パケットが
決定的仮想パスに再び入ると、上記パケットは、もし記
録された方向におけるすべての転送が完全に行わなけれ
ば、記録された方向で記録された決定的仮想パス上をル
ーティングすることを続ける。

図面の簡単な説明 図１は、超並列処理（MPP）システムの図である。

図２は、図１のMPPシステムのための処理素子ノード
と相互結合網コンポーネントの図である。

図３は、図１のMPPシステムのための処理素子コンポ
ーネントの図である。

図４は、三次元トーラスネットワークトポロジを有す
るMPPシステムの図である。

図５は、図１のMPPシステムの好ましい実施形態の各
ネットワークの物理的通信リンク又はチャンネルのため
に用いられる複数の仮想チャンネルを図示する図であ
る。

図６は、複数の仮想チャンネルを使用する三次元ネッ
トワークにおける切り換え機構のブロック図である。

図７は、部分的なＺ平面を図示するMPPシステムネッ
トワークのサブセクションである。

図８は、壊れた物理的通信リンクを回避するために＋
Ｘ及びマイナスＸの物理的通信リンクの両方の使用を図
示するMPPシステムネットワークのサブセクションであ
る。

図９は、物理的サイクルに対する横断時間の仮想チャ
ンネルへの割り当てを図示する図である。

好ましい実施形態の説明 好ましい実施形態の以下の詳細な説明において、これ
の一部分を形成しかつ本発明が実施される特定の実施形
態の図として示される添付の図面から参照される。他の
実施形態が利用され、構造的又は論理的変形例が本発明
の範囲を逸脱することなく形成されてもよい。それゆ
え、次の詳細な説明は限定的な解釈で取られるのではな
く、本発明の範囲は添付の請求の範囲によって定義され
る。

MPPシステム 図１は、通常20で示される超並列処理（massively pa
rallel processing、MPP）システムのコンポーネントの
簡単化されたモデルを図示する。MPPシステム20は典型
的に、処理素子ノード22のような数百又は数千の処理素
子ノードを備える。相互結合網24は、MPPシステム20に
おける複数の処理素子ノード間の通信パスを提供する。
図１において図示される当該システム20のモデルにおい
て、相互結合網24は通信パスの三次元マトリックスを形
成し、上記通信パスは、矢印26によって示されるｘ、ｙ
及びｚ次元において複数の処理素子ノードを接続する。
相互結合網24はまた、複数の処理素子ノード22をI/Oゲ
ートウェイ28に接続する。I/Oゲートウェイ28は、ホス
トシステム（図示せず。）とMPPシステム20との間でシ
ステムデータ及び制御情報を転送する。

上記ホストシステムは、MPPシステム20のためのソフ
トウェアコンパイラを実行する。MPPシステム20のため
に記述されたすべてのソフトウェアプログラムは、ホス
トシステム上でコンパイルされるが、MPPシステム20に
おいて実行される。単一のキャビネットの構成において
は、ホストシステムはMPPシステム20と同一のキャビネ
ットに属する。複数のキャビネットの構成においては、
ホストシステムは、MPPシステム20に接続される離れた
キャビネットに属する。

図２は、処理素子ノード22のより詳細な図面と処理素
子ノード22の相互結合網24への接続とを提供する。処理
素子ノード22のような各処理素子ノードは典型的に、処
理素子30とブロック転送エンジン32とネットワークイン
ターフェース34とを備える。処理素子ノード22は１つ以
上の処理素子30を備えてもよい。

図３において図示されるように、各処理素子30は、マ
イクロプロセッサ38とローカルメモリ40とサポート回路
42とを備える。

各処理素子30はローカルメモリ40を含むので、MPPシ
ステム20は動的な分散型メモリを含む。それにもかかわ
らず、MPPシステム20のメモリはまた、論理的に共有さ
れる。ある１つの処理素子30におけるマイクロプロセッ
サ38は、その処理素子30におけるマイクロプロセッサ38
を含まずに、もう１つの処理素子30のメモリにアクセス
することができるので、MPPシステム20のメモリは論理
的に共有される。

ローカルメモリ40は好ましくは、ダイナミックランダ
ムアクセスメモリ（DRAM）を備え、システムデータを記
憶する。低い待ち時間で高い帯域幅のデータのパスは、
マイクロプロセッサ38を処理素子30におけるローカルメ
モリ40に接続する。

サポート回路42はマイクロプロセッサ38の制御機能と
アドレス機能を拡張する。サポート回路42はデータ転送
をローカルメモリ40に又はローカルメモリ40から実行す
る。

図２に戻って参照すると、ブロック転送エンジン（bl
ock transfer engine、BLT）32は、システムデータを再
分散する非同期直接メモリアクセスコントローラであ
る。BLT32は、処理素子30におけるローカルメモリ40と
遠隔な処理素子におけるローカルメモリとの間でシステ
ムデータを再分散する。BLT32は、処理素子30又は遠隔
な処理素子に割り込むことなく、データを再分散するこ
とができる。MPPシステム20の変形例の実施形態におい
て、ソフトウェアは、複数の処理素子30のローカルメモ
リ40間のデータのブロックの移動を制御する。

ネットワークインターフェース34は、相互結合網24を
わたってもう１つの処理素子ノード22又はI/Oゲートウ
ェイ28に送信されるべき情報をフォーマットする。ネッ
トワークインターフェース34はまた、他の処理素子ノー
ド22又はI/Oゲートウェイ28からの到来情報を受信し、
上記情報を処理素子30に向けて送信する。

相互結合網24は、図２において図示されるネットワー
クルータ36のような複数のネットワークルータを備え
る。さらに、相互結合網24は、各次元の各方向における
複数の物理的通信リンクを備える。複数のＸ次元の通信
リンク44はｘ次元における複数の処理素子ノードに接続
する。複数のＹ次元の通信リンク46はｙ次元における複
数の処理素子ノードに接続する。複数のＺ次元の通信リ
ンク48はｚ次元における複数の処理素子ノードに接続す
る。各次元における代表的な通信リンクは図１において
図示される。さらに、図２は、−Ｘ次元における通信リ
ンク44a、＋Ｘ次元における通信リンク44b、−Ｙ次元に
おける通信リンク46a、＋Ｙ次元における通信リンク46
b、−Ｚ次元における通信リンク48a及び＋Ｚ次元におけ
る通信リンク48bを図示する。

通信リンク44、46及び48は、相互結合網24におけるネ
ットワークルータ36間でデータ及び制御情報を転送す
る。通信リンクは典型的に２つの単方向チャンネルを備
える。上記通信リンクにおける各チャンネルは好ましく
は、データ信号と物理的単位（phit、フィット）タイプ
信号と仮想チャンネル選択信号と仮想チャンネル応答信
号とを含む。

複数のデータ信号は好ましくは、要求情報又は応答情
報のいずれかを運ぶ。要求情報は、ノードに行動を実行
するように要求する情報を含む。例えば、ソースノード
は、メモリからの情報を読み取るために目的ノードに情
報を送信してもよい。この要求は、通信リンクにおける
ある１つのチャンネルをわたって送信される。複数の応
答情報は活動の結果である情報を含む。例えば、読取り
データのための要求を受信した後に、目的ノードはその
応答をそのソースノードに返信する。上記応答は上記読
取りデータを含む。要求と応答は、デッドロックを回避
するように好ましくは論理的に分割される。要求と応答
の論理的な分割は以下で説明される。

相互結合網24は好ましくは、双方向のトーラスにおけ
る複数の処理素子ノード22を接続する。図４は、ｘ、ｙ
及びｚ次元における三次元トーラスネットワークを有す
るMPPシステムの好ましい実施形態を図示する。三次元
トーラスにおける各処理素子ノードは、ｘ、ｙ及びｚ次
元の＋及び−方向における通信リンクを有する。明細書
における他の幾つかの図面は三次元ネットワークの接続
を示す。明解にするために、これらの他の図面において
は、各次元における上記トーラスを完全にする複数の通
信リンクは図示されない。

トーラストポロジにおいて、リングは、情報があるノ
ードから同一の次元におけるすべてのノードを介して元
のノードに転送することができる各次元において、形成
される。トーラスネットワークは、情報の転送速度の高
速化のような、ネットワークの通信のための幾つかの利
点を提供する。トーラスネットワークのもう１つの利点
は、情報を上記ネットワークの周囲を長距離で送信する
ことによって、有害な通信リンクを回避する能力であ
る。

情報は、パケットの形状で複数の通信リンク上の複数
の処理素子ノード間を転送される。各パケットは好まし
くはヘッダを備える。上記ヘッダは、ネットワークを介
するパケットを処理するルート情報と、どの処理素子が
パケットを受信すべきかを示す目的地情報と、パケット
を受信して動作を実行する処理素子に命令する制御情報
とを含む。上記ヘッダはまた、どの処理素子がどのパケ
ットを生成したかを示すソース情報を含んでもよく、メ
モリアドレス情報を含んでもよい。パケットは任意にボ
ディを備える。パケットのボディは典型的に、複数の処
理素子ノード間を転送されるべきデータ又はホストシス
テムから若しくはホストシステムへのシステムデータを
含む。

各処理素子ノード30でのネットワークルータ36のよう
なネットワークルータは、各パケットの各ヘッダにおい
て含まれるルーティング情報に基づいて、相互結合網24
における複数の通信リンクを介してパケットを転送す
る。上記ヘッダと上記ボディは、種々のリンクを有し、
同時に通信リンクのある１つのフィット上を転送する。
MPPシステム20は背景セクションにおいて定義されたワ
ームホールルーティングを使用し、ルーティング情報は
上記ワームホールルーティングにおけるヘッダのフリッ
ト（flit）に含まれ、残りのフリットはデータ列のよう
な方法でそれの後ろに続く。複数のノード間のフロー制
御は、パケット毎の基準よりむしろフリット毎の基準で
実行され、従って、ある１つのパケットがリンク上を部
分的に送信され、受信する処理素子ノードにおけるバッ
ファ空間の不足のためにブロックされることが起こりう
る。上述したように、本発明の好ましい実施形態は、双
方向の三次元トーラスネットワークであり、上記三次元
トーラスネットワークはさらにデッドロックの状況を悪
化する。

適応ルーティング機構 相互結合網24を介して複数のパケットをルーティング
する本発明に係る適応ルーティング機構は、共通の複数
の物理的通信リンクをわたって多重化された複数の仮想
チャンネルを使用するが、他の点では独立的に動作す
る。背景セクションにおいて説明されたデュアト（Duat
o）のデッドロックフリーなサブネットワーク方法を用
いて、MPPシステム20は、仮想チャンネルC1の第１のサ
ブセットを使用する適応ルーティング機構を用いる。上
記仮想チャンネルC1は、すべてのノード間で非適応的で
デッドロックフリーなルーティングを実行する。仮想チ
ャンネルの第２のタイプは仮想チャンネルNC1である。
仮想チャンネルNC1は最小完全適応ルーティングを実行
する。複数のパケットが仮想チャンネルNC1において自
由にルーティングするので、仮想チャンネルNC1はそれ
のチャンネル−依存度のグラフにおける複数のサイクル
を有する。デュアトの方法におけるように、もしいかな
るときにも、仮想チャンネルNC1においてデッドロック
されることが決定されると、パケットは仮想チャンネル
C1にジャンプすることができなければならない。従っ
て、仮想チャンネルNC1における複数のパケットはいつ
も仮想チャンネルC1にルーティングすることができなけ
ればならない。

図５は、各ネットワークの物理チャンネル又は物理的
通信リンクのために使用される複数の仮想チャンネルを
図示する。２つの仮想チャンネル50及び52は仮想要求ネ
ットワークC1のために使用される。仮想チャンネル50は
vc0タイプの仮想チャンネルであり、仮想チャンネル52
はvc1タイプの仮想チャンネルである。同様に、応答C1
仮想ネットワークは２つの仮想チャンネル54及び56を備
える。仮想チャンネル54はvc0タイプの仮想チャンネル
であり、仮想チャンネル56はvc1タイプの仮想チャンネ
ルである。vcタイプである第３の仮想チャンネルは適応
NC1仮想チャンネル58であり、上記適応NC1仮想チャンネ
ル58は要求及び応答のネットワークの両方における適応
ルーティングを提供する。図５に図示される好ましい実
施形態は１つのNC1仮想チャンネルを使用するが、独立
したNC1仮想チャンネルは要求と応答の仮想ネットワー
クの両方のために使用されてもよい。

図６を参照すると、各ノードはローカル処理素子（pr
ocessing element、PE）と同様に、６方向（＋X,−X,＋
Y,−Y,＋Z,−Ｚ）の各々に対して１つの入力及び１つの
出力を有する。図６のブロック図は、複数の仮想チャン
ネルを使用する三次元の要求又は応答C1ネットワークに
おける切り替えを図示する。仮想チャンネルのためのバ
ッファは、物理的通信リンクの受信側の最後での処理ノ
ードの複数の入力にある。各物理的通信リンク上の送信
側のノードは、反対方向のリンク上で送信されるフロー
制御情報を使用して、受信側の処理素子ノードにおける
各仮想チャンネルのために利用できるバッファ空間のト
ラックを保持する。

いかなる時も、仮想チャンネルC1における１つのパケ
ットは、複数のパケットの現在のノードでの仮想チャン
ネルNC1にルーティングしてもよく、上記複数のパケッ
トの現在のノードはそれの（最小限の）目的地に近い１
つのパケットを移動する。仮想チャンネルNC1における
１つのパケットはまた、それの現在のノードで任意の仮
想チャンネルNC1に最小限でルーティングしてもよい。
仮想チャンネルNC1における１つのパケットはいつでも
仮想チャンネルC1にルーティングしてもよい。仮想チャ
ンネルC1のネットワークに再び入ると、パケットは、現
在のノードの仮想チャンネルのルックアップテーブルを
使用して、決定的C1ルーティングアルゴリズムに従って
物理及び仮想チャンネル上でルーティングする。要求又
は応答の仮想チャンネルC1ネットワーク内のいずれか
で、vc0仮想チャンネル又はvc1仮想チャンネル上のパケ
ットのルーティングを開始するために選択することと、
パケットのルートの間に仮想チャンネルをいつ変更する
かを決定することは、正確性と性能の両方に影響を与え
る。最初の比較は正確性である（即ち、vc0とvc1との間
の仮想チャンネル配置がデッドロックを防止する必要が
ある。）。

次の３つのステップが実行されて、複数のC1仮想チャ
ンネルにおけるデッドロックを防止する。まず最初に、
複数の要求及び応答パケットは独立した複数組の仮想チ
ャンネル上にルーティングされる。このことは、要求と
応答とのトラヒックの間のいかなるサイクルをも壊す。
第２に、方向順序ルーティングは好ましくは、多数の方
向を含むいかなるサイクルをも壊すために用いられる。
言い換えれば、複数のパケットは、（＋X,＋Y,＋Z,−X,
−Y,−Ｚ）のような予め決められた方向の優先順位を用
いてルーティングされる。例えば、上述の方向の順序を
用いて、＋Ｘ、−Ｙ及び＋Ｚの目的地に対するルート
は、まず最初に＋Ｘ、次いで＋Ｚ、次に−Ｙでルーティ
ングする。方向順序ルーティングは、本発明の譲受人で
あるクレイ・リサーチ・インコーポレイテッドに譲渡さ
れた係属中の1992年11月30日に出願された特許出願シリ
アル番号第07/983,979号で“マルチ処理システムにおけ
る方向順序ルーティング（DIRECTION ORDER ROUTING IN
MULTIPROCESSING SYSTEM）”と名称づけられた特許出
願に詳細に説明される。

デッドロックを回避するための第３のステップは、各
リング内の複数のサイクルを壊すための２つの仮想チャ
ンネル（VCO及びVC1）の使用である。この第３のステッ
プは、性能を最適にするために種々の方法において実行
されることが可能である。仮想チャンネル配置の好まし
い方法は、本出願の発明者であるスティーブン・エル・
スコットとグレゴリー・エム・トーソンとこれと共に同
日出願された名称“並列処理システムにおける最適化さ
れた仮想チャンネル配置（OPTIMIZED VIRTUAL CHANNEL
ALLOCATION IN PARALLEL PROCESSING SYSTEM）”である
係属中の一般的な米国特許出願に詳細に説明される。あ
る１つのパケットが、そのリング（対応する次元におけ
る目的ノードの座標）上のパケットの目的地に基づい
て、（図２に図示された）仮想チャンネルルックアップ
テーブル37において記憶されたルーティング情報によっ
てリング上でルーティングを開始するときに、vc0又はv
c1仮想チャンネルは選択される。各処理素子ノードは、
小さくてシステムに設定可能な、上記処理素子ノードの
６方向の各々に対する仮想チャンネルルックアップテー
ブル37を有する。C1ネットワークにおけるルーティング
は厳密に決定的である。

C1とNC1との間のルーティング機構は、背景セクショ
ンにおいて説明されたデュアトの方法からの多くの制限
を除去する。デュアトの方法とは異なり、ルーティング
関数は仮想チャンネルを考慮に入れる。さらに、本発明
のルーティング機構は、多数のパケットからのフリット
が同一の仮想チャンネルバッファに属することを可能に
する。最終的には、本発明のルーティング機構は、C1仮
想ネットワークの拡張されたチャンネル−依存度のグラ
フにおける複数のサイクルを可能にする。それにもかか
わらず、次の制限はNC1仮想チャンネルに対して要求さ
れる： 「NC1仮想チャンネルに対するバッファが全体のパケ
ットを保持すべき空間を有しないかぎり、パケットはそ
のNC1仮想チャンネルに入らなくてもよい。」 本発明の適応ルーティング機構の上記の制限は２つの
結果を生じる。第１に、当該制限は複数のNC1仮想チャ
ンネル内で発生するデッドロックを防止し、なぜなら、
パケットは、それの後部が異なるチャンネルバッファの
先頭をブロックするようにNC1仮想チャンネルにおいて
ブロックすることができないからである。先頭がNC1仮
想チャンネルバッファの前にある１つのパケットはいつ
でも、C1仮想チャンネルにルーティングすることができ
るので、NC1仮想チャンネルネットワークのデッドロッ
クは不可能である。対照的に、デュアトの方法は、パケ
ットが同一の結果を達成するためには同一のチャンネル
バッファを共有しないことを必要とする。デュアトの制
限は、リンクにわたる複数のパケットの送信のパイプラ
イン処理を妨げ、なぜなら、第２のパケットが送信を開
始する前に第２のパケットより前のパケットがそれのチ
ャンネルバッファから出力されるまで、第２のパケット
は待たなければならないからである。

本発明の上記の制限の第２の結果は、複数のC1仮想チ
ャンネル間の間接依存状態がもはや存在しないことであ
る。NC1仮想チャンネルに入るどのパケットも、最初のN
C1仮想チャンネルバッファによって完全に受信され、な
ぜなら、そのチャンネルに対するバッファが上記全体の
パケットを保持するための空間を有さなければ、パケッ
トはNC1仮想チャンネルに入らなくてもよいからであ
る。それゆえ、パケットはC1仮想チャンネルからNC1仮
想チャンネルにルーティングすることができずに戻り、
次いでパケットの後部が最初のC1仮想チャンネルバッフ
ァにおけるバッファ空間を消耗するようにブロックす
る。結果として、デュアトの文献によって画成された拡
張されたチャンネル−依存度のグラフは、本発明の適応
ルーティング機構に適切ではない。代わりに、本発明の
ルーティング機構は、任意の相互結合網トポロジを介し
て複数のパケットをルーティングするために使用される
ことができ、C1仮想チャンネル上のデッドロックフリー
な決定的ルーティングアルゴリズムが上記任意の相互結
合網トポロジのために構築されることができる。好まし
くは、上述したように、デッドロックフリーな決定的ル
ーティングアルゴリズムは、要求ネットワークに割り当
てられた２つの仮想チャンネルと応答ネットワークに割
り当てられた２つの仮想チャンネルとを有する方向順序
ルーティング方法である。

ソースノードから目的ノードへの２つのノード間で使
用するための仮想パスを選択するために使用されるルー
ティング機構は、次のようになる： A.もしNC1仮想チャンネルの先頭とC1仮想チャンネルの
先頭とが両方ともに物理的通信リンクを要求すれば、C1
仮想チャンネルが物理的通信リンクへのアクセスが承認
される。

B.与えられた１つのパケットは、２つのノード間の予め
選択されたC1仮想チャンネルパスと、２つのノード間の
ある１つのNC1仮想チャンネルパスとを有し、上記予め
選択されたC1仮想チャンネルパスと上記ある１つのNC1
仮想チャンネルパスとの両方を要求うする。

C.上記ある１つのNC1仮想チャンネルパスは、ブロック
されず又はディスエーブルされない最も高い順序の方向
として選択される。

D.もし上記予め選択されたC1仮想チャンネルパスと上記
ある１つのNC1チャンネルパスに対する少なくとも１つ
の要求が承認されれば、承認された仮想パスの一部分が
選択される。上記予め選択されたC1仮想チャンネルパス
の要求と上記ある１つのNC1仮想チャンネルパスの要求
の両方が承認されれば、上記ある１つのNC1仮想チャン
ネルパスが選択される。

E.もし上記予め選択されたC1仮想チャンネルパスと上記
ある１つのNC1仮想チャンネルパスに対する２つの要求
のいずれもが承認されなければ、パケットは次のクロッ
クサイクルで両方の要求を再試行する。

上述のステップＣにおいて、最も高い順序の方向が選
択され、その結果、適応的なNC1仮想チャンネルは、非
適応的なC1仮想チャンネルにおいて後にルーティングさ
れる方向にルーティングする。例えば、＋Ｘ、＋Ｙ、＋
Ｚ、−Ｘ、−Ｙ、−Ｚの優先順位を有するNC1チャンネ
ルの方向の順序に対して、最も低い順序の方向は＋Ｘで
あり、最も高い順序の方向は−Ｚである。

上述のステップＤにおいて、もし上記予め選択された
C1仮想チャンネルパスの要求と上記ある１つのNC1仮想
チャンネルパスの要求の両方が承認されれば、上記ある
１つの適応的なNC1仮想チャンネルパスが２つの理由の
ために選択される。まず第１に、もしパケットが上記NC
1仮想チャンネルを承認されれば、ステップＡのため
に、他のC1仮想チャンネルはNC1仮想チャンネルによっ
て要求された物理チャンネルを要求しなかっただろう。
それゆえ、幾つかの他のパケットが与えられたパケット
の道に存在することはより起こりそうにない。第２の理
由は、最も高い順序がより輻輳されにくい傾向にあるこ
とである。最も高い順序の方向は、C1仮想チャンネルに
おいて順序付けする方向のために、より輻輳しにくい傾
向にある。輻輳は、最も高い順序から最も低い順序への
依存度のストリングのために、結果として生じる。方向
順序方法によって示されるように、ルートは、最も低い
順序の方向におけるC1仮想チャンネルに入る傾向があ
り、最も高い順序の方向におけるC1仮想チャンネル上の
ネットワークを出る傾向がある。

任意長のパケットのためのサポート 好ましいMPPシステム20は、キャッシュラインより少
し長いような最大のパケット長を有し、その結果、パケ
ットがNC1仮想チャンネルにルーティングする前に上記N
C1仮想チャンネルのバッファが上記全体のパケットのた
めの空間を有するという制限は、実行可能である。それ
にもかかわらず、本発明のもう１つの実施形態は、パケ
ットがNC1仮想チャンネルにルーティングする前に上記N
C1仮想チャンネルのバッファが上記全体のパケットのた
めの空間を有するという制限を除去することによって、
任意長のパケットを用いる適応ルーティングをサポート
する。本発明に係る適応ルーティング機構のこの実施形
態はまた、もしチャンネルバッファへの記憶が非常に制
限されれば有効であり、又はNC1仮想チャンネルバッフ
ァが全体のパケットを記憶する要求がある任意の他の場
合においては実行可能ではない。

この変形例の実施形態において、上記ルーティング機
構は、複数のNC1仮想チャンネル間のデッドロックを防
ぐために２つの方法のいずれかを使用する。この第１の
方法は、複数のパケットが同時にある１つのNC1仮想チ
ャンネルバッファ内に存在することができないというデ
ュアトの方法の制限を使用することである。第２の方法
は、各NC1仮想チャンネルバッファに入るべき最後のパ
ケットの先頭のトラックを保持して、そのパケットが上
記NC1仮想チャンネルバッファからある１つのC1仮想チ
ャンネルに排出されるようにイネーブルして、それの前
のパケットをバイパスするハードウェアを使用すること
である。これらの解決法のいずれかによって、複数のNC
1仮想チャンネル間の循環的依存状態は、ある１つのNC1
仮想チャンネルバッファからある１つのC1チャンネル内
に複数のパケットをルーティングすることによって壊さ
れることができる。

この実施形態において、NC1仮想チャンネルバッファ
は、もはや全体のパケットを記憶することを保証されな
い。従って、複数の間接依存状態は、幾つかの中間のNC
1仮想チャンネルを介する２つのC1仮想チャンネル間に
発生する。本発明に係る適応ルーティング機構のこの実
施形態は、NC1仮想チャンネルにおける複数のパケット
のルーティングでの余分な状態の情報を保持すること
と、上記NC1仮想チャンネルからC1仮想チャンネルに再
び入るときに使用する仮想チャンネルの選択を制限する
こととによって、三次元トーラストポロジにおけるC1仮
想チャンネルでのデッドロックの発生によるこれらの間
接依存状態を防止する。

C1仮想ネットワークは好ましくは、方向順序ルーティ
ングを使用するので、デッドロックを引き起こす間接依
存状態に対する唯一の方法は、パケットが方向ｉに移動
しているC1仮想チャンネルを離れて、NC1仮想チャンネ
ルにルーティングして、次いで、NC1仮想チャンネルに
再び入り、方向ｉでルーティングすることを続けること
である。この問題は、あるパケットがC1仮想チャンネル
を離れる前にそれが移動していた同一の方向に移動して
C1仮想チャンネルに再び入り、上記パケットが同一の仮
想チャンネル上で続けることを保証することと、与えら
れた方向におけるすべてのリングのデートラインを調整
することとによって解決される。

C1仮想チャンネルｃ上を方向ｄで移動しているある１
つのパケットがNC1ネットワークに入ると、仮想チャン
ネルｃはパケットのヘッダにセーブされる。もし上記パ
ケットが方向ｄにおいて実行すべき付加的なルーティン
グを有すれば、ヘッダにおける（継続ビットと呼ばれ
る）１ビットはセットされる。上記パケットがNC1チャ
ンネルにおいてルーティングすると、もし方向ｄが満た
されれば継続ビットがクリアされる。C1仮想チャンネル
において使用される好ましい方向順序ルーティングアル
ゴリズムを与えられると、方向ｄはいつも最も低い順序
のあまり満たされない方向であり、よって、方向ｄはパ
ケットに明確にセーブされなくてもよい。もしパケット
がC1仮想チャンネルに再び入ればかつ入ったとき、もし
継続ビットがセットされれば、パケットは方向ｄにルー
ティングすることを継続し、セーブされたC1仮想チャン
ネルｃが使用される。さもなければ、パケットは新しく
最も高い順序の方向において開始し、仮想チャンネルは
テーブルのルックアップによって選択される。

これの変形例の実施形態のルーティング機構は、ただ
１つのC1仮想チャンネルが与えられた方向におけるパケ
ットによるすべてのホップに対して使用されることを保
証する。複数の仮想チャンネルテーブルにおける複数の
デートラインが与えられた方向のすべてのリングに対し
て同一であるので、循環的依存状態はC1仮想チャンネル
間では生じない。

順序付けられたルーティングのためのサポート 適応ルーティング機構を有するある１つの相互結合網
における目的のノードに複数のパケットが伝送される順
序は、保証されていない。複数のパケットが適応ルーテ
ィングにおける複数のノード間の複数の代わりのパスの
いずれかを横断するので、第２のパケットはおそらく、
第２のパケットの前に同一のソースノードから送信され
たパケットの前の目的ノードに到達する。

応答パケットの伝送の順序がプログラムの正確性には
影響を与えないので、応答パケットはいつも、適応的に
ルーティングされることができる。さらに、MPPシステ
ム20は好ましくは、ほとんどの要求が任意の順序で伝送
されることができるための、緩和されたメモリ整合モデ
ルをサポートする。しかしながら、幾つかの場合におい
て、これは許容されない。例えば、同一プロセスによっ
て同一の遠隔のメモリ位置に記述する２つのものは、も
しプログラムの正確性が保護されるべきものであれば、
順序通りに伝送されなければならない。

パケット毎を基準とする順序付けられた複数の要求を
送信する機能は、MPPシステム20によってサポートされ
る。特別に順序付けられたビットは、パケットの適応ル
ーティングを防ぐために順序付けられた要求パケットに
セットされる。このように、順序付けられた複数の要求
パケットはいつも、いかなる２つの与えられたノードの
間の同一組の仮想チャンネルをも横断する。従って、順
序付けられた複数のパケットは相互結合網を互いに通過
することはできない。

たとえ特別に順序付けられたビットが、すべての要求
が順序付けられることを示すすべての要求パケットにお
いてセットされても、適応ルーティングは複数の応答パ
ケットと共に実行する。さらに、一般的なルールとし
て、メモリ要求の作業負荷は、書き込み要求より読み取
り要求の方をより多く含むので、よって、応答のトラヒ
ックは、ほとんどの場合において要求トラヒックよりも
重くなる傾向にある。

パケットのルーティング MPPシステム20は好ましくは、ソースノードから目的
ノードへの三次元すべてにおいて絶対的なアドレス指定
を使用する。あるいは代わって、MPPシステム20は異な
るアドレス指定を使用し、ここで、目的地のアドレスは
ソースノードで計算されて、それが目的ノードに到達す
ると０にデクリメント／インクリメントされる。

上述したように、C1仮想チャンネルは好ましくは、
（＋X,＋Y,＋Z,−X,−Y,−Ｚ）のような予め決められた
方向の優先順位を有する方向順序ルーティングを使用す
る。MPPシステム20の好ましい実施形態は、自由なホッ
プがデートラインに向かない限りは、ルートの最初のホ
ップが順序付けの６方向のうちの最初の３方向のいずれ
か１つにおける自由なホップであることを可能すること
によって、この予め決定された方向の優先順位の例外を
可能にする。特定の最初の自由なホップの後に、パケッ
トは、本発明の適応ルーティング機構によって指定され
たC1仮想チャンネル上の方向順序付け又はNC1仮想チャ
ンネルの適応的順序付けによって指示される上記６方向
のうちの残りの方向で通常にルーティングすることを可
能にされる。この“最初の”ホップは、与えられたパケ
ットのソースが最初のホップを達成するためにパケット
における余分なルーティング情報を全く含む必要がない
という意味において自由である。ソースノードのルータ
は単に、パケットを最初のホップの方向に送信して、ル
ーティングはそのホップの目的地で開始する。

最初の自由なホップに加えて、上記ルーティング機構
の好ましい実施形態は、もし最後のホップがルーティン
グ情報においてセットされれば、最も低い優先順序の方
向における最後のホップを実施することができる。この
最後のホップは部分的な平面へのより良いアクセスを可
能にする。最後のホップは自由ではなく、なぜなら、あ
る１つのビット（最後のホップビット）は、最後の方向
における１つのホップが取られるべきかどうかを示すこ
とを必要とされるからである。

図７を参照すると、MPPシステム20は好ましくは、部
分的なＺ平面のような部分的な平面に対して可能である
ように形成される。部分的なＺ平面はＺ次元に垂直な平
面である。（＋X,＋Y,＋Z,−X,−Y,−Ｚ）の方向の優先
順位を与えられると、部分的なＺ平面上に生じるパケッ
トのトラヒックは、部分的なＺ平面に隣接した平面への
＋Ｚにおける最初のホップを取ることができる。パケッ
トのトラヒックは、隣接する平面から生じるパケットの
トラヒックの対応するルーティングタグと同一である複
数のルーティングタグを有する隣接する平面からルーテ
ィングされる。部分的なＺ平面上の目的ノードにルーテ
ィングされるべきパケットのトラヒックは、＋Ｚ方向に
おける上記部分的なＺ平面に隣接する平面にルーティン
グされる。＋Ｚの隣接する平面から、−Ｚ方向における
最後のホップは部分的なＺ平面に到達するために取られ
る。通常のルートが部分的なＺ平面から又は部分的なＺ
平面に存在しなければ、最初と最後のホップのみが取ら
れる。例えば、図７において、部分的なＺ平面60からの
パケットルーティングは、完全なＺ平面への最初のホッ
プを形成することができる。もし目的ノードが部分的な
Ｚ平面60上にあれば、パケットは完全なＺ平面62にルー
ティングすることができて、次いで、部分的なＺ平面60
に到達するために−Ｚ方向において最後のホップを取
る。

MPPシステム20のような非常に大きなシステムにおい
て複数の部分的なＺ平面を有するのは２つの主要な理由
がある。第１に、MPPシステム20は好ましくは、複数の
余分なノードを含み、その結果、MPPシステム20は故障
したノードを余分なノードと置き換えて再形成されるこ
とができる。第２に、部分的なＺ平面によって、MPPシ
ステム20は同時に１つのモジュールを更新されることが
できる。例えば、MPPシステム20のある１つの実施形態
において、ある１つのモジュールは液体で冷却されるシ
ステムにおいては８個の処理素子ノードを備え、空気で
冷却されるシステムにおいては４個の処理素子ノードを
備える。

図８を参照すると、本発明に係るルーティング機構は
最初と最後のホップを使用し、より短い別のルートを提
供する。さらに、最初と最後のホップによって、相互結
合網は他の方法では修復できない多くの複合的な故障部
の周囲に形成することができる。例えば、ある１つのパ
ケットのルーティングビットが−Ｘ、＋Ｙ、＋Ｚのパス
を示す一方で、上記パケットは＋Ｘの初期方向を与えら
れる。（＋X,＋Y,＋Z,−X,−Y,−Ｚ）の方向の優先順序
を与えられると、この例では、パケットは、＋Ｙ方向、
次いで＋Ｚ方向、最初に−Ｘ方向におけるルートを次に
行う、＋Ｘ方向における単一の“最初のホップ”を生成
する。図８において、処理素子ノード66と処理素子ノー
ド68の間の＋Ｙの物理的通信リンク64は壊される。図８
に図示されるように、パケットは＋Ｘ方向における処理
素子ノード66から処理素子ノード70への最初の自由なホ
ップを取る。次いで、処理素子ノード70から、パケット
は処理素子ノード72に＋Ｙ方向においてルーティング
し、次いで、目的のノード68に−Ｘ方向においてルーテ
ィングして、それによって故障部の通信リンク64を回避
する。

最初の自由なホップはデートラインには生成されるこ
とはできず、それにもかかわらず、vc0からvc0への依存
状態はデートラインに沿って拡大される。最初のホップ
へのもう１つの制限は、デートラインは与えられた方向
に対して調整されなければならないことであり、それに
もかかわらずvc0からvc0への依存状態はデートラインに
沿って拡大される。

仮想チャンネルの割り当て 上述したように、要求又は応答の仮想チャンネルネッ
トワークのいずれかにおけるvc0とvc1との間の配置は、
正確性と同様に性能にも悪い影響を与える。ある１つの
物理的通信リンクを共有する複数の仮想チャンネルの使
用の平衡化は、ネットワークにおけるコンテンション
（競合）を減少し、通信の遅延を低下させ、ネットワー
クの帯域幅を増大する。複数の仮想チャンネル配置は、
デッドロックがC1ネットワークにおいて回避されること
を保証するために、各リング内でのサイクルを壊すこと
を実行されなければならない。

仮想チャンネルvc0及びvc1間の配置の１つの方法は、
横断時間の方法である。図９を参照すると、横断時間の
方法は仮想チャンネルvc0上ですべてのパケットを開始
する。リング上のある１つのノード（デートラインノー
ド74）は、リング上のデートラインノード74を通過する
いずれのパケットでも仮想チャンネルvc1上に転送す
る。パケットは仮想チャンネルvc0上のデートラインノ
ード74に入らずに出るので、サイクルはvc0のバッファ
間には形成されない。パケットは決してリングの周囲の
すべての道を移動しないので、パケットは決して仮想チ
ャンネルvc1上のデートラインノード74に入らず、従っ
て、サイクルはvc1のバッファ間には形成されない。さ
らに、パケットは決して仮想チャンネルvc1から仮想チ
ャンネルvc0にはルーティングしないので、サイクルはv
c0及びvc1のバッファの両方を含んで形成されない。パ
ケットは決して仮想チャンネルvc1からデートラインノ
ード74には入らないので、仮想チャンネルvc1上のデー
トラインを横断することを試みるいかなるパケットもハ
ードウェアによって包括され、エラーのフラグが立てら
れる。

仮想チャンネルvc0とvc1との間の配置のもう１つの方
法は、予想された横断の方法（predicted−crossing）
である。予想された横断の方法は仮想チャンネル間でパ
ケットを切り換える物理的デートラインノードを使用し
ない。代わりに、予想された横断の方法は論理デートラ
インノード又はリンクを使用してデッドロックを回避す
る。予想された横断の方法を使用する相互結合網におい
て、リング上のパケットのソースノードと目的ノードが
与えられた、論理デートラインノード又はリンクを横断
するいずれかのパケットは、仮想チャンネルvc0を使用
し、他では上記パケットは仮想チャンネルvc1を使用す
るというように、複数のパケットは予めスケジュールを
立てられる。パケットは与えられたリング上の仮想チャ
ンネルを切り換えない。論理デートラインに基づく予め
スケジュールを立てることは、複数のvc1バッファ間の
いかなるサイクルをも壊す。複数のvc0バッファ間にサ
イクルがないようにするために、パケットは予想された
横断の方法ではリングの周囲の中間点以上をルーティン
グしてはいけない。

従って、横断時間の方法においては、デートラインノ
ードによって、仮想チャンネル上のメッセージはもう１
つの仮想チャンネルに動的にスイッチすることができ
る。対照的に、予想された横断の方法においては、メッ
セージは仮想チャンネル上で予めスケジュールを立てら
れなければならず、その結果、メッセージは論理デート
ラインを横断しない。

横断時間の方法と予想された横断の方法の両方は、仮
想チャンネルを注意深く選択することによって改善され
ることが可能であり、パケットは上記仮想チャンネル上
における仮想チャンネル使用の平衡化のためにルーティ
ングされる。平衡化された横断時間の方法として参照さ
れるもう１つの仮想チャンネル配置方法において、与え
られたリング上の幾つかのソースノードは、仮想チャン
ネルvc0よりむしろ仮想チャンネルvc1上のそれらのパケ
ットを開始し、仮想チャンネルの使用を平衡化を行う。
もしこれらのパケットがデートラインを横断すれば、こ
れらのパケットは仮想チャンネルvc1上に残る。従っ
て、平衡化された横断時間の方法において、仮想チャン
ネルvc1上のそれらのパケットを開始するソースノード
を選択することは注意されなければならず、その結果、
デッドロックはこの最適化によってリングの複数のvc1
仮想チャンネル間には導入されない。

平衡化された予想された横断の方法は、デートライン
又は反対のデートラインのどちらも横断しないパケット
によって導入された柔軟性を利用する予想された横断の
方法のスーパーセット（superset）である。この“不定
の”状況において、仮想チャンネルはvc0とvc1とのトラ
ヒック間の平衡を最大にするために選択される。

平衡化された予想された横断の方法は、平衡化された
横断時間の方法より優れた平衡を達成することができ
る。しかしながら、平衡化された横断時間の方法はメッ
セージを予めスケジュールを立てることをしない。結果
として、平衡化された横断時間の方法においては、仮想
チャンネル割り当て情報は、パケットとは伝送されない
が、代わりに相互結合網それ自身に記憶される。対照的
に、平衡化された予想された横断の方法に要求される予
めスケジュールを立てることは典型的に、パケットと共
に伝送される。平衡化された横断時間の方法を用いて、
仮想チャンネル配置は、壊されたノード情報を再ロード
されず、なぜなら、デートラインノードは、仮想チャン
ネルvc0及びvc1間のメッセージを物理的に切り換えるか
らである。従って、平衡化された横断時間の方法におい
て、仮想チャンネル割り当ては典型的には、最適化され
た優良なマシンに基礎を置かれる。一方、論理デートラ
インノード又はリンクに要求される予めスケジュールを
立てることは典型的には、壊されたノード情報を考慮に
入れるためにパケットと共に再ロードされて伝送される
必要がある。

平衡化された横断時間の方法又は平衡化された予想さ
れた横断の方法のいずれかを用いて、すべての拘束され
ないルートを最適化する種々の方法が存在する。拘束さ
れないルートは、平衡化された横断時間の方法における
デートラインを横断しないパケットのルートと、平衡化
された予想された横断の方法におけるデートライン又は
反対のデートラインのいずれも横断しないパケットのル
ートである。すべての拘束されないルートを最適化する
好ましい方法は、上記で引用された、係属中であるステ
ィーブン・エル・スコットとグレゴリー・エム・トーソ
ンによって同日出願された米国特許出願の名称“並列処
理システムにおける最適化された仮想チャンネル配置
（OPTIMIZED VIRTUAL CHANNEL ALLOCATION IN PARALLEL
PROCESSING SYSYTEMS）”に詳細に説明される。

結論 本発明に係るルーティング機構は、いかなる次元のト
ーラス上でも完全に適応的なデッドロックフリーなルー
ティングを提供する。本発明のルーティング機構は５つ
の仮想チャンネルだけを必要とし：要求のための２つの
C1チャンネルと応答のための２つのC1チャンネルと１つ
のNC1チャンネルとである。物理又は仮想デートライン
のいずれかは、C1チャンネルにおけるデッドロックを回
避するために使用されることができる。ルーティング機
構は、必要なときにパケット毎の基準で順序付けられた
伝送を提供するために容易に変更されることができる。
最後に、本発明のルーティング機構は、もし任意長のパ
ケットがサポートされなければならないならば、変更さ
れた機構を使用することによって上述と同一機能を提供
することが可能である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 スコット，スティーブン・エル アメリカ合衆国54701ウィスコンシン州 オウ・クレアー、マッキンリー・アベ ニュー 211番 (56)参考文献 特開 平６−266684（ＪＰ，Ａ) 米国特許4933933（ＵＳ，Ａ) Ｊ．Ｄｕａｔｏ，Ａ Ｎｅｗ Ｔｈｅ ｏｒｙ ｏｆ Ｄｅａｄｌｏｃｋ−Ｆｒ ｅｅ Ａｄａｐｔｉｖｅ Ｒｏｕｔｉｎ ｇ ｉｎ Ｗｏｒｍｈｏｌｅ Ｎｅｔｗ ｏｒｋｓ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｒａｌｌｅｌ ａｎｄ Ｄｉｓｔ ｒｉｂｕｔｅｄ Ｓｙｓｔｅｍｓ，米 国，Ｖｏｌ．４Ｎｏ．12，1320−1331 曽根猛、外３名，ハイパクロスバ・ネ ットワークにおけるｖｉｒｔｕａｌ ｃ ｈａｎｎｅｌの動的選択による適応ルー ティング，並列処理シンポジウムＪＳＰ Ｐ’95論文集，1995年 ５月15日，Ｐ. 249−256 菅野伸一、外３名，超並列計算機ＴＳ ／１のルーティング方式，電子情報通信 学会技術研究報告，1994年10月28日，Ｖ ｏｌ．94 Ｎｏ．318，ｐ．７−13 Ｚ．Ｌｉｕ ｅｔ ａｌ，Ｇｒｏｕｐ ｉｎｇ Ｖｉｒｔｕａｌ Ｃｈａｎｎｅ ｌｓ ｆｏｒ Ｄｅａｄｌｏｃｋ−Ｆｒ ｅｅ Ａｄａｐｔｉｖｅ Ｗｏｒｍｈｏ ｌｅ Ｒｏｕｔｉｎｇ，ＰＡＲＬＥ’93 Ｐａｒａｌｌｅｌ Ａｒｃｈｉｔｅｃ ｔｕｒｅｓ ａｎｄ Ｌａｎｇｕａｇｅ ｓ Ｅｕｒｏｐｅ，５ｔｈ Ｉｎｔｅｒ ｎａｔｉｏｎａｌ ＰＡＲＬＥ Ｃｏｎ ｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇ ｓ，1993年 ６月，ｐ．254−265 Ｌ．Ｇｒａｖａｎｏ ｅｔ ａｌ，Ａ ｄａｐｔｉｖｅ Ｄｅａｄｌｏｃｋ−ａ ｎｄ Ｌｉｖｅｌｏｃｋ−Ｆｒｅｅ Ｒ ｏｕｔｉｎｇ Ｗｉｔｈ ａｌｌ Ｍｉ ｎｉｍａｌ Ｐａｔｈｓ ｉｎ Ｔｏｒ ｕｓ Ｎｅｔｗｏｒｋｓ，ＩＥＥＥ Ｔ ｒａｎｓ．ｏｎ Ｐａｒａｌｌｅｌ ａ ｎｄ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｙｓ ｔｅｍｓ，1994年12月，Ｖｏｌ．５ Ｎ ｏ．12，ｐ．1233−1251 Ｙ．Ｍ．Ｂｏｕｒａ ｅｔ ａｌ，Ｅ ｆｆｉｃｉｅｎｔ Ｆｕｌｌｙ Ａｄａ ｐｔｉｖｅ Ｗｏｒｍｈｏｌｅ Ｒｏｕ ｔｉｎｇ ｉｎ ｎ−Ｄｉｍｅｎｓｉｏ ｎａｌ Ｍｅｓｈｅｓ，Ｐｒｏｃｅｅｄ ｉｎｇｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｓｔ ｒｉｂｕｔｅｄ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ，1994年，ｐ．589−596 Ｄ．Ｈ．Ｌｉｎｄｅｒ ｅｔ ａｌ, Ａｎ Ａｄａｐｔｉｖｅ ａｎｄ Ｆａ ｕｌｔ Ｔｏｌｅｒａｎｔ Ｗｏｒｍｈ ｏｌｅ Ｒｏｕｔｉｎｇ Ｓｔｒａｔｅ ｇｙ ｆｏｒ ｋ−ａｒｙ ｎ−ｃｕｂ ｅｓ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｃ ｏｍｐｕｔ．，1991年 １月，Ｖｏｌ. 40 Ｎｏ．１，ｐ．２−12 Ｍ．Ｓｈｕｍｗａｙ，Ｄｅａｄｌｏｃ ｋ−Ｆｒｅｅ Ｐａｃｋｅｔ Ｎｅｔｗ ｏｒｋｓ，Ｔｒａｎｓｐｕｔｅｒ Ｒｅ ｓｅａｒｃｈ ａｎｄ Ａｐｐｌｉｃａ ｔｉｏｎｓ ２，1990年，ｐ．139−178 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/16 - 15/177

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】ｎ次元にネットワーク化されたシステムに
   おける複数の処理素子ノード間で転送されるべきルーテ
   ィング情報を含む複数のパケットをルーティングするル
   ーティング機構であって、上記ルーティング機構は、 ２つのタイプの仮想チャンネルバッファを有し、複数の
   処理素子ノード間の複数の決定的仮想パスに沿った上記
   複数のパケットを記憶する２つの非循環的非適応仮想チ
   ャンネル（50,52,54,56）と、 第３のタイプの仮想チャンネルバッファを有し、複数の
   処理素子ノード間の複数の非決定的仮想パスに沿った上
   記複数のパケットを記憶する適応仮想チャンネル（58）
   と、 上記ルーティング情報に基づいて、決定的仮想パスに沿
   った２つの処理素子ノード間の上記決定的仮想パスの一
   部分、又は非決定的仮想パスに沿った２つの処理素子ノ
   ード間の上記非決定的仮想パスの一部分のうちのいずれ
   かを選択する手段（36,37）とを備え、ここで、上記非
   決定的仮想パスの一部分に関連する第３のタイプの仮想
   チャンネルバッファが１つのパケット全体を記憶するた
   めに利用できる十分な空間を有しなければ、上記非決定
   的仮想パスの一部分は選択されず、 上記決定的仮想パスと上記非決定的仮想パスを含む複数
   の仮想パスの選択された複数の部分に沿った上記処理素
   子ノード間の上記複数のパケットをルーティングする手
   段（36）を備えたルーティング機構。
2. 【請求項２】ｎ次元にネットワーク化されたシステムに
   おける複数の処理素子ノード間で転送されるべき情報を
   含む複数のパケットをルーティングするルーティング機
   構であって、上記ルーティング機構は、 複数の処理素子ノード間の複数の決定的仮想パスに沿っ
   た上記複数のパケットを記憶するための２つのタイプの
   仮想チャンネルバッファを有する２つの非循環的非適応
   仮想チャンネル（50,52,54,56）と、 複数の処理素子ノード間の複数の非決定的仮想パスに沿
   った上記複数のパケットを記憶するための第３のタイプ
   の仮想チャンネルバッファを有する適応仮想チャンネル
   （58）と、 上記決定的仮想パスに沿った２つの処理素子ノード間の
   決定的仮想パスの一部分、又は上記非決定的仮想パスに
   沿った２つの処理素子ノード間の非決定的仮想パスの一
   部分のいずれかを選択する手段（36、37）とを備え、こ
   こで、上記非決定的仮想パスの一部分に関連する第３の
   タイプの仮想チャンネルバッファが空でなければ、上記
   非決定的仮想パスの一部分は選択されず、 上記パケットを選択されたパスに沿ってソース処理素子
   ノードから隣接する処理素子ノードへルーティングする
   手段（36）を備え、 上記ルーティングする手段（36）は、 パケットが１つの非決定的仮想パスに入ると当該パケッ
   トが移動しているパケットの進行方向及び決定的仮想パ
   スをパケット内に記録する手段と、 記録された進行方向における全ての転送が完了しなけれ
   ばパケット内の継続ビットをセットし、かつ記録された
   進行方向におけるすべての転送が完了すればパケット内
   の継続ビットをクリアする手段と、 パケットが１つの非決定的仮想パスから１つの決定的仮
   想パスに再び入るときに、パケットを記録された進行方
   向にかつ記録された決定的仮想パス上にルーティングす
   る手段とを含み、 ここで、１つの進行方向はｎ次元にネットワーク化され
   たシステムにおいて利用可能な2n個の進行方向のうちの
   １つであるルーティング機構。
3. 【請求項３】ｎ次元にネットワーク化されたシステムに
   おける複数の処理素子ノード間で転送されるべきルーテ
   ィング情報を含む複数のパケットをルーティング機構に
   よりルーティングする方法であって、 上記ルーティング機構は、 ２つのタイプの仮想チャンネルバッファを有し、複数の
   処理素子ノード間の複数の決定的仮想パスに沿った上記
   複数のパケットを記憶する２つの非循環的非適応仮想チ
   ャンネル（50,52,54,56）と、 第３のタイプの仮想チャンネルバッファを有し、複数の
   処理素子ノード間の複数の非決定的仮想パスに沿った上
   記複数のパケットを記憶する適応仮想チャンネル（58）
   とを備え、 上記方法は、 上記ルーティング情報に基づいて、決定的仮想パスに沿
   った２つの処理素子ノード間の上記決定的仮想パスの一
   部分、又は非決定的仮想パスに沿った２つの処理素子ノ
   ード間の上記非決定的仮想パスの一部分のうちのいずれ
   かを選択するステップ（36,37）を含み、 上記選択するステップは、上記非決定的仮想パスの一部
   分に関連する第３のタイプの仮想チャンネルバッファが
   １つのパケット全体を記憶するために利用できる十分な
   空間を有しなければ、上記非決定的仮想パスの一部分を
   選択せず、 上記方法はさらに、 上記決定的仮想パスと上記非決定的仮想パスを含む複数
   の仮想パスの選択された複数の部分に沿った上記処理素
   子ノード間の上記複数のパケットをルーティングするス
   テップ（36）を含むことを特徴とする方法。
4. 【請求項４】ｎ次元にネットワーク化されたシステムに
   おける複数の処理素子ノード間で転送されるべき情報を
   含む複数のパケットをルーティング機構によりルーティ
   ングする方法であって、 上記ルーティング機構は、 複数の処理素子ノード間の複数の決定的仮想パスに沿っ
   た上記複数のパケットを記憶するための２つのタイプの
   仮想チャンネルバッファを有する２つの非循環的非適応
   仮想チャンネル（50,52,54,56）と、 複数の処理素子ノード間の複数の非決定的仮想パスに沿
   った上記複数のパケットを記憶するための第３のタイプ
   の仮想チャンネルバッファを有する適応仮想チャンネル
   （58）とを備え、 上記方法は、 上記決定的仮想パスに沿った２つの処理素子ノード間の
   決定的仮想パスの一部分、又は上記非決定的仮想パスに
   沿った２つの処理素子ノード間の非決定的仮想パスの一
   部分のいずれかを選択するステップ（36,37）を含み、 上記選択するステップは、上記非決定的仮想パスの一部
   分に関連する第３のタイプの仮想チャンネルバッファが
   空でなければ、上記非決定的仮想パスの一部分を選択せ
   ず、 上記方法はさらに、 上記パケットを選択されたパスに沿ってソース処理素子
   ノードから隣接する処理素子ノードへルーティングする
   ステップ（36）を含み、 上記ルーティングするステップ（36）は、 パケットが１つの非決定的仮想パスに入ると当該パケッ
   トが移動しているパケットの進行方向及び決定的仮想パ
   スをパケット内に記録するステップと、 記録された進行方向における全ての転送が完了しなけれ
   ばパケット内の継続ビットをセットし、かつ記録された
   進行方向におけるすべての転送が完了すればパケット内
   の継続ビットをクリアするステップと、 パケットが１つの非決定的仮想パスから１つの決定的仮
   想パスに再び入るときに、パケットを記録された進行方
   向にかつ記録された決定的仮想パス上にルーティングす
   るステップとを含み、 ここで、１つの進行方向はｎ次元にネットワーク化され
   たシステムにおいて利用可能な2n個の進行方向のうちの
   １つであることを特徴とする方法。