JPH1063630A - マルチステージ・クロスポイント・パケット交換におけるデッドロックのない経路指定のための経路制限セット・グループ - Google Patents

Abstract

(57)【要約】 【課題】マルチステージ・クロスポイント・パケット交
換において、デッドロックのない経路指定を確立する装
置を提供する。 【解決手段】ネットワークにおける各ソース・スイッチ
から経路制限の数を設定することによって、及びネット
ワークに対してすべてのソース・宛先のスイッチ・チッ
プの対の間の制限されずに残っている経路の数に関する
標準偏差が最小になるように各ソース・宛先のスイッチ
・チップの対の間の制限された経路の数を決定すること
によって、ソース、中間、及び宛先スイッチ・チップに
またがる制限された経路のセットのグループが決定され
る。その制限のセットのグループは、設定された１スイ
ッチ当たりの制限及び決定されたソース・宛先の対の制
限に応じたデッドロックのない経路制限を決定するため
にネットワークの第１部分を分析すること、しかる後、
ネットワーク残りの各スイッチ・チップを増分的に加え
ること、そしてその分析を反復することによって作成さ
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチステージ相
互接続クロスポイント・ベースのパケット交換（switc
h）においてデッドロックのないメッセージ経路指定を
確立するための装置及びそれに付随する方法に関するも
のである。本発明は、汎用性を失うことなく、高度並列
処理システムにおける高速パケット・ベースの交換ネッ
トワーク内に組み込むに適している。

【０００２】

【従来の技術】並列計算システムは、大量のデータを管
理でき、しかも複雑な計算上の問題を高速に且つ効率的
に処理できるコンピュータ・システムを実現するため
に、処理速度を向上させるための便利な解決方法として
利用されている。従来技術では、数多くの並列又は分散
処理計算システムがよく知られている。

【０００３】高度並列処理システムは、各処理エレメン
トがネットワーク上の個別のノードのように見える高速
度パケット・ネットワークより成る通信システムを通し
て相互接続された比較的多数の（時には、数百又は数千
もの）、しかし比較的単純な独立したマイクロプロセッ
サ・ベースの処理エレメントを含んでいる。パケットの
形をしたメッセージがそのネットワークを通してこれら
の処理エレメントの間で経路指定され、それらの間の通
信を可能にしている。各処理エレメントは、一般に、マ
イクロプロセッサと、ランダム・アクセス・メモリ（Ｒ
ＡＭ）及び読取専用メモリ（ＲＯＭ）のような記憶回路
と、入出力回路と、その処理エレメントがネットワーク
とインターフェースすることを可能にする通信インター
フェース及び関連のハードウエア及びソフトウエアを含
む通信サブシステムとを含んでいる。

【０００４】高度並列処理システムの全体的なパフォー
マンスは、一般に、そこで実施されるパケット・ネット
ワークのパフォーマンスに直接に関連する。処理エレメ
ント相互間でメッセージを効率的に転送するようには設
計されてないパケット・ネットワークはシステム・スル
ープットに悪影響を与え、従って、その高度並列処理シ
ステムを所与のアプリケーションにとって非実用的な設
計オプションにしてしまうことがある。

【０００５】動作時には、高度並列処理システムにおけ
る各処理エレメントはアプリケーションの事前定義され
た粗粒部分を実行する。アプリケーションにおけるそれ
の事前定義された部分を実行する場合、その処理エレメ
ントがリモート処理エレメントにおいて実行中のアプリ
ケーション・プログラムからのデータを必要とすること
は一般的なことであり、更に、その処理エレメントがそ
の結果の処理済みデータを、他のリモート処理エレメン
トにおいて実行中の他のアプリケーション・プログラム
に供給することも一般的なことである。「宛先エレメン
ト」と呼ばれる処理エレメントは、「ソース・エレメン
ト」と呼ばれる他のそのようなエレメントからのデータ
をリクエストする。宛先エレメントは、ソース・エレメ
ントからの必要なデータを含むそのリクエストしたパケ
ットをそれが受け取るまで、このアプリケーションでは
アイドルしたままであろう。そのリクエスト・パケット
の受領時に、宛先エレメントはそれのアプリケーション
部分の処理を再開する。

【０００６】データに対するリクエスト及び対応するパ
ケット転送がパケット・ネットワークを通して実施され
る時、パケット・ネットワーク上のメッセージ（パケッ
ト、即ち、ソース・エレメントに送られた宛先エレメン
トからのリクエストを含むパケット及びソース・エレメ
ントから宛先エレメントへの応答として逆方向に送られ
た対応するパケット）の伝送に対応した関連の有限の期
間が存在する。これは、宛先エレメントにおいて実行中
のアプリケーション部分の実行に或程度の待ち時間を付
加する。そのシステムにおけるほとんどの処理エレメン
トは、対応するソース・エレメントにおいて実行中のア
プリケーション部分に対する宛先エレメントとして機能
するので、この付加的な伝送待ち時間はシステム・スル
ープットをかなり減少させ、その結果、システム・パフ
ォーマンスを低下させることがある。更に、高度並列処
理システム及びその付随物に含まれるかなりの数の処理
エレメントが、これらのエレメントのうちの任意のもの
が、任意の時間に、任意の他のそのようなエレメントと
コミュニケートすることを必要とする場合、そのネット
ワークは、予測されるピーク負荷に対応して処理エレメ
ント相互間のかなり多くのパケットの経路指定を同時に
行うことができなければならない。

【０００７】所望のパフォーマンス特性をもたらすパケ
ット交換ネットワークを高度並列処理システムに包括さ
せるように実施しようとすると、開発活動の遅れがこれ
らのシステムの急速な拡大及び利用の増加をかなり妨げ
ていることがわかった。

【０００８】現在得ることができるパケット・ネットワ
ークの多様の利用可能な形式の中で、恐らく、最も伝統
的なアーキテクチャは、比較的小型のクロスポイント・
スイッチのマルチステージ相互接続構成を実施してい
る。その場合、各スイッチは、一般に、すべてのポート
がクロスポイント・マトリクスを通して内部的に相互接
続される８ポートの双方向ルータである。このネットワ
ークでは、そのネットワークの一方の側（いわゆる入力
側）で始まる１つのステージにおける各チップが固有の
パスを通して次ぎの後続ステージにおけるスイッチに相
互接続され、そして最後のステージがそのネットワーク
の反対側（いわゆる出力側）に達するまでそれを繰り返
す。その双方向ルータ・スイッチは、一般に、動作的に
非閉塞である比較的安価な単一集積回路（後述の「スイ
ッチ・チップ」）として入手可能であり、従って、スイ
ッチ・ベースのパケット・ネットワークの設計ではその
ようなスイッチ・チップを使用することが望ましい。そ
のようなスイッチ・チップは、P. Hochschild 他により
「デッドロック回避機構を有する中央共用待ち行列ベー
スの時間多重化パケット交換（A Central Shared Queue
Based Time Multiplexed Packet Switch With Deadloc
k Avoidance)」と題して１９９６年３月４日に出願され
そして現在未決である米国特許出願０８／４２４,８２
４号(本願の譲受人に譲渡された）に開示されている。

【０００９】パケット交換ネットワークに対する上記の
トポロジは、比較的簡単であり、しかもそれのすべての
ポートの間で高い帯域幅を与えることができるけれど
も、経路指定デッドロックを受けやすい。経路指定デッ
ドロックは、同じステージにおける何れか２つのスイッ
チの間に複数の経路が存在する時に生じる。経路指定デ
ッドロックは上記のネットワークにおいて頻繁に起こる
ものではないけれども、後述するように、それの発生
は、影響を受けた各ポートをその交換ネットワークにお
ける参加から完全に排除し、実行中のアプリケーション
を停止させ、従って、システム・パフォーマンスをかな
り低下させる。

【００１０】例えば、２つの相互接続されたステージの
形に編成された８個のスイッチ・チップの３２ポート・
ネットワーク（４スイッチの入力ステージに後続して４
スイッチの出力ステージがあり、それらのスイッチ・チ
ップはすべて単一のスイッチ・ボード上に含まれる）を
考察することにする。この構成の場合、入力ステージに
おける異なるスイッチ・チップ上の任意の２つのポート
の間で移動するパケットは、ソース（入力）ポートを含
むその入力ステージにおけるスイッチ・チップを通して
出力ステージにおける４つのスイッチのうちのどれかに
経路指定される。一方、出力ステージにおけるスイッチ
・チップは、このパケットに対する宛先（出力）ポート
を含むその入力ステージにおけるスイッチ・チップにパ
ケットを返送する（即ち、それの向きを反転する）であ
ろう。スイッチ・チップ間の経路は、一般に、ネットワ
ークを流れるパケット・トラフィックをバランスさせる
ようにシステム初期設定時に事前定義されるので、各バ
イト関連のパスは比較的短い期間にわたってほぼ等しい
数のパケットを搬送するであろう。一旦これらの経路が
設定されると、スイッチ不良、パス不良、或いは保守条
件を課する場合以外は、それらは滅多に変更されること
はない。そこで、各処理エレメントとって利用可能な割
り当てられた経路が再びシステム初期設定時にローカル
・経路テーブルの形でそのエレメントに供給される。

【００１１】動作時には、各処理エレメントがそのネッ
トワークを介して伝送するためにパケットを形成する
時、そのパケットの意図された宛先に基づいてそのエレ
メントはそれのローカル経路テーブルからその経路を読
み取り、その経路を適当な経路指定バイトの値としてパ
ケットのヘッダに挿入する。そこで、パケットはネット
ワーク上に送出され、そのパケットにおける経路指定バ
イトの対応する値によって指定されるように、入力ステ
ージ及び出力ステージにおける連続したスイッチ・チッ
プを通して送られる。パケットが特定のスイッチ・ステ
ージを移動する時、そのステージにおける最後のチップ
は対応する経路指定バイトをパケット・ヘッダから取り
除かれる。

【００１２】過去においては、特に、小型の交換ネット
ワークでは、経路指定は、経路指定デッドロックの可能
性を考慮することなく、一般的に実施されていた。経路
指定デッドロックは、種々のスイッチ・チップからの対
応するパケットが、連続するステージにおけるスイッチ
・チップの対を接続する共通パスを通して同時に経路指
定されるのを待っている時に生じ得る。デッドロック状
態の発生時に、影響を受ける各スイッチ・チップは、実
際に、そのグループにおける他のスイッチ・チップがこ
れらの特定のパスを通してそれらのパケットを経路指定
するのを待つ。それらのスイッチのどれもネットワーク
を通してそれのパケットを中継することができないの
で、それらパケットはすべて単に待機するだけであり、
そしてその対応するパスはデッドロック状態になり、従
ってそのパス上でトラフィック・フローを生ずることは
ない。その結果、デッドロックが生じている間、そのデ
ッドロック・パケットの宛先となる処理エレメントは停
止され、そのパケットを待ち続ける。一方、それはそれ
らの処理スループットを停止する。従って、ネットワー
ク帯域幅は、それらの影響を受けない処理エレメントを
支援するためにスキューし、更にシステム・スループッ
トを低下させるワークロードの不均衡及びホット・スポ
ットを生じさせる。

【００１３】デッドロックの発生を回避しようとするた
めの幾つかの技法が存在するが、それぞれが有利な特性
と共に好ましくない特性を有する。グローバル・アービ
トレーション技法は、例えば、経路指定デッドロックが
予測される場合に適用され、複数の交互の非デッドロッ
ク経路からの１つの選択に通じる。しかし、この技法
は、伝送されるべきすべてのパケットが潜在的な経路指
定デッドロックを予測して監視されなければならないこ
と、及び関連のアービトレーション・サイクルが実行さ
れなければならないことを必要とする。これを可能にす
るために必要な回路は複雑になり、それがスイッチ・チ
ップの各々に外部的に接続しなければならないので、禁
止的コストになりそうである。従って、そのような技法
は、ほとんどのアプリケーションにとって非実用的であ
るように思われる。

【００１４】これとは別の技法として、二重スイッチ・
ボードを使用してパケット・ネットワークを形成するこ
とに関連するものがある。この技法は、例示的な３２プ
ロセッサ・システムによって使用される場合、冗長スイ
ッチ・ボードの同じポートに対して第１スイッチボード
の１６個のポート、例えば、ポート１６−３１を必要と
するであろう。各ボード上の残りのポート（即ち、０−
１５）は３２個の処理エレメントのうちの対応する処理
エレメントに接続されるであろう。共通スイッチ・ボー
ド上のソース・ポート及び宛先ポートの間のパケット転
送はそのスイッチ・ボード内だけで経路指定される。異
なるスイッチ・ボードにおけるソース・ポート及び宛先
ポートの間で経路指定されるべきパケットだけがそれら
のボード相互間で経路指定されるであろう。１つのスイ
ッチ・ボードにおいて流れるだけのパケットが他のスイ
ッチ・ボードにおいて同時に流れるだけのパケットと潜
在的に相互作用しないようにすることによって、この技
法はデッドロックを排除する。更に、この技法は伝送帯
域幅を低下させない。残念なことに、冗長性は高価な方
法である。それにも関わらず、１つのスイッチ・ボード
の二重化と関連した付加的コストは、簡単なシステムで
は禁止的ではないかもしれず、場合によっては（３２プ
ロセッサ・システムのような）、デッドロック回避を実
現するための受容可能な設計的解決法となり得る。しか
し、任意のサイズのマルチプロセッサ・システムにおい
て費用効果的に実施可能である解決法を案出することが
望ましい。

【００１５】これを達成する可能性を持った１つの解決
法は、単に或経路が使用されることを禁止することによ
って経路指定デッドロックを回避するものである。この
特定の技法によれば、同じステージにおける２つのスイ
ッチ・チップ相互間のすべての可能な経路の特定のサブ
セットだけが、それらの間でパケット・トラフィックを
搬送するために利用可能であるとして定義されるであろ
う。経路の禁止は、システムの経路指定テーブルから特
定の経路を排除することを意味する。システムの経路指
定テーブルに含まれた経路のサブセットを形成する経路
は、特に、経路指定デッドロックが生じないことを保証
するために選択されるであろう。各追加の経路が禁止さ
れる時、ネットワーク全体の帯域幅は低下する。従っ
て、そのような技法を実施する場合の目的は、できるだ
け少ない経路に制限しながらデッドロックのないネット
ワークを達成することであろう。

【００１６】このいわゆる経路制限技法から生じるもう
１つの問題は、その結果生じた禁止されない経路がその
システムにおける処理ノードに関して対称的には分布さ
れないことが多いことである。従って、伝送帯域幅はネ
ットワーク全体を通して均等には減少せず、ネットワー
クにおける帯域幅の非対称性を生じる。その結果、伝送
帯域幅は、「ホット」部分において特に高くなりそして
その他の部分において本質的にゼロになる傾向がある、
いわゆる、「ホット・スポット」を発生する。従って、
処理のスループットは、これらの「ホット」ポートに対
応する処理エレメントに、他のそのようなポートを犠牲
にして便宜を図り易くするようにスキューされ、それに
よって、ネットワークを通したワークロード処理をアン
バランスにする。システム・パフォーマンスの低下が最
終的な結果である。実際に、経路がスイッチ・ボード内
だけで禁止された時、これまでは、ネットワーク全体を
通した受容可能な一定の帯域幅減少を結果として生じる
残りの禁止されないの経路結合が存在しなかった。

【００１７】前述の問題にも関わらず、経路制限技法は
デッドロック回避を行うための魅力的な解決方法であ
る。それは、実施するのが簡単であり且つ非常にコスト
効果のあるものである。しかし、ネットワークを通して
対称的な帯域幅縮小を許容し得る程度に行う能力を除け
ば、マルチステージ・クロスポイント・パケット・ネッ
トワークにそのような技法を包含させることは非常に有
利であろう。

【００１８】最近、対称的な帯域幅経路制限を可能にす
るための幾つかの解決方法が考案されている。例えば、
１９９５年９月２６日に Sethu 他に付与された（本願
の譲受人に譲渡された）「マルチステージ・クロスポイ
ント・パケット交換を通してデッドロックのない経路指
定を行うための技法（Technique For AccomplishingDea
dlock Free Routing Through A Multi-Stage Cross-Poi
nt Packet Switch）」と題する米国特許第５,４５３,９
７８号は、ネットワーク全体が効果的に区切られ、シス
テムの１つのパーティションにおいてスイッチに接続さ
れたノード相互間でしか流れないパケット・トラフィッ
クを、他のパーティションにおけるスイッチに接続され
たノード相互間でしか流れないパケット・トラフィック
から分離するために、経路が禁止されるという技法を教
示している。従って、同じパーティションにおけるノー
ド同士を接続するべき経路を選択する場合、他のシステ
ム・パーティションを通過するパスを含む経路は禁止さ
れるが、複数のシステム・パーティション内に置かれた
ノード相互間でメッセージを送ることを可能にするべく
経路を選択するためにそのような経路禁止が実施される
ことはない。しかし、対称的制限を作りながら経路制限
を実施するためにシステム・パーティション（又はシス
テム・ハーフ）を設定するという概念は、必ず、処理ノ
ード相互間の可能な経路の半分を禁止することに伴う。
従って、ネットワーク帯域幅を増大させるために、少な
い経路制限を必要とするだけで、パケット・ネットワー
クにわたってデッドロックのない経路指定を行い且つ制
限された経路の対称性を維持するという新規な経路制限
技法を提供することが依然として望ましい。

【００１９】

【発明が解決しようとする課題】従って、大型の双方向
性マルチステージ相互接続クロスポイント・パケット交
換ネットワークでは、デッドロックが生じないようにす
る実用的な経路制限技法に対する必要性が存在する。そ
の技法は、実施するのが簡単で且つコスト効果のあるも
のでなければならず、しかも、処理ノードに対する対称
的なワークロード分散を維持しながら経路制限に起因す
る帯域幅の縮小をできるだけ少なくしなければならな
い。そのような技法は、５１２個又はそれ以上の多くの
プロセッサを含む処理システムの設計及び実施を大いに
促すであろう。従って、もしそうでなければ排除される
ようなアプリケーション処理の要求に対して、高度並列
処理システムが利用可能である。

【００２０】

【課題を解決するための手段】大型の双方向性のマルチ
ステージ・クロスポイント・ベースのパケット交換にお
いてメッセージのデッドロックのない経路指定を実施す
るための装置及びそれに付随する方法を含む本発明によ
って、上記の問題点及び従来技術の欠点は克服され、更
なる利点が与えられる。本発明は、特に、排他的ではな
く、高度並列処理システムの高速ネットワークにおける
組込みに適している。

【００２１】詳しく云えば、本発明を使用することによ
って、或経路は、パケット・ネットワークにおけるそれ
ぞれの独特なアクティブスイッチ回路（又はスイッチ・
チップ）の間の経路制限をその実施時にバランスさせる
経路指定ルールの派生的なセットに基づく経路テーブル
には含まれないであろう。禁止された経路は、それが使
用されない場合に閉ループ経路指定パターンを禁止し、
それによって、経路指定デッドロックの潜在的発生を回
避するものとして選択される。その経路指定ルールは、
パケット・ネットワークに対する制限された経路の仮定
の数を設定することによって得られる。なお、その数
は、１スイッチ・チップ当たりの経路制限の数の計算を
可能にするために、その中のアクティブなスイッチ・チ
ップの数によって均等に除することが可能である。更
に、制限された経路は、ソース・宛先スイッチ・チップ
の対のセットを定義するために、パケット・ネットワー
クにおけるちょうど３つのスイッチ・チップ、即ち、第
１スイッチ・ステージにおけるソース・スイッチ・チッ
プ、第２スイッチ・ステージにおける中間的スイッチ・
チップ、及び第１スイッチ・ステージにおける宛先スイ
ッチ・チップにまたがるものである。本発明の経路指定
ルールによれば、ソース、中間、宛先スイッチ・チップ
の経路をサポートすることができるスイッチ・チップの
各決定されたソース・宛先の対に対して、それらの間の
制限の数は、各ソース・スイッチ・チップからの制限さ
れた経路の数が１スイッチ・チップ当たりの経路制限の
数に等しいことを依然として保証すると共に、そのパケ
ット・ネットワークに対するスイッチ・チップのすべて
のソース・宛先の対の間の制限されずに残された経路の
数がほぼ等しくなるように決定される。

【００２２】これらの経路制限の使用可能なセットを決
定する場合、そのネットワークの第１部分は、少なくと
もデッドロック状態を作るに十分なスイッチ・チップを
含むように選択される。ネットワークのこの第１部分で
は、決定された経路の各セットに対して、１つのソース
・宛先スイッチの対当たりの制限数が前に決定された数
と一致するように、そこに含まれたスイッチ・チップの
各ソース・宛先の対の間の制限され得るすべての可能な
経路のセットが決定され、それによって、各ソース・宛
先スイッチ・チップの対に対する制限された経路の数は
ほぼ等しくなる。そこで、これらの決定されたセットは
分析され、各セットに対して、制限されずに残された経
路におけるデッドロック状態がそれらの制限を課するこ
とによって生じるかどうかを決定する。デッドロックの
ない経路指定パターンが作られるセットはセットのグル
ープ内に保持される。

【００２３】そこで、スイッチ・チップがネットワーク
の第１の選択された部分に加えられ、実行は、デッドロ
ックのない制限のセットのグループがネットワーク全体
に対して作られてしまうまで上記のように進行する。ネ
ットワークにおけるすべてのスイッチを含むこのグルー
プの完成時に、そこに含まれる各セットに対してスイッ
チ・チップの各ソース・宛先の対の間に少なくとも１つ
の制限されてない経路が存在するかどうかが決定され
る。少なくとも１つのそのような経路が存在しない場
合、その仮定の数がインクレメントされ、実行が新たに
始まる。

【００２４】デッドロックのない経路制限のセットのグ
ループの作成が成功した時、パケット・ネットワーク上
のバランスしたパケット・トラフィックを与えるため
に、高度並列処理システムにおいて課するための制限の
セットのサブグループに達するべく種々の分析的ステッ
プが適用される。

【００２５】パケット・ネットワークの一部分に対する
経路指定ルールを得ること及びそれを小片状に形成する
ことによって、少数の経路制限を有する対称的なデッド
ロックのないパケット・ネットワークを構成し、それに
よって、従来技術のデッドロック回避技法によってこれ
まで可能にされていたネットワークのための帯域幅より
も大きい帯域幅を得るための手段を与えることが可能と
なる。更に、その得られた経路指定ルールによるパケッ
ト・ネットワークの増分構成は制限された経路を選択す
るプロセスを大いに促進し、それによって、広範囲のア
プリケーションに役立つように多数の処理エレメントを
包含した商業化可能な並列処理システムの作成を更に実
現可能なものにする。

【００２６】

【発明の実施の形態】特定のアプリケーションに関係な
い双方向マルチステージ相互接続クロスポイント・ベー
スのパケット交換を含むパケット・ネットワークが、本
願において開示されるタイプの経路指定デッドロックを
受けやすいということは、当業者が容易に認めるところ
である。従って、以下の説明を考察した後ならば、当業
者は、これらのデッドロックが小さな連続して生じる伝
送帯域幅の縮小のみによって生じるのを防ぐために、本
発明が教示したことがほとんどのそのようなパケット・
ネットワークに容易に且つコスト効果的に組込可能であ
ることを確実に実現するであろう。従って、本発明は、
広範囲の及び多様の範囲のパケット交換環境にわたって
使用することを目標にした本質的には任意のサイズのパ
ケット・ネットワークにおける即時使用を、それらが公
衆電話回線又は専用電話回線（例えば、ローカル、ワイ
ド、又は首都圏エリア・ネットワーク）或いは他の同様
のネットワークにおけるようなディジタル通信のための
ものであろうと、或いは、高度並列処理システムの通信
バックボーンのような特定のアプリケーションにおける
ものであろうと見い出すであろう。それにも関わらず、
以下の説明を簡単にするために、高度並列処理システム
における使用、特に、ＩＢＭ社によって現在製造されて
いるＩＢＭ Ｓｃａｌａｂｌｅ ＰＯＷＥＲｐａｒａｌ
ｌｅｌ Ｓｙｓｔｅｍ（ＳＰ）のファミリにおいて使用
されているＳＰ高パフォーマンス通信ネットワークにお
ける使用に関連して本発明を検討するすることにする。
（なお、「ＩＢＭ」、「ＳＰ」、及び「ＰＯＷＥＲｐａ
ｒａｌｌｅｌ」は、本願の譲受人でもあるＩＢＭ社の商
標である）。

【００２７】本発明の理解を高めるために、先ず、並列
処理システム、特に、そこで使用される双方向クロスポ
イント・ベースのパケット・ネットワークに関連するパ
ケット経路指定の種々の局面を検討し、しかる後、代表
的な経路指定デッドロック状況の説明に進み、最後に、
これらのデッドロックが生じるのを有益に防止する本発
明を詳しく説明する。

【００２８】先ず、図１に示された通常の３２プロセッ
サ並列処理システム５を考察する。このシステムは３２
ノード・パケット交換装置（本願では、「パケット・ネ
ットワーク」又は単に「ネットワーク」とも呼ばれる）
１００を含み、その交換装置には、３２個の個別の、し
かし、ほぼ同様の処理エレメント１１０、詳しく云え
ば、１１０₀、１１０₁、．．．、１１０₃₁ が、このネ
ットワークにより与えられる０から３１までの対応して
番号を付された３２個のノードの各々に接続される。各
エレメントはそのシステムの処理ノードを形成する。ネ
ットワーク１００はこれらの処理ノードのうちの任意の
ものから他の任意のものへのパケットの高速度搬送を行
う。それらの処理エレメント自体は、それぞれ、マイク
ロプロセッサ・ベースのものであり、一般に、ＩＢＭ社
によって製造されたＲＩＳＣ Ｓｙｓｔｅｍ／６０００
マイクロプロセッサを使用する（ＲＩＳＣ Ｓｙｓｔｅ
ｍ／６０００はＩＢＭ社の商標である）。本発明はこれ
らのエレメントのいずれのアーキテクチャ又は回路にも
関連を持たないので、当業者には容易に明らかであるこ
れらの局面をここで詳細に検討することはしない。それ
でも、以下で詳しく説明するように、本発明は、これら
の処理エレメントの１つおいて実行されるシステム初期
設定ソフトウエア及びこれらのエレメントの各々に記憶
される経路テーブルにおいて具体化される。従って、こ
れらの特定の局面に関しては詳しく後述することにす
る。

【００２９】図示のように、ネットワーク１００は、２
つの相互接続されたステージ、即ち、４つのスイッチ回
路１２０₀、１２０₁、１２０₂、及び１２０₃ を含む入
力ステージ及び４つのスイッチ回路１２０₄、１２０₅、
１２０₆、及び１２０₇ を含む出力ステージに編成され
た８個の個別の８＊８双方向スイッチ回路１２０を使用
して構成される。「入力」及び「出力」という名称は説
明のためには全く任意であり、実際には、そのネットワ
ークにおける任意のステージ又はポートが入力ステージ
又はポート、或いは出力ステージ又はポートとして働く
ことが可能である。これらのスイッチ回路の各々は、中
央待ち行列ベースの非ブロッキング８ウェイ・ルータ、
特に、１９９６年３月４日に出願の P. Hochschild 他
による「デッドロック回避機構を有する中央共用待ち行
列ベースの時間多重化パケット交換（A Central Shared
Queue Based Time Multiplexed Packet Switch With D
eadlock Avoidance）」と題した未決の米国特許出願０
８／４２４,８２４号（本願の譲受人に譲渡された）に
おいて開示されたものが望ましい。各スイッチ回路は単
一の集積回路、いわゆる「チップ」として都合よく集積
化されるので、そのようなスイッチ回路自体を「スイッ
チ・チップ」と呼ぶことにする。勿論、必ずしも各スイ
ッチ回路を単一のチップとしてのみ実施する必要はない
ことは当業者には明らかである。いずれの場合も、スイ
ッチ・チップそのものは本発明の一部分を形成するもの
ではないので、それに関する詳細を説明するつもりはな
い。この回路に関する更なる詳細はすべて前述の米国特
許出願０８／４２４,８２４号を参照して欲しい。

【００３０】図示のように、スイッチ・チップの各々
は、中央待ち行列、即ち、対応するスイッチ回路１２０
₀、１２０₁、１２０₂、．．．、１０２₇ に設けられた
待ち行列１３０₀、１３０₁、１３０₂、．．．、１３０₇
を含んでいる。本質的には、及びここで関連する範囲
に対して、各中央待ち行列の目的は、特に、入力妨害及
びデッドロックを改善するために、対応のスイッチ回路
を通る代替の経路を与えることである。デッドロック
は、入力ポート（特に、そこにおけるＦＩＦＯバッフ
ァ）及び逆のトラフィック（本発明が関連するものとは
異なる形式のデッドロック）によって満杯にされた待ち
行列によって生じさせられる。

【００３１】ネットワークの入力ステージ及び出力ステ
ージは接続マトリクス１４０を通して相互接続される。
これらの接続の各々は、本質的には、バイト幅の物理的
リンク（ケーブル）であり、それらのうちの例示的リン
ク１４０₀、１４０₁、１４０₂、及び１４０₃ が特に番
号を付されている。このマトリクスを通して入力ステー
ジにおけるスイッチ・チップの各々におけるポートが、
出力ステージにおけるスイッチ・チップの各々の対応す
るポートに個別に且つ物理的に接続される。例えば、ポ
ート０−７を与えるスイッチ・チップ１２０₀ は、それ
のポート４、５、６、及び７及び対応するケーブルを通
して出力ステージにおけるすべてのスイッチ・チップ１
２０₄、１２０₅、１２０₆、及び１２０₇ の各々におけ
るポート４に接続される。８個のスイッチ・チップを含
み、接続マトリクス１４０を含むパケット交換装置１０
０は集合的に単一のスイッチ・ボードより成る。各スイ
ッチ・チップのポート０−３はスイッチ・ボードの外部
リンクに接続され、一方、そのような各チップのポート
４−７は接続マトリクス１４０におけるリンク（ケーブ
ル）に、従って、同じボードにおける他のそのようなス
イッチ・チップのポートに接続される。

【００３２】１つの処理エレメントが他のエレメントか
らのデータをリクエストするというように或いは他のエ
レメントにデータを供給するというように、処理エレメ
ントが相互にコミュニケートするためには、それが実行
しようとするアプリケーション部分に基づいて「ソー
ス」処理エレメントが命令又はデータでもって適当なメ
ッセージを含むパケットを作り、そのパケットを「宛
先」処理エレメントに搬送するためにパケット交換装置
１００へ送る。そこで、宛先処理エレメントはそのパケ
ットに含まれたデータ又は命令を処理し、適当な応答を
発生する。一方、その応答は、宛先処理エレメントにお
いて実行されるアプリケーション部分に基づいて他のパ
ケットに作り替えられ、そして、例えば、更なる処理の
ためにソース又は異なる処理エレメントに移送すべくネ
ットワークへ返送される。

【００３３】そのネットワークを通したパケット搬送を
容易にするために、各パケットは特定の経路指定命令と
共にヘッダを経路指定バイトの形で含んでいる。後述す
るように、すべての経路が事前定義される。一旦ソース
処理エレメントがアセンブルしようとしている所与のパ
ケットに対する宛先をそのソース処理エレメントが決定
すると、その処理エレメントは、アドレスとして宛先処
理エレメントを有するそれの内部（ローカル）経路テー
ブルを単にアクセスし、そこにその経路を適当な経路指
定バイトの値の形で読み込む。これらの値は、単に、経
路指定バイトとしてパケットのヘッダに挿入されるだけ
である。

【００３４】図２は、パケット・ネットワークを通して
搬送される代表的なパケット、即ち、パケット２００の
編成を示す。個々のパケットは２５５バイトの長さのも
のでよい。図示のように、パケット２００は一連のフィ
ールド、即ち、長さフィールド２００、経路指定バイト
２２０₁、２２０₂、．．．、２２０_n より成る経路指定
フィールド２２０、シーケンス番号フィールド２３０、
及びデータ・フィールド２４０を含む。長さフィールド
２１０は、パケットの長さをバイトで指定する８ビット
値を含む。経路指定フィールド２２０は、複数のフィー
ルド、特に、パケットがそれのソース・ノードからその
ネットワーク全体を通してそれの宛先ノードにたどるべ
き特定の且つ単一の経路（パス）を集合的に指定する経
路指定バイト２２０₁、２２０₂、．．．、２２０_n を含
む。フィールド２３０は、ソース処理エレメントによっ
て与えられるシーケンス番号を保持する。このパケット
に対するソース処理エレメントによって指定され且つ宛
先処理エレメントによって使用されるこの番号は、所与
のシーケンスにおけるそのパケットの順序を識別する。
そのように、この番号は、シーケンス外のパケットの宛
先処理を防ぐためのチェックとして使用可能である。デ
ータ・フィールド２４０は、そのパケットによって宛先
ノードに搬送されるデータ（実際のデータ又は命令を含
む）を集合的に形成する一連のバイトを含む。フィール
ド２１０、２２０、及び２３０はパケット・ヘッダを集
合的に形成する。

【００３５】経路指定フィールド２２０において現れる
経路指定バイトの数（ｎ）は、そのパケットが中継する
スイッチ・ステージの数によって決定される。これに関
して、各経路指定バイトは２つの連続したスイッチ・チ
ップに対する経路指定命令を保持する。従って、パケッ
トが、宛先処理ノードに到達するために、図１に示され
るようなそのネットワークにおける２つの連続したステ
ージにおける２つのスイッチ・チップを通して中継する
ためだけのものである場合、フィールド２２０は、より
大きいネットワークにおいて使用される更なるスイッチ
・チップの対に対する経路指定バイト２２０₁ 等を含む
だけである。経路指定バイトはすべて同じフォーマット
を有する。これに関して、経路指定バイト（Ｒ[７：
０]）は、１つの１ビット・フィールド・セレクタ（Ｒ
[７]−詳しくは示されない）及び２つの３ビット経路指
定フィールド（Ｒ[６：４]及びＲ[２：０]−両方とも詳
しくは示されない）より成る。ビットＲ[７]の値がゼロ
である場合、スイッチ・チップは、ビットＲ[６：４]の
バイナリ値によって指定されたそのチップ上の出力ポー
トにパケットを経路指定し、しかる後、ビットＲ[７]の
値を１にセットする。別の方法として、ビットＲ[７]の
値が１である場合、スイッチ・チップは、ビットＲ
[２：０]において指定されたそのチップ上の出力ポート
にパケットを経路指定し、そしてそれを行っている間、
この経路指定バイト全体を廃棄し、従って、パケットか
らの経路指定バイトを解析する。従って、各経路指定バ
イトは２つの連続したスイッチ・チップに経路指定命令
を与える。経路指定バイトを連結して経路指定フィール
ド２２０をつくることによって、各パケットは２ｎステ
ージのスイッチ・チップまで経路指定可能である。

【００３６】まとめて云えば、パケットを受領するスイ
ッチ・チップは、その時そのパケットに存在する第１経
路指定バイトを調べ、そのバイトによって表されたポー
トにそのパケットを経路指定する。それを行う過程で、
そのパケットのパスにおける１つ置きのスイッチ・チッ
プがその経路指定バイト全体をパケットから切り離され
る（除去される）。一方、これは、経路指定フィールド
２２０における次に続く経路指定バイトを次のスイッチ
・チップ及びスイッチ・ステージに対する第１経路指定
バイトにする。パケットは、それが宛先処理ノードに到
着した時、経路指定バイトを含んでいないであろう。各
スイッチ・チップは、その時そのパケットによって搬送
された第１バイトの他のいずれの更なる経路指定バイト
も気付かず、その回路はそれの特定の経路指定を行う。
更に、各スイッチ・チップは、第１経路指定バイト以外
の任意の経路指定バイトと次に続く任意のデータ・バイ
トとの間を区別しない。

【００３７】前述のように、経路指定は、パケットのア
センブル時に、そのパケットのその後の実際の経路指定
がソース及び宛先処理エレメントに関係なくそれらのバ
イトの各々の特定の値によってそのネットワークにおい
て行われ且つ命令される場合、事前定義された経路指定
バイトを先ずパケット・ヘッダに挿入することによって
達成される。

【００３８】図３は、図１に示されたシステム５を含む
処理ノード１１０を示し、特に、パケット経路指定を達
成するためにこれらのノード内のメモリに存在する種々
のファイル及びテーブルを示す。パケット交換装置（ネ
ットワーク）１００は時間多重化された２つのモード
で、即ち、スイッチ回路が単に着信パケットを経路指定
する実行フェーズ、及びプロセッサが初期設定され或い
はネットワークが監視され且つ回路交換を基準にして管
理されるサービス・フェーズで機能する。そのネットワ
ークに接続されたすべてに装置が、同期したロック・ス
テップを基準にしたモード相互間で移り変わる。実行フ
ェーズの時、或処理エレメントは或タスクに移される。
例えば、処理エレメント１１０₀ 及び１１０₁ が、シス
テム５から他のネットワーク又は処理システムへのリン
クを設けるために、従って、それらの間で情報を転送す
るために、入出力（Ｉ／Ｏ）ノードとして専用化され
る。例示的なエレメント１１０₂、１１０₃、．．．、１
１０₃₁ のような他の処理エレメントはすべて実際のア
プリケーション処理のための計算ノードとして使用可能
である。処理エレメント１１０₃₁ のようなそれら処理
エレメントの１つがサービス・フェーズ時の種々のネッ
トワーク・オペレーションを引き受けるサービス・プロ
セッサとして使用される。

【００３９】希望されれば、実行モード時に、サービス
・プロセッサは計算ノードとしても機能することが可能
である。サービス・プロセッサは、ハードウエアの観点
からは、他のすべての処理エレメントと同じであるけれ
ども、そのサービス・プロセッサは、サービス・フェー
ズ時に実行する更なるソフトウエア、特に、初期設定ル
ーチン３７０をそれのメモリ（ここでは、メモリ３４
０）内に含み、それを実行する。例えば、このフェーズ
は、初期設定、通信リンク同期化、グローバル・タイム
同期化、障害決定及び隔離、及びそのネットワークに接
続された他のすべての処理エレメントを含むすべてのス
イッチ回路及びすべての他の装置に対する種々の診断サ
ービスを行う。初期設定機能はここで関連するサービス
・フェーズの唯一の部分であるので、サービス・フェー
ズのこの部分だけを、特に、パケット経路指定及び本発
明に関連する局面だけを以下で説明することにする。初
期設定フェーズは、システムが如何なるアプリケーショ
ン処理を引き受ける前においても行われる。

【００４０】サービス・プロセッサ１１０₃₁ は、各装
置を集合的に定義する構造化されたエントリのデータベ
ース、特に、トポロジ・ファイル３５０をそれのメモリ
３４０に記憶する。そのデータベースは、ネットワーク
に接続されるすべての処理エレメント及びこれらの装置
をリンクするためにそのネットワークにおいて使用され
る特定の双方向の物理的接続（ケーブル）を含む（しか
し、それらに限定されない）。データベースを作成する
方法はここでは関係なく、従って、それは説明しないこ
とにする。トポロジ・ファイルでは、スイッチ回路及び
他の装置の最大数が装置エントリによって先ず識別さ
れ、しかる後、これらの回路のどれかとそれらの装置と
の間に存在する各物理的接続のエントリがそれに続く。
装置エントリは２つの数値フィールドを含み、それは
「装置の数（ｎ_d）」及び「スイッチ回路の数（ｎ_s）」
という形式のものである。これらの値が与えられると、
装置識別（ｉｄ）番号付けは０からｎ_d までの範囲にあ
るものと仮定され、スイッチ回路識別番号付けは０から
ｎ_s までの範囲にあるものと仮定される。

【００４１】１６個の装置及び８個のスイッチ回路とい
う最大数を含むネットワークに対して、装置エントリ
は、単に、「１６ ８」となるであろう。各接続エント
リは６個のフィールドを有し、「装置１−タイプ」、
「装置１−ｉｄ」、「装置１−ポート」、「装置２−タ
イプ」、「装置２−ｉｄ」、「装置２−ポート」という
形式のものである。装置タイプの情報は装置の性質、即
ち、その装置が処理エレメントであるかどうか、その場
合、そのエレメントはサービス・プロセッサであるかど
うか、或いはそのエレメントはスイッチ回路であるかど
うかを指定する。例示の接続エントリは「ｔｂ０ １４
０ ｓ ３ ６」であり、それは、「ｉｄ１４をラベル
付けされた処理エレメントがスイッチ回路３におけるそ
れのポート０から入力及び出力の両方のポート６まで全
二重形式で接続される」ことを表す。そのネットワーク
の配線は、通常、完全に規則的、明確且つ対称的なもの
である。しかし、実際には、或スイッチ・ボードは保守
のために電源遮断され、或いは、ケーブル又はスイッチ
回路（特に、そこで使用されるスイッチ・チップ）のよ
うな他のネットワーク・コンポーネントは障害状態の結
果として意図的に隔離されることがある。従って、任意
の時点におけるその結果のネットワーク・トポロジは全
く不規則なものとなることがある。

【００４２】いずれの場合も、初期設定時、特に、初期
設定ルーチン３７０の実行時、サービス・プロセッサ１
１０₃₁ はトポロジ・ファイルを３５０をそのまま読み
取り、しかる後、テスト・メッセージのブロードキャス
ト及びそれに対する対応応答の受信を通してネットワー
クにおける各接続の状態及びそれに接続された各装置の
状態を物理的に決定する。これらの応答に基づいて、サ
ービス・プロセッサは、例えば、よく知られている幅優
先探索を使用して、そのネットワークの各（ソース）ノ
ードをそのネットワークの他とすべての（宛先）ノード
に接続するために使用し得るすべての利用可能な経路を
決定する。双方向マルチステージ・クロスポイント・ネ
ットワークにおいて固有のパス冗長性がある場合、一対
のソース・ノードと宛先ノードとを接続するために、種
々のスイッチ・ステージにおける種々のスイッチ回路を
通る幾つかの経路が存在することが多い。ソース・ノー
ドと宛先ノードの各共通の対の間の複数経路から見て、
サービス・プロセッサはこれらのノードの対の各々に対
してこれらの経路の１つを選択し、その経路をメモリ３
４０におけるグローバル経路テーブル３６０に記憶す
る。これらの経路は、一般に、ネットワークにおけるト
ラフィック輻輳及びホットスポットを回避するために、
そのネットワークを通してパケット・トラフィックのほ
ぼ一様の分布を単位時間で得ることに適合した、主とし
て最短パスを基準に選択される。

【００４３】ネットワーク１００の利用可能なソース・
ノード及び宛先ノードの各対の間のパスを定義するため
に、一旦グローバル経路テーブル３６０が完全に構成さ
れると、サービス・プロセッサ１００₃₁ は、ローカル
経路テーブルとして記憶するために、そのテーブルの対
応する部分を、ネットワークを通して、それ自身を含む
個々の処理エレメントの各々に与える。その部分は、そ
の特定の処理エレメントをソース・ノードとしてリスト
する経路だけを含んでいる。従って、例えば、処理エレ
メント１１０₀ はそれのメモリ３１０内にローカル経路
テーブル３２０を記憶し、サービス・プロセッサ１１０
₃₁ はそれのメモリ３４０内にローカル経路テーブル３
８０を記憶し、そして他の処理エレメントの各々に対し
ても同様である。前述のように、パケットの形成時に
は、各処理エレメントは単にそれのローカル経路テーブ
ルをアクセスするだけであり、その後アセンブルされる
パケットの宛先に基づいて、その宛先に対する経路指定
バイトの値をそのテーブルからそのパケットに対するヘ
ッダにコピーする。

【００４４】上記のことを留意して、経路指定デッドロ
ックを説明するために図１に戻ることにする。

【００４５】経路指定デッドロックは、相互に対応する
パケット（その各々が、例えば、スイッチ・チップの種
々のスイッチ・ステージにおける中央待ち行列に置かれ
ている）が連続するステージにおけるスイッチ・チップ
の対を接続する共通パスを通して同時に経路指定される
のを待っている時に生じることがある。従って、今、
「Ａ」として示されたパケットがスイッチ・チップ１２
０₀ の中央待ち行列にあり、円で囲まれた「Ａ」（即
ち、サークルＡ）でもって表された破線のパスを介して
処理ノード１１０₀ から処理ノード１１０₄ に経路指定
されるのを待っていると仮定する。このパスを通して、
パケット「Ａ」はスイッチ・チップ１２０₀によりケー
ブル１４０₀ を通してスイッチ・チップ１２０₄ のポー
ト４に送られ、しかる後、この後者のチップのポート５
及びケーブル１４０₁ を介して入力ステージに、特に、
処理ノード１１０₄ に接続しているスイッチ・チップ１
２０₁のポート０に経路指定される。

【００４６】同様に、待ち行列１３０₀ にあるパケット
「Ａ」と同時に、「Ｂ」、「Ｃ」、及び「Ｄ」とラベル
された他の３つのパケットが、それぞれ、スイッチ・チ
ップ１２０₄、１２０₁、及び１２０₅ における中央待ち
行列１３０₄、１３０₁、及び１３０₅ に存在する。パケ
ット「Ｂ」は、スイッチ・チップ１２０₄ のノード１に
接続された処理エレメント１１０₁₇ から、サークルＢ
でもって表された破線のパスを通してスイッチ・チップ
１２０₅ のノード３に接続された処理エレメント１１０
₂₃ へ経路指定されるべきものである。同様に、パケッ
ト「Ｃ」は、スイッチ・チップ１２０₁ のノード２に接
続された処理エレメント１１０₆ から、サークルＣでも
って表された破線のパスを通してスイッチ・チップ１２
０₀ のノード２に接続された処理エレメント１１０₂ へ
経路指定されるべきものである。同様に、パケット
「Ｄ」は、スイッチ・チップ１２０₅ のノード１に接続
された処理エレメント１１０₂₁ から、サークルＤでも
って表された破線のパスを通してスイッチ・チップ１２
０₄ のノード０に接続された処理エレメント１１０₁₆へ
経路指定されるべきものである。

【００４７】図示のように、４つのパケットは、すべ
て、各経路がそれのケーブルを他の２つの経路を共用す
る場合、４つのケーブルの同じセット、特に、１４
０₀、１４０₁、１４０₂、及び１４０₃ を同時に争いそ
してそれらを引き継ぐ経路を持つであろう。従って、ス
イッチ・チップ１２０₀、１２０₁、１２０₄、及び１２
０₅の各々は、これらのパケットがそれらの対応する中
央待ち行列にある場合、これらのスイッチ・チップのう
ちの他のどれかがそれのパケットを最初に経路指定する
のを待つ。パケットの各々は、基本的には、スイッチ・
チップの１つにおいて（しかし、それにおける異なるポ
ートを通して）それの方向を反転する、即ち、「ターン
・アラウンド」するので、これらすべてのパケットが取
るべき経路は閉ループ・パターン（ローマ数字Ｉ−ＩＩ
−ＩＩＩ−ＩＶによって表され、ここでは「サイクル」
と呼ばれる）を集合的に形成するであろう。

【００４８】スイッチ・チップは、これらの特定のパケ
ットのうちのどれを最初に経路指定すべきかを簡単に決
定することはできないので、スイッチ・チップはすべて
ちょうど待ち状態になり、いずれのパケットも経路指定
されないであろう。そのように、そのサイクルにおける
４つのパケットの各々は残りの３つをブロックするであ
ろう。従って、経路指定デッドロックが生じる。このデ
ッドロックが残っている間、その対応するパスはパケッ
ト・トラフィックを搬送しない。従って、処理エレメン
ト１１０₄、１１０₂₃、１１０₂、及び１１０₁₆ は、そ
れらのパケットが単に到着するのを待つ場合、これらの
パケットを必要とするアプリケーション部分の処理を効
果的に中断させる。一方、これはシステム５の処理スル
ープットを不利に減少させる。一旦経路指定デッドブロ
ックが生じると、それが何らかの方法でクリアされるま
でそれは無期限に継続する。経路指定デッドロックは滅
多に生じるものではないけれども、並列処理システムの
サイズが増加するにつれて、これらのデッドロックが生
じる可能性も増加する。

【００４９】上記の現象から見て、本発明は経路指定デ
ッドロックが生じないようにするための方法及び関連の
装置を提供する。都合のよいことに、本発明は、制限さ
れた経路の対称性を維持しながら、パケット・ネットワ
ークにわたってデッドロックのない経路指定を提供す
る。本発明は、ネットワーク帯域幅を増大させるために
従来の経路制限方法において伝統的に必要とされた経路
制限よりも少ない経路制限しか必要としない。

【００５０】本発明によって、経路指定ルールの事前定
義されたセットの導入に基づいて、或経路はグローバル
経路指定テーブルに含まれることを禁止されるであろ
う。その経路指定ルールは、そのネットワークにおいて
制限されるべき３つのスイッチ・チップ（即ち、ソース
スイッチ・チップ、中間スイッチ・チップ、及び宛先ス
イッチ・チップ）を通過する経路の合計数を決定するこ
とを必要とする。その制限された経路の設定された数
は、パケット・ネットワークにおけるアクティブなスイ
ッチ・チップの数によって均等に除することが可能であ
るはずである。その並列システムに存在するがパケット
ネットワーク１４０には接続されてない如何なるスイッ
チ・チップも、この計算では考慮されない。

【００５１】その制限された経路の数をそのパケット・
ネットワークにおけるアクティブなスイッチ・チップの
数で除することは、その結果として、パケット・ネット
ワークに対する１スイッチ当たりの経路制限数を生じ
る。これは、グローバル経路指定テーブルから排除され
るべき経路のセットに達するように経路指定ルールを実
施するために、各ソース・スイッチ・チップにおいて始
まるのを制限されるべきその３つのスイッチ・チップを
横切る経路の数である。

【００５２】それらの経路のうちのどれがソース・スイ
ッチ・チップの各々において制限されるべきかを決定す
る場合、経路指定ルールは、その制限が課せられる前に
３つのスイッチ・チップにまたがる（即ち、ソース・ス
イッチ・チップから中間スイッチ・チップを通って宛先
スイッチ・チップまでの）１つの経路（又は、複数の経
路）を所持することができたソース・スイッチ・チップ
及び宛先スイッチ・チップと呼ばれる独特のスイッチ・
チップ（即ち、同じ処理エレメントに接続されていない
スイッチ・チップ）の如何なる対も、経路制限が課せら
れた後に少なくとも１つのそのような経路を所持しなけ
ればならないということを指令する。後述するように、
そのような経路禁止は、ユニークではないスイッチ・チ
ップの間では必要ない。それは、所与のスイッチ・チッ
プからアクセスされ得る処理エレメントに達するように
パケット・ネットワーク１４０を介してパケットを経路
指定する理由がないためである。これらの経路は、事実
上、当業者にはよく知られた最短パス経路選択方法に従
って経路指定テーブル内に含ませるようには考慮されて
ない。

【００５３】この概念の１つの例として、図１を考察す
ると、スイッチ・チップ１２０₀と同様のプロセッサ・
エレメントの接続を有するスイッチ・チップがパケット
交換装置に１２０₈ （図示されていない）として加えら
れた場合、スイッチ回路１２０₀ に結合されたプロセッ
サからスイッチ回路１２０₈ に接続された同様のプロセ
ッサにパケットを経路指定することは必要ないであろ
う。それは、このパケット経路指定はスイッチ回路１２
０₀ において達成可能であるためである。

【００５４】これらの事前定義された経路指定ルールを
実施することによって、従来の経路制限技法の下で以前
に可能であったものよりも大きい伝送帯域幅を含むデッ
ドロックのないパケット交換ネットワークを提供するこ
とが可能である。スイッチ・チップの各々から制限され
るべき特定の経路を決定する場合、ネットワークを通し
て経路指定するバランスしたメッセージ・パターンの前
述の利点を得るように、ネットワークを通して対称的な
経路制限（従って、制限されない経路相互間の対称性）
を生じさせることが更に可能である。

【００５５】５１２個の個別の処理エレメントを利用す
るシステムのような比較的大型の高度並列処理システム
において必要なプロセッサ間経路指定機能を与えるため
に、そのシステムは複数のスイッチ・ボードを使用す
る。その各々は上述のものと同じであり、２つの相互接
続されたステージのスイッチ・ボード、即ち、個々の処
理エレメントを接続するようなステージにおけるノード
・スイッチ・ボード（ＮＳＢ）及びそれらＮＳＢを相互
接続するために使用されるもう１つのステージにおける
中間スイッチ・ボード（ＩＳＢ）に編成される。５１２
プロセッサ・システムは、一般に、ＮＳＢとして専用さ
れる３２個のそのようなボード及びＩＳＢとして専用さ
れる１６個の残りのボードを有する４８個の個別のスイ
ッチ・ボードを使用する。各ＮＳＢは、１６個の処理エ
レメントの各々に接続するための１６個のポート及び１
６個のＩＳＢの各々における異なるポートに相互接続す
るための別の１６個のポートを与える。この構成によっ
て、ＮＳＢはそれに接続された個々の処理エレメントか
らの及びそれら処理エレメントへのパケットを経路指定
し、ＩＳＢは、経路指定全体をすべてが前述のように指
定された場合、パケット・ヘッダに含まれたバイトを経
路指定することによって、種々のＮＳＢ相互間のパケッ
トを経路指定する。

【００５６】例示の５１２プロセッサ・システムが図４
においてシステム４００として示される。図示のよう
に、このシステムは、処理ノード４１０として集合的に
示された５１２個の異なる処理エレメント４１
５₀、．．．．．、４１５₁₅、．．．．、４１
５₄₉₆、．．．．、４１５₅₁₁ を与え、それらは、物理
的観点からは、各々が１６個の処理エレメントより成る
３２個の物理的ラック、詳しくは、処理ラック４１
０₀、．．．．、４１０₃₁ に編成される。一方、各ラッ
クは、それぞれのＮＳＢにおける１６個のポートに接続
される。システム４００は、３２個のＮＳＢ４４０₀、
４４０₁、４４０₂、４４０₃、．．．．、４４０₃₁（Ｎ
ＳＢ０、ＮＳＢ１等としても示される）を含む。各ＮＳ
Ｂの残りの１６個のポートは、接続マトリクス４５０に
おける個々のケーブルを通して１６個のＩＳＢ４６０の
各々、詳しくは、ＩＳＢ４６０₀、４６０₁、４６
０₂、．．．．、４６０₁₅（ＩＳＢ０、ＩＳＢ１、ＩＳ
Ｂ２、．．．．、ＩＳＢ１５としても示される）におけ
る対応するポートに相互接続される。例えば、図示のよ
うに、ＮＳＢ４４０₀（ＮＳＢ０）における１６個のポ
ートの各々は、ＮＳＢ４４０₀ がＩＳＢの各々にパケッ
トを経路指定し得るように、１６個のＩＳＢの対応する
１つにおけるポート０に接続される。他のＮＳＢは、図
示のように、同様の態様でＩＳＢの各々に相互接続され
る。ＩＳＢ又はＮＳＢであろうともそれらのスイッチ・
ボードはすべて相互に同じであるけれども、ＩＳＢは，
ＮＳＢとは異なって、接続マトリクス４５０の簡易な表
示を容易にする態様で示される。

【００５７】図４では、及び中間スイッチ・ボード（又
は、同様のもの）の使用に依存する他の大型の高度並列
処理システムでは、それがデッドロック回避方法を持た
ない場合、パケットが２つの異なるＮＳＢの間でＩＳＢ
を通して経路指定される時に経路指定デッドロックが生
じ得ることが認識されている。パケットが２つの異なる
ＮＳＢの間で経路指定される時、パケット「Ａ」及び
「Ｃ」が図１に示されたシステム５におけるスイッチ回
路１２０₄ 及び１２０₅ においてそれらの方向を反転す
る（「ターン・アラウンド」される）のと同じ態様で、
パケットはＩＳＢにおいてそれの方向を反転する。図４
に示されるように、パケットはＩＳＢにおいて発生せ
ず、異なるＮＳＢの間では滅多にそれらを通して経路指
定されないので、それらが生ずべき場合、閉ループ経路
指定パターンが必然的にＩＳＢまで拡張し、ＮＳＢ内の
みに存在するように限定されない。従って、システム４
００における経路指定デッドロックは、何れか１つ又は
複数のＮＳＢそのものに限定されないであろう。

【００５８】本発明の技法によれば、図４に示されるよ
うな５１２プロセッサ・システムにおいてどの経路が制
限されるべきかを決定する場合、２つの異なるＮＳＢの
間の各経路は、システム初期設定時に、グローバル経路
テーブルに含まれないという潜在的な制限が考えられ
る。別の方法で云えば、ＩＳＢにおいて方向転換する経
路及びソース／中間／宛先の経路であるような経路は潜
在的な制限が考えられる。本発明を理解するためにはそ
の詳細を必要としない数値的分析方法によって、２４個
の制限された経路のセットは、デッドロックのない経路
指定を得るために図１に示された３２ノード・パケット
交換装置（図示のＩＳＢのいずれに対しても一般的であ
る）のような８交換パケット・ネットワークにおいて課
せられる経路制限の最小セットであることが決定されて
いる。しかし、その結果のパケット・ネットワークは非
常に非対称的であり、実用性を限定されたものであり、
従って、ここでは、そのようなパケット交換ネットワー
クにおいて課せられる経路制限の最小セットが３２個の
制限された経路を含むものと仮定する。

【００５９】動作において、種々の理由で使用されるこ
とのない経路が所与のスイッチ・ボードに存在すること
がよくある。例えば、前述のように、２つのスイッチ・
チップがノードの同じセットに（又は、他のスイッチ・
ボードの同じセットに）接続される場合、これら２つの
非ユニークのスイッチ・チップの間の経路は必要ないで
あろう。図４に示された例示の５１２ノード・プロセッ
サでは、各ＩＳＢにおける３２個のポートの各々がＮＳ
Ｂの相異なる対応したものに接続するので、この状態は
存在しない。しかし、後述の２５６ノード・システムよ
うな他のシステムでは、そのような状態が存在するであ
ろうし、本発明の技法を通して課せられるべき経路制限
の合計数に達する場合にはそれが考慮されなければなら
ない。更に、特定のスイッチ・ボードにおけるスイッチ
・チップがアクティブでないという状態が存在すること
がある。

【００６０】再び、図４に示された５１２ノード・プロ
セッサを考察すると、ＩＳＢの１つにおけるスイッチ・
チップがＮＳＢに接続されてない場合、ネットワーク４
５０上の経路指定されたパケットがそのスイッチ・チッ
プを通して入って来ない又は出ていかないことは明らか
であり、従って、そのスイッチ・チップは、ネットワー
クでは「非アクティブ」であろう。従って、これらのい
わゆる非アクティブ・スイッチ・チップは、それがその
システムに対する制限の合計数を決定する時に考慮され
る必要がないということになる。これらのスイッチ・チ
ップをソース・スイッチ又は宛先スイッチとして利用す
る経路は、実際には、それらの非アクティブ状態によっ
て制限される。しかし、前の定義の下では非アクティブ
と思われるスイッチ・チップが、依然として、アクティ
ブなＩＳＢソース・スイッチ・チップからアクティブＩ
ＳＢ宛先スイッチ・チップにパケットを経路指定するＩ
ＳＢ内の中間スイッチとして動作することに注意すべき
である。従って、そのパケット・ネットワークの実行時
のオペレーションにおいて使用されない経路の制限に関
する考察が、本発明によれば、制限されるべき経路の合
計数に達する場合に行われる。

【００６１】一旦本発明によって制限されるべき経路の
この合計数が仮定されると、グローバル経路テーブルが
経路テーブル生成ルーチンに従って生成されつつある
時、後述のように、経路禁止が本発明の技法によって行
われる。この経路テーブル生成ルーチンと関連した本発
明の経路制限技法の処理は、そのように禁止されたすべ
ての経路が、サービス・プロセッサ１１０₃₁ のグロー
バル経路指定テーブル３６０に含まれたネットワーク・
ノードの所与の対の間の定義された経路として選択され
ないようにする。

【００６２】上記の経路指定禁止技法を詳細に考察する
前に、ＩＳＢ内に含まれたスイッチ・チップのサブセッ
トが非ユニークである２５６プロセッサ・システムにお
ける本発明の実施を更に考察することは有益なことであ
ろう。

【００６３】例示的な２５６プロセッサ・システムが、
図５において、システム５００として示される。図示の
ように、そのシステムは２５６個の異なる処理エレメン
ト５１５₀、．．．．、５１５₁₅、．．．．、５１５₂₅₅
を与える。それらの処理エレメントは処理ノード５１
０として集合的に示され、物理的観点から、各々が１６
個の処理エレメントより成る１６個の物理的ラック（即
ち、処理ラック５１０₀ 乃至５１０₁₅）に編成される。
一方、各ラックは対応するＮＳＢにおける１６個のポー
トに接続される。システム５００は、１６個のＮＳＢ５
４０₀、．．．．、５４０₁₅（ＮＳＢ０、．．．．、Ｎ
ＳＢ１５としても表される）を含む。各ＮＳＢの残りの
１６個のポートは、８個のＩＳＢ（詳しくは、ＩＳＢ
０、．．．．、ＩＳＢ７又は５６０₀、．．．．、５６
０₇）と相互接続される。理解を容易にするために、全
体としてとらえた場合には接続マトリクス５５０を形成
するこれらの相互接続のサブセットが示される。前述の
及び図４に示された５１２プロセッサ・システムとは対
照的に、所与のＮＳＢにおける１６個のポートの各々が
８個のＩＳＢのうちの相異なるものに接続するのではな
いことは明らかであり、従って、必然的に、ＮＳＢの同
じセットに接続するスイッチ・チップがＩＳＢ上に存在
する。

【００６４】例えば、ＩＳＢ０（又は、５６０₀）にお
けるスイッチ・チップ０及び１を考察することにする。
図示のように、スイッチ・チップ０及びスイッチ・チッ
プ１の両方ともＮＳＢ０、ＮＳＢ１、ＮＳＢ２、及びＮ
ＳＢ３にリンクされる。ＮＳＢ０及びＮＳＢ３の間でパ
ケットが経路指定されるべきであり且つ最初にそのパケ
ットがＮＳＢ０におけるスイッチ・チップからリンク５
７０₀ を通してＩＳＢ０におけるスイッチ・チップ０に
搬送された場合、宛先ＮＳＢ（即ち、ＮＳＢ３）への最
短の経路は、ＩＳＢ０におけるチップ０とＮＳＢ３にお
けるチップ４との間のリンク５７０₁ を介する通過であ
る。パケットがＩＳＢ０におけるチップ０からリンク５
８０₀ を通してＩＳＢ０におけるチップ５に、及びそこ
からリンク５８０₁ を通してＩＳＢ０におけるチップ１
に、そして最終的には、リンク５８０₂ を通してＮＳＢ
３におけるチップ５に経路指定されるというＩＳＢ０か
らＩＳＢ３への代替経路が存在することは明らかであ
る。任意の２つのノードの間の最短のパスを定義するた
めに求められる如何なる経路選択技法も、後者の経路が
グローバル経路指定テーブルに含まれないようにし、そ
の結果、事実上の経路制限と見られるものを生じること
は当業者には容易に明らかなことであろう。更に、ＩＳ
Ｂ０、即ち、５６０₀ におけるスイッチ・チップ０リン
クされた各ＮＳＢはそれにおけるスイッチ・チップ１に
もリンクされるので、これらの事実上の制限が中間スイ
ッチとしてスイッチ・チップ０又は１を通過するすべて
のソース／中間／宛先スイッチ・チップ経路に延びるこ
とは明らかである。従って、非ユニーク・スイッチの発
生は、本発明の技法を通して課せられる必要のある制限
の合計数に影響を与えるであろう。

【００６５】次に、本発明の経路制限技法の考察に注意
を向けると、図６及び図７は、所与のネットワーク（図
１におけるパケット・ネットワーク１００のような）に
対する経路制限セットのグループを決定するためのステ
ップを表す流れ図を示す。それらの経路制限セットか
ら、図４に示されたシステムのような並列システム（即
ち、パケット・ネットワーク１００がＩＳＢにおけるそ
れらネットワークのうちの任意のものと一致する）にお
いてそれに課するための経路制限セットの特定のサブグ
ループが選択される。そのように選択された経路制限の
場合、前述の経路指定指令に従って、そのシステムにお
けるサービス・プロセッサによるグローバル経路テーブ
ルの生成が進行可能である。

【００６６】経路制限ルーチン６００に入ると、実行は
ステップ６１０に進む。そこでは、そのシステムにおけ
る所与のスイッチ・ボード（例えば、図４又は図５にお
けるＩＳＢ０）における制限されるべき経路の合計数に
対応する仮定された数が与えられる。この仮定された数
は、ルーチンが反復プロセスである時には任意に到達可
能である。その反復プロセスは、終了時に、最小の経路
数がスイッチ・ボードから制限されることを可能にす
る。しかし、前述のように、図１に示されたような及び
各ＩＳＢ（即ち、図４におけるＩＳＢ０、．．．．、Ｉ
ＳＢ１５）によって表されるような８スイッチ・パケッ
ト・ネットワークにおける３２個の経路制限が課された
結果、そのネットワークにおけるパケット・トラフィッ
クが適当にバランスし得るデッドロックのない経路指定
スキームが生じることが決っている。前にも述べたよう
に、スイッチ・ボード等において非ユニークなスイッチ
を含むことにより生じるような如何なる事実上制限され
た経路も、この技法によれば制限されないであろうし、
既に存在する制限と見なすことによってステップ６１０
に対する仮定された数を減少させることが可能である。
例えば、各ＩＳＢが非ユニークなスイッチ・チップを含
む図５に示された２５６プロセッサ・システムでは、こ
の仮定された経路制限数は１６まで任意に減少可能であ
る。

【００６７】ステップ６１１では、ステップ６１０から
の仮定の数が、考察のスイッチ・ボードにおけるアクテ
ィブなスイッチ・チップの数（例えば、図４及び図５に
おけるＩＳＢ０では、これは８となるであろう）によっ
て除され、スイッチ・ボード当たりの制限されるべき経
路の数を得る。図４に示された５１２プロセッサ・シス
テムに対して仮定された３２個の経路制限に対して、こ
れは４という１スイッチ当たりの経路制限数を生じるで
あろうし、１６個の仮定された経路制限が存在した図５
における２５６プロセッサ・システムに対しては、１ス
イッチ当たりの経路制限の数は２である。次に、考察の
スイッチ・ボードにおけるソース及び宛先スイッチ・チ
ップの対（３つのスイッチ・チップ、即ち、第１（即
ち、入力又は出力）スイッチ・ステージからのソース・
スイッチ・チップ、第２スイッチ・ステージからの中間
スイッチ・チップ、及び第１スイッチ・ステージからの
宛先スイッチ・チップ、にまたがる経路が間に存在する
一対のスイッチ・チップ）に対するステップ６１２にお
いて、スイッチ・ボード上の各ソース及び宛先スイッチ
・チップの対に対する制限された経路の数がほぼ等しく
なるようにソース及び宛先スイッチ・チップの対の間の
禁止されるべき経路の数に対応した数が得られるであろ
う。

【００６８】好適な実施例では、これは、各ソース及び
宛先スイッチ・チップの対における制限された経路の数
に対する標準偏差を最小にすることによって得られる。
便宜上、この数はソース・宛先の対経路制限数と呼ばれ
るが、任意の２つのそのようなソース・宛先の対のスイ
ッチ相互間の制限の数が等しい必要はなく、それらは、
全体としてとらえた時、これらの対の各々に対してほぼ
等しい数の制限された経路を与える必要があるだけであ
ると考えられる。更に、そのソース・宛先の対経路制限
数はその得られたスイッチ・チップ当たりの経路制限数
に対応するように決定され、従って、そのネットワーク
に対する各ソース・宛先の対のスイッチ・チップの間の
経路の数を制限することによって、必要な１スイッチ・
チップ当たりの制限数はそれにおける各スイッチ・チッ
プから制限される。

【００６９】例として、図１に示された例示的スイッチ
・ボードを再び考察することにする。ステップ６１１に
おいて得られた１スイッチ・チップ当たりの経路制限数
が４である場合、ソース・スイッチ・チップ１２０₀ か
ら生じるリンクを考察すると、１つの経路（第１スイッ
チ・ステージにおけるソース・スイッチ、第２スイッチ
・ステージにおける中間スイッチ、及び第１スイッチ・
ステージにおける宛先スイッチを特徴とする）がソース
及び宛先スイッチ・チップの対、即ち、１２０₀ 対１２
０₁、１２０₀ 対１２０₂、及び１２０₀ 対１２０₃ の各
々の間で制限されるであろう。これはスイッチ・チップ
１２０₀ から制限されるべき４つの必要な経路のうちの
３つにあたり、そしてソース及び宛先スイッチ・チップ
の対の間で課せられる経路制限がほぼ等しくなるよう
に、第４の制限は１２０₀ と１２０₁、１２０₂、及び１
２０₃ の何れかとの間で行われる。好適な実施例では、
第４の制限は、隣接のスイッチ・チップに接続されたノ
ードに対してより大きいネットワーク帯域幅を与えるよ
うに非隣接のスイッチ・チップ相互間で行われる。

【００７０】ステップ６１３では、考察のスイッチ・チ
ップのセットの第１部分が選択される。その選択された
第１部分は、閉ループ経路指定パターン（及びデッドロ
ック）を形成するチップの最小数（即ち、４スイッチ・
チップ）からそのスイッチ・ボード上のスイッチ・チッ
プの合計数（図１における例示的スイッチ・ボードの場
合には８）までのスイッチ・チップの合計数という任意
のサブセットでよい。次に、ステップ６１４において経
路制限ルーチン６００の実行は、各ソース・宛先の対に
対して、それらの間の経路制限の数が、第１スイッチ・
ステージにおけるソース・スイッチ・チップ、第２スイ
ッチ・ステージにおける中間スイッチ・チップ、及び前
述の第１スイッチ・ステージにおける宛先スイッチ・チ
ップによって特徴付けられた経路によって接続すること
ができるスイッチ・チップのいわゆる第１部分における
前述のスイッチ・チップの任意のソース・宛先の対相互
間のソース・宛先の対経路制限数（即ち、前述のような
ソース・宛先の対経路制限数が課せられる）に等しくな
るように、生じ得る経路制限の各セットを識別するよう
に進行する。

【００７１】経路制限ルーチン６００の実行におけるス
テップ６１５では、ステップ６１４におけるいわゆる経
路制限セットの各々が既知のデッドロック分析技法を使
用して分析され、その制限のセットを課した結果、経路
間のデッドロックのない経路指定が第１部分において制
限されずに残されることになるかどうかを識別する。第
１部分におけるデッドロックの発生を回避しないような
如何なる制限のセットも、その結果の経路制限グループ
に包含されないように廃棄される。別の方法として、い
わゆる制限のセットがデッドロックのないネットワーク
を作る場合、そのセットはデッドロックのない経路制限
セットのグループに加えられる（ステップ６１６）。次
にステップ６１７において、考察のスイッチ・ボードに
おける各スイッチ・チップが経路定義ステップ６１４に
含まれていたかどうかが決定される。それが否定される
場合、ステップ６１８において、スイッチ・チップがそ
のサブシステムに加えられ、ステップ６１９を通してス
テップ６１４乃至６１６の実行が繰り返される。ステッ
プ６１７において、考察のスイッチ・ボードにおける各
スイッチ・チップが経路定義ステップ６１４に含まれて
いた時、その結果の経路制限のセットのグループが作成
される（ステップ６１６）。

【００７２】ステップ６２０では、その結果の経路制限
ルール・グループにおける経路制限ルールの各セットが
分析され、特定の経路制限を課する前に何らかのソー
ス、中間、宛先スイッチ・チップ経路（前に定義したよ
うな）を介して接続可能であったスイッチ・チップの各
ソース・宛先の対が、依然としてそれらの間の少なくと
も１つのそのような制限のない経路をサポートすること
ができるかどうか決定する。その結果のグループにおけ
るすべてのセットに対して、上記の決定が否定的である
場合、ステップ６１０において与えられた仮定の数がス
テップ６２１においてインクレメントされ、そのプロセ
スは、ステップ６２２におけるステップ６１１へのルー
プ・バックを介して繰り返される。その決定が肯定的で
ある場合、ステップ６２３において、その結果のグルー
プは、経路指定パターンが受容可能な程度の対称性を有
すると仮定して、考察のスイッチ・ボードにおいてデッ
ドロックのない経路指定を行う経路制限ルールのセット
を表す。

【００７３】図４に示されたシステムのような５１２ノ
ード・プロセッサ・システムに対する経路制限ルーチン
６００の上記実行ステップの適用によって、９３１２セ
ットの経路制限より成る経路制限グループが生成され
た。なお、各セットは、５１２プロセッサ・システムに
おけるすべてのＩＳＢ上の各スイッチ・チップに対応し
た制限を有する。

【００７４】実行ステップ６２４乃至６２８を含む図７
に示される経路制限ルーチン６００のポスト処理セクシ
ョン６０１では、経路制限の上記生成されたグループに
おける制限の各セットが分析され、考察のスイッチ・ボ
ードにおけるリンク相互間のリンクの使用方法及びその
スイッチ・ボード上のスイッチ・チップ相互間の中間ス
イッチ・チップの使用方法はほぼ等しいことを保証す
る。一旦リンクの使用方法及び中間スイッチ・チップの
使用方法が特定のスイッチ・ボードに対してバランスし
ているセットのサブグループが決定されると、リンクの
使用方法及び中間スイッチがシステムにおける複数のス
イッチ・ボードの間でほぼバランスすることを保証する
ために、これらの経路制限のセットの数がそのように決
定されたそのバランスしたセットのサブグループの中か
ら選択される。例えば、後で詳しく説明するように、ス
イッチ・チップ０がそのシステムに対する平均的回数よ
りも多く中間スイッチ・チップとして作用することを経
路制限の特定の選択されたセットが要求する場合、別の
セットがそのシステムにおける別のボードに課せられ
る。その別のボードにおけるスイッチ・チップ０はその
システムに対する平均的な回数よりも少ない中間スイッ
チ・チップとして働き、それによって、システム全体に
おけるスイッチ・ボード上のスイッチ・チップ０の全体
の使用をバランスさせる。

【００７５】経路制限のその得られたグループでもって
ステップ６２３から始まった実行はステップ６２４に進
む。そこでは、そのスイッチ・ボード（即ち、図４及び
図５に示されたシステムにおけるＩＳＢとして働く図１
の例示的スイッチ・ボードに対する合計３２個のリン
ク）における各リンクに割り当てられた制限されない経
路の数（即ち、リンク率）に対する標準偏差が経路制限
の各セットに対して計算される。最も小さい計算された
標準偏差を有するセットがサブグループに保持され、経
路制限の他のすべてのセットがそのサブグループから廃
棄される。経路制限の所与のセットに対して、各リンク
が１つの経路において使用される回数がそのネットワー
クにおけるすべてのリンクに対してほぼ等しいことを保
証するという目的の場合、各リンクに割り当てられた制
限されない経路の数の標準偏差の計算以外の方法がここ
では使用可能であることは明らかであろう。次に、実行
はステップ６２５に進み、そこでは、各スイッチ・チッ
プが制限のない経路における中間スイッチ・チップとし
て参加する回数に対する標準偏差がステップ６２４に起
因するそのサブグループにおける経路制限の各セットに
対して計算される。最後に、最も低い標準偏差を持った
セットが結果グループとして保持され、経路制限のセッ
トの残りは廃棄される。再び、経路制限の所与のセット
に対して、各スイッチ・チップが中間スイッチ・チップ
として働く回数がそのネットワークにおけるすべてのス
イッチ・チップに対してほぼ等しいことを保証するとい
う目的の場合、各スイッチ・チップが制限のない経路に
おける中間スイッチ・チップとして参加する回数の標準
偏差の計算以外の方法がここでは使用可能であることは
明らかである。

【００７６】ステップ６２６では、結果グループが分析
され、そこに含まれる経路制限のセットのうちのどれが
ネットワーク・システム（例えば、図４に示された５１
２プロセッサ・システム）における使用に適しているか
を決定する。この決定を行う場合、結果グループからの
選択された数のセットに対して、所与の数のセットにお
けるすべてのリンクに対するリンク使用すべて（即ち、
図１における例示的スイッチ・ボードの場合には３２）
及び所与の数のセットにおけるすべてのスイッチに対す
る中間スイッチ使用すべて（即ち、図１におけるスイッ
チ・ボードの場合には８）がほぼ等しいかどうかを決定
するために、数値的分析技法が実施される。例えば、後
で説明するように、３スイッチ・チップ（即ち、ソース
／中間／宛先スイッチ・チップ）パスが説明された図１
に示された例示的な８スイッチ・チップ・ネットワーク
では、各スイッチ・チップが１２個の潜在的経路に対す
る中間スイッチ・チップとして働き得ることは明らかで
ある。

【００７７】例えば、図１を参照すると、スイッチ・チ
ップ１２０₄ は、そのスイッチ・チップ１２０₄ が中間
スイッチ・チップとして働き得る合計１２個の潜在的経
路に対して、スイッチ・チップ１２０₀ からスイッチ・
チップ１２０₁、１２０₂、及び１２０₃ に経路指定され
たパケットに対する中間スイッチ・チップとして、及び
スイッチ・チップ１２０₁ からスイッチ・チップ１２０
₀、１２０₂、及び１２０₃ に経路指定されたパケットに
対する中間スイッチ・チップとして、スイッチ・チップ
１２０₂ からスイッチ・チップ１２０₀、１２０₁、及び
１２０₃ に経路指定されたパケットに対する中間スイッ
チ・チップとして、及び、最後に、スイッチ・チップ１
２０₃ からスイッチ・チップ１２０₀、１２０₁、及び１
２０₂ に経路指定されたパケットに対する中間スイッチ
・チップとして働き得るものである。

【００７８】５１２個のプロセッサを含む例示的システ
ムでは、所与のＩＳＢにおいて合計３２個の経路を制限
すること（即ち、各スイッチ・チップから４つの制限）
が望ましいことが決定されたので、適正にバランスした
スイッチ・ボードにおける中間スイッチ・チップとして
各スイッチ・チップを横切ると考えられる平均的経路数
は８でなければならない（即ち、１２（スイッチ・チッ
プが中間的スイッチ・チップである可能な経路）−４
（１スイッチ・チップ当たりの経路制限）＝８）。従っ
て、その例示的システムに対して得られたグループから
の経路制限のセットの数を選択する場合、選択されたセ
ットにまたがるスイッチの各々に対する平均的な中間ス
イッチの使用が８であるセットの選択が試みられるべき
である。どのセットをそれらの間のリンク使用をバラン
スさせるために選択すべきかを決定する場合、本質的に
は、後で説明する分析と同じ分析が行われる。

【００７９】そこで、ステップ６２７において、その結
果選択された経路制限のセット数が、それぞれ、実施さ
れるシステムにおけるＩＳＢに割り当てられる。１つの
ＩＳＢ当たりの経路制限のセットを課することは、上記
プロセスによって定義されたその制限された経路を除く
グローバル経路テーブルのサービス・プロセッサ（図４
における４１５₅₁₁ のような）による生成を可能にする
であろう。経路制限の選択されたセットをそのように課
する場合、ルーチン６００−６０１は、ルーチン８００
において使用すべく、ステップ６２８において、これら
の経路制限のセットを、例えば、サービス・プロセッサ
１１０₃₁ に入力として供給することによって終了す
る。なお、ルーチン８００は、後で説明するように、そ
のシステムのためのグローバル経路テーブル３６０を作
成する。その選択された経路制限のセットは、並列処理
システムに及びその中のサービス・プロセッサ１１０₃₁
に読み込まれるディスケット、ＣＤ−ＲＯＭ、磁気テ
ープを含むがそれらに限定されない任意の既知のコンピ
ュータ読取可能媒体を通してサービス・プロセッサ１１
０₃₁ に供給可能である。

【００８０】説明の便宜上、図４に示されたシステムの
ような５１２プロセッサ・システムのためのＩＳＢにお
ける実施のために選択された多数の制限のセットを表１
に示す。

【表１】経路制限セット１ スイッチ 0: 4(0000)-5(0011)-6(0101)-7(0110) スイッチ 1: 4(0010)-5(0000)-6(1000)-7(0000) スイッチ 2: 4(0101)-5(1001)-6(0000)-7(1100) スイッチ 3: 4(0010)-5(0000)-6(1000)-7(0000) スイッチ 4: 4(0111)-5(1000)-6(0000)-7(1000) スイッチ 5: 4(0000)-5(0001)-6(1000)-7(0100) スイッチ 6: 4(0010)-5(0010)-6(0101)-7(0010) スイッチ 7: 4(0000)-5(0001)-6(1000)-7(0100) 経路制限セット２ スイッチ 0: 4(0000)-5(0001)-6(0000)-7(0100) スイッチ 1: 4(0011)-5(0000)-6(1001)-7(1010) スイッチ 2: 4(0000)-5(0001)-6(0000)-7(0100) スイッチ 3: 4(0110)-5(1010)-6(1100)-7(0000) スイッチ 4: 4(0010)-5(0001)-6(1000)-7(0000) スイッチ 5: 4(0100)-5(1010)-6(0100)-7(0100) スイッチ 6: 4(0010)-5(0001)-6(1000)-7(0000) スイッチ 7: 4(0001)-5(0000)-6(0001)-7(1110) 経路制限セット３ スイッチ 0: 4(0111)-5(1000)-6(0000)-7(1000) スイッチ 1: 4(0000)-5(0001)-6(1000)-7(0100) スイッチ 2: 4(0010)-5(0010)-6(0101)-7(0010) スイッチ 3: 4(0000)-5(0001)-6(1000)-7(0100) スイッチ 4: 4(0000)-5(0011)-6(0101)-7(0110) スイッチ 5: 4(0010)-5(0000)-6(1000)-7(0000) スイッチ 6: 4(0101)-5(1001)-6(0000)-7(1100) スイッチ 7: 4(0010)-5(0000)-6(1000)-7(0000) 経路制限セット４ スイッチ 0: 4(0010)-5(0001)-6(1000)-7(0000) スイッチ 1: 4(0100)-5(1010)-6(0100)-7(0100) スイッチ 2: 4(0010)-5(0001)-6(1000)-7(0000) スイッチ 3: 4(0001)-5(0000)-6(0001)-7(1110) スイッチ 4: 4(0000)-5(0001)-6(0000)-7(0100) スイッチ 5: 4(0011)-5(0000)-6(1001)-7(1010) スイッチ 6: 4(0000)-5(0001)-6(0000)-7(0100) スイッチ 7: 4(0110)-5(1010)-6(1100)-7(0000)

【００８１】本発明の好適な実施例では、汎用性を損な
うことなく、経路制限のリストされたセットの各々が、
例示の５１２プロセッサ・システムに存在する１６個の
ＩＳＢのうちの４個に課せられる。それらのセットの各
々は、スイッチ・チップ上の各ポートに対して、そのポ
ートにおいて入ったパケットがどのポートから出て行く
かを詳述するスイッチ・チップ当たりの経路制限のリス
トを含んでいる。表１に示された例では、括弧付きのセ
ットにおける「１」の存在は、プレフィックスのポート
において入ったパケットがそのチップにおけるそのポー
トにおいて出て行かないことを表し、それにおける
「０」の存在は、そのパケットがそのポートにおいて出
て行くことを表す。更に、括弧内の数字の順序はポート
４、５、６、及び７を順番に示すものと読むべきであ
る。例えば、エントリ スイッチ 0: 4(0100)-5(0000)-6(1000)-7(0000) は、スイッチ０では、パケットがポート４において入り
そしてポート５において出ることを許容されず、同様
に、パケットがポート６において入りそしてポート４に
おいて出ることができないことを表す。一般に、Ｘ（ａ
ｂｃｄ）は、パケットがそのリストされたスイッチ・チ
ップのポートＸに入る時、ａ＝１ならばポート４から、
ｂ＝１ならばポート５から、ｃ＝１ならばポート６か
ら、そしてｄ＝１ならばポート７から出ることは許され
ないことを意味する。

【００８２】図１に示されたスイッチ・ボードと同じ態
様で設計された５１２プロセッサ・システムにおける代
表的なＩＳＢ７００に対して、表１における経路制限セ
ット１に組み込まれたスイッチ・チップ０（７１０₀）
から発する経路に対する制限を表示したものが図８に示
される。理解を容易にするために、スイッチ・チップ内
の任意の２つのポート相互間の制限された経路はそれら
２つのポート相互間の矢印付きの線によって表される。
図８には、第２スイッチ・ステージ（即ち、スイッチ・
チップ４−７（７１０₄−７１０₇）より成るステージ）
における中間スイッチ・チップ７４０内の制限された経
路が示され、それは、これらが、第１スイッチ・ステー
ジ（即ち、スイッチ・チップ０−３（７１０₀−７１
０₃）より成るステージ）におけるソース・スイッチ・
チップ７３０から発する経路に対する経路制限を、同じ
第１スイッチ・ステージ（即ち、スイッチ・チップ０−
３（７１０₀−７１０₃）より成るステージ）における宛
先スイッチ・チップ７５０に結ばれた特定のスイッチ・
チップ０（７１０₀）において作成する過程を示すもの
である。表１及び図８を参照することによって、スイッ
チ・チップ４（７１０₄）を通る経路であるそのような
３つのスイッチ経路の１つ７２０₀ は、ポート４におい
て入るパケット及びポート５において出るパケットの間
のスイッチ・チップ４（７１０₄）によってスイッチ・
チップ０（７１０₀）及びスイッチ・チップ１（７１
０₁）の間で制限されることがわかる。

【００８３】同様に、スイッチ・チップ４（７１０₄）
を通る単一経路７２０₁ は、スイッチ・チップ４（７１
０₄）におけるポート４及び７の間の制限によってスイ
ッチ・チップ０（７１０₁）及びスイッチ・チップ３
（７１０₃）の間で制限されることがわかる。スイッチ
・チップ０（７１０₀）及びスイッチ・チップ２（７１
０₂）の間には、２つのそのような制限された経路があ
る。第１の経路７２０₂ は、スイッチ・チップ４（７１
０₄）におけるポート４及び６の間の制限によってその
スイッチ・チップ４を通して制限され、第２の経路７２
０₃ は、スイッチ・チップ６（７１０₆）におけるポー
ト４及び６の間の制限によってそのスイッチ・チップ６
を通して制限される。同様に、経路制限セット１におい
て具体化された各経路制限を分析することによって、各
スイッチ・チップに課せられた４つの経路制限は、その
スイッチ・チップと３スイッチ・チップ（又は、ソース
／中間／宛先）経路を通してそれに接続可能な他の３つ
のスイッチ・チップの各々との間の単一経路を制限する
こと、及び１つの更なる経路がこれらの３つのスイッチ
・チップの１つの間で制限されることは明らかであろ
う。

【００８４】図８に示された経路制限のセットにおい
て、第４の経路は、ソース・スイッチ・チップ７３０
と、１つの他の宛先スイッチ・チップ７５０によってそ
のソース・スイッチ・チップ７３０から位置的に分離さ
れている宛先スイッチ・チップ７５０との間で一様に制
限される。換言すれば、図示のように、スイッチ・チッ
プ０（７１０₀）の場合、スイッチ・チップ０（７１
０₀）及びスイッチ・チップ２（７１０₂）の間で２つの
経路が制限される。スイッチ・チップ２（７１０₂）の
場合、その逆も真である（即ち、スイッチ・チップ２
（７１０₂）からスイッチ・チップ０（７１０₀）への２
つの経路が制限される）。スイッチ・チップ１（７１０
₁）の場合、そこからスイッチ・チップ３（７１０₃）ま
での２つの経路が禁止され、スイッチ・チップ３がソー
ス・チップである場合の経路に対してはその逆も真であ
る。これはスイッチ・チップ７（７１０₇）まですべて
同様である。

【００８５】更に、表１の経路制限セット１における経
路制限を分析することによってこのパターンが確認でき
る。スイッチ・チップ０（７１０₀）は、ポート４にお
いて潜在的中間スイッチ・チップ７４０の各々（即ち、
スイッチ・チップ４（７１０₄）、スイッチ・チップ５
（７１０₅）、スイッチ・チップ６（７１０₆）、及びス
イッチ・チップ７（７１０₇））に接続するので、スイ
ッチ・チップ０（７１０₀）からのパケットはいつもポ
ート４を通して何れかの中間スイッチ・チップに入るで
あろう。従って、スイッチ・チップ０（７１０₀）に対
する制限を決定するためには、ポート４において入るパ
ケットのためのスイッチ・チップ４、５、６、及び７に
対する制限を見る必要があるだけである。これは、表１
の経路制限セット１における括弧付き数字の第１列の下
半分より成る、表２に示されるような行プレフィックス
のスイッチ・チップ４から行プレフィックスのスイッチ
・チップ７までのサブセットに対応する。

【表２】 ポート 4 5 6 7 −−−−−−−−−−−−−− スイッチ 4: 4(0 1 1 1) スイッチ 5: 4(0 0 0 0) スイッチ 6: 4(0 0 1 0) スイッチ 7: 4(0 0 0 0)

【００８６】このサブセットをポート４、５、６、及び
７に対応する列ヘッディングを持った４Ｘ４マトリクス
として調べることによって、ポート６に対応する列に２
つの「１」が存在することは容易に明らかである。それ
に対応して、スイッチ・チップ２は潜在的中間スイッチ
・チップ４−７の各々のポート６に接続するので（図１
の接続ネットワーク１４０参照）、経路制限の第１セッ
ト当たり、スイッチ・チップ０とスイッチ・チップ２と
の間に２つの経路制限が存在することは明らかである。
図１に示された経路制限の４つのセットの各々に関して
各スイッチ・チップに対する各制限パターンを同様に調
べることによって、上記の詳述した経路制限実施方法が
各経路制限セットに適合していることが確認されるであ
ろう。

【００８７】経路制限のこのセットから、ルーチン６０
０における制限された経路の仮定の数は３２であったこ
と（即ち、各経路制限セットによって定義されたマトリ
クス内に３２個の「１」が存在すること）、及びそれが
そのボード上のアクティブ・スイッチ・チップの数（即
ち、８）によって除される時、それは４つの経路の１ス
イッチ・チップ当たりの経路制限数を生じたことがわか
る。それらの４つの経路は、スイッチ・チップのソース
・宛先の対の各セットがそれらの間で１つの経路を制限
されたように、及びスイッチ・チップのソース・宛先の
対の１つがそれらの間で更に１つの経路を制限されたよ
うに制限されることを決定された。これらの経路制限
は、図６に示されるような経路制限ルーチン６００の実
行ステップ６１２に示されたソース・宛先の対の間の経
路制限と適合する。

【００８８】各スイッチ・チップを中間スイッチ・チッ
プとして使用する方法は、ルーチン６００のステップ６
２５による例示的ＩＳＢに対してもほぼ等しいことが表
１を参照すれば更に明らかである。所与の経路制限セッ
トにおける各行を参照することによって、その行におけ
る「０」の数をカウントすることにより特定のスイッチ
・チップを中間スイッチ・チップとして使用し得る経路
の数、換言すれば、所与のスイッチ・チップにおいて入
るパケットがそのスイッチ・チップから出ることができ
る経路の数（但し、同じポートにおいて入り且つ出る経
路に対応するものを除く。それは、そのような経路は使
用されず、従って、事実上制限されるためである）を決
定することが可能である。この数は、所与のポートにお
いてスイッチ・チップに入るパケットがソース・スイッ
チ・ポート以外の宛先スイッチ・ポートに達するために
異なるポートからそのスイッチポートを出る回数を表
す。前に決定されたように、３２個の経路が制限されよ
うとしているＩＳＢにおける中間スイッチの平均使用数
は８である。経路制限セット１を分析することによっ
て、例えば、各スイッチ・チップが中間スイッチ・チッ
プとして使用される回数に対する標準偏差は１.５８で
あることを示すことができる。

【００８９】同様に、表１を分析することによって、ル
ーチン６００のステップ６２４において示された例示の
ＩＳＢにおける均等化したリンク使用を保証するために
行われた標準偏差計算が確認される。表１を参照するこ
とによって、スイッチ・ボードにおいて利用可能な３２
個のリンクの各々に対するリンク使用量を決定すること
が可能である。合計３２個のリンク（即ち、８個のスイ
ッチ・ボードの各々から４つのリンクが出ている）を持
ったＩＳＢに対する例示のモデルによれば、各リンクが
等量のパケット・トラフィックをサポートすべき場合、
各リンクは、制限されるべき３２個の経路のセットにお
いて一旦制限されそして同じリンクを２つの方向に横切
る経路の事実上の制限を通して制限され（例えば、図１
を参照すると、ソース・スイッチ１２０₀ と宛先スイッ
チ１２０₀ とを接続する間でリンク１４０₀ を２回横切
る経路は事実上制限されるであろう）、或いは各リンク
が２つの経路をサポートするという別の方法を行う。

【００９０】再び、経路制限セット１を考察することに
する。各リンクに割り当てられる経路の数をできるだけ
２に近く維持しようとする場合、本発明の技法は、各リ
ンクに割り当てられた経路の数において最小の標準偏差
を持った制限のセットを選択する。各物理的リンクはス
イッチ・ボード上の２つのスイッチ・チップを接続し、
そしてこれらの２つのスイッチ・チップに対応する各括
弧付きのエントリを調べることによって、各リンクによ
ってサポートされる経路の数を決定することが可能であ
る。例えば、経路制限セット１におけるスイッチ・チッ
プ０と関連した行を調べると、スイッチ０が中間スイッ
チ・チップとして働く場合に、「１」の数はスイッチ０
から発する４つのリンクにおける制限された経路を表す
ことは明らかである。ポート４から発するリンクは各括
弧付きセットにおける第１数字によって表され、ポート
５から発するリンクはそれにおける第２数字に対応し、
ポート６からのリンクは第３数字に対応し、そしてポー
ト７からのリンクはそれにおける第４数字に対応する。
スイッチ・チップ０におけるポート５から発するリンク
を考察することにする。

【００９１】スイッチ０に対応する行の、しかも同じポ
ートおいて入り且つ出る経路に対応するエントリを除
く、各括弧付きセットにおける第２位置における０の数
は１（即ち、スイッチ０のポート４において入り、ポー
ト５において出る経路）である。これは、スイッチ０が
中間スイッチとして働く場合、スイッチ０のポート５か
らのリンクに割り当てられた経路の数である。スイッチ
０のポート５からスイッチ５のポート４への同じリンク
が、スイッチ０がソース・スイッチである場合にスイッ
チ・チップ５が中間スイッチとして働く経路においても
使用可能である。スイッチ５に対する制限と関連した行
において４のプレフィックスの括弧付きセットにおける
０の数は、スイッチ５が中間スイッチとして働く場合、
このリンク上の許された経路の数を表す。事実上制限さ
れる同じリンク通して入り且つ出る経路に対応したエン
トリを除けば、この数は、調査時には３である。従っ
て、スイッチ・チップ０からスイッチ・チップ５までの
このリンクに割り当てられた経路の合計数は、１＋３＝
４ となる。同様に、経路制限セットを実施した所与の
ボードにおける各スイッチ・チップからの各リンクに割
り当てられた経路の数を計算することが可能である。従
って、これらの数に対する標準偏差を計算すること、従
って、制限セットに対する標準偏差がルーチン６００の
実行ステップ６２４に従って得られた９３１２制限セッ
トに対する最小標準偏差であることを確認することが可
能である。

【００９２】最後に、表１において示されたセットすべ
てを考察することによって、リンク全体の使用及び中間
スイッチ全体の使用がルーチン６００の実行ステップ６
２６によってバランスしていることがわかる。例えば、
経路制限セット１及び２におけるスイッチ０を考察する
ことにする。スイッチ・チップが図８（３２個の経路が
制限されることになっている）におけるような例示のス
イッチ・ボードにおける中間スイッチ・チップとして働
かなければならない回数が８であることを前に決定した
ことを想起して欲しい。経路制限セット１では、スイッ
チ・チップ０が合計６回も（即ち、スイッチ・チップ０
に対する同じポートにおける入出を除いてその行におけ
る６個の「０」）中間スイッチ・チップとして働くか、
或いは理想的にバランスしたスイッチ・ボードではそれ
よりも２回少なく利用されることは明らかである。経路
制限セット２では、スイッチ・チップ０が合計１０回も
（即ち、スイッチ・チップ０に対する同じポートにおけ
る入出を除いてその行における１４個の「０」）中間ス
イッチ・チップとして働くか、或いは理想的にバランス
したスイッチ・ボードではそれよりも２回多く利用され
ることが同様に明らかである。

【００９３】従って、経路制限セット１及び２の間の中
間スイッチ・チップとしてのスイッチ・チップ０の使用
は、それらの経路制限セットが課せられる任意の２つの
スイッチ・ボードの間の中間スイッチ・チップとしての
スイッチ０の使用全体をバランスさせるように働くこと
がわかる。同様に、中間スイッチ・チップの使用は、表
１に示された４つの経路制限セットのためのスイッチ・
チップすべてをバランスさせることがわかる。使用のた
めに利用可能な経路制限の有限のセット数に基づいてで
きるだけ多くのリンクに対する複数のＩＳＢの間でリン
ク使用が同様にバランスすることを確認することが可能
である。

【００９４】そのようにして得られた経路制限のセット
は、汎用性を損なうことなく、ディスケット、ＣＤ−Ｒ
ＯＭ、磁気テープ、或いはサービス・プロセッサ１１０
₃₁に対する機械による使用のためにそのような情報を記
憶する他の既知の手段を含むがそれらに限定されない任
意の機械読取り可能な媒体上に設けることが可能であ
り、又、ルーチン６００は、場合によっては、サービス
・プロセッサ１１０においても実行可能である。いずれ
にしても、結果の経路制限セットは後述の方法で経路テ
ーブル生成ルーチン８００によって選択的に使用され
る。

【００９５】図９を参照すると、本発明の技法に従って
パケット経路を定義するために、サービス・プロセッ
サ、例示的には、図４における並列システム４００内に
設けられた処理エレメント４１５₅₁₁ において実行され
る経路テーブル生成ルーチン８００の高レベルの流れ図
が示される。そのルーチン８００は、前述のように、サ
ービス・プロセッサにおいて実行される初期設定ルーチ
ンの一部分である。

【００９６】図９に示されるように、ルーチン８００に
入ると、実行は、先ず、ステップ８１０に進む。そのス
テップは、実行時に、トポロジ・ファイル及び付属の且
つ前述の経路指定指令を読み取る。デッドロック回避経
路指定を行うために、そのトポロジ・ファイルにはパケ
ット・ネットワークにおける各装置、例えば、スイッチ
回路（特に、その中で使用されるスイッチ・チップ）に
対して、その装置を通した経路指定が制限されるべきか
どうか、即ち、パケットがこの回路によって方向を反転
し得るかどうかを指示するというような適当な指令が含
まれなければならない。図１に示されたスイッチ・ボー
ドのようなネットワーク１００を具体化するスイッチ・
ボードを考察することにする。前述のように、各スイッ
チ・チップのポート０−３はそのスイッチ・ボードの外
部のリンクに接続される。一方、各スイッチ・チップの
ポート４−７は接続マトリクス１４０におけるリンク
（ケーブル）に及びそれを通して同じボードにおける他
のスイッチ・チップのポートに接続される。特定のスイ
ッチ・チップに対する経路指定指令がトポロジ・ファイ
ルに存在しない場合、それはそのチップに関して経路指
定制限がないことを意味する。そのように、パケットは
このチップの８個のポートのうちの何れかにおいてこの
チップに入ることができ、そして他の何れかのポートに
おいてそのチップから出ることができる。この場合、パ
ケットはそのチップ内でそれの方向を反転（即ち、「タ
ーン・アラウンド」）することができる。

【００９７】別の方法として、そのスイッチ・チップに
対する経路指定指令「Ｘ（ａｂｃｄ）」がトポロジ・フ
ァイルに存在する場合、何れのポートＸに入るパケット
も、ポート０−３の何れかへ経路指定され、そして、詳
しく前述したように、そのセット（ａｂｃｄ）に対応す
るポート４−７のうちの、ａ、ｂ、ｃ、又はｄが０に等
しいポートから出るように強いられるであろう。従っ
て、ポートＸにおいて入るパケットはそのチップ内でそ
れの方向を反転すること及びポート４−７のうちの、そ
れに対応するａ、ｂ、ｃ、又はｄが１に等しいポートに
おいて出ることを禁止されるであろう。しかし、「Ｘ
（ａｂｃｄ）」指令は、スイッチ・チップ上の他の何れ
かのポートに経路指定され得るそのチップのポート０−
３のうちの何れかにパケットが到達することを制限しな
いであろう。デッドロック回避指令を有するトポロジ・
ファイルにおけるサンプル・ラインは次のようになる。
即ち、 aux route-restrict W(abcd)-X(abcd)-Y(abcd)-Z(abcd)
chip_id 1 chip_id 2..... 但し、"aux route-restrict" は、経路指定指令を有す
る補助ラインを意味する。 "chip_id 1 chip_id 2
....." は、トポロジ・ファイル内で使用されるフォー
マットで表された或スイッチ・チップに対する数字識別
子に対応する。"W(abcd)-X(abcd)-Y(abcd)-Z(abcd)"
は、トポロジ・ファイル内で使用されるフォーマットで
表されたその識別されたスイッチ・チップにおけるポー
ト出力制限のための数字識別子である。なお、Ｗ、Ｘ、
Ｙ、及びＺはパケットが入ってもよいスイッチ・チップ
上のポートに対応し、ａ、ｂ、ｃ、及びｄはそのスイッ
チ・チップ上の同じポートにおける出力制限にそれぞれ
対応する。又、ａ、ｂ、ｃ、及びｄはそのセットと関連
したポートＷ、Ｘ、Ｙ、又はＺにおける入力と関連した
出力制限に対応する。

【００９８】ステップ８１０が完全に実行されると、実
行はステップ８２０に進む。そのステップは、トポロジ
・ファイルにおいて指定された各ケーブル（リンク）と
関連する重みをゼロに設定する。更に、ソース・ノード
・カウンタ、即ち、ノードｉがゼロに初期設定される。
しかる後、実行はステップ８３０に進む。この特定のス
テップは、付属のデッドロック回避経路指定指令と共に
トポロジ・ファイルに含まれたデータを利用して、パケ
ット・ネットワークを通して一組の利用可能な経路を選
択し、現在のソース・ノード（ノードｉ）をそのシステ
ムにおける各宛先ノードと接続する。経路は、短い長さ
を持つ経路、即ち、最少の個別のリンク（ケーブル）を
有するが必ずしも最短の物理的長さを持たない経路とな
るように、周知の幅優先探索を通して選択される。

【００９９】最短パスの経路セットの選択は、ステップ
８４０に示されるように、経路が現在のソース・ノード
からすべての宛先ノードに拡張されるまで、即ち、経路
が宛先ベースのものになるまで、ソース・ベースの基準
で生じる。その結果としてソース・ノードから宛先ノー
ドまでの唯一の最短長の経路が生じる場合、その経路は
それらの間で使用するために選択される。別の方法とし
て、複数のそのような経路がこのソース・ノードと共通
宛先ノードとの間で生じる場合には、１つの選択された
経路は最も低い重みを集合的に有するケーブル持った経
路である。重みベースの選択によって、トラフィック負
荷はパケット・ネットワーク全体を通して最小のケーブ
ル共用とバランスされ得る。一旦ソース・ノードと宛先
ノードとの間の特定の経路が選択されると、その経路に
おける各ケーブルと関連した重みが１だけインクレメン
トされる。ステップ８３０及び８４０は理解を高めるた
めに別個のステップとして示されているけれども、オペ
レーションは全体的に結合される。

【０１００】一旦宛先ノードすべてに対する経路がすべ
て選択されてしまうと、実行はステップ８５０に進む。
そのステップは、選択された経路すべてをグローバル経
路テーブルに書き込み、それによって、現在のソース・
ノードに対する経路テーブルを形成するように実行され
る。しかる後、実行は判断ステップ８６０に進み、その
ネットワークにおけるすべてのノードに対する経路テー
ブルがグローバル経路テーブルに書き込まれてしまった
かどうかを決定する。すべてのノード対する経路テーブ
ルが書き込まれてしまったわけではない場合、判断ステ
ップ８６０は「ノー」のパス８６７を通してステップ８
７０に実行を進める。このステップ８７０は、実行され
る時、ソース・ノード・カウンタｉを１だけインクレメ
ントする。そこで、実行は、次に続くノードに対する経
路を決定及び書き込むために、パス８７５を通してステ
ップ８３０にループ・バックする。それとは別に、すべ
てのノードに対する経路テーブルが書き込まれてしまっ
た場合、実行は、判断ステップ８６０から発する「イエ
ス」のパス８６３を通してルーチン８００から出る。こ
のルーチンの実行の後に且つ処置設定プロセスの完了前
に、サービス・プロセッサは、前述のように、個々の処
理エレメントの各々及びすべてに対するグローバル経路
テーブルの対応部分を、記憶するために及びその後ロー
カル経路テーブルとして使用するために、そのネットワ
ークを通して供給する（詳しくは、コピーする）であろ
う。その部分は、ソース・ノードである特定の処理エレ
メントのための選択された経路だけを含んでいる。

【０１０１】５１２個及び２５６個の個別の処理エレメ
ントを利用する高度並列処理システムによる使用と関連
して本発明の技法を述べたけれども、本発明がそのよう
に限定されるものではないことは当業者には明らかであ
ろう。実際に、本発明は、双方向マルチ・ステージ相互
接続クロスポイント・ベースのパケット・ネットワーク
を利用する実質的に任意のサイズの並列処理システムに
おいて経路指定デッドロックを除くように適用可能であ
る。その点に関して、本発明は６４プロセッサ・システ
ム、別のサイズの同様のシステム、及び最終使用に関係
なくマルチステージ相互接続クロスポイント・パケット
・ネットワークを利用する他のシステムに容易に組込み
可能である。

【０１０２】同じシステム・パーティション内の２つの
スイッチの間でパケットを送るために、システム・パー
ティションを横切る経路の制限を考察するだけである S
ethu他による「マルチステージ・クロスポイント・パケ
ット交換を通してデッドロックのない経路指定を得るた
めの技法（Technique For Accomplishing Deadlock Fre
e Routing Through A Multi-Stage Cross-Point Packet
Switch）」と題した米国特許第５,４５３,９７８号に
開示された技法のような従来技術の経路制限技法とは対
照的に、本発明の技法は３つのクロスポイント・スイッ
チ（即ち、ソース・スイッチ、中間スイッチ、及び宛先
スイッチ）にまたがる経路を調べる必要がある。なお、
そのソース及び宛先スイッチは並列システムにおける第
１スイッチ・ステージ内にあり、中間スイッチは第２ス
イッチ・ステージ内にある。潜在的な経路制限に対する
すべてのそのような３スイッチ経路を考察することによ
って、本発明は、そのような経路の最少の可能なセット
の制限でデッドロックのない経路指定を得ることを可能
にし、制限された経路の非常に広範囲の分類を回避す
る。従って、図４に示された例示の５１２プロセッサ・
システムにおいて本発明の技法を適用することにより、
所与のＩＳＢにおいて３２個の経路が制限される。一
方、従来技術の特許では、同じＩＳＢに対して４８個も
の経路を制限する必要があり、それは約３３％のネット
ワーク帯域幅の増加に相当する。

【０１０３】本願では好適な実施例を詳細に示し且つ説
明したけれども、現在及び将来とも、本発明の精神から
逸脱することなく種々の修正、追加、改良、及び拡張を
行い得ることは当業者には明らかであろう。

【０１０４】まとめとして、本発明の構成に関して以下
の事項を開示する。 （１）外部の複数のノードを集合的に相互接続するクロ
スポイント・スイッチの連続ステージより成る少なくと
も１つのパケット・ネットワークを有し、パケットが前
記ノードうちの２つの間で、前記ネットワークと前記ス
イッチの少なくとも１つとを通る規定の経路を通して搬
送され、前記スイッチの１つが前記スイッチのうちの他
のスイッチに関して前記複数のノードのうちの固有のサ
ブセットに結合される場合、そのように結合されたスイ
ッチは固有のスイッチであり、前記スイッチの各々はア
クティブ又は非アクティブとなるシステムにおいて、複
数の規定の経路において経路指定デッドロックが生じな
いように前記ネットワークを通る前記複数の規定の経路
の定義を使用可能にするためのコンピュータ読取可能媒
体上の経路制限セットのグループであって、該グループ
は、 Ａ．前記ネットワークとそのネットワークにおける前記
スイッチのうちの３つとを通る経路であって前記パケッ
トの通過を許容することを制限されるべき経路の仮定の
数を設定するステップにして、前記仮定の数は前記ネッ
トワークにおけるアクティブ・スイッチの数によって均
等に除することが可能であり、前記ネットワークとそれ
における前記スイッチのうちの３つとを通る前記制限さ
れた経路における前記３つのスイッチのうちの第１スイ
ッチは前記クロスポイント・スイッチの連続ステージの
うちの第１ステージに含まれたソース・スイッチであ
り、前記３つのスイッチのうちの第２スイッチは前記ク
ロスポイント・スイッチの連続ステージのうちの第２ス
テージに含まれた中間スイッチであり、前記３つのスイ
ッチのうちの第３スイッチは前記クロスポイント・スイ
ッチの連続ステージのうちの第１ステージに含まれた宛
先スイッチであり、前記３つのスイッチを通るそのよう
な経路は前記スイッチのソース・宛先の対を定義するこ
とを含んで成るステップと、 Ｂ．前記ネットワークに対する１スイッチ当たりの経路
制限数を発生するために前記ネットワークにおける前記
アクティブ・スイッチの数によって前記仮定の数を除す
るステップと、 Ｃ．１スイッチ当たりの経路制限の数に等しい数の経路
が前記アクティブ・スイッチの各々から制限されるよう
に及び前記ネットワークにおけるスイッチのソース・宛
先の対の各々の間の制限された経路の数がほぼ等しくな
るように、前記ネットワークにおけるスイッチのソース
・宛先の対の各々の間の制限すべき経路のソース・宛先
の対の数を決定するステップと、 Ｄ．前記ネットワークに対する少なくとも１セットのデ
ッドロックのない経路制限のグループを生成するステッ
プにして、前記セットの各々に対して、各スイッチにお
ける制限された経路の数は１スイッチ当たりの経路制限
数に等しく、前記スイッチのソース・宛先の対の各々の
間の制限された経路の数はほぼ等しいこと、及び前記セ
ットの各々に対して、経路指定デッドロックは制限され
てない前記経路に対しては存在せず、前記スイッチのソ
ース・宛先の対の各々の間の少なくとも１つの経路は制
限されないことを含んで成るステップと、 Ｅ．前記少なくとも１セットのデッドロックのない経路
制限のグループから前記セットの少なくとも１つを選択
するステップにして、前記ネットワークとそのネットワ
ークにおける前記スイッチのうちの３つとを通る前記経
路のうちのどれが制限されるべきかを決定し、それによ
って、前記定義されるべき複数の規定の経路から前記選
択されたセットにおける経路を排除する場合に使用され
ることを含んで成るステップと、によって生成されるこ
とを特徴とする経路制限セットのグループ。 （２）前記ステップＤは、 Ｄ１．前記ネットワークにおける前記スイッチの第１部
分を選択するステップと、 Ｄ２．選択された前記スイッチの第１部分における前記
ソース・宛先の対の各々に対して、前記ネットワークと
前記スイッチのうちの３つとを通る前記経路のうち、前
記選択された第１部分におけるスイッチのソース・宛先
の対の各々の間の制限された経路の数がほぼ等しくなる
ようにソース・スイッチから宛先スイッチまでの制限さ
れ得るすべての可能な経路のセットを決定するステップ
と、 Ｄ３．前記ステップＤ２において決定された経路制限の
セットの各々に対して、制限されてない経路におけるデ
ッドロックが前記スイッチの第１部分に前記決定された
経路制限のセットを課することによって生じるかどうか
を決定し、デッドロックが生じる経路制限のセットを廃
棄するステップにして、デッドロックが生じない経路制
限のセットは前記スイッチの第１部分に対するデッドロ
ックのない経路制限のセットのグループとして保持され
て成るステップと、 Ｄ４．少なくとも１つの前記固有のアクティブ・スイッ
チを前記スイッチの第１部分に加えてスイッチの新たな
選択された第１部分を作成し、前記ネットワークにおけ
る前記固有のアクティブ・スイッチがすべて前記選択さ
れた第１部分に含まれるまで前記ステップＤ２乃至Ｄ４
を繰り返すステップと、 Ｄ５．前記仮定の数をインクレメントし、前記グループ
における前記デッドロックのない経路制限のセットの各
々に対して、前記ネットワークにおけるスイッチのソー
ス・宛先の対の各々の間の少なくとも１つの前記経路が
制限されないことが決定されるまで前記ステップＢ乃至
Ｄを繰り返すステップと、を含むことを特徴とする上記
（１）に記載の経路制限セットのグループ。 （３）前記ネットワークにおけるスイッチのソース・宛
先の各対の間の制限すべき経路のソース・宛先の対の数
が前記ネットワークにおけるスイッチのソース・宛先の
すべての対の間の制限された経路の数の標準偏差を最少
にすることによって決定されることを特徴とする上記
（１）に記載の経路制限セットのグループ。 （４）前記システムは前記クロスポイント・スイッチの
連続ステージを通して相互接続された複数の同じネット
ワークを含み、前記経路のうちのどの経路が前記複数の
ネットワークの少なくとも１つに対して制限されるべき
であるかを決定するために、前記少なくとも１つのデッ
ドロックのない経路制限のセットのうちの何れかのセッ
トが前記グループから選択されることを特徴とする上記
（１）に記載の経路制限セットのグループ。 （５）前記グループから選択される少なくとも１つのデ
ッドロックのない経路制限のセットは、それぞれ、前記
複数の同じネットワークのうちの何れかのネットワーク
における各リンクにほぼ等しい数の制限されてない経路
を割り当てられることを特徴とする上記（４）に記載の
経路制限セットのグループ。 （６）前記グループから選択される少なくとも１つのデ
ッドロックのない経路制限のセットは、それぞれ、前記
複数の同じネットワークのうちの何れかのネットワーク
における前記スイッチの各々が中間スイッチであるよう
な前記スイッチに対するほぼ等しい数の制限されてない
経路を有することを特徴とする上記（４）に記載の経路
制限セットのグループ。 （７）前記少なくとも１つのデッドロックのない経路制
限のセットは、前記複数のネットワーク上の前記複数の
選択されたセットにおいて前記経路制限を課することが
前記システムにおけるバランスしたリンクの使用を生じ
させるように前記グループから選択されることを特徴と
する上記（４）に記載の経路制限セットのグループ。 （８）前記少なくとも１つのデッドロックのない経路制
限のセットは、前記複数のネットワーク上の前記複数の
選択されたセットにおいて前記経路制限を課することが
前記システムにおけるバランスした中間スイッチの使用
を生じさせるように前記グループから選択されることを
特徴とする上記（４）に記載の経路制限セットのグルー
プ。 （９）前記規定の経路は "aux route-restrict W(abcd)-X(abcd)-Y(abcd)-Z(abc
d) chip_id" の形式のものであって、前記"aux route-restrict"
は、コンピュータ読取可能な媒体にある前記グループに
おける経路制限のセットの補助ラインを意味し、前記"c
hip_id" は、前記スイッチのうちの幾つかに対する数字
識別子に対応し、前記"W(abcd)-X(abcd)-Y(abcd)-Z(abc
d)" は、識別されたスイッチ・チップにおけるポート出
力制限のための数字識別子であり、前記Ｗ、Ｘ、Ｙ、及
びＺは前記パケットの１つが入り得る識別されたスイッ
チ上のポートに対応し、前記ａ、ｂ、ｃ、及びｄは前記
識別されたスイッチ上の同じポートにおける出力制限に
それぞれ対応し、前記ａ、ｂ、ｃ、及びｄの各セットは
そのセットと関連した前記ポートＷ、Ｘ、Ｙ、又はＺに
おけるパケットの入力と関連した出力制限に対応するこ
とを特徴とする上記（１）に記載の経路制限セットのグ
ループ。

【０１０５】

【発明の効果】双方向マルチステージ相互接続クロスポ
イント・ベースのパケット交換において、特に、高度並
列処理システムの高速度パケット・ネットワークにおい
て排他的でなく使用されるデッドロックのない経路指定
を確立するための方法及び装置が得られる。

【図面の簡単な説明】

【図１】例示的に３２個の尾別の処理エレメントを利用
する通常の並列処理システム５の高レベルのブロック図
を示す。

【図２】図１に示されたシステム５を通る例示的パケッ
ト３００及びそれの構成フィールドを示す。

【図３】図１に示されたシステム５を構成する処理ノー
ド１１０を示し、特に、パケット経路指定を達成するた
めにこれらのノード内のメモリに存在する種々のフィー
ルド及びテーブルを示す。

【図４】例示的に５１２個の処理エレメントを含み、本
発明の教示するところを利用する並列処理システム４０
０の高レベルのブロック図を示す。

【図５】例示的に２５６個の処理エレメントを含み、本
発明の教示するところを利用する並列処理システム５０
０の高レベルのブロック図を示す。

【図６】本発明の教示するところに従ってパケット経路
を定義するために、経路指定テーブルの生成時に、図４
に示されたシステム４００内に設けられたサービス・プ
ロセッサ、例示的には、処理エレメント４１５₅₁₁ によ
って使用されるべき経路制限を定義するために本発明の
教示するところに従って実行される経路制限ルーチン６
００の高レベルのフローチャートを示す。

【図７】図６に示されたフローチャートの続きのフロー
チャートを示す。

【図８】図４に示されたような５１２プロセッサ・シス
テム４００のための代表的な中間スイッチ・ボード（Ｉ
ＳＢ）に対する一組の経路制限の例示的部分を示す。

【図９】本発明の教示するところに従ってパケット経路
を定義するために、図４に示されたシステム４００内に
設けられたサービス・プロセッサ、例示的には、処理エ
レメント４１５₅₁₁ において実行される経路テーブル生
成ルーチン８００の高レベルのフローチャートを示す。

Claims (9)

【特許請求の範囲】
1. 【請求項１】外部の複数のノードを集合的に相互接続す
   るクロスポイント・スイッチの連続ステージより成る少
   なくとも１つのパケット・ネットワークを有し、パケッ
   トが前記ノードうちの２つの間で、前記ネットワークと
   前記スイッチの少なくとも１つとを通る規定の経路を通
   して搬送され、前記スイッチの１つが前記スイッチのう
   ちの他のスイッチに関して前記複数のノードのうちの固
   有のサブセットに結合される場合、そのように結合され
   たスイッチは固有のスイッチであり、前記スイッチの各
   々はアクティブ又は非アクティブとなるシステムにおい
   て、複数の規定の経路において経路指定デッドロックが
   生じないように前記ネットワークを通る前記複数の規定
   の経路の定義を使用可能にするためのコンピュータ読取
   可能媒体上の経路制限セットのグループであって、該グ
   ループは、 Ａ．前記ネットワークとそのネットワークにおける前記
   スイッチのうちの３つとを通る経路であって前記パケッ
   トの通過を許容することを制限されるべき経路の仮定の
   数を設定するステップにして、前記仮定の数は前記ネッ
   トワークにおけるアクティブ・スイッチの数によって均
   等に除することが可能であり、前記ネットワークとそれ
   における前記スイッチのうちの３つとを通る前記制限さ
   れた経路における前記３つのスイッチのうちの第１スイ
   ッチは前記クロスポイント・スイッチの連続ステージの
   うちの第１ステージに含まれたソース・スイッチであ
   り、前記３つのスイッチのうちの第２スイッチは前記ク
   ロスポイント・スイッチの連続ステージのうちの第２ス
   テージに含まれた中間スイッチであり、前記３つのスイ
   ッチのうちの第３スイッチは前記クロスポイント・スイ
   ッチの連続ステージのうちの第１ステージに含まれた宛
   先スイッチであり、前記３つのスイッチを通るそのよう
   な経路は前記スイッチのソース・宛先の対を定義するこ
   とを含んで成るステップと、 Ｂ．前記ネットワークに対する１スイッチ当たりの経路
   制限数を発生するために前記ネットワークにおける前記
   アクティブ・スイッチの数によって前記仮定の数を除す
   るステップと、 Ｃ．１スイッチ当たりの経路制限の数に等しい数の経路
   が前記アクティブ・スイッチの各々から制限されるよう
   に及び前記ネットワークにおけるスイッチのソース・宛
   先の対の各々の間の制限された経路の数がほぼ等しくな
   るように、前記ネットワークにおけるスイッチのソース
   ・宛先の対の各々の間の制限すべき経路のソース・宛先
   の対の数を決定するステップと、 Ｄ．前記ネットワークに対する少なくとも１セットのデ
   ッドロックのない経路制限のグループを生成するステッ
   プにして、前記セットの各々に対して、各スイッチにお
   ける制限された経路の数は１スイッチ当たりの経路制限
   数に等しく、前記スイッチのソース・宛先の対の各々の
   間の制限された経路の数はほぼ等しいこと、及び前記セ
   ットの各々に対して、経路指定デッドロックは制限され
   てない前記経路に対しては存在せず、前記スイッチのソ
   ース・宛先の対の各々の間の少なくとも１つの経路は制
   限されないことを含んで成るステップと、 Ｅ．前記少なくとも１セットのデッドロックのない経路
   制限のグループから前記セットの少なくとも１つを選択
   するステップにして、前記ネットワークとそのネットワ
   ークにおける前記スイッチのうちの３つとを通る前記経
   路のうちのどれが制限されるべきかを決定し、それによ
   って、前記定義されるべき複数の規定の経路から前記選
   択されたセットにおける経路を排除する場合に使用され
   ることを含んで成るステップと、 によって生成されることを特徴とする経路制限セットの
   グループ。
2. 【請求項２】前記ステップＤは、 Ｄ１．前記ネットワークにおける前記スイッチの第１部
   分を選択するステップと、 Ｄ２．選択された前記スイッチの第１部分における前記
   ソース・宛先の対の各々に対して、前記ネットワークと
   前記スイッチのうちの３つとを通る前記経路のうち、前
   記選択された第１部分におけるスイッチのソース・宛先
   の対の各々の間の制限された経路の数がほぼ等しくなる
   ようにソース・スイッチから宛先スイッチまでの制限さ
   れ得るすべての可能な経路のセットを決定するステップ
   と、 Ｄ３．前記ステップＤ２において決定された経路制限の
   セットの各々に対して、制限されてない経路におけるデ
   ッドロックが前記スイッチの第１部分に前記決定された
   経路制限のセットを課することによって生じるかどうか
   を決定し、デッドロックが生じる経路制限のセットを廃
   棄するステップにして、デッドロックが生じない経路制
   限のセットは前記スイッチの第１部分に対するデッドロ
   ックのない経路制限のセットのグループとして保持され
   て成るステップと、 Ｄ４．少なくとも１つの前記固有のアクティブ・スイッ
   チを前記スイッチの第１部分に加えてスイッチの新たな
   選択された第１部分を作成し、前記ネットワークにおけ
   る前記固有のアクティブ・スイッチがすべて前記選択さ
   れた第１部分に含まれるまで前記ステップＤ２乃至Ｄ４
   を繰り返すステップと、 Ｄ５．前記仮定の数をインクレメントし、前記グループ
   における前記デッドロックのない経路制限のセットの各
   々に対して、前記ネットワークにおけるスイッチのソー
   ス・宛先の対の各々の間の少なくとも１つの前記経路が
   制限されないことが決定されるまで前記ステップＢ乃至
   Ｄを繰り返すステップと、 を含むことを特徴とする請求項１に記載の経路制限セッ
   トのグループ。
3. 【請求項３】前記ネットワークにおけるスイッチのソー
   ス・宛先の各対の間の制限すべき経路のソース・宛先の
   対の数が前記ネットワークにおけるスイッチのソース・
   宛先のすべての対の間の制限された経路の数の標準偏差
   を最少にすることによって決定されることを特徴とする
   請求項１に記載の経路制限セットのグループ。
4. 【請求項４】前記システムは前記クロスポイント・スイ
   ッチの連続ステージを通して相互接続された複数の同じ
   ネットワークを含み、前記経路のうちのどの経路が前記
   複数のネットワークの少なくとも１つに対して制限され
   るべきであるかを決定するために、前記少なくとも１つ
   のデッドロックのない経路制限のセットのうちの何れか
   のセットが前記グループから選択されることを特徴とす
   る請求項１に記載の経路制限セットのグループ。
5. 【請求項５】前記グループから選択される少なくとも１
   つのデッドロックのない経路制限のセットは、それぞ
   れ、前記複数の同じネットワークのうちの何れかのネッ
   トワークにおける各リンクにほぼ等しい数の制限されて
   ない経路を割り当てられることを特徴とする請求項４に
   記載の経路制限セットのグループ。
6. 【請求項６】前記グループから選択される少なくとも１
   つのデッドロックのない経路制限のセットは、それぞ
   れ、前記複数の同じネットワークのうちの何れかのネッ
   トワークにおける前記スイッチの各々が中間スイッチで
   あるような前記スイッチに対するほぼ等しい数の制限さ
   れてない経路を有することを特徴とする請求項４に記載
   の経路制限セットのグループ。
7. 【請求項７】前記少なくとも１つのデッドロックのない
   経路制限のセットは、前記複数のネットワーク上の前記
   複数の選択されたセットにおいて前記経路制限を課する
   ことが前記システムにおけるバランスしたリンクの使用
   を生じさせるように前記グループから選択されることを
   特徴とする請求項４に記載の経路制限セットのグルー
   プ。
8. 【請求項８】前記少なくとも１つのデッドロックのない
   経路制限のセットは、前記複数のネットワーク上の前記
   複数の選択されたセットにおいて前記経路制限を課する
   ことが前記システムにおけるバランスした中間スイッチ
   の使用を生じさせるように前記グループから選択される
   ことを特徴とする請求項４に記載の経路制限セットのグ
   ループ。
9. 【請求項９】前記規定の経路は "aux route-restrict W(abcd)-X(abcd)-Y(abcd)-Z(abc
   d) chip_id" の形式のものであって、 前記"aux route-restrict" は、コンピュータ読取可能
   な媒体にある前記グループにおける経路制限のセットの
   補助ラインを意味し、 前記"chip_id" は、前記スイッチのうちの幾つかに対す
   る数字識別子に対応し、 前記"W(abcd)-X(abcd)-Y(abcd)-Z(abcd)" は、識別され
   たスイッチ・チップにおけるポート出力制限のための数
   字識別子であり、前記Ｗ、Ｘ、Ｙ、及びＺは前記パケッ
   トの１つが入り得る識別されたスイッチ上のポートに対
   応し、前記ａ、ｂ、ｃ、及びｄは前記識別されたスイッ
   チ上の同じポートにおける出力制限にそれぞれ対応し、
   前記ａ、ｂ、ｃ、及びｄの各セットはそのセットと関連
   した前記ポートＷ、Ｘ、Ｙ、又はＺにおけるパケットの
   入力と関連した出力制限に対応することを特徴とする請
   求項１に記載の経路制限セットのグループ。