JPH11511634A - 非同期パケット交換 - Google Patents

Abstract

(57)【要約】 マルチプロセッサシステムは複数のノードとルータを含む相互接続とを含んでいる。各ノードはリライアブルパケットムーバとファストフレームムーバを含んでいる。リライアブルパケットムーバはファストフレームムーバにパケットを供給し、ファストフレームムーバはパケットにルーチング情報を付加してフレームを形成する。各ノードへのルートは予め決定される。フレームはルータに供給されそれはルーチング情報からルートを削除する。フレームがルーチング中に損なわれたらルータはそのフレームを廃棄する。パケットが宛先ノードで受信されたらそのノードのリライアブルパケットムーバはパケットがエラー検知を通過したら発信元ノードへアクノリッジメントを送る。発信元ノードのリライアブルパケットムーバは予め定められた時間内にアクノリッジメントを受信しなければパケットを再送する。ファストフレームムーバは宛先ノードへの複数の予め定められたルートから確率分布に従ってランダムにルートを選択する。

Description

【発明の詳細な説明】 非同期パケット交換 関連出願の相互参照 本願発明の主題は、下記に掲げる出願の主題と関連している。 出願番号 、弁護士用ドケット番号2269、“ダイナミックなネットワ ーク・トポロジー探査のシステムおよび方法”の名称で、Thomas M.Wicki，Patr ick J.Helland，Wolf-Dietrich Weberおよび Winfried W.Wilckeによって1996年 ２月22日に出願、 出願番号 、弁護士用ドケット番号2270、“低い待ち時間、高いクロ ック周波数 プレジオ非同期 パケットベース クロスバー・スイッチング・チ ップ・システムおよび方法”の名称で、Thomas M.Wicki，Jeffrey D.Larson，Al bert MuおよびRaghu Sastryによって1996年２月22日に出願、 出願番号 、弁護士用ドケット番号2271、“パケットスイッチングネ ットワーク内のルーチングデバイス出力アクセス用調整方法および装置”の名称 で、Jeffrey D.Larson，Albert MuおよびThomas M.Wickiによって1996年２月22 日に出願、 出願番号 、弁護士用ドケット番号2272、“電圧の揺れを少なくし、 かつ、内部のブロック化データパスを生じさせないクロスバースイッチおよびそ の方法”の名称で、Albert MuおよびJeffrey D.Larsonによって1996年２月22日 に出願、 出願番号 、弁護士用ドケット番号2274、“フロー制御プロトコル・ システムおよび方法”の名称で、Thomas M.Wicki，Patrick J.Helland，Jeffrey D.Larson，Albert Mu，Raghu SastryおよびRichard L.Schober，Jr.によって19 96年２月22日に出願、 出願番号 、弁護士用ドケット番号2275、“相互接続の障害検出およ びその位置特定方法および装置”の名称で、Raghu Sastry，Jeffrey D.Larson， Albert Mu，John R.Slice，Richard L.Schober，Jr．およびThomas M.Wickiによ って1996年２月22日に出願、 出願番号 、弁護士用ドケット番号2277、“多重ワード通信における エラー検出方法および装置”の名称で、Thomas M.Wicki，Patrick J.Hellandお よび Takeshi Shimizuによって1996年２月22日に出願、 出願番号 、弁護士用ドケット番号2278、“正のソース帰還をそなえ たクロック動作されるセンス増幅器”の名称で、Albert Muによって1996年２月2 2日に出願、 参考として、上記の出願の全てを本願発明の全体に亘って取り入れている。 発明の分野 本発明は、ネットワーク上のデータ転送、特に、マルチプロセッサ環境におけ る非同期パケット交換データ転送に関する。 発明の背景 マルチプロセッサシステムは１つまたはそれ以上のメモリに接続されたいくつ かのプロセッサを含んでいる。それらの相互接続は、例えば共有バス、クロスバ ー等のいくつかの形の１つを取り得る。そのような相互接続は高速アクセス（短 かい待ち時間）と広い帯域幅をサポートしなければならない。現在存在している 相互接続には（バス相互接続におけるように）帯域幅が制限されるか（クロスバ ー相互接続におけるように）スケーラビリティの問題があるか（一 般のネットワークにおけるように）待ち時間が長過ぎるといった欠点がある。 すべてのメモリに対して短かい待ち時間で広い帯域幅のアクセスを可能にする マルチプロセッサシステムが望まれている。さらにプロセッサ／メモリが追加さ れたとき利用可能な帯域幅が増える（比例的に増える）べきである。 発明の概要 本発明において、マルチノードシステムは互いに結合された複数のノードを具 備している。ノードはポイント−ポイント間のパケットで互いに通信している。 各ノードはパケットムーバとフレームムーバを含んでいる。パケットムーバはフ レームムーバへパケットを供給し、他のパケットムーバの１つからのパケットの 受信に応答してアクノリッジメントを供給し、アクノリッジメントが予め定めら れた時間内に他のパケットムーバの１つから受信されないならばパケットをフレ ームムーバへ再送する。各パケットは宛先ノードを指示する。フレームムーバは パケットをフレームに変換し宛先ノードまでのルートを生成する。フレームに欠 陥があれば廃棄されパケットムーバがそのパケットを再送する。フレームムーバ はソースルーチングとノードまでの複数ルートを提供する。相互接続はフレキシ ブルなトポロジで良い。パケットは制限された有限の寿命を有する。 フレームムーバは宛先ノードまでの予め選択されたルートを選択し、該予め選 択されたルートを含むフレームを生成し、フレームを宛先ノードへの伝達のため に複数のルータへ供給する。ルートはそれらの間での伝達のための複数のルータ のうちのいくつかを通るルートステップの連鎖を含んでいる。フレームムーバは 宛先ノードま での複数の予め選択されたルートを格納するためのルーチングテーブルを含み、 フレームに含めるために複数の予め選択されたルートの１つを選択するためのコ ントローラを含んでいる。 図面の簡単な説明 図１は本発明に係るマルチプロセッサシステムを表わすブロック図である。 図２は図１のマルチプロセッサシステムのプロトコル階層を表わすブロック図 である。 図３はフレームとパケットを表わす図である。 図４はファストフレームムーバを表わすブロック図である。 図５はフレームのルートの選択を表わすブロック図である。 図６はフレームが相互接続を経て伝達される間のフレームヘッダ内のルーチン グ情報の修正を表わすブロック図である。 図７は半メッシュリンクを表わす図である。 図８はメッシュリンクのレシーバとトランスミッタの対に対する異なるクロッ クドメインを表わすブロック図である。 図９は本発明の第２の実施例におけるフォールトトレラントな相互接続を表わ すブロック図である。 図10はバーチャルカットスルールーチングを表わすブロック図である。 図11は図１のマルチプロセッサシステムのリライアブルパケットムーバを表わ すブロック図である。 図12ａはリライアブルパケットムーバによるパケットの送信動作を表わすフロ ーチャートである。 図12ｂはリライアブルパケットムーバによるアクノリッジメントの処理とパケ ットの再送の動作を表わすフローチャートである。 図13はリライアブルパケットムーバによるパケットの受信の動作を表わすフロ ーチャトである。 図14はペンディングパケットバッファをチェックする動作を表わすフローチャ ートである。 好適な具体例の詳細な記述 本発明の好適な具体例が図面を参照して記述されるが、そこでは同じ参照番号 は同一または機能的に類似の要素を示している。また各参照番号の下２桁以外の 数字はその参照番号が最初に使われる図面に対応している。 図１を参照すると、本発明に係るマルチプロセッサシステム 100を表わすブロ ック図が示されている。マルチプロセッサシステム 100は各々がメッシュリンク 120で相互接続 104に結合された複数のプロセッサノード 102を含んでいる。各 プロセッサノード 102はプロセッサ 106、コヒーレンス制御ユニット 110及びロ ーカルメモリ 112を含んでいる。コヒーレンス制御ユニット 110はリライアブル パケットムーバ（RPM）114とファストフレームムーバ（FFM）116を含んでいる。 リライアブルパケットムーバ 114はプロセッサノード 102間の信頼性のあるエ ンド−エンド間データ通信を提供する。ファストフレームムーバ 116はデータを 発信元プロセッサノード 102から宛先プロセッサノード 102へルーチングする。 各プロセッサノード 102に対して、あらゆる宛先プロセッサノード 102へ向かう 少なくとも１つの経路がファストフレームムーバ 116に格納されている。相互接 続 104におけるトポロジー及びその中の失敗の領域の決定方法は、米国出願番号 、弁護士用ドケット番号2269、““ダイナミックなネットワート・ト ポロジー探査のシステムおよび方法”の名 称で、Thomas M.Wicki，Patrick J.Helland，Wolf-Dietrich Weberおよび Winfr ied W.Wilckeによって1996年２月22日に出願、に記述されており、その事項は参 照することによりここに組み入れられる。 プロセッサ 102の他のアーキテクチャも使用可能である。例えば、コヒーレン ス制御ユニット 110はプロセッサ 106に結合されたキャッシュメモリに結合され ても良い。 相互接続 104はメッシュリンク 120で相互接続された複数のルータ 118を含ん でいる。複数のプロセッサノード 102はメッシュリンク 120でルータ 118に結合 されている。１つ以上のプロセッサノード 102が同じルータ 118に結合されても 良い。ルータ 118は好ましくはクロスバースイッチである。図示の目的のために ここに記述される特別の実現形態において、ルータ 118は６つのポートを有して いる。勿論、プロセッサノード 102の数が少ないシステムにおいては、相互接続 104は唯１つのルータ 118を含んでおり、２つのプロセッサノード 102を含むシ ステムでは、ルータ 118が含まれる必要はない。ルータの一例は、米国出願番号 、弁護士用ドケット番号2273、“低い待ち時間、高いクロック周波数 プレジオ非同期 パケットベース クロスバー・スイッチング・チップ・シス テムおよび方法”の名称で、Thomas M.Wicki，Jeffrey D.Larson，Albert Muお よびRaghu Sastryによって1996年２月22日に出願、に記述されており、その事項 は参照することによりここに組み入れられる。 相互接続 104はすべての通信がプロセッサノード 102−プロセッサノード 102 間で直接行なわれるパケットベースのプロトコルを使用する。相互接続 104は多 数同報または放送機能を提供する必要はない。すべての転送データは、図３との 関連において以下に記述さ れるパケットに分けられる。 マルチプロセッサシステム 100は不均一なメモリアクセス時間を提供する共有 メモリシステムである。プロセッサ 106は他のローカルメモリ 112をアクセスす ることもできる。第１のプロセッサノード 102のローカルメモリ 112へのアクセ スは他のプロセッサノード 102のメモリへのアクセス時間よりも短かい。プロセ ッサ 106がローカルメモリ 112をより多く使用することを許すソフトウェアを書 くことにより、待ち時間は減少する。ネットワークの待ち時間は、メモリ要求が 送信されたときから測定された、要求中のプロセッサノード 102へ要求されたデ ータがもたらされるまでに必要な時間である。言い換えれば、待ち時間はデータ が要求された後にそれが受け取られるまでにどれだけの時間がかかるかを示して いる。 コヒーレンス制御ユニット 110とローカルメモリ 112の間のリンクの帯域幅は 、コヒーレンス制御ユニット 112と相互接続 104の間のリンクの帯域幅に実質的 に等しいことが好ましい。帯域幅はデータを受け取りまたは送出することのでき る速度とパスの幅の双方に依存する。 マルチプロセッサシステム 100は好適には分散メモリシステムである。より特 定すれば、システム 100は物理的に分散されているがローカルメモリ 112が論理 的に共有されるメモリアーキテクチャを有している。例えば、プロセッサノード 102例えばノードＡは、このノード 102がローカルであるものとして処理するが それは実際には異なるプロセッサノード 102例えばノードＢに結合された異なる ローカルメモリ 112に物理的に位置するメモリ位置へのアクセスを要求すること ができる。要求中のノードまたは発信元のノード（ノードＡ）のコヒーレンス制 御ユニット 110はメモリの位置を特定しその位置に格納されたデータがすばやく 取り出される。 マルチプロセッサシステム 100はプロセッサとしての能力を持たない入力／出 力（Ｉ／Ｏ）ノード 103もまた含んでいる。明確化のため、唯一のＩ／Ｏノード 103が示されている。そのようなノード 103は PCIバスまたはＳバスのようなバ スとのインターフェースをとるためのバス変換器であっても良い。そのようなＩ ／Ｏノード 103はここに記述されたような発信元または宛先ノード 102として機 能することもできる。このように、ここでのデータの通信及び処理の記述におい て、プロセッサノード 102が記述されるとき、Ｉ／Ｏノード 103もまた使用する ことができる。 図２を参照すると、プロセッサノード 102と相互接続 104のプロトコル階層を 表わすブロック図が示されている。プロトコル階層は相互接続サービスマネージ ャ(ISM)層 202、リライアブルパケットムーバ(RPM)層 104、ファストフレームム ーバ(FFM)層 206、及び物理層 208を含んでいる。コヒーレンス制御ユニット 11 0は、プロセッサ 106が実行するソフトウェアで制御可能な相互接続サービスマ ネージャ層 202、リライアブルパケットムーバ層 204、ファストフレームムーバ 層 206、及び物理層 208の一部、の機能を提供する。それらの階層ではシステム 100の機能のより能率的な分割とシステムの一部の独立な更新及び試験のことが 考慮されている。相互接続サービスマネージャ層 202はコヒーレンスを保証する ためにポイント−ポイント間でメッセージを通信する。第１のプロセッサノード 202の相互接続マネージャ層 202が他のプロセッサノード 102へデータを送るか またはそれからのデータを要求するとき、第１のプロセッサノード 102の相互接 続マネージャ層 202は、リライアブルパケットムーバ 114にデータを送るべきで あるかまたは要求すべきであること及びデータの発信元または宛先を知らせるコ マンドをリライアブルパケットムーバ 114へ送る。 リライアブルパケットムーバ層 204では、発信元のプロセッサノード 102が宛 先のプロセッサノード 102へデータを送り、相互接続 104内の経路を決定するこ とまたは経路に関する何らの情報を使用することもない。リライアブルパケット ムーバ層 204は、パケット 302を通信するためにファストフレームムーバ層 206 を使うことによって、プロセッサノード 102間でパケット 302(図３参照)の信頼 性のある配送を提供する。リライアブルパケットムーバ層 204はエンド−エンド 間のデータの一貫性を提供する。リライアブルパケットムーバ層 204では、リラ イアブルパケットムーバ 114はデータを送りそのデータが受けとられたことを示 すアクノリッジ信号を監視する。もしそれが或るタイムアウト期間内にアクノリ ッジされなかったら、リライアブルパケットムーバ 114はデータを再送する。こ れは好ましくはソフトウェアによる実現ではなくハードウェアで実現される。こ のように、リライアブルパケットムーバ層 204は伝送中に失なわれたかまたは破 壊されたデータを再送する。リライアブルパケットムーバ層 204はパケットの重 複を抑制し、誤った順序で受信されたデータパケットの並べ換えを行なう。リラ イアブルパケットムーバ層 204は宛先プロセッサノード 102の送信パケットバッ ファ1106（図11）のオーバーランを避けるべくノード−ノード間のフロー制御を 提供する。リライアブルパケットムーバ層では、通信はプロセッサ 102間で行な われ１対多または同報通信ではない。パケット 302が２以上のプロセッサノード 102へ送られるときは、相互接続サービスマネージャ層 202が各宛先プロセッサ ノード 102へパケット 302のコピーを別々に送る。 ファストフレームムーバ層 206では、通信は直接に接続されたエレメント（例 えばプロセッサノード 102とルータ 118）間のポイント−ポイント間通信である 。フレーム300(図３参照)は発信元プロ セッサノード 102から相互接続 104のルータ 118を経て他のルータ 118へ送られ さらに宛先プロセッサノード 102へ送られる。ファストフレームムーバ層 206は 隣り合ったエレメント（ルータ 118とプロセッサノード 102）間の各ステップに ついてフロー制御を提供する。ファストフレームムーバ層 206はこれらのステッ プをつないだルートを提供し、それによってフレームを或るノードから他へ送達 する。ファストフレームムーバ層 206は使用されるフレーム 300の部分のみにつ いて簡単な一貫性チェックを行なうがエラーの訂正は行なわない。もしエラーが 起こったらファストフレームムーバ層 206はそのフレーム 300を廃棄し、その後 に、センダがデータを再送する。ファストフレームムーバ層 206はメッシュリン ク 120の他端に接続された直接の隣人のオーバーランを避けるためのメッシュリ ンクフロー制御を提供する。ファストフレームムーバ層 206は各フレーム 300に 対するエラー検出を行なわず悪いフレーム 300をドロップすることにより短かい 待ち時間でストリームライン化されている。 物理層 208は相互接続 104のケーブル、コネクタ等とプロセッサノード 102と のインターフェースを含んでいる。 図３を参照すると、フレーム 300とパケット 302を表わす図が示されている。 フレーム 300はファストフレームムーバ 116で使用されるデータ転送の単位であ る。フレーム 300はフレームヘッダ 304とフレーム本体であるパケット 302を含 んでいる。フレームヘッダ 304はルーチング情報 318、フロー制御情報 320、及 びプライオリティ情報 322を含んでいる。ルーチング情報 318はそのフレームを 処理しそのルーチングを制御する予定のルータ 118の連鎖を含んでいる。フロー 制御情報 320は次の下流のルータ 118またはプロセッサノード 102の容量に関す る情報を含んでおり、データの流れの制 御または停止を可能にする。プライオリティ情報 322はフレーム 300の優先度レ ベルを含んでいる。フレームヘッダ 304は好ましくは ム本体（パケット 302）は好適には大きさが２〜18（68ビット）ワードである。 パケット 302はパケットヘッダ 306とパケットデータ 308を含んでいる。パケ ットヘッダ 306はパケットヘッダディスクリプタ 310、プライオリティアクノリ ッジメントリクエスト 324、及びエラー検出コード（EDC）312を含んでいる。パ ケットヘッダ 306は好適には68ビットのワードで２ワードであり、各ワードは64 ビット（８バイト）のデータと４ビットの EDCである。パケット 302はパケット データ 308を含んでいなくても良い。パケットデータ 308は可変長であり、好ま しくは０ないし 128バイトのデータ（０ないし16ワード）である。例えばアクト リッジメントパケット（後述）はパケットヘッダ 306と EDC 312のみを含んでい る。パケットデータ 308はデータであって良い。パケットヘッダディスクリプタ 310は宛先プロセッサノード 102を示す情報を含んでいる。図12とともに後に説 明するように、リライアブルパケットムーバ 114はそれがパケット 302を処理す るときパケット 302に EDC 312を付加する。EDC 312は好ましくはパケット 308 の16バイトごとに１バイト（８ビット）である。EDC 312はパケットデータ 308 の各８バイトに対して４ビットとして格納され、16バイトまたは２ワードに対す る８ビットが１度にチェックされる。プライオリティアクノリッジメントリクエ スト 324はパケット 302が受信されたという既座のアクノリッジメントを宛先プ ロセッサノード 102が送ることの要求である。 リライアブルパケットムーバ 114はパケット 302の通し番号を含むパケットヘ ッダを生成する。通し番号は識別子であり発信元プロ セッサノード 102から宛先ノード 102へ送られるパケット 302の順序のインジケ ータである。通し番号は各発信元−宛先ノードのペアについて生成される。ファ ストフレームムーバ 116はフレーム本体（パケット 302）を調べたり修正したり はしない。ファストフレームムーバ 116はパケット 302を受信するとフレームヘ ッダ 304を生成する。ファストフレームムーバ層 206の一部であるルータ 118は 図５〜６に関連して以下に記述されるように相互接続 104を経てフレームが通信 されるときフレームヘッダ 304を修正する。宛先プロセッサノード 102のファス トフレームムーバ 116は宛先プロセッサノード 102のリライアブルパケットムー バ 114へパケット 302を引き渡すときフレームヘッダ 304を廃棄する。 図４を参照すると、送信回路 402と受信回路 404を含むファストフレームムー バ 116を表わすブロック図が示されている。各ファストフレームムーバ 116は送 信回路 402と受信回路 404の双方を含んでいるが、明確化のために、１つの送信 回路 402と１つの受信回路 404のみが示されている。送信回路 402はルーチング テーブル 406、乱数発生器 407、及び FFM送信コントローラ 408を含んでいる。 受信回路 404はバッファマネージャ 410、バッファ 412、及び FFM受信コントロ ーラ 414を含んでいる。ルーチングテーブル 406は相互接続 104を経て各宛先プ ロセッサノード 102へ至る少なくとも１つのルートを格納している。フレーム 3 00がルートに沿って通信されるときルート上の各ルータ 118はルートから１つの ルーチングステップを取り除くことによってフレームヘッダ 304を修正する。 ファストフレームムーバ 114及びルータ 118はメッシュリンク 120上のフロー 制御を維持する。受信回路 404のバッファマネージャ 410はバッファ 412のステ ータスを監視し、ルータ 118またはプロセッサノード 102のいずれかである次の 上流の隣人にメッシュリン ク 120を介してステータス情報を送る。同様に、各ルータ 118はその中のバッフ ァ（図示せず）のステータスを監視し、同様にルータ 118またはプロセッサノー ド 102のいずれかである次の上流の隣人にメッシュリンク 120を介してステータ ス情報を送る。発信元プロセッサノード 102のファストフレームムーバ 114また はルータはバッファ 412に空きができるまで次の下流の隣人（プロセッサノード 102またはルータのいずれか）へのフレーム 300の送信を遅くするかまたは停止 する。フロー制御のそのような実現の１つは米国出願番号 、弁護士用 ドケット番号2274、“フロー制御プロトコル・システムおよび方法”の名称で、 1996年２月22日に出願、に記述されており、その事項は参照することによりここ に組み入れられる。 ルータ 118はルータ 118の動作として許される範囲内のエラー検出を行なう。 例えば、ルータ 118はルータ 118の次のリンクが存在するかどうかを決定する。 例えば、ルータ 118が６つのポートを持っておりフレームヘッダ 304はフレーム 300がポート０のような存在していないポートへ供給されるべきであることを示 しているならばルータ 118はフレーム 300を廃棄する。 図５を参照すると、フレーム 300のルートの選択を表わすブロック図が示され ている。図６を参照すると、フレーム 300が相互接続 104を介して通信される間 におけるフレームヘッダ 304内のルーチング情報 318の修正を表わすブロック図 が示されている。ルートの選択は発信元プロセッサノード 102と宛先プロセッサ ノード 102と複数のルートの１つを取り出すための乱数のみに依存する。ルート は好ましくはフレーム 300の大きさまたは種類に基づかない。 相互接続 104を通るルートは決定論的である。ルートの選択は予め定められた ルートのテーブルを格納するルーチングテーブル 406 から選択される。ルートが選択されフレーム 300が相互接続 104へ供給されると パスが決定される。フレーム 300は宛先プロセッサノード 102までのこのルート に従うかまたはエラーの際にルートの途中で廃棄される。決定論的なルーチング はいくつかの利点をもたらす。第１に、ルータ 118による決定を伴うことなくフ レーム 300がフレーム 300の次の宛先を定めるのでルータ 118がフレーム 300を すばやく処理することができる。第２に、フレーム 300の相互接続内での寿命が 制限される。フレーム 300は有限の長さの予め定められたルートによって通信さ れる。このことはリライアブルパケットムーバ 114が有限の長さの通し番号を使 用することを許し、それによってパケットヘッダ 306の大きさが小さくなる。ほ とんどの場合に、このことは相互接続 104からの古いパケット 802をなくす。第 ３に、予め選択されたルートは相互接続 104を通る任意のパスに従うことができ る。相互接続の負荷を適切に分散させることができる。 ルートは発信元プロセッサノード 102と宛先プロセッサノード 102の間で直接 結合されたルータ 118の連鎖を含んでいる。ルートは特別のトポロジを必要とし ない。実際、２つの直接結合されたルータ 118間のリンクがユニークに定められ る任意のトポロジが使用可能である。 特に図５〜６を参照すると、ファストフレームムーバ 116は、予め特定された 宛先ノード例えばプロセッサノードＢに送られるべきであるパケット 302で示さ れるパケット 302をリライアブルパケットムーバ 114から受け取る。ファストフ レームムーバ 116は乱数発生器 407から１つの乱数を受け取る。ファストフレー ムムーバ 116は確率分布テーブル 502内の複数のメモリ位置 504の１つを選択す るためにこの乱数を使用する。各メモリ位置 504は、発信元プロセ ッサノード 102(例えばノードＡ)から宛先プロセッサノード 102（例えばノード Ｂ）までの複数の予め特定されたルートの１つを格納している。次にファストフ レームムーバ 116は選択されたメモリ位置 504からその中に格納されている予め 特定されたルートを抽出する。確率分布テーブル 502は好適にはルートの選択を 偏らせる予め特定された確率分布に従ってつくられる。例えば、ファストフレー ムムーバ 116はルーチングテーブル 406に格納されたルートの１つを予め定めら れた数のメモリ位置 504に格納することによって確率分布を生成する。確率分布 502はルートの各々がメモリ位置 504に格納される頻度によって決定される。フ ァストフレームムーバ 116はこのように選択された予め特定されたルートを含む フレームヘッダ 304を生成し、このフレームヘッダ 304をパケット 302に付加し てフレーム 300を生成する。 さて、特に図６を参照する。前述したようにフレームヘッダ 304は発信元プロ セッサノード 102から相互接続 104を経て宛先プロセッサノード 102に至る予め 定められたパスを特定するルーチング情報 318を含んでいる。前に指摘したよう に、ルートは一連のルートステップを含んでいる。各ルートステップはルータ 1 18がフレーム 300を送り出すルータ 118のポートを定める。各ルートステップは 可変の大きさを有する。例えば、６ポートのルータ 118においては３ビットがポ ートを定める。12ポートのルータ 118においては４ビットがポートを定める。従 って、１つのルートが様々な大きさのルータ 118を含む場合がある。勿論、ルー トが異なる数のルートステップを含む場合がある。この場合に、ルートは異なる 大きさのルートステップを含む。図６のリンク１において、ルーチングパスはリ ンク３、リンク５、リンク２及び宛先プロセッサノード 102である。ルーチング パスの各リンクはフレームヘッダ 304から次のリンク のコードを取り去り、フレームヘッダ 304内のルーチングパスをシフトし、フレ ームヘッダ 304の終りを存在しないプロセッサノードの番号すなわち０で満たす 。次にそのリンクは修正されたフレームヘッダ 304を有するフレーム 300を次の リンクに供給する。例えばリンク＃３はポート５を経てフレーム 300を供給しフ レームヘッダ 304からリンク５を除去する。勿論、ルートの最後のリンクはフレ ーム 300を宛先プロセッサノード 102へ供給する。 図７を参照すると、メッシュリンク 120の半分を表わす線図が示されている。 メッシュリンク 120は１対の単方向のデータパスを含んでいる。この対は送信か ら受信へスイッチされる共有媒体よりも広い帯域幅を提供し、そのような共有媒 体に対して起こる伝幡遅延への依存性をなくす。高速度システムに対しては多ビ ットの情報がメッシュリンク 120上に一度に存在しうる。その対はルータ 118が 双方向で同時に通信することを可能にする。メッシュリンク 120はポイント−ポ イント間の電気接続を提供する。メッシュリンク 120は好適にはバスではない。 各単方向データパスはデータライン 702と制御ライン、特に、クロックライン 7 04、データ／ステータス指示ライン 706、フレームエンベロープライン 708及び 基準電圧ライン 710を含む半メッシュリンクである。データライン 702はフレー ム 300を伝達するためのパスを提供する。バッファステータス情報はフレーム 3 00が送られないときに同じデータライン 702上に多重化される。相互接続 104の 帯域幅はデータライン 702の数に依存する。データライン 702は好適にはクロッ クエッジあたり１／２ワードのフレーム 300を伝達するために34線である。クロ ックライン 704はフレーム 300を相互接続 104を経て供給しているプロセッサノ ード 102のクロックのための通信パスを提供する。クロックライン 704は好適に は２線上の完全差動単一クロックである。データ／ス テータス指示ライン 706はデータライン 702上の信号がデータであるかステータ スであるかを示す信号を供給する。例えば、図４との関連において前述されたよ うなメッシュリンク 120のフロー制御については、データ／ステータス指示ライ ン 706はバッファ 412のステータス情報がデータライン 702上で通信されている ことを示す。データ／ステータス指示ライン 706は好ましくは１本の線を有して いる。フレームエンベロープライン 708はフレームの始まりを示すフレームエン ベロープ信号を供給する。特に、フレームエンベロープ信号はフレームヘッダ 3 04の始まりを示し、フレームの伝送中はアクティブにとどまる。フレームエンベ ロープ信号はフレームの終りでまたはフレームが背中合わせで伝送されることを 可能にするためその終りよりも充分な時間だけ前にイナクティブになる。フレー ムエンベロープライン 708は好ましくは単一の線を有している。基準電圧ライン 710は単線差動であるすべてのデータ及び制御ライン 702，706，708上での小信 号の変化を可能にするため、ルータ 118またはプロセッサノード 102に対する基 準電圧を提供する。基準電圧ライン 710は好ましくは５線である。各メッシュラ イン 120は好ましくは各方向で43線或いは全体で86線を有している。これにより メッシュリンク 120上で34ビットのパラレル伝送が可能となる。したがって１ワ ードは２クロックサイクルで伝送され、それは双方のエッジでラッチされれば１ クロックサイクルに等しい。 図８を参照すると、メッシュリンク 120の１対のレシーバとトランスミッタに 対する異なるクロックドメインを表わすブロック図が示されている。各プロセッ サノード 102と各ルータ 118はクロック信号を提供するための内部クロック発生 器 802を有している。クロック発生器 802は好ましくは実質的に等しいクロック 信号を提供する。クロックはメッシュリンク 120上で次の隣人（宛先プロセッサ ノード 102またはルータ 118）へ供給され、それはデータを受け入れるためにこ のクロックを使用する。より特定すれば、このクロックは宛先プロセッサノード 102またはルータ 118においてファーストインファーストアクト（FIFO）バッフ ァ 804にデータをラッチするために使用される。宛先プロセッサノード 102また はルータ 118はFIFOバッファ 804からデータを読み出すためにそれ自身の内部ク ロック発生器 802を使用する。これにより宛先プロセッサノー ド 102またはル ータ 118のクロックからの周波数シフト及び位相シフトを有するクロックに基づ くデータを宛先プロセッサノード 102またはルータ 118が受け入れることが可能 になる。このクロック手法はすべてのクロック全体の同期化の必要性をなくす。 クロックドメインはプレジオ同期クロックドメインである。クロックはデータラ イン 702上のデータとともにメッシュリンク 120上に提供される。クロック手法 の一例は米国出願番号08／223,575、“データ同期化システム及び方法”の名称 で1994年４月６日に出願、にあり、その事項は参照することによりここに組み入 れられる。 図９を参照すると、本発明の第２の実施例に係るフォールトトレラントな相互 接続を表わすブロック図が示されている。相互接続 104はプロセッサノード 102 間にフォールトトレラントにするために冗長なパスを提供する少なくとも２つの サブメッシュ 902を含んでいる。ファストフレームムーバ 116は、動的に、機能 していないかまたは取り除かれたルータ 118またはメッシュリンク 120のまわり に再ルーチングするか他のサブメッシュ 902を使用する。 各サブメッシュ 902はすべてのプロセッサノード 102へメッシュリンク 120に より結合される。各サブメッシュ 902は好ましくはフォールトトレラントでない メッシュに類似している。各プロセッサノード 102はサブメッシュ 902の各々と 別のメッシュリンク 120で 結合されているルータ 118にメッシュリンク 120で結合される。 各ルータ 118はルータ 118がフレーム 300を廃棄するごとにインクリメントさ れるカウンタ（図示せず）を含んでいる。マルチプロセッサシステム 100は周期 的にカウンタを読みそれに接続されているルータ 118またはメッシュリンク 120 が欠陥を有しているかを決定する。そのような決定がなされたら、マルチプロセ ッサシステム 100は欠陥冗長性のあるシステムにおいて予め定められたルートか らそのルータ 118またはサブメッシュ 902を取り除く。例えば、プロセッサノー ド 102はルーチングテーブル 406からルートを選択するための確率分布テーブル 502からこのルートを削除する。プロセッサノード 102は各宛先プロセッサノー ド 102について要求されるパケット 302の再送の回数をカウントし、カウント値 が予め定められた閾値よりも大きければパス内のルータ 118が高い欠陥カウント を有しているかを決定する。 図10を参照すると、フレーム 300終りがまだ受信されていなくてもルート内の 次のルータ 118またはプロセッサノード 102へフレーム 300の始まりが送られる バーチャルカットスルールーチングを表わすブロック図が示されている。より特 定すれば、パケット 302は複数のセグメント1002、例えば７に区切られる。セグ メント1002は好ましくは異なるサイズである。前述のように、発信元プロセッサ ノード 102は宛先プロセッサノード 102へパケットを送るためのルートを選択す る。発信元プロセッサノード 102はフレーム 300をルート内の最初のルータ 118 に供給する。フレームヘッダ 306を受信すると、ルート内の第１のルータ 118は フレーム 300を送るための次のメッシュリンク 120を決定し受け側のバッファ資 源が利用可能であり出力ポートが利用可能であればフレーム 300の送出を開始す る。フレーム 300は宛先プロセッサノード 102を含む多くのルータ 118とメッシュリンクにまたがる可能性がある。図10に示されるように、フレー ム 300の第１セグメント1002は宛先プロセッサノード 102に到着し第２〜第６セ グメント1002はルート内の異なるルータ 118及びメッシュリンク 120にある。発 信元プロセッサノード 102は第７セグメント1002をまだ送っていない。バーチャ ルカットスルールーチングの待ち時間は代表的には中間のルータ 118におけるバ ッファリングを含んでいない。これに対して、蓄積交換ルーチングではメッセー ジ全体が転送の前に蓄積される。このようなルーチングでは待ち時間はバッファ リングを含んでいる。 図11を参照すると、リライアブルパケットムーバ 114を表わすブロック図が示 され、それは送信回路1102と受信回路1104を含んでいる。各リライアブルパケッ トムーバ 114は送信回路1102と受信回路1104の双方を含んでいるが、明確化のた め、１つの送信回路1102と１つの受信回路1104のみが示されている。送信回路11 02は失われたかまたは破壊されたデータの再送の制御のために送信パケットバッ ファ1106、 RPM送信コントローラ1108、パートナインフォメーションテーブル11 10及びタイムアウト回路1112を含んでいる。送信パケットバッファ1106は送信さ れたがアクノリッジされていないパケット 302を格納する。送信パケットバッフ ァ1106はソフトウェアで実現されるシステムにおけるよりもサイズが小さい。そ の理由は、バーチャルカットスルールーチングとの組み合わせにおいてシステム 100の待ち時間を小さくすればパケット 302の受信順序の誤りが少なくなりもし 送信パケットバッファ1106が一杯になったら相互接続サービスマネージャ層 202 がパケット 302を保持するからである。パートナ情報テーブル1110は各宛先プロ セッサノード 102について送る予定でありその宛先プロセッサノード 102からア クノリッジされる予定である次のパケット 302の通し番号を格納する。 RPM送信 コントローラ1108は送信回路1102の動作を制御する。タイムアウト回路1112は失 なわれたかまたは破壊されたデータの再送の制御のための時間カウントを提供す る。 受信回路1104はペンディングパケットバッファ1114、 RPM受信コントローラ11 16、及びパートナ情報テーブル1118を含んでいる。ペンディングパケットバッフ ァ1114は誤った順序で受信されたパケット 302を格納する。ペンディングパケッ トバッファ1114はソフトウェアで実現されたシステムにおけるよりもサイズが小 さい。その理由はシステム 100の待ち時間が小さいのでパケット 302を誤った順 序で受信することがより少ないからである。 RPM受信コントローラ1116は受信回 路1104の動作を制御する。パートナ情報テーブル1118は各発信元プロセッサノー ド 102についてその発信元プロセッサノード 102からの次に期待されるパケット 302の通し番号を格納する。 リライアブルパケットムーバ 114はパケット 302の通し番号を含むパケットヘ ッダ 306を生成する。通し番号は宛先プロセッサノード 102にパケット 302の順 序を知らせるために使われる。宛先ノードは順番にパケット 302を処理するのみ である。正しい順序のパケットを受信したら宛先プロセッサノードは発信元プロ セッサノードへパケット 302の受信を知らせるアクノリッジメントを発信元プロ セッサノードに送り返す。発信元プロセッサノード 102が所定の時間内にアクノ リッジメントを受け取らないならば発信元プロセッサノード 102は同じ通し番号 を使ってパケット 302を再送する。 図12ａを参照すると、リライアブルパケットムーバ 114の送信回路1102の動作 を表わすフローチャートが示されている。データを送信するために、コヒーレン ス制御ユニット 110はデータと宛先プロセッサノード 102の識別子をリライアブ ルパケットムーバ 114へ供 給し、それはデータをパケット 302に変換して各パケット 302に通し番号を割り 当てる。各送信パケット 302は発信元プロセッサノード 102において送信パケッ トバッファ1106に格納される。もし1201それが容量を持っていたら、送信パケッ トバッファ1106はデータを受け入れ、リライアブルパケットムーバ 114はパケッ ト 302を送信する。もしそうでなければ、相互接続サービスマネージャ層 202は パケット 302の送出を停止して待つ。 リライアブルパケットムーバ 114がパケット 302を送るとき、送信回路1102は 宛先プロセッサノード 102に対応するパートナ情報テーブル1110から通し番号を 取得する1202。送信回路1102は取得した通し番号をパケット 302のパケットヘッ ダ 306に付加し1206エラー検出を行なう1207。送信回路1102は前述のように送信 するためにパケット 302をファストフレームムーバ 116へ送る1208。送信回路11 02はまたパケットが受信されたとのアクノリッジメントが受信されるまで、パケ ット 302をそのパケット 302のためのセットされていないマークビットとともに 送信パケットバッファ1106に格納する1210。パートナ情報テーブル1110の通し番 号は次のパケット 302の送信のためにインクリメントされる1204。通し番号は有 限であるからそれらは結局巡回する。従って、通し番号の領域は同じ通し番号の パケット 302がシステム 100内に同時にないように充分に大きい。 図12ｂを参照すると、パケットが送られた後のリライアブルパケットムーバに よるアクノリッジメントパケットの処理とパケットの再送の動作を表わすフロー チャートが示されている。アクノリッジメントパケットとはパケット 302が受信 されエラー検出を通過したことを示す受信回路1104から発信元プロセッサノード 102への制御パケットである。アクノリッジメントパケットは宛先ノード番号、 受信パケット 302の通し番号及び EDCを含み好適には16バイトであ る。アクノリッジメントパケットは発信元宛先ノード 102へ送られるべき他のパ ケット 302に付加されても良い。これにより相互接続 104におけるトラヒックが 軽減される。アクノリッジメントパケッ自身はアクノリッジされずそれ自身の通 し番号を含まない。アクノリッジメントパケット内の通し番号はすべての先行す るパケット、すなわちアクノリッジメント内の通し番号または前に指摘した巡回 を考慮して調整したものよりも小さい通し番号をもつすべてのパケットを暗黙的 にアクノリッジしている。このことは受信回路1104がパケット 302のアクノリッ ジメントを出し遅れることを許し２以上のパケット 302をアクノリッジするため に１つのアクノリッジメントパケットを使うことによりアクノリッジメントパケ ットのトラヒックが減少する。 送信回路1102はアクノリッジメントパケットが受信されたかを決定する1212。 もしそうであれば送信回路1102は送信パケットバッファ1106から受信されたアク ノリッジメントに対応するパケット 302を削除する1214。この削除には発信元− 宛先プロセッサノード 102の対に対する送信パケットバッファ1106内のすべての 先行するパケット 302が含まれている。これらのパケット 302はアクノリッジメ ントパケット内の通し番号或いは巡回を考慮して適切に調節された通し番号より も小さいか等しい通し番号を有している。 アクノリッジメントパケットが所定のタイムアウト期間内に受信されないなら ばパケット 302は再送される。特に、アクノリッジメントパケットが受信されな いならば1212、送信回路1102はタイムアウト回路1112がタイムアウトしたかを決 定する1216。もしそうでなければ、送信回路1102はアクノリッジメントが受信さ れるかの決定1212を続行する。 一方、タイムアウト回路1112がタイムアウトしたならば、送信回 路1102は送信パケットバッファ1106に格納された各パケット 302をチェックして 1218そのパケット 302にマークビットがセットされているか決定する。ビットが セットされていなければ、送信回路1102はそのパケット 302にマークビットをセ ットする1220。このことはパケット 302が再送される前に１ないし２回のタイム アウト期間を許すものである。マークビットがセットされている1218パケット 3 02については、送信回路1102は送信パケットバッファ1106からパケット 302を取 り出し1222そのパケット 302を再送信する1224。相互接続 104に欠陥があるかを 決めるために、制限されたまたは最大数の再送信が行なわれる。より特定すれば 、送信回路1102はパケット 302が所定の回数だけ再送されたかを決める1225。も しそうであれば、送信回路1102は相互接続サービスマネージャ層 202にその再送 の回数を知らせ1227、層 202は発信元−宛先ノードの対の間でパケット 302のル ートを再設定する。再送回数が最大に達していなければ、最後のパケット 302に 達したら1226、送信回路1102は前述のようなアクノリッジメントパケットが受信 されるかの決定1212を続行する。 図13を参照すると、リライアブルパケットムーバ 114の受信回路1104の動作を 表わすフローチャートが示されている。リライアブルパケットムーバ 114の受信 回路1104はパケット 302を相互接続サービスマネージャ層 202へ通し番号の順序 で供給する。受信回路1104は相互接続 104からパケット 302を受け取る1302。ペ ンディングパケットバッファ1114が満杯であれば、受信回路1104はパケット 302 を廃棄する。或いは、受信回路1104がペンディングパケットバッファ1114に格納 された最後のパケット 302を廃棄するようにしても良い。これは処理量のための もので正確さのためのものではないから、勿論他のパケットをペンディングパケ ットバッファ1114から廃棄 するようにしても良い。受信回路1104はパケット 302についてエラー検出を行な う1316。パケット 302がエラー検出で失敗すれば1318、パケット 302は廃棄され 1310、受信回路1104はパケット 302の受信1302を続行する。一方、パケット 302 がエラー検出で失敗しなければ1318、受信回路1104はパケットヘッダ306から通 し番号と発信元ノード番号を抽出する1304。受信回路1104はパートナ情報テーブ ル1118から発信元プロセッサノードについての次に期待される通し番号を読み出 し1306、次に期待される通し番号を抽出された通し番号と比較する1308。抽出さ れた通し番号が期待される通し番号よりも小さければそのパケット 302は既に受 信回路1104で処理されており重複している。ここでも通し番号の巡回が適切に考 慮される。そのパケット 302は廃棄され1310、受信回路1104はパケット 302の受 信1302を続行する。 抽出された通し番号が期待された通し番号よりも小さくなければ、受信回路は 抽出された通し番号が期待された通し番号に等しいかを決める1312。一致がなけ れば受信されたパケット 302は正しい順序でない。受信回路1104はパケット 302 をペンディングパケットバッファ1114に格納し1314、受信回路1104はパケット 3 02の受信1302を続行する。 一方、次に期待される通し番号が抽出された通し番号に一致すると1312、受信 回路1104は相互接続 104へアクノリッジメントを供給する1320。受信したパケッ ト 302は期待したパケット 302であるから、受信回路1104は対応する発信元プロ セッサについてのパートナ情報テーブル1118をインクリメントする1322。受信回 路1104は順番における次のパケット 302についてのペンディングパケットバッフ ァ1114を処理しチェックする1326ためにパケット 302を相互接続サービスマネー ジャ層 202へ供給する1324。 図14を参照すると、ペンディングバッファ1114をチェックする1326動作を表わ すフローチャートが示されている。受信回路1104は順番において次のパケット 3 02についてペンディングパケットバッファ1114をチェックする1402。次の期待さ れたパケット 302がペンディングバッファ1114にあれば、受信回路1104はアクノ リッジメントを送り1104通し番号をインクリメントする1406。受信回路1104は相 互接続サービスマネージャ層 202へそのパケット 302を供給する1408。受信回路 1104は次に期待されるパケット 302についてそのようなパケットがみつからなく なるまでペンディングパケットバッファ1114のチェックを続行する。受信回路11 04は受信されたパケット 302について監視1302（図13）を続行する。 上記の記述は好適な実施例の動作の説明のためのものであり、本発明の範囲を 限定することを意味するものではない。上記の議論から、当業者にとって本発明 の精神と範囲に含まれる多くの変形が明らかである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 シミズ，タケシ アメリカ合衆国，カリフォルニア 95117, サンホセ，サン トーマス アキノ ロー ド ＃214 1255 (72)発明者 ウェバー，ウルフ−ディートリッヒ アメリカ合衆国，カリフォルニア 94020, ラホンダ，ボックス 411，スター ルー ト ２ (72)発明者 ウィルク，ウィンフリード ダブリュ. アメリカ合衆国，カリフォルニア 95120, サンホセ，カッパー ピーク レーン 1285

Claims (1)

1. 【特許請求の範囲】 １．複数のノードを具備するマルチノードシステムであって、各ノードはパケ ットムーバとフレームムーバを含み、パケットムーバはフレームムーバへパケッ トを供給し、他のパケットムーバの１つからのパケットの受信に応答してアクノ リッジメントを供給し、予め定められた時間内に他のパケットムーバの１つから アクノリッジメントが受信されないならばパケットをフレームムーバへ再送し、 各パケットは宛先ノードを指示し、フレームムーバはパケットをフレームに変換 し、宛先ノードまでのルートを生成し、フレームに欠陥があればフレームを廃棄 し、フレームは該ルートを含む、マルチノードシステム。 ２．少なくとも１つのルータをさらに具備し、複数のノードの各々は該少なく とも１つのルータに結合される請求項１のマルチノードシステム。 ３．各パケットは通し番号を含み、パケットムーバは他のノードの各々のパケ ットムーバから受信される次に期待されるパケットに対する通し番号のテーブル を含み、次に期待されるパケットの通し番号ではない通し番号を有し以前には受 信されていないパケットを格納するためのバッファを含み、複数のノードの１つ から受信したパケットの通し番号を複数のノードの該１つに対応するテーブル内 の通し番号と比較して該通し番号が該次に期待されるパケットの通し番号でなく 以前に受信され格納されたものでなければ受信したパケットをバッファに格納し 、該通し番号が該次に期待されるパケットの通し番号であれば受信したパケット を処理して該通し番号をインクリメントし、インクリメントされた通し番号がバ ッファに格納されているパケットの通し番号に一致すれば該パケットを取り除い て処理するためのコントローラを含む請求項２のマルチノードシステム。 ４．複数のルータと、 該複数のルータに結合された複数のノードであって、各ノードは宛先ノードへ の予め選択されたルートを選択し、該予め選択されたルートを含むフレームを生 成し、宛先ノードへの伝達のために該複数のルータへ該フレームを供給するため のフレームムーバを含み、該ルートはフレームをそれらの間に伝えるために複数 のルータのいくつかの連鎖を含むものを具備するシステム。 ５．フレームムーバは宛先ノードへの複数の予め選択されたルートを格納する ためのルーチングテーブルを含み、フレーム内に含めるために該複数の予め選択 されたルートの１つを選択するためのコントローラを含む請求項４のシステム。 ６．コントローラは前記複数の予め選択されたルートの確率分布に従ってフレ ーム内に含めるために該複数の予め選択されたルートの前記１つを選択する請求 項４のシステム。 ７．識別子を有するパケットを送出し、 パケットを格納し、 アクノリッジメント内の識別子を各格納されたパケットの識別子と比較し、 アクノリッジメント内の識別子が格納されたパケットの識別子と一致すれば格 納されたパケットを取り除き、 予め定められた時間の後に格納されたパケットを再送するステップを具備する 方法。 ８．識別子は通し番号であり格納されたパケットを取り除くステップはアクノ リッジメントの識別子よりも小さいか等しい識別子を有する格納されたパケット を取り除くステップを含む請求項７の方 法。 ９．格納されたパケットを再送するステップは セットされたマークビットを有する各格納されたパケットを再送し、 セットされたマークビットを有しない各格納されたパケットのマークビットを セットするステップを含む請求項７の方法。