JP7455137B2 - プロセッサコア間での改善されたデータ転送のための方法および装置 - Google Patents

Description

本出願は、プロセッサコア間での改善されたデータ転送のための方法および装置に関する。

関連特許の相互参照
本出願は、「Ｄａｔａ Ｔｒａｎｓｆｅｒ Ｂｅｔｗｅｅｎ Ｔｈｅ Ｃｏｒｅｓ Ｉｎ Ａ Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ」と題された、２０１８年１２月１２日に出願された米国仮特許出願第６２／７７８，３５４号明細書の優先権を主張し、その全体が参照により本明細書に組み込まれている。開示されているシステムおよび動作方法は、以下の特許において開示されている主題にも関連し、以下の特許は、それらの全体が参照により本明細書に組み込まれている：（１）Ｃｏｋｅ Ｓ．Ｒｅｅｄを発明者として指定する、「Ａ Ｍｕｌｔｉｐｌｅ Ｌｅｖｅｌ Ｍｉｎｉｍｕｍ Ｌｏｇｉｃ Ｎｅｔｗｏｒｋ」と題された米国特許第５，９９６，０２０号明細書、（２）Ｊｏｈｎ Ｈｅｓｓｅを発明者として指定する、「Ａ Ｓｃａｌａｂｌｅ Ｌｏｗ Ｌａｔｅｎｃｙ Ｓｗｉｔｃｈ ｆｏｒ Ｕｓａｇｅ ｉｎ ａｎ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｓｔｒｕｃｔｕｒｅ」と題された米国特許第６，２８９，０２１号明細書、（３）Ｊｏｈｎ Ｈｅｓｓｅを発明者として指定する、「Ｍｕｌｔｉｐｌｅ Ｐａｔｈ Ｗｏｒｍｈｏｌｅ Ｉｎｔｅｒｃｏｎｎｅｃｔ」と題された米国特許第６，７５４，２０７号明細書、Ｃｏｋｅ Ｓ．ＲｅｅｄおよびＤａｖｉｓ Ｍｕｒｐｈｙを発明者として指定する、「Ｐａｒａｌｌｅｌ Ｄａｔａ Ｓｗｉｔｃｈ」と題された米国特許第９，９５４，７９７号明細書。

大規模なコンピューティングおよび通信システムの構成要素は、相互接続線によって接続されたスイッチチップの接続構造を用いて構成され得る。スイッチチップポート数を増加させることは、チップ間ホップの数を減少させ、より低いレイテンシ、および、より低いコストにつながる。これらのシステムにおいて必要とされるものは、ポート数が大きく、短いパケットを取り扱うことも可能なスイッチチップである。

今日のマルチコアプロセッサにおいて、データは、メッシュを使用してコア間で転送される。コアは、メッシュ構造に配置されたタイルである。これらの技法は、チップ上でコア同士を接続する際に使用されてきたが、第１のプロセッサ上のコアから第２のプロセッサ上のコアへデータを転送する際に効果的ではない。メッシュ構造に起因する困難さに加えて、チップ間でデータを搬送するクロスバースイッチを通過する長いパケットの使用は、マルチチップ用途においてさらなる困難さをもたらす。長いパケットは、低い帯域幅、高いレイテンシ、限定されたスケーラビリティ、および高い輻輳を引き起こす。ここで特許請求される本発明の目的は、プロセッサコンピューティングコア間で情報を交換するための高帯域幅かつ低レイテンシの方法および装置を提供することである。これは、Ｄａｔａ Ｖｏｒｔｅｘ(登録商標)スイッチと処理コアのアレイとを同じチップ上に搭載することによって達成される。

相互接続装置の実施形態は、高いクロックレートでも改善された信号完全性、増加された帯域幅、および、より低いレイテンシを可能にする。コアアレイのための相互接続装置において、送信側処理コアは、そのヘッダが受信側コアのロケーションを示し、そのペイロードが送信ターゲットのデータであるパケットを形成することによって、受信側コアへデータを送ることができる。パケットは、本明細書において、および本明細書に組み込まれている特許において説明されるＤａｔａ Ｖｏｒｔｅｘスイッチへ。Ｄａｔａ Ｖｏｒｔｅｘスイッチは、処理コアのアレイと同じチップ上にあり、受信側処理コアを含む処理コアアレイへパケットをルーティングすることによって、まず、受信側コアへパケットをルーティングする。Ｄａｔａ Ｖｏｒｔｅｘスイッチは、次いで、プロセッサコアアレイ内の受信側プロセッサコアへパケットをルーティングする。Ｄａｔａ Ｖｏｒｔｅｘスイッチはクロスバースイッチではないので、パケットの異なるグループがスイッチに入る際に、Ｄａｔａ Ｖｏｒｔｅｘスイッチをグローバルに設定およびリセットする必要はない。Ｄａｔａ Ｖｏｒｔｅｘスイッチを処理コアのアレイと同じチップ上に搭載することは、必要とされる電力を低減し、レイテンシを低減する。

装置と動作の方法との両方に関する本発明の実施形態は、以下の説明および添付の図面を参照することによって、最もよく理解され得る。
複数のサブパケットフリットを含むパケットのフォーマットの実施形態を例示するデータ構造図である。 ノードアレイと、接続線と、ＦＩＦＯとを含む、参照されている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書の実施形態において説明されているスイッチのハイレベル図を描いた概略ブロック図である。 ノードアレイ相互接続を含む、本明細書において開示されているシステムの実施形態におけるスイッチのハイレベル図を示す概略ブロック図である。 参照されている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において説明されているような、単純なスイッチノードのペアを例示する概略ブロック図である。 参照されている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において説明されているスイッチの「フラットレイテンシ」または「ダブルダウン」バージョンにおいて説明されているような、ノードの接続されたペアを示す概略ブロック図である。 １ティック遅延論理素子と、１ティック遅延ＦＩＦＯ素子と、バスを組み合わせるための多重化デバイスとを含む、開示されているシステム（ＬＤＭモジュールと本明細書において称される）の実施形態におけるノードのためのビルディングブロックを描いた概略ブロック図である。 開示されているシステムの実施形態による、４つの相互接続されたＬＤＭモジュールを示すブロック図である。 開示されているシステムの実施形態において使用されるスイッチングノードを例示するブロック図である。 開示されているシステムのスイッチングノードの実施形態において論理素子へ送られる制御信号の送信元およびタイミングを示すブロック図である。 本明細書において開示されているシステムの実施形態のスイッチングノードの論理素子において使用される制御レジスタを例示するブロック図である。 様々なレベルの相互接続構造上のノードの相互接続を例示する概略的なブロック図である。 様々なレベルの相互接続構造上のノードの相互接続を例示する概略的なブロック図である。 様々なレベルの相互接続構造上のノードの相互接続を例示する概略的なブロック図である。 説明されている相互接続構造におけるメッセージ通信のタイミングを例示するタイミング図である。 ヘッダとペイロードとを含むメッセージパケットのフォーマットを例示する図示表現である。 ２つの構成要素を含むチップのブロック図である。第１の構成要素は、Ｄａｔａ Ｖｏｒｔｅｘスイッチであり、第２の構成要素は、処理コアのアレイである。Ｄａｔａ Ｖｏｒｔｅｘスイッチは、データパケットを受信し、それらをコアアレイ内の適当なコアへルーティングする。 図１２のチップと、処理コアのアレイ内のコアからＤａｔａ Ｖｏｒｔｅｘスイッチへパケットを転送する接続とから成る図である。これは、処理コアのアレイ内の第１の処理コアが、処理コアのアレイ内の第２の処理コアへデータを送るためのメカニズムを提供する。 各々がＤａｔａ Ｖｏｒｔｅｘスイッチと処理コアのアレイとを同じチップ上に有する、４プロセッサコアアレイを示す図である。各プロセッサコアアレイからのパケットの転送は、マスタＤａｔａ Ｖｏｒｔｅｘスイッチを通じて指示される。

本明細書において開示されるデバイス、システム、および方法は、多数のオブジェクト、例えば、ルータ内のラインカード、パラレルコンピュータ内のネットワークインターフェースカード、または他の通信システムおよびデバイスを接続する際に非常に効果的なネットワーク相互接続システムを説明する。説明されるネットワーク相互接続システムは、非常に低いレイテンシだけでなく、非常に高い帯域も有する。

コンピューティングおよび通信システムは、ポート数が多く、短いパケットを取り扱うことも可能なスイッチチップを用いて構成される場合に、最も高い性能を実現する。組み込まれている米国特許第５，９９６，０２０号明細書および第６，２８９，０２１号明細書において説明されているＤａｔａ Ｖｏｒｔｅｘスイッチチップは、ポート数が非常に多く、短いメッセージパケットを送信する能力を有する。

本明細書において開示されているシステムおよび方法は、以下の２つの基本的な改善点を含む、複数の向上点うちの１つまたは複数によって実現される、組み込まれている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書に対するいくつかの改善点を含む：１）ノード間のパラレルデータ線において、発明者らによって、帯域幅が増加され、最初のビットインから最後のビットアウトまでのレイテンシが低減され、２）各レベルにおいて１ビット長のパラレルＦＩＦＯを含むスイッチを通じてデータパスをセットアップするロジックによって、帯域幅はさらに増加され、レイテンシはさらに低減され、組み込まれている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において可能であったよりもはるかに高速のクロックの使用を可能にする。

組み込まれている米国特許第６，２８９，０２１号明細書は、チップ上に配置されるのに適切なスイッチを説明している。そのシステムにおいて、（パケットの形態の）データは、１ビット幅のデータパスをワームホール様式でスイッチを通過する。パケットは、ヘッダとペイロードとを含む。ヘッダの第１のビットは、メッセージの存在を示す状態ビット（ほとんどの実施形態において１の値に設定される）である。単純な構成において、残りのヘッダビットは、ターゲット出力ポートのバイナリアドレスを表す。スイッチのトポロジーは、リングの豊富に接続されたセットを含む。（２^N×２^N）スイッチは、異なるレベルでのリング間の接続を有する、（Ｎ＋１）レベルに配置されたリングを含む。パケットは、レベルＮにおいてスイッチに入り、レベル０においてスイッチを出る。レベルＮでスイッチに入るメッセージパケットのヘッダは、１つの状態ビットと、Ｎ個のターゲットアドレスビットとを有する。レベルＮのノードにおけるロジックは、１）状態ビット、２）ヘッダ内のアドレスの第１のビット、３）レベルＮ－１のノードから送られる制御信号、および４）（基本的な実施形態において）レベルＮのノードからの制御信号に基づいてルーティング決定を行う。ヘッダ内のアドレスの第１のビットは、レベルＮのロジックによって使用される。レベルＮノードのロジックが、レベルＮ－１のノードへパケットを向かわせる場合、アドレスの第１のビットは廃棄される。これは、いくつかの理由で行われる。１）第１のアドレスビットは、より低いレベルでの決定をルーティングするために必要とされない。２）このビットの廃棄は、レベルＮ－１のメッセージパケットがレベルＮのパケットよりも前に進むことを可能にし、その結果、次に来るパケットに基づいて、Ｎ－１レベルノードは、レベルＮノードへ制御信号を送ることができ、したがって、レベルＮ－１ノードがレベルＮトラフィックを指揮することを可能にする。３）第１のヘッダビットの廃棄は、残りのヘッダビットの最上位ビットがレベルＮ－１でパケットをルーティングするために必要なビットであることを保証する。このプロセスは、レベルＫのパケットが１つの状態ビットと後続するＫ個のアドレスビットとを有するように、スイッチの全体にわたって続く。

この設計の結果は、レベル間を直接カットするデータパスが確立され得ることである。システムのタイミングは、同じリング上の２つのロジックノード間を状態ビットが移動するためには２つのクロックティックが必要とされるが、異なるレベルの２つのノード（レベルＫリングのノードは、レベルＫノードと称される）間を状態ビットが移動するためには１つのティックのみが必要とされる、というものである。したがって、スイッチを通るパケットのパスが、Ｎ個の下方へのステップ（異なるレベルのリング間のステップ）および与えられたレベルにおけるリング上の２つのノード間のＪ個のステップを含む場合、第１のペイロードビットが出力レベル０に到達する前に、（Ｎ＋２Ｊ＋１）個のティックが必要とされる。状態ビットがレベル０にある場合１ビットＦＩＦＯ遅延素子の各々において１つのデータビットがある状態で、２Ｊ個の１ティック遅延が、異なるレベルに存在する。異なるレベルにおけるノード上で複数のトランジスタを通じて情報を通過させることは、システムのクロックレートを必然的に限定する。実際に、パケットが各ステップを伝わる場合、第１のペイロードビットがレベルＮ、すなわち、トップエントリーレベルにある間に、状態ビットはレベルＯに到達する。

対照的に、本明細書において説明されるシステムの場合、パケットの各ビットは、各レベルで少なくとも１つの単一ティックＦＩＦＯを通過し、有利には、各ノードにおいて信号が再構築されることを可能にし、本明細書において説明されているシステムが、組み込まれている米国特許第６，２８９，０２１号明細書において説明されているシステムよりも高いクロックレートで動作することを可能にする。

組み込まれている米国特許第５，９９６，０２０号明細書、第６，２８９，０２１号明細書、および第６，７５４，２０７号明細書において説明されているスイッチングシステムは、高い帯域幅と共に低いレイテンシを提供し、短いパケットもサポートする。組み込まれている米国特許第５，９９６，０２０号明細書、第６，２８９，０２１号明細書、および第６，７５４，２０７号明細書におけるスイッチのトポロジーは、リングの豊富に相互接続されたセットを含む。図２Ａは、組み込まれている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において説明されているスイッチの実施形態のハイレベルブロック図である。図２Ａに例示される構造全体が、単一のチップ上に収まる。相互接続線２１０、２１２、２１４、２１６および２１８は、ビットシリアルである。パケットが単一のリングに収まるという仕様は、ＦＩＦＯ素子２２０の包含を必要とする。パケットがＦＩＦＯ２２０を通過する確率を減少させるために、全てのパケットが、線２０２を通じて単一の入力ノードアレイへ挿入される。図２Ａに例示されるスイッチは、図３Ａに例示される単純なノードを使用して、または、図３Ｂに例示される「ダブルダウン」もしくは「フラットレイテンシ」ノードを使用することによって、構築され得る。

まず、図３Ａに例示される単純なスイッチＵを考慮されたい。米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書のスイッチの動作の１つの態様は、データパケットの第１のビットが、特定のパケットエントリ時間においてのみスイッチノードＵに入ることができるというものである。与えられたパケットエントリ時間Ｔにおいては、１つ以上のパケットがスイッチノードＵに入ることができない。これが当てはまるのは、組み込まれている米国特許第５，９９６，０２０号明細書、第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において説明されている制御線の新規な使用が理由である。

レベルＮ－Ｋにおける図３ＡのスイッチノードＵごとに、Ｋ長のポリビットＰＢＵ＝（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1）があり、それにより、Ｕに入る各パケットＰＫは、そのバイナリ表現がリーディングビット（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1）を有するターゲット送信先を有する。線３０６を通ってスイッチノードＵを出る各パケットは、そのバイナリ表現がリーディングビット（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1，１）を有するターゲット送信先を有する。次に、Ｌに入る各パケットＰＫが、ポリビットＰＢ_L＝ＰＢ_Uを有し、その結果、Ｌに入る各パケットＰＫが、そのバイナリ表現がリーディングビット（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1）を有するターゲット送信先を有するような、レベルＫのスイッチノードＬを考慮されたい。線３１６を通ってスイッチノードＬを出る各パケットは、そのバイナリ表現がリーディングビット（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1，０）を有するターゲット送信先を有する。

パケットＰＫがＵに入り、ＰＫのターゲットアドレスがリーディングビット（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1，１）を有し、制御線３１０が非使用状態を示す場合、ＰＫは、線３０６を通ってＵを出ることになる。そうでない場合、ＰＫは、線３０４を通ってＵを出るはずである。パケットＰＫがＬに入り、ＰＫのターゲットアドレスがリーディングビット（ｂｏ，ｂ，，ｂｚ，．．．，ｂ_K-1，０）を有し、制御線３２０が非使用状態を示す場合、ＰＫは、線３１６を通ってＬを出ることになる。そうでない場合、ＰＫは、線３１４を通ってＬを出るはずである。

図３Ｂに例示される「ダブルダウン」スイッチ３８０は、付加的なロジックと、相互接続線３４２および３４４とを使用して、ノードＵとノードＬとを組み合わせる。ダブルダウンスイッチＤＤ３８０は、レベルＮ－ＫでスイッチＤＤに入る各パケットが、そのターゲットアドレスがＫ個のリーディングビットＰＢ_DD＝（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1）を有するように配置される。スイッチＤＤは、線３２６を通ってＤＤのノードＵを出る各パケットが、リーディングビット（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1，１）を有するターゲットアドレスを有し、線３３６を通ってＤＤのノードＬを出る各パケットが、リーディングビット（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1，１）を有するターゲットアドレスを有するように、ネットワーク内に配置される。

パケットＰＫＴがノードＵに入る場合、スイッチＤＤは、以下のように動作する。
１）パケットＰＫＴが、線３２８を通ってＤＤのノードＵに入り、ＰＫＴのターゲットのリーディングアドレスビットが（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1，１）である場合、ａ）線３３０上にビジー信号がないとき、Ｕのロジックは、パケットＰＫＴを線３２６に向かわせ、または、ｂ）線３３０上にビジー信号があるとき、Ｕのロジックは、線３２４を通ってネットワーク内の別のダブルダウンスイッチへパケットＰＫＴを向かわせる。いずれの場合にも、Ｕのロジックは、線３２６が使用中であることを示すために、ノードＬへ線３４４上でビジー信号を送る。
２）パケットＰＫＴが、線３２８を通ってＤＤのノードＵに入り、ＰＫＴのターゲットのリーディングアドレスビットが、（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1，０）である場合、ａ）線３４４上にビジー信号がないとき、Ｕのロジックは、線３４２を通ってパケットＰＫＴをノードＬへ向かわせ、その結果、Ｌのロジックは、ＰＫＴを線３３６へ送ることができ、または、ｂ）線３４４上にビジー信号があるとき、Ｕのロジックは、線３２４を通ってネットワーク内の別のダブルダウンスイッチへパケットＰＫＴを向かわせる。線３３０上にビジー信号がある場合のみ、線３２６が使用中であることを示すために、Ｕのロジックは、線３４４上でノードＬへビジー信号を送る。

ノードＬに入るパケットは、同様に振る舞う。したがって、パケットＰＫＴが、スイッチＤＤのノードＬに入る場合、イベントの以下のセットが発生する。
１）パケットＰＫＴが、線３３８を通ってＤＤのノードＬに入り、リードが、ＰＫＴのターゲットのリーディングアドレスビットが（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1，０）である場合、ａ）線３４８上にビジー信号がないとき、Ｌのロジックは、パケットＰＫＴを線３３６へ向かわせ、または、ｂ）線３４８上にビジー信号があるとき、Ｌのロジックは、線３３４を通ってネットワーク内の別のダブルダウンスイッチへパケットＰＫＴを向かわせる。いずれの場合にも、Ｌのロジックは、線３３６が使用中であることを示すために、ノードＵへ線３４４上でビジー信号を送る。
２）パケットＰＫＴが、線３３８を通ってＤＤのノードＬに入り、ＰＫＴのターゲットのリーディングアドレスビットが（ｂ₀，ｂ₁，ｂ₂，．．．，ｂ_K-1，１）である場合、ａ）線３４４上にビジー信号がないとき、Ｌのロジックは、線３４２を通ってパケットＰＫＴをノードＵへ向かわせ、その結果、Ｕのロジックは、ＰＫＴを線３２６へ送ることができ、または、ｂ）線３４４上にビジー信号があるとき、Ｌのロジックは、線３３４を通ってネットワーク内の別のダブルダウンスイッチへパケットＰＫＴを向かわせる。線３４８上にビジー信号がある場合のみ、線３３６が使用中であることを示すために、Ｌのロジックは、ノードＵへ線３４４上でビジー信号を送る。

ここで開示されているシステムにおいて説明されているスイッチングシステムは、組み込まれている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において説明されているスイッチングシステムに対する重要な改善点を表す。主な改善点は、以下を含む。
１）組み込まれている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において構築されるシステムにおいて可能であったよりも高い帯域幅を可能にする、システムを通じたパラレルデータパスの追加、
２）各ロジックノードにおいてＦＩＦＯを有するデータパスの生成を同時に可能にし、ＦＩＦＯが高いクロックレートを使用する能力を含むという利点を有する、変形されたタイミングシステム、３）異なるレベルのノード間でパケットフリットが移動するために１つのティックのみを採用し、同じレベルのノード間でパケットフリットが移動するために２つのティックを採用するタイミングシステム。有利には、図２ＡのＦＩＦＯ線２１４が除去される。

図１は、パケットのレイアウトを例示する。パケットは、フリットと称されるＱ個のサブパケットに分解される。フリットの各々は、Ｒ個のビットを有する。フリットは、Ｒ幅のバスを通って進むように設計される。第１のフリットＦ₀ １０２は、ヘッダフリットである。それは、状態ビットＨ₀と、Ｎ個のルーティングビットＨ₁、Ｈ₂、．．．、Ｈ_Nと、他の情報、例えば誤り訂正ビットまたはＱＯＳを搬送するために使用され得る付加的なビット（図１では０に設定される）とから成る。状態ビットＨ₀は、パケットの存在を示すために、１に設定される。Ｎ個のルーティングビットは、ターゲットのバイナリアドレスを表す。したがって、Ｎ個のルーティングビットを有するスイッチが、基数２^Nのスイッチにおいて使用される。レベルＫのロジックＬは、制御ビットと共にビットＨ_Kを使用して、Ｆ₀をルーティングする。

図２Ａは、組み込まれている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において提示されているスイッチのハイレベルブロック図を表す。図２Ｂは、全てのヘッダビットが、スイッチを通ってパケットをルーティングするために使用され得る、本特許のスイッチのハイレベルブロック図を表す。参照される米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において、ならびに本開示においても、ノードアレイは、行と列とに配置される。基数２^NスイッチにおけるノードアレイＮＡ（Ｕ、Ｖ）は、列ＶにおいてレベルＵに２^N個のスイッチングノードを含む。米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において、ならびに本システムにおいても、例示的な実施形態では、基数２^Nのスイッチは、エントリーレベルＮから出口レベル０までに（Ｎ＋１）行（またはレベル）のノードアレイを有する。スイッチは、いくつかの数Ｍ個の列を有する（ただし、列の数は設計パラメータである）。開示されているシステムにおいて導入されるシステムには、重要な新規の改善点がある。開示されているシステムにおいて、ノードアレイ間の線は、特許第６，２８９，０２１号明細書および特許第６，７５４，２０７号明細書において使用される単一ビット幅の線を置換するバスを含む。ノードアレイ内のノードは、より低いレイテンシ、および、より高い帯域幅を可能にする、特有の新しい設計を有する。また、組み込まれている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号において、システムは、パケット全体がレベルＯの与えられたリング上に収まることができるように、十分な長さのＦＩＦＯシフトレジスタ２２０を含む。２つのパケットが、レベル１のリング上に収まることができ、一般的に、２^R個のパケットは、レベルＲのリング上に収まることができる。パラレルバスの幅は、十分な数のアクティブなノードを有することを可能にすることになり、したがって、ノードの行の能動素子にメッセージ全体が収まることを可能にするので、このＦＩＦＯは、本開示の技術を使用して、スイッチにおいて除去されることが可能である。図２Ｂを参照すると、各データ搬送線は、図１に例示されるようなＲ長のサブパケットの長さに等しい幅を有するバスを含むことができる。Ｒ長のサブパケットは、フリットと称され得る。バスはノードを接続し、各ノードは、１ティック論理素子と、後続する１ティック遅延素子と、後続するマルチプレクサ（ＬＤＭモジュール）とを含むモジュールである。２つのフリットが、ＬＤＭモジュールに収まる。したがって、Ｑ個のフリットを含むパケットは、図２Ｂのノードアレイの単一の行上のＱ／２個のＬＤＭモジュール内に収まることができる。１つの例示的な実施形態において、トップレベル（レベルＮ）は、単一のリング上にＬＤＭモジュールを含む。レベルＮ－１のＬＤＭモジュールは、２つのリング上に配置される。ボトムノードアレイは、Ｒ幅のバスによって接続されたＭ個のノードを各リングが含む、２^N個のリングを含む。ノードおよびバスをノードアレイ状に配置することは、リング構造を可能にする。レベル０の各リングは、Ｑ個のフリットから成るパケット全体を保持するのに十分な長さでなければならない。レベル０の各リングは、単一のターゲットアドレスへパケットを配信する。複数の出力ポート２３８は、単一のレベル０リングから接続することができる。単一のリングからのこれらの出力の各々は、データを同じターゲット出力へ配信する。データは、入力バス２２２を通って構造内へ入力される。単純な実施形態において、図示されるように、所与のレベルＷの各ロジックノードは、関連付けられたリング上の次のロジックノードへパケットを転送するために接続され、レベルＷ－１の２つのロジックノードのうちの１つへパケットを転送するようにも配置される。（米国特許第６，２８９，０２１号明細書および第６，７５４，２９７号明細書において図示されるような）本構成において、レベルＷ－１の論理素子は、レベルＷ－１の論理素子へデータを転送するための、レベルＷのロジックノードに対する優先度を有する。本明細書において提示される例示的な例において、各レベルは、同じ数のロジックノードを含む。

組み込まれている米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書の実施形態において、与えられたパケットがＦＩＦＯ２２０に入る確率を最小限にするために、全てのパケットは、ノードアレイＮＡ（Ｎ、０）に入る（ただし、Ｎは、アレイのレベルを表し、０は、ノードアレイのエントリ角度を表す）。ＦＩＦＯ２２０の除去は、本開示の実施形態が複数の角度におけるパケットの挿入を提供することを可能にする。複数の挿入角度は、任意の与えられた角度で挿入されるパケットの数を低減し、それによって、輻輳を低減する。本発明において、パケットの第１のフリットＦ₀は、システム内の異なるノードについては異なる、特定されたエントリ時間においてのみノードに入ることができる。

ここで開示されているスイッチの実施形態は、図３Ｂに例示される接続に対応する接続を有する。したがって、図２Ｂに例示されるような、開示されているシステムのための配線パターントポロジーは、図２Ａに例示され、組み込まれている米国特許第５，９９６，０２０号明細書、第６，２８９，０２１号明細書、および第６，７５４，２０７号明細書において説明されている配線パターントポロジーと同じにすることができる。

図４を参照すると、論理素子４０２と、遅延素子４０４と、多重化素子４０６とを含む、個別のスイッチングモジュール４００のブロック図が示されている。ロジック、遅延およびマルチプレクサ（ｍｕｘ）を備えるモジュールは、ＬＤＭモジュールと称される。ＬＤＭモジュールは、図２Ｂに例示されるノードアレイ内のスイッチングノードの構築に使用される構成要素である。論理素子４０２へのパケット入力のタイミングは、開示されているシステムの高速パラレルスイッチの正確な動作にとって重要である。各論理素子４０２は、パケットのちょうど１つのフリットを保持することが可能である。さらに、各遅延デバイス４０４も、ちょうど１つのパケットフリットを保持することが可能である。時間ステップの終了において、論理素子４０２は、パケットの１つのフリットを含んでもよく、または含まなくてもよい。同様に、時間ステップの終了において、遅延デバイス４０４も、パケットの１つのフリットを含んでもよく、または含まなくてもよい。遅延デバイスが、パケットＰの１つのフリットＦ_Lを含んでおり、Ｆ_Lが、パケットの最後のフリットではない（すなわち、Ｌ＜Ｑ）場合、論理デバイスは、パケットのフリットＦ_L+1を含む。Ｌ≠Ｏであり、かつ、Ｆ_Lが論理ユニットまたは遅延ユニット内にある場合、時間Ｔ_SにおけるフリットＦ_Lのロケーションは、時間Ｔ_S-1におけるフリットＦ_(L-1)のロケーションに等しい。このように、パケットは、スイッチを通ってワームホール様式で進む。

例示的な実施形態において、ＬＤＭモジュールは、パケットのタイミングを同期させるように構成されたロジックと、遅延と、マルチプレクサデバイスとを備える。

図４と共に図５を参照して、ＬＤＭモジュールの基本動作およびタイミングが説明される。論理素子Ｌ₁を備えるＬＤＭモジュールは、ノードアレイＮＡ（Ｗ、Ｚ）内にあり、論理素子Ｌ₂は、ＮＡ（Ｗ、Ｚ＋１）内にあり、Ｌ３は、ＮＡ（Ｗ－１、Ｚ）内にあり、論理素子Ｌ₄は、ＮＡ（Ｗ－１、Ｚ＋１）内にある。

Ｌ₁についての各パケット挿入時間において、論理ユニットＬ₁は、１に設定された状態ビットＨ₀をチェックすることによってフリット到達をチェックする。論理ユニットＬ₁についてのフリット到達時間Ｔ_Sにおいて、Ｈ₀が０に設定されていることをロジックが感知した場合、論理ユニットは、この時間スロット内にパケットが到達しないと識別し、次の第１のフリットパケット到達時間までアクションを起こさない。（クロックまたはカウンタによって識別されるような）Ｌ₁についての第１のフリット到達時間において、論理ユニットが、Ｆ₀における状態ビットスロットＨ₀において１を感知した場合、論理ユニットは、それが有効なパケットＰＫＴの第１のフリットを含んでいると確認し、以下のように進める。
Ａ．１）Ｆ₀のビットＨ_Wに基づいて、パスがＬ４からＰＫＴのターゲット出力まで存在するかどうかをＬ₁が決定し、および、２）Ｌ₁が線４１２を自由に使用することができることをＬ₃からの制御信号が示す場合、Ｌ₁は、時間Ｔ_S+1においてＭ₃を通ってＬ４に到達するようにＰＫＴの第１のフリットＦ₀を送る。
Ｂ．上記条件１）および２）の一方または両方が満たされない場合、Ｌ₁は、ＰＫＴの第１のフリットＦ₀を時間Ｔ_S+1においてＤ₁に到達し、続いて、時間Ｔ_S+2（第１のフリットがＬ₄に到達した後の１つの時間のユニット）においてＬ₂に到達するように、Ｄ₁に送る。

ルーティングビットＨ_Wおよび制御信号の使用の詳細な議論は、図６、図７、および図８の議論に含まれる。同じ列内の異なるレベルの論理ユニットへの第１のフリット到達のタイミングは、スイッチングシステムの適当な動作にとって重要である。第１のフリットは、第１のフリットがＮＡ（Ｗ、Ｚ＋１）内の論理素子に到達する１つの時間ユニット前に、ＮＡ（Ｗ－１、Ｚ＋１）内の論理素子に到達するので、レベルＷ－１で生成される制御信号は、レベルＷのパケットのルーティングを制御するために十分な時間を利用可能である。

パケットＰＫＴの最初のフリットＦ₀が、時間ステップＴ_Sにおいて論理ユニットＬに到達するとすれば、ＰＫＴの次のフリットＦ１は、時間ステップＴ_S+1においてＬに到達することになる。これは、ＰＫＴの最後のフリットＦ_Q-1が時間Ｔ_S+Q-1に論理ユニットＬに到達するまで続く。同様に、パケットＰＫＴの最初のフリットＦ₀の到達が、時間ステップＴ_S+1において遅延ユニットＤに到達するとすれば、ＰＫＴの次のフリットＦ₁は、時間ステップＴ_S+2においてＤに到達することになる。これは、ＰＫＴの最後のフリットＦ_Q-1が時間Ｔ_S+qにＤに到達するまで続く。パケットのフリットが、論理ユニットまたは遅延ユニットに到達するたびに、フリットの信号が再生成される。各ティックにおけるこの信号再生成は、より高いチップクロックレートを可能にする。単純な「シングルダウン」実施形態において、ＬＤＭモジュールは、スイッチにおけるノードとして使用され得る。

図６を参照すると、開示されているシステムの実施形態のスイッチにおいて使用されるスイッチングノードが示されている。スイッチングノードは、２つのＬＤＭモジュール６１０および６２０と、２×２クロスバー６０２とを含む。図６に表されるスイッチングノードは、ノードアレイＮＡ（Ｗ、Ｚ）にあると仮定する。ＬＤＭモジュールには、２つのタイプ、すなわち、１）信号を線６０８へ送ることによってクロスバー６０２を制御することができるタイプａＬＤＭモジュール６２０と、２）クロスバー６０２を制御することができないタイプβモジュール６１０とがある。レベルＷが０またはＮのいずれとも等しくない興味深い場合を想定されたい。タイプａモジュール６２０についてのパケット入力時間のセットは、タイプβモジュール６１０についてのパケット入力時間のセットと等しい。

図７を参照すると、概略ブロック図は、高いクロックレートでも改善された信号完全性、増加された帯域幅、および、より低いレイテンシを可能にする相互接続装置の実施形態を例示している。
例示的な相互接続装置は、複数の論理ユニットと、論理ユニットＬＡ６２４、ＬＣ７２４、およびＬＤ７１０を含む三つ子状に配置されたものと考慮され得る論理ユニットの選択された構成において複数の論理ユニットを結合する複数のバスとを備える。論理ユニットＬＡ６２４およびＬＣ７２４は、論理ユニットＬＤ７１０へデータを送るように配置される。論理ユニットＬＣ７２４は、論理ユニットＬＤ７１０へデータを送るための、論理ユニットＬＡ６２４に対する優先度を有する。サブパケットへ分割されるパケットＰＫＴ、論理ユニットＬＡ６２４におけるパケットＰＫＴのサブパケット、およびターゲットを特定するパケットのいずれかについて、（Ａ）論理ユニットＬＣ７２４は、論理ユニットＬＤ７１０へパケットＰＫＴのサブパケットを送り、論理ユニットＬＡ６２４は、論理ユニットＬＤ７１０へパケットＰＫＴのサブパケットを送らない。（Ｂ）論理ユニットＬＣ７２４は、論理ユニットＬＤ７１０へデータのサブパケットを送らず、論理ユニットＬＡ６２４は、論理ユニットＬＤ７１０へパケットＰＫＴのサブパケットを送るか、または、（Ｃ）論理ユニットＬＣ７２４は、論理ユニットＬＤ７１０へデータのサブパケットを送らず、論理ユニットＬＡ６２４は、論理ユニットＬＤ７１０へパケットＰＫＴのサブパケットを送らない。

例示的な相互接続構造において、論理ユニット、遅延ユニット、およびマルチプレクサユニットは、パケット全体を保持するには不十分なメモリを有して構成されることが可能であり、したがって、バス幅の先入れ先出し（ＦＩＦＯ）バッファのみを有する。したがって、パケットは、バス幅のデータパス上で通信される。

論理ノードは、パケットを再構成しない。パケットＰＫＴの、フリットと呼ばれる第１のサブパケットは、与えられた時間Ｔ₁に論理ノードＬＡに到達する。時間Ｔ₂において、ＰＫＴの第１のフリットは、次の下流の論理ユニットまたは遅延ユニットに到達する。また、時間Ｔ₂において、ＰＫＴの第２のフリットが、論理ユニットＬＡ６２４に到達する。実際には、パケットは、スイッチにおいて再構成されず、それは、一度に１つのフリットずつ離れる。詳細として、Ｒ個のビット（図１を参照）から形成されるフリットは、ワームホール様式でスイッチを通って進み、Ｒ倍の速さで動作する連続的な相互接続に接続されたＳＥＲ－ＤＥＳ（シリアライザ－デシリアライザ）モジュールを通って出る。

１）パスが、論理ユニットＬＤ７１０からＰＫＴについてのターゲット出力ポートまで存在し、かつ、２）論理ユニットＬＤ７１０へ送るための、論理ユニットＬＡ６２４よりも高い優先度を有する論理素子ＬＣによって、論理ユニットＬＡ６２４が論理ユニットＬＤ７１０へ進むことをブロックされないのであれば、論理ユニットＬＡ６２４は、ＰＫＴを論理ユニットＬＤ７１０へ送ることになる。図７を参照すると、論理ユニットＬＣ７２４のみが、論理ユニットＬＤ７１０へ送るための、論理ユニットＬＡ６２４よりも高い優先度を有するのに対して、論理ユニットＬＢおよびＬＥの両方は、論理ユニットＬＦへ送るための、論理ユニットＬＡ６２４よりも高い優先度を有する。例において、ＰＫＴのフリットは、論理ユニットＬＡ６２４にある。論理ユニットＬＡ６２４は、ヘッダ情報および次に来る制御ビットに基づいて、ＰＫＴの第１のフリットをルーティングする。論理ユニットＬＡ６２４は、それが第１のフリットを送ったのと同じ素子へ、ＰＫＴの第２のフリットを送る。いずれの場合にも、論理ユニットＬＡ６２４は、パケットを保持することができず、フリットが時間Ｔ₁に到達した場合、それは時間Ｔ₂において転送される。

相互接続構造は、時間ステップのシーケンスにおいてパケットおよびサブパケットを転送する。パケットＰＫＴのフリットのシーケンスが、瞬間的な動作時間中に論理ユニットＬＡ６２４に入る状態で。したがって、データ通信動作は、瞬時に動作すると考慮され得る。例示的な実施形態において、パケットＰＫＴの第１のフリット、またはサブパケットは、ターゲットまでのスイッチを通ったルーティング情報を含む。

論理ユニットＬＣ７２４は、論理ユニットＬＡ６２４へ送られる制御信号を使用して、論理ユニットＬＤ７１０へパケットを送るための、論理ユニットＬＡ６２４に対する優先度を課す。

論理ユニットは、パケットヘッダ情報に基づいて、および他の論理ユニットからの制御信号にさらに基づいて、パケットをルーティングする。

相互接続構造は、１ティック先入れ先出し（ＦＩＦＯ）バッファをさらに備えることができる。論理ユニットに入るフリット（サブパケット）は、論理ユニットにおいて１ティックＦＩＦＯを通過し、各論理ユニットにおいて信号を再生成する。

いくつかの実施形態において、相互接続構造は、論理ユニットＬＤ７１０を含む複数の論理ユニットへパケットを送るように配置された論理ユニットＬＡ６２４について、ケース１またはケース２のいずれかが成立するように動作することができる。ケース１において、論理ユニットＬＡ６２４は、ＬＤがパケットＰＫＴを受信するのに最も適当な論理ユニットであると決定し、論理ユニットＬＣ７２４が、論理ユニットＬＤ７１０へパケットを送り、論理ユニットＬＡ６２４が、ＬＤとは異なる論理ユニットＬＧへＰＫＴを送る、または、論理ユニットＬＤ７１０へパケットを送るための、論理ユニットＬＡ６２４よりも高い優先度を有する論理ユニットが、論理ユニットＬＤ７１０へパケットを送らず、論理ユニットＬＡ６２４が、論理ユニットＬＤ７１０へパケットＰＫＴを送る、のいずれかである。ケース２において、論理ユニットＬＡ６２４は、論理ユニットＬＤ７１０へパケットＰＫＴを送ることは許容不可能であると決定し、論理ユニットＬＡ６２４は、論理ユニットＬＤ７１０とは異なる論理ユニットＬＧに、または論理ユニットＬＤ７１０とは異なる論理ユニットＬＦ７２０へ、パケットＰＫＴを送る。

時間Ｔ_SにおいてパケットＰＫＴの第１のサブパケットを受信する論理ユニットＬＡ６２４について、論理ユニットＬＡ６２４が、論理ユニットＬＤ７１０へパケットＰＫＴの第１のサブパケットを送る場合、論理ユニットＬＤ７１０は、時間Ｔ_S+1にパケットＰＫＴの第１のサブパケットを受信する。論理ユニットＬＡ６２４が、論理ユニットＬＧへパケットＰＫＴの第１のサブパケットを送る場合、第１のサブパケットは、遅延ユニットＤＡを通過し、時間Ｔ_S+2に論理ユニットＬＧに到達する。論理ユニットＬＣ７２４が、論理ユニットＬＤ７１０へパケットの第１のサブパケットＱＫＴを送り、パケットの第１のサブパケットＱＫＴが、論理ユニットＬＤ７１０へパケットＰＫＴが進むことをブロックする場合、サブパケットＱＫＴは、時間Ｔ_S+1には論理ユニットＬＤ７１０に到達する。

いくつかの実施形態において、論理ユニットＬＤ７１０がパケットＰＫＴを受信するのに最も適当な論理ユニットであると論理ユニットＬＡ６２４が決定した場合、論理ユニットＬＤ７１０は、パケットＰＫＴ内のルーティング情報に基づいて、その決定に達する。論理ユニットＬＤ７１０へパケットＰＫＴを送ることが許容可能ではないと論理ユニットＬＡ６２４が決定した場合、論理ユニットＬＤ７１０は、パケットＰＫＴ内のルーティング情報に基づいて、その決定に達する。

図６および図３Ｂと共に図７を参照して、高速パラレルデータパススイッチングノード６００を管理するデータ線および制御線が説明される。パケットは、レベルＷのまたはレベルＷ＋１の別の論理素子から、線７０４上で論理素子ＬＡに到達する。論理素子ＬＡについての与えられたパケット入力時間Ｔ_Sにおいて、以下の条件のうちのちょうど１つが満たされる。
１）第１のフリットＦ₀が、論理ユニットＬＡに到達しない。
２）ちょうど１つの第１のフリットが、レベルＷの論理素子から論理ユニットＬＡに到達するが、第１のフリットＦ₀は、レベルＷ＋１の論理素子から論理ユニットＬＡに到達しない。
３）ちょうど１つの第１のフリットが、レベルＷ＋１のノードから論理ユニットＬＡに到達するが、第１のフリットＦ₀は、レベルＷのノードから論理ユニットＬＡに到達しない。

同様に、パケットは、レベルＷ＋１の論理素子から、またはレベルＷの論理素子から、論理素子ＬＢに到達する。論理ノードＬＢパケット入力時間Ｔ_Sにおいて、第１のフリットは論理素子ＬＢに到達せず、または、ちょうど１つの第１のフリットが論理素子ＬＢに到達する。重要なことは、パケットＰＫＴの第１のフリットＦ₀が、時間Ｔ_Sにおいて論理素子ＬＡに到達するとすれば、ＰＫＴの次のフリットＦ₁は、時間Ｔ_S+1においてＬに到達し、ＰＫＴの他のフリットが後続し、その結果、ＰＫＴの最後のフリットＦ_Q-1が時間Ｔ_S+Q-1にＬＡに到達する。同様に、ＰＫＴのフリットＦ_C（ただしＣ＜Ｑ）が時間Ｔ_Dにおいて遅延素子ＤＥＬにあるとすれば、ＰＫＴのフリットＦ_c+1は、時間Ｔ_D+1に遅延素子ＤＥＬにある。したがって、各論理素子および各遅延素子において、信号が再構築される。米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書に示されていない、ここで開示されているシステムのこの特徴は、スイッチチップクロックが、米国特許第６，２８９，０２１号明細書および第６，７５４，２０７号明細書において図示されているシステム内のクロックよりも速く動作することを可能にする。

図６と共に図７を継続して参照すると、ノード６００が、Ｎ＋１レベルスイッチのレベルＷにある。ｔｉをＮ－Ｗと定義する。ノード６００に対応して、ノード６００の論理ユニットＬＡまたは論理ユニットＬＢに入る各パケットが、そのリーディングビットがＢＳであるターゲットアドレスを有するように、Δ長のバイナリシーケンスＢＳ＝（ｂ₀，ｂ₁，．．．ｂ_Δ-1）が存在する。パケットＰＫＴがスイッチ内のレベルに下へ移動するごとに、ＰＫＴのターゲットアドレスの付加的なビットが設定される。論理素子ＬＤに入る各パケットは、そのバイナリアドレスがリーディングビット（ｂ₀，ｂ₁，．．．ｂ_Δ-1，１）を有するターゲットを有する。論理素子ＬＦに入る各パケットは、そのバイナリアドレスがリーディングビット（ｂ₀，ｂ₁，．．．ｂ_Δ-1，０）を有するターゲットを有する。バス６２２は、ＬＡおよびＬＢをレベルＷ－１のノード内の論理素子ＬＤ７１０に接続し、その結果、Ｆ₀のビットＨ_Wが１に等しく、かつ、他の制御線条件（以下で議論される）が満たされれば、論理ユニットＬＡまたは論理ユニットＬＢ内に第１のフリットＦ₀を有するパケットＰは、ＬＤを通ってそのターゲット出力へ進行することができる。バス６１２は、論理ユニットＬＡおよび論理ユニットＬＢをレベルＷ－１のノード内の論理素子ＬＦ７２０に接続し、その結果、Ｆ₀のビットＨ_Wが０に等しく、かつ、他の制御線条件（以下で議論される）が満たされれば、論理ユニットＬＡまたは論理ユニットＬＢ内に第１のフリットＦ₀を有するパケットＰＫＴは、論理素子ＬＦを通ってそのターゲット出力へ進行することができる。

論理素子ＬＣ７２４は、レベルＷ－１のＬＤＭモジュール７２２内に存在し、論理素子ＬＣは、遅延ユニットＤＣを通って論理素子ＬＤ７１０へデータを送るように配置される。また、論理素子ＬＥ７１４は、論理素子ＬＥ７１４が、遅延ユニットＤＥを通ってＬＦ７２０へデータを送ることができるように、レベルＷ－１上に存在する。Ｔ_Sが、論理素子ＬＡ６２４およびＬＢ６１４についてのパケット到達時間であると仮定されたい。そうすると、Ｔ_S+1は、論理ユニットＬＦにおけるパケット到達時間である。論理素子ＬＥからＬＦへ進むパケットＰＫＴは、時間Ｔ_SにおいてＤＥにその第１のフリットＦ₀を持たなければならず、したがって、時間Ｔ_S-1においてその第１のフリットをＬＥに持たなければならない。同様に、ＬＣからＬＤへ進むパケットＰＫＴは、時間Ｔ_S-1においてその第１のフリットをＬＣに到達させなければならない。したがって、Ｔ_S-1は、論理素子ＬＣと論理素子ＬＥとの両方についてのパケット到達時間である。

スイッチにおける静的バッファの欠如は、競合するメッセージが論理素子ＬＤまたはＬＦへ進むための優先度スキームにより補償され得る。優先度スキームは、レベルＷ－１のパケットに最も高い優先度を与え、クロスバー６０２のバー設定（パケットが、同じパス上を水平に進む場合）に、そのスイッチのクロス設定（パケットが、代替的なパスへ対角線上に進む場合）よりも優先度を与える。したがって、時間Ｔ_S+1においてＬＤ７１０に入るパケットの第１のフリットＦ₀についての優先度スキームは、以下の通りである。
１）その第１のフリットＦ₀が時間ＴにＤＣ内にあるパケットは、論理ユニットＬＤへ進むための優先度１を有し、そのようなパケットは常に、時間Ｔ_S+1に論理ユニットＬＤに到達することになる。
２）その第１のフリットＦ₀が時間Ｔ_Sに論理ユニットＬＡ６２４内にあり、かつ、そのＦ₀ビットＨ_Wが１であるパケットは、優先度２を有し、時間Ｔ_S+1に論理ユニットＬＤに到達する優先度１のパケットが無ければ、バー状態に設定されたスイッチ６０２を通って進んで、時間Ｔ_S+1に論理ユニットＬＤに到達することになる。および
３）その第１のフリットＦ₀が時間Ｔ_Sに論理ユニットＬＢ６１４内にあり、かつ、そのＦ₀ビットＨ_Wが１であるパケットは、優先度３を有し、優先度１または優先度２のパケットが時間Ｔ_S+1に論理ユニットＬＤに到達しなければ、クロス状態に設定されたスイッチ６０２通って進んで、時間Ｔ_S+1に論理ユニットＬＤに到達することになる。

優先度スキームは、線７３２および線６２２が情報を同時に搬送することが全くできないことを保証する。したがって、それらの２本の線からの信号は、マルチプレクサＭＣにおいて忠実性の損失なしに連結され得る。マルチプレクサＭＣに対してティックを指定する必要がないことに留意されたい。同様の状況は、マルチプレクサＭＥに対して存在する。

同様に、時間Ｔ_S+1にＬＦ７２０に入るパケットの第１のフリットＦ₀についての優先度スキームは、以下の通りである。
１）その第１のフリットＦ₀が時間Ｔ_Sに遅延ＤＥ内にあるパケットは、論理ＬＦへ進むための優先度１を有し、そのようなパケットは常に、時間Ｔ_S+1に論理ＬＦに到達することになる。
２）その第１のフリットＦ₀が時間Ｔ_Sに論理ＬＢ６１４内にあり、かつ、そのＦ₀ビットＨ_Wが０であるパケットは、優先度２を有し、時間Ｔ_S+1に論理ＬＦに到達する優先度１のパケットが無ければ、バー状態に設定されたスイッチ６０２を通って進んで、時間Ｔ_S+1に論理ＬＦに到達することになる。および
３）その第１のフリットＦａが時間Ｔ_Sに論理ＬＡ６２４内にあり、かつ、そのＦ₀ビットＨ_Wが０であるパケットは、優先度３を有し、時間Ｔ_S+1にＬＦに到達する優先度１または２のパケットが無ければ、クロス状態に設定されたスイッチ６０２を通って進んで、時間Ｔ_S+1に論理ＬＦに到達することになる。

図７および図８と共に、図６を参照されたい。整数Ｗは、図７において、論理素子ＬＡ、ＬＢ、ＬＧ、およびＬＨがスイッチのレベルＷにあり、論理素子ＬＣ、ＬＤ、ＬＥ、およびＬＦがスイッチのレベルＷ－１にあるように整数を表す。優先度スキームは、ＬＤＭモジュール内の論理ユニットまたは遅延ユニットからの制御パケットによって設定される、論理ユニット制御レジスタＣＲおよびＣＬによって強制される。パラレルダブルダウンスイッチ内の論理素子の各々は、２つの制御レジスタＣＲ（遠隔制御）およびＣＬ（局所制御）を含み、各制御レジスタは２ビットを含み、したがって、各レジスタが整数０、１、２、または３のうちの任意の１つのバイナリ表現を記憶することを可能にする。Ｔ_Sは、論理素子ＬＡおよびＬＢにおけるパケット時間到達であり、Ｔ_S+1は、ＬＤおよびＬＦにおける到達時間であり、Ｔ_S+2は、ＬＧおよびＬＨにおける到達時間である。Ｔ_Sは、ＤＣおよびＤＥにおける到達時間であり、Ｔ_S-1は、ＬＣおよびＬＥにおける到達時間である。時間Ｔ_S-1に先立って、ＬＡおよびＬＢ内のレジスタＣＲおよびＣＬは、０に設定される。ＬＡ内のレジスタＣＲは、ＬＣからの線７２８上の制御信号によって、０とは異なる値に設定される。ＬＢ内のレジスタＣＲは、ＬＥからの線７１８上の制御信号によって、０とは異なる値に設定される。ＬＢ内のレジスタＣＬは、ＬＡからの線６０４上の制御信号によって、０とは異なる値に設定される。ＬＡ内のレジスタＣＬは、ＬＢからの線６０６上の制御信号によって、０とは異なる値に設定される。ＬＤＭモジュール６２０は、ＬＡから線６０８へ信号を送ることによって、クロスバースイッチ６０２をバー状態またはクロス状態に設定することができる。ＬＤＭモジュール６２０を制御するクロスバーは、タイプａＬＤＭモジュールと称される。ＬＤＭモジュール６１０は、クロスバー６０２を制御するための手段を有さず、タイプαＬＤＭモジュールと称される。クロスバーは、３つの状態を有しており、状態０は、クロスバーがデータを受信する準備ができていないことを示し、状態１は、クロスバーがバー状態にあり、データを受信する準備ができていることを示し、状態２は、クロスバーがクロス状態内にあり、データを受信する準備ができていることを示す。クロスバーが状態０にある間に、パケットフリットがクロスバーに到達する場合、クロスバー状態が１または２に設定されるまで、フリットは、フリット幅のバッファ内に記憶されることになる。パケットの最後のフリットがクロスバーを出るときに記録をつけるロジックがある。クロスバーの状態は、所与のパケットのフリットがそれを通過する間、一定のままである。最後のフリットがクロスバーを出るときに、クロスバーは状態０にされる。

例示的な実施形態において、論理素子ＬＡ内の制御レジスタの機能性は、以下のように定義され得る。
１）ＣＲ＝１は、論理素子ＬＯが論理素子ＬＣからのパケットによってブロックされることを示す。
２）ＣＲ＝２は、論理素子ＬＯがブロックされず、論理素子ＬＡからパケットを受信することができることを示す。
３）ＣＬ＝１は、論理素子ＬＢが、バー状態にあるクロスバーを通って論理素子ＬＦへパケットを送っていることを示す。
４）ＣＬ＝２は、論理素子ＬＦがブロックされず、論理素子ＬＡからパケットを受信することができることを示す。および
５）ＣＬ＝３は、論理素子ＬＦが、論理素子ＬＥからのパケットによってブロックされることを示す。

例示的な実施形態において、論理素子ＬＢ内の制御レジスタの機能性は、以下のように定義され得る。
１）ＣＲ＝１は、論理素子ＬＦが論理素子ＬＥからのパケットによってブロックされることを示す。
２）ＣＲ＝２は、論理素子ＬＦがブロックされず、論理素子ＬＢからパケットを受信することができることを示す。
３）ＣＬ＝１は、論理素子ＬＡが、バー状態にあるクロスバーを通って論理素子ＬＯへパケットを送っていることを示す。
４）ＣＬ＝２は、論理素子ＬＯがブロックされず、論理素子ＬＢからパケットを受信することができることを示す。および
５）ＣＬ＝３は、論理素子ＬＯが論理素子ＬＣからのパケットによってブロックされることを示す。

図６、図７、および図８に例示されるスイッチは、以下のように動作することができる。

第１のアクションにおいて、パケット到達時間Ｔ_Sにおいて、またはパケット到達時間Ｔ_Sの前に、ＣＲレジスタは、論理素子ＬＣからの線７２８上の信号によって、および論理素子ＬＥからの線７１８上の信号によって設定される。

第２のアクションにおいて、パケット到達時間Ｔ_Sにおいて、論理ユニットＬＡは、以下のように進む。
１）ケース１：パケットＰＫＴ_Aの第１のフリットが、線７０４上で論理素子ＬＡに到達し、ＰＫＴ_AのヘッダビットＨ_Wは、論理素子ＬＤがＰＫＴ_Aのターゲット出力へのパス上にあることを示す１に設定され、論理素子ＬＡレジスタＣＲ＝２は、論理素子ＬＤが時間Ｔ_S+1に論理素子ＬＣからパケットを受信しないであろうことを示す。この場合に、論理素子ＬＡは、信号を線６０８へ送って、クロスバーをバー状態に設定する。次いで、論理素子ＬＡは、パケットＰＫＴ_Aの第１のフリットをクロスバーを通して送って、時間Ｔ_S+1に論理素子ＬＤに到達させる。次いで、論理素子ＬＡは、信号を線６０４を通して送って、論理素子ＬＢのＣＬレジスタを１に設定する。
２）ケース２：ケース１の条件は発生せず、論理素子ＬＡのＣＲレジスタは、論理素子ＬＣがパケットを時間Ｔ_S+1に論理素子ＬＯに到達するように送っていないことを示す２に設定される。この場合に、論理素子ＬＡは、信号を線６０４を通して送り、論理素子ＬＢのＣＬレジスタを２に設定する。
３）ケース３：ケース１の条件は発生せず、論理素子ＬＡのＣＲレジスタは、論理素子ＬＣがパケットを時間Ｔ_S+1に論理素子ＬＯに到達するように送っていることを示す１に設定される。この場合に、論理素子ＬＡは、信号を線６０４を通して送り、論理素子ＬＢのＣＬレジスタを３に設定する。

第３のアクションにおいて、パケット到達時間Ｔ_Sにおいては、論理ユニットＬＢは、以下のように進む。
１）ケース１：パケットＰＫＴｓの第１のフリットが、線７０２上で論理素子ＬＢに到達し、ＰＫＴｓのヘッダビットＨ_Wは０に設定され、論理素子ＬＢレジスタＣＲ＝２は、論理素子ＬＦが時間Ｔ_S+1に論理素子ＬＥからパケットを受信しないであろうことを示す。この場合に、論理素子ＬＢは、クロスバーがバー状態に設定された後に、ＰＫＴ８の第１のフリットをクロスバーへ送って、クロスバーを通って進ませて、時間Ｔ_S+1に論理素子ＬＦに到達させる。次いで、論理素子ＬＢは、制御信号を線６０４を通して送って、論理素子ＬＡのＣＬレジスタを１に設定する。
２）ケース２：ケース１の条件は発生せず、論理素子ＬＢ内のＣＲレジスタは、論理素子ＬＥがパケットを時間Ｔ_S+1に論理素子ＬＦに到達するように送っていないことを示す２に設定される。この場合に、論理素子ＬＢは、信号を線６０６を通して送って、論理素子ＬＡのＣＬレジスタを２に設定する。
３）ケース３：ケース１の条件は発生せず、論理素子ＬＢ内のＣＲレジスタは、論理素子ＬＥがパケットを時間Ｔ_S+1に論理素子ＬＦに到達するように送っていることを示す３に設定される。この場合に、論理素子ＬＢは、信号を線６０６を通して送って、論理素子ＬＡのＣＬレジスタを３に設定する。

第４のアクションにおいて、論理素子ＬＡが、クロスバーをバー状態に既に設定済みである場合、論理素子ＬＡは、それ以上のアクションを行わない。論理素子ＬＡが、クロスバーをバー状態に設定済みでない場合、ＣＬレジスタが非ゼロ値に設定された後に、論理素子ＬＡは、そのＣＬレジスタを調査する。ＣＬレジスタが１を含む場合、論理素子ＬＡは、クロスバーをバー状態に設定する。ＣＬレジスタが１とは異なる数を含む場合、論理素子ＬＡは、クロスバーをクロス状態に設定する。

第５のアクションにおいて、この時点で、論理素子ＬＡにおけるロジックは、クロスバーの状態の情報を有しており、論理素子ＬＡは、以下のように進む。
１）ケース１：時間Ｔ_Sに論理素子ＬＡにパケットフリットはなく、論理素子ＬＡにさらなるアクションが必要とされないことを示す。
２）ケース２：パケットＰＫＴ_Aの第１のフリットは、時間Ｔ_Sに論理素子ＬＡに到達した。クロスバーはバー状態にあり、パケットＰＫＴ_Aの第１のフリットは、上述されたようにクロスバーを通って送られ、論理素子ＬＡにさらなるアクションが必要とされないことを示す。
３）ケース３：パケットＰＫＴ_Aの第１のフリットは、時間Ｔ_Sに論理素子ＬＡに到達した。クロスバーはバー状態にあり、パケットＰＫＴ_Aの第１のフリットは、上述されたような第２のアクションにおいてクロスバーを通って送られず、パケットＰＫＴ_Aの第１のフリットは遅延ユニットＤＡへ送られるべきであることを示す。したがって、論理素子ＬＡは、ＰＫＴ_Aの第１のフリットを遅延ユニットＤＡへ送る。
４）ケース４：パケットＰＫＴ_Aの第１のフリットは、時間Ｔ_Sに論理素子ＬＡに到達した。クロスバーはクロス状態にあり、ＰＫＴ_AのヘッダビットＨ_Wは０に設定され、論理素子ＬＡのレジスタＣＬは２に設定され、次いで、ＰＫＴ_Aの第１のフリットは、クロスバーを通って送られて、時間Ｔ_S+1に論理素子ＬＦに到達することになる。
５）ケース５：パケットＰＫＴ_Aの第１のフリットは、時間Ｔ_Sに論理素子ＬＡに到達した。クロスバーはクロス状態にあるが、ケース４の条件は発生しない。次いで、ＰＫＴ_Aの第１のフリットは、遅延ユニットＤＡへ送られることになる。

第５のアクションと同時に実行され得る第６のアクションにおいて、論理素子ＬＢのＣＬレジスタが１に設定されるか、またはＬＢが論理素子ＬＡのＣＬレジスタを１に設定する場合、論理素子ＬＡにおけるロジックは、クロスバーがバー状態に設定されているという情報を有する。これらの条件のどちらも満たされない場合、論理素子ＬＡは、クロスバーがクロス状態に設定されていることを認識する。論理素子ＬＢは、以下のように進む。
１）ケース１：時間Ｔ_Sに論理素子ＬＢ内にパケットフリットが無く、論理素子ＬＢにさらなるアクションが必要とされないことを示す。
２）ケース２：パケットＰＫＴ_Bの第１のフリットは、時間Ｔ_Sに論理素子ＬＢに到達した。クロスバーはバー状態にあり、パケットＰＫＴ_Bの第１のフリットは、上述されたようにクロスバーを通って送られ、論理素子ＬＢにさらなるアクションが必要とされないことを示す。
３）ケース３：パケットＰＫＴ_Bの第１のフリットは、時間Ｔ_Sに論理素子ＬＢに到達した。クロスバーはバー状態にあり、パケットＰＫＴ_Bの第１のフリットは、上述されたような第２のアクションにおいてクロスバーを通って送られず、パケットＰＫＴ_Bの第１のフリットが遅延ユニットＤＢへ送られるべきであることを示す。
４）ケース４：パケットＰＫＴ_Bの第１のフリットは、時間Ｔ_Sに論理素子ＬＢに到達した。クロスバーはクロス状態にあり、ＰＫＴ_BのヘッダビットＨ_Wは１に設定され、論理素子ＬＢのレジスタＣＬは２に設定され、次いで、ＰＫＴ_Bの第１のフリットは、時間Ｔ_S+1に論理素子ＬＤに到達するようにクロスバーを通って送られることになる。
５）ケース５：パケットＰＫＴ_Bの第１のフリットは、時間Ｔ_Sに論理素子ＬＢに到達した。クロスバーはクロス状態にあるが、ケース４の条件は発生しない。ＰＫＴ_Aの第１のフリットは、遅延ユニットＤＢへ送られることになる。

例示的な例において、クロス状態よりもバー状態が優先される。別の例では、クロス状態が優先されることが可能である。また別の例では、論理素子ＬＢよりも論理素子ＬＡが優先されること、または論理素子ＬＡよりも論理素子ＬＢが優先されることが可能である。

マルチプレクサ素子は、ノード間の相互接続パスの量を低減することによって、構造コンパクト性および性能を改善する。異なる実施形態において、マルチプレクサは省略されてもよい。図７を参照すると、ＭＣ７３８および相互接続線７３４は、相互接続線７３２を論理ユニットＬＤの第１の入力に接続すること、および相互接続線６２２を論理ユニットＬＤの第２の入力に接続することによって、除去され得ることに注意されたい。別の簡略化された実施形態において、単一のＬＤＭモジュールは、スイッチのノードとしての役割を果たすことができる。この場合に、ノードスイッチングノード内のクロスバーは省略され得る。別のより複雑な実施形態において、スイッチングノードは、複数のＬＤＭモジュールと、スイッチとを含むことができ、ただし、ＬＤＭモジュールの数Ｎは、１または２に等しくなく、スイッチは基数Ｎである。

本明細書において開示される構造およびシステムは、以下の有利な特性、すなわち、１）高いクロックレートでも改善された信号完全性、２）増加された帯域幅、および、３）より低いレイテンシのうちの１つまたは複数を含む、参照される米国特許第５，９９６，０２０号明細書、第６，２８９，０２１号明細書、および第６，７５４，２０７号明細書において説明されるシステムに対する著しい改善点を含む。

改善点は、１）バス幅のデータパス、２）スイッチを通してデータをルーティングするのに十分なヘッダビットが全てフリットＦ₀内に含まれている、および、３）信号がＬＤＭモジュールの各論理ユニットおよび各遅延ユニットにおいてはクリーンアップされる、のうちの１つまたは複数を含む。

図９Ａ、図９Ｂおよび図９Ｃは、相互接続構造の様々なレベルのノードの相互接続を示す概略的なブロック図である。図９Ａは、最も外側のレベルＪのリングＲのノードＡＲＪ９２０、ならびにノードＡ_RJ９２０からノードＢ_RJ９２２、デバイスＣ９２４、ノードＤ_RJ９２６、ノードＥ_R（Ｊ－１）９２８、ノードＦ_R（Ｊ－１）９３０およびデバイスＧ９３２への相互接続を示す。図９Ｂは、レベルＪのリングＲのノードＡ_RT９４０、ならびにノードＡ_RT９４０からノードＢ_RT９４２、ノードＣ_R（Ｔ＋１）９４４、ノードＤ_RT９４６、ノードＥ_R（Ｔ－１）９４８、ノードＦ_R（Ｔ－１）９５０およびノードＧ_R（Ｔ＋１）９５２への相互接続を示す。図９Ｃは、最も内側のレベル０のリングＲのノードＡ_R0９６０、ならびにノードＡ_R0９６０からノードＢ_R0９６２、ノードＣ_R1９６４、ノードＤ_R0９６６、デバイスＥ９６８およびノードＧ_R1９７２への相互接続を示す。

図９Ａ、図９Ｂおよび図９Ｃは、相互接続構造のトポロジーを示す。理解を容易にするために、構造は、３次元ｒ、Θおよびｚの同心円筒の集まりとして考慮され得る。各ノードまたはデバイスは、指定されたロケーション（ｒ、Θ、ｚ）を有し、これは３次元の円筒座標内の位置（ｒ、２π、Θ／Ｋ、ｚ）に関連し、ただし、半径ｒは、０からＪの円筒番号を特定する整数であり、角度Θは、０からＫ－１の円筒の円形断面のまわりのノードの間隔を特定する整数であり、高さｚは、Ｏから２^J-1のＺ軸に沿った距離を特定するバイナリ整数である。ｚ次元におけるノード間の相互接続は、バイナリデジットの操作として最も簡単に説明されるので、高さｚは、バイナリ数として表現される。したがって、相互接続構造は、２つの設計パラメータＪおよびＫに関して定義され得る。

図９Ａ、図９Ｂおよび図９Ｃにおいて、相互接続は、メッセージデータフローの方向を示す矢印付きの実線、および制御メッセージフローの方向を示す矢印付きの破線により示される。要約すると、ノードＡ、ＢおよびＤ、ならびにノードまたはデバイスＣ、Ｅ、Ｆ、Ｇについて、
１）Ａは、レベルｔ＝ｒにあり、
２）ＢおよびＣは、Ａへデータを送り、
３）ＤおよびＥは、Ａからデータを受信し、
４）Ｆは、Ａへ制御信号を送り、
５）Ｇは、Ａから制御信号を受信し、
６）ＢおよびＤは、レベルＴにあり、
７）Ｂは、Ａの直前にあり、
８）Ｄは、Ａの直後にあり、および
９）Ｃ、Ｅ、ＦおよびＧは、レベルＴにない。

様々なノードおよびデバイスの３次元の円筒表記における位置は、以下の通りである。
１）Ａは、ノードＮ（ｒ、Θ、ｚ）に配置され、
２）Ｂは、ノードＮ（ｒ、Θ－１、Ｈ_T（ｚ））に配置され、
３）Ｃは、ノードＮ（ｒ＋１、Θ－１、ｚ）に配置され、または相互接続構造の外部にあり、
４）Ｄは、ノードＮ（ｒ、Θ＋１、ｈ_T（ｚ））に配置され、
５）Ｅは、ノードＮ（ｒ－１、Θ＋１、ｚ）に配置され、または相互接続構造の外部にあり、デバイスＦと同じであり、
６）Ｆは、ノードＮ（ｒ－１、Θ、Ｈ_T-1（ｚ））に配置され、または相互接続構造の外部にあり、デバイスＥと同じであり、
７）Ｇは、ノードＮ（ｒ＋１、Θ、ｈ_T（ｚ））に配置され、または相互接続構造の外部にある。

Θ＋１およびΘ－１という項は、それぞれ係数Ｋの加算および減算を指すことに留意されたい。

この表記において、（Θ－１） ｍｏｄ Ｋは、Θが０に等しい場合にはＫに等しく、そうでない場合にはΘ－１に等しい。レベルｒでのｚからＨ_r（ｚ）への変換は、ｚ＝［ｚ_J-1，ｚ_J-2，．．．，ｚ_r，ｚ_r-1，．．．，ｚ₂，ｚ₁，ｚ₀］について、ｚ_r-1からｚ₀］の下位ｚビットの順序をｚ＝［ｚ_J-1，ｚ_J-2，．．．，ｚ_r，ｚ₀，ｚ₁、ｚ₂，．．．，ｚ_r-1］という形式へ反転させ、１（係数２ｒ）を減算し、下位ｚビットを逆に反転させることによって説明される。同様に、（Θ＋１） ｍｏｄ Ｋは、ΘがＫ－１に等しい場合には０に等しく、そうでない場合にはΘ＋１に等しい。レベルｒでのｚからｈ_r（ｚ）への変換は、ｚ＝［ｚ_J-1，ｚ_J-2，．．．，ｚ_r，ｚ_r-1，．．．，ｚ₂，ｚ₁，ｚ₀］について、Ｚｒ．１からｚｏ］の下位ｚビットの順序をｚ＝［ｚ_J-1，ｚ_J-2，．．．，ｚ_r，ｚ₀，ｚ₁、ｚ₂，．．．，ｚ_r-1］という形式へ反転させ、１（係数２^r）を加算し、下位ｚビットを逆に反転させることによって説明される。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムの１つの実施形態によれば、相互接続構造は、送信元レベルから送信先レベルまでのレベルの階層を含む構造において配置された複数のノード、レベルの断面に広がる複数のノード、断面スパン内の複数のノードを含むことができる。ノードのレベルは、構造内のノードの位置によって完全に決定されることが可能であり、複数の相互接続線は、構造内のノードを結合する。レベルＬのノードＮについて、（１）複数のメッセージ入力相互接続線が、先行するレベルＬ＋１のノードに結合され、（２）複数のメッセージ入力相互接続線が、レベルＬのノードに結合され、（３）複数のメッセージ出力相互接続線が、レベルＬのノードに結合され、（４）複数のメッセージ出力相互接続線が、後続のレベルＬ－１のノードに結合され、（５）制御入力相互接続線は、レベルＬ－１のノードのメッセージ出力相互接続線に結合され、（６）スイッチは、制御入力相互接続線上のメッセージを受信し、メッセージに従って、後続のレベルＬ－１ノードに結合された複数のメッセージ出力相互接続線上、またはレベルＬに結合された複数のメッセージ出力相互接続線上にバッファリングせずに、メッセージを選択的に送信するように結合される。

図９Ａ、図９Ｂおよび図９Ｃに図示されたシステムの別の実施形態によれば、相互接続構造は、複数のノードと、ノードを結合する複数の相互接続線とを含むことができる。複数のノードのうちのノードＸは、ノードＸとは異なるノードＡに結合された複数のメッセージ入力相互接続線を含むことができ、複数のメッセージ入力相互接続線は、ノードＡおよびノードＸとは異なるノードＢに結合される。ノードＸは、相反するメッセージ間の優先関係を決定するためにノードＡとノードＢとの間で通信される制御信号と共に、ノードＡからのメッセージ入力およびノードＢからのメッセージ入力を受け入れる。制御信号は、ノードＡからノードＸへのメッセージの送信と、ノードＢからノードＸへのメッセージの送信との間の優先関係を課すことができる。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムのさらなる実施形態によれば、相互接続構造は、階層的なマルチレベル構造においてノードを選択的に結合する相互接続構造において、複数のノードと、複数の相互接続線とを含むことができる。階層的なマルチレベル構造は、最も低い送信先レベルＬ₀から、最も低い送信先レベルＬ₀から最も離れた最も高いレベルＬ_Jまで配置された、レベルの階層において、複数のＪ＋ｉレベルを含むように配置され得る。ノードのレベルは、複数の離散した時間ステップにおいてメッセージＭを送信する相互接続構造を有する構造内のノードの位置によって完全に決定され得る。時間ステップにおいて移動するメッセージＭ、および時間ステップにおいて３つの手法のうちの１つにおいてメッセージＭを移動させるための相互接続を有する相互接続構造は、以下を含む。（１）メッセージＭは、相互接続構造の外部のデバイスから、相互接続構造内のノードに入る。（２）メッセージＭは、指定された出力バッファへ向かって相互接続構造を出る。（３）メッセージＭは、レベルＬ_KのノードＵから、同じレベルＬ_Kの異なるノードＶへ移動し、またはノードＵからレベルＬのノードＷへ移動する。ただし、レベルＬ_iがレベルＬ_Kよりも送信先レベルＬ₀に近くなるように、ｋはｉよりも大きい。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムの他の実施形態によれば、相互接続構造は、複数のノードと、階層的なマルチレベル構造内のノードを選択的に結合する複数の相互接続線とを含むことができ、ノードのレベルは、データが送信元レベルから送信先レベルへ一方的にのみ移動する、またはマルチレベル構造のレベルに沿って横方向に移動する構造内のノードの位置によって完全に決定される。データメッセージは、送信元ノードから、指定された送信先ノードへ、マルチレベル構造を通って送信され得る。複数のレベルのうちのレベルは、ノードの１つまたは複数のグループを含むことができる。データメッセージは、送信先ノードへの途中にある、ノードの１つまたは複数のグループのうちのグループへ送信され得る。１つまたは複数のグループのうちのグループは、複数のノードを含むことができる。ノードがブロックされない場合、データメッセージは、送信先レベルに向かってグループの複数のノードのうちのノードＮへ一方的に送信されることが可能であり、そうでなく、ノードがブロックされる場合、データメッセージは、横方向に送信される。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムのさらなる実施形態によれば、相互接続構造は、複数のノードと、複数のノードにおける通信デバイスを相互接続する複数の相互接続線Ｌとを含むことができる。ノードは、受信メッセージと送信メッセージとを含む、離散した時間ステップのシーケンスにおけるメッセージを通信する通信デバイスを含むことができる。複数のノードのうちのノードＮは、以下を含むことができる。（１）デバイスＵからノードＮへメッセージを送信するための複数の相互接続線ＬＵＮへの接続と、（２）デバイスＶからノードＮへメッセージを送信するための複数の相互接続線ＬＶＮへの接続と、（３）デバイスＵが、ノードＮへのメッセージの送信においてデバイスＶに対して優位となるように、ノードＮならびにデバイスＵおよびＶに関連する優先順位関係ＰＮ（Ｕ、Ｖ）を有するネットワークであって、その結果、時間ステップｔにおいて複数の相互接続線ＬＵＮを介してノードＮへ向けられる、デバイスＵにおけるメッセージＭＵ、および同様に時間ステップｔにおいて複数の相互接続線ＬＶＮを介してノードＮへ向けられる、デバイスＶにおけるメッセージＭＶ。メッセージＭＵは、ノードＮへ成功裡に送られ、ノードＶは、制御信号を使用して、メッセージＭＶをどこへ送るべきかを決定する。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムのまたさらなる実施形態によれば、相互接続構造は、複数のノードＮと、複数のノードＮを所定のパターンで接続する複数の相互接続線Ｌとを含むことができる。相互接続線は、メッセージＭおよび制御信号Ｃを搬送する。メッセージＭおよび制御信号Ｃは、離散した時間ステップｔにおいて複数のノードのうちのノードによって受信されることが可能であり、メッセージＭは、直後の離散した時間ステップｔ＋１において複数のノードのうちの後続のノードへ移動されることが可能である。複数のノードＮを接続する複数の相互接続線Ｌは、（１）メッセージＭＡを受信するためのメッセージ入力相互接続を有するノードＮＡ、（２）制御信号ＣＡを受信するための制御入力相互接続、（３）ノードＮＤへの直接的なメッセージ出力相互接続、（４）ノードＮＥへの直接的なメッセージ出力相互接続、（５）デバイスＧへの直接的な制御出力相互接続を含むことができる。メッセージＭＡがノードＮＤへ送られるか、またはノードＮＥへ送られるかを決定するための制御ロジックは、（１）制御信号ＣＡ、（２）複数の相互接続線Ｌ内のノードＮＡのロケーション、および、（３）メッセージＭＡに含まれるルーティング情報に基づくことができる。

また別の実施形態において、相互接続構造は、複数のノードＮと、複数のノードＮを所定のパターンで接続する複数の相互接続線Ｌとを備えることができる。複数のノードＮを接続する複数の相互接続線Ｌは、メッセージＭＡを受信するための直接的なメッセージ入力相互接続と、メッセージＭＡを受信するのに最も所望する、選択されたノードＮＰを含む、複数のノードへメッセージＭＡを送信するための複数の直接的なメッセージ出力相互接続とを有するノードＮＡを含むことができる。選択されたノードＮＰは、メッセージＭＡのヘッダ内のルーティング情報、および複数の相互接続線Ｌ内のノードＮＡの位置によってのみ、決定されることが可能である。選択されたノードＮＰは、選択されたノードＮＰへメッセージを送るための優先度を有する優先度ノードＮＢを含む複数のノードからメッセージＭＰを受信するための複数の直接的なメッセージ入力相互接続を有する。優先度ノードＮＢは、複数の相互接続線Ｌ内のノードＮＢの位置によって決定されることが可能であり、その結果、（１）ノードＮＡがノードＮＢと同じである場合、メッセージＭＡは、メッセージＭＰであり、ノードＮＡからノードＮＰへ送られ、（２）ノードＮＡがノードＮＢと同じでなく、ノードＮＢがメッセージＭＢをノードＮＰへ向ける場合、メッセージＭＢは、ノードＮＢからノードＮＰへ送られる。

付加的な実施形態において、相互接続構造は、複数の出力ポートＰを同時に含む複数のメッセージＭを搬送することができるネットワークと、複数のノードＮであって、個々のノードＮは、複数の直接的なメッセージ入力相互接続と、複数の直接的なメッセージ出力相互接続とを含む、複数のノードＮと、複数の相互接続線とを備えることができる。個々のノードＮは、メッセージＭを複数の出力ポートＰのうちの所定の出力ポートへ渡す。所定の出力ポートＰは、メッセージＭによって指定される。複数の相互接続線は、最も低い送信先レベルＬＯから、最も低い送信先レベルＬＯから最も離れた最も高いレベルＬ_Jまで配置された、レベルの階層において、複数のＪ＋１レベルを含むように配置された階層的なマルチレベル構造内のノードを選択的に結合する相互接続構造において構成されることが可能であり、出力ポートＰは、最も低い送信先レベルＬＯにおけるノードへ接続されている。ノードのレベルは、構造内のノードの位置によって完全に決定され得る。ネットワークは、複数のノードＮのうちのノードＮＡを含むことができ、制御信号は、ノードＮＡの所定の出力ポートについての競合を除去するために、ノードＮＡへ送られることを許されるメッセージの数を限定するように動作し、その結果、メッセージＭは、ノードＮＡの直接的なメッセージ出力接続を通じて、ノードＮＡのレベル以下のレベルＬであるノードＮＨへ送られ、ノードＮＨは、メッセージＭの指定された所定の出力ポートＰへのパス上にある。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムの実施形態によれば、相互接続構造は、階層的なマルチレベル構造内のノードを選択的に結合する相互接続構造において、複数のノードと、複数の相互接続線と含むことができる。マルチレベル構造は、最も低い送信先レベルＬ₀から最も高いレベルＬ_Jまで配置された、レベルの階層において、複数のＪ＋１レベルを含むように配置されることが可能であり、Ｊは、０より大きい整数であり、ノードのレベルは、構造内のノードの位置によって完全に決定され、相互接続構造は、複数の入力ポートを通ってソートされずに相互接続構造に入る複数のマルチビットメッセージを送信する。複数のメッセージの個々のメッセージＭは、自己ルーティングとすることができる。個々のメッセージＭは、メッセージＭによって指定される出力ポートを通ってメッセージＭが相互接続構造を出るのに十分な３つの手法を含む、複数の手法において移動する。３つの手法は、以下である。（１）メッセージＭは、相互接続構造の外部のデバイスから相互接続構造内のノードに入り、メッセージＭは、１つまたは複数の指定された出力ポートを指定する。（２）メッセージＭは、指定された出力ポートへバッファリングせずに、相互接続構造内のノードを通って移動する。（３）メッセージＭは、同じレベルＬ_kの異なるノードＶへバッファリングせずに、相互接続構造のレベルＬ_kのノードＵを通って移動するか、またはレベルＬ_kよりも送信先レベルＬ０に対して階層内で近いレベルＬ_iのノードＷへバッファリングせずに、相互接続構造のレベルＬ_kのノードＵを通って移動する。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムのさらに他の実施形態によれば、相互接続構造は、構造内のノードを選択的に結合する相互接続構造において、複数のノードと、複数の相互接続線とを含むことができる。相互接続構造は、複数の入力ポートを通ってソートされずに相互接続構造に入る複数のマルチビットメッセージを送信する。複数のメッセージの個々のメッセージＭは、自己ルーティングとすることができる。相互接続構造は、（１）ノードＮＡからの第１のデータ入力相互接続、およびノードＮＡとは異なるノードＮＦからの第２のデータ入力相互接続を有するノードＮＥと、（２）ノードＮＥへメッセージを送るために競合を解決するための制御信号を搬送するための、ノードＮＡとノードＮＦとの間の制御相互接続とを含むことができる。制御信号は、メッセージが通信されるノードＮＥとは各々異なる、ノードＮＡまたはノードＮＦから供給され得る。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムのさらに他の実施形態によれば、相互接続構造は、階層的なマルチレベル構造内のノードを選択的に結合する相互接続構造において、複数のノードと、複数の相互接続線とを含むことができる。マルチレベル構造は、最も低い送信先レベルＬ０から最も高いレベルＬ_Jまで配置された、レベルの階層において、複数のＪ＋１レベルを含むように配置されることが可能であり、Ｊは、０よりも大きい整数である。相互接続構造は、複数の入力ポートを通してソートされていない複数のマルチビットメッセージを受信し、マルチビットメッセージを送信する。複数のメッセージの個々のメッセージＭは、自己ルーティングとすることができ、メッセージの複数のビットの一部のみが、２つのノード間で送信中であるワームホールルーティングを使用して、ノードを通って移動する。マルチビットメッセージは、複数のノードにわたって及ぶ。個々のメッセージＭは、メッセージＭにより指定される出力ポートを通ってメッセージＭが相互接続構造を出るのに十分な４つの手法を含む、複数の手法において移動する。４つの手法は、以下である。（１）メッセージＭは、相互接続構造の外部のデバイスから相互接続構造内のノードに入り、メッセージＭは、１つまたは複数の指定された出力ポートを指定する。（２）メッセージＭは、指定された出力ポートへバッファリングせずに、相互接続構造内のノードを通って移動する。（３）メッセージＭは、同じレベルＬ_kの異なるノードへバッファリングせずに、相互接続構造のレベルＬ_kのノードを通って移動する。（４）メッセージＭは、レベルＬ_kよりも送信先レベルＬｏに対して階層内で近いレベルＬ_iのノードへバッファリングせずに、相互接続構造のレベルＬｋのノードを通って移動する。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムのさらに他の実施形態によれば、相互接続構造は、構造内のノードを選択的に結合する相互接続構造において、複数のノードと、複数の相互接続線とを含むことができる。相互接続構造は、複数の入力ポートを通してソートされていない複数のマルチビットメッセージを受信し、マルチビットメッセージを送信する。複数のメッセージの個々のメッセージＭは、自己ルーティングとすることができ、メッセージの複数のビットの一部のみが、２つのノード間で送信中であるワームホールルーティングを使用して、ノードを通って移動することができ、マルチビットメッセージは、複数のノードにわたって及ぶ。相互接続構造は、ノードＮ_Aからの第１のデータ入力相互接続、およびノードＮ_Fからの第２のデータ入力相互接続を有するノードＮ_Eと、ノードＮ_Eへメッセージを送るために競合を解決する、ノードＮ_AとノードＮ_Fとの間の制御相互接続とを含むことができる。

図９Ａ、図９Ｂおよび図９Ｃに図示されるシステムのさらに他の実施形態によれば、相互接続構造は、各ノードが複数の入力ポートおよび複数の出力ポートを有する複数のノードと、複数のノードに関連付けられたロジックと、複数のノードに含まれ、出力ポートｏｐｘを有するノードＸとを含むことができる。ノードＸは、入力端子ＩＰＸのセットを有することができ、ノードＸに関連付けられたロジックは、セットＩＰＸの入力端子に入るメッセージを出力ポートｏｐｘへ送ることができる。メッセージＭ_Pが入力ポートセットＩＰＸの入力ポートｐに到達し、出力ポートｏｐｘからメッセージＭＰのターゲットへパスが存在する場合、入力ポートセットＩＰＸに到達するメッセージのうちの１つは、出力ポートｏｐｘがノードＸを通って進んでいないメッセージによってブロックされない限り、出力ポートｏｐｘへ送られることになるように、ノードＸに関連付けられたロジックは動作可能とすることができる。

また、さらなる実施形態において、相互接続構造は、別個のノードＦ_W、Ｆ_BおよびＦ_Xを含む複数の相互接続されたノードと、ノードＦ_Wを通ってメッセージＳ_Wのセットを送ることを含めて、複数のノードを通って複数のメッセージを送るための手段と、メッセージセットＳ_W内のメッセージの一部をノードＦ_Wを通ってノードＦ_Xへルーティングすることを含めて、メッセージセットＳ_W内のメッセージをノードＦ_Wを通ってルーティングすることに関する情報Ｉを送るための手段とを備えることができる。相互接続構造は、ノードＦ_Bを通ってメッセージをルーティングするために情報Ｉを使用するための、ノードＦ_Sに関連付けられた手段をさらに備えることができる。

他の実施形態において、相互接続構造は、ノードＸ、ノードセットＴ、ならびにノードＹおよびＺを含むノードセットＳを含む複数のノードと、ノードを接続する複数の相互接続パスと、複数のノードに結合された複数の出力ポートと、出力ポートへのノードを通ったデータのフローを制御するロジックとを備えることができる。ロジックは、データフローを以下のように制御する。（１）ノードＸは、セットＳ内の任意のノードへデータを送ることができる。（２）ノードセットＴは、ノードＸを通って流れるようにロジックによって他の方法で制御されるデータを代替的に通過させることができるノードを含む。（３）ノードＸを通過するデータにアクセスすることができる任意の出力ポートは、ノードＹを通過するデータにもアクセスすることができる。（４）複数の出力ポートは、ノードＸを通過するデータにアクセスすることができるが、ノードＺを通過するデータにアクセスすることができない出力ポートＯを含む。（５）ロジックは、セットＴ内のノードからアクセス可能な出力ポートの数が、ノードＸからアクセス可能な出力ポートの数よりも小さくなるように、ノードＸを通るデータのフローを制御して、セットＴ内のノードを通って送られるデータメッセージの数を最大化する。

図１０を参照すると、タイミング図は、説明される相互接続構造におけるメッセージ通信のタイミングを例示している。相互接続構造の様々な実施形態において、メッセージ通信の制御は、ノードにおけるメッセージ到達のタイミングによって決定される。図１１に示されるパケット１１００などのメッセージパケットは、ヘッダ１１１０とペイロード１１２０とを含む。ヘッダ１１１０は、バイナリ形式でターゲットリングを指定する一連のビット１１１２を含む。角度Θ₁および高さｚにおける送信元デバイスＣＵ（Θ₁、ｚ₁）が、角度Θ₂および高さｚ₂における送信先デバイスＣＵ（Θ₂、ｚ₂）へメッセージパケットＭを送る場合、ヘッダ１１１０のビット１１１２は、高さｚ₂のバイナリ表現に設定される。

相互接続構造全体にサービス提供するグローバルクロックは、積分時間係数Ｋを維持し、ただし、ここでも、Ｋは、円筒高さｚにおけるノードｎの数を指定する。αの持続時間がβの持続時間を越え、以下の５つの条件が満たされるように、２つの定数αおよびβが存在する。第１に、メッセージＭが、レベルＴのノードＮ（Ｔ、Θ＋１、ｈ_T（ｚ））を、同様にレベルＴのノードＮ（Ｔ、Θ、ｚ）を出た後に出るための時間の量が、αである。第２に、メッセージＭが、レベルＴ－１のノードＮ（Ｔ－１、Θ＋１、ｚ）を、レベルＴのノードＮ（Ｔ、Θ、ｚ）を出た後に出るための時間の量が、α－βである。第３に、メッセージが、デバイスＣＵからノードＮ（ｒ、Θ、ｚ）へ進むための時間の量が、α－βである。第４に、メッセージＭが、持続時間ａの間にノードＮ（ｒ、Θ、ｚ）からノードＮ（ｒ、Θ＋１、ｈ_r（ｚ））へ移動する場合、メッセージＭは、制御コードをノードＮ（ｒ、０、ｚ）からノードＮ（ｒ＋１、Θ、ｈ_r（ｚ））へも送られるようにして、外側のレベルｒ＋１上のメッセージをそらす。メッセージＭがノードＮ（ｒ、Θ、ｚ）に入ってから、制御ビットがノードＮ（ｒ＋１、Θ、ｈ_r+1（ｚ））に到達するまでに経過する時間が、持続時間βである。前述の第４の条件は、メッセージＭがノードＮ（Ｊ、Θ、ｚ）から最も外側のレベルＪのノードＮ（Ｊ、Θ＋１、ｈ_J（ｚ））へ移動する場合にも適用可能であり、その結果、メッセージＭは、制御コードがノードＮ（Ｊ、Θ、ｚ）からネットワークの外部のデバイスＤへ送られるようにし、それにより、Ｄは、Ｎ（Ｊ、Θ＋１、ｈ_J（ｚ））へデータを送る。１つの実施形態においてＤ＝ＣＵ（Θ＋１、ｈ_J（ｚ））である。メッセージＭがノードＮ（ｒ、Θ、ｚ）に入ってから、制御ビットがデバイスＣＵ（Θ、ｚ）に到達するまでに経過する時間が、持続時間１３である。第５に、グローバルクロックは、αの速さでタイミングパルスを生成する。

送信元デバイスＣＵ（Θ₁、ｚ₁）が、メッセージパケットＭを送信先デバイスＣＵ（Θ₂、ｚ₂）へ送る場合、メッセージパケットＭは、デバイスＣＵ（Θ₁、ｚ₁）のデータ出力端子から、最も外側のレベルＪのノードＮ（Ｊ、Θ₁、ｚ₁）のデータ入力端子へ送られる。メッセージパケットおよび制御ビットは、ｎα＋Ｌβという形式を有するときにレベルＴのノードＮ（Ｔ、Θ、ｚ）に入り、ただし、ｎは正の整数である。デバイスＣＵ（Θ₁、ｚ₁）からのメッセージＭは、時間ｔ₀－βにおいてノードＮ（Ｊ、Θ₁、ｚ₁）のデータ入力端子へ送られ、ノードＮ（Ｊ、Θ₁、ｚ₁）が、レベルＪ上を横断するメッセージに由来する制御ビットによってブロックされない限り、時間ｔ₀にノードＮ（Ｊ、Θ₁、ｚ₁）のデータ入力端子へ挿入される。時間ｔ₀は、（Θ₂－Θ₁）ａ＋βという形式を有する。同様に、ノードＮ（Ｊ、Θ₁、ｚ₁）のデータ入力端子が、デバイスＣＵ（Θ₁、ｚ₁）からのメッセージパケットを受信可能となる、（Θ２－Θ１）α＋Ｊβという形式の時間がある。

ノードＮ（Ｔ、Θ、ｚ）は、メッセージパケットＭのターゲットアドレスおよび他のノードからのタイミング信号に基づいてメッセージのルーティングを制御するロジックを含む。ノードＮ（Ｔ、Θ、ｚ）の第１のロジックスイッチ（図示せず）は、メッセージパケットＭが次のレベルＴ－１のノードＮ（Ｔ－１、Θ＋１、ｚ）へ進むべきかどうか、またはノードＮ（Ｔ－１、Θ＋１、ｚ）がブロックされるかどうかを決定する。ノードＮ（Ｔ－１、Θ、Ｈ_T-1（ｚ））から送られる単一ビットのブロッキング制御コードが、時間ｔ₀にノードＮ（Ｔ、Θ、ｚ）に到達するかどうかに応じて、ノードＮ（Ｔ、Θ、ｚ）の第１のロジックスイッチが設定される。例えば、いくつかの実施形態において、第１のロジックスイッチは、ノードＮ（Ｔ－１、Θ＋１、ｚ）がブロックされる場合には、ロジック１値をとり、そうでない場合には、ロジック０値をとる。ノードＮ（Ｔ、Θ、ｚ）の第２のロジックスイッチ（図示せず）は、メッセージパケットＭが次のレベルＴ－１のノードＮ（Ｔ－１、Θ＋１、ｚ）へ進むべきかどうか、またはメッセージパケットＭのヘッダの送信先デバイスＣＵ（Θ₂、ｚ₂）にアクセスするための好適なパス内にノードＮ（Ｔ－１、Θ＋１、ｚ）がないかどうかを決定する。メッセージパケットＭのヘッダは、送信先高さｚ₂（ｚ₂（Ｊ），ｚ₂（Ｊ－１），．．．，ｚ₂（Ｔ），．．．，ｚ₂（１），ｚ₂（０））のバイナリ表現を含む。レベルＴのノードＮ（Ｔ、Θ、ｚ）は、高さ指定ｚ（ｚ_J，ｚ_J-1，．．．，ｚ_T，．．．，ｚ₁，ｚ₀）のうちの単一ビットの指定ｚ_Tを含む。この実施形態において、第１のロジックスイッチがロジック０値を有し、指定高さのビット指定ｚ₂（Ｔ）が高さ指定ｚｒに等しい場合、メッセージパケットＭは、ノードＮ（Ｔ－１、Θ＋１、ｚ）において次のレベルへ進み、送信先高さビットｚ₂（Ｔ）は、メッセージパケットＭのヘッダから取り去られる。そうでない場合、メッセージパケットＭは、ノードＮ（Ｔ、Θ＋１、ｈ_T（ｚ））へと同じレベルＴ上を横断する。メッセージパケットＭがノードＮ（Ｔ－１、Θ＋１、ｚ）へ進む場合、メッセージパケットＭは、時間（ｚｚ－２１＋１）ａ＋（Ｊ－１）１３に等しい時間ｔ₀＋（α－β）に到達する。メッセージパケットＭがノードＮ（Ｔ、Θ＋１、ｈ_T（ｚ））へ横断する場合、メッセージパケットＭは、ある時間から＋ａに到達し、これは時間（ｚ₂－ｚ₁＋１）α＋Ｊβに等しい。メッセージパケットＭが、ノードＮ（ｒ、Θ、ｚ）からノードＮ（Ｔ、Θ＋１、ｈ_T（ｚ））へ送られるにつれて、単一ビットの制御コードは、ノードＮ（Ｔ＋１、Θ、ｈ_T（ｚ））（または、時間ｔ₀＋βに到達するデバイスＣＵ（Θ、ｚ）へ送られる。このタイミングスキームは、相互接続構造の全体にわたって継続され、メッセージパケットが進められたり、そらされたりする間の同期性を維持する。

メッセージパケットＭは、指定された送信先高さｚ₂においてレベルゼロに到達する。さらに、メッセージパケットＭは、時間ゼロ係数Ｋ（高さｚにおけるノードの数）においてターゲットとされた送信先デバイスＣＵ（Θ₂、ｚ₂）に到達する。ターゲットとされた送信先デバイスＣＵ（Θ₂、ｚ₂）が、メッセージパケットＭを受け入れる準備ができている場合、入力ポートは、パケットを受け入れるために時間ゼロ係数Ｋにおいて起動される。有利には、全てのルーティング制御動作が、２つのマルチビット値を全く比較せずに、２つのビットを比較することによって達成される。さらに有利には、メッセージパケットがノードからデバイスへ進む際の相互接続構造の出口ポイントにおいて、比較ロジックが存在しない。デバイスがメッセージを受け入れる準備ができている場合、メッセージは、クロック制御されるゲートを介してデバイスに入る。

図１０および図１１を参照すると、相互接続構造の実施形態は、３つの次元のトポロジーに配置された複数のノードと、ノードＮからターゲット送信先へメッセージを送信するための手段と、を含むことができる。ノードＮからターゲット送信先へメッセージを送信するための手段は、第２の次元および第３の次元におけるターゲット送信先への途中にあり、第１の次元の送信先レベルに向かって１レベル前進するノードが別のメッセージによってブロックされるかどうかを決定するための手段と、途中のノードがブロックされない場合、メッセージを第１の次元の送信先レベルに向かって１レベル進めるための手段と、そうでない場合、第２の次元および第３の次元におけるメッセージを第１の次元における一定のレベルに沿って移動させるための手段とを備えることができる。ノードＮからターゲット送信先へメッセージを送信するための手段は、複数のレベルを記述するための第１の次元、レベルの断面に広がる複数のノードを記述するための第２の次元、レベルの断面内の複数のノードを記述するための第３の次元を特定するための手段と、途中のノードのレベルのノードから、第１の次元のノードＮへ制御信号を送るための手段であって、制御信号は、途中のノードがブロックされるかどうかを特定する、手段と、積分時間係数をレベルの断面内のノードの数に維持するために、タイミング間隔を特定するグローバルクロックを使用して、メッセージの送信のタイミングを取るための手段と、第２の次元および第３の次元におけるメッセージを移動させるための第１の時間間隔ａを設定するための手段とをさらに備えることができる。ノードＮからターゲット送信先へメッセージを送信するための手段は、メッセージを送信先レベルへ１レベル進めるための第２の時間間隔α－βを設定するための手段であって、グローバルクロックは、第２の時間間隔に等しいグローバル時間間隔を特定し、第１の時間間隔は、グローバル時間間隔よりも小さい、手段と、途中のノードのレベルのノードからノードＮへ制御信号を送るための第３の時間間隔を設定するための手段であって、第３の時間間隔は、βに等しい、手段とをさらに備えることができる。

図１２において、単一のチップ１２００は、２つの構成要素を含む。第１の構成要素は、先行する全ての図において説明されたようなＤａｔａ Ｖｏｒｔｅｘスイッチ１２２０であり、第２の構成要素は、処理コアのアレイ１２４０である。図１３を参照されたい。Ｄａｔａ Ｖｏｒｔｅｘスイッチは、外部の送信元からのデータを線１２１０上で受信する。処理コアのアレイ１２４０の処理コア１２５０は、Ｄａｔａ Ｖｏｒｔｅｘスイッチからのデータを線１２３０上で受信することができる。処理コアのアレイ１２４０内の送信側処理コア１２５０は、そのヘッダが、受信側コアのロケーションを示し、そのペイロードが、送信対象のデータを示すパケットを形成することによって、処理コアのアレイ内の受信側コアへデータを送ることができる。図１３において、このパケットは、線１３１０へ送られ、Ｄａｔａ Ｖｏｒｔｅｘスイッチ１２２０に入る。Ｄａｔａ Ｖｏｒｔｅｘスイッチは、パケットを線１２３０上で受信側コアへルーティングする。処理コアのアレイ１２４０内のコアは、出力線１２６０上で、図１３に図示されていないアドレスへもパケットを送ることができる。

４つのプロセッサコアアレイ１２４０を描写する図１４を参照されたい。一般に、任意の数のプロセッサコアアレイが存在し得る。反対に、今日のクロスバーまたはメッシュトポロジーには、それらのトポロジーの終点の限定された数を前提として、プロセッサコアアレイの上限がある。

処理コアのアレイ１２４０内の送信側処理コアは、そのヘッダが、受信側コアのロケーションを示し、そのペイロードが、送信対象のデータを示すパケットを形成することによって、処理コアのアレイのうちの１つにおける受信側コアへデータを送ることができる。このパケットは、線１４５０へ送られ、Ｄａｔａ Ｖｏｒｔｅｘスイッチ１４１０に入る。Ｄａｔａ Ｖｏｒｔｅｘスイッチ１４１０は、受信側処理コアを含む処理コアアレイへパケットをルーティングすることによって、まず受信側コアへパケットをルーティングする。Ｄａｔａ Ｖｏｒｔｅｘスイッチ１２２０は、プロセッサコアアレイ１２４０内の受信側処理コアへパケットをルーティングする。Ｄａｔａ Ｖｏｒｔｅｘスイッチ１４１０および１２２０は、クロスバーではないので、パケットの異なるグループがスイッチに入る際に、スイッチはグローバルに設定およびリセットされる必要はない。今日の技術においては、クロスバースイッチにおける入力の数が増加するにつれて、スイッチを設定するための時間は、入力の数の関数として増加する。他の技術におけるこの設定問題は、長いパケットを引き起こす。パケットは、単に有利に出入りするだけなので、Ｄａｔａ Ｖｏｒｔｅｘスイッチを設定することはない。

展開させる必要のあるＤａｔａ Ｖｏｒｔｅｘスイッチ１４１０の数は、プロセッサコアの総数および送信線の帯域幅に依存する。

与えられた処理コアアレイ１２４０内の処理コアが、その同じアレイ内の別の処理コアへパケットＰＫＴを送る場合、送られるパケットは、Ｄａｔａ Ｖｏｒｔｅｘスイッチ１４１０を通過し、ただし、それは、システムを通過する他のパケットと共に進む。パケットのこのシャフリングは、Ｄａｔａ Ｖｏｒｔｅｘスイッチによって可能にされる他のハードウェアシステムにおいて効果的であることが証明されているランダム性を提供する。これは、クロスバーまたはメッシュを使用してプロセッサコアを接続するチップおよびシステムと異なって、きめ細かな並列処理が存在するため、有利である。きめ細かな並列処理は、輻輳を回避する、短いパケット移動（キャッシュ線以下）を可能にするこれは、小さなデータパケットを必要とする用途にとって理想的である。

シリコン基板１４００上に多数のチップ１２００が存在し得るということは、重要な事実である。これらのチップ間を進むパケットがＳｅｒＤｅｓモジュールを通過する必要はない。今日のハードウェアにおいて、ＳｅｒＤｅｓモジュールを通って進むデータパケットは、著しいレイテンシを追加する。チップ１２００のエッジにＳｅｒＤｅｓモジュールは存在しないので、シリコン基板１４００上のチップ１２００間を進むパケットは、このレイテンシの影響を受けない。

モジュール１２００がプリント回路基板１４００上に配置される場合、線１４５０を使用してＤａｔａ Ｖｏｒｔｅｘスイッチ１４１０を通り、次いで線１４４０を通って１つのモジュール１２００から進むパケットは、各チップ境界上でＳｅｒＤｅｓモジュールを通って進まなければならない。この実装において、パケットが、ＳｅｒＤｅｓモジュールによって引き起こされるレイテンシの影響を受けるとしても、システムは、増加された数のコア、より短いパケット長さ、およびＤａｔａ Ｖｏｒｔｅｘスイッチによって可能にされたきめ細かな並列処理から、依然として利益を得る。

複数のプロセッサコアアレイ１２４０は、より大きい総数の処理コアを可能にし、コアの各々がより大きいサイズとなることを可能にする。クロスバーを使用する今日の技術においては、コアの数が大きくなるにつれて、パケットサイズが大きくなる。図１２、図１３および図１４において説明されたようなＤａｔａ Ｖｏｒｔｅｘを使用すると、コアの数が大きくなっても、パケットサイズは同じままである。

図１４の他の実施形態において、プロセッサコアアレイに隣接するメモリコントローラは、Ｄａｔａ Ｖｏｒｔｅｘスイッチ１４１０を通じてアクセスされる。

同じモジュール（例えば、シリコン基板）上にＤａｔａ Ｖｏｒｔｅｘネットワークおよびプロセッサアレイを配置することには、多数の利点がある。そうすることは、Ｄａｔａ Ｖｏｒｔｅｘパスからシリアライザ／デシリアライザブロック（「ＳｅｒＤｅｓ」）を除去し、したがって、必要とされる電力とレイテンシとを低減する。今日のＤａｔａ Ｖｏｒｔｅｘ対応システムは、コモディティネットワークオンチップによっても遅くされる。同じモジュール上にＤａｔａ Ｖｏｒｔｅｘネットワークを有することは、それらの従来のネットワークオンチップ（ＮｏＣ：ｎｅｔｗｏｒｋ－ｏｎ－ｃｈｉｐｓ）を置換し、システム全体がＤａｔａ Ｖｏｒｔｅｘトポロジーの利点の全てから利益を得ることを可能にする（すなわち、エコシステム全体にわたる輻輳のない、小さいパケット移動）。したがって、非Ｄａｔａ Ｖｏｒｔｅｘ ＮｏＣは、コア間データパスから除去されることが可能であり、したがって、汎用マイクロプロセッサから出て進むパケットが、それらがオフチップＤａｔａ Ｖｏｒｔｅｘネットワークを通過するにつれてばらばらに壊れてしまう先行技術と比較して、パケットは、小さいままであることが可能である。これは、現在のＤａｔａ Ｖｏｒｔｅｘ対応システムと比較して、より一貫したコア間レイテンシ、またはコア／メモリ間レイテンシも提供する。次に上のレベル（基板間）上で、オンモジュールＤａｔａ Ｖｏｒｔｅｘネットワークは、システム全体にわたる共通のソケット間およびコア間アーキテクチャを提供し、同じシステム内の異なるトポロジーの必要性を除去する。これは全て、コア、ソケット、およびサーバにわたる共通のプログラミングモデルを可能にし、それをエンドユーザにとってより簡単なものにする。

ここで使用され得る、「実質的に」「本質的に」、または「およそ」という用語は、対応する用語に対して業界で受け入れられている可変性に関連する。そのような業界で受け入れられている可変性は、１パーセント未満から２０パーセントまでに及び、材料、形状、サイズ、機能性、値、プロセスのバリエーション等に対応するが、これらに限定されない。ここで使用され得るような「結合される」という用語、直接結合と、別の構成要素または素子を介した間接的な結合とを含み、ただし、間接的な結合の場合、介在する構成要素または素子は、動作を変形しない。例えば、推論によって１つの素子が別の素子に結合される、推論される結合は、「結合される」と同じように、２つの素子間の直接的な結合および間接的な結合を含む。

例示的な絵図は、製造プロセスにおける構造およびプロセスアクションを図示している。特定の例は、特定の構造およびプロセス行為を例示するが、多くの代替的実装が、可能であり、単純な設計選択によって一般に作製される。製造アクションは、機能、目的、標準への準拠、レガシー構造等の考慮に基づいて、ここにおける特定の説明とは異なる順序で実行されてもよい。

本開示は、様々な実施形態を説明しているが、これらの実施形態は例示的なものであり、特許請求の範囲の範囲を限定しないものとして理解されるべきである。説明される実施形態の多くのバリエーション、変形、追加および改善が可能である。例えば、当業者は、本明細書において開示されている構造および方法を提供するのに必要なステップを容易に実装し、プロセスパラメータ、材料、形状、および寸法は例としてのみ与えられていることを理解するであろう。パラメータ、材料、および寸法は、変形だけでなく、所望の構造を達成するためにも変更されることが可能であり、それは特許請求の範囲の範囲内である。

Claims (20)

1. ネットワークを通ってデータパケットを通信するように構成された相互接続装置であって、前記データパケットは、データパケットを受信するためにターゲット処理コアを識別するアドレスサブパケットを含む複数のサブパケット内に配置され、前記相互接続装置は、
   ・チップ上のＤａｔａ Ｖｏｒｔｅｘスイッチと、
   ・前記Ｄａｔａ Ｖｏｒｔｅｘスイッチと同じチップ上の処理コアのアレイと、を含み、前記Ｄａｔａ Ｖｏｒｔｅｘスイッチは外部のソースからデータを受け取り、及び前記処理コアのアレイは前記Ｄａｔａ Ｖｏｒｔｅｘスイッチからデータを受信することを特徴とする、相互接続装置。
2. 前記処理コアのアレイは、前記ターゲット処理コア及び送信コアを含み、前記送信コアは、前記ターゲット処理コアのロケーションのアドレスが付されたアドレスヘッダと、前記ターゲット処理コアに送られるデータを伴うペイロードと、を含むデータパケットを形成することにより、前記ターゲット処理コアにデータパケットを送ることができることを特徴とする、請求項１に記載の相互接続装置。
3. 前記送信コアからのデータパケットは、前記送信コアから前記Ｄａｔａ Ｖｏｒｔｅｘスイッチに送られ、前記Ｄａｔａ Ｖｏｒｔｅｘスイッチは、前記アドレスヘッダに基づいて前記データパケットを前記ターゲット処理コアに向けてルーティングすることを特徴とする請求項２に記載の相互接続装置。
4. 前記Ｄａｔａ Ｖｏｒｔｅｘスイッチに送られた前記データパケットは、前記Ｄａｔａ Ｖｏｒｔｅｘスイッチ内で再構成されず、ワームホール様式で前記Ｄａｔａ Ｖｏｒｔｅｘスイッチを通過することを特徴とする、請求項３に記載の相互接続装置。
5. 前記アドレスヘッダに含まれるビットはフリット内に含まれ、バス幅のデータパス内の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチを通過することを特徴とする、請求項４に記載の相互接続装置。
6. 前記Ｄａｔａ Ｖｏｒｔｅｘスイッチは、前記Ｄａｔａ Ｖｏｒｔｅｘスイッチと同じチップの上の処理コアアレイ上の２つ以上の処理コアのコアとコアとの接続、または前記Ｄａｔａ Ｖｏｒｔｅｘスイッチと異なるチップの上の処理コアアレイ上の２つまたはそれ以上の処理コアのコアとコアとの接続に使用されることを特徴とする請求項５に記載の相互接続装置。
7. 送信側処理コアから前記Ｄａｔａ Ｖｏｒｔｅｘスイッチに送られたデータパケットは、前記ターゲット処理コアの宛先により１つまたは２つのパスを通過し、
   （ｉ）前記Ｄａｔａ Ｖｏｒｔｅｘスイッチと同じチップのアレイ中の送信側処理コアが同じチップの同じアレイ中のターゲット処理コアにデータパケットを送った場合、前記データパケットは、前記Ｄａｔａ Ｖｏｒｔｅｘスイッチへのパスで送られ、前記送信側処理コアと同じアレイ中の前記ターゲット処理コアに向けて反転する、
   （ｉｉ）チップ上の送信側処理コアが異なるチップ上の異なるアレイ中のターゲット処理コアにデータパケットを送った場合、前記データパケットは、前記送信側処理コアから前記ターゲット処理コアを含むチップ上の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチまでのパスで送られ、前記Ｄａｔａ Ｖｏｒｔｅｘスイッチは、前記データパケットを前記ターゲット処理コアに送ることを特徴とする、請求項６に記載の相互接続装置。
8. 単一の処理チップにおける前記処理コアの数を、Ｋ＞Ｎである１からＫの処理コアと通信する処理チップ上のアレイ内の１からＮの処理コアの範囲とすることができることを特徴とする、請求項７に記載の相互接続装置。
9. ネットワークを通ってデータパケットを通信するように構成された相互接続装置であって、前記データパケットは、データパケットを受信するためにターゲット処理コアを特定するアドレスサブパケットを含む複数のサブパケット内に配置され、前記相互接続装置は、
   ・それぞれがＤａｔａ Ｖｏｒｔｅｘスイッチ及び処理コアのアレイを含む複数のチップと、
   ・各Ｄａｔａ Ｖｏｒｔｅｘスイッチ及び前記複数のチップの各々の上の処理コアの各アレイと通信するマスタＤａｔａ Ｖｏｒｔｅｘスイッチと、を含み、前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチは、各Ｄａｔａ Ｖｏｒｔｅｘスイッチまたは処理コアの各アレイの間でデータパケットを通信することを特徴とする、相互接続装置。
10. 前記複数のチップのいずれか１つに含まれる前記処理コアのアレイのいずれか１つの中の送信側処理コアは、前記ターゲット処理コアのロケーションを特定するヘッダと、送られる日付を含むペイロードとを有する前記送信側処理コアのコアパケットを形成することにより、前記複数のチップの他の１つの処理コアのアレイに含まれるターゲット処理コアにデータパケットを送るができることを特徴とする、請求項９に記載の相互接続装置。
11. 前記データパケットは、前記送信側処理コアから前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチへ、前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチからターゲット処理コアを含むチップ上の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチへ、及び前記ターゲット処理コアを含む前記チップ上の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチから前記ターゲット処理コアへ送られることを特徴とする、請求項１０に記載の相互接続装置。
12. 前記データパケットは、前記送信側処理コアから前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチへ、及び、前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチから前記ターゲット処理コアへ送られることを特徴とする、請求項１０に記載の相互接続装置。
13. 前記データパケットは、前記送信側処理コアから前記送信側処理コアと同じチップ上の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチへ送られ、及び、前記送信側処理コアと同じチップ上の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチから、前記データパケットを前記ターゲット処理コアと同じチップ上の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチへ送られ、または直接前記ターゲット処理コアへ送ることができる前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチへ送られることを特徴とする、請求項１０に記載の相互接続装置。
14. 前記データパケットは、前記送信側処理コアから前記送信側処理コアと同じ処理コア上の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチへ、当該Ｄａｔａ Ｖｏｒｔｅｘスイッチから前記ターゲット処理コアへ直接送られることを特徴とする、請求項１０に記載の相互接続装置。
15. 各チップ上の前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチおよび前記Ｄａｔａ Ｖｏｒｔｅｘスイッチのいずれもは、パケットの異なるグループが前記スイッチに入るときに、グローバルに設定およびリセットすることを必要としない、ことを特徴とする請求項１０に記載の相互接続装置。
16. ネットワーク内でデータパケットを通信する方法であって、
    データパケットを受信するためのターゲット処理コアを特定するアドレスサブパケットを含む、複数のサブパケット内にデータパケットを配置すること、
    Ｄａｔａ Ｖｏｒｔｅｘスイッチ及び処理コアのアレイを同じチップに置くことと、
    外部ソースからのデータを前記Ｄａｔａ Ｖｏｒｔｅｘスイッチにおいて受信することおよび前記Ｄａｔａ Ｖｏｒｔｅｘスイッチからのデータを前記処理コアのアレイにおいて受信することと、を含むことを特徴とするデータパケットを通信する方法。
17. ターゲットコアのアドレスを含むヘッダと、前記ターゲットコアに送られるデータを含むペイロードとを有する送信コアにおけるデータパケットの形成をさらに含むことを特徴とする、請求項１６に記載のデータパケットを通信する方法。
18. ネットワーク内でデータパケットを通信する方法であって、
    データパケットを受信するためのターゲット処理コアを識別するアドレスサブパケットを含む、複数のサブパケット内に前記データパケットを配置することと、
    Ｄａｔａ Ｖｏｒｔｅｘスイッチ及び処理コアのアレイの両方を複数のチップ上に置くことと、を含み、
    ・前記複数の各チップ上の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチおよび処理コアのアレイの両方を、マスタＤａｔａ Ｖｏｒｔｅｘスイッチに接続し、前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチは、各Ｄａｔａ Ｖｏｒｔｅｘスイッチまたは処理コアの各アレイとの間でデータパケット通信をすることを特徴とする、データパケットを通信する方法。
19. 前記複数のチップのいずれか１つに含まれる前記処理コアのアレイのいずれか1つに含まれる送信側処理コアから、前記複数のチップの他の１つに含まれる処理コアのアレイに含まれるターゲット処理コアにデータパケットを送ることと、前記ターゲット処理コアのロケーションを識別するヘッダと、送られるデータを含むペイロードとを有する前記送信側処理コア用のデータパケットを形成することと、をさらに含むことを特徴とする、請求項１８に記載のデータパケットを通信する方法。
20. 前記データパケットを、前記送信側処理コアから前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチに送り、及び、前記ターゲット処理コアを含むチップ上の前記マスタＤａｔａ Ｖｏｒｔｅｘスイッチと、前記ターゲット処理コアを含むチップ上の前記Ｄａｔａ Ｖｏｒｔｅｘスイッチとから前記ターゲット処理コアへ送ることをさらに含むことを特徴とする、請求項１９に記載のデータパケットを通信する方法。

Images