JPH07505490A - 低近接３次元インターコネクト - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 低近接３次元インターコネクト 発明の背景 この発明は、一般に、コンピュータアーキテクチャ−の分野に関する。

典型的に、コンピュータは、特定タスク又は機能を行う計算モジュールの相互接 続セットを含む。これらのモジュールは、バスを通して各モジュールの引き込み 及び引き出し線を適切に接続することにより全システムに組み立てられる。バス により、多様なコンピュータチップ又はボードはデータを通信し交換することが できる。この標準化アプローチは、システム設計者が相互接続の詳細について煩 うことな（、要求された任意の方式で構成要素を物理的に配置することを可能に した。

しかし、バスアーキテクチャ−は、モジュール間の通信効率を大きく制約する。

これは、高速、高効率コンピュータに対する今日の探求における重大な制限であ る。バスはすべての通信をシリアル化するために、それらは隘路を生成する。事 態を悪化することには、相互通信の全容量は、システムサイズと情報の交換需要 が増大する時、はぼ一定のままである。さらに、各トランザクションによって黄 やされた時間は、最短バスを除いてすべてのバスにおける通信帯域幅を制限する 決定因子である、バスの物理長を収容しなければならない。これらの欠如は、最 新コンピュータシステムにおける通信のベースとしてバスの実行可能性を縮小す る。

モジュール間の通信の効率を高めるために、最新マルチプロセッサーアーキテク チャ−は、バス以外の種々のトポロジーを設計された。そのようなトポロジーと しては、１次元、２次元及び３次元トポロジーがあ発明の要約 将来のコンピュータシステムのサイズは、空間と通信帯域幅の効率的利用のため に３次元トポロジーの使用を指定している。最大柔軟性のために、これらのトポ ロジーは、増分的拡張可能性、任意のスケーラビリティを有し、高速静的及び動 的通信をサポートするべきである。

本発明は、３次元メツシュにおいて配置したモジュール間の機械的、電気的及び 論理的相互接続を標準化するモジュラ−高性能通信基板を設ける。このメツシュ は、機械的及び電気的特性が厳密に制約され高度に最適化された複製近隣リンク から構成される。これらの制約は、現代のスーパーコンピュータにおいて見いだ される特別な相互接続と好都合に匹敵される非局所通信に対する性能パラメータ を許容する。

本発明の好ましい実施態様により、３次元電気回路組立体が設けられる。組立体 は、それぞれの回路をサポートするための複数のモジュールを含む。各モジュー ルは、６つよりも少ない平坦表面に沿って少なくとも３セツトのコネクタを有す る。コネクタは、基板上の回路を隣接モジュールに接合する。隣接モジュールは 、３次元アレイにおいて相互接続する如（、相互に関して方向付けられる。

モジュールは、回路ボード、半導体チップ、マルチチップモジュールと任意の形 状の筐体を含む任意の形式を取る。垂直上部及び下部コネクタを有する回路ボー ドモジュールは、組立体に特に適する。

３次元アレイの好ましい形状は、四面体格子であり、この場合、接合されたモジ ュールの各々は、４つの他のモジュールと通信する。好ましい実施態様は、ダイ ヤモンド格子に同型である。ダイヤモンド格子は、等方性であることにおいて特 に都合が良い。従って、各モジュールは、４つの軸に沿って隣接モジュールに接 続するためのコネクタを有する。

隣接モジュールは、単一共通軸に沿って接続されるが、隣接モジュールからの接 続が反対方向において行われる如く相互に関して回転される。

組立体は、垂直相互接続のみにより複数の平坦モジュールから作製しても良い。

従って、モジュールの各平坦表面は、一対の類似する平行の拡張コネクタセット を支持する。基板の対向表面におけるコネクタセットは、互いに相補的であり、 相互に関して９０°回転される。モジュールは、３次元四面体格子を規定する如 く、隣接モジュールに接合される。

別の実施態様において、３次元回路組立体は、三角形状モジュールから構成され 、この場合、各モジュールは３つの隣接モジュールと通信する。コネクタは、モ ジュールの上側三角形表面、下側三角形表面と縁において形成される。各コネク タは、接続軸を横断する軸に沿って配設され、横軸は相互に関して１２０°変位 される。

各モジュールの基板は、複数の回路チップを支持し、そして補助回路ボードは、 基板に取り付けられる。

ダイヤモンド格子と同型である格子において、各モジュールは、コネクタに関し て物理的に同一であるが、２つの方向のいずれかにおいて方向付けられる。各モ ジュールは、反対定位のモジュールにのみ接続される。２つの定位の各々はまた 、２相クロツクの２相のいずれかで識別され、その結果、近隣モジュールは、モ ジュール間通信において同一クロック相に作用しない。

ダイヤモンド格子と同型であり、平坦な重なりモジュールを具備する格子構造に おいて、モジュールは、格子の各レベル内で水平に離間され、これにより、冷却 剤流の経路と補助ボードの空間を許容する。合成曲折流路は、冷却剤流体、空気 又は液体が指向される時、乱流を保証する。

本発明の３次元組立体は、４要素ベクトルによってアドレス指定される。各ベク トル要素は、基板から送信される特定メツセージが移動する４つの非直交方向を 表現する。４要素アドレス指定系は、２つのモジュールが同一アドレスを割り当 てられず、２つのアドレスが同一モジュールを割り当てられないことを保証する 。

本発明は、さらに、３次元回路組立体を設ける好ましい方法を含む。

まず、複数のモジュールが提供される。それから、回路は複数のモジュール上に 据え付けられる。次に、隣接モジュールは、接続モジュールが３次元アレイを形 成するために相互に関して回転される如く、モジュール軸に沿って接続される。

本発明は、以後、好ましい実施態様と使用方法に関連して記載されるが、発明を この実施態様に限定することは意図されないことが理解される。代わりに、添付 の請求の範囲によって規定された如く、本発明の精神と範囲内に包含されるすべ ての代替物、修正及び等個物を覆うことが意図される。

図面の簡単な説明 第１図は、先行技術の３次元通信インターコネクトを示す。

第２図は、本発明の一実施態様と同型であるダイヤモンド格子の結晶構造を示す 。

第３図は、ダイヤモンド格子の原子を再マツプする直線アレイである。

第４ａ図は、４つの近隣（４Ｎ）へ接続するために各ノードにおいて４つのコネ クタセットを有する３Ｄ四面体インターコネクトの分解図を示す。

第４ｂ図は、コネクタが図示された第４ａ図のモジュールの相互接続を示す。

第５ａ図と第５ｂ図は、３Ｄ−４Ｎメツシユにおいて具現されたモジュールの詳 細図を示す。

第６図は、３Ｄ−３Ｎ通信インターコネクトを示す。

第７ａ図と第７ｂ図は、３Ｄ−３Ｎ通信インターコネクトにおいて具現されたド ラムの前面図と背面図を示す。

第８図は、平面図と側面図において第７ａ図と第７ｂ図のモジュールを示す。

発明の詳細な説明 通信網は、接続性を特徴とする。網の分類は、無限網内の中央ノードからｎ時間 ステップにおいて到達可能なノード数による。到達可能なノード数が直線的に成 長する（例えば、因子Ｘ時間ステップ数＋定数）ならば、網は、１次元として分 類され、Ｏ（ｎ）として指定される。同様に、到達可能なノード数が二次的に成 長するならば、網は、２次元として分類され、０（ｎ２）として指定される。こ うして、異なるノード数が０３として成長するならば、網は、３次元として分類 され、Ｏ（ｎ”）として指定される。

網における各ノードは、通信ポート又はコネクタセントを通してその近隣に接続 される。ノードは、ポート数又はポートに接続された近隣数を特徴とする。３つ のポートを有するノードは、６つのポートを有するノードよりも複雑でないと考 えられる。

通信網の記述は、接続性と近隣数から定式化される。例えば、１次元トポロジー においてつなぎ合わされた一連の２ポートノードは、ＬＤ−２Ｎ網と呼ばれる。

２次元デカルトメソシュにおいて接続された４ポートノードの集合は、２Ｄ−４ Ｎ網と呼ばれる。ある組み合わせに対して、この記述は完全である（例えば、唯 一のＩＤ−２Ｎ網がある）。他のものに対して、それは不完全である。

スケーラプルな３次元６近隣（３Ｄ−６Ｎ）通信インターコネクト又はメツシュ １０が、第１図に示される。メツシュは、３次元メツシュを形成するために接続 された基板又はモジュール又はノード１２を含む。

第１図は、その面が６つの直近隣へ信号接点並びにパワー及び冷却剤を設ける立 方体として各モジュールを描く。

本発明は、第１図に示されたメソツユよりもより効率的でノード複雑性の低い多 様なトポロジーを開示する。本発明の好ましいトポロジーは、３Ｄ−４Ｎ網であ る。

好ましい３Ｄ−４Ｎ網は、ダイヤモンド格子の結晶構造（すなわち、結晶性炭素 ）に基づく。ダイヤモンド格子は、本発明の３Ｄ−４Ｎメツシユに組み込まれ、 第２図に示される。ダイヤモンド格子において、各炭素原子は、４つの近隣原子 と結合する４つのリンク又は軸を有する。

４つの原子の集合体は、単位セルを形成し、繰り返された時、完全な結晶格子を 構成する。３Ｄ−４Ｎにおいて、回路支持モジュールは、炭素原子に対応し、各 原子は４つの近隣モジュールにリンクされる。ダイヤモンド格子形状３Ｄ−４Ｎ メツンユにおける各モジュールをメツシュ内の位置レベルを表現する数（０，１ ，２，３，４）で指定する。レベル０を有する基板は、メツシュの底部に位置付 けられ、レベル１の基板はレベル０基板の上に位置付けられ、レベル２基板は、 レベル１基板の上に位置付けられ、レベル３は次の高レベルにあり、そしてレベ ル４は最高レベルを占有する。それから、レベル４はミ反復格子構造の次グルー プに対してレベル０とラベル付けされる。メツシュのレベルは、各基板の軸を隣 接レベルにおける基板に接続することにより連結される。例えば、各レベル０（ ４）基板は、２つのレベル１及び２つのレベル３の基板の軸にリンクされる。各 レベル１基板は、２つのレベル０及び２つのレベル２の基板にリンクされる。各 レベル２の基板は、２つのレベル１及び２つのレベル３の基板にその４つの軸に よってリンクされる。基板のすべてをリンクした後、３Ｄ−４Ｎメツシユは、ダ イヤモンド格子の形式を有する。

３Ｄ−４Ｎ四面体メッシュは、さらに、第２図に示されたダイヤモンド格子から 平面上への投影によって再マツプされた機械的均質ノードの直交アレイを使用す ることにより概念化される。第３図は、再マツプされた原子の直線アレイを示す 。第３図のノード又は基板は、ダイヤモンド格子セルにおける対応する原子の相 対高さ及びレベルを示すために番号付けされる。第２図のノード間のリンクは、 高位層に位置付けられたノードを指す矢印として、第３図において表現される。

各ノード間の矢印は、水平及び垂直リンクを表現する。例えば、３と４にラベル 付けされた一対のノード間の矢印は、レベル０ノードのすぐ上と次のレベルセッ トのレベル０ノードであるレベル４におけるノードへの水平及び垂直リンクを表 現する。

本発明の３Ｄ−４Ｎメツツユは、Ｘ及びＸ方向におけるノード間の間隔を縮小し 、交互層をオフセットすることにより、第３図の直線アレイから導出され、レベ ル１／２とレベル３１０の境界においてＸ方向に、レベルＯ／１とレベル２／３ の境界においてＸ方向に通信を行うために、重なる水平表面への接点を可能にす る。　−第４ａ図は、第２図における四面体格子と第３図の直線アレイに対応す る５レベルのモジュールを有する３Ｄ−４Ｎメツシユ１４を示す。３Ｄ−４Ｎ四 面体インターコネクトは、複数の平面化モジュール又はノード１６を含み、各々 はそれぞれの回路を支持する（第４ｂ図）。メツシュ１４の最低基板レベルは、 レベル０によって表現される。次に高い基板レベルは、レベル１によって表現さ れ、それから、レベル２、レベル３、そして最高レベルはレベル４によって表現 される。　モジュール１６は、レベルＯ−４において複数の基板の各々に沿って 重なりがある如く、メツシュ１４において位置付けられる。垂直コネクタと平坦 基板が、３Ｄ−４Ｎ四面体インターコネクト１４を創設するために使用される。

基板は、コネクタ嵌合を許容するために水平に互いに重なる。これは、基板の各 側における４つの縁の２つのみが接続のために使用されるために可能であり、水 平に重なるが水平の干渉なしに、一様サイズ基板を垂直に接続させる。結果は、 最下レベル０から最高レベル４にらせん状に上昇する３Ｄ−４Ｎメツシユである 。

メツシュは、隣接基板が、相互に関して、好ましくは約９０°、コネクタ定位に おいて回転される如く構成される。こうして、任意の一つの基板から通信は、４ つの異なる方向において発生される。例えば、レベル１と指定されたモジュール は、レベル２として指定された２つの基板へ上方にデータを垂直に通信し、そし てレベルＯとして指定された２つの基板へ下方にデータを垂直に通信する。

相互接続の３つの例の軸は、第４ａ図において１５において示される。

これらの軸は第３図のリンクに対応し、矢印は上方に第２図のリンクを指す。第 ２図、第３図と第４ａ図の対応するノードは、図番号によって先行された同様の ２桁の番号によって示される。例えば、第２図のノード２０１は、第３図のノー ド３０１と第４ａ図のノード４０１に対応する。図からノード４０１はＸ方向に おいて下方に接続することが見られる。それはまた、不図示の基板とＸ方向にお いて上方に接続する。下方レベル３における隣接基板４０３と４０５は、それぞ れ、基板４０７．４０９と４１１．４１３にＸ方向において下方に接続し、Ｘ方 向において上方に接続する。それから、レベル２基板は、例えば、モジュール４ １５と４１７にＸ方向において下方に接続する。最後に、らせんは、モジュール ４１９へＸ方向における下方の接続で完成する。

垂直コネクタが使用されるが、有効な接続軸は、図の２軸に沿っていないことが 見られる。例えば、基板４０５からの接続は、Ｃｚｓ〜Ｘ）、（ｚ、ｘ）、（− ｚ、ｙ）と（−ｚ、−ｙ）方向である。隣接レベルの両レベル２と４における接 続軸は、（−ｚ、ｘ）、（−Ｚ、−Ｘ）、（ｚ、−ｙ）と（ｚ、ｙ）方向である 。上記のリストから、隣接モジュールは同一軸に沿って反対方向において接続を 有することが見られる。

例えば、レベル２モジユールの（−Ｚ、Ｘ）方向は、レベル３の（Ｚ　５−ｘ） 方向と正反対である、等である。下記の如く、接続方向を特徴とする２つのモジ ュール定位がある。

モジュールのメツシュ内に、メツシュの全体で冷却流体を伝達する複数の曲折チ ャネル２５を形成する非占有空間がある。流体がチャネルを通って垂直に押しや られる時、空気の乱流が、メツシュ内に生成される。

乱流空気は、メツシュ１４内のすべての熱放散基板１６を均一に冷却するだめに 多数の交差通路を通って流れる。

複数の全チャネルは、所望ならば、メツシュ１４をより密な相互接続に統合させ るために任意の程度に閉じられる。統合は、各レベル内で基板を相互に接近させ 、こうして、レベル間の水平型なりを増大させることにより行われる。密相互接 続は、高速、高効率コンピユータ網を達成するために望ましい。本発明の３Ｄ− ４Ｎメツシユは、無限界に密になるケイパビリティを有するが、そのような構造 は、冷却ケイパビリティを制限される。

ダイヤモンド格子３Ｄ−４Ｎ網１４は、等方性トポロジーを有し、無限網におい て基板の任意のポートから観察された論理サブトリーが、その基板又は同−網に おける任意の他の基板から観察されたすべての他のサブトリーに同型（実質的に 同一）であることを意味する。

このダイヤモンド格子３Ｄ−４Ｎ網の一層の特性は、すべての基板がインターフ ェースにおいて機械的に同一である組立体の機械的均質性である。こうして、任 意のノードは、網内の任意の位置に置かれ、網の機械的同一性を維持する。ノー ドは均質であるが、それらは、単に機械的に互換性であり、種々の論理機能を行 う。

第４ｂ図は、第４ａ図の３Ｄ−４Ｎメッシュ内のモジュール１６のさらに詳細な 図を示す。各モジュールは、回路工８、ソケット１９とピン２１を含む。ソケッ ト１９は、上のモジュールを連結するために各平面化基板の対向側に沿って据え 付けられる。ピン２１は、下のモジュールを接続するための対向側において平面 化基板の各々の下に置かれる。各モジュールのピンとソケットは、各隣接モジュ ールのソケットとピンに相補的である。こうして、複数の基板は、それぞれのソ ケットとピンを通して接合される。

第４ｂ図は、それぞれのコネクタセットを介して、隣接モジュールと通信する各 モジュールを示す。例えば、レベル２として指定されたモジュールは、レベル１ とレベル３として指定されたモジ゛ニールの回路と通信する。この構成は、モジ ュールからの情報を４つの方向において伝搬させる。

各モジュールは、垂直次元のみにおいてその近隣に接続され、個々のボードは、 ブリックの方式において機械の頂部から除去され、又は頂部に追加されることを 意味する。組み立て又は分解の各ステップにおいて、単一ボードのコネクタの半 数のみの嵌合又は分離力が加えられなければならず、そして位置合わせは、単一 ノードの幅のスケールにおいてのみ達成される必要がある。

本発明のメツシュは、合計数千のピンとの多数のコネクタを介して、互いに積み 重ねた非常に大きな回路ボードから構築された、第１図の６近隣デ力ルト３次元 系（３Ｄ−６Ｎ）に付随した問題を解消する。内部故障を修復するために、欠陥 部分を横切る２次元平面に沿って全機械を分割することを通常意味する機械的ア クセス動作が行われなければならない。

第５ａ図は、モジュールの上面に据えられた集積回路１８と１９を示す。回路は 、各ノードにデータを処理させ、それぞれのコネクタセットを通して隣接ノード における他の回路と通信させる。例えば、チップ１８ａは、モジュール間通信制 御と切り換え回路を設けるが、チップ１８ｂは、局所ノード処理を設ける。

最小水平型なりの実施態様において、３次元容積の４分の１のみが、占有される 。これは、各基板の上にプラグをされる「娘ボード」の如く補助ボードのための 垂直空間を残す。また、この空間は、ディスクドライブの如く分散周辺装置のた めに使用される。第５ｂ図は、基板の上に立設する娘ボード２７を示す。娘ボー ドの上部において、４つの集積回路３１がある。マルチチップモジュールは、各 ノードにその通信及び処理ケイパビリティを増大させる。

複数のモジュールは、各個のモジュールによってサポートされるクロスポイント スイッチ及びレジスターの使用を通してメツシュにおける通信を容易にする。ク ロスポイントスイッチ及びレジスターは、複数のモジュールの間の並列接続を設 ける。

３Ｄ−４Ｎインターコネクト１４のハードウェアの複雑性は、はぼ０（Ｃ２Ｗ） で成長する幅ＷのＣチャネルの高性能切り換えノードを有するクロスポイントス イッチを特徴とする。３Ｄ−６Ｎ近隣メソシユの如く網は、６つの近隣スイッチ を使用し、各直交次元に沿って各移動方向に対して一つのチャネルを有する。６ の代わりに４近隣トポロジーを使用することにより、四面体インターコネクト１ ４は、スイッチ複雑性の縮小を実現する。ノード当たりの通信ピン数（ＣＷ）を 一定にすると、Ｃ４＝　２　／　３　Ｃ６かっ　Ｗ４　＝　３　／　２　Ｗ６４ 及び６つのサブユニットは、それぞれ、４近隣及び６近隣網を表記する。これは 、全ピン等価６近隣スイッチの２／３　Ｃ６６％）である４近隣スイツチのスイ ッチ複雑性を生ずる。付加チャネルが局所ノードへの通信のために使用されるな らば、５近隣が、７近隣スイツチと比較され、そして節約は、５／７　（７５％ ）に縮小されるが、なお実質的である。

メツシュにおいて、クロスポイントスイッチの信号伝搬遅延の相当な部分は、そ の容量負荷の縮小により直線的に降下する。この負荷は、切り換えチャネルの数 にほぼ対応する。こうして、チャネルの縮小数により、４近隣スイツチ対６近隣 スイツチにおいて個別切り換えノード待ち時間の相当な減少（又は、等測的に、 網クロック周波数の増大）がある。

第４ａ図に示された如＜３Ｄ−４Ｎ四面体インターコネクト１４は、等方性であ る。異方性３Ｄ−４Ｎ網は、６Ｎ　３Ｄメツシユの各ノードを接続する６つのチ ャネルの２つを除去することにより構成される。構成は、第１図に示された如く であり、各モジュールは、その上面及び下面並びに２つの対向側面において接続 を有する。側方接続は、連続垂直レベルに関してＸ及びＹ方向において交替する 。

不幸にも、チャネル幅が一様であるならば、そのような網は、３つの移動方向に 沿って不等帯域幅を有し、知的経路指定と負荷分布を複雑な事項にする。網負荷 を平衡化するために、通信プロセスを高網帯域幅の方向に沿ってさらに分離し、 低網帯域幅の方向に沿って接近させ再配置することが必要になる。代替的に、各 次元においてチャネル当たりの専用ピン数（すなわち、幅）を変化させても良い 。全般的に、異方性網は、等価チャネル及びピンカウントの等方性網よりも劣る 。　第４ａ図に関して議論された如く、隣接基板は、反対方向において接続する 。２つのノード定位が存在することが見られ、近隣ノードへの接続のＸ１Ｙ及び Ｚ（深さ）オフセットによって識別される。

近隣への接続オフセット 定位０　定位１ ｘｙｚ　ｘｙｚ 本発明のノード定位は、「０」と「１」としてラベル付けされる。各ノード定位 の利用可能なリンクオフセットは、互いに反対である。すなわち、定位ｒＯＪノ ードは、定位「１」にのみ接続し、また逆でもある。

各ノード対ノード接続は、Ｘ又はＹ方向のいずれか（両方向ではない）における 増分又は減分と、常に、Ｚ（深さ）方向における増分又は減分とを含む。

第１図のデカルト３Ｄ−６Ｎ網において、メツセージは、通常、「マンハツタン 」ルートに沿って移動し、各ステップは、直交軸の一つの方向において行われる 。四面体インターコネクト１４は、３次元トポロジーに拘わらず、表１に示され た４リンクオフセツトに対応する、４つの非直交移動方向を有する。こうして、 ３座標系において四面体インターコネクトのノード座標と経路指定方向を記述す ることは困難である。

簡易化アドレス指定機構が、４座標又は４次元アドレス指定系を使用することに より獲得される。４−Ｄアドレス指定系において、ダイヤモンド格子における各 リンク軸の方向は、４次元の一つに対応する。

上記の如く、四面体インターコネクトにおいて２つのノード定位がある。任意の ノードにおいて、メツセージは、単一方向において４次元のいずれかにおいて移 動する。その方向において一つのリンクを移動すると、メツセージは、反対定位 のノードに到着し、同一方向における同一次元に沿って継続しない。代わりに、 移動は、４次元の任意に沿って、反対方向において進行しなければならない。

一様性のために、定位「０」ノードから定位「１」ノードへの移動は、＋１のオ フセット値を有するが、定位「１」ノードから定位「０」ノードへの移動は、− １のオフセット値を有する。３−Ｄ位置オフセット［Ｘ、Ｙ、Ｚ］の４−Ｄアド レスオフセット［Ａ、Ｂ、Ｃ，Ｄ］へのマツピングが、表２に示される。

表２ 近隣へのオフセット、定位Ｏのノード ３−Ｄ位置　４−Ｄ位置 ＸＹＺ　ＡＢＣＤ ＋１　０　−１　＋１　０　０　０ −１０−１　０＋１００ ０＋１　＋１　００＋１０ ０−１＋１　０００＋１ 近隣へのオフセット：定位１のノード ３−Ｄ位！！　−４−Ｄ位置 ＸＹＺ　ＡＢＣＤ −１０＋１　−１０００ ＋１０＋１　０−１００ ０　＋１−１　０００−１ 中央網ノードは、［０，０，０，０］とラベル付けされ、そして定位「０」と任 意に宣言される。メツセージは、中央ノード［０，０，０，０］から［１，０， ０，０］、　［０，１，０，０］、　［０，０，１，０］又は［０，０，０，１ ］のいずれかに移動する。いったんこの第２ノード（定位「１」）になると、移 動方向は、４次元のいずれかになるが、反対方向に、すなわち、−１のアドレス 増分に制限される。例えば、第２ノードが［１，０，０，０］であったならば、 メツセージは、［０，０，０，０］、［１、−１，０，０］、［１，０、−１， ０］又は［１，０，０、−１］のいずれかにおける第３ノードに移動する。

継続した移動が＋１と−１の交番アドレス座標増分を呼び起こすために、４Ｄア ドレス座欅の合計は、すべての定位「０」ノード（中央ノードから偶数のホップ 数があるノード）において０１そしてすべての定位「１」ノード（中央から奇数 のホップ数があるノード）において＋１に制約される。こうして、座標合計は、 ノード定位に正確に等しく、そしてまた、中央からの経路指定距離のパリティに 等しい。

帰納により、その４座標合計が０又は１であるアドレスは、妥当ノードアドレス であることが示される。合計Ｏ又は合計１の制約は、ノード座標を２つの４次元 超平面の一つに置かせることに対応し、各超平面は、ノードの定位に対応する。

リンクは、定位「０」を定位「１」ノードに接続する（及びその逆）ために、メ ツセージは、各超平面内を直接に移動することができない。代わりに、それらは 、２つの平面の間をジグザグに進まなければならない。

本発明は４−Ｄアドレスを使用するために、アドレス指定系がどのように良好に 規定されるかについて関心がある。４−Ｄアドレス空間は、１゜２つのノードが 同一アドレスを割り当てられない、２．２つのアドレスは同一ノードを割り当て られない、ならば良好に規定される。３空間における物理的ノード位置は一意的 であることが知られるために、これらの２つの性質の検証は、３−Ｄ位置から４ −Ｄアドレスへのマツピングが１対１であることの立証に等しい。

中央ノード［０，０，０，０］をラベル付け、上記の表に示されたオフセットを 使用するならば、ノードの３−Ｄ位置（［Ｘ、Ｙ、Ｚｌ　）は、次の如く、その ４−Ｄアドレス（［Ａ、Ｂ５Ｃ５Ｄ］　）から算出される。

なお、第４量Ｔは、ノードの定位（０又は１）を示す３−Ｄ物理座標に加算され 、その４−Ｄアドレスの合計によって与えられる。

上記の方程式から、４−Ｄアドレス［ＡＳＢ、Ｃ％Ｄ］は、ただ一つの３−Ｄ位 置及び定位［Ｘ、Ｙ、ＺＳＴ］にマツプされることが見られ右側マトリックスは 、一意的な逆マトリーツクスを有し、その結果、こうして、所与の３−Ｄ位置（ 及び定位、唯一の値を有するように必ず制約される）は、ただ一つの４−Ｄアド レスにマツプされる。マツピングは、このため、１対１である。

４次元アドレス指定機構は、マンハッタンスタイル方式において四面体インター コネクト内の経路指定を許容するが、４ストリート（リンク）毎に３つが欠ける 。欠けるリンクは、利用可能なルートの数を制限するが、ルート距離の計算は、 なお同一である。通り抜けなければならない最小数のリンクを獲得するために、 すべての４つの座標でアドレス差分を単に合計する。

最小距離ルートに沿った各ステップにおいて、多（て３つの移動方向の選択が可 能である（あて先にいないならば、現アドレスと所望アドレスの間の差分は、同 一符号の多くて３つの非ゼロ座標を有する）。定位「０」ノードにあるならば、 次のホップは、１を次元の一つに加算し、こうして、その目標座標が現ノードの 対応圧挿よりも大きい次元の任意の選択を有する。最小ルート（すなわち、［０ ，０，０，０］〜［０，０，１０、−１０］）に対して、選択は全くない。

４−Ｄアドレス指定機構が使用され（マンハッタン経路指定を設ける）、４−Ｄ における各「欠」リンクがルータ−に利用不能としてマークされるならば、デカ ルト３Ｄ−４Ｎメツシユのために作用するデッドロックのない適応性経路指定機 構はまた、３Ｄ−−４’Ｎ四面体インターコネクトのために作用する。３Ｄ−４ Ｎ四面体インターコネクトは、ターンが必要とされる前に、単一「ホップ」を持 続させる真っすぐの通りチャネルを有する。本発明の新しいデッドロックのない 経路指定機構は、四面体インターコネクトにおいて性能と負荷平衡を太き（改良 する。

そのような経路指定機構の一つの例は、所与の形式の一ノードから同一形式の別 のノードへ経路指定する手段としてリンク対のグループ化に係わる。開始ノード は定位１にあり、別の定位１ノードへのルートが必要とされると任意に仮定しよ う。これは、偶数のホップ数が使用されなければならない、すなわち、まず１を 減算し、それからあて先に達するまで、アドレス座標の対に１に加算することを 意味する（４−Ｄアドレスが可変数のトークンで満たされた４ビンを有するなら ば、これは、一つのビンからトークンを除去し、それを別のビンに置くことに対 応する）。

任意のノードにおいて、どの座標対を減分し、それから増分するかの選択は、１ ２の可能性のうちの一つの選択に係わる。これは、６つの異なる符号のない方向 に沿った二重ホップ移動の２つの極性に対応する。

これは、良好に規定されていないことが容易に示される６次元アドレス指定機構 を示唆するものではない（すなわち、異なる６−Ｄアドレスオフセットを有する ２つのノード間に２つの異なる経路がある）。６つの方向は、４マンハッタンア ドレス次元よりも直接の経路指定のためにより有益である。というのは、移動が 、連続する二重ホップに対して同一方向に継続するためである。こうして、デッ ドロック（及びその適応的修正）を回避するために移動方向の厳格な順序付けを 使用する経路指定戦略が、直接に使用されるが、各ノードにおいて（通常の３つ の代わりに）６つの考察移動方向がある。非適応性システムにおいて、各中間ノ ードで、あて先に達するまで、６つの各二重ホップ方向に沿ってできるだけ遠く に経路指定する。

二重ホップ経路指定機構における各リンクは３つの異なる符号付き移動方向に対 して使用されるために、各符号付きリンク方向において３ワードの緩衝が必要と される。

第６図は、物理的に三角形の固形物から形成した３近隣ノード又は基板（３Ｄ− ３Ｎ）から構成された別の３次元メツシュ（３Ｄ−３Ｎ）２４を示す。この図に おける各ノードは、その断面が正三角形である平坦固形物を具備する。３つのノ ードは、ドラム２８を形成するために垂直に積み重ねられる。ドラムは、垂直列 において組み立てられ、次に、２つの水平次元において密接パックされる。

各ノード２６は、１２０°だけオフセットしたコネクタ３０を通して垂直隣接近 隣と通信し、その結果、列におけるノードは、互いに関して回転される。各ノー ドの第３通信ボートは、方形側面の一つにあり、横に隣接するノードの類似ポー トと嵌合する。一つのコネクタは、上面に据え付けられ、別のコネクタは下面に 据え付けられ、そして最後は、側面の一つに据え付けられる。

第７ａ図と第７ｂ図は、ドラムの前面図と背面図を示す。各ドラム２８は、５つ の近隣ドラムと通信し、この場合、３つの横近隣との接続は、ドラム内の異なる レベルにある。近隣ドラム間の横通信は、一般に、適切な横接続による層に達す るために垂直通信を必要とする。垂直面におけるコネクタは、各面がコネクタを 有するらせんを形成する。

ノードグループが３空間においてぴったり合うために、コネクタは、各集合面に 据え付けられる。上側及び下側コネクタが三角形ノードの相違する面にあるとい う条件は、ノードの定位が垂直列を通してらせん状になることを保証する。この ため、ドラム２８は、各面上コネクタの条件を満足する最小ノードグループを有 する。

第７ａ図と第７ｂ図に示されたドラムを第８図に示された図で解釈すると、ドラ ムは、右と左から押されたならば適正に嵌合する（縁コネクタは回転により定位 マークに合わされることを想起せよ）。こうして、列は、任意の高さを有し、隣 接列は、相互に関して１２０６回転される。

本発明の３Ｄ−３Ｎメツシユ２４は、三角形ノードの代わりに方形ノードを有し ても良い。一つの可能性は、方形ノードで構成された３Ｄ−３Ｎメツシユが、４ つの垂直面があるために、３つではな（４つのブロックから成ることである。別 の可能性は、方形の側部の一つにおいてコネクタを据えないことにより、方形ノ ードから３ノードのドラムを創設することである。ドラムは、三角形ノード系の トポロジーを保存するような方式で組み立てられる。

発明が、好ましい実施態様に関連して詳細に示され記載されたが、多くの代替物 、修正及び変形が、添付の請求の範囲によって規定した如〈発明の精神及び範囲 に反することなく、技術における当業者には明らかになることが理解される。例 えば、コネクタは好ましい垂直及び水平表面に取り付けられて示されたが、それ らは、例えば、傾斜させてはす縁において取り付けても良い。用語垂直及び水平 は、単に相対的な用語であり、アレイの定位を限定しない。

従来技術 補正書の写しく翻訳文）提出書　（特許法第１８４条の８）平成６年９月１６日

Claims (40)

【特許請求の範囲】
1. １．３次元電子回路組立体において、それぞれの回路をサポートする複数の平面 化モジュールを具備し、各モジュールは、モジュールにおける回路を隣接モジュ ールに連結するために６つよりも少ない平坦面に沿って少なくとも３セットのコ ネクタを有し、隣接モジュールは、３次元アレイにおいて相互接続する如く相互 に関して方向付けられる３次元電子回路組立体。
2. ２．各モジュールが、３つの他のモジュールと通信する請求の範囲１に記載の３ 次元電子回路組立体。
3. ３．各モジュールが、４つの他のモジュールと通信する請求の範囲１に記載の３ 次元電子回路組立体。
4. ４．モジュールが、４要素ベクトルによってアレイ内でアドレス指定される請求 の範囲３に記載の３次元電子回路組立体。
5. ５．３次元アレイが等方性格子である請求の範囲１に記載の３次元電子回路組立 体。
6. ６．複数の回路チップが、各モジュールによってサポートされる請求の範囲１に 記載の３次元電子回路組立体。
7. ７．基板に取り付けた補助回路ボードをさらに具備する請求の範囲１に記載の３ 次元電子回路組立体。
8. ８．コネクタが、垂直接続を設ける請求の範囲１に記載の３次元電子回路組立体 。
9. ９．３次元アレイが、ダイヤモンド格子と同型である格子構造を形成する請求の 範囲１に記載の３次元電子回路組立体。
10. １０．各モジュールが、２つの定位の一方であり、各定位は、種々の相互接続方 向を有し、各モジュールは、反対定位のモジュールにのみ接続される請求の範囲 １に記載の３次元電子回路組立体。
11. １１．モジュール間の通信を制御するための２相クロック入力をさらに具備し、 反対定位のモジュールは反対相のクロックにおいて作用する請求の範囲１０に記 載の３次元電子回路組立体。
12. １２．平坦表面を有する複数のモジュールを具備する３次元回路組立体であり、 各表面は、一対の同様の平行の拡張コネクタセットをサポートし、モジュールの 対向表面におけるコネクタセットは、互いに相補的であり、相互に関して９０° 回転され、モジュールは、基板が３次元四面体格子を規定する如く隣接モジュー ルに連結される３次元回路組立体。
13. １３．複数のモジュールが、モジュール間に曲折垂直流路がある如く、レベル内 で水平に離間される請求の範囲１２に記載の３次元回路組立体。
14. １４．基板が、４要素ベクトルによってアレイ内でアドレス指定される請求の範 囲１２に記載の３次元電子回路組立体。
15. １５．複数の回路チップが、モジュール内の基板によってサポートされる請求の 範囲１２に記載の３次元電子回路組立体。
16. １６．モジュール内の基板に取り付けた補助回路ボードをさらに具備する請求の 範囲１２に記載の３次元電子回路組立体。
17. １７．各モジュールが、２つの定位の一方にあり、各定位は、種々の相互接続方 向を有し、各モジュールは、反対定位のモジュールにのみ接続される請求の範囲 １２に記載の３次元電子回路組立体。
18. １８．モジュール間の通信を制御するための２相クロック入力をさらに具備し、 反対定位のモジュールは反対相のクロックにより信号を出力する請求の範囲１７ に記載の３次元電子回路組立体。
19. １９．３次元電子回路組立体において、それぞれの回路をサポートする複数のモ ジュールを具備し、各モジュールは、４つの軸に沿ってモジュールの３次元アレ イの隣接モジュールへ接続するためのコネクタを有し、隣接モジュールは、単一 共通軸に沿って接続されるが、隣接モジュールからの接続が反対方向において為 される如く、相互に関して回転される３次元電子回路組立体。
20. ２０．モジュールが、４要素ベクトルによってアレイ内でアドレス指定される請 求の範囲１９に記載の３次元電子回路組立体。
21. ２１．モジュール間の通信を制御するための２相クロック入力をさらに具備し、 反対定位のモジュールは反対相のクロックにおいて作用する３次元電子回路組立 体。
22. ２２．コネクタが、垂直接続を設ける請求の範囲１９に記載の３次元電子回路組 立体。
23. ２３．ダイヤモンド格子と同型である３次元格子構造において相互接続した複数 のモジュールを具備する３次元電子回路組立体。
24. ２４．３次元電子回路組立体において、それぞれの回路をサポートする複数のモ ジュールを具備し、各モジュールは、モジュールの３次元アレイの４つの隣接モ ジュールへ接続するためのコネクタを有し、モジュールは、一意的な４次元ベク トルによってアレイの各モジュールをアドレス指定する通信回路構成をサポート する３次元電子回路組立体。
25. ２５．各モジュールの回路が、垂直に接続される請求の範囲２４に記載の３次元 電子回路組立体。
26. ２６．３次元電子回路組立体において、それぞれの回路をサポートする複数のモ ジュールを具備し、各モジュールは、隣接モジュールの回路を接続する４つのコ ネクタセットを有し、モジュールは、相互に関して回転され、各モジュールは４ つの隣接モジュールに連結される３次元電子回路組立体。
27. ２７．３次元電子回路組立体において、それぞれの回路をサポートする複数のモ ジュールを具備し、各モジュールは、隣接モジュールの回路を接続する３つのコ ネクタセットを有し、モジュールは、相互に関して回転され、各モジュールは３ つの隣接モジュールに連結される３次元電子回路組立体。
28. ２８．モジュールが三角形である請求の範囲２７に記載の３次元電子回路組立体 。
29. ２９．コネクタが、モジュールの上側三角形表面、下側三角形表面と縁において 形成され、各コネクタは、接続軸を横断する軸に沿って配設され、横軸は相互に 関して１２０°変位される請求の範囲２６に記載の３次元電子回路組立体。
30. ３０．３次元電子回路組立体を設ける方法において、複数のモジュールを設ける 段階と、 複数のモジュールにおいて回路をサポートする段階と、接続されたモジュールが ３次元アレイを形成するために相互に関して回転される如く、６つよりも少ない モジュール軸に沿って隣接モジュールを接続する段階とを含む方法。
31. ３１．モジュール間の曲折チャネルを通って冷却流体を押し流す段階をさらに含 む請求の範囲３０に記載の方法。
32. ３２．４要素ベクトルでモジュールをアドレス指定する段階をさらに含む請求の 範囲３０に記載の方法。
33. ３３．接続されたモジュールの各々が、３つの他のモジュールと通信する請求範 囲３０に記載の方法。
34. ３４．接続されたモジュールが、各々、４つの他のモジュールと通信する請求の 範囲３０に記載の方法。
35. ３５．３次元アレイが等方性である請求の範囲３０に記載の方法。
36. ３６．多重電子回路チップを各モジュールに取り付けることをさらに含む請求の 範囲３０に記載の方法。
37. ３７．補助回路ボードを各モジュールに取り付けることをさらに含む請求の範囲 ３０に記載の方法。
38. ３８．モジュールが垂直接続を通して接続される請求の範囲３０に記載の方法。
39. ３９．３次元アレイが、ダイヤモンド格子と同型である請求の範囲３０に記載の 方法。
40. ４０．３次元アレイ内の基板が、２つの定位の一方を取り、方法は、さらに、定 位によりクロック信号の交番相において通信するようにモジュールを計時するこ とを含む請求の範囲３０に記載の方法。