JP6880242B2 - ブレークアウトモジュールシステム - Google Patents

Description

（関連出願）
本出願は、２０１７年２月１４日に出願された米国仮特許出願第６２／４５８，８８７号に対する優先権を主張する。

（発明の分野）
本開示は、サーバアーキテクチャの分野に関し、より具体的には、サーバルーム内のサーバのラックの構成に関する。

１つの典型的なコンピューティング構成では、クライアント及びサーバが存在する。一般に、クライアント及びサーバは、同じボックス内にあるように、互いに近接して位置付けされてもよく、又はクライアントが１つのボックス内に入れられ、サーバがいくらかの距離をとって離れて位置付けされた別のボックス（多くの場合、別の部屋又は異なる建物、場合によっては、異なる都市又は国又は大陸）内に位置付けされるように、間隔をおいて位置付けされてもよい。クライアント及びサーバが互いに近接して位置付けされたことにより、クライアントとサーバとの間の待ち時間が低くなるが、サーバが複数のクライアント間で共有されることを困難にし、多くの場合、サーバの過少利用をもたらす。加えて、サーバが集中的な計算を実行している場合、より多くの電力がローカルで必要になる（これは、明らかにモバイルデバイスの問題である）。したがって、効率及びコストのために、サーバをサーバファームに設置することが、ますます一般的になっている。

ネットワークを介したサービス提供の増加のこの一般的な傾向をサポートするために、並びにサービス提供されたコンピューティングサービスに依存する多数のモバイルデバイスをサポートするために、サーバの使用は実質的に増加している。サーバの数の劇的な増加は、大規模なコンピューティングサービスプロバイダが、サーバで満たされた大規模な施設を設計及び保守する状況につながっている。これらの施設は、サーバファームとして知られることもあり、数百又は数千平方メートルのサーバを収容する場合がある。

理解され得るように、そのような施設を管理することは困難なタスクである。このような大規模な施設を有することは、サーバが適切にプロビジョニング、保守、及び交換され得るように、いくつかの論理的な組織の使用を必要とする。機械的ロジスティクスに加えて、計算ロジスティクスも考慮しなければならない。様々なクライアントがサーバへの入力を提供し、サーバはいくつかの量の計算作業（例えば、タスク）を実行し、次いでサーバはクライアントに応答を提供する。アーキテクチャ的に言えば、リソースを効率的に管理して、入力を受信するための帯域幅を確保するために、必要な計算を実行し、出力を提供することは、全体的なワークロードのバランスをとるように構成される必要がある。

図１Ａ及び図１Ｂは、このような一般的な構成の１つを示す。サーバのラックは、施設内に位置付けされる。各ラックの上部にはスイッチがあり、一般にラックの上部スイッチ又はＴＯＲスイッチと呼ばれる。このＴＯＲスイッチは、アクティブな光接続を介して、１００メートル以上離れ得るいくつかの入力ポイント（スパインと呼ばれることもある）に接続される。ＴＯＲスイッチはまた、パッシブ銅ケーブルを介して、計算ノード（サーバとして機能することができる）に接続される。

１つの一般的な構成は、ＱＳＦＰ型レセプタクルを、ＴＯＲスイッチ内で使用することである。例えば、ＱＳＦＰレセプタクルは、ＴＯＲスイッチとスパインとの間、及びＴＯＲスイッチと計算ノートとの間で通信するように構成されている。ＴＯＲスイッチからスパインに向かうＱＳＦＰレセプタクルの場合、ＱＳＦＰレセプタクルは、電気信号を光信号に変換し、次いで、それらの信号を光ファイバの上で送信する、アクティブ光学モジュールを受容する。ＴＯＲスイッチと計算ノードとの間の距離がはるかに短いため、ＴＯＷスイッチと計算ノードとの間に、安価なパッシブ銅ケーブルを使用することができる。各ＱＳＦＰコネクタは、４つの双方向チャネルを有し、したがって、ＱＳＦＰプラグコネクタは、４つのＳＦＰ型コネクタ（それぞれ１つの双方向チャネルを有する）に分割される場合がある。したがって、３２ポートスイッチでは、８ポートがスパインに向けられ、２４ポートが計算ノードに向けられている。理解され得るように、このようなスイッチは、スイッチとスパインとの間の接続のオーバーサブスクリプションを３：１にする。具体的には、スイッチと計算ノードとの間の帯域幅は、スイッチとスパインとの間の帯域幅の３倍である。実際には、そのような比率は、計算ノードを依然として効果的にサポートしつつ、通信チャネルの合理的なバランスのとれた利用をもたらす傾向があり、したがって広く採用されている。

しかしながら、現在の構成では問題が存在する。１つの問題は、データレートが、２８Ｇｂｐｓ〜５６Ｇｂｐｓ（ＮＲＺ符号化を使用）及び１１２Ｇｂｐｓ（ＰＡＭ４符号化を使用）に増加すると、現在のＴＯＲスイッチが現在の構成のサポートに問題を有することである。具体的には、最長ケーブルの長さは約２．５メートルと予想されるため、ＴＯＲスイッチからラックの下部にある計算ノードへのパッシブケーブルアセンブリは、前方誤り訂正（ＦＥＣ、forward error correction）を使用しないとサポートが困難になる。ＦＥＣの使用は、実質的な追加のエネルギーをもたらし、したがって、大規模なサーバファームにおけるエネルギー消費を、実質的に増加させる。加えて、現在のＱＳＦＰ接続は、より高速のパッシブケーブルリンクをサポートするには不十分である可能性が高い。結果として、特定の個人は、改善されたサーバラック構成を高く評価するであろう。

複数の計算ノードを提供するためのサーバラックシステムは、ボックスのラックを含み、各ボックスは、１つ以上の計算ノードをサポートする。計算ノード（プロセッサであり得る）は、ラックの中央（ＭＯＲ、middle of the rack）スイッチに接続されており、それにより、ＭＯＲスイッチと計算ノードとの間のケーブル長を短くすることができる。ＭＯＲスイッチは、光ケーブルに直接接続されてもよく、又は電気信号の光信号への変換を可能にする、電気−光パネル（ＥＯＰ、electrical to optical panel ）に接続されてもよい。ＥＯＰはスパインと通信し、いくつかの実施形態では、他のＥＯＰと通信してもよい。ＭＯＲスイッチをＥＯＰと組み合わせて使用することは、改善された熱管理を可能にし、更に隣接するサーバとスパインとの間の通信経路の更なる柔軟性を可能にする。

本開示は、例として示され、添付図面に限定されるものではなく、ここにおいて、同様の参照番号は類似の要素を示す。

先行技術のサーバラック構成を示す概略図である。 図１Ａに示される先行技術のサーバラック構成を示す別の概略図である。 ラックの中央（ＭＯＲ）スイッチを有するサーバラックの一実施形態を示す概略図である。 図２Ａに示されるサーバラック構成を示す別の概略図である。 ＭＯＲスイッチ及び電気−光パネル（ＥＯＰ）を有するサーバラックの一実施形態を示す概略図である。 図３Ａに示されるサーバラック構成を示す別の概略図である。 ＭＯＲスイッチ及びＥＯＰを有するサーバラックの別の実施形態を示す概略図である。 図４Ａに示されるサーバラック構成を示す別の概略図である。 ＭＯＲスイッチの一実施形態を示す概略図である。 ＥＯＰの一実施形態を示す概略図である。 先行技術のスイッチ構成の一実施形態の特徴を示す図である。 先行技術のスイッチ構成の一実施形態の特徴を示す図である。 先行技術の回路基板構成の特徴を示す図である。 ＭＯＲスイッチの一実施形態を示す概略図である。 図１０に示される実施形態を示す別の概略図である。 図１１に示される実施形態を示す別の概略図である。 スイッチチップに隣接する回路基板上に取り付けられたコネクタを示す概略図である。 スイッチチップに隣接する回路基板上に取り付けられたコネクタを示す別の概略図である。 挿入損失が低減されたＭＯＲスイッチの一実施形態を示す概略図である。 挿入損失が低減されたスイッチの一実施形態を示す概略図である。 ストレインリリーフブロック構成の一実施形態を示す概略図である。 ストレインリリーフブロック構成の別の実施形態を示す概略図である。 ＥＯＰの一実施形態を示す概略図である。 スイッチを有するＥＯＰの一実施形態を示す概略図である。 ２つの隣接するラックサーバの一実施形態を示す概略図である。 ２つの隣接するラックサーバの一実施形態を示す概略図である。 ２つの隣接するラックサーバの別の実施形態を示す概略図である。 ２つの隣接するラックサーバの別の実施形態を示す概略図である。 ２つの隣接するラックサーバの別の実施形態を示す概略図である。

以下の詳細な説明は、例示的な実施形態を説明し、開示される特徴は、明示的に開示された組み合わせ（複数可）に限定されることを意図するものではない。したがって、特に明記しない限り、本明細書で開示される特徴は、簡潔にするために別様に示されていない追加の組み合わせを形成するために、一緒に組み合わされてもよい。

図２Ａ及び図２Ｂから理解され得るように、サーバラック４０の一実施形態が開示される。サーバラック４０は、複数のボックス（典型的には、１Ｕ又は２Ｕサイズであるが、他のサイズもまた適切である）を含み、各ボックスはいくつかの計算ノードを提供する。計算ノードは、本質的に不均質又は均質であり得、限定するものではないが、１つ以上のＦＰＧＡ、ＣＰＵ、コントローラ、ＡＳＩＣ、ＤＳＰ及び／又はＧＰＵなどの様々な既知の構造を含み得る。各計算ノードは、いくつかの種類の計算能力を提供するように構成され、異なる計算ノードは、意図される使用に応じて異なる能力を有することができる。

理解され得るように、図２Ａに示される構成は、図１Ａの先行技術の設計と同様であるが、ラックの中央（ＭＯＲ）スイッチ７０を含んでいる。このような構成により、ＭＯＲスイッチ７０と計算ノード５０との間に延在するケーブル５５（好ましくは、パッシブ銅ケーブルであろう）を短くして、ケーブル５５の最長の長さが約１．５ｍになるようにすることができると決定された。このような最大長さにより、サーバラックは前方誤り訂正（ＦＥＣ）なしで機能できることが期待される。

ＭＯＲスイッチ７０は、ＴＯＲスイッチと共に従来使用されている１つ以上の光ケーブル３５（光ケーブルはそれぞれ、１つ以上の光ファイバを含む）を介して、ケーブルプラント３０（時々スパインと呼ばれることがあり、特定の施設の編成方法に応じて幅広い構成を有することができる）に接続されている。１つの潜在的な問題は、光ケーブル３５が、ＴＯＲスイッチの位置付近に十分な緩みを含まない場合には、光ケーブル３５をＭＯＲスイッチ７０に延在させることが困難であり、新たな光ケーブルを引く必要があり得ることである。当然のことながら、新たな光ケーブルを引くことは、そのような設計のコスト効果を低減する傾向がある。しかしながら、特定の状況では、図２Ａの構成が実現可能であることが予想される。所望であれば、図１６に示される要素（以下に開示される）などの追加の特徴もまた、ＭＯＲスイッチ７０に追加することができる。

サーバファームの電力を大幅に削減できるＦＥＣの削除に加えて、正味の効果はケーブル全体の長さを低減することに留意されたい。したがって、描写された設計は、ケーブル部分のコスト削減を提供するべきである。

図３Ａ及び図３Ｂは、ＭＯＲスイッチ１７０を含む、上部１４０ａ及び下部１４０ｂを有するサーバラック１４０の別の実施形態を示す。ＭＯＲスイッチ１７０は、上部１４０ａと下部１４０ｂとの間に位置決めされ、上部１４０ａと下部１４０ｂとの間のほぼ中間に位置決めされることが好ましい。図示の実施形態では、ＭＯＲスイッチ１７０は、電気−光スイッチを含まない。その代わりに、電気−光パネル（ＥＯＰ）１８０がラックの上部上に設けられている。ＥＯＰ１８０は、ラックの上部上に位置決めされることが最も望ましいと予想されるが、ラックの上部付近にＥＯＰ１８０を位置決めする（例えば、ラックサーバ内ではあるがラックの上部に隣接して位置付けされる）ことも企図されることに留意されたい。ＭＯＲスイッチ１７０は、２メートルより短い（潜在的に約１．５メートル以下である）ケーブル５５を用いて、計算ノード５０に接続される。ＭＯＲスイッチ１７０は、パッシブケーブル（長さ約１．５メートルであり得る）を介して、ＥＯＰ１８０に接続され、その際、ＥＯＰは、１つ以上の光ケーブル３５を介して、ケーブルプラント３０に接続されている。図３Ｂから理解され得るように、場合によっては、ＭＯＲスイッチ１７０内のポートよりも多くの計算ノードが存在する。問題を処理するために、ケーブルは、ＭＯＲスイッチ１７０における４Ｘインターフェースと、計算ノードにおける１Ｘインターフェースとを含むことができる。計算ノード及びポートの数に応じて、この比は、ＱＳＦＰコネクタとＳＦＰコネクタの４：１の比とは異なるものに変更することができる。

理解され得るように、図３Ａに示される描写された設計の利点のいくつかは、エネルギー消費に関する。パッシブケーブルの長さの低減は、システムがＦＥＣなしで高いデータレートをサポートすることを可能にし、好ましくは、方向チャネルごとに少なくとも５６Ｇｂｐｓをサポートすることを可能にし、より好ましくは、方向チャネルごとに１１２Ｇｂｐｓをサポートすることを可能にする。更に、ＥＯＰの使用は、光学モジュールが著しい量の熱エネルギーを発生させる傾向があるため、改善された熱管理を可能にする。ＭＯＲスイッチから光モジュールを分離することによって、全ての構成要素を熱的観点から適切に管理することを確実にすることが、はるかに容易になる。

図４Ａ及び図４Ｂは、図３Ａ及び図３Ｂに示す構成と同様の構成を有する、ラックサーバ２４０を有する別の実施形態を示す。図３Ａに示す実施形態と同様に、ケーブルプラント３０は、光ケーブル３５を用いて、ＥＯＰ２８０に接続されている。ＥＯＰ２８０は、次に、ケーブル２５７を用いて、ＭＯＲスイッチ２７０に接続されている。次いで、ＭＯＲスイッチ２７０は、ケーブル２５５を用いて、計算ノードに接続されている。理解され得るように、主な違いの１つは、ＱＳＦＰ及びＳＦＰコネクタが、次世代コネクタと置き換えられ、したがってケーブル２５５及びケーブル２５７が使用されることである。ＱＳＦＰ及びＳＦＰコネクタは数年間使用されてきたが、それらの基本構造は高いデータレートに対して最適以下であり、したがって、非ゼロ復帰（ＮＲＺ、non-return to zero）エンコードを使用して５６Ｇｂｐｓデータレートを、またＰＡＭ４エンコードを使用して１１２Ｇｂｐｓデータレートをサポートするのにより適した、次世代コネクタを使用することがより望ましい。

図５は、ＭＯＲスイッチ１７０などのＭＯＲスイッチのブロック図を示す。典型的には、ＭＯＲスイッチは１Ｕボックスとして構成され、そのような構成は企図されるが、全ての場合に必要なわけではない。多数の特徴を追加することができるが、上述のように、この設計の１つの潜在的な利益は、電気−光変換がＭＯＲスイッチから移動できることである。これにより、廃熱が大幅に削減され、ＭＯＲスイッチの冷却がより効果的になる。図示された実施形態には、計算ノードにつながる２４個のコネクタポートを含むＥＯＰにつながる８個のコネクタポートがあるが、特に既存のＱＳＦＰ型コネクタよりもコンパクトな次世代コネクタを使用する場合、他の数の接続が可能である。しかしながら、ＭＯＲスイッチがスパインに直接接続されることが意図されている場合（例えば、図２Ａに示すように）、アップリンクコネクタは適切に構成され、追加の冷却が必要となる可能性がある。

ＥＯＰ１８０などのＥＯＰの概略図を図６に示す。ＥＯＰは、比較的効率的に作製することができるが、１つの著しい利益は、廃熱エネルギーをＭＯＲスイッチから遠ざけることができる能力である。標準的なスイッチアーキテクチャでは、ポートが送受信機モジュールを受容することが不明であるため、全てのポートに電力が供給される。しかしながら、ＥＯＰでは、送受信機モジュールを受け入れることができるポートは既知であり、したがって、送受信機を受容しないポートに電力を供給しないことによって、いくらかの浪費電力を回避することができる。加えて、理解され得るように、集中した熱は、ラック構成で冷却することが難しくなり、スイッチのすぐ隣に光送受信機を設置することは、単一のボックス内の熱負荷を増加させる。図示されたＥＯＰは、電気信号をより長い遷移長さに好適な光信号に変換する廃熱エネルギーを生成する、電気−光モジュールを受け入れるＱＳＦＰポートを更に含むことができる。しかしながら、それらをＭＯＲスイッチから遠ざけて位置付けすることによって、熱負荷を管理することがより容易になる。当然のことながら、ＭＯＲスイッチから離れて熱を移動させることにより、ＭＯＲスイッチの信頼性の向上及び性能の向上も可能になる。また、ＥＯＰは電気信号を光信号に直接変換することができ、別個の電気／光送受信機モジュールが不要になることに留意されたい。このような状況では、ＥＯＰは、ＱＳＦＰレセプタクルなどのより従来のポートの代わりに、ＥＯＰをケーブルプラント又はスパインに接続することを可能にする、ルーセントコネクタ／物理的接触（ＬＣ／ＰＣ、Lucent Connector/Physical Contact ）コネクタなどの標準的な光ファイバコネクタを含むことができる。

図７〜図９は、従来のスイッチアーキテクチャを示す。具体的には、ポート３５５は、ボックスの前面上又は前面に設けられ、スイッチングタスクを実行するチップ３１０を含むチップパッケージ３１５への接続を提供する、回路基板３２０上に取り付けられたコネクタによって形成される。動作中、空気は、典型的には、前面３３０と後面３３４（側壁３３２を越える）との間に方向付けられる。このような設計により、チップ３１０上に取り付けられたヒートシンク３１２の上を空気が通過する（したがって、熱問題に対処する）ことを可能にするが、チップと外部ポートとの間の物理的距離により、外部ポートのための長いトレース経路を作り出す。既知のように、回路基板は、高周波数信号をかなりの長さにわたってルーティングするのに最適ではなく、図示された設計は、より長い距離を延在するトレースのためのシステムの信号完全性を低下させる。結果として、外部ポートのパフォーマンスは、アセンブリ全体のパフォーマンスを制限する。

図１０〜図１４は、低コストの回路基板材料の使用を維持しながら、性能の向上を可能にする代替的な実施形態を示す。具体的には、より小さい次世代コネクタを使用することにより、コネクタ４３６を用いて、ポート４３５がボックス４００の前面４３０の一部分のみにグループ化されることを可能にする。小型コネクタ４３６は、嵌合側４２０ａ及びチップ側４２０ｂを有する回路基板４２０上に垂直に取り付けられ得、回路基板４２０は、前面４３０と実質的に平行になるように配置される。このような構成では、回路基板４２０は、前面から背面への空気流を直接遮断する。しかしながら、コネクタ４３６のサイズにより、ポート４３５をグループ化しても、十分に大きなサイズであり、かつ回路基板４２０の開口部４２１と整列する空気入口４０７を、ボックス４００の片側に提供することが可能である。空気入口４０７は、空気が空気流マニホルド４０８に流れることを可能にし、空気流マニホルド４０８は、次に、スイッチングチップ４１０を冷却するのを助けるために使用される熱モジュール４１５（例えば、ヒートシンク）にわたる空気経路４０９に通じるように、空気を方向付ける。理解され得るように、空気経路４０９は、空気入口４０７内に方向付けられている空気の方向の変化を提供し、一実施形態では、方向の変化は約９０度である。制御面４４０及び電力面４５０（どちらも小型回路基板として提供され得る）は、回路基板の一方の側に位置付けられてもよく、その結果、熱モジュール４１５を通過する空気はまた、冷却を使用することができる各ボード上の任意の構成要素を冷却することができる。一実施形態では、電力面４５０及び制御面４４０のうちの１つは、熱モジュール４１５の上方に位置付けられてもよく、電力面４５０及び制御面４４０のうちの別の１つは、（図１２から理解され得るように）ボックス４００の側部４００ａから見たときに、熱モジュール４１５の下方に位置付けられ得る。

ボックスの前面のポート４３５のサイズ及び配向により、スイッチチップ４１０をポート４３５のそれぞれに対してより等距離に位置付けることが可能であり、可能な配置が図１３及び図１４に示されている。ポート４３５の構成に応じて、スイッチチップ４１０は、ポートがスイッチチップ４１０の２つの側面、又は場合によっては最大４つの側面（図１３に示すように）上に位置付けられるように位置付けられ得る。合計距離は、２０ｃｍ（又はそれ以上）〜約１０ｃｍ（又はそれ以下）まで低減することができる。その結果、図示された設計は、（スイッチチップと先行技術の設計の対応するコネクタとの間で１０ｃｍを超えて延在するトレースと関連付けられた損失のため）他の方法では不適切であろうボード材料を、高いデータレートにより適したものにする可能性がある。

図１５〜図１７Ｂは、別の様式で回路基板の損失に伴う問題に対処する、スイッチシステム（ＭＯＲスイッチ又はＴＯＲスイッチとすることができる）の一実施形態で使用することができる特徴を示す。スイッチ１７０’は、信号を送受信するように構成されたチップ５１０をサポートする、（任意の所望の好適な材料から形成され得る）回路基板５２０を含む。コネクタ５６０は、チップ５１０に隣接して位置決めされる。ケーブル５７５は、前面５３０から延在し、そのケーブルは、コネクタ（任意の所望の構成であり得る）５８０内で終端する。したがって、理解され得るように、ポートにチップを近づけようと移動するのではなく、コネクタ５６０はチップ５１０に隣接して位置決めされ、コネクタ５６０はケーブルアセンブリに直接接続されている。そのような実施形態では、回路基板５２０（又は性能の更なる改善のためにコネクタ５６０が基板に直接取り付けられた場合に基板）からケーブルへの最初の遷移（直接的又は回路基板上に取り外し不可能に取り付けられたコネクタ内の端子の使用を介してのいずれか）を有することが可能である。ケーブル５７５は、スイッチ１７０’の前面５３０から延在し、コネクタ５８０を介して計算ノードに直接的に接続することができる。

理解され得るように、このような構成は、チップ５１０と、ボックスの前面に差し込まれるケーブル５７５との間の少なくとも２回の遷移を回避する。各遷移は、ある程度の挿入損失を本質的にもたらし、したがって、図示された設計は、従来の設計と比較して、チップ５１０とケーブル５７５の端部上のコネクタ５８０との間の損失の低減を可能にする。したがって、このような実施形態は、全体的なシステム損失を著しく低減することができる。

しかしながら、そのような構成による１つの問題は、ケーブル５７５が適切なストレインリリーフ保護を有すること（又はケーブルに適用される任意の力が、潜在的にシステムを損傷するコネクタ５６０に適用されること）を確実にする必要があることである。ケーブル５７５は、ストレインリリーフブロック５７０がボックスの前面５３０を越えたケーブルの並進を防止することにより、前面を過ぎる過度の並進から保護され得る。したがって、示される実施形態は、チップ５１０（チップパッケージであってもよい）とボード５２０（基板とすることができる）との間、ボード５２０とコネクタ５６０内の端子との間、コネクタ５６０内の端子とケーブル５７５内の導体との間、及びケーブル５７５内の導体とコネクタ５８０内の端子との間の遷移を可能にし、遷移の数を大幅に低減する。当然のことながら、コネクタ５６０はまた、損失のわずかな増加だけでなく、可撓性の有意な改善を伴って、チップ５１０に隣接して位置付けられたボード装着型コネクタに取り付けられるように構成され得る。

ストレインリリーフブロック５７０は、様々な構成を有することができる。例えば、図１７Ａに一実施形態が示されており、ここにおいて、ストレインリリーフブロック６７０は、ケーブル（複数可）６７５上に成形され、ストレインリリーフブロック６７０は、前部部材６３２のスロット６３３内に挿入され（対応するボックスの前面６３０を提供することができるか、又は前面の内部に位置付けられ得る）、スロット６３３内に保持される。ストレインリリーフブロック６７０が一方向からのみ挿入され得るようにスロット６３３を構成することによって、保持を提供することができ、その場合、ストレインリリーフブロックがスロット６３３から抜け出るのを防止するために、カバーを提供することができる。理解され得るように、このような設計により、特定のケーブル（又は複数のケーブルが同じストレインリリーフブロックを共有する場合のケーブルのセット）を除去することを可能にし、その結果、より高いレベルの性能を提供しながら、スイッチが依然として回復可能である。

別の実施形態では、複数のケーブル７７５を、前部部材７３２の後方に置くように構成されたストレインリリーフブロック７７０に成形することができる。このような実施形態では、前部部材７３２のスロット７３４は、ケーブル７７５が前部部材７３２を通じて延在することを可能にする。当然のことながら、単一のケーブル７３５はまた、各ケーブルが別個のブロックに成形されたように、別個のストレインリリーフブロック７７０に成形されてもよい。主要な要件は、対応するブロックが十分に大きく、ケーブルに十分に確実に固定され、ケーブルの遠位端にかかる力がストレインリリーフブロック７７０に効果的に伝達されることを確実にすることである。図１７Ａ及び図１７Ｂの両方において提供される実施形態では、ストレインリリーフを提供するストレインリリーフブロックは、導電性プラスチックで形成されてもよく、又は好適なＥＭＩ保護を提供するのに役立つようにめっきされてもよい。

ストレインリリーフの代替的な実施形態は、ケーブル上に２つの要素をクランプさせるように構成され得ることに留意されたい。例えば、別の実施形態（図示せず）では、ボックスの２つの対向する側面が一緒に押圧され、１本以上のワイヤを捕捉することができる。したがって、ストレインリリーフのための広範な可能な構造が可能であり、企図される。

図１８及び図１９は、ＥＯＰの実施形態の概略図を示す。図１８では、各電気ポートは、電気／光送受信機を受容するように構成されたポートに、直接的に接続されている。ＱＳＦＰ型コネクタが示されている（及び比較的一般的である）が、任意の適切なフォームファクタを提供することができることに留意されたい。また、光ケーブルアセンブリが標準的な光コネクタである場合、光ポートは、限定するものではないが、ＬＣ／ＰＣコネクタなどの標準の光コネクタポートであり得、図１８のスイッチは、各光コネクタを対応する電気ポートに結合するように構成された、電気−光送受信機（又は送受信機のセット）を含むことができることに留意されたい。

理解され得るように、図１８の実施形態と図１９の実施形態の主な違いは、図１９の実施形態が、図２３に示されるような機能を可能にするスイッチを含むことである。加えて、２つのＥＯＰ間の通信を可能にするために、いくつかのＥＯＰイースト／ウエスト（Ｅ／Ｗ、east/west ）ポートを提供することができる。ほとんどのサーバラックが他のサーバラックに比較的近接して位置決めされるため、ＥＯＰ Ｅ／Ｗポートは、電気的であり、かつ電力を供給される必要がなく、したがって、短い接続ケーブルで十分であることが予想される。特定のワークロードが少し離れた２つのＥＯＰ間の接続を持つことが理にかなっている場合、ＥＯＰ Ｅ／Ｗコネクタが、電気／光送受信機モジュールの電源ポート（又は更に内部電気−光信号変換器を備えたＬＣ／ＰＣコネクタなどの純粋な光コネクタとして）を提供するように構成されてもよい。

図２０から理解され得る１つの問題は、横方向通信（例えば、２つの隣接するサーバラック間の通信）に６ホップかかることであり、ここにおいて、ホップは、２つの媒体間の遷移（光信号から電気信号など）、及び／又はチップ（スイッチチップなど）の通過である。隣接するラック内のサーバ間で横方向に通信することが望まれる状況では、この構造は、著しい機械的遅延を作り出す。図２１〜図２３は、この問題に対処する方法を示す。図２１は、スパインへのリンクのうちの１つをとり、代わりにそれを隣接するＥＯＰにルーティングする。これにより、１ホップの削減が可能になる（ただし、オーバーサブスクリプションを３．４：１の比率に増やすことはできる）。図２２は、オーバーサブスクリプションが依然として３．４：１であるが、隣接するラック内の計算ノード間に３ホップしか存在しない一実施形態を示す。理解され得るように、このような構成は、隣接するサーバ間での待ち時間の低減を可能にし、コンピューティングタスクが高レベルの並列処理の利益を受ける状況、又は両方のラックがコンピューティングプロジェクト上で作業しており、全てのタスクを１つのサーバラックに適合させることができない状況で望ましい場合がある。

図２３は、追加の柔軟性を提供するが、ＥＯＰの複雑性を増加させる。ＥＯＰにスイッチを組み込むことにより、所望の３：１のオーバーサブスクリプション比を依然として維持しながら、隣接するサーバ間のホップの数を６に維持することができる。図２３の実施形態の１つの潜在的な有意な利益は、信号のより柔軟なルーティングを可能にすることである。例えば、１つのサーバラックが大量の応答を提供する場合、応答の一部を隣接するＥＯＰに向けることができ、潜在的に、オーバーサブスクリプション比（少なくとも短期間）を、２：１まで下げる可能性がある。当然のことながら、このようなアーキテクチャは、ＥＯＰ／ＭＯＲにプログラムされた十分な柔軟性が存在し、及び／又は、ワークロードがこれにより利益を受けるシステムに最も有益である。

図２４は、提供され得る更なる柔軟性を有する更なる実施形態を示す。理解され得るように、サーバとＭＯＲスイッチとの間の接続数は、依然として計算ノードの数と同じであるが（各計算ノードがＭＯＲと直接通信することが望ましいため）、隣接するＭＯＲスイッチも互いに通信することができる。加えて、隣接するＥＯＰは、互いに通信することができる。ほとんどの場合、Ｍリンク又はＰリンクのいずれかが使用されることが予想されるが（多くの場合、両方は必要ではない）、最大接続性及び柔軟性が望ましい場合には、両方を使用することができる。

加えて、２つの隣接するラックサーバの計算ノードは、単一のホップを使用して互いに直接通信することができ、接続Ｎ、Ｍ、Ｂ、Ｐ、及びＣの数は、様々なシナリオを行うことができるように変更され得る。理解され得るように、このようなシステムは、柔軟性に有意な利益を有する。サーバを直接一緒に接続することにより、追加の計算能力を使用して、最小の待ち時間（１ホップ）でタスクに対処することができる。したがって、結果として、計算ノードを組み合わせることができ、次いで、経路の組み合わせを介して、情報をスパインに送信することができ、利用可能な帯域幅を最大限に活用できる柔軟な構成になる。

１つの実施形態では、２ＮはＡに等しくてもよく、そのため１つのサーバラック内の計算ノードのそれぞれは、１ホップ離れた隣接するサーバ内の計算ノードにリンクすることにより、（ラックサーバの両側が同様のラックサーバに囲まれていると仮定して）本質的にパフォーマンスを２倍にすることができる。典型的に、Ａリンクの数はＢリンクの数より多い（多くの場合、３：１比）ため、図示された構成は、Ｍリンク（これはＢリンクと同じ数のリンクである可能性があるが、ＭＯＲスイッチで予想される空間の制約を考えると、より少ない量になる可能性が高くなる）を介して、ＭＯＲスイッチから隣接するＭＯＲスイッチに情報を拡散することを可能にする。Ｍリンク及びＰリンクの数が、ＭＯＲスイッチ及び／又はＥＯＰ内の利用可能な空間を容易にするために低く保たれる場合、ＭリンクとＰリンクとの組み合わせを使用して、本質的に１：１の比を提供することができる（したがって、オーバーサブスクリプションは存在しない）。しかしながら、そのような構成は、追加の帯域幅が追加されるときに、計算ノードとスパインとの間の経路に１つ以上のホップを追加するため、このような追加の帯域幅の追加が望ましいかどうかは、計算ノードでの追加パフォーマンスの必要性と対比した、クライアント（スパインの外部にある可能性がある）と計算ノードとの間の待ち時間に対するアプリケーションの感度に依存することに留意されたい。

本明細書で提供される開示は、その好ましい実施形態及び例示的な実施形態の観点から特徴を説明する。添付の特許請求の範囲の範囲及び趣旨内での多数の他の実施形態、修正及び変形は、当業者に想起されるであろう。

Claims (11)

1. システムであって、
   上部及び下部を有するラックサーバと、垂直に配置された複数の計算ノードであって、該複数の計算ノードが、前記上部と下部との間に間隔をおいて配置され、前記ラックサーバが、前記上部と下部との間のほぼ中間に位置付けられた、ラックの中央（ＭＯＲ）スイッチを更に含み、該ＭＯＲスイッチが、ポートの第１のセット及びポートの第２のセットを含む、複数の計算ノードと、
   前記ポートの第１のセットと前記複数の計算ノードとの間に延在する、複数の第１のパッシブケーブルであって、前記複数の計算ノードのそれぞれが、前記第１のパッシブケーブルのうちの少なくとも１つを介して、前記ＭＯＲスイッチに接続され、前記複数の第１のパッシブケーブルが、非ゼロ復帰（ＮＲＺ）エンコードを使用して、５６Ｇｂｐｓデータレートをサポートするように構成されている、複数の第１のパッシブケーブルと、
   前記ラックサーバの上側部分上に位置付けられた、電気−光パネル（ＥＯＰ）であって、該ＥＯＰが、複数のパッシブポートと共に構成されている、電気−光パネル（ＥＯＰ）と、
   前記複数のパッシブポートと前記ポートの第２のセットとの間に延在する、複数の第２のパッシブケーブルと、を備える、システム。
2. 前記ＥＯＰが、複数のアクティブポートを含み、該アクティブポートのそれぞれが、電力及び高速電気信号を提供するように構成されている、請求項１に記載のシステム。
3. 前記複数のパッシブポートのうちのそれぞれ１つが、前記複数のアクティブポートのうちの１つに接続されている、請求項２に記載のシステム。
4. 前記複数のパッシブポートのそれぞれが、前記ＥＯＰ内に位置付けられたスイッチに接続され、前記複数のアクティブポートのそれぞれが、前記スイッチに接続され、該スイッチが、前記アクティブポートと前記パッシブポートとの間で信号を方向付けるように構成されている、請求項２に記載のシステム。
5. 前記複数のパッシブケーブルのうちの前記パッシブケーブルのそれぞれが、約１．５メートル以下の長さである、請求項１に記載のシステム。
6. サーバボックスであって、
   前面を有するボックスであって、前記前面が、空気入口、及び前記空気入口から離れて位置付けられた複数のポートを含む、ボックスと、
   前記前面に実質的に平行に整列された回路基板であって、該回路基板が、嵌合側及びチップ側、並びに前記空気入口と整列された開口部を有し、複数のコネクタが、前記嵌合側上に取り付けられ、前記ポートと整列され、スイッチチップが、前記チップ側上に取り付けられている、回路基板と、
   前記スイッチチップに熱結合された、熱モジュールと、
   前記空気入口と整列された空気流マニホルドであって、前記空気流マニホルドが、前記空気入口から空気を、空気経路を通じて前記熱モジュールの上に方向付けるように構成されており、前記空気経路が、前記空気入口から入ってくる空気の方向を変化させる、空気流マニホルドと、を備える、サーバボックス。
7. 制御面は、前記回路基板に取り付けられ、前記熱モジュールが、前記制御面と前記空気流マニホルドとの間に位置付けられ、その結果、前記空気経路が、前記制御面を介して前記熱モジュールを通過する空気を方向付けるように構成されている、請求項６に記載のサーバボックス。
8. 電力面が、前記回路基板に取り付けられ、前記熱モジュールが、電力パネルと前記空気流マニホルドとの間に位置付けられ、その結果、前記空気経路が、前記電力面を介して前記熱モジュールを通過する空気を方向付けるように構成されている、請求項６に記載のサーバボックス。
9. 前記スイッチチップが、前記複数のポート内の前記ポートのそれぞれから１０ｃｍ以下にある、請求項６に記載のサーバボックス。
10. 前記ポートが、前記スイッチチップの２つの側面上に配置されている、請求項９に記載のサーバボックス。
11. 前記ポートが、前記スイッチチップの４つの側面上に配置されている、請求項１０に記載のサーバボックス。

Images