JP7317160B2 - ヘテロジニアスコンピューティングアーキテクチャ用冷却システム - Google Patents

Description

本開示の実施形態は、一般に、冷却ハードウェア及びシステムに関する。本開示の実施形態は、より詳細には、ヘテロジニアスコンピューティングアーキテクチャ用冷却ハードウェア及びシステムに関する。

ヘテロジニアスコンピューティングは、二種類以上のプロセッサ又はコアを使用して性能又はエネルギー効率を最大化するシステムである。ヘテロジニアスコンピューティングアーキテクチャは、プロセッサを、カスタムロジック、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は汎用グラフィックスプロセッシングユニット（ＧＰＵ）などの非従来的なコアと組み合わせることにより、より高エネルギー効率を達成することができる。

ヘテロジニアスシステムにおいては、ハードウェアモジュールの種類により、熱設計電力（ＴＤＰ）並びに熱的仕様及び要件が異なる場合があるので、ヘテロジニアスコンピューティングアーキテクチャは、付随する冷却システムの設計に挑戦を投げかけている。

ヘテロジニアスコンピューティングアーキテクチャを冷却するための従来のシステムには、ダイ並びにその上の高速コネクタ及び電圧レギュレータ（ＶＲ）などの電子機器に予め取り付ける必要がある自然対流冷却システムを使用するものがある。その他にも、従来の冷却システムには、ヘテロジニアスコンピューティングアーキテクチャの各種ハードウェアモジュールに均一に冷却媒体（例えば、冷却空気又は冷却液）を送達する冷却装置を使用するものがある。従来の熱システムは、高価であるか、又はヘテロジニアスコンピューティングアーキテクチャの異種のハードウェアモジュールの冷却ニーズを受容するほどに十分な柔軟性を持っていないかのいずれかである。特に、ヘテロジニアスハードウェア及びチップは常に変化しているので、冷却システムの設計は、ますます挑戦的になっている。

本発明が解決しようとする問題点は、ヘテロジニアスコンピューティングアーキテクチャの各ハードウェアモジュールごとの冷却要件の違い、及びハードウェアモジュールの拡張に伴う新たな冷却要件、又は電子ラックの冷却要件を、既存の冷却装置では満足できない点である。

本発明は、ハードウェアモジュールを冷却するためのシステムであって、基部補強材、取付けチャネルを含む上部補強材、基部補強材に取り付けられた基板上の、多数のハードウェアモジュールを含む印刷回路基板（ＰＣＢ）、及び上部補強材上に取り付けられた冷却装置を備え、一以上の熱伝導プレート（ＨＴＰ）が取付けチャネルを通して上部補強材に挿入されて、ハードウェアモジュールが発生した熱を冷却装置に伝導することを最も主要な特徴とする。

本発明の冷却システムは、一以上の熱伝導プレート（ＨＴＰ）が取付けチャネルを通して上部補強材に挿入されているため、冷却システムの大枠を変更することなく、ハードウェアモジュールの冷却ニーズに基づいて、ＨＴＰを選択して冷却システムに一体化することができるという利点がある。

本発明の実施形態は、一例として記載され、添付図面の図に限定されない。添付図面において、同一の参照番号は同様の要素を示す。

図１は、一実施形態に係る冷却システムの側面図を示す。 図２は、一実施形態に係る冷却システムを更に示す。 図３は、一実施形態に係る熱伝導プレートを示す。 図４Ａは、実施形態に係る上部補強材の実装例の側面図を示す。 図４Ｂは、実施形態に係る上部補強材の別の実装例の側面図を示す。

図５Ａは、一実施形態に係る冷却システムの上面図を示す。 図５Ｂは、一実施形態に係る冷却システムの上面図を示す。

図６は、一実施形態に係る冷却システム全体に、蒸気室に基づいたＨＴＰが使用される様子を示す。

図７Ａは、一実施形態に係る冷却システムを更に示す。 図７Ｂは、一実施形態に係る冷却システムを更に示す。

図８は、一実施形態に係る冷却システムを更に示す。

図９は、一実施形態に係るヘテロジニアスコンピューティングアーキテクチャを冷却する方法を示す。

図１０は、一実施形態に係る上部補強材の３Ｄ図である。

図１１は、一実施形態に係る電子ラックの例を示すブロック図である。

本開示の様々な実施形態及び態様は、以下で論じられる詳細を参照して説明され、添付図面は、これらの様々な実施形態を示す。以下の説明及び図面は、本開示の例示であって、本発明を限定するものと解釈されるべきではない。多くの具体的な詳細が、本発明の様々な実施形態の十分な理解を提供するために記載される。しかし、特定の例において、本開示の実施形態の簡潔な議論を提供するために、周知の又は従来の詳細は記載しない。

本明細書における「一実施形態」又は「実施形態」の表現は、実施形態に関連して説明される具体的な特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所にみられる「一実施形態では」という表現は、必ずしも全てが同一の実施形態を意味するとは限らない。

上述したように、ヘテロジニアスコンピューティングアーキテクチャは、異種のハードウェアモジュールを含むことができる。本明細書において使用されるヘテロジニアスコンピューティングアーキテクチャのハードウェアモジュールは、ヘテロジニアスコンピューティングアーキテクチャの印刷回路基板上のいかなるハードウェアブロックであってもよい。ハードウェアモジュールの例としては、例えば中央処理装置（ＣＰＵ）、グラフィカルプロセッシングユニット（ＧＰＵ）などのプロセッサ、コア、高帯域メモリ（ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ；ＨＢＭ）、電圧レギュレータ（ＶＲ）、ダイ、セキュリティチップ、チップレット、システム・イン・パッケージ（ＳＩＰ）、及びシステム・オン・チップ（ＳｏＣ）を挙げることができる。

ヘテロジニアスコンピューティングアーキテクチャの各ハードウェアモジュールは、動作中に熱を発生することがあり、放熱のために外部の冷却装置に熱を伝導する必要がある。しかし、ハードウェアモジュールによって冷却要件が異なる場合があり、単一の熱伝導プレートでは満足することができない。更に、ヘテロジニアスコンピューティングアーキテクチャは、新しいハードウェアモジュールにより常に拡張され得る。新しいハードウェアモジュールには、ヘテロジニアスコンピューティングアーキテクチャに設置された既存の熱伝導プレート（ＨＴＰ）とは異種のＨＴＰが必要となる場合がある。

これらの問題に対処するべく、ヘテロジニアスコンピューティングアーキテクチャにおける異種のハードウェアモジュールの冷却ニーズを満足することができる冷却システム及び方法を本明細書に記載する。一実施形態では、ヘテロジニアスコンピューティングアーキテクチャを冷却するためのシステムは、基部補強材、取付けチャネルを含む上部補強材、基部補強材に取り付けられた基板上の、多数のハードウェアモジュールを含む印刷回路基板（ＰＣＢ）、及び上部補強材上に取り付けられた冷却装置を備える。一以上の熱伝導プレート（ＨＴＰ）が取付けチャネルを通して上部補強材に挿入されており、ハードウェアモジュールが発生した熱を冷却装置に伝導する。

一実施形態では、一以上のＨＴＰは、開放端から取付けチャネルを通して上部補強材に挿入される。各ＨＴＰは、各端部に取付けアームを有する。取付けアームを使用して、ＨＴＰを上部補強材に取り付ける。重要な特徴の一つは、ＨＴＰは異なる熱伝導技術により設計されている場合があることである。ＨＴＰは、ＰＣＢ上のハードウェアモジュールの冷却要件に基づいて選択される。ＨＴＰは、蒸気室、熱電冷却器、及び銅製熱伝導プレートを含む。ＨＴＰの各ペア間には、当該ＨＴＰのペア間での熱の拡散を防止するべく間隔が設けられている。

一実施形態では、各抵抗チャネルは、取付けチャネルを通して上部補強材に挿入された一以上のＨＴＰを保護する一以上の弾性構造を含む。

一実施形態では、上部補強材は四つの面を有し、一つの面は中実端又は閉鎖端であり、一つの面は開放端であり、その他二つの面はそれぞれ二つの抵抗チャネルを有する。前記その他二つの面のいずれかにおける第一の抵抗チャネルが取付けチャネルの上部にあり、前記その他二つの面のいずれかにおける第二の抵抗チャネルが取付けチャネル下にある。

一実施形態では、システムは、更に、上部補強材及び基部補強材を組み付ける補強材取付け構造と、冷却装置、上部補強材、及び基部補強材を組み付けるシステム取付け構造とを備える。

一実施形態では、ＰＣＢ上のハードウェアモジュールは、一以上の中央処理装置（ＣＰＵ）、一以上のグラフィックプロセッシングユニット（ＧＰＵ）、一以上の電圧レギュレータ（ＶＲ）、及び一以上の高帯域メモリ（ＨＢＭ）を含むことができる。

様々な実施形態によると、冷却システムの大枠を変更することなく、ヘテロジニアスコンピューティングアーキテクチャの冷却ニーズに基づいて、異種の若しくは異なる技術の、又はこれら両方のＨＴＰを冷却システムに一体化することが可能になる。新しいハードウェアモジュールをヘテロジニアスコンピューティングアーキテクチャのＰＣＢに付加する場合には、冷却システムの他の構成要素を変更することなく、取付けチャネルを通して新しいＨＴＰを冷却システムに挿入することができるので、ヘテロジニアスコンピューティングアーキテクチャの拡張柔軟性が向上する。

更に、本明細書に記載される様々な実施形態によると、組み立て工程におけるＰＣＢ上のハードウェアモジュールの損傷可能性を弾性構造の使用及び各層の分離によって排除することにより、ヘテロジニアスコンピューティングアーキテクチャの信頼性を向上することができる。様々な実施形態によると、冷却システムのコストを増大させることなくヘテロジニアスコンピューティングアーキテクチャの冷却性能を上げることができる。

図１は、一実施形態に係る冷却システム１００の側面図を示す。図１に示すように、冷却システム１００は、上部補強材１０３及び基部補強材１０７を備える。上部補強材１０３は、取付けチャネル１０９、上部抵抗チャネル１１０、及び底部抵抗チャネル１１１を含む。上部抵抗チャネルは取付けチャネル１０９の上部にあり、底部抵抗チャネル１１１は取付けチャネル１０９下にある。上部補強材１０３及び基部補強材１０７は、それぞれ枠組補強材とすることができる。

更に図示するように、上部補強材１０３の一つの面（例えば、左側の面）を中実端とすることができ、したがって、上部補強材１０３は当該面で閉じられる。上部補強材１０３の他の面（例えば、右側の面）は開放されており、したがって、取付けチャネル１０９を通して一以上の熱伝導プレート（ＨＴＰ）を上部補強材１０３に挿入することができる。

一実施形態では、一以上の弾性構造１１３を上部抵抗チャネル１１０の縁部に配置することができる。同様に、一以上の弾性構造１１４を底部抵抗チャネル１１１の縁部に配置することができる。弾性構造１１３及び１１４はそれぞれ、上部補強材１０３に挿入されたＨＴＰに適切な緩衝及び適切な圧力を与えることができる。

冷却システム１００は、更に、空気冷却ヒートシンク又は液体冷却コールドプレートであってよい冷却装置１１５を備えることができる。上部補強材１０３に挿入されたＨＴＰは、ＰＣＢ１０５上のハードウェアモジュールが発生した熱を冷却装置１１５に伝導することができる。言及しなければならないが、ＰＣＢ１０５上に実装された電子機器は、図示されていない。

図２は、一実施形態に係る冷却システム１００を更に示す。図２に示すように、冷却システム１００は、更に、上部補強材１０３及び基部補強材１０７を組み付けるために使用される補強材取付け構造２０３を備えることができる。多数の異なるハードウェアモジュールが実装されたＰＣＢ１０５は、上部補強材１０３と基部補強材１０７との間に挟持される。

抵抗チャネル１１０及び１１１は、ＰＣＢ１０５及びハードウェアモジュールが負荷圧力によって損傷されないように、抵抗チャネル１１０及び１１１内の弾性構造を使用してＰＣＢ１０５上のハードウェアモジュールに適切な負荷圧力を保証することができる。ハードウェアモジュールは脆弱である場合があり、冷却装置１１５などの上部補強材１０３上の構成要素から作用する圧力から適切に保護されなければ損傷し得る。二つの抵抗チャネル１１０及び１１１は、ハードウェア集積工程及び通常動作の両方において、ＨＴＰのみならず電子機器に対しても追加的な保護を与える。

一実施形態では、冷却システム１００は、更に、外部冷却装置１１５、上部補強材１０３、基部補強材１０７、及びＰＣＢ１０５を組み付けるために使用されるシステム取付け構造２０１を備える。抵抗チャネル１１０及び１１１は、冷却ユニット１１５から作用するＰＣＢ１０５に対する装着・取付け圧力が適切となるよう保証することができる。実施形態では、取付け構造２０１及び２０３、並びに抵抗チャネル１１０及び１１１が協働し、電子機器及びＨＴＰの表面間、ＨＴＰ及び冷却装置１１５の表面間に付加される圧力が適切となるよう保証する。

図３は、一実施形態に係る熱伝導プレートである３Ｄ蒸気室３００を示す。図示するように、３Ｄ蒸気室３００は、熱源から冷却装置へと熱を拡散させるために使用される二相装置である３Ｄ蒸気室である。この例では、図１に示すように、熱源はＰＣＢ１０５上の一以上のハードウェアモジュールであり、冷却装置は冷却装置１１５である。

一実装例では、３Ｄ蒸気室は、液体が充填された多数の封止金属ポケット（例えば、金属ポケット３０５）を有することができる。熱源により金属ポケット内の液体が加熱されると、前記液体によって熱が３Ｄ蒸気室３００内の銅製ヒートパイプ（不図示）に均等に放散するよう保証され、ホットスポットが排除される。

３Ｄ蒸気室３００の主要部は、主熱伝導体である蒸気室体３０１であり、蒸気室体３０１の底面３０６は、熱源に取り付けられ、蒸気室体３０１の上面３０４は、冷却装置１１５に取り付けられる。蒸気室体３０１の両端の取付けアーム３０２及び３０３を使用して、図１に示すように蒸気室体３０１を上部補強材１０３に取り付けることができる。

３Ｄ蒸気室３００は、熱電冷却器（ＴＥＣ）や純銅など、多様な他種のいずれかであってもよい。言及しなければならないが、蒸気室構造は脆弱であり、したがって、負荷される圧力が設計仕様を超過すると容易に圧縮されてしまう。蒸気室は、変形すると適切に機能しなくなる。

図４Ａ及び図４Ｂは、実施形態に係る上部補強材１０３の二つの異なる実装例の側面図を示す。各実装例において、側面図は、上部補強材１０３の二つの取付け面の一方の図である。

図４Ａは、上部補強材１０３が単一区画補強材として実装されていることを示す。図４Ａの上部補強材は、四つの面を有する。一つの面は中実端又は閉鎖端４０３であり、一つの面は開放端４０２であるので、ＨＴＰを上部補強材に挿入することができる。その他二つの面は、上部補強材に挿入されたＨＴＰを取り付けるための取付け面である。図４Ａは、二つの取付け面の一方を示す。

例示として、３Ｄ蒸気室（ＨＴＰ）３００を図４Ａの上部補強材１０３に挿入する場合、取付けチャネルを通して取付けアーム３０２及び３０３を二つの取付け面の一方にそれぞれ取り付けることができる。

上部補強材は、上部補強材１０３に挿入されたＨＴＰに保護を与え、上部補強材を冷却システムに組み込んだときにＰＣＢ（例えば、図１のＰＣＢ１０５）及びＰＣＢ１０５上に実装されたハードウェアモジュールにも保護を与える弾性構造４０７及び４０９を含んだ二つの抵抗チャネル４０１及び４０５を含む。

一実施形態では、二つの抵抗チャネル４０１及び４０５は、上部補強材１０３に挿入することができる物理的実体の上にあってよい。次に、抵抗チャネル４０１及び４０５に保護されるようにＨＴＰを上部補強材１０３に挿入することができる。

図４Ｂは、上部補強材１０３が多区画補強材として実装されていることを示す。図４Ｂの上部補強材は、同様に、四つの面を有する。一つの面は中実端又は閉鎖端４１１であり、一つの面は開放端４１４であるので、一以上のＨＴＰを上部補強材に挿入することができる。その他二つの面は、上部補強材に挿入されたＨＴＰを取り付けるための取付け面である。

上部補強材は二つの抵抗チャネル４１３及び４１５を備え、各抵抗チャネルは複数の区画に分割され、各区画は一以上の弾性構造を含む。例えば、抵抗チャネル４１３の区画の一つは弾性構造４１７を含み、抵抗チャネル４１５の区画の一つは弾性構造４１９を含む。

一実施形態では、上部補強材１０３の多区画実装により、多数のＨＴＰを挿入し組み付ける柔軟性が提供される。両実装例の弾性構造によって、上部補強材に挿入されたＨＴＰが保護されるだけでなく、鉛直方向に変位の余裕（ｒｅｄｕｎｄａｎｃｙ）が与えられ、鉛直方向の最大変位が制限される。実施形態では、図４Ｂに示すように、抵抗チャネル４１３又は４１５の各区画に差異を設けて、異種のＨＴＰ実装例及び機能を受容できるようにすることができる。

図５Ａ及び図５Ｂは、一実施形態に係る冷却システム１００の上面図を示す。各上面図は、冷却装置１１５を取り外した後の冷却システム１００の図である。

図５Ａは、ＨＴＰ５０１を上部補強材１０３に挿入した後の冷却システムの上面図を示す。この例では、ＰＣＢ１０５上の全てのハードウェアモジュールがＨＴＰ５０１を使用して熱を冷却装置１１５に伝導することができる。

図５Ｂは、ＨＴＰ５０１が上部補強材１０３に挿入されている様子を示す。図示するように、一つの取付け面の取付けチャネル１０９（図１に示す）及び他方の取付け面の取付けチャネル５０９を使用してＨＴＰ５０１を挿入することができる。

図６は、一実施形態に係る冷却システム１００全体に、蒸気室に基づくＨＴＰ６０１が使用される様子を示す。

図示するように、多数のハードウェアモジュールがＰＣＢ１０５上に実装されている。ハードウェアモジュールは、異種のチップ又は集積回路であってよく、他の補助的電子機器であってもよい。図の一例として、ハードウェアモジュールは、二つの電圧レギュレータ（ＶＲ）６０４及び６１２、二つの高帯域メモリ６０６及び６１０、並びに一つのチップレット６０８を含むことができる。

ＰＣＢ１０５上に実装されたすべてのハードウェアモジュールは、蒸気室に基づくＨＴＰ６０１を使用して熱を冷却装置１１５に伝導することができる。図６に示す実施形態は、通常の冷却仕事量の、及び大きい冷却仕事量の冷却装置１１５を使用することができる。本設計により高出力ヘテロジニアス電子機器への蒸気室装置の実装も容易であることが分かる。

図７Ａ及び図７Ｂは、更に、一実施形態に係る冷却システム１００を示す。より具体的には、図７Ａ及び図７Ｂは、ＰＣＢ１０５上の異種のハードウェアモジュールに適合するように異種の多数のＨＴＰが使用されていることを示す。

図７Ａは、冷却システム１００の側面図を示しており、銅製熱伝導プレート７０１がＶＲ６０４のために挿入され、別の銅製熱伝導プレート７０３がＶＲ６１２のために挿入されている。図７Ａは、二つのＨＢＭ６０６及び６１０、並びにチップレット６０８のために相変化熱伝導プレート７０４が挿入されていることも示す。ＰＣＢ１０５上のハードウェアモジュールの異なる冷却・実装要件に適合するよう異種のＨＴＰが挿入されている。

更に図７Ａに示すように、異種のＨＴＰ間には間隔７０７及び７０９が保持されて断熱されており、間隔により隔てられた一対のＨＴＰ間での熱の拡散が防止される。図７Ｂは、図７Ａに示す冷却システム１００の上面図である。

本開示に記載されたシステム及び方法は、ヘテロジニアスアーキテクチャを冷却するためのものである。したがって、上層の冷却装置及びＨＴＰに差異を設けて、異種のヘテロジニアスチップパッケージを受容できるようにすることができる。

図８は、更に、一実施形態に係る冷却システム１００を示す。本実施形態では、多種のＨＴＰを一体化して、ＰＣＢ１０５上のハードウェアモジュール／パッケージが発生した熱を冷却装置１１５に伝導する。冷却装置１１５は、汎用冷却プレート、又は一様なフィンを有する空気ヒートシンクであってよい。

図８に示すように、ＨＴＰはＶＲ６１２用の銅製熱伝導プレート８０５及びＶＲ６０４用の別の銅製熱伝導プレート８０７を含むことができる。ＨＴＰは、更に、チップレット６０８用の蒸気室８０１、並びにそれぞれＨＢＭ６１０及び６０６用の二つのＴＥＣ８０３及び８０４を含む。ＨＴＰ間の間隔８０７、８０９、８１１、及び８１３により、ＨＴＰ間を断熱することができる。

図９は、一実施形態に係るヘテロジニアスコンピューティングアーキテクチャを冷却する方法９００を示す。図９に示すように、ブロック９０１において、基部補強材と、取付けチャネルを含む上部補強材と、複数のハードウェアモジュールを含む印刷回路基板（ＰＣＢ）とを用意し、ＰＣＢを基部補強材に取り付ける。ブロック９０３において、冷却装置を上部補強材上に取り付ける。冷却装置は、コールドプレート又はヒートシンクである。ブロック９０５において、一以上の熱伝導プレート（ＨＴＰ）を取付けチャネルを通して上部補強材に挿入し、複数のハードウェアモジュールが発生する熱を冷却装置に伝導する。

図１０は、一実施形態に係る上部補強材１０００の３Ｄ図である。上部補強材１０００は、上下対称且つ左右対称である。図１０は、上部補強材１０００の一部、主に上部補強材１０００の一方の側のみを示す。

上部補強材１０００は、各側に二つの抵抗チャネルを含む。例えば、上部補強材１０００は、底部抵抗チャネル１０２３及び上部抵抗チャネル１０２４を右側に含む。各抵抗チャネルは、多数の弾性構造（例えば、弾性構造１０２１）を含むことができる。取付けチャネル１０２５を使用してＨＴＰ Ｄ １０１３を上部補強材１０００に挿入することができる。取付けチャネル１０２５は、二つの分離したチャネルを含み、上部補強材１０００の各側の二つの抵抗チャネル間に一つのチャネルがある。

可動層１０２２は、上部抵抗チャネル１０２４の底部であって且つ右側の取付けチャネル１０２５の上部であることができる。同様に、別の可動層１０２６は、右側の取付けチャネル１０２５の底部であって且つ底部抵抗チャネル１０２３の上部であることができる。両方の可動層１０２２及び１０２６は上下に移動されて、ＨＴＰ及び／又はＰＣＢ上のハードウェアモジュールに保護を与えることができる。

更に図示するように、上部補強材１０００の一端１０１９は中実であり、他端は開放され、ＨＴＰ（例えば、ＨＴＰ Ｄ １０１３）を上部補強材１０００に挿入することができる。ＨＴＰ Ａ １００７、ＨＴＰ Ｂ １００９、及びＨＴＰ Ｃ １０１１は、上部補強材１０００に挿入された異種のＨＴＰを表す。

上部補強材１０００は、部分的な開放底部１０１７及び部分的な開放上部１０１５を有し、電子機器とＨＴＰとの間、及び冷却装置とＨＴＰとの間の直接接触が可能となっている。

図１１は、一実施形態に係る電子ラックを示すブロック図である。電子ラック１１００は、データセンタの電子ラックのいずれであってもよい。図１１を参照すると、一実施形態では、電子ラック１１００は、ＣＤＵ１１０１、ラック管理ユニット（ＲＭＵ）１１０２、及び一以上のサーバ筐体１１０３Ａ乃至１１０３Ｅ（まとめて、サーバ筐体１１０３と呼称する）を備えるが、限定されない。サーバ筐体１１０３は、それぞれ、電子ラック１１００の前端１１０４又は後端１１０５から、サーバスロット（例えば、定形棚（ｓｔａｎｄａｒｄ ｓｈｅｌｖｅｓ））のアレイに挿入することができる。５個のサーバ筐体１１０３Ａ乃至１１０３Ｅが図示されているが、電子ラック１１００に保持されるサーバ筐体は、より多くてもより少なくてもよいことに注意されたい。また、例示のみを目的として、ＣＤＵ１１０１、ＲＭＵ１１０２、及び／又はサーバ筐体１１０３の特定的な位置を示しているが、ＣＤＵ１１０１、ＲＭＵ１１０２、及び／又はサーバ筐体１１０３の他の配置又は構成を実装してよいことに注意されたい。一実施形態では、電子ラック１１００は、冷却ファンによって前端から後端に向けて気流を発生できる限り、周囲に開放されるか、ラックコンテナに一部収容されるかのいずれであってもよい。

また、サーバ筐体１１０３の少なくともいくつかにおいて、任意のファンモジュール（不図示）がサーバ筐体に対応付けられている。各ファンモジュールは、一以上の冷却ファンを含む。ファンモジュールは、サーバ筐体１１０３の後端、又は電子ラックに取り付けてよく、前端１１０４から流入し、サーバ筐体１１０３の空き領域を移動して、電子ラック１１００の後端１１０５から流出する気流を発生させる。

一実施形態では、ＣＤＵ１１０１は、主に、熱交換器１１１１、液体ポンプ１１１２、及びポンプ制御器（不図示）を、他の構成要素として、例えば液体貯留部、電源、監視センサなどを含む。熱交換器１１１１は、液体－液体間熱交換器であってよい。熱交換器１１１１は、一次的ループ（ｐｒｉｍａｒｙ ｌｏｏｐ）を形成するように、外部液体供給／返送ライン１３１及び１３２に接続される第一の対の液体コネクタを有する入口及び出口ポートを含む第一のループを有する。外部液体供給／返送ライン１３１及び１３２に接続されるコネクタは、電子ラック１１００の後端１１０５に配置又は取り付けてよい。ルーム用液体（ｒｏｏｍ ｌｉｑｕｉｄ）供給／返送ラインとも呼称される液体供給／返送ライン１３１及び１３２は、外部冷却システム（例えば、データセンタルーム冷却システム）に接続してよい。

また、熱交換器１１１１は、更に、二次的ループ（ｓｅｃｏｎｄａｒｙ ｌｏｏｐ）を形成するように、液体マニホルド１１２５（ラックマニホルドとも呼称される）に接続される第二の対の液体コネクタを有する二つのポートを含む第二のループを有する。二次的ループは、サーバ筐体１１０３に冷却液を供給する供給マニホルド（ラック液体供給ライン又はラック供給マニホルドとも呼称される）、及び温まった液体をＣＤＵ１１０１に返送する返送マニホルド（ラック液体返送ライン又はラック返送マニホルドとも呼称される）を含んでよい。ＣＤＵ１１０１は、市販のいずれの種類のＣＤＵ、又はカスタマイズしたＣＤＵでもよいことに注意されたい。したがって、ＣＤＵ１１０１の詳細を本明細書では記載しない。

各サーバ筐体１１０３は、一以上のＩＴコンポーネント（例えば、中央処理装置又はＣＰＵ、汎用／グラフィックプロセッシングユニット（ＧＰＵ）、メモリ、及び／又はストレージデバイス）を含むことができる。各ＩＴコンポーネントは、データ処理タスクを行ってよく、ＩＴコンポーネントは、ストレージデバイスにインストールされたソフトウェアを含んでよく、メモリにロードして一以上のプロセッサに実行させ、データ処理タスクを行う。サーバ筐体１１０３は、一以上のコンピュートサーバ（ＣＰＵサーバ及びＧＰＵサーバなどのコンピューティングノードとも呼称される）に接続されたホストサーバ（ホストノードと呼称される）を含んでよい。通常、ホストサーバ（一以上のＣＰＵを含む）は、ネットワーク（例えば、インターネット）上でクライアントとインターフェースで接続し、ストレージサービス（例えば、バックアップ若しくは復旧、又はその両方などのクラウドベースのストレージサービス）などの特定のサービスに対する要求を受信し、アプリケーションを実行して所定の動作（例えば、サービスとしてのソフトウェア又はＳａａＳプラットフォームの一部として、画像処理、データ深層学習アルゴリズム又はモデリングなど）を行う。要求に応答して、ホストサーバはホストサーバが管理するコンピューティングノード又はコンピュートサーバ（一以上のＧＰＵを含む）の一以上にタスクを分散する。コンピュートサーバは、動作中に発熱を生じ得る実際のタスクを行う。

電子ラック１１００は、更に、サーバ１１０３及びＣＤＵ１１０１に電力を供給し、供給した電力を管理するＲＭＵ１１０２を任意に含む。ＲＭＵ１１０２は、電源ユニット（不図示）に接続され、電源ユニットの電力消費を管理してよい。電源ユニットは、電子ラック１１００の他の構成要素に電力を供給するための必要な回路（例えば、交流（ＡＣ）－直流（ＤＣ）変換又はＤＣ－ＤＣ電力変換器、バッテリ、変圧器、レギュレータなど）を含んでよい。

一実施形態では、ＲＭＵ１１０２は、最適化モジュール１１２１及びラック管理制御器（ＲＭＣ）１１２２を含む。ＲＭＣ１１２２は、例えば、コンピューティングノード１１０３、ＣＤＵ１１０１、及びファンモジュールなどの電子ラック１１００内の様々な構成要素の動作状況を監視するモニタを含んでよい。具体的には、モニタは、電子ラック１１００の動作環境を示す様々なセンサからの動作データ受信する。例えば、モニタは、様々な温度センサを介して取得及び収集され得る、プロセッサ、冷却液、及び気流の温度を示す動作データを受信してよい。モニタは、ファンモジュール及び液体ポンプ１１１２が発した各々の速度に比例し得るファン出力及びポンプ出力を示すデータも受信してよい。これらの動作データは、リアルタイム動作データと呼称される。モニタは、ＲＭＵ１１０２内の分離したモジュールとして実装してよいことに注意されたい。

動作データに基づき、最適化モジュール１１２１は、所定の最適化機能又は最適化モデルを使用して最適化を行い、液体ポンプ１１１２及びファンモジュールの冷却ファンに対応付けられた動作データを各々の設計仕様の範囲内としつつ、液体ポンプ１１１２及びファンモジュールの合計電力消費を最小化するように、ファンモジュールの最適ファン速度及び液体ポンプ１１１２の最適ポンプ速度のセットを導出する。最適ポンプ速度及び最適ファン速度が決定されると、ＲＭＣ１１２２は、最適ポンプ速度及びファン速度に基づいて、液体ポンプ１１１２及びファンモジュールの冷却ファンを設定する。

一例として、最適ポンプ速度に基づき、ＲＭＣ１１２２は、ＣＤＵ１１０１のポンプ制御器と通信し、液体ポンプ１１１２の速度を制御する。したがって、次に、液体ポンプ１１１２が、サーバ筐体１１０３の少なくともいくつかに分配されるべく液体マニホルド１１２５に供給される冷却液の液体流量を制御する。同様に、最適ファン速度に基づき、ＲＭＣ１１２２は、各ファンモジュールと通信し、ファンモジュールの各冷却ファンの速度を制御する。したがって、次に、各冷却ファンが、ファンモジュールの気流流量を制御する。各ファンモジュールを各々の特定の最適ファン速度で個別に制御してよく、異なるファンモジュール間、及び／又は同一ファンモジュール内の異なる冷却ファン間において、最適ファン速度は異なってよいことに注意されたい。

図１１に示すラック構成は、例示のみを目的として図示及び記載されており、他の構成又は配置も適用可能であることに注意されたい。例えば、ＣＤＵ１１０１は、任意のユニットであってよい。サーバ筐体１１０３のコールドプレートは、ＣＤＵを使用することなく外部液体供給／返送ライン（ルームマニホルド）１３１及び１３２に直接接続してよいラックマニホルドに接続してもよい。図示はしていないが、電源ユニットを電子ラック１１００内に配置してよい。電源ユニットは、サーバ筐体と同一又は類似の定形的な筐体として実装してよく、電源筐体は、サーバ筐体１１０３のいずれかと入れ替わりに、定形棚のいずれかに挿入することができる。また、電源筐体は、更に、主電源が利用不能である場合にバッテリ電力をサーバ筐体１１０３に供給するバッテリバックアップ装置（ＢＢＵ）を含んでよい。ＢＢＵは、一以上のバッテリパッケージを含んでよく、各バッテリパッケージは、一以上のバッテリセル及びバッテリセルを充放電するための必要な充放電回路を含んでよい。

一実施形態では、図示した各サーバ筐体に配置された冷却装置は、本願の全体を通して記載したいずれの冷却装置であってもよい。すなわち、サーバ筐体が含むサーバのそれぞれが、印刷回路基板（ＰＣＢ）上に実装された一以上のハードウェアモジュールについて、ヘテロジニアスコンピューティングアーキテクチャを冷却するためのシステムとして前述した冷却システムを適用し得る。本発明の電子ラックの一実施態様では、スタック状に配置された複数のサーバ筐体を含むデータセンタの電子ラックであって、前記サーバ筐体のそれぞれが、一以上のサーバを含み、前記サーバのそれぞれが、印刷回路基板（ＰＣＢ）上に実装された一以上のハードウェアモジュールと、冷却システムとを含み、前記冷却システムが、前記ＰＣＢが取り付けられた基部補強材と、取付けチャネルを含む上部補強材と、前記上部補強材上に取りけられた冷却装置と、前記取付けチャネルを通して摺動させることで、前記上部補強材に挿入された一以上の熱伝導プレート（ＨＴＰ）とを含み、前記一以上のＨＴＰが、前記一以上のハードウェアモジュールの外面に接触し、前記一以上のハードウェアモジュールが発生した熱を前記冷却装置に伝導する。前記印刷回路基板上に実装されたハードウェアモジュールがヘテロジニアスコンピューティングアーキテクチャの複数のハードウェアモジュールであってもよい。
一実施形態では、前記上部補強材が、第一の面及び第二の面を有し、前記第一の面が閉鎖端であり、前記第二の面が開放端である電子ラックである。
一実施態様では、前記一以上のＨＴＰが、前記開放端から前記取付けチャネルを通して前記上部補強材に挿入される電子ラックである。
一実施態様では、前記上部補強材が、更に、第三の面及び第四の面を有し、前記第三の面及び前記第四の面のそれぞれが、二つの抵抗チャネルを含み、前記第三の面及び前記第四の面のいずれかの第一の抵抗チャネルが、前記取付けチャネルの上部にあり、前記第三の面及び前記第四の面のいずれかの第二の抵抗チャネルが、前記取付けチャネル下にある電子ラックである。
一実施態様では、前記抵抗チャネルのそれぞれが、前記取付けチャネルを通して前記上部補強材に挿入された前記一以上のＨＴＰを保護する一以上の弾性構造を含む電子ラックである。

前述の明細書では、本開示の実施形態を、その具体的且つ例示的な実施形態を参照して説明している。以下の特許請求の範囲に記載されるように、本開示のより広い精神及び範囲から逸脱することなく、それらに様々な変更を加えることが可能であることは明らかである。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味とみなされるべきである。

上記したように、本開示の実施形態は、バッテリモジュール（若しくはＢＢＵ棚、又は両方）の一以上のファンのファン速度制御などの気流管理動作を行うよう一以上のデータ処理コンポーネント（本明細書では、「プロセッサ」と総称する）をプログラムする命令を記憶した非一過性機械可読媒体（例えば、マイクロエレクトロニクスメモリ）であってよい（又は、含んでよい）。他の実施形態では、ハードワイヤードロジックを含む特定のハードウェアコンポーネントが、これらの動作のいくつかを行ってよい。又は、プログラムされるデータ処理コンポーネントと、本明細書に記載されたバッテリモジュールのいずれかの固定ハードワイヤード回路コンポーネントとの組み合わせにより、これらの動作を行ってよい。

添付図面に所定の態様を記載及び図示したが、当業者であれば様々な他の変更に想到するであろうため、これらの態様は、広範な開示を単に例示するものであって限定するものではなく、本開示は、図示及び記載した特定の構成及び配置に限定されるものでないと理解されるべきである。したがって、詳細な説明は、限定的でなく例示的であるとみなされるべきである。

いくつかの態様では、本開示は、例えば、『「要素Ａ」及び「要素Ｂ」の少なくともいずれか』という文言を含む場合がある。この文言は、当該要素の一以上に言及し得る。例えば、『Ａ及びＢの少なくともいずれか』は、『Ａ』、『Ｂ』、又は『Ａ及びＢ』に言及し得る。特に、『Ａ及びＢの少なくともいずれか』は、『Ａの少なくともいずれか及びＢの少なくともいずれか』、又は『少なくともＡ又はＢ』に言及し得る。いくつかの態様では、本開示は、例えば、『「要素Ａ」、「要素Ｂ」、及び／又は「要素Ｃ」』という文言を含む場合がある。この文言は、これら要素のいずれか、又はこれら要素のいずれかの組み合わせに言及し得る。例えば、『Ａ、Ｂ、及び／又はＣ』は、『Ａ』、『Ｂ』、『Ｃ』、『Ａ及びＢ』、『Ａ及びＣ』、『Ｂ及びＣ』、又は『Ａ、Ｂ、及びＣ』に言及し得る。

Claims (15)

1. ヘテロジニアスコンピューティングアーキテクチャを冷却するためのシステムであって、
   基部補強材と、
   取付けチャネルを含む上部補強材と、
   複数のハードウェアモジュールを含む、前記基部補強材に取り付けられた印刷回路基板（ＰＣＢ）と、
   前記上部補強材上に取り付けられた冷却装置と、
   前記取付けチャネルを通して摺動させることで、前記上部補強材に挿入された一以上の熱伝導プレート（ＨＴＰ）と、
   を含み、
   前記一以上のＨＴＰが、前記複数のハードウェアモジュールの外面に接触し、前記複数のハードウェアモジュールが発生した熱を前記冷却装置に伝導し、
   前記上部補強材が、第一の面、第二の面、第三の面及び第四の面を有し、前記第一の面が閉鎖端であり、前記第二の面が開放端であり、前記第三の面及び前記第四の面のそれぞれが、二つの抵抗チャネルを含み、前記第三の面及び前記第四の面のいずれかの第一の抵抗チャネルが、前記取付けチャネルの上部にあり、前記第三の面及び前記第四の面のいずれかの第二の抵抗チャネルが、前記取付けチャネル下にあることを特徴とする冷却システム。
2. 前記一以上のＨＴＰが、前記開放端から前記取付けチャネルを通して前記上部補強材に挿入される請求項１に記載の冷却システム。
3. 前記抵抗チャネルのそれぞれが、前記取付けチャネルを通して前記上部補強材に挿入された前記一以上のＨＴＰを保護する一以上の弾性構造を含む請求項１に記載の冷却システム。
4. 前記上部補強材及び前記基部補強材を組み付ける補強材取付け構造と、
   前記冷却装置、前記上部補強材、及び前記基部補強材を組み付けるシステム取付け構造と、
   をさらに含む請求項１に記載の冷却システム。
5. 前記冷却装置が、空気冷却装置又は液体冷却装置である請求項１に記載の冷却システム。
6. 前記ＰＣＢ上の前記ハードウェアモジュールが、一以上の中央処理装置（ＣＰＵ）、一以上のグラフィックプロセッシングユニット（ＧＰＵ）、一以上の電圧レギュレータ（ＶＲ）、及び一以上の高帯域メモリ（ＨＢＭ）を含む請求項１に記載の冷却システム。
7. 前記ＨＴＰのそれぞれが、各端部に取付けアームを含み、
   前記ＨＴＰを前記取付けチャネルを通して前記上部補強材に取り付けるために、前記取付けアームが使用される請求項１に記載のシステム。
8. 前記ＨＴＰが、複数の異種のＨＴＰを含み、前記ＰＣＢ上の前記ハードウェアモジュールの冷却要求に基づいて選択される請求項１に記載の冷却システム。
9. 前記ＨＴＰが、蒸気室、熱電冷却器、及び銅製熱伝導プレートを含む請求項１に記載の冷却システム。
10. 前記ＨＴＰの各ペア間に形成され、前記ＨＴＰのペア間で熱が拡散することを防止する間隔を更に含む請求項１に記載の冷却システム。
11. スタック状に配置された複数のサーバ筐体を含むデータセンタの電子ラックであって、
    前記サーバ筐体のそれぞれが、一以上のサーバを含み、
    前記サーバが、印刷回路基板（ＰＣＢ）上に実装された一以上のハードウェアモジュールと、
    冷却システムと、
    を含み、
    前記冷却システムが、
    前記ＰＣＢが取り付けられた基部補強材と、
    取付けチャネルを含む上部補強材と、
    前記上部補強材上に取りけられた冷却装置と、
    前記取付けチャネルを通して摺動させることで、前記上部補強材に挿入された一以上の熱伝導プレート（ＨＴＰ）と、
    を含み、
    前記一以上のＨＴＰが、前記一以上のハードウェアモジュールの外面に接触し、前記一以上のハードウェアモジュールが発生した熱を前記冷却装置に伝導し、
    前記上部補強材が、第一の面、第二の面、第三の面及び第四の面を有し、前記第一の面が閉鎖端であり、前記第二の面が開放端であり、前記第三の面及び前記第四の面のそれぞれが、二つの抵抗チャネルを含み、前記第三の面及び前記第四の面のいずれかの第一の抵抗チャネルが、前記取付けチャネルの上部にあり、前記第三の面及び前記第四の面のいずれかの第二の抵抗チャネルが、前記取付けチャネル下にあることを特徴とする電子ラック。
12. 前記一以上のＨＴＰが、前記開放端から前記取付けチャネルを通して前記上部補強材に挿入される請求項１１に記載の電子ラック。
13. 前記抵抗チャネルのそれぞれが、前記取付けチャネルを通して前記上部補強材に挿入された前記一以上のＨＴＰを保護する一以上の弾性構造を含む請求項１１に記載の電子ラック。
14. ヘテロジニアスコンピューティングアーキテクチャを冷却する方法であって、
    基部補強材と、取付けチャネルを含む上部補強材と、複数のハードウェアモジュールを含み、前記基部補強材に取り付けられる印刷回路基板（ＰＣＢ）とを用意することと、
    冷却装置を前記上部補強材上に取り付けることと、
    一以上の熱伝導プレート（ＨＴＰ）を、前記取付けチャネルを通して摺動させることで、前記上部補強材に挿入することと、
    を含み、
    前記一以上のＨＴＰが、前記複数のハードウェアモジュールの外面に接触し、前記複数のハードウェアモジュールが発生した熱を前記冷却装置に伝導し、
    前記上部補強材が、第一の面、第二の面、第三の面及び第四の面を有し、前記第一の面が閉鎖端であり、前記第二の面が開放端であり、前記第三の面及び前記第四の面のそれぞれが、二つの抵抗チャネルを含み、前記第三の面及び前記第四の面のいずれかの第一の抵抗チャネルが、前記取付けチャネルの上部にあり、前記第三の面及び前記第四の面のいずれかの第二の抵抗チャネルが、前記取付けチャネル下にあることを特徴とする冷却方法。
15. 前記一以上のＨＴＰを、前記開放端から前記取付けチャネルを通して前記上部補強材に挿入する請求項１４に記載の冷却方法。