JP6228228B2 - 機器浸漬冷却システム - Google Patents

機器浸漬冷却システム Download PDF

Info

Publication number
JP6228228B2
JP6228228B2 JP2015548011A JP2015548011A JP6228228B2 JP 6228228 B2 JP6228228 B2 JP 6228228B2 JP 2015548011 A JP2015548011 A JP 2015548011A JP 2015548011 A JP2015548011 A JP 2015548011A JP 6228228 B2 JP6228228 B2 JP 6228228B2
Authority
JP
Japan
Prior art keywords
tank
dielectric fluid
primary
primary circulation
circulation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015548011A
Other languages
English (en)
Other versions
JP2016509278A (ja
Inventor
クリストファー エル. ボイド、
クリストファー エル. ボイド、
ジェームズ ピー. コエン、
ジェームズ ピー. コエン、
デイヴィッド クリストファー ラグナ、
デイヴィッド クリストファー ラグナ、
トーマス アール. ターナー、
トーマス アール. ターナー、
ケネス ディー. スウィンデン
ケネス ディー. スウィンデン
マリオ コンティ ガルシア、
マリオ コンティ ガルシア、
ジョン チャールズ トリボウ、
ジョン チャールズ トリボウ、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midas Green Technology LLC
Original Assignee
Midas Green Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51167290&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6228228(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Midas Green Technology LLC filed Critical Midas Green Technology LLC
Publication of JP2016509278A publication Critical patent/JP2016509278A/ja
Application granted granted Critical
Publication of JP6228228B2 publication Critical patent/JP6228228B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20218Modifications to facilitate cooling, ventilating, or heating using a liquid coolant without phase change in electronic enclosures
    • H05K7/20236Modifications to facilitate cooling, ventilating, or heating using a liquid coolant without phase change in electronic enclosures by immersion
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00Details of semiconductor or other solid state devices
    • H01L23/34Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements
    • H01L23/44Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements the complete device being wholly immersed in a fluid other than air
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20218Modifications to facilitate cooling, ventilating, or heating using a liquid coolant without phase change in electronic enclosures
    • H05K7/20272Accessories for moving fluid, for expanding fluid, for connecting fluid conduits, for distributing fluid, for removing gas or for preventing leakage, e.g. pumps, tanks or manifolds
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/2029Modifications to facilitate cooling, ventilating, or heating using a liquid coolant with phase change in electronic enclosures
    • H05K7/20327Accessories for moving fluid, for connecting fluid conduits, for distributing fluid or for preventing leakage, e.g. pumps, tanks or manifolds
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20763Liquid cooling without phase change
    • H05K7/20781Liquid cooling without phase change within cabinets for removing heat from server blades

Description

本出願は、以下の仮出願、すなわち、
1.2012年12月14日に出願された米国特許仮出願第61/737200号(「第1の親仮出願」)、および
2.2013年6月7日に出願された米国特許仮出願第61/832211号(「第2の親仮出願」)
に関連し、連邦規則法典第37巻1.78(a)(4)に基づく上記出願日の利益をここに主張するものである。(まとめて「親仮出願」と呼ぶ)。親仮出願の主題は、それぞれその全体が、参照によって明示的に本明細書に組み込まれている。
本発明は、一般に、電気機器冷却システムに関し、特に、改良された機器浸漬冷却システムおよび動作方法に関する。
以下の説明では、一般に、浸漬冷却システムの当業者によく知られている各専門用語の初出時には、その語はイタリック体で示されている。さらに、新しいと考えられる用語が初めて導入される際、あるいは新しいと考えられる文脈で使用される用語が初めて導入される際には、その語は太字で示され、その語に適用される定義が与えられている。
Crayの「Immersion Cooled High Density Electronic Assembly」という米国特許第4590538号明細書(1981年11月18日出願、1986年5月20日発行)(「Cray」)は、通常動作中の電子部品を冷却する浸漬システムの初期の例である。情報と信念により、この特許に開示された装置は、ウィスコンシン州チペワフォールズのクレイ・リサーチ社(「クレイ・リサーチ」)によって製造されたCray−2スーパーコンピュータ(「Cray−2」であった。本出願にとって特に興味深いのは、非導電性流体または誘電性流体を使用して通常動作中の電子回路アセンブリから熱を抽出することによる顕著な利点についての説明である(例えば、第1欄第66行〜第2欄第29行参照)。
情報と信念により、クレイ・リサーチは、1985年にCray−2について説明する「The CRAY−2 Computer System」(写しを本明細書と共に提出)と題したマーケティング用パンフレットを発表した。このパンフレットで特に興味深いのは、誘電性流体を使用して通常動作中の電子回路アセンブリから熱を抽出することによる顕著な利点についての説明である(10頁および13頁参照)。
Krajewskiらの「High Density Interconnect Apparatus」という米国特許第5167511号明細書(1992年11月27日発行)(「Krajewski」)は、通常動作中の電子部品を冷却する浸漬システムの別の例を開示している(例えば、第2欄第43〜51行参照)。情報と信念により、Krajewskiのシステムを実装した装置も、クレイ・リサーチによってCray−2の後続のスーパーコンピュータとして販売された。
上述した文献で開示された垂直積層型システムにおけるある特定の問題は、電子モジュールに物理的にアクセスする必要が生じるたびに、冷却液を排出する必要があることである。そのような工程は、一般に、時間がかかるだけでなく、特に、注意を要する部品が中央演算処理装置(「CPU」)などのシステムアーキテクチャ内の重要な構成要素である場合、システム全体のスイッチオフを必要とする。この問題に対する1つの考えられる解決手段は、冷却液を含むタンク内に回路アセンブリを垂直方向に浸漬させることであって、修理、交換、アップグレードなどのために、そのタンクから様々なアセンブリのそれぞれを独立に引き出せるようにすることである。そのようなシステムの1つの興味深い例は、Nilay Patelによる「Puget Custom Computer’s mineral−oil−cooled PC」(「Puget」)(2007年5月12日午前11時57分に投稿;写しを本明細書と共に提出)と題したウェブ記事に開示されている。著者が指摘しているように、Pugetのシステムにはオイルから廃熱を抽出する補助装置がなく、そのことが、本質的に動作能力を制限していた。
クレイ・リサーチのシステムに関する別の問題は、特に、選ばれた冷却液、すなわちフッ化炭素液体の性質およびコストである。知られているように、鉱油などの他の誘電性流体は、より優れた伝熱特性を有しているが、もちろん、油であり、それを使用すると、修理できる可能性のあるモジュールに対するより重大な残留物問題が伴うことになる。それにもかかわらず、Pugetのシステムでは、この設計上の選択がまさに実行されていた。
Bestらの「Liquid Submerged,Horizontal Computer Appliance Rack and Systems and Method of Cooling such a Appliance Rack」という米国特許出願公開第2011/0132579号明細書(「Best」)は、タンクの冷却液から廃熱を抽出し、そのように抽出された熱を環境に放出する支援装置を含む機器浸漬タンクシステムを開示している。このシステムは、上述した従来技術に対していくつかの点で改良されているが、とりわけ以下の問題、すなわち、タンク内のいくつかの機器用スロットを通る流れパターンがほぼ不均一であり、そのことで、スロット全体にわたって冷却が均等でなくなる可能性がある;誘電性流体の供給ポートおよび戻りポートが狭窄していることで、タンクへの接続部の各点で不必要に高い流体流速が生じる;スケーラビリティが十分でない;フェイルソフト動作への対応が不十分である、という問題を有している。
上述した従来技術文献のすべての主題は、それぞれその全体が、参照によって明示的に本明細書に組み込まれている。
改良された機器タンク浸漬システムおよび動作方法が必要であると考えられる。特に、そのようなシステムは、最良の従来技術にほぼ匹敵する性能であるが、そのような従来技術の知られた実装例よりも効率的かつ効果的な性能を実現すべきであると考えられる。
本発明の好ましい実施態様によれば、・・・。
本発明に従って構成された機器浸漬冷却システムのタンクモジュールの一部を切り欠いて示す正面斜視図である。 図1に示すタンクモジュールの背面斜視図である。 図2の細部Aの拡大斜視図である。 図2の細部Bの拡大斜視図である。 タンクの長い背面壁に組み込まれた誘電性流体の回収堰部を特に強調した、図1に示すタンクのいくつかの細部を示す斜視図である。 図5の断面C−Cを示す断面図である。 図1に示すプレナム装置を示す斜視図である。 図7に示すプレナム装置のオリフィスプレート部を示す上面図である。 図7に示すプレナム装置のチャンバ部を示す斜視図である。 図1のタンクの長軸を横切って延びるとともに長軸に沿って垂直方向に分布した複数の機器用スロットを示す上面図である。 図1のタンクの長軸を横切って延びるとともに長軸に沿って垂直方向に分布した複数の機器用スロットを示す縦断面図である。 本発明を実施するのに適した流れ構成の一実例を示すフロー概略図である。 本発明を実施するのに適した流れ制御装置の一実例を示す制御概略図である。
添付の図面に関連して特定の好ましい実施形態を説明することで、本発明をより十分に理解することができる。
各図面において、可能な限り、同様の構成要素には同様の参照番号を付している。しかしながら、これは、単に参照の都合上のためであって、不必要に参照番号を増やすのを回避するためのものであり、本発明がいくつかの実施形態において機能または構造のいずれかの点で同一性を要求することを暗示または示唆することを意味するものではない。
図1(正面図)および図2(背面図)には、本発明の好ましい実施形態に従って構成された機器浸漬冷却システムでの使用に適応したタンクモジュール10が示されている。参照の都合上、図1では、浸漬モジュール10のタンク装置12は、いくつかの重要な内部装置を強調するために、一部が切り欠いて示されており、図5では、タンク装置12が単独で示されている。一般に、タンク装置12は、タンク14であって、タンク14の長軸を横切って延びるとともにその長軸に沿って垂直方向に分布した各機器用スロット18a内で、それぞれ複数の電気機器16、例えば現代的なコンピュータサーバ(例えば、図11参照)を誘電性流体に浸漬させるように構成されたタンク14(大まかには図10参照)と、各機器用スロット18(図10参照)内に機器16(例えば、図11参照)を吊り下げるように構成された従来設計の機器用ラック装置20と、すべての機器用スロット18に隣接する位置でタンク14の1枚の長い壁に水平方向に組み込まれた堰部22であって、各機器用スロット18を通って流れる誘電性流体を実質的に均一に回収するのを容易にするように構成された堰部22(図5および図6に単独で最も良く図示)と、タンク14の上部後端部に取り付けられ、様々な機器配電器具やケーブル相互接続パネルなど(いずれも図示せず)を搭載するように構成された相互接続パネル装置24と、タンク14の正面から開閉されるように構成された(閉位置にあるときにタンク14の内部が見えるように半透明部分を含んでいてよい)カバー26と、を有している。タンク装置12に加えて、浸漬モジュール10は、一次循環装置28(その一部が図1および図2の両方に図示)と、二次流体循環装置30(冗長熱交換器32a,32bのみが図2に図示)と、一次循環装置28a,28b(図13参照)のそれぞれに関連付けられたモジュール状況・制御機器を収容するようにそれぞれが構成された制御機器キャビネット34a,34bと、を有している。
図2から最も明らかなように、(冗長予備装置28a,28bを有する)一次循環装置28は、受動部品(導管、連結器など)と能動部品(弁、ポンプ、センサなど)の両方を有し、受動部品の一部が共用されているのに対して、能動部品は、一般に、繰り返し使用され、別個の冗長予備装置として協働するように構成されている。タンク14を除いて、一次共用部品は、オリフィスプレート36a(図8参照)とプレナムチャンバ36b(図9参照)とを有するプレナム装置36(図1および図7参照)である。図1から明らかなように、冷却された誘電性流体は、共用分配ヘッダ38(図2および図3参照)を介してプレナム装置36の両端部へと送り込まれる。一般に、プレナムプレート36aは、各機器用スロット18aに対して垂直に揃えられた少なくとも1列のオリフィスを有し、各組の寸法および流量は、誘電性流体が各機器用スロット18a内を実質的に等しく上向きに流れるように構成されている。各機器用スロット18aは、数列のオリフィスを与えられていることが好ましく、それにより、概ね、各オリフィスから流出する誘電性流体の体積が低減しやくなり、機器用スロット18aを上向きに通る誘電性流体の流れをより均一にさせやすくなる。もう1つの共用部品は、誘電性流体回収容器42(図3、図4、および図13参照)を有する誘電性流体回収装置40(図2)であり、誘電性流体回収容器42は、堰部22のオーバフローリップの垂直方向下方に位置し、誘電性流体が堰部22を越えて流れるときに誘電性流体を円滑に受け入れるように構成されている。さらに、誘電性流体回収容器42は、回収された流体を冗長回収ポート44a,44bを通じて容器42から除去するのを可能にするように構成されている(ポート44bは熱交換器32aで見えなくなっているため、ポート44aのみが図2に図示、図12参照)。図3および図4の両方から明らかなように、各回収ポート44の入口に渦防止装置が設けられていることが望ましいと考えられる。同様に、分配ヘッダ38の大部分も覆うように構成された取り外し可能な回収容器カバー46が設けられている。図2および図3では共に、カバー46が部分的に持ち上げられた姿勢で図示され、それにより、そうしないと見えなくなる細部がより良く示されていることに留意されたい。また、容器42は、回収ポート44よりも上方の誘電性流体の平均高さがポンプ48の要件を満たすのに十分な水圧ヘッドを生じさせる一方で、通常動作中に吸引中断が生じる可能性も最小限に抑えやすくなるように構成されていることに留意されたい。
この時点で、一次循環装置28には、完全に冗長な予備装置28a,28bが設けられ、各予備装置は、一次循環ポンプ(48a,48b)と、共用部品およびタンク14を通して誘電性流体を循環させる原動力を集合的に提供する、関連する受動部品および能動部品と、を有している。概略的に図示されているように、これら予備装置28a,28bのそれぞれは、堰部22を通じてタンク14から流出する誘電性流体を回収し、回収された流体を再加圧し、再加圧された流体を熱交換器32a,32bのそれぞれに通した後、ヘッダ38を通じてプレナム装置36に戻すように構成されている。
図12には、一次循環装置28と二次流体循環装置30とを有し、完全に冗長な機器浸漬冷却システムに対してタンクモジュール10を組み込むのに適した1つの流れ構成が示されている。一般に、二次流体循環装置30は、冗長な二次流体循環予備装置30a,30bを有し、これら予備装置のそれぞれは、各熱交換器32a,32bを通して冷却液(例えば処理水)を循環させ、それとは反対方向に循環する誘電性流体から熱を抽出し、そのように抽出された熱を環境に放出するように構成されている。図示した実施形態では、二次流体予備装置30a,30bのそれぞれが、(ファン装置52a,52bを含む)従来型の冷却塔50a,50bと、二次循環ポンプ54a,54bとを有している。複数の二次循環予備装置30と組み合わされた複数の浸漬モジュール10を含む装置における柔軟な運用を容易にするために、既知の重要な流量制御点に流量制御弁が配置された二次流体循環ループにおいて、共通のヘッダ構成を図示したように実現することができる。
図13には、(一次循環装置28のすべての能動部品を含む)浸漬モジュール10と二次流体循環装置30の両方の動作を監視および制御するように構成された制御装置56が示されている。当業者には明らかなように、浸漬モジュール10の効率的な動作のためには、一次循環ループおよび二次循環ループのいくつかの場所で、流体温度、圧力、伝導度、およびpHを含むいくつかの基本的な動作パラメータを連続的に監視および制御する必要がある。いくつかのセンサ機能および制御機能は従来の専用ハードウェア部品を使用して実行可能であるが、多くの有名なメーカーのいずれかから市販されている少なくとも1つのプログラマブルロジックコントローラ(「PLC」)、例えば、ロックウェル・オートメーション社によるアレン・ブラドリーというブランドのPLCを使用することが好ましい。図13に示す実例では、一次循環予備装置28aの動作をタンク14内の誘電性流体の温度の関数として監視および制御するように構成された一次コントローラ58aと、二次流体循環予備装置30aの動作を、熱交換器32を通って流れる誘電性流体の温度の関数として監視および制御するように構成された二次コントローラ60aと、一次コントローラ58aおよび二次コントローラ60aの動きを調整するように構成されたマスターコントローラ62とが図示されている。図に示すように、一次循環予備装置28aには、各戻りポート44aに隣接して容器42の底部に設置されたサーモウェル(図示せず)に挿入された温度プローブTを含む供給センサおよび戻りセンサ(図4では、サーモウェルを受け入れる穴の一方しか示されていないが、図12では、両方の穴が示されていることに留意されたい)と、必要に応じて温度、圧力、および伝導度を検知可能な一対のセンサ装置Sと、一次循環ポンプ48a用の戻り流量制御弁(および必要に応じて供給流量調節弁)および制御部とが組み込まれている。もちろん、一次循環予備装置28bには、これらの部品の冗長な一式が存在している。一般に、目標は、タンク14内の誘電性流体の温度を所定の最低温度と所定の最高温度との間に維持することである。
上述したように、別個の制御機器キャビネット34a,34bが設けられ、それぞれのキャビネットは、一次コントローラ58a,58bのそれぞれを有するいくつかの部品を収容するように構成されている。アクセスの都合上、各冷却塔50と各二次コントローラ60用の保護ハウジング(図示せず)とを同じ場所に配置することが好ましい。もちろん、制御装置56の実例として、特定の装置に最も適切であるとみなされる監視装置の同様の組み合わせまたは他の組み合わせを備えた単一のマルチモジュールPLC装置を挙げることができる。あるいは、コントローラ58,60,62によって実行される機能の1つ以上、おそらくはそのすべてを、適切なリソースを有する従来型のコンピュータプラットフォーム上で実行される専用の特定用途向けソフトウェアの形態で実装することができる。実際に、タンク14に設置されたサーバ16上に制御装置56の全体を実装することは完全に実行可能であろう。
推奨される1つの望ましい機能強化は、システム状況の遠隔監視(例えば、温度、圧力など)と一次コントローラ58および二次コントローラ60に対するシステム制御パラメータ(例えば、温度限界および圧力限界など)の制御とを容易にするように構成された、例えばマスターコントローラ62を介して(またはコントローラごとの直接的なインターフェースによって)実行される遠隔制御装置である。例えば、従来型のデータ通信ハードウェアモジュール64(例えば、TCP/IPプロトコルを実行するイーサネットカード)を使用すると、現代のウェブブラウザは、遠隔位置からの装置全体の監視および制御を容易にするのに十分な機能を備えたグラフィカルユーザインターフェース(「GUI」)を提供するように構成されていてよい。そのようなGUIは、多くのプログラミングパラダイム(例えば、PHP、NETなど)のいずれかを使用して実行されていてよい。
冗長で連続的なプロセスフローシステムの動作制御が一般的によく知られている。いくつかの冗長な予備装置のそれぞれは、定期的に作動して、現在の機能を確実に実行するとともに、作動していない予備装置を確立されたスケジュールに従って使用可能にすることが好ましい。システムリソースのこの連続的なローテーションは非常に重要であると考えられるため、予備装置を1日に少なくとも1回、好ましくは数回切り替えることが推奨される。これは手動で実施することができるが、マスターコントローラ62がいくつかの切り替え動作の順序付けを制御できるようにすることが好ましい。このような制御高度化のもう1つの側面は、リアルタイムの緊急事態に対する適切な応答を確実に行うように、制御された条件下でいくつかのサブシステムのストレス試験を実行する能力である。
第1の親仮出願には、機器浸漬タンク装置を有する代替実施形態であって、プレナム装置36の機能が、それぞれが各機器用スロットに誘電性流体を供給するはしご構成の管状スプレーバーを有するマニホールド装置によって実行される代替実施形態が開示されている。指摘されているように、この構成の1つの特定の利点は、各機器用スロットが占有されていない場合に個々のスプレーバーを遮断することができ、したがって、エネルギーを節約できることである。エネルギー効率をさらに向上させるために、タンクを作動している機器を有する作動部分と作動していない機器を有する滞留部分とに区画するように構成された任意の垂直流れ障壁が設けられている。開示されたもう1つの機能強化は、各スプレーバーを通る流量を各スロットから流出する誘電性流体の温度の関数として動的に変化させることができるように、機器用スロットごとに温度センサが設けられていることである。当業者には他の作動構成が容易に認識されるであろう。
第1の親仮出願に記載された実施形態と同様に、エネルギーの観点からは、プレナム装置36の上部に取り付けられ、それにより、少なくとも機器用スロット18aのそれぞれに対応するプレナムプレート36aのオリフィスの列を通る誘電性流体の流れを実質的に遮断することができるようにそれぞれが構成された複数の流れ障壁プレート66を設けることが有利であろう。シール効果を高めるために、プレート66の界面に弾性層(図示せず)が設けられていてもよい。そのような構成により、プレナム装置36を通る全流量を、ここではタンク14内で動作している機器の実数の関数として調整することができる。さらに、この構成は、タンク14を作動している機器16を含む作動部分14aと機器を含んでいない(または少なくとも作動している機器16を含んでいない)非作動部分14bとに実質的に区画するように構成された再配置可能な垂直バッフルプレート68(図11参照)を含んでいてよい。バッフルプレート68は、実際の機器16と同様に機器用ラック装置28に取り付けられるように構成されていることが好ましい(バッフルプレート68は、作動部分14aと非作動部分14bとの間の誘電性流体の流れを完全に遮断する必要はなく、2つの部分の間の流れを著しく妨げるだけでよい)。図11に示す例示的なシナリオでは、16個の機器用スロット18aに対して合計8個の作動している機器16を分布させて、全熱負荷を隣接する空のスロット18aに拡散させることができる1つの考えられる構成が示されている。このような最適な構成は、作動している機器16によって利用可能な機器用スロット18aの過半数未満が占められている場合にのみ可能になる。明らかなことに、そのような任意の付属装置によって、動作の柔軟性が向上し、変化する熱負荷の下での一次循環予備装置28a,28bにおける流量の動的調整が行われる一方で、そうしないとタンク14の非作動部分14bに誘電性流体が流れることに費やされてしまうことになるエネルギーを節約する機会が与えられる。当業者には他の作動構成が容易に認識されるであろう。
第2の親仮出願には、適切な流れ装置および制御装置を備えた、より従来型であってモジュール化の程度がより低い実例を有する別の実施形態が開示されている。この実施形態では、例えば4つの機器浸漬タンク装置を有し、実質的にすべての他の機器が市販の独立型部品から構成されたタンク群を実現することが選択されている。そのような構成により、初期設置後の必要に応じて、改良された部品を選択して設置する機会、または装置に機能強化を追加する機会がより多く与えられている。当業者には他の作動構成が容易に認識されるであろう。
図12に示す実施形態を参照して上述したように、二次流れヘッダ装置は、任意の二次循環予備装置30を作動している任意の熱交換器32に接続するのを可能にするように十分に構成されている。そのような装置により、特に、二次循環予備装置30a,30bのそれぞれが一群のタンクモジュール10を支持するサイズを有する装置において、異常なシステム条件に対処する高い柔軟性が提供される。例えば、1つの二次循環装置30(例えば予備装置30a)を修理している間、一群内の1つのタンク14において一連の機器16の活動が通常よりも高くなることで、そのタンク14内の温度が所望の最高値を超えて上昇すると仮定する。それに応じて、マスターコントローラ62は、タンク14に割り当てられた一次コントローラ58a,58bに指示して、一次循環予備装置28a,28bの両方を同時に、すなわち並行に動作させることができる。二次流れヘッダ装置を使用すると、熱交換器32a,32bの両方によって抽出された熱を単一のオンライン二次循環予備装置30bのリソースを用いて放出することができる。したがって、この代替実施形態の明確な1つの利点は、システムリソース全体にわたって負荷バランシングを動的に実行する能力である。サブシステムの負荷バランシングを支援する他の作動構成が当業者には容易に認識されるであろう。
一次循環装置28全体を通過する際に誘電性流体によって取り込まれる可能性がある任意の微粒子または他の望ましくない異物を除去するために、一次循環予備装置28a,28bのそれぞれを通る流路に1つ以上のフィルタ(図示せず)が含まれていることが好ましい。1つの機器16の内部にある従属部品の故障を示すことが可能な予期せぬ薬品の存在を検出する薬品センサが設けられていてもよい。二次流体循環装置30にpHセンサなどの同様の部品が含まれていてもよい。
図1から概ね明らかなように、何らかの理由でタンク14内の誘電性流体の液位が所定の最低液位よりも低くなった場合にアラーム信号を発生させるように構成された一対の低誘電性流体液位センサ70a,70bが設けられている。加えて、応答性の高い一次コントローラ58が、オーディオアラームの起動や電子警告信号の伝送などを含む他の処置を開始して、検出された問題に対処することができる。
相互問題、すなわち、タンク14内の誘電性流体にプレナム装置36を通じた逆サイフォン現象を生じさせる、一次循環ループ28の外部からの漏れを解決するために、プレナム装置36よりもかなり上方であるが堰部24の位置よりはやや低い所定の位置において供給管内にサイフォンブレーカー72(図1参照)を組み込むことが推奨される。そのようなサイフォンブレーカーは、選択された位置において供給管に開けられた、比較的小さい直径を有する穴72のような単純なものであってよい。誘電性流体の粘度が比較的高いため、加熱時であっても、通常動作中に生じるいかなる漏れも相対的に重要ではなくなる。このような異常な流体条件および他の異常な流体条件に対処する他の作動応答が当業者には容易に認識されるであろう。
知られているように(例えば、Best参照)、多くの従来型の市販の電気/電子機器は、誘電性流体、特に鉱油と同程度の粘度を有する流体に浸漬されたときに正しく動作しなくなる部品、例えば、冷却ファンおよび回転型メディアディスクドライブを含んでいる。一般に、すべての冷却ファンは、浸漬冷却システムでは不要であり、単に取り外されていてよい。しかしながら、メディアドライブは、機器を正常に動作させるのに通常必要である。1つの選択肢は、各ドライブを取り外し、それを流体の進入に対して完全に密封し、密封されたドライブを再設置することである(事前に密封されたドライブも利用可能である)。別の選択肢は、ドライブを取り外して相互接続パネル装置24に搭載することであるが、通常、ドライブを内部機器ソケットに取り付け直すためには特殊な配線が必要となる。さらに別の選択肢は、回転型メディアドライブを、移動部品を有さないソリッドステートドライブに置き換えることである。当業者には他の作動構成が容易に認識されるであろう。
本明細書に記載された実施形態のすべてにおいて、各浸漬モジュール10全体を循環する誘電性流体の総量を最小限に抑えることが強調されていることが理解されよう。ここでの重要な概念は、一次流体を二次流体との熱交換点まで移動させることではなく、二次流体を一次流体との熱交換点まで移動させることであると考えられる。したがって、好ましい実施形態では、一次循環装置28の基本的な部品のすべては、タンク14と同じ場所に密接に配置され、高度に集積されたモジュールを形成することができる。さらに、容器42がタンク14の外側に(ただし直接隣接して)位置していることで、(タンク14内に回収槽が配置された第1の仮出願で提案された代替構成とは異なり)誘電性流体の総量は減少する傾向にある。そして、一次循環予備装置28aを有する部品が、容器42のフットプリントの垂直方向下方に位置するように配置されている。典型的なデータセンター装置における貴重な設置面積を節約することに加えて、得られるモジュール構成によって、初期設置が容易になるとともにその後のアップグレードが容易になり、増大するデータセンターの仕事量を効率的に満足させる。実際、本発明によって、データセンターのオペレータにとって重要な問題であるシステムスケーラビリティが大幅に向上することになる。最終的に、システム全体の冗長性によって、異常な環境条件、すなわち、インフラの不安定性または政情不安の期間中のフェイルソフト動作がしっかりと確実に実施される。
特定の実施形態との関連において本発明を説明したが、当業者には、そのような実施形態において多くの修正を施して特定の実装例に適応させることができることが容易に理解されるであろう。一例として、現代的なサーバ以外の電子機器に使用するように本発明を適応させ、それに応じて機器収容スロットの寸法を調整するために、ほとんど労力を要することはない。同様に、当業者には、強制空気、蒸気圧縮システム、地球と水のシンクループ、廃熱の回収・再利用システムなどを含む、他の知られた二次循環装置(例えば、Bestで述べられたいくつかの代替例参照)が効果的に使用可能であることが容易に理解されるであろう。さらに、上述したいくつかの構成要素は、様々な既知の製造方法のいずれかを使用して実現可能であるとともに、一般に、当技術分野で知られているように、ハードウェア制御、ソフトウェア制御、および、その何らかの組み合わせのいずれかの下で動作可能であるように適応可能である。
したがって、機器などの浸漬冷却を行う改良されたシステムおよび動作方法が提供されていることは明らかである。特に、そのような方法および装置は、最良の従来技術に概ね匹敵する性能であるが、そのような従来技術の知られた実装例よりも効率的かつ効果的な性能を実現していると考えられる。

Claims (10)

  1. タンクであって、前記タンクの長い壁を横切って延びるとともに該長い壁に沿って垂直方向に分布した各機器用スロット内で、それぞれ複数の電気機器を誘電性流体に浸漬させるように構成され、前記タンクが、すべての機器用スロットに隣接する位置で前記タンクの前記長い壁に水平方向に組み込まれ、各機器用スロットを通って流れる前記誘電性流体を実質的に均一に回収するのを容易にするように構成された堰部を有する、タンクと、
    前記タンクを通して前記誘電性流体を循環させるように構成された一次循環装置であって、前記タンクの底部に隣接して位置し、前記誘電性流体を、各機器用スロットを通って上向きに、かつ実質的に均一に供給するように構成されたプレナムを有する一次循環装置と、
    前記一次循環装置内を循環する前記誘電性流体から熱を抽出し、そのように抽出された前記熱を環境に放出するように構成された二次流体循環装置と、
    前記一次循環装置の動作と前記二次流体循環装置の動作とを前記タンク内の前記誘電性流体の温度の関数として調整するように構成された制御装置と、
    を有する機器浸漬冷却システム。
  2. 前記タンクおよび前記一次循環装置が、同じ場所に密接に配置されたモジュールを有する、請求項1に記載のシステム。
  3. 前記タンクが、機器支援器具を搭載するように構成された相互接続パネル装置をさらに有する、請求項1に記載のシステム。
  4. 前記一次循環装置が、前記タンクを通して前記誘電性流体を循環させるようにそれぞれが独立して動作するように構成された、少なくとも第1および第2の一次循環予備装置をさらに有し、
    前記制御装置が、前記第1および第2の一次循環予備装置の動作と前記二次流体循環装置の動作とを調整して、前記タンク内の前記誘電性流体の温度を実質的に所定の最低温度と所定の最高温度との間に維持するようにさらに構成されている、請求項1に記載のシステム。
  5. 前記制御装置が、遠隔位置からの前記制御装置の監視および制御を容易にするように構成された通信装置をさらに有する、請求項1に記載のシステム。
  6. タンクであって、前記タンクの長い壁を横切って延びるとともに該長い壁に沿って垂直方向に分布した各機器用スロット内で、それぞれ複数の電気機器を誘電性流体に浸漬させるように構成され、前記タンクが、すべての機器用スロットに隣接する位置で前記タンクの前記長い壁に水平方向に組み込まれ、各機器用スロットを通って流れる前記誘電性流体を実質的に均一に回収するのを容易にするように構成された堰部を有する、タンクと、
    前記タンクを通して前記誘電性流体を循環させるように構成された一次循環装置であって、前記タンクの底部に隣接して位置し、前記誘電性流体を、各機器用スロットを通って上向きに、かつ実質的に均一に供給するように構成されたプレナムを有する一次循環装置と、
    前記一次循環装置の動作を前記タンク内の前記誘電性流体の温度の関数として制御するように構成された制御装置と、
    を有する、機器浸漬冷却システムにおいて使用できるように構成されたタンクモジュール。
  7. 前記タンクおよび前記一次循環装置が、同じ場所に密接に配置されたモジュールを有する、請求項6に記載のモジュール。
  8. 前記タンクが、機器支援器具を搭載するように構成された相互接続パネル装置をさらに有する、請求項6に記載のモジュール。
  9. 前記一次循環装置が、前記タンクを通して前記誘電性流体を循環させるようにそれぞれが独立して動作するように構成された、少なくとも第1および第2の一次循環予備装置をさらに有し、
    前記制御装置が、前記第1および第2の一次循環予備装置の動作を調整して、前記タンク内の前記誘電性流体の温度を実質的に所定の最低温度と所定の最高温度との間に維持するようにさらに構成されている、請求項6に記載のモジュール。
  10. 前記制御装置が、遠隔位置からの前記制御装置の監視および制御を容易にするように構成された通信装置をさらに有する、請求項6に記載のモジュール。
JP2015548011A 2012-12-14 2013-12-13 機器浸漬冷却システム Active JP6228228B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261737200P 2012-12-14 2012-12-14
US61/737,200 2012-12-14
US201361832211P 2013-06-07 2013-06-07
US61/832,211 2013-06-07
PCT/US2013/075126 WO2014109869A1 (en) 2012-12-14 2013-12-13 Appliance immersion cooling system

Publications (2)

Publication Number Publication Date
JP2016509278A JP2016509278A (ja) 2016-03-24
JP6228228B2 true JP6228228B2 (ja) 2017-11-08

Family

ID=51167290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015548011A Active JP6228228B2 (ja) 2012-12-14 2013-12-13 機器浸漬冷却システム

Country Status (9)

Country Link
US (2) US10405457B2 (ja)
EP (1) EP2932349B1 (ja)
JP (1) JP6228228B2 (ja)
ES (1) ES2642774T3 (ja)
MX (1) MX353993B (ja)
PL (1) PL2932349T3 (ja)
RU (1) RU2645721C2 (ja)
SA (1) SA515360586B1 (ja)
WO (1) WO2014109869A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7265829B2 (ja) 2020-07-27 2023-04-27 劭▲祺▼ 劉 材料処理装置及びその操作方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9844167B2 (en) 2015-06-26 2017-12-12 Microsoft Technology Licensing, Llc Underwater container cooling via external heat exchanger
US9801313B2 (en) 2015-06-26 2017-10-24 Microsoft Technology Licensing, Llc Underwater container cooling via integrated heat exchanger
JP6980969B2 (ja) * 2016-04-13 2021-12-15 富士通株式会社 データセンタ及びデータセンタの制御方法
EP3236727B1 (en) * 2016-04-20 2019-09-18 CGG Services SAS Methods and system for oil immersion cooling
RU2643173C1 (ru) * 2016-12-30 2018-01-31 Общество с ограниченной ответственностью "НИЦ супер-ЭВМ и нейрокомпьютеров" Иммерсионная система охлаждения для электронных устройств
RU2663213C2 (ru) * 2017-01-27 2018-08-02 Сергей Михайлович Абрамов Устройство для охлаждения изделий электронной техники
JP6939034B2 (ja) 2017-04-05 2021-09-22 富士通株式会社 冷却システム、冷却装置、及び電子システム
WO2019006437A1 (en) * 2017-06-30 2019-01-03 Midas Green Technologies, Llc ENHANCED APPROPER IMMERSION COOLING SYSTEM
CN109757061B (zh) * 2017-11-03 2021-06-11 阿里巴巴集团控股有限公司 冷却机柜及冷却系统
TWI659188B (zh) * 2017-11-22 2019-05-11 英業達股份有限公司 浸入式冷卻設備及其伺服器系統
RU2695089C2 (ru) * 2017-12-26 2019-07-19 Общество с ограниченной ответственностью "Научно-Технический Центр ИннТех" Система непосредственного жидкостного охлаждения электронных компонентов
RU2683425C1 (ru) * 2018-02-02 2019-03-28 Общество с ограниченной ответственностью "НИЦ супер-ЭВМ и нейрокомпьютеров" Система теплообмена для жидкостного охлаждения электронных устройств (варианты)
JP7052558B2 (ja) * 2018-05-22 2022-04-12 富士通株式会社 電子装置及びダミーユニット
US11359865B2 (en) 2018-07-23 2022-06-14 Green Revolution Cooling, Inc. Dual Cooling Tower Time Share Water Treatment System
JP7151276B2 (ja) * 2018-08-28 2022-10-12 富士通株式会社 冷却制御装置、冷却制御方法及び冷却制御プログラム
RU2692569C1 (ru) * 2019-02-19 2019-06-25 Кирилл Олегович Морозов Система иммерсионного охлаждения серверного оборудования
CN111669935B (zh) * 2019-03-08 2023-01-06 富联精密电子(天津)有限公司 冷却装置及应用所述冷却装置的电子装置冷却系统
EP3731611A1 (en) * 2019-04-24 2020-10-28 Hostkey B.V. Immersion cooling system
CA3042519C (en) 2019-05-07 2020-12-22 Stephane Gauthier Cooling a computer processing unit
US10765033B1 (en) * 2019-05-23 2020-09-01 Microsoft Technology Licensing, Llc Immersion cooling enclosures with insulating liners
TWI715074B (zh) * 2019-06-21 2021-01-01 俄羅斯聯邦商塞恩堤芬克泰尼克中心宇太科技有限公司 冷卻電子元件之直液式冷卻系統
US20230037391A1 (en) * 2020-01-23 2023-02-09 Ivan KIRILLOV Cooling bath for multiprocessor circuit boards
WO2022019793A1 (en) * 2020-07-20 2022-01-27 Ivan Kirillov Fast flow cooling bath for multiprocessor circuit boards
USD998770S1 (en) 2020-10-19 2023-09-12 Green Revolution Cooling, Inc. Cooling system enclosure
USD982145S1 (en) 2020-10-19 2023-03-28 Green Revolution Cooling, Inc. Cooling system enclosure
US11696423B2 (en) * 2021-05-06 2023-07-04 Tyco Fire & Security Gmbh Liquid immersion cooling tank with variable flow for high density computer server equipment
WO2022251976A1 (en) * 2021-06-04 2022-12-08 Lecuyer Charles Cooling system
RU208633U1 (ru) * 2021-07-29 2021-12-28 Алексей Дмитриевич Клементьев Устройство непосредственного жидкостного охлаждения изделий вычислительной техники
US20230080447A1 (en) * 2021-09-15 2023-03-16 Tmgcore, Inc. Liquid immersion cooling platform and components thereof
US11805624B2 (en) 2021-09-17 2023-10-31 Green Revolution Cooling, Inc. Coolant shroud
US20230164951A1 (en) * 2021-11-22 2023-05-25 Google Llc Modular liquid cooling architecture for liquid cooling
US11925946B2 (en) 2022-03-28 2024-03-12 Green Revolution Cooling, Inc. Fluid delivery wand
US20240090169A1 (en) * 2022-09-14 2024-03-14 Green Revolution Cooling, Inc. System and Method for Cooling Computing Devices Using a Primary Circuit Dielectric Cooling Fluid

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3406244A (en) * 1966-06-07 1968-10-15 Ibm Multi-liquid heat transfer
US4590538A (en) * 1982-11-18 1986-05-20 Cray Research, Inc. Immersion cooled high density electronic assembly
JPH0783078B2 (ja) * 1987-09-11 1995-09-06 株式会社日立製作所 半導体冷却装置
US5297621A (en) * 1989-07-13 1994-03-29 American Electronic Analysis Method and apparatus for maintaining electrically operating device temperatures
SU1764094A1 (ru) * 1990-07-12 1992-09-23 Polyanskij Aleksandr V Устройство дл подогрева и охлаждени жидкости
US5167511A (en) * 1990-11-27 1992-12-01 Cray Research, Inc. High density interconnect apparatus
JPH04116758U (ja) * 1991-03-29 1992-10-20 関西日本電気株式会社 液冷バイアス試験装置
JP2654415B2 (ja) * 1991-08-26 1997-09-17 三菱電機株式会社 電気機器
RU2042294C1 (ru) * 1993-03-16 1995-08-20 Институт теплофизики СО РАН Радиоэлектронное устройство
JP3619386B2 (ja) * 1999-03-29 2005-02-09 株式会社ルネサステクノロジ 半導体デバイスの冷却装置
US7064953B2 (en) * 2001-12-27 2006-06-20 Formfactor, Inc. Electronic package with direct cooling of active electronic components
JP2005332863A (ja) * 2004-05-18 2005-12-02 Denso Corp パワースタック
US7280356B2 (en) * 2004-12-14 2007-10-09 Amphenol Corporation Air cooling architecture for orthogonal board architectures
US7403392B2 (en) * 2006-05-16 2008-07-22 Hardcore Computer, Inc. Liquid submersion cooling system
JP4900148B2 (ja) * 2007-09-13 2012-03-21 三菱電機株式会社 半導体装置
JP2009076561A (ja) * 2007-09-19 2009-04-09 Fujitsu Ltd 冷却装置、受熱器、熱交換器、およびタンク
ES2904259T3 (es) * 2008-08-11 2022-04-04 Green Revolution Cooling Inc Bastidor de servidores de ordenador horizontal, sumergido en líquido y sistemas y métodos de enfriamiento de tal bastidor de servidores
US20110240281A1 (en) * 2010-03-31 2011-10-06 Industrial Idea Partners, Inc. Liquid-Based Cooling System For Data Centers Having Proportional Flow Control Device
JP5687454B2 (ja) * 2010-08-20 2015-03-18 富士通株式会社 空冷システム
JP2012054499A (ja) * 2010-09-03 2012-03-15 Sohki:Kk 電子機器の冷却システム
JP5956100B1 (ja) * 2015-07-02 2016-07-20 株式会社ExaScaler 液浸冷却装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7265829B2 (ja) 2020-07-27 2023-04-27 劭▲祺▼ 劉 材料処理装置及びその操作方法

Also Published As

Publication number Publication date
US20190200482A1 (en) 2019-06-27
MX2015007601A (es) 2016-03-21
EP2932349B1 (en) 2017-08-30
RU2015128279A (ru) 2017-01-18
EP2932349A1 (en) 2015-10-21
WO2014109869A1 (en) 2014-07-17
PL2932349T3 (pl) 2018-02-28
SA515360586B1 (ar) 2018-08-16
US20150181762A1 (en) 2015-06-25
US10405457B2 (en) 2019-09-03
RU2645721C2 (ru) 2018-02-28
US10820446B2 (en) 2020-10-27
ES2642774T3 (es) 2017-11-20
JP2016509278A (ja) 2016-03-24
EP2932349A4 (en) 2016-11-02
MX353993B (es) 2018-02-07

Similar Documents

Publication Publication Date Title
JP6228228B2 (ja) 機器浸漬冷却システム
EP2994809B1 (en) System and method of packaging computing resources for space and fire-resistance
US11083110B2 (en) Multifunction coolant manifold structures
US8724322B2 (en) Targeted liquid cooling for a system
US20220104394A1 (en) Appliance Immersion Cooling System
US10660239B2 (en) Cooling system with integrated fill and drain pump
US20150334880A1 (en) System and method for air-cooling hard drives in liquid-cooled server rack
US8351200B2 (en) Convergence of air water cooling of an electronics rack and a computer room in a single unit
US9811097B2 (en) Environmental control of liquid cooled electronics
US10716236B2 (en) Cooling a data center
US20050122685A1 (en) Cooling system and method employing multiple dedicated coolant conditioning units for cooling multiple electronics subsystems
US20040132398A1 (en) Integrated cabinet for containing electronic equipment
US11284535B2 (en) Leak mitigation in a cooling system for computing devices
CN104582416A (zh) 一种液体冷却系统及其控制方法
RU2559825C2 (ru) Серверная ферма с иммерсионной системой охлаждения
DE112021004160T5 (de) Redundante isolierung von rack-verteilern für rechenzentrum-kühlsysteme
WO2016019386A1 (en) Controller for oil-cooled rack with multiple modes of operation
CN116615959A (zh) 电介质冷却剂分配集管
US20220104393A1 (en) Appliance Immersion Cooling System
RU2692569C1 (ru) Система иммерсионного охлаждения серверного оборудования
CN112437583A (zh) 用于对搁架进行自主冷却的冷却装置
CN109588018A (zh) 一种全浸式数据中心架构
US11822397B2 (en) Server rack liquid distribution with redundancy
Kadhim Holistic Study of Thermal Management in Direct Liquid Cooled Data Centres: from the Chip to the Environment
US20230375279A1 (en) Apparatus and Methods for Coolant Distribution

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171012

R150 Certificate of patent or registration of utility model

Ref document number: 6228228

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250