WO2018087903A1

WO2018087903A1 - 液浸冷却用電子機器、及び電源ユニット、並びに冷却システム

Info

Publication number: WO2018087903A1
Application number: PCT/JP2016/083619
Authority: WO
Inventors: 齊藤　元章
Original assignee: 株式会社ＥｘａＳｃａｌｅｒ
Priority date: 2016-11-12
Filing date: 2016-11-12
Publication date: 2018-05-17
Also published as: EP3541155A4; US10809775B2; JP6644907B2; US20190317570A1; JPWO2018087903A1; EP3541155A1

Abstract

冷却装置内の冷却液中に浸漬されて直接冷却される電子機器及び電源ユニットを提供する。電子機器は、電子機器用の直流電圧を供給する電圧入力端を備えるキャリア基板と、キャリア基板の一の面に配置された複数のモジュールコネクタと、複数のモジュール基板と、複数のモジュール基板の両端を保持する複数の支持板と、キャリア基板を支持する支持部材とを含む。電圧入力端は、電源ユニットの電圧出力端に電気的に接続される。複数のモジュール基板の各々は、複数のモジュールコネクタの各々に電気的に結合されるモジュールコネクタプラグを有する。支持部材は、電子機器が電源ユニットと電気的に接続されたときに、冷却装置が備える冷却槽の底部に設置された電源ユニットの上部に位置するようにキャリア基板を支持する。電源ユニットは、ユニット基板と、ユニット基板に搭載される降圧デバイスと、ユニット基板が固定されるステージとを有する。

Description

液浸冷却用電子機器、及び電源ユニット、並びに冷却システム

　本発明は電子機器、及び電源ユニットに係り、特に、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器、及び電源ユニットに関するものである。また、本発明は、当該電子機器及び電源ユニットを用いた冷却システムに関するものである。本明細書において電子機器とは、一般に、スーパーコンピュータやデータセンター等の超高性能動作や安定動作が要求され、かつそれ自体からの発熱量が大きな電子機器をいうが、これに限定されるものではない。また、電源ユニットとは、外部電源からの高電圧入力（例えば、ＤＣ３８０Ｖ、ＡＣ２００Ｖ）を、電子機器用の直流電圧出力（例えばＤＣ４８Ｖ（ＤＣ４７．５Ｖを含む）、ＤＣ１２Ｖ）に降圧する、降圧デバイスを含むユニットをいう。

　近年のスーパーコンピュータの性能の限界を決定する最大の課題の一つは消費電力であり、スーパーコンピュータの省電力性に関する研究の重要性は、既に広く認識されている。すなわち、消費電力当たりの速度性能（Ｆｌｏｐｓ／Ｗ）が、スーパーコンピュータを評価する一つの指標となっている。また、データセンターにおいては、データセンター全体の消費電力の４５％程度を冷却に費やしているとされ、冷却効率の向上による消費電力の削減の要請が大きくなっている。

　スーパーコンピュータやデータセンターの冷却には、従来から空冷式と液冷式が用いられている。液冷式は、空気より格段に熱伝達性能の優れる液体を用いるため、一般的に冷却効率がよいとされている。特に、フッ化炭素系冷却液を用いる液浸冷却システムは、合成油を用いるものに比べて電子機器のメンテナンス（具体的には、例えば調整、点検、修理、交換、増設。以下同様）に優れる等の利点を有しており、近年注目されている。

　本発明者は、小規模液浸冷却スーパーコンピュータ向けの、小型で冷却効率の優れた液浸冷却装置をすでに開発している。当該装置は、高エネルギー加速器研究機構に設置されている小型スーパーコンピュータ「Ｓｕｉｒｅｎ」に適用され、運用されている（非特許文献１）。

　また、本発明者は、液浸冷却される電子機器における実装密度を大幅に高めることのできる、改良された液浸冷却装置を提案している（非特許文献２、非特許文献３）。

「液浸冷却小型スーパーコンピュータ「ExaScaler-1」が、25%を超える性能改善により最新のスパコン消費電力性能ランキング「Green500」の世界第一位相当の値を計測」、２０１５年３月３１日、プレスリリース、株式会社ExaScaler他、URL:http://www.exascaler.co.jp/wp-content/uploads/2015/03/20150331.pdf 「Exa級の高性能機を目指し、半導体・冷却・接続を刷新（上）」、日経エレクトロニクス２０１５年７月号、pp.９９－１０５、２０１５年６月２０日、日経ＢＰ社発行「スーパーコンピュータ「Shoubu（菖蒲）」がスパコンの省エネランキングGreen500で３期連続の世界第１位を獲得－「Satsuki（皐月）」も２位を獲得　理研設置のスパコンが１，２位を占める－」、２０１６年６月２０日、プレスリリース、株式会社ExaScaler他、URL:http://www.exascaler.co.jp/wp-content/uploads/2016/06/20160620_1.pdf

　液浸冷却装置に適用される電子機器は、通常、外部電源から供給される高電圧入力を、電子機器のプロセッサ、ストレージデバイス、又はネットワークカード等の装置で使用される低電圧出力に降圧する電源ユニットを備えている。電源ユニットは電源ケーブルを介して外部電源と接続されるため、電源ケーブルのコネクタプラグを接続し易いように、電子機器の最上部に置かれている。しかし、例えば数十の電子機器を収納した液浸冷却装置では、これら電子機器の上部に、数十本のネットワークケーブルと、数十本の太い電源ケーブルが配線されるため、ケーブル配線が煩雑であり、また、電子機器のメンテナンスの効率が阻害されるという問題があった。また、電子機器の構成によっては、電源ユニットの体積、長さ、及び重量が、電子機器全体の体積、長さ、及び重量の１／４から１／３を占める場合がある。このため、長い電子機器を収納するために、冷却槽（以下「液浸槽」という場合がある）の高さを高く（深さを深く）設計する必要があった。さらに、比較的重い電源ユニットが電子機器の最上部に置かれるため、電子機器の重心、ひいては液浸冷却装置全体の重心が高くなり、大地震等の大きな振動に対して不安定となるおそれがあった。

　よって、液浸冷却装置に適用される電子機器において、電子機器上部の電源ケーブルの配線を必要としない新構成の電子機器と、当該電子機器に適合する新構成の電源ユニットを開発することが望まれている。

　他方、近年、データセンターに設置されるサーバ等の電子機器に、ＤＣ３８０Ｖの高電圧直流（以下「ＨＶＤＣ」という）を供給するシステム（以下「ＨＶＣＤシステム」という場合がある）が提案されている。ＨＶＤＣシステムの主な利点は、電力損失の大幅な低減にあり、例えば、外部電源から供給されるＤＣ３８０ＶをＤＣ４８Ｖに変換して電子機器に供給する場合の、電子機器で発生する電力損失は、従来のＤＣ１２Ｖを供給する場合の電力損失に比べて、理論上１／１６まで減らすことができる。電子機器で発生する電力損失は、熱となって放出されるので、電力損失の低減は、液浸冷却システムの冷却効率を向上させるために有効である。よって、液浸冷却用電子機器をＨＶＤＣシステムに適合させるための、新構成の電源ユニットを開発することが望まれている。

　上記の課題を解決するために、本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、
　前記電子機器用の直流電圧を供給する電圧入力端を備えるキャリア基板であって、前記電圧入力端は、電源ユニットの電圧出力端に電気的に接続される、キャリア基板と、
　前記電子機器が前記電源ユニットと電気的に接続されたときに、前記冷却装置が備える冷却槽の底部に設置された前記電源ユニットの上部に位置するように前記基板を支持する支持部材と、
　を含む。

　本発明の一局面に係る電子機器の好ましい実施の形態において、前記支持部材は、前記キャリア基板が一の面に固定されるバックボード又はフレーム構造を含むとよい。

　また、本発明の一局面に係る電子機器の好ましい実施の形態において、前記バックボード又はフレーム構造は、前記冷却槽内に垂直に起立して固定された複数の支持柱によってスライド可能に支持されるとよい。

　本発明の一局面に係る電子機器の好ましい実施の形態において、前記バックボード又はフレーム構造は、前記冷却槽内に固定されるブラケットに上方から挿入される支持ピン又はガイドピンを含むとよい。

　本発明のもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電源ユニットは、
　外部電源電圧を供給する電圧入力端と、電圧出力端とを備えるユニット基板であって、前記電圧出力端は、電子機器の電圧入力端に電気的に接続される、ユニット基板と、
　前記ユニット基板に搭載される降圧デバイスと、
　を含み、
　前記電源ユニットは、前記電子機器が前記電源ユニットと電気的に接続されたときに、前記電子機器が前記電源ユニットの上部に位置するよう、前記冷却装置が備える冷却槽の底部に設置され、前記底部から流入し、又は前記冷却槽の他の部位から流入する冷却液によって冷却される。

　また、本発明のもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記ユニット基板は、前記ユニット基板の一の面と前記底部との間に前記冷却液を通すフローチャネルを形成するように、前記底部から離れて配置されているとよい。

　また、本発明のもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記ユニット基板は、前記ユニット基板内に前記冷却液を通すフローチャネルを有してよい。

　本発明のもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記降圧デバイスは、２００Ｖ－４２０Ｖの外部高圧直流電圧を、２４Ｖ－５２Ｖの直流電圧に降圧する、コンバータモジュールを含むとよい。

　本発明のもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記降圧デバイスは、１００Ｖ－２５０Ｖの単相又は三相の外部高圧交流電圧を、２４Ｖ－５２Ｖの直流電圧に交直変換及び降圧する、コンバータモジュールを含むとよい。

　本発明のもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記降圧デバイスは、力率改善回路、ノイズフィルタ、追加の整流器、及びサージ回路のうちのいずれか１つ又は２つ以上の周辺回路を含むとよい。

　本発明のもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記電圧出力端が前記電子機器の前記電圧入力端と結合した状態を検出したとき、前記電子機器への電圧の供給を開始する第１のコントローラをさらに含むとよい。

　本発明のもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記冷却槽の前記冷却液の液面の上部、前記冷却槽の壁面構造部、又は前記冷却槽の近傍に設置された制御盤から操作可能なスイッチのＯＮ／ＯＦＦを検出して、前記電子機器への電圧の供給の開始／切断を切り替える第２のコントローラをさらに含むとよい。

　また、本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、
前記電子機器用の直流電圧を供給する電圧入力端を備えるキャリア基板であって、前記電圧入力端は、電源ユニットの電圧出力端に電気的に接続される、キャリア基板と、
　前記キャリア基板の一の面に配置された複数のモジュールコネクタと、
　複数のモジュール基板であって、前記複数のモジュール基板の各々は、前記複数のモジュールコネクタの各々に電気的に結合されるモジュールコネクタプラグを有する、モジュール基板と、
　前記キャリア基板の長手方向に所定間隔で取り付けられる複数の支持板であって、隣り合う支持板は、前記複数のモジュール基板の両端を保持する、支持板と、
　前記電子機器が前記電源ユニットと電気的に接続されたときに、前記冷却装置が備える冷却槽の底部に設置された前記電源ユニットの上部に位置するように前記キャリア基板を支持する支持部材と、
　を含む。

　本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記支持部材は、前記キャリア基板が一の面に固定されるバックボード又はフレーム構造を含むとよい。

　本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記バックボード又はフレーム構造は、前記冷却槽内に垂直に起立して固定された複数の支持柱によってスライド可能に支持されるとよい。

　本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記バックボード又はフレーム構造は、前記冷却槽内に固定されるブラケットに上方から挿入される支持ピン又はガイドピンを含むとよい。

　本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記バックボード又はフレーム構造は、外枠部と、前記外枠部内を幅方向に横断する梁部とから構成され、前記複数の支持板が外枠部と梁部に取り付けられるとよい。

　本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記支持板の各々には、複数の溝が形成され、当該複数の溝の各々に前記複数のモジュール基板の端部の各々が挿入されるとよい。

　本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記複数のモジュール基板の各々は、プロセッサ及びメモリを搭載したモジュール基板、プログラマブルロジックデバイスを搭載したモジュール基板、ネットワーク通信用のアダプターカード機能を搭載したモジュール基板、ストレージデバイスを搭載したモジュール基板、又は、前記プロセッサ及びメモリ、前記プログラマブルロジックデバイス、前記ネットワーク通信用のアダプターカード機能、もしくは前記ストレージデバイスのうちの２つ以上を組み合わせて搭載した複合モジュール基板であるとよい。

　本発明のさらにもう一つの局面に係る電源ユニットは、冷却装置内の冷却液中に浸漬されて直接冷却される電源ユニットであって、
　外部電源電圧を供給する電源電圧入力端と、電圧出力端とを備えるユニット基板であって、前記電圧出力端は、電子機器の電圧入力端に電気的に接続される、ユニット基板と、
　前記ユニット基板に搭載される降圧デバイスと、
　前記ユニット基板が固定されるステージと、
　を含み、
　前記電源ユニットは、前記電子機器が前記電源ユニットと電気的に接続されたときに、前記電子機器が前記電源ユニットの上部に位置するよう、前記冷却装置が備える冷却槽の底部に設置され、
　前記ステージは、前記底部から流入する冷却液が通る、前記ユニット基板の一の面と前記底部との間のフローチャネルを形成するように、前記ユニット基板を保持している。

　本発明のさらにもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記ステージに、前記フローチャネルを形成するための複数のスペーサが取り付けられるとよい。

　本発明のさらにもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記ステージは、前記底部に置かれる平板を含み、前記平板には前記底部から流入する前記冷却液を通す穴が形成されているとよい。

　本発明のさらにもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記ステージには、前記冷却槽内に垂直に起立する複数の支持柱が取り付けられ、前記複数の支持柱は、前記電子機器が有するバックボード又はフレーム構造をスライド可能に支持するとよい。

　本発明のさらにもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記複数の支持柱の上端、又は側面に、前記電子機器への電圧の供給の開始／切断を切り替えるスイッチをさらに備えてよい。

　本発明のさらにもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記降圧デバイスは、２００Ｖ－４２０Ｖの外部高圧直流電圧を、２４Ｖ－５２Ｖの直流電圧に降圧する、コンバータモジュールを含むとよい。

　本発明のさらにもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記降圧デバイスは、１００Ｖ－２５０Ｖの単相又は三相の外部高圧交流電圧を、２４Ｖ－５２Ｖの直流電圧に交直変換及び降圧する、コンバータモジュールを含むとよい。

　本発明のさらにもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記降圧デバイスは、力率改善回路、ノイズフィルタ、追加の整流器、及びサージ回路のうちのいずれか１つ又は２つ以上の周辺回路を含むとよい。

　本発明のさらにもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記電圧出力端が前記電子機器の前記電圧入力端と結合した状態を検出したとき、前記電子機器への電圧の供給を開始する第１のコントローラをさらに含むとよい。

　本発明のさらにもう一つの局面に係る電源ユニットの好ましい実施の形態において、前記冷却槽の前記冷却液の液面の上部、前記冷却槽の壁面構造部、又は前記冷却槽の近傍に設置された制御盤から操作可能なスイッチのＯＮ／ＯＦＦを検出して、前記電子機器への電圧の供給の開始／切断を切り替える第２のコントローラをさらに含むとよい。

　本発明のさらにもう一つの局面に係る冷却システムは、
　冷却装置と、
　前記冷却装置内の冷却液中に浸漬されて直接冷却される複数の電子機器と、
　前記冷却装置内の冷却液中に浸漬されて直接冷却される複数の電源ユニットと、
　を含み、
　前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽を有し、前記冷却槽の底部には、前記冷却液が流入する複数の流入開口が形成され、前記冷却槽を流通する前記冷却液の液面近傍には流出開口が形成されており、
　前記複数の電子機器の各々は、前記電子機器用の直流電圧を供給する電圧入力端を含み、
　前記複数の電源ユニットの各々は、外部電源電圧を供給する電源電圧入力端と、前記電子機器の電圧入力端に電気的に接続される、電圧出力端とを含み、
　前記電源ユニットの各々は、前記電子機器の各々が前記電源ユニットの各々と電気的に接続されたときに、前記電子機器が前記電源ユニットの上部に位置するよう、前記冷却槽の底部に設置され、前記電源ユニット及び電子機器は、前記底部から流入する冷却液によって冷却される。

　本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記電子機器の各々は、前記電圧入力端を備えるキャリア基板と、前記キャリア基板を支持する支持部材とを有するとよい。

　本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記支持部材は、前記キャリア基板が一の面に固定されるバックボード又はフレーム構造を含むとよい。

　本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記電源ユニットは、前記電源電圧入力端と電源出力端を備えるユニット基板と、前記ユニット基板に搭載される降圧デバイスと、前記ユニット基板が固定されるステージとを有し、前記ステージは、前記底部から流入する冷却液が通る、前記ユニット基板の一の面と前記底部との間のフローチャネルを形成するように、前記ユニット基板を保持しているとよい。

　本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記ステージに、前記フローチャネルを形成するための複数のスペーサが取り付けられるとよい。

　本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記ステージは、前記底部に置かれる平板を含み、前記平板には前記底部から流入する前記冷却液を通す穴が形成されているとよい。

　本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記ステージには、前記冷却槽内に垂直に起立する複数の支持柱が取り付けられ、前記複数の支持柱は、前記電子機器が有するバックボード又はフレーム構造をスライド可能に支持するとよい。

　本発明によれば、電子機器から電源ユニットが廃されるため、電子機器上部の電源ケーブルの配線が不要であり、ケーブル配線を簡素化することができ、電子機器のメンテナンス性を向上させることができる。本発明に係る電子機器と電源ユニットを合わせた長さを短くできるので、冷却槽の高さを低く設計することが可能となる。さらに、比較的重い電源ユニットが冷却槽の底部に置かれるため、液浸冷却装置全体の重心を低くでき、耐振動性を向上させることができる。

　さらに、電源ユニットをＨＶＤＣシステムに適合させる場合、電子機器で発生する電力損失が低減され、電子機器で発生する熱も低減されるだけでなく、冷却槽の底部から流入する冷えた冷却液が、冷却槽の底部に置かれた電源ユニットから速やかに熱を奪うため、電子機器及び電源ユニットを冷却する効率をより一層向上させることができる。

　なお、本明細書における「開放空間」を有する冷却槽には、電子機器の保守性を損なわない程度の簡素な密閉構造を有する冷却槽も含まれるものである。例えば、冷却槽の開口部に、冷却槽の開放空間を閉じるための天板を置くことのできる構造や、パッキン等を介して天板を着脱可能に取り付けることのできる構造は、簡素な密閉構造といえる。

　上記した本発明の目的及び利点並びに他の目的及び利点は、以下の実施の形態の説明を通じてより明確に理解される。もっとも、以下に記述する実施の形態は例示であって、本発明はこれに限定されるものではない。

本発明の一実施形態に係る電子機器の斜視図である。本発明の一実施形態に係る電子機器の側面図である。本発明の一実施形態に係る電子機器の正面図である。本発明の一実施形態に係る電子機器の部分組立図であり、バックボード又はフレーム構造、キャリア基板、及び支持板の組立図である。本発明の一実施形態に係る電源ユニットにおけるユニット基板の一例を示す斜視図である。本発明一実施形態に係る電源ユニットにおけるステージの一例を示す斜視図である。ユニット基板をステージ上に取り付けた状態を示す斜視図である。本発明の一実施形態に係る冷却システムにおける、冷却装置が備える冷却槽の斜視図である。本発明の一実施形態に係る冷却システムにおける、冷却装置が備える冷却槽の平面図である。本発明の一実施形態に係る冷却システムにおける、冷却装置の一部断面図である。ユニット基板が取り付けられた４つのステージを冷却槽の底部に並べて設置する例を示す平面図である。液浸冷却装置の要部構成を示す断面斜視図である。

　以下、本発明に係る電子機器及び電源ユニット、並びに冷却システムの好ましい実施の形態を、図面に基づいて詳細に説明する。
　まず、図１～図４を参照して、本発明の一実施形態に係る電子機器１００を説明する。図１は、本発明の一実施形態に係る電子機器１００の斜視図、図２は側面図、図３は正面図、図４は部分組立図である。電子機器１００は、後述する冷却装置内の冷却液中に浸漬されて直接冷却される電子機器である。電子機器１００は、バックボード又はフレーム構造１１０（以下、単に「バックボード１１０」と記載する）と、複数のモジュール基板１２０と、キャリア基板１２１と、複数の支持板１１５、１１７を含んでいる。図示のとおり、電子機器１００から、電源ユニットが廃されている。電源ユニットは、後述するように、冷却装置が備える冷却槽の底部に設置される。

　バックボード１１０は、キャリア基板１２１を支持する支持部材を構成する。バックボード１１０は、図４に示すように、外枠部１１０ｂと、外枠部１１０ｂ内を幅方向に横断する梁部１１０ｃとから構成される。外枠１１０ｂの上部には、電子機器１００を冷却槽に入れ又は取り出す際に、吊り下げ具を通す吊り金具穴１１１が形成されている。また、バックボード１１０は、外枠部１１０ｂの下部から下に延びる一対の支持ピン又はガイドピン１１３（以下、単に「支持ピン１１３」と記載する。）を含む。複数の支持板１１５、１１７は、キャリア基板１２１を貫通するねじ等の留め具を介して、外枠部１１０ｂと梁部１１０ｃに取り付けられる。これにより、キャリア基板１２１がバックボード１１０の一の面に固定されるとともに、複数の支持板１１５、１１７が、キャリア基板１２１の長手方向に所定間隔で取り付けられる。支持板１１５、１１７の各々には、複数の溝が形成されており、複数の溝の各々に、複数のモジュール基板１２０の端部の各々が挿入される。このようにして、隣り合う支持板１１５、１１７は、複数のモジュール基板１２０の両端を保持する。

　キャリア基板１２１の下部には、電子機器用の直流電圧を供給する直流電圧入力コネクタ１３１を備える。直流電圧入力コネクタ１３１は、キャリア基板１２１が備える電圧入力端に相当する。キャリア基板１２１の一の面には、複数のモジュールコネクタ１２８が配置されている。複数のモジュール基板１２０の各々は、複数のモジュールコネクタの各々に電気的に結合されるモジュールコネクタプラグ１２９を有している。したがって、モジュール基板１２０ごとに、キャリア基板１２１に差し込むこと、及びキャリア基板１２１から引き抜くことが可能である。なお、図示の例において、２枚のネットワークカード１２３がキャリア基板１２１に取り付けられている。また、３２枚のモジュール基板１２０がキャリア基板１２１に取り付けされているが、モジュール基板１２０の枚数は任意であり、特に限定されない。モジュール基板１２０の種類は、図示の例におけるプロセッサ及びメモリを搭載したモジュール基板（ただし、図１－４は、ヒートシンクが熱的に接続されたプロセッサ１２４及びメインメモリソケット１２７のみ図示している）、プログラマブルロジックデバイスを搭載したモジュール基板、ネットワーク通信用のアダプターカード機能を搭載したモジュール基板、ストレージデバイスを搭載したモジュール基板、又は、プロセッサ及びメモリ、プログラマブルロジックデバイス、ネットワーク通信用のアダプターカード機能もしくはストレージデバイスのうちの２つ以上を組み合わせて搭載した複合モジュール基板でもよく、特に限定されない。例えば、プロセッサに、システムオンチップ設計の半導体デバイス（一例として、Intel Corporation製のIntel Xeon プロセッサD製品ファミリー）を使用してよく、メインメモリに、超低背なメモリモジュール（一例として、汎用の32GB DDR4 (Double-Data-Rate4) VLP DIMM (very low profile Dual Inline Memory Module)を使用してよい。また、プログラマブルロジックデバイスに、ＦＰＧＡ（Field-Programmable Gate Array）を使用してよい。さらに、ネットワーク通信用のアダプターカード機能として、Ethernet又はInfiniBandに準拠したデバイスを使用してよい。また、ストレージデバイスに、フラッシュストレージ、例えばＭ．２　ＳＳＤ（Solid State Drive）又はｍＳＡＴＡ　ＳＳＤを使用してよい。

　図２及び図４を参照して、バックボード１１０の一の面と反対の面には、バックボード１１０の外枠部１１０ｂの長手方向に沿って、スライダー保持部１１４を介して複数のスライダー１１２が取り付けられている。外枠部１１０ｂの左右両方に取り付けられた、一対のスライダー１１２は、後述する冷却槽内に垂直に起立して固定された、隣り合う支持柱に設けられたレール溝に係合することにより、バックボード１１０は、スライド（垂直方向に上げ下げ）可能に支持される。

　以上のように構成されている電子機器１００が、バックボード１１０を複数の支持柱に対してスライドさせて、冷却装置内の冷却液中に浸漬されて直接冷却されるとき、電子機器内を流通する冷却液が、電子機器１００の下側から上側に、支持板１１７に設けられた穴１１７ａ→隣り合うモジュール基板１２０間のスペース→穴１１７ａ→隣り合うモジュール基板１２０間のスペース→穴１１７ａ→隣り合うモジュール基板１２０間のスペース→支持板１１５に設けられた穴１１５ａの順に通って、モジュール基板１２０、及びキャリア基板１２１から熱を速やかにかつ効率よく奪い取るので、高密度に実装しても電子機器１００の安定した動作を確保できる。また、各モジュール基板１２０を、キャリア基板１２１に取り付け、加えて、キャリア基板１２１から取り外すことができる。これにより、モジュール基板１２０ごとに、調整、点検、修理、交換、増設等を行うことができるので、メンテナンス性が格段に向上する。

　次に、図５－図７を参照して、本発明の一実施形態に係る電源ユニット２０を説明する。図５は、本発明の一実施形態に係る電源ユニット２０におけるユニット基板２１の一例を示す斜視図、図６は、本発明の一実施形態に係る電源ユニット２０におけるステージ２２の一例を示す斜視図、図７は、ユニット基板２１をステージ２２上に取り付けた状態を示す斜視図である。

　前述のとおり、電源ユニット２０は、電子機器１００に含まれない構成部分であり、冷却装置が備える冷却槽の底部に設置される。電源ユニット２０は、ユニット基板２１と、ユニット基板２１に搭載される降圧デバイス２１５とを含んでいる。ユニット基板２１は、図５に示すように、外部電源（図示せず）から電源ケーブル２１１を介して外部電源電圧を供給する電源電圧入力コネクタ２１２と、降圧デバイス２１５により降圧された直流電圧を出力する直流電圧出力コネクタ２１３とを備える。電源電圧入力コネクタ２１２はユニット基板２１の電圧入力端に、直流電圧出力コネクタ２１３は電圧出力端にそれぞれ相当する。降圧デバイス２１５は、例えば、２００Ｖ－４２０Ｖの外部高圧直流電圧を、２４Ｖ－５２Ｖの直流電圧に降圧するコンバータモジュール、又は１００Ｖ－２５０Ｖの単相又は三相の外部高圧交流電圧を、２４Ｖ－５２Ｖの直流電圧に交直変換及び降圧するコンバータモジュールを含むとよい。前者のコンバータモジュールは、より具体的には、ＤＣ３８０ＶをＤＣ４８Ｖに降圧することができるとよく、後者のコンバータモジュールは、ＡＣ２００ＶをＤＣ４８Ｖに交直変換及び降圧することができるとよい。必要に応じて、降圧デバイス２１５は、力率改善回路、ノイズフィルタ、追加の整流器、及びサージ回路のうちのいずれか１つ又は２つ以上の周辺回路を含むとよい。降圧デバイス２１５の表面には、放熱用のヒートシンク２１６が熱的に接続されているとよい。また、ユニット基板２１には、故障時の保護を行う複数の入力ヒューズ２１７が含まれていてよい。ユニット基板２１は、図５及び図７に示すように、複数のスペーサ２１８を介して、ステージ２２に固定される。これにより、ユニット基板２１は、ユニット基板２１の一の面と、後述する冷却槽の底部との間に冷却液を通すフローチャネル２１９を形成するように、底部から離れて配置されている。なお、ユニット基板２１が、冷却液を通すフローチャネルを有するように構成してもよい。例えば、ユニット基板２１を、中間スペースを有する階層構造体もしくは中空構造体に形成し、構造体の内部に冷却液を通すとよい。

　ステージ２２は、図６に示すように、後述する冷却槽の底部に置かれる平板を含む。平板の幅方向中央寄りに、底部から流入する冷却液を通す複数の穴２３が、長手方向に間隔を隔てて、形成されている。また、平板の幅方向端部には、複数の切り欠き２４が、長手方向に間隔を隔てて形成されている。隣り合う切り欠き２４は、複数のステージ２２が並べて配置されるとき、隣り合う切り欠き２４同士が合わさって穴２３と実質同じ穴を形成するのに必要な長さと幅を有する。ステージ２２上には、Ｌ型ブラケット２６を使用して、複数の支持柱２５が垂直に取り付けられる。よって、ステージ２２が、冷却槽の底部に設置されるとき、複数の支持柱２５は、冷却槽内に垂直に起立することになる。また、ステージ２２上には、複数のブラケット２７が固定されている。ブラケット２７には、支持ピン挿入穴２８が形成されている。

　複数の支持柱２５の各々にはレール溝２５１が形成されている。電子機器１００のバックボード１１０が有する一対のスライダー１１２が、隣り合う支持柱に設けられたレール溝２５１に係合することにより、バックボード１１０が、スライド（垂直方向に上げ下げ）可能に支持される。

　以上のように構成されている電源ユニット２０に対して、電子機器１００が、バックボード１１０を複数の支持柱２５に対してスライドさせて上昇させ、又は下降させることができる。そして、電子機器１００を下降させたとき、電子機器１００のバックボード１１０の外枠部１１０ｂの下部から下に延びる一対の支持ピン１１３が、電源ユニット２０に固定された一対のブラケット２７の支持ピン挿入穴２８に挿入され、電源ユニット２０の直流電圧出力コネクタ２１３と、電子機器１００の直流電圧入力コネクタ１３１との正確な位置合わせが行われる。さらに電子機器１００を下降させると、直流電圧出力コネクタ２１３と直流電圧入力コネクタ１３１とが電気的に接続される。このとき、一対の支持柱２５及び一対のブラケット２７が、１ユニットの電子機器１００の重量を支えている。

　電源ユニット２０は、直流電圧出力コネクタ２１３が電子機器１００の直流電圧入力コネクタ１３１と結合した状態を検出したとき、電子機器１００への直流電圧の供給を開始する第１のコントローラをさらに含むとよい。第１のコントローラは、付加回路又は電子的な機構として、ユニット基板２１に実装されるとよい。これにより、電子機器１００を冷却槽内に下降させ、電源ユニット２０と結合させるだけで、直ちに通電動作させる、電子機器１００のプラグイン動作が可能となる。

　また、電源ユニット２０は、冷却槽の冷却液の液面の上部、冷却槽の壁面構造部、又は冷却槽の近傍に設置された制御盤から操作可能なスイッチのＯＮ／ＯＦＦを検出して、電子機器１００への電圧の供給の開始／切断を切り替える第２のコントローラをさらに含むとよい。これにより、オペレータが、手動で、電子機器１００ごとのＯＮ／ＯＦＦを切り替えることができるので、メンテナンス性を向上させることができる。第２のコントローラもまた、付加回路又は電子的な機構として、ユニット基板２１に実装されるとよい。

　電子機器１００への電圧の供給の開始／切断を切り替える信号を、第２のコントローラに送るためのスイッチは、複数の支持柱２５の各々の上端、又は側面に設けられてよい。

　次に、以上説明した本発明の一実施形態に係る電子機器１００及び電源ユニット２０を、冷却液中に浸漬して直接冷却するための液浸冷却装置の好ましい実施の形態を、図面に基づいて説明する。本実施形態の説明では、電子機器１００及び電源ユニット２０をそれぞれ合計２４ユニット、冷却槽の６×４の区画にそれぞれ収納して冷却する、高密度液浸冷却装置の構成を説明する。なお、これは例示であって、高密度液浸冷却装置における電子機器のユニット数は任意であり、本発明に使用可能な電子機器の構成を何ら限定するものではない。

　図８－図１２を参照して、一実施形態に係る液浸冷却装置１は冷却槽１０を有し、冷却槽１０の底壁１１及び側壁１２によって開放空間１０ａが形成されている。底壁（底部）１１には、冷却液が流入する複数の流入開口１５０が、９×３のパターンで形成されている。また、側壁１２には、電源ケーブル導入口１２ａと、ネットワークケーブル導入口１２ｂと、冷却液の液面近傍に形成された流出開口１７０が形成されている。

　液浸冷却装置１は、冷却槽１０の開放空間１０ａを閉じるための天板１０ｂを有する。液浸冷却装置１の保守作業時には、天板１０ｂを開口部から外して開放空間１０ａを開き、液浸冷却装置１の運用時には、天板１０ｂを冷却槽１０の開口部に置くことにより、開放空間１０ａを閉じることができる。

　冷却槽１０には、電子機器１００の全体を浸漬するのに十分な量の冷却液が液面まで入れられている（図１０参照）。冷却液としては、３Ｍ社の商品名「フロリナート（３Ｍ社の商標、以下同様）ＦＣ－７２」（沸点５６℃）、「フロリナートＦＣ－７７０」（沸点９５℃）、「フロリナートＦＣ－３２８３」（沸点１２８℃）、「フロリナートＦＣ－４０」（沸点１５５℃）、「フロリナートＦＣ－４３」（沸点１７４℃）として知られる、完全フッ素化物（パーフルオロカーボン化合物）からなるフッ素系不活性液体を好適に使用することができるが、これらに限定されるものではない。なお、フロリナートＦＣ－４０、ＦＣ－４３は、沸点が１５０℃よりも高く、極めて蒸発しにくいため、いずれかを冷却液に使用する場合、冷却槽１０内における液面の高さが長期間に亘って保たれ、有利である。

　冷却槽１０の底壁１１の下に、冷却液の入口１５を一端に有する複数の流入ヘッダ１６が設けられている。また、冷却槽１０の側壁１２の外側に、冷却液の出口１８を有する受部１７が設けられている。受部１７は、流出開口１７０を覆い、流出開口１７０から流出する冷却液を漏らさず受ける。

　図１１を参照して、冷却槽１０の底壁１１の上には、４枚の平板のステージ２２が並べて配置される。ステージ２２に形成された複数の穴２３、及び隣り合う切り欠き２４同士が合わさって形成される、穴２３と実質同じ穴のそれぞれは、底壁１１に形成された複数の流入開口１５０のそれぞれに一致する。したがって、流入開口１５０から流入する冷却液は、電源ユニット２０によって流入を阻害されることはない。また、電源ユニット２０のユニット基板２１とステージ２２（底壁１１）との間に冷却液が通るフローチャネルが確保されているので、冷却液がユニット基板２１の両面から熱を速やかにかつ効率よく奪い取る。したがって、電源ユニット２０の冷却効率に優れている。さらに、電源ユニット２０のユニット基板２１を、冷却槽１０の底壁１１と平行に置くことができるので、冷却槽１０の高さ（深さ）方向における、電源ユニット２０の高さを、従来に比べて低く抑えることができる。したがって、電子機器１００と電源ユニット２０を合わせた長さを短くできるので、冷却槽１０の高さを低く（深さを浅く）設計することが可能となる。

　加えて、流入開口１５０から流入する冷却液は、電子機器１００の下側から上側に、支持板１１７に設けられた穴１１７ａ→隣り合うモジュール基板１２０間のスペース→穴１１７ａ→隣り合うモジュール基板１２０間のスペース→穴１１７ａ→隣り合うモジュール基板１２０間のスペース→支持板１１５に設けられた穴１１５ａの順に通って、モジュール基板１２０、及びキャリア基板１２１から熱を速やかにかつ効率よく奪い取る。このようにして暖められた冷却液は、流出開口１７０、受け部１７を通って、出口１８に至る。出口１８には、熱交換器（図示せず）を通って入口１５に至る配管（図示せず）が接続されており、当該熱交換器において冷却液が冷やされ、冷えた冷却液が入口１５に供給される。

　なお、本発明の一実施形態に係る液浸冷却装置１では、複数の電源ユニット２０のすべてが、複数のステージ２２の上に固定されているので、１つのステージ２２上にある６つの電子機器１００を冷却槽１０から取り出した後に、ステージ２２を持ち上げて冷却槽１０から取り出すことで、電源ユニット２０の調整、点検、修理、交換、増設等を行うことができる。電源ユニット２０の各々に接続される電源ケーブル２１１は、電子機器１００の下部と、ステージ２２との間のスペースを通すことができる。したがって、電源ケーブル２１１の配線は、電源ケーブル導入口１２ａから導入し、側壁１２に沿わせて、冷却槽１０の底部を通って、ユニット基板２１の電源電圧入力コネクタ２１２に至る配線でよく、電子機器１００上部での配線が不要である。よって、ケーブル配線を簡素化することができ、電子機器のメンテナンス性を向上させることができる。

　本発明は、超高密度に実装された液浸冷却用の電子機器に広く適用することができる。

　１　　液浸冷却装置
　１０　　冷却槽
　１０ａ　　開放空間
　１０ｂ　　天板
　１１　　底壁
　１２　　側壁
　１２ａ　　電源ケーブル導入口
　１２ｂ　　ネットワークケーブル導入口
　１００　　電子機器
　１１０　　バックボード又はフレーム構造
　１１０ａ　　穴
　１１０ｂ　　外枠部
　１１０ｃ　　梁部
　１１１　　吊り金具穴
　１１２　　スライダー
　１１３　　支持ピン又はガイドピン
　１１４　　スライダー保持部
　１１５、１１７　　支持板
　１１５ａ、１１７ａ　　穴
　１２０　　モジュール基板
　１２１　　キャリア基板
　１２３　　ネットワークカード
　１２４　　プロセッサ
　１２７　　メインメモリソケット
　１２８　　モジュールコネクタ
　１２９　　モジュールコネクタプラグ
　１３１　　直流電圧入力コネクタ
　１５　　入口
　１５０　　流入開口
　１６　　　流入ヘッダ
　１７　　受部
　１７０　　流出開口
　１８　　出口
　２０　　電源ユニット
　２１　　ユニット基板
　２１１　　電源ケーブル
　２１２　　電源電圧入力コネクタ
　２１３　　直流電圧出力コネクタ
　２１５　　降圧デバイス（コンバータモジュール）
　２１６　　ヒートシンク
　２１７　　入力ヒューズ
　２１８　　スペーサ
　２１９　　フローチャネル
　２２　　ステージ
　２３　　穴
　２４　　切り欠き
　２５　　支持柱
　２５１　　レール溝
　２６　　Ｌ型ブラケット
　２７　　ブラケット
　２８　　支持ピン挿入穴

Claims

　冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であって、
　前記電子機器用の直流電圧を供給する電圧入力端を備えるキャリア基板であって、前記電圧入力端は、電源ユニットの電圧出力端に電気的に接続される、キャリア基板と、
　前記キャリア基板の一の面に配置された複数のモジュールコネクタと、
　複数のモジュール基板であって、前記複数のモジュール基板の各々は、前記複数のモジュールコネクタの各々に電気的に結合されるモジュールコネクタプラグを有する、モジュール基板と、
　前記キャリア基板の長手方向に所定間隔で取り付けられる複数の支持板であって、隣り合う支持板は、前記複数のモジュール基板の両端を保持する、支持板と、
　前記電子機器が前記電源ユニットと電気的に接続されたときに、前記冷却装置が備える冷却槽の底部に設置された前記電源ユニットの上部に位置するように前記キャリア基板を支持する支持部材と、
　を含む、電子機器。
　前記支持部材は、前記キャリア基板が一の面に固定されるバックボード又はフレーム構造を含む、請求項１に記載の電子機器。
　前記バックボード又はフレーム構造は、前記冷却槽内に垂直に起立して固定された複数の支持柱によってスライド可能に支持される、請求項２に記載の電子機器。
　前記バックボード又はフレーム構造は、前記冷却槽内に固定されるブラケットに上方から挿入される支持ピン又はガイドピンを含む、請求項３に記載の電子機器。
　前記バックボード又はフレーム構造は、外枠部と、前記外枠部内を幅方向に横断する梁部とから構成され、前記複数の支持板が外枠部と梁部に取り付けられる、請求項２に記載の電子機器。
　前記支持板の各々には、複数の溝が形成され、当該複数の溝の各々に前記複数のモジュール基板の端部の各々が挿入される、請求項１に記載の電子機器。
　前記複数のモジュール基板の各々は、プロセッサ及びメモリを搭載したモジュール基板、プログラマブルロジックデバイスを搭載したモジュール基板、ネットワーク通信用のアダプターカード機能を搭載したモジュール基板、ストレージデバイスを搭載したモジュール基板、又は、前記プロセッサ及びメモリ、前記プログラマブルロジックデバイス、前記ネットワーク通信用のアダプターカード機能、もしくは前記ストレージデバイスのうちの２つ以上を組み合わせて搭載した複合モジュール基板である、請求項１に記載の電子機器。
　冷却装置内の冷却液中に浸漬されて直接冷却される電源ユニットであって、
　外部電源電圧を供給する電源電圧入力端と、電圧出力端とを備えるユニット基板であって、前記電圧出力端は、電子機器の電圧入力端に電気的に接続される、ユニット基板と、
　前記ユニット基板に搭載される降圧デバイスと、
　前記ユニット基板が固定されるステージと、
　を含み、
　前記電源ユニットは、前記電子機器が前記電源ユニットと電気的に接続されたときに、前記電子機器が前記電源ユニットの上部に位置するよう、前記冷却装置が備える冷却槽の底部に設置され、
　前記ステージは、前記底部から流入する冷却液が通る、前記ユニット基板の一の面と前記底部との間のフローチャネルを形成するように、前記ユニット基板を保持している、電源ユニット。
　前記ステージに、前記フローチャネルを形成するための複数のスペーサが取り付けられる、請求項８に記載の電源ユニット。
　前記ステージは、前記底部に置かれる平板を含み、前記平板には前記底部から流入する前記冷却液を通す穴が形成されている、請求項８に記載の電源ユニット。
　前記ステージには、前記冷却槽内に垂直に起立する複数の支持柱が取り付けられ、前記複数の支持柱は、前記電子機器が有するバックボード又はフレーム構造をスライド可能に支持する、請求項８に記載の電源ユニット。
　前記複数の支持柱の上端、又は側面に、前記電子機器への電圧の供給の開始／切断を切り替えるスイッチをさらに備えた、請求項８に記載の電源ユニット。
　前記降圧デバイスは、２００Ｖ－４２０Ｖの外部高圧直流電圧を、２４Ｖ－５２Ｖの直流電圧に降圧する、コンバータモジュールを含む、請求項８に記載の電源ユニット。
　前記降圧デバイスは、１００Ｖ－２５０Ｖの単相又は三相の外部高圧交流電圧を、２４Ｖ－５２Ｖの直流電圧に交直変換及び降圧する、コンバータモジュールを含む、請求項８に記載の電源ユニット。
　前記降圧デバイスは、力率改善回路、ノイズフィルタ、追加の整流器、及びサージ回路のうちのいずれか１つ又は２つ以上の周辺回路を含む、請求項１４に記載の電源ユニット。
　前記電圧出力端が前記電子機器の前記電圧入力端と結合した状態を検出したとき、前記電子機器への電圧の供給を開始する第１のコントローラをさらに含む、請求項８に記載の電源ユニット。
　前記冷却槽の前記冷却液の液面の上部、前記冷却槽の壁面構造部、又は前記冷却槽の近傍に設置された制御盤から操作可能なスイッチのＯＮ／ＯＦＦを検出して、前記電子機器への電圧の供給の開始／切断を切り替える第２のコントローラをさらに含む、請求項８に記載の電源ユニット。