WO2017199318A1

WO2017199318A1 - 液浸冷却用電子機器

Info

Publication number: WO2017199318A1
Application number: PCT/JP2016/064535
Authority: WO
Inventors: 齊藤　元章
Original assignee: 株式会社ＥｘａＳｃａｌｅｒ
Priority date: 2016-05-16
Filing date: 2016-05-16
Publication date: 2017-11-23
Also published as: EP3460627A1; US20190179382A1; EP3460627B1; EP3460627A4; US11009925B2; JPWO2017199318A1; CN109154846A; JP6244067B1

Abstract

　冷却装置内の冷却液中に浸漬されて直接冷却される電子機器を提供する。電子機器は、冷却装置の収納部に収納可能なように構成され、ベースボードと、ベースボードの少なくとも一の面に配置される複数のストレージ基板と、ベースボードの前記一の面に対して直交して取り付けられる、バックプレーンと、複数のストレージ基板の各々に搭載される複数のフラッシュストレージとを含む。バックプレーンは、複数のバックプレーン部分の組み合わせを含み、複数のバックプレーン部分の各々は信号用コネクタ及び電源用コネクタを有する。また、信号用コネクタ及び電源用コネクタは、バックプレーン部分ごとに独立して設けられている。複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な面上で、フラッシュストレージの幅方向又は長さ方向で互いに隣り合うように配置される。

Description

液浸冷却用電子機器

　本発明は電子機器に係り、特に、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器に関するものである。本明細書において電子機器とは、一般に、スーパーコンピュータやデータセンター等の超高性能動作や安定動作が要求され、かつそれ自体からの発熱量が大きな電子機器をいうが、これに限定されるものではない。

　近年のスーパーコンピュータの性能の限界を決定する最大の課題の一つは消費電力であり、スーパーコンピュータの省電力性に関する研究の重要性は、既に広く認識されている。すなわち、消費電力当たりの速度性能（Ｆｌｏｐｓ／Ｗ）が、スーパーコンピュータを評価する一つの指標となっている。また、データセンターにおいては、データセンター全体の消費電力の４５％程度を冷却に費やしているとされ、冷却効率の向上による消費電力の削減の要請が大きくなっている。

　スーパーコンピュータやデータセンターの冷却には、従来から空冷式と液冷式が用いられている。液冷式は、空気より格段に熱伝達性能の優れる液体を用いるため、一般的に冷却効率がよいとされている。特に、フッ化炭素系冷却液を用いる液浸冷却システムは、合成油を用いるものに比べて電子機器のメンテナンス（具体的には、例えば調整、点検、修理、交換、増設。以下同様）に優れる等の利点を有しており、近年注目されている。

　本発明者は、小規模液浸冷却スーパーコンピュータ向けの、小型で冷却効率の優れた液浸冷却装置をすでに開発している。当該装置は、高エネルギー加速器研究機構に設置されている小型スーパーコンピュータ「Ｓｕｉｒｅｎ」に適用され、運用されている（非特許文献１）。

　また、本発明者は、液浸冷却される電子機器における実装密度を大幅に高めることのできる、改良された液浸冷却装置を提案している（非特許文献２）。

「液浸冷却小型スーパーコンピュータ「ExaScaler-1」が、25%を超える性能改善により最新のスパコン消費電力性能ランキング「Green500」の世界第一位相当の値を計測」、２０１５年３月３１日、プレスリリース、株式会社ExaScaler他、URL:http://www.exascaler.co.jp/wp-content/uploads/2015/03/20150331.pdf 「Exa級の高性能機を目指し半導体・冷却・接続を刷新（上）」、日経エレクトロニクス２０１５年７月号、pp.９９－１０５、２０１５年６月２０日、日経ＢＰ社発行

　液浸冷却装置に適用される電子機器において、限られた体積内により多くの複数のプロセッサを搭載して、演算能力と実装密度をより一層高めることのできる、複数のプロセッサによる演算を主体とする新構成の電子機器を開発することが望まれている。

　また、液浸冷却装置に適用される電子機器において、限られた体積内により多くの複数のストレージデバイスを搭載して、記憶容量と実装密度をより一層高めることのできる、複数のストレージデバイスによる記憶を主体とする新構成の電子機器を開発することが望まれている。

　さらに、液浸冷却装置に適用される電子機器において、実装密度をより一層高めてもなお、電子機器のメンテナンス性に優れている、複数のストレージデバイスによる記憶を主体とする新構成の電子機器を開発することが望まれている。

　上記の課題を解決するために、本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、
　第１の回路基板であって、複数のプロセッサ及び複数のメインメモリを基板の一の面に実装する、第１の回路基板を含み、
　前記第１の回路基板の前記一の面上で、前記複数のプロセッサが、前記メインメモリの基板長さ方向に配列されている。

　また、本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、
　複数の第１の回路基板であって、第１の回路基板の各々は、４つ以上のプロセッサ及び４つ以上のメインメモリを基板の一の面に実装する、第１の回路基板を含み、
　前記４つ以上のメインメモリは、前記第１の回路基板の前記一の面を、幅方向で少なくとも２つ以上の領域に区切るように配列され、前記２つ以上の領域の各々には、前記プロセッサの少なくとも２つ以上が、前記メインメモリの基板長さ方向に配列されている。

　また、本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の収納部に収納可能なように構成され、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に取り付けられる１つ以上の基板群と、
　を含み、
　前記１つ以上の基板群は、
　１つ以上の第１の回路基板であって、第１の回路基板の各々は、複数のプロセッサ及び複数のメインメモリを基板の一の面に実装する、第１の回路基板と、
　第２の回路基板と、
　前記１つ以上の第１の回路基板と前記第２の回路基板との間を電気的に接続するコネクタと、
　前記１つ以上の第１の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第２の回路基板の一の面との隙間により形成されるフローチャネルと、
　を有し、
　前記第１の回路基板の前記一の面上で、前記複数のプロセッサが、前記メインメモリの基板長さ方向に配列されている。

　また、本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に取り付けられる１つ以上の基板群と、
　を含み、
　前記１つ以上の基板群は、
　１つ以上の第１の回路基板であって、第１の回路基板の各々は、複数のプロセッサ及び複数のメインメモリを基板の一の面に実装する、第１の回路基板と、
　第２の回路基板と、
　前記１つ以上の第１の回路基板と前記第２の回路基板との間を電気的に接続するコネクタと、
　前記１つ以上の第１の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第２の回路基板の一の面との隙間により形成されるフローチャネルと、
　を有し、
　前記第１の回路基板の前記一の面上で、前記複数のプロセッサが、前記メインメモリの基板長さ方向に配列されている。

　本発明の一局面に係る電子機器の好ましい実施の形態において、前記複数のプロセッサの各々が有する、前記メインメモリの基板長さ方向の長さは、前記メインメモリの基板長さの１／２以下であるとよい。

　また、本発明の一局面に係る電子機器の好ましい実施の形態において、前記複数のプロセッサの各々は、システムオンチップ設計の半導体デバイスであり、前記複数のメインメモリの各々は、超低背なメモリモジュールであるとよい。

　本発明の一局面に係る電子機器の好ましい実施の形態において、前記隙間を保持する複数のスペーサと、複数のねじをさらに有し、
　前記複数のねじの各々は、前記第１の回路基板、前記第２の回路基板、及び前記複数のスペーサの各々を貫通し、固定するとよい。

　また、本発明の一局面に係る電子機器の好ましい実施の形態において、前記１つ以上の基板群が、前記ベースボードの前記一の面と反対側の面にさらに取り付けられ、前記ベースボード及び前記基板群の結合体が、収納部の内部形状に相似する外形を有するとよい。前記結合体の外形は、例えば、直方体であるとよい。

　本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の収納部に収納可能なように構成され、
　前記電子機器は、
ベースボードと、前記ベースボードの少なくとも一の面に取り付けられる１つ以上の基板群と、
　を含み、
　前記１つ以上の基板群は、
　１つ以上の第１の回路基板であって、第１の回路基板の各々は、４つ以上のプロセッサ及び４つ以上のメインメモリを基板の一の面に実装する、第１の回路基板と、
　第２の回路基板と、
　前記１つ以上の第１の回路基板と前記第２の回路基板との間を電気的に接続するコネクタと、
　前記１つ以上の第１の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第２の回路基板の一の面との隙間により形成されるフローチャネルと、
　を有し、
　前記４つ以上のメインメモリは、前記第１の回路基板の前記一の面を、幅方向で少なくとも２つ以上の領域に区切るように配列され、前記２つ以上の領域の各々には、前記プロセッサの少なくとも２つ以上が、前記メインメモリの基板長さ方向に配列されている。

　本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に取り付けられる１つ以上の基板群と、
　を含み、
　前記１つ以上の基板群は、
　１つ以上の第１の回路基板であって、第１の回路基板の各々は、４つ以上のプロセッサ及び４つ以上のメインメモリを基板の一の面に実装する、第１の回路基板と、
　第２の回路基板と、
　前記１つ以上の第１の回路基板と前記第２の回路基板との間を電気的に接続するコネクタと、
　前記１つ以上の第１の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第２の回路基板の一の面との隙間により形成されるフローチャネルと、
　を有し、
　前記第１の回路基板の前記一の面上で、前記複数のプロセッサが、前記メインメモリの基板長さ方向に配列されている。

　本発明の一局面に係る電子機器の好ましい実施の形態において、前記４つ以上のプロセッサの各々が有する、前記メインメモリの基板長さ方向の長さは、前記メインメモリの基板長さの１／２以下であるとよい。

　本発明の一局面に係る電子機器の好ましい実施の形態において、前記４つ以上のプロセッサの各々は、システムオンチップ設計の半導体デバイスであり、前記４つ以上のメインメモリの各々は、超低背なメモリモジュールであるとよい。

　本発明の一局面に係る電子機器の好ましい実施の形態において、前記１つ以上の基板群が、前記ベースボードの前記一の面と反対側の面にさらに取り付けられ、前記ベースボード及び前記基板群の結合体が、各収納部の内部形状に相似する外形を有するとよい。前記結合体の外形は、例えば、直方体であるとよい。

　本発明のもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、
　ストレージ基板と、
　前記ストレージ基板に搭載される複数のフラッシュストレージと、
　を含み、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている。

　本発明のもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の収納部に収納可能なように構成され、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に配置される複数のストレージ基板と、
　前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタを有し、前記ベースボードの前記一の面に対して直交して取り付けられる、バックプレーンと、
　前記複数のストレージ基板の各々に搭載される複数のフラッシュストレージと、
　を含み、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている。

　また、本発明のもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に配置される複数のストレージ基板と、
　前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタを有し、前記ベースボードの前記一の面に対して直交して取り付けられる、バックプレーンと、
　前記複数のストレージ基板の各々に搭載される複数のフラッシュストレージと、
　を含み、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている。

　また、本発明のもう一つの局面に係る電子機器の好ましい実施の形態において、前記フラッシュストレージは、Ｍ．２　ＳＳＤ又はｍＳＡＴＡ　ＳＳＤであるとよい。

　本発明のもう一つの局面に係る電子機器の好ましい実施の形態において、前記ストレージ基板の前記一の面に、複数のフラッシュストレージコネクタが配置され、各フラッシュストレージの電気的接点が各フラッシュストレージコネクタに挿入されているとよい。

　本発明のもう一つの局面に係る電子機器の好ましい実施の形態において、前記ベースボードは、主部材と、副部材とを含み、前記主部材は、前記複数のストレージ基板を支持する複数の支持板を、該主部材に固定するための、幅方向に形成された複数のカットを有し、前記副部材は、前記バックプレーンに形成された複数のスリットにそれぞれ挿入され、かつ前記主部材に固定される複数のツメを有し、前記複数の支持板には、冷却液を通す穴が形成されているとよい。

　本発明のもう一つの局面に係る電子機器の好ましい実施の形態において、前記複数のストレージ基板が、前記ベースボードの前記一の面と反対側の面にさらに配置され、前記バックプレーンが、前記ベースボードの前記反対側の面に配置された前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタをさらに有し、前記ベースボードに、前記複数のストレージ基板及び前記バックプレーンを取り付けたとき、前記ベースボード、前記複数のストレージ基板、及び前記バックプレーンの結合体が、各収納部の内部形状に相似する外形を有するとよい。前記結合体の外形は、例えば、直方体であるとよい。

　また、本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の収納部に収納可能なように構成され、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に配置される複数のストレージ基板と、
　前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタを有し、前記ベースボードの前記一の面に対して直交して取り付けられる、バックプレーンと、
　前記複数のストレージ基板の各々に搭載される複数のフラッシュストレージと、
　を含み、
　前記バックプレーンは、前記ベースボードの長さ方向に配置される複数のバックプレーン部分の組み合わせを含み、前記複数のバックプレーン部分の各々は信号用コネクタ及び電源用コネクタを有し、前記信号用コネクタ及び電源用コネクタは、前記バックプレーン部分ごとに独立して設けられており、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている。

　また、本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に配置される複数のストレージ基板と、
　前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタを有し、前記ベースボードの前記一の面に対して直交して取り付けられる、バックプレーンと、
　前記複数のストレージ基板の各々に搭載される複数のフラッシュストレージと、
　を含み、
　前記バックプレーンは、前記ベースボードの長さ方向に配置される複数のバックプレーン部分の組み合わせを含み、前記複数のバックプレーン部分の各々は信号用コネクタ及び電源用コネクタを有し、前記信号用コネクタ及び電源用コネクタは、前記バックプレーン部分ごとに独立して設けられており、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている。

　本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、
　ストレージ基板と、
　前記ストレージ基板に搭載される複数のフラッシュストレージと、
　を含み、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な複数の面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている。

　本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の収納部に収納可能なように構成され、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に配置される複数のストレージ基板と、
　前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタを有し、前記ベースボードの前記一の面に対して直交して取り付けられる、バックプレーンと、
　前記複数のストレージ基板の各々に搭載される複数のフラッシュストレージと、
　を含み、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な複数の面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている。

　また、本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に配置される複数のストレージ基板と、
　前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタを有し、前記ベースボードの前記一の面に対して直交して取り付けられる、バックプレーンと、
　前記複数のストレージ基板の各々に搭載される複数のフラッシュストレージと、
　を含み、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な複数の面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている。

　本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記ストレージ基板の前記一の面に、互いに高さの異なる複数のフラッシュストレージコネクタが対向して配置され、各フラッシュストレージの電気的接点が各フラッシュストレージコネクタに挿入されているとよい。

　なお、本明細書における「開放空間」を有する冷却槽には、電子機器の保守性を損なわない程度の簡素な密閉構造を有する冷却槽も含まれるものである。例えば、冷却槽の開口部に、冷却槽の開放空間を閉じるための天板を置くことのできる構造や、パッキン等を介して天板を着脱可能に取り付けることのできる構造は、簡素な密閉構造といえる。

　上記した本発明の目的及び利点並びに他の目的及び利点は、以下の実施の形態の説明を通じてより明確に理解される。もっとも、以下に記述する実施の形態は例示であって、本発明はこれに限定されるものではない。

本発明の一実施形態に係る電子機器の正面図である。本発明の一実施形態に係る電子機器に搭載されるマルチプロセッサ基板の平面図である。本発明の一実施形態に係る電子機器の側面図である。本発明の一実施形態に係る電子機器の平面図である。本発明の他の実施形態に係る電子機器の正面図である。本発明の他の実施形態に係る電子機器に含まれるストレージ基板の一例を示し、（ａ）は平面図、（ｂ）は断面図である。本発明の他の実施形態に係る電子機器に含まれるストレージ基板の一例を示す部分拡大断面図である。本発明の他の実施形態に係る電子機器の側面図である。本発明の他の実施形態に係る電子機器の部分組立図である。本発明の他の実施形態に係る電子機器に含まれるバックプレーンの他の例を示す図である。本発明の他の実施形態に係る電子機器に含まれるストレージ基板の他の例を示す平面図である。本発明の他の実施形態に係る電子機器に含まれるストレージ基板の他の例を示す部分拡大断面図である。本発明の他の実施形態に係る電子機器に含まれるストレージ基板のさらに他の例を示す平面図である。本発明の他の実施形態に係る電子機器に含まれるストレージ基板のさらに他の例を示す部分拡大断面図である。液浸冷却装置の全体構成を示す斜視図である。液浸冷却装置の縦方向断面図である。液浸冷却装置の平面図である。液浸冷却装置の要部構成を示す斜視図である。液浸冷却装置の要部構成を示す横方向断面図である。液浸冷却装置の吊り上げ機構の一例を示す縦方向断面図である。冷却システムの構成を示す模式図である。

　以下、本発明に係る電子機器の好ましい実施の形態を、図面に基づいて詳細に説明する。
　まず、図１～図４を参照して、本発明の一実施形態に係る電子機器１００を説明する。図１は、本発明の一実施形態に係る電子機器１００の正面図、図３は側面図、図４は平面図である。電子機器１００は、後述する冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であり、冷却装置の複数の収納部の各々に収納可能なように構成されている。電子機器１００は、後述する収納部に設けられた、後述する一対のボードリテーナにより保持されるベースボード１１０と、ベースボード１１０の第１の面、及び第１の面と反対側の第２の面にそれぞれ取り付けられる１つの基板群１２０を含んでいる。

　図示の例では、各基板群１２０は、４つの第１の回路基板１２１であって、図２に示すように、第１の回路基板１２１の各々は、当該第１の回路基板１２１の一の面に実装される４個のプロセッサ１２４ａ、１２４ｂ、１２４ｃ、１２４ｄと、メインメモリ用の８個のソケット１２６ａ、１２６ｂ、１２６ｃ、１２６ｄを有し、各メインメモリ１２５が、その電気的接点が各ソケットに挿入されることにより第１の回路基板１２１の一の面に実装される。ここで、メインメモリ用の８個のソケットは、図２に示すように配置されることにより、メインメモリ１２５が、第１の回路基板１２１の一の面を、幅方向で２つの領域に区切るように配列され、２つの領域の各々には２個のプロセッサ（１つ目の領域にはプロセッサ１２４ａ及び１２４ｂ、２つ目の領域にはプロセッサ１２４ｃ及び１２４ｄ）が、メインメモリ１２５の基板長さ方向に配列されている。なお、領域の数は２つ以上でよく、プロセッサの各々が有する、メインメモリの基板長さ方向の長さは、メインメモリの基板長さの１／２以下であることが好ましい。例えば、プロセッサに、システムオンチップ設計の半導体デバイス（一例として、Intel Corporation製のIntel Xeon プロセッサD製品ファミリー）を使用してよく、メインメモリに、超低背なメモリモジュール（一例として、汎用の32GB DDR4 (Double-Data-Rate4) VLP DIMM (very low profile Dual Inline Memory Module)を使用すると、このような半導体デバイスレイアウトを実現することができる。

　プロセッサ１２４ａに隣接して配置される２個のソケット１２６ａに挿入されるメインメモリ１２５は、プロセッサ１２４ａとバス接続されてプロセッサ１２４ａと協働する。他のプロセッサ１２４ｂ、１２４ｃ、１２４ｄと、これらプロセッサの各々に隣接して配置される他のソケット１２６ｂ、１２６ｃ、１２６ｄに挿入されるメインメモリ１２５との関係も同様である。これらプロセッサ及びメインメモリに対して、後述する電源ユニットからの電力が、電圧変換回路（ＤＣ／ＤＣコンバータ）１２７ａ、１２７ｂ、１２７ｃ、１２７ｄを介して供給される。なお、各基板群１２０における第１の回路基板１２１の数、第１の回路基板の各々が有するプロセッサ１２４ａ、１２４ｂ、１２４ｃ、１２４ｄの数、及びメインメモリ１２５の数はあくまで例示であって、特にプロセッサ及びメインメモリは４つ以上であればよい。

　基板群１２０は、第２の回路基板１２２をさらに含む。第２の回路基板１２２は、第１の回路基板１２１と後述する第３の回路基板との間の信号伝達と、後述する電源ユニット１３５から第１の回路基板の各々に直流電源の分配を行う機能を有する。また、第２の回路基板１２２が有するコンポーネントは、ＰＣＩ　Ｅｘｐｒｅｓｓバス、及びバススイッチユニットを含んでいてよい。

　第２の回路基板１２２は、第１の回路基板１２１と第２の回路基板１２２との間を電気的に接続する第１のコネクタ１３１と、第１の回路基板１２１の前記一の面とは反対側の面と、当該反対側の面と対向する第２の回路基板１２２の一の面との隙間により形成されるフローチャネル１１２とを有する。基板群１２０は、当該隙間を保持する複数のスペーサ１２８と、複数のねじ１２９を有する。複数のねじ１２９の各々は、第１の回路基板１２１、第２の回路基板１２２、及び複数のスペーサ１２８の各々を貫通し、固定している。

　このように構成されている、プロセッサ１２４ａ、１２４ｂ、１２４ｃ、１２４ｄ、及びメインメモリ１２５が搭載された第１の回路基板１２１を、第２の回路基板１２２に取り付け、また、第２の回路基板１２２から取り外すことができる。これにより、プロセッサ１２４ａ、１２４ｂ、１２４ｃ、１２４ｄ、及びメインメモリ１２５を含む第１の回路基板１２１を、第２の回路基板１２２とは独立して、調整、点検、修理、交換、増設等を行うことができるので、メンテナンス性が格段に向上する。

　本実施形態において、メインメモリ１２５が、第１の回路基板１２１の一の面を、幅方向で２つの領域に区切るように配列され、２つの領域の各々には２個のプロセッサ（１つ目の領域にはプロセッサ１２４ａ及び１２４ｂ、２つ目の領域にはプロセッサ１２４ｃ及び１２４ｄ）が、メインメモリ１２５の基板長さ方向に配列されていることにより、メインメモリ１２５によって区切られた領域を流通する冷却液が、配列されたプロセッサ１２４ａ、１２４ｂ、１２４ｃ、１２４ｄの表面から、熱を速やかにかつ効率よく奪い取る。プロセッサの冷却効率を向上させるために、各プロセッサ１２４ａ、１２４ｂ、１２４ｃ、１２４ｄの表面に放熱部材（例えば、ヒートシンク）を熱的に接続してよい。

　また、第１の回路基板１２１と第２の回路基板１２２との間にフローチャネル１１２を有することにより、当該フローチャネル１１２を流通する冷却液が、プロセッサが搭載された第１の回路基板１２１の背面から、熱を速やかにかつ効率よく奪い取るので、冷却効率が向上する。従来の空冷式では、図２に示すようなプロセッサのデバイスレイアウトを採用することは不可能であったが、本実施形態によれば、流通する冷却液による上記した奪熱作用を利用することにより、プロセッサの冷却効率が格段に優れるため、比較的狭い領域に４個以上のプロセッサを高密度に実装しても、プロセッサそして電子機器１００の安定した動作を確保できる。本実施形態に係る電子機器１００の構成に従い、システムオンチップ設計のIntel Corporation製のIntel Xeon プロセッサD製品ファミリーのプロセッサ（１６コア）と、汎用の32GB DDR4 VLP DIMM２個を１セットとしてこれを４セット搭載した第１の回路基板を構成し、１６個の第１の回路基板をIntel イーサネット（商標）マルチホストコントローラFM1000ファミリーのコントローラで接続することにより、電子機器１００の１個あたり１０２４個のプロセッサ（１６，３８４コア）の超高密度実装を実現することができた。

　本実施形態において、第１の回路基板１２１の各々が、第１の回路基板１２１の一の面に実装される４個のプロセッサ１２４ａ、１２４ｂ、１２４ｃ、１２４ｄと、メインメモリ用の８個のソケット１２６ａ、１２６ｂ、１２６ｃ、１２６ｄを有する場合を説明したが、最小限の構成として、第１の回路基板１２１が、２個のプロセッサと、その両側に配置される複数のメインメモリを有し、２個のプロセッサがメインメモリの基板長さ方向に配列されるように構成してもよい。そして、複数のプロセッサの各々が有する、メインメモリの基板長さ方向の長さは、メインメモリの基板長さの１／２以下であるとよい。このような構成であっても、メインメモリによって区切られた領域を流通する冷却液が、配列された２個のプロセッサの表面から、熱を速やかにかつ効率よく奪い取るからである。

　電子機器１００は、ベースボード１１０の第１の面及び第２の面に、それぞれ１つの基板群１２０を取り付けたとき、ベースボード１１０及び２つの基板群１２０の結合体が、後述する冷却装置の各収納部の内部形状に相似する外形を有するとよい。結合体の外形は、図示のように、例えば、直方体であるとよい。

　図示の例において、基板群１２０の各々は、第３の回路基板１２３を有し、第３の回路基板１２３は、４つの第１の回路基板１２１の各々に対応する４つのネットワークコントローラチップ（図示せず）及び８つのネットワークケーブルソケット１３６を有する。また、第２の回路基板１２２と第３の回路基板１２３との間は、第２のコネクタ１３２によって電気的に接続されている。

　図示の例において、基板群１２０の各々の上方には、ベースボード１１０の第１の面、及び第１の面と反対側の第２の面にそれぞれ、２つのスロット１３４が、ベースボード１１０に並列に取り付けられている。そして、図４に示すように、４つのスロット１３４の各々には、電源ユニット１３５が収納可能なように構成されている。第３の回路基板１２３は、２つのスペーサ１３８と、第２の回路基板１２２とを貫通するねじ１３９により、ベースボード１１０に固定されることにより、第３の回路基板１２３は、該第３の回路基板１２３とベースボード１１０の間に、２つの並列のスロット１３４を挟むように配置されている。そして、第３の回路基板１２３の、２つのスロット１３４の開口側に位置する一辺上には、８つのネットワークケーブルソケット１３６が並列に設けられている。

　なお、各スロットの底部には、電源ユニット１３５と第２の回路基板１２２とを電気的に接続する第３のコネクタ１３３のソケットが設けられている。また、各スロットの底部には、電源ユニット１３５から、熱を速やかにかつ効率よく奪い取るために、冷却液が流通する３つの底部穴１３７が形成されている。

　このように、４つの第１の回路基板１２１の各々に対応する４つのネットワークコントローラチップ（図示せず）を有し、かつ８つのネットワークケーブルソケット１３６が一辺上に並列に設けられている第３の回路基板１２３と、ベースボード１１０との組合せにより、当該第３の回路基板１２３とベースボード１１０との間に、ネットワークケーブルソケット１３６が邪魔にならないような位置に、電源ユニット１３５用の２つのスロット１３４を配置することが可能となる。従来、ＣＰＵユニットである第１の回路基板１２１の数が多くなればなるほど、ネットワークケーブルソケットが増えるため、電源ユニット１３５を２つ以上設置するスペースを確保することが困難であったが、本実施形態の配置関係を採用することにより、かかる問題を解消することができる。つまり、基板群１２０毎に、電源ユニット１３５の冗長性を持たせることが可能となる。

　次に、図５～図８を参照して、本発明の他の実施形態に係る電子機器３００を説明する。図５は、本発明の他の実施形態に係る電子機器３００の正面図、図７は側面図、図８は部分組立図、図６Ａは、電子機器３００に含まれるストレージ基板の一例を示し、（ａ）は平面図、（ｂ）は断面図、図６Ｂは部分拡大断面図である。電子機器３００は、後述する冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であり、冷却装置の複数の収納部の各々に収納可能なように構成されている。

　電子機器３００は、後述する収納部に設けられた一対のボードリテーナにより保持されるベースボード３１０と、ベースボード３１０の第１の面、及び第１の面と反対側の第２の面にそれぞれ配置される複数のストレージ基板３５１を有する。図示の例では、第１の面に１２個のストレージ基板３５１が、第２の面に３２個のストレージ基板３５１が配置されている。

　また、電子機器３００は、図１～図４に示した電子機器１００と同様に、１つ以上の基板群３２０を有し、基板群３２０は、第１の回路基板３２１、第２の回路基板３２２、第３の回路基板３２３を含む。第２の回路基板３２２が、信号用コネクタ３３１１ａ及び電源用コネクタ３３１２ａのセットと信号用コネクタ３３１１ｂ及び電源用コネクタ３３１２ｂのセットを含み、第３の回路基板３２３と後述するバックプレーンとの間の信号伝達と、電源ユニット３３５からバックプレーンに直流電源の分配を行う点を除いて、第１の回路基板３２１、第３の回路基板３２３の構成は、図１～図４に示した電子機器１００における第１の回路基板１２１、第３の回路基板１２３の構成と同様であり、プロセッサ（図示せず）、メインメモリ（図示せず）、ソケット（図示せず）、電源ユニット３３５（２セット）、及びネットワークケーブルソケット３３６（２セット）の構成も同様であるので、ここでの詳しい説明を省略する。

　本実施形態において、フラッシュストレージの高密度実装を実現する上での特徴の１つは、ストレージ基板に対する複数のフラッシュストレージの配置にあり、当該特徴の１つは、図６Ａ～図６Ｂ、図７に示してある。

　図６Ａは、ストレージ基板の一例を示す図であり、（ａ）は平面図、（ｂ）は断面図である。図６Ａを参照して、ストレージ基板３５１は、その一の面と、一の面と反対の面に、それぞれ１２個のフラッシュストレージ３５２を搭載することにより、１２個×２＝２４個のフラッシュストレージを有する。特に本実施形態においては、ストレージ基板３５１の一の面と、一の面と反対の面に、複数のフラッシュストレージコネクタ３５３が配置される。各フラッシュストレージ３５２の一端に設けられた電気的接点が、各フラッシュストレージコネクタ３５３に挿入されることにより、ストレージ基板３５１の一の面に平行な面上と、反対の面に平行な面上で、それぞれ、フラッシュストレージ３５２の幅方向又は長さ方向で互いに隣り合うように、１２個のフラッシュストレージ３５２を配置することができるよう構成されている。なお、各フラッシュストレージ３５２の他端は、留め具３５４によって固定される。これにより、２４個のフラッシュストレージを高密度に実装した、極薄のストレージ基板３５１を提供できる。なお、ストレージ基板３５１には、ＲＡＩＤコントローラ（図示せず）に加えて、２４個のフラッシュストレージを接続可能とするためのエクスパンダ３５５（例えば、ＳＡＳ（Serial Attached SCSI）エクスパンダ、ＳＡＴＡ（Serial ATA）エクスパンダ、ＰＣＩエクスプレスエクスパンダ）が実装されている。

　フラッシュストレージは、例えばＭ．２　ＳＳＤ（Solid State Drive）又はｍＳＡＴＡ　ＳＳＤでよいが、これに限定されるものではない。なお、フラッシュストレージは、チップ表面を露出させた状態で実装してよく、筐体等でカバーする必要はない。一例として、厚さ３．６ｍｍのＭ．２　２２８０のＳＳＤを使用して、カード厚さ８．６ｍｍを実現することができる。

　加えて、本実施形態において、複数のストレージ基板３５１の高密度実装を実現する上での特徴の１つは、複数のストレージ基板３５１の各々を電気的に接続するための複数のストレージコネクタ３６０を有し、かつベースボード３１０の第１の面、及び第１の面と反対側の第２の面に対して直交して取り付けられる、バックプレーン３４０の構成にあり、当該１つの特徴は図８に示してある。

　まず、ベースボード３１０は、主部材３１１と、副部材３１２とを含んでいる。主部材３１１は、複数のストレージ基板を支持する複数の支持板３１５を、該主部材３１１に固定するための、幅方向に形成された複数のカット３１３を有している。他方、副部材３１２は複数のツメ３１４を有し、当該ツメ３１４は、バックプレーン３４０に形成された複数のスリット３４１にそれぞれ挿入され、かつ主部材３１１に固定される。複数の支持板３１５、３１６には、冷却液を通す穴が形成されている。なお、図示の例では、８本の溝が形成された支持板３１５は３枚あり、１４本の溝が形成された支持板３１６は２枚あり、最大で（８×２＋１４×２）＝４４のストレージ基板３５１を配置可能である。バックプレーン３４０には、ＲＡＩＤコントローラ（図示せず）に加えて、最大４４個のストレージ基板を接続するためのエクスパンダ（例えば、ＳＡＳエクスパンダ。図示せず）が実装されている。

　なお、ベースボード３１０に、複数のストレージ基板３５１、バックプレーン３４０、基板群３２０を取り付けたとき、ベースボード３１０、複数のストレージ基板３５１、バックプレーン３４０及び基板群３２０の結合体が、各収納部の内部形状に相似する外形を有するとよい。結合体の外形は、図７に示すように、直方体であるとよい。

　以上のように構成されている電子機器３００が、冷却装置内の冷却液中に浸漬されて直接冷却されるとき、電子機器内を流通する冷却液が、ストレージ基板３５１上のデバイス（フラッシュストレージ、エクスパンダ他）、バックプレーン３４０上のデバイス（エクスパンダ他）、そして基板群３２０上のデバイス（プロセッサ、ネットワークスイッチ他）、及び電源ユニットから熱を速やかにかつ効率よく奪い取るので、高密度に実装してもフラッシュストレージ、エクスパンダ、そして電子機器３００の安定した動作を確保できる。また、各ストレージ基板３５１を、バックプレーン３４０に取り付け、加えて、バックプレーン３４０から取り外すことができる。また、各フラッシュストレージ３５２を、ストレージ基板３５１に取り付け、また、ストレージ基板３５１から取り外すことができる。これにより、フラッシュストレージ３５２ごとに、又はストレージ基板３５１ごとに、調整、点検、修理、交換、増設等を行うことができるので、メンテナンス性が格段に向上する。

　図８に示す例において、バックプレーン３４０は１枚基板で提供されている。しかし、ストレージコネクタ３６０と信号用コネクタ３３１１ａ、３３１１ｂとの間の配線、及びストレージコネクタ３６０と電源用コネクタ３３１２ａ、３３１２ｂとの間の配線を含む長い基板であると、製造が容易でなく、耐久性を含む品質の確保も容易ではなく、コスト高となるという問題がある。かかる課題を解決するために、バックプレーンを、ベースボードの長さ方向に配置される複数のバックプレーン部分の組み合わせで構成し、複数のバックプレーン部分の各々が信号用コネクタ及び電源用コネクタを有し、信号用コネクタ及び電源用コネクタをバックプレーン部分ごとに独立して設けられるように構成するとよい。

　図９は、かかるバックプレーンの他の例を示す図である。バックプレーンは、ベースボード３１０の長さ方向に配置される２枚のバックプレーン部分３４０ａ、３４０ｂの組み合わせで構成されている。そして、バックプレーン部分３４０ａが、信号用コネクタ３３１１ａ及び電源用コネクタ３３１２ａを有し、バックプレーン部分３４０ｂが、信号用コネクタ３３１１ｂ及び電源用コネクタ３３１２ｂを有し、信号用コネクタ３３１１ａ及び信号用コネクタ３３１１ｂと、電源用コネクタ３３１２ａ及び電源用コネクタ３３１２ｂが、バックプレーン部分ごとに独立して設けられるように構成されている。このように構成することで、バックプレーンの製造と品質の確保が容易となり、コストを低減することができる。

　以上説明した他の実施形態に係る電子機器３００において、さらなる多数のフラッシュストレージの搭載を可能とするストレージ基板を構成することができる。以下、ストレージ基板の一の面と、一の面の反対の面に、それぞれ２０個のフラッシュストレージを搭載し、合計４０個のフラッシュストレージを搭載する例を、図１０Ａ～図１１Ｂを参照して説明する。

　図１０Ａは、ストレージ基板の他の例を示す平面図、図１０Ｂは、部分拡大断面図である。図１０Ａ、図１０Ｂを参照して、ストレージ基板４５１は、その一の面と、一の面と反対の面に、それぞれ２０個のフラッシュストレージ４５２を搭載することにより、４０個のフラッシュストレージを有する。特に本例においては、ストレージ基板４５１の一の面と、一の面と反対の面に、互いに高さの異なる２つのフラッシュストレージコネクタ４５３ａ、４５３ｂが対向して配置される。フラッシュストレージ４５２の一端に設けられた電気的接点が、高さの異なる２つのフラッシュストレージコネクタ４５３ａ、４５３ｂに挿入されることにより、ストレージ基板４５１の一の面に平行な２つの面上と、反対の面に平行な２つの面上で、それぞれ、フラッシュストレージ４５２の幅方向又は長さ方向で互いに隣り合うように、１０個のフラッシュストレージ４５２を配置することができるよう構成されている。なお、ストレージ基板４５１には、高さの低いフラッシュストレージコネクタ４５３ｂにその一端が挿入されるフラッシュストレージ４５２の一部を収納するための溝４５１１が形成されている。また、高さの高いフラッシュストレージコネクタ４５３ａにその一端が挿入されるフラッシュストレージ４５２の他端は、留め具４５４によって固定される。これにより、１０個×２層×２＝４０個のフラッシュストレージを高密度に実装した、極薄のストレージ基板４５１を提供できる。なお、ストレージ基板４５１には、ＲＡＩＤコントローラ（図示せず）に加えて、４０個のフラッシュストレージを接続可能とするためのエクスパンダ４５５（例えば、ＳＡＳエクスパンダ、ＳＡＴＡエクスパンダ、ＰＣＩエクスプレスエクスパンダ）が実装されている。

　フラッシュストレージは、例えばＭ．２　ＳＳＤ又はｍＳＡＴＡ　ＳＳＤでよいが、これに限定されるものではない。なお、フラッシュストレージは、チップ表面を露出させた状態で実装してよく、筐体等でカバーする必要はない。一例として、厚さ１．５ｍｍのＭ．２　２２８０のＳＳＤを使用して、カード厚さ６．９ｍｍを実現することができる。

　図１１Ａは、ストレージ基板のさらに他の例を示す平面図、図１１Ｂは、部分拡大断面図である。図１１Ａ、図１１Ｂを参照して、ストレージ基板５５１は、その一の面と、一の面と反対の面に、それぞれ２０個のフラッシュストレージ５５２を搭載することにより、４０個のフラッシュストレージを有する。本例においては、図１０Ａ及び図１０Ｂに示す例と同様に、ストレージ基板５５１の一の面と、一の面と反対の面に、互いに高さの異なる２つのフラッシュストレージコネクタ５５３ａ、５５３ｂが対向して配置される。フラッシュストレージ５５２の一端に設けられた電気的接点が、高さの異なる２つのフラッシュストレージコネクタ５５３ａ、５５３ｂに挿入されることにより、ストレージ基板５５１の一の面に平行な２つの面上と、反対の面に平行な２つの面上で、それぞれ、フラッシュストレージ５５２の幅方向又は長さ方向で互いに隣り合うように、１０個のフラッシュストレージ５５２を配置することができるよう構成されている。なお、ストレージ基板５５１には、高さの低いフラッシュストレージコネクタ５５３ｂにその一端が挿入されるフラッシュストレージ５５２の一部を収納するための溝５５１１が形成されている。また、高さの高いフラッシュストレージコネクタ５５３ａにその一端が挿入されるフラッシュストレージ５５２の他端は、留め具５５４によって固定される。これにより、１０個×２層×２＝４０個のフラッシュストレージを高密度に実装した、極薄のストレージ基板５５１を提供できる。なお、ストレージ基板５５１には、ＲＡＩＤコントローラ（図示せず）に加えて、４０個のフラッシュストレージを接続可能とするためのエクスパンダ５５５（例えば、ＳＡＳエクスパンダ、ＳＡＴＡエクスパンダ、ＰＣＩエクスプレスエクスパンダ）が実装されている。

　次に、以上説明した本発明の一実施形態に係る電子機器１００、他の実施形態に係る電子機器３００を冷却液中に浸漬して直接冷却するための液浸冷却装置の好ましい実施の形態を、図面に基づいて詳細に説明する。本実施形態の説明では、電子機器１００を合計１６ユニット、冷却槽の分割された収納部に収納して冷却する、高密度液浸冷却装置の構成を説明する。なお、これは例示であって、高密度液浸冷却装置における電子機器のユニット数は任意であり、本発明に使用可能な電子機器の構成を何ら限定するものではない。また、後述するように、一種類の電子機器を収納する場合に限らず、例えば、電子機器１００と電子機器３００を含む種類の異なる複数の電子機器を、冷却槽内の複数の収納部に収納するようにしてよい。

　図１２～図１７を参照して、一実施形態に係る液浸冷却装置１は冷却槽１０を有し、冷却槽１０の底壁１１及び側壁１２によって開放空間１０ａが形成されている。冷却槽１０内に、横方向に内部隔壁１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅを設けることにより、開放空間１０ａが均等に４分割され、配列された４個の収納部１４ａ、１４ｂ、１４ｃ、１４ｄが形成されている。本実施形態においては、冷却槽１０の開放空間１０ａの縦方向長さの約１／４の幅を有する、縦長の電子機器１００を、収納部１４ａ、１４ｂ、１４ｃ、１４ｄに４ユニットずつ、合計１６ユニット、高密度に収納することができる。

　冷却槽１０の側壁１２の外周には、ケーシング１２ａが設けられている。冷却槽１０の正面側の側壁１２とケーシング１２ａとの間にスペースが形成されており、冷却槽１０の開放空間１０ａを閉じるための天板１０ｂを、このスペースに収納することができる。液浸冷却装置１の保守作業時には、天板１０ｂを当該スペース内に収納しておき、液浸冷却装置１の運用時には、このスペースから天板１０ｂを引き出して、冷却槽１０の開口部に置くことにより、開放空間１０ａを閉じることができる。

　冷却槽１０には、電子機器１００の全体を浸漬するのに十分な量の冷却液（図示せず）が液面（図示せず）まで入れられている。冷却液としては、３Ｍ社の商品名「フロリナート（３Ｍ社の商標、以下同様）ＦＣ－７２」（沸点５６℃）、「フロリナートＦＣ－７７０」（沸点９５℃）、「フロリナートＦＣ－３２８３」（沸点１２８℃）、「フロリナートＦＣ－４０」（沸点１５５℃）、「フロリナートＦＣ－４３」（沸点１７４℃）として知られる、完全フッ素化物（パーフルオロカーボン化合物）からなるフッ素系不活性液体を好適に使用することができるが、これらに限定されるものではない。なお、フロリナートＦＣ－４０、ＦＣ－４３は、沸点が１５０℃よりも高く、極めて蒸発しにくいため、いずれかを冷却液に使用する場合、冷却槽１０内における液面の高さが長期間に亘って保たれ、有利である。

　冷却槽１０の底壁１１の下に、冷却液の入口１５を両端に有する複数の流入ヘッダ１６と、冷却液の出口１８を両端に有する複数の流出ヘッダ１７が設けられている。これら流入ヘッダ１６及び流出ヘッダ１７は、冷却槽１０の底壁１１に対して、横方向に互い違いに配置されている。

　内部隔壁１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅの各々は、底部開口１５０を通して底壁１１を貫通し、かつ冷却液の液面近傍まで延びる複数の流入管１６０及び複数の流出管１７０と、電子機器１００が有するベースボード１１０の縁部を保持するための複数のボードリテーナ１３０とを含む。本実施形態においては、底壁１１に一端が固定された複数本のボードリテーナ１３０の左右に、流入管１６０及び流出管１７０が、支持スペーサ１４０を介して互い違いに位置するよう構成されている。収納部１４ａ、１４ｂ、１４ｃ、１４ｄの各々において、冷却槽１０内で縦方向に向かい合う一対のボードリテーナ１３０に形成された凹部が、電子機器１００が有するベースボード１１０の縁部を、両側から機械的に保持する。この目的のために、ベースボード１１０の縁部には、ボードリテーナ１３０に形成された凹部の幅にフィットするように、棒状のサポートが取り付けられていてよい。

　流入管１６０及び流出管１７０は、一例として矩形断面を有する。流入管１６０の各々には、流入管１６０の長手方向に複数の小孔が、流入開口１１６として形成されている。同様に、流出管１７０の各々には、流出管１７０の長手方向に複数の小孔が、流出開口１１７として形成されている。なお、これら複数の流入開口１１６は、流入管１６０の表面及び裏面の両方に形成してあり、同様に、複数の流出開口１１７は、流出管１７０の表面及び裏面の両方に形成してある。

　加えて、収納部１４ａ、１４ｂ、１４ｃ、１４ｄの底部には、底壁１１を貫通する別の複数の小孔が、別の流入開口１１６及び流出開口１１７として形成されている。また、冷却槽１０の側壁１２のうち背面側の側壁１２の上部には、さらに別の流出開口１２７が形成されている。この背面側の側壁１２に形成された流出開口１２７は、冷却液の液面近傍に形成される流出開口に相当する。

　本実施形態において、液浸冷却装置１の使用時に冷却液がどのように流通するかについて、簡単に説明する。両端の入口１５から流入ヘッダ１６に供給された、冷えた冷却液の一部は、収納部１４ａ、１４ｂ、１４ｃ、１４ｄの底部に形成された複数の流入開口１１６から吐出され、残りの部分は、底部開口１５０を通って流入管１６０内に供給される。そして、流入管１６０内に供給された冷却液は、流入管１６０に形成された複数の流入開口１１６から吐出される。

　収納部１４ａ、１４ｂ、１４ｃ、１４ｄに収納された電子機器１００から熱を奪って暖められた冷却液は、冷却槽１０の背面側の側壁１２で、液面近傍に形成された流出開口１２７を通って、冷却槽１０の外に流れる。暖められた冷却液の一部は、収納部１４ａ、１４ｂ、１４ｃ、１４ｄの底部に形成された複数の流出開口１１７から流出ヘッダ１７内に吸引されると同時に、流出管１７０に形成された複数の流出開口１１７と底部開口１５０を通って流出ヘッダ１７内に吸引される。そして、流出ヘッダ１７内に吸引された冷却液は、出口１８を通って冷却槽１０の外に流れる。

　冷却液の流入開口１１６が、各収納部１４ａ、１４ｂ、１４ｃ、１４ｄの底部又は側面に形成され、流出開口１２７が、冷却液の液面近傍に形成されることにより、高密度に収納された電子機器１００によって暖められた冷却液が、各収納部１４ａ、１４ｂ、１４ｃ、１４ｄ内で滞留するのを防ぎ、冷却効率が向上する。特に、複数本のボードリテーナ１３０の左右に、流入開口１１６が形成された流入管１６０及び流出開口１１７が形成された流出管１７０が、支持スペーサ１４０を介して互い違いに位置する構成は、冷却液の滞留防止作用をさらに高めることができるので、有利である。

　次に、冷却槽１０内に高密度に収納された縦長の電子機器１００を、収納部１４ａ、１４ｂ、１４ｃ、１４ｄから持ち上げ、及び収納部１４ａ、１４ｂ、１４ｃ、１４ｄに降ろすための吊り上げ機構について、図面を参照して詳細に説明する。

　吊り上げ機構２０は、電子機器１００を収納部１４ａ、１４ｂ、１４ｃ、１４ｄから持ち上げ、及び収納部１４ａ、１４ｂ、１４ｃ、１４ｄ内に降ろすためのアーム２２を有する。また、吊り上げ機構２０は、アーム２２を上昇及び下降させるためのガイド２１８及び駆動源２１３を備えたタワー２１と、冷却槽１０に取り付けられたスライド機構２３であって、タワー２１を、冷却槽１０に対して、開放空間１０ａ上に位置する水平面上で移動可能に支持するスライド機構２３とを含む。スライド機構２３が冷却槽１０に直接取り付けられるので、冷却槽１０の設置面の周囲に足場を必要としない。また、タワー２１が備えるガイド２１８及び駆動源２１３によって、アーム２２が上昇及び下降するので、昇降操作中にアームが前後左右に振動するようなことがなく、冷却槽内に高密度に収納されている電子機器を安全に吊り上げ又は吊り下げることができる。

　本実施形態において、タワー２１は、サーボモータ等の駆動源２１３の軸が回転する速度を減速させる減速機２１４と、減速機２１４の軸の回転運動を、減速機２１４の軸と直交する軸の回転運動に変換するためのギア２１５と、一対のタイミングプーリ２１６と、タイミングベルト２１７とを含む。アーム２２のブラケット２２２の一方が、垂直方向（Ｚ方向）に設置されたガイド２１８に、ガイドローラ２１９を介して、移動可能に支持されている。また、アーム２２のブラケット２２２の他方が、ベルトホルダ２２０によってタイミングベルト２１７に固定されている。なお、ギア２１５の軸及びタイミングプーリ２１６の軸は、ベアリングホルダ２２３によって回転自在に保持されている。

　本実施形態において、スライド機構２３は、冷却槽１０の幅方向に位置する一対の側壁１２の上端に設けられた、一対の縦方向レール２４と、一対の縦方向レール２４上で、移動可能に支持された可動ベース２５と、可動ベース２５上に設けられた、一対の横方向レール２６とを含み、タワー２１は、一対の横方向レール２６上で移動可能に支持されている。具体的には、可動ベース２５の下部に取り付けられた複数のガイドローラ２５１が、一対の縦方向レール２４上をスライドすることにより、タワー２１を縦方向（Ｙ方向）に移動させることができる。また、タワー２１の底部の固定ベース２１１に取り付けられた複数のガイドローラ２５１が、一対の横方向レール２６上をスライドすることにより、タワー２１を横方向（Ｘ方向）に移動させることができる。

　図示の例では、一対の縦方向レール２４を冷却槽１０の側壁１２の上端に設置するための、一対のサポート２８が使用されている。サポート２８は、サポート２８の一端が、タワー２１の縦方向長さに実質的に等しい長さだけ、冷却槽１０の後方にはみ出して位置するように、側壁１２の上端に固定されている。このはみ出した一対のサポート２８上にも一対の縦方向レール２４が置かれる。これにより、一対の縦方向レール２４は、可動ベース２５を冷却槽１０の開放空間１０ａ上から外れた後方に位置させるための走行域を有する。冷却槽１０の裏面側の側壁１２に最も近い収納部１４ａから電子機器１００を持ち上げ、及び収納部１４ａ内に下ろすことができるようにするためである。また、一対のサポート２８及び一対の縦方向レール２４は、天板１０ｂが冷却槽１０の開口部に置かれたときに、天板１０ｂの幅の外に位置するように設置されている。天板１０ｂにより開放空間１０ａを閉じるときに、これらサポート２８及び縦方向レール２４が障害とならないようにするためである。

　一対の縦方向レール２４の両端近傍に設けられたストッパ２７は、開放空間１０ａ上に位置する水平面上で、タワー２１が冷却槽１０の縦方向（Ｙ方向）で移動する範囲を規制するためのものである。特に、一対の横方向レール２６の両端近傍に設けられたストッパ２７は、タワー２１が冷却槽１０の幅方向（Ｘ方向）で移動する範囲が、少なくとも開放空間１０ａの幅を実質的に超えないように、タワー２１の移動を規制するためのものである。これにより、タワー２１が冷却槽１０の幅方向で移動するときに、タワー２１の固定ベース２１１又はハウジング２１２が、冷却槽１０の幅を超えてはみ出すことを防止することができ、複数の液浸冷却装置を密に配置することによっても、隣り合う液浸冷却装置の吊り上げ機構の動作範囲が互いに影響を受けないようにすることができる。

　以上のように構成された吊り上げ機構２０の動作について説明する。タワー２１の脇に取り付けられたハンドルを持って、タワー２１を水平移動させ、アーム２２が、吊り上げ対象とする電子機器１００が有するベースボード１１０の直上に位置するところで停止させる。コントローラ（図示せず）を操作してタワー２１の駆動源２１３を駆動し、駆動源２１３の軸の回転を、ギア２１５を介してタイミングプーリ２１６に伝達し、アーム２２を最下部まで下降させる。この状態で、アーム２２の下部に取り付けられた一対の吊り金具２２１の先端を、電子機器１００が有するベースボード１１０の上端に形成された一対の孔に連結する。次に、コントローラ（図示せず）を操作して、タワー２１の駆動源２１３の軸の、逆方向の回転を、タイミングプーリ２１６に伝達し、アーム２２を上昇させる。電子機器１００は、吊り金具２２１によってアーム２２に吊り下げられた状態で、ベースボード１１０がボードリテーナ１３０内でスライドするように持ち上げられる。アーム２２を最上部まで上昇させたとき、電子機器１００が収納部１４ａ、１４ｂ、１４ｃ、１４ｄのボードリテーナ１３０から完全に抜け出した状態で、吊り下げられた状態となる。この状態で、必要であればタワー２１を水平移動させて、電子機器１００の保守作業を行うことができる。保守作業を終了したら、再びコントローラ（図示せず）を操作して、電子機器１００を収納部１４ａ、１４ｂ、１４ｃ、１４ｄ内に降ろし、元の位置に戻すことができる。

　一方、コントローラ（図示せず）を操作して、アーム２２を上昇又は下降させている途中で、タワー２１の駆動源２１３の駆動を停止させることにより、タワー２１の垂直方向における任意の高さで、アーム２２を静止させることもできる。このとき、電子機器１００が収納部１４ａ、１４ｂ、１４ｃ、１４ｄのボードリテーナ１３０から完全に抜け出さずに保持された状態で、所望の高さまで吊り下げられた状態となる。この状態で、電子機器１００の保守作業を行うこともできる。減速機２１４は、このタワー２１の垂直方向における任意の高さでのアームの静止状態を含む電子機器１００の吊り下げ状態おいて、アーム２２に加わる下方向の荷重が、タイミングプーリ２１６及び駆動源２１３の軸に意図しない回転をさせるのを防ぐのに役立つ。

　上記の一実施形態において、単一の冷却槽を有する例を説明したが、横方向に配置された複数の隣接する冷却槽を有してよい。この場合、少なくとも１つの吊り上げ機構が、複数の隣接する冷却槽において共通に使用されてよい。具体的には、少なくとも１つの吊り上げ機構は、アームを上昇及び下降させるためのガイド及び駆動源を備えたタワーと、隣接する冷却槽に取り付けられたスライド機構であって、タワーを、隣接する冷却槽に対して、開放空間上に位置する水平面上で移動可能に支持するスライド機構と、タワーが隣接する冷却槽の幅方向で移動する範囲が、隣接する冷却槽の隣接する開放空間を形成する複数の側壁のうち、横方向に互いに最も離れた側壁間の距離を実質的に超えないように、タワーの移動を規制するストッパとを含んでよい。

　横方向に配置された複数の隣接する冷却槽を有する場合、スライド機構が、各冷却槽の幅方向に位置する一対の側壁の上端に設けられた、一対の縦方向レールと、一対の縦方向レール上で移動可能に支持された可動ベースと、可動ベース上に設けられた、一対の横方向レールとを含み、タワーが、一対の横方向レール上で移動可能に支持されているとよい。可動ベースの幅は、１つの冷却槽の幅と実質的に同じ幅か、複数の隣接する冷却槽に亘る幅のいずれでもよい。可動ベースが１つの冷却槽の幅と実質的に同じ幅を有する場合、隣接する冷却槽のうちの一方の冷却槽における一対の横方向レールと、他方の冷却槽における一対の横方向レールとを、適切な連結手段により連結可能に構成することができる。これにより、一方の一対の横方向レール上にあるタワーを、他方の一対の横方向レール上に移動させることができ、複数の隣接する冷却槽間で、１つのタワーを共用することができる。可動ベースの幅が複数の隣接する冷却槽に亘る幅を有する場合、一対の横方向レールの長さを、複数の隣接する冷却槽に亘る幅とできるので、上記のような一対の横方向レールを連結するための連結手段は不要である。

　上記の一実施形態において、水平面上でのタワー２１の移動を人力で行う例を説明したが、縦方向レール２４上で可動ベース２５を走行させるための別の駆動源と、横方向レール２６上で固定ベース２１１を含むタワー２１を走行させるためのもう１つ別の駆動源とを、吊り上げ機構に追加することにより、コントローラ（図示せず）を操作してタワー２１の移動を行うようにしてもよい。これら別の駆動源として、例えばサーボモータ等の電動式の駆動源を使用してよい。

　電動式の駆動源を付加して水平面上でのタワー２１の移動を行えるようにする場合、上記の一実施形態におけるタワー２１の移動を規制するストッパは、図示のような、タワー２１の移動を物理的に阻止するための機械式のストッパ２７から、ソフトウェアによる移動規制機構に代替してよい。従って、本明細書においてストッパとは、機械式のストッパとソフトウェアによる移動規制機構の両方を含むものとする。

　上記の一実施形態に係る液浸冷却装置によれば、冷却槽の設置面の周囲に足場が不要でありながら、冷却槽内に高密度に収納されている電子機器を安全に吊り上げ又は吊り下げることができる。加えて、複数の液浸冷却装置を密に配置することによっても、隣り合う液浸冷却装置の吊り上げ機構の動作範囲が互いに影響を受けないようにすることができる。

　本実施形態においては、既に述べたように、一種類の電子機器を収納する場合に限らず、例えば、電子機器１００と電子機器３００を含む種類の異なる複数の電子機器を、冷却槽内の複数の収納部に収納するようにしてよい。換言すれば、複数のプロセッサによる演算を主体とする１つ以上の第１の電子機器と、複数のストレージによる記憶を主体とする１つ以上の第２の電子機器を含む、種類の異なる複数の電子機器を含み、１つ以上の任意の数の第１の電子機器と、１つ以上の任意の数の第２の電子機器を、冷却装置の複数の収納部に別々に収納し、所望の計算容量及び所望の記憶容量を有するコンピュータを構成している、冷却システムとしてよい。図１８の模式図に示すように、冷却システム２は、液浸冷却装置１が有する１６カ所ある収納部のうち、（ａ）では、３カ所の収納部に、２つの電子機器１００と１つの電子機器３００を収納してコンピュータを構成している。（ｂ）では、９カ所の収納部に、６つの電子機器１００と３つの電子機器３００を収納してコンピュータを構成している。電子機器１００は、複数のプロセッサによる演算を主体とする第１の電子機器に、電子機器３００は、複数のストレージによる記憶を主体とする第２の電子機器に、それぞれ相当する。

　このように、第１の電子機器と第２の電子機器を適宜組み合わせて、所望の計算容量及び所望の記憶容量を有するコンピュータを構成できることから、機器構成可能な（Configurable）冷却システムを提供することができる。

　本発明は、超高密度に実装された液浸冷却用の電子機器に広く適用することができる。

　１　　液浸冷却装置
　１０　　冷却槽
　１０ａ　　開放空間
　１０ｂ　　天板
　１１　　底壁
　１２　　側壁
　１２ａ　　ケーシング
　１００、３００　　電子機器
　１１０、３１０　　ベースボード
　１１１　　吊り金具穴
　１１２　　フローチャネル
　１２０、３２０　　基板群
　１２１、３２１　　第１の回路基板
　１２２、３２２　　第２の回路基板
　１２３、３２３　　第３の回路基板
　１２４ａ、１２４ｂ、１２４ｃ、１２４ｄ　　プロセッサ
　１２５　　メインメモリ
　１２６ａ、１２６ｂ、１２６ｃ、１２６ｄ　　ソケット
　１２７ａ、１２７ｂ、１２７ｃ、１２７ｄ　　電圧変換回路
　１２８、１３８　　スペーサ
　１２９、１３９　　ねじ
　１３０　　ボードリテーナ
　１３１　　第１のコネクタ
　１３２、３３２　　第２のコネクタ
　１３３、３３３　　第３のコネクタ
　１３４　　スロット
　１３５、３３５　　電源ユニット
　１３６、３３６　　ネットワークケーブルソケット
　１３７　　底部穴
　１４０　　支持スペーサ
　１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ　　内部隔壁
　１４ａ、１４ｂ、１４ｃ、１４ｄ　　　収納部
　１５　　入口
　１５０　　底部開口
　１６　　　流入ヘッダ
　１１６　　流入開口
　１６０　　流入管
　１７　　流出ヘッダ
　１１７、１２７　　流出開口
　１７０　　流出管
　１８　　出口
　２０　　吊り上げ機構
　２１　　タワー
　２１１　　固定ベース
　２１２　　ハウジング
　２１３　　駆動源
　２１４　　減速機
　２１５　　ギア
　２１６　　タイミングプーリ
　２１７　　タイミングベルト
　２１８　　ガイド
　２１９　　ガイドローラ
　２２０　　ベルトホルダ
　２２　　アーム
　２２１　　吊り金具
　２２２　　ブラケット
　２２３　　ベアリングホルダ
　２３　　スライド機構
　２４　　縦方向レール（Ｙ方向）
　２５　　可動ベース
　２５１　　ガイドローラ
　２６　　横方向レール（Ｘ方向）
　２７　　ストッパ
　２８　　サポート
　３１１　　主部材
　３１２　　副部材
　３１３　　カット
　３１４　　ツメ
　３１５、３１６　　支持板
　３３１１ａ、３３１１ｂ　　信号用コネクタ
　３３１２ａ、３３１２ｂ　　電源用コネクタ
　３４０　　バックプレーン
　３４０ａ、３４０ｂ　　バックプレーン部分
　３４１　　スリット
　３５１、４５１、５５１　　ストレージ基板
　３５２、４５２、４５２ａ、４５２ｂ、５５２、５５２ａ、５５２ｂ　　フラッシュストレージ
　３５３　　フラッシュストレージコネクタ
　３５４、４５４、５５４　　留め具
　３５５、４５５、５５５　　エクスパンダ
　３６０　　ストレージコネクタ
　３６１、４６１、５６１　　ストレージコネクタプラグ
　４５１１、５５１１　　溝
　４５３ａ、５５３ａ　　フラッシュストレージコネクタ（高）
　４５３ｂ、５５３ｂ　　フラッシュストレージコネクタ（低）

Claims

　冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であって、
　前記電子機器は、冷却装置の収納部に収納可能なように構成され、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に配置される複数のストレージ基板と、
　前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタを有し、前記ベースボードの前記一の面に対して直交して取り付けられる、バックプレーンと、
　前記複数のストレージ基板の各々に搭載される複数のフラッシュストレージと、
　を含み、
　前記バックプレーンは、前記ベースボードの長さ方向に配置される複数のバックプレーン部分の組み合わせを含み、前記複数のバックプレーン部分の各々は信号用コネクタ及び電源用コネクタを有し、前記信号用コネクタ及び電源用コネクタは、前記バックプレーン部分ごとに独立して設けられており、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている、
　電子機器。
　冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であって、
　前記電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
　前記電子機器は、
　ベースボードと、
　前記ベースボードの少なくとも一の面に配置される複数のストレージ基板と、
　前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタを有し、前記ベースボードの前記一の面に対して直交して取り付けられる、バックプレーンと、
　前記複数のストレージ基板の各々に搭載される複数のフラッシュストレージと、
　を含み、
　前記バックプレーンは、前記ベースボードの長さ方向に配置される複数のバックプレーン部分の組み合わせを含み、前記複数のバックプレーン部分の各々は信号用コネクタ及び電源用コネクタを有し、前記信号用コネクタ及び電源用コネクタは、前記バックプレーン部分ごとに独立して設けられており、
　前記複数のフラッシュストレージは、各ストレージ基板の少なくとも一の面に平行な面上で、前記フラッシュストレージの幅方向又は長さ方向で、又は幅方向及び長さ方向の両方で互いに隣り合うように配置されている、
　電子機器。
　前記フラッシュストレージは、Ｍ．２　ＳＳＤ又はｍＳＡＴＡ　ＳＳＤである、請求項１又は２に記載の電子機器。
　前記ストレージ基板の前記一の面に、複数のフラッシュストレージコネクタが配置され、各フラッシュストレージの電気的接点が各フラッシュストレージコネクタに挿入されている、請求項１又は２に記載の電子機器。
　前記ベースボードは、主部材と、副部材とを含み、
　前記主部材は、前記複数のストレージ基板を支持する複数の支持板を、該主部材に固定するための、幅方向に形成された複数のカットを有し、
　前記副部材は、前記バックプレーンに形成された複数のスリットにそれぞれ挿入され、かつ前記主部材に固定される複数のツメを有し、
　前記複数の支持板には、冷却液を通す穴が形成されている、
　請求項１又は２に記載の電子機器。
　前記複数のストレージ基板が、前記ベースボードの前記一の面と反対側の面にさらに配置され、前記バックプレーンが、前記ベースボードの前記反対側の面に配置された前記複数のストレージ基板の各々を電気的に接続するための複数のコネクタをさらに有し、前記ベースボードに、前記複数のストレージ基板及び前記バックプレーンを取り付けたとき、前記ベースボード、前記複数のストレージ基板、及び前記バックプレーンの結合体が、各収納部の内部形状に相似する外形を有する、請求項１又は２に記載の電子機器。
　前記結合体の外形は、直方体である、請求項６に記載の電子機器。