JP6042588B1 - 液浸冷却用電子機器、及びそれを用いた冷却システム - Google Patents

液浸冷却用電子機器、及びそれを用いた冷却システム Download PDF

Info

Publication number
JP6042588B1
JP6042588B1 JP2016546558A JP2016546558A JP6042588B1 JP 6042588 B1 JP6042588 B1 JP 6042588B1 JP 2016546558 A JP2016546558 A JP 2016546558A JP 2016546558 A JP2016546558 A JP 2016546558A JP 6042588 B1 JP6042588 B1 JP 6042588B1
Authority
JP
Japan
Prior art keywords
electronic device
board
cooling
circuit board
metal board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016546558A
Other languages
English (en)
Other versions
JPWO2017085774A1 (ja
Inventor
齊藤 元章
元章 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exascaler Inc
Original Assignee
Exascaler Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exascaler Inc filed Critical Exascaler Inc
Application granted granted Critical
Publication of JP6042588B1 publication Critical patent/JP6042588B1/ja
Publication of JPWO2017085774A1 publication Critical patent/JPWO2017085774A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/20Cooling means
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20218Modifications to facilitate cooling, ventilating, or heating using a liquid coolant without phase change in electronic enclosures
    • H05K7/20236Modifications to facilitate cooling, ventilating, or heating using a liquid coolant without phase change in electronic enclosures by immersion
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20763Liquid cooling without phase change
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20763Liquid cooling without phase change
    • H05K7/20781Liquid cooling without phase change within cabinets for removing heat from server blades
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/20Indexing scheme relating to G06F1/20
    • G06F2200/201Cooling arrangements using cooling fluid

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Cooling Or The Like Of Electrical Apparatus (AREA)

Abstract

冷却装置内の冷却液中に浸漬されて直接冷却される電子機器を提供する。電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、収納部に設けられた一対のボードリテーナにより保持される金属ボードと、金属ボードの第1の面、及び第1の面と反対側の第2の面にそれぞれ配置される複数のストレージと、複数のストレージの各々を電気的に接続するための複数のコネクタを有し、金属ボードの第1の面、及び第1の面と反対側の第2の面に対して直交して取り付けられる、バックプレーンとを含む。金属ボードは、主部材と、副部材とを含む。主部材は、複数のストレージを支持する複数の支持板を、該主部材に固定するための、幅方向に形成された複数のカットを有する。副部材は、バックプレーンに形成された複数のスリットにそれぞれ挿入され、かつ主部材に固定される複数のツメを有する。複数の支持板には、冷却液を通す穴が形成されている。

Description

本発明は電子機器、及びそれを用いた冷却システムに係り、特に、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器、及び当該電子機器を用いた冷却システムに関するものである。本明細書において電子機器とは、一般に、スーパーコンピュータやデータセンター等の超高性能動作や安定動作が要求され、かつそれ自体からの発熱量が大きな電子機器をいうが、これに限定されるものではない。
近年のスーパーコンピュータの性能の限界を決定する最大の課題の一つは消費電力であり、スーパーコンピュータの省電力性に関する研究の重要性は、既に広く認識されている。すなわち、消費電力当たりの速度性能(Flops/W)が、スーパーコンピュータを評価する一つの指標となっている。また、データセンターにおいては、データセンター全体の消費電力の45%程度を冷却に費やしているとされ、冷却効率の向上による消費電力の削減の要請が大きくなっている。
スーパーコンピュータやデータセンターの冷却には、従来から空冷式と液冷式が用いられている。液冷式は、空気より格段に熱伝達性能の優れる液体を用いるため、一般的に冷却効率がよいとされている。特に、フッ化炭素系冷却液を用いる液浸冷却システムは、合成油を用いるものに比べて電子機器のメンテナンス(具体的には、例えば調整、点検、修理、交換、増設。以下同様)に優れる等の利点を有しており、近年注目されている。
本発明者は、小規模液浸冷却スーパーコンピュータ向けの、小型で冷却効率の優れた液浸冷却装置をすでに開発している。当該装置は、高エネルギー加速器研究機構に設置されている小型スーパーコンピュータ「Suiren」に適用され、運用されている(非特許文献1)。
また、本発明者は、液浸冷却される電子機器における実装密度を大幅に高めることのできる、改良された液浸冷却装置を提案している(非特許文献2)。
「液浸冷却小型スーパーコンピュータ「ExaScaler-1」が、25%を超える性能改善により最新のスパコン消費電力性能ランキング「Green500」の世界第一位相当の値を計測」、2015年3月31日、プレスリリース、株式会社ExaScaler他、URL:http://www.exascaler.co.jp/wp-content/uploads/2015/03/20150331.pdf 「Exa級の高性能機を目指し半導体・冷却・接続を刷新(上)」、日経エレクトロニクス2015年7月号、pp.99−105、2015年6月20日、日経BP社発行
液浸冷却装置に適用される電子機器において、実装密度をより一層高めることのできる、複数のプロセッサによる演算を主体とする新構成の電子機器を開発することが望まれている。
また、液浸冷却装置に適用される電子機器において、実装密度をより一層高めてもなお、電源ユニットの冗長性を確保することのできる新構成の電子機器を開発することが望まれている。
さらに、液浸冷却装置に適用される電子機器において、実装密度をより一層高めることのできる、複数のストレージによる記憶を主体とする新構成の電子機器を開発することが望まれている。
加えて、冷却装置内の冷却液中に種類の異なる複数の電子機器を浸漬して直接冷却する、冷却システムにおいて、所望の計算容量及び所望の記憶容量を有するコンピュータを、任意に構成できる、新構成の冷却システムを開発することが望まれている。
上記の課題を解決するために、本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、
前記電子機器は、
前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ取り付けられる1つ以上の基板群と、
を含み、
各基板群は、
1つ以上の第1の回路基板であって、第1の回路基板の各々は、複数のプロセッサ及びメインメモリを基板の一の面に実装するための複数のソケットと、前記複数のプロセッサ間を相互接続するコンポーネントとを有する、第1の回路基板と、
マザーボード・コンポーネントを有する第2の回路基板であって、前記マザーボード・コンポーネントは、少なくとも前記メインメモリを制御するためのチップセットを含むが、前記複数のプロセッサ及び前記メインメモリ実装用の複数のソケット並びに前記プロセッサ間相互接続用コンポーネントを含まない、第2の回路基板と、
前記1つ以上の第1の回路基板と前記第2の回路基板との間を電気的に接続するコネクタと、
前記1つ以上の第1の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第2の回路基板の一の面との隙間により形成されるフローチャネルと、
を有する。
また、本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
前記電子機器は、
前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ取り付けられる1つ以上の基板群と、
を含み、
各基板群は、
1つ以上の第1の回路基板であって、該第1の回路基板の各々は、複数のプロセッサ及びメインメモリを基板の一の面に実装するための複数のソケットと、前記複数のプロセッサ間を相互接続するコンポーネントとを有する、第1の回路基板と、
マザーボード・コンポーネントを有する第2の回路基板であって、前記マザーボード・コンポーネントは、少なくとも前記メインメモリを制御するためのチップセットを含むが、前記複数のプロセッサ及び前記メインメモリ実装用の複数のソケット並びに前記プロセッサ間相互接続用コンポーネントを含まない、第2の電子回路基板と、
前記1つ以上の第1の回路基板と前記第2の回路基板との間を電気的に接続するコネクタと、
前記1つ以上の第1の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第2の回路基板の一の面との隙間により形成されるフローチャネルと、
を有する。
本発明の一局面に係る電子機器の好ましい実施の形態において、前記隙間を保持する複数のスペーサと、複数のねじをさらに有し、
前記複数のねじの各々は、前記第1の回路基板、前記第2の回路基板、及び前記複数のスペーサの各々を貫通し、固定するとよい。
本発明の一局面に係る電子機器の好ましい実施の形態において、前記電子機器は、前記金属ボードの前記第1の面及び第2の面に、それぞれ前記1つ以上の基板群を取り付けたとき、前記金属ボード及び前記基板群の結合体が、各収納部の内部形状に相似する外形を有するとよい。前記結合体の外形は、例えば、直方体であるとよい。
本発明のもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、
前記電子機器は、
前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ取り付けられる1つ以上の基板群と、
前記1つ以上の基板群の上方に設けられ、かつ前記金属ボートに並列に取り付けられる複数のスロットであって、該複数のスロットの各々に電源ユニットが収納される、複数のスロットと、
を含み、
各基板群は、
複数の第1の回路基板であって、該第1の回路基板の各々は、複数のプロセッサ及びメインメモリを基板の一の面に実装するための複数のソケットと、前記複数のプロセッサ間を相互接続するコンポーネントとを有する、複数の第1の回路基板と、
マザーボード・コンポーネントを有する第2の回路基板であって、前記マザーボード・コンポーネントは、少なくとも前記メインメモリを制御するためのチップセットを含むが、前記複数のプロセッサ及び前記メインメモリ実装用の複数のソケット並びに前記プロセッサ間相互接続用コンポーネントを含まない、第2の回路基板と、
前記複数の第1の回路基板の各々に対応する複数のネットワークコントローラチップ及び複数のネットワークケーブルソケットを有する、第3の回路基板と、
前記複数の第1の回路基板の各々と及び前記第2の回路基板との間を電気的に接続する第1のコネクタと、
前記第2の回路基板と前記第3の回路基板との間を電気的に接続する第2のコネクタと、
前記1つ以上の第1の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第2の回路基板の一の面との隙間により形成されるフローチャネルと、
を有し、
前記第3の回路基板は、該第3の回路基板と前記金属ボードの間に前記複数のスロットを挟むように配置され、かつ、前記第3の回路基板の、前記複数のスロットの開口側に位置する一辺上には、前記複数のネットワークケーブルソケットが並列に設けられている。
また、本発明のもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
前記電子機器は、
前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ取り付けられる1つ以上の基板群と、
前記1つ以上の基板群の上方に設けられ、かつ前記金属ボートに並列に取り付けられる複数のスロットであって、該複数のスロットの各々に電源ユニットが収納される、複数のスロットと、
を含み、
各基板群は、
複数の第1の回路基板であって、該第1の回路基板の各々は、複数のプロセッサ及びメインメモリを基板の一の面に実装するための複数のソケットと、前記複数のプロセッサ間を相互接続するコンポーネントとを有する、複数の第1の回路基板と、
マザーボード・コンポーネントを有する第2の回路基板であって、前記マザーボード・コンポーネントは、少なくとも前記メインメモリを制御するためのチップセットを含むが、前記複数のプロセッサ及び前記メインメモリ実装用の複数のソケット並びに前記プロセッサ間相互接続用コンポーネントを含まない、第2の回路基板と、
前記複数の第1の回路基板の各々に対応する複数のネットワークコントローラチップ及び複数のネットワークケーブルソケットを有する、第3の回路基板と、
前記複数の第1の回路基板の各々と及び前記第2の回路基板との間を電気的に接続する第1のコネクタと、
前記第2の回路基板と前記第3の回路基板との間を電気的に接続する第2のコネクタと、
前記1つ以上の第1の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第2の回路基板の一の面との隙間により形成されるフローチャネルと、
を有し、
前記第3の回路基板は、該第3の回路基板と前記金属ボードの間に前記複数のスロットを挟むように配置され、かつ、前記第3の回路基板の、前記複数のスロットの開口側に位置する一辺上には、前記複数のネットワークケーブルソケットが並列に設けられている。
また、本発明のもう一つの局面に係る電子機器の好ましい実施の形態において、前記隙間を保持する複数のスペーサと、複数のねじをさらに有し、
前記複数のねじの各々は、前記第1の回路基板、前記第2の回路基板、及び前記複数のスペーサの各々を貫通し、固定するとよい。
本発明のもう一つの局面に係る電子機器の好ましい実施の形態において、前記電子機器は、前記金属ボードの前記第1の面及び第2の面に、それぞれ前記1つ以上の基板群を取り付けたとき、前記金属ボード及び前記基板群の結合体が、各収納部の内部形状に相似する外形を有するとよい。前記結合体の外形は、例えば、直方体であるとよい。
本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、
前記電子機器は、
前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ配置される複数のストレージと、
前記複数のストレージの各々を電気的に接続するための複数のコネクタを有し、前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面に対して直交して取り付けられる、バックプレーンと、
を含み、
前記金属ボードは、主部材と、副部材とを含み、
前記主部材は、前記複数のストレージを支持する複数の支持板を、該主部材に固定するための、幅方向に形成された複数のカットを有し、
前記副部材は、前記バックプレーンに形成された複数のスリットにそれぞれ挿入され、かつ前記主部材に固定される複数のツメを有し、
前記複数の支持板には、冷却液を通す穴が形成されている。
また、本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
前記電子機器は、
前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ配置される複数のストレージと、
前記複数のストレージの各々を電気的に接続するための複数のコネクタを有し、前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面に対して直交して取り付けられる、バックプレーンと、
を含み、
前記金属ボードは、主部材と、副部材とを含み、
前記主部材は、前記複数のストレージを支持する複数の支持板を、該主部材に固定するための、幅方向に形成された複数のカットを有し、
前記副部材は、前記バックプレーンに形成された複数のスリットにそれぞれ挿入され、かつ前記主部材に固定される複数のツメを有し、
前記複数の支持板には、冷却液を通す穴が形成されている。
本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記電子機器は、さらに、
前記金属ボードの前記第1の面及び前記第2の面の少なくとも一つの面に取り付けられる、1つ以上の基板群、
を含み、
前記1つ以上の基板群は、
1つ以上の第1の回路基板であって、第1の回路基板の各々は、複数のプロセッサ及びメインメモリを基板の一の面に実装するための複数のソケットと、前記複数のプロセッサ間を相互接続するコンポーネントとを有する、第1の回路基板と、
マザーボード・コンポーネントを有する第2の回路基板であって、前記マザーボード・コンポーネントは、少なくとも前記メインメモリを制御するためのチップセットを含むが、前記複数のプロセッサ及び前記メインメモリ実装用の複数のソケット並びに前記プロセッサ間相互接続用コンポーネントを含まない、第2の回路基板と、
前記1つ以上の第1の回路基板と前記第2の回路基板との間を電気的に接続するコネクタと、
前記1つ以上の第1の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第2の回路基板の一の面との隙間により形成されるフローチャネルと、
を有していてよい。
本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記隙間を保持する複数のスペーサと、複数のねじをさらに有し、
前記複数のねじの各々は、前記第1の回路基板、前記第2の回路基板、及び前記複数のスペーサの各々を貫通し、固定するようにしてよい。
本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記電子機器は、さらに、
前記1つ以上の基板群の上方に設けられ、かつ前記金属ボードに並列に取り付けられる複数のスロットであって、該複数のスロットの各々に電源ユニットが収納される、複数のスロット
を含み、
前記1つ以上の基板群は、さらに、
前記複数の第1の回路基板の各々に対応する複数のネットワークコントローラチップ及び複数のネットワークケーブルソケットを有する、第3の回路基板
を有し、
前記第3の回路基板は、該第3の回路基板と前記金属ボードの間に前記複数のスロットを挟むように配置され、かつ、前記第3の回路基板の、前記複数のスロットの開口側に位置する一辺上には、前記複数のネットワークケーブルソケットが並列に設けられていてよい。
本発明のさらにもう一つの局面に係る電子機器の好ましい実施の形態において、前記電子機器は、前記金属ボードに、前記複数のストレージ及び前記バックプレーンを取り付けたとき、前記金属ボード、前記複数のストレージ、及び前記バックプレーンの結合体が、各収納部の内部形状に相似する外形を有してよい。前記結合体の外形は、例えば、直方体であるとよい。
また、本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に種類の異なる複数の電子機器を浸漬して直接冷却する、冷却システムは、
底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されている、冷却装置と、
複数のプロセッサによる演算を主体とする1つ以上の第1の電子機器と、複数のストレージによる記憶を主体とする1つ以上の第2の電子機器を含む、種類の異なる複数の電子機器と、
を含み、
1つ以上の任意の数の前記第1の電子機器と、1つ以上の任意の数の前記第2の電子機器を、前記冷却装置の複数の収納部に別々に収納し、所望の計算容量及び所望の記憶容量を有するコンピュータを構成している。
また、本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記第1の電子機器は、
前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ取り付けられる1つ以上の基板群と、
を含み、
各基板群は、
1つ以上の第1の回路基板であって、第1の回路基板の各々は、複数のプロセッサ及びメインメモリを基板の一の面に実装するための複数のソケットと、前記複数のプロセッサ間を相互接続するコンポーネントとを有する、第1の回路基板と、
マザーボード・コンポーネントを有する第2の回路基板であって、前記マザーボード・コンポーネントは、少なくとも前記メインメモリを制御するためのチップセットを含むが、前記複数のプロセッサ及び前記メインメモリ実装用の複数のソケット並びに前記プロセッサ間相互接続用コンポーネントを含まない、第2の回路基板と、
前記1つ以上の第1の回路基板と前記第2の回路基板との間を電気的に接続するコネクタと、
前記1つ以上の第1の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第2の回路基板の一の面との隙間により形成されるフローチャネルと、
を有していてよい。
本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記第1の電子機器は、前記金属ボードの前記第1の面及び第2の面に、それぞれ前記1つ以上の基板群を取り付けたとき、前記金属ボード及び前記基板群の結合体が、各収納部の内部形状に相似する外形を有するとよい。前記結合体の外形は、例えば、直方体であるとよい。
また、本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記第2の電子機器は、
前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ配置される複数のストレージと、
前記複数のストレージの各々を電気的に接続するための複数のコネクタを有し、前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面に対して直交して取り付けられる、バックプレーンと、
を含み、
前記金属ボードは、主部材と、副部材とを含み、
前記主部材は、前記複数のストレージを支持する複数の支持板を、該主部材に固定するための、幅方向に形成された複数のカットを有し、
前記副部材は、前記バックプレーンに形成された複数のスリットにそれぞれ挿入され、かつ前記主部材に固定される複数のツメを有し、
前記複数の支持板には、冷却液を通す穴が形成されていてよい。
本発明のさらにもう一つの局面に係る冷却システムの好ましい実施の形態において、前記第2の電子機器は、前記金属ボードに、前記複数のストレージ及び前記バックプレーンを取り付けたとき、前記金属ボード、前記複数のストレージ、及び前記バックプレーンの結合体が、各収納部の内部形状に相似する外形を有するとよい。前記結合体の外形は、例えば、直方体であるとよい。
なお、本明細書における「開放空間」を有する冷却槽には、電子機器の保守性を損なわない程度の簡素な密閉構造を有する冷却槽も含まれるものである。例えば、冷却槽の開口部に、冷却槽の開放空間を閉じるための天板を置くことのできる構造や、パッキン等を介して天板を着脱可能に取り付けることのできる構造は、簡素な密閉構造といえる。
上記した本発明の目的及び利点並びに他の目的及び利点は、以下の実施の形態の説明を通じてより明確に理解される。もっとも、以下に記述する実施の形態は例示であって、本発明はこれに限定されるものではない。
本発明の一実施形態に係る電子機器の正面図である。 本発明の一実施形態に係る電子機器の側面図である。 本発明の一実施形態に係る電子機器の平面図である。 本発明の他の実施形態に係る電子機器の斜視図である。 本発明の他の実施形態に係る電子機器の部分組立図ある。 液浸冷却装置の全体構成を示す斜視図である。 液浸冷却装置の縦方向断面図である。 液浸冷却装置の平面図である。 液浸冷却装置の要部構成を示す斜視図である。 液浸冷却装置の要部構成を示す横方向断面図である。 液浸冷却装置の吊り上げ機構の一例を示す縦方向断面図である。 本発明の冷却システムの構成を示す模式図である。
以下、本発明に係る電子機器の好ましい実施の形態を、図面に基づいて詳細に説明する。
まず、図1〜図3を参照して、本発明の一実施形態に係る電子機器100を説明する。図1は、本発明の一実施形態に係る電子機器100の正面図、図2は側面図、図3は平面図である。電子機器100は、後述する冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であり、冷却装置の複数の収納部の各々に収納可能なように構成されている。電子機器100は、後述する収納部に設けられた、後述する一対のボードリテーナにより保持される金属ボード110と、金属ボード110の第1の面、及び第1の面と反対側の第2の面にそれぞれ取り付けられる1つの基板群120を含んでいる。
図示の例では、各基板群120は、4つの第1の回路基板121であって、第1の回路基板121の各々は、2個のプロセッサ124及び16個のメインメモリ125を基板の一の面に実装するための複数のソケット126a、126bと、2個のプロセッサ間を相互接続するコンポーネント(図示せず)とを有する。なお、第1の回路基板121の数、プロセッサ124の数、及びメインメモリ125の数はあくまで例示であって、複数であればよい。また、プロセッサ間相互接続用コンポーネントは、例えば、インテル社のQPI(QuickPath Interconnect)であるとよい。
基板群120は、マザーボード・コンポーネント(図示せず)を有する第2の回路基板122をさらに含む。ここで、マザーボード・コンポーネントは、少なくともメインメモリ125を制御するためのチップセット(図示せず)を含むが、2個のプロセッサ124及び16個のメインメモリ125を実装するためのソケット126a、126b並びにプロセッサ間相互接続用コンポーネント(図示せず)を含まない。マザーボード・コンポーネントは、PCI Expressバス、及びバススイッチユニットを含んでいてよい。
第2の回路基板122は、第1の回路基板121と第2の回路基板122との間を電気的に接続する第1のコネクタ131と、第1の回路基板121の前記一の面とは反対側の面と、当該反対側の面と対向する第2の回路基板122の一の面との隙間により形成されるフローチャネル112とを有する。基板群120は、当該隙間を保持する複数のスペーサ128と、複数のねじ129を有する。複数のねじ129の各々は、第1の回路基板121、第2の回路基板122、及び複数のスペーサ128の各々を貫通し、固定している。
このように構成されている、プロセッサ124及びメインメモリ125が搭載された第1の回路基板121を、第2の回路基板122に取り付け、また、第2の回路基板122から取り外すことができる。これにより、プロセッサ124及びメインメモリ125を含む第1の回路基板121を、マザーボード・コンポーネントを含む第2の回路基板122とは独立して、調整、点検、修理、交換、増設等を行うことができるので、メンテナンス性が格段に向上する。
加えて、マザーボード・コンポーネントを含む第2の回路基板122が、プロセッサ間相互接続用コンポーネントを有している場合には、第1の回路基板121と第2の回路基板122間の通信によって信号品質が劣化し、かつ速度が低下するという問題があったが、本実施形態においては、第1の回路基板121がプロセッサ間相互接続用コンポーネントを有しているので、そのような問題を有効に回避できる。
また、第1の回路基板121と第2の回路基板122間にフローチャネル127を有することにより、当該フローチャネル127を流通する冷却液が、プロセッサが搭載された第1の回路基板121の背面から、熱を速やかにかつ効率よく奪い取るので、冷却効率が向上する。
電子機器100は、金属ボード110の第1の面及び第2の面に、それぞれ1つの基板群120を取り付けたとき、金属ボード110及び2つの基板群120の結合体が、後述する冷却装置の各収納部の内部形状に相似する外形を有するとよい。結合体の外形は、図示のように、例えば、直方体であるとよい。
図示の例において、基板群120の各々は、第3の回路基板123を有し、第3の回路基板123は、4つの第1の回路基板121の各々に対応する4つのネットワークコントローラチップ(図示せず)及び8つのネットワークケーブルソケット136を有する。また、第2の回路基板122と第3の回路基板123との間は、第2のコネクタ132によって電気的に接続されている。
図示の例において、基板群120の各々の上方には、金属ボード110の第1の面、及び第1の面と反対側の第2の面にそれぞれ、2つのスロット134が、金属ボート110に並列に取り付けられている。そして、図3に示すように、4つのスロット134の各々には、電源ユニット135が収納可能なように構成されている。第3の回路基板123は、2つのスペーサ138と、第2の回路基板122とを貫通するねじ139により、金属ボード110に固定されることにより、第3の回路基板123は、該第3の回路基板123と金属ボード110の間に、2つの並列のスロット134を挟むように配置されている。そして、第3の回路基板123の、2つのスロット134の開口側に位置する一辺上には、8つのネットワークケーブルソケット136が並列に設けられている。
なお、各スロットの底部には、電源ユニット135と第2の回路基板122とを電気的に接続する第3のコネクタ133のソケットが設けられている。また、各スロットの底部には、電源ユニット135から、熱を速やかにかつ効率よく奪い取るために、冷却液が流通する3つの底部穴137が形成されている。
このように、4つの第1の回路基板121の各々に対応する4つのネットワークコントローラチップ(図示せず)を有し、かつ8つのネットワークケーブルソケット136が一辺上に並列に設けられている第3の回路基板123と、金属ボード110との組合せにより、当該第3の回路基板123と金属ボード110との間に、ネットワークケーブルソケット136が邪魔にならないような位置に、電源ユニット135用の2つのスロット134を配置することが可能となる。従来、CPUユニットである第1の回路基板121の数が多くなればなるほど、ネットワークケーブルソケットが増えるため、電源ユニット135を2つ以上設置するスペースを確保することが困難であったが、本実施形態の配置関係を採用することにより、かかる問題を解消することができる。つまり、基板群120毎に、電源ユニット135の冗長性を持たせることが可能となる。
次に、図4〜図5を参照して、本発明の他の実施形態に係る電子機器300を説明する。図4は、本発明の他の実施形態に係る電子機器300の斜視図、図5は部分組立図である。電子機器300は、後述する冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であり、冷却装置の複数の収納部の各々に収納可能なように構成されている。
電子機器300は、後述する収納部に設けられた一対のボードリテーナにより保持される金属ボード310と、金属ボード310の第1の面、及び第1の面と反対側の第2の面にそれぞれ配置される複数のHDD(Hard Disk Drive)351を有する。図示の例では、第1の面に6個のHDD351が、第2の面に20個のHDD351が配置されている。また、第2の面には24個のSSD(Solid State Drive)352が配置されている。これらHDD351及びSSD352は、複数のストレージに相当する。
また、電子機器300は、図1〜3に示した電子機器100と同様に、1つ以上の基板群320を有し、基板群320は、第1の回路基板321、第2の回路基板322、第3の回路基板323を含む。第1の回路基板321、第2の回路基板322、第3の回路基板323の構成は、図1〜3に示した電子機器100における第1の回路基板121、第2の回路基板122、第3の回路基板123の構成と同様であり、プロセッサ324、メインメモリ325、ソケット326a、326b、電源ユニット335、及びネットワークケーブルソケット336の構成も同様であるので、ここでの詳しい説明を省略する。
本実施形態において、複数のストレージの高密度実装を実現する上での特徴の1つは、複数のストレージの各々を電気的に接続するための複数のストレージコネクタ360を有する金属ボード310の構成と、金属ボード310の第1の面、及び第1の面と反対側の第2の面に対して直交して取り付けられる、バックプレーン340の構成にあり、当該1つの特徴は図5に示してある。
まず、金属ボード310は、主部材311と、副部材312とを含んでいる。主部材311は、複数のストレージを支持する複数の支持板、すなわちHDD支持板315を、該主部材311に固定するための、幅方向に形成された複数のカット313を有している。他方、副部材312は複数のツメ314を有し、当該ツメ314は、バックプレーン340に形成された複数のスリット341にそれぞれ挿入され、かつ主部材311に固定される。複数の支持板のうち、HDD支持板315、316には、冷却液を通す穴が形成されている。なお、図示の例では、HDD支持板315は4枚あり、5×3=15のHDD351を配置可能である。また、HDD支持板316は3枚あり、3×3=9のHDD351を配置可能である。さらに、HDD支持板317は2枚あり、1×2=2のHDD351を配置可能である。他方、SSD支持板318、319は、これらと図示しない部品との組合せにより、6×4=24のSSD352を配置可能である。
なお、金属ボード310に、複数のストレージ(HDD351、SSD352)、バックプレーン340、基板群320を取り付けたとき、金属ボード310、複数のストレージ、バックプレーン340及び基板群320の結合体が、各収納部の内部形状に相似する外形を有するとよい。結合体の外形は、図4に示すように、直方体であるとよい。
次に、以上説明した本発明の一実施形態に係る電子機器100、他の実施形態に係る電子機器300を冷却液中に浸漬して直接冷却するための液浸冷却装置の好ましい実施の形態を、図面に基づいて詳細に説明する。本実施形態の説明では、電子機器100を合計16ユニット、冷却槽の分割された収納部に収納して冷却する、高密度液浸冷却装置の構成を説明する。なお、これは例示であって、高密度液浸冷却装置における電子機器のユニット数は任意であり、本発明に使用可能な電子機器の構成を何ら限定するものではない。また、後述するように、一種類の電子機器を収納する場合に限らず、例えば、電子機器100と電子機器300を含む種類の異なる複数の電子機器を、冷却槽内の複数の収納部に収納するようにしてよい。
図6〜図11を参照して、一実施形態に係る液浸冷却装置1は冷却槽10を有し、冷却槽10の底壁11及び側壁12によって開放空間10aが形成されている。冷却槽10内に、横方向に内部隔壁13a、13b、13c、13d、13eを設けることにより、開放空間10aが均等に4分割され、配列された4個の収納部14a、14b、14c、14dが形成されている。本実施形態においては、冷却槽10の開放空間10aの縦方向長さの約1/4の幅を有する、縦長の電子機器100を、収納部14a、14b、14c、14dに4ユニットずつ、合計16ユニット、高密度に収納することができる。
冷却槽10の側壁12の外周には、ケーシング12aが設けられている。冷却槽10の正面側の側壁12とケーシング12aとの間にスペースが形成されており、冷却槽10の開放空間10aを閉じるための天板10bを、このスペースに収納することができる。液浸冷却装置1の保守作業時には、天板10bを当該スペース内に収納しておき、液浸冷却装置1の運用時には、このスペースから天板10bを引き出して、冷却槽10の開口部に置くことにより、開放空間10aを閉じることができる。
冷却槽10には、電子機器100の全体を浸漬するのに十分な量の冷却液(図示せず)が液面(図示せず)まで入れられている。冷却液としては、3M社の商品名「フロリナート(3M社の商標、以下同様)FC−72」(沸点56℃)、「フロリナートFC−770」(沸点95℃)、「フロリナートFC−3283」(沸点128℃)、「フロリナートFC−40」(沸点155℃)、「フロリナートFC−43」(沸点174℃)として知られる、完全フッ素化物(パーフルオロカーボン化合物)からなるフッ素系不活性液体を好適に使用することができるが、これらに限定されるものではない。なお、フロリナートFC−40、FC−43は、沸点が150℃よりも高く、極めて蒸発しにくいため、いずれかを冷却液に使用する場合、冷却槽10内における液面の高さが長期間に亘って保たれ、有利である。
冷却槽10の底壁11の下に、冷却液の入口15を両端に有する複数の流入ヘッダ16と、冷却液の出口18を両端に有する複数の流出ヘッダ17が設けられている。これら流入ヘッダ16及び流出ヘッダ17は、冷却槽10の底壁11に対して、横方向に互い違いに配置されている。
内部隔壁13a、13b、13c、13d、13eの各々は、底部開口150を通して底壁11を貫通し、かつ冷却液の液面近傍まで延びる複数の流入管160及び複数の流出管170と、電子機器100が有する金属ボード110の縁部を保持するための複数のボードリテーナ130とを含む。本実施形態においては、底壁11に一端が固定された複数本のボードリテーナ130の左右に、流入管160及び流出管170が、支持スペーサ140を介して互い違いに位置するよう構成されている。収納部14a、14b、14c、14dの各々において、冷却槽10内で縦方向に向かい合う一対のボードリテーナ130に形成された凹部が、電子機器100が有する金属ボード110の縁部を、両側から機械的に保持する。この目的のために、金属ボード110の縁部には、ボードリテーナ130に形成された凹部の幅にフィットするように、棒状のサポートが取り付けられていてよい。
流入管160及び流出管170は、一例として矩形断面を有する。流入管160の各々には、流入管160の長手方向に複数の小孔が、流入開口116として形成されている。同様に、流出管170の各々には、流出管170の長手方向に複数の小孔が、流出開口117として形成されている。なお、これら複数の流入開口116は、流入管160の表面及び裏面の両方に形成してあり、同様に、複数の流出開口117は、流出管170の表面及び裏面の両方に形成してある。
加えて、収納部14a、14b、14c、14dの底部には、底壁11を貫通する別の複数の小孔が、別の流入開口116及び流出開口117として形成されている。また、冷却槽10の側壁12のうち背面側の側壁12の上部には、さらに別の流出開口127が形成されている。この背面側の側壁12に形成された流出開口127は、冷却液の液面近傍に形成される流出開口に相当する。
本実施形態において、液浸冷却装置1の使用時に冷却液がどのように流通するかについて、簡単に説明する。両端の入口15から流入ヘッダ16に供給された、冷えた冷却液の一部は、収納部14a、14b、14c、14dの底部に形成された複数の流入開口116から吐出され、残りの部分は、底部開口150を通って流入管160内に供給される。そして、流入管160内に供給された冷却液は、流入管160に形成された複数の流入開口116から吐出される。
収納部14a、14b、14c、14dに収納された電子機器100から熱を奪って暖められた冷却液は、冷却槽10の背面側の側壁12で、液面近傍に形成された流出開口127を通って、冷却槽10の外に流れる。暖められた冷却液の一部は、収納部14a、14b、14c、14dの底部に形成された複数の流出開口117から流出ヘッダ17内に吸引されると同時に、流出管170に形成された複数の流出開口117と底部開口150を通って流出ヘッダ17内に吸引される。そして、流出ヘッダ17内に吸引された冷却液は、出口18を通って冷却槽10の外に流れる。
冷却液の流入開口116が、各収納部14a、14b、14c、14dの底部又は側面に形成され、流出開口127が、冷却液の液面近傍に形成されることにより、高密度に収納された電子機器100によって暖められた冷却液が、各収納部14a、14b、14c、14d内で滞留するのを防ぎ、冷却効率が向上する。特に、複数本のボードリテーナ130の左右に、流入開口116が形成された流入管160及び流出開口117が形成された流出管170が、支持スペーサ140を介して互い違いに位置する構成は、冷却液の滞留防止作用をさらに高めることができるので、有利である。
次に、冷却槽10内に高密度に収納された縦長の電子機器100を、収納部14a、14b、14c、14dから持ち上げ、及び収納部14a、14b、14c、14dに降ろすための吊り上げ機構について、図面を参照して詳細に説明する。
吊り上げ機構20は、電子機器100を収納部14a、14b、14c、14dから持ち上げ、及び収納部14a、14b、14c、14d内に降ろすためのアーム22を有する。また、吊り上げ機構20は、アーム22を上昇及び下降させるためのガイド218及び駆動源213を備えたタワー21と、冷却槽10に取り付けられたスライド機構23であって、タワー21を、冷却槽10に対して、開放空間10a上に位置する水平面上で移動可能に支持するスライド機構23とを含む。スライド機構23が冷却槽10に直接取り付けられるので、冷却槽10の設置面の周囲に足場を必要としない。また、タワー21が備えるガイド218及び駆動源213によって、アーム22が上昇及び下降するので、昇降操作中にアームが前後左右に振動するようなことがなく、冷却槽内に高密度に収納されている電子機器を安全に吊り上げ又は吊り下げることができる。
本実施形態において、タワー21は、サーボモータ等の駆動源213の軸が回転する速度を減速させる減速機214と、減速機214の軸の回転運動を、減速機214の軸と直交する軸の回転運動に変換するためのギア215と、一対のタイミングプーリ216と、タイミングベルト217とを含む。アーム22のブラケット222の一方が、垂直方向(Z方向)に設置されたガイド218に、ガイドローラ219を介して、移動可能に支持されている。また、アーム22のブラケット222の他方が、ベルトホルダ220によってタイミングベルト217に固定されている。なお、ギア215の軸及びタイミングプーリ216の軸は、ベアリングホルダ223によって回転自在に保持されている。
本実施形態において、スライド機構23は、冷却槽10の幅方向に位置する一対の側壁12の上端に設けられた、一対の縦方向レール24と、一対の縦方向レール24上で、移動可能に支持された可動ベース25と、可動ベース25上に設けられた、一対の横方向レール26とを含み、タワー21は、一対の横方向レール26上で移動可能に支持されている。具体的には、可動ベース25の下部に取り付けられた複数のガイドローラ251が、一対の縦方向レール24上をスライドすることにより、タワー21を縦方向(Y方向)に移動させることができる。また、タワー21の底部の固定ベース211に取り付けられた複数のガイドローラ251が、一対の横方向レール26上をスライドすることにより、タワー21を横方向(X方向)に移動させることができる。
図示の例では、一対の縦方向レール24を冷却槽10の側壁12の上端に設置するための、一対のサポート28が使用されている。サポート28は、サポート28の一端が、タワー21の縦方向長さに実質的に等しい長さだけ、冷却槽10の後方にはみ出して位置するように、側壁12の上端に固定されている。このはみ出した一対のサポート28上にも一対の縦方向レール24が置かれる。これにより、一対の縦方向レール24は、可動ベース25を冷却槽10の開放空間10a上から外れた後方に位置させるための走行域を有する。冷却槽10の裏面側の側壁12に最も近い収納部14aから電子機器100を持ち上げ、及び収納部14a内に下ろすことができるようにするためである。また、一対のサポート28及び一対の縦方向レール24は、天板10bが冷却槽10の開口部に置かれたときに、天板10bの幅の外に位置するように設置されている。天板10bにより開放空間10aを閉じるときに、これらサポート28及び縦方向レール24が障害とならないようにするためである。
一対の縦方向レール24の両端近傍に設けられたストッパ27は、開放空間10a上に位置する水平面上で、タワー21が冷却槽10の縦方向(Y方向)で移動する範囲を規制するためのものである。特に、一対の横方向レール26の両端近傍に設けられたストッパ27は、タワー21が冷却槽10の幅方向(X方向)で移動する範囲が、少なくとも開放空間10aの幅を実質的に超えないように、タワー21の移動を規制するためのものである。これにより、タワー21が冷却槽10の幅方向で移動するときに、タワー21の固定ベース211又はハウジング212が、冷却槽10の幅を超えてはみ出すことを防止することができ、複数の液浸冷却装置を密に配置することによっても、隣り合う液浸冷却装置の吊り上げ機構の動作範囲が互いに影響を受けないようにすることができる。
以上のように構成された吊り上げ機構20の動作について説明する。タワー21の脇に取り付けられたハンドルを持って、タワー21を水平移動させ、アーム22が、吊り上げ対象とする電子機器100が有する金属ボード110の直上に位置するところで停止させる。コントローラ(図示せず)を操作してタワー21の駆動源213を駆動し、駆動源213の軸の回転を、ギア215を介してタイミングプーリ216に伝達し、アーム22を最下部まで下降させる。この状態で、アーム22の下部に取り付けられた一対の吊り金具221の先端を、電子機器100が有する金属ボード110の上端に形成された一対の孔に連結する。次に、コントローラ(図示せず)を操作して、タワー21の駆動源213の軸の、逆方向の回転を、タイミングプーリ216に伝達し、アーム22を上昇させる。電子機器100は、吊り金具221によってアーム22に吊り下げられた状態で、金属ボード110がボードリテーナ130内でスライドするように持ち上げられる。アーム22を最上部まで上昇させたとき、電子機器100が収納部14a、14b、14c、14dのボードリテーナ130から完全に抜け出した状態で、吊り下げられた状態となる。この状態で、必要であればタワー21を水平移動させて、電子機器100の保守作業を行うことができる。保守作業を終了したら、再びコントローラ(図示せず)を操作して、電子機器100を収納部14a、14b、14c、14d内に降ろし、元の位置に戻すことができる。
一方、コントローラ(図示せず)を操作して、アーム22を上昇又は下降させている途中で、タワー21の駆動源213の駆動を停止させることにより、タワー21の垂直方向における任意の高さで、アーム22を静止させることもできる。このとき、電子機器100が収納部14a、14b、14c、14dのボードリテーナ130から完全に抜け出さずに保持された状態で、所望の高さまで吊り下げられた状態となる。この状態で、電子機器100の保守作業を行うこともできる。減速機214は、このタワー21の垂直方向における任意の高さでのアームの静止状態を含む電子機器100の吊り下げ状態おいて、アーム22に加わる下方向の荷重が、タイミングプーリ216及び駆動源213の軸に意図しない回転をさせるのを防ぐのに役立つ。
上記の一実施形態において、単一の冷却槽を有する例を説明したが、横方向に配置された複数の隣接する冷却槽を有してよい。この場合、少なくとも1つの吊り上げ機構が、複数の隣接する冷却槽において共通に使用されてよい。具体的には、少なくとも1つの吊り上げ機構は、アームを上昇及び下降させるためのガイド及び駆動源を備えたタワーと、隣接する冷却槽に取り付けられたスライド機構であって、タワーを、隣接する冷却槽に対して、開放空間上に位置する水平面上で移動可能に支持するスライド機構と、タワーが隣接する冷却槽の幅方向で移動する範囲が、隣接する冷却槽の隣接する開放空間を形成する複数の側壁のうち、横方向に互いに最も離れた側壁間の距離を実質的に超えないように、タワーの移動を規制するストッパとを含んでよい。
横方向に配置された複数の隣接する冷却槽を有する場合、スライド機構が、各冷却槽の幅方向に位置する一対の側壁の上端に設けられた、一対の縦方向レールと、一対の縦方向レール上で移動可能に支持された可動ベースと、可動ベース上に設けられた、一対の横方向レールとを含み、タワーが、一対の横方向レール上で移動可能に支持されているとよい。可動ベースの幅は、1つの冷却槽の幅と実質的に同じ幅か、複数の隣接する冷却槽に亘る幅のいずれでもよい。可動ベースが1つの冷却槽の幅と実質的に同じ幅を有する場合、隣接する冷却槽のうちの一方の冷却槽における一対の横方向レールと、他方の冷却槽における一対の横方向レールとを、適切な連結手段により連結可能に構成することができる。これにより、一方の一対の横方向レール上にあるタワーを、他方の一対の横方向レール上に移動させることができ、複数の隣接する冷却槽間で、1つのタワーを共用することができる。可動ベースの幅が複数の隣接する冷却槽に亘る幅を有する場合、一対の横方向レールの長さを、複数の隣接する冷却槽に亘る幅とできるので、上記のような一対の横方向レールを連結するための連結手段は不要である。
上記の一実施形態において、水平面上でのタワー21の移動を人力で行う例を説明したが、縦方向レール24上で可動ベース25を走行させるための別の駆動源と、横方向レール26上で固定ベース211を含むタワー21を走行させるためのもう1つ別の駆動源とを、吊り上げ機構に追加することにより、コントローラ(図示せず)を操作してタワー21の移動を行うようにしてもよい。これら別の駆動源として、例えばサーボモータ等の電動式の駆動源を使用してよい。
電動式の駆動源を付加して水平面上でのタワー21の移動を行えるようにする場合、上記の一実施形態におけるタワー21の移動を規制するストッパは、図示のような、タワー21の移動を物理的に阻止するための機械式のストッパ27から、ソフトウェアによる移動規制機構に代替してよい。従って、本明細書においてストッパとは、機械式のストッパとソフトウェアによる移動規制機構の両方を含むものとする。
上記の一実施形態に係る液浸冷却装置によれば、冷却槽の設置面の周囲に足場が不要でありながら、冷却槽内に高密度に収納されている電子機器を安全に吊り上げ又は吊り下げることができる。加えて、複数の液浸冷却装置を密に配置することによっても、隣り合う液浸冷却装置の吊り上げ機構の動作範囲が互いに影響を受けないようにすることができる。
本実施形態においては、既に述べたように、一種類の電子機器を収納する場合に限らず、例えば、電子機器100と電子機器300を含む種類の異なる複数の電子機器を、冷却槽内の複数の収納部に収納するようにしてよい。換言すれば、複数のプロセッサによる演算を主体とする1つ以上の第1の電子機器と、複数のストレージによる記憶を主体とする1つ以上の第2の電子機器を含む、種類の異なる複数の電子機器を含み、1つ以上の任意の数の第1の電子機器と、1つ以上の任意の数の第2の電子機器を、冷却装置の複数の収納部に別々に収納し、所望の計算容量及び所望の記憶容量を有するコンピュータを構成している、冷却システムとしてよい。図12の模式図に示すように、冷却システム2は、液浸冷却装置1が有する16カ所ある収納部のうち、(a)では、3カ所の収納部に、2つの電子機器100と1つの電子機器300を収納してコンピュータを構成している。(b)では、9カ所の収納部に、6つの電子機器100と3つの電子機器300を収納してコンピュータを構成している。電子機器100は、複数のプロセッサによる演算を主体とする第1の電子機器に、電子機器300は、複数のストレージによる記憶を主体とする第2の電子機器に、それぞれ相当する。
このように、第1の電子機器と第2の電子機器を適宜組み合わせて、所望の計算容量及び所望の記憶容量を有するコンピュータを構成できることから、機器構成可能な(Configurable)冷却システムを提供することができる。
本発明は、超高密度に実装された液浸冷却用の電子機器に、また、当該電子機器を冷却液に浸漬して効率よく冷却する、液浸冷却システムに広く適用することができる。
1 液浸冷却装置
2 冷却システム
10 冷却槽
10a 開放空間
10b 天板
11 底壁
12 側壁
12a ケーシング
100、300 電子機器
110、310 金属ボード
111 吊り金具穴
112 フローチャネル
120、320 基板群
121、321 第1の回路基板
122、322 第2の回路基板
123、323 第3の回路基板
124、324 プロセッサ
125、325 メインメモリ
126a、126b、326a、326b ソケット
128、138 スペーサ
129、139 ねじ
130 ボードリテーナ
131 第1のコネクタ
132 第2のコネクタ
133 第3のコネクタ
134 スロット
135、335 電源ユニット
136、336 ネットワークケーブルソケット
137 底部穴
140 支持スペーサ
13a、13b、13c、13d、13e 内部隔壁
14a、14b、14c、14d 収納部
15 入口
150 底部開口
16 流入ヘッダ
116 流入開口
160 流入管
17 流出ヘッダ
117、127 流出開口
170 流出管
18 出口
20 吊り上げ機構
21 タワー
211 固定ベース
212 ハウジング
213 駆動源
214 減速機
215 ギア
216 タイミングプーリ
217 タイミングベルト
218 ガイド
219 ガイドローラ
220 ベルトホルダ
22 アーム
221 吊り金具
222 ブラケット
223 ベアリングホルダ
23 スライド機構
24 縦方向レール(Y方向)
25 可動ベース
251 ガイドローラ
26 横方向レール(X方向)
27 ストッパ
28 サポート
311 主部材
312 副部材
313 カット
314 ツメ
315、316、317 HDD支持板
318、319 SSD支持板
340 バックプレーン
341 スリット
351 HDD
352 SSD
360 ストレージコネクタ

Claims (9)

  1. 冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であって、
    前記電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、
    前記電子機器は、
    前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
    前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ配置される複数のストレージと、
    前記複数のストレージの各々を電気的に接続するための複数のコネクタを有し、前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面に対して直交して取り付けられる、バックプレーンと、
    を含み、
    前記金属ボードは、主部材と、副部材とを含み、
    前記主部材は、前記複数のストレージを支持する複数の支持板を、該主部材に固定するための、幅方向に形成された複数のカットを有し、
    前記副部材は、前記バックプレーンに形成された複数のスリットにそれぞれ挿入され、かつ前記主部材に固定される複数のツメを有し、
    前記複数の支持板には、冷却液を通す穴が形成されている、
    電子機器。
  2. 冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であって、
    前記電子機器は、冷却装置の複数の収納部の各々に収納可能なように構成され、前記冷却装置は、底壁及び側壁によって形成される開放空間を有する冷却槽と、前記冷却槽内に複数の内部隔壁を設けることにより前記開放空間を分割して形成される、配列された前記複数の収納部と、冷却液の流入開口及び流出開口とを有し、前記流入開口は、各収納部の底部又は側面に形成され、前記流出開口は、各収納部を流通する前記冷却液の液面近傍に形成されており、
    前記電子機器は、
    前記収納部に設けられた一対のボードリテーナにより保持される金属ボードと、
    前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面にそれぞれ配置される複数のストレージと、
    前記複数のストレージの各々を電気的に接続するための複数のコネクタを有し、前記金属ボードの第1の面、及び前記第1の面と反対側の第2の面に対して直交して取り付けられる、バックプレーンと、
    を含み、
    前記金属ボードは、主部材と、副部材とを含み、
    前記主部材は、前記複数のストレージを支持する複数の支持板を、該主部材に固定するための、幅方向に形成された複数のカットを有し、
    前記副部材は、前記バックプレーンに形成された複数のスリットにそれぞれ挿入され、かつ前記主部材に固定される複数のツメを有し、
    前記複数の支持板には、冷却液を通す穴が形成されている、
    電子機器。
  3. 前記電子機器は、さらに、
    前記金属ボードの前記第1の面及び前記第2の面の少なくとも一つの面に取り付けられる、1つ以上の基板群、
    を含み、
    前記1つ以上の基板群は、
    1つ以上の第1の回路基板であって、第1の回路基板の各々は、複数のプロセッサ及びメインメモリを基板の一の面に実装するための複数のソケットと、前記複数のプロセッサ間を相互接続するコンポーネントとを有する、第1の回路基板と、
    マザーボード・コンポーネントを有する第2の回路基板であって、前記マザーボード・コンポーネントは、少なくとも前記メインメモリを制御するためのチップセットを含むが、前記複数のプロセッサ及び前記メインメモリ実装用の複数のソケット並びに前記プロセッサ間相互接続用コンポーネントを含まない、第2の回路基板と、
    前記1つ以上の第1の回路基板と前記第2の回路基板との間を電気的に接続するコネクタと、
    前記1つ以上の第1の回路基板の前記一の面とは反対側の面と、前記反対側の面と対向する前記第2の回路基板の一の面との隙間により形成されるフローチャネルと、
    を有する、請求項1又は2に記載の電子機器。
  4. 前記隙間を保持する複数のスペーサと、複数のねじをさらに有し、
    前記複数のねじの各々は、前記第1の回路基板、前記第2の回路基板、及び前記複数のスペーサの各々を貫通し、固定する、請求項3に記載の電子機器。
  5. 前記電子機器は、さらに、
    前記1つ以上の基板群の上方に設けられ、かつ前記金属ボードに並列に取り付けられる複数のスロットであって、該複数のスロットの各々に電源ユニットが収納される、複数のスロット
    を含み、
    前記1つ以上の基板群は、さらに、
    前記複数の第1の回路基板の各々に対応する複数のネットワークコントローラチップ及び複数のネットワークケーブルソケットを有する、第3の回路基板
    を有し、
    前記第3の回路基板は、該第3の回路基板と前記金属ボードの間に前記複数のスロットを挟むように配置され、かつ、前記第3の回路基板の、前記複数のスロットの開口側に位置する一辺上には、前記複数のネットワークケーブルソケットが並列に設けられている、請求項3に記載の電子機器。
  6. 前記電子機器は、前記金属ボードに、前記複数のストレージ及び前記バックプレーンを取り付けたとき、前記金属ボード、前記複数のストレージ、及び前記バックプレーンの結合体が、各収納部の内部形状に相似する外形を有する、請求項1又は2に記載の電子機器。
  7. 前記結合体の外形は、直方体である、請求項6に記載の電子機器。
  8. 前記電子機器は、前記金属ボードに、前記複数のストレージ、前記バックプレーン、前記1つ以上の基板群を取り付けたとき、前記金属ボード、前記複数のストレージ、前記バックプレーン及び前記1つ以上の基板群の結合体が、各収納部の内部形状に相似する外形を有する、請求項3に記載の電子機器。
  9. 前記結合体の外形は、直方体である、請求項8に記載の電子機器。
JP2016546558A 2015-11-16 2015-11-16 液浸冷却用電子機器、及びそれを用いた冷却システム Expired - Fee Related JP6042588B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/082168 WO2017085774A1 (ja) 2015-11-16 2015-11-16 液浸冷却用電子機器、及びそれを用いた冷却システム

Publications (2)

Publication Number Publication Date
JP6042588B1 true JP6042588B1 (ja) 2016-12-14
JPWO2017085774A1 JPWO2017085774A1 (ja) 2017-11-24

Family

ID=57543804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016546558A Expired - Fee Related JP6042588B1 (ja) 2015-11-16 2015-11-16 液浸冷却用電子機器、及びそれを用いた冷却システム

Country Status (5)

Country Link
US (1) US10420251B2 (ja)
EP (1) EP3379376B1 (ja)
JP (1) JP6042588B1 (ja)
CN (1) CN108351673B (ja)
WO (1) WO2017085774A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6042587B1 (ja) * 2015-11-16 2016-12-14 株式会社ExaScaler 液浸冷却用電子機器、及びそれを用いた冷却システム
CN111669935B (zh) * 2019-03-08 2023-01-06 富联精密电子(天津)有限公司 冷却装置及应用所述冷却装置的电子装置冷却系统
CN109874263B (zh) * 2019-04-19 2024-03-01 环鸿电子(昆山)有限公司 触发式柔性线路板包装结构
GB202001872D0 (en) * 2020-02-11 2020-03-25 Iceotope Group Ltd Housing for immersive liquid cooling of multiple electronic devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009537905A (ja) * 2006-05-16 2009-10-29 ハードコア コンピューター、インク. 液体浸漬冷却システム
JP2011518395A (ja) * 2008-04-21 2011-06-23 ハードコア コンピューター、インク. 配列接続された電子装置の液体浸漬冷却用ケース及びラックシステム
US20140301037A1 (en) * 2013-04-04 2014-10-09 Green Revolution Cooling, Inc. Liquid coolant-submersible node

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5236838B2 (ja) * 2010-10-27 2013-07-17 本田技研工業株式会社 冷却構造体
CN102543916B (zh) * 2010-12-20 2016-06-01 中山市云创知识产权服务有限公司 液冷散热装置
US9921622B2 (en) * 2013-02-01 2018-03-20 Dell Products, L.P. Stand alone immersion tank data center with contained cooling
US9351429B2 (en) * 2013-02-01 2016-05-24 Dell Products, L.P. Scalable, multi-vessel distribution system for liquid level control within immersion cooling tanks
CN103593018A (zh) * 2013-11-13 2014-02-19 曙光信息产业(北京)有限公司 用于服务器系统的电气转接装置和服务器
US20170295676A1 (en) * 2014-09-29 2017-10-12 Hewlett Packard Enterprise Development Lp Immersion cooled top-loading computing cartridges
CN104822242B (zh) * 2015-04-08 2018-01-16 华为技术有限公司 一种液体冷却设备控制系统、方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009537905A (ja) * 2006-05-16 2009-10-29 ハードコア コンピューター、インク. 液体浸漬冷却システム
JP2011518395A (ja) * 2008-04-21 2011-06-23 ハードコア コンピューター、インク. 配列接続された電子装置の液体浸漬冷却用ケース及びラックシステム
US20140301037A1 (en) * 2013-04-04 2014-10-09 Green Revolution Cooling, Inc. Liquid coolant-submersible node

Also Published As

Publication number Publication date
JPWO2017085774A1 (ja) 2017-11-24
US10420251B2 (en) 2019-09-17
CN108351673B (zh) 2021-08-17
EP3379376A1 (en) 2018-09-26
CN108351673A (zh) 2018-07-31
US20180376615A1 (en) 2018-12-27
WO2017085774A1 (ja) 2017-05-26
EP3379376B1 (en) 2020-09-30
EP3379376A4 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
JP6042589B1 (ja) 液浸冷却用電子機器、及びそれを用いた冷却システム
JP6042587B1 (ja) 液浸冷却用電子機器、及びそれを用いた冷却システム
JP5956100B1 (ja) 液浸冷却装置
JP6442066B2 (ja) 液浸冷却用電子機器
JP6042588B1 (ja) 液浸冷却用電子機器、及びそれを用いた冷却システム
JP6244067B1 (ja) 液浸冷却用電子機器
JP6523470B6 (ja) 液浸冷却用電子機器
JP6523469B6 (ja) 液浸冷却用電子機器
JP6042590B1 (ja) 液浸冷却用電子機器、及びそれを用いた冷却システム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161109

R150 Certificate of patent or registration of utility model

Ref document number: 6042588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees