JP6438068B2 - 装置冷却システム - Google Patents

Description

本発明は、装置冷却システムに関する。

データセンタ等には、収納されたＩＣＴ装置（情報通信装置）を冷却する空調機が設けられている。空調機は、ＩＣＴ装置が収納されたラックの近傍まで冷気を送風しており、ＩＣＴ装置がその冷気を内部に取り込むことにより冷却されている。ＩＣＴ装置内には、ＣＰＵ（中央演算ユニット）や、電源トランス等の機器が収納されているのが一般的である。収納された機器から発生した熱は、直接または放熱フィン等を介して上述の冷気に放熱されている（以下、「空冷方式」と表記する。）。

近年ではＩＣＴ装置の高密度化が図られており、各機器から発生する熱量は増加する傾向にある。ＩＣＴ装置を安定して稼働させるためには、各機器を所定の温度に保つ必要がある。そのため発熱量が増加すると、発生した熱を奪いＩＣＴ装置の外側に運びだす冷気の風量を増加させる必要がある。しかしながら空気を介した放熱方法では、空気の熱伝達率などの物性により限界があることが知られていた。

これに対応する技術として、ＩＣＴ装置に収納されたＣＰＵ等の機器を、循環する水または冷媒で直接冷却する技術（以下、「液冷方式」と表記する。）が提案されている（例えば、特許文献１および２参照。）。液冷方式は空気よりも熱伝達率が高いため、空冷方式よりも放熱量を増やしやすい。さらに液冷方式は、空気を介さずに熱をＩＣＴ装置の外へ直接搬送できる点、冷媒の温度を高く設定できるため外気冷熱の利用が簡易になる点、および、機器から吸収して回収した熱を他の設備や空間で利用できる点といった利点を有しており、空冷方式よりも省エネルギー性が高いという特徴がある。

その一方、空冷式の冷却装置では、複数のＩＣＴ装置が配置された冷却対象のエリアに対して複数の空調機が設置され、上述のエリアを分割した複数ゾーンのそれぞれに所定の空調機が割り当てられる技術が知られている。この場合に、複数のＩＣＴ装置におけるデータ処理負荷情報を取得し、ＩＣＴ装置へのデータ処理分配制御と空調機における冷却能力制御とを連係させて、冷却の省エネルギー化を図る技術も提案されている（例えば、特許文献３から７参照。）。

特開２０１３−００３６３６号公報 特開２０１３−００８８８８号公報 特開２０１０−００２１４８号公報 特開２０１０−１３３６２５号公報 特開２０１０−１３３６２６号公報 特開２０１２−１０４５７６号公報 特開２０１２−１９３８７７号公報

上述の特許文献１および２に記載された液冷方式の技術では、空冷方式と比較して高温障害が発生する可能性が高いという問題があった。液冷方式では、ＣＰＵ等の熱を発生する機器と直接に接触して冷却する構成が一般的となる。この場合、予備の冷却系統を当該
機器に直接に接触させることは、ＩＣＴ装置内の空間的な余裕が少ない等の理由により難しい。そのためＩＣＴ装置の冷却装置が故障した際にＩＣＴ装置の冷却を行う予備の冷却装置を配置しにくく、ＩＣＴ装置に高温障害が発生するリスクを抱えることとなる。

これに対して、空冷方式の場合にはフロアの空気を冷却し、冷却した空気をＩＣＴ装置に取り込ませることにより冷却を行っているため、予備の冷却装置を配置する空間を確保しやすい。そのため、通常時に用いられる冷却装置が故障した場合であっても、予備の冷却装置を用いてＩＣＴ装置の冷却を継続しやすく、高温障害が発生するリスクを排除しやすい。

その他に、ＩＣＴ装置に用いられる機器としては電子・電気機器が多く、水や冷媒などの液体との接触を避けた方が好ましいものが含まれている。そのため、液冷方式の冷却装置のみでＩＣＴ装置を冷却することは難しいという問題もあった。

本発明は、上記の課題を解決するためになされたものであって、温度調整の信頼性を確保するとともに、消費電力の削減を図ることができる装置冷却システムを提供することを目的とする。

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明の装置冷却システムは、所定区画内に配置された複数の演算装置と熱的に接触する液体冷媒を循環させ、前記演算装置を冷却する複数の液冷式冷却部と、前記演算装置の雰囲気であり、前記演算装置の内部に導入され前記演算装置の冷却に用いられる前記所定区画内の空気を冷却する空冷式冷却部と、前記液冷式冷却部および前記空冷式冷却部の冷却能力を制御する冷却制御部と、前記液冷式冷却部における冷却能力の余裕度である液冷余裕度を少なくとも検知する検知部と、前記液冷余裕度がワーニング閾値以上である前記液冷式冷却部が存在する場合には、他の液冷式冷却部と比較して前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置で行われる演算量を増やす制御を行う連係処理部と、が設けられていることを特徴とする。

本発明の装置冷却システムによれば、冷却能力に余裕があり、かつ、その余裕度（液冷余裕度）が所定の閾値であるワーニング閾値以上である液冷式冷却部であって、液冷余裕度が大きな液冷式冷却部により冷却される演算装置で行われる演算量を増やすことにより、温度調整の信頼性を確保するとともに、消費電力の削減を図ることができる。

つまり、演算量を増やす演算装置を、液冷余裕度が比較的小さな液冷式冷却部により冷却される演算装置とする場合と比較して、液冷余裕度が比較的大きな液冷式冷却部により冷却される演算装置とすることにより、演算装置で発生する熱量が増加しても冷却能力の余裕が大きい分だけ温度調整を行いやすい。言い換えると、温度調整の信頼性を確保しやすい。

演算量を増やす演算装置として、空冷式冷却部により冷却される演算装置を選択する場合と比較して、液冷式冷却部により冷却される演算装置を選択することにより、消費される電力の削減が図りやすくなる。

上記発明において前記連係処理部は、前記複数の演算装置で行われる演算量が増加した場合、前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置に増加した分の演算量を配分することが好ましい。

このように複数の演算装置の全体で行われる演算量が増加した場合に、その増加分を液
冷余裕度が大きな液冷式冷却部により冷却される演算装置を選択することにより、温度調整の信頼性を確保するとともに、消費電力の削減を図ることができる。

上記発明において前記連係処理部は、前記増加した分の演算量が配分された後の前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置に係る前記液冷式冷却部の前記液冷余裕度を推定し、推定した液冷余裕度である推定余裕度が前記ワーニング閾値以上である場合には、前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置に前記増加した分の演算量の配分を行うことが好ましい。

このように演算量の増加分を分配する演算装置を選択する際に、分配後の液冷余裕度を推定し、推定した液冷余裕度がワーニング閾値以上である場合にのみ当該演算装置での演算量を増加させることにより、温度調整の信頼性を確保することができる。つまり、演算量の増加分を分配した結果、その演算装置に係る液冷余裕度がワーニング閾値未満となり、言い換えると冷却能力の余裕がなくなり、温度が上昇するという不具合の発生を未然に抑制することができる。

上記発明において前記連係処理部は、前記液冷余裕度が前記ワーニング閾値未満、または、前記推定した液冷余裕度が前記ワーニング閾値未満である場合には、前記空冷式冷却部により冷却される前記演算装置に前記増加した分の演算量を配分し、前記増加した分の演算量の配分に応じて、前記空冷式冷却部の冷却能力を増加する制御を行うことが好ましい。

このように液冷式冷却部における液冷余裕度または推定された液冷余裕度がワーニング閾値未満である場合には、空冷式冷却部により冷却される演算装置へ演算量の増加分を分配することにより、温度調整の信頼性を確保することができる。一般的に、液冷式冷却部は、空冷式冷却部と比較して冷却能力を超える熱量への対処が難しい。そのため、液冷式冷却部の冷却能力と同等またはそれを超える熱負荷が加えられる場合には、空冷式冷却部により冷却される演算装置へ演算量の増加分を分配することにより、温度の上昇を抑制しやすくなる。

上記発明において前記検知部は、前記液冷式冷却部から不具合発生時に発報される警報を検知し、前記連係処理部は、前記警報が検知された場合、前記警報に係る前記液冷式冷却部により冷却される前記演算装置から、前記警報に係る前記液冷式冷却部とは別の前記液冷式冷却部の中から前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置、または、前記空冷式冷却部により冷却される前記演算装置へ演算量を配分する制御を行うことが好ましい。

このように液冷式冷却部に不具合が発生した場合には、不具合に係る演算装置で行われていた演算を、液冷余裕度の大きな液冷式冷却部により冷却される演算装置、または、空冷式冷却部により冷却される演算装置へ分配することにより、高温障害の発生を抑制することができる。

上記発明において前記液冷式冷却部から不具合発生時に発報される警報が入力されると、警報を報知する報知部が更に設けられていることが好ましい。
このように報知部を設けることにより、装置冷却システムの運用者に液冷式冷却部に不具合が発生したことを知らせることができ、当該不具合を早期に解消することができる。その結果、他の液冷式冷却部や空冷式冷却部への負担が増加することを抑制でき、温度調整の信頼性を確保することができる。

上記発明において前記検知部には、前記液体冷媒を循環させる循環ポンプの駆動周波数
を測定する周波数測定部が含まれ、前記液冷余裕度は、少なくとも前記循環ポンプの駆動周波数に基づいて求められることが好ましい。

このように循環ポンプの駆動周波数に基づいて液冷余裕度を求めることにより、求められる液冷余裕度の精度を高めることができる。そのため、液冷余裕度に基づいて行われる演算量の増加分の分配がより適切に行われ、温度調整の信頼性を確保することができる。

上記発明において前記検知部には、前記演算装置における前記液体冷媒と熱的に接触する表面の温度である冷却対象表面温度を測定する表面温度センサが、さらに含まれ、前記液冷余裕度は、少なくとも前記冷却対象表面温度、前記循環ポンプの駆動周波数に基づいて求められることが好ましい。

このように冷却対象表面温度、および、循環ポンプの駆動周波数に基づいて液冷余裕度を求めることにより、求められる液冷余裕度の精度を高めることができる。そのため、液冷余裕度に基づいて行われる演算量の増加分の分配がより適切に行われ、温度調整の信頼性を確保することができる。

上記発明において前記検知部には、前記液体冷媒の温度、または、前記演算装置と熱的に接触する前後の前記液知冷媒の温度差である冷媒往還温度差を測定する冷媒温度センサが含まれ、前記液冷余裕度は、少なくとも前記液体冷媒の温度、または、前記冷媒往還温度差に基づいて求められることが好ましい。

このように液体冷媒の温度、または、冷媒往還温度差に基づいて液冷余裕度を求めることにより、求められる液冷余裕度の精度を高めることができる。そのため、液冷余裕度に基づいて行われる演算量の増加分の分配がより適切に行われ、温度調整の信頼性を確保することができる。

上記発明において前記液冷余裕度は、少なくとも前記液体冷媒の温度、前記循環ポンプの駆動周波数、および、前記液体冷媒の比熱に基づいて算出された前記液冷式冷却部の冷却能力に基づいて求められることが好ましい。

このように少なくとも液体冷媒の温度、循環ポンプの駆動周波数（言い換えると液体冷媒の流量）、および、液体冷媒の比熱に基づいて算出された前記液冷式冷却部の冷却能力に基づいて液冷余裕度を求めることにより、求められる液冷余裕度の精度を高めることができる。そのため、液冷余裕度に基づいて行われる演算量の増加分の分配がより適切に行われ、温度調整の信頼性を確保することができる。

本発明の装置冷却システムによれば、冷却能力に余裕があり、かつ、液冷余裕度がワーニング閾値以上である液冷式冷却部であって、液冷余裕度が大きな演算装置で行われる演算量を増やす制御を行うため、温度調整の信頼性を確保するとともに、消費電力の削減を図ることができるという効果を奏する。

本発明の一実施形態に係る装置冷却システムの構成を示す摸式図である。 図１のコントロール部を説明するブロック図である。 データ処理量が増加した場合の制御を説明するフローチャートである。 液冷余裕度が減少した場合の制御を説明するフローチャートである。

この発明の一実施形態に係る装置冷却システムについて、図１から図４を参照しながら説明する。
本実施形態では、データセンタの空調に本発明に係る装置冷却システム１を用いた例に適用して説明する。図１に示すように、データセンタにはＩＴ（情報技術）装置やＩＣＴ（情報通信技術）装置を構成する多数のサーバやコンピュータなどの演算装置６０Ｌおよび演算装置６０Ａが、フロア（所定区画）Ｆ内にコールドアイルＣおよびホットアイルＨを形成するように配置されたラック６５Ｌ，ラック６５Ａに収納されている。なお、ラック６５Ｌは演算装置Ｌを収納するものであり、ラック６５Ａは演算装置６０Ａを収納するものである。装置冷却システム１は、これらの演算装置６０Ｌおよび演算装置６０Ａから発生する大量の熱を処理するために用いられる。

装置冷却システム１には、演算装置６０Ｌを冷却する液冷式冷却装置（液冷式冷却部）１０と、演算装置６０Ｌおよび演算装置６０Ａを冷却する空冷式冷却装置（空冷式冷却部）３０と、演算装置６０Ｌ，６０Ａ、液冷式冷却装置１０および空冷式冷却装置３０を制御するコントロール部（冷却制御部、連係処理部）４０と、が主に設けられている。

液冷式冷却装置１０は、液体冷媒を循環させて演算装置６０Ｌを冷却するものである。液冷式冷却装置１０には、ラック６５Ｌのそれぞれに配置されて液体冷媒が循環する複数のラック側循環系統１１と、フロアＦの外側に配置され演算装置６０Ｌを冷却する冷熱を発生させる冷却部２１と、複数のラック側循環系統１１および冷却部２１との間を熱的につなぎ、液体冷媒が循環する主循環系統２２と、が主に設けられている。

ラック側循環系統１１は、ラック６５ＬにおけるホットアイルＨ側の面に配置されている。ラック側循環系統１１には、演算装置６０ＬにおけるＣＰＵ（中央演算ユニット）などの熱を発生する電子部品と伝熱可能に接触する部分であり、ＣＰＵ等の熱を循環する冷媒に吸熱させる吸熱部１２と、主循環系統２２を循環する冷媒との間で熱交換を行う熱交換部１３と、冷媒を循環させる循環ポンプ１４と、が主に設けられている。

主循環系統２２はラック側循環系統１１の熱交換部１３と、冷却部２１との間で冷媒が循環する流路と、冷媒を循環させる主ポンプ２３と、冷却部２１において冷媒の熱を放出する放熱部２４と、が主に設けられている。本実施形態では、主循環系統２２がラック６５Ｌの上側に配置され、同じくラック６５Ｌの上端に配置された熱交換部１３において、それぞれの冷媒との間で熱交換が行われる構成に適用して説明する。なお、主循環系統２２は、ラック６５Ｌの上側に配置されていてもよいし、ラック６５Ｌの下側に配置されていてもよく、その配置位置を特に限定するものではない。

冷却部２１としては冷熱を発生させるもの、言い換えると、主循環系統２２およびラック側循環系統１１を介して運ばれてきたＣＰＵ等の熱を外部へ放出するものである。そのため、冷却部２１の内部には冷凍サイクルを実現する機器が配置されていてもよいし、単に外気を放熱部２４に送る送風手段が設けられたものであってもよく、特にその構成を限定するものではない。

空冷式冷却装置３０はフロアＦの室内空気を冷却し、冷却された室内空気を介して演算装置６０Ｌおよび演算装置６０Ａを冷却するものである。空冷式冷却装置３０には、冷凍サイクルを構成するフロアＦ内に配置されたＡＨＵ（エア・ハンドリング・ユニット）３１と、フロアＦ外に配置された室外機（図示せず）と、が主に設けられている。ＡＨＵ３１には、冷凍サイクルを循環する冷媒が室内空気の熱を奪うことにより蒸発する蒸発器３２と、フロアＦから室内空気を吸い込むとともに、冷却後の室内空気をフロアＦの床下空間ＦＵへ吹出すブロア３３と、が主に設けられている。

言い換えると、演算装置６０Ｌは液冷式冷却装置１０および空冷式冷却装置３０の両者を用いて冷却されるＩＣＴ装置等であり、演算装置６０Ａは空冷式冷却装置３０を用いて冷却されるＩＣＴ装置等である。

ここでフロアＦは床下空間ＦＵが設けられた二重床構造を有している。床下空間ＦＵに供給された冷却された室内空気は、コールドアイルＣの床面からフロアＦの室内空間ＦＲへ吹出している。コールドアイルＣに供給された室内空気は、演算装置６０Ｌおよび演算装置６０Ａに設けられたファン６１によってその内部に導かれ、ＣＰＵ（中央演算ユニット）などの熱を発生する電子部品を冷却する。冷却後の室内空気は、演算装置６０Ｌおよび演算装置６０ＡからホットアイルＨへ吹出し、再びＡＨＵ３１に吸い込まれる。

コントロール部４０は、装置冷却システム１を統合的に制御するものであり、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するマイクロコンピュータである。ＲＯＭ等に記憶されている制御プログラムは、ＣＰＵを冷却制御部や連係処理部である演算部４１として機能させるものであり、ＲＯＭ等を記憶部４２として機能させるものである。なお、コントロール部４０による装置冷却システム１の制御の詳細については後述する。

コントロール部４０には、表面温度センサ（検知部）５１により測定された冷却対象表面温度の測定信号、送り冷媒温度センサ５２により測定された冷媒温度の測定信号、戻り冷媒温度センサ５３により測定された冷媒温度の測定信号、周波数測定部５４により測定される循環ポンプの駆動周波数、および、液冷式冷却装置１０から発せられる警報信号が主に入力されている。その一方で、コントロール部４０から、演算装置６０Ｌ、演算装置６０Ａ、空冷式冷却装置３０、および、液冷式冷却装置１０に制御信号が出力されている。

表面温度センサ５１は、演算装置６０ＬにおけるＣＰＵ等の熱を発生する電子機器であって、吸熱部１２と熱的に接触する表面の温度を測定するセンサである。送り冷媒温度センサ５２は、液冷式冷却装置１０のラック側循環系統１１を流れる冷媒であって、吸熱部１２に向かって流れる冷媒の温度を測定するセンサである。戻り冷媒温度センサ５３は、ラック側循環系統１１を流れる冷媒であって、吸熱部１２から流出した冷媒の温度を測定するセンサである。

液冷式冷却装置１０から発せられる警報信号には、液冷式冷却装置１０の故障を知らせる信号や、非常事態の発生を知らせる信号などが含まれる。故障は液冷式冷却装置１０の運転が不能となる状況であり、非常事態は液冷式冷却装置１０の各部における温度異常や、冷媒漏れや、各ポンプの停止などが起きた状態である。

次に、上記の構成からなる装置冷却システム１における制御について説明する。まず、演算装置６０Ａおよび演算装置６０Ｌにおけるデータ処理の量が増加した場合の制御について図３のフローチャートを参照しながら説明する。

演算装置６０Ａおよび演算装置６０Ｌにおけるデータ処理（言い換えると演算処理）が開始されるとともに装置冷却システム１の運転が開始されると、空冷式冷却装置３０による演算装置６０Ａおよび演算装置６０Ｌの冷却が開始されるとともに、液冷式冷却装置１０による演算装置６０Ｌの冷却が開始される。

上述のように装置冷却システム１の運転が開始されるとコントロール部４０の演算部４１は、演算装置６０Ａおよび演算装置６０Ｌにおけるデータ処理量が増加したか否かを判定する処理を行う（Ｓ１１）。データ処理量が増加していない場合（ＮＯの場合）には、
再びＳ１１に戻り、データ処理量の増加の有無の判定を行う。

データ処理量が増加したと判定された場合（ＹＥＳの場合）、演算部４１は、ワーニング閾値以上の液冷余裕度が存在するか否かを判定する処理を行う（Ｓ１２）。ここで液冷余裕度は、液冷式冷却装置１０における冷却能力の余裕度を表す係数である。ワーニング閾値は予め記憶部４２に記憶された閾値であり、演算部４１に高温障害が発生する可能性が高くなる警報閾値よりも値が大きなものである。

上述の液冷余裕度は、下記の式（１）に基づいて演算により求められる。下記の式（１）においてＭは液冷余裕度であり、Ｘａは処理負荷（または循環ポンプ１４の駆動周波数）であり、Ｘ０は処理負荷の上限（または循環ポンプ１４の駆動周波数上限）である。Ｓｉは冷却対象表面温度であり、Ｓ０は冷却対象表面温度の上限である。αおよびβは係数である。

なお、Ｓｉの冷却対象表面温度は表面温度センサ５１から入力される測定信号に基づく値であり、Ｓ０の冷却対象表面温度の上限は記憶部４２に予め記憶されている値である。
演算部４１は、記憶部４２に記憶された式（１）に基づいて逐次液冷余裕度を演算により求めてもよいし、予め式（１）を用いて求めた液冷余裕度に関するマップを記憶部４２に記憶させておき、当該マップを用いて演算部４１を求めてもよい。

液冷余裕度を求める演算式は上述の式（１）であってもよいし、下記の式（２）を用いてもよく、演算式の内容を特に限定するものではない。式（２）においてＰ（Ｓｉ）は罰金関数である。より具体的には、冷却対象表面温度Ｓｉが所定の閾値を超えた場合には、Ｐ（Ｓｉ）の値が小さく（例えば０）になる関数である。

Ｓ１２の処理において液冷余裕度がワーニング閾値以上であると判定された場合（ＹＥＳの場合）には、演算部４１はさらに、液冷余裕度が最大の演算装置６０Ｌが存在するか否かを判定する処理を行う（Ｓ１３）。液冷余裕度が最大の演算装置６０Ｌが存在する場合（ＹＥＳの場合）には、演算部４１は、当該演算装置６０Ｌへ増加したデータ処理量を配分した後の液冷余裕度である推定余裕度を求める処理を行う（Ｓ１４）。

具体的には、コントロール部４０の学習能力を用いて推定余裕度が求められる。コントロール部４０の記憶部４２には、過去にデータ処理量を増加させた際の演算装置６０Ｌにおける液冷余裕度の変化のデータが蓄積されている。蓄積されているデータには、増加したデータ処理の内容や、複数の演算装置６０Ｌの内の個々における液冷余裕度の変化を識別できる内容などが含まれていることが好ましい。

コントロール部４０は、増加したデータ処理の内容および処理量、分配先の演算装置６
０Ｌを特定する情報等に基づき、記憶部４２から類似する状況における液冷余裕度の変化を表すデータを取得する。このデータに基づき、推定余裕度が求められる。

その後演算部４１は、推定余裕度が上述のワーニング閾値以上であるか否かを判定する処理を行う（Ｓ１５）。推定余裕度がワーニング閾値以上であると判定された場合（ＹＥＳの場合）、演算部４１は、液冷余裕度が最大の演算装置６０Ｌへ増加したデータ処理量を配分する処理を行う（Ｓ１６）。分配処理が行われた後は、再びＳ１１に戻り上述の処理が繰り返し行われる。

なお、Ｓ１６の増加したデータ処理量を液冷余裕度が最大の演算装置６０Ｌへ配分する処理を行った後に、当該演算装置６０Ｌに係る循環ポンプ１４における駆動周波数を増加させ、循環する冷媒の流量を増やす制御を行ってもよい。さらに、循環ポンプ１４における駆動周波数を増加させる制御を行った後に、増加したデータ処理量を配分する処理を行ってもよい。このようにすることで、増加したデータ処理量が配分された演算装置６０Ｌにおける急激な発熱量の増加に対処しやすくなる。

さらにＳ１６で行うデータ処理の配分処理の際に、液冷余裕度が所定の閾値以上の演算装置６０Ｌ、言い換えるとデータ処理量が所望量よりも少なく稼働率が低い演算装置６０Ｌが存在する場合には、当該演算装置６０Ｌで行われているデータ処理を、他の演算装置６０Ｌや演算装置６０Ａに分配してもよい。言い換えると稼働している演算装置６０Ｌの片寄せを行ってもよい。このようにすることで、演算装置６０Ｌや演算装置６０Ａの冷却効率を高めることができる。

その一方で、Ｓ１２の処理で液冷余裕度がワーニング閾値未満であると判定された場合（ＮＯの場合）、Ｓ１３の処理で液冷余裕度が最大の演算装置６０Ｌが存在しないと判定された場合（ＮＯの場合）、および、Ｓ１５の処理で推定余裕度がワーニング閾値未満であると判定された場合（ＮＯの場合）、コントロール部４０は演算装置６０Ａへ増加したデータ処理量を配分する処理を行う（Ｓ１７）。

その後コントロール部４０は、空冷式冷却装置３０に対して冷却能力を増やす制御信号を出力する処理を行う（Ｓ１８）。この処理により増加したデータ処理量が分配された演算装置６０Ａにおける発熱量が増加しても、フロアＦの室内空気を介した冷却能力が高まっているため当該演算装置６０Ａの温度上昇を抑制できる。

なお、上述のようにＳ１７の増加したデータ処理量を配分する処理を行った後に、Ｓ１８の空冷式冷却装置３０の冷却能力を増やす制御を行ってもよいし、逆に空冷式冷却装置３０の冷却能力を増やす制御を行った後に、増加したデータ処理量を配分する処理を行ってもよい。このようにすることで、増加したデータ処理量が配分された演算装置６０Ａにおける急激な発熱量の増加に対処しやすくなる。

次に、液冷式冷却装置１０において不具合が発生した等の理由で液冷余裕度が減少した場合の制御について図４のフローチャートを参照しながら説明する。
装置冷却システム１の運転が開始されるとコントロール部４０の演算部４１は、全ての演算装置６０Ｌにおける液冷余裕度がワーニング閾値以上であるか否かを判定する処理を行う（Ｓ２１）。ここで、液冷余裕度は上述した算出方法と同様な方法を用いて求められる。全ての液冷余裕度がワーニング閾値以上であると判定された場合（ＹＥＳの場合）には、再びＳ２１に戻り、同様な処理が行われる。

なお、Ｓ２１の処理において、全ての演算装置６０Ｌにおける液冷余裕度がワーニング閾値以上であるか否かを判定してもよいし、全ての演算装置６０Ｌにおける液冷余裕度の
平均値を求め、当該平均値がワーニング閾値上であるか否かを判定してもよい。

Ｓ２１において全ての液冷余裕度がワーニング閾値以上でないと判定された場合（ＮＯの場合）、言い換えると、ワーニング閾値未満の液冷余裕度が存在すると判定された場合、演算部４１は、液冷余裕度がワーニング閾値となる演算装置６０Ｌが存在するか否かを判定する処理を行う（Ｓ２２）。

Ｓ２２において液冷余裕度がワーニング閾値以上となる演算装置６０Ｌが存在すると判定された場合（ＹＥＳの場合）には、演算部４１は、液冷余裕度がワーニング閾値未満の演算装置６０Ｌで行われているデータ処理を、（ワーニング閾値以上で）液冷余裕度が他のものより高い演算装置６０Ｌへ分配する制御信号を、これらの演算装置６０Ｌへ出力する（Ｓ２３）。その後、コントロール部４０は、Ｓ２１に戻り上述の処理を繰り返し行う。

その一方、Ｓ２２において液冷余裕度がワーニング閾値以上となる演算装置６０Ｌが存在しないと判定された場合（ＮＯの場合）には、演算部４１は、液冷余裕度がワーニング閾値未満の演算装置６０Ｌで行われているデータ処理を、演算装置６０Ａへ分配する制御信号を、これら演算装置６０Ｌおよび演算装置６０Ａへ出力する（Ｓ２４）。

次にコントロール部４０は、空冷式冷却装置３０に対して冷却能力を増やす制御信号を出力する処理を行う（Ｓ２５）。この処理により増加したデータ処理量が分配された演算装置６０Ａにおける発熱量が増加しても当該演算装置６０Ａの温度上昇を抑制できる。その後、コントロール部４０は、Ｓ２１に戻り上述の処理を繰り返し行う。

なお、液冷式冷却装置１０において不具合が発生した場合、上述の実施形態のように液冷余裕度がワーニング閾値以上の演算装置６０Ｌへデータ処理を分配する制御を行ってもよいし、最初から演算装置６０Ａへデータ処理を分配する制御を行ってもよく、装置冷却システム１の運用ポリシーに従い適時選択することができる。

上述の実施形態のＳ２１の処理のように、液冷余裕度の減少によって液冷式冷却装置１０の不具合発生を間接的に検知してもよいし、Ｓ２１の処理の代わりに、液冷式冷却装置１０に各部の温度異常や、冷媒の漏れや、循環ポンプ１４などの停止をなどの故障や非常事態の発生を検知して警報を発する報知部５５を設け、当該警報の報知の有無を判定する処理を行ってもよい。

上記の構成の装置冷却システム１によれば、冷却能力に余裕があり、かつ、その液冷余裕度が所定の閾値であるワーニング閾値以上である液冷式冷却装置１０であって、液冷余裕度が大きな液冷式冷却装置１０により冷却される演算装置６０Ｌで行われる演算量を増やすことにより、温度調整の信頼性を確保するとともに、消費電力の削減を図ることができる。

つまり、演算量を増やす演算装置６０Ｌを、液冷余裕度が比較的小さな液冷式冷却装置１０により冷却される演算装置６０Ｌとする場合と比較して、液冷余裕度が比較的大きな液冷式冷却装置１０により冷却される演算装置６０Ｌとすることにより、演算装置６０Ｌで発生する熱量が増加しても冷却能力の余裕が大きい分だけ温度調整を行いやすい。言い換えると、温度調整の信頼性を確保しやすい。

演算量を増やす演算装置として、空冷式冷却装置３０により冷却される演算装置６０Ａを選択する場合と比較して、液冷式冷却装置１０により冷却される演算装置６０Ｌを選択することにより、消費される電力の削減が図りやすくなる。

複数の演算装置６０Ｌ，６０Ａの全体で行われる演算量が増加した場合に、その増加分を液冷余裕度が大きな液冷式冷却装置１０により冷却される演算装置６０Ｌを選択することにより、温度調整の信頼性を確保するとともに、消費電力の削減を図ることができる。

演算量の増加分を分配する演算装置６０Ｌを選択する際に、分配後の液冷余裕度を推定し、推定した液冷余裕度がワーニング閾値以上である場合にのみ当該演算装置６０Ｌでの演算量を増加させることにより、温度調整の信頼性を確保することができる。つまり、演算量の増加分を分配した結果、その演算装置６０Ｌに係る液冷余裕度がワーニング閾値未満となり、言い換えると冷却能力の余裕がなくなり、温度が上昇するという不具合の発生を未然に抑制することができる。

液冷式冷却装置１０における液冷余裕度または推定された液冷余裕度がワーニング閾値未満である場合には、空冷式冷却装置３０により冷却される演算装置６０Ａへ演算量の増加分を分配することにより、温度調整の信頼性を確保することができる。一般的に、液冷式冷却装置１０は、空冷式冷却装置３０と比較して冷却能力を超える熱量への対処が難しい。そのため、液冷式冷却装置１０の冷却能力と同等またはそれを超える熱負荷が加えられる場合には、空冷式冷却装置３０により冷却される演算装置６０Ａへ演算量の増加分を分配することにより、温度の上昇を抑制しやすくなる。

液冷式冷却装置１０に不具合が発生した場合には、不具合に係る演算装置６０Ｌで行われていた演算を、液冷余裕度の大きな液冷式冷却装置１０により冷却される演算装置６０Ｌへ分配することにより、高温障害の発生を抑制することができる。

報知部５５を設けることにより、装置冷却システム１の運用者に液冷式冷却装置１０に不具合が発生したことを知らせることができ、当該不具合を早期に解消することができる。その結果、他の液冷式冷却装置１０や空冷式冷却装置３０への負担が増加することを抑制でき、温度調整の信頼性を確保することができる。

このように式（１）または式（２）に基づいて液冷余裕度を求めることにより、求められる液冷余裕度の精度を高めることができる。そのため、液冷余裕度に基づいて行われる演算量の増加分の分配がより適切に行われ、温度調整の信頼性を確保することができる。

なお、上述の実施形態のように式（１）または式（２）に基づいて液冷余裕度を求めてもよいし、液体冷媒の温度、または、冷媒往還温度差に基づいて液冷余裕度に基づいて液冷余裕度を求めてもよいし、液体冷媒の温度、循環ポンプ１４の駆動周波数（言い換えると液体冷媒の流量）、および、液体冷媒の比熱に基づいて算出された液冷式冷却装置１０の冷却能力に基づいて液冷余裕度を求めてもよく、特に限定するものではない。

なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、上記の実施の形態においては、本発明に係る空調システムをデータセンタに用いる例に適用して説明したが、用いる対象はデータセンタに限られるものではなく、他の設備に適用できるものである。

１…装置冷却システム、１０…液冷式冷却装置（液冷式冷却部）、１４…循環ポンプ、３０…空冷式冷却装置（空冷式冷却部）、４０…コントロール部（冷却制御部、連係処理部）、５１…表面温度センサ（検知部）、５４…周波数測定部、５５…報知部、６０Ｌ，６０Ａ…演算装置、Ｆ…フロア（所定区画）

Claims (6)

1. 所定区画内に配置された複数の演算装置と熱的に接触する液体冷媒を循環させ、前記演算装置を冷却する複数の液冷式冷却部と、
   前記液冷式冷却部の冷却能力を制御する冷却制御部と、
   前記液冷式冷却部における冷却能力の余裕度である液冷余裕度を少なくとも検知する検知部と、
   前記液冷余裕度がワーニング閾値以上である前記液冷式冷却部が存在する場合には、他の液冷式冷却部と比較して前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置で行われる演算量を増やす制御を行う連係処理部と、
   が設けられ、
   前記検知部には、前記液体冷媒を循環させる循環ポンプの駆動周波数を測定する周波数測定部が含まれ、
   前記液冷余裕度は、少なくとも前記循環ポンプの駆動周波数に基づいて求められることを特徴とする装置冷却システム。
2. 前記検知部には、前記演算装置における前記液体冷媒と熱的に接触する表面の温度である冷却対象表面温度を測定する表面温度センサが、さらに含まれ、
   前記液冷余裕度は、少なくとも前記冷却対象表面温度、前記循環ポンプの駆動周波数に基づいて求められることを特徴とする請求項１記載の装置冷却システム。
3. 前記液冷余裕度は、少なくとも前記液体冷媒の温度、前記循環ポンプの駆動周波数、および、前記液体冷媒の比熱に基づいて算出された前記液冷式冷却部の冷却能力に基づいて求められることを特徴とする請求項１または２に記載の装置冷却システム。
4. 所定区画内に配置された複数の演算装置と熱的に接触する液体冷媒を循環させ、前記演算装置を冷却する複数の液冷式冷却部と、
   前記液冷式冷却部の冷却能力を制御する冷却制御部と、
   前記液冷式冷却部における冷却能力の余裕度である液冷余裕度を少なくとも検知する検知部と、
   前記液冷余裕度がワーニング閾値以上である前記液冷式冷却部が存在する場合には、他の液冷式冷却部と比較して前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置で行われる演算量を増やす制御を行う連係処理部と、
   が設けられ、
   前記検知部には、前記液体冷媒の温度、または、前記演算装置と熱的に接触する前後の前記液体冷媒の温度差である冷媒往還温度差を測定する冷媒温度センサが含まれ、
   前記液冷余裕度は、少なくとも前記液体冷媒の温度、または、前記冷媒往還温度差に基づいて求められることを特徴とする装置冷却システム。
5. 前記連係処理部は、前記複数の演算装置で行われる演算量が増加した場合、前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置に増加した分の演算量を配分することを特徴とする請求項１から４のいずれか１項に記載の装置冷却システム。
6. 前記連係処理部は、前記増加した分の演算量が配分された後の前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置に係る前記液冷式冷却部の前記液冷余裕度を推定し、
   推定した液冷余裕度である推定余裕度が前記ワーニング閾値以上である場合には、前記液冷余裕度が大きな液冷式冷却部により冷却される前記演算装置に前記増加した分の演算量の配分を行うことを特徴とする請求項５記載の装置冷却システム。

Images