JP5477208B2 - 空調管理システム及び空調管理方法 - Google Patents

Description

本発明は、空調管理システム及び空調管理方法に関する。

近年、高度情報化社会の到来にともなって計算機（コンピュータ）で多量のデータが取り扱われるようになり、多数の計算機を同一室内に設置して一括管理することが多くなっている。例えばデータセンターでは、計算機室内に多数のラック（サーバーラック）を設置し、それぞれのラックに複数の計算機（サーバ）を収納している。そして、それらの計算機にジョブを有機的に配分し、大量のジョブを効率的に処理している。

ところで、ラックマウント型（ラックに収納するタイプ）の計算機では、一般的に室内のエアーをラックの一方の面側から取り込んでＣＰＵ（Central Processing Unit）等を冷却し、それにより高温になったエアーをラックの他方の面側から排出している。計算機を設置した部屋の温度が高くなると計算機の故障や誤動作の原因になるため、データセンターでは計算機の温度が許容温度を超えないように、空調機により計算機室の温度を管理している。

データセンターにおいて空調に要する電力消費量は、各計算機で消費される電力の合計に匹敵するほど大きいといわれている。このため、空調に要する電力の削減が要望されている。

一方、ＣＰＵの性能向上、ＯＳ（Operating System）の６４ビット化、及びハードディスクドライブの大容量化などにともない、１台の計算機（物理サーバ）に複数の仮想マシン（Virtual Machine：ＶＭ）を搭載して運用することが可能になってきた。そこで、ＣＰＵ使用率が低い複数の計算機（物理サーバ）の仮想マシンを１台の計算機に集約し、それによりアイドル状態になった計算機の電源を一時的にオフにするいわゆるＶＭ集約／配置技術が開発され、徐々に実用化されつつある。

ラックマウント型計算機では、アイドル状態でも１００Ｗ程度の電力を消費するので、ＶＭ集約／配置技術を使用してアイドル状態になった計算機の電源をオフにすることにより、データセンターで消費する電力を大幅に削減することができる。

特開２００３−１４５５４号公報 特開２００９−２９３８５１号公報 特開２００８−８２５９７号公報 特開２００５−１８２８１４号公報 特開２００８−９７５６５０号公報 特開２００９−２６５０７７号公報

しかしながら、省エネルギー及び地球温暖化防止の観点から、データセンターで消費する電力のより一層の削減が望まれる。

以上から、データセンター等の施設で消費する電力をより一層削減できる空調管理システム及び空調管理方法を提供することを目的とする。

一観点によれば、複数の計算機が収納されたラックと、前記ラックの吸気面側の高さ方向の温度分布を測定する温度分布測定部と、前記ラック内に収納された複数の計算機の稼動状態を管理する管理計算機と、前記温度分布測定部及び前記管理計算機から出力される情報に基づいて空調設備を制御する主制御部とを有し、前記管理計算機は前記ラック内の複数の計算機のうち下側に配置された計算機に優先的にジョブを投入するものであり、前記主制御部は前記温度分布測定部による測定結果から前記ラックの吸気面側で予め設定された許容温度となる位置を検出し、前記許容温度となる位置から所定の距離だけ下方の位置が前記ジョブが投入された計算機のうち最も上側に配置された計算機の位置となるように前記空調設備を制御するものである空調管理システムが提供される。

上記一観点によれば、ラック内の計算機のうち下側に配置された計算機に優先的にジョブを投入し、更に許容温度となる位置から所定の距離だけ下方の位置がジョブが投入された計算機のうち最も上側に配置された計算機の位置となるように空調設備を制御する。これにより、過剰な冷却や冷却不足がない効率的な空調が実現でき、空調に使用する電力を削減することができる。

図１は、計算機室の一例を説明する平面図である。 図２は、同じくその計算機室の模式的な斜視図である。 図３は、計算機がラック内に収納された状態の模式図である。 図４は、実施形態に係る空調管理システムの構成を説明する模式図である。 図５は、温度分布測定部の構成例を説明するブロック図である。 図６は、ラック１台分の温度分布の解析結果を出力した図である。 図７（ａ）はグリルの一例を表す模式平面図、図７（ｂ）は同じくその模式側面図である。 図８は、実施形態の空調管理方法を示すフローチャートである。 図９（ａ）は従来方法による空調の概念図であり、図９（ｂ）は実施形態による空調の概念図である。 図１０（ａ），（ｂ）は、温度分布測定結果のデータ処理の過程を表す図（その１）である。 図１１（ａ），（ｂ）は、温度分布測定結果のデータ処理の過程を表す図（その２）である。 図１２（ａ）は図１１（ａ）の表から作成したｚ座標と温度との関係を表す図、図１２（ｂ）は図１１（ｂ）の表から作成した極大点のｚ座標と温度との関係を表す図である。 図１３（ａ），（ｂ）は、それぞれ時刻Ａ及び時刻Ｂにおける温度分布曲線の例を表す図である。 図１４は、目標温度の決定方法の概念を説明する図（その１）である。 図１５は、目標温度の決定方法の概念を説明する図（その２）である。

以下、実施形態について説明する前に、実施形態の理解を容易にするための予備的事項について説明する。

図１は、計算機室の一例を説明する平面図、図２は同じくその計算機室の模式的な斜視図、図３は計算機がラック内に収納された状態の模式図である。

計算機室１０は、図２のように、ラック（筺体）１１が設置される機器設置エリア１０ａと、機器設置エリア１０ａの床下に設けられて電力ケーブル及び通信ケーブル等が配置されるフリーアクセスフロア（床下空間）１０ｂとに分離されている。

機器設置エリア１０ａには、図１のように、多数のラック１１が列毎に並んで配置されている。図３のように、各ラック１１にはそれぞれ複数の計算機（物理サーバ）１６が高さ方向に並んで収納されている。

各計算機１６にはそれぞれ冷却ファン（図示せず）が設けられている。この冷却ファンは例えばＣＰＵの温度に応じた回転数で回転してラック１１の前面（以下、「吸気面」という）側からエアーを取り込み、ＣＰＵを冷却して高温になったエアーを背面（以下、「排気面」という）側から排出する。

なお、通常、データセンターに設置されるサーバラックは、ＥＩＡ（米国電子工業会）の標準規格に準拠している。ラック内に収納（実装）される機器の高さ方向はＵ（ユニット）という単位で規定されており、１Ｕは１．７５インチ（約４４．４５ｍｍ）である。データセンターで使用される一般的な１Ｕサーバは、幅が約１９インチ、高さが約１．７５インチに設定されている。

隣り合う列のラック１１は、吸気面と吸気面又は排気面と排気面とが向き合うように配置されている。吸気面側の通路の床には、１又は複数のラック１１毎に、フリーアクセスフロア１０ｂと機器設置エリア１０ａとを連絡するグリル（通風口）１３が設けられている。

また、計算機室１０には、１又は複数の空調機１５が設置されている。空調機１５は機器設置エリア１０ａからエアーを取り込み、フリーアクセスフロア１０ｂに温度調整された低温のエアーを供給する。この低温のエアーは、グリル１３を介して機器設置エリア１０ａに送り出され、ラック１１に吸気面側から取り込まれる。そして、ラック１１内の計算機１６を冷却して温度が上昇したエアー（排気）は、ラック１１の排気面側から機器設置エリア１０ａに排出される。なお、グリル１３及び空調機１５は、いずれも空調設備である。

図１，図２に記載の計算機室１０では、隣り合うラック列を、ラック１１の吸気面と吸気面又は排気面と排気面とが向き合うように配置している。これにより、グリル１３を介して低温のエアーが供給されるエリアとラック１１から高温のエアーが排出されるエリアとが空間的に分離され、ラック１１の効率的な冷却が可能になる。以下、低温のエアーが供給されるラック吸気面側のエリアをコールドアイルと呼び、高温のエアーが排出されるラック排気面側のエリアをホットアイルと呼ぶ。

計算機室１０内のエアーは、空調機１５、フリーアクセスフロア１０ｂ、機器設置エリア１０ａ（コールドアイル）、ラック１１、機器設置エリア１０ａ（ホットアイル）、空調機１５という順番で循環する。

ところで、仮想マシンを集約した計算機１６では、ＣＰＵの平均使用率が高くなり、それにともなって計算機１６から発生する熱量が多くなる。そのため、単に計算機室１０内の温度を空調機１５により調整するだけでは、局所的に冷却不足が発生するおそれがある。空調機１５の設定温度を低くしたり、エアー（冷気）の吹き出し量を増加することにより、冷却不足を回避することは可能である。しかし、その場合は空調に要する電力が増大するという問題が発生する。

また、空調機１５とは別に局所冷却装置を使用して、仮想マシンを集約した計算機１６のラック１１を局所的に冷却することも考えられる。しかし、その場合は、局所冷却装置の設置にともなうコストが必要になるだけでなく、局所冷却装置の分だけ消費電力も上昇する。

以下、実施形態について説明する。ここでは、１台の計算機１６に数台〜数１０台の仮想マシンを搭載できるものとする。また、各計算機１６では仮想マシンの負荷の計測又は予測が行われ、そのデータは特定の計算機（以下、「ＶＭ管理サーバ」という）に伝達されるものとする。そして、このＶＭ管理サーバにより適宜仮想マシンの再配置が決定され、それに基づいて仮想マシンが所定の計算機１６に集約され、それらの仮想マシンにはそれぞれジョブが投入されるものとする。更に、仮想マシンの集約によりアイドル状態（実行すべきジョブがなくなった状態）となった計算機１６の電源は、ＶＭ管理サーバからの信号により一時的にオフになるものとする。

図４は、実施形態に係る空調管理システムの構成を説明する模式図である。この図４のように、本実施形態に係る空調管理システム２０は、光ファイバ２１と接続される温度分布測定部２２と、主制御部２３と、グリル制御部２４と、ＶＭ管理サーバ２７とを有する。

光ファイバ２１は各ラック１１の吸気面及び排気面を通るように、かつラック１１とラック１１との間はフリーアクセスフロアを通るように敷設される。温度分布測定部２２は、後述するように光ファイバ２１を温度センサとして、光ファイバ２１の長さ方向の温度分布を測定する。

主制御部２３は、ＶＭ管理サーバ２７から入力される仮想マシンの配置状態のデータと、温度分布測定部２２から入力される温度分布のデータとに基づき、グリル制御部２４及び空調機１５にそれぞれ制御信号を出力する。

空調機１５は、主制御部２３から出力される制御信号に応じて、設定温度やエアーの吹き出し量を調整する。また、グリル制御部２４は、主制御部２３から出力される制御信号に応じて各グリル１３の開口率を制御し、フリーアクセスフロア１０ｂから機器設置エリア１０ａへの冷風供給量を調整する。

図５は、温度分布測定部２２の構成例を説明するブロック図である。この図５のように、温度分布測定部２２は、レーザ光源３１と、ビームスプリッタ３２と、光検出器３４と、データ処理部３５とを有している。

レーザ光源３１からは、一定の時間間隔でレーザ光（レーザパルス）が出射される。レーザ光源３１から出射されたレーザ光はビームスプリッタ３２を透過し、光ファイバ２１に進入する。光ファイバ２１に進入したレーザ光は、光ファイバ２１を長さ方向に伝搬する。このとき、光ファイバ２１を伝搬する光の一部は、光ファイバ２１を構成する分子により後方散乱される。後方散乱された光は、光ファイバ２１を戻って光源側端部から出射し、ビームスプリッタ３２により反射されて光検出器３４に入力される。光検出器３４に入力される後方散乱光には、温度により強度が変化するラマン散乱光が含まれる。

データ処理部３５は、レーザ光が出射されてから光検出器３４に後方散乱光が入力されるまでの時間と、光検出器３４の出力（ラマン散乱光の検出結果）とに基づいて、光ファイバ２１の長さ方向の温度分布（一次元温度分布）を算出する。ここでは、データ処理部３５により、光ファイバ２１の長さ方向に沿った１０ｃｍ毎の点（測定点）における温度が算出されるものとする。

主制御部２３には、予め光ファイバ２１の敷設状態のデータが記憶されており、このデータを使用して各測定点の位置（例えばｘ・ｙ・ｚ座標）がわかるようになっている。そして、主制御部２３は、温度分布測定部２２により算出された光ファイバ２１の長さ方向の温度分布（一次元温度分布）を解析して、光ファイバ２１が敷設されたラック１１の吸気面及び排気面の温度分布（二次元温度分布）を得る。

図６は、ラック１台分の温度分布の解析結果を出力した図である。温度分布測定部２２で算出した光ファイバ２１の長さ方向の温度分布を主制御部２３で解析した結果は、例えば図６のように、温度を色で表したサーモグラフィのような画像として得られる。ここで、図６中の円形の点は光ファイバ２１の長さ方向に沿って１０ｃｍ毎に設けられた測定点、すなわち温度分布測定部２２で温度を算出する点である。

なお、本実施形態では温度分布の測定に光ファイバを使用しているが、熱電対、サーミスタ及びＩＣ型温度センサ等を使用して温度分布を測定してもよい。しかし、これらの温度センサを使用すると、測定箇所が多い場合は信号線や電源線の敷設が極めて煩雑になるだけでなく、それらの配線によりエアーの流れが阻害されて計算機１６の冷却効率が低下してしまう。そのため、測定箇所が多い場合は、上述したように温度センサとして光ファイバを使用することが好ましい。

図７（ａ）はグリル１３の一例を表す模式平面図、図７（ｂ）は同じくその模式側面図である。

図７（ａ），（ｂ）のように、機器設置エリア１０ａとフリーアクセスフロア１０ｂとを分離する床に設けられた開口部には、複数の円形の穴が設けられた固定板４１が嵌め込まれている。この固定板４１の下には、固定板４１と同様に複数の円形の穴が設けられた可動板４２が、固定板４１に重なるように配置されている。

可動板４２は駆動部４３により駆動されて、固定板４１の面に平行な方向（図７（ｂ）に矢印で示す方向）に移動する。可動板４２の移動により固定板４１の穴と可動板４２の穴との重なり面積、すなわちグリル開口率が変化する。グリル制御部２４は、主制御部２３からの制御信号に応じて駆動部４３を制御し、グリル開口率を調整する。

なお、グリル１３は開口率又は冷風吹き出し量の調整が可能なものであればよく、図７（ａ），（ｂ）の構造に限定されるものではない。

図８は、上述の空調管理システムによる空調管理方法を示すフローチャートである。以下の説明では、稼働中の計算機１６に吸気されるエアーの許容温度（最大許容温度）は２２℃であるとする。

まず、ＶＭ管理サーバ２７により仮想マシンの配置が決定され、それに基づいて仮想マシンが所定の計算機１６に集約される（ステップＳ１１）。このとき、ＶＭ管理サーバ２７は、計算機１６のＣＰＵの平均使用率が例えば４０％〜７０％となるように、仮想マシンを集約する。また、ＶＭ管理サーバ２７は、ラック列の中央側のラック１１内の計算機１６であって下側に配置された計算機１６から優先的に仮想マシンを集約する。

ラック列の中央側のラック１１内の計算機に仮想マシンを優先的に集約するのは、ラック列の端部ではラック１１の上側からだけでなく側方からも排気の回り込みが発生して、計算機１６の冷却効率が低くなると考えられるためである。

このように、所定の計算機１６に仮想マシンを集約した後、ＶＭ管理サーバ２７からの信号により、アイドル状態になった計算機１６の電源がオフになる（ステップＳ１２）。以下、アイドル状態又は電源がオフの状態の計算機を非稼動状態計算機と呼び、それ以外の稼動状態の計算機を稼働計算機と呼ぶ。

その後、主制御部２３は、グリル制御部２４を介してグリル１３の駆動部４３を制御し、仮想マシンの集約／配置にともなって電源をオフにした計算機（非稼動状態計算機）１６のみが収納されたラック１１の前のグリル１３を閉状態にする（ステップＳ１３）。グリル１３を完全に閉状態にする替わりに、予め設定された最小開口率に設定してもよい。

ところで、従来は、図９（ａ）のように、ラック１１の排気面側から排出された排気が吸気面側に回り込まないように、グリル１３からコールドアイルに供給するエアー（冷気）の量を制御している。これに対し、本実施形態では、図９（ｂ）のように、ラック１１の上部に配置された計算機１６の電源がオフ（又はアイドル状態）になっているのなら、排気面側から排出された排気がラック１１の上を通って吸気面側に回り込むことをある程度許容する。

この場合、ラック１１の吸気面側に排気が回り込んでも稼働状態の計算機１６が過熱（オーバーヒート）しないようにすることが重要である。そこで、本実施形態では、光ファイバ２１及び温度分布測定部２２により各ラック１１の吸気面側の温度分布を測定し、その測定結果に応じて空調機１５及びグリル１３の開口率を制御する。但し、計算機１６の過剰の冷却はエネルギー効率低下の原因になるので、空調を最適化することが重要である。そこで、次のステップ（ステップＳ１４〜Ｓ１５）では、空調の最適化に必要なデータを取得する。

すなわち、温度分布測定部２２により、光ファイバ２１の長さ方向の温度分布を測定し、その測定結果を主制御部２３で解析して、各ラック１１の吸気面側及び排気面側の温度分布を得る（ステップＳ１４）。

図１０（ａ）は、主制御部２３により各測定点の位置（ｘ，ｙ，ｚ座標）と温度とを対応付けた結果を出力した図である。この図１０（ａ）のように、主制御部２３では、温度分布測定部２２により測定した光ファイバ２１の各測定点の温度と、光ファイバ２１の敷設状態のデータとから、各測定点の位置（ｘ，ｙ，ｚ座標）と温度とを対応付けする。この測定点の位置と温度との対応付けは、ラック１１毎に行う。

次に、主制御部２３は、図１０（ａ）のような各測定点の位置と温度とを対応付けしたデータに対し、クイックソートを実施して、図１０（ｂ）のように、データをｚ座標（高さ）の値が小さいものから順に並べる。この場合、グリル１３からラック１１の最上部までの長さ（高さ）は既知であるので、その中央部の測定点のデータをピボットとしてクイックソートを実行することが好ましい。これにより、迅速なソートが可能になる。クイックソートに替えて、ラディックスソート等によりデータの並び変えを行ってもよい。

その後、図１１（ａ）のように、ｚ座標が同一の測定点については温度が最も高い測定点のみを残す処理を行ってデータを整理する。図１２（ａ）は、図１１（ａ）の表から作成したｚ座標（グリル１３からの高さ）と温度との関係を表す図である。

次いで、各測定点に対しその測定点の温度と近隣の測定点の温度とを比較して、図１１（ｂ）のように極大となる測定点（以下、「極大点」ともいう）を抽出する。図１２（ｂ）は、図１１（ｂ）の表から作成した極大点のｚ座標（グリル１３からの高さ）と温度との関係を表す図である。この図１２（ｂ）のように、極大点のｚ座標（グリル１３からの高さ）と温度との関係を示す曲線（以下、「温度分布曲線」とも呼ぶ）は、常に下に凸の曲線となる。

このようにして、ラック１１毎に極大点のｚ座標と温度との関係を表すデータ（以下、「高さ方向の温度分布データ」と呼ぶ）を取得する（ステップＳ１５）。

次のステップ（ステップＳ１６〜Ｓ１７）において、主制御部２３は、マージンが一定となるように稼働計算機のうちラック１１の最も上部に配置された計算機の吸気面側の温度（制御温度）を設定する。そして、空調機１５及びグリル制御部２４にそれぞれ制御温度に応じた制御信号を出力する。以下、マージンについて説明する。

図１３（ａ），（ｂ）は、それぞれ時刻Ａ及び時刻Ｂにおける温度分布曲線の例を表す図である。ここでは、時刻Ａのときにはラック１１内の稼働計算機のうち最も上に配置された計算機（以下、「上部稼働計算機」という）のｚ座標（高さ）は１．５３ｍであるとする。また、上部稼働計算機の吸気面側の温度が２０．５℃となるように、すなわち許容温度２２℃よりもマージン（温度のマージン）として１．５℃低い温度となるように、空調機１５及びグリル１３の開口率を制御するものとする。このとき、図１３（ａ）からわかるように、許容温度２２℃を超えるのはｚ座標（高さ）が１．７７ｍ以上のときであるので、高さ方向に約５Ｕ（１Ｕサーバ５台分）のマージン（距離のマージン）があるということができる。

時刻Ａから時刻Ｂに変化し、仮想マシンの数が減少して上部稼働計算機のｚ座標（高さ）が１．５３ｍから１．２ｍになったとする（図１３（ｂ）参照）。

ここで、本実施形態では、図１３（ａ）のときと同様に上部稼働計算機から高さ方向に５Ｕ離れた位置で許容温度２２℃になるように、上部稼働計算機の吸気面側の温度を制御する。この場合、上部稼働計算機（ｚ＝１．２ｍ）から高さ方向に５Ｕ離れた位置のｚ座標は約１．４２ｍである。図１３（ｂ）から、この位置の温度が２２℃となるようにするためには、上部稼働計算機の吸気面側の温度を２１℃にすればよいことがわかる。

仮に、吸気面側の温度が２０．５℃の位置までしか稼働計算機を搭載しないとすると、図１３（ｂ）の例では温度が２０．５℃になるのは高さ（ｚ座標）が０．８ｍの位置であるので、高さが０．８ｍの位置までしか稼働計算機を搭載しないことになる。この場合、高さ方向にマージン（距離のマージン）が約１４Ｕあるということになり、マージンが大きすぎる過剰な冷却ということができる。これに対し、本実施形態ではマージンが５Ｕとなるように１．２ｍの位置まで稼働計算機を搭載するので、温度のマージンを常に１．５℃とする場合に比べてラック１１内に搭載可能な稼働計算機の数が１．５倍となる。

ラック１１内に高さが０．８ｍの位置まで稼働計算機を搭載した場合、計算機の消費電力の合計と空調機の消費電力の合計との比が１：１であり、ＰＵＥ（Power Usage Effectiveness：電力使用効率）が２であるとする。これに対し、本実施形態では、同一空調条件でラック１１内に高さが１．２ｍの位置まで稼働計算機を搭載するので、ＰＵＥは約１．６７となる。なお、ここでは、ＰＵＥ＝（（計算機の消費電力の合計＋空調機の消費電力の合計）／計算機の消費電力の合計）としている。

このように、本実施形態において主制御部２３は、高さ方向のマージン（距離のマージン）がほぼ一定となるように、上部稼働計算機の位置（高さ）に応じて上部稼働計算機の吸気面側の温度（制御温度）を設定する（ステップＳ１６）。そして、この設定された温度となるように空調機１５及びグリル制御部２４に制御信号を出力する（ステップＳ１７）。空調機１５は、主制御部２３からの制御信号に基づいて設定温度又は冷風の吹き出し量を調整する。また、グリル制御部２４は、主制御部２３からの制御信号に基づいてグリル１３の開口率を調整する。

この空調機１５及びグリル１３の開口率の調整により計算機室内の温度分布が変化する。上述の処理を繰り返し行う（例えばＰＩＤ制御）ことにより、空調の最適化が実現される。なお、前述したように温度分布曲線は常に下に凸の曲線となるので、上部稼働計算機の位置（ｚ座標）が高いほど許容温度と制御温度との差は小さくなる。

ところで、ラック１１内の稼働計算機の数が急激に変化すると、一時的に冷却が過剰になったり冷却不足が発生することが考えられる。本実施形態では、仮想マシンの再配置を実施する前に、ＶＭ管理サーバ２７から主制御部２３に再配置データとして、再配置後の上部稼働計算機の位置（高さ）データが通知される。主制御部２３では、このデータを使用して目標温度を設定し、この目標温度により空調機１５及びグリル１３を制御して、過渡期における冷却過剰や冷却不足を防止する。

以下、図１４を参照して、目標温度の決定方法の概念について説明する。ここでは、時刻Ａにおける上部稼働計算機の位置（ｚ座標）が１．５３ｍであり、その後仮想マシンを再配置して上部稼働計算機の位置（ｚ座標）が１．２ｍになるものとする。そして、仮想マシンを再配置する前に、ＶＭ管理サーバ２７から主制御部２３に再配置前（時刻Ａ）及び再配置後の上部稼働計算機の位置（ｚ座標）データが送信されるものとする。

まず、主制御部２３は、仮想マシンを再配置する前（時刻Ａ）の高さ方向の温度分布（図１４参照）において、温度分布曲線と許容温度（２２℃）を表す水平方向に延びる直線との交点を求め、点Ｐとする。そして、点Ｐと温度分布曲線上の上部稼働計算機の位置（点Ｑ）とを結ぶ直線を引く。その後、その直線を延長した線と再配置後の上部稼働計算機の位置（ｚ座標：この例では１．２ｍ）に垂直に引いた直線との交点を求め、点Ｒとする。

次に、点Ｒを通って垂直方向に延びる直線と温度分布曲線との交点を求め、点Ｓとする。そして、点Ｓと点Ｒとの温度差（この例では０．５℃）と時刻Ａにおける制御温度（この例では２０．５℃）とを加算し、再配置後（時刻Ｂ）の目標温度（この例では２１℃）とする。

次いで、主制御部２３は、仮想マシンが再配置される直前又は仮想マシンの再配置と同時に、上部稼働計算機の吸気面側の温度が目標温度（２１℃）となるように、空調機１５及びグリル制御部２４を制御する。

その後、例えば一定の時間経過して高さ方向の温度分布が安定すると、前述したように主制御部２３は、上部稼働計算機よりも５Ｕ上方の位置の温度が許容温度２２℃となるように、空調機１５及びグリル制御部２４を制御する。

上記の例では上部稼働計算機の高さが減少する場合について説明したが、稼働計算機の高さが増加する場合には、例えば以下に記載した第１の方法又は第２の方法を採用することができる。

第１の方法は、上部稼働計算機の高さが減少する場合と同様にして目標温度を決める方法である。ここでは、時刻Ｂにおける上部稼働計算機の位置（ｚ座標）が１．２ｍであり、その後仮想マシンを再配置して上部稼働計算機の位置（ｚ座標）が１．４８ｍになるものとする。

まず、図１５のように、再配置前（時刻Ｂ）の温度分布曲線と許容温度（２２℃）を表す水平方向に延びる直線との交点を求め、点Ｐとする。そして、点Ｐと温度分布曲線上の上部稼働計算機の位置（１．４８ｍ）を表す点Ｑとを結ぶ直線を引き、その直線を延長した線と再配置後の稼働計算機の位置を通る垂直な直線との交点を求めて点Ｒとする。そして、この点Ｒを通る垂直な直線と温度分布曲線との交点を点Ｓとし、再配置前の制御温度と点Ｓの温度との差を再配置前の制御温度に加算して、目標温度とする。この図１５の例では、制御温度が２１℃であり、点Ｓと点Ｒとの温度差が−０．１℃であるので、目標温度は２０．９℃となる。

このようにして目標温度を設定した後、再配置後の上部稼働計算機の吸気面側の温度が目標温度となるように、空調機１３及びグリル制御部２４を制御する。

第２の方法は、稼働計算機の高さが増加するときには予めラック１１の最上部の位置まで稼働計算機が収納されているとするものである。この場合、このラック１１の最上部の位置の稼働計算機の吸気温度が許容温度よりも所定のマージン分だけ低い温度となるように目標温度を設定する。そして、図８と同様の処理を実施し、上部稼働計算機の吸気面側の温度を制御する。

このように、上部稼働計算機の位置が変化する過渡期には制御温度とは別に目標温度を設定して空調機１５やグリル１３を制御することにより、過渡期における冷却過剰や冷却不足の発生を防止することができる。

なお、過渡期における目標温度と温度分布の変化のデータを蓄積してデータベース化し、そのデータベースを利用してより一層適切な目標温度を設定するようにしてもよい。

上述したように、本実施形態では仮想マシンをラック１１の下側から優先的に集約し、アイドル状態の計算機をラック１１の上側に配置して電源をオフにする。そして、ラック１１の排気面側から吸気面側へのエアーの回り込みをある程度許容しつつ、稼働計算機の吸気面側の温度が許容温度以下となるように、且つ高さ方向のマージンが一定となるように空調機１５及びグリル１３等を制御する。これにより、計算機室で空調に使用する電力を従来に比べて削減できるという効果を奏する。

なお、上記実施形態ではＶＭ集約／配置技術を使用したデータセンターの空調制御方法について説明したが、上記実施形態はＶＭ集約／配置技術を使用しないデータセンターの空調制御にも適用できる。一般的なデータセンターでは、ＶＭ集約／配置技術を使用しない場合であっても個々の計算機の負荷に応じてジョブを配置している。この場合、グリルに近いほうの計算機にジョブを優先的に投入し、上記実施形態と同様にして空調を制御すればよい。

以上の諸実施形態に関し、更に以下の付記を開示する。

（付記１）複数の計算機が収納されたラックと、
前記ラックの吸気面側の高さ方向の温度分布を測定する温度分布測定部と、
前記ラック内に収納された複数の計算機の稼動状態を管理する管理計算機と、
前記温度分布測定部及び前記管理計算機から出力される情報に基づいて空調設備を制御する主制御部とを有し、
前記管理計算機は前記ラック内の複数の計算機のうち下側に配置された計算機に優先的にジョブを投入するものであり、
前記主制御部は前記温度分布測定部による測定結果から前記ラックの吸気面側で予め設定された許容温度となる位置を検出し、前記許容温度となる位置から所定の距離だけ下方の位置が前記ジョブが投入された計算機のうち最も上側に配置された計算機の位置となるように前記空調設備を制御するものであることを特徴とする空調管理システム。

（付記２）前記主制御部は、前記ジョブが投入された計算機のうち最も上側に配置された計算機の吸気面側の温度が前記許容温度よりも低い制御温度となるように前記空調設備を制御し、前記ジョブが投入された計算機のうち最も上側に配置された計算機の位置が高いほど前記許容温度と前記制御温度との差を小さくするものであることを特徴とする付記１に記載の空調管理システム。

（付記３）前記温度分布測定部が、光ファイバをセンサとして温度分布を測定するものであることを特徴とする付記１又は２に記載の空調管理システム。

（付記４）前記計算機には１台当たり複数の仮想マシンが配置されることを特徴とする付記１乃至３のいずれか１項に記載の空調管理システム。

（付記５）前記主制御部は、前記温度分布測定部による温度分布測定結果から前記ラックの高さ方向の温度分布を取得し、その高さ方向の温度分布から温度が極大となる点を抽出して温度が極大となる点と温度との関係を求め、その関係を利用して前記許容温度となる位置を検出することを特徴とする付記１乃至４のいずれか１項に記載の空調管理システム。

（付記６）前記主制御部は、前記ジョブが投入された計算機のうち最も上側に配置された計算機の位置が変化するときに、前記許容温度、変化前の前記制御温度、及び変化後の前記計算機の位置から目標温度を決定し、前記計算機の吸気面側の温度が前記目標温度となるように前記空調設備を制御することを特徴とする付記２乃至５のいずれか１項に記載の空調管理システム。

（付記７）前記管理計算機は、前記計算機のうちジョブが投入されない計算機の電源を一時的にオフにすることを特徴とする付記１乃至６のいずれか１項に記載の空調管理システム。

（付記８）投入されるジョブが経時的に変化する複数の計算機が収納されたラックが配置された部屋の空調を管理する空調管理方法において、
前記ラック内に収納された計算機のうち下側に配置された計算機に前記ジョブを優先的に投入する工程と、
前記ラックの吸気面側の高さ方向の温度分布を測定する工程と、
前記温度分布の測定結果から前記ラックの吸気面側で予め設定された許容温度となる位置を検出する工程と、
前記許容温度となる位置から所定の距離だけ下方の位置が前記ジョブが投入された計算機のうち最も上側に配置された計算機の位置となるように空調設備を制御する工程と
を有することを特徴とする空調管理方法。

（付記９）前記ジョブが投入されない計算機の電源を一時的にオフにすることを特徴とする付記８に記載の空調管理方法。

１０…計算機室、１０ａ…機器設置エリア、１０ｂ…フリーアクセスフロア、１１…ラック、１３…グリル、１５…空調機、１６…計算機、２０…空調管理システム、２１…光ファイバ、２２…温度分布測定部、２３…主制御部、２４…グリル制御部、２７…ＶＭ管理サーバ、３１…レーザ光源、３２…ビームスプリッタ、３４…光検出器、３５…データ処理部、４１…固定板、４２…可動板、４３…駆動部。

Claims (6)

1. 複数の計算機が収納されたラックと、
   前記ラックの吸気面側の高さ方向の温度分布を測定する温度分布測定部と、
   前記ラック内に収納された複数の計算機の稼動状態を管理する管理計算機と、
   前記温度分布測定部及び前記管理計算機から出力される情報に基づいて空調設備を制御する主制御部とを有し、
   前記管理計算機は前記ラック内の複数の計算機のうち下側に配置された計算機に優先的にジョブを投入するものであり、
   前記主制御部は前記温度分布測定部による測定結果から前記ラックの吸気面側で予め設定された許容温度となる位置を検出し、前記許容温度となる位置から所定の距離だけ下方の位置が前記ジョブが投入された計算機のうち最も上側に配置された計算機の位置となるように前記空調設備を制御するものであることを特徴とする空調管理システム。
2. 前記主制御部は、前記ジョブが投入された計算機のうち最も上側に配置された計算機の吸気面側の温度が前記許容温度よりも低い制御温度となるように前記空調設備を制御し、前記ジョブが投入された計算機のうち最も上側に配置された計算機の位置が高いほど前記許容温度と前記制御温度との差を小さくするものであることを特徴とする請求項１に記載の空調管理システム。
3. 前記温度分布測定部が、光ファイバをセンサとして温度分布を測定するものであることを特徴とする請求項１又は２に記載の空調管理システム。
4. 前記計算機には１台当たり複数の仮想マシンが配置されることを特徴とする請求項１乃至３のいずれか１項に記載の空調管理システム。
5. 前記主制御部は、前記ジョブが投入された計算機のうち最も上側に配置された計算機の位置が変化するときに、前記許容温度、変化前の前記制御温度、及び変化後の前記計算機の位置から目標温度を決定し、前記計算機の吸気面側の温度が前記目標温度となるように前記空調設備を制御することを特徴とする請求項２乃至４のいずれか１項に記載の空調管理システム。
6. 投入されるジョブが経時的に変化する複数の計算機が収納されたラックが配置された部屋の空調を管理する空調管理方法において、
   前記ラック内に収納された計算機のうち下側に配置された計算機に前記ジョブを優先的に投入する工程と、
   前記ラックの吸気面側の高さ方向の温度分布を測定する工程と、
   前記温度分布の測定結果から前記ラックの吸気面側で予め設定された許容温度となる位置を検出する工程と、
   前記許容温度となる位置から所定の距離だけ下方の位置が前記ジョブが投入された計算機のうち最も上側に配置された計算機の位置となるように空調設備を制御する工程と
   を有することを特徴とする空調管理方法。

Images