JP5593387B2

JP5593387B2 - データ・センタに関する知識ベースのモデル化のための方法、製品、および装置

Info

Publication number: JP5593387B2
Application number: JP2012524760A
Authority: JP
Inventors: ハマン・ヘンドリク・エフ; ロイド・レイモンド; ミン・ワンリ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2009-08-12
Filing date: 2010-08-06
Publication date: 2014-09-24
Anticipated expiration: 2030-08-06
Also published as: KR20120054016A; GB201200474D0; US20110040532A1; WO2011019611A2; JP2013502006A; WO2011019611A3; CA2766847A1; GB2484616B; US8244502B2; CN102741833B; CN102741833A; TW201106143A; GB2484616A; DE112010003279T5

Description

本発明は、データ・センタの分析に関し、より具体的には、データ・センタ内の知識ベースの温度モデル化のための技法に関する。

エネルギー・コストの上昇、エネルギーの需要と供給、および、高性能が多大に要求される情報通信技術（ＩＣＴ）機器の急増を伴う、電力およびエネルギーの消費は、データ・センタにとって重要な問題となってきている。データ・センタは、全世界の総電力のおよそ２％、すなわち１８３０億キロワット（ＫＷ）時の電力を消費し、この消費量は毎年１２％の割合で増加している。電力コストの上昇、電力需要の増加、送電網からの電力へのアクセスが多くのデータ・センタにとって問題になりつつあること、エネルギーの使用によってデータ・センタ内に過度な熱負荷が生じること、環境保全技術（green technologies）および二酸化炭素排出量に対する認識、ならびに、環境保全情報技術（ＩＴ）に対する業界全体の行動規範および法案の導入を含む、いくつかの重要な理由で、今やエネルギー効率は、データ・センタの管理者にとって重要な運営上のパラメータとなりつつある。

典型的なデータ・センタでは、電力の使用は、ＩＣＴ機器の動作に使用される電力と、（冷却装置、加湿器、空調ユニット（ＡＣＵ）、電力配分装置（ＰＤＵ）、無停電電源（ＵＰＳ）、照明、および電力配分機器などの）インフラストラクチャに必要な電力とに、分けることができる。たとえば、電力の生産および送達による損失および冷却要件による損失の後、データ・センタに供給される電力のうち、ＩＴ／計算に使用されるのは約１５％のみ、残りはオーバヘッドである。P.Scheihingによる「Creating Energy-Efficient Data Centers」、Data Center Facilities and EnginneringConference、ワシントンＤＣ（２００７年５月１８日）も参照されたい。

米国特許第７３６６６３２号米国特許出願第１２／１４６８５２号米国特許出願第１２／５４００３４号（整理参照番号ＹＯＲ９２００９０１５７ＵＳ１）

P.Scheihingによる「Creating Energy-Efficient Data Centers」、Data Center Facilities and EnginneringConference、ワシントンＤＣ（２００７年５月１８日）２００８年、ASHRAE Environmental Guidelines for Datacom Equipment、Expanding the Recommended EnvironmentEnvelope Hamann等による「Uncovering Energy-Efficiency Opportunities inData Centers」、IBM Journal of Research andDevelopment、vol.53、no.3（２００９年） NoelA.C.Cressieによる「Statistics for Spatial Data」、Chapter 3、AWiley-Interscience publication、（１９９１年）

したがって、データ・センタのエネルギー効率を改善するための技術が望まれる。

本発明は、データ・センタ分析のための技法を提供する。本発明の一態様では、データ・センタ内の温度分布をモデル化するための方法が提供される。この方法は、以下の諸ステップを含む。データ・センタ全体の複数の位置に対して、垂直温度分布データが取得される。各位置に対する垂直温度分布データはｓ曲線としてプロットされ、垂直温度分布データは、ｓ曲線の形状で反映されるそれぞれの位置での物理的条件を反映している。それぞれのｓ曲線は、ｓ曲線の形状を特徴付けるパラメータのセットで表され、このｓ曲線表示が事前に定義されたｓ曲線タイプの知識ベース・モデルを構成し、これを基にデータ・センタ全体にわたる複数の位置での温度分布および関連付けられた物理的条件を分析することが可能である。

垂直温度分布データは時間Ｔ＝０について取得可能であり、この方法は、さらに以下の諸ステップを含むことができる。リアルタイム温度データは時間Ｔ＝１について取得可能であり、ここでリアルタイム・データは、時間Ｔ＝０について取得されたデータよりも空間的密度が低い。リアルタイム・データは、複数の位置について更新された垂直温度分布データを取得するために、時間Ｔ＝０について取得されたデータ上に補間することができる。それぞれの位置について更新された垂直温度分布データはｓ曲線としてプロット可能であり、この垂直温度分布データは、ｓ曲線の形状で反映されるそれぞれの位置での更新された物理的条件を反映している。更新されたｓ曲線は、知識ベース・モデル内の事前に定義されたｓ曲線タイプと対合（mate）することができる。

本発明についてより完全に理解すること、ならびに本発明の他の特徴および利点については、以下の詳細な説明および図面を参照することによって得られるであろう。

本発明の実施形態に従った例示的データ・センタを示す図である。本発明の実施形態に従った、データ・センタ内の温度分布をモデル化するための例示的方法を示す図である。本発明の実施形態に従った、完全なナビエ・ストークス計算流体力学（ＮＳ−ＣＦＤ）モデル、簡略化された物理モデル、および統計モデルに関する、必要な入力パラメータ数の関数として、計算速度／複雑さを示すグラフである。本発明の実施形態に従った、完全なＮＳ−ＣＦＤモデル、簡略化された物理モデル、および統計モデルに関する、モデルの正確さの関数として、データ・センタ内の変化の度合いを示すグラフである。本発明の実施形態に従った、データ・センタの移動測定技術（ＭＭＴ）スキャンの一片を表すイメージである。本発明の実施形態に従った、図５のデータ・センタ内の１２のサーバ・ラックへの吸気温度をプロットしたグラフである。本発明の実施形態に従った、ｓ曲線の例示的表現を示すグラフである。本発明の実施形態に従った、ｓ曲線の他の例示的表現を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、小規模データ・センタ内の１５のサーバ・ラックのうちの１つの垂直温度分布を示すグラフである。本発明の実施形態に従った、ｓ曲線表現を図５のデータ・センタ内の１２のサーバ・ラックの吸気温度に適用することから生じる結果を示す、例示的な表である。本発明の実施形態に従った、事前に定義されたｓ曲線形状をタイプキャスト（typecasting）するための、例示的重み付けネットワークを示す図である。本発明の実施形態に従った、事前に定義されたｓ曲線形状をタイプキャストするための、例示的重み付けネットワークを示す図である。本発明の実施形態に従った、事前に定義されたｓ曲線形状をタイプキャストするための、例示的ニューラル・ネットワークを示す図である。本発明の実施形態に従った、知識ベースを構築するために使用されるパターンを示す図である。本発明の実施形態に従った、物理的挙動をモデルに入力する方法を示す図である。本発明の実施形態に従った、データ・センタ内の温度分布をモデル化するための例示的装置を示す図である。

本明細書には、データ・センタ内の温度分布をモデル化するための技法が提示されている。データ・センタ内の温度条件をより良く理解できるようにすることにより、最良のエネルギー実施例を実装し、それによって全体のエネルギー効率を向上させることができる。本技法はデータ・センタとの関連において説明されるが、本明細書に提示された概念は、一般に、建築物、工場（特に半導体工場）、または建築物の集合（都市）などのスペースにおける、ならびにデータ・センタにおける、温度分布の分析（位置はたとえば熱密度に基づいて選択され、熱が多いほどエネルギー管理の重要性も高くなる）に適用可能であることに留意されたい。

図１は、例示的データ・センタ１００を示す図である。データ・センタ１００は、サーバ・ラック１０１と、熱気を（典型的には上から、ＡＣＵ内の１つまたは複数の空気の戻りを通じて）取り込み、冷却気を下の下地床プレナム（sub-floor plenum）に排出する空調ユニット（ＡＣＵ）を備えた、高床冷却システム１０２（コンピュータ室空調装置（ＣＲＡＣ）とも呼ばれることがある）とを有する。データ・センタ１００を通る熱気流は白矢印１１０で示され、データ・センタ１００を通る冷却気は黒矢印１１２で示される。以下の説明では、下地床プレナムの上のデータ・センタは単に高床と呼び、下地床プレナムは単にプレナムと呼ぶことがある。したがって単なる例を挙げると、図１に示されるように、ＡＣＵは温かい空気を高床から取り込み、冷却気をプレナム内に放出する（以下を参照のこと）。

図１では、サーバ・ラック１０１は前面から背面への冷却を使用し、下に下地床１０４を備えた高床１０６上に配置される。すなわちこの方式に従えば、冷却気は各ラックの前面（吸気口）を通って引き込まれ、暖気は各ラックの背面（排気口）から排出される。ラックの前面に引き込まれた冷却気は、内部の各ＩＴ機器コンポーネント（たとえばサーバ）の吸気口へと供給される。高床１０６と下地床１０４との間のスペースが、下地床プレナム１０８を画定する。下地床プレナム１０８は、たとえばＡＣＵ１０２からラックへの冷却気を移送するための導管として働く。適切に組織化されたデータ・センタ（データ・センタ１００など）では、ラック１０１は、暖気通路冷気通路構成、すなわち、交互方向に吸気口と排気口とを有するように配置構成される。すなわち、冷却気は、下地床プレナム１０８から冷気通路内へと、穿孔されたフロア・タイル１１４（通気孔（vent）とも呼ばれる）を通って高床１０６に吹き込まれる。その後、冷却気は、ラックの吸気口側にある吸気口を介してラック１０１内に引き込まれ、ラックの排気口側にある排気口を介して、暖気通路内へと放出される。

ＡＣＵは、典型的には、冷凍冷蔵プラント（図示せず）から冷水を受け取る。各ＡＣＵは、典型的には、ＡＣＵを介して空気を循環させ、たとえば下地床プレナム内へ冷却気を吹き込むための、ブロワ・モータ（blower motor）を備える。したがって、ほとんどのデータ・センタでは、ＡＣＵは、主に冷却気を下地床プレナム内へ吹き込むために必要な電力を消費する、単純な熱交換器である。典型的には、サーバ・ラック１０１への電力を配分する、１つまたは複数の電力配分装置（ＰＤＵ）（図示せず）が存在する。

図２は、たとえば上記図１の記述と共に説明されたデータ・センタ１００などのデータ・センタ内の温度分布をモデル化するための、例示的方法２００を示す図である。ステップ２０２では、データ・センタ全体にわたる複数の位置について、垂直温度分布データが取得される。垂直分布データは、たとえば移動測定技術（ＭＭＴ）を使用して取得可能である。例示的実施形態によれば、サーバ・ラックの吸気口側の垂直温度プロファイルがモデル化される（下記参照）。したがってその場合、垂直温度分布データは、データ・センタ内の１つまたは複数のサーバ・ラックそれぞれの吸気口側で取得される。

以下で詳細に説明するように、ＭＭＴデータは空間的には密であるが、時間的には疎である（こうした包括的スキャンは完了までに比較的長い時間を要するため、一般に、読み取りはおよそ１年に１回のみ行われる）。したがって、たとえば垂直温度分布データは、時間Ｔ＝０について、たとえばＭＭＴを介して取得される。しかしながら、データは、たとえばデータ・センタ全体にわたって配置されたセンサを使用して、「リアルタイム」温度データを用いて更新可能である（以下を参照）。以下で詳細に説明するように、これらのリアルタイム・センサは、ＭＭＴスキャンと比較して、時間的には密な読み取り値を提供することが可能であるが、空間的には疎である（たとえばラック当たり１センサ）。

ステップ２０４では、それぞれの位置についての垂直温度分布データがｓ曲線としてプロットされる。ｓ曲線については、以下で詳細に説明する。しかしながら一般に、データ・センタ内の、たとえばラックの吸気口側での垂直の温度プロファイルは、温度および高さの関数としてプロットされた場合、上下に平坦域（plateau）を伴うｓ曲線形状を示す。有利なことに、垂直温度分布データは、ｓ曲線形状で反映されるそれぞれの位置での物理的条件を反映する。単なる例として挙げれば、ｓ曲線の形状に影響を及ぼす可能性のある、データ・センタ内に存在する可能性のある物理的条件には、データ・センタ内のサーバ・ラックの位置、サーバ・ラックから空調ユニットまでの距離、サーバ・ラックの高さ、温度フットプリント（footprint）、サーバ・ラックの露出、天井の高さ、最も近いタイルまでの距離、空調ユニットからサーバ・ラックへと送られる空気流、サーバ・ラック内の開口部、サーバ・ラックの電力消費、および、サーバ・ラックの空気流需要量が含まれるが、これらに限定されるものではない。すなわちこれら前述の条件は、垂直温度プロファイル、ならびに結果として生じるｓ曲線の形状に影響を及ぼす可能性がある。以下で詳細に説明するように、この発見によって、たとえばｓ曲線の形状を特徴付ける少ないパラメータのセットによって、物理条件を表すことが可能になる。

その点で、ステップ２０６では、それぞれのｓ曲線が、ｓ曲線の形状を特徴付けるパラメータのセットで表される。ｓ曲線表示は、事前に定義されたｓ曲線タイプの知識ベース・モデルを構成し、これを基に、データ・センタ全体にわたる複数の位置での温度分布および関連付けられた物理的条件を分析することができる。例示的実施形態によれば、パラメータは、ｓ形曲線の下部平坦域、ｓ形曲線の上部平坦域、ｓ形曲線上部のｓ形の程度（s-shape-ness）、ｓ形曲線下部のｓ形の程度、および、ｓ形曲線の中間点が到達する高さのうちの、１つまたは複数を含む。これらのパラメータについては、以下で詳細に説明する。パラメータのセットは、好ましくは、ｓ形曲線がそれに関する垂直温度分布のプロットである、データ・センタ内の特定の位置を記述する１つまたは複数のパラメータも含む。以下を参照のこと。

ステップ２０８では、事前に定義されたｓ曲線タイプを、パラメータの類似性に基づいてグループ化することができる。単なる例を挙げると、ｓ曲線タイプは、５０％ポイントでの勾配によってグループ化することができる。たとえば、１０℃／フィートから２０℃／フィートまでの勾配を備えるｓ曲線がまとめてグループ化され、２１℃／フィートから３０℃／フィートまでのスロープを備えるものがまとめてグループ化される、という具合である。上記で明らかなように、事前に定義されたｓ曲線タイプは、これらのｓ曲線タイプをまとめてグループ化することによって、サーバ・ラックから空調ユニットまでの距離などのデータ・センタ内の物理的条件を反映するため、パターンが出現することになる。さらにｓ曲線は、好ましくは特定の位置に（すなわち、前述のように、ｓ形曲線がそれに関する垂直温度分布のプロットである、データ・センタ内の特定の位置を記述するパラメータを介して）結び付けられるため、パターンは、データ・センタの特定の領域にリンクすることもできる。

ステップ２１０では、時間Ｔ＝１についてリアルタイム温度データが取得される。上記で明らかなように、このリアルタイム温度データは、リアルタイム・センサから取得可能である。リアルタイム・センサから取得されたデータは、たとえばＭＭＴスキャンからのデータよりも空間的には密でないが、このリアルタイム・データを使用して、たとえば時間Ｔ＝０から時間Ｔ＝１までに発生したデータ・センタ内のいずれの変化をも反映するように、ＭＭＴデータを更新することができる。

ステップ２１２では、リアルタイム・データは、複数の位置についての更新された垂直温度分布データを取得するために、時間Ｔ＝０について取得されたデータ上に補間される。例示的補間技法については、以下で詳細に説明する。ステップ２１４では、それぞれの位置についての更新された垂直温度分布データが、ｓ曲線としてプロットされる。前述のように、垂直温度分布データは、ｓ曲線の形状で反映されるそれぞれの位置で、物理的条件（この場合は更新された物理的条件）を反映する。ステップ２１６では、更新されたｓ曲線は、知識ベース・モデル内の事前に定義されたｓ曲線タイプと対合（本明細書ではタイプキャストとも言う）される。対合／タイプキャスト技法については、以下で詳細に説明する。

吸気温度：上記で明らかなように、例示的実施形態によれば、サーバ・ラックの吸気口側での垂直温度プロファイルがモデル化される。米国暖房冷凍空調学会（ＡＳＨＲＡＥ）では、２００８年、ASHRAE Environmental Guidelinesfor Datacom Equipment、Expanding the RecommendedEnvironment Envelopeにおいて、サーバ・ラックの吸気温度を「データ通信機器に入る吸気」の温度であると説明している。データ・センタ内では、吸気温度は、たとえばサーバ、ネットワーク、ストレージなどのＩＣＴ機器の信頼性に影響を与える可能性があるため、重要である。ほとんどのデータ・センタは、吸気温度を必要なレベルに維持するためにしばしば過度に冷却され、結果としてエネルギーの無駄が生じることになる。吸気温度の維持とそのために必要なエネルギーとの間にはトレードオフが存在する。すなわち、吸気温度を下げることはさらに冷却することを意味し、より多くのエネルギー・コストがかかるが、吸気温度を上げることは冷却を減らすことにつながり、エネルギー・コストも減少する。これは、熱力学の第２法則によって生じる結果である。

たとえば、暖気通路と冷気通路の分離および閉じ込めなどにかかるコストを最低限に維持しながら、吸気温度を維持することを容易にするように、データ・センタを最適化するために、多くの方法および最良実施例が採用されてきている。閉じ込めとは、熱気が冷気通路に侵入できないように冷気通路を囲う方法である（「再循環」によるホットスポットを防ぐ）。

データ・センタに対してコンフィンデンス（吸気温度の制御）を提供し、エネルギー節約をもたらすための鍵は、データ・センタ・ダイナミクスの理解、室内構成の変化への対策、および、エネルギー節約構想の計画的な実施である。データ・センタ・ダイナミクスを理解し、リスクを最小限にするかまたはなくすことができれば、データ・センタ内のエネルギー・レベルを上げ、コストを減らすことが可能である。モデル化は、データ・センタ・ダイナミクスを理解するために使用可能な技法の１つである。

データ・センタのモデル化：データ・センタは非常に動的な環境である。データ・センタの特徴を詳細に理解するためには、高分解能データが必要である。たとえば、Hamann等に対して発行された「Method and Apparatus for Three-DimensionalMeasurements」という名称の米国特許第７３６６６３２号（以下、「米国特許第７３６６６３２号」と呼ぶ）で説明されているような、移動測定技術（ＭＭＴ）が、データ・センタを特徴付けるための空間的高分解能データの例である。ＭＭＴでは、カート上に取り付けられた温度センサ・グリッドを使用して、データ・センタなどの室内での３次元温度分布がマッピングされる。センサは、地面から様々な高さ、および間隔は１フィート（約３０．４８ｃｍ）未満の横位置で取り付けられる。しかしながら、ＭＭＴが提供するデータは、時間的には一瞬のものである。データ・センタは、ＡＣＵがオンとオフを切り替える、サーバの熱負荷が変化する、機器が追加、再構成、または除去されるのに応じて、刻一刻と変化し、データ・センタ室の挙動（すなわち、熱分布または温度分布）に影響を与える。

データ・センタ内に空間的に高分解能な感知機器を永続的に配置することは不可能であるため、データ・センタの表示をモデルの形で生成することによって、データ・センタのダイナミクスを理解することが必要である。データ・センタのモデルが生成可能な場合、ベース・モデルとして（たとえばＭＭＴを使用してそれほど頻繁ではなく取得される）高分解能データを使用しながら、（より頻繁に取得される）空間的低分解能感知を、モデル上の制御ポイントまたは境界として導入することができる。ベース・モデルおよび動的モデルの両方を、有効モデルとすることができる。「有効モデル」という用語は、実際の熱分布の正確な記述を作成しているモデルのことを言い表す。例示的実施形態によれば、空間的低分解能感知は、室内、すなわちデータ・センタ内全体にわたって疎に配置されたセンサ（たとえば、サーバ・ラック当たり１センサ）を使用して取得される。データ・センタ内の変化は、これらの疎に配置されたセンサによって検出可能であり、モデルは、データ・センタ環境内の変化を示すように調整可能である。加えて、コンピュータがこのモデルにアクセスできるため、人間のユーザとの対話のために、モデルに分析、警告、および警報を適用することができる。

データ・センタのモデルを作成するために、複雑な数値物理学ベースのモデルから統計モデルまで、多くの形を採用することができる。これは、正確さ、柔軟性、および計算時間の間のトレードオフを伴う、複雑なタスクである。計算流体力学（ＣＦＤ）などのモデルは、最小限の入力パラメータでデータ・センタを正確に記述（シミュレート）することが可能であり、変更に対して敏感ではない。しかしながら、ＣＦＤモデルを使用する場合、計算には多くの時間がかかる。これに対して、統計モデルは解決が速いが、変更に対して非常に敏感であり、正確さが失われるものであって、すなわち統計モデルは、変更が発生する場合、または「仮定の（what-if）」シナリオがテストされる場合、予測を立てるのがそれほど正確ではない。こうしたトレンドについては、図３〜図４に示されている。図３は、完全なナビエ・ストークス（ＮＳ）−ＣＦＤ）モデル、簡略化された物理モデル、および統計モデルに関する、必要な入力パラメータ数（＃）の関数として、計算速度／複雑さを示すグラフ３００Ａである。図４は、完全なＮＳ−ＣＦＤモデル、簡略化された物理モデル、および統計モデルに関する、モデルの正確さの関数として、データ・センタ（ＤＣ）内の変化の度合いを示すグラフ３００Ｂである。

ＣＦＤ手法は、流量および熱伝導を左右する物理方程式を解くためおよび分析するために、数値法およびコンピュータ・アルゴリズムを使用する。基礎となる物理特性は、任意の単相流量を記述する、ナビエ・ストークス方程式によって与えられる。これらの流量に関する方程式は、粘着性を記述する項を除去すること（オイラー方程式を生み出す）、および、ポテンシャル方程式を生み出す渦度を記述する項を除去することによって、簡略化することができる。これらのポテンシャル方程式は、線形化することができる。ここで、これらの線形化されたポテンシャル方程式（ＣＦＤ手法を使用するよりも容易かつ迅速な計算である）を解くことが好ましい。流れ場（flow field）が計算されると、たとえば、整理参照番号ＹＯＲ９２００８０１１４ＵＳ１として指定され、Hamann等によって出願された、「Techniques for Thermal Modeling of DataCenters to Improve Eergy Efficiency」という名称の米国特許出願第１２／１４６８５２号（以下、「米国特許出願第１２／１４６８５２号」と呼ぶ）に記載されたものと同様の計算、数値法を使用して、熱伝導−対流方程式が解かれる。

知識ベース・モデル：本技法は、大量の実験データを使用して作成された知識ベースに基づいて温度分布をモデル化するための、新しい方法を含む。この「知識ベース・モデル」は、エネルギー・バランスなどの基本的な物理的原理、ならびにモデルを更新するためのリアルタイム・データによって補足される。さらに例示的一実施形態では、知識ベース・モデルは、補間技法（たとえばクリギング（kriging））に関するトレンドとして使用され、ここでは完全な温度場を予測するために疎なセンサ・データが使用される（詳細な情報については、整理参照番号ＹＯＲ９２００８０１１５ＵＳ１として指定され、Amemiya等によって出願された、「Techniques to Predict Three-DimensionalThermal Distributions in Real-Time」という名称の米国特許出願第１２／１４６９５２号（以下、「米国特許出願第１２／１４６９５２号」と呼ぶ）も参照のこと）。

本技法は、測定された温度分布の半経験的なトレンドおよびパターンを利用する。知識ベースは、経験的データと基本的な物理的原理の両方によって、刷新および機能強化される。この知識ベースの一適用例は、疎なセンサ・データに基づいて完全な温度場をより正確に予測するために、空間クリギングから離れてトレンド関数を提供する。

以下に、本技法の一例について説明する。データ・センタの温度分布は、たとえば米国特許第７３６６６３２号、および、Hamann等による「Uncovering Energy-Efficiency Opportunities inData Centers」、IBM Journal of Research andDevelopment、vol.53、no.3（２００９年）（以下、「Hamann」）に記載された、ＭＭＴによって取得された。この例では、ＭＭＴデータが知識ベースに送り込まれる。図５は、データ・センタのＭＭＴスキャンの一片を表すイメージ４００であり、１２のサーバ・ラックがラベル付けされている（すなわち１〜１２）。図６は、１２のサーバ・ラックへの吸気温度の垂直温度がプロットされたグラフ５００である。具体的に言えば、グラフ５００では、サーバ・ラックｚの下部からの距離（フィート単位で測定）がｘ軸にプロットされ、吸気温度Ｔ_{ｉｎｌｅｔ}（摂氏度（℃）で測定）がｙ軸にプロットされる。サーバ高さと温度プロファイルとを位置合わせする方法を示すために、グラフ５００の下にサーバ・ラックのイメージが提供される。グラフ５００に示されるように、サーバ・ラックは約７フィート（約２．１３メートル）高さであり、１２のノードを含む（ノード、すなわち計算上のノードはサーバである）。吸気温度分布をモデル化し、正確に維持する必要のあるノードは、すなわち地面から、約１．５フィート（約０．４６メートル）から約６フィート（約１．８３メートル）である。電源およびネットワーク機器は、それぞれラックの上部および下部にある。図６のデータは、知識ベース・モデルを構築するために使用すること、およびモデル予測に利用することが可能な、一定のトレンドがあることを明確に示している。以下でさらに詳細に示されるように、これらのトレンドについては、何らかの基本的な物理的原理を使用して（より正確に）説明／表示することができる。

詳細には、図６のすべての温度プロファイルは、下部および上部に平坦域を備えた何らかのタイプの「ｓ曲線」挙動を示す。この挙動は、以下でｓ曲線と呼ばれ、サーバ・ラックの吸気口にわたる垂直温度プロファイルを記述するために使用される。このｓ曲線Ｔ（ｚ）は、以下で詳細に説明される、ラックの横位置の関数（Ｔ＝ｆ（ｘ，ｙ））でもあることに留意されたい。

温度プロファイル（限定数のパラメータを伴う）の（低位）表示を導出するために、ＭＭＴからの半経験的トレンド、あるいは、ＭＭＴプロセスの一部であるかまたは一部でない可能性のある流れ測定値などの他の測定値、またはその両方が使用される。以下を参照されたい。これらのパラメータは、ラック位置、ラックからＡＣＵまでの距離、ラックの高さ、温度フットプリント、サーバ・ラックの露出、天井の高さ、最も近いタイルまでの距離、ＡＣＵからサーバ・ラックへと送られる空気流、サーバ・ラック内の開口部、電力消費、および、サーバ・ラックの空気流需要量などの、データ・センタの他の知られた物理的条件に関係する。ＭＭＴデータは、３次元温度分布Ｔ（ｘ，ｙ，ｚ）を含む。典型的には、ＭＭＴデータは、座標、すべてのラックの寸法、天井の高さ、壁、ＡＣＵなどの、データ・センタのレイアウト・データも含む。あらゆるｓ曲線をラックに関連付けることができる。ラックの座標および寸法が知られている。したがって、これらの座標が、たとえばＡＣＵ座標とどのように関係するかを決定することが可能であり、それによってその後、どのパラメータが所与の曲線形状を生じさせるかを想起することができる。強調表示された部分５０２によって、上部平坦域Ｔ_ｈ／天井温度の変化が少ないことも示される。以下の他の考察を参照されたい。

これらｓ曲線の２つの例示的な記述／表示が、図７および図８に提示されている。これらの表示のパラメータが、知識ベースを作成するために投入される。すなわち図７は、以下の表示によってｓ曲線が表されるグラフ６００であり、

上式でｚはサーバ・ラックの下部からの距離である。

グラフ６００では、ｚ（フィート単位で測定）がｘ軸にプロットされ、吸気温度（華氏度（°Ｆ）で測定）がｙ軸にプロットされる。これらの表示のパラメータは、下部および上部の平坦域（それぞれＴ_ｌおよびＴ_ｈ）、曲線の上部および下部におけるｓ形の程度ならびに５０％ポイントでの勾配に関するβ１およびβ２因数である。平坦域μは、中間点（５０％ポイント）に達した地点、すなわち温度上昇（Ｔ_ｈからＴ_ｌ）の中間点の高さである。たとえば、Ｔ_ｈ＝４０およびＴ_ｌ＝２０の場合、パラメータμはＴ＝３０での高さを与えることになる。

これらのパラメータは、知識ベースから取得される。すなわち前述のように、初期にはこれらのパラメータを使用して知識ベースに投入される。たとえば、各ラックおよび各パラメータ・セットに関連付けられた空気流も記録される。最終的に、以下でさらに考察される「仮定の」シナリオに今後使用されることになる空気流に、パラメータがどのように依存するかの知識ベースの作成が開始される。上記で明らかなように、パラメータはＴ_ｌ、Ｔ_ｈ、β１、β２、およびμであり、ｚは変数であり、Ｔは関数の出力である。

図８は、これらのｓ曲線の他の（代替の）例示的記述／表示が以下の方程式に基づいて提示されるグラフ７００である。

グラフ７００では、ｚ（フィート単位で測定）がｘ軸にプロットされ、吸気温度Ｔ_{ｉｎｌｅｔ}（摂氏度（℃）で測定）がｙ軸にプロットされる。上記の数式１は、ｓ曲線の下部および上部におけるｓ挙動の非対称を許可するが、ここ（数式２）ではこの挙動は無視される。ｌｏｇ（ｘ０）パラメータは、下部平坦域と上部平坦域との間の５０％に達するｚ値を与え、以下の数式は、５０％での勾配を与える。

Ｔ_ｌおよびＴ_ｈは、リアルタイム測定値（ＡＣＵの排出および戻り温度）から取得可能である。ＡＣＵの排出温度はラックの下部に供給される空気であるため、Ｔ_ｌを決定し、戻り温度はサーバ・ラックの上部の温度を表すため、Ｔ_ｈに関係する。データ・センタの温度プロファイル（すなわち、たとえば図６に示される垂直温度プロファイル）は、その後、ｓ形状の曲線で表される。曲線の勾配および５０％ポイントは、ラックの再循環および空気流特徴を表す。以下でさらに説明するように、勾配および５０％ポイントは、再循環および空気流特徴の「レベル」に関係するものとすることができる。たとえば、サーバが、穿孔タイルを通じて供給されるよりも多くの空気を（ファンによってサーバ内に引き込むことによって）「要求する」場合、ラック前の低圧が増大し、典型的には周囲の領域からより温かい空気が冷気通路内へと移動する。これにより、５０％ポイントをより低い値へと移動させることになる（すなわち、５０％ポイントがサーバ・ラックの下部に近い場所で発生する）。

その後パラメータは、ラック位置の関数として適合される（ここではｘ０およびｐ）。以下で詳細に説明するように、パラメータｘ０およびｐはラックが「どこに」あるかに依存する。たとえば、通路の角にあるラックの方が再循環を起こす傾向があり、すなわち低いｘ０値および場合によってはさらに低いｐ値が見つかることになる（たとえば、以下で説明される図２４を参照のこと）。

どちらの表示も（図７および図８を参照のこと）、以下で追及される基本的な物理的原理を利用していることに留意されたい。どちらの表示も、下部平坦域および上部平坦域を記述するパラメータ、ならびに、これらの平坦域の間の異なるｚ高さでのｓ曲線の勾配（たとえば、５０％ポイントでの曲線の勾配）を表すパラメータを使用する。ｓタイプの垂直温度プロファイルがデータ・センタ全体にわたって見られるが、このｓ形状の概念は、サーバの吸気口の位置で特に重要である（吸気口側の温度を維持することが望ましいため）。システムの信頼性を満足させるため、正しい吸気温度を提供する必要がある。

次に、この表示のパラメータについて説明する。下部平坦域（ＴｌｏｗまたはＴ_ｌ）は、それぞれの平坦域温度分布Ｔｐ（ｘ、ｙ）によって左右される（すなわち、プレナム内の温度分布が、ラックの下部に供給される穿孔タイルの空気の温度を決定する）。プレナムの温度分布を計算するための単純な概念は、たとえば、米国特許出願第１２／１４６８５２号、整理参照番号ＹＯＲ９２００９０１５７ＵＳ１として指定された「Methods and Techniques forCreating and Visualizing Thermal Zones」という名称の米国特許出願第１２／５４００３４号（以下、「整理参照番号ＹＯＲ９２００９０１５７ＵＳ１と呼ぶ」）、および、米国特許出願第１２／１４６９５２号に記載されている。しかしながら一般に、プレナム温度分布は、様々な手段あるいはこれらの手段の組み合わせまたはその両方によって、計算／推定可能であることに留意されたい。たとえば例示的一実施形態では、（好ましくは）各ＡＣＵあるいはプレナム温度センサまたはその両方から測定された（好ましくはリアルタイムな）排出温度の標準的な補間技法（逆距離重み付け、空間クリギングなど）が使用される。他の例示的実施形態では、米国特許出願第１２／１４６８５２号および整理参照番号ＹＯＲ９２００９０１５７ＵＳ１に記載されているように、（計算流体力学）ＣＦＤ計算（２次元計算の方がより迅速に実行できるため、好ましくは、３次元ではなく２次元）を使用することができる。これらの計算に関する境界条件は、測定された（好ましくはリアルタイム）温度および空気流値から取得可能である。具体的に言えば、空気流値は（好ましくはリアルタイム）空気圧測定値から導出可能である。タイル流れインピーダンス（または空気に対する穿孔タイルの抵抗）と組み合わせ、圧力差（プレナムと高床との間の圧力差）を知ることで、空気流値（および、物理方程式を解くための境界に関する入力値）を計算することができる。

下部平坦域も、以下で考察するように、数式３を使用して上部平坦域から計算することができる（すなわち以下のように、Ｔ_ｌがＴ_ｈから取得可能であり、その逆も同様である）。他の技法を使用してＴ_ｌが決定できることも留意されたい。たとえばＴ_ｌは、知識ベースから直接一定にセットすることが可能であり、典型的なデータ・センタの場合、約６０°Ｆ（１５．６℃）となる。６０°Ｆ（１５．６℃）は、しばしばコンピュータ室ＡＣＵのデフォルト値である。

プレナム温度分布Ｔ_ｐ（ｘ，ｙ）は、タイル排出温度を決定する。理想的には、穿孔タイルはサーバ・ラックの吸気口側に配置されるため、特定のサーバ吸気口位置でのプレナム温度をＴ_ｌと同じであると（直接）みなすことができる。しかしながら、しばしばサーバ吸気口位置と最も近い穿孔タイルとの間には、いくらかの距離がある。ここで、知識ベースを使用して、たとえばＴ_ｌ＝Ｔ_ｐ ^＊ｔによって、Ｔ_ｌと最も近い穿孔タイル（または最も近い穿孔タイルのセット）とが関連付けられ、ここでｔは、距離に依存し、場合によってはサーバ・ラックの吸気口位置と最も近い穿孔タイルまたは最も近い穿孔タイルのセットとの間の空気流に依存する。特定の例示的一実施形態では、穿孔タイルからの空気流は、核（kernel）関数（たとえば、１／距離の依存性を有するローレンツ関数）で回旋（convolute）する。

上部平坦域（ＴｈｉｇｈまたはＴ_ｈ）は、データ・センタのそれぞれの天井温度によって左右される。（前述の）図５の強調表示された部分から明らかなように、上部平坦域Ｔ_ｈ／天井温度の変化は少ない（すなわち、異なるプロファイルのＴ_ｈ値は＋／−２℃未満であり、以下で説明する図９も参照のこと）。この平坦域は、以下の方法のいずれか１つ、またはそれらの組み合わせによって、推定可能である。例示的一実施形態では、（好ましくは）各ＡＣＵあるいは天井温度センサまたはその両方から測定された（好ましくはリアルタイム）戻り温度の標準補間技法（逆距離重み付け、空間クリギングなど）が使用される。単なる例として挙げると、逆距離法では３次元の場合以下のようになり、

上式では、以下の通りである。
ｘ，ｙ座標
Ｔ値（データ・ポイント）
ｎ値の数
ｉデータ・ポイント・インデックス
ｊ補間ポイント・インデックス
ｗ_ｉｊ重み
ｒ_ｉｊ補間ポイントとデータ・ポイントとの間の距離
ｃ平滑パラメータ
ｂ指数
ｍｕ減衰距離

他の例示的実施形態では、ＣＦＤ計算が使用される。ここでは、一般的な空気流場を計算するために、たとえば線形化ポテンシャル方程式を適用することが可能であり、その後、熱伝導−対流方程式を使用して温度場について解決される。さらに他の例示的実施形態では、以下の物理的関係を利用することにより、合計の電力消費および空気流を介して、上部平坦域を下部平坦域と関連付けることができる。

数式３を示すために、たとえば、データ・センタは１２０００立方フィート／分（ｃｆｍ）（約３３９．８立方メートル／分（ｃｍｍ））の空気流を生成する１つのＡＣＵを有し、データ・センタ内の合計消散電力は８０キロワット（ｋＷ）であるものと想定してみる。数式３を使用すると、Ｔ_ｈ−Ｔ_ｌ＝２１華氏度（°Ｆ）が得られる。たとえば、Ｔ_ｌ＝６０°Ｆの場合、Ｔ_ｈは平均８１°Ｆとなる。数式３は、たとえば空気流がスロットル・ダウンされた場合（すなわちエネルギー節約のため）、あるいは電力消散が変化した場合、またはその両方の場合の、影響を推定する際にも有用である。

物理的見地からすると、典型的なデータ・センタでは何らかのレベルの「再循環」が発生するという事実により、上部平坦域と下部平坦域との間のｓ形状は容易に有理化される。たとえば、穿孔タイルから十分な冷気が放出されず、したがってサーバのファンからの要件に合致しない場合、天井からの空気がラックの吸気側に引き込まれることになる。上記で明らかなように、サーバ・ファンはある一定量の空気をサーバを介して吹き込み、空気が穿孔タイルを通じて供給されない場合、サーバの前に低圧領域が作成され、周辺領域から典型的にはより熱い他の空気が取り込まれるが、この現象は「再循環」と呼ばれる。したがって、ほとんどの部分で、十分な冷気が提供される場合、再循環は発生しない（または最小限に発生する）。このミスマッチに応じて、異なるｓ形の程度、ならびに下部平坦域と上部平坦域との間の異なる５０％ポイントが見つかることになる。より長い冷気通路の端部にあるサーバ・ラックは、暖気により多くさらされる可能性がある。これに関する明らかな証拠が前述の図５および図６に示されており、サーバ・ラック１、６、７、および１２の示すｓ曲線は急勾配でないため、熱気に対する露出が増えることにつながり、より再循環を起こしやすくなる。

物理的条件をｓ形の程度に関連付けることができる方法に関する追加の証拠が、図９〜図２３に示される。図９〜図２３は、小規模データ・センタ内の１５のサーバ・ラックの垂直温度分布を示すグラフである。各グラフは、１０の異なる空気流設定値（下記を参照のこと）を備える、データ・センタ内の特定のサーバ・ラックに対応し（すなわち、図９はラック＃１に対応し、図１０はラック＃２に対応するという具合である）、これに対する凡例８０２がグラフの下に提示されている。各グラフでは、ラックの高さｚ（フィート単位で測定）がｘ軸にプロットされ、吸気温度（華氏度（°Ｆ）で測定）がｙ軸にプロットされる。データ・センタのレイアウト８０４もグラフの下に示されており、レイアウト内のラック番号はプロット内のラック番号に対応している。各プロットは、データ・センタ内の空気流がそれぞれ１から１０のケースについて、１２，４００、１１，９０４、１１，４０８、１０，９１２、１０，４１６、９，９２０、９，４２４、８，９２８、８，４３２、および８，０６０立方フィート／分（ｃｆｍ）（約３５１．１、３３７．１、３２３、３０９、２９４．９、２８０．９、２６６．９、２５２．８、２３８．８、および２２８．２立方メートル／分（ｃｍｍ））から減じられた、１０のトレースを有する。データは、ｓ曲線のより小さなｚ値方向への遷移、ならびに、データ・センタ内の空気流がスロットル・ダウンされた場合の上部平坦域での増加を、明白に示している。図９〜図２３をさらに注意深く分析すると、下部平坦域は一定であるが、上部平坦域は空気流がスロットル・ダウンされると前述のように増加することがわかる。

図２４は、上記数式２を、たとえば図５のグラフ５００内にプロットされた１２のサーバ・ラックの垂直吸気温度に適用し、知識ベースの作成を開始するために、たとえば図５に示されたそれぞれの垂直温度トレースを適合することから生じる、結果を示す表９００である。表９００では、前述のように、ＡＣＵ（冷気を供給する）から最も遠くにあり、長い通路でかなり露出された２つのラック（＃７および＃１２）が、強い再循環を示す低い５０％ポイントを示している。ラック＃１２は、例外的に最も低い５０％ポイントであるように見られる。ここでの物理的説明は、穿孔タイルからの流れが相対的に低いことである（ＡＣＵに近すぎるため、ベルヌーイ（または陰圧）効果が生じる）。

ｓ曲線のタイプキャスト：一例として、知識ベースを構築するために、各垂直特徴付けがタイプキャストされる。垂直特徴付けは、本来ｓ曲線、または高さｚとその高さでの温度との関係である。タイプキャストは、実際のｓ曲線と事前に定義されたｓ曲線とを突き合せる（事前に定義されたｓ曲線は、本明細書では「要素」と呼ばれることもあり、たとえば、すでに知識ベース内にある少ないパラメータのセットで表されるｓ曲線を構成する）。例示的実施形態によれば、事前に定義されたｓ曲線は、前述のようにＭＭＴデータを使用して取得される。垂直温度プロファイルを適合する（それによって実際のｓ曲線を生み出す）ために使用されるデータは、静的ＭＭＴデータあるいはリアルタイムＭＭＴデータまたはその両方からもたらされるものとすることができる。

各タイプキャスト要素は、物理的世界の挙動およびその挙動が発生する確率に関連付けられる、いくつかの属性を有する。この属性は、ｓ曲線を記述するパラメータを有すると挙動が発生する確率に寄与し、空気流などの属性は、これらのパラメータのこれらの属性への依存度を（任意の種類の数学的関係を使用して）実際に表すことができるものと識別されている。ここでこれらの属性は、ラックの位置、ラックからＡＣＵまでの距離、ラックの高さ、温度フットプリント、ラックの露出、天井の高さ、最も近いタイルまでの距離、ＡＣＵからサーバ・ラックへと送られる空気流、サーバ・ラック内の開口部、電力消費、および、サーバ・ラックの空気流需要量を含むことができる。これらは、ｓ曲線の形状に影響を与える属性である。ｓ曲線を導出する方法も提供される（以下で説明される、重み付けネットワーク例、図２５〜図２６も提供される）。

図２５および図２６は、それぞれ、事前に定義されたｓ曲線形状をタイプキャストするために便利な方法を提供する、例示的重み付けネットワークを示す、図１０００Ａおよび１０００Ｂである。この重み付けネットワーク例では、ｚ＝４．５での温度Ｔは制御温度であり、他のすべての温度をこれから推定することができる。各図は、Ｔ４．５から放射状に広がるアームを備える星形として構成され、出力は重み付け値の合計として与えられる。たとえば図１０００Ａおよび１０００Ｂでは、Ｔ４．５とＴ５．５をリンクしている数１．０２は、４．５フィート（１．３７２ｍ）と５．５フィート（１．６７６ｍ）との間の温度の関係である。星形のアームの長さは正しい割合を示す。図２５および図２６に示された星形の図では、中心Ｔ４．５は入口点温度である（しかしながら、高さは異なる可能性がある）。上記で明らかなように、アーム長さは、入口点温度と他のそれぞれの高さでの温度との比率を表す。したがってＴ４．５が２０℃の場合、Ｔ７．５は１．３^＊２０℃＝２６℃である。この使用の一例は、ある一定の高さでの温度、たとえばＴ０．５（穿孔タイルでのプレナム温度）が知られており、事前に定義されたｓ曲線タイプが知られている場合、すべての高さについての温度勾配を再構成することができる。

タイプキャスト・プロセスは、ｓ曲線形状（パラメータによって記述される、上記数式１および数式２を参照のこと）と、その物理属性（ｓ曲線形状はパラメータによって記述される、数式１および数式２を参照のこと）とを関連付けるために、前述の低位表示を利用してｓ曲線形状を特徴付けることによって、または以下で説明される図２７に示されたニューラル・ネットワークによって、実行することができる。図２７は、事前に定義されたｓ曲線形状をタイプキャストするための他の便利な方法を提供する、例示的ニューラル・ネットワーク１１００を示す図である。すなわち図２７は、実際の温度データ（プロット図のように示される）を事前に定義されたｓ曲線（出力）にキャストするために、ニューラル・ネットワークがどのように実装できるかを示す。ニューラル・ネットワークは、入力から出力へマッピングする際に適している。時には、これを実行するために中間層または隠れ層が必要であり、同じデータを表すための異なる方法とみなすことができる。ニューラル・ネットワークはすべての高密度温度データを走査し、これを少ない数の事前に定義されたｓ曲線タイプにキャストする、迅速な方法である。

前述のように、ｎ個の事前に定義されたｓ曲線が、知られている内容に基づいて作成される。タイプはそれらを記述するための属性を有することができる。たとえば以下の通りである。

次に、ｓ曲線タイプは以下のように知識ベースにグループ化することができる。

挙動に対するｓ曲線タイプのグループ化：低位方法、すなわち数式１、数式２、またはニューラル・ネットワーク方法のうちの１つを使用して、異なるｓ曲線を簡略化されたタイプにキャストすることによって、それらの変動性を低下させることにより、ｓ曲線タイプのグループ化を可能にすることができる。異なるｓ曲線形状をタイプキャストまたは特徴付けすることで、データ・センタ全体にわたる異なるタイプのｓ曲線の配置構成について考えることが可能である。これらのｓ曲線タイプは、データ・センタ内のそれらのｘおよびｙの位置パラメータによって配置構成される。すなわち、これまでに説明された内容は、吸気温度の高さｚおよびその高さでの温度である（ｓ曲線プロット）。データ・センタ全体にわたる異なるｘ，ｙ座標（ｘおよびｙは水平な床上の座標）で、これらの高さ対温度のｓ曲線が存在する。ここで、これらのｓ曲線のグループについてまとめて考える。床上の各ｘ，ｙ座標では、実際の温度対高さのデータが分析され、事前に定義されたｓ曲線タイプにキャストされる。基本的にここでは、異なる事前に定義されたｓ曲線のｘ，ｙグリッド、たとえばタイプ１からタイプ２０が存在する。このグリッドから出現する、事前に定義されたｓ曲線タイプのパターンまたはクラスタが見つけられる。それらがローカルな近隣に示すパターンを、データ・センタ内の物理的条件に関連付けることができる。

単なる例として挙げると、ｓ曲線は、低位関数（上記の数式１または数式２）で表すことが可能であり、異なる領域を使用してそれらをグループ化することが可能である。たとえば（前述の）図２４では、ｌｏｇ（ｘ０）＜４フィート（約１．２２ｍ）のｓ曲線を１つのグループとするか、または１０℃／フィートから２０℃／フィート、２０℃／フィートから３０℃／フィート、および３０℃／フィートから４０℃／フィートの勾配を異なるグループで表すことができる。さらにこれらの組み合わせを他のグループとすることができる。ニューラル・ネットワーク方法を使用する代わりに、数式１および数式２におけるパラメータを使用して、実際の温度データを事前に定義されたｓ曲線タイプにキャストすることが可能であることに留意されたい。

ｓ曲線がグループ化されると、タイプの位置を見つけることが可能であり、あるタイプの発生と位置とを相関できるかどうかを決定することが可能である。以上、ｓ曲線が、再循環、不十分な空気の供給、露出（ラックが通路の端部に存在するためなど）によってどのように影響を受けるかに関して、多くの例が与えられてきた。

図２８は、知識ベースを構築するために使用される出現パターンを示す図である。ここで、ｓ曲線のパターンと突き合せが可能な実際のデータの知識ベースが存在する。リアルタイム・データ・センタ内にはリアルタイム・センサが配置され、そこから取得されたデータは、たとえばクリギング補間技法（以下で説明）を使用して、高分解能ＭＭＴベース・データ上に補間される。これにより、データ・センタ全体にわたって新しいｓ曲線が生成される。これらの新しいｓ曲線は、現行のデータ・センタ環境に関して知識ベースから推奨事項または情報を生み出すために分析可能な、ｓ曲線タイプの新しい水平グリッドを形成するためのタイプキャストである。

第２の知識ベースは、データ・センタ環境を説明するために示す高レベル条件に対して、これらのｓ曲線タイプのパターンで構築可能である。前述のように、あるタイプは、不十分な空気の供給などのある物理的条件下で発生することになる。たとえば、平均カーブより急でない勾配および５０％ポイントに対する低い値は、熱気が天井から「吸い込まれる」ことになるため、不十分な空気の供給を示す可能性がある。

図２９は、物理的挙動を、たとえばコンサルタント（すなわち、専門的または熟練したアドバイスを与えることが可能な人物）によってどのようにモデルに入力できるかを示す図である。円は、物理的挙動がデータ・センタ・レイアウト内のどこに関係付けられるかを示す。モデルは、円で囲まれた領域内に事前に定義されたｓ曲線タイプのクラスタによって形成されたパターンを、コンサルタントによって入力された挙動にマーク付けする。これで、特徴付けられたｓ曲線タイプの水平アレイが存在し、ＭＭＴコンサルタントの経験に基づいて、新しいネットワークを作成および教示することができる。データ・センタの物理的特徴に関連付けられた情報または知識は、各データ・センタが調査された後、ｓ曲線タイプのパターンに適用することができる。図２９では、典型的なＭＭＴ出力が推奨事項と共に示される。監視マシン学習法を使用して、円内のパターンが推奨事項にリンクされる。すなわち、前述のような事前に定義されたｓ曲線タイプのグリッドは、基本的に、たとえばニューラル・ネットワークによって解決可能なパターン認識問題を形成する。学習は、コンサルタントが物理的記述に関連付けること（上記を参照のこと）が可能なグリッド内の領域を画定することによって実行可能である。したがって、事前に定義されたｓ曲線タイプのクラスタによって形成されたパターンを認識することができる。モデルはコンサルタントの入力から教示される。いったん教示されると、モデルは、たとえばクリギング(kriging)によって呼び出される再キャストによって、パターンまたはパターンの変更を認識するタイミングを予測することができる。

一実施形態では、モデルは、監視パターン認識法およびマシン学習技法を使用して教示することができる。たとえば、データ・ポイントの半径内にあるパターンは、異なるデータ・センタ内での実際の経験に基づいて教示すること、および知識ベースに格納することが可能である。重み付けパターン認識ネットワークは、パターンと知識ベースとをファジー（fuzzy）に突き合せることができる。上記で明らかなように、図２９は、このネットワークが経験によってどのように教示できるかを示すものであり、円はデータ・センタ内の実際の経験にリンクされたｓ曲線タイプのパターンを表す。知識ベースが構築された場合、パターンの異なる組み合わせを物理的挙動にリンクさせて、予測を提供し、推奨事項および講じる必要のある処置を行うことができる。パターンが認識できない場合、タイプキャストされたｓ曲線の属性を使用して、監視されていないモデルに教示することができる。属性によって個々のｓ曲線について理解することが可能であり、この属性のコンパイルを物理的挙動と相関させることができる。

知識ベース・モデルおよびクリギング：本知識ベース・モデルの一適用例は、それを補間またはクリギングのために使用することである。たとえば、Noel A.C.Cressieによる「Statistics for Spatial Data」、Chapter 3、AWiley-Interscience publication、（１９９１年）を参照されたい。たとえば、数台の（たとえばリアルタイム）センサがサーバ・ラックの前に配置されたデータ・センタ内では、センサが配置されていないサーバに関する吸気温度を推定することが望ましい場合がある。知識ベースとセンサからのリアルタイム値との組み合わせによって、非常に適切な推定値が提供できることは明白である。この補間に関する適切な数学的枠組みはクリギングを含む。クリギングとは、知られた位置で測定されたデータから未知の値を予測／推定する補間方法である。具体的に言えば、バリオグラム（variogram）を使用して空間的な変動を取得し、その後、予測値の空間的分布によって推定される予測値の誤りを最小限にする。クリギングは、トレンド関数、たとえば前述のようなｘ，ｙ位置の関数としてのｓ曲線を含むことができる。従来のクリギング・モデルからの知識ベース・モデルを用いた、このクリギングに関する違いは、知識ベース・モデルがモデルの枠組み内で明示的に配慮されていることである（すなわち、知識ベース・モデルはクリギングに組み込まれ、反映される）。この考えは、温度場が主に物理的法則によって左右されるため、物理的法則を反映する合理的なモデルが構築された場合、これは温度予測モデルの構築ブロックとなるべきであり、推定される残りの部分は、この物理的モデルからの偏差である。より具体的に言えば、ｆ（ｚ）を知識ベース・モデル、たとえば温度変動をｚ高さとして記述するｓ曲線関数であると想定してみる。Ｙ（ｒ）を、位置ｒ＝（ｘ，ｙ，ｚ）で観測された温度とする。ｒの近隣のいくつかの空間的位置で観測された温度が与えられた場合、これらの位置はｒ_ｉと示され、そのｚ座標はｚ_ｉであり、知識ベース・モデルを用いた予測方程式は、ｆ（ｚ）と、この知識ベース・モデルからの近隣位置の偏差の入力として採用するクリギング・モデルという、２つの成分からなる。ｆ（ｚ）の係数はモデルの柔軟性のために以下のように含められる。

実際には、近隣ｎｅ（ｒ）の選択は、Ｋの最も近い近隣または既定の半径の領域などの、何らかの発見的基準とすることができる。

次に図３０に進むと、本発明の一実施形態に従った、データ・センタ内の温度分布をモデル化するための装置１４００のブロック図が示されている。装置１４００は、図２の方法２００を実施するための一実施形態を表すものであることを理解されたい。

装置１４００は、コンピュータ・システム１４１０および取り外し可能メディア１４５０を備える。コンピュータ・システム１４１０は、プロセッサ・デバイス１４２０、ネットワーク・インターフェース１４２５、メモリ１４３０、メディア・インターフェース１４３５、およびオプションのディスプレイ１４４０を備える。ネットワーク・インターフェース１４２５は、コンピュータ・システム１４１０をネットワークに接続できるようにするものであり、メディア・インターフェース１４３５は、コンピュータ・システム１４１０が、ハード・ドライブまたは取り外し可能メディア１４５０などのメディアと対話できるようにするものである。

当分野で知られているように、本明細書で考察される方法および装置は、実行された場合に本発明の諸実施形態を実装する１つまたは複数のプログラムを含む、機械読み取り可能メディアをそれ自体が備える製品として、配布可能である。たとえば、機械読み取り可能メディアは、データ・センタ全体の複数の位置に対して垂直温度分布データを取得し、各位置に対する垂直温度分布データをｓ曲線としてプロットし、垂直温度分布データはｓ曲線の形状で反映されるそれぞれの位置での物理的条件を反映し、それぞれのｓ曲線をｓ曲線の形状を特徴付けるパラメータのセットで表し、このｓ曲線表示が事前に定義されたｓ曲線タイプの知識ベース・モデルを構成し、これを基にデータ・センタ全体にわたる複数の位置での温度分布および関連付けられた物理的条件を分析することが可能であるように構成された、プログラムを含むことができる。

機械読み取り可能メディアは、記録可能メディア（たとえば、フレキシブル・ディスク、ハード・ドライブ、取り外し可能メディア１４５０などの光ディスク、またはメモリ・カード）とするか、あるいは、伝送メディア（たとえば、光ファイバ、ワールド・ワイド・ウェブ、ケーブル、あるいは、時分割多重アクセス、符号分割多重アクセス、または他の無線周波数チャネルを使用する無線チャネルを備える、ネットワーク）とすることができる。コンピュータ・システムで使用するのに好適な情報を格納可能な、知られているかまたは開発される任意のメディアが使用可能である。

プロセッサ・デバイス１４２０は、本明細書で開示された方法、ステップ、および機能を実装するように構成可能である。メモリ１４３０は分散されるかまたはローカルとすることが可能であり、プロセッサ１４２０は分散されるかまたは単一とすることが可能である。メモリ１４３０は、電気、磁気、または光メモリ、あるいは、これらまたは他のタイプのストレージ・デバイスの任意の組み合わせとして、実装可能である。さらに「メモリ」という用語は、プロセッサ・デバイス１４２０によってアクセスされるアドレス指定可能スペース内のアドレスからの読み取り、またはそのアドレスへの書き込みが可能な、任意の情報を包含するように十分であるものと、広義に解釈されるべきである。この定義を用いると、ネットワーク・インターフェース１４２５を介してアクセス可能なネットワーク上の情報は、プロセッサ・デバイス１４２０がネットワークからその情報を取り出すことができるため、依然としてメモリ１４３０内にあることになる。プロセッサ・デバイス１４２０を構成する各分散プロセッサは、一般に、それ専用のアドレス指定可能メモリ・スペースを含むことに留意されたい。コンピュータ・システム１４１０の一部または全部は、特定用途向け集積回路または汎用集積回路に組み込み可能であることにも留意されたい。

オプションのビデオ・ディスプレイ１４４０は、装置１４００の人間ユーザと対話するために好適な任意のタイプのビデオ・ディスプレイである。一般に、ビデオ・ディスプレイ１４４０は、コンピュータ・モニタまたは他の同様のビデオ・ディスプレイである。

以上、本明細書では、本発明の例示的諸実施形態について説明してきたが、本発明はそれらの精密な諸実施形態に限定されるものではなく、本発明の範囲を逸脱することなく、当業者による様々な他の変更および修正が実行可能であることを理解されよう。

Claims

データ・センタ全体の複数の位置に対して垂直温度分布データを取得するステップと、
それぞれの前記位置に対する前記垂直温度分布データをｓ曲線としてプロットするステップであって、前記垂直温度分布データは前記ｓ曲線の形状で反映されるそれぞれの前記位置での物理的条件を反映する、プロットするステップと、
それぞれの前記ｓ曲線を前記ｓ曲線の前記形状を特徴付けるパラメータのセットであるs曲線表示として表すステップであって、前記ｓ曲線表示が事前に定義されたｓ曲線タイプの知識ベース・モデルを構成し、これを基に前記データ・センタ全体にわたる前記複数の位置での温度分布および関連付けられた物理的条件を分析することが可能である、表すステップと、
を含む、データ・センタ内の温度分布をモデル化するための方法。
前記温度分布データが、移動測定技術（ＭＭＴ）を使用して取得される、請求項１に記載の方法。
前記パラメータが、ｓ曲線の下部平坦域、ｓ曲線の上部平坦域、ｓ曲線上部のｓ形の程度、ｓ曲線下部のｓ形の程度、および、ｓ曲線の中間点が到達する高さのうちの、１つまたは複数を含む、請求項１に記載の方法。
前記パラメータのセットが、前記ｓ曲線がそれに関する前記垂直温度分布のプロットである、前記データ・センタ内の特定の位置を記述する１つまたは複数のパラメータをさらに含む、請求項１に記載の方法。
前記データ・センタが、サーバ・ラックと、前記サーバ・ラックから熱気を取り込み、高床内の複数の穿孔タイルを通じて前記サーバ・ラックへと送られる冷却気を下地床プレナムに排出するように構成された、１つまたは複数の空調ユニットを備えた、高床冷却システムとを備える、請求項１に記載の方法。
前記データ・センタ内の前記サーバ・ラックのうちの１つまたは複数のそれぞれの吸気口側で、垂直温度分布データを取得するステップをさらに含む、請求項５に記載の方法。
前記物理的条件が、前記データ・センタ内のサーバ・ラックの位置、サーバ・ラックから空調ユニットまでの距離、サーバ・ラックの高さ、温度フットプリント、サーバ・ラックの露出、天井の高さ、最も近いタイルまでの距離、前記空調ユニットから前記サーバ・ラックへと送られる空気流、前記サーバ・ラック内の開口部、サーバ・ラックの電力消費、および、サーバ・ラックの空気流需要量のうちの、１つまたは複数を含む、請求項５に記載の方法。
前記垂直温度分布データが時間Ｔ＝０について取得され、
時間Ｔ＝１についてリアルタイム温度データを取得するステップであって、前記リアルタイム・データは、時間Ｔ＝０について取得された前記データよりも空間的密度が低い、取得するステップと、
前記リアルタイム・データを、前記複数の位置について更新された垂直温度分布データを取得するために、時間Ｔ＝０について取得された前記データ上に補間するステップと、
をさらに含む、請求項１に記載の方法。
それぞれの前記位置について前記更新された垂直温度分布データをｓ曲線としてプロットするステップであって、前記垂直温度分布データが、前記ｓ曲線の形状で反映されるそれぞれの前記位置での更新された物理的条件を反映する、プロットするステップと、
前記更新されたｓ曲線を、前記知識ベース・モデル内の前記事前に定義されたｓ曲線タイプと対合するステップと、
をさらに含む、請求項８に記載の方法。
事前に定義されたｓ曲線タイプを同様のパラメータに基づいてグループ化するステップをさらに含む、請求項１に記載の方法。
実行された場合、請求項１または請求項８のいずれか一項に記載の方法のすべてのステップを実装する１つまたは複数のプログラム。
メモリと、
前記メモリに結合され、
請求項１、５、６または８乃至１０までのいずれか一項に記載の方法のすべてのステップを実行するためのプログラムを前記メモリに記憶し、記憶したプログラムを実行することで、すべてのステップの動作をすることができるプロセッサ・デバイスと、
を備える、データ・センタ内の温度分布をモデル化するための装置。