[発明の詳細な説明]
単純化及び説明のために、本発明は、本発明の例示的な実施形態を主に参照することによって述べられる。以下の説明では、本発明を完全に理解することを可能にするために、多くの特定の詳細が記載される。しかしながら、本発明を、これらの特定の詳細に限定することなく実施することができることが、当業者には明らかになるであろう。他の例では、本発明を不必要に曖昧にしないように、既知の方法及び構造は詳細には述べられていない。
本開示全体を通して、「冷却流体」及び「加熱された冷却流体」への言及がなされる。簡単にするために、「冷却流体」は概ね、冷却装置、例えばコンピュータ室空調(CRAC)ユニットによって冷却された空気と定義することができる。さらに、「加熱された冷却流体」は概ね、例えば、発熱/放熱部品からの熱を受け取ることによって、加熱されている冷却流体と定義することができる。しかしながら、用語「冷却流体」が、冷却された流体だけを含む空気を表し、及び「加熱された冷却流体」が加熱されている空気だけを含む空気を表すことを意図していないことは容易に明らかになるであろう。代わりに、本発明の実施形態は、加熱された冷却流体と冷却流体との混合物を含む空気で動作することができる。さらに、冷却流体及び加熱された冷却流体は、空気以外の気体、例えば、冷媒、及び当業者によってデータセンタにおいて用いられることが知られている他のタイプの気体を表すことができる。
データセンタ内の種々の環境条件に応じて、無次元の拡張性のあるパラメータを計算することができる。データセンタ内の複数の部品を効率的に冷却するために、これらのパラメータを導入して、冷却流体をデータセンタの種々の場所に行き渡らせること、加熱された冷却流体を除去すること、及び作業負荷を配分することのうちの1つ又は複数を制御することができる。或る場合には、データセンタ内の空気再循環の量を減らすことによって、冷却効率を改善することができる。すなわち、加熱された冷却流体から冷却流体への再循環、及びその逆の再循環を減らすことによって、その冷却流体がデータセンタ内の複数の部品を冷却する潜在能力を、既知の冷却システムよりも改善することができる。本発明の実施形態の動作を通して達成することができる効率改善の1つの結果は、データセンタ内の冷却システムを動作させるために必要とされるエネルギーの量を低減することができ、それにより関連する運用コストを削減できることである。
無次元のパラメータを用いて、データセンタ冷却システムのための拡張性のある「性能指標」を求めることができる。さらに、その性能指標は、データセンタの種々の場所において生じる再循環の量を定量することができる。この関連で、本開示を通して、給気熱指標(SHI)及び還気熱指標(RHI)のような複数のパラメータが開示される。SHI及びRHIは、1つ又は複数の部品、ラック、ラック群、又はデータセンタ全体の熱管理及びエネルギー効率のインジケータとしての役割を果たすことができる。
SHI及びRHIは、データセンタの全体にわたって種々の場所において測定される温度に基づいて計算される。例えば、SHI及びRHIを求めるために、CRACユニットによって供給される冷却流体の温度を導入することができる。CRACユニットによって供給される冷却流体の温度は概ね制御することができるので、この場所における冷却流体の温度は基準温度と見なすことができる。さらに、複数の指標が種々の入口及び出口の温度に基づくことができる。一例として、給気口の入口、ラックの入口、ラックの出口、還気口の入口等において温度を測定することができる。後にさらに詳細に説明されるように、これらの種々の場所における温度は、データセンタの幾何学的なレイアウトの関数である。さらに、それらの温度は、給気口並びにラック入口及びラック出口を様々に操作することによって変更することができる。
本発明のさらに別の実施形態では、SHI及びRHIは、計算流体力学モデリングを用いることによって計算することができる。このモデリングは、概ね最適化されたデータセンタレイアウトを決定するために実行することができる。こうして、本発明のこの実施形態によれば、概ね最適な冷却システムエネルギー使用量が得られるように、データセンタのレイアウトを設計することができる。これは、給気口及びCRACユニットに対して所定の構成になるように、ラックを配置することを含むことができる。またこれは、ラックの中の空気流を制御するために、異なる構成を有するラックを使用することも含むことができる。
データセンタ冷却システムを動作させる際に、SHI及びRHIの一方又は両方を導入することができる。例えば、SHI及びRHIの一方又は両方を用いて、ラックへの冷却流体の送出及び/又はラックからの加熱された冷却流体の除去を制御することができる。別の例として、SHI及びRHIの一方又は両方を用いて、ラック間の概ね最適な計算負荷分布を求めることができる。すなわち、SHI及びRHIの一方又は両方の計算に基づいて、ラック内に配置される1つ又は複数の部品、例えばサーバ、コンピュータ等によって実行される計算作業負荷を、1つ又は複数の他の部品に分配することができる。別法では、計算作業負荷は、より少ない数の部品間に分散することができる。
別の例として、RHIを用いて、データセンタ内の1つ又は複数のCRACユニットのプロビジョニングを制御することができる。RHIを用いて、データセンタの空気送出インフラストラクチャに対するCRAC動作の評価基準を定めることができる。一般に、CRACユニットは、高い供給温度において動作するときに、消費するエネルギーが少なくなる。高いRHIレベルは一般的に、CRACユニットが、加熱された冷却流体を相対的に高い温度において受け取っており、或る特定のレベルの冷却を達成するように動作していることを指示する。したがって、CRACユニットに供給される前に、冷却された冷却流体が加熱された冷却流体の中に再循環するとき、CRACユニットは、同じレベルの冷却を達成するために、より多くの量のエネルギーを消費する。
RHI設定値は、CRACユニットを制御するための根拠として用いることができる。したがって、例えば、或る特定のCRACユニットのRHIレベルが所定のRHI設定値よりも高い場合には、CRACユニットによって供給される冷却流体の温度を高めることができる。高い温度において冷却流体を送出するために必要とされるエネルギーは、低い温度において冷却流体を送出するために必要とされるエネルギーよりも低いので、CRACユニットは、低いエネルギーレベルで動作することができる。さらに、RHIレベルがRHI設定値よりも低い場合には、CRACユニットによって供給される冷却流体の流量を増減して、RHIレベルをRHI設定値よりも高くすることができる。
最初に図1Aを参照すると、本発明のさまざまな実施例を用いることができるデータセンタ100の簡略斜視図が示されている。「データセンタ」という用語は、概して、熱を生成することが可能な1つ又は複数の部品が配置され得る部屋又は他の空間を指すことを意図する。この点で、「データセンタ」という用語は、データが通信又は処理されるいかなる特定のタイプの部屋にも本発明を限定することを意図するのではなく、「データセンタ」という用語の使用が本明細書で上述した定義以外のいかなる点でも本発明を限定するものと解釈すべきでもない。
図1Aに示されるデータセンタ100が一般化された例示を表すこと、及び本発明の範囲から逸脱することなく、他の部品を追加できること、又は既存の部品を除去又は変更できることは当業者には容易に明らかであろう。例えば、データセンタ100は、任意の数のラック及び種々の他の部品を含むことができる。さらに、発熱/放熱部品が、ラックに収容されることなく、データセンタ100内に配置されることもあることは理解されたい。
データセンタ100は、複数のラック102〜108、例えば、平行な列で整列している電子部品キャビネットを有するものとして示されている。ラック102〜108の各列は、上げ床110の上に配置された4つのラック(a〜d)を含むものとして示される。上げ床110の下の空間112には、複数のワイヤ及び通信回線(図示せず)を設けることができる。空間112は、1つ又は複数のコンピュータ室空調(CRAC)ユニット114からラック102〜108に冷却流体を送出するプレナムとしても機能することができる。冷却流体は、ラック102〜108のいくつか又は全ての間にある通気口タイル116を通して空間112からラック102〜108に送出することができる。通気口タイル116は、ラック102と104との間、及び106と108との間にあるものとして示される。
上記のように、CRACユニット114は一般的に、冷却された冷却流体を空間112内に供給するように動作する。空間112内に入れられる冷却流体は、1つ又は複数のCRACユニット114によって供給される冷却流体を含むことができる。したがって、温度、圧力、流量等の冷却流体の特性は、CRACユニット114のうちの1つ又は複数によって大きく影響を及ぼされることがある。一例として、1つのCRACユニット114によって供給される冷却流体は、別のCRACユニット114によって供給される冷却流体と混ざり合うことがある。この関連で、空間112内の種々の場所における冷却流体及びラック102〜108に供給される冷却流体の特性は、冷却流体が混ざり合うことに起因して、例えば、これらのCRACユニット114によって供給される冷却流体の温度又は体積流量が異なる場合には、異なることがある。特定の事例では、影響のレベルは、CRACユニット114に近い場所ほど高くなり、CRACユニット114から比較的離れた場所ほど低くなることがある。それゆえ、種々のCRACユニット114の影響を考慮して、ラック102〜108内に供給される冷却流体の温度及び体積流量が制御されるように、CRACユニット114は動作することができる。
ラック102〜108は一般的に、発熱/放熱することができる複数の部品(図示せず)、例えばプロセッサ、マイクロコントローラ、高速ビデオカード、メモリ、半導体デバイス等を収容するように構成される。それらの部品は、複数のサブシステム(図示せず)、例えばコンピュータ、サーバ等の構成部品であってもよい。それらのサブシステム及び部品を導入して、種々の電子的な機能、例えば計算、スイッチング、ルーティング、表示等の機能を実行することができる。これらの電子的な機能を実行する際に、それらの部品、ひいてはサブシステムは一般的に、比較的大量の熱を放熱することがある。ラック102〜108は一般的に、40台以上のサブシステムを収容することが知られているので、それらのラックは、かなり大量の熱を冷却流体に伝達して、サブシステム及び部品を概ね所定の動作温度範囲内に保持することができる。
データセンタ100は4列のラック102〜108及び2つのCRACユニット114を収容するものとして示されるが、データセンタ100は、任意の数のラック、例えば100台以上のラック、及び任意の数のCRACユニット、例えば4台以上のユニットを収容することができるものと理解されたい。それゆえ、4列のラック102〜108及び2つのCRACユニット114の図は例示し、説明を簡単にすることだけを目的としており、いかなる観点においても本発明を限定することを意図していない。さらに、CRACユニット114は、ラック102〜108に対して概ね垂直に配置することもできる。
ここで図1Bを参照すると、図1Aに示されるデータセンタ100の簡略化された側面図が示される。図1Bにおいて、ラック102a、104a、106a及び108aを見ることができる。図1Bに関して例示される実施形態のさらに詳細な説明は、2001年10月5日に出願され、本発明の譲受人に譲渡された米国特許第6,574,104号において見い出すことができ、その特許出願は、その全体が参照により本明細書に援用される。
図1Bに示されるように、ラック102と104との間、及びラック106と108との間のエリアは冷たい通路118を含むことができる。これらの通路は、通気用タイル116から冷却流体を受け取るように構成されるので、「冷たい通路」と見なされる。さらに、ラック102〜108は一般的に、冷たい通路118から冷却流体を受け取る。ラック104と106との間の通路、及びラック102及び108の後方にある通路は「熱い通路」120と見なされる。これらの通路は、ラック102〜108の部品によって加熱された冷却流体を受け取るように配置されるので、「熱い通路」と見なされる。冷たい通路118及び熱い通路120を、例えばラック102〜108で概ね分離することによって、ラック102〜108内に送出する前に、冷却流体が加熱された冷却流体と再循環するのを概ね防ぐことができる。さらに、加熱された冷却流体が、CRACユニット114に戻る前に、冷却流体とともに再循環するのも概ね防ぐことができる。しかしながら、データセンタ100内には、冷却流体及び加熱された冷却流体の再循環が生じるエリアが存在することもある。一例として、ラック102〜108のうちの1つ又は複数のラックの側面の周り、及びその天板の上方において、冷却された冷却流体が加熱された冷却流体と混ざり合うこともある。
ラック102〜108の冷たい通路118に面する側面は、ラックの前面と見なすことができ、ラック102〜108の冷たい通路118に面していない側は、ラック102〜108の背面と見なすことができる。限定はしないが、簡単にするために、本開示全体を通して、ラック102〜108の種々の側面を記述する際に、これらの呼称を基にするであろう。
本発明の別の実施形態によれば、ラック102〜108は、それらの背面が互いに隣接するように配置することができる(図示せず)。この実施形態では、通気用タイル116を、各通路118及び120に設けることができる。さらに、ラック102〜108は、加熱された冷却流体がラック102〜108から流出できるようにするために、その天板上に出口を備えることができる。
上記のように、CRACユニット114は概ね、受け取った加熱された冷却流体を冷却するように動作する。さらに、CRACユニット114は、ラック102〜108に、例えば、以下に記述される過程を通して、冷却された冷却流体を供給する。CRACユニット114は一般的に、冷却流体(例えば、空気)を空間112(一例では、その空間112は概ねプレナムとして機能する)に供給するための個々のファン122を備える。ファン122は、データセンタ100から冷却流体を引き込むように動作することもできる(例えば、矢印124によって示される)。動作時に、加熱された冷却流体が、矢印124によって示されるように、CRACユニット114の中に入り、当業者に一般的に知られているようにして、冷却コイル126、コンプレッサ128及びコンデンサ130の動作によって冷却される。冷却システムの効率に関して、一般的には、戻される加熱された冷却流体は、データセンタ100内の空気のうちの相対的に最も暖かい部分から成ることが望ましい。さらに、ファン122を用いて、冷却された冷却流体が空間112の中に供給される。ファン122の速度を変更して、冷却された冷却流体が空間112に供給される体積流量を変更することができ、且つ/又はCRACユニット114の中に戻される加熱された冷却流体の体積流量を変更することができる。
或る場合には、可変周波数ドライブ(VFD)123を用いて、ファン122の速度を制御することができる。VFD123は、任意の数の製造業者から市販されている任意の手頃で適当なVFDを含むことができる。VFD123は一般的に、交流(AC)誘導モータの速度を可変制御するように動作する。より具体的には、VFD123は、電力を、決まった電圧/決まった周波数から可変電圧/可変周波数に変換するように動作することができる。ファン122の電圧/周波数レベルを制御することによって、CRACユニット114によって供給される冷却流体の体積流量も変更することもできる。
VFD123は、ファン122に隣接して配置されるように示されるが、本発明の範囲から逸脱することなく、VFD123は、ファン122に対して任意の理に適った都合の良い場所に配置することができる。VFD123は、例えば、CRACユニット114のうちのいずれかのユニットの外側に、又はCRACユニット114に対する種々の他の場所に配置することができる。
本開示全体を通して、データセンタ100から加熱された冷却流体を引き込むためにファン122を用いることへの言及がなされるが、本発明の範囲から逸脱することなく、空気を除去する任意の他の理に適った都合の良い態様を実現できることは理解されたい。一例として、ファン、又はファン122とは別の送風機(図示せず)を用いて、データセンタ100から加熱された冷却流体を引き込むこともできる。
さらに、ラック102〜108内の熱負荷を冷却するために必要とされる冷却流体に基づいて、CRACユニット114は種々のレベルにおいて動作することができる。例えば、コンプレッサ128の個々の容量(冷媒に加えられる仕事の量)及び/又はファン122の速度を変更して、ラック102〜108に送出される冷却流体の温度及び流量を制御することができる。この関連で、コンプレッサ128は可変容量コンプレッサを含むことができ、ファン122は可変速度ファンを含むことができる。したがって、コンプレッサ128を制御して、その中の冷媒の質量流量を増減することができる。
本発明の実施形態とともに用いられることになるコンプレッサ128及びファン122の具体的なタイプは個々の要件に応じて異なることがあるので、本発明は、任意の特定のタイプのコンプレッサ又はファンには限定されない。代わりに、本発明の特定の態様を達成することができる任意の理に適った都合の良いタイプのコンプレッサ128及びファン122を用いることができる。コンプレッサ128及びファン122の選択は、複数の要因、例えば、冷却要件、コスト、運用費用等によることがある。
本発明の実施形態は、一定速度のコンプレッサ及び/又は一定速度のファンで動作できることは当業者には理解されたい。一態様では、ラック102〜108への冷却流体の送出の制御は、空間112内の冷却流体の圧力に基づいて達成することができる。この実施形態によれば、空間112内の圧力は、例えば、データセンタ100内の種々の場所に配置される複数の通気口タイル116の動作を通して制御することができる。すなわち、空間112内の圧力は、通気口タイル116を通る冷却流体の出力を選択的に制御することによって、空間112の全体にわたって概ね一定に保つことができる。一例として、空間112の1つの場所における冷却流体の圧力が所定のレベルを超える場合には、概ねその場所の近くに位置する通気口によって、より多くの冷却流体がその中に流れるようにし、その場所の圧力を下げることができる。この実施形態のさらに詳細な説明は、2002年11月26日に出願の米国特許出願第10/303,761号及び2003年1月27日に出願の米国特許出願第10/351,427号において見い出すことができ、それらの特許出願は本発明の譲受人に譲渡されており、その全体が参照により本明細書に援用される。
コンプレッサ128に加えて、又はコンプレッサ128の代わりに、流体供給源を冷却するために、CRACユニット114内に熱交換器(図示せず)を導入することもできる。熱交換器は、一般的に冷却流体が熱交換器上を通過するときに冷却するように動作する、冷水熱交換器、遠心式冷却機(例えば、YORK社によって製造される冷却機)等を含むことができる。熱交換器は、複数の空調機を含むことができる。空調機は、ポンプによって動かされ、コンデンサ又は冷却塔によって冷却される水を供給されることができる。熱交換器容量は、放熱需要に応じて異なる場合がある。したがって、熱交換器容量は、例えば、冷却流体を相対的に低い温度に保持する必要がない場合には、減らすことができる。
動作時に、矢印132によって示されるように、冷却流体は一般的に、個々のファン122から空間112の中に流れ込む。冷却流体は、矢印134によって示されるように、上げ床110から、複数の通気口タイル116を通って、ラック102〜108の種々のエリアに流れ込む。通気口タイル116は、第6,574,104号特許に開示され、記述される動的に制御可能な通気口タイルを含むことができる。その特許に記述されるように、通気口タイル116は一般的に、その中に流れる冷却流体の流速、体積流量及び方向のうちの少なくとも1つを制御するように動作するので、「動的に制御可能」と呼ばれる。さらに、動的に制御可能な通気口タイル116の具体的な例は、本発明の譲受人に譲渡され、その全体が参照により本明細書に援用される、2003年1月27日に出願された同時係属の米国特許出願第10/351,427号において見い出すことができる。
冷却流体が通気口タイル116から流れ出るのに応じて、冷却流体はラック102〜108に流れ込むことができる。ラック102〜108は一般的に、通気口タイル116から冷却流体を受け取るために、その前面に複数の入口(図示せず)を備える。入口は一般的に、冷却流体がラック102〜108に入ることができるようにするための1つ又は複数の開口部を備える。それに加えて、又は別法として、ラック102〜108のうちのいくつか又は全ての前面は、冷却流体がラック102〜108に流れ込むのを概ね制御するための装置を備えることができる。適当な装置の例が、いずれも2003年4月30日に出願され、その全体が参照により本明細書に援用される、同時係属の、本発明の譲受人に譲渡される米国特許出願第10/425,621号及び第10/425,624号に記述される。
冷却流体は、ラック102〜108の中を流れるのに応じて、ラック102〜108内に配置される部品から放熱される熱を吸収することによって加熱されるようになる。加熱された冷却流体は、ラック102〜108の背面上に配置される1つ又は複数の出口を通って、ラック102〜108から出ることができる。それに加えて、又は別法として、ラック102〜108のうちのいくつか又は全ての背面は、冷却流体がラック102〜108に流れ込むのを概ね制御し、且つ/又は冷却流体がラック102〜108から流れ出るのを概ね制御するための装置を備えることができる。再び、適当な装置の例が、同時係属の、本発明の譲受人に譲渡される米国特許出願第10/425,621号及び第10/425,624号に記述される。
ラック102〜108の中の冷却流体の流れは、先に確認された同時係属の出願に記述される態様に一致するように、上記の装置の動作によって、通気口タイル116を通る冷却流体の流れと概ねバランスをとることができる。さらに、ラック102〜108の中の空気流と通気口タイル116を通る空気流との間で、比例関係を達成することができる。一態様では、同時係属の特許出願に記述されるように空気流を制御することによって、加熱された冷却流体と冷却流体との間の再循環のレベルを、既知の冷却システムと比べて、大幅に低減することができるか、又はなくすことができる。
CRACユニット114は、冷却流体の体積流量の後の変化とともに、ラック102〜108内の熱負荷に応じて冷却要件が変化するとき、ラック102〜108に供給される冷却流体の量を変更することができる。一例として、ラック102〜108内の熱負荷が全体として大きくなる場合には、1つ又は複数のCRACユニット114は、冷却流体の温度を下げ、且つ/又は冷却流体の供給量を増やすように動作することができる。別法では、ラック102〜108内の熱負荷が全体として小さくなる場合には、1つ又は複数のCRACユニット114は、冷却流体の温度を上げ、且つ/又は冷却流体の供給量を減らすように動作することができる。この関連で、データセンタ100内の部品を所定の動作温度範囲内に概ね保つために1つ又は複数のCRACユニット114によって利用されるエネルギーの量を、概ね最適にすることができる。
別の例として、ラック102〜108にさらに多くの冷却流体が流れることによって、部品の温度が上がる状況が生じることもある。これは、例えば、比較的多くの量の加熱された冷却流体が、ラック102〜108の中に送出される冷却流体の中に再循環されるときに生じることがある。この状況では、且つ後にさらに詳細に記述されるように、部品の温度が上がるのに応じて、冷却流体の送出を減らすことができる。さらに、部品の温度が下がるのに応じて、冷却流体の送出を増やすことができる。それゆえ、本発明は、データセンタ100内の温度が変化するような1つの動作態様には限定されないことは理解されたい。
通気口タイル116、上記の装置及びCRACユニット114の動作を通して、冷却流体の流れ及び温度の全体的な制御及び場所に応じた制御を達成することができる。例えば、通気口タイル116及び上記の装置は一般的に、ラック102〜108に冷却流体が流れるのを全体として、又は場所に応じて制御する。さらに、CRACユニット114は一般的に、データセンタ100の種々の部分を通して、冷却流体の流れ及び温度を全体として制御する。冷却流体の全体的及び局所的な制御によって、ラック102〜108の部品を所定の動作温度範囲内に保つ際にCRACユニット114によって消費されるエネルギーの量を、従来のデータセンタ冷却システムと比べて、大幅に削減することができる。
複数の温度センサ136〜144、例えばサーミスタ、熱電対等を、データセンタ100の全体にわたって種々の場所に配置することができる。一例として、温度センサ(入口温度センサ)136を、ラック102〜108の入口に設けて、ラック102〜108内に送出される冷却流体の温度を検出することができる。温度センサ(出口温度センサ)138も、ラック102〜108の出口に設けて、ラック102〜108から排気される加熱された冷却流体の温度を検出することができる。さらに、温度センサ(通気口タイル温度センサ)140を通気口タイル116に配置して、空間112から供給される冷却流体の温度を検出することができる。さらに、温度センサ(還気温度センサ、給気温度センサ)142、144をそれぞれ、CRACユニット114の入口及び出口付近に配置して、それぞれ、CRACユニット114に入る加熱された冷却流体の温度、及び空間112に送出される冷却流体の温度を検出することができる。
温度センサ136〜144は、互いに、且つ/又はデータセンタ冷却システムの動作を制御するように構成されるコンピューティング装置145と通信することができる。コンピューティング装置145は、プロセッサ、入力手段等を含むことができる、別個のコンピューティングシステムを含むことができる。別法では、コンピューティング装置145は、CRACユニット114のうちの1つ又は複数、ラック内に収容される部品、例えばサーバ等の一部を含むことができる。いずれの場合でも、データセンタ冷却システムは一般的に、CRACユニット114、通気口タイル116、還気口タイル(図1D)等を備える。種々のセンサ136〜144とコンピューティング装置145との間の通信は、IEEE802.3等の有線プロトコル、IEEE801.11b、801.11g等の無線プロトコル、ブルートゥース等の無線シリアル接続等、又はそれらの組み合わせを介して達成することができる。それに加えて、又は別法として、温度センサ136〜144のうちの1つ又は複数は、2003年7月9日に出願された「LOCATION AWARE DEVICES」と題する同時係属の、本発明の譲受人に譲渡される米国特許出願第10/620,272号に記述されるような位置認識装置を含むこともでき、その特許出願の開示は、その全体が参照により本明細書に援用される。その特許出願において記述されるように、これらの装置は、他のセンサに対する、その大まかな位置を判定し、且つ/又は無線通信を通して互いに通信するように動作することができるので、「位置認識」と呼ばれる。
別の実施形態によれば、移動装置146を配設して、データセンタ100内の少なくとも1つの環境条件(例えば、温度、圧力、空気流、湿度、位置等)を収集又は測定することができる。より具体的には、移動装置146は、ラック102〜108の周囲を動き回り、データセンタ100の全体にわたって種々の場所において1つ又は複数の環境条件を判定するように構成することができる。この関連で、移動装置146によって、著しく少ない数の温度センサしか必要とすることなく、データセンタ100内の温度を種々の場所において検出できるようになる。移動装置146及びその操作性のさらに詳細な説明は、2002年5月31日に出願された同時係属の、本発明の譲受人に譲渡された米国特許出願第10/157,892号において見い出すことができ、その開示は、その全体が参照により本明細書に援用される。
第10/157,892号出願において記述されるように、移動装置146は、データセンタ100のラック102〜108の周囲を動き回るように構成される自走式の機構にすることができる。さらに、移動装置146は一般的に、種々の高さにおいて1つ又は複数の環境条件を検出するように構成される複数のセンサを備える。移動装置146は、環境条件情報を、例えばコンピューティング装置145に送信することができ、コンピューティング装置145は、データセンタ100内のラック102〜108への冷却流体の送出を判定する際にその情報を利用することができる。さらに、移動装置146は、環境条件情報を、通気口タイル116を操作するように構成される通気口コントローラ(図示せず)に送信することもできる。
別の実施形態によれば、移動装置146は、上記の位置認識装置に類似の構成を含む温度センサから環境条件を受信することができる。例えば、そのセンサは、ホットスポット、例えばその温度が通常よりもかなり高い場所を指示する温度測定値を、移動装置146に送信することができる。移動装置146は、その進路を変更して、検出されたホットスポットまで進み、センサによる温度測定値を確認することができる。
図1Cは、本発明の一実施形態による、データセンタ100の上側部分の側断面図である。図1Cに示されるように、データセンタ100内に熱交換器ユニット(HEU)150及び152を設けることができる。HEU150及び152は、2002年8月2日に出願された同時係属の米国特許出願第10/210,040号に開示されるとともに記述され、その特許出願は本発明の譲受人に譲渡されており、その全体が参照により本明細書に援用される。第10/210,040号出願に記述されるように、HEU150及び152は一般的に、ラック102〜108から加熱された冷却流体を受け取り、受け取った冷却流体を冷却し、ラック102a〜108aに冷却された冷却流体を概ね制御しながら戻すように動作する。HEU150及び152は、CRACユニット114のうちの1つ又は複数からその中に流れ込む冷媒流を有し、受け取った加熱された冷却流体を冷却するように構成される。HEU150及び152は一般的に、加熱された冷却流体を受け取るための開口部と、冷却された空気をラック102〜108に戻すための1つ又は複数のファンとを備える。さらに、HEU150及び152は、温度センサ(図示せず)を備えてもよく、又は温度センサをHEU150及び152の近くに配置してもよい。
図1Dは、低い天井160を有するデータセンタ100の簡略化された概略図を示す。図1Dに示されるデータセンタ100は、図1Bに関して記述される全ての部品を含む。それゆえ、共通の部品の詳細な説明はここでは記述されないであろう。代わりに、図1Bに関して先に提供された説明は、これらの部品に関する十分な説明を与えるはずである。さらに、図1Bにおいて説明される部品とは異なる部品だけが以下に説明されるであろう。図1Dに含まれる部品のさらに詳細な説明は、2002年10月2日に出願の「Cooling of Data Centers」と題する同時係属の、本発明の譲受人に譲渡された米国特許第10/262,879号において見い出すことができ、その開示はその全体が参照により本明細書に援用される。
図1Dに示されるように、データセンタ100は、図1Bに示されるデータセンタ100と比べて、加熱された冷却流体をはるかに局所的にCRACユニット114に戻すためのシステムを含む。そのシステムは、低い天井160を含み、それは、CRACユニット114のうちの1つ又は複数に加熱された冷却流体を誘導するとともに搬送するように構成される還気プレナム162を生成する。さらに、ダクト164を設けて、矢印165によって示されるように、加熱された冷却流体の流れを、還気プレナム162からCRACユニット114に誘導する。複数の還気口タイル166が、低い天井160内の開口部に沿って配置され、概ね矢印168によって示されるように、加熱された冷却流体を受け取ることができるようにする。還気口タイル166は概ね、データセンタ100内の種々の場所からの加熱された冷却流体の除去を制御するように動作する。一例では、還気口タイル166は、概ね熱い通路120の上方に配置され、ラック102〜108内で加熱された冷却流体を除去できるようにする。加熱された冷却流体が除去されるデータセンタ100内の場所を概ね制御することによって、また、除去された、加熱された冷却流体を、データセンタ100内に含まれる冷却流体から概ね分離することによって、冷却流体と、除去された、加熱された冷却流体との間の再循環のレベルを大幅に小さくすることができる。したがって、或る場合には、CRACユニット114に戻される加熱された冷却流体の温度を、比較的高い温度に概ね保つことができる。
上記のように、CRACユニット114は一般的に、還気温度が高いほど、より高い効率で動作する。さらに、1つ又は複数のCRACユニット114に供給される加熱された冷却流体の温度は、データセンタ100から加熱された冷却流体を制御しながら除去することによって、最も高いレベルに保つことができる。一例では、還気口タイル166は、データセンタ100からの加熱された冷却流体の除去の体積流量及び方向のうちの少なくとも一方を制御することができる、動的に制御可能な通気口タイルとして構成することができる。還気口タイル166は、例えば、第6,574,104号特許に開示され、記述される、動的に制御可能な通気口タイルを含むことができる。この例では、加熱された冷却流体の除去の方向及び/又は体積流量を制御することによって、還気口タイル166は、還気プレナム162に収容される加熱された冷却流体が概ね、取り得る最も高い温度であることを概ね確保するように動作することができる。別の例では、還気口タイル166は、加熱された冷却流体がデータセンタ100から除去される流速を変更するように構成されるファン(図示せず)を備えることもできる。
還気口タイル166が、加熱された冷却流体の除去を変更するように動作することができる態様は、例えば、個々の還気口タイル166の近くにおいて検出される加熱された冷却流体の温度に基づくことができる。温度は、温度センサ170(還気口タイル温度センサ)によって検出することができる。したがって、例えば、特定の還気口タイル166の近くにある加熱された冷却流体の温度が所定の温度レベル未満である場合には、その還気口タイル166は、そのエリアからの加熱された冷却流体の除去を低減又は中止するように動作することができる。
一例によれば、センサ136〜144、移動装置146、並びに/又はHEU150及び152の近くに配置される温度センサのうちの1つ又は複数によって検出される温度を導入して、データセンタ100内の再循環の測定基準を求めることができる。その測定基準は、給気熱指標(SHI)及び還気熱指標(RHI)と定義することができる。SHIは、冷却流体への加熱された冷却流体の浸入の指標と定義することができ、以下の式によって求めることができる。
ただし、Qは、データセンタ100のラック102〜108内の全部品からの全放熱を表し、δQは、ラック102〜108に入る前の冷却流体のエンタルピーの上昇を表す。
全放熱は、入口温度センサ140によって検出されるようなラック102〜108の入口における温度から、出口温度センサ138によって検出されるようなラック102〜108の出口における温度を引くことによって得られる値を平均することによって求めることができる。全放熱Q及び冷却流体のエンタルピーの上昇δQは、以下の式によって求めることができる。
ただし、mr i,jはj番目の列のラック内のi番目のラックの中の質量流量であり、Cpは空気の比熱であり、(Tr in)i,j及び(Tr out)i,jは、j番目の列のラック内のi番目のラックからの平均入口温度及び平均出口温度である。さらにTrefは、通気口タイル116の冷却流体温度を表し、それは全ての冷たい通路118について同じであると仮定される。
式1の分子は、ラック102〜108に入る前に冷たい通路内で冷却流体によって得られる顕熱を表し、一方、分母はラック排気口を出る冷却流体によって得られる全顕熱を表す。質量流量の和は、式2及び式3の場合に等しいので、SHIは、ラック入口温度、ラック出口温度及びCRACユニット114の出口温度の関数として表すことができる。したがって、SHIは以下のように表すことができる。
SHIは、特定の冷たい通路内への熱の浸入を評価するために、1つの通路内にあるラック群について計算することもできる。さらに、SHIは、ホットスポットの影響を受けやすいエリアを分離するために、個々のラックについて計算することができる。式1及び式3は、δQが高いほど(Tr in)i,jが高くなり、それゆえSHIが高くなることを示す。ラックに対する入口温度Tr inがTrefに比べて高いとき、システムは、故障及び信頼性の問題を受けやすくなる。Tr inが高いことは、混合及びデータセンタ100のためのエネルギー効率の減少に起因して、エントロピー生成が増加することの現われでもある。それゆえ、SHIは、ラック、ラック群又はデータセンタ内の熱管理及びエネルギー効率のインジケータであり得る。
SHIが0であることは、冷却された冷却流体への加熱された冷却流体の再循環がない、理想的なシステムであることを示す。それゆえ、以下に示されるように、データセンタ冷却システムの部品を動作させる際の1つの目標は、SHIを最小限に抑えることである。
ラック102〜108の排気口からの加熱された冷却流体は、データセンタ100の天井空間内に吸い上げられる。別法では、加熱された冷却流体は、図1Dに示されるような還気プレナム162に吸い上げることができる。その後、加熱された冷却流体は、1つ又は複数のCRACユニット114の入口に流れ込む。このように流れているうちの一部の時間又は全時間において、加熱された冷却流体は、冷たい通路118からの冷却流体と混ざり合うことがあり、それゆえ、その熱のうちの一部を失うことになる。この過程における熱損失の量は、冷たい通路118内の冷却流体によって獲得される二次熱に等しい。データセンタ100内の全熱収支から、全てのラック102〜108からの全放熱(Q)は、1つ又は複数のCRACユニット114の全冷却負荷に等しいはずである。それゆえ、データセンタ100内のラック排気とCRACユニット114の還気との間の熱収支は以下のように表すことができる。
ただし、Mkは、1つのCRACユニット、例えばCRACユニット114の中の冷却流体の質量流量であり、TC inは個々のCRACユニットの入口温度である。
式5では、右辺の第1項は、ラック102〜108から排気される加熱された冷却流体の全エンタルピー(Q+δQ)を表す。第2項は、加熱された冷却流体及び冷却流体の流れが混ざり合うことに起因する、エンタルピーの減少を表す。全排気冷却流体エンタルピーに対して式5を正規化し、整理し直すことによって、以下の式がもたらされる。
ただし、RHIは還気熱指標であり、以下の式によって定義される。
式7では、分子は、CRACユニット(複数可)114による全熱抽出量を表しており、分母はラック排気における全エンタルピー上昇を表す。CRACユニット(複数可)114によって抽出される熱はまた、ラックからの放熱に等しいので、分子は、データセンタ100内の実効的な放熱を表す。
一般的に、ラック102〜108内の熱負荷が一定であるとすると、Tr inが増加する結果として、ラック102〜108の戻り側におけるTr outが上昇する。式7の場合、この温度変化はRHIを小さくすることになることは明らかであり、それは、CRACユニット(複数可)114に達する前に、冷却流体が高い度合いの混合を受けることを示す。ラック排気からの加熱された冷却流体は、熱い通路内、天井空間内、又はラックと壁との間の空間内の冷却流体と混ざり合うことがある。各列内の局所的な混合を調べるために、RHIを、通路排気とラック排気との間の制御空間の中で通路毎に評価することができるか、又はRHIを、既知の温度データ及び式6を用いて、SHIの計算から推測することができる。一般的に、RHIの値が高くなるほど、混合レベルが低く、通路設計が良好であることを示す。
本発明の一実施形態によれば、データセンタ冷却システムの部品、例えばCRACユニット(複数可)114は、一般的にRHI値を増加させるように動作することができる。CRACユニット(複数可)114が一般的にRHI値を増加させるように動作することができる態様は、後にさらに詳細に説明される。
SHI及びRHIをデータセンタとの関連で用いることができる例とともに、上記の式のさらに詳細な説明は、本発明の発明人によって発表された一対の論文において見い出すことができる。第1の論文は、2002年6月24日にAmerican Institute of Aeronautics and Astronauticsで発表された論文であり、「Dimensionless Parameters for Evaluation of Thermal Design and Performance of Large-Scale Data Centers」と題する。第2の論文は、International Journal of Heat, Ventilating. Air-conditioning and Refrigeration Researchの2003年4月版に発表された論文であり、「Efficient Thermal Management of Data Centers-Immediate and Long-Term Research Needs」と題する。これらの論文に含まれる開示は、その全体が参照により本明細書に援用される。
図2は、本発明の一実施形態による冷却システム202のための例示的なブロック図200である。ブロック図200に関する以下の説明は、そのような冷却システム202が動作することができる種々の異なる態様のうちの1つの態様にすぎないことは理解されたい。さらに、冷却システム202の範囲から逸脱することなく、冷却システム202がさらに別の部品を含むことができること、及び示される部品のうちのいくつかを除去及び/又は変更できることは理解されたい。
冷却システム202は、冷却システム202の動作を制御するように構成されるコントローラ204を含む。コントローラ204は、例えば、図1B及び図1Dに示されるコンピューティング装置145を含むことができる。別法では、コントローラ204は、1つ又は複数のCRACユニット114の一部、データセンタ100内の部品の一部等を構成するコンピューティング装置を含むことができる。
一例として、コントローラ204は、データセンタ100、100内の空気流特性を変更するために、第1のラック222及び第2のラック224のためのアクチュエータ206a、206b、通気口タイルアクチュエータ(複数可)208a、還気口タイルアクチュエータ(複数可)209並びに/又はHEUアクチュエータ(複数可)208bを制御することができる。別の例として、コントローラ204は、データセンタ100、100内の種々のサーバ220上にかけられる作業負荷を制御することができる。コントローラ204は、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)等を含むことができる。
第1のラックのアクチュエータ(複数可)206a及び第2のラックのアクチュエータ(複数可)206bは、複数のラック、例えばラック102〜108の中の空気流を変更するように構成される装置を操作するように構成することができる。適当なアクチュエータ206a、206b及び装置の例は、いずれも2003年4月30日に出願された「Louvered Rack」と題する同時係属の米国特許出願第10/425,621号及び「Electronics Rack Having an Angled Panel」と題する米国特許出願第10/425,624号において見い出すことができる。これらの特許出願の開示は、その全体が参照により本明細書に援用される。これらの特許出願に記述されるように、ルーバアセンブリ又は角度付パネルをラック上に設けることができ、ラックの中の空気流を変更するように操作することができる。
通気口タイルアクチュエータ(複数可)208aは、通気口タイル116を通る空気流を変更するように構成されるアクチュエータを含むことができる。適当な通気口タイルアクチュエータ208a、及びそこを通る冷却流体の流れを変更するように構成される通気口タイルの例は、2003年2月28日に出願の「Cooling of Data Centers」と題する同時係属の、本発明の譲受人に譲渡される米国特許出願第10/375,003号において見い出すことができ、その開示は、その全体が参照により本明細書に援用される。これらのタイプの通気口の種々の動作モードの説明は、米国特許第6,574,104号に開示される。
HEUアクチュエータ(複数可)208bは、HEU150及び152に対して流入及び流出する冷却流体の流れを変更するように構成されるアクチュエータを含むことができる。例えば、HEUアクチュエータ(複数可)208bは、HEU150及び152の1つ又は複数のファンを動作させるように構成することができる。適当なHEUアクチュエータ208bの例は、先に確認された特許出願第10/210,040号において見い出すことができる。さらに、還気口タイルアクチュエータ(複数可)209は、図1Dに関して先に説明されたようなアクチュエータを含むことができる。
コントローラ204と、第1のラックのアクチュエータ(複数可)206a、第2のラックのアクチュエータ(複数可)206b、通気口タイルアクチュエータ(複数可)208a、還気口タイルアクチュエータ(複数可)209及びHEUアクチュエータ(複数可)208bとの間のインターフェースとしての役割を果たすように、インターフェース電子回路210を設けることができる。インターフェース電子回路210は、第1のラックのアクチュエータ(複数可)206a、第2のラックのアクチュエータ(複数可)206b、通気口タイルアクチュエータ(複数可)208a及び/又は還気口タイルアクチュエータ(複数可)209が、その動作を変更し、それによりその中を通る空気流を変更するように指示することができる。一例として、インターフェース電子回路210は、コントローラ204からの指示に従って、通気口タイルアクチュエータ(複数可)208aに供給される電圧を変更して、通気口タイルアクチュエータ(複数可)208aのドライブシャフトの回転の方向及び/又は大きさを変更することができる。
コントローラ204は、冷却システム202の機能を提供するコンピュータソフトウエアを格納するように構成されるメモリ212とインターフェースすることもできる。メモリ212は、DRAM、EEPROM、フラッシュメモリ等の、揮発性メモリと不揮発性メモリとの組み合わせとして実装することができる。メモリ212は、例えば、計算によってSHIが求められるのに応答して、ラックアクチュエータ206a、206b、通気口タイルアクチュエータ(複数可)208a、還気口タイルアクチュエータ(複数可)209及びHEUアクチュエータ(複数可)208bを操作することができる態様に関連するデータ/情報を格納するための記憶機構を提供するように構成することもできる。
コントローラ204は、制御信号をインターフェース電子回路210に送信するように構成される冷却システムモジュール214を含むこともできる。冷却システムモジュール214は、SHI及びRHIの一方又は両方を計算するように構成される測定基準モジュール216からの指示を受信することができる。SHI及びRHIは、例えば、図1Bに関して先に説明されたようにして計算することができる。冷却システムモジュール214は、後にさらに詳細に説明されるように、計算されたSHI又はRHIレベルに基づいて、1つ又は複数のCRACユニット228の動作を制御するように構成することもできる。コントローラ204は、測定基準モジュール216と通信するように構成される作業負荷モジュール218も含むことができる。作業負荷モジュール218は、計算されたSHI及びRHIのうちの一方又は両方に応答して、複数のサーバ220間で作業負荷を分散させるように動作することができる。
或る場合には、冷却システムモジュール214は、ラックアクチュエータ206a、206b、通気口タイルアクチュエータ(複数可)208a、還気口タイルアクチュエータ(複数可)209及び/又はHEUアクチュエータ208bを操作して、全体としてSHIを減らすようにする指示を送信することができる。さらに、これらの指示は、全体としてRHIを増やすことを目的とすることもできる。それに加えて、又は別法として、作業負荷モジュール218は、種々のサーバ220間で作業負荷を分散させて、全体としてSHI値を減らし、且つ/又は全体としてRHI値を増やすことができる。
上記のように、SHI値及びRHI値は、データセンタ100、100の種々の場所における冷却流体及び加熱された冷却流体の温度に基づいて計算することができる。或る場合には、SHIを計算する際に導入される温度は、ラック入口及び出口、給気口タイル、及びCRACユニット(複数可)228の入口及び出口のうちの1つ又は複数において検出することができる。
図2は、説明を簡単するために、2つのラック222及び224、通気口タイル温度センサ226及びCRACユニット228を示すが、それには限定されない。しかしながら、ブロック図200に関する以下の説明は、冷却システム202の範囲から逸脱することなく、任意の数のラック、通気口タイル及びCRACユニットを有するデータセンタ100において実施することができるものと理解されたい。
第1のラック222は、第1の入口温度センサ230及び第1の出口温度センサ232を有するように示される。第2のラック224は、第2の入口温度センサ234及び第2の出口温度センサ236を有するように示される。温度センサ230〜236は、コントローラ204と、より詳細には、測定基準モジュール216と通信するものとして示される。通気口タイル温度センサ226及び還気口タイル温度センサ242も、測定基準モジュール216と通信するものとして示される。さらに、CRACユニット228は、還気温度センサ238及び給気温度センサ240を含むように示されており、それらのセンサも測定基準モジュール216と通信する。温度センサ226及び230〜242は、例えば、図1Dに関して先に示された個々の温度センサ136〜144及び170のうちの1つ又は複数を含むことができる。
温度センサ226、230〜242は、温度及び/又は温度の変化を感知するように構成される熱電対、サーミスタ又は他のデバイスを含むことができる。第1の入口温度センサ230及び第2の入口温度センサ及び234は、それぞれ第1のラック222及び第2のラック224の入口を通って入る冷却流体の温度を検出するように構成される。第1の出口温度センサ232及び第2の出口温度センサ236は、それぞれ第1のラック222及び第2のラック224の種々の場所にある出口(複数可)を通って排気される加熱された冷却流体の温度を検出するように構成される。通気口タイル温度センサ226は、通気口タイル、例えば通気口タイル116を通って送出される冷却流体の温度を検出するように構成される。還気口タイル温度センサ242は、データセンタ100から除去される加熱された冷却流体の温度を検出するように構成される。還気温度センサ238及び給気温度センサ240はそれぞれ、CRACユニット228に流入する加熱された冷却流体の流れの温度、及びCRACユニット228から流出する冷却された冷却流体の温度を検出するように構成される。
コントローラ204は、有線接続を通して、又はIEEE801.11b、801.11g等の無線プロトコル、ブルートゥース等の無線シリアル接続等、又はそれらの組み合わせを通して、センサ226及び230〜242から検出された温度を受信することができる。測定基準モジュール216は、受信された検出された温度に基づいて、SHI値及びRHI値の一方又は両方を計算することができる。或る場合には、測定基準モジュール216は、データセンタ100、100の種々の場所におけるSHI値及び/又はRHI値を求めることができる。例えば、測定基準モジュール216は、1つ又は複数の部品、1つのラック、1つのラック群、多数のラック群又はデータセンタ100、100全体のためのSHI値及び/又はRHI値を求めることができる。測定基準モジュール216は、冷却システムモジュール214及び作業負荷モジュール218に対してSHI値及び/又はRHI値を与えることもできる。
2003年7月9日に出願された「LOCATION AWARE DEVICE」と題する同時係属の、本発明の譲受人に譲渡される米国特許出願第10/620,272号に関して先に説明されたように、温度センサ226、230〜242は位置認識装置を含むことができる。その特許出願に記述されるような位置認識装置を用いることによって、コントローラ204は、種々のセンサの場所を特定し、記憶することができる。さらに、コントローラ204は、センサから温度情報を無線で受信することができ、データセンタが構成変更される場合でも、センサの場所を概ね自動的に特定するように構成することができる。
上記のように、測定基準モジュール216は、上記の式に基づいて、SHI値及びRHI値の一方又は両方を計算するように構成することができる。RHI値を用いて、1つ又は複数のCRACユニット228の動作を制御することができる。より詳細には、計算されたRHI値に基づいて、冷却システムモジュール214は、送風機/VFD244及びコンプレッサ246の一方又は両方を動作させて、1つ又は複数のCRACユニット228によって供給される冷却流体の特性を変更することができる。後にさらに詳細に説明されるように、送風機/VFD244及びコンプレッサ246を、冷却システムモジュール214によって種々の態様で操作して、所望の熱管理目標を維持しながら、1つ又は複数のCRACユニット228が概ね最適化されたエネルギー効率で動作できるようにすることができる。
図3は、コンピュータシステム300を示しており、そのコンピュータシステムは、コンピューティング装置145及びコントローラ204のいずれか又は両方として機能することができる。この関連で、コンピュータシステム300は、コントローラ204内に含まれるモジュールのうちの1つ又は複数を実行するためのプラットフォームとして用いることができる。
コンピュータシステム300は、プロセッサ302のような1つ又は複数のコントローラを含む。プロセッサ302を用いて、プログラム又はモジュール(例えば、冷却システム202のモジュール216〜218)を実行することができる。プロセッサ302からのコマンド及びデータは、通信バス304を介して通信される。またコンピュータシステム300は、実行時に冷却システム202のためのプログラムコードを実行することができる、ランダムアクセスメモリ(RAM)のような、メインメモリ306、例えばメモリ212と、補助メモリ308とを備える。補助メモリ308は、例えば、1つ又は複数のハードディスクドライブ310、及び/又はプロビジョニングシステムのためのプログラムコードのコピーを格納することができる、フロッピーディスケットドライブ、磁気テープドライブ、コンパクトディスクドライブ等のリムーバブルストレージドライブ312を備える。
リムーバブルストレージドライブ310は、リムーバブルストレージユニット314に対して既知の方法で読出し及び/又は書込みを行う。ユーザ入力装置及びユーザ出力装置は、キーボード316、マウス318及びディスプレイ320を含むことができる。ディスプレイアダプタ322は、通信バス304とディスプレイ320とのインターフェースを提供し、プロセッサ302から表示データを受信して、その表示データをディスプレイ320のための表示コマンドに変換することができる。さらに、プロセッサ320は、ネットワークアダプタ324を通して、ネットワーク、例えばインターネット、LAN等を介して通信することができる。
他の既知の電子部品をコンピュータシステム300内に追加できること、又はコンピュータシステム300内で置き換えることができることは当業者には明らかであろう。さらに、コンピュータシステム300は、データセンタ内のラック内で用いられるシステムボード若しくはブレード、従来の「ホワイトボックス」サーバ又はコンピューティング装置等を含むことができる。また、図3の部品のうちの1つ又は複数の部品を用いるか、用いないかは選択することができる(例えば、ユーザ入力装置、補助メモリ等)。
図4A及び図4Bは、合わせて、冷却システム、例えば、冷却システム202の動作モード400及び450の流れ図を示す。動作モード400及び450に関する以下の説明は、本発明の実施形態を操作することができる種々の異なる態様のうちの2つの態様にすぎないことは理解されたい。また、動作モード400及び450は一般化された例示を表していること、並びに本発明の範囲から逸脱することなく、他のステップを追加できるか、又は既存のステップを除去若しくは変更できることも、当業者には明らかであろう。動作モード400及び450の説明は、図2に示されるブロック図200を参照しながら行われ、それゆえ、そのブロック図に列挙される部品を参照する。
コントローラ204は、計算されたSHI値に基づいて、データセンタ100の中の空気流を制御するために、動作モード400を実施することができる。動作モード400は、ステップ402において、種々の刺激に応答して開始することができる。例えば、動作モード400は、所定の時間経過に応答して、送信された信号を受信するのに応答して、且つ/又は環境条件(例えば、温度、湿度、位置等)の変化が検出されるのに応答して、開始することができる。
ステップ404では、コントローラ204が、入口温度センサ230及び234からラック入口温度測定値を受信することができる。またコントローラ204は、出口温度センサ232及び236からラック出口温度測定値を受信することもできる。コントローラ204は、ステップ404において、任意の数のラック、例えばラック102〜108から入口温度測定値及び出口温度測定値を受信できることは理解されたい。
ステップ406では、コントローラ204が、通気口温度センサ226及びCRACユニット給気温度センサ240のうちの一方又は両方から基準温度Trefを受信することができる。理想的な条件下、例えば、CRACユニット228の出口から通気口タイル116まで進行するときに冷却流体内に熱が伝達されない条件下では、CRACユニット228の出口及び通気口タイル116における冷却流体の温度は同じである。基準温度Trefは、CRACユニット228の出口における冷却流体の温度、又は通気口タイル116における冷却流体の温度のいずれかと見なすことができる。したがって、CRACユニット228から通気口タイル116まで冷却された冷却流体が流れている間に熱伝達が生じない場合には、SHI値を求める際にどちらの温度を用いてもよいことは理解されよう。
さらに、データセンタ100において、HEU150及び152を用いて、ラック102〜108に冷却流体を供給するとき、基準温度Trefは、HEU150及び152の出口における冷却流体の温度と見なすことができる。それゆえ、SHI値を求める際に、この温度を用いることができることは理解されたい。
ステップ410に示されるように、SHI値が計算されるタイミングを監視するために、コントローラ204は、ステップ408においてタイマを始動することができる。そのタイマは、それらの測定値が受信されるタイミングを監視するために、ステップ404及び406において温度測定値を受信する前にも始動することができる。ステップ410では、コントローラ204、より詳細には、測定基準モジュール216が、先に列挙された式に基づいて計算を実行し、j番目の列内のi番目のラックのためのSHI値を求めることができる。先に述べられたように、SHI値は、ラック入口温度、ラック出口温度及び基準温度に基づいて計算することができる。さらに、ステップ410及びそれに続くステップは、個々のラック、ラック群(例えば、特定の列内の全てのラック)、又はデータセンタ100、100内の全てのラックに対して実行することができる。
ステップ412では、測定基準モジュール216が、計算されたSHI値が最大設定SHI値(SHImax,set)以上であるか否かを判定することができる。最大設定SHI値は、メモリ212に格納することができ、コントローラ204が、ラックの中の空気流に影響を及ぼすアクチュエータを操作するか否かを判定する際に用いることができる閾SHI値と定義することができる。最大設定SHI値は、複数の要因に従って選択することができる。これらの要因は、例えば、許容できる再循環レベル、データセンタ構成の機能的な限界等を含むことができる。さらに、最大設定SHI値は、ラック毎に、又はラック群毎に異なることもある。
さらに、測定基準モジュール216は、SHI値の上昇のレベルを求めることができる。これを求めることは、例えば、所与の部品、ラック及び/又はラック群のための以前のSHI値計算に基づいて行うことができる。SHI値が標準値よりも高く上昇しているものと判定される場合には、コントローラ204は、アラームを鳴動させるか、又は別の方法でそのようなSHI値の上昇が生じたことを知らせるように動作することができる。SHI値が正常値より高いと判定されるレベルは、複数の要因によって決まることがあり、部品毎に、ラック毎に、及び/又はラック群毎に異なることがある。これらの要因のうちのいくつかには、部品又はラックの位置、ラックのための部品の位置における空気流特性、許容できる放熱特性等が含まれることがある。
ラック又はデータセンタのエリアによって、最大設定SHI値未満のSHI値を有することもあれば、それらの個々の最大設定SHI値を超えるSHI値を有することもある。最大設定SHI値未満であるSHI値を有するラック又はラック群の場合、ステップ404〜412を繰り返すことができる。これらのステップは、概ね連続して繰り返すことができる。別法では、コントローラ204は、ステップ402において示されるようなアイドル状態又はスリープ状態に入ることができ、上記の条件のうちの1つ又は複数に応答して、制御方式400を開始することができる。
最大設定SHI値以上であるSHI値を有するラック又はラック群の場合、ステップ414において、コントローラ204が、1つ又は複数のアクチュエータ206a、206b、208a、208bを操作して、それらのラック又はラック群のうちの1つ又は複数の中の空気流を増加することができる。先に述べられたように、アクチュエータ206a及び206bは、個々のラック222及び224の中の空気の流れを変更するように構成することができる。この関連で、アクチュエータ206a及び206bは、同時係属の米国特許出願第10/425,621号に記述されるような可動ルーバ、及び/又は同時係属の米国特許出願第10/425,624号に記述されるような角度付パネルの動作を制御することができる。さらに、通気口アクチュエータ208aは、同時係属の米国特許第6,574,104号及び米国特許出願第10/375,003号に記述されるように、ラック222及び224に供給されることになる、冷たい通路118への冷却流体の送出を制御することができる。
また、ステップ414では、コントローラ204、より具体的には測定基準モジュール216が、1つ又は複数のアクチュエータ206a、206b、208a、20bが操作されるべきレベルを求めることができる。これを求めることは、過去の実績を考慮することに基づくことができる。例えば、コントローラ204は、メモリ212に、所与の部品、ラック、及び/又はラック群のための種々のアクチュエータ206a、206b、208a、20bを操作した場合の、計算されたSHI値を格納することができる。測定基準モジュール216は、アクチュエータ206a、206b、208a、20bを操作するレベルを求める際に、この情報を利用することができる。
ステップ416では、コントローラ204は、ステップ404よりも遅い時刻、例えば時刻t+1において、センサ226、230〜236、240から再び温度測定値を受信することができる。これらの温度測定値を用いて、ステップ418に示されるように、時刻t+1のSHI値が計算される。ステップ420では、時刻tにおいて計算されたSHI値が、時刻t+1において計算されたSHI値と比較され、ステップ414において実行された操作(複数可)がSHI値を減らす、すなわち、冷却された冷却流体への加熱された冷却流体の再循環を減らすという意図した効果を生み出したか否かが判定される。
SHI値が減少している、すなわち時刻tにおけるSHI値が時刻t+1におけるSHI値よりも大きい場合には、コントローラ204はステップ404〜420を繰り返すことができる。これらのステップは、予め設定されたタイムスケジュールに従って繰り返すことができるか、又はデータセンタ、それゆえ冷却システムが動作している限り、繰り返すことができる。別法では、コントローラ204は、ステップ402において示されるように、アイドル状態又はスリープ状態に入ることができ、上記の条件のうちの1つ又は複数に応答して動作モード400を開始することができる。
SHI値が減少していない、すなわち時刻tにおけるSHI値が時刻t+1におけるSHI値以下である場合には、アクチュエータ(複数可)206a、206b、208a、20bの操作が実際には、SHI値の上昇を引き起こしたものと判定することができる。したがって、ステップ422において、コントローラ204は、アクチュエータ206a、206b、208a、208bのうちの1つ又は複数を操作し、ラックの中の空気流を減らすことができる。或る場合には、SHI値の上昇は、ラックの中の空気流が増加したことに起因して、冷却された冷却流体への加熱された冷却流体の再循環が増加していることを指示している可能性がある。この場合、図4Bに示されるような、第2の方式(動作モード450)を呼び出すことができ、それは後にさらに詳細に説明されるであろう。
第1の方式と見なされることになる、図4Aに示される動作モード400によれば、SHI値が最大設定SHI値以上であるときに、ラックへの冷却流体の送出を増やすことができる(ステップ404〜414)。
図4Bは、第1の方式が、SHI値を減らすという意図した効果を生み出していない状況における、第2の方式、すなわち動作モード450を示す。第2の方式は、第1の制御方式のステップ422の後に開始することができる。一般的に、第2の方式によれば、コントローラ204は、第1の方式と概ね逆になるように動作する。すなわち、例えば、第2の方式の下では、コントローラ204は、アクチュエータ(複数可)206a、206b、208a、208bを操作して、時刻tにおけるSHI値が最大設定SHI値以上であることに応答して、ラックへの冷却流体の流れを減らすことができる。
図4Bに示されるように、ステップ452及び454では、コントローラ204が再び、センサ226、230〜236、240から温度情報を受信することができる。さらに、コントローラ204は、ステップ456において、検出された温度情報からj番目の列内のi番目のラックのためのSHI値を計算する前にタイマを始動することができるか、又は温度情報を受信するときにタイマを始動することができる。ステップ456では、コントローラ204、より詳細には測定基準モジュール216が、先に列挙された計算を実行して、SHI値を求めることができる。さらにステップ456及びそれに続くステップは、個々のラック、ラック群(例えば、特定の列内の全てのラック)又はデータセンタ内の全てのラックのために実行することができる。ステップ460では、コントローラ204は、計算されたSHI値を、最大設定SHI値と比較して、そのSHI値が所望の値未満であるか否かを判定することができる。
最大設定SHI値未満であるSHI値を有するラック又はラック群の場合に、ステップ452〜460を繰り返すことができる。これらのステップは、概ね連続して繰り返すことができる。別法では、コントローラ204は、アイドル状態又はスリープ状態、例えばステップ402に入ることができ、ステップ402に関して先に述べられた条件のうちの1つ又は複数に応答して、動作モード450を開始することができる。
最大設定SHI値以上であるSHI値を有するラック又はラック群の場合に、コントローラ204は、ステップ462において、1つ又は複数のアクチュエータ206a、206b、208a、208bを操作して、それらのラック又はラック群のうちの1つ又は複数の中の空気流を減らすことができる。先に述べられたように、アクチュエータ206a、206bは、それぞれのラック222及び224の中の冷却流体の流れを変更するように構成することができる。この関連で、アクチュエータ206a及び206bは、同時係属の米国特許出願第10/425,621号に記述されるような可動ルーバ、及び/又は同時係属の米国特許出願第10/425,624号に記述されるような角度付パネルの動作を制御することができる。さらに、通気口アクチュエータ208aは、同時係属の米国特許第6,574,104号及び米国特許出願第10/375,003号に記述されるように、ラック222及び224に供給されることになる、冷たい通路118への冷却流体の送出を制御することができる。
ステップ464では、コントローラ204は、ステップ452よりも遅い時刻、例えば時刻t+1において、センサ226、230〜236、240から再び温度測定値を受信することができる。これらの温度測定値を用いて、ステップ466に示されるように、時刻t+1のSHI値が計算される。ステップ468では、時刻tにおいて計算されたSHI値が、時刻t+1において計算されたSHI値と比較されて、ステップ462において実行された操作(複数可)がSHI値を減らす、それゆえ、冷却された冷却流体への加熱された冷却流体の再循環を減らすという意図した効果を生み出したか否かが判定される。
SHI値が減少している、すなわち時刻tにおけるSHI値が時刻t+1におけるSHI値よりも大きい場合には、コントローラ204はステップ452〜468を繰り返すことができる。これらのステップは、予め設定されたタイムスケジュールに従って繰り返すことができるか、又はデータセンタ、それゆえ冷却システムが動作している限り、繰り返すことができる。別法では、コントローラ204は、アイドル状態又はスリープ状態、例えばステップ402に入ることができ、ステップ402に関して先に説明された条件のうちの1つ又は複数に応答して動作モード450を開始することができる。
SHI値が減少していない、すなわち時刻tにおけるSHI値が時刻t+1におけるSHI値以下である場合には、アクチュエータ(複数可)206a、206b、208a、20bの操作が実際には、SHI値の上昇を引き起こしたものと判定することができる。したがって、ステップ470において、コントローラ204は、アクチュエータ206a、206b、208a、208bのうちの1つ又は複数を操作して、ラックの中の空気流を増やすことができる。或る場合には、SHI値の上昇は、ラックの中の空気流が減少したことに起因して、冷却された冷却流体への加熱された冷却流体の再循環が増加していることを指示している可能性がある。この場合、図4Aに示されるような、第1の方式(動作モード400)を呼び出すことができる。
第1の方式が望ましくない結果を生成することに応答して動作モード450を実施し、第2の方式が望ましくない結果を生成することに応答して動作モード450を実施することによって、コントローラ204は、種々のSHI値計算に応じて、アクチュエータ206a、206b、208a、208bを動作させる最適な態様を十分に学習することができる。この関連で、コントローラ204は、データセンタ内の変化する条件に概ね適応することができ、SHI値を変化させることができる。
第1の方式及び第2の方式は、所定の時間間隔等で任意の回数だけ、例えば、データセンタが動作している限り、繰り返すことができる。したがって、コントローラ204は、データセンタの種々のセクションについてのSHI値が変化するのに応じて、ラック内への冷却流体の送出を変更することができる。さらに、コントローラ204は、繰返し過程に従って、ラックの中の空気流を変更することができる。すなわち、コントローラ204は、変化が正当であると判定される度に、所定の量だけ空気流を変更し、SHI値が最大設定SHI値未満になるまで、この過程を繰り返すことができる。
或る場合には、冷却流体の送出を制御して、SHI値を減らすこと、それゆえ冷却された冷却流体への加熱された冷却流体の再循環を減らすことによって、ラック内の部品の温度を所定の範囲内に保つために必要とされるエネルギーの量を概ね最適化することができる。
図4C及び図4Dは、本発明の代替の実施形態による、それぞれ図4A及び図4Bに示される動作モードのオプションのステップを示す。最初に図4Cを参照すると、ステップ414〜420の代わりに実行することができるステップ424及び426が示される。この実施形態によれば、ステップ412の後に、ステップ424において、1つ又は複数のアクチュエータ206a、206b、208a、208bの設定値を求めることができる。アクチュエータ設定値は、例えば、給気口が開いている度合い、角度付パネルの角度、可動ルーバの角度等に基づく場合がある。こうして、アクチュエータ設定値に従って、例えば、1つ又は複数の通気口タイル116及び1つ又は複数のラック102〜108を通る空気流を決定することができる。
ステップ426では、求められたアクチュエータ設定値が、所定の最大アクチュエータ設定値と比較される。所定の最大アクチュエータ設定値は、複数の要因に基づく場合がある。例えば、所定の最大アクチュエータ設定値は、上記の空気流装置の最大開口位置に関連付けることができる。別法では、所定の最大アクチュエータ設定値は、空気流装置を通り抜ける所望の空気流レベルに関連付けることができる。すなわち、例えば、所定の最大アクチュエータ設定値は、1つ又は複数のラック102〜108を通り抜ける冷却流体の流れがほとんど、又は全くない状況のような、1つ又は複数のラック102〜108を通り抜ける冷却流体の流れのレベルを損なう可能性があるのを概ね防ぐように設定することができる。
求められたアクチュエータ設定値が所定の最大アクチュエータ設定値よりも大きい場合には、ステップ422において、コントローラ204は、1つ又は複数のアクチュエータ206a、206b、208a、208bを操作して、1つ又は複数のラック102〜108への冷却流体の流れを減らすことができる。別法では、求められたアクチュエータ設定値が所定の最大アクチュエータ設定値未満である場合には、ステップ414において、コントローラ204は、1つ又は複数のアクチュエータ206a、206b、208a、208bを操作して、1つ又は複数のラック102〜108への冷却流体の流れを増やすことができる。
ここで図4Dを参照すると、ステップ462〜468の代わりに実行することができるステップ472及び474が示される。この実施形態によれば、ステップ460の後に、ステップ472において、1つ又は複数のアクチュエータ206a、206b、208a、208bの設定値を求めることができる。アクチュエータ設定値は、例えば、給気口が開いている度合い、角度付パネルの角度、可動ルーバの角度等に基づく場合がある。こうして、アクチュエータ設定値に従って、例えば、1つ又は複数の通気口タイル116及び1つ又は複数のラック102〜108を通る空気流を決定することができる。
ステップ474では、求められたアクチュエータ設定値が、所定の最小アクチュエータ設定値と比較される。所定の最小アクチュエータ設定値は、複数の要因に基づく場合がある。例えば、所定の最小アクチュエータ設定値は、上記の空気流装置の最小開口位置に関連付けることができる。別法では、所定の最小アクチュエータ設定値は、空気流装置を通り抜ける所望の冷却流体の流れのレベルに関連付けることができる。すなわち、例えば、所定の最小アクチュエータ設定値は、1つ又は複数のラック102〜108を通り抜ける冷却流体の流れがほとんど、又は全くない状況のような、1つ又は複数のラック102〜108を通り抜ける冷却流体の流れのレベルを損なう可能性があるのを概ね防ぐように設定することができる。求められたアクチュエータ設定値が所定の最小アクチュエータ設定値未満である場合には、ステップ470において、コントローラ204は、1つ又は複数のアクチュエータ206a、206b、208a、208bを操作して、1つ又は複数のラック102〜108への冷却流体の流れを増やすことができる。別法では、求められたアクチュエータ設定値が所定の最小アクチュエータ設定値よりも大きい場合には、ステップ462において、コントローラ204は、1つ又は複数のアクチュエータ206a、206b、208a、208bを操作して、1つ又は複数のラック102〜108への冷却流体の流れを減らすことができる。
動作モード400及び450に示されるステップを実行した後に、コントローラ204は、SHIの変化が検出されるときに、動作モード400及び450のいずれが実行されるかを判定することができる。例えば、動作モード400、例えば、ステップ402〜420を以前に実行した結果として、部品、ラック又はラック群についてのSHIが減少したときには、コントローラ204は、動作モード400を実施することができる。別法では、動作モード450、例えば、ステップ452〜468を以前に実行した結果として、部品、ラック又はラック群のためのSHIが減少したときには、コントローラ204は、動作モード450を実施することができる。さらに、種々の部品、ラック又はラック群についてSHIを求めるのに応答して、コントローラ204は動作モード400又は450のいずれかを実施することができる。或る場合には、コントローラ204は基本的に、計算されたSHIが所定の最大設定SHIを超えるのに応答して、動作モード400又は450のどちらを実行するか、例えば、1つ又は複数のアクチュエータを操作して、冷却流体の流れを増やすか、又は減らすかを学習する。
図5は、別の実施態様による、冷却システム、例えば冷却システム202の動作モード500の流れ図を示す。動作モード500に関する以下の説明は、本発明の一実施形態を操作することができる種々の異なる態様のうちの1つの態様にすぎないことは理解されたい。動作モード500は一般化された例示を表していること、及び本発明の範囲から逸脱することなく、他のステップを追加できるか、又は既存のステップを除去若しくは変更できることも、当業者には明らかであろう。動作モード500の説明は、図2に示されるブロック図200を参照しながら行われ、それゆえ、そのブロック図に列挙される部品を参照する。
コントローラ204は、動作モード500を実施して、計算されたSHI値に基づいて種々のサーバ220の中の作業負荷を制御することができる。動作モード500は、ステップ502において、作業負荷負担要求を受信するのに応答して開始することができる。例えば、動作モード500は、1つ又は複数のサーバ220によって実行されるべき作業の要求に応答して開始することができる。
ステップ504では、コントローラ204、より詳細には作業負荷モジュール218が、指定された動作方針を満たす余剰能力を有する装置、例えば、1つ又は複数のサーバ220を特定することができる。例えば、作業負荷モジュール218は、どのサーバ220が要求されたタスクを実行することができるかを判定することができる。
ステップ506では、作業負荷モジュール218が、ステップ504において特定された装置についてのSHI値を受信することができる。作業負荷モジュール218は、上記のようにしてSHI値を計算することができる測定基準モジュール218から、この情報を受信することができる。さらに、作業負荷モジュール218は、作業負荷要求を受信するのに応答して、作業負荷モジュール218がSHI計算を実行することを要求することもできる。
ステップ508では、作業負荷モジュール218が、最も低いSHI値を有する1つ又は複数の装置に作業負荷をかけることができる。この関連で、ラック内の装置から冷却流体への熱伝達の効率を概ね最適化することができる。
図6は、データセンタレイアウトを設計し、配置するための動作モード600の流れ図を示す。動作モード600に関する以下の説明は、一実施形態を操作することができる種々の異なる態様のうちの1つの態様にすぎないことは理解されたい。動作モード600は一般化された例示を表していること、及び本発明の範囲から逸脱することなく、他のステップを追加できるか、又は既存のステップを除去若しくは変更できることも、当業者には明らかであろう。
動作モード600に略述されるステップのいくつかは、例えば、メモリ212に格納され、コントローラ204によって実行されるソフトウエアによって実行することができる。そのソフトウエアは、入力された温度に基づいて、提案されたデータセンタの種々の場所において空気流の動態を計算するように設計される計算流体力学(CFD)ツールを含むことができる。CFDツールは、ラック入口及び出口において予測される温度、並びに予測される基準温度に従って、データセンタの種々のセクションについてSHI値を求めるようにプログラミングすることができる。
ステップ602では、データセンタの提案されたレイアウト又は構成、及びラック内の提案された発熱に基づいて、SHI値を計算することができる。計算されたSHI値に従って、ステップ604では、データセンタのレイアウト又は構成を変更して、SHI値を最小にすることができる。ステップ604は、種々のデータセンタ構成をツールに入力して、どのレイアウトが、結果としてSHI値を最小にするかを判定する繰返し過程を含むことができる。SHI値を最小にする構成を有するレイアウトが決定されると、ステップ606において、このレイアウトを有するデータセンタを配置することができる。
先に列挙された同時係属の特許出願においてさらに詳細に説明されるように、CFDツールを導入して、データセンタ100内の冷却流体及び空気流の温度を監視することができる。本発明の一実施形態によれば、CFDツールを導入して、データセンタ100の種々のセクションについてのSHI値を計算し、それにより、データセンタ100内の加熱された冷却流体の再循環のレベルを求めることができる。例えば、ラック内に送出される冷却流体の温度、ラックから排気される加熱された冷却流体の温度、及び基準温度をCFDツールに入力することができる。CFDツールは、先に記述された式と同じようにして、入力された温度情報を用いてSHI値を計算することができる。さらに、CFDツールは、データセンタ400内のSHI値の数値モデルを作成することができる。SHI値の数値モデルは、データセンタ100の種々のセクションにわたるSHI値のマップを作成する際に用いることができる。
種々の時刻におけるデータセンタ100にわたるSHI値の数値モデルを比較することによって、CFDツールは、データセンタ100内のSHI値の変化を求めることができる。SHI値の数値モデルが、冷却流体が加熱された冷却流体と再循環していることを指示する場合には、コントローラ204が、1つ又は複数のアクチュエータ206a、206b、208a、208bを操作して、図4A及び図4Bに関して先に説明されたのと同じようにして、再循環を減らすか、又はなくすことができる。
その開示が、その全体が参照により本明細書に援用される、2003年1月22日に出願の「Agent Based Control Method and System for Energy Management」と題する同時係属の、本発明の譲受人に譲渡される米国特許出願第10/345,723号(代理人整理番号第100200080号)に記述されるように、アクチュエータ206a、206b、208a、208bの動きは、冷却流体を配分するためにラックエージェントの中で交換することができるか、又は割り当てることができる資源と見なすことができる。これらの資源は、資源ピラミッドの最も下にある段に存在することができ、制御信号に応答して、最初に割り当てられることができる。多段及び多エージェントの制御システムは、適当な温度条件、偏差及びラック動作パラメータによって駆動することができる。
図7は、概ねRHI値に基づく、冷却システム、例えば冷却システム202のための動作モード700の流れ図を示す。動作モード700に関する以下の説明は、冷却システムを操作することができる種々の異なる態様のうちの1つの態様にすぎないことは理解されたい。動作モード700は一般化された例示を表していること、及び本発明の範囲から逸脱することなく、他のステップを追加できるか、又は既存のステップを除去又は変更できることも、当業者には明らかであろう。動作モード700の説明は、図2に示されるブロック図200を参照しながら行われ、それゆえ、そのブロック図に列挙される部品を参照する。
或る場合には、コントローラ204が、動作モード700を実施して、計算されたRHI値に基づいて、1つ又は複数のCRACユニット228を制御することができる。より具体的には、例えば、動作モード700を実施して、それらのエネルギー消費レベルが概ね最小限に抑えられるように、1つ又は複数のCRACユニット228を制御することができる。さらに、CRACユニット228のうちの1つ又は複数が、有益な熱管理レベルを概ね保つように動作することができる。ただ1つのCRACユニット228が特に参照されるが、動作モード700に関して略述される概念は、任意の理に適った都合の良い数のCRACユニット228を制御するために適用することができることは理解されたい。したがって、ただ1つのCRACユニット228の説明は、説明を簡単にすることを目的としており、動作モード700をただ1つのCRACユニット228に限定することは意図していない。
動作モード700は、ステップ702において、種々の刺激に応答して開始することができる。例えば、動作モード700は、所定の時間経過に応答して、送信された信号を受信するのに応答して、且つ/又は環境条件(例えば、温度、湿度、位置等)の変化が検出されるのに応答して、開始することができる。さらに、ユーザが手動で動作モード700を開始することもできる。
ステップ704では、RHI設定値(RHISET)を求めることができる。RHI設定値は、例えば、データセンタ100、100において許容できる結果をもたらす、例えば最小RHIレベルを構成することができる。データセンタ100、100内の種々のRHIレベルの効果を試験することに基づいて、RHI設定値を求めて、それらのRHIレベルが許容できるか否かを判定することができる。それに加えて、又は別法として、RHI設定値は、データセンタ100、100に収容される部品についての製造業者の仕様に基づく場合もある。例えば、RHI設定値は、データセンタ100、100内の許容できる温度レベルに概ね基づく場合がある。さらに、CRACユニット228が影響を及ぼすエリアが異なることがあるので、RHI設定値は、種々のCRACユニット228毎に異なることがある。
いずれの場合でも、ステップ706において、CRACユニット228についてのRHIi値を測定することができる。下付き文字「i」はRHIの繰返しについての繰返しの指標を表す。要するに、第1の繰返しの場合には、「i」は1に等しくなり、第2の繰返しの場合には、「i」は2に等しくなり、それ以降も同様であろう。上記のように、RHI値は、式(7)に基づいて計算することができる。それゆえ、データセンタ100、100の種々の場所における冷却流体の温度を用いて、RHI値を求めることができる。より詳細には、RHI値は、CRACユニット228に戻される加熱された冷却流体の温度(TC in)、1つ又は複数のラックから排気される加熱された冷却流体の温度(Tr out)、及び冷却された冷却流体の基準温度(Tref)に基づく。基準温度(Tref)は、通気口タイル116の冷却流体温度を表し、それは、CRACユニット228によって供給される冷却流体の供給温度と見なすこともできる。さらに、排気される加熱された冷却流体の温度(Tr out)が測定される1つ又は複数のラックは、1つ又は複数のラックのうちの特定のラックに及ぼされるCRACユニット228の影響に基づくことができる。
ステップ708では、ステップ706において求められたRHIi値がステップ704において求められたRHISET値以上であるか否かを判定することができる。ステップ710では、RHIi値がRHISET値以上である場合には、冷却流体がCRACユニット228によって供給される温度が上げられる。CRACユニット228の供給冷却流体温度を上げるレベルは、所定の温度上昇値に設定することができる。例えば、供給冷却流体温度は、約1〜5℃又はそれ以上だけ上げることができる。別法では、上昇のレベルは、例えば、RHIi値がRHISET値を超えるレベルに基づく場合がある。この事例では、供給冷却流体温度の上昇は、RHIi値がRHISET値を超えるレベルに概ね比例することができる。或る場合には、RHIi値がRHISET値を超えるときに、CRACユニット228によって供給される冷却流体の温度を上げることによって、CRACユニット228が消費するエネルギーが全体として少なくなる。
ステップ706〜710は、任意の理に適った都合の良い回数だけ繰り返すことができる。例えば、これらのステップは、所定の期間又は回数等で、データセンタ100が動作している限り繰り返すことができる。さらに、動作モード700は、例えば、ユーザの判断に基づいて終了することもできる。
動作モード700とともに用いられることがある付加的なステップが、以下に図8A及び図8Bに関して説明される。
図8A及び図8Bは合わせて、概ねRHI値に基づく、冷却システム、例えば、冷却システム202のための動作モード800の流れ図を示す。動作モード800に関する以下の説明は、冷却システムを操作することができる種々の異なる態様のうちの1つの態様にすぎないことは理解されたい。動作モード800は一般化された例示を表していること、及び本発明の範囲から逸脱することなく、他のステップを追加できるか、又は既存のステップを除去若しくは変更できることも、当業者には明らかであろう。動作モード800の説明は、図2に示されるブロック図200を参照しながら行われ、それゆえ、そのブロック図に列挙される部品を参照する。
或る場合には、コントローラ204は、動作モード800を実施して、計算されたRHI値に基づいて1つ又は複数のCRACユニット228を制御することができる。より詳細には、例えば、動作モード800を実施して、1つ又は複数のCRACユニット228のエネルギー消費レベルが概ね最小限に抑えられるように、それらのユニットを制御することができる。さらに、CRACユニット228のうちの1つ又は複数は、有益な熱管理レベルを概ね保つように動作することができる。ただ1つのCRACユニット228が特に参照されるが、動作モード800に関して略述される概念は、任意の理に適った都合の良い数のCRACユニット228を制御するために適用することができることは理解されたい。したがって、ただ1つのCRACユニット228の動作の説明は、説明を簡単にすることを目的としており、動作モード800をただ1つのCRACユニット228に限定することは意図していない。
動作モード800は、ステップ802において、種々の刺激に応答して開始することができる。例えば、動作モード800は、所定の時間経過に応答して、送信された信号を受信するのに応答して、且つ/又は環境条件(例えば、温度、湿度、位置等)の変化が検出されるのに応答して、開始することができる。さらに、ユーザが手動で動作モード800を開始することもできる。
ステップ804では、ステップ704(図7)に関して先に説明されたように、RHI設定値(RHISET)を求めることができる。さらに、ステップ806では、ステップ706(図7)に関して説明されたように、CRACユニット228のためのRHIi値を測定することができる。
ステップ808では、1に等しい値「j」の場合に、ステップ806において求められたRHIi値が、ステップ804において求められたRHISET値と比較される。一例では、値「j」は、CRACユニット228の流量変化の繰返しの数を表すことができる。他の例では、値「j」は、例えば、CRACユニット228によって消費される電力、メンテナンス勧告等の種々の他の判定基準を表すことができる。さらに、「j」がインクリメントされる割合は、ハードウエア要件及び制御要件によって大幅に制限されることがある。値「j」のさらに別の例が以下に提供される。
ステップ808において、RHIi値がRHISET値以上である場合には、ステップ810において示されるように、冷却流体がCRACユニット228によって供給される温度が上げられる。CRACユニット228の供給冷却流体温度の上昇レベルは、所定の温度上昇値に設定することができる。例えば、供給冷却流体温度は、約1〜5℃、又はそれ以上だけ上げることができる。別法では、上昇のレベルは、例えば、RHIi値がRHISET値を超えるレベルに基づく場合がある。この事例では、供給冷却流体温度の上昇は、RHIi値がRHISET値を超えるレベルに概ね比例することができる。或る場合には、RHIi値がRHISET値を超えるときに、CRACユニット228によって供給される冷却流体の温度を上げることによって、CRACユニット228が消費するエネルギーが全体として少なくなる。
ステップ812では、データセンタ100、100の熱管理を検査することができる。一例として、CRACユニット228によって影響を及ぼされるエリア内の種々の場所におけるSHIレベルを検査して、上昇した供給冷却流体温度が再循環レベルに悪影響を及ぼしているか否かを判定することができる。それに加えて、又は別法として、熱管理検査は、ラックのうちの1つ又は複数のラックの入口温度を監視することであって、それによって、それらの温度が所定の温度レベル、例えば約25℃よりも高いか否かを判定、監視することを含んでもよい。具体的には例示しないが、その検査が、熱管理に問題があることを指示する場合には、ステップ812は、熱管理を改善するためのステップを含んでもよい。一例として、ラックのうちの1つ又は複数のラックの入口温度が所定の温度レベルよりも高い場合には、その1つ又は複数のラックに送出される冷却空気流を変更することができる。例えば、関連する通気口タイル116及びCRACユニット228のうちのいずれか、又は両方を操作することによって、冷却空気流の体積流量を増加することができる。別の例として、種々の場所におけるSHIレベルが最大SHI設定値よりも高い場合には、図4A及び図4Bにおいて略述されるステップのうちの1つ又は複数を実行して、それらのエリアにおけるSHIレベルを下げることができる。
図8Aには明示されないが、ステップ810と812との間で、所定の時間が経過できるようにすることができる。ステップ810と812との間の遅延を用いて、供給冷却流体温度の変化の効果が概ね検出されるようにすることができる。或る場合には、コントローラ204がタイマ又はクロックにアクセスして、ステップ810を実行してからステップ812を実行するまでの時間を決定することができる。遅延の長さは、冷却流体温度変化間の既知の時間長、及び種々の熱管理問題へのその効果に基づくことができる。別法では、遅延の長さは、予め設定された時間の長さ、例えば、約2分、約5分、約10分又はそれ以上であってもよい。
ステップ814では、RHISET値がRHIi値に等しくなるように設定される。このステップは、例えば、後に測定されるRHIi値が比較される条件を変更するために実行される。或る場合には、RHISET値をRHIi値に設定することは、動作モード800がヒューリスティックに実行されるようにするために実行される。さらに、ステップ806において、別の繰返しの場合のRHIi値を再び測定して、ステップ808〜814を繰り返すことができる。
ステップ808に戻ると、ステップ806において測定されたRHIi値が、ステップ804において求められたRHISET値よりも小さい場合には、ステップ816において、冷却流体がCRACユニット228によって供給される流量を求めることができる。供給される冷却流体の流量は、風速計を用いることによって直に検出することができるか、又は送風機回転の検出に基づいて計算することができる。いずれの場合でも、ステップ818において、求められた流量(FR)を、最大流量設定値(FRMAX)と比較することができる。最大流量設定値は、CRACユニット228によって供給される冷却流体の最も高い所望の流量を指示することができ、例えば、製造業者によって指定される送風機動作、種々の流量におけるデータセンタ100、100内の冷却への効果の試験等に基づくことができる。
求められた流量が最大流量設定値よりも小さい場合には、ステップ820において、値「j」をj=j+1に設定することができる。さらに、ステップ822において示されるように、冷却流体がCRACユニット228によって供給される流量が増やされる。CRACユニット228によって供給される冷却流体流量の上昇レベルは、所定の流量上昇値に設定することができる。例えば、その上昇レベルは、例えばRHIi値がRHISET値未満であるレベルに基づく場合がある。この事例では、流量の増加は、RHIi値がRHISET値未満であるレベルに概ね比例することができる。或る場合には、RHIi値がRHISET値未満であるときに、CRACユニット228によって供給される冷却流体の流量を増加することよってRHIレベルを高めることができ、それによりCRACユニット228の効率を高めることができる。別の例として、流量の増加レベルは、流量(FR)と、最大流量設定値(FRMAX)との間の差に基づく場合がある。この例では、流量の増加は、流量の差の大きさに概ね等しくすることができる。別法では、その増加は、流量間の差のインクリメントされた値に概ね等しくすることができる。
ステップ824では、RHIi値を再び測定することができ、この事例では、RHIi+1値が生成されるであろう。図8Aには明示されないが、ステップ822と824との間で、所定の時間が経過できるようにすることができる。ステップ822と824との間の遅延を用いて、供給冷却流体流量の変化の効果が概ね検出されるようにすることができる。或る場合には、コントローラ204がタイマ又はクロックにアクセスして、ステップ822を実行してからステップ824を実行するまでの時間を決定することができる。遅延の長さは、冷却流体流量変化間の既知の時間長、及びRHI測定値へのその効果に基づくことができる。別法では、遅延の長さは、予め設定された時間の長さ、例えば、約2分、約5分、約10分又はそれ以上であってもよい。
ステップ826では、データセンタ100の熱管理を検査することができる。一例として、CRACユニット228によって影響を及ぼされるエリア内の種々の場所におけるSHIレベルを検査して、上昇した供給冷却流体温度が再循環レベルに悪影響を及ぼしているか否かを判定することができる。さらに、ステップ826における熱管理検査は、ステップ812に関して先に説明されたようにして実行することができる。
ステップ828では、RHIi+1値がRHIi値を超えているか否かが判定される。言い換えると、CRACユニット228の流量を増加した結果として、RHI値が高くなったか否かが判定される。RHI値が高くなることは、流量を増加した結果として、正のRHI測定値が生成されたことを指示している可能性がある。RHIi+1値がRHIi値を超えている場合には、ステップ830において、RHIi+1値が最大RHI値(RHIMAX)に概ね達しているか否かが判定される。RHIi+1値が、最大RHI値に十分に達していないものと判定される場合には、ステップ832に示されるように、繰返し数「j」が値「n」に達しているか、又は超えているか否かを判定することができる。
上記のように、特定の事例では、値「j」は、CRACユニット228の流量変化の繰返し数を表す場合がある。他の例では、値「j」は、例えば、CRACユニット228によって消費される電力、メンテナンス勧告等の種々の他の判定基準を表す場合がある。さらに、「j」がインクリメントされる割合は、ハードウエア要件及び制御要件によって大幅に制限されることがある。値「n」は、所定の繰返し数を表すことができ、多数の種々の判定基準に従って設定することができる。例えば、繰返し数「n」は、比較的自由裁量で選択することができるか、又は試験に基づいて選択することができる。一例として、繰返し数「n」は、ステップ818において求められる、流量(FR)と、最大流量設定値(FRMAX)との間の差に基づいて決定することができる。これらの流量間の差は適当に縮めることができ、その縮める回数を用いて、繰返し数「n」を設定することができる。こうして、例えば、流量が最大流量設定値に達する前に10回縮められる場合には、繰返し数「n」は10に等しくすることができる。
値「j」が繰返し数「n」未満である場合には、ステップ820において示されるように、値「j」を1だけインクリメントすることができる。さらに、ステップ830に関して先に示されたように、RHIi+1値がRHIMAX値に等しくなるか、又は「j」値が「n」値に達するか、若しくは「n」値を超えるまで、ステップ822〜832を繰り返すことができる。ステップ832において、「j」値が「n」値に達するか、又は「n」値を超える場合、すなわち、例えば流量が最大流量設定値に達しているか、若しくは超えている場合には、又はRHIi+1値が最大RHI値に概ね達している場合には、ステップ814において示されるように、RHISET値が、RHIi値に等しくなるように設定される。さらに、ステップ806において、別の繰返しの場合のRHIi値を再び測定し、ステップ808〜832を繰り返すことができる。この関連で、例えば、RHI値が設定RHI値以上である場合には、CRACユニット228の供給温度を高めることができ、それにより、CRACユニット228を動作させることに関連するエネルギーコストを削減することができる。さらに、RHI値が設定RHI値未満である場合には、RHIを高めるようなステップが行われ、それにより、CRACユニット228の効率を高めることができる。
RHI値が最大RHI値に達しているか否かに関する判定は、CRACユニット228の流量設定値を様々に増やした場合のRHIi+1の変化を解析することを通して行うことができる。例えば、ステップ828において、後続の繰返しの場合のRHI値が先行する繰返しのRHI値以下である場合には、RHIi+1値が最大RHI値に達しているものと判定することができる。
しかしながら、ステップ828においてRHIi+1値がRHIi値以下である場合には、それは流量を増加しても、結果として正のRHI測定値が生成されなかったことを示しており、以下に説明されるように、サイクルBを実行することができる。
図8Aに示されるように、ステップ820〜832はサイクルAと見なされ、CRACユニット228によって供給される空気の流量を増やすことによってRHIを高めるためのステップを含む。対照的に、図8Bに示されるサイクルBは、CRACユニット228によって供給される空気の流量を減らすことによってRHIを高めるためのステップ840〜852を含む。サイクルAは、サイクルBの前に実行されるものとして図示及び説明されるが、動作モード800の範囲から逸脱することなく、サイクルAの前にサイクルBを実行できることは理解されたい。したがって、図8Bに関して、ステップ834において、CRACユニット228によって供給される空気の流量(FR)を求めることができる。この関連で、サイクルBがサイクルAの前に実行される事例では、ステップ834は、ステップ808の後に実行することができる。流量(FR)を検出することができる種々の態様が、ステップ816に関して先に説明されている。しかしながら、サイクルBがサイクルAの後に実行され、流量が既にわかっている状況では、ステップ834は省くことができる。
いずれの場合でも、ステップ836において、その流量(FR)を、最小流量設定値(FRMIN)と比較することができる。最小流量設定値は、CRACユニット228によって供給される冷却流体の最も低い所望の流量を指示することができ、例えば、製造業者によって指定される送風機動作、種々の流量におけるデータセンタ100内の冷却への効果の試験等に基づくことができる。流量(FR)が最小流量設定値(FRMIN)以下である場合には、ステップ838において示されるように、ステップ820〜832(図8A)を実行して、CRACユニット228の流量を増やすことができる。
流量(FR)が最小流量設定値(FRMIN)よりも大きい場合には、ステップ840において、値「j」を「j+1」に設定することができる。サイクルBがサイクルAの後に実行される場合には、サイクルAにおいて実行される繰返しがサイクルBの繰返し「j」の決定には含まれないように、値「j」をリセットすることができる。そうでない場合には、値「j」は、ステップ808の後に、「j+1」に設定することができる。
ステップ842では、冷却流体がCRACユニット228によって供給される流量が減らされる。さらに、ステップ818において、CRACユニット228によって供給される冷却流体の流量(FR)が最大流量設定値(FRMAX)以上である場合には、ステップ842を実行することができる。CRACユニット228によって供給される冷却流体の流量の減少レベルは、所定の流量減少量に設定することができる。例えば、減少レベルは、例えば、RHIi値がRHISET値未満であるレベルに基づくことができる。この事例では、流量の減少は、RHIi値がRHISET値未満であるレベルに概ね比例することができる。或る場合には、RHIi値がRHISET値未満であるときに、CRACユニット228によって供給される冷却流体の流量を減らし、それにより、CRACユニット228の効率を高めることによって、RHIレベルを高めることができる。別の例として、流量の増加レベルは、流量(FR)と、最小流量設定値(FRMIN)との間の差に基づく場合がある。この例では、流量の減少は、流量の差の大きさに概ね等しくすることができる。別法では、その減少は、流量間の差の縮められる値に概ね等しくすることができる。
ステップ844では、RHIi値を再び測定することができ、この事例では、RHIi+1値が生成されるであろう。図8Bには明示されないが、ステップ842と844との間で、所定の時間が経過できるようにすることができる。ステップ842と844との間の遅延を用いて、冷却流体流量の変化の効果が概ね検出されるようにすることができる。或る場合には、コントローラ204がタイマ又はクロックにアクセスして、ステップ842を実行してからステップ844を実行するまでの時間を決定することができる。遅延の長さは、冷却流体流量変化間の既知の時間長、及びRHI測定値へのその効果に基づくことができる。別法では、遅延の長さは、予め設定された時間の長さ、例えば、約2分、約5分、約10分又はそれ以上であってもよい。
ステップ846では、データセンタ100、100の熱管理を検査することができる。ステップ846における熱管理検査は、ステップ812及び826に関して先に説明されたようにして実行することができる。
ステップ848では、RHIi+1値がRHIi値を超えているか否かが判定される。言い換えると、CRACユニット228の流量を減らした結果として、RHI値が高くなったか否かが判定される。RHI値が高くなることは、流量を減らした結果として、正のRHI測定値が生成されたことを指示している可能性がある。RHIi+1値がRHIi値を超えている場合には、ステップ850において、RHIi+1値が最大RHI値(RHIMAX)に概ね達しているか否かが判定される。RHIi+1値が最大RHI値に十分に達していないものと判定される場合には、ステップ852に示されるように、繰返し数「j」が値「n」に達しているか、又は超えているか否かを判定することができる。
上記のように、特定の事例では、値「j」は、CRACユニット228の流量変化の繰返し数を表す場合がある。他の例では、値「j」は、例えば、CRACユニット228によって消費される電力、メンテナンス勧告等の種々の他の判定基準を表す場合がある。さらに、「j」がインクリメントされる割合は、ハードウエア要件及び制御要件によって大幅に制限されることがある。値「n」は、所定の繰返し数を表すことができ、多数の種々の判定基準に従って設定することができる。例えば、繰返し数「n」は、比較的自由裁量で選択することができるか、又は試験に基づいて選択することができる。一例として、繰返し数「n」は、ステップ836において求められる、流量(FR)と、最小流量設定値(FRMIN)との間の差に従って決定することができる。これらの流量間の差は、適当に縮めることができ、その縮める回数を用いて、繰返し数「n」を設定することができる。こうして、例えば、流量が最小流量設定値に達する前に10回縮められる場合には、繰返し数「n」は10に等しくすることができる。
値「j」が繰返し数「n」未満である場合には、ステップ840において示されるように、値「j」を1だけインクリメントすることができる。さらに、ステップ850に関して先に示されたように、RHIi+1がRHIMAX値に等しくなるか、又は「j」値が「n」値に達するか、若しくは「n」値を超えるまで、ステップ842〜852を繰り返すことができる。
ステップ852において、「j」値が「n」値に達するか、若しくは「n」値を超える場合、又はRHIi+1値が最大RHI値に概ね達している場合には、ステップ814において示されるように、またステップ830に関して先にさらに詳細に説明されたように、RHISET値が、RHIi値に等しくなるように設定される。さらに、ステップ806において、別の繰返しの場合のRHIi値を再び測定し、ステップ808〜850を繰り返すことができる。この関連で、例えば、RHI値が設定RHI値以上である場合には、CRACユニット228の供給温度を高めることができ、それにより、CRACユニット228を動作させることに関連するエネルギーコストを削減することができる。さらに、RHI値が設定RHI値未満である場合には、RHIを高めるようなステップが行われ、それにより、CRACユニット228の効率を高めることができる。
しかしながら、ステップ848において、RHIi+1値がRHIi値以下である場合には、それは流量を減らした結果として、正のRHI測定値が生成されなかったことを指示しており、RHISET値を、ステップ804において求められた最初のRHISET値に等しくなるように設定することができ、ステップ806〜852を繰り返すことができる。
動作モード800は、サイクルBの前にサイクルAが実行されるものとして説明されてきたが、本発明の範囲から逸脱することなく、動作モード800においてステップのうちのいくつかが実行される順序を変更できることは理解されたい。この関連で、そして特定の事例では、サイクルAの前に、サイクルBを実行することができる。
動作モード400、450、500、600、700及び800に示される動作は、任意の所望のコンピュータアクセス可能媒体内に、ユーティリティ、プログラム又はサブプログラムとして含まれることがある。さらに、動作モード及び400、450、500、600、700及び800は、コンピュータプログラムによって具現することができ、それはアクティブ及び非アクティブ両方の種々の形態において存在することができる。例えば、それらのプログラムは、ソースコード、オブジェクトコード、実行可能コード又は他のフォーマットにおけるプログラム命令から構成されるソフトウエアプログラム(複数可)として存在することができる。上記のいずれもコンピュータ読取り可能媒体上で具現することができ、それは、記憶装置及び圧縮形式又は非圧縮形式の信号を含む。
例示的なコンピュータ読取り可能記憶装置は、従来のコンピュータシステムRAM、ROM、EPROM、EEPROM及び磁気ディスク若しくは光ディスク又は磁気テープ若しくは光テープを含む。例示的なコンピュータ読取り可能信号は、搬送波を用いて変調されるにせよ、変調されないにせよ、インターネット又は他のネットワークを通してダウンロードされる信号を含む、コンピュータプログラムをホスティング又は実行するコンピュータシステムがアクセスするように構成されることができる信号である。上記の具体的な例は、CD ROMにおいて、又はインターネットダウンロードを介して、プログラムを配布することを含む。或る意味では、抽象エンティティとしてのインターネットそのものが、コンピュータ読取り可能媒体である。同じことは、一般的にはコンピュータネットワークにも当てはまる。それゆえ、上記の機能を実行することができるあらゆる電子装置が、先に列挙された機能を実行することができるものと理解されたい。
上記の本発明の特定の実施形態によれば、データセンタ内の環境条件を所定の動作範囲内に保つことに関連するエネルギーの量、それゆえコストを大幅に削減することができる。或る場合には、RHI値を大幅に増やすように冷却システムを動作させることによって、その冷却システムは、従来の冷却システムに比べて、より効率的に動作することができる。
本明細書で述べ、示されたものは、本発明の好ましい実施形態及びその変形の一部である。本明細書で使用される用語、説明、及び図は、例示のためにのみ記載され、限定であることを意味しない。添付の特許請求の範囲、及びその均等物によって規定され、全ての用語が、別途指示がない限り、その最も広く妥当な意味で意図される、本発明の精神及び範囲内で、多くの変形が可能であることを、当業者は認識するであろう。