JP5921461B2 - 外気冷却および局所冷却式情報処理システムとその負荷割当て方法 - Google Patents

外気冷却および局所冷却式情報処理システムとその負荷割当て方法 Download PDF

Info

Publication number
JP5921461B2
JP5921461B2 JP2013038171A JP2013038171A JP5921461B2 JP 5921461 B2 JP5921461 B2 JP 5921461B2 JP 2013038171 A JP2013038171 A JP 2013038171A JP 2013038171 A JP2013038171 A JP 2013038171A JP 5921461 B2 JP5921461 B2 JP 5921461B2
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
server
air
currently
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013038171A
Other languages
English (en)
Other versions
JP2013214293A (ja
Inventor
勇人 清水
勇人 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2013038171A priority Critical patent/JP5921461B2/ja
Priority to US13/786,613 priority patent/US20130238141A1/en
Priority to EP13158315.5A priority patent/EP2637074A3/en
Publication of JP2013214293A publication Critical patent/JP2013214293A/ja
Application granted granted Critical
Publication of JP5921461B2 publication Critical patent/JP5921461B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/20Cooling means
    • G06F1/206Cooling means comprising thermal management
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00Control of temperature
    • G05D23/19Control of temperature characterised by the use of electric means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20718Forced ventilation of a gaseous coolant
    • H05K7/20745Forced ventilation of a gaseous coolant within rooms for removing heat from cabinets, e.g. by air conditioning device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Thermal Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Air Conditioning Control Device (AREA)
  • Cooling Or The Like Of Electrical Apparatus (AREA)
  • Power Sources (AREA)
  • Hardware Redundancy (AREA)

Description

本発明は、例えば、サーバ装置などの情報処理装置群とその冷却を行う冷却設備から成る外気冷却式のデータセンタ等、所謂、外気冷却式の情報処理システムと、当該システムにおける情報処理装置の運用管理方法に係り、特に、外気冷却式情報処理システムあるいは局所冷却式情報処理システムと当該システムにおける情報処理装置群への作業負荷の割当て方法に関する。
現在、爆発的に増加するサーバ装置等の情報処理装置の発熱の増大に伴い、当該発熱を冷却するために冷却設備が消費する電力である、所謂、冷却電力も増加しており、サーバ装置における消費電力と冷却電力とを合わせた総合的な電力の削減が課題となっている。
データセンタの省電力化に向けて、サーバ装置などの情報処理装置、冷却設備、運用管理において、それぞれに、省電力化のための種々の取り組みが行われている。
例えば、情報処理装置では、低電力デバイスによる消費電力当たりの性能の向上や、作業負荷に応じた動作ステートの切り替えによる省電力機能の採用が進められている。
また、冷却設備では、空調にコンプレッサを使うヒートポンプ方式とは異なり、外気を取り入れて、送風だけで冷却を行うことで省電力化を行うことが考えられている。
更に、運用管理では、稼動情報監視、ジョブスケジューリング、さらには、仮想化による装置群の運用効率改善やコンソリデーションなどが行われている。
そして、冷却設備は、一般的に、サーバ装置群の全最大定格電力に基づいて設計されている。しかしながら、実際の運用時には、必ずしも全てのサーバ装置が同時に使用される訳ではなく、また、使用されるサーバ装置の負荷も、常に、最大負荷になる訳ではない。
また、今後、データセンタの運用管理技術の進歩によって、仮想化技術を用いて、省電力化のためにサーバ装置のコンソリデーションが活用されるようになり、なおかつ、外気を取り入れた冷却設備が同時に使用されるようになるか、複数の空調機による局所冷却設備が同時に使用されるようになると、装置群の電力分布の偏在化により冷却風の逆流や、再循環が発生してしまい、むしろ、これにより、熱溜まりが発生し、特定サーバの吸気温度異常などの障害を招く怖れがある。
従来、サーバの負荷に応じた起動停止の運用管理方法としては、以下の、幾つかの特許文献が既に知られている。
まず、以下の特許文献1では、サーバ、ストレージ、ネットワークなどの情報処理装置群と、それらの給電または冷却を行なう設備から成る情報処理システムの運用管理を、実空間における装置群や設備の稼働状況や配置状態を仮想空間上に再現することにより、装置群の作業負荷割り当てや設備の運転シミュレーションを、共通の仮想空間に対して、統一的に行い、特に、情報処理装置群と設備の統合的な省電力運用管理を行なうのに好適な技術を提供している。
また、以下の特許文献2においては、データセンタで複数のサーバを再起動(リブート)するための最適の順序を決定するための方法を提供するにあたり、その再起動順序は起動順序決定ポリシーに基づいて行われ、そして、電力及びワット数の適切なレベルを引き出す様な起動を提供するとしている。
更に、以下の特許文献3では、顧客システムへの計算資源の提供において、各データセンタで計算資源を提供するのに必要な電力消費を、要求計算資源に要する消費電力量を特定可能な電力情報として有しておき、これを考慮することで、適切な計算資源の運用を実現することが記載されている。
特開2011−40083号公報 特開2008−171427号公報 特願2011−82799号公報
しかしながら、上記の特許文献1では、上述したように、装置群や設備の稼働状況や配置状態を仮想空間上に再現することにより、装置群の作業負荷割り当てや設備の運転シミュレーションを共通の仮想空間に対して統一的に行うのが特徴であり、そのためには、運転シミュレーションのために膨大な計算が必要である。例えば、サーバのファンの動作状態が、「停止」と「回転」の2種類であったとしても、サーバがN台であったとすると、2のN乗回のシミュレーションを必要とする。
また、上記の特許文献2では、再起動順序は起動順序決定ポリシーに基づいて行われるとしているが、しかしながら、かかるポリシーの決定の仕方については述べていない。更に、上記の特許文献3では、要求計算資源に要する消費電力量を特定可能な電力情報を有しておくとしているが、そのような電力情報は、多数のケーススタディを実行することにより予めデータとして保有しておかなければ、実際に稼働することはできない。
即ち、以上に述べた従来技術では、サーバ起動停止の順番を決定するのに膨大な計算やケーススタディによるデータベースの構築が必要であり、システム稼働までの準備にかかり、そのためのコストが莫大であるという課題があった。
そこで、本発明は、上述した従来技術における課題に鑑みて達成されたものであり、より具体的には、上述した従来技術における課題の発生が少なく、より実用的な外気冷却式情報処理システムと、当該システムにおける負荷割当て方法を提供することをその目的とするものである。
上述した目的を達成するため、本発明によれば、まず、外気を導入して複数の情報処理装置を一系統の送風手段により冷却する外気冷却式の情報処理システムであって、前記複数の情報処理装置が、外気が導入される一方の空間と、当該複数の情報処理装置を冷却した後の空気が集められる他の空間との間に配置された情報処理システムにおける情報処理装置への負荷割当て方法において、現在稼働中の情報処理装置の台数を減少する場合は、現在稼働中の情報処理装置のうちどの1台の情報処理装置を停止するのが当該送風手段における消費電力が最小になるかを、現在稼働中の情報処理装置の各情報処理装置について、個別に、停止した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を停止し、現在稼働中の情報処理装置の台数を増加する場合は、現在停止中の情報処理装置のうちどの1台の情報処理装置を起動するのが当該送風手段における消費電力が最小になるかを、現在停止中の情報処理装置の各情報処理装置について、個別に、起動した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を起動する外気冷却式情報処理システムにおける負荷割当て方法が提供される。またあるいは、複数の情報処理装置を隣接する複数の空調装置により冷却する局所冷却式の情報処理システムであって、前記複数の情報処理装置が、空調機の供給する冷気が導入される一方の空間と、当該複数の情報処理装置を冷却した後の空気が隣接する複数の空調装置の吸入側へ集められる空間との間に配置された情報処理システムにおける情報処理装置への負荷割当て方法において、前記外気冷却式情報処理システムと同様にすることにより、局所冷却式の情報処理システムにおける負荷割当て方法が提供される。
なお、本発明では、前記に記載した外気冷却式あるいは局所冷却式の情報処理システムにおける負荷割当て方法において、前記稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置の決定は、運転を開始する前に行われ、全情報処理装置が停止している状態から1台稼働した場合において、最も前記送風手段における消費電力が最小となり、かつ、稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を、第1の情報処理装置として設定し、前記第1の情報処理装置を運転している状態から更に1台の情報処理装置を稼働した場合、最も前記送風手段における消費電力が最小となり、かつ、稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を、第2の情報処理装置として設定し、n台目(n=全情報処理装置台数よりも小さい自然数)の情報処理装置を稼働している状態からn+1番目の情報処理装置を稼働した場合、最も前記送風手段における消費電力が最小となり、かつ、稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を、第nの情報処理装置として設定し、前記n台目の処理を、全情報処理装置が稼働している状態まで繰り返して行い、もって、得られた当該情報処理装置の順番を記憶することが好ましい。
また、本発明によれば、やはり上述した目的を達成するため、外気を導入して複数の情報処理装置を一系統の送風手段により冷却する外気冷却式の情報処理システムであって、前記複数の情報処理装置は、外気が導入される一方の空間と、当該複数の情報処理装置を冷却した後の空気が集められる他の空間との間に配置されており、前記情報処理装置は、それぞれ、その吸気温度を計測するための手段を備えており、更に、現在稼働中の情報処理装置の台数を減少する場合は、現在稼働中の情報処理装置のうちどの1台の情報処理装置を停止するのが当該送風手段における消費電力が最小になるかを、現在稼働中の情報処理装置の各情報処理装置について、個別に、停止した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を停止する手段と、現在稼働中の情報処理装置の台数を増加する場合は、現在停止中の情報処理装置のうちどの1台の情報処理装置を起動するのが当該送風手段における消費電力が最小になるかを、現在停止中の情報処理装置の各情報処理装置について、個別に、起動した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を起動する手段と、を備えている外気冷却式情報処理システムが提供される。また同様に局所冷却式の情報処理システムが提供される。
上述した本発明によれば、常に、逆流の発生しない、或いは、発生してもその影響が小さい順にサーバを起動することが可能となるため、逆流が発生した時に、それを解消するために必要な却風送風ファンの出力を最小にすることができる。また、省電力化のために情報処理装置を一部停止しても、特定の情報処理装置の吸気温度異常などの障害を招くことを回避することができるようになる。更には、本発明は、運用の中で最適な情報処理装置起動順位を逐次に決定していくものであり、省電力化のために情報処理装置のコンソリデーションが活用され、なおかつ、外気を取り入れた冷却設備が同時に使用されるようになると、装置群の電力分布の偏在化により冷却風の逆流や再循環が発生し、これにより、熱溜まりが発生し特定の情報処理装置の吸気温度異常などの障害を招くことがあるが、これをも回避することができるようになる。
本発明の作業負荷割当て方法が適用される外気冷却式の情報処理システムの構成一例を示すブロック図である。 上記システムにおける外気導入による冷却風の流れの詳細を示す図である。負荷割当順序を説明する一例の図である。 上記外気冷却式の情報処理システムにおけるサーバの起動時の動作を示すフローチャート図である。 上記外気冷却式の情報処理システムにおけるサーバの停止時の動作を示すフローチャート図である。 本発明の作業負荷割当て方法が適用される局所冷却方式の情報処理システムの構成の一例を説明する図である。 本発明の作業負荷割当て方法が適用される局所冷却方式の情報処理システムの構成のほかの例を説明する図である。 本発明の作業負荷割当て方法が適用される局所冷却方式の情報処理システムの構成一例を示すブロック図である。 上記局所冷却方式の情報処理システムにおける空調機停止時の動作を示すフローチャート図である。
以下、本発明の一実施の形態について、添付の図面を参照しながら詳細に説明する。
まず、図1は、本発明になる作業負荷割当て方法が適用される外気冷却式の情報処理システムの構成一例を示すブロック図である。なお、この図において、サーバなどの情報処理装置13がN台、設置されている場合を示しており、そして、これらのサーバ13の冷却を行うため、以下に述べる冷却設備(外気冷却装置)が設けられている。
まず、外気導入による冷却風の流れについて説明する。外気が取り入れられると(図の白抜き矢印で示す流れを参照)、例えば、フィルター等、取り入れた外気を調整するための手段、即ち、外気調整手段11により、外気中の不純物(例えば、塵等)が取り除かれ、更には、その湿度が調整される。そして、この外気調整手段11からの空気は、上述したサーバ群13に冷却風として供給するファン10により、サーバの冷却風吸気口が開口している空間12(所謂、コールドアイル)へ送風される。その後、この空気は、上記のサーバ群13を冷却した後、サーバの排気口が開口している空間14(所謂、ホットアイル)に集められ、再び、屋外へ排気される。
添付の図2には、上述した外気導入による冷却風の流れの詳細を示すため、一例として、外気冷却データセンタにおける構成について示す。なお、この図においても、上記図1において示したと同様の構成には、同じ参照符号を付して示す。
即ち、図示の外気冷却データセンタにおいては、1台の冷却風送風ファン10(外気調整手段11と一体に構成)により、複数(N)台のサーバ13に対して、必要な冷却風を供給していうる。このとき、サーバ13(本例では2列)の冷却風吸気口は、センタ空間内のコールドアイルに開口している。より具体的には、このコールドアイル20は、図示しないセンタ空間の天井面と壁面、そして、床面21とにより形成される空間(但し、後の述べるアイルキャッピングにより形成されるホットアイルを除く)であり、そして、上記冷却風送風ファン10からの冷却風(図の白抜き矢印で示す流れを参照)は、センタの床面21と床下22との間を通り、更に、開口部23を通って、上記コールドアイル20に供給される(図の白抜き矢印で示す流れを参照)。
また、図において、2列のサーバ13は互いに背面を対向するように配置されており、当該背面側の空間(即ち、サーバの排気口が開口している空間)を取り囲むように、例えば、透明なビニールシート等による区画、所謂、アイルキャッピング25が設けられている。即ち、このアイルキャッピング25によれば、上記コールドアイル20に冷却風として供給された外気は、サーバ群13を冷却した後、アイルキャッピング25により取り囲まれた空間、所謂、ホットアイル30内に排出され、そして、当該ホットアイル30内に集められた冷却後の空気(高温の空気)は、排気ダクト40を介して外気調整手段11に循環され、再び、外気に排出されることとなる。
つまり、コールドアイル20とホットアイル30は、お互いに空気が混じりあわないように隔離される。これにより、センタの空間内では、サーバ13の発熱により温まった空気は、再び、他のサーバ13に吸気される空気の温度を上げることがないことから、冷却風送風ファン10は、各サーバ13が要求する風量の総和だけを供給すればよいこととなる。
しかしながら、本発明者等によ実験によれば、かかる状態において、省電力化のためにサーバ装置のコンソリデーションを行って停止するサーバが発生すると、当該サーバは、それ自身の送風ファンが停止することから、当該サーバ自体(その筺体内部の空間)が逆流可能なバイパス流路(図中の実線矢印で示す流れを参照)となってしまうことを発見した。そして、このような逆流が発生し、そして、かかる逆流が強くなると、それまでコールドアイル20からホットアイル30に向かって流れていた空気の流れにおいて、冷却風の逆流や再循環が発生してしまい、終には、熱溜まりが発生してしまう等の問題点があった。そして、その結果、かかる問題点を解消するためには、冷却風送風ファン10の出力を増してやる必要が生じ、これでは、かえって、その分だけ(サーバを停止したにも拘わらず)、空調に必要な電力が増すことになる。
そこで、本発明では、上述した問題点に鑑み、以下のような対策を行う。即ち、逆流が発生すると、サーバの吸気側の温度が上昇するので、サーバの吸気口に、サーバの運転とは関係なく動作する温度センサ(図1における参照符号105)を設ける。これによれば、当該センサによる計測温度の高低を監視すれることにより、逆流の発生を検知できる。そのうえで、現在の稼働サーバの台数を増加させる場合には、停止中のサーバのうち、どのサーバを1台起動したときに稼働中サーバの吸気温度の最大値が最も小さくなるかを調べ、そして、当該サーバを次に起動するものとする。これとは逆に、稼働するサーバの台数を減少させる場合には、最後に起動したサーバを停止する。
ここで、再び図1に戻り、本発明になる実施例1として、新たなサーバの起動について説明する。なお、図1において、101は、サーバ負荷の増減を通報するためのサーバ負荷増減通報装置であり、102は、各サーバの起動/停止を指示して実行するサーバ起動/停止指示実行装置であり、103は、サーバの起動/停止の順序を記録するための、例えば、メモリから構成される記憶装置であり、104は、サーバの稼働状態と温度との情報を集計し、もって、起動する1の台サーバを決定するサーバ決定装置である。なお、これらの装置は、例えば、各装置の所定の動作を実行するためのプログラムを格納したメモリを含むCPU等により構成することが出来る。また、図中の符号106は、サーバの稼働状態を表示するモニタであり、そして107は、1台を単位として、その起動と停止のリクエストとサーバ稼働状態を必要な各部へ通信するための通信手段(例えば、データバス等)である。
新たなサーバの起動において、上述した構成になる外気冷却式の情報処理システム(外気冷却データセンタ)では、サーバ負荷の増減を通報するサーバ負荷増減通報装置101により、停止中のサーバの起動が、各サーバの起動停止を指示実行するサーバ起動/停止指示実行装置102に通報される(ステップS31)。当該指示を受けたサーバ起動/停止指示実行装置102は、サーバ起動/停止順序記録装置103を参照し、現在の状態から1台起動すべきサーバが当該記録装置103に記録されているか否かを判定し(ステップS32)、記録されていれば(図の「Yes」)、そのサーバを起動する(ステップS33)。
一方、上記のステップS32において、記録装置に起動すべきサーバの情報がないと判定された場合(図の「No」)には、サーバ稼働状態と温度の情報を集計して1台起動するサーバを決定するサーバ決定装置104へ、サーバ稼働状態を通知する。ここで、ステップS34以降の処理を行うのに先立って後述する局所冷却式の情報処理システムにおいては一旦全空調機を稼動する(ステップS39)。これにより新たに起動するサーバにより不用意に入気温度の異常上昇を生じることを防ぐことができる。ただし外気冷却式情報処理システムにおいてはこのステップS39を省略してよい。ステップS34以降の処理により、サーバ決定装置104は、現在起動していないサーバを1台ずつ、上記サーバ起動/停止指示実行装置を介して起動し(ステップS34)、そして、各サーバの吸気温度情報を、サーバ吸気温度センサ105から取得して集計し、数値解析を行う(ステップS35)。そして、これにより、稼働中のサーバの吸気温度の最大値が最も小さくなったときのサーバを、起動する1台のサーバとして決定する(ステップS36)。そして、決定された起動する1台のサーバを、サーバ起動/停止指示実行装置102を介して起動する(ステップS37)と同時に、当該起動したサーバの情報を記録する(ステップS38)。これにより、逆流発生が最も少ないサーバ、即ち、最適なサーバを起動できたことになる。
即ち、現在稼働中のサーバの台数を減少する場合は、現在稼働中のサーバのうちどの1台のサーバを停止するのが送風装置(冷却風送風ファン10)における消費電力が最小になるかを、現在稼働中のサーバの各サーバについて、個別に、数値解析により決定し、各サーバの吸気温度の変化に異常があるか否かを判定し当該サーバを停止する。他方、現在稼働中のサーバの台数を増加する場合は、現在停止中のサーバのうちどの1台のサーバを起動するのが当該送風手段における消費電力が最小になるかを、現在停止中のサーバの各サーバについて、個別に、停止された状態の数値解析により、各サーバの吸気温度の変化により決定する。
また、前記数値解析は、運転を開始する前に行われてもよく、かかる場合には、全サーバが停止している状態から1台稼働した場合において、最も前記送風手段における消費電力が最小となり、かつ、前記サーバの吸気温度の変化に異常がないと判定されるサーバを、第1のサーバとして設定し、前記第1のサーバを運転している状態から更に1台のサーバを稼働した場合、最も前記送風手段における消費電力が最小となり、かつ、前記サーバの吸気温度の変化に異常がないサーバを、第2のサーバとして設定し、n台目(n=全サーバ台数よりも小さい自然数)のサーバを稼働している状態からn+1番目のサーバを稼働した場合、最も前記送風手段における消費電力が最小となり、かつ、前記サーバの吸気温度の変化に異常がないサーバを、第nのサーバとして設定し、前記n台目の処理を、全サーバが稼働している状態まで繰り返して行い、もって、得られた当該サーバの順番を記憶することが好ましい。
次に、稼働中のサーバの停止について、図4を参照しながら説明する。まず、サーバ負荷増減通報装置101より、サーバを停止する情報が通知されると(ステップS41)、サーバ起動/停止指示実行装置102は、上記サーバ起動/停止順序記録装置103を参照して、最後に起動したサーバを決定し(ステップS42)、当該サーバを停止する(ステップS43)。なお、ここで、稼働中の全てのサーバは、上述からも明らかなように、その起動の順序が、予め、上記サーバ起動/停止順序記録装置103内に記憶されており、そして、最後に起動したサーバは、最適な停止サーバに他ならない。
また、サーバなどの構成が変化しない限りは、上記サーバ起動/停止順序記録装置103にける記録は有効であり、次回からは、サーバ稼働状態と温度の情報を集計して1台起動するサーバを決定する手段であるサーバ決定装置104へサーバ稼働状態を通知する。これにより、当該サーバ決定装置104は、現在起動していないサーバを1台ずつ、サーバ起動/停止指示実行装置102を介して起動し、そして、各サーバの吸気温度情報をサーバ吸気温度センサ105より取得さいて集計する。これにより、1台起動するサーバを稼働中サーバの吸気温度の最大値が最も小さくなったときのサーバとして決定するという動作を省略することができる。
以上の実施例では、以上で説明した動作を実行する装置のうち、サーバ決定装置104は、各サーバ稼働状態と温度の情報を集計して1台起動するサーバを決定する装置であるとして説明した。しかしながら、本発明は、これにのみ限定されることなく、上記1台起動するサーバを決定するためのサーバ決定装置104としては、上述した特許文献1に記載されたシミュレーションを実行するものであってもよい。
なお、かかる場合においても、上述した本発明によれば、上述したように2のN乗回のシミュレーションを行うことなく、当該シミュレーションの実行回数をN回に削減することができる。より具体的には、例えば、サーバ台数が20台である場合には、2の20乗(=1048576)回のシミュレーションを、20回に削減することができる。
次に、本発明の外気冷却式の情報処理システムとは異なる実施形態である局所冷却式の情報処理システムについて特有な構成や動作について図5〜8を使って説明する。ここで説明する以外の構成や動作については外気冷却式の情報処理システムの場合と一緒である。
図5は空調機とサーバが収められたラックとが同列に配置された局所冷却方式の一例についての俯瞰図である。図中13がサーバ収められたラックを示しており、15が空調機を示している。この例では、空調機とサーバラックが交互に並べられている例を示しているが、空調機の配置はサーバラック2台以上おきに置かれていてもよい。サーバは自ら換気する送風機構を有しており一定の方向に空気が流れるようになっているものとする。また同様に空調機も内部に最低限の構成として熱交換器と送風機構を有しておりやはり一定の方向に空気が流れるようになっているものとする。図中の13と15にはそれぞれの上面に送風方向を矢印で示している。したがって501がサーバラック(13)の吸気口、また502が同じく排気口である。さらに503が空調機の吸入口であり、504が同じく吐出口である。サーバラック(13)は主に発熱するので、502での空気の温度は501での温度よりも上昇する。また空調機(15)は主に冷却するので504での空気の温度は503での温度よりも下降する。空調機(15)はサーバの冷却風吸気口が開口している空間12へ吐出するように12側に吐出口504が向いており、逆にサーバの排気口が開口している空間14から吸入するように吸入口(503)が向いている。図5ではサーバと空調機を並べた列が2列ある例を図示しているが、各列のサーバと空調機は密着するように配置されており12と14の空気が直接混合することの無いようにしている。また列と列は14や12を共用するように交互の配置とすれば、列の数は何列あっても良い。
次に、図6は空調機が天井から吊り下げられる配置の局所冷却方式のもう一つの例についての俯瞰図である。図中の符号は図5のときと同じであり、13がサーバ収められたラックを示しており、15が空調機を示している。この例では、空調機が天井から吊り下げられる形式であるが、図5では天井への吊り下げ方法や外部への配管は省略している。この例でも空調機は内部に最低限の構成として熱交換器と送風機構を有している。サーバと空調機の図中の13と15にはそれぞれの側面に送風方向を矢印で示している。サーバの吸気は矢印602で示しており、排気は同じく矢印603で示している。空調機(15)はサーバの冷却風吸気口が開口している空間12へ矢印601のように冷気を吹き出し、逆にサーバの排気口が開口している空間14から矢印604のように吸入する。図5ではサーバと空調機を並べた列が2列ある例を図示しているが、各列のサーバ同士は密着するように配置されており12と14の空気が直接混合することの無いようにしている。また列と列は14や12を共用するように交互の配置とすれば、列の数は何列あっても良い。また空調機の台数も必要なだけ何台あっても良い。
次に、図7は本発明の局所冷却式の情報処理システムの構成を示すブロック図である。図中の符号は図1の外気冷却式の情報処理システムの時と同じ要素であり、それぞれの動作も同じである。ここでは外気冷却式の情報処理システムと異なる部分について説明する。まず局所冷却式の情報処理システムにおいては図1の外気冷却式にはあった外気取り入れに関する部分10のファンや11の外気調整手段がない。排気もなく空間12と14は室内で閉じている。ここではサーバ13がN台、空調機がM台ある場合を示している。すべての空調機はサーバの排気する空間14から吸込み、サーバが吸気する空間12へ吐出すようになっている。明らかに図5や図6で説明したいずれの局所冷却式であってもこのようなブロック図で示すことができる。さらにM台ある空調機を個別に制御する手段108を備える。108はサーバおよび空調機決定手段104において決定した現在の動作すべき空調機を運転し、空調機の運転状態である入気と排気温度やさらには消費電力等の情報を取得する。取得した情報は通信手段107により104へ伝達される。サーバおよび空調機決定手段104は図1の外気冷却式の場合に加え空調機の運転状態を決定する動作を行う。
図8は空調機の運転を決定するための動作のフローチャートである。局所冷却式においても起動するサーバを決定するフロー(図3)やサーバの停止に関わるフロー(図4)は外気冷却方式と同様に実施する。これらの手順を実施した直後のタイミングで図8のフローがスタートする。まずステップS81において現在のサーバ運転状態における稼動する空調機が過剰かどうかを調べる。この調査の方法はあらかじ得られているサーバ運転状態の最大発熱量と空調機の最大処理能力を比べる。あるいは運用をおこなうオペレータの判断などで空調機台数が過剰か如何かを判断する。また既に運転を行ったことがある条件であるならばサーバおよび空調機起動停止順記録手段103を参照することにより空調機台数が過剰か如何かを判断する。異状の判断の結果、空調機台数が過剰でない(No)ならばこのフローは終了し空調機の運転状態は現状を維持する。過剰であると判断された場合(Yes)ステップS82においてサーバおよび空調機起動停止順記録手段103を参照して次に停止すべき空調機が決まっていれば(Yes)ステップS87へジャンプする。次に停止すべき空調機が決まっていなければステップS83以降を実施する。ステップS38では実際に現在稼動中の空調機を1台ずつ停止してそのときの各サーバ吸気温度を取得する。取得された吸気温度の情報をステップS84にて集計しステップS85において吸気温度最大値が最も小さかった停止空調機を次に停止する空調機して決定する。ステップS86において決定した停止する空調機の情報を空調機起動停止順記録手段103へ記録する。ステップS87において決定した空調機を停止し、処理を最初のステップS81へ戻す。このループを繰り返すことにより現在のサーバの運転状態に対して最適な空調機の運転状態を決定できる。またこの空調機の運転状態を決定するフローを実施している途中で新たなサーバの起動がサーバ負荷増減通報手段101にあったときは処理を途中で中止し、図3のフローを開始すればよい。
10…ファン、11…外気調整手段、12…サーバの冷却風吸気口が開口している空間、13…サーバ群、14…サーバの排気口が開口している空間、15…局所空調機、101…サーバ負荷増減通報手段、102…サーバ起動停止指示実行手段、103…サーバおよび空調機起動停止順記録手段、104…サーバおよび空調機決定手段、105…サーバ吸気温度センサ、106…モニタ、107…通信手段、108…空調機を個別に制御する手段

Claims (4)

  1. 外気を導入して複数の情報処理装置を一系統の送風手段により冷却する外気冷却式の情報処理システムであって、前記複数の情報処理装置が、外気が導入される一方の空間と、当該複数の情報処理装置を冷却した後の空気が集められる他の空間との間に配置された情報処理システムにおける情報処理装置への負荷割当て方法において、
    現在稼働中の情報処理装置の台数を減少する場合は、現在稼働中の情報処理装置のうちどの1台の情報処理装置を停止するのが当該送風手段における消費電力が最小になるかを、現在稼働中の情報処理装置の各情報処理装置について、個別に、停止した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を停止し、
    現在稼働中の情報処理装置の台数を増加する場合は、現在停止中の情報処理装置のうちどの1台の情報処理装置を起動するのが当該送風手段における消費電力が最小になるかを、現在停止中の情報処理装置の各情報処理装置について、個別に、起動した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を起動することを特徴とする外気冷却式情報処理システムにおける負荷割当て方法。
  2. 前記請求項1に記載した外気冷却式情報処理システムにおける負荷割当て方法において、
    前記稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置の決定は、運転を開始する前に行われ、
    情報処理装置が停止している状態から1台稼働した場合において、最も前記送風手段における消費電力が最小となり、かつ、稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を、第1の情報処理装置として設定し、
    前記第1の情報処理装置を運転している状態から更に1台の情報処理装置を稼働した場合、最も前記送風手段における消費電力が最小となり、かつ、稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を、第2の情報処理装置として設定し、
    n台目(n=全情報処理装置台数よりも小さい自然数)の情報処理装置を稼働している状態からn+1番目の情報処理装置を稼働した場合、最も前記送風手段における消費電力が最小となり、かつ、稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を、第nの情報処理装置として設定し、
    前記n台目の処理を、全情報処理装置が稼働している状態まで繰り返して行い、もって、得られた当該情報処理装置の順番を記憶することを特徴とする外気冷却式情報処理システムにおける負荷割当て方法。
  3. 外気を導入して複数の情報処理装置を一系統の送風手段により冷却する外気冷却式の情報処理システムであって、
    前記複数の情報処理装置は、外気が導入される一方の空間と、当該複数の情報処理装置を冷却した後の空気が集められる他の空間との間に配置されており、
    前記情報処理装置は、それぞれ、その吸気温度を計測するための手段を備えており、更に、
    現在稼働中の情報処理装置の台数を減少する場合は、現在稼働中の情報処理装置のうちどの1台の情報処理装置を停止するのが当該送風手段における消費電力が最小になるかを、現在稼働中の情報処理装置の各情報処理装置について、個別に、停止した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を停止する手段と、
    現在稼働中の情報処理装置の台数を増加する場合は、現在停止中の情報処理装置のうちどの1台の情報処理装置を起動するのが当該送風手段における消費電力が最小になるかを、現在停止中の情報処理装置の各情報処理装置について、個別に、起動した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を起動する手段と、を備えていることを特徴とする外気冷却式情報処理システム。
  4. 閉じた室内に複数の情報処理装置と複数の空調機を有する局所冷却方式の情報処理システムであって、複数の空調機の冷気が吐出され複数の情報処理装置が吸入する空間と、当該当該複数の情報処理装置が熱気を吐出し、当該複数の空調機が吸入する空間とが情報処理装置の筐体等の構造物により仕切られた情報処理システムにおける情報処理装置への負荷割当て方法において、
    現在稼働中の情報処理装置の台数を減少する場合は、現在稼働中の情報処理装置のうちどの1台の情報処理装置を停止するのが当該送風手段における消費電力が最小になるかを、現在稼働中の情報処理装置の各情報処理装置について、個別に、停止した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を停止し、
    現在稼働中の情報処理装置の台数を増加する場合は、現在停止中の情報処理装置のうちどの1台の情報処理装置を起動するのが当該送風手段における消費電力が最小になるかを、現在停止中の情報処理装置の各情報処理装置について、個別に、起動した場合における稼働中の情報処理装置の吸気温度の最大値が最も小さくなる情報処理装置を決定して、もって、当該情報処理装置を起動する方法を行い、
    さらに複数ある空調機の稼働台数が過剰である場合は、どの1台空調機が停止したときに最も稼働中の情報処理装置の吸気温度の最大値が小さくなるかを判断することにより停止すべき空調機順番を決定し、その順番に従って空調機を運転する手段を備えたことを特徴とする局所冷却式情報処理システム。
JP2013038171A 2012-03-08 2013-02-28 外気冷却および局所冷却式情報処理システムとその負荷割当て方法 Expired - Fee Related JP5921461B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013038171A JP5921461B2 (ja) 2012-03-08 2013-02-28 外気冷却および局所冷却式情報処理システムとその負荷割当て方法
US13/786,613 US20130238141A1 (en) 2012-03-08 2013-03-06 Open Air Cooled And Locally Coolable Information Processing System And Load Allocation Method In Such System
EP13158315.5A EP2637074A3 (en) 2012-03-08 2013-03-08 Open air cooled and locally coolable information processing system and load allocation method in such system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012051524 2012-03-08
JP2012051524 2012-03-08
JP2013038171A JP5921461B2 (ja) 2012-03-08 2013-02-28 外気冷却および局所冷却式情報処理システムとその負荷割当て方法

Publications (2)

Publication Number Publication Date
JP2013214293A JP2013214293A (ja) 2013-10-17
JP5921461B2 true JP5921461B2 (ja) 2016-05-24

Family

ID=47832994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013038171A Expired - Fee Related JP5921461B2 (ja) 2012-03-08 2013-02-28 外気冷却および局所冷却式情報処理システムとその負荷割当て方法

Country Status (3)

Country Link
US (1) US20130238141A1 (ja)
EP (1) EP2637074A3 (ja)
JP (1) JP5921461B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5969939B2 (ja) * 2013-02-28 2016-08-17 株式会社日立製作所 データセンタの空調制御装置
US20150073606A1 (en) * 2013-09-10 2015-03-12 Microsoft Corporation Cooling system management for server facility
CN105829807A (zh) 2014-01-06 2016-08-03 Naver商务平台株式会社 服务器机房冷却装置、引入外部空气用过滤模块以及包括该冷却装置和过滤模块的数据中心的空调系统
CN105371420A (zh) * 2014-09-01 2016-03-02 阿里巴巴集团控股有限公司 一种制冷控制方法、装置及系统
US10375901B2 (en) 2014-12-09 2019-08-13 Mtd Products Inc Blower/vacuum
JP6650759B2 (ja) * 2016-01-05 2020-02-19 株式会社日立製作所 冷却システム、空調制御装置および空調制御方法
CN106815116B (zh) * 2017-01-20 2019-08-27 郑州云海信息技术有限公司 一种BMC芯片、Expander芯片、服务器的散热方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795928B2 (en) * 2002-03-18 2004-09-21 International Business Machines Corporation Method for managing power consumption of multiple computer servers
US7447920B2 (en) * 2004-08-31 2008-11-04 Hewlett-Packard Development Company, L.P. Workload placement based on thermal considerations
US7644148B2 (en) * 2005-05-16 2010-01-05 Hewlett-Packard Development Company, L.P. Historical data based workload allocation
US8626918B2 (en) * 2005-05-16 2014-01-07 Hewlett-Packard Development Company, L.P. Workload allocation based upon heat re-circulation causes
US9003211B2 (en) * 2007-03-20 2015-04-07 Power Assure, Inc. Method and apparatus for holistic power management to dynamically and automatically turn servers, network equipment and facility components on and off inside and across multiple data centers based on a variety of parameters without violating existing service levels
JP4930909B2 (ja) * 2008-02-19 2012-05-16 日本電気株式会社 コンピュータ環境最適化システム、コンピュータ環境最適化方法、及びコンピュータ環境最適化プログラム
US8583289B2 (en) * 2008-02-19 2013-11-12 Liebert Corporation Climate control system for data centers
JP5308750B2 (ja) * 2008-03-26 2013-10-09 株式会社Nttファシリティーズ ラック空調システム
US8904383B2 (en) * 2008-04-10 2014-12-02 Hewlett-Packard Development Company, L.P. Virtual machine migration according to environmental data
KR20110007205A (ko) * 2008-04-21 2011-01-21 어댑티브 컴퓨팅 엔터프라이즈 인코포레이티드 컴퓨트 환경에서 에너지 소비를 관리하기 위한 시스템 및 방법
JP5344459B2 (ja) * 2008-06-30 2013-11-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 制御装置、制御方法および制御プログラム
US20100010688A1 (en) * 2008-07-08 2010-01-14 Hunter Robert R Energy monitoring and management
JP5098978B2 (ja) * 2008-12-02 2012-12-12 富士通株式会社 消費電力削減支援プログラム、情報処理装置、および消費電力削減支援方法
US8321057B2 (en) * 2009-03-12 2012-11-27 Red Hat, Inc. Infrastructure for adaptive environmental control for equipment in a bounded area
JP5283602B2 (ja) * 2009-10-16 2013-09-04 高砂熱学工業株式会社 電子通信機器室等の空調システム

Also Published As

Publication number Publication date
US20130238141A1 (en) 2013-09-12
EP2637074A3 (en) 2016-08-03
JP2013214293A (ja) 2013-10-17
EP2637074A2 (en) 2013-09-11

Similar Documents

Publication Publication Date Title
JP5921461B2 (ja) 外気冷却および局所冷却式情報処理システムとその負荷割当て方法
JP4575977B2 (ja) 空調設備制御システム、空調設備制御方法、および、電算機室の電力管理システム、電力管理方法
US8145927B2 (en) Operation management method of information processing system
JP6179196B2 (ja) データセンター
JP5290044B2 (ja) 空調機監視システム、および空調機監視方法
US8019477B2 (en) Energy efficient CRAC unit operation
USRE42195E1 (en) Energy efficient crac unit operation using heat transfer levels
US8794017B2 (en) Cooling medium distribution through a network of passages having a plurality of actuators
JP2010108324A (ja) 物理計算機及び冷却装置の制御方法及びサーバシステム
Tang et al. Thermal-aware task scheduling to minimize energy usage of blade server based datacenters
US20040240514A1 (en) Air re-circulation index
JP4883491B2 (ja) 電子機器の冷却システム
JP2006064254A (ja) 空調機監視システム、および空調機監視方法
JP6036428B2 (ja) 電子機器冷却システム及び電子機器冷却方法
US9883617B2 (en) Air-conditioning control apparatus for data center
Ahuja et al. Data center efficiency with higher ambient temperatures and optimized cooling control
JP5492716B2 (ja) データセンター用空調システム
CN201297710Y (zh) 电信中继站机房专用空调机组
JP6607800B2 (ja) 冷却システム、空調制御装置および空調制御方法
US11612080B2 (en) Data center airflow management
JP5568535B2 (ja) データセンタの負荷割当て方法及び情報処理システム
CN112431780A (zh) 一种4u存储服务器下层风扇调控方法及系统
CN103309421A (zh) 外部空气冷却以及局部冷却方式信息处理系统和其负荷分配方法
Zhang et al. Real time thermal management controller for data center
Chaudhry et al. Considering thermal-aware proactive and reactive scheduling and cooling for green data-centers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160412

R150 Certificate of patent or registration of utility model

Ref document number: 5921461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees