JP4922255B2

JP4922255B2 - 情報処理システムおよびそのシステムにおける省電力制御方法

Info

Publication number: JP4922255B2
Application number: JP2008171761A
Authority: JP
Inventors: 陽子志賀; 恵介畑崎; 良史高本; 猛加藤; 忠克中島
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-06-30
Filing date: 2008-06-30
Publication date: 2012-04-25
Anticipated expiration: 2028-06-30
Also published as: US20090327778A1; US8200995B2; JP2010015192A

Description

本発明は、ネットワークによって接続される複数のコンピュータやネットワーク機器から構成される情報処理システムおよびこのシステムの消費電力を削減する技術に関する。

プロセッサの高性能化、ブレードサーバのような高密度なIT（Information Technology）機器の出現により、ITシステムの消費電力の増加が大きな問題となっている。この問題に対して、低消費電力プロセッサ，高効率冷却方式など消費電力を削減する技術の開発が進められているが、装置単体の省電力化には限界があり、より大きな省電力効果を得るためにはシステムレベルでの取り組みが必要である。
特に、サーバはリーク電流によって稼働率が0であっても電力を消費するため、稼働率が低いサーバを多数使用している状態は電力面での効率が悪く、より少ない数のサーバをなるべく高い稼働率で使用し、未使用サーバは電源断するといった省電力運用が期待されている。これに対して仮想サーバは、稼動中に他の物理サーバへ移動させることができるため、ある業務の負荷が下がった時には、稼働率が低いサーバで実行されている仮想サーバを集約し、稼動する物理サーバ台数を減らすことで消費電力を削減することができる。仮想サーバの普及により、上記のような省電力運用が現実のものとなりつつある。

しかし、一部のサーバだけを高い負荷で稼動させると、それらのサーバ周辺が高温の熱だまりとなり、この熱だまりを冷却するため全体の冷却出力を上げると冷却に要する電力がかさむ。そこで、特許文献１では、熱分布を考慮して起動するサーバを決定する方法が開示されている。また、特許文献２では、サーバが内部に持つ冷却装置の冷却能力を考慮してサーバ構成を最適化する方法が開示されている。
特表２００５−５３１０４７特開２００４−１２６９６８

今後は、マシンルーム全体を大規模な冷却装置で均一に冷やすのではなく、局所的に温度を制御できる冷却装置が重要になる。例えば、指向性のある冷却装置、ラック背面に取り付けるラック単位の冷却装置などが既に出荷されている。
冷却装置は現状、固定のセンサの温度をもとに出力を決定し、あらかじめ決められた範囲を冷却するが、片寄せしたサーバ（群）を複数の冷却装置で集中的に冷却するよう、冷却装置が接続するセンサや送風方向を変更できるようになると考えられる。例えば、床下からの冷風によって冷却を行う設備の場合には、床のグレーティング板（穴あきタイル）の開閉を制御して、床下からの送風箇所を変更し、片寄せしたサーバを集中的に冷やすようになると考えられる。

このような冷却装置を用いると、負荷を一部のサーバ（群）に集約した場合には、冷却能力も集約することができる。

ただし、実際の運用においては、省電力を目的とした集約作業によってかえって消費電力が増大したり、片寄せしたサーバ（群）を冷却する能力が不足して熱暴走が発生したりすることは許されない。このため、サーバと冷却の集約を実施する前に、あるサーバ（群）に負荷を集約した時に、集約部分を冷やすのに十分な冷却能力があるか、IT機器と冷却装置とを含むシステム全体の消費電力を削減可能か、あらかじめ見積もるべきである。

このような見積もりを実現するためには、集約したサーバ（群）を冷却可能な冷却装置を特定して、その冷却能力と、集約した場合の冷却に要する電力を調べる必要がある。

しかし、現在、冷却設備は接続するセンサが検出する温度によって制御されており、管理対象サーバとの関係は管理されていない。このため、冷却能力が十分であるか、冷却に要する電力がどれくらいかを見積もることができない。

そこで、本発明は、冷却装置の冷却の下に記憶装置をアクセスする複数の管理対象サーバに対する業務配置として、システム全体の消費電力をより小さくするための業務配置を決定することができる情報処理システムを提供することを目的とするものである。

前記目的を達成するために、本発明は、冷却装置の冷却の下に記憶装置をアクセスする複数の管理対象サーバに対する業務配置を決定するに際して、複数の管理対象サーバの稼動状況を検出し、この検出結果に従って前記冷却装置と前記サーバを制御する省電力制御コントローラを設け、省電力制御コントローラは、前記サーバの稼動状況に応じて前記冷却装置を個別に制御してその冷却分布を制御するとともに、前記サーバに対する業務配置を制御することを特徴とするものである。

本発明によれば、管理対象サーバに対する業務配置として、システム全体の消費電力をより小さくするための業務配置を決定することができる情報処理システムを提供することができる。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の一実施例のシステム構成を示す図である。本実施例は、情報処理システムあるいはストレージサブシステムとして、例えば、１つの省電力制御サーバ１１０と、１つ以上の物理計算機２００と、１つ以上の外部記憶装置２３０と、これらのIT機器を設置したコンピュータ室冷却する冷却装置１５１と冷却装置１５１を制御する冷却装置制御機能１５０を備えて構成されている。省電力制御サーバ１１０と物理計算機２００および冷却装置１５１は、管理ネットワーク２２５経由で接続している。また、物理計算機２００と外部記憶装置２３０はファイバチャネルネットワーク２２６で接続している。

まず、省電力制御サーバ１１０について説明する。省電力制御サーバ１１０は、物理計算機２００と外部記憶装置２３０および冷却装置制御機能１５０を管理対象システムとする省電力制御コントローラとして、冷却装置１５１の冷却の下に外部記憶装置２３０をアクセスするとともに、複数の物理計算機２００と情報の授受を行って、複数の物理計算機２００の稼動状況を検出し、複数の物理計算機２００の稼動状況に応じて、冷却装置制御機能１５１を介して冷却装置１５１を個別に制御してその冷却分布を制御するとともに、複数の物理計算機２００の業務配置を制御する。

この際、複数の物理計算機２００を、外部記憶装置２３０をアクセスして情報を処理する複数の物理サーバと、物理サーバの稼動状況に応じて、いずれかの物理サーバに割り当てられて、情報に関連する業務を実行する複数の仮想サーバを含む管理対象サーバとして構成した場合、省電力制御サーバ１１０は、管理対象サーバの処理能力と管理対象サーバ上で処理すべき業務の内容とから管理対象サーバに対する業務配置を複数組み設定し、管理対象サーバの処理能力に対する電力特性を基に各業務配置における管理対象サーバの消費電力を算出するとともに、管理対象サーバの処理能力に対する発熱特性を基に各業務配置における管理対象サーバの発熱量を算出し、さらに、各業務配置における管理対象サーバの発熱量を基に冷却装置１５１のうち管理対象サーバを冷却する冷却装置１５１の冷却能力を設定し、冷却装置１５１の冷却能力に対する消費電力特性を基に、冷却装置１５１の消費電力を算出し、複数組の業務配置のうち管理対象サーバの消費電力と冷却装置１５１の消費電力の合計が最小となる業務配置を管理対象サーバに対する正規の業務配置として決定することとしている。

具体的には、省電力制御サーバ１１０は、複数の物理計算機２００上で動作するソフトウェアプログラムであり、管理対象システムの構成を示す仮想サーバ構成情報１２３と、物理サーバ構成情報１２２の入力を受付け、物理計算機２００および仮想計算機２２１の稼動情報および消費電力情報を収集する稼動情報・電力監視部１０１と、計算機２００の消費電力の合計をより少なくする、仮想サーバの配置を生成する仮想サーバ配置生成部１１２と、物理計算機プロファイル１２４を読み込み、ある仮想サーバ配置のサーバ消費電力を求めるサーバ電力算出部１１３と、冷却装置プロファイル１２５と、サーバ・冷却マップ１２６の入力を受け付け、ある仮想サーバ配置の冷却に要する消費電力を求める冷却電力算出部１１４と、仮想サーバ配置生成部１１２が決定した仮想サーバ配置に基づいて、仮想サーバを移動させる仮想サーバ再配置部１１５、稼動中の仮想サーバが割り当てられていない物理計算機２００の電源を落とす電源制御部１１６、冷却装置１５１の制御を指示する冷却制御部１１７とから成る。

次に、管理対象システムについて説明する。
物理計算機２００上では、仮想計算機を実現する仮想計算機管理ソフトウェア２２０と、1つ以上の仮想計算機２２１が稼動し、各仮想計算機上では、OS（Operating System）２２２、この仮想計算機の稼動情報を収集する計測エージェント２２３、Webサーバなどの業務サーバ２２４が稼動している。仮想計算機管理ソフトウェア２２０は、物理計算機２００の持つ計算機資源を複数のOSが使用できるよう、分割や割当の調整を行う機能を持っている。この仮想計算機管理ソフトウェアによって、新たな仮想計算機の生成や、仮想計算機の備える仮想的なハードウェアの定義、設定が可能である。

計測エージェント２２３は、計算機２００上で稼動し、自身が稼動する装置のCPU使用率やメモリ使用率、ネットワークインタフェースの使用率などの稼動情報を収集し、計測カウンタとして記録するソフトウェアプログラムである。省電力制御サーバ１１０の稼動情報・電力監視部１１１は、計測エージェント２２３に対して、SNMP（Simple Network Management Protocol）による稼動情報収集リクエストを送信する。計測エージェント２２３は、この稼動情報収集リクエストを受け取り、リクエスト中のオブジェクトID（Identification）で指定された計測カウンタの値を稼動情報・電力監視部１１１に送信する。省電力制御サーバ１１０は、この計測カウンタの値を受け取り、稼動情報として記録することで、複数の管理対象の稼動情報を一元的に管理することができる。

図２は、本発明の一実施例における省電力制御サーバ１１０のハードウェア構成を示す図である。

本実施例の省電力制御サーバ１１０が稼動する物理計算機１００は、中央演算装置CPU（Central Processing Unit）１０１、ハードディスク装置等の磁気ディスク１０５、主メモリ１０２、バス１０７、ネットワークインタフェース１０４、ディスクインタフェース１０３から構成される。

省電力制御サーバ１１０が稼動する物理計算機１００の磁気ディスク１０５には、稼動情報履歴１２１と、仮想サーバ構成情報１２３と、物理サーバ構成情報１２２と、物理計算機プロファイル１２４と、冷却装置プロファイル１２５と、サーバ・冷却マップ１２６とが格納される。また、メモリ１０２には、省電力制御サーバ１１０のプログラムが格納される。これらのプログラムは、当初、磁気ディスク１０５に格納され、必要に応じてメモリ１０２に転送された後、CPU１０１で実行される。

図３は、本発明の一実施例における管理対象システムを構成する物理計算機２００のハードウェア構成を示す図である。

本実施例の管理対象システムを構成する物理計算機２００は、中央演算装置CPU２０１、ハードディスク装置等の磁気ディスク２０５、主メモリ２０２、バス２０７、ネットワークインタフェース２０４、ディスクインタフェース２０３、状態監視や電源制御を行うBMC（Baseboard Management Controller）２０７から構成される。

管理対象システムを構成する物理計算機２００のメモリ２０２には、仮想計算機管理プログラム、仮想計算機のOS、計測エージェントプログラム、業務サービスプログラムが格納される。これらのプログラムは、当初、磁気ディスク２０５に格納され、必要に応じてメモリ２０２に転送された後、CPU２０１で実行される。

なお、これらのプログラムは、可搬型記録媒体から読み出されることにより、または、各々の装置に接続されたネットワーク経由で、他の計算機または記憶装置からダウンロードされることにより、磁気ディスク２０５に格納されるものであってもよい。

また、省電力制御サーバ１１０の各処理は、各プログラムをCPUで実行することにより実現するが、これらは計測エージェント決定部、計測部など、各処理を行う処理部として集積回路化するなどしてハードウェアで実現することもできる。

図４は、本発明の一実施例における管理対象システムを設置しているコンピュータ室４００の機器配置を示す図である。

当該コンピュータ室４００には、図４（ａ）に示すように、４つのラック４０１ａ、４０２ｂ、４０３ｃ、４０４ｄと、各ラックに設置されたサーバ群と、サーバ群を冷却する冷却設備１５１ａ、１５１ｂが収納されており、各ラックと冷却設備１５１ａ、１５１ｂは、床４３０上に固定されている。床４３０には、複数の吹出口４３１〜４３５が形成されている。各吹出口４３１〜４３５の底部側には、図４（ｂ）に示すように、モータ４４０が固定され、モータ回転軸４４１には、モータ４４０の回転駆動に応じて、各吹出口４３１〜４３５を開閉する開閉板４４２が固定されている。サーバ群は、装置やソフトウェアの管理に用いる管理用ネットワーク２０６と、アプリケーションが使用する業務用ネットワーク１０６に接続している。

ラック１４０１aには、ブレードサーバ４１１およびブレードサーバ４１２が設置されている。ラック２４０１ｂには、他のブレードサーバ（図示せず）が設置されている。ラック４０１ｃには、＃１〜＃２０の1U（ユニット）サーバ（図示せず）が複数台設置されている。ラック４０１ｄには、＃２１〜＃４０の1Uサーバ（図示せず）が複数台設置されている。

冷却設備１５１a、１５１ｂは、コンピュータ室４００の側面に取り付けら、コンピュータ室４００の温度を一定に保つための冷却装置１５１の一要素として構成されている。この冷却設備１５１a、１５１ｂは冷風を床４３０下に送り、冷風が吹出口（穴あきタイル）４３１〜４３５から吹き出すことで、各サーバが排出する熱を除去する。

この際、各ラックに収納されたサーバの業務配置に応じて、吹出口４３１〜４３５のうちいずかの吹出口を開き、他の吹出口を閉じする制御が行われる。例えば、ラック４０１ａ、４０１ｄに収納されたサーバにのみ業務配置が設定され、ラック４０１ｂ、４０１ｃに収納されたサーバには業務配置が設定されないときには、冷却装置１５１に対する制御として、モータ４４０の回転駆動により、吹出口４３１〜４３５のうち吹出口４３３が閉じ、他の吹出口４３１、４３２、４３４、４３５が開かれる制御が実行される。

また、ラック４０１ｂ、４０１ｃに収納されたサーバにのみ業務配置が設定され、ラック４０１ａ、４０１ｄに収納されたサーバには業務配置が設定されないときには、冷却装置１５１に対する制御として、モータ４４０の回転駆動により、吹出口４３１〜４３５のうち吹出口４３１、４３５が閉じ、他の吹出口４３２、４３３、４３４が開かれる制御が実行される。
本実施例における冷却設備は、一般的なコンピュータ室空調（CRAC: Computer Room Air Conditioner)であるが、冷却設備は冷却された液体の冷媒がパイプを通り、各ラックを循環することで各サーバが排出する熱を除去する液冷装置であっても良い。液冷装置では、各ラックに通じるパイプの手前にバルブがあり、バルブを開閉することで、吹出口と同様に冷却出力の調整を行う。
また、冷却設備は、外の冷えた空気を取り込み、コンピュータ室空調装置と同様に床下から冷風を送ることで各サーバが排出する熱を除去する外気冷却装置であっても良い。

図５は、本発明の一実施例における物理サーバ構成情報１２２を示す図である。
物理サーバ構成情報１２２は、物理計算機２００の持つ物理計算機ID５０１と、シャーシ番号５０２と、構成要素識別子（項目）５０３と、構成要素の値５０４からなる一つ以上のレコードで構成され、物理計算機２００の処理能力を表す。物理計算機ID５０１には、例えば、業務Ａがマッピングされた物理計算機２００のIDが物理サーバ１として格納され、業務Ｂがマッピングされた物理計算機２００のIDが物理サーバ２として格納されている。シャーシ番号５０２は、当該サーバがブレードサーバである場合に、ブレードサーバを格納するシャーシを特定するためにある。1Uサーバなどの非モジュラータイプのサーバである場合には、ここには"-"が入る。

物理サーバ構成情報１２２は、管理対象システムの設計者がシステム構築時に決定し、文書またはソフトウェアによって管理していることが多い。物理構成情報は、このような管理されている構成情報に基づいて作成してもよいし、動的に収集した情報から作成してもよい。

図６は、本発明の一実施例における仮想サーバ構成情報１２３を示す図である。
仮想サーバ構成情報１２３は、仮想計算機配置情報６１０と仮想計算機定義情報６２０からなる。仮想計算機配置情報６１０は、物理計算機２００とその上で稼動する仮想計算機２２１との対応づけを表すものであり、物理計算機２００の識別子である物理計算機ID６１１と、物理計算機２００上で稼動する仮想計算機管理ソフトウェア２２０の種別６１２と、一つ以上の仮想計算機ID６１３と、各仮想計算機のIPアドレス６１４からなる一つ以上のレコードで構成される。

仮想計算機定義情報６２０は、仮想計算機２２１に対する物理計算機２００のリソース割当て量を示すものであり、仮想計算機ID６２１と、仮想計算機が実行する業務の種別６２２と、該仮想計算機２２１が備える仮想CPUの割当て率と、該仮想計算機２２１が使用可能なメモリ容量、ディスクI/Fの帯域、ネットワークI/Fの帯域からなる一つ以上のレコードで構成される。

なお、仮想計算機２２１の生成や、仮想計算機２２１に対するリソース割当ては、管理者が仮想計算機管理ソフトウェア２２０のインタフェースを操作したり、プログラムから該仮想計算機管理ソフトウェアのAPI（Application Programming Interface）を発行したりすることで実現できる。したがって、これら仮想サーバ構成情報１２３は、仮想計算機管理ソフトウェアが保持している情報を参照することで作成できる。

図７は、本発明の一実施例における稼動情報７１０および電力情報７２０を示す図である。稼動情報７１０は、一つの物理計算機２００のリソース使用状況や電力消費状況を示すものであり、計測日７１１、計測曜日７１２、計測時刻７１３、CPU稼働率７１４、メモリ使用量７１６、ディスクI/F使用量７１７、ネットワークI/F使用量７１８とからなる一つ以上のレコードで構成される。物理計算機２００がCPU、ディスクI/F、ネットワークI/Fを複数備えている場合には、構成要素ごとに稼動情報を取得する。ここで示す稼動情報は、Windows(登録商標)であればWMI（Windows(登録商標) Management Interface）で、LinuxであればTopコマンドで取得することが可能である。

電力情報７２０は、物理計算機２００の電力消費状況を示すものであり、計測日７２１、計測曜日７２２、計測時刻７２３、物理計算機の電力量７２４および、シャーシの電力量７２６からなる一つ以上のレコードで構成される。なお、管理対象である物理計算機２００が、ブレードサーバである場合には、複数の物理計算機の電力量とシャーシの電力量が一つのテーブルで管理されている。一方、物理計算機２００がブレードサーバでない場合には、一つの物理計算機の電力量だけが管理される。

図８は、本発明の一実施例における物理計算機プロファイル１２４を示す図である。
物理計算機プロファイル１２４は、サーバプロファイル８１０とシャーシプロファイル８２０に分かれる。サーバプロファイル８１０は、物理計算機稼働率８０１と、発熱量８０２と、消費電力８０３からなる一つ以上のレコードで構成される。各レコードは、物理計算機２００の稼働率に対する、発熱量と消費電力を表している。ここで、物理計算機稼働率８１１は、CPUの稼働率である。

また、シャーシプロファイル８２０は、物理計算機稼働率８２１と、発熱量８２２と、消費電力８２３からなる一つ以上のレコードで構成される。シャーシプロファイル８２０における物理計算機稼働率８２１とは、当該シャーシに含まれる複数の物理計算機２００の処理能力の合計に対する稼動割合である。各レコードは、この稼動割合に対する、発熱量と消費電力を表している。

物理計算機プロファイル１２４は、物理計算機２００の機種ごとに異なり、過去の履歴から収集することができる。また、負荷をかけて取得することができる。また、物理計算機２００のベンダが提供することも考えられる。

図９は、本発明の一実施例におけるサーバ・冷却装置マップ１２６を示す図である。
サーバ・冷却装置マップ１２６は、ラックの識別子９０１と、冷却装置１５１の識別子９０３と、ラックの出力配分９０４からなる一つ以上のレコードで構成される。各レコードは、ラックと、各ラックを冷却している冷却装置１５１と、その冷却装置が持つ冷却能力のうち、各ラックに対して割り当てている冷却能力の割合を表している。

図１０は、本発明の一実施例における冷却装置プロファイル１２５を示す図である。
冷却装置プロファイル１２５は、冷却装置の出力１００１と、冷却量１００２と、消費電力１００３からなる一つ以上のレコードで構成される。各レコードは、冷却装置１５１の出力に対する、発熱量と消費電力を５段階に分けて表している。冷却装置プロファイル１２５は、冷却装置１５１の処理性能と必要な電力としてベンダが持っている情報であり、今後はこのような情報をユーザーにも提供することが考えられる。
また、外気冷却の場合には、外気温度によって同じ消費電力で冷却できる能力が変わる。したがって、外気の温度範囲ごとに冷却装置プロファイル１２５は複数存在するものとする。

図５から図１０で示した情報は、管理者が定義ファイルに記述し、省電力制御サーバ１１０に入力する。ただし、これらの情報は、定義ファイルでなく、GUI（Graphical User Interface）から入力してもよいし、他のサーバからネットワークを介して取得してもよい。

次に、省電力制御の流れを説明する。
図１１は、本発明の一実施例における省電力制御フローを示す図である。
まず、省電力制御サーバ１１０の稼動情報・電力監視部１１１は、物理サーバ構成情報１２２および仮想サーバ構成情報１２３を読み込んで（S１０１１）、管理対象である物理計算機２００および仮想計算機２２１を把握し、これらの稼動情報および消費電力を監視し（S１０１２）、負荷変動がある物理計算機２００の一覧を作成する（S１１０３）。負荷変動の有無は、ある物理計算機２００のリソース使用率が１０％以下である状態が１０分以上継続するかで判定する。負荷変動が無い場合には、監視を継続する。

稼動情報・電力監視部１１１は、前記一覧に含まれる物理計算機２００上で稼動している仮想計算機２２１の業務のリソース使用量の過去の履歴である稼動情報７１０および業務スケジュールを参照して、今後一定の期間、物理計算機２００の負荷が低い状態が継続するか判断する。そして、負荷の低い状態が継続すると判断した物理計算機２００上の仮想計算機２２１を移動可能な空きを持つ物理計算機２００があるか検索し、ある物理計算機２００上で稼動する全ての仮想計算機２２１について、移動先になり得る空きを持つ物理計算機２００がある場合には、仮想サーバ配置生成部１１２は、前記一覧に含まれる物理計算機２００上で稼動している任意の仮想サーバを、前記空きを持つ物理サーバに配置した場合の再配置（業務配置）案を作成する（S１１０４）。なお、ある物理計算機２００上の仮想計算機２２１が複数存在する場合、それらの仮想サーバは同一の物理計算機２００に移動しても良いし、別であっても良い。

次に、仮想サーバ配置生成部１１２は、再配置案の消費電力を求め、現在の消費電力と比較して、より消費電力が少ない仮想サーバ配置を選択する（S１１０５）。

そして、仮想サーバ再配置部１１５は、再配置案の消費電力が現在の消費電力よりも少ない場合には、再配置案に従って仮想計算機２２１を移動させ（S１１０６）、電源制御部１１６は、空きとなった物理計算機２００の電源を切断する（S１１０７）。さらに、冷却制御部１１７は、冷却電力算出部１１４が冷却装置の１５１の設定変更が必要であると判断した場合には、管理対象の冷却装置制御機能１５０に対して出力の変更要求を出す（S１１０８）。

最後に省電力制御サーバ１１０は、稼動情報と電力の監視に戻る。

図１２は、本発明の一実施例における再配置案検索フローを示す図である。
仮想サーバ配置生成部１１２は、仮想計算機２２１の物理計算機２００上への配置パターンを生成し、元の仮想計算機の配置と、一つ以上の再配置案の消費電力を比較する。

仮想サーバ配置生成部１１２は、まず、各仮想計算機２２１の必要とするリソース量、各物理計算機２００の備えるリソース量を基に、物理計算機２００に対する仮想計算機２２１の再配置案を求める（S１２０１）。

仮想計算機２２１の必要とするリソース量とは、この仮想計算機が処理する業務のリソース使用量の最大値とする。業務のリソース使用量の平均値、最大値は、稼動情報の履歴１２１から求める。
具体的な再配置案の生成方法は、よりリソース使用量が少ない物理計算機２００上で稼動する仮想計算機２２１を他の物理計算機２００に移動させた場合のリソース使用率を見積もり、移動させても移動先の物理計算機２００のリソース量が十分であり、かつ、もっとも利用率が高くなる物理計算機２００を移動先として選択する。移動元の物理計算機２００上に複数の仮想計算機２２１がある場合には、全ての仮想計算機２２１が移動できる移動先が見つかった場合に、移動後の仮想計算機２２１の配置を再配置案として決定する。
この時、仮想サーバ配置生成部１１２は、仮想計算機定義情報６２０を参照して、仮想サーバが実行する業務の種別を取得し、移動させるべきでない業務は再配置の対象外とする。これは、ある仮想サーバを現在実行している物理サーバから別の物理サーバに移動する時には、外部プログラムと仮想サーバ間の通信パケットが失われることがあるためである。このパケットロスは、TCPのような再送機能を持つプロトコルによって再送されるので多くの業務では問題にならないが、非常に高い応答性能を要求される業務では、再送によって要求性能を満足できない場合があるので移動の対象としない。このような業務はあらかじめ決められており、移動できない業務の一覧があるものとする。
再配置案を求める方法としては、上記のように現在の仮想計算機２２１の配置をベースとせず、組合せ最適化手法を用いて最も消費電力が少ない配置を計算することも可能である。ただし、その場合には現在の仮想サーバ配置との差が大きく、仮想サーバの移動回数が多くなることが懸念される。

次に再配置案の物理計算機２００の消費電力を算出する。仮想サーバ配置生成部１１２は、稼動情報履歴１２１を参照して、各仮想計算機２２１の処理する業務のリソース使用率（量）の平均値を求め、仮想化のオーバーヘッドを考慮して各物理計算機２００のリソース利用率（量）を見積もる（S１２０２）。

仮想化のオーバーヘッドは、仮想化機構によって異なるため、仮想サーバ配置生成部１１２は、仮想配置情報６１０を参照して配置対象の物理計算機２００において稼動中の仮想化機構の種類を取得し、その仮想化機構のオーバーヘッド値を参照して、物理計算機２００のリソース利用率（量）を見積もる。仮想化機構ごとのオーバーヘッド値は、仮想サーバ配置生成部１１２の内部で保持しているものとする。

そして、サーバ電力算出部１１３は、物理計算機２００の機種に基づいて、その機種の物理計算機プロファイル１２４を取得し、見積もった物理計算機２００のリソース利用率（量）に対する物理計算機２００の消費電力を求める（S１２０３）。ここで、物理サーバ構成１２２を参照して、対象となる物理計算機２００がブレードサーバである場合には、物理計算機２００自体の消費電力でなく、シャーシ全体の消費電力を求める。
また、物理計算機プロファイル１２４を用いずに物理計算機２００の消費電力を見積もる簡易な手段として、現在の消費電力から再配置によって電源断可能な物理計算機２００の待機電力を引いて再配置後の物理計算機２００の消費電力を求めることもできる。

次に冷却に要する電力を算出する。
仮想サーバ配置生成部１１２は、物理計算機２００の機種に基づいてその機種の物理計算機プロファイル１２４を取得し、見積もった物理計算機２００のCPU利用率に対する発熱量を求める（S１２０４）。そして、サーバ・冷却マッピング１２６を参照して、管理対象ラックの冷却を担当する冷却装置１５１を特定し、その冷却装置１５１の冷却プロファイル１２５に基づいて、管理対象ラックに含まれる物理計算機群の発熱量の冷却に要する冷却装置１５１の出力と消費電力を求める（S１２０５）。ここで、外気冷却の場合には、冷却電力算出部１１４は、室外に置かれた温度センサによって外気温度を取得し、現在の外気温度に応じた冷却装置プロファイル１２５を選択し、参照する。
また、冷却電力算出部１１４は、サーバ・冷却マッピング１２６を参照して、仮想計算機２２１を集約した物理計算機２００の発熱量が、現在の冷却能力配分における冷却能力を上回ると判断した時には、冷却能力の配分を変更する。
例えば、ラック１４０１aおよびラック４４０１ｄ上の物理計算機２００に全仮想計算機２２１を集約したことによって、ラック１４０１aおよびラック４４０１ｄ上の物理計算機２００の発熱量が冷却能力を上回り、ラック１４０１ｂおよびラック４４０１ｃ上の物理計算機２００の冷却能力が不要になる場合には、全ての冷却装置の冷却能力をラック１４０１aおよびラック４４０１ｄに割り当てるよう冷却能力配分を変更する。なお、冷却能力配分を変更しても冷却できない場合には、冷却不可を通知する。

本実施例の物理計算機プロファイル１２４は、主な発熱部品であるCPUのみに着目しているが、熱発生プロファイルはCPUだけでなく、他の部品の利用率に応じた情報であってもよい。

最後に、仮想サーバ配置生成部１１２は、一つ以上の物理計算機２００の消費電力と、それらの冷却に要する冷却装置１５１の消費電力の総和を求める（S１２０６）。

上述したように、省電力制御サーバ１１０を、物理計算機２００に対する業務配置（仮想計算機の配置）を複数組み設定する仮想サーバ配置生成部１１２と、各業務配置における物理計算機２００の消費電力を算出するサーバ電力算出部１１３と、各業務配置における物理計算機２００の発熱量を見積もる物理計算機プロファイル１２４と、冷却装置１５１の消費電力を算出する冷却電力算出部１１４と、サーバ電力算出部１１３の算出値と冷却電力算出部１１４の算出値の合計が最小となる業務配置を物理計算機２００に対する業務配置に決定する仮想サーバ再配置部１１５で構成することで、システム全体の消費電力をより小さくするような仮想サーバ配置（業務配置）を選択することが可能になる。

本発明の一実施例のシステム構成を示すシステム構成図。本発明の一実施例の省電力制御サーバのハードウェア構成を示す構成図。本発明の一実施例の管理対象である物理計算機ハードウェア構成を示す構成図。（ａ）は、本発明の一実施例のコンピュータ室の内部構成図、（ｂ）は、コンピュータ室の床に設置されたモータと吹出口との関係を示す要部断面図。本発明の一実施例の物理サーバ構成情報を示す構成図。本発明の一実施例の仮想サーバ構成情報を示す構成図。本発明の一実施例における稼動情報および消費電力情報を示す構成図。本発明の一実施例におけるサーバプロファイルを示す構成図。本発明の一実施例におけるサーバ・冷却マップを示す構成図。本発明の一実施例における冷却設備プロファイルを示す構成図。本発明の一実施例における省電力制御フローを示すフローチャート。本発明の一実施例における再配置案検索フローを示すフローチャート。

符号の説明

１１０…省電力制御サーバ、１１１…稼動情報・電力監視部、１１２…仮想サーバ配置生成部、１１３…サーバ電力算出部、１１４…冷却電力算出部、１１５…仮想サーバ再配置部、１１６…電源制御部、１１７…冷却制御部、１２１…稼動情報履歴、１２２…物理サーバ構成情報、１２３…仮想サーバ構成情報、２００…物理計算機、２２０…仮想計算機管理ソフトウェア、２２１…仮想計算機、２２３…計測エージェント。

Claims

記憶装置をアクセスして情報を処理する複数の管理対象サーバと、前記サーバを冷却する複数の冷却装置と、前記サーバとネットワークを介して情報の授受を行って前記サーバの稼働状況を検出し、この検出結果に従って前記冷却装置と前記サーバを制御する省電力制御コントローラとを備え、
前記冷却装置は、前記冷却装置の冷却能力を制御する冷却装置制御機能を備え、
前記サーバは、前記情報に関連する業務を実行する複数の仮想サーバの構成する仮想計算機管理ソフトウェアを備え、
前記省電力制御コントローラは、
前記サーバの処理能力と前記サーバ上で処理すべき業務の内容とから前記サーバに対する業務配置を複数組み設定する業務配置設定部と、
前記サーバの処理能力に対する電力特性を基に前記設定された各業務配置における前記サーバの消費電力を見積もるサーバ電力算出部と、
前記サーバの処理能力に対する発熱特性を基に前記設定された各業務配置における前記サーバの発熱量を見積もる発熱量算出部と、
前記設定された各業務配置における前記サーバの発熱量を基に前記複数の冷却装置のうち前記サーバを冷却する冷却装置の冷却能力を設定し、当該冷却装置の冷却能力に対する消費電力特性を基に、前記冷却装置の消費電力を見積もる冷却電力算出部と、
前記複数組の業務配置のうち前記サーバ電力算出部の見積りと前記冷却電力算出部の見積りの合計が最小となる業務配置を前記サーバに対する正規の業務配置として決定する業務配置決定部と、
前記サーバのうち前記業務配置決定部の決定による正規の業務配置から外れたサーバの電源を遮断する電源制御部と、
前記正規の業務配置における前記サーバの発熱量を基に前記複数の冷却装置のうち前記サーバを冷却する冷却装置の冷却能力に基づき、該冷却装置の冷却能力の変更を前記冷却装置制御機能に指示する冷却制御部からなる、ことを特徴とする情報処理システム。
前記省電力制御コントローラは、
前記サーバに対する業務のリソース使用量の履歴を取得する稼働情報履歴部と、
前記稼働情報履歴部の取得した前記履歴を基に当該業務が必要とするリソース量と前記サーバの平均負荷を算出し、当該算出値と前記サーバの負荷の大きさと前記サーバの電力特性に基づいて、前記各サーバの消費電力を見積もる消費電力算出部と、を備え、
前記業務配置決定部は、前記決定した業務配置に基づき前記業務配置の配置変更を実行し、
前記発熱量算出部は、
前記消費電力算出部の算出値と前記各サーバの負荷の大きさと前記サーバの発熱特性に基づいて、前記各サーバの発熱量を見積もり、
前記冷却電力算出部は、
前記消費電力算出部および前記発熱量算出部の算出結果を前記サーバの稼働状況として用い、前記各サーバの発熱量と前記冷却装置の電力消費特性とから、前記各サーバの冷却に必要となる前記冷却装置の消費電力を算出し、前記冷却装置が外気冷却の場合は、前記算出結果を外気温度に基づいて見積もり、
前記冷却装置制御機能は、
前記冷却電力算出部の算出結果を前記各冷却装置に対する冷却能力の制御に用いてなることを特徴とする、請求項１に記載の情報処理システム。
前記消費電力算出部は、
前記設定された各業務配置における前記サーバの現在の消費電力を算出し、
前記業務配置決定部は、
前記サーバ電力算出部の見積もりによる消費電力が前記消費電力算出部の算出による現在の消費電力よりも小さいことを条件に、前記設定された各業務配置を正規の業務配置に決定し、それ以外のときには前記設定された各業務配置をし直してなることを特徴とする、請求項２に記載の情報処理システム。
記憶装置をアクセスして情報を処理する複数の管理対象サーバと、前記サーバを冷却する複数の冷却装置と、前記サーバとネットワークを介して情報の授受を行って前記サーバの稼働状況を検出し、この検出結果に従って前記冷却装置と前記サーバを制御する省電力制御コントローラとを備え、
前記冷却装置は、前記冷却装置の冷却能力を制御する冷却装置制御機能を備え、
前記サーバは、前記情報に関連する業務を実行する複数の仮想サーバの構成する仮想計算機管理ソフトウェアを備え、
前記省電力制御コントローラは、
前記サーバの処理能力と前記サーバ上で処理すべき業務の内容とから前記サーバに対する業務配置を複数組み設定する業務配置設定ステップと、
前記サーバの処理能力に対する電力特性を基に前記業務配置設定ステップで設定された各業務配置における前記サーバの消費電力を見積もるサーバ電力算出ステップと、
前記サーバの処理能力に対する発熱特性を基に前記業務配置設定ステップで設定された各業務配置における前記サーバの発熱量を見積もる発熱量算出ステップと、
前記業務配置設定ステップで設定された各業務配置における前記サーバの発熱量を基に前記複数の冷却装置のうち前記サーバを冷却する冷却装置の冷却能力を設定し、当該冷却装置の冷却能力に対する消費電力特性を基に、前記冷却装置の消費電力を見積もる冷却電力算出ステップと、
前記複数組の業務配置のうち前記サーバ電力算出ステップでの見積りと前記冷却電力算出ステップでの見積りの合計が最小となる業務配置を前記サーバに対する正規の業務配置として決定する業務配置決定ステップと、
前記サーバのうち前記業務配置決定ステップでの決定による正規の業務配置から外れたサーバの電源を遮断する電源制御ステップと、
前記正規の業務配置における前記サーバの発熱量を基に前記複数の冷却装置のうち前記サーバを冷却する冷却装置の冷却能力に基づき、該冷却装置の冷却能力の変更を前記冷却装置制御機能に指示する冷却制御ステップと、を実行することを特徴とする情報処理システムにおける省電力制御方法。
前記省電力制御コントローラは、
前記サーバに対する業務のリソース使用量の履歴を取得する稼働情報履歴ステップと、
前記稼働情報履歴ステップで取得した前記履歴を基に当該業務が必要とするリソース量と前記サーバの平均負荷を算出し、当該算出値と前記サーバの負荷の大きさと前記サーバの電力特性に基づいて、前記各サーバの消費電力を見積もる消費電力算出ステップと、を実行し、
前記業務配置決定ステップでは、
前記業務配置決定ステップで決定した業務配置に基づき前記業務配置の配置変更を実行し、
前記発熱量算出ステップでは、
前記消費電力算出ステップでの算出値と前記各サーバの負荷の大きさと前記サーバの発熱特性に基づいて、前記各サーバの発熱量を見積もり、
前記冷却電力算出ステップでは、
前記消費電力算出ステップおよび前記発熱量算出ステップの算出結果を前記サーバの稼働状況として用い、前記各サーバの発熱量と前記冷却装置の電力消費特性とから、前記各サーバの冷却に必要となる前記冷却装置の消費電力を算出し、前記冷却装置が外気冷却の場合は、前記算出結果を外気温度に基づいて見積もり、
前記冷却装置制御機能は、
前記冷却電力算出ステップの算出結果を前記各冷却装置に対する冷却能力の制御に用いるステップを実行することを特徴とする、請求項４に記載の情報処理システムにおける省電力制御方法。
前記省電力制御コントローラは、
前記消費電力算出ステップでは、
前記業務配置設定ステップで設定された各業務配置における前記サーバの現在の消費電力を算出し、
前記業務配置決定ステップでは、
前記サーバ電力算出ステップでの見積もりによる消費電力が前記消費電力算出ステップでの算出による現在の消費電力よりも小さいことを条件に、前記業務配置設定ステップで設定された各業務配置を正規の業務配置に決定し、それ以外のときには前記業務配置設定ステップで設定された各業務配置をし直すことを特徴とする、請求項５に記載の情報処理システムにおける省電力制御方法。