JP5257453B2 - 情報処理装置、情報処理装置制御方法および情報処理装置制御プログラム - Google Patents

Description

本発明は、複数の筐体の各々が１または複数の処理ユニットを備えた情報処理装置、およびその制御に関する。

従来、演算処理装置、いわゆるＣＰＵ等のプロセッサに大規模集積回路（ＬＳＩ）が用いられてきた。近年、このＬＳＩの性能向上などからＬＳＩの消費電力が増加し、それに伴う冷却によるエネルギ消費量など、ＬＳＩを多数有するサーバを備えたシステム全体で消費する電力量が大きくなっている。

システムの消費電力が大きくなることは省エネの観点における環境への問題だけでなく、消費電力の増加に伴う発熱の増大に対処するため冷却設備の拡張の必要性が発生するとともに、システムのランニングコストが増大するといった問題にもなっている。特に、このようなサーバを数百台以上有し、社会のインフラを支えるデータセンタにおいては、顕著な問題となっている。そのため、省エネの推進やランニングコストの低減などの要件からサーバの消費電力削減への対策が重要となってきている。

また一方、複数の演算処理を協働させて情報処理を行なうことで、情報処理装置の処理能力を向上させる技術が利用されている。例えば、サーバ装置においては、演算処理装置（ＣＰＵ（Central Processing Unit））、記憶装置（メモリ）、入出力装置（Ｉ／Ｏ（Input Output）装置）などをまとめて処理ユニット（システムボード）とし、複数の処理ユニットを同時に動作させて処理を分担することで全体の処理能力を向上している。

しかしながら、情報処理の負荷は一定ではなく、必ずしも全てのＣＰＵ，メモリ若しくはシステムボードが常に動作することが求められているわけではない。一方で、システムボードを複数動作させると、その分消費電力は増大する。したがって、負荷が比較的低い状態で多数のシステムボードを動作させると、電力を無駄に消費する結果となる。

そこで従来、演算処理装置として用いられる大規模集積回路（ＬＳＩ）内部で、使用していない回路の電源供給を止めるといった省電力対策が実施されてきた。また、システム性能と資源仕様状況を元に、ハードウェアリソースの動的な縮退を行なって全体としての電力消費を低減する技術も考えられてきた。

特開平９−１７９６６７号公報 特開２００３−３１６７５１号公報

しかしながら、例えばＬＳＩ内部で省電力を行なう構成では、サーバ全体の省電力化を十分に実現することはできなかった。すなわち、ＬＳＩが消費する電力はサーバ全体の消費電力の一部であるので、より広い範囲での消費電力節約の処理が求められてきた。

特に、従来の技術では、処理能力以外の要素、例えば、複数の処理ユニットを格納した筐体の動作に用いる電力や、処理ユニットや筐体の冷却に用いる電力について考慮されていなかった。そのため、従来の技術においてもなお電力が無駄に消費されており、システム全体を効率的に省電力化することができないという問題点があった。

本発明は、上述した従来技術にかかる問題点を解消するためになされたものであり、システム構成を考慮し、消費電力を効率的に削減する情報処理装置、情報処理装置制御方法および情報処理装置制御プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、開示の装置、方法およびプログラムは、複数の筐体の各々が１または複数の処理ユニットを備えた情報処理装置において、処理ユニット等のハードウェアリソースの余剰を判定し、処理ユニットの切り離しを行なう場合に、筐体単位でのハードウェアリソースを切り離せるよう組み合わせを選択する。

開示の装置、方法およびプログラムによれば、システム構成を考慮し、消費電力を効率的に削減する情報処理装置、情報処理装置制御方法および情報処理装置制御プログラムを得ることができるという効果を奏する。

図１は、実施例１にかかる情報処理装置であるサーバ装置の概要構成を示す概要構成図である。 図２は、一つの筐体内のシステムボードを全て切り離す場合について説明する説明図である。 図３は、双方の筐体に動作中のシステムボードが残る場合について説明する説明図である。 図４は、消費電力を比較説明する説明図である。 図５は、実施例１におけるハードウェアリソースの切り離し可否判定処理について説明するフローチャートである。 図６は、実施例１における切り離し構成判定処理について説明するフローチャートである。 図７は、実施例１におけるハードウェアリソースの組み込み判定処理について説明するフローチャートである。 図８は、情報取得コマンドの実行結果の具体例について説明する説明図である。 図９は、実施例２にかかる情報処理装置であるサーバ装置の概要構成を示す概要構成図である。 図１０は、双方の筐体に動作中のシステムボードが残る場合について説明する説明図である。 図１１は、一つの筐体内のシステムボードを全て切り離す場合について説明する説明図である。 図１２は、実施例２におけるハードウェアリソースの切り離し可否判定処理について説明するフローチャートである。 図１３は、実施例２における切り離し構成判定処理について説明するフローチャートである。 図１４は、本実施例３にかかる情報処理システムの概要構成を示す概要構成図である。 図１５は、実施例３におけるハードウェアリソースの切り離し可否判定処理について説明するフローチャートである。 図１６は、実施例３における切り離し構成判定処理について説明するフローチャートである。

符号の説明

１１〜１４ 筐体
２１〜２４ 冷却ファン
３１〜３４ 電源装置
４１〜４４ クロスバー
５１〜５４ ＣＰＵ
５１ａ〜５４ａ 演算処理使用率計測部
６１〜６４ メモリ
６１ａ〜６４ａ メモリ使用率計測部
７１〜７４ 入出力処理部
ＳＢ１１〜１４，ＳＢ２１〜２４，ＳＢ３１〜３４，ＳＢ４１〜４４ システムボード
１００〜１０５ サーバ装置
１１０〜１１５ システム制御部
１１０ａ，１１１ａ，２１０ａ 資源制御部
１１０ｂ，１１１ｂ，２１０ｂ 電力制御判断部
１１０ｃ，１１１ｃ，２１０ｃ 情報取得部
１２０，１２１ ハードディスク
２０１，２０２ フロア
２０１ａ，２０２ａ 空調装置
２１０ 管理サーバ

以下に、本発明にかかる情報処理装置、情報処理装置制御方法および情報処理装置制御プログラムの実施例を図面に基づいて詳細に説明する。

図１は、本実施例１にかかる情報処理装置であるサーバ装置１００の概要構成を示す概要構成図である。図１に示したサーバ装置１００は、複数の筐体（Cabinet）１１，１２、システム制御装置１１０およびハードディスク１２０を有する。

筐体１１は、複数のシステムボードＳＢ１１〜１４と、システムボードＳＢ１１〜１４の間を接続するクロスバー４１、システムボードＳＢ１１〜１４とクロスバー４１を冷却する冷却ファン２１、筐体１１内の各装置に電力を供給する電源装置３１を有する。

さらに、システムボードＳＢ１１は、ＣＰＵ（Central Processing Unit）５１、ＣＰＵ５１の動作状態を取得するパフォーマンスカウンタ（Performance Analyzer）等の演算処理使用率計測部５１ａ、記憶装置であるメモリ６１、ハードディスクドライブなどの外部装置を接続可能な入出力処理部７１を有する。システムボードＳＢ１１と同様に、システムボードＳＢ１２〜１４もＣＰＵ、演算処理使用率計測部、メモリ、入出力処理部を有する。

また、筐体１２は、複数のシステムボードＳＢ２１〜２４と、システムボードＳＢ２１〜２４の間を接続するクロスバー４２、システムボードＳＢ２１〜２４とクロスバー４２を冷却する冷却ファン２２、筐体１２内の各装置に電力を供給する電源装置３２を有する。

さらに、システムボードＳＢ２１は、ＣＰＵ５２、ＣＰＵ５２の動作状態を取得する演算処理使用率計測部５２ａ、記憶装置であるメモリ６２、入出力処理部７２を有する。システムボードＳＢ２１と同様に、システムボードＳＢ２２〜２４もＣＰＵ、演算処理使用率計測部５１ａ、メモリ６１、入出力処理部７１を有する。

システムボードＳＢ１１〜１４，ＳＢ２１〜２４は、互いに協働して全体で一つのオペレーティングシステム（ＯＳ）を動作させている。このオペレーティングシステムは、ハードディスクドライブなどで実現されるハードディスク１２０にプログラムデータとして格納されている。図１に示した構成において、ハードディスク１２０はシステムボードＳＢ１１の入出力処理装置７１のみに接続している。従って、サーバ装置１００の起動時には、システムボードＳＢ１１がハードディスク１２０からオペレーティングシステムのプログラムデータを読み出す。また、起動後にもハードディスク１２０に対するアクセスが求められた場合には、システムボードＳＢ１１がハードディスク１２０へのアクセスを行なうこととなる。

システム制御装置１１０は、サーバ装置１００を全体制御する制御装置である。システム制御装置１１０は、資源制御部１１０ａ、電源制御判断部１１０ｂおよび情報取得部１１０ｃを有する。これらの処理部は、ハードウェアロジックにより実現されるものであってもよいし、ファームウェア等のソフトウェアプログラムをプロセッサが実行することにより実現しても良い。情報取得部１１０ｃは、システムのハードウェアリソースの使用状況を監視する手段である。具体的には情報取得部１１０ｃは、オペレーティングシステムと通信を行なってハードウェアリソースの使用量を入手する。なお、他の方法、例えばシステム制御装置１１０から直接に演算処理使用率計測部などのハードウェアで実現されるPerformance Analyzer機能にアクセスし、ハードウェアリソースの使用状況をチェックする方法を用いてもよい。情報取得部１１０ｃは、取得した情報を元に一定時間ハードウェアリソースが未使用状態になった場合は、余剰ハードウェアリソースが存在するとみなす。

資源制御部１１０ａは、余剰なハードウェアリソースをシステムボード単位で動的に切り離す処理（Dynamic Reconfiguration：動的システム構成）を行なう。このように余剰なハードウェアリソースを動的に切り離すことによって、システムボード内の全電源を切断して消費電力を低減することができる。さらに、一つの筐体のシステムボードを全て切り離した場合、その筐体の冷却ファン、電源装置、クロスバーを停止させ、ＬＳＩ内部の部分的な電源供給停止やシステムボード単位の電源供給停止と比べて大きな範囲で電力の消費を停止することができ、削減できる電力量を大きくすることができる。

電力制御判断部１１０ｂは、余剰ハードウェアリソースが存在する場合に、切り離すハードウェアの組み合わせを判断し、消費電力がより小さくなる組み合わせを選択し、資源制御部１１０ａに切り離しを行なわせる。

例えば、８つのシステムボードＳＢ１１〜１４，ＳＢ２１〜２４のうち半分、４つのシステムボードを切り離し可能である場合について考える。まず、ハードディスク１２０がシステムボードＳＢ１１にしか接続していないので、システムボードＳＢ１１は切り離しの対象から外す。そして、残りの７つのシステムボードから切り離すシステムボードの組み合わせを検討すると、図２に示すように筐体１２が有する４つのシステムボードＳＢ２１〜２４を全て切り離すバターンと、図３に示したように切り離すシステムボードを筐体１１と筐体１２とで分散するパターンが考えられる。

ここで、図２に示したように筐体１２内のシステムボードを全て切り離した場合、動作するシステムボードが存在しなくなるため、筐体１２の冷却ファン２２、電源装置３２およびクロスバー４２も停止することができる。これに対し、図３に示したように切り離し後も双方の筐体に動作中のシステムボードが残ると、冷却ファンや電源装置、クロスバー４２の動作を停止させることはできない。したがって、低減可能な消費電力量を比較すると、図４に示したように、筐体１２全体を切り離すパターンの方が、切り離すシステムボードを分散するパターンに比して低減可能な消費電力量が大きくなる。

つぎに、システム制御装置１１０の処理動作について説明する。図５は、システム制御装置１１０によるハードウェアリソースの切り離し可否判定処理について説明するフローチャートである。図５に示したフローチャートはシステム制御装置１１０の情報取得部１１０ｃが予め定められた間隔、例えば１分ごとの所定間隔ごとに繰り返し実行する処理動作である。

情報取得部１１０ｃは、まず、オペレーティングシステムにログインし（Ｓ１０１）、オペレーティングシステムの情報取得コマンドを実行する（Ｓ１０２）。情報取得部１１０ｃは、このコマンドの実行結果として得られた情報からシステムボードＳＢ１１〜１４，ＳＢ２１〜２４のＣＰＵの平均使用率を算出する（Ｓ１０３）。

情報取得部１１０ｃは、算出したＣＰＵの平均使用率が例えば１０％未満である場合（Ｓ１０４，Ｙｅｓ）にカウンタをインクリメント（＋１）する（Ｓ１０５）。一方、情報取得部１１０ｃは、ＣＰＵの平均使用率が１０％以上である場合（Ｓ１０４，Ｎｏ）にはカウンタをクリアして（Ｓ１０６）、処理を終了する。

そして、カウンタが例えば３０以上となった場合、すなわちＣＰＵの平均使用率が１０％未満である状態が３０分以上継続した場合（Ｓ１０７，Ｙｅｓ）に、切り離し構成判定処理を起動して（Ｓ１０８）処理を終了し、カウンタが例えば３０未満である場合（Ｓ１０７，Ｎｏ）にはそのまま処理を終了する。

図６は、切り離し構成判定処理について説明するフローチャートである。図６に示した処理動作は、情報取得部１１０ｃからの起動を受けて、電力制御判断部１１０ｂが実行する。

電力制御判断部１１０ｂは、ＣＰＵの平均使用率が１０％未満である状態が例えば３０分以上継続した場合にＣＰＵリソースの半分を切り離し可能と判断する（Ｓ２０１）。そして電力制御判断部１１０ｂは、システム構成上、切り離せないハードウェアリソースを切り離しの対象から除外した（Ｓ２０２）うえで、切り離し可能なハードウェアリソースの組み合わせを算出する（Ｓ２０３）。

その後、電力制御判断部１１０ｂは、切り離し可能なハードウェアリソースの組み合わせのうち、筐体単位で切り離し可能な組み合わせがあるかを判定する（Ｓ２０４）、その結果、筐体単位で切り離し可能な組み合わせが存在する場合（Ｓ２０４，Ｙｅｓ）には、筐体単位で切り離しを行なうよう資源制御部１１０ａを動作させて（Ｓ２０５）、処理を終了する。また、筐体単位で切り離し可能な組み合わせが存在しない場合（Ｓ２０４，Ｎｏ）には、各筐体内の個別リソースを切り離すよう資源制御部１１０ａを動作させて（Ｓ２０６）、処理を終了する。

さて、ハードウェアリソースを切り離した後、負荷が高まってきた場合には切り離したハードウェアリソースを再度組み込む処理を行なう。図７は、システム制御装置１１０によるハードウェアリソースの組み込み判定処理について説明するフローチャートである。図７に示したフローチャートはシステム制御装置１１０の情報取得部１１０ｃが予め定められた間隔、例えば１分ごとに繰り返し実行する処理動作である。

情報取得部１１０ｃは、まず、オペレーティングシステムにログインし（Ｓ３０１）、オペレーティングシステムの情報取得コマンドを実行する（Ｓ３０２）。情報取得部１１０ｃは、このコマンドの実行結果として得られた情報からシステムボードＳＢ１１〜１４，ＳＢ２１〜２４のＣＰＵの平均使用率を算出する（Ｓ３０３）。

情報取得部１１０ｃは、算出したＣＰＵの平均使用率が５０％以上である場合（Ｓ３０４，Ｙｅｓ）にカウンタをインクリメント（＋１）する（Ｓ３０５）。一方、ＣＰＵの平均使用率が例えば５０％未満である場合（Ｓ３０４，Ｎｏ）、情報取得部１１０ｃはカウンタをクリアして（Ｓ３０６）、処理を終了する。

そして、カウンタが例えば３０以上となった場合、すなわちＣＰＵの平均使用率が５０％以上である状態が３０分以上継続した場合（Ｓ３０７，Ｙｅｓ）に、切り離したハードウェアリソースを組み込むよう資源制御部１１０ａを動作させて（Ｓ１０８）処理を終了し、カウンタが例えば３０未満である場合（Ｓ３０７，Ｎｏ）にはそのまま処理を終了する。

図５および図７の説明で用いた情報取得コマンドとは、例えば、vmstatコマンドやtopコマンドなどシステムのハードウェアリソースの使用状況を把握することができるコマンドである。Vmstatコマンドやtopコマンドは、オペレーティングシステムにくみこまれているＣＰＵの使用率およびメモリの使用量を取得することができる。またシステム制御装置１１０は、システムに搭載されている全ＣＰＵ数や、全メモリ容量を情報として保持している。

図８は、情報取得コマンドの実行結果の具体例について説明する説明図である。図８に示したデータのうち、「ｃｐｕ」の項の「ｉｄ」の列に示される数字が各ＣＰＵのｉｄｌｅ、すなわち未使用の時間率を表す。図８の例では、
(８２＋６２＋６４＋７８)／４＝７１．５
となり、４つのＣＰＵを平均すると７１．５%のｉｄｌｅ時間がある。すなわち、この例では、ＣＰＵの平均使用率は２９．５％である。

同様に「ｍｅｍｏｒｙ」の項の「ｆｒｅｅ」の列が空きメモリ容量を示す。これらの合計値が全空きメモリ容量として扱われる。システム制御装置１１０は全メモリ容量をあらかじめ持っているので、この空メモリ容量からメモリの平均使用率を求めることができる。

以上説明してきたように、本実施例１にかかるサーバ装置１００は、システム制御装置１１０内部の情報取得部１１０ｃが筐体１１のシステムボードＳＢ１１〜１４の動作状態と、筐体１２のシステムボードＳＢ２１〜２４の動作状態とを取得する。そして、システムボードのＣＰＵの平均使用率を算出して処理ユニットの切り離しが可能であるか判定する。判定の結果、ハードウェアリソースの切り離しが可能である場合には、電力制御判断部１１０ｂが、切り離すハードウェアリソースの組み合わせを算出する。切り離すハードウェアリソースの組み合わせパターンの中に、筐体単位での切り離しが可能なパターンがあれば、筐体単位で切り離しを行なう。この筐体単位での切り離しによって、処理ユニット自体の消費電力低減に加えて、冷却ファン、電源装置、クロスバーなどの筐体ごとに設けられた設備を停止し、効率的に消費電力を削減することができる。

実施例２では、ＣＰＵの使用率に加えてメモリの使用率に基づいてハードウェアリソースの切り離しの実行可否と切り離すハードウェアリソースの判断を行なう場合の構成について説明する。図９は、本実施例２にかかる情報処理装置であるサーバ装置１０１の概要構成を示す概要構成図である。図９に示したサーバ装置１０１は、複数の筐体（Cabinet）１３，１４、システム制御装置１１１およびハードディスク１２１を有する。

筐体１３は、複数のシステムボードＳＢ３１〜３４と、システムボードＳＢ３１〜３４の間を接続するクロスバー４３、システムボードＳＢ３１〜３４とクロスバー４１を冷却する冷却ファン２３、筐体１３内の各装置に電力を供給する電源装置３３を有する。

さらに、システムボードＳＢ３１は、ＣＰＵ５３、演算処理装置５１の動作状態を取得する演算処理使用率計測部５３ａ、記憶装置であるメモリ６１、メモリ６１の動作状態を取得するメモリ使用率計測部５３ａ、入出力処理部７３を有する。システムボードＳＢ３１と同様に、システムボードＳＢ１２〜１４もＣＰＵ、演算処理使用率計測部、メモリ、入出力処理部を有する。

また、筐体１４は、複数のシステムボードＳＢ４１〜４４と、システムボードＳＢ４１〜４４の間を接続するクロスバー４４、システムボードＳＢ４１〜４４とクロスバー４４を冷却する冷却ファン２４、筐体１４内の各装置に電力を供給する電源装置３４を有する。

さらに、システムボードＳＢ４１は、ＣＰＵ５４、ＣＰＵ５４の動作状態を取得する演算処理使用率計測部５４ａ、記憶装置であるメモリ６４、メモリ６４の動作状態を取得するメモリ使用率計測部６４ａ、入出力処理部７４を有する。システムボードＳＢ４１と同様に、システムボードＳＢ４２〜４４もＣＰＵ、演算処理使用率計測部、メモリ、入出力処理部を有する。

システムボードＳＢ３１〜３４，ＳＢ４１〜４４は、互いに協働して全体で一つのオペレーティングシステム（ＯＳ）を動作させている。このオペレーティングシステムは、ハードディスクドライブなどで実現される１２１にプログラムデータとして格納されている。図１に示した構成において、ハードディスク１２１はシステムボードＳＢ３１の入出力処理装置７３とシステムボードＳＢ４１の入出力処理部７４のみに接続している。従って、サーバ装置１０１の起動時には、システムボードＳＢ３１とシステムボードＳＢ４１のいずれかがハードディスク１２１からオペレーティングシステムのプログラムデータを読み出す。また、起動後にもハードディスク１２１に対するアクセスが求められた場合には、システムボードＳＢ３１とシステムボードＳＢ４１のいずれかがハードディスク１２１へのアクセスを行なうこととなる。

システム制御装置１１１は、サーバ装置１０１を全体制御する制御装置であり、資源制御部１１１ａ、電源制御判断部１１１ｂおよび情報取得部１１１ｃを有する。これらの処理部は、ハードウェアとして実現されるものであってもよいし、ソフトウェアプログラムとして実現しても良い。情報取得部１１１ｃは、システムのハードウェアリソースの使用状況を監視する手段である。具体的には情報取得部１１１ｃは、オペレーティングシステムと通信を行なってＣＰＵとメモリの使用状態を取得し、ハードウェアリソースの切り離しを実行すべきか否かを判定する。

電力制御判断部１１１ｂは、ハードウェアリソースの切り離しを行なう場合に、各システムボードのメモリ容量を考慮した上で、切り離すハードウェアの組み合わせを判断し、消費電力がより小さくなる組み合わせを選択し、資源制御部１１１ａに切り離しを行なわせる。

例えば、システムボードＳＢ３１〜３４のメモリ容量が２Ｇバイト、システムボードＳＢ４１〜４４のメモリ容量が８Ｇバイトであり、システムボードの半分、すなわち４つのシステムボードを切り離し可能である場合について考える。

まず、ハードディスク１２１がシステムボードＳＢ３１とシステムボード４１に接続しているので、システムボードＳＢ３１とシステムボードＳＢ４１の双方を同時に切り離すことは出来ないが、システムボードＳＢ３１，４１を含む全てのシステムボードが切り離しの対象となる。

図１０に示したように、筐体１３と筐体１４とでそれぞれ２つのシステムボードを切り離すと、ＣＰＵ数もメモリ容量も半分となる。しかし、切り離し後も双方の筐体に動作中のシステムボードが残るので、冷却ファンや電源装置、クロスバーの動作を停止させることはできない。

一方、図１１に示したように、筐体１３が有する４つのシステムボードＳＢ３１〜３４を全て切り離すと、メモリの削減量は５０％に満たないが、筐体１３の冷却ファン２３、電源装置３３およびクロスバー４３も停止することができる。

したがって、低減可能な消費電力量を比較すると、図１１に示したように、筐体１３全体を切り離すパターンの方が、切り離すシステムボードを分散するパターンに比して低減可能な消費電力量が大きくなる。

なお、筐体１４のシステムボードを全て切り離す構成では、ＣＰＵ数は半分となるが、メモリ容量を８０％削減してしまい、削減後のメモリが不足するので、切り離しパターンの選択肢から除外している。

つぎに、システム制御装置１１１の処理動作について説明する。図１２は、システム制御装置１１１によるハードウェアリソースの切り離し可否判定処理について説明するフローチャートである。図１２に示したフローチャートはシステム制御装置１１１の情報取得部１１１ｃが予め定められた間隔、例えば１分ごとに繰り返し実行する処理動作である。

情報取得部１１１ｃは、まず、オペレーティングシステムにログインし（Ｓ４０１）、オペレーティングシステムの情報取得コマンドを実行する（Ｓ４０２）。情報取得部１１１ｃは、このコマンドの実行結果として得られた情報からシステムボードＳＢ３１〜３４，ＳＢ４１〜４４のＣＰＵとメモリの平均使用率を算出する（Ｓ４０３）。

情報取得部１１１ｃは、算出したＣＰＵとメモリの平均使用率がともに例えば１０％未満である場合（Ｓ４０４，Ｙｅｓ）にカウンタをインクリメント（＋１）する（Ｓ４０５）。一方、情報取得部１１０ｃは、ＣＰＵとメモリの平均使用率のいずれかが１０％以上である場合（Ｓ４０４，Ｎｏ）にはカウンタをクリアして（Ｓ４０６）、処理を終了する。

そして、カウンタが３０以上となった場合、すなわちＣＰＵとメモリの平均使用率がともに１０％未満である状態が例えば３０分以上継続した場合（Ｓ４０７，Ｙｅｓ）に、切り離し構成判定処理を起動して（Ｓ４０８）処理を終了し、カウンタが例えば３０未満である場合（Ｓ４０７，Ｎｏ）にはそのまま処理を終了する。

図１３は、切り離し構成判定処理について説明するフローチャートである。図１３に示した処理動作は、情報取得部１１１ｃからの起動を受けて、電力制御判断部１１１ｂが実行する。

電力制御判断部１１１ｂは、ＣＰＵとメモリの平均使用率がともに１０％未満である状態が例えば３０分以上継続した場合にハードウェアリソース、すなわちＣＰＵとメモリの半分を切り離し可能と判断する（Ｓ５０１）。そして電力制御判断部１１１ｂは、システム構成上、切り離せないハードウェアリソースを切り離しの対象から除外した（Ｓ５０２）うえで、メモリを確保しつつ切り離し可能なハードウェアリソースの組み合わせを算出する（Ｓ５０３）。

その後、電力制御判断部１１１ｂは、切り離し可能なハードウェアリソースの組み合わせのうち、筐体単位で切り離し可能な組み合わせがあるかを判定する（Ｓ５０４）、その結果、筐体単位で切り離し可能な組み合わせが存在する場合（Ｓ５０４，Ｙｅｓ）には、筐体単位で切り離しを行なうよう資源制御部１１１ａを動作させて（Ｓ５０５）、処理を終了する。また、筐体単位で切り離し可能な組み合わせが存在しない場合（Ｓ５０４，Ｎｏ）には、各筐体内の個別リソースを切り離すよう資源制御部１１１ａを動作させて（Ｓ５０６）、処理を終了する。なお、切り離したハードウェアリソースを再組み込みについては、実施例１と同様であるので、説明を省略する。

以上説明してきたように、本実施例２にかかるサーバ装置１０１は、システム制御装置１１１内部の情報取得部１１１ｃが筐体１３，１４のシステムボードＳＢ３１〜３４，ＳＢ４１〜４４の動作状態としてＣＰＵとメモリの使用状態を取得する。そして、システムボードのＣＰＵの平均使用率とメモリの平均使用率とを算出してシステムボードの切り離しが可能であるか判定する。

判定の結果、ハードウェアリソースの切り離しが可能である場合には、メモリ容量を確保しつつ切り離し可能なハードウェアリソースの組み合わせを算出する。そして、筐体単位での切り離しが可能なパターンがあれば、筐体単位で切り離しを行なう。このように、メモリ容量を考慮しつつ筐体単位での切り離しを行なうことで、システム構成に対応した効率的な消費電力削減を行なうことが出来る。

実施例３では、データセンタ等における複数のフロアの各々に１または複数のサーバ装置を備える構成について説明する。図１４は、本実施例３にかかる情報処理システムの概要構成を示す概要構成図である。図１４に示したシステムでは、データセンタの一階部分であるフロア２０１にサーバ装置１０３と、フロア２０１内を冷却する空調装置２０１ａを備え、データセンタの二階部分であるフロア２０２にサーバ装置１０４，１０５と、フロア２０２内を冷却する空調装置２０２ａを備えている。

サーバ装置１０３〜１０５は、それぞれ実施例１，２に示したサーバ装置と同様の構成を有している。サーバ装置１０３は、筐体１０３ａ，１０３ｂとシステム制御装置１１３を備え、システム制御装置１１３は、筐体１０３ａ，１０３ｂの動作状態管理サーバ２１０に送出する。また、サーバ装置１０４は、筐体１０４ａ，１０４ｂとシステム制御装置１１４を備え、システム制御装置１１４が、筐体１０４ａ，１０４ｂの動作状態管理サーバ２１０に送出する。同様に、サーバ装置１０５は、筐体１０５ａ，１０５ｂとシステム制御装置１１５を備え、システム制御装置１１５が、筐体１０５ａ，１０５ｂの動作状態管理サーバ２１０に送出する。

管理サーバ２１０は、データセンタ全体制御する制御装置であり、資源制御部２１０ａ、電力制御判断部２１０ｂ、情報取得部２１０ｃを有する。情報取得部２１０ｃは、データセンタ全体のハードウェアリソースの使用状況を監視する手段である。具体的には情報取得部２１０ｃは、情報取得部２１０ｃは、サーバ装置１０３〜１０５から取得した情報を用い、ハードウェアリソースの切り離しを実行すべきか否かを判定する。

電力制御判断部２１０ｂは、切り離すハードウェアの組み合わせを判断し、消費電力がより小さくなる組み合わせを選択し、資源制御部２１０ａに切り離しを行なわせる。

例えば、サーバ装置１０３〜１０５のいずれかを一つを停止させる場合、データセンタ１Ｆのサーバ装置１０３を優先的に切り離す。データセンタセンター１Ｆには、サーバ装置１０３のみであるので、サーバ装置１０３を停止させた場合には空調装置２０１ａを合わせて停止し、消費電力をさらに低減することができる。

つぎに、管理サーバ２１０の処理動作について説明する。図１５は、管理サーバ２１０によるハードウェアリソースの切り離し可否判定処理について説明するフローチャートである。図１５に示したフローチャートはシステム制御装置２１０の情報取得部２１０ｃが予め定められた間隔、例えば１分ごとに繰り返し実行する処理動作である。

情報取得部２１０ｃは、まず、各サーバ装置のシステム制御装置から動作状態を取得する（Ｓ６０１）。情報取得部２１０ｃは、取得した情報からシステム全体のハードウェアリソースの平均使用率を算出する（Ｓ６０２）。

情報取得部２１０ｃは、算出したハードウェアリソースの平均使用率が例えば１０％未満である場合（Ｓ６０３，Ｙｅｓ）にカウンタをインクリメント（＋１）する（Ｓ６０４）。一方、情報取得部２１０ｃは、ハードウェアリソースの平均使用率が１０％以上である場合（Ｓ６０３，Ｎｏ）にはカウンタをクリアして（Ｓ６０５）、処理を終了する。

そして、カウンタが３０以上となった場合、すなわちハードウェアリソースの平均使用率がともに１０％未満である状態が例えば３０分以上継続した場合（Ｓ６０６，Ｙｅｓ）に、切り離し構成判定処理を起動して（Ｓ６０７）処理を終了し、カウンタが例えば３０未満である場合（Ｓ６０６，Ｎｏ）にはそのまま処理を終了する。

図１６は、切り離し構成判定処理について説明するフローチャートである。図１６に示した処理動作は、情報取得部２１０ｃからの起動を受けて、電力制御判断部２１０ｂが実行する。

電力制御判断部２１０ｂは、ハードウェアリソースの平均使用率が１０％未満である状態が例えば３０分以上継続した場合にハードウェアリソースの半分を切り離し可能と判断する（Ｓ７０１）。そして電力制御判断部２１０ｂは、システム構成上、切り離せないハードウェアリソースを切り離しの対象から除外した（Ｓ７０２）うえで、切り離し可能なハードウェアリソースの組み合わせを算出する（Ｓ７０３）。

その後、電力制御判断部２１０ｂは、切り離し可能なハードウェアリソースの組み合わせのうち、フロア単位で切り離し可能な組み合わせがあるかを判定する（Ｓ７０４）、その結果、フロア単位で切り離し可能な組み合わせが存在する場合（Ｓ７０４，Ｙｅｓ）には、フロア単位で切り離しを行なうよう資源制御部２１０ａを動作させて（Ｓ７０５）、処理を終了する。また、フロア単位で切り離し可能な組み合わせが存在しない場合（Ｓ７０４，Ｎｏ）には、各フロア内の個別リソースを切り離すよう資源制御部２１０ａを動作させて（Ｓ７０６）、処理を終了する。なお、切り離したハードウェアリソースを再組み込みについては、実施例１，２と同様であるので、説明を省略する。

以上説明してきたように、本実施例３にかかる情報処理システムでは、データセンタにおける複数のフロアに１または複数のサーバ装置を配置した構成において、サーバ装置ごとの動作状態を取得し、余剰リソースが存在する場合にはフロア単位で切り離しを行なうように制御することで、フロアごとに設けた設備についても消費電力低減の対象とすることができる。

なお、ここではデータセンタにおけるフロア単位で制御する場合を例に説明をおこなったが、データセンタにおける同一フロアのブロック単位やデータセンタの建物単位で切り離しを行なうようにすることもでき、また建物、フロア、ブロック、筐体のように階層的にハードウェアリソース切り離し制御を行なうこともできる。

Claims (10)

1. 第１の演算処理装置と前記第１の演算処理装置の単位時間当たりの負荷を表す演算処理使用率を計測する第１の演算処理使用率計測部を有する第１の処理ユニットと、第２の演算処理装置と前記第２の演算処理装置の演算処理使用率を計測する第２の演算処理使用率計測部を有する第２の処理ユニットを有する第１の筐体と、
   第３の演算処理装置と前記第３の演算処理装置の演算処理使用率を計測する第３の演算処理使用率計測部を有する第３の処理ユニットと、第４の演算処理装置と前記第４の演算処理装置の演算処理使用率を計測する第４の演算処理使用率計測部を有する第４の処理ユニットを有する第２の筐体と、
   前記第１乃至第４の演算処理装置のいずれか一又は複数の演算処理装置において実行されるとともに、前記第１乃至第４の演算処理使用率計測部から前記第１乃至第４の演算処理使用率を取得して通知するオペレーティングシステム部と、
   前記第１乃至第４の処理ユニットの演算処理使用率を取得し、該演算処理使用率に基づいて、前記第１乃至第４の処理ユニットの各々が備える演算処理装置の平均使用率が所定値未満である状態が所定時間継続した場合に、前記第１乃至第４の処理ユニットが協働して行う情報処理から一時的に切り離し可能な処理ユニットが存在すると判定し、切り離し可能な処理ユニットが存在すると判定された場合に、切り離し可能な組み合わせを判断し、該組み合わせのうち、筐体内の全ての処理ユニットを切り離し可能な組み合わせを優先して採用し、採用された組み合わせに基づいて、前記処理ユニットおよび／または前記筐体の切り離しを実行するシステム制御装置と
   を備えたことを特徴とする情報処理装置。
2. 前記第１乃至第４の処理ユニットはさらに、
   第１乃至第４の記憶装置と前記第１乃至第４の記憶装置の記憶容量使用率をそれぞれ計測する第１乃至第４の記憶容量使用率計測部を、前記処理ユニット毎にそれぞれ有し、
   前記オペレーティングシステム部は、前記第１乃至第４の記憶容量使用率計測部から第１乃至第４のメモリ使用率を取得して通知し、
   前記システム制御装置は、通知された前記第１乃至第４の記憶容量使用率に基づき、前記第１乃至第４の処理ユニットのいずれか一又は複数の切り離し又は組み込みを実行することを特徴とする請求項１記載の情報処理装置。
3. 前記オペレーティングシステム部は、定期的に前記第１乃至第４の演算処理使用率計測部から前記第１乃至第４の演算処理使用率を取得して通知し、
   前記システム制御装置は、定期的に前記第１乃至第４の演算処理使用率計測部から前記第１乃至第４の演算処理使用率を取得するとともに、前記第１乃至第４の演算処理使用率の平均である平均演算処理使用率を計算し、前記平均演算処理使用率と前記平均演算処理使用率に対する閾値に基づき、前記第１乃至第４の処理ユニットのいずれか一又は複数の切り離し又は組み込みを実行することを特徴とする請求項１記載の情報処理装置。
4. 前記オペレーティングシステム部は、定期的に前記第１乃至第４の記憶容量使用率計測部から前記第１乃至第４の記憶容量使用率を取得して通知し、
   前記通知された前記第１乃至第４の記憶容量使用率に基づいて記憶容量使用率平均値を計算し、
   前記システム制御装置は、定期的に前記第１乃至第４の記憶容量使用率計測部から前記第１乃至第４の記憶容量使用率を取得するとともに、前記第１乃至第４の記憶容量使用率の平均である平均記憶容量使用率を計算し、前記平均記憶容量使用率と前記平均記憶容量使用率に対する閾値に基づき、前記第１乃至第４の処理ユニットのいずれか一又は複数の切り離し又は組み込みを実行することを特徴とする請求項２記載の情報処理装置。
5. 第１の演算処理装置と前記第１の演算処理装置の単位時間当たりの負荷を表す演算処理使用率を計測する第１の演算処理使用率計測部を有する第１の処理ユニットと、第２の演算処理装置と前記第２の演算処理装置の演算処理使用率を計測する第２の演算処理使用率計測部を有する第２の処理ユニットを有する第１の筐体と、
   第３の演算処理装置と前記第３の演算処理装置の演算処理使用率を計測する第３の演算処理使用率計測部を有する第３の処理ユニットと、第４の演算処理装置と前記第４の演算処理装置の演算処理使用率を計測する第４の演算処理使用率計測部を有する第４の処理ユニットを有する第２の筐体と、
   前記第１乃至第４の演算処理装置のいずれか一又は複数の演算処理装置において実行されるとともに、前記第１乃至第４の演算処理使用率計測部から前記第１乃至第４の演算処理使用率を取得して通知するオペレーティングシステム部と、
   前記オペレーティングシステム部から通知された前記第１乃至第４の演算処理使用率に基づいて、前記第１乃至第４の処理ユニットのいずれか一又は複数の切り離し又は組み込みを実行する資源制御部を備えたシステム制御装置とを有し、
   前記第１乃至第４の処理ユニットは、第１乃至第４の記憶装置と前記第１乃至第４の記憶装置の記憶容量使用率をそれぞれ計測する第１乃至第４の記憶容量使用率計測部を、前記処理ユニット毎にそれぞれ有し、
   前記オペレーティングシステム部は、前記第１乃至第４の記憶容量使用率計測部から前記第１乃至第４のメモリ使用率を取得して通知し、
   前記資源制御部は、通知された前記第１乃至第４の記憶容量使用率に基づき、前記第１乃至第４の処理ユニットのいずれか一又は複数の切り離し又は組み込みを実行し、
   前記オペレーティングシステム部は、定期的に前記第１乃至第４の記憶容量使用率計測部から前記第１乃至第４の記憶容量使用率を取得して通知し、前記通知された前記第１乃至第４の記憶容量使用率に基づいて記憶容量使用率平均値を計算し、
   前記資源制御部は、定期的に前記第１乃至第４の記憶容量使用率計測部から前記第１乃至第４の記憶容量使用率を取得するとともに、前記第１乃至第４の記憶容量使用率の平均である平均記憶容量使用率を計算し、前記平均記憶容量使用率と前記平均記憶容量使用率に対する閾値に基づき、前記第１乃至第４の処理ユニットのいずれか一又は複数の切り離し又は組み込みを実行し、かつ、前記第１乃至第４の処理ユニットの切り離し後における前記第１乃至第４の記憶装置の記憶容量の合計値が、情報処理装置が必要とする記憶容量以上であるかを判断するとともに、前記判断の結果、前記情報処理装置が必要とする記憶容量未満である場合には、前記第１乃至第４の処理ユニットのいずれか一又は複数の切り離しを実行せず、
   前記システム制御装置は、処理ユニットの切り離し後に、切り離し対象外の処理ユニットの記憶装置の記憶容量の合計値が、前記情報処理装置が必要とする記憶容量以上となる様に、切り離し対象となる処理ユニットの組み合わせを選択する電力制御判断部を更に備えたことを特徴とする情報処理装置。
6. 複数の筐体の各々が１または複数の処理ユニットを備え、前記処理ユニットが協働して情報処理を行なう情報処理装置に接続された制御装置による情報処理装置制御方法であって、
   前記処理ユニットの演算処理使用率を取得する情報取得ステップと、
   前記情報取得ステップによって取得した演算処理使用率に基づいて、前記処理ユニットが備える演算処理装置の平均使用率が所定値未満である状態が所定時間継続した場合に、前記情報処理から一時的に切り離し可能な処理ユニットが存在すると判定し、切り離し可能な処理ユニットが存在すると判定された場合に、切り離し可能な組み合わせを判断する判断ステップと、
   前記判断ステップにより判断された組み合わせのうち、筐体内の全ての処理ユニットを切り離し可能な組み合わせを優先して採用し、採用された組み合わせに基づいて、前記処理ユニットおよび／または前記筐体の切り離しを実行する資源制御ステップと、
   を含んだことを特徴とする情報処理装置制御方法。
7. 複数の筐体の各々が１または複数の処理ユニットを備え、前記処理ユニットが協働して情報処理を行なう情報処理装置に接続された制御装置上で動作する情報処理装置制御プログラムであって、
   前記処理ユニットの動作状態を示す情報を取得する情報取得ステップと、
   前記情報取得ステップによって取得した情報に基づいて、前記処理ユニットの各々が備える演算処理装置の平均使用率が所定値未満である状態が所定時間継続した場合に、前記情報処理から一時的に切り離し可能な処理ユニットが存在すると判定する切り離し可否判定処理ステップと、
   前記切り離し可否判定処理ステップによって切り離し可能な処理ユニットが存在すると判定された場合に、切り離し可能な組み合わせを判断し、該組み合わせのうち、筐体内の全ての処理ユニットを切り離し可能な組み合わせを優先して採用する切り離し構成判定ステップと、
   前記切り離し構成判定ステップが採用した組み合わせに基づいて前記処理ユニットおよび／または前記筐体の切り離しを実行する資源制御ステップと、
   を前記制御装置に実行させることを特徴とする情報処理装置制御プログラム。
8. 複数の筐体の各々が１または複数の処理ユニットを備え、前記処理ユニットが協働して情報処理を行なう情報処理装置に接続された制御装置上で動作する情報処理装置制御プログラムであって、
   前記処理ユニットの動作状態を示す情報を取得する情報取得ステップと、
   前記情報取得ステップによって取得した情報に基づいて、前記処理ユニットの各々が備える演算処理装置の平均使用率が所定値以上である状態が所定時間継続した場合に、前記情報処理から一時的に切り離した、筐体内の全ての処理ユニットの組み込みを実行すべきと判定する組み込み判定処理ステップと、
   前記組み込み判定処理ステップによって一時的に切り離した、筐体内の全ての処理ユニットの組み込みを実行すべきと判定された場合に、一時的に切り離した、筐体内の全ての処理ユニットを組み込む組み込み実行ステップと、
   を前記制御装置に実行させることを特徴とする情報処理装置制御プログラム。
9. 複数の筐体の各々が１または複数の処理ユニットを備え、前記処理ユニットが協働して情報処理を行なう情報処理装置に接続された制御装置上で動作する情報処理装置制御プログラムであって、
   前記処理ユニットの動作状態を示す情報を取得する情報取得ステップと、
   前記情報取得ステップによって取得した情報に基づいて、前記処理ユニットの各々が備える演算処理装置と記憶装置の双方の平均使用率がともに所定値未満である状態が所定時間継続した場合に、前記情報処理から一時的に切り離し可能な処理ユニットが存在すると判定する切り離し可否判定処理ステップと、
   前記切り離し可否判定処理ステップによって切り離し可能な処理ユニットが存在すると判定された場合に、記憶装置の容量を確保しつつ切り離し可能な組み合わせを判断し、該組み合わせのうち、筐体単位で切り離し可能な組み合わせを優先して採用する切り離し構成判定ステップと、
   前記切り離し構成判定ステップが採用した組み合わせに基づいて前記処理ユニットおよび／または前記筐体の切り離しを実行する資源制御ステップと、
   前記処理ユニットの切り離し後に、切り離し対象外の処理ユニットの記憶装置の記憶容量の合計値が、前記情報処理装置が必要とする記憶容量以上となる様に、切り離し対象となる処理ユニットの組み合わせを選択する選択ステップと、
   を前記制御装置に実行させることを特徴とする情報処理装置制御プログラム。
10. 第１の演算処理装置と前記第１の演算処理装置の単位時間当たりの負荷を表す演算処理使用率を計測する第１の演算処理使用率計測部を有する第１の処理ユニットと、第２の演算処理装置と前記第２の演算処理装置の演算処理使用率を計測する第２の演算処理使用率計測部を有する第２の処理ユニットを有する第１の筐体と、
    第３の演算処理装置と前記第３の演算処理装置の演算処理使用率を計測する第３の演算処理使用率計測部を有する第３の処理ユニットと、第４の演算処理装置と前記第４の演算処理装置の演算処理使用率を計測する第４の演算処理使用率計測部を有する第４の処理ユニットを有する第２の筐体と、
    前記第１乃至第４の演算処理装置のいずれか一又は複数の演算処理装置において実行されるとともに、前記第１乃至第４の演算処理使用率計測部から前記第１乃至第４の演算処理使用率を取得して通知するオペレーティングシステム部と、
    前記オペレーティングシステム部から通知された前記第１乃至第４の演算処理使用率に基づいて、前記第１乃至第４の処理ユニットのいずれか一又は複数の切り離し又は組み込みを実行する資源制御部と、外部装置に接続された処理ユニットが切り離し対象外となる様に、切り離し対象となる処理ユニットの組み合わせを選択する電力制御判断部とを備えたシステム制御装置と
    を備えたことを特徴とする情報処理装置。

Images