JP5659054B2 - システム管理装置、システム管理方法及びシステム管理プログラム - Google Patents

Description

本発明は、複数の情報処理装置の稼働状態を管理する技術に関する。

複数の情報処理装置において情報処理を分担して実行するシステム構成が普及している。かかるシステム構成においては、各情報処理装置における処理負荷を平準化することが望まれる。かかる技術の一例として、複数のネットワークストレージをもつ仮想一元化ネットワークストレージシステムに関する技術が開示されている。この技術では、仮想一元化装置が、各ネットワークストレージのディスク残量を定期的に調査する。そして、ディスク残量の偏差が発生しかつディスク残量の最小値が閾値を下回ること等の所定条件が満たされているときに、ディスク残量の平準化を自動的に行う。

特開２００５−３８３６８公報

ここで、各情報処理装置における処理負荷に変動が生じ、物理資源の使用量が、物理資源が正常に動作できる能力値を超えた状態となると、処理状態に支障が生じる。このため、物理資源の使用量が能力値を超過する状態は、予め回避することが望ましい。しかし、前述した開示技術のように、現在の物理資源の使用状態が所定条件を満たしていることを以って平準化を行うようにすると、例えば、物理資源の使用量が能力値を超過する予兆が把握しづらいような環境等においては、対応することができない。

以上のような問題点に鑑み、本技術は、１つの側面において、複数の情報処理装置において情報処理を分担して実行する場合において、各情報処理装置における物理資源の使用状態の予測に基づいて情報処理の分担を変更することで、物理資源の使用量が能力値を超過する状態を予め回避することを目的とする。

本技術は、１つの側面において、情報処理を分担して実行する、１つ以上の仮想システムが夫々において稼働する複数の情報処理装置の稼働状態を管理する管理装置が、次の動作をする。すなわち、管理装置は、前記複数の情報処理装置の夫々における仮想システム毎の物理資源の使用量を示す稼働情報を所定時間毎に収集し、該稼働情報を、収集時刻と対応付けて記憶装置に格納する。また、管理装置は、記憶装置に予め格納された各情報処理装置の物理資源の能力値を示す環境情報、及び、記憶装置に格納された各情報処理装置の前記稼働情報を参照する。さらに、管理装置は、前記複数の情報処理装置の夫々で稼働する仮想システム毎の物理資源の使用量を情報処理装置毎に合算し、前記複数の情報処理装置のうち少なくとも１つの情報処理装置における前記合算値が該情報処理装置の物理資源の能力値を超える直近の時刻を予測する。そして、管理装置は、予測された前記直近の時刻までに、前記複数の情報処理装置の夫々における物理資源の使用量が該情報処理装置の物理資源の能力値を超えないように前記複数の情報処理装置で稼働する仮想システムの配置組合せを決定し、前記複数の情報処理装置に対して仮想システムの再配置を実行する。そして、情報処理の分担の再配置を実行するときに、各情報処理装置の前記物理資源の能力値の高い順から、仮想システムの夫々を、予測された直近の時刻における前記物理資源の使用量の高い順で配置していき、仮想システムを配置した場合に情報処理装置における前記物理資源の使用量の合計が該情報処理装置の前記物理資源の能力値を超えるときには、該仮想システムを次の順の情報処理装置に配置する。

本技術によれば、１つの側面において、物理資源の使用量が能力値を超過する状態を予め回避することが可能となる。

時間帯によって稼働状態が異なるシステムを仮想化統合した状態の一例の説明図である。 仮想システムを再配置する具体例の説明図である。 管理装置を備えた情報処理システムの一例の全体図である。 管理装置の一例の機能ブロック図である。 初期設定データの一例の説明図である。 環境管理ＤＢの一例の説明図である。 システム管理ＤＢの一例の説明図である。 稼働状態収集処理の一例を示すフローチャートである。 稼働状態予測処理の一例を示すフローチャートである。 シミュレーション処理の一例を示すフローチャートである。 再配置時刻の特定の一例を示す説明図である。 システム再配置処理の一例を示すフローチャートである。 仮想システムを再配置する具体例の説明図である。 管理装置のハードウェア構成の一例の説明図である。

本明細書では、情報処理を分担して実行する複数の情報処理装置の稼働状態を管理する技術について説明する。特に、情報処理を複数の情報処理装置で分担して実行する１つのシステム形態の例として、複数のシステムを仮想化統合して、複数の情報処理装置に仮想システムを構築し、物理資源を共有しつつ処理を行う形態を用いて説明する。

情報処理における処理量は、その処理内容に応じ、時間帯によって異なることが一般的である。すなわち、複数のシステムを仮想化統合したシステムにおいては、それぞれの仮想システムによって、処理量のピーク時が異なることが多い。このことを図１に示す。図１では、システムＡ〜Ｄを、情報処理装置の具体例としての第１サーバ及び第２サーバの２つに仮想化統合するケースについて示している。

図１に、システムＡ〜Ｄの１日における処理量の変動内容を示している。システムＡ〜Ｄは、それぞれピーク時のＣＰＵ使用量が「100」、「120」、「90」、「150」となっている（なお、これらの数は、物理資源の使用量を表すために便宜的に定めた数であり、以下、本明細書において、かかる数を用いて物理資源の使用量につき説明する）。このため、かりに、例えば、システムＡ及びＢを第１サーバ、システムＣ及びＤを第２サーバに固定的に配置することを考えると、第１サーバには「100+120=220」、第２サーバには「90+150=240」のＣＰＵ能力値があれば、いずれも問題なく稼働できることとなる。しかしながら、実際には、システムＡ〜Ｄは、時間帯によってそれぞれＣＰＵ使用量が異なるため、ほとんどの時間においては、ピーク時との差分のＣＰＵ資源が使われてないことになり、無駄な物理資源が存在することになる。

そこで、同じく図１に示すように、時間帯によって、第１サーバ及び第２サーバに配置する仮想システムを変更した場合、第１サーバのＣＰＵ能力値が「180」、第２サーバのＣＰＵ能力値が「150」であったとしても、９時、１２時、１５時、１８時の全ての時間帯において、第１サーバ及び第２サーバで仮想システムによるＣＰＵ使用量の合計がＣＰＵ能力値を超過することはない。

さらに、第１サーバ及び第２サーバにおける仮想システムの再配置について、図１に示す具体例における１５時と１８時のＣＰＵ使用量に着目し、図２を参照しながら説明する。１５時時点では、Ａシステム及びＢシステムが第１サーバに配置されており、そのＣＰＵ使用量の合計は「40+120=160」である。一方、Ｃシステム及びＤシステムが第２サーバに配置されており、そのＣＰＵ使用量の合計は「60+90=150」である。ここで、かりに、この配置組合せのままで時間が経過して１８時になった場合、各システムのＣＰＵ使用量が変化し、第１サーバのＣＰＵ使用量の合計は「30+70=100」となる一方、第２サーバのＣＰＵ使用量の合計が「70+150=220」となる。すなわち、第２サーバにおける仮想システムによるＣＰＵ使用量は、第２サーバのＣＰＵ能力値「150」を超過してしまう。このため、少なくとも１８時の時点にこのような状態が発生することを回避するには、１８時までにＢシステムとＤシステムとを入れ替えるように仮想システムの再配置を行えばよい。

本明細書で説明する技術は、このように情報処理の処理量が時間帯において異なり、かつ、その処理量の変化には一定の変動サイクル（例えば１日）が存在することに着目し、情報処理装置における物理資源の使用量を予測するものである。そして、その予測に基づいて、物理資源の使用量が能力値を超えるタイミングを予測し、そのタイミングまでに情報処理の分担の再配置を行うものである。これにより、従来よりも各情報処理装置において実装する物理資源の能力値を低くしても、物理資源の使用量が能力値を超過する状態を予め回避することが可能となる。

以下、前述した技術を具現化した管理装置を備えた情報処理システムの実施形態の１つにつき、詳細に説明する。

図３は、本実施形態に係る管理装置を備えた情報処理システムの全体図を示す。

情報処理システムは、管理装置１並びに第１サーバ１０、第２サーバ２０及び第３サーバ３０を有する。管理装置１並びに第１サーバ１０〜第３サーバ３０は、いずれも、ＣＰＵ（Central Processing Unit）及び記憶装置を有する情報処理装置である。

管理装置１は、第１サーバ１０〜第３サーバ３０の稼働状態を監視するとともに、第１サーバ１０〜第３サーバ３０への仮想システムの配置を管理する。

第１サーバ１０〜第３サーバ３０は、仮想化環境を備えた物理サーバであり、１つ以上の仮想システムが稼働する。

管理装置１並びに第１サーバ１０〜第３サーバ３０は、ネットワークによって通信可能に接続されている。ネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等であり、また、有線接続又は無線接続のいずれであってもよい。なお、本明細書において、記憶装置とは、メモリ等の揮発性記憶装置及びストレージ等の不揮発性記憶装置の少なくともいずれか一方を示すものとする。ここで、本実施形態では、仮想システムが動作するサーバが第１サーバ１０〜第３サーバ３０の３つであるが、サーバの数はいくつであってもよく、また、管理装置１の機能自体も、複数の情報処理装置で分散して実現してもよい。

図４は、管理装置１の一例の機能ブロック図である。

管理装置１は、記憶装置１１に格納される情報である、初期設定データ１３、環境管理ＤＢ１４、システム管理ＤＢ１５及び再配置時刻１６を有する。また、管理装置１は、データ管理プログラムがメモリにロードされ実行されることによって実現され、記憶装置１１に格納された各種情報と協働して動作する制御部１２として、稼働情報収集部１７、稼働状態予測部１８及び再配置部１９を有する。

初期設定データ１３は、ユーザ（例えばシステム管理者等）によって予め記憶装置１１に設定されるデータであり、図５に示すように、自動実行２１及び指標資源２２を含む。

自動実行２１は、第１サーバ１０〜第３サーバ３０の仮想システムの再配置を行うときに、ユーザの確認を必要とするか否かを示す値である。本実施例においては、この自動実行２１の値が「０」のときには、再配置を自動で実行し、値が「１」のときには、再配置を実行するか否かをユーザに選択させる。

指標資源２２は、第１サーバ１０〜第３サーバ３０の稼働状態の予測及び仮想システムの再配置を行う基準とする物理資源を特定する値である。本実施例においては、この指標資源２２の値が「０」のときには、ＣＰＵ使用量を基準とし、値が「１」のときには、ネットワーク使用量を基準とする。

環境管理ＤＢ１４は、仮想システムが動作する各サーバの稼働状態を管理するためのデータベースであり、図６に示すように、サーバ３１、サーバのＣＰＵ能力値３２、サーバのネットワーク能力値３３及びサーバに配置されている仮想システムを示す配置システム３４の項目を有する。環境管理ＤＢ１４の各項目の情報は、管理装置１が自動的に計測して格納してもよいし、ユーザが予め設定しておいてもよい。

ここで、ＣＰＵ能力値３２には、物理資源が正常に動作することができる動作能力の限界値を設定する必要はなく、限界値に対して余裕を持った値を設定してもよい。ネットワーク能力値３３についても同様である。例えば、物理資源の動作能力の限界値の８０パーセント程度の値を設定しておくことで、後述する処理により、物理資源量に余裕のある安定した状態で、仮想システムの配置を行うことができる。また、ＣＰＵ能力値３２及びネットワーク能力値３３において物理資源の動作能力の限界値を設定した場合には、限界値に対して余裕を持たせる割合を示す閾値（例えば前述の８０パーセント）を別途設けてもよい。そして、ＣＰＵ能力値３２及びネットワーク能力値３３に対して当該閾値を反映させた値を用いて、後述の各処理を行ってもよい。

システム管理ＤＢ１５は、仮想システムによって使用される物理資源量を管理するためのデータベースであり、図７に示すように、仮想システム４１、仮想システムが使用しているＣＰＵ使用量４２及び仮想システムが使用しているネットワーク使用量４３の項目を有する。ＣＰＵ使用量４２及びネットワーク使用量４３は、サーバにおける稼働状態の通常の変動サイクルにあわせた期間分だけ保持されており、本実施形態では、１日分の情報が保持されている。また、ＣＰＵ使用量４２及びネットワーク使用量４３は、所定時間単位で保持されており、本実施形態では、１５分単位としている。

なお、本実施形態においては、環境管理ＤＢ１４の配置システム３４の情報と、システム管理ＤＢ１５のＣＰＵ使用量４２及びネットワーク使用量４３の情報の両方によって、各サーバにおけるＣＰＵ使用量４２及びネットワーク使用量４３を特定することが可能となる。

ここで、環境管理ＤＢ１４におけるＣＰＵ能力値３２及びネットワーク能力値３３と、システム管理ＤＢ１５におけるＣＰＵ使用量４２及びネットワーク使用量４３とは、夫々について能力値と使用量とを相互に比較することが可能であれば、いかなる単位の情報を用いてもよい。

次に、管理装置１が実行する処理について説明する。

図８は、稼働情報収集部１７が実行する稼働情報収集処理を示す。この稼働情報収集処理は、例えばタイマ起動により、所定時間毎に実行される。本実施形態では、この所定時間を１５分とする。なお、この所定時間は短ければ短いほど（すなわち稼働情報を収集する間隔が短いほど）、後述する稼働状態予測処理において予測する再配置時刻の精度が向上する。

Ｓ１にて、稼働情報収集部１７は、第１サーバ１０〜第３サーバ３０の夫々に対して、物理資源の使用量を示す情報を含んだ稼働情報を要求し、各サーバから、稼働情報を受信する。この稼働情報は、第１サーバ１０〜第３サーバ３０の夫々において、現在どの仮想システムが稼働しているかを示す情報と、各仮想システムによる物理資源の使用量を示す情報と、を含む。なお、稼働情報収集部１７が自ら、各サーバの稼働状態を計測してもよい。

Ｓ２にて、稼働情報収集部１７は、受信した各サーバの稼働情報を、環境管理ＤＢ１４及びシステム管理ＤＢ１５に書き込む。具体的には、稼働情報収集部１７は、第１サーバ１０〜第３サーバ３０の夫々において、現在どの仮想システムが稼働しているかを示す情報を、環境管理ＤＢ１４の配置システム３４に書き込む。また一方で、稼働情報収集部１７は、各仮想システムのＣＰＵ使用量及びネットワーク使用量を示す情報を、夫々、システム管理ＤＢ１５のＣＰＵ使用量４２及びネットワーク使用量４３のうち、現在の時刻に対応する時刻に書き込む。このとき、受信した稼働情報の使用量をそのままシステム管理ＤＢ１５に書き込んだ場合には、システム管理ＤＢ１５には仮想システムによる最新の物理資源の使用量が格納されることとなる。一方で、例えば、稼働情報収集部１７は、すでに書き込まれていた過去の使用量と今回受信した使用量との平均値を算出し、この平均値を書き込むようにしてもよい。そうすることで、過去の物理資源の使用傾向を反映させた値が格納されることとなる。

なお、この稼働情報収集処理は、例えば、第１サーバ１０〜第３サーバ３０の夫々において、自装置の稼働情報を収集するタスクをタイマ起動により所定時間毎に実行し、当該タスクの実行によって各サーバから送信された稼働情報を、管理装置１において受信する方式にしてもよい。

また、仮想システム自体が追加されたとき又は削除されたときには、この稼働情報収集処理において、システム管理ＤＢ１５のレコードを追加又は削除すればよい。

図９は、稼働状態予測部１８が実行する稼働状態予測処理を示す。この処理は、例えばタイマ起動により、所定時間毎に実行される。この所定時間は、仮想システムによる物理資源の使用量の変動が発生する頻度に近くなるように設定することが望ましい。例えば、使用量の変動が頻繁に発生する場合には、この所定時間は短いほうが望ましい。本実施形態では、この所定時間を３時間とする。

Ｓ１１にて、稼働状態予測部１８は、環境管理ＤＢ１４及びシステム管理ＤＢ１５に格納された情報に基づき、第１サーバ１０〜第３サーバ３０の夫々について、稼働状態の予測（シミュレーション）を行う。このシミュレーション処理の具体的内容については後述する。

Ｓ１２にて、稼働状態予測部１８は、Ｓ１１で予測を行った範囲内において、第１サーバ１０から第３サーバ３０のいずれかのサーバにおいて、物理資源の使用量が、サーバの物理資源の能力値を超えるか否かを判定する。いずれかのサーバにおいて、物理資源の使用量が、サーバの物理資源の能力値を超えるときには（Ｙｅｓ）、Ｓ１３に進み、サーバの物理資源の能力値を超えないときには（Ｎｏ）、処理を終了する。

Ｓ１３にて、稼働状態予測部１８は、Ｓ１１でシミュレーションを行った範囲内において、物理資源の使用量がサーバの物理資源の能力値を超えることが予測される直近の時間を特定（予測）する。

Ｓ１４にて、稼働状態予測部１８は、Ｓ１３にて特定した時刻を、記憶装置１１の再配置時刻１６に設定する。

なお、稼働状態予測処理は、所定時間毎のみならず、例えば、仮想システムの配置を編成し直したとき等にも実行するようにしてもよい。

図１０は、前述の稼働状態予測処理に含まれるシミュレーション処理を示す。

Ｓ２１にて、稼働状態予測部１８は、まず、初期設定データ１３の指標資源２２を参照し、稼働状態の判断の指標とする物理資源、すなわち、シミュレーションの対象とする物理資源を特定する。

Ｓ２２にて、稼働状態予測部１８は、環境管理ＤＢ１４の配置システム３４を参照し、第１サーバ１０〜第３サーバ３０で稼働している仮想システムを特定する。

Ｓ２３にて、稼働状態予測部１８は、システム管理ＤＢ１５のＣＰＵ使用量４２又はネットワーク使用量４３を参照し、シミュレーションの対象とする物理資源につき、システム管理ＤＢ１５に格納された、各仮想システムの所定時間（１５分）毎の使用量を特定する。

Ｓ２４にて、稼働状態予測部１８は、第１サーバ１０〜第３サーバ３０の夫々につき、所定時間（１５分）毎に、稼働する仮想システムの物理資源の使用量の合計を算出する。

なお、シミュレーションの対象期間は任意に定めることができる。この対象期間は、稼働情報収集処理においてシステム管理ＤＢ１５に格納するＣＰＵ使用量４２及びネットワーク使用量４３の格納期間と関連する。例えば、稼働状態の通常の変動サイクルが１日である場合には、１日分の物理資源の使用量をシステム管理ＤＢ１５に格納しておき、シミュレーション処理において、１日分のシミュレーションを実行すればよい。また、稼働状態予測部１８は、稼働状態予測処理を実行する間隔分だけシミュレーションをするようにしてもよい。すなわち、例えば稼働状態予測処理を３時間毎に実行する場合には、シミュレーション処理を３時間先までのみ実行するようにしてもよい。

ここで、図１１は、稼働状態予測処理のＳ１３において再配置時刻を特定する方法について図示している。例えば、前述のシミュレーション処理の結果、第１サーバ１０〜第３サーバ３０のＣＰＵ使用量の予測がそれぞれ図１１のグラフに示すような内容となった場合、第１サーバ１０のＣＰＵ使用量がＣＰＵ能力値を超えるタイミングが最も早い。このため、稼働状態予測部１８は、この時刻を、再配置時刻１６として設定する。

図１２は、再配置部１９が実行する仮想化システムの再配置処理を示す。この再配置処理は、稼働状態予測部１８により再配置時刻１６に設定された再配置時刻までに実行される。ここで、再配置時刻までとは、原則として再配置時刻より前であればよいが、再配置時刻に近い時間であり、かつ、再配置時刻において仮想システムの再配置が完了している時刻であることが望ましい。なお、このような時間を予め記憶手段に設定しておき、再配置時刻からこの所定時間だけ前の時刻に、再配置処理を実行するようにしてもよい。あるいは、そもそも再配置部１９が再配置時刻１６を設定するときに、サーバにおける物理資源の使用量が能力値を超えることが予測される時刻からかかる時間を差し引いた時刻を、設定するようにしてもよい。

Ｓ３１にて、再配置部１９は、システム管理ＤＢ１５に格納された、各仮想システムに対応するＣＰＵ使用量４２又はネットワーク使用量４３に基づいて、第１サーバ１０〜第３サーバ３０への仮想システムの配置組合せを決定する。このとき、再配置部１９は、指標資源２２に設定された物理資源の使用量に基づいて、仮想システムの配置組合せを決定する。ここで、再配置部１９は、仮想システムによる物理資源の使用量の合計が、環境管理ＤＢ１４に設定された各サーバの物理資源の能力値を超えないように、仮想システムの配置を決定する。

Ｓ３２にて、再配置部１９は、初期設定データ１３の自動実行２１を参照する。

Ｓ３３にて、再配置部１９は、初期設定データ１３の自動実行２１に自動が設定されているか否かを判定し、自動が設定されていない場合には（Ｎｏ）、Ｓ３５に進む一方、自動が設定されている場合には（Ｙｅｓ）、Ｓ３４に進む。

なお、Ｓ３２では、自動実行２１を参照する代わりに、決定した配置組合せで仮想システムを自動配置してよいか、又はユーザによる配置組合せの確認後に再配置を行うか、を入力させる選択画面を、ディスプレイ等の表示装置等に表示してもよい。そして、再配置部１９は、自動配置をしてよいか否かについてのユーザによる選択入力を受け付ける。そして、Ｓ３３にて、ユーザによって自動配置が選択されたか否かを判定してもよい。

Ｓ３４にて、再配置部１９は、決定した配置組合せを表示装置に表示し、当該配置組合せで再配置を実行するか否かについてのユーザによる選択入力を受け付ける。なお、再配置部１９は、決定した配置組合せを、他の方法（例えば帳票出力等）で出力してもよい。

Ｓ３５にて、再配置部１９は、ユーザによって再配置の実行が選択されたか否かを判定し、再配置の実行が選択された場合には（Ｙｅｓ）、Ｓ３６に進む一方、再配置の実行が選択されなかった場合には（Ｎｏ）、処理を終了する。

Ｓ３６にて、再配置部１９は、決定した配置組合せで、仮想システムを第１サーバ１０〜第３サーバ３０の夫々に再配置する。このとき、再配置部１９は、配置組合せを、環境管理ＤＢ１４の配置システム３４に反映させる。

ここで、上記Ｓ３１の配置組合せの方法の一例を示す。例えば、ＣＰＵ使用量に基づいて仮想システムの配置を決定する場合、まず、再配置部１９は、システム管理ＤＢ１５のＣＰＵ使用量４２を参照し、再配置時刻におけるＣＰＵ使用量４２で、仮想システムをソートする。一方で、再配置部１９は、環境管理ＤＢ１４のＣＰＵ能力値３２を参照し、第１サーバ１０〜第３サーバ３０を、ＣＰＵ能力値でソートする。さらに、再配置部１９は、仮想システムを、ソート結果の降順（すなわちＣＰＵ使用量が大きい順）で、ソート結果のサーバの降順（すなわちＣＰＵ能力値が大きい順）に配置していく。もし、仮想システムを配置した場合にサーバにおける仮想システムのＣＰＵ使用量の合計が当該サーバのＣＰＵ能力値を超えるときには、当該仮想システムを次のサーバに配置する。

なお、この再配置処理においては、そもそも、再配置処理自体を実行するか否かをユーザに選択させてもよい。そして、ユーザが再配置処理を実行することを選択したときにのみ、前述のＳ３１〜Ｓ３６の処理を実行するようにしてもよい。また、前述のＳ３２で自動配置が選択された場合にも、配置結果を表示装置等に表示するようにしてもよい。

ここで、前述の各処理につき、具体的なデータを示して説明する。

例えば、初期設定データ１３が図５に示す内容であって、環境管理ＤＢ１４が図６に示す状態であり、システム管理ＤＢ１５が図７に示す状態であるときに、稼働状態予測処理を実行するとする。この場合、指標資源２２が「０」すなわちＣＰＵ使用量である。そして、第１サーバ１０〜第３サーバ３０のいずれかのサーバにおいて、ＣＰＵ使用量が、サーバのＣＰＵ能力値３２を超える直近の時刻は、次のようになる。すなわち、環境管理ＤＢ１４の配置システム３４及びシステム管理ＤＢ１５のＣＰＵ使用量４２に基づけば、「0:45」に、第３サーバ３０において稼働しているＢシステムのＣＰＵ使用量が「45」となり、ＤシステムのＣＰＵ使用量が「29」になる。この２つのＣＰＵ使用量の合算値は「45+29=74」となり、環境管理ＤＢ１４に設定された第３サーバ３０のＣＰＵ能力値３２の「71」を超えている。このため、稼働状態予測部１８は、「0:45」を、再配置時刻１６に設定する。

そして、再配置部１９は、「0:45」になったときに、再配置処理を実行する。このとき、前述した具体例の方法により配置組合せを決定すると、次のようになる。

まず、システム管理ＤＢ１５のＣＰＵ使用量４２を参照し、再配置時刻である「0:45」におけるＣＰＵ使用量で、仮想システムを降順にソートすると、Ａシステム＝「60」、Ｂシステム＝「45」、Ｃシステム＝「45」、Ｄシステム＝「29」、Ｅシステム＝「19」となる。一方で、環境管理ＤＢ１４のＣＰＵ能力値３２を参照し、第１サーバ１０〜第３サーバ３０を、ＣＰＵ能力値３２で降順にソートすると、第１サーバ１０＝「96」、第３サーバ３０＝「71」、第２サーバ２０＝「51」となる。そして、各仮想システムを、Ａシステム、Ｂシステム、Ｃシステム、Ｄシステム、Ｅシステムの順に、第１サーバ１０、第３サーバ３０、第２サーバ２０に対して配置していく。かかる配置内容を示したのが図１３である。その結果、第１サーバ１０にはＡシステム及びＤシステム、第２サーバ２０にはＣシステム、第３サーバ３０にはＢシステム及びＥシステムが夫々配置される。

かかる管理装置１における処理によれば、システム管理ＤＢ１５に所定時間毎に格納された、過去の各仮想システムによる物理資源の使用量（すなわち使用実績）に基づいて、各サーバにおけるＣＰＵ使用量が予測される。そして、いずれかのサーバで直近にＣＰＵ使用量がＣＰＵ能力値を超える時刻までに、仮想システムの再配置が適切に行われる。このため、時間帯毎に稼働状態が異なる仮想システムが稼働する各サーバにおいて、仮想システムによる物理資源の使用量が各サーバの物理資源の能力値を超えることを、予め回避することができる。また、これにより時間帯に応じて各サーバの仮想システムが再配置されることとなるため、例えば、各仮想システムのピーク時の物理資源の使用量にあわせて物理資源を確保しておく必要もない。このため、システム全体のコストを削減することも可能となる。

なお、前述の実施形態では、各サーバの稼働状態を判断するための指標とする物理資源として、ＣＰＵ及びネットワークのみを例示したが、本明細書で説明する技術が対象とする物理資源はこれらに限らない。例えば、メモリ等の使用状態に基づいて、仮想システムの配置を変更するようにしてもよい。

また、仮想システムは、各サーバにおいて実行される情報処理の処理分担の一例に過ぎない。例えば、仮想化環境が構築されていない複数のサーバにおいて情報処理の負荷分散が行われるようなシステム形態でも、上記技術を適用することは可能である。但し、この場合、少なくとも、各サーバに分散された処理単位での物理資源の使用量を計測できることが前提となる。

図１４は、上述した管理装置１の実施形態が具現化された情報処理装置のハードウェア構成の一例を示す。本情報処理装置は、プロセッサ９０１、メモリ９０２、ストレージ９０３、可搬記憶媒体駆動装置９０４、入出力装置９０５及び通信インタフェース９０６を備える。

プロセッサ９０１は、制御ユニット、演算ユニット及び命令デコーダ等を含み、実行ユニットが、命令デコーダで解読されたプログラムの命令に従い、制御ユニットより出力される制御信号に応じ、演算ユニットを用いて算術・論理演算を実行する。かかるプロセッサ９０１は、制御に用いる各種情報が格納される制御レジスタ、既にアクセスしたメモリ２等の内容を一時的に格納可能なキャッシュ、及び、仮想記憶のページテーブルのキャッシュとしての機能を果たすＴＬＢ等を備える。なお、プロセッサ９０１は、ＣＰＵ（Central Processing Unit）コアが複数設けられている構成でもよい。

メモリ９０２は、例えばＲＡＭ（Random Access Memory）等の記憶装置であり、プロセッサ９０１で実行されるプログラムがロードされるとともに、プロセッサ９０１の処理に用いるデータが格納されるメインメモリである。また、ストレージ９０３は、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置であり、プログラムや各種データが格納される。可搬記憶媒体駆動装置９０４は、可搬記憶媒体９０７に記憶されたデータやプログラムを読み出す装置である。可搬記憶媒体９０７は、例えば磁気ディスク、光ディスク、光磁気ディスク又はフラッシュメモリ等である。なお、プロセッサ９０１は、メモリ９０２やストレージ９０３と協働しつつ、ストレージ９０３や可搬記憶媒体９０７に格納されたプログラムを実行する。なお、プロセッサ９０１が実行するプログラムや、アクセス対象となるデータは、当該情報処理装置と通信可能な他の装置に格納されていてもよい。

入出力装置９０５は例えばキーボード等やディスプレイ等であり、ユーザ操作等による動作命令を受け付ける一方、情報処理装置による処理結果を出力する。通信インタフェース９０６は例えばＬＡＮ（Local Area Network）カード等であり、外部とのデータ通信を可能にする。上述した情報処理装置の各構成要素は、バス９０８で接続されている。

なお、上述した実施形態において、記憶装置に格納されたデータは、管理装置１とは異なる他の装置に含まれる記憶装置に含まれていてもよい。この場合、管理装置１と当該他の装置とが通信可能にネットワーク接続され、管理装置１は、ネットワークを介して当該他の装置の記憶装置にアクセスすることとなる。

また、上述した情報処理装置の機能的構成及び物理的構成は、上述の態様に限るものではなく、例えば、各機能や物理資源を統合して実装したり、逆に、さらに分散して実装したりすることも可能である。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）情報処理を分担して実行する複数の情報処理装置の稼働状態を管理する管理装置であって、
前記複数の情報処理装置の夫々における物理資源の使用量を示す情報を含んだ稼働情報を所定時間毎に収集し、該稼働情報を、収集時刻と対応付けて記憶装置に格納する稼働情報収集部と、
記憶装置に予め格納された各情報処理装置の物理資源の能力値を示す環境情報、及び、前記稼働情報収集部により記憶装置に格納された各情報処理装置の前記稼働情報を参照し、前記複数の情報処理装置のうち少なくとも１つの情報処理装置における物理資源の使用量が、該情報処理装置の物理資源の能力値を超える直近の時刻を予測する稼働状態予測部と、
前記稼働状態予測部により予測された時刻までに、前記複数の情報処理装置の夫々における物理資源の使用量が該情報処理装置の物理資源の能力値を超えないように情報処理の分担の配置組合せを決定し、前記複数の情報処理装置に対して情報処理の分担の再配置を実行する再配置部と、
を備えたシステム管理装置。

（付記２）前記複数の情報処理装置は、夫々において1つ以上の仮想システムが稼働する情報処理装置であり、
前記環境情報は、前記複数の情報処理装置の夫々で稼働する仮想システムを示す情報を含み、
前記稼働情報は、前記複数の情報処理装置の夫々で稼働する仮想システム毎の物理資源の使用量を示し、
前記稼働状態予測部は、前記複数の情報処理装置の夫々で稼働する仮想システム毎の物理資源の使用量を情報処理装置毎に合算し、前記複数の情報処理装置のうち少なくとも１つの情報処理装置における前記合算値が、該情報処理装置の物理資源の能力値を超える直近の時刻を予測し、
前記再配置部は、前記複数の情報処理装置で稼働する仮想システムの配置組合せを決定し、前記複数の情報処理装置における仮想システムの再配置を実行する付記１記載のシステム管理装置。

（付記３）前記再配置部は、各情報処理装置の物理資源の能力値の高い順から、前記仮想システムの夫々を、前記再配置時刻における物理資源の使用量の高い順で配置していき、仮想システムを配置した場合に情報処理装置における物理資源の使用量の合計が該情報処理装置の物理資源の能力値を超えるときには、該仮想システムを次の順の情報処理装置に配置する付記２記載のシステム管理装置。

（付記４）前記稼働情報収集部は、前記収集時刻における物理資源の使用量の平均値を、該収集時刻に対応付けて記憶装置に格納する付記１〜３のいずれか１つに記載のシステム管理装置。

（付記５）前記物理資源の能力値は、該物理資源が正常に動作することが可能な限界値よりも低い値である付記１〜４のいずれか１つに記載のシステム管理装置。

（付記６）前記再配置部は、前記配置組合せを出力し、該配置組合せで再配置を実行する指示の入力を受け付けたときにのみ、前記複数の情報処理装置における処理分担の再配置を実行する付記１〜５のいずれか１つに記載のシステム管理装置。

（付記７）前記稼働情報収集部は、記憶装置に予め設定された、情報処理装置の稼働状態を特定する指標とする物理資源が指定された指標資源情報を参照し、当該指標資源情報で指定された物理資源の使用量を示す稼働情報を、各情報処理装置から収集する付記１〜６のいずれか１つに記載のシステム管理装置。

（付記８）情報処理を分担して実行する複数の情報処理装置の稼働状態を管理するシステム管理装置が、
前記複数の情報処理装置の夫々における物理資源の使用量を示す稼働情報を所定時間毎に収集し、該稼働情報を、収集時刻と対応付けて記憶装置に格納し、
記憶装置に予め格納された各情報処理装置の物理資源の能力値を示す環境情報、及び、前記稼働情報収集部により記憶装置に格納された各情報処理装置の前記稼働情報を参照し、前記複数の情報処理装置のうち少なくとも１つの情報処理装置における物理資源の使用量が、該情報処理装置の物理資源の能力値を超える直近の時刻を予測し、
前記稼働状態予測部により予測された時刻までに、前記複数の情報処理装置の夫々における物理資源の使用量が該情報処理装置の物理資源の能力値を超えないように処理分担の配置組合せを決定し、前記複数の情報処理装置に対して情報処理の分担の再配置を実行する
手順をコンピュータが実行するシステム管理方法。

（付記９）情報処理を分担して実行する複数の情報処理装置の稼働状態を管理するシステム管理装置に、
前記複数の情報処理装置の夫々における物理資源の使用量を示す稼働情報を所定時間毎に収集し、該稼働情報を、収集時刻と対応付けて記憶装置に格納し、
記憶装置に予め格納された各情報処理装置の物理資源の能力値を示す環境情報、及び、前記稼働情報収集部により記憶装置に格納された各情報処理装置の前記稼働情報を参照し、前記複数の情報処理装置のうち少なくとも１つの情報処理装置における物理資源の使用量が、該情報処理装置の物理資源の能力値を超える直近の時刻を予測し、
前記稼働状態予測部により予測された時刻までに、前記複数の情報処理装置の夫々における物理資源の使用量が該情報処理装置の物理資源の能力値を超えないように処理分担の配置組合せを決定し、前記複数の情報処理装置に対して情報処理の分担の再配置を実行する
処理を実行させるシステム管理プログラム。

１…管理装置、１０…第１サーバ、２０…第２サーバ、３０…第３サーバ、１１…記憶装置、１２…制御部、１３…初期設定データ、１４…環境管理ＤＢ、１５…システム管理ＤＢ、１６…再配置時刻、１７…稼働情報収集部、１８…稼働状態予測部、１９…再配置部

Claims (5)

1. 情報処理を分担して実行する、１つ以上の仮想システムが夫々において稼働する複数の情報処理装置の稼働状態を管理するシステム管理装置であって、
   前記複数の情報処理装置の夫々における仮想システム毎の物理資源の使用量を示す情報を含んだ稼働情報を所定時間毎に収集し、該稼働情報を、収集時刻と対応付けて記憶装置に格納する稼働情報収集部と、
   記憶装置に予め格納された各情報処理装置の前記物理資源の能力値を示す環境情報、及び、前記稼働情報収集部により記憶装置に格納された各情報処理装置の前記稼働情報を参照し、前記複数の情報処理装置の夫々で稼働する仮想システム毎の前記物理資源の使用量を情報処理装置毎に合算し、前記複数の情報処理装置のうち少なくとも１つの情報処理装置における前記合算値が該情報処理装置の前記物理資源の能力値を超える直近の時刻を予測する稼働状態予測部と、
   前記稼働状態予測部により予測された前記直近の時刻までに、前記複数の情報処理装置の夫々における前記物理資源の使用量が該情報処理装置の前記物理資源の能力値を超えないように前記複数の情報処理装置で稼働する仮想システムの配置組合せを決定し、前記複数の情報処理装置に対して仮想システムの再配置を実行する再配置部と
   を備え、
   前記再配置部は、各情報処理装置の前記物理資源の能力値の高い順から、仮想システムの夫々を、予測された前記直近の時刻における前記物理資源の使用量の高い順で配置していき、仮想システムを配置した場合に情報処理装置における前記物理資源の使用量の合計が該情報処理装置の前記物理資源の能力値を超えるときには、該仮想システムを次の順の情報処理装置に配置する、システム管理装置。
2. 前記環境情報は、前記複数の情報処理装置の夫々で稼働する仮想システムを示す情報を含む、請求項１記載のシステム管理装置。
3. 前記再配置部は、前記配置組合せを出力し、該配置組合せで再配置を実行する指示の入力を受け付けたときにのみ、前記複数の情報処理装置における仮想システムの再配置を実行する請求項１〜３のいずれか１つに記載のシステム管理装置。
4. 情報処理を分担して実行する、１つ以上の仮想システムが夫々において稼働する複数の情報処理装置の稼働状態を管理するシステム管理装置が、
   前記複数の情報処理装置の夫々における仮想システム毎の物理資源の使用量を示す情報を含んだ稼働情報を所定時間毎に収集し、該稼働情報を、収集時刻と対応付けて記憶装置に格納し、
   記憶装置に予め格納された各情報処理装置の前記物理資源の能力値を示す環境情報、及び、記憶装置に格納された各情報処理装置の前記稼働情報を参照し、前記複数の情報処理装置の夫々で稼働する仮想システム毎の前記物理資源の使用量を情報処理装置毎に合算し、前記複数の情報処理装置のうち少なくとも１つの情報処理装置における前記合算値が該情報処理装置の前記物理資源の能力値を超える直近の時刻を予測し、
   予測された前記直近の時刻までに、前記複数の情報処理装置の夫々における前記物理資源の使用量が該情報処理装置の前記物理資源の能力値を超えないように前記複数の情報処理装置で稼働する仮想システムの配置組合せを決定し、前記複数の情報処理装置に対して仮想システムの再配置を実行する
   手順を実行し、
   前記再配置を実行する手順は、各情報処理装置の前記物理資源の能力値の高い順から、仮想システムの夫々を、予測された前記直近の時刻における前記物理資源の使用量の高い順で配置していき、仮想システムを配置した場合に情報処理装置における前記物理資源の使用量の合計が該情報処理装置の前記物理資源の能力値を超えるときには、該仮想システムを次の順の情報処理装置に配置する、システム管理方法。
5. 情報処理を分担して実行する、１つ以上の仮想システムが夫々において稼働する複数の情報処理装置の稼働状態を管理するシステム管理装置に、
   前記複数の情報処理装置の夫々における仮想システム毎の物理資源の使用量を示す稼働情報を所定時間毎に収集し、該稼働情報を、収集時刻と対応付けて記憶装置に格納し、
   記憶装置に予め格納された各情報処理装置の前記物理資源の能力値を示す環境情報、及び、記憶装置に格納された各情報処理装置の前記稼働情報を参照し、前記複数の情報処理装置の夫々で稼働する仮想システム毎の前記物理資源の使用量を情報処理装置毎に合算し、前記複数の情報処理装置のうち少なくとも１つの情報処理装置における前記合算値が該情報処理装置の前記物理資源の能力値を超える直近の時刻を予測し、
   予測された前記直近の時刻までに、前記複数の情報処理装置の夫々における前記物理資源の使用量が該情報処理装置の前記物理資源の能力値を超えないように前記複数の情報処理装置で稼働する仮想システムの配置組合せを決定し、前記複数の情報処理装置に対して仮想システムの再配置を実行する
   処理を実行させ、
   前記再配置を実行する処理は、各情報処理装置の前記物理資源の能力値の高い順から、仮想システムの夫々を、予測された前記直近の時刻における前記物理資源の使用量の高い順で配置していき、仮想システムを配置した場合に情報処理装置における前記物理資源の使用量の合計が該情報処理装置の前記物理資源の能力値を超えるときには、該仮想システムを次の順の情報処理装置に配置する、システム管理プログラム。