JPWO2007108062A1

JPWO2007108062A1 - サーバ管理方法、プログラム及び装置

Info

Publication number: JPWO2007108062A1
Application number: JP2008506078A
Authority: JP
Inventors: 清志 ▲高▼下
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2006-03-17
Filing date: 2006-03-17
Publication date: 2009-07-30
Also published as: WO2007108062A1

Abstract

サーバ管理装置は、仮想サーバに設けられたジョブ制御部を管理するジョブ管理部と、仮想サーバを構築する実サーバの仮想サーバ制御部を管理する計算機管理部とを備える。ジョブ管理部は、ジョブの依頼を受付け、キューからジョブを取出し、計算機管理部に依頼して決定した仮想サーバのジョブ制御部にジョブの実行を依頼する。計算機管理部はジョブ管理部から問合せを受けた際に、ジョブ依頼先の実サーバと仮想サーバを検索して応答する。凍結処理部は、仮想サーバの凍結依頼を受けた際に、依頼先の仮想サーバが実行状態にあることを判別して、仮想サーバを構築する実サーバの仮想サーバ制御部に凍結指示を送信し、ジョブ実行中の仮想サーバを凍結させる。再開処理部は、再開依頼を受けた際に、依頼先の仮想サーバが凍結状態にあることを判別して、仮想サーバを構築する実サーバの仮想サーバ制御部に再開指示を送信し、凍結中の仮想サーバにジョブの実行を再開させる。

Description

本発明は、実サーバ上に構築される仮想サーバを管理するサーバ管理方法、プログラム及び装置に関し、特に、コンピューティンググリッド環境における各種シミュレーション計算等のジョブを複数の仮想サーバに分散して実行する際の仮想サーバの停止と再開を制御するサーバ管理方法、プログラム及び装置に関する。

従来、地球環境や気象環境等の各種のシミュレーション計算は、非常に長時間を要し、計算ジョブが長時間計算機資源を使用した状態が継続され、膨大な計算機資源を必要とするため、近年、コンピューティンググリッド環境における各種シミュレーション計算システムが構築されている。

コンピューティンググリッド環境によるシミュレーション計算システムは、計算ジョブを最適な計算機資源に割り当て、分散された計算機資源を効率的に利用する。またコンピューティンググリッド環境の場合、計算機資源はシミュレーション計算ジョブのための占有リソースでない場合があり、他の利用目的で計算機資源が利用される場合があり、計算機資源の貸し借りが必要となる。

長時間の実行を要するシミュレーション計算ジョブが計算機資源を利用している場合、他の目的で同じ計算機資源を利用できない。また、他の目的で利用することが判っている計算機資源をシミュレーション計算ジョブで利用することもできない。

このためコンピューティンググリッド環境に割り当てた計算機資源であっても、オフィス業務など他の目的で利用中の計算機資源は除外し、空き計算機資源でシミュレーション計算ジョブを実行させる。しかし、シミュレーション計算ジョブが長時間にわたり計算機資源を占有した場合、他の業務でその計算機資源を使いたくても使えないなどの問題が発生する。

この問題を解決する一般的な方法として、ジョブのチェックポイント・リスタート機能がある。チェックポイント・リスタート機能は、ジョブを司るジョブ管理制御装置と計算アプリケーションが連携し、アプリケーションにおける計算処理がどこまで進んでいるかを定期的に保存し、一時的に計算ジョブを停止させ、他の目的で計算機資源を利用できるようする。

このため、長時間を要するシミュレーション計算ジョブを、チェックポイント・リスタート機能によるジョブ実行と停止を繰り返して少ない空き計算機資源を積み重ねることで、他の業務に影響を与えることなくシミュレーション計算ジョブを継続することができる。
特開２００５−２０８９１９号公報特開２００５−１９６５６１号公報

しかしながら、このような従来のチェックポイント・リスタート機能を利用した計算機資源の利用方法にあっては、シミュレーション計算ジョブとして動作するアプリケーションにおいて、チェックポイント・リスタートのための制御処理が必須であり、アプリケーションの開発コストが膨らむという問題がある。

また、市販ソフトウェアなどチェックポイント・リスタート機能を保持しないアプリケーションによりシミュレーション計算ジョブを実行する場合、一時的にシミュレーション計算ジョブを停止させることが困難である。

また、他の目的で計算機資源を利用する際に、サーバ自身を別のＯＳなどで再起動するような運用を行いたい場合、チェックポイント・リスタート機能は利用できない。この理由は、チェックポイント・リスタート機能では、チェックポイントを採るためには、アプリケーション側にチェックポイントを採るためのロジックが必須である。また、チェックポイントによる情報が保存された資源はジョブ単位で管理され、ジョブ管理制御装置の配下で管理される。

このため、サーバ自身を停止させて別のＯＳで計算機資源を利用する場合は、ジョブ管理制御装置が停止してしまうため、シミュレーション計算ジョブを一時的に凍結しても、その後再開することは困難である。

本発明は、実サーバ上に構築される仮想サーバに計算ジョブを実行させ、アプリケーションやＯＳに依存することなく、ジョブの停止と再開を任意のタイミングで可能とするサーバ管理方法、プログラム及び装置を提供することを目的とする。

本発明はサーバ管理方法を提供する。本発明は、実サーバ上に構築された仮想サーバを管理するサーバ管理方法に於いて、
ジョブの依頼を受付けてキューに格納するジョブ受付ステップと、
キューからジョブを取出し、サーバ管理情報に基づいて決定した実サーバ上に構築された仮想サーバのジョブ制御部にジョブの実行を依頼するジョブ実行依頼ステップと、
凍結依頼を受けた際に、仮想サーバが稼動状態にあることを判別して、実サーバの仮想サーバ制御部に凍結指示を送信し、稼動中の仮想サーバを凍結させる凍結ステップと、
再開依頼を受けた際に、仮想サーバが凍結状態にあることを判別して、仮想サーバ制御部に再開指示を送信し、凍結中の仮想サーバを稼動してジョブの実行を再開させる再開ステップと、
仮想サーバのジョブ終了を認識した際に、仮想サーバのジョブ制御部に依頼して終了したジョブを回収するジョブ回収ステップと、
を備えたことを特徴とする。

ここで、サーバ管理情報は、
ジョブを実行するサーバ名又はネットワークアドレス、実サーバか仮想サーバかの種別、各サーバの稼動、停止又は凍結の状態及び各サーバの実行ジョブ数を含む分散制御情報と、
実サーバと仮想サーバの対応関係、仮想サーバの稼動、停止又は凍結の状態及び仮想サーバ毎の実行中のジョブ一覧を含む仮想サーバ管理情報と、
を備える。

ジョブ実行依頼ステップは、制御情報を参照して稼動状態にある複数の仮想サーバの中から実行ジョブ数が最小の仮想サーバを検索し、検索した仮想サーバを構築している実サーバを仮想サーバ管理情報から検索し、検索した実サーバと仮想サーバに基づいてジョブの実行を依頼する。

凍結ステップ及び再開ステップは、仮想サーバ管理情報から仮想サーバの状態と仮想サーバを構築している実サーバを検索して凍結指示又は再開指示を行う。

ジョブ実行依頼ステップは、実サーバ上に構築されている仮想サーバとの通信途絶による異常を検出した際に、サーバ管理情報を参照してサーバの凍結状態を認識した場合は正常と判断して異常検出を破棄する。

ジョブ受付ステップは、コンピューティンググリッド環境によるジョブを受付けて複数の仮想サーバにジョブ実行を依頼させる。

（プログラム）
本発明はサーバ管理プログラムを提供する。本発明のサーバ管理プログラムは、実サーバ上に構築された仮想サーバを管理するサーバ管理装置のコンピュータに、
ジョブの依頼を受付けてキューに格納するジョブ受付ステップと、
キューからジョブを取出し、サーバ管理情報に基づいて決定した実サーバ上に構築された仮想サーバのジョブ制御部にジョブの実行を依頼するジョブ実行依頼ステップと、
凍結依頼を受けた際に、仮想サーバが稼動状態にあることを判別して、実サーバの仮想サーバ制御部に凍結指示を送信し、稼動中の仮想サーバを凍結させる凍結ステップと、
再開依頼を受けた際に、仮想サーバが凍結状態にあることを判別して、想サーバ制御部に再開指示を送信し、凍結中の仮想サーバを稼動してジョブの実行を再開させる再開ステップと、
仮想サーバのジョブ終了を認識した際に、仮想サーバのジョブ制御部に依頼して終了したジョブを回収するジョブ回収ステップと、
を実行させることを特徴とする。

（装置）
本発明は、サーバ管理装置を提供する。本発明は、実サーバ上に構築された仮想サーバを管理するサーバ管理装置に於いて、
仮想サーバに設けられたジョブ制御部を管理するジョブ管理部と、
仮想サーバを構築する物理サーバの仮想サーバ制御部を管理する計算機管理部と、
を備え、
ジョブ管理部は、
ジョブの依頼を受付けてキューに格納するジョブ受付部と、
キューからジョブを取出し、計算機管理部に依頼して決定した仮想サーバのジョブ制御部にジョブの実行を依頼するジョブ実行依頼部と、
仮想サーバのジョブ終了を認識した際に、仮想サーバのジョブ制御部に依頼して終了したジョブを回収するジョブ回収部と、
を備え、
計算機管理部は、
ジョブ管理部から問合せを受けた際に、ジョブ依頼先の実サーバと仮想サーバを検索して応答する依頼先検索部と、
凍結依頼を受けた際に、仮想サーバが実行状態にあることを判別して、実サーバの仮想サーバ制御部に凍結指示を送信し、ジョブ実行中の前記仮想サーバを凍結させる凍結部と、
再開依頼を受けた際に、仮想サーバが凍結状態にあることを判別して、実サーバの仮想サーバ制御部に再開指示を送信し、凍結中の仮想サーバにジョブの実行を再開させる再開処理部と、
を備えたことを特徴とする。

本発明によければ、例えば昼間は事務処理等の業務で利用している計算機資源を夜間のみコンピューティンググリッド環境によるシミュレーション計算ジョブが利用可能な場合、時間内に仮想サーバで計算ジョブが完了しない場合は、一時的に仮想サーバを凍結してジョブを中断して計算機資源を開放し、再度計算機資源が利用可能となった場合に仮想サーバに再開を指示してジョブを再開することができ、サーバ仮想化基盤の導入コストだけで、連続して計算機の空き時間を有効に利用して長時間を要するシミュレーション計算を実行することができる。

また仮想サーバを凍結することで計算機資源を開放するため、シミュレーション計算ジョブとして動作しているアプリケーション側において、従来のようなチェックポイント・リスタート機能を実装する必要がなく、アプリケーションの開発コスト、保守コストを大幅に削減することができる。

また、チェックポイント・リスタート機能を実装していない市販のアプリケーションなど、どのようなアプリケーションでも仮想サーバ上で計算ジョブを実行することで、任意のタイミングで一時凍結し、また任意のタイミングで再開することができる。

本発明が適用されるコンピューティンググリッド環境の説明図本実施形態における管理サーバと実サーバ上に構築される仮想サーバを示した機能構成のブロック図本実施形態における仮想サーバの論理アーキテクチャの説明図図２の分散制御テーブルの説明図図２の仮想サーバ管理テーブルの説明図本実施形態における仮想サーバの凍結と再開の処理機能の説明図本実施形態の管理サーバが適用されるコンピュータのハードウェア環境の説明図本実施形態のサーバ管理処理のタイムチャート図８に続く本実施形態のサーバ管理処理のタイムチャート図２の管理サーバにおけるジョブ管理処理のフローチャート図１０のステップ６の非同期ジョブ終了待合せ処理のフローチャート図２の管理サーバにおける計算機管理処理のフローチャート図２の仮想サーバにおけるジョブ制御処理のフローチャート図１２のステップ４における非同期ジョブ終了待ち合せ処理のフローチャート図２の実サーバにおける仮想サーバ制御処理のフローチャート

図１は本発明が適用されるコンピューティンググリッド環境の説明図である。図１において、本実施形態の管理サーバ１０はネットワーク１２に接続され、ネットワーク１２にはシミュレーション計算ジョブなどを依頼する計算機群１４として、本実施形態にあっては実サーバ１６−１〜１６−３９を接続している。

管理サーバ１０に対しては、オペレータ１８−１の操作でシミュレーション計算ジョブのジョブ投入２０が行われ、管理サーバ１０による管理の下に、計算機群１４に含まれる実サーバ１６−１〜１６−３９のいずれかにジョブを依頼して実行させる。

また管理サーバ１０に対しては、実行中のジョブに対し仮想サーバに対する凍結・再開指示２２をオペレータ１８−２から行うことができる。この凍結・再開指示２２は、管理サーバ１０に対し設けている外部スケジューラ２４から行うこともできる。

外部スケジューラ２４にはスケジュールリスト２６のように凍結時刻と再開時刻が設定されており、凍結時刻への到達で凍結指示を管理サーバ１０に送り、再開時刻への到達で再開指示を管理サーバ１０に送る。

図２は本実施形態における管理サーバと実サーバ上に構築される仮想サーバを示した機能構成のブロック図である。図２において、本実施形態にあっては、説明を簡単にするため、管理サーバ１０に対し１台の実サーバ１６を配置した場合を例にとっている。

管理サーバ１０には、ジョブ管理部２８、計算機管理部３０、分散制御テーブル３２、仮想サーバ管理テーブル３４が設けられる。一方、実サーバ１６には仮想サーバ３６と仮想サーバ制御部３８が設けられ、仮想サーバ３６の中にはジョブ制御部４０と計算ジョブ４２が設けられることになる。

ここで、管理サーバ１０及び実サーバ１６におけるそれぞれの機能は、コンピュータによるプログラムの実行により実現される機能である。

管理サーバ１０のジョブ管理部２８には、ジョブ受付部２８−１、ジョブ実行依頼部２８−２、ジョブ回収部２８−３が設けられる。ジョブ受付部２８−１は、図１に示したようなオペレータ１８−２もしくは外部スケジューラ２４からのジョブ投入２０によるジョブの依頼を受けて、内蔵したキューに格納する。ジョブ実行依頼部２８−２は、キューからジョブを取り出し、計算機管理部３０に依頼して決定した仮想サーバ３６のジョブ制御部４０にジョブの実行を依頼する。

ジョブ回収部２８−１は、仮想サーバ３６のジョブ終了を認識した際に、ジョブ制御部４０に依頼して終了したジョブを回収する。

計算機管理部３０には、依頼先検索部３０−１、凍結処理部３０−２及び再開処理部３０−３が設けられている。依頼先検索部３０−１は、ジョブ管理部２８からの問合せを受けた際に、ジョブ依頼先となる実サーバ１６と仮想サーバ３６を検索して応答する。

図２にあっては実サーバ１６は１台で、且つ実サーバ１６上に構築された仮想サーバ３６も１台であるが、実際には図１のように管理サーバ１０の依頼先となる実サーバは計算機群１４に示すように複数であり、また実サーバ１６上に構築される仮想サーバ３６の数も複数台構築される場合がある。

凍結処理部３０−２は、外部から仮想サーバ３６の凍結依頼２２を受けた際に、依頼先の仮想サーバ３６が計算ジョブ４２の実行状態にあることを判別して、仮想サーバ３６を構築する実サーバ１６の仮想サーバ制御部３８に凍結指示を送信し、計算ジョブ４２によるジョブ実行中の仮想サーバ３６を凍結させる。

再開処理部３０−３は、外部から仮想サーバの再開依頼を受けた際に、依頼先の仮想サーバ３６が凍結状態にあることを判別して、仮想サーバ３６を構築する実サーバ１６の仮想サーバ制御部３８に再開指示を送信し、凍結中の仮想サーバ３６に計算ジョブ４２の実行を再開させる。

実サーバ１６に構築された仮想サーバ３６のジョブ制御部４０は、管理サーバ１０のジョブ管理部２８からジョブ実行依頼を受け付け、アプリケーションにより計算ジョブ４２を実行し、計算ジョブ４２が終了すると実行終了をジョブ管理部２８に通知する。これを受けてジョブ管理部２８は、終了したジョブの回収を依頼し、依頼を受けてジョブ制御部４０は、終了したジョブを編集する。

管理サーバ３６が構築された実サーバ１６に設けた仮想サーバ制御部３８は、管理サーバ１０の計算機管理部３０からの操作依頼を受けて仮想サーバ３６を制御する。この操作依頼として本発明にあっては、計算機管理部３０は凍結指示または再開指示を発行することから、凍結指示を受け付けたときには仮想サーバ３６を凍結し、その後、仮想サーバ３６の凍結中に再開指示を受け付けると、凍結している仮想サーバ３６を復元して計算ジョブ４２を実行させる。

更に、本実施形態において、管理サーバ１０の計算機管理部３０の指示で実サーバ１６の仮想サーバ３６が凍結された場合、管理サーバ１０に設けているジョブ管理部２８と仮想サーバ３６の通信が途絶することになるが、ジョブ管理部２８で通信途絶による仮想サーバ３６の異常を検出した際には、仮想サーバ管理テーブル３４を参照すれば、異常を起こしている仮想サーバにつき「凍結」の状態を知ることができる。

このためジョブ管理部２８は、仮想サーバ３６との通信途絶による異常を検出しても、これは異常ではなく仮想サーバが凍結状態にあるものと判断し、異常と判断した場合に、ジョブを異常終了するか、別の計算機に異常終了したジョブの再実行を依頼するなどの不必要な処理を回避することができる。

図３は本実施形態における仮想サーバの論理アーキテクチャの説明図である。図３において、実サーバに相当する計算機４４上にはハードウエア４６が構築され、ハードウエア４６を基板としてウィンドウズ（Ｒ）などのＯＳ４８が動作する。ＯＳ４８上には仮想プラットフォーム５０が構築され、この仮想プラットフォーム５０上で例えば仮想ＯＳ５２−１，５２−２が動作し、それぞれ個別にアプリケーションを実行することができる。

このような仮想プラットフォーム５０及び仮想ＯＳ５２−１，５２−２としては、例えばＶＭウエア（Ｒ）やマイクロソフト（Ｒ）・バーチャルサーバ２００５などのサーバ仮想化製品を実装することができる。

図４は図２の管理サーバ１０に設けた分散制御テーブル３２の説明図である。分散制御テーブル３２は、計算機名５４、計算機種別５６、状態５８、ジョブ多重度６０及びジョブ数６２を登録している。計算機名５４としては、ジョブを実行する計算機のホスト名またはＩＰアドレスを登録する。

計算機種別５６は実サーバまたは仮想サーバである。状態５８は実サーバまたは仮想サーバの状態であり、この状態は、実サーバの場合には「稼動」又は「停止」の２つの状態があり、仮想サーバにあっては「稼動」、「停止」又は「凍結」の３つの状態がある。

分散制御テーブル３２における実サーバ及び仮想サーバの状態５８は、各計算機のハートビートに基づいて状態を監視している。即ち状態「稼動」とは、計算機のハートビートにより正常に稼動していることが確認できた状態である。また状態「停止」は、計算機のハートビートに失敗し、稼動していると確認できない状態である。更に本実施形態の仮想サーバに固有な状態である「凍結」は、仮想サーバが凍結指示を受けて凍結された状態である。

なお、ハートビート(heart beat)とは、 HYPERLINK "http://e-words.jp/w/E3838DE38383E38388E383AFE383BCE382AF.html" ネットワーク上で、 HYPERLINK "http://e-words.jp/w/E382B3E383B3E38394E383A5E383BCE382BF.html" コンピュータやネットワーク機器が自身が正常に稼動していることを一定時間ごとに外部に知らせるために信号やパケットを送ることである。

分散制御テーブル３２のジョブ多重度６０は、各計算機に依頼可能なジョブ数の上限値である。更にジョブ数６２は各計算機で現在処理中のジョブ数であり、状態が「凍結」の計算機の場合は凍結状態のジョブ数を示している。

この分散制御テーブル３２は、図２のジョブ管理部２８に外部からジョブの依頼を受けた際に、計算機管理部３０の依頼先検索部３０−１により参照され、状態５８が「稼動」となっている計算機を依頼先候補として選択し、複数候補が選択された場合には例えば最小ジョブ数となる計算機を依頼先として決定する。もちろん、この場合、状態が「停止」または「凍結」となっている計算機は依頼先から除外されることになる。

図５は図２の管理サーバ１０に設けた仮想サーバ管理テーブル３４の説明図である。仮想サーバ管理テーブル３４は、実サーバ名６４、仮想サーバ名６６、各仮想サーバの状態６８、及び各仮想サーバのジョブ一覧７０で構成されている。実サーバ名６４は実計算機のホスト名またはＩＰアドレスである。仮想サーバ名６６は実サーバ上で起動されて稼動している仮想サーバのホスト名またはＩＰアドレスである。

ここで、実サーバ名６４と仮想サーバ名６６から、実サーバと仮想サーバの対応関係が分かる。例えば実サーバ名６４として、実サーバ「ｒ＿ｈｏｓｔ０１」上にはサーバ名「ｖ＿ｈｏｓｔ０１」及び「ｖ＿ｈｏｓｔ０２」を持つ２台の仮想サーバが構築されている。

状態４８は各仮想サーバの状態であり、「稼動」、「停止」又は「凍結」のいずれかであり、それぞれ図４の分散制御テーブル３２の状態と同じ内容である。ジョブ一覧７０には、各仮想サーバに実行を依頼中のジョブ番号の一覧が登録されている。

図６は本実施形態における仮想サーバの凍結と再開の処理機能の説明図である。図６において、実サーバ１６にはハードウエアとして物理ボリューム７２及び各種デバイス７４が設けられており、物理ボリューム７２に格納しているＯＳを実行することで仮想プラットフォーム５０が構築され、仮想プラットフォーム５０上で仮想サーバ３６が動作している。

この仮想サーバ３６には、実サーバ１６の計算機資源を使用して、仮想メモリ７６、仮想ボリューム７８及び仮想デバイス８０が構成され、これら仮想計算機資源を使用して、図３に示したように、１または複数の仮想ＯＳ５２−１，５２−２が実行され、これらのＯＳ上でアプリケーションとしての計算ジョブが実行される。

仮想サーバ３６によるジョブ実行中に、図２に示した管理サーバ１０の計算機管理部３０より凍結指示８２が仮想プラットフォーム５０に与えられると、仮想プラットフォーム５０は仮想サーバ３６全体を凍結処理８６に示すように物理ボリューム７２にｖｍｘｆファイル９０として保存され、実行中のジョブを停止した凍結状態とする。

凍結状態で仮想プラットフォーム５０に対し図２の管理サーバ１０の計算機管理部３０より再開指示８４が与えられると、仮想プラットフォーム５０は、物理ボリューム７２に退避しているｖｍｘｆファイル９０を再開処理８８に示すように読み出して管理サーバ３６を再構築し、凍結したジョブの実行を再開する。

仮想プラットフォーム５０に対する凍結指示８２及び再開指示８４は、図２の計算機管理部３０から発行されるコマンドであり、凍結指示８２は例えばコマンド「ｖｍｒｕｎｓｕｓｐｅｎｄファイル名」となり、また再開指示８４はコマンド「ｖｍｒｕｎｓｔａｒｔファイル名」となる。

即ち凍結コマンドは、仮想サーバ３６の全情報を物理ボリューム７２のｖｍｘｆファイルという専用の制御ファイルに保存する命令となる。また再開コマンドは、コマンドで指定された制御ファイル例えばｖｍｘｆファイル９０に保存されている情報を元に、仮想サーバ３６の状態を復元する命令となる。

図７は本実施形態の管理サーバが適用されるコンピュータのハードウエア環境の説明図である。図７において、ＣＰＵ９２のバス９４には、ＲＡＭ９６、ＲＯＭ９８、ハードディスクドライブ１００、キーボード１０４，マウス１０６及びディスプレイ１０８を接続するデバイスインタフェース１０２、及びネットワークアダプタ１１０が接続されている。

ハードディスクドライブ１００には本実施形態のサーバ管理プログラムが格納されており、コンピュータ起動によるブート後のＯＳのＲＡＭ９６への読出展開による実行に続いて、サーバ管理プログラムがＲＡＭ９６に読み出され、ＣＰＵ９２により実行される。

図８及び図９は本実施形態のサーバ管理処理のタイムチャートである。図８において、管理サーバ１０のジョブ管理部２８にあっては、ステップＳ１で外部からのジョブ依頼１１２を受け付けると、受付けたジョブをキューに格納するキューイングを行う。

続いてステップＳ２でキューから受け付けたジョブを取り出し、ステップＳ３で実行を依頼する計算機を計算機管理部３０に問い合わせて決定する。計算機管理部３０は、ジョブ管理部２８からの問合せを受けると、ステップＳ１０１で図４の分散制御テーブル３２を参照し、状態５８が「稼動」となっている計算機を依頼先候補として検索し、複数候補が検索された場合にはジョブ数６２が最小となる計算機を依頼先として応答する。

この場合に依頼先として仮想サーバが検索された場合には、図５の仮想サーバ管理テーブル３４を参照し、依頼先に決定された仮想サーバを構築している実サーバ名を取得して応答する。したがってジョブ管理部２８にあっては、計算機管理部３０に対する問合せで、もし仮想サーバを依頼先として決定した場合には、仮想サーバ及び仮想サーバを構築している実サーバを依頼先として決定することになる。

続いてステップＳ４で、決定したサーバにジョブを依頼する。この例では、依頼先として仮想サーバ３６を構築している実サーバ１６の例えばＩＰアドレスなどの指定でジョブを依頼し、ジョブ依頼に仮想サーバ３６のＩＰアドレスを含めておくことで、仮想サーバ３６のジョブ制御部４０に対しジョブを依頼することができる。仮想サーバ３６のジョブ制御部４０は、管理サーバ１０のジョブ管理部２８からのジョブの依頼を受け付けて、計算機ジョブにステップＳ４０１のようにジョブを実行させる。

このような仮想サーバ３６におけるジョブ実行中に管理サーバ１０の計算機管理部３０に対し外部から凍結依頼１１４が行われると、ステップＳ１０２で仮想サーバの凍結依頼を受け付け、ステップＳ１０３で仮想サーバ３６を管理する実サーバ１６を図５の仮想サーバ管理テーブル３４から検索し、ステップＳ１０４で検索した実サーバ１６の仮想サーバ制御部３８に対し凍結を指示する。

これを受けて実サーバ１６の仮想サーバ制御部３８は、ステップＳ２０１で計算機管理部３０からの凍結指示を受け、仮想サーバ３６にステップＳ３０２で凍結操作を行って凍結させる。仮想サーバの凍結により凍結完了通知がステップＳ３０３で仮想サーバ制御部３８に応答されると、ステップＳ２０２で凍結完了応答を管理サーバ１０の計算機管理部３０に対し行う。

これを受けて計算機管理部３０は、ステップＳ１０６で図４の分散制御テーブル３２及び図５の仮想サーバ管理テーブル３４における対応する仮想サーバの状態を、それまでの「稼動」から「凍結」に変更する。

なお、図８のステップＳ３０２，Ｓ３０３の処理は、ジョブ制御部４０の処理として説明の都合上示しているが、実際には仮想サーバ３６の凍結制御と凍結完了通知となる。

続いて図９において、外部から管理サーバ１０の計算機管理部３０に対し再開依頼１１６が行われると、これをステップＳ１０６で受け付け、ステップＳ１０７で図５の仮想サーバ管理部３４の参照により仮想サーバ３６を管理する実サーバ１６を検索し、ステップＳ１０８で実サーバ１６の仮想サーバ制御部３８に再開指示のコマンドを送る。

仮想サーバ制御部３８はステップＳ２０３で再開指示を受けて仮想サーバ３６はステップＳ３０４で再開制御を行い、これによって計算ジョブ４２がステップＳ１０３のように稼動状態となってジョブ実行が再開される。

仮想サーバの再開制御が完了すると、ステップＳ３０５で再開完了通知が仮想サーバ制御部３８に送られ、ステップＳ２０４で再開完了応答を管理サーバ１０の計算機管理部３０に送る。これを受けて計算機管理部３０は、ステップＳ１０９で仮想サーバ３６の状態を「稼動」に変更する。

更に仮想サーバ３６で実行している計算ジョブが終了すると、ジョブ制御部４０はステップＳ３０６で、終了通知を管理サーバ１０の計算機管理部３０を経由してジョブ管理部２８に通知する。このジョブ終了通知を認識したジョブ管理部２８は、ステップＳ５で仮想サーバ３６のジョブ制御部４０にジョブ回収を依頼し、これを受けてジョブ制御部４０は、ステップＳ３０７でジョブを回収して応答し、ジョブ管理部２８はステップＳ６で、回収したジョブをファイルに保存する。

図１０は図２の管理サーバ１０に設けたジョブ管理部２８によるジョブ管理処理のフローチャートである。図１０において、ジョブ管理処理は、ステップＳ１で外部からのジョブ依頼を受け付けると、ステップＳ２で受け付けたジョブをキューにキューイングした後、ステップＳ３でジョブをキューから取り出し、ステップＳ４で計算機管理部３０に問い合わせて実行を依頼するサーバを決定する。この場合、依頼先が仮想サーバであった場合には、仮想サーバを構築している実サーバも決定される。

ステップＳ４で仮想サーバが決定されたとすると、次にステップＳ５で決定した仮想サーバ３６のジョブ制御部４０にジョブを依頼し、これによって計算ジョブ４２によるジョブの実行が開始される。

続いてステップＳ６で非同期ジョブ終了待ち合せ処理を実行している。この非同期ジョブ終了待ち合せ処理は、図１１に取り出して示すように、シグナルハンドラとしてのサブルーチンにより実行されている。非同期ジョブ終了待ち合せ処理は、ステップＳ１でジョブ終了通知の受信の有無をチェックしており、もしジョブ終了通知を受信すると、ステップＳ２でジョブ管理部２８におけるジョブ状態を「実行終了」に設定した後、ステップＳ３で実行終了を図１０のジョブ管理処理のメインルーチンに返信する。

再び図１０を参照するに、ステップＳ６の非同期ジョブ終了待ち合せ処理に続いて、ステップＳ７でジョブは終了状態か否かチェックしており、ジョブ実行中にあっては終了状態でないことから、ステップＳ８に進み、依頼先の仮想サーバは凍結状態か否かチェックする。もし依頼先の仮想サーバが凍結状態であった場合には、ステップＳ９で依頼先の仮想サーバ３６のジョブ制御部４０に状態を確認し、ステップＳ１０で一定時間例えば２分の待ち合せを行った後、ステップＳ６で非同期ジョブ終了待ち合せ処理に戻る。

このような仮想サーバにおけるジョブ実行状態でジョブが終了し、ステップＳ７でジョブ終了状態を判別するとステップＳ１１に進み、依頼した仮想サーバ３６のジョブ制御部４０にジョブの回収を依頼し、ステップＳ１２でジョブを回収してファイルに保存する。

図１２は図２の管理サーバ１０に設けた計算機管理部３０における計算機処理のフローチャートである。図１２において、計算機管理処理は、ステップＳ１で外部からの仮想サーバの操作依頼を受け付けると、ステップＳ２で操作依頼が凍結依頼か否かチェックする。

凍結依頼であった場合にはステップＳ３に進み、依頼先の管理サーバ３６が稼動中か否かチェックし、稼動中であった場合にはステップＳ４に進み、図５の仮想サーバ管理テーブル３４から依頼先の仮想サーバを管理する実サーバを検索する。

次にステップＳ５で、検索した実サーバ１６の仮想サーバ制御部３８に凍結をコマンド送信により指示して仮想サーバ３６を凍結させる。次にステップＳ６で、図４の分散制御テーブル３２及び図５の仮想サーバ管理テーブル３４における依頼先の仮想サーバの状態を「凍結」に変更する。なおステップＳ３で凍結依頼を受けたにも関わらず仮想サーバが稼動中でなかった場合には、ステップＳ７で操作不可エラーメッセージを出力して処理を終了する。

一方、ステップＳ１で受け付けた仮想サーバの操作命令が再開依頼であった場合には、ステップＳ２からステップＳ８に進み、仮想サーバ３６が凍結中か否かチェックし、凍結中であれば、ステップＳ９で仮想サーバ３６を管理する実サーバ１６を検索し、ステップＳ１０で実サーバ１６の仮想サーバ制御部３８に再開を指示するコマンドを送って、凍結状態にある仮想サーバ３６を復元して稼動状態とする。これにより一旦凍結された計算ジョブ４２の実行が再開される。

次にステップＳ１１で、図４の分散制御テーブル３２及び図５の仮想サーバ管理テーブル３４の状態を「稼動」に変更する。なおステップＳ８で再開依頼を受けたにも関わらず仮想サーバが凍結中でなかった場合には、ステップＳ１２で操作不可エラーメッセージを出力して処理を終了する。

図１３は図２の実サーバ１６上に構築される仮想サーバ３６のジョブ制御部４０によるジョブ制御処理のフローチャートである。図１３のジョブ制御処理にあっては、ステップＳ１で管理サーバ１０のジョブ管理部２８からジョブの実行依頼を受け付け、計算ジョブ４２をステップＳ２で起動し、ステップＳ３でジョブ状態を稼動中に設定する。

続いてステップＳ４で非同期ジョブ終了待ち合せ処理を実行する。この非同期ジョブ終了待ち合せ処理は、図１４に示すように、ステップＳ１でジョブプロセス終了検知の有無をチェックし、終了を検知すると、ステップＳ２でジョブ状態を「実行終了」に設定し、ステップＳ３で図１３のジョブ制御処理のメインルーチンに実行終了を返信する。

続いて図１３のステップＳ５で管理サーバ１０のジョブ管理部２８から状態の問合せがあるか否かチェックし、状態問合せがあった場合には、ステップＳ６でジョブ状態は稼動中か否かチェックし、稼動中であれば、ステップＳ７でジョブ実行中を返信する。一方、ステップＳ６でジョブ状態が「停止」であった場合には、ステップＳ８で実行終了を管理サーバ１０のジョブ管理部２８に返信する。

図１５は図２の実サーバ１６に設けた仮想サーバ制御部３８による仮想サーバ制御処理のフローチャートである。図１５において、仮想サーバ制御処理にあっては、ステップＳ１で管理サーバ１０の計算機管理部３０から仮想サーバ３６の操作依頼を受け付け、ステップＳ２で操作依頼が凍結依頼であることを判別すると、ステップＳ３で仮想サーバ３６にコマンドにより凍結を依頼し、仮想サーバ３６を凍結する。

一方、ステップＳ１で受け付けた操作依頼が仮想サーバの再開依頼であった場合には、ステップＳ２からステップＳ４に進み、仮想サーバ３６にコマンドによって再開を依頼し、凍結中の仮想サーバ３６を復元して稼動することで、凍結中のジョブの実行を再開する。

ステップＳ３またはステップＳ４の処理が済むと、ステップＳ５で処理結果を管理サーバ１０の計算機管理部３０に返信し、分散制御テーブル３２及び仮想サーバ管理テーブル３４における状態を「凍結」または「再開」に変更させる。

また本実施形態は図２の管理サーバ１０で実行されるサーバ管理プログラムを提供するものであり、このサーバ管理プログラムは図１２〜図１５のフローチャートに示した内容を持つことになる。

また本実施形態は、管理サーバ１０を構成するコンピュータで可読なサーバ管理プログラムを格納した記憶媒体を提供する。この記憶媒体は、ＣＤ−ＲＯＭ、フロッピィ（Ｒ）ディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの可搬型記憶媒体や、コンピュータシステムの内外に備えられたハードディスクドライブなどの記憶装置の他、回線を介してプログラムを保持するデータベース、あるいは他のコンピュータシステム並びにそのデータベースや、更に回線上の伝送媒体を含むものである。

なお上記の実施形態はコンピューティンググリッド環境の仮想サーバに対するサーバ管理を例に取るものであったが、これ以外の適宜の仮想サーバを使用したコンピュータシステムにつき、そのまま適用することができる。

また本発明は、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態で示した数値による限定は受けない。

Claims

実サーバ上に構築された仮想サーバを管理するサーバ管理方法に於いて、
ジョブの依頼を受付けてキューに格納するジョブ受付ステップと、
前記キューからジョブを取出し、サーバ管理情報に基づいて決定した実サーバ上に構築された仮想サーバのジョブ制御部にジョブの実行を依頼するジョブ実行依頼ステップと、
凍結依頼を受けた際に、前記仮想サーバが稼動状態にあることを判別して前記実サーバの仮想サーバ制御部に凍結指示を送信し、稼動中の前記仮想サーバを凍結させる凍結ステップと、
再開依頼を受けた際に、前記仮想サーバが凍結状態にあることを判別して前記実サーバの仮想サーバ制御部に再開指示を送信し、凍結中の前記仮想サーバを稼動してジョブの実行を再開させる再開ステップと、
前記仮想サーバのジョブ終了を認識した際に、前記仮想サーバのジョブ制御部に依頼して終了したジョブを回収するジョブ回収ステップと、
を備えたことを特徴とするサーバ管理方法。
請求項１記載のサーバ管理方法に於いて、前記サーバ管理情報は、
ジョブを実行するサーバ名又はネットワークアドレス、実サーバか仮想サーバかの種別、各サーバの稼動、停止又は凍結の状態及び各サーバの実行ジョブ数を含む分散制御情報と、
実サーバと仮想サーバの対応関係、前記仮想サーバの稼動、停止又は凍結の状態及び前記仮想サーバ毎の実行中のジョブ一覧を含む仮想サーバ管理情報と、
を備えたことを特徴とするサーバ管理方法。
請求項２記載のサーバ管理方法に於いて、前記ジョブ実行依頼ステップは、前記分散制御情報を参照して稼動状態にある複数の仮想サーバの中から実行ジョブ数が最小の仮想サーバを検索し、検索した仮想サーバを構築している実サーバを前記仮想サーバ管理情報から検索し、検索した実サーバと仮想サーバに基づいてジョブの実行を依頼することを特徴とするサーバ管理方法。
請求項２記載のサーバ管理方法に於いて、前記計算機管理部の凍結ステップ及び再開ステップは、前記仮想サーバ管理情報から仮想サーバの状態と仮想サーバを構築している実サーバを検索して凍結指示又は再開指示を行うことを特徴とするサーバ管理方法。
請求項１記載のサーバ管理方法に於いて、前記ジョブ実行依頼ステップは、前記実サーバ上に構築されている仮想サーバとの通信途絶による異常を検出した際に、前記サーバ管理情報を参照して前記サーバの凍結状態を認識した場合は正常と判断して前記異常検出を破棄することを特徴とするサーバ管理方法。
請求項１記載のサーバ管理方法に於いて、前記ジョブ受付ステップは、コンピューティンググリッド環境によるジョブを受付けて複数の仮想サーバにジョブの実行を依頼させることを特徴とするサーバ管理方法。
実サーバ上に構築された仮想サーバを管理するサーバ管理装置のコンピュータに、
ジョブの依頼を受付けてキューに格納するジョブ受付ステップと、
前記キューからジョブを取出し、サーバ管理情報に基づいて決定した実サーバ上に構築された仮想サーバのジョブ制御部にジョブの実行を依頼するジョブ実行依頼ステップと、
凍結依頼を受けた際に、前記仮想サーバが稼動状態にあることを判別して、前記実サーバの仮想サーバ制御部に凍結指示を送信し、稼動中の前記仮想サーバを凍結させる凍結ステップと、
再開依頼を受けた際に、前記仮想サーバが凍結状態にあることを判別して前記実サーバの仮想サーバ制御部に再開指示を送信し、凍結中の前記仮想サーバを稼動してジョブの実行を再開させる再開ステップと、
前記仮想サーバのジョブ終了を認識した際に、前記仮想サーバのジョブ制御部に依頼して終了したジョブを回収するジョブ回収ステップと、
を実行させることを特徴とするサーバ管理プログラム。
請求項７記載のサーバ管理プログラムに於いて、前記サーバ管理情報は、
ジョブを実行するサーバ名又はネットワークアドレス、実サーバか仮想サーバかの種別、各サーバの稼動、停止又は凍結の状態及び各サーバの実行ジョブ数を含む分散制御情報と、
実サーバと仮想サーバの対応関係、前記仮想サーバの稼動、停止又は凍結の状態及び前記仮想サーバ毎の実行中のジョブ一覧を含む仮想サーバ管理情報と、
を備えたことを特徴とするサーバ管理プログラム。
請求項８記載のサーバ管理プログラムに於いて、前記ジョブ実行依頼ステップは、前記分散制御情報を参照して稼動状態にある複数の仮想サーバの中から実行ジョブ数が最小の仮想サーバを検索し、検索した仮想サーバを構築している実サーバを前記仮想サーバ管理情報から検索し、検索した実サーバと仮想サーバに基づいてジョブの実行を依頼することを特徴とするサーバ管理プログラム。
請求項８記載のサーバ管理プログラムに於いて、前記計算機管理部の凍結ステップ及び再開ステップは、前記仮想サーバ管理情報から仮想サーバの状態と仮想サーバを構築している実サーバを検索して凍結指示又は再開指示を行うことを特徴とするサーバ管理プログラム。
請求項７記載のサーバ管理プログラムに於いて、前記ジョブ実行依頼ステップは、前記実サーバ上に構築されている仮想サーバとの通信途絶による異常を検出した際に、前記サーバ管理情報を参照して前記サーバの凍結状態を認識した場合は正常と判断して前記異常検出を破棄することを特徴とするサーバ管理プログラム。
請求項７記載のサーバ管理プログラムに於いて、前記ジョブ受付ステップは、コンピューティンググリッド環境によるジョブを受付けて複数の仮想サーバにジョブの実行を依頼させることを特徴とするサーバ管理方法。
実サーバ上に構築された仮想サーバを管理するサーバ管理装置に於いて、
前記仮想サーバに設けられたジョブ制御部を管理するジョブ管理部と、
前記仮想サーバを構築する実サーバの仮想サーバ制御部を管理する計算機管理部と、
を備え、
前記ジョブ管理部は、
ジョブの依頼を受付けてキューに格納するジョブ受付部と、
前記キューからジョブを取出し、前記計算機管理部に依頼して決定した仮想サーバのジョブ制御部にジョブの実行を依頼するジョブ実行依頼部と、
前記仮想サーバのジョブ終了を認識した際に、前記仮想サーバのジョブ制御部に依頼して終了したジョブを回収するジョブ回収部と、
を備え、
前記計算機管理部は、
前記ジョブ管理部から問合せを受けた際に、ジョブ依頼先の実サーバと仮想サーバを検索して応答する依頼先検索部と、
凍結依頼を受けた際に、前記仮想サーバが実行状態にあることを判別して、前記実サーバの仮想サーバ制御部に凍結指示を送信し、ジョブ実行中の前記仮想サーバを凍結させる凍結処理部と、
再開依頼を受けた際に、前記仮想サーバが凍結状態にあることを判別して、前記実サーバの仮想サーバ制御部に再開指示を送信し、凍結中の前記仮想サーバにジョブの実行を再開させる再開処理部と、
を備えたことを特徴とするサーバ管理装置。
請求項１３記載のサーバ管理装置に於いて、前記サーバ管理情報は、
ジョブを実行するサーバ名又はネットワークアドレス、実サーバか仮想サーバかの種別、各サーバの稼動、停止又は凍結の状態及び各サーバの実行ジョブ数を含む分散制御情報と、
実サーバと仮想サーバの対応関係、前記仮想サーバの稼動、停止又は凍結の状態及び前記仮想サーバ毎の実行中のジョブ一覧を含む仮想サーバ管理情報と、
を備えたことを特徴とするサーバ管理装置。
請求項１４記載のサーバ管理装置に於いて、前記計算機管理部の前記依頼先検索部は、前記ジョブ管理部から問合せを受けた際に、前記分散制御情報から稼動状態にある複数の仮想サーバの中から実行ジョブ数が最小の仮想サーバを検索し、検索した仮想サーバを構築している実サーバを前記仮想サーバ管理情報から検索し、検索した実サーバと仮想サーバの情報を応答することを特徴とするサーバ管理装置。
請求項１４記載のサーバ管理装置に於いて、前記計算機管理部の凍結処理部及び再開処理部は、前記仮想サーバ管理情報から仮想サーバの状態と仮想サーバを構築している実サーバを検索して凍結指示又は再開指示を行うことを特徴とするサーバ管理装置。
請求項１３記載のサーバ管理装置に於いて、前記ジョブ管理部は、前記実サーバ上に構築されている仮想サーバとの通信途絶による異常を検出した際に、前記サーバ管理情報を参照して前記サーバの凍結状態を認識した場合は正常と判断して前記異常検出を破棄することを特徴とするサーバ管理装置。
請求項１３記載のサーバ管理装置に於いて、前記ジョブ管理部は、コンピューティンググリッド環境によるジョブを受付けて複数の仮想サーバにジョブ実行を依頼することを特徴とするサーバ管理装置。