JPWO2014118961A1 - 仮想計算機管理プログラム，仮想計算機管理方法及び仮想計算機システム - Google Patents

Abstract

物理計算機にかかわらずある属性の仮想計算機をその属性に対する時刻補正情報で自動的に起動させる。複数の物理計算機上のいずれかで動作する仮想計算機を管理する仮想計算機管理処理をコンピュータに実行させる仮想計算機管理プログラムであって，仮想計算機管理処理は，物理計算機に生成される仮想計算機を起動する場合，仮想計算機の属性に対応する時刻補正情報を有する時刻補正登録情報から，起動対象の仮想計算機の属性に対応する時刻補正情報を抽出する抽出工程と，起動対象の仮想計算機を生成する物理計算機に，抽出した時刻補正情報で仮想計算機を起動させる起動コマンドを送信する起動工程とを有する。

Description

本発明は，仮想計算機管理プログラム，仮想計算機管理方法及び仮想計算機システムに関する。

クラウドサービスは，データセンタ内の複数の物理マシン（または物理サーバ，物理計算機）や物理ストレージなどのハードウエア群を，クラウド利用者とのサービス契約に基づいて仮想化し，その仮想マシン（または仮想計算機）や仮想ストレージ等のインフラをネットワーク経由のサービスとしてクラウド利用者に提供する。

このようなクラウドサービスでは，物理マシン上で動作するハイパバイザ（または仮想化ソフトウエア）が物理マシンのハードウエアリソースを複数の仮想マシンに割り当てて動作させ，各仮想マシンにインストールされたアプリケーションプログラムによるサービスの提供を可能にする。したがって，データセンタに設けられた複数の物理マシンには，それぞれ，それぞれのハイパバイザにより複数の仮想マシンが割り当てられることで生成（または配備）され，その仮想マシンを起動することで，仮想マシンが動作状態になる。

物理マシン上で動作するハイパバイザには，それぞれ標準の（またはデフォルトの）設定情報，例えば標準時刻情報が設定されている。そのため，新たに仮想マシンを物理マシン上に生成し起動すると，仮想マシンは，その標準設定情報である時刻情報で起動される。

特開平１１−０１５５５８号公報

一方で，グローバルに複数の地域でシステムを運用しているクラウド利用者は，地域ごとの物理マシンの差異やクラウドサービス提供地域のタイムゾーンにとらわれずに，クラウド利用者のシステムの都合で柔軟に時刻設定をすることが求められている。

たとえば，異なるタイムゾーンのクラウドサービスセンタ内の物理マシン上にそれぞれ生成・起動した複数の仮想マシンに，同じ時刻設定を行う場合がある。または，あるタイムゾーンのクラウドサービスセンタ内の物理マシン上に生成・起動済みの仮想マシンによるシステムにおいて，過負荷状態解消などの理由で，異なるタイムゾーンの物理マシン上に仮想マシンを追加し，既存のシステムの設定時刻と同じ時刻設定を行わなければならない場合がある。

しかしながら，上記の場合，前述したとおり，新たに仮想マシンを物理マシン上に生成・起動すると，ハイパバイザの標準時刻情報で起動されてしまう。そのため，クラウド利用者は，起動後に，仮想マシン毎にハイパバイザに所望の時刻補正情報の設定を手動にて行わなければならない。

さらに，例えばシステム，ネットワークセグメント，ＳＬＢ（Server Level Balancer）などの同じ属性の仮想マシンには，同じタイムゾーンの時刻設定をすることが必要な場合がある。その場合に，オートスケールによる新規の仮想マシンの生成・起動が発生すると，既存の仮想マシンのタイムゾーンとは異なるタイムゾーンの物理マシン上に新規の仮想マシンが生成された場合，前述のとおり，手動で仮想マシンの属性に応じた時刻補正情報の設定が必要になる。

また，新規の複数の仮想マシンがそれぞれ異なる標準時刻情報で起動された場合，起動工程中に何らかの不具合が発生した場合，各仮想マシンの動作履歴情報の時間情報が整合していないので，不具合解析に支障を来す。

そこで，一つの実施の形態の目的は，物理計算機に生成する仮想計算機に所望の時刻補正情報設定を行うことができる仮想計算機管理プログラム，仮想計算機管理方法及び仮想計算機システムを提供することにある。

実施の形態の一つの側面によれば，複数の物理計算機上のいずれかで動作する仮想計算機を管理する仮想計算機管理処理をコンピュータに実行させる仮想計算機管理プログラムであって，
前記仮想計算機管理処理は，
前記物理計算機に生成される仮想計算機を起動する場合，仮想計算機の属性に対応する時刻補正情報を有する時刻補正登録情報から，前記起動対象の仮想計算機の属性に対応する時刻補正情報を抽出する抽出工程と，
前記起動対象の仮想計算機を生成する物理計算機に，前記抽出した時刻補正情報で仮想計算機を起動させる起動コマンドを送信する起動工程とを有する。

実施の形態によれば，異なるハイパバイザに共通の管理サーバが時刻補正情報を登録しているので，その時刻補正情報で新規の仮想計算機を自動的に起動することができる。

物理マシンとハイパバイザと仮想マシンの一例を示す図である。 システム単位で同じ時刻補正を行う例を示す図である。 サーバロードバランサのリクエスト振り分け先仮想マシン群で同じ時刻補正を行う例を示す図である。 同じネットワークセグメント内で同じ時刻補正を行う例を示す図である。 本実施の形態におけるクラウドシステムの全体構成を示す図である。 ハイパバイザが有する機能の一例を示す図である。 管理サーバの構成例を示す図である。 管理コンソールでの時刻補正設定画面の一例を示す図である。 本実施の形態において，管理サーバが制御する対象のシステムの具体例を示す図である。 管理サーバ３の管理情報テーブル３２２内の時刻補正情報テーブルの例を示す図である。 管理サーバ３の管理情報テーブル３２２内のシステム（VSYS)情報テーブル，仮想マシン情報テーブル，SLB情報テーブルの例を示す図である。 仮想マシンの生成手順を示すフローチャート図である。 仮想マシンの起動手順を示すフローチャート図である。 クラウドサービス利用者が端末から手動で新たなシステムを構成する仮想マシンを生成し起動する場合（上記（１）の場合）の仮想マシンの生成手順と起動手順を示すフローチャート図である。 クラウドサービス利用者が端末から手動で既存システムに更に追加的に仮想マシンを生成し起動する場合（上記（２）の場合）の仮想マシンの生成手順と起動手順を示すフローチャート図である。 SLBなどからのオートスケールコマンドにより追加の仮想マシンを生成し起動する場合（上記（３）の場合）の仮想マシンの生成手順と起動手順を示すフローチャート図である。 第１の例であるシステム一括設定されている場合の仮想マシンの生成と起動処理を示す図である。 図１７の仮想マシンの生成と起動処理において参照される管理情報テーブルを示す図である。 第２の例であるネットワークセグメントで一括設定されている場合の仮想マシンの生成と起動処理を示す図である。 図１９の仮想マシンの生成と起動処理において参照される管理情報テーブルを示す図である。 第３の例であるSLB単位で一括設定されている場合の仮想マシンの生成と起動処理を示す図である。 図２１の仮想マシンの生成と起動処理において参照される管理情報テーブルを示す図である。 登録した時刻補正情報により同じ属性に属する仮想マシンが起動された例を示す図である。 本実施の形態における管理サーバの場合のマイグレーションを説明する図である。 マイグレーションの処理を示すフローチャート図である。

［物理マシンとハイパバイザと仮想マシン］
図１は，物理マシンとハイパバイザと仮想マシンの一例を示す図である。物理マシンPMは，単数若しくは複数のCPUと，メモリと，入出力装置I/Oとを有する。また，物理マシンPMは，ハードディスクHDDと接続されている。ハードディスクHDDは，物理マシンPM内に内蔵されてもよくまたは外付けでもよい。

ハイパバイザHV（仮想化ソフトウエア）は，複数のCPUとメモリとI/O等の物理マシンPMのリソースを仮想化して割り当てることにより，物理マシン上で複数の仮想マシンVMを動作させる。したがって，生成できる仮想マシンVMの数は物理マシンPMの数やCPUの数に依存しない。

ハイパバイザHVは，新規の仮想マシンVMを生成するとき，生成する仮想マシンVMの情報（例えばCPUのクロック周波数，メモリの容量（GB），ハードディスクの容量（MB/sec，IOPS），及びネットワークの帯域幅（Gbps）など）を，ハイパバイザHVのVM情報ファイルに保存する。このVM情報ファイルは，ハードディスクHDDに記憶される。

ハイパバイザHVは，仮想マシンVMを生成した後，起動する時に，ハイパバイザHVが有している標準の設定情報で仮想マシンVMを起動する。そして，仮想マシンVMは，それぞれにインストールされたOSとアプリケーションプログラムを実行することにより，所望の機能を実現する。仮想マシン起動後に，ハイパバイザHVに対して仮想マシンの設定情報を変更すると，ハイパバイザHVは，変更された設定情報をハードディスクHDD内のハイパバイザのVM情報ファイルに記憶し，シャットダウン後の再起動時は，その記憶された変更設定情報で仮想マシンVMを起動する。この設定情報は，例えば時刻設定情報などである。

このことは，ウインドウズOS（ウインドウズは登録商標）の物理マシンにおいても同様である。すなわち，物理マシンを最初に起動するとBIOSの標準時刻情報で起動される。そして，起動後に，OS上で標準時刻情報を補正または変更すると，その時刻補正情報がBIOSに記憶される。そして，次回の起動時には，OSがBIOSの時刻補正情報を読み出してその補正時刻で起動するので，起動の度に時刻補正を行う必要はない。

［時刻補正設定の必要性］
しかしながら，単一のまたは複数の物理マシンに生成される複数の仮想マシンで仮想システムを構築する場合，システムの都合によりそれら複数の仮想マシンを同じ時刻に設定する必要がある場合がある。異なる物理マシンに生成される複数の仮想マシンは，最初の起動時に各物理マシンのハイパバイザの標準時刻情報で起動されるため，時刻情報が不統一になるまたは所望の時刻情報と異なってしまうという不都合が生じる。そのため，仮想マシンの起動後に，システム運用者が手動で複数の仮想マシンに対して同じ時刻に補正設定されるように時刻補正情報を各ハイパバイザに設定する必要がある。

図２は，システム単位で同じ時刻補正を行う例を示す図である。図２の（A）では，物理マシンPM1に２つの仮想マシンVM1,VM2が生成され起動されている。そして，これらの仮想マシンVM1,VM2によって所望のサービスを提供するシステムVSYSが構築される。

クラウドサービスを利用して仮想マシンVM1,VM2を生成する場合，各仮想マシンがどの物理マシンPMに生成されるかは，クラウドサービスセンタの都合により決定されるので，予想困難である。例えば，日本のクラウドサービスセンタ内の物理マシンに生成された仮想マシンを利用してイギリス向けシステムVSYSを構築する場合もあれば，ドイツのクラウドサービスセンタ内の物理マシンに生成された仮想マシンを利用して日本向けシステムVSYSを構築する場合もある。

図２の（A）の例では，物理マシンPM1に生成された仮想マシンVM1,VM2は，最初はハイパバイザの標準時刻設定によって起動されるが，起動後に，各仮想マシンVM1,VM2についてハイパバイザに時刻補正情報T1を設定して，ハイパバイザがハードディスクに格納する設定ファイルにその時刻補正情報T1が設定されている。図中，時刻補正情報T1がハイパバイザの設定ファイルに設定されていることを示している。この設定ファイルは，ハイパバイザの物理マシンPM1のディスク領域内のVM情報ファイルに格納されている。

そこで，図２の（B）の例に示されるように，システムVSYSへのアクセス数の増大などの理由により仮想マシンVM3-VM6を増加させる場合，新たな仮想マシンVM3,VM4は物理マシンPM1とは異なる物理マシンPM2に生成され起動され，新たな仮想マシンVM5,VM6は物理マシンPM1,PM2とも異なる物理マシンPM3に生成され起動されることがある。その場合，仮想マシンVM3,VM4は物理マシンPM2のハイパバイザの標準時刻設定情報TD2で起動され，仮想マシンVM5,VM6は物理マシンPM3のハイパバイザの標準時刻設定情報TD3で起動される。その結果，既存の仮想マシンVM1,VM2の時刻補正情報T1と，新たな仮想マシンVM3,VM4の標準時刻設定情報TD2と，新たな仮想マシンVM5,VM6の標準時刻設定情報TD3とが，不統一になる。もしくは，仮想マシンVM3-VM6の時刻設定が所望の時刻情報T1と異なることになる。

そのため，システムVSYSの運用者は，新たな仮想マシンVM3-VM6毎にハイパバイザに対して時刻補正情報T1に設定することが必要になる。このような設定は，通常，システムVSYSの運用者が手動で行うことになる。

図３は，サーバロードバランサの配下のリクエスト振り分け先仮想マシン群で同じ時刻補正を行う例を示す図である。図３の（A）では，物理マシンPM1に２つの仮想マシンVM1,VM2が生成・起動され，物理マシンPM2に１つの仮想マシンVM3が生成・起動され，物理マシンPM4にサーバロードバランサSLBの機能を有する仮想マシンVM6が生成・起動されている。また，サーバロードバランサSLB(VM6）がリクエストをSLB配下の２つの仮想マシンVM4,VM7にバランスよく振り分けている。このリクエストの振り分け先の仮想マシンVM4,VM7は物理マシンPM2,PM3にそれぞれ生成・起動されている。そして，これらの仮想マシンによって所望のサービスを提供するシステムVSYSが構築される。また，仮想マシンVM1-VM3,VM6のハイパバイザには時刻補正情報T1が設定され，SLBの振り分け先仮想マシンVM4,VM7のハイパバイザには時刻補正情報T2が設定されている。

図３の（A）は，例えば，システムVSYSがWebシステムを提供していて，リクエストを受け付けるHTTPサーバを構成する仮想マシンVM4,VM7だけが，Webサービスを提供している地域の時刻T2に補正設定されている例である。

そして，図３の（B）は，SLB（VM6)がリクエスト数の増大などの理由で，自動でスケールアウトして新たな仮想マシンVM5をリクエストの振り分け先仮想マシン群に追加する例である。この場合，新たな仮想マシンVM5が物理マシンPM3に生成され起動されると，物理マシンPM3のハイパバイザの標準時刻TD3で起動されてしまう。したがって，起動後に仮想マシンVM5のハイパバイザに時刻補正情報T2を手動で設定することが必要になり，SLBが仮想マシンVM5を自動的にスケールアウトする意味がなくなる。

図４は，同じネットワークセグメント内で同じ時刻補正を行う例を示す図である。図４の（A）では，４つの仮想マシンVM1-VM4が生成され起動されて，システムVSYSを構成している。たとえば，インターネットに公開するサーバとしてイギリス向けのHTTPサーバの機能を有する仮想マシンVM4にはイギリスの時刻補正T2がそのハイパバイザに対して設定され，日本でのバックオフィスのサーバの機能を有する仮想マシンVM1-VM3には日本の時刻補正T1がそれぞれのハイパバイザに対して設定される例である。インターネットに公開するHTTPサーバの仮想マシンVM4は，DMZ（DeMilitarized
Zone)などインターネットと内部ネットワークの中間に置かれるネットワークセグメント内に設けられ，一方バックオフィスのサーバの仮想マシンVM1-VM3は，セキュアなネットワークセグメント内に設けられる。このように，同じネットワークセグメント内では同じ時刻補正が行われ，異なるネットワークセグメント間では異なる時刻補正が行われる場合が想定される。

図４の（B）では，ネットワークセグメントNW-SEG内の仮想マシンVM4だけでは過負荷状態になり，新たな仮想マシンVM5,VM6,VM7が自動でスケールアウトされている。しかし，仮想マシンVM5,VM6は物理マシンPM3に生成され起動されてハイパバイザの標準時刻TD3で起動され，仮想マシンVM7は物理マシンPM4に生成され起動されてハイパバイザの標準時刻TD4で起動されている。

そのため，起動後に，仮想マシンVM5-VM7毎にハイパバイザに時刻補正情報T2を手動で設定する必要がある。

以上のように，複数の仮想マシンによってシステムを構築する場合，同一システム内の仮想マシンという属性や，同一ネットワークセグメント内の仮想マシンという属性や，SLBのリクエスト振り分け先仮想マシンという属性毎に，同じ時刻設定にする必要性が生じることがある。それ以外の属性の仮想マシンも同様に同じ時刻設定が必要になる場合がある。しかし，新たな仮想マシンが，単一のまたは異なる物理マシンのハイパバイザによって生成され起動されると，それぞれのハイパバイザの標準時刻設定情報によって起動されてしまい，起動後に同じ属性に属する複数の仮想マシンそれぞれのハイパバイザに同じ時刻補正情報を設定する必要が生じ，そのような時刻補正情報の設定は煩雑である。

そこで，本実施の形態では，仮想マシンの情報を管理するハイパバイザとは別の，仮想マシンを管理する管理サーバに，予め属性毎に時刻補正情報を登録してデータベース化しておく。そして，管理サーバが新たな仮想マシンを起動するとき，その登録された時刻補正情報を有する起動コマンドを起動する仮想マシンの物理マシンに送信して，その物理マシンのハイパバイザに，その標準時刻設定情報ではなく，起動コマンドが有する時刻補正情報で仮想マシンを起動させる。従って，単一のまたは異なる物理マシンに仮想マシンを生成し起動する場合，管理サーバに登録した時刻補正情報で仮想マシンを起動するので，仮想マシンの属性毎に所望の時刻補正情報に統一することができ，起動後に時刻補正の設定を手動で行う必要がない。以下，本実施の形態について説明する。

［本実施の形態におけるクラウドシステムの構成］
図５は，本実施の形態におけるクラウドシステムの全体構成を示す図である。データセンタ８内に，物理マシンPMなどのハードウエアに生成される仮想マシン群VM-Gと，クラウド利用者に管理コンソールを提供するクラウドサービスポータルサイト2Aと，管理サーバ３とが設けられている。そして，データセンタ８には，インターネットやイントラネット等のネットワーク７を介して，クラウド利用者端末１とクラウド利用者のサービスのクライアント端末６とが接続可能になっている。また，クラウドサービスポータルサイト2Aに加えて，クラウド利用者端末１から直接コマンド（一種のAPI)を管理サーバ３に送信するためのAPIエンドポイント2Bも設けられている。

仮想マシン群（または仮想計算機群）VM-Gは，複数の物理マシンPM（または物理サーバ，物理計算機）を有し，各物理マシンPMはCPUとメモリ（DRAM）とハードディスク（HDD）等の大容量メモリとネットワークとを有する。ハードウエアである物理マシンPMのリソースは，複数の仮想マシンVMに割り当てられる。クラウドサービスポータルサイト２や管理サーバ３は，例えば，これらの仮想マシンVMによって構築されても良い。

クラウドシステムによりクラウド利用者に提供されるクラウドサービスは，コンピュータシステムを構築し稼働させるための基盤，即ち，仮想マシンやネットワーク等のインフラストラクチャそのものを，ネットワーク７経由で提供するサービスである。

クラウド利用者は，その端末１からクラウドサービスポータルサイト２にアクセスして，管理コンソールで仮想マシンに必要な仕様，例えばCPUのクロック周波数，メモリの容量（GB），ハードディスクの容量（MB/sec，IOPS），及びネットワークの帯域幅（Gbps）を選択し，それらについてクラウド利用契約を締結する。また，クラウド利用者端末１は，クラウドサービスポータルサイト２にアクセスして，仮想マシンの稼働状況を監視したり，仮想マシンの動作を操作したりする。

管理サーバ３は，ハイパバイザ（仮想化ソフトウエア）HVと連携して，物理マシンPMなどを管理し，さらに，仮想マシンVMに物理マシンのハードウエアを割り当てて仮想マシンVMを生成し,管理する。そして，管理サーバ３は，時刻補正情報テーブル（または時刻補正登録情報）（TB)，システム（VSYS)情報テーブル（TB），VM情報テーブル（TB），SLB情報テーブル（TB）を含む管理情報テーブル３２２を有する。この管理情報テーブル３２２は，時刻補正情報を保管するので時刻補正情報テーブルでもある。

管理サーバ３は，新たに仮想マシンやシステムを生成する場合に，この管理情報テーブル３２２に登録する。また，管理サーバ３は，クラウド利用者から仮想マシンの時刻補正情報を設定する要求に応答して，その時刻補正情報を時刻補正情報テーブルTBに登録し，システム（VSYS)情報テーブルTB，VM情報テーブルTB，SLB情報テーブルTBに反映させる。

ハイパバイザHVは，物理マシン上で動作し，管理サーバ３からの指示に応じて，ハードウエアの物理マシンPMのCPU，メモリ，ハードディスク，ネットワークを割り当てて仮想マシンを動作させる基盤ソフトウエアである。

仮想マシンVMは，上記のハードウエアである物理マシンPMが割り当てられることに加えて，OS，ミドルウエアMW，アプリケーションAP，データベースDBなどを有するイメージファイルをそのハードディスク内に有し，例えば，起動時にイメージファイルをハードディスクからメモリに書き込み，所望のサービスを提供する動作を行う。

クライアント端末６は，クラウド利用者によって運営されるシステムのサービスの提供を受けるクライアントの端末である。クライアント端末６は，通常，クラウド利用者の仮想マシンVMにネットワーク７を介してアクセスし，クラウド利用者が運営するサービスの提供を受ける。

管理サーバ３は，システムの仮想マシンVMの負荷状態を監視し，過負荷状態になると，新たに仮想マシンVMを同じ物理マシンまたは別の物理マシンにスケールアウトするために，物理マシンを介してハイパバイザHVに対し新たな仮想マシンの生成と起動を指示する。また，SBLからの新たな振り分け先になる仮想マシンをスケールアウトする指示に応答して，管理サーバ３は，新たな仮想マシンを同じ物理マシンまたは別の物理マシンに生成と起動を，物理マシンを介してハイパバイザHVに対し指示する。

図６は，ハイパバイザが有する機能の一例を示す図である。ハイパバイザHVは，物理マシン上で動作し，物理マシンなどのハードウエア群のリソースを仮想マシンVMに割り当てて，仮想マシンVMを動作させる。そのために，ハイパバイザHVは，例えば，仮想マシンを生成する仮想マシン生成部４０１と，仮想マシンを起動する仮想マシン起動部４０２と，仮想マシンをシャットダウンする仮想マシンシャットダウン部４０３と，起動状態の仮想マシンを一時停止，つまりサスペンドする仮想マシンサスペンド部４０４と，サスペンド状態の仮想マシンを再開，つまりリジュームする仮想マシンリジューム部４０５と，仮想マシンの動作情報を収集する仮想マシン動作情報収集部４０６とを有する。さらに，ハイパバイザHVは，管理サーバ３からの時刻補正情報の設定に応答して起動時の時刻設定値を補正する時刻補正処理部４０８を有する。そして，ハイパバイザHVは，生成した仮想マシンVMの情報を格納するVM情報ファイル４０９を，図示しないディスク内に保存する。ハイパバイザHVは，このVM情報ファイルを参照して，仮想マシンを起動する。

上記の仮想マシン起動部４０２は，管理サーバから物理マシンを介して受信した時刻補正情報付き起動コマンドを実行して，その時刻補正情報で仮想マシンを起動させ，その時刻補正情報をVM情報ファイル４０９に保存する。尚，上記の起動コマンドは，ハイパバイザが公開しているAPIの一つである。

図７は，管理サーバの構成例を示す図である。管理サーバ３は，図示しないCPUなどのハードウエアに加えて，ソフトウエア３００と記憶部３２０とを有する。

管理サーバ内のソフトウエア３００は，例えば，クラウドサービスポータルサイト2Aでクラウド契約を締結したクラウド利用者への課金処理などのクラウド利用者管理を行うクラウド利用者管理部３０１と，クラウド契約に基づいて物理マシンなどハードウエアリソースを割り当てて仮想マシンVMを生成する仮想マシン生成部３０２と，仮想マシンを管理する仮想マシン管理部３０３と，仮想マシンの動作を監視する仮想マシン監視部３０４とを有する。仮想マシン生成部３０２は，例えば物理マシンを介してハイパバイザHVに対しVM情報を有する生成コマンドを送信して，VM情報をVM情報ファイルに保存させる。

さらに，ソフトウエア３００は，仮想マシンの起動を物理マシンを介してハイパバイザHVに対し指示する仮想マシン起動制御部３０５と，起動状態の仮想マシンのシャットダウンをハイパバイザHVに指示する仮想マシンシャットダウン制御部３０６と，起動状態の仮想マシンのサスペンドをハイパバイザHVに指示する仮想マシンサスペンド制御部３０７と，仮想マシンのリジュームをハイパバイザHVに指示する仮想マシンリジューム制御部３０８と，仮想マシンの時刻補正情報を設定する仮想マシン時刻補正制御部３０９と，新たな仮想マシンのスケールアウトをハイパバイザHVに指示する仮想マシンスケールアウト制御部３１０などを有する。

上記の仮想マシン起動制御部３０５は，管理コンソール2AまたはAPIエンドポイント2B経由で仮想マシンの起動命令を受信すると，またはSLBなどによりオートスケールコマンドが起動されると，起動対象の仮想マシンの属性について時刻補正情報が登録されている場合は，その時刻補正情報付きの起動コマンドを物理マシンを介してハイパバイザに対し送信する。

管理サーバ内の記憶部３２０には，例えば，ハイパバイザHVから報告される仮想マシンの動作情報を含む仮想マシン動作情報テーブル３２１と，時刻補正情報や時刻補正情報が反映されたシステム・仮想マシン・SLB情報テーブルを有する管理情報テーブル３２２などを有する。

［本実施の形態における管理サーバでの時刻補正情報の設定］
本実施の形態における管理サーバ３は，新たに仮想マシンを起動する前に，クラウドサービス利用者端末などから送信される仮想マシンのある属性に対する時刻補正情報の登録要求に応答して，管理情報テーブル３２２内の時刻補正情報テーブルに，その属性に対し第１の時刻補正情報を登録する登録処理を行う。そして，その後，物理マシンに生成される仮想マシンを起動する場合，仮想マシンの属性に対応する時刻補正情報を有する時刻補正登録情報から，起動対象の仮想マシンの属性に対応する時刻補正情報を抽出し，起動対象の仮想マシンを生成する物理マシンに，抽出した時刻補正情報で仮想マシンを起動させる起動コマンドを送信する。管理サーバは，この起動処理により，当該ハイパバイザに時刻補正情報で仮想マシンを起動させる。

上記の起動処理は，最初にシステムを構築する時に生成した仮想マシンを起動する処理と，既に構築済みシステムにオートスケールコマンド等に応答して生成した追加の仮想マシンを起動する処理とを含む。いずれの場合も，管理サーバに，ある属性に対応する時刻補正情報を起動前に登録しておけば，その属性に属する仮想マシンの起動コマンドには登録した時刻補正情報がオプションとして含まれて，ハイパバイザHVは，その時刻補正情報で仮想マシンを起動する。一旦そのように起動すれば，ハイパバイザHVは，その時刻補正情報をVM情報ファイルに格納するので，その後の起動処理では，その時刻補正情報で起動される。

上記の仮想マシンの生成と，時刻補正情報の登録と，生成した仮想マシンの起動について具体的な処理を以下説明する。

図８は，管理コンソールでの時刻補正設定画面の一例を示す図である。図８には，システムを構成する仮想マシンやファイアウオールが一覧表で示されている。ここでは，システムを構成する仮想マシン等は既に物理マシンに生成されていることを前提としている。

クラウド利用者端末１からクラウドサービスポータルサイトの管理コンソール2Aにアクセスすると，時刻補正設定画面として，図８が表示される。この画面は，あるシステムを選択して時刻補正設定画面を表示した状態である。

時刻補正設定画面内には，
（１）システム内の全ての仮想マシン等を一括して時刻補正設定を行うチェックボックス２０と，
（２）システム一括ではなく，仮想マシンやネットワークセグメントやSLB毎に個別に時刻補正設定を行うチェックボックス２１と，
（３）ネットワークセグメントの一つであるDMZ内の全ての仮想マシンを一括して時刻補正設定を行うチェックボックス２２と，
（４）ネットワークセグメントの一つであるセキュア内の全ての仮想マシンを一括して時刻補正設定を行うチェックボックス２４と，
（５）SLB1のリクエスト振り分け先仮想マシンを一括して時刻補正設定する行２３と，
（６）それ以外に，ファイアウオール(Firewall)と，個別の仮想マシン（WEB
Server1, WEB Server2, AP（Application) Server, DB Server)に時刻補正設定をする行が示されている。

これらの項目に対して，時刻補正情報を設定する領域２６が右側に設けられ，GMT表記で設定できるようになっている。

もし，システム一括チェックボックス２０にチェックを入れて，右側にGMT表記でタイムゾーンまたは時刻を設定すると，現在選択されているシステム内の全ての仮想マシンに対して，どの物理マシンのハイパバイザHVにより起動される場合でも，管理サーバが，ここで設定した時刻補正情報（GMT)で起動するような起動コマンドをハイパバイザに送信する。

同様に，DMZ一括チェックボックス２２，SECURE一括チェックボックス２４にチェックを入れてGMTのタイムゾーンまたは時刻を設定すると，DMZ内の全ての仮想マシンに対して，またはSECURE内の全ての仮想マシンに対しても，同様に，管理サーバがここで設定した時刻補正情報で仮想マシンを起動させる起動コマンドを物理マシンを介してハイパバイザに対し送信する。

さらに，SLB1にGMTのタイムゾーンまたは時刻を設定すると，そのSLB1によりリクエストを振り分けられる仮想マシンに対しても，管理サーバが設定した時刻補正情報で仮想マシンを起動させる起動コマンドを物理マシンを介してハイパバイザに対し送信する。

図９は，本実施の形態において，管理サーバが制御する対象のシステムの具体例を示す図である。システムAは，DMZ-A内とSECURE内とにそれぞれ仮想マシンVM1，VM2とを有する。システムBは，DMZ-B内に２つの仮想マシンVM3，VM4を有し，その後２つの仮想マシンVM13，VM14をオートスケールコマンドにより追加する。システムCは，DMZ-C内に仮想マシンVM5を有し，その後仮想マシンVM15を追加する。そして，システムDは，DMX-D内にSLB1と，そのSLB1からリクエストを振り分けられる仮想マシンVM6,VM7を有し，その後SLB1からリクエストを振り分けられる仮想マシンVM16を追加する。

図１０は，管理サーバ３の管理情報テーブル３２２内の時刻補正情報テーブルの例を示す図である。図１０の例によれば，図９の具体例に示したシステムA-Dに対して，図８に示した管理コンソール内の時刻補正設定画面から管理サーバに次のような時刻補正設定例が行われている。
（１）システムBには一括してGMT-8に時刻補正設定
（２）システムCのDMZ-Cに一括してGMT+8の時刻補正設定
（３）システムDのSLB1にGMT+9の時刻補正設定
（４）それ以外に，仮想マシンマシンVM1,VM2,VM4にもそれぞれGMT+9,GMT+0,GMT+1の時刻補正設定
図１１は，管理サーバ３の管理情報テーブル３２２内のシステム（VSYS)情報テーブル，仮想マシン情報テーブル，SLB情報テーブルの例を示す図である。管理サーバ３は，仮想マシンを生成する場合，その情報をこれらのテーブルに登録する。さらに，管理サーバ３は，時刻補正情報が設定されると，これらのテーブルに反映する。そして，管理サーバ３は，仮想マシンを生成した後に起動する場合，これらのテーブルを参照して，新規に起動する仮想マシンの情報に加えて，その仮想マシンの属性に設定されている時刻補正情報をオプションとする起動コマンドを，物理マシン経由でハイパバイザHVに送信する。

図１１中の仮想システム情報テーブルVSYS-TBには，管理サーバが管理している全てのシステムに対する契約者IDや一括設定の有無や，そのほか図示しないシステムの情報に加えて，時刻補正情報が登録されている。そして，仮想システム情報テーブルVSYS-TBには，（１）システムBに対して一括して時刻補正情報GMT-8が設定されている。

図１１中の仮想マシン情報テーブルVM-TBには，管理サーバが管理している全ての仮想マシンに対する情報と，VM毎の時刻補正情報と，属しているセグメントとそのセグメントの時刻補正情報と，リクエストを振り分けするSLBのIDが登録されている。図１１の例では，仮想マシンVM1,VM2,VM4にはVM時刻補正情報がそれぞれ設定され，仮想マシンVM5にはセグメントDMZ-Cに対してセグメント時刻補正情報GMT+8が設定され，仮想マシンVM6，VM7にはそれらがSLB1のリクエスト振り分け先VMに属していることが設定されている。

そして，図１１中のSLB情報テーブルSLB-TBには，全てのSLBについて図示しない情報と，SLB時刻補正情報が登録されている。図１１の例では，SLB1に対してのみSLB時刻補正情報GMT+9が設定されている。

以下，図９，図１０，図１１の具体例について，本実施の形態における仮想マシンの生成と起動制御について説明する。まず，仮想マシンの生成処理と起動処理の流れを説明した後に，上記の具体例に適用した生成処理と起動処理の説明を行う。

［本実施の形態における仮想マシンの生成と起動処理］
図１２は，仮想マシンの生成手順を示すフローチャート図である。管理サーバ３は，仮想マシン生成命令を受信すると（S10のYES)，VM生成命令の生成するVM情報をオプションとする生成コマンドを，仮想システムを生成する物理マシン上のハイパバイザHVに対し送信する（S11)。この仮想マシン（VM)生成命令の受信は，例えば，クラウド利用者端末により管理コンソールやAPIエンドポイントからシステムの生成を行った場合や，SLBが新たな仮想マシンをスケールアウトするために発行するオートスケールコマンドを受信した場合に発生する。

ハイパバイザHVは，この仮想マシンの生成コマンドを受信すると（S12)，生成コマンドに含まれているVM情報を，ハイパバイザのVM情報ファイル内に保存する（S13)。VM情報ファイルは，前述のとおり，ハイパバイザのためのハードディスク領域に格納されている。

なお，図１２の工程S11に記載されているように，生成コマンドに時刻補正情報を含ませてもよい。この生成コマンドをハイパバイザに送信すると，ハイパバイザは，生成する仮想マシン情報と時刻補正情報とを共にＶＭ情報ファイルに保存する。その結果，管理サーバは，起動コマンドに時刻補正情報を付加せずにハイパバイザに送信しても，保存済みの時刻補正情報で仮想マシンを起動させることができる場合もある。

図１３は，仮想マシンの起動手順を示すフローチャート図である。管理サーバ３は，仮想マシン起動命令を受信すると（S20のYES)，起動する仮想マシンVMをハイパバイザHVが新規に起動する場合，つまり，起動する仮想マシンのハイパバイザHVが以前の起動時と異なる場合は（S21のYES)，そのハイパバイザにおける最初の起動であることを意味するので，管理サーバは，起動VM情報と時刻補正値（または時刻補正情報）をオプションとする起動コマンドを物理マシン上のハイパバイザに対し送信する（S23)。また，起動する仮想マシンVMをハイパバイザHVが既に起動済みである場合は（S21のNO)，時刻補正値に以前の起動時から変更がなければ，管理サーバは，起動VM情報をオプションとする起動コマンドを物理マシン上のハイパバイザHVに対し送信する（S22)。時刻補正値に以前の起動時から変更されていれば，管理サーバは上記の工程S23を行う。

ハイパバイザHVは，起動コマンドを受信すると（S24のYES)，S23経由のように起動コマンドに時刻補正の指定があれば（S25のYES)，起動VM情報に基づいて且つ時刻補正値で仮想マシンを起動し，ハイパバイザのVM情報ファイルの時刻情報を更新して保存する（S27)。一方，S22経由のように起動コマンドに時刻補正の指定がない場合は（S25のYES)，起動VM情報に基づいて仮想マシンを起動する（S26)。この場合は，初回の起動ではないので，ハイパバイザHVは，初回の起動時に工程S27でVM情報ファイル内に保存された時刻補正値で仮想マシンを起動する。

以上のように，管理マシンの管理情報テーブル３２２内に予め仮想マシンの属性に対応して時刻補正情報を登録しておくことで，管理マシンが，仮想マシンを生成後初めて起動する場合に，管理情報テーブル３２２内の時刻補正情報を含む起動コマンドを物理マシン上のハイパバイザに対し送信してハイパバイザにその時刻補正情報で仮想マシンを起動させることができる。前述したとおり，この管理情報テーブル３２２は，時刻補正情報を保存する時刻補正情報テーブルでもある。

なお，上記の時刻補正情報テーブルは，必ずしも管理サーバに登録される必要はない。管理サーバ以外の記憶領域に記憶されていれば，管理サーバはその時刻補正情報テーブルを参照して起動される仮想マシンの属性に対する時刻補正情報を抽出して，その時刻補正情報で仮想マシンを起動させる起動コマンドを物理マシンに送信することができる。

図１２，図１３では，仮想マシンの生成と起動について，管理サーバ３とハイパバイザHVの動作について説明した。次に，以下の３つの場面での仮想マシンの生成手順と起動手順を説明する。
（１）クラウドサービス利用者が端末から手動で新たなシステムを構成する仮想マシンを生成し起動する場合
（２）クラウドサービス利用者が端末から手動で既存システムに更に追加的に仮想マシンを生成し起動する場合
（３）オートスケールコマンドにより追加の仮想マシンを生成し起動する場合
図１４は，クラウドサービス利用者が端末から手動で新たなシステムを構成する仮想マシンを生成し起動する場合（上記（１）の場合）の仮想マシンの生成手順と起動手順を示すフローチャート図である。まず，クラウド利用者端末１で，管理コンソール2Aから新規のシステムを配備する（S30)。これに応答して管理コンソール2Aは，管理サーバ３にシステムの登録を命令する(S31)。この命令に応答して，管理サーバ３は，管理情報テーブル３２２にシステムとそれを構成する仮想マシンなどを登録し，VM情報をオプションとする生成コマンドを物理マシン上のハイパバイザHVに対し送信する（S32)。これに応答して，ハイパバイザHVは，システムのVM情報をVM情報ファイルに保存する（S33)。

次に，クラウド利用者端末１で，管理コンソール2Aから時刻補正情報を登録する（S34)。これに応答して管理コンソール2Aは，管理サーバ３に時刻補正情報の登録命令を送信する（S35)。この登録命令に応答して，管理サーバ３は，管理情報テーブルに時刻補正情報と登録する。前述のとおり，時刻補正情報は，仮想マシンの属性（システム，ネットワークセグメント，SLB等）毎に登録することができる。

時刻補正情報が登録された後に，クラウド利用者端末１で，管理コンソールから仮想マシンの起動を行うと（S37)，管理コンソール2Aは管理サーバ３に仮想マシン起動命令を送信する（S38)。この起動命令に応答して，管理サーバ３は，管理情報テーブル３２２内の時刻補正情報テーブルを参照して，そのテーブル内の起動仮想マシンに適用される時刻補正情報を抽出し，その時刻補正情報と起動VM情報をオプション（またはパラメータ）とする起動コマンドを物理マシン上のハイパバイザHVに対し送信する（S39）。この起動コマンドは，ハイパバイザHVが有するAPIの一つである。そこで，ハイパバイザHVは，この起動コマンドを実行し，起動VM情報の仮想マシンをその時刻補正情報で起動し，その時刻補正情報をVM情報ファイルに保存する（S40）。これにより，以降の起動時には，ハイパバイザは，VM情報ファイルに保存した時刻補正情報で仮想マシンを起動する。

一方，工程S34の時刻補正情報が登録されないで，クラウド利用者端末１で，管理コンソールから仮想マシンの起動を行うと（S41)，管理コンソール2Aは管理サーバ３に仮想マシン起動命令を送信する（S42)。この起動命令に応答して，管理サーバ３は，管理情報テーブル３２２内の時刻補正情報テーブルを参照しても，起動される仮想マシンに適用される時刻補正情報が登録されていないので，起動VM情報をオプションとする起動コマンドを物理マシン上のハイパバイザHVに対し送信する（S43）。そこで，ハイパバイザHVは，この起動コマンドの起動VM情報の仮想マシンをハイパバイザの標準時刻で起動する（S44）。

図１５は，クラウドサービス利用者が端末から手動で既存システムに更に追加的に仮想マシンを生成し起動する場合（上記（２）の場合）の仮想マシンの生成手順と起動手順を示すフローチャート図である。図１５では，前提として，図１４の仮想マシンの生成と時刻補正情報の登録と仮想マシンの起動が行われている（S50)。

そこで，クラウド利用者端末１で，管理コンソール2Aから既存システム内に追加の仮想マシンを配備または生成する（S51)。これに応答して管理コンソール2Aは，管理サーバ３に追加の仮想マシンの登録を命令する(S52)。この命令に応答して，管理サーバ３は，管理情報テーブル３２２に追加生成する仮想マシンを登録し，生成VM情報をオプションとする生成コマンドを物理マシン上のハイパバイザHVに対し送信する（S53)。これに応答して，ハイパバイザHVは，生成するVM情報をVM情報ファイルに保存する（S54)。

次に，クラウド利用者端末１で，管理コンソールから生成した仮想マシンの起動を行うと（S55)，管理コンソール2Aは管理サーバ３に仮想マシン起動命令を送信する（S56)。この起動命令に応答して，管理サーバ３は，管理情報テーブル３２２内の時刻補正情報テーブルを参照して，そのテーブル内の起動仮想マシンに適用される時刻補正情報を抽出し，その時刻補正情報と起動VM情報をオプション（またはパラメータ）とする起動コマンドを物理マシン上のハイパバイザHVに対し送信する（S57）。そこで，ハイパバイザHVは，この起動コマンドを実行して，起動VM情報の仮想マシンを時刻補正情報で起動し，その時刻補正情報をVM情報ファイルに保存する（S58）。ハイパバイザHVは初めて仮想マシンを起動する場合は，起動コマンドで指定された時刻補正情報をVM情報ファイルに保存して，以降の同じ仮想マシンの起動はその保存した時刻補正情報で行う。

このように，仮想マシンの属性に対応して時刻補正情報を登録しているので，その属性に属する仮想マシンを新たに生成した後起動する場合，新たに生成する仮想マシンがどの物理マシンのハイパバイザで起動されようとしても，管理サーバ３が，その登録された時刻補正情報をオプションとする起動コマンドを物理マシン上のハイパバイザHVに対し送信し，それによりハイパバイザHVに登録済みの時刻補正情報で起動制御させることができる。複数の仮想マシンが異なる物理マシンに生成され起動されても，異なる物理マシンに共通の管理サーバが時刻補正情報を登録しているので，設定した時刻補正情報で起動させることができる。

図１６は，SLBなどからのオートスケールコマンドにより追加の仮想マシンを生成し起動する場合（上記（３）の場合）の仮想マシンの生成手順と起動手順を示すフローチャート図である。図１６でも，前提として，図１４の仮想マシンの生成と時刻補正情報の登録と仮想マシンの起動が行われている（S60)。

まず，管理サーバ３にオートスケールコマンドの発生が生じる（S61)。例えば，SLBが振り分けるリクエスト数が閾値以上になった場合や，監視サーバが監視する仮想マシンの負荷が閾値を超えた場合などに，SLBや監視サーバ（図示せず）が管理サーバのオートスケールコマンドを起動する。このオートスケールコマンドには，対象のシステム，セグメント，SLBなどの情報が含められ，SLBや監視サーバから管理サーバに送信される。

このオートスケールコマンドの起動をトリガーとして，管理サーバ３は，管理情報テーブルに，オートスケールコマンドに含まれている追加の仮想マシン情報を登録する（S62)。そして，管理サーバ３は，管理情報テーブル３２２を参照して，生成し起動する仮想マシンに適用される時刻補正情報を抽出し，その時刻補正値と生成・起動するVM情報とをオプションとする生成・起動コマンドを，物理マシン上のハイパバイザHVに対し送信する（S63)。

これに応答して，ハイパバイザは，生成・起動コマンドが有する生成・起動する仮想マシンを時刻補正値で生成し起動し，その時刻補正情報と生成・起動する仮想マシン情報とを，VM情報ファイルに保存する（S64)。

上記の例では，オートスケールコマンドの起動に応答して，管理サーバ３が，生成・起動コマンドをハイパバイザに送信しているが，図１４，１５のように，管理サーバ３が生成コマンドを物理マシン上のハイパバイザに対し送信してハイパバイザに仮想マシンをVM情報ファイルに保存させた後，起動コマンドを物理マシン上のハイパバイザに対し送信してハイパバイザに生成した仮想マシンを時刻補正情報で起動させてもよい。

上記のように，オートスケールコマンドの起動により自動的に仮想マシンが生成され起動される場合も，管理サーバ３の管理情報テーブル（時刻情報テーブル）３２２内に予め属性に対応付けて時刻補正情報を登録しているので，自動で生成される仮想マシンがどの物理マシンに生成されようとしても，管理サーバ３が送信する時刻補正情報をオプションとする起動コマンドにより，様々な物理マシンに新たに生成する仮想マシンを適応される時刻補正情報で起動することができる。

［本実施の形態における仮想マシンの生成と起動処理例］
以下，システムと，ネットワークセグメントと，SLBに属する仮想マシンを生成し起動する処理例について，図９，１０，１１の具体例に基づいて説明する。

［第１の例］
図１７は，第１の例であるシステム一括設定されている場合の仮想マシンの生成と起動処理を示す図である。また，図１８は，図１７の仮想マシンの生成と起動処理において参照される管理情報テーブルを示す図である。第１の例は，図９に示したシステムBの例である。図１８の管理情報テーブルは，図１１と同じであり，どこを参照するかが示されている。

図１７（Ａ）では，システムVSYS-Bを構成する仮想マシンVM3,VM4を物理マシンPM2に生成し起動する例である。例えば，システムVSYS-Bを構築しようとしているクラウド利用者が，端末１上の管理コンソール2Aから手動で仮想マシンVM3,VM4を生成する。この場合，クラウド利用者は仮想マシンVM3,VM4を生成する物理マシンを任意に選択することはできず，クラウドセンタ内の物理マシン群の状況によって，管理サーバ３により適切な物理マシンが選択される。したがって，物理マシンPM2の標準時間TD2がどのタイムゾーンの時刻になるかは予測不能である。

この場合は，まず，管理サーバ３がシステムVSYS-Bの仮想マシンを生成する物理マシンPM2を選択する。そして，図１４のフローチャートに示したように，管理サーバ３が，管理情報テーブル３２２内に仮想マシンVM3,VM4からなるシステムVSYS-Bを登録し，生成コマンドを物理マシン上のハイパバイザHVに対し送信し，ハイパバイザHVがその生成コマンドを実行してハイパバイザのVM情報ファイルにシステムVSYS-Bの仮想マシンVM3，VM4の情報を保存する（S32,S33)。

次に，クラウド利用者は，管理コンソール2AからシステムVSYS-Bに対して一括で時刻補正情報GMT-8を設定すると，管理サーバ３は，その時刻補正情報GMT-8を情報管理テーブル３２２に登録する（S36)。

その後，クラウド利用者は，管理コンソール2Aから仮想マシンVM3,VM4を起動すると，管理サーバ３は，図１８に示されるように管理情報テーブル３２２の仮想システム情報テーブルVSYS-TBにおいてシステムBが一括で時刻補正情報GMT-8が登録されていることを検出し，その時刻補正情報GMT-8を抽出し，起動しようとする仮想マシン情報と抽出した時刻補正情報GMT-8とをオプション（パラメータ）とする起動コマンドを物理マシンPM2上のハイパバイザHVに対し送信する（S39)。これに応答して，物理マシンPM2のハイパバイザHVは，起動コマンドが指定する仮想マシンVM3,VM4を時刻補正情報GMT-8で起動し，その時刻補正情報をVM情報ファイルに保存する（S40)。この場合，図１７に示すように，物理マシンPM2のハイパバイザHVの標準時刻はTD2であるが，管理サーバ３の管理情報テーブルにシステムVSYS-Bに対して一括して登録されている時刻補正情報GMT-8をオプションとする起動コマンドを受信するので，ハイパバイザにその起動コマンドを実行して，その時刻補正情報GMT-8で仮想マシンVM3,VM4を起動させることができる。また，以降の起動時は，ハイパバイザはVM情報ファイルに保存した時刻補正情報で仮想マシンVM3,VM4を起動する。

図１８によれば，仮想マシンVM5に対して時刻補正情報GMT+4が設定されているが，システムBに対する一括の時刻補正情報GMT-8が優先されている。この論理的な優先度は，特に本実施の形態を制限するものではなく，優先されないようにしてもよい。その場合は，例えば，仮想マシンVM5への時刻補正情報の設定は許可されない。

図１７（Ｂ）では，仮想マシンVM3,VM4によるシステムVSYS-Bに，仮想マシンVM13,VM14を追加する例である。この仮想マシンVM13,VM14の追加は，システムVSYS-Bのクラウド利用者が手動で行う場合や，例えば既存の仮想マシンVM3,VM4の処理量が増大し物理マシンPM2の負荷が一定時間以上超えている場合などに，管理サーバ３が自動的にオートスケールコマンドを起動した場合などである。

手動の場合は，図１５のフローチャートにしたがって，クラウド利用者が管理コンソール2Aから仮想マシンVM13,VM14を生成すると，管理サーバ３は，物理マシンPM3を選択し，仮想マシンVM13,VM14の情報を管理情報テーブルに登録し，そのVM情報をオプションとする生成コマンドを物理マシンPM3上のハイパバイザに対し送信する（S53)。これを実行して，ハイパバイザはそのVM情報をVM情報ファイルに保存する（S54)。

そして，クラウド利用者が，管理コンソールから仮想マシンVM13,VM14の起動を行うと，管理サーバ３は，管理情報テーブル３２２を参照して，そのテーブル内の起動仮想マシンVM13,VM14に適用される時刻補正情報GMT-8を抽出し，その時刻補正情報と起動VM情報をオプションとする起動コマンドを物理マシン上のハイパバイザHVに対し送信する（S57）。そこで，ハイパバイザHVは，この起動コマンドを実行して，その時刻補正情報GMT-8で起動VM情報の仮想マシンVM13,VM14を起動し，その時刻補正情報をVM情報ファイルに保存する（S58）。

自動の場合は，図１６のフローチャートにしたがって，管理サーバ３が管理情報テーブルに仮想マシンVM13,VM14を登録し，その仮想マシン情報と時刻補正情報GMT-8とをオプションとする生成・起動コマンドを，選択した物理マシンPM3上のハイパバイザに対し送信し，ハイパバイザに仮想マシンVM13,VM14のVM情報ファイルへの保存と，時刻補正情報GMT-8による起動と，時刻補正情報GMT-8のVM情報ファイルへの保存とを行わせる（S62,S63,S64)。

［第２の例］
図１９は，第２の例であるネットワークセグメントで一括設定されている場合の仮想マシンの生成と起動処理を示す図である。また，図２０は，図１９の仮想マシンの生成と起動処理において参照される管理情報テーブルを示す図である。第２の例は，図９に示したシステムCの例である。図２０の管理情報テーブルは，図１１と同じであり，どこを参照するかが示されている。

図１９（Ａ）では，システムVSYS-C内のDMZ-C内の仮想マシンVM5を物理マシンPM4に生成し起動する例である。例えば，システムVSYS-Cを構築しようとしているクラウド利用者が端末１上で管理コンソール2Aから手動で仮想マシンVM5を生成する。この場合，クラウド利用者は仮想マシンVM5を生成する物理マシンを任意に選択することはできず，クラウドセンタ内の物理マシン群の状況によって，管理サーバ３により適切な物理マシンが選択される。したがって，物理マシンPM4の標準時間TD4がどのタイムゾーンの時刻になるかは予測不能である。

この場合，図１７（Ａ）と同様に，まず，管理サーバ３がシステムVSYS-Cの仮想マシンを生成する物理マシンPM4を選択し，管理情報テーブル３２２内に仮想マシンVM3,VM4からなるシステムVSYS-Bを登録し，生成コマンドを物理マシン上のハイパバイザHVに対し送信し，ハイパバイザHVがその生成コマンドを実行して，そのVM情報ファイルに仮想マシンVM5の情報を保存する（S32,S33)。

次に，クラウド利用者は，管理コンソール2AからシステムVSYS-Cのネットワークセグメントの一つであるDMZ-Cに対して一括で時刻補正情報GMT+8を設定すると，管理サーバ３は，その時刻補正情報GMT+8を情報管理テーブル３２２に登録する（S36)。

次に，クラウド利用者は，管理コンソール2Aから仮想マシンVM5を起動すると，管理サーバ３は，図２０に示されるように管理情報テーブル３２２を検索する。管理サーバ３は，管理情報テーブル３２２から，仮想システム情報テーブルVSYS-TBにおいてシステムCが一括で時刻補正情報が登録されておらず，仮想マシン情報テーブルVM-TBにおいて仮想マシンVM5がネットワークセグメントDMZ-Cに属していて，そのDMZ-Cには時刻補正情報GMT+8が設定されていることを検出する。そこで，管理サーバ３は，その時刻補正情報GMT＋8を抽出し，起動しようとする仮想マシン情報と抽出した時刻補正情報GMT+8とをオプションとする起動コマンドを物理マシンPM4上のハイパバイザHVに対し送信する（S39)。これを実行して，物理マシンPM4のハイパバイザHVは，起動コマンドが指定する仮想マシンVM5を時刻補正情報GMT+8で起動し，その時刻補正情報をVM情報ファイルに保存する（S40)。

図１９（Ｂ）では，システムVSYS-C内のDMZ-C内に仮想マシンVM15を追加する例である。追加する理由は，図１７の第１の例と同様である。

手動の場合は，図１５のフローチャートにしたがって，クラウド利用者が管理コンソール2Aから仮想マシンVM15を生成すると，管理サーバ３は，物理マシンPM5を選択し，仮想マシンVM15の情報を管理情報テーブルに登録し，そのVM情報をオプションとする生成コマンドを物理マシンPM5上のハイパバイザに対し送信し，ハイパバイザにそのVM情報をVM情報ファイルに保存させる（S53,S54)。

そして，クラウド利用者が，管理コンソールから仮想マシンVM15の起動を行うと，管理サーバ３は，管理情報テーブル３２２を参照して，そのテーブル内の起動仮想マシンVM15に適用される時刻補正情報GMT+8を抽出し，その時刻補正情報と起動VM情報をオプションとする起動コマンドを物理マシン上のハイパバイザHVに対し送信し，ハイパバイザHVに起動コマンドの時刻補正情報GMT+8で起動VM情報の仮想マシンVM15を起動させ，その時刻補正情報をVM情報ファイルに保存させる（S57,S58）。尚，図２０には仮想マシンVM15の登録は省略されているが，仮想マシンVM5と同様に登録されているものとする。

自動の場合は，図１６のフローチャートにしたがって，管理サーバ３が管理情報テーブルに仮想マシンVM15を登録し，その仮想マシン情報と時刻補正情報GMT+8とをオプションとする生成・起動コマンドを，選択した物理マシンPM5上のハイパバイザに対し送信し，ハイパバイザに仮想マシンVM15のVM情報ファイルへの保存と，時刻補正情報GMT+8による起動と，時刻補正情報GMT+8のVM情報ファイルへの保存とを行わせる（S62,S63,S64)。

［第３の例］
図２１は，第３の例であるSLB単位で一括設定されている場合の仮想マシンの生成と起動処理を示す図である。また，図２２は，図２１の仮想マシンの生成と起動処理において参照される管理情報テーブルを示す図である。第３の例は，図９に示したシステムDの例である。図２２の管理情報テーブルは，図１１と同じであり，どこを参照するかが示されている。

図２１（Ａ）では，システムVSYS-D内のSLB1によってリクエストが振り分けられる仮想マシンVM6,VM7（SLB1の配下の仮想マシン群）を物理マシンPM6に生成し起動する例である。例えば，システムVSYS-Dを構築しようとしているクラウド利用者が管理コンソール2Aから手動で仮想マシンVM6,VM7を生成する。この場合，クラウド利用者は仮想マシンVM6,VM7を生成する物理マシンを任意に選択することはできず，クラウドセンタ内の物理マシン群の状況によって，管理サーバ３により適切な物理マシンが選択される。したがって，物理マシンPM6の標準時間TD6がどのタイムゾーンの時刻になるかは予測不能である。

まず，クラウド利用者が管理コンソール2AからSLB1のリクエスト振り分け先の仮想マシンVM6,VM7の生成を行うと，図１４のフローチャートで説明したように，管理サーバ３が生成する物理マシンPM6を決定し，管理情報テーブル３２２に仮想マシンVM6,VM7を登録し，物理マシンPM6上のハイパバイザに対しVM情報をオプションとする生成コマンドを送信し，ハイパバイザにVM情報ファイルに保存させる（S32,S33)。

そして，クラウド利用者が管理コンソール2AからSLB1について時刻補正情報GMT+9を登録すると，管理サーバ３が管理情報テーブル３２２にそのSLB1に対する時刻補正情報GMT+9を登録する（S36)。

さらに，クラウド利用者が，管理コンソールから仮想マシンVM6,VM7の起動を行うと，管理サーバ３は，管理情報テーブル３２２を参照して，そのテーブル内の起動仮想マシンVM6,VM7に適用される時刻補正情報GMT+9を抽出する。図２２に示されるように，管理情報テーブル３２２内の仮想システム情報テーブルVSYS-TB，仮想マシン情報テーブルVM-TB，SLB情報テーブルSLB-TBを順に参照して，仮想マシンVM6,VM7はSLB1に属していて時刻補正情報GMT+9が登録されていることを検出する。そして，管理サーバ３は，その時刻補正情報と起動VM情報をオプションとする起動コマンドを物理マシン上のハイパバイザHVに対し送信し，ハイパバイザHVに起動コマンドの時刻補正情報GMT+9で起動VM情報の仮想マシンVM6,VM7を起動させ，その時刻補正情報をVM情報ファイルに保存させる（S39,S40）。このように，仮想マシンVM6,VM7がハイパバイザの標準時刻TD6とは異なる管理サーバに登録した時刻補正情報GMT+9で起動させることができる。そして，次回以降の起動では，ハイパバイザがVM情報ファイルに保存した時刻補正情報GMT+9で仮想マシンVM6,VM7を起動することになる。

図２１（Ｂ）では，システムVSYS-D内のSLB1がオートスケールコマンドにより仮想マシンVM16を追加する例である。すなわち，SLB1がリクエスト総数が一定時間以上閾値を超えた場合に管理サーバ３のオートスケールコマンドを起動することで，管理サーバ３が自動で仮想マシンVM16を追加している例である。

オートスケールコマンドに応答して，図１６のフローチャートにしたがって，管理サーバ３が管理情報テーブルに仮想マシンVM16を登録し，管理情報テーブル３２２を検索して仮想マシンVM16が属するSLB1に対する時刻補正情報GMT+9を検出する。但し，図２２の管理情報テーブルには仮想マシンVM16は省略されているが，VM6,VM7にと同様に登録されているものとする。そして，管理サーバ３は，その仮想マシン情報と時刻補正情報GMT+9とをオプションとする生成・起動コマンドを，選択した物理マシンPM7上のハイパバイザHVに対し送信し，ハイパバイザに仮想マシンVM16のVM情報ファイルへの保存と，時刻補正情報GMT+9による起動と，時刻補正情報GMT+8のVM情報ファイルへの保存とを行わせる（S62,S63,S64)。

上記の３つの例から明らかなとおり，仮想マシンの属性（システム，ネットワークセグメント，SLB)に対して時刻補正情報を管理サーバ３の管理情報テーブルに登録することで，ハイパバイザに，異なる物理マシンに生成された複数の仮想マシンを，それぞれの最初の起動時に，登録した時刻補正情報で起動させることができる。そして，ハイパバイザは最初に起動した時刻補正情報をVM情報ファイルに保存するので，２回目以降の起動も，同じ時刻補正情報で起動することができる。

［本実施の形態における仮想マシン時刻補正情報の設定］
本実施の形態によれば，管理サーバの時刻補正情報の登録とそれをオプションとする起動コマンドの物理マシン上のハイパバイザへの送信とにより，新たに生成し起動する仮想マシンを，時刻補正情報で起動させることができ，起動後に手動による仮想マシンへの時刻補正の設定を必要としない。

図２３は，登録した時刻補正情報により同じ属性に属する仮想マシンが起動された例を示す図である。図２３の例では，異なる２つの物理マシンPM1，PM2に仮想マシンVMが生成され起動されている。

まず，システムBは，４つの仮想マシンVMが２つの物理マシンPM1,PM2にまたがって生成され起動されている。そして，システムBに対して時刻補正情報GMT-Bが一括して登録されているため，最初の起動動作で４つの仮想マシンVMは全て同じ時刻補正情報GMT-Bで起動されている。そして，その時刻補正情報GMT-BがハイパバイザのVM情報ファイルに保存されているので，２回目以降も，起動コマンドが別の時刻補正情報をオプションに含まなければ，ハイパバイザはVM情報ファイルに保存された時刻補正情報GMT-Bで仮想マシンを起動する。

図２３において，システムCは６つの仮想マシンVMが２つの物理マシンPM1,PM2にまたがって生成され起動されている。６つの仮想マシンVMのうち２つの仮想マシンVMが同じネットワークセグメントNW-SEGに属している。そして，システムCのネットワークセグメントNW-SEGに対して時刻補正情報GMT-Cが一括して登録されているため，最初の起動動作で２つの仮想マシンVMは全て同じ時刻補正情報GMT-Cで起動されている。そして，その時刻補正情報GMT-CがハイパバイザのVM情報ファイルに保存されているので，２回目以降も，起動コマンドが別の時刻補正情報をオプションに含まなければ，ハイパバイザはVM情報ファイルに保存された時刻補正情報GMT-Cで仮想マシンを起動する。

さらに，図２３において，システムDは４つの仮想マシンVMが２つの物理マシンPM1,PM2にまたがって生成され起動されている。４つの仮想マシンVMのうち３つの仮想マシンVMが同じSLB1に属している。そして，システムDのSLB1に対して時刻補正情報GMT-Dが一括して登録されているため，最初の起動動作で３つの仮想マシンVMは全て同じ時刻補正情報GMT-Dで起動される。そして，その時刻補正情報GMT-DがハイパバイザのVM情報ファイルに保存されているので，２回目以降も，ハイパバイザはVM情報ファイルに保存された時刻補正情報GMT-Dで仮想マシンを起動する。

図２４は，本実施の形態における管理サーバの場合のマイグレーションを説明する図である。また，図２５は，マイグレーションの処理を示すフローチャート図である。図２４には，物理マシンPM1に生成され起動していた仮想マシンVM1を，異なる物理マシンPM2にマイグレーションすることが示されている。

図２５のフローチャート図にしたがって，上記のマイグレーション処理について説明する。まず，クラウド利用者端末１から管理コンソール2Aを介して，仮想マシンVM1を物理マシンPM1からPM2にマイグレーション指令を入力すると，管理サーバ３は，物理マシンPM1のハイパバイザHV1にマイグレーションを命令する。

これに応答して，ハイパバイザHV1は，移転先の物理マシンPM2のハイパバイザHV2に移転先仮想マシンVM2を生成させ，メモリ領域を確保させる（S70)。そして，ハイパバイザHV1は，移転元仮想マシンVM1のメモリ内容を，移転先仮想マシンVM2のメモリに転送しコピーする（S71)。メモリ内容の転送が完了すると，ハイパバイザHV1は，移転元仮想マシンVM1のCPU内のレジスタの値（コンテキスト）を移転先仮想マシンVM2のCPU内のレジスタに転送してコピーする（S72)。

次に，ハイパバイザHV1は，移転元仮想マシンVM1をサスペンドし，移転先仮想マシンVM2をリジュームする（S73,S74)。この時，移転元仮想マシンVM1のメモリ情報とコンテキストにより移転先仮想マシンVM2がリジュームするので，移転元仮想マシンVM1の時刻補正情報で移転先仮想マシンVM2がリジュームする。以上で，マイグレーションは終了する。

その後，何らかの理由で移転先仮想マシンVM2がシャットダウンされたとする（S75)。この場合，それ以降に移転先仮想マシンVM2が起動される場合は，管理サーバ３が移転元仮想マシンVM1の属性に対して設定していた時刻補正情報を抽出し，その時刻補正情報をオプションとする起動コマンドをハイパバイザHV2に送信し，その結果，移転先仮想マシンVM2が時刻補正情報で起動される。

このように，異なる物理マシン間で仮想マシンをマイグレーションする場合において，移転先仮想マシンが移転元仮想マシンの物理マシンとは異なる物理マシンに生成されその後起動されるとき，本実施の形態の管理サーバ３による時刻補正情報の登録とその時刻補正情報をオプションとする起動コマンドの発行により，同じ時刻補正情報で移転先仮想マシンVM2を起動させることができる。

１：クラウド利用者端末 2A管理コンソール（クラウドサービスポータルサイト）
３：管理サーバ ３２２：管理情報テーブル
PM：物理マシン（物理計算機） HV；ハイパバイザ（仮想化ソフトウエア）
VM1，VM2：仮想マシン（仮想計算機） ８：データセンタ（クラウドセンタ）

Claims (13)

1. 複数の物理計算機上のいずれかで動作する仮想計算機を管理する仮想計算機管理処理をコンピュータに実行させる仮想計算機管理プログラムであって，
   前記仮想計算機管理処理は，
   前記物理計算機に生成される仮想計算機を起動する場合，仮想計算機の属性に対応する時刻補正情報を有する時刻補正登録情報から，前記起動対象の仮想計算機の属性に対応する時刻補正情報を抽出する抽出工程と，
   前記起動対象の仮想計算機を生成する物理計算機に，前記抽出した時刻補正情報で仮想計算機を起動させる起動コマンドを送信する起動工程とを有する仮想計算機管理プログラム。
2. 請求項１において，
   更に，前記仮想計算機の起動要求を受け付ける工程を有し，
   前記起動要求を受け付けた場合に，前記抽出工程及び起動工程が実行される仮想計算機管理プログラム。
3. 請求項１において，
   更に，前記仮想計算機を追加生成する追加生成要求を受け付ける工程を有し，
   前記追加生成要求を受け付けた場合に，前記抽出工程及び起動工程が実行される仮想計算機管理プログラム。
4. 請求項３において，
   前記追加生成要求をサーバレベルバランサから受け付けた場合は，前記サーバレベルバランサの配下の仮想計算機を前記物理計算機に生成させ，前記時刻補正情報に応じて当該生成する仮想計算機を起動させる仮想計算機管理プログラム。
5. 請求項１において，
   更に，所定の属性に対する時刻補正情報の登録要求に応答して，前記時刻補正登録情報内に，前記所定の属性に対し前記時刻補正情報を登録する登録工程を有する仮想計算機管理プログラム。
6. 請求項１において，
   前記起動工程にて，前記物理計算機に前記属性に対応する時刻補正情報を記憶させる仮想計算機管理プログラム。
7. 複数の物理計算機上のいずれかで動作する仮想計算機を管理する仮想計算機管理方法であって，
   前記物理計算機に生成される仮想計算機を起動する場合，仮想計算機の属性に対応する時刻補正情報を有する時刻補正登録情報から，前記起動対象の仮想計算機の属性に対応する時刻補正情報を抽出する抽出工程と，
   前記起動対象の仮想計算機を生成する物理計算機に，前記抽出した時刻補正情報で仮想計算機を起動させる起動コマンドを送信する起動工程とを有する仮想計算機管理方法。
8. 仮想計算機を生成し動作させるハイパバイザがそれぞれ動作する複数の物理計算機と，
   前記複数の物理計算機上のいずれかで動作する前記仮想計算機を管理する管理サーバとを有し，
   前記管理サーバは，前記物理計算機に生成される仮想計算機を起動する場合，仮想計算機の属性に対応する時刻補正情報を有する時刻補正登録情報から，前記起動対象の仮想計算機の属性に対応する時刻補正情報を抽出する抽出手段と，前記起動対象の仮想計算機を生成する物理計算機に，前記抽出した時刻補正情報で仮想計算機を起動させる起動コマンドを送信する起動手段とを有し，
   前記起動コマンドを受信した物理計算機のハイパバイザは，前記時刻補正情報で前記仮想計算機を起動する仮想計算機システム。
9. 請求項８において，
   前記管理サーバは，更に，前記仮想計算機の起動要求を受け付ける受付手段を有し，
   前記起動要求を受け付けた場合に，前記起動手段が前記起動コマンドを送信する仮想計算機システム。
10. 請求項８において，
    更に，前記仮想計算機を追加生成する追加生成要求を受け付ける受付手段を有し，
    前記追加生成要求を受け付けた場合に，前記起動手段が前記起動コマンドを送信する仮想計算機システム。
11. 請求項１０において，
    前記追加生成要求をサーバレベルバランサから受け付けた場合は，前記起動手段が前記サーバレベルバランサの配下の仮想計算機を前記物理計算機に生成させ，前記時刻補正情報に応じて当該生成する仮想計算機を起動させる仮想計算機システム。
12. 請求項８において，
    前記管理サーバは，更に，所定の属性に対する時刻補正情報の登録要求に応答して，前記時刻補正登録情報内に，前記所定の属性に対し前記時刻補正情報を登録する登録手段を有する仮想計算機システム。
13. 請求項８において，
    前記起動コマンドを受信した物理計算機は，前記属性に対応する時刻補正情報を前記ハイパバイザに記憶させる仮想計算機システム。

Images