WO2007136021A1

WO2007136021A1 - 仮想マシン管理装置、仮想マシン管理方法およびプログラム

Info

Publication number: WO2007136021A1
Application number: PCT/JP2007/060312
Authority: WO
Inventors: Masahiro Kawato
Original assignee: Nec Corporation
Priority date: 2006-05-24
Filing date: 2007-05-15
Publication date: 2007-11-29
Also published as: EP2037362A1; EP2037362A4; US20090210527A1; US8112527B2; JPWO2007136021A1; JP5110315B2

Abstract

　ネットワーク（４）を介して複数のサーバ装置（３）に接続された仮想マシン管理装置（１）は、管理端末（２）からの要求に従って、新規の仮想マシンをサーバ装置（３）に生成する。その際、仮想マシン管理装置（１）は、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置（３）に配置される適切度を示すスコアを記憶する配置規則表（１６）を参照して、新規の仮想マシンを配置可能な１以上のサーバ装置について、新規の仮想マシンを当該サーバ装置に配置する適切度を示す指標値を計算し、該計算した指標値を参照して新規の仮想マシンの配置先を決定する。

Description

明細書仮想マシン管理装置、仮想マシン管理方法およびプログラム技術分里：

本発明は仮想マシン管理装置および仮想マシン管理方法に関し、特に仮想マシン上で動作するプログラムの負荷特性に基づいて物理マシンへの仮想マシンの配置方法を動的に決定する仮想マシン管理装置および仮想マシン管理方法に関する。背景技術：

従来、単一のサーバ装置上で複数のオペレーティングシステム（O S ) を動作させることにより、 1台のコンピュータを仮想的に複数台のサーバとして使うことのできる仮想マシン ( V M： V i rtua l Mach i ne) 技術が知られている。ここで、単一のサーバ装置とは、ワークステーションやパーソナルコンピュータ等のコンピュータを指す。この種の技術を適用した製品として、ヴイエムウェア社による rVMWare ESX Serverj, マイクロソフト社による「V i rtua l Server j、および米国 XenSource社による「Xenj などが知られている。これらの製品では、 V M生成用のコマンドを発行することにより新たな仮想マシンを、サーノ装置上に生成することができる。

また、サーバ装置がネットワークを通じて複数台接続された分散プロセッサ環境において、或るサーバ装置に生成された仮想マシンを他のサーバ装置に移動させる技術が知られている。仮想マシンの移動技術を記載した文献としては、例えば、特開平 1 0— 2 8 3 2 1 0号公報（以下、「特許文献 1」と呼ぶ）がある。また、 VMwareでは vMot i on、 Xenでは m i grat i onとして仮想マシンの移動機能を提供している。

このようにサーバ装置が複数台に分散した環境において、仮想マシンを新たに生成する場合、従来は、特開 2 0 0 5二 1 1 5 6 5 3号公報（以下、「特許文献 2 J と呼ぶ）に記載されるように、リソースに余裕のあるサーバ装置をランダムに選択する方法が採用されている。ここで、特許文献 2では、リソースに余裕のあるサーバ装置が 1台も存在しない場合は、仮想マシンの新規生成を断念し、エラーメッセージを表示する。また、特許文献 2では、新規仮想マシンの生成とは非同期に、既存の仮想マシンの所定時間毎のパフォーマンスを示す実測データに基づいて、各仮想マシンを複数のサーバ装置の何れかで稼動させた場合の各時間における各仮想マシンのパフォーマンス値の合計が最大となる仮想マシンとサーバ装置の組合せを算出し、この算出した組合せに対して各仮想マシンの再配置を行うようにしている。

上述したように従来は、仮想マシンの新規作成時、リソースに余裕のあるサーバ装置をランダムに選択して仮想マシンを作成している。このため、以下のような課題がある。

第 1の課題は、新規に生成された仮想マシンが十分な性能を発揮できず、また、既存の他の仮想マシンに悪影響を与える恐れが多いことである。その理由は、ランダムに選択したサーバ装置が、新規仮想マシンの生成に最適なサーバ装置である確率は非常に低いためである。

第 2の課題は、仮想マシンの新規作成が行えない恐れが多いことである。その理由は、リソースに余裕のあるサーバ装置が 1つも存在しなければ、仮想マシンの新規作成が行えないからである。発明の開示：

本発明の第 1の目的は、適切なサーバ装置に仮想マシンを作成できるようにする"と 1 ¾) ^ ο

本発明の第 2の目的は、仮想マシンの新規作成を可能な限リ行えるようにすることにある。

本発明の第 1の仮想マシン管理装置は、ネットワークを介して複数のサーバ装置に接続された仮想マシン管理装置であって、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコァを記憶する配置規則表と、新規の仮想マシンを配置可能な 1以上のサーバ装置を選択し、該選択したサーバ装置について新規の仮想マシンを配置する場合における指標値を前記スコアを用いて計算し、該計算した指標値を参照して新規の仮想マシンの配置先を決定する仮想マシン配置決定手段とを備えることを特徴とする。

本発明の第 2の仮想マシン管理装置は、第 1の仮想マシン管理装置において、新規の仮想マシンを配置可能なサーバ装置として、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置を選択することを特徴とする。

本発明の第 3の仮想マシン管理装置は、第 2の仮想マシン管理装置において、前記仮想マシン配置決定手段から呼び出されることにより、サーバ装置上の既存の仮想マシンを他のサーバ装置に移動させることにより、新規の仮想マシンを配置可能なサーバ装置を生成する仮想マシン移動決定手段を備えることを特徴とする。

本発明の第 4の仮想マシン管理装置は、第 3の仮想マシン管理装置において、前記仮想マシン移動決定手段は、新規の仮想マシンを配置可能なサーバ装置を生成できる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して仮想マシンの移動方法を決定することを特徴とする。

本発明の第 5の仮想マシン管理装置は、第 3または第 4の仮想マシン管理装置において、前記仮想マシン配置決定手段は、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置が存在しない場合に前記仮想マシン移動決定手段を呼び出すことを特徴とする。

本発明の第 6の仮想マシン管理装置は、ネッ卜ワークを介して複数のサーバ装置に接続された仮想マシン管理装置であって、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコァを記憶する配置規則表と、既存の仮想マシンの移動を伴わない新規の仮想マシンの配置方法、および、既存の仮想マシンの移動を伴う新規の仮想マシンの配置方法の各候補を選択し、該選択した各候補について、当該配置方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して新規の仮想マシンの配置先を決定する仮想マシン配置 *移動決定手段とを備えることを特徴とする。

本発明の第 7の仮想マシン管理装置は、第 1または第 6の仮想マシン管理装置において、新規の仮想マシンの配置とは独立に、サーバ装置上の仮想マシンを他のサーバ装置へ移動させる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して既存の仮想マシンの移動を行う移動手段を備えることを特徴とする。

本発明の第 8の仮想マシン管理装置は、第 7の仮想マシン管理装置において、前記移動手段は、一定時間ごと、サーバ装置あるいは仮想マシンのリソースが予め定められた一定の条件に達するごと、または仮想マシンの停止ごとに動作することを特徴とする。

本発明の第 9の仮想マシン管理装置は、第 1または第 6の仮想マシン管理装置において、仮想マシンの種別ごとに、その種別の仮想マシンが配置されているサ —バ装置から当該仮想マシンのリソースの使用状況と他の仮想マシンとの間の通信状況とを収集するサーバ監視手段と、該サーバ監視手段で収集された情報と予め定められたスコァ生成規則とから前記スコァを生成して前記配置規則表に記憶する配置規則生成手段とを備えることを特徴とする。

本発明の第 1の仮想マシン管理方法は、ネッ卜ワークを介して複数のサーバ装置に接続されたコンピュータにより前記サーバ装置上の仮想マシンを管理する方法であって、前記コンピュータが、新規の仮想マシンを配置可能な 1以上のサ一バ装置を選択する第 1のステップと、前記コンピュータが、前記選択した各サー iく装置について、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコアを配置規則表から参照して、新規の仮想マシンを当該サーバ装置に配置する適切度を示す指標値を計算する第 2のステップと、前記コンピュータが、前記計算した指標値を参照して新規の仮想マシンの配置先を決定する第 3のステツプとを含むことを特徴とする。

本発明の第 2の仮想マシン管理方法は、第 1の仮想マシン管理方法において、前記第 1のステップでは、新規の仮想マシンを配置可能なサーバ装置として、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置を選択することを特徴とする。

本発明の第 3の仮想マシン管理方法は、第 2の仮想マシン管理方法において、前記第 1のステップでは、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置が存在しない場合、サーバ装置上の既存の仮想マシンを他のサーバ装置に移動させることにより、新規の仮想マシンを配置可能なサーバ装置の生成を試みることを特徴とする。

本発明の第 4の仮想マシン管理方法は、第 3の仮想マシン管理方法において、前記第 1のステップでは、新規の仮想マシンを配置可能なサーバ装置を生成できる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して仮想マシンの移動方法を決定することを特徴とする。

本発明の第 5の仮想マシン管理方法は、ネッ卜ワークを介して複数のサーバ装置に接続されたコンピュータにより前記サー/く装置上の仮想マシンを管理する方法であって、前記コンピュータが、既存の仮想マシンの移動を伴わない新規の仮想マシンの配置方法、および、既存の仮想マシンの移動を伴う新規の仮想マシンの配置方法の各候補を選択する第 1のステップと、前記コンピュータが、前記選択した各候補について、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコアを配置規則表から参照して、当該配置方法の適切度を示す指標値を計算する第 2のステップと、前記コンピュータが、前記計算した指標値を参照して新規の仮想マシンの配置先を決定する第 3のステップとを含むことを特徴とする。

本発明の第 6の仮想マシン管理方法は、第 1または第 5の仮想マシン管理方法において、前記コンピュータが、新規の仮想マシンの配置とは独立に、サーバ装置上の仮想マシンを他のサーバ装置へ移動させる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して既存の仮想マシンの移動'を行う第 4のステップをさらに含むことを特徴とする。本発明の第 7の仮想マシン管理方法は、第 6の仮想マシン管理方法において、前記第 4のステップは、一定時間ごと、サーバ装置あるいは仮想マシンのリソ一スが予め定められた一定の条件に達するごと、または仮想マシンの停止ごとに開始することを特徴とする。

本発明の第 8の仮想マシン管理方法は、第 1または第 5の仮想マシン管理方法において、前記コンピュータ力仮想マシンの種別ごとに、その種別の仮想マシンが配置されているザ一/く装置から当該仮想マシンのリソースの使用状況と他の仮想マシンとの間の通信状況とを収集する第 5のステップと、前記コンピュータが、前記収集された情報と予め定められたスコァ生成規則とから前記スコアを生成して前記配置規則表に記憶する第 6のステップとをさらに含むことを特徴とする。

本発明にあっては、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコアを用いて、新規の仮想マシンを配置可能な 1以上のサーバ装置のそれぞれについて、新規の仮想マシンを当該サーバ装置に配置する適切度を示す指標値を計算し、この計算した指標値を参照して新規の仮想マシンの配置先を決定する。これにより、リソースに余裕のあるサーバ装置をランダムに選択する場合に比べて、より適切なサーバ装置に新規の仮想マシンを配置することができる。

上記のスコアは、例えば、仮想マシンの種別ごとに、その種別の仮想マシンが配置されているサーバ装置から当該仮想マシンのリソースの使用状況と他の仮想マシンとの間の通信状況とを収集し、この収集された情報と予め定められたスコァ生成規則とから作成することができる。スコア生成規則としては、例えば、リソースの競合が少ないほど、また相互の通信が多いほど、数値の大きなスコアを算出する規則が用いられる。

新規の仮想マシンを配置可能な 1以上のサーバ装置の候補としては、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置にのみ限定しても良いが、既存の仮想マシンを他のサーバ装置に移動させることにより新規の仮想マシンを配置可能なサーバ装置も候補に含めれば、新規の仮想マシンの配置に成功する確率を高めることができる。このとき、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置が存在しない場合に限って、既存の仮想マシンを他のサーバ装置に移動させることにより新規の仮想マシンを配置可能なサーバ装置の生成を試みるようにすれば、新規仮想マシンの配置時における既存仮想マシンへの影響を抑えることができる。また新規の仮想マシンを配置可能な 1以上のサーバ装置の候補を選択する際に、既存の仮想マシンの移動を伴わない新規の仮想マシンの配置方法、および、既存の仮想マシンの移動を伴う新規の仮想マシンの配置方法の各候補を選択することも可能である。さらに、新規の仮想マシンの配置とは独立に、サーノ装置上の仮想マシンを他のサ一ノ装置へ移動させるようにしても良い。

本発明によれば、新規な仮想マシンを適切なサーバ装置、すなわち、新規に生成された仮想マシンが十分に性能を発揮でき、また、既存の他の仮想マシンに悪影響を与える恐れが少ないサーバ装置に作成することができる。その理由は、新規の仮想マシンを配置可能な 1以上のサーバ装置のそれぞれについて、新規の仮想マシンを当該サーバ装置に配置する適切度を示す指標値を計算し、この計算した指標値を参照して新規の仮想マシンの配置先を決定するためである。

また、新規の仮想マシンを配置可能な 1以上のサーバ装置の候補として、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置以外に、既存の仮想マシンを他のサ一/く装置に移動させることにより新規の仮想マシンを配置可能なサーバ装置なども含める構成にあっては、仮想マシンの新規作成に失敗する確率を低減することが可能となる。図面の簡単な説明：

図 1は本発明の第 1の実施の形態による仮想マシン管理装置を含む情報処理システムのブロック図である。

図 2は本発明の第 1の実施の形態による情報処理システムにおけるサーバ装置の内部構成を示すブロック図である。 '

図 3は本発明の第 1の実施の形態による仮想マシン管理装置におけるサーバ監視手段の動作手順を示すフローチヤ一トである。

図 4は本発明の第 1の実施の形態による仮想マシン管理装置における資源情報 D Bに格納されるサーバ装置情報の一例を示す図である。

図 5は本発明の第 1の実施の形態による仮想マシン管理装置における資源情報 D Bに格納される仮想マシン情報の一例を示す図である。

図 6は本発明の第 1の実施の形態による仮想マシン管理装置における資源情報 D Bに格納されるサービス情報の一例を示す図である。

図つは本発明の第 1の実施の形態による仮想マシン管理装置における V M配置規則生成手段の動作手順を示すフローチヤ一卜である。

図 8は本発明の第 1の実施の形態による仮想マシン管理装置における配置規則表に格納される情報の一例を示す図である。

図 9は本発明の第 1の実施の形態による仮想マシン管理装置における V M配置決定手段の動作手順を示すフローチヤ一卜である。

図 1 0は本発明の第 1の実施の形態による仮想マシン管理装置における V M移動決定手段の動作手順を示すフローチヤ一卜である。

図 1 1は本発明の第 1の実施の形態による仮想マシン管理装置における V M移動決定手段による可能な移動方法の判別方法を説明するための図である。

図 1 2は本発明の第 1の実施の形態による仮想マシン管理装置における V M移動決定手段によるスコア差分計算の例を示すための図である。

図 1 3は本発明の第 2の実施の形態による仮想マシン管理装置を含む情報処理システムのプロック図である。

図 1 4は本発明の第 2の実施の形態による仮想マシン管理装置における V M配置■移動決定手段の動作手順を示すフローチヤ一卜である。

図 1 5は本発明の第 2の実施の形態による仮想マシン管理装置における V M配置■移動決定手段が実行する、既存 V Mの移動を伴わない新規 V Mの配置方法とそのスコア計算の詳細な動作手順を示すフローチャートである。

図 1 6は本発明の第 2の実施の形態による仮想マシン管理装置における V M配置■移動決定手段が実行する、既存 V Mの移動を伴う新規 V Mの配置方法とそのスコア計算の詳細な動作手順を示すフローチヤ一卜である。

図 1 7は本発明の第 2の実施の形態による仮想マシン管理装置における V M配置 -移動決定手段が実行する、既存 V Mの移動を伴う新規 V Mの配置方法の具体例を示す図である。

図 1 8は本発明の第 3の実施の形態による仮想マシン管理装置を含む情報処理システムのブロック図である。

図 1 9は本発明の第 3の実施の形態による仮想マシン管理装置における V M定期移動決定手段の動作手順を示すフローチヤ一卜である。

図 2 0は本発明の第 4の実施の形態による仮想マシン管理装置のブロック図でめる。

図 2 1は本発明の第 4の実施の形態による仮想マシン管理装置における V M停止手段の動作手順を示すフローチヤ一トである。発明を実施するための最良の形態：

次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。

図 1を参照すると、本発明の第 1の実施の形態に係る情報処理システムは、仮想マシン管理装置 1と、管理端末 2と、複数のサーバ装置 3と、ネットワーク 4 とから構成される。

仮想マシン管理装置 1は、プログラム制御により動作するコンピュータであり、サーバ監視手段 1 1と、 V M (Vi rtua l Mach i ne) 配置規則生成手段 1 2と、 V M 配置決定手段 1 3と、 V M移動決定手段 1 4と、資源情報 D B (Database) 1 5 と、配置規則表 1 6とから構成される。

サーバ監視手段 1 1は、各サーバ装置 3中のサーバエージ；！:ント（後述）を介して、管理対象の情報処理システムを構成する各サーバ装置 3、仮想マシン、サ一ビスの稼動状況を取得し、その内容を資源情報 D B 1 5に格納する手段である。ここで、各仮想マシン上では、 1つまたは複数のアプリケーションソフトウェアが稼動する。単一の仮想マシン上で動作するアプリケーションソフ卜ウェア群を総称して、サービス（Serv i ce) と呼ぶ。各サービスは名前により区別される。複数の仮想マシン上で同一のサービスが稼動することもある。このように、各仮想マシンとその上で稼動するサービスとは 1対 1に対応する。従って、仮想マシンの配置先を決定することと、サービスの配置先を決定することとは等価である。また、仮想マシンの種別とサービスの種別とは等価である。

V M配置規則生成手段 1 2は、資源情報 D B 1 5に格納された情報を元に、サ —ビスの種類（仮想マシンの種類）の組合せ毎にその組合せのサービスの種類どうし（仮想マシンの種類どうし）が同じサーバ装置 3に配置される適切度を示すスコアを生成し、その内容を V M配置規則表 1 6に格納する手段である。

V M配置決定手段 1 3は、資源情報 D B 1 5に格納されたサーバ装置情報と仮想マシン情報、および V M配置規則表 1 6の内容を元に、新規に生成する仮想マシンの配置先となるサ一ノ装置 3を決定する手段である。

V M移動決定手段 1 4は、新規の仮想マシンを起動するのに必要な資源を確保するために、稼働中の仮想マシンを別のサーバ装置 3に移動させる手段である。管理端末 2は、キーボードやマウスなどの入力装置と、ディスプレイなどの出力装置を備える端末 (コンソール) である。管理端末 2は、仮想マシン管理装置 1に接続して、運用管理者によって入力された各種操作を仮想マシン管理装置 1 に送信する機能と、各種操作の実行状況と情報システムの稼動状況を仮想マシン管理装置 1から受信して、出力装置に出力する機能を有する。ここで、各種操作には、新規の仮想マシンの作成と、稼働中の仮想マシンの破棄とを含む。

サーバ装置 3は、プログラム制御により動作するコンピュータである。図 2を参照すると、サーバ装置 3は、サーバエージェント 3 1 と、仮想マシンモニタ (Hyperv i sor) 3 2と、複数の仮想マシン 3 3とから構成される。

サーバエージェント 3 1は、仮想マシンモニタ 3 2および仮想マシン 3 3からハードウェアとソフトウヱァの稼働状況を取得する機能と、仮想マシンモニタ 3 2に対して仮想マシンの生成、破棄、他のサーバ装置 3への移動を要求する機能を有する。

仮想マシンモニタ 3 2は、サーバ装置 3が有する C P U (Central Process ing Unit) やメモリ（Ma in Memory) などのハードウェア資源を各仮想マシン 33に配分するとともに、仮想マシン 33の生成および破棄を制御する機能を有する。各仮想マシン 33上では、前述したように、 1種類のサービス（1つまたは複数のアプリケーションソフトゥ: ァ）が稼動する。

ネッ卜ワーク 4は、仮想マシン管理装置 1 と複数のサーバ装置 3とを接続するネットワークである。図 1では管理端末 2はネットワーク 4には接続されていないものの、管理端末 2がネットワーク 4をして仮想マシン管理装置 1と接続する構成でも、発明の本質は影響を受けない。

<本実施の形態の構成の具体例 >

以下に、本実施の形態の構成の具体例を挙げる。

仮想マシン管理装置 1の具体例は、イーサネット（登録商標）などのネットヮーク接続手段を備えるコンピュータであって、 Windows (登録商標）や Linuxなどの OSが動作する。さらに、サーバ監視手段 1 1、 VM配置規則生成手段 1 2、 VM配置決定手段 1 3、 VM移動決定手段 1 4の各手段が、 OS上のソフトゥェァモジュールとして動作する。資源情報 D B 1 5および配置規則表 1 6には、 Oracleや DB2、 MySQLなどの DB製品、あるいはメモリ上に資源情報および配置規則（スコア）の情報を格納するソフトウェアモジュールを用いる。各手段 1 1 〜 1 4と資源情報 D B 1 5および配置規則表 1 6との間の相互作用は、プログラミンク言語における関数 (function, procedure, subroutine, method) を用しヽて実現される。あるいは、 TCP/ 1 Pなどの通信プロトコルと、その上の HTTP (Hyper Text Transfer Protocol) めるしヽは SOAP (Simple Object Access Protocol) などの通信プロ卜コルを組合せて実現しても良い。

管理端末 2の具体例は、キーボードとマウスからなる入力装置と、液晶表示装置と、仮想マシン管理装置 1との接続手段とを備える端末装置である。典型的な例は、 Windowsが動作するパーソナルコンピュータ（PG)であり、 Internet Explorer などのウェブ■ブラウザを通して仮想マシン管理装置 1に接続する。この例では、図 1のように仮想マシン管理装置 1と'管理端末 2が直結しているが、その必要性は必ずしもなく、ネッ卜ワーク 4に管理端末 2が接続する形態でも良い。サーバ装置 3の具体例は、イーサネット（登録商標）などのネットワーク接続手段を備えるコンピュータであって、 VMware GSX Server, VMware ESX Server, Xen などの仮想マシンモニタ 32と、それらの仮想マシンモニタ 32によって制御される 1つ以上の仮想マシン 33が稼動する。各仮想マシン 33では、 Windows Server、 Red Hat Enterprise Linux, Solaris, HP-UXなどの o Sが稼動する。さらに、その上で稼動するサ一ビスとして、 Internet Information Server, Apache HTTP Serverなどのウェブ 'サーバ、 Enterprise Java (登録商標） Beans (EJB) などのアプリケーション■ コンテナ、 Oracleや DB2、 MySQLなどのデータべ一ス管理システム（DBMS, Database Management System) が稼動する。

サーバ装置 3におけるサーバエージ； Lント 31の構成は、仮想マシンモニタ 3 2の種類に依存する。 VMware GSX Server のように、ホスト OS上で動作する仮想マシンモニタ 32を用いる場合、サーバエージェン卜 31はホスト OS上のソフトウェアとして動作する。一方、 VMware ESX Serverや Xenのように、ホスト OSを必要としない種類の仮想マシンモニタ 32を用いる場合には、仮想マシンモニタ 32中のソフトウエアモジュールとしてサーバエージェン卜 31を動作させるか、 Xen DomainO などの特権仮想マシン上のプロセスとしてサーバエージェント 31を動作させる構成を取る。

ネットワーク 4の具体例は、イーサネット（登録商標）によるローカルエリアネッ卜ワーク (LAN), およびインターネットである。

次に、フローチャートを用いて、本実施の形態の全体の動作について詳細に説明する。

<サーバ監視手段 1 1の動作手順 >

図 3は、仮想マシン管理装置 1におけるサーバ監視手段 1 1の動作手順を示すフローチヤ一トである。本手順は以下のステップから構成される。

まず、サーバ監視手段 1 1は、管理下の各サーバ装置 3が備えるサーバエージェント 31から、各サーバ装置 3、その上で動作する仮想マシン 33、およびそれらの仮想マシン 33上で稼動するサービスに関する情報を稼働状況として取得する（ステップ S 1 1 1 )。ここで取得する稼動状況には以下の種類の情報が含まれる。

a) 各サーバ装置 3が備えるハ一ドウ χァ資源など、各サーバ装置 3自体に関する情報（以下、「サーバ装置情報」と呼ぶ）

b) 各サーバ装置 3上で稼動する仮想マシン 33の名称、その仮想マシン 33 が使用するハードウ:！:ァ資源、およびその仮想マシン 33上で稼動するサービスの名称（以下、「仮想マシン情報」と呼ぶ）

c) 稼働中の各サービスについて、他のサービスとの通信履歴

次に、サーバ監視手段 1 1は、ステップ S 1 1 1で取得した稼働状況を元に、各サービスを特徴づける指標（以下、「サービス情報」と呼ぶ）を集計する（ステップ S 1 1 2)。サービス情報は、以下の 2種類の指標から構成される。

1 ) 負荷パターン：サービスが使用するハードウエア資源

2) 通信パターン：サービスと別のサービスの間での相互作用

同一種類のサービスが複数の仮想マシン上で稼動している場合には、サーバ監視手段 1 1は、それらの仮想マシンについての指標の平均値を、そのサービスについての指標とする。

次に、サーバ監視手段 1 1は、ステップ S 1 1 1で取得したサーバ装置情報と仮想マシン情報、およびステップ S 1 1 2で集計したサービス情報を、資源情報 DB 1 5に格納する（ステップ S 1 1 3)。

<負荷パターン Z通信パターンの具体例 >

以下に、ステップ S 1 1 2で集計する負荷パターンと通信パターンの具体例を示す。

負荷パターンの具体例は、以下の数値からなる組である。

a) 過去一定期間（例えば 5分間）における平均 CPU使用率（以下、「平均 C P u使用率」)

b) 過去一定期間（例えば 1時間）における最大 CPU使用率（以下、「最大 C P u使用率」)

c) 過去一定期間（例えば 5分間）における平均メモリ使用量（以下、「平均メモリ使用量」） d) 過去一定期間（例えば 1時間）における最大メモリ使用量（以下、「最大メモリ使用量」）

通信パターンの具体例は、過去一定期間（例えば 10分間）における TCP (Transmission Control Protocol) セッションの回数（以下、「接続頻度」と呼ぶ。）である。

<資源情報 D Bに格納される情報の具体例 >

以下に、ステップ S 1 13で資源情報 DB 1 5に格納する情報の具体例を示す。図 4は、サーバ装置情報の具体例である。この例では、管理対象のサーバ装置 3は hostOI, host02, host03の計 3台あり、それらの各サーバ装置 3についての C PU (Central Processing Unit) の種類、物理メモリ量、ホスト OS (Operating System) の各情報を示している。

図 5は、仮想マシン情報の具体例である。この例では、 vm01 から vm06の 6つの仮想マシン 33について、その仮想マシン 33が所属するサーバ装置 3のホス卜名、割当 CPU使用率、割当メモリ使用量、ゲスト OS、その仮想マシン 33 上で稼動するサービスの名称、の各情報が格納される。ここで、割当 CPU使用率と割当メモリ使用量は、その仮想マシン 33が使うことを許された最大の CP U使用率とメモリ容量を意味する。

図 6は、サービス情報の具体例である。この例では、ショッピングサービス、ブログサービス（ウェブログサービス、 b log/web log service), ログ解析サービス、課金サービス、商品情報 DB (Database), アクセスログの 6種類のサービスについて、平均 Z最大 CPU使用率、平均 Z最大メモリ使用量、接続先サービス接続頻度の各情報が格納されている。

ここで、平均最大 CPU使用率とは、過去の一定期間内において、そのサ一ビスが消費した CPU使用率の平均値と最大値を指す。同様に、平均最大メモリ使用量は、過去一定期間内における、そのサービスによるメモリ使用量の平均値と最大値を指す。接続先サービス接続頻度とは、過去の一定期間において、そのサービスと通信を行ったサービス名と、その接続回数の平均値を指す。同一種別のサービスが複数の仮想マシン上で稼動する可能性があるために、接続頻度の値は必ずしも整数とは限らない。

< V M配置規則生成手段 1 2の動作手順 >

図 7は、仮想マシン管理装置 1における V M配置規則生成手段 1 2の動作手順を示すフローチャートである。 V M配置規則生成手段 1 2は、管理端末 2からの起動命令により、あるいはタイマによる起動によって、本手順の実行を開始する。本手順は以下のステップから構成される。

まず、 V M配置規則生成手段 1 2は、配置規則表 1 6に記録済みのすべての情報を消去して、初期状態にする（ステップ S 1 2 1 )。配置規則表 1 6には、 2種類のサービスからなる対（同一種類のサービス同士からなる対もありうる）と、その対に割り当てるスコア（点数、優先度）が記録される。スコアは整数または実数の値を取る。この数値が大きいほど、対に含まれるサービスを優先して同一のサーバ装置 3上で稼動させることを意味する。ステップ S 1 2 1実行直後では、配置規則表 1 6は空である。

次に、 V M配置規則生成手段 1 2は、資源情報 D B 1 5に記録されたサービス情報を読み込み、そこに含まれるサ一ビス名のすベての可能な対からなる集合 S を作成する (ステップ S 1 2 2 )。

次に、 V M配置規則生成手段 1 2は、集合 Sから 1つのサービス対を取り出す (ステップ S 1 2 3 )。もし集合 S中のすべてのサ一ビス対を取リ出した後であれば、 V M配置規則生成手段 1 2の動作を終了する。以降のステップでは、ここで取リ出したサービス対を（a, b)と表記する。

次に、 V M配置規則生成手段 1 2は、資源情報 D B 1 5に記録された、サービス aと bについての負荷パターンおよび通信パターンを用いて、サービス対（a, b) に割り当てるスコアを算出する（ステップ S 1 2 4 ) o ここで用いる負荷パターンと通信パターンは、サーバ監視手段 1 1のステップ S 1 2において抽出されたものである。

本ステップ S 1 2 4では、 V M配置規則生成手段 1 2は、資源情報 D B 1 5中のサービス情報のうち、サービス aおよび bについての要素に対して、「スコア生成関数」と呼ぶ関数を適用することによって、スコアを算出する。スコア生成関数は、以下の性質を満たす形で定義される。

1 ) 同一種類のハードウ:！:ァ資源（例えば C P U使用率）を多く使用するサービス同士の対には、低いスコアを割り当てる。その理由は、それらの対を同じサーバ装置に配置すると、リソースの競合が頻発して所望の性能が発揮されないためである。さらに、使用する資源の絶対量が多いほど低いスコアを割り当てる。

2 ) サービス対の相互作用の度合いが大きいほど、そのサービス対に対して高いスコアを割り当てる。その理由は、それらの対を同じサーバ装置に配置した方力、通信コストが小さくなることと、ネットワーク 4に流れる通信量が小さくなるためである。

すなわち、スコア生成関数は、リソースの競合が少ないほど、また相互の通信が多いほど、数値の大きなスコアを算出する関数である。

次に、 V M配置規則生成手段 1 2は、ステップ S 1 2 3で取り出したサービス対 (a, b)と、ステップ S 1 2 4で算出したスコアとからなる組を、配置規則表 1 6 に追加する（ステップ S 1 2 5 )。このステップの後、ステップ S 1 2 3以降の手順を繰り返す。

図 8に配置規則表 1 6の一例を示す。この例では、ショッピングサービス、ブログサービス、ログ解析サービス、課金サービス、商品情報 D B、アクセスログの 6種類のサービスの任意の 2種類の組合せ毎にスコアが設定されている。

< V M配置決定手段 1 3の動作手順 >

V M配置決定手段 1 3は、入力として新規の仮想マシン上で実行すべきサ一ビスの情報（サービス種別、使用するハードウェア資源など）を管理端末 2から受け取り、そのために必要な仮想マシン 3 3を最適なサーバ装置 3上に生成する機能を持つ。以下では、入力として与えられるサービスの情報を指して、「仮想マシン起動要求 J と呼ぶ。

図 9は、仮想マシン管理装置 1における V M配置決定手段 1 3の動作手順を示すフローチヤ一トである。本手順は以下のステップから構成される。

まず、 V M配置決定手段 1 3は、資源情報 D B 1 5に記録されたサーバ装置情報と仮想マシン情報を検索して、仮想マシン起動要求に含まれる条件を満たすサーバ装置 3のリストを取得する（ステップ S 1 31 )。

ここで、仮想マシン起動要求の内容と、それに対応する本ステップ S 1 31における処理の具体例を示す。例として、 VM配置決定手段 1 3に対して、以下の内容を含む仮想マシン起動要求が渡された場合を考える。

a) サービス名：「ショッピングサービス」

b ) CPU種別： X e o n

c) 割当 CPU使用率： 20%

d) 割当メモリ使用量： 256MB (Megabytes, メガバイト）

本ステップ S 1 31で取り出すサーバ装置 3は、以下の条件（1), (2)をともに満たすものである。

(1)サーバ装置情報における CPU種別の項目が、仮想マシン起動要求中の C PU種別（すなわち X e o n) と一致していること。サーバ装置情報の内容が図 4に示すものである場合、 hostOIが該当する。

(2)空き CPU 使用率および空きメモリ使用量が、仮想マシン起動要求中の割当 CPU使用率（20%) および割当メモリ使用量（256MB) に等しいか、上回ること。

あるサーバ装置 3の空き C P U使用率と空きメモリ使用量は、以下の式によつて計算される。

空き CP U使用率 = 1 00—当該サーバ装置上で稼働中の仮想マシンについての割当 CPU使用率の合計

空きメモリ使用量 =当該サーバ装置の物理メモリ量一当該サーバ装置上で稼働中の仮想マシンについての割当メモリ使用量の合計

したがって、サーバ装置内容と仮想マシン情報の内容がそれぞれ図 4、図 5に示すものである場合、これらの数値は以下のようになる。

hostO!：

空き C P U使用率 = 1 00— (40 + 40) =20 (%)

空きメモリ使用量 =4— (1. 5 +1. 5) =1 (GB (Gigabytes, ギガバイ卜）） host02: 空き CPU使用率 = 1 00- ( 0 + 50) = 1 0 (%)

空きメモリ使用量 =2— （1 +1 ) =0 (GB)

host03:

空き C P U使用率 = 1 00— (20 + 30) =50 (%)

空きメモリ使用量 =8— (2 + 2) =4 (GB)

ゆえに、空き CPUと空きメモリ使用量に関する条件 (こついては、 hostOI と host03の 2つのサーバ装置 3が満たしている。第 1の条件と合わせると、 hostOI のみが本ステツプで取リ出される。

次に、 VM配置決定手段 1 3は、ステップ S 1 31において検索結果に 1っ以上の要素が含まれているかどうか、すなわちサービスを配置することが可能なサ —バ装置 3が存在するか否かを調べる（ステップ S 1 32)。もし配置可能なサーバ装置 3があれば、ステップ S 1 33以降に進む。そうでない場合には、 VM配置決定手段 1 3は、後述する VM移動決定手段 1 4を適用して、既存の仮想マシン 33の移動を試みた後、ステップ S 1 36に移る。既存の仮想マシンの移動手順（ステップ S 1 41—1 47) については、後述の「VM移動決定手段 1 4」についての項で詳細に説明する。

ステップ S 1 36では、 VM配置決定手段 1 3は、 VM移動決定手段 1 4による仮想マシンの移動に成功したかどうかを確かめる。

もし移動に成功した場合には、 VM配置決定手段 1 3は、ステップ S 1 31に戻って、仮想マシン起動要求の処理を再度試みる。移動に失敗した場合、すなわち仮想マシン起動要求の実行に必要なサーバ装置 3を確保できなかった場合には、 VM配置決定手段 1 3は、仮想マシン起動要求の実行に失敗して処理を終了する。ステップ S 1 32において、配置可能なサーバ装置 3を少なくとも 1台検出した場合、 VM配置決定手段 1 3は、以下の手順により、その中から配置先のサ一バ装置 3を選択する。

まず、 VM配置決定手段 1 3は、配置規則表 1 6の内容を適用して、可能な配置先サーバ装置 3のそれぞれについてスコアを算出する（ステップ S 1 33)。スコアの算出は、新規に起動するサービス名と、配置先候補のサーバ装置 3上で稼働中の各サービスの対について、配置規則表 1 6に記載されたスコアの和を取ることによって行う。例えば、新規に起動するサービス名が「ショッピングサ一ビス」であり、配置先候補のサービス装置 3上で稼動中のサービスが「課金サービス」と「アクセルログ」である場合、図 8を参照すると、ショッピングサービスと課金サービスの対のスコアは- 1、ショッピングサービスとアクセスログの対のスコアは +1なので、合計スコアは (-1 ) + (+1) =0である。ここで、新規に起動するサービス名と同じサービス名のサービスが配置規則表 1 6に存在しなかった場合、 V M配置決定手段 1 3は、すべての既存サービスとの組合せについて、所定のスコア（例えば- 1 ) を付与する。

ステップ S 1 3 4では、 V M配置決定手段 1 3は、ステップ S 1 3 3で計算されたスコアが最大になる場合のサーバ装置 3を、新規サービスの配置先として選択する。例えば、合計スコアが- 1 と +3の 2つの配置先サーバ装置があれば、合計スコア +3のサ一/く装置を新規サービスの配置先に選択する。

次に、 V M配置決定手段 1 3は、 S 1 3 4で選択したサーバ装置 3上のサーバエージェント 3 1に対して、新規サービスを稼動させるための仮想マシン 3 3の起動を要求し、処理を終了する（ステップ S 1 3 5 )。サーバ装置 3上への新規仮想マシンの生成は、既存技術を用いて行えるため、その詳細な説明は省略する。

< V M移動決定手段 1 4の動作手順 >

図 1 0は、仮想マシン管理装置 1における V M移動決定手段 1 4の動作手順を示すフローチャートである。 V M移動決定手段 1 4を用いるのは、現在の仮想マシン配置状態では、 V M配置決定手段 1 3が受け取った仮想マシン起動要求を実行することができない場合である（図 9、ステップ S 1 3 2において、配置可能なザ一/ 装置 3がない場合に相当する）。

以下、図 1 0のフローチャートを用いて、 V M移動決定手段 1 4の動作手順を説明する。

まず、 V M移動決定手段 1 4は、資源情報 D B 1 5に格納されたサーバ装置情報の中から、仮想マシンの移動元となリ得るサーバ装置 3からなる集合を作成する（ステップ S 1 4 1 )。以降では、これらのサーバ装置 3の集合を Nと表記する。ここで、 Nに含まれるサーバ装置 3は、その上で少なくとも 1つの仮想マシンが動作し、かつそれらを別のサーバ装置 3に移動することによって、新規仮想マシンの生成に必要な資源が確保できるサーバ装置 3である。例えば、サービス名：「ショッビングサービス」、 CPU種別： X e o n、割当 GPU使用率： 2 0 %、割当メモリ使用量： 2 5 6 M Bの仮想マシン起動要求の場合、資源情報 D B 1 5に格納されたサーバ装置情報の中から、 GPU 種別が X e o nで、かつ、物理メモリ量が 2 5 6 M B以上あるサーノく装置 3が候補となる。

次に、 V M移動決定手段 1 4は、 Nの中に、少なくとも 1台のサーバ装置 3が含まれるかどうかを調べる（ステップ S 1 4 2 )。含まれる場合にはステップ S 1 4 3に、含まれない場合には S 1 4 5に進む。

ステップ S 1 4 3では、 V M移動決定手段 1 4は、 Nから単一のサーバ装置 3 についての情報を取り出す。さらに、 V M移動決定手段 1 4は、ここで取り出したサーバ装置 3の情報を、 Nから取り除く。

次に、 V M移動決定手段 1 4は、 S 1 4 3で取り出したサーバ装置 3上で稼動する各仮想マシン 3 3について、可能な移動方法のそれぞれについてのスコア差分を計算する（ステップ S 1 4 4 )。

ここで、可能な移動方法とは、仮想マシンを移動することにより新規仮想マシンに必要な資源が確保でき、かつ移動対象となる仮想マシンに必要な資源が確保できるような移動方法（すなわち、仮想マシンとその移動先サーバ装置の対）を指す。単一の移動方法の中に、仮想マシンと移動先サーバ装置の対が複数含まれる可能性もある。すなわち、一つのサーバ装置上の複数の仮想マシンを同時に同じあるいは異なる別のサーバ装置へ移動させる場合も含まれる。可能な移動方法の具体例については後述する。

また、スコア差分とは、既存の仮想マシン移動の前後で、配置規則表 1 6を適用した場合のスコアの差を指す。ある移動方法についてのスコア差分が大きいほど、その移動方法は好ましいと言える。スコア差分の計算方法についての具体例は後述する。 '

ステップ S 1 4 4が終了すると、 V M移動決定手段 1 4は、ステップ S 1 4 2 に戻り、別のサーバ装置 3を移動元とする移動方法についてのスコア差分の計算 ¾r式み^。

ステップ S 1 4 5では、 V M移動決定手段 1 4は、ステップ S 1 4 2から S 1 4 4までの手順において、可能な移動方法について少なくとも 1つスコア差分を計算したかどうかを調べる。条件に当てはまる場合はステップ S 1 4 6に進む。それ以外の場合は仮想マシンの移動に失敗したため、 V M移動決定手段 1 4は V M移動決定手順の処理を終了する。

ステップ S 1 4 6では、 V M移動決定手段 1 4は、ステップ S 1 4 2から S 1 4 4までに計算した各移動方法について、スコア差分を最大化するものを選択する。

最後に、 S 1 4 6で選択した移動方法を実行するために、 V M移動決定手段 1 4は、移動元のサーバ装置 3上のサーバエージェント 3 1 と、移動先のサーバ装置 3上のサーバエージ: Γント 3 1のそれぞれについて、仮想マシン移動を要求する（ステップ S 1 4 7 )。或るサーバ装置 3から別のサーバ装置 3への仮想マシンの移動は、既存技術を用いて行えるため、その詳細な説明は省略する。

<可能な仮想マシン移動方法の判別例 >

以下に、ステップ S 1 4 4において、可能な仮想マシン移動方法を判別する具体例示す。

図 1 1は、ステップ S 1 4 3において、移動元のサーバ装置 3としてサーバ装置 Aを取り出した後で、サーバ装置 A上の仮想マシン V M 1の可能な移動方法を判断する状況を示している。ここでは、仮想マシン起動要求として、起動対象のサービス（ここでは、 Γブログサービス」）には割当メモリ使用量として 1 G B以上が必要であるという条件が含まれると仮定する。さらに、サーバ装置 A— Dはどれも 1 G Bの物理メモリを備えており、既存の仮想マシン V M 1— V M 5にはそれぞれ 0 . 5 G Bの割当メモリ使用量が割当てられていると仮定する。

割当メモリ使用量のみを判断基準とすると、サーバ装置 A上の仮想マシン V M 1を、サーバ装置 Bおよび Cに移動することは可能であるが、サーバ装置 Dに移動することはできない。その理由は、サーバ装置 D上では割当メモリ使用量 0 . 5 G Bを占有する V Mがすでに 2つ動作中だからである。

したがって、サーバ装置 A上の仮想マシン V M 1についての可能な移動方法は、以下の 2通りである。

1 ) 移動対象： V M 1、移動先：サーバ装置 B

2 ) 移動対象 ·· V M 1、移動先：サーバ装置 C

以上の例では、説明の便宜上、割当メモリ使用量のみを判断基準としたが、実際には割当 C P U使用率などの他の要因を総合的に判断して、可能な仮想マシン移動方法を判別することになる。

<スコア差分の計算例 >

以下に、ステップ S 1 4 4におけるスコア差分の計算方法の例を示す。

図 1 2は、サーバ装置 hostOI上で稼動する仮想マシン vmOI を、別のサーバ装置 host02に移動する操作を示している。 hostOIでは vm01 , vm02， vm03の 3つの仮想マシンが稼動しており、それらの仮想マシン上でそれぞれショッピングサービス、ブログサービス、アクセスログが動作する。また、 host02では仮想マシン vm04 が稼動しておリ、その上で商品情報 D Bが動作する。

図 8の配置規則表を適用すると、 vm01 を hostOIから host02に移動することによるスコア差分は以下のように計算できる。

1 ) ショッピングサービスとブログサービスの組合せはスコア- 1なので、 vm01 を hostOIから除去することによるスコア差分は +1 となる。

2 ) ショッピングサービスとアクセスログの組合せはスコア +1なので、 vm01 を hostOIから除去することによるスコア差分は - 1 となる。

3 ) ショッピングサービスと商品情報 D Bの組合せはスコア- 2なので、 vm01 を host02に追加することによるスコア差分は - 2となる。

以上から、 m01の移動全体についてのスコア差分は、 (+1) + (-1) + (-2) =-2となる。

<第 1の実施の形態の効果 >

次に、本実施の形態による仮想マシン管理装置の効果について説明する。

本実施の形態の仮想マシン管理装置によれば、新規な仮想マシンを適切なサーバ装置、すなわち、新規に生成された仮想マシンが十分に性能を発揮でき、また、既存の他の仮想マシンに悪影響を与える恐れが少ないサーバ装置に作成することができる。その理由は、新規な仮想マシンと同じサーバ装置上の他の既存の仮想マシンとの組合せがよリ適切なサーバ装置を新規な仮想マシンの配置先として選択しているためである。

また本実施の形態の仮想マシン管理装置によれば、新規仮想マシンの生成に失敗する確率を小さくすることができる。その理由は、新規作成予定の仮想マシンに必要なリソースを確保できるサーバ装置が存在しなかった場合、既存の仮想マシンの他サーバ装置への移動により新規作成予定の仮想マシンに必要なリソースを有する状態のサーバ装置の生成を試みるからである。特に本実施の形態の仮想マシン管理装置では、仮想マシンの配置の適切度の改善度合いが最も良い仮想マシンの移動方法を決定しているため、新規作成予定の仮想マシンに必要なリソースを有する状態のサーバ装置の生成と同時に、仮想マシンのよリ適切な再配置が可能になる効果がある。

<第 2の実施の形態 >

図 1 3を参照すると、本発明の第 2の実施の形態に係る情報処理システムは、図 1に示した第 1の実施の形態に係る情報処理システムと比較して、仮想マシン管理 ¾置 1が V M配置決定手段 1 3および V M移動決定手段 1 4の代わりに V M 配置■移動決定手段 1 7を備えている点で相違する。

第 1の実施の形態に係る情報処理システムにおける仮想マシン管理装置では、新規仮想マシンを配置する際、まず、すべてのサーバ装置群のうち現時点でリソースに余裕のあるサーバ装置の中から新規仮想マシンの配置先の選択を試み、それが不可能である場合に、現時点ではリソースに余裕はないが既存仮想マシンを他のサーバ装置に移動させればリソースに余裕が出るサーバ装置群の中からより適切なサーバ装置を新規仮想マシンの配置先に選択していた。

これに対して、本実施の形態に係る情報処理システムにおける仮想マシン管理装置 1の V M配置 '移動決定手段 1 7 'は、既存の仮想マシンの移動を伴わない配置方法と移動を伴う配置方法との双方を考慮し、その中から最適な配置方法を選択する。ここで、既存の仮想マシンの移動を伴わない配置方法とは、現時点でリソースに余裕のあるサーバ装置の中から新規仮想マシンの配置先を選択する方法である。他方、既存の仮想マシンの移動を伴う配置方法とは、現時点でリソースに余裕があるかどうかを問わず、既存の仮想マシンの移動を行った移動元サーバ装置あるいは移動先サーバ装置のうちリソースに余裕のあるサーバ装置の中から新規仮想マシンの配置先を選択する方法である。

以下では、第 1の実施の形態の仮想マシン管理装置との相違点を中心に本実施の形態の仮想マシン管理装置の動作を説明する。

<第 2の実施の形態における V M配置■移動決定手段 1 7の動作手順 > 図 1 4、図 1 5、図 1 6を参照して、本実施の形態における仮想マシン管理装置 1の V M配置 '移動決定手段 1 7の動作手順を説明する。なお、図 1 4は、 V M配置■移動決定手段 1 7の動作全体を示すフローチャートであり、図 1 5と図 1 6は、図 1 4におけるステップ S 1 フ 1一 S 1 フ 3および S 1 フ 4— S 1 7 7 の詳細を示すフローチヤ一卜である。

まず、 V M配置■移動決定手段 1 7は、既存の仮想マシンの移動を伴わないことを前提として、新規仮想マシンについての可能な配置先サーバ装置の候補を生成し、そのスコアを算出する（ステップ S 1 7 1— S 1 フ 3 )。本手順は、以下の 3つのステップからなる。

まず、 V M配置 '移動決定手段 1 7は、資源情報 D B 1 5に記録されたサーバ装置情報と仮想マシン情報を検索して、仮想マシン起動要求に含まれる条件を満たすサーバ装置のリス卜を取得する（ステップ S 1 7 1 )。このステップ S 1 7 1 は、第 1の実施の形態における V M配置決定手段 1 3の動作手順（図 9 ) におけるステップ S 1 3 1と同様である。

次に、 V M配置■移動決定手段 1 7は、ステップ S 1 フ 1の検索結果に 1っ以上の要素が含まれているかどうかを調べる（ステップ S 1 7 2 )。条件に該当する場合にはステップ S 1 7 3に進み、そうでない場合にはステップ S 1 7 4に進む。ステップ S 1 7 3では、 V M配置 '移動決定手段 1 7は、配置規則表 1 6の内容を適用して、可能な配置先サーバ装置 3のそれぞれについてスコアを算出する。ここでの処理は、第 1の実施の形態における VM配置決定手段 1 3における図 9 のステップ S 1 33と同様である。

次に、 VM配置 '移動決定手段 1 7は、既存の仮想マシンの移動と新規の仮想マシンの配置との組合せによる移動■配置方法の候補を生成し、そのスコアを計算する（ステップ S 1 74— S 1 77)。本手順は、以下のステップから構成される。

まず、 VM配置 '移動決定手段 1 7は、資源情報 DB 1 5に格納されたサーバ装置情報の中から、仮想マシンの移動元となリ得るサ一/く装置からなる集合 Nを生成する（ステップ S 1 フ 4)。ここでの処理は、第 1の実施の形態における VM 移動決定手段 1 4の動作手順（図 1 0)におけるステップ S 1 41 と同様である。次に、 VM配置■移動決定手段 1 7は、 Nの中に、少なくとも 1台のサーバ装置 3が含まれるかどうかを調べる（ステップ S 1 フ 5)。含まれる場合にはステツプ S 1 76に進み、含まれない場合にはステップ S 1 78に進む。

ステップ S 1 76では、 VM配置 '移動決定手段 1 7は、 Nから単一のサーバ装置 3についての情報を取リ出すとともに、取り出したサーバ装置 3の情報を N から取り除く (図 1 0のステップ S 1 43と同様）。

次に、 VM配置■移動決定手段 1 7は、ステップ S 1 76で取り出したサーバ装置 3上で稼動する各仮想マシン 33について、可能な移動■配置方法の候補を生成するとともに、そのスコアを計算する（ステップ S 1 77)。

ここで、移動 '配置方法とは、既存の仮想マシンの移動と、新規の仮想マシンの配置とを組合せた操作を指す。単一の移動■配置方法は、以下の 3つの要素により指定される。

a) 移動対象の仮想マシン

b) 移動先のサーバ装置

c) 新規仮想マシンの配置先サーバ装置

移動 ·配置方法は、可能な移動方法を含んでいなければならない。すなわち、移動先のサーバ装置は、移動対象の仮想マシンの動作に必要な資源を備えていなければならない。さらに、新規仮想マシンの配置先サーバ装置は、新規仮想マシンの動作に必要な資源を備えていなければならない。ここで、新規仮想マシンの配置先サーバ装置は、移動対象の仮想マシンの移動元のサーバ装置である場合と、移動先のサーバ装置である場合とが考えられる。

それぞれの移動 ·配置方法について、以下の方法でスコアを算出する。

1 ) 移動 '配置方法に含まれる移動方法について、スコア差分を算出する。このスコア差分は、第 1の実施の形態における図 1 0のステップ S 1 44と同様に行う。

2) 移動■配置方法に含まれる新規仮想マシン配置方法について、スコアを算出する。このスコアは、第 1の実施の形態における図 9のステップ S 1 33と同様に行う。

3) 1および 2の結果の和を、移動 '配置方法のスコアとする。

本ステップ S 1 77において、 VM配置'移動決定手段 1 7は、すべての移動■ 配置方法について可能性を調べる代わリに、何らかのヒューリスティックを用いて調査対象を削減しても良い。ここでのヒユーリスティックの一例を以下に示す。

a) 移動対象の仮想マシンと、移動先のサーバ装置については、すべての組合せについて可能性を調べる。

b) 新規仮想マシンの配置先サーバ装置は、移動元のサーバ装置（すなわち、ステップ S 1 76で Nから取り出したサーバ装置）に固定する。

本ステップ S 1 77の終了後、 VM配置 '移動決定手段 1 7は、ステップ S 1 75に戻り、 S 1 75以降の処理を繰り返す。

ステップ S 1 74— S 1 77の処理が終了した後で、 VM配置■移動決定手段 1 7は、可能な配置方法の候補（ステップ S 1 7 1 -S 73で生成されたもの）、あるいは可能な移動■配置方法（ステップ S 1 74- 1 7フで生成されたもの）が存在するかどうかを確かめる（ステップ S 1 78)。条件に該当する場合には S 1 79に進み、該当しない場合には新規仮想マシンの配置に失敗したので、処理を終了する。

ステップ S 1 79では、 VM配置 ''移動決定手段 1 7は、可能な仮想マシン配置方法、あるいは移動 '配置方法の中から、スコアを最大化するものを選択する。ここでは、移動を伴わない配置方法と、移動■配置方法についてのスコアを直接比較する以外の比較方法を取っても良い。例えば、移動を伴わない配置方法に一定のスコアを加算することにより、移動を伴わない配置方法を優先するようにしても良い。

最後に、 V M配置■移動決定手段 1 7は、ステップ S 1 7 9で選択した仮想マシン配置方法あるいは移動'配置方法を実行する（ステップ S 1 7 1 0 )。ここで、選択した操作が移動'配置方法である場合には、 V M配置'移動決定手段 1 7は、図 1 0のステップ S 1 4 7と同様の手順により、サーバエージェント 3 1に対して仮想マシン 3 3の移動を要求する。さらに、 V M配置■移動決定手段 1 7は、仮想マシン 3 3の移動の有無に関わらず、図 9のステップ S 1 3 5と同様の手順により、サーバエージ: cント 3 1に対して仮想マシン 3 3の起動を要求する。図 1 7に、本手順による仮想マシン移動■配置操作の具体例を示す。この図は、 host01，host02，host03の 3台のサーバ装置 3からなるシステムにおいて、新規の仮想マシン vm05を配置する状況を示している。ここで、既存仮想マシンの移動元のサ一/ 装置 3に新規仮想マシンを配置することを前提とすると、既存仮想マシン vmOIの移動を含む移動，配置方法は以下の 2種類である。

1 ) 移動対象： vm01、移動先： host02、新規仮想マシンの配置先： hostOI

2 ) 移動対象: vtn01、移動先： host03、新規仮想マシンの配置先： hostOI <第 2の実施の形態の効果 >

また本実施の形態の仮想マシン管理装置によれば、新規仮想マシンの生成に失敗する確率を小さくすることができる'。その理由は、新規作成予定の仮想マシンに必要なリソースを確保できるサーバ装置だけでなく、既存の仮想マシンの他サーバ装置への移動によリ新規作成予定の仮想マシンに必要なリソースを有する状態のサーバ装置も含めて、新規仮想マシンの配置先を選択しているからである。さらに本実施の形態の仮想マシン管理装置によれば、新規に仮想マシンを配置する際に、現状において新規仮想マシンに必要な空きリソースを有するサーバ装置かどうかに関係なく、既存の仮想マシンの移動を同時に試みることにより、効率的な資源配分が可能となる。

<第 3の実施の形態 >.

図 1 8を参照すると、本発明の第 3の実施の形態に係る情報処理システムは、図 1に示した第 1の実施の形態に係る情報処理システムと比較して、仮想マシン管理装置 1が V M定期移動決定手段 1 8をさらに備えている点で相違する。第 1の実施の形態に係る情報処理システムの仮想マシン管理装置 1では、既存の仮想マシンの再配置が行われるケースは、新規仮想マシンの配置時に限られていた。これに対して、本実施の形態に係る情報処理システムの仮想マシン管理装置 1は、新規の仮想マシンの配置と独立して、 V M定期移動決定手段 1 8により一定時間毎に既存の仮想マシンの再配置を行う。

< V M定期移動決定手段 1 8の動作手順〉

以下では、図 1 9のフローチャートを用いて、本実施の形態における仮想マシン管理装置 1の V M定期移動決定手段 1 8の動作手順を説明する。

V M定期移動決定手段 1 8は、図 1 9に示される処理を前回実行し終えた時刻から一定時間が経過すると、再び図 1 9に示される処理を開始する。

まず、 V M定期移動決定手段 1 8は、資源情報 D B 1 5に格納された仮想マシン情報を参照して、稼働中の全仮想マシン 3 3からなる集合を取得する（ステツプ S 1 4 1 b )。以降では、これらの仮想マシン 3 3の集合を Mと表記する。次に、 V M定期移動決定手段 1 8は、 Mの中に少なくとも 1つの仮想マシン 3 3が含まれることを確認する（ステップ S 1 4 2 b )。条件に該当する場合にはステツプ S 1 4 3 bに進み、該当しない場合にはステップ S 1 4 5 bに進む。ステップ S 1 4 3 bでは、 V M定期移動決定手段 1 8は、 Mから単一の仮想マシン 3 3についての情報を取り出す。さらに、 V M定期移動決定手段 1 8は、ここで取リ出した仮想マシン 3 3の情報を、 Mから取り除く。

次に、 V M定期移動決定手段 1 8は、ステップ S 1 4 3 bで取り出した仮想マシンについて、可能な移動方法のそれぞれについてのスコア差分を計算する（ステツプ S 1 4 4 b )。本ステップ S 1 4 4 bにおける「可能な移動方法」とは、移動対象の仮想マシンと、移動先のサーバ装置上で稼働中のすべての仮想マシンについて、それらの仮想マシン上で動作しているサ一ビスが使用する資源についての条件（C P U使用率、メモリ量など）を満たす、仮想マシンと移動先サーバ装置の対を意味する。また、スコア差分の計算は、 V M移動決定手段 1 4と同様に行う。本ステップ終了後、ステップ S 1 4 2 bに戻る。

ステップ S 1 4 5 bでは、 V M定期移動決定手段 1 8は、ステップ S 1 4 2 b - S 1 4 4 bでスコア差分を計算した移動方法のうち、スコア差分が予め定められた閾値以上であるような移動方法が少なくとも 1つあるかどうかを確認する。条件に該当する場合にはステップ S 1 4 6に進み、該当しない場合には、 V M定期移動決定手段 1 8の今回の処理を終了する。ここで用いる閾値は 0以上の定数であり、事前に値が決められている。

ステップ S 1 4 6では、 V M定期移動決定手段 1 8は、スコア差分が予め定められた閾値以上である 1以上の移動方法の中からスコア差分を最大化する移動方法を選択する。このステップ S 1 4 6において選択する移動方法の数は任意に設定することができる。選択方法の一例としては、あらかじめ決めておいた数の移動方法を、スコア差分の大きい順に選択する方法がある。別の選択方法としては、ステップ S 1 4 5 bで用いた閾値以上のスコア差分を持つすべての移動方法を選択する方法がある。さらに別の選択方法としては、ステップ S "I 4 5 bで用いた閾値以上のスコア差分を持つ移動方法の中から事前に決めた数だけ選択し、かつ別の閾値以上のスコア差分を持つすべての移動方法を選択する方法がある。最後に、 V M定期移動決定手段 1 8は、決定した移動元および移動先のサーバ装置 3 おけるサーバエージ:！:ント 3 1に対して、選択した移動方法の実行を要求する（ステップ S 1 4 7 )。ステップ S 1 4 6および S 1 4 7の動作は、 V M移動決定手段 1 4の動作手順（図 1 0 )における S 1 4 6と S 1 4 7と同じである。

<第 3の実施の形態の効果 >

本実施の形態の仮想マシン管理装置によれば、第 1の実施の形態の仮想マシン管理装置と同様の効果が得られるとともに、稼働中の仮想マシン 3 3の再配置を定期的に試みるため、仮想マシン 3 3への資源配分を常に最適化することができる。このことにより、各仮想マシン 3 3上で稼動するサ一ビスの性能が向上する。なお、本実施の形態の仮想マシン管理装置は以下のような変更が可能である。

V M定期移動決定手段 1 8は一定時間ごとに図 1 9に示される処理を実行するものとしたが、サーバ装置 3や仮想マシン 3 3のリソースが予め定められた一定の条件に達した場合に、図 1 9に示される処理を開始するようにしても良い。

V M配置決定手段 1 3および V M移動決定手段 1 4の代わりに、第 2の実施の形態における V M配置■移動決定手段 1 7と同様な手段を仮想マシン管理装置 1 に備える構成であっても良い。

<第 4の実施の形態 >

図 2 0を参照すると、本発明の第 4の実施の形態に係る情報処理システムは、図 1に示した第 1の実施の形態に係る情報処理システムと比較して、仮想マシン管理装置 1が V M停止手段 1 9および停止時 V M移動決定手段 1 Aをさらに備えている点で相違する。

第 1の実施の形態による仮想マシン管理装置では、既存の仮想マシンの再配置が行われるケースは、新規仮想マシンの配置時に限られていた。これに対して本実施の形態による仮想マシン管理装置は、 V M停止手段 1 9によりサーバ装置 3 上の仮想マシン 3 3が停止された時点で、停止時 V M移動決定手段 1 Aにより、仮想マシン 3 3が停止し†こサ一 / 装置 3へ他のサー/く装置 3上の仮想マシン 3 3 を移動させることで再配置を行う。

ぐ V M停止手段 1 9の動作手順 > VM停止手段 1 9は、管理端末 2から、停止対象の仮想マシン名を含む仮想マシン停止要求を受け取る。 VM停止手段 1 9は、仮想マシン停止要求に従って仮想マシンを停止するとともに、停止時 VM移動決定手段 1 Aを呼び出して既存の仮想マシンを移動させる機能を持つ。

図 21は、本実施の形態の仮想マシン管理装置における VM停止手段 1 9の動作手順を示すフローチャートである。以下に、本動作手順の詳細を説明する。まず、 VM停止手段 1 9は、停止対象の仮想マシン 33が稼動するサーバ装置 3上のサーバエージェント 31に対して、当該仮想マシン 33の停止を要求する (ステップ S 1 91 )。

次に、 VM停止手段 1 9は、停止時 VM移動決定手段 1 Aを用いて、稼働中の仮想マシン 33の移動を試みる（ステップ S 1 4 b -S 1 47)₀ ここでの停止時 VM移動決定手段 1 Aの動作は、第 3の実施の形態における VM定期移動決定手段 1 8の動作（図 1 9) と比較し、以下の点が異なる以外は同じである。

1 ) ステップ S 1 41 bにおいて、移動対象の仮想マシン 33の集合 Mには、停止対象の仮想マシン 33と同一のサーバ装置 3上で動作している仮想マシン 3 3を含めない。

2) ステップ S 1 44 bにおいて、可能な移動方法には、停止対象の仮想マシン 33が動作していたサーバ装置 3を移動先とする移動方法のみを含める。

<第 4の実施の形態の効果 >

本実施の形態の仮想マシン管理装置によれば、第 1の実施の形態の仮想マシン管理装置と同様の効果が得られるとともに、仮想マシン 33の停止時に他の仮想マシン 33の再配置を試みることで、仮想マシン 33への資源配分を最適化することができる。このことにより、各仮想マシン 33上で稼動するサービスの性能が向上する。

なお、 VM配置決定手段 1 3および VM移動決定手段 1 4の代わりに、第 2の実施の形態の仮想マシン管理装置における VM配置 '移動決定手段 1 7と同様な手段、あるいは第 3の実施の形態の仮想マシン管理装置における V M定期移動決定手段 1 8と同様な手段を仮想マシン管理装置 1に備える構成であっても良い。以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、また、本発明の仮想マシン管理装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンビュ一タの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における仮想マシン管理装置として機能させ、前述した処理を実行させる。産業上の利用可能性：

本発明によれば、企業情報システムを構成するサーバ資源を一元的に管理する運用管理ミドルウェアといった用途に適用できる。また、複数の個人や法人ユーザに対してサーバ資源を貸し出すホスティングサービスおよびアプリケーションサービスプロバイダ（A S P、 App l i cat i on Serv i ce Prov i der) を構成する資源管理ソフトウエアといった用途にも適用できる。

Claims

1 ネットワーク（4 ) を介して複数のサーバ装置（3 ) に接続された仮想マシン管理装置（1 ) であって、

仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコアを記憶する配置規則表（1 6 ) と、新規の仮想マシンを配置可能な 1以上のサーバ装置を選択し、該選択したサー

き α青

バ装置について新規の仮想マシンを配置する場合における指標値を前記スコアを用いて計算し、該計算した指標値を参照して新規の仮想マシンの配置先を決定すの

る仮想マシン配置決定手段（1 3 ) と、

を備えることを特徴とする仮想マシン管理装置。

囲

2 . 前記仮想マシン配置決定手段（1 3 ) は、新規の仮想マシンを配置可能なサーバ装置として、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置を選択することを特徴とする、請求の範囲第 1項に記載の仮想マシン管理装置。

3 . 前記仮想マシン配置決定手段（1 3 ) から呼び出されることにより、サ —バ装置（3 ) 上の既存の仮想マシン（3 3 ) を他のサーバ装置に移動させることによリ、新規の仮想マシンを配置可能なサーバ装置を生成する仮想マシン移動決定手段（1 4 ) を備えることを特徴とする、請求の範囲第 2項に記載の仮想マシン管理装置。

4 . 前記仮想マシン移動決定手段（1 4 ) は、新規の仮想マシンを配置可能なサーバ装置を生成できる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して仮想マシンの移動方法を決定することを特徴とする、請求の範囲第 3項に記載の仮想マシン管理装置。

5 . 前記仮想マシン配置決定手段（1 3 ) は、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置が存在しない場合に前記仮想マシン移動決定手段（1 4 ) を呼び出すことを特徴とする、請求の範囲第 3項に記載の仮想マシン管理装置。

6. 新規の仮想マシンの配置とは独立に、サーバ装置上の仮想マシンを他のサーバ装置へ移動させる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して既存の仮想マシンの移動を行う移動手段（1 8 ; 1 A) を備えることを特徴とする、請求の範囲第 1項に記載の仮想マシン管理装置。

7. 前記移動手段（1 8 ; 1 A) は、一定時間ごと、サーバ装置（3) あるいは仮想マシン（33) のリソースが予め定められた一定の条件に達するごと、または仮想マシン（33) の停止ごとに動作することを特徴とする、請求の範囲第 6項に記載の仮想マシン管理装置。

8. 仮想マシンの種別ごとに、その種別の仮想マシン（33) が配置されているサーバ装置（3) から当該仮想マシンのリソースの使用状況と他の仮想マシンとの間の通信状況とを収集するサーバ監視手段（1 1) と、

該サーバ監視手段（1 1 ) で収集された情報と予め定められたスコア生成規則とから前記スコアを生成して前記配置規則表（1 6) に記憶する配置規則生成手段（1 2) と

を備えることを特徴とする、請求の範囲第 1項に記載の仮想マシン管理装置。

9. ネットワーク（4) を介して複数のサーバ装置（3) に接続された仮想マシン管理装置（1 ) であって、

仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコアを記憶する配置規則表（1 6) と、既存の仮想マシンの移動を伴わない新規の仮想マシンの配置方法、および、既存の仮想マシンの移動を伴う新規の仮想マシンの配置方法の各候補を選択し、該選択した各候補について、当該配置方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して新規の仮想マシンの配置先を決定する仮想マシン配置■移動決定手段（1フ）と、

を備えることを特徴とする仮想マシン管理装置。

10. 新規の仮想マシンの配置とは独立に、サーバ装置（3) 上の仮想マシン（33) を他のサーバ装置へ移動させる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して既存の仮想マシンの移動を行う移動手段（1 8 ; 1 A) を備えることを特徴とする、請求の範囲第 9項に記載の仮想マシン管理装置。

1 1. 前記移動手段（1 8 ； 1 A) は、一定時間ごと、サーバ装置（3) あるいは仮想マシン（ 33 )のリソースが予め定められた一定の条件に達するごと、または仮想マシンの停止ごとに動作することを特徴とする、請求の範囲第 1 0項に記載の仮想マシン管理装置。

1 2. 仮想マシンの種別ごとに、その種別の仮想マシンが配置されているサーバ装置から当該仮想マシンのリソースの使用状況と他の仮想マシンとの間の通信状況とを収集するサーバ監視手段（1 1 ) と、

を備えることを特徴とする、請求の範囲第 9項に記載の仮想マシン管理装置。

1 3. ネットワーク（4) を介して複数のサーバ装置（3) に接続されたコンピュータ（1 ) により前記サーバ装置（3) 上の仮想マシン（33) を管理する方法であって、

前記コンピュータ（1 ) が、新規の仮想マシンを配置可能な 1以上のサーバ装置を選択する第 1のステップ（S 1 31 , S 1 32) と、

前記コンピュータ（1 ) が、前記選択した各サーバ装置について、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコアを配置規則表（1 6) から参照して、新規の仮想マシンを当該サーバ装置（3) に配置する適切度を示す指標値を計算する第 2のステツプ（S 1 33) と、

前記コンピュータ（1 ) が、前記計算した指標値を参照して新規の仮想マシンの配置先を決定する第 3のステップ（S 1 34) と、

を含むことを特徴とする仮想マシン管理方法。

1 4. 前記第 1のステップ（S 1 31 ) では、新規の仮想マシンを配置可能なサーバ装置として、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置（3) を選択することを特徴とする、請求の範囲第 1 3項に記載の仮想マシン管理方法。

1 5. 前記第 1のステップでは、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置が存在しない場合（S 1 32の NO)、サーバ装置（3) 上の既存の仮想マシン（33) を他のサーバ装置に移動させる（S 1 4 "！〜 S 1 4 7) ことにより、新規の仮想マシンを配置可能なサーバ装置の生成を試みる（S 1 36) ことを特徴とする、請求の範囲第 1 1項に記載の仮想マシン管理方法。

1 6. 前記第 1のステップ（S 1 41〜S 1 47) では、新規の仮想マシンを配置可能なサーバ装置を生成できる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して仮想マシンの移動方法を決定することを特徴とする、請求の範囲第 1 5項に記載の仮想マシン管理方法。

1 7. 前記コンピュータ（1 ) が、新規の仮想マシンの配置とは独立に、サーバ装置（3) 上の仮想マシン（33) を他のサーバ装置へ移動させる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して既存の仮想マシンの移動を行う第 4のステツプ（S 1 41 b〜S 1 47) をさらに含むことを特徴とする、請求の範囲第 1 3 項に記載の仮想マシン管理方法。

1 8. 前記第 4のステップ（S 1 41 b〜S 1 47) は、一定時間ごと、サーバ装置（3) あるいは仮想マシン（33) のリソースが予め定められた一定の条件に達するごと、または仮想マシン（33) の停止ごとに開始することを特徴とする、請求の範囲第 1 フ項に記載の仮想マシン管理方法。

1 9. 前貢己コンピュータ（1 ) が、仮想マシン（33) の種別ごとに、その種別の仮想マシンが配置されているサーバ装置（3) から当該仮想マシンのリソースの使用状況と他の仮想マシンとの間の通信状況とを収集する第 5のステップ

(S 1 1 1〜S 1 1 3) と、前記コンピュータ（1 ) が、前記収集された情報と予め定められたスコア生成規則とから前記スコアを生成して前記配置規則表（1 6) に記憶する第 6のステップ（S 1 21〜S 1 25) と

をさらに含むことを特徴とする、請求の範囲第 1 3項に記載の仮想マシン管理方法。

20. ネットワーク（4) を介して複数のサーバ装置（3) に接続されたコンピュータ（1 ) により前記サーバ装置（3) 上の仮想マシン（33) を管理する方法であって、

前記コンピュータ（1 ) が、既存の仮想マシンの移動を伴わない新規の仮想マシンの配置方法、および、既存の仮想マシンの移動を伴う新規の仮想マシンの配置方法の各候補を選択する第 1のステップ（S 1 71 , S 1 72, S 1 74〜S 1 76) と、

前記コンピュータ（1 ) が、前記選択した各候補について、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコアを配置規則表（1 6) から参照して、当該配置方法の適切度を示す指標値を計算する第 2のステップ（S 1 73, S 1 77) と、

前記コンピュータ（1 ) が、前記計算した指標値を参照して新規の仮想マシンの配置先を決定する第 3のステップ（S 1 79, S 1 71 0) と

を含むことを特徴とする仮想マシン管理方法。

21. 前記コンピュータ（1 ) が、新規の仮想マシンの配置とは独立に、サーバ装置（3) 上の仮想マシン（33) を他のサーバ装置へ移動させる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して既存の仮想マシンの移動を行う第 4のステツプ（S 1 41 b~S 1 7) をさらに含むことを特徴とする、請求の範囲第 20 項に記載の仮想マシン管理方法。

22. 前記第 4のステップ（S 1 41 b〜S 1 4フ）は、一定時間ごと、サ —バ装置（3) あるいは仮想マシン（33) のリソースが予め定められた一定の条件に達するごと、または仮想マシン（33) の停止ごとに開始することを特徴とする、請求の範囲第 21項に記載の仮想マシン管理方法。

23. 前記コンピュータ（1 ) 力、仮想マシン（33) の種別ごとに、その種別の仮想マシンが配置されているサーバ装置（3) から当該仮想マシンのリソースの使用状況と他の仮想マシンとの間の通信状況とを収集する第 5のステツプ (S 1 1 1〜S 1 1 3) と、

前記コンピュータ（1 ) が、前記収集された情報と予め定められたスコア生成規則とから前記スコアを生成して前記配置規則表（1 6) に記憶する第 6のステップ（S 1 21〜S 1 25) と

をさらに含むことを特徴とする、請求の範囲第 20項に記載の仮想マシン管理方法。

24. ネットワーク（4) を介して複数のサーバ装置（3) に接続されたコンピュータ（ 1 ) に、

新規の仮想マシンを配置可能な 1以上のサーバ装置を選択する第 1の処理（S 1 31 , S 1 32) と、

前記選択した各サーバ装置について、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコアを配置規則表（1 6) から参照して、新規の仮想マシンを当該サーバ装置に配置する適切度を示す指標値を計算する第 2の処理（S 1 33) と、

前記計算した指標値を参照して新規の仮想マシンの配置先を決定する第 3の処理（ S 1 34 ) と

を行わせるためのプログラム。

25. 前記第 1の処理（S 1 31 ) では、新規の仮想マシンを配置可能なサーバ装置として、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置（ 3 )を選択することを特徴とする、請求の範囲第 24項に記載のプログラム。

26. 前記第 1の処理では、新規の仮想マシンに必要なリソースを現に確保できるサーバ装置が存在しない場合（S 1 32の NO)、サーバ装置（3) 上の既存の仮想マシン（33) を他のサーバ装置に移動させる（S 1 4 "！〜 S 1 47) ことにより、新規の仮想マシンを配置可能なサーバ装置の生成を試みる（S 1 3 6) ことを特徴とする、請求の範囲第 25項に記載のプログラム。

27. 前記第 1の処理（S 141〜S 1 47) では、新規の仮想マシンを配置可能なサーバ装置を生成できる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して仮想マシンの移動方法を決定することを特徴とする、請求の範囲第 26項に記載のプログラム。

28. 前記コンピュータ（1 ) に、さらに、新規の仮想マシンの配置とは独立に、サーバ装置（3) 上の仮想マシン（33) を他のサーバ装置へ移動させる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して既存の仮想マシンの移動を行う第 4 の処理（S 1 41 b〜S 1 47) を行わせることを特徴とする、請求の範囲第 2 4項に記載のプログラム。

29. 前記第 4の処理（S 141 b〜S 1 47) は、一定時間ごと、サーバ装置（3) あるいは仮想マシン（33) のリソースが予め定められた一定の条件に達するごと、または仮想マシン（33) の停止ごとに開始することを特徴とする、請求の範囲第 28項に記載の仮想マシン管理方法。

30. 前記コンピュータ（1 ) に、さらに、

仮想マシン（33) の種別ごとに、その種別の仮想マシンが配置されているサーバ装置（3) から当該仮想マシンのリソースの使用状況と他の仮想マシンとの間の通信状況とを収集する第 5の処理（S 1 1 1〜S 1 1 3) と、

前記収集された情報と予め定められたスコァ生成規則とから前記スコアを生成して前記配置規則表（1 6) に記憶する第 6の処理（S 1 21〜S 1 25) とを行わせることを特徴とする、請求の範囲第 24項に記載のプログラム。

31. ネットワーク（4) を介して複数のサーバ装置（3) に接続されたコンピュ一タ（ 1 ) に、

既存の仮想マシンの移動を伴わない新規の仮想マシンの配置方法、および、既存の仮想マシンの移動を伴う新規の仮想マシンの配置方法の各候補を選択する第 1の処理（S 1 フ 1 , S 1 72, S 1 74〜S 1 76) と、前記選択した各候補について、仮想マシン種別の組合せ毎にその組合せの仮想マシン種別どうしが同じサーバ装置に配置される適切度を示すスコアを配置規則表（1 6) から参照して、当該配置方法の適切度を示す指標値を計算する第 2の処理（S 1 73， S 1 77) と、

前記計算した指標値を参照して新規の仮想マシンの配置先を決定する第 3の処理（S 1 79, S 1 7 1 0) と

を行わせることを特徴とするプログラム。

32. 前記コンピュータ（1 ) に、さらに、新規の仮想マシンの配置とは独立に、サーバ装置（3) 上の仮想マシン（33) を他のサーバ装置へ移動させる移動方法の各候補について、当該移動方法の適切度を示す指標値を前記スコアを用いて計算し、該計算した指標値を参照して既存の仮想マシンの移動を行う第 4 の処理（S 1 41 b〜S 1 47) を行わせることを特徴とする、請求の範囲第 3 1項に記載のプログラム。

33. 前記第 4の処理（S 1 41 b〜S 1 47) は、一定時間ごと、サーバ装置（3) あるいは仮想マシン（33) のリソースが予め定められた一定の条件に達するごと、または仮想マシン（33) の停止ごとに開始することを特徴とする、請求の範囲第 32項に記載の仮想マシン管理方法。

34. 前記コンピュータ（1 ) に、さらに、

仮想マシン（33) の種別ごとに、その種別の仮想マシンが配置されているサ —バ装置（3) から当該仮想マシンのリソースの使用状況と他の仮想マシンとの間の通信状況とを収集する第 5の処理（S 1 1 1〜S 1 1 3) と、

前記収集された情報と予め定められたスコア生成規則とから前記スコアを生成して前記配置規則表（1 6) に記憶する第 6の処理（S 1 21〜S 1 25) とを行わせることを特徴とする、請求の範囲第 31項に記載のプログラム。