JPWO2018042601A1 - 計算機システム、管理計算機、および記録媒体 - Google Patents

Abstract

複数の計算機リソースの中の特定計算機リソースの未割当量が必要量以上でないと判定された場合、管理計算機は、構成情報に基づいて、複数の仮想マシンの中から、追加仮想マシンの追加の影響を受ける仮想マシンを関連仮想マシンとして選択し、複数の仮想マシンのうち関連仮想マシンと異なる仮想マシンから貸主仮想マシンを選択し、貸主仮想マシンに割り当てられており且つ貸主仮想マシンに使用されていない特定計算機リソースの量である未使用量以下の特定計算機リソースを借用計算機リソースとして選択し、物理計算機に対し、借用計算機リソースを追加仮想マシンへ割り当てることで追加仮想マシンを作成することを、指示する。

Description

本発明は、計算機システムに関する。

仮想マシンの台数を増やし、性能向上を図るスケールアウト技術が知られている。スケールアウトは無限に効果があるわけではなく、ボトルネックとなる要素が存在するため、ある一定の台数でスケールアウトの効果は飽和する。

特許文献１に記載の監視制御システムは、トランザクション数などの負荷情報と、システムに要求されるスループットなどといった性能情報との相関から、スケールアウトを行う前に、ボトルネックとなる箇所を特定することができ、無効なスケールアウトを回避することができる。

特許第５５００３０１号公報

一般に、あるシステム全体で使用できるＣＰＵやメモリなどのリソース容量は限られている。たとえば、パブリッククラウドなどでは、契約の種類や利用料に応じて、ユーザが使用できるリソース量がある一定の量で制限されている。その限られたリソース量の範囲内で、システムを構成する各仮想マシンに対して、その仮想マシンに保証されるリソース量を予約量として、割り当てることができる。

各仮想サーバのリソース予約量は、多少の負荷変動があっても耐えられるように、多めに確保していることが多い。ただし、システムのすべての仮想マシンが予約量分のリソースをすべて使い切る状況は、稀であり、どうしても、未使用だが予約されて使用できないリソースが残ってしまう。

このような状況下で、特許文献１の技術を用いてスケールアウトを実施した場合、未使用のリソースが存在するにも関わらず、新たに追加する仮想マシンに対して必要なリソース量が予約できず、物理リソースのボトルネックを検出してしまい、スケールアウトを実施する事ができない。つまり、このような技術は、未使用であるが予約されて使用できないリソースを有効活用できない。

上記課題を解決するために、本発明の一態様である計算機システムは、複数の計算機リソースを含む物理計算機と、前記物理計算機に接続される管理計算機と、を備える。前記管理計算機は、前記物理計算機に対し、各計算機リソースの一部を複数の仮想マシンへ割り当てることで前記複数の仮想マシンを作成することを、指示し、前記複数の仮想マシンと前記複数の計算機リソースとの関係を示す構成情報を記憶し、各仮想マシンの状態に基づいて、仮想マシンの追加が必要である否かを判定する、ように構成されている。仮想マシンの追加が必要であると判定された場合、前記管理計算機は、各計算機リソースに対し、何れの仮想マシンにも割り当てられていない計算機リソースの量である未割当量が、追加される追加仮想マシンのための計算機リソースの必要量以上であるか否かを判定する。前記複数の計算機リソースの中の特定計算機リソースの未割当量が前記必要量以上でないと判定された場合、前記管理計算機は、前記構成情報に基づいて、前記複数の仮想マシンの中から、前記追加仮想マシンの追加の影響を受ける仮想マシンを関連仮想マシンとして選択し、前記複数の仮想マシンのうち前記関連仮想マシンと異なる仮想マシンから貸主仮想マシンを選択し、前記貸主仮想マシンに割り当てられており且つ前記貸主仮想マシンに使用されていない特定計算機リソースの量である未使用量以下の特定計算機リソースを借用計算機リソースとして選択し、前記物理計算機に対し、前記借用計算機リソースを前記追加仮想マシンへ割り当てることで前記追加仮想マシンを作成することを、指示する。

仮想マシンに割り当てられた計算機リソースを有効に利用できる。

実施例の計算機システムの構成を示す。 物理マシン稼働情報５１０を示す。 仮想マシン稼働負荷情報５３０を示す。 システム構成情報５５０を示す。 仮想マシン構成情報５６０を示す。 パラメータ情報５７０を示す。 パラメータ依存関係情報５８０を示す。 リソース貸借情報５９０を示す。 制御処理を示す。 スケールアウト処理を示す。 リソース確保処理を示す。 貸主仮想マシン決定処理を示す。 除外仮想マシン特定処理を示す。 借用判定処理を示す。 スケールイン処理を示す。

以下、図面を参照して本発明の実施形態を説明する。

以下の説明では、「×××テーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「×××テーブル」を「×××情報」と呼ぶことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。

また、以下の説明では、要素の識別情報として、ＩＤが使用されるが、それに代えて又は加えて他種の識別情報が使用されてもよい。

また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号又は参照符号における共通番号を使用し、同種の要素を区別して説明する場合は、その要素の参照符号を使用又は参照符号に代えてその要素に割り振られたＩＤを使用することがある。

また、以下の説明では、Ｉ／Ｏ（Input/Output）要求は、ライト要求又はリード要求であり、アクセス要求と呼ばれてもよい。

また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又はインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主語がプロセッサとされてもよい。プログラムを主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理又はシステムとしてもよい。また、プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサ（例えばＣＰＵ）と記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

また、以下の説明では、管理システムは、一以上の計算機を含んでいてもよい。具体的には、例えば、管理計算機が情報を表示する場合（具体的には、例えば、管理計算機が自分の表示デバイスに情報を表示する、或いは、管理計算機が表示用情報を遠隔の表示用計算機に送信する場合）、管理計算機が管理システムである。また、例えば、複数の計算機で管理計算機と同等の機能が実現されている場合は、当該複数の計算機（表示を表示用計算機が行う場合は表示用計算機を含んでよい）が、管理システムである。管理計算機（例えば管理システム）は、表示システムを含むＩ／Ｏシステムに接続されたインタフェースデバイスと、記憶資源（例えばメモリ）と、インタフェースデバイス及び記憶資源に接続されたプロセッサとを有してよい。表示システムは、管理計算機が有する表示デバイスでもよいし、管理計算機に接続された表示用計算機でもよい。Ｉ／Ｏシステムは、管理計算機が有するＩ／Ｏデバイス（例えばキーボード及びポインティングデバイス、タッチパネル）でもよいし、管理計算機に接続された表示用計算機又は別の計算機でもよい。管理計算機が「表示用情報を表示する」ことは、表示システムに表示用情報を表示することであり、これは、管理計算機が有する表示デバイスに表示用情報を表示することであってもよいし、管理計算機が表示用計算機に表示用情報を送信することであってもよい（後者の場合は表示用計算機によって表示用情報が表示される）。また、管理計算機が情報を入出力するとは、管理計算機が有するＩ／Ｏデバイスとの間で情報の入出力を行うことであってもよいし、管理計算機に接続された遠隔の計算機（例えば表示用計算機）との間で情報の入出力を行うことであってもよい。情報の出力は、情報の表示であってもよい。管理計算機は、監視制御サーバであってもよい。

以下、実施例の計算機システムの構成について説明する。

図１は、実施例の計算機システムの構成を示す。

本実施例の計算機システムは、監視制御サーバ１００、物理サーバ（物理計算機）２００、ロードバランサ３００、クライアント４００を含む。

監視制御サーバ１００は、ＣＰＵ１１０、メモリ１２０を含む。監視制御サーバ１００は更に、入力装置、表示装置、補助記憶装置等を含んでもよい。

ＣＰＵ１１０は、メモリ１２０に格納されたプログラムに従って、処理を実行する。メモリ１２０は、稼働負荷情報収集部１４１、稼働負荷予測部１４２、ＶＭデプロイ処理部１４３、リソース貸借処理部１４４、全体制御部１４５の、プログラムを格納する。更にメモリ１２０は、物理マシン稼働情報５１０、仮想マシン稼働負荷情報５３０、システム構成情報５５０、仮想マシン構成情報５６０、パラメータ情報５７０、パラメータ依存関係情報５８０、リソース貸借情報５９０の、データを格納する。

物理マシン稼働情報５１０は、物理マシンである物理サーバ２００の稼働状況を示す。仮想マシン稼働負荷情報５３０は、物理サーバ２００上で動作する仮想マシンの稼働状況および負荷を示す。システム構成情報５５０は、業務システムの構成を示す。仮想マシン構成情報５６０は、仮想マシンの構成を示す。パラメータ情報５７０は、仮想マシン上のソフトウェアのパラメータを示す。パラメータ依存関係情報５８０は、パラメータの依存関係を示す。リソース貸借情報５９０は、仮想マシン間のリソースの貸借の関係を示す。

稼働負荷情報収集部１４１は、物理マシン稼働情報５１０および仮想マシン稼働負荷情報５３０を収集する。稼働負荷予測部１４２は、仮想マシンの稼働状況及び負荷を予測する。ＶＭデプロイ処理部１４３は、仮想マシンの追加および削除を行う。リソース貸借処理部１４４は、仮想マシン間のリソースの貸借を行う。全体制御部１４５は、稼働負荷情報収集部１４１、稼働負荷予測部１４２、ＶＭデプロイ処理部１４３、リソース貸借処理部１４４を制御する。

物理サーバ２００は、通信ネットワークを介して監視制御サーバ１００に接続されている。物理サーバ２００は、ＣＰＵ２１０、メモリ２２０を含む。ＣＰＵ２１０は、メモリ２２０に格納されたプログラムに従って、処理を実行する。メモリ２２０は、複数のＷｅｂ／ＡＰ（application）サーバ２３０、ＤＢ（database）サーバ２４０、仮想マシン制御部２５０の、プログラムを格納する。物理サーバ２００は、監視制御サーバ１００からの指示に従って、物理サーバ２００内の複数のリソース（計算機リソース）の一部を仮想マシンに割り当てる（予約する）ことで、仮想マシンを作成する。

仮想マシン制御部２５０は、仮想マシンを生成し、その仮想マシンを制御する。Ｗｅｂ／ＡＰサーバ２３０は、仮想マシンであり、クライアント４００からのリクエストに応じて処理を行い、応答をクライアント４００へ返す。ＤＢサーバ２４０は、仮想マシンであり、Ｗｅｂ／ＡＰサーバ２３０からのリクエストに応じて処理を行い、応答をＷｅｂ／ＡＰサーバ２３０へ返す。ここでは、複数のＷｅｂ／ＡＰサーバ２３０とＤＢサーバ２４０が業務システムを構成する。業務システムは、少なくとも一つの仮想マシンを含む。物理サーバ２００は、複数の業務システムを作成し、動作させてもよい。

ロードバランサ３００は、通信ネットワークを介して物理サーバ２００に接続されている。ロードバランサ３００は、ＣＰＵ３１０、メモリ３２０を含む。ＣＰＵ３１０は、メモリ３２０に格納されたプログラムに従って、処理を実行する。ロードバランサ３００は、クライアント４００からのリクエストを複数のＷｅｂ／ＡＰサーバ２３０の何れか一つへ転送することにより、複数のＷｅｂ／ＡＰサーバ２３０の負荷分散を行う。

クライアント４００は、通信ネットワークを介してロードバランサ３００に接続されている。クライアント４００は、ＣＰＵ４１０、メモリ４２０を含む。ＣＰＵ４１０は、メモリ４２０に格納されたプログラムに従って、処理を実行する。クライアント４００は、Ｗｅｂ／ＡＰサーバ２３０へのリクエストをロードバランサ３００へ送信する。

物理サーバ２００は、クライアント４００へ業務システムを提供する。

図２は、物理マシン稼働情報５１０を示す。

物理マシン稼働情報５１０は、物理サーバ毎のエントリを有する。一つの物理サーバのエントリは、物理サーバ番号５１１、物理サーバ名５１２、ＣＰＵ予約量５２１、ＣＰＵ使用量５２２、ＣＰＵ余り量５２３、メモリ予約量５２４、メモリ使用量５２５、メモリ余り量５２６、ネットワーク帯域予約量５２７、ネットワーク帯域使用量５２８、ネットワーク帯域余り量５２９を含む。

物理サーバ番号５１１は、当該物理サーバの番号を示す。物理サーバ名５１２は、当該物理サーバの名称を示す。ＣＰＵ予約量５２１は、当該物理サーバのＣＰＵのうち、仮想マシンに対して予約されているリソース量［ＧＨｚ］を示す。ＣＰＵ使用量５２２は、当該物理サーバのＣＰＵのうち、仮想マシンに使用されているリソース量を示す。ＣＰＵ余り量５２３は、当該物理サーバのＣＰＵのうち、仮想マシンに予約されていて使用されていないリソース量、即ち、ＣＰＵ予約量５２１−ＣＰＵ使用量５２２を示す。メモリ予約量５２４は、当該物理サーバのメモリのうち、仮想マシンに対して予約されているリソース量［ＧＢ］を示す。メモリ使用量５２５は、当該物理サーバのメモリのうち、仮想マシンに使用されているリソース量を示す。メモリ余り量５２６は、当該物理サーバのメモリのうち、仮想マシンに予約されていて使用されていないリソース量、即ち、メモリ予約量５２４−メモリ使用量５２５を示す。ネットワーク帯域予約量５２７は、当該物理サーバのネットワーク帯域のうち、仮想マシンに対して予約されているリソース量［Ｇｂｐｓ］を示す。ネットワーク帯域使用量５２８は、当該物理サーバのネットワーク帯域のうち、仮想マシンに使用されているリソース量を示す。ネットワーク帯域余り量５２９は、当該物理サーバのネットワーク帯域のうち、仮想マシンに予約されていて使用されていないリソース量、即ち、ネットワーク帯域予約量５２７−ネットワーク帯域使用量５２８を示す。

図３は、仮想マシン稼働負荷情報５３０を示す。

仮想マシン稼働負荷情報５３０は、仮想マシン毎のエントリを有する。一つの仮想マシンのエントリは、仮想マシン番号５３１、仮想マシン名５３２、負荷５３３、最小ＳＬＡ（service level agreement）５３４、ＣＰＵ予約量５４１、ＣＰＵ使用量５４２、ＣＰＵ余り量５４３、メモリ予約量５４４、メモリ使用量５４５、メモリ余り量５４６、ネットワーク帯域予約量５４７、ネットワーク帯域使用量５４８、ネットワーク帯域余り量５４９を含む。

仮想マシン番号５３１は、当該仮想マシンの番号を示す。仮想マシン名５３２は、当該仮想マシンの名称を示す。負荷５３３は、当該仮想マシンの負荷［ｔｐｓ（transactions per second）］を示す。最小ＳＬＡ５３４は、ユーザに対して保証された当該仮想マシンの負荷の最小値を示す。ＣＰＵ予約量５４１は、当該仮想マシンにより予約されているＣＰＵのリソース量［ＧＨｚ］を示す。ＣＰＵ使用量５４２は、当該仮想マシンにより使用されているＣＰＵのリソース量を示す。ＣＰＵ余り量５４３は、当該仮想マシンにより予約されていて使用されていないＣＰＵのリソース量、即ちＣＰＵ予約量５４１−ＣＰＵ使用量５４２を示す。メモリ予約量５４４は、当該仮想マシンにより予約されているメモリのリソース量［ＧＢ］を示す。メモリ使用量５４５は、当該仮想マシンにより使用されているメモリのリソース量を示す。メモリ余り量５４６は、当該仮想マシンにより予約されていて使用されていないメモリのリソース量、即ちメモリ予約量５４４−メモリ使用量５４５を示す。ネットワーク帯域予約量５４７は、当該仮想マシンにより予約されているネットワーク帯域のリソース量［ＧＢ］を示す。ネットワーク帯域使用量５４８は、当該仮想マシンにより使用されているネットワーク帯域のリソース量を示す。ネットワーク帯域余り量５４９は、当該仮想マシンにより予約されていて使用されていないネットワーク帯域のリソース量、即ちネットワーク帯域予約量５４７−ネットワーク帯域使用量５４８を示す。

ＣＰＵ、メモリ、ネットワーク帯域の夫々をリソースと呼び、仮想マシンに予約されているリソース量を予約量と呼び、仮想マシンに使用されているリソース量を使用量と呼び、予約量−使用量を余り量（未使用量）と呼ぶ。仮想マシン毎の負荷や、仮想マシン毎、リソース毎の、予約量、使用量等を、稼働負荷情報と呼ぶ。仮想マシン稼働負荷情報５３０余り量を含まなくてもよいし、使用量／予約量である使用率を含んでもよいし、１−使用率である未使用率を含んでもよい。

負荷の代わりに、レスポンスタイム等の性能を示す情報が用いられてもよい。ＣＰＵ、メモリ、ネットワーク帯域以外のリソースが用いられてもよい。例えば、ネットワーク帯域の代わりに、ＮＩＣ（network interface card）数が用いられてもよい。ＣＰＵ周波数の代わりに、ＣＰＵコア数が用いられてもよい。

監視制御サーバ１００は、定期的に仮想マシンの稼働負荷情報を取得し、時系列の稼働負荷情報を記憶してもよい。

監視制御サーバ１００は、各リソースに対し、一つの物理サーバ２００上の全ての仮想マシンについて、予約量の合計と、使用量の合計と、余り量の合計とに基づいて、物理マシン稼働情報５１０において、対応するリソースの予約量と使用量と余り量を夫々算出してもよい。

図４は、システム構成情報５５０を示す。

システム構成情報５５０は、仮想マシン毎のエントリを有する。一つの仮想マシンのエントリは、システム番号５５１、システム名５５２、サーバ種別５５３、仮想マシン名５５４を含む。

システム番号５５１は、当該仮想マシンが属する業務システムの番号を示す。システム名５５２は、当該業務システムの名称を示す。サーバ種別５５３は、当該仮想マシンの種別を示す。本実施例におけるサーバ種別５５３は、ＡＰサーバ、ＤＢサーバ、Ｗｅｂサーバの何れか一つを示す。仮想マシン名５５４は、当該仮想マシンの名称を示す。

監視制御サーバ１００は、仮想マシンの追加および削除に応じて、システム構成情報５５０を設定する。

図５は、仮想マシン構成情報５６０を示す。

仮想マシン構成情報５６０は、仮想マシン毎のエントリを有する。一つの仮想マシンのエントリは、仮想マシン番号５６１、仮想マシン名５６２、ＣＰＵ周波数５６３、ＣＰＵコア数５６４、メモリ５６５、ネットワーク帯域５６６、ＯＳ５６７、ソフトウェア５６８を含む。

仮想マシン番号５６１は、当該仮想マシンの番号を示す。仮想マシン名５６２は、当該仮想マシンの名称を示す。ＣＰＵ周波数５６３は、当該仮想マシンに対して予約されたＣＰＵの周波数を示す。ＣＰＵコア数５６４は、当該仮想マシンに対して予約されたＣＰＵのコア数を示す。メモリ５６５は、当該仮想マシンに対して予約されたメモリの記憶容量を示す。ネットワーク帯域５６６は、当該仮想マシンに対して予約されたネットワーク帯域を示す。ＯＳ５６７は、当該仮想マシンのＯＳを示す。ソフトウェア５６８は、当該仮想マシンで動作するソフトウェアを示す。

図６は、パラメータ情報５７０を示す。

パラメータ情報５７０は、仮想マシン上のソフトウェアのパラメータ毎のエントリを有する。一つのパラメータのエントリは、パラメータ番号５７１、ソフトウェア名５７２、パラメータ名５７３、デフォルト値５７４、設定値５７５を含む。

パラメータ番号５７１は、当該パラメータの番号を示す。ソフトウェア名５７２は、当該パラメータを持つソフトウェアを示す。パラメータ名５７３は、当該パラメータの名称を示す。デフォルト値５７４は、当該パラメータのデフォルト値を示す。設定値５７５は、当該パラメータの設定値を示す。

監視制御サーバ１００は、予め管理者から入力された情報に基づいて、パラメータ名５７３およびデフォルト値５７４を設定する。

図７は、パラメータ依存関係情報５８０を示す。

パラメータ依存関係情報５８０は、パラメータとリソース量の依存関係毎のエントリを有する。一つの依存関係のエントリは、依存関係番号５８１、ソフトウェア名５８２、サイジング項目５８３、依存関係５８４を含む。

依存関係番号５８１は、当該依存関係の番号を示す。ソフトウェア名５８２は、当該依存関係を用いてリソース量を算出するソフトウェアの名称を示す。サイジング項目５８３、当該リソース量を示す。依存関係５８４は、当該パラメータから当該リソース量を算出するサイジング計算式を示す。サイジング計算式は例えば、確保するリソース量の算出に用いられる。例えば、パラメータが仮想マシンの負荷を示し、サイジング計算式が負荷から必要なＣＰＵのリソース量を算出する。

監視制御サーバ１００は、予め管理者から入力された情報に基づいてパラメータ依存関係情報５８０を作成する。

図８は、リソース貸借情報５９０を示す。

リソース貸借情報５９０は、リソースの借用毎のエントリを有する。一つの借用のエントリは、借用番号５９１、借主５９２、貸主５９３、借用リソース５９４、借用量５９５、借用期間５９６を含む。

借用番号５９１、当該借用の番号を示す。借主５９２は、当該リソースを借りる仮想マシン名を示す。貸主５９３は、当該リソースを貸す仮想マシン名を示す。借用リソース５９４は、借主５９２により貸主５９３から借りているリソースを示す。借用量５９５は、借りているリソース量を示す。借用期間５９６は、当該リソースを借りる期間を示す。

以下、計算機システムの動作について説明する。

監視制御サーバ１００は、計算機システムを監視してスケール変更を行う、制御処理を行う。

図９は、制御処理を示す。

Ｓ１１０において全体制御部１４５は、制御処理の終了の指示を受けたか否かを判定する。例えば、管理者が監視制御サーバ１００に対して終了の指示を入力する。

Ｓ１１０の結果がＹＥＳである場合、全体制御部１４５は、このフローを終了する。

Ｓ１１０の結果がＮＯである場合、Ｓ１２０において稼働負荷情報収集部１４１は、物理サーバ２００から稼働負荷情報を収集する。

Ｓ１３０において稼働負荷予測部１４２は、何れかの仮想マシンがスケールアウト条件を満たす（スケールアウトが必要である）か否かを判定する。ここで稼働負荷予測部１４２は、仮想マシン稼働負荷情報５３０における各リソースの予約量に対する使用量の割合を使用率として算出し、何れかの仮想マシンの何れかのリソースの使用率が予め設定されたスケールアウト使用率閾値を上回った場合、その仮想マシンがスケールアウト条件を満たすと判定してもよい。例えば、稼働負荷予測部１４２は、ある仮想マシンのＣＰＵ使用量５４２／ＣＰＵ予約量５４１がスケールアウト使用率閾値０．９を超えた場合、その仮想マシンがスケールアウト条件を満たすと判定する。また、稼働負荷予測部１４２は、ある仮想マシンの負荷が、予め設定されたスケールアウト負荷閾値を上回った場合、その仮想マシンがスケールアウト条件を満たすと判定してもよい。また、稼働負荷予測部１４２は、ある仮想マシンが特定のサイジング計算式の条件を満たさない場合に、その仮想マシンがスケールアウト条件を満たすと判定してもよい。

Ｓ１３０の結果がＹＥＳである場合、Ｓ１４０においてＶＭデプロイ処理部１４３は、スケールアウト条件を満たすと判定された仮想マシンを対象仮想マシンとして選択し、仮想マシンを追加するための後述のスケールアウト処理を行い、処理をＳ１１０へ移行させる。

Ｓ１３０の結果がＮＯである場合、Ｓ１５０において稼働負荷予測部１４２は、何れかの仮想マシンがスケールイン条件を満たす（スケールインが必要である）か否かを判定する。ここで稼働負荷予測部１４２は、何れかの仮想マシンの何れかのリソースの使用率が、予め設定されたスケールイン使用率閾値を下回った場合、その仮想マシンがスケールイン条件を満たすと判定してもよい。スケールイン使用率閾値は、スケールアウト使用率閾値と等しくてもよいし、スケールアウト閾値より小さくてもよい。また、稼働負荷予測部１４２は、ある仮想マシンの負荷が、予め設定されたスケールイン負荷閾値を下回った場合、その仮想マシンがスケールイン条件を満たすと判定してもよい。また、稼働負荷予測部１４２は、ある仮想マシンが借用しているリソースの借用期間が終了した場合、その仮想マシンがスケールイン条件を満たすと判定してもよい。

Ｓ１５０の結果がＹＥＳである場合、Ｓ１６０においてＶＭデプロイ処理部１４３は、スケールイン条件を満たすと判定された仮想マシンを対象仮想マシンとして選択し、仮想マシンを削除するための後述のスケールイン処理を行い、処理をＳ１１０へ移行させる。

Ｓ１５０の結果がＮＯである場合、稼働負荷予測部１４２は、処理をＳ１１０へ移行させる。

以上の制御処理によれば、監視制御サーバ１００は、仮想マシンの状況に応じて、スケールアウトおよびスケールインを行うことができる。監視制御サーバ１００は、終了の指示を受けるまで、一定の時間間隔でＳ１１０を行ってもよい。

監視制御サーバ１００は、前述のＳ１４０においてスケールアウト処理を行う。

図１０は、スケールアウト処理を示す。

Ｓ８１０においてＶＭデプロイ処理部１４３は、対象仮想マシンと同一の種類の追加仮想マシンに必要な複数のリソースの一つを対象リソースとして選択し、対象リソースを確保するための後述のリソース確保処理を行う。

Ｓ８２０においてＶＭデプロイ処理部１４３は、追加仮想マシンに必要な全てのリソースを確保したか否かを判定する。

Ｓ８２０の結果がＮＯである場合、ＶＭデプロイ処理部１４３は、処理をＳ８１０へ移行させる。

Ｓ８２０の結果がＹＥＳである場合、Ｓ８３０においてＶＭデプロイ処理部１４３は、確保されたリソースを追加仮想マシンに割り当てることで追加仮想マシンを作成し（スケールアウトを行い）、このフローを終了する。ここでＶＭデプロイ処理部１４３は、仮想マシン構成情報５６０へ当該仮想マシンのエントリを追加する。更にＶＭデプロイ処理部１４３は、ロードバランサ３００に対し、クライアント４００からのリクエストの転送先の設定へ、追加された仮想マシンを追加する。

以上のスケールアウト処理によれば、監視制御サーバ１００は、必要なリソースを確保し、スケールアウトを行うことができる。

監視制御サーバ１００は、前述のＳ８１０においてリソース確保処理を行う。

図１１は、リソース確保処理を示す。

Ｓ２１０においてＶＭデプロイ処理部１４３は、仮想マシン稼働負荷情報５３０に基づいて、追加仮想マシンに必要な対象リソース量である必要量を算出する。例えば、ＶＭデプロイ処理部１４３は、対象仮想マシンにおける対象リソースの予約量を、必要量として算出してもよい。

Ｓ２２０において稼働負荷予測部１４２は、物理マシン稼働情報５１０に基づいて、対象リソースの空きリソース量（未割当量）が必要量以上である物理サーバ２００を探す。ここで、対象リソース量のうち仮想マシンに予約されていない量を空きリソース量と呼ぶ。Ｓ２３０において稼働負荷予測部１４２は、対象リソースの空きリソース量が必要量以上である物理サーバ２００が存在するか否かを判定する。

Ｓ２３０の結果がＹＥＳである場合、Ｓ３６０において稼働負荷予測部１４２は、対象リソースの確保に成功したと判定し、このフローを終了する。

Ｓ２３０の結果がＮＯである場合、Ｓ２４０において稼働負荷予測部１４２は、余り条件を満たす（貸出可能な）仮想マシンを探す。例えば、余り条件は、対象リソースの使用率がスケールアウト使用率閾値より小さいことである。Ｓ２５０において稼働負荷予測部１４２は、余り条件を満たす仮想マシンが存在するか否かを判定する。

Ｓ２５０の結果がＹＥＳである場合、稼働負荷予測部１４２は、処理をＳ３２０へ移行させる。

Ｓ２５０の結果がＮＯである場合、Ｓ２６０において稼働負荷予測部１４２は、ＳＬＡ条件を満たす（ＳＬＡを確保できる）仮想マシンを探す。ここで稼働負荷予測部１４２は、最小ＳＬＡを維持するための対象リソースの下限量を設定し、ある仮想マシンの対象リソースの予約量が下限量よりも大きい場合、当該仮想マシンがＳＬＡ条件を満たすと判定する。Ｓ３１０において稼働負荷予測部１４２は、ＳＬＡ条件を満たす仮想マシンが存在するか否かを判定する。

Ｓ３１０の結果がＮＯである場合、Ｓ３７０において稼働負荷予測部１４２は、対象リソースの確保に失敗したと判定し、このフローを終了する。この場合、稼働負荷予測部１４２は、スケールアウト処理を中断し、スケールアウトの失敗を管理者に通知する。

Ｓ３１０の結果がＹＥＳである場合、Ｓ３２０においてＶＭデプロイ処理部１４３は、貸主を決定するための後述の貸主仮想マシン決定処理を行う。その後、Ｓ３３０においてリソース貸借処理部１４４は、後述の借用判定処理を行う。

Ｓ３４０においてリソース貸借処理部１４４は、借主が必要量の対象リソースを貸主から借用できるか否かを判定する。

Ｓ３４０の結果がＮＯである場合、リソース貸借処理部１４４は、処理をＳ３７０へ移行させる。

Ｓ３４０の結果がＹＥＳである場合、Ｓ３５０においてリソース貸借処理部１４４は、貸主の仮想マシンから必要量の対象リソースを借用し、処理をＳ３６０へ移行させる。ここでリソース貸借処理部１４４は、リソース貸借情報５９０において、貸主、借用リソース毎に、借用のエントリを追加する。ここでリソース貸借処理部１４４は、対象リソースを借用リソース５９４として設定し、借用判定処理により算出される借用可能量を借用量５９５として設定し、借用判定処理により算出される借用可能期間を借用期間５９６として設定する。更にリソース貸借処理部１４４は、仮想マシン稼働負荷情報５３０の貸主の対象リソースの使用量に借用量を加算する。

以上のリソース確保処理によれば、監視制御サーバ１００は、予約されていないリソース、または予約されているが使用されていないリソースを用いて、仮想マシンを追加することができる。業務システムにおけるリソース使用量×仮想マシン台数をリソース総量とすると、スケールアウト処理によりリソース総量を増やすことができる。

計算機システムが複数の物理サーバ２００を含む場合、監視制御サーバ１００は、複数の物理サーバ２００の中から対象リソースの余り量が多い順に選択し、選択された物理サーバ２００へ仮想マシンを追加してもよい。

複数の仮想マシンがスケールアウト条件を満たす場合、監視制御サーバ１００は、複数の仮想マシンの中から必要量が多い順に、対象仮想マシンを選択し、対象仮想マシンのスケールアウトを行ってもよい。また、監視制御サーバ１００は、予め各仮想マシンの種類に対して設定された優先度に従って対象仮想マシンを選択してもよい。

監視制御サーバ１００は、前述のＳ３２０において貸主仮想マシン決定処理を行う。

図１２は、貸主仮想マシン決定処理を示す。

Ｓ４１０においてリソース貸借処理部１４４は、余り条件を満たす仮想マシンを貸主候補として選択する。

Ｓ４２０において稼働負荷予測部１４２は、後述の除外仮想マシン特定処理を行うことで、除外仮想マシン（関連仮想マシン）を特定する。

Ｓ４３０においてリソース貸借処理部１４４は、貸主候補から除外仮想マシンを除外する。

Ｓ４４０においてリソース貸借処理部１４４は、残った貸主候補を貸主として決定し、このフローを終了する。ここでリソース貸借処理部１４４は、複数の貸主候補が存在する場合、複数の貸主候補の中から、貸主を選択してもよい。例えば、複数の貸主候補の中に、必要量の対象リソースを保有する１台の貸主候補がある場合、リソース貸借処理部１４４は、その１台を貸主として選択してもよい。例えば、リソース貸借処理部１４４は、稼働負荷情報の予測に基づいて、貸主候補の中から、最も借用の影響が小さい貸主候補を貸主として選択してもよい。例えば、リソース貸借処理部１４４は、仮想マシン間の関係に基づいて、貸主候補の中から、最も借用の影響が小さい貸主候補を貸主として選択してもよい。例えば、リソース貸借処理部１４４は、複数の貸主候補を複数の貸主として決定し、各貸主候補の借用可能量の割合を算出し、各割合に応じて必要量を複数の貸主へ分配することで、各貸主の借用量を決定してもよい。

以上の貸主仮想マシン決定処理によれば、監視制御サーバ１００は、使用されていないリソースを他の仮想マシンへ貸す仮想マシンを決定することができる。

監視制御サーバ１００は、前述のＳ４２０において除外仮想マシン特定処理を行う。

図１３は、除外仮想マシン特定処理を示す。

Ｓ５１０において稼働負荷予測部１４２は、対象リソースに関連するパラメータを、パラメータ依存関係情報５８０から選択する。例えば、稼働負荷予測部１４２は、対象仮想マシンがＡＰのソフトウェアを実行する場合、前述のパラメータ依存関係情報５８０の例において、ＡＰのメモリ量に関連するap_param3とdb_param1を選択する。

Ｓ５２０において稼働負荷予測部１４２は、選択されたパラメータが属するソフトウェアを、パラメータ情報５７０から選択する。例えば、稼働負荷予測部１４２は、前述のパラメータ情報５７０の例において、ap_param3とdb_param1が夫々属するソフトウェアＡＰとＤＢを選択する。

Ｓ５３０において稼働負荷予測部１４２は、選択されたソフトウェアが動作する仮想マシンを、仮想マシン構成情報５６０から選択する。例えば、稼働負荷予測部１４２は、前述の仮想マシン構成情報５６０の例において、ＡＰを実行する仮想マシン＃１、＃３とＤＢを実行する仮想マシン＃２を選択する。

Ｓ５４０において稼働負荷予測部１４２は、選択された仮想マシンのうち、借主と同一の業務システム内の仮想マシンを除外仮想マシンとして、システム構成情報５５０から選択し、このフローを終了する。例えば、稼働負荷予測部１４２は、前述のシステム構成情報５５０の例において、仮想マシン＃１、＃２、＃３の中から、対象仮想マシンが属する業務システムであるＡシステム内の仮想マシン＃１、＃２を除外仮想マシンとして選択する。

以上の除外仮想マシン特定処理によれば、監視制御サーバ１００は、スケールアウトの影響を受ける仮想マシンを貸主候補から除外することで、スケールアウトによる他の仮想マシンの性能低下を防ぐことができる。

監視制御サーバ１００は、前述のＳ３３０において借用判定処理を行う。

図１４は、借用判定処理を示す。

Ｓ６１０においてリソース貸借処理部１４４は、過去の仮想マシン稼働負荷情報５３０に基づいて、各貸主の仮想マシンの将来の稼働負荷情報を予測し、予測結果に基づいて、各貸主の借用可能期間を決定する。例えば、リソース貸借処理部１４４は、時系列の稼働負荷情報の現在の傾きを算出し、その傾きに基づいて将来の稼働負荷情報を予測する。また、例えば、リソース貸借処理部１４４は、予測結果において、貸主の対象リソースが余り条件を満たす期間を、借用可能期間として算出する。

Ｓ６２０においてリソース貸借処理部１４４は、借用可能期間内で借用可能な対象リソースの上限量を借用可能量として決定する。例えば、リソース貸借処理部１４４は、借用可能期間内で、（スケールアウト使用率閾値−使用率）×予約量を使用可能量として算出する。

Ｓ６３０においてリソース貸借処理部１４４は、全ての貸主の借用可能量の合計を算出する。

Ｓ６４０においてリソース貸借処理部１４４は、借用可能量の合計が必要量以上であるか否かを判定する。

Ｓ６４０の結果がＹＥＳである場合、Ｓ６５０においてリソース貸借処理部１４４は、借用可能と判定し、このフローを終了する。

Ｓ６４０の結果がＮＯである場合、Ｓ６６０においてリソース貸借処理部１４４は、借用不可能と判定し、このフローを終了する。

以上の借用判定処理によれば、監視制御サーバ１００は、各貸主の借用可能期間を算出することができ、借用可能か否かを判定することができる。

監視制御サーバ１００は、前述のＳ１６０においてスケールイン処理を行う。

図１５は、スケールイン処理を示す。

Ｓ７１０においてＶＭデプロイ処理部１４３は、対象仮想マシンに割り当てられている複数のリソースの一つを対象リソースとして選択し、対象仮想マシンに予約されている対象リソースを解放する。

Ｓ７２０においてＶＭデプロイ処理部１４３は、対象リソースが借用されているか否かを判定する。ここでＶＭデプロイ処理部１４３は、リソース貸借情報５９０内に、借主５９２が対象仮想マシンを示し、且つ借用リソース５９４が対象リソースを示す、エントリがある場合、対象リソースが借用されていると判定する。

Ｓ７２０の結果がＮＯである場合、ＶＭデプロイ処理部１４３は、処理をＳ７５０へ移行させる。

Ｓ７２０の結果がＹＥＳである場合、Ｓ７３０においてリソース貸借処理部１４４は、対象リソースの借用リソースを貸主へ返却する。ここでリソース貸借処理部１４４は、リソース貸借情報５９０から、対象リソースのエントリを削除する。

Ｓ７５０においてＶＭデプロイ処理部１４３は、対象仮想マシンに割り当てられた全てのリソースを解放したか否かを判定する。

Ｓ７５０の結果がＮＯである場合、ＶＭデプロイ処理部１４３は、処理をＳ７１０へ移行させる。

Ｓ７５０の結果がＹＥＳである場合、ＶＭデプロイ処理部１４３は、このフローを終了する。ここでＶＭデプロイ処理部１４３は、仮想マシン構成情報５６０から、対象仮想マシンのエントリを削除する。更にＶＭデプロイ処理部１４３は、ロードバランサ３００に対し、クライアント４００からのリクエストの転送先の設定から、削除された仮想マシンを削除する。

借用期間の終了時に、借主が引き続き借用リソースを必要としている場合、貸主が他の仮想マシンからリソースを借用し、借主が引き続き借用リソースを使用してもよい。

以上のスケールイン処理によれば、監視制御サーバ１００は、借用期間が終了した場合にリソースを返却でき、仮想マシンが不要になった場合に仮想マシンを削除できる。

物理計算機は、物理サーバ２００等に対応する。管理計算機は、監視制御サーバ１００等に対応する。メモリは、メモリ１２０等に対応する。プロセッサは、ＣＰＵ１１０等に対応する。状態は、仮想マシン稼働負荷情報５３０内の何れかの情報等に対応する。構成情報は、システム構成情報５５０、仮想マシン構成情報５６０、パラメータ情報５７０、パラメータ依存関係情報５８０内の何れかの情報等に対応する。

以上、本発明の実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲を上記構成に限定する趣旨ではない。本発明は、他の種々の形態でも実施する事が可能である。

１００…監視制御サーバ、 １１０…ＣＰＵ、 １２０…メモリ、 ２００…物理サーバ、 ２１０…ＣＰＵ、 ２２０…メモリ、 ２３０…Ｗｅｂ／ＡＰサーバ、 ２４０…ＤＢサーバ、 ３００…ロードバランサ、 ３１０…ＣＰＵ、 ３２０…メモリ、 ４００…クライアント、 ４１０…ＣＰＵ、 ４２０…メモリ

Claims (11)

1. 複数の計算機リソースを含む物理計算機と、
   前記物理計算機に接続される管理計算機と、
   を備え、
   前記管理計算機は、
   前記物理計算機に対し、各計算機リソースの一部を複数の仮想マシンへ割り当てることで前記複数の仮想マシンを作成することを、指示し、
   前記複数の仮想マシンと前記複数の計算機リソースとの関係を示す構成情報を記憶し、
   各仮想マシンの状態に基づいて、仮想マシンの追加が必要である否かを判定する、
   ように構成されており、
   仮想マシンの追加が必要であると判定された場合、前記管理計算機は、各計算機リソースに対し、何れの仮想マシンにも割り当てられていない計算機リソースの量である未割当量が、追加される追加仮想マシンのための計算機リソースの必要量以上であるか否かを判定し、
   前記複数の計算機リソースの中の特定計算機リソースの未割当量が前記必要量以上でないと判定された場合、前記管理計算機は、前記構成情報に基づいて、前記複数の仮想マシンの中から、前記追加仮想マシンの追加の影響を受ける仮想マシンを関連仮想マシンとして選択し、前記複数の仮想マシンのうち前記関連仮想マシンと異なる仮想マシンから貸主仮想マシンを選択し、前記貸主仮想マシンに割り当てられており且つ前記貸主仮想マシンに使用されていない特定計算機リソースの量である未使用量以下の特定計算機リソースを借用計算機リソースとして選択し、前記物理計算機に対し、前記借用計算機リソースを前記追加仮想マシンへ割り当てることで前記追加仮想マシンを作成することを、指示する、
   計算機システム。
2. 前記物理計算機は、複数の業務システムを作成し、
   各業務システムは、前記複数の仮想マシンの何れかを含み、
   前記構成情報は、前記複数の業務システムと、前記複数の仮想マシンとの関係を示し、
   前記特定計算機リソースの未割当量が前記必要量以上でないと判定された場合、前記管理計算機は、前記構成情報に基づいて、前記複数の業務システムの中から、前記追加仮想マシンを含む特定業務システムを特定し、前記特定業務システムから前記関連仮想マシンを選択する、
   請求項１に記載の計算機システム。
3. 前記構成情報は、仮想マシンと、ソフトウェアと、パラメータと、計算機リソースとの関係を示し、
   前記特定計算機リソースの未割当量が前記必要量以上でないと判定された場合、前記管理計算機は、前記構成情報に基づいて、前記特定計算機リソースに関連するパラメータを特定し、前記特定されたパラメータを用いるソフトウェアを特定し、前記特定業務システム内の仮想マシンのうち、前記特定されたソフトウェアを実行する仮想マシンを前記関連仮想マシンとして選択する、
   請求項２に記載の計算機システム。
4. 各仮想マシンの状態は、対応する仮想マシンに割り当てられている計算機リソースの量である予約量と、対応する仮想マシンにより使用されている計算機リソースの使用量との関係を示し、
   前記未割当量が前記必要量以上でないと判定された場合、前記管理計算機は、各仮想マシンの状態に基づいて、前記複数の仮想マシンの何れかに割り当てられている特定計算機リソースを貸し出し可能であるか否かを判定し、
   前記複数の仮想マシンの何れかに割り当てられている特定計算機リソースを貸し出し可能であると判定された場合、前記管理計算機は、前記特定計算機リソースを貸し出し可能であると判定された仮想マシンであって前記関連仮想マシンと異なる仮想マシンから、前記貸主仮想マシンを選択する、
   請求項３に記載の計算機システム。
5. 前記複数の仮想マシンの何れに割り当てられている特定計算機リソースも貸し出し可能でないと判定された場合、前記管理計算機は、前記複数の仮想マシンのうち、予め設定されたＳＬＡを確保できる仮想マシンであって前記関連仮想マシンと異なる仮想マシンから、前記貸主仮想マシンを選択する、
   請求項４に記載の計算機システム。
6. 前記管理計算機は、前記複数の仮想マシンの過去の状態に基づいて、前記貸主仮想マシンの将来の状態を予測し、前記予測の結果に基づいて、前記借用計算機リソースの借用期間を算出し、前記借用期間の終了時、前記借用計算機リソースを前記貸主仮想マシンへ返却する、
   請求項５に記載の計算機システム。
7. 前記管理計算機は、前記予測の結果に基づいて、前記借用計算機リソースの量である借用量を算出する、
   請求項６に記載の計算機システム。
8. 前記借用期間の終了時、前記管理計算機は、各仮想マシンの状態に基づいて、仮想マシンの追加が必要である否かを判定する、
   請求項７に記載の計算機システム。
9. 前記追加仮想マシンの実行中、前記管理計算機は、前記追加仮想マシンの状態に基づいて、前記追加仮想マシンの削除が必要であるか否かを判定し、
   前記追加仮想マシンの削除が必要であると判定された場合、前記借用計算機リソースを前記貸主仮想マシンへ返却する、
   請求項８に記載の計算機システム。
10. メモリと、
    前記メモリに接続されるプロセッサと、
    を備え、
    前記プロセッサは、
    複数の計算機リソースを含む物理計算機に対し、各計算機リソースの一部を複数の仮想マシンへ割り当てることで前記複数の仮想マシンを作成することを、指示し、
    前記複数の仮想マシンと前記複数の計算機リソースとの関係を示す構成情報を記憶し、
    各仮想マシンの状態に基づいて、仮想マシンの追加が必要である否かを判定する、
    ように構成されており、
    仮想マシンの追加が必要であると判定された場合、前記プロセッサは、各計算機リソースに対し、何れの仮想マシンにも割り当てられていない計算機リソースの量である未割当量が、追加される追加仮想マシンのための計算機リソースの必要量以上であるか否かを判定し、
    前記複数の計算機リソースの中の特定計算機リソースの未割当量が前記必要量以上でないと判定された場合、前記プロセッサは、前記構成情報に基づいて、前記複数の仮想マシンの中から、前記追加仮想マシンの追加の影響を受ける仮想マシンを関連仮想マシンとして選択し、前記複数の仮想マシンのうち前記関連仮想マシンと異なる仮想マシンから貸主仮想マシンを選択し、前記貸主仮想マシンに割り当てられており且つ前記貸主仮想マシンに使用されていない特定計算機リソースの量である未使用量以下の特定計算機リソースを借用計算機リソースとして選択し、前記物理計算機に対し、前記借用計算機リソースを前記追加仮想マシンへ割り当てることで前記追加仮想マシンを作成することを、指示する、
    管理計算機。
11. プロセスをコンピュータに実行させるプログラムを格納するコンピュータ読取可能な記録媒体であって、
    前記プロセスは、
    複数の計算機リソースを含む物理計算機に対し、各計算機リソースの一部を複数の仮想マシンへ割り当てることで前記複数の仮想マシンを作成することを、指示し、
    前記複数の仮想マシンと前記複数の計算機リソースとの関係を示す構成情報を記憶し、
    各仮想マシンの状態に基づいて、仮想マシンの追加が必要である否かを判定し、
    仮想マシンの追加が必要であると判定された場合、各計算機リソースに対し、何れの仮想マシンにも割り当てられていない計算機リソースの量である未割当量が、追加される追加仮想マシンのための計算機リソースの必要量以上であるか否かを判定し、
    前記複数の計算機リソースの中の特定計算機リソースの未割当量が前記必要量以上でないと判定された場合、前記構成情報に基づいて、前記複数の仮想マシンの中から、前記追加仮想マシンの追加の影響を受ける仮想マシンを関連仮想マシンとして選択し、前記複数の仮想マシンのうち前記関連仮想マシンと異なる仮想マシンから貸主仮想マシンを選択し、前記貸主仮想マシンに割り当てられており且つ前記貸主仮想マシンに使用されていない特定計算機リソースの量である未使用量以下の特定計算機リソースを借用計算機リソースとして選択し、前記物理計算機に対し、前記借用計算機リソースを前記追加仮想マシンへ割り当てることで前記追加仮想マシンを作成することを、指示する、
    ことを備える、
    記録媒体。

Images