JPWO2016178316A1 - 計算機調達予測装置、計算機調達予測方法、及び、プログラム - Google Patents

Abstract

ＶＭの需要変動、計算期間の再配置、および、負荷変動を考慮してＶＭを配置される計算機の追加が必要となる時期を予測する為に計算機調達時期予測装置は、複数の計算機に配備すべき仮想マシン（以降、ＶＭ）の生成状況を示す需要変動統計に基づいて、時刻ｔ−Δｔからｔ迄に生成されるＶＭ数の予測値を算出し、時刻ｔ−Δｔに計算機に配備されているＶＭ数が登録されている配置対象リストに追加するＶＭ需要予測手段と、複数の計算機上のＶＭの負荷変動を示す負荷変動統計に基づいて、配置対象リストに登録されている数のＶＭの、時刻ｔにおける予測負荷を出力するＶＭ負荷変動予測手段と、予測負荷に基づいて、配置対象リストに登録されている数のＶＭを、仮想的に時刻ｔに複数の計算機に配置し、資源不足が発生するか否かを判定するＶＭ配置制御仮想実行手段と、を備える。

Description

本発明は、計算機調達予測装置、計算機調達予測方法、及び、プログラム、特に、例えばクラウド環境において、仮想マシンの需要予測と負荷変動を考慮して仮想マシンを配置する計算機を追加すべき時期を予測する装置、方法、プログラムに関する。

データセンタに集約された計算機資源を、ネットワーク経由で、組織内の利用者に提供するプライベートクラウドシステムが広く活用されている。近年ではプライベートクラウドシステムは、スマートフォンやタブレット端末などの計算処理をプライベートクラウドシステムで実行することでモバイル端末紛失等に伴う情報漏えいリスクを回避する用途にも用いられている。利用者は、モバイル端末に秘密情報を格納せず、仮想プライベートネットワークを介して、データセンタにある実行環境にアクセスすることで、セキュアで効率的なモバイル作業環境を実現できる。

プライベートクラウドシステムにおけるデータセンタでは一般的に計算処理を実行するために仮想マシン（以降、ＶＭ）が利用される。ＶＭはソフトウェアによって実現される仮想的な計算機環境である。ＶＭは、物理的なサーバ上で複数のＶＭを同時実行できるため、物理サーバ計算機資源を有効活用できる。また、一度作成したＶＭは別の物理サーバに移動させることもできる。プライベートクラウドシステムの運営者は、ＶＭの配置を変えてデータセンタを運用することにより、データセンタ内の計算機資源を最大限に有効活用できる。ＶＭの配置を最適化するために様々なＶＭ配置設計技術が活用されている。プライベートクラウドシステムの運営者は、ＶＭ配置の工夫により、限られた物理サーバ上で可能な限り多くの仮想マシンを稼働させることが可能でなる。

しかし、プライベートクラウドシステムのユーザ数増加に伴ってＶＭの需要が継続的に増えていく場合、ＶＭ配置設計によるサーバ集約は限界に達し、データセンタ内の計算機資源不足が生じる。計算機資源不足となった場合、プライベートクラウドシステムの運営者は、物理サーバを新たに追加することで需要に耐える計算機資源を確保する必要がある。しかし、物理サーバを追加するためには新規サーバの調達コストがかかる。さらに、物理サーバ設置、システム構成変更、運用手順の見直し等にかかるコストも無視できない。このような観点から、プライベートクラウドシステムの運用者は物理サーバが追加で必要となる時期を事前に予測しておくことが望ましい。

需要を見越して事前に製品や部品を調達しておくことは在庫管理の問題として広く知られている。例えば、特許文献１は、製品の販売実績に基づいて必要となる中間部品を算出し、並行して部品の利用実績データを基に必要な部品の数を算出する需要予測装置を開示する。

特許文献２は、計算機で動作するアプリケーションの負荷変動を予測してサーバを追加する時期を決定する手法の一例を開示する。特許文献２は、アプリケーションの負荷変動を予測することを前提とし、予測が外れた場合のリスクを削減する手法を開示している。

物理サーバ上で動作可能なＶＭの数は、個々のＶＭが利用する計算機資源の種類や量、負荷変動に依存して変化する。利用されなくなったＶＭは計算機資源を必要としない。さらに、そのようなＶＭの特性を考慮して、最大限に物理サーバの計算機資源を有効活用するようにＶＭ配置設計機能が動作してＶＭの配置を決定している。例えば、非特許文献１は、ＶＭの負荷変動を監視して物理サーバへの配置を柔軟に変えて負荷を分散させる技術を開示している。

特許文献３は、システムに関する需要予測データに基づいて、当該システムに飛びサーバが必要となる期間を把握するシステムを開示する。特許文献４は、仮想マシン上のＳＩＰ（Session Initiation Protocol）サーバが処理する加入者数を監視して、今後発生が予想されるトラフィック量を推測するシステムを開示する。このシステムは、仮想マシンが稼働している物理ハードウェアの処理量が最適値を超えると、仮想マシンを別の物理ハードウェアにマイグレートする。

特許文献５は、仮想サーバから、それぞれのＣＰＵ使用率、メモリ使用率、記録媒体の入出力性能値、通信制御装置の入出力性能値等をリソース情報として取得するシステムを開示する。このシステムは、取得したリソース量から処理性能の要求量を満たす仮想サーバのリソース量を各々決定する。特許文献６は、仮想マシンの種類、優先度の高低、の組み合わせ毎に仮想マシン起動履歴を取得している装置を開示する。

特許第4242574号公報 特許第5077617号公報 国際公開第2008/041302号 国際公開第2013/038585号 国際公開第2011/043011号 特開2014-164434号公報

T. Wood, P. Shenoy, A. Venkataramani, M. Yousif, Sandpiper: Black-box and gray-box resource management for virtual machines, Computer Networks, Vol. 53, No. 17, pp. 2923-2038, 2009.

特許文献１に開示されているような在庫管理の方法は、プライベートクラウドシステムの物理サーバ需要予測にそのまま適用できない。その理由は、物理サーバはＶＭの需要に影響を受けるが、ＶＭの需要数が直接物理サーバの必要数に対応しているわけではないためである。ＶＭは部品のように均質ではなく、ユーザの利用傾向によって必要とする計算機資源の量や負荷は異なる。サーバの需要予測にはＶＭの負荷変動も考慮される必要がある。

特許文献２に開示されているようなサーバ需要の予測方式は、サーバそのものの需要や負荷変動に基づいてサーバ追加が必要となる時期を予測することを目的としている。プライベートクラウド環境のサーバ調達問題では需要の単位であるＶＭと、計算機資源の単位となる物理サーバが異なるため、この予測方式は、単純に適用できない。

非特許文献１は、物理サーバの調達時期を予測する技術は開示していない。

特許文献３乃至特許文献６が開示する技術も、上記と同様な課題が有る。

このようにＶＭの特性、ＶＭ配置設計機能の動作が影響を与えるプライベートクラウド環境下のサーバ調達時期を予測することはいままで困難であった。

第１の問題点は、物理サーバ上で動作するＶＭの負荷は時間の経過と共に変化し、使われなくなったＶＭは物理サーバの資源を必要としないため、ＶＭの需要予測だけでは追加で物理サーバが必要となる時期を正確に予測できないことである。

第２の問題点は、ＶＭの負荷変動に応じてＶＭを動作させる物理サーバを柔軟に変更するようなＶＭ配置技術によって、物理サーバが追加で必要となる時期を正確に予測することが困難になることである。その理由は、再配置をするアルゴリズムや方式によって、ＶＭを集約するために必要となる物理サーバ台数は異なるためである。

本発明の目的は、上述した仮想マシンの需要変動と負荷変動に起因して物理サーバが追加で必要となる時期を正確に予測できない問題を解決できる計算機調達時期予測装置を提供することである。

本発明の他の目的は、上述した仮想マシンの再配置を行うＶＭ配置技術の動作に起因して物理サーバが追加で必要となる時期を正確に予測できない問題を解決できるサーバ調達時期予測装置を提供することである。

本発明の１実施の形態の計算機調達時期予測装置は、複数の計算機に配備すべき仮想マシン（以降、ＶＭ）の生成状況を示す需要変動統計に基づいて、時刻ｔ−Δｔからｔ迄に生成されるＶＭ数の予測値を算出し、時刻ｔ−Δｔに前記計算機に配備されているＶＭ数が登録されている配置対象リストに追加するＶＭ需要予測手段と、前記複数の計算機上のＶＭの負荷変動を示す負荷変動統計に基づいて、前記配置対象リストに登録されている数のＶＭの、時刻ｔにおける予測負荷を出力するＶＭ負荷変動予測手段と、前記予測負荷に基づいて、前記配置対象リストに登録されている数のＶＭを、仮想的に時刻ｔに前記複数の計算機に配置し、資源不足が発生するか否かを判定するＶＭ配置制御仮想実行手段と、を備える。

本発明の１実施の形態の計算機調達時期予測方法は、複数の計算機に配備すべき仮想マシン（以降、ＶＭ）の生成状況を示す需要変動統計に基づいて、時刻ｔ−Δｔからｔ迄に生成されるＶＭ数の予測値を算出し、時刻ｔ−Δｔに前記計算機に配備されているＶＭ数が登録されている配置対象リストに追加し、前記複数の計算機上のＶＭの負荷変動を示す負荷変動統計に基づいて、前記配置対象リストに登録されている数のＶＭの、時刻ｔにおける予測負荷を出力し、前記予測負荷に基づいて、前記配置対象リストに登録されている数のＶＭを、仮想的に時刻ｔに前記複数の計算機に配置し、資源不足が発生するか否かを判定する。

本発明にかかる制御装置は、ＶＭの需要変動、計算期間の再配置、および、負荷変動を考慮してＶＭを配置される計算機の追加が必要となる時期を適切に予測できる。

図１は、本発明の第1の実施の形態にかかる計算機調達時期予測装置１００のブロック図である。 図２は、ＶＭ需要予測部１０３の詳細な構成を示すブロック図である。 図３は、ＶＭ負荷変動予測部１０４の詳細な構成示すブロック図である。 図４は、本実施の形態にかかる計算機調達時期予測装置１００の全体動作のフローチャートである。 図５は、ＶＭ需要予測部１０３の動作のフローチャートである。 図６は、ＶＭ負荷変動予測部１０４の動作のフローチャートである。 図７は、離散時間マルコフ連鎖モデルの遷移行列の例を示す。 図８は、本発明の第２の実施の形態にかかる計算機調達時期予測システム３００のブロック図である。 図９は、本発明の第３の実施の形態にかかる計算機調達時期予測装置１００のブロック図である。 図１０は、ＶＭ負荷変動パターン生成部１１３の動作フローチャートである。 図１１は、負荷変動パターンとその状態遷移を表すモデルの一例を示す。 図１２は、本発明の第４の実施の形態にかかる計算機調達時期予測装置１００のブロック図である。 図１３は、本実施の形態にかかる計算機調達時期予測装置１００の全体動作のフローチャートである。 図１４は、本発明の第５の実施の形態にかかる計算機調達時期予測装置１００のブロック図である。

[第1の実施の形態]
[構成]
図１は、本発明の第1の実施の形態にかかる計算機調達時期予測装置１００のブロック図である。計算機調達時期予測装置１００は、ＶＭを実行する計算機（以降、ＶＭホスト）の資源が、負荷の増加に起因して不足する時期を予測する。ＶＭホストは、例えば、データセンタに複数配置されている。

計算機調達時期予測装置１００は、負荷の増加を、配置されるＶＭの数の増加と各ＶＭの負荷の増加の２つに分けて予測する。そして、計算機調達時期予測装置１００は、予測される数と負荷のＶＭを、ＶＭホストに仮想的に配置して、即ち、配置シミュレーションを行って、資源不足が発生する時期を予測する。

本実施の形態の計算機調達時期予測装置１００は、計算機調達時期予測部１０１と、ＶＭ配置制御仮想実行部１０２と、ＶＭ需要予測部１０３と、ＶＭ負荷変動予測部１０４とを包含する。さらに計算機調達時期予測装置１００は、ＶＭ需要変動統計格納部１０５と、ＶＭ負荷変動統計格納部１０６と、ＶＭ配置制御プログラム格納部１０７と、ＶＭ配置情報格納部１０８と、配置対象リスト格納部１０９と、予測ＶＭ負荷情報格納部１１０とを包含する。

ＶＭ需要予測部１０３は、将来のある時間Δｔの間に新たに生成されるＶＭの数を、需要変動統計から予測する。需要変動統計は、ＶＭホストにおけるＶＭの生成状況、例えば、新たなＶＭが生成された時刻列、を含む統計情報である。需要変動統計は、例えば、各ＶＭホスト上で取得され、まとめてＶＭ需要変動統計格納部１０５に格納されている。ＶＭ需要予測部１０３は、予測値を、配置対象リスト格納部１０９内の配置リストに追加する。

ＶＭ負荷変動予測部１０４は、将来のある時刻ｔにおける各ＶＭの負荷状態を、負荷変動統計から予測する。負荷変動統計は、ＶＭホストにおける各ＶＭの負荷情報統計、例えば、各ＶＭのプロセッサ使用時間、使用メモリ量の履歴、を含む統計情報である。負荷情報統計は、例えば、各ＶＭホスト上で取得され、まとめてＶＭ負荷変動統計格納部１０６に格納されている。ＶＭ負荷変動予測部１０４は、予測した負荷情報を予測ＶＭ負荷情報格納部１１０に格納する。

ＶＭ配置制御仮想実行部１０２は、ＶＭホスト上に現在に配置されているＶＭ数、新たに生成されるＶＭの予測数、および、各ＶＭの負荷予測に基づいて、ＶＭをＶＭホストに仮想的に配備して、ＶＭホストに十分な資源が有るかどうかチェックする。さらに、ＶＭ配置制御仮想実行部１０２は、仮想的なタイマを順次進めながら、複数の時点、例えば一定時間間隔、でこのチェックを行なって、資源不足となる時刻を検出すると当該時刻を出力する。

ＶＭ配置制御仮想実行部１０２は、例えば、ＶＭホスト上に現在に配置されているＶＭ数、ＶＭホストが備える資源量をＶＭ配置情報格納部１０８から得る。また、ＶＭ配置制御仮想実行部１０２は、ＶＭ配置制御プログラム格納部１０７に格納されているＶＭ配置制御プログラムを起動して、ＶＭの仮想的な配置を実行する。なお、ＶＭ配置制御仮想実行部１０２は、ＶＭ配置制御プログラムのアルゴリズムを予め包含していても良い。

計算機調達時期予測部１０１は、上述の各部の動作環境の設定や、動作の制御、出力値の表示を行う。

なお、時刻は、日、月、年をまたがって、時点を特定できる指標である。

計算機調達時期予測部１０１と、ＶＭ配置制御仮想実行部１０２と、ＶＭ需要予測部１０３と、ＶＭ負荷変動予測部１０４とは、論理回路で構成される。計算機調達時期予測部１０１と、ＶＭ配置制御仮想実行部１０２と、ＶＭ需要予測部１０３と、ＶＭ負荷変動予測部１０４とは、プログラムとして実装されていても良い。この場合、当該プログラムは、コンピュータでもある計算機調達時期予測装置１００のメモリ（図示されず）に格納され、計算機調達時期予測装置１００のプロセッサ（図示されず）により実行される。

ＶＭ需要変動統計格納部１０５と、ＶＭ負荷変動統計格納部１０６と、ＶＭ配置制御プログラム格納部１０７と、ＶＭ配置情報格納部１０８と、配置対象リスト格納部１０９と、予測ＶＭ負荷情報格納部１１０とは、半導体メモリ、ディスク装置等の記憶装置である。

図２は、ＶＭ需要予測部１０３の詳細な構成を示すブロック図である。ＶＭ需要予測部１０３は、需要変動予測部１０３１、需要モデルパラメータ推定部１０３２、ＶＭ需要変動モデル格納部１０３３、ＶＭ需要変動モデルパラメータ格納部１０３４を包含する。

図３は、ＶＭ負荷変動予測部１０４の詳細な構成示すブロック図である。ＶＭ負荷変動予測部１０４は、負荷変動予測部１０４１、負荷モデルパラメータ推定部１０４２、ＶＭ負荷変動モデル格納部１０４３、ＶＭ負荷変動モデルパラメータ格納部１０４４を包含する。

[動作]
図４は、本実施の形態にかかる計算機調達時期予測装置１００の全体動作のフローチャートである。

まず、計算機調達時期予測部１０１は、ＶＭ配置制御仮想実行部１０２を初期状態にセットする（図４のステップＡ１）。ここで、計算機調達時期予測部１０１は、例えば、ＶＭ配置制御仮想実行に必要な内部状態の情報をリセットし、仮想実行に必要なプログラムや初期値の読み込みを行う。

次に、ＶＭ配置制御仮想実行部１０２は、ＶＭ配置情報格納部１０８を参照して現在のＶＭ配置情報を参照し、配置対象となるＶＭを抽出して配置対象リスト格納部１０９の配置対象リストに記録する（ステップＡ２）。ここで抽出するＶＭのリストは、例えば、ＶＭの識別子、属性のリストである。ＶＭ配置制御仮想実行部１０２は、ＶＭの数だけを抽出して配置対象リストに記録しても良い。さらに、ＶＭ配置制御仮想実行部１０２は、各ＶＭの負荷状態を現在のＶＭ配置情報から取得して、予測ＶＭ負荷情報格納部１１０に格納しても良い。

ＶＭ配置制御仮想実行部１０２は、ＶＭ配置制御の仮想実行を行うため、仮想タイマの時刻をΔｔ進め、仮想時刻をｔとする（ステップＡ３）。なお、仮想タイマの初期値は、ｔ−Δに設定されており、この値が、予測開始時刻、即ち、ＶＭ配置制御仮想実行部１０２が起動された時刻を表す。

次にＶＭ配置制御仮想実行部１０２は、ＶＭ需要予測部１０３を呼び出す。ＶＭ需要予測部１０３は、時刻t-Δｔから時刻ｔの間に、新規に起動されるＶＭ数を推定し、配置対象リストに追加する（ステップＡ４）。ここで、ＶＭ需要予測部１０３は、起動されるＶＭの属性や、初期負荷状態を推定しても良い。

さらにＶＭ配置制御仮想実行部１０２は、ＶＭ負荷変動予測部１０４を呼び出す。ＶＭ負荷変動予測部１０４は、配置対象リストに記録されている各ＶＭに対し、時刻ｔにおける負荷レベルを予測し、予測ＶＭ負荷情報格納部１１０に格納する（ステップＡ５）。

配置対象リストおよび予測したＶＭの負荷レベルを入力とし、ＶＭ配置制御仮想実行部１０２は、ＶＭ配置制御プログラム格納部１０７に格納されたＶＭ配置制御プログラムをロードして実行する（ステップＡ６）。ここで、ＶＭの負荷は、資源ごとの使用量、例えば、使用プロセッサ時間、使用メモリ量、で与えられている。一方、ＶＭ配置情報格納部１０８には、各ＶＭホストの資源量が記録されている。ＶＭ配置制御プログラムは、例えば、資源ごとに、ＶＭの負荷の和と、各ＶＭホストの資源量とを比較して、配置対象リストに記録されたＶＭを何れかのＶＭに仮想的に配置し、全ＶＭが何れかのＶＭホストに配置できるかをチェックする。

この仮想的な配置において、どのＶＭをどのＶＭホストに配置すれば、全体として資源効率よく使用出来るかを判断することが重要である。この問題は、ＶＭの動的再配置の問題として知られている。ＶＭ配置制御プログラムは、公知、非公知の何れかの手法を用いて、ＶＭの動的再配置を行えば良い。

ＶＭ配置制御プログラム実行の結果、ＶＭホストの資源不足が明らかになった場合（ステップＡ７でＹＥＳ）、ＶＭ配置制御仮想実行部１０２は、仮想タイマの時刻ｔをサーバ調達時期の予測結果として出力する（ステップＡ８）。

配置対象リストに記録されたＶＭの全てがＶＭホストに配置できる場合（ステップＡ７でＮＯ）、ＶＭ配置制御仮想実行部１０２は、ＶＭ配置制御プログラムの実行結果であるＶＭ配置情報をＶＭ配置情報格納部１０８に記録する（ステップＡ９）。その後、ＶＭ配置制御仮想実行部１０２は、仮想タイマの時刻をΔｔさらに進め（ステップＡ３）、計算機資源不足が発生する（ステップＡ７でＹＥＳ）まで上記予測と判定を繰り返す。

図５は、ＶＭ需要予測部１０３の動作のフローチャートである。

ＶＭ需要予測部１０３は、需要モデルパラメータ推定部１０３２を用いて、ＶＭ需要変動モデル格納部１０３３に格納されたＶＭの需要モデルのパラメータ値を、ＶＭ需要変動統計情報に基づいて推定する（ステップＢ１）。例えば、当該ＶＭの需要モデルが、ポワソン到着過程モデルである場合、ＶＭ生成要求の平均到着率λがモデルのパラメータとなる。ＶＭ需要予測部１０３は、平均到着率λの推定値を過去のＶＭ需要変動の情報から期間Ｔにおいて到着したＶＭ利用要求数Ｎを用いて、Ｎ／Ｔと求める。

また、ＶＭ需要予測部１０３は、ＶＭの需要モデルとして、過去の単位時間あたりのＶＭ利用要求の変動を時系列データとして捉えた時系列解析モデルを用いても良い。時系列解析モデルは、例えば、自己回帰モデル（Autoregressive）、移動平均モデル（Moving Average）、自己回帰和分移動平均モデル、季節変動自己回帰移動平均モデルである。ＶＭ需要予測部１０３は、パラメータの推定法としては最尤法などの一般的な手法を用いればよい。

次にＶＭ需要予測部１０３は、需要変動予測部１０３１を用いて、パラメータ値の求まったＶＭ需要変動モデルからΔｔの期間に到着するＶＭ利用要求の数を推定し、新規に生成されるＶＭ数として出力する（ステップＢ１）。例えば、ＶＭ需要予測部１０３は、ポワソン到着モデルを与えられた場合、λΔｔで到着要求数を求める。また、ＶＭ需要予測部１０３は、時系列モデルＭを与えられた場合、Δｔの区間でＭの値を積分することによって到着要求数を求める。

この時、ＶＭ需要予測部１０３は、ＶＭの属性と生成時の負荷を推定しても良い。ＶＭ需要予測部１０３は、例えば、ＶＭホストで取得された統計値に基づいて決められた選択肢と、その発生確率とから、ＶＭの属性と生成時の負荷を推定する。

なお、ステップＢ１のパラメータ推定は予め他の計算機等で実行され、推定値がＶＭ需要予測部１０３に与えられても良い。

図６は、ＶＭ負荷変動予測部１０４の動作のフローチャートである。

ＶＭ負荷変動予測部１０４は、負荷モデルパラメータ推定部１０４２を用いて、ＶＭ負荷変動モデル格納部１０４３に格納された負荷変動モデルのパラメータ値を、ＶＭ負荷変動統計情報に基づいて推定する（ステップＣ１）。例えば、ＶＭの負荷変動モデルとして離散時間マルコフ連鎖モデルを用いる場合、ＶＭ負荷変動予測部１０４は、時間Δｔごとにある負荷状態から別の負荷状態へ遷移する確率をパラメータ値として求める。例えば、ＣＰＵの負荷状態とメモリの負荷状態の組でＶＭの負荷状態を定義し、ＣＰＵとメモリの負荷状態は低、中、高のいずれかの指標値で表すとする。この時、ＶＭ負荷変動予測部１０４には、システムの負荷状態の遷移は９つの異なる状態からなる離散時間マルコフ連鎖モデルが与えられる。

図７は、離散時間マルコフ連鎖モデルの遷移行列の例を示す。各行が遷移前の状態を表し、各列が遷移後の状態を表す。行列の値は遷移確率を表している。例えば、（低、低）という状態からΔｔの間に（中、低）という状態に遷移する確率は０．１である。ＶＭ負荷変動予測部１０４は、例えば、ＶＭ負荷変動統計情報を参照して、過去の履歴をたどりこのような遷移確率を推定する。例えば、過去に（低、低）の状態にあったことが１００回あり、そのうちΔｔ後においても（低、低）であった場合が７０回である場合、ＶＭ負荷変動予測部１０４は、（低、低）から（低、低）への状態遷移確率は０．７と推定する。

なお、ＶＭ負荷変動予測部１０４に与えられる、離散時間マルコフ連鎖モデルの負荷状態は、ＣＰＵとメモリの負荷によって定義されるとは限られない。負荷状態は、例えば、ディスク容量、通信容量を加えた４つの資源負荷によって定義されても良いし、更に多くの資源の負荷によって定義されても良い。さらに、負荷を表す指標の値も、高中低といった３段階の値ではなく、更に多段階の値であっても良い。また、ＶＭ負荷変動予測部１０４が与えられる負荷変動モデルは、過去の変動の系列に基づいて、次の負荷状態を予測するモデルでも良い。

ＶＭ負荷変動予測部１０４は、負荷変動予測部１０４１を用いて、ＶＭ配置制御仮想実行部１０２より与えられた配置対象ＶＭリストと、予測ＶＭ負荷情報格納部１１０を参照し、配置対象ＶＭの今（時刻ｔ−Δｔ）の負荷状態を特定する（ステップＣ２）。予測ＶＭ負荷情報格納部１１０の初期値は、予測開始時刻における各ＶＭの負荷状態である。

次にＶＭ負荷変動予測部１０４は、負荷変動予測部１０４１を用いて、パラメータ値の求まったＶＭ負荷変動モデルを用いて時刻ｔの時点での負荷状態を推定し、予測ＶＭ負荷情報格納部１１０に格納する（ステップＣ３）。なお、ＶＭ負荷変動予測部１０４は、新しく生成されたＶＭについての負荷情報は、ＶＭ需要予測部１０３が出力した推定値を用いても良いし、パラメータとして与えられた固定値を用いても良いし、幾つかの選択肢からランダムに選択しても良い。

離散時間マルコフ連鎖モデルの例では、ＶＭ負荷変動予測部１０４は、遷移確率で指定された確率に基づいて遷移状態を決定する。例えば、時刻ｔ−Δｔにおける状態が（低、低）であったＶＭは、時刻ｔの時点では図７の遷移確率に基づいて（低、低）、（中、低）、（中、中）、（高、低）の何れかの状態に遷移する。

また、ステップＣ１のパラメータ（遷移確率）推定は予め他の計算機等で実行され、推定値がＶＭ負荷変動予測部１０４に与えられても良い。

[効果]
本実施の形態の計算機調達時期予測装置１００は、ＶＭの需要変動、負荷変動、及び、ＶＭの再配置を行うアルゴリズムを考慮して、ＶＭホストが追加で必要となる時期を適切に予測できる。その理由は、ＶＭ需要予測部１０３が追加されるＶＭを予測し、ＶＭ負荷変動予測部１０４が稼働中および新規に追加されるＶＭの負荷変動を予測し、ＶＭ配置制御仮想実行部１０２がＶＭ再配置アルゴリズムを用いて、ＶＭ配置制御を仮想実行するからである。

[第２の実施の形態]
[構成]
図８は、本発明の第２の実施の形態にかかる計算機調達時期予測システム３００のブロック図である。計算機調達時期予測システム３００は、計算機調達時期予測装置１００と管理装置２００を包含する。管理装置２００は、プライベートクラウドシステムのデータセンタのＶＭの配置を実際に制御する装置である。管理装置２００は、データセンタのＶＭホストと接続されている。

本実施の形態の計算機調達時期予測装置１００は、第１の実施の形態にかかる計算機調達時期予測装置１００に比べ、さらに、ＶＭ配置制御情報獲得部１１１を備えている。管理装置２００は、利用中のＶＭ配置制御プログラム格納部２０１と、現在のＶＭ配置情報格納部２０２と、ＶＭ配置制御実行部２０３とを含む。

ＶＭ配置制御情報獲得部１１１は、管理装置２００から、利用中のＶＭ配置制御プログラム格納部２０１に格納されたＶＭ配置制御プログラムを取得する。さらに、ＶＭ配置制御情報獲得部１１１は、管理装置２００の現在のＶＭ配置情報格納部２０２に格納された現在のＶＭ配置情報を取得する。現在のＶＭ配置情報は、ＶＭホスト上に現在に配置されているＶＭ数、各ＶＭホストが備える資源量を含む。現在のＶＭ配置情報は、ＶＭホスト上に現在に配置されているＶＭの識別子、属性、現在の負荷を含んでいても良い。

ＶＭ配置制御実行部２０３は、利用中のＶＭ配置制御プログラム格納部２０１に格納されたＶＭ配置制御プログラムを現在のＶＭ配置情報に適用して配置案を出力し、その出力にしたがって、実際にデータセンタのＶＭホスト上のＶＭの配置を実行する。

ＶＭ配置制御情報獲得部１１１は論理回路で構成される。ＶＭ配置制御情報獲得部１１１は、プログラムとして実装されていても良い。この場合、当該プログラムは、コンピュータでもある計算機調達時期予測装置１００のメモリ（図示されず）に格納され、計算機調達時期予測装置１００のプロセッサ（図示されず）により実行される。

[動作]
本実施の形態の計算機調達時期予測装置１００の動作も、図４のフローチャートが示す動作と一致する部分が多い。差分は、以下のとおりである。

計算機調達時期予測部１０１は、ＶＭ配置制御仮想実行部１０２を初期状態にセットする（図４のステップＡ１）。この際、ＶＭ配置制御情報獲得部１１１が起動されて、管理装置２００の利用中のＶＭ配置制御プログラム格納部２０１に保存された利用中のＶＭ配置制御プログラムを取得し、計算機調達時期予測装置１００のＶＭ配置制御プログラム格納部１０７に格納する。さらに、ＶＭ配置制御情報獲得部１１１は、管理装置２００の現在のＶＭ配置情報格納部２０２に保存された現在のＶＭ配置情報を取得し、計算機調達時期予測装置１００のＶＭ配置情報格納部１０８に格納する。

以降の処理は、第１の実施の形態にかかる計算機調達時期予測装置１００と同じである。なお、ＶＭ配置制御仮想実行部１０２が、例えば論理回路で構成されて、ＶＭ配置制御プログラムのアルゴリズムをいくつか予め包含している場合がある。この場合、ＶＭ配置制御情報獲得部１１１は、管理装置２００からＶＭ配置制御プログラムを取得する代わりに、アルゴリズムの選択情報や、アルゴリズムのパラメータを取得しても良い。

[効果]
本実施の形態の計算機調達時期予測装置１００は、データセンタで実際に行われるＶＭの再配置動作を踏まえて、ＶＭホストが追加で必要となる時期を適正に予測できる。その理由は、ＶＭ配置制御情報獲得部１１１が、データセンタの配置制御に実際に利用されているＶＭ配置制御プログラムと、現在のデータセンタにおけるＶＭ配置情報を管理装置２００から取得するからである。そして、ＶＭ配置制御仮想実行部１０２が、それらに基づいてＶＭ配置制御を仮想実行する。

そのため、本実施の形態の計算機調達時期予測装置１００は、管理装置２００で利用されているＶＭ配置制御プログラムやＶＭホスト上のＶＭ配置に変更があった場合にも、最新の状態に適応して適切なサーバ調達時期を予測できる。

なお、ＶＭ配置制御仮想実行部１０２が、ＶＭ配置制御プログラムを使用しないとき、ＶＭ配置制御情報獲得部１１１は、ＶＭ配置制御アルゴリズムに関するパラメータを管理装置２００から取得する。ＶＭ配置制御仮想実行部１０２が、取得された情報に基づいてＶＭ配置制御を仮想実行するため、ＶＭ配置制御プログラムを使用した場合と同様の効果が見込める。

[第３の実施の形態]
[構成]
図９は、本発明の第３の実施の形態にかかる計算機調達時期予測装置１００のブロック図である。本実施の形態の計算機調達時期予測装置１００は、第１の実施の形態にかかる計算機調達時期予測装置１００に比べ、さらに、ＶＭ負荷変動パターン生成部１１３と、ＶＭ負荷変動パターン格納部１１４を備えている。本実施の形態の計算機調達時期予測装置１００は、ＶＭを所定基準でグループ化し、グループ毎に需要予測、および、負荷変動予測を行う。

[動作]
図１０は、ＶＭ負荷変動パターン生成部１１３の動作フローチャートである。ＶＭ負荷変動パターン生成部１１３は、例えば、図４のステップＡ１で、計算機調達時期予測部１０１から起動される。

まず、ＶＭ負荷変動パターン生成部１１３は、ＶＭ需要変動統計格納部１０５とＶＭ負荷変動統計格納部１０６を参照し（ステップＤ１）、起動したＶＭの負荷が変動するパターンを特定する（ステップＤ２、Ｄ３）。ＶＭ負荷変動パターン生成部１１３は、例えば起動したＶＭの属性を用いてＶＭを分類してグループ化し、各グループについて負荷状態の遷移を推定すればよい。ここで、ＶＭの属性は、例えば、用途、ユーザ、起動アプリケーションプログラムである。ＶＭの属性は、例えば、ＶＭ配置情報格納部１０８から得る。新規に生成されるＶＭについては、例えば上述したようにＶＭ需要予測部１０３が推定する。

また、ＶＭ負荷変動パターン生成部１１３は、負荷の変動情報から、特定の状態に達する回数や頻度の情報を用いてＶＭを分類しても良い。

図１１は、負荷変動パターンとその状態遷移を表すモデルの一例を示す。図１１が示す各負荷変動パターンは、ＶＭ起動後の負荷状態の遷移の仕方を表現する。例えば、ａ)の低負荷パターンは、ＶＭ起動後にＣＰＵ、メモリ共に低負荷状態のまま遷移しないことを示している。一方、ｂ）の中負荷パターンは、（低，低）、（中，低）、（中，中）の３状態の間で負荷状態が遷移することを示している。ＶＭ負荷変動パターン生成部１１３は、例えば、ＶＭ負荷変動統計から、各ＶＭのΔｔごとの負荷変動状態の遷移を状態列に書き出し、その状態列に含まれる（低, 低）の個数でＶＭをグループに分類し、各グループに対して状態遷移を推定すれば良い。例えば、ＶＭ負荷変動パターン生成部１１３は、（低, 低）の状態がほとんどの場合は低負荷パターン、（低, 低）の状態がほとんどない場合は高負荷パターン、それ以外の場合は中負荷パターンとして分類する。ＶＭ負荷変動パターン生成部１１３は、これらのグループに対して状態遷移モデルを生成し、負荷パターンとする。ＶＭ負荷変動パターン生成部１１３は、生成した負荷パターンを、ＶＭ負荷変動パターン格納部１１４に格納する。

次に、ＶＭ負荷変動パターン生成部１１３は、ＶＭ需要変動統計の情報にパターンの情報を付加して更新する（ステップＤ４）。つまり、ＶＭ負荷変動パターン生成部１１３は、各ＶＭの生成記録に、どの負荷パターンを取るＶＭが生成されたかを記録する。これは、各ＶＭの生成記録に、どのグループのＶＭが生成されたかを記録することを意味する。

さらに、ＶＭ負荷変動パターン生成部１１３は、ＶＭ負荷変動統計の情報にもパターンの情報を付加して更新する（ステップＤ５）。つまり、ＶＭ負荷変動パターン生成部１１３は、各ＶＭの負荷変動記録に、どの負荷パターンを取るＶＭの負荷変動記録であるかを記録する。これは、各ＶＭの負荷変動記録に、どのグループのＶＭの負荷変動記録であるかを記録することを意味する。

その後起動されると、ＶＭ需要予測部１０３は、ＶＭ需要変動統計格納部１０５に格納されたＶＭ需要変動統計を負荷変動パターンごとに分割あるいは集計し、各負荷変動パターンに対して図５に示すフローで需要の予測を実施して配置対象リストに加える。すなわち、ＶＭ需要予測部１０３は、ＶＭのグループごとに分割あるいは集計されたＶＭ需要変動統計に基づいて、図５に示すフローを実行する。

同様に、ＶＭ負荷変動予測部１０４は、ＶＭ負荷変動統計格納部１０６に格納されたＶＭ負荷変動統計を負荷変動パターンごとに分割あるいは集計し、各負荷変動パターンに対して図６に示すフローでＶＭのΔｔ後の負荷状態を予測して記録する。すなわち、ＶＭ負荷変動予測部１０４は、ＶＭのグループごとに分割あるいは集計されたＶＭ負荷変動統計に基づいて、図６に示すフローを実行する。

[効果]
本実施の形態の計算機調達時期予測装置１００は、ＶＭの利用形態や頻度が異なる複数の利用者によって使われているクラウドシステムにおいて、ユーザや負荷の違いを考慮して、より適切にＶＭホストの調達時期を予測できる。その理由は、ＶＭ負荷変動パターン生成部１１３が、属性や負荷変動の状態遷移の仕方に基づいてＶＭを分類してグループ化し、グループの負荷変動パターンを生成するからである。そして、ＶＭ需要予測部１０３、および、ＶＭ負荷変動予測部１０４が、グループの負荷変動パターン毎に需要予測と負荷変動予測を行うからである。

[第４の実施の形態]
[構成]
クラウドシステムにおいて生成されたＶＭは、一定の期間ユーザに利用され、不要となった際には破棄される。破棄されたＶＭは配置対象から外れる。破棄されるＶＭの数も考慮してＶＭ配置制御を仮想実行することで、計算機調達時期予測装置１００は、より正確なサーバ調達時期を予測することが可能となる。

図１２は、本発明の第４の実施の形態にかかる計算機調達時期予測装置１００のブロック図である。本実施の形態の計算機調達時期予測装置１００は、第１の実施の形態にかかる計算機調達時期予測装置１００に比べ、さらに、ＶＭ破棄時期予測部１１５と、ＶＭ利用期間情報格納部１１６とを備えている。

[動作]
図１３は、本実施の形態にかかる計算機調達時期予測装置１００の全体動作のフローチャートである。

まず、計算機調達時期予測部１０１は、ＶＭ配置制御仮想実行部１０２を初期状態にセットする（ステップＥ１）。次に、ＶＭ配置制御仮想実行部１０２は、ＶＭ配置情報格納部１０８を参照して現在のＶＭ配置情報を参照し、配置対象となるＶＭを抽出して配置対象リスト格納部１０９の配置対象リストに記録する（ステップＥ２）。ＶＭ配置制御仮想実行部１０２は、ＶＭ配置制御の仮想実行を行うため、仮想タイマの時刻をΔｔ進め、仮想時刻をｔとする（ステップＥ３）。

次に、ＶＭ配置制御仮想実行部１０２は、更新された時刻ｔに合わせてＶＭ利用期間情報格納部１１６に記録された各ＶＭの生成されてからの経過時刻を更新する（ステップＥ４）。次いで、ＶＭ配置制御仮想実行部１０２は、ＶＭ需要予測部１０３を呼び出す。ＶＭ需要予測部１０３は、時刻t-Δｔから時刻ｔの間に、新規に起動されるＶＭ数を推定し、配置対象リストに追加する（ステップＥ５）。

さらに、ＶＭ配置制御仮想実行部１０２は、ＶＭ破棄時期予測部１１５を呼び出す。ＶＭ破棄時期予測部１１５は、ＶＭ利用期間情報格納部１１６を参照して、時刻t-Δｔから時刻ｔの間に破棄されるＶＭを推定し、配置対象リストから削除する（ステップＥ６）。ここで、ＶＭ破棄時期予測部１１５は、ＶＭ破棄時期の予測を特定のルールに基づいて行う。例えば、ＶＭ破棄時期予測部１１５は、生成から２年を経過したＶＭは破棄するというルールを用いても良い。また、ＶＭ破棄時期予測部１１５は、ＶＭの負荷変動情報と組み合わせて破棄時期を推定しても良い。例えば、ＶＭ破棄時期予測部１１５は、生成から１年を経過したＶＭで直近１ヶ月の負荷変動がほとんどない場合はＶＭを破棄するというルールを用いても良い。

以降のステップ（Ｅ７〜Ｅ１１）において、計算機調達時期予測装置１００は、図４に示したフローチャートのステップ（Ａ５〜Ａ９）と同じ動作をする。

[効果]
本実施の形態の計算機調達時期予測装置１００は、配置対象のＶＭが増減する状況を考慮して適正にＶＭホスト調達時期を予測できる。その理由は、ＶＭ破棄時期予測部１１５が、破棄されるＶＭの数を予測し、その数を配置対象リストのＶＭ数から減じてから、ＶＭ配置制御を仮想実行するからである。

＜第５の実施形態＞
図１４は、本発明の第５の実施の形態にかかる計算機調達時期予測装置１００のブロック図である。計算機調達時期予測装置１００は、ＶＭ需要予測部１０３と、ＶＭ負荷変動予測部１０４と、ＶＭ配置制御仮想実行部１０２と、を備える。

ＶＭ需要予測部１０３は、複数の計算機に配備すべき仮想マシンの生成状況を示す需要変動統計に基づいて、時刻ｔ−Δｔからｔ迄に生成されるＶＭ数の予測値を算出する。そして、ＶＭ需要予測部１０３は、時刻ｔ−Δｔに計算機に配備されているＶＭ数が登録されている配置対象リストに追加する。

ＶＭ負荷変動予測部１０４は、複数の計算機上のＶＭの負荷変動を示す負荷変動統計に基づいて、配置対象リストに登録されている数のＶＭの、時刻ｔにおける予測負荷を出力する。ＶＭ配置制御仮想実行部１０２は、予測負荷に基づいて、配置対象リストに登録されている数のＶＭを、仮想的に時刻ｔに複数の計算機に配置し、資源不足が発生するか否かを判定する。

本実施の形態の計算機調達時期予測装置１００は、ＶＭの需要変動、負荷変動、及び、ＶＭの再配置を行うアルゴリズムを考慮して、ＶＭホストが追加で必要となる時期を適切に予測できる。その理由は、ＶＭ需要予測部１０３が追加されるＶＭを予測し、ＶＭ負荷変動予測部１０４が稼働中および新規に追加されるＶＭの負荷変動を予測し、ＶＭ配置制御仮想実行部１０２がＶＭ再配置アルゴリズムを用いて、ＶＭ配置制御を仮想実行するからである。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、2015年05月07日に出願された日本出願特願2015-094674を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 計算機調達時期予測装置
１０１ 計算機調達時期予測部
１０２ ＶＭ配置制御仮想実行部
１０３ ＶＭ需要予測部
１０４ ＶＭ負荷変動予測部
１０５ ＶＭ需要変動統計格納部
１０６ ＶＭ負荷変動統計格納部
１０７ ＶＭ配置制御プログラム格納部
１０８ ＶＭ配置情報格納部
１０９ 配置対象リスト格納部
１１０ 予測ＶＭ負荷情報格納部
１１１ ＶＭ配置制御情報獲得部
１１４ ＶＭ負荷変動パターン格納部
１１５ ＶＭ破棄時期予測部
１１６ ＶＭ利用期間情報格納部
２００ 管理装置
２０１ 利用中のＶＭ配置制御プログラム格納部
２０２ 現在のＶＭ配置情報格納部
２０３ ＶＭ配置制御実行部
３００ 計算機調達時期予測システム
１０３１ 需要変動予測部
１０３２ 需要モデルパラメータ推定部
１０３３ ＶＭ需要変動モデル格納部
１０３４ ＶＭ需要変動モデルパラメータ格納部
１０４１ 負荷変動予測部
１０４２ 負荷モデルパラメータ推定部
１０４３ ＶＭ負荷変動モデル格納部
１０４４ ＶＭ負荷変動モデルパラメータ格納部

Claims (10)

1. 複数の計算機に配備すべき仮想マシン（以降、ＶＭ）の生成状況を示す需要変動統計に基づいて、時刻ｔ−Δｔからｔ迄に生成される前記ＶＭの数の予測値を算出し、時刻ｔ−Δｔに前記計算機に配備されている前記ＶＭの数が登録されている配置対象リストに追加するＶＭ需要予測手段と、
   前記複数の前記計算機上の前記ＶＭの負荷変動を示す負荷変動統計に基づいて、前記配置対象リストに登録されている数の前記ＶＭの、時刻ｔにおける予測負荷を出力するＶＭ負荷変動予測手段と、
   前記予測負荷に基づいて、前記配置対象リストに登録されている数の前記ＶＭを、仮想的に時刻ｔに前記複数の前記計算機に配置し、資源不足が発生するか否かを判定するＶＭ配置制御仮想実行手段と、を備える計算機調達時期予測装置。
2. 前記ＶＭ負荷変動予測手段は、前記負荷変動統計から算出された、前記計算機のＭ個（Ｍは複数）の資源の各々に対する負荷状況を表すＭ個の離散的数値である負荷指数の組を状態とする離散時間マルコフ連鎖モデルの各々の前記状態間の遷移確率と、時刻ｔ−Δｔの各々の前記ＶＭの前記状態とに基づいて、時刻ｔにおける前記状態を推定して出力する、請求項１の計算機調達時期予想装置。
3. 前記ＶＭ需要予測手段は、前記需要変動統計から算出されたポワソン到着過程における平均到着率の推定値に基づいて生成される前記ＶＭの数の予測値を算出する、請求項１乃至２の何れか１項の計算機調達時期予測装置。
4. 前記複数の前記計算機に対し前記ＶＭの配置を決定する管理装置から、前記複数の前記計算機に配備されている前記ＶＭの数を取得して前記配置対象リストに登録し、かつ、前記管理装置から、前記ＶＭを仮想的に前記複数の前記計算機に配置するアルゴリズムを決定する為の配置制御情報を取得するＶＭ配置制御情報獲得手段を、さらに備え、
   前記ＶＭ配置制御仮想実行手段は、取得した前記配置制御情報で決定されるアルゴリズムで、前記配置対象リストに登録された前記ＶＭを前記複数の前記計算機に仮想的に配置する、請求項１乃至３の何れか１項の計算機調達時期予測装置。
5. 前記ＶＭ需要予測手段は、前記需要変動統計のデータを所定基準で分類された前記ＶＭのグループごとのデータに集計して、前記グループのデータに基づいて前記グループごとに生成されるＶＭ数を予測し、
   前記ＶＭ負荷変動予測手段は、前記負荷変動統計のデータを前記グループごとのデータに集計して、前記グループのデータに基づいて、前記グループごとに前記グループ内の前記ＶＭの負荷変動を推定する、請求項１乃至４の何れか１項の計算機調達時期予測装置。
6. 所定ルールに基づいて、時刻ｔ−Δｔからｔ迄に破棄される前記ＶＭの数を前記配置対象リストから減算するＶＭ破棄時期予測手段と、
   前記ＶＭ配置制御仮想実行手段は、前記ＶＭ需要予測手段、前記ＶＭ負荷変動予測手段、および、前記ＶＭ破棄時期予測手段を、時刻をΔｔずつ進めて繰り返し起動し、前記配置対象リストに登録されている前記ＶＭを前記複数の前記計算機に配置すると資源不足が発生すると判定した時刻を検出して出力する、請求項１乃至５の何れか１項の計算機調達時期予測装置。
7. 複数の計算機に配備すべき仮想マシン（以降、ＶＭ）の生成状況を示す需要変動統計に基づいて、時刻ｔ−Δｔからｔ迄に生成される前記ＶＭの数の予測値を算出し、時刻ｔ−Δｔに前記計算機に配備されている前記ＶＭの数が登録されている配置対象リストに追加し、
   前記複数の前記計算機上の前記ＶＭの負荷変動を示す負荷変動統計に基づいて、前記配置対象リストに登録されている数の前記ＶＭの、時刻ｔにおける予測負荷を出力し、
   前記予測負荷に基づいて、前記配置対象リストに登録されている数の前記ＶＭを、仮想的に時刻ｔに前記複数の前記計算機に配置し、資源不足が発生するか否かを判定する計算機調達時期予測方法。
8. 前記負荷変動統計から算出された、前記計算機のＭ個（Ｍは複数）の資源の各々に対する負荷状況を表すＭ個の離散的数値である負荷指数の組を状態とする離散時間マルコフ連鎖モデルの各々の前記状態間の遷移確率と、時刻ｔ−Δｔの各々の前記ＶＭの前記状態とに基づいて、時刻ｔにおける前記状態を推定して出力する、請求項７の計算機調達時期予想方法。
9. 前記需要変動統計から算出されたポワソン到着過程における平均到着率の推定値に基づいて生成される前記ＶＭの数の予測値を算出する、請求項７乃至８の何れか１項の計算機調達時期予測方法。
10. コンピュータに、請求項７乃至９の何れか１項の計算機調達時期予測方法を実行させるプログラムを記録した記録媒体。

Images