WO2020235055A1

WO2020235055A1 - 仮想マシン監視装置、仮想マシン監視方法およびプログラム

Info

Publication number: WO2020235055A1
Application number: PCT/JP2019/020304
Authority: WO
Inventors: 貴之秋山
Original assignee: 日本電信電話株式会社
Priority date: 2019-05-22
Filing date: 2019-05-22
Publication date: 2020-11-26
Also published as: US20220214926A1; JPWO2020235055A1; JP7255675B2

Abstract

仮想マシン監視装置（１００）は、仮想化基盤システムにおいて、仮想マシンのネットワーク帯域確保を可能とする。このために、仮想マシン監視装置（１００）は、仮想マシンが動作するホスト、仮想マシンの動作状況、ホストの使用ネットワーク帯域を収集するデータ取得部（１１１）、ホストの使用ネットワーク帯域が所定のネットワーク帯域閾値を超えた場合に、当該ホストで動作し、動作状況が所定基準を満たさない仮想マシンを特定する監視部（１１２）、特定された仮想マシンのなかで移行させる仮想マシンを決定し、移行先ホストを決定する移行判定部（１１３）、および、当該移行を前記仮想化基盤制御装置に指示する移行指示部（１１４）を備える。

Description

仮想マシン監視装置、仮想マシン監視方法およびプログラム

　本発明は、ネットワークの使用状況に応じた仮想マシン管理を行う仮想マシン監視装置、仮想マシン監視方法およびプログラムに関する。

　ＩａａＳ（Infrastructure as a Service）などのクラウド事業者に限らず、企業などのＩＣＴ（Information and Communication Technology）基盤の利用者においても仮想化基盤を用いて情報サービスを実現することが一般的になっており、一定品質のサービスを提供することが求められている。一定品質のサービスを担保するため、仮想マシンは、サービス提供に必要なＣＰＵ（Central Processing Unit）やメモリの他に、ネットワーク帯域も確保する必要がある。

　従来、仮想マシン管理として、ＣＰＵ数（コア数）やメモリサイズを考慮した仮想マシンの配置（仮想マシンのホスト（物理マシン、コンピュート）への割り当て）が行われている。また、仮想化基盤にてＱｏＳ（Quality of Service）を設定し、配置された仮想マシンのネットワーク帯域を制限することで、各仮想マシンのネットワーク帯域を確保することが可能であった。
　また、非特許文献１に記載の仮想化基盤の管理技術では、ホストのＣＰＵやメモリの使用率が閾値を超えると、仮想マシンを別のホストに移行（移動）して負荷の平準化を図っている。移行先のホストは、ＣＰＵやメモリの他にネットワーク帯域も考慮して決定される。

DRS PERFORMANCE - VMWARE vSPHERE 6.5, [online], [令和1年5月8日検索], インターネット<URL:https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/drs-vsphere65-perf.pdf>

　仮想化基盤におけるＱｏＳ設定は、仮想マシンの生成や移行のたびに人手で行われており、仮想化基盤の運用者が、設定値を決めて設定するための手間がかかる。非特許文献１の技術については、ホストのＣＰＵやメモリの使用率が閾値を超えたときには仮想マシンを移行しているが、ネットワークの使用率（帯域）については対応していない。このため、ある仮想マシンが使用するネットワーク帯域が大きくなり、同居する他の仮想マシンのネットワーク帯域が圧迫されるケースがある。ネットワーク帯域が圧迫されると、遅延が発生してサービスの応答時間が長くなったり、サービス提供自体が中断されたりする。

　本発明は、このような背景を鑑みてなされたものであり、仮想マシンのネットワーク帯域確保を可能とする、仮想マシン監視装置、仮想マシン監視方法およびプログラムを提供することを課題とする。

　前記した課題を解決するため、請求項１に記載の発明は、仮想マシンが動作する複数のホスト、および１つの前記ホストから他の前記ホストへの前記仮想マシンの移行の制御を行う仮想化基盤制御装置を備える仮想化基盤システムにおいて前記仮想マシンを監視する仮想マシン監視装置であって、前記仮想マシンが動作する前記ホスト、前記仮想マシンの動作状況、および使用ネットワーク帯域を含む前記ホストのネットワーク使用状況を収集するデータ取得部と、前記ホストの使用ネットワーク帯域が所定のネットワーク帯域閾値を超えたか否かを判定し、超えた場合に、当該ホストで動作する仮想マシンであって、前記動作状況が所定基準を満たさない仮想マシンを特定する監視部と、前記動作状況が所定基準を満たさない仮想マシンのなかで移行させる仮想マシンを決定し、前記移行させる仮想マシンの移行先となる前記ホストを決定する移行判定部と、前記移行させる仮想マシンの前記移行先となるホストへの移行を前記仮想化基盤制御装置に指示する移行指示部とを備えることを特徴とする仮想マシン監視装置とした。

　また、請求項６に記載の発明は、仮想マシンが動作する複数のホスト、および１つの前記ホストから他の前記ホストへの前記仮想マシンの移行の制御を行う仮想化基盤制御装置を備える仮想化基盤システムにおいて前記仮想マシンを監視する仮想マシン監視装置の仮想マシン監視方法であって、前記仮想マシン監視装置が、前記仮想マシンが動作する前記ホスト、前記仮想マシンの動作状況、および使用ネットワーク帯域を含む前記ホストのネットワーク使用状況を収集するステップと、前記ホストの使用ネットワーク帯域が所定のネットワーク帯域閾値を超えたか否かを判定し、超えた場合に、当該ホストで動作する仮想マシンであって、前記動作状況が所定基準を満たさない仮想マシンを特定するステップと、前記動作状況が所定基準を満たさない仮想マシンのなかで移行させる仮想マシンを決定し、前記移行させる仮想マシンの移行先となる前記ホストを決定するステップと、前記移行させる仮想マシンの前記移行先となるホストへの移行を前記仮想化基盤制御装置に指示するステップとを実行することを特徴とする仮想マシン監視方法とした。

　このような構成にすることで、仮想マシン監視装置は、使用するネットワーク帯域が所定のネットワーク帯域閾値を超えたホストで稼働し、動作状況が所定基準を満たさない仮想マシンを特定し、当該仮想マシンを別のホストに移行させる指示を仮想化基盤制御装置に出す。この移行により、仮想マシンは、移行前のホストでのネットワーク帯域の圧迫を回避できるようになる。延いては、仮想マシンは、提供するサービスの品質を確保できるようになる。

　請求項２に記載の発明は、前記所定基準が、前記ホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の当該仮想マシンの使用ネットワーク帯域から所定の計算式で算出される使用ネットワーク帯域、前記ホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の当該仮想マシンのパケットロス率から所定の計算式で算出されるパケットロス率、前記ホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の当該仮想マシンのサービス要求処理量から所定の計算式で算出されるサービス要求処理量、前記ホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の当該仮想マシンのサービス応答時間から所定の計算式で算出されるサービス応答時間のうちの少なくとも何れか１つを含むことを特徴とする請求項１に記載の仮想マシン監視装置とした。

　このような構成にすることで、仮想マシン監視装置は、使用ネットワーク帯域の他、パケットロス率、サービス要求処理量、サービス応答時間から仮想マシンの動作状況が所定基準を満たしているか否かを判断できるようになる。

　請求項３に記載の発明は、前記移行判定部が、前記ホストのなかで、前記移行させる仮想マシンが動作するホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の前記移行させる仮想マシンの使用ネットワーク帯域を加えても、使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超えないホストから、前記移行先となるホストを決定することを特徴とする請求項１に記載の仮想マシン監視装置とした。

　このような構成にすることで、仮想マシン監視装置は、圧迫が始まる以前のネットワーク帯域を確保することができるホストに仮想マシンを移行する。これにより、移行後の仮想マシンは、ネットワーク帯域を確保して、サービスを提供することができるようなる。

　請求項４に記載の発明は、前記移行判定部が、前記動作状況が所定基準を満たさない仮想マシンであって現在の使用ネットワーク帯域が最大の仮想マシン、および前記動作状況が所定基準を満たさない仮想マシンであって現在の使用ネットワーク帯域がホストの前記所定のネットワーク帯域閾値からの超過分より大きく、現在の使用ネットワーク帯域が最小の仮想マシンの何れかを、前記移行させる仮想マシンと決定することを特徴とする請求項１に記載の仮想マシン監視装置とした。

　このような構成にすることで、仮想マシン監視装置は、１つの仮想マシンを移行することで、ホストの使用ネットワーク帯域を削減することができる。これにより、仮想マシンの移行に伴うホストやネットワークへの負担を抑制しながら、仮想マシンは、提供するサービスの品質を確保できるようになる。

　請求項５に記載の発明は、前記移行判定部が、前記動作状況が所定基準を満たさない複数の仮想マシンであって、当該複数の仮想マシンの使用ネットワーク帯域の総量がホストの前記所定のネットワーク帯域閾値からの超過分より大きく、当該複数の仮想マシンが最小となるように前記移行する仮想マシンを決定することを特徴とする請求項１に記載の仮想マシン監視装置とした。

　このような構成にすることで、仮想マシン監視装置は、移行する仮想マシンの数を最小にしながら、ホストの使用ネットワーク帯域の超過を解消することができる。これにより、仮想マシンの移行に伴うホストやネットワークへの負担を抑制しながら、仮想マシンは、提供するサービスの品質を確保できるようになる。

　請求項７に記載の発明は、コンピュータを、請求項１に記載の仮想マシン監視装置として機能させるためのプログラムとした。

　このようなプログラムによれば、請求項１に記載の仮想マシン監視装置の各機能を、一般的なコンピュータを用いて実現することができる。

　本発明によれば、仮想マシンのネットワーク帯域確保を可能とする、仮想マシン監視装置、仮想マシン監視方法およびプログラムを提供することができる。

本実施形態に係る仮想マシン監視装置を含む仮想化基盤システムの全体構成図である。本実施形態に係る仮想マシン監視装置の機能構成図である。本実施形態に係る仮想マシン管理データベースのデータ構成図である。本実施形態に係る仮想マシン通信統計データベースのデータ構成図である。本実施形態に係るホスト通信統計データベースのデータ構成図である。本実施形態に係る仮想化基盤システムの定常時のネットワーク使用状況を説明するための図である。本実施形態に係る仮想化基盤システムにおいて、仮想マシンのネットワーク使用量が急増したときのネットワーク使用状況を説明するための図である。本実施形態に係る仮想化基盤システムにおいて、仮想マシンの移行後のネットワーク使用状況を説明するための図である。本実施形態に係る仮想マシン監視処理のフローチャートである。

　以下に、本発明を実施するための形態（実施形態）における仮想マシン監視装置について説明する。本実施形態に係る仮想マシン監視装置は、ホストや仮想マシンのネットワーク使用状況を監視して使用するネットワーク帯域が圧迫された仮想マシンを特定し、当該仮想マシンを別のホストに移行することを特徴とする。

　このようにすることにより、本実施形態に係る仮想マシン監視装置により、仮想マシンは、同居する仮想マシンによるネットワーク帯域の圧迫を回避して、必要なネットワーク帯域を確保することができるようになる。延いては、仮想マシンは、提供するサービスの品質を確保できるようになる。
　以下、仮想化基盤や仮想マシン監視装置を含む仮想化基盤システムについて詳細に説明する。

≪仮想化基盤システムの構成≫
　図１は、本実施形態に係る仮想マシン監視装置１００を含む仮想化基盤システム１０の全体構成図である。仮想化基盤システム１０は、ホスト２１０，２２０，２３０、ストレージノード２７０、仮想化基盤制御装置２８０、スイッチ２９０、および仮想マシン監視装置１００を含んで構成される。ホスト２１０，２２０，２３０、ストレージノード２７０、仮想化基盤制御装置２８０、および仮想マシン監視装置１００は、スイッチ２９０に接続され、相互に通信可能である。また、スイッチ２９０は、外部ネットワーク２９５に接続されている。

　ホスト２１０は、ＮＩＣ（Network Interface Card）２１１を備えている。ホスト２１０では、仮想マシン３１０，３２０が稼働しており、外部ネットワーク２９５に接続されたコンピュータにサービスを提供している。詳しくは、仮想マシン３１０は、仮想ＮＩＣ３１１（図１では「ｖＮＩＣ」と記載）を備え、ＮＩＣ２１１、スイッチ２９０、外部ネットワーク２９５を介して、サービスを提供している。仮想マシン３２０，３３０，３４０，３５０についても同様であって、それぞれ仮想ＮＩＣ３２１，３３１，３４１，３５１を備え、ホスト２１０，２２０，２２０，２３０上で稼働している。なお、図１では、ホストは３つであり、１つのホスト上の仮想マシンは１つまたは２つであるが、これに限定されない。ホストは複数であり、各ホストでは１つ以上の仮想マシンを稼働させることができる。

　仮想マシン３１０，３２０，３３０，３４０，３５０は、個別にサービスを提供するとは限らない。例えば、仮想マシン３３０，３４０，３５０が相互に通信して、全体として１つのサービスを形成して、外部ネットワーク２９５に接続されたコンピュータにサービスを提供するケースもある。

　ストレージノード２７０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を備えた記憶装置であって、仮想マシン３１０，３２０，３３０，３４０，３５０に対してストレージとして機能する。詳しくは、仮想マシン３１０，３２０，３３０，３４０，３５０は、ＮＩＣ２１１，２２１，２３１およびスイッチ２９０を介してストレージノード２７０を共用のローカルストレージとしてアクセスする。このため、例えば、仮想マシン３２０がホスト２１０からホスト２３０に移行したとしても、仮想マシン３２０は、ローカルストレージとしてストレージノード２７０にアクセスする。

　仮想化基盤制御装置２８０は、ホスト２１０，２２０，２３０や仮想マシン３１０，３２０，３３０，３４０，３５０、スイッチ２９０を制御しており、制御に必要な情報を記憶している。仮想マシンに係る制御としては、ホストの割り当てや起動、終了、移行などがある。また、ホスト２１０，２２０，２３０やスイッチ２９０に係る制御として、仮想マシンが接続されるＶＬＡＮ（Virtual Local Area Network）の設定がある。仮想化基盤制御装置２８０は、仮想マシンのＣＰＵ数（コア数）やメモリサイズ、稼働しているホスト、ストレージノード２７０の割り当て領域、ＶＬＡＮ情報などを記憶している。

≪仮想マシン監視装置：機能構成≫
　図２は、本実施形態に係る仮想マシン監視装置１００の機能構成図である。仮想マシン監視装置１００は、ＣＰＵから構成される制御部１１０、ＲＡＭ（Random Access Memory）やＳＳＤなどから構成される記憶部１２０、および通信部１７０を含んで構成される。通信部１７０は、ＮＩＣから構成され、仮想化基盤制御装置２８０やホスト２１０，２２０，２３０などと通信する。

　記憶部１２０は、仮想マシン管理データベース１３０（図２ではＶＭ（Virtual Machine）管理ＤＢ（Database）と記載）、仮想マシン通信統計データベース１４０、ホスト通信統計データベース１５０、およびスイッチ通信統計データベース１６０を含む。スイッチ通信統計データベース１６０は、スイッチ２９０に係る通信統計情報を含み、例えば、ＶＬＡＮごとのパケット数やデータ量、ＭＡＣ（Media Access Controller）アドレスごとの送受信パケット数やデータ量などの情報を含む。以下、仮想マシン管理データベース１３０、仮想マシン通信統計データベース１４０、ホスト通信統計データベース１５０について説明を続ける。

≪仮想マシン監視装置：仮想マシン管理データベース≫
　図３は、本実施形態に係る仮想マシン管理データベース１３０のデータ構成図である。仮想マシン管理データベース１３０は、例えば表形式のデータであって、１つの行（レコード）は、１つの仮想マシンを示す。仮想マシン管理データベース１３０のレコードは、識別情報１３１（図３ではIDと記載）、ホスト１３２、コア数１３３、ＮＩＣ数１３４、メモリ１３５、ストレージ１３６、ＶＬＡＮ識別情報１３７（図３ではVLANIDと記載）、およびＭＡＣアドレス１３８を含んで構成される。

　識別情報１３１は、仮想マシンの識別情報である。ホスト１３２は、仮想マシンが稼働するホストの識別情報である。コア数１３３は、仮想マシンのコア数（仮想ＣＰＵ数）である。ＮＩＣ数１３４は、仮想マシンの仮想ＮＩＣ数である。メモリ１３５は、仮想マシンのメモリサイズであって、単位はＧＢである。ストレージ１３６は、仮想マシンに割り当てられたストレージノード２７０の領域（領域の開始アドレスとサイズ（単位はＴＢ））を示す。ＶＬＡＮ識別情報１３７は、仮想マシンが備える仮想ＮＩＣが接続するＶＬＡＮの識別情報である。ＭＡＣアドレス１３８は、仮想マシンが備える仮想ＮＩＣのＭＡＣアドレスである。

　レコード１３９が示す仮想マシンの識別情報は「VM310」であって、稼働するホストの識別情報は「H210」である。レコード１３９が示す仮想マシンは、４つのコア、１つの仮想ＮＩＣ、256GBのメモリ、16TBのストレージを備える。レコード１３９が示す仮想マシンの仮想ＮＩＣのＭＡＣアドレスは「3f:4b:04:93:a8:01」であって、識別情報が「VL33」であるＶＬＡＮに接続されている。

≪仮想マシン監視装置：仮想マシン通信統計データベース≫
　図４は、本実施形態に係る仮想マシン通信統計データベース１４０のデータ構成図である。仮想マシン通信統計データベース１４０は、例えば表形式のデータであって、１つのレコードは、１つの仮想マシンのある期間における通信統計情報（動作状況）を示す。仮想マシン通信統計データベース１４０のレコードは、識別情報１４１、取得時間１４２、帯域１４３、送信パケット１４４、受信パケット１４５、スループット１４６、および遅延１４７を含んで構成される。

　識別情報１４１は、仮想マシンの識別情報であって、仮想マシン管理データベース１３０の識別情報１３１に対応する。取得時間１４２は、通信統計情報を取得した期間である。帯域１４３は、取得時間１４２における平均の通信帯域であって、単位はＧｂｐｓである。送信パケット１４４は、取得時間１４２における送信パケット数と紛失送信パケット数を含み、これらの値から送信におけるパケットロス率が算出可能である。受信パケット１４５は、取得時間１４２における受信パケット数と紛失受信パケット数を含み、これらの値から受信におけるパケットロス率が算出可能である。

　スループット１４６は、取得時間１４２における単位時間当たりのメッセージ処理数である。仮想マシンは、受信パケットに含まれる要求メッセージを処理して、送信パケットに含まれる応答メッセージとして処理結果を通知する。対となる送信パケットと受信パケットのペア数がメッセージ処理数（サービス要求処理量）となる。遅延１４７は、メッセージの処理時間であり、要求メッセージを受信してから応答メッセージを送信するまでの時間の、取得時間１４２における平均値であって、単位はmsである。

　レコード１４９は、識別情報が「VM310」である仮想マシンの２０１９年４月１５日１３時２３分５６秒から６００秒に亘る期間における平均通信帯域は2.3Gbps、送信パケット数は63345、紛失送信パケット数は91、受信パケット数は173934、紛失受信パケット数は103、メッセージ処理数は17247、遅延は23msであることを示している。

≪仮想マシン監視装置：ホスト通信統計データベース≫
　図５は、本実施形態に係るホスト通信統計データベース１５０のデータ構成図である。ホスト通信統計データベース１５０は、例えば表形式のデータであって、１つのレコードは、１つのホストのある期間における通信統計情報（ネットワーク使用状況）を示す。ホスト通信統計データベース１５０のレコードは、識別情報１５１、取得時間１５２、帯域１５３、送信パケット１５４、受信パケット１５５、スループット１５６、および遅延１５７を含んで構成される。

　識別情報１５１は、ホストの識別情報である。取得時間１５２、帯域１５３、送信パケット１５４、および受信パケット１５５は、仮想マシン通信統計データベース１４０の取得時間１４２、帯域１４３、送信パケット１４４、および受信パケット１４５とそれぞれ同様であって、仮想マシンに替わりホストにおける通信統計情報である。スループット１５６および遅延１５７は、取得時間１５２における、ホストで稼働する仮想マシンの全体でのスループット（単位時間当たりのメッセージ処理数）および遅延（平均のメッセージ処理時間）である。

≪仮想マシン監視装置：制御部≫
　図２に戻って、仮想マシン監視装置１００の制御部１１０の説明を続ける。データ取得部１１１は、ホスト２１０，２２０，２３０やスイッチ２９０から通信統計情報を所定のタイミング（例えば一定周期で）で取得して、仮想マシン通信統計データベース１４０、ホスト通信統計データベース１５０、およびスイッチ通信統計データベース１６０に格納する。また、データ取得部１１１は、仮想化基盤制御装置２８０からホスト２１０，２２０，２３０上で稼働する仮想マシンの情報を所定のタイミング（例えば仮想マシンの起動時と停止時と移行時）で取得して、仮想マシン管理データベース１３０に格納する。

　監視部１１２は、仮想マシン通信統計データベース１４０、およびホスト通信統計データベース１５０に格納された通信統計情報から、ネットワークの使用量が大きいホストや仮想マシンを探索する。また、監視部１１２は、ネットワークの使用量が大きい仮想マシンと同居する（同じホストで稼働する）仮想マシンであって、性能が悪化した（動作状況が所定基準を満たさない）仮想マシンを探索する。探索結果の仮想マシンは、別のホストに移行する仮想マシンの候補となる。

　移行判定部１１３は、監視部１１２が特定した、ネットワークの使用量が大きい仮想マシンと同居し、性能が悪化した仮想マシンの移行の要否や移行先となるホストを決定する。
　移行指示部１１４は、移行判定部１１３が決定した仮想マシンの移行を、仮想化基盤制御装置２８０に指示する。

≪仮想マシン監視処理≫
　図６～図８を参照しながら、監視部１１２、移行判定部１１３、および移行指示部１１４が実行する仮想マシン監視処理を説明する。
　図６は、本実施形態に係る仮想化基盤システム１０の定常時のネットワーク使用状況を説明するための図である。なお、ストレージノード２７０は記載していない。仮想ＮＩＣ３１１，３２１，３３１，３４３，３５１を端点とする双方向の矢印および、その下方の数値は、それぞれ対応する仮想マシン３１０，３２０，３３０，３４０，３５０が使用しているネットワーク帯域（ネットワーク使用量、使用ネットワーク帯域）を示す。定常時には、仮想マシン３１０，３２０，３３０，３４０，３５０は、それぞれ4.3Gbps、2.0Gbps、2.0Gbps、2.5Gbps、3.0Gbpsの帯域を使用している。

　図７は、本実施形態に係る仮想化基盤システム１０において、仮想マシン３１０のネットワーク使用量が急増したときのネットワーク使用状況を説明するための図である。図６に示した定常時と比較して、仮想マシン３１０の使用量が4.3Gbpsから7.5Gbpsに増加している。一方、仮想マシン３１０と同居する仮想マシン３２０の使用量は、仮想マシン３１０の使用量（帯域）に影響を受けて、2.0Gbpsから1.5Gbpsに減少している。

　監視部１１２は、仮想マシン通信統計データベース１４０とホスト通信統計データベース１５０とに格納された通信統計情報を参照して、このようにネットワーク使用量が減少した仮想マシン３２０を特定する。移行判定部１１３は、ホストのＣＰＵ、メモリ、ネットワークの使用状況から仮想マシン３２０の移行先となるホストを決定する。図７の状態では、移行判定部１１３は、ホスト２３０のＣＰＵ、メモリ、ネットワークに余裕があると判断して、移行先をホスト２３０と決定する。移行指示部１１４は、移行判定部１１３の決定を受けて、仮想マシン３２０をホスト２３０に移行するように仮想化基盤制御装置２８０に指示する。

　図８は、本実施形態に係る仮想化基盤システム１０において、仮想マシン３１０の移行後のネットワーク使用状況を説明するための図である。図６に示した定常時と比較して、仮想マシン３２０がホスト２１０からホスト２３０に移行している。仮想マシン３１０からの影響を受けて1.5Gbps（図７参照）に減少していた仮想マシン３２０のネットワーク使用量は、定常時（図６参照）の2.0Gbpsに戻っている。

　続いて、仮想マシン監視処理の流れを説明する。図９は、本実施形態に係る仮想マシン監視処理のフローチャートである。仮想マシン監視処理は、所定のタイミングで、例えば一定周期で、実行される。仮想マシン監視処理は、仮想マシン通信統計データベース１４０やホスト通信統計データベース１５０の更新時に実行されるようにしてもよい。
　ステップＳ１１において、監視部１１２は、ネットワーク使用量が増大したホストを特定する。詳しくは、監視部１１２は、ホスト通信統計データベース１５０（図５参照）においてホストごとに、取得時間１５２が最新のレコードの帯域１５３が所定の値（ネットワーク帯域閾値）を超えているホストを探索し、使用量増大ホストを特定する。所定の値は、例えば一定の値であってもよいし、ホストのＮＩＣの最大帯域に所定の値を乗じた値であってもよいし、過去の所定期間における当該ホストの帯域の平均値に所定の値を乗じた値であってもよい。

　ステップＳ１２において、監視部１１２は、ステップＳ１１で特定した使用量増大ホストごとに、ステップＳ１３～Ｓ１９を繰り返す。
　ステップＳ１３において、監視部１１２は、使用量増大ホストで稼働する仮想マシンであって、ネットワーク使用量が増大した仮想マシンを特定する。詳しくは、監視部１１２は、仮想マシン通信統計データベース１４０（図４参照）において使用量増大ホストで稼働する仮想マシンごとに、取得時間１４２が最新のレコードの帯域１４３が所定の値を超えている仮想マシンを探索し、使用量増大仮想マシンを特定する。使用量増大ホストで稼働する仮想マシンは、仮想マシン管理データベース１３０（図３参照）を参照して特定することができる。所定の値は、例えば、一定の値であってもよいし、ホストのＮＩＣの最大帯域に所定の値を乗じた値であってもよいし、過去の所定期間における当該仮想マシンのネットワーク使用量の平均値に所定の値を乗じた値であってもよい。

　ステップＳ１４において、監視部１１２は、ステップＳ１３において使用量増大仮想マシンが特定されれば（存在すれば）（ステップＳ１４→ＹＥＳ）ステップＳ１５に進み、使用量増大仮想マシンが特定されなければ（存在しないならば）（ステップＳ１４→ＮＯ）ステップＳ２０に進む。

　ステップＳ１５において、監視部１１２は、使用量増大ホストで稼働する仮想マシンであって、ネットワーク使用量が悪化した仮想マシンを特定する。詳しくは、監視部１１２は、仮想マシン通信統計データベース１４０において使用量増大ホストで稼働する仮想マシンごとに、取得時間１４２が最新のレコードの帯域１４３が所定の値以下の仮想マシンを探索し、使用量悪化仮想マシンを特定する。所定の値は、例えば、過去の所定期間における当該仮想マシンの帯域の平均値に所定の値を乗じた値である。

　ステップＳ１６において、監視部１１２は、ステップＳ１５で特定した使用量悪化仮想マシンごとに、ステップＳ１７～Ｓ１８を繰り返す。
　ステップＳ１７において、移行判定部１１３は、使用量悪化仮想マシンの移行先のホストを特定する。詳しくは、移行判定部１１３は、使用量悪化仮想マシンのコアとメモリとネットワーク使用量が悪化する前のネットワーク使用量とに対応する、ＣＰＵとメモリとネットワーク使用量との空きがあるホストから移行先のホストを選択して決定する。使用量悪化仮想マシンのコアとメモリは、仮想マシン管理データベース１３０から取得できる。使用量が悪化する前のネットワーク使用量は、仮想マシン通信統計データベース１４０から取得できる。ホストの空きＣＰＵや空きメモリは、仮想化基盤制御装置２８０に問い合わせて取得できる。ホストのネットワーク使用量の空きは、ホスト通信統計データベース１５０（図５参照）の帯域１５３から計算可能である。

　ステップＳ１８において、移行指示部１１４は、使用量悪化仮想マシンをステップＳ１７で決定した移行先ホストに移行するように、仮想化基盤制御装置２８０に指示する。
　ステップＳ１９において、監視部１１２は、ステップＳ１５で特定した全ての使用量悪化仮想マシンごとに、ステップＳ１７～Ｓ１８を繰り返したか否かを判定し、未処理の使用量悪化仮想マシンがあればステップＳ１７に戻り、未処理の使用量悪化仮想マシンがなければステップＳ２０に進む。

　ステップＳ２０において、監視部１１２は、ステップＳ１１で特定した全ての使用量増大ホストごとに、ステップＳ１３～Ｓ１９を繰り返したか否かを判定し、未処理の使用量増大ホストがあればステップＳ１３に戻り、未処理の使用量増大ホストがなければ仮想マシン監視処理を終える。

≪仮想マシン監視処理の特徴≫
　監視部１１２は、ネットワーク使用量が増大したホストで稼働する仮想マシンのなかにネットワーク使用量が増大した仮想マシンが存在するか否かを判定する。存在すれば、監視部１１２が、当該ホスト上でネットワーク使用量が悪化した仮想マシンを特定する。次に、移行判定部１１３が当該仮想マシンの移行先ホストを決定する。続いて、移行指示部１１４が、仮想化基盤制御装置２８０に当該仮想マシンの移行先ホストへの移行を指示する。

　ネットワーク使用量が悪化した仮想マシンが、空きがあるホストを移行することで、悪化する前の使用量のネットワークを使用することができるようになり、サービスの品質を回復することができる。また、移行元のホストにおいては、ネットワーク使用量に空きが生じ、当該ホストで稼働する仮想マシンのネットワーク使用量に余裕が生まれる。延いては、仮想化基盤システム１０で稼働する仮想マシンの性能が向上することになる。

≪変形例１：使用量悪化仮想マシン≫
　図９のステップＳ１５において、監視部１１２は、仮想マシンの帯域１４３（図４参照）を参照して、使用量が悪化した仮想マシンを特定している。例えば、監視部１１２は、過去の所定期間における当該仮想マシンの帯域１４３の平均値に所定の値を乗じた（所定の計算式で算出される）値を所定基準とし、最新の帯域１４３が所定基準より小さいならば、使用量が悪化した仮想マシンと特定する。または、監視部１１２は、仮想マシンごとに予め定めた所定の値を所定基準とし、最新の帯域１４３と比較してもよい。

　監視部１１２は、帯域１４３に限らず送信パケット１４４（パケットロス率）を参照し、所定基準となる値として、過去の所定期間における平均値に所定値を乗じた値（所定の計算式で算出される値）や仮想マシンごとにあらかじめ定めた値と比較して、仮想マシンの性能が悪化している仮想マシンを使用量悪化仮想マシンとして特定してもよい。受信パケット１４５（パケットロス率）、スループット１４６（サービス要求処理量）、および遅延１４７（サービス応答時間）についても同様である。または、監視部１１２は、これらの値を組み合わせて使用量悪化仮想マシンを特定してもよい。

　多数の統計値を基づいて判断することで、より正確に使用量悪化仮想マシンを特定することができるようになる。例えば、受信パケット１４５に含まれる受信パケット数も、帯域１４３も悪化している場合には、ネットワーク帯域が圧迫されたのではなく、そもそもの通信量（サービスへの要求）が減ったとみなし、使用量悪化とは判断しないようにしてもよい。

≪変形例２：移行する仮想マシンの選択≫
　ステップＳ１７において、移行判定部１１３は、使用量悪化仮想マシン全ての移行先を決定しているが、使用量悪化仮想マシンの一部のみを移行するようにしてもよい。例えば、移行判定部１１３は、最も悪化している１つの仮想マシンを移行するようにしてもよい。または、移行判定部１１３は、悪化した仮想マシンのなかで、ネットワーク使用量が最大の仮想マシンを移行するようにしてもよい。

　もしくは、移行判定部１１３は、悪化した仮想マシンのなかで、ネットワーク使用量がホストのネットワーク使用量の超過分以上であって、ネットワーク使用量が最小の仮想マシンを移行するようにしてもよい。または、ネットワーク使用量がホストのネットワーク使用量の超過分以上であって、移行する仮想マシンが最小になるように移行するようにしてもよい。
　移行する仮想マシンを減らすことで、ホストやスイッチ２９０にかかる負担を削減することができる。また、ネットワーク使用量が小さいホストは、処理量が小さく、使用中のメモリも少ないと考えられ、移行のコストを低くできる。

≪変形例３：使用量増大仮想マシン≫
　図９のステップＳ１３～Ｓ１４において、監視部１１２は、使用量増大仮想マシンが存在したときに、ステップＳ１５において使用量悪化仮想マシンを特定している。これに対して、ステップＳ１３～Ｓ１４を省略して、使用量増大仮想マシンを特定しないまま、ネットワーク使用量が増大したホストにおいて、ネットワーク使用量が悪化した仮想マシンを特定して移行するようにしてもよい。

≪その他の変形例≫
　なお、本発明は、上記した実施形態に限定されることなく、その趣旨を逸脱しない範囲で変更することができる。例えば、変形例２においては、移行判定部１１３が移行する仮想マシンを決定していたが、ステップＳ１５（図９参照）において監視部１１２が決定してもよい。また、ステップＳ１７において、移行判定部１１３は、ホストの空きＣＰＵや空きメモリを、仮想化基盤制御装置２８０に問い合わせて取得している。これに替えて、データ取得部１１１が、所定のタイミングで仮想化基盤制御装置２８０から取得して記憶部１２０に記憶し、移行判定部１１３は、この記憶済みの空きＣＰＵや空きメモリを参照するようにしてもよい。

　また、別の実施形態として、コンピュータを、仮想マシン監視装置１００として機能させるためのプログラムや当該プログラムを記憶した記憶媒体、当該プログラムを配信するサーバであってもよい。

　以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０　　仮想化基盤システム
１００　仮想マシン監視装置
１１０　制御部
１１１　データ取得部
１１２　監視部
１１３　移行判定部
１１４　移行指示部
１３０　仮想マシン管理データベース
１４０　仮想マシン通信統計データベース
１４３　帯域（仮想マシンの使用ネットワーク帯域）
１４４　送信パケット（送信パケットロス率、パケットロス率）
１４５　受信パケット（受信パケットロス率、パケットロス率）
１４６　スループット（サービス要求処理量）
１４７　遅延（サービス応答時間）
１５０　ホスト通信統計データベース
１５３　帯域（ホストの使用ネットワーク帯域）
１６０　スイッチ通信統計データベース
２１０，２２０，２３０　ホスト
２８０　仮想化基盤制御装置
３１０，３２０，３３０，３４０，３５０　仮想マシン

Claims

　仮想マシンが動作する複数のホスト、および１つの前記ホストから他の前記ホストへの前記仮想マシンの移行の制御を行う仮想化基盤制御装置を備える仮想化基盤システムにおいて前記仮想マシンを監視する仮想マシン監視装置であって、
　前記仮想マシンが動作する前記ホスト、前記仮想マシンの動作状況、および使用ネットワーク帯域を含む前記ホストのネットワーク使用状況を収集するデータ取得部と、
　前記ホストの使用ネットワーク帯域が所定のネットワーク帯域閾値を超えたか否かを判定し、超えた場合に、当該ホストで動作する仮想マシンであって、前記動作状況が所定基準を満たさない仮想マシンを特定する監視部と、
　前記動作状況が所定基準を満たさない仮想マシンのなかで移行させる仮想マシンを決定し、前記移行させる仮想マシンの移行先となる前記ホストを決定する移行判定部と、
　前記移行させる仮想マシンの前記移行先となるホストへの移行を前記仮想化基盤制御装置に指示する移行指示部と
　を備えることを特徴とする仮想マシン監視装置。
　前記所定基準は、
　前記ホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の当該仮想マシンの使用ネットワーク帯域から所定の計算式で算出される使用ネットワーク帯域、
　前記ホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の当該仮想マシンのパケットロス率から所定の計算式で算出されるパケットロス率、
　前記ホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の当該仮想マシンのサービス要求処理量から所定の計算式で算出されるサービス要求処理量、
　前記ホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の当該仮想マシンのサービス応答時間から所定の計算式で算出されるサービス応答時間
　のうちの少なくとも何れか１つを含むことを特徴とする請求項１に記載の仮想マシン監視装置。
　前記移行判定部は、
　前記ホストのなかで、前記移行させる仮想マシンが動作するホストの使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超える以前の前記移行させる仮想マシンの使用ネットワーク帯域を加えても、使用ネットワーク帯域が前記所定のネットワーク帯域閾値を超えないホストから、前記移行先となるホストを決定する
　ことを特徴とする請求項１に記載の仮想マシン監視装置。
　前記移行判定部は、
　前記動作状況が所定基準を満たさない仮想マシンであって現在の使用ネットワーク帯域が最大の仮想マシン、および前記動作状況が所定基準を満たさない仮想マシンであって現在の使用ネットワーク帯域がホストの前記所定のネットワーク帯域閾値からの超過分より大きく、現在の使用ネットワーク帯域が最小の仮想マシンの何れかを、前記移行させる仮想マシンと決定する
　ことを特徴とする請求項１に記載の仮想マシン監視装置。
　前記移行判定部は、
　前記動作状況が所定基準を満たさない複数の仮想マシンであって、当該複数の仮想マシンの使用ネットワーク帯域の総量がホストの前記所定のネットワーク帯域閾値からの超過分より大きく、当該複数の仮想マシンが最小となるように前記移行する仮想マシンを決定する
　ことを特徴とする請求項１に記載の仮想マシン監視装置。
　仮想マシンが動作する複数のホスト、および１つの前記ホストから他の前記ホストへの前記仮想マシンの移行の制御を行う仮想化基盤制御装置を備える仮想化基盤システムにおいて前記仮想マシンを監視する仮想マシン監視装置の仮想マシン監視方法であって、
　前記仮想マシン監視装置が、
　前記仮想マシンが動作する前記ホスト、前記仮想マシンの動作状況、および使用ネットワーク帯域を含む前記ホストのネットワーク使用状況を収集するステップと、
　前記ホストの使用ネットワーク帯域が所定のネットワーク帯域閾値を超えたか否かを判定し、超えた場合に、当該ホストで動作する仮想マシンであって、前記動作状況が所定基準を満たさない仮想マシンを特定するステップと、
　前記動作状況が所定基準を満たさない仮想マシンのなかで移行させる仮想マシンを決定し、前記移行させる仮想マシンの移行先となる前記ホストを決定するステップと、
　前記移行させる仮想マシンの前記移行先となるホストへの移行を前記仮想化基盤制御装置に指示するステップと
　を実行することを特徴とする仮想マシン監視方法。
　コンピュータを、請求項１に記載の仮想マシン監視装置として機能させるためのプログラム。