JP6675968B2 - データ移動順序決定装置、データ移動順序決定方法及びプログラム - Google Patents

Description

本発明は、データ移動順序決定装置、データ移動順序決定方法及びプログラムに関し、特に、仮想マシンのマイグレーションにおいて複数の仮想マシンのデータを移動させるときの移動順序を決定するための技術に関する。

これまで物理サーバを用いることでしか実現できなかったアプリケーションの稼働をソフトウェアプラットフォーム上で行う仮想マシン（VM：Virtual Machine）技術が発達している。VMはソフトウェアであり、VMを稼働させる環境が存在する物理プラットフォーム上で稼働する。そして、稼働環境を持つサーバが複数存在する場合、VM内のソフトを稼働させた状態で、VMを稼働するサーバを別のサーバに変更することができる、という特徴を持つ。このため、VM内で稼働するアプリケーションを止めることなく、それまでVMを稼働させていたサーバからバックアップ用のサーバにVMを移動させることができる。この動作はライブマイグレーションと呼ばれ、サーバの故障時やメンテナンス時にサービスを継続させる手段として用いられる。

サーバ内には複数のVMを収容することができる。これにより、1台のサーバを用いることで複数台のサーバと同等の処理を行うことが可能になる。このため、サーバのメンテナンスやデータセンタが災害に見舞われたとき、複数台のVMが一斉にバックアップ用のサーバやデータセンタに移動するという現象が発生する。

アプリケーションは高度化する傾向にある。それにともない、アプリケーションが利用するリソース量も増加する。そのようなアプリケーションを稼働させるため、VMのデータサイズは増加傾向にある。これに伴い、VMをマイグレーションするときに要する時間は増加する。この問題を解決すべくマイグレーション時間を短縮する様々な方法が検討されている。その中でもデデュプリケーション（dedupulication）と呼ばれる方法がマイグレーション時間を短縮する方法として有望視されている（非特許文献１参照）。

VMの中、もしくはVM間では、共通するデータが存在する。これは同じOS（Operating System）やアプリケーションを稼働させているVMが存在するためである。このようなVMのマイグレーションを行うとき、共通するデータにより重複して存在する部分については、共通するデータを1度だけ送信し、移行先で重複度合いにより複製する方法がデデュプリケーションである。この方法を用いることにより、重複するデータを個別に送信する必要がないため、送信しなければいけないデータ量が削減される。データ転送時間はマイグレーション時間に大きな影響を与えるため、この方法を用いることにより、マイグレーション時間を大幅に短縮することができる。

U. Deshpande, et al.,"Live gang migration of virtual machines," ACM High Performance Distributed Computing, pp. 135-146, 2011

VMはソフトウェアであるため、CPU（Central Processing Unit）やメモリリソースを消費する。その使用度合いはVM内で稼働するプログラムの挙動やVMを使用するユーザの振る舞いに応じて変化する。このため、VMが一時的に高負荷状態になる場合が存在する。複数のVMが稼働しているとき、一部のVMが高負荷になることにより、他のユーザが使用するVMがリソースを使用できなくなり、レスポンスの悪化や処理速度の低下などが生じる。これを防ぐ方法として、ロードバランシングが挙げられる。ロードバランシングは高負荷な物理プラットフォームで稼働しているVMを低負荷な物理プラットフォームに移行させることで、移行元のプラットフォームの負荷を低減させる方法である。

従来方式においてデデュプリケーションを行う際、データはシーケンシャルに送信される。すなわち、1つのデータが送信された後、別のデータを送信する。よって、すべてのデータを送信する時間は、データの送信順によらず一定である。

しかし、個別のVMのマイグレーション終了時間に注目した場合、事情は異なる。例として、2つのVM（VM1及びVM2）がマイグレーションを行う際に順番によって個別のVMのマイグレーション時間が異なる例を紹介する。VM1は別のVM2と共通するデータを100Mbyte持ち、個別のデータを200Mbyte持つとする。別のVM2は先ほどのVM1と共通するデータを100Mbyte持ち、個別のデータを400Mbyte持つとする。

VM1を先にマイグレーションする場合、共通データと個別データを転送した後、VM2の個別データを送信する。よって、VM1のマイグレーションは300Mbyte送信した時点で終了し、VM2のマイグレーションは700Mbyte送信した時点で終了する。

送信順を逆にする。VM2を先にマイグレーションすると、このVM2のマイグレーションは500Mbyte送信した時点で終了し、VM1のマイグレーションは700Mbyte送信した時点で終了する。

また、ロードバランシングを行うとき、負荷を速く軽減させることが重要となる。このため、移行元のサーバに重い負荷がかかる時間を軽減させることが必要である。仮にVM1に対するVM2のリソース利用率の割合を2:1であるとする。

VM1を先にマイグレーションする場合、VM1の移行が終了するまで、物理プラットフォームには3の負荷がかかることになる。そのあとVM2の移行が完了するまで1の負荷がかかる。

送信順を逆にする。VM2を先にマイグレーションすると、VM2の移行が終了するまで物理プラットフォームには3の負荷がかかり、そのあとVM2の移行が完了するまで2の負荷がかかる。

負荷がかかる時間を負荷の量で重みづけを行うと、前者は3×300+1×400=1300となり、後者は3×500+2×200=1900となり、後者のほうが重い負荷がかかる時間が長いことがわかる。

この例からも、マイグレーションを行う順番の決定方法を検討することにより、物理プラットフォームの負荷を速く軽減させることができることがわかる。しかし、従来方式では、マイグレーションを行う順番が考慮されていないため、物理プラットフォームの負荷を速く軽減させることができない。

本発明は、物理プラットフォームに重い負荷がかかる時間を短縮するためのデータの移動順序を決定することができるデータ移動順序決定装置、データ移動順序決定方法及びプログラムを提供することを目的とする。

本発明の一形態に係るデータ移動順序決定装置は、
複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置であって、
前記データを用いて処理を実行する物理プラットフォームの負荷を管理する負荷管理部と、
前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するデータ分類部と、
前記複数のデータを移動させるときの移動順序を複数仮定して、前記複数のデータの中のあるデータに対して、それぞれ仮定した移動順序に従って当該データを移動させるときの順序コストを、当該データ内の未移動のサブデータのコストと、当該データを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定した移動順序に対する総順序コストを算出し、前記複数仮定した移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定する移動順序決定部と、
を有することを特徴とする。
また、本発明の一形態に係るデータ移動順序決定装置は、
複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置であって、
前記データを用いて処理を実行する物理プラットフォームの負荷を管理する負荷管理部と、
前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するデータ分類部と、
前記複数のデータを移動させるときの移動順序を複数仮定して、更に、それぞれ仮定した移動順序において前記複数のサブデータを移動させるときの移動順序を複数仮定して、前記複数のサブデータの中のあるサブデータに対して、それぞれ仮定したサブデータの移動順序に従って当該サブデータを移動させるときの順序コストを、当該サブデータのコストと、当該サブデータが属するデータを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定したサブデータの移動順序に対する総順序コストを算出し、前記複数仮定したサブデータの移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定する移動順序決定部と、
を有することを特徴とする。

また、本発明の一形態に係るデータ移動順序決定方法は、
複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置におけるデータ移動順序決定方法であって、
前記データを用いて処理を実行する物理プラットフォームの負荷を管理するステップと、
前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するステップと、
前記複数のデータを移動させるときの移動順序を複数仮定して、前記複数のデータの中のあるデータに対して、それぞれ仮定した移動順序に従って当該データを移動させるときの順序コストを、当該データ内の未移動のサブデータのコストと、当該データを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定した移動順序に対する総順序コストを算出し、前記複数仮定した移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定するステップと、
を有することを特徴とする。
また、本発明の一形態に係るデータ移動順序決定方法は、
複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置におけるデータ移動順序決定方法であって、
前記データを用いて処理を実行する物理プラットフォームの負荷を管理するステップと、
前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するステップと、
前記複数のデータを移動させるときの移動順序を複数仮定して、更に、それぞれ仮定した移動順序において前記複数のサブデータを移動させるときの移動順序を複数仮定して、前記複数のサブデータの中のあるサブデータに対して、それぞれ仮定したサブデータの移動順序に従って当該サブデータを移動させるときの順序コストを、当該サブデータのコストと、当該サブデータが属するデータを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定したサブデータの移動順序に対する総順序コストを算出し、前記複数仮定したサブデータの移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定するステップと、
を有することを特徴とする。

また、本発明の一形態に係るプログラムは、
複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
前記データを用いて処理を実行する物理プラットフォームの負荷を管理する負荷管理手段、
前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するデータ分類手段、及び
前記複数のデータを移動させるときの移動順序を複数仮定して、前記複数のデータの中のあるデータに対して、それぞれ仮定した移動順序に従って当該データを移動させるときの順序コストを、当該データ内の未移動のサブデータのコストと、当該データを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定した移動順序に対する総順序コストを算出し、前記複数仮定した移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定する移動順序決定手段、
として機能させることを特徴とする。
また、本発明の一形態に係るプログラムは、
複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
前記データを用いて処理を実行する物理プラットフォームの負荷を管理する負荷管理手段、
前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するデータ分類手段、及び
前記複数のデータを移動させるときの移動順序を複数仮定して、更に、それぞれ仮定した移動順序において前記複数のサブデータを移動させるときの移動順序を複数仮定して、前記複数のサブデータの中のあるサブデータに対して、それぞれ仮定したサブデータの移動順序に従って当該サブデータを移動させるときの順序コストを、当該サブデータのコストと、当該サブデータが属するデータを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定したサブデータの移動順序に対する総順序コストを算出し、前記複数仮定したサブデータの移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定する移動順序決定手段、
として機能させることを特徴とする。

本発明によれば、物理プラットフォームに重い負荷がかかる時間を短縮するためのデータの移動順序を決定することが可能になる。

マイグレーションのフェーズを示す図 本発明の実施例に係るデータ移動順序決定装置の機能ブロック図 負荷を一元的に管理する場合のシステム構成を示す図 負荷を分散管理する場合のシステム構成を示す図 移行対象のVMを決定する方法のフローチャート（その１） 移行対象のVMを選択する例を示す図（その１） 移行対象のVMを選択する例を示す図（その２） 移行対象のVMを決定する方法のフローチャート（その２） 移行対象のVMを選択する例を示す図 VMのデータ構造例 ノード単位の順序コスト算出例 行毎にノード単位の順序コストを算出する方法のフロー例 ノード単位の順序コスト算出において計算量を削減する例（その１） ノード単位の順序コスト算出において計算量を削減する例（その２） ノード単位の順序コスト算出において計算量を削減する例（その３） 列毎にノード単位の順序コストを算出する方法のフロー例 ノード単位の順序コスト算出において計算量を削減する例（その４） リンク単位の順序コスト算出例 行毎にリンク単位の順序コストを算出する方法のフロー例 列毎にリンク単位の順序コストを算出する方法のフロー例 VMのデータ構造をツリーで表現する例 VMのデータ構造をツリーで表現したときのリンクの順序及び順序コストを説明するための図 ノード単位の順序コスト算出方法のフローチャート 実施例１のステップＳ５０３−１におけるリンクの計算を示す図 実施例１の計算過程におけるデータの例を示す図（その１） 実施例１の計算過程におけるデータの例を示す図（その２） 実施例１の計算過程におけるデータの例を示す図（その３） 実施例１のフローチャートの計算過程におけるデータの例を示す図（その４） 実施例１のフローチャートの計算過程におけるデータの例を示す図（その５） 実施例１のフローチャートの計算過程におけるデータの例を示す図（その６） 一般的なVMのデータ構造の例（その１） 一般的なVMのデータ構造のときのリンクの順序及び順序コストを説明するための図 一般的なVMのデータ構造の例（その２） 実施例２のステップＳ５０３−１におけるリンクの計算を示す図 実施例２の計算過程におけるデータの例を示す図（その１） 実施例２の計算過程におけるデータの例を示す図（その２） 実施例２の計算過程におけるデータの例を示す図（その３） 実施例２のフローチャートの計算過程におけるデータの例を示す図（その４） 実施例２のフローチャートの計算過程におけるデータの例を示す図（その５） リンク単位の順序コスト算出方法のフローチャート（その１） 実施例３のステップＳ６０３−１における経路の計算を示す図 実施例３（図４０）の計算過程におけるデータの例を示す図（その１） 実施例３（図４０）の計算過程におけるデータの例を示す図（その２） 実施例３（図４０）の計算過程におけるデータの例を示す図（その３） 実施例３（図４０）のフローチャートの計算過程におけるデータの例を示す図（その４） 実施例３（図４０）のフローチャートの計算過程におけるデータの例を示す図（その５） リンク単位の順序コスト算出方法のフローチャート（その２） 実施例３のステップＳ７０３−１における経路の計算を示す図 実施例３（図４７）の計算過程におけるデータの例を示す図（その１） 実施例３（図４７）の計算過程におけるデータの例を示す図（その２） 実施例３（図４７）の計算過程におけるデータの例を示す図（その３） 実施例３（図４７）のフローチャートの計算過程におけるデータの例を示す図（その４） 実施例３（図４７）のフローチャートの計算過程におけるデータの例を示す図（その５） 計算量を削減するときの実施例３（図４０）の計算過程におけるデータの例を示す図 実施例４のステップＳ６０３−１における経路の計算を示す図 実施例４（図４０）の計算過程におけるデータの例を示す図（その１） 実施例４（図４０）の計算過程におけるデータの例を示す図（その２） 実施例４（図４０）の計算過程におけるデータの例を示す図（その３） 実施例４（図４０）のフローチャートの計算過程におけるデータの例を示す図（その４） 実施例４（図４０）のフローチャートの計算過程におけるデータの例を示す図（その５） 実施例４のステップＳ７０３−１における経路の計算を示す図 実施例４（図４７）の計算過程におけるデータの例を示す図（その１） 実施例４（図４７）の計算過程におけるデータの例を示す図（その２） 実施例４（図４７）の計算過程におけるデータの例を示す図（その３） 実施例４（図４７）のフローチャートの計算過程におけるデータの例を示す図（その４） 実施例４（図４７）のフローチャートの計算過程におけるデータの例を示す図（その５） 計算量を削減するときの実施例４（図４０）の計算過程におけるデータの例を示す図 一般的なVMのデータ構造の例（その３） 本発明の実施例に係るデータ移動順序決定装置のハードウェア構成例を示す図

以下、図面を参照して本発明の実施例について説明する。

本発明の実施例では、仮想マシン（VM）のマイグレーションにおいて複数のVMのデータを移動させるときの移動順序を決定するデータ移動順序決定装置について説明する。VMのマイグレーションとは、VMのメモリデータを移行先のサーバにコピーする作業のことを言う。VMのライブマイグレーションとは、VMのマイグレーションの一種であり、サーバ上で稼働しているVMを稼働させたまま別のサーバ（例えば、バックアップ用サーバ）に移動（コピー）させることを言う。

図１は、マイグレーションのフェーズを示す図である。マイグレーションには、初期コピー、更新コピー、及び最終更新コピーの３つのフェーズが存在する。マイグレーションを開始した後、初期コピーフェーズで開始時のデータを最初にコピーする。その間、VMは稼働しているため、データの書き換えが行われる。その書き換えられたデータを更新コピーフェーズで送信する。そして、あるタイミングでVMの稼働を停止し、最終更新コピーフェーズで残りの更新データを送信する。

例えば、物理プラットフォームの負荷が高く、物理プラットフォーム上で稼働しているVMの少なくとも一部を別の物理プラットフォームに移動させる場合、物理プラットフォームの負荷を速く軽減させる必要がある。本発明の実施例に係るデータ移動順序決定装置は、短時間で物理プラットフォームの負荷を軽減できるVMを優先して移動させるように、データの移動をスケジューリングする。

図２は、本発明の実施例に係るデータ移動順序決定装置１００の機能ブロック図である。データ移動順序決定装置１００は、負荷管理部１０５と、データ分類部１１０と、移動順序決定部１２０とを有する。

負荷管理部１０５は、VMのデータを用いて処理を実行する物理プラットフォームの負荷を管理する。また、負荷管理部１０５は、VMのデータ量を管理してもよい。一般的に、VMのデータは、複数のサブデータから構成される。負荷管理部１０５は、VMのデータ量をサブデータ単位で管理してもよい。なお、VMのデータ構造については、以下に詳細に説明する。物理プラットフォームの負荷は、CPU負荷又はメモリ負荷等でもよく、これらの負荷を重み付けして組み合わせた値が用いられてもよい。

負荷管理部１０５は、複数の物理プラットフォームの負荷、データ量等の情報を一元的に管理してもよい。図３は、負荷を一元的に管理する場合のシステム構成を示す図である。例えば、負荷管理部１０５は、物理プラットフォームとは別の負荷管理コントローラに含まれる。物理プラットフォームの情報は、物理プラットフォームに存在する負荷管理機能を用いて収集され、C-Planeを介して物理プラットフォームと負荷管理コントローラとの間で情報が交換される。負荷管理コントローラが物理プラットフォームの負荷の平滑化の指示を受けた場合、又はある物理プラットフォームの負荷が閾値を超えた場合、負荷管理部１０５は、物理プラットフォームの負荷、或いは、物理プラットフォームの負荷とサブデータのデータ量に基づいて、負荷を平滑化するように移行対象のVMを決定する。その後、以下に説明するようにデータの移動順序が決定される。

また、負荷管理部１０５は、複数の物理プラットフォームのそれぞれにおいて負荷、データ量等の情報を分散して管理してもよい。図４は、負荷を分散管理する場合のシステム構成を示す図である。例えば、負荷管理部１０５は、各物理プラットフォームに含まれる。各物理プラットフォーム上の負荷管理部１０５は、自身の物理プラットフォームの負荷、データ量等の情報を収集し、他の物理プラットフォームと情報を交換する。物理プラットフォームの負荷の平滑化の指示を受けた場合、又は自身の物理プラットフォームの負荷が閾値を超えた場合、負荷管理部１０５は、物理プラットフォームの負荷、或いは、物理プラットフォームの負荷とサブデータのデータ量に基づいて、負荷を平滑化するように移行対象のVMを決定する。その後、以下に説明するようにデータの移動順序が決定される。

図５は、負荷管理部１０５において移行対象のVMを決定する方法のフローチャートである。この例では、図３に示すように負荷が一元的に管理される例を用いるが、図４に示すように負荷が分散管理される場合にも適用可能である。ステップＳ１１において、負荷分散コントローラの負荷管理部１０５は、物理プラットフォームの負荷の平滑化の指示を受ける。ステップＳ１２において、負荷管理部１０５は、負荷情報を参照し、移行対象のVMを予め設定された方法に従い選択する。

図６は、移行対象のVMを選択する例を示す図である。例えば、負荷管理部１０５は、物理プラットフォームA、B、C上で稼働する仮想マシンVM1〜VM10のデータサイズ及びCPU負荷を負荷管理テーブルの形式で管理する。ここで、物理プラットフォームAの合計負荷は13であり、物理プラットフォームBの合計負荷は8であり、物理プラットフォームCの合計負荷は28である。したがって、システム全体の負荷は13+8+28=49である。負荷を平均化する場合は、1台当たり負荷がシステム全体の負荷を物理プラットフォームで割った数である49/3=16.3に近くなるようにVMを移動する。但し移動対象のVMの数はなるべく少ない方が好ましいため、データサイズが考慮されてもよい。この例では、物理プラットフォームCのVM8を物理プラットフォームBへ、物理プラットフォームCのVM9を物理プラットフォームAへ移動することで、負荷が平滑化される。移動順序については以下に詳細に説明するが、VM8とVM9を比較すると、VM8の方の負荷が大きいため、VM8の移動を優先させるような順序コストの重み付けが行われる。なお、負荷が同じである場合は、データサイズの小さい方（すなわち、移動が速く終了する方）を優先して移動させるような順序コストの重み付けが行われる。

図７は、移行対象のVMを選択する別の例を示す図である。図７（Ａ）に示すように、負荷管理部１０５は、図６を用いて説明した負荷管理テーブルを１つのテーブルで管理してもよい。この例では、負荷管理部１０５が負荷を平滑化するために20の負荷を削減する必要があることが決定されたと仮定する。負荷管理部１０５は、移行対象のVMを選択するために、図７（Ｂ）に示すように、データサイズの昇順にソートし、例えばデータサイズが小さい上位２つであるVM1及びVM8を選択する。これは、移行が速く終了するVMを選択することに相当する。また、負荷管理部１０５は、移行対象のVMを選択するために、図７（Ｃ）に示すように、CPU負荷の降順にソートし、例えばCPU負荷が大きい上位２つであるVM10及びVM8を選択する。これは、CPU負荷が重く移行が必要となるVMを選択することに相当する。選択されたVM1、VM10、VM8の負荷の合計は、22である。このように、負荷管理部１０５は、データサイズ及びCPU負荷に基づいて、例えば両者の上位２つを選択することで、20の負荷を削減することができる。なお、負荷管理部１０５は、CPU負荷に加えてメモリ負荷等も管理し、CPU負荷とメモリ負荷とを組み合わせた負荷を用いて移行対象のVMを選択してもよい。また、移行対象のVMを選択する際に、CPU負荷が同じVMの場合は、メモリ負荷の重い方を優先してもよい。

その後、図５のステップＳ１３において、負荷分散部１０５は、移行対象のVMとその移行先の物理プラットフォームを各物理プラットフォームに通知する。ステップＳ１４において、通知を受けた物理プラットフォームは、移行対象のVMの情報を受信する。ステップＳ１５において、物理プラットフォームは、移行対象のVMに対し、負荷を速く軽減するための移動順序を決定する。移動順序の決定方法は、以下に詳細に説明する。ステップＳ１６において、物理プラットフォームは、ステップＳ１５において決定された移動順序に従って、移行対象のVMを通知された移行先の物理プラットフォームへと送信する。なお、図５では、移行対象のVMの通知を受けた物理プラットフォームが移動順序を決定しているが、負荷分散コントローラが移動順序を決定し、各物理プラットフォームに移動順序を通知してもよい。また、各物理プラットフォームの負荷管理部１０５が移行対象のVMを決定してもよい。

図８は、負荷管理部１０５において移行対象のVMを決定する方法のフローチャートである。この例では、図３に示すように負荷が一元的に管理される管理の例を用いるが、図４に示すように負荷が分散管理される場合にも適用可能である。ステップＳ２１において、負荷管理部１０５は、オペレータ、オーケストレータ等から負荷の閾値を受け取り、VMの組み合わせのうち、負荷が閾値を越える組み合わせを選択する。ステップＳ２２において、負荷管理部１０５は、選択した組み合わせのうち、送信するデータ量の総量が最小の組み合わせを選択する。

図９は、移行対象のVMを選択する例を示す図である。ここでは、負荷の閾値が8であると仮定する。負荷の閾値を超えるVMの組み合わせは、{VM1,VM2,VM3,VM4}、{VM1,VM2,VM3}、{VM1,VM2,VM4}、{VM2,VM3,VM4}、{VM1,VM2}、{VM2,VM3}である。このうち、データ量が最小である組み合わせは{VM1,VM2}である。このため、負荷管理部１０５は、物理プラットフォームにVM1,VM2の移行を指示する。

その後、図８のステップＳ２３において、負荷分散部１０５は、選択した組み合わせに含まれるVMとその移行先の物理プラットフォームを各物理プラットフォームに通知する。以降は、図５と同様に、物理プラットフォームは、移行対象のVMに対し、負荷を速く軽減するための移動順序を決定し、物理プラットフォームは、決定された移動順序に従って、移行対象のVMを通知された移行先の物理プラットフォームへと送信する。図８においても、負荷分散コントローラが移動順序を決定し、各物理プラットフォームに移動順序を通知してもよい。また、各物理プラットフォームの負荷管理部１０５が移行対象のVMを決定してもよい。

次に、移動順序の決定方法について詳細に説明する。

一般的に、VMのデータは、複数のサブデータから構成され、複数のサブデータは、VM間で共通する共通データ（OS等）と、VMに固有の固有データに分類される。固有データは、アプリケーションが処理を行う際に使用する一時データなどを含む。説明の便宜上、VMのデータをノードと呼ぶことがあり、サブデータをリンクと呼ぶことがある。また、共通データを中間リンクと呼ぶことがあり、固有データを葉リンクと呼ぶことがある。

データ分類部１１０は、マイグレーションの対象となるVMのサブデータに関する情報を取得し、VMのサブデータを、複数のVMで共通する共通データ（すなわち、中間リンク）と、VM固有の固有データ（すなわち、葉リンク）とに分類する。図１０に、VMのデータ構造例を示す。例えば、VM間で共通するサブデータa〜iは中間リンクに分類され、VMに固有のサブデータ1〜4は葉リンクに分類される。VM固有の情報や一時データは葉リンクに分類される。また、マイグレーションの更新コピーフェーズ及び最終更新コピーフェーズで送信される更新データも葉リンクに分類される。更に、データ分類部１１０は、データ量に基づき中間リンク及び葉リンクのコストを算出する。例えば、コストはデータ量や転送時間に比例する値に設定される。

移動順序決定部１２０は、共通データ及び固有データのデータ量と、物理プラットフォームの負荷とに基づいて、共通データと固有データの移動順序を決定する。このとき、物理プラットフォームの負荷を速く軽減できるようなスケジューリングを行う。移動順序の決定においては、負荷が大きいVMを負荷が小さいVMより優先する。また、データ量の小さいVMをデータサイズの大きいVMより優先してもよい。さらに、移動順序の決定においては、中間リンクを葉リンクより優先する。葉リンクに含まれる一時データは処理に伴い頻繁に更新されるため、この部分をマイグレーションの中間部分で送信すると、大量に更新されたデータを送信することになり、マイグレーション時間の増加につながるため、葉リンクはノード内においては最後に送信する。また、葉リンクの中でも更新頻度が大きいデータほど最後に送信する。なお、以下の移動順序の計算においても、葉リンクの移動順序がノード内において最後になるようにする。

また、移動順序決定部１２０は、物理プラットフォームの負荷と、中間リンク及び葉リンクのデータ量（コスト）と、中間リンクを有するノード数と、固有データの変更頻度とのうち少なくとも１つによって重み付けを行い、移動順序を決定する。具体的には、移動順序決定部１２０は、ノードのデータ移動を完了するまでに要する順序コストを算出し、順序コストが小さくなるようデータの移動順序をスケジューリングするが、このスケジューリングのときに、負荷を考慮しつつ、中間リンクを葉リンクより優先する。順序コストは、優先して移動させるものほど順序コストが小さくなるよう、重み付けが行われる。

順序コストの算出方法には、以下に詳細に説明するように、ノード単位で順序コストを算出する方法と、リンク単位で順序コストを算出する方法がある。重み付けは、移動するノード／リンクのコスト算出時、自ノード／リンクを含む未移動のノード／リンク（残ノード／リンクと呼ぶ）に対応する物理プラットフォームの負荷を乗じた重み付けを行う。例えば、先にコストの大きいリンクを移動すると、そのリンク移動後の残ノード数は大きくなり、順序コストも大きくなることから、そのような移動は優先されなくなる。

＜ノード単位の順序コストの算出方法の概要＞
移動順序決定部１２０におけるノード単位の順序コスト算出について説明する。まず、移動順序決定部１２０は、データの移動順序、すなわち、データ移動を行うノード順序を複数仮定する。例えば、図１０のデータ構造例の場合、複数のノード順序が考えられる。その中で、VM1、VM2、VM3、VM4の順でデータ移動を行う場合の順序コストについて説明する。

VM1のデータを移動させるときの順序コストは、VM1内の未移動のサブデータのコストと、VM1を含む未移動のノードの負荷とに基づいて算出される。VM1のコスト（移動データ量）は、{a,b,c,d,1}のサブデータを移動するため、2+1+3+2+1=9である。この時、残ノードの負荷（自ノードも含め、未移動のノードはVM1、VM2、VM3、VM4であり、負荷は3+5+2+7=17）を乗じて、順序コストは9×17=153とする。次に、VM2のコストを算出するが、VM2の中のa,dはVM1の移動で既に移動しているため、{f,g,2}=1+2+2=5である。この時、残ノードの負荷5+2+7=14を乗じて順序コストは5×14=70となる。同様にVM3の順序コストは({e,3}=4+3)×9=63となり、VM4の順序コスト({h,i,4}=3+2+2)×7=49となる。従って、VM1、VM2、VM3、VM4でデータ移動する順序コストは、153+70+63+49=335である。

移動順序決定部１２０は、他のノード順序でデータ移動を行うときの順序コストも算出し、算出した順序コストの中で最も順序コストが小さくなる移動順序を決定する。順序コストは、全ての移動順序に対して算出してもよいが、以下に詳細に説明するように、順序コストの算出を進める候補を選択してもよく、順序コストの算出を途中で中断してもよい。

図１１は、ノード単位の順序コスト算出例である。説明を簡単にするために、図１１（Ａ）に示すデータ構造を仮定する。ノードn1、n2、n3、n4のリンクの中で、a、bは中間リンクであり、c、d、e、fは葉リンクである。それぞれのコストは中間リンク及び葉リンクに示されており、負荷はノードの下に示されている。

このときの順序コストの算出過程を図１１（Ｂ）に示す。図１１（Ｂ）において、各ボックス内の{n1,n2,…}は移動するノードの順序であり、a,c,d,…は転送するリンクの順序である。また、図１１（Ｂ）の最も下の行には、順序コストの算出の基礎となるコストの値を示す。

{n1}の順序コストは(リンクa,cのコスト)*(n1を含む残ノードの負荷)=5*6=30として計算できる。{n1,n2}の順序コストは{n1}の順序コスト+(追加したリンクdのコスト)*(n2を含む残ノードの負荷)=30+(1*4)=34として計算できる。{n1,n2,n3}の順序コストは{n1,n2}の順序コスト+(追加したリンクb,eのコスト)*(n3を含む残ノードの負荷)=34+(6*2)=46として計算できる。{n1,n2,n3,n4}の順序コストは{n1,n2,n3}の順序コスト+(追加したリンクfのコスト)*(n4を含む残ノードの負荷)=46+(3*1)=49として計算できる。同様に順序コストの算出を進めると、最も順序コストが小さくなる移動順序は、{n2,n1,n3,n4}であることが分かる。

順序コストの算出は、図１１の行毎に行ってもよく、列毎に行ってもよい。言い換えると、行毎の算出とは、あるノード順序{n1,n2,n3,n4}の順序コストを算出する過程において、同じ階層（順序コストを算出したノード数）まで別のノード順序{n2,n1,n3,n4}の順序コストを算出する方法である。また、列毎の算出とは、あるノード順序{n1,n2,n3,n4}を計算し終えた後に、別のノード順序{n1,n2,n4,n3}を計算する方法である。

図１２は、行毎にノード単位の順序コストを算出する方法のフロー例である。移動対象となるノードの数を階層数とする。例えば、4ノードの場合、階層数は4であり、階層L=4のときに最下層である。

まず、ステップＳ１０１において、階層L=1とする。ステップＳ１０２において、階層Lにおける各ノードの順序リストを更新する。例えば、階層L=1でn1を選定していたならば、階層L=2の未選定ノードはn2,n3,n4である。n2を次ノードと選定すると、階層L=1の順序リスト{n1}を{n1,n2}に更新する。ステップＳ１０３において、各順序リストにおける順序コストを算出する。順序コスト=(階層L-1の順序コスト)+(次ノードを移動完了するためのコスト)*（次ノードを含む未選定ノードの負荷）である。例えば、順序リスト{n1,n2}ならば、順序コスト=({n1}の順序コスト)+(次ノードn2のコスト)*(n2の負荷+n3の負荷+n4の負荷)である。ステップＳ１０４において階層Lが最下層でない場合、ステップＳ１０５において階層L+1としてステップＳ１０２に戻る。ステップＳ１０４において階層Lが最下層である場合、ステップＳ１０６において最小順序コスト及びそのときの順序リストを出力する。

図１２は、全ての順序コストを算出する例を示しているが、順序コストを算出する過程において順序コストの算出を中断して計算量を削減することも可能である。図１３は、ノード単位の順序コスト算出において計算量を削減する例を示す。図１３（Ａ）のデータ構造は図１１（Ａ）のデータ構造と同じである。

あるノード順序{n1,n2,…}で順序コストを算出する過程{n1,n2}において、途中まで順序コストを算出したノードn1,n2と同一のノードが別のノード順序{n2,n1,…}において算出されており且つ途中まで算出した順序コスト34が別のノード順序において算出された順序コスト30を上回った場合、順序コストの算出を中断することができる。なお、順序コストが同じである場合には、どちらかの順序コストの算出を進める。これは、図１２のステップＳ１０３において、階層Lにおいて順序コストを算出したノードの組み合わせが同一になった場合、最小コスト以外は順序リスト更新の対象から除外することで実現できる。

図１４は、図１３に従ってコスト算出を進めた結果である。例えば、{n1,n2}のノード順序で移動したときの順序コストは34であり、同じノードの組み合わせである{n2,n1}のノード順序で移動したときの順序コストは30である。そのため、コストが少ない{n2,n1}のノード順序に対して順序コストの算出を進める。図１４において、ハッチングが同じ箇所は同じノードの組み合わせとなっており、このうち、順序コストが少ない順に次の階層の計算を行う。また、図１４において、順序コストの算出を進めるものを、太線の枠で示す。最終的に、最適解である順序コスト45及び順序リスト{n2,n1,n3,n4}が出力される。

上記のように総当たりで順序コストを算出すると計算量が大きくなると想定される。従って、順序コストを算出する過程において、途中まで算出した順序コストに基づいて、順序コストの算出を進める候補を選択して、選択された候補に対して順序コストの算出を進めてもよい。図１５は、ノード単位の順序コスト算出において計算量を削減する例を示す。図１５においても図１１（Ａ）のデータ構造の例が用いられる。

行毎にノード単位の順序コストを算出する過程において、ある階層において順序コストが少ない順に、順序コストの算出を進める候補を選択する。例えば、ある階層L=1において順序コストが少ない２つのノード順序{n1}、{n2}のみ次の階層L=2の順序コストを算出する。同様に、階層L=2において順序コストが少ない２つのノード順序{n1,n2}、{n1,n3}のみ次の階層L=3の順序コストを算出する。これは、図１２のステップＳ１０３において、階層Lにおいて順序コストが少ない上位の２つ以外は順序リスト更新の対象から除外することで実現できる。この場合、最適解が得られない可能性があるが、準最適解が短時間で算出できる。

図１６は、列毎にノード単位の順序コストを算出する方法のフロー例である。移動対象となるノードの数を階層数とする。例えば、4ノードの場合、階層数は4であり、階層L=4のときに最下層である。

まず、ステップＳ２０１において、階層L=1とする。ステップＳ２０２において、階層Lに未選定ノードがある場合、ステップＳ２０３において未選定ノードから次ノードを選択し、順序リストを更新する。例えば、階層L=1でn1を選定していたならば、階層L=2の未選定ノードはn2,n3,n4である。n2を次ノードと選定すると、階層L=1の順序リスト{n1}を{n1,n2}に更新する。ステップＳ２０４において、順序リストにおける順序コストを算出する。順序コスト=(階層L-1の順序コスト)+(次ノードを移動完了するためのコスト)*(次ノードを含む未選定ノードの負荷)である。例えば、順序リスト{n1,n2}ならば、順序コスト=({n1}の順序コスト)+(次ノードn2のコスト)*(n2の負荷+n3の負荷+n4の負荷)である。ステップＳ２０５において階層Lが最下層でない場合、ステップＳ２０６において階層L+1としてステップＳ２０２に戻る。ステップＳ２０５において階層Lが最下層である場合、ステップＳ２０９において最小順序コスト及びそのときの順序リストを更新する。更に、ステップＳ２１０において階層L-1としてステップＳ２０２に戻る。

ステップＳ２０２において階層Lに未選定ノードがなく、階層L=1でない場合、１つ上の階層に戻って順序コストを計算するため、ステップＳ２１０において階層L-1としてステップＳ２０２に戻る。ステップＳ２０２において階層Lに未選定ノードがなく、階層L=1である場合、全ての順序コストの算出が完了したので、ステップＳ２０８において最小順序コスト及びそのときの順序リストを出力する。

図１６は、全ての順序コストを算出する例を示しているが、順序コストを算出する過程において順序コストの算出を中断して計算量を削減することも可能である。図１７は、ノード単位の順序コスト算出において計算量を削減する例を示す。図１７においても図１１（Ａ）のデータ構造の例が用いられる。

あるノード順序{n1,n2,n4,n3}で順序コストを算出する過程{n1,n2,n4}において、別のノード順序{n1,n2,n3,n4}に対して既に算出した順序コストを上回った場合、順序コストの算出を中断することができる。これは、図１７のステップＳ２０４において、階層Lにおいて算出した順序コストが、別のノード順序に対してステップＳ２０９において既に算出した最小順序コスト以上であれば、ステップＳ２０５に進まずにステップＳ２０２に戻ることで実現できる。この例においても、最適解である順序コスト45及び順序リスト{n2,n1,n3,n4}が出力される。

＜リンク単位の順序コストの算出方法の概要＞
移動順序決定部１２０におけるリンク単位の順序コスト算出について説明する。まず、移動順序決定部１２０は、データの移動順序、すなわち、データ移動を行うノード順序を複数仮定する。例えば、図１０のデータ構造例の場合、複数のノード順序が考えられる。その中で、VM1、VM2、VM3、VM4の順でデータ移動を行う場合の順序コストについて説明する。

VM1のデータを移動させるためには、リンク{a,b,c,d,1}を移動させる必要がある。更に、移動順序決定部１２０は、仮定したノード順序において、リンクの移動順序、すなわち、データ移動を行うリンク順序を仮定する。中間リンクからデータを移動させるため、a,b,c,d,1の順でリンクを移動させる場合を考える。

VM1のリンクaのデータを移動させるときの順序コストは、リンクaのコストと、VM1を含む未移動のノードの負荷とに基づいて算出される。リンクaのコストは2である。この時、残ノードの負荷（自ノードも含め、未移動のノードはVM1、VM2、VM3、VM4であり、負荷は3+5+2+7=17）を乗じて、順序コストは34とする。次に、リンクbのコストは1である。この時、残ノードの負荷17を乗じて、順序コストは17とする。同様に計算し、VM1の順序コストは34+17+51+34+17=153（(2+1+3+2+1)*17=153）となる。同様にVM2のf,g,2（残ノードのコスト14）、VM3のe,3（残ノードのコスト9）、VM4のh,i,4（残ノードのコスト7）の順序コストを算出し、その和をVM1、VM2、VM3、VM4の順でデータ移動する場合の順序コストとする。

移動順序決定部１２０は、他のリンク順序及び他のノード順序でデータ移動を行うときの順序コストも算出し、算出した順序コストの中で最も順序コストが小さくなる移動順序を決定する。順序コストは、全ての移動順序に対して算出してもよいが、ノード単位における順序コストの算出と同様に、順序コストの算出を進める候補を選択してもよく、順序コストの算出を途中で中断してもよい。

図１８は、リンク単位の順序コスト算出例である。説明を簡単にするために、図１８（Ａ）に示すデータ構造を仮定する。ノードn1、n2、n3、n4のリンクの中で、a、bは中間リンクであり、c、d、e、fは葉リンクである。それぞれのコストは中間リンク及び葉リンクに示されており、負荷はノードの下に示されている。

このときの順序コストの算出過程を図１８（Ｂ）に示す。図１８（Ｂ）において、各ボックス内の{a,c,d,…}は転送するリンクの順序である。また、図１８（Ｂ）の最も下の行には、順序コストの算出の基礎となるコストの値を示す。ノードの移動順序としては、{n1,n2,n3,n4}、{n1,n2,n4,n3}、{n1,n3,n2,n4}、｛n1,n3,n4,n2}、{n1,n4,n2,n3}、{n1,n4,n3,n2}、{n2,n1,n3,n4}、{n2,n1,n4,n3}、…が考えられるが、{n1,n2,n3,n4}のときの順序コストの算出について説明する。

{a}の順序コストは(リンクaのコスト)*(n1を含む残ノードの負荷)=2*6=12として計算できる。{a,c}の順序コストは{a}の順序コスト+(追加したリンクcのコスト)*(n1を含む残ノードの負荷)=12+(3*6)=30として計算できる。{a,c,d}の順序コストは{a,c}の順序コスト+(追加したリンクdのコスト)*(n2を含む残ノードの負荷)=30+(1*4)=34として計算できる。全ての順序コストを算出してもよいが、図１３と同様に、あるリンク順序{a,c,d,…}で順序コストを算出する過程{a,c,d}において、途中まで順序コストを算出したリンクa,c,dと同一のリンクが別のリンク順序{a,d,c}において算出されており且つ途中まで算出した順序コスト34が別のリンク順序において算出された順序コスト30を上回った場合、順序コストの算出を中断することができる。なお、順序コストが同じである場合には、どちらかの順序コストの算出を進める。順序コストの算出を進めると、最も順序コストが小さくなる移動順序は、{a,d,c,b,e,f}であることが分かる。

図１９は、行毎にリンク単位の順序コストを算出する方法のフロー例である。移動対象となるリンクの数を階層数とする。例えば、リンク数が4の場合、階層数は4であり、階層L=4のときに最下層である。

まず、ステップＳ３０１において、階層L=1とする。ステップＳ３０２において、階層Lにおける各リンクの順序リストを更新する。例えば、階層L=1でaを選定していたならば、階層L=2の未選定リンクはc,d,…である。cを次リンクと選定すると、階層L=1の順序リスト{a}を{a,c}に更新する。ステップＳ３０３において、各順序リストにおける順序コストを算出する。順序コスト=(階層L-1の順序コスト)+(次リンクを移動完了するためのコスト)*（次リンクのノードを含む未選定ノードの負荷）である。例えば、順序リスト{a,c}ならば、順序コスト=({a}の順序コスト)+(次リンクcのコスト)*(n1の負荷+n2の負荷+n3の負荷+n4の負荷))である。ステップＳ３０４において階層Lが最下層でない場合、ステップＳ３０５において階層L+1としてステップＳ３０２に戻る。ステップＳ３０４において階層Lが最下層である場合、ステップＳ３０６において最小順序コスト及びそのときの順序リストを出力する。

図１９は、全ての順序コストを算出する例を示しているが、図１８で説明したように、順序コストを算出する過程において順序コストの算出を中断することも可能である。これは、図１９のステップＳ３０３において、階層Lにおいて順序コストを算出したリンクの組み合わせが同一になった場合、最小コスト以外は順序リスト更新の対象から除外することで実現できる。

また、上記のように総当たりで順序コストを算出すると計算量が大きくなると想定される。従って、図１５と同様に、順序コストを算出する過程において、途中まで算出した順序コストに基づいて、順序コストの算出を進める候補を選択して、選択された候補に対して順序コストの算出を進めてもよい。これは、図１９のステップＳ３０３において、階層Lにおいて順序コストが少ない上位の２つ以外は順序リスト更新の対象から除外することで実現できる。この場合、最適解が得られない可能性があるが、準最適解が短時間で算出できる。

図２０は、列毎にリンク単位の順序コストを算出する方法のフロー例である。移動対象となるリンクの数を階層数とする。例えば、リンク数が4の場合、階層数は4であり、階層L=4のときに最下層である。

まず、ステップＳ４０１において、階層L=1とする。ステップＳ４０２において、階層Lに未選定リンクがある場合、ステップＳ４０３において未選定リンクから次リンクを選択し、順序リストを更新する。例えば、階層L=1でaを選定していたならば、階層L=2の未選定リンクはc,d,…である。cを次リンクと選定すると、階層L=1の順序リスト{a}を{a,c}に更新する。ステップＳ４０４において、順序リストにおける順序コストを算出する。順序コスト=(階層L-1の順序コスト)+(次リンクを移動完了するためのコスト)*(次リンクのノードを含む未選定ノードの負荷)である。例えば、順序リスト{a,c}ならば、順序コスト=({a}の順序コスト)+(次リンクcのコスト)*(n1の負荷+n2の負荷+n3の負荷+n4の負荷))である。ステップＳ４０５において階層Lが最下層でない場合、ステップＳ４０６において階層L+1としてステップＳ４０２に戻る。ステップＳ４０５において階層Lが最下層である場合、ステップＳ４０９において最小順序コスト及びそのときの順序リストを更新する。更に、ステップＳ４１０において階層L-1としてステップＳ４０２に戻る。

ステップＳ４０２において階層Lに未選定リンクがなく、階層L=1でない場合、１つ上の階層に戻って順序コストを計算するため、ステップＳ４１０において階層L-1としてステップＳ４０２に戻る。ステップＳ４０２において階層Lに未選定ノードがなく、階層L=1である場合、全ての順序コストの算出が完了したので、ステップＳ４０８において最小順序コスト及びそのときの順序リストを出力する。

図２０は、全ての順序コストを算出する例を示しているが、順序コストを算出する過程において順序コストの算出を中断することも可能である。図１７と同様に、あるリンク順序{a,c,b,e,d,f}で順序コストを算出する過程{a,c,b,e}において、別のリンク順序{a,d,c,b,e,f}に対して既に算出した順序コストを上回った場合、順序コストの算出を中断することができる。これは、図２０のステップＳ４０４において、階層Lにおいて算出した順序コストが、別のリンク順序に対してステップＳ４０９において既に算出した最小順序コスト以上であれば、ステップＳ４０５に進まずにステップＳ４０２に戻ることで実現できる。

＜実施例１：ノード単位の順序コストの算出例（データ構造がツリーで表現できる場合）＞
図１３で説明したノード単位の順序コストの算出において計算量を削減する例について更に詳細に説明する。実施例１では、VMのデータ構造がツリーで表現できることを仮定する。

図２１に、VMのデータ構造をツリーで表現する例を示す。VM1、VM2、VM3、VM4のサブデータを中間リンクa,b及び葉リンクc,d,e,fに分類する。ツリートポロジは、１つの根ノードと複数の葉ノードを含む。根ノード方向を上流とし、中間リンクを優先的に上流に接続し、葉リンクを下流に接続することで、VM1、VM2、VM3、VM4のデータ構造がツリートポロジで表現される。各ノードには負荷が存在し、各リンクにはコストが存在する。

実施例１では、上記のように、負荷を考慮しつつ、共通データである中間リンクを優先して移動させ、固有データである葉リンクを後で送信する。葉リンクに含まれる一時データは処理に伴い頻繁に更新されるため、この部分をマイグレーションの中間部分で送信すると、大量に更新されたデータを送信することになり、マイグレーション時間の増加につながるため、葉リンクはノード内においては最後に送信する。リンクの順序の計算においても、葉リンクの移動順序がノード内において最後になるようにする。

以下の説明において使用するデータについて説明する。構造体データとは、確定済みのリンクの順序を管理するデータを示す。構造体データは、順序が確定したリンクを記録するデータ1と、リンクの順序を記録するデータ2と、確定済みの順序に従いデータを移動したときの順序コストを記録するデータ3を含む。また、集合データ1は、構造体データの集合であり、順序確定済みのリンクの組み合わせが同じリンク順序のうち、順序コストの最も小さい順序を管理するデータを示す。全てのリンクをデータ1に持つ構造体データのみになった場合、全てのリンクの順序が確定したため順序コストの算出が終了する。リンク集合データ1は、確定済みのリンクの集合を示し、リンク集合3の計算に使用する。リンク集合データ2は、リンクの順序を管理するデータを示す。リンク集合3は、未確定のリンクの集合を示す。

図２２は、VMのデータ構造をツリーで表現したときのリンクの順序及び順序コストを説明するための図である。図２２のデータ構造において、リンクのIDをa〜d、ノードのIDをn1〜n3と定義する。ノードの負荷をL1〜L3とし、リンクのコストをCa〜Cdとする。リンクの順序がa->b->c->dである場合、構造体データのデータ1に{a,b,c,d}が、データ2に{a->b->c->d}が記録される。

リンクaを選ぼうとした時点で、葉リンクから根ノードまでの経路が確定していない葉リンク（aを含む）は3本存在し、3本の葉リンクのノードの負荷はL1+L2+L3である。よって、Ca*(L1+L2+L3)を順序コストに足す。次に、リンクb,cを選んだ時点で、葉リンクから根ノードまでの経路が確定していない葉リンクは2本存在し、2本の葉リンクのノードの負荷はL2+L3である。よって、(Cb+Cc)*(L2+L3)を順序コストに足す。dを選んだ時点で順序が確定していない葉リンクは1本存在し、1本の葉リンクのノードの負荷はL3である。よって、Cd*L3を順序コストに足す。この計算により、順序a->b->c->dの順序コストをCa*(L1+L2+L3)+Cb*(L2+L3)+Cc*(L2+L3)+Cd*L3とする。順序コストは負荷で重み付けされたVMのマイグレーション時間の総和を示す。よって、順序コストが小さければ、負荷を速く軽減させることができることを示す。

図２３は、ノード単位の順序コスト算出方法のフローチャートである。図２３を説明するときの具体例として、図２１のデータ構造を用いる。

ステップＳ５０１において、変数を初期化する。リンク集合データ1とリンク集合データ2と構造体データ10と集合データ1を空にし、数値1を0にする。

ステップＳ５０２において、全リンクからリンク集合データ1に含まれるリンクを削除したリンクの集合であるリンク集合3を作成する。リンク集合データ1={}の場合、リンク集合3={a,b,c,d,e,f}である。

ステップＳ５０３−１において、リンク集合3に属するリンクから、指定した方法によって以降のステップで使用するリンクを計算する。

このときのリンクの計算について、図２４を参照して説明する。図２４は、ステップＳ５０３−１におけるリンクの計算を示す図である。ここでは、図２１のデータ構造にリンクgが追加されたデータ構造を例に挙げて説明する。ステップＳ５０３−１において、リンク集合3に含まれる、中間リンクのすべて、又は上流に存在する中間リンクがすべてリンク集合データ1に含まれる葉リンクのすべてを計算する。リンクa,cがリンク集合データ1に含まれる場合、リンクb,d,e,f,gがリンク集合3に含まれる。このとき、リンク集合3に含まれる中間リンクのすべては{b}であり、リンク集合3に含まれる、上流に存在する中間リンクがすべてリンク集合データ1に含まれる葉リンクのすべては{d,g}である。従って、(リンクID,コスト)={(b,5),(d,1),(g,3)}が出力される。

図２１のデータ構造に対してステップＳ５０３−１を実行すると、以降のステップで計算するリンクは{a,b}となる。

ステップＳ５０３−２において、ステップＳ５０３−１で計算されたリンクの中から選択したリンクをリンク10として、リンク10に対応する構造体データ1-1を作成する。リンクa->bの順で構造体データ1-1を作成することを仮定すると、リンクaが選択された場合、図２５（Ａ）に示すように、ステップＳ５０３−２終了時の構造体データ1-1のデータ1（data1）はNullであり、データ2（data2）はNullであり、データ3（data3）は0である。リンクbが選択された場合も、ステップＳ５０３−２終了時の構造体データ1-1のデータ1（data1）はNullであり、データ2（data2）はNullであり、データ3（data3）は0である。以下、リンクaの構造体データ1-1について説明する。

ステップＳ５０４−１において、構造体データ1-1のデータ1に、構造体データ1-1に対応するリンク10とリンク集合データ1に含まれるリンクを入力する。リンクaがリンク10として選択された場合、構造体データ1-1のデータ1（data1）に、リンク10（a）とリンク集合データ1（={}）の要素を代入する。

ステップＳ５０４−２において、構造体データ1-1のデータ2に、リンク集合データ2の最後尾にリンク10を追加したデータを入力する。リンク10が複数のリンクを結合したものである場合、結合したときの順序を保ちつつ、結合する前のリンクを先頭に追記する。リンクaがリンク10として選択された場合、構造体データ1-1のデータ2（data2）に、リンク集合データ2（={}）の最後尾にリンク10（a）を追加したデータを入力する。

ステップＳ５０４−３において、構造体データ1-1のデータ3に、葉リンクから根ノードまでの経路上のリンクがすべてリンク集合データ1に含まれている葉リンクに対応するノードの負荷を全葉リンクに対応するノードの負荷から引いた値とリンク10のコストをかけ、数値1を足した値を記録する。リンクaがリンク10として選択された場合、構造体データ1-1のデータ3（data3）に、葉リンクから根ノードまでの経路上のリンクがすべてリンク集合データ1に含まれている葉リンクに対応するノードの負荷（=0）を全葉リンクに対応するノードの負荷（=7+5+2+3=17）から引いた値（17-0=17）にリンク10（a）のコスト（=2）をかけ、数値1（=0）を足した値（=34）を記録する。その結果、図２５（Ｂ）に示す構造体データ1-1が生成される。

ステップＳ５０４−４において、構造体データ1-1のデータ1と同じデータ1を有する構造体データ1-2が集合データ1に存在しないとき、ステップＳ５０４−４−１において、構造体データ1-1を集合データ1に入力する。

ステップＳ５０４−４において、構造体データ1-1のデータ1と同じデータを有する構造体データ1-2が集合データ1に存在し、かつステップＳ５０４−５において構造体データ1-2のデータ3の値が構造体データ1-1のデータ3の値より大きい場合、ステップＳ５０４−５−１において、構造体データ1-1と構造体データ1-2を入れ替える。

ステップＳ５０３−３において、リンク集合3に属するリンクから計算したリンクすべてに対し、ステップＳ５０３−２からＳ５０４−５のステップを繰り返す。ステップＳ５０３−１で生成したリンク={a,b}に対し処理が終わったとき、図２６の集合データ1が生成される。

ステップＳ５０３−４において、構造体データ10が空でなければ、ステップＳ５０３−４−１において、集合データ1から構造体データ10を削除する。

ステップＳ５０３−４及びステップＳ５０３−４−１の後に、ステップＳ５０５−１において、集合データ1内に構造体データ1が1つだけ存在し、そのデータ1にすべてのリンクが含まれている場合、ステップＳ５０６において、構造体データ1のデータ2のリンクの順序を順序の計算結果として、データ3を順序に対する順序コストとして出力する。

ステップＳ５０５−１の条件が満たされない場合、ステップＳ５０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とし、そのデータ1をリンク集合データ1に、データ2をリンク集合データ2に、データ3を数値1に入力する。図２６の集合データ1の例では、集合データ1の要素数が最小値（=1）であるリンクa用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{a}となり、リンク集合データ2は構造体データ10のデータ2である{a}となり、数値1は、構造体データ10のデータ3である34となる。

その後、ステップＳ５０２に戻り計算を進めると、ステップＳ５０２において、リンク集合3=全リンク−リンク集合データ1（={a}）={b,c,d,e,f}となる。

ステップＳ５０３−１において、図２４を用いて説明した方法を用いて以降のステップで使用するリンクを計算すると、{b,c,d}となる。

ステップＳ５０３−２において、リンクb->c->dの順で、それぞれ構造体データ1-1を計算する。リンクbが選択された場合、ステップＳ５０４−１において、構造体データ1-1のデータ1（data1）に、リンク10（b）とリンク集合データ1（={a}）の要素を代入する。ステップＳ５０４−２において、構造体データ1-1のデータ2に、リンク集合データ2（={a}）の最後尾にリンク10（b）を追加したデータを入力する。ステップＳ５０４−３において、構造体データ1-1のデータ3に、葉リンクから根ノードまでの経路上のリンクがすべてリンク集合1に含まれている葉リンクに対応するノードの負荷（=0）を全葉リンクに対応するノードの負荷（=17）から引いた値（17-0=17）にリンク10（b）のコスト（=5）をかけ、数値1（=34）を足した値（=119）を記録する。その結果、図２７（Ａ）に示す構造体データ1-1が生成される。

リンクc及びdが選択されたときも同様に計算すると、図２７（Ｂ）及び（Ｃ）に示す構造体データ1-1が生成される。その結果、図２７（Ｄ）に示す集合データ1が生成される。

ステップＳ５０３−４において、構造体データ10が空でないため、ステップＳ５０３−４−１において、図２８（Ａ）に示すように、構造体データ10を集合データ1から削除する。

ステップＳ５０５−１の条件は満たされないため、ステップＳ５０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とする。ここでは、集合データ1の中でデータ1の要素数が最小値（=1）であるリンクb用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{b}となり、リンク集合データ2は構造体データ10のデータ2である{b}となり、数値1は、構造体データ10のデータ3である85となる。

その後、ステップＳ５０２からステップＳ５０３−３を同様に行うと、図２８（Ｂ）に示す構造体データ1-1、構造体データ1-2、構造体データ1-3が生成される。図２８（Ａ）の集合データ1を見ると、data1が{a,b}になっている構造体データ1が集合データ1内に存在する。このとき、構造体データ1-1作成中におけるステップＳ５０４−４の条件が満たされないため、ステップＳ５０４−５において両者のコストを比較し、ステップＳ５０４−５の条件を満たすかチェックする。この場合は両者とも同じコストであるため交換をしない。

更に計算を進めると、集合データ1は図２９（Ａ）に示すようになる。図２９（Ａ）の左下の構造体データを構造体データ10とすると、図２９（Ｂ）に示す構造体データが生成される。図２９（Ａ）の集合データ1を見ると、集合データ1内にdata1={a,b,c}であるデータが存在する。このとき、構造体データ作成中におけるステップＳ５０４−４の条件が満たされない。また、ステップＳ５０４−５において両者のコストを比較すると、集合データ1内の構造体データのコストが新たにできた構造体データより大きいためステップＳ５０４−５の条件に合致する。よって、ステップＳ５０４−５−１において、集合データ内の構造体データと新たにできた構造体データを入れ替える。

更に計算を進めると、集合データ1は図３０（Ａ）に示すようになる。ここで、図３０（Ａ）の構造体データ1-10、構造体データ1-11、構造体データ1-12、構造体データ1-13の順に計算を進める。

構造体データ1-10に対して計算を進めると、ステップＳ５０４−３終了時の構造体データ1-1は、図３０（Ｂ）に示すようになる。これを集合データ1に入力し、構造体データ1-10を集合データ1から削除する。

構造体データ1-11に対して計算を進めると、ステップＳ５０４−３終了時の構造体データ1-1は、図３０（Ｃ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図３０（Ｂ）の構造体データ）が存在するが、集合データ1の構造体データのほうのコストが小さいので置き換えない。その後、構造体データ1-11を集合データ1から削除する。

構造体データ1-12に対して計算を進めると、ステップＳ５０４−３終了時の構造体データ1-1は、図３０（Ｄ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図３０（Ｂ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-12を集合データ1から削除する。

構造体データ1-13に対して計算を進めると、ステップＳ５０４−３終了時の構造体データ1-1は、図３０（Ｅ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1のデータと置き換えられた図３０（Ｄ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-13を集合データ1から削除する。

最終的に、図３０（Ｆ）に示すように、集合データ1内に構造体データ1が１つだけ存在し、そのデータ1にすべてのリンクが含まれているため、データ2= a->d->c->b->e->fをリンクの順序として、データ3=126を順序コストとして出力する。

このように、データの共通部分を1本のリンクとするツリー構造でVM間の関係を表せる場合に、負荷で重み付けされたVMマイグレーション時間が短くなるよう、VMのデータの送信順をスケジューリングすることが可能になる。

＜実施例２：ノード単位の順序コストの算出例（データ構造が一般的な場合）＞
図１３で説明したノード単位の順序コストの算出において計算量を削減する例について更に詳細に説明する。実施例２では、VMのデータ構造が一般的な場合を仮定する。

図３１に、一般的なVMのデータ構造の例を示す。VM1、VM2、VM3、VM4のサブデータを中間リンク及び葉リンクに分類する。説明の便宜上、中間リンクは、アルファベットでグループを表し、識別子を数字で表したリンクIDによって区別する。データ構造が一般的な場合、複数のリンクを直列につないだ経路が複数存在し、リンクはいずれか１つのグループに属する。経路の一番下に存在するリンクを葉リンクとし、その他を中間リンクとする。各ノードには負荷が存在し、各リンクにはコストが存在する。

実施例２では、上記のように、負荷を考慮しつつ、共通データである中間リンクのデータを優先して移動させ、固有データである葉リンクのデータを後で送信する。葉リンクに含まれる一時データは処理に伴い頻繁に更新されるため、この部分をマイグレーションの中間部分で送信すると、大量に更新されたデータを送信することになり、マイグレーション時間の増加につながるため、葉リンクはノード内においては最後に送信する。リンクの順序の計算においても、葉リンクの移動順序がノード内において最後になるようにする。

以下の説明においても、既に定義した構造体データ、集合データ1、リンク集合データ1、リンク集合データ2、リンク集合3を用いる。

図３２は、一般的なVMのデータ構造のときのリンクの順序及び順序コストを説明するための図である。図３２（Ａ）のデータ構造において、どのリンクの順序も確定していない状態からVM1に対応する経路上のリンクの順序を確定する場合、{a1,b1,c1,d1,1}が順序確定対象である。a1->b1->c1->d1->1の順でリンクの順序を確定する。a2,a3,b2,c2,d2についてはa1,b1,c1,d1と同じグループに属するので、順序確定済みとする。順序確定済みのものは太線の枠で示す。

あるVMに対応する経路上のリンクを確定対象とする場合、順序のコストをそれまで確定した順序のコスト＋新たに確定対象とするリンクのコストの総和×未確定の経路の負荷として計算する。図３２（Ａ）に示すように、全リンクが順序未確定の状態で、VM1に対応する経路上のリンクを確定対象とするとき{a1,b1,c1,d1,1}が新たな確定対象なので、新たに確定対象とするリンクのコストの総和は2+1+3+2+1=9である。VM1の経路追加時の未確定の経路（VM1の経路を含む）の負荷は(3+5+2+7)=17なので、順序a1->b1->c1->d1->1の順序コストは9×17=153である。

次に図３２（Ｂ）に示すように、VM2に対応する経路上のリンクの順序を確定する場合、順序未確定の{f1,g1,2}が順序確定対象である。f1->g1->2の順でリンクの順序を確定すると、先ほど確定したa1->b1->c1->d1->1の後ろにf1->g1->2を追加し、a1->b1->c1->d1->1->f1->g1->2とする。同時にf2,f3についてはf1と同じグループに属するので順序確定済みとする。

図３２（Ｂ）に示すように、VM2に対応する経路上のリンクを確定対象とするとき、{f1,g1,2}が新たな確定対象なので、新たに確定対象とするリンクのコストの総和は1+2+2=5である。VM2の経路追加時の未確定の経路（VM2の経路を含む）の負荷は(5+2+7)=14なので、順序a1->b1->c1->d1->1->f1->g1->2のコストは153+5×14=223である。

以降、VMを追加するとき、同じ方法でリンクの順序確定と同一グループに属するリンクの順序確定済みチェックを行い、順序コストを計算する。

データ構造が一般的な場合のノード単位の順序コスト算出方法も、図２３と同じフローチャートで実現できる。説明を簡単にするために、図３３のデータ構造を用いて順序コストの計算について説明する。ここで、a1、a2、b1、b2は中間リンクであり、c、d、e、fは葉リンクである。

ステップＳ５０１において、変数を初期化する。リンク集合データ1とリンク集合データ2と構造体データ10と集合データ1を空にし、数値1を0にする。

ステップＳ５０２において、全リンクからリンク集合データ1に含まれるリンクを削除したリンクの集合であるリンク集合3を作成する。リンク集合データ1={}の場合、リンク集合3={a1,a2,b1,b2,c,d,e,f}である。

ステップＳ５０３−１において、リンク集合3に属するリンクから、指定した方法によって以降のステップで使用するリンクを計算する。

このときのリンクの計算について、図３４を参照して説明する。図３４は、ステップＳ６０３−１におけるリンクの計算を示す図である。ここでは、図３２のデータ構造を例に挙げて説明する。ステップＳ５０３−１において、リンク集合3に含まれる、中間リンクのすべて、又は上流に存在する中間リンクがすべてリンク集合データ1に含まれる葉リンクのすべてを計算する。リンクa1,a2,a3,b1,b2,c1,c2,d1,d2がリンク集合データ1に含まれる場合、リンク1,2,3,4,e1,f1,f2,f3,g1,h1,i1がリンク集合3に含まれる。このとき、リンク集合3に含まれる中間リンクのすべては{e1,f1,f2,f3,g1,h1,i1}であり、リンク集合3に含まれる、上流に存在する中間リンクがすべてリンク集合データ1に含まれる葉リンクのすべては{1}である。従って、(リンクID,コスト)={(e1,4),(f1,1),(f2,1),(f3,1),(g1,2),(h1,3),(i1,2),(1,1)}が出力される。

図３３のデータ構造に対してステップＳ５０３−１を実行すると、以降のステップで計算するリンクは{a1,a2,b1,b2}となる。

ステップＳ５０３−２において、ステップＳ５０３−１で計算されたリンクの中から選択したリンクをリンク10として、リンク10に対応する構造体データ1-1を作成する。リンクa1->a2->b1->b2の順で構造体データ1-1を作成することを仮定すると、リンクa1が選択された場合、図３５（Ａ）に示すように、ステップＳ５０３−２終了時の構造体データ1-1のデータ1（data1）はNullであり、データ2（data2）はNullであり、データ3（data3）は0である。以下、リンクa1の構造体データ1-1について説明する。

ステップＳ５０４−１において、構造体データ1-1のデータ1に、構造体データ1-1に対応するリンク10とリンク集合データ1に含まれるリンクを入力する。更に、リンク10と同じグループに属するリンク集合を入力する。リンクa1がリンク10として選択された場合、構造体データ1-1のデータ1（data1）に、リンク10（a1）とリンク集合データ1（={}）の要素を代入する。更に、リンク10（a1）と同じグループに属するリンク集合（={a2}）を代入する。

ステップＳ５０４−２において、構造体データ1-1のデータ2に、リンク集合データ2の最後尾にリンク10を追加したデータを入力する。リンク10が複数のリンクを結合したものである場合、結合したときの順序を保ちつつ、結合する前のリンクを先頭に追記する。リンクa1がリンク10として選択された場合、構造体データ1-1のデータ2（data2）に、リンク集合データ2（={}）の最後尾にリンク10（a1）を追加したデータを入力する。

ステップＳ５０４−３において、構造体データ1-1のデータ3に、葉リンクから根ノードまでの経路上のリンクがすべてリンク集合データ1に含まれている葉リンクに対応するノードの負荷を全葉リンクに対応するノードの負荷から引いた値とリンク10のコストをかけ、数値1を足した値を記録する。リンクa1がリンク10として選択された場合、構造体データ1-1のデータ3（data3）に、葉リンクから根ノードまでの経路上のリンクがすべてリンク集合データ1に含まれている葉リンクに対応するノードの負荷（=0）を全葉リンクに対応するノードの負荷（=7+5+2+3=17）から引いた値（17-0=17）にリンク10（a1）のコスト（=2）をかけ、数値1（=0）を足した値（=34）を記録する。その結果、図３５（Ｂ）に示す構造体データ1-1が生成される。

ステップＳ５０４−４において、構造体データ1-1のデータ1と同じデータ1を有する構造体データ1-2が集合データ1に存在しないとき、ステップＳ５０４−４−１において、構造体データ1-1を集合データ1に入力する。ステップＳ５０３−１で生成したリンク=a1に対し処理が終わったとき、図３６（Ａ）の集合データ1が生成される。

ステップＳ５０４−４において、構造体データ1-1のデータ1と同じデータを有する構造体データ1-2が集合データ1に存在し、かつステップＳ５０４−５において構造体データ1-2のデータ3の値が構造体データ1-1のデータ3の値より大きい場合、ステップＳ５０４−５−１において、構造体データ1-1と構造体データ1-2を入れ替える。

リンクa2に対する構造体データを生成する際、ステップＳ５０４−３終了時の構造体データ1-1は図３６（Ｂ）に示すようになる。構造体データ1-1のデータ1（data1）は、先に生成し、集合データ1内に存在する、リンクa1の構造体データのデータ1（data1）と同じa1,a2となる。このとき、ステップＳ５０４−５において、両者のコストを比較し、小さいほうを残す。同じ場合はどちらかを残す。この例では両者のコストは同じであるため、リンクa1に対する構造体データのほうを残す。

ステップＳ５０３−３において、リンク集合3に属するリンクから計算したリンクすべてに対し、ステップＳ５０３−２からＳ５０４−５のステップを繰り返す。ステップＳ５０３−１で生成したリンク={a1,a2,b1,b2}に対し処理が終わったとき、図３６（Ｃ）の集合データ1が生成される。

ステップＳ５０３−４において、構造体データ10が空でなければ、ステップＳ５０３−４−１において、集合データ1から構造体データ10を削除する。

ステップＳ５０３−４及びステップＳ５０３−４−１の後に、ステップＳ５０５−１において、集合データ1内に構造体データ1が1つだけ存在し、そのデータ1にすべてのリンクが含まれている場合、ステップＳ５０６において、構造体データ1のデータ2のリンクの順序を順序の計算結果として、データ3を順序に対する順序コストとして出力する。

ステップＳ５０５−１の条件が満たされない場合、ステップＳ５０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とし、そのデータ1をリンク集合データ1に、データ2をリンク集合データ2に、データ3を数値1に入力する。図３６（Ｃ）の集合データ1の例では、集合データ1の要素数が最小値（=2）であるリンクa1用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{a1,a2}となり、リンク集合データ2は構造体データ10のデータ2である{a1}となり、数値1は、構造体データ10のデータ3である34となる。

その後、ステップＳ５０２に戻り計算を進めると、ステップＳ５０２において、リンク集合3=全リンク−リンク集合データ1（={a1,a2}）={b1,b2,c,d,e,f}となる。

ステップＳ５０３−１において、図３４を用いて説明した方法を用いて以降のステップで使用するリンクを計算すると、{b1,b2,c,d}となる。

ステップＳ５０３−２において、リンクb1->b2->c->dの順で、それぞれ構造体データ1-1を計算する。リンクb1が選択された場合、ステップＳ５０４−１において、構造体データ1-1のデータ1（data1）に、リンク10（b1）とリンク集合データ1（={a1,a2}）の要素を代入する。更に、リンク10（b1）と同じグループに属するリンク集合（={b2}）を代入する。

ステップＳ５０４−２において、構造体データ1-1のデータ2に、リンク集合データ2（={a1}）の最後尾にリンク10（b1）を追加したデータを入力する。ステップＳ５０４−３において、構造体データ1-1のデータ3に、葉リンクから根ノードまでの経路上のリンクがすべてリンク集合1に含まれている葉リンクに対応するノードの負荷（=0）を全葉リンクに対応するノードの負荷（=17）から引いた値（17-0=17）にリンク10（b1）のコスト（=5）をかけ、数値1（=34）を足した値（=119）を記録する。その結果、図３７（Ａ）に示す構造体データ1-1が生成される。

リンクb2、c及びdが選択されたときも同様に計算すると、図３７（Ｂ）、（Ｃ）及び（Ｄ）に示す構造体データ1-1が生成される。リンクb2が選択されたときの構造体データは、ステップＳ５０４−５においてコスト比較され、リンクb1に対する構造体データのほうを残す。その結果、図３７（Ｅ）に示す集合データ1が生成される。

ステップＳ５０３−４において、構造体データ10が空でないため、ステップＳ５０３−４−１において、図３８に示すように、構造体データ10を集合データ1から削除する。

ステップＳ５０５−１の条件は満たされないため、ステップＳ５０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とする。ここでは、集合データ1の中でデータ1の要素数が最小値（=2）であるリンクb1用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{b1,b2}となり、リンク集合データ2は構造体データ10のデータ2である{b1}となり、数値1は、構造体データ10のデータ3である85となる。

更に計算を進めると、集合データ1は図３９（Ａ）に示すようになる。ここで、図３９（Ａ）の構造体データ1-10、構造体データ1-11、構造体データ1-12、構造体データ1-13の順に計算を進める。

構造体データ1-10に対して計算を進めると、ステップＳ５０４−３終了時の構造体データ1-1は、図３９（Ｂ）に示すようになる。これを集合データ1に入力し、構造体データ1-10を集合データ1から削除する。

構造体データ1-11に対して計算を進めると、ステップＳ５０４−３終了時の構造体データ1-1は、図３９（Ｃ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図３９（Ｂ）の構造体データ）が存在するが、集合データ1の構造体データのほうのコストが小さいので置き換えない。その後、構造体データ1-11を集合データ1から削除する。

構造体データ1-12に対して計算を進めると、ステップＳ５０４−３終了時の構造体データ1-1は、図３９（Ｄ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図３９（Ｂ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-12を集合データ1から削除する。

構造体データ1-13に対して計算を進めると、ステップＳ５０４−３終了時の構造体データ1-1は、図３９（Ｅ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1のデータと置き換えられた図３９（Ｄ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-13を集合データ1から削除する。

最終的に、図３９（Ｆ）に示すように、集合データ1内に構造体データ1が１つだけ存在し、そのデータ1にすべてのリンクが含まれているため、データ2= a1->d->c->b1->e->fをリンクの順序として、データ3=126を順序コストとして出力する。

このように、VMのデータ構造が一般的な場合に、負荷で重み付けされたVMマイグレーション時間が短くなるよう、VMのデータの送信順をスケジューリングすることが可能になる。

＜実施例３：リンク単位の順序コストの算出例（データ構造がツリーで表現できる場合）＞
図１８で説明したリンク単位の順序コストの算出において計算量を削減する例について更に詳細に説明する。実施例３では、VMのデータ構造がツリーで表現できることを仮定する。VMのデータ構造は、図２１と同様に表現される。VMのデータ構造をツリーで表現したときのリンクの順序及び順序コストは、図２２と同様に計算される。

実施例３では、上記のように、負荷を考慮しつつ、共通データである中間リンクのデータを優先して移動させ、固有データである葉リンクのデータを後で送信する。葉リンクに含まれる一時データは処理に伴い頻繁に更新されるため、この部分をマイグレーションの中間部分で送信すると、大量に更新されたデータを送信することになり、マイグレーション時間の増加につながるため、葉リンクはノード内においては最後に送信する。リンクの順序の計算においても、葉リンクの移動順序がノード内において最後になるようにする。

以下の説明においても、既に定義した構造体データ、集合データ1、リンク集合データ1、リンク集合データ2、リンク集合3を用いる。

図４０は、リンク単位の順序コスト算出方法のフローチャートである。図４０を説明するときの具体例として、図２１のデータ構造を用いる。

ステップＳ６０１において、変数を初期化する。リンク集合データ1とリンク集合データ2と構造体データ10と集合データ1を空にし、数値1を0にする。

ステップＳ６０２において、全リンクからリンク集合データ1に含まれるリンクを削除したリンクの集合であるリンク集合3を作成する。リンク集合データ1={}の場合、リンク集合3={a,b,c,d,e,f}である。

ステップＳ６０３−１において、リンク集合3に属するリンクから、指定した方法によって以降のステップで使用する経路を計算する。

このときの経路の計算について、図４１を参照して説明する。図４１は、ステップＳ６０３−１における経路の計算を示す図である。ここでは、図２１のデータ構造にリンクgが追加されたデータ構造を例に挙げて説明する。ステップＳ６０３−１において、リンク集合3に含まれるリンクのうち、リンク集合3に含まれる葉リンクごとに計算した経路を選び出すときに、計算対象とする経路に含む葉リンクと、その上流に存在しリンク集合3に含まれるリンクとを葉リンクが最後に来るように結合した経路を選び出す。リンクa,b,c,d,e,f,gがリンク集合3に含まれる場合、計算対象の葉リンクは{d,e,f,g}である。計算対象の葉リンクがdの場合の経路は、{a->d}であり、計算対象の葉リンクがeの場合の経路は、{b->e}であり、計算対象の葉リンクがfの場合の経路は、{b->f}であり、計算対象の葉リンクがgの場合の経路は、{a->c->g}である。従って、(経路,コスト)={(a->d,3),(b->e,6),(b->f,8),(a->c->g,8)}が出力される。

図２１のデータ構造に対してステップＳ６０３−１を実行すると、以降のステップで計算する(経路,コスト)は{(a->c,5),(a->d,3),(b->e,6),(b->f,8)}となる。

ステップＳ６０３−２において、ステップＳ６０３−１で計算された経路の中から選択した経路を経路10として、経路10に対応する構造体データ1-1を作成する。経路(a->c)->(a->d)->(b->e)->(b->f)の順で構造体データ1-1を作成することを仮定すると、経路a->cが選択された場合、図４２（Ａ）に示すように、ステップＳ６０３−２終了時の構造体データ1-1のデータ1（data1）はNullであり、データ2（data2）はNullであり、データ3（data3）は0である。

ステップＳ６０４−１において、構造体データ1-1のデータ1に、構造体データ1-1に経路10上のリンクとリンク集合データ1に含まれるリンクを入力する。経路a->cが経路10として選択された場合、構造体データ1-1のデータ1（data1）に、経路10上のリンク（a,c）とリンク集合データ1（={}）の要素を代入する。

ステップＳ６０４−２において、構造体データ1-1のデータ2に、経路10を構成するリンクを、葉リンクが最後に来るように並び替えたものをリンク集合データ2の最後尾に追加したデータを入力する。経路a->cが経路10として選択された場合、構造体データ1-1のデータ2（data2）に、リンク集合データ2（={}）の最後尾に経路10（a->c）を追加したデータを入力する。

ステップＳ６０４−３において、構造体データ1-1のデータ3に、リンク集合3に含まれる葉リンクに対応するノードの負荷と経路10のコストをかけ、数値1を足した値を記録する。経路a->cが経路10として選択された場合、構造体データ1-1のデータ3（data3）に、リンク集合3に含まれる葉リンクの負荷（=7+5+2+3=17）と経路10のコスト（=5）をかけ、数値1（=0）を足した値（=85）を記録する。その結果、図４２（Ｂ）に示す構造体データ1-1が生成される。

ステップＳ６０４−４において、構造体データ1-1のデータ1と同じデータ1を有する構造体データ1-2が集合データ1に存在しないとき、ステップＳ６０４−４−１において、構造体データ1-1を集合データ1に入力する。

ステップＳ６０４−４において、構造体データ1-1のデータ1と同じデータを有する構造体データ1-2が集合データ1に存在し、かつステップＳ６０４−５において構造体データ1-2のデータ3の値が構造体データ1-1のデータ3の値より大きい場合、ステップＳ６０４−５−１において、構造体データ1-1と構造体データ1-2を入れ替える。

ステップＳ６０３−３において、リンク集合3に属するリンクから計算した経路すべてに対し、ステップＳ６０３−２からＳ６０４−５のステップを繰り返す。ステップＳ６０３−１で生成した経路={(a->c,5),(a->d,3),(b->e,6),(b->f,8)}に対し処理が終わったとき、図４３の集合データ1が生成される。

ステップＳ６０３−４において、構造体データ10が空でなければ、ステップＳ６０３−４−１において、集合データ1から構造体データ10を削除する。

ステップＳ６０３−４及びステップＳ６０３−４−１の後に、ステップＳ６０５−１において、集合データ1内に構造体データ1が1つだけ存在し、そのデータ1にすべてのリンクが含まれている場合、ステップＳ６０６において、構造体データ1のデータ2のリンクの順序を順序の計算結果として、データ3を順序に対する順序コストとして出力する。

ステップＳ６０５−１の条件が満たされない場合、ステップＳ６０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とし、そのデータ1をリンク集合データ1に、データ2をリンク集合データ2に、データ3を数値1に入力する。図４３の集合データ1の例では、集合データ1の要素数が最小値（=2）である経路a->c用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{a,c}となり、リンク集合データ2は構造体データ10のデータ2である{a->c}となり、数値1は、構造体データ10のデータ3である85となる。

その後、ステップＳ６０２に戻り計算を進めると、ステップＳ６０２において、リンク集合3=全リンク−リンク集合データ1（={a,c}）={b,d,e,f}となる。

ステップＳ６０３−１において、図４１を用いて説明した方法を用いて以降のステップで使用する経路を計算すると、{(d,1),(b->e,6),(b->f,8)}となる。

ステップＳ６０３−２において、経路(b->e)->(d)->(b->f)の順で、それぞれ構造体データ1-1を計算する。経路b->eが選択された場合、ステップＳ６０４−１において、構造体データ1-1のデータ1（data1）に、経路10上のリンク（b,e）とリンク集合データ1（={a,c}）の要素を代入する。ステップＳ６０４−２において、構造体データ1-1のデータ2に、リンク集合データ2（={a->c}）の最後尾に経路10を追加したデータ（a->c->b->e）を入力する。ステップＳ６０４−３において、構造体データ1-1のデータ3に、リンク集合3に含まれている葉リンクに対応するノードの負荷（=10）に経路10のコスト（=6）をかけ、数値1（=85）を足した値（=145）を記録する。その結果、図４４（Ａ）に示す構造体データ1-1が生成される。

経路d及び経路b->fが選択されたときも同様に計算すると、図４４（Ｂ）及び（Ｃ）に示す構造体データ1-1が生成される。その結果、図４４（Ｄ）に示す集合データ1が生成される。

ステップＳ６０３−４において、構造体データ10が空でないため、ステップＳ６０３−４−１において、図４５（Ａ）に示すように、構造体データ10を集合データ1から削除する。

ステップＳ６０５−１の条件は満たされないため、ステップＳ６０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とする。ここでは、集合データ1の中でデータ1の要素数が最小値（=2）である経路a->d用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{a,d}となり、リンク集合データ2は構造体データ10のデータ2である{a->d}となり、数値1は、構造体データ10のデータ3である51となる。

その後、ステップＳ６０２からステップＳ６０３−３を同様に行うと、図４５（Ｂ）に示す構造体データ1-1、構造体データ1-2、構造体データ1-3が生成される。図４５（Ａ）の集合データ1を見ると、data1が{a,c,d}になっている構造体データ1が集合データ1内に存在する。このとき、構造体データ1-1作成中におけるステップＳ６０４−４の条件が満たされないため、ステップＳ６０４−５において両者のコストを比較し、ステップＳ６０４−５の条件を満たすかチェックする。この場合は図４５（Ｂ）の構造体データ1-1のコストの方が小さいため、入れ替える。その結果、集合データ1は図４５（Ｃ）になる。

更に計算を進めると、集合データ1は図４６（Ａ）に示すようになる。ここで、図４６（Ａ）の構造体データ1-10、構造体データ1-11、構造体データ1-12、構造体データ1-13の順に計算を進める。

構造体データ1-10に対して計算を進めると、ステップＳ６０４−３終了時の構造体データ1-1は、図４６（Ｂ）に示すようになる。これを集合データ1に入力し、構造体データ1-10を集合データ1から削除する。

構造体データ1-11に対して計算を進めると、ステップＳ６０４−３終了時の構造体データ1-1は、図４６（Ｃ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図４６（Ｂ）の構造体データ）が存在するが、集合データ1の構造体データとコストが同じであるので置き換えない。その後、構造体データ1-11を集合データ1から削除する。

構造体データ1-12に対して計算を進めると、ステップＳ６０４−３終了時の構造体データ1-1は、図４６（Ｄ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図４６（Ｂ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-12を集合データ1から削除する。

構造体データ1-13に対して計算を進めると、ステップＳ６０４−３終了時の構造体データ1-1は、図４６（Ｅ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1のデータと置き換えられた図４６（Ｄ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-13を集合データ1から削除する。

最終的に、図４６（Ｆ）に示すように、集合データ1内に構造体データ1が１つだけ存在し、そのデータ1にすべてのリンクが含まれているため、データ2= a->d->c->b->e->fをリンクの順序として、データ3=126を順序コストとして出力する。

次に、別の順序コスト算出方法について説明する。

図４７は、リンク単位の順序コスト算出方法のフローチャートである。図４７を説明するときの具体例として、図２１のデータ構造を用いる。図４７のフローチャートは、ステップＳ７０３−１、Ｓ７０４−２、Ｓ７０４−３を除き、図４０のフローチャートと同じである。

ステップＳ７０１において、変数を初期化する。リンク集合データ1とリンク集合データ2と構造体データ10と集合データ1を空にし、数値1を0にする。

ステップＳ７０２において、全リンクからリンク集合データ1に含まれるリンクを削除したリンクの集合であるリンク集合3を作成する。リンク集合データ1={}の場合、リンク集合3={a,b,c,d,e,f}である。

ステップＳ７０３−１において、リンク集合3に属するリンクから、指定した方法によって以降のステップで使用する経路を計算する。

このときの経路の計算について、図４８を参照して説明する。図４８は、ステップＳ７０３−１における経路の計算を示す図である。ここでは、図２１のデータ構造にリンクgが追加されたデータ構造を例に挙げて説明する。ステップＳ７０３−１において、リンク集合3に含まれるリンクのうち、リンク集合3に含まれる葉リンクごとに計算した経路を選び出すときに、計算対象とする経路に含む葉リンクと、その上流に位置する中間リンクのうち、下流側の端点である分岐ノードにおいて、下流側リンクのうち該葉リンク方向のリンク以外のすべてのリンクが、その下流にリンク集合データ1に含まれる葉リンクが存在するような中間リンクとを葉リンクが最後に来るように結合した経路を選び出す。リンクdがリンク集合データ1に含まれる場合、リンクa,b,c,e,f,gがリンク集合3に含まれる。このとき、計算対象の葉リンクは{e,f,g}である。計算対象の葉リンクがeの場合の経路は、{e}である。この経路を選び出すときに、リンクbの下流側分岐ノードにリンク集合3に属する葉リンク（=f）が存在するため、bは含めない。計算対象の葉リンクがfの場合の経路は、{f}である。この経路を選び出すときに、リンクbの下流側分岐ノードにリンク集合3に属する葉リンク（=e）が存在するため、bは含めない。計算対象の葉リンクがgの場合の経路は、{a->c->g}である。この経路を選び出すときに、リンクa,cの下流側分岐ノードに、リンクg方向以外の下流側リンクすべてに、リンク集合１に属する葉リンクが下流方向に存在する、もしくはg方向にのみ下流側リンクが存在するため、a,cを含める。従って、(経路,コスト)={(e,1),(f,3),(a->c->g,8)}が出力される。

図２１のデータ構造に対してステップＳ７０３−１を実行すると、以降のステップで計算する(経路,コスト)は{(c,3),(d,1),(e,1),(f,3)}となる。

ステップＳ７０３−２において、ステップＳ７０３−１で計算された経路の中から選択した経路を経路10として、経路10に対応する構造体データ1-1を作成する。経路(c)->(d)->(e)->(f)の順で構造体データ1-1を作成することを仮定すると、経路cが選択された場合、図４９（Ａ）に示すように、ステップＳ７０３−２終了時の構造体データ1-1のデータ1（data1）はNullであり、データ2（data2）はNullであり、データ3（data3）は0である。

ステップＳ７０４−１において、構造体データ1-1のデータ1に、構造体データ1-1に経路10上のリンクとリンク集合データ1に含まれるリンクを入力する。経路cが経路10として選択された場合、構造体データ1-1のデータ1（data1）に、経路10上のリンク（c）とリンク集合データ1（={}）の要素を代入する。

ステップＳ７０４−２において、構造体データ1-1のデータ2に、経路10を構成するリンクを、葉リンクが最後に来るように並び替えたものをリンク集合データ2の先頭に追加したデータを入力する。経路cが経路10として選択された場合、構造体データ1-1のデータ2（data2）に、リンク集合データ2（={}）の先頭に経路10（c）を追加したデータを入力する。

ステップＳ７０４−３において、構造体データ1-1のデータ3に、リンク集合データ1に含まれる葉リンクに対応するノードの負荷に経路10に対応するノードの負荷を足した値に経路10のコストをかけ、数値1を足した値を記録する。経路cが経路10として選択された場合、構造体データ1-1のデータ3（data3）に、リンク集合データ1に含まれる葉リンクに対応するノードの負荷に経路10に対応するノードの負荷を足した値（0+7=7）と経路10のコスト（=3）をかけ、数値1（=0）を足した値（=21）を記録する。その結果、図４９（Ｂ）に示す構造体データ1-1が生成される。

ステップＳ７０４−４において、構造体データ1-1のデータ1と同じデータ1を有する構造体データ1-2が集合データ1に存在しないとき、ステップＳ７０４−４−１において、構造体データ1-1を集合データ1に入力する。

ステップＳ７０４−４において、構造体データ1-1のデータ1と同じデータを有する構造体データ1-2が集合データ1に存在し、かつステップＳ７０４−５において構造体データ1-2のデータ3の値が構造体データ1-1のデータ3の値より大きい場合、ステップＳ７０４−５−１において、構造体データ1-1と構造体データ1-2を入れ替える。

ステップＳ７０３−３において、リンク集合3に属するリンクから計算した経路すべてに対し、ステップＳ７０３−２からＳ７０４−５のステップを繰り返す。ステップＳ７０３−１で生成した経路={(c,3),(d,1),(e,1),(f,3)}に対し処理が終わったとき、図５０の集合データ1が生成される。

ステップＳ７０３−４において、構造体データ10が空でなければ、ステップＳ７０３−４−１において、集合データ1から構造体データ10を削除する。

ステップＳ７０３−４及びステップＳ７０３−４−１の後に、ステップＳ７０５−１において、集合データ1内に構造体データ1が1つだけ存在し、そのデータ1にすべてのリンクが含まれている場合、ステップＳ７０６において、構造体データ1のデータ2のリンクの順序を順序の計算結果として、データ3を順序に対する順序コストとして出力する。

ステップＳ７０５−１の条件が満たされない場合、ステップＳ７０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とし、そのデータ1をリンク集合データ1に、データ2をリンク集合データ2に、データ3を数値1に入力する。図５０の集合データ1の例では、集合データ1の要素数が最小値（=1）である経路c用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{c}となり、リンク集合データ2は構造体データ10のデータ2である{c}となり、数値1は、構造体データ10のデータ3である21となる。

その後、ステップＳ７０２に戻り計算を進めると、ステップＳ７０２において、リンク集合3=全リンク−リンク集合データ1（={c}）={a,b,d,e,f}となる。

ステップＳ７０３−１において、図４８を用いて説明した方法を用いて以降のステップで使用する経路を計算すると、{(a->d,3),(e,1),(f,3)}となる。

ステップＳ７０３−２において、経路(a->d)->(e)->(f)の順で、それぞれ構造体データ1-1を計算する。経路a->dが選択された場合、ステップＳ７０４−１において、構造体データ1-1のデータ1（data1）に、経路10上のリンク（a,d）とリンク集合データ1（={c}）の要素を代入する。ステップＳ７０４−２において、構造体データ1-1のデータ2に、リンク集合データ2（={c}）の先頭に経路10を追加したデータ（a->d->c）を入力する。ステップＳ７０４−３において、構造体データ1-1のデータ3に、リンク集合データ1に含まれる葉リンクに対応するノードの負荷に経路10に対応するノードの負荷を足した値（7+5=12）に経路10のコスト（=3）をかけ、数値1（=21）を足した値（=57）を記録する。その結果、図５１（Ａ）に示す構造体データ1-1が生成される。

経路e及び経路fが選択されたときも同様に計算すると、図５１（Ｂ）及び（Ｃ）に示す構造体データ1-1が生成される。その結果、図５１（Ｄ）に示す集合データ1が生成される。

ステップＳ７０３−４において、構造体データ10が空でないため、ステップＳ７０３−４−１において、図５２（Ａ）に示すように、構造体データ10を集合データ1から削除する。

ステップＳ７０５−１の条件は満たされないため、ステップＳ７０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とする。ここでは、集合データ1の中でデータ1の要素数が最小値（=1）である経路d用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{d}となり、リンク集合データ2は構造体データ10のデータ2である{d}となり、数値1は、構造体データ10のデータ3である5となる。

その後、ステップＳ７０２からステップＳ７０３−３を同様に行うと、図５２（Ｂ）に示す構造体データ1-1、構造体データ1-2、構造体データ1-3が生成される。図５２（Ａ）の集合データ1を見ると、data1が{a,c,d}になっている構造体データ1が集合データ1内に存在する。このとき、構造体データ1-1作成中におけるステップＳ７０４−４の条件が満たされないため、ステップＳ７０４−５において両者のコストを比較し、ステップＳ７０４−５の条件を満たすかチェックする。この場合は図５２（Ｂ）の構造体データ1-1のコストの方が大きいため、入れ替えない。その結果、集合データ1は図５２（Ｃ）になる。

更に計算を進めると、集合データ1は図５３（Ａ）に示すようになる。ここで、図５３（Ａ）の構造体データ1-10、構造体データ1-11、構造体データ1-12、構造体データ1-13の順に計算を進める。

構造体データ1-10に対して計算を進めると、ステップＳ７０４−３終了時の構造体データ1-1は、図５３（Ｂ）に示すようになる。これを集合データ1に入力し、構造体データ1-10を集合データ1から削除する。

構造体データ1-11に対して計算を進めると、ステップＳ７０４−３終了時の構造体データ1-1は、図５３（Ｃ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図５３（Ｂ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-11を集合データ1から削除する。

構造体データ1-12に対して計算を進めると、ステップＳ７０４−３終了時の構造体データ1-1は、図５３（Ｄ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図５３（Ｃ）の構造体データ）が存在するが、集合データ1の構造体データのほうのコストが小さいので置き換えない。その後、構造体データ1-12を集合データ1から削除する。

構造体データ1-13に対して計算を進めると、ステップＳ７０４−３終了時の構造体データ1-1は、図５３（Ｅ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1のデータと置き換えられた図５３（Ｃ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが小さいので置き換えない。その後、構造体データ1-13を集合データ1から削除する。

最終的に、図５３（Ｆ）に示すように、集合データ1内に構造体データ1が１つだけ存在し、そのデータ1にすべてのリンクが含まれているため、データ2= a->d->c->b->e->fをリンクの順序として、データ3=126を順序コストとして出力する。

次に、図４０のフローチャートにおいて計算量を削減するための方法について説明する。以下の説明では図４０のフローチャートを参照して説明するが、図４７のフローチャートにも適用可能である。

図４０では、ステップＳ６０３−１において計算されたすべての経路に対して順序コストの計算を進めるが、順序コストの計算を進める経路を、コストが小さい順に予め与えられた数に制限してもよい。すなわち、ステップＳ６０３−１において、例えば候補経路の選択方法の変更指示（計算量の削減指示）を受信した場合に、リンク集合3に属するリンクから指定した方法によって計算された経路のうち、負荷で重み付けしたコストが最小の経路からk番目までの経路を選ぶ。

図４３の集合データ1から経路a->c用の構造体データ1を取り出し、構造体データ10とした場合について説明する。このとき、リンク集合データ1は構造体データ10のデータ1である{a,c}となり、リンク集合データ2は構造体データ10のデータ2である{a->c}となり、数値1は、構造体データ10のデータ3である85となる。

その後、ステップＳ６０２に戻り計算を進めると、ステップＳ６０２において、リンク集合3=全リンク−リンク集合データ1（={a,c}）={b,d,e,f}となる。

ステップＳ６０３−１において、図４１を用いて説明した方法を用いて以降のステップで使用する経路を計算すると、{(d,1),(b->e,6),(b->f,8)}となる。ここで、計算量の削減指示を受信したことを想定する。

計算量の削減指示がなければ、経路(b->e)->(d)->(b->f)の順で、それぞれ構造体データ1-1を計算するが、計算量の削減指示に従い、ステップＳ６０３−２において、コストの小さい順に２つ目までの経路に対する構造体データ1-1を計算する。負荷で重み付けした経路dのコストは1*(5+2+3)=10であり、負荷で重み付けした経路b->eのコストは6*(5+2+3)=60であり、負荷で重み付けした経路b->fのコストは8*(5+2+3)=80である。従って、経路d及びb->eに対する構造体データを生成する。経路dが選択された場合、図５４（Ａ）に示す構造体データ1-1が生成される。経路b->eが選択された場合、図５４（Ｂ）に示す構造体データ1-1が生成される。その結果、図５４（Ｃ）に示す集合データ1が生成される。図５４（Ｃ）の集合データ1と図４４（Ｄ）の集合データ1を比べると、集合データ1の要素数が少なくなっていることが分かる。

上記の例では、候補経路の選択方法の変更指示が計算途中で受信された場合を示しているが、候補経路の選択方法の変更指示は用いられなくてもよい。すなわち、ステップＳ６０３−１において、リンク集合3に属するリンクから指定した方法によって計算された経路のうち、コストが最小の経路からk番目までの経路を選んでもよい。

このように、データの共通部分を1本のリンクとするツリー構造でVM間の関係を表せる場合に、負荷で重み付けされたVMマイグレーション時間が短くなるよう、VMのデータの送信順をスケジューリングすることが可能になる。

＜実施例４：リンク単位の順序コストの算出例（データ構造が一般的な場合）＞
図１８で説明したリンク単位の順序コストの算出において計算量を削減する例について更に詳細に説明する。実施例４では、VMのデータ構造が一般的な場合を仮定する。VMのデータ構造は、図３１と同様に表現される。このときのリンクの順序及び順序コストは、図３２と同様に計算される。

実施例４では、上記のように、負荷を考慮しつつ、共通データである中間リンクのデータを優先して移動させ、固有データである葉リンクのデータを後で送信する。葉リンクに含まれる一時データは処理に伴い頻繁に更新されるため、この部分をマイグレーションの中間部分で送信すると、大量に更新されたデータを送信することになり、マイグレーション時間の増加につながるため、葉リンクはノード内においては最後に送信する。リンクの順序の計算においても、葉リンクの移動順序がノード内において最後になるようにする。

以下の説明においても、既に定義した構造体データ、集合データ1、リンク集合データ1、リンク集合データ2、リンク集合3を用いる。

データ構造が一般的な場合のノード単位の順序コスト算出方法も、図４０と同じフローチャートで実現できる。説明を簡単にするために、図３３のデータ構造を用いて順序コストの計算について説明する。ここで、a1、a2、b1、b2は中間リンクであり、c、d、e、fは葉リンクである。

ステップＳ６０１において、変数を初期化する。リンク集合データ1とリンク集合データ2と構造体データ10と集合データ1を空にし、数値1を0にする。

ステップＳ６０２において、全リンクからリンク集合データ1に含まれるリンクを削除したリンクの集合であるリンク集合3を作成する。リンク集合データ1={}の場合、リンク集合3={a1,a2,b1,b2,c,d,e,f}である。

ステップＳ６０３−１において、リンク集合3に属するリンクから、指定した方法によって以降のステップで使用する経路を計算する。

このときの経路の計算について、図５５を参照して説明する。図５５は、ステップＳ６０３−１における経路の計算を示す図である。ここでは、図３２のデータ構造を例に挙げて説明する。ステップＳ６０３−１において、リンク集合3に含まれるリンクのうち、リンク集合3に含まれる葉リンクごとに計算した経路を選び出すときに、計算対象とする経路に含む葉リンクと、その上流に存在しリンク集合3に含まれるリンクとを葉リンクが最後に来るように結合した経路を選び出す。リンクe1,f1,f2,f3,g1,h1,i1,2,3,4がリンク集合3に含まれる場合、計算対象の葉リンクは{2,3,4}である。計算対象の葉リンクが2の場合の経路は、{f1->g1->2}であり、計算対象の葉リンクが3の場合の経路は、{e1->f2->3}であり、計算対象の葉リンクが4の場合の経路は、{f3->h1->i1->4}である。従って、(経路,コスト)={(f1->g1->2,5),(e1->f2->3,13),(f3->h1->i1->4,8)}が出力される。

図３３のデータ構造に対してステップＳ６０３−１を実行すると、以降のステップで計算する(経路,コスト)は{(a1->c,5),(a2->d,3),(b1->e,6),(b2->f,8)}となる。

ステップＳ６０３−２において、ステップＳ６０３−１で計算された経路の中から選択した経路を経路10として、経路10に対応する構造体データ1-1を作成する。経路(a1->c)->(a2->d)->(b1->e)->(b2->f)の順で構造体データ1-1を作成することを仮定すると、経路a1->cが選択された場合、図５６（Ａ）に示すように、ステップＳ６０３−２終了時の構造体データ1-1のデータ1（data1）はNullであり、データ2（data2）はNullであり、データ3（data3）は0である。

ステップＳ６０４−１において、構造体データ1-1のデータ1に、構造体データ1-1に経路10上のリンクとリンク集合データ1に含まれるリンクを入力する。更に、経路10と同じグループに属するリンク集合を入力する。経路a1->cが経路10として選択された場合、構造体データ1-1のデータ1（data1）に、経路10上のリンク（a1,c）とリンク集合データ1（={}）の要素を代入する。更に、経路10と同じグループに属するリンク集合（={a2}）を代入する。

ステップＳ６０４−２において、構造体データ1-1のデータ2に、経路10を構成するリンクを、葉リンクが最後に来るように並び替えたものをリンク集合データ2の最後尾に追加したデータを入力する。経路a1->cが経路10として選択された場合、構造体データ1-1のデータ2（data2）に、リンク集合データ2（={}）の最後尾に経路10（a1->c）を追加したデータを入力する。

ステップＳ６０４−３において、構造体データ1-1のデータ3に、リンク集合3に含まれる葉リンクに対応するノードの負荷と経路10のコストをかけ、数値1を足した値を記録する。経路a1->cが経路10として選択された場合、構造体データ1-1のデータ3（data3）に、リンク集合3に含まれる葉リンクに対応するノードの負荷（=7+5+2+3=17）と経路10のコスト（=5）をかけ、数値1（=0）を足した値（=85）を記録する。その結果、図５６（Ｂ）に示す構造体データ1-1が生成される。

ステップＳ６０４−４において、構造体データ1-1のデータ1と同じデータ1を有する構造体データ1-2が集合データ1に存在しないとき、ステップＳ６０４−４−１において、構造体データ1-1を集合データ1に入力する。

ステップＳ６０４−４において、構造体データ1-1のデータ1と同じデータを有する構造体データ1-2が集合データ1に存在し、かつステップＳ６０４−５において構造体データ1-2のデータ3の値が構造体データ1-1のデータ3の値より大きい場合、ステップＳ６０４−５−１において、構造体データ1-1と構造体データ1-2を入れ替える。

ステップＳ６０３−３において、リンク集合3に属するリンクから計算した経路すべてに対し、ステップＳ６０３−２からＳ６０４−５のステップを繰り返す。ステップＳ６０３−１で生成した経路={(a1->c,5),(a2->d,3),(b1->e,6),(b2->f,8)}に対し処理が終わったとき、図５７の集合データ1が生成される。

ステップＳ６０３−４において、構造体データ10が空でなければ、ステップＳ６０３−４−１において、集合データ1から構造体データ10を削除する。

ステップＳ６０３−４及びステップＳ６０３−４−１の後に、ステップＳ６０５−１において、集合データ1内に構造体データ1が1つだけ存在し、そのデータ1にすべてのリンクが含まれている場合、ステップＳ６０６において、構造体データ1のデータ2のリンクの順序を順序の計算結果として、データ3を順序に対する順序コストとして出力する。

ステップＳ６０５−１の条件が満たされない場合、ステップＳ６０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とし、そのデータ1をリンク集合データ1に、データ2をリンク集合データ2に、データ3を数値1に入力する。図５７の集合データ1の例では、集合データ1の要素数が最小値（=3）である経路a1->c用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{a1,a2,c}となり、リンク集合データ2は構造体データ10のデータ2である{a1->c}となり、数値1は、構造体データ10のデータ3である85となる。

その後、ステップＳ６０２に戻り計算を進めると、ステップＳ６０２において、リンク集合3=全リンク−リンク集合データ1（={a1,a2,c}）={b1,b2,d,e,f}となる。

ステップＳ６０３−１において、図５５に示す方法で以降のステップで使用する経路を計算すると、{(d,1),(b1->e,6),(b2->f,8)}となる。

ステップＳ６０３−２において、経路(b1->e)->(d)->(b2->f)の順で、それぞれ構造体データ1-1を計算する。経路b1->eが選択された場合、ステップＳ６０４−１において、構造体データ1-1のデータ1（data1）に、経路10上のリンク（b1,e）とリンク集合データ1（={a1,a2,c}）の要素を代入する。更に、経路10と同じグループに属するリンク集合（={b2}）を代入する。ステップＳ６０４−２において、構造体データ1-1のデータ2に、リンク集合データ2（={a1->c}）の最後尾に経路10を追加したデータ（a1->c->b1->e）を入力する。ステップＳ６０４−３において、構造体データ1-1のデータ3に、リンク集合3に含まれている葉リンクに対応するノードの負荷（=10）に経路10のコスト（=6）をかけ、数値1（=85）を足した値（=145）を記録する。その結果、図５８（Ａ）に示す構造体データ1-1が生成される。

経路d及び経路b2->fが選択されたときも同様に計算すると、図５８（Ｂ）及び（Ｃ）に示す構造体データ1-1が生成される。その結果、図５８（Ｄ）に示す集合データ1が生成される。

ステップＳ６０３−４において、構造体データ10が空でないため、ステップＳ６０３−４−１において、図５９（Ａ）に示すように、構造体データ10を集合データ1から削除する。

ステップＳ６０５−１の条件は満たされないため、ステップＳ６０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とする。ここでは、集合データ1の中でデータ1の要素数が最小値（=3）である経路a2->d用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{a1,a2,d}となり、リンク集合データ2は構造体データ10のデータ2である{a2->d}となり、数値1は、構造体データ10のデータ3である51となる。

その後、ステップＳ６０２からステップＳ６０３−３を同様に行うと、図５９（Ｂ）に示す構造体データ1-1、構造体データ1-2、構造体データ1-3が生成される。図５９（Ａ）の集合データ1を見ると、data1が{a1,a2,c,d}になっている構造体データ1が集合データ1内に存在する。このとき、構造体データ1-1作成中におけるステップＳ６０４−４の条件が満たされないため、ステップＳ６０４−５において両者のコストを比較し、ステップＳ６０４−５の条件を満たすかチェックする。この場合は図５９（Ｂ）の構造体データ1-1のコストの方が小さいため、入れ替える。その結果、集合データ1は図５９（Ｃ）になる。

更に計算を進めると、集合データ1は図６０（Ａ）に示すようになる。ここで、図６０（Ａ）の構造体データ1-10、構造体データ1-11、構造体データ1-12、構造体データ1-13の順に計算を進める。

構造体データ1-10に対して計算を進めると、ステップＳ６０４−３終了時の構造体データ1-1は、図６０（Ｂ）に示すようになる。これを集合データ1に入力し、構造体データ1-10を集合データ1から削除する。

構造体データ1-11に対して計算を進めると、ステップＳ６０４−３終了時の構造体データ1-1は、図６０（Ｃ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図６０（Ｂ）の構造体データ）が存在するが、集合データ1の構造体データとコストが同じであるので置き換えない。その後、構造体データ1-11を集合データ1から削除する。

構造体データ1-12に対して計算を進めると、ステップＳ６０４−３終了時の構造体データ1-1は、図６０（Ｄ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図６０（Ｂ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-12を集合データ1から削除する。

構造体データ1-13に対して計算を進めると、ステップＳ６０４−３終了時の構造体データ1-1は、図６０（Ｅ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1のデータと置き換えられた図６０（Ｄ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-13を集合データ1から削除する。

最終的に、図６０（Ｆ）に示すように、集合データ1内に構造体データ1が１つだけ存在し、そのデータ1にすべてのリンクが含まれているため、データ2= a2->d->c->b1->e->fをリンクの順序として、データ3=126を順序コストとして出力する。

次に、図４７を参照して別の順序コスト算出方法について説明する。図４７を説明するときの具体例として、図３３のデータ構造を用いる。

ステップＳ７０１において、変数を初期化する。リンク集合データ1とリンク集合データ2と構造体データ10と集合データ1を空にし、数値1を0にする。

ステップＳ７０２において、全リンクからリンク集合データ1に含まれるリンクを削除したリンクの集合であるリンク集合3を作成する。リンク集合データ1={}の場合、リンク集合3={a1,a2,b1,b2,c,d,e,f}である。

ステップＳ７０３−１において、リンク集合3に属するリンクから、指定した方法によって以降のステップで使用する経路を計算する。

このときの経路の計算について、図６１を参照して説明する。図６１は、ステップＳ７０３−１における経路の計算を示す図である。ここでは、図３２のデータ構造を例に挙げて説明する。ステップＳ７０３−１において、リンク集合3に含まれるリンクのうち、リンク集合3に含まれる葉リンクごとに計算した経路を選び出すときに、計算対象とする経路に含む葉リンクと、該葉リンクの上流に位置するリンク集合3に含まれる中間リンクのうち、該中間リンクと同じグループに属し下流側にリンク集合データ1に含まれる葉リンクが存在する中間リンクの数が、グループに属するリンク数から1を引いた値である中間リンクとを葉リンクが最後に来るように結合した経路を選び出す。リンクg1,2がリンク集合データ1に含まれる場合、リンクa1,a2,a3,b1,b2,c1,c2,d1,d2,e1,f1,f2,f3,h1,i1,1,3,4がリンク集合3に含まれる。このとき、計算対象の葉リンクは{1,3,4}である。計算対象の葉リンクが1の場合の経路は、{d1->1}である。この経路を選び出すときに、リンクd1は同じグループのリンクd2が経路VM2に存在し、その葉リンクはリンク集合データ1に属する。リンクd1と同じグループに属するリンク数は2であるため、d1は経路を選び出す条件に合致する。リンクa1は同じグループのリンクa2が経路VM2に存在し、リンクd3が経路VM3に存在し、各経路の葉リンクでリンク集合データ1に属するのはVMの葉リンクの2のみである。よって、リンクa1と同じグループに属し下流側にリンク集合データ1に含まれる葉リンクが存在する中間リンクの数は1である。グループに属するリンク数は3であるため、a1は経路を選び出す条件に合致しない。よって、a1は上記の経路に含まれない。同様の理由でb1、c1も上記の経路に含まれない。同様に計算すると、計算対象の葉リンクが3の場合の経路は、{e1->3}であり、計算対象の葉リンクが4の場合の経路は、{h1->i1->4}である。従って、(経路,コスト)={(d1->1,3),(e1->3,7),(h1->i1->4,7)}が出力される。

図３３のデータ構造に対してステップＳ７０３−１を実行すると、以降のステップで計算する(経路,コスト)は{(c,3),(d,1),(e,1),(f,3)}となる。

ステップＳ７０３−２において、ステップＳ７０３−１で計算された経路の中から選択した経路を経路10として、経路10に対応する構造体データ1-1を作成する。経路(c)->(d)->(e)->(f)の順で構造体データ1-1を作成することを仮定すると、経路cが選択された場合、図６２（Ａ）に示すように、ステップＳ７０３−２終了時の構造体データ1-1のデータ1（data1）はNullであり、データ2（data2）はNullであり、データ3（data3）は0である。

ステップＳ７０４−１において、構造体データ1-1のデータ1に、構造体データ1-1に経路10上のリンクとリンク集合データ1に含まれるリンクを入力する。更に、経路10と同じグループに属するリンク集合を入力する。経路cが経路10として選択された場合、構造体データ1-1のデータ1（data1）に、経路10上のリンク（c）とリンク集合データ1（={}）の要素を代入する。更に、経路10と同じグループに属するリンク集合（={}）を代入する。

ステップＳ７０４−２において、構造体データ1-1のデータ2に、経路10を構成するリンクを、葉リンクが最後に来るように並び替えたものをリンク集合データ2の先頭に追加したデータを入力する。経路cが経路10として選択された場合、構造体データ1-1のデータ2（data2）に、リンク集合データ2（={}）の先頭に経路10（c）を追加したデータを入力する。

ステップＳ７０４−３において、構造体データ1-1のデータ3に、リンク集合データ1に含まれる葉リンクに対応するノードの負荷に経路10に対応するノードの負荷を足した値に経路10のコストをかけ、数値1を足した値を記録する。経路cが経路10として選択された場合、構造体データ1-1のデータ3（data3）に、リンク集合データ1に含まれる葉リンクに対応するノードの負荷に経路10に対応するノードの負荷を足した値（0+7=7）と経路10のコスト（=3）をかけ、数値1（=0）を足した値（=21）を記録する。その結果、図６２（Ｂ）に示す構造体データ1-1が生成される。

ステップＳ７０４−４において、構造体データ1-1のデータ1と同じデータ1を有する構造体データ1-2が集合データ1に存在しないとき、ステップＳ７０４−４−１において、構造体データ1-1を集合データ1に入力する。

ステップＳ７０４−４において、構造体データ1-1のデータ1と同じデータを有する構造体データ1-2が集合データ1に存在し、かつステップＳ７０４−５において構造体データ1-2のデータ3の値が構造体データ1-1のデータ3の値より大きい場合、ステップＳ７０４−５−１において、構造体データ1-1と構造体データ1-2を入れ替える。

ステップＳ７０３−３において、リンク集合3に属するリンクから計算した経路すべてに対し、ステップＳ７０３−２からＳ７０４−５のステップを繰り返す。ステップＳ７０３−１で生成した経路={(c,3),(d,1),(e,1),(f,3)}に対し処理が終わったとき、図６３の集合データ1が生成される。

ステップＳ７０３−４において、構造体データ10が空でなければ、ステップＳ７０３−４−１において、集合データ1から構造体データ10を削除する。

ステップＳ７０３−４及びステップＳ７０３−４−１の後に、ステップＳ７０５−１において、集合データ1内に構造体データ1が1つだけ存在し、そのデータ1にすべてのリンクが含まれている場合、ステップＳ７０６において、構造体データ1のデータ2のリンクの順序を順序の計算結果として、データ3を順序に対する順序コストとして出力する。

ステップＳ７０５−１の条件が満たされない場合、ステップＳ７０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とし、そのデータ1をリンク集合データ1に、データ2をリンク集合データ2に、データ3を数値1に入力する。図６３の集合データ1の例では、集合データ1の要素数が最小値（=1）である経路c用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{c}となり、リンク集合データ2は構造体データ10のデータ2である{c}となり、数値1は、構造体データ10のデータ3である21となる。

その後、ステップＳ７０２に戻り計算を進めると、ステップＳ７０２において、リンク集合3=全リンク−リンク集合データ1（={c}）={a1,a2,b1,b2,d,e,f}となる。

ステップＳ７０３−１において、図６１に示す方法で以降のステップで使用する経路を計算すると、{(a2->d,3),(e,1),(f,3)}となる。

ステップＳ７０３−２において、経路(a2->d)->(e)->(f)の順で、それぞれ構造体データ1-1を計算する。経路a2->dが選択された場合、ステップＳ７０４−１において、構造体データ1-1のデータ1（data1）に、経路10上のリンク（a2,d）とリンク集合データ1（={c}）の要素を代入する。更に、経路10と同じグループに属するリンク集合（={a1}）を代入する。ステップＳ７０４−２において、構造体データ1-1のデータ2に、リンク集合データ2（={c}）の先頭に経路10を追加したデータ（a2->d->c）を入力する。ステップＳ７０４−３において、構造体データ1-1のデータ3に、リンク集合データ1に含まれる葉リンクに対応するノードの負荷に経路10に対応するノードの負荷を足した値（7+5=12）に経路10のコスト（=3）をかけ、数値1（=21）を足した値（=57）を記録する。その結果、図６４（Ａ）に示す構造体データ1-1が生成される。

経路e及び経路fが選択されたときも同様に計算すると、図６４（Ｂ）及び（Ｃ）に示す構造体データ1-1が生成される。その結果、図６４（Ｄ）に示す集合データ1が生成される。

ステップＳ７０３−４において、構造体データ10が空でないため、ステップＳ７０３−４−１において、図６５（Ａ）に示すように、構造体データ10を集合データ1から削除する。

ステップＳ７０５−１の条件は満たされないため、ステップＳ７０５−２において、集合データ1内の構造体データ1のうち、データ1の要素数が最も少ない構造体データ1を取り出して構造体データ10とする。ここでは、集合データ1の中でデータ1の要素数が最小値（=1）である経路d用の構造体データ1を取り出し、構造体データ10とする。リンク集合データ1は構造体データ10のデータ1である{d}となり、リンク集合データ2は構造体データ10のデータ2である{d}となり、数値1は、構造体データ10のデータ3である5となる。

その後、ステップＳ７０２からステップＳ７０３−３を同様に行うと、図６５（Ｂ）に示す構造体データ1-1、構造体データ1-2、構造体データ1-3が生成される。図６５（Ａ）の集合データ1を見ると、data1が{a1,a2,c,d}になっている構造体データ1が集合データ1内に存在する。このとき、構造体データ1-1作成中におけるステップＳ７０４−４の条件が満たされないため、ステップＳ７０４−５において両者のコストを比較し、ステップＳ７０４−５の条件を満たすかチェックする。この場合は図６５（Ｂ）の構造体データ1-1のコストの方が大きいため、入れ替えない。その結果、集合データ1は図６５（Ｃ）になる。

更に計算を進めると、集合データ1は図６６（Ａ）に示すようになる。ここで、図６６（Ａ）の構造体データ1-10、構造体データ1-11、構造体データ1-12、構造体データ1-13の順に計算を進める。

構造体データ1-10に対して計算を進めると、ステップＳ７０４−３終了時の構造体データ1-1は、図６６（Ｂ）に示すようになる。これを集合データ1に入力し、構造体データ1-10を集合データ1から削除する。

構造体データ1-11に対して計算を進めると、ステップＳ７０４−３終了時の構造体データ1-1は、図６６（Ｃ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図６６（Ｂ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが大きいので置き換える。その後、構造体データ1-11を集合データ1から削除する。

構造体データ1-12に対して計算を進めると、ステップＳ７０４−３終了時の構造体データ1-1は、図６６（Ｄ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1に入力された図６６（Ｃ）の構造体データ）が存在するが、集合データ1の構造体データのほうのコストが小さいので置き換えない。その後、構造体データ1-12を集合データ1から削除する。

構造体データ1-13に対して計算を進めると、ステップＳ７０４−３終了時の構造体データ1-1は、図６６（Ｅ）に示すようになる。集合データ1にデータ1が同じ構造体データ（集合データ1のデータと置き換えられた図６６（Ｃ）の構造体データ）が存在し、集合データ1の構造体データのほうのコストが小さいので置き換えない。その後、構造体データ1-13を集合データ1から削除する。

最終的に、図６６（Ｆ）に示すように、集合データ1内に構造体データ1が１つだけ存在し、そのデータ1にすべてのリンクが含まれているため、データ2= a2->d->c->b1->e->fをリンクの順序として、データ3=126を順序コストとして出力する。

次に、図４０のフローチャートにおいて計算量を削減するための方法について説明する。以下の説明では図３３のフローチャートを参照して説明するが、図４７のフローチャートにも適用可能である。

図４０では、ステップＳ６０３−１において計算されたすべての経路に対して順序コストの計算を進めるが、順序コストの計算を進める経路を、コストが小さい順に予め与えられた数に制限してもよい。すなわち、ステップＳ６０３−１において、例えば候補経路の選択方法の変更指示（計算量の削減指示）を受信した場合に、リンク集合3に属するリンクから指定した方法によって計算された経路のうち、負荷で重み付けしたコストが最小の経路からk番目までの経路を選ぶ。

図５７の集合データ1から経路a1->c用の構造体データ1を取り出し、構造体データ10とした場合について説明する。このとき、リンク集合データ1は構造体データ10のデータ1である{a1,a2,c}となり、リンク集合データ2は構造体データ10のデータ2である{a1->c}となり、数値1は、構造体データ10のデータ3である85となる。

その後、ステップＳ６０２に戻り計算を進めると、ステップＳ６０２において、リンク集合3=全リンク−リンク集合データ1（={a1,a2,c}）={b1,b2,d,e,f}となる。

ステップＳ６０３−１において、図５５に示す方法で以降のステップで使用する経路を計算すると、{(d,1),(b1->e,6),(b2->f,8)}となる。ここで、計算量の削減指示を受信したことを想定する。

計算量の削減指示がなければ、経路(b1->e)->(d)->(b2->f)の順で、それぞれ構造体データ1-1を計算するが、計算量の削減指示に従い、ステップＳ６０３−２において、コストの小さい順に２つ目までの経路に対する構造体データ1-1を計算する。負荷で重み付けした経路dのコストは1*(5+2+3)=10であり、負荷で重み付けした経路b1->eのコストは6*(5+2+3)=60であり、負荷で重み付けした経路b2->fのコストは8*(5+2+3)=80である。従って、経路d及びb1->eに対する構造体データを生成する。経路dが選択された場合、図６７（Ａ）に示す構造体データ1-1が生成される。経路b1->eが選択された場合、図６７（Ｂ）に示す構造体データ1-1が生成される。その結果、図６７（Ｃ）に示す集合データ1が生成される。図６７（Ｃ）の集合データ1と図５８（Ｄ）の集合データ1を比べると、集合データ1の要素数が少なくなっていることが分かる。

上記の例では、候補経路の選択方法の変更指示が計算途中で受信された場合を示しているが、候補経路の選択方法の変更指示は用いられなくてもよい。すなわち、ステップＳ６０３−１において、リンク集合3に属するリンクから指定した方法によって計算された経路のうち、コストが最小の経路からk番目までの経路を選んでもよい。

このように、VMのデータ構造が一般的な場合に、負荷で重み付けされたVMマイグレーション時間が短くなるよう、VMのデータの送信順をスケジューリングすることが可能になる。

なお、実施例２及び実施例４の順序コストの算出例において、共通データを有するリンクを同じグループに属するリンクとして扱っているが、数字で表したリンクIDを用いずに同じリンクとして扱ってもよい。すなわち、図３３に示すように識別子を用いず、VMのデータ構造は図６８のように表現されてもよい。その場合においても、上記の計算は適用可能である。

図３３のデータ構造の例では、ステップＳ５０４−１において、リンクa1がリンク10として選択された場合、構造体データ1-1のデータ1（data1）に、リンク10（a1）とリンク集合データ1（={}）の要素を代入し、更に、リンク10（a1）と同じグループに属するリンク集合（={a2}）を代入している。図６８のデータ構造の例では、ステップＳ５０４−１において、リンクaがリンク10として選択された場合、構造体データ1-1のデータ1（data1）に、リンク10（a）とリンク集合データ1（={}）の要素を代入すればよい。リンク10と同じグループに属するリンク（a）は既にデータ1に代入されているため、再度代入する必要はない。

また、図３３のデータ構造の例では、ステップＳ６０４−１において、経路a1->cが経路10として選択された場合、構造体データ1-1のデータ1（data1）に、経路10上のリンク（a1,c）とリンク集合データ1（={}）の要素を代入し、更に、経路10と同じグループに属するリンク集合（={a2}）を代入している。図６８のデータ構造の例では、ステップＳ５０４−１において、経路a->cが経路10として選択された場合、構造体データ1-1のデータ1（data1）に、経路10（a->c）とリンク集合データ1（={}）の要素を代入すればよい。経路10上のリンクと同じグループに属するリンク（a）は既にデータ1に代入されているため、再度代入する必要はない。以降のステップも、リンクをグループ化することなく実施することができる。

＜ハードウェア構成例＞
図６９に、本発明の実施例に係るデータ移動順序決定装置１００のハードウェア構成例を示す。データ移動順序決定装置１００は、ＣＰＵ（Central Processing Unit）１５１等のプロセッサ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリ装置１５２、ハードディスク等の記憶装置１５３等から構成されたコンピュータでもよい。例えば、上記のデータ移動順序決定方法の実行手順は、記憶装置１５３又はメモリ装置１５２に記録される。VMのデータ構造や計算中に発生するデータも、記憶装置１５３又はメモリ装置１５２に記録される。データ移動順序決定装置１００の機能及び処理は、記憶装置１５３又はメモリ装置１５２に格納されているデータやプログラムをＣＰＵ１５１が実行することによって実現される。また、データ移動順序決定装置１００に必要な情報は、入出力インタフェース装置１５４から入力され、データ移動順序決定装置１００において求められた結果は、入出力インタフェース装置１５４から出力されてもよい。

なお、図３及び図４を参照して説明した通り、負荷は負荷管理コントローラにおいて一元的に管理されてもよく、物理プラットフォームにおいて分散管理されてもよい。すなわち、データ移動順序決定装置１００の各機能部は、負荷管理コントローラに含まれてもよく、物理プラットフォームに含まれてもよい。以下に、負荷が負荷管理コントローラにおいて一元的に管理される場合の負荷管理コントローラ及び物理プラットフォームのハードウェア構成例について説明する。

負荷管理コントローラは、ＣＰＵ１５１において、記憶装置１５３に存在するプログラムを実行する。また、記憶装置１５３において、物理プラットフォームから収集した負荷の情報を管理する負荷管理機能、各物理プラットフォームの負荷に基づいて移行対象の仮想マシンとその移行先を決定する移行対象仮想マシン決定機能等を実行するプログラムを記録する。また、入出力インタフェース１５４において、物理プラットフォームとの情報の交換を行う。

物理プラットフォームは、ＣＰＵ１５１において、仮想マシンの処理や記憶装置１５３に存在するプログラムを実行する。また、記憶装置１５３において、物理プラットフォームの負荷を計測して管理する負荷管理機能、仮想マシンの移動順序を計算する機能、仮想マシンのデータ構造を管理するデータ構造管理機能等を実行するプログラムを記録する。また、入出力インタフェース装置１５４において、仮想マシンのマイグレーションや仮想マシンのパケット処理を行う。

＜補足＞
説明の便宜上、本発明の実施例に係るデータ移動順序決定装置は機能的なブロック図を用いて説明しているが、本発明の実施例に係るデータ移動順序決定装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、本発明の実施例は、コンピュータに対して本発明の実施例に係るデータ移動順序決定装置の機能を実現させるプログラム、コンピュータに対して本発明の実施例に係る方法の各手順を実行させるプログラム等により、実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施例に係る方法は、実施例に示す順序と異なる順序で実施されてもよい。

以上、物理プラットフォームに重い負荷がかかる時間を短縮するためのデータの移動順序の決定手法について説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。

１００ データ移動順序決定装置
１０５ 負荷管理部
１１０ データ分類部
１２０ 移動順序決定部
１５１ ＣＰＵ
１５２ メモリ装置
１５３ 記憶装置
１５４ 入出力インタフェース装置

Claims (7)

1. 複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置であって、
   前記データを用いて処理を実行する物理プラットフォームの負荷を管理する負荷管理部と、
   前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するデータ分類部と、
   前記複数のデータを移動させるときの移動順序を複数仮定して、前記複数のデータの中のあるデータに対して、それぞれ仮定した移動順序に従って当該データを移動させるときの順序コストを、当該データ内の未移動のサブデータのコストと、当該データを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定した移動順序に対する総順序コストを算出し、前記複数仮定した移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定する移動順序決定部と、
   を有するデータ移動順序決定装置。
2. 複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置であって、
   前記データを用いて処理を実行する物理プラットフォームの負荷を管理する負荷管理部と、
   前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するデータ分類部と、
   前記複数のデータを移動させるときの移動順序を複数仮定して、更に、それぞれ仮定した移動順序において前記複数のサブデータを移動させるときの移動順序を複数仮定して、前記複数のサブデータの中のあるサブデータに対して、それぞれ仮定したサブデータの移動順序に従って当該サブデータを移動させるときの順序コストを、当該サブデータのコストと、当該サブデータが属するデータを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定したサブデータの移動順序に対する総順序コストを算出し、前記複数仮定したサブデータの移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定する移動順序決定部と、
   を有するデータ移動順序決定装置。
3. 前記移動順序決定部は、前記仮定した複数の移動順序のうち第１の移動順序に従って前記データ又は前記サブデータを移動させるときの順序コストと、前記仮定した複数の移動順序のうち第２の移動順序に従って前記データ又は前記サブデータを移動させるときの順序コストとを比較し、当該比較に基づいて、前記第１の移動順序と前記第２の移動順序のうち一方の移動順序に対する総順序コストの算出を中断する、請求項１又は２に記載のデータ移動順序決定装置。
4. 複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置におけるデータ移動順序決定方法であって、
   前記データを用いて処理を実行する物理プラットフォームの負荷を管理するステップと、
   前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するステップと、
   前記複数のデータを移動させるときの移動順序を複数仮定して、前記複数のデータの中のあるデータに対して、それぞれ仮定した移動順序に従って当該データを移動させるときの順序コストを、当該データ内の未移動のサブデータのコストと、当該データを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定した移動順序に対する総順序コストを算出し、前記複数仮定した移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定するステップと、
   を有するデータ移動順序決定方法。
5. 複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置におけるデータ移動順序決定方法であって、
   前記データを用いて処理を実行する物理プラットフォームの負荷を管理するステップと、
   前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するステップと、
   前記複数のデータを移動させるときの移動順序を複数仮定して、更に、それぞれ仮定した移動順序において前記複数のサブデータを移動させるときの移動順序を複数仮定して、前記複数のサブデータの中のあるサブデータに対して、それぞれ仮定したサブデータの移動順序に従って当該サブデータを移動させるときの順序コストを、当該サブデータのコストと、当該サブデータが属するデータを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定したサブデータの移動順序に対する総順序コストを算出し、前記複数仮定したサブデータの移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定するステップと、
   を有するデータ移動順序決定方法。
6. 複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
   前記データを用いて処理を実行する物理プラットフォームの負荷を管理する負荷管理手段、
   前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するデータ分類手段、及び
   前記複数のデータを移動させるときの移動順序を複数仮定して、前記複数のデータの中のあるデータに対して、それぞれ仮定した移動順序に従って当該データを移動させるときの順序コストを、当該データ内の未移動のサブデータのコストと、当該データを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定した移動順序に対する総順序コストを算出し、前記複数仮定した移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定する移動順序決定手段、
   として機能させるプログラム。
7. 複数のサブデータから構成される複数のデータを移動させるときの移動順序を決定するデータ移動順序決定装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
   前記データを用いて処理を実行する物理プラットフォームの負荷を管理する負荷管理手段、
   前記サブデータを、複数のデータで共通する共通データと、データ固有の固有データとに分類し、サブデータのデータ量に基づき共通データ及び固有データのコストを算出するデータ分類手段、及び
   前記複数のデータを移動させるときの移動順序を複数仮定して、更に、それぞれ仮定した移動順序において前記複数のサブデータを移動させるときの移動順序を複数仮定して、前記複数のサブデータの中のあるサブデータに対して、それぞれ仮定したサブデータの移動順序に従って当該サブデータを移動させるときの順序コストを、当該サブデータのコストと、当該サブデータが属するデータを含む未移動のデータに対応する物理プラットフォームの負荷とに基づいて算出し、当該算出した順序コストから、当該仮定したサブデータの移動順序に対する総順序コストを算出し、前記複数仮定したサブデータの移動順序に対する総順序コストの中で最も総順序コストが小さくなるような、共通データと固有データの移動順序を決定する移動順序決定手段、
   として機能させるプログラム。

Images