JP5750714B2 - 計算機システム、仮想サーバ配置方法及び配置制御装置 - Google Patents

Description

本発明は、仮想サーバの配置の制御に関する。特に、仮想サーバにおけるネットワークの負荷を考慮して仮想サーバの配置を制御するシステム、方法及び装置に関する。

昨今、あらゆる種類のコンピュータ資源を提供するサービスとしてクラウドコンピューティングが提案されている。クラウドコンピューティングを用いることによって、ユーザにサービスを提供する各社が保有するコンピュータ資源を、異なる場所から各ユーザに提供することが可能となる。クラウドコンピューティングを導入することによって、スピード、価格等の点においてのメリットが挙げられる。

これらのクラウドコンピューティングにおける課題の一つに、低消費電力が挙げられる。以下クラウドコンピューティングを用いたサービスを、クラウドサービスと記載する。

多数のユーザにクラウドサービスを提供する場合、クラウドサービスを提供する各社は、個人情報を含む大量のデータを格納するためのデータセンタを無限に作り続けなくてはならない。

通信の信頼性の向上を図るために、アプリケーションが分散して処理され、またネットワークシステムとして、大部分のシステムは冗長化された構成であるため、データセンタの数の増大に伴って、消費電力が飛躍的に増大することが懸念される。

また、今後クラウドサービスの拡大に伴い、データセンタへとアクセスするユーザも飛躍的に増大し、それにつれトラヒック及び消費電力も飛躍的に増大することが予測される。

大規模なクラウドコンピューティングシステムにおいて、可用性を確保しつつ低消費電力システムを実現するためには、肥大化したクラウドコンピューティングシステムを効率よく縮退し、仮想サーバの配置を最適化する必要がある。具体的には、システムに含まれる管理サーバが、仮想サーバを他のデータセンタへと移動させるための通信経路を決定する必要がある。

このような課題を解決するためには、仮想サーバの再配置を行うための管理サーバは、最も信頼性の高いネットワークを経由して、最も信頼性の高いサーバに接続する経路を選択することが必要である。より具体的には、管理サーバは、仮想サーバを他のデータセンタへと移動させる場合に、仮想サーバに接続していたフローの通信帯域量を考慮し、移動経路に含まれるルータにおけるパケットの廃棄確率を推測する必要である。

なぜなら、移動経路上に輻輳が発生することによって帯域が逼迫しているルータが存在すると、仮想サーバに接続されるフローがルータを経由した場合に、パケットが大量に廃棄されるためである。

そのため、パケットが大量に廃棄されることを回避するために、ルータに流れているトラヒックをモニタリングし、現時点でのトラヒックの状況を把握する必要がある。またトラヒックの状況から各ルータにおいてパケットが廃棄される確率を推定するためのパラメータを定義する必要がある。

例えば、特許文献１には、Ｏｐｅｎ Ｆｌｏｗを用いてネットワークの状況を計測し、計測結果に基づいて、仮想サーバの配置を制御することが記載されている。

特開２０１１−８２７９９号公報

しかし、特許文献１では、リソースを最適に配分することによって仮想サーバの配置を制御することは記載されているが、仮想サーバに接続されたフローの通信帯域量は考慮されていない、すなわち、移動経路に含まれるルータにおけるパケットの廃棄確率を考慮したものではない。

特許文献１に記載の方法では、仮想サーバの配置の変更後のネットワークの通信効率が低い可能性がある。この場合、データの再送が発生するため省電力化を実現できず、また、ユーザが要求するＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）を満たすことができない。

本発明は、上記課題を解決するためになされた発明である。すなわち、移動経路に含まれるルータの通信状況を考慮して、大量パケットが廃棄されることを回避可能な経路を選択するシステム、方法及び装置を提供することである。

本発明の代表的な一例を示せば以下の通りである。すなわち、複数のサーバ、及び前記複数のサーバの各々で稼動する仮想計算機の配置を制御する管理計算機を備える計算機システムであって、前記仮想計算機は、複数のパケット転送装置を介して当該仮想計算機が稼動するサーバと接続されるクライアントに所定のサービスを提供し、前記管理計算機は、前記複数のパケット転送装置の各々から、当該パケット転送装置を通過するパケットのヘッダ情報に基づいて定義された複数のパケットの集合であるフロー毎に通信情報を取得し、前記複数のパケット転送装置の各々から受信した前記通信情報を解析し、前記解析の結果に基づいて、移動対象の前記仮想計算機を当該仮想計算機が現在稼働するサーバから他のサーバに移動させた場合の前記クライアントと前記他のサーバとを接続する通信経路毎の負荷を予測し、前記予測した負荷に基づいて前記移動対象の仮想計算機の移動に伴う移動先の通信経路の候補である候補経路を１以上特定し、前記候補経路に含まれる前記パケット転送装置を特定し、前記解析の結果に含まれる前記複数のパケット転送装置の各々の通信帯域の最大値である限界帯域、前記複数のパケット転送装置の各々を通過する１以上の前記フローによって現在使用されている帯域である合計帯域、前記複数のパケット転送装置の各々を通過するフロー毎の通信量の分布における第１の標準偏差、及び前記移動対象の仮想計算機の移動に伴って移動する前記フローの帯域である挿入帯域に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第１のパケット廃棄発生確率を算出し、前記第１のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする。

本発明によれば、パケット廃棄が発生する危険度であるパケット廃棄発生確率に基づいて候補経路から移動先の通信経路を選択できるため、より安全かつ適切な仮想計算機の配置を実現できる。

本発明の第１の実施形態における計算機システムの構成例を示す説明図である。 本発明の第１の実施形態におけるＡＦＭパケットのフォーマットを示す説明図である。 本発明の第１の実施形態におけるマイグレーション後の計算機システムの一例を示す説明図である。 本発明の第１の実施形態におけるＩＭＦの構成の一例を示すブロック図である。 本発明の第１の実施形態における統合管理サーバの構成の一例を示すブロック図である。 本発明の実施形態におけるルータのトラヒック状況の一例を示す説明図である。 本発明の実施形態におけるルータのトラヒック状況の一例を示す説明図である。 本実施形態におけるルータに流れるトラヒックの分布の一例を示す説明図である。 本実施形態におけるルータに流れるトラヒックの分布の一例を示す説明図である。 本発明の第１の実施形態における処理の流れを説明するシーケンス図である。 本発明の第１の実施形態におけるＩＭＦが実行する処理の詳細を説明するフローチャートである。 本発明の第１の実施形態における統合管理サーバが実行する処理の詳細を説明するフローチャートである。 本発明の第１の実施形態における負荷の予測処理を説明するフローチャートである。 本発明の第２の実施形態における挿入帯域のトラヒック分布の標準偏差を示す説明図である。

（第１の実施形態）
図１は、本発明の第１の実施形態における計算機システムの構成例を示す説明図である。

第１の実施形態における計算機システムは、クライアント１０１、ルータ１０２、ＩＭＦ（Ｉｎｔｅｇｒａｔｅｄ Ｍｉｎｉｎｇ ｏｆ Ｆｌｏｗ）１０７、統合管理サーバ１０８、及びデータセンタ１１０から構成される。なお、データセンタ１１０は、複数のサーバ１０５から構成される。

なお、クライアント１０１、ルータ１０２、ＩＭＦ（Ｉｎｔｅｇｒａｔｅｄ Ｍｉｎｉｎｇ ｏｆ Ｆｌｏｗ）１０７、統合管理サーバ１０８、及びデータセンタ１１０は、それぞれ、通信可能なように接続されている。

本実施形態では、統合管理サーバ１０８が、現状のトラヒック（通信量）の状況に基づいて今後のトラヒックの状況を予測し、仮想サーバ（ＶＭ１０６）の配置を制御する。そのため、統合管理サーバ１０８は、各ルータ１０２と各ＶＭ１０６とを接続する経路上に含まれるルータ１０２のトラヒックの状況を把握するために、所定の時間内にルータ１０２を経由したパケット量等の統計情報を取得することが必須となる。

そこで、本実施形態では、前述した統計情報を取得する技術としてＡＦＭ（Ａｇｇｒｅｇａｔｅｄ Ｆｌｏｗ Ｍｉｎｉｎｇ）を用いる。ＡＦＭは、大量のトラヒックの中から、ネットワークの正常な運用を妨げる異常フローや特徴的なフローを運用者が素早く見つけ出すための統計情報を提供する技術である。

統計情報を取得する別の技術としてＳＮＭＰ（Ｓｉｍｐｌｅ Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｔｏｃｏｌ）が知られている。しかし、ＳＮＭＰではＭＩＢ（Ｍａｎａｇｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｂａｓｅ）が使用されるため、管理者に統計情報が送信される場合、ＳＮＭＰとＭＩＢとの間の情報交換が低速であるためリアルタイムな統計情報を送信できない。またＳＮＭＰを用いて取得された統計情報は、ルータ１０２のキューの情報等であり、情報としては荒い情報が多い。すなわち、トラヒックの状況を把握するための情報が十分でない。

一方、ＡＦＭは、ＳＮＭＰとは違い、異常フローや特徴的なフローに関する統計情報を管理者へと送信することに特化したプロトコルであり、ＳＮＭＰのＭＩＢのようなデータベースが必要ない。また、ＡＦＭを適用した装置は、データベースをＲＡＭ上に格納し、ｈａｓｈ関数を用いて統計情報を検索し、高速な情報交換を行う。そのため、処理のオーバヘッドが少なく、大容量のトラヒックを取り扱うことが可能である。また、ＡＦＭでは、フロー毎の情報を取り扱うためにＳＮＭＰに比べて、より詳細な情報を取得することが可能である。

ここで、ＡＦＭにおいて用いられるＡＦＭパケットについて説明する。

図２は、本発明の第１の実施形態におけるＡＦＭパケットのフォーマットを示す説明図である。

一般的には、ＩＰヘッダやＴＣＰ／ＵＤＰヘッダに含まれるアイテムの内、５−ｔｕｐｌｅ（送信元ＩＰアドレス、宛先ＩＰアドレス、プロトコル、送信元ポート番号、宛先ポート番号）の値が一致しているパケットの集合をフローと定義する。

ＡＦＭでは、上記考え方を拡張し、任意のｎ−ｔｕｐｌｅが一致するパケットの集合を集約フローと定義し、当該集約フロー単位にパケット数及びバイト数等の統計情報が収集される。

集約フローの概念を導入することによって、例えばＤＤｏＳ攻撃やネットワークスキャンのような１対ｎホスト間を流れる通信を単一フローと見なして統計情報を取得できる。そのため、ネットワーク上を流れるトラヒックの振る舞いをより簡単に把握できる。以下では、集約フローを単にフローと記載する。

図２に示すように、ＡＦＭパケット２００は、フロー種別２０１、アイテム数２０２、ペイロード長２０３、パケット数２０４、バイト数２０５、計測時間２０６、取得時刻２０７等から構成される。なお、ＡＦＭパケット２００は、他の情報を含んでいてもよい。また、ＡＦＭパケット２００に含まれる各情報は、周知であるため説明を省略する。

本実施形態では、ＡＦＭ技術を適用したルータ１０２が、図２に示すようなＡＦＭパケットを生成してＩＭＦ１０７に送信する。

以下、本実施形態の計算機システムの構成について説明する。

クライアント１０１−１〜１０１−４は、ユーザが使用する計算機である。クライアント１０１−１〜１０１−４は、それぞれ、プロセッサ（図示省略）、メモリ（図示省略）及びネットワークインタフェース（図示省略）を備える。なお、クライアント１０１−１〜１０１−４は、（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の他の構成を備えてもよい。以下、クライアント１０１−１〜１０１−４を区別しない場合、クライアント１０１と記載する。

データセンタ１１０−１〜１１０−３は、複数の物理サーバから構成される。具体的には、データセンタ１１０−１はサーバ１０５−１〜１０５−３から構成され、データセンタ１１０−２はサーバ１０５−４〜１０５−６から構成され、データセンタ１１０−３はサーバ１０５−７〜１０５−９から構成される。以下、データセンタ１１０−１〜１１０−３を区別しない場合、データセンタ１１０と記載し、また、サーバ１０５−１〜１０５−９を区別しない場合、サーバ１０５と記載する。

なお、データセンタ１１０は、ネットワークスイッチ等の他の装置を含んでいてもよい。また、データセンタ１１０は、データセンタ１１０内のサーバ１０５を管理する管理サーバを備えていてもよい。

サーバ１０５は、プロセッサ（図示省略）、メモリ（図示省略）、記憶媒体（図示省略）及びネットワークインタフェース（図示省略）を備える。ここで、記憶媒体（図示省略）としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）が考えられる。なお、サーバ１０５は、外部のストレージ装置と接続される形態であってもよい。

また、サーバ１０５は、ＶＭ（仮想計算機）１０６を制御する仮想化制御部（図示省略）を備える。これによって、サーバ１０５上に、１以上のＶＭ１０６を稼動させることができる。本実施形態では、クライアント１０１と、所定のデータセンタ１１０に含まれるサーバ１０５とを接続し、接続されたサーバ１０５上にＶＭ１０６を稼動させることによって、ユーザにサービスを提供する。

図１に示す例では、クライアント１０１とサーバ１０５とは以下のような接続関係である。クライアント１０１−１はデータセンタ１１０−２のサーバ１０５−４と接続され、サーバ１０５−４上ではＶＭ１０６−２が稼動する。クライアント１０１−２はデータセンタ１１０−１のサーバ１０５−１と接続され、サーバ１０５−１上ではＶＭ１０６−１が稼動する。クライアント１０１−３はデータセンタ１１０−２のサーバ１０５−５と接続され、サーバ１０５−５上ではＶＭ１０６−３が稼動する。また、クライアント１０１−４はデータセンタ１１０−３のサーバ１０５−９と接続され、サーバ１０５−９上ではＶＭ１０６−４が稼動する。

ルータ１０２−１〜１０２−４は、装置間で送受信されるデータ（パケット）を中継する。ルータ１０２−１〜１０２−４は、それぞれ、プロセッサ（図示省略）及びメモリ（図示省略）を含むコントローラ（図示省略）、並びに、ネットワークインタフェース（図示省略）を備える。また、ネットワークインタフェース（図示省略）は、複数のポートを備える。以下、ルータ１０２−１〜ルータ１０２−４を区別しない場合、ルータ１０２と記載する。

本実施形態のルータ１０２は、ＡＦＭが適用された情報取得部１２０を備える。情報取得部１２０は、当該ルータ１０２を流れるフロー毎にトラヒックの状況を示す通信情報を取得し、取得された通信情報を含むＡＦＭパケットをＩＭＦ１０７に送信する。

具体的には、情報取得部１２０を備えるルータ１０２は、当該ルータ１０２が備える複数のポートをミラーリングし、ミラーリングされた情報を集約することによってＡＦＭパケットを生成するための通信情報を取得する。したがって、当該通信情報を取得する場合に、ルータ１０２を経由する通信には影響を与えることがない。また、ルータ１０２は、取得された通信情報に基づいてＡＦＭパケットに生成し、当該ＡＦＭパケットをＩＭＦ１０７に送信する。

図１に示す例では、ルータ１０２−４は、各クライアント１０１と各データセンタ１１０のルータ１０２−１〜１０２−３とを接続する。なお、ルータ１０２−４と各クライアント１０１との間及びルータ１０２−４と各ルータ１０２−１〜１０２−３との間は、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して接続される。また、各ルータ１０２−１〜１０２−３は、それぞれ、ルータ１０２−４と、データセンタ１１０−１〜１１０−３を構成するサーバ１０５とを接続する。なお、ルータ１０２とサーバ１０５との間は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して接続される。

なお、本実施形態は、ネットワークの接続形式に限定されない。

ＩＭＦ１０７は、各ルータ１０２から送信されるＡＦＭパケットを収集して、収集されたＡＦＭパケットを解析可能な所定の形式に加工し、ルータ１０２毎にトラヒック解析を行う。

具体的には、ＩＭＦ１０７は、各ルータを流れるフロー毎の通信帯域量を計測し、マイグレーションの対象であるＶＭ１０６に対応するフローのトラヒック（通信量）を計測する。ＩＭＦ１０７は、計測された通信帯域量に基づいて、クライアント１０１とマイグレーション先のサーバ１０５とを接続する経路に含まれるルータ１０２において限界帯域を超える可能性、すなわち、パケット廃棄が発生する危険度（可能性）を推定する。さらにＩＭＦ１０７は、推定の結果を統合管理サーバ１０８に送信する。本明細書では、ルータ１０２において限界帯域を超える可能性を示すパラメータを、パケット廃棄発生確率と定義する。

なお、ＩＭＦ１０７の詳細な構成については、図４を用いて後述する。

統合管理サーバ１０８は、システム全体を管理する。また、統合管理サーバ１０８は、ＩＭＦ１０７から送信された推定の結果に基づいて、ＶＭ１０６の配置を制御する。統合管理サーバ１０８の詳細な構成については、図５を用いて後述する。

なお、図１に示す例では、ＩＭＦ１０７及び統合管理サーバ１０８は１台だけであるが、複数台あってもよい。

図３は、本発明の第１の実施形態におけるマイグレーション後の計算機システムの一例を示す説明図である。

図３に示す例では、データセンタ１１０−３内で稼動していたＶＭ１０６−４がマイグレーションされた結果、データセンタ１１０−２のサーバ１０５−６に配置が変更される。

このとき、クライアント１０１−４とＶＭ１０６−４とを接続する通信経路におけるトラヒックは、ルータ１０２−４とルータ１０２−３とを接続する経路から、ルータ１０２−４とルータ１０２−２とを接続する経路に変更される。なお、マイグレーションによるＶＭ１０６の移動は、ユーザから意識せずに行われ、クライアント１０１とＶＭ１０６との接続は維持される。

図３に示す例では、クライアント１０１−４は、ルータ１０２−３を経由してデータセンタ１１０−３と接続される。統合管理サーバ１０８は、ＩＭＦ１０７から現在のトラヒックの状況のモニタリング結果を取得し、今後のトラヒックの状況の予測に基づいて移動先の通信経路を選択する。

しかし、移動先の通信経路を選択する場合に、選択可能な通信経路が複数存在する場合がある。図３に示す例では、ルータ１０２−１を経由してデータセンタ１１０−１に接続する通信経路、ルータ１０２−２を経由してデータセンタ１１０−２に接続する通信経路が存在する。

ここで、ルータ１０２−１では、回線帯域が「２００Ｍｂｉｔ／ｓ」分使用され、パケット廃棄率が「０．３」であり、ルータ１０２−２では、回線帯域が「１５０Ｍｂｉｔ／ｓ」分使用され、パケット廃棄率が「０．４」とする。なお、パケット廃棄率とは、送信されたパケットに対して実際にパケットが廃棄された比率を表す値である。

統合管理サーバ１０８がトラヒックの予測を行った結果、何れの通信経路でもＶＭ１０６を移動させることに支障がないという予測結果が得られたとする。この場合、統合管理サーバ１０８が、安直にルータ１０２−１を経由する通信経路又はルータ１０２−２を経由する通信経路を選択し、フローを移動させると、移動させた通信経路に含まれるルータ１０２において急激なパケット廃棄が発生する可能性がある。

そのため、ルータ１０２−１を経由する通信経路及びルータ１０２−２を経由する通信経路に移動させるフローの通信帯域を考慮して、ルータ１０２−１及びルータ１０２−２のどちらのルータ１０２がパケットの廃棄が多く発生するかを推測する必要がある。

そこで、本実施形態のＩＭＦ１０７は、ＡＦＭパケットの解析結果に基づいて各ルータ１０２におけるパケット廃棄発生確率を算出し、統合管理サーバ１０８がパケット廃棄発生確率に基づいて、通信経路を選択する。これによって、トラヒックの状況だけでなく、パケットの廃棄量をも考慮したＶＭ１０６の再配置が可能となる。

図４は、本発明の第１の実施形態におけるＩＭＦ１０７の構成の一例を示すブロック図である。

ＩＭＦ１０７は、プロセッサ４０１、メモリ４０２及びネットワークインタフェース４０３を備える。

プロセッサ４０１は、メモリ４０２に格納されたプログラムを実行する。プロセッサ４０１がプログラムを実行することによってＩＭＦ１０７が有する機能を実現できる。

ネットワークインタフェース４０３は、ネットワークを介して外部の装置と接続するためのインタフェースである。

メモリ４０２は、プロセッサ４０１によって実行されるプログラム及び当該プログラムの実行に必要な情報を格納する。具体的には、メモリ４０２は、ＡＦＭ解析部４１１、蓄積部４１２、ポテンシー算出部４１３、アラート作成部４１４及びアラートメッセージ送信部４１５を格納する。

ＡＦＭ解析部４１１は、ネットワークインタフェース４０３において受信したＡＦＭパケットを解析する。蓄積部４１２は、ＡＦＭパケットを蓄積する。なお、蓄積部４１２は、ＡＦＭパケットの内容、及びＡＦＭパケットの解析結果などを格納するデータベースを保持する。ポテンシー算出部４１３は、蓄積されたＡＦＭパケット及び解析結果に基づいて、限界帯域を超える確率、すなわち、パケット廃棄発生確率を算出する。なお、当該確率は、移動対象のＶＭ１０６に対応するフローの移動によって発生する通信帯域（挿入帯域）を考慮されたものである。以下、移動対象のＶＭ１０６に対応するフローを対象フローとも記載する。

アラート作成部４１４は、ＡＦＭパケットの解析結果及びパケット廃棄発生確率を含むパケット（アラートメッセージ）を生成する。アラートメッセージ送信部４１５は、アラート作成部４１４によって生成されたアラートメッセージを統合管理サーバ１０８に送信する。

なお、本実施形態では、ＡＦＭ解析部４１１、蓄積部４１２、ポテンシー算出部４１３、アラート作成部４１４及びアラートメッセージ送信部４１５をプログラムとして実現しているが本発明はこれに限定されない。例えば、専用のハードウェアを用いて各構成を実現してもよい。

また、ＡＦＭ解析部４１１、蓄積部４１２、ポテンシー算出部４１３、アラート作成部４１４及びアラートメッセージ送信部４１５のうち、２以上の構成部を一つのプログラムとして実装する形態であってもよい。

図５は、本発明の第１の実施形態における統合管理サーバ１０８の構成の一例を示すブロック図である。

統合管理サーバ１０８は、プロセッサ５０１、メモリ５０２及びネットワークインタフェース５０３を備える。

プロセッサ５０１は、メモリ５０２に格納されたプログラムを実行する。プロセッサ５０１がプログラムを実行することによって統合管理サーバ１０８が有する機能を実現できる。

ネットワークインタフェース５０３は、ネットワークを介して外部の装置と接続するためのインタフェースである。

メモリ５０２は、プロセッサ５０１によって実行されるプログラム及び当該プログラムの実行に必要な情報を格納する。具体的には、メモリ５０２は、アラート解析部５１１、負荷予測部５１２、仮想サーバ配置決定部５１３、設定パラメータ決定部５１４及び設定パラメータ送信部５１５を格納する。

アラート解析部５１１は、ＩＭＦ１０７から受信したアラートメッセージを解析し、解析結果を負荷予測部５１２に出力する。負荷予測部５１２は、フロー毎の通信帯域量に基づいて、回線の負荷を予測する。負荷予測部５１２は、負荷の予測の結果を負荷予測情報として仮想サーバ配置決定部５１３に出力する。仮想サーバ配置決定部５１３は、パケット廃棄発生確率及び負荷予測情報に基づいて、ＶＭ１０６の移動先となるサーバ１０５を決定する。

設定パラメータ決定部５１４は、ＶＭ１０６を移動させるために必要なパラメータを決定する。設定パラメータ送信部５１５は、決定されたパラメータが含まれるパケットを生成し、移動先となるサーバ１０５に当該パケットを送信する。

なお、本実施形態では、アラート解析部５１１、負荷予測部５１２、仮想サーバ配置決定部５１３、設定パラメータ決定部５１４及び設定パラメータ送信部５１５をプログラムとして実現しているが本発明はこれに限定されない。例えば、専用のハードウェアを用いて各構成を実現してもよい。

また、アラート解析部５１１、負荷予測部５１２、仮想サーバ配置決定部５１３、設定パラメータ決定部５１４及び設定パラメータ送信部５１５のうち、２以上の構成部を一つのプログラムとして実装する形態であってもよい。

次に、トラヒック状況について説明する。

図６Ａ及び図６Ｂは、本発明の実施形態におけるルータ１０２−１、１０２−２のトラヒック状況の一例を示す説明図である。

なお、以下では、ルータ１０２−１におけるパケット廃棄率が「０．３」、ルータ１０２−２におけるパケット廃棄率が「０．４」であるものとする。ルータ１０２−１及びルータ１０２−２が接続する回線（通信経路）の限界帯域が「３００Ｍｂｉｔ／ｓ」、ＶＭ１０６の移動によって発生する通信帯域（挿入帯域）が「５０Ｍｂｉｔ／ｓ」であるものとする。また、ルータ１０２−１とルータ１０２−４とを接続する回線の使用帯域が「２００Ｍｂｉｔ／ｓ」、ルータ１０２−２とルータ１０２−４とを接続する回線の使用帯域が「１５０Ｍｂｉｔ／ｓ」であるものとする。

この場合、ルータ１０２−１とデータセンタ１１０−１とを接続する回線（通信経路）の使用帯域は「１４０Ｍｂｉｔ／ｓ」となる。また、ルータ１０２−２とデータセンタ１１０−２とを接続する回線（通信経路）の使用帯域は「９０Ｍｂｉｔ／ｓ」となる。

ＶＭ１０６−４を移動させる場合、ルータ１０２−１を経由する経路及びルータ１０２−２を経由する通信経路のどちらも選択が可能であるとすると、ＶＭ１０６−４を移動させることによって発生する通信帯域（挿入帯域）をどちらのルータ１０２に移動させるべきかの判定が難しい。

例えば、限界帯域のみに基づいて経路を判定する場合、ルータ１０２−１における利用可能な回線帯域は「１００Ｍｂｉｔ／ｓ」であり、ルータ１０２−２における利用可能な回線帯域は「１５０Ｍｂｉｔ／ｓ」あるため、利用可能な回線帯域が多いルータ１０２−２を経由する通信経路が選択される。

一方、パケット廃棄率に基づいて通信経路を判定する場合、ルータ１０２−１の方がルータ１０２−２よりパケット廃棄率が低いため、ルータ１０２−１を経由する通信経路が選択される。

前述のように用いられるパラメータによって、選択される通信経路が変わるため、統一した評価基準が必要である。そこで、本実施形態では、ＡＦＭパケットから取得される情報に基づいて、より詳細な回線帯域におけるトラヒック状況の変化を示す値を用いて通信経路の選択が行われる。すなわち、パケット廃棄発生確率を用いることに特徴がある。

ここで、パケット廃棄発生確率の概念について説明する。

図７Ａ及び図７Ｂは、本実施形態におけるルータ１０２に流れるトラヒックの分布の一例を示す説明図である。図７Ａはルータ１０２−１に流れるトラヒックの分布を表し、図７Ｂはルータ１０２−２に流れるトラヒックの分布を表す。

なお、横軸は回線を流れている通信帯域量を表し、縦軸は通信帯域量に対する確率密度分布を表すものとする。ここでは、図７Ａ及び図７Ｂに示すような分布をトラヒック分布記載する。

図７Ａ及び図７Ｂにおいて、点線のグラフは、現在のトラヒックの分布を表し、実線のグラフは、挿入帯域を追加した場合のトラヒックの分布を表す。

図７Ａ及び図７Ｂに示すように、回線（通信経路）における帯域の使用量は一定ではなく、時々刻々と変動している。したがって、回線（通信経路）における帯域の使用量の変動の特性をも考慮する必要がある。ＡＦＭを適用したルータ１０２は、ＡＦＭパケットからトラヒック分布における標準偏差を取得することができる。そこで、本実施形態では、回線（通信経路）における帯域の使用量の変動の特性を示す情報としては、トラヒック分布における標準偏差を用いる。

図７Ａに示すように、ルータ１０２−１におけるトラヒック分布は、帯域の平均値が「２００Ｍ」である基準分布である。また、図７Ｂに示すように、ルータ１０２−２のトラヒック分布は、帯域の平均値が「１５０Ｍ」であり、分散が大きい分布である。

フローの移動前は、トラヒック分布は点線で示したグラフであり、ルータ１０２−１よりルータ１０２−２の方が回線限界を超える確率密度が高い。つまり、ＶＭ１０６の移動前は、ルータ１０２−２の方がルータ１０２−１より限界帯域を超える確率（パケット廃棄発生確率）が大きいことを示す。

しかし、フローを移動させた場合、トラヒック分布は実線で示したグラフであり、ルータ１０２−２よりルータ１０２−１の方が回線限界を超える確率密度が高い。

すなわち、ルータ１０２−１を経由するようにフローを移動させるとパケット廃棄が急激に発生する可能性があることを示す。一方、ルータ１０２−２を経由するようにフローを移動させた場合、パケットの廃棄量はほとんど変化しない。

図７Ａ及び図７Ｂに示すように、トラヒック分布における標準偏差、すなわち、トラヒック分布の広がり具合を示す値を考慮することによって、パケットの廃棄量の増加を予測するためのパラメータ（パケット廃棄発生確率）を定義することができる。

ここで、パケット廃棄発生確率を下式（１）に示すように定義する。ここでσはトラヒック分布における標準偏差である。

本実施形態では、式（１）を用いて、ＶＭ１０６の移動後のパケット廃棄発生確率を算出する。

合計帯域及び挿入帯域は、実際に流れている通信量の値を表す。一方、σは、各フローにおける通信量の変動幅を表す値である。パケット廃棄発生確率は、フローにおける通信量の変動を考慮したパラメータであることが分かる。

図８は、本発明の第１の実施形態における処理の流れを説明するシーケンス図である。

統合管理サーバ１０８は、ルータ毎のモニタリング結果をＩＭＦ１０７に問い合わせる（ステップＳ８０１）。なお、統合管理サーバ１０８は、クライアント１０１からＶＭ１０６の移動要求を受け付けた場合等に処理を開始するものとする。ここで、移動要求には、少なくとも、処理の対象となるクライアント１０１、及び移動対象のＶＭ１０６の識別情報が含まれる。

なお、統合管理サーバ１０８は、周期的に、処理を実行してもよい。

ＩＭＦ１０７は、統合管理サーバ１０８からの問い合わせを受け付けると、各ルータ１０２からＡＦＭパケットを取得するために、ＡＦＭパケットの送信要求を送信する（ステップＳ８０２）。なお、ルータ１０２は周期的にＡＦＭパケットをＩＭＦ１０７に送信してもよい。

各ルータ１０２は、ＡＦＭパケットの送信要求を受信すると、ＡＦＭパケットを生成し、生成されたＡＦＭパケットをＩＭＦ１０７に送信する（ステップＳ８０３）。

ＩＭＦ１０７は、受信したＡＦＭパケットを解析することによって、ルータ１０２毎のトラヒックの状況をモニタリングする（ステップＳ８０４）。さらに、ＩＭＦ１０７は、ＡＦＭパケットに含まれる通信情報を、データベースに登録する。その後、ＩＭＦ１０７は、ルータ１０２毎のモニタリング結果を応答する（ステップＳ８０５）。

統合管理サーバ１０８は、取得されたモニタリング結果に基づいて各データセンタ１１０の今後の通信帯域量を予測し、当該予測の結果に基づいて移動先の通信経路（データセンタ１１０）の候補を検索する（ステップＳ８０６）。以下、移動先の通信経路の候補を候補経路とも記載する。

統合管理サーバ１０８は、検索された候補経路に含まれるルータ１０２のパケット廃棄発生確率をＩＭＦ１０７に問い合わせる（ステップＳ８０７）。以下、候補経路に含まれるルータ１０２を対象ルータ１０２とも記載する。

なお、パケット廃棄発生確率の問い合わせには、少なくとも、移動前の通信経路に含まれるルータ１０２の識別情報及び対象ルータ１０２の識別情報が含まれる。

ＩＭＦ１０７は、対象ルータ１０２毎にパケット廃棄発生確率を算出し（ステップＳ８０８）、算出されたパケット廃棄発生確率を応答する（ステップＳ８０９）。

統合管理サーバ１０８は、パケット廃棄発生確率に基づいて移動先の経路を決定する（ステップＳ８１０）。その後、統合管理サーバ１０８は、移動元及び移動先のサーバ１０５にＶＭ１０６の移動を指示する（ステップＳ８１１）。

次に、ＩＭＦ１０７及び統合管理サーバ１０８それぞれの処理の詳細について説明する。

図９は、本発明の第１の実施形態におけるＩＭＦ１０７が実行する処理の詳細を説明するフローチャートである。

ＩＭＦ１０７は、統合管理サーバ１０８からモニタリング結果の問い合わせを受け付けるとルータ１０２からＡＦＭパケットを取得し、当該ＡＦＭパケットを解析することによって、各ルータ１０２のトラヒックの状況をモニタリングする（ステップＳ９０１）。これによって、ＩＭＦ１０７は、各ルータ１０２におけるフロー毎に通信量等の必要な情報を取得することができる。

ＩＭＦ１０７は、モニタリング結果及び受信したＡＦＭパケットをデータベースに登録する（ステップＳ９０２）。また、ＩＭＦ１０７は、モニタリング結果を含むアラートメッセージを生成し、当該アラートメッセージを統合管理サーバ１０８に送信する（ステップＳ９０３）。なお、モニタリング結果には、各ルータ１０２におけるフロー毎のトラヒック分布、各ルータ１０２におけるフロー毎の標準偏差等が含まれる。

ＩＭＦ１０７は、統合管理サーバ１０８からパケット廃棄発生確率の問い合わせを受けつけると、当該問い合わせに含まれる対象ルータ１０２の識別情報に基づいて対象ルータ１０２を特定する（ステップＳ９０４）。また、ＩＭＦ１０７は、当該問い合わせに含まれる移動前の経路に含まれるルータ１０２の識別情報に基づいて、対象フローにおける帯域（挿入帯域）を算出する（ステップＳ９０５）。

ＩＭＦ１０７は、対象ルータ１０２に対応するデータをデータベースから読み出し、読み出されたデータと算出された挿入帯域とを式（１）に代入することによってパケット廃棄発生確率を算出する（ステップＳ９０６）。

ＩＭＦ１０７は、算出されたパケット廃棄発生確率を含むアラートメッセージを生成し、当該アラートメッセージを統合管理サーバ１０８に送信し、処理を終了する（ステップＳ９０７）。

図１０は、本発明の第１の実施形態における統合管理サーバ１０８が実行する処理の詳細を説明するフローチャートである。

統合管理サーバ１０８は、ＩＭＦ１０７から取得したモニタリング結果に基づいて、クライアント１０１からデータセンタ１１０を接続する各通信経路におけるフローのトラヒックについて分析し、各データセンタ１１０における負荷、すなわち、各データセンタ１１０の通信帯域量を予測する（ステップＳ１００１）。なお、負荷の予測処理については図１１を用いて後述する。

負荷の予測処理では、各ルータ１０２を流れるフローの統計情報に基づいた処理が実行される。すなわち、フローの変動の規則性（周期性）に基づいて通信経路が選択される。しかし、急激なフローの変動を考慮したものでないため必ずしも適切な経路とは限らない。そこで、本実施形態では、急激なフローの変動を考慮するためのパラメータとしてパケット廃棄発生確率を用いる点に特徴がある。

統合管理サーバ１０８は、負荷の予測結果に基づいて候補経路を選択する（ステップＳ１００２）。なお、各データセンタ１１０における通信帯域量が同程度になると予測される場合、複数の候補経路が選択される。

統合管理サーバ１０８は、候補経路が複数選択されたか否かを判定する（ステップＳ１００３）。すなわち、候補経路が二つ以上あるか否かが判定される。

候補経路が複数ない、すなわち、候補経路が一つであると判定された場合、統合管理サーバ１０８は、当該候補経路を移動先の通信経路に決定し、決定された通信経路にフローを移動させるための設定パラメータを決定し（ステップＳ１００４）、ステップＳ１００８に進む。設定パラメータには、通信経路上に含まれるルータ１０２のＩＰアドレス、ＶＭ１０６のＩＰアドレス、及びＶＭ１０６の設定値等が含まれる。

候補経路が複数あると判定された場合、統合管理サーバ１０８は、候補経路に含まれるルータ１０２のパケット廃棄発生確率をＩＭＦ１０７に問い合わせる（ステップＳ１００５）。なお、当該問い合わせには、少なくとも候補経路に含まれるルータ１０２の識別情報が含まれる。

統合管理サーバ１０８は、ＩＭＦ１０７からパケット廃棄発生確率を取得すると、当該パケット廃棄発生確率に基づいて、候補経路から最適な経路を決定する（ステップＳ１００６）。ここで、候補経路の中から最適経路を検索する方法としては以下のようなものが考えられる。

データセンタ１１０と外部のネットワークとを接続するルータ１０２（例えば、ルータ１０２−１、１０２−２、１０２−３）のみを対象とする場合、統合管理サーバ１０８は、パケット廃棄発生確率が最も小さいルータ１０２を経由する通信経路を選択する。

また、通信経路に含まれる全てのルータ１０２を考慮する場合、各ルータ１０２のパケット廃棄発生確率の合計値、又は平均値等が最も小さい通信経路を選択する。

また、統合管理サーバ１０８は、ルータ１０２毎に、限界帯域に対する使用帯域の比を算出し、通信経路毎に当該比とパケット廃棄発生確率とを乗算した値の合計値を算出する。統合管理サーバ１０８は、当該合計値が最小の通信経路を選択する。

なお、前述した通信経路の選択方法は一例であって、パケット廃棄発生確率を用いた方法であればどのような方法でもよい。

次に、統合管理サーバ１０８は、決定された通信経路にＶＭ１０６を移動させるための設定パラメータを設定し（ステップＳ１００７）、ステップＳ１００８に進む。

統合管理サーバ１０８は、ルータ１０２及びサーバ１０５に設定パラメータを送信することによって、ＶＭ１０６と、当該ＶＭ１０６に対応する対象フローとを移動し、処理を終了する（ステップＳ１００８）。なお、ＶＭ１０６のマイグレーションについては公知の技術であるため説明を省略する。

図１１は、本発明の第１の実施形態における負荷の予測処理を説明するフローチャートである。

統合管理サーバ１０８は、ＩＭＦ１０７から受信したアラートメッセージを解析して、必要なデータを抽出する（ステップＳ１１０１）。次に、統合管理サーバ１０８は、移動先の候補となるデータセンタ１１０を接続する通信経路に含まれるルータ１０２毎に抽出されたデータを振り分ける（ステップＳ１１０２）。

統合管理サーバ１０８は、振り分けられたデータ毎にＡＲＩＭＡ（Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ Ｉｎｔｅｇｒａｔｅｄ Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ）モデル等を用いて、今後のトラヒック状況を予測する（ステップＳ１１０３）。ＡＲＩＭＡモデルは、時系列データにおいて未来の値を予測するモデルである。

ここで、図６及び図６Ｂを用いて第１の実施形態の処理を説明する。なお、ルータ１０２−１の回線上を流れるトラヒック分布の標準偏差σを「５０Ｍｂｉｔ／ｓ」、ルータ１０２−２の回線上を流れるトラヒック分布の標準偏差σを「９０Ｍｂｉｔ／ｓ」とする。

統合管理サーバ１０８は、ステップＳ１００２において、ルータ１０２−１を経由してデータセンタ１１０−１に接続する通信経路、及びルータ１０２−２を経由してデータセンタ１１０−２に接続する通信経路ともに候補経路として選択したものとする。

ＩＭＦ１０７は、ステップＳ９０４において、統合管理サーバ１０８からパケット廃棄発生確率の問い合わせを受けると、ルータ１０２−１及びルータ１０２−２を対象ルータ１０２として特定する。なお、ルータ１０２−４は、それぞれの通信経路で共通であるためここでは考慮しないものとする。ただし、ルータ１０２−４を対象ルータ１０２としてもよい。

ＩＭＦ１０７は、ステップＳ９０５において、ルータ１０２−１及びルータ１０２−２のそれぞれのパケット廃棄発生確率を算出する。

具体的には、ルータ１０２−１については、合計帯域が「２００Ｍｂｉｔ／ｓ」、挿入帯域が「５０Ｍｂｉｔ／ｓ」、限界帯域が「３００Ｍｂｉｔ／ｓ」及び標準偏差σが「５０Ｍｂｉｔ／ｓ」であり、各値を式（１）に代入するとルータ１０２−１のパケット廃棄発生確率は「０．６０」と算出される。また、ルータ１０２−２については、合計帯域が「１５０Ｍｂｉｔ／ｓ」、挿入帯域が「５０Ｍｂｉｔ／ｓ」、限界帯域が「３００Ｍｂｉｔ／ｓ」及び標準偏差σが「９０Ｍｂｉｔ／ｓ」であり、各値を式（１）に代入するとルータ１０２−２のパケット廃棄発生確率は「０．５３」と算出される。

したがって、統合管理サーバ１０８は、ステップＳ１００６において、ルータ１０２−２を経由する通信経路、すなわち、データセンタ１１０−２と接続する通信経路を移動先の通信経路に決定する。

前述のようにパケット廃棄発生確率を用いることによって、パケット廃棄が発生する確率を推測することができる。

なお、第１の実施形態では、ＩＭＦ１０７と統合管理サーバ１０８とを別々の計算機を用いて実現したが本発明はこれに限定されない。例えば、ＩＭＦ１０７の機能及び統合管理サーバ１０８が備える機能をそれぞれ備える一つの計算機であってもよい。

なお、第１の実施形態では、実際にＶＭ１０６を移動させる場合について説明したが本発明はこれに限定されない。例えば、ＩＭＦ１０７が周期的に各ＶＭ１０６を接続する通信経路をモニタリングして、統合管理サーバ１０８がモニタリング結果に基づいて通信経路の変更を提示するような形態であってもよい。

また、式（１）の挿入帯域の値を「０」とすれば、各ルータ１０２の通信品質を計測する指標として用いることができる。

また、第１の実施形態では、ＶＭ１０６の移動時における通信経路の選択について説明したが、本発明はこれに限定されず、フローの移動時又はアプリケーションの移動時における通信経路の選択にも適用することができる。

第１の実施形態では、使用帯域及びパケット廃棄率だけでは予測し得ないトラヒックの挙動を測るパラメータとしてパケット廃棄発生確率を導入した。パケット廃棄発生確率は、式（１）に示すようトラヒック分布の広がりを表す標準偏差を用いて算出される。これによって、広がりをもつトラヒック分布が挿入帯域分移動した場合に、どのぐらいのパケット廃棄が発生するか、すなわち、将来のパケット廃棄率の上昇を予測できる。

パケット廃棄発生確率は、回線の品質を示すパラメータであり、当該確率が最も低い通信経路を移動先の通信経路として選択することによって、より安全かつ適切なＶＭ１０６の移動を実現することができる。

（第２の実施形態）
本発明の第２の実施形態について説明する。なお、第１の実施形態との差異を中心に説明する。

第２の実施形態の計算機システムの構成、ＩＭＦ１０７及び統合管理サーバ１０８の構成は第１の実施形態と同一であるため説明を省略する。

第２の実施形態では、パケット廃棄発生確率の算出方法が異なる。具体的には、下式（２）を用いて、パケット廃棄発生確率が算出される。ここで、σ１は、挿入帯域、すなわち、移動前のＶＭ１０６と接続された通信経路におけるフローのトラヒック分布における標準偏差を表す。

このとき、ＩＭＦ１０７は、ステップＳ９０５において、移動対象のフローにおけるトラヒック分布を求め、さらに、移動対象のフローにおける標準偏差を算出する。その他の処理は、第１の実施形態と同一であるため説明を省略する。

式（２）では、挿入帯域のトラヒック分布の標準偏差をも考慮した算出式となっている。すなわち、図１２に示すように、挿入帯域のトラヒック分布の標準偏差σ１を考慮することによって、より正確なパケット廃棄が発生する危険度を予測することができる。

（第３の実施形態）
本発明の第３の実施形態について説明する。なお、第１の実施形態との差異を中心に説明する。

第３の実施形態の計算機システムの構成、ＩＭＦ１０７及び統合管理サーバ１０８の構成は第１の実施形態と同一であるため説明を省略する。

第３の実施形態では、ステップＳ１００６において、式（１）又は式（２）を用いても適切な通信経路が決定できない場合に、さらに、下式（３）を用いた値に基づいて、通信経路を決定する点に特徴がある。

ここで、Ｄｒｏｐ Ｒａｔｉｏはパケット廃棄率を表す。パケット廃棄率は、ルータ１０２から取得することが可能な値である。

式（１）又は式（２）を用いても適切な経路が決定できない場合としては、式（１）又は式（２）を用いて算出された値の差が所定の閾値以下である場合等が考えられる。

例えば、ルータ１０２−１において、合計帯域が「２００Ｍｂｉｔ／ｓ」、挿入帯域が「５０Ｍｂｉｔ／ｓ」、限界帯域を「３００Ｍｂｉｔ／ｓ」、パケット廃棄率が「０．３」を、式（３）に代入すると下式（４）に示すように「１．１９」と算出される。

また、ルータ１０２−２において、合計帯域が「１５０Ｍｂｉｔ／ｓ」、挿入帯域が「５０Ｍｂｉｔ／ｓ」、限界帯域が「３００Ｍｂｉｔ／ｓ」、パケット廃棄率が「０．４」を、式（３）に代入すると下式（５）に示すように「１．１１」と算出される。

第３の実施形態によれば、式（３）を用いることによって、より安全かつ適切な通信経路を選択できる。なお、式（３）の値は単位がなく、値の大小のみでパケット廃棄が発生する危険度を評価するパラメータである。すなわち、式（３）に示す値は、パケット廃棄の発生の危険度を相対的に判定するためのパラメータである。

（第４の実施形態）
本発明の第４の実施形態について説明する。なお、第１の実施形態との差異を中心に説明する。

第４の実施形態の計算機システムの構成、ＩＭＦ１０７及び統合管理サーバ１０８の構成は第１の実施形態と同一であるため説明を省略する。

第４の実施形態では、ステップＳ１００６において、式（１）、式（２）又は式（３）を用いても適切な経路が決定できない場合に、さらに、下式（６）を用いた値に基づいて、経路を決定する点に特徴がある。

式（６）では、式（３）では考慮されていない挿入帯域の標準偏差を考慮した式となっている点が異なる。

第４の実施形態によれば、式（６）を用いることによって、より安全かつ適切な通信経路を選択できる。

（第５の実施形態）
本発明の第５の実施形態について説明する。なお、第１の実施形態との差異を中心に説明する。

第５の実施形態の計算機システムの構成、ＩＭＦ１０７及び統合管理サーバ１０８の構成は第１の実施形態と同一であるため説明を省略する。

第５の実施形態では、ステップＳ１００６において、式（１）、式（２）、式（３）又は式（６）を用いても適切な経路が決定できない場合に、さらに、下式（７）を用いて算出した値に基づいて、経路を決定する点に特徴がある。

例えば、ルータ１０２−１において回線上を流れるトラヒックの平均帯域を「２００Ｍｂｉｔ／ｓ」、挿入帯域が「５０Ｍｂｉｔ／ｓ」、限界帯域が「３００Ｍｂｉｔ／ｓ」、遅延が「１００ｍｓ」を式（７）に代入すると式（８）に示すように「７５」と算出される。

ルータ１０２−２において回線上を流れるトラヒックの平均帯域が「１５０Ｍｂｉｔ／ｓ」、挿入帯域が「５０Ｍｂｉｔ／ｓ」、限界帯域が「３００Ｍｂｉｔ／ｓ」、遅延が「９０ｍｓ」を式（７）に代入すると式（９）に示すように「６６．６」と算出される。

なお、式（７）に示す値は単位がなく、値の大小のみでパケット廃棄が発生する危険度を評価するパラメータである。すなわち、式（７）に示す値は、パケット廃棄の発生の危険度を相対的に判定するためのパラメータである。

第５の実施形態によれば、式（７）を用いることによって、より安全かつ適切な通信経路を選択できる。

（第６の実施形態）
本発明の第６の実施形態について説明する。なお、第１の実施形態との差異を中心に説明する。

第６の実施形態の計算機システムの構成、ＩＭＦ１０７及び統合管理サーバ１０８の構成は第１の実施形態と同一であるため説明を省略する。

第６の実施形態では、ステップＳ１００６において、式（１）、式（２）、式（３）、式（６）又は式（７）を用いても適切な経路が決定できない場合に、さらに、下式（１０）を用いて算出した値に基づいて、経路を決定する点に特徴がある。

なお、式（１０）に示す値は単位がなく、値の大小のみでパケット廃棄が発生する危険度を評価するパラメータである。すなわち、式（１０）に示す値は、パケット廃棄の発生の危険度を相対的に判定するためのパラメータである。

第６の実施形態によれば、式（１０）を用いることによって、より安全かつ適切な通信経路を選択できる。

なお、第１の実施形態に、第２の実施形態から第６の実施形態の各実施形態を２以上組み合わせた実施形態でもよい。

１０１ クライアント
１０２ ルータ
１０５ サーバ
１０６ ＶＭ（仮想計算機）
１０７ ＩＭＦ（Ｉｎｔｅｇｒａｔｅｄ Ｍｉｎｉｎｇ ｏｆ Ｆｌｏｗ）
１０８ 統合管理サーバ
１１０ データセンタ
１２０ 情報取得部
４１１ ＡＦＭ解析部
４１２ 蓄積部
４１３ ポテンシー算出部
４１４ アラート作成部
４１５ アラートメッセージ送信部
５１１ アラート解析部
５１２ 負荷予測部
５１３ 仮想サーバ配置決定部
５１４ 設定パラメータ決定部
５１５ 設定パラメータ送信部

Claims (13)

1. 複数のサーバ、及び前記複数のサーバの各々で稼動する仮想計算機の配置を制御する管理計算機を備える計算機システムであって、
   前記仮想計算機は、複数のパケット転送装置を介して当該仮想計算機が稼動するサーバと接続されるクライアントに所定のサービスを提供し、
   前記管理計算機は、
   前記複数のパケット転送装置の各々から、当該パケット転送装置を通過するパケットのヘッダ情報に基づいて定義された複数のパケットの集合であるフロー毎に通信情報を取得し、
   前記複数のパケット転送装置の各々から受信した前記通信情報を解析し、
   前記解析の結果に基づいて、移動対象の前記仮想計算機を当該仮想計算機が現在稼働するサーバから他のサーバに移動させた場合の前記クライアントと前記他のサーバとを接続する通信経路毎の負荷を予測し、前記予測した負荷に基づいて前記移動対象の仮想計算機の移動に伴う移動先の通信経路の候補である候補経路を１以上特定し、
   前記候補経路に含まれる前記パケット転送装置を特定し、
   前記解析の結果に含まれる前記複数のパケット転送装置の各々の通信帯域の最大値である限界帯域、前記複数のパケット転送装置の各々を通過する１以上の前記フローによって現在使用されている帯域である合計帯域、前記複数のパケット転送装置の各々を通過するフロー毎の通信量の分布における第１の標準偏差、及び前記移動対象の仮想計算機の移動に伴って移動する前記フローの帯域である挿入帯域に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第１のパケット廃棄発生確率を算出し、
   前記第１のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする計算機システム。
2. 前記解析の結果は、さらに、前記移動対象の仮想計算機の移動に伴って移動するフローの通信量の分布における第２の標準偏差を含み、
   前記管理計算機は、
   前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、前記第１の標準偏差、及び前記第２の標準偏差に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第２のパケット廃棄発生確率を算出し、
   前記第１のパケット廃棄発生確率及び前記第２のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項１に記載の計算機システム。
3. 前記解析の結果は、さらに、前記複数のパケット転送装置の各々のパケット廃棄率を含み、
   前記管理計算機は、
   前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、及び前記パケット廃棄率に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第３のパケット廃棄発生確率を算出し、
   前記第１のパケット廃棄発生確率及び前記第３のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項１に記載の計算機システム。
4. 前記解析の結果は、さらに、前記移動対象の仮想計算機の移動に伴って移動するフローにおける通信量の分布における第２の標準偏差、及び、前記複数のパケット転送装置の各々のパケット廃棄率を含み、
   前記管理計算機は、
   前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、前記第２の標準偏差及び前記パケット廃棄率に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第４のパケット廃棄発生確率を算出し、
   前記第１のパケット廃棄発生確率及び前記第４のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項１に記載の計算機システム。
5. 前記解析の結果は、さらに、前記複数のパケット転送装置の各々の遅延時間を含み、
   前記管理計算機は、
   前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、及び前記遅延時間に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第５のパケット廃棄発生確率を算出し、
   前記第１のパケット廃棄発生確率及び前記第５のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項１に記載の計算機システム。
6. 前記解析の結果は、さらに、前記移動対象の仮想計算機の移動に伴って移動するフローにおける通信量の分布における第２の標準偏差、及び、前記複数のパケット転送装置の各々の遅延時間を含み、
   前記管理計算機は、
   前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、前記第２の標準偏差及び前記遅延時間に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第６のパケット廃棄発生確率を算出し、
   前記第１のパケット廃棄発生確率及び前記第６のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項１に記載の計算機システム。
7. 複数のサーバ、及び前記複数のサーバの各々で稼動する仮想サーバの配置を制御する管理計算機を備える計算機システムにおける仮想サーバ配置方法であって、
   前記仮想サーバは、複数のパケット転送装置を介して当該仮想サーバが稼動するサーバと接続されるクライアントに所定のサービスを提供し、
   前記仮想サーバ配置方法は、
   前記複数のパケット転送装置の各々が、当該パケット転送装置を通過するパケットのヘッダ情報に基づいて定義された複数のパケットの集合であるフロー毎に通信情報を取得し、前記取得された通信情報を送信する第１のステップと、
   前記管理計算機が、前記複数のパケット転送装置の各々から受信した前記通信情報を解析する第２のステップと、
   前記管理計算機が、前記解析の結果に基づいて、移動対象の前記仮想サーバを当該仮想サーバが現在稼働するサーバから他のサーバに移動させた場合の前記クライアントと前記他のサーバとを接続する通信経路毎の負荷を予測し、前記予測した負荷に基づいて前記移動対象の仮想サーバの移動に伴う移動先の通信経路の候補となる候補経路を１以上特定する第３のステップと、
   前記管理計算機が、前記候補経路に含まれる前記パケット転送装置を特定する第４のステップと、
   前記管理計算機が、前記解析の結果に含まれる前記複数のパケット転送装置の各々の通信帯域の最大値である限界帯域、前記複数のパケット転送装置の各々を通過する１以上の前記フローによって現在使用されている帯域である合計帯域、前記複数のパケット転送装置の各々を通過するフロー毎の通信量の分布における第１の標準偏差、及び前記移動対象の仮想計算機の移動に伴って移動する前記フローの帯域である挿入帯域に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第１のパケット廃棄発生確率を算出する第５のステップと、
   前記管理計算機が、前記第１のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定する第６のステップと、
   を含むことを特徴とする仮想サーバ配置方法。
8. 前記解析の結果は、さらに、前記移動対象の仮想サーバの移動に伴って移動するフローの通信量の分布における第２の標準偏差を含み、
   前記第５のステップは、前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、前記第１の標準偏差、及び前記第２の標準偏差に基づいて、前記特定されたパケット転送装置にいて前記限界帯域を超える可能性を示すパラメータである第２のパケット廃棄発生確率を算出するステップを含み、
   前記第６のステップでは、前記第１のパケット廃棄発生確率及び前記第２のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項７に記載の仮想サーバ配置方法。
9. 前記解析の結果は、さらに、前記複数のパケット転送装置の各々のパケット廃棄率を含み、
   前記第５のステップは、前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、及び前記パケット廃棄率に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第３のパケット廃棄発生確率を算出するステップを含み、
   前記第６のステップでは、前記第１のパケット廃棄発生確率及び前記第３のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項７に記載の仮想サーバ配置方法。
10. 前記解析の結果は、さらに、前記移動対象の仮想サーバの移動に伴って移動するフローにおける通信量の分布における第２の標準偏差、及び、前記複数のパケット転送装置の各々のパケット廃棄率を含み、
    前記第５のステップは、前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、前記第２の標準偏差及び前記パケット廃棄率に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第４のパケット廃棄発生確率を算出するステップを含み、
    前記第６のステップでは、前記第１のパケット廃棄発生確率及び前記第４のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項７に記載の仮想サーバ配置方法。
11. 前記解析の結果は、さらに、前記複数のパケット転送装置の各々の遅延時間を含み、
    前記第５のステップは、前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、及び前記遅延時間に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第５のパケット廃棄発生確率を算出するステップを含み、
    前記第６のステップでは、前記第１のパケット廃棄発生確率及び前記第５のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項７に記載の仮想サーバ配置方法。
12. 前記解析の結果は、さらに、前記移動対象の仮想サーバの移動に伴って移動するフローにおける通信量の分布における第２の標準偏差、及び、前記複数のパケット転送装置の各々の遅延時間を含み、
    前記第５のステップは、前記解析の結果に含まれる前記限界帯域、前記合計帯域、前記挿入帯域、前記第２の標準偏差及び前記遅延時間に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータである第６のパケット廃棄発生確率を算出するステップを含み、
    前記第６のステップでは、前記第１のパケット廃棄発生確率及び前記第６のパケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定することを特徴とする請求項７に記載の仮想サーバ配置方法。
13. サーバ上で稼動する仮想計算機を用いて、複数のパケット転送装置を含むネットワークを介して当該仮想計算機が稼動するサーバと接続されるクライアントを利用するユーザにサービスを提供する計算機システムにおける配置制御装置であって、
    前記複数のパケット転送装置の各々から、当該パケット転送装置を通過するパケットのヘッダ情報に基づいて定義された複数のパケットの集合であるフロー毎に通信情報を取得する取得部と、
    前記通信情報を解析する解析部と、
    前記解析の結果に基づいて、移動対象の前記仮想計算機を当該仮想計算機が現在稼働するサーバから他のサーバに移動させた場合の前記クライアントと前記他のサーバとを接続する通信経路毎の負荷を予測し、前記予測した負荷に基づいて前記移動対象の仮想計算機の移動に伴う移動先の通信経路の候補である候補経路を１以上特定する負荷予測部と、
    前記候補経路に含まれる前記パケット転送装置を特定し、前記解析の結果に含まれる前記複数のパケット転送装置の各々の通信帯域の最大値である限界帯域、前記複数のパケット転送装置の各々を通過する１以上の前記フローによって現在使用されている帯域である合計帯域、前記複数のパケット転送装置の各々を通過するフロー毎の通信量の分布における標準偏差、及び前記移動対象の仮想計算機の移動に伴って移動する前記フローの帯域である挿入帯域に基づいて、前記特定されたパケット転送装置において前記限界帯域を超える可能性を示すパラメータであるパケット廃棄発生確率を算出する確率算出部と、
    前記パケット廃棄発生確率に基づいて、前記候補経路の中から前記移動先の通信経路を決定する配置決定部と、
    を備えることを特徴とする配置制御装置。

Images