JP6365306B2 - クラウド環境提供システム、サービス管理装置、経路制御方法及びプログラム - Google Patents

Description

［関連出願についての記載］
本発明は、日本国特許出願：特願２０１２−２５４９４５号（２０１２年１１月２１日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、クラウド環境提供システム、サービス管理装置、経路制御方法及びプログラムに関し、特に、ユーザにクラウド環境を提供するクラウド環境提供システム、サービス管理装置、経路制御方法及びプログラムに関する。

特許文献１に、あるネットワークに接続するホストマシン（物理サーバマシン）上で稼働中の仮想マシンが、異なるネットワークに接続するホストマシン上へマイグレーションする技術が公開されている。同文献記載の技術によれば、仮想マシンのマイグレーションが起動されたときに、個々のホストマシン上で稼働する仮想ルータ間に、トンネルが構築され、そのトンネルを活用して仮想マシンのデータが転送される。そして、マイグレーション完了後には、マイグレーション先のホスト上で稼働する仮想ルータが、隣接する外部のルータへ、経路表の更新を行う、とされている。

特許文献２には、あるクラウドにおいて実行されているサービスを、他のクラウドのリソースを利用して提供できるようにした構成が開示されている。

非特許文献１、２には、物理スイッチを集中制御するタイプのオープンフローというネットワークアーキテクチャが開示されている。オープンフローは、フロー単位で、きめ細かな制御をなしうるため、オープンフロースイッチで構成された物理ネットワークを、ＶＬＡＮ ＩＤなどでスライスし、複数の仮想ネットワークを提供することが可能となっている。また、オープンフローによれば、物理スイッチを、このような仮想ネットワーク上の仮想ノードとしてユーザに利用させることも可能となっている。

米国特許出願公開第２０１０／０２８７５４８号明細書 特開２０１１−１８６６３７号公報

Ｎｉｃｋ ＭｃＫｅｏｗｎほか７名、"ＯｐｅｎＦｌｏｗ： Ｅｎａｂｌｉｎｇ Ｉｎｎｏｖａｔｉｏｎ ｉｎ Ｃａｍｐｕｓ Ｎｅｔｗｏｒｋｓ"、［ｏｎｌｉｎｅ］、［平成２４（２０１２）年９月２５日検索］、インターネット〈URL:http://www.openflow.org/documents/openflow-wp-latest.pdf〉 "ＯｐｅｎＦｌｏｗ Ｓｗｉｔｃｈ Ｓｐｅｃｉｆｉｃａｔｉｏｎ" Ｖｅｒｓｉｏｎ １．１．０ Ｉｍｐｌｅｍｅｎｔｅｄ （Ｗｉｒｅ Ｐｒｏｔｏｃｏｌ ０ｘ０２）、［ｏｎｌｉｎｅ］、［平成２４（２０１２）年９月２５日検索］、インターネット〈URL:http://www.openflow.org/documents/openflow-spec-v1.1.0.pdf〉

以下の分析は、本発明によって与えられたものである。上記した特許文献１の第１の問題点は、ＶＭマイグレーションに伴う経路変更処理に、時間が掛かってしまう点である。その理由は、特許文献１の００４２段落に記載されているように、ＶＭが移動したことが、分散した既存ルータの自律的な経路表更新動作によって伝搬されるからである。このため、経路変更処理が完了するまで、少なくとも数分の時間を要してしまうと考えられる。

上記した特許文献１の第２の問題点は、パケットロスの発生がある点である。その理由は、前述した経路表の更新に時間が掛かってしまうため、古い経路情報でルーティングされたパケットは、ＶＭマイグレーション前のネットワークへルーティングされてしまう。ところが、宛先となるＶＭは、ＶＭマイグレーション済であるために、パケットロスとなってしまう。

この点、特許文献２にも、複数クラウドシステムをＩＰネットワークで接続すると記載しているに止まり（段落００１６参照）、経路変更処理に時間が掛かる点については何ら考慮されていない。

本発明は、複数のクラウドシステム間で仮想マシンのマイグレーションを行う際の経路変更処理の時間短縮に貢献できる構成、また、そのような方法及びプログラムを提供することを目的とする。

第１の視点によれば、第１のクラウドシステムに配置された資源と、第２のクラウドシステムに配置された資源と、前記第１、第２のクラウドシステム間に配置された資源とを管理する資源管理手段と、前記第１のクラウドシステムのマシン上で動作するユーザの仮想マシンを、前記第２のクラウドシステムのマシンへ移行させるマイグレーションを実行するマイグレーション制御手段と、前記マイグレーションの実行後、前記資源管理手段にて管理されている通信ノードを制御して、前記第１のクラウドシステムで動作していた仮想マシンを宛先又は送信元とする経路を、前記第２のクラウドシステムで動作する仮想マシンを宛先又は送信元とする経路に変更する経路制御手段とを含む、クラウド環境提供システムが提供される。

第２の視点によれば、第１のクラウドシステムに配置された資源と、第２のクラウドシステムに配置された資源と、前記第１、第２のクラウドシステム間に配置された資源とを管理する資源管理手段と、前記第１のクラウドシステムのマシン上で動作するユーザの仮想マシンを、前記第２のクラウドシステムのマシンへ移行させるマイグレーションを実行するマイグレーション制御手段と、前記マイグレーションの実行後、前記資源管理手段にて管理されている通信ノードを制御して、前記第１のクラウドシステムで動作していた仮想マシンを宛先又は送信元とする経路を、前記第２のクラウドシステムで動作する仮想マシンを宛先又は送信元とする経路に変更する経路制御手段とを備える、サービス管理装置が提供される。

第３の視点によれば、第１のクラウドシステムに配置された資源と、第２のクラウドシステムに配置された資源と、前記第１、第２のクラウドシステム間に配置された資源とを管理する資源管理手段を備えるサービス管理装置が、前記第１のクラウドシステムのマシン上で動作するユーザの仮想マシンを、前記第２のクラウドシステムのマシンへ移行させるマイグレーションを実行するステップと、前記資源管理手段にて管理されている通信ノードを制御して、前記第１のクラウドシステムで動作していた仮想マシンを宛先又は送信元とする経路を、前記第２のクラウドシステムで動作する仮想マシンを宛先又は送信元とする経路に変更するステップとを含む、クラウド環境提供システムにおける経路制御方法が提供される。本方法は、上記サービス管理装置という、特定の機械に結びつけられている。

第４の視点によれば、第１のクラウドシステムに配置された通信ノードと、第２のクラウドシステムに配置された通信ノードと、前記第１、第２のクラウドシステム間に配置された通信ノードとを管理する通信ノード管理手段を備えるサービス管理装置を構成するコンピュータに、
前記第１のクラウドシステムのマシン上で動作するユーザの仮想マシンを、前記第２のクラウドシステムのマシンへ移行させるマイグレーションを実行する処理と、前記資源管理手段にて管理されている通信ノードを制御して、前記第１のクラウドシステムで動作していた仮想マシンを宛先又は送信元とする経路を、前記第２のクラウドシステムで動作する仮想マシンを宛先又は送信元とする経路に変更する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジエントな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。

本発明によれば、複数のクラウドシステム間で仮想マシンのマイグレーションを行う際の経路変更処理に要する時間の短縮に貢献することが可能となる。

本発明の一実施形態の構成を示す図である。 本発明の一実施形態の動作を説明するための図である。 本発明の一実施形態の動作を説明するための図である。 本発明の第１の実施形態のシステムの全体構成を示す図である。 本発明の第１の実施形態における仮想マシンのマイグレーションの前後の経路の変化を示す図である。 本発明の第１の実施形態のシステムの動作を表したシーケンス図である。 仮想ネットワーク制御部の基本動作の流れを表したフローチャートである。 図７のステップＳ８０４、Ｓ８０５において実行される処理の詳細を表したフローチャートである。 本発明の第１の実施形態のシステムのスイッチ制御部の動作を表したフローチャートである。

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。

本発明は、その一実施形態において、図１に示すように、第１クラウドシステム２０と、第２クラウドシステム３０と、第１クラウドシステム２０と第２クラウドシステム３０間での仮想マシンのマイグレーション時に、サービスの管理を行うサービス管理装置１０とを含む構成にて実現できる。

サービス管理装置１０は、第１クラウドシステム２０に配置された資源と、第２クラウドシステム３０に配置された資源と、第１、第２のクラウドシステム２０、３０間に配置された資源とを管理する資源管理部１１と、第１クラウドシステム２０のマシン上で動作するユーザの仮想マシン２２を、第２クラウドシステム３０のマシンへ移行させるマイグレーションを実行するマイグレーション制御部１２と、資源管理部１１にて管理されている通信ノードを制御して、第１クラウドシステム２０で動作していた仮想マシンを宛先又は送信元とする経路を、第２クラウドシステム３０で動作する仮想マシンを宛先又は送信元とする経路に変更する経路制御部１３とを含む。

第１クラウドシステム２０上で動作する仮想マシンを第２クラウドシステム３０側にマイグレーションさせる例を挙げて説明する。図１は、マイグレーション前の状態を示しており、両矢線に示す経路で仮想マシン２２の通信経路が設定されている。

所定のマイグレーション実行条件が成立すると、マイグレーション制御部１２は、図２に示すように、ハイパーバイザ２１、３１に対して、マイグレーションの実行を指示する。前記指示を受けたハイパーバイザ３１は、第２クラウドシステム３０上に仮想マシン３２を起動し、マイグレーションの準備を行う。

次に、経路制御部１３は、通信ノード２３、３３を制御して、インタークラウドネットワーク（クラウド間ネットワーク）を生成する。そして、経路制御部１３は、インタークラウドネットワークを利用して、第１クラウドシステム２０で動作していた仮想マシンを宛先又は送信元とする経路を、第２クラウドシステム３０で動作する仮想マシンを宛先又は送信元とする経路に変更する。

その後、マイグレーションが実行されると、図３に示すように、仮想マシン３２は、図３の両矢線で示す経路で通信を行う。このため、特許文献１のように、経路変更処理に時間が掛かるということがなくなる。また、パケットロスの発生も抑止される。

［第１の実施形態］
次に、本発明の実施の形態について図面を参照して詳細に説明する。図４は、本発明の第１の実施形態のシステムの全体構成を示す図である。図４を参照すると、サービス管理装置１００と、２つのテナント２００、３００と、を含む構成が示されている。ここで、「テナント」とは、マルチテナント方式で複数のユーザに提供されているシステムやアプリケーションプログラムの実行環境（クラウド環境）である。図４のテナント２００、３００は、同一のユーザが、異なるクラウド環境の提供者から提供を受けているクラウド環境を示している。

テナント２００は、仮想マシン制御部（仮想マシン制御手段）２０１と、仮想ネットワーク制御部（仮想ネットワーク制御手段）２０２と、ホストマシン２０３と、スイッチ制御部（スイッチ制御手段）２０６と、物理スイッチ２０７と、外部ネットワークと接続するゲートウェイ（ＧＷ）２０８と、テナント３００と相互接続するゲートウェイ（ＧＷ）２０９とを含んで構成される。

仮想マシン制御部２０１は、ユーザやサービス管理装置１００からの指示に従い、ホストマシン２０３上で動作する仮想マシン２０４を制御する手段である。仮想マシン制御部２０１の例としては、上記したハイパーバイザ等が挙げられる。

仮想ネットワーク制御部２０２は、スイッチ制御部２０６、ゲートウェイ（ＧＷ）２０８及びゲートウェイ（ＧＷ）２０９を制御することによりユーザに提供する仮想ネットワークを制御する手段である。

ホストマシン２０３は、複数のユーザにそれぞれ専用的に利用させる仮想マシン２０４や仮想スイッチ２０５が動作する仮想化サーバ等と呼ばれる機器によって構成される。

スイッチ制御部２０６は、ホストマシン２０３上で動作する仮想スイッチ２０５や物理スイッチ２０７を制御する。以下、本実施形態では、仮想スイッチ２０５及び物理スイッチ２０７は、非特許文献１、２のオープンフロースイッチの仕様を満たしたスイッチであるものとする。スイッチ制御部２０６は、仮想スイッチ２０５や物理スイッチ２０７に、仮想ネットワーク制御部２０２からの指示に基づいて生成した制御情報（フローエントリ）を設定することで、仮想スイッチ２０５や物理スイッチ２０７を制御する。

ゲートウェイ（ＧＷ）２０８、２０９は、例えば、ルータによって構成される。

同様に、テナント３００は、仮想マシン制御部３０１と、仮想ネットワーク制御部３０２と、ホストマシン３０３と、スイッチ制御部３０６と、物理スイッチ３０７と、外部ネットワークと接続するゲートウェイ（ＧＷ）３０８と、テナント２００と相互接続するゲートウェイ（ＧＷ）３０９とを含んで構成される。

サービス管理装置１００は、図１に示した構成と同様に、資源管理部、マイグレーション制御部及び経路制御部を備える構成にて実現できる。また、サービス管理装置１００が、非特許文献１、２のオープンフローコントローラと同等に機能を有していてもよい。これにより、サービス管理装置１００に、仮想スイッチ２０５、３０５や物理スイッチ２０７、３０７に設定する制御情報（フローエントリ）の生成機能を担わせることもできる。

なお、図４に示したサービス管理装置１００、テナント２００、３００内の各部（処理手段）は、コンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。

続いて、本実施形態の動作について図面を参照して詳細に説明する。以下の説明では、図５に示すように、テナント２００で動作していた仮想マシンをテナント３００にマイグレーションさせる例を挙げて説明する。図５中の符号４００〜４０３は、仮想ネットワーク制御部２０２、３０２の制御対象となる仮想ネットワークを示している。

これらの仮想ネットワークは、ＧＲＥ（Ｇｅｎｅｒｉｃ Ｒｏｕｔｉｎｇ Ｅｎｃａｐｓｕｌａｔｉｏｎ）やＩＰｉｎＩＰ等のトンネリング技術を用いて構成できるが、本実施形態では、ＧＲＥを用いて仮想ネットワークを構成するものとして説明する。ＧＲＥプロトコルの方式によれば、仮想マシン２０４、３０４が生成したＩＰパケットの外側に、さらにＩＰヘッダを付加してカプセル化が行われる。この外部ＩＰヘッダには、送信元として入口側ＧＲＥトンネル端点のＩＰアドレス、また宛先として出口側ＧＲＥトンネル端点のＩＰアドレスを使用することができる。したがって、物理スイッチ２０７、３０７、この外部ＩＰヘッダに適合する制御情報（フローエントリ）に基づいてスイッチング処理を行う。

また、本実施形態では、仮想ネットワーク４００〜４０３は、ＧＲＥトンネルによって実現されているものとして説明する。また、仮想ネットワーク４００〜４０３は、ＵＵＩＤ（ｕｎｉｖｅｒｓａａｌｌｙ ｕｎｉｑｕｅ Ｉｄｅｎｔｉｆｉｅｒ）によって識別される。

図６は、本発明の第１の実施形態のシステムの全体の動作を表したシーケンス図である。仮想マシン２０４のマイグレーションを実行する場合、サービス管理装置１００は、まず、仮想マシン制御部３０１を介して、マイグレーション先のホストマシン３０３上に、仮想マシン３０４を立ち上げ、必要な事前設定を行う（ステップＳ７０１）。事前設定の結果、マイグレーション先のホストマシン３０３が特定され、物理的な位置が確定される。同様に、マイグレーション元のテナント２００においても、仮想マシン制御部２０１を介して、マイグレーション対象となる仮想マシン２０４が指定され、その仮想マシン２０４を稼働させているホストマシン２０３が特定される。

次に、サービス管理装置１００は、仮想ネットワーク制御部２０２、３０２を介して、マイグレーション先の仮想マシン３０４を接続する仮想ネットワークを生成する（ステップＳ７０２）。具体的には、ステップＳ７０１で立ち上げた仮想マシンを接続するための仮想ネットワーク４０３が構築される。

次に、サービス管理装置１００は、テナント３００側のＧＷ３０９に、テナント２００、３００間の仮想ネットワーク４０２のＧＲＥトンネル用通信端点を生成する（ステップＳ７０３）。

次に、サービス管理装置１００は、仮想ネットワーク制御部２０２を介して、マイグレーション元の仮想マシン２０４が接続されている仮想ネットワーク４００を構成する物理スイッチ２０７に、仮想ネットワーク４０１の設定を追加する（ステップＳ７０４）。

次に、サービス管理装置１００は、ＧＷ２０８、ＧＷ２０９への端点追加（ＧＲＥトンネル用通信端点の追加）を実行する（ステップＳ７０５）。このようにテナント２００、３００のＧＷ２０８、ＧＷ２０９とＧＷ３０９の設定（端点追加）が完了することで、仮想ネットワーク４０１、４０２の生成が完了する。

次に、サービス管理装置１００は、仮想マシン制御部２０１、３０１を介して、マイグレーションを実行する（ステップＳ７０６）。

次に、サービス管理装置１００は、仮想ネットワーク制御部２０２、３０２を介して、物理スイッチ２０７に対し経路切り替えを指示する（ステップＳ７０７）。これにより、仮想マシン２０４及び仮想マシン３０４のユーザ宛てパケットの経路は、仮想ネットワーク４００から、仮想ネットワーク４０１、４０２、４０３を経由する経路へ切り替わる。

続いて、上記した仮想ネットワーク制御部２０２、３０２による仮想ネットワークの制御処理の詳細について説明する。図７は、仮想ネットワーク制御部の基本動作の流れを表したフローチャートである。

まず、仮想ネットワーク制御部２０２、３０２は、図６のステップＳ７０１のマイグレーションの事前設定により、制御対象となる仮想マシンが特定されるので、その仮想マシン情報（例えば、識別子等）を用いて、仮想マシン制御部２０１、３０１に問い合わせ、仮想マシンの位置（当該仮想マシンが動作するホストマシン２０３の識別子等）を特定する（ステップＳ８０１）。

次に、仮想ネットワーク制御部２０２、３０２は、制御対象となる仮想マシンが接続する仮想ネットワークを特定する（ステップＳ８０２）。

次に、仮想ネットワーク制御部２０２、３０２は、新規の仮想ネットワークを生成する必要があるか否かにより、次の処理を行う。新規の仮想ネットワークを生成する場合（ステップＳ８０３の「新規」）、仮想ネットワーク制御部２０２、３０２は、新規ネットワーク４０１、４０２、４０３のエンドポイントとなるノードに、第１の端点（ＧＲＥトンネル用通信端点）を生成する（ステップＳ８０４）。一方、仮想ネットワークの変更を行う場合（ステップＳ８０３の「変更」）、仮想ネットワーク制御部２０２、３０２は、テナント２００又はテナント３００と、既存の仮想ネットワークとの接続点に、第２の端点（ＧＲＥトンネル用通信端点）を生成（追加）する（ステップＳ８０５）。ここでは、マイグレーションに伴い、図５に示す仮想ネットワーク４０１、４０２、４０３が新規に生成されるため、ＧＷ２０９、ＧＷ３０９、物理スイッチ３０７にそれぞれ第１の端点（ＧＲＥトンネル用通信端点）が生成され、ＧＷ２０８、仮想スイッチ３０５に第２の端点（ＧＲＥトンネル用通信端点）が追加されることになる。また、これらの第１、第２の端点（ＧＲＥトンネル用通信端点）にそれぞれＩＰアドレスが設定される。

ここで、仮想ネットワーク制御部２０２、３０２による第１、第２の端点（ＧＲＥトンネル用通信端点）の生成処理の詳細について説明する。図８は、図７のステップＳ８０４、Ｓ８０５において実行される処理の詳細を表したフローチャートである。

図８を参照すると、仮想ネットワーク制御部２０２、３０２は、まず、ステップＳ８０２で特定した仮想ネットワークの識別情報を取得する（ステップＳ１００１）。具体的には、仮想ネットワーク制御部２０２、３０２が保持する仮想ネットワークの管理テーブル等から、例えば、割り当て済みのＵＵＩＤを取得することによって行われる。

仮想ネットワーク制御部２０２、３０２は、新規に生成する仮想ネットワークに対し新規ＵＵＩＤを割り当てることにより、仮想ネットワーク識別子を生成する（ステップＳ１００２）。なお、上記したＵＵＩＤに代えて、ネットワーク毎の識別子やネットワークアドレスを用いることも可能である。

次に、仮想ネットワーク制御部２０２、３０２は、前記生成した仮想ネットワーク識別子を関連付けることにより、マイグレーション後に切り替えて使用される仮想ネットワーク（インタークラウドネットワーク）を生成する（ステップＳ１００３）。

本実施形態では、ＧＲＥトンネルを用いて仮想ネットワークを構成することとしているため、仮想ネットワーク４０１に対しては、ＧＷ２０８のＧＲＥトンネル端点のＩＰアドレスとＧＷ２０９のＧＲＥトンネル端点のＩＰアドレスが関連付けられる。同様に、仮想ネットワーク４０２に対しては、ＧＷ２０９のＧＲＥトンネル端点のＩＰアドレスとＧＷ３０９のＧＲＥトンネル端点のＩＰアドレスが関連付けられる。同様に、仮想ネットワーク４０３に対しては、ＧＷ３０９のＧＲＥトンネル端点のＩＰアドレスと仮想スイッチ３０５のＧＲＥトンネル端点のＩＰアドレスが関連付けられる。

再度図７を参照して説明を継続すると、仮想ネットワーク制御部２０２、３０２は、前記マイグレーション後に切り替えて使用される仮想ネットワーク（インタークラウドネットワーク）の生成と、マイグレーションとが完了し、経路切替可能と判断すると（ステップＳ８０７の「Ｔ」）、スイッチ制御部２０６、３０６に対し、経路切替を指示する（ステップＳ８０８）。

図９は、スイッチ制御部２０６、３０６の動作を表したフローチャートである。図９を参照すると、スイッチ制御部２０６、３０６は、仮想ネットワーク制御部２０２、３０２から、物理ネットワーク上で、個々の仮想ネットワークを識別するための識別情報を取得する（ステップＳ９０１）。識別情報としては、上記ステップＳ１００３で生成されたＧＲＥトンネル端点のＩＰアドレス等を用いることができる。

仮想ネットワーク制御部２０２、３０２から経路切替指示を受けると（ステップＳ９０２の「Ｔ」）、スイッチ制御部２０６、３０６は、物理スイッチ２０７、３０７に経路切替を行うための制御情報（フローエントリ）を設定し、有効化する（ステップＳ９０３）。例えば、仮想ネットワーク４０３を識別するために前記入口側ＧＲＥトンネル端点のＩＰアドレスと、前記出口側ＧＲＥトンネル端点のＩＰアドレス等をマッチ条件として制御情報（フローエントリ）が使用される。このエントリには、該当するパケットを仮想スイッチ３０５の接続ポートから出力することを定めたアクションが設定される。また、仮想スイッチ３０５のＧＲＥトンネル端点でカプセル化ヘッダを除去した後、仮想マシン３０４へ転送できるようにするために、仮想スイッチ３０５にも、前記マッチ条件とカプセル化ヘッダを削除することを指定した制御情報（フローエントリ）が設定される。

以上説明したように、本実施形態によれば、複数のクラウドシステムにまたがって構成されるインタークラウド基盤において、仮想マシンのマイグレーションと連動した経路切替を行うことができる。また、本実施形態によれば、上記のように経路切替処理の時間も飛躍的に短縮されるため、パケットロスも削減できる。

また、本発明は、例えば、オープンソースのクラウド構築ツールによって構築されているパブリッククラウドと、プライベートクラウド間における仮想マシンのマイグレーション時の経路切替処理にも適用することが可能である。

以上、本発明の実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成や要素の構成は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。

また例えば、上記した実施形態では、第１、第２のテナント間のマイグレーションを用いて説明したが、第２のテナントから第１のテナントへのマイグレーションも同様の手順で実施可能である。

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点によるクラウド環境提供システム参照）
［第２の形態］
第１の形態のクラウド環境提供システムにおいて、
さらに、
前記マイグレーション後の仮想マシンの位置情報に基づいて、
前記第１のクラウドシステムで動作していた仮想マシンを宛先又は送信元とするパケットを前記マイグレーション後の仮想マシンに転送するための仮想ネットワークを生成する仮想ネットワーク制御手段と、
前記第１のクラウドシステムで動作していた仮想マシンを宛先又は送信元とする経路上のスイッチに、前記前記第１のクラウドシステムで動作していた仮想マシンを宛先とするパケットを前記仮想ネットワークに転送するように制御するスイッチ制御手段と、を備えるクラウド環境提供システム。
［第３の形態］
第２の形態のクラウド環境提供システムにおいて、
前記仮想ネットワーク制御手段及び前記スイッチ制御手段が、前記第１、第２のクラウドシステムにそれぞれ配置されているクラウド環境提供システム。
［第４の形態］
第２又は第３の形態のクラウド環境提供システムにおいて、
前記スイッチ制御手段は、
仮想ネットワークの入口側の端点において、パケットへの追加ヘッダの追加を指示して、前記追加ヘッダを用いたパケット転送処理を実行し、前記仮想ネットワークの出口側の端点において、前記追加ヘッダの削除を指示するクラウド環境提供システム。
［第５の形態］
（上記第２の視点によるサービス管理装置参照）
［第６の形態］
（上記第３の視点によるクラウド環境提供システムにおける経路制御方法参照）
［第７の形態］
（上記第４の視点によるプログラム参照）

なお、上記第５〜第７の形態は、第１の形態と同様に、第２〜第４の形態に展開することが可能である。

上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０、１００ サービス管理装置
１１ 資源管理部
１２ マイグレーション制御部
１３ 経路制御部
２０ 第１クラウドシステム
２１、３１ ハイパーバイザ
２２、３２、２０４、３０４ 仮想マシン
２３、３３ 通信ノード
３０ 第２クラウドシステム
２００、３００ テナント
２０１、３０１ 仮想マシン制御部
２０２、３０２ 仮想ネットワーク制御部
２０３、３０３ ホストマシン
２０５、３０５ 仮想スイッチ
２０６、３０６ スイッチ制御部
２０７、３０７ 物理スイッチ
２０８、２０９、３０８、３０９ ゲートウェイ（ＧＷ）
４００、４０１、４０２、４０３ 仮想ネットワーク

Claims (3)

1. 第１のクラウドシステムに配置された資源と、第２のクラウドシステムに配置された資源と、前記第１、第２のクラウドシステム間に配置された資源とを管理する資源管理手段と、
   前記第１のクラウドシステムのマシン上で動作するユーザの仮想マシンを、前記第２のクラウドシステムのマシンへ移行させるマイグレーションを実行するマイグレーション制御手段と、
   前記マイグレーションの実行後、前記資源管理手段にて管理されている通信ノードを制御して、前記第１のクラウドシステムで動作していた仮想マシンを宛先又は送信元とする経路を、前記第２のクラウドシステムで動作する仮想マシンを宛先又は送信元とする経路に変更する経路制御手段とを含み、
   前記第１のクラウドシステムに配置された前記通信ノードが、外部ネットワークと接続する第１のゲートウェイと、前記第１のクラウドシステムと前記第２のクラウドシステムとの間のインタークラウドネットワークに接続する第２のゲートウェイと、前記第１のゲートウェイ及び前記第２のゲートウェイと接続する第１の物理スイッチとを含み、
   前記第２のクラウドシステムに配置された前記通信ノードが、前記外部ネットワークと接続する第３のゲートウェイと、前記インタークラウドネットワークに接続する第４のゲートウェイと、前記第３のゲートウェイ及び前記第４のゲートウェイと接続する第２の物理スイッチとを含み、
   前記経路制御手段が、
   前記第１のゲートウェイ及び前記第１の物理スイッチを介した前記第１のクラウドシステムで動作する前記仮想マシンを宛先又は送信元とする経路を、
   前記第１のゲートウェイ、前記第１の物理スイッチ、前記第２のゲートウェイ、前記インタークラウドネットワーク、前記第４のゲートウェイ、前記第２の物理スイッチを介した前記第２のクラウドシステムで動作する前記仮想マシンを宛先又は送信元とする経路に変更する
   クラウド環境提供システム。
2. 第１のクラウドシステムに配置された資源と、第２のクラウドシステムに配置された資源と、前記第１、第２のクラウドシステム間に配置された資源とを管理する資源管理手段を備えるサービス管理装置が、
   前記第１のクラウドシステムのマシン上で動作するユーザの仮想マシンを、前記第２のクラウドシステムのマシンへ移行させるマイグレーションを実行するステップと、
   前記資源管理手段にて管理されている通信ノードを制御して、前記第１のクラウドシステムで動作していた仮想マシンを宛先又は送信元とする経路を、前記第２のクラウドシステムで動作する仮想マシンを宛先又は送信元とする経路に変更するステップとを含む、
   クラウド環境提供システムにおける経路制御方法において、
   前記第１のクラウドシステムに配置された前記通信ノードが、外部ネットワークと接続する第１のゲートウェイと、前記第２のクラウドシステムとのインタークラウドネットワークに接続する第２のゲートウェイと、前記第１のゲートウェイ及び前記第２のゲートウェイと接続する第１の物理スイッチとを含み、
   前記第２のクラウドシステムに配置された前記通信ノードが、前記外部ネットワークと接続する第３のゲートウェイと、前記第１のクラウドシステムとの前記インタークラウドネットワークに接続する第４のゲートウェイと、前記第３のゲートウェイ及び前記第４のゲートウェイと接続する第２の物理スイッチとを含み、
   経路を変更するステップにおいて、
   前記第１のゲートウェイ及び前記第１の物理スイッチを介した前記第１のクラウドシステムで動作する前記仮想マシンを宛先又は送信元とする経路を、
   前記第１のゲートウェイ、前記第１の物理スイッチ、前記第２のゲートウェイ、前記インタークラウドネットワーク、前記第４のゲートウェイ、前記第２の物理スイッチを介した前記第２のクラウドシステムで動作する前記仮想マシンを宛先又は送信元とする経路に変更する
   経路制御方法。
3. 第１のクラウドシステムに配置された通信ノードと、第２のクラウドシステムに配置された通信ノードと、前記第１、第２のクラウドシステム間に配置された通信ノードとを管理する通信ノード管理手段を備えるサービス管理装置を構成するコンピュータに、
   前記第１のクラウドシステムのマシン上で動作するユーザの仮想マシンを、前記第２のクラウドシステムのマシンへ移行させるマイグレーションを実行する処理と、
   前記通信ノード管理手段にて管理されている通信ノードを制御して、前記第１のクラウドシステムで動作していた仮想マシンを宛先又は送信元とする経路を、前記第２のクラウドシステムで動作する仮想マシンを宛先又は送信元とする経路に変更する処理と、
   を実行させるプログラムであって、
   前記第１のクラウドシステムに配置された前記通信ノードが、外部ネットワークと接続する第１のゲートウェイと、前記第２のクラウドシステムとのインタークラウドネットワークに接続する第２のゲートウェイと、前記第１のゲートウェイ及び前記第２のゲートウェイと接続する第１の物理スイッチとを含み、
   前記第２のクラウドシステムに配置された前記通信ノードが、前記外部ネットワークと接続する第３のゲートウェイと、前記第１のクラウドシステムとの前記インタークラウドネットワークに接続する第４のゲートウェイと、前記第３のゲートウェイ及び前記第４のゲートウェイと接続する第２の物理スイッチとを含み、
   経路を変更する処理が、
   前記第１のゲートウェイ及び前記第１の物理スイッチを介した前記第１のクラウドシステムで動作する前記仮想マシンを宛先又は送信元とする経路を、
   前記第１のゲートウェイ、前記第１の物理スイッチ、前記第２のゲートウェイ、前記インタークラウドネットワーク、前記第４のゲートウェイ、前記第２の物理スイッチを介した前記第２のクラウドシステムで動作する前記仮想マシンを宛先又は送信元とする経路に変更する処理を含む
   プログラム。

Images