JP6317042B2 - データセンタ連携システム、および、その方法 - Google Patents

Description

開示される主題は、データセンタ（ＤＣ）などの拠点の間で行う複数の通信それぞれの条件を確保する技術に関する。

近年、クラウドコンピューティングやクラウドサービスが社会に浸透し、企業システムをはじめとした多種多様なシステムを、ＤＣと呼ばれる大規模な計算機システムへの集約の動きが加速している。ＤＣは、システムを安定して運用させるための設備とそのための人員配置、セキュリティ機能、自然災害に耐えうる強靭な施設、を備えている。

ＤＣに収容されるシステムに着目すると、ＢＣＰ（事業継続計画、Business continuity planning）の要求や、エッジコンピューティング（地理的にユーザに近いデータセンタからサービスを提供する形態）を目的とし、地理的に分散した複数のＤＣを連携させたひとつのシステム（以下、ＤＣ連携システムという）を構成する形態が増えつつある。

一方、ＤＣの提供形態のひとつにパブリッククラウドがある。パブリッククラウドは、１つのクラウドシステム上に、複数のテナントのシステムを収容するマルチテナント型であることが特徴である。ここでいうテナントとは、論理的に区別された集合のことを指し、例えば、企業や、部署などに相当する。すなわち、ＤＣには、複数テナントのシステムが収容されている。

したがって、ＤＣ事業者は、複数のＤＣを連携させたひとつのＤＣ連携システム上で、複数のテナントのシステムを運営している。

ＤＣ事業者は、ＤＣ内のマルチテナントシステムの通信の分離に、例えば、仮想ネットワークを用いる。本明細書では、あるユーザが利用することができる論理的なネットワーク資源の一部を、仮想ネットワークと呼ぶ。そして、仮想ネットワークを実現する技術に、VLAN（Virtual LAN）や非特許文献２に記載の技術などがある。

一方、ＤＣ連携システムの実現のため、ＤＣ事業者は、あるＤＣに収容される特定のテナントシステムと、地理的に離れたＤＣに収容される前記特定のテナントのシステムとを、それら２つのＤＣ間に敷設されている通信キャリア（自身が所有する通信設備の貸し出しサービスを、回線契約という形で提供する事業者。以下、キャリアという）が所有するネットワークを利用して、相互通信可能な状態にさせる必要がある。つまり、ＤＣ事業者は、キャリアが所有するネットワーク資源の一部を借用する形になる。本明細書では、キャリアからある顧客（この例ではＤＣ事業者）に貸し出されるネットワーク資源の一部を、キャリア回線（もしくは、回線）と表現する。

特許文献１に記載の技術では、ＭＶＮＯ（仮想移動体通信事業者、Mobile Virtual Network Operator）が、エンドポイントとなる電話端末に付与された電話番号と、ＩＰアドレス、ＭＡＣアドレスを用いて電話端末を認識し、エンドポイントの通信を、キャリア回線に割り当て、前記電話端末の接続先との通信を可能としている（段落０００２、００１６）。

特開２００６−３４０２６７号公報

ＩＥＥＥ 、"８０２．１ａｈ − Ｐｒｏｖｉｄｅｒ Ｂａｃｋｂｏｎｅ Ｂｒｉｄｇｅｓ"、［平成２７年６月３日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｉｅｅｅ８０２．ｏｒｇ／１／ｐａｇｅｓ／８０２．１ａｈ．ｈｔｍｌ＞ Tｈｅ Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ 、"Ｖｉｒｔｕａｌ ｅＸｔｅｎｓｉｂｌｅ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ （ＶＸＬＡＮ）： Ａ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｖｉｒｔｕａｌｉｚｅｄ Ｌａｙｅｒ ２ Ｎｅｔｗｏｒｋｓ ｏｖｅｒ Ｌａｙｅｒ ３ Ｎｅｔｗｏｒｋｓ"、ＩＥＴＦ、［平成２６年８月発行］、［平成２７年１月９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｄａｔａｔｒａｃｋｅｒ．ｉｅｔｆ．ｏｒｇ／ｄｏｃ／ｒｆｃ７３４８／＞

ＤＣに収容されるマルチテナントシステムでは、テナント毎に、ＤＣ間ネットワークに対する通信条件要求が異なる場合がある。

例えば、テナントＡは、２つのＤＣを繋いで、基幹系システムのＤＲ（ディザスタリカバリ、Disaster Recovery）システムを構成しており、リアルタイムで、差分データの同期がおこなわれ、遅延を許容しない。一方、テナントＢは、２つのＤＣで、メールデータの日次バックアップをおこなっており、２４時間以内にデータが同期できれば良い、など。

つまり、テナントＡについては、テナントＡが要求する通信条件で、テナントＢについては、テナントＢが要求する通信条件で、複数のＤＣ内の各々のシステム同士を接続する必要がある。ここでいう、通信条件とは、例えば、回線の品質（例えば、低遅延、ベストエフォート、回線の冗長化、物理的な回線の占有または共有など）、または、セキュリティ（暗号化、検疫が強化されたネットワークか、など）などを指す。

つまり、ＤＣ間ネットワークにおいては、ＤＣ内とは異なる条件に基づく通信の分離が必要になる。

以上のことから、ＤＣ連携システムにおいては、通信の分離を二重に行う必要がある。

これに対して、非特許文献１には、仮想ネットワーク（ＶＬＡＮ）の２重化が開示されている。

しかし、非特許文献１に記載の技術では、ＶＬＡＮの識別子数が、分割できる通信数の上限となる。つまり、例えば、ＤＣ事業者は、４０９４以上の数のテナントを収容できないという問題が生じる。

これに対して、非特許文献２には、仮想ネットワーク数が、ＶＬＡＮの４０９４を上回る、約１６００万を利用可能となる法（ＶＸＬＡＮ）が開示されている。

近年、ＶＸＬＡＮに対応するネットワーク装置が開発され、ＶＸＬＡＮの利用にも対応した構成を備えるＤＣも増えつつある。しかし、その場合でもＤＣ内の全ての装置がＶＸＬＡＮに対応していない。また、キャリア回線においては、同様である。

つまり、ＤＣ内と、キャリア回線とにおいて、従来のＶＬＡＮと新しいＶＸＬＡＮとが混在して利用されている。しかし、二つを併用しながら、ＤＣ内、および、キャリア回線を含むＤＣ間において、通信の分離性を維持することは実現されていない。

開示されるのは、計算機システム間を繋ぐ回線において、計算機システム内で使われる仮想ネットワーク識別子数より少ない仮想ネットワーク識別子を用いつつ、複数の計算機システム間でのエンドＴＯエンドでの通信の分離を維持する技術である。

当該技術を用いる具体的な態様の一つは、複数の計算機システムをネットワークで接続する計算機システム連携システムである。

開示されるより具体的な態様の一つとして、計算機システムとしてＤＣを想定し、複数のＤＣをキャリア回線で接続するＤＣ連携システムを挙げ、その特徴を、図１を用いて説明する。

ＤＣ連携システムは、以下の機能を備える。

各ＤＣにおいて、複数のＤＣそれぞれの、テナント毎の通信を分離させる、通信種類識別子としての仮想ネットワーク識別子（ｉ）および/または（ii）と、キャリアが提供する、通信条件の異なる複数の通信を分離させる、回線識別子としての仮想ネットワーク識別子（iii）とを、識別し、対応付けて管理する機能（仮想ネットワーク識別子（i）（ii）の使い分けについては後述する）。

各ＤＣにおいて、上記仮想ネットワーク識別子（ｉ）および/または（ii）と（iii）を用いた通信を実現するために、ＤＣ内の各通信装置に設定を行う、または設定を指示する機能。

各ＤＣにおいて、前記仮想ネットワーク識別子（ｉ）および/または（ii）をもとに、各テナントの通信、または、各テナント内の複数種類の通信、を識別する機能。

送信側ＤＣにおいて、通信内容に基づき識別した各通信に、テナントが希望する通信条件を有するキャリア回線を割り当てるいずれかのキャリア回線識別子（仮想ネットワーク識別子（iii））を付与する機能。 受信側ＤＣにおいて、前記キャリア回線識別子をもとに、前記キャリア回線識別子が付与された、各テナントの通信、または、各テナント内の複数種類の通信、を識別し、受信側ＤＣにおける前記仮想ネットワーク識別子（ｉ）および/または（ii）を付与する機能。

仮想ネットワークを用いて分離する範囲が、テナントより細かい場合（例えば、テナント内の部署、または、通信の、種類、若しくは、用途、若しくは、アプリケーション）は、仮想ネットワーク識別子（ii）により分離する通信をさらに、仮想ネットワーク識別子（ii）により分離してもよい。この場合、仮想ネットワーク識別子（ｉ）と（ii）との組み合わせと、仮想ネットワーク識別子（iii）と、の対応付けを管理する。

本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。

開示によれば、計算機システム間接続において、通信の分離性を維持しつつ、複数の通信条件の回線のいずれかを、割り当てることが可能となる。

開示される処理の概略を示した図である。 開示されるネットワークシステム構成の概略を示した図である。 物理マシン１、仮想マシン２、仮想スイッチ３、仮想センターエッジ４、ＶＸＬＡＮ ＧＷ５、カスタマーエッジ６、プロバイダーエッジ７、管理サーバ８の機能的な構成を示した図である。 ＶＸＬＡＮの処理の概略を示した図である。 キャリア回線接続システムの処理フローを示した図である。 識別子管理テーブル３１４１を示した図である。 接続管理テーブル３１４２を示した図である。 実施例に係るＤＣ−Ｘ内の論理的な接続と処理の流れを示した図である。 実施例に係るＤＣ−Ｙ内の論理的な接続と処理の流れを示した図である。 実施例に係る接続処理の、ＤＣ−Ｘ内における処理の流れを示した図である。 実施例に係る接続処理の、ＤＣ−Ｙ内における処理の流れを示した図である。 回線管理テーブル３１４３を示した図である。 キャリア回線続設定用インターフェース画面を示した図である。 ＤＣ間接続申し込み用インターフェース画面を示した図である。

以下、課題を解決するための一実施例を、説明する。

本実施例では、以下の状況を仮定して説明する。

ＤＣ事業者は、複数のＤＣを繋いだＤＣ連携システムを運営しており、それらＤＣ間の接続においては、キャリアが提供する複数の通信条件の異なるキャリア回線を利用して接続している。例えば、遅延を保証しない（Ａ）ベストエフォート、（Ｂ）低遅延（非冗長）、（Ｃ）低遅延（冗長）の３種類をキャリアから借りている。

キャリア回線とは、キャリアが提供する広域回線接続サービスで、接続には、ＭＰＬＳ、ＩＰ ＶＰＮや、広域イーサネットなどが用いられる。

図２は、本実施例における、データセンタＤＣ−Ｘ、ＤＣ−Ｙをキャリア網で接続するＤＣ連携システムを示す構成図である。用語を定義しながら、説明する。

各ＤＣにおいて、物理計算機または物理マシン（以下、Ｍと記す）１は、仮想計算機または仮想マシン（以下、ＶＭと記す）２と、仮想スイッチ（以下、ｖＳＷと記す）３と、仮想カスタマーエッジ（以下、ｖＣＥと記す）４と呼ぶ仮想ルータとを、実現している。仮想マシン２、仮想スイッチ３、仮想ルータ４は、物理マシン１のメモリに格納されるプログラムが、物理マシン１のハードウェア資源を利用しつつ実行されることにより実現する、仮想的な装置である。

図２中の−Ａ１、−Ｂ１、、、−ＡＹ、−ＢＹについて、Ａ、Ｂは、テナントを区別し、１〜Ｙは、一つのテナント内の仮想マシンを区別する。つまり、図２は、各物理マシン上に異なるテナントのＶＭが実現されているマルチテナント環境を表現している。

なお、ｖＣＥ４の「エッジ」とは、ある管理範囲の端に位置する通信装置を指す。テナントは、ＤＣ事業者から見た場合の「カスタマー」に相当するため、テナントという管理範囲の端に位置する装置を、ｖＣＥという。ｖＣＥは、テナント毎に配備され、本実施例においては、キャリア回線を利用する場合は、ｖＣＥを経由する必要がある。そのためには、例えば、テナントのＶＭのデフォルトゲートウェイをｖＣＥ４に設定しておくなどの方法がある。本実施例の場合、ｖＣＥ４はＤＣ事業者の管理下にあるが、上記のとおり、テナントのＶＭのデフォルトゲートウェイをｖＣＥ４に設定しておくなど、各テナントが意識する通信装置であるため、ｖＣＥと呼ぶ。

図２では、ｖＣＥ４は、ＶＭ２とは、物理的に異なるＭ１に配置しているが、同じＭ１に配置していても良い。また、ｖＣＥ４に記載されているポートＰｎの説明は後述する。

ＶＭ２と、ｖＣＥ４は、ｖＳＷ３と接続しており、ｖＳＷ３が、ＶＸＬＡＮ ゲートウェイ（以下、ＧＷと記す）５と呼ぶ物理ルータと接続している。ＧＷとは、一般的に、ネットワークの境界に配置され、ネットワーク間のデータを中継する装置を指す。本明細書では、ＶＸＬＡＮ技術を用いることにより、ＶＸＬＡＮ以外の通信と、ＶＸＬＡＮ通信とを、相互に変換して中継するため、ＶＸＬＡＮ ＧＷと呼ぶ。

ＶＸＬＡＮ ＧＷ５は、一般的には、さらに、ＤＣ内で、複数のスイッチや、ルータなどと接続しているが、本実施例では、そのネットワーク構成は問わないため、それをＤＣ内ネットワークと表す。上述の通り、ＶＬＡＮでは識別子数が不足する場合があり、本実施例の各ＤＣでは、ＤＣ内ネットワークにＶＸＬＡＮを用いている。また、ＶＸＬＡＮ ＧＷ５は、物理マシン１内部で仮想的に構成されていても良い。

ＶＸＬＡＮ ＧＷ５は、ＤＣ内ネットワークを介して、ＤＣの出入口に位置する、カスタマーエッジ（以下、ＣＥと記す）６と呼ぶ物理ルータに接続している。ＣＥ６における「カスタマー」は、ｖＣＥ４のとは異なり、キャリアにとってのＤＣ事業者である。ＤＣ事業者が管轄するネットワークの端に位置するという意味で、ＣＥという。

ＣＥ６は、キャリア網内のプロバイダーエッジ（以下、ＰＥと記す）７と呼ぶ物理ルータに接続する。

本実施例では、ＣＥ６は、３種類の異なる通信条件を提供するキャリア回線に接続している。ここでいう「プロバイダー」は、キャリアのことである。キャリアが管轄するネットワークの端に位置するという意味で、ＰＥという。

また、管理サーバ８は、ＶＭ２と、ｖＳＷ３と、ｖＣＥ４と、ＶＸＬＡＮ ＧＷ５と、ＣＥ６およびＤＣ内ネットワークの装置と接続している。図２に示す構成では、管理サーバ８は、ＤＣ毎に配置されているが、いずれか１つのＤＣに設置しても良い。その場合は、他のＤＣの装置の情報を収集でき、それぞれのＤＣに配置されるｖＣＥ４やＶＸＬＡＮ ＧＷ５などへ設定等の指示ができるものとする。

ユーザインターフェース（以下、ＵＩと記す）生成サーバ９は、ＤＣ事業者、テナントなどの利用者または管理者に、ＵＩを提供する。ＵＩ生成サーバ９は、管理サーバ８とキャリア網などのネットワークで接続されている。

上記に示した構成はあくまでも一例であり、この限りではない。例えば、仮想スイッチが物理スイッチであってもよいし、仮想ルータや物理ルータであってもよい。また、ＤＣ連携システムは、３以上のＤＣを備える構成であっても良い。その場合、複数のＤＣに配置されるＣＥ６が、同一のＰＥ７に接続する形でも良いし、図示されていない新たなＰＥｎ（ｎは１、２以外の自然数）に接続する形でも良い。ただし、後者の場合、３以上のＰＥ７の間で、どの組み合わせにおいても通信可能な状態にあり、また、複数の異なる通信条件を提供するキャリア回線が提供されている状態にあるものとする。

また、本実施例では、レイヤ２で動作するもの、つまり、ＩＥＥＥ８０２．３にて規定されたイーサネット（登録商標）規格に準拠した通信を行うものをスイッチと呼び、レイヤ３で動作するもの、つまり、ＩＥＴＦ ＲＦＣ７９１にて既定されたＩＰ規格に準拠した通信を行うものをルータと呼ぶ。機能的な違いは、スイッチがパケットのＭＡＣアドレスを参照して出力ポートを決定するのに対し、ルータがＩＰアドレスを参照して出力ポートを決定する。（なお、パケットとは、網を介して、データを分割して送る際の、分割後の個々のかたまりを指す）このとき、出力ポートの決定には、後述する宛先表３１０を参照して決める。なお、本実施例で用いる宛先表３１０は、レイヤ２とレイヤ３で用いるものを総称する。

図３は、図２にて説明した装置（Ｍ１、ＶＭ２、ｖＳＷ３、ｖＣＥ４、ＶＸＬＡＮ ＧＷ５、ＣＥ６、ＰＥ７、管理サーバ８）のハードウェア及びソフトウェアの構成を示した図である。

これらの装置には、ＣＰＵ３０、メモリ３１、入力装置３２、出力装置３３、通信装置３４、および、１つ以上のポートＰｎ（ｎは自然数）を備え、それらが内部バスで接続される。

メモリ３１には、実行中のプログラムやデータが記録される。各装置内のプログラムやデータは、あらかじめメモリ３１に格納しておいてもよいし、図示していないが、同様に内部バスで接続されている記憶装置に格納しておいてもよいし、例えば、ＳＤメモリーカードやＣＤ−ＲＯＭ等の外部媒体から入力してもよい。また、プログラムにより実現される機能を、専用のハードウェアにより実現してもよい。

入力装置３２は、例えば、ユーザの指示をマウスやキーボードから入力するための装置であり、出力装置３３は、その入力の状態や、メモリ３１上で実行された処理の結果を、管理画面等に出力するための装置である。

通信装置３４は、ポートＰｎを介して、他装置とパケットを送受信するための装置である。ＣＰＵ３０はメモリ３１に格納されたプログラムを実行する。

次に、メモリ３１で実行される機能について説明する。

まず、全ての装置に共通して存在するのは、宛先表３１０である。装置は、宛先表３１０を参照して、宛先アドレス毎に登録されている、ポートＰｎからパケットを出力する。

次に、管理サーバ８の機能を説明する。識別子管理部３１１は、仮想ネットワーク識別子や、キャリア回線識別子などの情報を、例えば、ＶＭ２、ｖＳＷ３、ｖＣＥ４（実態としてはＭ１）やＶＸＬＡＮ ＧＷ５、ＣＥ６、管理サーバ８、もしくは、それらを管理する管理システムから取得して、もしくは、人手による入力などにより、識別子管理テーブル３１４１に登録する。

次に、ＵＩ生成サーバ９の機能を説明する。事業者向けＵＩ生成部３１８は、本実施例においては、ＤＣ事業者が、ＤＣ内のテナントの通信を、キャリア回線と接続するための設定を行う際に活用する、キャリア回線接続設定用インターフェース画面（例えば図１１）を提供する。テナント向けＵＩ生成部３１９は、本実施例においては、テナントが、拠点間のＶＭ同士のネットワーク接続の申請、及び、自身が希望する通信条件を指定する際に活用する、ＤＣ間接続申し込み用インターフェース画面（例えば図１２）を提供する。

本実施例では、テナントの通信の区別を、仮想ネットワーク識別子を用いて実施するものとしているが、仮想ネットワーク識別子に相当するものとして、他には、ＩＰアドレスやＭＡＣアドレスなどがあげられる。つまり、テナントの通信を区別できれば良く、仮想ネットワーク識別子以外の情報を利用することも可能である。

回線接続部３１２は、接続管理テーブル３１４２を作成し、ｖＣＥ制御部３１２１や、ＶＸＬＡＮ ＧＷ制御部３１２２の設定や命令を発行しながら、テナントの通信を、テナントが希望する通信条件のキャリア回線へ接続するための処理を実行する。また、情報連携部３１３は、他ＤＣの管理サーバ８との間で、接続管理テーブル３１４２の情報を交換する。

回線管理部３１８は、テナントの契約毎に、契約上、キャリア回線を利用している帯域や、実際にキャリア回線を流れている帯域を計測し、それらの値を回線管理テーブル３１４３へ記録する。

次に、ＣＥ６及びＰＥ７の機能を説明する。識別部３１５は、パケットに含まれる識別子を取得し、識別子毎に異なる処理を実行する。例えば、識別子毎に、参照する宛先表３１０を異ならせたり、識別子毎に、パケットを送信するための通信品質を変えたり、などが可能となる。

ｖＣＥ４は、これに加え、識別子付与部３１６を有し、パケット内に、識別子を付与する。

ＶＸＬＡＮ ＧＷ５は、これに加え、ＶＴＥＰ（VXLAN Tunnel End Point）３１７を有し、ＶＸＬＡＮによるカプセル化を行う。

図２及び図４を用いて、ＶＸＬＡＮによるカプセル化の処理の概要を説明する。

図２に示すＶＭ２−Ａ１が、ＶＭ２−Ａ２へパケットを送信する場合を考える。本実施例におけるＭ１ではマルチテナント環境が実現されているため、ＶＭ２−Ａ１が収容されているＭ１−Ｘ１内では、テナント間通信の分離のために、ＶＬＡＮが用いられているとする。

ＶＭ２−Ａ１が送信したパケットは、ｖＳＷ３−Ｘ１を経由して、ＶＸＬＡＮ５−Ｘ１へ到達し、ここで、ＶＸＬＡＮによるカプセル化処理が行われる。図４に示すように、元々のパケット（１）は、ＶＸＬＡＮ ＧＷ５−Ｘ１のＶＴＥＰ３１７にてカプセル化され、ＶＮＩ（VXLAN Network Identifier）、ＶＴＥＰ３１７のＤＡ２（Destination Address）及びＳＡ２（Source Address）、ＶＬＡＮ２（Virtual Local Area Network）などが付け加えられ（２）、再び、ＶＸＬＡＮ ＧＷ５−Ｘ２にて、カプセル化された部分がはずされ（１）、元のＶＬＡＮ１が付与される。

本実施例では、ＶＸＬＡＮ ＧＷ５にてカプセル化された後のＶＬＡＮ２には、デフォルトＶＬＡＮ ＩＤ１が付与されるものとする。

ＤＣ内ネットワークには、ＶＸＬＡＮカプセル化された後のパケットが流れる。ＶＴＥＰ３１７は、自分が付け加えたＶＮＩでテナントを区別することができるが、ＣＥ６やＰＥ７は、ＶＸＬＡＮに対応していないため、テナントの通信を識別できない可能性がある。従って、ＤＣ間の接続にキャリア回線を用いる場合、テナント毎に、異なる通信条件のキャリア回線を選択することができない。

本実施例は、ＤＣ間接続において、複数の通信条件のキャリア回線の中から、いずれかの通信条件のキャリア回線を、テナント毎に、あるいは、テナント内の通信の種類ごとに、選択することを可能とする。

以下、図５〜図９を用いて、詳細を示す。

ＤＣ−Ｘには、テナントＡのＶＭ２−Ａ１が、テナントＢのＶＭ２−Ｂ１が収容されており、それぞれのテナントは、前述したように、ＤＣ−Ｙ内の自テナントのＶＭと接続させたいという要望がある。このとき、テナントＡが要求するキャリア回線の通信条件は、（Ｂ）低遅延（非冗長）だとし、テナントＢが要求するキャリア回線の通信条件は、（Ａ）ベストエフォートだとする。

ＤＣ内から、異なるキャリア回線への接続する方法は、例えば、ＶＬＡＮ ＩＤ（ＶＩＤ）を利用する。つまり、キャリア回線に接続するＣＥ６にて、ＶＩＤ毎に、接続するキャリア回線を変更する。例えば、図７に示すように、ＣＥ６は、ＶＩＤ「３５０１」が付与されたパケットであれば、（Ｂ）低遅延（非冗長）のキャリア回線へ送信し、ＶＩＤ「１０１」が付与されたパケットであれば、（Ａ）ベストエフォートのキャリア回線へ送信する。

図５に、ＤＣ内から、異なるキャリア回線への接続する際の流れを示す。

大まかには、管理サーバ８による設定処理（５０１）が実行され、次に、ｖＣＥ４及びＶＸＬＡＮ ＧＷ５による接続処理（５０２）が実行される。設定処理は、１回実行すれば良い。接続処理は、設定処理が実施された後に、パケットが流れる都度、実行する。

設定処理（５０１）から説明する。

まず、識別子管理部３１１は、ＤＣ内で使用されている識別子を収集し、識別子管理テーブル３１４１を作成する（５０１１）。具体的には、図６に示すように、ＤＣを特定する情報と、セグメントＩＤと、前述した、ＤＣ内ネットワークで利用されている、ＶＸＬＡＮカプセル化後にデフォルトで付与されるＶＩＤと、仮想ネットワーク識別子として、テナントに割り当てられているＶＩＤ及びＶＮＩと、を対応付ける。併せて、キャリア回線識別子として、異なる通信品質を有するキャリア回線毎に割りあてているＶＩＤの情報を記録し、仮想ネットワーク識別子との重複がないかをチェックする。ただし、上記では、Ｍ１内の通信の分離にＶＬＡＮを用い、Ｍ１間の通信の分離にＶＸＬＡＮを使うことを想定する。

セグメントＩＤとは、他ＩＤ（ＶＩＤ、ＶＮＩなど）の重複を、セグメント毎に許容するもので、例えば、セグメントＩＤが異なれば、同一のＶＩＤでも、異なる通信として識別する。例えばＶＬＡＮの場合、ＩＤ数の上限が４０９４と多くないので、それを超えるテナント数を収容できないという問題が発生する。これに対し、セグメントＩＤを設け、セグメントＩＤの違いでＶＩＤの重複を区別すれば、より多くのテナントを収容できる。

仮想ネットワークを用いて分離する最小範囲がテナントである場合は、図６に示すようにＶＩＤとＶＮＩとは１：１に対応する。仮想ネットワークを用いて分離する範囲がテナントより細かい場合（例えば、テナント内の部署、または、通信の、種類、若しくは、用途、若しくは、アプリケーション）は、その範囲毎に、ＶＬＡＮなどの仮想ネットワークを用いて分離する。その場合、テナント内の分離に用いる識別子（例えばＶＬＡＮのＶＩＤ）とテナント間の分離に用いる識別子（例えばＶＸＬＡＮのＶＮＩ）とは１：１に対応するのではなく、例えば、図６に示すテナントＣのように、テナント毎に付されたＶＮＩに、一つ以上のＶＩＤが対応する。

次に、回線接続部３１２は、接続管理テーブル３１４２を作成する（５０１２）。具体的には、接続管理テーブル３１４２の作成において、図７に示すように、各ＤＣにおいて、分離されているテナント毎、または、通信の種類、若しくは、用途ごとに、指定される回線識別子（付替ＶＩＤ、または、付与ＶＩＤという）を付与する。

付替ＶＩＤの付与処理は、ｖＣＥ４において行っても良いし、ＶＸＬＡＮ ＧＷ５で行っても良い。

上述のように、仮想ネットワークを用いて分離する最小範囲がテナントより小さい場合、すなわち、テナント毎に付されたＶＮＩに一つ以上のＶＩＤが対応する場合は、ＶＮＩとＶＩＤとの組み合わせで付替ＶＩＤが決まる。

本実施例の場合、付替ＶＩＤの数は、回線の種類数以下になるので、仮想ネットワークを用いて分離する範囲に係らず、一つの付替ＶＩＤに一つ以上のＶＮＩが対応する。通信の分離最小範囲がテナントよりさらに細かい場合は、上記一つのＶＮＩに更に一つ以上のＶＩＤが対応する。すなわち、本実施例の場合、Ｌ個のＶＩＤとＭ個のＶＮＩとで分離される通信が、Ｎ個のＶＩＤに集約されることになる。

情報連携部３１３は、接続管理テーブル３１４２の情報を、他ＤＣと交換するため、接続先拠点に示されるＤＣ−Ｙの管理サーバ８−Ｙに送信する（５０１３）。また、接続先拠点に情報送信要求を発行し、情報連携部３１３は、接続先拠点から受信した接続管理テーブル３１４２の情報を、自身が管理する接続管理テーブル３１４２に保存する。

情報連携部３１３は、接続管理テーブル３１４２に、接続先拠点における、同一テナントの情報が更新された場合（５０１４）、５０１５、５０１６に示す処理を実施する。一定時間たっても、接続先拠点の情報が更新されない場合（５０１４）、５０１３の処理に戻る。

本システムでは、接続先ＤＣから、接続管理テーブル３１４２の情報を受け取った契機で、接続先ＤＣにおいて、接続処理の実施準備が完了したものと見なし、５０１５以降の処理を実施する。

ｖＣＥ制御部３１２１は、ｖＣＥ４を配備し、ｖＣＥ４に命令を送信する（５０１５）。具体的には、ｖＣＥ制御部３１２１は、接続管理テーブル３１４２のｖＣＥ処理欄を参照し、テナントＡが、ｖＣＥ４でのＶＩＤ付け替え処理有で登録されていれば、パケットのＶＩＤを、１１から３５０１へ付け替える処理を実施する、テナントＡ用のｖＣＥ４を配備する。テナントＢのように、ｖＣＥ４でのＶＩＤ付け替え処理無で登録されていれば、ｖＣＥ４で、パケットのＶＩＤを付け替える処理は実施しない。

ＶＸＬＡＮ ＧＷ制御部３１２２は、ＶＸＬＡＮ ＧＷ５に命令を送信する（５０１６）。具体的には、ＶＸＬＡＮ ＧＷ制御部３１２２は、接続管理テーブル３１４２のＶＸＬＡＮ ＧＷ処理欄を参照し、テナントＢが、ＶＸＬＡＮ ＧＷでのＶＩＤ付与処理有で登録されていれば、パケットに、ＶＩＤ１０１を付与する処理を実施するよう、ＶＸＬＡＮ ＧＷ５に設定する。テナントＡのように、ＶＸＬＡＮ ＧＷ５でのＶＩＤ付与処理無で登録されていれば、ＶＸＬＡＮ ＧＷ５でパケットのＶＩＤを付与する処理は実施しない。

なお、５０１５、５０１６の順番は問わない。

次に、識別子設定部３１２３が、ｖＳＷ３、ＶＸＬＡＮ ＧＷ５などの通信装置のＶＩＤを設定する（５０１７）。この処理については、図８を用いて説明する。

図８は、キャリア回線接続システムの論理的な接続と、処理の流れを示した図である。

本実施例では、（Ｂ）低遅延（非冗長）のキャリア回線への接続にはｖＣＥ４において、（Ａ）ベストエフォートのキャリア回線への接続にはＶＸＬＡＮ ＧＷ５において、設定を実施する方法を例示する。

本システムにて、テナントの通信が、キャリア回線へ接続するように、テナントのＶＭを発信したパケットが、ＣＥ６に到達するまでの経路に配置される通信装置のＶＩＤを揃えておく必要がある。つまり、識別子設定部３１２２は、接続管理テーブル３１４２と、トポロジ情報３１４４を参照し、ｖＳＷ３やＶＸＬＡＮ ＧＷなどの通信装置のＶＬＡＮを設定する。

例えば、テナントＡ向けの、ＶＭ２−Ａ１からＶＭ２−Ａ３への通信を可能とする設定としては、ポートＰＸ４にＶＩＤ３５０１のトランクＶＬＡＮを、ポートＰＸ５にＶＩＤ１１、３０５１のトランクＶＬＡＮを、同様に、ＤＣ−ＸのｖＳＷ３−Ｘ３からＣＥ６−Ｘに到達するまでの経路にある通信装置のポートＰｎに、ＶＩＤ３５０１のトランクＶＬＡＮを設定する。

さらに、ＤＣ−Ｙの、ＣＥ６−ＹからｖＳＷ３−Ｙ３のポートＰＹ４に到達するまでの経路にある通信装置のポートＰｎに、ＶＩＤ３５０１のトランクＶＬＡＮを設定する必要があるが、この設定は、ＤＣ−Ｙにて実施される。

一方、テナントＢ向けの、ＶＭ２−Ｂ１からＶＭ２−Ｂ３への通信を可能とする設定としては、ポートＰＸ６にＶＩＤ１２のトランクＶＬＡＮを設定する。そして、ＶＸＬＡＮ ＧＷ５−Ｘ１からＣＥ６−Ｘに到達するまでの経路にある通信装置のポートＰｎに、ＶＩＤ１０１のトランクＶＬＡＮを設定する。

さらに、ＤＣ−Ｙの、ＣＥ６−ＹからＶＸＬＡＮ ＧＷ５−Ｙ１に到達するまでの経路にある通信装置のポートＰｎに、ＶＩＤ１０１のトランクＶＬＡＮを設定する必要があるが、この設定は、ＤＣ−Ｙにて実施される。

以上に、ＤＣ−ＸのＶＭ２からＤＣ−ＹのＶＭ２への通信に関する、識別子設定部３１２３の設定処理を例示したが、ＤＣ−ＹからＤＣ−Ｘへの通信に関しては同様の設定処理が実施される。

以上が、管理サーバ８が実施する設定処理の流れとなる。

次に、図８、図９を用いて、接続処理（５０２）の処理の流れを示す。

図８（ａ）、図９（ａ）を用いてＤＣ−Ｘ内の処理を説明する。

まず、ＤＣ−ＸのテナントＡのＶＭ２−Ａ１が、ＤＣ−ＹのＶＭ２−Ａ３（図２参照）へパケットを送信する場合を考える。

ＶＭ２−Ａ１は、パケットを送信する。このときの、パケットの送信処理は、前述したように、通信装置３４が、宛先表３１０を参照して、宛先ポートＰｎに送信するという流れになるが、以下省略する。ｖＳＷ３−Ｘ１は、ポートＰＸ１でパケットを受信し、通信装置３４が、ＰＸ１のアクセスＶＬＡＮに設定されているＶＩＤ１１を付与し（８０１）、パケットを送信する。

パケットは、ｖＣＥ４−ＡＸまたはＶＸＬＡＮ ＧＷ５−Ｘ３において、特定のＶＩＤに対して、ＶＩＤの変更（付替）または付与が行われる。「特定」とは、テナントが選択した、キャリア回線の通信条件毎に決まる。本実施例では、負荷分散のため、ｖＣＥ４またはＶＸＬＡＮ ＧＷ５にてＶＩＤの変更（付替）または付与を行う。具体的には、低遅延の通信条件を選択した通信は、ｖＣＥ４にて変更（付替）処理を行うので、そのＶＩＤは「特定のＶＩＤ」となり、ベストエフォートの通信条件を選択した通信は、ＶＸＬＡＮ ＧＷ５にて付与処理を行うので、そのＶＩＤが「特定のＶＩＤ」となる。

ｖＣＥ４−ＡＸは、パケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤ１１であれば（８０２）、ＶＩＤ３５０１へ変更し（８０３）、パケットを送信する。

ＶＸＬＡＮ ＧＷ５−Ｘ３はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤでないため（８０４）、８０５、８０６の処理は実行せず、パケットを送信する。ＣＥ６−Ｘは、パケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを参照し（８０７）、ＶＩＤ３５０１に割り当てられている低遅延のキャリア回線ＳＬＡ（ａ）へ、パケットを送信する（８０８）。

ｖＣＥ４及びＶＸＬＡＮ ＧＷ５で識別する特定のＶＩＤは、管理サーバ８のｖＣＥ制御部３１２１が、ｖＣＥに対して、事前に設定していたものである。管理サーバ８は、接続管理テーブル３１４２に参照し、ｖＣＥ４及びＶＸＬＡＮ ＧＷ５に対して、ＶＩＤの付け替えを実施するか否かを、パケットに付与されているＶＩＤを元に判別するように指示し、ＶＩＤの付け替え要の場合、同テーブルに記載されている付替ＶＩＤに付け替えるように指示する。

上記の例では、テナントＡのパケットが、ＶＸＬＡＮ ＧＷ５にてカプセル化されることなく、ＤＣ外へ出て行く。カプセル化するか否かはあくまで実施形態の違いであって、後述のステップ８０３のように、カプセル化を実施しても良い。

図８（ｂ）、図９（ｂ）を用いてＤＣ−Ｙ内の処理を説明する。

ＣＥ６−Ｙは、キャリア網からパケットを受信し、ＤＣ−Ｙ内ネットワークにパケットを送信する。ＶＸＬＡＮ ＧＷ５−Ｙ３はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤでないため（８１１）、８１２、８１３の処理は実行せず、パケットを送信する。ｖＣＥ４−ＡＸはパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが特定のＶＩＤ３５０１であれば（８１４）、ＶＩＤ１１へ変更し（８１５）、パケットを送信する。ｖＳＷ３−Ｙ１はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを参照し（８１６）、ＶＩＤ１１が割り当てられているポートＰＹ１へ、パケットを送信する（８１７）。

次に、ＤＣ−ＸのテナントＢのＶＭ２−Ｂ１が、ＤＣ−ＹのＶＭ２−Ｂ３（図２参照）へパケットを送信する場合を考える。

図８（ａ）、図９（ａ）を用いてＤＣ−Ｘ内の処理を説明する。ただし、ＶＭ２−Ａ１、ｖＣＥ４−ＡＸは、ＶＭ２−Ｂ１、ｖＣＥ４−ＢＸと読み替える。

ＶＭ２−Ｂ１は、パケットを送信する。ｖＳＷ３−Ｘ１は、ポートＰＸ３でパケットを受信し、通信装置３４が、ＰＸ３のアクセスＶＬＡＮに設定されているＶＩＤ１２を付与し（８０１）、パケットを送信する。ｖＣＥ４−ＢＸは、パケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤでないため（８０２）、８０３の処理は実施せず、パケットを送信する。

ＶＸＬＡＮ ＧＷ５−Ｘ３はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤ１２であれば（８０４）、ＶＴＥＰ３１７へ渡し、ＶＴＥＰ３１７は、ＶＸＬＡＮカプセル化後、テナントＢを識別するＶＮＩ１０００２を付与し（８０５）、さらに、カプセル化後のパケットに、ＶＩＤ１０１を付与し（８０６）、パケットを送信する。

ＶＸＬＡＮ ＧＷ５での特定のＶＩＤ識別とは、管理サーバ８のＶＸＬＡＮ ＧＷ制御部３１２２が、ＶＸＬＡＮ ＧＷ５に対して、事前に設定していたものである。

ＣＥ６−Ｘは、パケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを参照し（８０７）、ＶＩＤ１０１に割り当てられている低遅延のキャリア回線ＢＥ（ｂ）へ、パケットを送信する（８０８）。

図８（ｂ）、図９（ｂ）を用いてＤＣ−Ｙ内の処理を説明する。ただし、ｖＣＥ４−ＡＹ、ＶＭ２−Ａ３は、ｖＣＥ４−ＢＸ、ＶＭ２−Ｂ３と読み替える。

ＣＥ６−Ｙは、キャリア網からパケットを受信し、ＤＣ−Ｙ内ネットワークにパケットを送信する。ＶＸＬＡＮ ＧＷ５−Ｙ３はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤ１２であれば（８１１）、ＶＴＥＰ３１７へ渡し、ＶＴＥＰ３１７は、ＶＸＬＡＮカプセル化後、テナントＢを識別するＶＮＩ１０００２を付与し（８１２）、さらに、カプセル化後のパケットに、ＶＩＤ１２を付与し（８１３）、パケットを送信する。ｖＣＥ４−ＢＸはパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤでないため（８１４）、８１５の処理は実施せず、パケットを送信する。ｖＳＷ３−Ｙ１はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを参照し（８１６）、ＶＩＤ１２が割り当てられているポートＰＹ２へ、パケットを送信する（８１７）。

本実施例では、各パケットがｖＣＥ４とＶＸＬＡＮ ＧＷ５を経由し、各装置において自装置での処理対象か否かを判断している。他の方法として、ｖＳＷ３−Ｘ１が、ＶＩＤ付与（８０１）後、ＶＩＤを判別し、ＩＤ毎に、ｖＣＥ４またはＶＸＬＡＮ ＧＷ５にパケットを送信することで、ｖＣＥ４またはＶＸＬＡＮ ＧＷ５の判断処理を省略させても良い。その場合、ｖＣＥ４−ＡＸはパケットをＣＥ６−Ｘへ送信する。また、受信側ＤＣにおいても同様で、ＣＥ６−Ｙが、ＶＩＤを判別し、ＩＤ毎に、ｖＣＥ４またはＶＸＬＡＮ ＧＷ５にパケットを送信してもよい。

上記に示したキャリア回線接続システムが実施する処理により、テナント毎に、複数の通信条件のキャリア回線の中から、テナントが希望する通信条件のキャリア回線を、選択することが可能となる。つまり、テナントＡは、（Ｂ）低遅延（非冗長）のキャリア回線へ、テナントＢは、（Ａ）ベストエフォートのキャリア回線へ接続することが可能となる。

図１０は、管理サーバ８の回線管理部３１８が実施する、キャリア回線の利用状況の監視について示したテーブルとなる。

回線管理部３１８は、回線管理テーブル３１４３に示すように、（１）キャリアから契約しているキャリア回線の帯域と、キャリア回線を識別するための識別子ＶＩＤと、（２）割り当て済の帯域（テナントとの契約に基づき割り当て済のキャリア回線の帯域）の状況と、（３）計測した実際の利用帯域とを管理している。

なお、計測は、ＳＮＭＰやｓＦｌｏｗ等の公知の技術を利用することを前提とし、一定時間毎に計測した値を書き換える形でも良いし、経時データとして、計測した値の履歴も含め記録しておく形でも良い。

例えば、キャリア回線ＢＥ（ｂ）の状況を見ると、（１）キャリア契約帯域は１０Ｇｂｐｓに対し、（２）割り当て済帯域は６．２０Ｇｂｐｓであり、（３）利用帯域は４．６８Ｇｂｐｓである。この場合、回線に余裕があるため、例えば、（Ａ）ベストエフォートを希望するテナントが新規に現れた場合、前記回線に追加しても良い。本テーブルの（２）割り当て済帯域や、（３）利用帯域を参照することによって、キャリア回線の中に収容するテナント数を決める目安にすることができる。

また、１つのキャリア回線の中に、いくつのテナントを収容するかは、自由に決めることができる。１つのキャリア回線の中に、より多くのテナント数を収容することは、通信品質に影響する。例えば、例えば、キャリア回線（Ａ）ベストエフォート２は、（１）１０Ｇｂｐｓに対し、（２）１２．８０Ｇｂｐｓとなり、（２）が（１）を超えてしまっているが、実際に利用されている帯域である（３）８．００Ｇｂｐｓであるため、キャリア回線ＢＥ（ｃ）では、輻輳が発生しない状態で通信可能ということができる。例えば、キャリア回線接続システムは、回線管理テーブル３１４３を有効活用し、（３）に（１）より低い値でしきい値（例えば９Ｇｂｐｓ）を設定し、（３）がしきい値を超過した際、そのキャリア回線に、今後、テナントを割り当てないようにするように、アラートをあげるなどの処理を組み込むことも可能となる。

図１１は、キャリア回線接続設定用のインターフェース画面を例示した図である。これは、ＵＩ生成サーバ９の事業者向けＵＩ生成部３１８によって、提供される。このインターフェース画面は、ＤＣ事業者が、自身のために、用意するインターフェースものであ、キャリア回線接続システムを用いて、テナントの通信を、キャリア回線に接続するために、ＤＣ事業者の運用者が、利用する。

インターフェース画面には、ＤＣ毎に、システムの構成領域と、識別子管理領域と、回線管理領域と、現在の設定状況確認領域と、ＤＣ間接続設定領域がある。

システム構成領域には、ＶＭ２やｖＳＷ３、ＶＸＬＡＮ ＧＷ５等の、ＤＣ事業者が管理するマシン等の接続関係が示される。

識別子管理領域は、図６に示した識別子が表示され、例えば、識別子管理領域で任意の識別子をクリックすると、構成領域にて設定されている装置と識別子の値が表示されるようになっていても良い。

回線管理領域には、図１０に示したように、キャリア回線毎の（１）キャリア契約帯域と、（２）割り当て済帯域と、（３）利用帯域が表示される。この表示は、例示したようにグラフ形式で表示されていても良いし、数値形式で表示されていても良いし、その両方でも良い、また、例示しているように、経時データを表示できるようになっていても良いし、表示している以外の過去のデータを参照できるような形式になっていても良い。

現在の設定状況確認領域には、そのＤＣにおいて、現在、キャリア回線に接続しているテナントと、キャリア回線の通信条件が示される。

ＤＣ間接続設定領域は、テナントから、ＤＣ間接続に関して申請があった場合に、そのテナントの通信を、要望のあった通信条件を有するキャリア回線にて接続するための設定領域になる。運用者は、例えばプルダウンにて、ＤＣに収容されているテナントの中から申請のあったテナントを選択し、テナントが要望しているキャリア回線を選択し、設定ボタンを押下すると、本インターフェースと連携している、キャリア回線接続システムが、接続の設定を実施する。例えば、キャリア回線が「ベストエフォート」の通信条件と、「低遅延」の通信条件とで、前述した「特定のＶＩＤ」が異なり、それぞれ、ステップ８０２と、ステップ８０４で、異なる条件分岐の結果となる。

なお、キャリア回線への選択では、例えば、図１０に示した、（３）利用帯域を見て、空きのあるキャリア回線を選択する構成も可能である。そして、現在の設定状況確認領域に、新規に設定された情報が反映される。また、本インターフェース画面から、解除の設定を行うように構成してもよい。

図１２は、ＤＣ間接続申し込み用のインターフェース画面を例示した図である。これは、ＵＩ生成サーバ９のテナント向けＵＩ生成部３１９によって提供される。これは、ＤＣ事業者が、ＤＣにシステムを収容しているテナントのために、用意するインターフェースになる。テナントの通信を、テナントが選択した通信条件にて、あるキャリア回線に接続するために、テナントの運用者が、利用する。

インターフェース画面には、現在の利用状況確認領域と、ＤＣ間接続利用申し込み領域がある。例えば、テナントのユーザは、ＤＣ事業者から提供されるＵＲＬにアクセスし、ＤＣ事業者から付与されたテナント用のＩＤとパスワードを入力することにより、テナント専用のインターフェース画面にアクセスすることができる。

現在の利用状況確認領域には、テナントのシステムが収容されているＤＣと、テナントが利用申し込みを実施し相互接続可能な状態にある拠点と、それら拠点を接続しているキャリア回線の通信条件とが表示される。ＤＣ間接続利用申し込み領域は、テナントが、２以上のＤＣに収容されるシステム間で、相互通信させたい場合に、そのＤＣ間をキャリア回線で接続する申請を実施する。

ユーザは、例えばプルダウンにて、接続させたい２つの拠点と、その間を接続するキャリア回線の通信条件を選択し、申込ボタンを押下すると、ＤＣ事業者に、申し込み情報が送信される。送信の形式は、図１１に示したＤＣ間接続申し込み用インターフェース画面にポップアップなどで表示させても良いし、メールなどでも良い。また、キャリア回線接続システムと連携し、本申し込みがなされた後、自動的に設定が行われても良い。また、同様に、本インターフェース画面から、申し込みの解除を行うように構成してもよい。

なお、図１１、図１２に例示したインターフェース画面は、あくまで一例であり、必要とする処理が行えれば全ての要素が揃っている必要はないし、他の要素が入っていても良い。

本実施例では、管理サーバ８が、ｖＣＥ４と、ＶＸＬＡＮ ＧＷ５と連携し、パケットのＶＩＤを変更する例を示した。この実施例は、処理の負荷分散に効果があるが、この処理を他の専用装置が実施しても良いし、全てＶＸＬＡＮ ＧＷ５が実施しても良い。

本実施例に示した、管理サーバから通信装置への指示は、例えば、Ｏｐｅｎｆｌｏｗ（登録商標）などの技術を用いて実現することが可能である。

本実施例では、テナントが、常時、単一の通信条件を有するキャリア回線を選択する例を示したが、例えば、時間帯毎に、異なるキャリア回線を選択しても良い。その場合、例えば、図７に示した接続管理テーブル３１４２に、時間帯列を追加し、単一のテナントが、時間帯や、期間毎、曜日毎などに、異なる通信条件を有するキャリア回線に接続する形でも良い。

上記説明とは異なり、分離する通信の最小範囲を、アプリケーション単位としても良い。その場合、例えば、テナントにアプリケーション毎に異なるＶＩＤを有したパケットを送信するように設定してもらい、ｖＳＷ３にてアクセスＶＬＡＮにてＶＩＤを変更する設定を削除し、ＶＩＤ付け替えの設定を、テナント毎に実施するのではなく、アプリケーション毎に実施するとしても良い。その場合、図７に示す仮想ネットワーク識別子のＶＩＤ列に、ｖＳＷ３で設定するテナントを識別するためのＶＩＤが入るのではなく、アプリケーションが有するＶＩＤが入ることになる。

また、本実施例で例示した通信条件は、回線の品質（遅延なしまたはベストエフォート）や、回線の冗長化、回線の占有または共有などであったが、他の条件でも良い。例えば、ＤＣ事業者が、複数のキャリアと契約しておき、テナント毎に、キャリア自体を変更するという形でも良い。

上記開示は、代表的実施形態に関して記述されているが、当業者は、開示される主題の趣旨や範囲を逸脱することなく、形式及び細部において、様々な変更や修正が可能であることを理解するであろう。

１：物理計算機、２：仮想計算機、３：仮想スイッチ、４：仮想センターエッジ、５：ＶＸＬＡＮ：ＧＷ、６：センターエッジ、７：プロバイダーエッジ、８：管理サーバ、９：ＵＩ生成サーバ、３０：ＣＰＵ、３１：メモリ、３１０：宛先表、３１１：識別子管理部、３１２：回線接続部、３１２１：ｖＣＥ制御部、３１２２：ＶＸＬＡＮ：ＧＷ制御部、３１３：情報連携部、３１４１：識別子管理テーブル、３１４２：接続管理テーブル、３１４３：回線管理テーブル、３１４４：トポロジ情報、３１５：識別部、３１６：識別子付与部、３１７：ＶＴＥＰ、３１８：事業者向けＵＩ生成部、３１８：テナント向けＵＩ生成部、３１９：回線管理部３１８、３２：入力装置、３３：出力装置、３４：通信装置、Ｐｎ：ポート

Claims (13)

1. 複数のデータセンタを通信網で接続するデータセンタ連携システムであって、
   前記通信網には、通信条件の異なる複数の回線が設定されており、
   管理サーバを備え、
   各々のデータセンタは物理計算機を備え、
   前記物理計算機は、複数のテナントがそれぞれ利用する複数の仮想計算機を備え、
   前記管理サーバは、
   前記回線でパケットを送受信する場合の、指定される通信条件と、前記パケットに付与する第一の仮想ネットワーク識別子と、を対応付けて管理し、
   各々の前記データセンタについて、
   一つの仮想計算機を利用する前記テナントについて、各々の前記テナントのパケットを他のテナントのパケットと分離するための第二の仮想ネットワーク識別子を管理し、
   前記テナントの前記パケットについて指定される前記通信条件に基づき定まる第一の仮想ネットワーク識別子と、前記テナントの前記パケットについて定まる前記第二の仮想ネットワーク識別子と、を対応付けて管理し、
   複数のデータセンタ間でパケットの送受信を行う場合、
   送信側の前記データセンタにおいて、
   ゲートウェイ装置は、
   前記第二の仮想ネットワーク識別子に基づいて分離されたパケットを、前記送信側データセンタの前記対応付けに基づいて定まる前記第一の仮想ネットワーク識別子を用いて分離して、
   エッジ装置は、
   前記通信網へ、前記第一の仮想ネットワーク識別子が付与されたパケットを送信する
   ことを特徴とするデータセンタ連携システム。
2. 請求項１に記載のデータセンタ連携システムにおいて、
   受信側の前記データセンタにおいて、
   エッジ装置は、
   前記通信網から、前記第一の仮想ネットワーク識別子が付与されたパケットを受信し、
   ゲートウェイ装置は、
   前記第一の仮想ネットワーク識別子を用いて分離された前記パケットを、前記受信側データセンタにおいて前記第一の仮想ネットワーク識別子に基づいて定まる前記第二の仮想ネットワーク識別子を用いて分離し、
   分離した前記パケットを前記第二の仮想ネットワーク識別子に基づいて定まるテナントが利用する仮想計算機へ送信する
   ことを特徴とするデータセンタ連携システム。
3. 請求項１に記載のデータセンタ連携システムにおいて、
   前記送信側のデータセンタにおいて、第二の仮想ネットワーク識別子による分離の対象パケットが、第三の仮想ネットワーク識別子で分離されていた場合は、
   前記管理サーバは、
   各々の前記データセンタについて、
   前記第二の仮想ネットワーク識別子と前記第三の仮想ネットワーク識別子との組み合わせで定まる前記第一の仮想ネットワーク識別子を、前記組み合わせと対応付けて管理し、
   前記送信側データセンタの前記ゲートウェイ装置は、
   前記第三の仮想ネットワーク識別子と前記第二の仮想ネットワーク識別子とに基づいて分離されたパケットを、前記送信側データセンタにおける前記対応付けに基づいて定まる前記第一の仮想ネットワーク識別子を用いて分離する
   ことを特徴とするデータセンタ連携システム。
4. 請求項３に記載のデータセンタ連携システムにおいて、
   受信側の前記データセンタにおいて、
   エッジ装置は、
   前記通信網から、前記第一の仮想ネットワーク識別子が付与されたパケットを受信し、
   ゲートウェイ装置は、
   前記第一の仮想ネットワーク識別子を用いて分離された前記パケットを、受信側データセンタにおける前記対応付けに基づいて定まる前記第三の仮想ネットワーク識別子と前記第二の仮想ネットワーク識別子とを用いて分離し、
   前記分離されたパケットを、前記第二の仮想ネットワーク識別子に基づいて定まるテナントが利用する仮想計算機へ送信する
   ことを特徴とするデータセンタ連携システム。
5. 請求項１に記載のデータセンタ連携システムにおいて、
   各々の前記データセンタは、前記管理サーバを備えることを特徴とするデータセンタ連携システム。
6. 請求項３に記載のデータセンタ連携システムにおいて、
   前記第三の仮想ネットワーク識別子を、一つの前記テナントにおける、通信の種類毎、または、通信の用途毎、または、アプリケーション毎に付与する
   ことを特徴とするデータセンタ連携システム。
7. 請求項１に記載のデータセンタ連携システムにおいて、
   前記第一の仮想ネットワーク識別子と第三の仮想ネットワーク識別子とはＶＬＡＮのＶＩＤであり、前記第二の仮想ネットワーク識別子は、ＶＸＬＡＮのＶＮＩである
   ことを特徴とするデータセンタ連携システム。
8. 通信条件の異なる複数の回線が設定された通信網による複数のデータセンタの接続方法であって、
   前記回線でパケットを送受信する場合の、指定される通信条件と、前記パケットに付与する第一の仮想ネットワーク識別子と、を対応付けて管理し、
   一つの仮想計算機を利用する前記テナントについて、各々の前記テナントのパケットを他のテナントのパケットと分離するための第二の仮想ネットワーク識別子を管理し、
   前記テナントの前記パケットについて指定される前記通信条件に基づき定まる第一の仮想ネットワーク識別子と、前記テナントの前記パケットについて定まる前記第二の仮想ネットワーク識別子と、を対応付けて管理し、
   送信側の前記データセンタにおいて、
   前記第二の仮想ネットワーク識別子に基づいて分離されたパケットを、前記送信側データセンタの前記対応付けに基づいて定まる前記第一の仮想ネットワーク識別子を用いて分離して、
   前記通信網へ、前記第一の仮想ネットワーク識別子が付与されたパケットを送信する
   ことを特徴とするデータセンタ接続方法。
9. 請求項８に記載のデータセンタ接続方法において、
   受信側の前記データセンタにおいて、
   前記通信網から、前記第一の仮想ネットワーク識別子が付与されたパケットを受信し、
   前記第一の仮想ネットワーク識別子を用いて分離された前記パケットを、前記受信側データセンタにおいて前記第一の仮想ネットワーク識別子に基づいて定まる前記第二の仮想ネットワーク識別子を用いて分離し、
   分離した前記パケットを前記第二の仮想ネットワーク識別子に基づいて定まるテナントが利用する仮想計算機へ送信する
   ことを特徴とするデータセンタ接続方法。
10. 請求項８に記載のデータセンタ接続方法において、
    第二の仮想ネットワーク識別子による分離の対象パケットが、第三の仮想ネットワーク識別子で分離されている場合は、前記第二の仮想ネットワーク識別子と前記第三の仮想ネットワーク識別子との組み合わせで定まる前記第一の仮想ネットワーク識別子を、前記組み合わせと対応付けて管理し、
    前記送信側データセンタにおいて、
    前記第三の仮想ネットワーク識別子と前記第二の仮想ネットワーク識別子とに基づいて分離されたパケットを、前記送信側データセンタにおける前記対応付けに基づいて定まる前記第一の仮想ネットワーク識別子を用いて分離する
    ことを特徴とするデータセンタ接続方法。
11. 請求項１０に記載のデータセンタ接続方法において、
    受信側の前記データセンタにおいて、
    前記通信網から、前記第一の仮想ネットワーク識別子が付与されたパケットを受信し、
    前記第一の仮想ネットワーク識別子を用いて分離された前記パケットを、受信側データセンタにおける前記対応付けに基づいて定まる前記第三の仮想ネットワーク識別子と前記第二の仮想ネットワーク識別子とを用いて分離し、
    前記分離されたパケットを、前記第二の仮想ネットワーク識別子に基づいて定まるテナントが利用する仮想計算機へ送信する
    ことを特徴とするデータセンタ接続方法。
12. 請求項１０に記載のデータセンタ接続方法において、
    前記第三の仮想ネットワーク識別子を、一つの前記テナントにおける、通信の種類毎、または、通信の用途毎、または、アプリケーション毎に付与する
    ことを特徴とするデータセンタ接続方法。
13. 請求項８に記載のデータセンタ接続方法において、
    前記第一の仮想ネットワーク識別子と第三の仮想ネットワーク識別子とはＶＬＡＮのＶＩＤであり、前記第二の仮想ネットワーク識別子は、ＶＸＬＡＮのＶＮＩであることを特徴とするデータセンタ接続方法。

Images