JP5871063B2 - マルチテナントシステム、スイッチ、コントローラ、及びパケット転送方法 - Google Patents

Description

本発明は、マルチテナントシステムに関し、特に、テナント識別情報を認識できない機器が接続されているマルチテナントシステムに関する。

クラウドコンピューティングにおいて、サーバ装置や、スイッチ、ストレージ等のハードウェアを、複数のユーザで共有するマルチテナントシステムが知られている。図１は、マルチテナントシステムにおけるリソース共有レベルを説明するための図である。マルチテナントシステムでは、リソース共有レベルに応じて、ＩａａＳ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、ＰａａＳ（Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ）、及びＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）といった利用形態がある。従来のシステム（シングルテナントシステム）では、ハードウェア、ＯＳ／ミドルウェア、及びアプリケーションをユーザが管理していた。ＩａａＳでは、ハードウェアを、システムベンダーが管理し、アプリケーション、及びＯＳ／ミドルウェアについては、ユーザが管理する。ＰａａＳでは、ハードウェア、及びＯＳ／ミドルウェアをシステムベンダーが管理し、アプリケーションについては、ユーザが管理する。ＳａａＳでは、ハードウェア、ＯＳ／ミドルウェア、及びアプリケーションを、システムベンダーが管理する。

マルチテナントシステムは、ＧＲＥ（Ｇｅｎｅｒｉｃ Ｒｏｕｔｉｎｇ Ｅｎｃａｐｓｕｌａｔｉｏｎ）等のトンネリングプロトコルによって実現されることが多い。その理由は、パケットをカプセル化する際に、テナント識別情報を付加することができるためである。また、トンネリングプロトコルを利用すると、ＶＬＡＮによりマルチテナントシステムを実現する場合に比べて、作成可能なテナント数に上限がないという利点もある。図２は、トンネリングプロトコルによるマルチテナントシステムを説明するための図である。図２では、ＤＣ（Ｄａｔａ Ｃｅｎｔｅｒ）１に、テナントＡネットワークとテナントＢネットワークが構築されている。同様に、ＤＣ２に、テナントＡネットワークとテナントＢネットワークが構築されている。ＤＣ１のテナントＡネットワークと、ＤＣ２のテナントＡネットワークは、トンネリングプロトコルを利用して接続されている。ＤＣ１のゲートウェイ、及びＤＣ２のゲートウェイは、ヘッダ情報（以下、付加情報と称す）の追加によるカプセル化パケットの作成と、付加情報の除去によるカプセル化パケットの解除を行う。このとき、カプセル化されたパケットの付加情報には、Ｌ３ヘッダと共に、テナント識別情報が含まれている。

図２のＤＣ１、又はＤＣ２のようなマルチテナントシステム環境において、テナントＡネットワーク、及びテナントＢネットワークの共有ストレージとして、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を利用したいというニーズがある。しかしながら、テナント識別情報を認識できない機器（例えば、システムベンダーやユーザが既存の資産として所持しているＳＡＮ）は、トンネリングプロトコルによるカプセル化パケットを受信するように設計されていない。そのため、既存のテナント識別情報を認識できない機器は、カプセル化されたパケット内のテナント識別情報を読み取ることができず、マルチテナントシステムに利用することができなかった。

一方、スイッチによるパケットの転送処理と、スイッチの制御処理を分離させたオープンフローネットワークシステムが知られている。オープンフローネットワークシステムでは、１つ以上のスイッチと、スイッチのパケット転送制御設定を指示するコントローラで構成される。コントローラは、スイッチのフローテーブルにフローエントリを設定する。スイッチは、当該フローエントリに基づいて、パケットを転送する。スイッチは、パケットを受信した際に、当該パケットを処理するためのフローエントリが、フローテーブルにない場合には、当該パケットをコントローラに転送する（以下、「パケットイン」という。）。コントローラは、パケットインされたパケットに基づくフローエントリを作成し、当該フローエントリを、当該パケットを転送するスイッチに設定する。コントローラは、スイッチにフローエントリを設定した後、パケットインを行ったスイッチに、当該パケットを返信する（以下、「パケットアウト」という。）。

本発明の分野に関連する文献公知発明として、特開２００９−１５２９５３号公報（特許文献１）が知られている。特許文献１には、アプリケーションヘッダの書き換えにより、マルチテナントシステムを実現する場合に利用できるゲートウェイ装置、及びパケット転送方法の発明が開示されている。

特開２００９−１５２９５３号公報

本発明の目的は、テナント識別情報を認識できない機器を利用できるマルチテナントシステムを提供することにある。

本発明のテナントシステムは、テナント識別情報を有するＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）が動作するサーバ装置と、テナント識別情報を認識できない機器と、フローエントリに基づいてパケットを転送する複数のスイッチと、スイッチにフローエントリを設定するコントローラを備える。複数のスイッチは、サーバ装置が接続された第１のスイッチ、及びテナント識別情報を認識できない機器が接続された第２のスイッチを含む。

第１のスイッチは、ＶＭからテナント識別情報を認識できない機器に送信されるパケットを、ＶＭのテナント識別情報を含む付加情報が付加されたカプセル化パケットにカプセル化する処理部と、カプセル化パケットを、コントローラにパケットインし、コントローラからパケットアウトされたカプセル化パケットを、フローエントリに基づいて転送する転送処理部を備える。

コントローラは、パケットインされたカプセル化パケットの往路経路を計算する経路計算部と、往路経路上のスイッチにフローエントリを設定するフローエントリ設定部を備える。コントローラは、当該カプセル化パケットから付加情報を除去する動作を規定したフローエントリを、第２のスイッチに設定する。

第２のスイッチは、カプセル化パケットを受信する転送処理部と、フローエントリに基づいて、カプセル化パケットの付加情報を除去する処理部と、アドレス変換テーブルに基づいて、パケットの送信元ＩＰアドレスを、第２のスイッチが管理するＩＰアドレスに変換するアドレス変換部を備える。転送処理部は、当該送信元ＩＰアドレスが変換されたパケットを、テナント識別情報を認識できない機器に送信する。

本発明のパケット転送方法は、マルチテナントシステムにより実行されるパケット転送方法である。本発明のパケット転送方法は、ＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）が、テナント識別情報を認識できない機器宛のパケットを送信するステップと、第１のスイッチが、当該パケットを、コントローラにパケットインするステップと、コントローラが、当該パケットの往路経路を計算するステップと、コントローラが、当該パケットを転送するためのフローエントリを、往路経路上のスイッチに設定するステップを具備する。当該設定するステップでは、ＶＭのテナント識別情報を含む付加情報をパケットに付加して当該パケットをカプセル化する動作を規定したフローエントリが、第１のスイッチに設定される。又、カプセル化されたパケットから付加情報を除去する動作を規定したフローエントリが第２のスイッチに設定される。本発明のパケット転送方法は、更に、第１のスイッチが、フローエントリに従い、ＶＭのテナント識別情報を含む付加情報を付加して当該パケットをカプセル化するステップと、第２のスイッチが、当該カプセル化パケットを受信するステップと、第２のスイッチが、フローエントリに従い、当該カプセル化パケットから付加情報を除去するステップと、第２のスイッチが、アドレス変換テーブルに基づいて、当該付加情報が除去されたパケットの送信元ＩＰアドレスを、第２のスイッチが管理するＩＰアドレスに変換するステップと、第２のスイッチが、送信元ＩＰアドレスが変換されたパケットを、テナント識別情報を認識できない機器に送信するステップとを具備する。

本発明によれば、テナント識別情報を認識できない機器を利用できるマルチテナントシステムを提供することができる。

上記発明の目的、効果、特徴は、添付される図面と連携して実施の形態の記述から、より明らかになる。
図１は、マルチテナントシステムにおけるリソースの共有レベルを説明するための図である。 図２は、トンネリングプロトコルによるマルチテナントシステムを説明するための図である。 図３は、本発明の第１実施形態のマルチテナントシステムの全体図である。 図４は、本発明の第１実施形態のマルチテナントシステムにおけるＯＦＣ１のブロック図である。 図５は、本発明の第１実施形態のマルチテナントシステムにおけるＯＦＳ２のブロック図である。 図６は、本発明の第１実施形態のフローテーブル２５の例である。 図７は、本発明の第１実施形態のＭＡＣアドレステーブル２６の例である。 図８は、本発明の第１実施形態のテナント管理テーブル２７の例である。 図９は、本発明の第１実施形態のゲートウェイ管理テーブル２８の例である。 図１０は、本発明の第１実施形態のアドレス変換テーブル２９の例である。 図１１は、本発明の第１実施形態のマルチテナントシステムにおけるパケット転送方法（往路）のフローチャートである。 図１２は、図１１のパケット転送方法（往路）における往路経路（ＶＭ４−１→ＳＡＮ６）上のパケットを模式的に示す図である。 図１３は、本発明の第１実施形態のマルチテナントシステムにおけるパケット転送方法（復路）のフローチャートである。 図１４は、図１３のパケット転送方法（復路）における復路経路（ＳＡＮ６→ＶＭ４−１）上のパケットを模式的に示す図である。 図１５は、本発明の第２実施形態のマルチテナントシステムにおけるＯＦＣ１のブロック図である。 図１６は、本発明の第２実施形態のマルチテナントシステムにおけるＯＦＳ２のブロック図である。 図１７は、本発明の第２実施形態のマルチテナントシステムにおけるパケット転送方法（往路）のフローチャートである。

添付図面を参照して、本発明の実施形態によるマルチテナントシステムを以下に説明する。

（第１実施形態）
［構成の説明］
はじめに、本実施形態におけるマルチテナントシステムの構成の説明を行う。図３は、本発明の第１実施形態のマルチテナントシステムの全体図である。実施形態のマルチテナントシステムは、ＯＦＣ（Ｏｐｅｎ Ｆｌｏｗ Ｃｏｎｔｒｏｌｌｅｒ）１、第１のＯＦＳ（Ｏｐｅｎ Ｆｌｏｗ Ｓｗｉｔｃｈ）２−１、第２のＯＦＳ２−２、サーバ装置３、ブリッジ５、及びＳＡＮ６を備える。サーバ装置３は、ＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）４−１、及びＶＭ４−２を備える。図３の構成例は、説明のために、簡易な構成となっているが、マルチテナントシステムに接続されている装置は、任意の台数でよい。また、本実施形態では、ユーザに割り当てられているリソースを、サーバ装置上で動作するＶＭとして説明しているが、パーソナルコンピュータ等の物理的な端末であってもよい。

以下、第１のＯＦＳ２−１、及び第２のＯＦＳ２−２を、区別せずに総称する場合には、ＯＦＳ２と称する。同様に、ＶＭ４−１、及びＶＭ４−２を、区別せずに総称する場合には、ＶＭ４と称する。

図４は、本発明の第１実施形態のマルチテナントシステムにおけるＯＦＣ１のブロック図である。本実施形態のＯＦＣ１は、経路計算部１１、及びフローエントリ設定部１２を備える。経路計算部１１は、ＯＦＳ２により、パケットインされたパケットに基づいて、転送経路を計算する。経路計算部１１は、パケット内の宛先アドレス及び送信元アドレスに基づいて宛先装置、送信元装置、及びそれぞれの装置に接続されたスイッチを特定し、図示しないシステムのトポロジ情報に基づいて当該装置間の経路を転送経路として算出する。フローエントリ設定部１２は、経路計算部１１により算出された転送経路上のＯＦＳ２に、当該パケットの転送制御に必要なフローエントリを設定する。

図５は、本発明の第１実施形態のマルチテナントシステムにおけるＯＦＳ２のブロック図である。本実施形態のＯＦＳ２は、転送処理部２１、トンネリング判定部２２、処理部２３、アドレス変換部２４及び記憶部３０を備える。記憶部３０には、フローテーブル２５、ＭＡＣアドレステーブル２６、テナント管理テーブル２７、ゲートウェイ管理テーブル２８、及びアドレス変換テーブル２９が記憶されている。

転送処理部２１は、記憶部３０に記憶されている各テーブルに基づいて決定した転送先にパケットを転送する。トンネリング判定部２２は、ＯＦＳ２により受信されたパケットがカプセル化されているかを判定する。また、トンネリング判定部２２は、ＯＦＳ２により受信されたパケットをカプセル化する必要があるかを判定する。処理部２３は、ＯＦＳ２により受信されたパケットのカプセル化と、カプセル化の解除（デカプセル化）を行う。アドレス変換部２４は、アドレス変換テーブル２９に基づいて、パケットに含まれるＩＰアドレス、及びポート番号を変換する。なお、当該変換は、ＩＰアドレス、又はポート番号のいずれか一方のみでもよい。

次に、記憶部３０に記憶されている各種テーブルについて説明する。

図６は、本発明の第１実施形態のフローテーブル２５の例である。フローテーブル２５では、「ルール」、「アクション」、及び「統計」によって定義される受信パケットに対する動作規定を含むフローエントリが管理される。「ルール」には、パケットを識別するための情報が設定される。例えば、ＶＬＡＮ ＩＤやパケット送信元ＩＰアドレス等を組み合わせた情報である。「アクション」では、「ルール」に含まれる情報に適合したパケットを、ＯＦＳ２が、どのように処理するかを定義する。例えば、ＯＦＳ２の所定のポートから所定のＩＰアドレスのノードに送信する処理や、パケットを廃棄する処理等を、「アクション」に定義する。「ルール」、及び「アクション」を組み合わせることにより、例えば、プロトコル番号が１（ＩＣＭＰ）の場合には、パケットを廃棄するという動作設定を、ＯＦＳ２に設定することができる。「統計」は、フローエントリ毎の統計情報である。例えば、転送パケット数や転送オクテット数である。

図７は、本発明の第１実施形態のＭＡＣアドレステーブル２６の例である。ＭＡＣアドレステーブル２６では、ＯＦＳ２に接続されている機器のＭＡＣアドレスと、当該ＭＡＣアドレスを有する機器が接続されているＯＦＳ２のスイッチポート番号が管理されている。なお、当該ＭＡＣアドレスは、ＶＭ等に割り当てられている仮想ＭＡＣアドレスでもよい。

図８は、本発明の第１実施形態のテナント管理テーブル２７の例である。テナント管理テーブル２７では、ＯＦＳ２に接続されている機器のＭＡＣアドレスと、当該ＭＡＣアドレスを有する機器が所属するテナントシステムのテナント識別情報が管理されている。なお、当該ＭＡＣアドレスは、ＶＭ等に割り当てられている仮想ＭＡＣアドレスでもよい。また、テナント識別情報は、ＶＭ自体が有する必要はなく、ＯＦＳ２等が、テナント識別情報をＶＭに付与することによって、ＶＭの所属するテナントが管理されてもよい。例えば、テナント識別情報は
Ｈｙｐｅｒ−Ｖｉｓｏｒのレイヤーで管理され得る。この場合、ＶＭが送信したパケットを受信したＯＦＳ２は、Ｈｙｐｅｒ−ＶｉｓｏｒにそのＶＭが所属するテナントを問い合わせて、当該パケットにそのテナント識別情報を付加する。

図９は、本発明の第１実施形態のゲートウェイ管理テーブル２８の例である。ゲートウェイ管理テーブル２８では、ゲートウェイＩＤ毎に、ゲートウェイのＩＰアドレスが管理されている。ゲートウェイＩＤは、ゲートウェイを一意に識別する識別子であり、０や１等に例示される任意の番号からインクリメントして割り当てていくような運用が考えられる。

図１０は、本発明の第１実施形態のアドレス変換テーブル２９の例である。アドレス変換テーブル２９では、宛先ＩＰアドレス、宛先ポート番号、宛先テナント、割当ＩＰアドレス、割当ポート番号、送信元ゲートウェイ、及び送信元ＶＭが管理されている。宛先ＩＰアドレス、及び宛先ポート番号は、マルチテナントシステムに接続されているテナント識別情報を認識できない機器（以下では、「識別不能機器」と称す）のＩＰアドレスとポート番号である。宛先テナントは、マルチテナントシステムに接続されている識別不能機器に割り当てられているテナントである。１つの識別不能機器に、複数のテナントを割り当て、複数のテナントシステムが、１つの識別不能機器を共有してもよい。割当ＩＰアドレス、及び割当ポート番号は、ＯＦＳ２から識別不能機器へパケットを送信する際に設定される送信元ＩＰアドレスと送信元ポート番号である。送信元ゲートウェイは、アドレス変換テーブル２９に基づいて、ヘッダ情報を書き換える必要があるパケットの送信元ＯＦＳ２を識別するための情報である。送信元ＶＭは、アドレス変換テーブル２９に基づいて、ヘッダ情報を書き換える必要があるパケットの送信元ＶＭ４を識別するための情報である。なお、アドレス変換テーブル２９では、宛先ポート番号と割当ポート番号が使用されない場合には、宛先ＩＰアドレスと割当ＩＰアドレスのみを管理してもよい。

［動作方法の説明］
次に、本実施形態のマルチテナントシステムにおけるパケット転送方法について説明する。

まず、パケット転送方法（往路）について説明する。図１１は、本発明の第１実施形態のマルチテナントシステムにおけるパケット転送方法（往路）のフローチャートである。図１２は、図１１のパケット転送方法（往路）における往路経路（ＶＭ４−１→ＳＡＮ６）上のパケットを模式的に示す図である。なお、以下では、第１のＯＦＳ２−１が、ＶＭ４−１から識別不能機器であるＳＡＮ６に向けたパケットを、はじめて受信した場合について説明する。

（ステップＳ１）
テナントＡシステムに属するＶＭ４−１が、識別不能機器であるＳＡＮ６に向けてパケットを送信する。なお、図１２では、サーバ装置３から第１のＯＦＳ２−１へ送信されているパケット（ｓｒｃ：ＶＭ４−１、ｄｓｔ：ＳＡＮ６）が、当該パケットに対応している。ここで、「ｓｒｃ：ＶＭ４−１」は、送信元ＩＰアドレスが、ＶＭ４−１に割り当てられているＩＰアドレスであることを示す。同様に、「ｄｓｔ：ＳＡＮ６」は、送信先ＩＰアドレスが、ＳＡＮ６に割り当てられているＩＰアドレスであることを示す。

（ステップＳ２）
第１のＯＦＳ２−１は、ステップＳ１で送信されたパケットを受信する。第１のＯＦＳ２−１は、当該パケットの送信先ＩＰアドレスに対応するＭＡＣアドレスと、ＭＡＣアドレステーブル２６を比較する。第１のＯＦＳ２−１は、当該ＭＡＣアドレスが、ＭＡＣアドレステーブル２６で管理されていない場合には、当該ＭＡＣアドレスに対応する装置が、他のＯＦＳ２に接続されていると判断する（あるいは、当該ＭＡＣアドレスに対応する装置が、第１のＯＦＳ２−１自身に接続されていないと判断する）。この場合、第１のＯＦＳ２−１は、当該パケットをカプセル化する必要があると判断する。本一例において第１のＯＦＳ２−１は、当該パケットを参照し、受信パケットの送信先ＩＰアドレスに対応する装置（ここでは一例としてＳＡＮ６）が第１のＯＦＳ２−１自身に接続されていないと判断する。

（ステップＳ３）
第１のＯＦＳ２−１は、受信パケットの転送経路と、当該パケットをカプセル化する際の宛先ＩＰアドレスを、ＯＦＣ１に問い合わせるため、当該パケットを、ＯＦＣ１にパケットインする。本一例では、第１のＯＦＳ２−１は、ステップＳ２においてＭＡＣアドレステーブル２６に基づいてカプセル化の要否を判断し、ＯＦＣ１に対するカプセル化に必要な情報の問い合わせが必要かどうかを判断した（ステップＳ２）。なお、第１のＯＦＳ２−１は、ＭＡＣアドレステーブル２６を参照せずに、フローテーブル２５に、当該パケットを転送するためのフローエントリがない場合に、ＯＦＣ１に問い合わせが必要であると判断してもよい。

（ステップＳ４）
ＯＦＣ１は、当該パケットインされたパケットの宛先であるＳＡＮ６が接続されているＯＦＳ２が、第２のＯＦＳ２−２であることを特定する。ＯＦＣ１は、当該パケットインされたパケットを、第２のＯＦＳ２−２まで送信するための往路経路を計算する。

（ステップＳ５）
ＯＦＣ１が、当該パケットを転送するためのフローエントリを、ステップＳ４の処理により算出された往路経路上のスイッチに設定する。なお、図１２では、説明を簡略化するため、第１のＯＦＳ２−１、及び第２のＯＦＳ２−２のみを記載しているが、第１のＯＦＳ２−１と、第２のＯＦＳ２−２の間には、複数のＯＦＳ２が存在していてもよい。その場合には、第１のＯＦＳ２−１と、第２のＯＦＳ２−２の間のＯＦＳ２にも、当該フローエントリが設定される。

また、ＯＦＣ１は、付加情報を付加することによって当該パケットをカプセル化する動作を規定したフローエントリを、パケットイン元の第１のＯＦＳ２−１に設定する。

また、ＯＦＣ１は、付加情報を除去する動作（カプセル化の解除）を規定したフローエントリを、識別不能機器が接続された終端エッジである第２のＯＦＳ２−２に設定する。

（ステップＳ６）
ＯＦＣ１は、ステップＳ３の処理でパケットインされたパケットを、第１のＯＦＳ２−１にパケットアウトする。

（ステップＳ７）
第１のＯＦＳ２−１は、ＯＦＣ１により設定されたフローエントリに従い、パケットインされたパケット（ステップＳ２において受信したパケット）を、付加情報によりカプセル化することにより、カプセル化パケットを作成する。当該付加情報は、例えば、Ｌ３ヘッダ（送信元ＩＰアドレス：ＯＦＳ２−１、送信先ＩＰアドレス：ＯＦＳ２−２）と、テナント識別情報（テナントＡ）を含む。ここで、「送信元ＩＰアドレス：ＯＦＳ２−１」は、カプセル化パケットの送信元ＩＰアドレスが、第１のＯＦＳ２−１のＩＰアドレスであることを示す。同様に、「送信先ＩＰアドレス：ＯＦＳ２−２」は、カプセル化パケットの送信先ＩＰアドレスが、第２のＯＦＳ２−２のＩＰアドレスであることを示す。

（ステップＳ８）
第２のＯＦＳ２−２は、当該カプセル化パケットを、第１のＯＦＳ２−１から受信する。第２のＯＦＳ２−２は、当該カプセル化パケットに含まれる付加情報から送信元ゲートウェイである第１のＯＦＳ２−１のＩＰアドレス及びテナント識別情報を抽出するとともに、付加情報を除くパケットのヘッダ情報から送信元ＶＭ４−１のＩＰアドレス及び宛先装置であるＳＡＮ６のＩＰアドレスを抽出し、アドレス変換テーブル２９に記録する。又、第２のＯＦＳ２−２は、当該カプセル化パケットに含まれるデータの転送に使用する送信元ＩＰアドレス（アドレス変換テーブル２９の割当ＩＰアドレス）に、ＤＵＭを割り当てる。本一例において、当該カプセル化パケットに対応するアドレス変換テーブル２９のレコードは、図１２に記載されたアドレス変換テーブル２９のようになる。

（ステップＳ９）
第２のＯＦＳ２−２が、ステップＳ５の処理により設定されたフローエントリに基づいて、ステップＳ７の処理で付与された付加情報を除去する。

（ステップＳ１０）
第２のＯＦＳ２−２は、図１２のアドレス変換テーブル２９に基づいて、送信元ＩＰアドレスをＤＵＭに変換する。なお、図１２の第２のＯＦＳ２−２におけるアドレス変換テーブル２９では、宛先ポート番号、及び割当ポート番号が使用されていない。このように、宛先ＩＰアドレス、宛先テナント、割当ＩＰアドレス、及び送信元ゲートウェイのみを利用して、パケットの書き換えを行ってもよい。すなわち、第２のＯＦＳ２−２は、ＮＡＴ機能、又はＩＰマスカレード機能により、パケットを書き換える。例えばＯＦＳ２−２は、ＮＡＴ機能を利用する場合、ＯＦＳ２−２に管理されている複数のＩＰアドレスから、送信元ＶＭ毎に一意のＩＰアドレスをＤＵＭとして払い出す。あるいは、ＯＦＳ２−２は、ＩＰマスカレード機能を利用する場合、ＯＦＳ２−２に管理されている複数のＩＰアドレスとポート番号から、送信元ＶＭ毎に一意のＩＰアドレスとポート番号の組み合わせをＤＵＭとして払い出す。

（ステップＳ１１）
第２のＯＦＳ２−２は、ステップＳ９の処理により、送信元ＩＰアドレスが書き換えられたパケットを、ＳＡＮ６に向けて送信する。

（ステップＳ１２）
ＳＡＮ６は、ブリッジ５を介して、当該書き換えられたパケットを受信する。なお、ＳＡＮ６は、ブリッジ５を介さずに第２のＯＦＳ２−２に接続されていてもよい。

以上が、本実施形態のパケット転送方法（往路）についての説明である。なお、上述の説明では、第１のＯＦＳ２−１が、ＶＭ４−１からＳＡＮ６へ送信されるパケットを、はじめて受信した場合の処理（１ｓｔパケットの処理）について説明した。第１のＯＦＳが、２回目以降に受信した当該パケットは、ステップＳ５により設定されたフローエントリに基づいて、転送経路上のＯＦＳ２により転送される。

次に、パケット転送方法（復路）について説明する。図１３は、本発明の第１実施形態のマルチテナントシステムにおけるパケット転送方法（復路）のフローチャートである。図１４は、図１３のパケット転送方法（復路）における復路経路（ＳＡＮ６→ＶＭ４−１）上のパケットを模式的に示す図である。なお、以下では、第２のＯＦＳ２−２が、ＳＡＮ６からＶＭ４−１に向けたパケットを、はじめて受信した場合について説明する。

（ステップＳ２１）
識別不能機器であるＳＡＮ６は、ステップＳ１２において受信したパケットに対するリプライパケットとしてＶＭ４−１に向けてパケットを送信する。なお、図１４では、ＳＡＮ６から、ブリッジ５を介して、第２のＯＦＳ２−２へ送信されているパケット（ｓｒｃ：ＳＡＮ６、ｄｓｔ：ＤＵＭ）が、当該パケットに対応している。

（ステップＳ２２）
第２のＯＦＳ２−２は、受信パケットの宛先ＩＰアドレスがＤＵＭであることから、アドレス変換テーブル２９を参照して、送信先ＩＰアドレスの変換を行う。ここでは、第２のＯＦＳ２−２は、図１４のアドレス変換テーブル２９の送信元ＶＭを参照して、送信先ＩＰアドレスを、ＤＵＭからＶＭ４−１に変換する。

（ステップＳ２３） 第２のＯＦＳ２−２は、ステップＳ２２においてアドレス変換済みのパケットをカプセル化する。詳細には、第２のＯＦＳ２−２は、ステップＳ２１で送信されたパケットを、付加情報によりカプセル化することにより、カプセル化パケットを作成する。この際、第２のＯＦＳ２−２は、アドレス変換テーブル２９の送信元ゲートウェイを参照し、送信元ゲートウェイが、第１のＯＦＳ２−１であることを特定する。第２のＯＦＳ２−２は、アドレス変換テーブル２９の宛先テナントを参照し、当該付加情報に含めるテナント情報を特定する。第２のＯＦＳ２−２は、当該付加情報に、Ｌ３ヘッダ（送信元ＩＰアドレス：ＯＦＳ２−２、送信先ＩＰアドレス：ＯＦＳ２−１）と、テナント識別情報（テナントＡ）を含める。

（ステップＳ２４）
第１のＯＦＳ２−１は、当該カプセル化パケットが１ｓｔパケットであるため、当該カプセル化パケットを、ＯＦＣ１にパケットインする。

（ステップＳ２５）
ＯＦＣ１は、当該パケットインされたカプセル化パケットに基づいて、復路経路を計算する。ここでは、パケットインされたカプセル化パケットをデカプセル化したパケットの送信元ＩＰアドレス及び宛先ＩＰアドレスから送信元機器と宛先ＶＭを特定し、図示しないトポロジ情報を利用して、宛先ＶＭに接続するエンドエッジ（ゲートウェイ）を特定し、復路経路を算出する。

（ステップＳ２６）
ＯＦＣ１は、当該カプセル化パケットを転送するためのフローエントリを、ステップＳ２５の処理により算出された復路経路上のスイッチに設定する。なお、図１４では、説明を簡略化するため、第１のＯＦＳ２−１、及び第２のＯＦＳ２−２のみを記載しているが、第１のＯＦＳ２−１と、第２のＯＦＳ２−２の間には、複数のＯＦＳ２が存在していてもよい。その場合には、第１のＯＦＳ２−１と、第２のＯＦＳ２−２の間のＯＦＳ２にも、当該フローエントリが設定される。

また、ＯＦＣ１は、復路経路上の最後のＯＦＳ２（ＶＭ４−１が接続されている第１のＯＦＳ２−１）には、付加情報を除去する動作（カプセル化の解除）を規定したフローエントリも第１のＯＦＳ２−１に設定する

（ステップＳ２７）
ＯＦＣ１は、ステップＳ２４の処理でパケットインされたカプセル化パケットを、第２のＯＦＳ２−２にパケットアウトする。

（ステップＳ２８）
第２のＯＦＳ２−２は、ステップＳ２６の処理により設定されたフローエントリに従って当該カプセル化パケットを、第１のＯＦＳ２−１に送信する。

（ステップＳ２９）
第１のＯＦＳ２−１は、ステップＳ２６の処理により設定されたフローエントリに基づいて、当該カプセル化パケットからステップＳ２３の処理で付与された付加情報を除去する。また、第１のＯＦＳ２−１は、当該付加情報に含まれるテナント情報を参照し、当該付加情報が除去されたパケットの送信先を確認する。

（ステップＳ３０）
第１のＯＦＳ２−１は、ＶＭ４−１に付加情報が除去されたパケットを送信する。ＶＭ４−１は、付加情報が除去されたパケットを受信する。

本実施形態によれば、テナント識別情報を認識できない機器を利用できるマルチテナントシステムを提供することができる。

次に、本発明の第１実施形態のマルチテナントシステムの構成の一部が変更されたマルチテナントシステムの例として、第２実施形態について説明する。

（第２実施形態）
［構成の説明］
はじめに、本実施形態におけるマルチテナントシステムの構成の説明を行う。本実施形態のマルチテナントシステムの全体図は、図３で示した第１実施形態のマルチテナントシステムの全体図と同様であるため、詳細な説明を省略する。

図１５は、本発明の第２実施形態のマルチテナントシステムにおけるＯＦＣ１のブロック図である。本実施形態のＯＦＣ１は、経路計算部１１、及びフローエントリ設定部１２、トンネリング判定部１３、及び記憶部１６を備える。記憶部１６には、テナント管理テーブル２７、及びゲートウェイ管理テーブル２８が記憶されている。経路計算部１１は、ＯＦＳ２により、パケットインされたパケットに基づいて、転送経路を計算する。フローエントリ設定部１２は、経路計算部１１により算出された転送経路上のＯＦＳ２に、当該パケットの転送制御に必要なフローエントリを設定する。トンネリング判定部１３は、ＯＦＳ２により受信されたパケットがカプセル化されているかを判定する。また、トンネリング判定部２２は、ＯＦＳ２により受信されたパケットをカプセル化する必要があるかを判定する。

図１６は、本発明の第２実施形態のマルチテナントシステムにおけるＯＦＳ２のブロック図である。本実施形態のＯＦＳ２は、転送処理部２１、処理部２３、アドレス変換部２４及び記憶部３０を備える。記憶部３０には、フローテーブル２５、ＭＡＣアドレステーブル２６、及びアドレス変換テーブル２９が記憶されている。

転送処理部２１は、記憶部３０に記憶されている各テーブルに基づいて決定した転送先にパケットを転送する。処理部２３は、ＯＦＳ２により受信されたパケットのカプセル化と、カプセル化の解除（デカプセル化）を行う。アドレス変換部２４は、アドレス変換テーブル２９に基づいて、パケットに含まれるＩＰアドレス、及びポート番号を変換する。なお、当該変換は、ＩＰアドレス、又はポート番号のいずれか一方のみでもよい。

ＯＦＣ１の記憶部１６、及びＯＦＳ２の記憶部３０に記憶されている各種テーブルの構成の説明については、第１実施形態と同様であるため、詳細な説明を省略する。

［動作方法の説明］
次に、本実施形態のマルチテナントシステムにおけるパケット転送方法について説明する。パケット転送方法（復路）については、第１実施形態と同様であるため、パケット転送方法（往路）についてのみ説明する。

まず、パケット転送方法（往路）について説明する。図１７は、本発明の第２実施形態のマルチテナントシステムにおけるパケット転送方法（往路）のフローチャートである。往路経路（ＶＭ４−１→ＳＡＮ６）上のパケットを模式的に示す図については、図１２と同様である。

（ステップＳ３１）
テナントＡシステムに属するＶＭ４−１が、識別不能機器であるＳＡＮ６に向けてパケットを送信する。なお、図１２では、サーバ装置３から第１のＯＦＳ２−１へ送信されているパケット（ｓｒｃ：ＶＭ４−１、ｄｓｔ：ＳＡＮ６）が、当該パケットに対応している。ここで、「ｓｒｃ：ＶＭ４−１」は、送信元ＩＰアドレスが、ＶＭ４−１に割り当てられているＩＰアドレスであることを示す。同様に、「ｄｓｔ：ＳＡＮ６」は、送信先ＩＰアドレスが、ＳＡＮ６に割り当てられているＩＰアドレスであることを示す。

（ステップＳ３２）
第１のＯＦＳ２−１は、ステップＳ３１で送信されたパケットを受信する。

（ステップＳ３３）
第１のＯＦＳ２−１は、受信パケットの動作を規定するフローエントリがないため（１ｓｔパケット受信のため）当該パケットを、ＯＦＣ１にパケットインする。

（ステップＳ３４）
ＯＦＣ１は、ステップＳ３３でパケットインされたパケットの送信先ＭＡＣアドレスに基づいて、パケットをカプセル化する必要があるかを判定する。ＯＦＣ１は、送信先ＭＡＣアドレスが、第１のＯＦＳ２−１が管理しているＭＡＣアドレスでない場合、他のＯＦＳ２を介してパケットを送信する必要があると判断する。ＯＦＣ１は、他のＯＦＳ２を介してパケットを送信する必要があると判断した場合、当該パケットをカプセル化する必要があると判断する。

（ステップＳ３５）
ＯＦＣ１は、図示しないトポロジ情報に基づいて、当該パケットインされたパケットの宛先であるＳＡＮ６が接続されているＯＦＳ２が、第２のＯＦＳ２−２であることを特定する。ＯＦＣ１は、当該パケットインされたパケットを、第２のＯＦＳ２−２まで送信するための往路経路を計算する。

（ステップＳ３６）
ＯＦＣ１は、当該パケットを転送するためのフローエントリを、ステップＳ３５の処理により算出された往路経路上のスイッチに設定する。なお、図１２では、説明を簡略化するため、第１のＯＦＳ２−１、及び第２のＯＦＳ２−２のみを記載しているが、第１のＯＦＳ２−１と、第２のＯＦＳ２−２の間には、複数のＯＦＳ２が存在していてもよい。その場合には、第１のＯＦＳ２−１と、第２のＯＦＳ２−２の間のＯＦＳ２にも、当該フローエントリが設定される。

また、ＯＦＣ１は、付加情報を付加することによって当該パケットをカプセル化する動作を規定したフローエントリを、パケットイン元の第１のＯＦＳ２−１に設定する。

また、ＯＦＣ１は、付加情報を除去する動作（カプセル化の解除）を規定したフローエントリを、識別不能機器が接続された終端エッジである第２のＯＦＳ２−２に設定する。

（ステップＳ３７）
ＯＦＣ１は、ステップＳ３２の処理でパケットインされたパケットを、第１のＯＦＳ２−１にパケットアウトする。ＯＦＣ１は、ステップＳ３４において、パケットインされたパケットを、第１のＯＦＳ２−１がカプセル化して転送する必要があると判定した場合には、当該パケットと当該パケットのテナント識別情報を、パケットアウトメッセージに含める。

（ステップＳ３８）
第１のＯＦＳ２−１は、ＯＦＣ１により設定されたフローエントリに従い、パケットインされたパケット（ステップＳ２において受信したパケット）を、付加情報によりカプセル化することにより、カプセル化パケットを作成する。当該付加情報は、例えば、Ｌ３ヘッダ（送信元ＩＰアドレス：ＯＦＳ２−１、送信先ＩＰアドレス：ＯＦＳ２−２）と、テナント識別情報（テナントＡ）を含む。ここで、「送信元ＩＰアドレス：ＯＦＳ２−１」は、カプセル化パケットの送信元ＩＰアドレスが、第１のＯＦＳ２−１のＩＰアドレスであることを示す。同様に、「送信先ＩＰアドレス：ＯＦＳ２−２」は、カプセル化パケットの送信先ＩＰアドレスが、第２のＯＦＳ２−２のＩＰアドレスであることを示す。

（ステップＳ３９）
第２のＯＦＳ２−２が、当該カプセル化パケットを、第１のＯＦＳ２−１から受信する。

（ステップＳ４０）
第２のＯＦＳ２−２が、ステップＳ３６の処理により設定されたフローエントリに基づいて、ステップＳ３７の処理で付与された付加情報を除去する。

（ステップＳ４１）
第２のＯＦＳ２−２は、第１の実施の形態と同様に、図１２のアドレス変換テーブル２９に基づいて、送信元ＩＰアドレスをＤＵＭに変換する。

（ステップＳ４２）
第２のＯＦＳ２−２は、ステップＳ４０の処理により、送信元ＩＰアドレスが書き換えられたパケットを、ＳＡＮ６に向けて送信する。

（ステップＳ４３）
ＳＡＮ６は、ブリッジ５を介して、当該書き換えられたパケットを、受信する。なお、ＳＡＮ６は、ブリッジ５を介さずに第２のＯＦＳ２−２に接続されていてもよい。

本実施形態によれば、既存の識別不能機器を利用できるマルチテナントシステムを提供することができる。なお、本発明の実施形態の説明では、識別不能機器の例として、ＳＡＮを例にして説明した。当該識別不能機器は、ＳＡＮに限られず、その他の機器に本発明を適用してもよい。

以上、本発明の実施の形態が添付の図面を参照することにより説明された。但し、本発明は、上述の実施の形態に限定されず、要旨を逸脱しない範囲で当業者により適宜変更され得る。

尚、本出願は、日本特許出願番号２０１２−１１１８８１に基づき、日本特許出願番号２０１２−１１１８８１における開示内容は引用により本出願に組み込まれる。

Claims (10)

1. テナント識別情報が付与されるＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）が動作するサーバ装置と、
   それぞれが、自身に設定されたフローエントリに基づいてパケットを処理する処理部を備える複数のスイッチと、
   前記複数のスイッチのそれぞれにフローエントリを設定するコントローラとを備え、
   前記複数のスイッチは、前記サーバ装置が接続された第１のスイッチと、前記テナント識別情報を認識できない機器が接続された第２のスイッチとを含み、
   前記コントローラは、前記サーバ装置の前記ＶＭから送信されるパケットを前記テナント識別情報を含む付加情報を付加してカプセル化する動作を規定したフローエントリを、前記第１のスイッチに設定し、前記カプセル化されたパケットから前記付加情報を除去する動作を規定したフローエントリを前記第２のスイッチに設定するフローエントリ設定部を備え、
   前記第２のスイッチは、前記処理部により前記付加情報が除去されたパケットの送信元アドレスを、アドレス変換テーブルに基づいて前記第２のスイッチが管理するＩＰアドレスに変換するアドレス変換部と、前記送信元アドレスが変換された前記パケットを前記機器に送信する転送処理部と
   を備えるマルチテナントシステム。
2. 前記コントローラは、前記パケットと前記パケットのテナント識別情報を、パケットアウトメッセージに含めてパケットアウトし、
   前記第１のスイッチの処理部は、前記パケットアウトメッセージに基づいて、前記パケットをカプセル化する
   請求項１に記載のマルチテナントシステム。
3. 前記第２のスイッチは、前記カプセル化パケットの受信時に、前記カプセル化パケットに含まれる前記第１のスイッチのＩＰアドレス、送信元ＶＭのＩＰアドレス、及び前記テナント識別情報を、前記アドレス変換テーブルに記録し、
   前記コントローラのフローエントリ設定部は、前記機器から送信されるパケットを、前記テナント識別情報を含む付加情報を付加してカプセル化する動作を規定するフローエントリを前記第２のスイッチに設定し、前記カプセル化されたパケットから前記付加情報を除去する動作を規定するフローエントリを前記第１のスイッチに設定し、
   前記第２のスイッチの前記転送処理部は、前記機器から前記ＶＭに送信されるリプライパケットを受信し、
   前記第２のスイッチの前記アドレス変換部は、前記アドレス変換テーブルに基づいて、前記リプライパケットの送信先ＩＰアドレスを、前記送信元ＶＭのＩＰアドレスに変換し、
   前記第２のスイッチの前記処理部は、送信元ＩＰアドレスが変換された前記リプライパケットを、前記ＶＭのテナント識別情報を含む付加情報が付加されたカプセル化リプライパケットにカプセル化し、前記付加情報内のＬ３ヘッダの送信先ＩＰアドレスとして、前記アドレス変換テーブルの前記第１のスイッチのＩＰアドレスが設定され、
   前記第１のスイッチの前記処理部は、前記カプセル化されたリプライパケットの前記付加情報を除去し、
   前記第１のスイッチの前記転送処理部は、前記付加情報が除去されたリプライパケットを、前記ＶＭに送信する
   請求項１又は２のいずれか１項に記載のマルチテナントシステム。
4. 前記第２のスイッチの前記アドレス変換部は、前記パケットの送信元ポート番号を、前記第２のスイッチが管理するポート番号に更に変換し、前記リプライパケットの送信先ポート番号を、前記変換前の元のポート番号に更に変換する
   請求項３に記載のマルチテナントシステム。
5. 請求項１乃至４のいずれか１項に記載のマルチテナントシステムに使用されるコントローラ。
6. 請求項１乃至４のいずれか１項に記載のマルチテナントシステムに使用されるスイッチ。
7. マルチテナントシステムにおけるパケット転送方法であって、
   ＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）が、テナント識別情報を認識できない機器宛にパケットを送信するステップと、
   第１のスイッチが、前記パケットを、コントローラにパケットインするステップと、
   前記コントローラが、前記パケットの往路経路を計算するステップと、
   前記コントローラが、前記パケットを転送するためのフローエントリを、前記往路経路上のスイッチに設定するステップと、
   前記設定するステップでは、前記ＶＭのテナント識別情報を含む付加情報を前記パケットに付加してカプセル化する動作を規定したフローエントリが、第１のスイッチに設定され、カプセル化されたパケットから付加情報を除去する動作を規定したフローエントリが第２のスイッチに設定され、
   第１のスイッチが、自身に設定されたフローエントリに従い、前記パケットを、前記ＶＭのテナント識別情報を含む付加情報を付加してカプセル化するステップと、
   前記第２のスイッチが、前記カプセル化されたパケットを受信するステップと、
   前記第２のスイッチが、自身に設定されたフローエントリに従い、前記カプセル化されたパケットから前記付加情報を除去するステップと、
   前記第２のスイッチが、アドレス変換テーブルに基づいて、前記付加情報が除去されたパケットの送信元ＩＰアドレスを、前記第２のスイッチが管理するＩＰアドレスに変換するステップと、
   前記第２のスイッチが、前記送信元ＩＰアドレスが、前記変換されたパケットを、前記機器に送信するステップと
   を含むパケット転送方法。
8. 前記コントローラが、前記パケットと前記パケットのテナント識別情報を、パケットアウトメッセージに含めてパケットアウトするステップと
   を更に含む
   請求項７に記載のパケット転送方法。
9. 前記受信するステップにおいて、前記カプセル化されたパケットを受信した前記第２のスイッチが、前記カプセル化されたパケットに含まれる前記第１のスイッチのＩＰアドレス、送信元ＶＭのＩＰアドレス、及び前記テナント識別情報を、前記アドレス変換テーブルに記録するステップと、
   前記機器が、前記ＶＭにリプライパケットを送信するステップと、
   前記第２のスイッチが、アドレス変換テーブルに基づいて、送信先ＩＰアドレスを、前記送信元ＶＭのＩＰアドレスに変換するステップと、
   前記第２のスイッチが、前記リプライパケットを、前記ＶＭのテナント識別情報を含む付加情報が付加されたカプセル化リプライパケットにカプセル化するステップと、
   前記付加情報内のＬ３ヘッダの送信先ＩＰアドレスとして、前記アドレス変換テーブルの前記第１のスイッチのＩＰアドレスが設定され、
   前記第２のスイッチが、前記カプセル化リプライパケットを、コントローラにパケットインするステップと、
   前記コントローラが、前記カプセル化リプライパケットの復路経路を計算するステップと、
   前記コントローラが、前記カプセル化リプライパケットを転送するためのフローエントリを、前記復路経路上のスイッチに設定するステップと、前記設定するステップは、前記第１のスイッチには、前記付加情報を除去する設定を更に行い、
   前記コントローラが、前記第２のスイッチに、前記カプセル化リプライパケットをパケットアウトするステップと、
   前記第２のスイッチが、前記カプセル化リプライパケットを、前記第１のスイッチに送信するステップと、
   前記第１のスイッチが、前記カプセル化リプライパケットを受信するステップと、
   前記第１のスイッチが、前記フローエントリに基づいて、前記付加情報を除去するステップと、
   前記第１のスイッチが、前記付加情報が除去された前記リプライパケットを、前記ＶＭに送信するステップと
   を更に含む請求項７又は８に記載のパケット転送方法。
10. 前記パケットをカプセル化するステップは、前記パケットの送信元ポート番号を、前記第２のスイッチが管理するポート番号に変換したパケットをカプセル化するステップを備え、
    前記カプセル化リプライパケットにカプセル化するステップは、前記リプライパケットの送信先ポート番号を、前記変換前の元のポート番号に変換したリプライパケットをカプセル化するステップを備える
    請求項９に記載のパケット転送方法。

Images