JP6801409B2 - 経路探索システム、経路探索方法及び経路探索プログラム - Google Patents

Description

本発明は、ネットワークにおける経路の探索技術に関する。

データセンタのネットワークは、サーバ間の通信の増加に対応するため、サーバ間において同時に利用可能な複数の経路が存在するようにネットワークが構成されることがある。例えば或る文献は、複数のネットワークに接続可能な通信装置によるマルチパス通信の技術を開示する。

また、クラウドサービスを遅延なく提供できるようにするため、ＶＸＬＡＮ（Virtual eXtensible Local Area Network）の技術に基づくオーバーレイネットワークが構築され、各テナントのサーバがトンネル接続されて仮想ネットワークが構築されることもある。ＶＸＬＡＮの技術に基づくオーバーレイネットワークにおいては、カプセル化されたパケットの外部ヘッダに設定された情報に基づきパケットの転送経路が変わる。

或る文献は、ＶＸＬＡＮの技術に基づくオーバーレイネットワークにおける各経路の状態を確認する技術を開示する。具体的には、指定されたターゲットホストのリストに対して、パケットの外部ヘッダにおけるソースポート番号を変えつつ複数のパケットを送信し、送信に対する応答によってパケットの到達性が判定される。

外部ヘッダに設定される値は内部ヘッダに含まれる情報のハッシュ計算によって算出されるが、ハッシュ計算のアルゴリズム及びスイッチによる転送のアルゴリズムは実装に依存しており、必ずしも事前に明らかになっているわけではない。そのため、通信異常が発生した場合、上記技術によってはパケットの転送経路を特定することができず、パケットの転送経路を制御することができない。また、上記技術を利用する場合には各経路の状態を確認するために送信するプローブパケットの数が増加し、プローブパケット以外の通常のパケットの転送に影響を与える。

特開２００９−２９６０８４号公報

Aijay Adams、外２名、"NetNORAD: Troubleshooting networks via end-to-end probing"、[online]、Facebook, Inc、[平成２８年１２月１日検索]、インターネット＜URL:https://code.facebook.com/posts/1534350660228025/netnorad-troubleshooting-networks-via-end-to-end-probing/＞ Changhoon Kim、Parag Bhide、Ed Doe、Hugh Holbrook、Anoop Ghanwani、Dan Daly、Mukesh Hira、Bruce Davie、"In-band Network Telemetry (INT)"、２０１６年６月、[online]、[平成２８年１１月２２日検索]、インターネット＜URL:http://p4.org/wp-content/uploads/fixed/INT/INT-current-spec.pdf＞ Petr Lapukhov、"Move Fast, Unbreak Things! Network debugging at scale"、[online]、NANOG 66 国際会議、[平成２８年１２月１日検索]、インターネット＜URL:https://www.nanog.org/sites/default/files/Lapukhov_Move_Fast_Unbreak.pdf＞

本発明の目的は、１つの側面では、パケットのヘッダに設定される情報に基づきパケットの転送経路が制御されるネットワークにおいて、経路状態の確認のために送信するプローブパケットの数を減らすための技術を提供することである。

一態様に係る経路探索システムは、パケットのヘッダに設定される送信元ポート情報に基づきパケットが送信される経路が制御されるネットワークに接続された第１情報処理装置と、ネットワークに接続された第２情報処理装置と、第１情報処理装置と第２情報処理装置とを管理する管理装置とを有する。そして、第１情報処理装置は、第１情報処理装置と第２情報処理装置との間の経路の探索についての要求を管理装置から受信した場合、送信元ポート情報が異なる複数のパケットを第２情報処理装置に送信する第１送信部と、複数のパケットに対する応答パケットに含まれる経路情報と送信元ポート情報とに基づき、パケットに設定される送信元ポート情報を経路毎に特定する特定部と、各経路について、特定された送信元ポート情報が設定されたプローブパケットを第２情報処理装置に送信する第２送信部とを有する。

１つの側面では、パケットのヘッダに設定される情報に基づきパケットの転送経路が制御されるネットワークにおいて、経路状態の確認のために送信するプローブパケットの数を減らすことができるようになる。

図１は、本実施の形態の概要を説明するための図である。 図２は、本実施の形態の概要を説明するための図である。 図３は、本実施の形態のシステム概要を示す図である。 図４は、サーバのブロック図である。 図５は、プログラマブルＮＩＣの機能ブロック図である。 図６は、スイッチの機能ブロック図である。 図７は、プローブパケットのフォーマットの一例を示す図である。 図８は、プローブヘッダ及びテレメトリデータのフォーマットの一例を示す図である。 図９は、プローブパケットではないパケットのフォーマットの一例を示す図である。 図１０は、第１の実施の形態のコントローラが実行する処理の処理フローを示す図である。 図１１は、第１の実施の形態のサーバが実行する処理の処理フローを示す図である。 図１２は、第１の実施の形態のカプセル制御データ格納部に格納されるデータの一例を示す図である。 図１３は、ＶＴＥＰデータ格納部に格納されるデータの一例を示す図である。 図１４は、プローブ送信処理の処理フローを示す図である。 図１５は、経路データ格納部に格納されるデータの一例を示す図である。 図１６は、探索結果格納部に格納されるデータの一例を示す図である。 図１７は、ソースポート選択処理の処理フローを示す図である。 図１８は、サーバが実行する処理の処理フローを示す図である。 図１９は、運用中に各経路の状態を監視する処理の処理フローを示す図である。 図２０は、経路変更データ格納部に格納されるデータの一例を示す図である。 図２１は、運用中に各経路の状態を監視する処理の処理フローを示す図である。 図２２は、経路変更について説明するための図である。 図２３は、スイッチが実行する処理の処理フローを示す図である。 図２４は、第２の実施の形態のコントローラが実行する処理の処理フローを示す図である。 図２５は、第２の実施の形態のサーバが実行する処理の処理フローを示す図である。 図２６は、第２の実施の形態のカプセル制御データ格納部に格納されるデータの一例を示す図である。 図２７は、第２の実施の形態のソースポート選択処理の処理フローを示す図である。 図２８は、第２の実施の形態のサーバが実行する処理の処理フローを示す図である。 図２９は、第２の実施の形態のカプセル制御データ格納部に格納されるデータの一例を示す図である。 図３０は、第２の実施の形態のサーバが実行する処理の処理フローを示す図である。 図３１は、往路及び復路の設定について説明するための図である。

［実施の形態１］
図１乃至図４を用いて、本実施の形態の概要を説明する。

本実施の形態においては、異なるソースポート情報を有する複数のプローブパケットがサーバ間で転送され、プローブパケットが転送された経路がプローブパケットに記録される。より具体的には、プローブパケットを中継するスイッチにより、プローブパケットに対してそのスイッチの識別子（以下、スイッチＩＤ（Identifier）と呼ぶ）が付加される。図１の例においては、経路ｒ０１上を転送されたプローブパケットにはスイッチＡのスイッチＩＤと、スイッチＣのスイッチＩＤと、スイッチＢのスイッチＩＤとが付加される。経路ｒ０２上を転送されたプローブパケットにはスイッチＡのスイッチＩＤと、スイッチＤのスイッチＩＤと、スイッチＢのスイッチＩＤとが付加される。また、サーバＸは、受信したプローブパケットの送信元アドレスと宛先アドレスとが交換された応答パケットを、サーバＵに対して返信する。応答パケットにも、経路上のスイッチのスイッチＩＤが付加される。なお、第１の実施の形態においては、往路と復路とは必ずしも同じではない。

そして、サーバＵは、返信に付加されている経路情報を解析する処理を各応答パケットについて実行して、ソースポート情報と経路との対応関係を特定する。例えば、ソースポート情報が「０ｘ０００１」である場合には経路ｒ０１であり、ソースポート情報が「０ｘ０００２」である場合には経路ｒ０２であり、・・・というように、ソースポート情報と経路との対応関係が特定される。

その後、サーバＵは、各経路について、特定されたソースポート情報がヘッダに設定されたプローブパケットを生成し、生成したプローブパケットを送信する。このように、各経路について少なくとも１つのプローブパケットを送信すれば経路の状態を確認できる。すなわち、ソースポート情報を変えつつ（例えば、ソースポート番号を０から所定値まで順に変えつつ）プローブパケットを送信する処理を行わないので、プローブパケットの数を減らすことができる。

或る経路について通信異常が発生した場合（例えば、プローブパケットに対する応答が無い場合）、対応関係に従って、その経路で送信されるパケットのソースポート情報が変更される。図２の例では、経路ｒ０１について送信したプローブパケットに基づき通信異常が検出されたので、サーバＸに対して送信するパケットのヘッダにはソースポート情報として「０ｘ０００１」ではなく「０ｘ０００２」が設定されるようになる。なお、経路についての通信異常とは、例えば、ケーブルの接続不良、光モジュールの半死及びメモリにおける特定の位置の故障による間欠障害等である。

また、或る通信フローについて通信異常が発生した場合、サーバＵは、そのフローについては対応関係に従って別のソースポート情報を設定することで、そのフローのパケットが別の経路を通るようにする。なお、通信フローについての通信異常とは、例えば、アプリケーションから送出されたパケットの廃棄後の再送によって生じる遅延等である。

以下では、本実施の形態の具体的な内容を説明する。図３に、本実施の形態のシステム概要を示す。本実施の形態のシステムは、例えばデータセンタにおいて構築される。サーバ１１乃至１８は物理サーバであり、物理スイッチであるリーフスイッチ１０１乃至１０４に接続される。具体的には、サーバ１１及びサーバ１２はリーフスイッチ１０１に接続される。サーバ１３及びサーバ１４はリーフスイッチ１０２に接続される。サーバ１５及びサーバ１６はリーフスイッチ１０３に接続される。サーバ１７及びサーバ１８はリーフスイッチ１０４に接続される。リーフスイッチ１０１乃至１０４の各々は、物理スイッチであるスパインスイッチ２０１乃至２０４に接続される。リーフスイッチ１０１乃至１０４並びにスパインスイッチ２０１乃至２０４の各々は、例えば物理サーバであるコントローラ３０に接続される。

リーフスイッチ１０１は複数のポート及び管理ポート１０１０を有する。リーフスイッチ１０２は複数のポート及び管理ポート１０２０を有する。リーフスイッチ１０３は複数のポート及び管理ポート１０３０を有する。リーフスイッチ１０４は複数のポート及び管理ポート１０４０を有する。スパインスイッチ２０１は複数のポート及び管理ポート２０１０を有する。スパインスイッチ２０２は複数のポート及び管理ポート２０２０を有する。スパインスイッチ２０３は複数のポート及び管理ポート２０３０を有する。スパインスイッチ２０４は複数のポート及び管理ポート２０４０を有する。

コントローラ３０は、ＣＰＵ（Central Processing Unit）３０１と、例えば主記憶装置であるメモリ３０２と、管理ポート３０３とを有する。コントローラ３０はその他のハードウエアコンポーネントを有するが、本実施の形態の説明には直接関係しないので説明を省略する。コントローラ３０が本実施の形態の処理を実行するためのプログラムは、メモリ３０２にロードされてＣＰＵ３０１により実行される。管理ポート３０３は、スパインスイッチ２０１乃至２０４及びリーフスイッチ１０１乃至１０４の各々の管理ポートと、例えばネットワークケーブルを介して接続され、管理用のデータが送受信される。

サーバ１１乃至１８上においては、各テナントのアプリケーション等が実行される。各テナントのアプリケーションから出力されたデータは、リーフスイッチ１０１乃至１０４及びスパインスイッチ２０１乃至２０４上に構築されたオーバーレイネットワークを介して、同じテナントのアプリケーションプログラムに転送される。本実施の形態のオーバーレイネットワークは、例えばＶＸＬＡＮにより実現される。本実施の形態におけるオーバーレイネットワークは、サーバ間において同時に利用可能な複数の経路が存在するネットワーク（すなわち、マルチパス構成のネットワーク）である。

図４に、サーバ１１のブロック図を示す。サーバ１１は、ハードウエア１１００と、ハードウエア１１００上で実現されるハイパバイザ１１１０と、ハイパバイザ１１１０上で実現される仮想マシン１１２１及び１１２２とを含む。ハードウエア１１００は、ＣＰＵ１１０１と、例えば主記憶装置であるメモリ１１０２と、ＮＩＣ（Network Interface Card）１１０３と、プログラマブルＮＩＣ１１０４とを有する。仮想マシン１１２１及び１１２２は、テナントのアプリケーションを実行する。

プログラマブルＮＩＣ１１０４は、補助記憶装置１１０５と、ＣＰＵ１１０６と、例えば主記憶装置であるメモリ１１０７とを有する。ハイパバイザ１１１０用のプログラム並びに仮想マシン１１２１及び１１２２用のプログラムが、メモリ１１０２にロードされてＣＰＵ１１０１に実行されることで、ハイパバイザ１１１０並びに仮想マシン１１２１及び１１２２が実現される。なお、図４の例では仮想マシンの数は２であるが、数に限定はない。また、サーバ１２乃至１８のブロック構成はサーバ１１のブロック構成と同じであるとする。

図５に、プログラマブルＮＩＣ１１０４の機能ブロック図を示す。プログラマブルＮＩＣ１１０４は、経路データ格納部１１５０と、カプセル制御データ格納部１１５１と、ＶＴＥＰ（Virtual Tunnel End Point）データ格納部１１５２と、探索結果格納部１１５３と、経路変更データ格納部１１５４と、プローブ制御部１１５５と、カプセル制御部１１５６と、ＶＴＥＰ処理部１１５７と、変更部１１５８とを含む。プローブ制御部１１５５は、第１制御部１１５５１と、第２制御部１１５５２とを含む。本実施の形態の処理を実行するためのプログラムは、例えば補助記憶装置１１０５に格納されており、メモリ１１０７にロードされてＣＰＵ１１０６に実行され、図５における第１制御部１１５５１、第２制御部１１５５２、カプセル制御部１１５６、ＶＴＥＰ処理部１１５７及び変更部１１５８が実現される。図５における経路データ格納部１１５０、カプセル制御データ格納部１１５１、ＶＴＥＰデータ格納部１１５２、探索結果格納部１１５３及び経路変更データ格納部１１５４は、メモリ１１０７或いは補助記憶装置１１０５に設けられる。

第１制御部１１５５１は、ソースポート情報が異なる複数のプローブパケットを宛先サーバに送信する処理を実行する。第２制御部１１５５２は、カプセル制御部１１５６による処理の結果に従って、プローブパケットを定期的に宛先サーバに送信する処理を実行する。カプセル制御部１１５６は、ＶＴＥＰ処理部１１５７によるカプセル化及びデカプセル化を管理する処理を実行する。ＶＴＥＰ処理部１１５７は、パケットのカプセル化及びデカプセル化を実行する。変更部１１５８は、通信異常の発生時に経路を変更する処理を実行する。

図６に、リーフスイッチ１０１のブロック図を示す。リーフスイッチ１０１は、管理ポート１０１０１と、受信ポート１０１０２乃至１０１０４と、管理ポート１０１１１と、出力キューを有する送信ポート１０１１２乃至１０１１４と、スイッチングモジュール１０１２０と、ＣＰＵ１０１３０と、例えば主記憶装置であるメモリ１０１４０とを有する。スイッチングモジュール１０１２０は、受信部１０１２１と、プローブパケット処理部１０１２２と、中継制御部１０１２３と、ＦＤＢ（Forwarding DataBase）１０１２４と、送信部１０１２５とを有する。なお、図６においては受信ポートの数及び送信ポートの数は３であるが、数に限定は無い。また、リーフスイッチ１０２乃至１０４及びスパインスイッチ２０１乃至２０４のブロック図は、リーフスイッチ１０１のブロック図と同じである。

受信部１０１２１は、受信ポート１０１０２乃至１０１０４のいずれかから受け取ったパケットを中継制御部１０１２３に渡す。中継制御部１０１２３は、受信部１０１２１から受け取ったパケットがプローブパケットであるか判定し、受信部１０１２１から受け取ったパケットがプローブパケットである場合にはプローブパケット処理部１０１２２に自スイッチのスイッチＩＤを付加させる。そして、中継制御部１０１２３は、ＦＤＢ１０１２４に格納されているデータに基づきパケットの出力先の送信ポートを決定し、パケットの出力先の送信ポートの情報とパケットとを送信部１０１２５に渡す。送信部１０１２５は、パケットの出力先の送信ポートの情報に従って、パケットを送信ポート１０１１２乃至１０１１４のいずれかに出力する。

図７に、本実施の形態のプローブパケットのフォーマットの一例を示す。本実施の形態のプローブパケットは、外部イーサネット（登録商標）ヘッダと、外部ＩＰ（Internet Protocol）ヘッダと、外部ＵＤＰ（User Datagram Protocol）ヘッダと、第１のＶＸＬＡＮ ＧＰＥ（Generic Protocol Extension）ヘッダと、第２のＶＸＬＡＮ ＧＰＥヘッダと、プローブヘッダ及びテレメトリデータとを含む。「ＩＮＴ」は、非特許文献２に開示されたInband Network Telemetryを意味する。（Ｌ）が付されたフィールドに格納されるデータは（Ｈ）が付されたフィールドに格納されるデータの後続である。太線で囲まれたフィールドに、ソースポート情報が格納され、ＶＴＥＰ処理部１１５７によってソースポート情報が書き換えられる。

図８に、図７におけるプローブヘッダ及びテレメトリデータのフォーマットの一例を示す。「Ｐｒｏｂｅ Ｍａｋｅｒ」フィールドは、プローブパケットの識別フィールドである。例えば、ＶＸＬＡＮ ＧＰＥヘッダにおける「Ｎｅｘｔ Ｐｒｏｔｏｃｏｌ」フィールドが「ＩＮＴ」であるＵＤＰパケットにおいて「Ｐｒｏｂｅ Ｍａｋｅｒ」フィールドが「０ｘＤＥＡＤＢＥＡＦ」である場合、パケットはプローブパケットであると判定される。但し、外部ヘッダに付加されたＶＬＡＮ（Virtual Local Area Network）タグによって識別を行ってもよい。「Ｔｅｌｅｍｅｔｒｙ Ｒｅｑｕｅｓｔ Ｖｅｃｔｏｒ」は、テレメトリによって要求される情報の種別を表し、本実施の形態においてはデバイスＩＤ（すなわちスイッチＩＤ）を要求するためのビットがオンにセットされる。

図９に、プローブパケットではないパケット（すなわち通常のパケット）のフォーマットの一例を示す。パケットは、外部イーサネットヘッダと、外部ＩＰヘッダと、外部ＵＤＰヘッダと、ＶＸＬＡＮヘッダと、内部イーサネットフレーム（すなわち、元のフレーム）とを含む。通常のパケットも、ソースポート情報がＶＴＥＰ処理部１１５７によって書き換えられる。内部イーサネットフレームのヘッダは、アプリケーションによって使用されるため変更されない。

通常のＶＸＬＡＮにおいては、内部イーサネットフレームヘッダに含まれる情報に対してハッシュ計算を行った結果が外部ＵＤＰヘッダのソースポート情報フィールドに設定され、そのソースポート情報によってパケットの転送経路が決まる。しかし、本実施の形態においては、解析より特定した対応関係に従って、外部ＵＤＰヘッダのソースポート情報フィールドに値が設定される。

次に、図１０乃至図２３を用いて、第１の実施の形態のシステムにおいて実行される処理について説明する。まず、図１０を用いて、第１の実施の形態のコントローラ３０が実行する処理を説明する。

まず、コントローラ３０は、ＶＴＥＰ処理部１１５７を追加したことを示す通知をサーバ１１乃至１８のうちいずれかのサーバから受信したか判定する（図１０：ステップＳ１）。ＶＴＥＰ処理部１１５７がサーバに追加されることによって、そのサーバ上の仮想マシンが実行するアプリケーションによる通信が開始するため、経路の設定が必要になる。本通知は、追加されたＶＴＥＰ処理部１１５７の識別子を含む。

ＶＴＥＰ処理部１１５７を追加したことを示す通知をいずれのサーバからも受信していない場合（ステップＳ１：Ｎｏルート）、コントローラ３０は、経路変更の通知を受信したか判定する（ステップＳ３）。経路変更の通知については後で説明する。

経路変更の通知を受信していない場合（ステップＳ３：Ｎｏルート）、処理はステップＳ１に戻る。一方、経路変更の通知を受信した場合（ステップＳ３：Ｙｅｓルート）、コントローラ３０は、経路変更の通知に含まれるデータを保存する（ステップＳ５）。そして処理はステップＳ１に戻る。なお、経路変更の通知に含まれるデータは各サーバにおいて生成されるデータであるが、コントローラ３０がネットワーク全体を管理できるようにするため、コントローラ３０においても管理される。但し、コントローラ３０が管理するデータは、本実施の形態の処理には直接関係しない。

一方、ＶＴＥＰ処理部１１５７を追加したことを示す通知をいずれかのサーバから受信した場合（ステップＳ１：Ｙｅｓルート）、コントローラ３０は、ＶＴＥＰ処理部１１５７が追加されたサーバに、経路探索要求を送信する（ステップＳ７）。経路探索要求は、追加されたＶＴＥＰ処理部１１５７の識別子を含む。

コントローラ３０は、経路探索要求の送信先のサーバから経路探索の完了通知を受信したか判定する（ステップＳ９）。経路探索の完了通知を受信していない場合（ステップＳ９：Ｎｏルート）、処理はステップＳ９に戻る。

一方、経路探索の完了通知を受信した場合（ステップＳ９：Ｙｅｓルート）、コントローラ３０は、以下の処理を実行する。具体的には、コントローラ３０は、経路探索の完了通知に含まれる探索結果およびカプセル制御データを保存する（ステップＳ１１）。なお、探索結果およびカプセル制御データは各サーバにおいて生成されるデータであるが、コントローラ３０がネットワーク全体を管理できるようにするため、コントローラ３０においても管理される。但し、コントローラ３０が管理する探索結果およびカプセル制御データは、本実施の形態の処理には直接関係しない。

コントローラ３０は、探索結果およびカプセル制御データを含む追加経路データを生成し、ＶＴＥＰ処理部１１５７が追加されたサーバと通信を行う可能性が有るサーバに対して追加経路データを送信する（ステップＳ１３）。データセンタにおいては同じテナントの仮想マシン間での通信が行われるので、ステップＳ１３においては、同じテナントの仮想マシンを実行するサーバに対して追加経路データが送信される。

コントローラ３０は、追加経路データの送信先のサーバから経路設定の完了通知を受信したか判定する（ステップＳ１５）。経路設定の完了通知には、カプセル制御データ格納部１１５１のエントリが含まれるので、コントローラ３０はそのエントリを保存する。

経路設定の完了通知を受信していない場合（ステップＳ１５：Ｎｏルート）、処理はステップＳ１５に戻る。

一方、経路設定の完了通知を受信した場合（ステップＳ１５：Ｙｅｓルート）、コントローラ３０は、終了指示（例えばシャットダウンの指示）を受け付けたか判定する（ステップＳ１７）。終了指示を受け付けていない場合（ステップＳ１７：Ｎｏルート）、処理はステップＳ１に戻る。一方、終了指示を受け付けた場合（ステップＳ１７：Ｙｅｓルート）、処理は終了する。

次に、図１１乃至図２２を用いて、サーバ１１が実行する処理を説明する。なお、ここではサーバ１１が実行する処理を例として説明するが、サーバ１２乃至１８が実行する処理もサーバ１１が実行する処理と同様である。

まず、カプセル制御部１１５６は、経路探索要求をコントローラ３０から受信したか判定する（図１１：ステップＳ２１）。経路探索要求をコントローラ３０から受信した場合（ステップＳ２１：Ｙｅｓルート）、カプセル制御部１１５６は、宛先サーバのＶＴＥＰ処理部１１５７（以下、宛先ＶＴＥＰと呼ぶ）の識別子等をカプセル制御データ格納部１１５１に格納する（ステップＳ３１）。なお、宛先ＶＴＥＰが複数である場合には複数の識別子がカプセル制御データ格納部１１５１に格納される。

図１２に、第１の実施の形態におけるカプセル制御データ格納部１１５１に格納されるカプセル制御データの一例を示す。図１２の例では、パケットの内部ヘッダに含まれる送信元ＭＡＣアドレスと、パケットの内部ヘッダに含まれる宛先ＭＡＣアドレスと、宛先ＶＴＥＰの識別子と、パケットの外部ヘッダに設定されるソースポート情報とが格納される。但し、ステップＳ３１の処理時点においては、ソースポート情報は格納されない。

また、サーバ１１乃至１８は図１３に示すようなＶＴＥＰデータをＶＴＥＰデータ格納部１１５２において管理する。経路探索要求は宛先ＶＴＥＰの識別子を含むので、ステップＳ３１においては、宛先ＶＴＥＰに対応するＭＡＣアドレスがＶＴＥＰデータに基づき特定され、カプセル制御データ格納部１１５１に格納される。さらに、送信元ＭＡＣアドレスもカプセル制御データ格納部１１５１に格納される。

カプセル制御部１１５６は、未処理の宛先ＶＴＥＰをカプセル制御データ格納部１１５１から１つ特定する（ステップＳ３３）。

そして、プローブ制御部１１５５における第１制御部１１５５１は、プローブ送信処理を実行する（ステップＳ３５）。プローブ送信処理については、図１４乃至図１６を用いて説明する。

まず、第１制御部１１５５１は、ソースポート情報Ｓに１を設定する（図１４：ステップＳ５１）。

第１制御部１１５５１は、プローブパケットの外部ヘッダにおけるソースポート情報にＳを設定し、設定後のプローブパケットを宛先ＶＴＥＰを含むサーバに送信する（ステップＳ５３）。なお、プローブパケットのカプセル化はＶＴＥＰ処理部１１５７によって行われる。

第１制御部１１５５１は、ステップＳ５３において送信したプローブパケットに対する応答を受信したか判定する（ステップＳ５５）。応答を受信していない場合（ステップＳ５５：Ｎｏルート）、処理はステップＳ５５に戻る。

一方、応答を受信した場合（ステップＳ５５：Ｙｅｓルート）、第１制御部１１５５１は、受信した応答に含まれるスイッチＩＤを経路データ格納部１１５０に格納する（ステップＳ５７）。

図１５に、経路データ格納部１１５０に格納される経路データの一例を示す。図１５の例では、往路及び復路について、ソースポート情報と、そのソースポート情報を設定した場合の経路上のスイッチのスイッチＩＤとが格納される。例えば、サーバ１１がソースポート情報「０ｘ０００１」を設定してプローブパケットを送信した場合、スパインスイッチ２０１を通る経路上をプローブパケットが転送される。なお、どのリーフスイッチを通るかは明らかであるので、リーフスイッチのスイッチＩＤは図１５では省略されている。プローブパケットを受信したサーバは、プローブパケットの送信元ＭＡＣアドレスと宛先ＭＡＣアドレスとを入れ替えたパケットを返信するので、復路についてのソースポート情報は往路についてのソースポート情報「０ｘ０００１」と同じである。従って、往路はスパインスイッチ２０２を通る経路である。

第１制御部１１５５１は、ソースポート情報Ｓが所定値（例えば６４０００）であるか判定する（ステップＳ５９）。ソースポート情報Ｓが所定値ではない場合（ステップＳ５９：Ｎｏルート）、第１制御部１１５５１は、ソースポート情報Ｓを１インクリメントする（ステップＳ６１）。そして処理はステップＳ５３に戻る。

一方、ソースポート情報Ｓが所定値である場合（ステップＳ５９：Ｙｅｓルート）、第１制御部１１５５１は、カプセル制御部１１５６に以下の処理を実行させる。具体的には、カプセル制御部１１５６は、経路データ格納部１１５０に格納されているデータに対して解析を実行し、各経路について１のソースポートを特定する（ステップＳ６３）。そして、カプセル制御部１１５６は、ステップＳ６３の解析結果を探索結果格納部１１５３に格納する（ステップＳ６５）。そして処理は呼び出し元に戻る。

図１６に、探索結果格納部１１５３に格納されるデータの一例を示す。図１６の例では、或る宛先ＶＴＥＰについて、往路が通るスパインスイッチのスイッチＩＤ及びソースポート情報と、復路が通るスパインスイッチのスイッチＩＤ及びソースポート情報とが格納される。

図１１の説明に戻り、カプセル制御部１１５６は、ソースポート選択処理を実行する（ステップＳ３７）。ソースポート選択処理については、図１７を用いて説明する。

まず、カプセル制御部１１５６は、探索結果格納部１１５３に格納されているソースポート情報が格納されているソースポートの中から、１つのソースポートをランダムに特定する（図１７：ステップＳ７１）。

カプセル制御部１１５６は、ステップＳ７１において特定されたソースポートのソースポート情報を、カプセル制御データ格納部１１５１に追加する（ステップＳ７３）。ステップＳ３１においてはソースポート情報が格納されていなかったので、ステップＳ３１において追加されたエントリにソースポート情報が追加される。そして処理は呼び出し元に戻る。

図１１の説明に戻り、カプセル制御部１１５６は、未処理の宛先ＶＴＥＰが有るか判定する（ステップＳ３９）。未処理の宛先ＶＴＥＰが有る場合（ステップＳ３９：Ｙｅｓルート）、処理はステップＳ３３に戻る。一方、未処理の宛先ＶＴＥＰが無い場合（ステップＳ３９：Ｎｏルート）、カプセル制御部１１５６は、以下の処理を実行する。具体的には、カプセル制御部１１５６は、探索結果とカプセル制御データとを含む、経路探索の完了通知を、コントローラ３０に送信する（ステップＳ４１）。そしてステップＳ２１の処理に戻る。

一方、経路探索要求をコントローラ３０から受信していない場合（ステップＳ２１：Ｎｏルート）、カプセル制御部１１５６は、追加経路データをコントローラ３０から受信した（すなわち、自サーバが宛先サーバである）か判定する（ステップＳ２３）。

追加経路データをコントローラ３０から受信した場合（ステップＳ２３：Ｙｅｓルート）、処理は端子Ａを介して図１８のステップＳ４３に移行する。

図１８の説明に移行し、カプセル制御部１１５６は、探索結果格納部１１５３にソースポート情報が格納されているソースポートの中から、１つのソースポートをランダムに特定する（図１８：ステップＳ４３）。

カプセル制御部１１５６は、受信した追加経路データに含まれるデータと、ステップＳ４３において特定したソースポートのソースポート情報とに基づきエントリを生成し、生成したエントリをカプセル制御データ格納部１１５１に追加する（ステップＳ４５）。上で述べたように、追加経路データには通信相手のサーバのカプセル制御データが含まれるので、そのカプセル制御データにおける宛先ＭＡＣアドレスと送信元ＭＡＣアドレスとを入れ替える。また、追加されたＶＴＥＰ処理部１１５７の識別子を宛先ＶＴＥＰとして設定する。さらに、ステップＳ４３において特定したソースポートのソースポート情報を設定する。

カプセル制御部１１５６は、ステップＳ４５において追加したエントリを含む、経路設定の完了通知をコントローラ３０に送信する（ステップＳ４７）。処理は端子Ｂを介して図１１のステップＳ２１に戻る。

図１１の説明に戻り、追加経路データをコントローラ３０から受信していない場合（ステップＳ２３：Ｎｏルート）、カプセル制御部１１５６は、プローブパケットを受信したか判定する（ステップＳ２５）。

プローブパケットを受信していない場合（ステップＳ２５：Ｎｏルート）、処理はステップＳ２１に戻る。一方、プローブパケットを受信した場合（ステップＳ２５：Ｙｅｓルート）、第１制御部１１５５１は、受信したプローブパケットの送信元と宛先とが交換されたパケットを、プローブパケットの送信元に対して送信する（ステップＳ２７）。

カプセル制御部１１５６は、終了指示を受け付けたか判定する（ステップＳ２９）。終了指示を受け付けていない場合（ステップＳ２９：Ｎｏルート）、処理はステップＳ２１に戻る。一方、終了指示を受け付けた場合（ステップＳ２９：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、経路とソースポート情報との対応関係を示すデータを生成することができるようになる。

図１９乃至図２３を用いて、通信異常を検知する処理を説明する。まず、サーバ１１の変更部１１５８は、経路探索の完了通知を送信したか判定する（図１９：ステップＳ１０１）。経路探索の完了通知を送信していない場合（ステップＳ１０１：Ｎｏルート）、処理はステップＳ１０１に戻る。

一方、経路探索の完了通知を送信した場合（ステップＳ１０１：Ｙｅｓルート）、変更部１１５８は、プローブ制御部１１５５の第２制御部１１５５２に以下の処理を実行させる。具体的には、第２制御部１１５５２は、各経路について、探索結果格納部１１５３に格納されている探索結果に従ってプローブパケットを生成し、生成したプローブパケットを宛先サーバに送信する（ステップＳ１０３）。本実施の形態においては、各経路について１のソースポートが特定されるので、各経路から１のプローブパケットが宛先サーバに送信される。なお、宛先サーバが複数である場合には、第２制御部１１５５２は、宛先サーバの各々についての探索結果を用いて、各宛先サーバについて処理を実行する。なお、プローブパケットのカプセル化はＶＴＥＰ処理部１１５７によって行われる。

変更部１１５８は、通信異常を検知したか判定する（ステップＳ１０５）。例えば或る経路について送信したプローブパケットに対する応答を受信しない場合に、その経路に通信異常が発生したと判定される。

通信異常を検知していない場合（ステップＳ１０５：Ｎｏルート）、変更部１１５８は、ステップＳ１０３においてプローブパケットを送信してから所定時間が経過したか判定する（ステップＳ１０７）。

所定時間が経過していない場合（ステップＳ１０７：Ｎｏルート）、処理はステップＳ１０７に戻る。一方、所定時間が経過した場合（ステップＳ１０７：Ｙｅｓルート）、処理はステップＳ１０３に戻る。

一方、通信異常を検知した場合（ステップＳ１０５：Ｙｅｓルート）、変更部１１５８は、探索結果格納部１１５３から、通信異常が検知された経路に対応するソースポート情報とは異なるソースポート情報を１つ特定する（ステップＳ１０８）。

変更部１１５８は、変更前のソースポート情報と、ステップＳ１０８において特定されたソースポート情報と、宛先ＶＴＥＰの識別子とを含むエントリを経路変更データ格納部１１５４に追加する（ステップＳ１０９）。

図２０に、経路変更データ格納部１１５４に格納されるデータの一例を示す。図２０の例では、宛先ＶＴＥＰの識別子と、変更前のソースポート情報と、変更後のソースポート情報とが格納される。

また、変更部１１５８は、ステップＳ１０９において追加されたエントリを含む、経路変更の通知をコントローラ３０に送信する（ステップＳ１１１）。

変更部１１５８は、終了指示を受け付けたか判定する（ステップＳ１１３）。終了指示を受け付けていない場合（ステップＳ１１３：Ｎｏルート）、処理はステップＳ１０１に戻る。一方、終了指示を受け付けた場合（ステップＳ１１３：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、経路の状態の確認のために送信するプローブパケットの数を減らすことができるようになる。また、サーバ間の通信において通信経路の異常が発生した場合、経路を一括して変更することができるようになる。

また、変更部１１５８は、運用中に以下の処理も実行する。まず、変更部１１５８は、経路探索の完了通知を送信したか判定する（図２１：ステップＳ１２１）。

経路探索の完了通知を送信していない場合（ステップＳ１２１：Ｎｏルート）、処理はステップＳ１２１に戻る。

一方、経路探索の完了通知を送信した場合（ステップＳ１２１：Ｙｅｓルート）、変更部１１５８は、仮想マシンが実行するアプリケーションから経路変更要求を受け取ったか判定する（ステップＳ１２３）。例えばアプリケーションが遅延を検出した場合、経路変更要求を変更部１１５８に対して出力する。

アプリケーションからの経路変更要求を受け取っていない場合（ステップＳ１２３：Ｎｏルート）、処理はステップＳ１２３に戻る。一方、アプリケーションからの経路変更要求を受け取った場合（ステップＳ１２３：Ｙｅｓルート）、変更部１１５８は、以下の処理を実行する。具体的には、変更部１１５８は、カプセル制御データ格納部１１５１に格納され且つ変更を要求された通信フローについてのエントリに含まれるソースポート情報を、探索結果格納部１１５３から特定した別のソースポート情報に変更する（ステップＳ１２５）。

変更部１１５８は、変更後のエントリを含む、経路変更の通知をコントローラ３０に送信する（ステップＳ１２７）。

変更部１１５８は、終了指示を受け付けたか判定する（ステップＳ１２９）。終了指示を受け付けていない場合（ステップＳ１２９：Ｎｏルート）、処理はステップＳ１２１に戻る。一方、終了指示を受け付けた場合（ステップＳ１２９：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、或る通信フローについて通信異常が発生した場合にはその通信フローのみについて経路を変更することができるようになる。例えば図２２に示すように、アプリケーションｕ２とアプリケーションｘ１との通信が経路ｒ０３を使用して行われている時に通信異常が検知されたとする。この場合、別の経路である経路ｒ０４を使用して通信が行われるようにカプセル制御データが更新される。この時、別の通信フローについては経路は変更されない。

次に、図２３を用いて、リーフスイッチ１０１が実行する処理を説明する。なお、ここではリーフスイッチ１０１の処理を例として説明するが、リーフスイッチ１０２乃至１０４及びスパインスイッチ２０１乃至２０４が実行する処理はリーフスイッチ１０１が実行する処理と同様である。

まず、リーフスイッチ１０１における受信部１０１２１は、パケットを受信したか判定する（図２３：ステップＳ８１）。パケットを受信していない場合（ステップＳ８１：Ｎｏルート）、処理はステップＳ８１に戻る。

一方、パケットを受信した場合（ステップＳ８１：Ｙｅｓルート）、受信部１０１２１は、受信したパケットを中継制御部１０１２３に渡す。そして、中継制御部１０１２３は、受信したパケットに含まれる情報に基づき、受信したパケットがプローブパケットであるか判定する（ステップＳ８３）。

受信したパケットがプローブパケットではない場合（ステップＳ８３：Ｎｏルート）、処理はステップＳ８７に移行する。一方、受信したパケットがプローブパケットである場合（ステップＳ８３：Ｙｅｓルート）、中継制御部１０１２３は、プローブパケット処理部１０１２２に以下の処理を実行させる。具体的には、プローブパケット処理部１０１２２は、受信したプローブパケットに自スイッチのスイッチＩＤを付加する（ステップＳ８５）。

中継制御部１０１２３は、ＦＤＢ１０１２４を参照して、受信したパケットの出力先のポートを特定する（ステップＳ８７）。ＦＤＢ１０１２４を用いて出力先のポートを特定する処理はよく知られているので、ここでは説明を省略する。中継制御部１０１２３は、受信したパケットと出力先のポートの情報とを送信部１０１２５に渡す。

送信部１０１２５は、受信したパケットを出力先のポートの情報が示す送信ポートに出力し、送信ポートは受信したパケットを送信する（ステップＳ８９）。

スイッチングモジュール１０１２０は、終了指示を受け付けたか判定する（ステップＳ９１）。終了指示を受け付けていない場合（ステップＳ９１：Ｎｏルート）、処理はステップＳ８１に戻る。一方、終了指示を受け付けた場合（ステップＳ９１：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、プローブパケットには転送経路上の各スイッチのスイッチＩＤが付加されるので、プローブパケットを解析すれば転送経路を特定できるようになる。

［実施の形態２］
第１の実施の形態の方法によって設定される往路と復路とは必ずしも同じにはならない。しかし、往路と復路とが同じであることが好ましい場合もある。そこで、第２の実施の形態においては、往路と復路とが同じになるようにサーバ１１乃至１８及びコントローラ３０を動作させる。

図２４乃至図３１を用いて、第２の実施の形態のシステムにおいて実行される処理について説明する。まず、図２４を用いて、第２の実施の形態のコントローラ３０が実行する処理を説明する。

まず、コントローラ３０は、ＶＴＥＰ処理部１１５７を追加したことを示す通知をサーバ１１乃至１８のうちいずれかのサーバから受信したか判定する（図２４：ステップＳ１３１）。ＶＴＥＰ処理部１１５７がサーバに追加されることによって、そのサーバ上の仮想マシンが実行するアプリケーションによる通信が開始するため、経路の設定が必要になる。本通知は、追加されたＶＴＥＰ処理部１１５７の識別子を含む。

ＶＴＥＰ処理部１１５７を追加したことを示す通知をいずれのサーバからも受信していない場合（ステップＳ１３１：Ｎｏルート）、コントローラ３０は、経路変更の通知を受信したか判定する（ステップＳ１３３）。

経路変更の通知を受信していない場合（ステップＳ１３３：Ｎｏルート）、処理はステップＳ１３１に戻る。一方、経路変更の通知を受信した場合（ステップＳ１３３：Ｙｅｓルート）、コントローラ３０は、経路変更の通知に含まれるデータを保存する（ステップＳ１３５）。

コントローラ３０は、受信した経路変更の通知を、経路変更を行ったサーバと通信を行う可能性が有るサーバに対して送信する（ステップＳ１３７）。

コントローラ３０は、経路変更の完了通知を受信したか判定する（ステップＳ１３９）。経路変更の完了通知を受信していない場合（ステップＳ１３９：Ｎｏルート）、処理はステップＳ１３９に戻る。一方、経路変更の完了通知を受信した場合（ステップＳ１３９：Ｙｅｓルート）、処理はステップＳ１３１に戻る。なお、経路変更の通知に含まれるデータ及び経路変更の完了通知に含まれるデータは各サーバにおいて生成されるデータであるが、コントローラ３０がネットワーク全体を管理できるようにするため、コントローラ３０においても管理される。但し、コントローラ３０が管理するデータは、本実施の形態の処理には直接関係しない。

一方、ＶＴＥＰ処理部１１５７を追加したことを示す通知をいずれかのサーバから受信した場合（ステップＳ１３１：Ｙｅｓルート）、コントローラ３０は、ＶＴＥＰ処理部１１５７が追加されたサーバに、経路探索要求を送信する（ステップＳ１４１）。経路探索要求は、追加されたＶＴＥＰ処理部１１５７の識別子を含む。

コントローラ３０は、経路探索要求の送信先のサーバから経路探索の完了通知を受信したか判定する（ステップＳ１４３）。経路探索の完了通知を受信していない場合（ステップＳ１４３：Ｎｏルート）、処理はステップＳ１４３に戻る。

一方、経路探索の完了通知を受信した場合（ステップＳ１４３：Ｙｅｓルート）、コントローラ３０は、以下の処理を実行する。具体的には、コントローラ３０は、経路探索の完了通知に含まれる探索結果およびカプセル制御データを保存する（ステップＳ１４５）。なお、探索結果およびカプセル制御データは各サーバにおいて生成されるデータであるが、コントローラ３０がネットワーク全体を管理できるようにするため、コントローラ３０においても管理される。但し、コントローラ３０が管理する探索結果およびカプセル制御データは、本実施の形態の処理には直接関係しない。

コントローラ３０は、探索結果およびカプセル制御データを含む追加経路データを生成し、ＶＴＥＰ処理部１１５７が追加されたサーバと通信を行う可能性が有るサーバに対して追加経路データを送信する（ステップＳ１４７）。データセンタにおいては同じテナントの仮想マシン間での通信が行われるので、ステップＳ１４７においては、同じテナントの仮想マシンを実行するサーバに対して追加経路データが送信される。

コントローラ３０は、追加経路データの送信先のサーバから経路設定の完了通知を受信したか判定する（ステップＳ１４９）。経路設定の完了通知には、カプセル制御データ格納部１１５１のエントリが含まれるので、コントローラ３０はそのエントリを保存する。

経路設定の完了通知を受信していない場合（ステップＳ１４９：Ｎｏルート）、処理はステップＳ１４９に戻る。

一方、経路設定の完了通知を受信した場合（ステップＳ１４９：Ｙｅｓルート）、コントローラ３０は、終了指示（例えばシャットダウンの指示）を受け付けたか判定する（ステップＳ１５１）。終了指示を受け付けていない場合（ステップＳ１５１：Ｎｏルート）、処理はステップＳ１３１に戻る。一方、終了指示を受け付けた場合（ステップＳ１５１：Ｙｅｓルート）、処理は終了する。

次に、図２５乃至図３１を用いて、サーバ１１が実行する処理を説明する。なお、ここではサーバ１１が実行する処理を例として説明するが、サーバ１２乃至１８が実行する処理もサーバ１１が実行する処理と同様である。

まず、カプセル制御部１１５６は、経路探索要求をコントローラ３０から受信したか判定する（図２５：ステップＳ１６１）。経路探索要求をコントローラ３０から受信した場合（ステップＳ１６１：Ｙｅｓルート）、カプセル制御部１１５６は、宛先サーバのＶＴＥＰ処理部１１５７（以下、宛先ＶＴＥＰと呼ぶ）の識別子等をカプセル制御データ格納部１１５１に格納する（ステップＳ１７３）。なお、宛先ＶＴＥＰが複数である場合には複数の識別子がカプセル制御データ格納部１１５１に格納される。

図２６に、第２の実施の形態におけるカプセル制御データ格納部１１５１に格納されるカプセル制御データの一例を示す。図２６の例では、パケットの内部ヘッダに含まれる送信元ＭＡＣアドレスと、パケットの内部ヘッダに含まれる宛先ＭＡＣアドレスと、宛先ＶＴＥＰの識別子と、往路のパケットの外部ヘッダに設定されるソースポート情報と、復路のパケットの外部ヘッダに設定されるソースポート情報とが格納される。但し、ステップＳ１７３の処理時点においては、ソースポート情報は格納されない。

カプセル制御部１１５６は、未処理の宛先ＶＴＥＰをカプセル制御データ格納部１１５１から１つ特定する（ステップＳ１７５）。

そして、プローブ制御部１１５５における第１制御部１１５５１は、プローブ送信処理を実行する（ステップＳ１７７）。第２の実施の形態におけるプローブ送信処理は第１の実施の形態のプローブ送信処理と同じであるので、説明を省略する。

カプセル制御部１１５６は、ソースポート選択処理を実行する（ステップＳ１７９）。ソースポート選択処理については、図２７を用いて説明する。

まず、カプセル制御部１１５６は、探索結果格納部１１５３に格納されているソースポート情報が格納されているソースポートの中から、往路と復路とが同じになるように、往路のソースポートと復路のソースポートとを特定する（図２７：ステップＳ２１１）。例えば図１６に示すデータが探索結果格納部１１５３に格納されている場合、往路のソースポート情報が「０ｘ０００１」であり且つ復路のソースポート情報が「０ｘ０００４」であれば、往路と復路とが一致する。

カプセル制御部１１５６は、ステップＳ２１１において特定された、往路のソースポートのソースポート情報と復路のソースポートのソースポート情報とを、カプセル制御データ格納部１１５１に追加する（ステップＳ２１３）。ステップＳ１７３においてはソースポート情報が格納されていなかったので、ステップＳ１７３において追加されたエントリに往路のソースポート情報と復路のソースポート情報とが追加される。そして処理は呼び出し元に戻る。

図２５の説明に戻り、カプセル制御部１１５６は、未処理の宛先ＶＴＥＰが有るか判定する（ステップＳ１８１）。未処理の宛先ＶＴＥＰが有る場合（ステップＳ１８１：Ｙｅｓルート）、処理はステップＳ１７５に戻る。一方、未処理の宛先ＶＴＥＰが無い場合（ステップＳ１８１：Ｎｏルート）、カプセル制御部１１５６は、以下の処理を実行する。具体的には、カプセル制御部１１５６は、探索結果とカプセル制御データとを含む、経路探索の完了通知を、コントローラ３０に送信する（ステップＳ１８３）。そしてステップＳ１６１の処理に戻る。

一方、経路探索要求をコントローラ３０から受信していない場合（ステップＳ１６１：Ｎｏルート）、カプセル制御部１１５６は、追加経路データをコントローラ３０から受信した（すなわち、自サーバが宛先サーバである）か判定する（ステップＳ１６３）。

追加経路データをコントローラ３０から受信した場合（ステップＳ１６３：Ｙｅｓルート）、処理は端子Ｃを介して図２８のステップＳ１９１に移行する。

図２８の説明に移行し、カプセル制御部１１５６は、追加経路データに含まれるデータに基づき、カプセル制御データ格納部１１５１にエントリを追加する（図２８：ステップＳ１９１）。例えば追加経路データに含まれるカプセル制御データが図２６に示したデータである場合、ステップＳ１９１においては図２９に示すエントリが追加される。図２９においては、宛先ＭＡＣアドレスと送信元ＭＡＣアドレスとが交換され、宛先ＶＴＥＰには追加されたＶＴＥＰ処理部１１５７の識別子が設定され、追加経路データに含まれる往路の外部ヘッダのソースポート情報と復路の外部ヘッダのソースポート情報とが交換されている。

カプセル制御部１１５６は、ステップＳ１９１において追加したエントリを含む、経路設定の完了通知をコントローラ３０に送信する（ステップＳ１９３）。処理は端子Ｅを介して図２５のステップＳ１６１に戻る。

図２５の説明に戻り、追加経路データをコントローラ３０から受信していない場合（ステップＳ１６３：Ｎｏルート）、カプセル制御部１１５６は、経路変更の通知をコントローラ３０から受信したか判定する（ステップＳ１６５）。経路変更の通知をコントローラ３０から受信した場合（ステップＳ１６５：Ｙｅｓルート）、処理は端子Ｄを介して図３０のステップＳ２０１に移行する。

図３０の説明に移行し、カプセル制御部１１５６は、経路変更の通知に含まれるデータに従って、カプセル制御データ格納部１１５１内の該当エントリを更新する（図３０：ステップＳ２０１）。通信相手のサーバによって経路が変更されたので、その通信相手との通信において往路と復路とが同じになるように、カプセル制御データ格納部１１５１内の該当エントリが更新される。

カプセル制御部１１５６は、ステップＳ２０１において更新されたエントリを含む、経路変更の完了通知をコントローラ３０に送信する（ステップＳ２０３）。そして処理は端子Ｅを介して図２５のステップＳ１６１に戻る。

図２５の説明に戻り、経路変更の通知をコントローラ３０から受信していない場合（ステップＳ１６５：Ｎｏルート）、カプセル制御部１１５６は、プローブパケットを受信したか判定する（ステップＳ１６７）。

プローブパケットを受信していない場合（ステップＳ１６７：Ｎｏルート）、処理はステップＳ１６１に戻る。一方、プローブパケットを受信した場合（ステップＳ１６７：Ｙｅｓルート）、第１制御部１１５５１は、受信したプローブパケットの送信元と宛先とが交換されたパケットを、プローブパケットの送信元に対して送信する（ステップＳ１６９）。

カプセル制御部１１５６は、終了指示を受け付けたか判定する（ステップＳ１７１）。終了指示を受け付けていない場合（ステップＳ１７１：Ｎｏルート）、処理はステップＳ１６１に戻る。一方、終了指示を受け付けた場合（ステップＳ１７１：Ｙｅｓルート）、処理は終了する。

以上のような処理を実行すれば、例えば図３１に示すように、往路と復路とが同じになるように経路を設定することができるようになる。図３１の例では、アプリケーションｕ１とアプリケーションｘ２とが行う通信において、往路と復路とが一致している。この場合において、往路のソースポート情報と復路のソースポート情報とは必ずしも一致しない。

以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上で説明したサーバ１１乃至１８、リーフスイッチ１０１乃至１０４、スパインスイッチ２０１乃至２０４及びコントローラ３０のブロック構成は実際のプログラムモジュール構成に一致しない場合もある。

また、上で説明した各テーブルの構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。

また、第１及び第２の実施の形態においては経路の設定をサーバが実行するが、コントローラ３０が経路の設定を実行してもよい。

以上述べた本発明の実施の形態をまとめると、以下のようになる。

本実施の形態の第１の態様に係る経路探索システムは、（Ａ）パケットのヘッダに設定される送信元ポート情報に基づきパケットが送信される経路が制御されるネットワークに接続された第１情報処理装置（例えばサーバ１１）と、（Ｂ）ネットワークに接続された第２情報処理装置（例えばサーバ１８）と、（Ｃ）第１情報処理装置と第２情報処理装置とを管理する管理装置（例えばコントローラ３０）とを有する。そして、第１情報処理装置は、（ａ１）第１情報処理装置と第２情報処理装置との間の経路の探索についての要求を管理装置から受信した場合、送信元ポート情報が異なる複数のパケットを第２情報処理装置に送信する第１送信部（例えば第１制御部１１５５１）と、（ａ２）複数のパケットに対する応答パケットに含まれる経路情報と送信元ポート情報とに基づき、パケットに設定される送信元ポート情報を経路毎に特定する特定部（例えばカプセル制御部１１５６）と、（ａ３）各経路について、特定された送信元ポート情報が設定されたプローブパケットを第２情報処理装置に送信する第２送信部（例えば第２制御部１１５５２）とを有する。

送信元ポート情報を順に設定してプローブパケットを設定するのではなく、各経路についてプローブパケットを送信するので、無駄にプローブパケットを送信することがなくなり、プローブパケットの数を減らすことができるようになる。これにより、プローブパケット以外のパケット（例えば、通常のパケット）の転送に与える影響を小さくすることができるようになる。

また、本経路探索システムは、（Ｄ）複数のスイッチをさらに有してもよい。そして、経路情報は、複数のスイッチのうち経路上のスイッチの識別子を含んでもよい。そして、経路上のスイッチの各々は、当該スイッチの識別情報を、受信したパケットに付加してもよい。スイッチの識別子によって経路の異同を決定できるようになる。

また、第２情報処理装置は、（ｂ１）受信した複数のパケットの各々について、当該パケットに含まれる送信元アドレスと宛先アドレスとが交換された応答パケットを生成し、生成した当該応答パケットを第１情報処理装置に送信してもよい。或る送信元ポート情報が設定されたパケットの経路（すなわち往路）及びその応答パケットの経路（すなわち復路）を特定することができるようになる。

また、第１情報処理装置は、（ａ４）第１経路について送信したプローブパケットに基づき第１経路の異常を検知した場合、第１経路で第２情報処理装置に送信されるパケットに設定される送信元ポート情報を、第１経路とは異なる第２経路について特定された送信元ポート情報に変更する第１変更部（例えば変更部１１５８）をさらに有してもよい。経路異常に関係する送信元ポート情報を一括して変更することができるようになる。

また、第１情報処理装置は、（ａ５）第１情報処理装置における第１アプリケーションと第２情報処理装置における第２アプリケーションとの間のある経路で行われている通信の異常を検知した場合、第１アプリケーションが第２アプリケーションに送信するパケットに設定される送信元ポート情報を、上記ある経路とは異なる他の経路について特定された送信元ポート情報に変更する第２変更部（例えば変更部１１５８）をさらに有してもよい。特定の通信フローのみについて送信元ポート情報を変更することができるようになる。

また、特定部は、（ａ２１）要求に対する応答を管理装置に送信してもよい。そして、管理装置は、（ｃ１）要求に対する応答を受信した場合、第２情報処理装置と第１情報処理装置との間の経路の設定についての第２の要求を第２情報処理装置に送信してもよい。そして、第２情報処理装置は、（ｂ２）第２の要求を受信した場合、第１情報処理装置に送信するパケットに設定される送信元ポート情報として、第２情報処理装置と第１情報処理装置との間の経路のうちいずれかの経路に対応する送信元ポート情報を設定してもよい。第１情報処理装置から第２情報処理装置までの経路だけでなく、第２情報処理装置から第１情報処理装置までの経路についての設定を行うことができるようになる。

また、特定部は、（ａ２１）要求に対する応答であって第２情報処理装置との通信で使用される第３経路についての情報を含む当該応答を管理装置に送信してもよい。そして、管理装置は、（ｃ２）要求に対する応答を受信した場合、第２情報処理装置と第１情報処理装置との間の経路の設定についての第２の要求であって第３経路についての情報を含む第２の要求を第２情報処理装置に送信してもよい。そして、第２情報処理装置は、（ｂ３）第２の要求を受信した場合、第１情報処理装置に送信するパケットに設定される送信元ポート情報として、第３経路に対応する送信元ポート情報を設定してもよい。第１情報処理装置から第２情報処理装置までの経路と第２情報処理装置から第１情報処理装置までの経路とを同一にすることができるようになる。

本実施の形態の第２の態様に係る経路探索方法は、（Ｅ）他の情報処理装置との間の経路の探索についての要求を、情報処理装置と他の情報処理装置とを管理する管理装置から受信した場合、送信元ポート情報が異なる複数のパケットを他の情報処理装置に送信し、（Ｆ）複数のパケットに対する応答パケットに含まれる経路情報と送信元ポート情報とに基づき、パケットに設定される送信元ポート情報を経路毎に特定し、（Ｇ）各経路について、特定された送信元ポート情報が設定されたプローブパケットを他の情報処理装置に送信する処理を含む。

本実施の形態の第３の態様に係る経路探索方法は、（Ｈ）パケットのヘッダに設定される送信元ポート情報に基づきパケットが送信される経路が制御されるネットワークに接続された第１情報処理装置と、ネットワークに接続された第２情報処理装置との間の経路の探索についての第１の要求を第１情報処理装置に送信し、（Ｉ）送信した第１の要求に対する応答を受信した場合、第２情報処理装置と第１情報処理装置との間の経路の設定についての第２の要求を第２情報処理装置に送信する処理を含む。

なお、上記方法による処理を１又は複数のコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
パケットのヘッダに設定される送信元ポート情報に基づき前記パケットが送信される経路が制御されるネットワークに接続された第１情報処理装置と、
前記ネットワークに接続された第２情報処理装置と、
前記第１情報処理装置と前記第２情報処理装置とを管理する管理装置と、
を有し、
前記第１情報処理装置は、
前記第１情報処理装置と前記第２情報処理装置との間の経路の探索についての要求を前記管理装置から受信した場合、送信元ポート情報が異なる複数のパケットを前記第２情報処理装置に送信する第１送信部と、
前記複数のパケットに対する応答パケットに含まれる経路情報と送信元ポート情報とに基づき、パケットに設定される送信元ポート情報を経路毎に特定する特定部と、
各経路について、特定された送信元ポート情報が設定されたプローブパケットを前記第２情報処理装置に送信する第２送信部と、
を有する経路探索システム。

（付記２）
複数のスイッチ
をさらに有し、
前記経路情報は、前記複数のスイッチのうち経路上のスイッチの識別子を含み、
前記経路上のスイッチの各々は、当該スイッチの識別情報を、受信したパケットに付加する、
付記１記載の経路探索システム。

（付記３）
前記第２情報処理装置は、
受信した前記複数のパケットの各々について、当該パケットに含まれる送信元アドレスと宛先アドレスとが交換された前記応答パケットを生成し、生成した当該応答パケットを前記第１情報処理装置に送信する、
付記１又は２記載の経路探索システム。

（付記４）
前記第１情報処理装置は、
第１経路について送信したプローブパケットに基づき前記第１経路の異常を検知した場合、前記第１経路で第２情報処理装置に送信されるパケットに設定される送信元ポート情報を、前記第１経路とは異なる第２経路について特定された送信元ポート情報に変更する第１変更部
をさらに有する付記１乃至３のいずれか１つ記載の経路探索システム。

（付記５）
前記第１情報処理装置は、
前記第１情報処理装置における第１アプリケーションと前記第２情報処理装置における第２アプリケーションとの間のある経路で行われている通信の異常を検知した場合、前記第１アプリケーションが前記第２アプリケーションに送信するパケットに設定される送信元ポート情報を、前記ある経路とは異なる他の経路について特定された送信元ポート情報に変更する第２変更部
をさらに有する付記１乃至４のいずれか１つ記載の経路探索システム。

（付記６）
前記特定部は、
前記要求に対する応答を前記管理装置に送信し、
前記管理装置は、
前記要求に対する応答を受信した場合、前記第２情報処理装置と前記第１情報処理装置との間の経路の設定についての第２の要求を前記第２情報処理装置に送信し、
前記第２情報処理装置は、
前記第２の要求を受信した場合、前記第１情報処理装置に送信するパケットに設定される送信元ポート情報として、前記第２情報処理装置と前記第１情報処理装置との間の経路のうちいずれかの経路に対応する送信元ポート情報を設定する、
付記１乃至５のいずれか１つ記載の経路探索システム。

（付記７）
前記特定部は、
前記要求に対する応答であって前記第２情報処理装置との通信で使用される第３経路についての情報を含む当該応答を前記管理装置に送信し、
前記管理装置は、
前記要求に対する応答を受信した場合、前記第２情報処理装置と前記第１情報処理装置との間の経路の設定についての第２の要求であって前記第３経路についての情報を含む前記第２の要求を前記第２情報処理装置に送信し、
前記第２情報処理装置は、
前記第２の要求を受信した場合、前記第１情報処理装置に送信するパケットに設定される送信元ポート情報として、前記第３経路に対応する送信元ポート情報を設定する、
付記１乃至５のいずれか１つ記載の経路探索システム。

（付記８）
情報処理装置が、
他の情報処理装置との間の経路の探索についての要求を、前記情報処理装置と前記他の情報処理装置とを管理する管理装置から受信した場合、送信元ポート情報が異なる複数のパケットを前記他の情報処理装置に送信し、
前記複数のパケットに対する応答パケットに含まれる経路情報と送信元ポート情報とに基づき、パケットに設定される送信元ポート情報を経路毎に特定し、
各経路について、特定された送信元ポート情報が設定されたプローブパケットを前記他の情報処理装置に送信する、
処理を実行する経路探索方法。

（付記９）
情報処理装置に、
他の情報処理装置との間の経路の探索についての要求を、前記情報処理装置と前記他の情報処理装置とを管理する管理装置から受信した場合、送信元ポート情報が異なる複数のパケットを前記他の情報処理装置に送信し、
前記複数のパケットに対する応答パケットに含まれる経路情報と送信元ポート情報とに基づき、パケットに設定される送信元ポート情報を経路毎に特定し、
各経路について、特定された送信元ポート情報が設定されたプローブパケットを前記他の情報処理装置に送信する、
処理を実行させる経路探索プログラム。

（付記１０）
管理装置に、
パケットのヘッダに設定される送信元ポート情報に基づき前記パケットが送信される経路が制御されるネットワークに接続された第１情報処理装置と、前記ネットワークに接続された第２情報処理装置との間の経路の探索についての第１の要求を前記第１情報処理装置に送信し、
送信した前記第１の要求に対する応答を受信した場合、前記第２情報処理装置と前記第１情報処理装置との間の経路の設定についての第２の要求を前記第２情報処理装置に送信する、
処理を実行させる経路探索プログラム。

（付記１１）
管理装置が、
パケットのヘッダに設定される送信元ポート情報に基づき前記パケットが送信される経路が制御されるネットワークに接続された第１情報処理装置と、前記ネットワークに接続された第２情報処理装置との間の経路の探索についての第１の要求を前記第１情報処理装置に送信し、
送信した前記第１の要求に対する応答を受信した場合、前記第２情報処理装置と前記第１情報処理装置との間の経路の設定についての第２の要求を前記第２情報処理装置に送信する、
処理を実行する経路探索方法。

１１，１２，１３，１４，１５，１６，１７，１８ サーバ
１０１，１０２，１０３，１０４ リーフスイッチ
２０１，２０２，２０３，２０４ スパインスイッチ
１０１０，１０２０，１０３０，１０４０，２０１０，２０２０，２０３０，２０４０ 管理ポート
３０ コントローラ ３０１ ＣＰＵ
３０２ メモリ ３０３ 管理ポート
１１００ ハードウエア １１０１ ＣＰＵ
１１０２ メモリ １１０３ ＮＩＣ
１１０４ プログラマブルＮＩＣ １１０５ 補助記憶装置
１１０６ ＣＰＵ １１０７ メモリ
１１１０ ハイパバイザ １１２１，１１２２ 仮想マシン
１１５０ 経路データ格納部 １１５１ カプセル制御データ格納部
１１５２ ＶＴＥＰデータ格納部 １１５３ 探索結果格納部
１１５４ 経路変更データ格納部 １１５５ プローブ制御部
１１５５１ 第１制御部 １１５５２ 第２制御部
１１５６ カプセル制御部 １１５７ ＶＴＥＰ処理部
１１５８ 変更部
１０１０１，１０１１１ 管理ポート
１０１０２，１０１０３，１０１０４ 受信ポート
１０１１２，１０１１３，１０１１４ 送信ポート
１０１２０ スイッチングモジュール １０１２１ 受信部
１０１２２ プローブパケット処理部 １０１２３ 中継制御部
１０１２４ ＦＤＢ １０１２５ 送信部
１０１３０ ＣＰＵ １０１４０ メモリ

Claims (10)

1. パケットのヘッダに設定される送信元ポート情報に基づき前記パケットが送信される経路が制御されるネットワークに接続された第１情報処理装置と、
   前記ネットワークに接続された第２情報処理装置と、
   前記第１情報処理装置と前記第２情報処理装置とを管理する管理装置と、
   を有し、
   前記第１情報処理装置は、
   前記第１情報処理装置と前記第２情報処理装置との間の経路の探索についての要求を前記管理装置から受信した場合、送信元ポート情報が異なる複数のパケットを前記第２情報処理装置に送信する第１送信部と、
   前記複数のパケットに対する応答パケットに含まれる経路情報と送信元ポート情報とに基づき、パケットに設定される送信元ポート情報を経路毎に特定する特定部と、
   各経路について、特定された送信元ポート情報が設定されたプローブパケットを前記第２情報処理装置に送信する第２送信部と、
   を有する経路探索システム。
2. 複数のスイッチ
   をさらに有し、
   前記経路情報は、前記複数のスイッチのうち経路上のスイッチの識別子を含み、
   前記経路上のスイッチの各々は、当該スイッチの識別情報を、受信したパケットに付加する、
   請求項１記載の経路探索システム。
3. 前記第２情報処理装置は、
   受信した前記複数のパケットの各々について、当該パケットに含まれる送信元アドレスと宛先アドレスとが交換された前記応答パケットを生成し、生成した当該応答パケットを前記第１情報処理装置に送信する、
   請求項１又は２記載の経路探索システム。
4. 前記第１情報処理装置は、
   第１経路について送信したプローブパケットに基づき前記第１経路の異常を検知した場合、前記第１経路で第２情報処理装置に送信されるパケットに設定される送信元ポート情報を、前記第１経路とは異なる第２経路について特定された送信元ポート情報に変更する第１変更部
   をさらに有する請求項１乃至３のいずれか１つ記載の経路探索システム。
5. 前記第１情報処理装置は、
   前記第１情報処理装置における第１アプリケーションと前記第２情報処理装置における第２アプリケーションとの間のある経路で行われている通信の異常を検知した場合、前記第１アプリケーションが前記第２アプリケーションに送信するパケットに設定される送信元ポート情報を、前記ある経路とは異なる他の経路について特定された送信元ポート情報に変更する第２変更部
   をさらに有する請求項１乃至４のいずれか１つ記載の経路探索システム。
6. 前記特定部は、
   前記要求に対する応答を前記管理装置に送信し、
   前記管理装置は、
   前記要求に対する応答を受信した場合、前記第２情報処理装置と前記第１情報処理装置との間の経路の設定についての第２の要求を前記第２情報処理装置に送信し、
   前記第２情報処理装置は、
   前記第２の要求を受信した場合、前記第１情報処理装置に送信するパケットに設定される送信元ポート情報として、前記第２情報処理装置と前記第１情報処理装置との間の経路のうちいずれかの経路に対応する送信元ポート情報を設定する、
   請求項１乃至５のいずれか１つ記載の経路探索システム。
7. 前記特定部は、
   前記要求に対する応答であって前記第２情報処理装置との通信で使用される第３経路についての情報を含む当該応答を前記管理装置に送信し、
   前記管理装置は、
   前記要求に対する応答を受信した場合、前記第２情報処理装置と前記第１情報処理装置との間の経路の設定についての第２の要求であって前記第３経路についての情報を含む前記第２の要求を前記第２情報処理装置に送信し、
   前記第２情報処理装置は、
   前記第２の要求を受信した場合、前記第１情報処理装置に送信するパケットに設定される送信元ポート情報として、前記第３経路に対応する送信元ポート情報を設定する、
   請求項１乃至５のいずれか１つ記載の経路探索システム。
8. 情報処理装置が、
   他の情報処理装置との間の経路の探索についての要求を、前記情報処理装置と前記他の情報処理装置とを管理する管理装置から受信した場合、送信元ポート情報が異なる複数のパケットを前記他の情報処理装置に送信し、
   前記複数のパケットに対する応答パケットに含まれる経路情報と送信元ポート情報とに基づき、パケットに設定される送信元ポート情報を経路毎に特定し、
   各経路について、特定された送信元ポート情報が設定されたプローブパケットを前記他の情報処理装置に送信する、
   処理を実行する経路探索方法。
9. 情報処理装置に、
   他の情報処理装置との間の経路の探索についての要求を、前記情報処理装置と前記他の情報処理装置とを管理する管理装置から受信した場合、送信元ポート情報が異なる複数のパケットを前記他の情報処理装置に送信し、
   前記複数のパケットに対する応答パケットに含まれる経路情報と送信元ポート情報とに基づき、パケットに設定される送信元ポート情報を経路毎に特定し、
   各経路について、特定された送信元ポート情報が設定されたプローブパケットを前記他の情報処理装置に送信する、
   処理を実行させる経路探索プログラム。
10. 管理装置に、
    パケットのヘッダに設定される送信元ポート情報に基づき前記パケットが送信される経路が制御されるネットワークに接続された第１情報処理装置と、前記ネットワークに接続された第２情報処理装置との間の経路の探索についての第１の要求を前記第１情報処理装置に送信し、
    送信した前記第１の要求に対する応答を受信した場合、前記第２情報処理装置と前記第１情報処理装置との間の経路の設定についての第２の要求を前記第２情報処理装置に送信する、
    処理を実行させる経路探索プログラム。

Images