JP5704035B2 - ネットワークシステム - Google Patents

Description

本発明は、サーバやストレージ等のネットワーク機器が接続される複数の下位スイッチングハブと、下位スイッチングハブのそれぞれと接続され、下位スイッチングハブ間で送受信される通常フレームを中継する１つ以上の上位スイッチングハブと、を備えたネットワークシステムに関するものである。

近年の情報伝送量の増大に対応するため、広帯域であり、かつ将来的に帯域を拡張することが可能なネットワークシステムが要求されている。

そこで、スイッチングハブを複数用いて、大容量の仮想的なスイッチングハブを実現したネットワークシステムが提案されてきている（例えば特許文献１参照）。

このネットワークシステムでは、サーバやストレージ等のネットワーク機器が接続される複数の下位スイッチングハブと、下位スイッチングハブのそれぞれと接続され、下位スイッチングハブ間で送受信される通常フレームを中継する１つ以上の上位スイッチングハブと、を備えており、各下位スイッチングハブが全ての上位スイッチングハブと接続されたマルチパスの構成となっている。以下、下位スイッチングハブをポートスイッチ（ＰＳ）、上位スイッチングハブをファブリックスイッチ（ＦＳ）と呼称する。

ところで、このネットワークシステムでは、リンクアグリゲーションを利用してシステムを構成している。本出願人は、ポートスイッチとファブリックスイッチ間で制御フレームを送受信することで、ＬＡＧ（リンクアグリゲーショングループ）の設定を自動で行うネットワークシステムを開発中である。なお、リンクアグリゲーションとは、複数の回線を仮想的に束ね、あたかも１本の回線であるかのように扱う技術であり、ＩＥＥＥ８０２．３ａｄとして規定されている。

ここで、ポートスイッチ、ファブリックスイッチにおけるＬＡＧの自動設定について具体的に説明しておく。

ポートスイッチは、ファブリックスイッチに接続する全てのポートから、所定の時間間隔毎に、自身（送信元のポートスイッチ）の識別子を含む制御フレームを送信するようになっている。また、ファブリックスイッチは、ポートスイッチに接続する全てのポートから、所定の時間間隔毎に、自身（送信元のファブリックスイッチ）の識別子、接続されているポートスイッチの数、および接続されているポートスイッチの識別子、を含む制御フレームを送信するようになっている。

ポートスイッチでは、ファブリックスイッチに接続する全てのポートに対してＬＡＧが設定される。このとき設定されるＬＡＧをメインリンクと呼称することにする。なお、ポートスイッチでは、ファブリックスイッチに接続可能なポートは予め決まっており、ファブリックスイッチに接続可能なポート全てに予めメインリンクが設定される。

また、ポートスイッチでは、ファブリックスイッチから受信する制御フレームの内容に基づき、同じファブリックスイッチが接続されたポートに対して、サブリンクが設定される。より具体的には、ポートスイッチでは、受信した制御フレームに含まれる「接続されているポートスイッチの数」が最大であり、かつ、「送信元のファブリックスイッチの識別子」が同じポート同士を、サブリンクに設定するようになっている。メインリンクのポートのうち、サブリンクが設定されていないポートは通常フレームの送信を禁止し、サブリンクが設定されたポートは通常フレームの送信を許可するようになっている。

他方、ファブリックスイッチでは、ポートスイッチから受信する制御フレームの内容（送信元のポートスイッチの識別子）に基づき、同じポートスイッチが接続されたポートに対してＬＡＧが設定される。このとき設定されるＬＡＧを、上述のポートスイッチと同様に、サブリンクと呼称することにする。なお、ファブリックスイッチでは、上述のポートスイッチにおけるメインリンクに相当するＬＡＧは設定されない。

ＬＡＧでは、送信する通常フレームの内容（宛先アドレスや送信元アドレス等）に応じて当該通常フレームを送信するポートを振り分け、負荷分散して一気にデータを送信するので、転送速度を大きくし、帯域を拡張することができる。なお、通常フレームとは、ポートスイッチやファブリックスイッチで中継する通常のイーサネットフレーム（イーサネットは登録商標）である。

このネットワークシステムでは、ポートスイッチやファブリックスイッチを適宜追加することで、柔軟にポートを拡張したり帯域を拡張したりすることが可能であり、システム導入時のコストを低減できるという利点がある。

また、このネットワークシステムでは、冗長構成を実現できるため、任意の経路（スイッチ間の伝送路等）で不具合が発生した場合にも、他の経路で通信を継続できるという利点がある。

特開２０１０−２８８１６８号公報

しかしながら、上述のネットワークシステムでは、ポートスイッチとファブリックスイッチが既に接続されている状態で、さらに伝送路を追加した（リンクアップした）ときに、不具合が発生する場合があった。

このとき発生する不具合について図４を用いて具体的に説明する。なお、図４において、ハッチングされているポートはサブリンクに設定されているポート、ハッチングされていないポートはサブリンクに設定されていないポートを示している。

図４（ａ）に示すように、ポートスイッチ（ＰＳ）４１のポート２，３と、ファブリックスイッチ（ＦＳ）４２のポート２，３とが、それぞれＬＡＮケーブル等の伝送路により接続されている場合を考える。また、ポートスイッチ４１、ファブリックスイッチ４２のいずれにおいても、ポート２，３にサブリンクが設定されているとする。ポートスイッチ４１では、ファブリックスイッチ４２に接続可能な全てのポートにメインリンクが設定されている。

ここで、図４（ｂ）に示すように、両スイッチ４１，４２のポート１同士を伝送路で接続（リンクアップ）したとする。両スイッチ４１，４２では、所定の時間間隔毎に制御フレームを送信しているが、両スイッチ４１，４２は独立して動作しているため、スイッチ４１，４２のどちらかが先に制御フレームを受信することになる。

ここで、ポートスイッチ４１が先に制御フレームを受信した場合を考える。ポート１で制御フレームを受信したポートスイッチ４１は、受信した制御フレームに含まれる識別子がファブリックスイッチ４２のものであるから、ポート１をポート２，３に設定されたサブリンクに追加する。その結果、ポートスイッチ４１のポート１にはサブリンクが設定されているが、ファブリックスイッチ４２のポート１にはサブリンクが設定されていない状態となる。

この状態で、図４（ｃ）に示すように、ポートスイッチ４１からファブリックスイッチ４２に、ポート２またはポート３を介して、宛先がブロードキャスト（あるいはファブリックスイッチ４２にてＦＤＢ（Ｆｏｒｗａｒｄｉｎｇ Ｄａｔａｂａｓｅ）の学習（宛先対出力ポートの学習）が行われていない宛先の通常フレームが送信されると、当該通常フレームを受信したファブリックスイッチ４２では、受信ポートであるポート２を含むサブリンクが設定されているポート（つまりポート２，３）以外の全てのポートに通常フレームを転送することとなり、サブリンクが未設定であるポート１からも当該通常フレームが送信されてしまう。

その結果、ポートスイッチ４１から送信した通常フレームが、ファブリックスイッチ４２にて折り返されて再びポートスイッチ４１に戻る、という通常のネットワークではあり得ない状況が発生してしまう。このような通常フレームの折り返しが発生すると、ポートスイッチ４１でのＦＤＢの学習に支障を来して正常な通信が行えなくなる場合も考えられるので、対策が必要である。

本発明は上記事情に鑑み為されたものであり、ＬＡＧの自動設定時の不具合を解消したネットワークシステムを提供することを目的とする。

本発明は上記目的を達成するために創案されたものであり、複数の下位スイッチングハブと、前記下位スイッチングハブのそれぞれと接続され、前記下位スイッチングハブ間で送受信される通常フレームを中継する１つ以上の上位スイッチングハブと、を備え、前記下位スイッチングハブは、前記上位スイッチングハブに接続する全てのポートに対して第１のリンクアグリゲーショングループを設定し、かつ、前記上位スイッチングハブに接続する全てのポートから自身の識別子を含む第１の制御フレームを送信する下位スイッチ設定部を有し、前記上位スイッチングハブは、前記下位スイッチングハブから受信する前記第１の制御フレームに基づき、同じ下位スイッチングハブが接続されたポートに対して第２のリンクアグリゲーショングループを設定し、かつ、前記第２のリンクアグリゲーショングループが設定されたポートから自身の識別子を含む第２の制御フレームを送信する上位スイッチ設定部を有し、前記上位スイッチ設定部は、前記第２のリンクアグリゲーショングループが設定されていないポートでの通常フレームの送受信と前記第２の制御フレームの送信を禁止するように構成されるネットワークシステムである。

本発明によれば、ＬＡＧの自動設定時の不具合を解消できる。

本発明の一実施の形態に係るネットワークシステムの概略構成図である。 （ａ）は、下位スイッチングハブ（ポートスイッチ）の各ポートの状態遷移を説明する図であり、（ｂ）は、上位スイッチングハブ（ファブリックスイッチ）の各ポートの状態遷移を説明する図である。 （ａ）〜（ｄ）は、ポートスイッチとファブリックスイッチ間に新たな伝送路を追加したとき（リンクアップしたとき）のＬＡＧの自動設定の動作を説明する図である。 （ａ）〜（ｃ）は、従来のネットワークシステムにおけるＬＡＧの自動設定時の不具合を説明する図である。

以下、本発明の実施の形態を添付図面にしたがって説明する。

図１は、本実施の形態に係るネットワークシステムの概略構成図である。

図１に示すように、ネットワークシステム１は、サーバやストレージ等のネットワーク機器（図示せず）が接続される複数の下位スイッチングハブ２と、下位スイッチングハブ２のそれぞれと接続され、下位スイッチングハブ２間で送受信される通常フレームを中継する１つ以上の上位スイッチングハブ３と、を備えている。以下、下位スイッチングハブ２をポートスイッチ（ＰＳ）２、上位スイッチングハブ３をファブリックスイッチ（ＦＳ）３と呼称する。

本実施の形態において、ポートスイッチ２及びファブリックスイッチ３は、イーサネットフレーム（イーサネットは登録商標）を中継するスイッチングハブである。

各ポートスイッチ２はそれぞれ下位スイッチ設定部４を有しており、各ファブリックスイッチ３はそれぞれ上位スイッチ設定部５を有している。下位スイッチ設定部４は、ポートスイッチ２の各ポートのＬＡＧ（リンクアグリゲーショングループ）の設定を行うものであり、上位スイッチ設定部５は、ファブリックスイッチ３の各ポートのＬＡＧの設定を行うものである。下位スイッチ設定部４と上位スイッチ設定部５は、ＣＰＵ、メモリ、ソフトウェア、インターフェイス等を適宜組み合わせて実現される。

また、下位スイッチ設定部４及び上位スイッチ設定部５は、予め設定された負荷分散ルールに従って、ＬＡＧが設定されたポートのうちいずれか１つのポートから通常フレームを送信するように振り分け、負荷分散して一気にデータを送信するように構成されている。負荷分散ルールとしては、例えば、通常フレームに含まれるＤＡ（送信元マックアドレス）とＳＡ（宛先マックアドレス）の排他的論理和（ＸＯＲ）をとり、その下位５ビットを抽出して、抽出した値に応じて送信するポートを振り分ける方法などが挙げられる。なお、負荷分散ルールは、各ポートスイッチ２、各ファブリックスイッチ３で同じルールに設定されることが望ましい。これにより、任意のネットワーク機器間で通常データを送受信する際の往復の経路が同じになり、ファブリックスイッチ３でのＦＤＢの未学習によるフラッディングを防止して、無駄なトラフィックを抑制することができる。

下位スイッチ設定部４は、ファブリックスイッチ３に接続する全てのポートに対してＬＡＧ（第１のリンクアグリゲーショングループ、メインリンクという）を設定すると共に、ファブリックスイッチ３から受信する制御フレームの内容に基づき、同じファブリックスイッチ３が接続されたポートに対してサブリンクを設定する。

ポートスイッチ２において、下位スイッチ設定部４は、サブリンクが設定されていないポートでの通常フレームの送信を禁止し、サブリンクが設定されているポートでの通常フレームの送信を許可する。

また、下位スイッチ設定部４は、ファブリックスイッチ３に接続する全てのポート（つまりメインリンクが設定されたポート）から、所定の時間間隔毎に、自身の識別子を含む制御フレーム（第１の制御フレーム）を送信するように構成される。

他方、上位スイッチ設定部５は、ポートスイッチ２から受信する制御フレームの内容に基づき、同じポートスイッチ２が接続されたポートに対してＬＡＧ（第２のリンクアグリゲーショングループ、サブリンクという）を設定する。

本実施の形態に係るネットワークシステム１では、上位スイッチ設定部５は、サブリンクが設定されたポートから、所定の時間間隔毎に、自身の識別子を含む制御フレーム（第２の制御フレーム）を送信するように構成され、かつ、サブリンクが設定されていないポートでの通常フレームの送受信と制御フレームの送信を禁止するように構成される。

また、上位スイッチ設定部５は、自身の識別子に加え、接続されているポートスイッチ２の数、および接続されているポートスイッチ２の識別子を含む制御フレームを送信するように構成される。

以下、下位スイッチ設定部４と上位スイッチ設定部５のより詳細な動作を、ポートの状態遷移と共に説明する。

図２（ａ）に示すように、下位スイッチ設定部４は、ポートスイッチ２のサブリンクが設定されていないポート（ファブリックスイッチ３からの制御フレームを受信していないポート）を、通常フレームの送信を禁止（受信は許可）し、制御フレームの送信を行う状態に設定する。以下、この状態をリスニングという。ポートスイッチ２では、サブリンクの設定が全くなされていない初期状態においては、全てのポート（メインリンクが設定される全てのポート）がリスニングの状態に設定される。

ポートスイッチ２のサブリンクが設定されていないポートで制御フレームを受信すると、下位スイッチ設定部４は、受信した制御フレームに含まれる送信元のファブリックスイッチ３の識別子を基に、制御フレームを受信したポートのサブリンクの設定を行う。より詳細には、下位スイッチ設定部４は、受信した制御フレームに含まれる「接続されているポートスイッチの数」が最大であり、かつ、「送信元のファブリックスイッチの識別子」が同じポート同士を、サブリンクに設定する。

下位スイッチ設定部４は、サブリンクを設定した後、当該サブリンクを設定したポートの通常フレームの送信の禁止を解除する。これにより、制御フレームを受信したポートは、通常フレームの送受信を許可し、制御フレームの送信を行う状態に設定される。以下、この状態をフォワーディングという。

さらに、下位スイッチ設定部４は、フォワーディングに設定されたポートでリンクダウンを検出した場合（例えば、所定時間ファブリックスイッチ３からの制御フレームを受信しなかった場合）、当該ポートをサブリンクから外し、通常フレームの送信を禁止してリスニングの状態に設定する。

他方、図２（ｂ）に示すように、上位スイッチ設定部５は、ファブリックスイッチ３のサブリンクが設定されていないポートを、通常フレームの送受信と制御フレームの送信を禁止する状態（つまり制御フレームの受信のみが可能な状態）に設定する。以下、この状態をブロッキングという。ファブリックスイッチ３では、サブリンクの設定が全くなされていない初期状態においては、全てのポートがブロッキングの状態に設定される。

ファブリックスイッチ３のサブリンクが設定されていないポートで制御フレームを受信すると、上位スイッチ設定部５は、受信した制御フレームに含まれる送信元のポートスイッチ２の識別子を基に、制御フレームを受信したポートのサブリンクの設定を行う。その後、サブリンクを設定したポートの通常フレームの送受信の禁止を解除して制御フレームの送信を開始する。これにより、制御フレームを受信したポートは、ブロッキングの状態からフォワーディングの状態に設定される。

さらに、上位スイッチ設定部５は、フォワーディングに設定されたポートでリンクダウンを検出した場合（例えば、所定時間ポートスイッチ２からの制御フレームを受信しなかった場合）、当該ポートをサブリンクから外し、通常フレームの送受信と制御フレームの送信を禁止してブロッキングの状態に設定する。

次に、図３を用いて、ポートスイッチ２とファブリックスイッチ３間に新たな伝送路を追加したとき（リンクアップしたとき）のＬＡＧの自動設定の動作を具体的に説明する。なお、図３において、ハッチングされているポートはサブリンクに設定されているポート、ハッチングされていないポートはサブリンクに設定されていないポートを示している。

図３（ａ）に示すように、ポートスイッチ（ＰＳ）２のポート２，３と、ファブリックスイッチ（ＦＳ）３のポート２，３とが、それぞれＬＡＮケーブル等の伝送路により接続されている場合を考える。また、ポートスイッチ２、ファブリックスイッチ３のいずれにおいても、ポート２，３にサブリンクが設定されているとする。ポートスイッチ２では、ファブリックスイッチ３に接続可能な全てのポートにメインリンクが設定されている。このとき、伝送路が接続されていない（あるいはリンクダウンの状態の）ポートスイッチ２のポート１はリスニングの状態、ファブリックスイッチ３のポート１はブロッキングの状態に設定されている。

ここで、図３（ｂ）に示すように、両スイッチ２，３のポート１同士を伝送路で接続（リンクアップ）したとする。このとき、ファブリックスイッチ３のポート１はブロッキングの状態に設定されているので、ファブリックスイッチ３から制御フレームが送信されることはない。よって、リスニングの状態に設定されているポートスイッチ２のポート１から制御フレームが送信され、ブロッキングの状態に設定されているファブリックスイッチ３のポート１で制御フレームが受信されることになる。

図３（ｃ）に示すように、ファブリックスイッチ３のポート１でポートスイッチ２からの制御フレームを受信すると、ファブリックスイッチ３のポート１が、ポート２，３のサブリンクに追加され、ポート１がフォワーディングの状態に設定される。これにより、フォワーディングの状態に設定されたファブリックスイッチ３のポート１から制御フレームが送信され、ポートスイッチ２のポート１で制御フレームが受信されることになる。

図３（ｄ）に示すように、ポートスイッチ２のポート１でファブリックスイッチ３からの制御フレームを受信すると、ポートスイッチ２のポート１が、ポート２，３のサブリンクに追加され、ポート１がフォワーディングの状態に設定される。以上により、両スイッチ２，３のポート１のＬＡＧの自動設定が完了する。

ここで、図３（ｂ），（ｃ）の状態、すなわちＬＡＧの設定が開始してから完了するまでの途中の状態において、宛先がブロードキャストの通常フレームが送信された場合の動作について検討しておく。

まず、図３（ｂ）の状態で、ポートスイッチ２からファブリックスイッチ３に、ポート２または３を介して宛先がブロードキャストの通常フレームが送信された場合を検討する。この場合、ファブリックスイッチ３のポート１はブロッキングの状態に設定されており、通常フレームの送受信が禁止されているため、当該通常フレームがポートスイッチ２に折り返されることはなく、不具合は生じない。

また、図３（ｃ）の状態で、ポートスイッチ２からファブリックスイッチ３に、ポート２または３を介して宛先がブロードキャストの通常フレームが送信された場合について検討する。この場合、ファブリックスイッチ３のポート１は既にサブリンクに設定されているため、サブリンクが設定されたポート２，３で受信した通常フレームが、同じサブリンクが設定されたポート１に転送されることはないので、当該通常フレームがポートスイッチ２に折り返されることはなく、不具合は生じない。

さらに、図３（ｂ）または図３（ｃ）の状態で、ファブリックスイッチ３からポートスイッチ２に、宛先がブロードキャストの通常フレームが送信された場合について検討する。この場合、ポートスイッチ２では、ポート１〜３を含むファブリックスイッチ３に接続される全てのポートにメインリンクが設定されており、メインリンクに設定されたポートで受信した通常フレームが、同じメインリンクに設定されたポートに転送されることはないので、当該通常フレームがファブリックスイッチ３に折り返されることはなく、不具合は生じない。

以上説明したように、本実施の形態に係るネットワークシステム１では、ファブリックスイッチ３において、ＬＡＧ（サブリンク）が設定されていないポートでの通常フレームの送受信と制御フレームの送信を禁止するようにしている。

これにより、ポートスイッチ２から送信した通常フレームが、ファブリックスイッチ３にて折り返されて再びポートスイッチ２に戻る、といった不具合を防止することが可能となり、ＬＡＧの自動設定時の不具合を解消できる。

なお、通常フレームの折り返しを防止するだけであれば、サブリンクが設定されていないポートでの通常フレームの送受信を禁止するのみで足りる。しかし、この場合、ポートスイッチ２側で先にサブリンクの設定が行われると、ポートスイッチ２からファブリックスイッチ３の送受信が禁止されているポートに通常フレームが送信されて、当該通常フレームが失われるおそれがある。そのため、ファブリックスイッチ３のサブリンクが設定されていないポートは、通常フレームの送受信と制御フレームの送信を禁止したブロッキングの状態とし、ポートスイッチ２よりも先にファブリックスイッチ３でサブリンクの設定が行われるようにしている。

ネットワークシステム１では、ポートスイッチ２とファブリックスイッチ３とを複数の伝送路を介して接続しているため、複数のファブリックスイッチ３を用いることによる帯域の増加に加えて、複数の伝送路を用いることによる帯域の増加を実現でき、また、２重の冗長構成を実現できるため、一の伝送路やファブリックスイッチ３で不具合が発生した場合にも、他の伝送路やファブリックスイッチ３で通信を継続することが可能である。

本発明は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。

１ ネットワークシステム
２ ポートスイッチ（下位スイッチングハブ）
３ ファブリックスイッチ（上位スイッチングハブ）
４ 下位スイッチ設定部
５ 上位スイッチ設定部

Claims (4)

1. 複数の下位スイッチングハブと、
   前記下位スイッチングハブのそれぞれと接続され、前記下位スイッチングハブ間で送受信される通常フレームを中継する１つ以上の上位スイッチングハブと、を備え、
   前記下位スイッチングハブは、前記上位スイッチングハブに接続する全てのポートに対して第１のリンクアグリゲーショングループを設定し、かつ、前記上位スイッチングハブに接続する全てのポートから自身の識別子を含む第１の制御フレームを送信する下位スイッチ設定部を有し、
   前記上位スイッチングハブは、前記下位スイッチングハブから受信する前記第１の制御フレームに基づき、同じ下位スイッチングハブが接続されたポートに対して第２のリンクアグリゲーショングループを設定し、かつ、前記第２のリンクアグリゲーショングループが設定されたポートから自身の識別子を含む第２の制御フレームを送信する上位スイッチ設定部を有し、
   前記上位スイッチ設定部は、前記第２のリンクアグリゲーショングループが設定されていないポートでの通常フレームの送受信と前記第２の制御フレームの送信を禁止するように構成される
   ネットワークシステム。
2. 前記上位スイッチ設定部は、前記第２のリンクアグリゲーショングループが設定されていないポートで前記第１の制御フレームを受信したとき、前記第１の制御フレームを受信したポートに前記第２のリンクアグリゲーショングループの設定を行い、その後、通常フレームの送受信の禁止を解除して前記第２の制御フレームの送信を開始するように構成される
   請求項１記載のネットワークシステム。
3. 前記下位スイッチ設定部は、
   前記上位スイッチングハブに接続する全てのポートのうち、前記上位スイッチングハブからの前記第２の制御フレームを受信していないポートでの通常フレームの送信を禁止するように構成され、
   かつ、前記上位スイッチングハブからの前記第２の制御フレームを受信していないポートで前記第２の制御フレームを受信したとき、通常フレームの送信の禁止を解除するように構成される
   請求項１または２記載のネットワークシステム。
4. 前記下位スイッチングハブと前記上位スイッチングハブとは、複数の伝送路を介して接続される
   請求項１〜３いずれかに記載のネットワークシステム。