JP4588503B2 - 通信システム及び通信方法 - Google Patents

Description

本発明は、通信システム及び通信方法に関し、特にネットワーク上で通信を行う通信システム及びRPR（Resilient Packet Ring）による冗長構成を持つリングネットワーク上で通信を行う通信方法に関する。

情報通信ネットワークは、家庭や企業のＬＡＮ（Local Area Network）から、都市圏全体のネットワークへとより広域のサービスへ移行しており、例えば、イーサネット（登録商標）のＬＡＮ環境を、レイヤ２スイッチを使って接続し、複数のＬＡＮ環境を１つに統合した広域イーサネット（１０ＧｂＥ：10Gigabit Ethernet）が広がりを見せている。

また、１０ＧｂＥを含む広域ネットワークの情報伝送の中核技術にＳＯＮＥＴ／ＳＤＨ（Synchronous Optical NETwork／Synchronous Digital Hierarchy）がある。ＳＯＮＥＴ／ＳＤＨは、低速回線を階層的に積み上げて多重化して、回線の高速化を図り、各種の通信サービスを有効に多重化するためのインタフェースを規定するものであり、標準化されて開発が進んでいる。さらに、広域ネットワークのトポロジとしては、複数のノードをリング状に接続したリングネットワークが主に使用されている。

現在、長距離伝送を行う広域ネットワークの通信バックボーンは、これらＳＯＮＥＴ／ＳＤＨをベースにしたリングネットワークが主流となっているが、近年になって、ＳＯＮＥＴ／ＳＤＨに代わるRPRと呼ばれる技術が注目されている。

RPRは、IEEE 802.17で標準化が進められている新しいMAC（Media Access Control）の伝送技術であり（プロトコルの位置づけは、イーサネットのようなＬＡＮと同様のレイヤ２のMACサブレイヤである）、レイヤ１には依存せずに（レイヤ１は既存技術を流用して）、リングトポロジを実現する。

RPRは、ＳＯＮＥＴのＯＣ（Optical Carrier）−ｎやＳＤＨのＳＴＭ（Synchronous Transport Module）−ｎの伝送レート系列、または１０ＧｂＥなどが含まれるレイヤ１物理層を利用して、IEEE802.17 MACフレーム（RPRフレーム）をリングネットワーク上に伝送することが可能である（RPR over SONET/SDH、RPR over GbE等が可能）。

図１２はRPRネットワークの構成を示す図である。ネットワーク１００は、ノード１０１〜１０６を含み、光ファイバでノード１０１〜１０６がリング状に接続されたリングネットワークである。リングを巡る情報は、ノード１０１〜１０６を介して、トリビュタリ側へ分岐（Ｄｒｏｐ）したり、トリビュタリ側からリング内に情報が挿入（Ａｄｄ）したりする。

また、RPRの２重リングには、互いに逆向きとなるようにパケットが流れる。図では、リングルートＦ１は時計周り、リングルートＦ２は反時計周りにパケットが流れている。なお、ＳＯＮＥＴ／ＳＤＨで伝送・分配される情報単位は、ＯＣやＳＴＭの複数チャネルからなるストリーム単位であったが、RPRではパケット単位で情報が伝送・分配される。

さらに、RPRは、Spatial Reuse（空間の再利用）によってパケット伝送を行う。ここで、従来のＳＯＮＥＴリングの運用形態の１つであるＵＰＳＲ（Unidirectional Path Switched Ring）と比較しながら、Spatial Reuseについて説明する。

図１３はＵＰＳＲの動作を示す概念図である。ノード１１１〜１１４がリング状に接続してリングネットワークが構成されている。ＵＰＳＲは、リングの一方向に現用系のデータを送信しながら、常に反対周りに予備系のデータを流しておき、現用系の障害発生時には予備系に切り替わることで、障害回避を行う運用形態である。

例えば、ノード１１４がノード１１１へデータ送信を行う場合は、現用系ラインＷからデータを送信するのと同時に、反時計周りに同一データを、常に予備系ラインＰｒを通じてノード１１３、１１２を介して送信する（ノード１１１は、通常運用時、WEST方向からのデータを選択して受信する）。

このとき、現用系ラインＷで回線障害が発生しても、予備系ラインＰｒに切り替わることで即時に障害を回避することができる。ただし、ノード１１３、１１２を介しての予備系ラインＰｒは、通常運用時には実際の通信には関係がないので、無駄に空間（伝送帯域）を使っていることになる（ＴＤＭ（Time Division Multiplexing）伝送なので、通常運用時に使用可能なタイムスロットが減少してしまう）。

図１４はSpatial Reuseを示す図である。Spatial Reuseとは、ネットワークの通常運用時、リング内の最短経路で伝送が行える機能のことである。ネットワーク１００ａに対して、ノード１０１〜１０６のそれぞれが、隣接ノードに対して通信を行う場合、図に示すように、送信側ノードと受信側ノードの間だけしか空間（スパンＳｐ１〜Ｓｐ６）を利用しない。

例えば、ノード１０５からノード１０６へのパケット送信を見ると、ノード１０５は、スパンＳｐ５のパスＰ１のみを使用してパケットを送信しており、ＵＰＳＲのような冗長系ルートを用いて、パケットを１周させて伝送するようなことは行わない。つまり、スパンＳｐ５と同じ伝送帯域を再利用して、他のノード間の通信（スパンＳｐ１、スパンＳｐ２、スパンＳｐ３、スパンＳｐ４、スパンＳｐ６）を行うことができる。このようにRPRでは、必要な区間だけにしかパケットを流さないSpatial Reuseによる伝送を行うので、伝送帯域を有効活用することができる。

なお、RPRの障害救済方式としては、Wrapping救済及びSteering救済と呼ばれる２つの方式がIEEE 802.17で定義されており、ＳＯＮＥＴ／ＳＤＨ並みに、障害発生から復旧するまでの経路切り替え時間が、５０msec以下となるように定められている。

一方、RPRでは、FairRate（Fairness）機能によって、各ノードの送信レートを動的に調整する機能を有している。
図１５はFairRate機能を説明するための図である。FairRate機能は、リング全体のトラフィック状況に応じて、各ノードの送信レートを動的に調整し、各ノードが公平にリングの帯域を使用できるようにする機能である。

例えば、ネットワーク１００に対して、ノード１０１内のバッファが輻輳レベルに達して、ノード１０１が輻輳を検知すると、輻輳状態に対して反対周りのリングを使って、１つ上流のノード１０２にどれだけ帯域の確保をしたいかを通知する。通知を受けたノード１０２は、これを超えないように自ノードの使用帯域を調整する。また、通知された帯域はさらに上流のノードへも通知される。このような制御がリング内の各ノードで行われることで、各ノードの送信レートが動的に調整され、帯域の公平性が維持される。

このように、RPRでは、Spatial Reuseによる帯域の有効活用、FairRate algorithmによる帯域公平性の確保、ＳＯＮＥＴ／ＳＤＨ並みの５０msec以下の障害復旧能力といった特徴を有しており、多様なメディアをカバー可能な高品質で信頼性の高いネットワークを構築できるものとして、RPRへの期待が高まってきている。

ネットワークの帯域増加を図る従来技術としては、リングノードを別ネットワークの別経路に結合するように切り替えて、伝送容量を増大させる技術が提案されている（例えば、特許文献１）。
特表２００２−５１０１６０号公報（段落番号〔００１４〕〜〔００３６〕，第１図）

IEEE802.17で定義されている標準化では、RPRリングネットワークの各ノードでは、同一伝送速度でパケットを送信する構成になっている。例えば、図１２では、リングルートＦ１、Ｆ２共にパケット伝送速度が同じであるし、図１４に対しても、各スパンＳｐ１〜Ｓｐ６で通信されるパケット伝送速度はすべて同じである。

ところが、実際のネットワーク運用においては、必ずしも均一にトラフィックが転送されるような状況は少なく、例えば、サーバによって集中管理しているデータセンタがRPRリング上のノードに接続していたり、または、本社や大都市などがRPRリングの特定箇所に位置していたりすると、ある特定のノードへのトラフィック転送が集中することになる。

図１６は特定ノードに負荷が集中しているネットワーク状態を示す図である。ネットワーク１００ｂは、図１２で示したネットワーク１００に対して、集中管理を行うサーバ１０１ａがノード１０１に接続している構成である。

ノード１０２〜１０６それぞれからＡｄｄされたパケットが、サーバ１０１ａへ向かってすべてノード１０１へ転送されており、このとき、ノード１０１とノード１０６間のスパンＳｐ６の光ファイバｆ１は、１つの光ファイバの中に３つのパスが張られて帯域が圧迫された状態となっている。

このような場合、RPRのリングネットワークは、すべて同じ伝送速度となるように構築されるので、局所的な帯域増加が発生しても、すべてのスパンにおいて同じように帯域を増加させなければならない。

例えば、元々１００Mbpsの伝送容量でリングが構築されていた場合に、スパンＳｐ６の時計周り方向の光ファイバｆ１において、２００Mbpsの伝送容量が必要になった場合には、スパンＳｐ１〜Ｓｐ５すべての光ファイバにおいても、２００Mbpsとなるように帯域増加を行わなければならない（この場合、反時計周り方向も同様にして、２００Mbpsに増加させなければならない）。

すると、例えば、スパンＳｐ５のパスＰ２のように、１００Mbpsで十分余裕がある箇所においても、２００Mbpsの帯域増加を行うことになってしまうので、従来のRPRネットワーク運用は局所的な帯域増加に対して非効率的であった。

このような局所的な帯域増加の対策としては、リンク・アグリゲーション（Link Aggregation）を形成することが考えられる。リンク・アグリゲーションは、複数の物理リンクを仮想的な１つのリンクとみなす接続方式であり、局所的に帯域増加するスパンにおいて、リンク・アグリゲーションを形成することで、局所的なトラフィック伝送に対応することが可能になる。

しかし、リンク・アグリゲーションを構成する物理リンクに障害が発生したような場合に、RPRの標準化で定められた既存のWrapping救済やSteering救済を実行してしまうと、障害救済において非効率的であるといった問題があった。

図１７はWrapping救済の状態を示す図である。ネットワーク１００ｃに対して、通常運用時、ノード１０１からＡｄｄされた情報が、反時計周り方向に流れて、ノード１０６、ノード１０５を経由してノード１０４でＤｒｏｐされていたとする。このときに、ノード１０６とノード１０５間のリンクに回線障害が発生したとする。

すると、ノード１０１からＡｄｄされた情報は、ノード１０６で折り返されて、時計周り方向に流れてノード１０５へ到達し、ノード１０５で再び折り返されてノード１０４でＤｒｏｐされる。このように、Wrapping救済は、障害区間を発見すると、そこを避けて逆方向のリングにデータを折り返し送信して、障害の救済を行う。

図１８はSteering救済の状態を示す図である。ネットワーク１００ｄに対して、通常運用時、ノード１０１からＡｄｄされた情報が、反時計周り方向に流れて、ノード１０６、ノード１０５を経由してノード１０４でＤｒｏｐされていたとする。このときに、ノード１０６とノード１０５間のリンクに回線障害が発生したとする。

すると、ノード１０１からＡｄｄされた情報は、時計周り方向に流れて、ノード１０２、ノード１０３を経由してノード１０４へ到達しノード１０４でＤｒｏｐされる。このように、Steering救済では、障害区間を発見すると、各ノードが経路を再計算して障害を救済する。

リンク・アグリゲーションは、複数本の物理リンクで形成されて伝送帯域に余裕を持って信号伝送するのが一般的であり、物理リンクのいくつかに障害が発生したような場合でも、残りの物理リンクの伝送帯域で障害に対して十分対応可能であることが多く、このような場合に、図１７、図１８で上述したような、RPRシステム全体での障害救済であるWrapping救済やSteering救済の障害救済プロトコルを実行してしまうと、ネットワーク全体に重い制御負荷がかかり、運用性の低下を引き起こすことになる。

本発明はこのような点に鑑みてなされたものであり、障害発生箇所に対する救済処理をノード間で簡潔に行って、ネットワーク運用の効率性を高めた通信システムを提供することを目的とする。

さらに、本発明の他の目的は、障害発生箇所に対する救済処理をノード間で簡潔に行って、ネットワーク運用の効率性を高めた通信方法を提供することである。

上記課題を解決するために、ネットワーク上で通信を行う通信システムが提供される。通信システムは、ネットワークの局所的なスパンに設置された複数の物理リンクを仮想的な１つのリンクとみなすリンク・アグリゲーションとし、負荷分散処理を行って前記物理リンクへデータを出力し、後段ノードから通知された障害情報を受信した場合には、正常通信可能な物理リンクに対する負荷分散計算をあらためて行って負荷分散処理を行う負荷分散部を含む第１の通信カードが実装された第１のノードと、複数の前記物理リンクを介して送信されたデータを集約し、宛先にしたがって出力する集約部と、前記リンク・アグリゲーションを構成する物理リンク上の障害を検出して前記障害情報を生成する障害検出部と、前記障害情報を前段ノードへ通知する障害情報通知部とを含む第２の通信カードが実装された第２のノードと、を備え、前記リンク・アグリゲーションを形成する前記物理リンクに障害が発生した場合であって、少なくとも１本の前記物理リンクが残存する場合は、前記負荷分散部は、前記リンク・アグリゲーションに対する前記負荷分散処理によって障害救済を行い、すべての前記物理リンクに障害が発生した場合は、前記第１の通信カードまたは前記第２の通信カードは、障害救済プロトコルにもとづき、障害区間を回避した折り返し送信による障害救済、または障害区間を回避するための経路再計算により求めた新たな経路による障害救済を行う。

リンク・アグリゲーションを形成する物理リンクに障害が発生した場合、少なくとも１本の物理リンクが残存する場合は、リンク・アグリゲーションに対する負荷分散処理によって障害救済を行い、すべての物理リンクに障害が発生した場合は、障害救済プロトコルにもとづき障害救済を行うとした切り分けを行うことにより、障害状態に対応した柔軟な障害救済処理を行うことができ、ネットワーク運用の効率を向上させることが可能になる。

以下、本発明の実施の形態を図面を参照して説明する。図１は通信システムの原理図である。通信システム１は、ノード２０−１〜ノード２０−４がリング状に接続され、時計周りのリングルートと、反時計周りのリングルートからなる２重リングのネットワークを構成する。また、ノード２０−１〜ノード２０−４にＡｄｄされた情報はＤｒｏｐすべきノード２０−１〜ノード２０−４に転送されて、情報の通信が行われる。

複数の物理リンク（光ファイバ）１１−１〜物理リンク１１−ｎは、ネットワークの局所的に伝送帯域が増加するスパンＳｐａに設置されて、増加した伝送帯域をカバー可能な物理リンクである。例えば、元々１０Gbpsの１本の光ファイバであったものが、伝送帯域が増加して３０Gbpsになったならば、３本の光ファイバが設置されることになる。本実施の形態ではノード２０−１とノード２０−４間のスパンＳｐａにおいて、時計周りのルート（ノード２０−４からノード２０−１方向のルート）に複数の物理リンクを有する構成となっている。

スパンＳｐａの送信側ノード、すなわち複数の物理リンクの前段ノードであるノード２０−４には、通信カード３０ａが実装される。通信カード３０ａは、負荷分散部３１を有する。負荷分散部３１は、複数の物理リンク１１−１〜物理リンク１１−ｎをリンク・アグリゲーション（以降、ＬＡと呼ぶ）とし、負荷分散を行って物理リンク１１−１〜物理リンク１１−ｎへデータを出力する。

また、複数の物理リンクの後段ノードであるノード２０−１から通知された障害情報（例えば物理リンク１１−１の障害情報）を受信した場合には、正常通信可能な物理リンク（障害が発生していない物理リンク１１−２〜物理リンク１１−ｎ）に対する負荷分散計算をあらためて行って負荷分散処理を行う。なお、ＬＡは、複数の物理リンクを仮想的な１つのリンクとみなす接続方式であり、IEEE.802.3adで規定されている。

スパンＳｐａの受信側ノード、すなわち複数の物理リンクの後段ノードであるノード２０−１には、通信カード３０ｂが実装される。通信カード３０ｂは、集約部３２、障害検出部３３、障害情報通知部３４を有する。集約部３２は、複数の物理リンク１１−１〜物理リンク１１−ｎを介して送信されたデータを受信・集約し、宛先にしたがって出力する（例えば、ノード２０−１でＤｒｏｐして、リング外にデータを転送したり、またはノード２０−２へ送信したりする）。

障害検出部３３は、ＬＡを構成する物理リンクの障害を検出して（図では物理リンク１１−１に障害が発生しているためこれを検出する）、どの物理リンクによるデータ受信が異常であるかを示す障害情報を生成する。障害情報通知部３４は、障害情報を障害検出方向とは逆方向、すなわち反時計周りのリングルートを用いて、前段ノードであるノード２０−４へ通知する。

なお、この障害情報は上記前段ノードに通知できれば良いので、障害検出方向と同じ方向である時計周りのリングルートを用いて転送されても良いし、通信システム１を管理するネットワーク管理システム（ＮＭＳ）が設置されている場合にはＮＭＳ経由で転送されても良い。

また、上記では説明の便宜上、負荷分散部３１をデータ送信側の通信カード３０ａに設け、集約部３２、障害検出部３３及び障害情報通知部３４をデータ受信側の通信カード３０ｂに設けたが、負荷分散部３１、集約部３２、障害検出部３３及び障害情報通知部３４を、１枚の通信カード（通信カード３０とする）内に含まれる構成としても良い。

次に通信システム１の障害救済処理を説明する前に（障害救済処理については図５以降で後述）、RPRリングネットワークの局所的な帯域増加に対応するＬＡ構築について図２〜図４を用いて説明する。

図２はRPRリングネットワーク上での局所的な帯域増加に対応するＬＡ構築を説明するための図である。通信システム１ａは、ノード２０−１〜ノード２０−６を含み、ノード２０−１〜ノード２０−６が２重リングで接続される。また、図には示さないが、データの集中処理を行うサーバ等がノード２０−１へ接続され、このために、ノード２０−２〜ノード２０−６それぞれからＡｄｄされたパケットが、すべてノード２０−１へ転送されている。

なお、ここでは、現在１０Gbps（時計周り及び反時計周り共に１０Gbpsのパケット伝送が行われる）のRPRが構成されていると想定し、帯域保証クラスではない非帯域保証クラス（例えば、classB-EIR、classC）のパケット伝送を行うとする。

ここで、図２の説明の前に、帯域保証クラスと非帯域保証クラスにおけるパケット伝送の違いについて説明する。物理帯域の最大が１０Gbpsとした場合に、時計周り方向に１０Gbpsで伝送しているときに回線障害が発生し、反時計周り方向に回線を切り替えようとした場合、反時計周り方向でも１０Gbpsの伝送が行われていると、反時計周り方向で伝送していた１０Gbpsの情報がつぶされてしまうことになる。

したがって、帯域保証クラスでは、例えば、物理帯域の半分の帯域を用いるようにすることで、障害が発生した場合でも帯域を保証できるようにしておく。この例では、時計周り方向に５Gbpsで伝送しているときに回線障害が発生し、反時計周り方向に回線を切り替えた場合、反時計周り方向も５Gbpsの伝送が行われているならば、反時計周り方向に最大物理帯域の１０Gbpsの情報が流れることになり、帯域が保証されることになる。逆に、帯域を保証しなくてもよい非帯域保証クラスでパケット伝送を行う場合には、最大物理帯域までパス設定することが許容される。非帯域保証クラスでは上述のような回線障害に伴う回線切り替えが発生すると、このクラスのパケットは転送が保証されない。

図２おいて、ノード２０−６とノード２０−１間のスパンＳｐ６の時計周りリングルート（ノード２０−６からノード２０−１の方向）では、ノード２０−４、ノード２０−５、ノード２０−６からのノード２０−１宛のパスが流れている。このとき、パス帯域の合計が１０Gbps以内である場合は問題ないが、それ以上の帯域を望む場合、ノード２０−６からノード２０−１への時計周りリングルートのリンクで物理的帯域が不足することになる。

例えば、ノード２０−４から５Gbps、ノード２０−５から４Gbpsのパスが、ノード２０−１宛に時計回りリングルートに設定されていると、この時点でノード２０−６からノード２０−１への時計回りリングルートは９Gbpsの帯域を占有している。この時、ノード２０−６からノード２０−１宛に例えば、５Gbpsのパスを時計回りリングルートに設定したくても、時計周り方向のパス設定可能な帯域は１Gbps以内に制限される。

効率が悪くなることを承知で、反時計周り方向でノード２０−１宛のパス設定も考えることができるが、その場合でも、ノード２０−２、ノード２０−３からノード２０−１宛の反時計周り方向のパス合計帯域が１０Gbpsであるならば、ノード２０−２→ノード２０−１間のリンクでやはり制限が発生し、パス設定できない。

したがって、このように伝送帯域が増加する場合、ノード２０−６からノード２０−１への右回りリングルートのリンクにおいて、あと４Gbps帯域が足りないので、１０Gbpsのリンクを１本追加し２０Gbpsリンク帯域のＬＡを構成する。

（構築手順１）
ノード２０−６に１０Gbpsの通信カード３０ａ、ノード２０−１に１０Gbpsの通信カード３０ｂを実装し、１０Gbpsの光ファイバを追加接続する。なお、以降では通信カード３０をLA over RPR対応カード３０と呼ぶ。また、光ファイバｆ１が元からあったファイバであり、光ファイバｆ２が新規に追加されたものとする。

（構築手順２）
ノード２０−６、ノード２０−１にて、ＬＡ機能を有効にする。これにより、既存パス（ノード２０−４、ノード２０−５からノード２０−１宛のパス）に対するＬＡハッシュ演算による負荷分散が行われる（光ファイバｆ１、光ファイバｆ２へ均等に負荷が分散されるようにする）。

（構築手順３）
ノード２０−６にて、ノード２０−６からノード２０−１への右回りリングルートにおけるリンクの使用帯域の（FairRate）再計算が行われ、有効帯域が１１Gbps（＝２０Gbps−（ノード２０−４でパス設定した４Gbps）−（ノード２０−５でパス設定した５Gbps））であることを認識し、ソースノード（ノード２０−４、ノード２０−５）へFairRate通知が行われる（光ファイバｆ２が追加されＬＡ機能が実行することで、ノード２０−４、ノード２０−５に対して、あらためてFairRateがノード２０−６で再計算されて通知されることで、ノード２０−４、ノード２０−５はそれぞれ、５Gbps、４Gbpsのパス設定が可能であることを認識する）。

（構築手順４）
ノード２０−６からノード２０−１宛に、５Gbpsのパス設定を行う。その結果、１５Gbpsのパス帯域が、ＬＡリンクであるノード２０−６からノード２０−１への右回りリングルートのリンクで伝送されることとなる。

上記構築手順では、ノード２０−６からノード２０−１宛のパス帯域を増加させることができるが、ノード２０−４、２０−５からノード２０−１宛のパス帯域を増加させる場合は、ノード２０−５→ノード２０−６間でも帯域不足が発生する可能性があるが、ＬＡリンク構築は、局所的な帯域増加に対応可能なので、ノード２０−５→ノード２０−６間リンクに対しても、上記と同様な手順で帯域増加を行うことが可能である。

次にプロトコル・スタックについて示す。図３はプロトコル・スタックを示す図である。通信システム１を実現するプロトコルであるRPR MACは、レイヤ２（Ｌ２）のMACサブレイヤに位置する。

レイヤ１（Ｌ１）には、例えば、ＳＯＮＥＴ／ＳＤＨ、ＷＤＭ、ＧｂＥが位置する。MACサブレイヤにはIEEE802.3（イーサネット）が位置し、MACサブレイヤの中のRPR MACには、ＬＡがあり、ＬＡの上位にFairnessと、RPRのリングトポロジ及び障害救済のためのTopology and Protectionとがあり、さらにＯＡＭ（Operation and Maintenance）が位置する。また、MACサブレイヤの上位にＬＬＣ（Logical Link Control）サブレイヤがあり、レイヤ３（Ｌ３）はＩＰ（Internet Protocol）となる。

次に片方向（unidirectional）のリングルート単位でのＬＡ構築について説明する。図４は片方向のリングルート単位でのＬＡ構築を説明するための図である。ネットワーク構成は図２と同じである。

LA over RPR対応カード３０ｂは、反時計周りのリングルートを介して、物理リンク１１−１〜物理リンク１１−ｎの接続状態を通知するための接続状態通知を、LA over RPR対応カード３０ａへ送信する。この接続状態通知は、実際にはkeep aliveパケット（ネットワーク上で、接続が有効であることを確認するために定期的に送信されるパケット）を使用できる。

LA over RPR対応カード３０ａ内の負荷分散部３１は、接続状態通知にもとづいて、時計周りのリングルート上に形成された複数の物理リンク１１−１〜物理リンク１１−ｎに対する負荷分散制御を行う。

このように、ノード間でネットワーク回線状態の送受信を行い、常時正常性の確認のやりとりを行うことで、リングネットワークの局所的に伝送帯域が増加するスパンに対して、片方向のリングルート単位にＬＡを生成（物理リンクの増減設）することができ（つまり、ＬＡを構築する際には、時計周りまたは反時計周りのどちらか一方のルートにＬＡを構築でき、両方のルートに必ずしも構築する必要はないということ）、特定ノードに負荷が集中する場合のダイナミックな接続容量要求に対して、最小限の設備で対応可能となる。

次に通信システム１の障害救済処理（以降、ＬＡ救済処理とも呼ぶ）をRPRネットワーク上に適用した場合の詳細について説明する。
図５、図６はＬＡ救済処理の動作状態を示す図である。

ノード２０−１〜ノード２０−５がリング状に接続されており、時計周りリングルートはノード２０−１、ノード２０−２、ノード２０−３、ノード２０−４、ノード２０−５、ノード２０−６の順に接続され、一周してノード２０−１に戻るように構成されている。そして、ノード２０−１〜ノード２０−５にはそれぞれ、データｎ１〜データｎ５がＡｄｄされて、時計周り方向へ流れており、データｎ１〜データｎ３は、ノード２０−４でＤｒｏｐされている。

また、リングの伝送帯域として１GbpsのRPRネットワークが構成され、帯域保証クラス（例えば、classA、classB-CIRなど）のデータ伝送が行われるとする。さらに、ノード２０−３からノード２０−４への時計周りリングルートには、４本の物理リンク１１−１〜物理リンク１１−４からなるＬＡ（１本が１Gbpsであるので、最大４Gbpsの伝送可能）が形成されている。このとき、ノード２０−３は複数の物理リンクの前段ノード、ノード２０−４は後段ノードである。

図５において、RPRの帯域保証クラスでは、上述したように、パス設定の上限は一方のリングルートが有する物理帯域であるリング物理帯域の半分に制限される。この例では、リング物理帯域は１Gbpsなので、５００Mbpsが上限値となる（時計周り、反時計周りのリングルートと共にデータ伝送帯域の上限値が５００Mbpsとなる）。したがって、物理リンク１１−１〜物理リンク１１−４からなるＬＡでも帯域保証クラスとしては最大で５００Mbpsの伝送が行われる（ノード２０−１、ノード２０−２、ノード２０−３からノード２０−４宛の帯域合計は５００Mbps）。

LA over RPR対応カード３０ａ内の負荷分散部３１では、合計５００Mbpsの帯域保証クラスのデータを物理リンク１１−１〜物理リンク１１−４へ負荷分散して出力する。LA over RPR対応カード３０ｂ内の集約部３２は、物理リンク１１−１〜物理リンク１１−４から送信されたデータを集約する。

図６において、物理リンク１１−１に障害が発生したとする。このとき、まず後段ノードであるノード２０−４のLA over RPR対応カード３０ｂ内の障害検出部３３にてリンク断を検出し、残りのリンク帯域にて帯域保証クラスの伝送を満足できることを認識し、ＬＡ救済処理を開始する。

そして、反時計周りリングルートを介して、後段ノードであるノード２０−４から前段ノードであるノード２０−３宛に送信される障害情報にて、リンク断のリンクを特定する情報を通知する。障害情報は、前段ノードであるノード２０−３のLA over RPR対応カード３０ａにて検出され、複数の物理リンクのうち、物理リンク１１−１に障害が発生したことを認識する。なお、障害情報は、KeepAliveを利用して通知することができる。

前段ノードであるノード２０−３の負荷分散部３１では、負荷分散先が４本から３本に減少したことを認識し、残る３本の物理リンク１１−２〜物理リンク１１−４で合計５００Mbpsのデータを送出するように、あらたな負荷分散計算を行い、データを送出する。

このように、帯域保証クラスのデータがＬＡリンクを経由して伝送されているときに、ＬＡを形成する物理リンクに障害が発生した場合は、基本的には、少なくとも１本の物理リンクが残存するならば、上記のようなＬＡ救済処理によって対応する。これは、１本の物理リンクの伝送帯域が、リング物理帯域に相当するからである。また、ＬＡを形成するすべての物理リンクに障害が発生した場合には、Wrapping救済またはSteering救済といった既存のRPRの救済処理が実行されることになる。

図７〜図９はＬＡ救済処理の動作状態を示す図である。ノード２０−１〜ノード２０−５がこの順で時計周りリングルートを形成するようにリング状に接続されている。ノード２０−１〜ノード２０−５にはそれぞれ、データｍ１〜ｍ５がＡｄｄされて、時計周り方向へ流れており、データｍ１〜ｍ３は、ノード２０−４でＤｒｏｐされている様子を示している。また、リングの伝送帯域が１GbpsのRPRネットワークが構成され、非帯域保証クラス（例えば、classB-EIR、classCなど）のデータ伝送が行われるとする。

図７において、データｍ１〜ｍ３に対応するパスの伝送容量が増えて、ノード２０−３とノード２０−４間の時計周り方向のリンクで、局所的な帯域増加が発生したとする。すなわち、データｍ１〜ｍ３に対応するパスの伝送帯域をそれぞれＭ１〜Ｍ３とし、ノード２０−３とノード２０−４間の時計周り方向のリンクが確保すべき伝送帯域をLink Rateとすれば、（Ｍ１＋Ｍ２＋Ｍ３）＞Link Rateの状態になったとする。

図８において、ノード２０−３とノード２０−４間の時計周りのリングルートとして１Gbpsの物理リンク４本（物理リンク１１−１〜物理リンク１１−４）を形成する（３本の１Gbps物理リンクを増設）。

ノード２０−１、ノード２０−２からノード２０−４宛のパス合計帯域（Ｍ１＋Ｍ２）が１Gbps以内であるとすると、ノード２０−３からノード２０−４宛のパス帯域（Ｍ３）は、４GbpsのＬＡリンクが構成され、すべてが非帯域保証クラスであるとすると、３Gbpsまで使用可能となる。

ここでは例えば、Ｍ１＝０．５Gbps、Ｍ２＝０．５Gbps、Ｍ３＝３Gbpsとする（このような設定は、Fairnessアルゴリズムにて、ノード２０−３からノード２０−４に向かうパスを、他のパスより重み付けを大に設定すること（unequal weighted shaper）により実現可能である）。

また、ノード２０−３のLA over RPR対応カード３０ａ内の負荷分散部３１では、合計４Gbpsのデータを物理リンク１１−１〜物理リンク１１−４へ負荷分散して出力する。ノード２０−４の集約部３２は、物理リンク１１−１〜物理リンク１１−４から送信されたデータを集約する。なお、ここでの状態は（Ｍ１＋Ｍ２＋Ｍ３）≦Link Rateとなる。

図９は図８において、物理リンク１１−１に障害が発生した状態を説明する図である。物理リンク１１−１に障害が発生すると、ＬＡでの伝送可能帯域は３Gbpsとなる。ノード２０−３は、ノード２０−３、ノード２０−４間リンクのfairRate再計算処理を行い、ノード２０−３とノード２０−４間の時計回りリングルートの帯域分配におけるソースノード（ノード２０−１〜ノード２０−３）に対して、帯域再分配処理が行われる。

ここで、Ｍ１、Ｍ２の重み（この例では各々０．５Gbps shaper）の６倍をＭ３に設定（3Gbps shaper）するとすれば、Ｍ１：Ｍ２：Ｍ３＝１：１：６の重み比率となるので、Ｍ１：Ｍ２：Ｍ３＝０．３７５Gbps：０．３７５Gbps：２．２５Gbpsとなる。

その結果、ノード２０−３とノード２０−４間の時計周りリングルートのリンクは正常な物理リンク３本の帯域である３Gbpsが最大まで利用され、ノード２０−３からアップストリーム（upstream）のノード（反時計周り方向のノード）へのfairRate通知は、０．３７５Gbpsとなる。ノード２０−１、２０−２は、この帯域再分配のfairRate通知を受け、各々の帯域設定を障害発生前の０．５Gbps から０．３７５Gbps に変更する。

このように、非帯域保証クラスがＬＡリンクを経由して伝送されているときに、ＬＡを形成する物理リンクに障害が発生した場合は、基本的には、少なくとも１本の物理リンクが残存するならば、上記のようなＬＡ救済処理によって対応し、その都度、fairRate再計算結果にもとづいた帯域再分配を行うことになる。また、ＬＡを形成するすべての物理リンクに障害が発生した場合には、Wrapping救済またはSteering救済といった既存のRPRの救済処理が実行されることになる。

次にLA over RPRカード３０について説明する。
図１０はLA over RPR対応カード３０の機能構成を示す図である。LA over RPR対応カード３０は、Hash Algorithm & LA KeepAlive Packet生成部３１ａ、３１ｂ、パケット受信・Alarm検出部３２ａ、３２ｂ、Drop Path３３ａ、３３ｂ、Through Path３４ａ、３４ｂ、Wrap SW３５ａ、３５ｂ、Add Path３６ａ、３６ｂ、EAST側伝送路と接続されるE/O O/E３７−１、WEST側伝送路と接続されるE/O O/E３７−２、Link BW（Band Width） Monitor entity３８ａ、３８ｂ、EAST/WEST Ringlet Selection３９から構成される。

E/O O/E３７−１、３７−２は、他ノードから送信された光信号を電気信号に変換し、自ノードで処理された電気信号を光信号に変換して出力する。Hash Algorithm & LA KeepAlive Packet生成部３１ａ、３１ｂは、負荷分散部３１の機能を含み、ＬＡを構成する複数の物理リンクに対し、均一な負荷が割り当てられるように、転送すべきパケットに対してハッシュ演算を行って送出すべき物理リンクを決定し、負荷を分散させる。この場合、パケット受信・Alarm検出部３２ａ、３２ｂからのアラーム情報を受けた場合は、正常な物理リンクだけにパケットが送出されるようにハッシュ演算を再度計算し直して負荷分散させる。また、keep aliveパケットの送出及び受信機能を有する。

パケット受信・Alarm検出部３２ａ、３２ｂは、集約部３２の機能を含む。また、回線障害アラームを検出し、アラーム情報をHash Algorithm & LA KeepAlive Packet生成部３１ａ、３１ｂへ通知する。

Drop Path３３ａ、３３ｂは、受信パケットからＤｒｏｐすべきパスを選択し、選択したパスはトリビュタリ側へＤｒｏｐし、それ以外のパケットはThrough Path３４ａ、３４ｂへそれぞれ送信する。

Through Path３４ａ、３４ｂは、受信パケットをそれぞれAdd Path３６ａ、３６ｂへ送信する。Wrap SW３５ａは、障害救済時に、WESTから流れてきた、例えば反時計周りリングルートのパケットを時計周りリングルートに折り返してWESTから出力するように、WESTから流れてきたパケットをThrough Path３４ａへ送信する。Wrap SW３５ｂは、障害救済時に、EASTから流れてきた、時計周りリングルートのパケットを反時計周りリングルートに折り返してEASTから出力するように、EASTから流れてきたパケットをThrough Path３４ｂへ送信する。

Add Path３６ａは、Through Path３４ａから送信されたパケットにEAST/WEST Ringlet Selection３９から送信されたWEST Ringlet 向けパケットをＡｄｄし、Hash Algorithm & LA KeepAlive Packet生成部３１ａ及びLink BW Monitor entity３８ａへ送信する。

Add Path３６ｂは、Through Path３４ｂから送信されたパケットにEAST/WEST Ringlet Selection３９から送信されたEAST Ringlet 向けパケットをＡｄｄし、Hash Algorithm & LA KeepAlive Packet生成部３１ｂ及びLink BW Monitor entity３８ｂへ送信する。

Link BW Monitor entity３８ａ、３８ｂは、それぞれWEST Ringlet向けパケット、EAST Ringlet向けパケットの伝送帯域をモニタし、モニタ結果をノード内の図示しないCongestion Control部（輻輳制御部）へ通知する（モニタ結果はFairRate計算に利用する）。

EAST/WEST Ringlet Selection３９は、トリビュタリ側からＡｄｄされたパケットをEAST方向へのパスにＡｄｄ（送出）するのか、WEST方向へのパスにＡｄｄ（送出）するのかを選択し、Add Path３６ａ、３６ｂのいずれかに送信する。

図１１はLA over RPR対応カード３０のＬＡ救済処理の動作を説明するための図である。EAST側ＬＡ障害救済処理部３００Ｅは、Hash Algorithm & LA KeepAlive Packet生成部３１ｂとパケット受信・Alarm検出部３２ａの機能を含み、WEST側ＬＡ障害救済処理部３００Ｗは、Hash Algorithm & LA KeepAlive Packet生成部３１ａとパケット受信・Alarm検出部３２ｂの機能を含む。なお、EAST、WESTとも機能・動作は同じなので、EAST側ＬＡ障害救済処理部３００Ｅについて説明する。

EAST側ＬＡ障害救済処理部３００Ｅは、Ｌ１アラーム検出部３ａ、RPR MACアラーム検出部３ｂ、mask部３ｃ、ＬＡ救済エンジン３ｄ、LA KeepAlive送信部３ｅから構成される。

Ｌ１アラーム検出部３ａは、EAST側からの信号を受信し、物理レイヤにおけるアラームを検出する。物理レイヤにおけるアラームとしては、例えば、ＳＯＮＥＴ／ＳＤＨならＬＯＳ（Loss Of Signal）やＳＦ（Signal Failure）などのアラームであり、ＧｂＥならＬＯＳ、Ｌ．Ｄ．（Link Down）、Ｃ．Ｖ．（Code Violation）などがある。

RPR MACアラーム検出部３ｂは、RPR MACレイヤにおけるアラームを検出する。RPR MACレイヤにおけるアラームとしては、例えば、RPR KeepAlive Failure、RPR Ringlet Identifier Mismatchなどがある。

mask部３ｃは、ＬＡ救済エンジン３ｄからのmask指示にもとづき、RPR救済プロトコル（Wrapping／Steering）の起動がかからないように、アラーム情報のmask処理を行う。すなわち、ＬＡ救済処理で障害救済可能な場合は、Wrapping／Steeringといった、RPRにおける救済処理が行われないように上位制御部に対するアラーム通知をmaskし、Wrapping／Steeringによる障害救済を行う場合には、maskを解除してアラーム情報を上位のRPR救済プロトコルエンジン３０１へ通知する（EAST側からのアラーム検出なので、RPR救済プロトコルエンジン３０１のEAST受信側へ通知する）。

ＬＡ救済エンジン３ｄは、ＬＡを構成している複数の物理リンクのアラームの入力と、LA KeepAliveパケットの終端処理を行い、ＬＡリンク上で伝送している保証帯域情報を守れるかどうかの判断を行っている。

ＬＡ救済エンジン３ｄでは、保証帯域情報、ＬＡリンクの障害情報をインプットとしており、保証帯域を満足できない障害が発生したと判断した場合は、RPR救済プロトコルエンジン３０１へのアラーム通知maskを解除するようmask部３cを制御し、RPR救済トリガを起動させる。

また、物理リンク上で回線障害が検出された場合、ＬＡ救済エンジン３ｄは保証帯域を満足できていると認識した場合、RPRでの救済処理に頼ることなくＬＡで救済すると判断し、RPR救済プロトコルエンジン３０１へのアラーム通知をmaskするようにmask部３cを制御するとともに、障害回線のポート番号情報をLA KeepAlive送信部３ｅに通知し、LA KeepAlive送信部３ｅは、送信元ノードへ障害情報を伝達する。

また、LA KeepAlive送信部３ｅは、RPR救済プロトコルエンジン３０１でWrapping／Steeringによる障害救済を行う場合には、RPR救済プロトコルエンジン３０１のEAST送信部からその旨の情報を受けて、その情報を含むLA KeepAliveパケットを送信元ノードへ伝達する。

なお、障害回線を送信物理リンクとして使用していた前段ノード側では、ＬＡ障害情報を含むLA KeepAliveパケットを受信すると、障害回線を認識し、ＬＡ振り分け部（LA Hash Algorithm）で障害回線を有効回線の選択から排除することにより、残る有効なＬＡ回線だけを利用してトラフィック伝送を実施することになる。

以上説明したように、本発明に係る通信システム及び通信方法では、リンクの両端ノードに、LA over RPR対応カード３０を実装してそのリンクの伝送帯域増加を図ることができ、ＬＡを形成する物理リンクに障害が発生した場合には、帯域保証クラスとして設定された帯域と、ＬＡを形成する物理リンクの帯域とに応じて、RPR救済プロトコル(Wrapping／Steering)を起動せずに、ＬＡ救済処理によって簡潔にトラフィックを救済することにより、高速かつ効率的に障害救済を行うことが可能になる。

（付記１） ネットワーク上で通信を行う通信システムにおいて、
ネットワークの局所的なスパンに設置された複数の物理リンクと、
複数の前記物理リンクを仮想的な１つのリンクとみなすリンク・アグリゲーションとし、負荷分散処理を行って前記物理リンクへデータを出力し、後段ノードから通知された障害情報を受信した場合には、正常通信可能な物理リンクに対する負荷分散計算をあらためて行って負荷分散処理を行う負荷分散部を含む第１の通信カードが実装された第１のノードと、
複数の前記物理リンクを介して送信されたデータを集約し、宛先にしたがって出力する集約部と、前記リンク・アグリゲーションを構成する物理リンク上の障害を検出して前記障害情報を生成する障害検出部と、前記障害情報を前段ノードへ通知する障害情報通知部とを含む第２の通信カードが実装された第２のノードと、
を有することを特徴とする通信システム。

（付記２） 前記第１の通信カードは、前記リンク・アグリゲーションを構成する物理リンク上で障害が発生して、前記障害情報を受信した場合、前記リンク・アグリゲーションへ向けてデータを送信しているソースノードに対して、帯域最分配処理を促す帯域最分配処理指示部をさらに有することを特徴とする付記１記載の通信システム。

（付記３） ネットワーク上で通信を行う通信カードにおいて、
局所的なスパンに設置された複数の物理リンクを仮想的な１つのリンクとみなすリンク・アグリゲーションとし、負荷分散処理を行って前記物理リンクへデータを出力し、後段ノードから通知された障害情報を受信した場合には、正常通信可能な物理リンクに対する負荷分散計算をあらためて行って負荷分散処理を行う負荷分散部と、
複数の前記物理リンクを介して送信されたデータを集約し、宛先にしたがって出力する集約部と、
前記リンク・アグリゲーションを構成する物理リンク上の障害を検出して前記障害情報を生成する障害検出部と、
前記障害情報を前段ノードへ通知する障害情報通知部と、
を有することを特徴とする通信カード。

（付記４） 前記リンク・アグリゲーションを構成する物理リンク上で障害が発生して、前記障害情報を受信した場合、前記リンク・アグリゲーションへ向けてデータを送信しているソースノードに対して、帯域最分配処理を促す帯域最分配処理指示部をさらに有することを特徴とする付記３記載の通信カード。

（付記５） RPRによる冗長構成を持つリングネットワーク上で通信を行う通信方法において、
局所的なスパンに対して複数の物理リンクを設置し、
第１の通信カードをデータ送信側のノードに実装して、前記第１の通信カードは、複数の前記物理リンクを仮想的な１つのリンクとみなすリンク・アグリゲーションに対して、負荷分散処理を行って前記物理リンクへデータを出力し、後段ノードから通知された障害情報を受信した場合には、正常通信可能な物理リンクに対する負荷分散計算をあらためて行って負荷分散処理を行い、
第２の通信カードをデータ受信側のノードに実装して、前記第２の通信カードは、複数の前記物理リンクを介して送信されたデータを集約して、宛先にしたがって出力し、前記リンク・アグリゲーションを構成する物理リンク上の障害を検出した際は前記障害情報を生成して、前記障害情報を前段ノードへ通知することで、
前記リンク・アグリゲーションを構成する物理リンクに障害が発生した場合に、RPRプロトコルの障害救済プロトコルを起動せずに、前記リンク・アグリゲーションを構成しているノード間でのみ障害救済を行うことを特徴とする通信方法。

（付記６） 前記リンク・アグリゲーションを構成する物理リンク上で障害が発生して、前記障害情報を受信した場合、前記第１の通信カードは、前記リンク・アグリゲーションへ向けてデータを送信しているソースノードに対して、帯域最分配処理を促すことを特徴とする付記５記載の通信方法。

通信システムの原理図である。 RPRリングネットワーク上での局所的な帯域増加に対応するＬＡ構築を説明するための図である。 プロトコル・スタックを示す図である。 片方向のリングルート単位でのＬＡ構築を説明するための図である。 ＬＡ救済処理の動作状態を示す図である。 ＬＡ救済処理の動作状態を示す図である。 ＬＡ救済処理の動作状態を示す図である。 ＬＡ救済処理の動作状態を示す図である。 ＬＡ救済処理の動作状態を示す図である。 LA over RPR対応カードの機能構成を示す図である。 LA over RPR対応カードのＬＡ救済処理の動作を説明するための図である。 RPRネットワークの構成を示す図である。 ＵＰＳＲの動作を示す概念図である。 Spatial Reuseを示す図である。 FairRate機能を説明するための図である。 特定ノードに負荷が集中しているネットワーク状態を示す図である。 Wrapping救済の状態を示す図である。 Steering救済の状態を示す図である。

符号の説明

１ 通信システム
１１−１〜１１−ｎ 物理リンク
２０−１〜２０−４ ノード
３０ａ、３０ｂ 通信カード
３１ 負荷分散部
３２ 集約部
３３ 障害検出部
３４ 障害情報通知部
Ｓｐａ 伝送帯域が増加したスパン

Claims (3)

1. ネットワーク上で通信を行う通信システムにおいて、
   ネットワークの局所的なスパンに設置された複数の物理リンクを仮想的な１つのリンクとみなすリンク・アグリゲーションとし、負荷分散処理を行って前記物理リンクへデータを出力し、後段ノードから通知された障害情報を受信した場合には、正常通信可能な物理リンクに対する負荷分散計算をあらためて行って負荷分散処理を行う負荷分散部を含む第１の通信カードが実装された第１のノードと、
   複数の前記物理リンクを介して送信されたデータを集約し、宛先にしたがって出力する集約部と、前記リンク・アグリゲーションを構成する物理リンク上の障害を検出して前記障害情報を生成する障害検出部と、前記障害情報を前段ノードへ通知する障害情報通知部とを含む第２の通信カードが実装された第２のノードと、
   を備え、
   前記リンク・アグリゲーションを形成する前記物理リンクに障害が発生した場合であって、
   少なくとも１本の前記物理リンクが残存する場合は、前記負荷分散部は、前記リンク・アグリゲーションに対する前記負荷分散処理によって障害救済を行い、
   すべての前記物理リンクに障害が発生した場合は、前記第１の通信カードまたは前記第２の通信カードは、障害救済プロトコルにもとづき、障害区間を回避した折り返し送信による障害救済、または障害区間を回避するための経路再計算により求めた新たな経路による障害救済を行う、
   ことを特徴とする通信システム。
2. 前記第１の通信カードは、前記リンク・アグリゲーションを構成する物理リンク上で障害が発生して、前記障害情報を受信した場合、前記リンク・アグリゲーションへ向けてデータを送信しているソースノードに対して、帯域最分配処理を促す帯域最分配処理指示部をさらに有することを特徴とする請求項１記載の通信システム。
3. RPRによる冗長構成を持つリングネットワーク上で通信を行う通信方法において、
   第１の通信カードをデータ送信側のノードに実装して、前記第１の通信カードは、局所的なスパンに設置された複数の物理リンクを仮想的な１つのリンクとみなすリンク・アグリゲーションに対して、負荷分散処理を行って前記物理リンクへデータを出力し、後段ノードから通知された障害情報を受信した場合には、正常通信可能な物理リンクに対する負荷分散計算をあらためて行って負荷分散処理を行い、
   第２の通信カードをデータ受信側のノードに実装して、前記第２の通信カードは、複数の前記物理リンクを介して送信されたデータを集約して、宛先にしたがって出力し、前記リンク・アグリゲーションを構成する物理リンク上の障害を検出した際は前記障害情報を生成して、前記障害情報を前段ノードへ通知し、
   前記リンク・アグリゲーションを形成する前記物理リンクに障害が発生した場合であって、
   少なくとも１本の前記物理リンクが残存する場合は、前記負荷分散部は、前記リンク・アグリゲーションに対する前記負荷分散処理によって障害救済を行い、
   すべての前記物理リンクに障害が発生した場合は、前記第１の通信カードまたは前記第２の通信カードは、障害救済プロトコルにもとづき、障害区間を回避した折り返し送信による障害救済、または障害区間を回避するための経路再計算により求めた新たな経路による障害救済を行う、
   ことを特徴とする通信方法。

Images