JP5417971B2 - ネットワークシステム、ネットワークシステムの通信方法、及びネットワークシステムのノード装置 - Google Patents

Description

本発明は、リング状の通信路に複数のノードを接続したネットワークシステム、ネットワークシステムの通信方法、及びネットワークシステムのノード装置に関する。

リング網において様々な帯域制御プロトコルが提案、標準化されている。一例として、ＩＥＥＥ８０２．１７で規定されている、Ｒｅｓｉｌｉｅｎｔ Ｐａｃｋｅｔ Ｒｉｎｇ（ＲＰＲ）では、リング内の各ノードが制御情報を交換し、自律分散的に帯域制御や公平性（フェアネス）制御を行う方式である。

ＲＰＲのようなリング網の帯域制御プロトコルでは、リング網の帯域を効率的に利用することを目的としている。そのため、あるノードのある特定のポートに向けたトラヒックが複数ノードから送信される場合、それぞれの送信ノードから送信されたトラヒック量がリング網の帯域を超えることなく、さらに各送信ノード間で送信しているトラヒック量が公平になるように制御される。その結果、送信ノード数が３であり、リング網の帯域が３Ｇｂｐｓ使用可能である場合には、各送信ノードは１Ｇｂｓずつトラヒックを送信できるよう、帯域制御が行われる。

しかしながら、上記のトラヒックがすべて同一の出力ポート向けのトラヒックであり、その出力ポートのポートスピードが１Ｇｂｐｓであった場合、すべてのトラヒックを出力することができない。出力ポートに十分に大きい出力バッファを備え、流入超過量を一時的に格納することが可能であるが、出力ポートスピードに対して大きなデータ信号の流入が続く場合、流入超過分は、出力ポートにおいて廃棄されてしまうという問題が生じてくる。

また、特許文献１には、リング状の並列伝送路において、並列した伝送路間の使用率のばらつきを低減しパケットの入れ替わり幅を小さくするようにしたものが記載されている。すなわち、並列伝送路では、すべての端末が同一の伝送路に接続されているわけではないため、宛先ノードで受信される前に目的とする伝送路に交換する必要がある。特許文献１は、この交換を効率よく行うためのものである。

また、特許文献２には、リングネットワークにおいて、通信速度が異なるリンクの混在を可能にするようにしたものが記載されている。

また、特許文献３には、トークンパッシング方式のリング型ＬＡＮにおいて、自ノードの受信バッファの空き容量が少なくなるとトークンのアドレスフィールドに自身のアドレスを書き込み、他ノードがデータを送信しないように制御するものが記載されている。

また、特許文献４には、コネクションレス型のネットワークにおいて、受信バッファメモリのオーバーフローを未然に防ぐようにしたものが記載されている。

特開２００４−２４８１７５公報 特開２００６−９４３０６号公報 特開平４−１４２８３６号公報 特開平６−２７６２０５号公報

上述のように、ＲＰＲのようなリング網の帯域制御プロトコルでは、トラヒックが特定のノードに対して集中し、１つの出力ポートスピードに対して大きなデータ信号の流入が続く場合に、流入超過分は、出力ポートにおいて廃棄されてしまうという問題がある。

特許文献１は、宛先ノードの１つ上流ノードで確実に目的とするリングへ交換できるように、そのリングへの出力バッファの情報をさらに１つ上流のノードに通知をしている。しかしながら、特許文献１に示されている出力バッファとは、リング上の次のノードへ転送するためのバッファであり、トリビュタリ側から出力させるデータの出力バッファではない。

また、特許文献２では、リングを構成するノード間を異なる通信速度のリンクで接続している場合の、制御方式を対象としており、ノードから出力されるリンクの通信速度を通知し、リング網で廃棄される事なく伝送されたデータがリング網から他の通信網に出力される際にデータが廃棄されることがないように制御を行うものである。しかしながら、特許文献２は、特定のノードの出力ポートに対して大きなデータ信号の流入が続く場合について考慮されていない。

特許文献３では、送受信を行うためにトークンの取得が必要であるため、高速で大容量なネットワークへの適用、実施は困難であると考えられる。また、特許文献３では、トークンパッシング方式であるため、基本的に複数ノードの同時送信による競合に対する帯域制御は必要ない。

特許文献４では、ＲＯＯＭパケットによる受信側のバッファ容量の確認および帯域の予約を行って、受信側のバッファオーバフローを防ぐことができているが、同時に送信を行うことができるのは１ノードであり、高速で大規模なネットワークへの適用は困難である。

上述の課題を鑑み、本発明は、トラヒックが特定のノードの特定のポートに対して集中し、１つの出力ポートスピードに対して大きなデータ信号の流入が続く場合でも、出力ポートにおいてデータが廃棄されることが防止できるようにしたネットワークシステムの通信方法、ネットワークシステム、及びネットワークシステムのノード装置を提供することを目的とする。

上記課題を解決するために、本発明の第１の形態によると、リング状の通信路に複数のノードが接続されて成るネットワークシステムであって、アグリゲート側のポートを介して通信路に接続され、トリビュタリ側のポートを介してクライアント網に接続される複数のノードを備え、複数のノードのうち、データの送信元の送信ノードからデータを受信する受信ノードは、トリビュタリ側で出力データを一時蓄積する出力バッファの流入超過率情報を、ポート毎に測定する手段と、流入超過率情報を、送信ノードへ送信する手段とを有し、複数のノードのうち、送信ノードは、受信ノードから送信された流入超過率情報を受信する手段と、受信した流入超過率情報に基づいて、受信ノードに対するデータの転送レートをポート毎に設定する手段とを有する。

本発明の第２の形態によると、リング状の通信路に複数のノードが接続されて成るネットワークシステムの通信方法であって、アグリゲート側のポートを介して通信路に接続され、トリビュタリ側のポートを介してクライアント網に接続される複数のノードのうち、データの送信元の送信ノードからデータ受信する受信ノードが、トリビュタリ側で出力データを一時蓄積する出力バッファの流入超過率情報を、ポート毎に測定する段階と、受信ノードが、流入超過率情報を、送信ノードへ送信する段階と、送信ノードが、受信ノードから送信された流入超過率情報を受信する段階と、送信ノードが、受信した流入超過率情報に基づいて、受信ノードに対するデータの転送レートをポート毎に設定する段階とを備える。

本発明の第３の形態によると、リング状の通信路に複数のノードが接続されて成るネットワークシステムにおいて、アグリゲート側のポートを介して通信路に接続され、トリビュタリ側のポートを介してクライアント網に接続されるノードであって、データの送信元の送信ノードからデータを受信する受信ノードとして機能する場合に、トリビュタリ側で出力データを一時蓄積する出力バッファの流入超過率情報を、ポート毎に測定する手段と、受信ノードとして機能する場合に、流入超過率情報を、送信ノードへ送信する手段と、送信ノードとして機能する場合に、受信ノードから送信された流入超過率情報を受信する手段と、送信ノードとして機能する場合に、受信した流入超過率情報に基づいて、受信ノードに対するデータの転送レートを設定する手段とを備える。

本発明によれば、リング状の通信路に複数のノードを接続してなるネットワークシステムで、トリビュタリ側の出力バッファの流入超過率情報をポート毎に測定し、この流入超過率情報を他のノードに送信しており、他のノードは、この流入超過率情報を受信し、受信した流入超過率情報に基づいて、そのノードに対するデータの転送レートをポート毎に設定するようにしている。このため、トラヒックが特定のノードの特定のポートに対して集中しているような場合には、そのポートに対する転送レートが抑制され、出力ポートにおいてデータが廃棄されることが防止できる。

本発明が適用できるネットワークシステムの概要の説明図である。 本発明の第１の実施形態におけるノードの構成を示すブロック図である。 本発明の第１の実施形態におけるネットワークシステムの動作の説明図である。 本発明の第１の実施形態におけるネットワークシステムの動作の説明図である。 本発明の第１の実施形態におけるネットワークシステムの動作の説明図である。 本発明の第２の実施形態におけるネットワークシステムの動作の説明図である。 本発明の第３の実施形態におけるネットワークシステムの動作の説明図である。

以下、本発明の実施の形態について図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明が適用できるリング網の概要を示すものである。図１において、リング網１０には、４つのノード１〜４が接続されている。各ノード１〜４は、リング網１０と接続しているアグリゲート側のポートと、クライアント網と接続しているトリビュタリ側のポートを備えている。

一般的に、アグリゲート側のポートの通信帯域は高速であり、トリビュタリ側のポートの通信帯域は、アグリゲート側のポートに比べて、低速である。この例では、アグリゲート側のポートの転送レートは１０Ｇｂｐｓとし、トリビュタリ側のポートの転送レートは１Ｇｂｐｓとしている。なお、この例では、トリビュタリ側のポートとして８つのポートが図示されているが、ポートの数は任意である。

図２は、本発明の第１の実施形態に適用できるノードの構成を示すものである。図２において、図示左側の受信機能部１０１は、アグリゲート側のポートを介して他のポートから送られてきたデータを受信し、トリビュタリ側の出力ポート１２２に送る部分である。図示右側の送信機能部１０２は、トリビュタリ側の入力ポート１２１から入力したデータを、アグリゲート側のポートを通じてリング網１０に送信する部分である。

図２に示すように、本発明の実施形態におけるノードは、アドレス学習部１１１と、出力バッファ１１２と、アドレス検索部１１３と、送信バッファ１１４と、送信制御器１１５と、多重器１１６と、アドレス学習テーブル１１７と、レート測定部１１８と、帯域制御部１１９とから構成される。

アドレス学習部１１１は、アグリゲート側のポートから他のノードからのデータ信号を受信すると、受信したデータ信号の送信元アドレス、送信ノード番号、及び送信ポート番号を学習する。学習した送信元アドレス及び送信ポートはアドレス学習テーブル１１７に格納される。

出力バッファ１１２は、各ポート毎に出力データを一時保存する。出力ポート１２２は、各ポート毎に、クライアント網にデータを出力する。

入力ポート１２１は、クライアント網からのデータをポート毎に入力する。アドレス検索部１１３は、各ポート毎に、入力データ信号の宛先アドレスから、アドレス学習テーブル１１７を用いて、目的のノード番号、ポート番号を検索する。

なお、この例では、入力ポート１２１として４つのポートＡ〜Ｄが設けられ、出力ポート１２２として４つのポートＡ〜Ｄが設けられているが、これは、論理的に区別されたもので、物理的には同一のポートから入出力を行っている。すなわち、入力ポート１２１のポートＡ〜Ｄと、出力ポート１２２のポートＡ〜Ｄとは、物理的には、それぞれ、同一である。

送信バッファ１１４は、各ポート毎に、他のノードに送信するデータを一時保存する。送信制御器１１５は、現在送信している転送レートを各ポート毎に測定するメータと、各ポート毎に転送レートの調整を行うシェーパを有している。

ここで、送信制御器１１５は、各宛先ノードの出力トリビュタリ側のポート毎に個別に備えられる。すなわち、リング内の最大ノード数が３２であり、各ノードのポート数が８である場合、自ノード以外の２４８（３１×８）個の送信バッファ１１４及び送信制御器１１５を備えることとする。

レート測定部１１８は、各ポート毎に、出力バッファ１１２へのデータの流入量と、その出力ポートの最大出力量とから、流入超過率を算出する。この流入超過率の情報は、制御信号として、他のノードのブロードキャストされる。

帯域制御部１１９は、他のノードから送られきた制御信号を受信して、流入超過率の情報の取得する。そして、この流入超過率の情報に基づいて、他のノードに送信するデータの転送レートをポート毎に設定する。

次に、図２に示すノードの動作について説明する。図２において、実線はデータの流れを示し、波線は制御信号の流れを示している。

先ず、リング網１０を介して送られてきたデータを受信する場合について説明する。図２において、リング網１０から、アグリゲート側のノードを介して、データ信号を受信すると、受信したデータ信号はアドレス学習部１１１に送られる。アドレス学習部１１１により、受信したデータの送信元アドレス、送信ノード番号、及び送信ポート番号が学習される。この学習された送信元アドレス及び送信ポートは、アドレス学習テーブル１１７に格納される。

アドレス学習部１１１から出力されたデータ信号は、そのデータ信号の宛先となる出力ポートにそれぞれ転送され、宛先となるポートの出力バッファ１１２の一時保存される。そして、出力バッファ１１２からトリビュタリ側に出力される。

次に、トリビュタリ側からの入力データを他のノードに送信する場合の動作について説明する。図２において、データ信号を他のノードに送信する場合には、入力ポート１２１の各ポートからデータ信号が入力される。トリビュタリ側の入力ポート１２１から入力されたデータ信号は、アドレス検索部１１３に転送される。

アドレス検索部１１３で、アドレス学習テーブル１１７を用いて、データ信号の宛先アドレスから、目的のノード番号、ポート番号が検索される。アドレス検索部１１３により目的のノード番号、ポート番号が検索されると、データ信号は、そのポート番号に従った送信バッファ１１４に転送されて格納される。送信バッファ１１４に格納されたデータ信号は、順次、送信制御器１１５に読み出される。

送信制御器１１５は、現在送信している転送レートを各ポート毎に測定するメータと、各ポート毎に転送レートの調整を行うシェーパを有している。送信制御器１１５により、データの転送レートが制御される。そして、このデータが多重器１１６を介して、アグリゲート側のポートから出力され、他のノードに転送される。

本発明の第１の実施形態では、出力バッファ１１２に対して、レート測定部１１８が設けられている。他のノードからのデータを受信している場合、レート測定部１１８により、各ポート毎に、出力バッファ１１２へのデータの流入量と、その出力ポート１１２の最大出力量とから、流入超過率が算出される。この流入超過率の情報は、制御信号として、他の全てのノードにブロードキャストされる。

ここで、流入超過率の計算式は、
流入超過率（％）＝（出力バッファへの流入量−出力ポートの最大出力量）／出力バッファへの流入量
として求めることができる。すなわち、出力ポートの最大出力量が１Ｇｂｐｓであり、出力バッファ１１２への流入量が３Ｇｂｐｓであった場合には、流入超過率は、
（３Ｇｂｐｓ−１Ｇｂｐｓ）／３Ｇｂｐｓ＝６７％
となる。

一方、他ノードは、図２に示す構成と同様に構成されている。他のノードにおいては、受信した流入超過率情報は帯域制御部１１９に転送される。そして、帯域制御部１１９は、流入超過率情報に従って、宛先ノードのトリビュタリ側のポート毎に設置されているシェーパのシェーピングレートにより転送レートを設定する。

帯域制御部１１９は、例えば、ノードＸのポートＹの流入超過率が６７％であるという情報を受信した場合、ノードＸのポートＹ向けのシェーパの設定値を現在の設定値の３３％に設定する。そして、送信制御器１１５は、帯域制御部１１９は、メータにより測定した転送レートをシェーパの設定値でシェーピングして出力する制御を行うことで、転送レートを設定する。すなわち、メータにより測定した現在の送信量が１Ｇｂｐｓであるとしたら、シェーピングされた転送レートは０．３３Ｇｂｐｓとなるように設定する（１Ｇｂｐｓの３３％）。このように設定することで、ノードＸのポートＹの出力バッファへの流入超過分であるトラヒックにより使用されていた帯域を軽減できる。

図３〜図５は、本発明の第1の実施形態のシステムの動作を説明するものである。今、図３に示すように、ノード１のポートＡに対して、複数のノード２〜４からトラヒックが送信されており、この転送レートはそれぞれ１Ｇｂｐｓであるとする。これに対して、ノード１のトリビュタリ側の転送レートは、１Ｇｂｐｓであるとする。この場合、ノード１では３Ｇｂｐｓの転送レートのデータを受信しているが、トリビュタリ側のポートが出力できるのは１Ｇｂｐｓであるため、出力バッファ１１２が溢れてしまい、データが廃棄されることになる。

本発明の第１の実施形態では、このような場合には、図２に示したレート測定部１１８により、ポートＡの流入超過率が計算される。この場合、流入超過率は、
（３Ｇｂｐｓ−１Ｇｂｐｓ）／３Ｇｂｐｓ＝６７％
となる。

レート測定部１１８により流入超過率が計算されると、図４に示すように、このポートＡの流入超過率の情報は、他の全てのノード２〜４にブロードキャストされる。ノード２〜４の帯域制御部１１９では、ノード１から送られてきた流入超過率の情報が受信される。

ノード２〜４は、ノード１のポートＡからの流入超過率情報を含む制御情報を受信すると、図５に示すように、受信した流入超過率情報に従って、ノード１のポートＡに対する送信データの転送レートの制御を実施する。上述のように、ノード１から送られてきたポートＡの流入超過率情報が６７％であった場合には、各ノード２〜４は、ノード１のポートＡに向けたトラヒックの転送レートの設定値（ｓｈＲａｔｅ）を現在の設定値の３３％に抑制する。

このように、ノード１に対するデータを送信している各ノード２〜４がノード１のポートＡに対するデータの転送レートを３３％に抑制することで、出力バッファ１１２が溢れることはなくなる。その結果、統計多重を必要とするパケット通信網において中継網の帯域の有効利用が可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態を示すものである。この実施形態では、図２におけるレート測定部１１８は、流入超過率情報と共に、バッファ使用率をブロードキャストするようにしている。そして、データを送信しているノードは、受信した流入超過率情報から流入超過が解消されたことが検出され、かつ、受信した出力バッファの使用率から出力バッファに残留量が保有されていることが検出された場合には、そのノードに向けて送信するデータの転送レートを増加させるようにしている。すなわち、流入超過率が０％であり、かつ出力バッファ使用率が１００％以下なら、帯域に余裕が生じているとして、そのノードに対するデータの転送レートを上げるようにしている。

図６では、前述の第１の実施形態と同様に、各ノード２〜４の転送レートが０．３３Ｇｂｐｓに帯域制御が実施された後に、ノード２からノード１のポートＡ宛てトラヒックの送信がなくなり、ノード１の帯域に余裕が生じた場合について示している。

図６に示すように、ノード２からの送信がなくなると、ノード１のポートＡ宛てのトラヒックを送信しているのは、ノード３、ノード４となる。前述した制御によりノード３、４ではシェーパが３３％に設定されているため、ノード１のポートＡが受信しているトラヒックは０．６６Ｇｂｐｓとなり、ポートＡの出力ポートスピード（１Ｇｂｐｓ）よりも遅くなる。したがって、ノード１のポートＡの出力バッファ１１２の滞留量は次第に減っていく。このような状態ではノード１のポートＡはさらに多くのデータ信号を出力することが可能であるため、レート制御を緩和または解消することが望ましい。

本発明の第２の実施形態では、ノード１は、ポートＡの流入超過率情報をブロードキャストすると共に、バッファ使用率をブロードキャストしている。この場合、ノード１は、ノード３及びノード４に、ポートＡの流入超過率が０％であり、かつ出力バッファ使用率が（使用率＜１００％）であることを通知することになる。

本発明の第２の実施形態では、流入超過率が０％であり、かつ出力バッファ使用率が１００％以下なら、そのノードに対するデータの転送レートを上げるようにしている。したがって、この場合、ノード１からポートＡの流入超過率情報とバッファ使用率情報を受信したノード３及び４は、ノード１のポートＡ向けの転送レートの設定値を３３％から徐々に上げていく。

ここで、転送レートの設定値を急激に１００％まで上げてしまうと、再びノード１のポートＡにおいてデータ信号の流入超過が生じる可能性があるため、時間の関数を用いて徐々に上げていくこととする。しかし、転送レートの設定値を上げる方法は他にも考えられ、とくに時間の関数に限定しない。また、転送レートを上げる速さについても特に規定しない。転送レートを上げる速さを遅く設定することで、送信できるデータ信号量は減ってしまうが、再び出力側での流入超過の状態になりにくいという効果がある。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述の第２の実施形態では、流入超過率が０％であり、かつ出力バッファ使用率が１００％未満であった場合に、そのノードに対する送信データの転送レートを上げている。設定レートにも関係するが、送信データの転送ノードを上げると、受信側のノードへの流入量が増加する。そして、さらに流入量が出力ポートスピードを超過してしまうと、また出力バッファ１１２の使用率が１００％に達し、データ信号が廃棄されてしまう可能性がある。このような状態になると、前述したような制御により、再び、データ転送レートが下げられる。したがって、この場合、データ転送レートを抑制する処理と、データ転送レートを高くする処理とが頻繁に繰返される可能性がある。

そこで、この実施形態では、図７に示すように、出力バッファ１１２の使用率がある閾値（ＴＨ）未満になった場合に、転送レートの設定値を上げるようにしている。このように、転送レートの設定値に閾値を設けた場合には、図７に示すように、閾値を小さくすることで、送信側の転送レートを上げたことによる流入量の増加を吸収しやすくなり、流入量増加に伴う出力バッファでのデータ信号廃棄を軽減できる。

本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

１〜４ ノード
１０１ 受信機能部
１０２ 送信機能部
１１１ アドレス学習部
１１２ 出力バッファ
１１３ アドレス検索部
１１４ 送信バッファ
１１５ 送信制御器
１１６ 多重器
１１７ アドレス学習テーブル
１１８ レート測定部
１１９ 帯域制御部
１２１ 入力ポート
１２２ 出力ポート

Claims (6)

1. リング状の通信路に複数のノードが接続されて成るネットワークシステムであって、
   アグリゲート側のポートを介して前記通信路に接続され、トリビュタリ側のポートを介してクライアント網に接続される複数のノード
   を備え、
   前記複数のノードのうち、データの送信元の送信ノードからデータを受信する受信ノードは、
   前記トリビュタリ側で出力データを一時蓄積する出力バッファの流入超過率情報を、ポート毎に測定する手段と、
   前記流入超過率情報を、前記送信ノードへ送信する手段と
   を有し、
   前記複数のノードのうち、前記送信ノードは、
   前記受信ノードから送信された前記流入超過率情報を受信する手段と、
   前記受信した流入超過率情報に基づいて、前記受信ノードに対するデータの転送レートをポート毎に設定する手段と
   を有するネットワークシステム。
2. 前記送信ノードは、
   前記受信した流入超過率情報から流入超過が検出されると、前記受信ノードへ送信するデータの転送レートを抑制させる
   請求項１に記載のネットワークシステム。
3. 前記受信ノードは、前記出力バッファの使用率の情報を、前記送信ノードへ送信し、
   前記送信ノードは、前記受信した流入超過率情報から流入超過が解消されたことが検出され、前記受信した出力バッファの使用率から出力バッファの使用率がしきい値未満である場合に、前記受信ノードへ送信するデータの転送レートを増加させる
   請求項２に記載のネットワークシステム。
4. 前記送信ノードは、前記受信ノードへ送信するデータの転送レートを、時間の関数を用いて徐々に上昇させる
   請求項３に記載のネットワークシステム。
5. リング状の通信路に複数のノードが接続されて成るネットワークシステムの通信方法であって、
   アグリゲート側のポートを介して前記通信路に接続され、トリビュタリ側のポートを介してクライアント網に接続される前記複数のノードのうち、データの送信元の送信ノードからデータ受信する受信ノードが、前記トリビュタリ側で出力データを一時蓄積する出力バッファの流入超過率情報を、ポート毎に測定する段階と、
   前記受信ノードが、前記流入超過率情報を、前記送信ノードへ送信する段階と、
   前記送信ノードが、前記受信ノードから送信された前記流入超過率情報を受信する段階と、
   前記送信ノードが、前記受信した流入超過率情報に基づいて、前記受信ノードに対するデータの転送レートをポート毎に設定する段階と
   を備えるネットワークシステムの通信方法。
6. リング状の通信路に複数のノードが接続されて成るネットワークシステムにおいて、アグリゲート側のポートを介して前記通信路に接続され、トリビュタリ側のポートを介してクライアント網に接続されるノードであって、
   データの送信元の送信ノードからデータを受信する受信ノードとして機能する場合に、トリビュタリ側で出力データを一時蓄積する出力バッファの流入超過率情報を、ポート毎に測定する手段と、
   前記受信ノードとして機能する場合に、前記流入超過率情報を、前記送信ノードへ送信する手段と、
   前記送信ノードとして機能する場合に、前記受信ノードから送信された流入超過率情報を受信する手段と、
   前記送信ノードとして機能する場合に、前記受信した流入超過率情報に基づいて、前記受信ノードに対するデータの転送レートを設定する手段と
   を備えるノード。

Images