JP4837439B2 - ノード装置、リングネットワークシステムおよび通信制御方法 - Google Patents

ノード装置、リングネットワークシステムおよび通信制御方法 Download PDF

Info

Publication number
JP4837439B2
JP4837439B2 JP2006136942A JP2006136942A JP4837439B2 JP 4837439 B2 JP4837439 B2 JP 4837439B2 JP 2006136942 A JP2006136942 A JP 2006136942A JP 2006136942 A JP2006136942 A JP 2006136942A JP 4837439 B2 JP4837439 B2 JP 4837439B2
Authority
JP
Japan
Prior art keywords
node
setting state
state information
master node
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006136942A
Other languages
English (en)
Other versions
JP2007311931A (ja
Inventor
健志 北山
和幸 鹿島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006136942A priority Critical patent/JP4837439B2/ja
Publication of JP2007311931A publication Critical patent/JP2007311931A/ja
Application granted granted Critical
Publication of JP4837439B2 publication Critical patent/JP4837439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Small-Scale Networks (AREA)

Description

本発明は、リングネットワーク上でマスタノードの選択を行なうとともに従属同期を行なうクロックの切り換えを行なうノード装置、リングネットワークシステムおよび通信制御方法に関するものである。
リングネットワークの構成方法として、例えば、IEEE(Institute of Electrical and Electronics Engineers)で規定されているIEEE802.17(RPR(Resilient Packet Ring))がある。このIEEE802.17のRPRでは、リングネットワークとして各リングノード(ノード装置)が双方向二重リングを構成するとともに、それぞれの物理アドレスをリングネットワーク上に広告し、各リングノードは広告情報を収集してリングノードの並び順(トポロジマップ)を認識している。
そして、各リングノードは、リングネットワーク上にパケットを送信する際にトポロジマップを参照して宛先の物理アドレスに近い系のリングを選択してパケットを送信している。また、各リングノードは、それぞれのリングノードが周期的に送信している障害情報(リングネットワーク内の障害に関する情報)を常に監視することによって、リングネットワーク上の障害箇所を迅速に検出し、必要に応じて経路を切り替える機能(リング障害時の障害迂回機能、プロテクション機能)を備えている。
ところで、回線交換系の端末間で通信を行う場合には、対向する端末の端末I/F間でクロック同期がとれている必要があり、これを実現する方法として、ネットワーク上を1台のクロックマスタノードと複数のスレーブノードとで構成する従属同期方式がある。この従属同期方式では、ネットワーク全体のクロック同期を実現しており、全ノードが単一のクロック源(マスタノードが供給するクロック)に同期している。
ところが、IEEE802.17では、回線交換系の端末(ノード)間でクロック同期を行うための従属同期方式に関する規定がないため、回線交換系の端末の収容ができなかった。また、IEEE802.17では、従属同期方式を用いてのマスタノードの選択は行なえなかった。
従属同期方式を適用して耐障害性を持ったネットワークシステムを構築する場合には、複数のマスタ候補ノード(マスタノードの候補となるノード)をネットワーク上に配置することで冗長化を行い、障害時またはメンテナンス(保守・管理)時に対応するためのマスタノード選択機能(マスタノードを選択する機能)を設ける必要がある。また、ネットワーク上の各ノードが同一のマスタノードを選択し、選択したマスタノードに対して従属同期を行う必要がある。さらに、障害回復時やメンテナンス完了時に、前マスタノードを復帰(現在のマスタノードから直前のマスタノードへの復帰)させる場合においても、マスタノードの選択を確実に行う必要がある。
従属同期方式による耐障害性を持ったマスタノードの選択方法として、特許文献1に記載のクロック同期制御システムは、予め各ノードに優先度(マスタノードの選択に関する優先度)を設定し、SDHフレームに制御情報(従属同期させるための情報(従属同期情報))を新たに付与して、各ノードが制御情報を送信している。そして、制御情報を優先度、マスタノードクロックの障害有無、マスタノードまでのHOP数で構成し、ノード中継毎に自ノードの優先度と制御フレーム中の優先度の比較処理を行い、制御情報を再構成してSDHフレームに付与し、下流ノードに伝えている。これにより、最高優先度を持つノードがマスタノードとなり、マスタノードが確定したことを下流ノードに通知している。また、伝送路障害時に、マスタノードが供給するクロックの異常などを制御情報によって通知し、マスタノードを再選択している。
特開2003−51831号公報
しかしながら、上記従来の技術では、マスタノードを選択するために、従属同期情報(従属同期させるための情報)に優先度情報(マスタノードの選択に関する優先度の情報)を予め設定して各ノードに通知する必要があり、従属同期情報の情報量が多くなるといった問題があった。
また、従属同期情報の中継時に、優先度の比較および従属同期情報の再構成を行なう必要があるため、これらの動作に伴うデータの中継遅延が大きくなり、データの中継段数の増加に伴う累積中継遅延が大きくなるといった問題があった。また、ネットワーク上で最高優先度を持つノード(マスタノード)が、マスタノードの確定通知を行っているため、マスタノードの決定に長時間を要するといった問題があった。
本発明は、上記に鑑みてなされたものであって、リングネットワーク上のマスタノードと従属同期用のクロックを効率良く迅速に選択するノード装置、リングネットワークシステムおよび通信制御方法を得ることを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、伝送路を介してリング状に接続された複数のノード装置を備え、スレーブノードとして動作するノード装置は、マスタノードとして動作するノード装置のマスタクロックに従属同期してデータ転送を行なうリングネットワークシステムに適用可能なノード装置であって、前記リングネットワークシステム上の他のノード装置から送信された、当該ノード装置の優先度情報を含む設定状態情報を受信する設定状態情報受信部と、前記設定状態情報受信部により受信した設定状態情報を、伝送方向の他のノード装置に転送する設定状態情報転送部と、前記設定状態情報受信部により受信した設定状態情報に含まれる優先度情報と、自ノード装置に予めマスタノード情報として保持された設定状態情報の優先度情報との比較を行なう優先度情報比較部と、前記優先度情報比較部による比較結果に応じて、前記自ノード装置にマスタノード情報として保持された設定状態情報または前記設定状態情報受信部により受信した設定状態情報の一方をマスタノード情報として保持するマスタノード情報保持部と、前記マスタノード情報保持部により保持された設定状態情報に基づいて、マスタノードとして動作するノード装置を決定するマスタノード決定部と、前記マスタノード決定部において決定されたマスタノードとして動作するノード装置のマスタクロックに従属同期してデータ転送を行なうデータ転送部と、を備えることを特徴とする。
この発明によれば、他のノード装置が生成した制御フレームを受信した伝送路の伝送方向に転送し、他のノード装置が生成した制御フレームを用いてマスタノードを選択し、従属同期を行なう際に用いるクロックの切り替えを行なうので、マスタノードと従属同期用のクロックを効率良く迅速に選択できるという効果を奏する。
以下に、本発明にかかるノード装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態1.
図1は、本発明の実施の形態1にかかるノード装置の構成を示す図である。ノード装置1は、双方向の伝送路でリング状に接続された双方向2重化リングネットワークを構成するノードであり、内側リング6によって後述の外側リング5、隣接する他のノード装置と接続される。
ノード装置1は、MAC(Medium Access Control)フレーム入出力制御部11、RPR(Resilient Packet Ring)インタフェース送信部12、RPRインタフェース受信部13、プロテクション部14、トポロジ管理部15、外側リング受信部16、外側リングDrop判定部17、外側リング送信部18、内側リング送信部19、内側リングDrop判定部20、内側リング受信部21、クロック切り換え指示部22、クロック切り換え部23、優先度変換部24、クロック異常検出部25、タイマ管理部26を備えている。
なお、ここでのRPRインタフェース送信部12が、特許請求の範囲に記載の制御フレーム生成部に対応する。また、ここでの外側リング受信部16、内側リング受信部21が特許請求の範囲に記載のフレーム受信部に対応し、ここでの外側リング送信部18、内側リング送信部19が特許請求の範囲に記載のフレーム送信部に対応する。また、ここでの外側リングDrop判定部17、内側リングDrop判定部20が特許請求の範囲に記載の転送制御部に対応する。また、ここでのクロック切り換え指示部22、優先度変換部24、プロテクション部14、トポロジ管理部15が特許請求の範囲に記載のマスタノード決定部に対応する。
外側リング受信部16は、外側リング5からSDHフレームを受信し、受信したSDHフレームからクロック(マスタクロック)を抽出してクロック切り替え部23に入力する。また、外側リング受信部16は、外側リング5からRPRデータフレームやRPR制御フレーム等のRPRフレーム(受信フレーム)を受信し、外側リングDrop判定部17に入力する。
内側リング受信部21は、内側リング6からSDHフレームを受信し、受信したSDHフレームからクロック(マスタクロック)を抽出してクロック切り替え部23に入力する。また、内側リング受信部21は、内側リング6からRPRデータフレームやRPR制御フレームを含むRPRフレーム(受信フレーム)を受信し、内側リングDrop判定部20に入力する。
外側リングDrop判定部17は、外側リング受信部16が受信した受信フレームを中継するかDropするかを判定する。外側リングDrop判定部17は、受信フレームを中継する場合に、受信フレームを外側リング送信部18(外側リングの伝送方向)に入力し、受信フレームをDropする場合に、受信フレームをRPRインタフェース受信部13に入力する。
内側リングDrop判定部20は、内側リング受信部21が受信した受信フレームを中継するかDropするかを判定する。内側リングDrop判定部20は、受信フレームを中継する場合に、受信フレームを内側リング送信部19(内側リングの伝送方向)に入力し、受信フレームをDropする場合に、受信フレームをRPRインタフェース受信部13に入力する。
外側リングDrop判定部17、内側リングDrop判定部20は、例えば受信フレーム内の宛先アドレスやRPRヘッダのTTL(Time To Live)に基づいて、受信フレームを中継(転送)するかDropするかを判定する。外側リングDrop判定部17、内側リングDrop判定部20は、受信フレームがRPR制御フレームである場合には、受信フレームを中継するとともにDropする。
外側リング送信部18は、外側リングへのフレームのAdd機能と外側リング受信部16が受信した受信フレームのTransit機能の両トラヒックをスケジューリングする。外側リング送信部18は、他のノード装置に同期クロック(同期通信の基準のクロックとなるマスタクロック)を提供する際には、クロックを付加したSDHフレームを外側リングに送信する。
内側リング送信部19は、内側リングへのフレームのAdd機能と内側リング受信部21が受信した受信フレームのTransit機能の両トラヒックをスケジューリングする。内側リング送信部19は、他のノード装置に同期クロックを提供する際には、クロックを付加したSDHフレームを内側リングに送信する。
MACフレーム入出力制御部11は、上位装置(図示せず)からノード装置1に入力されるMACフレームの送受信の制御、ノード装置1から上位装置に出力するMACフレームの送受信の制御を行う。
RPRインタフェース送信部12は、MACフレーム入出力制御部11が上位装置から受信したMACフレームにRPRヘッダを付与してRPRデータフレームやRPR制御フレームを生成する。また、RPRインタフェース送信部12は、クロック切り替え指示部22から通知される従属同期情報(マスタクロックに従属同期させるための制御情報)をRPR制御フレームに付与してRPR制御フレームを生成する。RPRインタフェース送信部12は、クロック切り替え指示部22からの指示に基づいて、生成したRPR制御フレームを内側リング6または外側リング5の何れにAddするかを選択する。
RPRインタフェース送信部12は、生成したRPR制御フレームを内側リング6にAddすると判断した場合に、RPR制御フレームを内側リング送信部19に入力する。また、RPRインタフェース送信部12は、生成したRPR制御フレームを外側リング5にAddすると判断した場合に、RPR制御フレームを外側リング送信部18に入力する。
RPRインタフェース受信部13は、外側リング受信部16、内側リング受信部21が受信した受信RPRフレームから、RPRデータフレームとRPR制御フレームを識別し、各機能モジュールに対応する種々の情報を各機能モジュールに通知する。RPRインタフェース受信部13は、RPR制御フレームをプロテクション部14、トポロジ管理部15に入力する。なお、RPRインタフェース受信部13は、RPR制御フレームのプロテクション情報(ネットワークシステム100内の障害に関する障害情報を通知するための情報)をプロテクション部14に入力し、RPR制御フレームのトポロジ情報(送信元アドレス、TTL)をトポロジ管理部15に入力してもよい。
また、RPRインタフェース受信部13は、RPR制御フレームを優先度変換部24に入力する。また、RPRインタフェース受信部13は、受信RPRフレームからMACフレームを抽出し、MACフレーム入出力制御部11に入力する。なお、RPRインタフェース受信部13は、RPR制御フレームから従属同期情報や送信元アドレスを抽出し、優先度変換部24に送信元アドレスと従属同期情報を入力してもよい。
プロテクション部14は、RPRインタフェース受信部13から入力されるRPR制御フレームのプロテクション情報に基づいて、リング上の障害状況を把握し、その障害情報(障害状況に関する情報)をトポロジ管理部15およびクロック切り替え指示部22に通知する。
トポロジ管理部15は、RPRインタフェース受信部13から入力されるRPR制御フレームのトポロジ情報に基づいて、リング上の宛先ノード装置までの中継ノード数(HOP数)を所定の情報テーブル(トポロジマップ)に登録(生成)し管理する。
優先度変換部24は、RPRインタフェース受信部13からのRPR制御フレーム内から送信元アドレスを抽出し、送信元アドレスをRPRネットワーク上において予め設定された変換ルールに基づいて、マスタノードを選択する際の優先度に変換する。優先度変換部24は、変換した優先度と従属同期情報を含むRPR制御フレームとをクロック切り替え指示部22に通知する。
クロック異常検出部25は、外部からの網同期クロック(3)と自走クロック(4)の異常管理を行い、クロックの異常検出時にはクロック切り替え指示部22にクロックの異常を通知する。
タイマ管理部26は、RPR制御フレームを受信した後の所定時間を測定するタイマ(図示せず)を備えている。タイマ管理部26は、タイマの停止中、起動中に関わらず、クロック切り替え指示部22からのタイマ起動要求に基づいて、予め設定されたタイマ値でタイマを起動(再始動)し、タイマの満了時にクロック切り替え指示部22タイマの満了を通知する。
クロック切り換え指示部22は、優先度変換部24から送られる従属同期情報が付与されたRPR制御フレーム、優先度変換部24で変換されたマスタノードを選択する際の優先度(RPR制御フレームの送信元アドレスに対応する優先度)を受け取る。クロック切り換え指示部22は、現在保持しているマスタノードの優先度と、優先度変換部24で変換された優先度を比較し、優先度の高い方のマスタノードの優先度と、このマスタノードに対応する送信元アドレス、HOP数をマスタノード情報として保持する。クロック切り換え指示部22は、トポロジ管理部15が記憶するトポロジマップに基づいて、優先度の高いマスタノードのHOP数を抽出し、マスタノード情報として保持する。
クロック切り換え指示部22は、マスタノードの優先度を比較して、現在保持しているマスタノードの優先度よりも高いマスタノードの優先度(優先度変換部24で変換された優先度)を保持する度に、タイマ管理部26へタイマの起動要求を出し、タイマを最初から再始動させる。クロック切り換え指示部22は、タイマ管理部26からタイマの満了通知を受け取った時点のマスタノード情報を用いてマスタノードを決定する(マスタノード選択機能)。
クロック切り換え指示部22は、ノード装置1がマスタ候補ノード(マスタノードの候補となるノード)に設定されているかスレーブノードに設定されているかの情報と、クロック異常検出部25からのクロック異常の通知の有無とに基づいて、ノード装置1がマスタ候補ノードとなるかスレーブノードとなるかを示す識別情報を含む従属同期情報を生成する。
クロック切り換え指示部22は、クロック異常検出部25からクロック異常の通知を受けていない場合(自ノードがクロック正常)、自ノードがマスタ候補ノードに設定されているかスレーブノードに設定されているかの情報に基づいて、従属同期情報(マスタ候補ノードに設定されている場合はマスタ候補ノードとなることを示す識別情報(マスタノード情報)、スレーブノードに設定されている場合はスレーブノードとなることを示す識別情報(スレーブノード情報))を生成する。
クロック切り換え指示部22は、クロック異常検出部25からクロック異常の通知を受けると(自ノードがクロック異常)、マスタ候補ノードに設定されている場合であってもスレーブノードを示す識別情報を従属同期情報に設定し、クロック異常検出部25からクロック異常の回復通知を受けると(自ノードがクロック正常)、再度、マスタ候補ノードを示す識別情報を従属同期情報に設定する。クロック切り換え指示部22は、生成した従属同期情報をRPRインタフェース送信部12に入力する。
クロック切り換え指示部22は、他のノード装置から送られる従属同期情報内のマスタノード情報、スレーブノード情報に基づいて、マスタノードとなるノード装置を決定する。ここでのクロック切り換え指示部22は、マスタノード情報の送信元であるノード装置の中からマスタノードを選択する。
クロック切り換え指示部22は、自ノード装置がクロックマスタであるかクロックスレーブであるかの判断結果に基づいて、クロックの切り換え指示をクロック切り替え部23に送る。
クロック切り換え指示部22は、自装置がマスタノードとなる場合には、外部装置(他のノード装置)へ同期クロックを供給するよう、RPRインタフェース送信部12に指示情報を送信する。
また、クロック切り換え指示部22は、プロテクション部14からのネットワーク障害通知、トポロジ管理部15内のトポロジマップから、障害箇所を特定し、従属同期方向パスの障害やマスタノードから離脱したノード装置を検出し、必要に応じてマスタノードの再選択を行なう。
クロック切り換え部23は、クロック切り替え指示部22からの使用クロック指示(使用するクロックを指定する指示情報)に基づいて、両系の受信クロック(内側リング6からのクロック(2)、外側リング5からのクロック(1))、外部クロック(網同期クロック(3))、自走クロック(4)のうち何れかのクロックをノード装置1の同期クロックとして選択し、自装置がマスタノードとなる場合には内部モジュールおよび外部装置(他のノード装置)へ同期クロックを供給する。
なお、ここでの内側リング6からのクロック(2)、外側リング5からのクロック(1)が、特許請求の範囲に記載の他のノード装置が管理するクロックに対応し、網同期クロック(3)、自走クロック(4)が特許請求の範囲に記載の自ノード装置が管理するクロックに対応する。
つぎに、複数のノード装置が接続されたネットワークシステム(リングネットワーク)の構成の一例について説明する。図2は、複数のノード装置が接続されたネットワークシステムの構成の一例を示す図である。
ネットワークシステム(双方向2重化リングネットワーク)100は、5台のノード装置1(ノードA〜E)が右回り(時計回り)方向にノードA、ノードB、ノードC、ノードD、ノードEの順番で2重リングネットワーク(外側リング5、内側リング6)上に配置されている。ネットワークシステム100では、各ノードにおいて送信元アドレスから変換されるマスタノードの優先度は、ノードAから右回り方向の順に、「3」、「5」、「1」、「4」、「2」とし、ここでは優先度の値が小さいほど高優先とする。
なお、以下の説明では、ノードA、ノードB、ノードC、ノードD、ノードEの送信元アドレスを、それぞれアドレスA、アドレスB、アドレスC、アドレスD、アドレスEとして説明する。また、以下の説明では、ノードCとノードEがマスタ候補ノードである場合について説明する。また、実施の形態1では、ネットワークシステム100上で従属同期情報が付与されるRPR制御フレームを例えばTP(Topology and Protection)フレームとする。
各ノードA〜Eは、TPフレームの送信タイミングで、TPフレームのペイロード部分に各自の従属同期情報(マスタ候補ノードかスレーブノードかを識別する情報)を設定して、外側リング5および内側リング6に送信する。
各ノードA〜Eは、送信元アドレスが他ノードであるTPフレームを受信すると、RPR標準に従って、TTL(Time To Live)減算を実施して、下流ノードへ中継していき、送信元アドレスが自ノード装置であるTPフレームを受信するとTPフレームを終端させる。
例えば、各ノードA〜Eは、RPR標準に従って、TPフレームの受信毎にトポロジ管理部15がトポロジ情報を抽出するとともに、プロテクション部14がプロテクション情報を抽出する。トポロジ管理部15は、抽出したトポロジ情報に基づいてトポロジマップを作成する。
優先度変換部24は、各系(外側リング5、内側リング6)のTPフレームの受信毎に、RPR制御フレームの送信元アドレスを所定の変換ルールを用いてマスタノードの優先度に変換する。各ノードA〜Eのクロック切り替え指示部22は、優先度変換部24が変換したマスタノードの優先度と、現在保持しているマスタノードの優先度とを比較する。
そして、クロック切り替え指示部22は、優先度変換部24が変換したマスタノードの優先度が現在保持しているマスタノードの優先度よりも高優先である場合に、高優先の優先度とともに、RPR制御フレームの送信元アドレスと、TTLを受信方向に対する送信元までのHOP数に変換した値(計算例:256−TTL)とをマスタノード情報として保持する。
一方、クロック切り替え指示部22は、現在保持しているマスタノードの優先度が優先度変換部24が変換したマスタノードの優先度よりも高優先である場合、現在保持している優先度と送信元アドレス(例えば送信元アドレスが自ノードのアドレスとその優先度)をマスタノード情報として保持する。これにより、各ノードは最高優先のマスタノード情報を系毎に独立して保持する。
さらに、クロック切り替え指示部22は、優先度変換部24が変換したマスタノードの優先度が現在保持しているマスタノードよりも高優先である場合、タイマ管理部26にタイマの起動要求を行なう。そして、クロック切り替え指示部22は、タイマ管理部26からタイマ満了の通知を受けた時点での、マスタノード情報の送信元アドレスが自ノードのアドレスと一致する場合には、マスタノードとして自ノードを選択する。クロック切り替え指示部22は、マスタノードとして自ノードを選択すると、外部からの網同期クロック(3)または自走クロック(4)をノード装置1の同期クロックとして選択し、選択したクロックに切り換えるようクロック切り替え部23に指示する。
外部からの網同期クロック(3)または自走クロック(4)をノード装置1の同期クロックとして選択する場合、クロック切り替え指示部22は、自ノードに網同期クロック(3)が実装されており、かつ網同期クロック(3)が正常であれば網同期クロック(3)を選択し、それ以外の場合は自走クロック(4)をノード装置1の同期クロックとして選択する。これにより、クロック切り替え部23に選択されたクロックを、内部モジュールおよび外部装置(他のノード装置)への同期クロックとして供給する。クロック切り替え部23に選択されたクロックは、SDHフレームとして、外側リング5や内側リング6へ送信される。
ノード装置1がマスタノードになると判断した場合、ノード装置1は外側リング送信部18または内側リング送信部19から他のノード装置へ同期クロックを含んだRPR制御フレームを送信する。
一方、クロック切り替え指示部22は、タイマ管理部26からタイマ満了の通知を受けた時点での、マスタノード情報の送信元アドレスが自ノードのアドレスと一致しない場合、自ノードはスレーブノードになると判断する。クロック切り替え指示部22は、自ノードがスレーブノードになると判断すると、外側リング5からのクロック(1)または内側リング6からのクロック(2)を、ノード装置1の同期クロックとして選択し、選択したクロックに切り換えるようクロック切り替え部23に指示する。
ここでのクロック切り替え指示部22は、外側リング5からのクロック(1)または内側リング6からのクロック(2)のうち、各系のマスタ情報のHOP数が小さい方の系のクロックを選択する。これにより、クロック切り替え部23に選択されたクロックを、内部モジュールへの同期クロックとして取得する。
ノード装置1がスレーブノードになると判断した場合、ノード装置1の外側リング受信部16または内側リング受信部21は、マスタノードから送信される外側リング5または内側リング6からのSDHフレームを受信し、受信したSDHフレームからクロックを抽出してクロック切り替え部23に入力する。
つぎに、各ノードA〜Eのマスタノード情報、クロックの選択決定後の状態について説明する。図3は、障害のない正常な場合の各ノードのマスタノード情報、クロック選択決定後の状態を説明するための図である。
ネットワークシステム100では、マスタ候補ノードのうちノードEよりノードCが高優先であるため、各ノードA〜EはノードCがマスタノードであると認識する。具体的には、各ノードA〜Eのクロック切り換え指示部22は、自ノード装置がマスタ候補ノードに設定されているかスレーブノードに設定されているかの情報と、クロック異常検出部25からのクロック異常の通知の有無とに基づいて、従属同期情報(自ノード装置がマスタ候補ノードとなるかスレーブノードとなるかを示す識別情報)を生成する。ここでは、ノードA,B,Dのクロック切り換え指示部22が、従属同期情報(自ノード装置がスレーブノードとなることを示す識別情報)を生成し、ノードC,Eのクロック切り換え指示部22が、従属同期情報(自ノード装置がマスタ候補ノードとなることを示す識別情報)を生成する。
各ノードA〜Eは、生成した従属同期情報をRPRインタフェース送信部12に送る。各RPRインタフェース送信部12は、クロック切り替え指示部22から通知される従属同期情報をRPR制御フレームに付与してRPR制御フレームを生成する。ここでのRPR制御フレームには、このRPR制御フレームを送信するノードのアドレス(送信元アドレス)が含まれている。
各RPRインタフェース送信部12は、生成したRPR制御フレームを内側リング送信部19、外側リング送信部18に入力する。各内側リング送信部19、外側リング送信部18は、各RPRインタフェース送信部12からのRPR制御フレームをそれぞれ外側リング5、内側リング6に送信する。
各ノードA〜Eは、他ノードから送られた内側リング6からのRPR制御フレームを内側リング受信部21から受信し、他ノードから送られた外側リング5からのRPR制御フレームを外側リング受信部16から受信する。
各ノードA〜Eの外側リングDrop判定部17、内側リングDrop判定部20は、受信したRPR制御フレーム内の送信元アドレスが自ノードでなければ、それぞれ外側リング受信部16、内側リング受信部21が受信したRPR制御フレームを外側リング送信部18、内側リング送信部19に入力するとともにRPRインタフェース受信部13に入力する。
このとき、各ノードA〜Eの外側リングDrop判定部17、内側リングDrop判定部20は、RPR標準に従って、TTL減算を実施して、外側リング送信部18、内側リング送信部19にRPR制御フレームを送信する。このとき、外側リング送信部18、内側リング送信部19は、それぞれRPR制御フレームを外側リング5、内側リング6に送信する。
一方、各ノードA〜Eの外側リングDrop判定部17、内側リングDrop判定部20は、受信したRPR制御フレーム内の送信元アドレスが自ノードであれば、受信したRPR制御フレームを廃棄する。
RPRインタフェース受信部13は、受信したRPR制御フレーム内の送信元アドレスが他ノードである場合、他ノードからのRPR制御フレームのトポロジ情報(送信元アドレス、TTL)をトポロジ管理部15に入力する。また、RPRインタフェース受信部13は、RPR制御フレームを優先度変換部24に入力する。
トポロジ管理部15は、RPRインタフェース受信部13から入力されるRPR制御フレームのトポロジ情報に基づいて、リング上の宛先ノード装置までの中継ノード数(HOP数)をトポロジマップに登録する。
優先度変換部24は、RPR制御フレーム内から送信元アドレスを抽出し、送信元アドレスをRPRネットワーク上において予め設定された変換ルールに基づいて、マスタノードを選択する際の優先度に変換する。優先度変換部24は、変換した優先度とRPR制御フレームをクロック切り替え指示部22に送信する。
クロック切り換え指示部22は、優先度変換部24から送られる従属同期情報が付与されたRPR制御フレーム、優先度変換部24で変換された上記RPR制御フレームの送信元アドレスに対応する優先度を受け取る。クロック切り換え指示部22は、現在保持しているマスタノードの優先度と、優先度変換部24で変換された優先度を比較し、優先度の高い方のマスタノードの優先度と、このマスタノードに対応する従属同期情報の送信元アドレス、HOP数をマスタノード情報として保持する。クロック切り換え指示部22は、トポロジ管理部15が記憶するトポロジマップに基づいて、優先度の高いマスタノードのHOP数を抽出し、マスタノード情報として保持する。
クロック切り換え指示部22は、マスタノードの優先度を比較して、現在保持しているマスタノードの優先度よりも高いマスタノードの優先度を保持する度に、タイマ管理部26へタイマの起動要求を出し、タイマを最初から再始動させる。クロック切り換え指示部22は、タイマ管理部26からタイマの満了通知を受け取った時点のマスタノード情報を用いてマスタノードを決定する。これにより、各ノードA〜EはノードCがマスタノードであると認識する。
そして、ノードCの両下流方向のノードA,B,D,Eがスレーブノードとなり、各スレーブノードは、ノードCからのTPフレーム受信方向のHOP数が小さい方の受信クロックを選択する。
すなわち、ノードAのクロック切り換え指示部22は、マスタノードであるノードCに対する外側リング5方向のHOP数が3であり、ノードCに対する内側リング6方向のHOP数が2であるので、内側リング6からのクロック(2)を受信クロックとして選択する。
また、ノードBのクロック切り換え指示部22は、マスタノードであるノードCに対する外側リング5方向のHOP数が4であり、ノードCに対する内側リング6方向のHOP数が2であるので、内側リング6からのクロック(2)を受信クロックとして選択する。
また、ノードDのクロック切り換え指示部22は、マスタノードであるノードCに対する外側リング5方向のHOP数が1であり、ノードCに対する内側リング6方向のHOP数が4であるので、外側リング5からのクロック(1)を受信クロックとして選択する。
また、ノードEのクロック切り換え指示部22は、マスタノードであるノードCに対する外側リング5方向のHOP数が2であり、ノードCに対する内側リング6方向のHOP数が3であるので、外側リング5からのクロック(1)を受信クロックとして選択する。
また、ノードCのクロック切り換え指示部22は、自身がマスタノードであるので、例えば外部クロック(3)を受信クロックとして選択する。このように、ネットワークシステム100において障害のない正常な場合、各ノードA〜Eが自律的にマスタノードを決定し、クロック選択を実施する。
つぎに、図3の状態からノードDとノードEの間でリンク断(リンク障害)が発生した場合の各ノードA〜Eのマスタノード情報、クロックの選択決定後の状態について説明する。なお、図3で説明したノードA〜Eと同様の動作を行う処理動作については、その説明を省略する。
まず、リング障害の検出処理、プロテクション処理の概要について説明する。各ノードA〜Eは、TPフレームを両系に送信する際に、直上流ノード(上流方向の隣接ノード)からのKeep Alive用フレームの不達と自ノードの受信障害によって直上流ノードから自ノードのまでのリンク間で発生した障害を検出する。このとき、Keep Alive用フレームの送信元が直上流ノードか否かはトポロジマップに基づいて判断する。直上流ノードとの間のリンク状態情報は、TPフレームに載せて送出され、これにより直下流ノード(下流方向の隣接ノード)を含む全受信ノードはTPフレームの送信元ノードの受信リンク状態を把握し、リングネットワーク上の何れのリンクが障害状態にあるかをマップ化する。
そして、各ノードA〜Eはトポロジマップとプロテクション情報(障害情報)に基づいて、宛先ノードに到達するまでのノード中継数が少なく、リンク障害が発生していないリング(内側リング6または外側リング5)を選択してRPRデータフレームを送出する。
図4は、リンク障害が発生した場合の各ノードのマスタノード情報、クロックの選択決定後の状態を説明するための図である。ノードDとノードEの間で発生したリンク障害は、ノードD,Eのクロック切り替え指示部22によって検出される。ノードDおよびノードEは、リンク障害を検出すると、このリンク障害を示すプロテクション情報(例えばSF(Signal Failure))をTPフレームに付加して両系に送信する。このとき、ノードD(内側リング送信部19)は、リンク障害の発生していない内側リング6からプロテクション情報を送信し、ノードE(外側リング送信部18)は、リンク障害の発生していない外側リング5からプロテクション情報を送信する。ノードA〜Cは、送信元アドレスがアドレスDおよびアドレスEから受信したTPフレームと作成したトポロジマップにより、ノードDとノードEの間の障害を検知する。
具体的には、まずノードD,Eのクロック切り替え指示部22がノードDとノードEの間で発生したリンク障害を検出すると、この障害の情報(リンク障害情報)をプロテクション情報としてRPRインタフェース送信部12に送る。各RPRインタフェース送信部12は、クロック切り替え指示部22から通知されるプロテクション情報をRPR制御フレームに付与してRPR制御フレームを生成する。ここでのRPR制御フレームには、このRPR制御フレームを送信するノードD,Eのアドレス(送信元アドレス)が含まれている。
ノードDのRPRインタフェース送信部12は、生成したRPR制御フレームを内側リング送信部19に入力し、内側リング送信部19は、RPRインタフェース送信部12からのRPR制御フレームを内側リング6に送信する。
ノードEのRPRインタフェース送信部12は、生成したRPR制御フレームを外側リング送信部18に入力し、外側リング送信部18は、RPRインタフェース送信部12からのRPR制御フレームを外側リング5に送信する。また、ノードDとノードEのトポロジ管理部15は、ノードDとノードEの間の障害をトポロジマップに登録する。
ノードA〜Cは、内側リング6(ノードD)からのRPR制御フレームを内側リング受信部21から受信し、外側リング5(ノードE)からのRPR制御フレームを外側リング受信部16から受信する。また、ノードEは、内側リング6(ノードD)からのRPR制御フレームを内側リング受信部21から受信し、ノードDは外側リング5(ノードE)からのRPR制御フレームを外側リング受信部16から受信する。
各ノードA〜Eの外側リングDrop判定部17、内側リングDrop判定部20は、受信したRPR制御フレーム内の送信元アドレスが自ノードでなければ、それぞれ外側リング受信部16、内側リング受信部21が受信したRPR制御フレームを外側リング送信部18、内側リング送信部19に入力するとともにRPRインタフェース受信部13に入力する。外側リング送信部18、内側リング送信部19は、それぞれRPR制御フレームを外側リング5、内側リング6に送信する。
一方、各ノードA〜Eの外側リングDrop判定部17、内側リングDrop判定部20は、受信したRPR制御フレーム内の送信元アドレスが自ノードであれば、外側リング受信部16、内側リング受信部21が受信したRPR制御フレームをそれぞれRPRインタフェース受信部13に入力する。
ノードA〜CのRPRインタフェース受信部13は、RPR制御フレームのプロテクション情報をプロテクション部14に入力する。プロテクション部14は、RPRインタフェース受信部13から入力されるRPR制御フレームのプロテクション情報に基づいて、リング上の障害状況を把握し、その障害情報をトポロジ管理部15およびクロック切り替え指示部22に通知する。ノードA〜Cのトポロジ管理部15は、プロテクション部14から入力される障害情報に基づいて、ノードDとノードEの間の障害をトポロジマップに登録する。
各ノードA〜Eのクロック切り換え指示部22は、トポロジ管理部15から障害情報の通知を受けると、マスタノードの優先度を比較し、現在保持しているマスタノードの優先度よりも高いマスタノードの優先度を保持する度に、タイマ管理部26へタイマの起動要求を出し、タイマを最初から再始動させる。各ノードA〜Eのクロック切り換え指示部22は、タイマ管理部26からタイマの満了通知を受け取った時点のマスタノード情報を用いてマスタノードを決定する。これにより、各ノードA〜EはノードCがマスタノードであると認識する。そして各ノードA〜Eでは、現在のクロック選択に影響がない場合は、そのまま現在のクロック選択を継続する。
すなわち、ノードAのクロック切り換え指示部22は、マスタノードであるノードCに対する内側リング6(左回り)方向のHOP数が2であり、ノードCからの情報を外側リング5方向では接続できないので、内側リング6からのクロック(2)を受信クロックとしてそのまま選択する。
また、ノードBのクロック切り換え指示部22は、マスタノードであるノードCに対する内側リング6方向のHOP数が2であり、ノードCからの情報を外側リング5では接続できないので、内側リング6からのクロック(2)を受信クロックとしてそのまま選択する。
また、ノードDのクロック切り換え指示部22は、マスタノードであるノードCに対する内側リング6方向のHOP数が4であり、ノードCからの情報を外側リング5では接続できないので、外側リング5からのクロック(1)を受信クロックとしてそのまま選択する。また、ノードCのクロック切り換え指示部22は、自身がマスタノードであるので、例えば外部クロック(3)を受信クロックとしてそのまま選択する。
一方、ノードEは、マスタノードであるノードCに対する内側リング6方向のHOP数が3であり、ノードCからの情報を外側リング5では接続できない。ノードEのように現在のクロック選択を行っているマスタノード(ノードC)方向(従属同期方向)に障害があり、クロック選択に影響を受ける場合は、障害検知の時点でクロック選択を他方の受信クロックに切り替える。すなわち、ノードEのクロック切り換え指示部22は、外側リング5からのクロック(1)から内側リング6のクロック(2)に受信クロックを切り替えるようクロック切り替え部23に指示を送る。これにより、クロック切り替え部23は、クロック(1)から内側リング6のクロック(2)に受信クロックを切り替える。このように、ネットワークシステム100においてノード間で障害が発生した場合、クロック選択に影響を受けるノードのみが受信クロックを切り替える。
つぎに、図3に示す状態からマスタノード(ノードC)で供給するクロックに異常が発生した場合の各ノードA〜Eのマスタ情報、クロック選択決定後の状態について説明する。図5は、マスタノードで供給するクロックに異常が発生した場合の各ノードのマスタ情報、クロック選択決定後の状態を説明するための図である。なお、図3,4で説明したノードA〜Eと同様の動作を行う処理動作については、その説明を省略する。
ノードCは、クロック異常検出部25によって外部クロック(3)の異常を検出すると、スレーブノードに設定した従属同期情報をTPフレームに付与して両系に送信し、マスタノードの再選択を実施する。
具体的には、ノードCのクロック異常検出部25が外部クロック(3)の異常を検出すると、クロック切り替え指示部22にクロックの異常を通知する。クロック切り換え指示部22は、クロック異常検出部25からクロック異常の通知を受けると、スレーブノードを示す識別情報を従属同期情報に設定してRPRインタフェース送信部12に入力する。
RPRインタフェース送信部12は、クロック切り替え指示部22から通知される従属同期情報をRPR制御フレームに付与してRPR制御フレームを生成する。ここでのRPR制御フレームには、このRPR制御フレームを送信するノードCのアドレス(送信元アドレス)が含まれている。
ノードCのRPRインタフェース送信部12は、生成したRPR制御フレームを内側リング送信部19と外側リング送信部18に入力し、内側リング送信部19とと外側リング送信部18は、RPRインタフェース送信部12からのRPR制御フレーム(TPフレーム)を、それぞれ内側リング6、外側リング5に送信する。また、ノードCのトポロジ管理部15は、ノードCの異常をトポロジマップに登録する。
ノードC以外のノードA,B,D,Eは、マスタノードであったノードCが送信元であるTPフレームを受信する。ノードA,B,D,Eは、TPフレーム内の従属同期情報がスレーブノードとなっているので、マスタノード(ノードC)の異常を検知し、マスタノードの再選択を実施する。
具体的には、ノードA,Bは、内側リング6(ノードC)からのRPR制御フレームを内側リング受信部21から受信する。また、ノードD,Eは、外側リング5(ノードC)からのRPR制御フレームを外側リング受信部16から受信する。
ノードA,B,D,Eは、受信したRPR制御フレームをRPRインタフェース受信部13に入力する。ノードA,B,D,EのRPRインタフェース受信部13は、RPR制御フレームをプロテクション部14に入力する。プロテクション部14は、RPRインタフェース受信部13から入力されるRPR制御フレームの従属同期情報がスレーブノードとなっているので、マスタノードCの異常を検知する。ノードA,B,D,Eのプロテクション部14は、マスタノードCの異常を示す障害情報をトポロジ管理部15およびクロック切り替え指示部22に通知する。トポロジ管理部15は、トポロジ管理部15から入力される障害情報に基づいて、ノードCの異常をトポロジマップに登録する。
各ノードA〜Eのクロック切り換え指示部22は、トポロジ管理部15から障害情報の通知を受けると、マスタノードの再選択を行なう。マスタノードの再選択において、各ノードA〜Eのクロック切り換え指示部22は、RPR標準によって構築されたトポロジマップから、次のマスタノードを検索し、マスタノード情報を生成する。各ノードA〜Eのクロック切り換え指示部22は、生成したマスタノード情報を用いてマスタノードを決定する。
ここでのネットワークシステム100では、マスタ候補ノード(ノードC,E)のうちノードCがスレーブノードとなるため、ノードA,B,D,EはノードEがマスタノードであると認識する。そして、ノードEの両下流方向のノードA,B,C,Dがスレーブノードとなり、各スレーブノードは、ノードEからのTPフレーム受信方向のHOP数が小さい方の受信クロックを選択する。そして、各ノードA〜Eでは、現在のクロック選択に影響がない場合は、そのまま現在のクロック選択を継続する。
すなわち、ノードAのクロック切り換え指示部22は、マスタノードであるノードEに対する外側リング5方向のHOP数が1であり、ノードEに対する内側リング6方向のHOP数が4であるので、外側リング5からのクロック(1)を受信クロックとして選択する。
また、ノードBのクロック切り換え指示部22は、マスタノードであるノードEに対する外側リング5方向のHOP数が2であり、ノードEに対する内側リング6方向のHOP数が3であるので、外側リング5からのクロック(1)を受信クロックとして選択する。
また、ノードDのクロック切り換え指示部22は、マスタノードであるノードEに対する外側リング5方向のHOP数が4であり、ノードEに対する内側リング6方向のHOP数が1であるので、内側リング6からのクロック(2)を受信クロックとして選択する。
また、ノードCのクロック切り換え指示部22は、マスタノードであるノードEに対する外側リング5方向のHOP数が3であり、ノードEに対する内側リング6方向のHOP数が2であるので、内側リング6からのクロック(2)を受信クロックとして選択する。
また、ノードEのクロック切り換え指示部22は、自身がマスタノードであるので、例えば外部クロック(3)を受信クロックとして選択する。このように、ネットワークシステム100においてマスタノードからの供給クロックで異常が発生した場合、他のマスタ候補ノードがマスタノードになり、クロック選択に影響を受けるノードのみが受信クロックを切り替える。
なお、ノードCの外部クロック(3)が異常から回復した場合には、ノードCは、従属同期情報をマスタノードに設定したTPフレームを両系に送信し、マスタノードの再選択を実施する。これにより、ノードCがマスタノードとなる。
ノードC以外のノードA,B,D,Eは、ノードCが送信元であるTPフレームを受信する。ノードA,B,D,Eは、ノードCからTPフレームを受信するとマスタノードの再選択を実施する。そして、ノードCの優先度がノードEの優先度よりも高いので、再びノードCがマスタノードになり、ネットワークシステム100は図3に示した状態となる。
つぎに、図3の状態からマスタノード(ノードC)が離脱する場合の各ノードA〜Eのマスタ情報、クロック選択決定後の状態について説明する。図6は、マスタノードが離脱する場合の各ノードのマスタ情報、クロック選択決定後の状態を説明するための図である。なお、図3〜5で説明したノードA〜Eと同様の動作を行う処理動作については、その説明を省略する。
ノードCを挟むように配置されているノードDとノードBは、ノードCの離脱を検出すると、SFをTPフレームに付加して両系に送信する。具体的には、ノードB,Dのクロック切り替え指示部22がノードCの離脱を検出すると、プロテクション情報をRPRインタフェース送信部12に送る。
各RPRインタフェース送信部12は、クロック切り替え指示部22から通知されるプロテクション情報をRPR制御フレームに付与してRPR制御フレームを生成する。ここでのRPR制御フレームには、このRPR制御フレームを送信するノードB,Dのアドレス(送信元アドレス)が含まれている。
ノードDのRPRインタフェース送信部12は、生成したRPR制御フレームを外側リング送信部18に入力し、外側リング送信部18は、RPRインタフェース送信部12からのRPR制御フレームを外側リング5に送信する。
ノードBのRPRインタフェース送信部12は、生成したRPR制御フレームを内側リング送信部19に入力し、内側リング送信部19は、RPRインタフェース送信部12からのRPR制御フレームを内側リング6に送信する。
各ノードA,B,D,Eは、ノードDとノードBから受信したTPフレームと作成したトポロジマップから、両系のマスタノード方向(従属同期方向)に障害があると判断し、マスタノードの再選択を実施する。
具体的には、ノードAは、内側リング6(ノードB)からのRPR制御フレームを内側リング受信部21から受信し、外側リング5(ノードD)からのRPR制御フレームを外側リング受信部16から受信する。また、ノードEは、外側リング5(ノードD)からのRPR制御フレームを外側リング受信部16から受信し、内側リング6(ノードB)からのRPR制御フレームを内側リング受信部21から受信する。
ノードA,Eは、受信したRPR制御フレームをRPRインタフェース受信部13に入力する。ノードA,EのRPRインタフェース受信部13は、RPR制御フレームをプロテクション部14に入力する。
ノードA,Eのプロテクション部14は、RPRインタフェース受信部13から入力されるRPR制御フレームのプロテクション情報に基づいて、ノードCの離脱を把握し、その障害情報(ノードCの離脱)をトポロジ管理部15およびクロック切り替え指示部22に通知する。トポロジ管理部15は、プロテクション部14から入力される障害情報に基づいて、ノードCの離脱をトポロジマップに登録する。
各ノードA〜Eのクロック切り換え指示部22は、トポロジ管理部15から障害情報の通知を受けると、マスタノードの再選択を行なう。マスタノードの再選択において、各ノードA,B,D,Eのクロック切り換え指示部22は、RPR標準によって構築されたトポロジマップから、次のマスタノードを検索し、マスタノード情報を生成する。各ノードA,B,D,Eのクロック切り換え指示部22は、生成したマスタノード情報を用いてマスタノードを決定する。
ここでのネットワークシステム100では、マスタ候補ノード(ノードC,E)のうちノードCが離脱しているため、ノードA,B,D,EはノードEがマスタノードであると認識する。そして、ノードEの両下流方向のノードA,B,Dがスレーブノードとなり、
各スレーブノードは、ノードEと接続可能なリングからの受信クロックを選択する。そして各ノードA,B,D,Eでは、現在のクロック選択に影響がない場合は、そのまま現在のクロック選択を継続する。
すなわち、ノードAのクロック切り換え指示部22は、マスタノードであるノードEに対する外側リング5方向のHOP数が1であり、ノードEからの情報を内側リング6から受信できないので、外側リング5からのクロック(1)を受信クロックとして選択する。
また、ノードBのクロック切り換え指示部22は、マスタノードであるノードEに対する外側リング5方向のHOP数が2であり、ノードEからの情報を内側リング6から受信できないので、外側リング5からのクロック(1)を受信クロックとして選択する。
また、ノードDのクロック切り換え指示部22は、マスタノードであるノードEに対する内側リング6方向のHOP数が1であり、ノードEからの情報を外側リング5から受信できないので、内側リング6からのクロック(2)を受信クロックとして選択する。
また、ノードEのクロック切り換え指示部22は、自身がマスタノードであるので、例えば外部クロック(3)を受信クロックとして選択する。このように、ネットワークシステム100においてマスタノードが離脱する場合、他のマスタ候補ノードがマスタノードになり、クロック選択に影響を受けるノードが受信クロックを切り替える。
このように実施の形態1によれば、外側リングDrop判定部17、内側リングDrop判定部20がRPR制御フレームを、それぞれ外側リング5、内側リング6に転送し、クロック切り替え指示部22が他のノード装置からのRPR制御フレーム(従属同期情報)、自ノード装置の設定、自ノード装置の状態、トポロジマップを用いてネットワークシステム100内からマスタノードを選択し、マスタノードに応じたクロックに従属同期用のクロックを切り替えるので、少ない従属同期情報で迅速にマスタノードの選択、従属同期用のクロックの選択を行なうことが可能となる。
また、優先度変換部24が他のノード装置から送信されるRPR制御フレーム内から送信元アドレスを抽出してマスタノードを選択する際の優先度に変換し、この優先度を用いてマスタノードを決定するので、RPR制御フレームの転送の際に優先度に関する情報の更新等を行なう必要がなく、RPR制御フレームの転送を迅速に行なうことが可能となる。
また、各ノード装置は、マスタ候補ノードとなるかスレーブノードとなるかを示す識別情報を含む従属同期情報を生成して他のノード装置に送信するので、各ノード装置は効率良く適切なマスタノードを選択することが可能となる。
また、マスタノードに設定されているノード装置にクロック異常が発生した場合には、スレーブノードとなることを示す識別情報を含む従属同期情報を他のノード装置に送信するので、各ノード装置は、迅速にマスタクロックの異常を検知してマスタノードを再選択することが可能となる。
また、マスタノードに設定されているノード装置のクロック異常が回復した場合には、マスタ候補ノードであることを示す識別情報を含む従属同期情報を他のノード装置に送信するので、各ノード装置は、迅速にマスタクロックの回復を検知してマスタノードを再選択することが可能となる。
また、リンク障害が発生した場合に、リンク障害を示すプロテクション情報(障害情報)を他のノード装置に送信するので、各ノード装置は迅速にリンク障害を検知してマスタノードを再選択することが可能となる。
また、トポロジ管理部15は、RPRインタフェース受信部13から入力されるRPR制御フレームのトポロジ情報に基づいてトポロジマップを生成し管理するので、予めトポロジマップの登録を行なう必要がなく、容易にマスタノードの選択を行なうことが可能となる。
また、タイマ管理部26のタイマがRPR制御フレームを受信した後の所定時間を測定し、所定時間の経過後にマスタノードを選択するので、各ノード装置の立ち上がりがばらついて、各ノード装置でトポロジマップを作成するタイミングが異なる場合であっても、各ノード装置で安定したマスタノードの選択を行なうことが可能となる。したがって、各ノード装置は高速かつ耐障害性を満足する従属同期を行なうことが可能となる。また、従属同期情報の削減、従属同期情報の中継遅延の削減ができるとともに、マスタノード選択に時間を要する要因であるマスタノードの確定通知が不要となる。
実施の形態2.
図7は、本発明の実施の形態2にかかるノード装置の構成を示す図である。図7の各構成要素のうち図1に示す実施の形態1のノード装置1と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
実施の形態2のノード装置2は、タイマ管理部26を備えていない。実施の形態2では、トポロジ管理部15によって作成(構築)されたトポロジマップを用いて、クロック切り替え指示部22がマスタノードを検索し、マスタノード情報を生成してマスタノードを選択する。ここでのノード装置2のクロック切り替え指示部22は、トポロジ管理部15によってトポロジマップが構築された時点でマスタノードの選択を実施する。
ノード装置2は、例えば高速にトポロジマップを構築できるノード装置やネットワークシステム100の従属同期が完了する時間に余裕がある場合等に適用する。なお、ここでのネットワークシステム100は、複数のノード装置2によって構成されている。また、マスタノードの選択方法(選択タイミング)以外の動作は実施の形態1と同様であり、その説明を省略する。
このように実施の形態2によれば、タイマを用いることなくトポロジマップが構築された時点でマスタノードの選択を実施するので、ノード装置2は実施の形態1のノード装置1よりも迅速にマスタノードを選択することが可能となり、ノード装置2は高速かつ耐障害性を満足する従属同期を行なうことが可能となる。
実施の形態3.
図8は、本発明の実施の形態3にかかるノード装置の構成を示す図である。図8の各構成要素のうち図7に示す実施の形態2のノード装置2と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
実施の形態3のノード装置3は、図7に示したノード装置2の機能に加えてマスタノード情報テーブル31を記憶しておく記憶手段(図示せず)を備えている。マスタノード情報テーブル31は、マスタ候補ノードのアドレスとHOP数を予め設定し保持しておく情報テーブル(ノード情報)である。ここでのノード装置3のクロック切り替え指示部22は、マスタノード情報テーブル31を用いて最高優先のマスタノードを選択する。
ノード装置3は、例えばネットワークシステム100が小規模なネットワークである場合等に適用する。なお、ここでのネットワークシステム100は、複数のノード装置3によって構成されている。また、マスタノードの選択方法以外の動作は実施の形態2と同様であり、その説明を省略する。
このように実施の形態3によれば、予めマスタノード情報テーブル31内にマスタ候補ノードのアドレスとHOP数を記憶しておくので、ノード装置3は実施の形態1のノード装置1よりも少ない従属同期情報の送受信で迅速にマスタノードを選択することが可能となり、ノード装置3は高速かつ耐障害性を満足する従属同期を行なうことが可能となる。
実施の形態4.
図9は、本発明の実施の形態4にかかるノード装置の構成を示す図である。図9の各構成要素のうち図1に示す実施の形態1のノード装置1と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
実施の形態4のノード装置4は、実施の形態1のノード装置1と比べて、クロック切り替え指示部22の代わりに、タイマ管理部26による時間管理に基づいてクロックの切り替えやマスタノードの選択を開始するクロック切り替え指示部41を備えている。
ここでのノード装置4のクロック切り替え指示部41は、トポロジ管理部15およびプロテクション部14からの情報(トポロジマップ、ネットワーク障害通知などの情報)を使用しない。
ネットワークシステム100内の各ノードA〜E(ノード装置4)は、マスタノード選択、障害検出およびマスタノード離脱検出に対しては、共通の管理タイマ(タイマ管理部26)(第1のタイマ、第2のタイマ)を用いて時間測定を行なう。なお、ここでのネットワークシステム100は、5台のノード装置2によって構成されている。また、ノード装置4によるマスタノード選択の処理動作は、実施の形態1で説明したノード装置1と同様の処理動作によって行なうので、その説明を省略する。
マスタノード選択を決定した後のスレーブノード(ノード装置4)のクロック切り替え指示部41は、現在の受信クロック方向から受信する送信元アドレスがマスタノードである場合に、このマスタノードからのTPフレームを管理する。クロック切り替え指示部41は、マスタノードからのTPフレーム到着時には、タイマ管理部26にタイマの起動を要求する。タイマ管理部26からタイマ満了が通知されると、クロック切り替え指示部41は、受信クロック方向が障害であるとみなし、もう一方(他方の系)の受信クロック方向にクロックを切り替える。また、マスタノードが供給するクロックに異常があることを検出した場合や両方の受信クロック方向が障害であることを検出した場合、クロック切り替え指示部41は、マスタノードの再選択を実施する。
例えば、図4に示したようにノードDとノードEの間にリンク障害がある場合、ノードEのみが障害を検出し、ノードEのクロック切り替え指示部41は他方(内側リング6)の受信クロック方向にクロックを切り替える。すなわち、ノードDとノードEの間にリンク障害がある場合、ノードDはノードCからTPフレームを受信することができるが、ノードEはノードCからTPフレームを受信することができない。このため、ノードEのタイマ管理部26は所定時間の間にTPフレームを受信することなく、クロック切り替え指示部41にタイマ満了を通知する。これにより、クロック切り替え指示部41は、受信クロック方向が障害であるとみなし、クロックの切り替えを行なう。
また、図5に示したようにマスタノード(ノードC)が供給するクロックに異常がある場合、実施の形態1と同様に各ノードA〜Eのクロック切り替え指示部41はマスタノードの再選択を実施する。
また、図6に示したようにマスタノード(ノードC)が離脱する場合、各ノードA,B,D,Eは、ノードCからのTPフレームの受信を両方向(両系)から検出できないため、タイマ管理部26からクロック切り替え指示部41にタイマ満了が通知され、クロック切り替え指示部41はマスタノードの再選択を実施する。
このように実施の形態4によれば、クロック切り替え指示部41は、受信クロック方向が障害である場合にもう一方(他方の系)の受信クロック方向にクロックを切り替え、マスタノードが供給するクロックに異常があることを検出した場合や両方の受信クロック方向が障害であることを検出した場合にマスタノードの再選択を実施するので、ノード装置4は実施の形態1のノード装置1よりも少ない従属同期情報の送受信でマスタノードを選択することが可能となり、ノード装置4は高速かつ耐障害性を満足する従属同期を行なうことが可能となる。
また、マスタノードの選択と障害検出(マスタノードのクロック異常やマスタノードの離脱)を1つの管理タイマで管理するため、簡易な構成で容易にクロックの切り替えを行なうことが可能となる。
なお、実施の形態1〜4で説明した各ノード装置1〜4の各機能を組み合わせてもよい。例えば、ノード装置の立ち上がり時にはノード装置1の機能で動作させ、定常状態時にはノード装置2で動作させることにより、ノード装置1,2の利点を兼ね備えたノード装置を実現することが可能となる。
以上のように、本発明にかかるノード装置、リングネットワークシステムおよび通信制御方法は、リングネットワーク上でのマスタノードの決定、従属同期を行なうクロックの切り換えに適している。
本発明の実施の形態1にかかるノード装置の構成を示す図である。 複数のノード装置が接続されたネットワークシステムの構成の一例を示す図である。 障害のない場合の各ノードのマスタノード情報、クロック選択決定後の状態を説明するための図である。 リンク障害が発生した場合の各ノードのマスタノード情報、クロックの選択決定後の状態を説明するための図である。 マスタノードで供給するクロックに異常が発生した場合の各ノードのマスタ情報、クロック選択決定後の状態を説明するための図である。 マスタノードが離脱する場合の各ノードのマスタ情報、クロック選択決定後の状態を説明するための図である。 本発明の実施の形態2にかかるノード装置の構成を示す図である。 本発明の実施の形態3にかかるノード装置の構成を示す図である。 本発明の実施の形態4にかかるノード装置の構成を示す図である。
符号の説明
1〜4 ノード装置
5 外側リング
5 内側リング
11 MACフレーム入出力制御部
12 RPRインタフェース送信部
13 RPRインタフェース受信部
14 プロテクション部
15 トポロジ管理部
16 外側リング受信部
17 外側リングDrop判定部
18 外側リング送信部
19 内側リング送信部
20 内側リングDrop判定部
21 内側リング受信部
22,41 クロック切り替え指示部
23 クロック切り替え部
24 優先度変換部
25 クロック異常検出部
26 タイマ管理部
31 マスタノード情報テーブル
100 ネットワークシステム

Claims (17)

  1. 伝送路を介してリング状に接続された複数のノード装置を備え、スレーブノードとして動作するノード装置は、マスタノードとして動作するノード装置のマスタクロックに従属同期してデータ転送を行なうリングネットワークシステムに適用可能なノード装置であって、
    前記リングネットワークシステム上の他のノード装置から送信された、当該ノード装置の優先度情報を含む設定状態情報を受信する設定状態情報受信部と、
    前記設定状態情報受信部により受信した設定状態情報を、伝送方向の他のノード装置に転送する設定状態情報転送部と、
    前記設定状態情報受信部により受信した設定状態情報に含まれる優先度情報と、自ノード装置に予めマスタノード情報として保持された設定状態情報の優先度情報との比較を行なう優先度情報比較部と、
    前記優先度情報比較部による比較結果に応じて、前記自ノード装置にマスタノード情報として保持された設定状態情報または前記設定状態情報受信部により受信した設定状態情報の一方をマスタノード情報として保持するマスタノード情報保持部と、
    前記マスタノード情報保持部により保持された設定状態情報に基づいて、マスタノードとして動作するノード装置を決定するマスタノード決定部と、
    前記マスタノード決定部において決定されたマスタノードとして動作するノード装置のマスタクロックに従属同期してデータ転送を行なうデータ転送部と、
    を備えることを特徴とするノード装置。
  2. 前記設定状態情報受信部は、前記リングネットワークシステム上の他のノード装置から送信された、当該ノード装置のアドレスである送信元アドレスを含む設定状態情報を受信し、
    前記優先度情報比較部は、前記設定状態情報受信部により受信された設定状態情報に含まれる送信元アドレスを予め設定された所定の規則に従って変換して得られる優先度情報と、自ノード装置に予めマスタノード情報として保持された設定状態情報の優先度情報との比較を行なうこと、
    を特徴とする請求項1に記載のノード装置。
  3. 前記リングネットワークシステムは、双方向の伝送路でリング状に接続された2重化リングネットワークであり、
    前記設定状態情報受信部は、前記双方向の伝送路のそれぞれから前記設定状態情報を受信すること、
    を特徴とする請求項1または2のいずれかに記載のノード装置。
  4. 自ノード装置がマスタノードの候補に設定されている場合であって且つ自ノード装置が管理するクロックに異常がない場合に、自ノード装置が前記マスタノードの候補であることを示すマスタノード候補情報を含む設定状態情報を他のノードに送信し、自ノード装置が前記マスタノードの候補に設定されている場合であって且つ自ノード装置が管理するクロックに異常がある場合、または自ノード装置がスレーブノードとなる場合に、自ノード装置が前記スレーブノードとなることを示すスレーブノード情報を含む設定状態情報を他のノードに送信する設定状態情報送信部をさらに備え、
    前記マスタノード決定部は、前記2重化リングネットワーク上のノード装置の中で、前記マスタノード候補情報を含む設定状態情報の送信元であるノード装置の中から前記マスタノードを決定することを特徴とする請求項1〜3のいずれか1つに記載のノード装置。
  5. 前記マスタノード決定部は、自ノード装置がマスタノードとして動作している場合であって、且つ自ノード装置が管理するクロックに異常が発生した場合に前記マスタノードの再決定を行なうことを特徴とする請求項1〜4のいずれか1つに記載のノード装置。
  6. 前記設定状態情報受信部がマスタノードとして動作している他のノード装置から前記スレーブノード情報が付加された設定状態情報を受信すると、前記マスタノード決定部は、前記マスタノードの再決定を行なうことを特徴とする請求項1〜5のいずれか1つに記載のノード装置。
  7. 前記設定状態情報受信部が、マスタノードの候補に設定された他のノード装置が管理するクロックが異常な状態から正常な状態に変化した際に当該他のノード装置から送信される前記マスタノード候補情報が付加された設定状態情報を受信すると、前記マスタノード決定部は、前記マスタノードの再決定を行なうことを特徴とする請求項4〜6のいずれか1つに記載のノード装置。
  8. 前記マスタノード決定部は、自ノード装置が前記マスタノードの候補に設定されている場合であって、自ノード装置が管理するクロックが異常な状態から正常な状態に変化した場合に、前記マスタノードの再決定を行なうことを特徴とする請求項1〜7のいずれか1つに記載のノード装置。
  9. 隣接する他のノード装置との間のリンク障害を検出すると、前記リンク障害を示すリンク障害情報を前記設定状態情報に付加して生成する設定状態情報生成部をさらに備え、
    前記マスタノード決定部は、自ノード装置がリンク障害を検出した場合、または前記設定状態情報受信部が前記他のノード装置から前記リンク障害情報を受信した場合に、前記マスタノードの再決定を行なうことを特徴とする請求項1〜8のいずれか1つに記載のノード装置。
  10. 前記マスタノード決定部は、前記設定状態情報受信部が受信した設定状態情報内の情報を用いて、前記リングネットワークシステムのトポロジマップを生成することを特徴とする請求項1〜9のいずれか1つに記載のノード装置。
  11. 前記マスタノード情報保持部前記設定状態情報受信部により受信した設定状態情報をマスタノード情報として保持する毎に、前記設定状態情報受信部が新たな設定状態情報を受信した後の所定時間の計測を開始する第1のタイマをさらに備え、
    前記マスタノード決定部は、前記設定状態情報受信部が前記新たな設定状態情報の次の新たな設定状態情報を受信することなく前記第1のタイマが所定時間の計測を終えると、前記マスタノードの決定を実行することを特徴とする請求項2〜10のいずれか1つに記載のノード装置。
  12. 前記マスタノード決定部は、前記トポロジマップを生成すると、前記マスタノードの決定を実行することを特徴とする請求項10に記載のノード装置。
  13. 前記リングネットワーク上でマスタノードの候補に設定されているノード装置に関するノード情報および前記トポロジマップを予め記憶しておく記憶部をさらに備え、
    前記マスタノード決定部は、前記記憶部が記憶するノード情報およびトポロジマップに基づいて前記マスタノードを決定することを特徴とする請求項1〜12のいずれか1つに記載のノード装置。
  14. 前記設定状態情報受信部が前記マスタノードとして動作している他のノード装置から当該他のノード装置が生成した設定状態情報を受信した後の所定時間を計測する第2のタイマをさらに備え、
    前記第2のタイマが計測する所定の時間内に、前記設定状態情報受信部が前記マスタノードとして動作している他のノード装置が送信する前記設定状態情報を前記双方向の伝送路の一方から受信しない場合に、
    前記設定状態情報受信部は、前記マスタノードとして動作している他のノード装置が送信する前記設定状態情報を前記双方向の伝送路の他方から受信することを特徴とする請求項に記載のノード装置。
  15. 前記第2のタイマが計測する所定の時間内に、前記設定状態情報受信部が前記マスタノードとして動作している他のノード装置が送信する前記設定状態情報を前記双方向の伝送路の双方から受信しない場合に、
    前記マスタノード決定部は、前記マスタノードの再決定を行なうことを特徴とする請求項14に記載のノード装置。
  16. 伝送路を介してリング状に接続された複数のノード装置を備え、スレーブノードとして動作するノード装置は、マスタノードとして動作するノード装置のマスタクロックに従属同期してデータ転送を行なうリングネットワークシステムであって、
    前記ノード装置は、
    自ノード装置の優先度情報を含む設定状態情報を他のノード装置に送信する設定状態情報送信部と、
    前記設定状態情報送信部により送信された設定状態情報を受信する設定状態情報受信部と、
    前記設定状態情報受信部により受信した設定状態情報を、伝送方向の他のノード装置に転送する設定状態情報転送部と、
    前記設定状態情報受信部により受信した設定状態情報に含まれる優先度情報と、自ノード装置に予めマスタノード情報として保持された設定状態情報の優先度情報との比較を行なう優先度情報比較部と、
    前記優先度情報比較部による比較結果に応じて、前記自ノード装置にマスタノード情報として保持された設定状態情報または前記設定状態情報受信部により受信した設定状態情報の一方をマスタノード情報として保持するマスタノード情報保持部と、
    前記マスタノード情報保持部により保持された設定状態情報に基づいて、マスタノードとして動作するノード装置を決定するマスタノード決定部と、
    前記マスタノード決定部において決定されたマスタノードとして動作するノード装置のマスタクロックに従属同期してデータ転送を行なうデータ転送部と、
    を備えることを特徴とするリングネットワークシステム。
  17. 伝送路を介してリング状に接続された複数のノード装置を備え、スレーブノードとして動作するノード装置は、マスタノードとして動作するノード装置のマスタクロックに従属同期してデータ転送を行なうリングネットワークシステムに適用可能な通信制御方法であって、
    自ノード装置の優先度情報を含む設定状態情報を他のノード装置に送信する設定状態情報送信ステップと、
    前記設定状態情報送信ステップにおいて送信された設定状態情報を受信する設定状態情報受信ステップと、
    前記設定状態情報受信ステップにおいて受信した設定状態情報を、伝送方向の他のノード装置に転送する設定状態情報転送ステップと、
    前記設定状態情報受信ステップにおいて受信した設定状態情報に含まれる優先度情報と、自ノード装置に予めマスタノード情報として保持された設定状態情報の優先度情報との比較を行なう優先度情報比較ステップと、
    前記優先度情報比較ステップにおける比較結果に応じて、前記自ノード装置にマスタノード情報として保持された設定状態情報または前記設定状態情報受信ステップにおいて受信した設定状態情報の一方をマスタノード情報として保持するマスタノード情報保持ステップと、
    前記マスタノード情報保持ステップにおいて保持された設定状態情報に基づいて、マスタノードとして動作するノード装置を決定するマスタノード決定ステップと、
    前記マスタノード決定ステップにおいて決定されたマスタノードとして動作するノード装置のマスタクロックに従属同期してデータ転送を行なうデータ転送ステップと、
    を備えることを特徴とする通信制御方法。
JP2006136942A 2006-05-16 2006-05-16 ノード装置、リングネットワークシステムおよび通信制御方法 Active JP4837439B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006136942A JP4837439B2 (ja) 2006-05-16 2006-05-16 ノード装置、リングネットワークシステムおよび通信制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006136942A JP4837439B2 (ja) 2006-05-16 2006-05-16 ノード装置、リングネットワークシステムおよび通信制御方法

Publications (2)

Publication Number Publication Date
JP2007311931A JP2007311931A (ja) 2007-11-29
JP4837439B2 true JP4837439B2 (ja) 2011-12-14

Family

ID=38844409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006136942A Active JP4837439B2 (ja) 2006-05-16 2006-05-16 ノード装置、リングネットワークシステムおよび通信制御方法

Country Status (1)

Country Link
JP (1) JP4837439B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5465104B2 (ja) * 2010-06-18 2014-04-09 富士通テレコムネットワークス株式会社 通信システムおよびクロック同期方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029159A (en) * 1989-07-18 1991-07-02 International Business Machines Corporation Method and means for leader choosing on a token ring system
JPH0630009A (ja) * 1992-07-06 1994-02-04 Toshiba Corp リング型lanにおけるマスタのバックアップ方式
JP2003051831A (ja) * 2001-05-30 2003-02-21 Mitsubishi Electric Corp クロック同期制御システム

Also Published As

Publication number Publication date
JP2007311931A (ja) 2007-11-29

Similar Documents

Publication Publication Date Title
US6680903B1 (en) Network system, network terminal, and method for specifying location of failure in network system
JP4676403B2 (ja) 通信装置及び通信システム
JP6666060B2 (ja) 電流差動保護のための方法およびシステム
JP2017098694A (ja) 通信装置,及びその時刻同期方法
JP2014520419A (ja) 高可用性グランド・マスタ・クロックを実装するためのネットワークおよび方法
JP2009005053A (ja) パケットリングネットワークシステム、パケット転送方法
JP2015198416A (ja) 中継システムおよびスイッチ装置
JP2010263588A (ja) 伝送装置及び伝送装置の休止方法
JP2009010668A (ja) 通信装置、通信方法、通信インターフェース及びプログラム
US9197441B2 (en) Method and system for service protection
JP6729040B2 (ja) 通信システム、ノード装置、およびプログラム
WO2010116465A1 (ja) リングノード装置、マルチリングネットワークシステムおよび経路切り替え方法
JP4837439B2 (ja) ノード装置、リングネットワークシステムおよび通信制御方法
JP2009225285A (ja) イーサネットの伝送方法、伝送装置およびシステム
JP4287734B2 (ja) ネットワーク装置
JP5504706B2 (ja) ネットワークシステム及びネットワークシステムの同期方法
JP2003051831A (ja) クロック同期制御システム
KR101192896B1 (ko) 결함 허용이 가능한 분산 동기화 방법 및 장치
JP2009147653A (ja) 通信システムおよびリングノード装置
JP6386905B2 (ja) 保護リレーシステム
JP5488246B2 (ja) ネットワークシステム及びネットワークシステムの同期方法
JP5482534B2 (ja) ネットワークシステム
JP5292892B2 (ja) 回線収容装置および制御方法
JP4676538B2 (ja) 通信装置及び通信システム
JP2012169951A (ja) ネットワーク接続装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4837439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250