JP5973570B2 - 分割アーキテクチャ・ネットワークにおけるospfの実装 - Google Patents

分割アーキテクチャ・ネットワークにおけるospfの実装 Download PDF

Info

Publication number
JP5973570B2
JP5973570B2 JP2014524465A JP2014524465A JP5973570B2 JP 5973570 B2 JP5973570 B2 JP 5973570B2 JP 2014524465 A JP2014524465 A JP 2014524465A JP 2014524465 A JP2014524465 A JP 2014524465A JP 5973570 B2 JP5973570 B2 JP 5973570B2
Authority
JP
Japan
Prior art keywords
controller
network
region
link state
split architecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014524465A
Other languages
English (en)
Other versions
JP2014525692A (ja
Inventor
ヤダバリ,キラン
ベヘシュチ−サバレ,ネダ
チャン,イン
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル), テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2014525692A publication Critical patent/JP2014525692A/ja
Application granted granted Critical
Publication of JP5973570B2 publication Critical patent/JP5973570B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/12Shortest path evaluation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • H04L45/025Updating only a limited number of routers, e.g. fish-eye update
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • H04L45/026Details of "hello" or keep-alive messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • H04L45/03Topology update or discovery by updating link state protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • H04L45/036Updating the topology between route computation elements, e.g. between OpenFlow controllers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/48Routing tree calculation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/64Routing or path finding of packets in data switching networks using an overlay routing layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明の実施形態は、分割アーキテクチャ・ネットワークにおけるパスの探知又はルーティングに関する。具体的に言えば、本発明の実施形態は、分割アーキテクチャ・ネットワークを含むネットワーク及び従来のルータにおいてデータをルーティングするために、オープン・ショーテスト・パス・ファースト・プロセスを実装するための方法及びシステムに関する。
分割アーキテクチャ・ネットワーク設計は、制御プレーン及び転送又はデータ・プレーンとも呼ばれるネットワークの制御構成要素と転送構成要素との間に、分離を導入する。分割アーキテクチャ・ネットワークは、キャリアグレード・ネットワークのアクセス/集約ドメイン、モバイル・バックホール、クラウド・コンピューティング、及びマルチレイヤ(L3&L2&L1、光伝送ネットワーク(OTN)、波長分割多重(WDM))サポートで使用可能であり、これらはすべてネットワーク・アーキテクチャの構築ブロックの1つである。
転送(データ)プレーンと制御プレーンの両方を同じボックス内に統合する従来のネットワーク・アーキテクチャとは異なり、分割アーキテクチャはこれら2つの機能を切り離し、転送要素(スイッチ)とは異なる物理位置にあり得るサーバ(コントローラ)上で制御プレーンを実行する。分割アーキテクチャは、転送プラットフォームの機能及びハードウェアを簡略化し、ネットワークのインテリジェンス及び管理を、スイッチを監視するコントローラ・セットに集約する。従来のネットワーク・アーキテクチャにおける転送及び制御プレーンの密結合の結果として、通常、かなり複雑な制御プレーン及び手間のかかるネットワーク管理が生じている。これにより、新しいネットワーキング・デバイスの製作には費用が掛かり、これらデバイスの潜在的な展開のための新しいプロトコル及び技術に参入するためには高い障壁が設けられている。回線速度、ポート密度、及びパフォーマンスは急速に改善されているにもかかわらず、これらの機能を管理するためのネットワーク制御プレーン機構の進歩はかなり遅れている。
分割アーキテクチャ・ネットワークにおいて、コントローラはスイッチから情報を収集し、適切な転送決定を計算して、これをスイッチに配信する。コントローラ及びスイッチは、制御プレーン・プロトコルを使用して情報の通信及び交換を行う。こうしたプロトコルの例がOpenFlowであり、コントローラと通信するためのオープンで標準的な方法をスイッチに提供する。図1は、スイッチとコントローラとの間のOpenFlowインターフェースの概要を示す図である。OpenFlowコントローラは、転送テーブル(フロー・テーブル)を構成するためのセキュアなチャネルを用いてOpenFlowスイッチと通信する。
OpenFlowスイッチ内の転送テーブルには、パケット・ヘッダ内のフィールドに関する合致を定義する規則、規則によって定義された合致の検出時に実行されるアクション、及び、データ・プレーン内のデータ・パケットの処理に関する統計の収集からなる、エントリが存在する。着信データ・パケットが特定の規則に合致する場合、関連付けられたアクションがデータ・パケット上で実行される。規則は、例えば、Ethernet MACアドレス、IPアドレス、IPプロトコル、TCP/IPポート番号、並びに着信ポート番号等の、プロトコル・スタック内のいくつかのヘッダからのキー・フィールドを含む。同様の特徴を有するデータ・パケット・セットはフローとして管理することができる。フローは、データ・パケット内の任意数の使用可能フィールド又はその組み合わせを使用して定義することができる。望ましくないフィールドについてのワイルドカードを使用して、使用可能フィールドのサブセットに関する合致に規則を制約することも可能である。
分割アーキテクチャの制御プレーンとデータ・プレーンの分離により、ネットワーク制御論理を修正するタスクが容易になり、開発者が多様な新しいプロトコル及び管理アプリケーションを構築可能なプログラマチック・インターフェースが提供される。このモデルでは、データ・プレーン及び制御プレーンは独立に展開及びスケーリング可能であり、データ・プレーン要素のコストは削減される。
分割アーキテクチャ・ネットワークの複数の領域のうちの1つのための複数のコントローラのうちの1つとして機能するネットワーク要素内に実装される方法を説明する。
コントローラは、分割アーキテクチャ・ネットワークの領域に制御プレーンを提供し、ここでコントローラは、分割アーキテクチャ・ネットワークの領域にデータ・プレーンを提供する複数のスイッチからはリモートにある。コントローラは、分割アーキテクチャ・ネットワークの他の領域の他のコントローラ、及び分割アーキテクチャ・ネットワークを含むネットワークの従来型ルータに、限定領域内リンク・コスト・データを提供することによって、分割アーキテクチャ・ネットワークの複数領域にまたがる最適化ルーティングを容易にする。限定領域内リンク・コスト・データは、すべての内部リンク・コスト・データを提供することなく、コントローラの領域のそれぞれの可能な最短パスのトラバースに関するコストを提供する。方法は、コントローラの領域内の各境界スイッチ(border switch)を含む分割アーキテクチャ・ネットワーク内のコントローラの領域のトポロジを習得することを含むステップを含み、コントローラの領域内の各境界スイッチは、コントローラの領域を、分割アーキテクチャ・ネットワークの別の領域、又はネットワーク内の従来型ルータのうちの1つにリンクさせる、少なくとも1つの外部ポートを有する。ステップは、コントローラの領域内の各境界スイッチ・ペア間の最短パスを計算することを含む。ステップは、コントローラのルーティング・テーブル内の各境界スイッチ・ペア間の各最短パスのコストを記憶することを含む。ステップは、分割アーキテクチャ・ネットワーク内の各近隣コントローラ又はネットワーク内の近隣従来型ルータを、ハロー・プロトコル(hello protocol)を使用して識別することを含み、ここで各近隣コントローラは、コントローラの領域の少なくとも1つの外部ポートを通じてアクセス可能な、分割アーキテクチャ・ネットワークの別の領域内のスイッチを制御する。ステップは、リンク状態データベースを各近隣コントローラと交換することを含み、リンク状態データベースは、各境界スイッチ・ペア間の各最短パスのコストを含む。ステップは、コントローラをツリーのルートとして備えるネットワークについて最短パス・ツリーを計算すること、及び、最短パス・ツリーに従って転送を実装するために、コントローラの領域のスイッチ内の転送テーブルを更新することを、含む。
ネットワーク要素は、分割アーキテクチャ・ネットワークの複数の領域のうちの1つについての複数のコントローラのうちの1つとして機能する。コントローラは、分割アーキテクチャ・ネットワークの領域に制御プレーンを提供し、ここでコントローラは、分割アーキテクチャ・ネットワークの領域にデータ・プレーンを提供する複数のスイッチからはリモートにある。コントローラは、分割アーキテクチャ・ネットワークの他の領域の他のコントローラ、及び分割アーキテクチャ・ネットワークを含むネットワークの従来型ルータに、限定領域内リンク・コスト・データを提供することによって、分割アーキテクチャ・ネットワークの複数領域にまたがる最適化ルーティングを容易にする。限定領域内リンク・コスト・データは、すべての内部リンク・コスト・データを提供することなく、コントローラの領域のそれぞれの可能な最短パスのトラバースに関するコストを提供する。ネットワーク要素は、ネットワークを介してデータを受信するように構成された入口(ingress)モジュールと、ネットワークを介してデータを送信するように構成された出口(egress)モジュールとを備える。ネットワーク要素は、入口モジュール及び出口モジュールに結合されたネットワーク・プロセッサも含み、ネットワーク・プロセッサは、コントローラ・モジュール、トポロジ習得モジュール、最短パス計算モジュール、近隣発見モジュール、及びリンク状態管理モジュールを備える、モジュール・セットを実行するように構成される。トポロジ習得モジュールは、コントローラの領域内の各境界スイッチを含む分割アーキテクチャ・ネットワーク内のコントローラの領域のトポロジを決定するように構成され、各境界スイッチは、コントローラの領域をネットワークの別の領域又はネットワーク内の従来型ルータにリンクさせる、少なくとも1つの外部ポートを有する。コントローラ・モジュールは、分割アーキテクチャ・ネットワーク内のコントローラの領域に制御プレーン機能を提供するように構成される。最短パス計算モジュールは、近隣コントローラと共有することになるコントローラの領域内の各境界スイッチと従来型ルータとの間の最短パスを識別すること、及び、コントローラをツリーのルートとして備えるネットワークについて最短パス・ツリーを計算することを、実行するように構成される。近隣発見モジュールは、ハロー・プロトコルを使用して分割アーキテクチャ・ネットワーク内の各近隣コントローラを識別するように構成され、リンク状態管理モジュールは、リンク状態データベースを各近隣コントローラと交換するように構成される。リンク状態データベースは、コントローラの領域内の各境界スイッチ・ペア間の、各最短経路のコストを含み、ネットワーク要素は、ネットワーク・プロセッサに通信可能に結合されたルーティング・テーブル記憶デバイスも含む。ルーティング・テーブル記憶デバイスは、コントローラの領域について、及びコントローラの領域の境界スイッチ間の、最短パス情報を含む、コントローラ・モジュールに関するルーティング・テーブルを記憶するように構成される。
本発明は、添付の図面の図中で、限定的ではなく単なる例示として示されており、図面内の同じ参照番号は同様の要素を示す。本開示における「実施形態」又は「一実施形態」という異なる言い方は、必ずしも同じ実施形態を指しておらず、こうした言い方は少なくとも1つを意味することに留意されたい。更に、特定の機能、構造、又は特徴が実施形態に関連して説明される場合、明示的に説明されるか否かにかかわらず、こうした機能、構造、又は特徴を他の実施形態に関連して実行することは、当業者の知識の範囲内であるものと考えられる。
単純なOpenFlowネットワークに関する例示アーキテクチャの一実施形態を示す図である。 オープン・ショーテスト・パス・ファースト(OSPF)パケット・ヘッダを示す図である。 OSPFハロー・パケットを示す図である。 リンク状態アドバタイズ(advertisement)(LSA)ヘッダ・フォーマットを示す図である。 ルータLSAメッセージを示す図である。 OSPF外部リンク・コスト情報が交換される、例示ネットワークを示す図である。 OSPF内部リンク・コスト情報が交換される、例示ネットワークを示す図である。 複数コントローラを備えた例示の複数領域OpenFlowネットワークの一実施形態を示す図である。 OSPFプロセスを実装するネットワーク要素の一実施形態を示す図である。 分割アーキテクチャ領域を備えたネットワーク内のOSPFルーティングに関するプロセスの一実施形態を示すフローチャートである。 OSPFリンク状態アドバタイズ・ヘッダ・フォーマットを示す図である。 ルータLSAメッセージを示す図である。 分割アーキテクチャOSPFハロー・メッセージを示す図である。 ネットワーク内で分割アーキテクチャ・コントローラから従来型ルータへハロー・メッセージを送信するプロセスの、一実施形態を示す図である。
以下の説明では、多数の特定の細部が示される。しかしながら、本発明の実施形態はこれら特定の細部なしで実施可能であることを理解されよう。その他の場合、良く知られた回路、構造、及び技法は、この説明に関する理解を不明瞭にしないために詳細には示されていない。しかしながら、当業者であれば、こうした特定の細部なしに本発明が実施できることを理解されよう。当業者であれば、過度の実験なしに、含められた説明を用いて適切な機能を実装することができよう。
フローチャートの動作は、図7〜図9及び図14の例示の実施形態を参照しながら説明される。しかしながら、図10のフローチャートの動作は、図7〜図9及び図14を参照しながら考察される実施形態以外の本発明の実施形態によって実行可能であり、図7〜図9及び図14を参照しながら考察される実施形態は、図10のフローチャートを参照しながら考察される動作とは異なる動作を実行可能であることを理解されたい。
図内に示される技法は、1つ又は複数の電子デバイス(例えばエンド・ステーション、ネットワーク要素、サーバ、又は同様の電子デバイス)上に記憶され、実行される、コード及びデータを使用して実装可能である。こうした電子デバイスは、非一過性の機械読み取り可能又はコンピュータ読み取り可能記憶媒体(例えば、磁気ディスク、光ディスク、ランダム・アクセス・メモリ、読み取り専用メモリ、フラッシュ・メモリ・デバイス、及び相変化メモリ)等の、非一過性の機械読み取り可能又はコンピュータ読み取り可能媒体を使用して、コード及びデータを記憶及び(内部的に、及び/又は、ネットワークを介して他の電子デバイスと)通信する。加えてこうした電子デバイスは、通常、1つ又は複数の記憶デバイス、ユーザ入力/出力デバイス(例えば、キーボード、タッチ・スクリーン、及び/又はディスプレイ)、及びネットワーク接続等の、1つ又は複数の他の構成要素に結合された、1つ又は複数のプロセッサのセットを含む。プロセッサのセットと他の構成要素との結合は、通常、1本又は複数のバス及びブリッジ(バス・コントローラとも呼ばれる)を介する。記憶デバイスは、1つ又は複数の非一過性の機械読み取り可能又はコンピュータ読み取り可能記憶媒体、及び、非一過性の機械読み取り可能又はコンピュータ読み取り可能通信媒体を表す。したがって、所与の電子デバイスの記憶デバイスは、通常、その電子デバイスの1つ又は複数のプロセッサのセット上で実行するための、コード及び/又はデータを記憶する。もちろん、本発明の実施形態の1つ又は複数の部分は、ソフトウェア、ファームウェア、及び/又はハードウェアの異なる組み合わせを使用して実装可能である。
本明細書で使用される場合、ネットワーク要素(例えば、ルータ、スイッチ、ブリッジ、又は同様のネットワーキング・デバイス)は、ネットワーク上の他の機器(例えば、他のネットワーク要素、エンド・ステーション、又は同様のネットワーキング・デバイス)を通信可能に相互接続するハードウェア及びソフトウェアを含む、1つのネットワーキング機器である。いくつかのネットワーク要素は、複数のネットワーキング機能(例えば、ルーティング、ブリッジング、スイッチング、レイヤ2集約、セッション境界制御、マルチキャスティング、及び/又は加入者管理)に対するサポートを提供する、及び/又は、複数のアプリケーション・サービス(例えばデータ収集)に対するサポートを提供する、「複数サービス・ネットワーク要素」である。
分割アーキテクチャ領域
単一のアクセス/集約ネットワークは、複数の従来型ルータと協働する複数の個別の分割アーキテクチャ領域で構成され得る。本明細書で使用される場合、分割アーキテクチャ領域とは、ドメインに類似した、別々のルーティングを伴う分割アーキテクチャ・ネットワークのセクションである。これは、ネットワークの堅固さ又は制御プレーンのスケーラビリティに関する、広範な地理的領域にわたる管理を簡略化するために実行することができる。各分割アーキテクチャ領域は、別々のコントローラによって管理可能である。特定のアプリケーションに応じて、これら別個の分割アーキテクチャ領域のコントローラは、分割アーキテクチャ・ネットワークの適切な管理のために、何らかの情報を共有及び交換する必要がある。
オープン・ショーテスト・パス・ファースト・ルーティング
従来型ネットワーク及び分割アーキテクチャ・ネットワークは、どちらも、スイッチとネットワークによってサービスが提供される他のデバイスとの間の経路を計算しなければならない。オープン・ショーテスト・パス・ファースト(OSPF)は、内部ゲートウェイ・ルーティング・プロトコルである。OSPF(RFC2328に定義)は、ルータがその近隣のリンク状態情報をルーティング・ドメイン内のすべてのノードにブロードキャストする、リンク状態プロトコルである。この情報を使用して、あらゆるルータがドメイン内にネットワーク全体のトポロジ・マップを構築する。各ルータは、全ネットワーク・トポロジを反映するリンク状態データベースを維持する。このトポロジ・マップ及びリンク・コスト・メトリクスに基づき、ルータは、ダイクストラ法アルゴリズムを使用してすべての他のルータへの最短パスを決定する。次にこの情報を使用し、インターネット・プロトコル(IP)パケットの転送に使用されるルーティング・テーブルが作成される。
OSPFは、ルーティング・ドメインを、管理しやすいように領域境界ルータ(ABR)によって分離されている複数の「領域」に分割することができる。各領域は、OSPFネットワークのコア又はバックボーン用に予約された識別子「0」を備える、32ビット識別子、通常は領域内のメイン・ルータのIPアドレスによって、識別される。リンク状態情報のブロードキャストは領域に限定され、領域を越えて送信されることはない。OSPFプロセスにおいて、各ルータ(スイッチ)は、それが属する各領域に対するOSPFプロトコル・プロセスの別々のコピーを実行する。ルータは、異なる領域に属する複数のインターフェースを有する場合、プロセスの複数のコピー、各インターフェースについて1つを実行する。起動時、ルータのOSPFプロセスは、すべてのルーティング・プロトコル・データ構造を開始し、そのルータのアクティブ・インターフェースに関する情報を下位レイヤから取得する。その後ルータは、OSPFのハロー・プロトコル・パケットを使用して、その近隣を検出する。ルータはその近隣にハロー・パケットを送信し、その近隣からハロー・パケットを受信する。ブロードキャスト及びポイント・ツー・ポイント・ネットワークでは、ハロー・パケットはマルチキャスト・アドレス224.0.0.5に送信される。非ブロードキャスト・ネットワークでは、ユーザ構成は近隣を開発するために必要である。ブロードキャスト及び非ブロードキャスト多重アクセス・ネットワーク(NBMA)では、ネットワークのセグメントに「指定ルータ」及び「バックアップ指定ルータ」を選択するために、ハロー・プロトコルが使用される。
近隣を検出すると、ルータはその新しく検出された近隣を用いて「隣接(adjacencies)」を確立するように試行することになる。隣接は、領域内のルーティング情報の分布を決定する。ルーティング更新は、隣接上でのみ送受信される。隣接を確立すると、ルータはその「リンク状態データベース」を、隣接の他端上の対応するルータと同期させることになる。ブロードキャスト及びNBMAネットワークの場合、指定ルータはどのルータが隣接になるかを決定する。
ルータは、リンク状態アドバタイズ(LSA)を使用して、「リンク状態」とも呼ばれるその状態を定期的にアドバタイズする。リンク状態は、ルータの状態が変化した時にもアドバタイズされる。LSAは、アドバタイズ・ルータの隣接も含む。ルータは、領域全体にそのLSAをフラッディングする(flood)。フラッディング・アルゴリズムは、領域内のすべてのルータが同じ正確なリンク状態データベース確実に有するように、情報の信頼性を保証する。リンク状態データベースは、領域に属する各ルータによって発せられるLSAの集合からなる。
各ルータは、このデータベースを使用して、それ自体をルートとして備える最短パス・ツリーを計算する。次に最短パス・ツリーを使用して、ルータのルーティング・テーブルが作成される。OSPFメッセージは、TCP又はUDP等の移送レイヤ・プロトコルを使用せずに、直接伝送され、プロトコル番号89と共にIPパケットに封入される。加えてOSPFは、それ自体の誤り検出及び訂正を使用する。
OSPFは、以下の5つの異なるパケット・タイプを定義する。ハロー・パケット:OSPFのハロー・プロトコル・パケットは、近隣関係を発見及び維持するために使用される。データベース記述パケット:これらのパケットは、隣接を形成するために使用される。リンク状態要求パケット:これらのパケットは、隣接ルータ間でリンク状態データベースをダウンロードするために使用される。リンク状態更新パケット:これらのパケットは、OSPFの信頼できる更新機構に使用される。単一のリンク状態更新パケットは、いくつかのルータのLSAを含む。リンク状態Ackパケット:これらのパケットは、OSPFの信用できる更新機構に関するリンク状態更新パケットと共に使用される。OSPFプロトコル・パケット(ハロー・パケットを除く)は、隣接を介してのみ送信される。したがってすべてのOSPFプロトコル・パケットは、ソース・アドレスとして1つのルータのIPアドレス、及び、宛先アドレスとして他のルータのIPアドレスを用いて、単一のインターネット・プロトコル(IP)ホップを移動する。
RFC 2328に定義されたOSPFは、以下の5つの異なるタイプのLSAを指定する。ルータLSA:これらのLSAは、領域内のすべてのルータによって送信される。各LSAは、領域に対するルータのインターフェースの状態を含む。ルータLSAは単一の領域全体のみでフラッディングされる。ネットワークLSA:これらのLSAは、ブロードキャスト又はNBMAネットワークの指定ルータによって発信される。このLSAは、ネットワークに接続されたルータのリストを含む。ルータLSAと同様に、このLSAも単一の領域全対のみでフラッディングされる。ネットワーク要約LSA:このLSAは、領域境界ルータ(ABR)によって発信され、各LSAは、領域外部であるが依然として自律システム(AS)内部にある宛先ネットワークへの経路を記述する。境界要約LSA:ネットワーク要約LSAと同様に、このLSAは境界領域ルータ(ABR)によって発信され、AS境界ルータへの経路を記述する。AS外部LSA:このLSAは、AS境界ルータによって発信され、AS全体でフラッディングされる。これらのLSAのそれぞれが、他のAS内の宛先への経路を記述する。OSPFパケット・ヘッダ・フォーマットは、図2に示される通りである。ハロー・パケット・フォーマットは図3に示されている。LSAヘッダ・フォーマットは図4に示される通りである。ルータLSAパケット・フォーマットは図5に示される通りである。
分割アーキテクチャ・ネットワークにおけるOSPF
分割アーキテクチャ・ネットワークにおいて、ルーティング・メッセージは、すべての他の制御メッセージと同様に、コントローラ間で交換される。分割アーキテクチャにおいてOSPFを実装するための単純な方法の1つは、内部コストと、外部コストに関する交換情報のみと、すなわち、異なるネットワーク領域を接続するリンクのコストを、無視することである。このように実行することによって、従来のOSPFメッセージはコントローラ間で交換可能であり、各分割アーキテクチャ領域は単一のノードとみなすことができる。
図6に示されたネットワークでは、例えばコントローラBが、10単位のコストを伴う領域Cへのリンクを有することを告知する。しかしながら、この情報に基づいて探知された経路は、準最適である。この実装では、内部コストが他のコントローラに提供されないため、コントローラは実際のエンド・ツー・エンド・コストに基づいて決定することはできない。その結果、1つの領域内の内部コストが内部パスによってかなり異なる場合、
準最適な経路が生じる。
代替実施形態において、上記の準最適経路の問題は、コントローラ間で交換される情報に内部コストを含めることによって解決できる。各コントローラは、内部リンク・コストを計算し、その境界スイッチのうちの任意の2つの間の最短パス(すなわち最も安価なパス)を探知することができる。例えば、再度図6を参照すると、コントローラCは、それ自体の領域とコントローラFの領域との間のリンク・コストを告知した場合、境界スイッチS1とS2の間の最短パス・コストを追加し、それをコントローラBに送信されるコスト情報に追加する。同様に、コントローラCはスイッチS2とS3の間の最短パス・コストを、領域CとFの間のコストに追加して、この情報をコントローラDに送信する。
この代替実施形態は問題も発生させる。この実施形態は、同じリンクについて複数の(及び恐らくは異なる)リンク・コスト・メッセージを送信する必要がある。例えば、領域Fに到達するためにコントローラCによって告知されるコストは、この情報がコントローラBに送信される場合とコントローラDに送信される場合とでは、それぞれが異なる内部パス・コストに基づいているため、異なる(例えば、S1とS2の間の内部最短パス・コストがS2とS3の間のコストと異なる場合、コントローラCはそれ自体の領域とコントローラFの領域との間の2つの異なるリンク・コストを告知することになる)。最終的に、これら2つの矛盾するメッセージが他のコントローラによって受信されることになり、これらのメッセージは、2つの別々のメッセージとして解釈されるのではなく、第2のメッセージは第1の受信されたメッセージの更新として解釈されることになる。
例えば、複数のコストを同じリンクに起因させることができるようにOSPFプロトコルを修正することによって、この複数コスト問題を解決しようとする他の実施形態は、分割アーキテクチャ内のコントローラによって探知される最短パスが、最適でない可能性がある。例えば、図7に示されたシナリオでは、各リンクの番号がいずれかの方向のリンクのコストを示し、準最適経路が決定されることになる。領域Aから領域Fへの最短パスを計算する際には、以下のステップが実行される。(1)CはB及びDに、Fに到達するためのコスト2(1+)を告知し、(2)BはAに、Cに到達するためのコスト11(10+1)を告知し、(3)DはBに、Cに到達するためのコスト21(1+20)を告知し(領域D内の境界スイッチS4とS5の間には1つの内部パスのみが存在することに留意されたい)、(4)BはAに、Cに到達するためのコスト2(1+1)を告知する。
コントローラAが領域Fへのその最短パスを計算する場合、上記情報に基づいて、コストが最も小さい14であることから、他のパスよりもパスA−B−C−Fを選択する。しかしながら、図7に示されるすべてのコスト情報に基づく、AとFの間の最適なルーティングは、A−B−D−E−D−C−Fであり、コストは10のみである。コントローラAは、コントローラ間で交換される情報がこうした選択にとって不十分であることから、このパスは選択され得ない。したがって、最適なルーティング・ソリューションの場合、コントローラ間で交換されるOSPFメッセージは、以下でより詳細に考察されるように、内部リンク・コストに関する更なる情報を伝搬する必要がある。
抽出された(abstracted)内部領域パス・コストを備えるOSPF
本発明の実施形態は、従来技術の欠点を回避するための方法及びシステムを提供する。従来技術及び前述の分割アーキテクチャ・ネットワークにおけるOSPFの単純な実施は、最短パスが必ずしも正確に決定されない、及び/又は、非効率的又は拡張性がない経路を識別するために過剰な情報が提供される、準最適ルーティング・ソリューションを提供する。
本発明の実施形態は、従来技術のこれらの欠点を克服する。本発明の実施形態は、境界スイッチの各ペア間の内部領域パス・コストを、コスト値に関連付けられた直接リンクとして抽出する。このソリューションは、最適なパスを提供し、効率的に実行可能であり、拡張性があり、非分割アーキテクチャにおける従来のルータとの後方互換性がある。
一実施形態において、OSPFルーティング・プロトコルは、ネットワーク内の任意の2つの転送要素間に最適な(最短の)パスを確立するために、分割アーキテクチャにおけるコントローラ間で実装される。実施形態は、内部領域パス・コスト及び内部領域リンク・コストの両方の必要な情報を、複数領域分割アーキテクチャ・ネットワーク全体に公開する。前述のように、実施形態は、最適性、効率性、拡張性、及び後方互換性を提供する。
ルーティング・プロトコルは、各分割アーキテクチャ・コントローラが、任意の他の宛先に到達するために最適なパスを個別に計算できるようにする、十分かつ正確な情報を提供する。これは、従来のドメイン内ルーティング・プロトコル(OSPF、IS−IS)が従来型ネットワーク内で提供する、最適性特性である。しかしながら、最適パスの定義は、分割アーキテクチャ・ネットワークで使用される場合はわずかに異なる。従来型ネットワークでは、これは最小のルータ間コストを伴うパスである。分割アーキテクチャ・ネットワークにおいて、最適パスは、最小ルータ間コストとルータ内コスト(又はSA領域内コスト)とを伴うパスである。
分割アーキテクチャOSPF(SA−OSPF)ルーティング・プロトコルの実施形態は、各ルータが最短パス決定を独立に計算できるようにするものである。OSPFは高速で収束する。言い換えれば、分割アーキテクチャOSPFプロトコルは、従来型ネットワークOSPFと比べて、追加の収束オーバヘッドを招かない。分割アーキテクチャOSPFプロトコルは、何百ものスイッチを備える大規模ネットワークに拡張する。拡張性は、交換されるメッセージの数のオーバヘッドとコントローラに関する記憶要件の両方によって量子化することができる。増分の展開は、ネットワーク・プロトコルに関する任意の新しい提案の適合にとって重要である。分割アーキテクチャOSPFプロトコルは、従来型ルータとの後方互換性がある。この特性により、実際のネットワーク環境におけるその潜在的な使用率を増加させる。
分割アーキテクチャOSPFの実施形態は、コスト値に関連付けられた直接リンクとして、境界スイッチの任意のペア間の内部領域パス・コストを抽出する。この機能を容易にする分割アーキテクチャOSPFのいくつかの態様が存在する。内部領域コストは、後方互換性を保証するために従来のOSPFメッセージの形で組み込まれる。領域内コストは、領域間コストとは別に、すべての領域におけるすべてのコントローラに伝搬される。これにより、最短パス計算の最適性を保証する。これは、各コントローラが、領域間及び領域内の両方の、全ネットワークの完全なピクチャを有することを保証する。こうした十分な領域がある場合、従来のOSPFと同様に、最短パスの計算はダイクストラ法アルゴリズムを使用して容易に実行可能である。
分割アーキテクチャOSPFは、どの内部情報が外部コントローラに伝搬されることになるかが慎重に管理されるという点で、拡張可能である。1つの生来の手法は、分割アーキテクチャ・スイッチの任意のペア間の内部コストを送信することである。しかしながら、これは拡張性の問題を生じさせる。更にこの情報のほとんどが、外部コントローラでの決定に有用ではない。分割アーキテクチャOSPFは、境界分割アーキテクチャ・スイッチの任意のペアの合計集約コストのみを伝搬する。
図8は、分割アーキテクチャ・ネットワークの例示の一実施形態を示す図である。例示の分割アーキテクチャ・ネットワークは、別々の分割アーキテクチャ領域(SA)801A〜Cに分割される。各領域801A〜Cはスイッチ・セットを含む。同じ領域内のすべてのスイッチは、単一の論理コントローラ803A〜Cによって制御される。一実施形態において、SAは、冗長性の目的で、1次コントローラ及びバックアップ・コントローラとして実装可能である。
各SAにおけるスイッチは、分割アーキテクチャ・ネットワークのデータ・プレーンを実装可能な、任意のタイプのルータ、スイッチ、又は同様のネットワーキング・デバイスとすることができる。スイッチは、境界分割アーキテクチャ・スイッチ及び内部分割アーキテクチャ・スイッチを含むことができる。境界分割アーキテクチャ・スイッチは、異なるSA領域内の別のスイッチに接続するインターフェースで、分割アーキテクチャ機能をサポートする。境界分割アーキテクチャ・スイッチは、通常、単一のSA領域のコントローラによって制御される。他の実施形態において、境界分割アーキテクチャ・スイッチは、複数のSA内に存在することが可能であり、各それぞれのSAコントローラによって制御されるインターフェースを有する。内部分割アーキテクチャ・スイッチは、分割アーキテクチャ・プロトコルをサポートする。これは、その領域内のコントローラによって制御される。そのすべての近隣は同じSA領域内にある。
スイッチは、リンク・セットを介して互いに通信している。これらのリンクは、有線又は無線の通信媒体、及びそれらの任意の組み合わせを含む、任意のタイプの通信媒体とすることができる。リンクは、内部リンク又は外部リンクのいずれかとして分類可能である。内部リンクは、SA内の2つのスイッチ間のリンクであり、これらのスイッチは、同じSA領域に属する境界スイッチ又は内部SA領域スイッチのいずれかとすることができる。外部リンクは、異なるSA領域に属する2つのSAスイッチ間のリンクである。この場合、どちらのSAスイッチも境界SAスイッチである。
リンク状態アドバタイズ(LSA)805は、分割アーキテクチャOSPFを実装するLSAの例示セットである。各LSAは、境界スイッチのペア及びこれら2つの境界スイッチの間のSA領域内をトラバースする関連付けられたコストの抽出である。これらのLSAは各コントローラによって生成され、隣接するコントローラに伝送される。例示のLSAセット805は、SA領域801Bに関するコントローラ803BのLSAのセットである。
図9は、コントローラを実装するネットワーク要素の一実施形態を示す図である。一実施形態において、コントローラ901はルータ、スイッチ、又は同様のネットワーキング・デバイスである。コントローラ901は、入口モジュール903、出口モジュール905、ネットワーク・プロセッサ907、及び記憶デバイス911を含むことができる。入口モジュール903は、物理及びリンク・レベルで着信データ・トラフィックを処理し、このデータを更なる処理のためにネットワーク・プロセッサに提供する。同様に、出口モジュール905は、物理及びリンク・レベルで発信データ・トラフィックを処理し、接続されたネットワークを介してこれを他のデバイスに伝送する。これら2つのモジュール機能がまとまって、ネットワークを介した他のデバイスとの通信を実行可能にする。
ネットワーク・プロセッサ907は、ネットワークのデータ・プレーンを支配するネットワークの制御プレーンに関する機能のそれぞれを含むネットワーク要素の機能を実行する、処理デバイス又は処理デバイスのセットである。ネットワーク・プロセッサ907は、近隣発見モジュール913、OSPFモジュール915、トポロジ習得モジュール917、リンク状態管理モジュール919、及びOpenFlowコントローラ921等のコントローラ・モジュールを含む、モジュール・セットを実行することができる。
加えて、ネットワーク・プロセッサ907は、記憶デバイス911内に記憶されたデータにアクセスすることができる。記憶デバイス911に記憶されたデータは、ルーティング・テーブル923及びリンク状態データベース925を含むことができる。他の実施形態において、記憶デバイス911は、任意数の別々のローカル又は分散型の記憶デバイス、及び、これらのデバイス全体にわたって記憶されたデータの任意の配置構成を含むことができる。ネットワーク・プロセスによって実行される他のモジュールは、記憶デバイス911からロードすること、又は記憶デバイス911上に記憶することも可能である。
近隣発見モジュール913は、近隣コントローラのそれぞれに関する情報を取得して、コントローラによって管理されるSA領域のスイッチ間での適切な通信及びそれらスイッチの構成を実行可能にするために、ハロー・プロトコル又は同様のプロトコルを使用して、ネットワーク内の他のデバイスと通信するためのプロトコルを管理することができる。任意のハロー・プロトコル又はプロセスを使用して、SA領域に関して隣接するコントローラ及びスイッチを識別することができる。
トポロジ習得モジュール917は、内部でコントローラが動作するネットワークのトポロジを決定するために、近隣発見モジュール913によって収集された情報を使用する。このトポロジ情報は、ネットワークを介して最適なルートを計算するために、OSPFモジュール915によって使用される。トポロジ情報は、ネットワーク内のリンク・コストを追跡及び決定するために、リンク状態管理モジュール919によっても使用される。
OSPFモジュール917は、ネットワーク内のソース又は発信デバイスから宛先デバイスの間の最適な経路を計算する。OSPFモジュール917は、ルーティング・テーブル・セット923内にルーティング情報を記憶することができる。OSPFモジュール917は、トポロジ習得モジュール917によって生成されたトポロジ情報を使用して、ネットワーク要素間の経路を計算することができる。いくつかの実施形態において、OSPFモジュール917は、他の各デバイスへの経路を確立するために、ルートにコントローラを備えたネットワークに関するスパニング・ツリーを計算することもできる。
リンク状態管理モジュール919は、リンク状態データベース925内のネットワーク又はネットワークの領域に関するリンク状態情報を管理する。リンク状態管理モジュール919は、コントローラと他のコントローラの間並びにコントローラのSA領域内の接続に関する情報を提供する隣接コントローラに広められることになる、リンク状態アドバタイズを生成することもできる。この情報は、ネットワーク内の他のコントローラに送信される各境界スイッチ・ペアに関するリンク状態アドバタイズ・セットとして、パッケージングすることができる。
コントローラ921は、SA領域の制御プレーンを管理するための、任意のタイプの分割アーキテクチャ・コントローラとすることができる。コントローラは、分割アーキテクチャ・ネットワークを管理するための、OpenFlowプロトコル又は同様のプロトコルを実装することができる。コントローラ・モジュール921は、データ・プレーン上でのパケットの転送を構成するために、SA領域内のスイッチと通信することができる。コントローラ921は、近隣情報、リンク状態アドバタイズを交換するため、及び同様の情報をピアに提供するために、他のコントローラとも通信する。
図10は、分割アーキテクチャ・ネットワーク内のOSPFを実装及びサポートするためのコントローラの動作の一実施形態を示すフローチャートである。プロセスは、わかりやすくするために、コントローラによって実行されていると考えて説明されるが、プロセスは、特定のコントローラ・モジュール(例えばOpenFlowコントローラ)と共にコントローラの構成要素(例えばOSPFモジュール)によって実行されることが可能である。プロセスは、コントローラが活動化又はリセットされた時点で開始することができる。他の実施形態において、プロセスは連続的又は定期的である。コントローラは、OSPFルーティング・プロトコル関連データ構造等のデータを記憶及び操作するために使用されることになる、データ構造セットを開始することができる(ブロック1001)。
コントローラは、境界スイッチであるSA領域内のスイッチを識別することを含む、その割り当てられたSA領域のトポロジを習得する(ブロック1003)。トポロジは、リンク状態アドバタイズ又はリンク状態データベースの他のコントローラ及び従来型ルータとの交換を通じて、並びに同様の機構を通じて、習得することができる。異なるSA領域内のコントローラがSA−OSPFプロトコルと通信可能である。交換されるメッセージは、ハロー・メッセージ、データベース記述、リンク状態要求、リンク状態更新、及びリンク状態肯定応答を含む、従来のOSPFメッセージと同様である。特に図8では、リンク状態更新メッセージ805が示されている。単一のリンク状態更新パケットは、いくつかのリンク状態アドバタイズ(LSA)を含むことができる。SA−OSPFの基本ルーティング・アルゴリズムの別々のコピーは、各領域内で実行する。複数の領域へのインターフェースを有するルータは、アルゴリズムの複数のコピーを実行する。このデータは、SA領域及びSA領域が位置する境界ネットワークのトポロジカル・マップにコンパイルされる。
コントローラ(例えばコントローラのOSPFモジュール)は、コントローラのSA領域内の境界スイッチの各ペア間の最短パスを計算する(ブロック1005)。これは、スイッチ間の他の領域内経路を計算することと共に実行可能である。境界スイッチ・ペア・コストは、他のコントローラ及び従来型ルータと共有され、それらのコントローラ及び従来型ルータがコントローラのSA領域を横断する最適なパスを決定できるようにするものである。最短パスは、SA領域の習得トポロジを使用して計算される。一実施形態において、ダイクストラ法アルゴリズムは、任意の境界スイッチ・ペア間の最短パスを計算するために使用される。各ペアについて計算された最短パスのコストは、その後、トポロジカル・データと共に、又はOSPFルーティング・データと共に、記憶される(ブロック1007)。
次にコントローラは、近隣コントローラを識別する(ブロック1009)。一実施形態において、コントローラは、近隣を獲得するためにSA−OSPFのハロー・プロトコルを使用することができる。コントローラは、その近隣の領域又は近隣の従来型ルータ内の他のコントローラにハロー・パケットを送信し、次に他のコントローラ及び従来型ルータからハロー・パケットを受信する(ブロック1111)。ブロードキャスト及びポイント・ツー・ポイント・ネットワークでは、コントローラは、そのハロー・パケットをマルチキャスト・アドレスに送信することによって、その近隣領域内のコントローラ又は従来型ルータを動的に検出する。非ブロードキャスト・ネットワークでは、近隣コントローラを発見するために、いくつかの構成情報を提供することができる。
次にコントローラは、その新しく獲得された近隣コントローラのいくつかと共に、隣接の形成を試行することになる。リンク状態データベースは、隣接コントローラとLSAメッセージを交換すること(ブロック1115)によって、隣接コントローラのペア間で同期される(ブロック1113)。各LSAメッセージは、その外部リンク全体のコストを含む。コントローラは、近隣に接続しているリンクのコストをこの特定の近隣に送信するのみならず、リンクのコストをすべての近隣にも送信する。外部リンクのコストの送信に加えて、コントローラは内部リンクのコストも送信することになる。LSAメッセージは、2つの境界スイッチのSAスイッチIDを、2つの関連インターフェースIDと共に使用して構築することができる。コントローラは、リンク状態とも呼ばれるそのSA領域の状態を、定期的にアドバタイズすることができる。リンク状態は、領域の(コントローラの)状態が変化した場合にもアドバタイズされる。領域の隣接は、そのLSAの内容に反映される。この隣接とリンク状態との間の関係により、プロトコルが適時に障害を検出できるようになる。
LSAは、複数のSA領域にまたがってフラッディングされる。フラッディング・プロセスは信頼できるものであり、ネットワーク全体のすべてのコントローラが確実に同じリンク状態データベースを有することを保証する。このデータベースは、領域間トポロジ及び領域内トポロジの両方を含む各領域によって発信されたLSAの集合からなる。
各コントローラは、このリンク状態データベースから、それ自体をルートとして備えるネットワーク全体について最短パス・ツリーを計算する(ブロック1117)。次にこの最短パス・ツリーは、OSPFプロトコルに関するルーティング・テーブルを生み出す。コントローラはこのルーティング情報に基づき、計算された最短パスを使用して、SA領域を介してデータ・パケットをルーティングするように、そのSA領域内のスイッチをプログラミングする(ブロック1119)。スイッチの更新は、セキュア・チャネルを介する制御プレーン・プロトコル(例えばOpenFlow)を使用するか、又は同様のプロセスを使用して、達成可能である。
ネットワークに変化が生じた場合、コントローラによって更新リンク状態アドバタイズを送信することができる(ブロック1121)。LSAメッセージは、隣接するコントローラがそれらのルーティングを必要に応じて更新できるように、コントローラのSA領域内の変化を通知するために隣接のコントローラに送信される。
分割アーキテクチャOSPFは、従来型ルータがネットワーク内の他のルータには単一のルータのように見えるという点で、従来のOSPFとは異なる。しかしながらSA領域は、ネットワーク内の他の領域/ルータにはN個のルータのように見えることになり、ここでNは、領域の境界分割アーキテクチャ・スイッチの数である。相違は、従来のOSPFは領域あたり単一のルータ上で単一のプロセスを実行し、単一のルータのように見える一方で、SA−OSPFはSA領域の単一のコントローラ上で単一のプロセスを実行し、他のコントローラにはN個のルータのように見えるという点である。
一実施形態において、単一のSA−OSPFプロセスは、従来型ルータにおいてOSPFプロセスによって送信されるあらゆるハロー・パケットについて、N個の境界SAスイッチのそれぞれを表すために、N個の異なるハロー・パケットを送信する。これらのハロー・パケットは、他のルータ/SA領域に接続されたインターフェース上で送信される。同様に、単一のSA−OSPFプロセスは、従来型ルータにおいてOSPFプロセスによって送信されるあらゆるルータLSAパケットについて、N個の境界SAスイッチのそれぞれを表すために、N個の異なるルータLSAパケットを送信する。これらのLSAパケットは、他のルータ/SA領域に接続されたインターフェース上で送信される。
端的に言えば、SA領域に関するコントローラは、N個のOSPFコントローラ・プロセスを有するかのようにOSPFを管理し、ここでNは、SA領域内の境界分割アーキテクチャ・スイッチの数である。これにより、接続された従来型ルータ上で実行中のOSPFとの後方互換性を保証する。したがってコントローラは、N個のハロー・パケット、N個のLSAメッセージ等を送信する。従来型ネットワークにおいて同じ数のルータの場合、SA−OSPFは、分割アーキテクチャ・ネットワーク内で従来のOSPFに比べて少ない数のプロトコル・パケットを使用する。同じSA領域に属する境界SAスイッチ間でOSPFプロトコル・パケットを送信する必要がないことから、節約が生じる。
LSAメッセージ
図11は、OSPFリンク状態アドバタイズ・ヘッダ・フォーマットを示す図である。SA−OSPFに後方互換性があることを保証するために、標準OSPFメッセージ・フォーマットと同じフォーマット(すなわち、同じフィールド・シーケンス及びフィールド長さ)が使用される。しかしながら、いくつかのフィールドに対する値の割り当ては異なる可能性がある。
図12は、SA−OSPF LSAメッセージ、具体的に言えばルータLSAタイプ・メッセージを示す図である。ルータLSAは領域内の各スイッチによって生成される。これは、領域内の領域インターフェースの状態を記述する。このメッセージはすべてのコントローラによって発信される。このLSAは、複数ドメインSAネットワークへのルータのインターフェースの集合状態を記述する。これは、すべてのコントローラ全体にフラッディングされる。
一実施形態において、ルータLSAメッセージは、自己スイッチID、自己インターフェースID、近隣インターフェースID、及び近隣スイッチIDの、メッセージの4つのフィールドにおいて、従来型ルータLSAメッセージと異なる(図12に図示)。スイッチIDは、分割アーキテクチャ内の各スイッチに割り当てられる固有の32ビット識別子である。このIDは、複数領域SAドメイン内のすべてのスイッチの中で固有でなければならない。一実施形態において、スイッチの最高位IPアドレスがスイッチIDに使用される。自己スイッチIDはアドバタイズ・スイッチの識別子であり、近隣スイッチIDは近隣スイッチの識別子である。インターフェースIDは、スイッチの各インターフェースに割り当てられる32ビット識別子である。この識別子は単一のスイッチにおいてのみ固有であればよい。自己インターフェースIDはアドバタイズ・スイッチのインターフェースIDであり、近隣スイッチIDは(近隣スイッチの)近隣インターフェースのインターフェースIDである。
ハロー・メッセージの処理
OSPFハロー・プロトコルは、ルータが近隣ルータを伴う隣接を確立及び維持できるようにする機構である。隣接ルータはハロー・メッセージを交換する。ブロードキャスト及びポイント・ツー・ポイント・ネットワークにおいて、ルータは、ハロー・メッセージをマルチキャスト・アドレスに送信することによって、その近隣ルータを動的に検出することができる。ルータはハロー・パケットを受信すると、近隣内に隣接を形成する。リンク状態データベースは、隣接ルータのペア並びにルーティング更新間で同期される。隣接が確立された後、依然としてルータは、活動中であることを示すためにハロー・メッセージを定期的に交換する必要がある。要約すると、ハロー・メッセージの目的は、近隣関係を発見及び維持することである。
図13は、SA−OSPFにおけるハロー・メッセージを示す図である。SA−OSPFプロトコルにおいて、ハロー・メッセージは未変更とすることができる。しかしながら、分割アーキテクチャ・コントローラは、近隣ルータとそれに接続する分割アーキテクチャ・スイッチとの間で隣接を維持するために、追加のハロー・メッセージを構築する必要がある。
図14は、分割アーキテクチャ・コントローラと従来型ルータとの間で交換されるハロー・メッセージを示す図である。SA−OSPFにおいて、コントローラは、境界スイッチの代わりに第1にOSPFハロー・メッセージを構築する。これは、スイッチIDのフィールドで境界スイッチの最高位IPアドレスを使用する。パケットは第1にスイッチS1に投入され、その後、出口リンク上の隣接ルータに送信される。
このように、分割アーキテクチャ・ネットワークにおいてOSPFを実装するための方法、システム、及び装置を説明した。上記の説明は例示的であり、制約的ではないことが意図されることを理解されよう。当業者であれば、上記の説明を読み、これを理解することで、多くの他の実施形態が明らかとなろう。したがって本発明の範囲は、添付の特許請求の範囲、並びにこうした特許請求の範囲が権利を認められる等価物の全範囲を参照しながら、決定されるものとする。

Claims (16)

  1. 分割アーキテクチャ・ネットワークの複数の領域のうちの1つのための複数のコントローラのうちの1つとして機能するネットワーク要素内に実装される方法であって、前記コントローラは、前記分割アーキテクチャ・ネットワークの前記領域に制御プレーンを提供し、前記コントローラは、分割アーキテクチャ・ネットワークの前記領域にデータ・プレーンを提供する複数のスイッチからはリモートにあり、前記コントローラは、前記分割アーキテクチャ・ネットワークの他の領域の他のコントローラ、及び前記分割アーキテクチャ・ネットワークを含むネットワークの従来型ルータに、限定領域内リンク・コスト・データを提供することによって、前記分割アーキテクチャ・ネットワークの前記複数領域にまたがる最適化ルーティングを容易にするものであって、前記限定領域内リンク・コスト・データは、すべての内部リンク・コスト・データを提供することなく、前記コントローラの領域のそれぞれの可能な最短パスのトラバースに関するコストを提供し、
    前記コントローラの前記領域内の各境界スイッチを含む前記分割アーキテクチャ・ネットワーク内の前記コントローラの前記領域のトポロジを習得するステップであって、前記コントローラの前記領域内の各境界スイッチは、前記コントローラの前記領域を、前記分割アーキテクチャ・ネットワークの別の領域、又は前記ネットワーク内の前記従来型ルータのうちの1つにリンクさせる、少なくとも1つの外部ポートを有する、習得するステップと、
    前記コントローラの前記領域内の各境界スイッチ・ペア間の最短パスを計算するステップと、
    前記コントローラのルーティング・テーブル内の各境界スイッチ・ペア間の各最短パスのコストを記憶するステップと、
    前記分割アーキテクチャ・ネットワーク内の各近隣コントローラ又は前記ネットワーク内の近隣従来型ルータを、ハロー・プロトコルを使用して識別するステップであって、各近隣コントローラは、前記コントローラの前記領域の少なくとも1つの外部ポートを通じてアクセス可能な、前記分割アーキテクチャ・ネットワークの別の領域内のスイッチを制御する、識別するステップと、
    リンク状態データベースを各近隣コントローラ及び近隣従来型ルータと交換するステップであって前記リンク状態データベースは、各境界スイッチ・ペア間の各最短パスの前記コストを含む、交換するステップと、
    前記コントローラをツリーのルートとして備える前記ネットワークについて最短パス・ツリーを計算するステップと、
    前記最短パス・ツリーに従って転送を実装するために、前記コントローラの前記領域のスイッチ内の転送テーブルを更新するステップと、
    を含む、方法。
  2. 各近隣コントローラを識別するステップが、
    前記コントローラの前記領域の各外部ポートでハロー・パケットを送信するステップと、
    前記コントローラの前記領域の少なくとも1つの外部ポートを通じて、各近隣コントローラからハロー・パケットを受信するステップと、
    を更に含む、請求項1に記載の方法。
  3. リンク状態データを交換するステップが、各近隣コントローラにリンク状態アドバタイズを送信するステップを更に含み、前記リンク状態アドバタイズは前記コントローラの各外部リンクへのコストを含む、請求項1に記載の方法。
  4. リンク状態データを交換するステップが、各近隣コントローラにリンク状態アドバタイズを送信するステップを更に含み、前記リンク状態アドバタイズは、前記領域内の各境界スイッチ・ペアに関する前記最短パスの前記コストを含む、請求項1に記載の方法。
  5. 更新されたリンク状態データを各近隣コントローラにアドバタイズするステップを更に含む、請求項1に記載の方法。
  6. 前記更新リンク状態データをアドバタイズするステップが、更新されたリンク状態データを伴うリンク状態アドバタイズ・メッセージを各近隣コントローラに送信するステップを更に含む、請求項5に記載の方法。
  7. 転送テーブルを更新するステップが、OpenFlowプロトコルを使用して前記コントローラの前記領域内の各スイッチの転送テーブルを更新するステップを更に含む、請求項1に記載の方法。
  8. 前記コントローラでオープン・ショーテスト・パス・ファースト(OSPF)プロトコル・データ構造を開始するステップを更に含む、請求項1に記載の方法。
  9. 分割アーキテクチャ・ネットワークの複数の領域のうちの1つについての複数のコントローラのうちの1つとして機能する、ネットワーク要素であって、前記コントローラは、前記分割アーキテクチャ・ネットワークの前記領域に制御プレーンを提供し、前記コントローラは、前記分割アーキテクチャ・ネットワークの前記領域にデータ・プレーンを提供する複数のスイッチからはリモートにあり、前記コントローラは、前記分割アーキテクチャ・ネットワークの他の領域の他のコントローラ、及び前記分割アーキテクチャ・ネットワークを含むネットワークの従来型ルータに、限定領域内リンク・コスト・データを提供することによって、前記分割アーキテクチャ・ネットワークの前記複数領域にまたがる最適化ルーティングを容易にし、前記限定領域内リンク・コスト・データは、すべての内部リンク・コスト・データを提供することなく、前記コントローラの前記領域のそれぞれの可能な最短パスのトラバースに関するコストを提供し、
    ネットワークを介してデータを受信するように構成された入口モジュールと、
    前記ネットワークを介してデータを送信するように構成された出口モジュールと、
    前記入口モジュール及び前記出口モジュールに結合されたネットワーク・プロセッサであって、コントローラ・モジュール、トポロジ習得モジュール、最短パス計算モジュール、近隣発見モジュール、及びリンク状態管理モジュールを備える、モジュール・セットを実行するように構成される、ネットワーク・プロセッサと、
    前記トポロジ習得モジュールは、前記コントローラの前記領域内の各境界スイッチを含む前記分割アーキテクチャ・ネットワーク内の前記コントローラの前記領域のトポロジを決定するように構成され、各境界スイッチは、前記コントローラの前記領域を前記ネットワークの別の領域又は前記ネットワーク内の従来型ルータにリンクさせる、少なくとも1つの外部ポートを有し、
    前記コントローラ・モジュールは、前記分割アーキテクチャ・ネットワーク内のコントローラの前記領域に制御プレーン機能を提供するように構成され、
    前記最短パス計算モジュールは、近隣コントローラと共有することになる前記コントローラの前記領域内の各境界スイッチと前記従来型ルータとの間の最短パスを識別すること、及び、前記コントローラを前記ツリーのルートとして備える前記ネットワークについて最短パス・ツリーを計算することを、実行するように構成され、
    前記近隣発見モジュールは、ハロー・プロトコルを使用して前記ネットワーク内の各近隣コントローラ及び従来型ルータを識別するように構成され、
    前記リンク状態管理モジュールは、リンク状態データベースを、前記ネットワーク内の各近隣コントローラ及び従来型ルータと交換するように構成され、
    前記リンク状態データベースは、前記コントローラの前記領域内の各境界スイッチ・ペアの間の各最短経路のコストを含み、
    前記ネットワーク・プロセッサに通信可能に結合されたルーティング・テーブル記憶デバイスであって、前記コントローラの前記領域について、及び前記コントローラの前記領域の境界スイッチ間の、最短パス情報を含む、コントローラ・モジュールに関するルーティング・テーブルを記憶するように構成される、ルーティング・テーブル記憶デバイスと、
    を備える、ネットワーク要素。
  10. 前記近隣発見モジュールが、前記領域の各外部ポートでハロー・パケットを送信すること、及び、前記領域の少なくとも1つの外部ポートを通じて、各近隣コントローラからハロー・パケットを受信することを、実行するように構成される、請求項9に記載のネットワーク要素。
  11. 前記リンク状態管理モジュールが、各近隣コントローラにリンク状態アドバタイズを送信するように更に構成され、前記リンク状態アドバタイズは前記コントローラの各外部リンクへのコストを含む、請求項9に記載のネットワーク要素。
  12. 前記リンク状態管理モジュールが、各近隣コントローラにリンク状態アドバタイズを送信するように更に構成され、前記リンク状態アドバタイズは、前記コントローラの前記領域内の各境界スイッチ・ペアに関する前記最短パスの前記コストを含む、請求項9に記載のネットワーク要素。
  13. 前記リンク状態管理モジュールが、更新されたリンク状態データを各近隣コントローラにアドバタイズするように更に構成される、請求項9に記載のネットワーク要素。
  14. 前記リンク状態管理モジュールが、前記更新されたリンク状態データを伴うリンク状態アドバタイズ・メッセージを、各近隣コントローラに送信するように更に構成される、請求項9に記載のネットワーク要素。
  15. 前記コントローラ・モジュールが、前記OpenFlowプロトコルを使用して前記コントローラの前記領域内の各スイッチの転送テーブルを更新するように更に構成される、請求項9に記載のネットワーク要素。
  16. 前記最短パス計算モジュールが、前記コントローラでオープン・ショーテスト・パス・ファースト(OSPF)プロトコル・データ構造を開始するように更に構成される、請求項9に記載のネットワーク要素。
JP2014524465A 2011-08-11 2012-07-26 分割アーキテクチャ・ネットワークにおけるospfの実装 Active JP5973570B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/208,251 2011-08-11
US13/208,251 US8559314B2 (en) 2011-08-11 2011-08-11 Implementing OSPF in split-architecture networks
PCT/IB2012/053833 WO2013021304A1 (en) 2011-08-11 2012-07-26 Implementing ospf in split architecture networks

Publications (2)

Publication Number Publication Date
JP2014525692A JP2014525692A (ja) 2014-09-29
JP5973570B2 true JP5973570B2 (ja) 2016-08-23

Family

ID=46852324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014524465A Active JP5973570B2 (ja) 2011-08-11 2012-07-26 分割アーキテクチャ・ネットワークにおけるospfの実装

Country Status (10)

Country Link
US (2) US8559314B2 (ja)
EP (1) EP2742655B1 (ja)
JP (1) JP5973570B2 (ja)
KR (1) KR101956408B1 (ja)
CN (1) CN103718519B (ja)
AU (1) AU2012293358A1 (ja)
BR (1) BR112014001401A2 (ja)
CA (1) CA2844860A1 (ja)
IN (1) IN2014DN00162A (ja)
WO (1) WO2013021304A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL206455A (en) 2010-01-28 2016-11-30 Elta Systems Ltd Cellular communication system with moving base stations and methods and useful devices in collaboration with the above
WO2012070049A1 (en) 2010-11-24 2012-05-31 Elta Systems Ltd. Various routing architectures for dynamic multi-hop backhauling cellular network and various methods useful in conjunction therewith
SG10201509642XA (en) 2010-11-24 2015-12-30 Elta Systems Ltd Architecture and methods for traffic management by tunneling in moving hierarchical cellular networks
US9185027B2 (en) * 2011-07-29 2015-11-10 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for resilient routing of control traffic in a split-architecture system
US8804490B2 (en) 2011-07-29 2014-08-12 Telefonaktiebolaget L M Ericsson (Publ) Controller placement for fast failover in the split architecture
US8787388B1 (en) * 2011-08-29 2014-07-22 Big Switch Networks, Inc. System and methods for forwarding packets through a network
US8811212B2 (en) 2012-02-22 2014-08-19 Telefonaktiebolaget L M Ericsson (Publ) Controller placement for fast failover in the split architecture
US8830820B2 (en) * 2011-10-14 2014-09-09 Google Inc. Semi-centralized routing
US9185166B2 (en) * 2012-02-28 2015-11-10 International Business Machines Corporation Disjoint multi-pathing for a data center network
WO2013134937A1 (zh) * 2012-03-14 2013-09-19 华为技术有限公司 发送建立连接请求的方法、交换机、服务器及系统
US10015080B2 (en) * 2012-06-12 2018-07-03 Telefonaktiebolaget Lm Ericsson (Publ) Traffic recovery at interworking nodes
US10031782B2 (en) * 2012-06-26 2018-07-24 Juniper Networks, Inc. Distributed processing of network device tasks
JP6065011B2 (ja) * 2012-09-07 2017-01-25 日本電気株式会社 通信装置、通信方法、及び、プログラム
JP2015533049A (ja) * 2012-09-20 2015-11-16 株式会社Nttドコモ ネットワークにおけるトポロジ及びパス検証のための方法及び装置
US9100285B1 (en) 2012-12-18 2015-08-04 Juniper Networks, Inc. Dynamic control channel establishment for software-defined networks having centralized control
US9979595B2 (en) 2012-12-18 2018-05-22 Juniper Networks, Inc. Subscriber management and network service integration for software-defined networks having centralized control
US9094285B2 (en) * 2013-01-25 2015-07-28 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. Automatic discovery of multiple controllers in Software Defined Networks (SDNs)
JP5965335B2 (ja) * 2013-02-19 2016-08-03 日本電信電話株式会社 通信システム、及び経路制御方法
KR20140106235A (ko) * 2013-02-26 2014-09-03 한국전자통신연구원 오픈플로우 스위치 및 그 패킷 처리 방법
US9137174B2 (en) 2013-03-14 2015-09-15 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Synchronization of OpenFlow controller devices via OpenFlow switching devices
US9124506B2 (en) 2013-06-07 2015-09-01 Brocade Communications Systems, Inc. Techniques for end-to-end network bandwidth optimization using software defined networking
CN103391296B (zh) * 2013-07-29 2016-08-24 北京华为数字技术有限公司 一种控制器、转发器及通道建立方法和系统
US9219684B2 (en) * 2013-09-09 2015-12-22 Grigori Dzekon Methods and systems for packet delivery based upon embedded instructions
US9258210B2 (en) 2013-10-01 2016-02-09 Juniper Networks, Inc. Dynamic area filtering for link-state routing protocols
CN104580021B (zh) * 2013-10-17 2018-07-13 华为技术有限公司 一种配置点连接信息的获取方法及装置
WO2015061470A1 (en) * 2013-10-23 2015-04-30 Harshavardha Paramasiviah Internet protocol routing method and associated architectures
CN104579997B (zh) * 2013-10-28 2017-11-24 新华三技术有限公司 最短路径桥接网络中的转发路径确定方法及设备
US9225641B2 (en) 2013-10-30 2015-12-29 Globalfoundries Inc. Communication between hetrogenous networks
FI20136189L (fi) * 2013-11-27 2015-05-28 Tellabs Oy Verkkoelementti ja kontrolleri verkkoelementin hallitsemiseksi
US9397957B2 (en) * 2013-12-23 2016-07-19 Google Inc. Traffic engineering for large scale data center networks
US10380352B2 (en) * 2014-02-04 2019-08-13 International Business Machines Corporation Document security in enterprise content management systems
US9749214B2 (en) * 2014-02-26 2017-08-29 Futurewei Technologies, Inc. Software defined networking (SDN) specific topology information discovery
WO2015167479A1 (en) 2014-04-29 2015-11-05 Hewlett-Packard Development Company, L.P. Efficient routing in software defined networks
US9313663B2 (en) * 2014-08-21 2016-04-12 Futurewei Technologies, Inc. Automatic division of internet protocol radio access networks to interior gateway protocol areas
US9413646B2 (en) * 2014-08-25 2016-08-09 Nec Corporation Path selection in hybrid networks
CN104378287B (zh) * 2014-08-26 2018-02-09 新华三技术有限公司 一种拓扑计算方法和装置
CN104394083B (zh) * 2014-09-22 2017-12-15 华为技术有限公司 转发表项处理的方法、报文转发的方法及其装置和系统
US9634928B2 (en) * 2014-09-29 2017-04-25 Juniper Networks, Inc. Mesh network of simple nodes with centralized control
CN105704067B (zh) * 2014-11-27 2019-01-08 英业达科技有限公司 交换装置
US10091082B2 (en) 2014-11-28 2018-10-02 At&T Intellectual Property I, L.P. Methods and apparatus to capture data plane information
US9853874B2 (en) 2015-03-23 2017-12-26 Brocade Communications Systems, Inc. Flow-specific failure detection in SDN networks
US9912536B2 (en) 2015-04-01 2018-03-06 Brocade Communications Systems LLC Techniques for facilitating port mirroring in virtual networks
WO2016204662A1 (en) * 2015-06-16 2016-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for segment routing
CN105049351B (zh) * 2015-07-07 2019-08-16 上海斐讯数据通信技术有限公司 基于sdn的多链接透明互联算法
US9749401B2 (en) 2015-07-10 2017-08-29 Brocade Communications Systems, Inc. Intelligent load balancer selection in a multi-load balancer environment
KR101706337B1 (ko) * 2015-08-26 2017-02-13 성균관대학교산학협력단 소프트웨어 정의 네트워크 기반의 스위치 주도적 컨트롤러 선택 방법
CN105306365B (zh) * 2015-11-16 2018-04-27 国家电网公司 一种电力通信网络及其扩容与抗毁路由路径确定方法
CN105450447B (zh) * 2015-11-17 2018-05-18 上海斐讯数据通信技术有限公司 一种网络系统及网络运行方法
CN106209897B (zh) * 2016-07-28 2020-04-07 重庆邮电大学 一种基于代理的软件定义网络分布式多粒度控制器安全通信方法
JP6635138B2 (ja) * 2018-03-20 2020-01-22 日本電気株式会社 通信ノード、通信システム、更新方法及び更新プログラム
US11627069B2 (en) 2018-05-12 2023-04-11 Drivenets Ltd. Device and a system for OSPF cost metrics mirroring
US11349557B2 (en) 2018-11-30 2022-05-31 At&T Intellectual Property I, L.P. System model and architecture for mobile integrated access and backhaul in advanced networks

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099341B2 (en) * 2002-05-03 2006-08-29 International Business Machines Corporation Traffic routing management system using the open shortest path first algorithm
KR100612447B1 (ko) * 2004-02-16 2006-08-16 삼성전자주식회사 액세스 라우터의 망정보 관리 방법 및 그 액세스 라우터
KR100570821B1 (ko) * 2004-03-05 2006-04-12 삼성전자주식회사 분산구조 라우터에서 오에스피에프 프로토콜을 처리하는장치 및 그 방법
US8068408B2 (en) * 2004-11-01 2011-11-29 Alcatel Lucent Softrouter protocol disaggregation
WO2009042919A2 (en) * 2007-09-26 2009-04-02 Nicira Networks Network operating system for managing and securing networks
CN101188568A (zh) * 2007-12-18 2008-05-28 中兴通讯股份有限公司 路由交换设备
CN102308519B (zh) * 2009-02-19 2015-07-08 华为技术有限公司 适用于点至多点域间多协议标签交换流量工程路径计算的系统和方法
JP2010199882A (ja) * 2009-02-24 2010-09-09 Nec Corp 通信システム、経路計算装置、経路計算方法及びプログラム
US8102883B2 (en) * 2009-03-04 2012-01-24 Telefonaktiebolaget L M Ericsson (Publ) LDP IGP synchronization for broadcast networks
US9210065B2 (en) * 2009-06-22 2015-12-08 Alcatel Lucent Providing cloud-based services using dynamic network virtualization
EP2355423A1 (en) * 2010-01-29 2011-08-10 Deutsche Telekom AG System and method for routing data packets over an Internet Protocol network
US8700801B2 (en) * 2010-12-01 2014-04-15 Juniper Networks, Inc. Dynamically generating application-layer traffic optimization protocol maps

Also Published As

Publication number Publication date
US20140016477A1 (en) 2014-01-16
WO2013021304A1 (en) 2013-02-14
US8559314B2 (en) 2013-10-15
CN103718519A (zh) 2014-04-09
BR112014001401A2 (pt) 2017-02-21
CN103718519B (zh) 2016-08-17
US8976673B2 (en) 2015-03-10
US20130039214A1 (en) 2013-02-14
KR20140059795A (ko) 2014-05-16
JP2014525692A (ja) 2014-09-29
AU2012293358A1 (en) 2014-03-27
IN2014DN00162A (ja) 2015-05-22
CA2844860A1 (en) 2013-02-14
EP2742655A1 (en) 2014-06-18
KR101956408B1 (ko) 2019-03-08
EP2742655B1 (en) 2015-05-06

Similar Documents

Publication Publication Date Title
JP5973570B2 (ja) 分割アーキテクチャ・ネットワークにおけるospfの実装
KR102496586B1 (ko) 내부 게이트웨이 프로토콜 플러딩 최소화
JP6250825B2 (ja) データネットワークに最大冗長木(maximally redundant tree)をデプロイする方法およびシステム
CN1783843B (zh) 网络架构系统
EP3236619B1 (en) System and method for topology transparent zoning in network communications
CN113261245B (zh) 网络链路或节点故障的恢复系统和方法
TWI499237B (zh) 廣播網路之標籤分配協定與內部閘道協定同步化
US7334047B1 (en) Method and system for selective link state advertisement blocking over a data network area
US8174967B2 (en) Method to reduce routing convergence at the edge
EP2915294B1 (en) Multiple path availability between walkable clusters
US20150350062A1 (en) Efficient identification of node protection remote lfa target
RU2521092C2 (ru) Синхронизация ldp и igp для широковещательных сетей
CN104079481A (zh) 通过链路状态协议控制的以太网的ip转发
KR20130109141A (ko) 계층적 라벨 적층을 이용하여 ldp 컨버전스를 개선하기 위한 방법 및 장치
US11394638B2 (en) Method and apparatus for forwarding network traffic on maximally disjoint paths
US11627062B2 (en) Designated intermediate system (DIS) priority changing
Jain Creating scalable, efficient and namespace independent routing framework for future networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160714

R150 Certificate of patent or registration of utility model

Ref document number: 5973570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250