JP3633534B2 - 適応的ネットワーク負荷分散方式およびパケット交換装置 - Google Patents
適応的ネットワーク負荷分散方式およびパケット交換装置 Download PDFInfo
- Publication number
- JP3633534B2 JP3633534B2 JP2001267633A JP2001267633A JP3633534B2 JP 3633534 B2 JP3633534 B2 JP 3633534B2 JP 2001267633 A JP2001267633 A JP 2001267633A JP 2001267633 A JP2001267633 A JP 2001267633A JP 3633534 B2 JP3633534 B2 JP 3633534B2
- Authority
- JP
- Japan
- Prior art keywords
- queue
- load distribution
- processing
- route
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Description
【発明の属する技術分野】
本発明は、パケット交換型ネットワークにおける負荷分散方式およびパケット交換装置に関し、特に、ネットワーク層/インターネット層における負荷分散を行う負荷分散方式およびパケット交換装置に関する。
【0002】
【従来の技術】
現在、ストリーミングなどのリアルタイム性(等時性)が要求されるアプリケーションやマルチメディア(テキスト・音声・動画データなどの混在)を扱うアプリケーションの増加に伴い、そのトラフィックが急増している。特に、音声データに比べて、動画像データの伝送では広帯域を確保する必要があったり、また、ストリーミングでは、定常的な伝送速度を確保する必要があるなど、トラフィックの特性に応じたサービス品質の保証が要求される。
【0003】
しかし、基本的にベストエフォート型・コネクションレス型(IP)のネットワークであるインターネットにおいては、伝送遅延によるパケット到着時間の変動(ジッター)や、輻輳などによるパケット廃棄が発生してしまう。そこで、リアルタイム性が要求されるタイプのデータフローに対しては、伝送帯域を保証するなどのトラフィック制御を行うことによりサービスの保証を行うなどして対応している。
【0004】
このようなトラフィック制御を可能とするためには、ネットワーク構成要素のそれぞれが、その機能を持つプロトコルを実装する必要がある。さらに現状では、各通信ノードをネットワークのポリシーに沿って制御するネットワークサーバ(ポリシーサーバ)が必要となっている。しかし、そのネットワークサーバの性能などからネットワークのスケールが制限されてしまうという問題がある。また、そのようなネットワークの運用や設備導入のためにコストがかかるという問題がある。
【0005】
そこで、このような現状を踏まえ、各ノードにおいて、ネットワーク状況(負荷や障害、トポロジなど)に応じて適応的な経路設定を行って負荷分散を行うことにより、ネットワーク全体の輻輳緩和や回線使用効率の改善に寄与し、かつ、経路設定時のサービス品質を保証することのできる通信方式の実現が望まれる。また、その通信方式は、ネットワークにスケーラビリティ(scalability:拡張性)を持たせることが望まれる。
【0006】
ネットワーク層・インターネット層における経路制御の方式として静的ルーティング(static routing)がある。静的ルーティングを行うノードでは、ネットワーク障害時、あるいは、ネットワーク負荷分散を行う時、予め設定された経路に切り替えを行う。特に、ネットワーク負荷分散方式としては、ネットワークの負荷状況を考慮せずに、宛先または送信元アドレスなどの情報に基づきトラフィックを振り分けることにより、転送先ノードの負荷を軽減させる方式が一般的であった。
【0007】
上記従来の方式では、優先されるべき、あるいは、優先したいデータフローが輻輳などのネットワーク状況により廃棄されてしまう可能性があった。また、マルチメディアデータなどを経路切り替えによって振り分けるような場合、経路によって伝送遅延によりパケット到着時間に差異が発生するため、ユーザに対するサービス品質を保証することが困難であった。
【0008】
また、経路制御の方式としては、上記静的ルーティングとともに、動的ルーティング(dynamic routing)を用いることができる。動的ルーティングを行う従来方式として例えば、特開平5−130144号公報に開示された方式がある。この方式では、各ノードが隣接ノードとの間で回線障害などのネットワーク状況を検出し、検出した情報をもとにその都度、コスト(cost)が最小な経路を再計算により求めて経路選択を行う。しかし、この方式は、ノード間での局所的な経路変更(最短迂回経路選択)を行っているに過ぎないので、ネットワーク全体としての輻輳状態の緩和や回線使用効率の改善には至らない。
【0009】
また、特開2001−24699号公報は、複数のノードからネットワーク状態情報を収集し、対象ネットワーク全体として最適な経路選択情報を各ノードに対して送信する負荷分散サーバにより負荷分散を行うネットワーク負荷分散システムについて開示している。しかし、このシステムでは、前述の通り、負荷分散サーバの性能などによりネットワークのスケーラビリティが制限されるという問題がある。
【0010】
【発明が解決しようとする課題】
本発明は、かかる問題点に鑑みてなされたものであり、パケット交換型ネットワークにおいて、ルーティングあるいはスイッチを行うノードが、トラフィックのタイプや負荷や回線障害やトポロジなどのネットワーク状況に対して適応的に経路設定および負荷分散処理を行うことにより、ネットワーク全体の輻輳緩和や回線使用効率の改善に寄与し、かつ、経路設定時のサービス品質を保証でき、ネットワークにスケーラビリティを持たせることのできる適応的ネットワーク負荷分散方式およびパケット交換装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
かかる目的を達成するために、請求項1記載の発明は、パケット交換ネットワークにおけるルーティング処理を行う各ノードにおいて、入力側パケットバッファのキューに負荷分散閾値を設定し、パケット蓄積量が負荷分散閾値に達した場合、同タイプのキューの追加処理を行い、閾値超過分のパケットを追加キューにキューイングして廃棄の救済を行い、同時に、閾値超過フローについて、サービス品質要求を満たす分散経路を求め、分散経路への転送用のキューを出力側パケットバッファに確保し、超過フローの内の所定量を分散経路に対応する転送先アドレスにヘッダ更新してキューイングすることにより負荷分散処理を行うことを特徴としている。
【0012】
請求項2記載の発明は、請求項1記載の発明において、各ノードは、入力パケットのサービスクラス情報を識別し、転送処理における優先度への分類あるいはマッピングを行う手段と、入力側バッファおよび出力側バッファを優先度別のキューにより構成して管理する手段と、各ポートに対して設けられ、出力側バッファの各優先度別キューから所定の優先処理方針で蓄積パケットを取り出して転送スケジューリングを行うスケジューラ手段とをさらに有し、優先度別のフロー単位で負荷分散処理を行うことを特徴としている。
【0013】
請求項3記載の発明は、請求項1または2に記載の発明において、各ノードは、入力側バッファおよび出力側バッファにおいて、所定の最大メモリ量の範囲内で、蓄積パケット量および負荷分散閾値に応じてキュー追加処理および負荷分散処理を多重に行い、逆に、分散転送用キューを含む各追加キューにおいて蓄積パケット量がゼロになるとキューの削除処理を行ってメモリを開放することを特徴としている。
【0014】
請求項4記載の発明は、請求項2または3に記載の発明において、各ノードは、分散経路として、超過フローについてのサービス品質要求を満たす複数の経路が確保できる場合は、複数の分散経路に対して超過フローを振り分けて負荷分散処理を行うことを特徴としている。
【0015】
請求項5記載の発明は、請求項2または4に記載の発明において、各ノードは、各フローについてのサービス品質要求への対応として、宛先ノードまでの伝送遅延時間を所定方法により評価し、評価値に基づき分散経路の選定を行うことを特徴としている。
【0016】
請求項6記載の発明は、請求項5記載の発明において、各ノードは、宛先ノードまでの伝送遅延時間の評価方法として、ホップ数を用いることを特徴としている。
【0017】
請求項7記載の発明は、請求項5記載の発明において、各ノードは、隣接ノード間で、制御パケットの授受によりリンクの伝送遅延時間を測定して交換しあうことにより、宛先ノードまでの伝送遅延時間を評価し、評価値に基づき分散経路の選定を行うことを特徴としている。
【0018】
請求項8記載の発明は、請求項1から8のいずれか1項に記載の発明において、各ノードは、リンクについて物理的あるいは論理的な回線障害の検出およびその復旧の検出を行い、障害検出時は、障害のあるリンクへの転送を停止し、リンクに転送予定のフローについて、サービス品質要求を満たす切り替え経路を求め、経路に対応する転送用キューを出力側バッファに確保し、ルーティングテーブルを更新し、切り替え先経路へのヘッダ書き換えを行ってキューイングし、元のキューは削除することにより回線障害対応処理を行い、また、障害復旧検出時は、復旧したリンクについて、対応するキューを再構成し、ルーティングテーブルを更新して転送を再開することにより自動的な回線切り戻しを行うことを特徴としている。
【0019】
請求項9記載の発明は、ルーティング処理を行うパケット交換装置であって、入力パケットについてルーティング処理および転送先解決を行うヘッダ処理手段と、負荷分散閾値の設定されたキューにより構成される入力バッファ手段と、入力バッファ手段からの出力の抑制を行うための出力制御信号のオン/オフを行う閾値が設定されたキューにより構成される出力バッファ手段と、入力バッファ手段の蓄積パケットについて、出力バッファ手段へ、転送先に応じてスイッチを行うスイッチ手段と、宛先ノードへの経路について、分散経路の候補を所定の評価方法により求めてテーブルに保持する手段と、入力側キューにおいてパケット蓄積量が負荷分散閾値に達した場合、同タイプの追加キューの追加処理を行い、閾値超過分のパケットを追加キューにキューイングして廃棄の救済を行う手段と、キュー追加処理と同時に、閾値超過フローについて、サービス品質要求を満たす分散経路をテーブルから求め、分散経路への転送用のキューを出力バッファ手段内に確保し、フローの内の所定量を分散経路に対応する転送先アドレスにヘッダ更新してキューイングする手段とを有することを特徴としている。
【0020】
請求項10記載の発明は、請求項9記載の発明において、入力パケットのサービスクラス情報を識別し、転送処理における優先度への分類あるいはマッピングを行う手段と、入力バッファ手段および出力バッファ手段を優先度別のキューにより構成して管理する手段と、各ポートに対して設けられ、出力バッファ手段の各優先度別キューから所定の優先処理方針でパケットを取り出して転送スケジューリングを行うスケジューラ手段とをさらに有し、優先度別のフロー単位で負荷分散処理を行うこと請求項記載の発明において、を特徴としている。
【0021】
請求項11記載の発明は、請求項9または10に記載の発明において、入力バッファ手段および出力バッファ手段において、所定の最大メモリ量の範囲内で、蓄積パケット量および負荷分散閾値に応じてキュー追加処理および負荷分散処理を多重に行い、逆に、分散転送用キューを含む各追加キューにおいて蓄積パケット量がゼロになるとキューの削除処理を行ってメモリを開放することを特徴としている。
【0022】
請求項12記載の発明は、請求項10または11に記載の発明において、分散経路として、超過フローについてのサービス品質要求を満たす複数の経路が確保できる場合は、複数の分散経路に対して超過フローを振り分けて負荷分散処理を行うことを特徴としている。
【0023】
請求項13記載の発明は、請求項10から12のいずれか1項に記載の発明において、各フローについてのサービス品質要求への対応として、宛先ノードまでの伝送遅延時間を所定方法により評価し、評価値に基づき分散経路の選定を行うことを特徴としている。
【0024】
請求項14記載の発明は、請求項13記載の発明において、宛先ノードまでの伝送遅延時間の評価方法として、ホップ数を用いることを特徴としている。
【0025】
請求項15記載の発明は、請求項13記載の発明において、隣接ノード間で、制御パケットの授受によりリンクの伝送遅延時間を測定して交換しあうことにより、宛先ノードまでの伝送遅延時間を評価してネットワーク状況を把握する手段をさらに有し、評価値に基づき分散経路の選定を行うことを特徴としている。
【0026】
請求項16記載の発明は、請求項9から15のいずれか1項に記載の発明において、リンクについて物理的あるいは論理的な回線障害の検出およびその復旧の検出を行って通知する回線障害検出手段をさらに有し、回線障害検出時は、障害のあるリンクへの転送を停止し、リンクに転送予定のフローについて、サービス品質要求を満たす切り替え経路をテーブルから求め、経路に対応する転送用キューを出力バッファ手段内に確保し、ルーティングテーブルを更新し、切り替え先経路へのヘッダ書き換えを行ってキューイングし、元のキューは削除することにより回線障害対応処理を行う手段と、障害復旧検出時は、復旧したリンクについて、対応するキューを再構成し、ルーティングテーブルを更新して転送を再開することにより自動的な回線切り戻しを行う手段とをさらに有することを特徴としている。
【0027】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【0028】
図1は、本発明の実施の形態におけるパケット交換装置の構成を示す機能ブロック図である。本装置は、ヘッダ処理部10と、サービスクラス処理部20と、入力バッファ部30と、入力バッファ監視部40と、スイッチ部50と、スイッチ制御部60と、出力バッファ部70と、出力バッファ監視部80と、スケジューラ部90と、中央制御部100と、回線障害検出部110と、ルーティングテーブル120とを含んで構成される。
【0029】
本装置は、パケット交換型のネットワークにおける通信ノードであり、特に、経路制御(ルーティング)処理をメインとしてネットワーク層以下の処理を主に行うものである。一般的には、ルータ、L3スイッチなどと呼ばれる装置である。本装置は、パケットを入力し、パケットのヘッダ(IPヘッダ)内の宛先アドレスなどの情報と自身の管理するルーティングテーブルとを参照してルーティング処理および転送先解決を行い、転送先ノード(次ノード、次ホップ)へ出力する標準的なルーティング機能を備える。
【0030】
なお当然ながら、本装置は、接続されるリンク(回線)の数Nに応じた、N個の入出力ポート・回線I/Fボードを有するが、図1では、省略して1つの入出力ポートについてまとめた形で示している。
【0031】
中央制御部100は、所定のルーティングプロトコルの実装に基づきルーティングテーブル120を管理し、装置全体の制御を行う。また、入力バッファ監視部40および出力バッファ監視部80を通じて、入力バッファ部30および出力バッファ部70内のキューの閾値の設定を制御する(後述)。
【0032】
本発明では、各ノードにおいてネットワークの状況に応じて適応的に負荷分散処理を行うネットワーク負荷分散方式を提供する。この方式での通信ノードとなる本パケット交換装置は、サービスクラス処理部20において、パケットヘッダ内のサービスタイプ(Type of service ;(IPv4))、トラフィッククラス(Traffic class ;(IPv6))などのサービスクラス情報を参照し、パケットを「優先クラス(優先度)」へ分類あるいはマッピングする。「優先クラス」とは、本装置でのパケット転送処理の優先度を示す指標であり、高い優先度を持つパケット程、優先的に次ノードへの転送処理を施される。
【0033】
入力バッファ部30および出力バッファ部70は、この優先クラスに対応したキューから構成されており、優先クラスのマーキングがなされた各パケット(フロー)は、その優先クラスを識別されて、優先クラス別に各キューにキューイングされる。出力側のスケジューラ部90では、パケットについてこの優先クラスを識別して、所定の処理方針で、出力ポートにおける転送スケジューリング処理を行う。スケジューリングの方針として、例えば、各優先クラスを持つキューから、各優先クラスに対して予め設定された重み付け値(:処理量の割合を決定する値)でパケットを取り出し、出力ポートに出力する。
【0034】
ヘッダ処理部10は、入力パケットのヘッダ情報を処理する。ヘッダ処理部10は、ルーティングテーブル120の一部をフォワーディングテーブル(転送用キャッシュ)として有している。ヘッダ処理部10は、入力パケットについて、ヘッダ情報およびフォワーディングテーブルを参照して転送先を決定し、転送先アドレスに基づいてヘッダ情報の更新を行う。また、フォワーディングテーブルにより転送先が解決しない場合は、ルーティングテーブル120を参照して解決を行い、フォワーディングテーブルを更新するなどの処理を行う。
【0035】
サービスクラス処理部20は、入力パケットについて、ヘッダ情報を参照・識別して、転送処理における優先クラスnへの分類あるいはマッピングを行う。参照するヘッダ情報としては、サービスタイプ、トラフィッククラスなどが考えられる。優先クラスの決定の仕方としては、予め、ヘッダ情報と優先クラスとを対応させるテーブルを作成しておき、それに基づいてマッピングを行うなどの方法が考えられる。
【0036】
入力バッファ部30および出力バッファ部70は、所定の最大メモリサイズ内で、優先クラス別のキューによって構成される。図2に入力バッファ部30の基本構成を示す。また、図3に出力バッファ部70の基本構成およびスケジューラ部90を示す。入力側において、各パケットは、サービスクラス処理部20によって優先クラスnに分類されてから、対応する優先クラスnを持つキューqnにキューイングされる。図2および図3では、優先クラスnとして、3つの優先度、高・中・低(h・m・l)を設けた例を示している。優先クラスは、より詳細に設けても良い。
【0037】
入力バッファ部30および出力バッファ部70では、フロー単位で各クラスのキューqnへのキューイング処理を扱う。フローは、送信元アドレス、宛先アドレス、あるいはフロー識別子などのヘッダ情報から識別される。例えば、1まとまりのストリーミングデータなどは1フローとする。また、各キューは、複数のフローを扱うことができる構成とする。
【0038】
図2および図3では、入力バッファおよび出力バッファは、回線I/F・入出力ポートに関係なく概念的に1つにまとめて示してあるが、ハードウェア的な構成としては、回線I/Fごとに各バッファを持つ構成でも良い。入力バッファxおよび出力バッファxは、初期構成として、各優先クラスnに対応した基本キューqn1(高優先キューh1〜低優先キューl1)により構成される。
【0039】
入力バッファ部30の各クラス別キューqnから出力される各クラス別パケット(i_n)は、それぞれスイッチ部50へ入力される。スイッチ部50は、スイッチ制御部60による制御に基づき、各パケットをその転送先アドレス/転送先ポートに応じてスイッチし、転送先に対応する出力バッファ部70へ送る(o_n)。
【0040】
図3において、出力バッファxは、リンク数Nの内の1つの出力ポート#xに対応して構成されているものとする。スイッチ部50から出力されたパケット(o_n)は、その転送先xに対応する出力バッファxに入力される。出力バッファ部70では、入力バッファ部30での場合と同様、各パケット(フロー)を、優先クラスnに応じて各優先クラス別キューqnにキューイングする。スケジューラ部90は、出力ポート#1〜Nごとに設けられたスケジューラポート#xから成る。スケジューラポート#xは、出力バッファxから、所定の優先処理方針でパケットxn(xh〜xl)を取り出し、出力ポート#xに出力する。
【0041】
本ネットワーク負荷分散方式および装置では、極力、パケットの廃棄を起こさない仕組みを提供する。そのために、各バッファにおいて、蓄積パケットの量に応じて、柔軟にキューの追加および削除処理を行う。また、超過分のフローについて、経路切り替えを行って負荷分散処理を行う。以下、その仕組みについて説明する。
【0042】
入力バッファ部30において、各キューqnは、それぞれ、負荷分散閾値Th(Th_n)を持つ。この閾値Thは、中央制御部100により、入力バッファ監視部40を通じてその設定が行われる。入力バッファ監視部40は、各キューおよび閾値Thを監視・制御する。
【0043】
また、出力バッファ部70において、各キューqnは、それぞれ、出力制御信号snを出力するための閾値Ths(Ths_n)を持つ。この閾値Thsは、中央制御部100により、出力バッファ監視部40を通じてその設定が行われる。出力バッファ監視部40は、各キューおよび閾値Thsを監視・制御する。
【0044】
出力バッファ部70側のあるキューqnにおいて、蓄積パケット量が閾値Ths_nに達すると、対応する優先クラスの出力制御信号sn(図3では、sh、sm、sl)が入力バッファ部30の対応する優先クラスnのキューqnに対して出力される。入力バッファ部30では、出力制御信号snにより、パケット出力i_nが制御される。つまり、出力制御信号がONの場合、パケット出力i_nを一時停止して出力バッファ側への出力を抑制し、出力側バッファのオーバーフローを防ぐ。
【0045】
ネットワークの輻輳(回線障害を含む)が発生すると、出力側バッファにおいて蓄積されるパケット量が増加する。従来の装置における対応処理の例を述べると、まず、出力側バッファにおいて、蓄積パケット量がバッファサイズの上限に達し、それ以上蓄積できなくなると、出力制御信号を入力バッファ側に出力して入力バッファからのパケット出力を抑制する。そして、輻輳が納まらず入力バッファ側においてもパケットを蓄積できなくなると、廃棄閾値によりパケットの廃棄を開始することになる。
【0046】
本装置では、入力バッファ部30の各キューに、廃棄閾値とは別に負荷分散閾値Thを設け、輻輳時には、廃棄の救済および負荷分散処理を行う。以下、図5を参照しながら本方式および装置における輻輳時の動作について説明する。図5・aにおいて、ネットワークの輻輳(回線障害を含む)により、例えば、出力ポート#xの転送が滞り、出力バッファxの内、例えば、優先クラスhのキューqh1において、蓄積パケット量が閾値Ths_hに達すると、その優先クラスhに対応する出力制御信号shが入力バッファ部30の対応する優先クラスhのキューqh1に対し出力される(出力制御信号オン)。入力バッファからの出力i_hは、出力バッファ部70からの上記出力制御信号shにより抑制される。
【0047】
図5・bにおいて、輻輳が継続し、入力バッファ部30のキューqh1においても蓄積パケット量が負荷分散閾値Th_hに達すると、まず、同一の優先クラスhのキューqh2の追加処理を行って超過分のフローをキューし、パケット廃棄を救済する。図4に入力バッファ部30におけるキューの追加構成の様子を示す。廃棄救済後、そのクラスhのキュー内のフローについて、負荷分散処理を開始する。
【0048】
負荷分散処理として、まず、分散対象フローについて、負荷分散先の経路・転送先を求める。中央制御部100は、分散先経路の選択のために、宛先ノードへの経路について所定方法で評価を行っておく。例えば、ホップ数、コストなどの所定のメトリックを用いる。中央制御部100は、随時、標準ルーティング用の経路と共に、分散用の経路の候補を求めてテーブルに格納しておく。分散処理時には、このテーブルを参照し、分散経路・転送先を決定する。
【0049】
また、中央制御部100は、分散対象フローについて、その要求されているサービス品質(伝送遅延の品質など)を満たす分散経路を求めねばならない。フローにおいて、サービス品質の要求は、サービスクラス情報に反映されている。中央制御部100は、分散経路を求める際、フローについてのサービスクラス情報またはそれに対応する優先クラスを考慮した分散経路の選定を行う。例えば、各優先クラスごとに、元の経路と分散先経路との間での経路の評価値の差の許容値を予め設定しておき、この許容値以内に納まる経路を分散先の候補とする方法が考えられる。
【0050】
負荷分散の1つの方法として、中央制御部100は、条件を満たす分散先候補を1つだけ選択する。この方法では、元の経路に比して最も評価値の差が小さい経路を選択する。中央制御部100は、分散先候補を求めると、その出力ポートにおいて帯域が確保できるかどうか確認する。分散用の帯域が確保できる場合、負荷分散を行うことが決定する。確保できない場合、他の分散先候補を検討する。
【0051】
分散対象フローについて分散転送先が決定すると、次に、出力バッファ側に、入力側の構成に追随させて分散転送用の入力側と同一優先クラスのキューを構成する。そして、分散処理に対応したルーティングテーブル120の更新処理を行い、ヘッダ処理部10において、対象フローについて新たな転送先アドレスへのヘッダ書き換え処理を行う。ヘッダの書き換えられたパケット(フロー)を対応するキューにキューイングする。分散されたフローは、分散経路を経由して宛先ノードへ送信される。
【0052】
また、分散転送用キューにも、出力側初期キューと同様、出力制御信号用の閾値Thsが設定される。分散転送用キューにおいてもパケットが閾値Thsに達する場合、前述の処理同様の流れで出力抑制処理、負荷分散処理などが行われる。
【0053】
また、別の方法として、中央制御部100は、条件を満たす分散先候補を全て(複数)選択する。中央制御部100は、分散先候補について、その帯域が確保できるかどうか確認し、確保できる分散先に対して負荷分散を行うことを決定する。そして、出力バッファ側に分散転送用のキューを追加構成し、ルーティングテーブル120の更新処理を行い、ヘッダ処理部10において、対象フローについて、複数の分散先への振り分けを行う。ヘッダ処理部10では、各分散先に対応した転送先アドレスへのヘッダ書き換え処理を行い、対応するキューにキューイングする。各分散フローは、各分散経路を経由して宛先ノードへ送信される。
【0054】
追加キューqn2は、初期キューqn1と同様に閾値Thを持つ。ネットワークの輻輳状態が緩和されず、引き続き出力制御信号snが入力バッファ側に入力されることにより、入力側の追加キューqn2においても、蓄積パケット量が負荷分散閾値Th_nに達する場合、バッファの備える所定の最大メモリサイズが許す範囲内で、同一優先クラスnのキュー(qn3〜)の追加処理を順次、同様に行ってゆく。
【0055】
また、本装置では、各バッファにおいて、蓄積パケット量が閾値Thを下回ることをもって自律的に輻輳の収束・回復を判断する。そして、空になった追加キューについては、順次、削除処理を行ってメモリを開放する。図6に追加キューの削除処理の例について示す。負荷分散処理後、転送の滞っていた出力側キューqh1で転送が進み、蓄積パケット量が出力制御信号出力用の閾値Ths_hを下回ることにより出力制御信号shがオフになると、入力バッファ側からの出力i_hが再開される。また、負荷分散先#yへの転送が進み、入力側において、追加キューqh2の蓄積パケットが空になると、追加キューの削除処理を行う。同様に、追加キューqn3〜についても、蓄積パケットが空になったら順次削除して、他の優先クラスのキューのためにメモリを開放する。
【0056】
回線障害検出部110は、リンク(回線)について、物理的または論理的な回線障害について検出を行う。また、検出した回線状態を中央制御部100へ通知する。中央制御部100は、この通知に基づき、障害があるリンクに転送予定のフローについては、他の出力ポートの帯域が確保できるかどうか確認してから、障害時の対応処理としての経路切り替え処理を行う。つまり、中央処理部100においてルーティングテーブル120を参照しながら切り替え経路を決定し、切り替え先ポートの帯域が確保できる場合は、ルーティングテーブル120の更新を行い、ヘッダ処理部10で切り替え転送先アドレスに応じてヘッダ書き換え処理を行って、対応するキューへキューイングする。転送先出力ポートの帯域が確保できない場合は、接続を切断する。
【0057】
また、回線障害検出部110は、回線障害のあるリンクについては、ルーティングテーブル120の更新を行い、障害が復旧するまで、対応する出力バッファへの蓄積を禁止する(対応するキューの削除を行う)。また、障害復旧を検出した場合、禁止(削除)されていた出力バッファを再構成し、ルーティングテーブル120を書き換えてそのリンクへの出力を再開することにより、回線の切り戻しを自動的に行う。
【0058】
図7は、本発明の実施の形態におけるネットワーク負荷分散方式およびパケット交換装置での主要な制御を示すフローチャートである。入力バッファ部30において、蓄積パケット量が負荷分散閾値Thを越えない範囲では(ステップS1・NO)、通常ルーティングを行う(ステップS2)。
【0059】
入力バッファ部30において、蓄積パケット量が負荷分散閾値Thに達した場合(ステップS1・NO)、中央制御部100は、その要因が回線障害でないかどうか確認し(ステップS3)。回線障害でない場合(ステップS3・YES)、前述の負荷分散処理を行う(ステップS4)。
【0060】
図8は、負荷分散処理について示すフローチャートである。まず、対象フローについて、要求されているサービス品質を満たす分散先経路の候補を1つあるいは複数求める(ステップS41)。そして、分散先候補について、出力ポートの帯域が確保できるかどうか確認する(ステップS42)。帯域確保できない経路・転送先については候補から落とす。帯域確保できる経路・転送先を負荷分散先として決定する。次に、出力側バッファに分散出力用のキューを構成する(ステップS43)。そして、分散処理に対応させてルーティングテーブル120を更新し(ステップS44)、ヘッダ処理部10で、対象フローについて、分散先ごとに、対応する転送先アドレスへのヘッダ書き換え処理を行い(ステップS45)、対応するキューに再キューイングする(ステップS46)。各分散フローは、各分散経路を経由して宛先へ届けられる。分散出力キューにおいても輻輳によりパケットが閾値に達する場合、前述の仕組みにより同様に分散先が確保できる限りは負荷分散処理が繰り返される。
【0061】
図7において、回線障害がある場合(ステップS3・NO)、その回線ポートに転送予定のパケットについて、回線障害時の対応としての経路切り替え処理を行うために、他の出力ポートの帯域が確保できるかどうか調べる(ステップS5)。他出力ポートの帯域が確保できる場合(ステップS5・YES)、経路切り替え処理を行う(ステップS6)。つまり、切り替え経路を求め、ルーティングテーブル120を更新し、対象パケットについてヘッダ処理部10においてヘッダ書き換え処理を行って対応するキューにキューイングする。他出力ポートの帯域が確保できない場合(ステップS5・NO)、接続をリジェクト(切断)する(ステップS7)。
【0062】
次に、本発明の他の実施の形態について説明する。第2の実施例におけるネットワーク負荷分散方式およびパケット交換装置では、各ノードが、ネットワークの状況を能動的に把握する。図9に第2の実施例のパケット交換装置のブロック構成を示す。第2の実施例におけるパケット交換装置は、第1の実施例における装置の備える構成要素に加え、ネットワーク情報取得部130をさらに備える。
【0063】
ネットワーク情報取得部130は、ルーティングテーブル120に基づき、所定の周期であるいは随時、隣接ノードに対して、ネットワーク状況を把握するための制御用最小パケットを生成して送信(ブロードキャスト)する。図10にその様子を示す。隣接ノードは、その要求パケットを受信し、リンクにおける伝送遅延時間が測定される。隣接ノードは、そのリンク伝送遅延時間情報と、自ノードの持っているネットワーク情報(ネットワークの他ノードから取得した他リンクについての伝送遅延時間情報を含む)を応答パケットとして返送する。各ノードは、ネットワークの他のノードから隣接ノード間の授受によって取得されるリンク伝送遅延時間情報を総合して、宛先ノードへの伝送遅延時間の評価値としてルーティングテーブル120に反映する。これにより、本装置(各ノード)は、ネットワーク状況、特に伝送遅延について把握することができる。図11にルーティングテーブル120の例を示す。
【0064】
中央制御部100は、ネットワーク情報取得部130が能動的に取得した伝送遅延時間などのネットワーク情報に基づき、随時、ルーティングテーブル120を再構築する。本装置は、負荷分散処理時あるいは回線障害の際の経路切り替え処理時には、ルーティングテーブル120内の伝送遅延時間情報を参照して、分散先経路あるいは切り替え経路の評価・決定を行う。その際は、対象フローについて要求されている伝送遅延の品質を満たす経路・転送先を候補として求める。品質の評価処理として、例えば、優先クラスnごとに、満たすべき品質条件を設定する。例えば、高優先クラスhでは、元の経路と分散先経路との伝送遅延時間の差は何ミリセコンドを許容値とするなどのように設定する。そして、第1の実施例における処理と同様に、転送先への帯域が確保できると、ルーティングテーブル120の更新およびヘッダ処理部10におけるヘッダ書き換え処理を行い、転送先に対応する優先クラス別キューにキューイングする。
【0065】
以上により本発明について説明した。なお、上述した実施形態は、本発明の好適な実施形態の一例を示すものであり、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。
【0066】
【発明の効果】
以上の説明から明らかなように、本発明によれば、各ノードにおいて、パケットバッファに設定された負荷分散閾値により、蓄積パケット量に応じたバッファの追加処理を行って廃棄を救済し、同時に要求されているサービス品質を満たす経路への負荷分散処理を行うことにより、輻輳などのネットワーク状況に対して自律的・適応的に対応してネットワーク負荷分散を行い、ネットワーク全体の帯域と、装置内部のリソースを有効利用することができる。また、回線障害時も同様に、経路切り替えとその切り戻しを適応的に行うことができる。
【0067】
また、各種トラフィックのタイプに対して、優先度スケジューリング処理により対応し、要求されている伝送遅延時間品質などのサービス品質を満たしながら負荷分散処理を行うことができる。
【0068】
また、各ノードで、自律的・適応的なルーティングおよび負荷分散処理を行うので、ネットワークサーバを必要とせず、ネットワークにスケーラビリティを持たせることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態におけるパケット交換装置の構成を示す機能ブロック図である。
【図2】入力バッファ部30の基本構成を示す図である。
【図3】出力バッファ部70の基本構成およびスケジューラ部90を示す図である。
【図4】入力バッファ部30におけるキューの追加構成について示す図である。
【図5】キューの追加処理および負荷分散処理について示す図である。
【図6】追加キューの削除処理について示す図である。
【図7】本発明の実施の形態における適応的ネットワーク負荷分散方式およびパケット交換装置での主要な制御を示すフローチャートである。
【図8】負荷分散処理についてのフローチャートである。
【図9】本発明の第2の実施の形態におけるパケット交換装置の構成を示すブロック図である。
【図10】ネットワーク情報取得部130によるネットワーク状況の把握について示す図である。
【図11】ルーティングテーブル120の例を示す図である。
【符号の説明】
10 ヘッダ処理部
20 サービスクラス処理部
30 入力バッファ部
40 入力バッファ監視部
50 スイッチ部
60 スイッチ制御部
70 出力バッファ部
80 出力バッファ監視部
90 スケジューラ部
100 中央制御部
110 回線障害検出部
120 ルーティングテーブル
130 ネットワーク情報取得部
Claims (16)
- パケット交換ネットワークにおけるルーティング処理を行う各ノードにおいて、
入力側パケットバッファのキューに負荷分散閾値を設定し、パケット蓄積量が該負荷分散閾値に達した場合、同タイプのキューの追加処理を行い、前記閾値超過分のパケットを該追加キューにキューイングして廃棄の救済を行い、同時に、該閾値超過フローについて、サービス品質要求を満たす分散経路を求め、該分散経路への転送用のキューを出力側パケットバッファに確保し、前記超過フローの内の所定量を前記分散経路に対応する転送先アドレスにヘッダ更新してキューイングすることにより負荷分散処理を行うことを特徴とする適応的ネットワーク負荷分散方式。 - 前記各ノードは、
入力パケットのサービスクラス情報を識別し、転送処理における優先度への分類あるいはマッピングを行う手段と、
前記入力側バッファおよび出力側バッファを前記優先度別のキューにより構成して管理する手段と、
各ポートに対して設けられ、前記出力側バッファの各優先度別キューから所定の優先処理方針で蓄積パケットを取り出して転送スケジューリングを行うスケジューラ手段と、をさらに有し、
前記優先度別のフロー単位で前記負荷分散処理を行うことを特徴とする請求項1記載の適応的ネットワーク負荷分散方式。 - 前記各ノードは、
前記入力側バッファおよび出力側バッファにおいて、所定の最大メモリ量の範囲内で、蓄積パケット量および前記負荷分散閾値に応じて前記キュー追加処理および前記負荷分散処理を多重に行い、逆に、前記分散転送用キューを含む各追加キューにおいて蓄積パケット量がゼロになると該キューの削除処理を行ってメモリを開放することを特徴とする請求項1または2に記載の適応的ネットワーク負荷分散方式。 - 前記各ノードは、
前記分散経路として、前記超過フローについてのサービス品質要求を満たす複数の経路が確保できる場合は、該複数の分散経路に対して前記超過フローを振り分けて負荷分散処理を行うことを特徴とする請求項2または3に記載の適応的ネットワーク負荷分散方式。 - 前記各ノードは、
各フローについてのサービス品質要求への対応として、宛先ノードまでの伝送遅延時間を所定方法により評価し、該評価値に基づき前記分散経路の選定を行うことを特徴とする請求項2から4のいずれか1項に記載の適応的ネットワーク負荷分散方式。 - 前記各ノードは、
前記宛先ノードまでの伝送遅延時間の評価方法として、ホップ数を用いることを特徴とする請求項5記載の適応的ネットワーク負荷分散方式。 - 前記各ノードは、
隣接ノード間で、制御パケットの授受によりリンクの伝送遅延時間を測定して交換しあうことにより、前記宛先ノードまでの伝送遅延時間を評価し、該評価値に基づき前記分散経路の選定を行うことを特徴とする請求項5記載の適応的ネットワーク負荷分散方式。 - 前記各ノードは、
リンクについて物理的あるいは論理的な回線障害の検出およびその復旧の検出を行い、障害検出時は、障害のあるリンクへの転送を停止し、該リンクに転送予定のフローについて、サービス品質要求を満たす切り替え経路を求め、該経路に対応する転送用キューを出力側バッファに確保し、ルーティングテーブルを更新し、前記切り替え先経路へのヘッダ書き換えを行ってキューイングし、元のキューは削除することにより回線障害対応処理を行い、また、障害復旧検出時は、復旧したリンクについて、対応するキューを再構成し、ルーティングテーブルを更新して転送を再開することにより自動的な回線切り戻しを行うことを特徴とする請求項1から7のいずれか1項に記載の適応的ネットワーク負荷分散方式。 - ルーティング処理を行うパケット交換装置であって、
入力パケットについてルーティング処理および転送先解決を行うヘッダ処理手段と、
負荷分散閾値の設定されたキューにより構成される入力バッファ手段と、
該入力バッファ手段からの出力の抑制を行うための出力制御信号のオン/オフを行う閾値が設定されたキューにより構成される出力バッファ手段と、
前記入力バッファ手段の蓄積パケットについて、前記出力バッファ手段へ、転送先に応じてスイッチを行うスイッチ手段と、
宛先ノードへの経路について、分散経路の候補を所定の評価方法により求めてテーブルに保持する手段と、
前記入力側キューにおいてパケット蓄積量が前記負荷分散閾値に達した場合、同タイプの追加キューの追加処理を行い、前記閾値超過分のパケットを該追加キューにキューイングして廃棄の救済を行う手段と、
前記キュー追加処理と同時に、前記閾値超過フローについて、サービス品質要求を満たす分散経路を前記テーブルから求め、該分散経路への転送用のキューを前記出力バッファ手段内に確保し、前記フローの内の所定量を前記分散経路に対応する転送先アドレスにヘッダ更新してキューイングする手段と、を有することを特徴とするパケット交換装置。 - 入力パケットのサービスクラス情報を識別し、転送処理における優先度への分類あるいはマッピングを行う手段と、
前記入力バッファ手段および出力バッファ手段を該優先度別のキューにより構成して管理する手段と、
各ポートに対して設けられ、前記出力バッファ手段の各優先度別キューから所定の優先処理方針でパケットを取り出して転送スケジューリングを行うスケジューラ手段と、をさらに有し、
前記優先度別のフロー単位で前記負荷分散処理を行うことを特徴とする請求項9記載のパケット交換装置。 - 前記入力バッファ手段および出力バッファ手段において、所定の最大メモリ量の範囲内で、蓄積パケット量および前記負荷分散閾値に応じて前記キュー追加処理および前記負荷分散処理を多重に行い、逆に、前記分散転送用キューを含む各追加キューにおいて蓄積パケット量がゼロになると該キューの削除処理を行ってメモリを開放することを特徴とする請求項9または10に記載のパケット交換装置。
- 前記分散経路として、前記超過フローについてのサービス品質要求を満たす複数の経路が確保できる場合は、該複数の分散経路に対して前記超過フローを振り分けて負荷分散処理を行うことを特徴とする請求項10または11に記載のパケット交換装置。
- 各フローについてのサービス品質要求への対応として、宛先ノードまでの伝送遅延時間を所定方法により評価し、該評価値に基づき前記分散経路の選定を行うことを特徴とする請求項10から12のいずれか1項に記載のパケット交換装置。
- 前記宛先ノードまでの伝送遅延時間の評価方法として、ホップ数を用いることを特徴とする請求項13記載のパケット交換装置。
- 隣接ノード間で、制御パケットの授受によりリンクの伝送遅延時間を測定して交換しあうことにより、前記宛先ノードまでの伝送遅延時間を評価してネットワーク状況を把握する手段をさらに有し、
該評価値に基づき前記分散経路の選定を行うことを特徴とする請求項13記載のパケット交換装置。 - リンクについて物理的あるいは論理的な回線障害の検出およびその復旧の検出を行って通知する回線障害検出手段をさらに有し、
回線障害検出時は、障害のあるリンクへの転送を停止し、該リンクに転送予定のフローについて、サービス品質要求を満たす切り替え経路を前記テーブルから求め、該経路に対応する転送用キューを前記出力バッファ手段内に確保し、ルーティングテーブルを更新し、前記切り替え先経路へのヘッダ書き換えを行ってキューイングし、元のキューは削除することにより回線障害対応処理を行う手段と、
障害復旧検出時は、復旧したリンクについて、対応するキューを再構成し、ルーティングテーブルを更新して転送を再開することにより自動的な回線切り戻しを行う手段と、をさらに有することを特徴とする請求項9から15のいずれか1項に記載のパケット交換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001267633A JP3633534B2 (ja) | 2001-09-04 | 2001-09-04 | 適応的ネットワーク負荷分散方式およびパケット交換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001267633A JP3633534B2 (ja) | 2001-09-04 | 2001-09-04 | 適応的ネットワーク負荷分散方式およびパケット交換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003078555A JP2003078555A (ja) | 2003-03-14 |
JP3633534B2 true JP3633534B2 (ja) | 2005-03-30 |
Family
ID=19093738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001267633A Expired - Lifetime JP3633534B2 (ja) | 2001-09-04 | 2001-09-04 | 適応的ネットワーク負荷分散方式およびパケット交換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3633534B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3875107B2 (ja) * | 2002-01-10 | 2007-01-31 | 株式会社エヌ・ティ・ティ・ドコモ | パケット交換システム、パケット交換方法、ルーティング装置、パケットデータ及びその生成方法 |
EP1683310A1 (en) * | 2003-10-31 | 2006-07-26 | Koninklijke Philips Electronics N.V. | Integrated circuit and method for avoiding starvation of data |
CN100359891C (zh) * | 2004-06-30 | 2008-01-02 | 中兴通讯股份有限公司 | 一种通过缓存提高多媒体消息中心业务处理性能的方法 |
US8064464B2 (en) | 2006-06-16 | 2011-11-22 | Harris Corporation | Method and system for inbound content-based QoS |
US8516153B2 (en) | 2006-06-16 | 2013-08-20 | Harris Corporation | Method and system for network-independent QoS |
US7990860B2 (en) | 2006-06-16 | 2011-08-02 | Harris Corporation | Method and system for rule-based sequencing for QoS |
US7916626B2 (en) * | 2006-06-19 | 2011-03-29 | Harris Corporation | Method and system for fault-tolerant quality of service |
US8730981B2 (en) | 2006-06-20 | 2014-05-20 | Harris Corporation | Method and system for compression based quality of service |
US8300653B2 (en) | 2006-07-31 | 2012-10-30 | Harris Corporation | Systems and methods for assured communications with quality of service |
JP2009303092A (ja) * | 2008-06-17 | 2009-12-24 | Nec Corp | ネットワーク装置および回線切替方法 |
WO2011148925A1 (ja) * | 2010-05-24 | 2011-12-01 | 日本電気株式会社 | 半導体装置とネットワークルーティング方法とシステム |
JP5822125B2 (ja) * | 2011-11-09 | 2015-11-24 | 日本電気株式会社 | サービス連携装置、サービス連携方法およびサービス連携プログラム |
WO2014103014A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社日立製作所 | 中継装置、及び中継方法 |
US9571426B2 (en) * | 2013-08-26 | 2017-02-14 | Vmware, Inc. | Traffic and load aware dynamic queue management |
CN111431814A (zh) * | 2020-03-18 | 2020-07-17 | 紫光云技术有限公司 | 一种实现p2p流量的出站负载均衡的方法 |
CN112751718B (zh) * | 2021-01-28 | 2023-05-12 | 深圳市晨北科技有限公司 | 带宽调整方法及装置、终端及存储介质 |
-
2001
- 2001-09-04 JP JP2001267633A patent/JP3633534B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003078555A (ja) | 2003-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3633534B2 (ja) | 適応的ネットワーク負荷分散方式およびパケット交換装置 | |
US10666563B2 (en) | Buffer-less virtual routing | |
US7123620B1 (en) | Apparatus and method for scalable and dynamic traffic engineering in a data communication network | |
US6094435A (en) | System and method for a quality of service in a multi-layer network element | |
EP1744586B1 (en) | Packet communication system with QoS control function | |
JP4490956B2 (ja) | ポリシー・ベースのサービス品質 | |
US6069895A (en) | Distributed route server | |
US6304552B1 (en) | Memory and apparatus for input based control of discards in a lossy packet network | |
US7706292B2 (en) | Network system, network apparatus, route change method, and program storage medium storing program thereof | |
US6963578B2 (en) | Router | |
US20050007954A1 (en) | Network device and method for categorizing packet data flows and loading balancing for packet data flows | |
US20070217336A1 (en) | Method and system for using a queuing device as a lossless stage in a network device in a communications network | |
JP2006217597A (ja) | パケットの流失を抑制するためのルーティング方法及び装置 | |
US20050147032A1 (en) | Apportionment of traffic management functions between devices in packet-based communication networks | |
JPWO2005034446A1 (ja) | ポリシールール適用ネットワークシステム | |
US20110222394A1 (en) | Fabric extra traffic | |
US6735207B1 (en) | Apparatus and method for reducing queuing memory access cycles using a distributed queue structure | |
EP2110992A1 (en) | System and method for monitoring and optimizing traffic in MPLS-diffserv networks | |
US20110182299A1 (en) | Limiting transmission rate of data | |
JP2006197473A (ja) | ノード | |
AU3368901A (en) | Method and device for controlling access to a communications network | |
DomŻał et al. | Efficient and reliable transmission in Flow-Aware Networks—An integrated approach based on SDN concept | |
JP3586766B2 (ja) | Ip網における処理放棄型ローカル輻輳制御方法および方式 | |
JP3870821B2 (ja) | Atmスイッチ装置及びそれに用いる輻輳抑制ルーティング方法 | |
JP2005005921A (ja) | ルータおよびそのルータに用いるパケットルーティング方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3633534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |