JP4679794B2 - 正しくする受信器 - Google Patents

正しくする受信器 Download PDF

Info

Publication number
JP4679794B2
JP4679794B2 JP2002507555A JP2002507555A JP4679794B2 JP 4679794 B2 JP4679794 B2 JP 4679794B2 JP 2002507555 A JP2002507555 A JP 2002507555A JP 2002507555 A JP2002507555 A JP 2002507555A JP 4679794 B2 JP4679794 B2 JP 4679794B2
Authority
JP
Japan
Prior art keywords
packet
switch
cell
cells
port
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002507555A
Other languages
English (en)
Other versions
JP2004503134A (ja
Inventor
ピー.,ジュニア. ビアンキーニ,ロナルド
シー. カンツ,ジョセフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ericsson AB
Original Assignee
Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ericsson AB filed Critical Ericsson AB
Publication of JP2004503134A publication Critical patent/JP2004503134A/ja
Application granted granted Critical
Publication of JP4679794B2 publication Critical patent/JP4679794B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/35Switches specially adapted for specific applications
    • H04L49/351Switches specially adapted for specific applications for local area network [LAN], e.g. Ethernet switches
    • H04L49/352Gigabit ethernet switching [GBPS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/30Peripheral units, e.g. input or output ports

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【0001】
発明の分野
本発明は、可変長パケットと固定長さのATMセルを切り換える(変換する)スイッチに関する。特に、パケットをセルに変えるフラグメンテーション(断片化)(fragmentation)機能、及びパケットをセルに変える再組立機能を用いて、可変長パケットと固定長さのATMセルを切り換えるスイッチに関する。
【0002】
発明の背景
可変長パケットと固定長さのATMセルの両方が取り扱われるべきシステムに於いて、全てのデータがシステムを通るためには、”ネイティブ”フォーマット(セル又はパケット)を選択することが一般に必要である。”非ネイティブ”トラヒックを、システムの入口側で”ネイティブ”フォーマットに変換することが必要である。これは一般に、設計の複雑さの増加、性能が低下する可能性、コストが増える点で、如何なる”非ネイティブ”トラヒックにも負担をかける。
【0003】
本発明は、それによってATMセルとパケットの両方が、システムを通って送られ、システムの出口側で変換される方法を記載している。これによって、システムの入口側でパケットからセルに変換する必要性、又はセルからパケットに変換する必要性を除去する。これは、システムの全ての性能を改善する結果になる。セルをパケットに変え、又はパケットからセルに変えることは、遅延/オーバーヘッド(delay/overhead)を増加させる。正しくする受信器は、他のポートが影響を受けない出力ポートにて、必要なパス上にこの遅延/オーバーヘッドを加えることだけである。データを多数のファブリックに分散し、パリティデータを他のファブリックに送るスイッチは、米国特許出願第09/333,450号に記載されており、参照をもって記載に代える。また、広いメモリTDMスイッチングシステムを記載した米国特許出願第09/293,563号をも、参照をもって記載に代える。
【0004】
発明の要約
本発明は、ネットワークの固定サイズのATMセルと、可変長パケットを切り換えるスイッチに関する。スイッチは、複数の入力ポートを有する入力ポート機構を具え、各入力ポートはネットワークからセルとパケットを受信できる。スイッチは、複数の出力ポートを有する出力ポート機構を具え、各出力ポートはネットワークにセルとパケットを送信できる。スイッチは、入力ポート機構と出力ポート機構に接続され、パケット又はセルの一方を、何れかの入力ポートから出力ポートに切り換えるスイッチファブリックを具える。スイッチは、入力ポートがパケットポートであり、出力ポートがセルポートであるときに、パケットをセルに変換し、入力ポートがセルポートであり、出力ポートがパケットポートであるときに、セルをパケットに夫々変換する機構を具え、入力ポートと出力ポートが夫々両方セルポート又は両方パケットポートであるときは、セルまたはパケットを変換しない。変換する機構は、出力ポート機構及びスイッチファブリックに接続されている。
【0005】
本発明は、通信システムに関する。システムは、それに沿ってパケットが移行するイーサネット(登録商標)を具える。システムは、それに沿ってATMセルが移行するATMネットワークを具える。システムは、イーサネット(登録商標)とATMネットワークに繋がるスイッチを具え、該スイッチは、イーサネット(登録商標)から受信したパケットを、ATMネットワークに送られるべきATMセルに変え、ATMネットワークから受信したATMセルをイーサネット(登録商標)に送られるべきパケットに変える。
【0006】
本発明は、ネットワーク内にて、固定サイズのATMセルと可変サイズパケットを移送する方法に関する。方法は、スイッチの第1の入力ポートにて固定サイズのATMセルを受信する工程を含む。次に、固定サイズのATMセルを入力ポートから、スイッチファブリックを用いてATMセルを可変長パケットに変換する機構に向ける工程がある。次に、変換する機構を用いて、ATMセルを可変長パケットに変換する工程がある。次に、可変長パケットをスイッチの第1の出力ポートを通ってスイッチから離れて送る工程がある。
【0007】
同一の要素には、図面を通じて同一の参照番号を付している。図面、特に図7を参照すると、ネットワーク(12)の固定サイズのATMセルと可変長パケットを切り換えるスイッチ(10)がある。スイッチ(10)は、複数の入力ポート(16)を有する入力ポート機構(14)を具え、各入力ポートはネットワーク(12)からセルとパケットを受信することができる。スイッチ(10)は、複数の出力ポート(20)を有する出力ポート機構(18)を具え、各出力ポートはネットワーク(12)にセルとパケットを送ることができる。スイッチ(10)は、入力ポート機構(14)と出力ポート機構(18)に接続されて、何れかの入力ポート(16)から何れかの出力ポート(20)へのパケット又はセルのどちらか一方を切り換えるスイッチファブリック(22)を具えている。スイッチ(10)は、入力ポート(16)がパケットポートであり、出力ポート(20)がセルポートであるときに、パケットをセルに変換し、入力ポート(16)がセルポートであり、出力ポート(20)がパケットポートであるときに、セルをパケットに夫々変換する機構を具え、入力ポート(16)と出力ポート(20)が夫々両方セルポート又は両方パケットポートであるときは、セルまたはパケットを変換しない。この変換は、セル又はパケットがこのファブリックを通った後に発生する。変換機構(24)は、出力ポート機構(18)及びスイッチファブリック(22)に接続されるのが好ましい。
【0008】
入力ポート機構(14)は、検出機構(26)を具え、該検出機構はセルを入力ポート機構(14)に受信されたセルとして認識し、パケットを入力ポート機構(14)に受信されたパケットとして認識するのが好ましい。検出機構(26)は、入力ポート(16)に接続されている。変換機構(24)は、セルをパケットに変換する再組立機構(28)を含むのが好ましい。変換機構(24)は、パケットをセルに変換する断片化機構(30)を含むのが好ましい。検出機構(26)は、入力ポート機構(14)によって受信される各セル及び各パケットに対してタグを設置し、各セルをセルとして認識し、各パケットをパケットとして認識するのが好ましい。再組立機構と断片化機構は、ペンシルバニアのワランドールのフォアシステムズ社から購入できるインターフェイスに普通に用いられる標準的な再組立及び断片化エンジンである。
【0009】
断片化機構(30)は、セルを出力ポート機構(18)に送る前に、可変長パケットを固定長さのATMセルに分割するのが好ましい。再組立機構(28)はパケットを構成するのに要求される全てのセルを並べ(34)、完全なパケットを出力ポート機構(18)にただ送るのみであるのが好ましい。スイッチ(10)は、スイッチファブリック(22)に接続されたバッファ(32)を含むのが好ましく、バッファ内にセルとパケットは格納される
【0010】
断片化機構(30)及び再組立機構(28)は、セル及びパケットが出力ポート機構(18)に送られる前に、夫々セル及びパケットからタグを除去するのが好ましい。再組立機構(28)は、キュー(34)を制限して、断片化機構のバンド幅を一定値となることを許すのが好ましい。バッファ(32)は、キュー(34)を有し、出力ポート(20)に対応したセルはキュー(34)に格納されるのが好ましい。
【0011】
本発明は、図9に示すような通信システム(36)に関する。システム(36)は、それに沿ってパケットが移行するイーサネット(登録商標)(38)を具える。システム(36)は、それに沿ってATMセルが移行するATMネットワーク(40)を具える。システム(36)は、イーサネット(登録商標)(38)及びATMネットワーク(40)に繋がるスイッチ(10)を具え、該スイッチはイーサネット(登録商標)(38)から受信したパケットをATMネットワーク(40)に送られるべきATMセルに変え、ATMネットワーク(40)から受信したATMセルをイーサネット(登録商標)(38)に送られるべきパケットに変える。スイッチはまた、イーサネット(登録商標)(38)から受信したパケットを、イーサネット(登録商標)(38)に送り(proceed)、ATMネットワークから受信したATMセルを、ATMネットワークに送ることもできる。
【0012】
本発明は、ネットワーク(12)内にて固定サイズのATMセル及び可変サイズパケットを移送する方法に関する。方法は、スイッチ(10)の第1の入力ポート(16)にて固定サイズのATMセルを受信する工程を具える。次に、入力ポート(16)からの固定サイズのATMセルを、スイッチファブリック(22)を用いてATMセルを可変長パケットに変換する機構に向ける工程がある。
次に、変換する機構(24)を用いて、ATMセルを可変長パケットに変換する工程がある。次に、可変長パケットをスイッチ(10)の第1の出力ポート(20)を通ってスイッチ(10)から離れて送る工程がある。
【0013】
受信する工程の後に、可変長パケットをスイッチ(10)の第2の入力ポート(16)にて受信する工程があるのが好ましい。次に、第2の入力ポート(16)からの可変長パケットを、スイッチファブリック(22)を用いて可変長パケットを固定長さのATMセルに変換する機構に向ける工程がある。次に、変換する機構(24)を用いて、可変長パケットを固定長さのATMセルに変換する工程がある。次に、固定長さのATMセルをスイッチ(10)の第2の出力ポート(20)を通ってスイッチ(10)から離れて送る工程がある。
【0014】
固定サイズのATMセルを向ける工程の後に、スイッチ(10)の第1の入力ポート(16)にて可変長パケットを受信する工程があるのが好ましい。次に、入力ポート(16)からの可変長パケットを、スイッチファブリック(22)を用いて可変長パケットを固定長さのATMセルに変換する機構(24)に向ける工程がある。
次に、変換する機構(24)を用いて、可変長パケットを固定長さのATMセルに変換する工程がある。次に、固定長さのATMセルをスイッチ(10)の第1の出力ポート(20)を通ってスイッチ(10)から離れて送る工程がある。
【0015】
ATMセルを変換する工程は、変換機構(24)の再組立機構(28)を用いて、ATMセルを可変長パケットに変換する工程を含むのが好ましい。可変長パケットを変換する工程は、変換機構(24)の断片化機構(30)を用いて、可変長パケットを固定長さのATMセルに変換する工程を含むのが好ましい。
ATMセルを受信する工程の後に、検出機構(26)を用いて、セルが第1の入力ポート(16)に受信されたか、又はパケットが第1の入力ポート(16)に受信されたかを検出する工程があるのが好ましい。検出する工程の後に、検出機構(26)を用いて、第1の入力ポート(16)に受信される各セル及び各パケットにタグを設置し、各セルをセルとして認識し、パケットをパケットとして認識する工程があるのが好ましい。
【0016】
スイッチから可変長パケットを離れて送る工程の前に、可変長パケットからタグを取り除く工程があるのが好ましい。ATMセルを変換する工程は、可変長パケットをキュー内に形成するのに必要な全てのセルを並べ(queueing)、完全なパッケージのみが出力ポート機構(18)に送られ得るのが好ましい。可変長パケットを変換する工程は、セルを出力ポート機構(18)に送る前に、可変長パケットを固定長さのセルに細かくする(break)のが好ましい。
【0017】
本発明の動作に於いて、ATMセルとパケットの両方は、システム(36)を通って送られ、次にシステムの出口側にて変換される。システム(36)は、多くの入力ポート、多くの出力ポート、何れかの入力ポート(16)が何れかの出力ポート(20)に接続されるように入力ポートを出力ポートに繋ぐスイッチファブリック(22)を具えている。各入力ポート(16)は、セル又はパケットの何れかを受信できる。各出力ポート(20)は、セル又はパケットの何れかを送信できる。スイッチファブリック(22)は、セル又はパケットの何れかを切り換えることができる。
【0018】
入力ポート(16)がパケットポートで、出力ポート(20)がセルポートの場合にて、パケットはファブリック(22)を通って送られ、断片化機能はファブリック(22)の出力側にて実行されて、パケットをセルに変換する。断片化機能は、セルを出力ポート(20)に送る前に、可変長パケットをいくつかの固定長さのATMセルに細かくすることを含む。
【0019】
入力ポート(16)がセルポートであり、出力ポート(20)がパケットポートであるときに、セルはファブリック(22)を通って送られ、再組立機能はファブリック(22)の出力側にて実行される。同様に、入力ポート(16)がセルポートであり、出力ポート(20)がセルポートであるときに、セルはファブリック(22)を通って送られ、ファブリック(22)の出力側にて何も変換されない。図8は、システム(36)の主要な構成要素を示している。
【0020】
スイッチ(10)の異なるポートカードの相互運用を確実にするために、ファブリック(22)を通って流れるデータグラムは、共通のフォーマットでなければならない。1つの”フォーマット”は、フレーム又はセルの何れかを搬送することができる(出口側ルートワードがどちらかを識別する)。実際には、スイッチ(10)は本来フレームとセルの両方をサポートしているから、2つの明確なフォーマットがサポートされる。異種(heterogenous)データグラムは、ATMカードがフレームを分割し、フレームカードがATMセルを再組立しなければならないところにてサポートされる。再組立機能は、定義された現行のATM適合レイヤのサブセットを用いて、実行される。バックプレーンのデータグラムはこのようになる。
【0021】
【表1】
Figure 0004679794
【0022】
【表2】
Figure 0004679794
【0023】
全てのデータグラムは、出口側ポートカードへの接続を識別する32ビットの”出口側ルートワード”によって、先行される。ファブリック(22)は、データグラム自体から分離して搬送される”ファブリックルートワード”を用いてデータグラムをルート(route)する。セルは、わずかに修正されたヘッダ(HECがない)”ネイティブ”フォーマットにて送信され、ここでHECは有効にするヘッダ用のチェックサムである。一度ヘッダのチェックに用いられると、データからドロップされる。フレームはハイブリッドであり、ATMポート上で用いられる適切なATMヘッダを用いてフォーマットされる。このヘッダは、フレームポートによって出口にて剥ぎ取られる。これは、ATMブレード上にて境界のない(stateless)断片化ユニットを可能にする。次の表は、出口側ポートにてSAR(断片化及び再組立)を要約している。
【0024】
【表3】
Figure 0004679794
【0025】
スイッチは、RAID技術を使用し、個別のファブリック帯域幅を最小限にしつつ、スイッチ帯域幅全体を増大する。スイッチアーキテクチャにおいて、全てのデータは全てのファブリックに均一に分配されるので、スイッチはファブリックを加えることによって帯域幅を増し、ファブリックは、スイッチが帯域幅容量を増大すれば、ファブリックの帯域幅容量を増大する必要がない。
【0026】
各ファブリックは40G(bps)の交換帯域幅を提供しており、システムは、冗長/予備ファブリックを除いた1、2、3、4、6又は12ファブリックを利用する。換言すると、スイッチは、ファブリックが幾つインストールされるかによって、40G(bps)、80G、120G、160G、240G又は480Gのスイッチとなり得る。
【0027】
ポートカードは、10G(bps)のポート帯域幅を提供する。4ポートカード当たり1ファブリックになることが必要である。スイッチアーキテクチャは、ポートカード及びファブリックの任意インストレーションをサポートしない。
【0028】
ファブリックASICsは、セルとパケットの両方をサポートする。全体として、スイッチは、「受信器が適切にする(receiver makes right)」方法をとっており、この方法においてATMブレード上の出口パス(egress path)は、フレームをセグメント化してセルにしなければならず、フレームブレード上の出口パスは、セルをまとめて再びパケットにしなければならない。
【0029】
スイッチ内で使用される一般に8スイッチのASICsは:
−分散器(Striper)−分散器は、ポートカード及びSCP−IM上に在する。それは、データを12ビットのデータストリームにフォーマットし、チェックワードを添付し、N即ちシステム中の予備でないファブリックを横切ってデータストリームを分割し、他のファブリックに向かうストライプと同等な幅のパリティストライプを生成し、且つN+1データストリームをバックプレーンへ送出する。
−非分散器(unstriper)−非分散器は、スイッチアーキテクチャ内の他のポートカードASICである。これは、システム中の全てのファブリックからデータストリームを受信する。次に、誤り検出修正を実行するために、チェックワード及びパリティ分散を使用して、元のデータストライプを再構築する。
−集約装置(Aggregator)−集約装置は、分散器からデータストリーム及びルートワードを取り出し、それらを多重化してメモリコントローラへの単一の入力ストリームにする。
−メモリコントローラ− メモリコントローラは、スイッチのキュー及びデキュー(キューから外す)メカニズムを実行する。これは、クロックサイクル毎に複数セルのデータを同時にエンキュー(enqueue、キューに入れる)/デキューをするために、独占排他権を有する広いメモリインタフェースを含んでいる。メモリコントローラのデキュー側は、コネクションのキュー及びシェーピングの大部分をポートカード上で行わせるために、40Gbpsよりも80Gbpsで稼働する。
−セパレータ− セパレータは、集約装置と逆の操作を実行する。メモリコントローラからのデータストリームは、複数のデータストリームに逆多重され、適当な非分散器ASICへ送達される。非分散器へのインタフェースには、キューとフローとの制御ハンドシェーキングが含まれている。
【0030】
ファブリック間のコネクションについては、3つの異なった視点即ち、物理的、論理的、及び「動的」な視点で見ることができる。物理的には、ポートカードとファブリックとの間のコネクションは、あらゆるギガビット速度の差分ペアのシリアルリンクである。これは、厳密に言うと、バックプレーンへ向かう信号数を減少するための実現(implementation、ソフトとハードの調整)の問題である。「動的な」観点では、単一のスイッチの形状を考察するか、又は所定の時点でデータが如何に処理されているかというスナップショットとして考察されるだろう。ポートカード上のファブリックASICとファブリックとの間のインタフェースは、12ビット幅であるのが効果的である。それらの12ビットは、ファブリックASICsが如何に構成されているかによって1、2、3、4、6又は12ファブリックへ均一に分散(stripe)される。「動的」な観点は、現在の構成において各ファブリックによって処理されているビットの数を意味しており、これはファブリック数で割るとちょうど12である。
【0031】
論理的な視点は、ある得る動的構成の全ての合併又は最大機能として考えられることができる。ファブリックスロット#1は、構成に応じて、単一分散器からのデータの12、6、4、3、2又は1ビットを処理しているであろうゆえに、12ビットバスで引き抜かれる。それとは対照的に、ファブリックスロット#3は、単一分散器からのデータの4、3、2又は1ビットを処理するのに使用されるだけであるがゆえに、4ビットバスで引き抜かれる。
【0032】
以前のスイッチとは違って、該スイッチは、ソフトウェアにより制御可能なファブリック冗長モードの概念を全く有していない。ファブリックASICsは、予備ファブリックがインストールされている限り、介入なしにN+1冗長を実行する。
ここで提供される限り、N+1冗長は、ハードウェアが、データの損失なしに自動的に単一の障害を検出し、修正することを意味する。
【0033】
冗長性が作動する方法はかなり単純だが、3つのファブリック(A、B及びC)+予備(S)を有する120Gスイッチが使用される特定のケースを理解すれば、より簡単になる。分散器は、12ビットバスを選び、まず、データユニット(セル又はフレーム)に添付されるチェックワードを生成する。次に、データユニット及びチェックワードは、A、B及びCファブリックの各々についてクロックサイクル当り4ビットデータストライプ(A3A2A1A0、B3B2B1B0及びC3C2C1C0)に分割される。次に、これらのストライプは、予備ファブリックS3S2S1S0用のストライプを生成するのに使用される。ここで、Sn=An XOR Bn XOR Cnであり、これら4つのストライプは、それらの対応するファブリックへ送られる。ファブリックの反対側において、非分散器は、A、B、C及びSから4つの4ビットストライプを受け取る。次に、3つのファブリックのあり得る全ての組合せ(ABC、ABS、ASC及びSBC)は、「一時的な」(tentative)12ビットのデータストリームの再構築に使用される。次に、チェックワードは、4つの一時的なストリームの各々のために計算され、計算されたチェックワードは、データユニットの端部のチェックワードと比較される。伝送の間にエラーが生じなかった場合、4ストリーム全ては、チェックワードが整合しており、ABCストリームは非分散器出力へ転送される。(単一の)エラーが生じた場合、1つのチェックワードだけが整合しており、整合を含むストリームはチップ外へ転送され、非分散器は不良のファブリック分散を識別する。
【0034】
スイッチの構成が異なると、即ち、1、2、4、6又は12ファブリックであると、アルゴリズムは同一であるが、ストライプ幅は変化する。
2つのファブリックが故障すると、スイッチ中を流れるデータの全ては、殆ど確実に崩れが生じるであろう。
【0035】
ファブリックスロットは、番号が付され、昇順に並べられなくてはならない。また、予備ファブリックは特定のスロットであるから、ファブリックスロット1、2、3及び4は、ファブリックスロット1、2、3及び予備とは異なる。前者は冗長のない160Gスイッチであり、後者は冗長を含む120Gである。
【0036】
第一に、特定のポートカードスロットを使用するには、そこに、予備を含まない少なくとも1つの所定の最小数のファブリックがインストールされることが必要であるように、ASICsは構成され、バックプレーンは接続される。この関係は表0に示されている。
それに加え、スイッチ内のAPS冗長は、特にペアのポートカードに限定される。ポートカード1及び2はペア、ポートカード3及び4はペアというようになっており、これはポートカード47及び48まで続いている。これは、APS冗長が要求される場合、ペアのスロットは一緒でなければならないことを意味している。
簡単な例として、2つのポートカード及びファブリックを1つだけ含む構成を挙げてみる。ユーザがAPS冗長の使用を望まない場合、2つのポートカードは、ポートカードスロット1乃至4のうちの任意の2つにインストールされることができる。APS冗長が望まれる場合には、2つのポートカードは、スロット1及び2、或いはスロット3及び4の何れかにインストールされなければならない。
【表4】
Figure 0004679794
表0:ポートカードスロットの使用に関するファブリックの要件
容量を増やすには、新たなファブリックを追加し、スイッチが変化を認識し、新しいファブリックの数を分散してシステムを再形成するのを待つ。新しいポートカードをインストールする。
技術的には、ファブリック毎に容量一杯の4つのポートカードを持つことは不要である。スイッチは、3つのインストール済ファブリック及びスロット(12)の単一ポートカードで正常に機能する。これはコスト面では有効ではないが、機能可能である。
【0037】
容量を削除するには、容量追加の工程を逆に行う。
もし、スイッチが超過したとき、即ち、8つのポートカードと1つのファブリックをインストールした場合。
【0038】
スイッチが超過するのは、スイッチを適度でないアップグレードしたとき、又はある種のシステム障害の結果として発生するだけである。現実には、この状況がどのように発生するかによって2つのうちの1つが発生する。もしスイッチが40Gスイッチとして構成され、ファブリック前にポートカードが追加されたら、第5から第8ポートカードは用いられない。もし、スイッチが80Gの非冗長のスイッチとして構成され、第2ファブリックが不能又は削除されると、スイッチを通じたすべてのデータが不正になる(予備のファブリックはインストールされていないと仮定する)。そして、完了直前に、もし8つのポートカードが80Gの冗長スイッチにインストールされており、そして、第2ファブリックが不能又は削除されていると、予備のスイッチが不能又は削除されたファブリックをカバーして通常の操作を続行する。
【0039】
図1は、スイッチのパケットストライピングを表している。
チップセットは、OC48及びOC192cの両方の構成中のATM及びPOSポートカードをサポートする。OC48ポートカードは、4つの別々のOC48フローを用いてスイッチングファブリックへインターフェースする。OC192ポートカードは、4チャンネルを10Gストリームへ論理的に結合させる。ポートカードの入口側は、ATMセルとパケット間で変化するトラフィックへのトラフィック変換を実行しない。受信したトラフィックのフォームがどれであれ、スイッチファブリックへ送られる。スイッチファブリックはパケットとセルを混合し、パケットとセルの混合をポートカードの出口側へデキューする(キューから外す)。
【0040】
ポートの出口側は、トラフィックを変換して出力ポートへの適正なフォーマットとしなければならない。この変換は、スイッチの内容について"受信器が適切にする(receiver makes right)"として呼ばれている。セルブレードは、パケットの区切りを実行し、セルブレードはセルをパケット内にて再組立する必要がある。ファブリックのスピードアップをサポートするため、ポートカードの出口側は、ポートカードの着信側の2倍に等しいリンクバンド幅を用いる。
【0041】
ポセイドンをベースにした(Poseidon-based)ATMポートカードのブロック図は、図2に示される。各2.5Gチャンネルは入力側TM、入力側の分散器ASIC、非分散器ASIC、出力側の出力TM ASICの4つのASICで構成される。
【0042】
入力側において、OC−48c又は4OC−12cインターフェースは集約される。各ボルテックス(vortexs)は、2.5Gセルストリームを専用の分散器ASICへ送信する(下記に表されるようにBIBバスを使用する)。分散器は供給されたルートワードを2つの部分へ変換する。ルートワードの一部は、セルへの出力ポートを決定するためファブリックへ送られる。全ルートワードもまた、出力メモリコントローラによって使用されるルートワードとしてバスのデータ部分上へ送られる。第1ルートワードは「ファブリックルートワード」として表される。出力メモリコントローラのルートワードは「出口ルートワード」である。
【0043】
出力側において、各チャンネルの非分散器ASICは各ポートカードからトラフィックをとり、エラーチェックしデータを修復し、出力バス上へ正常なパケットを送信する。非分散器ASICは、予備のファブリックからのデータ、及び分散器によりインサートされるチェックサムを使用して、データ異常を検出し修復する。
【0044】
図2は、OC48ポートカードを表す。
OC192ポートカードは、ファブリックへの一つの10Gデータ流れ、及び10Gと20G間の出口データ流れをサポートする。このボードも4つの分散器及び4つの非分散器を使用する。しかし、4つのチップは拡張データバス上で並列に操作される。各ファブリックへ送られたデータは、OC48及びOC192ポートの両方について同一であり、データは、特別な変換機能を必要としないポートタイプ間を流れる。
【0045】
図3は、10G連結ネットワークブレードを表す。
各40Gスイッチファブリックは、40Gbpsセル/フレームまでエンキューし(enqueue、キューに入る)、それらを80Gbpsでデキューする。この2Xスピードアップにより、ファブリックにて緩衝されたトラフィックの量が減り、ラインレートの十分上方で出力ASICダイジェストのトラフィックを噴出させる。スイッチファブリックは集約装置(aggregator)、メモリコントローラ、セパレータの3種類のASICから構成される。9つの集約装置ASICは、48までのネットワークブレード及びコントロールポートからのトラフィックの40Gbpsを受信する。集約装置ASICは、ファブリックルートワード及びペイロードを結合して、単一データストリーム、及びソース間のTDMにし、配備され生じる結果をワイド出力バス上に設置する。追加のコントロールバス(destid)は、メモリコントローラがデータをどのようにエンキューするかをコントロールするのに使用される。各集約装置ASICからのデータストリームは12のメモリコントローラへ分けられる。
【0046】
メモリコントローラは、16までのセル/フレームを各時刻サイクルで受信する。各12のASICは集約されたデータストリームの1/12を収納する。次に入力中のデータはdestidバス上に受信されたコントロール情報を基にしており収納される。データの収納は、メモリコントローラにて、パケット境界が比較的気づかないほどに単純化される(キャッシュ ライン コンセプト)。全12のASICは80Gbpsに集約されたスピードで、収納されたセルを同時にデキューする(キューから外す)。
【0047】
9つのセパレータASICは集約装置ASICの逆機能を実行する。各セパレータは全ての12のメモリコントローラからのデータを受信し、集約装置によってデータストリームに埋め込まれたルートワードを復号し、パケット境界を探す。各セパレータASICは、データがセパレータへ送られたようにメモリコントローラによって示された正確な目的地に応じて、24までの別の非分散器にデータを送る。
【0048】
デキュー工程は、背圧(バックプレッシャ、back-pressure)駆動される。もし、背圧駆動が非分散器に適用されたら、背圧はセパレータへ逆連繋される。セパレータ及びメモリコントローラも、メモリコントローラが出力ポートへトラフィックをデキューできる時に制御する背圧駆動メカニズムを有する。
【0049】
チップセットのOC48及びOC192を有効的にサポートする為に、1つのポートカードからの4つのOC48ポートは常に同じ集約装置へと同じセパレータから送られる(集約装置及びセパレータのポート接続は常に対称である)。
図4A及び図4Bは、ファブリックASICの接続を表している。
【0050】
スイッチの外部インターフェースは、分散器ASICとボルテックス(vortex)などの入口ブレードASIC間の入力バス(BIB)であり、非分散器ASICとトライデント等の出口ブレードASIC間の出力バス(BOB)である。
分散器ASICは入力バス(BIB)を経由した入口ポートからのデータを受け取る(DIN ST bl ch busとしても知られる)。
【0051】
このバスは、4つの別々の32ビット入力バス(4×OC48c)、又は全ての分散器へのコントロールラインの共通セットを具え、単一128ビット幅データバスの何れかとしても作動できる。このバスは、分散器チップのソフトウェア構成に基づいたセル又はパケットのどちらかをサポートする。
【0052】
非分散器ASICは出力バス(BOB)(DOUT UN bl ch busとしても知られる)を経由して出口ポートへデータを送る。それはセル又はパケットのどちらかをサポートできる64(又は256)ビットデータバスである。それは下記の信号から構成される。
【0053】
このバスは、4つの別々の32ビット出力バス(4×OC48c)、又は全ての非分散器からのコントロールラインの共通セットを具え、単一128ビット幅データバスの何れかとして作動できる。このバスは、非分散器チップのソフトウェア構成に基づくセル又はパケットのどちらをも用いる。
【0054】
同期装置は2つの主な目的を持つ。第1の目的は、論理的セル/パケット又はデータグラムを全てのファブリックに亘って順序付けて維持することである。ファブリックの入口インターフェース上で、1つのポートカードのチャンネルから1つ以上のファブリックに達するデータグラムは、全てのファブリックが同じ順序で処理される必要がある。同期装置の第2の目的は、たとえ、データグラムセグメントは1つ以上のファブリックから送られ、違う時間にブレード出口入力に到着しても、ポートカードの出口チャンネルを有し、一緒に属している全てのセグメント又はデータグラムのストライプを再構成することである。このメカニズムは、別のネット遅延と、ブレードとファブリック間にてクロックドリフトの変動量を有するシステムで維持することが必要である。
【0055】
スイッチは、開始情報がシステム全体に伝わる同期ウィンドウのシステムを使用する。各送信器及び受信器は、最新の再同期表示から多数のソースからの同期データまで関連するクロックカウントを見ることが出来る。受信器は広域同期表示を受け取った後に、プログラム可能な遅延まで、同期期間での第1クロックサイクルのデータの受取を遅らせる。
この時点で、全てのデータは同時に受信されたと考えられ、修正された順序付けが適用される。ボックスを通じた遅れのために、パケット0及びセル0の遅延が別の順序で受信器に見られることを引き起こすにもかかわらず、受信時間=1に於ける両方のストリームの結果順序は、物理的バスに基づいて、そこから受信したパケット0、セル0と同じである。
【0056】
多重セル又はパケットを、1つのカウンターティック(counter tick)へ送信することができる。全ての宛先は、第2インターフェース等に移動する前に、第1インターフェースからの全てのセルを整える。このセル同期化技術は、全てのセルインターフェースに使用される。幾つかのインターフェース上には別の解決方法が必要とされる。
【0057】
同期装置は、2つの主なブロックから成る。主に、送信器と受信器である。送信器ブロックは、分散器及びセパレータASICに属する。受信器ブロックは、集約装置及び非分散器ASIC内にある。集約装置の受信器は、24(6ポートカード×4チャンネル)入力レーンまで扱える。非分散器の受信器は、13(12ファブリック+1パリティーファブリック)入力レーンまで扱える。
【0058】
同期パルスの受信時、送信器は先ず早いクロックサイクル(Nクロック)の数を計算する。
【0059】
送信同期装置は、出力ストリームを遮断し、及びロックダウンすることを示すNKキャラクターを伝達する。ロックダウンシーケンスの最後に、送信器は次のクロックサイクルにて有効データが始まることを示しているKキャラクターを伝達する。この次のサイクル有効表示は、全てのソースからトラフィックを同期すらために受信器によって使用される。
【0060】
次の伝達の最後に、送信器は、インターフェース上に少なくとも1つのアイドルを挿入する。これらのアイドルは、もし復号器が同期から外れるとしたら、10ビット復号器を10ビットシリアルコードウインドウへ正常に再同期させる。
【0061】
受信同期装置は広域同期パルスを受信し、プログラムされた数により同期パルスを遅らせる。(物理的ボックスが有し得る最大量のトランスポート遅延に基いてプログラムされている。)同期パルスを遅延させた後、受信器は同期キャラクターの直ぐ後のクロックサイクルを受信するのに適しているとする。データは各クロックサイクルで、次の同期キャラクターが入力ストリーム上に現れるまで受信される。このデータは、遅延広域同期パルスが現れるまで受信に適しているとはとらえない。
【0062】
送信器及び受信器が別々の物理的ボード上にあり、別の発振器によってクロックされているから、クロックスピードの差がその間にある。別の送信器及び受信器間のクロックサイクルの数を区切るのに、全てのシーケンスカウンターを再同期するために広域同期パルスがシステムレベルで使用される。各チップは、全ての有効なクロックスキューのもとで、各送信器及び受信器は、少なくとも1つのクロックサイクルにより早いと必ずするように、プログラムされている。各チップは、適正な数のクロックサイクルを待って、それらの現在の同期パルスウインドウへとなる。これは全てのソースが同期パルス間のN同期パルスウインドウの有効なクロックサイクルを実行することを保証する。
【0063】
例えば、同期パルスウインドウは100クロックまでプログラム可能であるとすると、同期パルスは10000クロック毎の同期パルスの名目速度で送られる。同期パルス送信器クロック、及び同期パルス受信クロックが共にドリフトした最悪の場合に基いて、同期パルス送信器上に10000クロックとして受信器には9995から10005クロックが実際にある。この場合、同期パルス送信器は各10006クロックサイクル毎に同期パルスを送信するようにプログラムされる。10006クロックにより、全ての受信器が必ずそれらの次のウインドウにあるよう保証される。もし同期パルス送信器が遅いクロックを有すれば、受信器は早いクロックを具えて、実質上10012クロックを有する。同期パルスは12クロックサイクルで受信され、同期パルスウィンドウへ送信するから、チップは12クロックサイクル遅延する。別の受信器には10006クロックが見られ、同期パルスウインドウの最後にて、6クロックサイクルへロックダウンする。両方の場合、各ソースは10100クロックサイクルで動作する。
【0064】
ポートカード又はファブリックが存在せず、又は挿入直後であり、どちらかが受信同期装置の入力を駆動しているとすると、特定の入力FIFOへのデータの書込は禁止される。というのは、入力クロックは存在せず、又は不安定でデータラインの状態が判らないからである。ポートカード又はファブリックが挿入された時、ソフトウェアは必ず入れられ、バイトレーンへの入力を可能にして、該ソースからのデータ入力が可能となることを許す。入力FIFOへの書込は可能になる。イネーブル信号はポートカード及びファブリックからのデータ、ルートワード、及びクロックが安定した後に、アサート(assert)されると考えられる。
【0065】
システムレベルでは、第1及び第2同期パルス送信器が2つの個別のファブリック上にある。各ファブリック及びブレード上には同期パルス受信器もある。これらは図5に見られる。
第1同期パルス送信器は、フリーランニングの同期パルスジェネレータであり、第2同期パルス送信器はその同期パルスを第1同期パルス送信器へ同期化させる。同期パルス受信器は、第1及び第2同期パルスを共に受信し、エラー検査アルゴリズムに基いて、そのボード上のASIC上へ正しい同期パルスを選択して送信する。同期パルス受信器は、もし同期パルス送信器からの同期パルスが、それ自信のシーケンス0カウント中に落ちたならば、同期パルスは残りのボードに送られることのみが保証される。例えば、同期パルス受信器及び非分散器ASICは共に同じブレード上にある。同期パルス受信器及び非分散器の受信同期装置は同じ水晶発振器からクロックされ、クロックドリフトは 内部シーケンスカウンタを増大させるのに用いられるクロック間には存在しない。受信同期装置は、受信する同期パルスは”0”カウントウインドウ内に常にあることを要求する。
【0066】
もし同期パルス受信器が、第1同期パルス送信器が同期から外れていると判断したら、第2同期パルス送信器ソースへ切り換える。第2同期パルス送信器も第1同期パルス送信器が同期から外れているかを判定し、第1同期パルス送信器から独立して、第2同期パルス送信器自身の同期パルスを発生する。これが第2同期パルス送信器の操作の第1モードである。
もし同期パルス受信器が第1同期パルス送信器は再び同期するように成ったと判定すると、第1同期パルス送信器側に切り換える。第2同期パルス送信器も、第1同期パルス送信器が再び同期するようになったと判断したら、第2モードへ切り換える。第2モードで、独自の同期パルスを第1同期パルスへ同期させる。同期パルス受信器は、その同期パルスフィルタリングメカニズムにおいて第2同期パルス送信器よりも余裕は少ない。同期パルス受信器は、第2同期パルス送信器よりさらに早く切り換わる。これは第2同期パルス送信器が第1モードに切り換わる前に、全ての受信同期装置が第2同期パルス送信器ソースを使用することへ切り換えることを保証するために行われる。
図5は、同期パルスの分布状況を表す。
同期演算で示されるクロックサイクルの数によるファブリックからのバックプレーン伝達をロックダウンするために、全てのファブリックは、多くのクロックサイクルを効果的にフリーズし、同じエンキュー及びデキュー判定が同期内に留まることを確実にする。これは各ファブリックASICにおけるサポートを必要とする。ロックダウンは、キューリシンク(再同期)のような特殊な機能を含む全ての機能を止める。
同期パルス受信器からの同期信号は、全てのASICへ分配される。各ファブリックASICは、広域同期パルス間のクロックサイクルをカウントするコアクロックドメインのカウンターを含む。同期パルス受信後、各ASICは早いクロックサイクルの数を演算する。広域同期パルスは自身のクロックで伝えられないから、演算されたロックダウンサイクル値は同じファブリック上の全てのASICと同じにはならない。この差は、全てのインターフェースFIFOをロックダウンカウントの最大スキューを許容できる奥行きを保持することにより説明される。
【0067】
全てのチップ上のロックダウンサイクルは、「有用な(ロックダウンしない)」サイクルの最後のシーケンスの始まりに対応した同じ論理的ポイントへ常に挿入されている。それは、各チップは常に、ロックダウンサイクルの数がたとえ変化しても、ロックダウン事象間の同じ数の”有用な”サイクルを実行する。
【0068】
ロックダウンは、異なる時間に異なるチップで発生するかも知れない。全てのファブリック入力FIFOは、初期に設定され、FIFOが、ドライ又はオーバーフローすることなしに、ロックダウンはFIFOのどちらか側で最初に発生できるようになっている。各々のチップツーチップインターフェースには、(基板トレース長さ及びクロックスキューと同じく)ロックダウンサイクルを引き起こす同期FIFOがある。送信機は、ロックダウン状態の間、ロックダウンを知らせる。
受信器は、示されたサイクルの間はデータを入れず(push)、また、それ自体のロックダウンの間はデータを取り出さない(pop)。FIFOの奥行きは、どのチップが最初にロックするかによって変化するが、その変化は、ロックダウンサイクルの最大数によって制限される。特定のチップが1回の広域同期期間の間に判断するロックダウンサイクルの数は変化するが、それらは全て、同じ数の有効なサイクルを有している。特定のファブリック上の各チップが判断するロックダウンサイクルの総数は、同じであって、制限された許容誤差の範囲である。
【0069】
集約装置コアクロックドメインは、ロックダウン持続時間のために完全に停止し、全てのフロップとメモリは、その状態を保持する。入力FIFOは、拡張可能である。ロックダウンバスサイクルは、出力キューに挿入される。コアロックダウンが実行される正確な時期は、DOUT_AG(Digital OUT-Analog Ground)バスプロトコルがロックダウンサイクルを挿入させる時期によって指図される。DOUT_AGロックダウンサイクルは、DestIDバスに示されている。
【0070】
メモリコントローラは、適当な数のサイクルのために、全てのフロップをロックダウンせねばならない。メモリコントローラにおけるシリコン領域への影響を削減するため、伝搬ロックダウンと呼ばれる技術が用いられる。
【0071】
オン−ファブリックのチップツーチップ同期化は、あらゆる同期パルスで実行される。幾つかの同期エラー検出能力が幾つかのASICに存在するけれども、ファブリック同期エラーを検出し、有害なファブリックを取り除くことが非分散器の仕事である。チップツーチップ同期化は、ファブリック上でどの様なパケット流れも可能となる前に行なわれる連鎖式機能である。この同期設定は、集約装置からメモリコントローラへ流れ、セパレータへ行き、またメモリコントローラへ戻る。システムがリセットされた後、集約装置は、第1広域同期信号を待つ。受信後、各集約装置は、DestIDバス上のローカル同期コマンド(値0x2)を、各メモリーコントローラへ送信する。
【0072】
分散処理機能は、ビットを着信データストリームから個々のファブリックに割り当てる。分散処理機能を導き出す際に、2つの項目が最適化された:
1.バックプレーン効率は、OC48及びOC192のために最適化されねばならない。
2.バックプレーン相互接続は、OC192オペレーションのために大きく変更されるべきではない。
【0073】
これらは、分散器及び非分散器ASICに追加された多重通信回路用(muxing)レッグに対して、交互に使用された(traded-off)。最適化に関係なく、スイッチは、OC48とOC192の両方用のメモリコントローラにおいて、同一のデータフォーマットを有さなければならない。
【0074】
バックプレーン効率を効率よくするには、バックプレーンバスを形成する際に加えられるパッディング(padding)を最小にする必要がある。OC48のための12ビットバックプレーンバスと、OC192のための48ビットバックプレーンバスの場合、最適な割り当ての為には、転送用の未使用ビットの数が、(バイト数 *8)/バス幅と同一であることを必要とし、“/”は、整数の分数である。OC48のためには、バスは、0,4又は8の未使用ビットを有することができる。OC192のためには、バスは、0,8,16,24,32又は40の未使用ビットを有することができる。
【0075】
このことは、どのビットも12ビットの境界の間を移動することができないか、あるいは、OC48パッディングは、所定のパケット長さにとって最適ではないことを意味している。
OC192cに関し、最大帯域幅利用とは、各分散器が、同じ数のビットを受信せねばならないということを意味している(即ち、分散器へのビットインターリーブを意味する)。同一のバックプレーン相互接続と組み合わされた場合、これは、OC192cにおいて、各分散器は、1/4のビットを有する各分散器から来る、確実に正しい数のビットを有していなければならないことを意味する。
【0076】
データビットをファブリックに割り当てるために、48ビットのフレームが使用される。分散器の内部には、80〜100MHzでは32ビット幅で書き込まれ、125MHzでは24ビット幅で読み取られるFIFOがある。3つの32ビットの語は、4つの24ビットの語を生じる。24ビットの語の各対は、48ビットのフレームとして扱われる。ビットとファブリック間の割り当ては、ファブリックの数に左右される。
【0077】
【表5】
Figure 0004679794
表11:ビット分散処理機能
【0078】
次の表は、集約装置にて最初に読み取られ、セパレータにて最初に書き込まれるバイトレーンを示している。4つのチャネルは、A、B、C、Dで表されている。全てのバスが完全に使用されるよう、異なるファブリックは、異なるチャネルの読取/書込オーダーを有している。
【0079】
1つのファブリック−40G
次の表は、集約装置のインターフェース読取オーダーを示している。
【0080】
【表6】
Figure 0004679794
【0081】
2つのファブリック−80G
【表7】
Figure 0004679794
【0082】
120G
【表8】
Figure 0004679794
【0083】
3つのファブリック−160G
【表9】
Figure 0004679794
【0084】
6つのファブリック−240G
【表10】
Figure 0004679794
【0085】
12のファブリック−480G
【表11】
Figure 0004679794
【0086】
ギガビットトランシーバへのインターフェースは、トランシーババスを2つの分離したルートワードバスとデータバスとを有する分割バスとして使用する。ルートワードバスは、固定サイズ(OC48の入口には2ビット、OC48の出口には4ビット、OC192の入口には8ビット、OC192の出口には16ビット)であり、データバスは、変更できるサイズのバスである。送信オーダーは、決められた位置にルートワードバスを常に有している。あらゆる分散処理構造は、1つのトランシーバを有しており、これは、全ての有効な構造において目的物と通話するために用いられるものである。そのトランシーバは、両方のルートワードバスを送り、データの送信を開始するために用いられる。
【0087】
バックプレーンインターフェースは、バックプレーントランシーバへのインターフェースを用いて、物理的に行なわれる。入口及び出口両用のバスは、2つの半分部分から構成されていると考えられ、各々は、ルートワードデータを有している。
第1バスの半分部分がパケットを終了するなら、半分バスの2つは、個々のパケットに関する情報を有していてよい。
【0088】
例えば、ファブリックローカル通話に行くOC48インターフェースは、24データビットと2ルートワードビットを有している。このバスは、2x(12ビットデータバス+1ビットルートワードバス)を有しているかの如く作用して用いられる。2つの半バスを、A及びBとする。バスAは、第1データであって、その後にバスBが続く。パケットは、バスAとバスBのどちらでも開始でき、バスAとバスBのどちらでも終了できる。
【0089】
データビットとルートワードビットをトランシーバビットにマッピングする際、バスビットはインターリーブされる。これによって、全てのトランシーバは、たとえ分散処理量が変化しても、同一の有効/無効状態を有さねばならないことを確実にする。ルートワードは、バスBの前に現れるバスAによって解釈される。
バスA/バスBという概念は、チップ間にインターフェースを有することと密接に対応している。
【0090】
全てのバックプレーンバスは、データの断片化をサポートしている。使用されたプロトコルは、(ルートワード中の最終セグメントによって)最後の転送を記録する。最終セグメントでない全ての転送は、たとえ偶数のバイトではなくても、バスの幅全体を利用する必要がある。いかなる一定のパケットも、そのパケットの全ての転送のため、同一の数のファブリックに分散されねばならない。パケットの送信中に、分散器の分散処理量が更新されるとしても、次のパケットの初めに分散処理が更新されるだけである。
【0091】
ASICにおける送信機の各々は、各チャネルのための次のI/Oを有している: 8ビットデータバス、1ビットクロック、1ビットコントロール。
受信側では、ASICは、チャネルに次のものを受信する:
受信クロック、8ビットデータバス、3ビットステータスバス。
【0092】
スイッチは、送信器を1〜3組のバックプレーンにマッピングすることによって、トランシーバを最適化し、各受信器は、1〜3組のバックプレーンを具える。これにより、構造に必要なトラフィックをサポートするのに十分な送信器だけが、完全な1組のバックプレーンネットを維持しながら、基板上に配備される。このような最適化の目的は、必要とされるトランシーバの数を削減することである。
【0093】
最適化が行なわれる一方、どのようなときにも、2つの異なる分散処理量がギガビットトランシーバにおいて支持されねばならないということが尚求められる。このことは、トラフィックが、分散処理データから1つのファブリックへ、又、分散器の分散処理データから2つのファブリックへ同時にエンキュー(enqueue、キューに入れる)されることを可能とする。
【0094】
バスの構造によっては、複数のチャネルは、1つの更に大きな帯域幅のパイプを形成するために、互いに連結される必要があるかもしれない(どのようなときにも、論理的な接続では1つ以上のトランシーバが存在する)。4倍ギガビットトランシーバは4つのチャネルを互いに連結することができるが、この機能は用いられない。代わりに、受信ASICが、1つのソースからのチャネル間での同期設定について役割を果たす。これは、総称同期アルゴリズムと同じ文脈である。
【0095】
ギガビットトランシーバにおける8b/10b符号化/復号化は、多数の制御事象がチャネルによって送られることを許容する。これらの制御事象は、K文字で表示され、符号化された10ビット値に基づいて数字が付される。これらのK文字の幾つかは、チップセットで用いられる。使用されるK文字とその機能は、下記の表に示されている。
【0096】
【表12】
Figure 0004679794
【0097】
パケットに対する分散処理構造によって、スイッチは、各バックプレーンチャネルにサポートされる、変更可能な数のデータビットを有する。トランシーバ一式の内部には、データが次のオーダーで満たされる:
F[ファブリック]_[oc192ポート数][oc48ポート指定(a,b,c,d)][トランシーバ_数]
【0098】
チップセットは、ここに説明する一定の機能を実行する。ここで記載した機能の大半は、複数のASICでサポートされているため、それらをASIC毎に逐次記載することは、求められる機能の全体的な範囲についての明確な理解を妨げることになる。
【0099】
スイッチチップセットは、64K+6バイトの長さまでパケットと協働するように構成されている。スイッチの入口側には、複数のポート間で共有されるバスが存在する。大半のパケットに関して、それらは、パケットの初めからパケットの終わりまで、いかなる中断もなく送信される。しかしながら、この方法は、遅延感知トラフィックの遅延変動量を大きくすることになりかねない。遅延感知トラフィックとロングトラフィックとが、同一のスイッチファブリックに共存できるようにするため、ロングパケットという概念が導入されている。基本的に、ロングパケットによって、大量のデータは、キューイングロケーションに送られ、ソースを基にキューイングロケーションで集積され、ロングパケットの末端部が転送されると、直ちにキューに加えられる。ロングパケットの定義は、各ファブリック上のビット数に基づいている。
【0100】
イーサネット(登録商標)MTUがネットワーク全体に維持された環境でスイッチが作動している場合、ロングパケットは、40Gbpsより大きいサイズのスイッチには見受けられない。
【0101】
ワイドキャッシュライン共有メモリ技術は、セル/パケットをポート/優先キューに格納するために用いられる。共有メモリーは、セル/パケットを継続的に記憶するので、仮想的には、共有メモリーにおいて断片化及び帯域幅の無駄は存在しない。
【0102】
複数のキューが共有メモリーに存在する。それらは、宛先及び優先度毎に基づいている。同一の出力優先度とブレード/チャネルIDを有する全てのセル/パケットは、同一のキューに記憶される。セルは、常にリストの先頭からデキュー(キューから外す)され、待ち行列の末尾にエンキュー(キューに入れる)される。各セル/パケットは、出口ルートワードの一部と、パケット長さ、及び変更可能な長さのパケットデータによって構成されている。セル及びパケットは、継続的に記憶される。即ち、メモリーコントローラー自体は、ユニキャスト(アドレスを1つだけ指定する通信)接続用のセル/パケットの境界を認識しない。パケット長さは、MCパケット用に記憶される。
【0103】
マルチキャストポートマスクメモリー64Kx16−ビットが、マルチキャスト接続用宛先ポートマスクを記憶するために用いられる、即ち、マルチキャストVC毎に1つのエントリー(又は複数のエントリー)である。 マルチキャストDestID FIFOによって示されるヘッドマルチキャスト接続のポートマスクは、スケジューリング検索のために内的に記憶される。ヘッド接続のポートマスクがクリアされ、新たなヘッド接続が提供されると、ポートマスクメモリーが検索される。
【0104】
APSとは、自動保護スイッチングを表し、SONET冗長基準のことである。スイッチにおいてAPSの特徴をサポートするため、2つの異なるポートカードの2つの出力ポートが、略同一のトラフィックを送る。メモリーコントローラーは、APSポート用に1組のキューを維持し、両方の出力ポートに同じデータを送る。
【0105】
メモリーコントローラーASICにおけるデータ2重化をサポートするため、複数のユニキャストキューの1つは各々、プログラム可能なAPSビットを有している。APSビットが1に設定されると、パケットは、両方の出力ポートにデキューされる。APSビットがポート用にゼロに設定されると、ユニキャストキューは、正常モードで作動する。ポートがAPSスレイブとして構成されると、ポートは、APSマスターポートのキューから読み取る。OC48ポートに関し、APSポートは、隣接するポートカードの同じOC48ポート上に常に存在する。
【0106】
ファブリック間のメモリーコントローラーにおける共有メモリーキューは、クロックドリフト又は新たに挿入されたファブリックのために、同期から外れている(即ち、異なるメモリーコントローラーASIC間の同一のキューは、異なる奥行きを有している)。ファブリックキューを、任意の状態から有効かつ同期の状態に持っていくことは重要である。又、いかなる復元機構でもセルをドロップしないことが望ましい。
【0107】
リシンク(再同期)セルは、全てのファブリック(新たな及び既にあるもの)に一斉に送られて、リシンク状態に入る。ファブリックは、リシンクセルの前に受け取った全てのトラフィックを、キューリシンクが終わる前に、排出しようと試みる。しかし、リシンクセル後に受信したトラフィック(回線上のデータ情報量)は、リシンクセルが終了するまで排出されない。キューリシンクは2つの出来事の1つが生じると終了する。
1.時間切れのとき
2.新たなトラフィックの総量が(リシンクセルの後に受け取ったトラフィック)しきい値を越えたとき
【0108】
リシンクキューの終端にて、全てのメモリコントローラは、どのレフトオーバー旧トラフィック(リシンクセルのキューの前に受け取ったトラフィック)をも排出する。解放オペレーションは十分速く、いつリシンク状態に入ったかに拘わらず、全てのメモリコントローラはメモリの全てを一杯にすることができる。
【0109】
キューリシンクは、3つの全てのASICファブリックに与えられる。集約器はFIFOメモリがリシンクセルのキュー後に同様に排出することを確実にしなければならない。メモリコントローラは、キューイング及びドロッピング(データ送信時の損失)を実行する。分離器はトラッフィクをドロッピングし、これが起こったときに長さパージング(構文解析)状態マシンをリセットする。個々のASICにて、キューリシンクの詳細については、ADSチップを参照されたい。
【0110】
デキューについては、マルチキャスト接続(複数の端末に同じ内容を流すこと)は、独立した32のトークンを各ポートに有し、各々は50ビットのデータ又はまとまったパケットに相当する。先頭の接続及びその高優先キューのポートマスクは、各サイクル毎にFIFO接続及びポートマスクメモリから読み出される。まとまったパケットは先頭接続の長さ領域に基づくマルチキャストキャッシュラインから隔てられている。先頭のパケットは、全ての宛先ポートに送られる。
ポートに対してゼロでないマルチキャストトークンが使用可能であるときは、8つのキュー排出器は、パケットを分離器に送る。次の先頭接続は、現在の先頭パケットがその全てのポートに送られるときにのみ、処理されるだろう。
【0111】
キュー構造は、リシンクセルファブリックを介して直ぐに変換され、ポート領域当たりの優先の数が、各ポートがいくつの優先キューを有するかを示すのに用いられる。分散ASICは、ネットワークブレード上にある。
【0112】
以下の語は、スイッチの語彙にて、かなり特有の意味を有する。多くはどこかで述べられたが、これは1箇所にそれらを集めて定義することを企画している。
【0113】
【表13】
Figure 0004679794
Figure 0004679794
Figure 0004679794
【0114】
カウンタ送信と受信の関係は、図6に示される。
【0115】
本発明は例示の目的で前述の実施例に於いて、詳細に記載されてきたが、そのような詳細な記載は単にその目的の為であり、当該分野の専門家であれば、先述の特許請求の範囲によって記載されるようなもののほかにも、発明の精神と範囲から逸脱することなく、変形を成し得るものと理解されるべきである。
【図面の簡単な説明】
本発明の好ましい実施例と本発明を実施する好ましい方法は、添付の図面に示されている。
【図1】本発明のスイッチに於けるパケット分散処理を示す概略図である。
【図2】OC48ポートカードの概略図である。
【図3】鎖状ネットワークブレードの概略図である。
【図4】図4A、図4Bは、ASICファブリックに於ける相互接続を示す概略図である。
【図5】同期パルスの分配状況を示す概略図である。
【図6】夫々セパレータ及び非分散器用の送受信連続カウンタ間の関係に関する概略図である。
【図7】本発明のスイッチの概略図である。
【図8】本発明のスイッチの概略図である。
【図9】本発明のシステムの概略図である。

Claims (15)

  1. ネットワークの固定サイズのATMセルと、可変長パケットを切り換えるスイッチに於いて、
    複数の入力ポートを有し、各入力ポートはネットワークからセルとパケットを受信することができる入力ポート機構であって、RAID技術を用いてセル及びパケットを、セル及びパケットのフラグメントのストライプに形成する入力ポート機構と、
    複数の出力ポートを有し、各出力ポートはネットワークにセルとパケットを送信することができる出力ポート機構と、
    入力ポート機構と出力ポート機構に接続され、パケット又はセルの一方を、何れかの入力ポートから出力ポートに切り換える複数のスイッチファブリックと、
    入力ポートがパケットポートであり、出力ポートがセルポートであるときに、パケットをセルに変換し、入力ポートがセルポートであり、出力ポートがパケットポートであるときに、セルをパケットに夫々変換し、
    入力ポートと出力ポートが両方セルポート又は両方パケットポートであるときは、セルまたはパケットを変換しない変換機構を具え、
    変換機構はRAID技術を用いてストライプからセル及びパケットを形成し、
    変換機構は、出力ポート機構及びスイッチファブリックに接続されていることを特徴とするスイッチ。
  2. 入力ポート機構は、セルを入力ポート機構に受信されたセルとして、パケットを入力ポート機構に受信されたパケットとして認識する検出機構を具え、検出機構は入力ポートに繋がっている請求項1に記載のスイッチ。
  3. 変換機構は、セルをパケットに変える再組立機構を含む請求項2に記載のスイッチ。
  4. 変換機構は、パケットをセルに変える断片化機構を含む請求項3に記載のスイッチ。
  5. 検出機構は、入力ポート機構に受信される各セル及び各パケットにタグを設置し、各セルをセルとして認識し、パケットをパケットとして認識する請求項4に記載のスイッチ。
  6. 断片化機構は、セルを出力ポート機構に送る前に、可変長パケットを固定長さのATMセルに分割する請求項5に記載のスイッチ。
  7. 再組立機構は、パケットを形成するのに必要な全てのセルを並べ、完全なパケットを出力ポート機構に送る請求項6に記載のスイッチ。
  8. スイッチはスイッチファブリックに繋がったバッファを含み、バッファ内にセルとパケットが格納される請求項7に記載のスイッチ。
  9. 断片化機構及び再組立機構は、セルとパケットが出力ポート機構に送られる前に、セルとパケットから夫々タグを除去する請求項8に記載のスイッチ。
  10. バッファはキューを具え、出力ポートに対応したセルは、キュー内に格納される請求項9に記載のスイッチ。
  11. 通信システムに於いて、
    それに沿ってパケットが移行するイーサネット(登録商標)と、
    それに沿ってATMセルが移行するATMネットワークと、
    イーサネット(登録商標)とATMネットワークに繋がって、イーサネット(登録商標)から受信されるパケットをATMネットワークに送られるATMセルに変換し、且つRAID技術を用いてスイッチを通ってパケット及びセルをストライプで送るスイッチを具え、
    スイッチはATMネットワークから受信されたATMセルを、イーサネット(登録商標)に送られるパケットに変える通信システム。
  12. ネットワーク内にて、固定サイズのATMセル及び可変サイズのパケットを搬送する方法であって、
    スイッチの第1の入力ポートで固定サイズのATMセルを受信する工程と、
    RAID技術を用いてセル及びパケットを、セル及びパケットのフラグメントのストライプに形成する工程と、
    セルのフラグメントのストライプをスイッチファブリックに送る工程と、
    入力ポートからの固定サイズのATMセルを、スイッチファブリックを用いてATMセルを可変長パケットに変換する機構に向ける工程と、
    変換機構を用いて、ATMセルを可変長パケットに変換する工程と、
    可変長パケットをスイッチの第1の出力ポートを通ってスイッチから離れて遠くに送る工程とを具えている方法。
  13. ATMセルを変換する工程は、
    変換機構の再組立機構を用いてATMセルを可変長パケットに変換する工程を含む請求項12に記載の方法。
  14. ATMセルを変換する工程は、
    キュー内にて可変長パケットを形成するのに必要な全てのセルを並べ、完全なパケットが出力される工程を含む請求項13に記載の方法。
  15. 可変長パケットを変換する工程は、
    ATMセルを出力する前に、可変長パケットを固定長さのATMセルに分割する工程を含む請求項14に記載の方法。
JP2002507555A 2000-06-30 2001-06-29 正しくする受信器 Expired - Fee Related JP4679794B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/608,241 US6463063B1 (en) 2000-06-30 2000-06-30 Receiver makes right
PCT/US2001/020909 WO2002003593A2 (en) 2000-06-30 2001-06-29 Receiver makes right

Publications (2)

Publication Number Publication Date
JP2004503134A JP2004503134A (ja) 2004-01-29
JP4679794B2 true JP4679794B2 (ja) 2011-04-27

Family

ID=24435638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002507555A Expired - Fee Related JP4679794B2 (ja) 2000-06-30 2001-06-29 正しくする受信器

Country Status (6)

Country Link
US (1) US6463063B1 (ja)
EP (1) EP1234412B1 (ja)
JP (1) JP4679794B2 (ja)
AU (1) AU2001271711A1 (ja)
DE (1) DE60113058T2 (ja)
WO (1) WO2002003593A2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382736B2 (en) 1999-01-12 2008-06-03 Mcdata Corporation Method for scoring queued frames for selective transmission through a switch
US6842422B1 (en) * 1999-06-15 2005-01-11 Marconi Communications, Inc. Data striping based switching system
US6813279B1 (en) * 1999-12-29 2004-11-02 Intel Corporation Ethernet to ATM converter
US6906999B1 (en) 2000-06-30 2005-06-14 Marconi Intellectual Property (Ringfence), Inc. Receiver decoding algorithm to allow hitless N+1 redundancy in a switch
US7009963B1 (en) * 2000-10-11 2006-03-07 Marconi Intellectual Property (Ringfence), Inc. Dual optimality for different data rate backplane transfer
US7236490B2 (en) * 2000-11-17 2007-06-26 Foundry Networks, Inc. Backplane interface adapter
US7596139B2 (en) * 2000-11-17 2009-09-29 Foundry Networks, Inc. Backplane interface adapter with error control and redundant fabric
US7002980B1 (en) 2000-12-19 2006-02-21 Chiaro Networks, Ltd. System and method for router queue and congestion management
US7342942B1 (en) * 2001-02-07 2008-03-11 Cortina Systems, Inc. Multi-service segmentation and reassembly device that maintains only one reassembly context per active output port
US7058057B2 (en) * 2001-05-01 2006-06-06 Integrated Device Technology, Inc. Network switch port traffic manager having configurable packet and cell servicing
US7286566B1 (en) * 2001-05-08 2007-10-23 Cortina Systems, Inc. Multi-service segmentation and reassembly device that maintains reduced number of segmentation contexts
US7362751B2 (en) * 2001-10-03 2008-04-22 Topside Research, Llc Variable length switch fabric
US20120155466A1 (en) 2002-05-06 2012-06-21 Ian Edward Davis Method and apparatus for efficiently processing data packets in a computer network
US7468975B1 (en) 2002-05-06 2008-12-23 Foundry Networks, Inc. Flexible method for processing data packets in a network routing system for enhanced efficiency and monitoring capability
US7266117B1 (en) 2002-05-06 2007-09-04 Foundry Networks, Inc. System architecture for very fast ethernet blade
US7187687B1 (en) 2002-05-06 2007-03-06 Foundry Networks, Inc. Pipeline method and system for switching packets
US7649885B1 (en) 2002-05-06 2010-01-19 Foundry Networks, Inc. Network routing system for enhanced efficiency and monitoring capability
JP3940843B2 (ja) * 2003-05-08 2007-07-04 日本パルスモーター株式会社 シリアル通信システム及びシリアル通信用ローカル端末
US6901072B1 (en) 2003-05-15 2005-05-31 Foundry Networks, Inc. System and method for high speed packet transmission implementing dual transmit and receive pipelines
US7623524B2 (en) * 2003-12-22 2009-11-24 Intel Corporation Scheduling system utilizing pointer perturbation mechanism to improve efficiency
US7570654B2 (en) * 2003-12-22 2009-08-04 Intel Corporation Switching device utilizing requests indicating cumulative amount of data
US20050207436A1 (en) * 2004-03-18 2005-09-22 Anujan Varma Switching device based on aggregation of packets
US7817659B2 (en) 2004-03-26 2010-10-19 Foundry Networks, Llc Method and apparatus for aggregating input data streams
US8730961B1 (en) 2004-04-26 2014-05-20 Foundry Networks, Llc System and method for optimizing router lookup
US7657703B1 (en) 2004-10-29 2010-02-02 Foundry Networks, Inc. Double density content addressable memory (CAM) lookup scheme
US7672244B2 (en) * 2005-03-30 2010-03-02 Cisco Technology, Inc. Converting a network device from data rate traffic management to packet rate
US7554975B2 (en) * 2005-06-30 2009-06-30 Intel Corporation Protocol agnostic switching
US8448162B2 (en) 2005-12-28 2013-05-21 Foundry Networks, Llc Hitless software upgrades
US7903654B2 (en) 2006-08-22 2011-03-08 Foundry Networks, Llc System and method for ECMP load sharing
US8238255B2 (en) 2006-11-22 2012-08-07 Foundry Networks, Llc Recovering from failures without impact on data traffic in a shared bus architecture
US20080159145A1 (en) * 2006-12-29 2008-07-03 Raman Muthukrishnan Weighted bandwidth switching device
US7978614B2 (en) 2007-01-11 2011-07-12 Foundry Network, LLC Techniques for detecting non-receipt of fault detection protocol packets
US8037399B2 (en) 2007-07-18 2011-10-11 Foundry Networks, Llc Techniques for segmented CRC design in high speed networks
US8271859B2 (en) 2007-07-18 2012-09-18 Foundry Networks Llc Segmented CRC design in high speed networks
US8149839B1 (en) 2007-09-26 2012-04-03 Foundry Networks, Llc Selection of trunk ports and paths using rotation
US8090901B2 (en) 2009-05-14 2012-01-03 Brocade Communications Systems, Inc. TCAM management approach that minimize movements
US8599850B2 (en) 2009-09-21 2013-12-03 Brocade Communications Systems, Inc. Provisioning single or multistage networks using ethernet service instances (ESIs)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2570573B2 (ja) * 1993-06-07 1997-01-08 日本電気株式会社 ハイブリッド型通信処理装置
GB9401092D0 (en) * 1994-01-21 1994-03-16 Newbridge Networks Corp A network management system
EP0719065A1 (en) * 1994-12-20 1996-06-26 International Business Machines Corporation Multipurpose packet switching node for a data communication network
JPH08223179A (ja) * 1995-02-16 1996-08-30 Fujitsu Ltd 可変長データ交換機及び同可変長データ交換機を用いた可変長データ中継方法
US5594732A (en) * 1995-03-03 1997-01-14 Intecom, Incorporated Bridging and signalling subsystems and methods for private and hybrid communications systems including multimedia systems
US5734656A (en) * 1995-07-12 1998-03-31 Bay Networks, Inc. Method and apparatus for dynamically allocating bandwidth on a TDM bus
US5809024A (en) * 1995-07-12 1998-09-15 Bay Networks, Inc. Memory architecture for a local area network module in an ATM switch
KR970056248A (ko) * 1995-12-07 1997-07-31 양승택 Ieee p1355 방식을 사용하는 비동기 전송방식 근거리망 스위칭 허브장치 및 그 동작 방법
US5802052A (en) * 1996-06-26 1998-09-01 Level One Communication, Inc. Scalable high performance switch element for a shared memory packet or ATM cell switch fabric
US6028860A (en) * 1996-10-23 2000-02-22 Com21, Inc. Prioritized virtual connection transmissions in a packet to ATM cell cable network
US5946313A (en) * 1997-03-20 1999-08-31 Northern Telecom Limited Mechanism for multiplexing ATM AAL5 virtual circuits over ethernet
JP2000022755A (ja) * 1998-07-02 2000-01-21 Hitachi Ltd ネットワーク装置
JP3866425B2 (ja) * 1998-11-12 2007-01-10 株式会社日立コミュニケーションテクノロジー パケットスイッチ

Also Published As

Publication number Publication date
US6463063B1 (en) 2002-10-08
EP1234412A4 (en) 2003-05-28
AU2001271711A1 (en) 2002-01-14
JP2004503134A (ja) 2004-01-29
EP1234412B1 (en) 2005-08-31
DE60113058D1 (de) 2005-10-06
DE60113058T2 (de) 2006-03-16
EP1234412A2 (en) 2002-08-28
WO2002003593A3 (en) 2002-05-30
WO2002003593A2 (en) 2002-01-10

Similar Documents

Publication Publication Date Title
JP4679794B2 (ja) 正しくする受信器
US7516253B2 (en) Apparatus for storing data having minimum guaranteed amounts of storage
US6473433B1 (en) Queue resynch: synchronous real-time upgrade of a distributed switching system
US7103041B1 (en) Optimization of number of transceivers used in a switch
US7283547B1 (en) Switch fabrics logical synchronization utilizing propagation lockdown
JP2004503133A (ja) クロックドリフトとトランスポート遅延を有する分散型システムに於けるバックプレーン同期化
US6973092B1 (en) Dynamic queue utilization
JP5167391B2 (ja) パケット境界表示器を用いてパケットを格納する方法及び装置
US7106692B1 (en) APS/port mirroring
US6473435B1 (en) Method and apparatus for transferring packets to a memory
JP4798889B2 (ja) ロングパケットの取り扱い
JP4679793B2 (ja) スイッチに於いてn+1冗長化を狙わないことを許す受信器デコードアルゴリズム
JP4679792B2 (ja) 1つの送信先から複数の送信元への非同期バックプレッシャの同期化
JP4662658B2 (ja) 長さとデータを1つのストリームとする転送及び待合せ
JP4716614B2 (ja) 分散されたシステムを更新する同期的且つ動的なレジスタ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040830

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040830

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110202

R150 Certificate of patent or registration of utility model

Ref document number: 4679794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees