JP4679792B2 - 1つの送信先から複数の送信元への非同期バックプレッシャの同期化 - Google Patents

1つの送信先から複数の送信元への非同期バックプレッシャの同期化 Download PDF

Info

Publication number
JP4679792B2
JP4679792B2 JP2002507551A JP2002507551A JP4679792B2 JP 4679792 B2 JP4679792 B2 JP 4679792B2 JP 2002507551 A JP2002507551 A JP 2002507551A JP 2002507551 A JP2002507551 A JP 2002507551A JP 4679792 B2 JP4679792 B2 JP 4679792B2
Authority
JP
Japan
Prior art keywords
distributor
separator
fabric
timing
back pressure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002507551A
Other languages
English (en)
Other versions
JP2004503131A (ja
JP2004503131A5 (ja
Inventor
スパグノーロ,ギアンフランコ
シュルツ,ジェフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ericsson AB
Original Assignee
Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ericsson AB filed Critical Ericsson AB
Publication of JP2004503131A publication Critical patent/JP2004503131A/ja
Publication of JP2004503131A5 publication Critical patent/JP2004503131A5/ja
Application granted granted Critical
Publication of JP4679792B2 publication Critical patent/JP4679792B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/60Software-defined switches
    • H04L49/608ATM switches adapted to switch variable length packets, e.g. IP packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/10Packet switching elements characterised by the switching fabric construction
    • H04L49/104Asynchronous transfer mode [ATM] switching fabrics
    • H04L49/105ATM switching elements
    • H04L49/108ATM switching elements using shared central buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/15Interconnection of switching modules
    • H04L49/1553Interconnection of ATM switching modules, e.g. ATM switching fabrics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • H04L49/9063Intermediate storage in different physical parts of a node or terminal
    • H04L49/9078Intermediate storage in different physical parts of a node or terminal using an external memory or storage device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0685Clock or time synchronisation in a node; Intranode synchronisation
    • H04J3/0688Change of the master or reference, e.g. take-over or failure of the master
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5625Operations, administration and maintenance [OAM]
    • H04L2012/5627Fault tolerance and recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5629Admission control
    • H04L2012/5631Resource management and allocation
    • H04L2012/5632Bandwidth allocation
    • H04L2012/5635Backpressure, e.g. for ABR
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5638Services, e.g. multimedia, GOS, QOS
    • H04L2012/564Connection-oriented
    • H04L2012/5642Multicast/broadcast/point-multipoint, e.g. VOD
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5638Services, e.g. multimedia, GOS, QOS
    • H04L2012/5665Interaction of ATM with other protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5678Traffic aspects, e.g. arbitration, load balancing, smoothing, buffer management
    • H04L2012/5681Buffer or queue management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Description

【0001】
発明の分野 本発明は、ファブリック(fabric)からポートカードへ、パケットのフラグメント(fragment)を伝送することに関する。特に、本発明は、ファブリック(fabric)からポートカードへ、パケットのフラグメント(fragment)を伝送すること
、及び、バックプレッシャ信号によって、異なるファブリックからポートカードへ、同じパケットのコンパニオン(companion)フラグメントの伝送が停止されることに関する。
【0002】
発明の背景 非分散器は、非分散器内部のFIFOが満杯に近くなると、セパレータにバックプレッシャを与える必要がある。バックプレッシャ信号は、全てのASICに対して非同期(asynchronous)であり、関係する全てのセパレータが、正確に同じ論理的サイクルで、非分散器の特定のチャンネルからのバックプレッシャを受信することが要求される。セパレータは、1つの完全なカウンタチック間隔(counter tick interval)について、正確に同じ論理的サイクルで正しいデータ(同じパケットのコンパニオンフラグメント)を送信することを停止する必要がある。複数のファブリックへのデータの分散を行い、パリティデータを別のファブリックへ送るスイッチは、米国特許公報09/333,450号に開示されている。同公報は引用をもって記載に加える。また、米国特許公報09/293,563号を参照すると、ワイドメモリTDMスイッチングシステムが開示してあり、同公報も引用をもって記載に加える。
【0003】
発明の要約 本発明はスイッチに関する。スイッチは、複数のポートカードを具えている。各ポートカードは、複数の内部FIFOを有する非分散器を具えており、該複数の内部FIFOが所定の量のパケットのフラグメントを有する場合はいつでも、非分散器は、バックプレッシャ信号を発生する。非分散器は、非分散器タイミング機構を有し、該機構は、非分散器のオペレーションのタイミングを維持する。スイッチは、複数のファブリックを具えている。各ファブリックは、各ポートカードと繋がれている。各ファブリックはセパレータを有し、該セパレータは、パケットのフラグメントを関係する非分散器に送り、セパレータがバックプレッシャ信号を受信する場合には、パケットのフラグメントの送信を停止する。また、各ファブリックはファブリッククロックを有し、該クロックは、セパレータのオペレーションのタイミングを維持する。該ファブリッククロックは、非分散器のオペレーションのタイミングに対する所定のセパレータ遅延で、セパレータのオペレーションのタイミングを維持する。全てのセパレータが、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、セパレータ遅延は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のあらゆるバックプレッシャ伝播遅延よりも大きい。
【0004】
本発明は、パケットをスイッチングする方法に関する。該方法は、ポートカードに繋がれているファブリックのフラグメントからの、所定の量のパケットのフラグメントで、ポートカードの内部メモリを充てんする工程を具える。そして、全てのファブリックが、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、ポートカードからファブリックへバックプレッシャ信号を送信する工程がある。充てん工程は、ポートカードの複数のFIFOのうち少なくとも1つのFIFOを所定の量に充てんする工程を含むのが好ましい。
【詳細な説明】
【0005】
幾つかの図面を通じて、同じ符号は類似又は同一の部分を示している。図8を参照すると、スイッチ(10)が示されている。スイッチ(10)は、複数のポートカード(12)を具えている。各ポートカード(12)は、非分散器(14)を有しており、該非分散器(14)は、複数の内部FIFOを有している。複数の内部FIFOのいずれか1つが、所定の量のデータのパケットのフラグメントを有する場合にはいつでも、非分散器(14)はバックプレッシャ信号を発生する。非分散器(14)は、非分散器タイミング機構(18)を有し、該機構(18)は、非分散器(14)のオペレーションタイミングを維持する。スイッチ(10)は、複数のファブリック(20)を具える。各ファブリック(20)は、各ポートカード(12)と繋がれている。各ファブリックはセパレータ(22)を有し、該セパレータ(22)は、パケットのフラグメントを関係する非分散器(14)に送り、セパレータ(22)がバックプレッシャ信号を受信する場合には、パケットのフラグメントの送信を停止する。また、各ファブリック(20)はファブリッククロック(24)を有し、該クロック(24)は、セパレータ(22)のオペレーションのタイミングを維持する。該ファブリッククロック(24)は、非分散器(14)のオペレーションのタイミングに対して、所定のセパレータ(22)遅延で、セパレータ(22)のオペレーションのタイミングを維持する。セパレータ(22)は、周期的なベント(vent)を用いて、非分散器(14)が用いるイベントに対する所定の遅延であるバックプレッシャ信号と同期する。全てのセパレータが、同じ論理的サイクルで、同じパケットのコンパニオンフラグメントを送ることを停止するように、セパレータ(22)遅延は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のあらゆるバックプレッシャ伝播遅延よりも大きい。セパレータは、xサイクル毎にカウンタをインクリメントする。非分散器は、xサイクル毎にカウンタをインクリメントする。非分散器のカウンタ遷移(transition)は、セパレータに対してdサイクルだけ遅れている。
【0006】
各ポートカード(12)は分散器(26)を有し、非分散器(14)からのバックプレッシャ信号は、分散器(26)に送られ、さらに分散器(26)から各ファブリック(20)に送られる。各ファブリック(20)は集約装置(28)を有し、該集約装置(28)はバックプレッシャ信号を受信し、そのバックプレッシャ信号をセパレータ(22)に送るのが好ましい。非分散器タイミング機構(18)は、受信シーケンスカウンタを含むのが好ましい。
【0007】
分散器(26)は送信シーケンスカウンタ(32)を有し、該送信シーケンスカウンタ(32)は、受信シーケンスカウンタ(30)のタイミングシーケンスから遅れた所定のサイクル数に、分散器(26)のタイミングシーケンスを維持する。非分散器(14)は、バックプレッシャ信号を非同期的に(asynchronously)発生するのが好ましい。受信シーケンスカウンタ(30)からのタイミングは、図に示されるように、送信シーケンスカウンタ(32)からのタイミングに対して150サイクル遅れるのが好ましい。
【0008】
本発明は、パケットをスイッチングする方法に関する。該方法は、ポートカード(12)に繋がれているファブリックのフラグメントからの、所定の量のパケットのフラグメントで、ポートカード(12)の内部メモリを充てんする工程を具える。そして、全てのファブリック(20)が、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、ポートカード(12)からファブリック(20)へバックプレッシャ信号を送信する送信工程がある。充てん工程は、ポートカード(12)の複数のFIFOのうち少なくとも1つのFIFO(16)を、所定の量に充てんする工程を含むのが好ましい。
【0009】
充てん工程は、ポートカード(12)の非分散器(14)の複数のFIFO(16)のうち少なくとも1つのFIFOを、所定の量に充てんする工程を含むのが好ましい。全てのセパレータが、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、送信工程は、バックプレッシャ信号を各ファブリック(20)のセパレータ(22)に送信する工程を含むのが好ましい。送信工程は、バックプレッシャ信号を非分散器(14)からポートカード(12)の分散器(26)へ送る工程と、バックプレッシャ信号を分散器(26)から各ファブリック(20)の各セパレータ(22)へ送る工程とを含むのが好ましい。
【0010】
分散器(26)から各セパレータ(22)へバックプレッシャ信号を送る工程は、分散器(26)から各ファブリック(20)の集約装置(28)へバックプレッシャ信号を送る工程と、集約装置(28)からセパレータ(22)へバックプレッシャ信号を送る工程とを含むのが好ましい。非分散器からセパレータへの直接のパスが存在しないので、このようにされる。集約装置パスの分散器は、単にバックプレッシャ信号を運ぶ手段である。充てん工程の前に、ポートカード(12)の受信シーケンスカウンタを用いて、ポートカード(12)のタイミングシーケンスを維持する工程があるのが好ましい。充てん工程の前に、送信シーケンスカウンタ(32)、及び受信シーケンスカウンタ(30)のタイミングシーケンスから遅れた所定のサイクル数を用いて、分散器(26)のタイミングシーケンスを維持する工程があるのが好ましい。充てん工程の前に、各セパレータ(22)のファブリッククロック(24)を用いて、各ファブリック(20)のセパレータ(22)のオペレーションを、非分散器(14)のオペレーションのタイミングに対する所定のセパレータ(22)遅延に維持する工程を含むのが好ましい。全てのセパレータが、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、セパレータ(22)遅延は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のあらゆるバックプレッシャ伝播遅延よりも大きい。その上、さらに好ましい実施例では、分散器及び集約装置を通過する必要がなく非分散器とセパレータの間で通信を行うことができるような、非分散器とセパレータの間の直接的なコネクションが存在する。
【0011】
本発明の実施において、スイッチ(10)は、同期バックプレッシャ信号を用いることなしに、大きく変化する伝播遅延とクロックドリフトとを有するシステムで、1つの送信先から複数の送信元に亘って同期バックプレッシャイベントが発生するという意味で、明らかな利点を有する。
【0012】
非分散器(14)の内部FIFO(16)が満杯に近くなる場合に、非分散器(14)は、バックプレッシャをセパレータに与える。各セパレータ(22)は、これが繋がれている全てのポートカード(12)から、独立した24のバックプレッシャ信号が来ることを見込んでいる。バックプレッシャ信号は、全てのASICに対して非同期であると考えられる。全ての関係するセパレータは、正確に同じサイクルで非分散器(14)の特定のチャンネルからバックプレッシャを受け取る。このことは、非分散器(14)の受信シーケンスカウンタ(30)が遷移する際に、非分散器(14)がバックプレッシャ信号を表明する(assert)ことによって行われる。非分散器の受信シーケンスカウンタ(30)は、セパレータの送信シーケンスカウンタの遅延バージョンであると想定される。カウンタチックの長さ250サイクルであり、受信カウンタは、送信カウンタに対して150サイクル遅れているから、図に示すように、非分散器(14)からセパレータ(22)へバックプレッシャを運ぶための150サイクルのマージンが存在する。セパレータ(22)は、バックプレッシャ信号をサンプリングするのに、シーケンスカウンタの遷移の前に、約10サイクルを必要とする。これによりセパレータ(22)は充分な時間が与えられ、カウンタ遷移の前に、バックプレッシャを上流のASICに与える。これは、バックプレッシャ信号に最大の要求を出す。以下の要求が当てはまる:
バックプレッシャ伝播遅延 < カウンタチック長さ − 受信同期パルス遅延 − セパレータのサンプルポイントのセットアップ時間
バックプレッシャ伝播遅延 < 250 − 150 − 10
バックプレッシャ伝播遅延 < 90サイクル@125MHz又は720ns
【0013】
最悪のケースを仮定すると、予期される最悪の伝播遅れは次のようになる:
バックプレッシャ伝播遅延 = (非分散器から分散器への遅延)+(分散器から集約装置への遅延)+ 集約装置からセパレータへの遅延
バックプレッシャ伝播遅延 =5サイクル(チップ及びボードの遅延)+(5+62サイクル(チップ及びボードからファブリックへの500nsの遅延))+5サイクル(チップ及びボードの遅延)
バックプレッシャ伝播遅延 = 77サイクル < 90サイクル
この見積りから理解されるように、最悪のバックプレッシャ遅延に出くわす。
【0014】
全ての関係するセパレータが、次のシーケンスカウントへの遷移の前にバックプレッシャ信号を受信すると仮定すると、それは、送信シーケンスカウンタ(32)の次の遷移に同期化される。このことにより、全ての関係するセパレータが、1つの完全なコンピュータチック間隔の間、正確に同じ論理的サイクルで正しいデータを送ることを中止できる。送信シーケンスカウンタ(32)が遷移する際、セパレータが送っているデータは同じパケットのフラグメントであると想定されるから、このことは正しい。次のカウンタ遷移の前にパックプレッシャが再度サンプリングされる場合は、データは別のカウンタチック間隔の間中止される。この機構は、バックプレッシャはカウンタチック長さの粒度でのみ生成されることを暗示する。非分散器(14)からセパレータ(22)までの直接の経路は存在しないから、バックプレッシャ信号は、非分散器(14)から分散器(26)へ、さらに集約装置(28)へ、最終的にセパレータ(22)へと再送される(re-routed)必要がある。これを行うために、各非分散器(14)は、そのポートカード(12)上の対応する分散器(26)にバックプレッシャ信号を送る必要がある。分散器(26)は、バックプレーンギガビットトランシーバを通じて集約装置(28)にバックプレッシャ信号を転送する。集約装置(28)は、バス当たり4チャンネルを有する6つのバスに対応して、1つのセパレータ(22)に独立した24のバックプレッシャ信号を転送する。バックプレッシャ信号は、通常ギガビットトランシーバのビット0を使用する。集約装置(28)内の受信シンクロナイザ(synchronizer)ブロックは、セパレータ(22)への適切なバスとチャンネルのために正しいバックプレッシャ信号を転送する。ギガビットレシーバは、いかなる特定のバスとチャンネルにも専用されていないから、シンクロナイザは、通常のデータについて行うのと同じように、スイッチ(10)の構成に基づく正しいギガビットレシーバを選択する必要がある。これがなされると、ギガビットレシーバのビット0は、バックプレッシャ信号のように転送される。ビット0は、また、kキャラクタを受信するために使用され、kキャラクタを送信する際に変化できることに注意しなければならない。正しいバックプレッシャ信号としてkキャラクタのビット0を誤って解釈することを避けるために、シンクロナイザは、正しいデータがギガビットレシーバから受信された際に、バックプレッシャビットのみサンプリングする。kキャラクタが受信される場合、シンクロナイザは、バックプレッシャ信号を現在の値に保持する。さらに、送るものが存在しないから、分散器(26)は、連続する(back-to-back)アイドルキャラクタを送れる場合もある。この場合において、分散器(26)はバックプレッシャ信号の値を変える必要があるならば、バックプレッシャの値を変化させる2つのkキャラクタの1つを送る。使用される2つのkキャラクタは、バックプレッシャ信号のセットとクリアである。シンクロナイザは、バックプレッシャセット又はクリアのキャラクタを受信する場合、それぞれバックプレッシャ信号をセット又はクリアする。いかなる他のkキャラクタが受信されても、適切なギガビットレシーバのビット0は、バックプレッシャ信号と同様にサンプリングされる。
【0015】
スイッチは、RAID技術を使用し、個別のファブリック帯域幅を最小限にしつつ、スイッチ帯域幅全体を増大する。スイッチアーキテクチャにおいて、全てのデータは全てのファブリックに均一に分配されるので、スイッチはファブリックを加えることによって帯域幅を増し、ファブリックは、スイッチが帯域幅容量を増大すれば、ファブリックの帯域幅容量を増大する必要がない。
【0016】
各ファブリックは40G(bps)の交換帯域幅を提供しており、システムは、冗長/予備ファブリックを除いた1、2、3、4、6又は12ファブリックを利用する。換言すると、スイッチは、ファブリックが幾つインストールされるかによって、40G(bps)、80G、120G、160G、240G又は480Gのスイッチとなり得る。
【0017】
ポートカードは、10G(bps)のポート帯域幅を提供する。4ポートカード当たり1ファブリックになることが必要である。スイッチアーキテクチャは、ポートカード及びファブリックの任意インストレーションをサポートしない。
【0018】
ファブリックASICsは、セルとパケットの両方をサポートする。全体として、スイッチは、"受信器が適切にする(receiver makes right)"方法をとっており、この方法においてATMブレード上の出口パス(egress path)は、フレームをセグメント化してセルにしなければならず、フレームブレード上の出口パスは、セルをまとめて再びパケットにしなければならない。
【0019】
スイッチ内で使用される一般に8スイッチのASICは:
−分散器(Striper)−分散器は、ポートカード及びSCP−IM上に在する。それは、データを12ビットのデータストリームにフォーマットし、チェックワードを添付し、N即ちシステム中の予備でないファブリックを横切ってデータストリームを分割し、他のファブリックに向かうストライプと同等な幅のパリティストライプを生成し、且つN+1データストリームをバックプレーンへ送出する。
−非分散器(unstriper)−非分散器は、スイッチアーキテクチャ内の他のポートカードASICである。これは、システム中の全てのファブリックからデータストリームを受信する。次に、誤り検出修正を実行するために、チェックワード及びパリティ分散を使用して、元のデータストライプを再構築する。
−集約装置(Aggregator)−集約装置は、分散器からデータストリーム及びルートワードを取り出し、それらを多重化してメモリコントローラへの単一の入力ストリームにする。
−メモリコントローラ−メモリコントローラは、スイッチのキュー及びデキュー(キューから外す)メカニズムを実行する。これは、クロックサイクル毎に複数セルのデータを同時にエンキュー(enqueue、キューに入れる)/デキューをするために、独占排他権を有する広いメモリインタフェースを含んでいる。メモリコントローラのデキュー側は、コネクションのキュー及びシェーピングの大部分をポートカード上で行わせるために、40Gbpsよりも80Gbpsで稼働する。
−セパレータ−セパレータは、集約装置と逆の操作を実行する。メモリコントローラからのデータストリームは、複数のデータストリームに逆多重され、適当な非分散器ASICへ送達される。非分散器へのインタフェースには、キューとフローとの制御ハンドシェーキングが含まれている。
【0020】
ファブリック間のコネクションについては、3つの異なった視点即ち、物理的、論理的、及び「動的」な視点で見ることができる。物理的には、ポートカードとファブリックとの間のコネクションは、あらゆるギガビット速度の差分ペアのシリアルリンクである。これは、厳密に言うと、バックプレーンへ向かう信号数を減少するための実現(implementation、ソフトとハードの調整)の問題である。"動的な"観点では、単一のスイッチの形状を考察するか、又は所定の時点でデータが如何に処理されているかというスナップショットとして考察されるだろう。ポートカード上のファブリックASICとファブリックとの間のインタフェースは、12ビット幅であるのが効果的である。それらの12ビットは、ファブリックASICsが如何に構成されているかによって1、2、3、4、6又は12ファブリックへ均一に分散(stripe)される。"動的"な観点は、現在の構成において各ファブリックによって処理されているビットの数を意味しており、これはファブリック数で割るとちょうど12である。
【0021】
論理的な視点は、ある得る動的構成の全ての合併又は最大機能として考えられることができる。ファブリックスロット#1は、構成に応じて、単一分散器からのデータの12、6、4、3、2又は1ビットを処理しているであろうゆえに、12ビットバスで引き抜かれる。それとは対照的に、ファブリックスロット#3は、単一分散器からのデータの4、3、2又は1ビットを処理するのに使用されるだけであるがゆえに、4ビットバスで引き抜かれる。
【0022】
以前のスイッチとは違って、該スイッチは、ソフトウェアにより制御可能なファブリック冗長モードの概念を全く有していない。ファブリックASICsは、予備ファブリックがインストールされている限り、介入なしにN+1冗長を実行する。
【0023】
ここで提供される限り、N+1冗長は、ハードウェアが、データの損失なしに自動的に単一の障害を検出し、修正することを意味する。
【0024】
冗長性が作動する方法はかなり単純だが、3つのファブリック(A、B及びC)+予備(S)を有する120Gスイッチが使用される特定のケースを理解すれば、より簡単になる。分散器は、12ビットバスを選び、まず、データユニット(セル又はフレーム)に添付されるチェックワードを生成する。次に、データユニット及びチェックワードは、A、B及びCファブリックの各々についてクロックサイクル当り4ビットデータストライプ(A3A2A1A0、B3B2B1B0及びC3C2C1C0)に分割される。次に、これらのストライプは、予備ファブリックS3S2S1S0用のストライプを生成するのに使用される。ここで、Sn=An XOR Bn XOR Cnであり、これら4つのストライプは、それらの対応するファブリックへ送られる。ファブリックの反対側において、非分散器は、A、B、C及びSから4つの4ビットストライプを受け取る。次に、3つのファブリックのあり得る全ての組合せ(ABC、ABS、ASC及びSBC)は、"一時的な"(tentative)12ビットのデータストリームの再構築に使用される。次に、チェックワードは、4つの一時的なストリームの各々のために計算され、計算されたチェックワードは、データユニットの端部のチェックワードと比較される。伝送の間にエラーが生じなかった場合、4ストリーム全ては、チェックワードが整合しており、ABCストリームは非分散器出力へ転送される。(単一の)エラーが生じた場合、1つのチェックワードだけが整合しており、整合を含むストリームはチップ外へ転送され、非分散器は不良のファブリック分散を識別する。
【0025】
スイッチの構成が異なると、即ち、1、2、4、6又は12ファブリックであると、アルゴリズムは同一であるが、ストライプ幅は変化する。
2つのファブリックが故障すると、スイッチ中を流れるデータの全ては、殆ど確実に崩れが生じるであろう。
【0026】
ファブリックスロットは、番号が付され、昇順に並べられなくてはならない。また、予備ファブリックは特定のスロットであるから、ファブリックスロット1、2、3及び4は、ファブリックスロット1、2、3及び予備とは異なる。前者は冗長のない160Gスイッチであり、後者は冗長を含む120Gである。
【0027】
第一に、特定のポートカードスロットを使用するには、そこに、予備を含まない少なくとも1つの所定の最小数のファブリックがインストールされることが必要であるように、ASICは構成され、バックプレーンは接続される。この関係は表0に示されている。
【0028】
それに加え、スイッチ内のAPS冗長は、特にペアのポートカードに限定される。ポートカード1及び2はペア、ポートカード3及び4はペアというようになっており、これはポートカード47及び48まで続いている。これは、APS冗長が要求される場合、ペアのスロットは一緒でなければならないことを意味している。
【0029】
簡単な例として、2つのポートカード及びファブリックを1つだけ含む構成を挙げてみる。ユーザがAPS冗長の使用を望まない場合、2つのポートカードは、ポートカードスロット1乃至4のうちの任意の2つにインストールされることができる。APS冗長が望まれる場合には、2つのポートカードは、スロット1及び2、或いはスロット3及び4の何れかにインストールされなければならない。
【0030】
【表1】
Figure 0004679792
表0:ポートカードスロットの使用に関するファブリックの要件
【0031】
容量を増やすには、新たなファブリックを追加し、スイッチが変化を認識し、新しいファブリックの数を分散してシステムを再形成するのを待つ。新しいポートカードをインストールする。
【0032】
技術的には、ファブリック毎に容量一杯の4つのポートカードを持つことは不要である。スイッチは、3つのインストール済ファブリック及びスロット(12)の単一ポートカードで正常に機能する。これはコスト面では有効ではないが、機能可能である。
【0033】
容量を削除するには、容量追加の工程を逆に行う。
もし、スイッチが超過したとき、即ち、8つのポートカードと1つのファブリックをインストールした場合。
スイッチが超過するのは、スイッチを適度でないアップグレードしたとき、又はある種のシステム障害の結果として発生するだけである。現実には、この状況がどのように発生するかによって2つのうちの1つが発生する。もしスイッチが40Gスイッチとして構成され、ファブリック前にポートカードが追加されたら、第5から第8ポートカードは用いられない。もし、スイッチが80Gの非冗長のスイッチとして構成され、第2ファブリックが不能又は削除されると、スイッチを通じたすべてのデータが不正になる(予備のファブリックはインストールされていないと仮定する)。そして、完了直前に、もし8つのポートカードが80Gの冗長スイッチにインストールされており、そして、第2ファブリックが不能又は削除されていると、予備のスイッチが不能又は削除されたファブリックをカバーして通常の操作を続行する。
【0034】
図1は、スイッチのパケットストライピングを表している。
チップセットは、OC48及びOC192cの両方の構成中のATM及びPOSポートカードをサポートする。OC48ポートカードは、4つの別々のOC48フローを用いてスイッチングファブリックへインターフェースする。OC192ポートカードは、4チャンネルを10Gストリームへ論理的に結合させる。ポートカードの入口側は、ATMセルとパケット間で変化するトラフィックへのトラフィック変換を実行しない。受信したトラフィックのフォームがどれであれ、スイッチファブリックへ送られる。スイッチファブリックはパケットとセルを混合し、パケットとセルの混合をポートカードの出口側へデキューする(キューから外す)。
【0035】
ポートの出口側は、トラフィックを変換して出力ポートへの適正なフォーマットとしなければならない。この変換は、スイッチの内容について"受信器が適切にする(receiver makes right)"として呼ばれている。セルブレードは、パケットの区切りを実行し、セルブレードはセルをパケット内にて再組立する必要がある。ファブリックのスピードアップをサポートするため、ポートカードの出口側は、ポートカードの着信側の2倍に等しいリンクバンド幅を用いる。
【0036】
ポセイドンをベースにした(Poseidon-based)ATMポートカードのブロック図は、図2に示される。各2.5Gチャンネルは入力側TM、入力側の分散器ASIC、非分散器ASIC、出力側の出力TM ASICの4つのASICで構成される。
【0037】
入力側において、OC−48c又は4OC−12cインターフェースは集約される。各ボルテックス(vortexs)は、2.5Gセルストリームを専用の分散器ASICへ送信する(下記に表されるようにBIBバスを使用する)。分散器は供給されたルートワードを2つの部分へ変換する。ルートワードの一部は、セルへの出力ポートを決定するためファブリックへ送られる。全ルートワードもまた、出力メモリコントローラによって使用されるルートワードとしてバスのデータ部分上へ送られる。第1ルートワードは「ファブリックルートワード」として表される。出力メモリコントローラのルートワードは「出口ルートワード」である。
【0038】
出力側において、各チャンネルの非分散器ASICは各ポートカードからトラフィックをとり、エラーチェックしデータを修復し、出力バス上へ正常なパケットを送信する。非分散器ASICは、予備のファブリックからのデータ、及び分散器によりインサートされるチェックサムを使用して、データ異常を検出し修復する。
【0039】
図2は、OC48ポートカードを表す。
OC192ポートカードは、ファブリックへの一つの10Gデータ流れ、及び10Gと20G間の出口データ流れをサポートする。このボードも4つの分散器及び4つの非分散器を使用する。しかし、4つのチップは拡張データバス上で並列に操作される。各ファブリックへ送られたデータは、OC48及びOC192ポートの両方について同一であり、データは、特別な変換機能を必要としないポートタイプ間を流れる。
【0040】
図3は、10G連結ネットワークブレードを表す。
各40Gスイッチファブリックは、40Gbpsセル/フレームまでエンキューし(enqueue、キューに入る)、それらを80Gbpsでデキューする。この2Xスピードアップにより、ファブリックにて緩衝されたトラフィックの量が減り、ラインレートの十分上方で出力ASICダイジェストのトラフィックを噴出させる。スイッチファブリックは集約装置(aggregator)、メモリコントローラ、セパレータの3種類のASICから構成される。9つの集約装置ASICは、48までのネットワークブレード及びコントロールポートからのトラフィックの40Gbpsを受信する。集約装置ASICは、ファブリックルートワード及びペイロードを結合して、単一データストリーム、及びソース間のTDMにし、配備され生じる結果をワイド出力バス上に設置する。追加のコントロールバス(destid)は、メモリコントローラがデータをどのようにエンキューするかをコントロールするのに使用される。各集約装置ASICからのデータストリームは12のメモリコントローラへ分けられる。
【0041】
メモリコントローラは、16までのセル/フレームを各時刻サイクルで受信する。各12のASICは集約されたデータストリームの1/12を収納する。次に入力中のデータはdestidバス上に受信されたコントロール情報を基にしており収納される。データの収納は、メモリコントローラにて、パケット境界が比較的気づかないほどに単純化される(キャッシュ ライン コンセプト)。全12のASICは80Gbpsに集約されたスピードで、収納されたセルを同時にデキューする(キューから外す)。
【0042】
9つのセパレータASICは集約装置ASICの逆機能を実行する。各セパレータは全ての12のメモリコントローラからのデータを受信し、集約装置によってデータストリームに埋め込まれたルートワードを復号し、パケット境界を探す。各セパレータASICは、データがセパレータへ送られたようにメモリコントローラによって示された正確な目的地に応じて、24までの別の非分散器にデータを送る。
【0043】
デキュー工程は、バックプレッシャされる。もし、バックプレッシャが非分散器に適用されたら、バックプレッシャはセパレータへ逆連繋される。セパレータ及びメモリコントローラも、メモリコントローラが出力ポートへトラフィックをデキューできる時に制御するバックプレッシャメカニズムを有する。
【0044】
チップセットのOC48及びOC192を有効的にサポートする為に、1つのポートカードからの4つのOC48ポートは常に同じ集約装置へと同じセパレータから送られる(集約装置及びセパレータのポート接続は常に対称である)。
【0045】
図4及び図5は、ファブリックASICの接続を表している。
スイッチの外部インターフェースは、分散器ASICとボルテックス(vortex)などの入口ブレードASIC間の入力バス(BIB)であり、非分散器ASICとトライデント等の出口ブレードASIC間の出力バス(BOB)である。
分散器ASICは入力バス(BIB)を経由した入口ポートからのデータを受け取る(DIN ST bl ch busとしても知られる)。
【0046】
このバスは、4つの別々の32ビット入力バス(4×OC48c)、又は全ての分散器へのコントロールラインの共通セットを具え、単一128ビット幅データバスの何れかとしても作動できる。このバスは、分散器チップのソフトウェア構成に基づいたセル又はパケットのどちらかをサポートする。
【0047】
非分散器ASICは出力バス(BOB)(DOUT UN bl ch busとしても知られる)を経由して出口ポートへデータを送る。それはセル又はパケットのどちらかをサポートできる64(又は256)ビットデータバスである。それは下記の信号から構成される。
【0048】
このバスは、4つの別々の32ビット出力バス(4×OC48c)、又は全ての非分散器からのコントロールラインの共通セットを具え、単一128ビット幅データバスの何れかとして作動できる。このバスは、非分散器チップのソフトウェア構成に基づくセル又はパケットのどちらをも用いる。
【0049】
同期装置は2つの主な目的を持つ。第1の目的は、論理的セル/パケット又はデータグラムを全てのファブリックに亘って順序付けて維持することである。ファブリックの入口インターフェース上で、1つのポートカードのチャンネルから1つ以上のファブリックに達するデータグラムは、全てのファブリックが同じ順序で処理される必要がある。同期装置の第2の目的は、たとえ、データグラムセグメントは1つ以上のファブリックから送られ、違う時間にブレード出口入力に到着しても、ポートカードの出口チャンネルを有し、一緒に属している全てのセグメント又はデータグラムのストライプを再構成することである。このメカニズムは、別のネット遅延と、ブレードとファブリック間にてクロックドリフトの変動量を有するシステムで維持することが必要である。
【0050】
スイッチは、開始情報がシステム全体に伝わる同期ウィンドウのシステムを使用する。各送信器及び受信器は、最新の再同期表示から多数のソースからの同期データまで関連するクロックカウントを見ることが出来る。受信器は広域同期表示を受け取った後に、プログラム可能な遅延まで、同期期間での第1クロックサイクルのデータの受取を遅らせる。
この時点で、全てのデータは同時に受信されたと考えられ、修正された順序付けが適用される。ボックスを通じた遅れのために、パケット0及びセル0の遅延が別の順序で受信器に見られることを引き起こすにもかかわらず、受信時間=1に於ける両方のストリームの結果順序は、物理的バスに基づいて、そこから受信したパケット0、セル0と同じである。
【0051】
多重セル又はパケットを、1つのカウンタチック(counter tick)へ送信することができる。全ての宛先は、第2インターフェース等に移動する前に、第1インターフェースからの全てのセルを整える。このセル同期化技術は、全てのセルインターフェースに使用される。幾つかのインターフェース上には別の解決方法が必要とされる。
【0052】
同期装置は、2つの主なブロックから成る。主に、送信器と受信器である。送信器ブロックは、分散器及びセパレータASICに属する。受信器ブロックは、集約装置及び非分散器ASIC内にある。集約装置の受信器は、24(6ポートカード×4チャンネル)入力レーンまで扱える。非分散器の受信器は、13(12ファブリック+1パリティーファブリック)入力レーンまで扱える。
【0053】
同期パルスの受信時、送信器は先ず早いクロックサイクル(Nクロック)の数を計算する。
【0054】
送信同期装置は、出力ストリームを遮断し、及びロックダウンすることを示すNKキャラクターを伝達する。ロックダウンシーケンスの最後に、送信器は次のクロックサイクルにて有効データが始まることを示しているKキャラクターを伝達する。この次のサイクル有効表示は、全てのソースからトラフィックを同期すらために受信器によって使用される。
【0055】
次の伝達の最後に、送信器は、インターフェース上に少なくとも1つのアイドルを挿入する。これらのアイドルは、もし復号器が同期から外れるとしたら、10ビット復号器を10ビットシリアルコードウインドウへ正常に再同期させる。
【0056】
受信同期装置は広域同期パルスを受信し、プログラムされた数により同期パルスを遅らせる。(物理的ボックスが有し得る最大量のトランスポート遅延に基いてプログラムされている。)同期パルスを遅延させた後、受信器は同期キャラクターの直ぐ後のクロックサイクルを受信するのに適しているとする。データは各クロックサイクルで、次の同期キャラクターが入力ストリーム上に現れるまで受信される。このデータは、遅延広域同期パルスが現れるまで受信に適しているとはとらえない。
【0057】
送信器及び受信器が別々の物理的ボード上にあり、別の発振器によってクロックされているから、クロックスピードの差がその間にある。別の送信器及び受信器間のクロックサイクルの数を区切るのに、全てのシーケンスカウンタを再同期するために広域同期パルスがシステムレベルで使用される。各チップは、全ての有効なクロックスキューのもとで、各送信器及び受信器は、少なくとも1つのクロックサイクルにより早いと必ずするように、プログラムされている。各チップは、適正な数のクロックサイクルを待って、それらの現在の同期パルスウインドウへとなる。これは全てのソースが同期パルス間のN同期パルスウインドウの有効なクロックサイクルを実行することを保証する。
【0058】
例えば、同期パルスウインドウは100クロックまでプログラム可能であるとすると、同期パルスは10000クロック毎の同期パルスの名目速度で送られる。同期パルス送信器クロック、及び同期パルス受信クロックが共にドリフトした最悪の場合に基いて、同期パルス送信器上に10000クロックとして受信器には9995から10005クロックが実際にある。この場合、同期パルス送信器は各10006クロックサイクル毎に同期パルスを送信するようにプログラムされる。10006クロックにより、全ての受信器が必ずそれらの次のウインドウにあるよう保証される。もし同期パルス送信器が遅いクロックを有すれば、受信器は早いクロックを具えて、実質上10012クロックを有する。同期パルスは12クロックサイクルで受信され、同期パルスウィンドウへ送信するから、チップは12クロックサイクル遅延する。別の受信器には10006クロックが見られ、同期パルスウインドウの最後にて、6クロックサイクルへロックダウンする。両方の場合、各ソースは10100クロックサイクルで動作する。
【0059】
ポートカード又はファブリックが存在せず、又は挿入直後であり、どちらかが受信同期装置の入力を駆動しているとすると、特定の入力FIFOへのデータの書込は禁止される。というのは、入力クロックは存在せず、又は不安定でデータラインの状態が判らないからである。ポートカード又はファブリックが挿入された時、ソフトウェアは必ず入れられ、バイトレーンへの入力を可能にして、該ソースからのデータ入力が可能となることを許す。入力FIFOへの書込は可能になる。イネーブル信号はポートカード及びファブリックからのデータ、ルートワード、及びクロックが安定した後に、アサート(assert)されると考えられる。
【0060】
システムレベルでは、第1及び第2同期パルス送信器が2つの個別のファブリック上にある。各ファブリック及びブレード上には同期パルス受信器もある。これらは図6に見られる。
第1同期パルス送信器は、フリーランニングの同期パルスジェネレータであり、第2同期パルス送信器はその同期パルスを第1同期パルス送信器へ同期化させる。同期パルス受信器は、第1及び第2同期パルスを共に受信し、エラー検査アルゴリズムに基いて、そのボード上のASIC上へ正しい同期パルスを選択して送信する。同期パルス受信器は、もし同期パルス送信器からの同期パルスが、それ自信のシーケンス0カウント中に落ちたならば、同期パルスは残りのボードに送られることのみが保証される。例えば、同期パルス受信器及び非分散器ASICは共に同じブレード上にある。同期パルス受信器及び非分散器の受信同期装置は同じ水晶発振器からクロックされ、クロックドリフトは 内部シーケンスカウンタを増大させるのに用いられるクロック間には存在しない。受信同期装置は、受信する同期パルスは”0”カウントウインドウ内に常にあることを要求する。
【0061】
もし同期パルス受信器が、第1同期パルス送信器が同期から外れていると判断したら、第2同期パルス送信器ソースへ切り換える。第2同期パルス送信器も第1同期パルス送信器が同期から外れているかを判定し、第1同期パルス送信器から独立して、第2同期パルス送信器自身の同期パルスを発生する。これが第2同期パルス送信器の操作の第1モードである。
もし同期パルス受信器が第1同期パルス送信器は再び同期するように成ったと判定すると、第1同期パルス送信器側に切り換える。第2同期パルス送信器も、第1同期パルス送信器が再び同期するようになったと判断したら、第2モードへ切り換える。第2モードで、独自の同期パルスを第1同期パルスへ同期させる。同期パルス受信器は、その同期パルスフィルタリングメカニズムにおいて第2同期パルス送信器よりも余裕は少ない。同期パルス受信器は、第2同期パルス送信器よりさらに早く切り換わる。これは第2同期パルス送信器が第1モードに切り換わる前に、全ての受信同期装置が第2同期パルス送信器ソースを使用することへ切り換えることを保証するために行われる。
【0062】
図6は、同期パルスの分布状況を表す。
同期演算で示されるクロックサイクルの数によるファブリックからのバックプレーン伝達をロックダウンするために、全てのファブリックは、多くのクロックサイクルを効果的にフリーズし、同じエンキュー及びデキュー判定が同期内に留まることを確実にする。これは各ファブリックASICにおけるサポートを必要とする。ロックダウンは、キューリシンク(再同期)のような特殊な機能を含む全ての機能を止める。
【0063】
同期パルス受信器からの同期信号は、全てのASICへ分配される。各ファブリックASICは、広域同期パルス間のクロックサイクルをカウントするコアクロックドメインのカウンタを含む。同期パルス受信後、各ASICは早いクロックサイクルの数を演算する。広域同期パルスは自身のクロックで伝えられないから、演算されたロックダウンサイクル値は同じファブリック上の全てのASICと同じにはならない。この差は、全てのインターフェースFIFOをロックダウンカウントの最大スキューを許容できる奥行きを保持することにより説明される。
【0064】
全てのチップ上のロックダウンサイクルは、「有用な(ロックダウンしない)」サイクルの最後のシーケンスの始まりに対応した同じ論理的ポイントへ常に挿入されている。それは、各チップは常に、ロックダウンサイクルの数がたとえ変化しても、ロックダウン事象間の同じ数の”有用な”サイクルを実行する。
【0065】
ロックダウンは、異なる時間に異なるチップで発生するかも知れない。全てのファブリック入力FIFOは、初期に設定され、FIFOが、ドライ又はオーバーフローすることなしに、ロックダウンはFIFOのどちらか側で最初に発生できるようになっている。各々のチップツーチップインターフェースには、(基板トレース長さ及びクロックスキューと同じく)ロックダウンサイクルを引き起こす同期FIFOがある。送信機は、ロックダウン状態の間、ロックダウンを知らせる。
受信器は、示されたサイクルの間はデータを入れず(push)、また、それ自体のロックダウンの間はデータを取り出さない(pop)。FIFOの奥行きは、どのチップが最初にロックするかによって変化するが、その変化は、ロックダウンサイクルの最大数によって制限される。特定のチップが1回の広域同期期間の間に判断するロックダウンサイクルの数は変化するが、それらは全て、同じ数の有効なサイクルを有している。特定のファブリック上の各チップが判断するロックダウンサイクルの総数は、同じであって、制限された許容誤差の範囲である。
【0066】
集約装置コアクロックドメインは、ロックダウン持続時間のために完全に停止し、全てのフロップとメモリは、その状態を保持する。入力FIFOは、拡張可能である。ロックダウンバスサイクルは、出力キューに挿入される。コアロックダウンが実行される正確な時期は、DOUT_AG(Digital OUT-Analog Ground)バスプロトコルがロックダウンサイクルを挿入させる時期によって指図される。DOUT_AGロックダウンサイクルは、DestIDバスに示されている。
【0067】
メモリコントローラは、適当な数のサイクルのために、全てのフロップをロックダウンせねばならない。メモリコントローラにおけるシリコン領域への影響を削減するため、伝搬ロックダウンと呼ばれる技術が用いられる。
【0068】
オン−ファブリックのチップツーチップ同期化は、あらゆる同期パルスで実行される。幾つかの同期エラー検出能力が幾つかのASICに存在するけれども、ファブリック同期エラーを検出し、有害なファブリックを取り除くことが非分散器の仕事である。チップツーチップ同期化は、ファブリック上でどの様なパケット流れも可能となる前に行なわれる連鎖式機能である。この同期設定は、集約装置からメモリコントローラへ流れ、セパレータへ行き、またメモリコントローラへ戻る。システムがリセットされた後、集約装置は、第1広域同期信号を待つ。受信後、各集約装置は、DestIDバス上のローカル同期コマンド(値0x2)を、各メモリーコントローラへ送信する。
【0069】
分散処理機能は、ビットを着信データストリームから個々のファブリックに割り当てる。分散処理機能を導き出す際に、2つの項目が最適化された:
1.バックプレーン効率は、OC48及びOC192のために最適化されねばならない。
2.バックプレーン相互接続は、OC192オペレーションのために大きく変更されるべきではない。
【0070】
これらは、分散器及び非分散器ASICに追加された多重通信回路用(muxing)レッグに対して、交互に使用された(traded-off)。最適化に関係なく、スイッチは、OC48とOC192の両方用のメモリコントローラにおいて、同一のデータフォーマットを有さなければならない。
【0071】
バックプレーン効率を効率よくするには、バックプレーンバスを形成する際に加えられるパッディング(padding)を最小にする必要がある。OC48のための12ビットバックプレーンバスと、OC192のための48ビットバックプレーンバスの場合、最適な割り当ての為には、転送用の未使用ビットの数が、(バイト数 *8)/バス幅と同一であることを必要とし、“/”は、整数の分数である。OC48のためには、バスは、0,4又は8の未使用ビットを有することができる。OC192のためには、バスは、0,8,16,24,32又は40の未使用ビットを有することができる。
【0072】
このことは、どのビットも12ビットの境界の間を移動することができないか、あるいは、OC48パッディングは、所定のパケット長さにとって最適ではないことを意味している。
【0073】
OC192cに関し、最大帯域幅利用とは、各分散器が、同じ数のビットを受信せねばならないということを意味している(即ち、分散器へのビットインターリーブを意味する)。同一のバックプレーン相互接続と組み合わされた場合、これは、OC192cにおいて、各分散器は、1/4のビットを有する各分散器から来る、確実に正しい数のビットを有していなければならないことを意味する。
【0074】
データビットをファブリックに割り当てるために、48ビットのフレームが使用される。分散器の内部には、80〜100MHzでは32ビット幅で書き込まれ、125MHzでは24ビット幅で読み取られるFIFOがある。3つの32ビットの語は、4つの24ビットの語を生じる。24ビットの語の各対は、48ビットのフレームとして扱われる。ビットとファブリック間の割り当ては、ファブリックの数に左右される。
【0075】
表11:ビット分散処理機能
【表2】
Figure 0004679792
【0076】
次の表は、集約装置にて最初に読み取られ、セパレータにて最初に書き込まれるバイトレーンを示している。4つのチャネルは、A、B、C、Dで表されている。全てのバスが完全に使用されるよう、異なるファブリックは、異なるチャネルの読取/書込オーダーを有している。
【0077】
1つのファブリック−40G
次の表は、集約装置のインターフェース読取オーダーを示している。
【0078】
【表3】
Figure 0004679792
【0079】
2つのファブリック−80G
【表4】
Figure 0004679792
【0080】
120G
【表5】
Figure 0004679792
【0081】
3つのファブリック−160G
【表6】
Figure 0004679792
【0082】
6つのファブリック−240G
【表7】
Figure 0004679792
【0083】
12のファブリック−480G
【表8】
Figure 0004679792
【0084】
ギガビットトランシーバへのインターフェースは、トランシーババスを2つの分離したルートワードバスとデータバスとを有する分割バスとして使用する。ルートワードバスは、固定サイズ(OC48の入口には2ビット、OC48の出口には4ビット、OC192の入口には8ビット、OC192の出口には16ビット)であり、データバスは、変更できるサイズのバスである。送信オーダーは、決められた位置にルートワードバスを常に有している。あらゆる分散処理構造は、1つのトランシーバを有しており、これは、全ての有効な構造において目的物と通話するために用いられるものである。そのトランシーバは、両方のルートワードバスを送り、データの送信を開始するために用いられる。
【0085】
バックプレーンインターフェースは、バックプレーントランシーバへのインターフェースを用いて、物理的に行なわれる。入口及び出口両用のバスは、2つの半分部分から構成されていると考えられ、各々は、ルートワードデータを有している。
第1バスの半分部分がパケットを終了するなら、半分バスの2つは、個々のパケットに関する情報を有していてよい。
【0086】
例えば、ファブリックローカル通話に行くOC48インターフェースは、24データビットと2ルートワードビットを有している。このバスは、2x(12ビットデータバス+1ビットルートワードバス)を有しているかの如く作用して用いられる。2つの半バスを、A及びBとする。バスAは、第1データであって、その後にバスBが続く。パケットは、バスAとバスBのどちらでも開始でき、バスAとバスBのどちらでも終了できる。
【0087】
データビットルートワードビットをトランシーバビットにマッピングする際、バスビットはインターリーブされる。これによって、全てのトランシーバは、たとえ分散処理量が変化しても、同一の有効/無効状態を有さねばならないことを確実にする。ルートワードは、バスBの前に現れるバスAによって解釈される。バスA/バスBという概念は、チップ間にインターフェースを有することと密接に対応している。
【0088】
全てのバックプレーンバスは、データの断片化をサポートしている。使用されたプロトコルは、(ルートワード中の最終セグメントによって)最後の転送を記録する。最終セグメントでない全ての転送は、たとえ偶数のバイトではなくても、バスの幅全体を利用する必要がある。いかなる一定のパケットも、そのパケットの全ての転送のため、同一の数のファブリックに分散されねばならない。パケットの送信中に、分散器の分散処理量が更新されるとしても、次のパケットの初めに分散処理が更新されるだけである。
【0089】
ASICにおける送信機の各々は、各チャネルのための次のI/Oを有している: 8ビットデータバス、1ビットクロック、1ビットコントロール。
受信側では、ASICは、チャネルに次のものを受信する:
受信クロック、8ビットデータバス、3ビットステータスバス。
【0090】
スイッチは、送信器を1〜3組のバックプレーンにマッピングすることによって、トランシーバを最適化し、各受信器は、1〜3組のバックプレーンを具える。これにより、構造に必要なトラフィックをサポートするのに十分な送信器だけが、完全な1組のバックプレーンネットを維持しながら、基板上に配備される。このような最適化の目的は、必要とされるトランシーバの数を削減することである。
【0091】
最適化が行なわれる一方、どのようなときにも、2つの異なる分散処理量がギガビットトランシーバにおいて支持されねばならないということが尚求められる。このことは、トラフィックが、分散処理データから1つのファブリックへ、又、分散器の分散処理データから2つのファブリックへ同時にエンキュー(enqueue、キューに入れる)されることを可能とする。
【0092】
バスの構造によっては、複数のチャネルは、1つの更に大きな帯域幅のパイプを形成するために、互いに連結される必要があるかもしれない(どのようなときにも、論理的な接続では1つ以上のトランシーバが存在する)。4倍ギガビットトランシーバは4つのチャネルを互いに連結することができるが、この機能は用いられない。代わりに、受信ASICが、1つのソースからのチャネル間での同期設定について役割を果たす。これは、総称同期アルゴリズムと同じ文脈である。
【0093】
ギガビットトランシーバにおける8b/10b符号化/復号化は、多数の制御事象がチャネルによって送られることを許容する。これらの制御事象は、K文字で表示され、符号化された10ビット値に基づいて数字が付される。これらのK文字の幾つかは、チップセットで用いられる。使用されるK文字とその機能は、下記の表に示されている。
【0094】
【表9】
Figure 0004679792
【0095】
パケットに対する分散処理構造によって、スイッチは、各バックプレーンチャネルにサポートされる、変更可能な数のデータビットを有する。トランシーバ一式の内部には、データが次のオーダーで満たされる:
F[ファブリック]_[oc192ポート数][oc48ポート指定(a,b,c,d)][トランシーバ_数]
【0096】
チップセットは、ここに説明する一定の機能を実行する。ここで記載した機能の大半は、複数のASICでサポートされているため、それらをASIC毎に逐次記載することは、求められる機能の全体的な範囲についての明確な理解を妨げることになる。
【0097】
スイッチチップセットは、64K+6バイトの長さまでパケットと協働するように構成されている。スイッチの入口側には、複数のポート間で共有されるバスが存在する。大半のパケットに関して、それらは、パケットの初めからパケットの終わりまで、いかなる中断もなく送信される。しかしながら、この方法は、遅延感知トラフィックの遅延変動量を大きくすることになりかねない。遅延感知トラフィックとロングトラフィックとが、同一のスイッチファブリックに共存できるようにするため、ロングパケットという概念が導入されている。基本的に、ロングパケットによって、大量のデータは、キューイングロケーションに送られ、ソースを基にキューイングロケーションで集積され、ロングパケットの末端部が転送されると、直ちにキューに加えられる。ロングパケットの定義は、各ファブリック上のビット数に基づいている。
【0098】
イーサネット(登録商標)MTUがネットワーク全体に維持された環境でスイッチが作動している場合、ロングパケットは、40Gbpsより大きいサイズのスイッチには見受けられない。
【0099】
ワイドキャッシュライン共有メモリ技術は、セル/パケットをポート/優先キューに格納するために用いられる。共有メモリーは、セル/パケットを継続的に記憶するので、仮想的には、共有メモリーにおいて断片化及び帯域幅の無駄は存在しない。
【0100】
複数のキューが共有メモリーに存在する。それらは、宛先及び優先度毎に基づいている。同一の出力優先度とブレード/チャネルIDを有する全てのセル/パケットは、同一のキューに記憶される。セルは、常にリストの先頭からデキュー(キューから外す)され、待ち行列の末尾にエンキュー(キューに入れる)される。各セル/パケットは、出口ルートワードの一部と、パケット長さ、及び変更可能な長さのパケットデータによって構成されている。セル及びパケットは、継続的に記憶される。即ち、メモリーコントローラー自体は、ユニキャスト(アドレスを1つだけ指定する通信)接続用のセル/パケットの境界を認識しない。パケット長さは、MCパケット用に記憶される。
【0101】
マルチキャストポートマスクメモリー64Kx16−ビットが、マルチキャスト接続用宛先ポートマスクを記憶するために用いられる、即ち、マルチキャストVC毎に1つのエントリー(又は複数のエントリー)である。 マルチキャストDestID FIFOによって示されるヘッドマルチキャスト接続のポートマスクは、スケジューリング検索のために内的に記憶される。ヘッド接続のポートマスクがクリアされ、新たなヘッド接続が提供されると、ポートマスクメモリーが検索される。
【0102】
APSとは、自動保護スイッチングを表し、SONET冗長基準のことである。スイッチにおいてAPSの特徴をサポートするため、2つの異なるポートカードの2つの出力ポートが、略同一のトラフィックを送る。メモリーコントローラーは、APSポート用に1組のキューを維持し、両方の出力ポートに同じデータを送る。
【0103】
メモリーコントローラーASICにおけるデータ2重化をサポートするため、複数のユニキャストキューの1つは各々、プログラム可能なAPSビットを有している。APSビットが1に設定されると、パケットは、両方の出力ポートにデキューされる。APSビットがポート用にゼロに設定されると、ユニキャストキューは、正常モードで作動する。ポートがAPSスレイブとして構成されると、ポートは、APSマスターポートのキューから読み取る。OC48ポートに関し、APSポートは、隣接するポートカードの同じOC48ポート上に常に存在する。
【0104】
ファブリック間のメモリーコントローラーにおける共有メモリーキューは、クロックドリフト又は新たに挿入されたファブリックのために、同期から外れている(即ち、異なるメモリーコントローラーASIC間の同一のキューは、異なる奥行きを有している)。ファブリックキューを、任意の状態から有効かつ同期の状態に持っていくことは重要である。又、いかなる復元機構でもセルをドロップしないことが望ましい。
【0105】
リシンク(再同期)セルは、全てのファブリック(新たな及び既にあるもの)に一斉に送られて、リシンク状態に入る。ファブリックは、リシンクセルの前に受け取った全てのトラフィックを、キューリシンクが終わる前に、排出しようと試みる。しかし、リシンクセル後に受信したトラフィック(回線上のデータ情報量)は、リシンクセルが終了するまで排出されない。キューリシンクは2つの出来事の1つが生じると終了する。
1.時間切れのとき
2.新たなトラフィックの総量が(リシンクセルの後に受け取ったトラフィック)しきい値を越えたとき
【0106】
リシンクキューの終端にて、全てのメモリコントローラは、どのレフトオーバー旧トラフィック(リシンクセルのキューの前に受け取ったトラフィック)をも排出する。解放オペレーションは十分速く、いつリシンク状態に入ったかに拘わらず、全てのメモリコントローラはメモリの全てを一杯にすることができる。
【0107】
キューリシンクは、3つの全てのファブリックASICに与えられる。集約器はFIFOメモリがリシンクセルのキュー後に同様に排出することを確実にしなければならない。メモリコントローラは、キューイング及びドロッピング(データ送信時の損失)を実行する。分離器はトラッフィクをドロッピングし、これが起こったときに長さパージング(構文解析)状態マシンをリセットする。個々のASICにて、キューリシンクの詳細については、ADSチップを参照されたい。
【0108】
デキューについては、マルチキャスト接続(複数の端末に同じ内容を流すこと)は、独立した32のトークンを各ポートに有し、各々は50ビットのデータ又はまとまったパケットに相当する。先頭の接続及びその高優先キューのポートマスクは、各サイクル毎にFIFO接続及びポートマスクメモリから読み出される。まとまったパケットは先頭接続の長さ領域に基づくマルチキャストキャッシュラインから隔てられている。先頭のパケットは、全ての宛先ポートに送られる。
ポートに対してゼロでないマルチキャストトークンが使用可能であるときは、8つのキュー排出器は、パケットを分離器に送る。次の先頭接続は、現在の先頭パケットがその全てのポートに送られるときにのみ、処理されるだろう。
【0109】
キューファブリックは、リシンクセルファブリックを介して直ぐに変換され、ポート領域当たりの優先の数が、各ポートがいくつの優先キューを有するかを示すのに用いられる。分散ASICは、ネットワークブレード上にある。
【0110】
以下の語は、スイッチの語彙にて、かなり特有の意味を有する。多くはどこかで述べられたが、これは1箇所にそれらを集めて定義することを企画している。
【0111】
【表10】
Figure 0004679792
Figure 0004679792
Figure 0004679792
【0112】
カウンタ送信と受信の関係は、図7に示される。
【0113】
本発明は例示の目的で前述の実施例に於いて、詳細に記載されてきたが、そのような詳細な記載は単にその目的の為であり、当該分野の専門家であれば、先述の特許請求の範囲によって記載されるようなもののほかにも、発明の精神と範囲から逸脱することなく、変形を成し得るものと理解されるべきである。
【図面の簡単な説明】
添付図は、本発明の好ましい実施例、及び本発明を実施する好ましい方法を示している。
【図1】 本発明のスイッチに於けるパケット分散処理を示す概略図である。
【図2】 OC48ポートカードの概略図である。
【図3】 鎖状ネットワークブレードの概略図である。
【図4】 ファブリックASICに於ける相互接続を示す概略図である。
【図5】 ファブリックASICに於ける相互接続を示す概略図である。
【図6】 同期パルスの分配状況を示す概略図である。
【図7】 夫々、セパレータ及び非分散器の送受信シーケンスカウンタ間の関係に関する概略図である。
【図8】 本発明のスイッチの概略図である。

Claims (17)

  1. 複数のポートカードと複数のファブリックとを具えるスイッチにおいて、
    各ポートカードは非分散器を有し、
    非分散器は、複数の内部FIFOを有しており、複数の内部FIFOのいずれか1つが、所定の量のデータのパケットのフラグメントを有する場合に、バックプレッシャ信号を発生し、
    さらに、非分散器は、非分散器のオペレーションのタイミングを維持する非分散器タイミング機構を有し
    各ファブリックは各ポートカードと繋がれており、
    各ファブリックはセパレータを有し、セパレータは、パケットのフラグメントを関係する非分散器に送信し、セパレータがバックプレッシャ信号を受信する場合にパケットのフラグメントの送信を停止し、
    さらに、各ファブリックは、セパレータのオペレーションのタイミングを維持するファブリッククロックを有し、該ファブリッククロックは、非分散器のオペレーションのタイミングに対して、所定のセパレータ遅延時間で、セパレータのオペレーションのタイミングを維持し、
    全てのセパレータが、論理的サイクルで、同じパケットのコンパニオンフラグメントを送信することを停止するように、セパレータ遅延時間は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のいかなるバックプレッシャ伝播遅延時間よりも大きいスイッチ。
  2. 各ポートカードは分散器を有し、非分散器からのバックプレッシャ信号は、分散器に送られ、さらに分散器から各ファブリックに送られる請求項1に記載のスイッチ。
  3. 各ファブリックは集約装置を有し、該集約装置はバックプレッシャ信号を受信し、そのバックプレッシャ信号をセパレータに送る請求項2に記載のスイッチ。
  4. 非分散器タイミング機構は、受信シーケンスカウンタを含む請求項3に記載のスイッチ。
  5. 分散器は、送信シーケンスカウンタを有し、該送信シーケンスカウンタは、受信シーケンスカウンタのタイミングシーケンスから遅れた所定のサイクル数に、分散器のタイミングシーケンスを維持する請求項4に記載のスイッチ。
  6. 非分散器は、バックプレッシャ信号を非同期的に発生する請求項5に記載のスイッチ。
  7. 受信シーケンスカウンタからのタイミングは、送信シーケンスカウンタからのタイミングに対して150サイクル遅れている請求項6に記載のスイッチ。
  8. 複数のポートカードと複数のファブリックとを具えるスイッチを用いてパケットをスイッチングする方法において、
    各ファブリックは、各ポートカードと繋がれており、
    各ポートカードは非分散器を有し、非分散器は、複数の内部FIFOと、非分散器のオペレーションのタイミングを維持する非分散器タイミング機構を有し、
    各ファブリックは、パケットのフラグメントを関係する非分散器に送信するセパレータと、非分散器のオペレーションのタイミングに対して、所定のセパレータ遅延時間で、セパレータのオペレーションのタイミングを維持するファブリッククロックとを有しており、
    非分散器が、複数の内部FIFOのいずれか1つが所定の量のデータのパケットのフラグメントを有する場合にバックプレッシャ信号を発生する工程と、
    セパレータが、バックプレッシャ信号を受信する場合にパケットのフラグメントの送信を停止する工程とを含んでおり、
    全てのセパレータが、同じ論理的サイクルで、同じパケットのコンパニオンフラグメントを送信することを停止するように、セパレータ遅延時間は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のいかなるバックプレッシャ伝播遅延時間よりも大きい方法。
  9. 送信工程は、全てのセパレータが、同じ論理的サイクルで、同じパケットのコンパニオンフラグメントを送ることを停止するように、各ファブリックのセパレータへバックプレッシャ信号を送信する工程を含む請求項8に記載の方法。
  10. 送信工程の前に、送信シーケンスカウンタ、及び受信シーケンスカウンタのタイミングシーケンスから遅れた所定のサイクル数を用いて、セパレータのタイミングシーケンスを維持する工程を含む請求項9に記載の方法。
  11. 送信工程は、非分散器の受信シーケンスカウンタが遷移する際に、バックプレッシャ信号を送る工程を含む請求項10に記載の方法。
  12. 送信工程の前に、ポートカードに繋がれたファブリックからのパケットの所定量のフラグメントで、ポートカードのメモリを充てんする充てん工程がある請求項11に記載の方法。
  13. 充てん工程は、ポートカードの複数のFIFOのうち少なくとも1つのFIFOを、所定の量で満たす工程を具える請求項12に記載の方法。
  14. 充てん工程は、ポートカードの非分散器の複数のFIFOのうち少なくとも1つのFIFOを、所定の量で満たす工程を具える請求項13に記載の方法。
  15. バックプレッシャ信号を分散器から各セパレータに送る工程は、
    バックプレッシャ信号を分散器から各ファブリックの集約装置に送る工程と、バックプレッシャ信号を集約装置からセパレータに送る工程とを含む請求項14に記載の方法。
  16. 充てん工程の前に、ポートカードの受信シーケンスカウンタを用いて、ポートカードのタイミングシーケンスを維持する工程を具える請求項15に記載の方法。
  17. 充てん工程の前に、各セパレータのファブリッククロックを用いて、各ファブリックのセパレータのオペレーションを、非分散器のオペレーションのタイミングに対する所定のセパレータ遅延時間に維持する工程を含み、全てのセパレータが、同じパケットのコンパニオンフラグメントを送ることを同時に停止するように、セパレータ遅延時間は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のあらゆるバックプレッシャ伝播遅延時間よりも大きい請求項16に記載の方法。
JP2002507551A 2000-06-30 2001-06-29 1つの送信先から複数の送信元への非同期バックプレッシャの同期化 Expired - Fee Related JP4679792B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/607,763 US6526024B1 (en) 2000-06-30 2000-06-30 Synchronization of asynchronous back-pressure from one destination to multiple sources
PCT/US2001/020708 WO2002003589A2 (en) 2000-06-30 2001-06-29 Synchronization of asynchronous back-pressure from one destination to multiple sources

Publications (3)

Publication Number Publication Date
JP2004503131A JP2004503131A (ja) 2004-01-29
JP2004503131A5 JP2004503131A5 (ja) 2004-12-24
JP4679792B2 true JP4679792B2 (ja) 2011-04-27

Family

ID=24433611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002507551A Expired - Fee Related JP4679792B2 (ja) 2000-06-30 2001-06-29 1つの送信先から複数の送信元への非同期バックプレッシャの同期化

Country Status (6)

Country Link
US (1) US6526024B1 (ja)
EP (1) EP1249093B1 (ja)
JP (1) JP4679792B2 (ja)
AU (1) AU2001270249A1 (ja)
DE (1) DE60137488D1 (ja)
WO (1) WO2002003589A2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064497A (ja) * 2000-08-15 2002-02-28 Nec Corp Atm交換機
US6850997B1 (en) * 2000-09-27 2005-02-01 International Business Machines Corporation System, method, and program for determining the availability of paths to a device
US7009963B1 (en) * 2000-10-11 2006-03-07 Marconi Intellectual Property (Ringfence), Inc. Dual optimality for different data rate backplane transfer
US20040128413A1 (en) * 2001-06-08 2004-07-01 Tiberiu Chelcea Low latency fifo circuits for mixed asynchronous and synchronous systems
US8989009B2 (en) * 2011-04-29 2015-03-24 Futurewei Technologies, Inc. Port and priority based flow control mechanism for lossless ethernet

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2112664A1 (en) * 1991-07-01 1993-01-21 Douglas Follett High speed switching architecture
GB9618137D0 (en) * 1996-08-30 1996-10-09 Sgs Thomson Microelectronics Improvements in or relating to an ATM switch
JPH10126419A (ja) * 1996-10-23 1998-05-15 Nec Corp Atm交換機システム
US6011779A (en) * 1996-12-30 2000-01-04 Hyundai Electronics America ATM switch queuing system
US6201789B1 (en) * 1996-12-30 2001-03-13 Compaq Computer Corporation Network switch with dynamic backpressure per port
US6052376A (en) * 1996-12-30 2000-04-18 Hyundai Electronics America Distributed buffering system for ATM switches
US6160813A (en) * 1997-03-21 2000-12-12 Brocade Communications Systems, Inc. Fibre channel switching system and method
JP3429994B2 (ja) * 1997-11-25 2003-07-28 沖電気工業株式会社 セルバッファ回路

Also Published As

Publication number Publication date
DE60137488D1 (de) 2009-03-12
JP2004503131A (ja) 2004-01-29
EP1249093A4 (en) 2007-12-26
AU2001270249A1 (en) 2002-01-14
US6526024B1 (en) 2003-02-25
WO2002003589A2 (en) 2002-01-10
EP1249093B1 (en) 2009-01-21
EP1249093A2 (en) 2002-10-16
WO2002003589A3 (en) 2002-05-30

Similar Documents

Publication Publication Date Title
JP4679794B2 (ja) 正しくする受信器
US6654370B1 (en) Backplane synchronization in a distributed system with clock drift and transport delay
US7516253B2 (en) Apparatus for storing data having minimum guaranteed amounts of storage
US6473433B1 (en) Queue resynch: synchronous real-time upgrade of a distributed switching system
US7283547B1 (en) Switch fabrics logical synchronization utilizing propagation lockdown
US6973092B1 (en) Dynamic queue utilization
JP5167391B2 (ja) パケット境界表示器を用いてパケットを格納する方法及び装置
US7106692B1 (en) APS/port mirroring
US6473435B1 (en) Method and apparatus for transferring packets to a memory
JP4798889B2 (ja) ロングパケットの取り扱い
JP4679792B2 (ja) 1つの送信先から複数の送信元への非同期バックプレッシャの同期化
JP4679793B2 (ja) スイッチに於いてn+1冗長化を狙わないことを許す受信器デコードアルゴリズム
JP4662658B2 (ja) 長さとデータを1つのストリームとする転送及び待合せ
JP4716614B2 (ja) 分散されたシステムを更新する同期的且つ動的なレジスタ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040831

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040831

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110202

R150 Certificate of patent or registration of utility model

Ref document number: 4679792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees