JP3221436B2 - 交換システムにおけるスケジューリング方法及び装置 - Google Patents
交換システムにおけるスケジューリング方法及び装置Info
- Publication number
- JP3221436B2 JP3221436B2 JP17258499A JP17258499A JP3221436B2 JP 3221436 B2 JP3221436 B2 JP 3221436B2 JP 17258499 A JP17258499 A JP 17258499A JP 17258499 A JP17258499 A JP 17258499A JP 3221436 B2 JP3221436 B2 JP 3221436B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- output
- time slot
- scheduling
- outputs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/10—Packet switching elements characterised by the switching fabric construction
- H04L49/101—Packet switching elements characterised by the switching fabric construction using crossbar or matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/25—Routing or path finding in a switch fabric
- H04L49/253—Routing or path finding in a switch fabric using establishment or release of connections between ports
- H04L49/254—Centralised controller, i.e. arbitration or scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/04—Selecting arrangements for multiplex systems for time-division multiplexing
- H04Q11/0428—Integrated services digital network, i.e. systems for transmission of different types of digitised signals, e.g. speech, data, telecentral, television signals
- H04Q11/0478—Provisions for broadband connections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/15—Interconnection of switching modules
- H04L49/1515—Non-blocking multistage, e.g. Clos
- H04L49/1546—Non-blocking multistage, e.g. Clos using pipelined operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/20—Support for services
- H04L49/201—Multicast operation; Broadcast operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/30—Peripheral units, e.g. input or output ports
- H04L49/3018—Input queuing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Use Of Switch Circuits For Exchanges And Methods Of Control Of Multiplex Exchanges (AREA)
Description
ア用のアプリケーションで使用される超高速(テラビッ
ト級)交換システムに係り、特に、超高速交換システム
における入出力間のスケジューリング及びそのスケジュ
ーリングを実現するための交換システムに関する。
ッチングの必要性が益々高まってきており、このような
高速スイッチングに関する提案が多くなされている。ベ
シャイ及びミインタ(M. Beshai and E. Miinter)によ
る “Multi-tera-bit/s switchbased on burst transfe
r and independent shared buffers,” ICC’95, pp.17
24-1730、マッケオウン等(N. McKeown et al)による
“The tiny tera: a packet switch core,” IEEE Micr
o, vol.171, Jan.-Feb. 1997, pp.26-33、及びゾン、シ
マズ、ツクダ及びユキマツ(W. D. Zhong, Y. Shimazu,
M.Tsukuda, and K. Yukimatsu)による “A modular T
bit/s TDM-WDM photonic ATM switch using optical bu
ffers,” IEICE Transactions on Communications, vo
l.E77-B,no.2, Feb. 1994, pp.190-196 を参照された
い。
(見方を変えれば論理的クロスバースイッチ)は高性能
スイッチの候補として魅力的である。10Gbpsのライン速
度で、64バイトのセル/パケットが40ns以内に処理され
る必要があるからである。
ような光スイッチングコアを効率的に使用するスケジュ
ーリングの高速決定法の確立である。この場合、スイッ
チ(交換機)の設計において、入力バッファリング、出
力バッファリングあるいはそれら両方を用いることが可
能である。出力バッファリングを用いるスイッチでは、
出力バッファのアクセス速度がスイッチ全体のスループ
ットを上回っている必要がある。
度を抑えるために、ノックアウト法が採用される。この
方法では、有限個のセルのみが出力バッファに受け入れ
られ、残りは廃棄される。光ノックアウトスイッチは、
ゾン、シマズ、ツクダ及びユキマツ(Zhong, Y. Shimaz
u, M.Tsukuda, and K. Yukimatsu)による “A modular
Tbit/s TDM-WDM photonic ATM switch using optical
buffers,” IEICE Transactions on Communications, v
ol. E77-B, no.2, Feb. 1994, pp.190-196で提案されて
いる。光ノックアウトスイッチでは、各出力がいくつか
の光逆Banyan網と光バッファを必要とするために構成が
複雑となる。
率的にバッファを使用でき、メモリの帯域幅もライン速
度の2倍で済む。簡単な方法では、各入力がその入力の
待ち行列(キュー)における最初のパケットを送信する
要求を出す。もし2以上の入力が同一の出力ポートを要
求した場合、そのうちの一つがランダムに選ばれる。こ
の方法は、カロル等 (M. J. Karol, M.G. Hiuchyj, and
S.P. Morgan) “Input vs. output queuing on a spac
e-division packet switch,” IEEE Transactions on C
ommunications, vol. COM-35, no.12, Dec. 1987, pp.
1347-1356に示されており、この入力バッファリングア
ルゴリズムによって、均一トラフィック状況で0.587の
スループットが得られている。トラフィックが均一でな
い場合では、スループットは更に低下する。
ては、HOL(Head Of Line:ラインの先頭)パケット以
外のパケットが出力ポートを要求する。ファン、アキヤ
マ及びタナカ(R. Fan, M. Akiyama, and Y. Tanaka)に
よる “An input buffer-typeATM switching using sch
edule comparison,” Electronics and Communications
in Japan: Part I, vol.74, no.11, 1991, pp.17-25;
モトヤマ、ペータ及びフロスト (S. Motoyama, D.W. P
etr, and V.S. Frost)による “Input-queuedswitch ba
sed on a scheduling algorithm,” Electronics Lette
rs, vol.31, no.14, July 1995, pp.1127-1128;オバラ
(H. Obara)による “Optimum architecture for input
queuing ATM switches,” Electronics Letters, vol.2
7, no.7, March 1991, pp.555-557を参照されたい。
いて、1つの入力は複数の出力ポートを要求する。タイ
ムスロット毎にちょうど4つの要求を出せば、1に近い
効率が得られる。しかしながら、この方法では、高速
時、スケジューリングのための複数の要求及びその確認
応答を1タイムスロット内で処理することができない
(ここで1スロットはパケット送信時間を表す)。ま
た、トラフィックに急激な変化がある場合には、各入力
がどの出力を要求するかを独立して決定することからス
イッチパフォーマンスは低下するであろう。
ば、スイッチコントローラがすべての入出力バッファの
キューを知っていればよい。この情報によって、スイッ
チコントローラは各タイムスロットでの同時送信数を増
加させることができる。しかしながら、SLIPプロト
コルにおいては、複数の出力が独立して複数の入力に許
可を与えるので、非効率的になっている。詳しくは、N.
McKeown et al. “Scheduling cells in an input-que
ued switch,” Electronic Letters, vol.29, no.25, D
ec. 1993, pp.2174-2175を参照されたい。
良い協調を達成している例としては、D. Guo , Y. Yemi
ni, Z. Zhang, “Scalable high-speed protocols for
WDMoptical star networks,” IEEE INFOCOM’94.を参
照されたい。ただし、このアルゴリズムはスケジューリ
ングを決定するのに多くのタイムスロットを必要とする
点で不利である。
ム・グリーディ・スケジューリング法(RGS)が提案され
ている。これについては、R. Chipalkatti, Z. Xhang,
and A. A. Acampora, “Protocols for optical star-c
oupler network using WDM: performance and complexi
ty study,” IEEE Journal on Selected Areas in Comm
unications, vol.11, no.4, May 1993, pp.579-589、及
びD. Guo, Y. Yemini,Z. Zhang, “Scalable high-spee
d protocols for WDM optical star networks,” IEEE
INFOCOM’94を参照されたい。
応するマッチングした出力の両方がランダムに選択され
る。しかしながら、実際には、このようなランダム選択
を実装するのは困難である。各タイムスロットにおい
て、N個のパケットがN個の入力からN個の出力へ転送さ
れ得ることに注意されたい。
イッチングコアを効率的に使用するためのスケジューリ
ング決定方法としては未だ満足すべきものがない。すな
わち、入出力バッファリングを用いるものでは、構成の
複雑化やスイッチのスループットの低下を引き起こす。
また、スイッチコントローラが入出力バッファのキュー
を集中管理する方式では、スイッチの入力数及び出力数
が増大するに伴って計算量が著しく増大し、1タイムス
ロット内で処理を完了することが困難となる。
テムにおいて入出力間スケジュールを高速に確立するこ
とができる新規なスケジューリング方法及び装置(ラウ
ンドロビン・グリーディ・スケジューリング:以下、RR
GSという。)を提供することにある。
上昇させることなく厳しいタイミング要求を満たすと共
に良好なパフォーマンスを得ることができる新規なパイ
プラインアーキテクチャを有する交換システムを提供す
ることにある。
リング方法は、N入力及びN出力(Nは2以上の整数)
を有し、各入力は前記N出力にそれぞれ対応したN個の
論理的待ち行列(論理的キュー)からなる交換システム
において、a)複数のスケジューリング過程における任
意のスケジューリング過程を開始する入力を前記N入力
から順次1つ選択し、当該開始入力から予め定められた
数のタイムスロットだけ未来のタイムスロットを利用可
能にし、b)前記開始入力からラウンドロビン方式で順
次1つの入力を選択し、c)選択された入力に転送すべ
きパケットが存在すれば、当該選択された入力対して、
前記未来のタイムスロットにおける利用可能な出力の集
合の中から1つの出力を選択し、d)選択された出力を
前記出力集合から除外し、前記選択された入力とそれに
関連する前記選択された出力との組をスケジュールとし
て記憶する、ステップからなることを特徴とする。更
に、複数のスケジューリング過程がパイプライン処理に
より同時に進行することを特徴とする。
ロットは前記開始入力からNタイムスロットだけ未来に
位置し、前記選択された出力を前記出力集合から除外し
た出力集合を次に選択されるべき入力へ転送する。
ロットは前記開始入力から(N+1)タイムスロットだ
け未来に位置し、前記選択された出力を前記出力集合か
ら除外した出力集合を次に選択されるべき入力へ転送す
る動作を(N+1)タイムスロットのうち1回だけ1タ
イムスロット分遅延させる。
N入力及びN出力(Nは2以上の整数)を有し、各入力
は前記N出力にそれぞれ対応したN個の論理的待ち行列
(論理的キュー)からなるラウンド・ロビン・グリーテ
ィ・スケジューリングプロトコルのためのクロスバース
イッチにおけるタイムスロット決定方法であって、前記
プロトコルの入力は全ての入出力キューの状態であり、
前記プロトコルの出力はスケジュールであり、 a) 任意のk番目のタイムスロットに対してi=(定数
−k−1)modNに対応する入力を選択し、 b) もし入力が無ければ停止し、それ以外であればラ
ウンドロビンのやり方でi = (i + 1) mod Nにより決定
される次の入力を選択し、 c) 集合C = [ (i, j) |出力jに対応する入力iに
おいて少なくとも1個のパケットが存在する]の要素で
ある組(i,j)が存在するならば、出力jを選択し、 d) ステップc)において前記組(i,j)が存在し
なければ、入力集合からiを除去してステップb)に戻
り、 e) 入力集合からiを、出力集合からjをそれぞれ除去
し、 f) 前記組(i,j)を前記スケジュールに加えてス
テップb)に戻る、ステップからなることを特徴とす
る。
は、各タイムスロットにおいて、N個の異なるスケジュ
ールが未来のNタイムスロット間で同時進行するスケジ
ューリング方法において、 a) ラウンドロビン方式で、スケジューリングのため
の入力に対して特定の未来のタイムスロットを利用可能
にし、 b) 入力iによって、未来のk番目のタイムスロット
に対する出力を選択し、 c) 未来のk番目のタイムスロットに対するスケジュ
ールを開始し、 d) 次の入力(i+1)modNを決定し、前記k番
目のタイムスロットの間にパケットを自由に受信できる
残りの出力を前記次の入力へ送出する、ステップからな
ることを特徴とする。
ライン・ラウンドロビン・グリーディスケジューリング
方法は、 e) k(i,h) >0は入力iがh番目のタイムスロ
ットにおいて確保する出力のタイムスロットを示し、i
h=(定数−N−h)modNはh番目のタイムスロットで新
しくスケジューリングをはじめる入力を示し、k(i,
h)=0はh番目のタイムスロットでの入力iの動作が
抑制されることを意味するものとして、k(0,1) = k(1,
1) = ... = k(N−1,1)=0、定数=N+1に初期化し、 f) Oh+N={0,1,…,N−1}、0≦i≦N−1及びi≠i
hとして、k(ih,h) = h+N 及びk(i,h)=
k((i−1)modN,h−1) と設定し、 g) 0≦i≦N−1である入力iでパケットを送信すべき
出力jを集合Ok(i,h)からラウンドロビン方式で選択
し(ただしk(i,h)≠0である)、jをOk(i,h)から除外
し、 h) 0≦i≦N−1である入力iで選択された出力jのア
ドレスをコネクションメモリのメモリ位置k(i,h)modN
に記憶し、対応する受信入出力キューからライン先頭の
HOLパケットが別個の送信入出力キューへ移動し、 i) 0≦i≦N−1でi≠(ih−2)modNである入力iで、次
の入力(i + 1) mod Nへ集合Ok(i,h)を転送し、 j) 0≦i≦N−1である前記入力iと、入力iのメモリロ
ケーション (hmod(N+1))から読み込まれたアドレスの
出力との間にクロスバーコネクションを確立し、 k) 0≦i≦N−1である各入力iについて、スケジュー
リングされた送信入出力キューの先頭に保持されたパケ
ットをスイッチコアを通して送信する、 ステップからなるプロセスを用いてh番目のタイムスロ
ットを完了させることを特徴とする。
パイプライン・ラウンドロビン・グリーディスケジュー
リング方法は、 m) k(i,h) >0は入力iがh番目のタイムスロ
ットにおいて確保する出力のタイムスロットを示し、i
h=(定数−N−h)modNはh番目のタイムスロットで新
しくスケジューリングをはじめる入力を示し、k(i,
h)=0はh番目のタイムスロットでの入力iの動作が
抑制されることを意味するものとして、k(0,1) = k(1,
1) = ... = k(N−1,1)=0、定数=N+1に初期化し、 n) Oh+N+1={0,1,…,N−1}、0≦i≦N−1であ
るiで集合{ih,(ih+1)modN}の要素でな
いとして、k(ih,h) = h + N + 1、k(mo
d(ih+1)modN,h) = k(ih,h−2)、
及びk(i,h)= k((i−1)modN,h−1)に
設定し、 o) 0≦i≦N−1である入力iにおいてパケットを送信
すべき出力jを集合O k(i,h)からラウンドロビン方式
で選択し(ただし、k(i,h)≠0である)、jをO k(i,h)
から除外し、 p) 0≦i≦N−1である入力iにおいて、選択された出
力jのアドレスをコネクションメモリのメモリ位置k(i,
h)mod(N+1)に記憶し、対応する受信入出力キュー
からライン先頭のHOLパケットが別個の送信入出力キュ
ーへ移動させ、 q) 0≦i≦N−1でi≠(ih−2)modNである入力iにおい
て、 (ih−2)modNの入力が集合Ok((ih-2)modN,h)を
1タイムスロット分だけ遅延させた後、次の入力(i +
1) mod Nへ 集合Ok(i,h)を転送し、 r) 0≦i≦N−1である入力iと、入力iのメモリ位置
(hmod(N+1))から読み込まれたアドレスの出力との間に
クロスバーコネクションを確立し、 s) 0≦i≦N−1である各入力iについて、スケジュー
ルされた送信入出力キューの先頭のパケットをスイッチ
コアを通して送信する、 ステップからなるプロセスを用いてh番目のタイムスロ
ットを完了させることを特徴とする。
ラウンドロビン・グリーディ・スケジューリング・アル
ゴリズムに組み込まれており、マルチキャストパケット
は到着順に処理される方式で格納され、ユニキャストキ
ューよりも優先的に処理され、h番目のタイムスロット
におけるステップは、更に、 u) 0≦i≦N−1である入力iにおいて、j∈O k(i,h)
∩BMiを満たす全ての出力jを選択し、HOLマルチキャス
トパケットをk番目のタイムスロットで選択された出力
へ送信し、 v) O k(i,h)∩BMiが空集合であればユニキャスト
キューを処理し、それ以外の場合は、選択された出力を
O k(i,h)及びBMiから除外し、 w) BMiが空であれば、HOLマルチキャストパケット
をマルチキャストキューから削除する、 ステップからなることを特徴とする。
ステムは、ステージiが入力Iに関連し、前記ステージ
iは未来のタイムスロットでの出力への送信をスケジュ
ーリングし、前記未来のタイムスロットは全てのステー
ジを通して順次ずれて行くNxNスイッチをスケジュー
リングするためのNステージ・パイプラインシステムで
あって、入力に対応する全てのパイプラインステージ
は、2つの入力が同時に同一の未来のタイムスロットを
選択しないように、同時にスケジューリングを実行し、
出力スロットはラウンドロビン方式に基づいて選択さ
れ、出力があるステージにより選択されるとき、当該出
力は、パイプラインステージが入力によってあるタイム
スロットで既に選択された出力を選択しないように、出
力のフリープールから除去されることを特徴とする。
ン方式で順次1つの入力を選択し、その選択された入力
に対して未来のタイムスロットにおける利用可能な出力
の集合の中から1つの出力を選択し、スケジュールとし
て記憶する。これにより、複数の出力割当動作(スケジ
ューリング)を並列処理することが可能となり、内部速
度の向上を必要とせずに厳しいタイミング基準を満たす
ことができる。更に、並列処理により、RGSの良好なパ
フォーマンスを損なわず、100%に近い使用率を達成する
ことができる。
ステムの概念的アーキテクチャを示すブロック図であ
る。本交換システムはN×Nクロスバースイッチ101か
らなり、N本の入力ラインから受信するパケットは全て
固定長のセルである。N個の入力ポートはそれぞれN個
のアービタを有し、更に各入力ポートはN個の出力ポー
トにそれぞれ対応したN個の論理キューを有する。後述
するように、N個のアービタ及び各アービタに対応する
N個の論理キューはRRGSアルゴリズムにより制御さ
れる。以下、RRGSスケジューリングについて詳細に
説明する。
リング(RRGS) RRGSプロトコルの入力は、全ての入出力キューの状
態である。クロスバースイッチ101の各入力ポートを
i(i∈{0,1,…,N−1})と記すと、このような入
力、即ち入出力キュー、は次のような集合Cによって表
すことができる。
において少なくとも1個のパケットが存在する}。
をN個の出力に対応づけるスケジュールである。このよ
うなスケジュールの集合Sは次のように表すことができ
る。
ットが送られる}。
ムスロットにおいて、1つの入力は1個のパケットのみ
を送信でき、1つの出力は1個のパケットのみを受信で
きる。この条件下で、任意のk番目のタイムスロットの
スケジュールは、次のステップ1)〜4)によって決定
される。
N−1}、全出力の集合をOk={0,1,…,N−1}とする。i
=(定数−k−1)modNの計算式によって、即ち(定数−k
−1)をNで除算した剰余として入力iを選択する。ス
ケジュールを開始する入力をこのように選択することで
スケジューリングのインプリメンテーションを簡単にで
きるであろう。
る。空でなければ、ラウンドロビンのやり方でi = (i +
1) mod Nとなる次の入力iを選択する。
から出力jをラウンドロビンのやり方で選択する。もし
そのような出力が存在しなければ、Ikからiを除去し、
ステップ2)に戻る。
を除去し、Skに (i,j)を加え、ステップ2)に戻る。
のRGS法の改良である。上述したように、従来のRGS法で
は、入力及びそれに対応するマッチングした出力の両方
がランダムに選択されていた。しかし、実際には、この
ようなランダム選択を実装するのは難しい。各タイムス
ロットにおいて、N個のパケットがN個の入力からN個の
出力へ転送され得ることに注意されたい。
れたタイムスロットのスケジューリングプロセスはN個
の位相からなる。あるタイムスロットのスケジューリン
グの各位相において、1つの入力は当該タイムスロット
での送信のために使用可能な残存する出力の1つを選択
する。後述するように(図4参照)、1つの位相は、入
力モジュール(IM)からラウンドロビン(RR)アービタ
へ出線リクエスト(要求)を送出し、RRアービタにお
いてラウンドロビン方式で出力選択を行い、そしてRR
アービタから入力モジュールIMへ要求応答(出線選択
応答)を送出する、というステップからなる。入力が出
力を選択するラウンドロビン(RR)順序は、すべての入
力に対して等しいアクセスを保証するようにタイムスロ
ット毎に循環的にシフトする。
つのタイムスロット(64バイトのパケットサイズを仮定
すると40ns)内で終了させることは出来ない。リンク速
度が高速化するにつれて、従来の技術では1タイムスロ
ットで1位相を超える処理を完了することができない。
プライン方式を用いる。すなわち、タイムスロット毎
に、未来のN個のタイムスロットにわたって、N個の異な
るスケジュールが同時進行する。ある1つのスケジュー
ルの各位相は1個の入力だけに関連する。言い換えれ
ば、任意のタイムスロットにおいて、他の複数の入力
は、他の異なる未来のタイムスロットに対するスケジュ
ールの位相を実行することとなる。
ケジュールが完了したとは、N位相全てが完了したと
き、すなわち、タイムスロットTkにおいて送信するため
の出力を選択するチャンス(成功/失敗に関わらず)が
すべての入力に与えられたとき、をいう。
のにN個のタイムスロットが必要であるが、後述するよ
うにパイプラインアプローチを用いてN個のスケジュー
ルを並列計算することにより、N個の異なるスケジュー
ルのN個の位相を1タイムスロット内で完了させること
ができる。しかし、このことはタイムスロット毎に1つ
のスケジュールを完了させることと結果的に等価であ
る。
未来のタイムスロットが全ての入力に対するラウンドロ
ビンスケジューリングに利用可能となる。すなわち、未
来のk番目のタイムスロットTkのスケジュールを開始す
る入力iはラウンドロビン方式で出力を選択し、 (i +
1) mod Nである次の入力iに対して、当該k番目のタイ
ムスロットTkでパケットを自由に受信可能な出力ポート
を示す集合Okを送出する。
スロットTkでまだ利用可能な出力ポートの集合Okを受け
取った任意の入力iは、もし可能であれば、この中から
1つの出力を選択し、もしk番目のタイムスロットTkの
スケジュールが完了しなければ、更新された出力集合Ok
を次の入力i = (i + 1) mod Nへ送出する。k番目のタイ
ムスロットTkのスケジューリングが完了したならば、更
新された集合Okは次の入力 (i + 1) mod Nへ送出されな
い。これにより、現タイムスロットにおいて出力集合Ok
を受け取らなかった入力(i + 1) mod Nは、次のタイム
スロットで新たな未来のタイムスロットのための新しい
スケジューリングを開始するであろう。
ムスロットの期間に1度、入力が出力集合Okを送出しな
いことを含意している。集合Okを送出しない入力iはk番
目のタイムスロットにおける出力を選択する最後の入力
である。
入力がk −1番目のタイムスロットにおいて集合Okを送
出しないならば、 (定数−k)modNの入力はk番目のタイ
ムスロットのスケジュールを完了させる。
る。 各タイムスロットにおいて、N個すべての入力は、
未来のあるタイムスロットでの送信をスケジューリング
する機会を有する。 各タイムスロットにおいて、入力は未来の1を超え
ないタイムスロットでの送信をスケジューリングするこ
とができる。 各タイムスロットにおいて、ある出力は1個の入力
のみから送信を受け付けるようにスケジュールされう
る。
ムスロットにおいて集合Okを送出しない入力と仮定する
と、それ以前のN −1個の入力の各々はk番目のタイムス
ロットの予約をするときに集合Okを送出しなければなら
ない。なお、(k −1 −j)番目のタイムスロットにお
いて、(i+j)modNの入力は集合Ohを次の入力へ送
出しない。また、(i−j)modNの入力はk番目のタイ
ムスロットのための予約を行う。このようなスケジュー
ルは、1≦j≦(N-1) の任意のjについて、 ∀(1≦j≦(N-1)) i - j ≠ i + jmodN ⇔ ∀(1≦j≦(N-1)) 2j ≠ 0modN ⇔ Nが奇数 であるならば、実現可能である。
ュールがk −N番目のタイムスロットでの(i+1)mod
Nの入力によって開始されたということは、k −N −1番
目のタイムスロットでの入力iが集合Ok−Nを送出しなか
ったことを意味する。 (証明終)。
イッチを用いた場合のRRGSスケジューリングの一例
を示すタイミングチャートである。図2では、5つの入
力I 0〜I4と、それら入力が出力ポートを選択するタ
イムスロットT1、T2…との関係が示されている。
5で、入力I1はタイムスロットT10で送信を行うための出
力ポートの選択(スケジューリング)を行い、入力I3は
タイムスロットT9におけるスケジューリングを行ってい
る。また、次のタイムスロットT6では、入力I1はタイム
スロットT8におけるスケジューリングを行っている。以
下同様である。図中に参照番号201で例示された太い
縦線は、その前の入力でスケジューリングが完了し、次
の入力で新しいスケジューリングが開始することを示し
ている。関連するタイムスロットにおいて出力を選択す
る最後の入力である場合には、当該入力は次の入力へ集
合Oを送出しない。この条件はN = 5タイムスロット毎
に発生するから、入力はモジュロNカウンタによって集
合Oを送出しないことを決定することができる。
現在のタイムスロット)におけるRRGSの動作を説明す
る。Okはk番目のタイムスロットの利用可能な出力の集
合を示す。k(i,h) >0は、入力iがh番目のタイ
ムスロットにおいて確保する出力のタイムスロットを示
し、ih=(定数−N−h)modNはh番目のタイムスロッ
トで新しくスケジューリングをはじめる入力を示す。ま
た、k(i,h)=0は、h番目のタイムスロットでの
入力iの動作が抑制されることを意味する。スケジュー
ラは適切な初期化が必要で、初期化期間はNタイムスロ
ット続く。初期化が最初のタイムスロットT1で始まると
仮定すると、初期化はk(0,1) = k(1,1) =... = k(N−1,
1)=0、定数=N+1と設定することにより開始される。つま
り、それ以後更新されるまで最初のNタイムスロットは
すべての入力の動作が抑制される。また、パケットは、
入力ポートにおいて、論理的に分離したキュー(入出力
キュー)で待機すると仮定する。この入出力キューでは
各出力ポートに対応して1つのキューが設けられるため
に、HOL(Head Of Line:ライン先頭)ブロッキング
が防止される。更に、受信入出力キュー及び送信入出力
キューも設けられている。
つぎのように定式化できる。
−1及びi≠ihとして、k(ih,h) = h + N 及
び k(i,h)= k((i−1)modN,h−1)。
トを送信すべき出力jを出力集合Ok (i,h)からRR方式
で選択する。ただし、k(i,h)≠0である。なお、0≦i≦
N−1及びi≠ihである入力iは先行するタイムスロット
において(i−1) mod Nの入力から集合Ok(i,h)を受信し
ている。選択された出力jは、受信した集合Ok(i,h)か
ら除外される。
ビタ(0,1,…,N−1)の各々は、タイムスロット
毎に順次前のアービタから、利用可能な出力ポートの情
報、即ち集合Ok(i,h)を受け取り、その利用可能な出
力ポートの中から1つの出力ポートをRR方式で選択す
る。選択された出力ポートは集合Ok(i,h)から除外さ
れる。こうして更新された集合Ok(i,h)は、後述する
ように次のアービタへ転送される。
れた出力jのアドレスをコネクションメモリのメモリ位
置k(i,h)modNに記憶する。対応する受信入出力キュー
からライン先頭のHOLパケットが別個の送信入出力キュ
ーへ移される。
る入力i(現アービタ)は、次の入力(i + 1) mod N(後
続するアービタ)へ集合Ok(i,h)を転送する。ここで
は、出力ポートの使用/不使用状況を示すN bitの情報
だけを転送すればよい。
は、0≦i≦N−1である入力iと、入力iのメモリロケーシ
ョン (hmod(N+1))から読み込まれたアドレスの出力ポ
ートとの間にクロスバーコネクションを確立する。
て、スケジューリングされた送信入出力キューの先頭
(HOL)パケットをスイッチコアに確立されたコネク
ションを通して選択された出力ラインへ送信する。
は、当該入力が未来のタイムスロットのための出力ポー
トを選択する最後のものであるならば、更新された集合
Okを隣接入力へ転送せず、これにより当該タイムスロッ
トのスケジューリングを完了する。しかしながら、この
奇数個用のアルゴリズムを偶数の場合に直接適用する
と、いくつかの入力は複数の未来のタイムスロットに対
してスケジューリングを行い、逆に、他の入力は全くス
ケジューリングを実行しなくなってしまう。そのため、
入力ポート数が偶数個のスイッチを制御するには、上述
したパイプライン技法を修正する。
ロックする代わりに遅延させることで、入力が偶数個の
場合に対応できると推論できる。入力が偶数個の場合
は、各入力はN個のタイムスロットで一回だけ集合Ohを
次へ送らず、次のタイムスロットにおいて、当該入力は
前のタイムスロットから遅れた集合Ohを送出する。入
力iが遅延した集合Ohを転送するとき、現在の集合Okは
転送しない。従って、当該入力iはk番目のタイムスロ
ットにおいて出力を選択する最後の入力となる。
の入力がk −2番目のタイムスロットにおける集合Ohを
遅延させ、k −1番目のタイムスロットにおいて転送す
るならば、(定数−k)modNの入力はk番目のタイムスロッ
トのスケジュールを完了させる。
目のタイムスロットにおける集合Ohを遅延させ、k −
1番目のタイムスロットにおいて現集合Okの代わりに遅
延された集合Ohを転送するものと仮定する。この場
合、(k −1 −j)番目のタイムスロットにおいて、(i
+j−1)modNの入力は集合Omを遅延させ、 (i+j)modN
の入力は遅延された集合Onを次の入力へと転送する。
(k −1 −j)番目のタイムスロットにおいて、(i−j)m
odNの入力はk番目のタイムスロットを予約し、集合Okを
転送する。ただし、Nが偶数で、0≦j≦N/2−1と
した場合、i−j≠ i + jmodN及びi−j≠ i + j
−1modNである。
のタイムスロットをどの入力も予約しないように、(k
−1−N/2)番目のタイムスロットにおいて集合Ok
を格納する。(k−2−N/2)番目のタイムスロット
において、(i−N/2)modNの入力は、k番目の
タイムスロットを予約する。N/2+2≦j≦Nとして
(k−1−N/2)番目のタイムスロットにおいて、
(i−j+1)modNの入力はk番目のタイムスロッ
トを予約し、集合Okを転送する。ただし、Nが偶数
で、i−j+1≠ i + jmodN及びi−j+1≠ i +
j−1modNである。
ューリングは、入力iに対応するユーザiによって終了
されるまで中断することなくパイプラインによって進行
する。このスケジュールが(k−N−1)番目のタイムス
ロットで(i+1)modNのユーザ(入力)によって
開始されたということは、当該入力が(k−N−2)番目
のタイムスロットにおいて制御情報(即ち、集合O)の
転送を遅延させたからである。 (証明終)。
イッチを用いた場合のRRGSスケジューリングの一例
を示すタイミングチャートである。図3では、4つの入
力I 0〜I3と、それら入力が出力ポートを選択するタ
イムスロットT1、T2…との関係が示されている。
スケジューリングが完了し次の入力から新しいスケジュ
ーリングを開始することを示し、斜線部302は制御情
報Oが遅延していることを示す。
(例えば現在のタイムスロット)におけるRRGSの動作を
説明する。Okはk番目のタイムスロットの利用可能な出
力の集合を示す。k(i,h) >0は、入力iがh番目
のタイムスロットにおいて確保する出力のタイムスロッ
トを示し、ih=(定数−N−1−h)modNはh番目のタ
イムスロットで新しくスケジューリングを開始する入力
を示す。また、k(i,h)=0は、h番目のタイムス
ロットでの入力iの動作が抑制されることを意味する。
スケジューラは適切な初期化が必要で、初期化期間はN
タイムスロット続く。初期化が最初のタイムスロットT1
で始まると仮定すると、初期化はk(0,1)= k(1,1) = ...
= k(N−1,1)=0、定数=N+2と設定することにより開始
される。つまり、それ以後更新されない限り最初のNタ
イムスロットはすべての入力の動作が抑制される。
つぎのように定式化できる。
i≦N−1であるiが集合{ih,(ih+1)mod
N}の要素でないとして、 k(ih,h) = h + N + 1、 k(mod(ih
+1)modN,h) =k(ih,h−2)、及びk
(i,h)= k((i−1)modN,h−1)。
トを送信すべき出力jを出力集合O k(i,h)からRR方式
で選択する。ただし、k(i,h)≠0である。なお、0≦i
≦N−1及びi≠ihである入力iは先行するタイムスロ
ットにおいて(i−1) mod Nの入力から集合Ok(i,h)を
受信している。選択された出力jは、受信した集合Ok(i
,h)から除外される。
れた出力jのアドレスをコネクションメモリのメモリ位
置k(i,h)mod(N+1)に記憶する。対応する受信入出
力キューからライン先頭のHOLパケットが別個の送信入
出力キューへ移される。
る入力i(現アービタ)は、次の入力(i + 1) mod N(後
続するアービタ)へ集合Ok(i,h)を転送する。(ih−2)
modNの入力は集合Ok((ih-2)modN,h)を1タイムスロ
ット分だけ遅延させた後、転送する。
は、0≦i≦N−1である入力iと、入力iのメモリ位置 (h
mod(N+1))から読み込まれたアドレスの出力ポートとの
間にクロスバーコネクションを確立する。
て、スケジュールされた送信入出力キューの先頭(HO
L)のパケットをスイッチコアに確立されたコネクショ
ンを通して選択された出力ラインへ送信する。
スト・パケットは別個のキューに格納され到着順に処理
される(FCFS:first come first served)。各キューは、
そのHOLパケットのあて先を示すマルチキャストビット
マップ(BM)を有する。最も簡単なバージョンでは、マル
チキャスト・キューはユニキャスト・キューよりも優先
されて処理される。h番目のタイムスロットにおけるマ
ルチキャストの場合、次の動作が付加される。
k(i,h)∩BMiを満たす全ての出力jを選択する。HOLマ
ルチキャストパケットは、k番目のタイムスロットにお
いて、選択された全ての出力ポートへ送信される。
ユニキャストキューが動作する。それ以外の場合は、選
択された出力がO k(i,h)及びBMiから除外される。
トパケットがマルチキャストキューから削除される。
タ部の構成を示すブロック図である。N個の入力ポート
(0)〜(N−1)にそれぞれ対応して、入力モジュー
ルIM0〜IMN−1、パイプライン処理を実行するR
RアービタコントローラARB0〜ARBN−1、及び
コネクションメモリM0〜MN−1が設けられている。
RRアービタコントローラARB0〜ARBN−1は、
本発明によるパイプライン処理を行うためにリング上に
接続されている。
トを論理的に分離したキュー(受信入出力キュー)に格
納する。上述したように、各受信入出力キューによっ
て、当該入力ポートがある特定の出力ポートへパケット
を出力するように関連付けられている。入力モジュール
IMは、到着パケットの出線リクエストRQによって各
受信キューに格納した到着パケットの管理を行うと共
に、出線リクエストRQを関連付けられたRRアービタ
コントローラARBへ送出する。
した出線リクエストRQに応答して、利用可能出線情報
Oから未来のタイムスロットで利用可能な出力ポートの
1つを選択し、選択された出力ポート(出線番号)GR
を関連付けられた入力モジュールへ戻す。上述したパイ
プラインの初期化プロセスによって、どのタイムスロッ
トにおいても、RRアービタコントローラARBが同じ
タイムスロットに対して重複して送信スケジューリング
を行わないことが保証される。
イムスロットにおいて出力ポートの予約(スケジューリ
ング)に成功したパケットを別個の送信入出力キューと
して格納する。また、RRアービタコントローラARB
は、対応するコネクションメモリMの特定場所にスケジ
ューリング結果を書きこむ。メモリのアドレスは、パケ
ットがスケジューリングされたタイムスロットによって
決定される。
タイムスロットで未だ予約されていない全ての出力ポー
トを示す制御情報を後続するRRアービタコントローラ
ARBに通知する。より正確には、その制御情報によっ
て予約済みの出力に対する出線リクエストが禁止され
る。もし制御情報を次のポートへ転送しないものがあれ
ば、そのRRアービタコントローラに続く次のRRアー
ビタコントローラは未来のタイムスロットで任意の出力
を選択できることとなる。
ュールに基づいて、パケットは入力モジュールからスイ
ッチコア101を通して出力モジュール(OM)へ転送され
る。
び教示から当業者には明らかであろう。ここでは本発明
のいくつかの実施形態だけを記載したが、本発明の技術
的範囲から逸脱することなく、多くの変形例をなすこと
は可能である。
プロトコルとの比較を行う。「複雑さ」は、1つのスケ
ジュールを完了するのに必要な時間によって計られる。
ここでは、HOL (Head Of Line) 、I-TDMA (Interlea
ved TDMA)、SLIP (Iterative round-robin matching wi
th slip)、RGS (Random greedy scheduling)、及びRR
GSプロトコルの比較を行う。
スイッチのための最も簡単なプロトコルである(M. Kar
ol et al., “Input vs. output queuing on a space-d
ivision packet switch,” IEEE Transactions on Comm
unications, vol. COM-35, no.12, Dec. 1987, pp. 134
7-1356)。各入力は適切な出力へHOLパケットの送信要
求を送出する。要求された出力は、ラウンドロビン方式
で入力の1つに対して送信許可を与える。次のタイムス
ロットで、送信許可を受けた入力はパケットを対応する
出力へ向かって送出する。
出力は入力に固定化された方法により割り当てられる
(K. Bogineni et al., “Low-complexity multiple ac
cess protocols for wavelength-division multiplexed
photonic networks,” IEEE Journal on Selected Are
as in Communications, vol.11, no.4, May 1993, pp.5
90-604)。時間がフレームに分割され、そのフレームの
各タイムスロットにおいて送信スケジュールが前もって
決められている。パケットは、行く先に従って別個のキ
ューに格納され、それらのスケジュールされたタイムス
ロットで送信される。
l. “Scheduling cells in an input-queued switch,”
Electronic Letters, vol.29, no.25, Dec. 1993, pp.
2174-2175に提案されている。各入力は、送出すべきパ
ケットを有する場合、それらパケットの全ての送出先で
ある出力に対して要求を出す。要求された出力は、ラウ
ンドロビン方式で、要求を出している入力の1つに対し
て送信許可を与える。複数の許可を受けた入力は、ラウ
ンドロビン方式で、許可された出力の1つを選択する。
ラウンドロビン選択は、前回選択された候補者の次から
開始される。
をランダム選択に置き換えた点を除けば、RRGSと類似し
ている(D. Guo et al., “Scalable high-speed proto
colsfor WDM optical star networks,” IEEE INFOCO
M’94)。コントローラはランダムに一連の入力を選択
し、それらを比較しなかった出力とランダムに比較す
る。高速になると、RGSは1タイムスロット内で作業
を終了することが出来ない。しかしながら、本発明者等
は、ランダム選択をラウンドロビン選択で置き換えた場
合の影響を検査しその性能評価を行った。
を実装した場合、提供されたトラフィック負荷に対する
平均パケット遅延をそれぞれ示すグラフである。理論特
性値とシミュレーション結果とはよく一致している。
P及びI-TDMAを実装した場合、固定負荷0.8及び0.
9におけるパケット遅延の相補分布関数をそれぞれ示す
グラフである。プロットされた曲線はシミュレーション
結果に基づく。ほとんどの負荷に対して、RRGSはSLIP及
びI-TDMAよりも性能がかなり優れている。
Aを実装しトラフィック負荷が非単調である条件下で、
入出力キュー(i,j)のグループG1での平均パケッ
ト遅延をそれぞれ示すグラフであり、図7(B)は、同
条件下で異なる入出力キューのグループG2での平均パ
ケット遅延をそれぞれ示すグラフであり、図8(A)
は、同条件下で異なる入出力キューのグループG3での
平均パケット遅延をそれぞれ示すグラフであり、図8
(B)は、同条件下で異なる入出力キューのグループG
4での平均パケット遅延をそれぞれ示すグラフである。
のためのパイプライン・ラウンドロビン・スケジューリ
ング方法を提供する。本発明によるRRGSプロトコルで
は、図5〜図8に示したように、同様の複雑さにおい
て、他のプロトコルよりもパケットの平均遅延時間が短
い。また、パケット遅延分布が大きく広がっていない。
トラフィック負荷が非単調である場合、他のプロトコル
に比べると、負荷の少ないキューの遅延時間は長くなる
が、負荷の大きいキューの遅延時間は遥かに短くなって
いる。
キテクチャを示すブロック図である。
た場合のRRGSスケジューリングの一例を示すタイミ
ングチャートである。
た場合のRRGSスケジューリングの一例を示すタイミ
ングチャートである。
タ部の構成を示すブロック図である。
合、提供されたトラフィック負荷に対する平均パケット
遅延のシミュレーション結果と理論値とをそれぞれ示す
グラフである。
MAを実装した場合、固定負荷0.8及び0.9における
パケット遅延の相補分布関数をそれぞれ示すグラフであ
る。
しトラフィック負荷が非単調である条件下で、入出力キ
ュー(i,j)のグループG1での平均パケット遅延を
それぞれ示すグラフであり、(B)は、同条件下で異な
る入出力キューのグループG2での平均パケット遅延を
それぞれ示すグラフである。
ループG3での平均パケット遅延をそれぞれ示すグラフ
であり、(B)は、同条件下で異なる入出力キューのグ
ループG4での平均パケット遅延をそれぞれ示すグラフ
である。
Claims (18)
- 【請求項1】 N入力及びN出力(Nは2以上の整数)
を有し、各入力は前記N出力にそれぞれ対応したN個の
論理的待ち行列(論理的キュー)からなる交換システム
におけるスケジューリング方法において、 a) 複数のスケジューリング過程を位相をずらせて順
次開始する時の開始入力を前記N入力から順次選択し、
当該開始入力から予め定められた数のタイムスロットだ
け未来のタイムスロットを利用可能にし、 b) 前記開始入力からラウンドロビン方式で順次1つ
の入力を選択し、 c) 選択された入力に転送すべきパケットが存在すれ
ば、当該選択された入力に対して、前記未来のタイムス
ロットにおける利用可能な出力の集合の中から1つの出
力を選択し、 d) 選択された出力を前記出力集合から除外し、前記
選択された入力とそれに関連する前記選択された出力と
の組を前記未来のタイムスロットにおけるスケジュール
として記憶する、 ステップを有することを特徴とするスケジューリング方
法。 - 【請求項2】 前記複数のスケジューリング過程がパイ
プライン処理により同時に進行することを特徴とする請
求項1記載のスケジューリング方法。 - 【請求項3】 Nが奇数の場合、前記未来のタイムスロ
ットは前記開始入力からNタイムスロットだけ未来に位
置し、前記選択された出力を前記出力集合から除外した
出力集合を次に選択されるべき入力へ転送する、ことを
特徴とする請求項1記載のスケジューリング方法。 - 【請求項4】 N個のスケジューリング過程が1タイム
スロットずつ位相をずらしながら同時に進行することを
特徴とする請求項3記載のスケジューリング方法。 - 【請求項5】 Nが偶数の場合、前記未来のタイムスロ
ットは前記開始入力から(N+1)タイムスロットだけ
未来に位置し、前記選択された出力を前記出力集合から
除外した出力集合を次に選択されるべき入力へ転送する
動作を(N+1)タイムスロットのうち1回だけ1タイ
ムスロット分遅延させる、ことを特徴とする請求項1記
載のスケジューリング方法。 - 【請求項6】 (N+1)個のスケジューリング過程が
1タイムスロットずつ位相をずらしながら同時に進行す
ることを特徴とする請求項5記載のスケジューリング方
法。 - 【請求項7】 前記交換システムは、更に、マルチキャ
スト・パケットを格納するための別個のキューを有し、
各キューは当該キューのHOLパケットのあて先を示すマ
ルチキャストビットマップ(BM)を有し、 マルチキャスト・キューはユニキャスト・キューよりも
優先されて処理され、任意の入力は前記出力集合とマル
チキャストビットマップとの積集合を満たす全ての出力
を選択し、 HOLマルチキャストパケットは、前記未来のタイムスロ
ットにおいて選択された全ての出力へ送信される、 ことを特徴とする請求項1ないし6のいずれかに記載の
スケジューリング方法。 - 【請求項8】 N入力及びN出力(Nは2以上の整数)
を有し、各入力は前記N出力にそれぞれ対応したN個の
論理的待ち行列(論理的キュー)からなる交換システム
において、 前記N入力の各々は、 到着パケットを格納して前記論理的キューを管理する入
力格納手段と、 前記到着パケットの出力要求に応じて、利用可能な出力
の集合の中から1つの出力を選択して前記入力格納手段
へ送出するアービタ手段と、 前記アービタ手段により選択された出力とその入力との
組を接続情報として格納する接続格納手段と、 前記アービタ手段を隣接するアービタ手段と協調して制
御するパイプライン制御手段と、を有し 、 前記パイプライン制御手段は、 a)複数のスケジューリング過程を位相をずらせて順次
開始するアービタ手段をN個のアービタ手段から順次1
つ選択し、当該開始アービタ手段から予め定められた数
のタイムスロットだけ未来のタイムスロットを利用可能
にし、 b)前記開始アービタ手段からラウンドロビン方式で順
次1つのアービタ手段を選択し、 c)選択されたアービタ手段に対応する入力格納手段か
ら出力要求があれば、当該選択されたアービタ手段によ
り、前記未来のタイムスロットにおける利用可能な出力
の集合の中から1つの出力を選択させ、 d)選択された出力を前記出力集合から除外し、前記選
択されたアービタ手段とそれに関連する前記選択された
出力との組を前記未来のタイムスロットにおけるスケジ
ュールとして前記接続格納手段へ格納する、 ことを特徴とするスケジューリング装置。 - 【請求項9】 N入力及びN出力(Nは2以上の整数)
を有するN×Nクロスバスイッチを有する交換システム
において、 前記N入力の各々は、 到着パケットを格納して前記N出力にそれぞれ対応した
N個の論理的待ち行列(論理的キュー)管理する入力モ
ジュールと、 前記到着パケットの出力要求に応じて、利用可能な出力
の集合の中から1つの出力を選択して前記入力格納手段
へ送出するアービタと、 前記アービタにより選択された出力とその入力との組を
格納する接続メモリと、 前記アービタを隣接するアービタと協調して制御するパ
イプライン制御部と、を有し、 前記N出力の各々は出力モジュールからなり、 前記パイプライン制御手段は、 a)複数のスケジューリング過程を位相をずらせて順次
開始するアービタに対して、当該開始アービタから予め
定められた数のタイムスロットだけ未来のタイムスロッ
トをそれぞれ利用可能にし、 b)前記開始アービタからラウンドロビン方式で順次1
つのアービタを選択し、 c)選択されたアービタに対応する入力モジュールから
出力要求があれば、当該選択されたアービタにより、前
記未来のタイムスロットにおける利用可能な出力の集合
の中から1つの出力を選択させ、 d)選択された出力を前記出力集合から除外し、前記選
択されたアービタとそれに関連する前記選択された出力
との組を前記未来のタイムスロットにおけるスケジュー
ルとして前記接続メモリへ格納し、 前記スケジュールに従って入力モジュールのパケットを
前記クロスバースイッチを通して選択された出力へ送出
することを特徴とする交換システム。 - 【請求項10】 N入力及びN出力(Nは2以上の整
数)を有し、各入力は前記N出力にそれぞれ対応したN
個の論理的待ち行列(論理的キュー)からなるラウンド
・ロビン・グリーティ・スケジューリングプロトコルの
ためのクロスバースイッチにおけるタイムスロット決定
方法であって、前記プロトコルの入力は全ての入出力キ
ューの状態であり、前記プロトコルの出力はスケジュー
ルであり、 a) 任意のk番目のタイムスロットに対してi=(定数
−k−1)modNに対応する入力を選択し、 b) もし入力が無ければ停止し、それ以外であればラ
ウンドロビンのやり方でi = (i + 1) mod Nにより決定
される次の入力を選択し、 c) 集合C=[ (i, j) |出力jに対応する入力iにおい
て少なくとも1個のパケットが存在する]の要素である
組(i,j)が存在するならば、出力jを選択し、 d) ステップc)において前記組(i,j)が存在し
なければ、入力集合からiを除去してステップb)に戻
り、 e) 入力集合からiを、出力集合からjをそれぞれ除去
し、 f) 前記組(i,j)を前記スケジュールに加えてス
テップb)に戻る、ステップを有することを特徴とする
タイムスロットの決定方法。 - 【請求項11】 各タイムスロットにおいて、N個の異
なるスケジュールが未来のNタイムスロット間で同時進
行するスケジューリング方法において、 a) ラウンドロビン方式で、スケジューリングのため
の入力に対して特定の未来のタイムスロットを利用可能
にし、 b) 入力iによって、未来のk番目のタイムスロット
に対する出力を選択し、 c) 未来のk番目のタイムスロットに対するスケジュ
ールを開始し、 d) 次の入力(i+1)modNを決定し、前記k番
目のタイムスロットの間にパケットを自由に受信できる
残りの出力を前記次の入力へ送出する、ステップを有す
ることを特徴とするスケジューリング方法。 - 【請求項12】 入力iがk番目のタイムスロットに対
するスケジュールを完了しなかったならば、出力を選択
し、更新された出力集合を次の入力へ送出し、前記入力
iが前記k番目のタイムスロットに対するスケジュール
を完了するならば、前記出力集合を前記次の入力へ送出
しない、ことを特徴とする請求項11記載の方法。 - 【請求項13】 出力の更新集合を前の入力から受信し
ない入力は、新たなスケジュールを開始することを特徴
とする請求項12記載の方法。 - 【請求項14】 入力が奇数個の場合のパイプライン・
ラウンドロビン・グリーディ・スケジューリング方法に
おいて、 e) k(i,h) >0は入力iがh番目のタイムスロ
ットにおいて確保する出力のタイムスロットを示し、i
h=(定数−N−h)modNはh番目のタイムスロットで新
しくスケジューリングをはじめる入力を示し、k(i,
h)=0はh番目のタイムスロットでの入力iの動作が
抑制されることを意味するものとして、k(0,1) = k(1,
1) = ... = k(N−1,1)=0、定数=N+1に初期化し、 f) O h+N={0,1,…,N−1}、0≦i≦N−1及びi≠ihと
して、k(ih,h)= h+N 及びk(i,h)= k
((i−1)modN,h−1) と設定し、 g) 0≦i≦N−1である入力iでパケットを送信すべき
出力jを集合Ok(i,h)からラウンドロビン方式で選択し
(ただしk(i,h)≠0である)、jをOk(i,h)から除外
し、 h) 0≦i≦N−1である入力iで選択された出力jのア
ドレスをコネクションメモリのメモリ位置k(i,h)modN
に記憶し、対応する受信入出力キューからライン先頭の
HOLパケットが別個の送信入出力キューへ移動し、 i) 0≦i≦N−1でi≠(ih−2)modNである入力iで、次
の入力(i + 1)modNへ集合O k(i,h)を転送し、 j) 0≦i≦N−1である前記入力iと、入力iのメモリロ
ケーション (hmod(N+1))から読み込まれたアドレスの
出力との間にクロスバーコネクションを確立し、 k) 0≦i≦N−1である各入力iについて、スケジュー
リングされた送信入出力キューの先頭に保持されたパケ
ットをスイッチコアを通して送信する、 ステップを有するプロセスを用いてh番目のタイムスロ
ットを完了させる方法。 - 【請求項15】 入力が偶数個の場合のパイプライン・
ラウンドロビン・グリーディ・スケジューリング方法に
おいて、 m) k(i,h) >0は入力iがh番目のタイムスロ
ットにおいて確保する出力のタイムスロットを示し、i
h=(定数−N−h)modNはh番目のタイムスロットで新
しくスケジューリングをはじめる入力を示し、k(i,
h)=0はh番目のタイムスロットでの入力iの動作が
抑制されることを意味するものとして、k(0,1) = k(1,
1) = ... = k(N−1,1)=0、定数=N+1に初期化し、 n) O h+N+1={0,1,…,N−1}、0≦i≦N−1であるi
で集合{ih,(ih+1)modN}の要素でないとし
て、k(ih,h) = h + N + 1、 k(mod(i
h+1)modN,h) = k(ih,h−2)、及びk
(i,h)= k((i−1)modN,h−1)に設定
し、 o) 0≦i≦N−1である入力iにおいてパケットを送信
すべき出力jを集合O k(i,h)からラウンドロビン方式で
選択し(ただし、k(i,h)≠0である)、jをO k(i,h)か
ら除外し、 p) 0≦i≦N−1である入力iにおいて、選択された出
力jのアドレスをコネクションメモリのメモリ位置k(i,
h)mod(N+1)に記憶し、対応する受信入出力キュー
からライン先頭のHOLパケットが別個の送信入出力キュ
ーへ移動させ、 q) 0≦i≦N−1でi≠(ih−2)modNである入力iにおい
て、 (ih−2)modNの入力が集合O k((ih-2)modN,h)を1
タイムスロット分だけ遅延させた後、次の入力(i + 1)
mod Nへ 集合O k(i,h)を転送し、 r) 0≦i≦N−1である入力iと、入力iのメモリ位置
(hmod(N+1))から読み込まれたアドレスの出力との間に
クロスバーコネクションを確立し、 s) 0≦i≦N−1である各入力iについて、スケジュー
ルされた送信入出力キューの先頭のパケットをスイッチ
コアを通して送信する、 ステップを有するプロセスを用いてh番目のタイムスロ
ットを完了させる方法。 - 【請求項16】 マルチキャスト・スケジューリングが
ラウンドロビン・グリーディ・スケジューリング・アル
ゴリズムに組み込まれており、マルチキャストパケット
は到着順に処理される方式で格納され、ユニキャストキ
ューよりも優先的に処理され、h番目のタイムスロット
におけるステップは、更に、 u) 0≦i≦N−1である入力iにおいて、j∈O k(i,h)
∩BMiを満たす全ての出力jを選択し、HOLマルチキャス
トパケットをk番目のタイムスロットで選択された出力
へ送信し、 v) O k(i,h)∩BMiが空集合であればユニキャストキ
ューを処理し、それ以外の場合は、選択された出力をO
k(i,h)及びBMiから除外し、 w) BMiが空であれば、HOLマルチキャストパケットを
マルチキャストキューから削除する、 ステップを有することを特徴とする請求項14記載の方
法。 - 【請求項17】 マルチキャストスケジューリングがラ
ウンドロビン・グリーディ・スケジューリング・アルゴ
リズムに組み込まれており、マルチキャストパケットは
到着順に処理される方式で格納され、ユニキャストキュ
ーよりも優先的に処理され、h番目のタイムスロットに
おけるステップは、更に、 x) 0≦i≦N−1である入力iにおいて、j∈O k(i,h)
∩BMiを満たす全ての出力jを選択し、HOLマルチキャス
トパケットをk番目のタイムスロットで選択された出力
へ送信し、 y) O k(i,h)∩BMiが空集合であればユニキャストキ
ューを処理し、それ以外の場合は、選択された出力をO
k(i,h)及びBMiから除外し、 z) BMiが空であれば、HOLマルチキャストパケットを
マルチキャストキューから削除する、 ステップを有することを特徴とする請求項15記載の方
法。 - 【請求項18】 ステージiが入力Iに関連し、前記ス
テージiは未来のタイムスロットでの出力への送信をス
ケジューリングし、前記未来のタイムスロットは全ての
ステージを通して順次ずれて行くNxNスイッチをスケ
ジューリングするためのNステージ・パイプラインシス
テムにおいて、 入力に対応する全てのパイプラインステージは、2つの
入力が同時に同一の未来のタイムスロットを選択しない
ように、同時にスケジューリングを実行し、出力スロッ
トはラウンドロビン方式に基づいて選択され、出力があ
るステージにより選択されるとき、当該出力は、パイプ
ラインステージが入力によってあるタイムスロットで既
に選択された出力を選択しないように、出力のフリープ
ールから除去される、ことを特徴とするNステージ・パ
イプラインシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/206975 | 1998-12-08 | ||
US09/206,975 US6618379B1 (en) | 1998-12-08 | 1998-12-08 | RRGS-round-robin greedy scheduling for input/output terabit switches |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000174817A JP2000174817A (ja) | 2000-06-23 |
JP3221436B2 true JP3221436B2 (ja) | 2001-10-22 |
Family
ID=22768718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17258499A Expired - Fee Related JP3221436B2 (ja) | 1998-12-08 | 1999-06-18 | 交換システムにおけるスケジューリング方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6618379B1 (ja) |
EP (1) | EP1009189B1 (ja) |
JP (1) | JP3221436B2 (ja) |
KR (1) | KR100339329B1 (ja) |
CN (1) | CN1197275C (ja) |
DE (1) | DE69931587T2 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6477169B1 (en) * | 1999-05-14 | 2002-11-05 | Nortel Networks Limited | Multicast and unicast scheduling for a network device |
KR100378588B1 (ko) * | 1999-05-19 | 2003-03-29 | 주식회사 머큐리 | 대용량화가 가능한 다중 경로 비동기 전송 모드 스위치 및 셀구조 |
US7058063B1 (en) * | 1999-06-18 | 2006-06-06 | Nec Corporation | Pipelined packet scheduler for high speed optical switches |
KR100312363B1 (ko) * | 1999-06-18 | 2001-11-03 | 가네코 히사시 | 데이터 흐름 제어 스위치 및 그 스케줄링방법 |
KR100317123B1 (ko) * | 1999-10-29 | 2001-12-24 | 오길록 | 선형 시스톨릭 라운드로빈 스케줄러 및 그의 스케줄링방법 |
JP3389913B2 (ja) | 1999-11-10 | 2003-03-24 | 日本電気株式会社 | グループ化パイプライン・スケジューリング方式及びその方法 |
JP3473687B2 (ja) * | 2000-03-29 | 2003-12-08 | 日本電気株式会社 | 分散パイプラインスケジューリング方法および方式 |
AU2001282688A1 (en) * | 2000-06-14 | 2001-12-24 | Sun Microsystems, Inc. | Packet transmission scheduler |
US7072353B2 (en) * | 2000-06-15 | 2006-07-04 | At&T Corp. | Flexible bandwidth allocation in high-capacity grooming switches |
ATE313892T1 (de) | 2000-07-05 | 2006-01-15 | Roke Manor Research | Verbesserungen in oder zu vermittlungsvorrichtungen |
GB0016475D0 (en) * | 2000-07-05 | 2000-08-23 | Roke Manor Research | Distributed schedules for a routing device |
JP3567878B2 (ja) * | 2000-10-02 | 2004-09-22 | 日本電気株式会社 | パケット交換装置 |
US6848017B2 (en) * | 2000-10-26 | 2005-01-25 | Emc Corporation | Method and apparatus for determining connections in a crossbar switch |
US20020110086A1 (en) * | 2000-12-18 | 2002-08-15 | Shlomo Reches | Multiport switch and a method for forwarding variable length packets across a multiport switch |
US7042883B2 (en) * | 2001-01-03 | 2006-05-09 | Juniper Networks, Inc. | Pipeline scheduler with fairness and minimum bandwidth guarantee |
US20020172197A1 (en) * | 2001-05-18 | 2002-11-21 | Dale Michele Zampetti | System interconnect with minimal overhead suitable for real-time applications |
US7911980B1 (en) | 2001-07-17 | 2011-03-22 | At&T Intellectual Property Ii, L.P. | Flexible multicasting in high-capacity switches |
CN100450071C (zh) * | 2001-10-31 | 2009-01-07 | 西门子公司 | 用于在基于碰撞识别的通信网络中实时数据交换的通信方法、相应的存储媒体和通信网络 |
KR100459036B1 (ko) * | 2001-12-18 | 2004-12-03 | 엘지전자 주식회사 | 에이티엠 스위치 시스템의 트레인 패킷 구성 방법 |
AU2003250913A1 (en) * | 2002-07-08 | 2004-01-23 | Abbott Laboratories Vascular Enterprises Limited | Drug eluting stent and methods of manufacture |
US20040037558A1 (en) * | 2002-08-20 | 2004-02-26 | Nortel Networks Limited | Modular high-capacity switch |
US7627721B2 (en) | 2002-10-08 | 2009-12-01 | Rmi Corporation | Advanced processor with cache coherency |
US8015567B2 (en) | 2002-10-08 | 2011-09-06 | Netlogic Microsystems, Inc. | Advanced processor with mechanism for packet distribution at high line rate |
US8478811B2 (en) | 2002-10-08 | 2013-07-02 | Netlogic Microsystems, Inc. | Advanced processor with credit based scheme for optimal packet flow in a multi-processor system on a chip |
US9088474B2 (en) | 2002-10-08 | 2015-07-21 | Broadcom Corporation | Advanced processor with interfacing messaging network to a CPU |
US7924828B2 (en) | 2002-10-08 | 2011-04-12 | Netlogic Microsystems, Inc. | Advanced processor with mechanism for fast packet queuing operations |
US7984268B2 (en) | 2002-10-08 | 2011-07-19 | Netlogic Microsystems, Inc. | Advanced processor scheduling in a multithreaded system |
US7961723B2 (en) | 2002-10-08 | 2011-06-14 | Netlogic Microsystems, Inc. | Advanced processor with mechanism for enforcing ordering between information sent on two independent networks |
US8176298B2 (en) | 2002-10-08 | 2012-05-08 | Netlogic Microsystems, Inc. | Multi-core multi-threaded processing systems with instruction reordering in an in-order pipeline |
US7346757B2 (en) | 2002-10-08 | 2008-03-18 | Rmi Corporation | Advanced processor translation lookaside buffer management in a multithreaded system |
US7334086B2 (en) * | 2002-10-08 | 2008-02-19 | Rmi Corporation | Advanced processor with system on a chip interconnect technology |
US8037224B2 (en) | 2002-10-08 | 2011-10-11 | Netlogic Microsystems, Inc. | Delegating network processor operations to star topology serial bus interfaces |
US7352699B2 (en) * | 2003-04-25 | 2008-04-01 | Alcatel Usa Sourcing, L.P. | Switch fabric access scheduler |
US7397796B1 (en) * | 2003-08-21 | 2008-07-08 | Smiljanic Aleksandra | Load balancing algorithms in non-blocking multistage packet switches |
US8345701B1 (en) * | 2003-08-26 | 2013-01-01 | F5 Networks, Inc. | Memory system for controlling distribution of packet data across a switch |
US7542473B2 (en) | 2004-12-02 | 2009-06-02 | Nortel Networks Limited | High-speed scheduling apparatus for a switching node |
JP2008532408A (ja) | 2005-02-28 | 2008-08-14 | エヌエックスピー ビー ヴィ | ルータ、ルータを具えたネットワーク、及びネットワーク内のデータルーティング方法 |
FR2898750B1 (fr) * | 2006-03-14 | 2008-06-06 | Alcatel Sa | Dispositif de communtation de donnees a mecanisme d'arbitrage entre demandes de transfert d'ensembles de donnees, pour un noeud d'un reseau de communication a tres haut debit |
JP5096102B2 (ja) * | 2007-10-17 | 2012-12-12 | 株式会社ユニバーサルエンターテインメント | 無線通信タグ及び無線通信システム |
US9596324B2 (en) | 2008-02-08 | 2017-03-14 | Broadcom Corporation | System and method for parsing and allocating a plurality of packets to processor core threads |
GB2464310B (en) | 2008-10-10 | 2012-10-17 | Micron Technology Inc | Switching device |
US8824496B2 (en) * | 2009-10-30 | 2014-09-02 | Oracle America, Inc. | Two-phase arbitration mechanism for shared optical links |
US8473659B2 (en) * | 2010-01-15 | 2013-06-25 | Oracle America, Inc. | Time division multiplexing based arbitration for shared optical links |
US8655120B2 (en) | 2011-07-11 | 2014-02-18 | Oracle International Corporation | Arbitrated optical network using tunable drop filters |
US10834065B1 (en) | 2015-03-31 | 2020-11-10 | F5 Networks, Inc. | Methods for SSL protected NTLM re-authentication and devices thereof |
US10404698B1 (en) | 2016-01-15 | 2019-09-03 | F5 Networks, Inc. | Methods for adaptive organization of web application access points in webtops and devices thereof |
EP4002770B1 (en) * | 2020-11-16 | 2024-04-03 | Ratier-Figeac SAS | Serial time triggered data bus |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4761780A (en) | 1986-12-22 | 1988-08-02 | Bell Communications Research, Inc. | Enhanced efficiency Batcher-Banyan packet switch |
JPH0287745A (ja) | 1988-09-26 | 1990-03-28 | Nippon Telegr & Teleph Corp <Ntt> | セル競合制御回路 |
US5161156A (en) * | 1990-02-02 | 1992-11-03 | International Business Machines Corporation | Multiprocessing packet switching connection system having provision for error correction and recovery |
JP2805992B2 (ja) | 1990-06-28 | 1998-09-30 | 松下電器産業株式会社 | パケットスイッチ及びその接続制御装置 |
JPH04271546A (ja) | 1991-02-27 | 1992-09-28 | Nec Corp | 入力キューイング型パケット処理装置の競合制御方式 |
US5299190A (en) | 1992-12-18 | 1994-03-29 | International Business Machines Corporation | Two-dimensional round-robin scheduling mechanism for switches with multiple input queues |
JP3221997B2 (ja) | 1993-03-26 | 2001-10-22 | 株式会社東芝 | 画像処理装置 |
JPH0823213A (ja) | 1994-07-05 | 1996-01-23 | Matsushita Electric Ind Co Ltd | 誘電体同軸共振器 |
US5517495A (en) | 1994-12-06 | 1996-05-14 | At&T Corp. | Fair prioritized scheduling in an input-buffered switch |
US5983260A (en) * | 1995-07-19 | 1999-11-09 | Fujitsu Network Communications, Inc. | Serial control and data interconnects for coupling an I/O module with a switch fabric in a switch |
JP2865139B2 (ja) * | 1997-04-18 | 1999-03-08 | 日本電気株式会社 | Atmセルバッファ回路及びatm交換機における優先順位任意割付方法 |
JP3506612B2 (ja) | 1998-08-31 | 2004-03-15 | 富士通株式会社 | スケジューリング制御装置 |
JP3684308B2 (ja) | 1998-12-15 | 2005-08-17 | 富士通株式会社 | スケジューリング制御装置および交換機 |
-
1998
- 1998-12-08 US US09/206,975 patent/US6618379B1/en not_active Expired - Lifetime
-
1999
- 1999-06-18 JP JP17258499A patent/JP3221436B2/ja not_active Expired - Fee Related
- 1999-06-24 EP EP99112183A patent/EP1009189B1/en not_active Expired - Lifetime
- 1999-06-24 DE DE69931587T patent/DE69931587T2/de not_active Expired - Lifetime
- 1999-07-08 KR KR1019990027469A patent/KR100339329B1/ko not_active IP Right Cessation
- 1999-07-22 CN CNB99110823XA patent/CN1197275C/zh not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
Electronics Letters Vol.24 No.13 p772−773 |
Also Published As
Publication number | Publication date |
---|---|
JP2000174817A (ja) | 2000-06-23 |
KR100339329B1 (ko) | 2002-06-03 |
KR20000047434A (ko) | 2000-07-25 |
EP1009189B1 (en) | 2006-05-31 |
CN1264226A (zh) | 2000-08-23 |
CN1197275C (zh) | 2005-04-13 |
EP1009189A3 (en) | 2003-03-12 |
DE69931587T2 (de) | 2007-06-06 |
EP1009189A2 (en) | 2000-06-14 |
US6618379B1 (en) | 2003-09-09 |
DE69931587D1 (de) | 2006-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3221436B2 (ja) | 交換システムにおけるスケジューリング方法及び装置 | |
EP0981878B1 (en) | Fair and efficient scheduling of variable-size data packets in an input-buffered multipoint switch | |
US6229812B1 (en) | Scheduling techniques for data cells in a data switch | |
US7173931B2 (en) | Scheduling the dispatch of cells in multistage switches | |
US7046661B2 (en) | Scheduling the dispatch of cells in non-empty virtual output queues of multistage switches using a pipelined hierarchical arbitration scheme | |
US4866701A (en) | Packet switch with dynamic allocation of inputs | |
US6940851B2 (en) | Scheduling the dispatch of cells in non-empty virtual output queues of multistage switches using a pipelined arbitration scheme | |
USRE43110E1 (en) | Pipelined maximal-sized matching cell dispatch scheduling | |
US20040081184A1 (en) | Apparatus and method to switch packets using a switch fabric with memory | |
US20060072599A1 (en) | Flexible bandwidth allocation in high-capacity grooming switches | |
JPH08298522A (ja) | 共有メモリ非同期転送モードスイッチ内において使用されるための空間優先度を維持するための選択的押出しシステム及び方法 | |
CN100490383C (zh) | 一种支持多优先级的高速Crossbar调度方法 | |
US7203202B2 (en) | Arbitration using dual round robin matching with exhaustive service of winning virtual output queue | |
US7103056B2 (en) | Scheduling the dispatch of cells in multistage switches using a hierarchical arbitration scheme for matching non-empty virtual output queues of a module with outgoing links of the module | |
US20060077973A1 (en) | Output scheduling method of crosspoint buffered switch | |
Kleban et al. | Packet dispatching algorithms with the static connection patterns scheme for three-stage buffered clos-network switches | |
dos Santos et al. | A QoS provisioned CIOQ ATM switch with m internal links | |
US20020031127A1 (en) | Asynchronous transfer mode switching architectures having connection buffers | |
KR100368439B1 (ko) | 이중 스위칭 평면을 갖는 패킷 스위치에서 전송 순서 보장 방법 및 장치 | |
USRE42600E1 (en) | Scheduling the dispatch of cells in non-empty virtual output queues of multistage switches using a pipelined arbitration scheme | |
dos Santos et al. | A QoS provisioned CIOQ packet switch using crossbar structure with m internal links | |
Jacob et al. | A fast and efficient output scheduler for high-performance input queueing ATM switches | |
Nabeshima | Input-queued switches using two schedulers in parallel | |
JP2000101591A (ja) | セルスケジューラ | |
Motoyama et al. | Performance analysis of iterative scheduling algorithms for ATM input-queued switches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20010313 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010717 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070817 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080817 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080817 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090817 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090817 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130817 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |