JP2853652B2 - プロセッサ間通信におけるパケット送信方法およびその装置 - Google Patents
プロセッサ間通信におけるパケット送信方法およびその装置Info
- Publication number
- JP2853652B2 JP2853652B2 JP8103675A JP10367596A JP2853652B2 JP 2853652 B2 JP2853652 B2 JP 2853652B2 JP 8103675 A JP8103675 A JP 8103675A JP 10367596 A JP10367596 A JP 10367596A JP 2853652 B2 JP2853652 B2 JP 2853652B2
- Authority
- JP
- Japan
- Prior art keywords
- header
- memory
- packet
- processor
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Multi Processors (AREA)
Description
ユニット)とメモリと送信装置と受信装置とを備えた複
数のプロセッサがプロセッサ間ネットワークを通じて相
互に接続されたシステムにおけるプロセッサ間通信に関
し、特に、プロセッサ間ネットワークのスイッチとし
て、クロスポイントバッファ方式を採用している場合
に、そのネットワークの処理能力を向上させるためのプ
ロセッサ間通信技術に関する。
関する研究が数多く行われているが、その中に、「超高
速ATMスイッチの構成法」(朝永他、電子情報通信学
会論文誌B−1 Vo1.76−B−1 No.11)
に示される、スイッチのクロスポイントのところにFI
FOメモリを持つクロスポイントバッファ方式によるス
イッチがある。
は、図3を参照して後述するように、各入力ポートにそ
のスイッチの出力ポート数Nと同じ数のFIFOメモリ
を備えている。1つの入力ポートのN個のFIFOメモ
リは、それぞれ異なる出力ポートに接続されているマル
チプレクサ(MUX)の入力の1つに接続されている。
各出力ポートに設けられた制御回路は、それぞれ独立に
動作しており、入力ポートのN個のFIFOメモリの状
態(FIFOメモリ内にパケットがあるかないか)を見
て、マルチプレクサによってFIFOメモリを選択し、
そのFIFOメモリ内のパケットを処理する。つまり、
制御回路は、パケットヘッダに書かれた経路を選択する
情報とパケット長とを読み出し、経路を選択する情報が
示した次段のスイッチの入力ポートに設けられたN個の
FIFOメモリのうちの1つのFIFOメモリからの書
き込み可能信号を検出し、書き込み可能状態であればそ
のFIFOメモリにパケットを書き込む。このように、
経路の選択は、制御回路が書き込む次段のFIFOメモ
リの選択によって行われる。このことは、或るi段での
経路選択は、i−1段のスイッチによって行われること
を意味し、最初の段のスイッチの経路選択は、プロセッ
サ間ネットワークに接続されたプロセッサの送信装置に
よって行われることになる。
て冗長な経路がないように構成すると、或るスイッチで
異なる経路を選択する2つのパケットは、必ず異なる宛
先プロセッサに到着することが知られている。本発明
は、このような冗長な経路がない多段網のプロセッサ間
ネットワークを対象とする。
じプロセッサから同じ宛先プロセッサに送信された2つ
のパケットの順序をプロセッサ間ネットワーク内で保証
することが一般的である。つまり、或るプロセッサPか
ら或るプロセッサQに送信された2つのパケットAとパ
ケットBは、もし、プロセッサPがパケットAの後にパ
ケットBを送信したのなら、プロセッサQでは、パケッ
トBの前にパケットAが到着しなければならない。
れた2つのパケットでも、宛先プロセッサが異なれば、
その到着順序は保証されない。なぜなら、2つのパケッ
トは必ずプロセッサ間ネットワーク内の異なる経路を通
るので、その経路の状態によって、宛先プロセッサへの
到着時間が異なるからである。
ロセッサのパケットは、プロセッサの送信装置での処理
の順序を入れ換えても構わないということである。ま
た、次段のスイッチで異なる経路をとるパケットは異な
る宛先へのパケットである。従って、次段のスイッチで
異なる経路をとる2つのパケットは、プロセッサの送信
装置での処理の順序を入れ換えても構わないということ
である。
が、1つのパケットの最大長よりも大きく、FIFOメ
モリへの書き込みが、1つのパケットが必ず書き込める
ことを保証できる時点で行われるなら、1つのパケット
が処理の途中でFIFOメモリに書き込めなくなり、ス
イッチとスイッチ間のリンクを長時間占有することは起
こらない。このことは、クロスポイントバッファ方式の
スイッチを持つプロセッサ間ネットワークに接続された
プロセッサの送信装置と1段目のスイッチとの間のリン
クでも言える。
のヘッダレジスタを備えており、メモリ上のパーセルヘ
ッダキューに書かれたパーセルを順番にヘッダレジスタ
に読み出して処理する。従って、パーセルヘッダキュー
の現処理中のパーセルを書き込む第1段目のスイッチの
FIFOメモリが書き込み可能でない場合には、送信装
置での処理は中断される。プロセッサ間ネットワークの
スイッチがクロスポイントバッファ方式以外の場合に
は、送信装置から書き込まれるFIFOメモリは1つな
ので、このFIFOメモリが書き込み可能になるまで待
たざるをえないのは仕方がない。しかし、プロセッサ間
ネットワークのスイッチがクロスポイントバッファ方式
の場合には、他にN−1個のFIFOメモリがあり、パ
ーセルヘッダキューの現在処理しているパーセルの後に
位置するパーセルの1段目のスイッチでの書き込みFI
FOメモリがN−1個のFIFOメモリのうちの1つ
で、さらに、そのFIFOメモリが書き込み可能である
場合には、宛先プロセッサが異なるので、先にそのパー
セルを処理することが可能である。このようにクロスポ
イントバッファ方式を採用しているスイッチを用いたプ
ロセッサ間ネットワークを用いる場合の利点を活かした
送信を行うには、そのための特別な送信の方法とその装
置が必要となる。
ァ方式のスイッチを用いたプロセッサ間ネットワークで
は、プロセッサの送信装置が書き込むFIFOメモリは
スイッチの出力ポート数N個存在し、しかも、異なるF
IFOメモリに書かれるパケットは同じプロセッサを宛
先としていないので、書き込みの順序を保証する必要が
ない。従って、書き込み可能なFIFOメモリへ書き込
まれるパケットの処理を先行して行うことが可能であ
る。
ルヘッダの処理が終了しない限り、次のパーセルヘッダ
を処理し得ない方法では、クロスポイントバッファ方式
のスイッチを用いても、その利点を活かしきれない。
ているパーセルのパケットが、FIFOメモリが書き込
み可能でないために送出できない場合、書き込まれるF
IFOメモリが書き込み可能な他のパーセルのパケット
の送出を先行して処理できるようにして、クロスポイン
トバッファ方式のスイッチをプロセッサ間ネットワーク
に採用した利点を活かすことである。
送するプロセッサ間ネットワークであって、クロスポイ
ントバッファ方式のスイッチで構成され、或るプロセッ
サから或るプロセッサへの経路が一意に決定され、か
つ、スイッチの入力ポートのFIFOメモリの書き込み
が可能かどうかを示す書き込み可能信号がパケット1個
全部を書き込める場合だけオンとなるプロセッサ間ネッ
トワークを通じて、メモリ上のヘッダキューに格納され
たヘッダにかかる一連のパケットを、他のプロセッサに
送信するパケット送信において、メモリ上のヘッダキュ
ーに格納されているヘッダを、複数用意されたヘッダレ
ジスタのうちの空きレジスタに読み出し、各パケットの
送信時、パケットを書き込むプロセッサ間ネットワーク
中のFIFOメモリが同じになるヘッダ間では最先に読
み出されたヘッダを優先して選択するという条件を少な
くとも満足する範囲内で、前記複数のヘッダレジスタに
格納されたヘッダの内、書き込むFIFOメモリが書き
込み可能であるヘッダを唯一選択し、それにかかるパケ
ットを該当するFIFOメモリに書き込む。これによっ
て、ヘッダキューから読み出した或るヘッダのパケット
を書き込むFIFOメモリが書き込み不可能状態であっ
ても、後続のヘッダのうちにそのパケットを書き込むF
IFOメモリが書き込み可能状態になっているものがあ
れば、それを先行して処理できる。
あるヘッダであって、その書き込み先FIFOメモリが
異なるヘッダが複数存在した場合、その何れを先に処理
しても構わない。書き込み先FIFOメモリの異なるヘ
ッダにかかるパケットは異なるプロセッサへ到着するか
らである。但し、1つのヘッダの送信処理が終了する時
間を短くする為には、直前に選択したヘッダを他のヘッ
ダより優先して選択するという条件を適用するのが好ま
しい。また、プロセッサ間ネットワークの複数の経路を
使うようにしてプロセッサ間ネットワークの負荷を均一
にするためには、最近選択されていないヘッダほどより
優先的に選択するという条件を適用するのが好ましい。
在する場合、ヘッダキュー間に付けた優先順位をも考慮
して処理すべきヘッダの選択を行う。
いて図面を参照して詳細に説明する。
る。図1に示されるように、複数のプロセッサ1は、プ
ロセッサ間ネットワーク2によって接続されている。ま
た、各々のプロセッサ1は、CPU11と、メモリ12
と、送信装置13と、受信装置14と、これらを接続す
るバス10とを有している。なお、送信装置13と受信
装置14とでプロセッサ間通信装置が構成される。
力ポートと4個の出力ポートとを持つクロスポイントバ
ッファ方式のスイッチ3によって構成されており、この
スイッチ3には1つの入力ポート60に4個のFIFO
メモリ68,69,70,71が接続されている。
格納するパーセルヘッダキュー16が設けられている。
また、論理アドレスから物理アドレスへの変換に用いる
ページテーブル18が設けられている。
ュー16を指す2つのレジスタが存在する。1つは、送
信装置13が次に処理すべきパーセルヘッダのアドレス
を格納しているパーセルヘッダキューアドレスレジスタ
20であり、もう1つはCPU11が次にパーセルヘッ
ダを書き込む位置を示しているパーセルヘッダキューオ
フセットレジスタ21である。また、これら2つの値を
比較するために比較器22が設けられており、その結果
がシーケンサ23に伝えられる。
のパーセルヘッダキュー16から読み出したパーセルヘ
ッダ15を格納するための複数のヘッダレジスタ、つま
りヘッダレジスタ24,25,26,27が設けられて
いる。これらのヘッダレジスタはMUX(マルチプレク
サ)28によって1つ選択され、そのヘッダの処理が行
われる。どのヘッダレジスタ内のヘッダを選択するか
は、ヘッダレジスタ選択回路29によって決定される。
ヘッダレジスタ選択回路29は、次段のクロスポイント
バッファ方式のスイッチ3の4つのFIFOメモリ6
8,69,70,71からの書き込み可能信号30,3
1,32,33や、4個のヘッダレジスタ24,25,
26,27からの送り先ポート情報34,35,36,
37等に基づき処理するヘッダレジスタを選択する。
に書かれるパーセルヘッダ15は、4ワードで構成され
ており、ヘッダレジスタ24〜27はこの4ワードと更
に付加的な1ワードとを格納する。図2に示すように、
各々のヘッダレジスタは、宛先プロセッサ番号やパケッ
トタイプなどを格納するパーセルタイプレジスタ92
と、パーセルで転送するワード数を格納するパーセル長
レジスタ93と、パーセルで送るデータを格納している
アドレスを示すソースアドレスレジスタ94と、送信元
が宛先プロセッサでの書き込みアドレスをパケットに指
定する場合には、その書き込みアドレス(デスティネー
ションアドレス)を格納するデスティネーションアドレ
スレジスタ95とを含む。これらは4ワードで構成され
るパーセルヘッダ15を格納する部分である。残りの1
ワードは、当該ヘッダレジスタに当該パーセルヘッダを
格納した時刻(登録時刻)が格納される登録時刻レジス
タ200である。この登録時刻は複数のヘッダレジスタ
に格納されている複数のパーセルヘッダの読み出し順位
を定めるために用いられる。なお、それぞれのレジスタ
は個別に書き込みが可能となっており、送信装置13で
のパーセルの処理が行われるにつれ、必要なレジスタ内
の値が更新されていく。
処理するために必要なレジスタ等を有している。パケッ
ト長決定回路38は、選ばれたヘッダレジスタ内のパー
セル長レジスタ93の値と、ソースアドレスレジスタ9
4の値とから1つのパケットとして送るワード数を決定
する。パケット長決定回路38で決定されたパケット長
は、パケット長レジスタ39とパケット長カウンタ40
とに格納される。読み出し語数決定回路41は、ソース
アドレスレジスタ94に格納されているソースアドレス
の下位ビットとパケット長カウンタ40の値とから1回
のメモリアクセスでメモリ12から読み出すワード数を
決定する。ALU42は、パケット長レジスタ39の値
や、読み出し語数決定回路41からの出力を使って、選
ばれたヘッダレジスタ内のパーセル長レジスタ93,ソ
ースアドレスレジスタ94,デスティネーションアドレ
スレジスタ95の内容を更新するための計算を行う。
からのパーセルヘッダ15の読み出しや、そのパーセル
で送るべきパーセル本体17のアドレスには、論理アド
レスが用いられるので、送信装置13内にはTLB43
があり、論理アドレスから物理アドレスへの変換を行っ
て、変換された物理アドレスを用いてメモリをアクセス
する。もし、TLB43中に変換に必要な情報がない場
合には、メモリ12上のページテーブル18をアクセス
してTLB43中に必要な情報を読み出し、変換を行
う。
ントバッファ方式スイッチ3のFIFOメモリ68,6
9,70,71への書き込み信号45,46,47,4
8を発生する書き込み制御回路44を有する。
成するクロスポイントバッファ方式のスイッチ3の構成
を示すブロック図である。
0,B61,C62,D63と、4個の出力ポートA6
4,B65,C66,D67を持つ。各入力ポートは、
それぞれ、4個のFIFOメモリを有しており、この4
個のFIFOメモリは異なる出力ポートに接続されたマ
ルチプレクサの入力となっている。例えば、入力ポート
A60には、FIFOメモリAA68,FIFOメモリ
AB69,FIFOメモリAC70,FIFOメモリA
D71がある。FIFOメモリAA68は、出力ポート
A64に接続されたマルチプレクサ84の入力となって
おり、FIFOメモリAB69は、出力ポートB65に
接続されたマルチプレクサ85の入力となっており、F
IFOメモリAC70は、出力ポートC66に接続され
たマルチプレクサ86の入力となっており、FIFOメ
モリAD71は、出力ポートD67に接続されたマルチ
プレクサ87の入力となっている。
Oメモリの書き込み可能信号を送り、前段からの書き込
み信号によって、書き込みデータを書き込む。また、各
出力ポートにある制御回路88,89,90,91は、
異なった入力ポートにある4個のFIFOメモリからの
読み出し可能信号を調べ、マルチプレクサ84,85,
86,87によって、読み出し可能なFIFOメモリを
選択し、パケットヘッダを読み出して、そのパケット
長,次段での書き込みFIFOメモリの選択に使用する
経路指定情報を得る。そして、この出力ポートが接続さ
れている次段のスイッチの入力ポートの4個のFIFO
メモリからの書き込み可能信号を受けて、選ばれた入力
ポートのFIFOメモリから読み出したパケットを選択
された次段のFIFOメモリに書き込む。
うに構成された本実施例の動作を説明する。
ッサ間通信を行う場合には、通信のためのライブラリの
関数を呼ぶ。通信ライブラリの関数では、メモリ12上
のパケットヘッダキュー16に4ワードのパーセルヘッ
ダ15が書き込まれる。パーセルヘッダ15には、プロ
セッサ間通信の宛先プロセッサ番号や宛先プロセッサで
の書き込みアドレスを選択するためのパーセルタイプの
情報,通信するワード数,送信するデータのメモリアド
レス,宛先プロセッサでの書き込みアドレスなどが指定
される。そして、通信ライブラリで、送信装置13内の
パーセルヘッダキューオフセットレジスタ21の値を1
パーセルヘッダ分増やす。送信装置13内のパーセルヘ
ッダキューアドレスレジスタ20の下位ビットと、パー
セルヘッダキューオフセットレジスタ21の値は、送信
装置13が停止している場合には同じ値になっている。
通信ライブラリが、パーセルヘッダキューオフセットレ
ジスタ21の値を1パーセルヘッダ分増やしたことによ
り、パーセルヘッダキューオフセットレジスタ21の値
とパーセルヘッダキューアドレスレジスタ20の下位ビ
ットの値が異なるものとなり、そのことが比較器22を
通してシーケンサ23に伝わる。シーケンサ23は比較
器22からの信号により、送信処理要求が発せられたこ
とを知る。
れ、かつ、4個のヘッダレジスタ24,25,26,2
7のうち、少なくとも1つのヘッダレジスタが空いてい
る場合、パーセルの送信処理を開始する。
アドレスレジスタ20が指すメモリ12のアドレスから
4ワードのパーセルヘッダ15を読み出す。このとき、
パーセルヘッダキューアドレスレジスタ20に格納され
ているアドレスが論理アドレスの場合には、TLB43
によって論理アドレスから物理アドレスへの変換を行
う。このとき、もし、TLB43内に変換に必要な情報
がない場合には、メモリ12上のページテーブル18を
参照して、必要な情報を取り出す。メモリ12から読み
出されたパーセルヘッダ15は、4個のヘッダレジスタ
24,25,26,27のうち、空いているヘッダレジ
スタに格納される。このとき、シーケンサ23はその格
納したヘッダレジスタの図2に示す登録時刻レジスタ2
00に現在時刻を格納する。そして、シーケンサ23は
パーセルヘッダキューアドレスレジスタ20の値を1パ
ーセルヘッダ分増やす。
わち、パーセルヘッダキューオフセットレジスタ21の
値とパーセルヘッダキューアドレスレジスタ20の下位
ビットの値とが異なっており、かつ、空いているヘッダ
レジスタが存在する場合には、以上の処理を繰り返す。
27に読み出されたパーセルヘッダ15の処理について
説明する。
用中のヘッダレジスタ24,25,26,27のパーセ
ルタイプレジスタ92内の宛先プロセッサ番号の2ビッ
トからの送り先ポート情報(登録時刻も含む)34,3
5,36,37と、次段の4個のFIFOメモリ68,
69,70,71からの書き込み可能信号30,31,
32,33とから、送信が可能なパーセルヘッダを格納
しているヘッダレジスタを選択する。この選択したヘッ
ダレジスタが唯一である場合には、そのヘッダレジスタ
に格納されているパーセルヘッダにかかるパケットを1
個送出すると決定する。
場合には、この複数のヘッダレジスタの中に、次段の同
じFIFOメモリに書き込むパーセルヘッダを格納する
ヘッダレジスタが複数あるかどうかを調べ、あれば、そ
のような複数のヘッダレジスタのうち登録時刻の早い、
つまり先にパーセルヘッダキュー16から読み出された
パーセルヘッダ15を格納するヘッダレジスタ以外のヘ
ッダレジスタを取り除く。これは、同じ宛先プロセッサ
へのプロセッサ間通信の順序を保証するためである。そ
して、この取り除いた後のヘッダレジスタの個数が1個
であれば、そのヘッダレジスタに格納されているパケッ
トヘッダにかかるパケットを1個送出すると決定する。
の個数が2個以上であれば、即ち、送信可能なパーセル
ヘッダを格納した複数のヘッダレジスタがあり、それら
が、次段の異なるFIFOメモリに書き込むパーセルヘ
ッダを格納している場合には、以下の(1),(2)の
何れかの方法で唯一のヘッダレジスタを選択する。
ッダレジスタを優先的に選択する。例えば、ヘッダレジ
スタ24に格納されているヘッダにかかるパケットを送
出した直後において、その書き込み先FIFOメモリが
依然として書き込み可能状態であった場合、再びヘッダ
レジスタ24に格納されているヘッダにかかるパケット
を送出すべくヘッダレジスタ24を選択する。この方法
によれば、1つのパケットヘッダの送信処理が終了する
時間を短くすることができる。
するヘッダレジスタほど、より優先的に選択する。例え
ば、それぞれ書き込み先FIFOメモリが相違し且つ送
信可能なパーセルヘッダを格納した複数のヘッダレジス
タとして、ヘッダレジスタ24,25,26があり、最
初にヘッダレジスタ24を選択してそのパケットを1個
送出した場合、次のパケット送出時にはヘッダレジスタ
24を除くヘッダレジスタ25,26のうちの1つ、例
えばヘッダレジスタ25を選択してそのパケットを1個
送出する。更に、その次にはヘッダレジスタ26を選択
してそのパケットを1個送出し、また更に次にはヘッダ
レジスタ24を選択するというように所謂ラウンドロビ
ン式にヘッダレジスタを選択する。この方法によれば、
1つのパーセルヘッダの送信処理の終了までの時間は長
くなるが、異なるFIFOメモリへの書き込みが1パケ
ット毎に行われるため、プロセッサ間ネットワーク全体
が均一に使用される可能性があり、プロセッサ間ネット
ワーク全体のスループットが高くなる可能性がある。
ントバッファ方式のスイッチ3内のFIFOメモリ6
8,69,70,71からの書き込み可能信号30,3
1,32,33は、1つのパケット全体がFIFOメモ
リに書き込めることを保証しているものであり、1つの
パケットの処理の途中での書き込みが不可能になること
が起こらないことを保証している。従って、1つのパケ
ットの処理中にFIFOメモリからの書き込み可能信号
を参照することなく、パケットの処理を行うことが可能
である。
説明する。
1つのヘッダレジスタ24が選ばれ、そのヘッダレジス
タ内のパーセルの1つのパケットを送信するとする。パ
ケットは、ネットワークのスイッチの制限からパケット
長が制限されているので、通常、1つのパーセルは複数
のパケットに変換され転送される。ヘッダレジスタ24
内のパーセルヘッダのパケットは、図3のFIFOメモ
リAC70に書き込まれるものとする。
ースアドレスレジスタ94の下位ビットとから、パケッ
ト長決定回路38がパケット長を決定する。決定したパ
ケット長は、パケット長レジスタ39とパケット長カウ
ンタ40とに格納される。
ジスタ24のパーセルタイプレジスタ92,ソースアド
レスレジスタ94およびデスティネーションアドレスレ
ジスタ95の内容とパケット長レジスタ39の値とか
ら、4ワードのパケットヘッダを構成し、次段のFIF
OメモリAC70に書き込む。
長カウンタ39の値とソースアドレスレジスタ94の下
位ビットとから、読み出し語数決定回路41によって、
メモリ12からパーセル本体17を何ワード読み出すか
を決定する。メモリ12から1度に何ワード読み出せる
かは、その先頭アドレスに依存する。先頭アドレスが何
ワード境界になっているかによって、1度に読み出せる
ワード数が制限される。また、パケット長カウンタ40
には、そのパケットで送る残りのワード数が格納されて
いるので、その値によっても読み出しワード数は制限さ
れる。一般に、メモリ12からの読み出しには、バスの
調停などのオーバヘッドが伴うため、読み出し回数が少
なくなるように読み出しワード数を決定する。
41で決定された読み出しワード数と、ソースアドレス
レジスタ94内の読み出しアドレスとを使ってメモリ1
2に対し読み出しを要求する。このとき、ソースアドレ
スは論理アドレスなので、TLB43を用いて物理アド
レスに変換して、要求する。
17は、直接、次段のFIFOメモリAC70に書き込
まれる。
出しとFIFOメモリAC70への書き込みとが行われ
ている間、シーケンサ23は、メモリ12からの次のパ
ーセル本体17の読み出しのための準備を行う。まず、
読み出し語数決定回路41からの読み出し語数をソース
アドレスレジスタ94の値にALU42を使って加算
し、次の読み出しアドレスを計算し、ソースアドレスレ
ジスタ94の値を更新する。また、パケット長カウンタ
40は、FIFOメモリAC70へ1ワードを書き込む
毎に1ずつ減算され、このパケットで送る残りのパーセ
ル本体17のワード数を格納する。
0の値がゼロになるまで、パーセル本体17をメモリ1
2から読み出し、FIFOメモリAC70に書き込む。
み出しの時には、ソースアドレスの計算の他に、次のパ
ケットの処理のために、パーセル長レジスタ93とデス
ティネーションアドレスレジスタ95の値の更新も行
う。つまり、パーセル長レジスタ93の値から、ALU
42を使って、パケット長レジスタ39の値を減算して
残りのパーセル長を計算し、パーセル長レジスタ93の
値を更新する。また、デスティネーションアドレスが必
要な場合には、デスティネーションアドレスレジスタ9
5の値に、ALU42を使って、パケット長レジスタ3
9の値を加算して次のパケットのデスティネーションア
ドレスを計算し、デスティネーションアドレスレジスタ
95の値を更新する。
したことになる。1つのパケットの送出処理が終了した
段階で、次にどのヘッダレジスタ内のパケットヘッダの
パケットを処理するかは、既に説明した。
同じ宛先プロセッサへのプロセッサ間通信の順序を保証
しつつ、プロセッサ間ネットワークに使われているクロ
スポイントバッファ方式のスイッチの特長を活かす送信
処理が可能となる。
されたパケットは、それを通じて宛先プロセッサに送ら
れ、宛先プロセッサの受信装置14で受信される。受信
装置14では、受信したパケットのヘッダを解析し、受
信したデータを自プロセッサのメモリ12に格納する。
照して説明する。
ルヘッダキュー16には、4個のパーセルヘッダA9
6,B97,C98,D99が格納されているとする。
また、送信装置13内の4個のヘッダレジスタ24,2
5,26,27は全て空の状態にあるとする。
ルヘッダA96がメモリ12上のパーセルヘッダキュー
16から送信装置13内のヘッダレジスタ24に読み出
された状態を示している。パーセルヘッダA96の宛先
プロセッサ番号は、2進数表示で、“1000110
0”となっている。このパーセルのパケットが次段のク
ロスポイントバッファ方式のスイッチ3の4個のFIF
Oメモリ72,73,74,75のどれに書き込まれる
かは、最上位の2ビットによって決定される。宛先プロ
セッサ番号の最上位2ビットが“00”の場合にはFI
FOメモリBA72に、“01”の場合にはFIFOメ
モリBB73に、“10”の場合にはFIFOメモリB
C74に、“11”の場合にはFIFOメモリBD75
に、それぞれ書き込まれる。パーセルヘッダA96の場
合には、“10”なので、FIFOメモリBC74に書
き込まれるが、FIFOメモリBC74は書き込み不可
能の状態なので、パーセルヘッダA96は処理されずに
ヘッダレジスタ24に格納されたままである。
かないため、FIFOメモリBC74が書き込み可能の
状態になるまで、送信装置13での送信処理は中断され
てしまう。
12上のパーセルヘッダキュー16から送信装置13内
のヘッダレジスタ25に読み出された状態を示してい
る。パーセルヘッダA96の書き込み先のFIFOメモ
リBC74は依然として書き込み不可能の状態である。
パーセルヘッダB97の宛先プロセッサ番号の最上位2
ビットは“00”であるので、FIFOメモリBA72
が書き込み先のFIFOメモリになる。FIFOメモリ
BA72は書き込み可能であるので、ヘッダレジスタ選
択回路29がヘッダレジスタ25を選択し、パーセルヘ
ッダB97の処理を行っている。このように、パーセル
ヘッダA96の方がパーセルヘッダB97よりも前にパ
ーセルヘッダキューから読み出されたが、パーセルヘッ
ダA96とパーセルヘッダB97との次段の書き込みF
IFOメモリが異なっているので、送信処理の順序を入
れ換えて処理しても構わない。
12上のパーセルヘッダキュー16から送信装置13内
のヘッダレジスタ26に読み出された状態を示してい
る。パーセルヘッダA96の書き込み先のFIFOメモ
リBC74は依然として書き込み不可能の状態である。
パーセルヘッダC98の宛先プロセッサ番号の最上位2
ビットは“10”であるので、FIFOメモリBC74
が書き込み先のFIFOメモリになる。FIFOメモリ
BC74は書き込み不可能であるので、パーセルヘッダ
A96と同様にパーセルヘッダC98の処理は行われな
い。
12上のパーセルヘッダキュー16から送信装置13内
のヘッダレジスタ27に読み出された状態を示してい
る。パーセルヘッダA96およびパーセルヘッダC98
の書き込み先のFIFOメモリBC74が書き込み可能
の状態になっている。パーセルヘッダD99の宛先プロ
セッサ番号の最上位2ビットは“11”であるので、F
IFOメモリBD75が書き込み先のFIFOメモリに
なるが、FIFOメモリBD75は書き込み不可能の状
態である。書き込み先のFIFOメモリが書き込み可能
であるヘッダレジスタはヘッダレジスタ24とヘッダレ
ジスタ26の2つあるが、同じFIFOメモリBC74
を書き込みFIFOメモリとしているので、ヘッダレジ
スタ選択回路29は、先にヘッダレジスタに読み出され
たパーセルヘッダA96を格納しているヘッダレジスタ
24を選択し、処理を行っている。
終了し、パーセルヘッダD99の書き込みFIFOメモ
リBD75が書き込み可能の状態になったところを示し
ている。書き込み先のFIFOメモリが書き込み可能で
あるヘッダレジスタはヘッダレジスタ26とヘッダレジ
スタ27の2つあり、ヘッダレジスタ選択回路29は、
ヘッダレジスタ27を選択し、処理を行っている。パー
セルヘッダC98は、パーセルヘッダD99よりも先に
ヘッダレジスタに読み出されたが、書き込み先のFIF
Oメモリが異なるため、処理する順序を入れ換えても構
わない。どちらのパーセルヘッダが先に処理されるか
は、ヘッダレジスタ選択回路29の選択アルゴリズムに
依存する。
であり、図1と同一符号は同一部分を示し、100,1
01はメモリ12上に設けられたパーセルヘッダキュ
ー、102はパーセルヘッダキュー100用のパーセル
ヘッダキューオフセットレジスタ、103はパーセルヘ
ッダキュー100用のパーセルヘッダキューアドレスレ
ジスタ、104は比較器、105はパーセルヘッダキュ
ー101用のパーセルヘッダキューオフセットレジス
タ、106はパーセルヘッダキュー101用のパーセル
ヘッダキューオフセットレジスタ、107は比較器であ
る。
モリ12上に複数のパーセルヘッダキュー100,10
1が存在することである。
れたパーセルヘッダは、次段の同じFIFOメモリが書
き込み先FIFOメモリになっていても、異なるタスク
によって依頼された送信処理のパーセルヘッダなので、
処理の順序関係を保証する必要がない。従って、異なる
パーセルヘッダキューから読み出されたパーセルヘッダ
は、異なるFIFOメモリに書き込む場合と同じく順序
関係の制約がない。しかし、一般には、異なるパーセル
ヘッダキューは、送信処理の優先順位の異なる処理を行
いたい場合に使用される。例えば、ユーザタスクのパー
セルヘッダキューとOS(オペレーティング・システ
ム)のパーセルヘッダキューのような場合である。その
ため、パーセルヘッダ間の順序の制約がなくても、パー
セルヘッダキュー間の優先順位があるため、パーセルヘ
ッダキューの優先順位の高い方が低い方よりも先に処理
されるべきである。
シーケンサ23は、送信要求のあったパーセルヘッダ1
5を空きのヘッダレジスタに格納する際、どのパーセル
ヘッダキューに格納されていたパーセルヘッダであるか
を、ヘッダレジスタに格納する。このため、ヘッダレジ
スタ24〜27は、図11に示すように、図2に示した
レジスタに加えて、格納元のパーセルヘッダキューを示
すキュー種別レジスタ201が付加されている。このキ
ュー種別レジスタ201の値は送り先ポート情報34〜
37に付加されてヘッダレジスタ選択回路29に与えら
れる。
使用中のヘッダレジスタ24〜27からヘッダレジスタ
を選択する際、キュー種別レジスタ201を参照し、パ
ーセルヘッダキュー100,101間の優先順位をも考
慮して、各パケット送出毎に、以下のようにしてヘッダ
レジスタを選択する。
5,26,27のパーセルタイプレジスタ92内の宛先
プロセッサ番号の2ビットからの送り先ポート情報(登
録時刻も含む)34,35,36,37と、次段の4個
のFIFOメモリ68,69,70,71からの書き込
み可能信号30,31,32,33とから、送信が可能
なパーセルヘッダを格納しているヘッダレジスタを選択
する。この選択したヘッダレジスタが唯一である場合に
は、そのヘッダレジスタに格納されているパーセルヘッ
ダにかかるパケットを1個送出すると決定する。
場合には、この複数のヘッダレジスタのうちから、最も
キュー優先度の高いパーセルヘッダキューから読み出さ
れたヘッダを格納するヘッダレジスタを選択する。例え
ば、パーセルヘッダキュー100よりパーセルヘッダキ
ュー101の方がキュー優先度が高い場合、上記複数の
ヘッダレジスタのうちからパーセルヘッダキュー101
から読み出されたパーセルヘッダを格納するヘッダレジ
スタを選択する。この選択したヘッダレジスタが唯一で
ある場合には、そのヘッダレジスタに格納されているパ
ーセルヘッダにかかるパケットを1個送出すると決定す
る。上記選択したヘッダレジスタが複数あった場合に
は、先の実施例と同様の方法で1つのヘッダレジスタを
選択する。他方、パーセルヘッダキュー101から読み
出されたヘッダを格納するヘッダレジスタが1つも選択
できなったときは、次に優先度の高いパーセルヘッダキ
ュー100から読み出されたヘッダを格納するヘッダレ
ジスタを選択する。この選択したヘッダレジスタが唯一
である場合には、そのヘッダレジスタに格納されている
パーセルヘッダにかかるパケットを1個送出すると決定
する。複数あった場合には先の実施例と同様の方法で1
つのヘッダレジスタを選択する。
のような効果を得ることができる。
み出し、パケットを書き込むプロセッサ間ネットワーク
中のFIFOメモリが同じになるヘッダ間では最先に読
み出されたヘッダを優先して選択するという条件を満足
する範囲内で、複数のヘッダレジスタに格納されたヘッ
ダの内、書き込むFIFOメモリが書き込み可能である
ヘッダを選択し、それにかかるパケットを該当するFI
FOメモリに書き込むため、たとえ最初に読み出したヘ
ッダを書き込む次段のFIFOメモリが書き込み不可能
であっても、書き込み可能な次段のFIFOメモリを書
き込み先とするヘッダの処理を先に行える。従って、ク
ロスポイントバッファ方式のスイッチを用いたプロセッ
サ間ネットワークを十分に活用できる。
先して選択するという条件をも加えた構成によれば、書
き込むFIFOメモリが書き込み可能であるヘッダであ
って、その書き込み先FIFOメモリが異なるヘッダが
複数存在した場合に、最初に選択した1つのヘッダの送
信処理が終了するか、該当するFIFOメモリが書き込
み不可能状態になるまで、そのヘッダの処理が続けられ
るため、1つのヘッダの送信処理が終了する時間を短く
することができる。
的に選択するという条件をも加えた構成によれば、書き
込むFIFOメモリが書き込み可能であるヘッダであっ
て、その書き込み先FIFOメモリが異なるヘッダが複
数存在した場合に、それらのヘッダにかかるパケットが
1個ずつ処理されていくため、1つのヘッダの複数のパ
ケットを一度に送信する場合に比べてプロセッサ間ネッ
トワークの複数の経路を使うような送信処理が行え、プ
ロセッサ間ネットワークの負荷を均一にするような送信
処理が可能となる。
成例を示す図である。
例を示すブロック図である。
FIFOメモリの或る時点の状況を示す図である。
FIFOメモリの或る時点の状況を示す図である。
FIFOメモリの或る時点の状況を示す図である。
FIFOメモリの或る時点の状況を示す図である。
FIFOメモリの或る時点の状況を示す図である。
FIFOメモリの或る時点の状況を示す図である。
の構成例を示す図である。
ダキューオフセットレジスタ 103…パーセルヘッダキュー100用のパーセルヘッ
ダキューアドレスレジスタ 104…比較器 105…パーセルヘッダキュー101用のパーセルヘッ
ダキューオフセットレジスタ 106…パーセルヘッダキュー101用のパーセルヘッ
ダキューアドレスレジスタ 107…比較器 200…登録時刻レジスタ 201…キュー種別レジスタ
Claims (8)
- 【請求項1】 パケットを転送するプロセッサ間ネット
ワークであって、クロスポイントバッファ方式のスイッ
チで構成され、或るプロセッサから或るプロセッサへの
経路が一意に決定され、かつ、スイッチの入力ポートの
FIFOメモリの書き込みが可能かどうかを示す書き込
み可能信号がパケット1個全部を書き込める場合だけオ
ンとなるプロセッサ間ネットワークを通じて、メモリ上
のヘッダキューに格納されたヘッダにかかる一連のパケ
ットを、他のプロセッサに送信するパケット送信方法に
おいて、 メモリ上のヘッダキューに格納されているヘッダを、複
数用意されたヘッダレジスタのうちの空きレジスタに読
み出すステップと、 各パケットの送信時、パケットを書き込むプロセッサ間
ネットワーク中のFIFOメモリが同じになるヘッダ間
では最先に読み出されたヘッダを優先するという条件を
少なくとも満たして、前記複数のヘッダレジスタに格納
されたヘッダの内、書き込むFIFOメモリが書き込み
可能であるヘッダを唯一選択し、該選択したヘッダにか
かるパケットを該当するFIFOメモリに書き込むステ
ップとを含むことを特徴とするプロセッサ間通信におけ
るパケット送信方法。 - 【請求項2】 パケットを転送するプロセッサ間ネット
ワークであって、クロスポイントバッファ方式のスイッ
チで構成され、或るプロセッサから或るプロセッサへの
経路が一意に決定され、かつ、スイッチの入力ポートの
FIFOメモリの書き込みが可能かどうかを示す書き込
み可能信号がパケット1個全部を書き込める場合だけオ
ンとなるプロセッサ間ネットワークを通じて、メモリ上
のヘッダキューに格納されたヘッダにかかる一連のパケ
ットを、他のプロセッサに送信するパケット送信方法に
おいて、 メモリ上のヘッダキューに格納されているヘッダを、複
数用意されたヘッダレジスタのうちの空きレジスタに読
み出すステップと、 各パケットの送信時、パケットを書き込むプロセッサ間
ネットワーク中のFIFOメモリが同じになるヘッダ間
では最先に読み出されたヘッダを優先するという条件を
少なくとも満たし、且つ、その条件だけでは唯一のヘッ
ダに絞り込めない場合には直前に選択したヘッダを他の
ヘッダより優先するという条件を適用して、前記複数の
ヘッダレジスタに格納されたヘッダの内、書き込むFI
FOメモリが書き込み可能であるヘッダを唯一選択し、
該選択したヘッダにかかるパケットを該当するFIFO
メモリに書き込むステップとを含むことを特徴とするプ
ロセッサ間通信におけるパケット送信方法。 - 【請求項3】 パケットを転送するプロセッサ間ネット
ワークであって、クロスポイントバッファ方式のスイッ
チで構成され、或るプロセッサから或るプロセッサへの
経路が一意に決定され、かつ、スイッチの入力ポートの
FIFOメモリの書き込みが可能かどうかを示す書き込
み可能信号がパケット1個全部を書き込める場合だけオ
ンとなるプロセッサ間ネットワークを通じて、メモリ上
のヘッダキューに格納されたヘッダにかかる一連のパケ
ットを、他のプロセッサに送信するパケット送信方法に
おいて、 メモリ上のヘッダキューに格納されているヘッダを、複
数用意されたヘッダレジスタのうちの空きレジスタに読
み出すステップと、 各パケットの送信時、パケットを書き込むプロセッサ間
ネットワーク中のFIFOメモリが同じになるヘッダ間
では最先に読み出されたヘッダを優先するという条件を
少なくとも満たし、且つ、その条件だけでは唯一のヘッ
ダに絞り込めない場合には最近選択されていないヘッダ
ほど優先的に選択するという条件を適用して、前記複数
のヘッダレジスタに格納されたヘッダの内、書き込むF
IFOメモリが書き込み可能であるヘッダを唯一選択
し、該選択したヘッダにかかるパケットを該当するFI
FOメモリに書き込むステップとを含むことを特徴とす
るプロセッサ間通信におけるパケット送信方法。 - 【請求項4】 メモリ上に複数のヘッダキューが存在す
る場合、ヘッダキュー間に付けた優先順位を考慮して処
理すべきヘッダの選択を行うことを特徴とする請求項2
または3記載のプロセッサ間通信におけるパケット送信
方法。 - 【請求項5】 パケットを転送するプロセッサ間ネット
ワークであって、クロスポイントバッファ方式のスイッ
チで構成され、或るプロセッサから或るプロセッサへの
経路が一意に決定され、かつ、スイッチの入力ポートの
FIFOメモリの書き込みが可能かどうかを示す書き込
み可能信号がパケット1個全部を書き込める場合だけオ
ンとなるプロセッサ間ネットワークを通じて、メモリ上
のヘッダキューに格納されたヘッダにかかる一連のパケ
ットを、他のプロセッサに送信するパケット送信装置に
おいて、 メモリ上のヘッダキューに格納されているヘッダを、複
数用意されたヘッダレジスタのうちの空きレジスタに読
み出す手段と、 各パケットの送信時、パケットを書き込むプロセッサ間
ネットワーク中のFIFOメモリが同じになるヘッダ間
では最先に読み出されたヘッダを優先するという条件を
少なくとも満たして、前記複数のヘッダレジスタに格納
されたヘッダの内、書き込むFIFOメモリが書き込み
可能であるヘッダを唯一選択し、該選択したヘッダにか
かるパケットを該当するFIFOメモリに書き込む手段
とを備えることを特徴とするプロセッサ間通信における
パケット送信装置。 - 【請求項6】 パケットを転送するプロセッサ間ネット
ワークであって、クロスポイントバッファ方式のスイッ
チで構成され、或るプロセッサから或るプロセッサへの
経路が一意に決定され、かつ、スイッチの入力ポートの
FIFOメモリの書き込みが可能かどうかを示す書き込
み可能信号がパケット1個全部を書き込める場合だけオ
ンとなるプロセッサ間ネットワークを通じて、メモリ上
のヘッダキューに格納されたヘッダにかかる一連のパケ
ットを、他のプロセッサに送信するパケット送信装置に
おいて、 メモリ上のヘッダキューに格納されているヘッダを、複
数用意されたヘッダレジスタのうちの空きレジスタに読
み出す手段と、 各パケットの送信時、パケットを書き込むプロセッサ間
ネットワーク中のFIFOメモリが同じになるヘッダ間
では最先に読み出されたヘッダを優先するという条件を
少なくとも満たし、且つ、その条件だけでは唯一のヘッ
ダに絞り込めない場合には直前に選択したヘッダを他の
ヘッダより優先するという条件を適用して、前記複数の
ヘッダレジスタに格納されたヘッダの内、書き込むFI
FOメモリが書き込み可能であるヘッダを唯一選択し、
該選択したヘッダにかかるパケットを該当するFIFO
メモリに書き込む手段とを備えることを特徴とするプロ
セッサ間通信におけるパケット送信装置。 - 【請求項7】 パケットを転送するプロセッサ間ネット
ワークであって、クロスポイントバッファ方式のスイッ
チで構成され、或るプロセッサから或るプロセッサへの
経路が一意に決定され、かつ、スイッチの入力ポートの
FIFOメモリの書き込みが可能かどうかを示す書き込
み可能信号がパケット1個全部を書き込める場合だけオ
ンとなるプロセッサ間ネットワークを通じて、メモリ上
のヘッダキューに格納されたヘッダにかかる一連のパケ
ットを、他のプロセッサに送信するパケット送信装置に
おいて、 メモリ上のヘッダキューに格納されているヘッダを、複
数用意されたヘッダレジスタのうちの空きレジスタに読
み出す手段と、 各パケットの送信時、パケットを書き込むプロセッサ間
ネットワーク中のFIFOメモリが同じになるヘッダ間
では最先に読み出されたヘッダを優先するという条件を
少なくとも満たし、且つ、その条件だけでは唯一のヘッ
ダに絞り込めない場合には最近選択されていないヘッダ
ほど優先的に選択するという条件を適用して、前記複数
のヘッダレジスタに格納されたヘッダの内、書き込むF
IFOメモリが書き込み可能であるヘッダを唯一選択
し、該選択したヘッダにかかるパケットを該当するFI
FOメモリに書き込む手段とを備えることを特徴とする
プロセッサ間通信におけるパケット送信装置。 - 【請求項8】 メモリ上に複数のヘッダキューが存在す
る場合、ヘッダキュー間に付けた優先順位を考慮して処
理すべきヘッダの選択を行う構成を有することを特徴と
する請求項6または7記載のプロセッサ間通信における
パケット送信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8103675A JP2853652B2 (ja) | 1996-03-30 | 1996-03-30 | プロセッサ間通信におけるパケット送信方法およびその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8103675A JP2853652B2 (ja) | 1996-03-30 | 1996-03-30 | プロセッサ間通信におけるパケット送信方法およびその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09269937A JPH09269937A (ja) | 1997-10-14 |
JP2853652B2 true JP2853652B2 (ja) | 1999-02-03 |
Family
ID=14360374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8103675A Expired - Fee Related JP2853652B2 (ja) | 1996-03-30 | 1996-03-30 | プロセッサ間通信におけるパケット送信方法およびその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2853652B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6625160B1 (en) * | 1999-07-02 | 2003-09-23 | Cisco Technology, Inc. | Minimum bandwidth guarantee for cross-point buffer switch |
US6707815B1 (en) * | 1999-07-02 | 2004-03-16 | Cisco Technology, Inc. | Minimum bandwidth guarantee for input-buffered packet switch |
JP5403380B2 (ja) * | 2012-02-28 | 2014-01-29 | 日本電気株式会社 | クロスバスイッチ、ベクトル処理装置、及びクロスバ制御方法 |
JP6070848B2 (ja) * | 2013-12-02 | 2017-02-01 | 富士通株式会社 | 情報処理装置,データ転送装置,データ転送方法,および制御装置 |
-
1996
- 1996-03-30 JP JP8103675A patent/JP2853652B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09269937A (ja) | 1997-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0991999B1 (en) | Method and apparatus for arbitrating access to a shared memory by network ports operating at different data rates | |
EP0993680B1 (en) | Method and apparatus in a packet routing switch for controlling access at different data rates to a shared memory | |
US6944731B2 (en) | Dynamic random access memory system with bank conflict avoidance feature | |
US5675736A (en) | Multi-node network with internode switching performed within processor nodes, each node separately processing data and control messages | |
US6715023B1 (en) | PCI bus switch architecture | |
CA1324835C (en) | Modular crossbar interconnection network for data transaction between system units in a multi-processor system | |
JP3899085B2 (ja) | ネットワーク装置 | |
US20060010279A1 (en) | Apparatus for use in a computer systems | |
JP2830833B2 (ja) | プロセッサ間通信方法及びそれに用いるプロセッサ | |
JP2853652B2 (ja) | プロセッサ間通信におけるパケット送信方法およびその装置 | |
JP3609908B2 (ja) | 計算機接続装置 | |
JP2723412B2 (ja) | 主記憶プリポート制御方式 | |
JP2731743B2 (ja) | 通信レジスタ付並列計算機 | |
JP2878160B2 (ja) | 競合調停装置 | |
JP2972568B2 (ja) | バス拡張装置 | |
JPH07129525A (ja) | 複数処理装置及びそのデータ通信方法 | |
JPS60134946A (ja) | 計算機システムの記憶制御方式 | |
JPH0934736A (ja) | 動作切替えコントローラ | |
JPH064491A (ja) | データ処理用メモリ装置 | |
GB2341765A (en) | Bus idle usage | |
GB2341768A (en) | Bus arbitration | |
JPH05334182A (ja) | データ転送システム | |
GB2341699A (en) | Inter-module data transfer | |
GB2341770A (en) | Modular bus topology | |
JPH05151144A (ja) | バーストリード処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071120 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081120 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081120 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091120 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091120 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101120 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111120 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111120 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 15 |
|
LAPS | Cancellation because of no payment of annual fees |