JP3747020B2 - クロスバー調停システム - Google Patents

クロスバー調停システム Download PDF

Info

Publication number
JP3747020B2
JP3747020B2 JP2002263058A JP2002263058A JP3747020B2 JP 3747020 B2 JP3747020 B2 JP 3747020B2 JP 2002263058 A JP2002263058 A JP 2002263058A JP 2002263058 A JP2002263058 A JP 2002263058A JP 3747020 B2 JP3747020 B2 JP 3747020B2
Authority
JP
Japan
Prior art keywords
request
arbitration
buffer
ownership
port
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002263058A
Other languages
English (en)
Other versions
JP2004102607A (ja
Inventor
政仁 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Computertechno Ltd
Original Assignee
NEC Computertechno Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Computertechno Ltd filed Critical NEC Computertechno Ltd
Priority to JP2002263058A priority Critical patent/JP3747020B2/ja
Publication of JP2004102607A publication Critical patent/JP2004102607A/ja
Application granted granted Critical
Publication of JP3747020B2 publication Critical patent/JP3747020B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Multi Processors (AREA)
  • Bus Control (AREA)
  • Information Transfer Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、クロスバー調停システムに関し、特に、複数のリクエスト型式に柔軟に対応できるクロスバー調停システムに関する。
【0002】
【従来の技術】
従来の特許文献1記載の技術は、リクエスト調停手段が、送受信のリクエストを受け付ける緩衝バッファのみを持ち、リクエストに対する通信の許可を確認した段階でネットワークへのデータの送出を開始することでデータ蓄積用の緩衝バッファを不要とし、クラスタ数の増加に伴う緩衝バッファの増加分の削減を図るものである。また、この技術は、データ転送元クラスタとデータ転送先クラスタとの間で一定期間データパスを占有しデータ転送する方式とし、リクエスト調停手段がデータパスの空き状況を管理し、クラスタ間のデータ転送を行う時、データパス間の競合は発生しないようにし、緩衝バッファ量の削減を可能としている。
【0003】
この技術は、さらに、データ転送要求をしている間にデータ転送要求元の自クラスタ内のメモリからデータをロードし、転送許可が通知された場合に即座に他クラスタへのデータ転送を開始することで、効率よくデータ転送を行うことを可能としている。
【0004】
【特許文献1】
特開2001−209626号公報
【0005】
【発明が解決しようとする課題】
上述した特許文献1記載の技術においては、以下のような「先頭フレームが到着したら調停に参加する方法(リクエスト型式)」、「リクエストの全フレームの到着を待ち合わせてから調停参加する方法(リクエスト型式)」を混在制御する構成になっていないので、性能が向上しないという問題がある。
【0006】
従来の技術のクロスバー調停では、各ポートから入力された非連続な複数フレームから成るリクエストを調停して送信先へ送信する時、性能を重視してリクエストの先頭フレームが到着したら調停に参加する方法が採用される。しかし、この方法では後続フレームが調停後すぐに受け付けられるのか、あるいはまだ受信できていないのか、といった状態を判断することができず、リクエストが分断して後続フレームの受信待ち状態となる受信ポートが存在すると調停中であるリクエストを完了できずに調停途中のままデッドロックする可能性がある。
【0007】
一方、リクエストの分断する可能性がある受信ポートを救済するためにリクエストの全フレームの到着を待ち合わせてから調停参加する方法を採用すると、本来リクエスト分断の可能性がない受信ポートも待ち合わせをすることになり性能が低下してしまう。また、前記2つの方法に共通して、送信ポートのビジー等により調停がリクエスト処理途中で停止すると、後続リクエストが他の送信先であった場合に直接関係のない調停処理中リクエストの影響で調停参加が待たされてしまうという欠点がある。
【0008】
本発明の目的は、調停参加に際してリクエストの最初のフレーム到着で調停参加する方法とリクエストの全フレームの到着を保証してから調停参加する方法の何れかをリクエストの特性に応じてポート単位に任意選択可能な手段と、調停後の経路上にリクエストを構成する最大フレーム数の登録を保証する緩衝バッファとを設けることによって前記欠点を解決することである。
【0009】
【課題を解決するための手段】
本発明の第1のクロスバー調停システムは、複数の受信ポートから複数の送信ポートの何れかに対して複数個のフレームにより構成されるリクエストを転送するクロスバー調停システムであって、
リクエストのクロスバー調停システムへの調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト形式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエス形式との何れかによる調停参加を、リクエスト元となるポート単位に選択可能な第1の手段と、前記第1の手段により選択されたリクエスト形式が第1のリクエスト形式の場合はリクエストの最初のフレーム到着で調停を行い、第2のリクエスト形式の場合はリクエストの全フレームの到着を保証してから調停を行う第2の手段と、前記第2の手段による調停後の経路上に設置され、リクエストを構成する最大フレーム数の登録を保証して前記第2の手段により調停され出力されたリクエストの全フレームを登録可能にする緩衝バッファとを有する。
【0010】
本発明の第2のクロスバー調停システムは、受信ポートからのフレームで構成されるリクエストを格納する受信ポート対応のリクエストバッファと、
前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
前記調停方法選択回路からの前記受信ポートごとの値に基づいて、値が第1のリクエスト形式を示せば、前記リクエストバッファからのリクエストの最初のフレーム到着でそのリクエストの調停参加のための調停要求を出し、値が第2のリクエスト形式を示せば、前記リクエストバッファからのリクエストの全フレームの到着を保証してからそのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
前記リクエスト要求生成回路からの調停要求によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路とを有する。
【0011】
本発明の第3のクロスバー調停システムは、受信ポートからのフレームで構成されるリクエストを格納する受信ポート対応のリクエストバッファと、
前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
前記調停方法選択回路からの前記受信ポートごとの値に基づいて、値が第1のリクエスト形式を示せば、前記リクエストバッファからのリクエストの最初のフレーム到着でそのリクエストの調停参加のための調停要求を出し、値が第2のリクエスト形式を示せば、前記リクエストバッファからのリクエストの全フレームの到着を保証してからそのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
前記リクエスト要求生成回路からの調停要求によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路と、
前記送信ポート対応の調停回路からのリクエストの最大数のフレームを格納する送信ポート対応の緩衝バッファとを有する。
【0012】
本発明の第4のクロスバー調停システムは、受信ポートからのフレームで構成されるリクエストを格納する受信ポート対応のリクエストバッファと、
前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
リクエストを構成するフレームのうち最終フレームを前記リクエストバッファに登録すると1加算され、調停によりリクエストが読み出されると1減算される前記リクエストバッファ対応の最終フレーム数監視カウンタと、
前記調停方法選択回路からの前記受信ポートごとの値に基づいて、値が第1のリクエスト形式を示せば、前記リクエストバッファからのリクエストの最初のフレーム到着でそのリクエストの調停参加のための調停要求を出し、値が第2のリクエスト形式を示せば、前記最終フレーム数監視カウンタの値を参照し、前記リクエストバッファからのリクエストの全フレームの到着を保証してからそのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
前記リクエスト要求生成回路からの調停要求によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路と、
前記送信ポート対応の調停回路からのリクエストの最大数のフレームを格納する送信ポート対応の緩衝バッファとを有する。
【0013】
本発明の第5のクロスバー調停システムは、受信ポートからのフレームで構成されるリクエストを格納し、リクエストの先頭フレームの場合にリクエスト先頭フレーム識別信号を出力する受信ポート対応のリクエストバッファと、
前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
リクエストを構成するフレームのうち最終フレームを前記リクエストバッファに登録すると1加算され、調停によりリクエストが読み出されると1減算される前記リクエストバッファ対応の最終フレーム数監視カウンタと、
前記調停方法選択回路に第のリクエスト型式を示す値が設定されている場合は、前記最終フレーム数監視カウンタの値が0より大きく、かつ、リクエスト先頭フレーム識別信号が通知されると前記リクエストバッファからのリクエストの調停参加のための調停要求を出し、前記調停方法選択回路に第のリクエスト型式を示す値が設定されている場合は、リクエスト先頭フレーム識別信号が通知されると前記リクエストバッファからのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
前記リクエスト要求生成回路からの調停要求によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路と、
前記送信ポート対応の調停回路からのリクエストの最大数のフレームを格納する送信ポート対応の緩衝バッファとを有する。
【0014】
本発明の第6のクロスバー調停システムは、受信ポートからのフレームで構成されるリクエストを格納し、リクエストの先頭フレームの場合にリクエスト先頭フレーム識別信号を出力する受信ポート対応のリクエストバッファと、
前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
リクエストを構成するフレームのうち最終フレームを前記リクエストバッファに登録すると1加算され、調停によりリクエストが読み出されると1減算される前記リクエストバッファ対応の最終フレーム数監視カウンタと、
前記調停方法選択回路に第のリクエスト型式を示す値が設定されている場合は、前記最終フレーム数監視カウンタの値が0より大きく、かつ、リクエスト先頭フレーム識別信号が通知されると前記リクエストバッファからのリクエストの調停参加のための調停要求を出し、前記調停方法選択回路に第のリクエスト型式を示す値が設定されている場合は、リクエスト先頭フレーム識別信号が通知されると前記リクエストバッファからのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
前記リクエスト要求生成回路からの調停要求、オーナー権の判定・停止要求信号によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路と、
前記送信ポート対応の調停回路からのリクエストの最大数のフレームを格納する送信ポート対応の緩衝バッファと、
前記調停回路が送出したフレームが前記緩衝バッファに登録される毎に1加算され次の登録位置を示す緩衝バッファ登録ポインタと、
前記緩衝バッファからフレームが読み出される毎に1加算され次の読み出し位置を示す緩衝バッファ索引ポインタと、
前記緩衝バッファに対して、最大登録数から予め存在しうるリクエストの最大フレーム数を減じた値が外部から設定される緩衝バッファ閾値レジスタと、
前記緩衝バッファ登録ポインタの値、緩衝バッファ索引ポインタの値、緩衝バッファ閾値レジスタの値に基づいて前記調停オーナー権判定回路にオーナー権の判定・停止要求信号を出力する前記緩衝バッファ対応の緩衝バッファ空き容量判定回路とを有することを特徴とするクロスバー調停システム。
【0015】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【0016】
ネットワーク等で用いられるクロスバーでは、各ポートから入力された非連続な複数フレームから成るリクエストを調停して送信先へ送信する時、通常は性能を重視してリクエストの先頭フレームが到着したら調停に参加する方法が採用される。しかし、この方法では後続フレームが調停後すぐに受け付けられるのか、あるいはまだ受信できていないのか、といった状態を判断することができず、リクエストが分断して後続フレームが到着しなくなるような受信ポートが存在すると調停中であるリクエストを完了できずに調停途中のままデッドロックする可能性がある。
【0017】
一方、リクエストの分断する可能性がある受信ポートを救済するためにリクエストの全フレームの到着を待ち合わせてから調停参加する方法を採用すると、本来リクエスト分断の可能性がない受信ポートも待ち合わせをすることになり性能が低下してしまう。また、前記2つの方法に共通して、送信ポートのビジー等により調停がリクエスト処理途中で停止すると、後続リクエストが他の送信先であった場合に直接関係のない調停処理中リクエストの影響で調停参加が待たされてしまう欠点がある。よって、クロスバーでは受信ポートの特性に応じて前記2つの方法を使い分けることが重要であるが、本発明は、調停参加に際してリクエストの最初のフレーム到着で調停参加する方法とリクエストの全フレームの到着を保証してから調停参加する方法の何れかをリクエストの特性に応じてポート単位に任意選択設定可能な手段と、調停後の経路上にリクエストを構成する最大フレーム数の登録を保証する緩衝手段とを設けることによって前記欠点を解決する。
【0018】
図1は、本発明の実施の形態の構成を示すブロック図である。
【0019】
図1を参照すると、本発明の実施の形態は、受信ポート0、受信ポート1、受信ポート2、…、受信ポートn毎にリクエストを受信して調停に参加する受信ポート0、受信ポート1、受信ポート2、…、受信ポートnのリクエストを格納するリクエストバッファ000、リクエストバッファ100、リクエストバッファ200、…、リクエストバッファn00と、調停への参加方法を選択する受信ポート0、受信ポート1、受信ポート2、…、受信ポートnの調停方法選択回路004、調停方法選択回路104、調停方法選択回路204、調停方法選択回路n04と、送信ポート0、送信ポート1、送信ポート2、…、送信ポートn毎に受信ポート0、受信ポート1、受信ポート2、…、受信ポートnからのリクエスト調停を行う送信ポート0、送信ポート1、送信ポート2、…、送信ポートnの調停回路001、調停回路101、調停回路201、…、調停回路n01と、調停する時にはリクエストを構成する全フレームの登録を保証する送信ポート0、送信ポート1、送信ポート2、…、送信ポートnの緩衝バッファ002、緩衝バッファ102、緩衝バッファ202、…、緩衝バッファn02と、リクエストを外部に送信し、送信不可の時は緩衝バッファ002、緩衝バッファ102、緩衝バッファ202、…、緩衝バッファn02の読み出しを停止する送信ポート0、送信ポート1、送信ポート2、…、送信ポートnの出力制御部003、出力制御部103、出力制御部203、…、出力制御部n03とから構成される。
【0020】
図1に示す(n+1)ポート×(n+1)ポートのクロスバーは、受信ポート0、受信ポート1、受信ポート2、…、受信ポートnのリクエストバッファ000、リクエストバッファ100、リクエストバッファ200、…、リクエストバッファn00が受信する複数個のフレームから成るリクエストを、送信ポート0、送信ポート1、送信ポート2、…、送信ポートn毎に調停回路001、調停回路101、調停回路201、…、調停回路n01で調停する機能を備えており、緩衝バッファ002、緩衝バッファ102、緩衝バッファ202、…、緩衝バッファn02は、調停の際にリクエストの最大フレーム数の登録を保証し、登録できない場合にはリクエスト単位で調停動作を停止する機能を備える。
【0021】
送信ポート0、送信ポート1、送信ポート2、…、送信ポートnの出力制御部003、出力制御部103、出力制御部203、…、出力制御部n03は、それぞれ、緩衝バッファ002、緩衝バッファ102、緩衝バッファ202、緩衝バッファn02より受け取ったリクエストを外部に送信可能かどうかを監視し、送信できない場合はビジーによって緩衝バッファ002、緩衝バッファ102、緩衝バッファ202、緩衝バッファn02からの読み出しを停止する。
【0022】
受信ポート0、受信ポート1、受信ポート2、…、受信ポートnの調停方法選択回路004、調停方法選択回路104、調停方法選択回路204、…、調停方法選択回路n04には、それぞれ受信ポートの特性に応じてリクエストを構成する全フレームの到着を保証してから調停参加する方法(以下、方法Aと呼ぶ)と、リクエストの最初のフレーム到着で調停参加を開始する方法(以下、方法Bと呼ぶ)とを示す値が、キーボード等外部操作により選択して設定される。
【0023】
方法Aは、障害等によるリクエスト分断で、調停が解除されなくなるデッドロックの回避を想定し、確実なリクエスト送信を必要とするポートに設定し、方法Bはリクエスト分断の可能性がなく性能を重視したいポートに設定される。
【0024】
次に、本発明の実施の形態の動作について図面を参照して説明する。
【0025】
受信ポート0のリクエストバッファ000に対して調停方法選択回路004が方法Aを、受信ポート1のリクエストバッファ100に対して調停方法選択回路104が方法Bをそれぞれ選択し、共に送信ポート2の調停回路201へ調停参加するケースについて説明する。方法Aのリクエストバッファ000は外部から受信するリクエストを格納するが、リクエストが分断しないようにリクエストを構成する非連続なフレームの全ての到着を待ち合わせてから調停回路201に調停要求を行うように調停方法選択回路104で制御される。
【0026】
調停回路201は、リクエストバッファ000からのリクエストの調停要求を受け付けて一旦調停動作に入ると、リクエストバッファ000内に既に格納済みのリクエストの全フレームを連続して調停処理し、送信ポート2の緩衝バッファ202へ登録を完了させる。緩衝バッファ202はリクエストを構成する最大フレーム数の登録を保証するだけの空き容量が確保しているため、調停したリクエストの全フレームを登録しても緩衝バッファ202が溢れることはない。すなわち、緩衝バッファ202の空き容量がリクエストを構成する最大フレーム数分の容量に満たない場合には、調停回路201は、リクエストを受け付けず、調停を行わない。
【0027】
よって、調停回路201は、リクエスト単位で動作し、調停したリクエストのフレーム数に等しい占有時間で必ず解放されるので、出力制御部203がリクエストを送信できずにビジーとなって緩衝バッファ202からの読み出しを停止し、これを受けて緩衝バッファ202が空き容量不足で調停停止するような場合でも、調停回路201を占有し続けることはない。すなわち、調停回路201でリクエスト分断により調停が解除されなくなる可能性を排除しデッドロックを回避できることになる。
【0028】
さらに詳細に、本発明の実施の形態の動作について図面を参照して説明する。
【0029】
図2は、本発明の実施の形態の動作を示すブロック図である。
【0030】
図2を参照すると、リクエストバッファ000が調停要求したポート0→2リクエストR02(受信ポート0から送信ポート2へのリクエスト)が、調停回路201で受け付けられて、緩衝バッファ202に格納される。緩衝バッファ202には、すでに緩衝バッファ202に滞在中のリクエストR01があり、読み出しを待たされているとする。緩衝バッファ202は、調停回路201で調停された新たなポート0→2リクエストR02を格納したことで、空き容量がリクエストの最大フレーム数分の容量に満たなくなり、緩衝バッファ202への登録後に調停回路201へのリスエスとの受け付けを停止する。
【0031】
この時、ポート0→2リクエストR02は、全フレームを緩衝バッファ202へ登録完了されているため、リクエストバッファ000に、送信ポート2以外へ送信するリクエスト、たとえば、ポート0→1リクエストR03(受信ポート0から送信ポート1へのリクエスト)が存在する場合、ポート0→1リクエストR03は、停止している調停回路201の影響を受けずに調停回路101へ調停参加することが可能となる。
【0032】
一方、性能を重視してリクエストの先頭フレームが到着したら調停に参加する方法Bを方法Aと混在してポート単位に任意指定し制御可能にする。
【0033】
たとえば、受信ポート1のリクエストバッファ100は、調停方法選択回路104により、性能を重視した最速なフレーム送信のためにリクエストの先頭フレーム到着で調停回路201に調停参加するが、調停要求を受けて調停を開始すると、リクエストを構成する全フレームを緩衝バッファ202に登録するまで調停を占有する。
【0034】
この時、調停回路201は、リクエストの全フレームが保証されているかは意識せずに調停したフレームを緩衝バッファ202に登録するだけでよく、各フレームが連続であれば最速で緩衝バッファ202に登録できる。仮にフレーム間で間隔が空いたとしてもポート1は、リクエスト分断の可能性がないポートであり必ず全フレームが到着するので、調停回路201は方法Aと方法Bとを何ら変わりなく調停することができ、また、前記二つの調停方法をポート単位に任意選択設定してリクエストの特性に応じた混在調停をすることができる。
【0035】
次に、調停の制御について図面を参照して詳細に説明する。
【0036】
図3は、受信ポート0から送信ポート2への調停の制御を示す説明図である。
【0037】
図3を参照すると、受信ポート0に対応して、調停方法選択回路004、最終フレーム数監視カウンタ010、リクエスト要求生成回路011が設けられる。また、送信ポート2に対応して、調停オーナー権判定回路212、調停オーナー権保持レジスタ213、緩衝バッファ登録ポインタ214、緩衝バッファ索引ポインタ215、緩衝バッファ閾値レジスタ216、緩衝バッファ空き容量判定回路217が設けられる。
【0038】
まず、調停方法選択回路004に、方法Aが設定された場合の動作について説明する。
【0039】
リクエストバッファ000は、リクエストを構成する非連続なフレームの待ち合わせを監視するために最終フレーム数監視カウンタ010を装備する。最終フレーム数監視カウンタ010は、リクエストを構成するフレームのうち最終フレームをリクエストバッファ000に登録すると+1され、調停によりリクエストが読み出されると−1される。
【0040】
すなわち、最終フレーム数監視カウンタ010の値が0より大きい場合、リクエストバッファ000には全フレームを待ち合わせ、かつ、登録完了したリクエストが少なくとも1つ以上はあることになる。リクエストバッファ000は、最初の読み出しフレームがリクエストの先頭フレームの場合に、リクエスト先頭フレーム識別信号012をリクエスト要求生成回路011に通知し、調停による読み出しを待ち合わせる。リクエスト要求生成回路011は、調停方法選択回路004に方法Aが設定されており、かつ、最終フレーム数監視カウンタ010が、0より大きい場合に、リクエスト先頭フレーム識別信号012が通知されたならば、調停オーナー権判定回路212に対して調停要求を行う。
【0041】
調停オーナー権判定回路212は、単数、または、複数の受信ポートより受信した調停要求をもとに調停オーナー権を判定し、調停オーナー権保持レジスタ213にセットする。たとえば、調停オーナー権判定回路212が、受信ポート0の調停オーナー権を獲得し、調停オーナー権保持レジスタ213に受信ポート0に対応する値をセットすると、リクエストバッファ000からリクエストフレームの読み出しを開始し、調停回路201によって緩衝バッファ202へ送出するとともに、最終フレーム数監視カウンタ010を−1する。
【0042】
調停オーナー権保持レジスタ213、および、調停回路201によりリクエストは構成する全フレームが読み出されるが、最終フレームを読み出した際に調停オーナー権保持レジスタ213をリセットするので、リクエストバッファ000には、次のリクエストの先頭フレームが待機可能となり、次の調停要求動作に遷移できる。
【0043】
図4は、方法Aの動作を示すタイミングチャートである。
【0044】
図4を参照すると、サイクルT1、T2、T4、T6と非連続で受け付けたリクエストのフレーム(先頭フレーム=先、第2フレーム=2、第3フレーム=3、第4フレーム=4)は、それぞれ、サイクルT2、T3、T5、T7においてリクエストバッファ000に登録される。リクエスト先頭フレーム識別信号012は、リクエストバッファ000の最初の読み出しフレームがリクエストの先頭フレームである場合に有効となり、そのリクエストの最終フレーム(=第4フレーム)の到着まで待ち合わせを行っている。
【0045】
サイクルT7において、最終フレームがリクエストバッファ000に登録されると、最終フレーム数監視カウンタ010が+1されて、一つのリクエストがリクエストバッファ000に揃ったことを示し、リクエスト要求生成回路011が、調停要求を開始する。更に、同サイクルT7において、調停オーナー権判定回路212が調停オーナー権を獲得すると、サイクルT8において、調停オーナー権保持レジスタ213に受信ポート0に対応する値をセットすることで、調停回路201が調停オーナー権を獲得した受信ポート0のリクエストを選択できるように固定され、サイクルT8、T9、T10、T11において、連続でリクエストフレームを読み出す。
【0046】
調停オーナー権保持レジスタ213をセットした後のサイクルT9においては、最終フレーム数監視カウンタ010が−1され、調停回路201が最終フレームを送出した後のサイクルT12においては、調停オーナー権保持レジスタ213がリセットされる。
【0047】
次に、図3を参照して、調停方法選択回路004に方法Bを設定した時の動作について説明する。
【0048】
方法Bでは、最終フレーム数監視カウンタ010を無効化し、リクエスト要求生成回路011は、リクエスト先頭フレーム識別信号012のみによって調停要求を行う。調停オーナー権判定回路212は、単数、または、複数の受信ポートより受信した調停要求をもとに調停オーナー権を判定し、調停オーナー権保持レジスタ213にセットする。たとえば、調停オーナー権判定回路212が受信ポート0の調停オーナー権を獲得し調停オーナー権保持レジスタ213にセットすると、リクエストバッファ000からリクエストフレームの読み出しを開始し調停回路201によって緩衝バッファ202へ送出する。
【0049】
調停オーナー権保持レジスタ213、および、調停回路201によりリクエストは構成する全フレームを読み出すが、方法Bにおいては、リクエストを構成する全フレームがリクエストバッファ000に到着しているとは限らないので到着するまでの間も調停オーナー権保持レジスタ213を保持し続けていて、最終フレームがリクエストバッファ000に到着し、調停回路201を経て緩衝バッファ202への送出が完了した時点でリセットする。リクエストバッファ000の最初の読み出しフレームに再び次のリクエストの先頭フレームが到着すると、すぐに次の調停要求動作に遷移する。
【0050】
図5は、方法Bの動作を示すタイミングチャートである。
【0051】
図5を参照すると、サイクルT1、T2、T4、T7において非連続で受け付けたリクエストのフレーム(先頭フレーム=先、第2フレーム=2、第3フレーム=3、第4フレーム=4)は、それぞれサイクルT2、T3、T5、T8において、リクエストバッファ000に登録される。リクエスト先頭フレーム識別信号012は、リクエストバッファ000の最初の読み出しフレームがリクエストの先頭フレームである場合に有効となり、サイクルT2において、リクエスト要求生成回路011がそのリクエストの最終フレーム(=第4フレーム)の到着を待たずに調停要求を開始する。
【0052】
更に、サイクルT2において、調停オーナー権判定回路212が調停オーナー権を獲得すると、調停オーナー権保持レジスタ213に受信ポート0に対応する値をセットすることで、調停回路201が調停オーナー権を獲得した受信ポート0のリクエストを選択できるよう固定され、サイクルT3、T4、T5、T8においてリクエストフレームをその到着サイクルに依存して非連続に読み出す。調停回路201が最終フレームを送出した後のサイクルT9においては、調停オーナー権保持レジスタ213がリセットされる。
【0053】
次に、緩衝バッファ202の動作について図3を用いて説明する。
【0054】
たとえば、緩衝バッファ202に対して、その最大登録数から予め存在しうるリクエストの最大フレーム数を減じた値がキーボード等外部操作により緩衝バッファ閾値レジスタ216に設定される。緩衝バッファ登録ポインタ214は、調停回路201が送出したフレームを緩衝バッファ202に登録する毎に+1されて、次の登録位置を示し、緩衝バッファ索引ポインタ215は、緩衝バッファ202からフレームを読み出す毎に+1されて、次の読み出し位置を示す。
【0055】
緩衝バッファ202が常にリクエストを全フレーム分登録できるためには、調停の際にリクエストの取りうる最大フレーム数分の空きを確保されていることが条件であり、この判定を緩衝バッファ空き容量判定回路217が、緩衝バッファ登録ポインタ214の値から緩衝バッファ索引ポインタ215の値を減じて得られる現在の緩衝バッファ登録フレーム数と、緩衝バッファ閾値レジスタ216の値を比較することにより行っている。
【0056】
もし、緩衝バッファ202の空き容量がリクエストの最大フレーム数に満たない場合、緩衝バッファ空き容量判定回路217は、調停オーナー権判定回路212の調停オーナー権の判定を停止し、緩衝バッファ202の空き容量がリクエストの最大フレーム数を確保されている場合は、調停オーナー権判定回路212は、調停要求に応じて調停オーナー権を判定する。これにより、調停回路201が調停動作する時は、調停したリクエストの全フレームを必ず緩衝バッファ202に登録できることを保証している。
【0057】
なお、緩衝バッファ登録フレーム数の算出は、緩衝バッファ登録ポインタ214の値と緩衝バッファ索引ポインタ215の値との差分で算出せず、緩衝バッファ登録で+1し、緩衝バッファ読み出しで−1するようなカウンタで実現することも可能である。
【0058】
【発明の効果】
本発明の第1の効果は、リクエストが分断した際の調停デッドロックを回避し、かつ、その受信ポートの次リクエストが異なる出力ポートへ調停参加する場合に、調停参加の遅れをなくせることである。
【0059】
その理由は、送信ポートの状態に依らず、調停した受信ポートからのリクエストの全フレームを緩衝バッファに登録するからである。
【0060】
第2の効果は、リクエストの特性に応じた混在調停が柔軟に実施できることである。
【0061】
その理由は、リクエスト分断の可能性があるケースに対しリクエストの要素である全フレームの到着を保証してから調停参加する方法と、予め何らかの手段でリクエスト分断しないことが保証されたケースに対し性能を重視してリクエストの最初のフレーム到着で調停参加する方法の二つの方法を採用し、この二つの調停方法をポート単位に任意に選択可能な手段と、調停後の経路上にリクエストを構成する最大フレーム数の登録を保証する緩衝バッファとを設けるからである。
【図面の簡単な説明】
【図1】本発明の実施の形態の構成を示すブロック図である。
【図2】本発明の実施の形態の動作を示すブロック図である。
【図3】受信ポートから送信ポートへの調停の制御を示す説明図である。
【図4】方法Aの動作を示すタイミングチャートである。
【図5】方法Bの動作を示すタイミングチャートである。
【符号の説明】
000 リクエストバッファ
001 調停回路
002 緩衝バッファ
003 出力制御部
004 調停方法選択回路
010 最終フレーム数監視カウンタ
011 リクエスト要求生成回路
012 リクエスト先頭フレーム識別信号
100 リクエストバッファ
101 調停回路
102 緩衝バッファ
103 出力制御部
104 調停方法選択回路
200 リクエストバッファ
201 調停回路
202 緩衝バッファ
203 出力制御部
204 調停方法選択回路
212 調停オーナー権判定回路
213 調停オーナー権保持レジスタ
214 緩衝バッファ登録ポインタ
215 緩衝バッファ索引ポインタ
216 緩衝バッファ閾値レジスタ
217 緩衝バッファ空き容量判定回路
n00 リクエストバッファ
n01 調停回路
n02 緩衝バッファ
n03 出力制御部
n04 調停方法選択回路

Claims (6)

  1. 複数の受信ポートから複数の送信ポートの何れかに対して複数個のフレームにより構成されるリクエストを転送するクロスバー調停システムであって、
    リクエストのクロスバー調停システムへの調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト形式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエス形式との何れかによる調停参加を、リクエスト元となるポート単位に選択可能な第1の手段と、前記第1の手段により選択されたリクエスト形式が第1のリクエスト形式の場合はリクエストの最初のフレーム到着で調停を行い、第2のリクエスト形式の場合はリクエストの全フレームの到着を保証してから調停を行う第2の手段と、前記第2の手段による調停後の経路上に設置され、リクエストを構成する最大フレーム数の登録を保証して前記第2の手段により調停され出力されたリクエストの全フレームを登録可能にする緩衝バッファとを有することを特徴とするクロスバー調停システム。
  2. 受信ポートからのフレームで構成されるリクエストを格納する受信ポート対応のリクエストバッファと、
    前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
    前記調停方法選択回路からの前記受信ポートごとの値に基づいて、値が第1のリクエスト形式を示せば、前記リクエストバッファからのリクエストの最初のフレーム到着でそのリクエストの調停参加のための調停要求を出し、値が第2のリクエスト形式を示せば、前記リクエストバッファからのリクエストの全フレームの到着を保証してからそのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
    前記リクエスト要求生成回路からの調停要求によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
    前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
    前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路とを有することを特徴とするクロスバー調停システム。
  3. 受信ポートからのフレームで構成されるリクエストを格納する受信ポート対応のリクエストバッファと、
    前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
    前記調停方法選択回路からの前記受信ポートごとの値に基づいて、値が第1のリクエスト形式を示せば、前記リクエストバッファからのリクエストの最初のフレーム到着でそのリクエストの調停参加のための調停要求を出し、値が第2のリクエスト形式を示せば、前記リクエストバッファからのリクエストの全フレームの到着を保証してからそのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
    前記リクエスト要求生成回路からの調停要求によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
    前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
    前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路と、
    前記送信ポート対応の調停回路からのリクエストの最大数のフレームを格納する送信ポート対応の緩衝バッファとを有することを特徴とするクロスバー調停システム。
  4. 受信ポートからのフレームで構成されるリクエストを格納する受信ポート対応のリクエストバッファと、
    前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
    リクエストを構成するフレームのうち最終フレームを前記リクエストバッファに登録すると1加算され、調停によりリクエストが読み出されると1減算される前記リクエストバッファ対応の最終フレーム数監視カウンタと、
    前記調停方法選択回路からの前記受信ポートごとの値に基づいて、値が第1のリクエスト形式を示せば、前記リクエストバッファからのリクエストの最初のフレーム到着でそのリクエストの調停参加のための調停要求を出し、値が第2のリクエスト形式を示せば、前記最終フレーム数監視カウンタの値を参照し、前記リクエストバッファからのリクエストの全フレームの到着を保証してからそのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
    前記リクエスト要求生成回路からの調停要求によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
    前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
    前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路と、
    前記送信ポート対応の調停回路からのリクエストの最大数のフレームを格納する送信ポート対応の緩衝バッファとを有することを特徴とするクロスバー調停システム。
  5. 受信ポートからのフレームで構成されるリクエストを格納し、リクエストの先頭フレームの場合にリクエスト先頭フレーム識別信号を出力する受信ポート対応のリクエストバッファと、
    前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
    リクエストを構成するフレームのうち最終フレームを前記リクエストバッファに登録すると1加算され、調停によりリクエストが読み出されると1減算される前記リクエストバッファ対応の最終フレーム数監視カウンタと、
    前記調停方法選択回路に第のリクエスト型式を示す値が設定されている場合は、前記最終フレーム数監視カウンタの値が0より大きく、かつ、リクエスト先頭フレーム識別信号が通知されると前記リクエストバッファからのリクエストの調停参加のための調停要求を出し、前記調停方法選択回路に第のリクエスト型式を示す値が設定されている場合は、リクエスト先頭フレーム識別信号が通知されると前記リクエストバッファからのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
    前記リクエスト要求生成回路からの調停要求によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
    前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
    前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路と、
    前記送信ポート対応の調停回路からのリクエストの最大数のフレームを格納する送信ポート対応の緩衝バッファとを有することを特徴とするクロスバー調停システム。
  6. 受信ポートからのフレームで構成されるリクエストを格納し、リクエストの先頭フレームの場合にリクエスト先頭フレーム識別信号を出力する受信ポート対応のリクエストバッファと、
    前記受信ポートごとに調停参加に際してリクエストの最初のフレーム到着で調停参加する第1のリクエスト型式とリクエストの全フレームの到着を保証してから調停参加する第2のリクエスト型式との何れかを示す値が外部から設定される前記リクエストバッファ対応の調停方法選択回路と、
    リクエストを構成するフレームのうち最終フレームを前記リクエストバッファに登録すると1加算され、調停によりリクエストが読み出されると1減算される前記リクエストバッファ対応の最終フレーム数監視カウンタと、
    前記調停方法選択回路に第のリクエスト型式を示す値が設定されている場合は、前記最終フレーム数監視カウンタの値が0より大きく、かつ、リクエスト先頭フレーム識別信号が通知されると前記リクエストバッファからのリクエストの調停参加のための調停要求を出し、前記調停方法選択回路に第のリクエスト型式を示す値が設定されている場合は、リクエスト先頭フレーム識別信号が通知されると前記リクエストバッファからのリクエストの調停参加のための調停要求を出す前記リクエストバッファ対応のリクエスト要求生成回路と、
    前記リクエスト要求生成回路からの調停要求、オーナー権の判定・停止要求信号によりオーナー権を判定しオーナー権を獲得した受信ポートを示す値を出力する送信ポート対応の調停オーナー権判定回路と、
    前記調停オーナー権判定回路からのオーナー権を獲得した受信ポートを示す値を保持する送信ポート対応の調停オーナー権保持レジスタと、
    前記調停オーナー権保持レジスタからのオーナー権を獲得した受信ポートを示す値により前記受信ポート対応のリクエストバッファからのリクエストを選択する送信ポート対応の調停回路と、
    前記送信ポート対応の調停回路からのリクエストの最大数のフレームを格納する送信ポート対応の緩衝バッファと、
    前記調停回路が送出したフレームが前記緩衝バッファに登録される毎に1加算され次の登録位置を示す緩衝バッファ登録ポインタと、
    前記緩衝バッファからフレームが読み出される毎に1加算され次の読み出し位置を示す緩衝バッファ索引ポインタと、
    前記緩衝バッファに対して、最大登録数から予め存在しうるリクエストの最大フレーム数を減じた値が外部から設定される緩衝バッファ閾値レジスタと、
    前記緩衝バッファ登録ポインタの値、緩衝バッファ索引ポインタの値、緩衝バッファ閾値レジスタの値に基づいて前記調停オーナー権判定回路にオーナー権の判定・停止要求信号を出力する前記緩衝バッファ対応の緩衝バッファ空き容量判定回路とを有することを特徴とするクロスバー調停システム。
JP2002263058A 2002-09-09 2002-09-09 クロスバー調停システム Expired - Fee Related JP3747020B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002263058A JP3747020B2 (ja) 2002-09-09 2002-09-09 クロスバー調停システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002263058A JP3747020B2 (ja) 2002-09-09 2002-09-09 クロスバー調停システム

Publications (2)

Publication Number Publication Date
JP2004102607A JP2004102607A (ja) 2004-04-02
JP3747020B2 true JP3747020B2 (ja) 2006-02-22

Family

ID=32262920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002263058A Expired - Fee Related JP3747020B2 (ja) 2002-09-09 2002-09-09 クロスバー調停システム

Country Status (1)

Country Link
JP (1) JP3747020B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4546380B2 (ja) 2005-10-04 2010-09-15 エヌイーシーコンピュータテクノ株式会社 クロスバースイッチ、情報処理装置および転送方法
EP2416254A4 (en) * 2009-03-31 2012-10-17 Fujitsu Ltd ARBITRATION PROCEDURE, ARBITRATION SWITCHING AND ARBITRATION SWITCHING DEVICE

Also Published As

Publication number Publication date
JP2004102607A (ja) 2004-04-02

Similar Documents

Publication Publication Date Title
JP4024875B2 (ja) 異なるデータ・レートで動作するネットワーク・ポートに関して、共用メモリへのアクセスを調停する方法および装置
JP3084218B2 (ja) 通信方法及び同期通信システム
US7450606B2 (en) Bit slice arbiter
KR100905802B1 (ko) 컴퓨터 시스템의 입력/출력 노드에서 태깅 및 중재 매카니즘
JP2005505855A (ja) コンピュータ・システムの入出力ノード
JP3747020B2 (ja) クロスバー調停システム
EP1302050A1 (en) Communication control method and device
US20050228914A1 (en) Matrix type bus connection system
JP4669174B2 (ja) チューナブルブロードキャスト/ポイントツーポイントパケットアービトレーション
US7167939B2 (en) Asynchronous system bus adapter for a computer system having a hierarchical bus structure
US7047284B1 (en) Transfer request bus node for transfer controller with hub and ports
JP3667504B2 (ja) 調停回路
JP3481445B2 (ja) 競合調停方法
US20050273535A1 (en) Write transaction interleaving
JP3317150B2 (ja) 情報処理装置
US7747806B2 (en) Resource use management device, resource use management system, and control method for a resource use management device
JPH11184805A (ja) バスシステム
JP4679601B2 (ja) パケット制御回路、パケット処理装置、および、パケット処理方法
JPH10222462A (ja) 調停装置
JP3214461B2 (ja) バス制御装置
JP2006065453A (ja) データ処理装置
JPH04104540A (ja) 多重化装置
EP1459191B1 (en) Communication bus system
JP2935457B1 (ja) 調停装置及びこれを用いた通信装置
JP2011248564A (ja) 中継装置およびプロセッサーシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050304

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051125

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees