JP3666047B2 - 情報の伝送方法 - Google Patents
情報の伝送方法 Download PDFInfo
- Publication number
- JP3666047B2 JP3666047B2 JP5849495A JP5849495A JP3666047B2 JP 3666047 B2 JP3666047 B2 JP 3666047B2 JP 5849495 A JP5849495 A JP 5849495A JP 5849495 A JP5849495 A JP 5849495A JP 3666047 B2 JP3666047 B2 JP 3666047B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- bit stream
- software
- decoding
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Time-Division Multiplex Systems (AREA)
- Communication Control (AREA)
Description
【産業上の利用分野】
本発明は、ディジタル情報の伝送または記録方式に関するものである。
【0002】
【従来の技術】
電子デバイス技術の進歩などにより、映像や音声をディジタル化して伝送・蓄積することが一般的に行われるようになりつつある。映像や音声などの情報は原情報のままでは情報量がきわめて多いため、情報圧縮技術を用いて圧縮(符号化)した後に符号化ビットストリームとして伝送あるいは蓄積される場合が多い。こうして生成された符号化ビットストリームが担っている情報を再生するためには、再生側で復号化の処理が必要となる。このとき、通信を正しく行うためには符号化側と再生側が共通の画像符号化方式を採用する必要がある。このため、現在国際標準としてH.261、MPEG1、MPEG2などの標準画像符号化方式が定められている。
【0003】
符号化と復号化の処理は一般的に複雑であるため、現状の装置においてはこれらの処理を専用に行う専用チップが使用されることが多い。しかし、従来の専用チップを用いた画像の符号化・復号化装置に代わる新しい実装形態として、最近汎用プロセッサを用いたソフトウェアによる符号化・復号化装置(ソフトウェアコーデック)が注目を集めている。ソフトウェアコーデックは装置の開発にかかる労力が少ないことや、機能や性能の変更に柔軟に対応できること等の特徴を持っている。もちろん高速の汎用プロセッサを必要とする欠点もあるが、汎用プロセッサの高速化が進むにつれてその数が増えることが予想されている。図1と2に動画像用のソフトウェア符号化器100と復号化器200の構成例をそれぞれ示す。ソフトウェア符号化器100では、まず入力画像101は入力フレームメモリ102に蓄えられ、汎用プロセッサ103はここから情報を読み込んで符号化の処理を行う。この汎用プロセッサを駆動するためのプログラムはプログラム用メモリ104に蓄えられる。また、汎用プロセッサは処理用メモリ105を活用して符号化の処理を行う。汎用プロセッサが出力する符号化情報は一旦出力バッファ106に蓄えられた後に符号化ビットストリーム107として出力される。
【0004】
一方、ソフトウェア復号化器200では、入力された符号化ビットストリーム201は一旦入力バッファ202に蓄えられた後に汎用プロセッサ203に読み込まれる。汎用プロセッサはプログラム用メモリ204と処理用メモリ205を活用して復号化処理を行う。この結果得られた復号化画像は一旦出力フレームメモリ206に蓄えられた後に出力画像207として出力される。
【0005】
上で述べた通り、ソフトウェアコーデックは符号化方式に柔軟に対応できる特徴を持っている。これを利用し、符号化ビットストリームの伝送に先立ってそのビットストリームを復号化するためのプログラムを伝送する手法がMPEG4などの標準化委員会で検討されている。この手法の例を図3に示す。簡単のため通信路における伝送遅延時間および復号化遅延時間は0であるとする。時刻tbに伝送が開始される符号化ビットストリーム302を再生するために、これより前に時刻taからtbの間に伝送された復号化ソフトウェア301が使用される。この場合、再生側ではまず受信したソフトウェアをコンパイルし、このコンパイルが時刻tcに終了した後に符号化ビットストリームが担っている情報を再生すれば良い。こうすることによって、符号側では標準符号化方式に強く拘束されることなく、要求される機能(情報圧縮率、通信路の誤り特性、許容される復号化遅延時間など)や、画像符号化技術の進歩に応じて最適な符号化方式を選ぶことが可能となる。
【0006】
【発明が解決しようとする課題】
再生側装置に予め備えられていない符号化復号化方式によ符号号化ビットストリームを伝送する前にこれを復号するためのソフトウェアを送信側装置に伝送する場合、再生側装置で受信を開始してから再生画像を得るまでに時間がかかる問題が発生する。すなわち、一方で復号化ソフトウェアの受信中およびコンパイル中は再生側では再生画像を見ることが出来ないため、再生の開始が遅れ、利用者に心理的な負担をかけてしまう欠点がある。
【0007】
特に、双方向通信サービスにおけるVOD(Video On Demond)では伝送との制約のためソフトウェアの受信時間短縮は難しく、利用者の心理的案を解消することができなかった。
【0008】
本発明の目的は、再生側装置に予め備えられていない符号化復号化方式で情報を受信する際にも再生画像が得られ、かつ、送信情報の再生までの待ち時間を短縮し、利用者に対する心理的負担を軽減するような情報の送受信方法を提供することにある。
【0009】
【課題を解決するための手段】
上記目的を達成するために本発明では、再生側又は受信側の装置にとって既知である符号化復号化方式に従って符号化されたビットストリームを、再生側装置にとって未知の符号化復号化方式によって符号化されたビットストリームの復号化のために必要なソフトウェア情報を伝送する際に、そのソフトウェア情報に多重化して伝送する。
【0010】
伝送情報を画像情報とした場合には、ユーザが利用する受信端末は、予め副画像情報の復号化ソフトウェアを有する。送信側は主画像情報を復号化するための主画像復号化ソフトウェアを送信される情報の先頭に送信する。主画像復号化ソフトウェアには副画像情報が多重化されて共に送信される。ユーザ受信端末では画像情報が表示される前に、予め有する副画像情報の復号化ソフトウェアを用いて即座に副画像情報を画面上に表示する。
【0011】
【作用】
再生側では復号化のためのソフトウェアの受信を完了しかつ、完全にコンパイルが完了する前に、利用者に情報の提供を開始することができる。
【0012】
【実施例】
以下では画像情報の伝送を行う場合を例に説明を行う。受信側にとって既知の符号化方式をH.261とし、受信側にとって未知の符号化復号化方式を新方式とよぶこととする。また、場合によっては符号化復号化方式を単に符号化方式と呼ぶこととする。
【0013】
図4に新方式の復号化ソフトウェアに、H.261の符号化ビットストリームを多重化して伝送する方式と、これを再生する方式の例を示す。なお、以下では簡単のため通信路における伝送遅延時間および復号化遅延時間は0であるとする。時刻tdに送信が開始され、まずは復号化ソフトウェア401とH.261符号化ビットストリーム402が多重化されて伝送される。受信側では受信が開始されると同時に符号化ソフトウェアのコンパイルとH.261符号化ビットストリームの復号化を開始する。したがって、端末利用者は受信が開始されてから短い時間でH.261の再生画像を見ることができ、早く情報の入手を開始できると同時に待たされることによる心理的負担も軽減することができる。時刻teには復号化ソフトウェアの伝送が終了するが、まだ受信したソフトウェアのコンパイルは継続されている。送信したソフトウェアのコンパイルが終了する頃を見計らって送信側は時刻tgに送信している符号化ビットストリームの符号化方式をH.261から新方式に切り換える。もしtg以前に受信側においてコンパイルが終了していれば(図では時刻tg以前の時刻tfにコンパイルが終了している場合を示している)、受信側は時刻tgから新方式の復号化ソフトウェアを稼働させ、新方式によって符号化された情報の再生を開始する。通信路が固定レート場合、新方式はH.261と比較して符号化特性が優れている上に通信路の伝送容量全体を利用できるため、再生している符号化ビットストリームの符号化方式が切り換わった時点から再生画像の画質は向上する。時刻tg以前に画質が悪くなることを防ぐためには、tg以前には細かい画像や動きの速い画像などの符号化の困難な画像を伝送せず、静止画や字幕などの符号化の容易な画像を伝送する方法もある。通信路が可変レートの場合、時刻tg以前(特にte以前)は時刻tg以降と比較して伝送レートを高くすれば再生画像の画質を維持でき、符号化方式の切り換えに伴う画質の変化を抑えることができる。なお、以上の方式は情報を記録した後、これを読み出す蓄積系においても実現できることは明らかである。蓄積系において読み出し側で読み出す情報を選択できる場合には、上記のビットストリーム切り換えのタイミングは読み出し側で決定することができる。あらかじめH.261符号化ビットストリームを長めに記録しておけば、読み出し側で新方式の復号化ソフトウェアのコンパイルが終了した時点でH.261符号化ビットストリームの再生を中止し、読み出すビットストリームをH.261から新方式に切り換えることができる。
【0014】
図4の方式では、時刻t2以前にソフトウェアのコンパイルが終了しない場合は画像の再生がとぎれるため、送信側は符号化方式の切り換えのタイミングを早くし過ぎないように注意する必要がある。しかし、逆にこれを遅らせ過ぎると今度は再生画像の画質が改善される時刻が遅れる問題が発生する(固定レートの場合)。この問題を解決するためには、双方向通信の際には受信側はソフトウェアのコンパイルが終了した時点で(あるいは終了する直前に)これを送信側に知らせる方法がある。この様子を図5に示す。図の中の時刻に用いられている記号は図4に対応している。受信側における復号化ソフトウェアのコンパイルが時刻tfに終了すると、受信側は送信側にこのことを合図501で送信側に連絡する。これをを受けてから送信側は、tf以後の最初のフレーム分割点tg’で送信情報をH.261符号化ビットストリーム502から新方式符号化ビットストリーム503に切り換える。フレーム分割点tg’でビットストリームを切り換える理由は、符号化器で符号化方式の切り換えがこのタイミングで行い易いためである。こうすることによって上記の問題を解決し、送信側における符号化方式の切り換えのタイミングを最適化することができる。
【0015】
図6に、図4に示した方式と似た機能を実現する方式を蓄積系の例を用いて示す。情報蓄積装置には、時間tk−th分のH.261符号化ビットストリームと、新方式によって符号化された符号化ビットストリームと、新方式の復号化ソフトウェアが記録されているとする。時刻thに蓄積された情報の読み出しが開始されるとまずH.261符号化ビットストリーム601が読み出されて再生が開始される。H.261符号化ビットストリームは時刻tiまで読み出されるが、この間に時間tk−th(>ti−th)分のビットストリームが読み出され、再生装置内のバッファに蓄えられる。したがって、再生装置はこのti−thの時間で読み出された情報をtk−thの時間をかけて再生する。H.261符号化ビットストリームの読み出しが終了する時刻tiには、新方式の復号化ソフトウェア602の読み出しとコンパイルが開始される。この間もバッファに蓄えられているH.261の符号化ビットストリームの再生は続けられている。ソフトウェアの読み出しとコンパイルはそれぞれ時刻tjとtkに終了する。時刻tkには新方式の復号化プログラムが稼働され、新方式に基づく符号化ビットストリーム603の読み出しと再生が開始される。この方式は複数のビットストリームを同時に読み出さない分だけ図4の方式より簡単であるが、ソフトウェアのコンパイルがソフトウェアの受信が開始される時刻ti以前に行えない点で不利である。また、H.261符号化ビットストリームを読み出す際にはti−thの時間で読み出された情報をtk−thの時間をかけて再生するため、読み出し速度を速くしない限り画質の劣化を招く結果となるので注意が必要である。この問題を解決するための1つの方法として、短い時間分のH.261符号化ビットストリームしか用意せず、新方式符号化ビットストリームを読み出す前はこれを繰り返し再生する方法がある。利用者は新方式符号化ビットストリームを読み出す前は同じ画像を繰り返し見せられることとなるが、短い時間分の情報しか含まないために図5の例と同じ読み出し速度でH.261の再生画像の品質を良くすることができる。図5の例では、H.261符号化ビットストリームの再生が終わるまで新方式符号化ビットストリームは読み出さない例を挙げたが、もちろんコンパイルが終了した時点でH.261符号化ビットストリームの再生を中止し、すぐに新方式符号化ビットストリームの再生を開始する方法もある。H.261符号化ビットストリームの繰り返し再生を行う場合も同様である。なお、図6の例に関し、ここまで蓄積系を例に説明を行ったが、通信系においても同様な方式が適用できることは明らかである。
【0016】
本明細書では、ここまでは画像情報を伝送する場合について説明してきたが、これが画像以外の情報(例えば音声)である場合や、複数の情報(例えば画像と音声)である場合にも適用できることは明らかである。
例えば、ネットワークに接続され予め第1の復号化アルゴリズムが備えられている端末への情報の伝送方法であって、上記端末に備えられていない第2の復号化アルゴリズムに対応した符号化方式によって符号化された第2の符号化ビットストリームの伝送に先立ち、上記第1の復号化アルゴリズムに対応する第1の符号化ビットストリームと上記第2の復号化アルゴリズムを示すソフトウェアとを上記端末に伝送する方法で、上記第1と第2の符号化ビットストリームは画像情報を示すこととしても良いし、上記第1の符号化ビットストリームは画像情報を示し、上記第2の符号化ビットストリームは音響情報を示すものとすることもできる。
特に複数の情報を同時に伝送する場合には、ソフトウェアを伝送している間は多重化して伝送できる情報量が制限されるため、一部の情報を伝送しないようにする方法がある。例えば音声(または音響)と画像とを同時に伝送する場合、図7の例では時刻tlからtmの間は音声(または音響)符号化ビットストリーム704と新方式の復号化ソフトウェア701を多重化して伝送し、時刻tmからtnの間は音声符号化ビットストリームとH.261符号化ビットストリーム702を多重化して伝送し、時刻tn以降は音声符号化ビットストリームと新方式符号化ビットストリーム703とを多重化して伝送する(この場合、音声の符号化方式については受信側で既知であるとする)。こうすることにより、時刻tm以前は無理をして品質の悪い画像を伝送せずに、十分な品質の音声情報を伝送するだけの通信容量を確保することができる。なお、この例においても同様の方法が蓄積系に対しても適用できることは明らかである。
【0017】
【発明の効果】
本発明により、復号化のためのソフトウェアを受信およびコンパイルする時間も受信した情報を再生することが可能となり、受信開始から画像の再生の開始までの時間を短縮し、利用者の心理的負担を解消することができる。
【0018】
主画像の復号化を待つ間に他の画像が画面に表示されるため、ユーザの不安の解消には有効である。さらに、通常では画像表示が不可の時間を有効に利用でき、例えば画像広告、主画像固有のタイムリーな情報等を表示することができる。
【図面の簡単な説明】
【図1】ソフトウェア画像符号化器の構成例を示した図である。
【図2】ソフトウェア画像復号化器の構成例を示した図である。
【図3】符号化ビットストリームを伝送する前にこれを復号するためのソフトウェアを伝送する方式の例を示した図である。
【図4】新方式符号化ビットストリームを復号化するソフトウェア伝送する際に、H.261符号化されたビットストリームをこれに多重化して伝送する方式の例を示した図である。
【図5】新方式の復号化ソフトウェアのコンパイルが終了したことを送信側に連絡することにより、最適なタイミングで符号化ビットストリームを切り換える方式の例を示した図である。
【図6】新方式に基づく符号化ビットストリームを復号化するソフトウェア伝送する前に、H.261符号化されたビットストリームを伝送する方式の例を示した図である。
【図7】新方式の復号化ソフトウェアおよびH.261符号化ビットストリームおよびお新方式符号化ビットストリームを伝送する際に、音声符号化ビットストリームを多重化して伝送する方式の例を示した図である。
【符号の説明】
100…ソフトウェア画像符号化器、102…入力フレームメモリ、103、203…汎用プロセッサ、104、204…プログラム用メモリ、105、205…処理用メモリ、106…出力バッファ、107、201…符号化ビットストリーム、200…ソフトウェア画像復号化器、202…入力バッファ、206…出力フレームメモリ、301…復号化ソフトウェア、302…符号化ビットストリーム、401、602、701…新方式符号化ソフトウェア、402、502、601、702…H.261符号化ビットストリーム、403、503、603、703…新方式符号化ビットストリーム、501…送信側へのコンパイルの終了に関する連絡、704…音声符号化ビットストリーム。
Claims (3)
- ネットワークに接続され予め第1の復号化方法が備えられている端末への情報の伝送方法であって、
上記端末に備えられていない第2の符号化方法によって符号化された第2の符号化ビットストリームの伝送に先立ち、
上記第1の復号化方法にて復号化することが可能である第1の符号化ビットストリームと上記第2の復号化方法のソフトウェアとを読み出して多重化して、上記端末に同時に伝送することを特徴とする情報の伝送方法。 - 請求項1において、上記第1と第2の符号化ビットストリームは画像情報に関するものであることを特徴とする情報の伝送方法。
- 請求項1において、上記第1の符号化ビットストリームは画像情報に関し、上記第2の符号化ビットストリームは音響情報に関するものであることを特徴とする情報の伝送方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5849495A JP3666047B2 (ja) | 1995-03-17 | 1995-03-17 | 情報の伝送方法 |
US08/617,077 US5771009A (en) | 1995-03-17 | 1996-03-18 | Method and apparatus for transmitting and receiving data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5849495A JP3666047B2 (ja) | 1995-03-17 | 1995-03-17 | 情報の伝送方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08256332A JPH08256332A (ja) | 1996-10-01 |
JP3666047B2 true JP3666047B2 (ja) | 2005-06-29 |
Family
ID=13085986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5849495A Expired - Fee Related JP3666047B2 (ja) | 1995-03-17 | 1995-03-17 | 情報の伝送方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5771009A (ja) |
JP (1) | JP3666047B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6230295B1 (en) * | 1997-04-10 | 2001-05-08 | Lsi Logic Corporation | Bitstream assembler for comprehensive verification of circuits, devices, and systems |
US5983022A (en) * | 1997-04-10 | 1999-11-09 | Lsi Logic Corporation | System and method for using profiles to manage data streams for device verification |
US20020067695A1 (en) * | 1999-03-05 | 2002-06-06 | Mark L. Skarpness | Method for interfacing an atm network to a pc by implementing the atm segmentation and reassembly functions in pc system software |
US7240359B1 (en) * | 1999-10-13 | 2007-07-03 | Starz Entertainment, Llc | Programming distribution system |
US8806549B1 (en) | 1999-10-13 | 2014-08-12 | Starz Entertainment, Llc | Pre-storing a portion of a program to allow user control of playback |
US7809849B2 (en) * | 1999-10-13 | 2010-10-05 | Starz Entertainment, Llc | Pre-storing multiple programs with user control of playback |
JP2002344440A (ja) * | 2001-05-21 | 2002-11-29 | Toshiba Corp | データ再生装置、データ再生方法、データ再生プログラム、およびビデオ・オン・デマンド・システム |
US7984475B1 (en) * | 2002-10-04 | 2011-07-19 | Sprint Communications Company L.P. | Video channel broadcast using ethernet technology |
JP2017092830A (ja) * | 2015-11-13 | 2017-05-25 | 株式会社リコー | 端末、プログラム、装置及びシステム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5404505A (en) * | 1991-11-01 | 1995-04-04 | Finisar Corporation | System for scheduling transmission of indexed and requested database tiers on demand at varying repetition rates |
US5440632A (en) * | 1992-12-02 | 1995-08-08 | Scientific-Atlanta, Inc. | Reprogrammable subscriber terminal |
US5485221A (en) * | 1993-06-07 | 1996-01-16 | Scientific-Atlanta, Inc. | Subscription television system and terminal for enabling simultaneous display of multiple services |
US5488411A (en) * | 1994-03-14 | 1996-01-30 | Multimedia Systems Corporation | Interactive system for a closed cable network |
US5619247A (en) * | 1995-02-24 | 1997-04-08 | Smart Vcr Limited Partnership | Stored program pay-per-play |
-
1995
- 1995-03-17 JP JP5849495A patent/JP3666047B2/ja not_active Expired - Fee Related
-
1996
- 1996-03-18 US US08/617,077 patent/US5771009A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US5771009A (en) | 1998-06-23 |
JPH08256332A (ja) | 1996-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5887110A (en) | Video data playback system using effective scheme for producing coded video data for fast playback mode | |
JP4538908B2 (ja) | データ変換装置及び方法 | |
JP3802088B2 (ja) | 長時間再生用ディジタルビデオ信号の記録および再生装置 | |
JPH04318791A (ja) | 信号処理方法及び記録再生装置 | |
JPH05153577A (ja) | 動画像復号化装置 | |
KR100772343B1 (ko) | 데이터 재생 전송 장치 및 데이터 재생 전송 방법 | |
US5787225A (en) | Optical disk apparatus for the reproduction of compressed data | |
JP3666047B2 (ja) | 情報の伝送方法 | |
KR20020018138A (ko) | 화상 정보의 전송 장치, 전송 시스템, 및 전송 방법 | |
JP3516450B2 (ja) | ビットストリームの伝送方法及び伝送システム | |
JPH09200695A (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
JP2776212B2 (ja) | 符号記録装置 | |
JPH05344494A (ja) | Mpeg動画像の早送り再生方式 | |
JP4902854B2 (ja) | 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置 | |
JP2661541B2 (ja) | 光ディスク装置 | |
WO2002007437A1 (en) | Image signal storage/reproduction device, and image signal transmission device | |
JPH11262009A (ja) | 映像信号再生装置 | |
JP3594017B2 (ja) | ビットストリームの伝送方法及び伝送システム | |
KR100310215B1 (ko) | 디지털비디오신호의기록장치,재생장치,기록재생장치및기록매체 | |
JP3916665B2 (ja) | ディジタル情報信号を格納媒体に格納する記録/再生装置、および方法 | |
JP3312635B2 (ja) | 蓄積画像伝送方法および装置 | |
JP2000032395A (ja) | 復号化方法 | |
JPH09172608A (ja) | 画像音声符号化装置および画像音声記録再生装置 | |
KR100223656B1 (ko) | 엠펙(mpeg) 비디오 데이터 복호기가 구비된 장치의 화면 디스플레이방법 | |
JP3994786B2 (ja) | ビデオテープレコーダ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050328 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |