JP2849385B2 - カラー画像の圧縮符号化装置 - Google Patents

カラー画像の圧縮符号化装置

Info

Publication number
JP2849385B2
JP2849385B2 JP12209788A JP12209788A JP2849385B2 JP 2849385 B2 JP2849385 B2 JP 2849385B2 JP 12209788 A JP12209788 A JP 12209788A JP 12209788 A JP12209788 A JP 12209788A JP 2849385 B2 JP2849385 B2 JP 2849385B2
Authority
JP
Japan
Prior art keywords
value
signal
image
density
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12209788A
Other languages
English (en)
Other versions
JPS6453680A (en
Inventor
雅朗 石川
浩 志村
登 村山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP12209788A priority Critical patent/JP2849385B2/ja
Publication of JPS6453680A publication Critical patent/JPS6453680A/ja
Application granted granted Critical
Publication of JP2849385B2 publication Critical patent/JP2849385B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Image Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Description

【発明の詳細な説明】 〔技術分野〕 本発明は画像データの圧縮符号化装置に係り、特にテ
レビ電話機、ファクシミリ等の画像伝送に適用して好適
なカラー画像の圧縮符号化装置に関するものである。
〔従来技術〕
例えば、テレビ電話、ファクシミリ等で書画、静物な
どの動きの極めて少ない静止画像を能率よく送受して画
像通信を行なう際に、画像データを圧縮符号化する方式
としてDPCM方式(Differential PCM:差分符号化方式)
やデルタ変調方式が用いられる。
DPCM方式は、予測符号化として知られており、画素間
における相関やライン間における相関を利用して、既に
符号化された画素の値から現在の値を予測し、それと現
実の値との誤差を符号化するもので、差分信号を3〜4b
itでPCM符号化する方式のものである。
また、デルタ変調方式は、信号波形を±Δ(デルタ)
だけ振幅が変化する階段波で近似して1ステップ2進符
号として取り出すものであり、上記のDPCM方式におい
て、差分信号を1bitで量子化する方式のものである。
ところで、比較的に画面の小さいカラー画像を輝度信
号と色差信号とに分離してそれぞれ分離符号化を行な
い、これを一般の公衆回線を用いて伝送する際に、画像
データの圧縮方式としてDPCM方式を用いた場合は、画質
に関しては十分であるがデータ圧縮率が不十分となるた
め、短時間での伝送といった観点からは問題点があっ
た。
また、デルタ変調方式を用いた場合は、データ圧縮率
は十分であるが、輝度信号に対するノイズが目立ち、十
分な画質が得られないといった問題点があった。
〔目 的〕
本発明は、上記した従来における問題点を解消するた
めになされたもので、低ビットレートでカラー静止画像
を比較的短時間で伝送できるようにしたカラー画像の圧
縮符号化装置を提供することを目的とする。
〔構 成〕
以下、本発明をテレビ電話機に適用した場合の実施例
に基づいて具体的に説明する。
第1図は、本発明が適用されるテレビ電話機のブロッ
ク構成図である。図において、1はCCD,MOS等の固体撮
像素子から構成されカラー画像を取り込んでNTSC方式に
準ずるビデオ信号を出力するカラービデオカメラ、2は
カラービデオカメラ1からのNTSC方式のビデオ信号をR
(赤),G(緑),B(青)のディジタル信号に分解するビ
デオ信号入力回路、3は画像メモリであり入力のRGB信
号を格納する入力画像メモリ31、上記のRGB信号を輝度
信号(Y)と2つの色差信号(I,Q)に変換したYIQ信号
を入力しまた出力するYIQメモリ32、画像表示のために
出力のRGB信号を格納する出力画像メモリ33から構成さ
れ、例えば(256×256画素×RGB各6bit)のメモリであ
る。
4は出力画像メモリ33にディジタル信号として格納さ
れているRGB信号を入力しNTSC方式のビデオ信号を出力
するビデオ信号出力回路、5はビデオ信号出力回路4か
ら供給されるビデオ信号に基づいた画像を表示するカラ
ー液晶表示パネル等で構成されたカラー画像表示部であ
る。
6は送話器ならびに受話器からなるハンドセット、7
は相手方との間における音声処理を行なう音声処理回
路、8は変復調装置としてのモデムと回線制御を行なう
モデル回線制御回路、9は本発明の要旨でもある相手方
への送信画像の符号化ならびに相手方からの受信画像の
復号化を行なう画像圧縮再生部である。
10は入力画像メモリ31を介して取り込まれたRGB信号
をYIQ信号に変換するRGB−YIQ変換テーブル、11は上記
とは逆にYIQ信号をRGB信号に変換するYIQ−RGB変換テー
ブル、12は上記した画像メモリ3、モデル回線制御回路
8、画像圧縮再生部9、RGB−YIQ変換テーブル10、YIQ
−RGB変換テーブル11間におけるデータの授受ならびに
処理の実行などをシステムバス13を介して制御するシス
テムコントローラ、14はシステムコントローラ12に外部
からコマンドを入力するテンキーならびにファンクショ
ンキーを備えたキーボード、15はモデム回線制御回路8
に接続された伝送媒体としての公衆回線である。
上記した構成からなるテレビ電話機において、カラー
ビデオカメラ1により撮像されてビデオ信号に変換され
た送信画像は、ビデオ信号入力回路2によりディジタル
化されたRGB信号として入力画像メモリ31に取り込まれ
ここにいったん格納される。
そして、システムコントローラ12の制御に基づいて、
RGB信号として取り込まれた入力画像メモリ31からの画
像データは、RGB−YIQ変換テーブル10によりYIQ信号に
変換され、該YIQ信号はYIQメモリ(入力)32に格納され
る。
次いで、画像圧縮再生部9により上記の送信画像に対
する伝送シミュレーションが行なわれ、これにより再生
されたYIQ信号はYIQメモリ(出力)32に格納される。上
記のようにして、YIQメモリ(出力)32に格納されたYIQ
信号は、YIQ−RGB変換テーブル11によりRGB信号に変換
された後、出力画像メモリ33にいったん格納される。さ
らに、上記の出力画像メモリ33に格納されたRGB信号
は、ビデオ信号出力回路4によりビデオ信号に変換さ
れ、さらにカラー画像表示部5に供給されて上記した伝
送シミュレーションにより得られた送信画像が表示され
る。
また、相手方への送信画像の伝送は、上記したYIQメ
モリ(入力)32に格納されたYIQ信号を、画像圧縮再生
部9により画像圧縮した後、モデム回線制御回路8を介
して公衆回線15を通して伝送される。なお、音声信号の
伝送な、音声処理回路7ならびにモデム回線制御回路8
を介して、公衆回線15を通して行なわれる。
一方、受信側においては、公衆回線15を通してモデム
回線制御回路8に入力された受信信号(YIQ信号)を、Y
IQメモリ(出力)32にいったん格納するとともに、これ
をYIQ−RGB変換テーブル11によりRGB信号に変換して出
力画像メモリ33に格納し、さらにビデオ信号出力回路4
を介してカラー画像表示部5に供給し、これを受信画像
として表示する。なお、音声信号はモデム回線制御回路
8により受信された後に、音声処理回路7により処理さ
れてハンドセット6により受信される。
次に、上記した画像圧縮再生部9の送信側および受信
側の構成を、第2図に示す本発明に基づくカラー画像通
信系全体のブロック構成図により説明する。
送信側における画像圧縮部は、輝度信号Yに対するDP
CM部23、色差信号I,Qに対するI,Q間引き部24,I信号に対
する拡張適応デルタ変調部25、Q信号に対する拡張適応
デルタ変調部25Aから構成される。また、受信側におけ
る画像再生部は、輝度信号Yに対するDPCM復号化部26、
I信号に対する拡張適応デルタ変調復号化部27、Q信号
に対する拡張適応デルタ変調復号化部27A、色差信号I,Q
に対するI,Q拡大部28から構成される。
なお、ここで上記した拡張適応デルタ変調について説
明する。
デルタ変調は符号化ビット数が1ビットで、過去に符
号化した符号が1のときは+1また符号が0のときは−
1を加算した累積値に比例する比較値と入力信号との差
を求め、差が+のときは符号1を、また差が−のときは
符号0を出力する。
適応デルタ変調は、デルタ変調において、過去に符号
化した符号が連続して同符号、すなわち1または0が連
続する場合は、連続した符号の数に対応して前記比較値
が大になるように重み付けを行って入力信号との差を求
めるようにしている。
本発明で呼ばれる拡張適応デルタ変調は、前記適応デ
ルタ変調における出力信号の符号が前回出力された符号
と反転した場合は入力信号と比較する比較値を変更しな
いようにする。すなわち比較値の加算を0にする。
画像データでは、近隣画素と比較して急激に変化する
場合と変化の少ない画素が連続する場合が多い。前述し
た拡張適応デルタ変調を行うことによって、急激なる変
化に対しては適用デルタ変調によって入力信号に追従し
た特性が得られ、変化の少ない画素が連続する平坦部で
は符号1および0を交互に出力することによって雑音を
減少させることができる。
続いて、拡張適応デルタ変調についてさらに詳細に説
明する。
第3図(a),(b)は画像圧縮再生部の送信側およ
び受信側の構成を示すブロック構成図であり、上記した
第2図の画像圧縮部および画像再生部のブロック中に示
した25,25Aおよび27,27Aに相当するものである。
第3図(a)に示す送信側は減算器31、コンパレータ
32、カウンタ(0)331、カウンタ(1)332、Tテーブ
ル34、T′テーブル35、アキュムレータからなる濃度バ
ッファ36からなる画像圧縮部により構成され、第3図
(b)に示す受信側は送信側と同じ値を有するカウンタ
(0)371、カウンタ(1)372、濃度バッファ39、そし
てT′テーブル38からなる画像再生部により構成され
る。
送信側においては、減算器31により入力の注目画素濃
度から濃度バッファ36からの値を差し引いた(注目画素
濃度−濃度バッファの値)を計算し、該計算値とTテー
ブル34からのしきい値のTとをコンパレータ32により比
較し、上記の減算器31における計算値がTテーブル34か
らのしきい値Tより大きい場合には、カウンタ(1)33
2の出力より“1"を送信するとともに、濃度バッファ36
の値にT′テーブル35からの値T′を加算する。
受信側においても、カウンタ(1)372が受信信号と
して上記した“1"を受信した場合には、上記の送信側の
場合と同様に、濃度バッファ39の値にT′テーブル38か
らの値T′を加算し、この値を注目画素濃度として出力
する。そして、送受信側ともに、カウンタ(1)332,37
2の値を更新し、カウンタ(0)331,371の値をクリアす
る。
上記とは逆に、(注目画素濃度−濃度バッファの値)
の計算値がTより小さい場合には、送信側のカウンタ
(0)331の出力より“0"を送信するとともに、濃度バ
ッファ36の値からT′テーブル35からの値T′を減算す
る。受信側においても、カウンタ(0)371が上記した
“0"を受信した場合は、上記した送信側の場合と同様
に、濃度バッファ39の値からT′テーブル38からの値
T′を減算し、この値を注目画素濃度として出力する。
そして、送受信側ともに、カウンタ(0)331,371の値
を更新し、カウンタ(1)332,372の値をクリアする。
而して、第1表は上記したT,T′テーブルの具体的な
例である。また、第2表は第1表に示すテーブルを使用
した場合の処理例であり、この処理例の入力濃度と送受
後の復号濃度を、従来の適応デルタ変調と本発明による
拡張適応デルタ変調の場合で比較して示したものが第4
図である。
第1表に示したテーブルならびに第2表に示した処理
例にみるように、入力1に関しては入力濃度の値が29、
濃度バッファの値が29であるので、(注目画素濃度−濃
度バッファの値)の計算値は(29−29)=0となる。従
って、直前の送受信号“1"に対してこれを反転した“0"
が入力1に対応した送受信号となる。これにより、状態
はDとなりT′(0)が濃度バッファに加算され、送受
後の濃度バッファの値は29のままとなる。
入力2に関しては、入力濃度の値が28、濃度バッファ
の値が29であり、(注目画素濃度−濃度バッファの値)
の計算値は(28−29)=−1となる。これはT(−1)
のしきい値以下であるので、この場合は“0"を送受信号
とする。これにより、状態はEとなりT′(−1)が濃
度バッファに加算され、送受後の濃度バッファの値は28
となる。
なお、第2表に示す入力3〜入力7に関しても、上記
したと全く同様である。
入力8に関しては入力濃度の値が21、濃度バッファの
値が29であるので、(注目画素濃度−濃度バッファの
値)の計算値は(21−29)=−8となる。従って、これ
はT(−1)のしきい値以下であるので、この場合は
“0"を送受信号とする。これにより、状態はEとなり
T′(−1)が濃度バッファに加算され、送受後の濃度
バッファの値は28となる。
次に、入力9〜入力15のような平坦部に対する応答は
以下のようになる。
入力9に関しては入力濃度の値が22、濃度バッファの
値が28であるので、(注目画素濃度−濃度バッファの
値)の計算値は(22−28)=−6となる。これはT(−
3)のしきい値以下であるので、この場合は“0"を送受
信号とする。これにより、状態はFとなりT′(−5)
が濃度バッファに加算され、送受後の濃度バッファの値
は23となる。
入力10に関しては入力濃度の値が22、濃度バッファの
値が23であるので、(注目画素濃度−濃度バッファの
値)の計算値は(22−23)=−1となる。これはT(−
3)のしきい値以上であるので、この場合は“1"を送受
信号とする。これにより、状態はCとなりT′(0)が
濃度バッファに加算されるが、送受後の濃度バッファの
値は23のままとなる。
入力11に関しても入力濃度の値が22、濃度バッファの
値が23と変わらず、(注目画素濃度−濃度バッファの
値)の計算値も−1と変わらない。この値はT(1)の
しきい値以下であるので、送受信号は“0"とし、状態は
Dに移る。このとき、送受後の濃度バッファにはT′
(0)が加算されるので、送受後の濃度バッファの値は
23のままとなる。
入力12に関しては、入力濃度の値が22、濃度バッファ
の値が23と変わらず(注目画素濃度−濃度バッファの
値)の計算値も−1と変わらない。この値はT(−1)
のしきい値以下であるので、“0"を送受信号として状態
はEに移る。このとき、送受後の濃度バッファにはT′
(−1)が加算されるので、送受後の濃度バッファの値
は22となる。
入力13に関しては入力濃度の値が22、濃度バッファの
値が22であるので、(注目画素濃度−濃度バッファの
値)の計算値は(22−22)=0となる。この値はT(−
3)のしきい値以上であるので、送受信号は“1"となり
状態はCに移る。このとき、送受後の濃度バッファには
T′(0)が加算されるので、送受後の濃度バッファの
値は22のままとなる。
入力14に関しても入力濃度の値が22、濃度バッファの
値が22と変わらず、(注目画素濃度−濃度バッファの
値)の計算値も0となる。この値はT(1)のしきい値
以下であるので、“0"を送受信号として状態はDに移
る。
この後、入力濃度の値が上述と同じ22が続く限り、上
記した入力13,14に対すると同じ処理を繰り返すことに
なり、状態はCDCD…と繰り返される。また、このとき出
力される復号化された濃度値には22が続くことになる。
この様子を第4図でみると、入力番号12で復号化され
た濃度値が入力濃度値に一致しており、これ以後この値
が続くことがわかる。
また、第4図には比較のために、ステップ幅に0がな
い従来の適応デルタ変調による復号結果も示した。ただ
し、ここで用いたステップ幅は第3表のものを用いた。
なお、復号処理例を第4表に示した。
本発明によれば、入力番号12〜15の平坦部で拡張適応
デルタ変調による改善効果が顕著にみられることがわか
る。
而して、第2図に示した送信側において、カラー画像
取込部21によりRGB信号として取り込まれたカラー画像
信号は、RGB−YIQ変換部22により、各4bitのRGB信号か
ら5bitの輝度信号Yと各4bitの色差信号I,Qに変換され
る。
上記の輝度信号Yは解像度ならびに階調を表現するた
めの要素であり、視覚感度が比較的高く、再現性のよい
圧縮方式が要求される。そこで、YIQ変換後の輝度信号
Yに対しては、DPCM部23において前値予測DPCMにより圧
縮符号化が行なわれる。なお、この符号化に際しては表
に示す可変長符号(ハフマン符号)が用いられる。
表(ハフマン符号) コード 差分値 0 0 10 +1 110 −1 1110 +2 11110 −2 111110 +3 1111110 −3 11111110 +4 111111110 −4 1111111110 +5 11111111110 −5 上記の圧縮符号化により、輝度信号Y(5bit/pel)は
128×128画素の人物顔像に対し、平均2.4bit/pelまで圧
縮することができる。
一方、色差信号I,Qは色相を表現するための要素であ
り、視覚感度が比較的低いので、再現性に対する要求は
あまり高くない。そこで、YIQ変換後の色差信号I,Qに対
しては、I,Q間引き部24でそれぞれ2×2画素あたり1
画素に間引いた後、I,Q信号それぞれを拡張適応デルタ
変調部25,25Aにより圧縮符号化する。この圧縮符号化に
より、色差信号I,Qはそれぞれ0.25bit/pelに圧縮するこ
とができる。
受信側においては、輝度信号Yが画像再生部を構成す
るDPCM復号化部26により復号されるとともに、色差信号
I,Qがそれぞれ拡張適応デルタ変調復号化部27,27Aによ
り復号される。そして、復号された色差信号I,Qは、そ
れぞれI,Q拡大部28に供給されここで単純画素拡大が行
なわれる。上記の画像再生部を経たYIQ信号は、YIQ−RG
B変換部29によりRGB信号に変換された後にカラー画像表
示部30に供給され、ここに再生画像として画像表示され
る。
なお、第5図は上記した色差信号I,Qに対する画素の
間引きならびに拡大の様子を示したものであり、同図
(a)は原画像、(b)は間引き画像、(c)は拡大後
の再生画像を示している。
上記したように、128×128画素の人物顔像に対し、RG
B計12bit(4bit×3)/pelが、本発明に基づく圧縮符号
化方式により、平均2.9(2.4+0.25×2)bit/pelに圧
縮することができる。また、再生画像の画質について
は、輝度信号Yへのノイズが小さく、実用上十分な画質
を得ることができる。
〔効 果〕
以上説明した本発明によれば、送信側でRGB信号で取
り込まれたカラー画像信号をYIQ信号に変換し、このY,
I,Q信号それぞれに対して画像圧縮を行なって送信し、
受信側では上記YIQ信号を再生した後RGB信号に変換して
画像表示する構成としたので、低ビットレートでのカラ
ー静止画像通信が行なえるとともに、比較的短時間での
伝送が可能となる。
【図面の簡単な説明】
第1図は本発明が適用されるテレビ電話機のブロック構
成図、 第2図は本発明による画像圧縮再生部の構成ならびに動
作を説明するためのブロック構成図、 第3図は本発明による画像圧縮再生部のうちの色信号に
対する処理部分(拡張適応デルタ変調)の詳細ブロック
構成図、 第4図は本発明による画像圧縮再生処理のうち色信号に
対する符号化・復号化結果の例を示す図、 第5図は本発明によるI,Q信号に対する画素の間引きな
らびに拡大の様子を説明するための図である。 23……DPCM部、24……I,Q間引き部、25,25A……拡張適
応デルタ変調部、26……DPCM復号化部、27,27A……拡張
適応デルタ変調復号化部、28……I,Q拡大部。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) H04N 11/04 H04N 7/24 - 7/68 H04N 1/41 - 1/419 H03M 3/02 H03M 7/32 - 7/34

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】カラー画像信号を輝度信号と色差信号に変
    換する画像信号変換手段と、 変換された前記輝度信号に対して差分符号化を行う差分
    符号変調手段と、 変換された前記色差信号に対して、適応デルタ変調にお
    ける出力信号の符号が前回出力された符号と反転した場
    合は入力信号と比較する比較値への加算を0にする拡張
    適応デルタ変調手段と、 を備えたことを特徴とするカラー画像の圧縮符号化装
    置。
  2. 【請求項2】前記比較値を過去に連続した符号数に対応
    して重み付けされているものであることを特徴とする請
    求項1記載のカラー画像の圧縮符号化装置。
  3. 【請求項3】前記拡張適応デルタ変調手段に入力される
    前記色差信号が間引かれた色差信号であることを特徴と
    する請求項1または2記載のカラー画像の圧縮符号化装
    置。
JP12209788A 1987-05-29 1988-05-20 カラー画像の圧縮符号化装置 Expired - Fee Related JP2849385B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12209788A JP2849385B2 (ja) 1987-05-29 1988-05-20 カラー画像の圧縮符号化装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP13136087 1987-05-29
JP62-131360 1987-05-29
JP12209788A JP2849385B2 (ja) 1987-05-29 1988-05-20 カラー画像の圧縮符号化装置

Publications (2)

Publication Number Publication Date
JPS6453680A JPS6453680A (en) 1989-03-01
JP2849385B2 true JP2849385B2 (ja) 1999-01-20

Family

ID=26459301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12209788A Expired - Fee Related JP2849385B2 (ja) 1987-05-29 1988-05-20 カラー画像の圧縮符号化装置

Country Status (1)

Country Link
JP (1) JP2849385B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2552538B2 (ja) * 1988-04-12 1996-11-13 三洋電機株式会社 カラー画像伝送方法
JP2001209789A (ja) 1999-11-16 2001-08-03 Mitsubishi Electric Corp グラフィックアクセラレータおよび描画方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6264168A (ja) * 1985-09-13 1987-03-23 Matsushita Electric Ind Co Ltd カラ−画像符号化装置

Also Published As

Publication number Publication date
JPS6453680A (en) 1989-03-01

Similar Documents

Publication Publication Date Title
US4953196A (en) Image transmission system
JPH06189281A (ja) 適応的フレーム/フィールドフォーマット圧縮を用いた映像信号符号化装置
US5684544A (en) Apparatus and method for upsampling chroma pixels
JPH1074364A (ja) ビデオデータの処理方法および装置
JPH06125533A (ja) エラー訂正コード付加装置及びエラー訂正装置
WO1991010328A1 (en) Video telephone systems
JP2849385B2 (ja) カラー画像の圧縮符号化装置
US7450769B2 (en) Image processing method for facilitating data transmission
JPS58215869A (ja) グレ−スケ−ル映像デ−タを縮少する方法
JPH11234639A (ja) テレビ電話装置
JPH08298554A (ja) 画像通信装置及び方法
US5854892A (en) Video conferencing decoder engine with direct signaling to encoder engine for relaying of decoded data
JP3072901B2 (ja) 静止画伝送機
JP2511037B2 (ja) 画像圧縮伝送方式
JPH07222048A (ja) 撮像装置
JP3197894B2 (ja) 画像伝送装置
JP2698641B2 (ja) カラー画像データ符号化方法及び複号方法
JP3038684B2 (ja) 画像伝送方法
JP2925043B2 (ja) データ伸長装置
JPS5840989A (ja) 画像情報の符号化処理方法および伝送制御方法
JPH0220197B2 (ja)
JP2653108B2 (ja) 伝送装置
JP3101159B2 (ja) 画像伝送装置
JP3004335B2 (ja) ノイズ低減装置
JP2586299B2 (ja) テレビジョン電話装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees