JP3809306B2 - Encoder - Google Patents
Encoder Download PDFInfo
- Publication number
- JP3809306B2 JP3809306B2 JP21929499A JP21929499A JP3809306B2 JP 3809306 B2 JP3809306 B2 JP 3809306B2 JP 21929499 A JP21929499 A JP 21929499A JP 21929499 A JP21929499 A JP 21929499A JP 3809306 B2 JP3809306 B2 JP 3809306B2
- Authority
- JP
- Japan
- Prior art keywords
- low
- encoding
- frequency component
- component data
- pass filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、映像信号等の画像データの高能率符号化/復号化のための符号化装置及び符号化方法、復号化装置及び復号化方法、及び、画像データ伝送システムに関する。
【0002】
【従来の技術】
近年、デジタル信号処理技術の進歩により、動画像や静止画像、音声等、大量のデジタル情報を高能率符号化し、小型磁気媒体への記録や通信媒体への伝送を行なうことが可能となっている。こうした技術を応用し、動画と静止画、さらには解像度の異なる複数の映像を混在して扱えるマルチメディア機器の検討が行われている。
【0003】
図8は、低解像度映像と高解像度映像とをそれぞれ符号化可能な従来の高能率符号化装置の構成例である。
【0004】
係る高能率符号化装置は、映像信号入力端子801と、切替手段802と、低解像度映像符号化手段803と、低解像度映像符号出力端子804と、低域通過型フィルタ805と、ダウンサンプラ806と、高域通過型フィルタ807と、ダウンサンプラ808と、高域符号化手段809と、高域符号出力端子810と、を備える。
【0005】
映像信号入力端子801には、低解像度映像信号、或いは、水平垂直とも2倍の解像度を持つ高解像度映像信号のいずれか一方が入力され、切替手段802、低域通過型フィルタ803及び高域通過型フィルタ807に供給される。
【0006】
入力される映像信号が、高解像度映像信号の場合は、低域通過型フィルタ805および高域通過型フィルタ807によって低域信号と高域信号に分割されて、それぞれダウンサンプラ806、808に供給される。
【0007】
図10は、低域通過型フィルタ805および高域通過型フィルタ807による周波数分割の例である。低域通過型フィルタ805は、図10における二次元周波数領域LL、すなわち、水平垂直とも高解像度映像信号の半分の低帯域のみを通過させる。一方の前記高域通過型フィルタ807は、図10におけるLH,HL,HH領域のみを通過させる。
【0008】
ダウンサンプラ806は、低域通過型フィルタ805から供給される低域信号を、水平垂直とも半分に間引き、低解像度映像と同一画素数の映像信号に変換し、切替手段802に供給する。
【0009】
切替手段802は映像信号入力端子801より直接供給される映像信号と、ダウンサンプラ806から供給される映像信号とのいずれか一方を選択し、これを低解像度映像符号化手段804に供給する。
【0010】
映像信号入力端子801への入力信号が高解像度映像信号である場合には、ダウンサンプラ806より供給される映像信号が選択され、入力信号が低解像度映像信号である場合には、映像信号入力端子801より直接供給される映像信号が選択される。
【0011】
低解像度映像符号化手段803は、切替手段803より供給される信号を、ブロック化、直交変換、量子化、エントロピー符号化の各処理により低解像度映像符号に変換し、これを低解像度映像符号出力端子804に出力する。
【0012】
ダウンサンプラ808は、高域通過型フィルタ807から供給される高域信号を水平垂直に間引き、高域符号化手段809に供給する。高域符号化手段809は、供給される信号を量子化エントロピー符号化の各処理により高域符号へと変換し、これを高域符号出力端子810に出力する。
【0013】
次に、図9に従って、従来の復号化装置の構成例について説明する。
【0014】
係る復号化装置は、低解像度映像符号入力端子901と、低解像度映像復号化手段902と、切替手段903と、映像信号出力端子904と、高域符号入力端子905と、高域復号化手段906と、アップサンプラ907と、低域通過型フィルタ908と、アップサンプラ909と、高域通過型フィルタ910と、加算手段911と、を備える。
【0015】
低解像度映像符号入力端子901に供給される映像符号は、低解像度映像復号化手段902に供給される。この映像符号は、符号化の際に、高解像度映像信号から得たものである場合は、図10における周波数帯域LLに相当する。
【0016】
低解像度映像復号化手段902は、供給される映像符号にエントロピー復号化、逆量子化、逆直交変換、ラスター化を施すことで映像信号へ復号し、復号した映像信号を切替手段903およびアップサンプラ907に供給する。
【0017】
一方、高域符号入力端子905に供給される高域符号は、高域復号化手段906に供給される。該高域符号は、高解像度映像信号の符号化の際の、図10における周波数帯域LH,HL,HHを符号化した符号である。
【0018】
高域復号化手段906は、該高域符号をエントロピー復号化及び逆量子化し、アップサンプラ909に供給する。
【0019】
アップサンプラ907、909は供給される信号列に対して水平・垂直に0を挿入し、これをそれぞれ、低域通過型フィルタ908、高域通過型フィルタ910に供給する。
【0020】
低域通過型フィルタ908は、アップサンプラ907から供給される信号列における、図10に示した帯域LLに属する信号のみを通過させ、加算手段911へ供給する。
【0021】
一方、高域通過型フィルタ910は、アップサンプラ909から供給される信号列における、図10に示した帯域LH、HL又はHHに属する信号のみを通過させ、加算手段911へ供給する。
【0022】
加算手段911は、低域通過型フィルタ908からの信号(帯域LL)と、高域通過型フィルタ910からの信号(帯域LH,HL,HH)とを加算し、高解像度映像の全帯域を再構成して、切替手段903に供給する。
【0023】
切替手段903は、復号化装置に供給される符号が、低解像度映像に関する符号である場合には、低解像度映像復号化手段902から供給される信号を選択し、供給される符号が高解像度映像に関する符号である場合には、加算手段911から供給される信号を選択して、映像信号出力端子904に出力する。
【0024】
このように、従来の符号化装置及び復号化装置では、高解像度映像の低域部分の符号化/復号化に旧来の低解像度映像と同様の低解像度映像符号化/低解像度映像復号化手段を用いることで、旧来の低解像度映像のみを扱う装置との間に互換性を実現している。すなわち、低解像度映像符号のみを旧来の復号化装置に供給すれば、高解像度映像の低域部分を再生することが可能である。
【0025】
【発明が解決しようとする課題】
しかし、従来の装置では、旧来の低解像度映像のみを扱う装置との間に、互換性を実現する反面、高解像度映像の符号化および復号化としての品質に着目すると、低解像度映像符号化手段/低解像度復号化手段における劣化が高解像度映像全体としての符号化および復号化に多大な影響を与え、十分な品質を実現できないという問題がある。
【0026】
従って、本発明の目的は、高品質な画質を維持しつつ、低解像度映像にのみ対応した装置との互換性を損なわずに、低解像度映像及び高解像度映像をそれぞれ符号化又は復号化し得る符号化装置及び符号化方法、復号化装置及び復号化方法、及び、画像データ伝送システムを提供することにある。
【0027】
【課題を解決するための手段】
本発明によれば、低解像度の画像データ又は高解像度の画像データが入力される入力手段と、前記高解像度の画像データを低周波成分データと第1の高周波成分データとに分割する分割手段と、前記低解像度の画像データ又は前記低周波成分データを符号化する第1の符号化手段と、前記第1の高周波成分データを符号化する第2の符号化手段と、高域通過型フィルタを用いて前記低周波成分データをフィルタリングし、ダウンサンプリングすることにより前記低周波成分データにおける高周波成分データである第2の高周波成分データを抽出する抽出手段と、所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段に入力する付加手段と、を備え、前記第1の符号化手段は、データを複数のブロックに分割するブロック化部を備え、当該ブロック単位で符号化処理を実行するように構成され、前記付加手段は、当該ブロック単位で、当該ブロック毎の前記所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段へ入力するように構成され、前記所定の条件は、前記第1の符号化手段における量子化パラメータに関する条件とすることを特徴とする符号化装置が提供される。
【0028】
また、本発明によれば、低解像度の画像データ又は高解像度の画像データが入力される入力手段と、前記高解像度の画像データを低周波成分データと第1の高周波成分データとに分割する分割手段と、前記低解像度の画像データ又は前記低周波成分データを符号化する第1の符号化手段と、前記第1の高周波成分データを符号化する第2の符号化手段と、高域通過型フィルタを用いて前記低周波成分データをフィルタリングし、ダウンサンプリングすることにより前記低周波成分データにおける高周波成分データである第2の高周波成分データを抽出する抽出手段と、所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段に入力する付加手段と、を備え、前記所定の条件は、画像のアクティビティ情報に関する条件とすることを特徴とする符号化装置が提供される。
【0029】
また、本発明によれば、低解像度の画像データ又は高解像度の画像データが入力される入力手段と、前記高解像度の画像データを低周波成分データと第1の高周波成分データとに分割する分割手段と、前記低解像度の画像データ又は前記低周波成分データを符号化する第1の符号化手段と、前記第1の高周波成分データを符号化する第2の符号化手段と、高域通過型フィルタを用いて前記低周波成分データをフィルタリングし、ダウンサンプリングすることにより前記低周波成分データにおける高周波成分データである第2の高周波成分データを抽出する抽出手段と、所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段に入力する付加手段と、を備え、前記第1の符号化手段は、データを複数のブロックに分割するブロック化部を備え、当該ブロック単位で符号化処理を実行するように構成され、前記付加手段は、当該ブロック単位で、当該ブロック毎の前記所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段へ入力するように構成され、前記所定の条件は、前記ブロック毎の符号量に関する条件とすることを特徴とする符号化装置が提供される。
【0065】
【発明の実態の形態】
以下、本発明の好適な実施の形態について、図面を参照して説明する。
【0066】
図1は、本発明の一実施形態に係る高能率符号化装置のブロック図である。
【0067】
図1において、高能率符号化装置は、映像信号入力端子101と、切替手段102と、前記第1の符号化手段としての低解像度映像符号化手段103と、低解像度映像符号の出力端子104と、前記分割手段としての低域通過型フィルタ105及びダウンサンプラ106若しくは高域通過型フィルタ111及びダウンサンプラ112と、抽出手段107と、前記付加手段としての抑制手段108と、前記第2の符号化手段としての高域符号化手段109と、高域符号の出力端子110と、を備える。
【0068】
次に、係る構成を備える高能率符号化装置の作用について説明する。
【0069】
まず、映像入力端子101に低解像度映像が入力された場合について説明する。映像入力端子101に供給された低解像度映像信号は、切替手段102を経由し、低解像度映像符号化手段103に供給される。
【0070】
低解像度映像符号化手段103は、図2に示すように、ブロック化部201と、直交変換部202と、量子化部203と、エントロピー符号化部204と、からなり、低解像度映像信号を所定の領域毎にブロック化し、各ブロック単位で直交変換を施し、その変換係数を量子化して符号化する。低解像度映像符号化手段103は、その符号を出力端子104に出力する。
【0071】
ここで、量子化部203は、直交変換部202からブロック単位で供給される直交変換係数を、量子化パラメータに応じた除数で除算し、エントロピー符号化部204に供給が、除数は1以上の正整数であり、大きい値であるほど、符号化に伴う画質の劣化が生じやすく、除数として1が選択されたブロック領域は符号化に伴う画質の劣化が極めて小さいものとなる。
【0072】
次に、映像入力端子101に高解像度の映像が入力された場合について説明する。本実施形態では、該高解像度の映像は、水平垂直とも低解像度映像の2倍の画素数から成るものを想定している。すなわち、低解像度の映像が、n×m画素からなる場合、高解像度の映像は、N×M(N=2n、M=2m)である。
【0073】
映像入力端子101に供給された高解像度映像信号は、低域通過型フィルタ105および、高域通過型フィルタ111に供給される。
【0074】
高解像度映像信号は、低域通過型フィルタ105および高域通過型フィルタ111によって低域信号と高域信号に周波数分割されて、それぞれダウンサンプラ106又は112に供給される。
【0075】
図7(a)は、低域通過型フィルタ105および高域通過型フィルタ111による周波数分割の例である。低域通過型フィルタ105は、図7(a)における二次元周波数領域LL、すなわち、水平垂直とも高解像度映像信号の半分の低帯域のみを通過させる。
【0076】
一方,高域通過型フィルタ111は図7(a)におけるLH,HL,HH領城のみを通過させる。
【0077】
ダウンサンプラ112は、前記高域通過型フィルタ111から供給される信号列を各領域において水平垂直とも半分に間引き、高域符号化手段109に供給する。
【0078】
ダウンサンプラ106は、低域通過型フィルタ105から供給される低域信号を水平垂直とも半分に間引き、低解像度映像と同一画素数の低解像度映像に変換し、切替手段102および抽出手段107に供給する。
【0079】
切替手段102は、ダウンサンプラ106から供給される低域信号を選択して低解像度映像符号化手段103に供給する。低解像度映像符号化手段103は、供給された低域信号に対して、ブロック化、直交変換、量子化及びエントロピー符号化の各処理を施すことにより符号化して、その符号を出力端子104と抑制手段108とに供給する。
【0080】
抽出手段107は、ダウンサンプラ106から供給される低解像度映像信号から符号化の劣化を補強するための信号を抽出し、抑制手段108に供給する。ここで、抽出手段107の処理を図3を参照して具体的に説明する。抽出手段107は、低解像度映像の符号化において顕著に劣化する高域成分を補強のための信号として抽出するものである。
【0081】
図3において、抽出手段107は、高域通過型フィルタ301と、ダウンサンプラ302とを備える。高域通過型フィルタ301はダウンサンプラ106から供給される低域信号の高域成分を抽出し、ダウンサンプラ302に供給する。
【0082】
ここでの高域成分は、低域信号を4分割したうち、最低周波成分を除く成分であり、図7(b)に示すLLLH,LLHL,LLHH領域の成分である。
【0083】
ダウンサンプラ302は、供給される高域成分に係る信号列を各領域において水平垂直とも半分に間引き、抑制手段108に供給する。
【0084】
抑制手段108は、低解像度映像符号化手段103から供給される低域信号の符号に応じて、袖出手段107で抽出した高域信号を抑制し、高域符号化手段109に供給する。ここで、抑制手段108の処理を図4を参照して具体的に説明する。
【0085】
図4において、抑制手段108は、検出部401と、選択部402とを備える。検出手段401は、低解像度映像符号化手段103から供給される符号列に含まれる量子化パラメータを取出し、該パラメータに応じた制御信号を選択手段402に供給する。
【0086】
選択手段402は、該制御信号に従って、抽出手段107から供給される高域信号を、選択的に高域符号化手段109に供給する。本実施形態では、量子化パラメータが示す量子化の除数が所定値以下のブロック領域に対しては、画質の劣化が許容範囲であると考えられるため、高域符号化手段109への高域信号の供給を遮断する。
【0087】
一方、量子化の除数が所定値を越えるブロック領域においては、許容できない画質の劣化が生じると考えられるため、対応する領域の高域信号を補強信号として高域符号化手段109へ供給する。
【0088】
なお、抑制手段108は、量子化の除数に代えて、ブロック単位の符号情報量の大小で抑制の必要性を検出し、抑制すべき補強信号(高域信号)を無効値に置き換える処理でも同様な効果が得られる。また、画像のアクティビティ情報に基づき、抑制の必要性を検出することもできる。
【0089】
最後に、高域符号化手段109は、高域通過型フィルタ111から供給される高解像度映像の高域信号と、抑制手段108から供給される高解像度映像の低域信号のうちの高域信号と、をそれぞれ符号化して、高域符号を生成し高域符号出力端子110に出力する。
【0090】
出力端子104及び110から出力される符号は、それぞれ受信側で受け取られて復号されることとなる。
【0091】
次に、上述した高能率符号化装置に対応する高能率復号化装置について説明する。図5は、係る高能率復号化装置のブロック図である。
【0092】
図5において、高能率復号化装置は、低解像度映像符号の入力端子501と、低解像度映像復号化手段502と、切替手段503と、映像信号出力端子504と、高域符号の入力端子505と、高域復号化手段506と、補強手段507と、アップサンプラ508と、低域通過型フィルタ509と、加算手段510と、アップサンプラ511と、高域通過型フィルタ512とを備える。なお、入力端子501と入力端子505とは、それぞれ、上述した高能率符号化装置の出力端子104及び出力端子110に、適当な伝送路を介して接続することにより、符号の伝送をすることができる。また、切替手段503は、低解像度の映像に係る符号が入力された場合は、映像信号出力端子504と低解像度映像復号化手段502とを接続し、高解像度の映像に係る符号が入力された場合には、映像信号出力端子504と加算手段510とを接続する。
【0093】
係る構成からなる高能率復号装置の作用について、まず、上記高能率符号化装置によって符号化された低解像度映像の符号が供給される場合について説明する。
【0094】
低解像映像符号入力端子501に供給される低解像度映像符号は、低解像度映像復号化手段502に供給され、エントロピー復号化、逆量子化、逆直交変換、ラスター化が施される。復号化された映像信号は、切替手段503に供給され、映像信号出力端子504に出力される。
【0095】
次に、上記高能率符号化装置によって符号化された高解像度映像の符号が供給される場合について説明する。
【0096】
入力端子501に供給される映像符号は図7(a)における周波数帯域LLの信号に相当する。低解像度映像復号化手段502は、入力端子501から供給される映像符号にエントロピー復号化、逆量子化、逆直交変換、ラスター化を施すことで低解像度映像へ復号し、補強手段507に供給する。
【0097】
一方、入力端子505に供給される高域符号は、高域復号化手段506に供給される。該高域符号は高解像度映像を符号化した際の、図7(a)における周波数帯域LH,HL,HHおよび、同図(b)における周波数帯域LLLH,LLHL,LLHHの信号を符号化した符号である。
【0098】
高域復号化手段506は、該高域符号をエントロピー復号化、逆量子化し、前記周波数帯域LLLH,LLHL,LLHHに相当する信号列を補強手段507に、また、前記周波数帯域LH,HL,HHに相当する信号列をアップサンプラ511に供給する。
【0099】
補強手段507は、低解像度映像復号化手段502から供給される信号に含まれる劣化を前記高域復号化手段506から供給される信号によって補強し、アップサンプラ508へ供給する。図6は補強手段507のブロック図である。
【0100】
図6において、補強手段507は、低域通過型フィルタ601と、加算手段602と、切替手段603と、アップサンプラ604と、高域通過型フィルタ605と、検出手段606と、を備える。
【0101】
低域通過型フィルタ601は、供給される低解像度映像の低域信号、すなわち図7(b)における周波数帯域LLLLを抽出し、加算手段602に供給する。アップサンプラ604は供給される信号列に対して水平垂直に0を挿入し、高域通過型フィルタ605に供給する。
【0102】
高域通過型フィルタ605は供給される信号列における図7(b)帯域LLLH,LLHL,LLHH成分のみを通過させ、加算手段602に供給する。
【0103】
加算手段602は、供給された帯域LLLH,LLHL,LLHHの信号と、帯域LLLLの信号とを加算して、図7(a)帯域LLの信号を再構成し、切替手段603に供給する。
【0104】
検出手段606は、記低解像度映像符号入力端子501から供給される符号列に含まれる量子化パラメータを取出し、該パラメータに応じた制御信号を切替手段603に供給する。
【0105】
切替手段603は、該制御信号に従って、低解像度映像復号化手段502から直接供給される信号と加算手段602によって再構成された信号とのいずれか一方を選択し、アップサンプラ508に供給する。ここでは、上述した高能率符号化装置に対応して、前記量子化パラメータが示す量子化の除数が所定値以下のブロック領域においては、補強は不要であると判断し、低解像度映像復号化手段502から直接供給される信号を選択し出力する。また、該除数が所定値を越えるブロック領域においては、劣化を許容できないと判断し、加算手段602から供給される信号を選択し出力する。
【0106】
アップサンプラ508は、供給される信号列に対して水平垂直に0を挿入し、低域通過型フィルタ509に供給する。低域通過型フィルタ509は、アップサンプラ508から供給される信号列における、図7(a)帯域LLのみを通過させ、加算手段510へ供給する。
【0107】
一方、アップサンプラ511は、供給される信号列に対して水平垂直に0を挿入し、高域通過型フィルタ512に供給する。高域通過型フィルタ512は前記アップサンプラ511から供給される信号列における、図7(a)帯域LH,HL,HHのみを通過させ、加算手段510へ供給する。
【0108】
加算手段510は、供給される前記帯域LLと前記帯域LH,HL,HHを加算し、高解像度映像の全帯域を再構成し、切替手段503に供給する。切替手段503は、加算手段510から供給される信号を選択して、映像信号出力端子504にこれを出力する。
【0109】
以上述べた通り、本実施形態の高能率符号化装置及び高能率復号化装置では、高解像度映像信号の低周波成分の符号化及び復号化については、従来と同様の低解像度映像に対する符号化手段及び復号化手段を利用しているため、高解像度の映像に対応していない従来装置との高い互換性を維持することができる。
【0110】
その一方で、該低周波成分中の高周波成分(LLHH,LLHL、LLLHに相当する。)を別途抽出して、高解像度映像信号の高周波成分(HH,HL、LHに相当する。)と共に符号化し、また、これを復号化して前記低周波成分の劣化を補強することにより、高い映像品質を実現することができる。この場合、劣化の無い又は少ない領域に対しては、補強を行わないこともできるので、情報量を削減でき、符号化の効率を損ねない作用を持つ。
【0111】
なお、本実施形態では、符号化装置と復号化装置との間で、低周波成分の符号と高周波成分の符号とを分離して出入力しているが、これらの符号を多重化して出入力してもよい。すなわち、これらの符号を磁気記録テープの同一トラックに混在して記録したり、周波数多重して単一の搬送波で伝達する装置も本発明に含まれるものである。
【0112】
以上、本発明の好適な実施の形態について説明したが、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0113】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0114】
【発明の効果】
以上説明したように、本発明によれば、高品質な画質を維持しつつ、低解像度映像にのみ対応した装置との互換性を損なわずに、低解像度映像及び高解像度映像をそれぞれ符号化又は復号化することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る高能率符号化装置のブロック図である。
【図2】低解像度映像符号化手段103のブロック図である。
【図3】抽出手段107のブロック図である。
【図4】抑制手段108のブロック図である。
【図5】本発明の一実施形態に係る高能率復号化装置のブロック図である。
【図6】補強手段507のブロック図である。
【図7】(a)映像信号を高周波成分と低周波成分とに分割した態様を示す図である。
(b)低周波成分を更に分割した態様を示す図である。
【図8】従来の高能率符号化装置のブロック図である。
【図9】従来の高能率復号化装置のブロック図である
【図10】従来技術において、映像信号を高周波成分と低周波成分とに分割した態様を示す図である。
【符号の説明】
101 映像信号入力端子
102 切替手段
103 低解像度映像符号化手段
104 低解像度映像符号の出力端子
105 低域通過型フィルタ
106 ダウンサンプラ
107 抽出手段
108 抑制手段
109 高域符号化手段
110 高域符号の出力端子
111 高域通過型フィルタ
112 ダウンサンプラ
501 低解像度映像符号入力端子
502 低解像度映像復号化手段
503 切替手段
504 映像信号出力端子
505 高域符号入力端子
506 高域復号化手段
507 補強手段
508 アップサンプラ
509 低域通過型フィルタ
510 加算手段
511 アップサンプラ
512 高域通過型フィルタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an encoding device and an encoding method, a decoding device and a decoding method, and an image data transmission system for high-efficiency encoding / decoding of image data such as a video signal.
[0002]
[Prior art]
In recent years, with the advancement of digital signal processing technology, it has become possible to efficiently encode a large amount of digital information such as moving images, still images, and voices, and to record on a small magnetic medium or transmit to a communication medium. . By applying such technology, multimedia devices that can handle moving images, still images, and multiple videos with different resolutions are being studied.
[0003]
FIG. 8 is a configuration example of a conventional high-efficiency encoding apparatus that can encode a low-resolution video and a high-resolution video, respectively.
[0004]
Such a high-efficiency encoding apparatus includes a video
[0005]
The video
[0006]
If the input video signal is a high-resolution video signal, it is divided into a low-frequency signal and a high-frequency signal by a low-
[0007]
FIG. 10 shows an example of frequency division by the low-
[0008]
The
[0009]
The
[0010]
When the input signal to the video
[0011]
The low-resolution
[0012]
The
[0013]
Next, a configuration example of a conventional decoding device will be described with reference to FIG.
[0014]
Such a decoding apparatus includes a low-resolution video
[0015]
The video code supplied to the low resolution video
[0016]
The low-resolution
[0017]
On the other hand, the high frequency code supplied to the high frequency
[0018]
The high frequency decoding means 906 entropy decodes and dequantizes the high frequency code, and supplies it to the
[0019]
Up-
[0020]
The low-
[0021]
On the other hand, the high-
[0022]
The adding
[0023]
When the code supplied to the decoding device is a code related to a low-resolution video, the
[0024]
As described above, in the conventional encoding device and decoding device, the low-resolution video encoding / low-resolution video decoding means similar to the conventional low-resolution video is used for encoding / decoding the low-frequency portion of the high-resolution video. By using it, compatibility is realized with a conventional device that handles only low-resolution video. That is, if only the low-resolution video code is supplied to the conventional decoding device, the low-frequency portion of the high-resolution video can be reproduced.
[0025]
[Problems to be solved by the invention]
However, in the conventional apparatus, while realizing compatibility with the conventional apparatus that handles only the low-resolution video, attention is paid to the quality as the encoding and decoding of the high-resolution video. / Deterioration in the low resolution decoding means has a great influence on encoding and decoding of the entire high resolution video, and there is a problem that sufficient quality cannot be realized.
[0026]
Accordingly, an object of the present invention is to provide a code capable of encoding or decoding a low-resolution video and a high-resolution video, respectively, without losing compatibility with a device that supports only a low-resolution video while maintaining high quality image quality. An encoding apparatus and encoding method, a decoding apparatus and decoding method, and an image data transmission system are provided.
[0027]
[Means for Solving the Problems]
According to the present invention, input means for inputting low-resolution image data or high-resolution image data, and dividing means for dividing the high-resolution image data into low-frequency component data and first high-frequency component data A first encoding unit that encodes the low-resolution image data or the low-frequency component data, a second encoding unit that encodes the first high-frequency component data, and a high-pass filter. And extracting means for extracting second high-frequency component data, which is high-frequency component data in the low-frequency component data, by filtering and down-sampling the low-frequency component data, and when the predetermined condition is satisfied, the extraction Adding means for inputting the second high-frequency component data extracted by the means to the second encoding means, wherein the first encoding means includes data A block forming unit for dividing the block into a plurality of blocks is configured to perform the encoding process in units of the blocks, and the adding unit is configured to satisfy the predetermined condition for each of the blocks in units of the blocks, The second high-frequency component data extracted by the extraction unit is configured to be input to the second encoding unit, and the predetermined condition is a condition related to a quantization parameter in the first encoding unit; An encoding device is provided.
[0028]
According to the present invention, the input means for inputting low resolution image data or high resolution image data, and the division for dividing the high resolution image data into low frequency component data and first high frequency component data. Means, a first encoding means for encoding the low-resolution image data or the low-frequency component data, a second encoding means for encoding the first high-frequency component data, and a high-pass type Filtering the low-frequency component data using a filter and extracting the second high-frequency component data, which is high-frequency component data in the low-frequency component data by down-sampling, when a predetermined condition is satisfied, Adding means for inputting the second high-frequency component data extracted by the extraction means to the second encoding means, and the predetermined condition is an image Encoding apparatus is provided which is characterized in that the condition related Activity information.
[0029]
According to the present invention, the input means for inputting low resolution image data or high resolution image data, and the division for dividing the high resolution image data into low frequency component data and first high frequency component data. Means, a first encoding means for encoding the low-resolution image data or the low-frequency component data, a second encoding means for encoding the first high-frequency component data, and a high-pass type Filtering the low-frequency component data using a filter and extracting the second high-frequency component data, which is high-frequency component data in the low-frequency component data by down-sampling, when a predetermined condition is satisfied, Adding means for inputting the second high-frequency component data extracted by the extraction means to the second encoding means, and the first encoding means comprises: A block forming unit that divides the data into a plurality of blocks, and is configured to execute the encoding process in units of the blocks, and the adding unit satisfies the predetermined condition for each of the blocks in units of the blocks In this case, the second high-frequency component data extracted by the extraction unit is configured to be input to the second encoding unit, and the predetermined condition is a condition relating to a code amount for each block. Is provided.
[0065]
[Form of the present invention]
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings.
[0066]
FIG. 1 is a block diagram of a high-efficiency encoding apparatus according to an embodiment of the present invention.
[0067]
In FIG. 1, a high-efficiency encoding apparatus includes a video
[0068]
Next, the operation of the high-efficiency encoding device having such a configuration will be described.
[0069]
First, a case where a low-resolution video is input to the
[0070]
As shown in FIG. 2, the low-resolution
[0071]
Here, the
[0072]
Next, a case where a high-resolution video is input to the
[0073]
The high-resolution video signal supplied to the
[0074]
The high-resolution video signal is frequency-divided into a low-frequency signal and a high-frequency signal by the low-
[0075]
FIG. 7A shows an example of frequency division by the low-
[0076]
On the other hand, the high-
[0077]
The
[0078]
The down
[0079]
The
[0080]
The
[0081]
In FIG. 3, the
[0082]
The high-frequency component here is a component excluding the lowest frequency component among the low-frequency signals divided into four, and is a component in the LLLH, LLHL, and LLHH regions shown in FIG.
[0083]
The down
[0084]
The
[0085]
In FIG. 4, the
[0086]
The
[0087]
On the other hand, in a block region where the divisor of quantization exceeds a predetermined value, it is considered that unacceptable image quality degradation occurs, so the high frequency signal in the corresponding region is supplied as a reinforcement signal to the high frequency encoding means 109.
[0088]
Note that the suppression means 108 detects the necessity of suppression based on the amount of code information in units of blocks instead of the divisor of quantization, and the same applies to the process of replacing the reinforcement signal (high frequency signal) to be suppressed with an invalid value. Effects can be obtained. Further, it is possible to detect the necessity of suppression based on the activity information of the image.
[0089]
Finally, the high-frequency encoding means 109 is a high-frequency signal among the high-frequency video high-frequency signal supplied from the high-
[0090]
The codes output from the
[0091]
Next, a high efficiency decoding apparatus corresponding to the above-described high efficiency encoding apparatus will be described. FIG. 5 is a block diagram of such a high-efficiency decoding device.
[0092]
5, the high-efficiency decoding apparatus includes a low-resolution video
[0093]
Regarding the operation of the high-efficiency decoding device having such a configuration, first, a case where a low-resolution video code encoded by the high-efficiency encoding device is supplied will be described.
[0094]
The low resolution video code supplied to the low resolution video
[0095]
Next, a case where a high-resolution video code encoded by the high-efficiency encoding device is supplied will be described.
[0096]
The video code supplied to the
[0097]
On the other hand, the high frequency code supplied to the
[0098]
The high-
[0099]
The reinforcing
[0100]
In FIG. 6, the reinforcing means 507 includes a low-
[0101]
The low-
[0102]
The high-
[0103]
The adding
[0104]
The detecting
[0105]
The
[0106]
The up-
[0107]
On the other hand, the up-
[0108]
The adding
[0109]
As described above, in the high-efficiency encoding device and the high-efficiency decoding device of this embodiment, the encoding means for the low-resolution video as in the past is used for encoding and decoding the low-frequency component of the high-resolution video signal. In addition, since the decoding means is used, high compatibility with a conventional apparatus that does not support high-resolution video can be maintained.
[0110]
On the other hand, high-frequency components (corresponding to LLHH, LLHL, and LLLH) in the low-frequency components are separately extracted and encoded together with high-frequency components (corresponding to HH, HL, and LH) of the high-resolution video signal. Also, by decoding this to reinforce the deterioration of the low frequency component, high video quality can be realized. In this case, since it is possible not to reinforce a region where there is little or no deterioration, the amount of information can be reduced and the coding efficiency is not impaired.
[0111]
In this embodiment, the low frequency component code and the high frequency component code are separated and input / output between the encoding device and the decoding device, but these codes are multiplexed and output / input. May be. That is, an apparatus for recording these codes mixedly on the same track of the magnetic recording tape or transmitting the codes by frequency multiplexing and using a single carrier wave is also included in the present invention.
[0112]
Although the preferred embodiments of the present invention have been described above, the object of the present invention is to store a storage medium (or recording medium) that records software program codes for realizing the functions of the above-described embodiments in a system or apparatus. Needless to say, this can also be achieved by supplying and executing the program code stored in the storage medium by the computer (or CPU or MPU) of the system or apparatus. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0113]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0114]
【The invention's effect】
As described above, according to the present invention, a low-resolution video and a high-resolution video are respectively encoded or encoded without maintaining compatibility with a device that supports only a low-resolution video while maintaining high quality image quality. Can be decrypted.
[Brief description of the drawings]
FIG. 1 is a block diagram of a high-efficiency encoding apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram of low-resolution video encoding means 103. FIG.
FIG. 3 is a block diagram of extraction means 107. FIG.
4 is a block diagram of suppression means 108. FIG.
FIG. 5 is a block diagram of a high efficiency decoding device according to an embodiment of the present invention.
6 is a block diagram of reinforcing
FIG. 7A is a diagram showing a mode in which a video signal is divided into a high frequency component and a low frequency component.
(B) It is a figure which shows the aspect which further divided | segmented the low frequency component.
FIG. 8 is a block diagram of a conventional high-efficiency encoding device.
FIG. 9 is a block diagram of a conventional high efficiency decoding device.
FIG. 10 is a diagram illustrating a mode in which a video signal is divided into a high frequency component and a low frequency component in the prior art.
[Explanation of symbols]
101 Video signal input terminal
102 Switching means
103 Low resolution video encoding means
104 Low resolution video code output terminal
105 Low-pass filter
106 Downsampler
107 Extraction means
108 Suppression means
109 High frequency encoding means
110 High-frequency code output terminal
111 High-pass filter
112 Downsampler
501 Low resolution video code input terminal
502 Low-resolution video decoding means
503 switching means
504 Video signal output terminal
505 High frequency code input terminal
506 High frequency decoding means
507 Reinforcing means
508 Upsampler
509 Low-pass filter
510 addition means
511 Upsampler
512 high-pass filter
Claims (9)
前記高解像度の画像データを低周波成分データと第1の高周波成分データとに分割する分割手段と、
前記低解像度の画像データ又は前記低周波成分データを符号化する第1の符号化手段と、
前記第1の高周波成分データを符号化する第2の符号化手段と、
高域通過型フィルタを用いて前記低周波成分データをフィルタリングし、ダウンサンプリングすることにより前記低周波成分データにおける高周波成分データである第2の高周波成分データを抽出する抽出手段と、
所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段に入力する付加手段と、
を備え、
前記第1の符号化手段は、データを複数のブロックに分割するブロック化部を備え、当該ブロック単位で符号化処理を実行するように構成され、
前記付加手段は、当該ブロック単位で、当該ブロック毎の前記所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段へ入力するように構成され、
前記所定の条件は、前記第1の符号化手段における量子化パラメータに関する条件とする
ことを特徴とする符号化装置。Input means for inputting low resolution image data or high resolution image data;
Dividing means for dividing the high-resolution image data into low-frequency component data and first high-frequency component data;
First encoding means for encoding the low-resolution image data or the low-frequency component data;
Second encoding means for encoding the first high-frequency component data;
An extraction means for filtering the low-frequency component data using a high-pass filter and extracting second high-frequency component data that is high-frequency component data in the low-frequency component data by down-sampling ;
When a predetermined condition is satisfied, and adding means for inputting the second high-frequency component data extracted by said extracting means into said second encoding means,
With
The first encoding means includes a blocking unit that divides data into a plurality of blocks, and is configured to execute an encoding process in units of the blocks.
The adding unit inputs the second high frequency component data extracted by the extracting unit to the second encoding unit when the predetermined condition for each block is satisfied in units of the block. Configured,
The encoding apparatus according to claim 1, wherein the predetermined condition is a condition relating to a quantization parameter in the first encoding means .
前記高解像度の画像データを低周波成分データと第1の高周波成分データとに分割する分割手段と、
前記低解像度の画像データ又は前記低周波成分データを符号化する第1の符号化手段と、
前記第1の高周波成分データを符号化する第2の符号化手段と、
高域通過型フィルタを用いて前記低周波成分データをフィルタリングし、ダウンサンプリングすることにより前記低周波成分データにおける高周波成分データである第2の高周波成分データを抽出する抽出手段と、
所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段に入力する付加手段と、
を備え、
前記所定の条件は、画像のアクティビティ情報に関する条件とすることを特徴とする符号化装置。 Input means for inputting low resolution image data or high resolution image data;
Dividing means for dividing the high-resolution image data into low-frequency component data and first high-frequency component data;
First encoding means for encoding the low-resolution image data or the low-frequency component data;
Second encoding means for encoding the first high-frequency component data;
An extraction means for filtering the low-frequency component data using a high-pass filter and extracting second high-frequency component data that is high-frequency component data in the low-frequency component data by down-sampling;
An adding means for inputting the second high frequency component data extracted by the extracting means to the second encoding means when a predetermined condition is satisfied;
With
The encoding apparatus according to claim 1, wherein the predetermined condition is a condition related to activity information of an image.
前記高解像度の画像データを低周波成分データと第1の高周波成分データとに分割する分割手段と、
前記低解像度の画像データ又は前記低周波成分データを符号化する第1の符号化手段と、
前記第1の高周波成分データを符号化する第2の符号化手段と、
高域通過型フィルタを用いて前記低周波成分データをフィルタリングし、ダウンサンプリングすることにより前記低周波成分データにおける高周波成分データである第2の高周波成分データを抽出する抽出手段と、
所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段に入力する付加手段と、
を備え、
前記第1の符号化手段は、データを複数のブロックに分割するブロック化部を備え、当該ブロック単位で符号化処理を実行するように構成され、
前記付加手段は、当該ブロック単位で、当該ブロック毎の前記所定の条件を満たす場合に、前記抽出手段により抽出された前記第2の高周波成分データを前記第2の符号化手段へ入力するように構成され、
前記所定の条件は、前記ブロック毎の符号量に関する条件とすることを特徴とする符号化装置。 Input means for inputting low resolution image data or high resolution image data;
Dividing means for dividing the high-resolution image data into low-frequency component data and first high-frequency component data;
First encoding means for encoding the low-resolution image data or the low-frequency component data;
Second encoding means for encoding the first high-frequency component data;
An extraction means for filtering the low-frequency component data using a high-pass filter and extracting second high-frequency component data that is high-frequency component data in the low-frequency component data by down-sampling;
An adding means for inputting the second high frequency component data extracted by the extracting means to the second encoding means when a predetermined condition is satisfied;
With
The first encoding means includes a blocking unit that divides data into a plurality of blocks, and is configured to execute an encoding process in units of the blocks.
The adding unit inputs the second high frequency component data extracted by the extracting unit to the second encoding unit when the predetermined condition for each block is satisfied in units of the block. Configured,
The encoding apparatus according to claim 1, wherein the predetermined condition is a condition relating to a code amount for each block.
二次元の低域通過型フィルタ及び二次元のダウンサンプラと、
二次元の高域通過型フィルタ及び二次元のダウンサンプラと、
を備えたことを特徴とする請求項1乃至7のいずれか1項に記載の符号化装置。The dividing means is
A two-dimensional low-pass filter and a two-dimensional downsampler;
A two-dimensional high-pass filter and a two-dimensional downsampler;
Encoding apparatus according to any one of claims 1 to 7, further comprising a.
水平方向の一次元低域通過型フィルタ、水平方向の一次元ダウンサンプラ、垂直方向の一次元低域通過型フィルタ、及び、垂直方向の一次元ダウンサンプラと、
水平方向の一次元高域通過型フィルタ、水平方向の一次元ダウンサンプラ、垂直方向の一次元高域通過型フィルタ、及び、垂直方向の一次元ダウンサンプラと、
を備えたことを特徴とする請求項1乃至8のいずれか1項に記載の符号化装置。The dividing means is
A horizontal one-dimensional low-pass filter, a horizontal one-dimensional downsampler, a vertical one-dimensional low-pass filter, and a vertical one-dimensional downsampler;
A horizontal one-dimensional high-pass filter, a horizontal one-dimensional downsampler, a vertical one-dimensional high-pass filter, and a vertical one-dimensional downsampler;
The encoding apparatus according to any one of claims 1 to 8 , further comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21929499A JP3809306B2 (en) | 1999-08-02 | 1999-08-02 | Encoder |
US09/384,972 US6587505B1 (en) | 1998-08-31 | 1999-08-03 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21929499A JP3809306B2 (en) | 1999-08-02 | 1999-08-02 | Encoder |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001045480A JP2001045480A (en) | 2001-02-16 |
JP3809306B2 true JP3809306B2 (en) | 2006-08-16 |
Family
ID=16733254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21929499A Expired - Fee Related JP3809306B2 (en) | 1998-08-31 | 1999-08-02 | Encoder |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3809306B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102184884B1 (en) * | 2014-06-26 | 2020-12-01 | 엘지디스플레이 주식회사 | Data processing apparatus for organic light emitting diode display |
-
1999
- 1999-08-02 JP JP21929499A patent/JP3809306B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001045480A (en) | 2001-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6560369B1 (en) | Conversion of wavelet coded formats depending on input and output buffer capacities | |
Taubman et al. | JPEG2000: Standard for interactive imaging | |
US7016545B1 (en) | Reversible embedded wavelet system implementation | |
JP3213582B2 (en) | Image encoding device and image decoding device | |
US7409099B1 (en) | Method of improved image/video compression via data re-ordering | |
US7302105B2 (en) | Moving image coding apparatus, moving image decoding apparatus, and methods therefor | |
US6563946B2 (en) | Image processing apparatus and method | |
US6587505B1 (en) | Image processing apparatus and method | |
JP2000341689A (en) | Wavelet inverse converting device and its method and wavelet decoding device and its method | |
JP3613983B2 (en) | Image generating apparatus and method, and electronic still camera | |
JP3880088B2 (en) | Encoding device and decoding device | |
US8989278B2 (en) | Method and device for coding a multi dimensional digital signal comprising original samples to form coded stream | |
JP3809306B2 (en) | Encoder | |
JP3809303B2 (en) | Image processing apparatus and method | |
JP2000125293A (en) | Wavelet decoder and its method | |
JP6460691B2 (en) | Video compression apparatus, video compression method, and video compression program | |
CN113329228B (en) | Video encoding method, decoding method, device, electronic equipment and storage medium | |
JP2004147095A (en) | Method of decoding | |
JP2003244443A (en) | Image encoder and image decoder | |
JPH09182074A (en) | Image signal encoding method and device therefor and image signal decoding method and device therefor | |
JPH0638192A (en) | Picture coder and picture decoder | |
JP4174254B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, and methods thereof | |
JP2006042371A (en) | Image recording and reproducing apparatus and image reproducing apparatus | |
JP2891251B2 (en) | Image encoding device and image decoding device | |
JP3869303B2 (en) | Image decoding method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20060210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060522 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140526 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |