JP2829246B2 - 画像伸張装置 - Google Patents

画像伸張装置

Info

Publication number
JP2829246B2
JP2829246B2 JP23309494A JP23309494A JP2829246B2 JP 2829246 B2 JP2829246 B2 JP 2829246B2 JP 23309494 A JP23309494 A JP 23309494A JP 23309494 A JP23309494 A JP 23309494A JP 2829246 B2 JP2829246 B2 JP 2829246B2
Authority
JP
Japan
Prior art keywords
data
output
signal
decoder
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23309494A
Other languages
English (en)
Other versions
JPH0898176A (ja
Inventor
幸弘 鵜飼
隆 土谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MEGA CHITSUPUSU KK
Original Assignee
MEGA CHITSUPUSU KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MEGA CHITSUPUSU KK filed Critical MEGA CHITSUPUSU KK
Priority to JP23309494A priority Critical patent/JP2829246B2/ja
Priority to US08/534,032 priority patent/US5710598A/en
Publication of JPH0898176A publication Critical patent/JPH0898176A/ja
Application granted granted Critical
Publication of JP2829246B2 publication Critical patent/JP2829246B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/42Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
    • H03M7/425Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory for the decoding process only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、圧縮された映像信号の
データの伸張を行う画像伸張装置に関し、特に可変長符
号のデータの復号伸張を行う画像伸張装置に関する。
【0002】
【従来の技術】{従来のハフマンデコーダの例} 一般に、可変長符号は、符号化されたデータ長が可変長
であり、必ずデータをシーケンシャルにしか復号できな
い手法である。つまり、復号するのに並列処理が困難な
ため、可変長符号のデコーダは高速化の実現が大きな問
題となっている。可変長符号の手法で代表的なものとし
てハフマン符号が挙げられる。ハフマン符号はデータの
出現頻度に応じて可変長符号を割り当てるものである。
特に画像データに対して用いられる場合には、同じデー
タが連続する可能性が高いため、その連続長(ランレン
グス)を符号化対象として、複数のデータを一度に符号
化することが多い。
【0003】従来のランレングスを用いた高速化ハフマ
ンデコーダの構成例を図7に示す。図7中の1は可変長
データにおいて次に処理すべきデータを出力する入力デ
ータ制御ブロック、2はハフマン符号を復号するのに必
要なデータが書き込まれている復号データテーブル(ル
ックアップテーブル)、3は復号データテーブル2の内
容に基づいて復号データの量を算出し復号用のタイミン
グ信号を発生する復号データ量算出ブロック、4は同じ
データが連続する際の連続長(ランレングス)を検出す
るランレングスカウンタ、5および6は遅延回路(ディ
レイ)である。
【0004】ここで、復号データテーブル2は、ハフマ
ンデータのデコードを高速化するために、連想メモリを
用いた構成または通常のメモリー構成で次のようなデー
タ構成になっている。すなわち、可変長のデータに冗長
のデータを持たせ、夫々に対応するアドレスには同じデ
ータが書き込んである。例えば、最長8ビットのハフマ
ンコードであれば、2ビットのハフマンコードに対して
残りの6ビットの取り得るアドレス全てに同じ復号デー
タが書き込んである。
【0005】これらのテーブル構成により、一度のテー
ブルルックアップで復号を可能にしている。
【0006】{従来のADCTの例} 一般に、非可逆符号は、人間の感覚を利用して効率良く
データを量子化することで、高い圧縮率を得る圧縮手法
である。この圧縮方法で良く使われる手法に直交変換が
ある。直交変換は信号の電力が集中するように空間軸を
変換するものであるが、画像データに対しては、変換効
率およびハード量の面で、空間−周波数空間変換の1手
法である、2次元離散コサイン変換(以下2D−DC
T)が用いられることが多い。
【0007】2D−DCTを用いた画像の代表的な圧縮
方法としては適応型離散コサイン変換(ADCT)があ
る。これは、JPEGやMPEGと呼ばれる画像の圧縮
に関する世界標準に採用されている圧縮手法である。し
かしながら、本方式は圧縮率を上げて行くと、直交変換
特有のブロック状の歪み(以下、ブロック歪と称す)が
発生する。このブロック歪みは空や壁等の比較的ゆっく
りとした変化の画像部分に目立ちやすく、視覚的に大き
な画質劣化が感じられるものである。
【0008】図8に従来のブロック歪み対策を施したA
DCTの圧縮伸張フローを示す。図8中の11〜15は
符号化動作における装置を示すもので、11はラスタデ
ータを2D−DCTに入力するための8×8のブロック
データに変換するラスタ/ブロック変換装置、12は空
間−周波数空間変換を行なう2次元離散コサイン変換装
置(2D−DCT装置)、13はDCTの結果を低い周
波数から順番にジクザグ状にスキャンして1次元に並べ
直して出力するジグザグ変換装置、14はスカラー量子
化を行なう量子化装置、15はハフマン符号や算術符号
等のエントロピー符号化装置である。また、図8中の1
6〜21は上記符号化動作に係る各装置に対応して逆変
換を行なうもので、16はエントロピー復号化装置、1
7は逆量子化装置、18は1次元データをジグザグ状に
並べ直して2次元配列するジグザグ逆変換装置、19は
周波数空間−空間変換を行なう2次元離散逆コサイン変
換装置(2D−IDCT装置)、20は8×8のブロッ
クデータをラスタデータに変換するブロック/ラスタ変
換装置、21は復号画像のブロック歪みを軽減するため
に注入された画像ぼかし用の空間フィルタ装置である。
【0009】次に、従来の画像伸張装置の動作を説明す
る。符号化処理においては、まず、画像データはラスタ
/ブロック変換装置11によりラスタデータから8×8
のブロックデータに変換される。ブロックに変換された
データは2D−DCT装置12により、空間−周波数空
間に変換される。周波数空間に変換されたデータはジグ
ザグ変換装置13により低い周波数順に並べ替えられ出
力される。量子化装置14は人間の視覚特性を利用し、
低い周波数のデータは小さく量子化し、高い周波数のデ
ータ程大きく量子化する。この処理により画像品質の劣
化を抑えながらデータの電力集中を増すことができ、圧
縮率を上げることができる。エントロピー符号化装置1
5は、ハフマン符号等のエントロピー符号を用いてデー
タを圧縮する。
【0010】一方、復号化処理は、以上説明した逆の処
理をすることで実現されるが、ブロック歪みを軽減する
ために、ラスタに変換された復号データに対して空間フ
ィルタ装置21を通して出力する。
【0011】かかる従来の画像伸張装置において、ブロ
ック歪み対策の手法としては、図8中の2D−DCTお
よび2D−IDCTの処理において連続するブロックの
データを少しづつ重ね合わせて処理することにより、重
ね合わせ部分において空間フィルタ周波数の非連続性を
軽減する手法があった。
【0012】 {従来の圧縮伸張装置およびその周辺装置の例} 一般に、画像を生成するための映像信号は、垂直同期信
号(以下、VSYNCと称す)および水平同期信号(以
下、HSYNCと称す)の2種類の同期信号を基に構成
されており、通常、垂直方向および水平方向のいずれに
も無効データが存在する。例えば、NTSC信号には5
25本のライン数の内、有効なデータは約480本であ
る。また、水平方向は約80%が有効領域である。画像
信号を圧縮する場合、できるだけ処理するデータ量を少
なくして処理速度を上げるために、この有効データだけ
を対象に圧縮処理をすることが一般的である。従来の圧
縮伸張装置における構成例を図9(第1の従来例)に示
す。図9中の31はHSYNCおよびVSYNCを基に
フレームバッファに有効画像データを入出力するタイミ
ング信号を発生させるタイミング発生装置、32は有効
画像データを一時バッファリングする6メガビット程度
のフレームバッファ、33は画像データを圧縮伸張する
圧縮伸張装置、34は圧縮データを保存する圧縮データ
保存装置である。また、図9中の35,36a,36
b,36cは圧縮伸張装置33の内部を構成する要素で
あって、35はパイプライン処理の遅延装置(ディレ
イ)、36a,36b,36cは各パイプラインの信号
処理装置である。
【0013】次に処理手順を説明する。まず、圧縮モー
ド時では、本装置に入力されたデジタル映像信号は、タ
イミング発生装置31およびフレームバッファ32によ
り画像の有効部分のデータだけが取り込まれる。フレー
ムバッファ32に取り込まれたデータのうち有効部分の
データだけを圧縮伸張装置33により逐次圧縮する。圧
縮されたデータは圧縮データ保存装置34により蓄積さ
れる。一方、伸張モード時では、圧縮されたデータは装
置34から圧縮伸張装置33に逐次取り込まれ伸張され
る。伸張されたデータはフレームバッファ32に一時保
持され、HSYNC,VSYNCを基にタイミング発生
装置31で作られた有効データのタイミングに合わせて
出力される。
【0014】図10は別の方式による従来の圧縮伸張装
置の構成例(第2の従来例)を示す。図10中41,4
2は図9に示した圧縮伸張装置33および圧縮データ保
存装置34と夫々同様のものである。43はデータを一
時的にバッファするFIFOメモリ、44はFIFOメ
モリ43からのデータを入出力するタイミングをHSY
NCおよびVSYNCに対応して作成する入出力制御装
置である。45はFIFOメモリ43を制御するFIF
O制御装置である。
【0015】次に動作を説明する。圧縮時は入出力制御
装置44により発生したタイミング信号に基づき、FI
FOにデータを入力する。FIFO制御装置45はFI
FOメモリ43がFULLまたはNULLにならないよ
うに圧縮伸張装置41のクロックを止める等の制御を行
ないながらデータを圧縮する。伸張時は、まず、FIF
Oメモリ43がある程度一杯になるまでデータを復号
し、圧縮伸張装置41のクロックを止める等の処理によ
り、圧縮伸張装置41の処理を中断させる。入出力制御
装置44からの信号に基づき、FIFOメモリ43から
データを出力させるか、FIFOメモリ43のデータが
ある程度少なくなった時点で、また圧縮伸張装置41を
動作させる。以上のように伸張時もFIFOメモリ43
がFULL,NULLにならないようにFIFO制御装
置45にて制御を行ないながら処理を行なう。
【0016】
【発明が解決しようとする課題】
{従来のハフマンデコーダの課題} 通常、図7に示すような従来の高速のハフマンデコーダ
の構成では、テーブルとしてROM、RAMまたは連想
メモリ等のメモリを使用している。これはハードウエア
デコーダで全てのテーブルを作成すると、ハード量が大
きくなり過ぎ、非現実的なものになるためである。
【0017】従来の構成では、このテーブルに使用して
いるメモリーの読みだし速度が、他のブロックの処理速
度に対して遅いため、復号データテーブル2の読みだし
速度が可変長符号復号装置の処理速度を決める大きな要
因になっている。
【0018】{従来のADCTの課題} 図8に示した従来のADCTでは、前記した通り、空間
フィルタ装置21を復号出力に挿入するまたは2D−D
CT装置12および2D−IDCT装置19において隣
り合うブロックのデータを少しオーバーラップさせて処
理することで、ブロック歪みを軽減させている。
【0019】しかしながら、空間フィルタ装置21を用
いる方法では、全ての画像に対してフィルタリングを行
なうため、ブロック歪みがあまり目立たない細かい画像
の部分までぼけてしまい、全体的な画像の品質を上げる
ことはできない。そして、データを重ね合わせてDCT
処理を行なう方法では、処理するデータ量が多くなるた
め映像信号を実時間で処理することは非常に困難であ
る。
【0020】{従来の圧縮伸張装置の課題} 従来(第1の従来例および第2の従来例)の映像信号を
扱う圧縮伸張装置は、映像信号の有効データ期間だけを
扱うことができるように、図9に示したフレームバッフ
ァ32または図10に示したFIFOメモリ43の入出
力タイミングを制御することにより映像信号の入出力タ
イミングを緩衝している。
【0021】しかしながら、図9(第1の従来例)に示
したフレームバッファ32は、メモリとして1枚の画像
を格納しようとすると大容量(6メガビット程度)を必
要とする。また、入力と出力を非同期で実行しなければ
ならないので、通常はデジタル映像信号の入出力をデュ
アルポートで行っている(例えばVRAMを使用)。こ
れらのことから、比較的高価なものとなってしまい、圧
縮伸張装置を構成する上でかなりのコスト比率を占める
ものである。
【0022】また、図10(第2の従来例)に示したF
IFOメモリ43を制御してデータの入出力タイミング
を緩衝する場合、FIFOメモリ43が一杯(FUL
L)になったか否かを検出し、一杯になったら圧縮伸張
装置41の処理を停止させていた。また、FIFOメモ
リ43が空状態(NULL)になったか否かを検出し、
空状態になったら圧縮伸張装置41の処理を急かしてい
た。このように、FIFOメモリ43がFULLまたは
NULLにならないようにFIFO制御装置45で制御
する必要があり、相当複雑な制御になってしまう。その
上、伸張するデータを途中で切り替えようとした場合、
FIFOメモリ43の状態によって圧縮データ保存装置
34への保存のための切り替えタイミングを、前記した
FIFO制御装置45の制御に対して同期をとらなけれ
ばならないため、圧縮伸張装置41の処理について非常
に細かく複雑な制御が必要になって来る。
【0023】{本発明が解決しようとする課題} 本発明は、上記課題のうち、特に、ハフマンデコーダに
おける復号データテーブルの処理速度を向上し、高速処
理が可能な可変長符号の画像伸張装置を得ることを目的
とする。
【0024】
【課題を解決するための手段】本発明の請求項1に係る
課題解決手段は、映像信号を圧縮して得られた可変長符
号のデータの復号伸張を行う伸張装置であって、圧縮さ
れた単一のデータを復号する小規模デコーダと、前記小
規模デコーダの略半分の処理速度特性を有し圧縮された
2個以上のデータを復号する大規模デコーダと、前記小
規模デコーダおよび前記大規模デコーダへ同時に前記圧
縮された単一または二個以上のデータを与える入力デー
タ制御手段と、前記小規模デコーダからの出力データと
大規模デコーダからの出力データとを切り替えて出力す
る第1の切り替え手段と、前記第1の切り替え手段から
の出力データを単位時間だけ遅延させて出力する遅延手
段と、所定のタイミング信号に基づいて前記第1の切り
替え手段からの出力データと前記遅延手段からの出力デ
ータとを切り替えて出力する第2の切り替え手段と、前
記第2の切り替え手段を前記遅延手段からの出力データ
から前記第1の切り替え手段からの出力データに切り替
えるための前記所定のタイミング信号を生成するタイミ
ング制御手段とを備える。
【0025】そして、前記小規模デコーダは、受けたデ
ータが単一のデータか2個以上のデータかを判定する判
定手段を有し、前記タイミング制御手段は、前記小規模
デコーダの前記判定手段での判定信号に基づいて、前記
第1の切り替え手段が前記小規模デコーダからの出力デ
ータから前記大規模デコーダからの出力データに切り替
わった際に生じる不定データを検出する不定タイミング
検出手段と、前記不定タイミング検出手段からの信号に
基づいて前記所定のタイミング信号を前記第2の切り替
え手段へ出力するタイミング信号出力手段とを備える。
【0026】
【作用】本発明請求項1に係る画像伸張装置では、復号
されるデータが単一のときは処理速度が早い小規模デコ
ーダによりデータをデコードし、高速にデータを出力す
る。一方、復号されるデータが2個以上のときは、大規
模デコーダによりデータをデコードする。この際、処理
速度が比較的遅い大規模デコーダに関しては、小規模デ
コーダの半分のスピードでデータを出力するが、不定タ
イミングを検出した際に所定のタイミング信号を第2の
切り替え手段へ出力し、遅延手段にて遅延された不定の
タイミングに第1の切り替え手段からの遅延されない出
力データを埋め込むことで、最終的に出力されるデータ
列を補償し、大規模デコーダの処理速度の遅さから生じ
るデータの損傷を防止する。このことにより、相対的に
画像伸張装置全体の処理速度を上げることができる。し
たがって、従来の可変長符号の画像伸張装置に比べて飛
躍的な高速化を実現できる。
【0027】
【実施例】{第1の実施例} <原理> 一般に、画像データには同一のデータが連続することが
多く、したがって、互いに連続するデータの差分は
“0”になることが多い。特に、離散コサイン変換(D
CT)処理の場合、データが特定の領域(例えば低周波
数領域)に集中することが多いため、前記した差分が
“0”になる割合は極めて高い。例えば、差分が、 “0005” …(1) となる場合、“0”のランレングス(以下、0ランレン
グスと称す)が「3」で、その次に“5”(すなわち
“0”以外のデータ)が来るという具合にして2次元的
にハフマンコードを割り当てることになる。この場合、
0ランレングスである「3」というデータと、その次に
来る“5”というデータを合わせてデコードするため、
前記(1)で示した数列の場合、1回のデコードで4個
のデータを処理できることになる。
【0028】 “2134” …(2) 一方、前記(2)で示す数列のように、差分データとし
て“0”以外のデータが連続、すなわち0ランレングス
が「0」となる場合、デコードすべきデータは“2”、
“1”、“3”、“4”というように、1回のデコード
について1個ずつのデータしか処理できない。
【0029】これらのことを考慮すると、0ランレング
スが「0」であるか否かによって処理速度が少なくとも
2倍以上差があることがわかる。すなわち、0ランレン
グスが「1」以上である場合は、2個以上のデータを一
度にデコードするため、メモリールックアップに2サイ
クル懸かっても、最終的なデータ出力のタイミングとし
て1データにつき1回デコードするタイミングに対して
時間的な遜色がないことになる。そして、前記したよう
に、“0”以外のデータが連続するのは例えば低周波数
領域等の特定の領域に限定されるため、0ランレングス
が「0」であるか否かによって処理を偏向することが処
理速度向上のためには望ましいと言える。このことを考
慮して、まず0ランレングスが「0」であるか「1」以
上であるかを検出し、0ランレングスが「0」である特
定の領域のみを高速なハードウェアのデコーダで処理
し、0ランレングスが「1」以上の場合と異なるパスの
処理を行うことで、メモリルックアップの処理速度に依
存していた従来例に比べて、デコーダを高速化すること
による処理速度の向上を実現しようとするものが、本実
施例の画像伸張装置である。
【0030】<構成> 図1は本発明の第1の実施例における画像伸張装置とし
て、0ランレングスデータを用いたハフマン符号の画像
圧縮伸張装置の復号処理部の構成を示したものである。
本実施例の画像圧縮伸張装置は、映像信号を圧縮する圧
縮部と、該圧縮部で圧縮された可変長符号のデータの復
号伸張を行う伸張部(画像伸張装置)とを備える。図1
は、本発明に係る画像伸張装置として、前記伸張部を図
示したもので、図1中、51は可変長データにおいて次
に復号するデータを決める入力データ制御ブロック(入
力データ制御手段)である。また、52は0ランレング
スデータが“0”に対応するハフマンコードだけをデコ
ードするための高速処理が可能なハードウェアデコーダ
(小規模デコーダ:以下、HWデコーダと称す)であ
り、該HWデコーダ52からの出力信号であるH/U信
号(判定信号)は該HWデコーダ52の内部データにヒ
ットしたかあるいはしなかったかを示すための信号であ
る。具体的には、図2中の(B)の如く、内部データに
ヒットしたときはHigh信号を出力し、ヒットしなか
ったときはLow信号を出力する。このような処理を行
うため、HWデコーダ52の内部には、リファレンスと
しての内部データを格納する内部データ格納手段(メモ
リ)52aと、該内部データ格納手段52aの内部デー
タと入力データ制御ブロック51からのハフマンデータ
とを照合する照合手段(コンパレータ:判定手段)52
bとを備えている。
【0031】さらに、53は0ランレングスが1以上に
割り当てられたハフマンコードをデコーダするためのメ
モリー(テーブル:大規模デコーダ)、54はHWデコ
ーダ52からのH/U信号に基づいてHWデコーダ52
からの復号データとメモリー53からの復号データを選
択する第1のマルチプレクサ(第1の切り替え手段:以
下、第1のMUXと称す)、55はメモリー53でデコ
ードされた0ランレングスのデータを基に0ランレング
スの数だけデータの出力タイミングをおくらせるために
0ランレングスをカウントするランレングスカウンタ、
56はデコーダのH/U信号および0ランレングスカウ
ンタの出力より、次のデータの復号処理を行なうか否か
のフラグを生成するデータイネーブル発生回路である。
【0032】さらにまた、57は、入力データ制御ブロ
ック51からのハフマンデータがHWデコーダ52の内
部データにヒットしなかった場合、メモリー53のアク
セススピードが遅いため出力データが不定になるタイミ
ングができる(図2中の(F)参照)ので、これを検出
してデータの出力タイミングをコントロールするための
フラグ(図2中の(E)参照)を発生する不定タイミン
グ検出回路(不定タイミング検出手段)である。
【0033】また、58は、第1のMUX54より出力
された復号データから、これまで復号されたデータ量を
計算し、次に復号すべき圧縮データを出力させるための
補助データを作成する復号データ量算出回路、59,6
0,61,62はデータ列をクロック信号CKの1サイ
クル分だけ遅延させる遅延装置(ディレイ)、63は前
記遅延装置60(タイミング信号出力手段)からのタイ
ミング信号に基づいて遅延装置61(遅延手段)からの
出力データから第1のMUX54からの出力データに切
り替える第2のマルチプレクサ(第2の切り替え手段:
以下、第2のMUXと称す)である。
【0034】なお、前記不定タイミング検出回路57お
よび前記遅延装置60は、前記第2のMUX63を切り
替えるための所定のタイミング信号を生成するタイミン
グ制御手段を構成する。
【0035】<動作> 上記構成の画像伸張装置の処理手順を説明する。図2は
本実施例の画像伸張装置の動作を示すタイミングチャー
トである。図2中の(A)に示されたデータは入力デー
タ制御ブロック51からの出力を示すもので、データa
の0ランレングスが「0」、データbの0ランレングス
が「1」、データcの0ランレングスが「0」、データ
dの0ランレングスが「2」であるとする。
【0036】まず、図2中の(A)のデータaが入力デ
ータ制御ブロック51から出力されると、図1の如く、
HWデコーダ52とメモリー53に同時に入力される。
ここで、HWデコーダ52内の比較手段(コンパレー
タ)にて、受けたハフマンデータaがデコーダの内部デ
ータにヒットしたか否かを検出する。そして、データa
がHWデコーダ52の内部データにヒットした場合、ヒ
ットした旨を示すフラグとしてH/U信号(図2中の
(B))としてHigh信号を出力するとともに、デコ
ードした復号データ(図2中の(C)のデータA)を出
力する。一方、データaの0ランレングスが「1」以上
の場合は、データaがHWデコーダ52の内部データに
ヒットしないため、H/U信号(図2中の(B))とし
てLow信号を出力する。また、メモリー53は、常に
データaのデコードを実行し復号データを出力する。
【0037】第1のMUX54は、HWデコーダ52に
ヒットした旨を伝達された場合、H/U信号としてHi
gh信号が入力され、これにしたがってHWデコーダ5
2からの復号データを選択する。一方、ヒットしなかっ
た場合は、H/U信号としてLow信号が入力され、こ
れにしたがってメモリー53からの復号データを選択す
る。また、メモリー53から出力された0ランレングス
データは、0ランレングスカウンタ55に入力され、デ
ータイネーブル発生回路56を通して次のデータをデコ
ードするタイミングを0ランレングスの数だけ待たせる
処理を行なう。
【0038】一方、復号データ量算出回路58は、第1
のMUX54より出力された復号データから、これまで
復号されたデータ量を計算し、次に復号すべき圧縮デー
タを出力させるための補助データを作成する。第2のM
UX63は、不定タイミング検出回路57で検出された
タイミング(図2中の(E)のHigh信号)にしたが
って正しいデータを埋め込み、最終的な復号データを作
成する(図2中の(H)のデータA)。
【0039】以上が図2中の(A)のデータaについて
処理であるが、メモリー53のルックアップが2サイク
ル懸かるため、該データaが出力されて、これに続くサ
イクルは、図2中の(B)においてデータAとデータB
の間に示すように不定となる。すなわち、(A)のデー
タbがデコード(図2中の(B)のデータB)されるタ
イミングは、データAの後2サイクル目になってしま
う。つまり、0ランレングスが「1」以上の場合、不定
の期間が1サイクル発生することになる。
【0040】そこで、データ列の全体を遅延装置(ディ
レイ)61で1サイクル分だけ遅延させ、遅延処理され
た前記不定の期間の部分(遅延装置61からの出力:図
2中の(F))に遅延処理をかけないタイミングで前記
データB(第1のMUX54からの出力:図2中の
(C))を埋め込めば、データBに係るデータ列をHW
デコーダ52のサイクルと同速度で出力できることにな
る。
【0041】また、図2中の(A)のデータdのように
0ランレングスが「2」以上の場合、図2中の(E)で
不定タイミング検出回路57が、不定の期間(HWデコ
ーダ52でヒットしなかったとき)を検出した後の1サ
イクル後のデータは、図2中の(F)のように、遅延装
置61からの出力は不定となる。また、図2中の(F)
の不定のデータに続くデータは、データD,データDと
続く。そこで、不定のデータの部分に、データBのとき
と同様の処理を行ってデータDを埋め込めば、データD
に係るデータ列をHWデコーダ52のサイクルと同速度
で出力できることになる。
【0042】このように、本実施例の画像伸張装置で
は、0ランレングスが「0」の場合のコードを復号する
HWデコーダ52は1クロック以内に復号データを出力
しなくてはならないが、0ランレングスが1以上を復号
するメモリー53は2クロック以内にデータを出力すれ
ば良い。ここで用いているHWデコーダ52は0ランレ
ングスが「0」の場合だけのハフマンコードに対応する
高速処理用のため、回路規模は小さくて済み、かつ処理
を非常に高速化することができる。
【0043】{第2の実施例} <構成> 図3は本発明の第2の実施例の画像圧縮伸張装置を示す
機能ブロック図である。図3中の71〜75は圧縮部の
構成要素、76〜84は伸張部の構成要素を夫々示して
いる。71はラスタデータを2D−DCTに入力するた
めの8×8のブロックデータに変換するラスタ/ブロッ
ク変換装置、72は空間−周波数空間変換を行なう2次
元離散コサイン変換装置(2D−DCT装置)、73は
DCTの結果を低い周波数から順番にジクザグ状にスキ
ャンして1次元に並べ直して出力するジグザグ変換装
置、74はスカラー量子化を行なう量子化装置、75は
ハフマン符号や算術符号等のエントロピー符号化装置、
76はエントロピー復号化装置、77は逆量子化装置、
78は1次元データをジグザグ状に並べ直して2次元配
列するジグザグ逆変換装置、79は周波数空間−空間変
換を行なう2次元離散逆コサイン変換装置(2D−ID
CT装置)、80は8×8のブロックデータをラスタデ
ータに変換するブロック/ラスタ変換装置であり、これ
らは従来方式の各装置と同じ機能を有する。
【0044】また、81は逆量子化された周波数空間の
データ構成よりブロック歪の出る可能性が高い部分を検
出するブロック歪予測装置(ブロック歪予測手段)であ
って、逆量子化装置77からのデータのうち4番目以降
のデータが全て“0”か否かを判断するもの(判断手
段)である。ここで、図5はブロック歪予測装置81の
内部構成を示す図である。図5中のTS3は逆量子化装
置77の1番目から64番目までの出力データのタイミ
ング中最初から3番目までだけHighになりその後は
Lowになる第1のタイミング信号、TS1は逆量子化
装置77の1番目から64番目までの出力データのタイ
ミング中最初の1番目だけHighになりその後はLo
wになる第2のタイミング信号、CKはクロック信号で
ある。図5の如く、ブロック歪予測装置81は、逆量子
化装置77からの11ビットの出力信号の論理和(反
転)をとる第1のNOR回路91と、前記第1のNOR
回路91からの出力と前記第1のタイミング信号TS3
との論理和(反転)をとる第2のNOR回路92と、入
力がJ端子とK端子に2分割され該J端子およびK端子
の入力の組み合わせにて出力が決定されるJ−K−フリ
ップフロップ93と、前記第2のタイミング信号TS1
をセット入力信号(CS)とし、前記J−K−フリップ
フロップ93からの出力信号を入力信号(D)とするD
−フリップフロップ94とを備える。
【0045】82はブロック歪予測装置81から出力さ
れたフラグとブロック/ラスタ変換装置80からの最終
のラスタ出力とのタイミングを合わせるタイミング調整
装置(タイミング信号発生手段)、83はラスタデータ
になって出力される画像データに対して平滑フィルタを
かける5×5の空間フィルタ装置(フィルタ部)、84
はブロック歪の予測フラグに基づいてブロック/ラスタ
変換装置80からの出力と空間フィルタ装置83からの
出力とを選択する出力切替装置(マルチプレクサ:出力
切替部)である。
【0046】なお、前記ブロック歪予測装置81および
前記タイミング調整装置82は前記出力切替装置84を
切り替え制御する切替制御部を構成する。
【0047】<動作> 上記構成の画像圧縮伸張装置において、データ圧縮処理
時には、まず、画像データはラスタ/ブロック変換装置
71によりラスタデータから8×8のブロックデータに
変換される。ブロックに変換されたデータは2D−DC
T装置72により、空間−周波数空間に変換される。周
波数空間に変換されたデータはジグザグ変換装置73に
より低い周波数順に並べ替えられ出力される。量子化装
置74は人間の視覚特性を利用し低い周波数のデータは
小さく量子化し高い周波数のデータ程大きく量子化す
る。この処理により画像品質の劣化を抑えながらデータ
の電力集中を増すことができ、圧縮率を上げることがで
きる。エントロピー符号化装置75は、ハフマン符号等
のエントロピー符号を用いてデータを圧縮する。
【0048】一方、復号化処理は、エントロピー復号化
装置76にて圧縮データをハフマン符号等のエントロピ
ー符号を用いて復号し、逆量子化装置77にて逆量子化
した後、該逆量子化装置77から出力された信号は空間
周波数の低い成分より順に出力されてくる。
【0049】ここで、64個の周波数成分に分解された
ブロック内の成分に関して、図4の如く、低い周波数よ
り例えば4番目以降の周波数成分が全て“0”の場合は
フラグを立て、一つでも“0”以外のデータがある場合
はフラグを立てないようにする。ブロック歪が視覚的に
目立つ可能性が高い画像は、空や壁など、単純な絵柄の
部分である。これは、空間周波数に分解すると、低減だ
けにデータがあり、高域にはほとんどデータは存在しな
いものになる。つまり、前記したように4番目以降のデ
ータが全て“0”か“0”で無いかを判断することによ
り、ブロック歪が出る可能性が高い画像ブロックを判定
することができる。この場合、図5の如く、第1のタイ
ミング信号TS3に基づいて第2のNOR回路92から
の4番目以降のデータが全て“0”か否かを判断する。
【0050】次に、ブロック歪予測装置81からのフラ
グをもとに、空間フィルタ装置83からの出力信号とブ
ロック/ラスタ変換装置80からのそのままの信号を出
力切替装置84にて切り替え出力する。切り替えのタイ
ミングは、ブロック歪予測装置81からの復号データが
出力されるタイミングにあわせて切り替えを行なう。以
上の処理により、ブロック歪が出る可能性がある部分だ
け、平滑フィルタリングを行い、その他の部分について
はフィルタリングをかけないデータを出力することがで
きる。このため、複雑な絵柄の画像ぼけを防止でき、ブ
ロック歪を軽減することができる。
【0051】{第3の実施例} <構成> 図6は本発明の第3の実施例の画像圧縮伸張装置および
その周辺装置を示す図である。図6中の101は圧縮部
および伸張部(画像伸張装置)を備える画像圧縮伸張装
置、102は圧縮されたデータを保存するデータ保存装
置である。また、103−1,103−2,103−3
は画像圧縮伸張装置101の内部の各種信号処理装置、
104は前段の前記信号処理装置103−1,103−
2,103−3で信号処理したデータを後続する各パイ
プラインの出力に反映させるかどうかを、データイネー
ブル発生回路106からのデータイネーブル信号に基づ
いて判定する画像圧縮伸張装置101の内部判定装置
(処理制御手段)、105aは内部判定装置104から
の内部信号を1クロック分遅延させる画像圧縮伸張装置
101の内部遅延装置(レジスタ)、105bはデータ
イネーブル発生回路106からのデータイネーブル信号
をパイプラインの各段の信号処理装置103−1,10
3−2,103−3の段数分に対応して1クロックずつ
遅延させる画像圧縮伸張装置101の内部遅延装置(イ
ネーブル信号遅延手段:レジスタ)、106は外部から
のHSYNC信号およびVSYNC信号を基に有効デー
タの期間だけイネーブルとするためにデータイネーブル
信号を発生するデータイネーブル発生回路(イネーブル
手段)である。ここで、前記内部判定装置104は、前
記データイネーブル発生回路106からの前記データイ
ネーブル信号を受けたときのみ前記パイプライン内の信
号処理を許可し、前記データイネーブル信号を受けない
ときに前記パイプライン内の信号処理を停止させるもの
で、一般的なマルチプレクサが用いられ、一対の入力端
子のうち、一方は前段の前記信号処理装置103−1,
103−2,103−3の出力端子が接続され、他方は
後続する内部遅延装置105aの出力端子に帰還接続さ
れる。
【0052】<動作> 上記構成の画像圧縮伸張装置の処理方法を説明する。ま
ず、圧縮時においてデータイネーブル発生回路106は
HSYNC信号およびVSYNC信号に基づいて入力映
像信号が有効な期間だけデータイネーブル信号を発生す
る。圧縮装置内の各信号処理装置103−1,103−
2,103−3は入力された画像データをパイプライン
処理により逐次処理するが、各段の内部判定装置104
によって、次段に出力されるかあるいは前のデータを保
持するかが決められる。つまり、各段のデータがバリッ
ドの時だけデータは処理され、そうでない時は、各段の
内部遅延装置105aは、次にバリッド信号がくるまで
データを保持していることとなる。このような処理を行
なうことで、有効な入力映像信号だけを圧縮することが
できる。次に伸張時の処理についてのべる。
【0053】一方、伸張処理時においては、伸張処理を
開始してからパイプラインの段数分だけ映像信号が出力
されるタイミングが遅れる事になる。つまりHSYNC
信号およびVSYNC信号に合わせて伸張データを出力
しようとすると、データイネーブル発生回路106は有
効データを出すタイミングよりパイプラインの段数分だ
け先に処理を始めるようにデータイネーブル信号を出力
すれば良い。通常、映像信号はかなりの無効データを含
んでいるため、少々のパイプラインの段数があっても、
このような処理は問題なく可能である。
【0054】{変形例} 第1の実施例では、ランレングスが“0”の場合と
“1”以上の場合で、デコーダとメモリに分解したが、
スピードと回路規模との兼合で、それ以外の分割方法を
適用できることは言うまでも無い。
【0055】
【発明の効果】本発明請求項1によると、小規模デコー
ダおよび大規模デコーダを有し、処理速度の遅い大規模
デコーダでの処理時に生じる不定データの不定タイミン
グを検出し、その際に所定のタイミング信号を第2の切
り替え手段へ出力し、遅延手段にて遅延された不定のタ
イミングに第1の切り替え手段からの遅延されない出力
データを埋め込むよう構成されているので、復号される
データが単一のときは処理速度が早い小規模デコーダに
よりデータをデコーダし、高速にデータを出力する一
方、復号されるデータが2個以上のときは、大規模デコ
ーダによりデータをデコードし、遅延手段にて遅延され
た不定のタイミングに第1の切り替え手段からの遅延さ
れない出力データを埋め込むことで、最終的に出力され
るデータ列を補償し、大規模デコーダの処理速度の遅さ
から生じるデータの損傷を防止する。このことにより、
相対的に画像圧縮伸張装置全体の処理速度を上げること
ができる。したがって、可変長符号の復号伸張処理時の
処理速度を従来に比べて2倍近く高めることが可能であ
り、これまで、リアルタイム処理が困難であった映像信
号に対しても対応化が可能となるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施例の画像圧縮伸張装置にお
けるハフマンデコーダの構成を示す図である。
【図2】本発明の第1の実施例の画像圧縮伸張装置にお
けるハフマンデコーダの動作を示すタイミングチャート
である。
【図3】本発明の第2の実施例のADCT方式の画像圧
縮伸張装置における圧縮伸張フローを示す図である。
【図4】本発明の第2の実施例の画像圧縮伸張装置にお
けるブロック歪出現判定のデータ構成を示す図である。
【図5】本発明の第2の実施例におけるブロック歪出現
判定回路の画像圧縮伸張装置を示す図である。
【図6】本発明の第3の実施例における画像圧縮伸張装
置を示す図である。
【図7】従来の高速ハフマンデコーダの回路構成例を示
す図である。
【図8】従来のADCT方式の画像圧縮伸張装置におけ
る圧縮伸張フローを示す図である。
【図9】第1の従来例の画像圧縮伸張装置を示す図であ
る。
【図10】第2の従来例の画像圧縮伸張装置を示す図で
ある。
【符号の説明】
51 入力データ制御ブロック 52 HWデコーダ 52a 内部データ格納手段 52b 照合手段 53 メモリー 54 第1のマルチプレクサ 55 ランレングスカウンタ 56 データイネーブル発生回路 57 不定タイミング検出回路 58 復号データ量算出回路 59,60,61,62 遅延装置 63 第2のマルチプレクサ 71 ラスタ/ブロック変換装置 72 2D−DCT装置 73 ジグザグ変換装置 74 量子化装置 75 エントロピー符号化装置 76 エントロピー復号化装置 77 逆量子化装置 78 ジグザグ逆変換装置 79 2D−IDCT装置 80 ブロック/ラスタ変換装置 81 ブロック歪予測装置 91 第1のNOR回路 92 第2のNOR回路 93 J−K−フリップフロップ 94 D−フリップフロップ 82 タイミング調整装置 83 空間フィルタ装置 84 出力切替装置 101 画像圧縮伸張装置 103−1,103−2,103−3 信号処理装置 104 内部判定装置 105a,105b 内部遅延装置 106 データイネーブル発生回路

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 映像信号を圧縮して得られた可変長符号
    のデータの復号伸張を行う伸張装置であって、 圧縮された単一のデータを復号する小規模デコーダと、 前記小規模デコーダの略半分の処理速度特性を有し圧縮
    された2個以上のデータを復号する大規模デコーダと、 前記小規模デコーダおよび前記大規模デコーダへ同時に
    前記圧縮された単一または二個以上のデータを与える入
    力データ制御手段と、 前記小規模デコーダからの出力データと大規模デコーダ
    からの出力データとを切り替えて出力する第1の切り替
    え手段と、 前記第1の切り替え手段からの出力データを単位時間だ
    け遅延させて出力する遅延手段と、 所定のタイミング信号に基づいて前記第1の切り替え手
    段からの出力データと前記遅延手段からの出力データと
    を切り替えて出力する第2の切り替え手段と、 前記第2の切り替え手段を前記遅延手段からの出力デー
    タから前記第1の切り替え手段からの出力データに切り
    替えるための前記所定のタイミング信号を生成するタイ
    ミング制御手段とを備え、 前記小規模デコーダは、受けたデータが単一のデータか
    2個以上のデータかを判定する判定手段を有し、 前記タイミング制御手段は、 前記小規模デコーダの前記判定手段での判定信号に基づ
    いて、前記第1の切り替え手段が前記小規模デコーダか
    らの出力データから前記大規模デコーダからの出力デー
    タに切り替わった際に生じる不定データを検出する不定
    タイミング検出手段と、 前記不定タイミング検出手段からの信号に基づいて前記
    所定のタイミング信号を前記第2の切り替え手段へ出力
    するタイミング信号出力手段とを備える画像伸張装置。
JP23309494A 1994-09-28 1994-09-28 画像伸張装置 Expired - Fee Related JP2829246B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23309494A JP2829246B2 (ja) 1994-09-28 1994-09-28 画像伸張装置
US08/534,032 US5710598A (en) 1994-09-28 1995-09-26 Picture compressing and expanding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23309494A JP2829246B2 (ja) 1994-09-28 1994-09-28 画像伸張装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP10172869A Division JPH118852A (ja) 1998-06-19 1998-06-19 画像圧縮伸張装置
JP10172870A Division JPH118853A (ja) 1998-06-19 1998-06-19 画像圧縮伸張装置

Publications (2)

Publication Number Publication Date
JPH0898176A JPH0898176A (ja) 1996-04-12
JP2829246B2 true JP2829246B2 (ja) 1998-11-25

Family

ID=16949692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23309494A Expired - Fee Related JP2829246B2 (ja) 1994-09-28 1994-09-28 画像伸張装置

Country Status (2)

Country Link
US (1) US5710598A (ja)
JP (1) JP2829246B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW290777B (en) * 1996-04-20 1996-11-11 United Microelectronics Corp Video compression digital signal decoder and decoding method thereof
JP2000232649A (ja) 1998-12-10 2000-08-22 Fujitsu Ltd Mpegビデオ復号器及びmpegビデオ復号方法
US6721957B1 (en) * 1999-08-16 2004-04-13 Georgia Tech Research Corporation System and method for maximizing bandwidth efficiency in a digital video program stream
US6603413B2 (en) 2001-02-07 2003-08-05 Canon Kabushiki Kaisha Variable-length decoding apparatus and method
US6965785B2 (en) * 2001-07-17 2005-11-15 Wildseed Ltd. Cooperative wireless luminescent imagery
US8566376B2 (en) * 2010-07-30 2013-10-22 Chevron U.S.A. Inc. System and method for data compression using a field programmable gate array
MX2015005878A (es) * 2015-05-11 2016-11-10 Univ Nac Autónoma De México Sistema de memoria asociativa basada en la abstraccion diagramatica de contenidos especificados como estructuras atributo-valor.

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68905214T2 (de) * 1988-04-15 1993-09-09 Philips Nv Einrichtung zur kodierung von signalen, die eine folge von bildern darstellen und uebertragungssystem von fernsehbildern mit hoher aufloesung mit einer solchen einrichtung.
US5510842A (en) * 1994-05-04 1996-04-23 Matsushita Electric Corporation Of America Parallel architecture for a high definition television video decoder having multiple independent frame memories
US5532744A (en) * 1994-08-22 1996-07-02 Philips Electronics North America Corporation Method and apparatus for decoding digital video using parallel processing

Also Published As

Publication number Publication date
JPH0898176A (ja) 1996-04-12
US5710598A (en) 1998-01-20

Similar Documents

Publication Publication Date Title
KR100552576B1 (ko) Mpeg 호환 가능한 디지털 신호 처리 시스템 및 mpeg 코딩된 이미지를 나타내는 데이터의 데이터스트림을 처리하기 위한 방법
EP0673171B1 (en) Video decoder
JPH104550A (ja) Mpeg−2復号方法及びmpeg−2ビデオ復号器
KR20000057295A (ko) 재압축을 사용하는 메모리 관리 시스템을 위한 영상 요소 프로세서
JPH0686262A (ja) 画像符号化装置
JPH06237386A (ja) 画像処理装置
JP2000506715A (ja) Mpeg―2ビデオデータ用二重速度可変長デコーダおよび復号化アーキテクチャ
JP2829246B2 (ja) 画像伸張装置
JPH07222164A (ja) ディジタルビデオ・ビットストリームコーダ
JPH11251919A (ja) メモリ必要量削減方法
JP2002112268A (ja) 圧縮画像データ復号装置
JPH118852A (ja) 画像圧縮伸張装置
JPH118853A (ja) 画像圧縮伸張装置
JP3653799B2 (ja) 画像符号化装置
JPH07135652A (ja) 静止画データの圧縮方法及び装置、静止画データの伸長方法及び装置
JPH08205143A (ja) 並列復号化装置
JPH05168000A (ja) 動画像データの符号化方式および復号方式

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070918

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080918

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090918

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090918

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100918

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110918

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140918

Year of fee payment: 16

LAPS Cancellation because of no payment of annual fees