JP3248652B2 - カラー画像符号化装置 - Google Patents

カラー画像符号化装置

Info

Publication number
JP3248652B2
JP3248652B2 JP19820494A JP19820494A JP3248652B2 JP 3248652 B2 JP3248652 B2 JP 3248652B2 JP 19820494 A JP19820494 A JP 19820494A JP 19820494 A JP19820494 A JP 19820494A JP 3248652 B2 JP3248652 B2 JP 3248652B2
Authority
JP
Japan
Prior art keywords
color
luminance
distortion
component
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19820494A
Other languages
English (en)
Other versions
JPH0865711A (ja
Inventor
晃 奥村
純司 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP19820494A priority Critical patent/JP3248652B2/ja
Publication of JPH0865711A publication Critical patent/JPH0865711A/ja
Application granted granted Critical
Publication of JP3248652B2 publication Critical patent/JP3248652B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、カラー画像符号化装置
に関し、特に、カラー画像を高効率でしかも低歪みで圧
縮符号化・復号化する装置に関するものである。
【0002】
【従来の技術】カラー画像の圧縮符号化・復号化に関し
ては、従来から高効率・低歪みを目指して様々な方式が
検討されている。このような画像圧縮符号化技術につい
ては、大別して、(a)符号化・復号化によって歪みが
生ずる方式と、(b)符号化・復号化によって歪みが生
じない方式とがある。以下に、各方式について述べる。
【0003】(a)歪みが生ずる方式 符号化・復号化によって歪みが生ずる方式としては、既
に、静止画像用にJPEG(Joint Photographic Ex
perts Group−ISO/IEC 10918 “Digital comp
ression and coding of continuous-tone still image
s”)、動画像用にMPEG(Moving Picture Exper
ts Group−ISO/IEC 11172 “Coding of movin
g pictures and associated audio for digital storag
e mediaat up to about 1.5 Mbit/s”, ISO/IE
C 13818 “Generic coding ofmoving pictures and a
ssociated audio)等が標準化されている。これらの方
式の基本的な構成を図4に示す。
【0004】図4において、R(赤)・G(緑)・B
(青)の3つの色信号からなるカラー画像入力信号は、
最初に、色成分変換器1によって、1つの輝度成分と2
つの色差成分に変換される。次に、色差成分について
は、色差成分の空間周波数の帯域が狭いことと、視覚特
性として色差成分の歪みに対して鈍感であるという理由
により、間引き器5,6によって色差成分の間引きが行
われる。色情報が重要な画像に対しては、この色差成分
の間引きは行われない場合もある。
【0005】次に、輝度成分と色差成分に対して圧縮符
号化が適用される。現在標準化されているJPEGやM
PEGでは、図4に示すように、離散コサイン変換器2
によって直交変換が行われ、この離散コサイン変換係数
のレベル数を量子化器3によって制限し、その後に、無
歪みのエントロピー符号器4によって圧縮される。エン
トロピー符号化には、ハフマン符号化や算術符号化が使
用される。
【0006】このようにして得られた輝度成分と色差成
分の圧縮データは、多重化器7によって多重化され、最
終的な圧縮データが得られる。この圧縮データのビット
数は、通常カラー画像入力信号のビット数よりも少ない
ので、圧縮データを画像伝送や蓄積に使用すれば、伝送
容量や蓄積容量を低減することができる。これが、歪み
が生ずる方式の圧縮符号化の原理である。
【0007】圧縮データを元のRGB色信号に戻すため
には、圧縮データを分離器14によって輝度成分と色差
成分に対応する圧縮データに分散し、各成分に対してエ
ントロピー復号器11によって復号化した後に、逆量子
化器10によって離散コサイン変換係数を復元し、さら
に、離散コサイン逆変換器9により輝度と色差信号を復
元する。さらに、符号化時に色差信号の間引きを行った
場合には、補間器12によって間引かれたデータを補間
再生する。こうして得られた輝度と色差成分を色成分逆
変換器8によってRGB色信号に戻して、復号化が完了
する。
【0008】図4は、静止画像の符号化・復号化の場合
であるが、動画像の場合には、動き補償が加わることに
なる。
【0009】歪みが生ずる方式では、どの程度の大きさ
の歪みまでが許容されるかということが重要となる。通
常、歪みの大きさは、量子化器における信号の刻み幅
(ステップサイズと呼ぶ)の大きさを調整することによ
って調整することができる。すなわち、量子化器のステ
ップサイズを大きくすれば歪みが大きくなり、結果的に
圧縮データのビット数が減少する。符号化アルゴリズム
の性能を、以下で定義される圧縮率で評価する。
【0010】(圧縮率)=(入力画像のビット数)/
(圧縮データのビット数) この場合、比較的検知されない圧縮率としては、JPE
Gで10〜20程度、MPEGで50程度である。この
歪みが生ずる方式において、歪みを低減する(すなわち
圧縮率を低下させる)ためには、量子化器のステップサ
イズを小さくしていけばよいが、離散コサイン変換・逆
変換(乗加算演算)が現実的に有限精度演算であるた
め、その切捨て/丸め誤差によって歪みを0とさせるこ
とは不可能である。
【0011】(b)歪みが生じない方式 符号化・復号化によって歪みが生じない方式としては、
やはり先に述べたJPEGにおいて“Lossless mode o
f operation”として規定されている。この方式の基本
構成を図5に示す。RGBのカラー画像入力は、歪みが
生ずる方式で用いた色成分変換を行うことなく、直接圧
縮符号化の対象となる。RGBの各色成分は、最初に予
測器15によって符号化対象となる画素の周辺画素を用
いて予測信号が作成され、加算器16によって符号化対
象の画素から予測信号が引き去られ、残りの予測誤差を
無歪みのエントロピー符号器17に入力する。RGB各
色成分に対する圧縮データを多重化器18で多重すれ
ば、最終的な圧縮データが得られる。
【0012】また、この圧縮データを復号化した元のR
GB色信号を得るためには、分離器22によって圧縮デ
ータをRGB各色成分に対応する圧縮データに分離した
後に、各色成分に対してエントロピー復号器21によっ
て予測誤差信号を復元し、さらに、予測器20によって
作成された予測値を加算器19によって加え合わせるこ
とにより、RGBの各色信号が得られる。この構成によ
れば、符号器内では差分信号の算出が減算のみで、復号
器内では色信号の復元が加算のみで行われ、乗算を必要
としないため、符号化・復号化による歪みは全く生じな
い。この歪みが生じない方式においては、達成される圧
縮率は画像の種類によって異なるが概略1.5〜2.5で
ある。
【0013】
【発明が解決しようとする課題】以上、従来の技術につ
いて述べたが、印刷や医療などの分野では極めて高品質
なカラー画像が要求される。このために、画像の伝送や
蓄積を効率的に行うために、前記(a)の歪みが生ずる
方式を適用すると、DCT特有のブロック状の歪みの発
生を避けることができない。さらに、発生する歪みがガ
ウス分布で広がりを持つため(望月孝志:“逆DCT有
限語長演算の演算誤差解析”,電子情報通信学会論文誌
A,Vol.J77-A,No.3, pp.357-368,19
94年3月)、符号化/復号化/符号化/復号化……を
繰り返していく場合には、原画像の上位ビットまで歪み
が波及することになり、大きな品質劣化が発生すること
になる。
【0014】一方、(b)の歪みが生じない方式を適用
すれば、符号化・復号化により生ずる歪みは無いので、
歪みが生ずる方式で述べたブロック歪みの問題および符
号化/復号化を繰り返した場合の累積誤差の問題のいず
れも生じない。しかしながら、既に述べたように歪みが
生じない方式によって達成される圧縮率は低いため、圧
縮符号化を適用した場合の伝送・蓄積のコスト低下に寄
与する効果は小さい。
【0015】また、差分信号のエントロピー符号化の前
段に歪みが生ずる圧縮で行われる色信号の輝度・色差信
号変換を加えると、入力信号のエントロピーが減少し、
エントロピー符号器の圧縮効率が向上するが、前記RG
B色信号と輝度・色差信号間の変換には乗加算演算が用
いられるため、歪みが生ずる圧縮で述べたガウス分布を
持つ乗算結果の丸め/切捨て誤差が発生し、符号化/復
号化/符号化/復号化……を繰り返した場合に、大きな
累積誤差が生ずるという問題点がある。
【0016】本発明の目的は、カラー画像の圧縮におい
て、圧縮に伴って発生する歪みを入力画素値に対して±
1以内に抑えることができるカラー画像符号化装置を提
供することにある。
【0017】本発明の他の目的は、符号化・復号化を何
回繰り返しても、2回の符号化・復号化で生ずる歪みに
対して新たに歪みが加わることがないカラー画像符号化
装置を提供することにある。
【0018】本発明の他の目的は、圧縮率の大きさが、
従来の歪みの生じない方法に比べて大きい符号化・復号
化装置を提供することにある。
【0019】本発明の前記ならびにその他の目的および
新規な特徴は、本明細書の記述および添付図面によって
明らかにする。
【0020】
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。
【0021】送信側に、入力となるR(赤)・G(緑)
・B(青)の色信号を一つの輝度成分と二つの色差成分
へ変換する色成分変換器と、色成分変換器によって得ら
れた一つの輝度成分と二つの色差成分のレベルに補正を
加えるレベル補正器と、レベル補正器の出力をR(赤)
・G(緑)・B(青)の色信号へ変換する色成分逆変換
器と、入力の色信号と逆変換器の出力の色信号の誤差を
計算して色成分変換器の出力である輝度と色差信号を修
正する信号を作成する誤差評価器と、修正された各輝度
・色差成分を無歪み圧縮して圧縮データを生成する符号
器とを備える。
【0022】従来の技術とは、符号器において輝度・色
差成分をRGB色信号に変換し、入力されたRGB色信
号からの歪みを評価した結果に基づいてエントロピー符
号化される前段階の輝度・色差信号の値を修正する点が
異なる。
【0023】
【作用】前述の手段によれば、RGB色信号から構成さ
れるカラー画像信号を圧縮符号化する場合において、輝
度と色差成分変換した後に、復号器側で輝度と色差成分
をRGB色信号に逆変換した際に、入力カラー画像と出
力カラー画像の誤差が最小になるように、符号器側で輝
度と色差の値を調整する構成としたので、RGB色信号
と輝度・色差成分間の変換によって生ずる乗算結果の丸
め/切捨て誤差を±1以内に抑えることが可能となる。
【0024】また、前述の手段の構成のもとに符号化と
復号化を何回繰り返しても符号化に伴う誤差が累積する
ことがなく、2回の符号化・復号化の誤差がそのまま維
持される。
【0025】また、本発明の構成は、予測器とエントロ
ピー復号器から成る既存の復号器に対してなんら付加機
能を要求するものではないため、符号器のみの構成変更
で済み、従来の復号器をそのまま使用することができ
る。
【0026】
【実施例】以下、本発明による実施例を図面を参照して
詳細に説明する。
【0027】図1は、本発明による一実施例のカラー画
像符号化装置の概略構成を示すブロック図であり、23
は色成分変換器、24,26,28,29,35は加算
器、25,36は予測器、27はエントロピー符号器、
30はレベル補正器、32は誤差評価器、33は多重化
器、34は色成分逆変換器、37はエントロピー復号
器、38は分離器である。
【0028】図1において、入力されたRGBのカラー
画像信号は、色成分変換器23によって1つの輝度成分
と2つの色差成分に変換される。この輝度成分と色差成
分の各々に対して、レベル補正器30において+1と0
と−1を加えた信号を作成する。従って、輝度と色差成
分それぞれに対して3つの異なるレベルを持つ信号が準
備できる。
【0029】この輝度と色差の全ての組み合わせは、合
計33=27個存在する。この27個の組み合わせそれ
ぞれに対して色成分逆変換器31によってRGB色信号
に変換する。誤差評価器32においては、入力のRGB
色信号と色成分逆変換器31の出力RGB色信号の間の
誤差を計算し、最も誤差の少ないRGBの組み合わせ、
すなわち、誤差を最小にするレベル補正された輝度と色
差の組み合わせを求める。誤差評価器32の出力は、最
も誤差の少ない条件を満たす輝度と色差信号の補正量
(+1または0または−1)であり、加算器24,2
8,29によって実際に輝度と色差成分のレベル補正が
行われる。
【0030】以上に述べた方法で補正された輝度と色差
信号は、予測器25によって差分信号が計算され、この
差分信号はエントロピー符号器27によって圧縮符号化
される。輝度と色差の圧縮データは、多重化器33によ
って多重化され、最終的な圧縮データが作成される。こ
の圧縮データは伝送や蓄積に利用される。
【0031】この圧縮データからの元のRGBカラー画
像を作成するためには、圧縮データを分離器38によっ
て輝度と色差に対応する圧縮データに分離し、それぞれ
がエントロピー復号器37によって復号化される。エン
トロピー復号器37の出力は予測器36の出力である予
測値が加えられ、輝度と色差成分が復号化される。その
後に、輝度と色差成分の復号値は色成分逆変換器34に
よってRGB色信号に変換され、最終的にRGB色信号
が得られる。
【0032】以下、実際の画像を用いて、本実施例に基
づく構成で圧縮符号化をした場合の効果について説明す
る。使用した画像は、画素数が2048×2048、R
GBの各色信号は8ビット精度の2つの画像(画像Aと
画像B)である。表1は、符号化と復号化を1回行った
場合の、従来の歪みが生ずる方式、歪みが生じない方
式、本実施例の各々に対する圧縮率を示している。
【0033】
【表1】
【0034】図2は、従来の歪みが生ずる方式(a)
と、本実施例においてレベル補正器30、色成分逆変換
器31、誤差評価器32、加算器24,28,29によ
る輝度と色差のレベルの補正を行わない方式(b)と、
本実施例の各々により画像Aを符号化した場合(c)の
歪みの大きさの分布を示している。従来の歪みが生じな
い方式(a)では、当然のことながら歪みは0である。
【0035】この図2からわかるように、本実施例を使
用することにより、圧縮率では従来の歪みが生じない方
式(a)よりも圧縮率が向上し、従来の歪みが生ずる方
式に比べて、圧縮符号化によって生ずる歪みが±1以内
という限定的な範囲に抑えることが可能できる。
【0036】図3は、本実施例におけるレベル補正器3
0、色成分逆変換器31、誤差評価器32、加算器2
4,28,29による輝度と色差のレベルの補正を行う
場合と行わない場合に対して、符号化/復号化を8回ま
で繰り返した場合の信号対歪み比(SNR)を示してい
る。この図3からわかるように、本実施例に従って輝度
と色差成分に対するレベル補正を行うことにより、符号
化/復号化/符号化/復号化……を何回繰り返しても、
2回の符号化/復号化後のSNRの値が維持される。
【0037】なお、前記の実施例では、レベル補正器3
0において輝度成分と色差成分の各々に対して、+1と
0と−1を加えた信号を作成する場合を例に説明した
が、補正量として加える値の範囲は前記の場合に限らな
い。一般的に、補正量として加える値は、輝度・色差成
分のそれぞれに対して異なる有限の範囲が適用可能であ
る。例えば、輝度成分のみに対し+1と0と−1を加
え、色差成分にはなにも加えない信号を作成することに
より、評価すべき組み合わせの数を前記実施例の33
27個から3個に減じて、レベル補正に要する演算量を
低減する手法も適用できる。
【0038】また、前記実施例では、既定の範囲の補正
量を用いて誤差の評価を行う構成となっているが、歪み
を最小とする輝度・色差成分の補正量を複数あらかじめ
参照テーブルとして登録しておき、登録された補正量の
みに対して歪みを評価することにより処理量を低減し、
かつ、前記実施例と全く同じ機能を有する構成が適用可
能である。例えば、全RGB色信号をあらかじめ本実施
例で符号化し、歪みを最小とする輝度・色差信号の補正
量を、入力RGB色信号と、その入力RGB色信号を色
成分変換器により輝度・色差成分に変換し、さらに、色
成分逆変換器31により逆変換したRGB色成分との誤
差をインデックスとして登録した参照テーブルを作成す
る。
【0039】そして、実際の符号化処理においては、入
力RGB色信号と、その入力RGB色信号を色成分変換
器により輝度・色差成分に変換し、さらに、色成分逆変
換器により逆変換したRGB色成分との誤差を求め、そ
の誤差に対して登録されている複数の補正量を参照テー
ブルより求め、その補正量を前記実施例において、レベ
ル補正器30で発生した補正量として用いることにより
処理量低減が実現される。
【0040】一般的に、補正量として加える値をあらか
じめ参照テーブルに登録しておき、入力RGB色信号お
よびその輝度・色差信号から計算される誤差などを用い
て参照テーブルに登録されている複数の補正量を呼び出
し、その補正量を前記実施例においてレベル補正器30
で発生した補正量とし、誤差の評価を行う構成が適用可
能である。
【0041】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
【0042】
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。
【0043】(1)RGB色信号と輝度・色差成分間の
変換によって生ずる乗算結果の丸め/切捨て誤差を±1
以内に抑えることができる。
【0044】(2)符号化と復号化を何回繰り返しても
符号化に伴う誤差が累積することがなく、2回の符号化
・復号化の誤差がそのまま維持される。
【0045】(3)符号器のみの構成変更で済み、従来
の復号器をそのまま使用することができる。
【図面の簡単な説明】
【図1】 図1は、本発明による一実施例のカラー画像
符号化装置の概略構成を示すブロック図である。
【図2】 従来の歪みが生ずる圧縮符号器・復号器、本
実施例においてレベル補正を行わない場合、本実施例に
おいてレベル補正を行う場合の歪みの大きさの分布を表
す図である。
【図3】 本実施例においてレベル補正を行う場合と行
わない場合の符号化/復号化の繰り返し回数とSNRの
値の関係を表す図である。
【図4】 従来の歪みが生ずる圧縮符号器・復号器の概
略構成を示すブロック図である。
【図5】 従来の歪みが生じない圧縮符号器・復号器の
概略構成を示すブロック図である。
【符号の説明】
1,23…色成分変換器、2…離散コサイン変換器、3
…量子化器、4,17,27…エントロピー符号器、
5,6…間引き器、7,18,33…多重化器、8,3
1,34…色成分逆変換器、9…離散コサイン逆変換
器、10…逆量子化器、11,21,37…エントロピ
ー復号器、12,13…補間器、14,22,38…分
離器、15,20,25,36…予測器、16,19,
24,26,28,29,35…加算器、30…レベル
補正器、32…誤差評価器。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−214260(JP,A) 特開 平7−135568(JP,A) 特開 平7−274139(JP,A) 奥村晃 鈴木純司,カラー画像の準可 逆圧縮と特性評価,電子情報通信学会技 術研究報告SP,日本,1994年 9月 6日,SP94−46,pp.79−86 奥村晃 鈴木純司,カラー静止画像の 準可逆圧縮と特性評価,電子情報通信学 会論文誌B1,日本,1995年 7月25 日,Vol.J78−B−1 No.7, pp.279−290 (58)調査した分野(Int.Cl.7,DB名) H04N 11/04,9/67,1/41

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 送信側に、入力となるR(赤)・G
    (緑)・B(青)の色信号を一つの輝度成分と二つの色
    差成分へ変換する色成分変換器と、色成分変換器によっ
    て得られた一つの輝度成分と二つの色差成分のレベルに
    補正を加えるレベル補正器と、レベル補正器の出力をR
    (赤)・G(緑)・B(青)の色信号へ変換する色成分
    逆変換器と、入力の色信号と逆変換器の出力の色信号の
    誤差を計算して色成分変換器の出力である輝度と色差信
    号を修正する信号を作成する誤差評価器と、修正された
    各輝度・色差成分を無歪み圧縮して圧縮データを生成す
    る符号器とを備えることを特徴とするカラー画像符号化
    装置。
JP19820494A 1994-08-23 1994-08-23 カラー画像符号化装置 Expired - Fee Related JP3248652B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19820494A JP3248652B2 (ja) 1994-08-23 1994-08-23 カラー画像符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19820494A JP3248652B2 (ja) 1994-08-23 1994-08-23 カラー画像符号化装置

Publications (2)

Publication Number Publication Date
JPH0865711A JPH0865711A (ja) 1996-03-08
JP3248652B2 true JP3248652B2 (ja) 2002-01-21

Family

ID=16387218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19820494A Expired - Fee Related JP3248652B2 (ja) 1994-08-23 1994-08-23 カラー画像符号化装置

Country Status (1)

Country Link
JP (1) JP3248652B2 (ja)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
奥村晃 鈴木純司,カラー画像の準可逆圧縮と特性評価,電子情報通信学会技術研究報告SP,日本,1994年 9月 6日,SP94−46,pp.79−86
奥村晃 鈴木純司,カラー静止画像の準可逆圧縮と特性評価,電子情報通信学会論文誌B1,日本,1995年 7月25日,Vol.J78−B−1 No.7,pp.279−290

Also Published As

Publication number Publication date
JPH0865711A (ja) 1996-03-08

Similar Documents

Publication Publication Date Title
KR0183688B1 (ko) 영상부호화방법 및 장치
US6381373B1 (en) Apparatus and method for reducing quantization error in digital image signals
EP0519962B1 (en) Digital image coding using a random scanning of image frames
WO1996027262A1 (en) Image data compression method and apparatus with pre-processing to compensate for the blocky effect
WO2000002381A1 (en) Image processing circuit and method for modifying a pixel value
JPH08289294A (ja) 適応量子化による動画像圧縮システム
CN113613004A (zh) 图像编码方法、装置、电子设备及存储介质
US5822005A (en) Pre-oddification
KR19980017213A (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
JP2723867B2 (ja) 画像信号復号化装置
US5353060A (en) Process and device for the transformation of image data
JP3248652B2 (ja) カラー画像符号化装置
JP2841362B2 (ja) 高能率符号化装置
JP2824222B2 (ja) 映像データ補償方法及び補償装置
JPH09247668A (ja) 画像信号符号化方式
JP3107676B2 (ja) 量子化回路
JP3024386B2 (ja) 符号化装置
JPH06334983A (ja) 画像信号の符号化方法、符号化装置、復号化方法及び復号化装置
JP2776425B2 (ja) セル廃棄補償画像復号化方式
US20020196846A1 (en) Methods and systems for compressing a video stream with minimal loss after subsampled decoding
JP2844861B2 (ja) 画像信号の高能率符号化装置及び符号化方法
JP2698641B2 (ja) カラー画像データ符号化方法及び複号方法
JP3614884B2 (ja) 画像符号化装置及び画像符号化方法
JP2669278B2 (ja) 映像信号処理装置
JP3144099B2 (ja) 適応ダイナミックレンジ符号化又は復号化装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071109

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081109

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091109

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees