JPH0832966A - 画像伝送方法 - Google Patents

画像伝送方法

Info

Publication number
JPH0832966A
JPH0832966A JP18409894A JP18409894A JPH0832966A JP H0832966 A JPH0832966 A JP H0832966A JP 18409894 A JP18409894 A JP 18409894A JP 18409894 A JP18409894 A JP 18409894A JP H0832966 A JPH0832966 A JP H0832966A
Authority
JP
Japan
Prior art keywords
image
dct
value
image data
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP18409894A
Other languages
English (en)
Other versions
JP3647899B2 (ja
Inventor
Kazuhiro Yamamoto
和弘 山本
Eiji Yokogawa
英二 横川
Hideki Takechi
秀輝 武市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Electric Corp
Original Assignee
Kokusai Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokusai Electric Corp filed Critical Kokusai Electric Corp
Priority to JP18409894A priority Critical patent/JP3647899B2/ja
Publication of JPH0832966A publication Critical patent/JPH0832966A/ja
Application granted granted Critical
Publication of JP3647899B2 publication Critical patent/JP3647899B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

(57)【要約】 【目的】 変化する画像の伝送において、必要な画像部
分のみを伝送することによって無駄な画像データの伝送
を削減し、画像伝送の迅速化を実現する。 【構成】 画像を複数の分割したブロック毎の直交変換
および直交変換された画像データのエントロピー符号化
を行って圧縮した画像データを伝送する画像伝送方法に
おいて、送信側(30)では、基本となる基本画像と当
該基本画像が変化した変化画像との画像データの量子化
(33)した後の直交変換値(32)の差分(36)を
求め、当該差分値が所定の閾値より大きいブロックにつ
いてのみ画像データをエントロピー符号化(37)して
伝送し、受信側(50)では、伝送されてきた画像デー
タをエントロピー復号化(52)し、復号化した画像デ
ータの直交変換値(53)を基本画像の直交変換値(5
4)に加算し(55)、加算した直交変換値を逆量子化
(57)および直交逆変換(58)して、変化画像を再
生する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、情報源符号化に直交変
換方式を用いた画像伝送方法に関し、特に、基本となる
基本画像と当該基本画像が変化した変化画像との直交変
換値の差分を求め、この差分値が大きなブロックについ
てのみ画像伝送を行う画像伝送方法に関する。
【0002】
【従来の技術】画像伝送においては画像の圧縮および伸
張が行われ、この画像圧縮のための符号化および画像伸
張のための復号化にはJPEG(Joint Photographic E
xpertsGroup)方式が広く用いられている。画像圧縮処
理における情報源符号化には直交変換方式等の種々な方
式が用いられるが、JPEG方式においては画像を無相
関な成分に分解する能力が高く且つ変換のための演算が
比較的容易な離散コサイン変換(DCT:Discrete Cos
ine Transform)を直交変換方式として用いている。な
お、以下の説明では離散コサイン変換を単にDCTと記
述する。
【0003】従来のJPEG方式による画像伝送を図4
を参照して説明する。まず、JPEG方式に係る画像伝
送装置は、送信側にDCTを基本とした符号化器1、符
号化したデータおよびパラメータを保持するメモリ5を
備え、伝送路6を介して接続された受信側に伝送されて
きた符号化データおよびパラメータを保持するメモリ
7、DCTを基本とした復号化器2が備えられている。
符号化器1は、入力画像をDCTするDCT演算手段1
1、DCT値を量子化する量子化器12、量子化された
DCT値をエントロピー符号化するエントロピー符号化
器13を備えている。復号化器2は、伝送されてきた符
号化データをエントロピー復号化するエントロピー復号
化器23、エントロピー復号化された画像データを逆量
子化する量子化器22、逆量子化された画像データをD
CTの逆変換するIDCT演算手段21を備えている。
なお、図中には簡略化して示してあるが、量子化或いは
逆量子化に用いられる量子化テーブル3と、エントロピ
ー符号化或いはエントロピー復号化に用いる符号化テー
ブル4とが、送信側と受信側とにそれぞれ備えられてい
る。
【0004】従来のJPEG方式による画像伝送では、
図外の入力手段から原画像を入力すると、DCT演算手
段11が原画像を8画素×8画素のブロックに分割して
DCTを行い、このDCT値を量子化器12で量子化テ
ーブル3を用いて量子化した後に、エントロピー符号化
器13で符号化テーブル4を用いてエントロピー符号化
する。このように符号化器1で圧縮された画像データの
符号データとパラメータは一旦メモリ5に格納されて、
伝送路6を介して受信側へ伝送される。受信側では、伝
送されてきた圧縮画像データの符号データとパラメータ
は一旦メモリ7に格納される。そして、この圧縮画像デ
ータをエントロピー復号化器23が符号化テーブル4を
用いて復号化し、更に、量子化器22で量子化テーブル
3を用いて逆量子化した後、IDCT演算手段21がD
CTの逆変換をする。このように復号化器2で伸張され
た画像は再生画像として図外の表示手段等に出力され
る。
【0005】
【発明が解決しようとする課題】しかしながら、上記し
た従来のJPEG方式の画像伝送においては、常に1画
面全体の画像を圧縮して伝送するものであるため、一部
分が変化する程度の画像を伝送する場合には無駄なデー
タも多く伝送することとなっていた。例えば、監視装置
に適用した場合には、監視している対象物は変化するが
風景などのその他の画像部分には変化がないため、無駄
なデータ伝送が多く生じてしまう。すなわち、画像サイ
ズを640×400画素、1画素8ビット(RGB)と
した場合の原画像のデータサイズは750KBであり、
この画像データを1/20に圧縮したと仮定しても画像
データのサイズは750÷20=37.5KBであるた
め、従来の画像伝送方法では画像の変化の大小或いは有
無に拘わりなくこのような大きなサイズの画像データを
伝送しなければならなかった。このため、画像伝送に多
くの時間を要し、これを解決するためには高価な高速伝
送路を用意しなければならないという問題があった。
【0006】本発明は上記従来の事情に鑑みなされたも
ので、一部分が変化する程度の画像を伝送する場合にあ
っても、必要なデータ部分のみを伝送することによって
無駄な画像データの伝送を削減し、これによって、画像
伝送の迅速化を実現して高価な高速伝送路の必要性をな
くした画像伝送方法を提供することを目的とする。
【0007】
【課題を解決するための手段】上記目的を達成するた
め、本発明の画像伝送方法は、画像を複数の分割したブ
ロック毎の直交変換および直交変換された画像データの
エントロピー符号化を行って圧縮した画像データを伝送
する方法において、送信側では、基本となる基本画像と
当該基本画像が変化した変化画像との画像データの量子
化した後の直交変換値の差分を求め、当該差分値が所定
の閾値より大きいブロックについてのみ画像データをエ
ントロピー符号化して伝送し、受信側では、伝送されて
きた画像データをエントロピー復号化し、復号化した画
像データの直交変換値を基本画像の直交変換値に加算
し、加算した直交変換値を逆量子化および直交逆変換し
て、変化画像を再生することを特徴とする。
【0008】ここに、JPEG方式の画像伝送において
は、直交変換としてDCTが用いられ、画像は8画素×
8画素のブロックに分割される。なお、4画素×4画
素、16画素×16画素等のように任意の大きさに設定
することも可能である。また、基本画像とは、順次処理
される画像の内の変化画像より前の画像で、変化画像の
変化を判定し且つ変化画像を形成するための基本となる
或る画像であり、例えば、変化画像の1つ前の画像をい
う。
【0009】
【作用】本発明の画像伝送方法によると、送信側では変
化画像中のブロックで直交変換値の差分が基本画像に対
して大きなもののみ、すなわち、変化画像中の変化の度
合いが所定の閾値より大きな画像部分のみの直交変換値
が受信側へ伝送される。そして、このブロックの直交変
換値を受信した受信側では、受信した値を基本画像の直
交変換値に加算し、変化した画像部分を基本画像に加え
ることによって変化画像を再生する。したがって、変化
画像中の変化が生じた部分のみ送信側から受信側へ伝送
されることとなる。また、閾値は任意に設定され、閾値
の大きさに応じて受信側で再生される画像の変化の度合
いを任意に設定でき、これに応じて送信側から受信側へ
伝送されるデータ量も任意に設定できる。
【0010】
【実施例】本発明の一実施例に係る画像伝送方法を図面
を参照して説明する。まず、本実施例の画像伝送方法を
実施するための装置を図1を参照して説明する。送信局
30は、ビデオカメラ等の画像入力装置31、入力され
た画像を8画素×8画素のブロックに分割してDCTす
るDCT演算器32、DCT値を量子化する量子化器3
3、基本画像の量子化後のDCT値を格納する基本DC
Tメモリ34、基本画像に対して変化した変化画像の量
子化後のDCT値を格納する変化DCTメモリ35、基
本DCTメモリ34と変化DCTメモリ35に格納され
たDCT値の差分をとって所定の閾値より大きな差分値
およびその変化画像中のブロックを検出するDCT差分
検出器36、検出されたブロックのDCT値をエントロ
ピー符号化するエントロピー符号化器37、エントロピ
ー符号化したデータおよびパラメータとともに該当する
ブロック番号を保持するメモリ38を備えている。
【0011】一方、伝送路40を介して送信局30に接
続された受信局50は、伝送されてきた符号化データお
よびパラメータとともに該当するブロック番号を保持す
るメモリ51、伝送されてきた符号化データをエントロ
ピー復号化するエントロピー復号化器52、エントロピ
ー復号化されたDCT値を保持する差分DCTメモリ5
3、エントロピー復号化された基本画像のDCT値を保
持しておく基本DCTメモリ54、差分DCTメモリ5
3に格納されたDCT値と基本DCTメモリ54に格納
された基本画像のDCT値とを加算するDCT差分合成
器55、加算されたDCT値を格納する変化DCTメモ
リ56、格納されたDCT値を逆量子化する逆量子化器
57、逆量子化されたDCT値をDCTの逆変換するI
DCT演算器58、再生された変化画像を出力するCR
T等の画像出力装置59を備えている。なお、図中には
簡略化して示してあるが、量子化或いは逆量子化に用い
られる量子化テーブル61と、エントロピー符号化或い
はエントロピー復号化に用いる符号化テーブル62と
が、送信局30と受信局50とにそれぞれ備えられてい
る。
【0012】次に、上記構成の装置によって実施される
画像伝送を説明する。画像入力装置31から取り込まれ
る画像は一定の周期をもって連続する静止画像として処
理され、この連続する静止画像の先頭の画像を取り込む
初期状態においては基本DCTメモリ34の格納内容は
ゼロクリアされている。このような状態において、画像
入力装置31から取り込まれた先頭の画像は、DCT演
算器32で8画素×8画素のブロックに分割されてDC
T変換され、更に量子化器33で量子化テーブル61を
用いて量子化されて、変化DCTメモリ35に格納され
る。
【0013】変化DCTメモリ35に格納された量子化
後のDCT値はブロック毎にDCT差分検出器36で基
本DCTメモリ34の格納値との差分がとられ、この差
分値が後述する閾値より小さい場合には以後の処理は行
われないが、現時点では基本DCTメモリ34の格納値
がゼロであるので、入力画像の全てのブロックについて
の量子化後のDCT値がエントロピー符号化器37でエ
ントロピー符号化され、各ブロック番号とともにメモリ
38に格納される。また、このようにDCT値をエント
ロピー符号化して伝送する画像については、後続する画
像の変化を判定するための基本画像として、その変化D
CTメモリ35に格納した内容が基本DCTメモリ34
にコピーして格納される。
【0014】メモリ38に格納された圧縮データはブロ
ック番号とともに伝送路40を介して受信局50のメモ
リ51に一旦格納され、エントロピー復号器52で符号
化テーブル62を用いて復号化されて差分DCTメモリ
53に一旦格納される。差分DCTメモリ53の格納内
容はDCT差分合成器55で基本DCTメモリ54の格
納内容と加算されるが、基本DCTメモリ54も初期状
態において格納内容をゼロクリアされているため、差分
DCTメモリ53の格納内容そのまま(すなわち、原画
像の全ブロックの量子化後のDCT値)がDCT差分合
成器55から出力されて変化DCTメモリ56に一旦格
納される。変化DCTメモリに格納されたDCT値は逆
量子化器57で量子化テーブル61を用いて逆量子化さ
れ、更に、IDCT演算器58でDCTの逆変換がなさ
れて伸長される。そして、伸長された画像データは画像
出力装置59に入力され、画像出力装置59のCRTデ
ィスプレイ等に再生画像として表示される。なお、差分
DCTメモリ53に格納されたDCT値は、後続する画
像に対する基本画像のものとして、基本DCTメモリ5
4に上書きして格納される。
【0015】次に、2番目以降の画像については、上記
と同様にブロック毎のDCTおよび量子化がなされて変
化DCTメモリ35に一旦格納され、この量子化後のD
CT値と基本DCTメモリ34に格納されている基本画
像のそれとの差分値が対応するブロック毎にDCT差分
検出器36で演算される。DCT差分検出器36には閾
値として、DCT値のDC(直流)成分閾値、AC(交
流)成分閾値、および、AC成分閾値を超える割合の閾
値が設定されており、演算した差分値をこれら閾値と比
較してデータを受信局50へ伝送するか否かが判定され
る。
【0016】この判定において、差分値のDC成分値が
DC成分閾値より大きい場合には、そのブロックの量子
化後のDCT値をエントロピー符号化器37でエントロ
ピー符号化して、ブロック番号とともにメモリ38に一
旦格納する。また、差分値のDC成分値がDC成分閾値
より小さい場合にあっても、差分値のAC成分値がAC
成分閾値より大きいデータ数をカウントし、このカウン
ト数が上記の割合閾値を超える場合には、そのブロック
の量子化後のDCT値をエントロピー符号化器37でエ
ントロピー符号化して、ブロック番号とともにメモリ3
8に一旦格納する。一方、このカウント数が割合閾値よ
り少ない場合には、基本画像に対して変化が無い或いは
変化がほとんど無いこととなるので、以後の伝送処理は
行わない。なお、上記のように伝送処理を行うブロック
を含む画像(変化画像)のDCT値は、後続する画像の
変化を判定するために、基本画像のものとして基本DC
Tメモリ34に上書きして格納される。
【0017】図2には、DC成分閾値を10、AC成分
閾値を5、AC成分閾値を超える割合の閾値を5とした
場合における具体例を示してある。図中の例1に示すブ
ロックでは差分値のDC成分値(15)がDC成分閾値
(10)より大きいので、当該ブロックの量子化後のD
CT値をエントロピー符号化して受信局50へ伝送す
る。また、図中の例2に示すブロックでは、差分値のD
C成分値がDC成分閾値より小さいが、AC閾値(5)
を超えるデータ数(7)が割合の閾値(5)を超えてい
るので、当該ブロックの量子化後のDCT値をエントロ
ピー符号化して受信局50へ伝送する。一方、図中の例
3に示すブロックでは、差分値のDC成分値がDC成分
閾値より小さく、且つ、AC閾値(5)を超えるデータ
数(3)が割合の閾値(5)を超えていないので、当該
ブロックについては以後の伝送処理は行わない。
【0018】すなわち、図3に示すように、基本画像中
の一部が変化した変化画像に対してDCT値の差分(変
化のあるブロックについてのみのDCT値)がエントロ
ピー符号化されて受信局50へ伝送される。したがっ
て、変化画像の全てのブロックについてDCT値を伝送
する従来のJPEG方式に比して大幅に伝送データ量が
削減される。
【0019】エントロピー符号化されてメモリ38に一
旦格納されたブロックのDCT値は、当該ブロック番号
とともに伝送路40を介して受信局50へ送られ、メモ
リ51に一旦格納される。そして、このDCT値はエン
トロピー復号化器52で符号化テーブル62を用いて復
号化され、差分DCTメモリ53に一旦格納される。こ
の復号化はブロック番号を確認してブロック毎に行われ
る。エントロピー復号化されて差分DCTメモリ53に
格納されたブロック毎のDCT値は、DCT差分合成器
55で、基本DCTメモリ54に既に格納されている基
本画像のDCT値に加算され、加算されたDCT値が変
化DCTメモリ56に一旦格納される。なお、加算され
たDCT値は、後続する画像に対する基本画像のものと
して、基本DCTメモリ54に上書きして格納される。
【0020】変化DCTメモリ56に一旦格納されたD
CT値は、上記と同様に逆量子化器57で逆量子化さ
れ、IDCT演算器58でDCTの逆変換がなされて伸
長され、画像出力装置59のCRTディスプレイ等に変
化画像として再生表示される。すなわち、図3に示すよ
うに、変化画像中の変化のあるブロックのDCT値を基
本画像のDCT値に加算して合成することにより、変化
画像を再生することができる。
【0021】なお、上記実施例ではJPEG方式を例に
とって説明したが、本発明は変化する画像を伝送する他
の方式の画像伝送にも適用することが可能である。ま
た、直交変換としてDCT(離散コサイン変換)を例に
とって説明したが、画像伝送の方式に応じて種々な直交
変換方式を用いることも可能である。
【0022】
【発明の効果】以上説明したように、本発明の画像伝送
方法によれば、変化画像中のブロックの内で基本画像に
対して所定以上の変化が有るものについてのみ直交変換
値を伝送し、受信側でこのブロックを基本画像に合成し
て変化画像を再生するようにしたため、画像データの伝
送量が大幅に削減され、これによって、高価な高速伝送
路を必要とすることなく画像伝送の大幅な迅速化を実現
することができる。特に、本発明は、対象物以外の画像
部分には変化が少ない画像を伝送する監視装置に適用し
た場合には顕著な効果を奏する。
【図面の簡単な説明】
【図1】本発明の一実施例に係る伝送装置の構成を示す
ブロック図である。
【図2】DCT値の差分の例を示す概念図である。
【図3】本発明の一実施例に係る画像伝送を示す説明図
である。
【図4】従来の画像伝送方法に係る装置の構成を示すブ
ロック図である。
【符号の説明】 30 送信局 32 DCT演算器 33 量子化器 36 DCT差分検出器 37 エントロピー符号器 40 伝送路 50 受信局 52 エントロピー復号器 55 DCT差分合成器 57 逆量子化器 58 IDCT演算器

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 画像を複数の分割したブロック毎の直交
    変換および直交変換された画像データのエントロピー符
    号化を行って圧縮した画像データを伝送する画像伝送方
    法において、 送信側では、基本となる基本画像と当該基本画像が変化
    した変化画像との画像データの量子化した後の直交変換
    値の差分を求め、 当該差分値が所定の閾値より大きいブロックについての
    み画像データをエントロピー符号化して伝送し、 受信側では、伝送されてきた画像データをエントロピー
    復号化し、復号化した画像データの直交変換値を基本画
    像の直交変換値に加算し、加算した直交変換値を逆量子
    化および直交逆変換して、変化画像を再生することを特
    徴とする画像伝送方法。
JP18409894A 1994-07-13 1994-07-13 画像伝送方法 Expired - Fee Related JP3647899B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18409894A JP3647899B2 (ja) 1994-07-13 1994-07-13 画像伝送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18409894A JP3647899B2 (ja) 1994-07-13 1994-07-13 画像伝送方法

Publications (2)

Publication Number Publication Date
JPH0832966A true JPH0832966A (ja) 1996-02-02
JP3647899B2 JP3647899B2 (ja) 2005-05-18

Family

ID=16147363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18409894A Expired - Fee Related JP3647899B2 (ja) 1994-07-13 1994-07-13 画像伝送方法

Country Status (1)

Country Link
JP (1) JP3647899B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078767A (ja) * 2001-09-04 2003-03-14 Canon Inc 画像処理方法及び装置
JP2010050616A (ja) * 2008-08-20 2010-03-04 Sony Corp 記録装置および記録方法、再生装置および再生方法、プログラム、並びに記録再生装置
JP2011114770A (ja) * 2009-11-30 2011-06-09 Mitsubishi Electric Corp 画像符号化装置、画像復号化装置、画像符号化・復号化システム及びその方法
JP2014067444A (ja) * 2013-12-18 2014-04-17 Sharp Corp 情報機器、画像処理装置、情報機器と通信可能な情報処理装置およびそれらを含む情報処理システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078767A (ja) * 2001-09-04 2003-03-14 Canon Inc 画像処理方法及び装置
JP4678814B2 (ja) * 2001-09-04 2011-04-27 キヤノン株式会社 画像処理方法及び装置
JP2010050616A (ja) * 2008-08-20 2010-03-04 Sony Corp 記録装置および記録方法、再生装置および再生方法、プログラム、並びに記録再生装置
JP2011114770A (ja) * 2009-11-30 2011-06-09 Mitsubishi Electric Corp 画像符号化装置、画像復号化装置、画像符号化・復号化システム及びその方法
JP2014067444A (ja) * 2013-12-18 2014-04-17 Sharp Corp 情報機器、画像処理装置、情報機器と通信可能な情報処理装置およびそれらを含む情報処理システム

Also Published As

Publication number Publication date
JP3647899B2 (ja) 2005-05-18

Similar Documents

Publication Publication Date Title
JP5777080B2 (ja) 合成ビデオのためのロスレス・コード化および関連するシグナリング方法
US7519228B2 (en) Method and apparatus for encrypting and compressing multimedia data
JP3851350B2 (ja) 画像データ前処理方法及び装置
EP2046049A2 (en) Method and system for processing image at high speed
US20090323819A1 (en) Method and apparatus for temporal wavelet compression
US20040101052A1 (en) Fine granularity scalability encoding/decoding apparatus and method
US6987808B2 (en) Transcoding method and transcoding apparatus
EP2054841B1 (en) Method and apparatus for transferring digital data between circuits
JPH09200757A (ja) 符号化装置、復号化装置およびデータ伝送装置
JP3647899B2 (ja) 画像伝送方法
JPH0832974A (ja) 画像伝送方法
JPH0487460A (ja) 画像処理装置
JPH05284368A (ja) 画像データ符号化・復元方法及びその装置
JPH07222173A (ja) 画像処理装置
JPH03283989A (ja) カラー画像符号化方式
JPH02122767A (ja) 画像信号の符号化復号化方式
Tiwari et al. A comparative study on image and video compression techniques
KR100195187B1 (ko) 일정압축률 정지영상 압축 장치 및 그 방법
WO1999025121A1 (en) Method for compressing and decompressing motion video
JP2776425B2 (ja) セル廃棄補償画像復号化方式
JPH09107481A (ja) カラーファクシミリ装置
JP4238408B2 (ja) 画像圧縮装置
JPH0698175A (ja) 画像・データ多重化回路
JP2760711B2 (ja) 画像符号化装置及び画像復号化装置
JPH06338802A (ja) 再圧縮装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050210

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090218

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees