JP2507199B2 - 画像符号化方法及び装置 - Google Patents

画像符号化方法及び装置

Info

Publication number
JP2507199B2
JP2507199B2 JP14444591A JP14444591A JP2507199B2 JP 2507199 B2 JP2507199 B2 JP 2507199B2 JP 14444591 A JP14444591 A JP 14444591A JP 14444591 A JP14444591 A JP 14444591A JP 2507199 B2 JP2507199 B2 JP 2507199B2
Authority
JP
Japan
Prior art keywords
block
frame
field
small
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP14444591A
Other languages
English (en)
Other versions
JPH04369192A (ja
Inventor
俊也 ▲たか▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP14444591A priority Critical patent/JP2507199B2/ja
Priority to US07/871,697 priority patent/US5347309A/en
Priority to EP19920303660 priority patent/EP0510972A3/en
Priority to KR1019920006942A priority patent/KR960001959B1/ko
Publication of JPH04369192A publication Critical patent/JPH04369192A/ja
Priority to US08/590,212 priority patent/US5784107A/en
Application granted granted Critical
Publication of JP2507199B2 publication Critical patent/JP2507199B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、デジタル画像を圧縮し
て伝送、記録する際に用いる画像符号化方法および画像
符号化装置に関するものである。
【0002】
【従来の技術】デジタル画像の転送レートは数100M
〜数Gbpsに達し、そのままの転送レートで伝送するに
は通信コストが高くなり、記録するには記録容量が不足
する。そこで、従来から画質劣化を最小限にとどめ、か
つ転送レートを下げる画像符号化方法及び装置が開発さ
れてきた。
【0003】以下図面を参照しながら、上述した従来の
画像符号化方法及び装置の一例である、動き補償フレー
ム間差分2次元DCTについて説明する。
【0004】(図6)は動き補償フレーム間差分2次元
DCTのブロック図、(図7)(図8)(図9)(図1
0)は動き補償フレーム間差分2次元DCTの動作の説
明図である。(図6)において、1は2次元ブロック化
回路、3は符号化回路でありDCT回路31、量子化器
32よりなる。また、51はフィールド内・フィールド
間切り替え信号、52は減算器、6は予測回路で、この
予測回路6は、逆量子化器53、逆DCT回路54、フ
レームメモリ55、動き補償フレーム間予測回路56、
動き検出回路57より構成される。
【0005】以上のように構成された従来の画像符号化
装置について、以下その動作を説明する。
【0006】入力する画像はインターレース走査されて
いるものとする。(図7)は入力画像の画素の時間空間
配置図で、図の横軸が時間方向、縦軸が垂直方向即ちラ
イン方向を示している。画素はインターレースによっ
て、図のように垂直1ラインごとに時間がずれた位置に
配置される。同図において、時間軸が等しい画素の集合
をフィールド、時間軸が異なる2枚のフィールドを合わ
せてフレームと一般的に称し、例えばフレームtはフィ
ールド1、フィールド2より構成される。
【0007】(図6)に示した画像符号化装置は、すべ
て上述したフィールドを単位として符号化する。(図
8)は(図7)の画像を入力した際の、符号化方法の説
明図である。符号化の最初のフレーム、すなわちフレー
ムtの画像は、フィールド内・フィールド間切り替え信
号51により、フィールド内符号化に切り替えられ、差
分を取ることなく、フィールドごとにフィールド内符号
化する。すなわち、画像データは、まず2次元ブロック
化回路1で2次元ブロック化し、次に前記2次元ブロッ
ク単位でDCT回路31で変換係数に変換し、量子化器
32で変換係数を量子化した後、伝送路に送出する。
【0008】一般的に画像は相関が高いため、DCTを
行なうと、低い周波数成分に対応する変換係数にエネル
ギーが集中する。従って、視覚的に目立たない高い周波
数成分をあらく、重要な成分である低い周波数成分を細
かく量子化を行なうことで、画質劣化を最小限にとど
め、かつデータ量を減らすことが可能となる。前記伝送
路に送出した量子化後の変換係数は、同時に逆量子化器
53、逆DCT変換回路54を経て実時間データに戻
し、フレームメモリ55に蓄える。
【0009】一方、(t+1)フレーム以降の画像は、
フィールドごとにフレーム間差分符号化するが、まず動
き検出回路57において、例えば良く知られた、全探索
方法を用いて、前記2次元ブロック単位にフレーム間動
きベクトルを求める。このフレーム間とは、tフレーム
の第1フィールドは(t+1)フレームの第1フィール
ドと、tフレームの第2フィールドは(t+1)フレー
ムの第2フィールドと動き検出を行なうということであ
る。動き補償フレーム間予測回路56は前記検出した動
きベクトルを用いて、次のフレームの動き補償した予測
値を前記2次元ブロック単位で生成する。(t+1)フ
レーム画像は、まずtフレームから上述した方法で生成
した予測値と差分、すなわち予測誤差を減算器52でと
る。その後、前記した予測誤差をフィールドごとに、t
フレームと同様の方法で符号化する。(t+2)フレー
ム以降は、(t+1)フレームと同様の方法で予測誤差
を符号化する。
【0010】以上の方法によれば、予測誤差を符号化す
ることになるので、フレーム内符号化のように、画像デ
ータを直接符号化する場合に比べ、エネルギーが減少
し、さらに高効率な符号化が可能となる(例えば、羽
鳥、橋本、”動画像の符号化方式”、テレビジョン学会
誌Vol.44, No.1, pp47〜54 (1990))。
【0011】
【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、フィールドを単位としているため垂直方
向の相関が利用できない。(図7)に示したように、フ
ィールドどうしは時間空間の位置が異なるが、一般的に
フィールド間の画像は相関が高い。例えば静止画では、
時間が異なっても画像が変化せず、(図8)における
x,y,z点を考えた場合、x,z点の相関よりも、
x,y点の相関の方が高い。そこで、次に(図9)に示
したように、フィールド1とフィールド2を組合わせ
て、フレームを作り、組み合わせたフレームを単位とし
て符号化することが考えられる。(図10)は、フィー
ルドを組み合わせてフレームを作った例で、水平垂直の
2次元平面として表している。同図では、三角形が左か
ら右へパニングしているが、同図の三角形の斜辺のよう
に、単純にフィールドを組み合わせたフレームは、動き
の大きな画像の場合、垂直方向の相関が低下する部分が
発生し、符号化の際に画質劣化の原因となるという問題
点を有していた。
【0012】本発明は上記問題点に鑑み、動きの大きな
画像でも画質劣化を招くことなく、かつ高効率な画像符
号化方法および装置を提供するものである。
【0013】
【課題を解決するための手段】上記問題点を解決するた
めに本発明の画像符号化方法は、インターレス走査され
ている画像を符号化する方法であって、まずインターレ
ス走査されている画像データを2次元ブロックに分割
し、次に前記2次元ブロックの、フィールドデータで構
成したフィールド小ブロックとフレームデータで構成し
たフレーム小ブロックの各アクティビティを比較し、最
後に前記比較結果に基づいて前記フィールド小ブロック
あるいは前記フレーム小ブロックのいずれか一方を符号
化するという構成を備えたものである。
【0014】
【作用】本発明は上記した構成によって、動きの大きな
部分はフィールド小ブロックの符号化を、動きのない部
分では垂直相関を利用したフレーム小ブロックの符号化
をそれぞれ行なうため、動きの大きな部分でも画質劣化
することなく、かつ高効率な画像符号化が行なえること
となる。
【0015】
【実施例】以下本発明の第1の実施例における画像符号
化方法及び画像符号化装置について、図面を参照しなが
ら説明する。
【0016】(図1)は本発明の第1の実施例における
画像符号化装置のブロック図、(図2)はフィールド及
びフレーム小ブロックの構成方法の説明図、(図3)
(図4)はフィールド・フレーム小ブロック化回路の詳
細な構成図である。(図1)において、1は2次元ブロ
ック化回路、2はフィールド・フレーム小ブロック化回
路、3は符号化回路で、31のDCT回路、32の量子
化器より構成されている。
【0017】以上のように構成された画像符号化装置に
ついて以下(図1)、(図2)及び(図3)(図4)を
用いて説明する。
【0018】入力した画像は、2次元ブロック化回路1
で、ある大きさの2次元ブロックに分割する。ここで
は、例として、16(水平)×16(垂直)画素の2次
元ブロックを考える。次に、フィールド・フレーム小ブ
ロック化回路2は、前記16×16の2次元ブロックを
入力し、まず8×8×4個のフィールド小ブロック及び
フレーム小ブロックに分割する。(図2)が分割の例で
ある。ここでは、16×16の2次元ブロックは16×
8の第1フィールドの2次元ブロック、及び16×8の
第2フィールド2次元ブロックよりなる。フィールド小
ブロックは、第1フィールドのデータのみで構成された
8×8画素×2個の小ブロック及び第2フィールドのデ
ータのみで構成された8×8画素×2個の小ブロック、
の計4個の小ブロックに分割される。一方、フレーム小
ブロックは第1フィールド、及び第2フィールドのデー
タを、それぞれ1ライン毎に交互に組み合わせた8×8
の4個の小ブロックとなっている
【0019】次にフィールド・フレーム小ブロック化回
路2は、フィールド小ブロックまたはフレーム小ブロッ
クのいずれか一方を、アクティビティを指標として選択
し、出力する。アクティビティは例えば以下のように計
算する。今、フィールド小ブロックの画素データをSb
i(x,y,n)(x:水平画素アドレス,1≦x≦
8,y:垂直画素アドレス,1≦y≦8,n:小ブロッ
クアドレス1≦n≦4)とする。最初に各小ブロックの
平均値mi(n)を求める。次に、平均値mi(n)を
用いて各小ブロックのACエネルギを求め、各小ブロッ
クのACエネルギの和Eiを計算する。これをフィール
ド小ブロックのアクティビティとする。Eiを式で表す
と、次のようになる。
【0020】
【数1】
【0021】フレーム小ブロックのACエネルギの和E
rであるフレーム小ブロックのアクティビティも、同様
の方法で計算し、以上で求めたEiとErの差(Ei−
Er)を2次元ブロックのアクティビティとする。次
に、前記2次元ブロックのアクティビティ(Ei−E
r)を、実験的に定めた定数αと比較し、(Ei−E
r)<αならばフィールド小ブロックを、(Ei−E
r)>αならばフレーム小ブロックを選択し、出力す
る。定数αは簡単には0で良い。同時に、フィールド・
フレーム小ブロック化回路2は、フィールドまたはフレ
ーム小ブロックのどちらを選択したかを示すフィールド
・フレーム選択信号21も出力する。前記フィールド・
フレーム選択信号21は、符号化回路3の出力ととも
に、復号器に送る。
【0022】フィールドあるいはフレーム小ブロック
は、次に符号化回路3で符号化し、伝送路に送出する。
ここでは、符号化回路3として、従来例と同様の動作を
行なうDCT回路31及び量子化器32を用いている。
【0023】以上の装置によれば、動きの大きなブロッ
クはフィールド間差分が大きいためアクティビティ(Ei
- Er)<αとなり、フィールド小ブロックが選択され
る。従って、動きを抑圧することなく符号化できる。動
きのほとんどないブロックは逆にフィールド間の差分が
小さいためアクティビティ(Ei - Er)>αとなり、フレ
ーム小ブロックが選択され、垂直相関を利用した符号化
が行なえる。すなわち、画像の局所的な動きに応じて最
適な符号化が可能となり、動きの大小によらず効率の高
い符号化が実現できる。
【0024】(図3)は、上記したフィールド・フレー
ム小ブロック化回路2の詳細な構成図の一例である。こ
の例では、フィールド、フレーム小ブロック化回路2
を、2次元ブロックを入力し、フィールド又はフレーム
小ブロックを出力するバッファメモリ22と、バッファ
メモリ22のアドレスを発生するアドレス発生回路23
と、アクティビティを計算しフィールド又はフレーム小
ブロックのどちらか一方を選択し、アドレス発生回路2
3及びバッファメモリ22を制御するCPU24で構成
している。また同時にCPU24は、フィールド又はフ
レーム小ブロックのどちらを選択したかを示すフィール
ド・フレーム選択信号21も出力する。
【0025】(図4)は、CPU24のアルゴリズムを
示すフローチャートである。同図は、上述した例と同様
に、16×16画素で構成した2次元ブロックを入力
し、前記2次元ブロックを、8×8×4個のフィールド
又はフレーム小ブロックのどちらか一方を出力する場合
の例である。
【0026】(図5)は本発明の第2の実施例における
画像符号化装置のブロック図で、2次元ブロック化回路
1、フィールド・フレーム小ブロック化回路2、符号化
回路3は第1の実施例と同じもので、さらに予測回路
4、減算器5が追加されている。
【0027】以上のように構成された画像符号化装置に
ついて、以下(図5)を用いて説明する。
【0028】入力した画像は、第1の実施例と同様にま
ず2次元ブロック化回路で2次元ブロックに分割す
る。符号化の最初のフレームは、フレーム内・フレーム
間切り替え信号51の入力でフレーム内符号化に切り替
えられる。フレーム内符号化の方法は第1の実施例と同
様である。2番目以降のフレームは、予測回路4で出力
した予測値との差分を、2次元ブロック単位で減算器5
で計算し、計算の結果得られた予測誤差を符号化する。
予測誤差の符号化の方法は、フレーム内符号化すなわち
第1の実施例と同様である。また予測回路4は、従来例
と同様の動作をする逆量子化器53、逆DCT回路5
4、フレームメモリ55、動き補償フレーム間予測回路
56、動き検出回路57を用いて、従来例と同様の方法
で予測値を計算するが、本実施例ではフィールド又はフ
レーム小ブロックのいずれかに分割してあるので、前記
小ブロックを2次元ブロックに戻す、フィールド・フレ
ーム逆ブロック化回路59が、逆DCT回路54の次に
挿入してある。
【0029】以上のように、画像符号化装置を構成する
ことにより、フレーム内符号化のみでなく、フレーム間
符号化に対しても、第1の実施例と同様の効果を得るこ
とができる。
【0030】なお以上の実施例では、符号化回路3の例
としてDCT回路を例にとり説明したが、これに限るも
のではなく、アダマール変換、フーリエ変換などの直交
変換や、ベクトル量子化など2次元ブロックを用いるも
のであれば何でも用いることができる。
【0031】
【発明の効果】以上のように本発明は、まずインターレ
ス走査されている画像データを2次元ブロックに分割
し、次に前記2次元ブロックの、フィールドデータで構
成したフィールド小ブロックとフレームデータで構成し
たフレーム小ブロックの各アクティビティを比較し、最
後に前記比較結果に基づいて、前記各アクティビティの
差が小さい時には前記フィールド小ブロックを、前記各
アクティビティの差が大きい時には前記フレーム小ブロ
ックを符号化するため、動きの大きな部分でも画質劣化
することなく、かつ高効率な画像符号化を実現できる。
【図面の簡単な説明】
【図1】本発明の第1の実施例における画像符号化装置
のブロック図である。
【図2】本発明のフィールド及びフレーム小ブロックの
構成方法の説明図である。
【図3】本発明のフィールド・フレーム小ブロック化回
路の詳細な構成図である。
【図4】CPUのアルゴリズムを示すフローチャートで
ある。
【図5】本発明の第2の実施例における画像符号化装置
のブロック図である。
【図6】動き補償フレーム間差分2次元DCTのブロッ
ク図である。
【図7】動き補償フレーム間差分2次元DCTの動作の
説明図である。
【図8】動き補償フレーム間差分2次元DCTの動作の
説明図である。
【図9】動き補償フレーム間差分2次元DCTの動作の
説明図である。
【図10】動き補償フレーム間差分2次元DCTの動作
の説明図である。
【符号の説明】
1 2次元ブロック化回路 2 フィールド・フレーム小ブロック化回路 3 符号化回路 4 予測回路 5 減算器 21 フィールド・フレーム選択信号 22 バッファメモリ 23 アドレス発生回路 24 CPU

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 インターレス走査されている画像を符号
    化する方法であって、 まずインターレス走査されている
    画像データを2次元ブロックに分割し、次に前記2次元
    ブロックの、フィールドデータで構成したフィールド小
    ブロックとフレームデータで構成したフレーム小ブロッ
    クの各アクティビティを比較し、最後に前記比較結果に
    基づいて前記フィールド小ブロックあるいは前記フレー
    ム小ブロックのいずれか一方を符号化することを特徴と
    する画像符号化方法。
  2. 【請求項2】 インターレス走査されている画像を符号
    化する方法であって、 まずインターレス走査されている
    画像データを2次元ブロックに分割し、次に前記2次元
    ブロックと前記2次元ブロックの予測値との差分を求め
    予測誤差2次元ブロックとし、さらにこの予測誤差2次
    元ブロックの、フィールドデータで構成したフィールド
    小ブロックとフレームデータで構成したフレーム小ブロ
    ックの各アクティビティを比較し、最後に前記比較結果
    に基づいて前記フィールド小ブロックあるいは前記フレ
    ーム小ブロックのいずれか一方を符号化することを特徴
    とする画像符号化方法。
  3. 【請求項3】 2次元ブロック或いは予測誤差2次元ブ
    ロック内のフィールドデータで構成したフィールド小ブ
    ロックのアクティビティをそのACエネルギの和Ei
    と、前記2次元ブロック或いは予測誤差2次元ブロック
    内のフレームデータで構成したフレーム小ブロックのア
    クティビティをそのACエネルギの和Erとし、前記各
    アクティビティの差(Ei−Er)を前記2次元ブロッ
    クのアクティビティとし、前記2次元ブロックのアクテ
    ィビティが定数αより小さい時には前記フィールド小ブ
    ロックを、大きい時には前記フレーム小ブロックをそれ
    ぞれを符号化することを特徴とする請求項1または請求
    項2記載の画像符号化方法。
  4. 【請求項4】 インターレス走査した画像データ2次
    元ブロックに分割する手段と、前記2次元ブロックの
    フィールドデータで構成したフィールド小ブロックとフ
    レームデータで構成したフレーム小ブロックの各アクテ
    ィビティを比較する手段と、その比較結果に基づいて前
    記フィールド小ブロックあるいは前記フレーム小ブロッ
    クのいずれか一方を符号化する手段とを有することを特
    徴とする画像符号化装置。
  5. 【請求項5】 インターレス走査した画像データ2次
    元ブロックに分割する手段と、前記2次元ブロックの予
    測値を発生する手段と、前記2次元ブロックと前記予測
    値との差分を計算し予測誤差2次元ブロックを求める
    と、前記予測誤差2次元ブロックの、フィールドデー
    タで構成したフィールド小ブロックとフレームデータで
    構成したフレーム小ブロックの各アクティビティを比較
    する手段と、その比較結果に基づいて前記フィールド小
    ブロックあるいは前記フレーム小ブロックのいずれか一
    を符号化する手段とを有することを特徴とする画像符
    号化装置。
JP14444591A 1991-04-25 1991-06-17 画像符号化方法及び装置 Expired - Lifetime JP2507199B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP14444591A JP2507199B2 (ja) 1991-06-17 1991-06-17 画像符号化方法及び装置
US07/871,697 US5347309A (en) 1991-04-25 1992-04-21 Image coding method and apparatus
EP19920303660 EP0510972A3 (en) 1991-04-25 1992-04-23 Image coding method and apparatus
KR1019920006942A KR960001959B1 (ko) 1991-04-25 1992-04-24 화상부호화방법 및 장치
US08/590,212 US5784107A (en) 1991-06-17 1996-01-23 Method and apparatus for picture coding and method and apparatus for picture decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14444591A JP2507199B2 (ja) 1991-06-17 1991-06-17 画像符号化方法及び装置

Publications (2)

Publication Number Publication Date
JPH04369192A JPH04369192A (ja) 1992-12-21
JP2507199B2 true JP2507199B2 (ja) 1996-06-12

Family

ID=15362394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14444591A Expired - Lifetime JP2507199B2 (ja) 1991-04-25 1991-06-17 画像符号化方法及び装置

Country Status (1)

Country Link
JP (1) JP2507199B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
JP3164647B2 (ja) * 1992-06-03 2001-05-08 株式会社東芝 動画像符号化方法及び装置
JP2005051276A (ja) * 2001-04-25 2005-02-24 Sony Corp 画像処理装置
JP4229323B2 (ja) 2003-09-05 2009-02-25 株式会社リコー 符号化装置、符号化方法及びプログラム
JP5206772B2 (ja) * 2010-11-22 2013-06-12 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8700565A (nl) * 1987-03-10 1988-10-03 Philips Nv Televisiesysteem waarin aan een transformatiekodering onderworpen gedigitaliseerde beeldsignalen worden overgebracht van een kodeerstation naar een dekodeerstation.
JP2562499B2 (ja) * 1989-05-29 1996-12-11 日本電信電話株式会社 高能率画像符号化装置およびその復号化装置

Also Published As

Publication number Publication date
JPH04369192A (ja) 1992-12-21

Similar Documents

Publication Publication Date Title
US5453799A (en) Unified motion estimation architecture
KR960001959B1 (ko) 화상부호화방법 및 장치
JP4851741B2 (ja) ソース画像のシーケンスを符号化する方法及び装置
US6816617B2 (en) Motion vector searcher and motion vector search method as well as moving picture coding apparatus
JPH05276502A (ja) 映像データ圧縮システムにおいてフィールド群を処理する装置及び方法
KR19990067723A (ko) 비디오 프레임 시퀀스의 인코딩 방법 및 시스템과, 제조 물품
WO2003043344A2 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
WO2011080806A1 (ja) 動画像符号化装置および動画像復号装置
JP2684941B2 (ja) 画像符号化方法及び画像符号化装置
US5614954A (en) Motion compensation apparatus for use in an image encoding system
JP2001508632A (ja) 動き補償予測画像符号化および復号化
JP3586474B2 (ja) デジタル信号符号化装置
US7613351B2 (en) Video decoder with deblocker within decoding loop
WO2003056838A1 (en) Moving picture compression/coding apparatus and motion vector detection method
JP2507199B2 (ja) 画像符号化方法及び装置
JPH04127689A (ja) 動画像予測符号化方式
JP2947103B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2624013B2 (ja) 画像符号化方法及び装置
JPH0698311A (ja) 画像信号の高能率符号化及び復号化装置
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
KR100207391B1 (ko) 적응적인 벡터 양자화를 이용한 영상 부호화 시스템 및 그의 움직임 정보 검출 방법
JP5533885B2 (ja) 動画像符号化装置および動画像復号装置
JPH04213987A (ja) 画像データの高能率符号化装置
JPH05236456A (ja) 動画像符号化方法および装置
JP3166835B2 (ja) 動画像の高能率符号化方法及び装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080402

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090402

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100402

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110402

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 16

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 16