JPH099265A - 画像符号化装置及び方法 - Google Patents

画像符号化装置及び方法

Info

Publication number
JPH099265A
JPH099265A JP15614695A JP15614695A JPH099265A JP H099265 A JPH099265 A JP H099265A JP 15614695 A JP15614695 A JP 15614695A JP 15614695 A JP15614695 A JP 15614695A JP H099265 A JPH099265 A JP H099265A
Authority
JP
Japan
Prior art keywords
block
plane
coding
encoding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP15614695A
Other languages
English (en)
Other versions
JP3689454B2 (ja
Inventor
Hiroshi Kajiwara
浩 梶原
Koji Hirabayashi
康二 平林
Tadashi Yoshida
正 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP15614695A priority Critical patent/JP3689454B2/ja
Priority to EP96304626A priority patent/EP0750428B1/en
Priority to DE69631999T priority patent/DE69631999T2/de
Priority to US08/668,635 priority patent/US6061474A/en
Publication of JPH099265A publication Critical patent/JPH099265A/ja
Application granted granted Critical
Publication of JP3689454B2 publication Critical patent/JP3689454B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Abstract

(57)【要約】 【目的】 多値データを効率良く符号化する。 【構成】 入力された画像データブロック毎に近似面を
求め、近似面を特定する情報と、該近似面とブロックの
差分値を符号化する第1の符号化手段(103)と、ブ
ロック毎に複数の予測方式から予測方式を選択し、選択
した予測方式により符号化を行う第2の符号化手段(1
06〜109)と、ブロック毎に前記第1の符号化手段
と前記第2の符号化手段の一方を選択する手段(11
3)とを有することを特徴とする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像の符号化、特に入力
画像をブロック単位で符号化する装置及び方法に関する
ものである。
【0002】
【従来の技術】従来、画像符号化装置では、予測符号化
方式が用いられている。
【0003】予測符号化方式は、符号化対照となる画素
の値を周辺画素値から予測し、予測値と着目画素値との
差分をエントロピー符号化し、伝送するものである。本
方式は、予測方式により発生符号量が左右されるが、最
適な予測方式は画像の部分部分で異なる。このため、本
方式を効率良く適用する方法として、画像をブロック分
割し、ブロック毎に最適な予測方式を選び、予測方式を
特定するための情報を付加して符号を生成するといった
方法が一般に用いられる。
【0004】また、本願と同日付特許出願において平面
符号化方式が提案されており、これは、画像をブロック
に分割し、ブロック毎に近似平面を求め、その近似平面
を特定するための情報と、近似平面と実際の画素値との
差分を符号化するものである。この方式は、大きなブロ
ック毎に適用し、かつ、その近似度が高い時に最も効果
がある。
【0005】
【発明が解決しようとしている課題】しかしながら、従
来の画像符号化装置で用いられる予測符号化及び本出願
人により別途提案されている平面符号化の二つの方式は
各々欠点がある。
【0006】まず、前述した予測符号化方式では、ノイ
ズが乗った平面を符号化する場合に、より分散値の大き
な予測誤差を符号化するため効率は悪くなる。
【0007】また、ブロック毎に予測方式を切り換える
方法は、最適な予測方式が各ブロックで異なる場合には
有効であるものの、画像の背景部分などの大きな領域で
予測方式が一致するような所では付加情報を伝送するこ
とは有効ではない。
【0008】一方、平面符号化方式は、符号化対照画像
が周波数の高い画像ブロックでは予測誤差が大きくな
り、期待する圧縮効果を得ることができない。
【0009】本発明は、上述の問題点に鑑みてなされた
ものであり、画像符号化の効率を上げることを目的とす
る。
【0010】
【課題を解決するための手段及び作用】上記課題を解決
するため、本発明の画像符号化装置は、入力された画像
データブロック毎に近似面を求め、近似面を特定する情
報と、該近似面とブロックの差分値を符号化する第1の
符号化手段と、ブロック毎に複数の予測方式から予測方
式を選択し、選択した予測方式により符号化を行う第2
の符号化手段と、ブロック毎に前記第1の符号化手段と
前記第2の符号化手段の一方を選択する手段とを有する
ことを特徴とする。
【0011】
【実施例】本発明の実施例を図面を参照して詳細に説明
する。
【0012】(第1の実施例)図1に本発明に係る第1
の実施例のブロック図を示す。同図に於いて100はイ
メージリーダー、テレビカメラやホストコンピュータ等
画像データを発生する画像入力部、101は入力された
画像データを格納するメモリ102は画素毎の画像デー
タをブロック化するブロック生成回路、103は平面符
号化回路、104はタイミング調整のためのバッファ、
105はブロック生成回路におけるブロックを更に小ブ
ロックに分割するサブブロック生成回路、106,10
7,108,109は夫々互いに異なる方法で予測符号
化を行う予測符号化回路、110はセレクタ、111は
情報付加回路、112はタイミング調整用のバッファ、
113はセレクタ、114は情報付加回路、115,1
16,117,118は信号線、119は符号データ等
を外部メモリや外部機器へ出力するための出力部であ
る。
【0013】また、図2に、予測符号化回路106,1
07,108,109で利用する周辺画素a,b,cの
位置を示す。同図においてxは着目画素を示しており、
このxに対する相対的位置によってa,b,cが定ま
る。
【0014】まず、画像入力部100からメモリ101
に符号化対象となる画像データが格納される。ブロック
生成回路102は16(画素)×16(画素)のブロッ
ク単位で画像データをメモリ101から順次取り出し格
納する。但し、このときに図3に示すように16×16
のブロックの左と上の一画素分のデータも合わせて取り
出し、保持しておく。平面符号化回路103はブロック
生成回路102に格納された16×16のブロックを近
似する平面αx+βy+γ,(x,y=0…15)を求
め、パラメータα,β,γの値、および、近似平面とブ
ロック内の各画素値との差分値をハフマン符号化し、バ
ッファ104に格納する。平面符号化回路103の詳細
については後述する。
【0015】一方、サブブロック生成回路105は、ブ
ロック生成回路102に、格納された16×16のブロ
ックから、8×8のサブブロックを順次取り出し、格納
する。このとき8×8のブロックの左と上の一画素分の
データも合わせて取り出し、保持しておく。予測符号化
回路106は、サブブロック生成回路105の保持して
いる8×8のサブブロック内の各画素についてx−aを
求め、これをハフマン符号化する。同様に、予測符号化
回路107はx−bを、予測符号化回路108はx−c
を、予測符号化回路109はx−a−b+cをハフマン
符号化する。セレクタ110は予測符号化器106,1
07,108,109から出力された符号データの中
で、もっとも符号量の少ないものを選択し、その符号列
を信号線116に出力するとともに、どの予測符号化回
路を選択したかを特定するための2ビットの識別データ
Iを信号線115に出力する。情報付加回路111は信
号線116の符号列の先頭に、信号線115からの識別
データIを付加し、バッファ112に格納する。8×8
のサブブロック4つに対してこの処理を行うことによ
り、バッファ112に16×16の1ブロック分の符号
が格納される。
【0016】セレクタ113は、バッファ104とバッ
ファ112の符号量を比較し、少ない方を取り出し信号
線118に出力する。また、信号線117にバッファ1
04とバッファ112のどちらから取り出したかを特定
するための1ビットの識別データIIを出力する。情報
付加回路114は、信号線118の符号列の先頭に信号
線117からの識別データIIを付加して出力部119
へ出力する。
【0017】以上のような処理をメモリ101に格納さ
れる画像の最後のブロックまで繰り返すことにより符号
を生成する。
【0018】図4に平面符号化回路103の構成を示
す。
【0019】図4において201は平面算出器、202
は平面データ生成器、203はバッファ、204は差分
器、205はパラメータ符号器、206はハフマン符号
器、207は多重化器である。
【0020】本実施例において、符号化対象の画像デー
タは、1画素8ビットの階調画像とする。
【0021】符号化はブロック単位で行われる。ブロッ
ク生成回路201からの16×16のブロックデータ
は、信号線208,209を介して、平面算出器201
及びバッファ203に送られる。
【0022】平面算出器201は後に述べる方法により
平面を定義するパラメータa,b,cθ及びmを算出
し、これを210,211,212を介して平面生成器
202及びパラメータ符号器205に送る。平面生成器
202は受け取ったパラメータに従い、平面データを生
成し、これを214に向け出力する。これと、213よ
りの入力ブロック画像データとの差分が差分器204に
よってブロック内の画素毎に演算され、平面予測誤差の
値が画素毎にハフマン符号器206に送られる。ハフマ
ン符号器206は内蔵するハフマンテーブルに従ってハ
フマンコードを割りふり、コードデータを217に出力
する。
【0023】一方信号線211よりパラメータ符号器2
05に入力されたパラメータは、適当なビット数で符号
化され、216より多重化器207に送られる。多重化
器207は、216より送られるパラメータ符号と、2
17より送られる差分符号とを予め定められた順に並
べ、一連のビットストリームとしてバッファ104へ出
力する。
【0024】次に平面算出器201の動作について説明
する。入力されるN×N(本実施例ではN=16)画素
の左上の画素値をまずCθとする。ブロック内の画素座
標(x,y)における画素値をdxyとするとき、以下
の統計をとる。
【0025】
【外1】 max( )は大きい方、min( )は小さい方を各
々表すものとする。これによりmは1〜16の値をと
る。さらにこのmを用いてa,bを正規化・量子化す
る。
【0026】
【外2】 は切り捨てを表すものとする。
【0027】これにより、a,b共に0〜255の値に
量子化される。
【0028】はじめに算出したmが16である場合に
は、a and/or bが0より小さいもしくは25
5を越える値となりうるのでこれらをクリッピングし、
0〜255のレンジを守るものとする。a,bがこのよ
うにして8bitの値になった後、mは1を減じられ、
0〜15の4bitの値にされる。
【0029】以上の操作によって得られるものは、ブロ
ックの左上画素を通る平面をZ=ax+by+Cθと書
き、左上画素位置を(0,0,Cθ)としたときの、最
小自乗誤差に基づくベストフィット面を与えるパラメー
タである。
【0030】全パラメータの算出が終ると、平面算出器
201は、これらの値、a,b,Cθ各8bit、及び
m4bitを出力する。
【0031】次に平面生成器202の動作について説明
する。
【0032】平面生成器202は、106より前に説明
した平面パラメータ、a,b,Cθ,mをうとけり、こ
れにより予測ブロックを生成する。すなわち、 a′=(m+1)(a−128)256、b′=(m+
1)(b−128)256 によりa′,b′を求め、これを用いて(i,j)座標
(i,j共0〜N−1の整数)の画素値dij
【0033】
【外3】 により生成するものである。このようにして生成された
ブロックデータは214に出力される。
【0034】なお上述の実施例に於いては、ブロック内
の全画素を符号化したが、ブロック内を更にサブブロ
ックに分割し、サブブロック毎に符号化対象か否かを示
す符号を付加してもよいし、1ビットのブロックに対
応したプレーンを持って、画素毎に符号化対象か否かを
決めてもよい。特にこの補足部分に簡単に記した方法
は、画像内の比較的複雑な部分に対して有効となる。
【0035】以上の平面符号化によれば実際の画像の大
部分を占める、ノイズの乗った単純輝度勾配部分に対
し、最も符号化効率の低下を招かない予測方法が得ら
れ、画像全体に対する符号化効率が従来のものと比べて
大幅に向上する。
【0036】(他の実施例)本発明は上述した実施例に
限定されるものではない。例えば、上述の実施例では予
測符号化で用いる予測値として、a,b,c,a+b−
cの4つを挙げたが、これは参照可能な画素から構成さ
れるものであれば、他の画素位置の組み合わせでも良
い。また、平面符号化、予測符号化ともに内部で、ハフ
マン符号化を用いているが、勿論これは算術符号等、他
のエントロピー符号化方式を用いてもよい。さらに、平
面符号化は、近似平面αx+βy+γのα,β,γを平
面特定情報として符号化するという実施例に限定される
ものではなく、平面を特定できるものであれば良い。あ
るいは平面に限らず、比較的簡単な曲面であってもよ
い。
【0037】以上説明したように本発明の実施例の画像
符号化装置は、画像データをいくつかのブロックに分割
するブロック分割手段と、分割された各ブロックについ
て近似平面を求め、近似平面を特定する情報と、近似平
面とブロックの差分値を符号化する平面符号化手段と、
ブロックを幾つかのサブブロックに再分割する手段と、
サブブロック毎に最適な予測方式を選択し、選択した予
測方式を特定する情報と、選択した予測方式による誤差
を符号化する予測符号化手段と、ブロック毎に平面符号
化手段と予測符号化手段の一方を選択する手段と、選択
した符号化手段を特定するための情報を付加する手段と
を備えることにより、平面的性質を有するブロックでは
平面符号化、そうでない場合にはサブブロック単位の予
測符号化を切り換えて符号化することができる。このた
め、発生符号量を抑制することが可能となるといった効
果がある。
【0038】上述の様に平面符号化のブロックサイズを
予測符号化のブロックサイズより大きくすることによ
り、平面符号化の特性を活かした効率の良い符号化が可
能となる。
【0039】また、近似面を特定する情報を演算式の係
数として抽出することにより、ブロック単位での符号化
効率を向上させることができる。
【0040】
【発明の効果】以上の様に、本発明によれば、ブロック
毎の近似面を用いた符号化と、複数の予測方式から選択
された予測方式による符号化との双方を有することによ
り、多値データを可逆に符号化する場合であっても効率
の良い符号化を行うことができる。
【図面の簡単な説明】
【図1】本発明に係る第1の実施例の符号化装置のブロ
ック図。
【図2】着目画素に対する周辺画素a,b,cの位置を
示す図。
【図3】ブロック生成を説明する図。
【図4】平面符号化回路のブロック図。
【符号の説明】
101 画像データを格納するメモリ 102 ブロック生成回路 103 平面符号化回路 104 バッファ 105 サブブロック生成回路 106,107,108,109 予測符号化回路 110 セレクタ 111 情報付加回路 112 バッファ 113 セレクタ 114 情報付加回路 115,116,117,118 信号線 201 平面算出器 202 平面データ生成器 203 バッファ 204 差分器 205 パラメータ符号器 206 ハフマン符号器 207 多重化器

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 入力された画像データブロック毎に近似
    面を求め、近似面を特定する情報と、該近似面とブロッ
    クの差分値を符号化する第1の符号化手段と、 ブロック毎に複数の予測方式から予測方式を選択し、選
    択した予測方式により符号化を行う第2の符号化手段
    と、 ブロック毎に前記第1の符号化手段と前記第2の符号化
    手段の一方を選択する手段とを有することを特徴とする
    画像符号化装置。
  2. 【請求項2】 前記近似面は、ブロック内のデータに基
    づく近似平面であることを特徴とする請求項1に記載の
    画像符号化装置。
  3. 【請求項3】 前記近似面を特定する情報を複数の係数
    として抽出することを特徴とする請求項1に記載の画像
    符号化装置。
  4. 【請求項4】 前記第2の符号化手段は、前記第1の符
    号化手段とは異なるサイズのブロックで予測を行うこと
    を特徴とする請求項1に記載の画像符号化装置。
  5. 【請求項5】 入力された画像データブロック毎に近似
    面を求め、近似面を特定する情報と、該近似面とブロッ
    クの差分値を符号化する第1の符号化工程と、 ブロック毎に複数の予測方式から予測方式を選択し、選
    択した予測方式により符号化を行う第2の符号化工程
    と、 ブロック毎に前記第1の符号化工程と前記第2の符号化
    工程の一方を選択する工程とを有することを特徴とする
    画像符号化方法。
JP15614695A 1995-06-22 1995-06-22 画像符号化装置及び方法 Expired - Fee Related JP3689454B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP15614695A JP3689454B2 (ja) 1995-06-22 1995-06-22 画像符号化装置及び方法
EP96304626A EP0750428B1 (en) 1995-06-22 1996-06-21 Image processing apparatus and method
DE69631999T DE69631999T2 (de) 1995-06-22 1996-06-21 Bildverarbeitungsgerät und Verfahren
US08/668,635 US6061474A (en) 1995-06-22 1996-06-21 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15614695A JP3689454B2 (ja) 1995-06-22 1995-06-22 画像符号化装置及び方法

Publications (2)

Publication Number Publication Date
JPH099265A true JPH099265A (ja) 1997-01-10
JP3689454B2 JP3689454B2 (ja) 2005-08-31

Family

ID=15621342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15614695A Expired - Fee Related JP3689454B2 (ja) 1995-06-22 1995-06-22 画像符号化装置及び方法

Country Status (1)

Country Link
JP (1) JP3689454B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002063885A1 (en) * 2001-01-30 2002-08-15 Kabushiki Kaisha Office Noa Moving picture information compressing method and its system
WO2003039163A1 (en) * 2001-11-01 2003-05-08 Kabushiki Kaisha Office Noa Moving picture information compression method and system thereof
US6912318B2 (en) 2000-06-06 2005-06-28 Kabushiki Kaisha Office Noa Method and system for compressing motion image information
JP2005333622A (ja) * 2004-04-15 2005-12-02 Microsoft Corp イメージおよびビデオの予測可逆符号化
US7085424B2 (en) 2000-06-06 2006-08-01 Kobushiki Kaisha Office Noa Method and system for compressing motion image information
KR100701478B1 (ko) * 2004-12-22 2007-03-29 닛본 덴끼 가부시끼가이샤 동화상 압축 부호화 방법과 동화상 압축 부호화 장치 및프로그램
JP2011188129A (ja) * 2010-03-05 2011-09-22 Nippon Hoso Kyokai <Nhk> イントラ予測装置、符号化器、復号器及びプログラム
WO2012176381A1 (ja) * 2011-06-24 2012-12-27 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2015019152A (ja) * 2013-07-09 2015-01-29 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912318B2 (en) 2000-06-06 2005-06-28 Kabushiki Kaisha Office Noa Method and system for compressing motion image information
US7085424B2 (en) 2000-06-06 2006-08-01 Kobushiki Kaisha Office Noa Method and system for compressing motion image information
WO2002063885A1 (en) * 2001-01-30 2002-08-15 Kabushiki Kaisha Office Noa Moving picture information compressing method and its system
WO2003039163A1 (en) * 2001-11-01 2003-05-08 Kabushiki Kaisha Office Noa Moving picture information compression method and system thereof
JP2005333622A (ja) * 2004-04-15 2005-12-02 Microsoft Corp イメージおよびビデオの予測可逆符号化
KR100701478B1 (ko) * 2004-12-22 2007-03-29 닛본 덴끼 가부시끼가이샤 동화상 압축 부호화 방법과 동화상 압축 부호화 장치 및프로그램
JP2011188129A (ja) * 2010-03-05 2011-09-22 Nippon Hoso Kyokai <Nhk> イントラ予測装置、符号化器、復号器及びプログラム
JP2014003721A (ja) * 2011-06-24 2014-01-09 Mitsubishi Electric Corp 画像復号装置及び画像復号方法
WO2012176381A1 (ja) * 2011-06-24 2012-12-27 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9723316B2 (en) 2011-06-24 2017-08-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US10237560B2 (en) 2011-06-24 2019-03-19 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US10511840B2 (en) 2011-06-24 2019-12-17 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US11006125B2 (en) 2011-06-24 2021-05-11 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US11632556B2 (en) 2011-06-24 2023-04-18 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US11876979B2 (en) 2011-06-24 2024-01-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
JP2015019152A (ja) * 2013-07-09 2015-01-29 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10666963B2 (en) 2013-07-09 2020-05-26 Canon Kabushiki Kaisha Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method and program

Also Published As

Publication number Publication date
JP3689454B2 (ja) 2005-08-31

Similar Documents

Publication Publication Date Title
US6310980B1 (en) Encoding apparatus and method and storage medium
US5903669A (en) Image processing apparatus and method
JP4490261B2 (ja) イントラ符号化に基づく空間予測
US9258568B2 (en) Quantization method and apparatus in encoding/decoding
US5251029A (en) Image encoding apparatus
US6049330A (en) Method and apparatus for optimizing storage of compressed images in memory
KR101303375B1 (ko) 값들의 블록들을 인코딩하는 방법 및 디바이스
JP2000069292A (ja) 画像処理装置及び方法及び記憶媒体
JP2007267384A (ja) 圧縮装置及び圧縮方法
US6064324A (en) Digital signal encoding and decoding method and apparatus without transmitting information on quantization width
JP3087835B2 (ja) 画像符号化方法および装置ならびに画像復号方法および装置
JPH099265A (ja) 画像符号化装置及び方法
JPH09327019A (ja) 物体領域符号化装置
GB2308768A (en) Video encoding based on inter block redundancy
EP0765085A2 (en) Method and apparatus for image processing using model-based localized quantization
JPH099266A (ja) 画像符号化装置及び方法
JPH08214169A (ja) フラクタル画像符号化方式
JP3227170B2 (ja) 画像符号化装置
JPH10327418A (ja) 画像符号化装置
JP2500583B2 (ja) 画像信号の量子化特性制御方法及び画像信号圧縮符号化装置
JPH0487473A (ja) 画像処理装置
JP3368186B2 (ja) 画像処理装置及びその方法
JP2001128182A (ja) 画像符号化方法および画像符号化プログラムを格納したコンピュータで読取可能な記録媒体
JP2002344753A (ja) 画像符号化装置、画像復号装置および画像符号化復号装置ならびにそれらの方法
JPH06141189A (ja) 画像信号復号化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050613

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100617

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120617

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120617

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130617

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees