JP3648772B2 - 量子化装置および量子化方法 - Google Patents

量子化装置および量子化方法 Download PDF

Info

Publication number
JP3648772B2
JP3648772B2 JP27710094A JP27710094A JP3648772B2 JP 3648772 B2 JP3648772 B2 JP 3648772B2 JP 27710094 A JP27710094 A JP 27710094A JP 27710094 A JP27710094 A JP 27710094A JP 3648772 B2 JP3648772 B2 JP 3648772B2
Authority
JP
Japan
Prior art keywords
value
quantization
quantized
input signal
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP27710094A
Other languages
English (en)
Other versions
JPH08116544A (ja
Inventor
哲二郎 近藤
泰弘 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP27710094A priority Critical patent/JP3648772B2/ja
Publication of JPH08116544A publication Critical patent/JPH08116544A/ja
Application granted granted Critical
Publication of JP3648772B2 publication Critical patent/JP3648772B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Description

【0001】
【産業上の利用分野】
この発明は、例えばディジタル画像信号を量子化する場合に入力信号値と量子化復号値とで定義される量子化誤差最小規範に対して、さらに視覚特性を考慮した空間変動規範、および/または、時間変動規範を加味するようにした量子化装置および量子化方法に関する。
【0002】
【従来の技術】
例えば、各画素が8ビットで表されるディジタル画像信号が入力され、各画素を8ビットより少ないビット数で量子化(再量子化)することによって、データ量を圧縮することが行われる。従来この量子化としては、入力信号値と量子化復号値との量子化誤差が最小となるように量子化値が選択されていた。この量子化装置において、入力信号レベルの分布に極端な偏りがない場合、その量子化誤差の積算値は最小となりS/N(Signal/Noise)比は、最良となる。そのため、従来の量子化装置は、S/N規範に基づいて量子化値が決定されている。この規範とは、のっとるべき規則を言い、すなわちS/N規範とは、量子化誤差を最小とする量子化値を選択する規則を意味する。
【0003】
ここで、S/N規範Q1は式(1)で表される。L(i)は入力信号値を表し、L(i)^は量子化復号値を表し、q(i)は量子化値を表し、nは量子化ビット数を表す。また、一般的な8ビット量子化の入力ディジタル画像信号に対する量子化式と復号式を式(2)、(3)に示す。
【0004】
Q1=MIN〔|L(i)^−L(i)|〕 (1)
q(i)=L(i)/(255/2n ) (2)
L(i)^=q(i)・255/2n (3)
【0005】
式(1)におけるMIN〔 〕は、〔 〕内の値が最小値となる量子化値を選択することを意味する。入力信号値に対する各量子化値の量子化復号値の量子化誤差を比較し、S/N規範Q1に基づいて量子化値が選択される。図4に3ビット量子化の例を示す。従来のS/N規範量子化装置は、入力信号を8階調に量子化し、各量子化区間の中央値を量子化復号値として出力する。
【0006】
図4によると、入力信号の変化が小さくなる平坦領域において画質劣化が認められる。つまり、入力信号が領域境界レベルを挟み僅かに変動しているにも拘らず、量子化復号値においては、量子化ステップ幅に相当する信号変動に拡大されることになる。このような画質劣化は空間方向と時間方向の両者に発生し、画像のエッジ部分がザラザラと見える、すなわちエッジビジネスや時間的劣化の原因となる。このように、人間の視覚特性を考慮すると、必ずしもS/N規範による量子化が最適とは言えない。特に人間の視覚特性は、入力信号の空間的、あるいは時間的な信号変化に対する感度が高いと考えられるにも拘らず、従来の量子化装置は、入力信号値そのものを基準として量子化を行うため、信号変化に伴う画質劣化が目立つという欠点があった。
【0007】
このような従来のS/N規範のみに基づく量子化装置の欠点を克服するため、本出願人は、上述のような人間の視覚特性を考慮した新規範Q2を用いた量子化装置を先に提案している(特開平6−169257号公報参照)。新規範Q2を式(4)に示す。
Q2=MIN〔α〔S/N〕+β〔ΔS〕+γ〔ΔT〕〕 (4)
【0008】
ここで、〔S/N〕はS/N評価値を表し、〔ΔS〕は空間変動評価値を表し、〔ΔT〕は時間変動評価値を表し、さらにα、β、γはそれぞれの重みを表している。この式(4)で表される新規範Q2は、複数の量子化値候補に関して、S/N評価値、空間変動評価値および時間変動評価値を重み付け加算した新規範評価値を求め、この評価値を最小とする量子化値候補を出力量子化値として選択する規則である。図5には、空間的に対応するkフレームと(k−1)フレームの画素配置図を示す。kフレームのLx(k)の値を有する画素の量子化を行う場合、新量子化規範Q2で用いられる各評価値は次式で表される。
【0009】
〔S/N〕=|Lx(k)^−Lx(k)| (5)
〔ΔS〕=〔ΔS1 〕+〔ΔS2 〕+〔ΔS3 〕+〔ΔS4 〕 (6)
〔ΔT〕=|(Lx(k)^−Lx(k−1)^)−(Lx(k)−Lx(k−1))| (7)
但し、〔ΔS1 〕、〔ΔS2 〕、〔ΔS3 〕、〔ΔS4 〕は、次式で定義される。
【0010】
〔ΔS1 〕=|(Lx(k)^−La(k)^)−(Lx(k)−La(k))| (8)
〔ΔS2 〕=|(Lx(k)^−Lb(k)^)−(Lx(k)−Lb(k))| (9)
〔ΔS3 〕=|(Lx(k)^−Lc(k)^)−(Lx(k)−Lc(k))| (10)
〔ΔS4 〕=|(Lx(k)^−Ld(k)^)−(Lx(k)−Ld(k))| (11)
【0011】
S/N評価値〔S/N〕は、従来の量子化装置で評価されるのと同様の量子化誤差である。空間変動評価値〔ΔS〕は、空間内の量子化復号値の信号変化量(すなわち、空間内の量子化復号値の傾き)と入力信号の信号変化量(すなわち、空間内の入力信号値の傾き)との比較を行うものである。量子化復号値の信号変化量を算出する場合、既に新規範Q2により決定済みの、過去の画素の量子化値を使用して比較するという処理上の制約がある。図5においては、量子化対象画素Lx(k)に関し、処理済み画素は近傍4画素La(k)、Lb(k)、Lc(k)、Ld(k)であり、これらを使用して〔ΔS1 〕、〔ΔS2 〕、〔ΔS3 〕、〔ΔS4 〕がそれぞれ求められる。
【0012】
時間変動評価値〔ΔT〕は、量子化対象画素Lx(k)と同一位置にある前フレームの画素Lx(k−1)とに関し、入力信号のフレーム間の変化量と量子化復号値のフレーム間の信号変化量とを比較するものである。上述のように式(4)のMIN〔 〕は、〔 〕内の評価値を最小とする量子化値候補が最終的な量子化値として選択されることを意味する。その結果、従来の量子化装置で問題となる画質劣化が低減される。
【0013】
その様子を図4に示す。すなわち、従来の量子化装置では、入力信号が量子化境界レベル近傍で僅かに変動している場合、量子化復号値においては量子化ステップ幅に相当する信号変動に拡大されていたが、上述の式(4)に基づく新規範量子化装置においては、この信号変動は抑圧され安定した量子化復号化値が得られる。こうして新規範量子化装置によって、意図した画質改善が達成できる。
【0014】
【発明が解決しようとする課題】
上述の新規範量子化装置と従来の量子化装置とを比較すると、画質劣化はかなり低減される。しかしながら、各評価値に対する重みα、β、γの組合せが適切でないと、入力信号変化の忠実性を重視するあまり、S/N規範量子化値とかけ離れた量子化値が選択される問題がある。
【0015】
従って、この発明の目的は、新規範による量子化を行なう時に、量子化値候補を制限することによって、出力される量子化値がかけ離れたものとなることを防止できる量子化装置および量子化方法を提供することにある。
【0016】
【課題を解決するための手段】
この発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないnビットの量子化値を出力する量子化装置において、
入力信号値の範囲を2 n で除算することによって量子化ステップを求め、量子化ステップによって入力信号値を除算することによって入力信号値をnビットに量子化すると共に、n個の量子化値を発生する量子化手段と、
量子化値にそれぞれ対応する量子化ステップの中央値である2 n 個の復号値を発生する復号手段と、
n個の量子化値のそれぞれについて入力信号値と量子化値の復号値の差を求め、差を最小値とする量子化値を基準量子化値と決定し、基準量子化値と基準量子化値の上側および下側のそれぞれの量子化値とからなる少なくとも3個の制限された個数の量子化値を量子化値候補として選択する選択手段と、
少なくとも3個の制限された個数の量子化値候補に関して、入力信号値と量子化値候補の復号値の差であるS/N評価値と、入力信号の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値および/または入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを重み付け加算した評価値をそれぞれ求め、評価値を最小とする量子化値候補を出力すべき量子化値として選択的に出力する判定手段と
からなることを特徴とする量子化装置である。
【0017】
【作用】
入力信号の信号変化に対して、量子化値の変化を忠実とする量子化を行なう時に、量子化値候補の数を制限することによって、S/N規範による量子化値とかけ離れた量子化値が発生することを防止する。
【0018】
【実施例】
以下、この発明に係る量子化装置の一実施例について、図面を参照しながら説明する。図1は、入力信号値とS/N規範量子化復号値と新規範量子化復号値との一例を示す。この図1は、縦軸に信号レベルを表し、横軸に座標を表す。座標方向に入力信号値がL0〜L6のように変化するとき、従来の量子化装置では、式(1)で定義されるS/N規範により量子化値q(i)が決定される。図1では、○がS/N規範による量子化復号値を示す。従来の量子化装置による画質劣化の典型例は、画素L1のように、その量子化復号値L(i)^では信号変化が拡大することである。このようにS/N規範による量子化復号値L(i)^では、入力信号値L(i)が量子化境界近傍であると、入力信号の微小変化が量子化ステップ幅により拡大され、エッジビジネスや時間変動などの画質劣化が発生する。
【0019】
一方、入力信号変化に忠実な特性を持つ新規範(式(4))に基づく量子化装置においては、図1において、◎で復号値の変化を示すように、安定した量子化復号値を得ることが可能となる。既に提案されている、新規範に基づく量子化は、nビットの場合の全ての量子化値候補に関して評価値を計算し、最小の評価値を与える量子化値候補を選択する処理である。この量子化では、S/N評価値のみで決定される量子化値とかけ離れた量子化値が選択されるおそれが生じる。従って、この発明は、量子化値候補の数を制限する。量子化値候補数を制限する場合、ここでは、S/N規範に基づいて決定された基準量子化値と、その上下の量子化値との3個の量子化値を候補する。但し、このような制限に限らず、周囲の入力信号値の分布等を調べ、その結果に基づいて数を制限しても良い。
【0020】
上述した可変重み新規範量子化の量子化値決定の一例を図2のフローチャートに示す。基本的には、設定された量子化ビット数nで生成可能な全ての線形量子化値q(i)に関し、入力信号値と量子化値の復号値の差を求め、差を最小値とする量子化値を基準量子化値と決定し、基準量子化値と基準量子化値の上側および下側のそれぞれの量子化値とからなる3個の量子化値を量子化値候補として選択し、量子化値候補のそれぞれに関して、式(4)で定義される新規範評価値を算出し、その最小値を有する量子化コードを出力値とする。この図2のフローチャートにおいては、量子化値候補と対応する、量子値候補用のカウンタqを用いる。まず、ステップ1の初期化において、カウンタqに `0' が設定される。
【0021】
次にステップ2の基準量子化値算出において、S/N規範で決定される基準量子化値が決定される。例えば図1におけるL1の場合では、(Q+1)であり、L2の場合では、Qである。そして、続く処理では、基準量子化値と、その上下の量子化値との合計3個の量子化値候補について、式(4)を使用した評価値の算出がなされる。
【0022】
処理の順序としては、最も下側の量子化値候補から評価値の算出が開始される。すなわち、ステップ3の評価値の算出、および登録において、最も下側の量子化値候補に関し、式(4)を使用して新規範評価値が算出され、算出された新規範評価値が登録される。
【0023】
ステップ4のインクリメントでは、カウンタqに `+1' が加算され、ステップ5へ制御が移る。ステップ5のq=Nでは、ステップ4(インクリメント)において加算されたカウンタqがNと等しいか否かが判別され、q≠Nの場合、ステップ3(評価値の算出および登録)へ制御が戻り、q=Nの場合、ステップ6へ制御が移る。ここで、Nは、量子化値候補の個数であり、N=3であり、(N−1)で設定される回数、ステップ3およびステップ4の処理が繰り返され、カウンタqがNに等しくなるとき、ループは終了する。
【0024】
次に、ステップ6の評価値の最小値検出において、量子化候補の内で最小の新規範評価値を生じさせるカウンタq(=0,1,または2)が最終結果として選択される。最も下側の量子化値候補から評価値の算出されるので、カウンタqの値から最終的に選択される量子化値候補が分かる。ステップ7の量子化値q登録において、選択された量子化値(カウンタq)が登録され、このフローチャートは終了する。
【0025】
次に、この発明の量子化装置の処理を実現する一実施例のブロック図を図3に示す。入力端子11から供給される入力信号値L(i)、例えば各画素が8ビットに量子化されたディジタル画像信号は、量子化器12、処理部13へ供給される。この処理部13は、重み決定部15、判定部16、メモリ部17から構成され、入力端子11から供給された入力信号値L(i)は、重み決定部15、判定部16、およびメモリ部17へ供給される。量子化器12において、供給された入力信号値L(i)が8ビットより少ないnビットへ量子化される。この量子化器12からは、2n の数の量子化値候補が発生する。
【0026】
量子化器12により生成された線形量子化値q(i)は、d1として重み決定部15、および判定部16へ供給される。重み決定部15は、固定あるいは可変の重みを発生し、重み決定部15からの重みα、β、γがd2として判定部16へ供給される。
【0027】
新規範量子化においては、式(4)で定義される新規範Q2が用いられるため、入力信号値L(i)と決定済み量子化値d0を記憶しておく必要がある。メモリ部17からは、必要に応じて記憶データd0(すなわち、決定済み量子化値)が、判定部16へ供給される。判定部16では、上述した図2に示すフローチャートの処理が行われる。すなわち、供給された入力信号値L(i)、線形量子化値d1、重みd2、記憶データd0から式(4)の判定が実行され、最終的な量子化値q(i)が選択され、出力端子14から取り出される。
【0028】
この新規範量子化装置により、従来の量子化装置の画質劣化を低減し、視覚特性に合致する量子化画像を得ることができる。
【0029】
図2中の量子化器12において、全ての量子化値を発生するのと異なり、S/N規範に基づいて選択された基準の量子化値を生成し、この量子化値と、その上下の量子化値の3種類の量子化値候補について、判定部16が新規範評価値をそれぞれ求め、この3個の新規範評価値の中で最小のものと対応する量子化値候補を選択的に出力する構成としても良い。
【0030】
なお、この発明は、空間変動評価値と時間変動評価値との一方のみを使用して新規範評価値を構成するようにしても良い。例えば、ディジタルオーディオ信号のような場合には、S/N評価値と時間変動評価値とを使用した評価値を使用することができる。
【0031】
【発明の効果】
この発明によれば、視覚特性を考慮した量子化が行えることで、量子化境界レベル近傍の入力信号値の変化が拡大されることによる空間方向、あるいは時間方向の画質劣化を低減することができる。
【0032】
また、この発明によれば、量子化値候補がS/N規範に基づく量子化値とかけ離れた値となることを防止することができ、新規範量子化装置の特有な画質劣化を排除することが可能となる。
【0033】
さらに、この発明によれば、元の量子化ビット数より少ないビット数でも良好な画像を得ることができ、例えばディジタル入力信号の圧縮を良好に得ることができる。
【図面の簡単な説明】
【図1】この発明に係る量子化復号波形の一例を示す略線図である。
【図2】この発明に係る可変重みの新規範量子化装置の判定部の一実施例を示すフローチャートである。
【図3】この発明に係る新規範量子化装置の一実施例を示すブロック図である。
【図4】入力信号に対して3ビット量子化が行われた一例を示す略線図である。
【図5】画素の配置の一例を示すブロック図である。
【符号の説明】
12 量子化器
13 新規範処理部
15 規範重み決定部
16 判定部
17 メモリ部

Claims (4)

  1. 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数より少ないnビットの量子化値を出力する量子化装置において、
    入力信号値の範囲を2 n で除算することによって量子化ステップを求め、上記量子化ステップによって上記入力信号値を除算することによって入力信号値をnビットに量子化すると共に、n個の量子化値を発生する量子化手段と、
    上記量子化値にそれぞれ対応する上記量子化ステップの中央値である2 n 個の復号値を発生する復号手段と、
    上記2n個の量子化値のそれぞれについて上記入力信号値と上記量子化値の復号値の差を求め、上記差を最小値とする上記量子化値を基準量子化値と決定し、上記基準量子化値と上記基準量子化値の上側および下側のそれぞれの量子化値とからなる少なくとも3個の制限された個数の量子化値を量子化値候補として選択する選択手段と、
    上記少なくとも3個の制限された個数の量子化値候補に関して、上記入力信号値と上記量子化値候補の復号値の差であるS/N評価値と、上記入力信号の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値および/または上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを重み付け加算した評価値をそれぞれ求め、上記評価値を最小とする上記量子化値候補を出力すべき量子化値として選択的に出力する判定手段と
    からなることを特徴とする量子化装置。
  2. 請求項1に記載の量子化装置において、
    入力信号がディジタルビデオ信号であって、上記空間変動評価値が同一フィールドまたは同一フレーム内の入力信号の空間変動と復号値の空間変動との差であることを特徴とする量子化装置。
  3. 請求項1に記載の量子化装置において、
    入力信号がディジタルビデオ信号であって、上記時間変動評価値が現フレームの入力信号値および復号値と前フレームの入力信号値と復号値とを用いて求められることを特徴とする量子化装置。
  4. 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数と異なるnビットの量子化値を出力する量子化方法において、
    入力信号値の範囲を2 n で除算することによって量子化ステップを求め、上記量子化ス
    テップによって上記入力信号値を除算することによって入力信号値をnビットに量子化すると共に、n個の量子化値を発生する量子化ステップと、
    上記量子化値にそれぞれ対応する上記量子化ステップの中央値である2 n 個の復号値を発生する復号ステップと、
    上記2n個の量子化値のそれぞれについて上記入力信号値と上記量子化値の復号値の差を求め、上記差を最小値とする上記量子化値を基準量子化値と決定し、上記基準量子化値と上記基準量子化値の上側および下側のそれぞれの量子化値とからなる少なくとも3個の制限された個数の量子化値を量子化値候補として選択する選択ステップと、
    上記少なくとも3個の制限された個数の量子化値候補に関して、上記入力信号値と上記量子化値候補の復号値の差であるS/N評価値と、上記入力信号値の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値および/または上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを重み付け加算した評価値をそれぞれ求め、上記評価値を最小とする上記量子化値候補を出力すべき量子化値として選択的に出力するステップと
    からなることを特徴とする量子化方法。
JP27710094A 1994-10-17 1994-10-17 量子化装置および量子化方法 Expired - Lifetime JP3648772B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27710094A JP3648772B2 (ja) 1994-10-17 1994-10-17 量子化装置および量子化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27710094A JP3648772B2 (ja) 1994-10-17 1994-10-17 量子化装置および量子化方法

Publications (2)

Publication Number Publication Date
JPH08116544A JPH08116544A (ja) 1996-05-07
JP3648772B2 true JP3648772B2 (ja) 2005-05-18

Family

ID=17578782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27710094A Expired - Lifetime JP3648772B2 (ja) 1994-10-17 1994-10-17 量子化装置および量子化方法

Country Status (1)

Country Link
JP (1) JP3648772B2 (ja)

Also Published As

Publication number Publication date
JPH08116544A (ja) 1996-05-07

Similar Documents

Publication Publication Date Title
KR101939012B1 (ko) 하이 다이내믹 레인지 이미지들을 위한 콘텐츠 적응적 지각 양자화기
EP0663093B1 (en) Improved preprocessing and postprocessing for vector quantization
JP4816970B2 (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
JP3106749B2 (ja) 適応型ダイナミックレンジ符号化装置
JP4217657B2 (ja) 画像処理方法、プログラム、記憶媒体及び装置
JPH1075369A (ja) 画質予測装置および方法ならびに画質制御装置および方法
US7003037B1 (en) Process, device and use for evaluating coded images
JPS63274283A (ja) データ圧縮装置
JP5159651B2 (ja) 画像処理装置、画像処理方法、及び画像表示装置
JP3648772B2 (ja) 量子化装置および量子化方法
JP3627279B2 (ja) 量子化装置および量子化方法
JP3735875B2 (ja) 量子化装置および量子化方法
JP3901747B2 (ja) 量子化装置および量子化方法
JP3844030B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
JP3704740B2 (ja) 量子化装置および量子化方法
JP4814826B2 (ja) 画像処理装置及び画像処理方法
JP2007322870A (ja) 画像表示装置および画像表示方法
JP3697727B2 (ja) 量子化装置および量子化方法
JP3629732B2 (ja) 量子化装置および量子化方法
JPH02108372A (ja) 画像データの圧縮装置、及び画像処理装置
JP3336684B2 (ja) ディジタル画像データの量子化装置
JP3642158B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに伝送方法
JP3385652B2 (ja) ディジタル画像データの量子化装置
JP2851661B2 (ja) 画像処理装置
JP2004015708A (ja) 画像信号のダイナミックレンジ制御装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080225

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090225

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120225

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130225

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term