JP3046871B2 - ベクトル量子化方法及びベクトル量子化装置 - Google Patents

ベクトル量子化方法及びベクトル量子化装置

Info

Publication number
JP3046871B2
JP3046871B2 JP32200691A JP32200691A JP3046871B2 JP 3046871 B2 JP3046871 B2 JP 3046871B2 JP 32200691 A JP32200691 A JP 32200691A JP 32200691 A JP32200691 A JP 32200691A JP 3046871 B2 JP3046871 B2 JP 3046871B2
Authority
JP
Japan
Prior art keywords
limit value
vector
distortion
upper limit
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32200691A
Other languages
English (en)
Other versions
JPH05161020A (ja
Inventor
恵一 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optic Co Ltd filed Critical Olympus Optic Co Ltd
Priority to JP32200691A priority Critical patent/JP3046871B2/ja
Publication of JPH05161020A publication Critical patent/JPH05161020A/ja
Application granted granted Critical
Publication of JP3046871B2 publication Critical patent/JP3046871B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ディジタル情報処理分
野に利用される、ベクトル量子化方法とベクトル量子化
装置の改善に関する。
【0002】
【従来の技術】従来、ディジタル情報処理分野に利用さ
れるベクトル量子化装置は、その高速化を目的として、
探索するベクトルの数を減らすために構造的なコードブ
ックを用いる木探索法(A.Buzo, A.H.Gray.Jr,R.M.Gra
y,and J.D.Markal :“Speechcoding based upon vecto
r quantization ”,IEEE Trans. Acoust., Speech &S
ignal Process.,ASSP-28,10,pp.562-574,Oct.,1980)及
び、歪み計算回数を低減させる方法として、コードブッ
ク間距離(今井、桑田、横堀、臼井 著:”画像信号に
おける高速ベクトル量子化の一方式”、信学論Vol. J 6
9-B.No.12,1986,pp. 1702-1710)( 特開平1−218279号
公報)や、ベクトル内平均値(中出、相澤、原島 著:
“ベクトル量子化の直交変換領域高速探索方式、信号
論、pp. 1102-1110 、Vol J69-B,No.10,1986)を用いて
探索を打ち切る方法などが、提案されている。
【0003】しかしながら、これらベクトル量子化方式
のうち、木探索法では歪みを最小にするという意味で必
ずしも最適なベクトルを得ることができないという欠点
がある。また歪み計算回数を低減させる方法でも、すべ
てのコードブックベクトルに対して少なくとも1度は、
なんらかの処理を施す必要がある。すなわち従来の探索
法では、最適なベクトルの探索を十分に高速化できない
という欠点があった。そこで本出願人は、特願平2−26
7000号においてネットワーク学習を用いた前処理を施す
ことで探索順序を最適化して歪み計算回数を低減させる
手法を、特願平2−280988号において歪みの下限値を求
めることで全探索することなく最適解を発見する手法を
提案した。
【0004】
【発明が解決しようとする課題】しかし、前述した特願
平2−267000号及び特願平2−280988号により提案され
た2つの手法は、それぞれ単独に用いても効果的ではあ
るが、組み合せて用いれば、さらに高速な処理が可能と
なる。
【0005】その組み合せを実現するためには、充分な
分類能力を持つネットワークを構築するための学習時間
と、下限値計算に用いられるソート表の作成という2つ
の前処理が必要となる。そのため前処理の時間を短くす
る必要がある場合、前述した手法では、時間短縮の要求
を満たせないという欠点があった。
【0006】そこで本発明は、短時間及び少ない処理回
数の前処理で、すべての入力ベクトルに対する最適なコ
ードブックベクトルを効率よく高速に探索することが可
能なベクトル量子化方法及びベクトル量子化装置を提供
することを目的とする。
【0007】
【課題を解決するための手段】本発明は前記目的を達成
するために、各次元毎に、入力ベクトルの要素と最も近
い要素を含むコードブックベクトルから順次探索するよ
うに決定する探索順序決定工程と、前記探索順序決定工
程により決定された順の前記コードブックベクトルと前
記入力ベクトルとの比較による探索が終了したうちで、
その中の最小歪みを歪みの上限値とする上限値設定工程
と、前記最小歪みを与えるコードブックベクトル及び探
索未終了のコードブックベクトルと、前記入力ベクトル
との次元毎に算出される最小歪みの総和を歪みの下限値
とする下限値設定工程と、前記上限値と前記下限値を格
納し、比較する格納比較工程と、前記格納比較工程によ
り前記上限値と前記下限値が比較され一致した時点で探
索を終了する探索終了工程と、前記探索終了工程により
未終了とされたとき、各次元ごとに順次、所定次成分ま
でのコードブックベクトルとの歪みの部分和を算出する
歪み部分和算出工程と、前記部分和と前記上限値とを比
較して、前記部分和が前記上限値と同値もしくは大とな
るときには、それ以上の歪み計算を打ち切る歪み計算打
ち切り工程と、最終次数まで加算した前記部分和が前記
上限値より小なるときは、該部分和を新たな上限値とし
て更新する上限値更新工程とからなるベクトル量子化方
法を提供する。
【0008】また、各次元毎に、入力ベクトルの要素と
最も近い要素を含むコードブックベクトルから順次探索
するように決定する探索順序決定手段と、前記探索順序
決定手段による探索順に前記コードブックベクトルと前
記入力ベクトルとを比較する探索が終了したうちで、そ
の中の最小歪みを歪みの上限値とする上限値設定手段
と、前記コードブックを形成する複数の次元からなるベ
クトルに対して、該次元毎に独自な成分値を基底値とし
て分類する分類手段と、前記入力ベクトルと、未探索の
コードブックベクトルおよび最小歪みを与えるコードブ
ックベクトルに属する基底値との歪みのすべての次元に
わたる和を算出する下限値設定手段と、前記上限値と前
記下限値を格納し、比較する格納比較手段と、前記格納
比較手段により前記上限値と前記下限値が比較され、一
致した時点で探索を終了する探索終了手段と、前記探索
終了手段により未終了とされたとき、各次元ごとに順
次、所定次成分までのコードブックベクトルとの歪みの
部分和を算出する歪み部分和算出手段と、前記部分和と
前記上限値とを比較して、前記部分和が前記上限値と同
値もしくは大となるときには、それ以上の歪み計算を打
ち切る歪み計算打ち切り手段と、最終次数まで加算した
前記部分和が前記上限値より小なるときは、該部分和を
新たな上限値として更新する上限値更新手段とで構成さ
れるベクトル量子化装置を提供する。
【0009】
【作用】以上のような構成の本発明のベクトル量子化方
法およびベクトル量子化装置は、必要な前処理が少ない
にも関わらず、少ない計算量で歪み計算の打ち切りと探
索の終了を決定することができるので、あらゆる入力ベ
クトルに対して最適なコードブックベクトルを高速に探
索される。
【0010】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。図1に、本発明による第1実施例としてベ
クトル量子化装置の構成を示すブロック図を示し、説明
する。
【0011】このベクトル量子化装置は大きく分ける
と、コードブック生成部1と、最適ベクトル探索部2と
から構成される。ここで、本実施例では歪みとして二乗
歪みを例に用いているが、他の歪みにも同様に適用でき
る。
【0012】まず、コードブック生成部1は、トレーニ
ング系列を入力することによりコードブック100を生
成するトレーニング部10と、前記コードブック100
から成分ごとの平均値を求め、成分ごとに基底値(ユニ
ークなベクトル成分量)に分類しソートしてソート表2
00を作成するとともに、基底値番号をコードブック1
00に付加するソート部11とにより構成される。前記
コードブック100およびソート表200の形式を図2
に示す。
【0013】そして最適ベクトル探索部2は、入力ベク
トルXが入力されると、前記ソート表200を用いて、
最適解を与える可能性の高いコードブックベクトルから
探索するようにコードブック100に対する探索順序を
決定する探索順序決定部20と、ソート表200の平均
値を用いて、成分の計算順序を決定する成分計算順序決
定部21と、入力ベクトルXとコードブックベクトルと
の次元ごとの歪みを計算する次元歪み計算部22a及び
この歪みの部分和を計算する部分歪み計算部22bとか
らなる歪み計算部22と、ソート表200を用いて歪み
の下限値を求める下限値計算部23と、部分歪み量、下
限値、および最小歪み量を上限値として、記憶するメモ
リ24と、この上限値と歪みの部分和、および上限値と
下限値、を用いて歪み計算の打ち切り、および探索の終
了、を決定する比較部25とにより構成される。このよ
うに構成されたベクトル量子化装置の動作について説明
する。
【0014】以下の説明では、便宜的にコードブックベ
クトルの数をN、ベクトルの次元(要素)数をMとし、
インデックスiで示されるコードブックベクトルをYi
で表わす。まず、前処理部としてのコードブック生成部
1では、トレーニング系列に基づいた、コードブック1
00、ソート表200を生成する。
【0015】次に符号化部である最適ベクトル探索部2
では、はじめに入力ベクトルXが探索順序決定部20に
入力される。この探索順序決定部20では、ソート表2
00を用いて、各次元毎に、入力ベクトルXに最も接近
した基底値(最近接基底値)が属するコードブックベク
トルを選び出し、これらのベクトルから順に探索するよ
うにインデックスを並べ替える。すなわち各次元におい
ては、入力ベクトルXの要素に近い順に、その基底値を
並べることができるので、それを要素とするコードブッ
クベクトルもそれに対応して順序付けることができる。
そこで全ての次元を通して次候補のべクトルを調べ、最
も多くの次元で候補となっているベクトルから順に探索
するようにしてもよいし、あるいは次元を1つずつ順に
わたって、その次元における次候補のベクトルを探索す
るようにしてもよい。
【0016】そしてこの順に、図4に示したフローチャ
ートに従って、最適なコードブックベクトルを探索す
る。この手順を図1の構成部材の参照符号を用いて説明
する。前記探索順序決定部20の後、入力ベクトルXは
成分計算順序決定部21に入力される。この成分計算順
序決定部21では、ソート表200の成分平均値を用い
て、成分平均値と入力ベクトルXの成分との違いが大き
い順に成分計算が行なわれるように成分計算順序表30
0を作成する(以下では説明を簡単にするために、最大
の違いを与える成分を1次、最小の違いを与える成分が
M次となるように番号順に並べ替えられたものとす
る)。
【0017】次に歪み計算部22では、コードブック1
00よりインデックス1に対応するコードブックベクト
ルY1を取り出し、入力ベクトルXとの歪みを計算して
全次元の歪みの和Uを(1)式、
【0018】
【数1】
【0019】によって算出し、これに対応するインデッ
クスmin (ここでは1)をメモリ24に記憶する(ステ
ップS1)。すなわち、全次元の歪みの和Uを上限値と
して設定する。
【0020】一方、下限値計算部23は、ソート表20
0を用いて、入力ベクトルXとコードブックベクトルの
基底部との二乗歪みDs (k)、Db (k)を次に示す
(2)、(3)式によって計算する。
【0021】
【数2】
【0022】ただし図3に示す通り、kはベクトルの次
元を表わし、p、qはXに最も近接した基底値(最近接
基底値)を示すポインタであり、Ds はXよりも小さい
側の二乗歪みを表わしている。そして下限値Lを次式
(4)、
【0023】
【数3】 により計算し、メモリ24に記憶する(ステップS
2)。
【0024】その後、比較部25では、メモリ24に記
憶してある上限値Uと下限値Lを比較する(ステップS
3)。この時、上限値Uと下限値Lが一致すれば(Ye
s)、上限値Uはすべてのコードブックに対する最小歪
みであるから、インデックスmin を出力して終了する。
(ステップS4)。
【0025】一方、この比較で上限値Uと下限値Lが一
致しなければ(No)、次のコードブックベクトルとの
比較を行なうためにインデックスiをインクリメントす
る(ステップS5)。すなわち、インデックスiに
「1」を加算し、次数jを「1」とする。前記歪み計算
部22では、このインデックスiでコードブック100
からコードブックベクトルYiを取り出し、入力ベクト
ルXとの歪みを計算する(ステップS6)。ここでは、
低次成分から順に第j次成分までの歪みの部分和Sjを
次式(5)
【0026】
【数4】 から求めて比較部25に送る。この比較部25では、部
分和Sjとメモリ24に格納されている上限値Uとを比
較して(ステップS7)、 Sj ≧ U …(6)
【0027】が満たされた時点(Yes)で、それ以上
の歪み計算を打ち切る。つまり歪み計算が打ち切れる場
合には、次のコードブックベクトルに対応するインデッ
クスi+1を歪み計算部22に送り、次のコードブック
ベクトルに対象を移す。
【0028】またインデックスiが示すベクトルは、最
小歪み(上限値U)を与えないため、このベクトルに対
応する基底値に属するベクトル数を1ずつ減らし(ステ
ップS8)、後述するステップS13へ移行する。
【0029】一方、歪み計算が打ち切れない場合には
(No)、ベクトルの次数jと次元数Mを比較する(ス
テップS9)。ここで、ベクトルの次元数Mより小さけ
れば(No)、ベクトルの次数jに「1」を加えてステ
ップS6に戻す。すなわち、歪み計算部22に送る(ス
テップS10)。
【0030】また、ベクトルの次数jが次元数Mに等し
くなっても歪みの部分和Sjが、それまでの最小歪みU
よりも小さければ(Yes)、インデックスmin が示す
ベクトルは最小歪みを与えないことが分かるので、この
ベクトルに対応する基底値に属するベクトル数を1ずつ
減らす(ステップS11)。
【0031】この最小歪みを新たな上限値Uとしてメモ
リ24に記憶し、この時のインデックスiを新たなイン
デックスmin としてメモリ24に記憶する(ステップS
12)。こうして、最小歪みを与えないことが分かったコ
ードブックベクトルに対応する基底値に属するベクトル
数が1ずつ減らされたことにも伴い、属するベクトル数
が「0」になった最近接基底値があるか否か判定する
(ステップS13)。ここで、「0」になった最近接基
底値がある場合(Yes)には、該当する最近接基底値
ポインタpあるいはqを、属するベクトルが存在する基
底値まで移動(ステップS14)、下限値Lを計算し直
すためにステップS2に戻る。一方、最近接基底値を属
するベクトルの数が「0」にならなかった場合は、下限
値Lはそのままで処理をつづける。以上の手順を上限値
Uと下限値Lが一致するまで行なう。
【0032】従って、前述したベクトル量子化方法及び
ベクトル量子化装置は、コードブックベクトルがどのよ
うに分布していようとも、歪み計算が、最適なコードブ
ックベクトルを構成する可能性の高い、入力ベクトルに
対する最近接基底値が属するコードブックベクトルから
始められるので、他のほとんどのコードブックベクトル
と歪み計算をする必要がなくなるか、あるいは歪み計算
が必要となっても少ない計算回数で打ち切ることが可能
になる。
【0033】さらに、コードブックベクトルを全探索す
ることにより得られる最適解と同じ解を得ることができ
るにもかかわらず、探索を途中で打ち切ることができ
る。これにより入力ベクトルに対する最適なコードブッ
クベクトルを求めるための計算回数を非常に少なくする
ことができる。そして最適解に早く出会うための探索順
序の決定には下限値計算のためのソート表が利用できる
ので、これに対する特別な前処理を必要としない。
【0034】また下限値計算部23における、最近接基
底値と入力ベクトル成分との歪みは成分ごとに全く独立
に計算できるので、これを並列に処理することでさらに
高速化をはかることができる。
【0035】以上詳述したように、本発明のベクトル量
子化方法及びベクトル量子化装置によれば、コードブッ
クベクトルの探索の順序を決定するために、下限値計算
に用いられるソート表を利用したため、特別な前処理を
必要とせずに、最適なコードブックベクトルに出会う時
期を早めることができるようになり、前処理も含めて非
常に少ない計算量で、最適なコードブックベクトルを効
率よく高速に求めることが可能になった。また本発明
は、前述した一実施例に限定されるものではなく、他に
も発明の要旨を逸脱しない範囲で種々の変形や応用が可
能であることは勿論である。
【0036】
【発明の効果】以上詳述したように本発明によれば、短
時間及び少ない処理回数の前処理で、すべての入力ベク
トルに対する最適なコードブックベクトルを効率よく高
速に探索することが可能なベクトル量子化方法及びベク
トル量子化装置を提供することができる。
【図面の簡単な説明】
【図1】図1は、本発明による第1実施例としてベクト
ル量子化装置の構成を示すブロック図である。
【図2】図2は、図1に示したコードブック100およ
びソート表200の形式を示す図である。
【図3】図3は、近接基底値を示すポインタであり、D
s はXよりも小さい側の二乗歪みを表わしている。
【図4】図4は、最適なコードブックベクトルを探索す
るフローチャートである。
【符号の説明】
1…コードブック生成部、2…最適ベクトル探索部、1
0…トレーニング部、11…ソート部、20…探索順序
決定部、21…成分計算順序決定部、22a…次元歪み
計算部、22b…部分歪み計算部、22…歪み計算部、
23…下限値計算部、24…メモリ、25…比較部、1
00…コードブック、200…ソート表、300…成分
計算順序表。
フロントページの続き (56)参考文献 特開 昭63−240600(JP,A) 特開 平1−205638(JP,A) 特開 平1−319799(JP,A) 特開 平2−55425(JP,A) 特開 平2−237270(JP,A) 特開 平3−209920(JP,A) 特開 平4−156181(JP,A) 特開 平5−37917(JP,A) (58)調査した分野(Int.Cl.7,DB名) H03M 7/30

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 各次元毎に、入力ベクトルの要素と最も
    近い要素を含むコードブックベクトルから順次探索する
    ように決定する探索順序決定工程と、 前記探索順序決定工程により決定された順の前記コード
    ブックベクトルと前記入力ベクトルとの比較による探索
    が終了したうちで、その中の最小歪みを歪みの上限値と
    する上限値設定工程と、 前記最小歪みを与えるコードブックベクトル及び探索未
    終了のコードブックベクトルと、前記入力ベクトルとの
    次元毎に算出される最小歪みの総和を歪みの下限値とす
    る下限値設定工程と、 前記上限値と前記下限値を格納し、比較する格納比較工
    程と、 前記格納比較工程により前記上限値と前記下限値が比較
    され一致した時点で探索を終了する探索終了工程と、 前記探索終了工程により未終了とされたとき、各次元ご
    とに順次、所定次成分までのコードブックベクトルとの
    歪みの部分和を算出する歪み部分和算出工程と、 前記部分和と前記上限値とを比較して、前記部分和が前
    記上限値と同値もしくは大となるときには、それ以上の
    歪み計算を打ち切る歪み計算打ち切り工程と、 最終次数まで加算した前記部分和が前記上限値より小な
    るときは、該部分和を新たな上限値として更新する上限
    値更新工程を具備することを特徴とするベクトル量子化
    方法。
  2. 【請求項2】 各次元毎に、入力ベクトルの要素と最も
    近い要素を含むコードブックベクトルから順次探索する
    ように決定する探索順序決定手段と、 前記探索順序決定手段による探索順に前記コードブック
    ベクトルと前記入力ベクトルとを比較する探索が終了し
    たうちで、その中の最小歪みを歪みの上限値とする上限
    値設定手段と、 前記コードブックを形成する複数の次元からなるベクト
    ルに対して、該次元毎に独自な成分値を基底値として分
    類する分類手段と、 前記入力ベクトルと、未探索のコードブックベクトルお
    よび最小歪みを与えるコードブックベクトルに属する基
    底値との歪みのすべての次元にわたる和を算出する下限
    値設定手段と、 前記上限値と前記下限値を格納し、比較する格納比較手
    段と、 前記格納比較手段により前記上限値と前記下限値が比較
    され、一致した時点で探索を終了する探索終了手段と、 前記探索終了手段により未終了とされたとき、各次元ご
    とに順次、所定次成分までのコードブックベクトルとの
    歪みの部分和を算出する歪み部分和算出手段と、 前記部分和と前記上限値とを比較して、前記部分和が前
    記上限値と同値もしくは大となるときには、それ以上の
    歪み計算を打ち切る歪み計算打ち切り手段と、 最終次数まで加算した前記部分和が前記上限値より小な
    るときは、該部分和を新たな上限値として更新する上限
    値更新手段を具備することを特徴とするベクトル量子化
    装置。
JP32200691A 1991-12-05 1991-12-05 ベクトル量子化方法及びベクトル量子化装置 Expired - Fee Related JP3046871B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32200691A JP3046871B2 (ja) 1991-12-05 1991-12-05 ベクトル量子化方法及びベクトル量子化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32200691A JP3046871B2 (ja) 1991-12-05 1991-12-05 ベクトル量子化方法及びベクトル量子化装置

Publications (2)

Publication Number Publication Date
JPH05161020A JPH05161020A (ja) 1993-06-25
JP3046871B2 true JP3046871B2 (ja) 2000-05-29

Family

ID=18138872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32200691A Expired - Fee Related JP3046871B2 (ja) 1991-12-05 1991-12-05 ベクトル量子化方法及びベクトル量子化装置

Country Status (1)

Country Link
JP (1) JP3046871B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035512A1 (ja) * 2004-09-29 2006-04-06 Tadahiro Ohmi データ再生装置、再生方法、データ圧縮装置及び圧縮方法

Also Published As

Publication number Publication date
JPH05161020A (ja) 1993-06-25

Similar Documents

Publication Publication Date Title
KR100874787B1 (ko) 형태를 사용하여 객체를 표현 및 탐색하기 위한 방법 및장치
US20160125275A1 (en) Character recognition device, image display device, image retrieval device, character recognition method, and computer program product
JP7006966B2 (ja) ベクトル量子化の混合に基づく符号化方法及びこれを用いた最近傍探索(nns)方法
CN111178514A (zh) 神经网络的量化方法及系统
CN110083729A (zh) 一种图像搜索的方法及系统
EP0576765A1 (en) Method for coding digital data using vector quantizing techniques and device for implementing said method
US5194864A (en) Vector quantization method and apparatus
KR100318512B1 (ko) 두그룹간의유사도계산방법
JP3046871B2 (ja) ベクトル量子化方法及びベクトル量子化装置
JP3932244B2 (ja) 画像符号/復号方法及びその装置並びにそのプログラムを記録した記録媒体
CN109670057B (zh) 一种渐进式的端到端深度特征量化系统及方法
JP3015446B2 (ja) ベクトル量子化方法およびベクトル量子化装置
CN112181360A (zh) 浮点数的乘法运算方法及计算机可读存储介质
JPH0540823A (ja) 画像信号分析方式
JP3093879B2 (ja) ベクトル量子化コードブック作成及び探索装置
CN112418298B (zh) 数据检索方法、装置以及计算机可读存储介质
JP2003522487A (ja) データ圧縮法
JP3093868B2 (ja) ベクトル量子化コードブック作成装置
JPH05290094A (ja) 画像の類似色調検索装置
JP3412118B2 (ja) 共役構造ベクトル量子化方法、その装置及びプログラム記録媒体
EP1471457A1 (en) A method for efficient coding of shape descriptor parameters
Park et al. Dual-Precision Deep Neural Network
JP2684807B2 (ja) 音声認識装置
JP2780458B2 (ja) ベクトル量子化法および音声符号化復合化装置
JP2829083B2 (ja) ベクトル量子化方式

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090317

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090317

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100317

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees