JPH11308113A - ベクトル量子化方法 - Google Patents
ベクトル量子化方法Info
- Publication number
- JPH11308113A JPH11308113A JP10109785A JP10978598A JPH11308113A JP H11308113 A JPH11308113 A JP H11308113A JP 10109785 A JP10109785 A JP 10109785A JP 10978598 A JP10978598 A JP 10978598A JP H11308113 A JPH11308113 A JP H11308113A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- quantization
- constraint
- code
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 438
- 238000013139 quantization Methods 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims description 21
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 24
- 238000011156 evaluation Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
- G10L19/07—Line spectrum pair [LSP] vocoders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Abstract
ルを効率よく得ることができるベクトル量子化方法を提
供する。 【解決手段】入力ベクトルを制約条件除去部104に入
力して所定の変換関数で変換を施すことにより、入力ベ
クトルから予め定められた制約条件を示す制約ベクトル
を差し引いて目標ベクトルを生成し、誤差評価部107
で目標ベクトルとの誤差を最小化する量子化ベクトルを
構成する符号ベクトルを符号帳101から選択し、この
符号ベクトルを指し示すインデックスを出力する。
Description
る線形予測係数の量子化などに使用されるベクトル量子
化方法に係り、特に量子化ベクトルに制約が存在するベ
クトル量子化方法に関する。
を表す線形予測係数と残差信号に分解して扱う手法は、
古くから用いられている。音声符号化の分野で近年盛ん
に研究されているCELP(Code Excited Linear Pred
iction)方式も線形予測分析に基づく手法であり、線形
予測係数と残差信号をそれぞれベクトル量子化(Vector
Quantization:VQ)によって量子化する。CELP方
式では、線形予測係数はLSP(Line Spectral Pair:
線スペクトル対)パラメータに変換されて量子化される
ことが多い。その理由の一つとして、合成フィルタの安
定性の判別が容易である点が挙げられる。
パラメータを基に合成フィルタを構成し、量子化された
残差信号を合成フィルタに通すことで復号音声を生成す
る。このため、合成フィルタが安定でないと復号音声が
発振してしまい、音質が著しく劣化する。
Pパラメータw={w1 ,w2 ,…,wp }は、 0<w1 <w2 <…<wp <π (1) の関係を満たせば、合成フィルタが安定であることが知
られている。従って、式(1)に示されるLSPパラメ
ータの各成分の大きさの順序関係(以下、LSPパラメ
ータの順序関係という)を調べることで、容易に合成フ
ィルタの安定性を調べることができる。
しなくともパラメータの成分w1 ,w2 ,…,wp 間の
間隔が狭くなると、合成フィルタは急速に不安定な状態
に近付く。従って、LSPパラメータのうち、互いの間
隔の狭い箇所を量子化する場合は注意が必要である。こ
れはLSPパラメータの間隔が狭い箇所ほど、僅かな量
子化誤差でもより多くの影響を合成フィルタの安定性に
与えるからである。
合う成分間の間隔に対し所定値Dを定めておき、量子化
したLSPパラメータの隣り合う成分間の間隔が所定値
Dより狭い場合は合成フィルタが不安定であるとみなし
て、適当な対策を施すことを行ってきた。例えば、特許
第2659605号(文献1)で述べられているよう
に、隣り合う成分間の間隔の狭い部分については間隔を
広げる補正処理を行い、所定値Dを確保する方法が知ら
れている。この方法は簡便であるが、補正処理によって
生じた歪みが量子化において評価されていないという問
題があった。
2)には、この問題を解決する手法が開示されている。
すなわち、文献2では符号帳から得られる量子化LSP
パラメータ毎に、安定性のチェックと必要に応じて補正
処理を行い、補正処理後の量子化LSPパラメータと入
力LSPパラメータとの間の距離計算を行う。このよう
にすることで、補正処理により生じた歪みを量子化歪み
に含めて評価することができ、量子化効率が向上する。
しかし、この方法では符号帳の探索ループ内で全ての量
子化LSPパラメータに対し安定性のチェックを行うた
め、計算量が増大するという問題があった。
化ベクトルにLSPパラメータの順序関係あるいは隣り
合う成分間の間隔のような制約条件がある場合は、量子
化後、あるいは符号帳の探索ループ内で、量子化ベクト
ルがその制約条件を満たしているかどうかを確認するこ
とが合成フィルタの安定性確保の上で必要である。この
確認はより少ない計算量で行うことが望ましい。特に、
探索ループ内で確認を行う場合は、符号帳の候補数に比
例して計算量が増大するため、僅かな計算量の差も全体
としては大きな差となり、確認に必要となる計算量の削
減は重要な問題となる。しかし、従来法では前述のよう
に量子化ベクトルが制約条件を満たしているかどうかの
確認を少ない計算量で行うことが難しいという問題があ
った。
の非線形変換を行った後に量子化する場合は、変換領域
で隣り合う成分間の間隔を計算するのが難しいという問
題があった。
めになされたもので、少ない計算量で制約条件を満たす
量子化ベクトルを効率よく得ることができるベクトル量
子化方法を提供すること目的とする。
め、本発明は符号化側で予め入力ベクトルを適当な変換
を施した後に量子化を行い、復号側では入力ベクトルに
行った変換の逆変換を復号結果に施すことで、制約条件
を満たす量子化ベクトルを得ることにより、従来よりも
計算量を削減しようとするものである。
は、符号化側において入力ベクトルに所定の変換関数で
変換を施して目標ベクトルを生成し、この目標ベクトル
を近似する第1の量子化ベクトルを構成する少なくとも
一つの符号ベクトルを符号帳から選択して符号ベクトル
を指し示すインデックスを出力する。ここで、変換関数
は第1の量子化ベクトルに該変換の逆変換を施すことで
予め定められた制約条件を満たす第2の量子化ベクトル
が生成されるように構成される。
所定の変換関数で変換して生成される目標ベクトルを近
似する第1の量子化ベクトルを構成する少なくとも一つ
の符号ベクトルを指し示すインデックスを入力して、こ
の符号ベクトルを符号帳から取り出し、この符号ベクト
ルより構成される第1の量子化ベクトルに変換関数の逆
変換を施して第2の量子化ベクトルを生成する。ここ
で、変換関数は第2の量子化ベクトルが予め定められた
制約条件を満たすように構成される。
Pパラメータのベクトル量子化に好適である。LSPパ
ラメータのベクトル量子化の場合、符号化側においてL
SPパラメータを入力ベクトルとし、この入力ベクトル
から予め定められた制約条件を示す制約ベクトルを差し
引いて目標ベクトルを生成した後、この目標ベクトルと
の誤差を最小化する第1の量子化ベクトルを構成する少
なくとも一つの符号ベクトルを符号帳から選択して、こ
の符号ベクトルを指し示すインデックスを出力する。こ
こで、制約ベクトルは、第1の量子化ベクトルと制約ベ
クトルとを合成することで生成される第2の量子化ベク
トルを構成する量子化LSPパラメータの隣り合う成分
間の間隔が所定値以上となるように構成される。
なる入力ベクトルから予め定められた制約条件を示す制
約ベクトルを差し引いて得られた目標ベクトルとの誤差
を最小化する第1の量子化ベクトルを構成する少なくと
も一つの符号ベクトルを指し示すインデックスを入力
し、この符号ベクトルを符号帳から取り出した後、この
符号ベクトルよりなる第1の量子化ベクトルに制約ベク
トルを付加して第2の量子化ベクトルを生成する。ここ
で、制約ベクトルは、第2の量子化ベクトルを構成する
量子化LSPパラメータの隣り合う成分間の間隔が所定
値以上となるように構成される。
ラメータの予測符号化にも適用が可能である。その場
合、符号化側においては、LSPパラメータを入力ベク
トルとし、この入力ベクトルから予め定められた制約条
件を示す制約ベクトルを差し引いて目標ベクトルを生成
すると共に、過去の量子化ベクトルから制約ベクトルを
差し引いたベクトルを用いて予測ベクトルを生成し、こ
の予測ベクトルと合成されて目標ベクトルとの誤差を最
小化する第1の量子化ベクトルを構成する少なくとも一
つの符号ベクトルを符号帳から選択して、この符号ベク
トルを指し示すインデックスを出力する。ここで、制約
ベクトルは上記と同様、第1の量子化ベクトルと制約ベ
クトルとを合成することで生成される第2の量子化ベク
トルを構成する量子化LSPパラメータの隣り合う成分
間の間隔が所定値以上となるように構成される。
なる入力ベクトルから予め定められた制約条件を示す制
約ベクトルを差し引いて生成される目標ベクトルとの誤
差を最小化する第1の量子化ベクトルを構成する少なく
とも一つの符号ベクトルを指し示すインデックスを入力
し、この符号ベクトルを符号帳から取り出すと共に、過
去の量子化ベクトルから制約ベクトルを差し引いたベク
トルを用いて予測ベクトルを生成し、この符号ベクトル
と予測ベクトルとを合成して第1の量子化ベクトルを生
成し、さらに第1の量子化ベクトルと制約ベクトルとを
合成して第2の量子化ベクトルを生成する。制約ベクト
ルは同様に、第2の量子化ベクトルを構成する量子化L
SPパラメータの隣り合う成分間の間隔が所定値以上と
なるように構成される。
号化側においてLSPパラメータを入力ベクトルとし、
この入力ベクトルから予め定められた制約条件を示す制
約ベクトルを差し引き、さらに非線形変換を施して目標
ベクトルを生成する。また、過去の量子化ベクトルから
制約ベクトルを差し引き、さらに非線形変換を施したベ
クトルを用いて予測ベクトルを生成し、この予測ベクト
ルと合成されて目標ベクトルとの誤差を最小化する第1
の量子化ベクトルを構成する少なくとも一つの符号ベク
トルを符号帳から選択して、この符号ベクトルを指し示
すインデックスを出力する。ここで、制約ベクトルは上
記と同様、第1の量子化ベクトルと制約ベクトルとを合
成することで生成される第2の量子化ベクトルを構成す
る量子化LSPパラメータの隣り合う成分間の間隔が所
定値以上となるように構成される。
なる入力ベクトルから予め定められた制約条件を示す制
約ベクトルを差し引き、さらに非線形変換を施して生成
された目標ベクトルとの誤差を最小化する第1の量子化
ベクトルを構成する少なくとも一つの符号ベクトルを指
し示すインデックスを入力し、この符号ベクトルを符号
帳から取り出すと共に、過去の量子化ベクトルから制約
ベクトルを差し引き、さらに非線形変換を施したベクト
ルを用いて予測ベクトルを生成し、この符号ベクトルと
予測ベクトルとを合成して第1の量子化ベクトルを生成
し、さらに第1の量子化ベクトルと制約ベクトルとを合
成して第2の量子化ベクトルを生成する。ここで、制約
ベクトルは同様に、第2の量子化ベクトルを構成する量
子化LSPパラメータの隣り合う成分間の間隔が所定値
以上となるように構成される。
クトルに対し量子化ベクトルに予め定められた制約条件
を除去する変換を施した後に量子化を行い、復号時には
量子化ベクトルの復号後に符号化時と逆の変換を施して
制約条件を満たす量子化ベクトルを生成することによ
り、量子化ベクトルが制約条件を満たしているかどうか
の確認を少ない計算量で行うことが可能となる。
量子化を考えた場合、合成フィルタの安定性確保のため
にLSPパラメータの順序関係の条件に加えて、LSP
パラメータの隣り合う成分間の間隔を所定値に保つとい
う制約条件を量子化LSPベクトルに課する必要があ
る。ここで、特に後者の条件が満たされているかどうか
を確認するために必要な計算量が問題となるが、本発明
ではこの確認を隣り合う成分間の大小関係の比較のみで
行うことができるため、大幅な計算量の削減が可能とな
る。
非線形変換を行った後に量子化する場合は、変換を行う
前に制約条件を差し引くことで、変換後の量子化段階で
間隔の計算が不要となる。
施の形態を説明する。 (第1の実施形態)まず、本発明の第1の実施形態に係
るベクトル量子化方法を図1〜図4を用いて説明する。
方法を適用したベクトル量子化システムにおける符号化
器の構成を示す。この符号化器は、複数の符号ベクトル
を格納した符号帳101と、入力端子103に入力され
た入力ベクトルxから、量子化ベクトルに課せられる予
め定められた制約条件を除去して目標ベクトルF(x)
を生成する制約条件除去部104と、符号帳101から
取り出された符号ベクトルy[i]と目標ベクトルF
(x)との誤差を求める減算器106と、この誤差を評
価して最適な符号ベクトル、すなわち目標ベクトルF
(x)を近似する量子化ベクトル(以下、近似量子化ベ
クトルという)を構成する符号ベクトルy[i]を符号
帳101から選択し、符号ベクトルy[i]を指し示す
インデックスiを出力する誤差評価部107から構成さ
れている。
を必要とする場合には、符号ベクトルy[i]に対し、
制約条件除去部104で除去された制約条件を付加して
量子化ベクトルを得る制約条件付加部108が設けられ
る。
て、図1の符号化器による符号化の処理手順を説明す
る。まず、制約条件除去部104により、入力ベクトル
xを量子化ベクトルに課せられる制約条件を除去する変
換関数Fで変換し、目標ベクトルF(x)を生成する。
(ステップS11)。
トルF(x)と符号帳101に格納されているi番目の
符号ベクトルy[i]との誤差を全てのiに関して計算
する(ステップS12)。
を最小にする符号ベクトルy[i]のインデックスiを
誤差計算部107から出力する(ステップS13)。こ
のインデックスiは、伝送路または記憶媒体を介して復
号器に伝送される。
方法を適用したベクトル量子化システムにおける復号器
の構成を示す。この復号器は、複数の符号ベクトルを格
納した符号帳201と、この符号帳201から入力端子
200より入力されたインデックスiに対応して取り出
された符号ベクトルy[i]に対し、図1中の制約条件
除去部104で除去された制約条件を付加して量子化ベ
クトルを生成する制約条件付加部208から構成され
る。符号帳201は、図1に示した符号化器中の符号帳
101と同一構成となっている。
て、図3の復号器による復号の処理手順を説明する。ま
ず、図1の符号化器から伝送されたインデックスiを入
力し、このインデックスiに対応する符号ベクトルy
[i]を符号帳201から取り出す(ステップS2
1)。
約条件を除去する変換関数Fの逆関数である制約条件を
付加する関数F-1を施し、制約条件を満たす量子化ベク
トルx′=F-1(y[i])を復号ベクトルとして得
る。
あるが、複数の符号帳を用いる場合には、各符号帳から
取り出された符号ベクトルを足し合わせて近似量子化ベ
クトルを生成し、これと目標ベクトルとの誤差を求める
ようにすればよい。
トル量子化方法によれば、少ない計算量で制約条件を満
たす量子化ベクトルを得ることができる。この効果につ
いては、以下に説明する第2の実施形態で具体的に述べ
ることにする。
実施形態に係るベクトル量子化方法を図5および図6に
より説明する。図5は、本実施形態に係るベクトル量子
化方法を適用したベクトル量子化システムにおける符号
化器の構成を示す図である。この符号化器は、それぞれ
複数の符号ベクトルを格納した第1、第2の符号帳30
1,302と、入力端子303より入力された入力ベク
トルから制約条件を除去して目標ベクトルを生成する制
約条件除去部304と、第1、第2の符号帳301,3
02から取り出された符号ベクトルを足し合わせて、目
標ベクトルを近似する量子化ベクトル(近似量子化ベク
トル)を得る加算器305と、近似量子化ベクトルと目
標ベクトルとの誤差を求める減算器306と、この誤差
を評価して最適な符号ベクトルの組合せを選択し、その
符号ベクトルの組み合わせを指し示すインデックスを出
力する誤差評価部307と、近似量子化ベクトルに制約
条件を付加して量子化ベクトルを出力する制約条件付加
部308から構成される。なお、符号化器で量子化ベク
トルを用いる必要がない場合には、制約条件付加部30
8は不要である。
LSPパラメータが入力される。このLSPパラメータ
は制約条件除去部304に入力され、ここで量子化LS
Pパラメータに課せられている制約条件、具体的には量
子化LSPパラメータの隣り合う成分間の間隔が所定値
D以上であるという条件が除去される。
メータを目標ベクトルとして、量子化が行われる。本実
施形態の例では、2段のベクトル量子化が行われる。2
段のベクトル量子化では、第1、第2の符号帳301,
302からそれぞれ得られた符号ベクトルを加算器30
5で足し合わせた近似量子化ベクトルが生成される。そ
して、減算器306により目標ベクトルと近似量子化ベ
クトルとの誤差が計算される。誤差評価部307では、
この誤差が最小になる組み合わせの符号ベクトルを第
1、第2の符号帳301,302からそれぞれ探索し、
これらの符号ベクトルを指し示すインデックスを出力す
る。これらのインデックスは、図示しない伝送路または
蓄積媒体を介して復号器へ伝送される。
方法を適用したベクトル量子化システムにおける復号器
の構成を示す図である。この復号器は、複数の符号ベク
トルをそれぞれ格納した第1、第2の符号帳401,4
02と、これらの符号帳401,402から入力端子4
00より入力されたインデックスに対応して取り出され
た組み合わせの符号ベクトルを足し合わせて近似量子化
ベクトルを得る加算器405と、この近似量子化ベクト
ルに対し、制約条件を付加して量子化ベクトルを生成す
る制約条件付加部408から構成される。
伝送されてきたインデックスが入力される。符号帳40
1,402からは、これらのインデックスにそれぞれ対
応する符号ベクトルが取り出され、加算器405で足し
合わされることにより、近似量子化ベクトルが生成され
る。この近似量子化ベクトルは制約条件付加部408に
入力され、図5中の制約条件除去部304で除去された
制約条件が付加されることにより、量子化ベクトルが生
成される。具体的には、制約条件付加部408では近似
量子化ベクトルに対して、隣り合う成分間の間隔をDず
つ広げる処理が行われる。
るLSPパラメータの隣り合う成分間の間隔を予めDず
つ縮め、量子化後にDずつ広げることにより、量子化L
SPパラメータの隣り合う成分間の間隔がDよりも大き
いという制約条件を量子化時には考慮する必要がなくな
る効果がある。特に、条件の確認を符号帳401,40
2の探索ループ内で行う場合は、計算量を大きく削減で
きる。
て、入力ベクトルがp次の線形予測分析で得られたLS
Pパラメータw={w1 ,w2 ,…,wp )であり、こ
のLSPパラメータw={w1 ,w2 ,…,wp )を2
段のベクトル量子化により量子化する場合について詳し
く説明する。量子化ベクトルである量子化LSPパラメ
ータw′は、1段目の符号ベクトルw′a(i)と、2
段目の符号ベクトルw′b(j)を用いて、 w′=w′a(i)+w′b(j) ;w′={w′1 ,w′2 ,…,w′p } (2) と表される。先に述べたように、LSPパラメータwに
は式(1)の順序関係の条件に加えて、 wi+1 −wi >D (3) で示されるようにLSPパラメータの隣り合う成分間の
間隔が所定の間隔D以上であることが必要である。
索では、入力されるLSPパラメータwとの誤差が最小
となる符号ベクトルw′a(i),w′b(j)の組み
合わせを符号帳から選択し、i,jをインデックスとし
て出力する。量子化LSPパラメータは、w′=w′a
(i)+w′b(j)として得られる。このとき注意す
べきことは、符号ベクトルw′a(i),w′b(j)
の組合せによっては式(3)の条件が満たされなくなる
場合がある点である。
とは起こらない。式(3)を満たすように、予め符号帳
を設計しておけば良いからである。しかし、2段以上の
ベクトル量子化になると2つのベクトルを合わせた結果
が式(3)を満たすように符号帳を設計するのは困難で
ある。そこで、従来では量子化のループ内で、あるい
は、量子化終了後に量子化結果が式(3)を満たすかど
うかを確認する必要があった。この確認に必要な演算量
は、式(3)より量子化LSPパラメータの一対の隣り
合う成分につき減算が1回と比較が1回必要である。
xに F(x)=x−d x={x1 ,x2 ,…,xp } d={0,D,2D,…,(p−1)D} (4) なる変換関数を用いて変換を施し、また近似量子化ベク
トルに F-1(x)=x+d (5) なる関数F-1(x)を用いて逆変換を施す。ここで、F
(x)は入力ベクトルxの隣り合う成分間の間隔をDだ
け縮める関数であり、図1中の制約条件除去部104
(図2中の制約条件除去ステップS11)で用いられ
る。また、F-1(x)は近似量子化ベクトルの隣り合う
成分間の間隔をDだけ広げる関数であり、図3中の制約
条件付加部208(図4中の制約条件付加ステップS2
2)で用いられる。また、dは制約条件をベクトルで表
した制約ベクトルである。
隣り合う成分間の間隔を関数F(x)を用いて予めDず
つ縮め、量子化後に近似量子化ベクトルを関数F
-1(x)を用いてDずつ広げることで、量子化ベクトル
である量子化LSPパラメータの隣り合う成分間の間隔
がDよりも大きいという制約条件を量子化の処理から取
り除く点が本実施形態のポイントである。
力ベクトルであるLSPパラメータwに制約条件除去部
304により変換Fを施し、これにより生成された目標
ベクトルF(w)と加算器305からの近似量子化ベク
トルとの誤差が最小となる組合せの符号ベクトルy′a
(i),y′b(j)を誤差評価部307により符号帳
301,302から選択し、i,jをインデックスとし
て出力する。
入力されたインデックスi,jに対応する符号ベクトル
y′a(i),y′b(j)を符号帳401,402か
ら取り出し、これを加算器405で y′=y′a(i)+y′b(j) y′={y′1 ,y′2 ,…,y′p } (6) のように加算して近似量子化ベクトルy′を求め、この
近似量子化ベクトルy′に制約条件付加部408で w′=F-1(y′)=y′+d (7) なる逆変換F-1を施して、量子化ベクトルである量子化
LSPパラメータw′を得る。
wから予め制約ベクトルdを引き去ったベクトルF
(w)を目標ベクトルとし、これを量子化している点が
従来の方法と大きく異なる。このようにすることで、量
子化ベクトルが制約条件を満たしているかどうかの確認
を少ない計算量で行うことができる。
たされているかどうかを確認する必要があるが、式
(3)の条件が満たされることは、本実施形態では y′i+1 >y′i (8) が満たされることと等しい。式(8)を満たしているか
どうかを調べるのには1回の比較を行えばよく、式
(3)の条件を確認するよりも1回の減算分だけ計算量
が少ないことになる。
パラメータの隣り合う成分間の間隔の確認に必要な演算
は一対の隣り合う成分につき減算1回だけ削減されるわ
けであるが、符号帳探索のループ内で行う場合は計算量
削減の効果が大きい。LSPパラメータは通常、20〜
30ビット程度で量子化される。20ビット(1段目1
0ビット、2段目10ビット)のベクトル量子化を行う
場合、1段目を探索した後、2段目の探索を行うが、2
段目の探索時に従来法では式(3)、本発明では式
(8)の条件を確認する必要がある。条件が満たされて
いない候補に対しては、候補(前述の近似量子化ベクト
ル)から除外したり、条件が満たされるように補正を行
ってから探索を継続する、などの対策が行われる。
場合、一つのLSPパラメータにつき隣り合う成分の対
は9個であり、10ビットの符号帳(1024候補)で
は9×1024=9216回の確認を行う必要がある。
本実施形態では、上述のようにこの確認を従来法よりL
SPパラメータの隣り合う成分の1対につき、1回ずつ
少ない計算量で行うことができるため、全体では約10
000回の計算量削減となり、その効果は大きい。
の中で確認を行わずに、符号帳探索が終了した後に行う
ことも可能である。その場合、条件が満たされていない
ときは、過去の量子化値を用いたり、補正して使用する
などの対策が必要である。変換関数Fで用いるdの値
は、式(4)の値に限るものではなく、例えば音質への
影響や符号化方法により、次元毎に異なる値を設定する
ことも可能である。
実施形態に係るベクトル量子化方法を図7および図8に
より説明する。図7は、本実施形態に係るベクトル量子
化方法を適用したベクトル量子化システムにおける符号
化器の構成を示す図である。図7において図5と同一部
分に同一符号を付して第2の実施形態との相違点を中心
に説明すると、本実施形態の符号化器では図5における
第1、第2の符号帳301,302が除去され、代わり
に符号帳311、遅延部312および予測部313が設
けられている。
化を行う例を示している。予測符号化は、過去の量子化
LSPパラメータを基に現在のLSPパラメータを予測
し、実際のLSPパラメータとの差を量子化して伝送す
る方法であり、図7では次のようにして予測符号化を行
っている。
て予測部313に入力され、ここで現在のLSPパラメ
ータの予測値が生成される。複数の符号ベクトルを格納
した符号帳311から一つずつ取り出された符号ベクト
ルは加算器305で予測値と加算されて近似量子化ベク
トルが生成され、減算器306により制約条件除去部3
04の出力である目標ベクトルと近似量子化ベクトルと
の誤差が計算される。誤差評価部307では、この誤差
が最小になる符号ベクトルを符号帳311から探索し、
この符号ベクトルを指し示すインデックスを出力する。
これらのインデックスは、図示しない伝送路または蓄積
媒体を介して復号器へ伝送される。
方法を適用したベクトル量子化システムにおける復号器
の構成を示す図である。図8において図6と同一部分に
同一符号を付して第2の実施形態との相違点を中心に説
明すると、本実施形態の復号器は図6における第1、第
2の符号帳401,402が除去され、代わりに符号帳
411、遅延部412および予測部413が設けられて
いる。
伝送されてきたインデックスが入力される。複数の符号
ベクトルを格納した符号帳411からは、このインデッ
クスに対応する符号ベクトルが取り出され、加算器40
5で遅延部412の出力に基づいて予測部413で求め
られた予測値と足し合わされることにより、近似量子化
ベクトルが生成される。この近似量子化ベクトルは制約
条件付加部408に入力され、図7中の制約条件除去部
304で除去された制約条件が付加されることにより、
量子化ベクトルが生成される。
の予測符号化を行った場合にも有効であり、第2の実施
形態と同様に制約条件を量子時に考慮する必要のないベ
クトル量子化が可能となる。
2に蓄えられるベクトルの数、つまの予測次数は何次で
もよい。一般に予測の次数を上げるほど、量子化の精度
が上がる。本実施形態は、予測次数にかかわらず適応可
能である。また、予測方法としては本実施形態で示した
AR型(自己回帰型)の他にMA型(移動平均型)、そ
の他の形式も可能である。
において、加算器303の出力を遅延部312で保持し
て予測部313への入力としているが、制約条件付加部
308の出力を遅延部で保持しておき、制約条件を取り
除いて予測部の入力としても等価な処理を行うことがで
きる。符号化器では処理の都合上、過去の量子化ベクト
ル、つまり制約条件付加部308の出力を遅延部で保持
する場合があるので、この方法によると加算器305の
出力を遅延部312(メモリ)で保持する場合と異な
り、メモリを特別に追加する必要が無くなる。
実施形態に係るベクトル量子化方法を図9および図10
により説明する。図9は、本実施形態に係るベクトル量
子化方法を適用したベクトル量子化システムにおける符
号化器の構成を示す図である。図9において図7と同一
部分に同一符号を付して第3の実施形態との相違点を中
心に説明すると、本実施形態の符号化器は図7の符号化
器に変換部321と逆変換部322が追加された構成と
なっており、その他の構成は図7と同じである。制約条
件付加部308は、前述したように符号化器で量子化ベ
クトルを用いる必要が無い場合は不要であり、その場合
は逆変換部322も不要である。
であるLSPパラメータは、制約条件除去部304で制
約条件が除去されることにより、隣り合う成分間の間隔
がDだけ狭められたベクトルとされた後、さらに変換部
321で非線形変換されて目標ベクトルとなる。変換部
321での非線形変換としては対数変換が挙げられる
が、これに限るものではない。符号帳311および予測
部313からは、それぞれ変換領域での符号ベクトルお
よび予測値が出力され、加算器305で足し合わされる
ことにより、変換領域での近似量子化ベクトルが生成さ
れる。
力である目標ベクトルと近似量子化ベクトルとの誤差が
計算され、誤差評価部307でこの誤差が最小になる符
号ベクトルを符号帳311から探索し、この符号ベクト
ルを指し示すインデックスを出力する。これらのインデ
ックスは、図示しない伝送路または蓄積媒体を介して復
号器へ伝送される。
化方法を適用したベクトル量子化システムにおける復号
器の構成を示す図である。図10において図8と同一部
分に同一符号を付して第3の実施形態との相違点を中心
に説明すると、本実施形態の符号化器は図8の符号化器
における制約条件付加部408の前に逆変換部422が
追加された構成となっており、その他の構成は図8と同
じである。この逆変換部422は図9における逆変換部
322と同じものであり、図9における変換部321の
逆変換、例えば逆対数変換を行う。
換領域においても有効である。この有効性について述べ
る。LSPパラメータの隣り合う成分間の間隔がD以上
という条件を対数変換のような非線形変換領域で成立さ
せることは困難である。図11を用いてその理由を説明
する。図11は横軸がLSPパラメータ、縦軸が変換領
域でのLSPパラメータを表す。LSPパラメータの隣
り合う成分間の間隔は、wi ,wi+1 間、wi ′,w
i+1 ′間のいずれもDである。しかし、変換領域でのL
SPパラメータの隣り合う成分間の間隔は同じではな
い。変換領域でLSPパラメータの量子化を行い、かつ
LSPパラメータの隣り合う成分間の間隔をD以上に保
つためには、一度逆変換して間隔を評価する必要があ
る。これは多くの計算量を必要とし、現実的でない。
部304により入力ベクトルであるLSPパラメータの
隣り合う成分間の間隔を図12に示すように予めDだけ
縮めておくため、変換領域では順序が入れ替わるか否か
を確認することで、LSPパラメータの隣り合う成分間
の間隔をD以上に保つことができるかどうかを確認する
ことができる。
を確認するのに、従来法では式(3)の計算に加えて逆
変換を行う計算が余分に必要である。一般に、逆変換は
多くの計算量を必要とするため、計算量がさらに増える
ことになり、好ましくない。一方、本実施形態では変換
領域で式(8)の条件の確認を行うだけで良い。
あるLSPパラメータの隣り合う成分間の間隔を制約条
件除去部304で予めDだけ縮めておくことにより、そ
の後に変換部321で対数変換などの非線形変換を行っ
てから量子化を行う場合も、式(8)に示した条件の順
序の確認だけでLSPパラメータの隣り合う成分間の間
隔を確保できるという利点がある。
号化時に入力ベクトルに対し量子化ベクトルに予め定め
られた制約条件を除去する変換を施した後に量子化を行
い、復号時には量子化ベクトルの復号後に符号化時と逆
の変換を施して制約条件を満たす量子化ベクトルを生成
することにより、量子化ベクトルが制約条件を満たして
いるかどうかの確認を少ない計算量で行うことが可能と
なり、制約条件のあるベクトル量子化を効率良く行うこ
とができる。
方法を適用したベクトル量子化システムにおける符号化
器の構成を示す図
ローチャート
方法を適用したベクトル量子化システムにおける復号器
の構成を示す図
ーチャート
方法を適用したベクトル量子化システムにおける符号化
器の構成を示す図
方法を適用したベクトル量子化システムにおける復号器
の構成を示す図
方法を適用したベクトル量子化システムにおける符号化
器の構成を示す図
方法を適用したベクトル量子化システムにおける復号器
の構成を示す図
方法を適用したベクトル量子化システムにおける符号化
器の構成を示す図
化方法を適用したベクトル量子化システムにおける復号
器の構成を示す図
形変換について説明する図
形変換と制約条件の除去を組み合わせたことによる効果
を説明する図
Claims (8)
- 【請求項1】入力ベクトルに所定の変換関数で変換を施
して目標ベクトルを生成するステップと、 前記目標ベクトルを近似する第1の量子化ベクトルを構
成する少なくとも一つの符号ベクトルを符号帳から選択
し、該符号ベクトルを指し示すインデックスを出力する
ステップとを有し、 前記変換関数は、前記第1の量子化ベクトルに該変換の
逆変換を施すことで予め定められた制約条件を満たす第
2の量子化ベクトルが生成されるように構成されること
を特徴とするベクトル量子化方法。 - 【請求項2】入力ベクトルを所定の変換関数で変換して
生成される目標ベクトルを近似する第1の量子化ベクト
ルを構成する少なくとも一つの符号ベクトルを指し示す
インデックスを入力し、該符号ベクトルを符号帳から取
り出すステップと、 前記符号ベクトルより構成される前記第1の量子化ベク
トルに前記変換関数の逆変換を施して第2の量子化ベク
トルを生成するステップとを有し、 前記変換関数は、前記第2の量子化ベクトルが予め定め
られた制約条件を満たすように構成されることを特徴と
するベクトル量子化方法。 - 【請求項3】LSPパラメータを入力ベクトルとし、該
入力ベクトルから予め定められた制約条件を示す制約ベ
クトルを差し引いて目標ベクトルを生成するステップ
と、 前記目標ベクトルとの誤差を最小化する第1の量子化ベ
クトルを構成する少なくとも一つの符号ベクトルを符号
帳から選択し、該符号ベクトルを指し示すインデックス
を出力するステップとを有し、 前記制約ベクトルは、前記第1の量子化ベクトルと該制
約ベクトルとを合成することで生成される第2の量子化
ベクトルを構成する量子化LSPパラメータの隣り合う
成分間の間隔が所定値以上となるように構成されること
を特徴とするベクトル量子化方法。 - 【請求項4】LSPパラメータよりなる入力ベクトルか
ら予め定められた制約条件を示す制約ベクトルを差し引
いて得られた目標ベクトルとの誤差を最小化する第1の
量子化ベクトルを構成する少なくとも一つの符号ベクト
ルを指し示すインデックスを入力し、該符号ベクトルを
符号帳から取り出すステップと、 前記符号ベクトルよりなる前記第1の量子化ベクトルに
前記制約ベクトルを付加して第2の量子化ベクトルを生
成するステップとを有し、 前記制約ベクトルは、前記第2の量子化ベクトルを構成
する量子化LSPパラメータの隣り合う成分間の間隔が
所定値以上となるように構成されることを特徴とするベ
クトル量子化方法。 - 【請求項5】LSPパラメータを入力ベクトルとし、該
入力ベクトルから予め定められた制約条件を示す制約ベ
クトルを差し引いて目標ベクトルを生成するステップ
と、 過去の量子化ベクトルから前記制約ベクトルを差し引い
たベクトルを用いて予測ベクトルを生成するステップ
と、 前記予測ベクトルと合成されて前記目標ベクトルとの誤
差を最小化する第1の量子化ベクトルを構成する少なく
とも一つの符号ベクトルを符号帳から選択し、該符号ベ
クトルを指し示すインデックスを出力するステップとを
有し、 前記制約ベクトルは、前記第1の量子化ベクトルと該制
約ベクトルとを合成することで生成される第2の量子化
ベクトルを構成する量子化LSPパラメータの隣り合う
成分間の間隔が所定値以上となるように構成されること
を特徴とするベクトル量子化方法。 - 【請求項6】LSPパラメータよりなる入力ベクトルか
ら予め定められた制約条件を示す制約ベクトルを差し引
いて生成される目標ベクトルとの誤差を最小化する第1
の量子化ベクトルを構成する少なくとも一つの符号ベク
トルを指し示すインデックスを入力し、該符号ベクトル
を符号帳から取り出すステップと、 過去の量子化ベクトルから前記制約ベクトルを差し引い
たベクトルを用いて予測ベクトルを生成するステップ
と、 前記符号ベクトルと前記予測ベクトルとを合成して前記
第1の量子化ベクトルを合成するステップと、 前記第1の量子化ベクトルと前記制約ベクトルとを合成
して第2の量子化ベクトルを生成するステップとを有
し、 前記制約ベクトルは、前記第2の量子化ベクトルを構成
する量子化LSPパラメータの隣り合う成分間の間隔が
所定値以上となるように構成されることを特徴とするベ
クトル量子化方法。 - 【請求項7】LSPパラメータを入力ベクトルとし、該
入力ベクトルから予め定められた制約条件を示す制約ベ
クトルを差し引き、さらに非線形変換を施して目標ベク
トルを生成するステップと、 過去の量子化ベクトルから前記制約ベクトルを差し引
き、かつ前記非線形変換を施してベクトルを用いて予測
ベクトルを求めるステップと、 前記予測ベクトルと合成されて前記目標ベクトルとの誤
差を最小化する第1の量子化ベクトルを構成する少なく
とも一つの符号ベクトルを符号帳から選択し、該符号ベ
クトルを指し示すインデックスを出力するステップとを
有し、 前記制約ベクトルは、前記第1の量子化ベクトルと該制
約ベクトルとを合成することで生成される第2の量子化
ベクトルを構成する量子化LSPパラメータの隣り合う
成分間の間隔が所定値以上となるように構成されること
を特徴とするベクトル量子化方法。 - 【請求項8】LSPパラメータよりなる入力ベクトルか
ら予め定められた制約条件を示す制約ベクトルを差し引
き、さらに非線形変換を施して生成された目標ベクトル
との誤差を最小化する第1の量子化ベクトルを構成する
少なくとも一つの符号ベクトルを指し示すインデックス
を入力し、該符号ベクトルを符号帳から取り出すステッ
プと、 過去の量子化ベクトルから前記制約ベクトルを差し引
き、さらに非線形変換を施したベクトルを用いて予測ベ
クトルを生成するステップと、 前記符号ベクトルと前記予測ベクトルとを合成して前記
第1の量子化ベクトルを合成するステップと、 前記第1の量子化ベクトルと前記制約ベクトルとを合成
して第2の量子化ベクトルを生成するステップとを有
し、 前記制約ベクトルは、前記第2の量子化ベクトルを構成
する量子化LSPパラメータの隣り合う成分間の間隔が
所定値以上となるように構成されることを特徴とするベ
クトル量子化方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10978598A JP3842432B2 (ja) | 1998-04-20 | 1998-04-20 | ベクトル量子化方法 |
US09/293,878 US6385575B1 (en) | 1998-04-20 | 1999-04-19 | Constraint relieving vector quantization apparatus and vector quantization method having constraints in quantization vectors |
EP99303025A EP0952572B1 (en) | 1998-04-20 | 1999-04-20 | Vector quantization apparatus and vector quantization method |
DE69938020T DE69938020T2 (de) | 1998-04-20 | 1999-04-20 | Vorrichtung und Verfahren zur Vektorquantisierung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10978598A JP3842432B2 (ja) | 1998-04-20 | 1998-04-20 | ベクトル量子化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11308113A true JPH11308113A (ja) | 1999-11-05 |
JP3842432B2 JP3842432B2 (ja) | 2006-11-08 |
Family
ID=14519167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10978598A Expired - Fee Related JP3842432B2 (ja) | 1998-04-20 | 1998-04-20 | ベクトル量子化方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6385575B1 (ja) |
EP (1) | EP0952572B1 (ja) |
JP (1) | JP3842432B2 (ja) |
DE (1) | DE69938020T2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001188598A (ja) * | 1999-12-24 | 2001-07-10 | Korea Electronics Telecommun | 線スペクトルペアー量子化器の高速探索方法 |
JP2003223189A (ja) * | 2002-01-29 | 2003-08-08 | Fujitsu Ltd | 音声符号変換方法及び装置 |
JP2007286511A (ja) * | 2006-04-19 | 2007-11-01 | Casio Comput Co Ltd | 音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3636094B2 (ja) * | 2001-05-07 | 2005-04-06 | ソニー株式会社 | 信号符号化装置及び方法、並びに信号復号装置及び方法 |
PT2313887T (pt) | 2008-07-10 | 2017-11-14 | Voiceage Corp | Dispositivo e método de quantificação de filtro de lpc de taxa de bits variável e quantificação inversa |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2021514C (en) * | 1989-09-01 | 1998-12-15 | Yair Shoham | Constrained-stochastic-excitation coding |
JP2776474B2 (ja) | 1992-10-02 | 1998-07-16 | 日本電信電話株式会社 | 多段ベクトル量子化法 |
EP0577488B9 (en) | 1992-06-29 | 2007-10-03 | Nippon Telegraph And Telephone Corporation | Speech coding method and apparatus for the same |
ATE213864T1 (de) | 1994-10-05 | 2002-03-15 | Advanced Micro Devices Inc | Vorrichtung und verfahren zur sprachsignalanalyse zur parameterbestimmung von sprachsignalmerkmalen |
EP0788091A3 (en) * | 1996-01-31 | 1999-02-24 | Kabushiki Kaisha Toshiba | Speech encoding and decoding method and apparatus therefor |
-
1998
- 1998-04-20 JP JP10978598A patent/JP3842432B2/ja not_active Expired - Fee Related
-
1999
- 1999-04-19 US US09/293,878 patent/US6385575B1/en not_active Expired - Fee Related
- 1999-04-20 EP EP99303025A patent/EP0952572B1/en not_active Expired - Lifetime
- 1999-04-20 DE DE69938020T patent/DE69938020T2/de not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001188598A (ja) * | 1999-12-24 | 2001-07-10 | Korea Electronics Telecommun | 線スペクトルペアー量子化器の高速探索方法 |
JP2003223189A (ja) * | 2002-01-29 | 2003-08-08 | Fujitsu Ltd | 音声符号変換方法及び装置 |
JP2007286511A (ja) * | 2006-04-19 | 2007-11-01 | Casio Comput Co Ltd | 音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3842432B2 (ja) | 2006-11-08 |
DE69938020T2 (de) | 2009-01-22 |
EP0952572A2 (en) | 1999-10-27 |
EP0952572B1 (en) | 2008-01-23 |
US6385575B1 (en) | 2002-05-07 |
DE69938020D1 (de) | 2008-03-13 |
EP0952572A3 (en) | 2000-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3151874B2 (ja) | 音声パラメータ符号化方式および装置 | |
US7496506B2 (en) | Method and apparatus for one-stage and two-stage noise feedback coding of speech and audio signals | |
US6122608A (en) | Method for switched-predictive quantization | |
JP2006510947A (ja) | 可変ビットレート通話符号化における線形予測パラメータの強力な予測ベクトル量子化方法と装置 | |
JP3143956B2 (ja) | 音声パラメータ符号化方式 | |
JP3254687B2 (ja) | 音声符号化方式 | |
JPH04171500A (ja) | 音声パラメータ符号化方法 | |
JP5521097B2 (ja) | 信号を符号化する方法および信号を復号する方法 | |
JPH0990995A (ja) | 音声符号化装置 | |
JP2800618B2 (ja) | 音声パラメータ符号化方式 | |
JPH04134400A (ja) | 音声符号化装置 | |
US6397176B1 (en) | Fixed codebook structure including sub-codebooks | |
JPH0341500A (ja) | 低遅延低ビツトレート音声コーダ | |
JP3842432B2 (ja) | ベクトル量子化方法 | |
US20060080090A1 (en) | Reusing codebooks in parameter quantization | |
US7110942B2 (en) | Efficient excitation quantization in a noise feedback coding system using correlation techniques | |
JP3088163B2 (ja) | Lsp係数の量子化方法 | |
JPH113098A (ja) | 音声符号化方法および装置 | |
JP3089967B2 (ja) | 音声符号化装置 | |
JP3233184B2 (ja) | 音声符号化方法 | |
JP2001228900A (ja) | 音声パラメータ符号化装置およびその装置に用いられる符号化方式およびその符号化アルゴリズムを記載したコンピュータ読み取り可能な記録媒体、および、音声パラメータ量子化装置およびその装置に用いられる量子化方法およびその量子化アルゴリズムを記載したコンピュータ読み取り可能な記録媒体 | |
KR101341188B1 (ko) | Nmf 알고리즘을 이용한 음성 신호 코딩 장치 및 그 방법 | |
JP3576805B2 (ja) | 音声符号化方法及びシステム並びに音声復号化方法及びシステム | |
JP3192051B2 (ja) | 音声符号化装置 | |
JP3102017B2 (ja) | 音声符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060810 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120818 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120818 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130818 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |