JP3233184B2 - 音声符号化方法 - Google Patents
音声符号化方法Info
- Publication number
- JP3233184B2 JP3233184B2 JP05300695A JP5300695A JP3233184B2 JP 3233184 B2 JP3233184 B2 JP 3233184B2 JP 05300695 A JP05300695 A JP 05300695A JP 5300695 A JP5300695 A JP 5300695A JP 3233184 B2 JP3233184 B2 JP 3233184B2
- Authority
- JP
- Japan
- Prior art keywords
- codebook
- vector
- code
- pitch
- code vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
/s程度の情報量で符号化する高能率ディジタル音声符
号化、特に、符号励振線形予測符号化の励振信号符号化
等において用いて好適な音声符号化方法に関するもので
ある。
スでは、電波や記憶媒体の効率的利用を図るために、種
々の高能率音声符号化法が用いられている。その代表的
な基本技術として、符号励振線形予測符号化(Code Exc
ited Linear Prediction,CELP)がある。この技術の詳
細は、M.R.Schroeder and B.S.Atal:“Code-Excited L
inear Prediction (CELP):High-quality Speech at Ve
ry Low Bit Rates”,Proc. IEEE ICASSP-85,25.1.1,
pp.937-940,(1985年)に述べられている。
ms程度を1フレームとし、あるいは、フレームをさら
に分割してサブフレームとし、フレーム、あるいはサブ
フレームの信号を1ベクトルとして取り扱う。そして、
過去の励振信号からなるピッチ適応符号帳中の一つの適
応符号ベクトルと、あらかじめ蓄積しておいた固定的な
雑音又はパルス列からなる雑音符号帳の雑音符号ベクト
ルとの重み付き和を励振信号とする。この励振信号を線
形予測合成フィルタに通した合成波形と入力音声との聴
覚重みつき波形歪みを最小とするように、適応符号、雑
音符号、利得符号を決定する。
のピッチ周期性を雑音符号帳に反映させた方法としてピ
ッチ同期雑音励振源符号励振線形予測符号化(Pitch Sy
nchronous Innovation CELP, PSI-CELP)がある。この
技術の詳細は、三樹、守谷、間野、大室:“ピッチ同期
雑音励振源をもつCELP符号化(PSI-CELP)”、電子情
報通信学会論文誌A,Vol.J77-A, No.3, pp.285-292(1
994年3月)に記述されている。前述したCELPの場
合には、雑音符号帳から得られる雑音符号ベクトルが常
に固定されたものであったが、PSI−CELPでは、
適応符号帳から得られるピッチ周期を用い、適応符号帳
と同様にして、雑音符号帳に格納されたベクトルを先頭
から周期化することによって、雑音符号ベクトルを得て
おり、この点が両者で異なっている。
基本的なブロック図を示す。まず、入力端子1から音声
を入力する。線形予測分析部2において音声の線形予測
分析を行い、量子化された予測係数Aが合成フィルタ3
の係数となる。4は第1の符号帳であり、直前の過去の
合成フィルタ3への入力として使用された励振音源(A
CB)が蓄えられたバッファである適応符号帳4aと、
固定の雑音符号帳4b(以下、固定符号帳と称する。)
からなる。第1の符号帳4へ入力される符号Lは、適応
符号帳4a内の適応符号ベクトルが選択された場合に
は、音声波形のピッチ周期に対応する。一方、固定符号
帳4b内の固定符号ベクトルが選択された場合、符号L
は固定符号帳4bのベクトルの番号を示す。ただし、こ
れらの第1の符号帳4から出力される適応符号ベクトル
と固定符号ベクトルは、切り換え部13で排他的に選択
された後、乗算部7へ供給される。
みが最小となように各符号ベクトルが選択されるが、適
応符号帳4aから選択された符号ベクトルは、その後、
図4(1)に示すように符号Lに対応するピッチ周期T
(L)で過去の励振信号を図3では図示を省略した周期
化部4a−1によって繰り返し、周期化することによっ
て上述した適応符号ベクトルとされ、他方、固定符号帳
からは、図4(2)に示すように、格納されているベク
トルそのものが選択される。なお、図4に示すNはサン
プリング周期を単位とするサブフレームの長さ、Fは任
意のベクトルの番号を示す。
り、通常、雑音符号帳と呼ばれる。PSI−CELPで
は、雑音符号帳5についても上記と同様に合成波形歪み
最小となるベクトルが選択されるが、その際、第1の符
号帳4のベクトルとして適応符号ベクトルが選択された
場合には、図4(3)に示すように、入力符号Cに対応
する雑音符号帳5のC番目に格納されている雑音符号ベ
クトルが選択され、さらに周期化部6において符号Lに
対応するピッチ周期T(L)で周期化され、この周期化
されたベクトルが励振信号となる。他方、符号Lが固定
符号帳4bを指定した場合には、周期化は行われずに、
ベクトルそのものとして選択され、切り換え部14へ供
給される。
帳)5から選択された第1、第2符号帳ベクトルには、
それぞれ、乗算部7、8において、波形歪みが最小とな
るように最適化された利得符号G0、G1が乗算される。
そして、この乗算部7、8の出力は、加算部11で合成
された後、合成フィルタ部3へ入力される。
重み付きの歪みを求める歪み計算部であり、10は、最
適な符号検索を行い、送出符号を決定する符号帳検索部
である。なお、PSI−CELPに対して従来のCEL
P符号化とは、図3で第1の符号帳4を適応符号帳4a
のみとし、第2の符号帳5から選択された符号ベクトル
が周期化されない場合に相当する。
(雑音符号帳)5の検索について述べる。入力音声信号
から、減算部12において、合成フィルタ3の過去のフ
レームからの零入力応答と第1の符号帳4から選択され
た符号ベクトルに最適ゲインG0を乗じて合成フィルタ
3を通した合成波形を引いたものが目標ベクトルとな
る。そして、符号帳検索部10では、この目標ベクトル
と、第2の符号帳5のベクトルに利得G1を乗じて合成
フィルタ3を通した信号との歪が小さくなるように、符
号ベクトルが選択される。なお、一般に、歪の計算で
は、聴感重み付けフィルタによる重みが目標ベクトルと
合成音声の両方に掛けられるが、重み付けを行うか否か
は、以下の説明では特に問題とはならないので、以下、
重み付けについて、省略して説明を行う。
ルをX=(x0,xl,……,xN-1)tとし、第2の雑音
符号帳5の符号ベクトルをE=(e0,e1,…,
eN-1)t、利得をg、合成フィルタ3のインパルス応答
{h0,h1,…,hN-1}を用いたインパルス応答行列
Hを
尺度Dは次式となる。 D=|X−gHE|2 =|X|2−2g(XtHE)十g2|HE|2 (2) ただし、利得gは第2の雑音符号帳ベクトルEを定めた
後で決定するので、この段階では任意にとる。すなわ
ち、歪尺度Dを最小にする利得gは、∂D/∂g=0よ
り、g=(XtHE)/|HE|2である。また、目標ベ
クトルXは各サブフレーム内で共通である。従って、歪
尺度Dを最小にする雑音符号ベクトルEの検索には、 D’=(XtHE)2/(EtHtHE) (3) を最大とするベクトルEを第2の符号帳5から選択すれ
ば良い。
(雑音)符号帳から選択される雑音符号ベクトルEを、
少数のパルスからなるもの、例えば、零要素90%程
度、非零要素10%程度のスパース性を有するものとす
ると、(3)式を計算する場合には、雑音符号ベクトル
Eの非零の要素に限って、行列とベクトルの演算を行え
ば良いので、符号帳検索時の演算量を非常に小さくする
ことができ、かつ、符号帳を格納するためのメモリ量を
小さくすることができる。
素が2つのパルス性ベクトルE=(0,……,0,
ei,0,……,0,ej,0,……,0)tとする。こ
の場合、dt=XtH=(d0,d1,…,dN-1)をあら
かじめ計算しておけば、(3)式の分子中のXtHE
は、 XtHE=dtE =diei+djej (4) によって計算できるので、N次元のベクトルの内積が2
項の積和で計算できることになる。
=F={fij}(この場合fij=fj i)をあらかじめ計
算しておくと、 EtHtHE=EtFE =e2 ifii+2eiejfij+e2 jfjj (5) によって計算できるので、これによっても大きく演算量
を低減することができる。
LP符号化に関して、従来のCELP符号化と同様の少
数パルスの格納ベクトルからなる雑音符号ベクトルによ
る符号化方法を実現するには、次のような問題点があ
る。PSI−CELP符号化においては、雑音符号ベク
トルが、適応符号のピッチ周期に応じて周期化される。
このピッチ周期化によって、1サブフレームあたりのパ
ルス数がピッチ周期に依存して増減したり、又は非整数
ピッチ周期での周期化では第1ピッチでのパルスが次の
ピッチ周期で非整数値サンプルの補間によって非パルス
的となったりして、スパース性がなくなるので、インパ
ルス応答行列演算による演算量低減の利点が失われてし
まうという問題があった。
ものであり、その目的は、PSI−CELP符号化に関
して、少数パルスからなる雑音ベクトル符号帳構成で、
低演算量での符号帳検索を可能とする低ビットレートの
音声符号化方法を提供することにある。
めに、本発明は、第2の符号帳の各符号ベクトルが最低
1個の零であるベクトル要素を含んでなり、第1の符号
帳を構成する適応符号帳から第1の符号ベクトルが選択
された場合、ピッチ周期に対応して第2の符号帳の格納
ベクトルをピッチ周期化して第2の符号ベクトルとし、
第2の符号ベクトルの整数ピッチ周期長に相当する部分
ベクトルと、線形予測合成フィルタのインパルス応答に
対してピッチ周期ごとにその成分を加え合わせたピッチ
周期性を持つ応答行列を含む評価値を作り、該評価値が
最大となるように、第2の符号帳から第2の符号ベクト
ルを探し出すことを特徴とする。
る格納ベクトルとして零要素を多く含むベクトルをC=
(c0,c1,…,cN-1)とする。ここで、Cの要素の
大部分は零である。また、第1の符号帳検索でピッチ周
期性のあるベクトルが選択された場合に、従来のPSI
−CELPでは、格納ベクトルCをピッチ周期化して、
周期化ベクトルEを計算する。このとき、ピッチ周期化
処理は、次の行列P(N×N)(周期化行列P)で表現
できる。
期T(L)を越えない最大整数値である。また、ベクト
ル(…,f-2,f-1,f0,f1,f2,…)は、2ピッ
チ周期めの補間関数の係数、ベクトル(…,f'-2,f'
-1,f'0,f'1,f'2,…)は、3ピッチ周期めの補間
関数の係数である。
クトルEは、 E=PC =PsubCsub (7) で表現される。ここで、Psubは行列Pの左側(N×i
nt[T(L)])行列であり、Csubは、Csub=(c
0,c1,…,cint[T(L)])であり、ベクトルCの整数
ピッチ周期次元の部分ベクトルである。ただし、周期性
の無い場合には、Csub=Cとする。
subとしてスパースであっても(6)式の行列Pによ
り、雑音符号ベクトルEはスパースではない全次元に非
零要素をもつ可能性のあるベクトルとなる。このような
雑音符号ベクトルEを(3)式に代入して計算を行う方
式では雑音符号帳の格納に用いるメモリ量は節約できる
が、Eは必ずしもスパースとは限らないので符号帳検索
の演算量は節約できない。
の整数ピッチ周期長に相当する部分のベクトルと、合成
フィルタのインパルス応答にピッチ周期ごとにその成分
を加え合わせたピッチ周期性をもつ応答行列との積によ
って得られる音声信号に基づいて、歪最小化となる第2
の符号帳検索を行なうようにする。すなわち、この場
合、第2の雑音符号Cを決定する際の歪尺度を評価値D
2とすると、(3)式と(7)式より、
に対して、行列Pを右から乗じて周期性をもたせたピッ
チ周期性のある応答行列HPを最初に計算し、それを用
いて、スパースベクトルCsubとの分子及び分母のベク
トル演算を行うとスパース性を利用できるので演算量を
低減できる。
分の多いベクトルなので、H・(PCsub)の演算には
スパース性を利用できないが、符号帳の各パターンであ
るCs ubをスパースにしておいて、(HP)を予め計算
してから、(HP)Csubの計算をするようにすれば、
(4)、(5)式の効果が得られるということである。
ないベクトルが選択された場合には、周期化を行わない
ので、スパース化が保たれた雑音符号ベクトルと、合成
フィルタのインパルス応答系列からなる行列との積によ
って得られる音声信号に基づいて、歪最小化となる演算
量を低減した第2の符号帳検索を行う。こうして、本発
明の目的であるスパース符号帳による符号帳検索の演算
量と雑音符号帳格納のメモリ量を低減したPSI−CE
LP符号化を実現することが可能となる。
符号帳をもつ音声符号化のブロック図を示す。図3と同
じ番号のモジュールは、図3と同じものである。まず、
入力端子1から音声ベクトルXinputを入力する。線形
予測分析部2において音声の線形予測分析を行い、量子
化された予測係数Aあるいは、予測係数Aから求めたイ
ンパルス応答行列Hが合成フィルタ3aの係数となる。
4は第1の符号帳であり、適応符号帳4aと固定雑音符
号帳4bからなる。符号Lによって、第1の符号帳4か
ら適応符号ベクトルが選択される場合には、符号Lが音
声波形のピッチ周期に対応する。一方、固定符号ベクト
ルが選択された場合には、符号Lは固定符号帳のベクト
ルの番号を示す。この第1の符号帳選択は図3に示す従
来のCELPで行われるものと同じである。
レームからの零入力応答ベクトルXz irを引き、さら
に、第1の符号帳4から選択されたベクトルに最適利得
G0を乗じ、合成フィルタ3aを通した合成波形Xadpを
引いたものが目標ベクトルXである。
であり、この場合、これをスパース雑音符号帳とする。
ただし、本実施例では、第2の符号帳50をスパースな
雑音符号帳として構成するときに、各ベクトルを、非零
成分の位置情報と振幅情報とによって表現し、バッファ
メモリに格納する。例えば、ベクトルの次元を80とす
ると、仮に、全次元とも非零成分をとりうるとした場合
に必要な1ベクトル当たりのメモリ量は、1成分当たり
1ワードとすると80ワードである。これに対して、本
実施例では、第2の符号帳50に必要なメモリ量は、例
えば非零成分の個数が8、その位置情報と振幅情報を表
現するのにそれぞれ1ワードとすれば、16ワードのメ
モリ量で済む。
は、スイッチ100を接点102の方に接続する。第1
の符号帳4の符号Lによって周期化行列部200で周期
化行列Pを構成し、線形予測分析部2から供給されるイ
ンパルス応答行列Hとともに、ピッチ周期化合成フィル
タ計算部201において行列HPを生成する。行列HP
の計算は、実際には、(N×N)行列どうしの全行ベク
トルと全列ベクトルの内積のすべてを計算する必要はな
く、行列Pの各要素と行列Hのインパルス応答系列hn
を用いてhpnを計算し、それを行列Hのhnの代わりに
配置することによって行われる。例えば、(1)、
(6)式より2ピッチ周期めのピッチ周期成分を含む応
答行列hpnは、次のようにして得られる。
パース雑音ベクトルCの候補に関して、符号帳検索部2
02で歪最小となる雑音符号Cを求める。
の符号帳50の出力をスイッチ100を接点101の方
に接続する。図3と同様に、符号Lの値に応じて適応符
号帳4aが選択された場合には、周期化部6で周期化
し、固定符号帳4bが選択された場合には、周期化せず
に、乗算部8で利得G1を乗じて第2の符号ベクトルを
生成する。そして、第1の符号帳4からの符号ベクトル
との和によって励振信号ベクトルを生成し、合成フィル
タ3bを通して音声出力を得る。
検索する場合について、そのフローを図2を参照して説
明する。なお、ここで、検索とは、(8)式の評価値D
2の計算を各雑音符号Cについて実行していくことであ
る。まず、図1に示す周期化行列部200、ピッチ周期
化合成フィルタ計算部201によって、ピッチ周期化用
の合成フィルタ行列HPを算出する(ステップ40
0)。そして、符号帳検索部202において、ステップ
401からの以下の処理を行っていく。ステップ401
では、Yt=XtHPによって(8)式に示す評価値D2
の分子の共通項を求める。次に、ステップ402で、雑
音符号ベクトルCの全候補(候補数K)、ベクトルC
sub (i),(i=0,…,K−1)に対して、評価値D2
の分子JN (i)=(YtCsub (i))2を計算する。この場
合、ベクトルCs ub (i)は、スパースなため、非零成分に
ついてのみ計算を行うようにすれば、この計算はフルパ
ルスの場合に比較して高速に計算できることができる。
で求めたJN (i)について、大きい順にM個の候補{JN
(i);i=i0,…,iM-1}を予備選択する。ステップ
404では、予備選択されたM個の候補について評価値
D2の分母JD (i)=(Csub (i))t(HP)t(HP)C
sub (i)の計算を行う。そして、ステップ405におい
て、M個の評価値D2 (i)=JN (i)/JD (i)を最大とする
ベクトルCsub (i)を決定する。
ELP音声符号化において、第2の符号帳の各符号ベク
トルが最低1個の零であるベクトル要素を含んでなり、
第1の符号帳を構成する適応符号帳から第1の符号ベク
トルが選択された場合、第2の符号ベクトルの整数ピッ
チ周期長に相当する部分ベクトル(Csub)と、線形予
測合成フィルタのインパルス応答に対してピッチ周期ご
とにその成分を加え合わせたピッチ周期性を持つ応答行
列(H・P)を含む評価値(D2)を作り、該評価値が
最大となるように、第2の符号帳から第2の符号ベクト
ルを探し出すので、メモリ量と演算量を低減した低ビッ
トレート音声符号化を実現することができる。
つ音声符号化のブロック図である。
のフロー図である。
図である。
説明図である。
Claims (2)
- 【請求項1】 過去の駆動音源ベクトルをピッチ周期で
繰り返す適応符号帳と予め蓄積してある固定の雑音符号
帳により構成され、前記適応符号帳と前記雑音符号帳の
何れかからひとつ第1の符号ベクトルが選択される第1
の符号帳と、該第1の符号帳における前記固定の雑音符
号帳とは異なる雑音符号帳である第2の符号帳とから音
源ベクトル符号帳が成り立ち、 前記第1の符号帳において前記適応符号帳から符号ベク
トルが選択された場合、前記ピッチ周期に対応して前記
第2の符号帳の格納ベクトルをピッチ周期化して第2の
符号ベクトルとし、又は前記固定の雑音符号帳から符号
ベクトルが選択された場合、前記第2の符号帳の格納ベ
クトルをピッチ周期化せずに第2の符号ベクトルとし、 前記第1の符号ベクトルと前記第2の符号ベクトルの重
み付き和によって、線形予測合成フィルタを駆動して、
フレーム単位に音声信号を合成し、 入力信号と前記合成された音声信号との歪みを最小とす
るように、前記第1の符号帳と前記第2の符号帳からそ
れぞれ符号ベクトルを探し出す音声符号化方法におい
て、 前記第2の符号帳の各符号ベクトルが最低1個の零であ
るベクトル要素を含んでなり、 前記第1の符号帳を構成する前記適応符号帳から前記第
1の符号ベクトルが選択された場合、前記第2の符号ベ
クトルの整数ピッチ周期長に相当する部分ベクトル(C
sub)と、前記線形予測合成フィルタのインパルス応答
に対して前記ピッチ周期ごとにその成分を加え合わせた
ピッチ周期性を持つ応答行列(H・P)を含む評価値
(D2)を作り、該評価値が最大となるように、前記第
2の符号帳から前記第2の符号ベクトルを探し出すこと
を特徴とする音声符号化方法。 - 【請求項2】 前記応答行列(H・P)は、前記線形予
測合成フィルタのインパルス応答行列Hに、下式で示す
周期化行列Pを右から乗じて求めた行列であることを特
徴とする請求項1記載の音声符号化方法。 【数1】 ただし、Nは前記フレーム単位の長さ、int[T
(L)]は前記ピッチ周期長T(L)を越えない最大整
数値、ベクトル(…,f-2,f-1,f0,f1,f2,
…)は2ピッチ周期めの補間関数の係数、ベクトル
(…,f'-2,f'-1,f'0,f'1,f'2,…)は3ピッ
チ周期めの補間関数の係数である。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05300695A JP3233184B2 (ja) | 1995-03-13 | 1995-03-13 | 音声符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05300695A JP3233184B2 (ja) | 1995-03-13 | 1995-03-13 | 音声符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08248995A JPH08248995A (ja) | 1996-09-27 |
JP3233184B2 true JP3233184B2 (ja) | 2001-11-26 |
Family
ID=12930833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05300695A Expired - Fee Related JP3233184B2 (ja) | 1995-03-13 | 1995-03-13 | 音声符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3233184B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2101319B1 (en) * | 2006-12-15 | 2015-09-16 | Panasonic Intellectual Property Corporation of America | Adaptive sound source vector quantization device and method thereof |
WO2008072736A1 (ja) * | 2006-12-15 | 2008-06-19 | Panasonic Corporation | 適応音源ベクトル量子化装置および適応音源ベクトル量子化方法 |
WO2010137385A1 (ja) | 2009-05-28 | 2010-12-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 話者適応のための基本周波数の移動量学習装置、基本周波数生成装置、移動量学習方法、基本周波数生成方法及び移動量学習プログラム |
-
1995
- 1995-03-13 JP JP05300695A patent/JP3233184B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH08248995A (ja) | 1996-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3151874B2 (ja) | 音声パラメータ符号化方式および装置 | |
US5787391A (en) | Speech coding by code-edited linear prediction | |
JP3481251B2 (ja) | 代数的符号励振線形予測音声符号化方法 | |
JP3094908B2 (ja) | 音声符号化装置 | |
JPH06222797A (ja) | 音声符号化方式 | |
JP3143956B2 (ja) | 音声パラメータ符号化方式 | |
JPH0990995A (ja) | 音声符号化装置 | |
JP2800618B2 (ja) | 音声パラメータ符号化方式 | |
JPH05216500A (ja) | 音声符号化装置 | |
JP2624130B2 (ja) | 音声符号化方式 | |
JP2002268686A (ja) | 音声符号化装置及び音声復号化装置 | |
JP3095133B2 (ja) | 音響信号符号化方法 | |
JP3233184B2 (ja) | 音声符号化方法 | |
JP3235543B2 (ja) | 音声符号化/復号化装置 | |
JP3148778B2 (ja) | 音声の符号化方法 | |
JP2626492B2 (ja) | ベクトル量子化装置 | |
JPH0854898A (ja) | 音声符号化装置 | |
JP3249144B2 (ja) | 音声符号化装置 | |
JP2914305B2 (ja) | ベクトル量子化装置 | |
JP3299099B2 (ja) | 音声符号化装置 | |
JPH113098A (ja) | 音声符号化方法および装置 | |
JP3192051B2 (ja) | 音声符号化装置 | |
JP3194930B2 (ja) | 音声符号化装置 | |
JP3089967B2 (ja) | 音声符号化装置 | |
JP3471892B2 (ja) | ベクトル量子化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070921 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080921 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080921 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090921 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090921 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |