JP3255189B2 - 音声パラメータの符号化方法および復号方法 - Google Patents

音声パラメータの符号化方法および復号方法

Info

Publication number
JP3255189B2
JP3255189B2 JP32212792A JP32212792A JP3255189B2 JP 3255189 B2 JP3255189 B2 JP 3255189B2 JP 32212792 A JP32212792 A JP 32212792A JP 32212792 A JP32212792 A JP 32212792A JP 3255189 B2 JP3255189 B2 JP 3255189B2
Authority
JP
Japan
Prior art keywords
code
vector
codebook
frame
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP32212792A
Other languages
English (en)
Other versions
JPH06175695A (ja
Inventor
仲 大室
一則 間野
健弘 守谷
聡 三樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP32212792A priority Critical patent/JP3255189B2/ja
Publication of JPH06175695A publication Critical patent/JPH06175695A/ja
Application granted granted Critical
Publication of JP3255189B2 publication Critical patent/JP3255189B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、音声スペクトルの包
絡特性を表す線形予測パラメータやパワーのパラメータ
を、符号帳を用いて、少ない情報量で高能率にディジタ
ル符号化する音声パラメータの符号化方法および復号方
法に関する。
【0002】
【従来の技術】従来の音声符号化系において、音声スペ
クトル包絡特性を表す線形フィルタの係数は、線形予測
分析をフレームと呼ばれる一定時間間隔で行って計算さ
れ、偏自己相関(PARCOR)係数や、線スペクトル
対(LSP)などのパラメータに変換、量子化されて、
ディジタル符号に変換された後、記憶、または伝送され
ていた。これらの方法の詳細は、例えば、古井貞煕
著、”ディジタル音声処理”(東海大学出版会)に記載
されている。なお、上記線形フィルタの係数を更新する
時間間隔(フレーム更新周期)は、一般に10ミリ秒か
ら20ミリ秒程度に設定される。
【0003】こうして求められた線形予測パラメータ
は、1フレーム分のパラメータの組を1つのベクトルと
みなして、ベクトル量子化と呼ばれる方法で符号化する
と高能率に符号化できることが知られている。ベクトル
量子化の詳細は、例えば、上記文献の”ディジタル音声
処理”や、中田和男著、”音声の高能率符号化”(森北
出版)に記載されている。このとき、隣合うフレームの
各線形予測パラメータは相関が強いため、相関を利用す
ると、より高能率に符号化できることが知られている。
その代表的な方法として差分ベクトル量子化がある。こ
の差分ベクトル量子化は、1フレーム前の量子化値(ベ
クトル)と、現在のフレームのパラメータの値(ベクト
ル)の差分をベクトル量子化する方法である。
【0004】
【発明が解決しようとする課題】ところで、上述した差
分ベクトル量子化法は、高能率符号化方法として、有効
な方法のひとつであるが、例えば、無線ディジタル移動
通信のように通信路の品質が悪い。このため、符号誤り
が頻繁に生じる可能性がある用途に利用することは難し
い。なぜなら、伝送途中で符号誤りが生じると、符号誤
りが生じたフレームの再生値が誤って復号され、その結
果、符号化器と復号器の内部状態に食い違いが生じて、
受信側で永久に品質の劣化が続く可能性があるからであ
る。
【0005】また、蓄積型のメディアに利用する場合な
どでは、記憶した最初のフレームから必ず再生しなけれ
ばならず、途中のフレーム(時間)から再生することは
できないという問題がある。なお、差分ベクトル量子化
に代表される、過去のフレームの量子化値を利用して現
在のフレームの値を符号化する方法は、一般に自己回帰
(AR)型の予測符号化と呼ばれる。
【0006】この発明は上述した事情に鑑みてなされた
もので、線形予測パラメータをフレーム間の相関を利用
して高能率に符号化でき、伝送路において符号誤りが生
じてもその誤りによる品質の劣化が後続する有限のフレ
ームにしか影響しない音声パラメータの符号化方法およ
び復号方法を提供することを目的としている。
【0007】
【課題を解決するための手段】請求項1記載の発明で
は、音声スペクトル包絡特性を表す線形予測パラメータ
またはパワーのパラメータを、フレームと呼ばれる一定
時間間隔で算出し、所定のビット数で符号化する方法で
あって、符号器は、複数のコードベクトルを蓄えた第1
の符号帳と、前記複数のコードベクトルと前記複数のコ
ードベクトルに乗算される複数の重み係数とを用いて量
子化値を再生する再生手段と、音声を分析して得られた
パラメータと前記量子化値との歪みを計算する計算手段
とを有し、過去の2以上の複数フレームにおいて前記第
1の符号帳から出力された2以上の複数コードベクトル
と現在のフレームのコードベクトルとに、それぞれのフ
レームに対応する異なる重み係数を乗算して加え合わせ
たベクトルによって、現在のフレームの量子化値を表現
し、前記計算手段によって得られた、前記量子化値と前
記パラメータとの歪みが最小、または十分最小に近くな
るような基準を用いて、前記第1の符号帳から現在のフ
レームのコードベクトルを選択し、前記選択されたコー
ドベクトルの符号を出力するとともに、復号器は、複数
のコードベクトルを蓄えた第2の符号帳を有し、前記第
2の符号帳に蓄えられる複数のコードベクトルの中か
ら、受け取った前記符号に対応するコードベクトルを出
力し、出力された現在のフレームの前記コードベクトル
と過去の2以上の複数フレームにおいて前記第2の符号
帳から出力された2以上の複数コードベクトルに、それ
ぞれのフレームに対応する異なる重み係数を乗算して加
え合わせたベクトルを現在のフレームの量子化値として
出力することを特徴とする。
【0008】また、請求項2記載の発明では、前記符号
器は、複数種類の重み係数の組が蓄えられた係数符号帳
を備えるとともに、音声を分析して得られたパラメータ
と現在のフレームの量子化値との歪みが最小または十分
最小に近くなるような基準を用いて、前記第1の符号帳
の中から出力すべきコードベクトルと前記係数符号帳の
重み係数とを選択し、各々の符号を出力するとともに、
前記復号器は、受け取った前記重み係数に対する符号に
対応する重み係数の値を前記係数符号帳より取り出し
て、該重み係数を用いて現在の量子化値を決定すること
を特徴とする請求項1記載の音声パラメータの符号化方
法および復号方法。
【0009】また、請求項3記載の発明では、前記符号
器は、音声を分析して得られたパラメータを複数フレー
ム分まとめてフレーム群として出力する出力手段と、前
記フレーム群の各フレームに対応するコードベクトルを
蓄える第3の符号帳とを有し、現在のフレーム群の各コ
ベクトルと過去のフレーム群において出力された各
フレームのコードベクトルに、それぞれ重み係数を乗算
して加え合わせたベクトル群によって、現在のフレーム
群の量子化値群を表現し、現在のフレーム群の音声を分
析して得られたパラメータと前記量子化値群との歪みが
最小または十分最小に近くなるような基準を用いて、前
記第3の符号帳から現在のフレーム群の各フレームに対
するコードベクトルを選択し、前記選択されたコードベ
クトルの各符号を出力するとともに、復号器は、受け取
った各符号に対応する各コードベクトルを各符号帳より
出力し、該各コードベクトルと過去のフレーム群におい
て出力された各コードベクトルに、それぞれ重み係数を
乗算して加え合わせたベクトル群を現在のフレーム群の
量子化値群として出力することを特徴とする。また、請
求項4記載の発明では、音声スペクトル包絡特性を表す
線形予測パラメータまたはパワーのパラメータを、フレ
ームと呼ばれる一定時間間隔で算出し、所定のビット数
で符号化する方法であって、複数のコードベクトルを蓄
えた符号帳を用い、前記複数のコードベクトルと前記複
数のコードベクトルに乗算される複数の重み係数とを用
いて量子化値を再生し、音声を分析して得られたパラメ
ータと前記量子化値との歪みを計算し、過去の2以上の
複数フレームの各々において前記符号帳から出力された
複数コードベクトルと現在のフレームのコードベクトル
とに、それぞれのフレームに対応する異なる重み係数を
乗算して加え合わせたベクトルによって、現在のフレー
ムの量子化値を表現し、前記計算によって得られた、前
記量子化値と前記パラメータとの歪みが最小、または十
分最小に近くなるような基準を用いて、前記符号帳から
現在のフレームのコードベクトルを選択し、前記選択さ
れたコードベクトルの符号を出力することを特徴とす
る。 また、請求項5記載の発明では、複数種類の重み係
数の組が蓄えられた係数符号帳を用いるとともに、音声
を分析して得られたパラメータと現在のフレームの量子
化値との歪みが最小または十分最小に近くなるような基
準を用いて、前記符 号帳の中から出力すべきコードベク
トルと前記係数符号帳の重み係数とを選択し、各々の符
号を出力することを特徴とする。 また、請求項6記載の
発明では、音声を分析して得られたパラメータを複数フ
レーム分まとめてフレーム群とし、前記フレーム群の各
フレームに対応するコードベクトルを蓄える第3の符号
帳を用い、現在のフレーム群の各コードベクトルと過去
のフレーム群において出力された各フレームのコードベ
クトルに、それぞれ重み係数を乗算して加え合わせたベ
クトル群によって、現在のフレーム群の量子化値群を表
現し、現在のフレーム群の音声を分析して得られたパラ
メータと前記量子化値群との歪みが最小または十分最小
に近くなるような基準を用いて、前記第3の符号帳から
現在のフレーム群の各フレームに対するコードベクトル
を選択し、前記選択されたコードベクトルの各符号を出
力することを特徴とする。 また、請求項7記載の発明で
は、受け取った符号から音声スペクトル包絡特性を表す
線形予測パラメータまたはパワーのパラメータの量子化
値をフレームと呼ばれる一定時間間隔で復号する方法で
あって、複数のコードベクトルを蓄えた符号帳を用い、
前記符号帳に蓄えられる複数のコードベクトルの中か
ら、受け取った符号に対応するコードベクトルを決定
し、決定された現在のフレームの前記コードベクトルと
過去の2以上の複数フレームの各々において前記符号帳
から出力された複数コードベクトルに、それぞれのフレ
ームに対応する異なる重み係数を乗算して加え合わせた
ベクトルを現在のフレームの量子化値として出力するこ
とを特徴とする。 また、請求項8記載の発明では、複数
種類の重み係数の組が蓄えられた係数符号帳を用いると
ともに、受け取った重み係数に対する符号に対応する重
み係数の値を前記係数符号帳より取り出して、該重み係
数を用いて現在の量子化値を決定することを特徴とす
る。 また、請求項9記載の発明では、受け取った各符号
に対応する各コードベクトルを各符号帳より出力し、該
各コードベクトルと過去のフレーム群において出力され
た各コードベクトルに、それぞれ重み係数を乗算して加
え合わせたベクトル群を現在のフレーム群の量子化値群
として出力することを特徴とする。
【0010】
【作用】請求項1ないし記載の発明によれば、現在の
フレームの量子化値は、過去の2以上の複数フレームに
おける2以上の複数の出力コードベクトルと、現在のフ
レームの出力コードベクトルの重み付き和で表現され
る。過去の2以上の複数フレームとは、1フレーム前よ
りMフレーム前までをさす。ここで、Mが大きいほど符
号化の能率は高い。しかし、符号誤りが生じたときの影
響はMフレーム後まで及ぶほか、符号化して蓄積した音
声を途中から再生する場合にも、Mフレーム過去に遡る
必要があるため、Mは必要に応じて適切に選択される。
符号化に際して、現在のフレームにおける出力コードベ
クトルは、過去の2以上の複数フレームにおける2以上
の複数の出力コードベクトルの重み付き和に符号帳から
取り出したコードベクトルに現在のフレームの重み係数
を乗じて加えたベクトルと、現在のフレーム群の音声を
分析して得られた線形予測パラメータとの歪みが最小に
なるように、符号帳から選択される。各フレームのコー
ドベクトルに乗ずる複数の異なる重み係数の値は、一組
に固定してもよいし、複数組用意して、歪みが最小にな
る係数の組を選択してもよい。また、音声を分析して得
られた線形予測パラメータをバッファリングして数フレ
ームをまとめ、数フレーム分の歪みが最小になるように
数フレーム分の出力コードベクトルを符号帳から選択
ると、更に符号化の能率が高い。したがって、線形予測
パラメータは、フレーム間の相関を用いて高能率に符号
化されるうえ、符号誤りが生じても後続する有限のMフ
レームまでしか影響が及ばず、蓄積された音声の任意の
時刻から再生できるという特徴を持った符号化を実現す
ることができる。
【0011】
【実施例】次に図面を参照してこの発明の実施例につい
て説明する。図1は、この発明による音声の線形予測パ
ラメータ符号化法を適用した、一実施例の符号化装置の
構成例を示すブロック図である。図において、入力端子
1からは、標本化されディジタル化された音声信号s
(t)が入力される。ここで、tは標本化周期を単位と
する時刻を表す。線形予測分析部2では、音声信号s
(t)のNw個のサンプルをいったんデータバッファに
蓄えた後、これらのサンプルに対して線形予測分析を行
って、一組の線形予測係数
【数1】 を算出する。ここで、pは分析次数と呼ばれ、一般には
10〜16程度の値が用いられる。また、上記Nwサン
プルの単位は分析窓長またはフレーム窓長と呼ばれる。
線形予測分析は、データバッファのデータをNfサンプ
ルずつシフトし、更新しながら線形予測分析を繰り返
す。このときのNfはフレーム更新周期または単にフレ
ーム長と呼ばれる。この結果、Nf個の入力サンプルに
対してp個の線形予測係数が出力される。ここでは、線
形予測係数の時刻を表す単位として、Nf個のサンプル
を単位として時間単位をnで表し、「第nフレームの第
i次の線形予測係数ai(n)」と呼ぶことにする。こ
れらの処理方法の詳細は、前述の古井の著書に記載され
ている。
【0012】線スペクトル対算出部3では、p個の線形
予測係数を同じくp個の線スペクトル対、
【数2】 に変換する。ここでは、上記p個のパラメータをベクト
ルとみなして
【数3】 と表す。この実施例において線形予測係数を線スペクト
ル対に変換するのは、線スペクトル対の性質が、この発
明における方法の効果を大きくできるためである。この
発明において、線スペクトル対算出部3は必ずしも必要
ではなく、線形予測係数のままでも、偏自己相関係数な
ど、線形予測係数と相互変換が可能な任意のパラメータ
に変換してもよい。
【0013】符号帳4は、Lv個のコードベクトルを蓄
え、その中のひとつを量子化値再生部5に送る。量子化
値再生部5は、バッファ部6−1、6−2、6−3、ベ
クトル乗算部7−0、7−1、7−2、7−3、および
ベクトル加算部8−0、8−1、8−2からなり、バッ
ファ部6−1、6−2、6−3に蓄えられた過去のフレ
ームのコードベクトルと、入力された現在のフレームの
コードベクトルの重み付き和を計算して、量子化値(の
候補)を再生する部分である。ベクトル乗算部7−0、
7−1、7−2、7−3はベクトルの各要素毎の積を要
素とするベクトルを出力する。現在のフレームのコード
ベクトル(の候補)を
【数4】 とおき、同様にして1フレーム前のコードベクトルをx
(n−1)、2フレーム前のコードベクトルをx(n−
2)、jフレーム前のコードベクトルをx(n−j)と
おくと、現在のフレームの量子化値のベクトル
【数5】 は、
【数6】 で表される。ただし、
【数7】 はjフレーム前のコードベクトルに乗ずる重み係数ベク
トルで、あらかじめ決められた値である。重み係数は行
【数8】 にして、
【数9】 としてもよい。
【0014】図1には、M=3の例を示している。Mの
値が大きいほど、量子化能率は高いが、符号誤りが生じ
たときの影響はMフレーム後まで及ぶほか、符号化して
蓄積した音声を途中から再生する場合にも、Mフレーム
過去に遡る必要があるため、Mは必要に応じて適切に選
択される。フレーム長を20ミリ秒に設定した場合に
は、通常Mは6以下で十分であり、1か2に設定して
も、この発明による効果は十分に発揮される。Mの値を
増やす構成例は、図1において、バッファ部、ベクトル
乗算部、ベクトル加算部を順に一組ずつ追加することに
よって容易に推測される。以下、Mを「移動平均予測の
次数」と呼ぶことにする。
【0015】こうして得られた量子化値(の候補)は、
歪み計算部9に送られる。歪み計算部9は、線スペクト
ル対のベクトルf(n)と量子化値(の候補)のベクト
ルq(n)との歪みdを計算する。歪みは、例えば、以
下のような重み付きユークリッド距離で定義するとよ
い。
【数10】 ただし、
【数11】 はf(n)より求められる重み係数で、スペクトルのホ
ルマント周波数付近を重視するような重みにすると性能
がよい。例えば、次のような式である。
【数12】 ただし、f0(n)=0,fp+1(n)=πである。ま
た、除算を用いない簡易な重みの計算式として、
【数13】 ただし、f0(n)=0,fp+1(n)=π、としてもよ
い。α、β、γは、定数で、例えばα=10、β=1、
γ=1とする。符号帳検索制御部10は、符号帳に蓄え
られたLv個のコードベクトルの中から、歪み計算部9
の出力である歪みdが最小になるコードベクトルを検索
し、その符号を端子11より送出する。端子11より送
出された符号は、伝送路を通して復号装置に送られる
か、記憶装置に記憶される。現在のフレームの出力コー
ドベクトルx(n)が決定されると、x(n)は次のフ
レームのためにバッファ部6−1へ、バッファ部のx
(n−j)は順次次のバッファに送られる。
【0016】図2はこの発明の実施例を適用した復号装
置の一構成例であり、前述した移動平均予測の次数Mの
値が3のときの例である。図において、符号化装置より
送られた符号に対応するコードベクトルx(n)が符号
帳20より出力され、それぞれバッファ部21−1、2
1−2、21−3に蓄えられた1フレーム前、2フレー
ム前、3フレーム前のコードベクトルx(n−1)、x
(n−2)、x(n−3)との重み付き和が算出され、
現在のフレームの線スペクトル対の量子化再生値のベク
トルq(n)が出力される。
【数14】 ただし、 cj=(cj1,cj2,…,cjp) はjフレーム前のコードベクトルに乗ずる重み係数ベク
トルで、あらかじめ決められた値である。なお、符号化
装置同様に、重み係数を行列にして、
【数15】 としてもよい。q(n)は線形予測係数算出部24に送
られ、線スペクトル対から線形予測係数に変換される。
図1において線スペクトル対算出部3を用いない場合に
は、図2においても線形予測係数算出部24は不要であ
る。また、線スペクトル対から直接音声を合成したり、
線スペクトル対そのものを音声認識のための特徴量とし
て用いる場合にも線形予測係数算出部24は不要であ
る。端子25からは、線形予測係数の再生値が出力され
る。
【0017】図3は、図1において、各コードベクトル
に乗ずる重み係数ベクトルのセットを複数組係数符号帳
39に用意して、歪みが最小になる係数を選択する一構
成例である。図1においては、各コードベクトルに乗ず
る重み係数ベクトルの値C0、C1、C2、C3は固定であ
ったが、図3においては、係数符号帳はLc組の係数ベ
クトルセットを蓄え、各係数をベクトル乗算部36−
0、36−1、36−2、36−3に送る。現在のフレ
ームのコードベクトルx(n)とバッファ部35−1、
35−2、35−3に蓄えられたjフレーム前のコード
ベクトルx(n−j)、j=1、2、3は、それぞれベ
クトル乗算部36−1、36−2、36−3において、
重み係数ベクトルCj(n)、j=1、2、3と各要素
同士が乗じられた後、ベクトル加算部37−0、37−
1、37−3において加算され、現在のフレームの量子
化値(の候補)ベクトルq(n)として出力される。歪
み計算部38では、現在の線スペクトル対f(n)とq
(n)との歪みdを計算し、符号帳検索制御部40にお
いて、歪みdが最小となるようなコードベクトルの符号
と係数符号を検索し、それぞれ符号帳34と係数符号帳
39に送る。
【0018】図4は、図3における符号帳34を符号帳
54と符号帳55に分割し、多段ベクトル量子化法を適
用した例の構成を示すブロック図である。多段ベクトル
量子化を適用する理由は、割り当てビットの増加ととも
に指数関数的に増加する符号帳を記憶するためのメモリ
サイズと、符号帳を検索するための演算量を低減するた
めである。上記符号帳54と符号帳55から、それぞれ
1段目のコードベクトル(の候補)e(1)(n)と2段
目のコードベクトル(の候補)e(2)(n)が出力さ
れ、ベクトル加算部56で加算されて、下記に示す現在
のフレームのコードベクトル(の候補)x(n)が構成
される。 x(n)=e(1)(n)+e(2)(n)
【0019】量子化値再生部66は、入力されたx
(n)と、バッファに蓄えられた過去のコードベクトル
から量子化値(の候補)ベクトルq(n)を計算する。
歪み計算部60ではf(n)とq(n)との歪みdを計
算し、符号帳検索制御部61において、歪みdが最小と
なるような1段目のコードベクトルの符号1と2段目の
コードベクトルの符号2と係数符号を検索し、それぞれ
の符号帳に送るとともに伝送路に送出、または記憶装置
に記憶する。このとき、歪みdを最小にするような符号
C1、符号C2、および係数符号の最適な組合せを検索
するためには、各符号帳のサイズを、それぞれLv1
Lv2、Lcとすると、Lv1×Lv2×Lc回の距離計
算と比較が必要になり、各サイズが大きくなると莫大な
演算コストを必要とする。そこで、まず、 x(n)=e(1)(n) としてq(n)を計算し、歪みdが小さい順に符号C1
のコードの候補をNv1個残し、それぞれの候補につい
て、 x(n)=e(1)(n)+e(2)(n) としてq(n)を計算し、歪みdが最小になるような符
号C1と符号C2を検索する。このように、途中の段階
で候補を残し(絞り)ながら、全体として十分最適とみ
なせるコードベクトルを探索する方法は、一般に、ディ
レイドディシジョンと呼ばれている。係数符号帳のサイ
ズが小さい場合には、各係数セット毎に最適なコードベ
クトルを求めて、歪みが最も小さいときの係数セットと
コードベクトルの組を出力してもよいし、係数セットの
探索も含めてディレイドディシジョンを適用してもよ
い。係数セットも含めてディレイドディシジョンを適用
する場合には、第1段目の探索で係数セットと1段目の
コードベクトルの直積空間のなかから、歪みdが小さい
順にNv1個に候補を絞り2段目に渡す。
【0020】上述した図4は2段の多段ベクトル量子化
法を適用した構成例であるが、符号帳の数をH個にして
H段の多段ベクトル量子化法に容易に拡張できる。この
ときの符号帳検索方法は、2段のときと同様にして、各
段で候補を絞り、それぞれの候補について次段の候補を
検索する手法を用いれば良い。リアルタイム処理をする
ためには、一般に各段の符号帳のサイズは128か25
6程度以下に設定される。上記実施例は、入力されるす
べてのフレーム毎に量子化操作を行う例であるが、、例
えば、フレーム毎に入力されるベクトル f(n),n=1,2,3,…… に対して、 n=r×m,m=1,2,3,…… f’(m)=f(n) とおき、mを単位として f’(m) に上記実施例を適用してもよい。すなわち、これは、r
フレームおきに量子化操作を行なうことを意味する。こ
の場合、量子化操作を行わなかったフレームの再生値
は、例えば、前後のフレームの再生値から線形補間など
によって推定する。rの値は、フレーム長の設定や用途
毎の品質の要求条件により異なるが、例えば、フレーム
長を10ミリ秒に設定した場合には、 r=2 に設定するとよい。
【0021】次に、図5はrフレーム分のパラメータを
バッファにいったん蓄え、rフレーム分をひとめとめに
して符号化する場合の一構成を示すブロック図である。
rフレーム分まとめて符号化すると、よりいっそう高能
率な符号化を実現することができる。バッファに蓄えた
rフレーム分のパラメータを u(m,k)=f(rm+k),k=0,1,2,…,
r−1 u(m,k)=(u1(m,k),u2(m,k),…,
p(m,k)) とおいて、u(m,k)を「第mフレーム第kサブフレ
ームのパラメータ」と呼ぶことにする。図5はr=2の
場合の構成を示す例である。以下、r=2として説明す
る。
【0022】線スペクトル対算出部82において算出さ
れた線スペクトル対パラメータは、バッファ部83にお
いて、2サブフレーム分蓄えられ、2サブフレーム分た
まった時点で歪み計算部98に送られる。なお、符号帳
は2系統用意する。図5では、2段のベクトル量子化を
適用しており、符号帳は2系統、各2段からなる。2系
統の符号帳は、同じものであってもよいが、別々に最適
な符号帳を統計して用意したほうが性能はよい。符号帳
84からはコードベクトル(の候補) e(1)(m,1) が出力され、符号帳85からはコードベクトル(の候
補) e(2)(m,1) が出力され、これらがベクトル加算部88において加算
され、コードベクトル(の候補) x(m,1)=e(1)(m,1)+e(2)(m,1) が得られる。同様にして、符号帳86からはコードベク
トル(の候補) e(1)(m,2) が、符号帳87からはコードベクトル(の候補) e(2)(m,2) が出力され、これらがベクトル加算部89において加算
され、コードベクトル(の候補) x(m,2)=e(1)(m,2)+e(2)(m,2) が得られる。x(m,1)は一次量子化値再生部90お
よび94に送られ、x(m,2)は一次量子化値再生部
92および96に送られる。
【0023】次に、図6は一次量子化値再生部の一構成
を示すブロック図である。なお、図6は前出の移動平均
予測の次数Mが2のときの例である。一次量子化値再生
部は、バッファ部100−1、100−2、ベクトル乗
算部101−0、101−1、101−2、およびベク
トル加算部102−0、102−1からなり、入力され
たコードベクトル(の候補) x(m,k),k=1,2 と、バッファに蓄えられたjフレーム前のコードベクト
ルとの重み付き和が計算されて、一次量子化値
【数16】 が出力される。各コードベクトルにかける重み係数ベク
トル cj (h)(m,k),k=1,2 h=1,2 j=1,
2,…,M は、係数符号帳より供給され、係数符号帳93は、一次
量子化値再生部90および92に、係数符号帳97は一
次量子化値再生部94および96に係数を供給する。一
次量子化値再生部90の出力q(1)(m,1)と一次量
子化値再生部92の出力q(2)(m,1)はベクトル加
算部91において加算され、第1サブフレーム量子化値
(の候補)として q(m,1)=q(1)(m,1)+q(2)(m,1) が得られる。
【0024】一方、一次量子化値再生部94の出力q
(1)(m,2)と一次量子化値再生部96の出力q(2)
ベクトル加算部95において加算され、第2サブフレー
ム量子化値(の候補)として q(m,2)=q(1)(m,2)+q(2)(m,2) が得られる。q(m,1)とq(m,2)は歪み計算部
98に送られ、入力パラメータu(m,1)とu(m,
2)との歪みdを計算する。歪み尺度は,例えば,次の
ように定義するとよい。
【数17】 ただし、wi(m,1)、wi(m,2)はそれぞれu
(m,1)、u(m,2)より計算される重み関数で、
前述のようにスペクトルのピーク周波数付近を重視する
ように決めると性能がよい。符号帳検索制御部99は、
歪みdを受け取り、該歪みdが最小となるような符号C
11、符号C12、符号C21、符号C22と係数符号
を探索し出力する。図5では、ひとつの係数符号を係数
符号帳93と係数符号帳97に与えているが、係数符号
のために2ビット以上が割り当てられるときは、別々の
符号にしてもよい。しかし、係数符号は1ビット、すな
わち係数セットは2種類の切り替えとしても十分にこの
発明の効果が発揮される。また、図5の構成例において
も、歪みdを最小にする各符号を探索することは、符号
帳のサイズが大きい場合には、演算コストの点から容易
ではない。そのような場合のアルゴリズムの簡略例を以
下に説明する。
【0025】第1の簡略例は、第1サブフレーム、第2
サブフレームの順に順次候補を残しながら探索する方法
である。まず、 e(2)(m,1)=e(1)(m,2)=e(2)(m,2)
=0 と仮定し、e(1)(m,1)を探索して、歪みd(1)
が小さい順にNv1(1)個の候補に絞る。次に、 e(1)(m,2)=e(2)(m,2)=0 として、上記e(2)(m,1)を探索し、d(1)が小
さい順位Nv2(1)個に候補を絞る。次に、 e(2)(m,2)=0 として、e(1)(m,2)を探索し、 d=d(1)+d(2) が小さい順にNv1(2)個に候補を絞り、最後にe(2)
(m,2)を探索して歪みdが最小になる符号を検索す
る。このとき、重み係数ベクトルc0 (2)(m,1)は常
に0であると仮定して探索を行うと、更にアルゴリズム
が簡略化される。
【0026】次に、第2の簡略例は、第2サブフレー
ム、第1サブフレームの順に順次候補を残しながら探索
する方法である。まず、 e(2)(m,2)=e(1)(m,1)=e(2)(m,1)
=0 と仮定し、e(1)(m,2)を探索して、歪みd(2)
が小さい順にNv1(2)個の候補に絞る。次に、 e(1)(m,1)=e(2)(m,1)=0 として、e(2)(m,2)を探索し、歪みd(2)が小
さい順にNv2(2)個に候補を絞る。次に、 e(2)(m,1)=0 として、e(1)(m,1)を探索し、 d=d(1)+d(2) が小さい順にNv1(1)個に候補を絞り、最後に、e
(2)(m,1)を探索して歪みdが最小になる符号を検
索する。このとき、重み係数ベクトルc0 (1)(m,2)
が常に0であると仮定して探索を行うと、更にアルゴリ
ズムが簡略化される。なお、第1サブフレーム、第2サ
ブフレームの順に探索する場合と、第2サブフレーム、
第1サブフレームの順に探索する場合とでは、第2サブ
フレームを先に探索する場合のほうが高能率であること
が多い。
【0027】また、各段における候補の数は、その数が
多いほど、最適に近い検索を行うことができる。しか
し、一般に演算コストは、ディレイドディシジョン候補
数の2乗に比例して増大するため、ハードウェアの性能
と必要な性能の条件を考慮して決定される。4〜8個の
候補でかなり最適に近い結果が得られる。また、rフレ
ーム分をひとまとめにして符号化する場合にも、前述の
ように、1フレーム(サブフレーム)おきに符号化操作
を行い、符号化操作を行わなかったフレーム(サブフレ
ーム)については、前後のフレームの再生値から線形補
間等によって推定してもよい。このとき、線形補間を行
なうことを前提として、線形補間により推定したフレー
ムも含めて距離尺度を定義すると、補間により推定した
フレームの歪みを小さく抑えることができる。
【0028】また、ディジタル移動通信のように、通信
路の品質が悪く、頻繁に符号誤りが生じる場合には、符
号誤りを考慮して符号化をすると、符号誤りが生じても
品質の劣化を少なく抑えることができる。次に、例え
ば、図5に示すように、rフレーム分のパラメータをバ
ッファにいったん蓄え、rフレーム分をひとまとめにし
て符号化する方法において、符号誤りを考慮して距離尺
度を決める例について説明する。ここで、符号i1
2、i3、i4をそれぞれ第1サブフレーム1段目のベ
クトルのインデックス、第1サブフレーム2段目のベク
トルのインデックス、第2サブフレーム1段目のインデ
ックス、第2サブフレーム2段目のインデックスとす
る。現在のフレームのコードベクトルが、i1、i2、i
3、i4をインデックスとするベクトルから構成されると
きの前述した数式17の(*1)式に対応する距離尺度
(符号誤りを考慮しない場合)を、 d(i1,i2,i3,i4) で表す。インデックスi1を伝送したときに、受信側で
1’が受信される確率を p(i1’|i1) と表す。同様にして、インデックスi2を伝送したとき
に、受信側でi2’が受信される確率を、 p(i2’|i2) と表す。
【0029】さらに、インデックスi3を伝送したとき
に、受信側でi3’が受信される確率を、 p(i3’|i3) と表す。また、インデックスi4を伝送したときに、受
信側でi4’が受信さえる確率を、 p(i4’|i4) で表し、次式のような符号誤りを考慮した距離尺度を
【数18】 と定義して、d(i1、i2、i3、i4)のかわりにd*
(i1、i2、i3、i4)を距離尺度として符号化を行
う。上記d*(i1、i2、i3、i4)は、符号誤りがあ
る場合の、受信側における距離の平均値を表す。上記d
*(i1、i2、i3、i4)の値の計算は、式を展開し
て、入力に依存しない(符号帳固有の)項を先に計算し
てメモリに記憶しておくことによって高速に算出するこ
とができる。
【0030】また、復号装置において、過去のフレーム
で符号誤りが存在する恐れがある場合には、過去のフレ
ームに乗ずる重みの値を相対的に小さくするか、または
符号誤りが存在しないとみなせるフレームの出力コード
ベクトルを用いて、量子化値(再生値)を求めるとよ
い。図5に示す実施例においては、過去のフレームにお
いて符号帳から出力された各サブフレームのコードベク
トルと現在のフレームの各サブフレームのコードベクト
ルにそれぞれ重みを乗算し、加え合わせたベクトル群に
よって現在のフレームの各サブフレームの量子化値ベク
トルを表現しているが、例えば、
【数19】 として、第2サブフレームを量子化し、
【数20】 のように、第1サブフレームを前フレームとの線形補間
の誤差として量子化する方法は、この発明の重み係数ベ
クトルを適当に設定することにより実現できる。なお、
上述した実施例における各構成要素は、論理回路の組み
合わせとして実現してもよいし、マイクロプログラムの
ようなソフトウェア的な手段で実現してもよい。
【0031】
【発明の効果】以上述べたように、この発明では、現在
のフレームのコードベクトルと、過去の2以上の複数フ
レームにおいて出力(伝送)された2以上の複数のコー
ドベクトルの重み付き和で現在のフレームの量子化値を
表現することにより、線形予測パラメータをフレーム間
の相関を利用して高能率に符号化できるほか、伝送路に
おいて符号誤りが生じてもその誤りによる品質の劣化が
後続する有限のフレームにしか影響しない、線形予測パ
ラメータの符号化を実現することができる。
【図面の簡単な説明】
【図1】この発明の一実施例の符号化器の構成を示すブ
ロック図である。
【図2】同実施例の復号器の構成を示すブロック図であ
る。
【図3】図1に示す構成例において、乗算部の重み係数
を複数組係数符号帳に蓄え、係数符号帳から係数のセッ
トを供給する実施例の構成を示すブロック図である。
【図4】図3に示す構成例において、ベクトル符号帳に
多段ベクトル量子化法を適用した実施例の構成を示すブ
ロック図である。
【図5】図4に示す構成例において、複数フレームをま
とめて符号化する方法の実施例の構成を示すブロック図
である。
【図6】図5の構成例の一次量子化部の構成を示すブロ
ック図である。
【符号の説明】
4 第1の符号帳(符号帳) 5 量子化値再生部(再生手段) 9 歪み計算部(計算手段) 20 符号帳(第2の符号帳) 39 係数符号帳 83 バッファ部(出力手段) 84〜87 符号帳(第3の符号帳) C11,C12,C21,C22 符号 c1,c2,c3,c0(n),c1(n),c2(n),c
3(n) 重み係数 c1 (1)(m,1),c1 (2)(m,1),c2 (1)(m,1),c2 (2)(m,1)
重み係数 c1 (1)(m,2),c1 (2)(m,2),c2 (1)(m,2),c2 (2)(m,2)
重み係数 d 歪み e(1)(m,1),e(2)(m,1),e(1)(m,2),e(2)(m,2) コ
ートベクトル q(n) ベクトル(量子化値) q(m,1),q(m,2) 量子化値群 x(n) コードベクトル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 三樹 聡 東京都千代田区内幸町一丁目1番6号 日本電信電話株式会社内 (56)参考文献 特開 平1−187599(JP,A) 特開 平3−243998(JP,A) 特開 平4−73700(JP,A) 特開 平4−171500(JP,A) 特開 平4−298800(JP,A) (58)調査した分野(Int.Cl.7,DB名) G10L 19/00 - 19/14 H03M 7/30 H04B 14/04

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項1】 音声スペクトル包絡特性を表す線形予測
    パラメータまたはパワーのパラメータを、フレームと呼
    ばれる一定時間間隔で算出し、所定のビット数で符号化
    する方法であって、 符号器は、 複数のコードベクトルを蓄えた第1の符号帳と、 前記複数のコードベクトルと前記複数のコードベクトル
    に乗算される複数の重み係数とを用いて量子化値を再生
    する再生手段と、 音声を分析して得られたパラメータと前記量子化値との
    歪みを計算する計算手段とを有し、 過去の2以上の複数フレームにおいて前記第1の符号帳
    から出力された2以上の複数コードベクトルと現在のフ
    レームのコードベクトルとに、それぞれのフレームに対
    応する異なる重み係数を乗算して加え合わせたベクトル
    によって、現在のフレームの量子化値を表現し、 前記計算手段によって得られた、前記量子化値と前記パ
    ラメータとの歪みが最小、または十分最小に近くなるよ
    うな基準を用いて、前記第1の符号帳から現在のフレー
    ムのコードベクトルを選択し、前記選択されたコードベ
    クトルの符号を出力するとともに、 復号器は、 複数のコードベクトルを蓄えた第2の符号帳を有し、 前記第2の符号帳に蓄えられる複数のコードベクトルの
    中から、受け取った前記符号に対応するコードベクトル
    を出力し、 出力された現在のフレームの前記コードベクトルと過去
    の2以上の複数フレームにおいて前記第2の符号帳から
    出力された2以上の複数コードベクトルに、それぞれの
    フレームに対応する異なる重み係数を乗算して加え合わ
    せたベクトルを現在のフレームの量子化値として出力す
    ることを特徴とする音声パラメータの符号化方法および
    復号方法。
  2. 【請求項2】 前記符号器は、 複数種類の重み係数の組が蓄えられた係数符号帳を備え
    るとともに、 音声を分析して得られたパラメータと現在のフレームの
    量子化値との歪みが最小または十分最小に近くなるよう
    な基準を用いて、前記第1の符号帳の中から出力すべき
    コードベクトルと前記係数符号帳の重み係数とを選択
    し、各々の符号を出力するとともに、 前記復号器は、 受け取った前記重み係数に対する符号に対応する重み係
    数の値を前記係数符号帳より取り出して、該重み係数を
    用いて現在の量子化値を決定することを特徴とする請求
    項1記載の音声パラメータの符号化方法および復号方
    法。
  3. 【請求項3】 前記符号器は、 音声を分析して得られたパラメータを複数フレーム分ま
    とめてフレーム群として出力する出力手段と、 前記フレーム群の各フレームに対応するコードベクトル
    を蓄える第3の符号帳とを有し、 現在のフレーム群の各コーベクトルと過去のフレーム
    群において出力された各フレームのコードベクトルに、
    それぞれ重み係数を乗算して加え合わせたベクトル群に
    よって、現在のフレーム群の量子化値群を表現し、 現在のフレーム群の音声を分析して得られたパラメータ
    と前記量子化値群との歪みが最小または十分最小に近く
    なるような基準を用いて、前記第3の符号帳から現在の
    フレーム群の各フレームに対するコードベクトルを選択
    し、前記選択されたコードベクトルの各符号を出力する
    とともに、 復号器は、 受け取った各符号に対応する各コードベクトルを各符号
    帳より出力し、該各コードベクトルと過去のフレーム群
    において出力された各コードベクトルに、それぞれ重み
    係数を乗算して加え合わせたベクトル群を現在のフレー
    ム群の量子化値群として出力することを特徴とする請求
    項1または請求項2記載の音声パラメータの符号化方法
    および復号方法。
  4. 【請求項4】 音声スペクトル包絡特性を表す線形予測
    パラメータまたはパワーのパラメータを、フレームと呼
    ばれる一定時間間隔で算出し、所定のビット数で符号化
    する方法であって、 複数のコードベクトルを蓄えた符号帳を用い、 前記複数のコードベクトルと前記複数のコードベクトル
    に乗算される複数の重み係数とを用いて量子化値を再生
    し、 音声を分析して得られたパラメータと前記量子化値との
    歪みを計算し、 過去の2以上の複数フレームの各々において前記符号帳
    から出力された複数コードベクトルと現在のフレームの
    コードベクトルとに、それぞれのフレームに対応する異
    なる重み係数を乗算して加え合わせたベクトルによっ
    て、現在のフレームの量子化値を表現し、 前記計算によって得られた、前記量子化値と前記パラメ
    ータとの歪みが最小、または十分最小に近くなるような
    基準を用いて、前記符号帳から現在のフレームのコード
    ベクトルを選択し、前記選択されたコードベクトルの符
    号を出力することを特徴とする音声パラメータの符号化
    方法。
  5. 【請求項5】 複数種類の重み係数の組が蓄えられた係
    数符号帳を用いるとともに、 音声を分析して得られたパラメータと現在のフレームの
    量子化値との歪みが最小または十分最小に近くなるよう
    な基準を用いて、前記符号帳の中から出力すべきコード
    ベクトルと前記係数符号帳の重み係数とを選択し、各々
    の符号を出力することを特徴とする請求項4記載の音声
    パラメータの符号化方法。
  6. 【請求項6】 音声を分析して得られたパラメータを複
    数フレーム分まとめてフレーム群とし、 前記フレーム群の各フレームに対応するコードベクトル
    を蓄える第3の符号帳を用い、 現在のフレーム群の各コードベクトルと過去のフレーム
    群において出力された各フレームのコードベクトルに、
    それぞれ重み係数を乗算して加え合わせたベクトル群に
    よって、現在のフレーム群の量子化値群を表現し、 現在のフレーム群の音声を分析して得られたパラメータ
    と前記量子化値群との歪みが最小または十分最小に近く
    なるような基準を用いて、前記第3の符号帳から現在の
    フレーム群の各フレームに対するコードベクトルを選択
    し、前記選択されたコードベクトルの各符号を出力する
    ことを特徴とする請求項4又は請求項5 記載の音声パラ
    メータの符号化方法。
  7. 【請求項7】 受け取った符号から音声スペクトル包絡
    特性を表す線形予測パラメータまたはパワーのパラメー
    タの量子化値をフレームと呼ばれる一定時間間隔で復号
    する方法であって、 複数のコードベクトルを蓄えた符号帳を用い、 前記符号帳に蓄えられる複数のコードベクトルの中か
    ら、受け取った符号に対応するコードベクトルを決定
    し、 決定された現在のフレームの前記コードベクトルと過去
    の2以上の複数フレームの各々において前記符号帳から
    出力された複数コードベクトルに、それぞれのフレーム
    に対応する異なる重み係数を乗算して加え合わせたベク
    トルを現在のフレームの量子化値として出力することを
    特徴とする音声パラメータの復号方法。
  8. 【請求項8】 複数種類の重み係数の組が蓄えられた係
    数符号帳を用いるとともに、 受け取った重み係数に対する符号に対応する重み係数の
    値を前記係数符号帳より取り出して、該重み係数を用い
    て現在の量子化値を決定することを特徴とする請求項7
    記載の音声パラメータの復号方法。
  9. 【請求項9】 受け取った各符号に対応する各コードベ
    クトルを各符号帳より出力し、該各コードベクトルと過
    去のフレーム群において出力された各コードベクトル
    に、それぞれ重み係数を乗算して加え合わせたベクトル
    群を現在のフレーム群の量子化値群として出力すること
    を特徴とする請求項7または請求項8記載の音声パラメ
    ータの復号方法。
JP32212792A 1992-12-01 1992-12-01 音声パラメータの符号化方法および復号方法 Expired - Lifetime JP3255189B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32212792A JP3255189B2 (ja) 1992-12-01 1992-12-01 音声パラメータの符号化方法および復号方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32212792A JP3255189B2 (ja) 1992-12-01 1992-12-01 音声パラメータの符号化方法および復号方法

Publications (2)

Publication Number Publication Date
JPH06175695A JPH06175695A (ja) 1994-06-24
JP3255189B2 true JP3255189B2 (ja) 2002-02-12

Family

ID=18140232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32212792A Expired - Lifetime JP3255189B2 (ja) 1992-12-01 1992-12-01 音声パラメータの符号化方法および復号方法

Country Status (1)

Country Link
JP (1) JP3255189B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101583995B (zh) * 2006-11-10 2012-06-27 松下电器产业株式会社 参数解码装置、参数编码装置以及参数解码方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69721595T2 (de) 1996-11-07 2003-11-27 Matsushita Electric Ind Co Ltd Verfahren zur Erzeugung eines Vektorquantisierungs-Codebuchs
KR100324204B1 (ko) * 1999-12-24 2002-02-16 오길록 예측분할벡터양자화 및 예측분할행렬양자화 방식에 의한선스펙트럼쌍 양자화기의 고속탐색방법
AU2002224116A1 (en) 2000-11-27 2002-06-03 Matsushita Electric Industrial Co., Ltd. Method, device and program for coding and decoding acoustic parameter, and method, device and program for coding and decoding sound
EP2301021B1 (en) 2008-07-10 2017-06-21 VoiceAge Corporation Device and method for quantizing lpc filters in a super-frame
KR101855945B1 (ko) * 2014-05-01 2018-05-10 니폰 덴신 덴와 가부시끼가이샤 부호화 장치, 복호 장치 및 그 방법, 프로그램, 기록 매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2853824B2 (ja) * 1992-10-02 1999-02-03 日本電信電話株式会社 音声のパラメータ情報符号化法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101583995B (zh) * 2006-11-10 2012-06-27 松下电器产业株式会社 参数解码装置、参数编码装置以及参数解码方法

Also Published As

Publication number Publication date
JPH06175695A (ja) 1994-06-24

Similar Documents

Publication Publication Date Title
US5819213A (en) Speech encoding and decoding with pitch filter range unrestricted by codebook range and preselecting, then increasing, search candidates from linear overlap codebooks
CA2202825C (en) Speech coder
US5621852A (en) Efficient codebook structure for code excited linear prediction coding
EP1028411B1 (en) Coding apparatus
JP3114197B2 (ja) 音声パラメータ符号化方法
JPH04363000A (ja) 音声パラメータ符号化方式および装置
JPH06222797A (ja) 音声符号化方式
JP3254687B2 (ja) 音声符号化方式
JPH11143499A (ja) 切替え型予測量子化の改良された方法
JP3143956B2 (ja) 音声パラメータ符号化方式
US5659659A (en) Speech compressor using trellis encoding and linear prediction
US5727122A (en) Code excitation linear predictive (CELP) encoder and decoder and code excitation linear predictive coding method
US5926785A (en) Speech encoding method and apparatus including a codebook storing a plurality of code vectors for encoding a speech signal
US5682407A (en) Voice coder for coding voice signal with code-excited linear prediction coding
JP2800618B2 (ja) 音声パラメータ符号化方式
JP3089769B2 (ja) 音声符号化装置
JP3255189B2 (ja) 音声パラメータの符号化方法および復号方法
JP2658816B2 (ja) 音声のピッチ符号化装置
JP3148778B2 (ja) 音声の符号化方法
JP2626492B2 (ja) ベクトル量子化装置
JP3268750B2 (ja) 音声合成方法及びシステム
JP3296363B2 (ja) 音声の線形予測パラメータ符号化方法
JPH05165499A (ja) Lsp係数の量子化方法
JPH113098A (ja) 音声符号化方法および装置
JP3233184B2 (ja) 音声符号化方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071130

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081130

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091130

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131130

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131130

Year of fee payment: 12