JP3360046B2 - 音声符号化装置、音声復号化装置及び音声符復号化方法 - Google Patents

音声符号化装置、音声復号化装置及び音声符復号化方法

Info

Publication number
JP3360046B2
JP3360046B2 JP27511999A JP27511999A JP3360046B2 JP 3360046 B2 JP3360046 B2 JP 3360046B2 JP 27511999 A JP27511999 A JP 27511999A JP 27511999 A JP27511999 A JP 27511999A JP 3360046 B2 JP3360046 B2 JP 3360046B2
Authority
JP
Japan
Prior art keywords
spectrum envelope
quantization
information
speech
fundamental frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27511999A
Other languages
English (en)
Other versions
JP2001100798A (ja
Inventor
正 米崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP27511999A priority Critical patent/JP3360046B2/ja
Priority to EP00961220A priority patent/EP1132891A1/en
Priority to PCT/JP2000/006542 priority patent/WO2001024164A1/ja
Priority to AU73212/00A priority patent/AU7321200A/en
Publication of JP2001100798A publication Critical patent/JP2001100798A/ja
Application granted granted Critical
Publication of JP3360046B2 publication Critical patent/JP3360046B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、自動車電話、携帯
電話等の無線通信システムの通信装置に使用される音声
符号化装置、音声復号化装置及び音声符復号化方法に関
する。
【0002】
【従来の技術】近年、需要が急増している無線通信シス
テムの分野では、電波資源の有効利用のため低ビットレ
ートで高品質に音声を符復号化できる装置の開発が進め
られている。
【0003】図12は、従来の音声符号化装置及び音声
復号化装置の構成を示すブロック図である。
【0004】図12の音声符号化装置1において、スペ
クトル包絡分析部11は、入力音声信号のスペクトル包
絡情報を推定する。スペクトル包絡量子化部12は、ス
ペクトル包絡分析部11にて推定されたスペクトル包絡
情報を量子化する。
【0005】逆フィルタ13は、入力音声信号に対し
て、スペクトル包絡量子化部12にて量子化されたスペ
クトル包絡情報の周波数特性の逆特性をフィルタリング
してスペクトル包絡成分を除去する。これにより、周波
数特性が平坦な信号を得ることができる。この信号は、
発声過程において声帯で生じる音源信号を模したものと
考えられる。以下、この信号を「音源信号」という。
【0006】音源符号帳14には、平坦な周波数特性を
有する信号が蓄積されている。音源符号化部15は、音
源信号に最も近い信号を音源符号帳14から探索し、そ
の符号(以下、「音源符号」という)を出力する。
【0007】多重化部16は、スペクトル包絡量子化部
12から出力されたスペクトル包絡情報の量子化値を示
す符号と、音源符号化部15から出力された音源符号と
を符号列として多重化して通信路に送出する。
【0008】図12の音声復号化装置2において、逆多
重化部21は、受信した符号列をスペクトル包絡情報の
量子化値を示す符号と音源符号とに分離する。
【0009】音源符号帳22には、音源符号帳14と同
一の信号が蓄積されている。音源選択部23は、受信し
た音源符号に対応する信号を音源符号帳22の中から選
択して抽出する。
【0010】合成フィルタ24は、音源選択部23にて
抽出された信号が、受信したスペクトル包絡情報の周波
数特性を有するようにフィルタリングし、復号音声を出
力する。
【0011】このように、従来の音声符号化装置及び音
声復号化装置では、信号のダイナミックレンジや量子化
特性が異なるスペクトル包絡情報を音源信号と分離し、
それぞれの特性に応じた量子化器を構成することによ
り、高品質な音声符復号化を実現している。
【0012】
【発明が解決しようとする課題】しかしながら、上記従
来の音声符号化装置及び音声復号化装置では、スペクト
ル包絡情報を量子化した結果に基づいてフィルタリング
を行っているため、低ビットレート化によりスペクトル
包絡情報の量子化において十分な精度を得られない場
合、音源信号を平坦化することができず量子化効率が低
下し、復号音声の品質が劣化するという問題を有する。
【0013】本発明はかかる点に鑑みてなされたもので
あり、低ビットレートで情報を送信する場合であっても
高品質に音声復号を実現することができる音声符号化装
置、音声復号化装置及び音声符復号化方法を提供するこ
とを目的とする。
【0014】
【課題を解決するための手段】本発明の音声符号化装置
は、入力音声信号から基本周波数とスペクトル包絡情報
を抽出する音声分析手段と、抽出された基本周波数を量
子化する基本周波数量子化手段と、抽出されたスペクト
ル包絡情報からスペクトル包絡曲面を生成するマトリッ
クス生成手段と、生成されたスペクトル包絡曲面に対し
時間軸方向の直交変換を行う時間軸直交変換手段と、直
交変換された時間軸変換係数に対し時間軸上の次数に応
じたモデルを適用しパラメータを抽出するモデル適用手
段と、抽出されたモデルパラメータを量子化するパラメ
ータ量子化手段と、スペクトル包絡曲面の量子化値と基
本周波数の量子化値とを多重化して送出する多重化手段
とを具備する構成を採る。
【0015】この構成により、音源情報とスペクトル包
絡情報を独立して量子化し、時間軸変換係数の次数に応
じたモデルを適用して音声符号化することができるの
で、いずれかの情報の量子化精度が劣化することに伴っ
て他方の情報の量子化効率が低下することを避けること
ができ、低ビットレートで情報を送信する場合であって
も高品質に音声復号を実現することができる。
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】本発明の音声符号化装置は、モデルを適用
しない時間軸変換係数に対し周波数軸方向の直交変換を
行う周波数軸直交変換手段を具備し、パラメータ量子化
手段は、抽出されたモデルパラメータ及び前記周波数軸
直交変換手段から出力された変換係数を量子化する構成
を採る。
【0023】この構成により、モデル化により量子化効
率が向上する時間軸変換係数に対してのみモデルを適用
することができるので、モデル化による量子化効率を向
上しつつモデル化歪を低減し、低ビットレートで情報を
送信する場合であっても高品質に音声復号を実現するこ
とができる。
【0024】本発明の音声符号化装置のモデル適用手段
は、入力信号に対してモデルを適用しパラメータを抽出
するモデルパラメータ推定手段と、このモデルパラメー
タ推定手段にてモデルを適用した際に生じた分析歪を推
定するモデル誤差推定手段とを具備する構成を採る。
【0025】この構成により、モデル化歪を量子化する
ことができるので、モデル化による量子化効率を向上し
つつモデル化歪を低減し、低ビットレートで情報を送信
する場合であっても高品質に音声復号を実現することが
できる。
【0026】本発明の音声符号化装置のパラメータ量子
化手段は、基本周波数情報とスペクトル包絡情報の少な
くとも一方を用いて各量子化対象値に対する量子化感度
を決定する重み算出手段と、予め求めた量子化対象値毎
の統計量を蓄積する統計量蓄積手段と、前記重み算出手
段から出力された量子化対象値に対する量子化感度及び
統計量蓄積手段に蓄積されている統計量から量子化器を
設計する量子化生成手段と、この量子化生成手段の設計
結果に基づいて量子化対象値を量子化する量子化手段と
を具備する構成を採る。
【0027】この構成により、基本周波数もしくはスペ
クトル包絡情報に対して量子化器を適応させることがで
きるので、合成音声信号の客観的な量子化歪及び聴感上
の歪を低減することができる。
【0028】本発明の音声符号化装置のパラメータ量子
化手段は、基本周波数情報とスペクトル包絡情報の少な
くとも一方を用いてスペクトル包絡上での量子化誤差尺
度を適応的に決定する誤差尺度決定手段と、符号帳に蓄
積されている量子化値をスペクトル包絡曲面に変換する
第1スペクトル包絡構成手段と、量子化対象値をスペク
トル包絡曲面に変換する第2スペクトル包絡構成手段
と、前記第1スペクトル包絡構成手段にて構成されたス
ペクトル包絡曲面と前記第2スペクトル包絡構成手段に
て構成されたスペクトル包絡曲面との誤差を誤差尺度に
基づいて算出する誤差算出手段と、誤差が最小となる量
子化値に対応する符号を符号帳から選択する符号選択手
段とを具備する構成を採る。
【0029】この構成により、基本周波数もしくはスペ
クトル包絡情報に対して適応させた量子化時の誤差尺度
を用いてスペクトル包絡曲面の誤差を時間−周波数平面
上で算出することができるので、合成音声信号の客観的
な量子化歪及び聴感上の歪を低減することができる。
【0030】本発明の音声符号化装置のパラメータ量子
化手段は、基本周波数情報とスペクトル包絡情報の少な
くとも一方を用いてスペクトル包絡上での量子化誤差重
み関数を適応的に決定する誤差関数決定手段と、量子化
誤差重み関数を変換する量子化パラメータ上での誤差尺
度を定義する誤差関数変換手段と、誤差尺度に基づいて
量子化対象値と符号帳に蓄積されている量子化値との誤
差を算出する誤差算出手段と、誤差が最小となる量子化
値に対応する符号を符号帳から選択する符号選択手段と
を具備する構成を採る。
【0031】この構成により、基本周波数及びスペクト
ル包絡情報に対して適応させた量子化時の誤差尺度を用
いて量子化パラメータ間の誤差を算出することができる
ので、少ない処理量で合成音声信号の客観的な量子化歪
及び聴感上の歪を低減することができる。
【0032】本発明の音声復号化装置は、上記音声符号
化装置から送信された符号列をスペクトル包絡情報の量
子化値を示す符号と基本周波数の量子化値を示す符号と
に分離する逆多重化手段と、受信したスペクトル包絡情
報から量子化されたスペクトル包絡曲面を再構成するス
ペクトル包絡構成手段と、再構成されたスペクトル包絡
曲面を基本周波数情報に基づいて切り出して復号音声を
合成する音声合成手段とを具備する構成を採る。
【0033】この構成により、音源情報とスペクトル包
絡情報を独立して量子化された音声符号を復号すること
ができるので、いずれかの情報の量子化精度が劣化する
ことに伴って他方の情報の量子化効率が低下することを
避けることができ、低ビットレートで情報を送信する場
合であっても高品質に音声復号を実現することができ
る。
【0034】本発明の音声復号化装置のスペクトル包絡
構成手段は、量子化対象外の各パラメータに対応して予
め統計的に求めたパラメータ値を蓄積するパラメータ蓄
積手段と、入力したスペクトル包絡情報に基づいてスペ
クトル包絡曲面を生成するスペクトル包絡生成手段とを
具備する構成を採る。
【0035】この構成により、量子化対象外のパラメー
タとして統計的に求めた値を用いることができるので、
任意の値を用いた場合と比較して正確なスペクトル包絡
曲面を復元することができる。
【0036】本発明の音声符復号化方法は、符号側に
て、入力音声信号から基本周波数とスペクトル包絡情報
を抽出し、抽出された基本周波数を量子化し、抽出され
たスペクトル包絡情報からスペクトル包絡曲面を生成
し、生成されたスペクトル包絡曲面に対し時間軸方向の
直交変換を行い、直交変換された時間軸変換係数に対し
時間軸上の次数に応じたモデルを適用しパラメータを抽
出し、抽出されたモデルパラメータを量子化し、スペク
トル包絡曲面の量子化値と基本周波数の量子化値とを多
重化して送出し、復号側にて、受信した符号列をスペク
トル包絡情報の量子化値を示す符号と基本周波数の量子
化値を示す符号とに分離し、受信したスペクトル包絡情
報から量子化されたスペクトル包絡曲面を再構成し、再
構成されたスペクトル包絡曲面を基本周波数情報に基づ
いて切り出して復号音声を合成することとした。
【0037】この方法により、音源情報とスペクトル包
絡情報を独立して量子化し、時間軸変換係数の次数に応
じたモデルを適用して音声符号化することができるの
で、いずれかの情報の量子化精度が劣化することに伴っ
て他方の情報の量子化効率が低下することを避けること
ができ、低ビットレートで情報を送信する場合であって
も高品質に音声復号を実現することができる。
【0038】本発明の記録媒体は、コンピュータに、入
力音声信号から基本周波数とスペクトル包絡情報を抽出
させる手順と、抽出された基本周波数を量子化させる手
順と、抽出されたスペクトル包絡情報からスペクトル包
絡曲面を生成させる手順と、生成されたスペクトル包絡
曲面に対し時間軸方向の直交変換を行わせる手順と、直
交変換された時間軸変換係数に対し時間軸上の次数に応
じたモデルを適用しパラメータを抽出させる手順と、抽
出されたモデルパラメータを量子化させる手順と、スペ
クトル包絡曲面の量子化値と基本周波数の量子化値とを
多重化させる手順とを実行させるための音声符号化プロ
グラムを記録した機械読み取り可能なものである。
【0039】本発明の記録媒体は、コンピュータに、
記記録媒体に記録された音声符号化プログラムの実行に
より得られる符号列をスペクトル包絡情報の量子化値を
示す符号と基本周波数の量子化値を示す符号とに分離さ
せる手順と、受信したスペクトル包絡情報から量子化さ
れたスペクトル包絡曲面を再構成させる手順と、再構成
されたスペクトル包絡曲面を基本周波数情報に基づいて
切り出させて復号音声を合成させる手順とを実行させる
ための音声復号化プログラムを記録した機械読み取り可
能なものである。
【0040】これらにより、音源情報とスペクトル包絡
情報を独立して量子化し、時間軸変換係数の次数に応じ
たモデルを適用して音声符号化することができるので、
いずれかの情報の量子化精度が劣化することに伴って他
方の情報の量子化効率が低下することを避けることがで
き、低ビットレートで情報を送信する場合であっても高
品質に音声復号を実現することができる。
【0041】
【発明の実施の形態】本発明の骨子は、時間的に連続し
たスペクトル包絡曲面を基本周波数に基づいて切り出す
ことにより音声信号が生成されることに着目し、スペク
トル包絡情報と音源情報を完全に分離してスペクトル包
絡情報の量子化精度に影響されない音声符復号化処理を
実現すること、かつ、分析合成モデルにおいて有効なス
ペクトル包絡情報の高効率量子化手法を通して高能率音
声符復号処理を実現することである。
【0042】以下、本発明の実施の形態について、添付
図面を参照して詳細に説明する。
【0043】(実施の形態1)図1は、本発明の実施の
形態1に係る音声符号化装置及び音声復号化装置の構成
を示すブロック図である。
【0044】図1の音声符号化装置100において、音
声分析部101は、入力音声信号から基本周波数と短時
間スペクトル包絡情報を抽出する。基本周波数量子化部
102は、音声分析部101にて抽出された基本周波数
を量子化する。
【0045】なお、入力音声信号から基本周波数と短時
間スペクトル包絡情報を抽出する音声分析に関しては、
既に[河原英紀、増田郁代、“時間周波数領域での補間
を用いた音声の変換について,”信学技報EA96-28,pp.9
-18,1996]等において、STRAIGHT分析合成モデルに基づ
いて行ったものが開示されている。このモデルにおい
て、音源情報は基本周波数のみでありスペクトル包絡情
報と完全に独立しているため、音源情報及びスペクトル
包絡情報の量子化誤差が互いの情報の量子化に影響を及
ぼすことはない。
【0046】マトリックス生成部103は、音声分析部
101にて抽出された短時間スペクトル包絡情報を時間
軸に沿って並べることにより時間−周波数平面上のスペ
クトル包絡曲面を生成する。スペクトル包絡量子化部1
04は、マトリックス生成部103にて生成されたスペ
クトル包絡曲面を量子化する。
【0047】なお、スペクトル包絡情報は時間−周波数
平面平面上の連続関数として量子化するのは、切り出さ
れるスペクトル包絡のみを量子化した場合、音源情報に
依存してスペクトル包絡情報を量子化することとなり、
本発明の骨子である情報の量子化処理における分離がで
きなくなるためである。
【0048】多重化部105は、スペクトル包絡量子化
部104から出力されたスペクトル包絡曲面の量子化値
を示す符号と、基本周波数量子化部102から出力され
た基本周波数の量子化値を示す符号とを多重化して通信
路に送出する。
【0049】図1の音声復号化装置200において、逆
多重化部201は、受信した符号列をスペクトル包絡情
報の量子化値を示す符号と基本周波数の量子化値を示す
符号とに分離する。
【0050】スペクトル包絡構成部202は、受信した
スペクトル包絡情報から量子化されたスペクトル包絡曲
面を再構成する。音声合成部203は、スペクトル包絡
構成部202にて再構成されたスペクトル包絡曲面を、
基本周波数情報に基づいて切り出すことにより復号音声
を合成し出力する。
【0051】次に、図1に示した本実施の形態に係る音
声符号化装置及び音声復号化装置の情報処理動作の流れ
について説明する。
【0052】まず、音声符号化装置100の音声分析部
101にて、入力した入力音声信号から基本周波数と短
時間スペクトル包絡情報が抽出される。抽出された基本
周波数は、基本周波数量子化部102にて量子化され
る。
【0053】一方、抽出された短時間スペクトル包絡情
報は、マトリックス生成部103にて時間軸に沿って並
べられ、時間−周波数平面上のスペクトル包絡曲面が生
成される。スペクトル包絡曲面は、スペクトル包絡量子
化部104にて量子化される。
【0054】量子化された基本周波数及びスペクトル包
絡曲面は、多重化部105にて多重され通信路に送出さ
れる。そして、基本周波数及びスペクトル包絡曲面は、
音声復号化装置200の逆多重化部201に受信され、
スペクトル包絡情報の量子化値と基本周波数の量子化値
とに分離される。
【0055】スペクトル包絡情報の量子化値はスペクト
ル包絡構成部202に入力され、スペクトル包絡構成部
202においてスペクトル包絡曲面が再構成される。
【0056】そして、音声合成部203において、再構
成されたスペクトル包絡曲面が基本周波数情報に基づい
て切り出されることにより、復号音声が合成され出力さ
れる。
【0057】このように、音源情報とスペクトル包絡情
報を独立して量子化することにより、いずれかの情報の
量子化精度が劣化することに伴って他方の情報の量子化
効率が低下することを避けることができ、低ビットレー
トで情報を送信する場合であっても高品質に音声復号を
実現することができる。
【0058】(実施の形態2)図2は、本発明の実施の
形態2に係る音声符号化装置のスペクトル包絡量子化部
の内部構成を示すブロック図である。
【0059】なお、本実施の形態に係る音声符号化装置
の構成は、実施の形態1の図1に示した音声符号化装置
の構成と同様であるので説明を省略する。
【0060】図2のスペクトル包絡量子化部104にお
いて、2次元直交変換器301は、スペクトル包絡曲面
に対し時間軸方向及び周波数軸方向の2次元直交変換を
行う。パラメータ量子化器302は、2次元直交変換器
301における2次元直交変換処理にて得られた変換係
数を量子化する。
【0061】ここで、一般にスペクトル包絡曲面の高周
波成分の差異は聴感上認識されにくい。従って、直交変
換して得られる低周波成分の係数情報のみを用いて復号
化側で音声合成しても音声品質が大きく劣化することは
ない。そこで、パラメータ量子化器302では、低周波
成分の係数情報のみを量子化する。
【0062】このように、直交変換を用いることで聴覚
上重要でない情報を削除することができ、低ビットレー
トで情報を送信する場合であっても高品質に音声復号を
実現することができる。
【0063】(実施の形態3)図3は、本発明の実施の
形態3に係る音声符号化装置のスペクトル包絡量子化部
の内部構成を示すブロック図である。
【0064】なお、本実施の形態に係る音声符号化装置
の構成は、実施の形態1の図1に示した音声符号化装置
の構成と同様であるので説明を省略する。
【0065】図3のスペクトル包絡量子化部104にお
いて、モデル適用器311は、スペクトル包絡曲面をモ
デル化してモデルパラメータを抽出する。
【0066】このモデルは、時間−周波数空間における
スペクトル包絡曲面をモデル化したものであり、例え
ば、図4に示すように、スペクトル包絡曲面の時間軸に
おける両断面に対する全極モデルの適用及びその補完に
よりモデル化することができる。
【0067】パラメータ量子化器302は、モデル適用
器311にて抽出されたモデルパラメータを量子化す
る。
【0068】このように、スペクトル包絡曲面をモデル
化することにより、スペクトル包絡曲面の量子化効率を
向上させることができ、低ビットレートで情報を送信す
る場合であっても高品質に音声復号を実現することがで
きる。
【0069】(実施の形態4)図5は、本発明の実施の
形態4に係る音声符号化装置のスペクトル包絡量子化部
の内部構成を示すブロック図である。
【0070】なお、本実施の形態に係る音声符号化装置
の構成は、実施の形態1の図1に示した音声符号化装置
の構成と同様であるので説明を省略する。
【0071】図5のスペクトル包絡量子化部104にお
いて、時間軸直交変換器321は、スペクトル包絡曲面
に対し時間軸方向の直交変換を行う。モデル適用器31
1は、直交変換された時間軸変換係数に対し、時間軸上
の次数に応じたモデルを適用しパラメータを抽出する。
パラメータ量子化器302は、モデル適用器311にて
抽出されたモデルパラメータを量子化する。
【0072】このように、時間軸変換係数の次数に応じ
たモデルを適用することにより、モデル化による量子化
効率を向上させることができ、低ビットレートで情報を
送信する場合であっても高品質に音声復号を実現するこ
とができる。
【0073】(実施の形態5)図6は、本発明の実施の
形態5に係る音声符号化装置のスペクトル包絡量子化部
の内部構成を示すブロック図である。
【0074】なお、本実施の形態に係る音声符号化装置
の構成は、実施の形態1の図1に示した音声符号化装置
の構成と同様であるので説明を省略する。
【0075】図6のスペクトル包絡量子化部104にお
いて、時間軸直交変換器331は、スペクトル包絡曲面
に対し時間軸方向の直交変換を行い、直交変換された時
間軸変換係数をモデル化するものとしないものとに分類
する。この分類方法として、例えば、時間軸0次の係数
は、スペクトル包絡曲面を平均したスペクトル包絡であ
るので全極モデルを適用し、それ以外の係数にはモデル
を適用しない方法等がある。
【0076】モデル適用器311は、直交変換された時
間軸変換係数の一部に対し、時間軸上の次数に応じたモ
デルを適用しパラメータを抽出する。周波数軸直交変換
器332は、モデルを適用しない時間軸変換係数に対し
周波数軸方向の直交変換を行う。パラメータ量子化器3
02は、モデル適用器311にて抽出されたモデルパラ
メータ及び周波数軸直交変換器332から出力された変
換係数を量子化する。
【0077】このように、モデル化により量子化効率が
向上する時間軸変換係数に対してのみモデルを適用する
ことにより、モデル化による量子化効率を向上しつつモ
デル化歪を低減し、低ビットレートで情報を送信する場
合であっても高品質に音声復号を実現することができ
る。
【0078】(実施の形態6)図7は、本発明の実施の
形態6に係る音声符号化装置のモデル適用器の内部構成
を示すブロック図である。
【0079】なお、本実施の形態に係るモデル適用器3
11は、上記実施の形態3から5のいずれかに示したも
のである。
【0080】モデルパラメータ推定器401は、入力信
号に対してモデルを適用しパラメータを抽出する。
【0081】例えば、音声符号化の場合、音声生成過程
を考慮して全極モデルで入力信号をモデル化する。しか
し、モデルの次数が低い場合、モデルは、信号に含まれ
る零点を表すことができず、モデルによる分析歪が生じ
る。
【0082】そこで、モデル誤差推定器402は、モデ
ルを適用する際に生じた分析歪を推定してパラメータ量
子化器に出力する。
【0083】このように、モデル化歪を量子化すること
により、モデル化による量子化効率を向上しつつモデル
化歪を低減し、低ビットレートで情報を送信する場合で
あっても高品質に音声復号を実現することができる。
【0084】(実施の形態7)図8は、本発明の実施の
形態7に係る音声符号化装置のパラメータ量子化器の内
部構成を示すブロック図である。
【0085】なお、本実施の形態に係るパラメータ量子
化器302は、上記実施の形態2から5のいずれかに示
したものである。
【0086】重み算出器501は、基本周波数情報を用
いて各量子化対象値に対する量子化感度を決定する。以
下、重み算出器501における量子化感度の決定方法の
一例を示す。
【0087】音声復号化処理ではスペクトル包絡曲面を
基本周波数に従って切り出し、時間軸上で連結すること
で復号音声を生成する。このとき、基本周波数の高調波
振幅値は、その他のスペクトル振幅値と比較し重要な情
報となる。そこで、切り出されるスペクトル包絡位置の
高調波振幅値に重み付けした重み係数曲面を生成する。
【0088】次に量子化対象値を得た変換と同様の方法
を用いて変換して量子化対象パラメータ空間での重み係
数を算出することにより、各量子化対象値に対する量子
化感度を決定する。
【0089】重み算出器502は、スペクトル包絡情報
を用いて各量子化対象値に対する量子化感度を決定す
る。以下、重み算出器502における量子化感度の決定
方法の一例を示す。
【0090】ある信号に対し同じ大きさの雑音が付加さ
れる場合、ダイナミックレンジの小さな信号は大きな信
号と比較し、聴感上において雑音が目立つ。そこで、ス
ペクトル包絡曲面で振幅が小さい程大きく重み付けした
重み係数曲面を生成する。
【0091】次に量子化対象値を得た変換と同様の方法
を用いて変換して量子化対象パラメータ空間での重み係
数を算出することにより、各量子化対象値に対する量子
化感度を決定する。なお、重み算出器502における量
子化器の適応法は復号化処理においても必要となるた
め、復号化処理との同期をとるべく前フレームで量子化
したスペクトル包絡情報を用いることが望ましい。
【0092】統計量蓄積器503には、予め求めた量子
化対象値毎の統計量が蓄積されている。量子化生成器5
04は、重み算出器501及び重み算出器502から出
力された量子化対象値に対する量子化感度と、統計量蓄
積器503に蓄積されている統計量から量子化器を設計
する。
【0093】例えば、スカラー量子化器を用いる場合、
統計量として量子化対象値の分散を蓄積しておき、この
分散と量子化感度に基づいて量子化ステップ幅を決定す
る。分散が同じ場合には量子化感度が大きい。すなわ
ち、量子化誤差の影響を受けやすい量子化対象値に対し
て量子化ステップ幅が小さくなるようにする。
【0094】量子化器505は、量子化生成器504の
設計結果に基づいて量子化対象値を量子化する。
【0095】このように、基本周波数及びスペクトル包
絡情報に対して量子化器を適応させることにより、合成
音声信号の客観的な量子化歪及び聴感上の歪を低減する
ことができる。
【0096】なお、本実施の形態では、基本周波数情報
及びスペクトル包絡情報の2つの情報を用いてそれぞれ
各量子化対象値に対する量子化感度を決定したが、いず
れか一方の情報を用いて量子化感度を決定し、量子化器
を設計してもよい。
【0097】(実施の形態8)図9は、本発明の実施の
形態8に係る音声符号化装置のパラメータ量子化器の内
部構成を示すブロック図である。
【0098】なお、本実施の形態に係るパラメータ量子
化器302は、上記実施の形態2から5のいずれかに示
したものである。
【0099】誤差尺度決定器511は、基本周波数情報
を用いてスペクトル包絡上での量子化誤差尺度を適応的
に決定する。誤差尺度決定器512は、スペクトル包絡
情報を用いてスペクトル包絡上での量子化誤差尺度を適
応的に決定する。誤差尺度合成器513は、誤差尺度決
定器511及び誤差尺度決定器512で得られた誤差尺
度を1つの誤差尺度に合成する。
【0100】符号帳514には、量子化値が蓄積されて
いる。スペクトル包絡構成器515は、符号帳514に
蓄積されている量子化値をスペクトル包絡曲面に変換す
る。スペクトル包絡構成器516は、量子化対象値をス
ペクトル包絡曲面に変換する。
【0101】誤差算出器517は、誤差尺度合成器51
3から出力された誤差尺度に基づいて、スペクトル包絡
構成器515にて構成されたスペクトル包絡曲面とスペ
クトル包絡構成器516にて構成されたスペクトル包絡
曲面との誤差を算出する。
【0102】符号選択器518は、誤差が最小となる量
子化値に対応する符号を符号帳514から選択して出力
する。
【0103】このように、基本周波数及びスペクトル包
絡情報に対して適応させた量子化時の誤差尺度を用いて
スペクトル包絡曲面の誤差を時間−周波数平面上で算出
することにより、合成音声信号の客観的な量子化歪及び
聴感上の歪を低減することができる。
【0104】なお、本実施の形態では、基本周波数及び
スペクトル包絡情報の両方に関してスペクトル包絡上で
の量子化誤差尺度を決定したが、いずれか一方に関して
量子化誤差尺度を決定し、誤差を算出してもよい。
【0105】(実施の形態9)図10は、本発明の実施
の形態9に係る音声符号化装置のパラメータ量子化器の
内部構成を示すブロック図である。
【0106】なお、本実施の形態に係るパラメータ量子
化器302は、上記実施の形態2から5のいずれかに示
したものである。
【0107】誤差関数決定器521は、基本周波数情報
を用いてスペクトル包絡上での量子化誤差重み関数を適
応的に決定する。誤差関数決定器522は、スペクトル
包絡情報を用いてスペクトル包絡上での量子化誤差重み
関数を適応的に決定する。誤差関数合成器523は、誤
差関数決定器521及び誤差関数決定器522で得られ
た量子化誤差重み関数を1つの誤差関数に合成する。誤
差関数変換器524は、誤差関数合成器523から出力
された量子化誤差重み関数を変換する量子化パラメータ
上での誤差尺度を定義する。
【0108】符号帳525には、量子化値が蓄積されて
いる。誤差算出器526は、誤差関数変換器524から
出力された誤差尺度に基づいて、量子化対象値と符号帳
525に蓄積されている量子化値との誤差を算出する。
【0109】符号選択器527は、誤差が最小となる量
子化値に対応する符号を符号帳525から選択して出力
する。
【0110】このように、基本周波数及びスペクトル包
絡情報に対して適応させた量子化時の誤差尺度を用いて
量子化パラメータ間の誤差を算出することにより、少な
い処理量で合成音声信号の客観的な量子化歪及び聴感上
の歪を低減することができる。
【0111】なお、本実施の形態では、基本周波数及び
スペクトル包絡情報の両方に関してスペクトル包絡上で
の量子化誤差重み関数を決定したが、いずれか一方に関
して量子化誤差重み関数を決定し、誤差を算出してもよ
い。
【0112】(実施の形態10)図11は、本発明の実
施の形態10に係る音声復号化装置のスペクトル包絡構
成部の内部構成を示すブロック図である。
【0113】なお、本実施の形態に係る音声復号化装置
の構成は、実施の形態1の図1に示した音声復号化装置
の構成と同様であるので説明を省略する。
【0114】ここで、上記実施の形態2で説明したよう
に、直交変換を用いる音声符復号化方法では、符号側に
おいて、聴覚上重要でない高周波成分を伝送しないこと
で情報圧縮を図っている。そこで、本実施の形態では、
復号側において、予め統計的に求めたパラメータ値を使
用して、受信されなかったパラメータを補完することに
より包絡曲面を生成する。
【0115】図11のスペクトル包絡構成部202にお
いて、パラメータ蓄積器601には、量子化対象外の各
パラメータに対応して予め統計的に求めたパラメータ値
が蓄積されている。スペクトル包絡生成器602は、入
力したスペクトル包絡情報に基づいてスペクトル包絡曲
面を生成する。
【0116】このように、量子化対象外のパラメータと
して統計的に求めた値を用いることにより、任意の値を
用いた場合と比較して正確なスペクトル包絡曲面を復元
することができる。
【0117】
【発明の効果】以上説明したように、本発明の音声符号
化装置、音声復号化装置及び音声符復号化方法によれ
ば、スペクトル包絡情報と音源情報を完全に分離してス
ペクトル包絡情報の量子化精度に影響されない音声符復
号化処理を実現すること、かつ、分析合成モデルにおい
て有効なスペクトル包絡情報の高効率量子化手法を通し
て高能率音声符復号処理を実現することができるので、
低ビットレートで情報を送信する場合であっても高品質
に音声復号を実現することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る音声符号化装置及
び音声復号化装置の構成を示すブロック図
【図2】本発明の実施の形態2に係る音声符号化装置の
スペクトル包絡量子化部の内部構成を示すブロック図
【図3】本発明の実施の形態3に係る音声符号化装置の
スペクトル包絡量子化部の内部構成を示すブロック図
【図4】上記実施の形態に係るスペクトル包絡曲面のモ
デル図
【図5】本発明の実施の形態4に係る音声符号化装置の
スペクトル包絡量子化部の内部構成を示すブロック図
【図6】本発明の実施の形態5に係る音声符号化装置の
スペクトル包絡量子化部の内部構成を示すブロック図
【図7】本発明の実施の形態6に係る音声符号化装置の
モデル適用器の内部構成を示すブロック図
【図8】本発明の実施の形態7に係る音声符号化装置の
パラメータ量子化器の内部構成を示すブロック図
【図9】本発明の実施の形態8に係る音声符号化装置の
パラメータ量子化器の内部構成を示すブロック図
【図10】本発明の実施の形態9に係る音声符号化装置
のパラメータ量子化器の内部構成を示すブロック図
【図11】本発明の実施の形態10に係る音声復号化装
置のスペクトル包絡構成部の内部構成を示すブロック図
【図12】従来の音声符号化装置及び音声復号化装置の
構成を示すブロック図
【符号の説明】
100 音声符号化装置 101 音声分析部 102 基本周波数量子化部 103 マトリックス生成部 104 スペクトル包絡量子化部 105 多重化部 200 音声復号化装置 201 逆多重化部 202 スペクトル包絡構成部 203 音声合成部 301 2次元直交変換器 302 パラメータ量子化器 311 モデル適用器 321 時間軸直交変換器 331 時間軸直交変換器 332 周波数軸直交変換器 401 モデルパラメータ推定器 402 モデル誤差推定器 501、502 重み算出器 503 統計量蓄積器 504 量子化生成器 505 量子化器 511、512 誤差尺度決定器 513 誤差尺度合成器 514、525 符号帳 515、516 スペクトル包絡構成器 517、526 誤差算出器 518、527 符号選択器 521、522 誤差関数決定器 523 誤差関数合成器 524 誤差関数変換器 601 パラメータ蓄積器 602 スペクトル包絡生成器

Claims (11)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力音声信号から基本周波数とスペクト
    ル包絡情報を抽出する音声分析手段と、抽出された基本
    周波数を量子化する基本周波数量子化手段と、抽出され
    たスペクトル包絡情報からスペクトル包絡曲面を生成す
    るマトリックス生成手段と、生成されたスペクトル包絡
    曲面に対し時間軸方向の直交変換を行う時間軸直交変換
    手段と、直交変換された時間軸変換係数に対し時間軸上
    の次数に応じたモデルを適用しパラメータを抽出するモ
    デル適用手段と、抽出されたモデルパラメータを量子化
    するパラメータ量子化手段と、スペクトル包絡曲面の量
    子化値と基本周波数の量子化値とを多重化して送出する
    多重化手段とを具備することを特徴とする音声符号化装
    置。
  2. 【請求項2】 モデルを適用しない時間軸変換係数に対
    し周波数軸方向の直交変換を行う周波数軸直交変換手段
    を具備し、パラメータ量子化手段は、抽出されたモデル
    パラメータ及び前記周波数軸直交変換手段から出力され
    た変換係数を量子化することを特徴とする請求項1記載
    音声符号化装置。
  3. 【請求項3】 モデル適用手段は、入力信号に対してモ
    デルを適用しパラメータを抽出するモデルパラメータ推
    定手段と、このモデルパラメータ推定手段にてモデルを
    適用した際に生じた分析歪を推定するモデル誤差推定手
    段とを具備することを特徴とする請求項1又は請求項2
    記載の音声符号化装置。
  4. 【請求項4】 パラメータ量子化手段は、基本周波数情
    報とスペクトル包絡情報の少なくとも一方を用いて各量
    子化対象値に対する量子化感度を決定する重み算出手段
    と、予め求めた量子化対象値毎の統計量を蓄積する統計
    量蓄積手段と、前記重み算出手段から出力された量子化
    対象値に対する量子化感度及び統計量蓄積手段に蓄積さ
    れている統計量から量子化器を設計する量子化生成手段
    と、この量子化生成手段の設計結果に基づいて量子化対
    象値を量子化する量子化手段とを具備することを特徴と
    する請求項1から請求項3のいずれかに記載の音声符号
    化装置。
  5. 【請求項5】 パラメータ量子化手段は、基本周波数情
    報とスペクトル包絡情報の少なくとも一方を用いてスペ
    クトル包絡上での量子化誤差尺度を適応的に決定する誤
    差尺度決定手段と、符号帳に蓄積されている量子化値を
    スペクトル包絡曲面に変換する第1スペクトル包絡構成
    手段と、量子化対象値をスペクトル包絡曲面に変換する
    第2スペクトル包絡構成手段と、前記第1スペクトル包
    絡構成手段にて構成されたスペクトル包絡曲面と前記第
    2スペクトル包絡構成手段にて構成されたスペクトル包
    絡曲面との誤差を誤差尺度に基づいて算出する誤差算出
    手段と、誤差が最小となる量子化値に対応する符号を符
    号帳から選択する符号選択手段とを具備することを特徴
    とする請求項1から請求項3のいずれかに記載の音声符
    号化装置。
  6. 【請求項6】 パラメータ量子化手段は、基本周波数情
    報とスペクトル包絡情報の少なくとも一方を用いてスペ
    クトル包絡上での量子化誤差重み関数を適応的に決定す
    る誤差関数決定手段と、量子化誤差重み関数を変換する
    量子化パラメータ上での誤差尺度を定義する誤差関数変
    換手段と、誤差尺度に基づいて量子化対象値と符号帳に
    蓄積されている量子化値との誤差を算出する誤差算出手
    段と、誤差が最小となる量子化値に対応する符号を符号
    帳から選択する符号選択手段とを具備することを特徴と
    する請求項1から請求項3のいずれかに記載の音声符号
    化装置。
  7. 【請求項7】 請求項1から請求項6のいずれかに記載
    音声符号化装置から送信された符号列をスペクトル包
    絡情報の量子化値を示す符号と基本周波数の量子化値を
    示す符号とに分離する逆多重化手段と、受信したスペク
    トル包絡情報から量子化されたスペクトル包絡曲面を再
    構成するスペクトル包絡構成手段と、再構成されたスペ
    クトル包絡曲面を基本周波数情報に基づいて切り出して
    復号音声を合成する音声合成手段とを具備することを特
    徴とする音声復号化装置。
  8. 【請求項8】 スペクトル包絡構成手段は、量子化対象
    外の各パラメータに対応して予め統計的に求めたパラメ
    ータ値を蓄積するパラメータ蓄積手段と、入力したスペ
    クトル包絡情報に基づいてスペクトル包絡曲面を生成す
    るスペクトル包絡生成手段とを具備することを特徴とす
    請求項7記載の音声復号化装置。
  9. 【請求項9】 符号側にて、入力音声信号から基本周波
    数とスペクトル包絡情報を抽出し、抽出された基本周波
    数を量子化し、抽出されたスペクトル包絡情報からスペ
    クトル包絡曲面を生成し、生成されたスペクトル包絡曲
    面に対し時間軸方向の直交変換を行い、直交変換された
    時間軸変換係数に対し時間軸上の次数 に応じたモデルを
    適用しパラメータを抽出し、抽出されたモデルパラメー
    タを量子化し、スペクトル包絡曲面の量子化値と基本周
    波数の量子化値とを多重化して送出し、復号側にて、受
    信した符号列をスペクトル包絡情報の量子化値を示す符
    号と基本周波数の量子化値を示す符号とに分離し、受信
    したスペクトル包絡情報から量子化されたスペクトル包
    絡曲面を再構成し、再構成されたスペクトル包絡曲面を
    基本周波数情報に基づいて切り出して復号音声を合成す
    ることを特徴とする音声符復号化方法。
  10. 【請求項10】 コンピュータに、入力音声信号から基
    本周波数とスペクトル包絡情報を抽出させる手順と、抽
    出された基本周波数を量子化させる手順と、抽出された
    スペクトル包絡情報からスペクトル包絡曲面を生成させ
    る手順と、生成されたスペクトル包絡曲面に対し時間軸
    方向の直交変換を行わせる手順と、直交変換された時間
    軸変換係数に対し時間軸上の次数に応じたモデルを適用
    しパラメータを抽出させる手順と、抽出されたモデルパ
    ラメータを量子化させる手順と、スペクトル包絡曲面の
    量子化値と基本周波数の量子化値とを多重化させる手順
    とを実行させるための音声符号化プログラムを記録した
    機械読み取り可能な記録媒体。
  11. 【請求項11】 コンピュータに、請求項10の記録媒
    体に記録された音声符号化プログラムの実行により得ら
    れる符号列をスペクトル包絡情報の量子化値を示す符号
    と基本周波数の量子化値を示す符号とに分離させる手順
    と、受信したスペクトル包絡情報から量子化されたスペ
    クトル包絡曲面を再構成させる手順と、再構成されたス
    ペクトル包絡曲面を基本周波数情報に基づいて切り出さ
    せて復号音声を合成させる手順とを実行させるための音
    声復号化プログラムを記録した機械読み取り可能な記録
    媒体。
JP27511999A 1999-09-28 1999-09-28 音声符号化装置、音声復号化装置及び音声符復号化方法 Expired - Fee Related JP3360046B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP27511999A JP3360046B2 (ja) 1999-09-28 1999-09-28 音声符号化装置、音声復号化装置及び音声符復号化方法
EP00961220A EP1132891A1 (en) 1999-09-28 2000-09-25 Voice encoder, voice decoder, and voice encoding and decoding method
PCT/JP2000/006542 WO2001024164A1 (fr) 1999-09-28 2000-09-25 Codeur vocal, decodeur vocal et procede de codage et de decodage de la parole
AU73212/00A AU7321200A (en) 1999-09-28 2000-09-25 Voice encoder, voice decoder, and voice encoding and decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27511999A JP3360046B2 (ja) 1999-09-28 1999-09-28 音声符号化装置、音声復号化装置及び音声符復号化方法

Publications (2)

Publication Number Publication Date
JP2001100798A JP2001100798A (ja) 2001-04-13
JP3360046B2 true JP3360046B2 (ja) 2002-12-24

Family

ID=17550984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27511999A Expired - Fee Related JP3360046B2 (ja) 1999-09-28 1999-09-28 音声符号化装置、音声復号化装置及び音声符復号化方法

Country Status (4)

Country Link
EP (1) EP1132891A1 (ja)
JP (1) JP3360046B2 (ja)
AU (1) AU7321200A (ja)
WO (1) WO2001024164A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9072535B2 (en) 2011-05-27 2015-07-07 Ethicon Endo-Surgery, Inc. Surgical stapling instruments with rotatable staple deployment arrangements
KR100738109B1 (ko) * 2006-04-03 2007-07-12 삼성전자주식회사 입력 신호의 양자화 및 역양자화 방법과 장치, 입력신호의부호화 및 복호화 방법과 장치
JP5799824B2 (ja) 2012-01-18 2015-10-28 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2707577B2 (ja) * 1988-03-07 1998-01-28 富士通株式会社 ホルマント抽出装置

Also Published As

Publication number Publication date
WO2001024164A1 (fr) 2001-04-05
JP2001100798A (ja) 2001-04-13
EP1132891A1 (en) 2001-09-12
AU7321200A (en) 2001-04-30

Similar Documents

Publication Publication Date Title
JP5165559B2 (ja) オーディオコーデックポストフィルタ
US8949119B2 (en) Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US20170236530A1 (en) Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
JP5267362B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
RU2389085C2 (ru) Способы и устройства для введения низкочастотных предыскажений в ходе сжатия звука на основе acelp/tcx
KR101835910B1 (ko) 부호화 장치 및 방법, 복호 장치 및 방법, 및 컴퓨터 판독가능한 기록 매체
JP3483958B2 (ja) 広帯域音声復元装置及び広帯域音声復元方法及び音声伝送システム及び音声伝送方法
JP5975243B2 (ja) 符号化装置および方法、並びにプログラム
JP5413839B2 (ja) 符号化装置および復号装置
JP5285162B2 (ja) ピーク検出に基づいた選択型スケーリングマスク演算
KR102217709B1 (ko) 노이즈 신호 처리 방법, 노이즈 신호 생성 방법, 인코더, 디코더, 및 인코딩/디코딩 시스템
JP4606418B2 (ja) スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法
JP5737077B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
RU2599966C2 (ru) Декодер речи, кодер речи, способ декодирования речи, способ кодирования речи, программа декодирования речи и программа кодирования речи
KR20090083069A (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
JP6508551B2 (ja) 復号装置および方法、並びにプログラム
KR20070070189A (ko) 음성 부호화 장치 및 음성 부호화 방법
KR20040007815A (ko) 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
WO2010016270A1 (ja) 量子化装置、符号化装置、量子化方法及び符号化方法
KR20070051857A (ko) 스케일러블 오디오 코딩
KR20070061843A (ko) 스케일러블 부호화 장치 및 스케일러블 부호화 방법
JP3765171B2 (ja) 音声符号化復号方式
JP4603485B2 (ja) 音声・楽音符号化装置及び音声・楽音符号化方法
CN115171709A (zh) 语音编码、解码方法、装置、计算机设备和存储介质
EP1672619A2 (en) Speech coding apparatus and method therefor

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081011

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091011

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091011

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101011

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111011

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121011

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131011

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees