JP3602593B2 - 音声エンコーダ及び音声デコーダ、並びに音声符号化方法及び音声復号化方法 - Google Patents

音声エンコーダ及び音声デコーダ、並びに音声符号化方法及び音声復号化方法 Download PDF

Info

Publication number
JP3602593B2
JP3602593B2 JP02067195A JP2067195A JP3602593B2 JP 3602593 B2 JP3602593 B2 JP 3602593B2 JP 02067195 A JP02067195 A JP 02067195A JP 2067195 A JP2067195 A JP 2067195A JP 3602593 B2 JP3602593 B2 JP 3602593B2
Authority
JP
Japan
Prior art keywords
speech
signal
difference
audio
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP02067195A
Other languages
English (en)
Other versions
JPH0850500A (ja
Inventor
ユハニ イェールビネン カリ
Original Assignee
ノキア モービル フォーンズ リミティド
ノキア テレコミュニケーションズ オサケユイチア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア モービル フォーンズ リミティド, ノキア テレコミュニケーションズ オサケユイチア filed Critical ノキア モービル フォーンズ リミティド
Publication of JPH0850500A publication Critical patent/JPH0850500A/ja
Application granted granted Critical
Publication of JP3602593B2 publication Critical patent/JP3602593B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、エンコーダ内に於ける音声信号の符号化に関するものであり、エンコーダ内に於いて音声生成モデルが合成フィルタの励振と音声チャネルの各パラメータとを計算するために用いられる音声信号の符号化に関する。受信機のデコーダ内に於いては合成された音声信号が、得られた励振によって発生される。
【0002】
【従来の技術】
デジタル移動電話システムにおいて、各電話器は、送信されるべき音声を符号化したり、受信される音声を復号化したりするための音声符号器/復号器(CODEC)を備えている。このような符号化方式は、波形符号化と音声符号化とが組み合わされており、信号を量子化する前に適応予測を用いて信号の圧縮が行われ、幾つかの音声サンプルから短及び長の冗長さを取り除いている。
【0003】
GSMシステムの符号器は、RPE−LTP(正パルス励振/長予測:Reular Pulse Excitation − Long Term Prediction )と呼ばれる。この符号器は、短予測、及び、基本周波数の予測、即ち長予測(LTP)のためにLPC(線形予測符号化)手法を使用する。後者は、音声信号に於いて使用されると共に短予測残信号に於いて用いられ、時間レベルで知覚され得る発声された長の相関性を取り除く。このような符号器に於いては、サンプリングが8KHzの周波数で行われ、そのアルゴリズムは入力フレーム信号が13ビット線形PCMとなるように見なしている。各サンプルは、各々のフレームが20msの持続時間をもつ160のフレーム内に区分化される。この符号化動作は、特定フレームを基礎にして行われるか、又は、それらのサブフレーム(40サンプルの各ブロックに於けるサブフレーム)を基にして行われる。符号器による符号化の結果として、1つのフレームから260ビットが得られ、これら各ビットはチャネル符号化及び変調された後、受信端に送られる。そして受信端で復号化されて、160の復号化された音声サンプルを生成する。符号器の動作は当業者には既知であり、且つ、GSMシステムに関する明細書に詳細に記述されている。
【0004】
更に、符号励振線形予測(CELP:Code Excited Linear Prediction )に基づいた符号化方式を用いる符号器も良く知られており、確率的符号化 ( stochastic coding )としても知られている。これらCELPタイプの方法に於いて、実際の音声信号、又は音声信号から濾波された残信号は励振として用いられないが、この機能は、例えばガウス形雑音 ( Gaussian noise ) によって引き継がれ、(そのスペクトルを整形することにより)濾波されて音声を生成する。ランダムなンプルから構成される一定数の所定長さの励振ベクトルは、コードブック内に格納される。これらは長/短合成フィルタを通じて濾波され、これにより得られた再構成された音声信号が元の音声信号から差し引かれる。このフィルタ係数は、元の音声フレームをLPC分析で分析することにより得られ、LTPに対しては基本周波数を規定することにより得られる。コードブックの全てのベクトルが調査され、そして最小加重誤差をもつ1つのベクトルが選択される。このベクトルのコード文字指標(アドレス)が、フィルターパラメータとに復号器に送られる。復号器は、符号器と同じコードブックをもち、復号器内では、上記アドレスを基に、その指標によって指示された励振ベクトルに対して調査が行われる。その励振ベクトルは符号器内と同様、対応する手法で濾波されて音声を合成する。これにより、フィルターパラメータ及びコードブック指標以外の実際の音声信号は何も送信されることはない。
【0005】
北米のデジタル移動電話システムに於いては、音声符号器内にVSELP(ベクトル和励振線形予測: Vector Sum Excited Linear Prediction )方式が使用されており、この方法はそれ自体、上記CELPタイプの方式に含まれるが、そのコードブックに於いては非常に特殊であり、上記CELPタイプの一般的符号器に於ける、例えばガウス形雑音の励振を許容しない。
【0006】
上述のように、音声符号化システムは、典型的に、適当な音声生成モデルの使用に基づかれている。音声生成モデルによる各パラメータは、このタイプの符号化システムの送信側で実行されるべき符号化において音声信号から計算される。音声生成モデルの各パラメータの値は量子化されて受信機に送信される。受信機内で実行されるべき復号化に於いて、音声信号は、上記音声生成モデルを用いて合成され、符号器から得られるパラメータを用いて制御される。音声符号化に於いて、最も一般的に用いられる音声生成のパラメトリックモデルは、上述したように線形予測に基づいており、つまり所謂LPC(線形予測符号化)モデルの利用に基づいている。これにより連続するサンプル間の音声信号内の依存性をモデル化することができ、加えて、所謂LTPモデル(長予測)が用いられ、音声に於いて、各サンプル間の長依存性のモデル化を可能にする。
【0007】
LPC及びLTPモデル化だけに基づいて音声信号を完全にモデル化する手段は存在しない。これは、符号化動作において良質の音声信号を維持するためには、受信機に上記2つのモデルに於けるパラメータだけでなく、上記各パラメータから形成される音声生成モデルから生成される音声信号と符号化されるべき音声信号の差、つまりモデル化誤差も送信する必要があることを意味する。パラメトリック音声符号化システムに於いて、量子化されて復号器に送信されるべき音声信号の表示は、これにより、音声生成モデルによるパラメータグループ(例えば、LPCモデルのパラメータやLTPモデルのパラメータ)だけでなく、上記パラメータグループのために合成される音声信号と元の音声信号との間の差、つまりモデル化誤差からも形成される。パラメータ化された表示は、モデル化誤差から形成されてサンプル毎に量子化され得る。
【0008】
このように公知の音声符号化方法においては量子化誤差が起き、音声信号の質を弱める。従って音声符号化に於いては、送信機に有効な符号化を提供することができるシステムを開発する必要性が大いにある。他方では、復号化の間に受信される音声信号の特質を改善することができるシステムを開発する必要がある。
【0009】
音声の符号化を実行するために、多数の方法が提案されており、これらは量子化の前に、例えば低いビットレートを用いて誤差信号を送信することでパラメトリックモデルの誤差信号を処理し、効率的符号化を提供するようにしている。このような方法の1つが米国特許第4752956号に開示されている。この方法は、サンプル周波数を低くする(間引き)ローパスフィルタに残信号が供給される残励振線形予測(RELP: Residual Excitation Linear Prediction )タイプの符号器を扱うものである。間引きは、まさにビットレートを減少させるために機能するが、復号化された音声内に「調音的雑音 ( tonal noise )」とも呼ばれる可聴的な「メタリック」背景雑音を引き起こす。これを取り除くために上記特許は、符号器に対して復号器の幾つかの機能を付加することを提案している。つまり、音声信号を合成するために使用される音声生成モデルに従い、その入力が、付加された音声生成モデルによって合成される音声信号となる第2のLPC分析器の機能を付加することを提案している。このように付加されたLPC分析器は、復号される音声信号の短スペクトルの特性を示す他の予測パラメータを生成する。音声帯域の残信号の周波数特性は、各予測パラメータに対して計算された第2の集合により、例えば残信号に対して効率的な量子化が提供されるように整形される。復号器に対する更なる付加要素はLPC分析器であり、符号器から得られる一次予測パラメータと共に、復号される信号の周波数特性を整形する予測パラメータの第3の集合を計算する。その構成は、厄介なメタリック背景雑音即ち調音雑音を取り除き、ビットレートの低減を可能にする。
【0010】
また他方では、符号化に於いて、所謂分析/合成処理を用いることにより、モデル化誤差に対する効率的な量子化表示のための調査を行う音声符号化方法が開発されている。このような方法は、CELPタイプの符号器として意図される。その一例が、米国特許第4817157号であり、主に、コードブックにより形成され得る全ての励振ベクトルを通過することなく励振ベクトルが如何に形成され得るかに主眼が置かれている。
【0011】
また、復号器内に於いては種々の測定が実行される。復号化を改善するためには、受信機内の離散的エンティティとして復号器の出力に接続され得るシステムを開発して、その音声信号の質が向上するように音声信号を整形することが特に重要である。復号器に接続され且つ音声特性を向上させるこのようなシステムは、伝送路上で送信されるパラメータを変更することがなく、ビットレートを上昇させることもないので容易に利用され得る。復号される音声の特性を改善するために所謂ピッチ濾波方法が開発されており、これにより、復号される音声信号を整形してその音声信号の質を一層向上させている。国際特許出願WOー91/06093号は、その1つの方法を開示している。これには、従来の技術によって復号器から得られる復号化された音声信号がタンデムに接続されている2つのフィルタに送られる。すなわち、第1のピッチフィルタ、その後、第1のフィルタから各フィルターパラメータが与えられる第2の適応スペクトルフィルタに送られることが説明されている。適応フィルタの伝達関数の分子多項式は、復号器のLPCフィルタの各パラメータに比例し、そして分母多項式は、それ自体既知のスペクトル均等化技術を用いて分子多項式の関数として開発されている。その目的は、分母多項式ができる限り分子多項式を追跡し、そのときにフィルタースペクトルの特定な曲線が異常な突然の上昇を含まずに下降し、フィルタを「塞ぐ ( plug up )」ことにある。追跡がまずい場合には、復号される音声内に時間依存の変調が引き起こされ、これによりその音声が明瞭にならなくなる。
【0012】
【課題を解決するための手段】
本発明に係る第1の形態に於いては、入力された音声信号に対応する第1の予測パラメータを決定する第1のパラメータ化モジュールと;上記音声信号と第1の予測パラメータとに対応するモデル化誤差を決定する分析フィルターモジュールと;上記モデル化誤差と第1の予測パラメータとに対応する再構成された音声信号を形成する合成フィルターモジュールと;上記再構成された音声信号に対応する第2の予測パラメータ集合を決定する第2のパラメータ化モジュールと;上記第1及び第2の予測パラメータ間の差分を示す比較信号を形成する比較モジュールと;上記第1及び第2の予測パラメータ間の差分が減少されるように上記モデル化誤差を整形する整形モジュールとを備えた音声符号器が提供される。
また、本発明に係る第2の形態に於いては、音声信号と第1の合成音声信号との間の差分を示す誤差信号から第2の音声信号を合成して第2の合成音声信号を生成する段階と;上記第2の合成音声信号を示す第2の音声パラメータ集合を形成する段階と;上記音声信号を表す第1のセットの音声パラメータ集合と上記第2の音声パラメータ集合と比較して、上記第1及び第2の音声パラメータ集合間の差分を示す差分信号を形成する段階と;上記差分に対応する誤差信号を適用して上記第1及び第2の音声パラメータ集合間の差分を低減する段階とを有する音声符号化方法が提供される。
【0013】
本発明に係る第3の形態においては、音声信号を示す第1の各予測パラメータを形成する第1のパラメータ化モジュールと;コードブック内に格納された各サンプルから励振を形成する励振発器と;上記励振と第1の予測パラメータとに対応する再構成された音声信号を形成する各合成フィルタと;上記再構成された音声信号に対応する第2の予測パラメータ集合を形成する第2のパラメータ化モジュールと、上記第1及び第2の予測パラメータ間の差分を示す比較信号を形成する比較モジュールと;上記励振発生器のためのコントロール信号を形成し、上記第1及び第2の予測パラメータが互いに可能な限り接近するように上記励振形成を制御するコントロールモジュールとを備える符号器が提供される。
また、本発明に係る第4の形態に於いては、複数のコードをもつコードブックから選択可能な符号と、音声信号を表す第1の音声パラメータ集合とから音声信号を合成して合成音声信号を生成する段階と;上記合成音声信号を示す第2の音声パラメータ集合を形成する段階と;上記第1及び第2の音声パラメータ集合を比較し、これらの間の差分を示す差分信号を形成する段階と;上記差分信号に従って上記コードブックから上記符号を選択し、上記第1及び第2の音声パラメータ集合間の差分を低減する段階とを有する音声符号化方法が提供される。
【0014】
これらは、送信の前に効率的に音声信号を符号化するので、このような各音声信号の高質復号化を容易にするという利点を有する。
好適な形態においては、第1及び第2の予測パラメータが実質的に等しい場合、第1の予測パラメータが、受信機内に配置された復号器に送信されないので、受信される音声信号から計算される各パラメータ値の復号器による使用を容易にし、その代わり、符号器から復号器に送信されるこのような各パラメータを必要とする。
【0015】
更に、本発明に係る第5の形態に於いては、入力される各予測パラメータとモデル化誤差とに対応する再構成された第1の音声を形成する合成フィルターモジュールと;上記再構成された音声を示す第2の予測パラメータ集合を形成するパラメータ化モジュールと;上記第1の予測パラメータと第2の予測パラメータとの間の差分を示す差分信号を形成する比較モジュールと;上記再構成された音声信号を処理する整形モジュールとを備える音声復号器が提供される。
また、本発明に係る第の形態に於いては、音声信号を示す第1の音声パラメータ集合をもつ各信号から合成音声信号を形成する段階と;上記合成音声信号を示す第2の音声パラメータ集合を規定する段階と;上記第1の音声パラメータ集合と上記第2の音声パラメータ集合とを比較して、これらの間の差分を示す差分信号を形成する段階と;上記差分信号に対応する上記合成音声信号を適用して上記第1及び第2の音声パラメータ集合間の差分を低減する段階とを有する音声復号方法が提供される。
【0016】
上記各形態は、音声のためにモデル化されるべき各パラメータに加え、モデル化誤差もまた受信機に送信されるパラメトリック音声符号器に実際に使用でき、モデル化誤差を送信する方法に関係なく適用することができる。
【0017】
本発明は、音声生成モデルによるパラメータ化が、符号化されるべき音声信号に対して実行されるだけでなく、復号化されるべき音声信号、即ち、合成された音声信号に対しても実行される新規なパラメトリック音声符号化システムである。合成された信号のパラメトリック表示は、元の音声信号のパラメトリック表示と比較され、符号化のための各関数は、これらの間の差分に従って制御される。
【0018】
本発明は、まず、符号化に於いて用いられる音声生成モデルにより、パラメータ化が、復号化される音声信号に基づいて実行されるような方法に適用される。次に、合成される音声信号から形成される各パラメータ値が、符号化されるべき音声信号を基に符号器内で計算される各パラメータ値と比較される。この比較の際、ある既知の距離尺度、例えば周波数距離間の Itakura− Saito尺度が用いられる。これら符号化関数は、距離尺度によって表示される差分ができる限り小さくなるように整形ブロックにて制御される。概略的に本発明に係る形態は3つのブロックから構成され、パラメータ化ブロック,比較ブロック,そして整形ブロックから構成される。
【0019】
【実施例】
以下、本発明に係る幾つかの実施例について、その例示として添付図面を参照しながら詳細に記述する。
【0020】
図1は、公知のパラメトリック音声符号化システムの符号器(送信側)を示しており、図2は、復号器(受信側)を示している。この音声符号化システムは、文献に於いて一般にRELP(残差励振線形予測)符号器として言及されるクラスを代表するハイブリッド符号器である。図1の符号器に於いて、音声信号100は、符号化のために入力されてサンプル化され、そのサンプルは、例えば20msの一定長のブロック、又はフレーム内に挿入される。これにより音声信号は、使用される音声生成モデルの各パラメータ値の計算を経る。これはパラメータブロック104で実行される。図1に於けるパラメトリック音声符号化システムの特徴は、音声信号を表わす各パラメータの計算が約20ms長の各音声フレーム毎に一回実行されることである。このモデルによるパラメータ値は、量子化ブロック105において量子化される。各フレーム間で音声信号をモデル化するパラメータ値106の量子化された集合は、各フレーム毎に一回、復号器に送信される。
【0021】
ブロック101に於いて、音声信号は、音声生成の逆モデル化を受ける。これは、使用されるモデルに従い、合成される信号と元の音声信号との差分、即ちモデル化の際に発生したモデル化誤差を形成する役目をする。音声信号をモデル化するために、適当なモデルが用いられ、例えば上述のLPCやLTPモデルが用いられる。本発明は、使用されるべきモデルに制限を与えない。ブロック101にて実行されるモデル化誤差を計算するために、量子化されたパラメータ値がブロック105で使用され、これにより、このモデルの各パラメータに基づいた量子化の作用も更に考慮される。
【0022】
パラメトリック音声符号化を用いることにより受信機内で高質音声信号を生成可能にするために、モデルを使用した結果として生じるモデル化誤差もまた、受信機に必ず送信される。ブロック101内で形成されるモデル化誤差がブロック102で量子化され、量子化されたモデル化誤差103が復号器に送信される。
【0023】
図2は、既知パラメトリック音声符号化システムの復号器の構成を示す。この復号器に於いて、変換チャネルを通じて受信される音声生成モデルの各パラメータ値112は、音声生成モデル111に供給される。音声生成モデル11に於いて、その構成は原理的には音声信号を合成するフィルター群であり、その群の逆フィルタは符号器の「逆音声生成モデル」ブロックである。元の音声信号113は、変換チャネルを通じて受信される量子化されたモデル化誤差110を音声生成モデル111に送ることにより形成される。このように図1の符号器、及び図2の復号器は、量子化されたモデル化誤差103が励振110として符号器に運ばれ、そして、符号器で計算された音声生成モデルの各パラメータ値106が、音声生成モデルに従って音声信号を合成するのに使用されるパラメータ値112として復号器に運ばれる符号化システムを形成する。
【0024】
図3は、図2に於ける公知の復号器に本発明に係る方法を適用した形態を示したものである。本発明に係るシステムは、上記公知の音声復号器から分離されてブロック206を形成する。公知の復号化システムと比較した場合の相違は、本発明に係るシステムにおいてパラメータ化が復号化される音声信号に基づいて実行されることにあり、即ち、音声生成モデルに係る各パラメータ値の計算もまた復号される音声信号に基づいて実行され、合成される音声信号、及び復号化された音声信号から計算された各パラメータ値が、音声生成モデルから得られる合成音声信号を整形するために使用されることにある。この復号され音声信号は、音声を合成するために使用され、且つ、それ自体、元の音声信号と同一であるべきであることが知られている音声生成モデルから得られ、整形ブロック202を通じてパラメータ化ブロック205に運ばれる。このパラメータ化は、例えばLPC及びLTPモデル等、音声信号の既知のパラメトリックモデルに基づくことができる。ブロック205の動作は、図1のブロック104の動作と同一である、即ち、両方とも各音声フレームの時間に対し、そこに運ばれた信号のパラメトリック表示を形成する。
【0025】
計算されたパラメータの2つの集合は、比較ブロック204で比較される。そこには、符号器内で計算されて送信チャネルを通して受信された元の各パラメータの集合203と、パラメータ化ブロック205で計算された後、音声生成モデル201によって生成された合成音声信号から計算された各パラメータの集合とが存在する。比較ブロック204で実行される各パラメータの集合の比較結果により整形ブロック202が制御される。その制御は、その目的が、復号器で形成される合成音声信号の各パラメータ値と、符号器から得られる各パラメータ値203とが最大限同じようになることを保証する整形動作であるように行われる。同一性を計算する場合、幾つかの方法を用いることができ、例えばItakura- Saito距離尺度を用いることができる。これにより各パラメータは、演算される距離尺度によって指示される距離が可能な限り小さい場合、互いに接近する。
【0026】
本発明は、整形ブロック202に対して特に条件を設けるものではない。そのブロック内で実行される各動作は、例えば、合成される音声信号のスペクトルの包絡線やその細部構造を整形して、上記距離尺度によって指示される距離をできる限り最小にする濾波作用、又はこれと同等な作用等に適用可能とされる。上記距離尺度の最小化は実験的に実行され、例えば、復号化される1つの音声フレームに対して種々の整形動作が試行され、その試行錯誤により、比較の際にできる限り多く用いられる距離尺度を最小化する整形動作の調査が行われる。
【0027】
図4は、本発明に係るシステムを符号器内で適応させた形態を示している。この符号器は、RELPタイプの符号器とすることができ、図3の復号器と適切に動作ことができる。図4の符号器は、図1の符号器と比べた場合、ブロック310に於いて異なり、その部分が破線で示されている。パラメータ化ブロック304に於いて、適当な音声生成モデルによる各パラメータの集合は、符号化されるべき音声信号300から計算される。この音声信号は、逆モデル化ブロック301に送られ、そこで予測誤差が計算される。即ち、そのモデルに従って合成される音声信号と、符号化されるべき音声信号との間の差分が計算される。この誤差信号はブロック302で量子化され、量子化された誤差信号303は、復号器に向って送信される。音声生成モデルによる各パラメータ値は、ブロック305内で量子化され、その量子化された各パラメータ値はブロック301で利用される。
【0028】
本発明に係る符号化のために音声生成モデルによる各パラメータ値が、合成された音声信号から更に計算される。そのためにブロック310は、音声生成モデル306,パラメータ化ブロック307,比較ブロック308,及び整形ブロック309を備えている。
【0029】
ブロック310の動作は次の通りである。まず、量子化された誤差信号303を音声生成モデル306の実行ブロック(ブロック301の逆動作)に送ることにより、再構成された音声信号が音声生成モデル306内で再び形成される。この再構成に於いては、上記量子化された各パラメータ値311が用いられる。
【0030】
ブロック307に於いて、再構成又は合成された音声信号に基づいてパラメータ化が再び実行される。パラメータ化ブロック307は、ブロック304,205,104と同様の動作を実行する。図3の復号器と同様、図4に於ける符号器では、比較ブロック308に於いて、元の音声信号、即ち符号化されるべき信号から計算された各パラメータ値と、合成された音声信号から計算された各パラメータ値とから比較が行われる。この比較ブロックに於いて、上記計算された各パラメータの2つの集合間の差分を示す測定値が形成され、ブロック301内でコントロール信号が形成される。このコントロール信号は、ブロック309に供給され、形成されたモデル化誤差を整形する。ブロック309は、例えば、濾波等の適当な動作を実行する。比較ブロックから得られるコントロール信号により、逆音声生成モデル化ブロック301からのモデル化誤差に基づいて実行される各動作が形成される。これは、例えば、合成された音声信号から計算される音声生成モデルの各パラメータ(ブロック307によって供給される各パラメータ)が、元の音声信号から計算された各パラメータ(ブロック304によって供給される各パラメータ)に最大限従うように形成される。
【0031】
整形ブロック309は、各濾波動作に加え、送信されるべきサンプルの総量を減らす幾つかの動作を備える。本発明によれば、上記誤差信号はブロック309で整形される。これは、例えば、量子化された誤差信号,及び音声生成モデル306とを用いることにより、音声信号に於けるできる限り多くのパラメトリック表示が合成されて元の音声信号、即ち符号化されるべき信号に対応するように行われる。比較ブロック308に於いて、ブロック304及び307内で形成される各パラメトリック表示間の距離尺度に対して符号器で演算が行われる。そしてその距離尺度は、符号化の際に起きる誤差信号の符号化をコントロールするために用いられる。これは、例えば、できる限り適切に使用される音声生成モデルに従って誤差信号が起こるように、即ち、そのモデルに対応するパラメトリック表示が、符号化される音声信号及び合成された音声信号にできる限り類似するように用いられる。ブロック310の動作は、1つの音声フレームに対して数回実行される。これは、例えば、最良の整形動作が試行錯誤により見いだされるように実行される。これにより見い出された最良の整形動作の結果として得られた各サンプル値は量子化され、これら量子化されたサンプル値(303)は復号器に向けて送信される。
【0032】
本実施例に於いて、音声信号に基づいて実行される符号化が復号器内で最適に制御される。これは、例えば、合成された音声信号と、符号化されるべき音声信号との間から計算された各パラメトリック表示の差分が非常に小さくなるように制御される。これにより、音声生成モデルの各パラメータ値が全て量子化される必要がなく、復号器に送信される必要もない。但し、復号器内で使用される音声生成モデルについては、復号器内で形成される合成音声信号から計算される各パラメータ値が使用され得る。このようなシステムに於いては、量子化された各パラメータ値の集合311が全く復号器に転送されることはない。
【0033】
図5は、本発明に係る符号化システムの他の実施例を示したものである。図5は、分析/合成タイプの音声符号器と組合わせた形態を示している。その符号器はCELPタイプの符号器とすることができる。このタイプの符号化システムに於いてモデル化誤差信号の量子化は、所謂分析/合成方式によって実行される。この方式に於いて符号化は、音声信号を合成するすることにより、量子化されたモデル化誤差の表示を見い出すことを意味する。即ち、音声生成モデルを用いることを意味する。この符号化システムでは、量子化されたモデル化誤差のどの表示も、例えばコードブック内に格納され得る。そして合成濾波動作が符号化の重要な部分となる。
【0034】
このタイプのシステムの動作原理は、モデル化誤差信号の最適な表示のために調査を行うことにあり、例えば、コードブック409内に格納される各々予想される量子化されたモデル化誤差に対応する合成音声信号が、音声生成モデル404内で形成され、これにより、合成された音声信号と、符号化される元の音声信号400との間の差分が減算ブロック403内で形成されるようにすることにある。コントロールブロック408は、各信号間の最小ベクトル401を選択する。これは差分信号を生成したものであり、復号器に転送するためにコードブック内に格納される。符号化のために入力された音声信号400のパラメータ化は、ブロック402で実行される。音声生成モデルに従うこのように形成されたパラメータ集合は、ブロック410で量子化され、量子化された各パラメータ値は、音声生成モデル404で使用される。符号化されるべき信号に最もよく似ており、合成される音声信号を形成してコードブック内に格納されている表示401が選択されて受信機に転送される。
【0035】
本発明に係るシステムが公知の分析/合成符号器内で実際に使用される場合、上記符号器の構成で実施される合成動作は、図5に破線で記したブロック412に示されるように利用され得る。ブロック412において、まず、パラメータ化がブロック407の音声信号を基に実行される。パラメータ化ブロック407の動作は、ブロック402の動作と同じであり、その中で音声生成モデルに従って形成されるパラメータ集合が、パラメータ化ブロック402で符号化されるべき音声信号から形成されたパラメータ集合と比較される。その比較は、比較ブロック405内にて行われ、音声生成モデルの各パラメトリック表示間の距離測定、(例えば Itakura− Saito尺度)を演算することにより実行される。比較ブロック405の動作は、図3のブロック204の動作と同様、図4のブロック308の動作に対応する。
【0036】
図4の符号器のように、図5に示される符号器に於いては、誤差信号の符号化は、合成された音声信号から計算される音声生成モデルの各パラメータが元の音声信号から計算される各パラメータと可能な限り一致するように比較した結果として形成されるコントロール信号によって制御される。分析/合成システムに於いては、誤差信号の量子化が、量子化されたモデル化誤差の量子化された表示に対応する異なる各音声信号を合成することによって実行されるので、その誤差信号であるモデルと元の音声信号との間の差分は符号器内で全く形成されない。そのため、ブロック309により図4の符号器で行われるように、対応する整形動作がモデル化誤差を基に実行されることはない。従って、本発明に係る誤差信号の量子化制御は、符号化されるべき信号のパラメトリック表示と、コードブック内で行われる調査を制御する、コントロールブロック406による合成信号とによって実行される。
【0037】
図4の符号器のように、図5の符号器に於いても、音声信号実行されるべき符号化は、比較ブロック308で形成される差分、即ち、合成され音声信号から算される各パラメトリック表示と、符号化されるべき音声信号との差分が非常に小さくなる程度まで制御され得る。この場合、音声生成モデルの各パラメータ値は、量子化されて復号器に転送される必要が全くないが、その代り、復号器内で形成される合成音声信号から計算される各パラメータ値が復号器内で使用され得る。このようなシステムにおいては、量子化されたパラメータ値411の集合は、復号器に全く転送されない。
【0038】
【発明の効果】
本発明は、特許請求の範囲によって規定される範囲を逸脱しない限り、公知の符号器や復号器への付属物として様々な方法で実現可能である。比較ブロックの制御により実行されるべき各整形動作は、コードブックを制御するためのコントロール方式が使用できる限り、どの様な動作にも適用可能である。
【0039】
本発明により、パラメトリック音声符号化に基づ符号化システムによって生成される音声信号の音質は、まず、本発明に係るシステムを復号化と組み合わせることによる受信機で改良され得る。また、本発明は、送信側に基づいて符号化を実行する場合にも適用可能であり、これにより音声生成モデルの観点から効率的である誤差信号の符号化を達成することができる。
【0040】
データ通信システムに於いて、本発明に係るシステムは、送信側を基に実行される符号化、又は、受信側を基に実行される復号化、あるいは又その両方での何れでも使用可能である。受信端に於いて、パラメトリック音声符号化に基づいた音声符号化システムによって生成される音声信号の音質は、本発明に係るシステムを復号化と組合せることにより向上させ得る。また、送信側に於いて、本発明に係る一形態は、上記符号化を実行する場合にも適用され得る。これにより、パラメトリックモデルの誤差信号の効率的な符号化を実現することができる。一般にデジタルデータ通信システムに於いて、本発明に係るシステムは、送信側を基に実行される符号化、又は、受信側を基に実行される復号化、あるいはその両方での何れにおいても使用可能である。
【0041】
本開示の範囲は、これが特許請求の範囲に規定された発明に関係するか否か、、又は、本発明が対象とする各課題の一部又は全てを解決するか否かに係わりなく、その中に明白に、又は暗黙的に、あるいは概略的開示される新規な各特徴、又はその組合せを包含するものである。尚、出願人は、本出願の継続中、上記特徴に対して更なる請求項を案出したり、本出願から更なる分割出願が行われるかも知れないことを付記しておく。
【図面の簡単な説明】
【図1】従来の音声符号化システムの符号器を示すブロック図である。
【図2】従来の音声符号化システムの復号器を示すブロック図である。
【図3】本発明に係る音声復号化システムの一実施例を示す概略的なブロック図である。
【図4】本発明に係る音声符号化システムの実施例を示すブロック図である。
【図5】本発明に係る分析/合成原理に基づいて動作する音声符号化システムの実施例を示すブロック図である。
【符号の説明】
101…逆音声生成モデル
102…誤差量子化ブロック
103…モデル化誤差
104…パラメータ表示
105…パラメータ量子化ブロック
106…モデルのパラメータ
202…整形ブロック
204…比較ブロック
205…パラメータ表示
403…減算ブロック
406…コントロールブロック
408…コントロールブロック
409…コードブック

Claims (17)

  1. 入力された音声信号に対応する第1の予測パラメータ集合を決定する第1のパラメータ化モジュール(304)と、
    前記音声信号と第1の予測パラメータ集合とに対応するモデル化誤差を決定する分析フィルターモジュール(301)と、
    前記モデル化誤差と第1の予測パラメータ集合とに対応する再構成された音声信号を形成する合成フィルターモジュール(306)と、
    前記再構成された音声信号に対応する第2の予測パラメータ集合を決定する第2のパラメータ化モジュール(307)と、
    前記第1及び第2の予測パラメータ集合間の差分を示す比較信号を形成する比較モジュール(308)と、
    前記第1及び第2の予測パラメータ集合間の差分が減少されるように前記モデル化誤差を整形する整形モジュール(309)と、
    を具備する音声エンコーダ。
  2. 前記第1の予測パラメータ集合及び前記モデル化誤差が量子化される請求項1に記載の音声エンコーダ。
  3. 前記整形モジュール(309)が、各音声信号に対して幾つかの異なる整形動作を実行する請求項1又は2に記載の音声エンコーダ。
  4. 前記比較モジュール(308)が、それ自体既知である距離尺度を用いて比較信号を生成する請求項1乃至3のいずれか1項に記載の音声エンコーダ。
  5. 前記距離尺度が、入力信号の周波数表示間に於ける Itakura- Saito 尺度である請求項4に記載の音声エンコーダ。
  6. 前記整形部分が、量子化ブロック(302)内で前記モデル化誤差の量子化を行う請求項1乃至5のいずれか1項に記載の音声エンコーダ。
  7. 前記整形モジュール(309)が、非線形的な信号処理を実行すると共に、サンプルの総量を低減する処理をも含み得る請求項1乃至6のいずれか1項に記載の音声エンコーダ。
  8. 前記第2のパラメータ化モジュール(307)が、前記第1のパラメータ化モジュール(304)と同じアルゴリズムを利用する請求項1乃至7のいずれか1項に記載の音声エンコーダ。
  9. 復号器に入力される音声信号を示す第1の予測パラメータ集合とモデル化誤差とに対応する再構成された第1の音声を形成する合成フィルターモジュール(201)と、
    前記再構成された音声を示す第2の予測パラメータ集合を形成するパラメータ化モジュール(205)と、
    前記第1の予測パラメータ集合と第2の予測パラメータ集合との間の差分を示す差分信号を形成する比較モジュール(204)と、
    前記第1及び第2の予測パラメータ集合間の差分が減少されるように前記再構成された音声信号を整形する整形モジュール(202)と、
    を具備する音声デコーダ。
  10. 前記整形モジュール(202)が、各音声信号に対していくつかの異なる整形動作を実行して、前記差分信号を最小にする整形動作を決定する請求項9に記載の音声デコーダ。
  11. 音声信号を示す第1の予測パラメータ集合を形成する第1のパラメータ化モジュール(402)と、
    コードブック(409)内に格納されたサンプルから励振を形成する励振発生器と、
    前記励振と第1の予測パラメータ集合とに対応する再構成された音声信号を形成する合成フィルタ(404)と、
    前記再構成された音声信号に対応する第2の予測パラメータ集合を形成する第2のパラメータ化モジュール(407)と、
    前記第1及び第2の予測パラメータ集合間の差分を示す比較信号を形成する比較モジュール(405)と、
    前記励振発生器のためのコントロール信号を形成し、前記第1及び第2の予測パラメータ集合が互いに可能な限り接近するように前記励振形成を制御するコントロールモジュール(406)と、
    を具備する音声エンコーダ。
  12. 前記再構成された音声信号と元の音声信号との間の重み付けされた差分を形成し、前記励振及び前記第1の予測パラメータ集合が最小差分を与えるように最小差分を調査する手段(403,408)を更に具備する請求項11に記載の音声エンコーダ。
  13. 前記第1及び第2の予測パラメータ集合が実質的に等しい時に前記第1の予測パラメータ集合が受信機内に配置されたデコーダに送信されないように構成した請求項1,11,12のいずれか1項に記載の音声エンコーダ。
  14. 前記第2のパラメータ化モジュール(407)が、前記第1のパラメータ化モジュール(402)と同じアルゴリズムを利用する請求項11乃至13の何れか1項に記載の音声エンコーダ。
  15. 音声信号と該音声信号を示す第1の音声パラメータ集合から得られる第1の合成音声信号との間の差分を示す誤差信号から第2の音声信号を合成して第2の合成音声信号を生成する段階と、
    前記第2の合成音声信号を示す第2の音声パラメータ集合を形成する段階と、
    前記音声信号を表す第1音声パラメータ集合と前記第2の音声パラメータ集合と比較して、前記第1及び第2の音声パラメータ集合間の差分を示す差分信号を形成する段階と、
    前記第1及び第2の音声パラメータ集合間の差分が減少されるようにモデル化誤差を整形する段階と、
    を具備する音声符号化方法。
  16. 音声信号を示す第1の音声パラメータ集合をもつ信号から合成音声信号を形成する段階と、
    前記合成音声信号を示す第2の音声パラメータ集合を規定する段階と、
    前記第1の音声パラメータ集合と前記第2の音声パラメータ集合とを比較して、これらの間の差分を示す差分信号を形成する段階と、
    前記第1及び第2の音声パラメータ集合間の差分を低減するために前記合成音声信号を整形する段階と、
    を具備する音声復号化方法。
  17. 複数のコードをもつコードブックから選択可能な符号と、音声信号を表す第1の音声パラメータ集合とを使用して音声信号を合成して合成音声信号を生成する段階と、
    前記合成音声信号を示す第2の音声パラメータ集合を形成する段階と、
    前記第1及び第2の音声パラメータ集合を比較し、これらの間の差分を示す差分信号を形成する段階と、
    前記第1及び第2の音声パラメータ集合間の差分を低減するために前記差分信号に従って前記コードブックから前記符号の選択を制御する段階と、
    を具備する音声符号化方法。
JP02067195A 1994-02-08 1995-02-08 音声エンコーダ及び音声デコーダ、並びに音声符号化方法及び音声復号化方法 Expired - Lifetime JP3602593B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI940577 1994-02-08
FI940577A FI98163C (fi) 1994-02-08 1994-02-08 Koodausjärjestelmä parametriseen puheenkoodaukseen

Publications (2)

Publication Number Publication Date
JPH0850500A JPH0850500A (ja) 1996-02-20
JP3602593B2 true JP3602593B2 (ja) 2004-12-15

Family

ID=8539994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02067195A Expired - Lifetime JP3602593B2 (ja) 1994-02-08 1995-02-08 音声エンコーダ及び音声デコーダ、並びに音声符号化方法及び音声復号化方法

Country Status (6)

Country Link
US (1) US5742733A (ja)
EP (1) EP0666558B1 (ja)
JP (1) JP3602593B2 (ja)
DE (1) DE69524890T2 (ja)
ES (1) ES2171175T3 (ja)
FI (1) FI98163C (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE506341C2 (sv) * 1996-04-10 1997-12-08 Ericsson Telefon Ab L M Metod och anordning för rekonstruktion av en mottagen talsignal
JP3878254B2 (ja) * 1996-06-21 2007-02-07 株式会社リコー 音声圧縮符号化方法および音声圧縮符号化装置
DE19641619C1 (de) * 1996-10-09 1997-06-26 Nokia Mobile Phones Ltd Verfahren zur Synthese eines Rahmens eines Sprachsignals
FI114248B (fi) * 1997-03-14 2004-09-15 Nokia Corp Menetelmä ja laite audiokoodaukseen ja audiodekoodaukseen
FI113903B (fi) 1997-05-07 2004-06-30 Nokia Corp Puheen koodaus
EP0878790A1 (en) * 1997-05-15 1998-11-18 Hewlett-Packard Company Voice coding system and method
FI114422B (fi) 1997-09-04 2004-10-15 Nokia Corp Lähteen puheaktiviteetin tunnistus
FI973873A (fi) 1997-10-02 1999-04-03 Nokia Mobile Phones Ltd Puhekoodaus
FI115108B (fi) 1997-10-06 2005-02-28 Nokia Corp Menetelmä ja järjestely kuulokkeen vuotosiedon parantamiseksi radiolaitteessa
GB2333004B (en) 1997-12-31 2002-03-27 Nokia Mobile Phones Ltd Earpiece acoustics
FI980132A (fi) 1998-01-21 1999-07-22 Nokia Mobile Phones Ltd Adaptoituva jälkisuodatin
JP3553356B2 (ja) * 1998-02-23 2004-08-11 パイオニア株式会社 線形予測パラメータのコードブック設計方法及び線形予測パラメータ符号化装置並びにコードブック設計プログラムが記録された記録媒体
FI113571B (fi) 1998-03-09 2004-05-14 Nokia Corp Puheenkoodaus
GB2336499B (en) 1998-03-18 2002-06-12 Nokia Mobile Phones Ltd Audio diaphragm mounting arrangements in radio telephone handsets
FI105880B (fi) 1998-06-18 2000-10-13 Nokia Mobile Phones Ltd Mikromekaanisen mikrofonin kiinnitys
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
DE19920501A1 (de) * 1999-05-05 2000-11-09 Nokia Mobile Phones Ltd Wiedergabeverfahren für sprachgesteuerte Systeme mit textbasierter Sprachsynthese
EP1692688A1 (en) * 2003-12-01 2006-08-23 Koninklijke Philips Electronics N.V. Audio coding
WO2010003253A1 (en) * 2008-07-10 2010-01-14 Voiceage Corporation Variable bit rate lpc filter quantizing and inverse quantizing device and method
US9055374B2 (en) * 2009-06-24 2015-06-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Method and system for determining an auditory pattern of an audio segment
TWI427531B (zh) * 2010-10-05 2014-02-21 Aten Int Co Ltd 遠端管理系統及其方法
US10431242B1 (en) * 2017-11-02 2019-10-01 Gopro, Inc. Systems and methods for identifying speech based on spectral features
US11087778B2 (en) * 2019-02-15 2021-08-10 Qualcomm Incorporated Speech-to-text conversion based on quality metric

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8400728A (nl) * 1984-03-07 1985-10-01 Philips Nv Digitale spraakcoder met basisband residucodering.
JP2964344B2 (ja) * 1988-06-08 1999-10-18 富士通株式会社 符号化/復号化装置
CA1333425C (en) * 1988-09-21 1994-12-06 Kazunori Ozawa Communication system capable of improving a speech quality by classifying speech signals
FI95085C (fi) * 1992-05-11 1995-12-11 Nokia Mobile Phones Ltd Menetelmä puhesignaalin digitaaliseksi koodaamiseksi sekä puhekooderi menetelmän suorittamiseksi
FI91345C (fi) * 1992-06-24 1994-06-10 Nokia Mobile Phones Ltd Menetelmä kanavanvaihdon tehostamiseksi
US5517511A (en) * 1992-11-30 1996-05-14 Digital Voice Systems, Inc. Digital transmission of acoustic signals over a noisy communication channel

Also Published As

Publication number Publication date
FI98163B (fi) 1997-01-15
DE69524890D1 (de) 2002-02-14
EP0666558A2 (en) 1995-08-09
JPH0850500A (ja) 1996-02-20
FI940577A0 (fi) 1994-02-08
US5742733A (en) 1998-04-21
FI940577A (fi) 1995-08-09
EP0666558A3 (en) 1997-07-30
EP0666558B1 (en) 2002-01-09
ES2171175T3 (es) 2002-09-01
DE69524890T2 (de) 2003-04-10
FI98163C (fi) 1997-04-25

Similar Documents

Publication Publication Date Title
JP3602593B2 (ja) 音声エンコーダ及び音声デコーダ、並びに音声符号化方法及び音声復号化方法
KR100873836B1 (ko) Celp 트랜스코딩
EP1273005B1 (en) Wideband speech codec using different sampling rates
JP2009069856A (ja) 音声コーデックにおける擬似高帯域信号の推定方法
JP6366706B2 (ja) スピーチ関連のスペクトル整形情報を使用したオーディオ信号符号化と復号化の概念
McCree et al. A 1.7 kb/s MELP coder with improved analysis and quantization
JP3531780B2 (ja) 音声符号化方法および復号化方法
JPH0782360B2 (ja) 音声分析合成方法
Tzeng Analysis-by-synthesis linear predictive speech coding at 2.4 kbit/s
JP3583945B2 (ja) 音声符号化方法
WO2000074036A1 (fr) Dispositif de codage/decodage de la voix et codage des parties non vocales, procede de decodage, et support enregistre d'enregistrement de programme
US7472056B2 (en) Transcoder for speech codecs of different CELP type and method therefor
JP3510168B2 (ja) 音声符号化方法及び音声復号化方法
JP2000235400A (ja) 音響信号符号化装置、復号化装置、これらの方法、及びプログラム記録媒体
JPH05165500A (ja) 音声符号化方法
JP3296411B2 (ja) 音声符号化方法および復号化方法
JP2004151424A (ja) トランスコーダ及び符号変換方法
JP2001142499A (ja) 音声符号化装置ならびに音声復号化装置
JP3192051B2 (ja) 音声符号化装置
JPH06130994A (ja) 音声符号化方法
Tseng An analysis-by-synthesis linear predictive model for narrowband speech coding
JP2001265390A (ja) 複数レートで動作する無音声符号化を含む音声符号化・復号装置及び方法
JP3071800B2 (ja) 適応ポストフィルタ
JPH08160996A (ja) 音声符号化装置
JPH034300A (ja) 音声符号化復号化方式

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20040712

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040924

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081001

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

Free format text: JAPANESE INTERMEDIATE CODE: R313115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101001

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111001

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121001

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term