JPH05500573A - 低減されたスペクトルひずみを有するポストフィルタを備えたデジタル音声デコーダ - Google Patents

低減されたスペクトルひずみを有するポストフィルタを備えたデジタル音声デコーダ

Info

Publication number
JPH05500573A
JPH05500573A JP2513073A JP51307390A JPH05500573A JP H05500573 A JPH05500573 A JP H05500573A JP 2513073 A JP2513073 A JP 2513073A JP 51307390 A JP51307390 A JP 51307390A JP H05500573 A JPH05500573 A JP H05500573A
Authority
JP
Japan
Prior art keywords
component
providing
coefficients
parameters
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2513073A
Other languages
English (en)
Other versions
JP3158434B2 (ja
Inventor
ジャーソン・イラ アラン
ジャシウク・マーク アントニ
Original Assignee
モトローラ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モトローラ・インコーポレーテッド filed Critical モトローラ・インコーポレーテッド
Publication of JPH05500573A publication Critical patent/JPH05500573A/ja
Application granted granted Critical
Publication of JP3158434B2 publication Critical patent/JP3158434B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 低減されたスペクトルひずみを有する ポストフィルタを備えたデジタル音声デコーダ技術分野 この発明は一般的には音声コーグに関し、かつより特定的には音声品質を改善す るためにポストフィルタを使用するデジタル音声コーグに関する。
発明の背景 音声コーグおよびデコーダが技術上知られている。いくつかの音声コーグはアナ ログ音声サンプルをデジタル化された表現に変換し、かつその後リニア予測符号 化を用いることによりスペクトル音声情報を表わす。他の音声コーグは通常のリ ニア予測符号化(11near predict ive coding:LP C)技術に対し元の音声信号に関係する励起信号(excitation si gnal)を提供することにより改善を行なう。
米国特許第4,817.157号は改善されたベクトル励起源を有するデジタル 音声コーグおよびデコーダを開示しており、これはコードブック励起ベクトルの コードブックが利用可能な情報に最も適合するコードブック励起信号を選択する ためにアクセスされ、かつオリジナルを忠実に表現するLPGフィルタから合成 された音声信号を与えるために使用される。
いったん合成された音声信号が出力されると、種々のポストエンファシスがしば しば使用されてさらに該信号を調整する。1つのそのようなフィルタは適応スペ クトルポストフィルタであり(これは典型的には合成音声の知覚的な品質を増大 することを意図している)、そして他のものはポストエンファシス・フィルタで ある(これは合成音声結果に対するブライトネス(brightness)に寄 与する)。
適応スペクトルポストフィルタは典型的には次の一般式%式% この場合、0≦η≦νく1であり、かつ1/ (1−A (z) )は関連する LPGフィルタを表わす。
上のポストフィルタ表現における分母項は合成信号スペクトラムにおけるホルマ ントを強調し、一方でスペクトルの谷を減衰する。(2つの極端な場合には、ν =0のセツティングはオールパスフィルタとなり、一方ν=1のセツティングは 関連するLPGフィルタと同じ分母項を生ずる結果となる。)分子項は分母によ って導入される一般的なスペクトル形状を打ち消すよう作用する。従来技術の用 途においては、νはしばしばおよそ0.8にセ・ソトされ、かつηはおよそ0. 5にセットされる。
実際には、分子の多項式は分母のスペクトル形状を追跡する上でほんの部分的に しか成功せず(実際には、フィルタのスペクトル特性は時間とともに傾斜する) 、そしてその食い違いは典型的にはポストフィルタによりろ波された音声のブラ イトネスの時間的に変化する変調として表われる。
従って、音声のブライトネスに対する有害な影響を最小にしながら、同時に合成 音声の知覚的な品質を向上する合成音声のポストフィルタリングの方法の必要性 か存在する。
同様に音声のブライトネスそれ自体もよりよく制御できることが好ましい。
発明の概要 これらの必要性および他のものは実質的にここに開示されたポストフィルタの装 置により満たされる。この発明によれば、あるポストフィルタ(postfil ter)が提供でき、該ポストフィルタは第1および第2の成分または構成要素 (component)によって特徴付けられる。第1の構成要素は1組の係数 を含む。これらの係数は代わりのドメインの組のパラメータに変換され、かつ次 に修正された組のパラメータを与えるために操作される。これらは次に前記第2 の構成要素を特徴付ける1組の係数を提供するために使用される。
1つの実施例においては、前記第1の構成要素を表わすZ変換(フィルタ係数が 自己相関ドメインに変換される。
帯域幅拡張機能を用いるスペクトル平滑技術が次に自己相関シーケンスに適用さ れ、かつ第2の構成要素の多項式の係数がレビンソン(Levinson)の帰 納法を用いて修正された自己相関シーケンスから計算される。上に述べたフィル タ特性において第1の構成要素が次に分母として使用され、かつ第2の構成要素 が分子として使用される。
このプロセスにより、分子の多項式はA(z/ν)多項式のスペクトル的に平滑 化されたものによって置き代えられる。フォーマットの帯域幅拡張は平滑化され たスペクトルのエンベロープを変えない。従って、A (z/ν)多項式のスペ クトル的に平滑化された帯域幅が拡張されたものは実効的に時間的に変化するス ペクトルの傾斜を最小化し、かつ分子が分母の概略的なスペクトル形状を適応的 に追跡しかつそれを打ち消すことができるようにする。
他の実施例においては、付加的なポストエンファシスフィルタが使用されポスト フィルタがかけられた音声のブライトネスにより一層の制御を与えることができ るようにする。このフィルタは次の式で表わされる一層フィルタである。
H(z) −1−uz−1 なお、この場合典型的には、0.2≦U≦0.5である。
図面の簡単な説明 第1図は、本発明に従って構成された無線機のブロック図である。
発明を実施するための最良の形態 1989年3月28日に、イラ ジャーソン(IraGerson)に発行され た、「改良されたベクトル励起源を有するデジタル音声コーダ」と題する、米国 特許第4゜817.157号はデジタル音声コーダおよびデコーダにつきかなり 詳細に述へている。この参照文献に詳細に述べられているように、この発明はモ トローラ社のDSP56000型ファミリ装置のような適切なデジタル信号プロ セッサを使用する音声コーグ(またはデコーダ)において実施できる。
第1図において、本発明を実施する無線機(100)は、音声符号化無線周波( RF)信号(101)を受信するためのアンテナ(102)を含む。RFユニッ ト(103)は受信した信号を処理して音声符号化情報を復元する。この情報は 種々の後続の処理のための制御パラメータを出力するパラメータデコーダ(10 5)に提供される。上に述べた励起源(excitation 5ource) (104)はそれに与えられたパラメータを利用して励起信号を生成する。励起 源(1,04)から得られた励起信号はLPGフィルタ(106)に提供され、 該LPGフィルタ(106)は符号化情報に従って合成された音声信号を生成す る。合成された音声信号は次にピッチポストフィルタ(L 07)によりろ波さ れかつスペクトルポストフィルタ(108)によりろ波されて再構成または再現 された音声の品質を向上させる。もし必要であれば、ポストエンファシスフィル タ(109)を含むことかできさらに音声信号品質を向上させる。(スペクトル ポストフィルタ(108)およびポストエンファシスフィルタ(109)に関す るこれ以上の詳細については後に説明する。)音声信号は次にオーディオ処理ユ ニット(111)において処理されかつオーディオ変換器(112)により可聴 的にされる。励起源(104) 、LPGフィルタ(106)、ピッチポストフ ィルタ(1,07)、適応スペクトルポストフィルタ(108)、そしてポスト エンファシスフィルタ(109)はすべてDSP(113)の適切なプログラミ ングによって提供できる。
この発明によれば、適応スペクトルポストフィルタ(1−08)は第1の構成要 素(LPGフィルタ(106)のフィルタ特性に関係する分母)および第2の構 成要素(前記分母の概略的なスペクトル形状を適応的に追跡しそれによりそれを 打ち消す分子)により特徴付けられる。そのようなフィルタの一般的な形式は、 音響、音声、および信号処理に関する国際会議紀要の1987年4月版の、ペー ジ2185−2188に見られる、chenおよびG e r s hOによる 、「適応ポストフィルタリングを備えた4800bpsの実時間ベクトルAPC 音声コーディング)と題する論文に述べられている。
この発明によれば、前記分子は分母の多項式にスペクトル平滑技術を適用するこ とにより出力される。そのような技術は音響、音声、および信号処理に関するI EEE紀要の1978年12月版に見られる、トークラ、イタクラ、およびハシ モトによる、rPARcOR音声分析−合成におけるスペクトル平滑技術」と題 する論文に述べられている。
1つの実施例においては、分母を表わすZ変換係数は自己相関ドメインに変換さ れる。(そのような変換の例はMa rke 1. J、 D、 Gray、  A、 H,、J r、音声のリニア予測(Springer−Verlag、B erlin、Heidelberg、New York、1976)に見ること ができる。)スペクトル平滑技術の帯域幅拡張機能が次に自己相関シーケンスに 適用され、分子の多項式の係数はレビンソン帰納法によって前記修正された自己 相関シーケンスから計算される。1つの実施例においては、自己相関係数は以下 のファクタによって乗算され結果的に分子係数を提供する。
表1 自己相関の遅れ スペクトル平滑ファクタ01゜oooooo。
1 、 0.9230769 2 0.7252747 、 3 0.48351.64 4 0.2719780 5 0.1279896 6 4.9773753E−02 7,1,5718028E−02 83,9295070E−03 97,4847753E−04 101,0206513E−04 分母および分子は次に適応スペクトルポストフィルタ(108)を特徴付けるた めに使用される。
勿論、LPGフィルタ情報を直接使用しかつ同様のプロセスによってそこから分 子項を出力することも可能であり、これはLPGフィルタ情報が上に述べた分母 項を出力するのに使用されるからである。
この処理により、分子多項式が分母多項式のスペクトル的に平滑化されたものに より提供される。分母多項式のスペクトル的に平滑化された帯域幅拡張板は実効 的に時間的に変化するスペクトルの傾きを最小にしかつ分子が適応的に分母の概 略的なスペクトル形状を追跡してそれを打ち消すことを可能にする。リスニング 試験に基づき、約1200Hzの帯域幅拡張ファクタ(これは分母に対して行な われる平滑の程度を特定する)が使用された。
ポストエンファシスフィルタ(109)はポストフィルタによ、りろ波された音 声のブライトネスに対しより一層の制御を可能にするため提供される。該フィル タは次の形式の一次のフィルタである。
この場合、典型的には、0.2≦U≦0. 5である。
へ 国際調査報告 11″″l161111A−7Ne、pc’r/usi1051特

Claims (10)

    【特許請求の範囲】
  1. 1.第1の構成要素および第2の構成要素によって特徴付けられるフィルタを提 供する方法であって、A)第1の組の係数を有する第1の構成要素を提供する段 階であって、 B)前記第1の組の係数の少なくともいくつかを代わりのドメインの組のパラメ ータに変換する段階、C)前記代わりのドメインの組のパラメータに演算を行な って修正された第1の組の係数を提供する段階、D)前記修正された第1の組の 係数を用いて前記第2の構成要素を提供する段階、 をさらに備えたことを特徴とするもの、を具備する第1の構成要素および第2の 構成要素によって特徴付けられるフィルタを提供する方法。
  2. 2.第1の構成要素および第2の構成要素を有する音声合成ポストフィルタにお ける時間的に変化するスペクトルの傾斜を実質的に最小化する方法であって、A )ろ波されるべき合成された音声に関する情報を提供する段階、 B)少なくとも部分的に、前記情報の関数として前記第1の構成要素を提供する 段階であって、さらに、C)前記情報の少なくとも一部、および前記第1の構成 要素の少なくとも一部、の内の1つを代わりのドメインの組のパラメータに変換 する段階、 D)前記代わりのドメインの組のパラメータに演算を行なって1組の係数を提供 する段階、 E)前記組の係数を用いて前記第2の構成要素を提供する段階、 を備えたことを特徴とするもの、 を具備する第1の構成要素および第2の構成要素を有する音声合成ポストフィル タにおける時間的に変化するスペクトルの傾斜を実質的に最小化する方法。
  3. 3.第1の構成要素および第2の構成要素を有する音声合成ポストフィルタを特 徴付ける方法であって、A)ろ波されるべき合成された音声に関する情報を提供 する段階、 B)少なくとも部分的に、前記情報の関数として前記第1の構成要素を提供する 段階であって、さらに、C)前記情報の少なくとも一部、および前記第1の構成 要素の少なくとも一部、の内の1つを代わりのドメインの組のパラメータに変換 する段階、 D)前記代わりのドメインの組のパラメータに演算を行なって1組の係数を提供 する段階、 E)前記組の係数を用いて前記第2の構成要素を提供する段階、 を備えたことを特徴とするもの、 を具備する第1の構成要素および第2の構成要素を有する音声合成ポストフィル タを特徴付ける方法。
  4. 4.合成された音声信号を生成する方法であって、A)励起信号をLPCフィル タに提供する段階、B)前記LPCフィルタから合成された音声信号を提供する 段階、 C)第1の構成要素および第2の構成要素を必要とする音声合成ポストフィルタ を提供する段階、D)第1の組の係数を含む前記第1の構成要素を提供する段階 であって、さらに、 E)少なくともいくつかの前記第1の組の係数を代わりのドメインの組のパラメ ータに変換する段階、F)前記代わりのドメインの組のパラメータに演算を行な って修正された第1の組の係数を提供する段階、G)前記修正された第1の組の 係数を用いて前記音声合成ポストフィルタにより使用するための前記第2の構成 要素を提供する段階、 H)前記第1の構成要素および前記第2の構成要素を使用して音声合成ポストフ ィルタにおける合成された音声信号をろ波してろ波された合成音声信号を提供す る段階、を備えたことを特徴とするもの、 を具備する合成音声信号を生成する方法。
  5. 5.合成された音声信号を生成する方法であって、A)符号化音声情報を含むR F信号を受信する段階、B)前記符号化音声情報から励起信号を復元する段階、 C)該励起信号をLPCフィルタに提供する段階、D)前記LPCフィルタから 合成された音声信号を提供する段階、 E)第1の構成要素および第2の構成要素を必要とする音声合成ポストフィルタ を提供する段階、F)第1の組の係数を含む前記音声合成ポストフィルタによっ て使用するための第1の構成要素を提供する段階であって、さらに、 G)少なくともいくつかの前記第1の組の係数を代わりのドメインの組のパラメ ータに変換する段階、H)前記代わりのドメインの組のパラメータに働きかけて 修正された第1の組の係数を提供する段階、I)前記修正された第1の組の係数 を用いて前記音声合成ポストフィルタによって使用するために前記第2の構成要 素を提供する段階、 J)前記第1の構成要素および前記第2の構成要素を用いて前記音声合成ポスト フィルタにおいて前記合成された音声信号をろ波しろ波された合成音声信号を提 供する段階、を備えたことを特徴とするもの、 を具備する合成された音声信号を生成する方法。
  6. 6.前記LPCフィルタは少なくとも部分的に次の式、1/{1−A(z)} により規定される、請求の範囲第4項または第5項に記載の方法。
  7. 7.前記音声合成ポストフィルタの第1の構成要素はZ変換表記法により次の式 、 1−A(z/ν) で表わされる、請求の範囲第4項または第5項に記載の方法。
  8. 8.さらに、 1)前記合成された音画信号をZ変換表記法で、H(z)=1−uz−1 ただし、0.2≦u≦0.5、で実質的に規定されるポストエンファシスフィル タによってろ波する段階、を含む、請求の範囲第4項または第5項に記載の方法 。
  9. 9.前記演算を行なう段階は乗算段階を含む請求の範囲第1項、第2項、第3項 、第4項または第5項のいずれか1項に記載の方法。
  10. 10.前記代わりのドメインの組のパラメータは自己相関ドメインのパラメータ である、請求の範囲第1項、第2項、第3項、第4項または第5項のいずれか1 項に記載の方法。
JP51307390A 1989-10-17 1990-09-17 低減されたスペクトルひずみを有するポストフィルタを備えたデジタル音声デコーダ Expired - Lifetime JP3158434B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42292689A 1989-10-17 1989-10-17
US422,926 1989-10-17

Publications (2)

Publication Number Publication Date
JPH05500573A true JPH05500573A (ja) 1993-02-04
JP3158434B2 JP3158434B2 (ja) 2001-04-23

Family

ID=23676980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51307390A Expired - Lifetime JP3158434B2 (ja) 1989-10-17 1990-09-17 低減されたスペクトルひずみを有するポストフィルタを備えたデジタル音声デコーダ

Country Status (8)

Country Link
EP (1) EP0570362B1 (ja)
JP (1) JP3158434B2 (ja)
CN (1) CN1078371C (ja)
AT (1) ATE177867T1 (ja)
AU (1) AU635342B2 (ja)
DE (1) DE69033011T2 (ja)
ES (1) ES2131498T3 (ja)
WO (1) WO1991006093A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822732A (en) * 1995-05-12 1998-10-13 Mitsubishi Denki Kabushiki Kaisha Filter for speech modification or enhancement, and various apparatus, systems and method using same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2729247A1 (fr) * 1995-01-06 1996-07-12 Matra Communication Procede de codage de parole a analyse par synthese
FR2729246A1 (fr) * 1995-01-06 1996-07-12 Matra Communication Procede de codage de parole a analyse par synthese
FR2729244B1 (fr) * 1995-01-06 1997-03-28 Matra Communication Procede de codage de parole a analyse par synthese
DE19643900C1 (de) * 1996-10-30 1998-02-12 Ericsson Telefon Ab L M Nachfiltern von Hörsignalen, speziell von Sprachsignalen
US6137844A (en) * 1998-02-02 2000-10-24 Oki Telecom, Inc. Digital filter for noise and error removal in transmitted analog signals

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6313200A (ja) * 1986-07-03 1988-01-20 Nec Corp 集積回路
JPS6413200A (en) * 1987-04-06 1989-01-18 Boisukurafuto Inc Improvement in method for compression of speech digitally coded

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4301329A (en) * 1978-01-09 1981-11-17 Nippon Electric Co., Ltd. Speech analysis and synthesis apparatus
US4617676A (en) * 1984-09-04 1986-10-14 At&T Bell Laboratories Predictive communication system filtering arrangement
US4852169A (en) * 1986-12-16 1989-07-25 GTE Laboratories, Incorporation Method for enhancing the quality of coded speech
US4817157A (en) * 1988-01-07 1989-03-28 Motorola, Inc. Digital speech coder having improved vector excitation source

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6313200A (ja) * 1986-07-03 1988-01-20 Nec Corp 集積回路
JPS6413200A (en) * 1987-04-06 1989-01-18 Boisukurafuto Inc Improvement in method for compression of speech digitally coded

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822732A (en) * 1995-05-12 1998-10-13 Mitsubishi Denki Kabushiki Kaisha Filter for speech modification or enhancement, and various apparatus, systems and method using same

Also Published As

Publication number Publication date
EP0570362B1 (en) 1999-03-17
ES2131498T3 (es) 1999-08-01
EP0570362A4 (en) 1993-07-01
CN1051101A (zh) 1991-05-01
WO1991006093A1 (en) 1991-05-02
ATE177867T1 (de) 1999-04-15
DE69033011D1 (de) 1999-04-22
JP3158434B2 (ja) 2001-04-23
CN1078371C (zh) 2002-01-23
AU6411490A (en) 1991-05-16
EP0570362A1 (en) 1993-11-24
DE69033011T2 (de) 2001-10-04
AU635342B2 (en) 1993-03-18

Similar Documents

Publication Publication Date Title
JP4550289B2 (ja) Celp符号変換
JP3678519B2 (ja) オーディオ周波数信号の線形予測解析方法およびその応用を含むオーディオ周波数信号のコーディングならびにデコーディングの方法
JP3653826B2 (ja) 音声復号化方法及び装置
JP5467098B2 (ja) オーディオ信号をパラメータ化された表現に変換するための装置および方法、パラメータ化された表現を修正するための装置および方法、オーディオ信号のパラメータ化された表現を合成するための装置および方法
JP4843124B2 (ja) 音声信号を符号化及び復号化するためのコーデック及び方法
JP3189614B2 (ja) 音声帯域拡大装置
JP2008519990A (ja) 信号符号化の方法
JP2008502022A (ja) オーディオ符号化
JPH1055199A (ja) 音声符号化並びに復号化方法及びその装置
US5241650A (en) Digital speech decoder having a postfilter with reduced spectral distortion
JP2588004B2 (ja) 後処理フィルタ
JPH0341500A (ja) 低遅延低ビツトレート音声コーダ
JPH05500573A (ja) 低減されたスペクトルひずみを有するポストフィルタを備えたデジタル音声デコーダ
JP3612260B2 (ja) 音声符号化方法及び装置並びに及び音声復号方法及び装置
JP2000132193A (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
JP4438280B2 (ja) トランスコーダ及び符号変換方法
JP3583945B2 (ja) 音声符号化方法
KR20050007574A (ko) 오디오 코딩
JP4433668B2 (ja) 帯域拡張装置及び方法
JP3481027B2 (ja) 音声符号化装置
JP3510168B2 (ja) 音声符号化方法及び音声復号化方法
Vass et al. Adaptive forward-backward quantizer for low bit rate high-quality speech coding
Koishida et al. A wideband CELP speech coder at 16 kbit/s based on mel-generalized cepstral analysis
JPH0876799A (ja) 広帯域音声信号復元方法
JP3785363B2 (ja) 音声信号符号化装置、音声信号復号装置及び音声信号符号化方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090216

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 10