JP3166797B2 - 音声符号化法及び音声復号化法並びに音声符復号化装置 - Google Patents

音声符号化法及び音声復号化法並びに音声符復号化装置

Info

Publication number
JP3166797B2
JP3166797B2 JP23010492A JP23010492A JP3166797B2 JP 3166797 B2 JP3166797 B2 JP 3166797B2 JP 23010492 A JP23010492 A JP 23010492A JP 23010492 A JP23010492 A JP 23010492A JP 3166797 B2 JP3166797 B2 JP 3166797B2
Authority
JP
Japan
Prior art keywords
subframe
sound
speech
voiced
power value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23010492A
Other languages
English (en)
Other versions
JPH0675599A (ja
Inventor
誠司 佐々木
治 渡辺
裕樹 後藤
正泰 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP23010492A priority Critical patent/JP3166797B2/ja
Publication of JPH0675599A publication Critical patent/JPH0675599A/ja
Application granted granted Critical
Publication of JP3166797B2 publication Critical patent/JP3166797B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、無声音の合成に好適な
音声符号化法及び音声復号化法、並びにその装置に関す
る。
【0002】
【従来の技術】低ビットレート(2.4kbps程度)
の音声符号及び復号化装置(即ち、音声符復号化装置)
では、分析合成方式が使用されるのが一般的である。最
も代表的な分析合成方式としてLPCボコーダ(線形予
測分析による音声符復号化方式)がある。この方式で
は、予測残差信号をパルス列あるいは雑音モデル化して
情報圧縮しており、入力信号が有声区間である場合はパ
ルス列が、また入力音声が無声区間である場合は白色雑
音が用いられる。この従来例での音声符号化装置を図
2、音声復号化装置を図3に示す。以下では音声符号化
速度は2.4kbpsであり、線形予測係数(スペクト
ル包絡情報)としてLSP(線スペクトル対)を使用す
ることを前提に説明する。
【0003】音声符号化装置では、例えば、8kHzで
標本化された入力音声a1はフレーム化器11により、
1フレーム20msecに分割されb1となりその後は
フレーム毎に処理される。b1は線形予測分析器12に
より線形予測分析され、その結果として線形予測係数c
1が得られ、これはLSP係数に変換された後、20ビ
ットでベクトル量子化され図3の復号装置へ転送され
る。線形予測分析フィルタ13は線形予測係数c1を係
数としてb1をフィルタリングし予測残差信号d1を出
力する。有声/無声判定器14では、入力音声が音声で
あるか無声であるか判定し、その結果e1をピッチ周期
抽出器15に送る。ピッチ周期抽出器15では、予測残
差信号d1からピッチ周期f1を計算し出力するが、有
声/無声判定結果e1が無声の場合は、ピッチ周期f1
に零を挿入して出力することにより、有声/無声情報と
する。音源電力計算器16では、予測残差信号d1のフ
レーム毎の電力情報(電力値)を計算し出力する。
【0004】ここで、判定器14でのLPCボコーダの
有声/無声判定法は次の通りである。LPCボコーダで
は、有声/無声の判定は音源(予測残差信号)の周期性
の度合で決まる。周期性の度合は、入力音声信号のピッ
チ周期tpに当たる時間遅れ(t=tp)での予測残差信
号相関tpを、時間遅れなし(t=0)での予測残差信
号相関R0で正規化した値の大小で調べる。即ち、有声
/無声判定法は次の条件式によって行われる。 Rtp/R0≧0.25ならば有声区間 Rtp/R0<0.25ならば無声区間
【0005】図3の音声復号化装置では、音源信号を生
成するため、パルス発生器21により伝送されてきたピ
ッチ周期a2の周期を有するパルス列b2を発生させ、
白色雑音発生器22では、白色雑音c2を発生させる。
パルスゲイン計算器25では伝送されてきた音源電力情
報d2から適切なパルス用ゲインf2(音源電力値を
γ、ピッチ周期をTとすればパルス振幅が(Tγ)1/2
となるように調整する)を計算し、雑音ゲイン計算器2
6では、伝送されてきた音源電力情報d2から適切な雑
音用ゲインg2(伝送された音源電力d2と白色雑音電
力i2が同じになるように調整する)を計算する。制御
回路23は、ピッチ周期a2が零であれば無音フレーム
であるとして、スイッチ24、スイッチ27をそれぞれ
白色雑音発生器22側、雑音ゲイン計算器26側に切り
替え、ピッチ周期a2が零以外であれば有音フレームで
あるとして、スイッチ24、スイッチ27をそれぞれパ
ルス発生器21側、パルスゲイン計算器25側に切り替
える。乗算器29では、選択された音源信号i2と選択
されたゲインh2を乗算し、ゲイン調整された音源信号
j2を出力する。線形合成フィルタ28では、線形予測
係数k2をフィルタ係数としてフィルタリングし再生音
声j3を生成する。
【0006】
【発明が解決しようとする課題】従来方式での1フレー
ム(20ms、48ビット)のビット配分を図4に示
す。同期用ビットを1ビット、ピッチ周期用ビットを7
ビット、音源電力用ビットを6ビット、線形予測係数
(LSP係数)用ビットを20ビット、未使用ビットは
14ビット(未使用ビットは、有声フレームでは何らか
の補助的な情報ビットとして使用されるとする)として
る。
【0007】従来方式での問題点は、1フレーム20m
sに対し、音源電力情報は1つしか伝送しないため、音
声の子音部で発生する急激な振幅変化(20msより小
さな時間幅で発生するもの)を確実に再生することが出
来ない。この例を図5(イ)、(ロ)に示す。(イ)は
入力音声(原音声)であり、“tsu”という発生音の
波形である。ここで、点線の円で囲んだ部分の急激な振
幅変化が、子音である“ts”を表現するための重要な
情報である。しかし、従来方式の再生音声を示す(ロ)
では、それが表現できずフレームで平均化され平坦にな
ってしまうため、再生音声は聴感上で“hu”と聞こえ
てしまう。
【0008】本発明の目的は、入力音声が無声音(子音
部)である場合、再生音声に於ける無音区間の振幅変化
をより忠実に入力音声に近づけることにより、再生音声
の明瞭声を向上させる音声符号化法及び復号化法及び合
成装置を提供することにある。
【0009】
【課題を解決するための手段】本発明は、音声信号から
パラメータとして有声か無声かで識別可能な構成となる
ピッチ周期、音源電力値、線形予測係数を所定のフレー
ム周期で抽出し、この抽出したパラメータを音声信号に
代わって出力する音声符号化法に於て、上記フレーム周
期における音声信号が有声音の場合には、ピッチ周期、
線形予測係数及び音源電力値を上記所定のフレーム周期
で抽出し出力し、上記フレーム周期における音声信号が
無声音の場合には、上記音源電力値の抽出・出力にかえ
て、上記所定フレームをシリアル分割した複数のサブフ
レーム周期毎に、サブフレーム音源電力値を抽出し、出
力する音声符号化法を開示する。
【0010】更に本発明は、音声符号化法で出力された
パラメータを受信し、有声音の場合には、そのパラメー
タを利用して音声信号を復元し、無声音の場合には、そ
の時のピッチ周期及び線形予測係数、並びに各サブフレ
ーム音源電力値を利用して音声信号として復元する音声
復号化法を開示する。
【0011】更に本発明は音声符号化部と音声復号化部
とより成ると共に、音声符号化部は、音声信号をフレー
ム単位に区分するフレーム化器と、この出力から線形予
測係数を算出し、これを出力する線形予測分析器と、こ
の線形予測係数とフレーム化器出力とから予測残差信号
を求める線形予測分フィルタと、この予測残差信号から
有声音か無声音かを判定する判定器と、上記予測残差信
号から判定器の判定出力に従って有声時のピッチ周期を
求め且つ無声時のピッチ周期を零にしこれを出力するピ
ッチ周期抽出器と、判定器が有声音判定時に上記予測残
差信号を取り込み音源電力値を算出し、これを有声音判
定時の音源電力値として出力する音源電力計算器と、判
定器が無声音判定時に上記予測残差信号を取り込みこれ
をサブフレームで区分するサブフレーム化器と、このサ
ブフレーム毎の予測残差信号の音源電力値を算出するサ
ブフレーム電力計算器と、このサブフレーム電力を合成
するサブフレーム電力合成器と、無声音判定時にこのサ
ブフレーム電力合成器を音源電力値として出力する出力
手段と、より成り、音声復号化部は、上記ピッチ周期抽
出器のピッチ周期の内容から有声音か無声音かを識別す
る制御回路と、上記ピッチ周期抽出器のピッチ周期から
有声音でのピッチ周期に同期するパルスを発生するパル
ス発生器と、白色雑音発生器と、有声音時の音源電力値
を取り込みパルスゲインを算出するパルスゲイン計算器
と、このパルスゲインと上記パルス発生器からの出力と
の乗算を行い、無声音時の音源電力値を取り込みサブフ
レーム雑音ゲインを算出するサブフレーム雑音ゲイン計
算器と、このサブフレーム雑音ゲインと上記白色雑音発
生器からの出力との乗算を行う乗算手段と、上記乗算手
段の出力を取り込み線形予測合成して再生音声を得る線
形予測合成フィルタと、より成る、ことを特徴とする音
声符復号化装置を開示する。
【0012】
【作用】本発明によれば、ピッチ周期と音源電力値、線
形予測係数より成るパラメータで音声信号を符号化する
と共に、無声音時には、サブフレーム毎に求めた音源電
力値を出力することにより、無声音の符号化を達成す
る。
【0013】更に、本発明によれば、上記パラメータを
受信して復元するに際して無声音時には、音源である白
色雑音をサブフレーム毎に振幅調整することによって無
音声区間の振幅変化をより忠実に入力信号に近づけるこ
とができる。
【0014】更に本発明は、サブフレーム毎の無声音の
音源電力値をパラメータとして送出する符号化部と、こ
れを受信して復元する復号化部とを備えて無音声区間の
振幅変化をより忠実に入力信号に近づけた合成を可能に
する。
【0015】
【実施例】本発明の音声符号化装置の構成を図1、音声
復号化装置の構成を図6に示す。ここでは、音声符号化
速度は2.4kbpsであり、線形予測係数器(スペク
トル包絡情報)としてLSP(線スペクトル対)を使用
することを前提に説明する。
【0016】図1に於て、図2に比して新しく追加した
部分は、スイッチ35、サブフレーム化器37、サブフ
レーム電力計算器38、サブフレーム電力合成器39、
スイッチ40である。図6に於て、図3に比して新しく
追加した部分は、スイッチ44、47であり、更に、計
算器46がサブフレーム雑音ゲインを計算する点で図2
と異なる。
【0017】音声符号化装置では、例えば、8kHzで
標本化された入力音声a1はフレーム化器11により、
1フレーム20msecに分割されb1となりその後は
フレーム毎に処理される。b1は線形予測分析器12に
より線形予測分析され、その結果として線形予測係数c
1が得られ、これはLSP係数に変換された後、20ビ
ットでベクトル量子化され復号器伝送される。線形予測
分析フィルタ13は線形予測係数c1を係数としてb1
をフィルタリングして予測残差信号d1を出力する。有
声/無声判定器14では、入力音声が有声であるか無声
であるか判定し、その結果e1をピッチ周期抽出器15
に送る。ピッチ周期抽出器15では、予測残差信号d1
からピッチ周期f3を計算し出力するが、有声/無声判
定結果e1が無声の場合は、ピッチ周期f3に零を挿入
し、出力することにより、有声/無声情報とする。有声
フレームの場合は、スイッチ35を制御して音源電力計
算器16により、予測残差信号d1のフレーム毎の電力
情報を計算しスイッチ40を介して出力する。
【0018】無声フレームの場合は、スイッチ35を制
御して予測残差信号d1はサブフレーム化器37に送
り、例えば4個のサブフレーム(5ms)に分割され
る。サブフレーム電力計算器38は、サブフレーム分割
された信号k3について、サブフレーム毎の電力l4を
計算する。サブフレーム電力合成器39は、サブフレー
ム毎に求めた電力をシリアルに並べ1フレーム分として
のパラメータである音源電力情報m3を作り、これをス
イッチ40を介して出力される。スイッチ35、40は
有声/無声情報e1に応じて、音源電力計算器36側
と、サブフレーム化器37・サブフレーム電力計算器3
8・サブフレーム電力合成器39側を切り替える。
【0019】図6の音声復号化装置では、音源信号を生
成するため、パルス発生器21が伝送されてきたピッチ
周期a4の周期を有するパルス列b4を発生させ、白色
雑音発生器22が、白色雑音c4を発生させる。パルス
ゲイン計算器25では伝送されてきた音源電力情報f4
から適切なパルス用ゲインg4(パルス振幅が、音源電
力をγ、ピッチ周期をTとすれば(Tγ)1/2となるよ
うに調整する)を計算し、サブフレーム雑音ゲイン計算
器46では、伝送されてきた音源電力情報f4から各サ
ブフレームの適切な雑音用ゲインh4(音源電力f4と
白色雑音電力e4が同じになるように調整する)を計算
し、サブフレーム毎にそれぞれのゲインを出力する。制
御回路23は、ピッチ周期a4があれば零であれば、無
音フレームであるとして、スイッチ44、スイッチ47
をそれぞれ白色雑音発生器22側、サブフレーム雑音ゲ
イン計算器46側に切り替え、ピッチ周期a4が零でな
ければ有音フレームであるとして、スイッチ44、スイ
ッチ47をそれぞれパルス発生器21側、パルスゲイン
計算器25側に切り替える。乗算器29では、選択され
た音源信号e4と選択されたゲインi4を乗算し、ゲイ
ン調整された音源信号j4を出力する。線形合成フィル
タ28では、線形予測係数k4をフィルタ係数としてj
4をフィルタリングし再生音声j5を生成する。
【0020】本発明での1フレーム(20ms、48ビ
ット)のビット配分を図7(ロ)に示す。図7(イ)に
は図4の従来例を対比のために示した。同期用ビットを
1ビット、ピッチ周期用ビットを7ビット、音源電力用
ビットを16ビット(4ビット/サブフレーム:1サブ
フレーム用いるビット数は、電力の変動範囲が1フレー
ム全体のものより小さくなるので、4ビットで量子化可
能となる)、線形予測係数(LSP係数)用ビットを2
0ビット、未使用ビットは4ビットとしている。
【0021】本発明では、1サブフレーム5ms毎に音
源電力情報を伝送しているため、従来技術と比較し、音
声の子音部で発生する急激な振幅変化(20msより小
さな時間幅で発生するもの)をより確実に対応できる。
この例を図8(イ)、(ロ)、(ハ)に示す。(イ)は
入力音声(原音声)であり、“tsu”という発生音の
波形である。ここで、点線の円で囲んだ部分の急激な振
幅変化が、子音である“ts”を表現するための重要な
情報である。即ち、フレームをサブフレーム1、2、
3、4の区分で考えるとサブフレーム2では、パルス状
の波形が存在するため他のサブフレームより電力が大き
くなる。このパルス状の波形が“ts”を表現する重要
な要素である。前述したように従来方式の再生音声を示
す(ロ)では、それが表現出来ず、平坦になってしまう
ため、再生音声は聴感上で“hu”と聞こえてしまう。
(ハ)は本発明での再生音声波形であり、急激な振幅変
化が表現可能となり、聴感上“tsu”と聞き取れるよ
うになる。即ち、サブフレーム毎に電力を送るため、サ
ブフレーム2での電力を他のサブフレームより大きく表
現可能となり、聴感上“ts”を聞き取れるようにな
る。
【0022】本実施例に用いることにより、単音節明瞭
度(再生音声の客観評価方法の1つである。即ちいろい
ろな音節をランダムに並べ、聞き取り試験を行った正解
率〔%〕であり、殆どの違聴は子音部で生じる)は、従
来方式の場合の50.6〔%〕であるのに対し、55.
6〔%〕と向上し、再生音声の品質向上が確認できた。
【発明の効果】本発明によれば、音源信号に対し、フレ
ームをサブフレームに分解し、サブフレーム毎に振幅ゲ
イン調整することになり、再生音声における無声音区間
の振幅変化をより忠実に入力音声に近づけることがで
き、再生音声の明瞭声を向上できるようになった。
【図面の簡単な説明】
【図1】本発明の音声符号化装置の実施例図である。
【図2】従来の音声符号化装置を示す図である。
【図3】従来の音声復号化装置を示す図である。
【図4】従来のパラメータ送出フォーマットを示す図で
ある。
【図5】従来の音声再生の様子を示す図である。
【図6】本発明の音声復号化装置の実施例図である。
【図7】本発明のパラメータ送出フォーマットを従来例
のパラメータ送出フォーマットと対比して示した図であ
る。
【図8】本発明の音声再生の様子を従来例の音声再生と
対比して示した図である。
【符号の説明】
11 フレーム化器 12 線形予測分析器 13 線形予測分析フィルタ 14 有声/無声判定器 15 ピッチ周期抽出器 16 音源電力計算器 21 パルス発生器 22 白色雑音発生器 23 制御回路 25 パルスゲイン計算器 28 線形予測合成フィルタ 35、40 スイッチ 37 サブフレーム化器 38 サブフレーム電力計算器 39 サブフレーム電力合成器 44、47 スイッチ 46 サブフレーム雑音ゲイン計算器
───────────────────────────────────────────────────── フロントページの続き (72)発明者 後藤 裕樹 東京都港区虎ノ門二丁目3番13号 国際 電気株式会社内 (72)発明者 三宅 正泰 東京都港区虎ノ門二丁目3番13号 国際 電気株式会社内 (56)参考文献 特開 平2−282799(JP,A) 特開 平2−146100(JP,A) 特開 昭57−185499(JP,A) 特開 昭64−61800(JP,A)

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 音声信号からパラメータとして有声か無
    声かで識別可能な構成となるピッチ周期、音源電力値、
    線形予測係数を所定のフレーム周期で抽出し、この抽出
    したパラメータを音声信号に代わって出力する音声符号
    化法に於て、上記フレーム周期における音声信号が有声
    音の場合には、ピッチ周期、線形予測係数及び音源電力
    値を上記所定のフレーム周期で抽出し出力し、上記フレ
    ーム周期における音声信号が無声音の場合には、上記音
    源電力値の抽出・出力にかえて、上記所定フレームをシ
    リアル分割した複数のサブフレーム周期毎に、サブフレ
    ーム音源電力値を抽出し、出力する音声符号化法。
  2. 【請求項2】 請求項1の音声符号化法で出力されたパ
    ラメータを受信し、有声音の場合には、そのパラメータ
    を利用して音声信号を復元し、無声音の場合には、その
    時のピッチ周期及び線形予測係数、並びに各サブフレー
    ム音源電力値を利用して音声信号として復元する音声復
    号化法。
  3. 【請求項3】 音声符号化部と音声復号化部とより成る
    と共に、 音声符号化部は、音声信号をフレーム単位に区分するフ
    レーム化器と、この出力から線形予測係数を算出し、こ
    れを出力する線形予測分析器と、この線形予測係数とフ
    レーム化器出力とから予測残差信号を求める線形予測分
    フィルタと、この予測残差信号から有声音か無声音かを
    判定する判定器と、上記予測残差信号から判定器の判定
    出力に従って有声時のピッチ周期を求め且つ無声時のピ
    ッチ周期を零にしこれを出力するピッチ周期抽出器と、
    判定器が有声音判定時に上記予測残差信号を取り込み音
    源電力値を算出し、これを有声音判定時の音源電力値と
    して出力する音源電力計算器と、判定器が無声音判定時
    に上記予測残差信号を取り込みこれをサブフレームで区
    分するサブフレーム化器と、このサブフレーム毎の予測
    残差信号の音源電力値を算出するサブフレーム電力計算
    器と、このサブフレーム電力を合成するサブフレーム電
    力合成器と、無声音判定時にこのサブフレーム電力合成
    器を音源電力値として出力する出力手段と、より成り、 音声復号化部は、上記ピッチ周期抽出器のピッチ周期の
    内容から有声音か無声音かを識別する制御回路と、上記
    ピッチ周期抽出器のピッチ周期から有声音でのピッチ周
    期に同期するパルスを発生するパルス発生器と、白色雑
    音発生器と、有声音時の音源電力値を取り込みパルスゲ
    インを算出するパルスゲイン計算器と、このパルスゲイ
    ンと上記パルス発生器からの出力との乗算を行い、無声
    音時の音源電力値を取り込みサブフレーム雑音ゲインを
    算出するサブフレーム雑音ゲイン計算器と、このサブフ
    レーム雑音ゲインと上記白色雑音発生器からの出力との
    乗算を行う乗算手段と、上記乗算手段の出力を取り込み
    線形予測合成して再生音声を得る線形予測合成フィルタ
    と、より成る、ことを特徴とする音声符復号化装置。
JP23010492A 1992-08-28 1992-08-28 音声符号化法及び音声復号化法並びに音声符復号化装置 Expired - Fee Related JP3166797B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23010492A JP3166797B2 (ja) 1992-08-28 1992-08-28 音声符号化法及び音声復号化法並びに音声符復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23010492A JP3166797B2 (ja) 1992-08-28 1992-08-28 音声符号化法及び音声復号化法並びに音声符復号化装置

Publications (2)

Publication Number Publication Date
JPH0675599A JPH0675599A (ja) 1994-03-18
JP3166797B2 true JP3166797B2 (ja) 2001-05-14

Family

ID=16902625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23010492A Expired - Fee Related JP3166797B2 (ja) 1992-08-28 1992-08-28 音声符号化法及び音声復号化法並びに音声符復号化装置

Country Status (1)

Country Link
JP (1) JP3166797B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09152894A (ja) * 1995-11-30 1997-06-10 Denso Corp 有音無音判別器

Also Published As

Publication number Publication date
JPH0675599A (ja) 1994-03-18

Similar Documents

Publication Publication Date Title
JP5226777B2 (ja) 音声信号中に埋め込まれた隠れデータの回復
KR100615480B1 (ko) 음성 대역 확장 장치 및 음성 대역 확장 방법
JPS603240A (ja) 音声活動検出方法
JP2009539132A (ja) オーディオ信号の線形予測符号化
KR100275429B1 (ko) 음성 부호화 장치
JP2903533B2 (ja) 音声符号化方式
JPH1097296A (ja) 音声符号化方法および装置、音声復号化方法および装置
JP3092652B2 (ja) 音声再生装置
JPH1198090A (ja) 音声符号化/復号化装置
JP3166797B2 (ja) 音声符号化法及び音声復号化法並びに音声符復号化装置
JP3050978B2 (ja) 音声符号化方法
JP2001051699A (ja) 無音声符号化を含む音声符号化・復号装置、復号化方法及びプログラムを記録した記録媒体
JP4035790B2 (ja) 音声処理装置
JP3166673B2 (ja) ボコーダ符号化復号装置
JP2853170B2 (ja) 音声符号化復号化方式
JP3515216B2 (ja) 音声符号化装置
JP2615862B2 (ja) 音声符号化復号化方法とその装置
JPH10111699A (ja) 音声再生装置
JPH077275B2 (ja) 音声信号符号化方式とその装置
JP3475958B2 (ja) 無音声符号化を含む音声符号化・復号装置、復号化方法及びプログラムを記録した記録媒体
JPH10232698A (ja) 話速変換装置
JPS5853349B2 (ja) 音声分析合成方法
JPH06125273A (ja) 音声信号復号化装置
JPH08160993A (ja) 音声分析合成器
JPH01261700A (ja) 音声符号化方式

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080309

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090309

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees