JP3087796B2 - 音声の予測符号化装置 - Google Patents

音声の予測符号化装置

Info

Publication number
JP3087796B2
JP3087796B2 JP04170895A JP17089592A JP3087796B2 JP 3087796 B2 JP3087796 B2 JP 3087796B2 JP 04170895 A JP04170895 A JP 04170895A JP 17089592 A JP17089592 A JP 17089592A JP 3087796 B2 JP3087796 B2 JP 3087796B2
Authority
JP
Japan
Prior art keywords
gain
excitation source
unit
excitation
codebook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04170895A
Other languages
English (en)
Other versions
JPH0612097A (ja
Inventor
章俊 片岡
健弘 守谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP04170895A priority Critical patent/JP3087796B2/ja
Priority to DE69328450T priority patent/DE69328450T2/de
Priority to EP93401656A priority patent/EP0577488B9/en
Priority to DE69309557T priority patent/DE69309557T2/de
Priority to EP96202584A priority patent/EP0751496B1/en
Publication of JPH0612097A publication Critical patent/JPH0612097A/ja
Priority to US08/658,303 priority patent/US5787391A/en
Application granted granted Critical
Publication of JP3087796B2 publication Critical patent/JP3087796B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、音声の予測符号化装
に関し、特に、2個の励振源からそれぞれ選択した励
振候補により合成フィルタを駆動してより少ない情報量
の音声信号系列ディジタル伝送を実現する音声の予測符
号化装置に関する。
【0002】
【従来の技術】ディジタル移動通信その他の音声情報
量、伝送周波数帯域を圧縮して伝送する技術を採用する
技術分野においては、種々の高能率符号化法が採用され
ている。8kbit/s程度の情報量により符号化する方法と
しては、CELP(符号駆動型線形予測)、VSELP
(ベクトル加算駆動型線形予測)、マルチパルス符号化
その他の方法が知られている。これらの技術は、M.R.Sc
hroeder and B.S.Atal :" Gode-Excited Linear Predic
tion (CELP): High-quality Speech atVery Low Rates
", Proc.ICASSP'85,25.1.1, pp.937-940,1985、或はI.
A.Gersonand M.A.Jasiuk : "VectorSum Excited Linear
Prediction (VSELP) SpeechCoding at 8 kps", proc.
ICASSP'90, S9.3, pp.461-464,1990 、或は小澤一範荒
関 卓 ; "ピッチ情報を用いた9.6-4.8kbit/s マルチパ
ルス音声符号化方式”信学誌(D−II),J72−D−I
I,8, pp.1125-1132,1989 その他の文献に開示されてい
る。
【0003】これらの方式は、図1に示される通り、入
力音声を複数サンプリングしたものをフィルタ係数決定
部10に供給して、ここにおいてフィルタ係数を計算す
る。計算されたフィルタ係数はフィルタ係数量子化部1
1に供給されて、ここにおいて量子化される。量子化さ
れたフィルタ係数を合成フィルタ12に設定する。A
(z)は合成フィルタ12の伝達関数である。ピッチ励
振源13の複数のピッチ周期成分(励振候補)から選択
されたピッチ周期成分と、符号帳励振源14の複数の雑
音波形ベクトル成分(例えば乱数ベクトル成分、励振候
補)から選択された候補とに対してそれぞれ利得部15
および利得部16において適当な利得を加えた後、これ
らを加算器において加算したものを駆動信号として合成
フィルタ12に供給し、音声を合成する。入力音声パワ
ー量子化部19は入力音声のパワーを計算し、これを量
子化して入力音声とピッチ周期成分を正規化する。合成
音声と正規化された入力音声との間の差である歪が最も
小さくなるように歪パワー計算部17において両励振源
中の各励振候補を選択し、かつ利得部15および利得部
16の各利得を設定する。符号出力部18は予測係数、
入力音声パワー、ピッチ周期成分候補と符号帳の候補そ
れぞれに対して選ばれたコード番号および利得を符号と
して出力する。これらの方式は、上述の通り、入力音声
のパワーを量子化して伝送するものである。この量子化
されたパワー情報が伝送路で誤った場合、復号音声の品
質は著しく劣化する。
【0004】一方、パワー情報を使用しない方式とし
て、16kbit/s程度の情報量を使用したLD−CELP
(低遅延符号駆動型線形予測)符号化方式がある(J.Ch
en ; "High Quality 16 kb/s Speech Coding with a On
e-Way Delay Less Than 2 ms "Proc. ICASSP'90,33.s9.
1,1990.参照)。この方法はパワーの後方予測を採用し
ている。図2に示される如く、現在量子化しようとする
フレーム内のパワーを量子化せず、利得予測部23にお
いて過去の残差波形のパワーから線形予測により次のフ
レームのパワー(即ち、利得)を予測している。また、
復号波形をフィルタ係数決定部25において50次の高
次の予測を行い、ピッチの周期性も含めた線形予測を行
う。合成フィルタ24にフィルタ係数をセットし、その
合成フィルタ1/A(z)を使用して符号帳励振源中の
形状ベクトル成分(雑音成分)候補を求め、その符号を
伝送する。この方法は符号器と復号器の双方において過
去に復号化された音声を共通に利用することができるの
で、音声パワーの情報を伝送する必要がない。
【0005】しかし、LD−CELPは現在のフレーム
の予測を過去の復号化された系列のみから行うものであ
るので、予測誤差が従来の前方予測型と比較して大き
い。そのために、8kbit/s程度の情報量による符号化で
は急激に波形歪が増大し、品質が劣化する。従って、8
kbit/s程度の情報量により高品質の音声符号化を実現す
るには、LD−CELPの如くピッチの周期性を線形予
測に含めるのではなく、ピッチ周期成分も復号化された
音声から抽出する必要がある。
【0006】
【発明が解決しようとする課題】この発明は、雑音符号
帳を使用する駆動型線形予測符号化装置において、伝送
路誤りが発生したときに復号音声に聴感上の大きな劣化
を与える音声利得に関する情報を伝送することなく、良
い品質の音声を復号することができる音声の予測符号化
装置を提供するものである。
【0007】
【課題を解決するための手段】入力音声を複数サンプリ
ングしたものに基づいて計算された量子化フィルタ係数
の設定された合成フィルタ37を具備し、複数のピッチ
周期成分を有するピッチ励振源30と複数の雑音波形ベ
クトル成分を有する符号帳励振源31とより成る2個の
励振源からフレーム単位毎に時系列ベクトル成分により
合成フィルタ37を駆動して音声を再生することを利用
して音声を符号化する音声の予測符号化装置において、
2個の励振源30および31のベクトル成分それぞれに
対して利得を同時に乗算する利得部33を具備し、合成
音声と入力音声との間の差である歪を最小にする様に両
励振源中の各励振ベクトル成分を選択すると共に利得部
33の利得を設定する歪パワー計算部38を具備し、符
号帳励振源31の選択された雑音波形ベクトル成分に選
択された利得を乗じた残差波形とそれ以前に蓄積されて
いる残差波形とに基づいて次のフレームの符号帳の雑音
波形ベクトル成分に与える利得を予測する利得予測部3
4を具備し、利得部42はピッチ励振源用利得部421
および符号帳励振源用利得部422をそれぞれ分割し、
ピッチ周期成 分と符号帳の励振ベクトル成分それぞれを
半分ずつピッチ励振源用利得部421および符号帳励振
源用利得部422に与える音声の予測符号化装置を構成
した。そして、入力音声を複数サンプリングしたものに
基づいて計算された量子化フィルタ係数の設定された合
成フィルタ37を具備し、複数のピッチ周期成分を有す
るピッチ励振源30と複数の雑音波形ベクトル成分を有
する符号帳励振源31とより成る2個の励振源からフレ
ーム単位毎に時系列ベクトル成分により合成フィルタ3
7を駆動して音声を再生することを利用して音声を符号
化する音声の予測符号化装置において、2個の励振源3
0および31のベクトル成分それぞれに対して利得を同
時に乗算する利得部33を具備し、合成音声と入力音声
との間の差である歪を最小にする様に両励振源中の各励
振ベクトル成分を選択すると共に利得部33の利得を設
定する歪パワー計算部38を具備し、符号帳励振源31
の選択された雑音波形ベクトル成分に選択された利得を
乗じた残差波形とそれ以前に蓄積されている残差波形と
に基づいて次のフレームの符号帳の雑音波形ベクトル成
分に与える利得を予測する利得予測部34を具備し、利
得部33をピッチ励振源用利得部50と符号帳励振源利
得部51とを縦続接続して構造化した音声の予測符号化
装置を構成した
【0008】
【実施例】この発明の実施例を図3ないし図5を参照し
て説明する。入力音声を複数サンプリングしたものをフ
ィルタ係数決定部35に供給し、ここにおいてフィルタ
係数を計算する。計算されたフィルタ係数は次いでフィ
ルタ係数量子化部36に供給され、フィルタ係数はここ
において量子化されて、その量子化されたフィルタ係数
は合成フィルタ37に設定される。A(z)は合成フィ
ルタ37の伝達関数である。合成フィルタ37の励振源
は2個より成る。その一方はピッチ励振源30の複数の
ピッチ周期成分(励振候補)から選択されたピッチ周期
成分に利得部33において適当な利得を乗じた成分であ
り、他方は符号帳励振源31の複数の雑音波形ベクトル
成分(例えば乱数ベクトル成分、励振候補)から選択さ
れた候補であって予測利得部32において予測利得倍し
た候補に利得部33において適当な利得を乗じた成分で
ある。ここで、利得部33における選択されたピッチ周
期成分および雑音波形ベクトル成分に対する利得の乗算
は符号化効率を上げるために同時に実施される。歪パワ
ー計算部38は合成音声と入力音声との間の差である歪
が最も小さくなる様に両励振源中の各励振候補を選択
し、かつ利得部33の利得を設定する。符号出力部39
はフィルタ係数、ピッチ周期成分候補および符号帳の候
補のそれぞれについて、選択されたコード番号および利
得を符号として出力する。利得予測部34は、符号帳励
振源31の選択された候補を予測利得部32において予
測利得倍したものに利得部33において選択された利得
を乗じた残差波形とそれ以前に蓄積されている残差波形
とに基づいて、次のフレームの符号帳の候補に与える利
得(パワー)を予測する。
【0009】ところで、利得の情報が伝送路において誤
った場合も復号音声はその影響を蒙る。この影響を少な
くするために図3における利得部33を分割する。これ
を図4を参照して説明するに、利得部42はピッチ励振
源用利得部421および符号帳励振源用利得部422を
それぞれ分割し、ピッチ周期成分と符号帳の励振ベクト
ル成分それぞれを半分づつピッチ励振源用利得部421
および符号帳励振源用利得部422に与える。ピッチ励
振源用利得部421および符号帳励振源用利得部422
において適当な利得を加えた後、これらをそれぞれ加算
器51および加算器52において加算した結果を、更に
加算器53において加算したものを駆動信号として合成
フィルタに供給し、音声を合成する。全体として合成音
声と入力音声との間の差である歪が小さくなる様に個々
の利得はピッチ周期成分と励振ベクトル成分を一括して
決定する。この様に利得部を分割することにより、何れ
か一方の利得情報が伝送路において誤っても、他方の利
得情報によってこれを補うことができ、伝送路誤りによ
る影響を少なくすることができる。以下、伝送路誤りに
よる影響を少なくすることについて、これを具体的に説
明する。2個の符号帳を使用して、それぞれから入力音
声に近似するピッチ周期ベクトル、符号帳励振ベクトル
を選択する。最終的には、これら2個のベクトルをそれ
ぞれ加算器51および加算器52において加算して出力
する。各ベクトルとインデックスとは、例えば、表1の
如く対応づけられている。 表 1 インデックス ピッチ周期 符号帳励振 0000 g P0 C0 0001 g P0 C1 0010 g P0 C2 0011 g P0 C3 0100 g P1 g' C0 0101 g P1 g' C1 0110 g P1 g' C2 0111 g P1 g' C3 各ベクトル情報の伝送対象としては、インデックスが対
象となり、ピッチ励振源用利得部421および符号帳励
振源用利得部422からそれぞれ出力され、補助情報と
して最終的に復号器に伝送される。伝送において、以上
のインデックスが双方共に誤ることは希であり、一方の
インデックスが誤ったとしても、他方のインデックスは
大抵正しく伝送される。音声は正しく伝送されたインデ
ックスに対応するベクトルに基づいて再生されるので誤
りの影響は軽減される。
【0010】また、利得の情報が伝送路において誤った
場合の対策として、図3における利得部33を図5に示
される如くに、ピッチ励振源用利得部50と符号帳励振
源用利得部51とを縦続接続して構造化する。ピッチ周
期成分は{gp0〜gpM}の中から選択される。符号帳の
励振ベクトル成分は、例えば、ピッチ周期成分gp0が選
択された場合は、{gc0〜gcN}の中から選択される。
このように構造化しておけば、符号帳の励振ベクトル成
分の利得情報が誤ってもピッチ周期成分の情報はまった
く影響を受けない。逆に、ピッチ周期成分の利得情報が
誤った場合は、符号帳の利得情報も誤るが、符号帳の利
得のコードを適切に並べておくことによりその影響を少
なくすることができる。以下、ピッチ励振源用利得部と
符号帳励振源用利得部とを縦続接続して構造化したこと
による効果を具体的に説明する。インデックスは、先の
表1の如く4ビットより成るものとして説明する。ここ
で、インデックスの上2桁をピッチ周期の利得情報に対
応させることができる。インデックスの下2桁が誤って
も、上2桁に誤がなければピッチ励振の利得情報は変化
しない。また、上2桁が誤る場合においても C0 ≒g' C0 ≒g'' C0 ・・・・・ 、g C1 ≒g' C1 ≒g'' C1 ・・・・・ の如く構成しておくことにより、下2桁が誤まらなけれ
ば符号帳励振利得の影響を軽減することができる。即
ち、上2桁はピッチ励振利得にほぼ対応し、下2桁は符
号帳励振利得にほぼ対応しており、g P0 C0 が誤ってg
P1 g' C0 となるものとすると、g P0 とg P1 は大きく変化
するかも知れないが、g C0 とg' C0 は類似しており、符
号帳励振利得はあまり変化しない。この構成において、
ピッチ励振の利得はスカラー量子化に類似する。しか
し、インデックスを選択する際に、符号帳励振利得と組
み合わせる点が単なるスカラー量子化とは異なる。
【0011】
【発明の効果】以上の通りであって、この発明によれ
ば、利得部はピッチ励振源用利得部および符号帳励振源
用利得部をそれぞれ分割し、ピッチ周期成分と符号帳の
励振ベクトル成分それぞれを半分ずつピッチ励振源用利
得部および符号帳励振源用利得部に与える構成を採用す
ることにより、何れか一方の利得情報が伝送路において
誤っても、他方の利得情報によってこれを補うことがで
き、伝送路誤りによる影響を少なくすることができる
そして、利得部をピッチ励振源用利得部と符号帳励振源
用利得部とを縦続接続して構造化する構成を採用するこ
とにより、符号帳の励振ベクトル成分の利得情報が誤っ
てもピッチ周期成分の情報はまったく影響を受けない。
逆に、ピッチ周期成分の利得情報が誤った場合は、符号
帳の利得情報も誤るが、符号帳の利得のコードを適切に
並べておくことによりその影響を少なくすることができ
【図面の簡単な説明】
【図1】従来の音声予測符号化装置のブロック図。
【図2】従来の音声予測符号化装置であるLD−CEL
Pのブロック図。
【図3】実施例の前提条件を説明するブロック図
【図4】分割した利得部のブロック図。
【図5】構造化した利得部のブロック図。
【符号の説明】
30 ピッチ励振源 31 符号帳励振源 33 利得部 34 利得予測部 37 合成フィルタ 38 歪パワー計算部 42 利得部 421 ピッチ励振源用利得部 422 符号帳励振源用利得部 50 ピッチ励振源用利得部 51 符号帳励振源用利得部
フロントページの続き (56)参考文献 特開 平2−287399(JP,A) 特開 平4−264500(JP,A) 特開 平4−264832(JP,A) A.Kataoka,T.Moriy a,S.Hayashi,”AN 8− kbit/s SPEECH CODE R BASED ON CONJUGA TE STRUCTURE CELP" ICASSP−93,Volume2,p p592−595(1993) (58)調査した分野(Int.Cl.7,DB名) G10L 11/00 - 21/06 H03M 7/30 H04B 14/04 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力音声を複数サンプリングしたものに
    基づいて計算された量子化フィルタ係数の設定された合
    成フィルタを具備し、複数のピッチ周期成分を有するピ
    ッチ励振源と複数の雑音波形ベクトル成分を有する符号
    帳励振源とより成る2個の励振源からフレーム単位毎に
    時系列ベクトル成分により合成フィルタを駆動して音声
    を再生することを利用して音声を符号化する音声の予測
    符号化装置において、 2個の励振源およびのベクトル成分それぞれに対して利
    得を同時に乗算する利得部を具備し、合成音声と入力音
    声との間の差である歪を最小にする様に両励振源中の各
    励振ベクトル成分を選択すると共に利得部の利得を設定
    する歪パワー計算部を具備し、符号帳励振源の選択され
    た雑音波形ベクトル成分に選択された利得を乗じた残差
    波形とそれ以前に蓄積されている残差波形とに基づいて
    次のフレームの符号帳の雑音波形ベクトル成分に与える
    利得を予測する利得予測部を具備し、 利得部はピッチ励振源用利得部および符号帳励振源用利
    得部をそれぞれ分割し、ピッチ周期成分と符号帳の励振
    ベクトル成分それぞれを半分ずつピッチ励振源用利得部
    および符号帳励振源用利得部に与えることを特徴とする
    音声の予測符号化装置
  2. 【請求項2】 入力音声を複数サンプリングしたものに
    基づいて計算された量子化フィルタ係数の設定された合
    成フィルタを具備し、複数のピッチ周期成分を有するピ
    ッチ励振源と複数の雑音波形ベクトル成分を有する符号
    帳励振源とより成る2個の励振源からフレーム単位毎に
    時系列ベクトル成分により合成フィルタを駆動して音声
    を再生することを利用して音声を符号化する音声の予測
    符号化装置において、 2個の励振源およびのベクトル成分それぞれに対して利
    得を同時に乗算する利得部を具備し、合成音声と入力音
    声との間の差である歪を最小にする様に両励振源中の各
    励振ベクトル成分を選択すると共に利得部の利得を設定
    する歪パワー計 算部を具備し、符号帳励振源の選択され
    た雑音波形ベクトル成分に選択された利得を乗じた残差
    波形とそれ以前に蓄積されている残差波形とに基づいて
    次のフレームの符号帳の雑音波形ベクトル成分に与える
    利得を予測する利得予測部を具備し、 利得部をピッチ励振源用利得部と符号帳励振源用利得部
    とを縦続接続して構造化したことを特徴とする音声の予
    測符号化装置
JP04170895A 1992-06-29 1992-06-29 音声の予測符号化装置 Expired - Lifetime JP3087796B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP04170895A JP3087796B2 (ja) 1992-06-29 1992-06-29 音声の予測符号化装置
DE69328450T DE69328450T2 (de) 1992-06-29 1993-06-28 Verfahren und Vorrichtung zur Sprachkodierung
EP93401656A EP0577488B9 (en) 1992-06-29 1993-06-28 Speech coding method and apparatus for the same
DE69309557T DE69309557T2 (de) 1992-06-29 1993-06-28 Verfahren und Vorrichtung zur Sprachkodierung
EP96202584A EP0751496B1 (en) 1992-06-29 1993-06-28 Speech coding method and apparatus for the same
US08/658,303 US5787391A (en) 1992-06-29 1996-06-05 Speech coding by code-edited linear prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04170895A JP3087796B2 (ja) 1992-06-29 1992-06-29 音声の予測符号化装置

Publications (2)

Publication Number Publication Date
JPH0612097A JPH0612097A (ja) 1994-01-21
JP3087796B2 true JP3087796B2 (ja) 2000-09-11

Family

ID=15913315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04170895A Expired - Lifetime JP3087796B2 (ja) 1992-06-29 1992-06-29 音声の予測符号化装置

Country Status (1)

Country Link
JP (1) JP3087796B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1242379C (zh) 1999-08-23 2006-02-15 松下电器产业株式会社 音频编码装置
JP2005202262A (ja) * 2004-01-19 2005-07-28 Matsushita Electric Ind Co Ltd 音声信号符号化方法、音声信号復号化方法、送信機、受信機、及びワイヤレスマイクシステム
CN113096649B (zh) * 2021-03-31 2023-12-22 平安科技(深圳)有限公司 语音预测方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A.Kataoka,T.Moriya,S.Hayashi,"AN 8−kbit/s SPEECH CODER BASED ON CONJUGATE STRUCTURE CELP"ICASSP−93,Volume2,pp592−595(1993)

Also Published As

Publication number Publication date
JPH0612097A (ja) 1994-01-21

Similar Documents

Publication Publication Date Title
US5729655A (en) Method and apparatus for speech compression using multi-mode code excited linear predictive coding
US6594626B2 (en) Voice encoding and voice decoding using an adaptive codebook and an algebraic codebook
US7792679B2 (en) Optimized multiple coding method
CA2430111C (en) Speech parameter coding and decoding methods, coder and decoder, and programs, and speech coding and decoding methods, coder and decoder, and programs
EP0815554A1 (en) Analysis-by-synthesis linear predictive speech coder
JP3541680B2 (ja) 音声音楽信号の符号化装置および復号装置
CA2231925C (en) Speech coding method
JP3396480B2 (ja) 多重モード音声コーダのためのエラー保護
US6768978B2 (en) Speech coding/decoding method and apparatus
US6330531B1 (en) Comb codebook structure
JP3087796B2 (ja) 音声の予測符号化装置
JPH04344699A (ja) 音声符号化・復号化方法
JP3285185B2 (ja) 音響信号符号化方法
JP2538450B2 (ja) 音声の励振信号符号化・復号化方法
JP3582693B2 (ja) 音声符号化方法
JP2968109B2 (ja) コード励振線形予測符号化器及び復号化器
JP3299099B2 (ja) 音声符号化装置
JP2736157B2 (ja) 符号化装置
JPH11259098A (ja) 音声符号化/復号化方法
JP3292227B2 (ja) 符号励振線形予測音声符号化方法及びその復号化方法
JPH0519796A (ja) 音声の励振信号符号化・復号化方法
JPH028900A (ja) 音声符号化復号化方法並びに音声符号化装置及び音声復合化装置
JP3166697B2 (ja) 音声符号化・復号装置及びシステム
JP3874851B2 (ja) 音声符号化装置
JP3099836B2 (ja) 音声の励振周期符号化方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070714

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080714

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080714

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 12

EXPY Cancellation because of completion of term