JP3083830B2 - 音声の発声時間長制御方法および装置 - Google Patents

音声の発声時間長制御方法および装置

Info

Publication number
JP3083830B2
JP3083830B2 JP02056583A JP5658390A JP3083830B2 JP 3083830 B2 JP3083830 B2 JP 3083830B2 JP 02056583 A JP02056583 A JP 02056583A JP 5658390 A JP5658390 A JP 5658390A JP 3083830 B2 JP3083830 B2 JP 3083830B2
Authority
JP
Japan
Prior art keywords
waveform
time length
phase component
pitch
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP02056583A
Other languages
English (en)
Other versions
JPH03259200A (ja
Inventor
信正 清山
哲夫 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP02056583A priority Critical patent/JP3083830B2/ja
Publication of JPH03259200A publication Critical patent/JPH03259200A/ja
Application granted granted Critical
Publication of JP3083830B2 publication Critical patent/JP3083830B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、放送や音声による自動翻訳などの音声処理
において、音声の発声時間長を変化させたり、予め記憶
された音声を合成して出力するときに音声の発声時間長
を制御する音声の発声時間長制御方法および装置に関す
る。
[発明の概要] 本発明は、人の音声を一時記憶し、その発声時間長を
変化させて、再び音声として出力する技術に関するもの
で、 入力音声をA/D変換した後、有声音部分について、複
素ケプトスラムによってピッチ周波数を抽出し、波形を
周期成分を表す周期成分パルス波形と、声道のインパル
ス応答と声帯波の1周期分の波形のたたみ込まれた単位
応答波形に分割し、周期成分パルス波形の各パルスは零
位相化によって、パルスのエネルギーを集中させ、これ
らを定められた伸縮比率に基づきピッチ単位で間引きま
たは繰り返しを行うことにより接続し、さらに各ピッチ
に対して対応する単位応答をたたみ込んで時間領域波形
に戻した後、これをD/A変換することにより、 原音声の音韻性や自然性を良好に保ったまま、発声時
間長を自由に変換できるようにする方法である。
[従来の技術] この種の技術としては、テープレコーダやディジタル
技術を用いた音声のメモリ装置を用いる方法が開発され
ている。
すなわち、一定のスピード、あるいは、一定のサンプ
リング周波数で書き込まれた音声波形を再生する際に、
スピードを変えて読み出すことによって、発声時間長を
変えて再生することができる。
このような装置は「ハーモナイザー」などと呼ばれ、
音響効果装置として一般に使用されている。
[発明が解決しようとする課題] しかし、いずれの従来の例の場合でも発声時間長を変
えると、ピッチ周波数やホルマント周波数等の個人性や
音声の自然性にとって重要な、ピッチ以外の周波数も変
化してしまうことが避けられない。
このために、音声の個人性や音韻性や劣化したり、非
人間的な声になってしまうという問題点があった。
そこで、本発明の目的は、上述した問題点を解消し、
原音声の発声時間長を変化させても、ピッチ周波数やホ
ルマント周波数等のピッチ周波数以外の周波数を不変と
することによって個人性や音韻性を保ち、間引きや繰り
返しの単位をピッチ単位とすることで波形の連続性を保
ち、人間の音声としての自然性を損なわずに、音声の発
声時間長を制御することが可能な音声の発声時間長制御
方法および装置を提供することにある。
[課題を解決するための手段] 上記の目的を達成するために、本発明に係る音声の発
声時間長制御方法は、原音声の周波数スペクトル包絡を
変化させることなく、ピッチ周期波形を間引いて若しく
は繰り返して発声時間長を制御する音声の発声時間長制
御方法であって、前記原音声の入力音声波形から有声音
区間を抽出し、該抽出された有声音区間において複素ケ
プストラム分析を行うことによって、周期成分パルス波
形と単位応答波形とに分離し、該周期成分パルス波形の
中から原波形を参照して定めた点を原点として1個のパ
ルスをもつフレームを切り出し、当該フレームについて
FFT分析を行って位相成分を算出し、該算出された位相
成分を、前記周期成分パルス波形から周波数毎に取り除
く零位相化を施し、かつ、当該位相成分を前記単位応答
波形に周波数毎に付加して逆補償を行い、前記位相成分
が取り除かれた周期成分パルス波形に相隣るピークを原
点として、前記位相成分の取り除きと、当該位相成分の
前記単位応答波形への付加との操作を、前記有音声区間
全体に渡って次々に行うことにより、ピッチ周期が決定
された周期成分パルス波形、および、対応する単位応答
波形をそれぞれ算出し、該各周期成分パルス波形を、所
定の伸縮比率に基づいてピッチ単位で適宜間引き若しく
は繰り返しの操作を行うことによって、前記原音声の発
声時間長に変更を加え、新たなピッチ周期列からなる周
期成分パルス波形を作成し、発声時間長が変更された該
周期成分パルス波形と、位相成分が付加された該単位応
答波形とのたたみ込み演算を行うことによって、1ピッ
チ毎の新たな音声波形を作成し、該音声波形を重ね合わ
せることによって、前記原音声の入力音声波形に対して
発声時間長が異なる新たな音声波形を作成する。
また、本発明に係る音声の発声時間長制御装置は、原
音声の周波数スペクトル包絡を変化させることなく、ピ
ッチ周期を伸縮して発声時間長を制御する音声の発音時
間長制御装置であって、前記原音声の入力音声波形から
有声音区間を抽出する抽出手段と、該抽出された有声音
区間について複素ケプストラム分析を行うことによっ
て、周期成分パルス波形と単位応答波形とに分離する分
離手段と、該周期成分パルス波形の中から原波形を参照
して定めた点を原点として1個のパルスをもつフレーム
を切り出し、当該フレームについてFFT分析を行って位
相成分を算出する位相成分算出手段と、該算出された位
相成分を、前記周期成分パルス波形から周波数毎に取り
除き零位相化を施す位相成分除去手段と、該取り除かれ
た位相成分を、前記単位応答波形に周波数毎に付加して
逆補償を行う位相成分付加手段と、前記位相成分が取り
除かれた周期成分パルス波形に相隣るピークを原点とし
て、前記位相成分の取り除きと、当該位相成分の前記単
位応答波形への付加との操作を、前記有声音区間全体に
渡って次々に行うことにより、ピッチ周期が決定された
周期成分パルス波形、および、対応する単位応答波形を
それぞれ算出する波形算出手段と、該各周期成分パルス
波形を、所定の伸縮比率に基づいてピッチ単位で適宜間
引き若しくは繰り返しの操作を行うことによって、前記
原音声の発声時間長に変更を加え、新たなピッチ周期列
からなる周期成分パルス波形を作成する発声時間長変更
手段と、該発声時間長が変更された周期成分パルス波形
と、前記位相成分が付加された単位応答波形とのたたみ
込み演算を行うことによって、1ピッチ毎の新たな音声
波形を作成するたたみ込み演算手段と、該新たな音声波
形を重ね合わせることによって、前記原音声の入力音声
波形に対して発声時間長が異なる新たな音声波形を作成
する波形重ね合わせ手段とを具えたものである。
[作 用] 以上の構成によれば、周波数スペクトル包絡を現音声
のものに保ったまま、換言すれば、原音声のホルマント
を変化せずに、発声時間長を変更することができる。
[実施例] 以下、図面示す実施例に基づき本発明を詳細に説明す
る。
第1図は、本発明の一実施例に係る発声時間長制御シ
ステムのブロック図を示す。本図において、2は分析
部、4は制御部、6は波形接続部をそれぞれ示し、各部
は電子計算機内に構成され、ROM,RAMあるいはデイスク
メモリ等のメモリを併用しながら発声時間長制御の処理
を実行する。
本実施例において、A/D変換されて標本化された音声
波形は分析部2へ入力され、有音と無音および有声音と
無声音の判別がなされ、さらに、有声音についてはピッ
チ区間が定められる。
次に、制御部4においては、分析部2で得られた各ピ
ッチ区間について所望の変更を加え、各ピッチの波形を
適宜間引くかまたは繰り返すことにより、新たなピッチ
周期列を計算する。これにより、発声時間長が制御され
る。
波形接続部6では、制御部で得られた波形をピッチ周
期列に応じて重ね合わせることによって接続を行う。
上述した一連の有声音に対する発声時間長変更の処理
を終了すると、無声音区間および無音区間を接続し、次
の有声音区間の処理に移る。そして、最終的に合成され
た音声波形をD/A変換して出力音声とする。
上記各部における処理の詳細を、第2図に示すフロー
チャートを参照しながら、説明する。
変換ビット数12ビット,標本化周波数15kHzでA/D変換
された音声は、まず、分析部2におけるステップS1で音
声パワーの有無に基づいて有音区間と無音区間の判別が
行われる。
次のステップS2では、有音区間の標本値に対してPARC
OR分析と零交差分析とを行い、無声子音区間と有声音区
間との判別を行う。
上記ステップS1およびS2で判別された無音区間の時間
および無声子音区間の波形は、それぞれステップS15お
よびS16においてそのままRAMあるいはメモリディスク等
に記憶される。
次に、ステップS3では、有声音区間における音声波形
の標本値に対して、最大値をとる位置をパルスの初期位
置とする。
次に、ステップS4では、その波形を含むように適当な
位置および長さの分析窓で波形を切り出し、複素ケプス
トラム分析を行う。第3図に示すように、この分析窓は
ハミング窓を採用し、分析窓の長さは波形2周期分程度
で、分析窓の位置は波形1周期目の最大値が窓の先頭か
ら大体1/4になるようにする。
ステップS5では、ステップS4で得られた複素ケプスト
ラムから第4図に示すように、仮のピッチ周期Pを求め
る。
次に、ステップS6においては、第4図に示すように、
ステップS5で得られたピッチ周期Pに基づいて、この整
数倍を通過させるリフタと、その逆のリフタを構成し、
ステップS4で得られた複素ケプストラムを分離し、それ
ぞれの時間領域波形を求めることによって、周期成分パ
ルス波形と単位応答波形を得る。
ステップS7では、第5図に示すように、ステップS6で
分離された周波数成分パルス波形のフレーム内におい
て、時間波形の原点Oに対応する点O′を中心として、
ステップS5で得られたピッチ周期の長さのハミング窓で
最初のパルスを切り出す。この切り出しパルス波形を含
むフレームについてFFT分析を行って位相成分を算出
し、この位相成分を周期成分パルス波形のフレーム全体
から周波数毎に取り除く零位相比を施し、同位相成分を
単位応答波形に周波数毎に付加し、逆補償を行う。逆補
償された単位応答波形は、ステップS17において、RAMあ
るいはメモリディスク等に記憶する。
次に、ステップS8では第5図に示すように、ステップ
S7で得られた零位相比された周期成分パルス波形のパル
ス間隔O′N′からピッチ周期P′を決定する。
次に、ステップS9では、ステップS8で得られたピッチ
周期P′,ステップS7で得られた零位相化された周期成
分パルスを、逆補償された単位応答波形と共に、RAMあ
るいはメモリディスク等に記憶する。
上記ステップS4〜S9の1ピッチ区間についての処理を
終了すると、ステップS7で得られた零位相化された周期
成分パルスに相隣るピークを原点として、処理区間を1
ピッチ分だけずらし、次のピッチ区間の処理を行い、こ
れらの操作を有音区間が終わるまで繰り返す。
制御部(第1図参照)4では、まずステップS10にお
いて、分析部2で得られた一連のピッチ区間の各々を伸
縮比率に基づき適宜間引くか繰り返すことによって、発
声時間長に所望の変更を加え、新たなピッチ周期列から
なる周期成分パルス波形を作成する。
次に、ステップS11において、新たなピッチ周期列を
算出する。
すなわち、原音声の発声時間長をT,伸縮比率をrとお
き、第6図に示すように、rの値に応じてピッチパルス
区間の間引きあるいは繰り返しを行い、接続する。より
具体的に説明すると、r>1ならば1/(r−1)ピッチ
につき1ピッチの割合で同じ波形を繰り返し、r<1な
らば1/(1−r)ピッチにつき1ピッチの割合で間引
く。これにより、音声の発声時間はT′=rTとなる。
次に、ステップS12において、第6図に示すように、
前記各々のピッチパルス区間の波形と、各対応する単位
応答波形をたたみ込み演算を施すことによって、1ピッ
チ毎の波形を算出する。
波形接続部6(第1図参照)では、ステップS13にお
いて、制御部4で得られた1ピッチ毎の波形をステップ
S11で得られたピッチ周期列に対応させて重ね合わせる
ことによって接続する。
ひとつの有声音区間の処理が終了したならば、ステッ
プS14で前後の無声音区間または、無音区間と接続し、
ステップS2以降で次の有声音区間の処理に移る。そし
て、最終的に合成された音声をD/A変換して、出力音声
とする。
[発明の効果] 以上説明したように本発明によれば、音声の周波数ス
ペクトル包絡を原音声のものに保ったまま、言いかえれ
ば、原音声のホルマント周波数を変化させずに音声発声
時間長を制御することができる。
従って、ホルマント構造に依存する音韻性や個人性に
影響を与えることなく、自然性の高い状態で音声の発声
時間長を変化させることが可能となる。
また、音声の間引きや繰り返しの単位をピッチ単位と
することで、波形の連続性を保つことができる。
【図面の簡単な説明】
第1図は本発明の一実施例に係わるシステムのブロック
図、 第2図は本発明の一実施例を示すフローチャート、 第3図は本実施例における複素ケプストラム分析を行う
際の分析窓のかけかたを説明するための波形図、 第4図は本実施例における周期成分パルス波形と単位応
答波形の分離を説明するための図、 第5図は本実施例における零位相化および逆補償を説明
するための図、 第6図は本実施例においてピッチ区間の間引きあるいは
繰り返しおよび波形の重ね合わせによる発声時間長の変
更を説明するための波形図である。 2……分析部、 4……制御部、 6……波形接続部。
フロントページの続き (56)参考文献 特開 平1−93795(JP,A) 特開 昭61−256398(JP,A) 特開 昭58−114306(JP,A) 特開 昭57−204095(JP,A) 特開 昭61−278000(JP,A) 特開 平3−259196(JP,A) 電子情報通信学会技術研究報告[音声 ]Vol.88,No.213,SP88−48, 「FFTスペクトルからの Signa l Reconstruction に よる音声変換手法」p.25−32(1988年 9月29日発行) 電子情報通信学会論文誌 Vol.J 72−D−▲II▼ No.8,Augu st 1989,「FFTスペクトルからの 信号再生法による音声変換手法」,p. 1180−1186,(平成元年12月25日発行) Proceedings of 1989 IEEE Internationa l Conference on Ac oustics,Speech and Signal Processin g,Vol.1,”S11.9 A Ne w Speech Modificat ion Method by Sign al Reconstruction" p.592−595 日本音響学会平成元年度秋季研究発表 会講演論文集▲I▼ 2−3−14「複素 ケプストラムによる周期成分波形を零位 相化することによる基本周波数抽出方 法」p.251−252(平成元年10月4日発 行) 電子情報通信学会論文誌 Vol.J 73−A No.3,March 1990, [ピッチ変更時のひずみをスペクトル領 域で修正する声質変換方式とその品質の 心理評価」,p.387−396,(平成2年 10月25日発行) エレクトロニクスライフ,通巻698号, October 1990,「高品質に声の 高さを変える」,p.146−148 (58)調査した分野(Int.Cl.7,DB名) G01L 21/04 G01L 11/00 G01L 101:04 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】原音声の周波数スペクトル包絡を変化させ
    ることなく、ピッチ周期波形を間引いて若しくは繰り返
    して発声時間長を制御する音声の発声時間長制御方法で
    あって、 前記原音声の入力音声波形から有声音区間を抽出し、 該抽出された有声音区間において複素ケプストラム分析
    を行うことによって、周期成分パルス波形と単位応答波
    形とに分離し、 該周期成分パルス波形の中から原波形を参照して定めた
    点を原点として1個のパルスをもつフレームを切り出
    し、当該フレームについてFFT分析を行って位相成分を
    算出し、 該算出された位相成分を、前記周期成分パルス波形から
    周波数毎に取り除く零位相化を施し、かつ、当該位相成
    分を前記単位応答波形に周波数毎に付加して逆補償を行
    い、 前記位相成分が取り除かれた周期成分パルス波形に相隣
    るピークを原点として、前記位相成分の取り除きと、当
    該位相成分の前記単位応答波形への付加との操作を、前
    記有音声区間全体に渡って次々に行うことにより、ピッ
    チ周期が決定された周期成分パルス波形、および、対応
    する単位応答波形をそれぞれ算出し、 該各周期成分パルス波形を、所定の伸縮比率に基づいて
    ピッチ単位で適宜間引き若しくは繰り返しの操作を行う
    ことによって、前記原音声の発声時間長に変更を加え、
    新たなピッチ周期列からなる周期成分パルス波形を作成
    し、 発声時間長が変更された該周期成分パルス波形と、位相
    成分が付加された該単位応答波形とのたたみ込み演算を
    行うことによって、1ピッチ毎の新たな音声波形を作成
    し、 該音声波形を重ね合わせることによって、前記原音声の
    入力音声波形に対して発声時間長が異なる新たな音声波
    形を作成する ことを特徴とする音声の発声時間長制御方法。
  2. 【請求項2】原音声の周波数スペクトル包絡を変化させ
    ることなく、ピッチ周期を伸縮して発声時間長を制御す
    る音声の発音時間長制御装置であって、 前記原音声の入力音声波形から有声音区間を抽出する抽
    出手段と、 該抽出された有声音区間について複素ケプストラム分析
    を行うことによって、周期成分パルス波形と単位応答波
    形とに分離する分離手段と、 該周期成分パルス波形の中から原波形を参照して定めた
    点を原点として1個のパルスをもつフレームを切り出
    し、当該フレームについてFFT分析を行って位相成分を
    算出する位相成分算出手段と、 該算出された位相成分を、前記周期成分パルス波形から
    周波数毎に取り除き零位相化を施す位相成分除去手段
    と、 該取り除かれた位相成分を、前記単位応答波形に周波数
    毎に付加して逆補償を行う位相成分付加手段と、 前記位相成分が取り除かれた周期成分パルス波形に相隣
    るピークを原点として、前記位相成分の取り除きと、当
    該位相成分の前記単位応答波形への付加との操作を、前
    記有声音区間全体に渡って次々に行うことにより、ピッ
    チ周期が決定された周期成分パルス波形、および、対応
    する単位応答波形をそれぞれ算出する波形算出手段と、 該各周期成分パルス波形を、所定の伸縮比率に基づいて
    ピッチ単位で適宜間引き若しくは繰り返しの操作を行う
    ことによって、前記原音声の発声時間長に変更を加え、
    新たなピッチ周期列からなる周期成分パルス波形を作成
    する発声時間長変更手段と、 該発声時間長が変更された周期成分パルス波形と、前記
    位相成分が付加された単位応答波形とのたたみ込み演算
    を行うことによって、1ピッチ毎の新たな音声波形を作
    成するたたみ込み演算手段と、 該新たな音声波形を重ね合わせることによって、前記原
    音声の入力音声波形に対して発声時間長が異なる新たな
    音声波形を作成する波形重ね合わせ手段と を具えたことを特徴とする音声の発声時間長制御装置。
JP02056583A 1990-03-09 1990-03-09 音声の発声時間長制御方法および装置 Expired - Lifetime JP3083830B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02056583A JP3083830B2 (ja) 1990-03-09 1990-03-09 音声の発声時間長制御方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02056583A JP3083830B2 (ja) 1990-03-09 1990-03-09 音声の発声時間長制御方法および装置

Publications (2)

Publication Number Publication Date
JPH03259200A JPH03259200A (ja) 1991-11-19
JP3083830B2 true JP3083830B2 (ja) 2000-09-04

Family

ID=13031194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02056583A Expired - Lifetime JP3083830B2 (ja) 1990-03-09 1990-03-09 音声の発声時間長制御方法および装置

Country Status (1)

Country Link
JP (1) JP3083830B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2821276B2 (ja) * 1991-02-28 1998-11-05 日本電気株式会社 音声合成装置
JP2007094004A (ja) * 2005-09-29 2007-04-12 Kowa Co 音声信号の時間軸圧伸方法および音声信号の時間軸圧伸装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Proceedings of 1989 IEEE International Conference on Acoustics,Speech and Signal Processing,Vol.1,"S11.9 A New Speech Modification Method by Signal Reconstruction"p.592−595
エレクトロニクスライフ,通巻698号,October 1990,「高品質に声の高さを変える」,p.146−148
日本音響学会平成元年度秋季研究発表会講演論文集▲I▼ 2−3−14「複素ケプストラムによる周期成分波形を零位相化することによる基本周波数抽出方法」p.251−252(平成元年10月4日発行)
電子情報通信学会技術研究報告[音声]Vol.88,No.213,SP88−48,「FFTスペクトルからの Signal Reconstruction による音声変換手法」p.25−32(1988年9月29日発行)
電子情報通信学会論文誌 Vol.J72−D−▲II▼ No.8,August 1989,「FFTスペクトルからの信号再生法による音声変換手法」,p.1180−1186,(平成元年12月25日発行)
電子情報通信学会論文誌 Vol.J73−A No.3,March 1990,[ピッチ変更時のひずみをスペクトル領域で修正する声質変換方式とその品質の心理評価」,p.387−396,(平成2年10月25日発行)

Also Published As

Publication number Publication date
JPH03259200A (ja) 1991-11-19

Similar Documents

Publication Publication Date Title
JP3294604B2 (ja) 波形の加算重畳による音声合成のための処理装置
EP0380572A1 (en) SPEECH SYNTHESIS FROM SEGMENTS OF DIGITAL COARTICULATED VOICE SIGNALS.
Stylianou Concatenative speech synthesis using a harmonic plus noise model
JP2612868B2 (ja) 音声の発声速度変換方法
JP3439307B2 (ja) 発声速度変換装置
JP3083830B2 (ja) 音声の発声時間長制御方法および装置
JP3841596B2 (ja) 音素データの生成方法及び音声合成装置
US7822599B2 (en) Method for synthesizing speech
JP2612867B2 (ja) 音声ピッチ変換方法
JP3083829B2 (ja) 音声ピッチ変換方法および装置
JPH05307395A (ja) 音声合成装置
JP3197975B2 (ja) ピッチ制御方法及び装置
JP2612869B2 (ja) 声質変換方法
JP3241582B2 (ja) 韻律制御装置及び方法
JP2001282246A (ja) 波形データ時間伸張圧縮装置
JP3270869B2 (ja) 音程変換装置
JP2860991B2 (ja) 音声蓄積再生装置
JPS5925239B2 (ja) パラメ−タ補間方式
JPH07210192A (ja) 出力データ制御方法及び装置
JP3317458B2 (ja) 音声合成方法
JP3302075B2 (ja) 合成パラメータ変換方法および装置
JPH10187180A (ja) 楽音発生装置
JP2861005B2 (ja) 音声蓄積再生装置
JPS5950079B2 (ja) 音声合成方法
JPS5816295A (ja) 音声分析合成方式

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 10