JP3142160B2 - 発音記号生成装置 - Google Patents

発音記号生成装置

Info

Publication number
JP3142160B2
JP3142160B2 JP03326367A JP32636791A JP3142160B2 JP 3142160 B2 JP3142160 B2 JP 3142160B2 JP 03326367 A JP03326367 A JP 03326367A JP 32636791 A JP32636791 A JP 32636791A JP 3142160 B2 JP3142160 B2 JP 3142160B2
Authority
JP
Japan
Prior art keywords
break
phrase
dependency
dependency analysis
accent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03326367A
Other languages
English (en)
Other versions
JPH05134692A (ja
Inventor
順子 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP03326367A priority Critical patent/JP3142160B2/ja
Publication of JPH05134692A publication Critical patent/JPH05134692A/ja
Application granted granted Critical
Publication of JP3142160B2 publication Critical patent/JP3142160B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、テキスト音声合成シス
テムなどに用いられる発音記号生成装置に関する。
【0002】
【従来の技術】アクセント句,声立て句,呼気段落など
の発話区分の切れ目は、人間の発話における音調パター
ンの分析より、文の係り受け構造上決まる文節間の相互
の結合の強さと、発話者の呼気の長さなど生理的な制約
からくる発話区分の長さに対する制約とによって規定さ
れることが、従来から報告されており、例えば文献「電
子通信学会論文誌'80/9 vol.J63−D No.
9,第715頁〜第722頁」には、それをテキスト音
声合成に応用するための文節結合形自動指定アルゴリズ
ムが提案されている。
【0003】なお、この文節結合形自動指定アルゴリズ
ムでは、文を表現する文字系列とともに、文節間の係り
受けが指定されたときに、これから全ての文節境界に対
して、文の構造上決まる文節と文節の結合の度合,すな
わち分離度(換言すれば、文節間の切れ易さ)を求め、
文節結合の形を決定するようになっている。
【0004】
【発明が解決しようとする課題】しかしながら、従来に
おいて、実際の文章を精度良く係り受け解析するのは困
難であり、その精度を向上させようとすると、文法レベ
ルだけではなく意味レベルの知識も必要となり、係り受
け解析部分だけでも大規模なものになってしまうという
問題があった。また、上述した従来の技術のように、予
め文節間の分離度を求めておき、それを利用して発話区
分を分割するようにする場合には、分割の結果作成され
た発話区分の長さにばらつきが生じ、不自然になるとい
う問題があった。また、予め分離度を求めておく場合に
は、分離度の計算方法を余程工夫しないと、同じ分離度
が連続するケースが増え、このような場合の対処の仕方
を誤まると不自然なところに発話区分の切れ目が入って
しまう恐れがあった。
【0005】本発明は、係り受け解析における負荷を軽
減することが可能であって、さらには、発話区分のばら
つきを少なくし、また、同じ分離度が連続するという事
態を軽減することの可能な発音記号生成装置を提供する
ことを目的としている。
【0006】
【課題を解決するための手段および作用】本願の発明者
は、人間の朗読におけるポーズ(通常は息継ぎ)につい
ての分析により、ポーズは文法上重要な所,あるいは意
味の切れ目となる所に置かれることが多く、この位置は
発話区分の長さなどにあまり影響されないという事実に
着目し、本発明を完成させた。
【0007】すなわち、本発明では、テキスト音声合成
等において、自然な韻律を生成するために係り受け解析
結果が効果をもつのは、文法上重要な所,あるいは意味
の切れ目となる所(例えばポーズ)から次の切れ目とな
る所(ポーズ)までの範囲内であるとし、これに基づ
き、係り受け解析を上記範囲内で局所的に行なうように
している。これにより、係り受け解析における負荷を軽
減し、係り受け解析結果を有効に韻律に反映することを
意図している。
【0008】さらに本発明では、発話区分の切れ目を決
定するフレージング処理がなされ、このフレージング処
理においては、係り受け解析範囲の切れ目となる所(例
えばポーズ)に発話区分の切れ目を挿入し、発話区分の
切れ目が挿入された後に、発話区分の長さにおける制約
条件から必要に応じて発話区分を分割し、必要に応じて
切れ目を挿入するようにしており、これにより、同じ分
離度の連続を軽減し、また、発話区分のバラツキを少な
くし、自然な韻律を実現することを意図している。
【0009】
【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図1は本発明に係る発音記号生成装置の一実施
例のブロック図である。この発音記号生成装置は、例え
ば、漢字かな混じり文を入力として、規則音声合成器が
解読可能な発音記号列(読み,アクセント,ポーズなど
の情報を表わす記号列)を出力するための装置であっ
て、以下では、この装置への入力は、1文単位に行なわ
れるとして説明する。
【0010】図1を参照すると、本実施例の発音記号生
成装置は、漢字かな混じり文を入力として形態素解析を
行なう形態素解析部1と、形態素解析結果を基に係り受
け解析を行なう係り受け解析部2と、アクセント句,声
立て句,呼気段落などの発話区分の切れ目を決定するフ
レージング処理部3と、アクセント結合処理を行なうア
クセント結合処理部4とを備えている。
【0011】図2は係り受け解析部2の構成例を示す図
であり、係り受け解析部2は、単語列から文節を生成
し、文節列を作成する文節生成部11と、係り受け解析
範囲を決定する規則が記憶される係り受け解析範囲決定
規則部12と、係り受け解析範囲決定規則を用いて、文
節列から文法的,意味的なまとまりの切れ目であってポ
ーズが入ることが不可欠であるような部分,すなわち係
り受け解析範囲を抽出する係り受け解析範囲決定部13
と、抽出された係り受け解析範囲内で局所的な係り受け
解析を行なう解析部14とを有している。ここで係り受
け解析範囲決定規則としては、例えば次表のような規則
が用いられる。なお、次表において、当該文節とは、そ
の文節が係り受け解析範囲の末尾になる文節を意味して
いる。
【0012】
【表1】
【0013】また、図3はフレージング処理部3の構成
例を示す図である。図3のフレージング処理部3では、
発話区分の切れ目としてアクセント句,声立て句,呼気
段落の3種の切れ目を決定するようになっており、フレ
ージング処理部3は、係り受け解析範囲の終わりに文法
的,意味的な切れ目(この例では呼気段落の切れ目)と
して不可欠なポーズを挿入するポーズ挿入部21と、単
語固有の性質および係り受け解析結果に基づいて、不可
欠なアクセント句の切れ目を挿入するアクセント句挿入
部22と、アクセント句の長さにおける制約条件から必
要に応じてさらにアクセント句を分割するアクセント句
分割処理部23と、呼気段落の長さにおける制約条件か
ら必要に応じてその呼気段落を分割する呼気段落分割処
理部24と、声立て句の長さにおける制約条件から必要
に応じて声立て句の切れ目を挿入する声立て句設定処理
部25とを有している。
【0014】ここで、図4に示すように、アクセント句
APとは、1つのアクセントをもつまとまりであり、1
つ以上の文節で構成されるものとする。また、声立て句
VPとは、1つのフレーズ成分で発話される範囲であ
り、呼気段落BPとは、ポーズ(通常は息継ぎが行なわ
れる)からポーズまでの範囲を指している。また、アク
セント句挿入部22は、例えば次表のような規則でアク
セント句の切れ目になるか否かを判断することができ
る。
【0015】
【表2】
【0016】また、上記アクセント句分割処理部23で
は、文節間の切れ易さを求める評価関数を設定し、評価
関数の値が最大のところでアクセント句を分割する処理
をアクセント句の長さが制約条件を満たすまで再帰的に
繰り返し、上記呼気段落分割処理部24では、文節間の
切れ易さを求める評価関数を設定し、評価関数の値が最
大のところで呼気段落を分割する処理を呼気段落の長さ
が制約条件を満たすまで再帰的に繰り返し、上記声立て
句設定処理部25では、文節間の切れ易さを求める評価
関数を設定し、評価関数の値が最大のところに声立て句
の切れ目を挿入する処理を声立て句の長さが制約条件を
満たすまで再帰的に繰り返すようになっている。また、
文節間の切れ易さを求める上記評価関数は、係り受け規
則の種類,係り先までの距離、分割対象範囲の中心から
のずれの関数として定義されるようになっている。例え
ば、連続する文節bsiとbsi+1との切れ易さを評価す
るのに、上記評価関数を次式のように定義することがで
きる。
【0017】
【数1】F(bsi,bsi+1)=w1・C(rule)
+w2・(j−i)+w3・|mid−mi
【0018】この評価関数では、文節bsiが係り受け
規則ruleでbsj(i<j)に係るとし、その場
合、C(rule)は係り受け規則ruleによって決
まる値,midは対象となる発話区分のモーラ数の1/
2の値,miは発話区分の先頭からbsiの終端位置まで
のモーラ数,wnは重みである。なお、モーラとは拍の
ことであり、モーラ数とは拍数(句の長さ)である。
【0019】次に、このような構成の発音記号生成装置
の動作を説明する。なお、本実施例でにおいては、便宜
上、発音記号生成装置への入力は、1文単位に行なわれ
るものとする。また、発話区分は、アクセント句,声立
て句,呼気段落からなるものとする。
【0020】いま例えば図5(a)に示すような漢字か
な混じり文が発音記号生成装置に入力すると、発音記号
生成装置では、先づ、形態素解析部1が図5(a)の漢
字かな混じり文を形態素解析し、単語に分割し、辞書を
検索して、それぞれの単語の読み,アクセント情報など
を付加する。なお、本実施例では、簡単のために、形態
素解析部1は最適な解を1つだけ出力するものとする。
このような形態素解析によって、図5(b)のような形
態素解析結果が得られる。
【0021】次に、係り受け解析部2では、形態素解析
結果を受け取って、文節間の係り受け解析を行なう。図
6は係り受け解析部2の処理流れを示すフローチャート
であり、係り受け解析部2においては、先づ、文節生成
部11が単語列から文節を生成し、文節列を作成する
(ステップS1)。なお、ここでいう文節とは、1つの
自立語と複数の付属語からなる単語の並びであり、通常
複合語といわれているものは複数の文節で構成されるこ
とになる。次に、係り受け解析範囲決定部13では、表
1に示したような係り受け解析範囲決定規則によって、
文法的,意味的なまとまりの切れ目であって、ポーズが
入ることが不可欠であるような部分を検出し、呼気段落
の切れ目(ポーズ)になることが不可欠な文法的,意味
的切れ目までの範囲を係り受け解析範囲として決定する
(ステップS2)。しかる後、解析部14では、上記の
ように決定された範囲内で局所的な係り受け解析を行な
う(ステップS3)。ここでの係り受け解析は、範囲を
限定しているので、係り先がない文節も許すものとす
る。このような一連の処理を文全体を解析し終わるまで
繰り返し(ステップS4)、図5(c)に示すような係
り受け解析結果を得ることができる。
【0022】このようにして係り受け解析部2における
処理が終了した後、フレージング処理部3の処理が開始
する。図7はフレージング処理部3の処理流れを示すフ
ローチャートであり、フレージング処理部3のポーズ挿
入部21では、先づ、係り受け解析範囲の終わりに、文
法的,意味的な切れ目として不可欠なポーズを挿入する
(ステップS11)。次に、アクセント句挿入部22で
は、単語固有の性質及び係り受け解析結果に基づいて、
不可欠なアクセント句の切れ目を挿入する(ステップS
12)。例えば表2に示したような規則でアクセント句
の切れ目になるかどうかを判断する。この段階で、入力
文はいくつかのアクセント句と、呼気段落とに分割され
る。
【0023】しかしながら、この段階だけでは、呼気の
長さなどからくる発話区分の長さにおける制約条件を満
たしているとは限らない。そこで、フレージング処理部
3ではさらにアクセント句分割処理,呼気段落分割処
理,声立て設定処理を行なう(ステップS13,S1
4,S15)。具体的には、連続する文節bsiとbs
i+1の切れ易さを評価するための評価関数を数1のよう
に定義し、アクセント句,声立て句,呼気段落の長さの
最大値をそれぞれAT,BT,VTと定め、アクセント
句,声立て句,呼気段落が最大値の範囲内に収まるよう
に処理を行なう。
【0024】すなわち、アクセント句分割処理では、既
に作られているアクセント句を文頭から調べ、その長さ
がATより長い場合、このアクセント句を構成する文節
間の評価関数の値が最大のところで、そのアクセント句
を分割する。さらにその分割結果についても同様の処理
を、アクセント句の長さがAT以下になるかまたは、そ
のアクセント句が1文節になりそれ以上分割できなくな
るまで再帰的に繰り返す。
【0025】また、呼気段落分割処理では、既に作られ
ている呼気段落を文頭から調べ、その長さがVTより長
い場合、この呼気段落を構成する文節間(但し、アクセ
ント句の切れ目となる文節に限る)の評価関数の値が最
大の所で、呼気段落を分割する。さらにその分割結果に
ついても同様の処理を、呼気段落の長さがVT以下にな
るまで再帰的に繰り返す。
【0026】また、声立て句設定処理では、既に作られ
ている呼気段落を文頭から調べ、その長さがBTより長
い場合、この呼気段落を構成する文節間(但し、アクセ
ント句の切れ目となる文節に限る)の評価関数の値が最
大の所に声立て句の切れ目を設定する。さらにその分割
結果についても同様の処理を、声立て句の長さがBP以
下になるまで再帰的に繰り返す。
【0027】図5(d),(e)は図5(a)の入力文
が入力し、係り受け解析部2において図5(b)のよう
な形態素解析結果,図5(c)のような係り受け解析結
果が得られたときのフレージング処理部3における処理
結果の一例を示す図である。すなわち、図5(d)に
は、ステップS11,S12において、図5(a)の入
力文に対し図5(c)の係り受け解析結果に基づき不可
欠なポーズ,アクセント句の切れ目を挿入した後の結果
が示されており、図5(e)には図5(d)の結果に対
し、さらにアクセント句分割処理,呼気段落分割処理,
声立て句設定処理がなされた結果が示されている。な
お、図5(d),(e)において、“/”はアクセント
句の切れ目記号であり、“//”は声立て句の切れ目記
号であり、“///”は呼気段落の切れ目記号である。
図5(d)からわかるように、入力文に対し不可欠なポ
ーズ,アクセント句の切れ目を挿入することにより、入
力文はいくつかのアクセント句と呼気段落とに分割され
る。また、図5(e)からわかるように、アクセント句
分割処理,呼気段落分割処理,声立て句設定処理がなさ
れることにより、フレージング処理部3において最終的
に、自然なアクセント句,声立て句,呼気段落を作成す
ることができる。
【0028】このようなフレージング処理を終了後、ア
クセント結合部4では、1つのアクセント句内の単語の
アクセントを1つにまとめるアクセント結合処理を行な
って、図5(f)に示すような発音記号列を最終的に生
成する。なお、図5(f)において、“〔”,“〕”は
アクセント句の上昇位置,下降位置をそれぞれ示してい
る。また、図5(a)乃至(f)では、AT=8モー
ラ、BT=12モーラ,VT=18モーラとした場合の
処理例を示した。
【0029】このように本実施例では、係り受け解析を
呼気段落の切れ目(ポーズ)になることが不可欠な文法
的,意味的切れ目までの範囲で局所的に行なうことによ
って、係り受け解析による負荷を軽減するとともに、係
り受け解析結果を有効に韻律に反映することができる。
【0030】また、フレージング処理において、係り受
け解析範囲の切れ目に呼気段落の切れ目を挿入し、単語
固有の性質と係り受け解析結果とに基づいて不可欠なア
クセント句の切れ目を挿入した後に、アクセント句の長
さにおける制約条件から必要に応じてさらにアクセント
句を分割するアクセント句分割処理と、呼気段落の長さ
における制約条件から必要に応じてその呼気段落を分割
する呼気段落分割処理と、声立て句の長さにおける制約
条件から、必要に応じて声立て句の切れ目を挿入する声
立て句設定処理を行ない、この際、さらに、アクセント
句分割処理において、文節間の切れ易さを求める評価関
数を設定し、評価関数の値が最大のところでアクセント
句を分割する処理をアクセント句の長さが制約条件を満
たすまで再帰的に繰り返し、また、呼気段落分割処理に
おいて、文節間の切れ易さを求める評価関数を設定し、
評価関数の値が最大のところで呼気段落を分割する処理
を呼気段落の長さが制約条件を満たすまで再帰的に繰り
返し、また、声立て句設定処理において、文節間の切れ
易さを求める評価関数を設定し、評価関数の値が最大の
ところに声立て句の切れ目を挿入する処理を声立て句の
長さが制約条件を満たすまで再帰的に繰り返し、さらに
は、文節間の切れ易さを求める上記評価関数を係り受け
規則の種類,係り先までの距離,分割対象範囲の中心か
らのいずれの関数として定義するようにしているので、
より確実に、同じ分離度が連続するという事態を軽減
し、また、発話区分のバラツキを少なくすることができ
て、自然な韻律を実現することができる。
【0031】
【発明の効果】以上に説明したように本発明によれば、
文節列において文法的,意味的に重要な切れ目となると
ころに着目し、この種の1つの切れ目となる所から次の
切れ目となる所までの範囲を係り受け解析範囲として決
定し、この範囲内で係り受け解析を局所的に行なうよう
にしているので、係り受け解析における負荷を軽減し、
係り受け解析結果を有効に韻律に反映するができる。
【0032】さらに本発明では、発話区分の切れ目を決
定するフレージング処理がなされ、このフレージング処
理においては、係り受け解析範囲の切れ目となる所に発
話区分の切れ目を挿入し、発話区分の切れ目が挿入され
た後に、発話区分の長さにおける制約条件から必要に応
じて発話区分を分割し、必要に応じて切れ目を挿入する
ようにしているので、同じ分離度の連続を軽減し、ま
た、発話区分のバラツキを少なくし、自然な韻律を実現
することができる。
【図面の簡単な説明】
【図1】本発明に係る発音記号生成装置の一実施例のブ
ロック図である。
【図2】係り受け解析部の構成例を示す図である。
【図3】フレージング処理部の構成例を示す図である。
【図4】アクセント句,声立て句,呼気段落を説明する
ための図である。
【図5】(a)乃至(f)は発音記号生成処理の具体例
を説明するための図である。
【図6】係り受け解析部の処理流れを示すフローチャー
トである。
【図7】フレージング処理部の処理流れを示すフローチ
ャートである。
【符号の説明】
1 形態素解析部 2 係り受け解析部 3 フレージング処理部 4 アクセント結合処理部 11 文節生成部 12 係り受け解析範囲決定規則部 13 係り受け解析範囲決定部 14 解析部 21 ポーズ挿入部 22 アクセント句挿入部 23 アクセント句分割処理部 24 呼気段落分割処理部 25 声立て句設定処理部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G10L 13/08

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力文に対し形態素解析を行なう形態素
    解析手段と、形態素解析結果に基づき文節間の係り受け
    解析を行なう係り受け解析手段と、発話区分の切れ目を
    決定するフレージング処理手段と、アクセント結合処理
    を行なうアクセント結合処理手段とを有し、前記係り受
    け解析手段は、文節列において文法的,意味的に重要な
    切れ目となるところに着目し、この種の1つの切れ目と
    なる所から次の切れ目となる所までの範囲を係り受け解
    析範囲として決定し、この範囲で係り受け解析を行なう
    ようになっていることを特徴とする発音記号生成装置。
  2. 【請求項2】 前記フレージング処理手段は、係り受け
    解析範囲の切れ目となる所に発話区分の切れ目を挿入す
    る第1の挿入手段と、第1の挿入手段によって発話区分
    の切れ目が挿入された後に、発話区分の長さにおける制
    約条件から必要に応じて発話区分を分割し、必要に応じ
    て切れ目を挿入する第2の挿入手段とを有していること
    を特徴とする請求項1記載の発音記号生成装置。
  3. 【請求項3】 前記第2の挿入手段は、文節間の切れ易
    さを求める評価関数を設定し、評価関数が最大のところ
    で発話区分を分割するようになっており、この分割処理
    を発話区分の長さが制約条件を満たすまで再帰的に繰り
    返すようになっていることを特徴とする請求項2記載の
    発音記号生成装置。
  4. 【請求項4】 前記評価関数は、係り受け規則の種類,
    係り先までの距離,分割対象範囲の中心からのずれの関
    数として定義されることを特徴とする請求項3記載の発
    音記号生成装置。
JP03326367A 1991-11-14 1991-11-14 発音記号生成装置 Expired - Fee Related JP3142160B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03326367A JP3142160B2 (ja) 1991-11-14 1991-11-14 発音記号生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03326367A JP3142160B2 (ja) 1991-11-14 1991-11-14 発音記号生成装置

Publications (2)

Publication Number Publication Date
JPH05134692A JPH05134692A (ja) 1993-05-28
JP3142160B2 true JP3142160B2 (ja) 2001-03-07

Family

ID=18187010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03326367A Expired - Fee Related JP3142160B2 (ja) 1991-11-14 1991-11-14 発音記号生成装置

Country Status (1)

Country Link
JP (1) JP3142160B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2941168B2 (ja) * 1994-06-09 1999-08-25 株式会社エイ・ティ・アール音声翻訳通信研究所 音声合成システム
JP4635384B2 (ja) * 2001-07-03 2011-02-23 日本電気株式会社 音声合成システム、音声合成方法および音声合成用プログラム

Also Published As

Publication number Publication date
JPH05134692A (ja) 1993-05-28

Similar Documents

Publication Publication Date Title
US6751592B1 (en) Speech synthesizing apparatus, and recording medium that stores text-to-speech conversion program and can be read mechanically
US6778962B1 (en) Speech synthesis with prosodic model data and accent type
US7460997B1 (en) Method and system for preselection of suitable units for concatenative speech
Chu et al. Locating boundaries for prosodic constituents in unrestricted Mandarin texts
JP4559950B2 (ja) 韻律制御規則生成方法、音声合成方法、韻律制御規則生成装置、音声合成装置、韻律制御規則生成プログラム及び音声合成プログラム
US20020099547A1 (en) Method and apparatus for speech synthesis without prosody modification
US20060229877A1 (en) Memory usage in a text-to-speech system
JPH05165486A (ja) テキスト音声変換装置
JP4532862B2 (ja) 音声合成方法、音声合成装置および音声合成プログラム
JP3142160B2 (ja) 発音記号生成装置
JP3006240B2 (ja) 音声合成方法および装置
JP3366253B2 (ja) 音声合成装置
JP2748445B2 (ja) ポーズ挿入位置決定方式
JP3522005B2 (ja) 音声合成装置
JPH09237096A (ja) 漢字説明方法及び装置
JPH08185197A (ja) 日本語解析装置、及び日本語テキスト音声合成装置
JPH096378A (ja) テキスト音声変換装置
JPH11259094A (ja) 規則音声合成装置
JP3076047B2 (ja) ポーズ挿入位置決定装置
JP3088211B2 (ja) 基本周波数パタン生成装置
JP3269083B2 (ja) 自然語処理装置
JP2888847B2 (ja) 文章読み上げ装置とその方法及び言語処理装置とその方法
JP3001210B2 (ja) ポーズ挿入位置決定装置
Campbell et al. Prosodic encoding of syntactic structure for speech synthesis
JP3549372B2 (ja) 音声出力装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees