JP3065739B2 - 音声区間検出装置 - Google Patents
音声区間検出装置Info
- Publication number
- JP3065739B2 JP3065739B2 JP3264316A JP26431691A JP3065739B2 JP 3065739 B2 JP3065739 B2 JP 3065739B2 JP 3264316 A JP3264316 A JP 3264316A JP 26431691 A JP26431691 A JP 26431691A JP 3065739 B2 JP3065739 B2 JP 3065739B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- noise
- voice
- frame
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
処理の一部である音声区間検出に関するものである。
98号公報を基にした従来の音声区間検出装置を使った
音声認識装置の構成を示すブロック図である。図におい
て、1は入力された音声を電気信号に変換するマイクロ
ホン、2はマイクロホン1の出力である入力信号をデジ
タル化する時の折り返し歪み防止用のLPF(ローパス
フィルター)、3はLPF2を通過した入力信号をデジ
タル化するA/D変換器である。
レームと呼ばれる一定時間長毎に抽出する入力信号分析
部、5は入力信号分析部4の出力である1フレームの入
力特徴パタンを記憶する入力特徴パタンメモリ、6は入
力特徴パタンメモリ5から入力特徴パタンを受けて雑音
区間内の入力信号の特徴を代表する雑音標準パタンを計
算する雑音標準パタン計算部、7は雑音標準パタン計算
部6からの雑音標準パタンを記憶する雑音標準パタンメ
モリ、8は入力特徴パタンメモリ5からの入力特徴パタ
ンと雑音標準パタンメモリ7からの雑音標準パタンとの
パタン間距離を計算するパタン間距離計算部である。
に有音(音声)か無音(雑音)かを判定する有音・無音
判定部、10は有音・無音判定部9が判定を行う際に使
う有音・無音判定用パタン間距離閾値を記憶する有音・
無音判定用距離閾値メモリ、11は有音・無音判定結果
の時系列を使い音声区間を決定する音声区間判定部であ
る。
音判定結果と音声区間判定部11による音声区間判定結
果とを使い雑音標準パタン計算部6に対して雑音標準パ
タンを更新するか否かを指示する雑音標準パタン更新判
定部、14は予め登録された複数の単語のフレーム毎の
入力特徴パタンの時系列であるテンプレートパタンと認
識対象単語のフレーム毎の入力特徴パタンの時系列であ
る入力単語パタンとを比較して入力単語が登録されてい
るどの単語かを認識する音声認識部である。
れの一例を示すフローチャートである。
を用いて説明する。まず、ステップSP1では、雑音標
準パタンの学習で雑音標準パタンを作成する。マイクロ
ホン1に入力された雑音は電気信号に変換され、LPF
2で例えば4KHz以下の周波数に制限され、A/D変
換器3に送られる。A/D変換器3は折り返し歪みの発
生を避けるために入力信号をLPF2の遮断周波数の2
倍以上の標本化周波数、例えば8KHzでデジタル化す
る。
信号をフレームと呼ばれる一定の時間長、例えば25m
sを単位として分析を行い、入力信号の特徴量を1フレ
ーム毎に出力する。入力信号を分析する方法として、例
えば、4KHz以下の周波数範囲に中心周波数の少しず
つ異なるBPF(バンドパスフィルター)を16個並
べ、この16個のBPFにより入力信号のスペクトラム
の概形を16次元のベクトルとして抽出する方法があ
る。そして、入力信号分析部4から1フレーム毎に出力
される16次元のベクトルは入力特徴パタンとして入力
特徴パタンメモリ5に記憶される。雑音標準パタン計算
部6は雑音区間内の入力特徴パタンの平均的な形を計算
し、雑音標準パタンとして雑音標準パタンメモリ7に記
憶する。
えば、学習時における第i次の雑音標準パタンをN0
(i)、学習区間内における第jフレームの第i次の入
力特徴パタンをSj(i)とした時、下記数1式に従っ
て16フレーム分の入力特徴パタンの平均を計算する方
法がある。但し、1≦i≦16である。
出する。ステップSP2では、マイクロホン1に入力さ
れた雑音または音声はステップSP1と同一の手順で分
析され、1フレーム毎に入力特徴パタンが入力特徴パタ
ンメモリ5に出力される。ステップSP3では、パタン
間距離計算部8が入力特徴パタンメモリ5に記憶されて
いる入力特徴パタンと雑音標準パタンメモリ7に記憶さ
れている雑音標準パタンとのパタン間距離を計算する。
フレーム番号をt、第tフレームにおけるパタン間距離
をDt、第tフレームにおける第i次の入力特徴パタン
をSt(i)、第tフレームにおける第i次の雑音標準
パタンをNt(i)、任意の定数をCとした時、下記数
2式に従って計算する方法がある。
がパタン間距離と有音・無音判定用距離閾値メモリ10
に記憶されている有音・無音判定用パタン間距離閾値と
を使い、有音・無音判定結果を出力する。有音・無音を
判定する方法として、有音・無音判定用パタン間距離閾
値をT1、パタン間距離をDtとした時、「Dt≧T1
ならば 有音」、「Dt<T1 ならば 無音」の条
件式に従って判定を行う方法がある。
が有音・無音判定部9の出力であるフレーム毎の有音・
無音判定結果の時系列を使って音声区間判定結果を出力
する。音声区間を判定する方法として、例えば、有音
と判定されたフレームが3フレーム以上続いた場合、音
声区間が開始したとみなし、先頭の有音フレームを音声
区間の始端とする。無音と判定されたフレームが20
フレーム以上続いた場合、音声区間が終了したとみな
し、最後の有音フレームを音声区間の終端とする。上記
に従って音声区間を判定する方法がある。
間が開始する前の状態、音声区間の途中の状態、音声区
間が終了した状態の3つの状態が存在する。ステップS
P6以下ではこれらの3つの状態に応じて、処理を行
う。
判定部12が音声区間判定部11の判定結果を使い始端
を見つけたか否かを判断し、始端を見つけていない場
合、つまり音声区間が開始する前の場合、ステップSP
7へ進み、始端を見つけた場合、ステップSP10へ進
む。
7で雑音標準パタン更新判定部12は有音・無音判定結
果を使い現在のフレームが有音か無音かを判断し、有音
であれば雑音標準パタンを更新せずにステップSP2へ
戻り、無音であれば雑音標準パタン更新判定部12は雑
音標準パタン計算部6に雑音標準パタンを更新するよう
に指示を出しステップSP9へ進む。
部6は入力特徴パタンメモリ5に記憶されている現フレ
ームの入力特徴パタンと雑音標準パタンメモリ7に記憶
されている雑音標準パタンとを使い雑音標準パタンを更
新した後、ステップSP2へ戻る。
ば、第tフレームにおける第i次の入力特徴パタンをS
t(i)、第tフレームにおける更新前の第i次の雑音
標準パタンをNt-1 (i)、第tフレームにおける更新
後の第i次の雑音標準パタンをNt(i)、1より大き
い任意の定数をKとした場合、下記数3式に従って更新
する方法がある。但し、1≦i≦16である。
テップSP10で雑音標準パタン更新判定部12は音声
区間判定部11の判定結果を使い終端を見つけたか否か
を判断し、終端を見つけていない場合、雑音を更新せず
にステップSP2へ戻り、終端を見つけた場合、ステッ
プSP11へ進む。
4は音声登録時では、始端から終端までの入力特徴パタ
ンの時系列をテンプレートパタンとして記憶し、音声認
識時では、始端から終端までの入力特徴パタンの時系列
を入力単語パタンとして記憶し、入力単語パタンとテン
プレートパタンとを例えば、DPマッチングを使って比
較し、入力単語が登録されたどの単語に最も似ているか
を計算し、最も似ている単語を認識結果として出力す
る。ステップSP11を終了すると処理は終了する。
が重畳した音声の音声区間を正しく検出した結果の一例
を示す図である。
置により自動車走行時の車室内騒音が重畳した音声の音
声区間を正しく検出した場合の一例について説明する。
図6の上側は音声/OOSAKA(大阪)/の対数パワ
ーと時間(フレーム)との関係を示し、図6の下側は同
じ音声のフレーム毎の雑音標準パタンに対するパタン間
距離とフレームとの関係を示している。
ームから第Ieフレームまでの区間であり、従来の音声区
間検出装置が検出した音声区間は第JsフレームからJeフ
レームまでの区間であり、正しい音声区間に一致してい
る。第Jsフレームより前の範囲では、雑音標準パタンと
のパタン間距離が有音・無音判定用パタン間距離閾値T
1より小さいので、無音と判定され、雑音標準パタンは
毎フレーム更新される。
では、/O/、/A/音はパタン間距離がT1以上とな
り有音と判定され、/S/、/K/音は雑音に打ち消さ
れてパタン間距離がT1より小さくなり無音と判定され
る。この区間内においては、雑音標準パタンは更新され
ない。第Jeフレームより後の範囲では、雑音区間である
のでパタン間距離はT1より小さく無音と判定される。
この結果、始端は第Jsフレーム、終端はJeフレームとし
て検出される。
が重畳した音声の音声区間を誤って検出した結果の一例
を示す図である。
置により自動車走行時の車室内騒音が重畳した音声の音
声区間を誤って検出した場合の一例について説明する。
図7の上側は音声/MIYAZAKI(宮崎)/の対数
パワーと時間(フレーム)との関係を示し、図7の下側
は同じ音声のフレーム毎の雑音標準パタンに対するパタ
ン間距離とフレームとの関係を示している。
ームから第Ieフレームまでの区間であり、従来の音声区
間検出装置が検出した音声区間は第JsフレームからJeフ
レームまでの区間である。第Jsフレームより前の範囲で
は、雑音標準パタンとのパタン間距離が有音・無音判定
用パタン間距離閾値T1より小さいので、無音と判定さ
れ、雑音標準パタンは毎フレーム更新される。
囲では、/M/から/I/に徐々に変化して行くが、車
室内騒音と/M/音のスペクトラムは低周波数成分が多
く、比較的似ているので、パタン間距離は騒音区間より
は大きいが、T1より小さく無音と判定され、雑音標準
パタンは更新される。従って、雑音標準パタンに/M/
音が混入していく。/I/音は/M/音よりも高周波数
成分が多いが、/M/から/I/への変化はゆっくりで
あるので、/M/音が混入した雑音標準パタンとの距離
は急激に大きくならず、パタン間距離はT1を越えず無
音と判定される。/M/音に続いて/I/音が雑音標準
パタンに混入し、雑音標準パタンは/M/音、/I/音
の中間的なパタンになる。
では、/I/から/Y/,/A/への変化は急激である
のでパタン間距離はT1を越え、有音と判定され、雑音
標準パタンは更新されない。第Jeフレームより後から第
Ieフレームまでの範囲では、/K/音はパワーが小さく
雑音に打ち消されて脱落し、/I/音は/M/音と/I
/音が混入した雑音標準パタンとのパタン間距離がT1
より小さく無音と判定される。第Ieフレームより後の範
囲では、パタン間距離は第Isフレームより前の場合より
大きくなるがT1よりも小さく、無音と判定される。こ
の結果、始端は第Jsフレーム、終端はJeフレームとして
検出される。
置は以上のように構成されているので、低S/N状態で
音声が入力され、音声の始端部で検出を誤り無音と判定
された場合、本当は有音である部分の特徴パタンを用い
て雑音標準パタンを更新するので、雑音標準パタンが正
しい雑音の特徴を代表しなくなり、その後、誤って更新
された雑音標準パタンを使って音声区間を検出するので
正しく音声区間を検出できなくなる問題点があった。
ためになされたもので、低S/N状態でも雑音標準パタ
ンを誤って更新することがなく、正しい音声区間を検出
できる音声区間検出装置を得ることを目的とする。
検出装置は、該装置において、有音・無音判定に使うパ
タン間距離閾値よりも小さな値のパタン間距離閾値を雑
音標準パタン更新用に設けておき、有音・無音判定によ
り無音と判定された場合、パタン間距離が雑音標準パタ
ン更新用閾値より小さい場合だけ雑音標準パタンを更新
する雑音標準パタン更新判定手段を設けるようにしたも
のである。
各フレームの特徴パタンと雑音標準パタンとのパタン間
距離の平均と標準偏差から有音・無音判定用パタン間距
離閾値と雑音更新用パタン間距離閾値を計算する閾値演
算手段を設けたものである。
は、有音・無音判定用パタン間距離閾値よりも小さな雑
音更新用パタン間距離閾値を備え、音声区間を検出する
前であること、かつ、無音と判定されること、かつ、雑
音標準パタンとのパタン間距離が更新判定用閾値より小
さい場合のみ雑音標準パタンを更新するので、雑音が重
畳した音声に関して、音声区間を誤って無音と判断した
場合でも、雑音標準パタンに音声区間のパタンが混入す
ることがないので、音声区間を誤ることが少なくなる。
応した有音・無音判定用パタン間距離閾値と雑音更新用
パタン間距離閾値を求めて判定するので、正確な判定が
でき音声区間を誤ることが少ない。
音声認識装置の構成を示すブロック図である。図1にお
いて、1〜12、14は図4に示した従来装置と同一ま
たは相当であるので説明を省略する。13は雑音標準パ
タン更新判定部12が判定に使う雑音更新用パタン間距
離閾値を記憶する雑音更新用距離閾値メモリである。雑
音標準パタン更新判定部12はパタン間距離計算部8の
出力であるパタン間距離とこの雑音更新用パタン間距離
閾値とを比較して更新の判定を行っている。なお、この
雑音更新用パタン間距離閾値は有音・無音判定部9で用
いられる有音・無音判定用パタン間距離閾値より小さく
設定されている。
の動作の流れの一例を示すフローチャートである。従来
例と同じステップには同符号SP1〜SP7,SP9〜
SP11を付し、ステップSP7と同SP9の間にステ
ップSP8が加わった点が従来と異なる。
を用いて説明する。ステップSP1〜ステップSP7、
ステップSP9〜ステップSP11の動作は従来の音声
区間検出装置と同一であるのでその説明を省略する。ス
テップSP8では、雑音標準パタン更新判定部12は雑
音更新用距離閾値メモリ13から雑音更新用パタン間距
離閾値を読み出し、パタン間距離計算部8の出力である
パタン間距離と比較し、パタン間距離が雑音更新用パタ
ン間距離閾値以上である場合、雑音標準パタンと似てい
ないと判断し、雑音標準パタンを更新せずにステップS
P2へ戻り、パタン間距離が雑音更新用パタン間距離閾
値よりも小さい場合、雑音標準パタンと似ていると判断
し、雑音標準パタンを更新するように雑音標準パタン計
算部6に指示を出し、ステップSP9へ進む。
により雑音が重畳した音声の音声区間を検出した結果の
一例を示す図である。
区間検出装置により自動車走行時の車室内騒音が重畳し
た音声の音声区間を検出した場合の一例について説明す
る。図3の上側は音声/MIYAZAKI(宮崎)/の
対数パワーと時間(フレーム)との関係を示し、図3の
下側は同じ音声のフレーム毎の雑音標準パタンに対する
パタン間距離とフレームとの関係を示している。図3に
おいて、正しい音声区間は第Isフレームから第Ieフレー
ムまでの区間であり、この発明における音声区間検出装
置が検出した音声区間は第Jsフレームから第Jeフレーム
までの区間である。
パタンとのパタン間距離が有音・無音判定用パタン間距
離閾値T1より小さいので、無音と判定され、雑音標準
パタンは毎フレーム更新される。第Isフレームから第Js
フレームより前の範囲では、/M/から/I/に徐々に
変化して行くが、車室内騒音と/M/音のスペクトラム
は低周波数成分が多く、比較的似ているので、パタン間
距離は騒音区間よりは大きいが、T1より小さく従来装
置と同様に無音と判定される。しかし、パタン間距離が
雑音更新用パタン間距離閾値T2よりも大きいので、雑
音標準パタンは更新されず、雑音標準パタンに/M/音
が混入することがない。
での範囲では、/I/音は/M/音よりも高周波数成分
が多いので、従来例と異なってパタン間距離はT1を越
えて有音と判定され、/Y/、/A/、/Z/、/A/
音は従来装置と同様に有音と判定され、最後の/I/音
も有音と判定される。第Jeフレームから後の範囲では、
無音区間であるのでパタン間距離は第Isフレームより前
と同程度の値となり、無音と判定される。この結果、従
来例では脱落していた始端部の/I/、終端部の/KI
/音を検出でき、より正しい音声区間を検出している。
BPF群を使ったものを示したが、LPCケプストラ
ム、FFTスペクトラム等を使ってもよい。
上記数2式で計算したものを示したが下記数4式で計算
してもよい。
更新を上記数3式で行うものを示したが、雑音区間の一
定フレーム数、例えば16フレーム分を特徴パタンを記
憶するバッファを備え、雑音標準パタンの更新に際し
て、時間的に最も古いフレームの特徴パタンをバッファ
から削除し、現フレームの特徴パタンを加え、16フレ
ーム分の特徴パタンの平均を計算してもよい。
タン間距離閾値と雑音標準パタンの雑音更新用パタン間
距離閾値を固定値としてメモリに記憶したものを示した
が、雑音標準パタンを学習するときに各フレームの特徴
パタンと雑音標準パタンとのパタン間距離の平均と標準
偏差を計算しておき、パタン間距離の平均と標準偏差を
用いて有音・無音判定用パタン間距離閾値と雑音更新用
パタン間距離閾値を計算してもよい。
音判定用パタン間距離閾値をT1、雑音更新用パタン間
距離閾値をT2、パタン間距離の平均をM、パタン間距
離の標準偏差をS、正の定数をC1、C2(C1>C
2)とした時、T1=M+C1・S及びT2=M+C2
・Sの式に従って計算する方法がある。
無音判定用パタン間距離閾値より小さい雑音更新用パタ
ン間距離閾値を設定し、有音・無音判定で無音と判定
し、かつパタン間距離が雑音更新用パタン間距離より小
さい場合に雑音標準パタンを更新するように構成したの
で、誤って雑音標準パタンを更新することがなく、安定
した雑音標準パタンが得られるので音声区間検出率が向
上する効果がある。
有音・無音判定用パタン間距離閾値と雑音更新用パタン
間距離閾値を計算するように構成したので、判定の精度
を高め、音声区間検出率が向上する。
を使った音声認識装置の構成を示すブロック図である。
の動作の流れを示すフローチャートである。
により音声区間を検出した結果の一例を示す図である。
の構成を示すブロック図である。
ローチャートである。
く検出した結果の一例を示す図である。
て検出した結果の一例を示す図である。
Claims (2)
- 【請求項1】 一定時間長のフレームという単位毎に雑
音と音声を含む入力信号を分析し特徴パタンを抽出する
入力信号分析手段と、雑音区間内の信号の特徴を代表す
る特徴パタンを雑音標準パタンとして学習する雑音学習
手段と、入力信号の特徴パタンと雑音標準パタンとのパ
タン間距離を用いてフレーム毎に入力信号の有音・無音
を判定する有音・無音判定手段と、この有音・無音判定
手段の判定結果の時系列を用いて音声区間を決定する音
声区間決定手段とを備えた音声区間検出装置において、
予め学習した雑音標準パタンを雑音の時間的な性質変化
に追従させて更新する際に用いる雑音更新用パタン間距
離閾値を有音・無音判定に用いる有音・無音判定用パタ
ン間距離閾値よりも小さく設定し、現在処理対象として
いる現フレームが音声区間決定手段により音声区間の開
始前と判定され、かつ、現フレームにおける有音・無音
判定結果が無音であり、かつ、現フレームにおける入力
信号の特徴パタンと雑音標準パタンとの距離が雑音更新
用パタン間距離閾値よりも小さいと判定した場合のみ雑
音標準パタンを更新する雑音標準パタン更新判定手段を
備えたことを特徴とする音声区間検出装置。 - 【請求項2】 雑音標準パタンを学習するときに、各フ
レームの特徴パタンと雑音標準パタンとのパタン間距離
の平均と標準偏差を計算しておき、このパタン間距離の
平均と標準偏差を用いて有音・無音判定用パタン間距離
閾値と雑音更新用パタン間距離閾値を計算する閾値演算
手段を備えたことを特徴とする請求項1記載の音声区間
検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3264316A JP3065739B2 (ja) | 1991-10-14 | 1991-10-14 | 音声区間検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3264316A JP3065739B2 (ja) | 1991-10-14 | 1991-10-14 | 音声区間検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05108088A JPH05108088A (ja) | 1993-04-30 |
JP3065739B2 true JP3065739B2 (ja) | 2000-07-17 |
Family
ID=17401491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3264316A Expired - Lifetime JP3065739B2 (ja) | 1991-10-14 | 1991-10-14 | 音声区間検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3065739B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU724111B2 (en) * | 1995-09-14 | 2000-09-14 | Ericsson Inc. | System for adaptively filtering audio signals to enhance speech intelligibility in noisy environmental conditions |
KR100745976B1 (ko) * | 2005-01-12 | 2007-08-06 | 삼성전자주식회사 | 음향 모델을 이용한 음성과 비음성의 구분 방법 및 장치 |
-
1991
- 1991-10-14 JP JP3264316A patent/JP3065739B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH05108088A (ja) | 1993-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3451146B2 (ja) | スペクトルサブトラクションを用いた雑音除去システムおよび方法 | |
JP3065739B2 (ja) | 音声区間検出装置 | |
JP2996019B2 (ja) | 音声認識装置 | |
JP3493849B2 (ja) | 音声認識装置 | |
JPH0792989A (ja) | 音声認識方法 | |
JP3114757B2 (ja) | 音声認識装置 | |
JPH05173592A (ja) | 音声/非音声判別方法および判別装置 | |
JP3195700B2 (ja) | 音声分析装置 | |
JPH11327593A (ja) | 音声認識システム | |
JP3410789B2 (ja) | 音声認識装置 | |
JP2001083978A (ja) | 音声認識装置 | |
JP3484559B2 (ja) | 音声認識装置および音声認識方法 | |
JP2666296B2 (ja) | 音声認識装置 | |
JP3107905B2 (ja) | 音声認識装置 | |
JPH10124084A (ja) | 音声処理装置 | |
JPH05273992A (ja) | 音声区間検出装置 | |
JP3357752B2 (ja) | パターンマッチング装置 | |
JP2000155600A (ja) | 音声認識システムおよび入力音声レベル警告方法 | |
JP2599974B2 (ja) | 音声検出方式 | |
JPH0556512B2 (ja) | ||
JPS62113197A (ja) | 音声認識装置 | |
JP3473704B2 (ja) | 音声認識装置 | |
JPH06348293A (ja) | 音声情報分析装置 | |
JP3008404B2 (ja) | 音声認識装置 | |
JPS6227798A (ja) | 音声認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080512 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090512 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 12 |