JPH06195097A - 音源信号推定装置 - Google Patents
音源信号推定装置Info
- Publication number
- JPH06195097A JPH06195097A JP4356863A JP35686392A JPH06195097A JP H06195097 A JPH06195097 A JP H06195097A JP 4356863 A JP4356863 A JP 4356863A JP 35686392 A JP35686392 A JP 35686392A JP H06195097 A JPH06195097 A JP H06195097A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound source
- unit
- sound
- transfer function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
21のマイク0乃至M−1で検出する。抽出すべき本来
の音声信号を発生する音源はもとより、雑音を発生する
音源も、この音源0乃至M−1のいずれかに対応するも
のとして考える。伝達関数推定部23は、信号検出部2
1の出力を用いて、各音源と各マイクの間の伝達関数
H'を推定する。音源推定誤差最小化部24は、伝達関
数をH'とするとき得られる音源推定信号Xの誤差を最
小化する音源推定信号Xの更新値dX1を求める。更新
部26は、制約部25が与える音源に関する制約dX2
と更新値dX1とから、最終的な音源推定信号Xを演算
する。
Description
多い環境下において、所望の音声信号を抽出する場合に
用いて好適な音源信号推定装置に関する。
つに、雑音あるいは対象とする人以外の音から、所定の
人の音声信号を分離する問題がある。例えば、オフィス
などでは、周囲にコンピュータのファンの音、空調の音
などが存在する。また、自動車の中では、エンジンノイ
ズや走行ノイズが非常に大きく、S/N比で−20dB
位の環境となる。このように、周囲に雑音が存在する環
境下で音声認識装置を用いようとすると、これらの雑音
にマスクされ、音声認識の対象となる音声信号を正確に
検出することができない。音声信号を雑音とともに取り
込むと、音声認識の認識率の致命的な低化を招く。
ば次のような対処の方法が提案されている。 (1)マイクの指向性を利用する。 (2)定常信号を仮定したフィルタ(Wiener Filter)を
利用する。 (3)適応信号処理により妨害音を推定して除去する。
ば、目標とする音源がマイクアレイの大きさ(マイク0
からマイク(M−1)までの距離)に較べて充分遠く、
図4に示すように、各マイクに対する音源の方向が平行
な方向で近似できるものとする。このとき、各マイクの
距離をbとすると、マイクアレイが構成する直線(図
中、上下方向の直線)とω0の角度を持つ方向から来る
信号の音波は、bcos(ω0)に比例する時間だけずれて、
それぞれ隣のマイクに入力される。
する応答を、 y0,0(t)=s(t) ・・・(1) という時刻tの信号とすると、これよりb×mだけ離れ
たマイクmの応答は、 ym,0(t)=s(t+mbcosω0) ・・・(2) となる。
て角度ω1の方向から来るとする。この妨害波(雑音)
に対するマイク0の応答を y0,1(t)=n(t) ・・・(3) とすれば、マイクmの応答は、 ym,1(t)=n(t+mbcosω1) ・・・(4) となる。
標信号に対応する時間差だけ遅延回路0乃至M−1によ
り遅延した後、加算器1で加算することにより、目標の
音に対して同期加算を実行することができる。任意のマ
イクmの出力は、 ym(t)=ym,0(t)+ym,1(t) ・・・(5) と表すことができるから、図4でマイクmの出力後の遅
延時間を、mbcosω0に設定することにより、遅延後の
信号zm(t)は、 zm(t)=ym(t−mbcosω0) =ym,0(t−mbcosω0)+ym,1(t−mbcosω0) =s(t+mbcosω0−mbcosω0) +n(t+mbcosω1−mbcosω0) =s(t)+n(t+mbcosω1−mbcosω0) ・・・(6) となる。
うになる。
倍になるが、妨害波信号n(t)は、上式のように遅延平
均を取られることとなり、低域通過型のフィルタを通る
こととなり、そのレベルは低下する。
した信号から、Wiener Filter(バンドパスフィルタ)
を用いて、所望の周波数帯域の音声信号成分を抽出する
ものである。
えば、時刻tにおける音声s(t)をマイク15で検出し
ようとすると、エンジン11が発生するエンジンノイズ
n1(t)がマイク15で同時に検出される。そこで、エ
ンジンノイズ(エンジンノイズに関係する震動)だけを
検出する(音声s(t)を検出しない)ピックアップ12
を、エンジンルームに直接設置する。ピックアップ12
の出力n2(t)を可変タップWiを有する適応フィルタ1
3に供給し、所望の特性に制御して、信号h(t)n
2(t)を得る。そして、この信号を減算器14に供給
し、マイク15の出力y(t)(=s(t)+n1(t))か
ら差し引き、次式の誤差信号を得る。 y(t)−h(t)n2(t)=s(t)+n1(t)−h(t)n2(t) ・・・(8)
その二乗平均が最小になる適応フィルタ13の係数(可
変タップWi)を勾配法を用いて演算する。
ンプル系列を時刻インデックスkを用いてy(k),n
2(k),h(k)で表すと、適応フィルタ13の出力h
(k)n2(k)は次式で示される。
なお、αは正の定数である。
来の手法においては、以下のような課題があった。上記
した複数のマイクの出力を所定時間遅延して加算する方
法は、同期加算が基本なので、理想的な状態でも、1個
のマイクにつき3dBしかS/Nの向上を期待すること
ができない。このため、実際に音声認識に適用すること
は困難である。
を抽出する方法は、定常妨害音に対してのみ有効であ
り、また目標とする信号と雑音の周波数帯域が重なって
いる場合には、目標の信号成分も失われる。
係する信号だけをピックアップしなければならないが、
そのようなことは、実際には不可能である場合が多い。
ものであり、目標とする信号を、できるだけ雑音に影響
されずに、確実に検出することができるようにするもの
である。
置は、音源から発生した信号を検出する検出手段として
の信号検出部21と、信号検出部21の出力に対応し
て、音源から信号検出部21までの伝達関数を推定する
推定手段としての伝達関数推定部23と、伝達関数推定
部23によって推定された伝達関数と、信号検出部21
により検出された信号を用いて生成される音源推定信号
の誤差を最小化する音源推定信号の更新値を生成する誤
差最小化手段としての音源推定誤差最小化部24と、音
源に関し制約条件を付加する制約手段としての制約部2
5と、音源推定誤差最小化部24により生成された更新
値と、制約部25により与えられた制約に対応して、音
源推定信号を生成する生成手段としての更新部26とを
備えることを特徴とする。
ーリエ変換する変換手段としてのフーリエ変換部22を
さらに設けることができる。
関な信号とし、相関行列を対角化する条件とすることが
できる。
いて音源推定信号の誤差を最小化することができる。
を、音源から信号検出部21までの距離を音速で割った
値を含む関数としてモデル化することができる。
から信号検出部21までの伝達関数が推定されるととも
に、所定の制約条件を与えて、音源からの信号が推定さ
れる。従って、雑音は確実に抑制される。
離(抑制)の原理について説明する。いま、仮に、音源
(この音源には、抽出すべき信号を発生する音源だけで
なく、抑制すべき雑音を発生する音源も含む)がS個、
この音源からの音声信号を検出する信号検出器(マイ
ク)がM個あるものとする。音源sから信号検出器mま
での伝達関数をHm,sとする。このとき、音源sにおけ
る信号xs(t)、あるいはそのフーリエ変換であるX
s(ω)と、信号検出器における信号ym(t)、あるいはそ
のフーリエ変換ym(ω)との関係は、次式で表わされ
る。 Ym(ω)=Hm,sXs(ω) ・・・(11) ただし、m=0,1,・・・,M−1、s=0,1,・
・・,S−1である。
になる。 Y=HX ・・・(12) ここで、Y,H,Xは、それぞれ次式で表わされる。な
お、[ ]tは行列の転置を表わす。
(12)式よりX、すなわち、各音源の信号を独立に求
めることができる。また、一般化逆行列HL -1を用いれ
ば、最小二乗的な意味でXを推定することができる。
に基づいて、数値計算によりXを推定することが可能で
ある。すなわち、次式で示される評価関数E1(X)を最
小化するのである。尚、次式において、|| ||はノルム
を示す。 E1(X)=||Y−HX||2 ・・・(16)
いることができる。すなわち、次式に従ってXの推定値
を更新する。 X(k+1)=X(k)+dX(k) ・・・(17) dX(k)α−∂E1(X)/∂X ・・・(18)
より、Hのランクrが音源の個数Sと等しいか、それよ
り小さくとも、Xに関して適当な解を求めることが可能
となる。すなわち、最小にすべき評価関数E1(X)とあ
わせて、制約条件E2(X)を設定し、次式L(X)を定義
する。尚、次式において、λは係数である。 L(X)=E1(X)+λE2(X) ・・・(19) そして、上記(19)式を、制約付の最小化問題として
解くのである。この場合におけるXの更新は、次式に従
って行なわれる。 X(k+1)=X(k)−α∂L(X)/∂X ・・・(20)
を応用した具体例について説明する。図1に本実施例の
ブロック図を示す。いま、音源sがM個(s=0,1,
・・・,M−1)存在するものと仮定する。信号検出部
21は、M個のマイク(マイク0乃至M−1)で構成さ
れる。任意の音源sから任意のマイクmまでの空間は、
伝達関数Hm,sを有するものとする。信号検出部21に
おいて、マイクmは入力された音声信号を検出し、信号
ym(t)(サンプル係列で表すとym(k))を出力する。
このマイクmの出力ym(k)は、フーリエ変換部22に
おいてフーリエ領域に変換され、Ym(ω)となり、音源
推定誤差最小化部24に出力される。
出力ym(k)から、伝達関数(伝達関数の比H’)を演
算し、音源推定誤差最小化部24に出力する。音源推定
誤差最小化部24は、上記した(16)式の評価関数E
1(X)を最小化するように、Xの更新量の一部dX1を求
める。制約部25においては、Xの制約に関する量E
2(X)に対して、Xの更新量の一部dX2を求める。更新
部26は、更新量dX1とdX2から新たなXを更新し、
音源推定信号として図示せぬ回路に出力するとともに、
次の更新量演算のために、音源推定誤差最小化部24と
制約部25にも出力するようになされている。
出部21のM個のマイクの配置は既知であり、図2に示
すように、マイク0を原点として、任意のマイクmの座
標は位置ベクトルAmで表わされる。マイクmは、音源
0乃至M−1からの信号(音声信号または雑音)を検出
し、検出信号ym(k)をフーリエ変換部22と伝達関数
推定部23へ出力する。
m(k)(ym(t))を処理しやすいように次式に従ってフ
ーリエ変換する。 Ym(ω)=∫g(t)ym(t)exp(−jwt)dt ・・・(21) ただし、g(t)は窓関数で例えばハニング窓である。Y
m(ω)は音源推定誤差最小化部24に出力される。
の間の伝達関数Hm,sに関する推定を行う。この推定
は、伝達関数Hm,sを音波の伝達時間によりモデル化
し、さらに、マイク間の伝達時間差により定式化し、そ
して、伝達時間差を音源の方向による関数と見なしてそ
の方向を求めることで行なわれる。
する。この実施例では、伝達関数Hm,sを次のように近
似(モデル化)する。 Hm,s=Kexp(jωτms) ・・・(22) ここでKは定数、τmsは、音源sからマイクmまでの距
離を音速で割った値(到達時間)である。
0(m=0のマイク)とすると、そのマイク0で検出さ
れた音源sからの信号Y0(ω)(=H0,sXs(ω))を基
準として、(12)式を次のように変形する。 Y'=H'X ・・・(23) ただし、H'は次式で表わされる。
における要素Hm,s/H0、sは、次式で表わすことができ
る。 Hm,s/H0、s=exp(jωΔτms) ・・・(25) ここで、Δτmsは次式で表わされる。 Δτms=τms−τ0,s ・・・(26)
sの出力する信号のマイク0とマイクmへの到達時間の
差のみに依存する。従って、この時間差Δτmsを求める
ことにより、H'を求めることができる。
法について説明する。この時間差Δτmsは、音源の方向
を求めることにより求めることができる。
から音源までの距離が十分大きいものと仮定する。この
仮定のもとでは、時間差Δτmsは音源sの方向にのみ依
存するようになる。図3に示すように、原点に配置され
たマイク0から音源sの方向への単位ベクトルをBsと
すると、次式が成立する。即ち、Δτmsは、ベクトルA
m tとBsの内積で表される。 Δτms=Am tBs ・・・(27)
があるが、例えば、各方向における信号パワーの極大点
のサーチを行なうことで音源sの方向を検出することが
できる。即ち、いま、図3に示すように、xy平面内に
おけるx軸からの角度がθ1、かつ、xy平面に対する
角度がθ2である方向(θ1,θ2)に音源sがあると仮定し
て、マイク0乃至mの出力を、その時間差を合わせて加
算すると、次式で示される信号y(θ1,θ2)が得られ
る。
単位ベクトルであり、次式で表わされる。 S(θ1,θ2)=[cosθ2,cosθ1,cosθ2,sinθ1,sinθ2]・・・(29) このy(θ1,θ2)のパワー(強度)を検出し、その極大
値となる点を大きい順にS個取り、それを音源sの方向
とする。これにより、結局、H'の推定値を得ることが
できる。このH'は、音源推定誤差最小化部24に出力
される。
いて(16)式の評価関数E1(X)(=||Y’−H’X|
|2)が小さくなるようなXの更新量dX1を求める。X
は複素数であるので、複素数の偏微分を考える必要があ
るが、振幅項と位相項とに分けて独立に偏微分を取る。
すなわち、Xは次式で表わされる。 X=[X0,X1,・・・,XS-1]t ・・・(30)
すようにする。
φsとに分けて偏微分を行なう。
sと∂E(Y'|X)/∂φsが、dX1として更新部26に
送られる。
与える。この実施例では、各音源sを無相関な信号とみ
なして、次式で示す相関行列Pが対角化されること(す
なわち、対角項以外が0になること)を制約条件とす
る。
は省略している。
xi(k)を次式のように定義する。 xi(k) =[xi(k),xi(k+1),xi(k+2),・・・,xi(k+(N−1))] ・・・(36)
ができる。 Σxi t(k)xj(k)=0 ・・・(37) 但し、i≠jである。
9)式からdxi(k)を演算することができる。なお、
ε2は正の定数である。
により、相関行列Pは対角化されていく。
こともできる。しかしながら、本実施例においては、制
約部25で、更新部26から送られてくるXの推定値を
フーリエ逆変換し、時間領域の推定値xiにしてから上
述の演算処理が行なわれる。
dX2として更新部26へ送られる。dX2はdX1と対
応させるため、フーリエ変換の振幅項と位相項に分解さ
れる。
と制約部25からそれぞれ送られてくるdX1とdX2を
用いて、次式に従ってXの推定値を更新していく。 X=X+dX1+dX2 ・・・(40)
定誤差最小化部24と制約部25へ送り返す。音源推定
誤差最小化部24、制約部25および更新部26の更新
の処理は、それが収束するまで、あるいは所定の回数を
上限として繰り返される。繰り返し計算の結果が分離さ
れた音源の信号Xの推定値として出力される。
ることは、各音源の信号を独立に推定することに他なら
ない。そして、この音源には、抽出すべき音声信号の信
号源はもとより、雑音を発生する音源も信号源として含
まれているので、理論的には雑音と完全に分離した音声
信号を得ることができる。
置によれば、音源から検出手段までの伝達関数を推定
し、所定の制約条件を与えて、音源からの信号を推定す
るようにしたので、次のような効果を奏することができ
る。 (1)妨害音を分離して所望の信号だけを取りだすこと
ができる。 (2)従来の指向性マイクを用いる場合に比べて、理論
的に音源信号推定の効果が大きい。 (3)従来のWiener Filterなどを用いる場合に比較し
て、非定常な信号を扱うことができる。 (4)従来の適応信号処理のように、参照信号(妨害音
だけに関係する信号)を取りだす必要がないので、種々
の分野に適用が可能となる。
示すブロック図である。
の配置を説明する図である。
と音源の位置を説明する図である。
ロック図である。
ブロック図である。
Claims (5)
- 【請求項1】 音源から発生した信号を検出する検出手
段と、 前記検出手段の出力に対応して、前記音源から前記検出
手段までの伝達関数を推定する推定手段と、 前記推定手段によって推定された伝達関数と、前記検出
手段により検出された信号を用いて生成される音源推定
信号の誤差を最小化する音源推定信号の更新値を生成す
る誤差最小化手段と、 前記音源に関し制約条件を付加する制約手段と、 前記誤差最小化手段により生成された前記更新値と、前
記制約手段により与えられた制約に対応して、音源推定
信号を生成する生成手段とを備えることを特徴とする音
源信号推定装置。 - 【請求項2】 前記検出手段により検出された信号をフ
ーリエ変換する変換手段をさらに備えることを特徴とす
る請求項1に記載の音源信号推定装置。 - 【請求項3】 前記制約条件は、各音源の発生する信号
を無相関な信号とし、相関行列を対角化する条件である
ことを特徴とする請求項1または2に記載の音源信号推
定装置。 - 【請求項4】 前記誤差最小化手段は、勾配法を用いて
前記音源推定信号の誤差を最小化することを特徴とする
請求項1,2または3に記載の音源信号推定装置。 - 【請求項5】 前記推定手段は、前記伝達関数を、前記
音源から前記検出手段までの距離を音速で割った値を含
む関数としてモデル化することを特徴とする請求項1乃
至4のいずれかに記載の音源信号推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35686392A JP3424757B2 (ja) | 1992-12-22 | 1992-12-22 | 音源信号推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35686392A JP3424757B2 (ja) | 1992-12-22 | 1992-12-22 | 音源信号推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06195097A true JPH06195097A (ja) | 1994-07-15 |
JP3424757B2 JP3424757B2 (ja) | 2003-07-07 |
Family
ID=18451145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35686392A Expired - Lifetime JP3424757B2 (ja) | 1992-12-22 | 1992-12-22 | 音源信号推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3424757B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867581A (en) * | 1994-10-14 | 1999-02-02 | Matsushita Electric Industrial Co., Ltd. | Hearing aid |
WO2006131959A1 (ja) * | 2005-06-06 | 2006-12-14 | Saga University | 信号分離装置 |
US7478041B2 (en) * | 2002-03-14 | 2009-01-13 | International Business Machines Corporation | Speech recognition apparatus, speech recognition apparatus and program thereof |
JP2009509362A (ja) * | 2005-06-24 | 2009-03-05 | ネイダーランゼ、オルガニザティー、ボー、トゥーゲパストナトゥールウェテンシャッペルーク、オンダーツォーク、ティーエヌオー | 複数の音源によって放射される信号から音響信号を抽出するためのシステムおよび方法。 |
WO2022075035A1 (ja) * | 2020-10-05 | 2022-04-14 | 株式会社オーディオテクニカ | 音源定位装置、音源定位方法及びプログラム |
-
1992
- 1992-12-22 JP JP35686392A patent/JP3424757B2/ja not_active Expired - Lifetime
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867581A (en) * | 1994-10-14 | 1999-02-02 | Matsushita Electric Industrial Co., Ltd. | Hearing aid |
US7478041B2 (en) * | 2002-03-14 | 2009-01-13 | International Business Machines Corporation | Speech recognition apparatus, speech recognition apparatus and program thereof |
WO2006131959A1 (ja) * | 2005-06-06 | 2006-12-14 | Saga University | 信号分離装置 |
JP2009509362A (ja) * | 2005-06-24 | 2009-03-05 | ネイダーランゼ、オルガニザティー、ボー、トゥーゲパストナトゥールウェテンシャッペルーク、オンダーツォーク、ティーエヌオー | 複数の音源によって放射される信号から音響信号を抽出するためのシステムおよび方法。 |
WO2022075035A1 (ja) * | 2020-10-05 | 2022-04-14 | 株式会社オーディオテクニカ | 音源定位装置、音源定位方法及びプログラム |
JPWO2022075035A1 (ja) * | 2020-10-05 | 2022-04-14 | ||
US12047754B2 (en) | 2020-10-05 | 2024-07-23 | Audio-Technica Corporation | Sound source localization apparatus, sound source localization method and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP3424757B2 (ja) | 2003-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108172231B (zh) | 一种基于卡尔曼滤波的去混响方法及系统 | |
US6002776A (en) | Directional acoustic signal processor and method therefor | |
RU2511672C2 (ru) | Оценка местоположения источника звука с использованием фильтрования частиц | |
KR100878992B1 (ko) | 지오메트릭 소스 분리 신호 처리 기술 | |
CN106875938B (zh) | 一种改进的非线性自适应语音端点检测方法 | |
US7991166B2 (en) | Microphone apparatus | |
WO2015065682A1 (en) | Selective audio source enhancement | |
CN110706719B (zh) | 一种语音提取方法、装置、电子设备及存储介质 | |
KR20090037692A (ko) | 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치 | |
JP2007523514A (ja) | 適応ビームフォーマ、サイドローブキャンセラー、方法、装置、及びコンピュータープログラム | |
US7181026B2 (en) | Post-processing scheme for adaptive directional microphone system with noise/interference suppression | |
Ferguson | Time-delay estimation techniques applied to the acoustic detection of jet aircraft transits | |
Huang et al. | Microphone arrays for video camera steering | |
JPWO2015129760A1 (ja) | 信号処理装置、方法及びプログラム | |
Kuo et al. | Convergence analysis of narrow-band active noise control system | |
Griebel et al. | Wavelet transform extrema clustering for multi-channel speech dereverberation | |
Hosseini et al. | Time difference of arrival estimation of sound source using cross correlation and modified maximum likelihood weighting function | |
JP3424757B2 (ja) | 音源信号推定装置 | |
JP3424761B2 (ja) | 音源信号推定装置および方法 | |
CN113744752A (zh) | 语音处理方法及装置 | |
CN111273230B (zh) | 一种声源定位方法 | |
Tammen et al. | Complexity reduction of eigenvalue decomposition-based diffuse power spectral density estimators using the power method | |
CN116106826A (zh) | 声源定位方法、相关装置和介质 | |
Moir et al. | A kepstrum approach to filtering, smoothing and prediction with application to speech enhancement | |
Dong et al. | Distributed wave-domain active noise control based on the diffusion strategy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030403 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090502 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100502 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100502 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130502 Year of fee payment: 10 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130502 Year of fee payment: 10 |