JP3110201B2 - ノイズ除去装置 - Google Patents
ノイズ除去装置Info
- Publication number
- JP3110201B2 JP3110201B2 JP05089627A JP8962793A JP3110201B2 JP 3110201 B2 JP3110201 B2 JP 3110201B2 JP 05089627 A JP05089627 A JP 05089627A JP 8962793 A JP8962793 A JP 8962793A JP 3110201 B2 JP3110201 B2 JP 3110201B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- signal
- sound
- spectrum
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
- Noise Elimination (AREA)
Description
し、ノイズ成分を含む音響信号などからノイズ成分を除
去したノイズ除去音響信号を出力するものである。
ル信号処理を利用した装置の改善が行われている。
装置やハンズフリー(HandsFree)電話機など
の技術開発が盛んに行われている。これらの装置におい
て重要な技術として、ノイズ除去技術は、音声を処理す
る前の前処理として必須の技術とされている。このた
め、ノイズ除去装置もいろいろと提案されている。
電話機において、背景雑音が大きい場合、音声信号にノ
イズが重畳して、通話が困難になるという問題がある。
更に、具体的にはハンズフリー電話機においては、エン
ジンノイズ、走行ノイズ(ウインド=風切りノイズ、ロ
ードノイズなど)、ファンノイズなどの背景ノイズがマ
イクロフォンに音声信号と共に混入し、相手話者に対す
る信号対雑音比(S/N)を低下させて、聴取を困難に
し、通話ができなくなる場合もある。
し得るノイズ除去装置が必要とされている。この様なノ
イズ除去装置として、いろいろな提案が行われている。
一例の雑音除去装置は、文献:特開平4−245300
号公報に示されている。この文献に示されている雑音除
去装置を、図2を用いて説明する。
で捕捉された音声信号などは特徴抽出部31に与えられ
る。一方、マイクロフォン201で捕捉された雑音信号
などは特徴抽出部41に与えられる。特徴抽出部31又
は41は、入力信号の音響的な特徴を時系列的に表現す
る時系列特徴ベクトルを得るものである。このため、離
散的フーリエ変換又は高速フーリエ変換又は帯域フィル
タバンクなどで構成される変換器などで構成されてい
る。
声信号などの時系列特徴ベクトルは、定常雑音除去部2
1と雑音区間推定部20に与えられる。また、特徴抽出
部41から出力された雑音信号などの時系列特徴ベクト
ルは、定常雑音除去部22に与えられる。雑音区間推定
部20は、特徴抽出部31からの音声などの時系列特徴
ベクトルをもとに音声が含まれていない雑音区間を推定
する。定常雑音除去部21は、雑音区間推定部20が出
力する区間内の入力の音声の時系列特徴ベクトルから定
常雑音を推定する。そして、推定して得られた定常雑音
を入力の音声の時系列特徴ベクトル全体から除去し、非
定常雑音除去部23に与える。
定部20が出力する区間内の入力の周囲雑音の時系列特
徴ベクトルから定常雑音を推定する。そして、この定常
雑音を入力の周囲雑音の時系列特徴ベクトル全体から除
去して、非定常雑音除去部23に与える。
間推定部20が出力する雑音区間内の2つの入力の時系
列特徴ベクトルから2入力間の補正係数を計算し、定常
雑音除去部21から供給される定常雑音除去後の音声の
時系列特徴ベクトル中に含まれる非定常雑音を推定し、
定常雑音除去後の音声の時系列特徴ベクトル全体から求
めた非定常雑音を除去するものである。
装置によると、音声信号がなくノイズ信号だけの場合
は、ノイズ除去が良好に実行されると考えられる。しか
しながら、実際の環境では音声信号と定常雑音(理想的
定常雑音はまれで時間的に変化している。)と非定常雑
音とが混ざり合って、2個のマイクロフォン101、2
01で捕捉される。
を明確にしたり、雑音成分の推定をすることも困難であ
る。また、同様に音声信号と非定常雑音の区別を行うこ
とも非常に困難である。
難なため、本来音声信号の成分であるはずの成分まで、
誤ってノイズ成分と判断して、除去する可能性があるた
めに、この様な場合は音声信号の波形が歪んでしまうこ
ともある。また、精度良くノイズを推定しようとすると
推定のための処理量や演算量などが多くなり、ノイズ除
去応答速度が遅くなることもあった。
させながら、しかも、ノイズ成分を十分に除去するため
には、非常に困難な技術が必要とされていた。
のであり、その目的とするところは、定常雑音や非定常
雑音などを、簡単な構成で、十分に実用し得る応答速度
で除去し得るノイズ除去装置を提供することである。
を達成するために、音響を捕捉して音響信号を出力する
音響捕捉手段(例えば、マイクロフォンユニットなど)
を少なくとも2以上備え、上記2以上の音響捕捉手段の
音響信号からノイズ(例えば、雑音や騒音など)を除去
したノイズ除去音響信号を出力するノイズ除去装置にお
いて、以下の特徴的な構成で実現した。
係数に応じた推定ノイズ信号を出力する適応ディジタル
フィルタを有する適応ノイズ予測手段と、上記推定ノイ
ズ信号の推定誤差を検出すると共に上記音響信号中にお
ける音声の有無を検出し、音声が無いことを検出したと
きに上記推定誤差に応じて上記フィルタ係数の適応制御
を行うフィルタ係数更新手段と、上記2以上の音響捕捉
手段の音響信号および推定ノイズ信号から、ノイズのス
ペクトルを推定し、推定ノイズスペクトルを出力するノ
イズスペクトル推定手段と、上記2以上の音響捕捉手段
の音響信号のスペクトルを求める音響スペクトル変換手
段と、上記推定ノイズスペクトルと上記音響スペクトル
とから処理を行ってノイズが除去された上記ノイズ除去
音響信号を出力する処理手段とを備えることを特徴とす
る。
波数スペクトルや、振幅スペクトルや、位相スペクトル
や、パワースペクトルなどの、いずれかに着目して処理
することであってもよい。
で捕捉された音響信号とフィルタ係数をもとに適応ノイ
ズ予測手段が推定ノイズ信号を出力し、当該推定ノイズ
信号の推定誤差には、フィルタ係数更新手段が、音声が
無いことを検出したときにフィルタ係数の適応制御を行
うことで対応する。また、この発明では、上記2以上の
音響捕捉手段で捕捉された音響信号に含まれているノイ
ズ成分の(例えば、周波数)スペクトルを推定してい
る。更に、上記音響信号に対しても(例えば、周波数)
スペクトルに変換している。この(例えば、周波数)ス
ペクトルへの変換には、例えば、高速フーリエ変化(F
FT)などで変換することもできる。
着目して、上記音響(例えば、周波数)スペクトルと推
定ノイズスペクトルとから処理を行って、ノイズスペク
トルの精度良い推定や補正を行うものである。例えば、
上記音響(例えば、周波数スペクトル)と推定ノイズス
ペクトルとの、例えば、相関処理などを行って、ノイズ
スペクトルを細かく処理して、特徴を細かく補正して、
補正されたノイズスペクトルを得る。
ペクトルを上記音響(例えば、周波数)スペクトルから
除去(例えば、減算処理)することによって、精度良く
ノイズが除去された音響(例えば、周波数)スペクトル
を得ることができる。
去された音響周波数スペクトルは、例えば、高速逆フー
リエ変換(IFFT)などを行うことによって、時間領
域のノイズ除去音響信号を出力することができる。
雑な処理を行う必要がない。しかも、主音響信号の(例
えば、周波数)スペクトルを考慮して、推定ノイズスペ
クトルを精度良く補正することができ、ノイズの変動が
あっても、追随して精度良く推定することができる。
スペクトルや、位相スペクトルや、パワースペクトルに
着目しても、上述と同等な作用を得ることができる。
施例を図面を用いて説明する。
能ブロック図である。この図1において、このノイズ除
去装置は、主マイクロフォン2と参照マイクロフォン1
とで音響やノイズなどを捕捉する。そして、このノイズ
除去装置でノイズを除去して必要な音響信号だけを出力
するものである。
測器5で行う。そして、推定されたノイズ信号Sn*と
主音響信号Saとを周波数領域処理部20で高速フーリ
エ変換を行う。そして、周波数領域のノイズスペクトル
F(Sn*)と、周波数領域の主音響信号F(Sa)と
から再びノイズ成分を予測し、除去して定常雑音や非定
常雑音などを精度良く除去した音響信号を出力するもの
である。
で捕捉された参照音響捕捉信号はA/D(アナログ/デ
ジタル)変換器3に供給される。そして、このA/D
(アナログ/デジタル)変換器3は、参照音響捕捉信号
に対して所定方式の変換方式で、所定ビット数単位に変
換して、デジタルの参照音響信号Snを出力する。この
デジタルの参照音響信号Snは、適応デジタルフィルタ
から構成される適応ノイズ予測器5に供給する。
捉された主音響捕捉信号はA/D(アナログ/デジタ
ル)変換器4に供給される。そして、このA/D(アナ
ログ/デジタル)変換器4は、A/D(アナログ/デジ
タル)変換器3と同じ機能のものであって、主音響捕捉
信号に対して所定方式の変換方式で、所定ビット数単位
に変換して、デジタルの主音響信号Saを出力する。こ
のデジタルの主音響信号Saは、減算器6と高速フーリ
エ変換器8と音声検出器7とに供給する。
ば、線形変換とする。そして、1サンプルの変換語長
(ビット数)は、例えば、12ビット以上とする。
響信号Saのパワーの変化なを監視し、しかも、所定の
規則で判断して、音声の有無などの検出を行う。そし
て、例えば、音声信号が検出されない状態では、係数更
新制御信号Ckを、例えば、論理1で出力し、そして、
この係数更新制御信号Ckを論理1で適応ノイズ予測器
5に与える。そして、適応ノイズ予測器5はノイズの推
定を行うために、所定の方式によってフィルタ係数(タ
ップ係数)の適応制御を行って、推定ノイズ信号Sn*
を出力する。
上述した様に適応デジタルフィルタで構成されているの
で、供給される参照音響信号Snと減算器6の出力信号
Se(推定誤差信号、若しくは残差信号)とから適応フ
ィルタリングを行って、推定ノイズ信号Sn*を出力す
る。そして、この推定ノイズ信号Sn*は、減算器6の
減算入力(−)に供給される。
自動車内での伝搬路の特性を表すインパルス応答から畳
み込み積分などを行い、この推定ノイズ信号Sn*を求
める。そして、減算器6は、主音響信号Saと推定ノイ
ズ信号Sn*との差を求めて、推定誤差信号Se(残差
信号)を求める。この推定誤差信号Seは、再び適応ノ
イズ予測器5に係数値更新のために与えられる。更に、
音声検出器7にも与えられる。
主音響信号Saに対して、高速フーリエ変換(FFT:
Fast Fourier Transformati
on)を行って、周波数領域のパワースペクトルに変換
して、音響周波数スペクトル信号F(Sa)を出力し、
減算器11とノイズ成分予測器10とに与える。
推定ノイズ信号Sn*に対して、高速フーリエ変換(F
FT)を行って、周波数領域のパワースペクトルに変換
して、ノイズ周波数スペクトル信号F(Sn*)を出力
し、ノイズ成分予測器10に与える。
波数スペクトル信号F(Sa)と、ノイズ周波数スペク
トルF(Sn*)とから再び正確なノイズのスペクトル
を予測する。即ち、推定ノイズ信号Sn*は、適応ノイ
ズ予測器5によって、学習同定法などの推定アルゴリス
ムで推定したものであるので、この推定に比較的時間を
要する場合がある。例えば、音響信号の変化が激しい場
合は、実時刻の音響信号から数msec〜数百msec
程度遅れて、ノイズが推定される場合がある。
は、パワーなどの変化が少ないためノイズの推定も速
く、そして、誤差が少なく精度良くノイズを推定するこ
とができる。
ノイズ信号Sn*とは、ノイズが非定常な場合は特に同
期していない可能性があるので、ノイズ成分予測器10
でこの様な点を補正する。つまり、ノイズ成分予測器1
0は、主音響周波数スペクトルFSaと推定ノイズ周波
数スペクトルF(Sn*)との、例えば、相関処理など
によって、推定ノイズ周波数スペクトルFSn*の細か
い特徴を補正する。即ち、主音響周波数スペクトルF
(Sa)に含まれているノイズ周波数スペクトルに近い
ノイズ周波数スペクトルにさせるため、予測処理も併用
して補正する。この補正によって得られたノイズスペク
トルF(Sn#)を減算器11の減算入力(−)に与え
る。
クトルF(Sa)から補正されたノイズスペクトルF
(Sn#)を減算し、主音響周波数スペクトルF(S
a)から補正されたノイズスペクトルF(Sn#)を除
去する。そして、この除去によって得られたノイズ除去
音響周波数スペクトルF(S)を高速逆フーリエ変換器
12に与える。
イズ除去音響周波数スペクトルF(S)を高速逆フーリ
エ変換を行って、時間領域のデジタル形式のノイズ除去
音響信号を出力し、D/A(デジタル/アナログ)変換
器13に与える。そして、D/A(デジタル/アナロ
グ)変換器13は、デジタル形式のノイズ除去音響信号
をアナログのノイズ除去音響信号Sに変換して出力す
る。
ば、適応ノイズ予測器5で比較的容易に推定ノイズ信号
Sn*を得ることができる。しかも、この推定ノイズ信
号Sn*は、ノイズ除去にそのまま使用することでは、
十分なノイズ除去ができないので、更に、精度良い音響
信号を得るために、周波数スペクトルに変換している。
そして、ノイズ成分予測器10で、主音響周波数スペク
トルF(Sa)と推定ノイズ周波数スペクトルF(Sn
*)とから、再びノイズスペクトルを細かく補正してい
るので精度良いノイズスペクトルF(Sn#)を得るこ
とができる。
響成分との弁別(判別)が容易であるとういうことを利
用しているものである。そして、ノイズスペクトルF
(Sn#)(雑音や騒音などのスペクトル)を主音響周
波数スペクトルF(Sa)から除去して、ノイズ除去音
響周波数スペクトルF(S)を得ている。
を少なくして、定常ノイズや非定常ノイズだけを入力音
響信号から除去することができる。
除去装置における、周波数領域に対する処理では、処理
量が多くなり、遅延を大きくさせるという問題や、時間
領域の処理では、音声が消えるのでマイクロフォンの取
り付け位置によっては感度が大きすぎるという問題など
も解決することができる。
て、適応ノイズ予測器5は、適応デジタルフィルタで実
現されるものであるが、ノイズの推定には、いろいろな
推定アルゴリズムを適用することができる。例えば、上
述の学習同定法だけでなく、LMS(Least Me
an Square)法や、RLS(Recursiv
ev Least Square)法や、高速RLS法
として、FTF(Fast Transversal
Filter)法などであっても適用することができ
る。
捉手段として、2個のマイクロフォンを用いて構成した
が、この様な構成に限定するものではない。例えば、3
個以上のマイクロフォンなどを使用して、これらのマイ
クロフォンで捕捉された音声信号からノイズを推定する
構成であってもよい。
号Saと推定ノイズSn*との周波数スペクトルとを求
めて、周波数スペクトル領域に着目して、更にノイズ成
分の再推定を行ったが、この周波数スペクトルへの変換
のために、高速フーリエ変換器8、9を使用したが、こ
れに限定するものではない。他の構成で周波数スペクト
ルの信号に変換するものであってもよい。
スペクトルに着目して説明したが、他に、振幅スペクト
ルや、位相スペクトルや、パワースペクトルなどに着目
して処理することであってもよい。
信号Saと推定誤差信号Seとのパワーを監視して、パ
ワーの変化から音声検出を行ったが、これに限定するも
のではない。例えば、主音響信号Saと、参照音響信号
Snと、推定誤差信号Seとのいずれか一つの信号のパ
ワーを監視して、音声検出を行うことであってもよい。
象としているが、これに限定するものではない。これ
は、一般には音響信号を検出する音響検出器として適用
することができる。
(アナログ/デジタル)変換器3、4は、線形変換方式
だけでなく、圧伸則(例えば、μ−Law則、A−La
w則)などであってもよい。また、変換ビット数も上述
の12ビットに限定するものではなく、目的に応じて、
変換ビット数は多く設定することが望ましい。
る、ノイズ除去音響周波数スペクトルF(S)を外部に
接続する音声認識装置などに出力することであってもよ
い。
は、自動車内におけるハンズフリー(Hands Fr
ee)電話機に適用するだけでなく、いろいろな音響信
号を取り込む装置に適用して効果的である。例えば、ノ
イズ環境下の工場内や航空機内などで使用される音響装
置に使用しても効果的である。
置によれば、適応ノイズ予測手段と、フィルタ係数更新
手段と、ノイズスペクトル推定手段と、音響スペクトル
変換手段と、処理手段とを備えるので、定常雑音や非定
常雑音などを、簡単な構成で、十分に実用し得る応答速
度で精度良く除去し得る。
ロック図である。
る。
4…A/D(アナログ/デジタル)変換器、5…適応ノ
イズ予測器、6、11…減算器、7…音声検出器、8、
9…高速フーリエ変換器、10…ノイズ成分予測器、1
2…高速逆フーリエ変換器、13…D/A(デジタル/
アナログ)変換器。20…周波数領域処理部。
Claims (1)
- 【請求項1】 音響を捕捉して音響信号を出力する音響
捕捉手段を少なくとも2以上備え、上記2以上の音響捕
捉手段の音響信号からノイズを除去したノイズ除去音響
信号を出力するノイズ除去装置において、上記音響信号をもとに、フィルタ係数に応じた推定ノイ
ズ信号を出力する適応ディジタルフィルタを有する適応
ノイズ予測手段と、 上記推定ノイズ信号の推定誤差を検出すると共に上記音
響信号中における音声の有無を検出し、音声が無いこと
を検出したときに上記推定誤差に応じて上記フィルタ係
数の適応制御を行うフィルタ係数更新手段と、 上記2以上の音響捕捉手段の音響信号および推定ノイズ
信号から、ノイズのスペクトルを推定し、推定ノイズス
ペクトルを出力するノイズスペクトル推定手段と、 上記2以上の音響捕捉手段の音響信号のスペクトルを求
める音響スペクトル変換手段と、 上記推定ノイズスペクトルと上記音響スペクトルとから
処理を行ってノイズが除去された上記ノイズ除去音響信
号を出力する処理手段とを備えることを特徴とするノイ
ズ除去装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05089627A JP3110201B2 (ja) | 1993-04-16 | 1993-04-16 | ノイズ除去装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05089627A JP3110201B2 (ja) | 1993-04-16 | 1993-04-16 | ノイズ除去装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06303689A JPH06303689A (ja) | 1994-10-28 |
JP3110201B2 true JP3110201B2 (ja) | 2000-11-20 |
Family
ID=13975999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05089627A Expired - Lifetime JP3110201B2 (ja) | 1993-04-16 | 1993-04-16 | ノイズ除去装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3110201B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102078962B1 (ko) * | 2019-04-16 | 2020-02-20 | (주)에이치엠티 | 선박의 복원성능 실시간 확인장치 |
JP2022532522A (ja) * | 2019-05-03 | 2022-07-15 | フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 気流を特徴付けるための方法および装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007106399A2 (en) | 2006-03-10 | 2007-09-20 | Mh Acoustics, Llc | Noise-reducing directional microphone array |
US7171008B2 (en) * | 2002-02-05 | 2007-01-30 | Mh Acoustics, Llc | Reducing noise in audio systems |
JP4862656B2 (ja) * | 2005-01-20 | 2012-01-25 | 日本電気株式会社 | 信号除去方法、信号除去システムおよび信号除去プログラム |
JP4742226B2 (ja) * | 2005-09-28 | 2011-08-10 | 国立大学法人九州大学 | 能動消音制御装置及び方法 |
JP4476355B2 (ja) * | 2006-05-04 | 2010-06-09 | 株式会社ソニー・コンピュータエンタテインメント | エコー及びノイズキャンセレーション |
US11696083B2 (en) | 2020-10-21 | 2023-07-04 | Mh Acoustics, Llc | In-situ calibration of microphone arrays |
-
1993
- 1993-04-16 JP JP05089627A patent/JP3110201B2/ja not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102078962B1 (ko) * | 2019-04-16 | 2020-02-20 | (주)에이치엠티 | 선박의 복원성능 실시간 확인장치 |
JP2022532522A (ja) * | 2019-05-03 | 2022-07-15 | フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 気流を特徴付けるための方法および装置 |
JP7187717B2 (ja) | 2019-05-03 | 2022-12-12 | フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 気流を特徴付けるための方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
JPH06303689A (ja) | 1994-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100316116B1 (ko) | 잡음감소시스템및장치와,이동무선국 | |
US8031861B2 (en) | Communication system tonal component maintenance techniques | |
US7031478B2 (en) | Method for noise suppression in an adaptive beamformer | |
KR101254876B1 (ko) | 노이즈 게이트, 수음 장치 및 노이즈 제거 방법 | |
US5878389A (en) | Method and system for generating an estimated clean speech signal from a noisy speech signal | |
US5848151A (en) | Acoustical echo canceller having an adaptive filter with passage into the frequency domain | |
EP1096471B1 (en) | Method and means for a robust feature extraction for speech recognition | |
JP6545419B2 (ja) | 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置 | |
WO2000036592A1 (en) | Improved noise spectrum tracking for speech enhancement | |
US6073152A (en) | Method and apparatus for filtering signals using a gamma delay line based estimation of power spectrum | |
US20030018471A1 (en) | Mel-frequency domain based audible noise filter and method | |
KR20100010136A (ko) | 잡음을 제거하는 장치 및 방법 | |
JP3110201B2 (ja) | ノイズ除去装置 | |
US20080052067A1 (en) | Noise suppressor for removing irregular noise | |
JP2836271B2 (ja) | 雑音除去装置 | |
JP2962572B2 (ja) | 雑音除去装置 | |
JP3877270B2 (ja) | 音声特徴量抽出装置 | |
JP3270866B2 (ja) | 雑音除去方法および雑音除去装置 | |
JP3418855B2 (ja) | 雑音除去装置 | |
CN117280414A (zh) | 基于动态神经网络的噪声降低 | |
Ezzaidi et al. | A new algorithm for double talk detection and separation in the context of digital mobile radio telephone | |
EP1729287A1 (en) | Method and apparatus for adaptively suppressing noise | |
JP4173978B2 (ja) | 雑音除去装置、及び、音声認識装置、並びに音声通信装置 | |
JPH03269498A (ja) | 雑音除去方式 | |
JP3171756B2 (ja) | ノイズ除去装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070914 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080914 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080914 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090914 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090914 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 13 |
|
EXPY | Cancellation because of completion of term |