JPH09321860A - 残響除去方法及び装置 - Google Patents
残響除去方法及び装置Info
- Publication number
- JPH09321860A JPH09321860A JP6665997A JP6665997A JPH09321860A JP H09321860 A JPH09321860 A JP H09321860A JP 6665997 A JP6665997 A JP 6665997A JP 6665997 A JP6665997 A JP 6665997A JP H09321860 A JPH09321860 A JP H09321860A
- Authority
- JP
- Japan
- Prior art keywords
- dereverberation
- transfer function
- channel
- signal
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
とする。 【解決手段】 話者からの音声を異なる位置に設けた第
1及び第2チャンネルマイクロホンで受音し、第1及び
第2チャンネル残響音声入力端子に入力し、各チャンネ
ルの入力信号を逆フィルタ処理部によりフィルタ処理し
た後、逆フィルタ処理部の出力信号と各チャンネルの入
力信号とから残響除去性能評価部で残響除去性能を評価
する。次いで、上記評価結果に基づき評価結果が最適に
近づくように逆フィルタ係数計算部で逆フィルタ処理部
のフィルタ係数を計算し更新する。これを繰り返してい
くことにより、室内インパルス応答の変動に追随して常
に最適な残響除去を可能とする。
Description
ど残響のある場所で音声を明瞭に受音するのに用いる残
響除去方法及び装置に関する。
として、話者位置から基準信号を発生して、受音点まで
の伝達関数を事前に測定しておき、その伝達関数の逆フ
ィルタを計算し、受音信号に畳み込むことによって残響
を除去する方法があった。[参考文献:M.Miyoshi and
Y.Kaneda, "Inverse filtering of room acoustics," I
EEE Trans.ASSP,36(2),pp.145-152(1988)] 図1は、受音点までの伝達関数を事前に測定し逆フィル
タを計算する上記文献に示された従来の残響除去装置20
0 の技術を説明する図であり、21,22 は第1、第2チャ
ンネル残響音声入力端子、3は残響除去音声出力端子、
4は逆フィルタ処理部、6は逆フィルタ係数計算部、
71,72 は第1、第2チャンネルマイクロホン、9は話
者、21は事前伝達関数測定部、22は伝達関数測定基
準信号発生部、23は伝達関数測定用基準信号出力端
子、24はスピーカである。
は、第1に、伝達関数測定用基準信号発生部22で発生
された基準信号を伝達関数測定用基準信号出力端子23
に通して話者9と同じ位置におかれたスピーカ24より
出力する。第2に、部屋の残響が加わった基準信号を第
1チャンネルマイクロホン71 と第2チャンネルマイク
ロホン72とで受音する。第3に、受音された各チャンネ
ルの信号と基準信号から事前伝達関数測定部21で、話
者9の位置から第1チャンネル残響音声入力端子21まで
の伝達関数と話者9の位置から第2チャンネル残響音声
入力端子22までの伝達関数を計算する。第4に、逆フィ
ルタ係数計算部6で測定された各チャンネルの伝達関数
の特性を打ち消す逆フィルタ係数を計算し、その逆フィ
ルタ係数を用いて逆フィルタ処理部4で処理することに
より残響除去された音声信号を残響除去音声出力端子3
から出力する。
置からマイクロホン71,72 の位置である受音点までの伝
達関数を測定しておく必要があり、事前に測定ができな
い場合、あるいは話者及び/又はマイクロホンが移動し
たり、室内の人やものが移動することにより伝達関数が
時時刻々変化する場合などには適用が難しい欠点があっ
た。
それぞれ逆フィルタを通してから互いに加算する残響除
去システムを提案している。そのシステムでは、基準信
号を使った伝達関数の測定は行わず、話者から2つのマ
イクロホン出力に至る2つのチャネルの伝達関数C1、C2
を仮定し、その比C2/C1 を伝達関数として有する評価用
フィルタを設け、第2チャネルを通った信号をその評価
用フィルタに通した出力と第1チャネルを通った信号と
の差が0となるようにC2/C1 を決め、そのC2/C 1 からPa
de近似により上記2つの逆フィルタの係数C2,C1 を決定
している("MULTI-CHANNEL DECONVOLUTION USING PADE
APPROXIMATION",IEEE,1995, pp.3007-3009)。この方法
では、残響除去出力は評価情報として使われていない
(即ちフィードバックされていない)ので、高い精度の
残響除去は期待できない。またC2/C 1 の計算においてC1
が0の場合、C2/C1 が発散する問題がある。
法では事前に話者位置から受音点までの伝達関数を測定
しておく必要があった点を解決し、事前に測定ができな
い場合、あるいは伝達関数が時時刻々変化する場合など
にも適用できる残響除去方法及び装置を提供することに
ある。
によれば、残響のある室内でマイクロホンにより受音さ
れた話者からの残響音声から残響成分を除去する残響除
去方法であって、以下のステップを含む: (a) 異なる位置に設置した少なくとも2つのマイクロホ
ンで話者からの残響音声をそれぞれ受音して第1及び第
2受音信号を入力し、(b) 上記第1及び第2受音信号に
対し、上記話者から上記第1及び第2受音信号のそれぞ
れの入力に至る第1及び第2伝達関数の逆フィルタ処理
を行うことにより残響除去信号を得て、(c) 上記残響除
去信号を残響除去された音声信号として出力すると共
に、上記第1及び第2受音信号と上記残響除去信号とか
ら残留残響成分に対応する量を評価量として求め、(d)
上記評価量が0に最も近づくように上記逆フィルタ処理
の逆フィルタ係数を計算し、その逆フィルタ係数により
それまでの逆フィルタ係数を更新し、(e) 上記ステップ
(a) に戻り、再びステップ(a)〜(d)を繰り返す。
では入力受音信号と出力残響除去信号とから残響除去性
能を評価する手段を設け、その評価結果が最適になるよ
うに逆フィルタ係数を計算することを最も主要な特徴と
する。残響除去処理後の音声を評価し、その評価結果を
逐次、残響除去処理に反映させるため、事前に伝達関数
を測定する必要がない点が、従来の技術との相違点であ
る。
は残響除去処理中も逐次、評価を行い、逆フィルタ係数
計算部ではその結果に基づいて逆フィルタ係数を計算す
る。従って、事前に伝達関数がわからない場合あるいは
伝達関数が時時刻々変化する場合でも、評価結果が最適
となるように逐次、逆フィルタ係数を更新していくこと
により、残響除去を行うことができる。
信号をそれぞれ複数のサブバンドに分割し、間引きを行
ってからそれぞれのサブバンドでこの発明による残響除
去を行い、その残響除去されたサブバンド信号を補間し
てから合成しても全帯域残響除去信号として出力しても
よい。
原理を説明するための残響除去装置100のブロック図
であり、21は第1チャンネル残響音声入力端子、22は第
2チャンネル残響音声入力端子、3は残響除去音声出力
端子、4は逆フィルタ処理部、5は残響除去性能評価
部、6は逆フィルタ係数計算部、71は第1チャンネルマ
イクロホン、72は第2チャンネルマイクロホン、9は話
者である。
は、第1に、話者9によって発声された音声を部屋の互
いに異なる任意の位置に設置された第1及び第2チャン
ネルマイクロホン71,72 により受音して第1及び第2チ
ャンネル残響音声入力端子21,22に入力する。第2に、
各チャンネルの入力信号を逆フィルタ処理部4によりフ
ィルタ処理する。第3に、逆フィルタ処理部4の出力信
号と各チャンネルの入力信号とから残響除去性能評価部
5で残響除去性能を評価する。第4に、その評価結果に
基づき評価結果が最適に近付くように逆フィルタ係数計
算部6で逆フィルタ処理部4のフィルタ係数を計算し更
新する。以上の第1から第4までを繰り返していくこと
により端子3に出力される信号中の残響除去が行われ
る。 第1実施例 図3は、図2で示した本発明の原理による残響除去装置
の第1の実施例のブロック図であり、111 は第1逆フィ
ルタ部、112 は第2逆フィルタ部、12は加算演算部、
131 は第1チャンネル伝達関数もぎフィルタ部、132 は
第2チャンネル伝達関数模擬フィルタ部、15は伝達関
数推定部、161 は第1差分演算部、162は第2差分演算
部である。図2における逆フィルタ処理部4は、図3で
は第1逆フィルタ部111 と第2逆フィルタ部112 と加算
演算部12とから構成される。また図2における残響除
去性能評価部5は図3では第1チャンネル伝達関数模擬
フィルタ部131 と第2チャンネル伝達関数模擬フィルタ
部132 と伝達関数推定部15と第1差分演算部161 と第
2差分演算部162 とから構成されるが、動作原理は図2
の場合と同じである。
ル残響音声入力端子21からの入力信号は第1逆フィルタ
部111 に入力され、第2チャンネル残響音声入力端子22
からの入力信号は第2逆フィルタ部112 に入力され、各
逆フィルタ部111、112の出力信号は加算演算部12で加
算され残響除去音声として残響除去音声出力端子3から
出力される。加算演算部12の出力信号はまた第1チャ
ンネル伝達関数模擬フィルタ部131 と第2チャンネル伝
達関数模擬フィルタ部132 とに入力される。第1差分演
算部161 で第1チャンネル伝達関数模擬フィルタ部131
の出力信号と第1チャンネル残響音声入力端子21からの
入力信号との差分をとる。第2差分演算部162 で第2チ
ャンネル伝達関数模擬フィルタ部132 の出力信号と第2
チャンネル残響音声入力端子22からの入力信号との差分
をとる。各差分演算部161、162の差分出力である誤差信
号e1(z),e2(z) が0となるように逆フィルタ係数計算部
6で第1逆フィルタ係数と第2逆フィルタ係数を計算
し、かつ各差分演算部161、162の出力誤差信号が0とな
るように伝達関数推定部15で第1チャンネル伝達関数
模擬フィルタ部131 のフィルタ係数と第2チャンネル伝
達関数模擬フィルタ部132 のフィルタ係数とを計算する
ことにより残響除去が行える。
信号が残響除去性能の評価量となっており、0となれば
残響除去が完全にできていることが以下のように証明さ
れる。一般に、フィルタの伝達関数はそのフィルタの係
数によって規定されるので、伝達関数とフィルタ係数は
等価であり、以下の説明においては、フィルタの伝達関
数を表す記号例えばH(z),C(z) などをフィルタ係数を表
す記号としても使用する。
9から第1チャンネル残響音声入力端子21までの伝達関
数をC1(z) 、話者9から第2チャンネル残響音声入力端
子22までの伝達関数をC2(z) 、第1チャンネル残響音声
入力端子21での入力信号をM1(z) 、第2チャンネル残響
音声入力端子22での入力信号をM2(z) 、第1及び第2逆
フィルタ部111、112の伝達関数をそれぞれH1(z)、H
2(z)、第1及び第2チャンネル伝達関数模擬フィルタ部
131、132の伝達関数をB1(z)、B2(z)、残響除去音声信号
をY(z)、第1差分演算部161 の出力誤差信号をe1(z) 、
第2差分演算部162の出力誤差信号をe2(z) とする。
達関数H1(z),H2(z),B1(z),B2(z) を設定した場合にB
1(z)=αC1(z), B2(z)=αC2(z)(αは任意定数)とな
り、またH1(z),H2(z) がC1(z),C2(z) の逆フィルタとな
り、そしてY(z)=(1/α)X(z) となること、つまり定数倍
を除いて音声信号が復元できていることを以下に示す。
図3においてe1(z),e2(z) が0の時、 e1(z)=M1(z)−B1(z)Y(z) =[C1(z)−B1(z){H1(z)C1(z)+H2(z)C2(z)}]X(z) =0 e2(z)=M2(z)−B2(z)Y(z) =[C2(z)−B2(z){H1(z)C1(z)+H2(z)C2(z)}]X(z) =0 …… (1) となる。任意の音声信号X(z)に対して、式(1) が成り立
つとすると、 C1(z)=B1(z){H1(z)C1(z)+H2(z)C2(z)} C2(z)=B2(z){H1(z)C1(z)+H2(z)C2(z)} …… (2) でなければならない。ここでC1(z),C2(z) が有限長で共
通零点を持たないとすると式(2) より C1(z)B2(z)=C2(z)B1(z) が得られる。B1(z)はC1(z)を模擬し、B2(z)はC2(z)を模
擬しているので、B1(z)=αC1(z)とおけば B2(z)=αC2(z) (α:任意定数) …… (3) となることがわかる。式(3) を式(2) に代入して、 C1(z)=αC1(z){H1(z)C1(z)+H2(z)C2(z)} C2(z)=αC2(z){H1(z)C1(z)+H2(z)C2(z)} …… (4) 両辺をαC1(z)、αC2(z)で除せば、 1/α=H1(z)C1(z)+H2(z)C2(z) …… (5) となる。図3の逆フィルタ部4を通って出力される信号
Y(z)は次式のように表せる。
る。以上のことより、各差分演算部161、162の出力誤差
信号e1(z)、e2(z)が0となるように逆フィルタ係数計算
部6で第1及び第2逆フィルタ部111,112 に設定する第
1及び第2逆フィルタ係数を計算し、また、伝達関数推
定部15で第1及び第2チャンネル伝達関数模擬フィル
タ部131,132 に設定するフィルタ係数を計算することに
より残響除去が行えることがわかる。
説明する。まず第1の方法は、逆フィルタ係数計算部6
と伝達関数推定部15において、例えば学習同定法、射
影法などの適応アルゴリズムを用いて誤差信号e1(z)、e
2(z)のパワーが最小となるようなフィルタ係数を求める
方法である。しかし、この第1の計算方法では求めるフ
ィルタ伝達関数H1(z)、H2(z)とB1(z)、B2(z)とが直列に
結合されているので、誤差信号e1(z)、e2(z)が各フィル
タ係数に対して単純な2次誤差曲面を形成せず、フィル
タ係数が局所最適解に収束してしまう恐れがある。そこ
で、第2の計算方法として誤差信号e1(z),e2(z) と共
に、更に別の評価値を使用することにより誤差曲面を平
均化して局所最適解になりにくくする。その具体的実施
例を次に説明する。 第2実施例 図4は、本発明による残響除去装置の第2実施例のブロ
ック図であり、181 は第2チャンネル伝達関数模擬複製
フィルタ部、182 は第1チャンネル伝達関数模擬複製フ
ィルタ部、17は誤差分演算部である。図4に示す第2
実施例の構成は、図3の第1実施例における残響除去性
能評価部5の構成要素として第2チャンネル伝達関数模
擬複製フィルタ部181 と第1チャンネル伝達関数模擬複
製フィルタ部182 と誤差演算部17とから成るフィルタ
係数拘束部25が加わったものと同様の構成である。
ル伝達関数模擬複製フィルタ部181のフィルタの係数は
第2チャンネル伝達関数模擬フィルタ部132 のフィルタ
係数B2(z) を複製したものであり、第1チャンネル関数
模擬複製フィルタ部182 のフィルタ係数は第1チャンネ
ル伝達関数模擬フィルタ部131 のフィルタ係数B1(z)を
複製したものである。第2チャンネル伝達関数模擬複製
フィルタ部181 へは第1チャンネル残響音声入力端子21
からの信号M1(z) が入力され、第1チャンネル伝達関数
模擬複製フィルタ部182 へは第2チャンネル残響音声入
力端子22からの信号M2(z) が入力される。誤差演算部1
7で第2チャンネル伝達関数模擬複製フィルタ部181 の
出力信号と第1チャンネル伝達関数模擬複製フィルタ部
182 の出力信号の差が得られ、誤差信号eM(z) が生成さ
れ、逆フィルタ係数計算部6と伝達関数推定部15に与
えられる。
第2チャンネル伝達関数模擬複製フィルタ部181 のフィ
ルタ係数のz変換は B2(z)、第1チャンネル伝達関数模
擬複製フィルタ部182 のフィルタ係数のz変換は B
1(z)、誤差演算部17の出力誤差信号を eM(z)とする。
第1チャンネル音響音声入力端子21での入力信号及び第
2チャンネル残響音声入力端子22での入力信号はM1(z)=
C1(z)X(z)及びM2(z)=C2(z)X(z) であるので、誤差信号
eM(z)は次式のようになる。
1(z)及びB2(z)はそれぞれ話者9から入力端子21及び22
までの伝達関数を模擬しているものであり、従って、図
4に示すように、話者9から誤差演算部17に至る経路
を構成する伝達関数C1(z)とB2(z)の直列接続と伝達関数
C2(z)とB1(z)の直列接続は、理想的には互いに等価にな
るはずである。逆に言えば、式(8) の誤差信号 eM(z)を
0とするためにはB1(z)=αC1(z), B2(z)=αC2(z)となる
必要があり、これは式(3) で示したものと同じ条件であ
る。つまり、B1(z)、B2(z)がそれぞれC1(z)、C2(z)を精
度よく模擬していれば、第2チャンネル伝達関数模擬複
製フィルタ部181 の出力信号は M 1(z)C2(z)=X(z)C1(z)C
2(z)となり、第1チャンネル伝達関数模擬複製フィルタ
部182 の出力信号は M2(z)C1(z)=X(z)C2(z)C1(z)となる
ので、誤差演算部17の出力誤差信号eM(z) は0とな
る。従って、eM(z) もe1(z),e2(z) と同時に0となるよ
うフィルタ係数H1(z),H2(z),B1(z),B2(z) の更新を行う
ことにより、eM(z) による誤差曲面と e1(z),e2(z)によ
る誤差曲面が平均化され、局所最適解へ収束しにくくな
る。これに基づき、逆フィルタ係数計算部6及び伝達関
数推定部15ではそれぞれ第1差分演算部161 の出力誤
差信号e1(z) と第2差分演算部162 の出力誤差信号e
2(z) に加え、誤差演算部17の出力誤差信号eM(z) も
0となるように、第1、第2逆フィルタ部111、112及び
第1、第2チャネル伝達関数模擬フィルタ部131、132の
各フィルタ係数を計算する。
関数推定部15において、例えば射影アルゴリズムを用
いて e1(z),e2(z),eM(z)が0となるようにフィルタ係数
を計算する場合について説明する。H1(z),H2(z),B1(z),
B2(z) の逆z変換に対応するk番目時刻の各フィルタ係
数ベクトルをh1(k),h2(k),b1(k),b2(k)と
し、M1(z),M2(z)の逆z変換に対応する時間信号を m
1(k),m2(k)とし、e1(z),e2(z),e3(z) の逆変換に対応す
る時間信号を E1(k),E2(k),E3(k)とすると、第1、第2
逆フィルタ部111、112及び第1、第2チャネル伝達関数
模擬フィルタ部131、132のフィルタ係数ベクトルは以下
の逐次計算式(9) 及び(10)でそれぞれ計算される。
m'2(k-1),…,m'2(k-L2+1)]T m'1(k)=m1(k)*b1(k) m'2(k)=m2(k)*b2(k) M2(k)=[y(k),y(k-1),…,y(k-p+1)]Ty (k)=[y(k),y(k-1),…,y(k-L3+1),y(k),y(k-1),…,
y(k-L4+1)]T M3(k)=[m(k),m(k-1),…,m(k-p+1)]Tm (k)=[m2(k),m2(k-1),…,m2(k-L3+1),-m1(k),-m1(k
-1),…,-m1(k-L4+1)]T である。ただし、*はk番目時刻の各フィルタ係数ベク
トルの畳み込みを表し、pは射影次数、L1,L2,L3,L4 は
各フィルタ係数ベクトルの長さ、δは逆フィルタ計算を
安定に行うための定数、μ及びλはステップゲイン、I
は単位行列である。また、任意定数αを決めるために b
1(k),b2(k)の任意の係数ベクトル上の一箇所を固定して
計算する。式(9),(10)を用いることにより、第1差分演
算部161 と第2差分演算部162 と誤差演算部17の各出
力を0にするよう適応的に第1、第2逆フィルタ111、1
12及び第1、第2チャネル伝達関数模擬フィルタ131、1
32のフィルタ係数ベクトルを計算することができる。
数計算部6及び伝達関数推定部15のフィルタ係数の計
算についても学習同定法や射影法などの適応アルゴリズ
ムを用いて、第1差分演算部161 と第2差分演算部162
の各出力を0にするよう適応的に計算してもよい。図4
に示した本発明による残響除去装置の第2の実施例の動
作確認のため、インパルス応答の一例として、図5A,
5Bに示す30タップの伝達関数 C1,C2を用い、残響除
去のシュミレーション実験を行った。話者9としての音
源信号として白色雑音を用いた。第1逆フィルタ部111
はH1、第2逆フィルタ部112 はH2フィルタ係数で、その
タップ長は29、第1チャンネル伝達関数模擬フィルタ
部13 1 はB1、第2チャンネル伝達関数模擬フィルタ部13
2 はB2のフィルタ係数で、その各タップ長は30であ
る。図5A,5Bに、オリジナル伝達関数C1,C2(実
線)と推定された伝達関数B1,B2 (破線)の時間波形を
示す。図5A,5Bから位相も含めた波形レベルでよく
推定できていることがわかる。図6A,6Bに、話者9
としての音源としてインパルスを発生したときの出力信
号Y(z)の波形を実線で示すと共に、残響除去処理を行う
前の2つの入力信号M1(z),M2(z) の波形を破線と一点鎖
線で示す。時間領域の応答特性を示す図6A,及び周波
数領域の特性を示す図6Bから、本発明の残響除去装置
によりインパルス音の後続する残響成分が低減している
ことがわかる。また、周波数領域の図6Bから本方法の
残響抑圧効果により周波数スペクトルが平坦化している
ことがわかる。 第3実施例 前述の各実施例では、マイクロホンを異なる位置に2つ
設け、話者(音源)からの2チャネルの音声信号に基づ
いてそれらの信号中の残響成分が互いにキャンセルする
ようにそれら2チャネルの伝達関数に対する逆フィルタ
の係数を推定する場合について説明したが、この発明の
原理は2チャネルに限定されるものではなく、3チャネ
ル以上の場合にも適用できる。図7は図3の第1実施例
の構成を3チャネルに適用した場合のシステム構成を示
し、図3の対応する部分には同様の参照番号を付けてあ
る。
2、第3マイクロホン71,72,73からの信号は入力端子
21,22,23を経て第1、第2、第3逆フィルタ111,112,11
3 に与えられると共に、第1、第2、第3差分演算部16
1,162,163 に与えられる。3つの逆フィルタ111,112,11
3 の出力は加算演算部12で互いに加算され、加算結果
は残響除去された信号として出力端子3に出力されると
共に、第1、第2、第3チャネル伝達関数模擬フィルタ
部131,132,133 に共通に与えられる。これら伝達関数模
擬フィルタ131,132,133 の出力は第1、第2、第3差分
演算部161,162,163に与えられて、入力端子21,22,23か
らの入力信号から減算され、減算結果は誤差信号e1(z),
e2(z),e3(z) として出力される。
(z),e2(z),e3(z) は逆フィルタ係数計算部6に与えられ
ると共に、伝達関数推定部15に与えられる。逆フィル
タ係数計算部6及び伝達関数推定部15は図3の第1実
施例と同様にして与えられた誤差信号e1(z),e2(z),e
3(z) が0になるようにそれぞれ逆フィルタ係数H1(z),H
2(z),H3(z) 及びフィルタ係数B1(z),B2(z),B3(z) を例
えば適応アルゴリズムによりそれぞれ計算し、計算した
フィルタ係数をそれぞれ第1、第2、第3逆フィルタ部
111,112,113 及び第1、第2、第3チャネル伝達関数模
擬フィルタ部131,13 2,133 に設定する。 第4実施例 室内の残響時間を例えば残響時間を200msec とし、イン
パルス応答を12KHz でサンプリングした場合には、残響
特性を表すインパルス応答の次数は約2400次となる。前
述の第1及び第2実施例(図2及び3)においてこの様
な大きな次数のインパルス応答に対応した逆フィルタ11
1,112、伝達関数模擬フィルタ部131,132、図4の実施例
では更に伝達関数模擬フィルタ部181,182などの次数も2
400と非常に大きくする必要があり、それらのフィルタ
係数を前述の例えば射影アルゴリズムのような適応アル
ゴリズムを使って計算するために、膨大な計算量を必要
とする。この様な適応アルゴリズムに必要とされる計算
量を削減するには、各チャネルの入力音声をサブバンド
に分割し、各サブバンドで間引き処理を行うことにより
伝達関数の各サブバンド当たりの次数を削減して所望の
処理(ここでは残響除去処理)をサブバンド毎に実施し
た後、サンプルを補間して再び全帯域信号に合成する事
により可能なことは周知である。
実施例を図8を参照して説明する。図8に示すように、
この実施例ではマイクロホン71,72 により受音された信
号M1(z)、M2(z)の組はサブバンド分割/間引き部31に
与えられ、予め決めた複数のサブバンドに分割され、各
サブバンド信号の組は予め決めた間引き率Rでサンプル
が間引かれてサブバンド信号m1k(z),m2k(z) の組とされ
る。
残響除去部1001,…,100Kの対応する1つに与えられる。
各サブバンド残響除去部1001,…,100Kの構成は例えば図
2、3、4のいずれかで示したものと同様であるが、使
用される各フィルタの次数は間引き率Rに対応して小さ
くされている。サブバンド残響除去部1001,…,100Kから
の残響除去された信号y1(z),…,yK(z)は補間/合成部3
2で間引きされた数のサンプルを補間して全サブバンド
信号が合成され、全帯域信号Y(z)として端子3に出力さ
れる。
る。基本的には図2の残響除去装置の動作手順と同じで
あるが、図9に示す流れ図を参照して説明する。 ステップS1:異なる位置に設置した少なくとも2つの
マイクロホンで音源からの残響音声をそれぞれ受音して
2つの受音信号を得て、 ステップS2:上記2つの受音信号に対し、上記音源か
らマイクロホンの出力にいたる伝達関数の逆フィルタ処
理を行うことにより残響除去信号を得て、 ステップS3:上記残響除去信号を音声信号として出力
し、 ステップS4:上記2つの受音信号と上記残響除去信号
とから残響残留成分に対応する量を評価量として求め、 ステップS5:上記評価量が最小となるように上記逆フ
ィルタ処理の逆フィルタ係数を計算し、それまでの逆フ
ィルタ係数を更新してステップS1に戻り、再びステッ
プS1〜S5を繰り返す。
る各機能構成部はハード的に示したが、これらはコンピ
ュータプログラムによりソフト的に構成できる。例え
ば、図2、3、4において、この発明による残響装置10
0 の入力端子21,22 にマイクロホン71,72 からの受音信
号がディジタル信号として入力されるものとし、残響除
去装置100 の全ての処理動作はコンピュータにより実施
するものとする。入力端子に与えられた受音信号は、コ
ンピュータ内の記憶装置に記録された上述のこの発明に
よる残響除去方法に基づいた処理プログラムに従って残
響除去処理され、出力される。
予め所望の形態の記録媒体に蓄積しておけば、入力受音
信号に対し残響除去を行う場合に、その記録媒体中の残
響除去方法に従って残響除去処理を行うことができる。
前述では、この発明を室内において話者から発生された
音声に対する残響成分を除去する場合について説明した
が、受音すべき音響信号としては人間の音声のみなら
ず、どの様な自然音(動物の鳴き声、機械的摩擦音、衝
突音など)であってもよいし、電気的再生音であっても
よい。
方法及び装置によれば残響除去処理後の音声を用いて残
響除去性能の評価を行い、逐次評価結果が良くなるよう
に逆フィルタ係数を計算し更新することにより、事前に
伝達関数の測定が不要となり、従来技術では困難であっ
た事前に伝達関数が測定できない場合や伝達関数が時時
刻々変化する場合でも適用可能である。従って、例えば
講堂や大会議室、ホールにおける会議、講演など事前に
基準信号を出して伝達関数を測定することが困難な場面
で、残響に埋もれた音声から残響を除去して明瞭な音声
を得たい場合に本発明の残響除去方法及び装置は効果が
ある。
残響除去処理と同時に伝達関数の推定も行っているの
で、事前に伝達関数の推定を行わなくても、伝達関数を
得ることができる。従って、上述したように講堂や大会
議室、ホールにおける会議、講演など事前に基準信号を
出して伝達関数を推定することが困難な場面で伝達関数
を得たい場合に本発明の残響除去装置は効果がある。
ック図。
るためのブロック図。
ブロック図。
ためのブロック図。
フィルタ部の伝達関数とその推定結果の波形図、Bはシ
ュミレーション実験に用いられた第2逆フィルタ部の伝
達関数とその推定結果の波形図。
理を行った結果のインパルス応答を説明する図、BはA
におけるインパルス応答の周波数特性を示す図。
ック図。
ック図。
Claims (17)
- 【請求項1】 残響のある室内でマイクロホンにより受
音された話者からの残響音声から残響成分を除去する残
響除去方法であって、以下のステップを含む: (a) 異なる位置に設置した少なくとも2つのマイクロホ
ンで話者からの残響音声をそれぞれ受音して第1及び第
2受音信号を入力し、 (b) 上記第1及び第2受音信号に対し、上記話者から上
記第1及び第2受音信号のそれぞれの入力に至る第1及
び第2伝達関数の逆フィルタ処理を行うことにより残響
除去信号を得て、 (c) 上記残響除去信号を残響除去された音声信号として
出力すると共に、上記第1及び第2受音信号と上記残響
除去信号とから残留残響成分に対応する量を評価量とし
て求め、 (d) 上記評価量が0に最も近づくように上記逆フィルタ
処理の逆フィルタ係数を計算し、その逆フィルタ係数に
よりそれまでの逆フィルタ係数を更新し、 (e) 上記ステップ(a) に戻り、再びステップ(a)〜(d)を
繰り返す。 - 【請求項2】 請求項1の方法において、上記ステップ
(b) は上記第1及び第2受音信号に対しそれぞれ第1及
び第2逆フィルタ処理を行ってそれら処理結果を互いに
加算して上記残響除去信号を得るステップであり、上記
ステップ(c)は上記第1及び第2伝達関数を模擬する第
1及び第2模擬伝達関数により上記残響除去信号をそれ
ぞれフィルタ処理し、それらの処理結果と上記第1及び
第2受音信号とのそれぞれの差分を上記評価量として得
るステップであり、上記ステップ(e) は上記評価量が0
に最も近づくように上記第1及び第2模擬伝達関数のフ
ィルタ係数を決定するステップである。 - 【請求項3】 請求項2の方法において、上記ステップ
(c) は更に上記第1及び第2模擬伝達関数により上記第
2及び第1受音信号をそれぞれフィルタ処理し、それら
2つの処理結果の差分をもう1つの評価量として出力す
るステップを含み、上記ステップ(d) は上記評価量と上
記もう1つの評価量がそれぞれ0に最も近づくように上
記第1及び第2逆フィルタ係数と上記第1及び第2模擬
伝達関数のフィルタ係数を決定するステップである。 - 【請求項4】 請求項1、2又は3の方法において、上
記ステップ(a) は入力された上記第1及び第2受音信号
を予め決めた複数のサブバンドに分割し、それらサブバ
ンドに分割された第1及び第2受音信号の組を所定の間
引き率でそれぞれ間引いて第1及び第2サブバンド受音
信号の組として得るステップであり、上記ステップ(b)
〜(d)は、各サブバンドにおいて上記第1及び第2サブ
バンド受音信号を、入力された上記第1及び第2受音信
号として実行し、それによって各サブバンドにおいて与
えられた上記第1及び第2サブバンド受音信号からサブ
バンド残響除去信号を得て、 上記残響除去方法は更に、上記サブバンドにおいて得ら
れた上記サブバンド残響除去信号をもとのサンプルレー
トに補間し、補間された全サブバンド残響除去信号を合
成して全帯域の残響除去信号として出力するステップを
含む。 - 【請求項5】 請求項1の残響除去方法において、第3
のマイクロホンが上記第1及び第2マイクロホンと異な
る位置に設けられており、 上記ステップ(a) は上記第3のマイクロホンで話者から
の残響音声を受音して第3受音信号を入力するステップ
を含み、 上記ステップ(b) は上記第3受音信号に対
し、上記話者から上記第3受音信号の入力に至る第3伝
達関数の逆フィルタ処理を行胃、その結果を上記第1及
び第2受音信号に対する逆フィルタ処理結果に加算して
上記残響除去信号を得るステップを含み、 上記ステップ(c) は上記第3受音信号と上記残響除去信
号とから残留残響成分に対応する量を評価値として求め
るステップを含み、 上記ステップ(d) は全ての上記評価量が0に最も近づく
ように上記逆フィルタ処理の逆フィルタ係数を計算し、
その逆フィルタ係数によりそれまでの逆フィルタ係数を
更新するステップである。 - 【請求項6】 請求項5の方法において、上記ステップ
(b) は上記第1、第2及び第3受音信号に対しそれぞれ
第1、第2及び第3逆フィルタ処理を行ってそれら処理
結果を互いに加算して上記残響除去信号を得るステップ
であり、上記ステップ(c) は上記第1、第2及び第3伝
達関数を模擬する第1、第2及び第3模擬伝達関数によ
り上記残響除去信号をそれぞれフィルタ処理し、それら
の処理結果と上記第1、第2及び第3受音信号とのそれ
ぞれの差分を上記評価量として得るステップであり、上
記ステップ(d) は上記評価量が0に最も近づくように上
記第1、第2及び第3模擬伝達関数のフィルタ係数を決
定するステップである。 - 【請求項7】 請求項1、2又は3の方法を記録した記
録媒体。 - 【請求項8】 請求項4の方法を記録した記録媒体。
- 【請求項9】 残響のある部屋で話者から発声され受音
された残響音声から残響を除去する残響除去装置であっ
て、 ある位置で受音された残響音声を第1受音信号として入
力する第1チャンネル残響音声入力手段と、 上記位置とは異なる位置で受音された残響音声を第2受
音信号として入力する第2チャンネル残響音声入力手段
と、 上記第1及び第2チャンネルからの上記第1及び第2受
音信号に、上記話者から各チャンネル入力手段までの伝
達関数の逆フィルタ処理を行い、残響除去信号を出力す
る逆フィルタ処理手段と、 上記第1及び第2受音信号と上記逆フィルタ処理手段か
らの上記残響除去信号を用いて残留残響成分に対応する
量を評価量として求める残響除去性能評価手段と、 上記評価量が0に最も近づくように上記逆フィルタ処理
手段の逆フィルタ係数を計算する逆フィルタ係数計算手
段、とを含む残響除去装置。 - 【請求項10】 請求項9の残響除去装置において、上
記逆フィルタ処理手段は、上記第1チャンネル残響音声
入力手段から入力された上記第1受音信号を第1チャネ
ルの伝達関数の逆フィルタにより処理する第1逆フィル
タ部と、第2チャンネル残響音声入力手段から入力され
た残響音声を第2チャネルの伝達関数の逆フィルタによ
り処理する第2逆フィルタ部と、上記第1逆フィルタ部
の出力信号と上記第2逆フィルタ部の出力信号とを加算
し、加算結果を上記残響除去信号として出力する加算演
算部とを含み、 上記残響除去性能評価手段は、話者から上記第1チャン
ネル残響音声入力手段までの伝達関数を模擬する第1チ
ャンネル伝達関数模擬フィルタ部と、上記第1チャンネ
ル残響音声入力手段から入力された残響音声と上記加算
演算部の出力信号を上記第1チャンネル伝達関数模擬フ
ィルタ部に通した信号との差分をとる第1差分演算部
と、話者から上記第2チャンネル残響音声入力手段まで
の伝達関数を模擬する第2チャンネル伝達関数模擬フィ
ルタ部と、上記第2チャンネル残響音声入力手段から入
力された残響音声と上記加算演算部の出力信号を上記第
2チャンネル伝達関数模擬フィルタ部に通した信号との
差分をとる第2差分演算部と、上記第1差分演算部と上
記第2差分演算部の出力信号が0となるように上記第1
及び第2チャンネル伝達関数模擬フィルタ部のフィルタ
係数を計算する伝達関数推定部とを含む。 - 【請求項11】 請求項10の残響除去装置において、
上記残響除去性能評価手段とは別にもう1つの評価手段
が設けられ、上記逆フィルタ係数計算手段の逆フィルタ
係数計算及び上記伝達関数推定部の推定結果に拘束条件
を付けるフィルタ係数拘束手段を加えたことを特徴とす
る残響除去装置。 - 【請求項12】 請求項11の残響除去装置において、
上記フィルタ係数拘束手段は、上記第1チャンネル伝達
関数模擬フィルタ部を複製した第1チャンネル伝達関数
模擬複製フィルタ部と、上記第2チャンネル伝達関数模
擬フィルタ部を複製した第2チャンネル伝達関数模擬複
製フィルタ部と、上記第2チャンネル残響音声入力手段
から入力された残響音声を上記第1チャンネル伝達関数
模擬複製フィルタ部に通した信号と上記第1チャンネル
残響音声入力手段から入力された残響音声を上記第2チ
ャンネル伝達関数模擬複製フィルタ部に通した信号との
差分をとる第3差分演算部とを含み、 上記逆フィルタ係数計算手段は、上記第1差分演算部
と、上記第2差分演算部と、上記第3差分演算部との各
出力信号が0に最も近づくように上記逆フィルタ処理手
段の逆フィルタ係数を計算する手段であり、 上記伝達関数推定部は、上記第1差分演算部と、上記第
2差分演算部と、上記第3差分演算部との各出力信号が
0に最も近づくように上記第1チャンネル伝達関数模擬
フィルタ部のフィルタ係数と上記第2チャンネル伝達関
数模擬フィルタ部のフィルタ係数とを計算する手段であ
る。 - 【請求項13】 請求項10、11又は12の残響除去
装置において、上記伝達関数推定部は、上記第1チャン
ネル伝達関数模擬フィルタ部のフィルタ係数と上記第2
チャンネル伝達関数模擬フィルタ部のフィルタ係数とを
適応的に計算する適応型伝達関数推定手段である。 - 【請求項14】 請求項9、10、11又は12の残響
除去装置において、上記逆フィルタ係数計算手段は、上
記残響除去性能評価手段の評価結果に基づき適応的に逆
フィルタ係数を計算する適応型逆フィルタ係数計算手段
である。 - 【請求項15】 請求項13の残響除去装置において、
上記逆フィルタ係数計算手段は、上記残響除去性能評価
手段の評価結果に基づき適応的に逆フィルタ係数を計算
する適応型逆フィルタ係数計算手段である。 - 【請求項16】 請求項9の残響除去装置において、上
記第1及び第2の位置と異なる第3の位置で受音された
残響音声を第3受音信号として入力する第3チャンネル
残響音声入力手段が設けられ、 上記逆フィルタ処理手段は上記第3チャンネルからの上
記第3受音信号に、上記話者から第3チャンネル入力手
段までの伝達関数の逆フィルタ処理を行い、その処理結
果を上記第1及び第2受音信号に対する逆フィルタ処理
結果に加算して上記残響除去信号を出力する手段を含
み、 上記残響除去性能評価手段は上記第3受音信号と上記逆
フィルタ処理手段からの上記残響除去信号を用いて残留
残響成分に対応する量を評価量として求める手段を含
む。 - 【請求項17】 請求項16の残響除去装置において、
上記逆フィルタ処理手段は、上記第3チャンネル残響音
声入力手段から入力された上記第3受音信号を第3チャ
ンネルの伝達関数の逆フィルタにより処理する第3逆フ
ィルタ部を更に含み、上記加算演算部は第1、第2及び
第3逆フィルタ部の出力信号を加算し、加算結果を上記
残響除去信号として出力する手段であり、 上記残響除去性能評価手段は、話者から上記第3チャン
ネル残響音声入力手段までの伝達関数を模擬する第3チ
ャンネル伝達関数模擬フィルタ部と、上記第3チャンネ
ル残響音声入力手段から入力された残響音声と上記加算
演算部の出力信号を上記第3チャンネル伝達関数模擬フ
ィルタ部に通した信号との差分をとる第3差分演算部と
を含み、上記伝達関数推定部は上記第1、第2及び第3
差分演算部の出力信号が0となるように上記第1、第2
及び第3チャンネル伝達関数模擬フィルタ部のフィルタ
係数を計算する手段である。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6665997A JP3649847B2 (ja) | 1996-03-25 | 1997-03-19 | 残響除去方法及び装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8-68550 | 1996-03-25 | ||
JP6855096 | 1996-03-25 | ||
JP6665997A JP3649847B2 (ja) | 1996-03-25 | 1997-03-19 | 残響除去方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09321860A true JPH09321860A (ja) | 1997-12-12 |
JP3649847B2 JP3649847B2 (ja) | 2005-05-18 |
Family
ID=26407852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6665997A Expired - Fee Related JP3649847B2 (ja) | 1996-03-25 | 1997-03-19 | 残響除去方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3649847B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007100137A1 (ja) * | 2006-03-03 | 2007-09-07 | Nippon Telegraph And Telephone Corporation | 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体 |
WO2009110578A1 (ja) * | 2008-03-03 | 2009-09-11 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体 |
JP2009535674A (ja) * | 2006-05-01 | 2009-10-01 | 日本電信電話株式会社 | 音源と室内音響の確率モデルに基づく音声残響除去のための方法及び装置 |
JP2011517908A (ja) * | 2008-04-09 | 2011-06-16 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | フィルタ特性を生成する装置および方法 |
JP2012169782A (ja) * | 2011-02-10 | 2012-09-06 | Canon Inc | 音声処理装置及び方法並びに撮像装置 |
WO2014097470A1 (ja) * | 2012-12-21 | 2014-06-26 | Toa株式会社 | 残響除去装置 |
JP2015523609A (ja) * | 2012-12-12 | 2015-08-13 | ゴーアテック インコーポレイテッドGoertek Inc | デュアルマイクに基づく音声残響低減方法及びその装置 |
JP2017173456A (ja) * | 2016-03-22 | 2017-09-28 | 日本放送協会 | インパルス応答推定装置及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102021994B1 (ko) * | 2018-08-29 | 2019-09-17 | 주식회사 싸이언 | 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법 |
-
1997
- 1997-03-19 JP JP6665997A patent/JP3649847B2/ja not_active Expired - Fee Related
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8271277B2 (en) | 2006-03-03 | 2012-09-18 | Nippon Telegraph And Telephone Corporation | Dereverberation apparatus, dereverberation method, dereverberation program, and recording medium |
WO2007100137A1 (ja) * | 2006-03-03 | 2007-09-07 | Nippon Telegraph And Telephone Corporation | 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体 |
JP2009535674A (ja) * | 2006-05-01 | 2009-10-01 | 日本電信電話株式会社 | 音源と室内音響の確率モデルに基づく音声残響除去のための方法及び装置 |
US8290170B2 (en) | 2006-05-01 | 2012-10-16 | Nippon Telegraph And Telephone Corporation | Method and apparatus for speech dereverberation based on probabilistic models of source and room acoustics |
JP4880036B2 (ja) * | 2006-05-01 | 2012-02-22 | 日本電信電話株式会社 | 音源と室内音響の確率モデルに基づく音声残響除去のための方法及び装置 |
US8467538B2 (en) | 2008-03-03 | 2013-06-18 | Nippon Telegraph And Telephone Corporation | Dereverberation apparatus, dereverberation method, dereverberation program, and recording medium |
WO2009110578A1 (ja) * | 2008-03-03 | 2009-09-11 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体 |
JP5227393B2 (ja) * | 2008-03-03 | 2013-07-03 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体 |
JP2011517908A (ja) * | 2008-04-09 | 2011-06-16 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | フィルタ特性を生成する装置および方法 |
KR101234973B1 (ko) * | 2008-04-09 | 2013-02-20 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 필터 특징을 발생시키는 장치 및 방법 |
JP2012169782A (ja) * | 2011-02-10 | 2012-09-06 | Canon Inc | 音声処理装置及び方法並びに撮像装置 |
JP2015523609A (ja) * | 2012-12-12 | 2015-08-13 | ゴーアテック インコーポレイテッドGoertek Inc | デュアルマイクに基づく音声残響低減方法及びその装置 |
WO2014097470A1 (ja) * | 2012-12-21 | 2014-06-26 | Toa株式会社 | 残響除去装置 |
JP2017173456A (ja) * | 2016-03-22 | 2017-09-28 | 日本放送協会 | インパルス応答推定装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3649847B2 (ja) | 2005-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5774562A (en) | Method and apparatus for dereverberation | |
JP5124014B2 (ja) | 信号強調装置、その方法、プログラム及び記録媒体 | |
US8073147B2 (en) | Dereverberation method, apparatus, and program for dereverberation | |
JP2683490B2 (ja) | 適応性雑音除去装置 | |
JP3177562B2 (ja) | 少遅延サブバンド適応フィルタ装置 | |
EP1993320B1 (en) | Reverberation removal device, reverberation removal method, reverberation removal program, and recording medium | |
CN105409247B (zh) | 用于音频信号处理的多声道直接-周围分解的装置及方法 | |
JP5227393B2 (ja) | 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体 | |
TWI463488B (zh) | 包含晚期混響成分模型化之回聲抑制技術 | |
JP5042823B2 (ja) | 音声信号反響除去 | |
CN111031448B (zh) | 回声消除方法、装置、电子设备和存储介质 | |
JP6677662B2 (ja) | 音響処理装置、音響処理方法およびプログラム | |
JPH09146595A (ja) | 左側および右側自己回帰パラメータを使用しての信号の回復 | |
CN111213359A9 (zh) | 回声消除器和用于回声消除器的方法 | |
JPH09321860A (ja) | 残響除去方法及び装置 | |
WO2021171829A1 (ja) | 信号処理装置、信号処理方法およびプログラム | |
JP2001257565A (ja) | ラティス型フィルタの反射係数の更新方法及び、装置 | |
JPH09261133A (ja) | 残響抑圧方法および装置 | |
Kamarudin et al. | Acoustic echo cancellation using adaptive filtering algorithms for Quranic accents (Qiraat) identification | |
JP4473709B2 (ja) | 信号推定方法、信号推定装置、信号推定プログラム及びその記録媒体 | |
Nezamdoust et al. | Frequency-Domain Functional Links For Nonlinear Feedback Cancellation In Hearing Aids | |
Bendoumia | New two-microphone simplified sub-band forward algorithm based on separated variable step-sizes for acoustic noise reduction | |
JP3131202B2 (ja) | 多重線形伝達経路の伝達特性の分離推定装置、分離推定方法及びその方法を読みとり可能なプログラムとして記録した記録媒体 | |
Dal Santo et al. | RIR2FDN: An improved room impulse response analysis and synthesis | |
JPH09247799A (ja) | 線形予測係数を用いた立体音響処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050216 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 4 Free format text: PAYMENT UNTIL: 20090225 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 6 Free format text: PAYMENT UNTIL: 20110225 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 6 Free format text: PAYMENT UNTIL: 20110225 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 7 Free format text: PAYMENT UNTIL: 20120225 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130225 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |