JP3649847B2 - 残響除去方法及び装置 - Google Patents
残響除去方法及び装置 Download PDFInfo
- Publication number
- JP3649847B2 JP3649847B2 JP6665997A JP6665997A JP3649847B2 JP 3649847 B2 JP3649847 B2 JP 3649847B2 JP 6665997 A JP6665997 A JP 6665997A JP 6665997 A JP6665997 A JP 6665997A JP 3649847 B2 JP3649847 B2 JP 3649847B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- transfer function
- dereverberation
- inverse filter
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、会議室、ホールなど残響のある場所で音声を明瞭に受音するのに用いる残響除去方法及び装置に関する。
【０００２】
【従来の技術】
従来、残響音声から残響を除去する方法として、話者位置から基準信号を発生して、受音点までの伝達関数を事前に測定しておき、その伝達関数の逆フィルタを計算し、受音信号に畳み込むことによって残響を除去する方法があった。［参考文献：M.Miyoshi and Y.Kaneda, "Inverse filtering of room acoustics," IEEE Trans.ASSP,36(2),pp.145-152(1988)]
図１は、受音点までの伝達関数を事前に測定し逆フィルタを計算する上記文献に示された従来の残響除去装置200 の技術を説明する図であり、21,22 は第１、第２チャネル残響音声入力端子、３は残響除去音声出力端子、４は逆フィルタ処理部、６は逆フィルタ係数計算部、71,72 は第１、第２チャネルマイクロホン、９は話者、２１は事前伝達関数測定部、２２は伝達関数測定基準信号発生部、２３は伝達関数測定用基準信号出力端子、２４はスピーカである。
【０００３】
従来の残響除去装置200 を動作させるには、第１に、伝達関数測定用基準信号発生部２２で発生された基準信号を伝達関数測定用基準信号出力端子２３に通して話者９と同じ位置におかれたスピーカ２４より出力する。第２に、部屋の残響が加わった基準信号を第１チャネルマイクロホン７1 と第２チャネルマイクロホン72とで受音する。第３に、受音された各チャネルの信号と基準信号から事前伝達関数測定部２１で、話者９の位置から第１チャネル残響音声入力端子21までの伝達関数と話者９の位置から第２チャネル残響音声入力端子22までの伝達関数を計算する。第４に、逆フィルタ係数計算部６で測定された各チャネルの伝達関数の特性を打ち消す逆フィルタ係数を計算し、その逆フィルタ係数を用いて逆フィルタ処理部４で処理することにより残響除去された音声信号を残響除去音声出力端子３から出力する。
【０００４】
しかし、この従来法だと事前に話者９の位置からマイクロホン71,72 の位置である受音点までの伝達関数を測定しておく必要があり、事前に測定ができない場合、あるいは話者及び／又はマイクロホンが移動したり、室内の人やものが移動することにより伝達関数が時時刻々変化する場合などには適用が難しい欠点があった。
【０００５】
Hong Wang は、２つのマイクロホン出力をそれぞれ逆フィルタを通してから互いに加算する残響除去システムを提案している。そのシステムでは、基準信号を使った伝達関数の測定は行わず、話者から２つのマイクロホン出力に至る２つのチャネルの伝達関数C1、C2を仮定し、その比C2/C1 を伝達関数として有する評価用フィルタを設け、第２チャネルを通った信号をその評価用フィルタに通した出力と第１チャネルを通った信号との差が０となるようにC2/C1 を決め、そのC2/C1 からPade近似により上記２つの逆フィルタの係数C2,C1 を決定している（"MULTI-CHANNEL DECONVOLUTION USING PADE APPROXIMATION",IEEE,1995, pp.3007-3009）。この方法では、残響除去出力は評価情報として使われていない（即ちフィードバックされていない）ので、高い精度の残響除去は期待できない。またC2/C1 の計算においてC1が０の場合、C2/C1 が発散する問題がある。
【０００６】
【発明が解決しようとする課題】
本発明の目的は、従来法では事前に話者位置から受音点までの伝達関数を測定しておく必要があった点を解決し、事前に測定ができない場合、あるいは伝達関数が時時刻々変化する場合などにも適用できる残響除去方法及び装置を提供することにある。
【０００７】
【課題を解決するための手段】
この発明の残響除去方法によれば、残響のある室内でマイクロホンにより受音された話者からの残響音声から残響成分を除去する残響除去方法であって、以下のステップを含む：
(a) 異なる位置に設置した少なくとも２つのマイクロホンで話者からの残響音声をそれぞれ受音して第１及び第２受音信号を入力し、
(b) 上記第１及び第２受音信号に対し、上記話者から上記第１及び第２受音信号のそれぞれの入力に至る第１及び第２伝達関数の逆フィルタ処理を行うことにより残響除去信号を得て、
(c) 上記残響除去信号を残響除去された音声信号として出力すると共に、上記第１及び第２受音信号と上記残響除去信号とから残留残響成分に対応する量を評価量として求め、
(d) 上記評価量が０に最も近づくように上記逆フィルタ処理の逆フィルタ係数を計算し、その逆フィルタ係数によりそれまでの逆フィルタ係数を更新し、
(e) 上記ステップ(a) に戻り、再びステップ(a)〜(d)を繰り返す。
【０００８】
この様に、本発明の残響除去方法及び装置では入力受音信号と出力残響除去信号とから残響除去性能を評価する手段を設け、その評価結果が最適になるように逆フィルタ係数を計算することを最も主要な特徴とする。残響除去処理後の音声を評価し、その評価結果を逐次、残響除去処理に反映させるため、事前に伝達関数を測定する必要がない点が、従来の技術との相違点である。
【０００９】
本発明においては、残響除去性能評価部では残響除去処理中も逐次、評価を行い、逆フィルタ係数計算部ではその結果に基づいて逆フィルタ係数を計算する。従って、事前に伝達関数がわからない場合あるいは伝達関数が時時刻々変化する場合でも、評価結果が最適となるように逐次、逆フィルタ係数を更新していくことにより、残響除去を行うことができる。
【００１０】
演算量を削減するため、２チャネルの受音信号をそれぞれ複数のサブバンドに分割し、間引きを行ってからそれぞれのサブバンドでこの発明による残響除去を行い、その残響除去されたサブバンド信号を補間してから合成しても全帯域残響除去信号として出力してもよい。
【００１１】
【発明の実施の形態】
図２は、本発明による残響除去の原理を説明するための残響除去装置１００のブロック図であり、21は第１チャネル残響音声入力端子、22は第２チャネル残響音声入力端子、３は残響除去音声出力端子、４は逆フィルタ処理部、５は残響除去性能評価部、６は逆フィルタ係数計算部、71は第１チャネルマイクロホン、72は第２チャネルマイクロホン、９は話者である。
【００１２】
本発明の残響除去装置１００を動作するには、第１に、話者９によって発声された音声を部屋の互いに異なる任意の位置に設置された第１及び第２チャネルマイクロホン71,72 により受音して第１及び第２チャネル残響音声入力端子21,22に入力する。第２に、各チャネルの入力信号を逆フィルタ処理部４によりフィルタ処理する。第３に、逆フィルタ処理部４の出力信号と各チャネルの入力信号とから残響除去性能評価部５で残響除去性能を評価する。第４に、その評価結果に基づき評価結果が最適に近付くように逆フィルタ係数計算部６で逆フィルタ処理部４のフィルタ係数を計算し更新する。以上の第１から第４までを繰り返していくことにより端子３に出力される信号中の残響除去が行われる。
第１実施例
図３は、図２で示した本発明の原理による残響除去装置の第１の実施例のブロック図であり、111 は第１逆フィルタ部、112 は第２逆フィルタ部、１２は加算演算部、131 は第１チャネル伝達関数摸擬フィルタ部、132 は第２チャネル伝達関数模擬フィルタ部、１５は伝達関数推定部、161 は第１差分演算部、162 は第２差分演算部である。図２における逆フィルタ処理部４は、図３では第１逆フィルタ部111 と第２逆フィルタ部112 と加算演算部１２とから構成される。また図２における残響除去性能評価部５は図３では第１チャネル伝達関数模擬フィルタ部131 と第２チャネル伝達関数模擬フィルタ部132 と伝達関数推定部１５と第１差分演算部161 と第２差分演算部162 とから構成されるが、動作原理は図２の場合と同じである。
【００１３】
次に動作について説明する。第１チャネル残響音声入力端子21からの入力信号は第１逆フィルタ部111 に入力され、第２チャネル残響音声入力端子22からの入力信号は第２逆フィルタ部112 に入力され、各逆フィルタ部111、112の出力信号は加算演算部１２で加算され残響除去音声として残響除去音声出力端子３から出力される。加算演算部１２の出力信号はまた第１チャネル伝達関数模擬フィルタ部131 と第２チャネル伝達関数模擬フィルタ部132 とに入力される。第１差分演算部161 で第１チャネル伝達関数模擬フィルタ部131 の出力信号と第１チャネル残響音声入力端子21からの入力信号との差分をとる。第２差分演算部162 で第２チャネル伝達関数模擬フィルタ部132 の出力信号と第２チャネル残響音声入力端子22からの入力信号との差分をとる。各差分演算部161、162の差分出力である誤差信号e1(z),e2(z) が０となるように逆フィルタ係数計算部６で第１逆フィルタ係数と第２逆フィルタ係数を計算し、かつ各差分演算部161、162の出力誤差信号が０となるように伝達関数推定部１５で第１チャネル伝達関数模擬フィルタ部131 のフィルタ係数と第２チャネル伝達関数模擬フィルタ部132 のフィルタ係数とを計算することにより残響除去が行える。
【００１４】
ここで、各差分演算部161、162の出力誤差信号が残響除去性能の評価量となっており、０となれば残響除去が完全にできていることが以下のように証明される。一般に、フィルタの伝達関数はそのフィルタの係数によって規定されるので、伝達関数とフィルタ係数は等価であり、以下の説明においては、フィルタの伝達関数を表す記号例えばH(z),C(z) などをフィルタ係数を表す記号としても使用する。
【００１５】
図３のように音声信号Ｚ変換をX(z)、話者９から第１チャネル残響音声入力端子21までの伝達関数をC1(z) 、話者９から第２チャネル残響音声入力端子22までの伝達関数をC2(z) 、第１チャネル残響音声入力端子21での入力信号をM1(z) 、第２チャネル残響音声入力端子22での入力信号をM2(z) 、第１及び第２逆フィルタ部111、112の伝達関数をそれぞれH1(z)、H2(z)、第１及び第２チャネル伝達関数模擬フィルタ部131、132の伝達関数をB1(z)、B2(z)、残響除去音声信号をY(z)、第１差分演算部161 の出力誤差信号をe1(z) 、第２差分演算部162 の出力誤差信号をe2(z) とする。
【００１６】
誤差信号e1(z),e2(z) が０になるように伝達関数H1(z),H2(z),B1(z),B2(z) を設定した場合にB1(z)=αC1(z), B2(z)=αC2(z)（αは任意定数）となり、またH1(z),H2(z) がC1(z),C2(z) の逆フィルタとなり、そしてY(z)=(1/α)X(z) となること、つまり定数倍を除いて音声信号が復元できていることを以下に示す。
図３においてe1(z),e2(z) が０の時、
e1(z)＝M1(z)−B1(z)Y(z)
＝[C1(z)−B1(z){H1(z)C1(z)＋H2(z)C2(z)}]X(z)
＝0
e2(z)＝M2(z)−B2(z)Y(z)
＝[C2(z)−B2(z){H1(z)C1(z)＋H2(z)C2(z)}]X(z)
＝0 …… (1)
となる。任意の音声信号X(z)に対して、式(1) が成り立つとすると、
C1(z)＝B1(z){H1(z)C1(z)＋H2(z)C2(z)}
C2(z)＝B2(z){H1(z)C1(z)＋H2(z)C2(z)} …… (2)
でなければならない。ここでC1(z),C2(z) が有限長で共通零点を持たないとすると式(2) より
C1(z)B2(z)=C2(z)B1(z)
が得られる。B1(z)はC1(z)を模擬し、B2(z)はC2(z)を模擬しているので、B1(z)＝αC1(z)とおけば
B2(z)＝αC2(z) （α：任意定数） …… (3)
となることがわかる。式(3) を式(2) に代入して、
C1(z)＝αC1(z){H1(z)C1(z)＋H2(z)C2(z)}
C2(z)＝αC2(z){H1(z)C1(z)＋H2(z)C2(z)} …… (4)
両辺をαC1(z)、αC2(z)で除せば、
1/α＝H1(z)C1(z)＋H2(z)C2(z) …… (5)
となる。図３の逆フィルタ部４を通って出力される信号Y(z)は次式のように表せる。
【００１７】
Y(z)＝{H1(z)C1(z)＋H2(z)C2(z)}X(z) …… (6)
従って、
Y(z)＝(1/α)X(z) …… (7)
となり、Y(z)は定数倍を除いて音声信号X(z)と等しくなる。
以上のことより、各差分演算部161、162の出力誤差信号e1(z)、e2(z)が０となるように逆フィルタ係数計算部６で第１及び第２逆フィルタ部111,112 に設定する第１及び第２逆フィルタ係数を計算し、また、伝達関数推定部１５で第１及び第２チャネル伝達関数模擬フィルタ部131,132 に設定するフィルタ係数を計算することにより残響除去が行えることがわかる。
【００１８】
次に、各フィルタ係数の計算方法について説明する。まず第１の方法は、逆フィルタ係数計算部６と伝達関数推定部１５において、例えば学習同定法、射影法などの適応アルゴリズムを用いて誤差信号e1(z)、e2(z)のパワーが最小となるようなフィルタ係数を求める方法である。
しかし、この第１の計算方法では求めるフィルタ伝達関数H1(z)、H2(z)とB1(z)、B2(z)とが直列に結合されているので、誤差信号e1(z)、e2(z)が各フィルタ係数に対して単純な２次誤差曲面を形成せず、フィルタ係数が局所最適解に収束してしまう恐れがある。そこで、第２の計算方法として誤差信号e1(z),e2(z) と共に、更に別の評価値を使用することにより誤差曲面を平均化して局所最適解になりにくくする。その具体的実施例を次に説明する。
第２実施例
図４は、本発明による残響除去装置の第２実施例のブロック図であり、181 は第２チャネル伝達関数模擬複製フィルタ部、182 は第１チャネル伝達関数模擬複製フィルタ部、１７は誤差分演算部である。図４に示す第２実施例の構成は、図３の第１実施例における残響除去性能評価部５の構成要素として第２チャネル伝達関数模擬複製フィルタ部181 と第１チャネル伝達関数模擬複製フィルタ部182 と誤差演算部１７とから成るフィルタ係数拘束部２５が加わったものと同様の構成である。
【００１９】
次に動作について説明する。第２チャネル伝達関数模擬複製フィルタ部181 のフィルタの係数は第２チャネル伝達関数模擬フィルタ部132 のフィルタ係数B2(z) を複製したものであり、第１チャネル関数模擬複製フィルタ部182 のフィルタ係数は第１チャネル伝達関数模擬フィルタ部131 のフィルタ係数B1(z) を複製したものである。第２チャネル伝達関数模擬複製フィルタ部181 へは第１チャネル残響音声入力端子21からの信号M1(z) が入力され、第１チャネル伝達関数模擬複製フィルタ部182 へは第２チャネル残響音声入力端子22からの信号M2(z) が入力される。誤差演算部１７で第２チャネル伝達関数模擬複製フィルタ部181 の出力信号と第１チャネル伝達関数模擬複製フィルタ部182 の出力信号の差が得られ、誤差信号eM(z) が生成され、逆フィルタ係数計算部６と伝達関数推定部１５に与えられる。
【００２０】
ここで、図４の各部に信号で示したように第２チャネル伝達関数模擬複製フィルタ部181 のフィルタ係数のｚ変換は B2(z)、第１チャネル伝達関数模擬複製フィルタ部182 のフィルタ係数のｚ変換は B1(z)、誤差演算部１７の出力誤差信号を eM(z)とする。第１チャネル音響音声入力端子21での入力信号及び第２チャネル残響音声入力端子22での入力信号はM1(z)=C1(z)X(z)及びM2(z)=C2(z)X(z) であるので、誤差信号 eM(z)は次式のようになる。
【００２１】
eM(z)＝M1(z)B2(z)−M2(z)B1(z)
＝{C1(z)B2(z)−C2(z)B1(z)}X(z) …… (8)
図３の第１実施例で説明したように、フィルタ係数B1(z)及びB2(z)はそれぞれ話者９から入力端子21及び22までの伝達関数を模擬しているものであり、従って、図４に示すように、話者９から誤差演算部１７に至る経路を構成する伝達関数C1(z)とB2(z)の直列接続と伝達関数C2(z)とB1(z)の直列接続は、理想的には互いに等価になるはずである。逆に言えば、式(8) の誤差信号 eM(z)を０とするためにはB1(z)=αC1(z), B2(z)=αC2(z)となる必要があり、これは式(3) で示したものと同じ条件である。つまり、B1(z)、B2(z)がそれぞれC1(z)、C2(z)を精度よく模擬していれば、第２チャネル伝達関数模擬複製フィルタ部181 の出力信号は M1(z)C2(z)=X(z)C1(z)C2(z)となり、第１チャネル伝達関数模擬複製フィルタ部182 の出力信号は M2(z)C1(z)=X(z)C2(z)C1(z)となるので、誤差演算部１７の出力誤差信号eM(z) は０となる。従って、eM(z) もe1(z),e2(z) と同時に０となるようフィルタ係数H1(z),H2(z),B1(z),B2(z) の更新を行うことにより、eM(z) による誤差曲面と e1(z),e2(z)による誤差曲面が平均化され、局所最適解へ収束しにくくなる。これに基づき、逆フィルタ係数計算部６及び伝達関数推定部１５ではそれぞれ第１差分演算部161 の出力誤差信号e1(z) と第２差分演算部162 の出力誤差信号e2(z) に加え、誤差演算部１７の出力誤差信号eM(z) も０となるように、第１、第２逆フィルタ部111、112及び第１、第２チャネル伝達関数模擬フィルタ部131、132の各フィルタ係数を計算する。
【００２２】
ここで、逆フィルタ係数計算部６及び伝達関数推定部１５において、例えば射影アルゴリズムを用いて e1(z),e2(z),eM(z)が０となるようにフィルタ係数を計算する場合について説明する。
H1(z),H2(z),B1(z),B2(z) の逆ｚ変換に対応するｋ番目時刻の各フィルタ係数ベクトルをｈ1(k),ｈ2(k),ｂ1(k),ｂ2(k)とし、M1(z),M2(z)の逆ｚ変換に対応する時間信号を m1(k),m2(k)とし、e1(z),e2(z),e M (z) の逆変換に対応する時間信号を E1(k),E2(k),E3(k)とすると、第１、第２逆フィルタ部111、112及び第１、第２チャネル伝達関数模擬フィルタ部131、132のフィルタ係数ベクトルは以下の逐次計算式(9) 及び(10)でそれぞれ計算される。
【００２３】
【数１】
【００２４】
【数２】
ここで
【００２５】
【数３】
【００２６】
【数４】
β1(k)＝[M1(k)TM1(k)＋δI]-1
β2(k)＝[M2(k)TM2(k)＋δI]-1
β3(k)＝[M3(k)TM3(k)＋δI]-1
M1(k)＝[ｍ'(k),ｍ'(k-1),…,ｍ'(k-p+1)]T
ｍ'(k)＝[m'1(k),m'1(k-1),…,m'1(k-L1+1),
m'2(k),m'2(k-1),…,m'2(k-L2+1)]T
m'1(k)＝m1(k)*ｂ1(k)
m'2(k)＝m2(k)*ｂ2(k)
M2(k)＝[ｙ(k),ｙ(k-1),…,ｙ(k-p+1)]T
ｙ(k)＝[y(k),y(k-1),…,y(k-L3+1),
y(k),y(k-1),…,y(k-L4+1)]T
M3(k)＝[ｍ(k),ｍ(k-1),…,ｍ(k-p+1)]T
ｍ(k)＝[m2(k),m2(k-1),…,m2(k-L3+1),
-m1(k),-m1(k-1),…,-m1(k-L4+1)]T
である。ただし、＊はｋ番目時刻の各フィルタ係数ベクトルの畳み込みを表し、ｐは射影次数、L1,L2,L3,L4 は各フィルタ係数ベクトルの長さ、δは逆フィルタ計算を安定に行うための定数、μ及びλはステップゲイン、Ｉは単位行列である。また、任意定数αを決めるために b1(k),b2(k)の任意の係数ベクトル上の一箇所を固定して計算する。式(9),(10)を用いることにより、第１差分演算部161 と第２差分演算部162 と誤差演算部１７の各出力を０にするよう適応的に第１、第２逆フィルタ111、112及び第１、第２チャネル伝達関数模擬フィルタ131、132のフィルタ係数ベクトルを計算することができる。
【００２７】
前述の図３の実施例における逆フィルタ係数計算部６及び伝達関数推定部１５のフィルタ係数の計算についても学習同定法や射影法などの適応アルゴリズムを用いて、第１差分演算部161と第２差分演算部162の各出力を０にするよう適応的に計算してもよい。
図４に示した本発明による残響除去装置の第２の実施例の動作確認のため、インパルス応答の一例として、図５Ａ，５Ｂに示す３０タップの伝達関数 C1,C2を用い、残響除去のシュミレーション実験を行った。話者９としての音源信号として白色雑音を用いた。第１逆フィルタ部111 はH1、第２逆フィルタ部112 はH2フィルタ係数で、そのタップ長は２９、第１チャネル伝達関数模擬フィルタ部131 はB1、第２チャネル伝達関数模擬フィルタ部132 はB2のフィルタ係数で、その各タップ長は３０である。図５Ａ，５Ｂに、オリジナル伝達関数C1,C2（実線）と推定された伝達関数B1,B2（破線）の時間波形を示す。図５Ａ，５Ｂから位相も含めた波形レベルでよく推定できていることがわかる。図６Ａ，６Ｂに、話者９としての音源としてインパルスを発生したときの出力信号Y(z)の波形を実線で示すと共に、残響除去処理を行う前の２つの入力信号M1(z),M2(z) の波形を破線と一点鎖線で示す。時間領域の応答特性を示す図６Ａ，及び周波数領域の特性を示す図６Ｂから、本発明の残響除去装置によりインパルス音の後続する残響成分が低減していることがわかる。また、周波数領域の図６Ｂから本方法の残響抑圧効果により周波数スペクトルが平坦化していることがわかる。
第３実施例
前述の各実施例では、マイクロホンを異なる位置に２つ設け、話者（音源）からの２チャネルの音声信号に基づいてそれらの信号中の残響成分が互いにキャンセルするようにそれら２チャネルの伝達関数に対する逆フィルタの係数を推定する場合について説明したが、この発明の原理は２チャネルに限定されるものではなく、３チャネル以上の場合にも適用できる。図７は図３の第１実施例の構成を３チャネルに適用した場合のシステム構成を示し、図３の対応する部分には同様の参照番号を付けてある。
【００２８】
３つの異なる位置に設けられた第１、第２、第３マイクロホン71,72,73からの信号は入力端子21,22,23を経て第１、第２、第３逆フィルタ111,112,113 に与えられると共に、第１、第２、第３差分演算部161,162,163 に与えられる。３つの逆フィルタ111,112,113 の出力は加算演算部１２で互いに加算され、加算結果は残響除去された信号として出力端子３に出力されると共に、第１、第２、第３チャネル伝達関数模擬フィルタ部131,132,133 に共通に与えられる。これら伝達関数模擬フィルタ131,132,133 の出力は第１、第２、第３差分演算部161,162,163 に与えられて、入力端子21,22,23からの入力信号から減算され、減算結果は誤差信号e1(z),e2(z),e3(z) として出力される。
【００２９】
差分演算部161,162,163 からの誤差信号e1(z),e2(z),e3(z) は逆フィルタ係数計算部６に与えられると共に、伝達関数推定部１５に与えられる。逆フィルタ係数計算部６及び伝達関数推定部１５は図３の第１実施例と同様にして与えられた誤差信号e1(z),e2(z),e3(z) が０になるようにそれぞれ逆フィルタ係数H1(z),H2(z),H3(z) 及びフィルタ係数B1(z),B2(z),B3(z) を例えば適応アルゴリズムによりそれぞれ計算し、計算したフィルタ係数をそれぞれ第１、第２、第３逆フィルタ部111,112,113 及び第１、第２、第３チャネル伝達関数模擬フィルタ部131,132,133に設定する。
第４実施例
室内の残響時間を例えば残響時間を200msec とし、インパルス応答を12KHz でサンプリングした場合には、残響特性を表すインパルス応答の次数は約2400次となる。前述の第１及び第２実施例（図２及び３）においてこの様な大きな次数のインパルス応答に対応した逆フィルタ111,112、伝達関数模擬フィルタ部131,132、図４の実施例では更に伝達関数模擬フィルタ部181,182などの次数も2400と非常に大きくする必要があり、それらのフィルタ係数を前述の例えば射影アルゴリズムのような適応アルゴリズムを使って計算するために、膨大な計算量を必要とする。この様な適応アルゴリズムに必要とされる計算量を削減するには、各チャネルの入力音声をサブバンドに分割し、各サブバンドで間引き処理を行うことにより伝達関数の各サブバンド当たりの次数を削減して所望の処理（ここでは残響除去処理）をサブバンド毎に実施した後、サンプルを補間して再び全帯域信号に合成する事により可能なことは周知である。
【００３０】
ここではこのサブバンド分割法を利用した実施例を図８を参照して説明する。図８に示すように、この実施例ではマイクロホン71,72 により受音された信号M1(z)、M2(z)の組はサブバンド分割／間引き部３１に与えられ、予め決めた複数のサブバンドに分割され、各サブバンド信号の組は予め決めた間引き率Ｒでサンプルが間引かれてサブバンド信号m1k(z),m2k(z) の組とされる。
【００３１】
これらのサブバンド信号の組はサブバンド残響除去部1001,…,100Kの対応する１つに与えられる。各サブバンド残響除去部1001,…,100Kの構成は例えば図２、３、４のいずれかで示したものと同様であるが、使用される各フィルタの次数は間引き率Ｒに対応して小さくされている。サブバンド残響除去部1001,…,100Kからの残響除去された信号y1(z),…,yK(z)は補間／合成部３２で間引きされた数のサンプルを補間して全サブバンド信号が合成され、全帯域信号Y(z)として端子３に出力される。
【００３２】
次に本発明の残響除去方法について説明する。基本的には図２の残響除去装置の動作手順と同じであるが、図９に示す流れ図を参照して説明する。
ステップＳ１：異なる位置に設置した少なくとも２つのマイクロホンで音源からの残響音声をそれぞれ受音して２つの受音信号を得て、
ステップＳ２：上記２つの受音信号に対し、上記音源からマイクロホンの出力にいたる伝達関数の逆フィルタ処理を行うことにより残響除去信号を得て、
ステップＳ３：上記残響除去信号を音声信号として出力し、
ステップＳ４：上記２つの受音信号と上記残響除去信号とから残響残留成分に対応する量を評価量として求め、
ステップＳ５：上記評価量が最小となるように上記逆フィルタ処理の逆フィルタ係数を計算し、それまでの逆フィルタ係数を更新してステップＳ１に戻り、再びステップＳ１〜Ｓ５を繰り返す。
【００３３】
前述した図２〜４、７、８の実施例における各機能構成部はハード的に示したが、これらはコンピュータプログラムによりソフト的に構成できる。例えば、図２、３、４において、この発明による残響装置100 の入力端子21,22 にマイクロホン71,72 からの受音信号がディジタル信号として入力されるものとし、残響除去装置100 の全ての処理動作はコンピュータにより実施するものとする。入力端子に与えられた受音信号は、コンピュータ内の記憶装置に記録された上述のこの発明による残響除去方法に基づいた処理プログラムに従って残響除去処理され、出力される。
【００３４】
このようにこの発明による残響除去方法を予め所望の形態の記録媒体に蓄積しておけば、入力受音信号に対し残響除去を行う場合に、その記録媒体中の残響除去方法に従って残響除去処理を行うことができる。
前述では、この発明を室内において話者から発生された音声に対する残響成分を除去する場合について説明したが、受音すべき音響信号としては人間の音声のみならず、どの様な自然音（動物の鳴き声、機械的摩擦音、衝突音など）であってもよいし、電気的再生音であってもよい。
【００３５】
【発明の効果】
以上説明したように、本発明の残響除去方法及び装置によれば残響除去処理後の音声を用いて残響除去性能の評価を行い、逐次評価結果が良くなるように逆フィルタ係数を計算し更新することにより、事前に伝達関数の測定が不要となり、従来技術では困難であった事前に伝達関数が測定できない場合や伝達関数が時時刻々変化する場合でも適用可能である。従って、例えば講堂や大会議室、ホールにおける会議、講演など事前に基準信号を出して伝達関数を測定することが困難な場面で、残響に埋もれた音声から残響を除去して明瞭な音声を得たい場合に本発明の残響除去方法及び装置は効果がある。
【００３６】
また、本発明の残響除去方法及び装置では残響除去処理と同時に伝達関数の推定も行っているので、事前に伝達関数の推定を行わなくても、伝達関数を得ることができる。従って、上述したように講堂や大会議室、ホールにおける会議、講演など事前に基準信号を出して伝達関数を推定することが困難な場面で伝達関数を得たい場合に本発明の残響除去装置は効果がある。
【図面の簡単な説明】
【図１】 従来技術の残響除去装置を説明するためのブロック図。
【図２】 本発明の残響除去方法及び装置の原理を説明するためのブロック図。
【図３】 本発明の残響除去装置の第１実施例を説明するブロック図。
【図４】 本発明の残響除去装置の第２実施例を説明するためのブロック図。
【図５】 Ａはシュミレーション実験に用いられた第１逆フィルタ部の伝達関数とその推定結果の波形図、Ｂはシュミレーション実験に用いられた第２逆フィルタ部の伝達関数とその推定結果の波形図。
【図６】 Ａは本発明の残響除去装置を用いて残響除去処理を行った結果のインパルス応答を説明する図、ＢはＡにおけるインパルス応答の周波数特性を示す図。
【図７】 本発明の残響除去装置の第３実施例を示すブロック図。
【図８】 本発明の残響除去装置の第４実施例を示すブロック図。
【図９】 本発明の残響除去方法を示すフロー図。
【発明の属する技術分野】
本発明は、会議室、ホールなど残響のある場所で音声を明瞭に受音するのに用いる残響除去方法及び装置に関する。
【０００２】
【従来の技術】
従来、残響音声から残響を除去する方法として、話者位置から基準信号を発生して、受音点までの伝達関数を事前に測定しておき、その伝達関数の逆フィルタを計算し、受音信号に畳み込むことによって残響を除去する方法があった。［参考文献：M.Miyoshi and Y.Kaneda, "Inverse filtering of room acoustics," IEEE Trans.ASSP,36(2),pp.145-152(1988)]
図１は、受音点までの伝達関数を事前に測定し逆フィルタを計算する上記文献に示された従来の残響除去装置200 の技術を説明する図であり、21,22 は第１、第２チャネル残響音声入力端子、３は残響除去音声出力端子、４は逆フィルタ処理部、６は逆フィルタ係数計算部、71,72 は第１、第２チャネルマイクロホン、９は話者、２１は事前伝達関数測定部、２２は伝達関数測定基準信号発生部、２３は伝達関数測定用基準信号出力端子、２４はスピーカである。
【０００３】
従来の残響除去装置200 を動作させるには、第１に、伝達関数測定用基準信号発生部２２で発生された基準信号を伝達関数測定用基準信号出力端子２３に通して話者９と同じ位置におかれたスピーカ２４より出力する。第２に、部屋の残響が加わった基準信号を第１チャネルマイクロホン７1 と第２チャネルマイクロホン72とで受音する。第３に、受音された各チャネルの信号と基準信号から事前伝達関数測定部２１で、話者９の位置から第１チャネル残響音声入力端子21までの伝達関数と話者９の位置から第２チャネル残響音声入力端子22までの伝達関数を計算する。第４に、逆フィルタ係数計算部６で測定された各チャネルの伝達関数の特性を打ち消す逆フィルタ係数を計算し、その逆フィルタ係数を用いて逆フィルタ処理部４で処理することにより残響除去された音声信号を残響除去音声出力端子３から出力する。
【０００４】
しかし、この従来法だと事前に話者９の位置からマイクロホン71,72 の位置である受音点までの伝達関数を測定しておく必要があり、事前に測定ができない場合、あるいは話者及び／又はマイクロホンが移動したり、室内の人やものが移動することにより伝達関数が時時刻々変化する場合などには適用が難しい欠点があった。
【０００５】
Hong Wang は、２つのマイクロホン出力をそれぞれ逆フィルタを通してから互いに加算する残響除去システムを提案している。そのシステムでは、基準信号を使った伝達関数の測定は行わず、話者から２つのマイクロホン出力に至る２つのチャネルの伝達関数C1、C2を仮定し、その比C2/C1 を伝達関数として有する評価用フィルタを設け、第２チャネルを通った信号をその評価用フィルタに通した出力と第１チャネルを通った信号との差が０となるようにC2/C1 を決め、そのC2/C1 からPade近似により上記２つの逆フィルタの係数C2,C1 を決定している（"MULTI-CHANNEL DECONVOLUTION USING PADE APPROXIMATION",IEEE,1995, pp.3007-3009）。この方法では、残響除去出力は評価情報として使われていない（即ちフィードバックされていない）ので、高い精度の残響除去は期待できない。またC2/C1 の計算においてC1が０の場合、C2/C1 が発散する問題がある。
【０００６】
【発明が解決しようとする課題】
本発明の目的は、従来法では事前に話者位置から受音点までの伝達関数を測定しておく必要があった点を解決し、事前に測定ができない場合、あるいは伝達関数が時時刻々変化する場合などにも適用できる残響除去方法及び装置を提供することにある。
【０００７】
【課題を解決するための手段】
この発明の残響除去方法によれば、残響のある室内でマイクロホンにより受音された話者からの残響音声から残響成分を除去する残響除去方法であって、以下のステップを含む：
(a) 異なる位置に設置した少なくとも２つのマイクロホンで話者からの残響音声をそれぞれ受音して第１及び第２受音信号を入力し、
(b) 上記第１及び第２受音信号に対し、上記話者から上記第１及び第２受音信号のそれぞれの入力に至る第１及び第２伝達関数の逆フィルタ処理を行うことにより残響除去信号を得て、
(c) 上記残響除去信号を残響除去された音声信号として出力すると共に、上記第１及び第２受音信号と上記残響除去信号とから残留残響成分に対応する量を評価量として求め、
(d) 上記評価量が０に最も近づくように上記逆フィルタ処理の逆フィルタ係数を計算し、その逆フィルタ係数によりそれまでの逆フィルタ係数を更新し、
(e) 上記ステップ(a) に戻り、再びステップ(a)〜(d)を繰り返す。
【０００８】
この様に、本発明の残響除去方法及び装置では入力受音信号と出力残響除去信号とから残響除去性能を評価する手段を設け、その評価結果が最適になるように逆フィルタ係数を計算することを最も主要な特徴とする。残響除去処理後の音声を評価し、その評価結果を逐次、残響除去処理に反映させるため、事前に伝達関数を測定する必要がない点が、従来の技術との相違点である。
【０００９】
本発明においては、残響除去性能評価部では残響除去処理中も逐次、評価を行い、逆フィルタ係数計算部ではその結果に基づいて逆フィルタ係数を計算する。従って、事前に伝達関数がわからない場合あるいは伝達関数が時時刻々変化する場合でも、評価結果が最適となるように逐次、逆フィルタ係数を更新していくことにより、残響除去を行うことができる。
【００１０】
演算量を削減するため、２チャネルの受音信号をそれぞれ複数のサブバンドに分割し、間引きを行ってからそれぞれのサブバンドでこの発明による残響除去を行い、その残響除去されたサブバンド信号を補間してから合成しても全帯域残響除去信号として出力してもよい。
【００１１】
【発明の実施の形態】
図２は、本発明による残響除去の原理を説明するための残響除去装置１００のブロック図であり、21は第１チャネル残響音声入力端子、22は第２チャネル残響音声入力端子、３は残響除去音声出力端子、４は逆フィルタ処理部、５は残響除去性能評価部、６は逆フィルタ係数計算部、71は第１チャネルマイクロホン、72は第２チャネルマイクロホン、９は話者である。
【００１２】
本発明の残響除去装置１００を動作するには、第１に、話者９によって発声された音声を部屋の互いに異なる任意の位置に設置された第１及び第２チャネルマイクロホン71,72 により受音して第１及び第２チャネル残響音声入力端子21,22に入力する。第２に、各チャネルの入力信号を逆フィルタ処理部４によりフィルタ処理する。第３に、逆フィルタ処理部４の出力信号と各チャネルの入力信号とから残響除去性能評価部５で残響除去性能を評価する。第４に、その評価結果に基づき評価結果が最適に近付くように逆フィルタ係数計算部６で逆フィルタ処理部４のフィルタ係数を計算し更新する。以上の第１から第４までを繰り返していくことにより端子３に出力される信号中の残響除去が行われる。
第１実施例
図３は、図２で示した本発明の原理による残響除去装置の第１の実施例のブロック図であり、111 は第１逆フィルタ部、112 は第２逆フィルタ部、１２は加算演算部、131 は第１チャネル伝達関数摸擬フィルタ部、132 は第２チャネル伝達関数模擬フィルタ部、１５は伝達関数推定部、161 は第１差分演算部、162 は第２差分演算部である。図２における逆フィルタ処理部４は、図３では第１逆フィルタ部111 と第２逆フィルタ部112 と加算演算部１２とから構成される。また図２における残響除去性能評価部５は図３では第１チャネル伝達関数模擬フィルタ部131 と第２チャネル伝達関数模擬フィルタ部132 と伝達関数推定部１５と第１差分演算部161 と第２差分演算部162 とから構成されるが、動作原理は図２の場合と同じである。
【００１３】
次に動作について説明する。第１チャネル残響音声入力端子21からの入力信号は第１逆フィルタ部111 に入力され、第２チャネル残響音声入力端子22からの入力信号は第２逆フィルタ部112 に入力され、各逆フィルタ部111、112の出力信号は加算演算部１２で加算され残響除去音声として残響除去音声出力端子３から出力される。加算演算部１２の出力信号はまた第１チャネル伝達関数模擬フィルタ部131 と第２チャネル伝達関数模擬フィルタ部132 とに入力される。第１差分演算部161 で第１チャネル伝達関数模擬フィルタ部131 の出力信号と第１チャネル残響音声入力端子21からの入力信号との差分をとる。第２差分演算部162 で第２チャネル伝達関数模擬フィルタ部132 の出力信号と第２チャネル残響音声入力端子22からの入力信号との差分をとる。各差分演算部161、162の差分出力である誤差信号e1(z),e2(z) が０となるように逆フィルタ係数計算部６で第１逆フィルタ係数と第２逆フィルタ係数を計算し、かつ各差分演算部161、162の出力誤差信号が０となるように伝達関数推定部１５で第１チャネル伝達関数模擬フィルタ部131 のフィルタ係数と第２チャネル伝達関数模擬フィルタ部132 のフィルタ係数とを計算することにより残響除去が行える。
【００１４】
ここで、各差分演算部161、162の出力誤差信号が残響除去性能の評価量となっており、０となれば残響除去が完全にできていることが以下のように証明される。一般に、フィルタの伝達関数はそのフィルタの係数によって規定されるので、伝達関数とフィルタ係数は等価であり、以下の説明においては、フィルタの伝達関数を表す記号例えばH(z),C(z) などをフィルタ係数を表す記号としても使用する。
【００１５】
図３のように音声信号Ｚ変換をX(z)、話者９から第１チャネル残響音声入力端子21までの伝達関数をC1(z) 、話者９から第２チャネル残響音声入力端子22までの伝達関数をC2(z) 、第１チャネル残響音声入力端子21での入力信号をM1(z) 、第２チャネル残響音声入力端子22での入力信号をM2(z) 、第１及び第２逆フィルタ部111、112の伝達関数をそれぞれH1(z)、H2(z)、第１及び第２チャネル伝達関数模擬フィルタ部131、132の伝達関数をB1(z)、B2(z)、残響除去音声信号をY(z)、第１差分演算部161 の出力誤差信号をe1(z) 、第２差分演算部162 の出力誤差信号をe2(z) とする。
【００１６】
誤差信号e1(z),e2(z) が０になるように伝達関数H1(z),H2(z),B1(z),B2(z) を設定した場合にB1(z)=αC1(z), B2(z)=αC2(z)（αは任意定数）となり、またH1(z),H2(z) がC1(z),C2(z) の逆フィルタとなり、そしてY(z)=(1/α)X(z) となること、つまり定数倍を除いて音声信号が復元できていることを以下に示す。
図３においてe1(z),e2(z) が０の時、
e1(z)＝M1(z)−B1(z)Y(z)
＝[C1(z)−B1(z){H1(z)C1(z)＋H2(z)C2(z)}]X(z)
＝0
e2(z)＝M2(z)−B2(z)Y(z)
＝[C2(z)−B2(z){H1(z)C1(z)＋H2(z)C2(z)}]X(z)
＝0 …… (1)
となる。任意の音声信号X(z)に対して、式(1) が成り立つとすると、
C1(z)＝B1(z){H1(z)C1(z)＋H2(z)C2(z)}
C2(z)＝B2(z){H1(z)C1(z)＋H2(z)C2(z)} …… (2)
でなければならない。ここでC1(z),C2(z) が有限長で共通零点を持たないとすると式(2) より
C1(z)B2(z)=C2(z)B1(z)
が得られる。B1(z)はC1(z)を模擬し、B2(z)はC2(z)を模擬しているので、B1(z)＝αC1(z)とおけば
B2(z)＝αC2(z) （α：任意定数） …… (3)
となることがわかる。式(3) を式(2) に代入して、
C1(z)＝αC1(z){H1(z)C1(z)＋H2(z)C2(z)}
C2(z)＝αC2(z){H1(z)C1(z)＋H2(z)C2(z)} …… (4)
両辺をαC1(z)、αC2(z)で除せば、
1/α＝H1(z)C1(z)＋H2(z)C2(z) …… (5)
となる。図３の逆フィルタ部４を通って出力される信号Y(z)は次式のように表せる。
【００１７】
Y(z)＝{H1(z)C1(z)＋H2(z)C2(z)}X(z) …… (6)
従って、
Y(z)＝(1/α)X(z) …… (7)
となり、Y(z)は定数倍を除いて音声信号X(z)と等しくなる。
以上のことより、各差分演算部161、162の出力誤差信号e1(z)、e2(z)が０となるように逆フィルタ係数計算部６で第１及び第２逆フィルタ部111,112 に設定する第１及び第２逆フィルタ係数を計算し、また、伝達関数推定部１５で第１及び第２チャネル伝達関数模擬フィルタ部131,132 に設定するフィルタ係数を計算することにより残響除去が行えることがわかる。
【００１８】
次に、各フィルタ係数の計算方法について説明する。まず第１の方法は、逆フィルタ係数計算部６と伝達関数推定部１５において、例えば学習同定法、射影法などの適応アルゴリズムを用いて誤差信号e1(z)、e2(z)のパワーが最小となるようなフィルタ係数を求める方法である。
しかし、この第１の計算方法では求めるフィルタ伝達関数H1(z)、H2(z)とB1(z)、B2(z)とが直列に結合されているので、誤差信号e1(z)、e2(z)が各フィルタ係数に対して単純な２次誤差曲面を形成せず、フィルタ係数が局所最適解に収束してしまう恐れがある。そこで、第２の計算方法として誤差信号e1(z),e2(z) と共に、更に別の評価値を使用することにより誤差曲面を平均化して局所最適解になりにくくする。その具体的実施例を次に説明する。
第２実施例
図４は、本発明による残響除去装置の第２実施例のブロック図であり、181 は第２チャネル伝達関数模擬複製フィルタ部、182 は第１チャネル伝達関数模擬複製フィルタ部、１７は誤差分演算部である。図４に示す第２実施例の構成は、図３の第１実施例における残響除去性能評価部５の構成要素として第２チャネル伝達関数模擬複製フィルタ部181 と第１チャネル伝達関数模擬複製フィルタ部182 と誤差演算部１７とから成るフィルタ係数拘束部２５が加わったものと同様の構成である。
【００１９】
次に動作について説明する。第２チャネル伝達関数模擬複製フィルタ部181 のフィルタの係数は第２チャネル伝達関数模擬フィルタ部132 のフィルタ係数B2(z) を複製したものであり、第１チャネル関数模擬複製フィルタ部182 のフィルタ係数は第１チャネル伝達関数模擬フィルタ部131 のフィルタ係数B1(z) を複製したものである。第２チャネル伝達関数模擬複製フィルタ部181 へは第１チャネル残響音声入力端子21からの信号M1(z) が入力され、第１チャネル伝達関数模擬複製フィルタ部182 へは第２チャネル残響音声入力端子22からの信号M2(z) が入力される。誤差演算部１７で第２チャネル伝達関数模擬複製フィルタ部181 の出力信号と第１チャネル伝達関数模擬複製フィルタ部182 の出力信号の差が得られ、誤差信号eM(z) が生成され、逆フィルタ係数計算部６と伝達関数推定部１５に与えられる。
【００２０】
ここで、図４の各部に信号で示したように第２チャネル伝達関数模擬複製フィルタ部181 のフィルタ係数のｚ変換は B2(z)、第１チャネル伝達関数模擬複製フィルタ部182 のフィルタ係数のｚ変換は B1(z)、誤差演算部１７の出力誤差信号を eM(z)とする。第１チャネル音響音声入力端子21での入力信号及び第２チャネル残響音声入力端子22での入力信号はM1(z)=C1(z)X(z)及びM2(z)=C2(z)X(z) であるので、誤差信号 eM(z)は次式のようになる。
【００２１】
eM(z)＝M1(z)B2(z)−M2(z)B1(z)
＝{C1(z)B2(z)−C2(z)B1(z)}X(z) …… (8)
図３の第１実施例で説明したように、フィルタ係数B1(z)及びB2(z)はそれぞれ話者９から入力端子21及び22までの伝達関数を模擬しているものであり、従って、図４に示すように、話者９から誤差演算部１７に至る経路を構成する伝達関数C1(z)とB2(z)の直列接続と伝達関数C2(z)とB1(z)の直列接続は、理想的には互いに等価になるはずである。逆に言えば、式(8) の誤差信号 eM(z)を０とするためにはB1(z)=αC1(z), B2(z)=αC2(z)となる必要があり、これは式(3) で示したものと同じ条件である。つまり、B1(z)、B2(z)がそれぞれC1(z)、C2(z)を精度よく模擬していれば、第２チャネル伝達関数模擬複製フィルタ部181 の出力信号は M1(z)C2(z)=X(z)C1(z)C2(z)となり、第１チャネル伝達関数模擬複製フィルタ部182 の出力信号は M2(z)C1(z)=X(z)C2(z)C1(z)となるので、誤差演算部１７の出力誤差信号eM(z) は０となる。従って、eM(z) もe1(z),e2(z) と同時に０となるようフィルタ係数H1(z),H2(z),B1(z),B2(z) の更新を行うことにより、eM(z) による誤差曲面と e1(z),e2(z)による誤差曲面が平均化され、局所最適解へ収束しにくくなる。これに基づき、逆フィルタ係数計算部６及び伝達関数推定部１５ではそれぞれ第１差分演算部161 の出力誤差信号e1(z) と第２差分演算部162 の出力誤差信号e2(z) に加え、誤差演算部１７の出力誤差信号eM(z) も０となるように、第１、第２逆フィルタ部111、112及び第１、第２チャネル伝達関数模擬フィルタ部131、132の各フィルタ係数を計算する。
【００２２】
ここで、逆フィルタ係数計算部６及び伝達関数推定部１５において、例えば射影アルゴリズムを用いて e1(z),e2(z),eM(z)が０となるようにフィルタ係数を計算する場合について説明する。
H1(z),H2(z),B1(z),B2(z) の逆ｚ変換に対応するｋ番目時刻の各フィルタ係数ベクトルをｈ1(k),ｈ2(k),ｂ1(k),ｂ2(k)とし、M1(z),M2(z)の逆ｚ変換に対応する時間信号を m1(k),m2(k)とし、e1(z),e2(z),e M (z) の逆変換に対応する時間信号を E1(k),E2(k),E3(k)とすると、第１、第２逆フィルタ部111、112及び第１、第２チャネル伝達関数模擬フィルタ部131、132のフィルタ係数ベクトルは以下の逐次計算式(9) 及び(10)でそれぞれ計算される。
【００２３】
【数１】
【数２】
【００２５】
【数３】
【数４】
β2(k)＝[M2(k)TM2(k)＋δI]-1
β3(k)＝[M3(k)TM3(k)＋δI]-1
M1(k)＝[ｍ'(k),ｍ'(k-1),…,ｍ'(k-p+1)]T
ｍ'(k)＝[m'1(k),m'1(k-1),…,m'1(k-L1+1),
m'2(k),m'2(k-1),…,m'2(k-L2+1)]T
m'1(k)＝m1(k)*ｂ1(k)
m'2(k)＝m2(k)*ｂ2(k)
M2(k)＝[ｙ(k),ｙ(k-1),…,ｙ(k-p+1)]T
ｙ(k)＝[y(k),y(k-1),…,y(k-L3+1),
y(k),y(k-1),…,y(k-L4+1)]T
M3(k)＝[ｍ(k),ｍ(k-1),…,ｍ(k-p+1)]T
ｍ(k)＝[m2(k),m2(k-1),…,m2(k-L3+1),
-m1(k),-m1(k-1),…,-m1(k-L4+1)]T
である。ただし、＊はｋ番目時刻の各フィルタ係数ベクトルの畳み込みを表し、ｐは射影次数、L1,L2,L3,L4 は各フィルタ係数ベクトルの長さ、δは逆フィルタ計算を安定に行うための定数、μ及びλはステップゲイン、Ｉは単位行列である。また、任意定数αを決めるために b1(k),b2(k)の任意の係数ベクトル上の一箇所を固定して計算する。式(9),(10)を用いることにより、第１差分演算部161 と第２差分演算部162 と誤差演算部１７の各出力を０にするよう適応的に第１、第２逆フィルタ111、112及び第１、第２チャネル伝達関数模擬フィルタ131、132のフィルタ係数ベクトルを計算することができる。
【００２７】
前述の図３の実施例における逆フィルタ係数計算部６及び伝達関数推定部１５のフィルタ係数の計算についても学習同定法や射影法などの適応アルゴリズムを用いて、第１差分演算部161と第２差分演算部162の各出力を０にするよう適応的に計算してもよい。
図４に示した本発明による残響除去装置の第２の実施例の動作確認のため、インパルス応答の一例として、図５Ａ，５Ｂに示す３０タップの伝達関数 C1,C2を用い、残響除去のシュミレーション実験を行った。話者９としての音源信号として白色雑音を用いた。第１逆フィルタ部111 はH1、第２逆フィルタ部112 はH2フィルタ係数で、そのタップ長は２９、第１チャネル伝達関数模擬フィルタ部131 はB1、第２チャネル伝達関数模擬フィルタ部132 はB2のフィルタ係数で、その各タップ長は３０である。図５Ａ，５Ｂに、オリジナル伝達関数C1,C2（実線）と推定された伝達関数B1,B2（破線）の時間波形を示す。図５Ａ，５Ｂから位相も含めた波形レベルでよく推定できていることがわかる。図６Ａ，６Ｂに、話者９としての音源としてインパルスを発生したときの出力信号Y(z)の波形を実線で示すと共に、残響除去処理を行う前の２つの入力信号M1(z),M2(z) の波形を破線と一点鎖線で示す。時間領域の応答特性を示す図６Ａ，及び周波数領域の特性を示す図６Ｂから、本発明の残響除去装置によりインパルス音の後続する残響成分が低減していることがわかる。また、周波数領域の図６Ｂから本方法の残響抑圧効果により周波数スペクトルが平坦化していることがわかる。
第３実施例
前述の各実施例では、マイクロホンを異なる位置に２つ設け、話者（音源）からの２チャネルの音声信号に基づいてそれらの信号中の残響成分が互いにキャンセルするようにそれら２チャネルの伝達関数に対する逆フィルタの係数を推定する場合について説明したが、この発明の原理は２チャネルに限定されるものではなく、３チャネル以上の場合にも適用できる。図７は図３の第１実施例の構成を３チャネルに適用した場合のシステム構成を示し、図３の対応する部分には同様の参照番号を付けてある。
【００２８】
３つの異なる位置に設けられた第１、第２、第３マイクロホン71,72,73からの信号は入力端子21,22,23を経て第１、第２、第３逆フィルタ111,112,113 に与えられると共に、第１、第２、第３差分演算部161,162,163 に与えられる。３つの逆フィルタ111,112,113 の出力は加算演算部１２で互いに加算され、加算結果は残響除去された信号として出力端子３に出力されると共に、第１、第２、第３チャネル伝達関数模擬フィルタ部131,132,133 に共通に与えられる。これら伝達関数模擬フィルタ131,132,133 の出力は第１、第２、第３差分演算部161,162,163 に与えられて、入力端子21,22,23からの入力信号から減算され、減算結果は誤差信号e1(z),e2(z),e3(z) として出力される。
【００２９】
差分演算部161,162,163 からの誤差信号e1(z),e2(z),e3(z) は逆フィルタ係数計算部６に与えられると共に、伝達関数推定部１５に与えられる。逆フィルタ係数計算部６及び伝達関数推定部１５は図３の第１実施例と同様にして与えられた誤差信号e1(z),e2(z),e3(z) が０になるようにそれぞれ逆フィルタ係数H1(z),H2(z),H3(z) 及びフィルタ係数B1(z),B2(z),B3(z) を例えば適応アルゴリズムによりそれぞれ計算し、計算したフィルタ係数をそれぞれ第１、第２、第３逆フィルタ部111,112,113 及び第１、第２、第３チャネル伝達関数模擬フィルタ部131,132,133に設定する。
第４実施例
室内の残響時間を例えば残響時間を200msec とし、インパルス応答を12KHz でサンプリングした場合には、残響特性を表すインパルス応答の次数は約2400次となる。前述の第１及び第２実施例（図２及び３）においてこの様な大きな次数のインパルス応答に対応した逆フィルタ111,112、伝達関数模擬フィルタ部131,132、図４の実施例では更に伝達関数模擬フィルタ部181,182などの次数も2400と非常に大きくする必要があり、それらのフィルタ係数を前述の例えば射影アルゴリズムのような適応アルゴリズムを使って計算するために、膨大な計算量を必要とする。この様な適応アルゴリズムに必要とされる計算量を削減するには、各チャネルの入力音声をサブバンドに分割し、各サブバンドで間引き処理を行うことにより伝達関数の各サブバンド当たりの次数を削減して所望の処理（ここでは残響除去処理）をサブバンド毎に実施した後、サンプルを補間して再び全帯域信号に合成する事により可能なことは周知である。
【００３０】
ここではこのサブバンド分割法を利用した実施例を図８を参照して説明する。図８に示すように、この実施例ではマイクロホン71,72 により受音された信号M1(z)、M2(z)の組はサブバンド分割／間引き部３１に与えられ、予め決めた複数のサブバンドに分割され、各サブバンド信号の組は予め決めた間引き率Ｒでサンプルが間引かれてサブバンド信号m1k(z),m2k(z) の組とされる。
【００３１】
これらのサブバンド信号の組はサブバンド残響除去部1001,…,100Kの対応する１つに与えられる。各サブバンド残響除去部1001,…,100Kの構成は例えば図２、３、４のいずれかで示したものと同様であるが、使用される各フィルタの次数は間引き率Ｒに対応して小さくされている。サブバンド残響除去部1001,…,100Kからの残響除去された信号y1(z),…,yK(z)は補間／合成部３２で間引きされた数のサンプルを補間して全サブバンド信号が合成され、全帯域信号Y(z)として端子３に出力される。
【００３２】
次に本発明の残響除去方法について説明する。基本的には図２の残響除去装置の動作手順と同じであるが、図９に示す流れ図を参照して説明する。
ステップＳ１：異なる位置に設置した少なくとも２つのマイクロホンで音源からの残響音声をそれぞれ受音して２つの受音信号を得て、
ステップＳ２：上記２つの受音信号に対し、上記音源からマイクロホンの出力にいたる伝達関数の逆フィルタ処理を行うことにより残響除去信号を得て、
ステップＳ３：上記残響除去信号を音声信号として出力し、
ステップＳ４：上記２つの受音信号と上記残響除去信号とから残響残留成分に対応する量を評価量として求め、
ステップＳ５：上記評価量が最小となるように上記逆フィルタ処理の逆フィルタ係数を計算し、それまでの逆フィルタ係数を更新してステップＳ１に戻り、再びステップＳ１〜Ｓ５を繰り返す。
【００３３】
前述した図２〜４、７、８の実施例における各機能構成部はハード的に示したが、これらはコンピュータプログラムによりソフト的に構成できる。例えば、図２、３、４において、この発明による残響装置100 の入力端子21,22 にマイクロホン71,72 からの受音信号がディジタル信号として入力されるものとし、残響除去装置100 の全ての処理動作はコンピュータにより実施するものとする。入力端子に与えられた受音信号は、コンピュータ内の記憶装置に記録された上述のこの発明による残響除去方法に基づいた処理プログラムに従って残響除去処理され、出力される。
【００３４】
このようにこの発明による残響除去方法を予め所望の形態の記録媒体に蓄積しておけば、入力受音信号に対し残響除去を行う場合に、その記録媒体中の残響除去方法に従って残響除去処理を行うことができる。
前述では、この発明を室内において話者から発生された音声に対する残響成分を除去する場合について説明したが、受音すべき音響信号としては人間の音声のみならず、どの様な自然音（動物の鳴き声、機械的摩擦音、衝突音など）であってもよいし、電気的再生音であってもよい。
【００３５】
【発明の効果】
以上説明したように、本発明の残響除去方法及び装置によれば残響除去処理後の音声を用いて残響除去性能の評価を行い、逐次評価結果が良くなるように逆フィルタ係数を計算し更新することにより、事前に伝達関数の測定が不要となり、従来技術では困難であった事前に伝達関数が測定できない場合や伝達関数が時時刻々変化する場合でも適用可能である。従って、例えば講堂や大会議室、ホールにおける会議、講演など事前に基準信号を出して伝達関数を測定することが困難な場面で、残響に埋もれた音声から残響を除去して明瞭な音声を得たい場合に本発明の残響除去方法及び装置は効果がある。
【００３６】
また、本発明の残響除去方法及び装置では残響除去処理と同時に伝達関数の推定も行っているので、事前に伝達関数の推定を行わなくても、伝達関数を得ることができる。従って、上述したように講堂や大会議室、ホールにおける会議、講演など事前に基準信号を出して伝達関数を推定することが困難な場面で伝達関数を得たい場合に本発明の残響除去装置は効果がある。
【図面の簡単な説明】
【図１】 従来技術の残響除去装置を説明するためのブロック図。
【図２】 本発明の残響除去方法及び装置の原理を説明するためのブロック図。
【図３】 本発明の残響除去装置の第１実施例を説明するブロック図。
【図４】 本発明の残響除去装置の第２実施例を説明するためのブロック図。
【図５】 Ａはシュミレーション実験に用いられた第１逆フィルタ部の伝達関数とその推定結果の波形図、Ｂはシュミレーション実験に用いられた第２逆フィルタ部の伝達関数とその推定結果の波形図。
【図６】 Ａは本発明の残響除去装置を用いて残響除去処理を行った結果のインパルス応答を説明する図、ＢはＡにおけるインパルス応答の周波数特性を示す図。
【図７】 本発明の残響除去装置の第３実施例を示すブロック図。
【図８】 本発明の残響除去装置の第４実施例を示すブロック図。
【図９】 本発明の残響除去方法を示すフロー図。
Claims (8)
- 残響のある室内でマイクロホンにより受音された音源からの残響音から残響成分を除去する残響除去方法であって、以下のステップを含む：
(a) 異なる位置に設置した２つのマイクロホンで音源からの残響音をそれぞれ受音して第１及び第２受音信号を入力し、
(b) 上記第１及び第２受音信号に対し、前回のステップ (d) により計算した第１及び第２逆フィルタ係数を用いてフィルタ処理を行い、それら処理結果を互いに加算して残響除去信号を得て、
(c) 上記残響除去信号を残響除去された音響信号として出力すると共に、前回のステップ (d) により計算した第１及び第２模擬伝達関数により上記残響除去信号をそれぞれフィルタ処理し、それらの処理結果と上記第１及び第２受音信号とのそれぞれの差分を評価量として求め、
(d) 上記評価量と上記第１及び第２受音信号と前回の第１及び第２逆フィルタ係数を用いて上記評価量が０に最も近づくように上記第１及び第２逆フィルタ係数を計算し、かつ上記評価量と上記残響除去信号と前回の第１及び第２摸擬伝達関数とを用いて上記評価量が０に最も近づくように上記第１及び第２摸擬伝達関数を計算し、
(e) 上記ステップ(a) に戻り、再び上記ステップ(a)〜(d)を繰り返す。 - 請求項１の残響除去方法において、上記ステップ(c) は更に上記第１及び第２模擬伝達関数により上記第２及び第１受音信号をそれぞれフィルタ処理し、それら２つの処理結果の差分も上記評価量に含めるステップである。
- 請求項１又は２の残響除去方法において、上記ステップ(a) は入力された上記第１及び第２受音信号を予め決めた複数のサブバンドに分割し、それらサブバンドに分割された第１及び第２受音信号の組を所定の間引き率でそれぞれ間引いて第１及び第２サブバンド受音信号の組として得るステップであり、
上記ステップ(b)〜(e)は、各サブバンドにおいて上記第１及び第２サブバンド受音信号を、入力された上記第１及び第２受音信号として実行し、
上記ステップ (b) で得られたサブバンドごとの残響除去信号をもとのサンプルレートに補間し、これら補間された全サブバンド残響除去信号を合成して全帯域の残響除去信号として出力するステップを含む。 - 請求項１の残響除去方法において、
上記ステップ(a) は上記２つのマイクロホンと異なる位置に設けられたマイクロホンで上記音源からの残響音を受音して第３受音信号も入力するステップであり、上記ステップ(b) は上記第３受音信号に対し、前回のステップ (d) により計算した第３逆フィルタ係数を用いてフィルタ処理を行い、その処理結果をも上記処理結果に加算して上記残響除去信号を得るステップであり、
上記ステップ(c) は前回のステップ(d) により計算した第３模擬伝達関数により上記残響除去信号をフィルタ処理し、その処理結果と上記第３受音信号との差分も上記評価量とするステップであり、
上記ステップ(d) は上記評価量と上記第３受音信号と前回の第３逆フィルタ係数を用いて上記評価量が０に最も近づくように上記第１、第２及び第３逆フィルタ係数を計算し、かつ上記評価量と上記残響除去信号と前回の第３摸擬伝達関数とを用いて上記評価量が０に最も近づくように上記第１、第２及び第３模擬伝達関数を決定するステップである。 - 請求項１、２、３又は４の残響除去方法の各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
- 残響のある室内で異なる位置に設置した第１及び第２マイクロホンにより受音された音源からの残響音から残響成分を除去する残響除去装置であって、
上記第１及び第２マイクロホンより出力される第１及び第２受音信号に対し、それぞれフィルタ処理を行う第１及び第２逆フィルタ部と、
上記第１及び第２逆フィルタ部の出力信号を加算し、その加算結果を残響除去信号として、また残響除去された音響信号として出力する加算演算部と、
上記残響除去信号をそれぞれフィルタ処理する第１及び第２チャネル伝達関数摸擬フィルタ部と、
上記第１及び第２チャネル伝達関数摸擬フィルタ部の各出力信号と上記第１及び第２受音信号とのそれぞれの差分演算を行い、第１及び第２評価量信号として出力する第１及び第２差分演算部と、
上記第１及び第２評価量信号と上記第１及び第２受音信号と上記第１及び第２逆フィルタ部の第１及び第２逆フィルタ係数とが入力され、これらにより上記第１及び第２評価量信号が０に最も近づくように上記第１及び第２逆フィルタ係数を計算し、これら計算結果により上記第１及び第２逆フィルタ部の第１及び第２フィルタ係数を更新する逆フィルタ係数計算部と、
上記第１及び第２評価量と上記残響除去信号と上記第１及び第２チャネル伝達関数摸擬フィルタ部の第１及び第２摸擬伝達関数とが入力され、これらにより上記第１及び第２評価量が０に最も近づくように上記第１及び第２摸擬伝達関数を計算し、これら計算結果により上記第１及び第２チャネル伝達関数摸擬フィルタ部の第１及び第２摸擬伝達関数を更新する伝達関数推定部とを具備する残響除去装置。 - 請求項６の残響除去装置において、上記第１及び第２受音信号が入力され、これらを上記第１及び第２摸擬伝達関数によりそれぞれフィルタ処理する第１及び第２チャネル伝達関数模擬複製フィルタ部と、上記第１及び第２チャネル伝達関数模擬フィルタ部の両出力信号間の差分演算をして第３評価量信号として出力する第３差分演算部とを含み、
上記逆フィルタ係数計算部は、上記第３評価量信号も含めて評価量信号が０に最も近づくように上記第１及び第２逆フィルタ係数を計算する計算部であり、
上記伝達関数推定部は、上記第３評価量信号も含めて評価量信号が０に最も近づくように上記第１及び第２摸擬伝達関数を計算する推定部である。 - 請求項６の残響除去装置において、上記第１及び第２マイクロホンと異なる位置に設置された第３マイクロホンより出力される第３受音信号に対し、フィルタ処理を行う第３逆フィルタ部を含み、上記加算演算部は上記第３逆フィルタ部の出力信号も加算する演算部であり、
上記残響除去信号をフィルタ処理する第３チャネル伝達関数摸擬フィルタ部と、上記第３チャネル伝達関数摸擬フィルタ部の出力信号と上記第３受音信号との差分演算を行い、第３評価量信号として出力する第３差分演算部とを含み、
上記逆フィルタ係数計算部は、上記第３評価量信号、上記第３受音信号及び上記第３逆フィルタ部の第３逆フィルタ係数も入力され、上記第３評価量信号も０に最も近づくように上記第１、第２及び第３逆フィルタを計算し、この計算結果により上記第３逆フィルタ部の第３逆フィルタ係数も更新する計算部であり、
上記伝達関数推定部は、上記第３評価量信号及び第３チャネル伝達関数模擬フィルタ部の第３摸擬伝達関数も入力され、上記第３評価量信号も０に最も近づくように上記第１、第２及び第３摸擬伝達関数を計算し、その計算結果により上記第３チャネル伝達関数摸擬フィルタ部の第３摸擬伝達関数も更新する推定部であることを特徴とする残響除去装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6665997A JP3649847B2 (ja) | 1996-03-25 | 1997-03-19 | 残響除去方法及び装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6855096 | 1996-03-25 | ||
| JP8-68550 | 1996-03-25 | ||
| JP6665997A JP3649847B2 (ja) | 1996-03-25 | 1997-03-19 | 残響除去方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09321860A JPH09321860A (ja) | 1997-12-12 |
| JP3649847B2 true JP3649847B2 (ja) | 2005-05-18 |
Family
ID=26407852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6665997A Expired - Fee Related JP3649847B2 (ja) | 1996-03-25 | 1997-03-19 | 残響除去方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3649847B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102021994B1 (ko) * | 2018-08-29 | 2019-09-17 | 주식회사 싸이언 | 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007100137A1 (ja) * | 2006-03-03 | 2007-09-07 | Nippon Telegraph And Telephone Corporation | 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体 |
| CN101416237B (zh) | 2006-05-01 | 2012-05-30 | 日本电信电话株式会社 | 基于源和室内声学的概率模型的语音去混响方法和设备 |
| JP5227393B2 (ja) * | 2008-03-03 | 2013-07-03 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体 |
| EP2315458A3 (en) * | 2008-04-09 | 2012-09-12 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating filter characteristics |
| JP5926490B2 (ja) * | 2011-02-10 | 2016-05-25 | キヤノン株式会社 | 音声処理装置 |
| CN103067821B (zh) * | 2012-12-12 | 2015-03-11 | 歌尔声学股份有限公司 | 一种基于双麦克的语音混响消减方法和装置 |
| WO2014097470A1 (ja) * | 2012-12-21 | 2014-06-26 | Toa株式会社 | 残響除去装置 |
| JP6630605B2 (ja) * | 2016-03-22 | 2020-01-15 | 日本放送協会 | インパルス応答推定装置及びプログラム |
-
1997
- 1997-03-19 JP JP6665997A patent/JP3649847B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102021994B1 (ko) * | 2018-08-29 | 2019-09-17 | 주식회사 싸이언 | 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09321860A (ja) | 1997-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5774562A (en) | Method and apparatus for dereverberation | |
| JP5124014B2 (ja) | 信号強調装置、その方法、プログラム及び記録媒体 | |
| US8073147B2 (en) | Dereverberation method, apparatus, and program for dereverberation | |
| RU2495506C2 (ru) | Устройство и способ расчета параметров управления фильтра эхоподавления и устройство и способ расчета величины задержки | |
| JP5042823B2 (ja) | 音声信号反響除去 | |
| JP5227393B2 (ja) | 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体 | |
| CN108429995B (zh) | 音响处理装置、音响处理方法以及存储介质 | |
| WO1993005503A1 (en) | Multi-channel signal separation | |
| CN111213359B (zh) | 回声消除器和用于回声消除器的方法 | |
| JPH05218906A (ja) | 多チャンネルエコー除去方法および装置 | |
| EP3799035A1 (en) | Acoustic program, acoustic device, and acoustic system | |
| JP3649847B2 (ja) | 残響除去方法及び装置 | |
| KR100647826B1 (ko) | 측정된 잡음을 고려한 암묵 반향제거 모델 및 그 유도방법 | |
| JP2003250193A (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
| JPH09261133A (ja) | 残響抑圧方法および装置 | |
| JP4473709B2 (ja) | 信号推定方法、信号推定装置、信号推定プログラム及びその記録媒体 | |
| Maestre et al. | Constrained pole optimization for modal reverberation | |
| JP3920795B2 (ja) | 反響消去装置、方法、及び反響消去プログラム | |
| JP2002223182A (ja) | 反響消去方法、その装置、そのプログラム及びその記録媒体 | |
| JP3131202B2 (ja) | 多重線形伝達経路の伝達特性の分離推定装置、分離推定方法及びその方法を読みとり可能なプログラムとして記録した記録媒体 | |
| JPH09247799A (ja) | 線形予測係数を用いた立体音響処理装置 | |
| JP6728250B2 (ja) | 音響処理装置、音響処理方法およびプログラム | |
| JP4714892B2 (ja) | 耐高残響ブラインド信号分離装置及び方法 | |
| CN111726464B (zh) | 一种多通道回声滤除方法、滤除装置和可读存储介质 | |
| JP2002261659A (ja) | 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130225 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |