JP3917116B2

JP3917116B2 - 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体

Info

Publication number: JP3917116B2
Application number: JP2003284705A
Authority: JP
Inventors: 末廣島内; 陽一羽田; 章俊片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-08-01
Filing date: 2003-08-01
Publication date: 2007-05-23
Anticipated expiration: 2023-08-01
Also published as: JP2005057413A

Description

本発明は、スピーカからマイクロホンへと回り込む反響を消去するための反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体に関する。

スピーカからマイクロホンへと回り込む反響を消去する反響消去装置は、図１のように接続される。従来、反響消去装置１００内では、スピーカ１とマイクロホン２間の反響路のインパルス応答ｈを推定し、推定したインパルス応答ｈ’と再生信号ｘの畳み込み演算ｈ’＊ｘにより模擬反響信号ｙ’を生成し、実際の反響信号ｙから減算することで、反響消去信号ｅを得る。しかし、推定したインパルス応答と再生信号の畳み込み演算には、多くの演算量を必要とし、実装上の問題となっている。近年、この問題を解決するため、再生信号や反響信号を一旦線形変換し、反響路のインパルス応答の線形変換に対応したパラメータを推定し、畳み込みの代わりに乗算処理を用いたり（非特許文献１参照）、あるいはより小さい畳み込み演算に分割したりする、すなわち、再生信号と反響信号を複数の周波数帯域のサブバンドに分割し、それぞれのサブバンド毎に反響消去を行う（特許文献１参照）などして、演算量を削減する方法が提案されている。線形変換の例としては、（高速）離散フーリエ変換、（高速）離散コサイン変換、（高速）ハートレー変換などがある。

また、特許文献２においては、マイクロホン２における収音信号に反響信号以外に含まれる雑音や音声信号等の外乱の影響を受け難くする図２に示す構成が提案されている。図２の構成は、以下の手順を含んでいる。つまり、音響信号再生手段（スピーカ）１へと出力される再生信号を入力し一定時間蓄積し再生信号列を得る再生信号入力手段１０１と、前記音響信号再生手段１と同一空間に存在する音響信号収音手段（マイクロホン）２から収音信号を入力し一定時間蓄積し収音信号列を得る収音信号入力手段１０２と、前記再生信号列を線形変換し再生信号変換列を得る再生信号変換手段１０３と、前記再生信号変換列を入力し前記音響信号再生手段１から前記音響信号収音手段２へと回り込む反響信号の線形変換列を模擬する模擬反響信号変換列を生成する模擬反響生成手段（変換領域反響模擬フィルタ）１０４と、前記模擬反響信号変換列と前記収音信号列とを入力し模擬反響信号変換列の模擬誤差を出力する模擬誤差出力手段１０５と、前記再生信号変換列と前記模擬誤差を入力し前記模擬反響生成手段１０４の変換領域反響模擬フィルタ係数の更新列を生成する変換領域反響模擬フィルタ係数更新手段１０６を含む。
なお、模擬誤差出力手段１０５は、模擬反響信号変換列を逆線形変換した模擬反響信号列と収音信号列との模擬誤差を線形変換して模擬反響信号変換列の模擬誤差を出力する、あるいは、模擬反響信号変換列と収音信号列を線形変換した収音信号変換列との模擬反響信号変換列の模擬誤差を出力する。

模擬反響生成手段（変換領域反響模擬フィルタ）１０４は、変換領域反響模擬フィルタ係数更新手段１０６から得られる変換領域反響模擬フィルタ係数更新列をもとに、変換領域反響模擬フィルタ係数を書き換える手段を含む。変換領域反響模擬フィルタ係数更新手段１０６に入力されるために模擬誤差出力手段１０５から出力される模擬誤差は、線形変換領域で評価できる形式となっている。さらに、変換領域反響模擬フィルタ係数更新手段１０６へ入力する前記再生信号変換列に非線形処理を与える再生信号非線形処理手段１０８と、前記変換領域反響模擬フィルタ係数更新手段１０６へ入力する前記模擬誤差に非線形処理を与える模擬誤差非線形処理手段１０９のうち、少なくとも一つを含むことにより、外乱の影響を受け難くしている。
図１の音響信号再生手段としてスピーカを挙げているが、音響信号再生手段としては、再生前段の増幅器やバッファも含む、また、同様に音響信号収音手段は、マイクロホンの後段の増幅やバッファも含む。
特開平９−１１６４７２号公報（図６）特願２００３−６２６５６（図５，実施例１、図６，実施例２） Simon Haykin 著「適応フィルタ理論」科学技術出版、2001年１月10日、p500−541

従来の技術で挙げた図２（特許文献２）に示す構成において、再生信号非線形処理手段１０８は、再生信号のみに依存する非線形処理手段であり、模擬誤差非線形処理手段１０９は、模擬誤差のみに依存する非線形処理手段である。このため、再生信号がα倍大きくなり、それに比例して模擬誤差もα倍大きくなるような場合と、再生信号がβ倍大きくなり、それに比例して模擬誤差もβ倍大きくなるような場合とにおいて、ともに、同じ非線形効果を与えるように非線形処理を実現することは、図２の構成では困難である。このため、ある大きさの再生信号と模擬誤差に対して、適切な効果を得られるよう非線形処理を選定すると、別の大きさの再生信号と模擬誤差に対しては、期待される効果が得られない場合がある。
本発明の課題は、再生信号と模擬誤差の大きさが同じ比率でスケーリングされても、性能劣化しない非線形処理手段を導入することである。

前記の課題を解決する本発明の第一実施例の反響消去装置の構成を図３に示す。
図３の構成では、従来発明（特許文献２）の図２の構成における再生信号非線形処理手段１０８と模擬誤差非線形処理手段１０９の代わりに、更新列非線形制御手段１１０を設け、この更新列非線形制御手段１１０より、変換領域反響模擬フィルタ係数更新手段１０６が生成する変換領域反響模擬フィルタ係数更新列の大きさを、再生信号変換列の大きさと前記模擬誤差の大きさの比に基づき非線形に制御することを特徴とする。
すなわち、前記更新列非線形制御手段は、各線形変換の要素毎に、前記模擬誤差の大きさと前記再生信号変換列の大きさの所定数倍との大小関係を比較し、前記模擬誤差の大きさが小さい場合は、前記変換領域反響模擬フィルタ係数更新列の大きさを保持して前記模擬反響生成手段に与え、前記模擬誤差の大きさが大きい場合は、前記変換領域反響模擬フィルタ係数更新列の大きさを小さくして前記模擬反響生成手段に与える。

なお、特許文献２においても、図２の構成における再生信号非線形処理手段１０８と模擬誤差非線形処理手段１０９の代わりに、本発明の図３の更新列非線形制御手段１１０と同じ個所に更新列非線形処理手段を配置する実施例が示されている。しかし、この更新列非線形処理手段は、再生信号非線形処理手段１０８と模擬誤差非線形処理手段１０９とにおいて同じ非線形関数ｆ（ｚ）を用い、かつｆ（ｚ）がｆ（ａ）ｆ（ｂ）＝ｆ（ａｂ）を満足する場合における図２と等価な置き換えであるのに対し、本発明による再生信号変換列の大きさと前記模擬誤差の大きさの比に基づき非線形に制御する更新列非線形制御手段１１０は、一般に図２の等価構成を持たず、再生信号非線形処理手段１０８と模擬誤差非線形処理手段１０９として分離できない点で異なる。
本発明は、再生信号変換列の大きさと前記模擬誤差の大きさの比に基づき、変換領域反響模擬フィルタ係数更新列の大きさを非線形に制御する。

本発明の反響消去装置、方法では、反響模擬フィルタ係数の更新を、模擬誤差の絶対的な大きさではなく、再生信号の大きさとの相対的な関係に着目して制御する構成とすることにより、模擬誤差が絶対的に小さく、それ以上に再生信号が小さい場合には、模擬誤差に外乱が多く含まれる可能性が高いため、変換領域反響模擬フィルタの更新量を小さくし、また、模擬誤差が絶対的に大きく、それ以上に再生信号が大きい場合には、模擬誤差に反響信号が多く含まれている可能性が高いため、変換領域反響模擬フィルタの更新量を適切に大きくすることができる。本構成を採用したことにより、変換領域反響模擬フィルタの更新誤りを低減すると共に、適切に更新することができることから、本発明の反響消去装置には、反響消去性能が模擬誤差に含まれる外乱の影響を受け難いという特徴がある。

また、本発明の反響消去装置を通信会議へ適用する場合においては、遠端話者と近端話者の音声レベルが設定された標準レベルを中心にしてある範囲に納まっている、または、スピーカ１とマイクロホン２との間の音響的な結合利得が、ある範囲に納まっていると仮定すれば、本発明は一定の閾値を与える構成となるため、通常、処理が複雑となる閾値見積手段を用いずとも、遠端話者と近端話者の同時通話（ダブルトーク）における耐外乱性能を高めることが可能である。

本発明の実施例として、図３の第一実施例の反響消去装置の更新列非線形制御手段１１０において与える非線形処理について説明する。
非特許文献１の記載の方法に従うと、変換領域反響模擬フィルタ係数更新手段１０６が生成する変換領域反響模擬フィルタ係数更新列の、ｋステップ目における、ｍ番目の変換領域（例えば周波数）の要素を△Ｈ_k（ｍ）とすると

となる。
（ここで、Ｅ（ｍ）は、模擬誤差のｍ番目の変換領域の要素を示し、Ｘ（ｍ）は、再生信号変換列のｍ番目の変換領域の要素を示し、Ｐ（ｍ）は、Ｘ（ｍ）のパワーを示し、[^*]は複素共役を表し、Ｐ（ｍ）＝（１−α）Ｐ’（ｍ）＋α｜Ｘ（ｍ）｜² であり（Ｐ’（ｍ）はｋ−１ステップのパワーを表す。）、αは、０から１の間で定める平滑化係数である。）また、更新時に正の重み係数μを△Ｈ_k（ｍ）に乗じてもよい。μは変換領域の番号ｍやステップｋ毎に異なる値を与えてもよい。

ここで、更新列非線形制御手段１１０により△Ｈ_k（ｍ）に対し与える非線形処理ｆの第１の実施例は、

である。
（ここで、ｍｉｎ｛ａ，ｂ｝はａとｂの大きくない方を与える関数であり、Ｈθは、△Ｈ_k（ｍ）の位相を表す。）
すなわち、△Ｈ_k（ｍ）の振幅（大きさ）に対して、ｍｉｎ関数による非線形処理が与えられ、

と考えれば、｜Ｅ（ｍ）｜／｜Ｘ（ｍ）｜とＳ₁との大小比較により、△Ｈ_k（ｍ）の大きさが制御されていることが分かる。｜Ｅ（ｍ）｜／｜Ｘ（ｍ）｜が一定値（Ｓ₁）より大きければ、外乱の影響が強いと考えられ、このとき△Ｈ_k（ｍ）の大きさを抑圧することにより、誤った更新を防ぐことができる。Ｓ₁の値は、｜Ｅ（ｍ）｜／｜Ｘ（ｍ）｜の値がどの程度大きい場合に外乱の影響が強くなるかに依存する。

例えば、反響消去装置が遠隔会議の双方向通話のために適用されている場合には、マイクロホン２に向かって発声される近端話者の音声が｜Ｅ（ｍ）｜に含まれる支配的な外乱と考えられる。（すなわち、｜Ｅ（ｍ）｜は反響信号と近端話者の音声信号の和と考えられる。）一方｜Ｘ（ｍ）｜は遠端話者の音声（再生信号）となる。近端音声と遠端音声のレベルは、同等になるように定格レベルを設定するのが通常であるから、この場合、｜Ｅ（ｍ）｜と｜Ｘ（ｍ）｜の大きさは、外乱存在時にはほぼ同等と考えられる。従って、Ｓ₁は、１近辺の正の値に与えればよいことが分かる。外乱に対する強度を高めたい場合や、話者毎の音量の違いを吸収するために、１より小さい例えば０．５を与えてもよい。

また、更新列非線形制御手段１１０により、△Ｈ_k（ｍ）に対し与える非線形処理ｆの第二の実施例として、

と与えることもできる。ここでＳ₁＜Ｓ₂とする。
非線形処理ｆの第一の実施例では、｜Ｅ（ｍ）｜・｜Ｘ（ｍ）｜／Ｐ（ｍ）がＳ₁を越えたとき、△Ｈ_k（ｍ）の大きさは、｜Ｅ（ｍ）｜・｜Ｘ（ｍ）｜／Ｐ（ｍ）の値に依らず一定値Ｓ₁であるが、非線形処理ｆの第二の実施例の場合は、｜Ｅ（ｍ）｜・｜Ｘ（ｍ）｜／Ｐ（ｍ）がＳ₂を越えた場合は、｜Ｅ（ｍ）｜・｜Ｘ（ｍ）｜／Ｐ（ｍ）に反比例して△Ｈ_k（ｍ）の大きさは小さくなる。つまり、｜Ｅ（ｍ）｜・｜Ｘ（ｍ）｜／Ｐ（ｍ）の値が非常に大きい場合には、外乱の影響が非常に大きいと想定でき、その場合は、△Ｈ_k（ｍ）の大きさを小さくすることにより、模擬精度を高めることができる。ここで、Ｓ₁、Ｓ₂は、スピーカ１とマイクロホン２との間の音響的な結合利得の上限を想定できる場合は、その上限値に基づき決定してもよく、また、各変換領域要素ｍ毎に、あるいはステップｋ毎になる値を与えてもよい。

前記、非線形処理ｆの第一、二の実施例はｍｉｎ｛ａ，ｂ｝＝１／ｍａｘ｛１／ａ，１／ｂ｝により、ｍａｘ関数（ｍａｘ｛ａ，ｂ｝はａ，ｂの小さくない方を与える）による置き換え等の数学的等価な別の表記を含む。また第二の実施例として、

のように、条件分岐により実行してもよい。条件分岐には、上記のように｜Ｅ（ｍ）｜／｜Ｘ（ｍ）｜を評価しても｜Ｅ（ｍ）｜・｜Ｘ（ｍ）｜／Ｐ（ｍ）を評価してもよい。
また、非線形処理ｆの第一の実施例の代替実施例として、

非線形処理ｆの第二の実施例の代替実施例として、

のように実現してもよい。

さらに、前記の関数ｍｉｎ（ａ，ｂ）のように、例えば｜Ｅ（ｍ）｜・｜Ｘ（ｍ）｜／Ｐ（ｍ）について、ある値以上で強制的に一定値を抑えるような関数を作用させる代わりに、図４に示すような様々な形態の関数やそれらの組み合わせを適用してもよい。図４における関数Ｆ（ａ）において、本発明の対象としているａの値は０以上であるため、ａ＜０におけるＦ（ａ）の特性は任意でよい。
非特許文献１などに記載されている図５に示す（高速）逆フーリエ変換等による逆線形変換手段７１、逆線形変換列の半分を強制的に零とする窓掛け手段７２、（高速）離散フーリエ変換等による線形変換手段７３から構成される変換領域反響模擬フィルタ係数拘束手段１０７を更新列非線形制御手段１１０の後段に設けた図６（第二実施例の反響消去装置）の構成においても、外乱に対する影響を受け難い特性は実現できる。

本発明の反響消去装置は、ＣＰＵやメモリ等を有するコンピュータと、利用者端末と、ＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等の記録媒体とから構成することがでできる。
記録媒体に記録された反響消去プログラム、あるいは回線を介して伝送された反響消去プログラムは、コンピュータに読み取られ、コンピュータ上に前述した各構成要素を実現し、各処理を実行する。

反響消去装置の概要説明図。従来の反響消去装置の構成図。本発明の第一実施例の反響消去装置の構成図。ｍｉｎ関数の代替例を示す図。変換領域反響模擬フィルタ係数拘束手段の構成図。本発明の第二実施例の反響消去装置の構成図。

符号の説明

１００・・・反響消去装置、１０１・・・再生信号入力手段、１０２・・・収音信号入力手段、１０３・・・再生信号変換手段、１０４・・・模擬反響生成手段、１０５・・・模擬誤差出力手段、１０６・・・変換領域反響模擬フィルタ係数更新手段、１０７・・・変換領域反響模擬フィルタ係数拘束手段、１１０・・・更新列非線形制御手段

Claims

音響信号再生手段へと出力される再生信号を入力し、一定時間蓄積して再生信号列を得る再生信号入力手段と、
前記音響信号再生手段と同一空間に存在する音響信号収音手段から収音信号を入力し、一定時間蓄積して収音信号列を得る収音信号入力手段と、
前記再生信号列を線形変換し再生信号変換列を得る再生信号変換手段と、
前記再生信号変換列を入力し、前記音響信号再生手段から前記音響信号収音手段へと回り込む反響信号の線形変換列を模擬する模擬反響信号変換列を生成する模擬反響生成手段と、
前記模擬反響信号変換列と前記収音信号列とを入力し、模擬反響信号変換列の模擬誤差を出力する模擬誤差出力手段と、
前記再生信号変換列と前記模擬誤差を入力し、前記模擬反響生成手段の変換領域反響模擬フィルタ係数の更新列を生成する変換領域反響模擬フィルタ係数更新手段と、を有する反響消去装置において、
前記模擬反響信号変換列の模擬誤差の変換領域の要素の大きさが前記再生信号変換列中の対応する要素の大きさの所定数倍より大きい場合に、前記変換領域反響模擬フィルタ係数更新手段が生成する前記変換領域反響模擬フィルタ係数更新列中の対応する要素の大きさを小さくして前記模擬反響生成手段に与える更新列制御手段を有することを特徴とする反響消去装置。
請求項１に記載の反響消去装置において、
前記更新列制御手段は、
前記線形変換後の要素毎に、前記模擬誤差の大きさと前記再生信号変換列の大きさの設定された所定数倍との大小関係を比較し、前記模擬誤差の大きさが小さい場合は、前記変換領域反響模擬フィルタ係数更新列の大きさを保持して前記模擬反響生成手段に与え、前記模擬誤差の大きさが大きい場合には、前記変換領域反響模擬フィルタ係数更新列の大きさを小さくして前記模擬反響生成手段に与えることを特徴とする反響消去装置。
再生される音響信号を入力し、一定時間蓄積して再生信号列を得る手順と、
前記音響信号が再生される同一空間から収音された収音信号を入力し、一定時間蓄積して収音信号列を得る手順と、
前記再生信号列を線形変換し再生信号変換列を得る手順と、
前記再生信号変換列を入力し、再生された音響信号が収音信号に回り込む反響信号の線形変換列を模擬する模擬反響信号変換列を生成する手順と、
前記模擬反響信号変換列と前記収音信号列とを入力し模擬反響信号変換列の模擬誤差を出力する手順と、
前記再生信号変換列と前記模擬誤差を入力し、前記模擬反響信号変換列を生成するための変換領域反響模擬フィルタ係数の更新列を生成する手順と、を有する反響消去方法において、
前記模擬反響信号変換列の模擬誤差の変換領域の要素の大きさが前記再生信号変換列中の対応する要素の大きさの所定数倍より大きい場合に、前記変換領域反響模擬フィルタ係数更新列中の対応する要素の大きさを小さくして前記模擬反響信号変換列を生成する手順に与える更新列制御手順と、を有することを特徴とする反響消去方法。
請求項３に記載の反響消去方法において、
前記更新列制御手順は、
前記線形変換後の要素毎に、前記模擬誤差の大きさと前記再生信号変換列の大きさの設定された所定数倍との大小関係を比較し、前記模擬誤差の大きさが小さい場合は、前記変換領域反響模擬フィルタ係数更新列の大きさを保持して変換領域反響模擬フィルタ係数更新列として与え、前記模擬誤差の大きさが大きい場合には、前記変換領域反響模擬フィルタ係数更新列の大きさを小さくして変換領域模擬フィルタ係数更新列として与える手順であることを特徴とする反響消去方法。
再生される音響信号を入力し、一定時間蓄積し再生信号列を得る処理と、
前記音響信号が再生される同一空間から収音された収音信号を入力し、一定時間蓄積し収音信号列を得る処理と、
前記再生信号列を線形変換し再生信号変換列を得る処理と、
前記再生信号変換列を入力し、再生された音響信号が収音信号に回り込む反響信号の
線形変換列を模擬する模擬反響信号変換列を生成する処理と、
前記模擬反響信号変換列と前記収音信号列とを入力し、模擬反響信号変換列の模擬誤差を出力する処理と、
前記再生信号変換列と前記模擬誤差を入力し、前記模擬反響信号変換列を生成するための変換領域反響模擬フィルタ係数の更新列を生成する処理と、をコンピュータに実行させる反響消去プログラムにおいて、
前記模擬反響信号変換列の模擬誤差の変換領域の要素の大きさが前記再生信号変換列中の対応する要素の大きさの所定数倍より大きい場合に、前記変換領域反響模擬フィルタ係数更新列中の対応する要素の大きさを小さくして前記模擬反響信号変換列を生成する手順に与える更新列制御処理を有する反響消去プログラム。
請求項５に記載の反響消去プログラムにおいて、
前記更新列制御処理は、
前記線形変換後の要素毎に、前記模擬誤差の大きさと前記再生信号変換列の大きさの設定された所定数倍との大小関係を比較し、前記模擬誤差の大きさが小さい場合は、前記変換領域反響模擬フィルタ係数更新列の大きさを保持して変換領域模擬フィルタ係数更新列として与え、前記模擬誤差の大きさが大きい場合には、前記変換領域反響模擬フィルタ係数更新列の大きさを小さくして変換領域模擬フィルタ係数更新列として与える処理であることを特徴とする反響消去プログラム。
再生される音響信号を入力し、一定時間蓄積して再生信号列を得る処理と、
前記音響信号が再生される同一空間から収音された収音信号を入力し、一定時間蓄積して収音信号列を得る処理と、
前記再生信号列を線形変換し再生信号変換列を得る処理と、
前記再生信号変換列を入力し、再生された音響信号が収音信号に回り込む反響信号の線形変換列を模擬する模擬反響信号変換列を生成する処理と、
前記模擬反響信号変換列と前記収音信号列とを入力し、模擬反響信号変換列の模擬誤差を出力する処理と、
前記再生信号変換列と前記模擬誤差を入力し前記模擬誤差反響信号変換列を生成するための変換領域反響模擬フィルタ係数の更新列を生成する処理と、をコンピュータに実行させる反響消去プログラムを記録した記録媒体において、
前記模擬反響信号変換列の模擬誤差の変換領域の要素の大きさが前記再生信号変換列中の対応する要素の大きさの所定数倍より大きい場合に、前記変換領域反響模擬フィルタ係数更新列中の対応する要素の大きさを小さくして前記模擬反響信号変換列を生成する手順に与える更新列制御処理と、を有する反響消去プログラムを記録した記録媒体。
請求項７に記載の反響消去プログラムを記録した記録媒体において、
前記更新列制御処理は、
前記線形変換後の要素毎に、前記模擬誤差の大きさと前記再生信号変換列の大きさの設定された所定数倍との大小関係を比較し、前記模擬誤差の大きさが小さい場合は、前記変換領域反響模擬フィルタ係数更新列の大きさを保持して変換領域模擬フィルタ係数更新列として与え、前記模擬誤差の大きさが大きい場合には、前記変換領域反響模擬フィルタ係数更新列の大きさを小さくして変換領域模擬フィルタ係数更新列として与える処理であることを特徴とする反響消去プログラムを記録した記録媒体。