JP4700673B2 - エコー消去方法、装置、プログラム、および記録媒体 - Google Patents

Description

本発明は、TV会議や音声会議などハンズフリー通信のエコー消去方法および装置に関する。

従来技術のエコー消去装置について説明する。
図９は特許文献１で開示された従来技術のエコー消去装置の構成図である。従来技術のエコー消去装置１０は、周波数領域変換部１１と、結合量推定部１２と、エコーレベル推定部１３と、エコー抑圧ゲイン計算部１４と、周波数領域変換部１５と、ゲイン乗算部１６と、逆周波数領域変換部１７とにより構成されている。

このエコー消去装置は、スピーカとマイクロホンを用いた拡声通話においてマイクロホン受音信号に混入するスピーカ音である音響エコーを消去する。エコー消去装置１０の入力信号は、通話相手から受信して自地点のスピーカ３１から受話音声として出力する信号である受話信号x(t)と、自地点のマイクロホン３２で受音した信号であるマイクロホン受音信号y(t)であり、出力信号は、通話相手への送信信号である送話信号e(t)である。この装置１０は、マイクロホン受音信号y(t)に含まれる音響エコーの周波数スペクトルを推定してマイクロホン受音信号中の音響エコーを抑圧するゲインを求め、周波数領域に変換されたマイクロホン受音信号に音響エコーを抑圧するゲインを乗算することにより、マイクロホン受音信号に含まれる音響エコーを消去する。

以下に、従来のエコー消去装置の動作について図１０を参照して説明する。
図１０は、図９におけるエコー消去装置１０と、スピーカ３１と、マイクロホン３２間の各信号の関係を等価モデルで表している。受話信号x(t)、マイクロホン受音信号y(t)、送話信号e(t)をそれぞれ短時間フレームで周波数領域に変換した信号を、X(ω,n)、Y(ω,n)、E(ω,n)と表す。ただし、離散化されたｔは時刻、ωは離散化された周波数、ｎはフレーム番号を表す。ここで、周波数領域への変換手順について受話信号x(t)の周波数領域変換を例に図１１を用いて詳細に説明する。受話信号x(t)のうち0〜(N−1)番目までのＮ個のサンプルの信号に対し、窓関数を乗算してからフーリエ変換して、フレーム#0の周波数領域信号X(ω,0)を求める。次に、ＴサンプルシフトしたT〜(N−1＋T)番目までのＮ個のサンプルの信号に対し、同様に、窓関数を乗算してからフーリエ変換して、フレーム#1の周波数領域信号X(ω,1)を得る。この手順をＴサンプルずつシフトしながら繰り返し、各フレームにおける周波数領域信号X(ω,n)(n=0, 1, …)を求める。

次に、図９においてスピーカ３１からマイクロホン３２までの音の伝達経路３３の伝達特性は線形であり、その空間応答（インパルス応答）をr(t)、伝達関数（インパルス応答を周波数領域変換したもの）をR(ω)で表す。一般にスピーカ特性は、振幅の大きな信号の入力に対して、出力が頭打ちになるような非線形の応答特性をもっているので、図１０においてスピーカ３１の特性は線形応答部31Aと非線形応答部31Bに分けて考え、その線形応答部31Aのインパルス応答をg(t)、伝達関数をG(ω)とし、非線形応答部31Bの時間領域での特性を関数ｆ、周波数領域での特性をＦとして表す。これら線形応答部31Aと非線形応答部31Bの出力は加算部31Cで加算されてスピーカ３１の出力となる。また、近端話者４０の音声をs(t)、短時間フレームで周波数領域に変換した近端話者音声をS(ω,n)とし、近端話者４０からマイクロホン３２までの伝達経路３４のインパルス応答をc(t)、伝達関数をC(ω)で表す。

これらから、マイクロホン受音信号y(t)は次式(1)で表される。
y(t)＝g(t)^*r(t)^*x(t)＋r(t)^*f(x(t))＋c(t)^*s(t) (1)
ただし、^＊は畳み込み演算を表す。これを周波数領域で表現すれば、式(2)となる。
Y(ω,n)＝G(ω)R(ω)X(ω,n)＋R(ω)F(X(ω,n))＋C(ω)S(ω,n) (2)
更に、パワースペクトルで表現すれば、式(3)となる。
|Y(ω,n)|²＝|G(ω)R(ω)|²|X(ω,n)|²＋|R(ω)|²|F(X(ω,n))|²＋|C(ω)|²|S(ω,n)|²
(3)
ただし|・|は、絶対値を表す。なお、式(3)における右辺の第１項と第２項がそれぞれスピーカ３１からマイクロホン３２に至る線形音響エコー成分及び非線形音響エコー成分に相当する。

ここで、エコー消去装置に求められるのは、マイクロホン受音信号のパワースペクトル|Y(ω)|²に含まれる音響エコー成分を抑圧するゲインを求め、そのゲインをマイクロホン受音信号の周波数領域信号Y(ω)に乗算して、音響エコー成分を抑圧することである。即ち、マイクロホン受音信号y(t)のパワースペクトルに|Y(ω)|²に、ゲインのパワースペクトルH(ω,n)²を乗算した結果が、話者音声s(t)のマイクロホン３２への入力成分のパワースペクトル|C(ω)|²|S(ω,n)|²と等しくなることが理想である。これを式で表せば式(4)となる。
H(ω,n)²|Y(ω,n)|²＝|C(ω)|²|S(ω,n)|² (4)
式(4)をゲインH(ω,n)について解けば、式(5)となる。
H(ω,n)＝SQRT(|C(ω)|²|S(ω,n)|²／|Y(ω,n)|²) (5)
ただし、SQRT(・)は、平方根をとることを意味する。

ここで、|C(ω)|²|S(ω,n)|²は、実際には観測不可能であるので、式(3)を変形して式(5)に代入すれば、次式(6)のようになる。

しかし、図９に示す従来のエコー消去装置では、スピーカの非線形成分（即ち歪成分）である|F(X(ω,n))|²は観測不可能であるので、従来のエコー消去装置のエコー抑圧ゲイン計算部１４で計算されるゲイン値H_conv(ω,n)は、スピーカの歪成分を無視した次式(7)

により求めていた。このため、従来のエコー消去装置では、スピーカの歪成分の抑圧はできない。ここで、|G’(ω)R’(ω)|は、スピーカ３１からマイクロホン３２までの伝達関数の推定スペクトルであり推定結合量と呼ぶ。

ここまでで、従来のエコー消去装置で計算されるゲイン値を導出した。以下に、具体的な処理内容について図９を参照して述べる。
周波数領域変換部１１は、受話信号x(t)を図１１で説明したと同様の処理により周波数領域の信号X(ω,n)に変換する。周波数領域変換部１５は、マイクロホン受音信号y(t)を周波数領域の信号Y(ω,n)に変換する。変換方法は周波数領域変換部１１と同様である。

結合量推定部１２は、周波数領域変換部１１の出力X(ω,n)と、周波数領域変換部１５の出力Y(ω,n)から、スピーカ３１とマイクロホン３２間の結合量の推定値|G’(ω)R’(ω)|を求める。結合量はスピーカ３１とマイクロホン３２間の伝達関数の振幅であり、周波数領域のスピーカ出力信号X(ω,n)と周波数領域のマイクロホン受音信号Y(ω,n)の絶対値の比で求められる。また、結合量の精度を向上するために時間平滑化が行われる。即ち、推定結合量|G’(ω)R’(ω)|は式(8)により求めることができる。
|G’(ω)R’(ω)|＝Avg{|Y(ω,n)|／|X(ω,n)|} (8)
ただし、Avg(・)はωの各値での平均値を取ることを表す。

エコーレベル推定部１３は、周波数領域変換部１１の出力X(ω,n)と、結合量推定部１２の出力である推定結合量|G’(ω)R’(ω)|から、推定エコーレベル|Z(ω,n)|を求める。推定エコーレベルは、次式(9)
|Z(ω,n)|＝|G’(ω)R’(ω)||X(ω,n)| (9)
で示すように受話信号と結合量を乗算して求められる。

エコー抑圧ゲイン計算部１４は、エコーレベル推定部１３の出力|Z(ω,n)|と、周波数領域変換部１５の出力Y(ω,n)から、エコーを抑圧するゲインH_conv(ω,n)を求める。ゲインを求めるための式は、すでに式(7)として導出しているので、これに、式(9)を代入して得られる次式(10)により計算される。
H_conv(ω,n)＝SQRT{(|Y(ω,n)|²−|Z(ω,n)|²)/|Y(ω,n)|²} (10)

ゲイン乗算部１６は、エコー抑圧ゲイン計算部１４で求められたゲインH_conv(ω,n)を、周波数領域変換部１５の出力Y(ω,n)に乗算し、送話信号の周波数領域信号E(ω,n)を求める。これを式で表せば式(11)となる。
E(ω,n)＝H_conv(ω,n)Y(ω,n) (11)

逆周波数領域変換部１７は、ゲイン乗算部１６の出力信号E(ω,n)を、逆周波数領域変換して、このエコー消去装置１０の出力である送話信号e(t)を出力する。逆周波数領域変換の詳細な手順を図１２を用いて説明する。ゲイン乗算部１６の出力信号E(ω,n)をＮサンプルのフレーム毎に逆フーリエ変換してから窓関数を乗算する。次に、それら窓関数を乗算して得られたそれぞれＮサンプルの信号をＴサンプルずつずらして加算することで、出力信号e(t)を求め、出力する。

以上示した方法により、従来技術のエコー消去装置はエコー成分を消去する。しかし、従来のエコー消去装置では、スピーカの歪が大きい場合、その歪成分（非線形成分）は消去されない。これは、エコーを抑圧するゲインを求める式を導出する際に、式(6)における観測不可能なスピーカの歪成分|R(ω)|²|F(ω,n))|²を無視したためである。
特開2005-250266

従来のエコー消去装置において消去可能なエコーは、線形のエコー経路を通ってマイクロホンに到達したエコー成分のみで、非線形のエコー成分は消去できない。従って、非線形性が強いスピーカ等を用いた場合、十分なエコー抑圧性能が得られないという問題が生じる。

本発明が解決しようとする課題は、非線形性が強いスピーカ等を用いた場合でも、高いエコー消去性能を実現するエコー消去方法及び装置を提供することである。

この発明によれば、受話信号がスピーカから出力されてマイクロホンに回り込んだ信号成分であるエコー成分をマイクロホン受音信号から消去するエコー消去装置は、
複数のマイクロホンの受音信号から得られたメインマイクロホン受音信号とサブマイクロホン受音信号をそれぞれ周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号に変換する周波数領域変換手段と、
上記周波数領域メインマイクロホン受音信号と上記周波数領域サブマイクロホン受音信号間のレベル比に基づいて結合量を推定し、その推定結合量と上記周波数領域サブマイクロホン受音信号との乗算により推定エコーレベルを得るエコー推定手段と、
上記周波数領域メインマイクロホン受音信号のレベルと上記推定エコーレベルとの差と、 上記周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして計算するエコー抑圧ゲイン計算手段と、
上記周波数領域メインマイクロホン受音信号に上記ゲインを乗算して上記周波数領域メインマイクロホン受音信号中のエコー成分を抑圧するゲイン乗算部と、
上記ゲイン乗算部による乗算結果を逆周波数領域変換して時間領域の送話信号を出力する逆周波数領域変換部、
とを含み、
上記複数のマイクロホンは指向性マイクロホンであり、それらのうち、上記メインマイクロホン受音信号を与えるマイクロホンは送話音源方向の感度が上記スピーカ方向の感度より高く、また、上記サブマイクロホン受音信号を与えるマイクロホンは、上記スピーカ方向の感度が上記送話音源方向の感度より高くなるように配置される
ように構成される。

この発明によれば、受話信号がスピーカから出力されてマイクロホンに回り込んだ信号
成分であるエコー成分をマイクロホン受音信号から消去するエコー消去方法は、
(a) 複数のマイクロホンの受音信号から得られたメインマイクロホン受音信号とサブマイクロホン受音信号をそれぞれ周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号に変換する過程と、
(b) 上記周波数領域メインマイクロホン受音信号と上記周波数領域サブマイクロホン受音信号間のレベル比に基づいて結合量を推定し、その推定結合量と上記周波数領域サブマイクロホン受音信号との乗算により推定エコーレベルを得る過程と、
(c) 上記周波数領域メインマイクロホン受音信号のレベルと上記推定エコーレベルとの差と、上記周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして計算する過程と、
(d) 上記周波数領域メインマイクロホン受音信号に上記ゲインを乗算して上記周波数領域メインマイクロホン受音信号中のエコー成分を抑圧する過程と、
(e) 上記過程(d) による乗算結果を逆周波数領域変換して時間領域の送話信号を出力する過程、
とを含み、
上記複数のマイクロホンは指向性マイクロホンであり、それらのうち、上記メインマイクロホン受音信号を与えるマイクロホンは送話音源方向の感度が上記スピーカ方向の感度より高く、また、上記サブマイクロホン受音信号を与えるマイクロホンは、上記スピーカ方向の感度が上記送話音源方向の感度より高くなるように配置される。

本発明によれば、線形な音響エコーと、スピーカの歪特性により発生する非線形な音響エコーの両方を抑圧し、高いエコー消去性能を実現できる。更に、近端話者音声の劣化が小さく高品質な収音が実現できる。

実施例１
図１は、本発明の第１の実施例であるエコー消去装置のブロック図である。図９における対応するものに同様の参照符号をつけて示してある。
本実施例のエコー消去装置は、図９の従来構成におけるマイクロホン３２と周波数領域変換部１５に対応するものをメインマイクロホン３２₁及び周波数領域変換部１５_１とすると、サブマイクロホン３２₂〜３２_M（Ｍは２以上の整数）とそれに対応する周波数領域変換部１５₂〜１５_Mと、結合量推定部２１₂〜２１_Mと、エコーレベル推定部２２₂〜２２_Mが追加され、図９における受話信号x(t)に対する周波数領域変換部１１、結合量推定部１２、エコーレベル推定部１３が省略されている。更に、２２₂〜２２_Mの出力を統合するエコーレベル統合部２３が設けられ、その出力がエコー抑圧ゲイン計算部１４に与えられるように構成されている。結合量推定部２１_２〜２１_Ｍと、エコーレベル推定部２２_２〜２２_Ｍと、エコーレベル統合部２３はエコー推定部２０を構成している。ただし、後述の説明から明らかなように、エコーレベル統合部２３は使用するマイクロホンの数が３個以上の場合に必要であり、２個の場合は必要でない。

図２は本実施例のエコー消去装置100の入出力信号を説明する図である。本実施例のエコー消去装置100の入力信号は、通話相手から通信網５０を通して与えられた受話信号x(t)に応じて自地点のスピーカ３１から出力された受話音声と、近端話者４０の送話音声とを自地点の２以上のマイクロホン３２₁〜３２_Mで受音した信号である２チャネル以上のマイクロホン受音信号y₁(t)〜y_M(t)であり、出力信号は、通話相手への送信信号である送話信号e(t)である。ただし、図２は２つのマイクロホン３２₁,３２₂を使用する場合を示している。各マイクロホン受音信号y_m(t)（m=1, 2）は、近端話者４０から経路３４_ｍを通ってマイクロホン３２_ｍに入力される送話音声に加えて、スピーカ３１の出力音が経路３３_mを通ってマイクロホン３２_mに回り込んだ信号である音響エコー成分が含まれる。エコー消去装置100はこの音響エコー成分を消去し、会話をしやすくする。また、エコー消去装置100の各入力信号は、AD変換により、アナログ信号から離散時間の信号に変換され、各出力信号は、離散時間信号からDA変換によりアナログ信号に変換されているものとする。

図３は図１におけるエコー消去装置100と、スピーカ３１と、マイクロホン３２₁〜３２_M間の信号の関係を等価的に表している。ただし、図３ではM=2の場合を示している。受話信号をx(t)、２以上のマイクロホン３２₁〜３２_Mで受音したＭチャネルのマイクロホン受音信号をy₁(t),…,y_M(t)、送話信号をe(t)と表す。これらの信号をそれぞれフレームごとに周波数領域に変換した信号をそれぞれX(ω,n)、Y₁(ω,n),…,Y_M(ω,n)、E(ω,n)と表す。周波数領域への変換方法については、従来のエコー消去装置と同様であり、図１１で説明した手順により周波数領域への変換が行われる。ただし、ｔは離散時刻、ωは離散周波数、ｎはフレーム番号を表す。

次に、スピーカ３１から各マイクロホン３２₁〜３２_Mまでの音の伝達経路３３₁〜３３_Mの伝達特性は線形であり、そのインパルス応答をr₁(t),…,r_M(t)、伝達関数（インパルス応答を周波数領域に変換したもの）をR₁(ω),…,R_M(ω)で表す。

スピーカ３１は、振幅の大きな信号の入力に対して、出力が頭打ちになるような非線形の特性をもっているので、図１０の場合と同様に線形応答特性を有する線形応答部３１Ａと非線形応答特性を有する非線形応答部３１Ｂに分けて考え、その線形応答部３１Ａのインパルス応答をg(t)、伝達関数をG(ω)とし、非線形応答部３１Ｂの時間領域での特性を関数ｆとし、周波数領域での特性をＦで表す。近端話者４０の発話音声をs(t)、その周波数領域信号をS(ω,n)とし、近端話者４０から各マイクロホン３２₁〜３２_Mまでの伝達経路３４₁〜３４_Mのインパルス応答をc₁(t),…,c_M(t)、伝達関数をC₁(ω),…,C_M(ω)で表す。

これらから、マイクロホン受音信号y_m(t)は次式(12)で表すことができる。ただし、ｍ(m=1, …, M)はマイクロホン番号を表す。
y_m(t)＝g(t)^*r_m(t)^*x(t)＋r_m(t)^*f(x(t))＋c_m(t)^*s(t) (12)
ここで、^＊は畳み込み演算を表す。周波数領域変換後の各マイクロホン受音信号Y_m(ω)は次式(13)で表される。
Y_m(ω,n)＝G(ω)R_m(ω)X(ω,n)＋R_m(ω)F(X(ω,n))＋C_m(ω)S(ω,n) (13)

更に、マイクロホン受音信号のパワースペクトル|Y_m(ω)|²は次式(14)で表される。
|Y_m(ω,n)|²＝|G(ω)R_m(ω)|²|X(ω,n)|²＋|R_m(ω)|²|F(X(ω,n))|²
＋|C_m(ω)|²|S(ω,n)|² (14)
ただし|・|は、絶対値を表す。また、右辺第1項目の成分を線形エコー成分、右辺第２項目の成分を非線形エコー成分と呼ぶ。

ここで、エコー消去装置に求められるのは、メインマイクロホン受音信号y₁(t)のパワースペクトル|Y₁(ω)|²に含まれる音響エコー成分を抑圧するゲインを求め、そのゲインをメインマイクロホン受音信号y₁(t)の周波数領域信号Y₁(ω)に乗算して、音響エコー成分を抑圧することである。即ち、メインマイクロホン受音信号y₁(t)のパワースペクトル|Y₁(ω)|²に、ゲインのパワースペクトルH(ω,n)²を乗算したときに、話者音声の、メインマイクロホン３２₁への入力音声成分のパワースペクトル|C_m(ω)|²|S(ω,n)|²となることが理想である。これを式で表せば式(15)となる。
H(ω,n)²|Y₁(ω,n)|²＝|C₁(ω)|²|S(ω,n)|² (15)
式(15)をゲインH(ω,n)について解けば、式(16)となる。
H(ω,n)＝SQRT{|C₁(ω)|²|S(ω,n)|²/|Y₁(ω,n)|²} (16)
ただし、SQRT(・)は、平方根をとることを意味する。ここで、|C₁(ω)|²|S(ω,n)|²は、実際には観測不可能であるので、式(14)を変形して式(16)に代入すれば、次式(17)が得られる。

式(17)で表されるゲインを求めるには、線形エコー成分と非線形エコー成分を加算して得られるエコー信号成分のパワースペクトル(|G(ω)R₁(ω)|²|X(ω,n)|²＋|R₁(ω)|²|F(X(ω,n))|²)を推定する必要がある。サブマイクロホン受音信号y_m(t)のパワースペクトル|Y_m(ω,n)|²、m=2,…,M、に結合量推定部１２_ｍで得たサブマイクロホン３２_ｍとメインマイクロホン３２_１間の結合量の推定値|R’₁(ω)|/|R’_m(ω)|のパワースペクトル|R’₁(ω)|²/|R’_m(ω)|²をエコーレベル推定部１３_ｍで乗算すれば、式(14)を使って次式(18)
|Y_m(ω,n)|²|R’₁(ω)|²/|R’_m(ω)|²
＝|G(ω)|²|R’₁(ω)|²(|R_m(ω)|²/|R’_m(ω)|²)|X(ω,n)|²
＋|R’₁(ω)|²(|R_m(ω)|²/|R’_m(ω)|²)|F(X(ω,n))|²
＋(|R’₁(ω)|²/|R’_m(ω)|²)|C_m(ω)|²|S(ω,n)|²
≒|G(ω)|²|R’₁(ω)|²|X(ω,n)|²＋|R’₁(ω)|²|F(X(ω,n))|²
＋(|R’₁(ω)|²/|R’_m(ω)|²)|C_m(ω)|²|S(ω,n)|² (18)
が得られる。ただし、|R_m(ω)|²/|R’_m(ω)|²=1としている。(|R’₁(ω)|²/|R’_m(ω)|²)|C_m(ω)|²が十分小さければ、式(18)から推定線形エコー成分と推定非線形エコー成分の和である推定エコー信号のパワースペクトルが次式(19)
|Z_m(ω,n)|²＝|Y_m(ω,n)|²|R’₁(ω)|²/|R’_m(ω)|²
≒|G(ω)R’₁(ω)|²|X(ω,n)|²＋|R’₁(ω)|²|F(X(ω,n))|² (19)
のように表されることがわかる。この(|R’₁(ω)|²/|R’_m(ω)|²)|C_m(ω)|²が十分小さくなる条件が成立するためには、マイクロホンとスピーカの配置に工夫が必要であり、これについては後述する。

図１の構成において、サブマイクロホンの数は１つ（即ちM=2）でもよいが、近似の精度を高めるため、サブマイクロホンの数を２以上とし、後述するようにメインマイクロホン３２_１と各サブマイクロホン３２_ｍ間の結合量|R’₁(ω)|/|R’_m(ω)|の推定値から求めたZ_m(ω,n)、m=2,…, M、を統合して推定エコーレベルZ(ω,n)を決めている。

次に、サブマイクロホンの受音信号|Y₂(ω)|〜|Y_M(ω)|にそれぞれ推定結合量|R’(ω)|/|R’₂(ω)|〜|R’(ω)|/|R’_M(ω)|を乗算して求めた推定エコーレベルZ₂(ω,n)〜Z_M(ω,n)を統合して得た統合推定エコーレベルにより、式(17)中の線形エコー成分と非線形エコー成分のパワースペクトルの和|G(ω)R₁(ω)|²|X(ω,n)|²＋|R₁(ω)|²|F(X(ω,n))|²を推定する。推定エコーレベルの統合方法としては、得られた推定エコーレベルZ₂(ω,n)〜Z_M(ω,n)の各ωの値における最大値を取る方法や、平均を取る方法がある。

統合後の推定エコーレベルをZ(ω,n)と表すと、本実施例で計算されるエコー抑圧ゲインは次式(20)
H_prop(ω,n)＝SQRT{(|Y(ω,n)|²−|Z(ω,n)|²)/|Y(ω,n)|²} (20)
で表される。ここで、本実施例の推定エコーレベルZ(ω,n)には、線形エコーと非線形エコーの両方の成分が含まれているので、その両方を抑圧することができる。

以上までで、本実施例におけるエコーを抑圧するためのゲインH_prop(ω,n)を求める式の導出を行った。なお、式(20)では信号のパワーレベルに基づいてゲインの計算を行っているが、次式(20’)のように信号の振幅レベルに基づいてゲインを計算してもよい。
H_prop(ω,n)＝(|Y(ω,n)|−|Z(ω,n)|)/|Y(ω,n)| (20’)
この式(20’)によれば、ゲインの精度は悪くなるが、演算量が少なくなる利点がある。後述の他の実施例においても同様であり、ゲインを計算する場合、扱う信号のレベルはパワーレベルでも振幅レベルでもよい。

以下に、図１における各部の具体的な動作について説明する。
メインマイクロホン受音信号に対する周波数領域変換部１５_１とサブマイクロホン受音信号に対する周波数領域変換部１５_２〜１５_Ｍは、マイクロホン受音信号y₁(t)〜y_M(t)を周波数領域の信号Y₁(ω,n)〜Y_M(ω,n)に変換する。変換方法は図１１で説明した受話信号x(t)に対する周波数領域変換方法と同様である。

サブマイクロホン受音信号y₂(t)〜y_M(t)ごとに設けられた結合量推定部１２_２〜１２_Ｍ は、各サブマイクロホン受音信号y₂(t)〜y_M(t)とメインマイクロホン受音信号y₁(t)間の結合量を推定する。結合量はスピーカとマイクロホン間の伝達関数の振幅であり、スピーカ出力信号とマイクロホン受音信号の周波数領域における絶対値の比で求められる。また、結合量の精度を向上するために時間平滑化が行われる。例えば推定結合量|G’(ω)R’₁(ω)|は式(21)により求められる。
|G’(ω)R’₁(ω)|＝Avg{|Y₁(ω,n)|/|X(ω,n)|} (21)
ただし、Avg(・)はωの各値での平均値を取ることを表す。

次に、サブマイクロホン受音信号y_m(t)に対する結合量推定部１２_ｍ(m=2, …, M)は、サブマイクロホン受音信号y_m(t)に対する周波数領域変換部１５_ｍの出力Y_m(ω,n)と、メインマイクロホン受音信号y₁(t)に対する周波数領域変換部１５_１の出力Y₁(ω,n)から、メインマイクロホン３２_１とサブマイクロホン３２_ｍ間の結合量の推定値|R’₁(ω)|/|R’_m(ω)|を求める。受話信号x(t)に対する結合量推定部１２と同様にして、結合量|R’₁(ω)|/|R’_m(ω)|は式(22)により推定される。
|R’₁(ω)|/|R’_m(ω)|＝Avg{|Y₁(ω,n)|/|Y_m(ω,n)|} (22)
ただし、Avg(・)はωの各値での平均値を取ることを表す。

サブマイクロホン受音信号y_m(t)、m=2, …, M、に対するエコーレベル推定部１３_ｍは、サブマイクロホン受音信号y_m(t)に対するの周波数領域変換部１５_ｍの出力Y_m(ω,n)、m＝2,…,Mと、結合量推定部１２_ｍの出力|R’₁(ω)|/|R’_m(ω)|から、推定エコーレベル|Z_m(ω,n)|、m＝2,…,Mを求める。この推定エコーレベルは、次式(23)に示すようにサブマイクロホン受音信号と結合量を乗算して求められる。
|Z_m(ω,n)|＝(|R’₁(ω)|/|R’_m(ω)|)|Y_m(ω,n)| (23)

エコーレベル統合部１８は、各エコーレベル推定部１３_２〜１３_Ｍの出力|Z_m(ω,n)|、m＝2,…,Mを、１つのエコーレベル|Z(ω,n)|に統合する。統合は最大値を取る方法、または平均値を取る方法により行われる。最大値を取る方法では、次式(24)により統合エコーレベル|Z(ω,n)|が求められ、平均値を取る方法では、次式(25)により統合エコーレベル|Z(ω,n)|が求められる。
|Z(ω,n)|＝Max_m(|Z_m(ω,n)|) (24)
|Z(ω,n)|＝Ave_m(|Z_m(ω,n)|) (25)
ただし、Max_m(・)はωの各値においてｍを変化させて最大値を取ることを意味し、Ave_m(・)はωの各値においてｍを変化させて平均値を取ることを意味する。

エコー抑圧ゲイン計算部１４は、エコーレベル統合部１８の出力|Z(ω,n)|と、メインマイクロホン受音信号y₁(t)に対する周波数領域変換部１５_１の出力Y₁(ω,n)から、エコーを抑圧するゲインH_prop(ω,n)を求める。ゲインは、メインマイクロホン受音信号y₁(t)のパワースペクトル|Y₁(ω,n)|²から、統合したエコーレベルのパワースペクトル|Z(ω,n)|²を減算して得た推定送話音声レベルを、メインマイクロホン受音信号y₁(t)のパワースペクトル|Y₁(ω,n)|²で割って求められる。これを式で表せば、次式(26)となる。
H_conv(ω,n)＝SQRT{(|Y₁(ω,n)|²−|Z(ω,n)|²)/|Y₁(ω,n)|²} (26)

ゲイン乗算部１６は、エコー抑圧ゲイン計算部１４で求められたゲインH_prop(ω,n)を、メインマイクロホン受音信号y₁(t)に対する周波数領域変換部１５_１の出力Y₁(ω,n)に乗算することにより、送話信号e(t)の周波数領域信号E(ω,n)を得る。これを式で表せば式(27)となる。
E(ω,n)＝H_prop(ω,n)Y₁(ω,n) (27)

逆周波数領域変換部１７は、ゲイン乗算部１６の出力信号E(ω,n)を、図１２で説明したと同様の処理により逆周波数領域変換して、本実施例のエコー消去装置100の出力である送話信号e(t)を出力する。

次に、マイクロホンとスピーカの配置について述べる。
サブマイクロホン受音信号y_m(t)(m=2, …, M)から求められる推定エコーレベル|Z_m(ω,n)|には、式(18)で示したように、近端話者音声の成分|S(ω,n)|も混合している。推定エコーレベルに近端話者音声の成分が含まれると、近端話者音声までも抑圧してしまうゲインが決まってしまうため、送話音声が劣化する。これを防ぐには、式(18)中の(|R’₁(ω)|²/|R’_m(ω)|²)|C_m(ω)|²を小さくする必要がある。そのためには、スピーカ３１からサブマイクロホン３２_ｍまでの伝達関数の振幅|R’_m(ω)|、m＝2,…,Mが大きく、スピーカ３１からメインマイクロホン３２_１までの伝達関数の振幅|R’₁(ω)|が小さく、近端話者からサブマイクロホン３２_ｍまでの伝達関数の振幅|C_m(ω)|、m＝2,…,Mが小さくなればよい。このひとつの方法として、マイクロホンの配置に工夫をすることが考えられる。例えば図４に示すように、単一指向性マイクロホンを２つ使い、メインマイクロホン３２_１は、感度の高い方向を近端話者４０に向け、感度の低い方向をスピーカ３１に向ける。また、サブマイクロホン３２_２は、逆に感度の高い方向をスピーカ３１に向け、感度の低い方向を近端話者４０に向ける。このような配置とすることで、|C_m(ω)|、m＝2,…,Mの振幅が小さくなり、更に、|R’₁(ω)|の振幅が小さくなり、|R’_m(ω)|、m＝2,…,Mの振幅が大きくなる。この工夫により、近端話者音声の劣化を小さくすることができる。

以上示した説明したように、この発明では、エコー推定部２０によりメインマイクロホン受音信号とサブマイクロホン受音信号間の結合量に基づいてエコーレベルを推定している。式(18)で示したように推定エコーレベルには線形エコー成分と非線形エコー成分が含まれており、従って、そのような推定エコーレベルから求めたエコー抑圧ゲインをメインマイクロホン受音信号に乗算することにより、メインマイクロホン受音信号に含まれる線形エコー成分と非線形エコー成分の両方を抑圧することができる。

本実施例のエコー消去装置100は、スピーカの歪が大きい場合でも、その歪成分に起因する非線形エコーと線形のエコー成分の両方を抑圧し、快適なハンズフリー通話を実現することができる。

図１の実施例において、Ｍは２以上の整数であるが、Ｍ＝２の場合は当然エコーレベル統合部２３は不要であり、エコーレベル推定部２２_Ｍの出力推定エコーレベルZ_M(ω,n)は直接エコー抑圧ゲイン計算部１４に与えられる。
実施例２

図５はこの発明による第２実施例のエコー消去装置を示すブロック図である。
この実施例は、図１の実施例に対し、図９で説明した従来のエコー推定方法を組み合わせることにより、よりエコー推定精度をより高めることを意図しており、図１の構成に、図９と同様に受話信号x(t)に対する周波数領域変換部１１と、結合量推定部１２と、エコーレベル推定部１３を追加したものである。エコー推定部２０はこれら結合量推定部１２とエコーレベル推定部１３を含んでおり、エコーレベル統合部２３はエコーレベル推定部１３，２２_２〜２２_Ｍで求めた推定エコーレベルZ₁(ω,n), Z₂(ω,n)〜Z_M(ω,n)を統合して推定エコーレベルZ(ω,n)を生成する。

式(6), (7)で説明したと同様に、式(17)中の線形エコー成分|G(ω)R₁(ω)|²|X(ω,n)|²はスピーカとマイクロホン間の結合量の推定値|G’(ω)R’₁(ω)|を次式(28)のように受話信号|X(ω,n)|に乗算して得られる推定エコーレベル
|Z₁(ω,n)|＝|G’(ω)R’₁(ω)||X(ω,n)| (28)
から推定することができる。

受話信号x(t)に対する周波数領域変換部１１は、受話信号x(t)を図１１で説明した処理により周波数領域の信号X(ω,n)に変換する。受話信号x(t)に対する結合量推定部１２は、受話信号x(t)に対する周波数領域変換部１１の出力X(ω,n)と、メインマイクロホン受音信号y₁(t)に対する周波数領域変換部１５_１の出力Y₁(ω,n)から、スピーカ３１とメインマイクロホン３２_１間の結合量の推定値|G’(ω)R’₁(ω)|を次式(29)により求める。
|G’(ω)R’₁(ω)|＝Avg{|Y₁(ω,n)|/|X(ω,n)|} (29)

受話信号のエコーレベル推定部１３は、受話信号x(t)に対する周波数領域変換部１１の出力X(ω,n)と、結合量推定部１２の出力|G’(ω)R’₁(ω)|から、推定エコーレベル|Z₁(ω)|を次式(29)により求める。
|Z₁(ω,n)|＝Avg{|Y₁(ω,n)|/|X(ω,n)|}|X(ω,n)| (30)

エコーレベル統合部２３は、エコーレベル推定部１３，２２_２〜２２_Ｍで得られた推定エコーレベル|Z₁(ω,n)|〜|Z_M(ω,n)|を統合して推定エコーレベルZ(ω,n)を出力する。統合方法としては、例えば第１実施例で説明したと同様に、各ωの値での最大値、又は平均値を取ればよい。その他の部分の構成及び動作は図１の実施例と同様なので説明を省略する。
実施例３

図６は、この発明による第３の実施例のエコー消去装置を示すブロック図である。本実施例のエコー消去装置100は、図５の実施例におけるエコー推定部２０内に、受話検出部２４とスイッチ部２５を追加した構成である。

受話検出部２４は、受話信号x(t)に対する周波数領域変換部１１の出力X(ω,n)のレベルを観測し、受話が存在する区間を検出する。検出は、例えば、予め設定した固定閾値と、受話信号X(ω,n)のレベルを比較し、受話信号のレベルが大きい場合に受話として検出する。あるいは、受話信号と背景ノイズのレベル比を固定閾値と比較して検出してもよい。スイッチ部２５は、エコーレベル統合部２３とエコー抑圧ゲイン計算部１４の間に挿入されており、受話検出部２４で受話が検出されたときにONとなり、受話が検出されないときにOFFとなり、エコーレベル統合部２３の出力信号をON/OFFする。スイッチ部２５がOFFの時には、スピーカ３１から受話音が出力されていない（従ってエコーは生じていない）。この時、エコー抑圧ゲイン計算部１４は、推定エコーレベルが与えられないので、ゲイン＝１（又は固定値）をゲイン乗算部１６に与える。従って、エコーを含まない受音信号|Y₁(ω)|はそのまま逆周波数領域変換部１７に与えられる。

これらの処理により、近端話者の発話が有り、受話が無い区間では、スイッチがOFFとなっているので、エコーレベル統合部２３の出力が遮断され、サブマイクロホン受音信号y₂(t)〜y_M(t)に混合する近端話者音声成分の影響による送話音声の劣化がなくなる。また、受話が有る場合は、スイッチがONとなるので、図５の実施例と同様の性能でエコーを抑圧することができる。これら以外の部分に関しては図５の実施例と同様であるので説明を省略する。なお、図６では、受話検出部２４は周波数領域受話信号|X(ω)|から受話の検出を行う場合を示したが、破線で示すように時間領域の受話信号x(t)のレベルから受話を検出してもよい。

この第３実施例は、図５の実施例に受話検出部２４とスイッチ２５を設ける例として説明したが、このような受話検出部２４とスイッチ２５の構成を図１の実施例に同様に設けてもよい。図１又は図５に設ける場合のいずれにおいても、サブマイクロホンは１個でもよい。この第３実施例によれば、第１又は第２の実施例の効果に加えて、近端話者の音声のみが存在する区間において、近端話者音声の劣化をなくすことができる。
実施例４

図７は、本発明による第４の実施例のエコー消去装置を示すブロック図である。
本実施例のエコー消去装置100は、図５の実施例に、Ｍチャネルの固定フィルタと加算器で構成されるメインビームフォーマ２６とサブビームフォーマ２７を追加した構成である。この実施例では、Ｍ個のマイクロホン３２_１〜３２_Ｍに対し、メイン、サブの区別を付けず、Ｍ個のマイクロホンの出力がメインビームフォーマ２６とサブビームフォーマ２７の両方に与えられる。メインビームフォーマ２６はＭ個の固定フィルタ部26F₁〜26F_Mと加算部26Aを有し、近端話者の方向に感度が高くなるよう固定フィルタ部26F₁〜26F_Mの係数が設定される。メインビームフォーマ２６の出力は前述の各実施例におけるメインマイクロホン受音信号として使用される。サブビームフォーマ２７もＭ個の固定フィルタ部27F₁〜27F_Mと加算部27Aを有し、スピーカ３１の方向に感度が高くなるよう固定フィルタ部27F₁〜27F_Mの係数が設定される。サブビームフォーマ２７の出力は前述の各実施例におけるサブマイクロホン受音信号として使用される。

メインビームフォーマ２６の固定フィルタ部26F₁〜26F_MはＭチャネルのマイクロホン受音信号y₁(t)〜y_M(t)を、それぞれ予め設定されたフィルタ係数でフィルタリングし、加算部26Aは固定フィルタ部26F₁〜26F_Mの出力を加算する。加算結果はメインマイクロホン受音信号としてメインビームフォーマ２６から出力され、周波数領域変換部１５_１に与えられる。サブビームフォーマ２７の固定フィルタ部27F₁〜27F_MもＭチャネルのマイクロホン受音信号y₁(t)〜y_M(t)を、それぞれ予め設定されたフィルタ係数でフィルタリングし、加算部27Aは固定フィルタ部27F₁〜27F_Mの出力を加算する。加算結果はサブマイクロホン受音信号としてサブビームフォーマ２７から出力され、周波数領域変換部１５_２に与えられる。他の部分の構成及び動作は図５の実施例と同様であり、説明を省略する。

図１の実施例では、図４を参照した説明において、メインマイクロホン３２_１は感度の高い方向を近端話者４０に向け感度の低い方向をスピーカ３１に向け、サブマイクロホン３２_２〜３２_Ｍは感度の高い方向をスピーカ３１に向け感度の低い方向を近端話者４０に向けることで、近端話者音声の劣化成分を小さくすることができることを述べた。図７の実施例では、メインビームフォーマ２６とサブビームフォーマ２７を使って、近端話者音声の劣化成分を小さくする。メインビームフォーマ２６は近端話者方向に感度を高くし、スピーカに対する感度を低くする。サブビームフォーマ２７はスピーカ３１に対する感度を高くし、近端話者に対する感度を低くする。ビームフォーマ２６，２７を使うことで、任意の方向に対して指向性が高い部分と低い部分を作ることができ、様々なスピーカとマイクロホンの配置に適用することができる。

メインビームフォーマ２６及びサブビームフォーマ２７の固定フィルタ係数の設計は、例えば以下のようにして行われる。Ｍ個のマイクロホンがあり、近端話者からｍ番目マイクロホンまでの伝達関数をC_m(ω)、スピーカからｍ番目マイクロホンまでの伝達関数をR_m(ω)とする。ただし、ωは周波数を表す。メインビームフォーマ２６の第ｍチャネルの固定フィルタ26F_mの係数をP_m(ω)とする。このときメインビームフォーマ２６に要求されるのは、近端話者の音声を収音し、スピーカ３１の音を抑圧することであり、これらの条件を式で表せば、式(31)と式(32)となる。

ただし、D(ω)は、目標とする周波数応答であり、例えば、振幅値が固定値で、位相が直線位相（時間領域における固定遅延）となっているような応答を設定する。

次に、サブビームフォーマ２７の第ｍチャネルの固定フィルタ27F_mの係数をQ_m(ω)とする。このときサブビームフォーマ２７に要求されるのは、近端話者の音声を抑圧し、受話スピーカ音を収音することである。これらの条件を式で表せば、式(33)と式(34)となる。

ただし、K(ω)は、目標とする周波数応答であり、例えば、振幅値が固定値で、位相が直線位相（時間領域における固定遅延）となっているような応答を設定する。

以上のように、固定フィルタ係数を設定すれば、任意のマイクロホンとスピーカの配置において、メインビームフォーマ２６では近端話者方向に感度を高くし、スピーカ３１に対する感度を低くし、サブビームフォーマ２７ではスピーカ３１に対する感度を高くし、近端話者に対する感度を低くすることが実現し、近端話者音声の劣化を防止することが可能である。

図７の実施例においても、図１の実施例と同様に受話信号x(t)に対する周波数領域変換部１１と結合量推定部１２とエコーレベル推定部１３とを使用せず、従ってエコーレベル統合部２３も使用せず、サブマイクロホン受音信号に対するエコーレベル推定部２２_２の出力をそのままエコー抑圧ゲイン計算部１４に与えてもよい。また、図７中に破線で示すように、図６の実施例と同様に受話検出部２４とスイッチ部２５を設け、受話の検出期間のみ推定エコーレベルをエコー抑圧ゲイン計算部１４に与えるようにしてもよい。
以上示したように、本実施例によれば、本発明の第１の実施例または第２の実施例の効果に加えて、任意のスピーカ、マイクロホンの配置において、近端話者音声の劣化を防止することが可能である。

以上説明したこの発明によるエコー消去装置の各実施例において、ディジタル信号として入力される受話信号及び受音信号に対するエコー抑圧のための処理を全てディジタル処理で実現することができ、また、それらの処理を実行するプログラムをコンピュータで実行することにより、エコー消去装置を実施させることができる。

図８は図１の第１実施例に対応するこの発明によるエコー消去方法の基本的な処理手順を示す。
ステップＳ１：メインマイクロホン受音信号及びサブマイクロホン受音信号を周波数領域信号に変換する。
ステップＳ２：周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号間のレベル比を結合量として求め、周波数領域サブマイクロホン受音信号に乗算して推定エコーレベルを得る。
ステップＳ３：周波数領域メインマイクロホン受音信号のレベルと推定エコーレベルとの差と、周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして求める。
ステップＳ４：周波数領域メインマイクロホン受音信号にゲインを乗算してエコー成分を抑圧する。
ステップＳ５：エコー成分が抑圧された周波数領域メインマイクロホン受音信号を逆周波数領域変換して時間領域の送話信号として出力する。

あるいは、上記ステップＳ１で上記メインマイクロホン受音信号と複数のサブマイクロホン受音信号をそれぞれ上記周波数領域メインマイクロホン受音信号と複数の周波数領域サブマイクロホン受音信号に変換し、
ステップＳ２で、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算し、上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得て、上記複数のエコーレベルを統合して上記推定エコーレベルを生成するようにしてもよい。

図５の第２実施例の場合、上記ステップＳ１において、上記受話信号と、上記メインマイクロホン受音信号と、少なくとも１つの上記サブマイクロホン受音信号をそれぞれ周波数領域受話信号と、上記周波数領域メインマイクロホン受音信号と、上記周波数領域サブマイクロホン受音信号とに変換し、
上記ステップＳ２において、上記周波数領域メインマイクロホン受音信号のレベルと、上記周波数領域受話信号と少なくとも１つの上記周波数領域受音信号のそれぞれのレベルとのレベル比を結合量として計算し、上記周波数領域受話信号と少なくとも１つの上記周波数領域サブマイクロホン受音信号に対しそれぞれ対応する結合量を乗算して複数のエコーレベルを得て、上記複数のエコーレベルを統合して上記推定エコーレベルを生成する。

図６の第３実施例の場合、上記ステップＳ２において、上記受話信号のレベルに基づいて受話の有無を検出し、受話が検出された区間は上記推定エコーレベルを上記エコー抑圧ゲイン計算部へ与え、検出されない区間は禁止する。

図７の第４実施例の場合、図８に示してないが、ステップＳ１とＳ２の間に、更に、上記複数のマイクロホン受音信号をそれぞれ第１のフィルタ処理し、上記第１フィルタ処理の結果を加算して加算結果を上記メインマイクロホン受音信号として得るステップと、 上記複数のマイクロホン受音信号をそれぞれ第２のフィルタ処理し、上記第２フィルタ処理の結果を加算して加算結果を上記サブマイクロホン受音信号として得るステップとが挿入される。

以上説明したように、本発明の第１〜４の実施例によれば、線形な音響エコーと、スピーカの歪特性により発生する非線形な音響エコーの両方を抑圧し、高いエコー抑圧性能を実現できる。更に、近端話者音声の劣化が小さく高品質な収音が実現できる。本発明の第２の実施例に拠れば、エコー抑圧性能を更に改善することができる。更に本発明の第３の実施例によれば、近端話者の音声のみが存在する区間において、近端話者音声の劣化をなくすことができる。更に本発明の第４の実施例によれば、任意のスピーカ、マイクロホン配置において近端話者音声の劣化を防止することが可能である。

本発明の第１の実施例であるエコー消去装置を示すブロック図である。 本発明のエコー消去装置の使い方を示す図である。 本発明のエコー消去装置の信号の流れを示す図である。 本発明において近端話者音声の劣化を抑えるためのスピーカ、マイクロホンの配置を示す図である。 本発明の第２の実施例であるエコー消去装置を示すブロック図である。 本発明の第３の実施例であるエコー消去装置を示すブロック図である。 本発明の第４の実施例であるエコー消去装置を示すブロック図である。 本発明のエコー消去方法の処理手順を示すフローチャートである。 従来のエコー消去装置を示すブロック図である。 従来のエコー消去装置の信号の流れを示す図である。 周波数領域変換部の変換手順を説明する図である。 逆周波数領域変換部の変換手順を説明する図である。

Claims (14)

1. 受話信号がスピーカから出力されてマイクロホンに回り込んだ信号成分であるエコー成分をマイクロホン受音信号から消去するエコー消去装置であり、
   複数のマイクロホンの受音信号から得られたメインマイクロホン受音信号とサブマイクロホン受音信号をそれぞれ周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号に変換する周波数領域変換手段と、
   上記周波数領域メインマイクロホン受音信号と上記周波数領域サブマイクロホン受音信号間のレベル比に基づいて結合量を推定し、その推定結合量と上記周波数領域サブマイクロホン受音信号との乗算により推定エコーレベルを得るエコー推定手段と、
   上記周波数領域メインマイクロホン受音信号のレベルと上記推定エコーレベルとの差と、上記周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして計算するエコー抑圧ゲイン計算手段と、
   上記周波数領域メインマイクロホン受音信号に上記ゲインを乗算して上記周波数領域メインマイクロホン受音信号中のエコー成分を抑圧するゲイン乗算部と、
   上記ゲイン乗算部による乗算結果を逆周波数領域変換して時間領域の送話信号を出力する逆周波数領域変換部、
   とを含み、
   上記複数のマイクロホンは指向性マイクロホンであり、それらのうち、上記メインマイクロホン受音信号を与えるマイクロホンは送話音源方向の感度が上記スピーカ方向の感度より高く、また、上記サブマイクロホン受音信号を与えるマイクロホンは、上記スピーカ方向の感度が上記送話音源方向の感度より高くなるように配置される
   ことを特徴とするエコー消去装置。
2. 請求項１記載のエコー消去装置において、
   上記周波数領域変換手段は、上記メインマイクロホン受音信号と上記サブマイクロホン受音信号を含む複数のサブマイクロホン受音信号をそれぞれ上記周波数領域メインマイクロホン受音信号と複数の周波数領域サブマイクロホン受音信号に変換する複数の周波数領域変換部を含んでおり、
   上記エコー推定部は、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算する複数の結合量推定部と、上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得る複数のエコーレベル推定部と、上記複数のエコーレベルの最大値又は平均値を上記推定エコーレベルとして生成するエコーレベル統合部とを含むことを特徴とするエコー消去装置。
3. 請求項１記載のエコー消去装置において、
   上記周波数領域変換手段は、上記受話信号と、上記メインマイクロホン受音信号と、少なくとも１つの上記サブマイクロホン受音信号をそれぞれ周波数領域受話信号と、上記周波数領域メインマイクロホン受音信号と、上記周波数領域サブマイクロホン受音信号とに変換する複数の周波数領域変換部を含んでおり、
   上記エコー推定部は、上記周波数領域メインマイクロホン受音信号のレベルと、上記周波数領域受話信号と上記周波数領域受音信号のそれぞれのレベルとのレベル比を結合量として計算する複数の結合量推定部と、上記周波数領域受話信号と少なくとも１つの上記周波数領域サブマイクロホン受音信号に対しそれぞれ対応する結合量を乗算して複数のエコーレベルを得る複数のエコーレベル推定部と、上記複数のエコーレベルの最大値又は平均値を上記推定エコーレベルとして生成するエコーレベル統合部とを含むことを特徴とするエコー消去装置。
4. 請求項３記載のエコー消去装置において、
   上記複数の周波数領域変換部は、上記サブマイクロホン受音信号を含む複数のサブマイクロホン受音信号をそれぞれ複数の周波数領域サブマイクロホン受音信号に変換する複数の周波数領域変換部を含んでおり、
   上記複数の結合量推定部は、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算する複数の結合量推定部を含んでおり、上記複数のエコーレベル推定部は上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得る複数のエコーレベル推定部を含んでおり、上記エコーレベル統合部はすべての上記エコーレベルの最大値又は平均値を上記推定エコーレベルとして生成するようにされていることを特徴とするエコー消去装置。
5. 請求項１乃至４のいずれか記載のエコー消去装置において、上記エコー推定手段は、上記受話信号のレベルに基づいて受話の有無を検出する受話検出手段と、受話が検出された区間は上記推定エコーレベルを上記エコー抑圧ゲイン計算部へ与え、検出されない区間は上記推定エコーレベルを上記エコー抑圧ゲイン計算部へ与えないようにするスイッチ手段とを含むことを特徴とするエコー消去装置。
6. 請求項１又は３記載のエコー消去装置において、更にメインビームフォーマとサブビームフォーマとが設けられており、
   上記メインビームフォーマは、上記複数マイクロホン受音信号をそれぞれフィルタ処理する複数の第１フィルタと、上記複数の第１フィルタの出力を加算して加算結果を上記メインマイクロホン受音信号として出力する第１加算部とを含み、
   上記サブビームフォーマは、上記複数マイクロホン受音信号をそれぞれフィルタ処理する複数の第２フィルタと、上記複数の第２フィルタの出力を加算して加算結果を上記サブマイクロホン受音信号として出力する第２加算部とを含み、
   上記複数の第１フィルタの係数は上記スピーカ方向の受音信号成分を抑圧するよう設定されており、上記複数の第２フィルタの係数は送話音源方向の受音信号成分を抑圧するように設定されていることを特徴とするエコー消去装置。
7. 受話信号がスピーカから出力されてマイクロホンに回り込んだ信号成分であるエコー成分をマイクロホン受音信号から消去するエコー消去方法であり、
   (a) 複数のマイクロホンの受音信号から得られたメインマイクロホン受音信号とサブマイクロホン受音信号をそれぞれ周波数領域メインマイクロホン受音信号と周波数領域サブマイクロホン受音信号に変換する過程と、
   (b) 上記周波数領域メインマイクロホン受音信号と上記周波数領域サブマイクロホン受音信号間のレベル比に基づいて結合量を推定し、その推定結合量と上記周波数領域サブマイクロホン受音信号との乗算により推定エコーレベルを得る過程と、
   (c) 上記周波数領域メインマイクロホン受音信号のレベルと上記推定エコーレベルとの差と、上記周波数領域メインマイクロホン受音信号のレベルとの比をゲインとして計算する過程と、
   (d) 上記周波数領域メインマイクロホン受音信号に上記ゲインを乗算して上記周波数領域メインマイクロホン受音信号中のエコー成分を抑圧する過程と、
   (e) 上記過程(d) による乗算結果を逆周波数領域変換して時間領域の送話信号を出力する過程、
   とを含み、
   上記複数のマイクロホンは指向性マイクロホンであり、それらのうち、上記メインマイクロホン受音信号を与えるマイクロホンは送話音源方向の感度が上記スピーカ方向の感度より高く、また、上記サブマイクロホン受音信号を与えるマイクロホンは、上記スピーカ方向の感度が上記送話音源方向の感度より高くなるように配置されている
   ことを特徴とするエコー消去方法。
8. 請求項７記載のエコー消去方法において、
   上記過程(a) は、上記メインマイクロホン受音信号と上記サブマイクロホン受音信号を含む複数のサブマイクロホン受音信号をそれぞれ上記周波数領域メインマイクロホン受音信号と複数の周波数領域サブマイクロホン受音信号に変換する過程を含んでおり、
   上記過程(b) は、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算する過程と、上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得る過程と、上記複数のエコーレベルの最大値又は平均値を上記推定エコーレベルとして生成する過程とを含むことを特徴とするエコー消去方法。
9. 請求項７記載のエコー消去方法において、
   上記過程(a) は、上記受話信号と、上記メインマイクロホン受音信号と、少なくとも１つの上記サブマイクロホン受音信号をそれぞれ周波数領域受話信号と、上記周波数領域メインマイクロホン受音信号と、上記周波数領域サブマイクロホン受音信号とに変換する過程を含んでおり、
   上記過程(b) は、上記周波数領域メインマイクロホン受音信号のレベルと、上記周波数領域受話信号と上記周波数領域受音信号のそれぞれのレベルとのレベル比を結合量として計算する過程と、上記周波数領域受話信号と少なくとも１つの上記周波数領域サブマイクロホン受音信号に対しそれぞれ対応する結合量を乗算して複数のエコーレベルを得る過程と、上記複数のエコーレベルの最大値又は平均値を上記推定エコーレベルとして生成する過程とを含むことを特徴とするエコー消去方法。
10. 請求項９記載のエコー消去方法において、
    上記過程(a) は、上記メインマイクロホン受音信号と上記サブマイクロホン受音信号を含む複数のサブマイクロホン受音信号をそれぞれ上記周波数領域メインマイクロホン受音信号と複数の周波数領域サブマイクロホン受音信号に変換する過程を含んでおり、
    上記過程(b) は、上記周波数領域メインマイクロホン受音信号と上記複数の周波数領域サブマイクロホン受音信号のそれぞれとのレベル比を結合量として計算する過程と、上記複数の周波数領域サブマイクロホン受音信号に対しそれぞれ対応する複数の結合量を乗算して複数のエコーレベルを得る過程と、全ての上記エコーレベルの最大値又は平均値を上記推定エコーレベルとして生成する過程とを含むことを特徴とするエコー消去方法。
11. 請求項７乃至１０のいずれか記載のエコー消去方法において、上記過程(b) は、上記受話信号のレベルに基づいて受話の有無を検出する過程と、受話が検出された区間は上記推定エコーレベルを使って上記過程(c)によるゲインの計算を実行させ、検出されない区間は上記ゲインの計算を禁止する切替過程とを含むことを特徴とするエコー消去方法。
12. 請求項７又は１０記載のエコー消去方法において、更に、
    (f) 上記複数のマイクロホン受音信号をそれぞれ第１のフィルタ処理し、上記第１フィルタ処理の結果を加算して加算結果を上記メインマイクロホン受音信号として得る過程と、
    (g)上記複数のマイクロホン受音信号をそれぞれ第２のフィルタ処理し、上記第２フィルタ処理の結果を加算して加算結果を上記サブマイクロホン受音信号として得る過程、
    とを含み、第１フィルタ処理の係数は上記スピーカ方向の受音信号成分を抑圧するよう設定されており、上記第２フィルタ処理の係数は送話音源方向の受音信号成分を抑圧するように設定されていることを特徴とするエコー消去方法。
13. コンピュータを請求項１乃至６のいずれか記載のエコー消去装置として機能させるためのプログラム。
14. コンピュータを請求項１乃至６のいずれか記載のエコー消去装置として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images