JP5347794B2 - エコー抑圧方法およびその装置 - Google Patents

エコー抑圧方法およびその装置 Download PDF

Info

Publication number
JP5347794B2
JP5347794B2 JP2009169865A JP2009169865A JP5347794B2 JP 5347794 B2 JP5347794 B2 JP 5347794B2 JP 2009169865 A JP2009169865 A JP 2009169865A JP 2009169865 A JP2009169865 A JP 2009169865A JP 5347794 B2 JP5347794 B2 JP 5347794B2
Authority
JP
Japan
Prior art keywords
signal
echo
spectrum
background noise
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009169865A
Other languages
English (en)
Other versions
JP2011024163A5 (ja
JP2011024163A (ja
Inventor
恩彩 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2009169865A priority Critical patent/JP5347794B2/ja
Priority to US12/837,658 priority patent/US8315380B2/en
Priority to CN201010235614XA priority patent/CN101964670B/zh
Publication of JP2011024163A publication Critical patent/JP2011024163A/ja
Publication of JP2011024163A5 publication Critical patent/JP2011024163A5/ja
Application granted granted Critical
Publication of JP5347794B2 publication Critical patent/JP5347794B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Description

この発明は携帯電話、テレビ電話装置、音声会議システム、電話回線等に利用されるエコー抑圧方法およびその装置に関し、特に背景雑音レベルが大きい場合であってもエコーキャンセル処理後の非線形処理において残留エコーを精度よく抑圧できるようにしたものである。
従来のエコー抑圧装置として下記特許文献1,2に記載されたものがあった。特許文献1記載のエコー抑圧装置を図2に示す。送信信号エネルギMと受信信号エネルギDからエコーリターン損失Rを概算して、ある瞬間のエコー信号の予想エネルギEをE=D×Rによって計算する。そして帯域ごとに、送信信号エネルギMがその予想エネルギEを超える場合は該送信信号は近端側音声信号であると判断し、スイッチ10をオン(導通)して該送信信号を遠端側に送信する。また送信信号エネルギMがその予想エネルギEを超えない場合は送信信号はエコーであると判断し、スイッチ10をオフ(遮断)してエコーを遠端側に送信しないようにする。
特許文献2記載のエコー抑圧装置を図3に示す。適応フィルタ部12は、適応フィルタによってエコー経路のインパルス応答(伝達関数)を推定し、該推定したインパルス応答から擬似エコー信号を生成し、送信信号から該擬似エコー信号を減算することでエコーをキャンセルする。適応フィルタ部12でキャンセルしきれなかった残留エコーはNLP(Non-Linear Processing:非線形)減衰器14によって減衰される。すなわちNLP減衰器14は残留エコーが発生した際に、適応フィルタ部12によってエコーキャンセル処理した後の信号(以下「エコーキャンセル信号」)に損失(例えば損失値30dB)を与えるもので、エコーが発生しない場合には無損失(損失値0dB)となるように動作するものである。このような動作により、損失が与えられた場合には、残留エコーを聞き取れないレベルまで減衰させることが可能である。このNLP処理は時間領域の信号にも、周波数領域の信号にも適用できる。NLP処理に起因する背景雑音の途切れ感を低減するために、背景雑音と同レベルおよび同周波数成分の擬似背景雑音を送信信号に挿入して送信する。
特開昭59−80029号公報 特開2000−138619号公報 J.-S. Soo and K. Pang, "Multidelay block frequency domain adaptive filter", IEEE Trans. Acoust. Speech signal Process., vol. ASSP-38, No. 2, pp. 373-376, Feb 1990. Doblinger G., "Computationally efficient speech enhancement by spectral minima tracking in subbands", Prcoc. Eurospeech, 2, pp. 1513-1516, 1995.
特許文献1記載のエコー抑圧装置は、送信信号に近端側の背景雑音が含まれている場合に、スイッチ10がオン/オフされるのに伴い該背景雑音が送信/遮断されるので、遠端側で聞こえる背景雑音が断続的で不自然になり、通話音質を大幅に劣化させる恐れがある。特許文献2記載のエコー抑圧装置は、NLP処理によって減衰された信号に擬似背景雑音を挿入することで上記背景雑音が送信/遮断される問題を回避しようとしているが、挿入する擬似背景雑音は真の背景雑音を十分に再現することが不可能なので、NLP処理に起因する背景雑音音質の不自然さを十分に解決することができない。また特許文献1,2記載のエコー抑圧装置はいずれも、送信信号を送信するかあるいは遮断(あるいは減衰)するかを決めるときに背景雑音の影響が考慮されていない。例えば特許文献1のエコー抑圧装置の場合、送信信号に含まれる背景雑音のレベルが大きいと、送信信号が近端側音声信号でなく残留エコー信号であっても、スイッチ10がオンして、該残留エコー信号を遠端側にそのまま送信してしまう可能性がある。
この発明は上述の点に鑑みてなされたもので、背景雑音レベルが大きい場合であっても残留エコーを精度よく抑圧できるようにしたエコー抑圧方法およびその装置を提供しようとするものである。
この発明は近端側のエコー経路を推定し、遠端側から受信した受信信号の擬似エコー信号を生成する適応フィルタ処理と、前記受信信号のエコー信号、近端側音声および背景雑音が含まれる近端側の信号から前記擬似エコー信号を減算してエコーキャンセル信号を生成する減算処理と、前記背景雑音のスペクトルを推定する背景雑音推定処理と、前記エコーキャンセル信号のスペクトルから前記推定された背景雑音スペクトルを減算し、さらに前記エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごと(例えば離散フーリエ変換により分割される帯域ごと)にゲイン制御して、前記遠端側に送信する送信信号のスペクトルを得る非線形処理と、例えば前記擬似エコー信号のスペクトルに基づいて前記エコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算する閾値計算処理とを具備し、前記非線形処理は、前記スペクトル減算結果を帯域ごとに前記閾値と比較し、該スペクトル減算結果が前記閾値を超えている帯域は前記エコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域は該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するものである。
この発明によれば、背景雑音のスペクトルを推定して、エコーキャンセル信号のスペクトルから該推定された背景雑音スペクトルを減算し、エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごとにゲイン制御するようにしたので、非線形処理は背景雑音の影響を受けにくい状態でゲイン制御を行うことができる。そしてエコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算し、非線形処理は前記スペクトル減算結果を帯域ごとに該閾値と比較し、該スペクトル減算結果が該閾値を超えている帯域はエコーキャンセル信号が近端側音声であると判断してエコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域はエコーキャンセル信号が残留エコーであると判断して該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するようにしたので、背景雑音レベルが大きい場合であっても残留エコーを抑圧することができる。閾値計算部は例えば、帯域ごとの閾値を、適応フィルタにおける周波数領域での畳み込み演算結果に所定の係数を掛けて生成することができる。このようにすれば適応フィルタ処理における畳み込み演算結果を流用できるので閾値の演算を簡略化することができる。
この発明において、前記非線形処理部は、前記スペクトル減算結果が前記閾値を超えているときは前記エコーキャンセル信号を所定のゲイン(例えば1)に制御し、該スペクトル減算結果が該閾値を超えていないときは該エコーキャンセル信号を[該所定のゲイン×(推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル)]に応じたゲインに制御することができる。これによればスペクトル減算結果が該閾値を超えていないときは、残留エコーが抑圧されて背景雑音が理想的にはそのままのレベルで出力されるので、ゲイン制御に伴う背景雑音の音量ゆれや断続感を発生させずに残留エコーを抑圧することができ、通話音質の大幅な劣化を抑制することができる。しかも実際の背景雑音に近い推定された背景雑音が出力されるので、人工的に作られた擬似背景雑音に切り換えて出力する場合に比べて遠端側で聞こえる背景雑音の音質を自然なものにすることができる。
この発明はさらに、非線形処理部の出力信号から該出力信号に含まれる雑音信号を推定して該雑音信号を抑圧する雑音抑圧部をさらに具備し、該雑音信号が抑圧された信号を遠端側に向けてに送信することができる。これによれば雑音を抑圧した信号を遠端側に送信することができる。この場合非線形処理が、スペクトル減算結果が閾値を超えていないときはエコーキャンセル信号を[所定のゲイン×(推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル)]に応じたゲインに制御するものであれば、ゲイン制御に伴う背景雑音の音量ゆれが抑制されるので、後段の雑音抑圧処理において雑音信号の推定を精度よく行って、安定した雑音抑圧を行うことができる。
この発明において前記非線形処理は、エコーキャンセル信号を、前記[所定のゲイン×(推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル)]に応じたゲインを時間軸方向もしくは周波数軸方向、または時間軸方向および周波数軸方向に平均化または平滑化したゲインに制御するものとすることができる。これによればゲインの急変により発生する音声の変調感を軽減して遠端側での音質を改善することができる。
この発明を利用した音声会議システムの近端側におけるシステム構成を示す機能ブロック図である。 従来のエコー抑圧装置を示すブロック図である。 従来の別のエコー抑圧装置を示すブロック図である。 図1の適応フィルタ部24と閾値計算部32の構成例を示すブロック図である。 図1の非線形処理部34の処理内容を示す機能ブロック図である。 非線形処理部34を図4のように構成した場合の図1の非線形処理部34および雑音抑圧部36の動作を説明する動作波形図である。
この発明の実施の形態を以下説明する。図1はこの発明を利用した音声会議システムの近端側におけるシステム構成を示す。遠端側から受信した音声信号x(n)(時間領域のサンプリング信号)は図示しないD/A変換器でアナログ信号に変換されてスピーカ20で再生される。マイク22は近端話者の音声のほか、スピーカ20で再生された音声の音響エコー、および近端側の背景雑音を収音する。マイク22の収音信号は図示しないA/D変換器で時間領域のサンプリング信号d(n)に変換される。この信号d(n)は該近端側で以下に説明する所定の信号処理を経て前記遠端側に向けて送信される。
マイク22の収音信号d(n)に施される信号処理について説明する。適応フィルタ部24はエコー経路のインパルス応答(伝達関数)を逐次推定し、該推定したインパルス応答に受信信号x(n)を畳み込み演算して、擬似エコー信号y(n)を生成する。適応フィルタ部24には公知の適応アルゴリズムを使用することができ、例えば前記非特許文献1に記載のMDF法(multidelay block frequency domain adaptive filter)、UMDF法(unconstrained multidelay block frequency domain adaptive filter)、AUMDF(alternative unconstrained multidelay block frequency domain adaptive filter)法等を使用することができる。減算器26はマイク信号d(n)から擬似エコー信号y(n)を減算することによりマイク信号d(n)に含まれるエコーをキャンセルしてエコーキャンセル信号e(n)を生成する。適応フィルタ部24がエコー経路のインパルス応答を完璧に推定できた場合は擬似エコー信号y(n)が真のエコー信号と全く同じになりエコー信号が完全に除去される。しかし現実にはマイク信号d(n)に外乱信号(近端話者音声(近端側音声)、背景雑音)があるなどの原因で適応フィルタ部24はエコー経路のインパルス応答を完璧には推定できないため、エコーキャンセル信号e(n)には残留エコー(エコーの消し残り)が含まれる。したがってエコーキャンセル信号e(n)は近端話者音声、近端背景雑音および残留エコーを加え合わせた信号で構成される。エコーキャンセル信号e(n)はFFT部28で高速フーリエ変換されて周波数領域の信号に変換される。背景雑音推定部30はFFT部28から出力されるエコーキャンセル信号のスペクトルE(k)(複素数)から、該エコーキャンセル信号E(k)の絶対値(実数)である振幅スペクトル|E(k)|に含まれる近端側の背景雑音の振幅スペクトルN(k)(実数)を周波数領域で推定する。背景雑音推定方法に関しては多くのアルゴリズムが提案されており、例えば非特許文献2に記載の方法を利用することができる。
閾値計算部32は適応フィルタ部24の中間結果(周波数領域での畳み込み演算結果)を流用して、高速フーリエ変換により分割される周波数帯域ごとに非線形処理の閾値TH(k)(残留エコーの予想エネルギ(振幅スペクトル)(実数))を計算する。適応フィルタ部24として前記非特許文献1記載のものを使用する場合は、閾値TH(k)を式1,式2で求められる値に設定することができる。
TH(k)=γ|Y(k)| …(式1)
式1で、Y(k)は受信信号x(n)と適応フィルタ係数の周波数領域での畳み込み演算結果であり、
Figure 0005347794
である。|Y(k)|はY(k)(複素数)の絶対値(実数)で振幅スペクトルである。γを残留エコーと|Y(k)|の比(残留エコー÷|Y(k)|)より少し大きな定数に設定することで閾値TH(k)を残留エコーより少し大きい値に設定できる。例えば残留エコー÷|Y(k)|の値が0.1であるとすると、γ=0.125〜0.15程度に設定することにより、閾値TH(k)を残留エコーより少し大きい値に設定でき、後述する非線形処理部34で残留エコーを抑圧することができる。また式2で、X(m,k)は受信信号x(n)のm番目のブロック(離散フーリエ変換を行うために受信信号x(n)を時間軸方向に区切る1区間。FFTフレーム)のk番目の周波数ビンにおける高速フーリエ変換結果、W(m,k)は受信信号x(n)のm番目のブロックのk番目の周波数ビンにおける適応フィルタ係数、Mは総ブロック数である。なお閾値TH(k)は式1による方法以外に、特許文献1記載の方法により求められるエコー信号の予想エネルギEに適宜の係数を掛けて求めたり他の方法で求めることもできる。
適応フィルタ部24のアルゴリズムとして非特許文献1記載の手法を採用し、かつ閾値計算部32が該適応フィルタ部24の中間結果を流用して式1,2の計算を行う場合のこれら適応フィルタ部24および閾値計算部32の構成例を図4に示す。適応フィルタ部24において、FFT部40は遠端側から受信した音声信号x(n)(時間領域のサンプリング信号)を高速フーリエ変換して周波数領域の信号に変換する。高速フーリエ変換された信号X(m,k)は1ブロック遅延器42−1,42−2,…,42−n−1で周波数軸方向の1ブロックずつ遅延され、係数器44−1,44−2,…,44−nで適応フィルタ係数W(m,k)が掛け算され、加算器46で加算されて、畳み込み演算が行われる。畳み込み演算結果Y(k)はIFFT部48で逆高速フーリエ変換されて時間領域の信号に戻される。切り捨て部50はIFFT部48から出力される時間領域のサンプル信号のうち不要な後半部分を切り捨てて、前半部分を擬似エコー信号y(n)として出力する。減算器26は前述のとおり、マイク信号d(n)から擬似エコー信号y(n)を減算してマイク信号d(n)に含まれるエコーをキャンセルして、エコーキャンセル信号e(n)を生成する。
閾値計算部32は適応フィルタ部24における中間結果として周波数領域での畳み込み演算結果Y(k)を入力し、絶対値部52でこれを絶対値化して|Y(k)|を作成し、乗算部54で|Y(k)|に前記定数γを乗算して前記式1の閾値TH(k)を作成する。
図1において非線形処理部(残留エコー抑圧処理部)34は前記背景雑音振幅スペクトルN(k)および前記閾値TH(k)を利用して、帯域ごとに、エコーキャンセル信号振幅スペクトル|E(k)|に含まれる背景雑音成分N(k)を残しながら、残留エコー成分(残留エコー振幅スペクトル)を減衰(抑圧)する処理を行う。雑音抑圧部36は非線形処理部34から出力される、残留エコー成分が減衰されたエコーキャンセル信号スペクトルE’(k)から雑音成分(雑音信号振幅スペクトル)を推定し、該雑音成分を抑圧する処理を行う。雑音抑圧部36の入力信号には背景雑音成分N(k)が理想的にはそのまま残されており、残留エコー抑圧処理に伴う背景雑音成分N(k)の音量ゆれが生じてないので、雑音抑圧部36は雑音成分の推定を高精度に行って、安定した雑音抑圧を行うことができる。この雑音抑圧処理には公知の手法を使用することができ、例えばスペクトル減算やウィナーフィルタ系の手法を用いることができる。雑音抑圧部36から出力される、残留エコーおよび背景雑音が抑制された信号はIFFT部38で逆高速フーリエ変換されて時間領域の信号に戻されて遠端側に向けて送信される。なお人工的に作られた擬似背景雑音をこの送信信号に適宜量加算して送信することもできる。
非線形処理部34の処理内容を図5に示す。この処理は高速フーリエ変換により分割される帯域ごとに実行される。演算部60はエコーキャンセル信号振幅スペクトル|E(k)|と背景雑音振幅スペクトルN(k)をスペクトル減算して|E(k)|−αN(k)を算出する。これによりエコーキャンセル信号振幅スペクトル|E(k)|に含まれる背景雑音振幅スペクトルN(k)が打ち消される。ここでαは減算係数で、背景雑音推定部30(図1)で使用する雑音推定アルゴリズムの推定精度によってその値を調整する。例えば雑音推定アルゴリズムが背景雑音振幅スペクトルN(k)を過大推定する傾向がある場合は0<α<1の値に設定し、過小推定する傾向がある場合はα>1の値に設定する。正確に推定できる場合はα=1に設定する。比較器62は帯域ごとに、前記スペクトル減算結果|E(k)|−αN(k)を前記閾値TH(k)と比較し、|E(k)|−αN(k)>TH(k)であるか、あるいは|E(k)|−αN(k)≦TH(k)であるかを判定する。演算部64は背景雑音振幅スペクトルN(k)とエコーキャンセル信号振幅スペクトル|E(k)|との比βN(k)÷|E(k)|を算出する。ここでβは非線形処理部34での残留エコー抑圧の効き具合を調整するパラメータで、実験に基づいて決めた値に予め固定的に設定してもよいし、外部から設定できるようにして本エコー抑圧装置の使用時に使用者が可変設定できるようにしてもよい。βは例えば1に設定することができる。
エコーキャンセル信号スペクトルE(k)は可変減衰器66(ゲイン可変アンプ)でゲインが制御される。ゲイン制御器68は比較器62の出力および演算部64の出力に応じて可変減衰器66のゲインG(k)を次のように可変制御する。
G(k)=1 (|E(k)|−αN(k)>TH(k)のとき) …(式3a)
G(k)=βN(k)÷|E(k)| (|E(k)|−αN(k)≦TH(k)のとき)…(式3b)
式3a,3bで、G(k)はk番目の周波数ビンに与えるゲイン(残留エコー抑圧ゲイン)、|E(k)|はk番目の周波数ビンにおける非線形処理の入力信号振幅スペクトル(エコーキャンセル信号振幅スペクトル)、N(k)はk番目の周波数ビンについて推定した背景雑音振幅スペクトル、TH(k)は残留エコーの予想エネルギ(振幅スペクトル)で非線形処理の閾値、αは減算係数、βは残留エコー抑圧の効き具合を調整するパラメータである。
式3aによれば、スペクトル減算結果|E(k)|−αN(k)の値が閾値TH(k)よりも大きい場合は、エコーキャンセル信号e(n)が近端話者音声であると判断されるのでエコーキャンセル信号スペクトルE(k)をそのまま通過させる。また式3bによれば、スペクトル減算結果|E(k)|−αN(k)の値が閾値TH(k)以下の場合は、エコーキャンセル信号e(n)が残留エコーであると判断されるのでエコーキャンセル信号E(k)を減衰して出力する。そして式3bによれば、エコーキャンセル信号スペクトルE(k)を減衰して出力する場合は、ゲインG(k)を背景雑音振幅スペクトルN(k)とエコーキャンセル信号振幅スペクトルE(k)との比βN(k)÷|E(k)|として計算するので、エコーキャンセル信号E(k)を背景雑音振幅スペクトルN(k)のレベルまで抑圧できることになる。すなわち、エコーキャンセル信号スペクトルE(k)を減衰した信号スペクトルE’(k)は、
E’(k)=E(k)×(βN(k)÷|E(k)|)
=(E(k)÷|E(k)|)×βN(k)
となる。ここで(E(k)÷|E(k)|)は、振幅が1で位相がエコーキャンセル信号E(k)の位相のままであるので、減衰した信号スペクトルE’(k)は、背景雑音振幅スペクトルN(k)を、振幅はそのままで位相をエコーキャンセル信号E(k)の位相のままとしたものである。したがって閾値TH(k)によるゲインG(k)の切り換えおよび比βN(k)÷|E(k)|によるゲインG(k)の変動にかかわらず背景雑音振幅スペクトルN(k)がそのまま出力されるので、背景雑音の音量ゆれや断続感を発生させずに残留エコーを抑圧することができる。
可変減衰器66からは上記ゲインG(k)の制御によって残留エコーが抑圧された残留エコー抑圧信号スペクトルE’(k)が出力される。この残留エコー抑圧信号スペクトルE’(k)が非線形処理部34の出力信号となる。なおゲインG(k)の急変により発生する音声の変調感を軽減して遠端側での音質を改善するために、図5に点線で示すようにゲイン制御器68の出力側に平均化または平滑化処理部70を配置して、式3a,3bによって計算されたゲインG(k)を時間軸方向もしくは周波数軸方向、または時間軸方向および周波数軸方向に平均化もしくは平滑化してもよい。
ちなみに特許文献1記載の手法における非線形処理のゲインを上記パラメータを使って表すとすれば、
G(k)=1 (|E(k)|>TH(k)のとき) …(式4a)
G(k)=0 (|E(k)|≦TH(k)のとき) …(式4b)
となる。近端側に背景雑音が全く存在しない場合にはこの特許文献1記載の手法でもよいが、近端側に背景雑音が存在する場合は、この特許文献1記載の手法では、近端話者音声なのかエコーなのかを判断するときに、近端側の背景雑音の影響によって誤判断が発生しやすくなり、エコーが抑圧されずに遠端側に送信される場合が多く生じる可能性がある。またこの特許文献1記載の手法によればゲインG(k)は1か0しかないので、遠端側に送信される背景雑音は断続的になり、遠端側で聞こえる音は非常に不快なものとなる。これに対してこの発明の上記実施の形態の手法によれば、近端側の背景雑音を推定して該背景雑音を打ち消したエコーキャンセル信号振幅スペクトルに基づいて近端話者音声なのか残留エコーなのかを判断するので、近端側の背景雑音の影響を受けにくく、近端側の背景雑音のレベルが大きくても誤判断が発生しにくくなり、残留エコーを精度よく抑圧できる。また非線形処理部34はエコーキャンセル信号を残留エコーであると判断して該残留エコーを抑圧するときであっても背景雑音はそのままのレベルで出力するので、背景雑音の音量ゆれや断続感を発生させずに残留エコーを抑圧することができる。これにより後段の雑音抑圧部36において雑音信号の推定を高精度に行って、安定した雑音抑圧を行うことができる。
図6は非線形処理部34を図4のように構成した場合の図1の非線形処理部34および雑音抑圧部36の動作を示す。図6では便宜的に各信号を時間領域の波形で示している。(a)はエコーキャンセル信号振幅スペクトル|E(k)|、エコーキャンセル信号E(k)に含まれる背景雑音振幅スペクトルN(k)、閾値TH(k)を示す。これは背景雑音振幅スペクトルN(k)のレベルが高い場合であり、エコーキャンセル信号振幅スペクトル|E(k)|をそのまま閾値TH(k)で比較したのでは近端話者音声が無い区間を判別できず、該区間で残留エコーが抑圧されず、遠端側に送信されてしまう。(b)は演算部60から出力される振幅スペクトル減算結果|E(k)|−αN(k)と閾値TH(k)を示す。これによればエコーキャンセル信号振幅スペクトル|E(k)|から背景雑音振幅スペクトルN(k)を減算した信号を閾値TH(k)で比較するので、近端話者音声が無い区間が正しく判別されている。(c)は(b)での比較結果に基づき制御される可変減衰器66のゲインを示す。近端話者音声が有る区間ではゲインG(k)は1に設定され、近端話者音声が無い区間ではゲインG(k)はβN(k)÷|E(k)|に設定される。(d)はこのゲイン制御の結果可変減衰器66から出力される信号E’(k)の振幅スペクトル|E’(k)|を示す。ハッチングは振幅スペクトル|E’(k)|に含まれる背景雑音の振幅スペクトルN(k)を示す。近端話者音声が有る区間ではエコーキャンセル信号E(k)はそのまま可変減衰器66を通過する。近端話者音声が無い区間では残留エコーが抑圧されて背景雑音が抑圧されずに可変減衰器66から出力される。したがってゲインが切り換えられあるいは変動しているにもかかわらず背景雑音には音量揺れが生じていない。(e)は雑音抑圧部36(図1)の出力信号の振幅スペクトルを示す。背景雑音N(k)が全区間で抑圧されて近端話者音声のみが出力されている。この残留エコーおよび背景雑音が抑圧された近端話者音声がIFFT部38で逆高速フーリエ変換されて時間領域の信号に戻されて遠端側に向けて送信される。
(他の実施の形態)
前記実施の形態では非線形処理部34での計算に振幅スペクトルを用いたがパワースペクトルを用いることもできる。パワースペクトルを用いる場合は前記式1による閾値TH(k)に代えて次の式1’による閾値TH’(k)を用いる。
TH’(k)=γ’|Y(k)|2 …(式1’)
式1’で、γ’は残留エコーと|Y(k)|の比より少し大きな定数で、実験によって決められる。Y(k)は前記式2で求められる値である。またパワースペクトルを用いる場合は可変減衰器66のゲインG(k)は前記式3に代えて次の式3a’、3b’により制御される。
G(k)=1 (|E(k)|2−α|N(k)|2>TH’(k)のとき) …(式3a’)
G(k)=β(|N(k)|2÷|E(k)|21/2 (|E(k)|2−α|N(k)|2≦TH’(k)のとき) …(式3b’)
ここで、|E(k)|2はk番目の周波数ビンにおける非線形処理の入力信号パワースペクトル(エコーキャンセル信号パワースペクトル)、|N(k)|2はk番目の周波数ビンについて推定した背景雑音パワースペクトルである。
なお前記実施の形態では背景雑音推定部30はエコーキャンセル後の信号e(n)に基づいて背景雑音を推定したが、エコーキャンセル前の信号d(n)に基づいて背景雑音を推定することもできる。また前記実施の形態では非線形処理部34の出力信号を雑音抑圧部36で雑音抑圧処理して遠端側に向けて送信するようにしたが、非線形処理部34の出力信号を雑音抑圧処理せずに遠端側に向けて送信することもできる。
24…適応フィルタ部、26…減算器、30…背景雑音推定部、32…閾値計算部、34…非線形処理部、36…雑音抑圧部、60…スペクトル減算用の演算部、62…比較器、64…ゲイン算出用の演算部、66…可変減衰器、70…平均化または平滑化処理部

Claims (6)

  1. 近端側のエコー経路を推定し、遠端側から受信した受信信号の擬似エコー信号を生成する適応フィルタ部と、
    前記受信信号のエコー信号、近端側音声および背景雑音が含まれる近端側の信号から前記擬似エコー信号を減算してエコーキャンセル信号を生成する減算器と、
    前記背景雑音のスペクトルを推定する背景雑音推定部と、
    前記エコーキャンセル信号のスペクトルから前記推定された背景雑音スペクトルを減算し、さらに前記エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごとにゲイン制御して、前記遠端側に送信する送信信号のスペクトルを得る非線形処理部と、
    前記エコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算する閾値計算部とを具備し、
    前記非線形処理部は、前記スペクトル減算結果を帯域ごとに前記閾値と比較し、該スペクトル減算結果が前記閾値を超えている帯域は前記エコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域は該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するエコー抑圧装置。
  2. 前記非線形処理部は、前記スペクトル減算結果が前記閾値を超えているときは前記エコーキャンセル信号を所定のゲインに制御し、該スペクトル減算結果が該閾値を超えていないときは該エコーキャンセル信号を[該所定のゲイン×(推定された背景雑音スペクトル÷エコーキャンセル信号スペクトル)]に応じたゲインに制御する請求項1記載のエコー抑圧装置。
  3. 前記エコーキャンセル信号に与えるゲインをG(k)として、前記スペクトル減算結果が前記閾値を超えているときは、
    G(k)=1
    に制御し、前記スペクトル減算結果が前記閾値を超えていないときは、
    G(k)=βN(k)÷|E(k)|
    に制御する(ここで、G(k)はk番目の周波数ビンに与えるゲイン、|E(k)|はk番目の周波数ビンにおける非線形処理の入力信号振幅スペクトル、N(k)はk番目の周波数ビンについて推定した背景雑音振幅スペクトル、βは残留エコー抑圧の効き具合を調整するパラメータ(1の場合を含む)である)請求項2記載のエコー抑圧装置。
  4. 前記非線形処理部の出力信号から該出力信号に含まれる雑音信号を推定して該雑音信号を抑圧する雑音抑圧部をさらに具備し、該雑音信号が抑圧された信号を遠端側に向けてに送信する請求項1から3のいずれか1つに記載のエコー抑圧装置。
  5. 前記閾値計算部は、前記帯域ごとの閾値を、前記適応フィルタ部における周波数領域での畳み込み演算結果に所定の係数を掛けて生成する請求項1からのいずれか1つに記載のエコー抑圧装置。
  6. 近端側のエコー経路を推定し、遠端側から受信した受信信号の擬似エコー信号を生成する適応フィルタ処理と、
    前記受信信号のエコー信号、近端側音声および背景雑音が含まれる近端側の信号から前記擬似エコー信号を減算してエコーキャンセル信号を生成する減算処理と、
    前記背景雑音のスペクトルを推定する背景雑音推定処理と、
    前記エコーキャンセル信号のスペクトルから前記推定された背景雑音スペクトルを減算し、さらに前記エコーキャンセル信号スペクトルを該スペクトル減算結果に応じて帯域ごとにゲイン制御して、前記遠端側に送信する送信信号のスペクトルを得る非線形処理と、
    前記エコーキャンセル信号における残留エコーの有無を判定する閾値を帯域ごとに計算する閾値計算処理とを具備し、
    前記非線形処理は、前記スペクトル減算結果を帯域ごとに前記閾値と比較し、該スペクトル減算結果が前記閾値を超えている帯域は前記エコーキャンセル信号スペクトルを相対的に大きなゲインに制御し、該閾値を超えていない帯域は該エコーキャンセル信号スペクトルを相対的に小さなゲインに制御するエコー抑圧方法。
JP2009169865A 2009-07-21 2009-07-21 エコー抑圧方法およびその装置 Expired - Fee Related JP5347794B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009169865A JP5347794B2 (ja) 2009-07-21 2009-07-21 エコー抑圧方法およびその装置
US12/837,658 US8315380B2 (en) 2009-07-21 2010-07-16 Echo suppression method and apparatus thereof
CN201010235614XA CN101964670B (zh) 2009-07-21 2010-07-21 回声抑制方法及回声抑制设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009169865A JP5347794B2 (ja) 2009-07-21 2009-07-21 エコー抑圧方法およびその装置

Publications (3)

Publication Number Publication Date
JP2011024163A JP2011024163A (ja) 2011-02-03
JP2011024163A5 JP2011024163A5 (ja) 2012-07-12
JP5347794B2 true JP5347794B2 (ja) 2013-11-20

Family

ID=43497345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009169865A Expired - Fee Related JP5347794B2 (ja) 2009-07-21 2009-07-21 エコー抑圧方法およびその装置

Country Status (3)

Country Link
US (1) US8315380B2 (ja)
JP (1) JP5347794B2 (ja)
CN (1) CN101964670B (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134923A (ja) * 2010-12-24 2012-07-12 Sony Corp 音声処理装置および方法、並びにプログラム
US20120195423A1 (en) * 2011-01-31 2012-08-02 Empire Technology Development Llc Speech quality enhancement in telecommunication system
WO2012158163A1 (en) * 2011-05-17 2012-11-22 Google Inc. Non-linear post-processing for acoustic echo cancellation
EP2568695B1 (en) * 2011-07-08 2016-08-03 Goertek Inc. Method and device for suppressing residual echo
CN102387272B (zh) * 2011-09-09 2013-10-30 南京大学 一种回声抵消系统中残留回声的抑制方法
CN102413384A (zh) * 2011-11-16 2012-04-11 杭州艾力特音频技术有限公司 一种回声消除双向语音对讲设备
US9343078B2 (en) * 2012-01-09 2016-05-17 Intel Corporation Pre-process (amplitude distortion) and post-process (phase synchronization) for linear AEC system
CN103391381B (zh) 2012-05-10 2015-05-20 中兴通讯股份有限公司 回声消除方法及装置
US9280984B2 (en) * 2012-05-14 2016-03-08 Htc Corporation Noise cancellation method
US9516659B2 (en) 2012-12-06 2016-12-06 Intel Corporation Carrier type (NCT) information embedded in synchronization signal
EP3111606B1 (en) * 2014-02-25 2018-09-19 Intel Corporation Apparatus, system and method of simultaneous transmit and receive (str) wireless communication
JP6295722B2 (ja) * 2014-02-28 2018-03-20 沖電気工業株式会社 エコー抑圧装置、プログラム及び方法
GB2521881B (en) * 2014-04-02 2016-02-10 Imagination Tech Ltd Auto-tuning of non-linear processor threshold
CN104167212A (zh) * 2014-08-13 2014-11-26 深圳市泛海三江科技发展有限公司 一种智能楼宇系统的音频处理方法及装置
GB201501791D0 (en) 2015-02-03 2015-03-18 Microsoft Technology Licensing Llc Non-linear echo path detection
US9607627B2 (en) * 2015-02-05 2017-03-28 Adobe Systems Incorporated Sound enhancement through deverberation
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
CN104954595B (zh) * 2015-05-15 2017-07-25 百度在线网络技术(北京)有限公司 残留回声消除方法和装置
US10498389B2 (en) * 2015-11-16 2019-12-03 Mitsubishi Electric Corporation Echo canceller device and voice telecommunications device
US9923592B2 (en) 2015-12-26 2018-03-20 Intel Corporation Echo cancellation using minimal complexity in a device
US10129408B1 (en) * 2016-10-11 2018-11-13 Google Llc Residual echo detection based on non-causality
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
CN106878575B (zh) * 2017-02-24 2019-11-05 成都喜元网络科技有限公司 残留回声的估计方法及装置
CN107360530B (zh) * 2017-07-03 2020-12-01 苏州科达科技股份有限公司 一种回声消除的测试方法和装置
US10542153B2 (en) 2017-08-03 2020-01-21 Bose Corporation Multi-channel residual echo suppression
US10594869B2 (en) * 2017-08-03 2020-03-17 Bose Corporation Mitigating impact of double talk for residual echo suppressors
WO2019070722A1 (en) 2017-10-03 2019-04-11 Bose Corporation SPACE DIAGRAM DETECTOR
EP4109446B1 (en) * 2018-04-27 2024-04-10 Dolby Laboratories Licensing Corporation Background noise estimation using gap confidence
CN108696648B (zh) * 2018-05-16 2021-08-24 上海小度技术有限公司 一种短时语音信号处理的方法、装置、设备及存储介质
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN108962276B (zh) * 2018-07-24 2020-11-17 杭州听测科技有限公司 一种语音分离方法及装置
CN109040498B (zh) * 2018-08-12 2022-01-07 瑞声科技(南京)有限公司 一种提升回声抵消效果的方法及其系统
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
CN109461455B (zh) * 2018-11-30 2022-08-30 维沃移动通信(深圳)有限公司 一种消除啸叫的系统及方法
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841421A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 具有抑制功能的波束形成麦克风瓣的自动对焦、区域内自动对焦、及自动配置
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
CN111292760B (zh) * 2019-05-10 2022-11-15 展讯通信(上海)有限公司 发声状态检测方法及用户设备
US10964305B2 (en) 2019-05-20 2021-03-30 Bose Corporation Mitigating impact of double talk for residual echo suppressors
EP3796629B1 (en) * 2019-05-22 2022-08-31 Shenzhen Goodix Technology Co., Ltd. Double talk detection method, double talk detection device and echo cancellation system
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
WO2020243471A1 (en) 2019-05-31 2020-12-03 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
CN110430330A (zh) * 2019-08-08 2019-11-08 北京云中融信网络科技有限公司 一种基于通话的音频数据处理方法及装置
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
CN110782914B (zh) * 2019-10-31 2022-04-15 网易(杭州)网络有限公司 信号处理方法、装置、终端设备及存储介质
CN110838300B (zh) * 2019-11-18 2022-03-25 紫光展锐(重庆)科技有限公司 回声消除的处理方法及处理系统
CN111092983B (zh) * 2019-12-25 2020-12-11 清华大学深圳国际研究生院 一种基于滑模变结构控制的语音通话回声与底噪抑制方法
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN111798863B (zh) * 2020-06-24 2024-03-08 北京梧桐车联科技有限责任公司 消除回声的方法、装置、电子设备及可读存储介质
JP2024505068A (ja) 2021-01-28 2024-02-02 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム
TWI802108B (zh) * 2021-05-08 2023-05-11 英屬開曼群島商意騰科技股份有限公司 降低聲學回音之語音處理裝置及其方法
CN113541851B (zh) * 2021-07-20 2022-04-15 成都云溯新起点科技有限公司 一种稳态宽带电磁频谱抑制方法
US11444813B1 (en) * 2021-07-23 2022-09-13 Macom Technology Solutions Holdings, Inc. Method and apparatus for CTLE equalizer adaptation based on samples from error slicers
CN116962583B (zh) * 2023-09-20 2023-12-08 腾讯科技(深圳)有限公司 一种回声控制的方法、装置、设备、存储介质及程序产品

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4644108A (en) * 1982-10-27 1987-02-17 International Business Machines Corporation Adaptive sub-band echo suppressor
JPH08256089A (ja) * 1995-03-17 1996-10-01 Toshiba Corp エコー打消装置
JP2000138619A (ja) 1998-10-30 2000-05-16 Nec Corp エコーキャンセラ
US6373908B2 (en) * 1998-11-11 2002-04-16 Broadcom Corporation Adaptive electronic transmission signal cancellation apparatus for full duplex communication
JP4161628B2 (ja) * 2002-07-19 2008-10-08 日本電気株式会社 エコー抑圧方法及び装置
CN1736039A (zh) * 2003-11-11 2006-02-15 三菱电机株式会社 回波抑制装置
US20060018457A1 (en) * 2004-06-25 2006-01-26 Takahiro Unno Voice activity detectors and methods
JP4702372B2 (ja) * 2005-10-26 2011-06-15 日本電気株式会社 エコー抑圧方法及び装置
JP4413205B2 (ja) * 2006-06-21 2010-02-10 日本電信電話株式会社 エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
KR101470528B1 (ko) * 2008-06-09 2014-12-15 삼성전자주식회사 적응 빔포밍을 위한 사용자 방향의 소리 검출 기반의 적응모드 제어 장치 및 방법
EP2234105B1 (en) * 2009-03-23 2011-06-08 Harman Becker Automotive Systems GmbH Background noise estimation
JP5321372B2 (ja) * 2009-09-09 2013-10-23 沖電気工業株式会社 エコーキャンセラ
US8340278B2 (en) * 2009-11-20 2012-12-25 Texas Instruments Incorporated Method and apparatus for cross-talk resistant adaptive noise canceller

Also Published As

Publication number Publication date
CN101964670A (zh) 2011-02-02
CN101964670B (zh) 2013-10-23
JP2011024163A (ja) 2011-02-03
US8315380B2 (en) 2012-11-20
US20110019831A1 (en) 2011-01-27

Similar Documents

Publication Publication Date Title
JP5347794B2 (ja) エコー抑圧方法およびその装置
US6546099B2 (en) Arrangement for suppressing an interfering component of an input signal
US9461702B2 (en) Systems and methods of echo and noise cancellation in voice communication
JP5036874B2 (ja) エコー消去装置
JP6243536B2 (ja) エコー打ち消し
EP2241099B1 (en) Acoustic echo reduction
EP1978649A2 (en) Spectral Domain, Non-Linear Echo Cancellation Method in a Hands-Free Device
WO2005125168A1 (en) Echo canceling apparatus, telephone set using the same, and echo canceling method
JP4978352B2 (ja) エコーキャンセラ
WO2009148049A1 (ja) 音響エコーキャンセラ及び音響エコーキャンセル方法
JP2005142659A (ja) エコーキャンセラ
JP4591685B2 (ja) ダブルトーク状態判定方法、エコーキャンセル方法、ダブルトーク状態判定装置、エコーキャンセル装置およびプログラム
JP5662232B2 (ja) エコー消去装置、その方法及びプログラム
JP5469564B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム
WO2005046076A1 (ja) エコー抑圧装置
JP5292931B2 (ja) 音響エコーキャンセラおよびエコーキャンセル装置
JP2006067127A (ja) 残響除去方法及びその装置
JP6180689B1 (ja) エコーキャンセラ装置、エコー消去方法、及びエコー消去プログラム
KR19990080327A (ko) 계층적 구조의 적응반향 제거장치
JP5161838B2 (ja) エコーキャンセラおよび音響エコー消去方法
CA2394370A1 (en) Echo canceller in a communication system at a terminal
KR101607902B1 (ko) 복합 하울링 제거 장치
JP2005250266A (ja) エコー抑圧方法、この方法を実施する装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R150 Certificate of patent or registration of utility model

Ref document number: 5347794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees