JP5221117B2 - 低複雑性のエコー補償 - Google Patents

低複雑性のエコー補償 Download PDF

Info

Publication number
JP5221117B2
JP5221117B2 JP2007317760A JP2007317760A JP5221117B2 JP 5221117 B2 JP5221117 B2 JP 5221117B2 JP 2007317760 A JP2007317760 A JP 2007317760A JP 2007317760 A JP2007317760 A JP 2007317760A JP 5221117 B2 JP5221117 B2 JP 5221117B2
Authority
JP
Japan
Prior art keywords
signal
microphone
loudspeaker
echo
subband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007317760A
Other languages
English (en)
Other versions
JP2008178087A (ja
Inventor
バック マルクス
ホーリック ティム
レースラー マーティン
ウベ シュミット ゲルハルト
シュヌグ ヴァルター
Original Assignee
ニュアンス コミュニケーションズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニュアンス コミュニケーションズ, インコーポレイテッド filed Critical ニュアンス コミュニケーションズ, インコーポレイテッド
Publication of JP2008178087A publication Critical patent/JP2008178087A/ja
Application granted granted Critical
Publication of JP5221117B2 publication Critical patent/JP5221117B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、信号処理のシステムおよび方法に関し、特に、音響エコー補償を伴う音声信号処理に関する。本発明は、ダウンサンプリングされたサブ帯域信号の処理によるエコー補償に関する。
マイクロフォンを備えている通信システムにおいて、エコー補償は、基本的な論題であり、該マイクロフォンは、音声認識システムまたはハンズフリー電話セットのユーザーの音声信号などの必要な信号のみならず、マイクロフォンと同じ部屋に設置された、同じ通信システムのラウドスピーカーによって出力された騒がしい信号をも検知する。ハンズフリーセットの場合において、例えば、遠隔パーティから受信し、近くのラウドスピーカーによって出力された信号が、近くのマイクロフォンによって通信システムに再び供給され、再び遠隔パーティに送信されることは、避けられなくてはならない。ラウドスピーカーによって出力された信号のマイクロフォンによる検知は、不快な音響エコーとなり得、音響エコーが十分に和らげられないか、実質的に除去されない場合は、通信の完全な中断をも招き得る。
騒々しい環境において用いられる音声認識システムの場合には、同様の問題が発生する。ユーザーの音声信号とは異なる信号が認識ユニットに供給されることは、防止されなくてはならない。しかし、音声認識システムのマイクロフォンは、例えば、CDまたはDVDプレーヤーあるいはラジオなどのオーディオデバイスによって再生されたオーディオ信号を表現するラウドスピーカーの出力を、検知し得る。これらの信号が、十分にフィルタリングされなかった場合には、ユーザーの発声を表す、必要な信号は、恐らくは適切な音声認識を不可能にする程度にまで、騒音に包まれ得る。近年において、エコー補償に対するいくつかの方法が提案され、通信システムに実装されてきた。適応有限インパルス応答(FIR)フィルターを用いて、ラウドスピーカー−室内−マイクロフォン(LRM)システムの伝達関数(インパルス応答)を作るために用いられる適応フィルターが、音響信号のエコー補償に対して用いられる(例えば、非特許文献1を参照)。
エコー補償のフィルターを適応させる周知の方法のうちの1つは、正規化された最小二乗平均アルゴリズムに基づいている。しかし、音声信号の場合において、収束は、通常はいくぶん遅いことが公知であり、これは、連続した信号サンプルが、しばしば相関しているからである。その一方で、収束特性の加速は、メモリ容量およびプロセッサの負荷の点から、比較的に高度な計算リソースを要求する。高性能の計算手段に対する要求を、合理的なレベルにまで含めるために、信号処理は、通常は、ダウンサンプリングされたサブ帯域の領域において行われるが、該領域において、フル帯域の処理と比較すると、計算の複雑性は、原則として低減される。
エコー補償のために処理されるサブ帯域の信号の、より高いダウンサンプリングレートが選択されれば、それだけ計算の費用が低減され得る。しかし、当該技術において、適切なダウンサンプリングファクターの選択は、公知のエイリアシングの問題によって、概して限定される。ハン(Hann)ウィンドウまたは他に選択されたフィルターは、異なるエイリアシング特性を示す。アーチファクト(atifact)が、増加するダウンサンプリングレートとともに増加し、さらに、ダウンサンプリングレートが一部の閾値を超える場合には、エコー減衰速度は、不十分となる。
故に、近年のエンジニアリングの進歩にも関わらず、許容できる時間遅延を有する、オーディオ信号の有効なエコー補償に関し、特に言葉によるハンズフリー通信におけるエコー補償に関して、未だに問題が存在する。
Acoustic Echo and Noise Control、E.Haensler and G. Schmidt、John Wiley & Sons、New York、2004
上述の問題は、ラウドスピーカー−室内−マイクロフォンシステムにおいてエコー補償する方法によって、解決または少なくとも緩和される。ラウドスピーカー信号(x(n))によるエコー信号寄与(d(n))を含む少なくとも1つのマイクロフォン信号(y(n))が、エコー補償される。請求項1に従って提供される方法は、該少なくとも1つのマイクロフォン信号(y(n))の少なくとも一部を、第1のダウンサンプリングレート(r)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ(n))に変換するステップと、ラウドスピーカー信号(x(n))を、該第1のダウンサンプリングレート未満の第2のダウンサンプリングレートによってダウンサンプリングされたラウドスピーカーサブ帯域信号に変換することによって、第1のラウドスピーカーサブ帯域信号を取得するステップと、該第2のダウンサンプリングレートによってダウンサンプリングされた該ラウドスピーカーサブ帯域信号を格納するステップと、所定数のサブ帯域における該ラウドスピーカー−室内−マイクロフォンシステムのインパルス応答に対する推定を用いて、該第1のラウドスピーカーサブ帯域信号を畳み込むステップと、該畳み込まれた第1のラウドスピーカーサブ帯域信号を、第3のダウンサンプリングレートによってダウンサンプリングすることによって、(マイクロフォンが分割される)サブ帯域に対して、該第1のダウンサンプリングレート(r)によって事実上ダウンサンプリングされているエコー信号寄与
Figure 0005221117
を取得するステップと、各サブ帯域に対して、該それぞれのマイクロフォンサブ帯域信号(yμ(n))から、該推定されたエコー信号寄与
Figure 0005221117
を減算することによって、エラーサブ帯域信号(eμ(n))を取得するステップ(各サブ帯域に対して1つずつ)とを包含する。
エコー補償されたマイクロフォンサブ帯域信号を表すサブ帯域信号(eμ(n))は、次いで所定のアップサンプリングレート、特に(第2および第3のダウンサンプリングレートの積である)第1のダウンサンプリングレートと同一の速度によってアップサンプリングされ、合成されることによって、向上したマイクロフォン信号を取得し得る。向上したマイクロフォン信号は、遠隔の通信パーティに送信され得る。しかし、サブ帯域エラー信号(eμ(n))は、アップサンプリングまたは合成される前に、さらなる処理を受け得ることを理解されたい。
該少なくとも1つのマイクロフォン信号(y(n))は、ラウドスピーカー−室内−マイクロフォンシステム(LRM)の一部となっているマイクロフォンによって検知される。ラウドスピーカー信号(基準オーディオ信号とも呼ばれる)(x(n))は、LRMシステムの実際のインパルス応答に従って検知され、故に、該少なくとも1つのマイクロフォン信号(y(n))において存在するエコー寄与(d(n))を高める。該少なくとも1つのマイクロフォン信号(y(n))も、望まれる信号、例えばローカルスピーカーの音声信号を含み、該音声信号は、エコー補償によって高められる。全てのマイクロフォン信号をエコー補償のために処理されるサブ帯域信号に分割するのではなく、マイクロフォン信号の一部のみ、例えば所定の周波数範囲のみを含む部分だけを分割することが好まれ得る。ラウドスピーカー−室内−マイクロフォンシステムのインパルス応答は、用いられたエコー補償フィルタリング手段の適合可能なフィルター係数によって推定され/作られる。
発明方法によれば、第1のラウドスピーカーサブ帯域信号は、(少なくとも1つのマイクロフォン信号(y(n))およびラウドスピーカー信号(x(n))の両方が分割される所定数のサブ帯域のうちの)各サブ帯域に対してマイクロフォンサブ帯域信号(yμ(n)におけるエコー信号寄与
Figure 0005221117
を推定する後続する処理のために(例えば、リングバッファに)格納される。この推定は、第1のラウドスピーカーサブ帯域信号に基づいて行われ、すなわち、該推定は、(第2のダウンサンプリングレートにおいてサンプリングされた)格納されたラウドスピーカーサブ帯域信号を用いて生成されるが、第1のサンプリングレート(マイクロフォンサブ帯域信号のうちの1つ)においてのみ計算される。エコー信号寄与を推定すること、および各サブ帯域のために、それぞれのマイクロフォンサブ帯域信号から、推定されたエコー信号寄与を減算をすることは、第1のダウンサンプリングレートにおいて行われる。この事によれば、より高いダウンサンプリングレート[マイクロフォン信号]に対するダウンサンプリングレート(さらに低いダウンサンプリングレートに対する低エイリアシング項[基準信号])と、低い計算の複雑性との両方の利点が、活用され得る。
エコー信号寄与
Figure 0005221117
を推定する工程は、第1のダウンサンプリングレートにおいて要求されるだけなので、計算の複雑性は、(第2のダウンサンプリングレートにおいて全体的に動作し得るセットアップと比較した)大きな量だけ低減され得る。エコー信号寄与を推定する工程が、全体的に第1のダウンサンプリングレートにおいて行われた場合には、ラウドスピーカーサブ帯域信号における大きなエイリアシング項が原因で、非常に低いキャンセルの品質のみが、達成され得る。
上述の推定工程は、異なるサンプリングレートを、ラウドスピーカーサブ帯域信号(第2のダウンサンプリングレート)および他の信号、すなわち、マイクロフォンサブ帯域信号(yμ(n))、推定されたエコーサブ帯域信号
Figure 0005221117
およびエラーサブ帯域(eμ(n))に対して用い、該推定工程は、低い計算の複雑性におけるサブ帯域ラウドスピーカー信号に対する良好なエイリアシング特性を達成することが可能である。
しかし、第1のダウンサンプリングレート未満の第2のダウンサンプリングレートによってダウンサンプリングされただけの、格納された第1のラウドスピーカーサブ帯域信号以外に、エコー補償の工程は、マイクロフォンサブ帯域信号(yμ(n))のダウンサンプリングレートまでさらにダウンサンプリングされた、推定されたエコー信号寄与を利用する。これらの推定されたエコー信号寄与(または第2のフィルタリングされたラウドスピーカーサブ帯域信号)は、エコー補償工程に含まれる、概してより高い動作のために用いられる。従って、当該分野において比較すると、コンピュータリソースは、より効果的に用いられ、エコー寄与の推定は、より低いメモリ需要を伴って、より速く行われる。
第2のダウンサンプリングレートが、エイリアシングは(ほとんど)何も発生しないということを保証するために選択される一方で、第3のダウンサンプリングレートによって次いで起こるダウンサンプリングは、第2のラウドスピーカーサブ帯域信号が、一部のエイリアシングの構成要素を提示することをもたらし得る。これらの第2のラウドスピーカーサブ帯域信号は、LRMのインパルス応答を推定する工程におけるそのような動作に対して用いられ、これによって、エイリアシングに対してあまり敏感ではない、マイクロフォンサブ帯域信号におけるエコー寄与信号に対して用いられる。
一実施形態によれば、各サブ帯域に対するエコー信号寄与
Figure 0005221117
を推定するステップは、格納された第1のラウドスピーカーサブ帯域信号に基づいて、エコー寄与フィルタリング手段のフィルター係数を適合させるステップを含むが、第1のダウンサンプリングレートによってダウンサンプリングされる。言い換えると、格納された第1のラウドスピーカーサブ帯域信号の一部のみが、第1のダウンサンプリングレートにおいて行われる適合工程のために用いられる。
故に、エコー補償フィルタリング手段のフィルター係数の適合は、エコー補償に対する全体的な信号処理において最も高い動作であるが、(例えば、256サブ帯域の数に対する128の)最も高い道理の適ったダウンサンプリングレートに対して行われ得、これによって、メモリを節約し、先行技術と比較すると、プロセッサ負荷を大いに低減させる。第3のダウンサンプリングレートは、例えば2〜4から、2または3などと選択され得る。
エコー補償フィルタリング手段のフィルター係数は、例えば、
Figure 0005221117
によれば、正規化された最小二乗平均アルゴリズムによって、各サブ帯域に対して効果的に適合され得る。量c(n)は、適合工程のステップサイズを説明する。
本明細書中に開示の、エコー補償する方法の実施形態によれば、分析フィルターバンクを用いて、少なくとも1つのマイクロフォン信号(y(n))の少なくとも一部は、マイクロフォンサブ帯域信号に変換され、かつ/または、ラウドスピーカー信号(x(n))は、ラウドスピーカーサブ帯域信号に変換され、該分析フィルターバンクは、例えば二乗根のハンウィンドウを含むサブ帯域の数の半分に等しい第1のダウンサンプリングレートを有し、サブ帯域信号(eμ(n))は、所定のアップサンプリングレートによって、好ましくは上述の第1のサンプリングレートによってアップサンプリングされ、二乗根のハンウィンドウフィルターを含む合成フィルターバンクによって合成されることによって、向上したマイクロフォン信号
Figure 0005221117
を取得する。
二乗根のハンウィンドウの使用は、特に効果的で、安定度の点においてロバストであり、ハンウィンドウ関数の二乗根は、容易に実装される。分析および合成フィルターバンクのフィルターの長さは、少なくとも1つのマイクロフォン信号および基準オーディオ信号が分割されるサブ帯域の数に同一かつ等しく選択され得る。M並列フィルターのフィルターバンクは、1つのプロトタイプの低域通過フィルターh(n)および変調された帯域通過フィルター
Figure 0005221117
を含み得る。この場合において、1つのフィルターが設計されるだけでよい。ほとんど平坦な周波数応答を提供する多相技術の形態の離散的フーリエ変換に基づいた非常に効果的な実装が、この変調のアプローチにおいて利用可能であることにも留意されたい。
分析フィルターバンクの純粋なハンウィンドウフィルター(二乗根なし)が、所定の第1の有理数乗され、特に0.75乗され、合成フィルターバンクの純粋なハンウィンドウフィルターが、所定の第2の有理数乗され、特に0.25乗され、その結果として第1の有理数と第2の有理数との合計が、1となるときに、エコー補償に対する良好な結果が達成され得ることが、実験によって示される。分析フィルターバンクは、合成フィルターバンクよりも、最終的に達成される向上したマイクロフォン信号の質に影響を及ぼすので、第1の有理数は、好ましくは第2の有理数よりも大きなものが選択される。
上述のように、エラーサブ帯域信号は、アップサンプリングおよび合成される前に、さらに処理され得る。例えば、エラーサブ帯域信号(eμ(n))は、ノイズ低減フィルタリング手段および/または残留エコー抑制フィルタリング手段によってフィルタリングされることによって、処理された信号の質をさらに向上させる。ノイズ低減フィルタリング手段によって、マイクロフォン信号(y(n))に存在し得、故にマイクロフォンサブ帯域信号およびエラーサブ帯域信号に存在し得るバックグラウンドノイズは、抑制される。エラーサブ帯域信号になお存在し得る一部の残留エコーは、当該分野に公知のように、残留エコー抑制フィルタリング手段によって抑制される。
上の実施例のうちの1つに従った本発明の方法は、1つより多いマイクロフォン信号の場合においても適用され得る。例えば、マイクロフォンアレイが、信号対ノイズ比を向上させるためにビーム形成される多くのマイクロフォン信号(チャネル)を提供する、LRMシステムにおいて存在し得る。例えば、遅延加算型ビームフォーマー(または、当該分野に公知の他の任意のビーム形成手段)が、用いられ得る。
従って、上述の実施例の1変形において、それぞれがラウドスピーカー信号(x(n))が原因でエコー信号寄与を含む、いくつかのマイクロフォン信号(y(n))は、第1のダウンサンプリングレートによってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ,k(n))に変換され、エコー信号寄与
Figure 0005221117
は、(各マイクロフォンチャネルに対する)いくつかのマイクロフォン信号(y(n))のそれぞれのマイクロフォンサブ帯域信号(yμ,k(n))に対して推定される。各サブ帯域に対して、それぞれの推定されたエコー信号寄与
Figure 0005221117
は、いくつかのマイクロフォン信号(y(n))のそれぞれの、それぞれのマイクロフォンサブ帯域信号(yμ,k(n))から減算されることによって、いくつかのマイクロフォン信号(y(n))のそれぞれに対するエラーサブ帯域信号(eμ,k(n))を取得し、いくつかのマイクロフォン信号(y(n))のそれぞれに対するエラーサブ帯域信号(eμ,k(n))のビーム形成が行われることによって、ビーム形成されたエラーサブ帯域信号を取得する。
エコー信号寄与
Figure 0005221117
は、いくつかのマイクロフォン信号(y(n))のそれぞれに対する所定数のサブ帯域におけるラウドスピーカー−室内−マイクロフォンシステムのインパルス応答に対する推定を用いて、第1のラウドスピーカーサブ帯域信号を畳み込むことと、畳み込まれた第1のラウドスピーカーサブ帯域信号を、第3のダウンサンプリングレートによってダウンサンプリングすることとによって推定される。
本発明はまた、コンピュータで実行可能な命令を有する1つ以上のコンピュータ読取り可能な媒体を含み、本明細書中に開示のエコー補償の方法のための上の実施例のうちの1つのステップを行う、コンピュータプログラム製品を提供する。
上述の問題はまた、ラウドスピーカー信号(x(n))が原因のエコー信号寄与(d(n))を含む、少なくとも1つのマイクロフォン信号(y(n))のエコー補償の信号処理手段によって解決され、該手段は、該マイクロフォン信号(y(n))の少なくとも一部を、第1のダウンサンプリングレートによってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ(n))に変換するように構成された、第1の分析フィルターバンクと、該ラウドスピーカー信号(x(n))を第1のダウンサンプリングレート(r)未満の第2のダウンサンプリングレートによってダウンサンプリングされたラウドスピーカーサブ帯域信号に変換することによって第1のラウドスピーカーサブ帯域信号を取得するように構成された、第2の分析フィルターバンクと、該第2のダウンサンプリングレート(r)によってダウンサンプリングされた、該第1のラウドスピーカーサブ帯域信号を格納するように構成された、メモリ、特にリングバッファと、該ラウドスピーカー−室内−マイクロフォンシステムのインパルス応答に対する推定を用いて該第1のラウドスピーカーサブ帯域信号を畳み込み、第3のダウンサンプリングレート(r)によって該畳み込まれた第1のラウドスピーカーサブ帯域信号をダウンサンプリングすることによって、該第1のダウンサンプリングレート(r=r・r)によってダウンサンプリングされたエコー信号寄与
Figure 0005221117
を取得し、かつ、該エコー信号寄与
Figure 0005221117
によって該マイクロフォンサブ帯域信号(yμ(n))をエコー補償することによって、エコー補償されたマイクロフォンサブ帯域信号
Figure 0005221117
を取得するように構成された、エコー補償フィルタリング手段とを含む。
エコー補償フィルタリング手段によるエコー補償は、第2のサンプリングレートにおいてサンプリングされた、格納された第1のラウドスピーカー信号に基づいて行われるが、第1の速度、すなわち、マイクロフォンサブ帯域信号のうちの1つのみによって計算される。より上の速度(r)で行われるのは、メモリの充填であり、より拡張的な処理は、より低い速度で行われる。
信号処理手段は、エコー補償されたマイクロフォンサブ帯域信号(eμ(n))をアップサンプリングおよび合成することによって、高マイクロフォン信号
Figure 0005221117
を取得するように構成された合成フィルターバンクをさらに含む。アップサンプリングは、第1のダウンサンプリングレートと(同一のファクターによる)同一の速度においてアップサンプリングするアップサンプリング手段を含む、合成フィルターバンクによって行われ得る。
一実施例によれば、信号処理手段は、一部のバックグラウンドノイズおよび/またはエコー補償フィルタリング手段によって除去されない残留エコー寄与を抑制するために、エコー補償されたマイクロフォンサブ帯域信号(eμ(n))をフィルタリングするように構成された残留エコー抑制フィルタリング手段および/またはノイズ低減フィルタリング手段をさらに含む。
第1および第2の分析フィルターバンクおよび合成フィルターバンクのそれぞれは、複数の二乗根ハンウィンドウフィルターを含み得る。第1および第2の分析フィルターバンクのウィンドウフィルターに対して、第1の有理数および第2の有理数の合計が1となるような、所定の第1の有理数乗された、特に0.75乗されたハンウィンドウと、所定の第2の有理数乗された、特に0.25乗された合成フィルターバンクのハンウィンドウフィルターが、好ましくは用いられ得る。第2の有理数は、第1の有理数よりも低いものから選択され得る。
上の実施例のうちの1つの信号処理手段は、いくつかのマイクロフォン信号(y(n))のうちの1つ、またはいくつかのマイクロフォン信号(y(n))のうちの少なくとも一部を、第1のダウンサンプリングレート(すなわち、各マイクロフォンチャネルに対して、所定数のマイクロフォンサブ帯域信号(yμ,k(n))が生成される)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ,k(n))に変換するようにそれぞれが構成された、第1の分析フィルターバンクの数を含み得、エコー補償フィルタリング手段は、該いくつかのマイクロフォン信号(y(n))のそれぞれの、該マイクロフォンサブ帯域信号(yμ,k(n))のそれぞれをエコー補償することによって該いくつかのマイクロフォン信号(y(n))のそれぞれに対するエラーサブ帯域信号(eμ,k(n))を取得するように構成され、マイクロフォン信号(y(n))のそれぞれに対する該エラーサブ帯域信号(eμ,k(n))をビーム形成することによって、ビーム形成されたエラーサブ帯域信号を取得するように構成された、ビーム形成手段をさらに含む。
ビーム形成手段は、遅延加算型(delay−and−sum)ビームフォーマーまたは汎用サイドローブキャンセラーであり得る。汎用サイドローブキャンセラーは、2つの信号処理パスから成り、それらは、ブロッキングマトリックスおよび適合ノイズキャンセリング手段を有する第1の(またはより低い)適合パスと、第2の(またはより上の)固定ビームフォーマーを有する不適合パスであり、例えば、Griffiths、L.J.およびJim、C.W.著、「An alternative approach to linealy constrained adaptive beamforming」、第30版、IEEE Transaction on Antennas and Propagation、1982年、p.27を参照されたい。
本発明の信号処理手段の上の実施例は、電気的に仲介される通信および自動化音声認識のためのシステムに、有利に組み込まれ得る。従って、上の実施例のうちの1つに従った信号処理手段をそれぞれが含む、ハンズフリー電話システムおよび音声認識手段が提供される。さらに、そのような音声認識手段を備えている、音声ダイアログシステムまたはボイス制御システムが提供される。
さらに、本発明は、車両通信システムを提供し、該システムは、少なくとも1つのマイクロフォン、特に1つ以上の指向性マイクロフォンを含み得るマイクロフォンアレイと、少なくとも1つのラウドスピーカーと、上述の信号処理手段とを含み、または、上述のハンズフリー電話システムを含む。
本発明の追加の特徴および利点は、図面を参照して記述される。記述において、本発明の好ましい実施形態を例示するために意図された、添付の図面に対する参照がなされる。そのような実施形態は、本発明の完全な範囲を表すものではないことを理解されたい。
本発明は、さらに以下の手段を提供する。
(項目1)
ラウドスピーカー−室内−マイクロフォンシステムにおけるラウドスピーカー信号(x(n))が原因のエコー信号寄与(d(n))を含む少なくとも1つのマイクロフォン信号(y(n))を、エコー補償する方法であって、該方法は、
該少なくとも1つのマイクロフォン信号(y(n))の少なくとも一部を、第1のダウンサンプリングレート(r)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ(n))に変換するステップと、
ラウドスピーカー信号(x(n))を、該第1のダウンサンプリングレート(r)未満の第2のダウンサンプリングレート(r)によってダウンサンプリングされたラウドスピーカーサブ帯域信号に変換することによって、第1のラウドスピーカーサブ帯域信号を取得するステップと、
該第2のダウンサンプリングレート(r)によってダウンサンプリングされた該ラウドスピーカーサブ帯域信号を格納するステップと、
所定数のサブ帯域における該ラウドスピーカー−室内−マイクロフォンシステムのインパルス応答に対する推定を用いて、該第1のラウドスピーカーサブ帯域信号を畳み込むステップと、
該畳み込まれた第1のラウドスピーカーサブ帯域信号を、第3のダウンサンプリングレート(r)によってダウンサンプリングすることによって、所定数のサブ帯域のそれぞれのために、該第1のダウンサンプリングレート(r)によって事実上ダウンサンプリングされているエコー信号寄与
Figure 0005221117
を取得するステップと、
各サブ帯域に対して、該それぞれのマイクロフォンサブ帯域信号(yμ(n))から、該推定されたエコー信号寄与
Figure 0005221117
を減算することによって、エラーサブ帯域信号(eμ(n))を取得するステップと
を包含する、方法。
(項目2)
上記エコー信号寄与
Figure 0005221117
を取得する上記ステップは、上記第1のダウンサンプリングレート(r)と等しい速度における上記格納された第1のラウドスピーカーサブ帯域信号に基づいて、エコー補償フィルタリング手段のフィルター係数を適合させるステップを含む、項目1に記載の方法。
(項目3)
上記エコー補償フィルタリング手段の上記フィルター係数は、正規化された最小二乗平均アルゴリズムによって適合される、項目2に記載の方法。
(項目4)
上記第3のダウンサンプリングレート(r)は、2から4までの区間から選択される、項目2または3に記載の方法。
(項目5)
二乗根のハンウィンドウフィルターを含む分析フィルターバンクを用いて、上記少なくとも1つのマイクロフォン信号(y(n))のうちの少なくとも一部分は、マイクロフォンサブ帯域信号(yμ(n))に変換され、かつ/または上記ラウドスピーカー信号(x(n))は、ラウドスピーカーサブ帯域信号に変換され、
該サブ帯域信号(eμ(n))は、所定のアップサンプリングレートによってアップサンプリングされ、二乗根ハンウィンドウを含む合成フィルターバンクによって合成されることによって、上記向上したマイクロフォン信号
Figure 0005221117
を取得する、項目1〜4のうちの1項に記載の方法。
(項目6)
ハンウィンドウフィルターを含む分析フィルターバンクを用いて、上記少なくとも1つのマイクロフォン信号(y(n))の上記少なくとも一部は、マイクロフォンサブ帯域信号(yμ(n))に変換され、かつ/または上記ラウドスピーカー信号(x(n))は、ラウドスピーカーサブ帯域信号に変換され、
該サブ帯域信号(eμ(n))は、所定のアップサンプリングレートによってアップサンプリングされ、ハンウィンドウフィルターを含む合成フィルターバンクによって合成されることによって、上記向上したマイクロフォン信号
Figure 0005221117
を取得し、
該分析フィルターバンクの該ハンウィンドウフィルターは、所定の第1の有理数乗され、特に0.75乗され、該合成フィルターバンクの該ハンウィンドウフィルターは、第2の有理数乗され、特に0.25乗され、その結果として、該第1の有理数と該第2の有理数との合計は、1となる、項目1〜4のうちの1項に記載の方法。
(項目7)
ノイズ低減フィルタリング手段および/または残留エコー抑制フィルタリング手段によって上記エラーサブ帯域信号(eμ(n))をフィルタリングすることをさらに含む、項目1〜6のうちの1項に記載の方法。
(項目8)
上記ラウドスピーカー信号(x(n))が原因のエコー信号寄与を含むいくつかのマイクロフォン信号(y(n))のそれぞれは、上記第1のダウンサンプリングレート(r)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ,k(n))に変換され、
エコー信号寄与
Figure 0005221117
は、上記第1および第2のラウドスピーカーサブ帯域信号に基づいて、該いくつかのマイクロフォン信号(y(n))のそれぞれの該マイクロフォンサブ帯域信号(yμ,k(n))に対して取得され、
各サブ帯域に対して、該それぞれの推定されたエコー信号寄与
Figure 0005221117
は、該いくつかのマイクロフォン信号(y(n))のそれぞれの、該それぞれのマイクロフォンサブ帯域信号(yμ,k(n))から減算されることによって、該いくつかのマイクロフォン信号(y(n))のそれぞれに対するエラーサブ帯域信号(eμ,k(n))を取得し、
上記方法は、
該いくつかのマイクロフォン信号(y(n))のそれぞれに対する該エラーサブ帯域信号(eμ,k(n))をビーム形成することによってビーム形成されたエラーサブ帯域信号を取得することをさらに含む、項目1〜7のうちの1項に記載の方法。
(項目9)
項目1〜8のうちの1項に従った上記方法の上記ステップを行うための、コンピュータで実行可能な命令を有する1つ以上のコンピュータ読取り可能な媒体を含む、コンピュータプログラム製品。
(項目10)
ラウドスピーカー−室内−マイクロフォンシステムにおけるラウドスピーカー信号(x(n))が原因のエコー信号寄与(d(n))を含む、少なくとも1つのマイクロフォン信号(y(n))のエコー補償のための信号処理手段であって、該手段は、
該少なくとも1つのマイクロフォン信号(y(n))の少なくとも一部を、第1のダウンサンプリングレート(r)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ(n))に変換するように構成された、第1の分析フィルターバンク(12、12’)と、
該ラウドスピーカー信号(x(n))を第1のダウンサンプリングレート未満の第2のダウンサンプリングレート(r)によってダウンサンプリングされたラウドスピーカーサブ帯域信号に変換することによって第1のラウドスピーカーサブ帯域信号を取得するように構成された、第2の分析フィルターバンク(15、15’)と、
該第2のダウンサンプリングレート(r)によってダウンサンプリングされた、該第1のラウドスピーカーサブ帯域信号を格納するように構成された、メモリ、特にリングバッファと、
該ラウドスピーカー−室内−マイクロフォンシステムのインパルス応答に対する推定を用いて該第1のラウドスピーカーサブ帯域信号を畳み込み、第3のダウンサンプリングレート(r)によって該畳み込まれた第1のラウドスピーカーサブ帯域信号をダウンサンプリングすることによって、該第1のダウンサンプリングレート(r)によってダウンサンプリングされたエコー信号寄与
Figure 0005221117
を取得し、かつ、該エコー信号寄与
Figure 0005221117
によって該マイクロフォンサブ帯域信号(yμ(n))をエコー補償することによって、エコー補償されたマイクロフォンサブ帯域信号(eμ(n))を取得するように構成された、エコー補償フィルタリング手段(17、17’)と
を含む、信号処理手段。
(項目11)
上記エコー補償されたマイクロフォンサブ帯域信号(eμ(n))をアップサンプリングおよび合成することによって、高マイクロフォン信号
Figure 0005221117
を取得するように構成された合成フィルターバンク(19)をさらに含む、項目10に記載の信号処理手段。
(項目12)
エコー補償されたマイクロフォンサブ帯域信号(eμ(n))をフィルタリングするように構成された残留エコー抑制フィルタリング手段(23)および/またはノイズ低減フィルタリング手段(23)をさらに含む、項目10または11に記載の信号処理手段。
(項目13)
上記第1および第2の分析フィルターバンク(12、12’、15、15’)および上記合成フィルターバンク(19)のそれぞれは、複数の二乗根ハンウィンドウフィルターを含む、項目10〜12のうちの1項に記載の信号処理手段。
(項目14)
上記第1および第2の分析フィルターバンク(12、12’、15、15’)および上記合成フィルターバンク(19)のそれぞれは、複数のハンウィンドウフィルターを含み、
該第1および第2の分析フィルターバンク(12、12’、15、15’)の該ハンウィンドウフィルターは、所定の第1の有理数乗され、特に0.75乗され、該合成フィルターバンク(19)の該ハンウィンドウフィルターは、所定の第2の有理数乗され、特に0.25乗され、その結果として、該第1の有理数と該第2の有理数との合計は、1である、項目10〜12のうちの1項に記載の信号処理手段。
(項目15)
いくつかのマイクロフォン信号(y(n))のうちの1つの少なくとも一部を、第1のダウンサンプリングレート(r)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ,k(n))に変換するようにそれぞれが構成された、いくつかの第1の分析フィルターバンク(15’)を備え、
上記エコー補償フィルタリング手段(17、17’)は、該いくつかのマイクロフォン信号(y(n))のそれぞれの、該マイクロフォンサブ帯域信号(yμ,k(n))のそれぞれをエコー補償することによって該いくつかのマイクロフォン信号(y(n))のそれぞれに対するエラーサブ帯域信号(eμ,k(n))を取得するように構成され、
マイクロフォン信号(y(n))のそれぞれに対する該エラーサブ帯域信号(eμ,k(n))をビーム形成することによって、ビーム形成されたエラーサブ帯域信号を取得するように構成された、ビーム形成手段(22)を
さらに含む、項目10〜14のうちの1項に記載の信号処理手段。
(項目16)
上記ビーム形成手段(22)は、遅延加算方ビームフォーマーまたは汎用サイドローブキャンセラーである、項目15に記載の信号処理手段。
(項目17)
項目10または16のうちの1つに記載の、上記信号処理手段を含む、ハンズフリー電話システム。
(項目18)
項目10または16のうちの1つに記載の、上記信号処理手段を含む、音声認識手段。
(項目19)
項目18に記載の上記音声認識手段を含む、音声ダイアログシステムまたはボイス制御システム。
(項目20)
少なくとも1つのマイクロフォン、特にマイクロフォンアレイと、少なくとも1つのラウドスピーカーと、項目10〜16のうちの1項に記載の信号処理手段とを含むか、または項目17に記載のハンズフリー電話システムを含む、車両通信システム。
(摘要)
本発明は、ラウドスピーカー−室内−マイクロフォンシステムにおけるラウドスピーカー信号が原因のエコー信号寄与を含む、少なくとも1つのマイクロフォン信号をエコー補償する方法に関し、該方法は、少なくとも1つのマイクロフォン信号の少なくとも一部を、第1のダウンサンプリングレートによってダウンサンプリングされたマイクロフォンサブ帯域信号に変換するステップと、ラウドスピーカー信号を、第1のダウンサンプリングレート未満の第2のダウンサンプリングレートによってダウンサンプリングされたラウドスピーカーサブ帯域信号に変換することによって、第1のラウドスピーカーサブ帯域信号を取得するステップと、第2のダウンサンプリングレートによってダウンサンプリングされた該ラウドスピーカーサブ帯域信号を格納するステップと、所定数のサブ帯域における該ラウドスピーカー−室内−マイクロフォンシステムのインパルス応答に対する推定を用いて、第1のラウドスピーカーサブ帯域信号を畳み込むステップと、畳み込まれた第1のラウドスピーカーサブ帯域信号を、第3のダウンサンプリングレートによってダウンサンプリングすることによって、所定数のサブ帯域のそれぞれに対して、第1のダウンサンプリングレートによって事実上ダウンサンプリングされているエコー信号寄与を取得するステップと、各サブ帯域のために、該それぞれのマイクロフォンサブ帯域信号から、該推定されたエコー信号寄与を減算することによって、エラーサブ帯域信号を取得するステップとを包含する。
本明細書中に開示の、マイクロフォン信号のエコー補償に対する方法の基本的なステップは、図1において示される。ステップ1において、マイクロフォン信号は、サブ帯域信号に分割され、一部のダウンサンプリングファクターr=r・rによってダウンサンプリングされる。基準オーディオ信号の2段階のダウンサンプリング工程の第1段階において、基準オーディオ信号は、ステップ2においてダウンサンプリングファクターrによってダウンサンプリングされる。基準オーディオ信号は、遠隔の通信パーティから受信したオーディオ信号を表し、近端のラウドスピーカーに入力される。ラウドスピーカーによって出力された対応信号は、近端のラウドスピーカー−室内−マイクロフォン(LRM)システムのインパルス応答が原因で修正され、LRMのマイクロフォンによって検知される。
基準オーディオ信号の、このようにダウンサンプリングされたサブ帯域信号は、ステップ3においてリングバッファに格納される。最初のダウンサンプリングは、エイリアシングが十分に抑制されることを保証する、ダウンサンプリングレートrを用いて行われる。次に、ダウンサンプリングファクターrによる第2のダウンサンプリングが、ステップ4において行われることによって、ダウンサンプリングされたマイクロフォンのサブ帯域信号のうちの1つに対応するダウンサンプリングレートr=r・rに達する。エコー補償に対するフィルタリング手段のフィルター係数の適合、および、それによるマイクロフォンのサブ帯域に存在するエコーの推定は、この比較的に高いダウンサンプリングレートr=r・rで、ステップ5において行われる。
このダウンサンプリングレートr=r・rにおいて、推定されるエコーは、向上したマイクロフォンのサブ信号を取得するために、マイクロフォンのサブ信号から引かれる。これらの向上したマイクロフォンのサブ信号は、次いで、遠隔の通信パーティに送信され得る向上したオーディオ信号を取得するために合成される。
本発明方法の上述した実施例の、採用されたエコー補償フィルタリング手段のフィルター係数を適合する高価処理ステップにおいて、しかるべくダウンサンプリングされた基準サブ帯域信号を用いてフィルター係数を畳み込むことは、ダウンサンプリングレートr=r・rによってダウンサンプリングされた信号に対して行われ得、該ダウンサンプリングレートr=r・rは、基準信号のサブ帯域信号生成の工程のために先行技術で用いられるダウンサンプリングレートよりも速い。実に、例えば、M=256のサブ帯域の総数と組み合わされたr=r・r=128のダウンサンプリングレートは、依然として満足のいくエコー補償のために用いられ得る。
図2は、マイクロフォン信号y(n)(nは、離散時間指数を表す)の質を向上させるために用いられる、本明細書中に開示の信号処理手段の実施例を示す。マイクロフォン信号y(n)は、LRMシステム10の一部となっているマイクロフォンによって取得される。マイクロフォンは、ローカルのスピーカーの音声信号s(n)およびエコーへの寄与d(n)を検知するが、該エコーへの寄与は、ラウドスピーカー、または実際のLRMインパルス応答h(n)に従った修正の後のマイクロフォンによって検知された基準オーディオ信号x(n)が原因する。
マイクロフォン信号y(n)は、
Figure 0005221117
のフィルター係数を有するフィルタリング手段によって、サブ帯域であるμ=0、..、M−1に全帯域信号を分割する分析フィルターバンク12に入力され、ここでは、上付きインデックスTは転置動作を示し、Nanaはフィルターの長さを表す。サブ帯域信号は、整数rおよびrを有するr=r・rのダウンサンプリングファクターを用いてダウンサンプリング手段によってダウンサンプリングされる。結果として生じるダウンサンプリングされたマイクロフォンののサブ帯域信号yμ(n)は、エコー補償のためにさらに処理される。
ダウンサンプリングされたマイクロフォンののサブ帯域信号yμ(n)のエコー補償のために、基準オーディオ信号x(n)も、分析フィルターバンク15に入力される。本実施例によれば、基準オーディオ信号x(n)は、マイクロフォン信号y(n)に対して用いられたのと同じ、フィルター係数gμ、anaを有するフィルタリング手段(13)によってフィルタリングされて、サブ帯域信号を取得し、該基準オーディオ信号は、M=256のサブ帯域の数に対する、rのダウンサンプリングファクター、例えばr=64を有するダウンサンプリング手段16によってダウンサンプリングされる(マイクロフォン信号のサンプリングレートは、例えば11025Hzであり得る)。
原理として、エコー補償のために用いられるエコー補償フィルタリング手段17のフィルター係数の適合は、rのダウンサンプリングファクターによる最初のダウンサンプリングの後に行われ得る。しかし、本発明のこの実施例によれば、rによってダウンサンプリングされたサブ帯域信号は、リングバッファ(不図示)に格納され、次いで、フィルター係数および実際のエコー補償の適合が、rのダウンサンプリングファクターによる第2のダウンサンプリングの後に行われ、例えば、M=256のサブ帯域の数に対するr=64の選択に対してr=2である。特に、全体的なエコー補償に対する最も高価な操作は、フィルター係数の適合として、r=r・rによってダウンサンプリングされた信号に対して行われ、プロセッサ負荷の非常に効果的な低減および全体的な信号処理の加速をもたらす。
周波数(Ω)分域において、分析フィルターバンク15は、サブ帯域信号(短時間スペクトル)を出力する。
Figure 0005221117
これらの短時間スペクトルは、エコー補償フィルタリング手段17において畳み込まれることによって、エコー補償スペクトル
Figure 0005221117
を、エコー補償フィルタリング手段17の(周波数分域における)フィルター係数
Figure 0005221117
を用いて取得する。係数
Figure 0005221117
は、LRM
Figure 0005221117
の、対応するインパルス応答に対する一時的に適合された推定値を表す(時間分域におけるh(n)の係数に従う)。
μ=0に対して、分析フィルターバンクのエイリアシング項は、
Figure 0005221117
の選択のために消去され得る。ここでは、全てのサブ帯域Mは、同一のサブ帯域幅を有する。μ=1、..、M=1を有する他のフィルターGμ、ana(ejΩ)は、単純な周波数偏移動作によって、サブ帯域μ=0に対する上述のフィルターから導き出され得る。故に、1つのフィルターが設計されるだけでよい。
LRMのマイクロフォンによって検知され、故にマクロフォン信号y(n)に存在する、エコー寄与d(n)に対してこのようにして得られたサブ帯域推定
Figure 0005221117
は、ダウンサンプリングされたマイクロフォンのサブ帯域信号yμ(n)から減算されることによって、サブ帯域のエラー信号eμ(n)を取得する。サブ帯域推定
Figure 0005221117
に対する推定は、(第2のサンプリングレートにおいてサンプリングされた)格納されたラウドスピーカー信号を用いて生成されるが、それらは、(マイクロフォンサブ帯域信号のうちの1つの)第1の速度においてのみ、計算されることが、強調されなくてはならない。マイクロフォン信号y(n)にも常に存在するバックグラウンドノイズの減少および残存するエコーの減少のために、サブ帯域エラー信号eμ(n)をフィルタリングすることが好ましくあり得る。
図2において示されるように、サブ帯域エラー信号eμ(n)は、r=r・rのアップサンプリングファクターを有するアップサンプリング手段20を含む合成フィルターバンク19と、高域通過、帯域通過および低域通過を含むフィルタリング手段21とに入力されることによって、当該技術に公知のように、イメージング項を除去する。結果として生じる合成された音声信号
Figure 0005221117
は、明確に低減された音響エコーによって特徴付けられる。
図3は、指向性マイクロフォンおよびビーム形成手段22を備えているマイクロフォンアレイを含んだ通信システムにおける、本発明のエコー補償の取り込みを例示する。複数のマイクロフォン信号Y(n)は、マイクロフォンアレイから取得される。マイクロフォンアレイの各マイクロフォンチャネルkは、図2を参照して上述されたものとして動作する、それぞれの分析フィルターバンク12’と接続される。
従って、エコー補償フィルタリング手段17’は、各マイクロフォンチャネルに対するフィルター
Figure 0005221117
を含み、各チャネルのエコー寄与に対してダウンサンプリングされた推定
Figure 0005221117
は、マイクロフォンサブ帯域信号yμ,k(n)から減算される。これによって、ビーム形成手段22に入力されたエラー信号eμ,k(n)が、取得される。推定
Figure 0005221117
は、分析フィルターバンク15’による基準オーディオ信号x(n)から取得されたサブ帯域を用いて、フィルター
Figure 0005221117
を畳み込むことによって取得される。エコー補償フィルタリング手段17’のフィルター係数、およびサブ帯域基準信号を用いてこれらの係数を畳み込むことは、マイクロフォン信号y(n)を受信する分析フィルターバンク12’のダウンサンプリングレートに似たダウンサンプリングレートにおいて再び行われる(上の記述も参照されたい)。
本実施例のマルチチャネルシステムは、適応または不適応ビーム形成を利用し得、例えば、「Optimum Array Processing、Part IV of Detection、 Estimation、 and Modulation Theory」(H.L.van Trees、Wiley & Sons、New York、2002)を参照されたい。ビーム形成手段22は、マイクロフォンチャネルに対するエラー信号eμ,k(n)を組み合わせ、ビーム形成されたサブ帯域信号を取得するが、該サブ帯域信号は、残存するエコーを抑制し、当該技術に公知のノイズ低減によって、ビーム形成されたサブ帯域信号の質を向上させる、フィルタリング手段23に入力される。
フィルタリング手段23は、例えば
Figure 0005221117
によって与えられた周波数領域におけるフィルター特性に従ったバックグラウンドノイズの低減を行うウィーナーフィルターを備え得、ここで、
Figure 0005221117
および
Figure 0005221117
は、それぞれ、バックグラウンドノイズの推定された短時間パワー密度および(フル帯域の)エラー信号の短時間パワー密度を意味する。
向上したサブ帯域信号
Figure 0005221117
は、図2を参照して記述されたものに似た合成フィルターバンクに入力される。アップサンプリング手段20によって行われる、r=r・rのアップサンプリングファクターによるアップサンプリング、およびイメージング項を除去するための高域通過、帯域通過および低域通過を含むフィルタリング手段21によるフィルタリングの後に、結果的に合成された音声信号
Figure 0005221117
が、取得される。
上述の特徴の一部または全ても、異なる方法で組み合され得ることを理解されたい。
図1は、基準オーディオ信号の2段階のダウンサンプリングを含む、マイクロフォン信号をエコー補償する発明方法の実施例の、本質的なステップを例示する流れ図である。 図2は、本発明に従った、信号処理手段の実施例を例示し、ここでは、基準オーディオ信号が、エコー補償フィルタリング手段によってダウンサンプリングおよびフィルタリングされる。 図3は、マイクロフォンアレイとビーム形成手段とを含む、本発明に従った信号処理手段のさらなる実施例を例示する。
符号の説明
10 LRMシステム
12 第1の分析フィルターバンク
15 第2の分析フィルターバンク
17 エコー補償フィルタリング手段
20 アップサンプリング手段
21 フィルタリング手段

Claims (20)

  1. ラウドスピーカー−室内−マイクロフォンシステムにおけるラウドスピーカー信号(x(n))が原因のエコー信号寄与(d(n))を含む少なくとも1つのマイクロフォン信号(y(n))を、エコー補償する方法であって、該方法は、
    該少なくとも1つのマイクロフォン信号(y(n))の少なくとも一部を、第1のダウンサンプリングレート(r)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ(n))に変換するステップと、
    ラウドスピーカー信号(x(n))を、該第1のダウンサンプリングレート(r)未満の第2のダウンサンプリングレート(r)によってダウンサンプリングされたラウドスピーカーサブ帯域信号に変換することによって、第1のラウドスピーカーサブ帯域信号を取得するステップと、
    該第2のダウンサンプリングレート(r)によってダウンサンプリングされた該ラウドスピーカーサブ帯域信号を格納するステップと、
    所定数のサブ帯域における該ラウドスピーカー−室内−マイクロフォンシステムのインパルス応答に対する推定を用いて、該第1のラウドスピーカーサブ帯域信号を畳み込むステップと、
    該畳み込まれた第1のラウドスピーカーサブ帯域信号を、第3のダウンサンプリングレート(r)によってダウンサンプリングすることによって、所定数のサブ帯域のそれぞれに対して、該第1のダウンサンプリングレート(r)によってダウンサンプリングされているエコー信号寄与
    Figure 0005221117
    を取得するステップと、
    各サブ帯域に対して、該それぞれのマイクロフォンサブ帯域信号(yμ(n))から、該推定されたエコー信号寄与
    Figure 0005221117
    を減算することによって、エラーサブ帯域信号(eμ(n))を取得するステップと
    を包含する、方法。
  2. 前記エコー信号寄与
    Figure 0005221117
    を取得する前記ステップは、前記第1のダウンサンプリングレート(r)と等しい速度における前記格納された第1のラウドスピーカーサブ帯域信号に基づいて、エコー補償フィルタリング手段のフィルター係数を適合させるステップを含む、請求項1に記載の方法。
  3. 前記エコー補償フィルタリング手段の前記フィルター係数は、正規化された最小二乗平均アルゴリズムによって適合される、請求項2に記載の方法。
  4. 前記第3のダウンサンプリングレート(r)は、2から4までの区間から選択される、請求項2または3に記載の方法。
  5. 二乗根のハンウィンドウフィルターを含む分析フィルターバンクを用いて、前記少なくとも1つのマイクロフォン信号(y(n))のうちの少なくとも一部分は、マイクロフォンサブ帯域信号(yμ(n))に変換され、かつ/または前記ラウドスピーカー信号(x(n))は、ラウドスピーカーサブ帯域信号に変換され、
    該サブ帯域信号(eμ(n))は、所定のアップサンプリングレートによってアップサンプリングされ、二乗根ハンウィンドウを含む合成フィルターバンクによって合成されることによって、前記向上したマイクロフォン信号
    Figure 0005221117
    を取得する、請求項1〜4のうちの1項に記載の方法。
  6. ハンウィンドウフィルターを含む分析フィルターバンクを用いて、前記少なくとも1つのマイクロフォン信号(y(n))の前記少なくとも一部は、マイクロフォンサブ帯域信号(yμ(n))に変換され、かつ/または前記ラウドスピーカー信号(x(n))は、ラウドスピーカーサブ帯域信号に変換され、
    該サブ帯域信号(eμ(n))は、所定のアップサンプリングレートによってアップサンプリングされ、ハンウィンドウフィルターを含む合成フィルターバンクによって合成されることによって、前記向上したマイクロフォン信号
    Figure 0005221117
    を取得し、
    該分析フィルターバンクの該ハンウィンドウフィルターは、所定の第1の有理数乗され、特に0.75乗され、該合成フィルターバンクの該ハンウィンドウフィルターは、第2の有理数乗され、特に0.25乗され、その結果として、該第1の有理数と該第2の有理数との合計は、1となる、請求項1〜4のうちの1項に記載の方法。
  7. ノイズ低減フィルタリング手段および/または残留エコー抑制フィルタリング手段によって前記エラーサブ帯域信号(eμ(n))をフィルタリングすることをさらに含む、請求項1〜6のうちの1項に記載の方法。
  8. 前記ラウドスピーカー信号(x(n))が原因のエコー信号寄与を含むいくつかのマイクロフォン信号(y(n))のそれぞれは、前記第1のダウンサンプリングレート(r)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ,k(n))に変換され、
    エコー信号寄与
    Figure 0005221117
    は、前記第1および第2のラウドスピーカーサブ帯域信号に基づいて、該いくつかのマイクロフォン信号(y(n))のそれぞれの該マイクロフォンサブ帯域信号(yμ,k(n))に対して取得され、
    各サブ帯域に対して、該それぞれの推定されたエコー信号寄与
    Figure 0005221117
    は、該いくつかのマイクロフォン信号(y(n))のそれぞれの、該それぞれのマイクロフォンサブ帯域信号(yμ,k(n))から減算されることによって、該いくつかのマイクロフォン信号(y(n))のそれぞれに対するエラーサブ帯域信号(eμ,k(n))を取得し、
    前記方法は、
    該いくつかのマイクロフォン信号(y(n))のそれぞれに対する該エラーサブ帯域信号(eμ,k(n))をビーム形成することによってビーム形成されたエラーサブ帯域信号を取得することをさらに含む、請求項1〜7のうちの1項に記載の方法。
  9. 請求項1〜8のうちの1項に従った前記方法の前記ステップを行うための、コンピュータで実行可能な命令を有する1つ以上のコンピュータ読取り可能な媒体を含む、コンピュータプログラム製品。
  10. ラウドスピーカー−室内−マイクロフォンシステムにおけるラウドスピーカー信号(x(n))が原因のエコー信号寄与(d(n))を含む、少なくとも1つのマイクロフォン信号(y(n))のエコー補償のための信号処理手段であって、該手段は、
    該少なくとも1つのマイクロフォン信号(y(n))の少なくとも一部を、第1のダウンサンプリングレート(r)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ(n))に変換するように構成された、第1の分析フィルターバンク(12、12’)と、
    該ラウドスピーカー信号(x(n))を第1のダウンサンプリングレート未満の第2のダウンサンプリングレート(r)によってダウンサンプリングされたラウドスピーカーサブ帯域信号に変換することによって第1のラウドスピーカーサブ帯域信号を取得するように構成された、第2の分析フィルターバンク(15、15’)と、
    該第2のダウンサンプリングレート(r)によってダウンサンプリングされた、該第1のラウドスピーカーサブ帯域信号を格納するように構成された、メモリ、特にリングバッファと、
    該ラウドスピーカー−室内−マイクロフォンシステムのインパルス応答に対する推定を用いて該第1のラウドスピーカーサブ帯域信号を畳み込み、第3のダウンサンプリングレート(r)によって該畳み込まれた第1のラウドスピーカーサブ帯域信号をダウンサンプリングすることによって、該第1のダウンサンプリングレート(r)によってダウンサンプリングされたエコー信号寄与
    Figure 0005221117
    を取得し、かつ、該エコー信号寄与
    Figure 0005221117
    によって該マイクロフォンサブ帯域信号(yμ(n))をエコー補償することによって、エコー補償されたマイクロフォンサブ帯域信号(eμ(n))を取得するように構成された、エコー補償フィルタリング手段(17、17’)と
    を含む、信号処理手段。
  11. 前記エコー補償されたマイクロフォンサブ帯域信号(eμ(n))をアップサンプリングおよび合成することによって、高マイクロフォン信号
    Figure 0005221117
    を取得するように構成された合成フィルターバンク(19)をさらに含む、請求項10に記載の信号処理手段。
  12. エコー補償されたマイクロフォンサブ帯域信号(eμ(n))をフィルタリングするように構成された残留エコー抑制フィルタリング手段(23)および/またはノイズ低減フィルタリング手段(23)をさらに含む、請求項10または11に記載の信号処理手段。
  13. 前記第1および第2の分析フィルターバンク(12、12’、15、15’)および前記合成フィルターバンク(19)のそれぞれは、複数の二乗根ハンウィンドウフィルターを含む、請求項10〜12のうちの1項に記載の信号処理手段。
  14. 前記第1および第2の分析フィルターバンク(12、12’、15、15’)および前記合成フィルターバンク(19)のそれぞれは、複数のハンウィンドウフィルターを含み、
    該第1および第2の分析フィルターバンク(12、12’、15、15’)の該ハンウィンドウフィルターは、所定の第1の有理数乗され、特に0.75乗され、該合成フィルターバンク(19)の該ハンウィンドウフィルターは、所定の第2の有理数乗され、特に0.25乗され、その結果として、該第1の有理数と該第2の有理数との合計は、1である、請求項10〜12のうちの1項に記載の信号処理手段。
  15. いくつかのマイクロフォン信号(y(n))のうちの1つの少なくとも一部を、第1のダウンサンプリングレート(r)によってダウンサンプリングされたマイクロフォンサブ帯域信号(yμ,k(n))に変換するようにそれぞれが構成された、いくつかの第1の分析フィルターバンク(15’)を備え、
    前記エコー補償フィルタリング手段(17、17’)は、該いくつかのマイクロフォン信号(y(n))のそれぞれの、該マイクロフォンサブ帯域信号(yμ,k(n))のそれぞれをエコー補償することによって該いくつかのマイクロフォン信号(y(n))のそれぞれに対するエラーサブ帯域信号(eμ,k(n))を取得するように構成され、
    マイクロフォン信号(y(n))のそれぞれに対する該エラーサブ帯域信号(eμ,k(n))をビーム形成することによって、ビーム形成されたエラーサブ帯域信号を取得するように構成された、ビーム形成手段(22)を
    さらに含む、請求項10〜14のうちの1項に記載の信号処理手段。
  16. 前記ビーム形成手段(22)は、遅延加算方ビームフォーマーまたは汎用サイドローブキャンセラーである、請求項15に記載の信号処理手段。
  17. 請求項10または16のうちの1つに記載の、前記信号処理手段を含む、ハンズフリー電話システム。
  18. 請求項10または16のうちの1つに記載の、前記信号処理手段を含む、音声認識手段。
  19. 請求項18に記載の前記音声認識手段を含む、音声ダイアログシステムまたはボイス制御システム。
  20. 少なくとも1つのマイクロフォン、特にマイクロフォンアレイと、少なくとも1つのラウドスピーカーと、請求項10〜16のうちの1項に記載の信号処理手段とを含むか、または請求項17に記載のハンズフリー電話システムを含む、車両通信システム。
JP2007317760A 2006-12-18 2007-12-07 低複雑性のエコー補償 Active JP5221117B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06026232A EP1936939B1 (en) 2006-12-18 2006-12-18 Low complexity echo compensation
EP06026232.6 2006-12-18

Publications (2)

Publication Number Publication Date
JP2008178087A JP2008178087A (ja) 2008-07-31
JP5221117B2 true JP5221117B2 (ja) 2013-06-26

Family

ID=37836719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007317760A Active JP5221117B2 (ja) 2006-12-18 2007-12-07 低複雑性のエコー補償

Country Status (7)

Country Link
US (1) US8194852B2 (ja)
EP (1) EP1936939B1 (ja)
JP (1) JP5221117B2 (ja)
KR (1) KR101414688B1 (ja)
CN (1) CN101207939B (ja)
AT (1) ATE522078T1 (ja)
CA (1) CA2610940A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100003530A (ko) * 2008-07-01 2010-01-11 삼성전자주식회사 전자기기에서 음성 신호의 잡음 제거 장치 및 방법
FR2945689B1 (fr) * 2009-05-15 2011-07-29 St Nxp Wireless France Terminal de communication audio bidirectionnelle simultanee.
EP2562751B1 (en) 2011-08-22 2014-06-11 Svox AG Temporal interpolation of adjacent spectra
WO2014103099A1 (ja) * 2012-12-28 2014-07-03 パナソニック株式会社 音声認識付き機器及び音声認識方法
CN103886860B (zh) * 2014-02-21 2017-05-24 联想(北京)有限公司 一种信息处理方法和电子设备
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
DE102015222105A1 (de) 2015-11-10 2017-05-11 Volkswagen Aktiengesellschaft Audiosignalverarbeitung in einem Fahrzeug
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10154343B1 (en) * 2017-09-14 2018-12-11 Guoguang Electric Company Limited Audio signal echo reduction
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
WO2020191380A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings,Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
TW202101422A (zh) 2019-05-23 2021-01-01 美商舒爾獲得控股公司 可操縱揚聲器陣列、系統及其方法
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
CN110234043B (zh) * 2019-05-31 2020-08-25 歌尔科技有限公司 基于麦克风阵列的声音信号处理方法、装置及设备
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
CN111429930B (zh) * 2020-03-16 2023-02-28 云知声智能科技股份有限公司 一种基于自适应采样率的降噪模型处理方法及系统
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2036078C (en) 1990-02-21 1994-07-26 Fumio Amano Sub-band acoustic echo canceller
US5263019A (en) 1991-01-04 1993-11-16 Picturetel Corporation Method and apparatus for estimating the level of acoustic feedback between a loudspeaker and microphone
US5566167A (en) * 1995-01-04 1996-10-15 Lucent Technologies Inc. Subband echo canceler
CA2164025A1 (en) * 1995-01-04 1996-07-05 David Goodwin Shaw Sub-band signal processor
DE19814971A1 (de) * 1998-04-03 1999-10-07 Daimlerchrysler Aerospace Ag Verfahren zur Störbefreiung eines Mikrophonsignals
US6421377B1 (en) * 1998-05-13 2002-07-16 Globespanvirata, Inc. System and method for echo cancellation over asymmetric spectra
US6442275B1 (en) * 1998-09-17 2002-08-27 Lucent Technologies Inc. Echo canceler including subband echo suppressor
US6049607A (en) * 1998-09-18 2000-04-11 Lamar Signal Processing Interference canceling method and apparatus
JP2000209135A (ja) * 1999-01-20 2000-07-28 Oki Electric Ind Co Ltd エコ―キャンセラ
US6510225B1 (en) * 1999-02-16 2003-01-21 Denso Corporation Ultrasonically-calibrated fast-start echo canceller for cellular and pcs telephone car kits
FR2793629B1 (fr) * 1999-05-12 2001-08-03 Matra Nortel Communications Procede et dispositif d'annulation d'echo stereophonique a filtrage dans le domaine frequentiel
AU1359601A (en) * 1999-11-03 2001-05-14 Tellabs Operations, Inc. Integrated voice processing system for packet networks
US6853626B1 (en) 2000-03-22 2005-02-08 National University Of Singapore Method and apparatus for echo cancellation in an asymmetric communication system
DE60142583D1 (de) * 2001-01-23 2010-08-26 Koninkl Philips Electronics Nv Asymmetrisches mehrkanalfilter
JP3608525B2 (ja) * 2001-05-09 2005-01-12 ヤマハ株式会社 2チャンネルエコーキャンセル用フィルタのインパルス応答設定方法および2チャンネルエコーキャンセラ並びに双方向2チャンネル音声伝送装置
JP3506138B2 (ja) 2001-07-11 2004-03-15 ヤマハ株式会社 複数チャンネルエコーキャンセル方法、複数チャンネル音声伝送方法、ステレオエコーキャンセラ、ステレオ音声伝送装置および伝達関数演算装置
JP2003274003A (ja) * 2002-03-13 2003-09-26 Toshiba Corp ハンズフリー通話装置及び携帯電話機
US20030185402A1 (en) * 2002-03-27 2003-10-02 Lucent Technologies, Inc. Adaptive distortion manager for use with an acoustic echo canceler and a method of operation thereof
JP4161628B2 (ja) * 2002-07-19 2008-10-08 日本電気株式会社 エコー抑圧方法及び装置
DE50205504D1 (de) * 2002-09-12 2006-03-30 Siemens Ag Kommunikationsendgerät mit Bandbreitenerweiterung und Echokompensation
US20040059571A1 (en) 2002-09-24 2004-03-25 Marantz Japan, Inc. System for inputting speech, radio receiver and communication system
US6990193B2 (en) * 2002-11-29 2006-01-24 Mitel Knowledge Corporation Method of acoustic echo cancellation in full-duplex hands free audio conferencing with spatial directivity
DE10329055B4 (de) * 2003-06-27 2005-10-13 Infineon Technologies Ag Verfahren und Vorrichtung zur Echokompensation
US20050213747A1 (en) * 2003-10-07 2005-09-29 Vtel Products, Inc. Hybrid monaural and multichannel audio for conferencing
JP2007522705A (ja) * 2004-01-07 2007-08-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声歪み圧縮システム及びそのフィルター装置
US7577248B2 (en) * 2004-06-25 2009-08-18 Texas Instruments Incorporated Method and apparatus for echo cancellation, digit filter adaptation, automatic gain control and echo suppression utilizing block least mean squares
KR100827146B1 (ko) 2004-09-20 2008-05-02 삼성전자주식회사 이동 단말에서 반향 제거 방법 및 장치
JP2006203358A (ja) * 2005-01-18 2006-08-03 Toshiba Corp エコーキャンセル回路および移動無線端末装置
DE602005003643T2 (de) * 2005-04-01 2008-11-13 Mitel Networks Corporation, Ottawa Verfahren zur Beschleunigung des Trainings eines akustischen Echokompensators in einem Vollduplexaudiokonferenzsystem durch akustische Strahlbildung
US7970123B2 (en) * 2005-10-20 2011-06-28 Mitel Networks Corporation Adaptive coupling equalization in beamforming-based communication systems

Also Published As

Publication number Publication date
CN101207939A (zh) 2008-06-25
ATE522078T1 (de) 2011-09-15
US20080144848A1 (en) 2008-06-19
US8194852B2 (en) 2012-06-05
CA2610940A1 (en) 2008-06-18
JP2008178087A (ja) 2008-07-31
EP1936939A1 (en) 2008-06-25
KR20080056645A (ko) 2008-06-23
EP1936939B1 (en) 2011-08-24
CN101207939B (zh) 2013-04-03
KR101414688B1 (ko) 2014-07-03

Similar Documents

Publication Publication Date Title
JP5221117B2 (ja) 低複雑性のエコー補償
US8320575B2 (en) Efficient audio signal processing in the sub-band regime
US6332028B1 (en) Dual-processing interference cancelling system and method
US9992572B2 (en) Dereverberation system for use in a signal processing apparatus
CN102306496B (zh) 一种多麦克风阵列噪声消除方法、装置及系统
EP1855457B1 (en) Multi channel echo compensation using a decorrelation stage
US5553014A (en) Adaptive finite impulse response filtering method and apparatus
US6628781B1 (en) Methods and apparatus for improved sub-band adaptive filtering in echo cancellation systems
CN106210368B (zh) 消除多通道声回波的方法和装置
CN108140396B (zh) 音频信号处理
US8175290B2 (en) Feedback reduction system
JP2001128282A (ja) 雑音の多いマルチパス環境のためのマイクロフォン・アレイ処理システム
JP5908170B2 (ja) エコー消去装置
WO1998047227A1 (en) Dual-processing interference cancelling system and method
JP2003501963A (ja) 対称サブバンド音響エコーキャンセレーション
JP2006203358A (ja) エコーキャンセル回路および移動無線端末装置
KR101077328B1 (ko) Stfd용 헤드셋에서의 음질 개선 시스템
JP5631523B2 (ja) エコー消去装置
Hannon et al. Reducing the Complexity or the Delay of Adaptive Subband Filtering.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101125

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5221117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250