JP6580990B2 - オーディオ干渉推定のための方法及び装置 - Google Patents

オーディオ干渉推定のための方法及び装置 Download PDF

Info

Publication number
JP6580990B2
JP6580990B2 JP2015536255A JP2015536255A JP6580990B2 JP 6580990 B2 JP6580990 B2 JP 6580990B2 JP 2015536255 A JP2015536255 A JP 2015536255A JP 2015536255 A JP2015536255 A JP 2015536255A JP 6580990 B2 JP6580990 B2 JP 6580990B2
Authority
JP
Japan
Prior art keywords
signal
test
test period
interference
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015536255A
Other languages
English (en)
Other versions
JP2015535962A (ja
JP2015535962A5 (ja
Inventor
パトリック ケチチャン
パトリック ケチチャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of JP2015535962A publication Critical patent/JP2015535962A/ja
Publication of JP2015535962A5 publication Critical patent/JP2015535962A5/ja
Application granted granted Critical
Publication of JP6580990B2 publication Critical patent/JP6580990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/002Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/007Electronic adaptation of audio signals to reverberation of the listening space for PA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/009Signal processing in [PA] systems to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Description

本発明は、オーディオ干渉(オーディオ妨害)の推定に係り、専らではないが、特にはマイクロフォン信号に対する干渉推定値を考慮したオーディオ処理の適応化に関する。
オーディオシステムは、通常、斯かるシステムが使用される音響環境及び関連される装置の特性に関する或る一般的仮定の下で開発される。しかしながら、斯かるシステムが使用される実際の環境、及び多くの場合における当該装置の特性は大幅に変化し得る。従って、多くのオーディオシステム及びアプリケーションは、現在の動作特性に適応させるための機能を有している。即ち、多くのオーディオシステムは、例えば斯かるシステムが使用される特定の音響環境に当該システムを校正し及び適応させるための機能を有している。このような適応化は、時間による変化を考慮するために定期的に実行することができる。
確かなことに、多くのアプリケーション、特には音声通信のための音声強調システムに関するアプリケーションにおいて、アルゴリズムに関するパラメータは、特定の装置及び該装置のハードウェアの特性(例えば、マイクロフォン、スピーカ等の特性)に適応される。装置の通常の動作の間に斯様な適応化を実行するための適応型信号処理技術は存在するが、多くの場合、特定のパラメータ(特に、これらの適応型技術が依存するパラメータ)は、製造の間に、通常は関連する信号しか存在しない制御された(例えば、静かな)環境において実行される特別な校正期間において推定されなければならない。
このような校正は、理想に近い条件下で実行することができる。しかしながら、結果的なシステム性能は、このアプリケーションが使用環境において実行される場合に低下し得る。このような環境においては、音声及び雑音等のローカルな干渉(妨害)が、しばしば、存在し得る。
例えば、テレビジョン装置に取り付けることができると共に、更に該テレビジョン装置のスピーカ及びオンボード処理を利用するように構成された1以上のマイクロフォンを含む通信付属品は、製造の間において調整/適応化/校正することはできない。何故なら、関連するハードウェアは、該通信付属品が使用される特定のテレビジョン装置に依存するからである。従って、適応化は、雑音状況の結果としてシステムが不十分にしか適応され得ないユーザの自宅において、当該ユーザにより実行されねばならない。
特定の例として、多くの通信システムは、しばしば、他の装置と一緒に、又は種々の音響環境の範囲内で使用される。1つの斯様な装置の例は、テレビジョン型インターネット電話サービスのための組み込みマイクロフォンを備えるハンズフリー通信付属品である。このような装置はテレビジョン装置上又はテレビジョン装置の近傍に取り付けることができると共に、ビデオカメラ及びデジタル信号処理ユニットも含むことができ、他の装置と接続すると共に双方向又は複数当事者通信を行うためにテレビジョン装置を介してソフトウェアを直接使用することを可能にする。このような付属品を開発する際の難題は、一緒に使用され得る広範囲のテレビジョン装置、及び満足の行く性能を発揮することができなければならない音響環境の多様さである。
テレビジョン装置におけるオーディオ再生系(reproduction chain)及び斯かるテレビジョン装置が使用される環境は、再生される音の音響特性に影響を与える。例えば、幾つかのテレビジョン装置はオーディオ系に広いダイナミック入力範囲にわたり線形動作が可能な一層良好なスピーカ等の一層高い忠実度の部品を使用する一方、他のテレビジョン装置は受信されるオーディオ信号に対してシミュレーションされたサラウンドサウンド及び低音ブースト又はダイナミックレンジ圧縮等の非線形処理を適用する。更に、テレビジョン装置のオーディオ出力は、テレビジョン装置のスピーカを消音してホームオーディオシステムに供給することができる。
音声強調システムは、捕捉された(マイクロフォン)信号(又は複数の信号)に対して音響エコーキャンセル、ノイズ抑圧及び残響除去等の信号処理アルゴリズムを適用し、きれいな音声信号を遠端の発呼者に送信する。音声強調は、例えば長い会話に関連する聞き手の疲労を低減するために、音の品質を改善しようとするものである。このような音声強調の性能は、関連する装置及びオーディオ環境の種々の特性に依存し得る。
このように広い範囲の状況において斯様な装置が使用されるという事実は、一貫して良好に動作する音声強調システムを供給することを困難にさせる。従って、音声強調システムは、通常は、装置の初期化の間に、及び/又は当該システムが劣った音声強調性能を検出した実行時の間に適応化/調整される。殆どの適応化手順は、接続された装置の音声再生システムにより再生され、当該音声強調システムのための音響パラメータ値を推定及び設定するために捕捉装置により記録されるテスト信号を使用する。
調整手順の簡単な例として、部屋の音響インパルス応答の測定を考察することができる。例えば居間等の聴取環境は、これら環境の残響時間により特徴付けられ、該残響時間は部屋の音響インパルス応答が特定の量だけ減衰するのに掛かる時間として定義される。例えば、T60は部屋の音響インパルス応答尾部が60dB減衰するための時間量を示す。
ホワイトノイズ等のテスト信号を装置のスピーカによりレンダリングすることができ、結果としての音信号を、マイクロフォンを用いて記録することができる。この場合、線形な音響インパルス応答を推定するために適応フィルタが使用される。このインパルス応答から、T60等の種々のパラメータを、推定することができ、例えば残響時間に基づいて残響除去を実行することにより当該音声強調システムの性能を改善するために使用することができる。特定の例として、残響時間は、しばしば、
として与えられるエネルギ減衰曲線を用いて測定され、ここで、h(t)は上記音響インパルス応答である。音響インパルス応答及び該応答に対応するエネルギ減衰曲線が図1に示されている。
しかしながら、オーディオテスト信号に基づく適応化手順に関連する重大な問題は、これら手順が干渉(妨害)信号の存在により影響される傾向がある点である。即ち、干渉する音源が存在する場合、この音源が捕捉された信号を、レンダリングされるオーディオ信号に対して歪まされるようにさせ、これにより適応化処理を悪化させる。
例えば、部屋の音響インパルス応答を決定する場合、マイクロフォンにより捕捉される信号は干渉音源により汚染され得、その結果、インパルス応答推定にエラーが生じ得るか、又はインパルス応答推定が如何なる推定値をも発生し損なうことさえ生じ得る(例えば、推定されるインパルス応答をエミュレートする適応フィルタが収束し損なうことにより)。
例えば音声強調システム用等のオーディオ処理のための適応化手順(ルーチン)は、通常、特には当該適応化のために使用されるテスト音等の既知で適切な音源のみが存在すると仮定する。例えば、音響エコーキャンセルシステムを調整するために、マイクロフォンにより捕捉される信号はスピーカにより生成される信号(エコー)のみを含むべきである。ローカルな環境における近端のスピーカ又はノイズ源等の如何なるローカルな干渉も、結果としての性能を悪化させるだけである。
適応化に使用されるもの以外の音源が存在しないことを保証することは通常は不可能であるので、しばしば、干渉が存在するかを推定することができることが重要であり、もし存在するなら、該干渉がどの程度強いかを推定することが、しばしば、有利である。かくして、干渉の推定はオーディオ処理の適応化のためにしばしば重要であり、特に、相対的に正確な干渉推定を過度に複雑な処理を要せずに行うことができることが望ましい。確かなことに、干渉推定は多くのオーディオ処理アルゴリズム及び方法にとり好適であり得、従って、オーディオ干渉推定値を決定するための改善された方法に対する要望が存在する。
このように、オーディオ干渉尺度を発生するための改善された方法が有利であり、特に、柔軟性の増加、複雑さの低減、資源使用の低減、操作の容易さ、精度の改善、信頼性の向上及び/又は性能の改善を可能にする方法が有利であろう。
従って、本発明は上述した問題点の1以上を、好ましくは、単独で又は何らかの組み合わせで緩和、軽減又は除去しようとするものである。
本発明の一態様によれば、装置が提供され、該装置は、マイクロフォンからマイクロフォン信号を受信する受信器であって、前記マイクロフォン信号が前記マイクロフォンにより捕捉されるオーディオテスト信号に対応するテスト信号成分を有する受信器と;前記マイクロフォン信号を複数のテスト期間信号成分に分割する分割器であって、各テスト期間信号成分が1つの期間における前記マイクロフォン信号に対応する分割器と;前記複数のテスト期間信号成分からテスト期間信号成分の組を発生する組プロセッサと;前記テスト期間信号成分の各組に関する類似性数値(similarity value)を発生する類似性プロセッサと;前記類似性数値に応じて個々のテスト期間信号成分に関する干渉尺度(interference measure)を決定する干渉推定器とを有する。
本発明は、マイクロフォン信号内に存在するオーディオ干渉(オーディオ妨害)の程度を示すオーディオ干渉尺度(オーディオ干渉度合)の改善された及び/又は容易化された決定を可能にし得る。該方法は、マイクロフォンにより捕捉(キャプチャ)される音響環境内の干渉の存在の、余り複雑でない及び/又は信頼性のある検出を可能にし得る。該干渉尺度は、マイクロフォン信号を用いる又は該マイクロフォン信号に作用する他のオーディオ処理アルゴリズムに対する入力とすることができる。
当該方式は、低複雑度の干渉決定法を可能にする。特に有利なことは、当該システムが、上記干渉尺度を当該マイクロフォン信号の異なる部分の直接的比較から決定することができるので当該オーディオテスト信号の詳細についての明示的な知識を必要とせず、且つ、既知の所定の基準信号との比較を必要としないことである。
当該方式は、他の装置との相互動作を容易にすることができると共に、既存の装置に追加することもできる。
幾つかの実施態様において、当該装置は、オーディオトランスジューサによる再生のためのテスト信号を発生し、これにより前記オーディオテスト信号を発生するテスト信号発生器を更に有することができる。該オーディオテスト信号は、有利には繰り返し特性を有することができ、基本信号シーケンスの複数の繰り返しを有し又は斯かる繰り返し内に存在することができる。
当該装置は、上記マイクロフォン信号が上記オーディオテスト信号を有すると仮定することができる。従って、前記干渉尺度は、テスト信号成分が上記マイクロフォン信号内に存在するという仮定の下で決定することができる。当該装置が、テスト信号が存在することを決定し、又はテスト信号が存在することを示す情報を供給されることは必要ではなく又は必須でもない。
本発明のオプション的フィーチャによれば、当該装置は、前記テスト期間信号成分に応じて信号処理を適応するための校正ユニットを更に有し、該適応ユニットは少なくとも第1テスト期間信号成分の貢献度を第1期間に関する干渉推定値に応じて加重するように構成される。
本発明は、オーディオ信号処理アルゴリズムの改善された適応をもたらし得る。特に、非静止的(non-stationary)オーディオ干渉に対する敏感さ及び斯かる干渉に起因する悪化を大幅に低減することができる。
上記加重(重み付け)は、例えば、前記期間信号成分に対して直接的なものとすることができるか、又は期間信号成分に応じて発生される適応化パラメータに対するものとすることができる。
本発明のオプション的フィーチャによれば、当該装置は、前記テスト期間信号成分に応じて信号処理を適応するための校正ユニットを更に有し、該適応ユニットは少なくとも第1テスト期間信号成分の貢献度を第1期間に関する干渉推定値に応じて加重するように構成される。
この構成は、適応化を改善することができる。特に、この構成は低複雑度を可能にする一方、それでも改善された性能を可能にし得る。該構成は、過度に大きなオーディオ干渉を受けた期間信号成分が破棄され、これにより、これら期間信号成分が適応化に劣化を生じさせることを防止することを可能にする。
本発明のオプション的フィーチャによれば、当該装置は、静止的ノイズの推定値を発生すると共に該静止的ノイズの推定値に応じて閾値及び干渉推定値の少なくとも一方を補償するように構成された静止的ノイズ推定器を更に有する。
この構成は、一層正確な干渉尺度を可能にし得ると共に、特に過度に多い非静止的干渉を受けた期間信号成分の一層正確な検出を可能にし得る。
上記静止的ノイズの推定値は、具体的にはノイズフロア推定値であり得る。
本発明のオプション的フィーチャによれば、当該装置は、前記テスト信号成分のレベル推定値を発生すると共に、該レベル推定値に応じて閾値及び干渉推定値の少なくとも一方を補償するように構成されたテスト信号推定器を更に有する。
この構成は、一層正確な干渉尺度を可能にし得ると共に、特に過度に多い非静止的干渉を受けた期間信号成分の一層正確な検出を可能にし得る。
多くの類似性尺度、従って干渉尺度は信号エネルギに依存し得るものであり、テスト信号エネルギの補償は一層正確な干渉尺度を生じさせ得る。
即ち、前記テスト信号成分は当該システムのスピーカからのエコー成分であり得、該エコーを補償することにより、改善された性能を実現することができる。
本発明のオプション的フィーチャによれば、前記分割器は、前記マイクロフォン信号を前記オーディオテスト信号の繰り返し特性に応じて前記複数のテスト期間信号成分に分割するよう構成される。
この構成は、改善された性能をもたらすことができると共に、動作を容易にすることができる。前記分割器は、特には、前記マイクロフォン信号を前記オーディオテスト信号の繰り返しのタイミング及び/又は持続時間に応じて前記複数のテスト期間信号成分に分割することができる。該期間信号成分は上記オーディオテスト信号の繰り返しに同期させることができる。
本発明のオプション的フィーチャによれば、前記オーディオテスト信号はオーディオ信号成分の複数の繰り返しを有し、前記テスト期間信号成分のタイミングは該繰り返しのタイミングに対応する。
この構成は、改善された性能及び/又は容易化された動作を可能にし得る。各期間信号成分は、具体的には、前記オーディオ信号成分の整数個の繰り返しに一致した間隔に対応し得る。
本発明のオプション的フィーチャによれば、前記干渉推定器は、前記複数のテスト期間信号成分のうちの第1テスト期間信号成分に関して、該第1テスト期間信号成分を含む組の類似性数値に関する最大の類似性数値を決定すると共に、前記第1テスト期間信号成分に関する前記干渉尺度を該最大の類似性数値に応じて決定するように構成される。
この構成は、性能を改善し得、及び/又は複雑さを低減し得る。特に、この構成は、少ないオーディオ干渉を受けた期間信号成分を識別する確率を増加させ得る。
本発明のオプション的フィーチャによれば、前記分割器は、前記テスト期間信号成分のうちの少なくとも第1のものを有する少なくとも2つの組を発生するように構成される。
この構成は、性能を改善し得、及び/又は複雑さを低減し得る。特に、この構成は、少ないオーディオ干渉を受けた期間信号成分を識別する確率を増加させ得る。
本発明のオプション的フィーチャによれば、各組は、2つのテスト期間信号成分からなる。
この構成は、性能を改善し得、及び/又は複雑さを低減し得る。特に、この構成は、少ないオーディオ干渉を受けた期間信号成分を識別する確率を増加させ得る。
本発明のオプション的フィーチャによれば、前記分割器は、前記テスト期間信号成分の全ての対の組み合わせに対応する組を発生するよう構成される。
この構成は、性能を改善し得、及び/又は複雑さを低減し得る。特に、この構成は、少ないオーディオ干渉を受けた期間信号成分を識別する確率を増加させ得る。
本発明の一態様によれば、オーディオ干渉尺度を発生する方法が提供され、該方法は、マイクロフォンからマイクロフォン信号を受信するステップであって、前記マイクロフォン信号が前記マイクロフォンにより捕捉されるオーディオテスト信号に対応するテスト信号成分を有するステップと;前記マイクロフォン信号を複数のテスト期間信号成分に分割するステップであって、各テスト期間信号成分が1つの期間内の前記マイクロフォン信号に対応するステップと;前記複数のテスト期間信号成分からテスト期間信号成分の組を発生するステップと;前記テスト期間信号成分の各組に関する類似性数値を発生するステップと;前記類似性数値に応じて個々のテスト期間信号成分に関する干渉尺度を決定するステップとを有する。
本発明の上述した並びに他の態様、特徴及び利点は、後述する実施態様から明らかとなり、斯かる実施態様を参照して解説される。
図1は、部屋の音響インパルス応答及び該応答の対応するエネルギ減衰曲線を示す。 図2は、本発明の幾つかの実施態様によるオーディオ処理システムの構成要素の一例を示す。 図3は、本発明の幾つかの実施態様によるオーディオ処理システムの実験結果を示す。 図4は、本発明の幾つかの実施態様によるオーディオ処理システムの実験結果を示す。 図5は、本発明の幾つかの実施態様によるオーディオ処理システムの実験結果を示す。 図6は、本発明の幾つかの実施態様によるオーディオ処理システムの実験結果を示す。 図7は、本発明の幾つかの実施態様によるオーディオ処理システムの実験結果を示す。 図8は、本発明の幾つかの実施態様によるオーディオ処理システムの実験結果を示す。 図9は、本発明の幾つかの実施態様によるオーディオ処理システムの実験結果を示す。 図10は、本発明の幾つかの実施態様によるオーディオ処理システムの実験結果を示す。
以下、本発明の実施態様を、図面を参照して例示的にのみ説明する。
以下の説明はオーディオ処理適応化アプリケーションのためのオーディオ干渉推定値を発生するために適用可能な本発明の一実施態様に焦点を当てるが、本発明は斯かるアプリケーションに限定されるものではなく、多くの他のオーディオアプリケーションにも適用することができることが理解されよう。
図2は、本発明の幾つかの実施態様によるオーディオ処理システムの一例を示す。
該オーディオ処理システムは、音響環境において音を捕捉するように配置されたマイクロフォン201を有する。マイクロフォン201により発生されたマイクロフォン信号は、特には、該マイクロフォン201の位置において捕捉された部屋内の音を表すことができる。
マイクロフォン201は、上記マイクロフォン信号を受信する受信器203に結合されている。殆どの実施態様において、増幅部、フィルタ処理部及び、恐らくは、上記マイクロフォン信号のデジタル化された信号を供給して、後の処理がデジタルドメインで実行されることを可能にするアナログ/デジタル変換器を有することができる。
本例において、当該オーディオ処理システムは、オーディオアプリケーションをサポート又は実行するように構成されたアプリケーションプロセッサ205を更に有している。アプリケーションプロセッサ205は、受信器203から前記マイクロフォン信号を受信し、該マイクロフォン信号を上記特定のオーディオアプリケーションに従って処理する。
上記オーディオアプリケーションは、例えば、遠隔主体との双方向通信をサポートする通信アプリケーションであり得る。しかしながら、適応化及び干渉推定のための説明される原理は如何なる適切なアプリケーションに対しても使用することができることが理解される。本例において、アプリケーションプロセッサ205は上記マイクロフォン信号を受信し、該マイクロフォン信号を遠隔通信ユニットに対する送信のために処理するよう構成される。該処理は、音声強調、エコーキャンセル及び音声符号化等を含むことができる。アプリケーションプロセッサ205は、更に、上記遠隔通信ユニットからオーディオデータを受信し、このオーディオデータを処理して、ローカルにレンダリングすることができる信号を発生するように構成される。このように、アプリケーションプロセッサ205は、上記遠隔ユニットからオーディオデータを受信し、対応するオーディオ出力信号を発生する。
従って、図2のオーディオ処理システムは、スピーカドライバ207、及び当該固有の例ではスピーカ209であるオーディオトランスジューサを有している。スピーカドライバ207は、前記アプリケーションプロセッサ205からオーディオ信号を入力し、スピーカ209のための対応する駆動信号を発生する。該スピーカドライバ207は、特に、当業者により知られているように増幅回路を有することができる。
本例において、アプリケーションプロセッサ205は音声強調、並びに特には受信されたマイクロフォン信号に対するエコーキャンセル及び/又は抑圧を実行するように構成される。スピーカ209によりレンダリングされるオーディオは、マイクロフォン201により拾われ(捕捉され)得、この寄与分が抑圧されない場合、このことは、前記遠隔ユニットが自身の信号のコピーを受信する結果となる。これは、該遠隔ユニットにおいてエコーのように聞こえ、従って、アプリケーションプロセッサ205は上記マイクロフォン信号におけるスピーカ209からのレンダリングされたオーディオに対応する信号成分を減衰させる機能を含む。このような処理は、エコーキャンセルとして知られている。
エコーキャンセルが最適に実行されるために、当該アルゴリズムは、使用される装置及び使用される音響環境の両方の固有の特性に対して適応されねばならない。即ち、アプリケーションプロセッサ205から、スピーカドライバ207、スピーカ209、該スピーカ209からマイクロフォン201までの音響経路、マイクロフォン201及び受信器203を介して該アプリケーションプロセッサ205に戻るまでの信号経路は、好ましくは、当該エコーを相殺すべく当該エコーキャンセルが適応するように、可能な限り良く分からなければならない。
従って、図2のシステムは、アプリケーションプロセッサ205のオーディオ処理を適応するように構成された校正プロセッサ211を含んでいる。当該特定の例において、校正プロセッサ211は、アプリケーションプロセッサ205からスピーカ209及びマイクロフォン201を介して該アプリケーションプロセッサ205まで戻る信号経路(即ち、スピーカドライバ207の入力から受信器203の出力までの信号経路)の伝達関数を推定するように構成される。
校正プロセッサ211は、テスト信号を用いて上記伝達関数を推定する。従って、当該オーディオシステムはテスト信号発生器213を有し、該発生器はスピーカドライバ207に供給されるテスト信号を発生する。かくして、該テスト信号はスピーカ209によりレンダリングされ、結果的オーディオテスト信号の一部はマイクロフォン201により捕捉される。受信器203の出力は校正プロセッサ211に供給され、該校正プロセッサは該出力を前記発生されたテスト信号と比較することにより上記伝達関数を明らかにする。次いで、結果としてのインパルス応答/伝達関数のパラメータはアプリケーションプロセッサ205に供給され、エコーキャンセルのために使用される。
別の実施態様においては別のテスト信号及びインパルス応答推定を用いることができ、如何なる好適な方法も使用することができることが分かる。例えば、上記テスト信号は短いパルス(ディラックパルスの近似に対応する)とすることができるか、若しくは例えば周波数掃引とすることができ、又は例えば不明瞭ではあるが実際の音声のものに類似したスペクトル及び時間ドメイン特性を含む人工音声信号とすることができる。
上記校正が最適となるために、マイクロフォン201により捕捉される唯一の音は、上記テスト信号のものでなければならない。従って、当該オーディオ処理システムは、通常は、校正動作の間において如何なる他の音もレンダリングしない。しかしながら、この場合においてさえも、当該音響環境には他の音源により生じるオーディオ干渉が存在しがちである。例えば、当該部屋内で話している人が存在し得る、他のオーディオ装置が動作しているかも知れない、等である。このようなオーディオ干渉は、上記インパルス応答の推定を悪化させ、その結果、エコーキャンセルの成績が悪化する。
図2のオーディオ処理システムは、オーディオ干渉の量及び/又は存在を示す干渉尺度を発生する機能を有している。本例において、上記テスト信号のレンダリングの結果ではない如何なる音も、オーディオ干渉である。従って、当該オーディオ処理システムは、上記テスト信号のレンダリングによるものでない捕捉された音の程度を示す尺度を発生する。
上記の干渉尺度は、例えば、校正プロセッサ211により校正が何時実行されるかを決定するために使用することができる。例えば、校正プロセッサ211は、当該オーディオ干渉が所与のレベルより低いことを上記干渉尺度が示す期間内においてのみ、アプリケーションプロセッサ205の処理を前記マイクロフォン信号に応答して適応させることができる。幾つかの実施態様において、上記干渉尺度は、発生された校正値に対する信頼性指示情報を発生するために使用することができ、例えば当該校正に依存する既存のパラメータの更新は、斯様な信頼性尺度に依存するものとすることができる。例えば、信頼性が低い場合、僅かな適応のみが採用される一方、信頼性が高い場合、一層大きな適応が実行される。
更に詳細には、当該オーディオ処理システムは分割器215を有し、該分割器は前記マイクロフォン信号を複数のテスト期間信号成分に分割する。これらテスト期間信号成分の各々は、或る期間内のマイクロフォン信号に対応する。
図2の例において、前記テスト信号は繰り返し信号となるように発生される。即ち、同一の信号を複数の連続する期間において繰り返すことができる。当該システムにおいて、分割器215はマイクロフォン信号を、これらの繰り返し期間に同期された期間に分割するように構成される。具体的には、該分割器215は上記マイクロフォン信号を、前記テスト信号の繰り返し持続時間の倍数である持続時間を有すると共に、更に上記繰り返し期間の開始及び終了時点に揃えられた(合わされた)開始及び終了時点を有する期間に分割する。即ち、繰り返し間隔及び分割する期間は実質的に同一であり得る。他の例として、上記分割は、繰り返し間隔よりも(可能性として相当に)小さな期間へのものとすることもできる。しかしながら、当該分割の一層小さな期間が、繰り返し間隔に対して同期されるならば、異なる繰り返し間隔における対応する区間(セグメント)は、如何なる劣化又はノイズもない場合は、それでも同一となり得る。上記同期は、例えば単に前記テスト信号発生器及び時間分割器が同一のタイミング信号を使用することにより自動的なものとすることができるか、又は例えば同期処理(例えば、相関尺度を最大にすることによる)により達成することができる。
上記分割器は、該分割器からテスト期間信号成分を入力する組プロセッサ217に結合される。該組プロセッサ217は複数の組のテスト期間信号成分を発生するように構成される。該特定の例において、各組は2つのテスト期間信号成分を有し、従って、該組プロセッサ217は複数対のテスト期間信号成分を発生する。
以下では、簡略化及び明瞭化のために各テスト期間信号成分は信号ブロックと称する。
信号ブロックの対は類似性プロセッサ219に供給され、該類似性プロセッサは前記組プロセッサ217により発生された組の各々に対する類似値を決定するように構成される。或る組の信号ブロックに対する類似値は、これら信号ブロックがどの程度類似するかを示す。即ち、該類似値は、個々の組に含まれる期間内で当該マイクロフォン信号がどの程度類似するかを示す。
2つの信号がどの程度類似するかを決定するための如何なる好適な類似性数値を使用することもできることが分かる。即ち、相互相関値を発生することができ、類似性数値として使用することができる。各組が3以上の信号ブロックを有する場合、類似性数値は対毎に決定することができ、全体の組に関する類似性数値は平均の又は積算された類似性数値として決定することができる。
類似性プロセッサ219は干渉推定器221に結合され、該干渉推定器は組プロセッサ217及び校正プロセッサ211に更に結合されている。干渉推定器221は異なる信号ブロックに関する干渉尺度を、発生された類似尺度に基づいて発生するように構成されている。即ち、第1信号ブロックに関する干渉推定値は、該第1信号ブロックが含まれる組に関して決定された類似性数値に基づいて発生される。このように、図2のシステムにおいて、信号ブロックに関する干渉尺度は、当該信号ブロックを含む少なくとも1つの組に関する類似性数値に応答して決定される。
特定の例として、第1信号ブロックに関する干渉尺度は、恐らくは該第1信号ブロックが含まれていない組に関する平均類似性数値と比較した、該信号ブロックが含まれる組に関する平均類似性数値として発生することができる。他の例として、該干渉尺度は、該第1信号ブロックが含まれる組に関する最大類似性数値に対応するものとして決定することができる。
上記干渉尺度は校正プロセッサ211に供給され、該校正プロセッサは該干渉尺度を当該校正処理に使用する。例えば、上記校正プロセッサは干渉尺度を、発生された適応化パラメータの信頼度数値として使用することができる。他の例として、校正プロセッサ211は当該校正を、上記干渉尺度が十分に大きく、これにより当該オーディオ干渉が十分に小さいことを示している信号ブロックのみを使用して実行することができる。
発明者は、オーディオ干渉は典型的には非静止的であり、このことを、干渉推定値を発生するために利用することができるということを理解した。非静止的干渉が存在する場合、捕捉されるマイクロフォン信号は非静止的干渉が存在しない場合よりも大きく変化しがちである。このことが、図2のシステムにおいて干渉尺度を発生するために利用される。確かなことに、信号ブロック間の類似性は、大きな非静止的干渉源が存在すると大幅に減少する傾向がある。所与の信号ブロックの場合、異なる時点における信号ブロックとの比較に関する小さな類似性数値は、従って、干渉が存在することの指示情報であり、大きな類似性数値は典型的に干渉が存在しない又は少ない干渉しか存在しないことを示す。
上記効果は、当該信号ブロックの期間と同期された繰り返し特性を持つ固有のテスト信号の発生及びレンダリングと組み合わせた場合に特に顕著になる。このような筋書きにおいて、ノイズ又は干渉が存在しない場合、マイクロフォン信号はテスト信号と(実質的に)等しくなり、従って、異なる信号も(実質的に)等しくなる結果、類似性数値が非常に大きな値を有することになる。(非静止的)干渉が増加するにつれて、このことは、捕捉されるオーディオ信号に対し異なる時点で異なるように影響を与え、その結果、信号ブロックが、益々、相違するようになる。従って、2つの信号ブロックの間の類似性数値は、干渉が増加するにつれて、減少する。
従って、所与の組の信号ブロックに対する類似性数値は、干渉が増加するにつれて減少する。このように、所与の信号ブロックに関しては、該信号ブロックが含まれる組に対する類似性数値が、存在するオーディオ干渉の程度の有効な指示情報を提供する。
上述した方法は、音声強調又はエコーキャンセル等のためのオーディオ処理アルゴリズムの適応化の改善をもたらし得る。例えば音声強調のための適応化手続きは、通常、関連する音源のみの存在を仮定している。例えば、音響エコーキャンセルシステムを調整するために、マイクロフォンにより捕捉される信号はスピーカにより生成される信号(即ち、エコー)のみを含むと仮定される。当該ローカル環境におけるノイズ源又は近端の話者等の如何なるローカルな妨害も、結果としての性能の劣化を生じる。実際に、如何なる干渉も存在しないことは通常は実現不可能であり、むしろ、捕捉される信号は、通常は、例えば動いている若しくは会話している近端のユーザ又は換気システム等のローカルなノイズ源のような、近端の環境において生成されるオーディオ干渉により汚染される。従って、当該適応化手順により決定されるシステムパラメータは、通常は、当該装置及びローカルな環境の音響挙動の忠実な表現ではない。
図2のシステムは、典型的に相対的に短い持続時間の個々の時間セグメントにおける干渉を評価することができる。特に、該システムは、個々の時間セグメントにおけるローカル干渉を検出することができる効率的な信号の完全性チェックシステムを提供することができる。かくして、当該適応化処理は、例えば、十分に小さな干渉しか存在しないセグメントのみにおける信号を使用することにより適応させることができる。このように、一層信頼性のある適応化、従って当該オーディオ処理の改善された性能を達成することができる。
図2のシステムの特別な利点は、干渉推定値が、基となる適応化アルゴリズム及び適応されるオーディオ処理から独立した機能によりもたらされ得ることである。このことは、動作及び構成を容易化し得ると共に、特に、後方互換性を改善し、当該オーディオシステムの一部を形成する他の装置との互換性を改善し得る。特定の例として、当該干渉推定は、既存の校正システムに当該干渉推定値が大き過ぎる全ての信号ブロックを破棄する追加の機能として加えることができる。しかしながら、適応処理に受け渡された信号ブロックに対しては、完全性チェックが適用されなかったのと同一の手順を使用することができ、当該適応化処理又はサウンド処理の変更は必要とされない。
前記テスト信号を発生するための別の方法を使用することもでき、該テスト信号が異なる実施態様では異なる特性を有することもできることが理解される。
図3の例において、当該テスト信号は繰り返し信号成分を有する。例えば、該信号は規則的な間隔で繰り返される固有波形を有することができる。幾つかの実施態様において、各繰り返し区間内の信号は、完全な校正/推定動作を可能にするように設計されたものとすることができる。例えば、各繰り返し区間は、完全な周波数掃引を含むことができるか、又は次のパルスの前に完全なインパルス応答を可能にするほど十分に長い繰り返し間隔を備えた単一のディラック状パルスを有することができる。他の実施態様では、繰り返し間隔は相対的に短くすることができ、及び/又は当該繰り返し信号は単純な信号とすることができる。例えば、幾つかの例において、各繰り返し区間は単一の正弦波周期に対応するものとすることができる。従って、当該テスト信号は繰り返し特性を有する。もっとも、正確な繰り返し特性は異なる実施態様の間で相当に変化し得る。当該テスト信号は、幾つかの実施態様では、2つの繰り返ししか有さないが、殆どの実施態様において、該テスト信号は大幅に多い繰り返しを有し、確かなことに時には10以上の繰り返しを有することもできる。
幾つかの実施態様において、当該テスト信号はメモリに記憶された事前記録信号であり得る。該記憶された信号は、N個の周期からなることができるか、又は1つの繰り返しに相当し、次いで繰り返されるものであり得る。
他の例において、当該テスト信号は、例えば音声生成のモデル等のモデルを用いて合成され、その場合、該モデルのパラメータは固定されたものであるか、又は実行時の間に抽出された遠端及び/又はマイクロフォン信号の特徴から推定されるものである。このような特徴は、ピッチ(音高)情報、波高因子等の時間ドメインの波形特徴、振幅、包絡線(エンベロープ)等を含むことができる。
多くの実施態様において、当該テスト信号は以下の要件を満たすことが望ましい。
1.関心スペクトル内のエネルギは、音声強調アルゴリズムに関する関連パラメータの適切な適応化を可能にするほど十分でなければならない。音声アプリケーションの場合、このことは、音声スペクトル(例えば、300〜4000Hzの間の)内のエネルギを意味する。
2.繰り返し数は十分に大きくなければならない。幾つかの実施態様においては、2つの繰り返ししか必要とされないが、多くの実施態様では、相当に大きな繰り返し数が必要とされる。このことは、当該動作のノイズに対する強さを改善し得る。
前記分割器215はマイクロフォン信号を信号ブロックに分割するために異なる方法を用いることができると理解される。
分割器215は、信号ブロックを繰り返し間隔と合わせることができ、特に、信号ブロックを、テスト信号が異なる信号ブロックに対応する期間に関して同一となるように位置合わせすることができる。
上記位置合わせは大凡とすることができ、例えば、同期の幾らかの不確定さは、発生される干渉推定値の精度は低下させ得るが、それでも発生されること(そして、十分に正確であること)を可能にするものであり得る。
幾つかの実施態様において、上記期間は繰り返し間隔と位置合わせする必要はなく、例えば、開始時点から当該テスト信号の繰り返しの始点までのオフセットは、異なる間隔の間で異なることができる。このような実施態様において、前記類似性数値の決定は、斯様な可能性のある時間のオフセットを、例えば該類似性数値を最大にするように2つの信号ブロックをオフセットさせることにより考慮に入れることができる。例えば、複数の時間オフセットに関して相互相関を決定することができ、最大の結果的相互相関を類似性数値として用いることができる。このような場合において、前記期間は繰り返し間隔より長くなり得、相関が決定される期間は繰り返し間隔に等しくなるか又は恐らくは短くなり得る。幾つかの実施態様において、相関窓は繰り返し間隔より大きくなり得ると共に、複数の繰り返し間隔を含み得る。典型的に、類似性数値が決定される窓は、可能な限り信頼性のある推定値を発生するために、各信号ブロックに対応する期間の持続時間に近くされる。
前記信号ブロックの期間(時間セグメントとも称する)は、繰り返し間隔よりも短く若しくは長く又は該繰り返し間隔に等しくすることができる。
例えば、幾つかの実施態様において、前記テスト信号は純粋な旋律音(pure tune)とすることができ、各繰り返し間隔は、繰り返される単一の正弦波に対応することができる。このような例において、繰り返し時間間隔は非常に短く(可能性として、約1msec)てもよく、各信号ブロックに対する時間セグメントは相当に大きくすることができ、可能性として多数の繰り返しを含むことができる。例えば、各時間セグメントは20msecとすることができ、従って当該オーディオ信号に対して20個の繰り返しを含むことができる。
他の実施態様において、上記時間セグメントは上記繰り返し間隔と実質的に同一となるように選択することができる。例えば、上記テスト信号は100msecの持続時間の周波数掃引を含むことができ、該掃引は複数回繰り返される。このような例において、各時間セグメントは、100msecの持続時間を有するように選択することができ、かくして、上記繰り返し間隔に直接対応する。
更に他の実施態様において、各時間セグメントは繰り返し間隔より大幅に小さくすることができる。例えば、前記テスト信号は、例えば3回繰り返される5秒の持続時間の音楽(15秒の全長となる)のサンプルとすることができる。この場合、時間セグメントは、例えば32msec(16kHzのサンプルレートで512サンプルに対応する)に相当するように選択することができる。このような小さな信号ブロックは全体の繰り返しシーケンスは含まないが、これら信号ブロックは例えば他の繰り返し間隔の対応する信号ブロックと対比することができる。より短い持続時間は、容易な動作を可能にするのみならず、当該干渉尺度の一層精細な時間的分解能を可能にし、特に、当該適応化に何の信号セグメントを使用すべきかの選択が、一層精細な時間的分解能でなされることを可能にし得る。
発生される信号ブロックの数は、特定の実施態様並びに特定のアプリケーションの好み及び要件に依存する。しかしながら、多くの実施態様において、各信号ブロックの持続時間は、典型的には、10msec以上で、200msec以下である。この構成は、多くの実施態様において特に有利な動作を可能にする。
前記プロセッサ217により使用される方法は、個々の実施態様の特別な好み及び要件に依存して変化し得ることも理解される。
多くの実施態様において、前記信号ブロックは2つの信号ブロックのみを含む組に配列される、即ち、信号ブロックの対が発生される。他の実施態様においては、3つ、4つ又は更に多くの信号ブロックの組を発生することができる。
幾つかの実施態様において、組プロセッサ217は上記信号ブロックの全ての可能な組み合わせの組を発生するように構成することができる。例えば、信号ブロックの全ての可能な対の組み合わせを発生することができる。他の実施態様では、可能性のある対の組み合わせの部分組のみが発生される。例えば、可能性のある対の組み合わせの半分又は四分の一のみを発生することができる。
発生される組において組み合わせの部分組のみが表される実施態様において、プロセッサ217は異なる実施態様において異なる基準を使用することができる。例えば、上記組は、各組における信号ブロック間の時間差が閾値より大きくなるように発生することができる。確かなことに、より大きな時間オフセットを持つ信号ブロックを比較することにより、非静止的オーディオ干渉は信号ブロックの間で相関されなくなり、従って改善された干渉尺度を発生することができるようになりそうである。
例えば、対を発生する場合、組プロセッサ217は、連続する信号ブロックを選択するのではなく、むしろ、少なくとも所与の数の介在信号ブロックを有する信号ブロックを選択することができる。
幾つかの実施態様において、各信号ブロックは1つの組にのみ含まれる。しかしながら、殆ど実施態様において、各信号ブロックは少なくとも2つの組に含まれ、確かなことに、多くの実施態様において各信号ブロックは2個、5個、10個又はそれ以上の組に含まれ得る。このことは、幾つかの信号ブロックに関して干渉を過大見積もりする危険性を低減することができる。例えば、或る対の信号ブロックに関する類似性数値が小さく、これにより、相当のオーディオ干渉が存在することを示している場合、これは、信号ブロックのうちの1つのみにおける干渉の結果であり得る。例えば、当該対の一方の信号ブロックにおいてはオーディオ干渉が存在しないが、他方の信号ブロックが高度の干渉を受ける場合、結果として小さな相関値、従って小さな類似性数値となる。しかしながら、どちらの信号ブロックが当該オーディオ干渉を受けているかを決定することは不可能であり、従って、この比較に基づいて両信号ブロックが拒絶され得る。
しかしながら、より多くの対に上記信号ブロックが含まれる場合、これら対のうちの少なくとも1つにおいて綺麗な信号ブロックが他の相対的に綺麗な信号ブロックと対にされる可能性が増加する。従って、この対に関する相関値は相対的に大きくなり、従って、類似性数値は相対的に大きくなる。従って、このような対処理は両信号ブロックが綺麗であり、更なる処理に使用することができることを示す。
組の数は、計算資源の要求、メモリの要求、性能及び信頼性の間の適切な取引を行うように選択することができる。
類似性プロセッサ219は、組に関する類似性数値を決定するための如何なる好適な方法を使用することもできる。
例えば、或る対の信号ブロックに対して、相互相関値を決定し、類似性数値として使用することができる。
特定の例として、i番目及びj番目の信号ブロックの間の正規化された相互相関に対応する類似度は:
として計算することができ、ここで、zx(n)はx番目の信号ブロックのn番目のサンプルを示し、E{}は期待値演算子を示す。当該期待値は信号ブロック又は信号ブロックの部分セグメントにわたって計算することができ、その場合:
となり、ここで、Zx(n)は所与の部分セグメントに含まれる信号サンプルの列ベクトルに対応し、Tはベクトル転置演算を示す。
前記マイクロフォン信号は、3つの成分から、即ち、テスト信号成分、静止的ノイズ成分(典型的には、加法性ホワイトガウスノイズ)及び非静止的オーディオ干渉からなると考えることができる。当該干渉尺度は、後者の成分を推定しようとするものである。
幾つかの実施態様において、類似性プロセッサ219及び/又は干渉推定器221は、上記テスト信号成分及び/又は静止的ノイズ成分を推定するための機能を有することができる。この場合、類似性数値及び/又は干渉尺度は、これらの推定値に応答して補償することができる。
例えば、テスト信号のエネルギを増加させることは、正規化された相関値を減少させ得る。従って、テスト信号のエネルギを推定することができたなら、発生される干渉尺度を、それに応じて、補償することができる。例えば、エネルギレベルを補償値に関係付けるルックアップテーブルを使用することができ、その場合、補償値は各類似性数値又は最終的干渉尺度に適用される。
信号エネルギは、例えば、前記信号ブロックの組に基づいて推定することができる。例えば、全ての組に関して最大の類似性数値を有する組を識別することができる。これは最も少ないオーディオ干渉を有していそうであり、従って、該テスト信号成分の信号エネルギは、最も少ないエネルギを持つ信号ブロックのエネルギに対応すると推定することができる。
同様に、静止的ノイズも類似性数値に影響を与え得るものであり、静止的ノイズの推定に基づいて類似性数値及び/又は干渉尺度を補償することにより、改善された性能を達成することができる。静止的ノイズの推定は、特には、ノイズフロアの推定であり得る。ノイズフロアの静止的ノイズ推定は、例えば、時間ドメイン信号を複数の周波数成分に分解すると共に、各成分の最小エンベロープ値を追跡することにより決定することができる。周波数にわたる平均パワーを、時間ドメインにおけるノイズフロアの推定値として用いることができる。
所与の信号ブロックに関する干渉尺度は、特に、当該信号ブロックが含まれる組に関する最大の類似性数値を識別すると共に、この値(又は、この値の単調関数)に該干渉尺度を設定することにより発生される。
このことは、当該干渉尺度が、両信号ブロックが最少の干渉を受けた場合に生じそうな、達成された最良の比較を反映することを保証する。該方法は、特に、単一の信号ブロックに関して1つの密な合致を見付けることができた場合、これら信号ブロックの両方が少ない干渉を受けたようであるということを反映することができる。
他の実施態様においては、もっと複雑な干渉尺度を決定することができる。例えば、所与の信号ブロックに関する全ての類似性数値の加重平均を用いることができ、その場合、重み付けは類似性数値が増加するにつれ増加する。
校正プロセッサ211は、当該オーディオアプリケーションのための適応パラメータを決定する場合に上記干渉尺度を考慮に入れるよう構成される。即ち、各信号ブロックの貢献度を上記干渉尺度に依存して重み付けすることができ、当該干渉尺度が相対的に大きい信号ブロックが、該干渉尺度が相対的に小さい信号ブロックよりも、発生される適応パラメータに対して一層大きな影響を有するようにする。この重み付けは、例えば、幾つかの実施態様では、校正プロセッサ211への入力信号に対して(即ち、信号ブロック自身に対して)実行することができる。他の例では、所与の信号ブロックに関して発生された適応パラメータ推定値を、他の信号ブロックに関するパラメータ推定値と組み合わされる前に、当該干渉尺度に従って重み付けすることができる。
幾つかの実施態様では、二進重み付け(二進加重)を実行することができ、特に、信号ブロックが破棄されるか又は干渉尺度に基づく適応化に使用されるかの何れかとすることができる。このように、干渉尺度が閾値より小さい(閾値より大きい類似性数値に対応する)信号ブロックは当該適応化に使用することができる一方、干渉尺度が上記閾値より大きい信号ブロックは破棄され、それ以上使用されない。上記閾値は、幾つかの実施態様では固定の閾値とすることができる一方、他の実施態様では適応型閾値とすることができる。
例えば、前述したように、相関値、従って干渉尺度は、テスト信号成分のエネルギに及び静止的ノイズに依存し得る。類似性数値又は干渉尺度を補償するよりは、代わりに、信号ブロックを破棄又は受容するための閾値を、テスト信号のエネルギ推定値又は静止的ノイズの推定値に応答して修正することもできる。
例えば、製造検査の間に決定された補償値のルックアップテーブルを使用する同様の方法を、結果としての補償値が上記閾値に適用されるようにして用いることもできる。
先の例において、分割器215は多数の信号ブロックを発生することができ、これら信号ブロックは組プロセッサ217及び類似性プロセッサ219により組み合わせ処理のためにローカルメモリに記憶される。しかしながら、多数の他の構成も用いることができ、特に、より順次的な処理を用いることもできることが分かる。
このように、全ての信号ブロックに関して組を発生し、次いで全てのブロックの類似性数値等を発生するというより、斯かるステップは個々に(例えば、新たな各ブロックに関して)実行することができる。
例えば、適応化処理が開始された場合、テスト信号発生器213はテスト信号を発生することができる。第1信号ブロックを発生することができ、ローカルメモリに記憶される。適切な遅延(例えば、信号ブロックの期間に単に対応する)の後、第2信号ブロックを発生することができる。次いで、この第2信号ブロックは、記憶された信号ブロックと比較され、類似性数値を発生する。該類似性数値が十分に大きい場合、該新たな信号ブロックは更なる処理のために校正プロセッサ211に供給される。
閾値より小さな類似性数値を生じる信号ブロックが受信された場合、該新たな信号ブロックは記憶された信号ブロックを置換し、従って後の信号ブロックに対する基準として使用される。幾つかの実施態様において、記憶された基準を維持することと、該基準を新たに受信された信号ブロックに置換することとの間の判断は、動的に行うことができる。例えば、最も低い信号エネルギを持つ信号ブロックは、該ブロックが最も低いオーディオ干渉エネルギを持つ場合に当てはまりそうであるから(特に、干渉及びテスト信号が十分に非相関状態である場合)、記憶することができる。
以下では、本発明の一実施態様の動作の特定の例を説明する。該例は図2のシステムに適用可能である。
該例は、音響エコー抑圧のための音声強調システムであって、該システムがオーディオ信号に基づいて適応されるものに関するものである。このようなシステムは、通常、如何なる残存エコーも抑圧する後処理プロセッサが後続するエコーキャンセラからなり、通常は非線形エコーの固有のモデルに基づいている。テスト信号は装置のスピーカを介して再生され、捕捉されたマイクロフォン信号が記録される。
長さNTサンプルの離散時間同調信号x(n)を周期Tのサンプルで周期的とし、
ここで、Nは周期の数である。後に、表記は簡略化され、当該信号は、xk(n)(但し、k=1,…,N)により示される、各々が長さTのN個の連続する同一の部分に分割されると仮定する。
音響エコー経路は、該エコー経路の線形部のみが時間依存性であり時間不変非線形部に従う非線形時間変化系である。各繰り返しxk(n)に対応するマイクロフォン信号は、
により与えられ、ここで、エコー成分ek(n)は線形及び非線形の両方の成分を含み、sk(n)は音声等の非静止的オーディオ干渉であると仮定され、vk(n)はホワイトノイズ作用としてモデル化することが可能な静止的バックグラウンドノイズであると仮定される。上記非静止的干渉及びバックグラウンド静止ノイズは互いに且つ期間にわたり相関されていないと仮定され、
ここで、E{・}は期待値を示し、1≦i,j≦Nである。
また、当該信号は独立で、ゼロ平均(ハイパスフィルタ処理されている)であると仮定される。
当該システムは信号完全性チェック部を含み、該チェック部は記録されたマイクロフォン信号を検証して、過度に多い干渉を受けた信号ブロック/セグメントを破棄する。
このことは、1≦k≦Nのz(n)の各ブロックの間の類似性尺度の計算により達成することができる。
計算された類似度の合計数は、該特定の例ではブロック当たり
であり、ここで、
である。
2つのブロックがエコー/テスト信号(及び静止的ノイズ成分)しか含まない場合、これらブロックは類似しており、当該システムを適応するために使用することができる。しかしながら、斯かるブロックの少なくとも一方が、対的比較で、大きな干渉を含む場合、他の対のブロックがテストされる。2つのブロックが類似していない場合、該ブロックは当該適応手順では使用されない。強さを増加させるために、少なくとも1つの対のブロックが類似する確率を増加させるべく、N>2と選択することが、しばしば、望ましい。
異なる類似性尺度を用いることもできる。以下には、幾つかの固有のオプションが含まれる:
[相関に基づく類似性尺度]
前述したように、i番目及びj番目のブロックの間の正規化された相互相関を類似性数値として使用することができる。これは、特に、
として示され得、ここで、0≦ρij≦1である。
従って、該相互相関は、
として示すことができる。
非静止的干渉の存在がρijの値を減少させることに注意すべきである。従って、i番目及びj番目の信号ブロック/セグメントにおいて如何なるオーディオ干渉も存在しないと仮定すると、当該適応化のためにブロックを含めるか又は破棄するかを決定する閾値の下限は、
により与えられ、ここで、
であるので、ηcorr≧ρijである。エコーe(n)は非線形成分も含むが、相互相関及び二次モーメント項の推定値は、線形適応フィルタにより推定されるエコー信号を用いて計算することができることに注意されたい。ステップサイズ及びフィルタ長に依存して、該適応フィルタは、或る程度、非線形さを追跡することができる。
当該システムが時間不変である、即ち、全てのkに対してe(n)=e(n)であると仮定すると、閾値ηcorrは、
となり、ここで、
は、エコー対雑音比を示す。
[平均二乗差に基づく類似性尺度]
可能性のある平均二乗差に基づく類似性尺度は、
により与えられ、ここで、δij≧0である。z(n)及びz(n)を置き換えると、
となる。
オーディオ干渉が存在しない(si(n)=sj(n)=0)と仮定すると、この式は、
に単純化することができ、この式は、
により、2つのフレームの一方がオーディオ干渉を含むかを検出するための閾値として使用することができる。
時間不変が、即ち、全てのkに対してek(n)=e(n)が仮定される場合、閾値δdiffは、
となる。
[パワーに基づく類似性尺度]
信号の微細な構造に余り敏感でない尺度は、
により与えられる。
マイクロフォン信号の項を展開すると、
となる。
オーディオ干渉が存在しない(si(n)=sj(n)=0)と仮定すると、この式は、
に単純化することができる。
この値の問題は、
の符号が正又は負であり得、該値を閾値として余り適さないようにさせることである。
[零交差カウント差尺度]
零交差率又はカウントは、音楽を音声から区別するのに特に適したフィーチャである。零交差カウント差(ZCCD)尺度は、
として定義することができ、ここで、ZCC(・)は零交差の数をカウントする。
[相互情報相互相関指標]
相互情報相互相関指標(MICI)は、
により示すことができ、該指標はzi(n)及びzj(n)が線形に依存する場合は零に等しく、該依存性が減少するにつれて増加する。この尺度は、2つの信号の間の正規化された相互相関関数ρijも利用する。
当該方法は以下のように動作し得る。
先ず、テスト信号がN個の繰り返しを有するテスト信号によりレンダリングされる。該信号は、マイクロフォン201により捕捉される。
次いで、当該システムは該捕捉された信号のノイズフロアを推定する。
上記マイクロフォン信号は、長さTのサンプルのN個の連続した部分に分割される。該分割は、効果が安定するのを可能にするために(特に、当該テスト信号の残響が、発生される最初の信号ブロック内に存在することを可能にするために)、当該テスト信号の開始の後の初期期間の間のマイクロフォン信号を無視することができる。
各セグメントに対して、線形な音響エコーが適応フィルタを用いて推定される。これは、マイクロフォンにより捕捉されたエコー/テスト信号の信号エネルギに関するレベル推定値を提供することができる。
各ブロックに対して、当該ブロックが受容されるべきか否かを決定する閾値が、閾値を導出するためのエコー推定値及びノイズフロア推定値を用いて決定される。該閾値は、各ブロック/セグメントに対して更新することができる。
フレームに対する最終的閾値は、全フレームにわたる最大値(ρijを使用する場合)又は最小値(δijを使用する場合)の何れかに基づくものとすることができる。
各対のブロックに関して、当該対は、当該尺度が所与の閾値を超えた(ρijを使用する場合)か、又は該閾値未満である(δijを使用する場合)かに依存して類似又は非類似として分類される。
限定的な閾値により、エコー応答における幾つかの過渡状態が綺麗なブロックの検出の漏れを生じさせ得ることは不可避である。言い換えると、ブロックは、実際には移動等の過渡状態が大きな差を検出させた場合でも、干渉を含むと分類され得る。これを防止するために、或る種の検出平滑化(例えば中央値フィルタ処理を用いる)を採用することができる。例えば、値1は現フレームが他のものと類似していることを示し、0は異なることを示すとする。現フレームの検出及びB−1の以前の検出のバッファがある場合、類似するフレームの数が或る閾値より小さい場合、上記検出バッファにおける中間フレームは0に設定される。類似するフレームの数が或る閾値より大きい場合、中間フレームは1に設定される。
考慮すべき他の側面は、閾値を音響エコーキャンセラにより生成されたエコー推定値に基づいてどの様に導出するかである。当該閾値がブロック毎に更新される場合、生成されるエコー推定値は前の適応フィルタ係数に基づくものとなる。従って、該フィルタ係数の各更新の後に、現類似性尺度と対応する閾値との間の同時性を改善するために、好ましくは、新しいエコー推定値が生成されるべきである。
上記に提示した閾値は非常に限定的なものであるので、例えば、
等のスケーリングにより斯かる閾値を緩和することが時には適切である。
3つの周期からなるテスト信号が使用されたシナリオに関する実験データが図3〜図10に示されている。
当該例において、テスト信号はテレビジョン装置のスピーカを介してレンダリングされた。信号ブロック長は512サンプルに設定され、エコー経路を推定するための適応フィルタ長は512サンプルに設定された。線形エコーを推定するためにNLMSアルゴリズムが採用された。更に、閾値をスケーリングするための上記式におけるε及びγの値は、各々、0.98及び3.0に設定された。また、長さ10(ブロック検出)の中央値フィルタが、検出を滑らかにするために用いられ、所与のフレームサイズに対して約320msに相当するものとした。
理想的には、当該方法は、音響エコー経路のインパルス応答を変化させ得るローカル環境における動きに対して強くなければならない。以下の組の結果において、部屋内に立っている人は、音響エコー経路を効果的に変化させるために当該テスト信号の周期の間に異なる場所へ移動する。図3〜6は、相関及び差に基づく類似性尺度を用いた結果及び類似性度合を示す。両尺度はローカルな音響環境における動きに対する強さを示しているが、このことは、音響経路における変化は干渉源が存在するという誤った検出を生じさせるべきでない故に重要であることに注意されたい。
具体的に、図3は、ローカルな動きのみを伴うテスト信号の3つの周期に関して相関に基づく類似性尺度及び閾値を示している。y軸の標示は当該類似性尺度に含まれるテスト信号の周期を示しており、例えば、12は第1及び第2周期の間の類似性尺度を示す。図4は、相関に基づく類似性尺度を用いた結果的な検出性能を示す(1は綺麗と考えられるブロックを示し、0は干渉を受けたと考えられるブロックを示す)。図5は、ローカルな動きのみを伴うテスト信号の3つの周期に関する平均二乗差に基づく類似性尺度及び閾値を示す。図6は、図4と同じものを、平均二乗差に基づく類似性尺度に関して示す。
以下の例においては、各テスト周期の第2半部の間におけるテスト信号の記録の間にローカルな音声干渉が導入される。当該周期の第2半部の間において当該適応化は干渉する音声を含むフレームを破棄することに注意されたい。
図7は、ローカルな音声干渉を伴うテスト信号の3つの周期に関する相関に基づく類似性尺度及び閾値を示す。図8は、相関に基づく類似性尺度を用いた結果としての検出性能を示す。図9は、ローカルな音声干渉を伴うテスト信号の3つの周期に関する平均二乗差に基づく類似性尺度及び閾値を示す。図10は図8と同じものを平均二乗差に基づく類似性尺度に関して示す。
上記記載は、明瞭化のために、本発明の実施態様を異なる機能回路、ユニット及びプロセッサに関して説明したことが分かる。しかしながら、異なる機能回路、ユニット又はプロセッサの間における機能の如何なる適切な分散も、本発明から逸脱することなしに用いることができることは明らかであろう。例えば、別々のプロセッサ又はコントローラにより実行されるものとして図示された機能は、同一のプロセッサ又はコントローラにより実行することができる。従って、特定の機能ユニット又は回路に対する言及は、厳密な論理的又は物理的構成又は編成を示すというより、記載された機能を提供するための好適な手段に対する言及としてのみ見られるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウエア又はこれらの何らかの組み合わせを含む如何なる好適な形態でも実施化することができる。本発明は、オプションとして、少なくとも部分的に、1以上のデータプロセッサ及び/又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実施化することができる。本発明の実施態様の構成要素及び部品は、物理的に、機能的に及び論理的に如何なる適切な方法でも実施化することができる。確かなことに、斯かる機能は、単一のユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として実施化することができる。そのようであるから、本発明は単一のユニットで実施化することができるか、又は異なるユニット、回路及びプロセッサの間で物理的及び機能的に分散させることができる。
以上、本発明を幾つかの実施態様に関連して説明したが、これは、ここに記載された特定の形態に限定されることを意図するものではない。むしろ、本発明の範囲は、添付請求項によってのみ限定されるものである。加えて、フィーチャは特定の実施態様に関連して説明されているように見え得るが、当業者であれば、記載された実施態様の種々のフィーチャは本発明に従って組み合わせることができることを理解するであろう。尚、請求項において、有するなる用語は他の構成要素又はステップの存在を排除するものではない。
更に、個別に記載されていても、複数の手段、エレメント、回路又は方法のステップは、例えば単一の回路、ユニット又はプロセッサにより実施化することができる。更に、個々のフィーチャは異なる請求項に含まれているかも知れないが、これらは恐らくは有利に組み合わせることができ、異なる請求項に含まれることが、フィーチャの組み合わせが可能でない及び/又は有利でないことを意味するものではない。また、フィーチャが1つのカテゴリの請求項に含まれることは、このカテゴリへの限定を意味するものではなく、むしろ、該フィーチャが他の請求項のカテゴリに、適宜、等しく適用可能であることを示すものである。更に、請求項におけるフィーチャの順序は、斯かるフィーチャが実施されなければならない如何なる固有の順序を示すものではなく、特に、方法の請求項における個々のステップの順序は、これらステップが、この順序で実行されねばならないことを示すものではない。むしろ、斯かるステップは如何なる適切な順序で実行することもできる。更に、単数形の参照は、複数を排除するものではない。従って、“1つの”、“第1の”、“第2の”等の参照は複数を除外するものではない。また、請求項における符号は、明示する例としてのみ設けられたもので、当該請求項の範囲を如何なる形でも限定するものと見なされるべきではない。

Claims (14)

  1. マイクロフォンからマイクロフォン信号を受信する受信器であって、前記マイクロフォン信号が前記マイクロフォンにより捕捉されるオーディオテスト信号に対応するテスト信号成分を有する受信器と、
    前記マイクロフォン信号を複数のテスト期間信号成分に分割する分割器であって、各テスト期間信号成分が1つの期間内の前記マイクロフォン信号に対応し、前記オーディオテスト信号がオーディオ信号成分の複数の繰り返しを有し、前記テスト期間信号成分のタイミングが前記繰り返しのタイミングに対応する分割器と、
    前記複数のテスト期間信号成分からテスト期間信号成分の組を発生する組プロセッサと、
    前記テスト期間信号成分の各組に関する類似性数値を発生する類似性プロセッサと、
    前記類似性数値に応じて個々のテスト期間信号成分に関する干渉尺度を決定する干渉推定器と、
    を有し、
    前記分割器は、前記テスト期間信号成分の期間を前記繰り返しに同期させることを特徴とする、装置。
  2. 前記テスト期間信号成分に応じて信号処理を適応する校正ユニットを更に有し、該校正ユニットは少なくとも或る期間に対応するテスト期間信号成分の貢献度を当該或る期間に関する干渉尺度に応じて加重する、請求項1に記載の装置。
  3. 前記校正ユニットは、前記干渉尺度が閾値より大きいテスト期間信号成分を破棄する、請求項2に記載の装置。
  4. 静止的ノイズの推定値を発生すると共に該静止的ノイズの推定値に応じて前記閾値及び前記干渉尺度の少なくとも一方を補償する静止的ノイズ推定器を更に有する、請求項3に記載の装置。
  5. 前記静止的ノイズの推定値がノイズフロア推定値である、請求項4に記載の装置。
  6. 前記テスト信号成分のレベル推定値を発生すると共に、該レベル推定値に応じて前記閾値及び前記干渉尺度の少なくとも一方を補償するテスト信号推定器を更に有する、請求項3に記載の装置。
  7. 前記分割器が前記マイクロフォン信号を前記オーディオテスト信号の繰り返し特性に応じて前記複数のテスト期間信号成分に分割する、請求項1に記載の装置。
  8. 前記干渉推定器が、前記複数のテスト期間信号成分のうちの或る期間に対応するテスト期間信号成分に関して、該或る期間に対応するテスト期間信号成分を含む組の類似性数値に関する最大の類似性数値を決定すると共に、前記或る期間に対応するテスト期間信号成分に関する前記干渉尺度を該最大の類似性数値に応じて決定する、請求項1に記載の装置。
  9. 前記分割器が、前記テスト期間信号成分のうちの或るテスト期間信号成分を有する少なくとも2つの組を発生する、請求項1に記載の装置。
  10. 各組が2つのテスト期間信号成分からなる、請求項1に記載の装置。
  11. 前記分割器が、前記テスト期間信号成分の全ての可能な対の組み合わせを発生する、請求項10に記載の装置。
  12. 各テスト期間信号成分が、10msec以上で200msec以下の持続時間を有する、請求項10に記載の装置。
  13. オーディオ干渉尺度を発生する方法であって、前記方法は、
    マイクロフォンからマイクロフォン信号を受信するステップであって、前記マイクロフォン信号が前記マイクロフォンにより捕捉されるオーディオテスト信号に対応するテスト信号成分を有するステップと、
    前記マイクロフォン信号を複数のテスト期間信号成分に分割するステップであって、各テスト期間信号成分が1つの期間内の前記マイクロフォン信号に対応し、前記オーディオテスト信号がオーディオ信号成分の複数の繰り返しを有し、前記テスト期間信号成分のタイミングが前記繰り返しのタイミングに対応するステップと、
    前記複数のテスト期間信号成分からテスト期間信号成分の組を発生するステップと、
    前記テスト期間信号成分の各組に関する類似性数値を発生するステップと、
    前記類似性数値に応じて個々のテスト期間信号成分に関する干渉尺度を決定するステップと、
    を有し、
    前記分割するステップは、前記テスト期間信号成分を前記繰り返しに同期させるステップを含むことを特徴とする、方法。
  14. コンピュータ請求項13に記載の方法の全てのステップを実行させるためのプログラム。

JP2015536255A 2012-10-09 2013-10-04 オーディオ干渉推定のための方法及び装置 Active JP6580990B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261711249P 2012-10-09 2012-10-09
US61/711,249 2012-10-09
PCT/IB2013/059117 WO2014057406A1 (en) 2012-10-09 2013-10-04 Method and apparatus for audio interference estimation

Publications (3)

Publication Number Publication Date
JP2015535962A JP2015535962A (ja) 2015-12-17
JP2015535962A5 JP2015535962A5 (ja) 2017-07-13
JP6580990B2 true JP6580990B2 (ja) 2019-09-25

Family

ID=49517561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015536255A Active JP6580990B2 (ja) 2012-10-09 2013-10-04 オーディオ干渉推定のための方法及び装置

Country Status (7)

Country Link
US (1) US9591422B2 (ja)
EP (1) EP2907323B1 (ja)
JP (1) JP6580990B2 (ja)
CN (1) CN104685903B (ja)
BR (1) BR112015007625B1 (ja)
RU (1) RU2651616C2 (ja)
WO (1) WO2014057406A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412390B1 (en) * 2010-04-12 2016-08-09 Smule, Inc. Automatic estimation of latency for synchronization of recordings in vocal capture applications
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US11146901B2 (en) 2013-03-15 2021-10-12 Smule, Inc. Crowd-sourced device latency estimation for synchronization of recordings in vocal capture applications
US10284985B1 (en) 2013-03-15 2019-05-07 Smule, Inc. Crowd-sourced device latency estimation for synchronization of recordings in vocal capture applications
US9785706B2 (en) * 2013-08-28 2017-10-10 Texas Instruments Incorporated Acoustic sound signature detection based on sparse features
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
DE102015106114B4 (de) * 2015-04-21 2017-10-26 D & B Audiotechnik Gmbh Verfahren und einrichtung zur positionserkennung von lautsprecherboxen einer lautsprecherboxenanordnung
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
CN108028985B (zh) 2015-09-17 2020-03-13 搜诺思公司 用于计算设备的方法
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
CN107045874B (zh) * 2016-02-05 2021-03-02 深圳市潮流网络技术有限公司 一种基于相关性的非线性语音增强方法
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
CN106454670B (zh) * 2016-10-20 2020-06-02 海能达通信股份有限公司 一种啸叫检测方法及装置
US10375498B2 (en) 2016-11-16 2019-08-06 Dts, Inc. Graphical user interface for calibrating a surround sound system
CN106792414A (zh) * 2016-11-28 2017-05-31 青岛海信移动通信技术股份有限公司 一种终端的麦克风检测方法及终端
US10887712B2 (en) 2017-06-27 2021-01-05 Knowles Electronics, Llc Post linearization system and method using tracking signal
CN112272848B (zh) * 2018-04-27 2024-05-24 杜比实验室特许公司 使用间隙置信度的背景噪声估计
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
CN109087669B (zh) * 2018-10-23 2021-03-02 腾讯科技(深圳)有限公司 音频相似度检测方法、装置、存储介质及计算机设备
US10943599B2 (en) 2018-10-26 2021-03-09 Spotify Ab Audio cancellation for voice recognition
WO2020200595A1 (en) * 2019-03-29 2020-10-08 Sony Corporation Signal processing
WO2021021857A1 (en) 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Acoustic echo cancellation control for distributed audio devices
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
TWI740206B (zh) * 2019-09-16 2021-09-21 宏碁股份有限公司 訊號量測的校正系統及其校正方法
CN113225659A (zh) * 2020-02-06 2021-08-06 钉钉控股(开曼)有限公司 设备测试方法及电子设备
US20200243067A1 (en) * 2020-04-15 2020-07-30 Intel Corportation Environment classifier for detection of laser-based audio injection attacks
US11961535B2 (en) 2020-07-28 2024-04-16 Intel Corporation Detection of laser-based audio injection attacks using channel cross correlation
CN113077804B (zh) * 2021-03-17 2024-02-20 维沃移动通信有限公司 回声消除方法、装置、设备及存储介质
US11776556B2 (en) * 2021-09-27 2023-10-03 Tencent America LLC Unified deep neural network model for acoustic echo cancellation and residual echo suppression
EP4228187B1 (en) * 2022-02-15 2024-06-19 Aptiv Technologies AG Integrity tests for mixed analog digital systems
CN115604613B (zh) * 2022-12-01 2023-03-17 杭州兆华电子股份有限公司 一种基于隔音箱实现的声干扰消除方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6006175A (en) * 1996-02-06 1999-12-21 The Regents Of The University Of California Methods and apparatus for non-acoustic speech characterization and recognition
JPH09292885A (ja) * 1996-04-30 1997-11-11 Oki Electric Ind Co Ltd 音響空間インパルス応答推定装置
US5937377A (en) * 1997-02-19 1999-08-10 Sony Corporation Method and apparatus for utilizing noise reducer to implement voice gain control and equalization
CN100337270C (zh) * 2004-08-18 2007-09-12 华为技术有限公司 一种语音通信终端背景噪声的消除装置及方法
US7970151B2 (en) * 2004-10-15 2011-06-28 Lifesize Communications, Inc. Hybrid beamforming
WO2007131815A1 (en) 2006-05-16 2007-11-22 Phonak Ag Hearing device and method for operating a hearing device
JP4725422B2 (ja) * 2006-06-02 2011-07-13 コニカミノルタホールディングス株式会社 エコーキャンセル回路、音響装置、ネットワークカメラ、及びエコーキャンセル方法
KR101427648B1 (ko) * 2007-10-12 2014-08-07 삼성전자주식회사 어레이 스피커 시스템에서 불균일 방사 패턴을 제거하는방법 및 장치
US8118712B2 (en) * 2008-06-13 2012-02-21 Gil Thieberger Methods and systems for computerized talk test
US8379873B2 (en) * 2009-04-29 2013-02-19 Bose Corporation Adaptive headset connection status sensing
CA2768142C (en) * 2009-07-15 2015-12-15 Widex A/S A method and processing unit for adaptive wind noise suppression in a hearing aid system and a hearing aid system
JP5493817B2 (ja) * 2009-12-17 2014-05-14 沖電気工業株式会社 エコーキャンセラ
WO2012069973A1 (en) 2010-11-24 2012-05-31 Koninklijke Philips Electronics N.V. A device comprising a plurality of audio sensors and a method of operating the same
JP5627440B2 (ja) * 2010-12-15 2014-11-19 キヤノン株式会社 音響装置及びその制御方法、プログラム

Also Published As

Publication number Publication date
US20150271616A1 (en) 2015-09-24
RU2015117617A (ru) 2016-12-10
EP2907323A1 (en) 2015-08-19
BR112015007625A2 (pt) 2017-07-04
CN104685903A (zh) 2015-06-03
JP2015535962A (ja) 2015-12-17
EP2907323B1 (en) 2017-09-06
US9591422B2 (en) 2017-03-07
CN104685903B (zh) 2018-03-30
WO2014057406A1 (en) 2014-04-17
RU2651616C2 (ru) 2018-04-23
BR112015007625B1 (pt) 2021-12-21

Similar Documents

Publication Publication Date Title
JP6580990B2 (ja) オーディオ干渉推定のための方法及び装置
KR101250124B1 (ko) 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법
EP3080975B1 (en) Echo cancellation
JP5000647B2 (ja) 音声状態モデルを使用したマルチセンサ音声高品質化
JP4842583B2 (ja) 多感覚音声強調のための方法および装置
CN103238182B (zh) 具有远程噪声检测器的降噪系统
JP4975025B2 (ja) クリーン音声の事前分布を使用した多感覚応用の音声強調
BRPI1008266B1 (pt) Disposição canceladora de eco acústico de múltiplos canais e método de cancelamento de eco acústico de múltiplos canais
CN102056068B (zh) 在线性非时变系统识别期间监视环境噪声对随机梯度算法影响的方法
US9773510B1 (en) Correcting clock drift via embedded sine waves
JP7325445B2 (ja) ギャップ信頼度を用いた背景雑音推定
US8406430B2 (en) Simulated background noise enabled echo canceller
BR112014009338B1 (pt) Aparelho de atenuação de ruído e método de atenuação de ruído
JP5086442B2 (ja) 雑音抑圧方法及び装置
US20210304782A1 (en) Forced gap insertion for pervasive listening
CN112382305B (zh) 调节音频信号的方法、装置、设备和存储介质
JP2023077339A (ja) 撮影装置、制御方法、およびプログラム
JP2023077995A (ja) 撮影装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170531

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170531

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180123

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190329

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190829

R150 Certificate of patent or registration of utility model

Ref document number: 6580990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250