JP5940678B2 - 超音波動き検出に基づく音響エコー消去 - Google Patents

超音波動き検出に基づく音響エコー消去 Download PDF

Info

Publication number
JP5940678B2
JP5940678B2 JP2014543483A JP2014543483A JP5940678B2 JP 5940678 B2 JP5940678 B2 JP 5940678B2 JP 2014543483 A JP2014543483 A JP 2014543483A JP 2014543483 A JP2014543483 A JP 2014543483A JP 5940678 B2 JP5940678 B2 JP 5940678B2
Authority
JP
Japan
Prior art keywords
mobile device
signal
channel response
movement
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014543483A
Other languages
English (en)
Other versions
JP2015506129A (ja
Inventor
リ、レン
チャン、クウォクリュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015506129A publication Critical patent/JP2015506129A/ja
Application granted granted Critical
Publication of JP5940678B2 publication Critical patent/JP5940678B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Description

関連出願の相互参照
本出願は、その内容全体が参照により本明細書に明確に組み込まれる、2011年11月23日に出願された米国仮特許出願第61/563,191号、および米国非仮特許出願第13/416,217号の優先権を主張する。
本開示は、一般にエコー消去と動き検出とに関する。
技術の進歩により、コンピューティングデバイスは、より小型でより強力になった。たとえば、現在、小型で、軽量で、ユーザが容易に持ち運べる、ポータブルワイヤレス電話、携帯情報端末(PDA)、およびページングデバイスなど、ワイヤレスコンピューティングデバイスを含む、様々なポータブルパーソナルコンピューティングデバイスが存在する。より具体的には、セルラー電話およびインターネットプロトコル(IP)電話などのポータブルワイヤレス電話は、ワイヤレスネットワークを介して音声およびデータパケットを通信することができる。さらに、多くのそのようなワイヤレス電話は、その中に組み込まれた他のタイプのデバイスを含む。たとえば、ワイヤレス電話は、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤをも含むことができる。
ワイヤレス電話などのいくつかの電子デバイスは、オーディオ信号処理演算中で使用される適応フィルタ(adaptive filter)を含み得る。概して、適応フィルタは、更新アルゴリズムに基づいて自動調整する信号処理フィルタであり得る。たとえば、反射面が未知のロケーションに存在し得る。ワイヤレス電話が移動すると、反射面は、オーディオ信号中に雑音または誤りをもたらすエコーを生じ得る。適応フィルタは、エコー消去のためにワイヤレス電話(または他の電子デバイス)のオーディオ受信機によって使用され得る。(たとえば、オーディオソースおよび/または宛先が移動するので)反射面のロケーションが変化すると、適応フィルタは自動調整し得、適応フィルタの伝達関数は調整された伝達関数に収束し得る。性能を改善するために、適応フィルタができるだけ迅速に収束することが好ましいことがある。
音響エコー消去システムは、一般に、正規化最小2乗平均(NLMS:normalized least mean square)アルゴリズムに基づいて適応フィルタを使用する。NLMS適応アルゴリズムは、ステップサイズファクタ(step size factor)μに依存し得、反復的に動作し得る。各反復の後に、NLMSアルゴリズムの出力信号は、所望の信号(すなわち、NLMSNLMアルゴリズムが出力信号を収束させようと試みている信号)と比較され得る。一般に、(NLMS誤りとしても知られる)出力信号と所望の信号との間の差分は非ゼロであり、したがって、NLMSアルゴリズムは、各反復の後に、μの値と他のパラメータとを自動調整し得る。したがって、各反復におけるμの値は、前の反復においてどのくらいの誤りが検出されたかに基づいて修正され得る。概して、μの値が大きくなると収束は速くなり得、μの値が小さくなると収束は遅くなり得る。しかしながら、NLMSを使用する適応フィルタがより速く収束するほど、適応フィルタによって生じ得、ポスト収束フィルタによる補正を必要とし得る残差信号(たとえば、エコー)の量は大きくなる。
音響エコー消去パラメータを更新するためにオーディオ誤りに反応するのではなく、提案するシステムおよび方法は、超音波信号を使用して、動きを検出し、音響エコー消去パラメータ(たとえば、μ)をプロアクティブに変更し、これは、エコー消去の改善(たとえば、より速い適応フィルタ収束)につながり得る。たとえば、超音波信号は動きアクティビティ検出(MAD:motion activity detection)および近接検出(PD:proximity detection)を実行するために使用され得、μの値はMADとPDとに基づいて変更され得る。MADは、受信した超音波信号から導出されたチャネル応答画像の変化に基づいて超音波受信機の近くの移動している物体を検出し得る。PDは、現在のチャネル応答画像を較正された「背景」チャネル応答画像と比較することに基づいて、モバイルデバイスが(壁などの移動していない物体を含む)別の物体に近接していることを検出し得る。音響エコー消去パラメータを変更するために、ダブルトーク検出器および方位/回転センサーなどの追加の検出器およびセンサーも使用され得る。
特定の実施形態では、方法は、超音波受信機において超音波送信機から超音波信号を受信することを含む。本方法はまた、受信した超音波信号と少なくとも1つの前に受信した超音波信号とに基づいて少なくとも1つの物体の移動を検出することを含む。本方法は、検出された移動に応答して音響エコーキャンセラのパラメータを変更することをさらに含む。いくつかの実施形態では、パラメータは、音響エコーキャンセラ中の適応フィルタの適応レートに対応し得る。
別の特定の実施形態では、システムは、超音波送信機から超音波信号を受信するように構成された超音波受信機を含む。本システムはまた、少なくとも1つの物体の移動を検出するように構成された動きアクティビティ検出モジュールを含む。本システムは、検出された移動に応答して音響エコーキャンセラのパラメータを変更するように構成された音響エコーキャンセラをさらに含む。いくつかの実施形態では、本システムは、超音波信号と反射超音波信号とに関連するチャネル応答画像に基づいて、超音波受信機が1つまたは複数の外部物体に近接しているかどうかを判断するように構成された近接検出器を含み得、音響エコーキャンセラは、近接検出器に応答してパラメータを変更するようにさらに構成され得る。
開示する実施形態のうちの少なくとも1つによって与えられる特定の利点は、超音波ベースの動き検出および/または近接検出など、オーディオ信号処理において従来使用されない情報源に基づいて、適応フィルタリングパラメータなどの音響エコー消去パラメータをプロアクティブに変更する能力を含む。
本開示の他の態様、利点、および特徴は、図面の簡単な説明、発明を実施するための形態、および特許請求の範囲のセクションを含む、本明細書全体を検討すれば明らかになろう。
超音波動きアクティビティ検出(MAD)に基づいて音響エコー消去を実行するように動作可能であるシステムの特定の実施形態を示す図。 超音波近接検出(PD)に基づいて音響エコー消去を実行するように動作可能であるシステムの特定の実施形態を示す図。 超音波MADと超音波PDの両方に基づいて音響エコー消去を実行するように動作可能であるシステムの特定の実施形態を示す図。 図1〜図3のシステムの音響エコーキャンセラにおけるフィルタ更新ソースの特定の実施形態を示すブロック図。 超音波動き検出に基づいて音響エコー消去を実行する方法の特定の実施形態を示すフローチャート。 超音波MADに基づいて音響エコー消去を実行する方法の特定の実施形態を示すフローチャート。 超音波PDに基づいて音響エコー消去を実行する方法の特定の実施形態を示すフローチャート。 図1〜図7のシステムおよび方法による、超音波動き検出に基づいて音響エコー消去を実行するように動作可能なワイヤレスデバイスのブロック図。
図1を参照すると、超音波動きアクティビティ検出(MAD)に基づいて音響エコー消去を実行するように動作可能であるシステム100の特定の実施形態が示されている。たとえば、モバイルデバイス110は、超音波信号に基づいて物体120が第1の位置120Aから第2の位置120bに移動しているか、または移動したことを検出し得る。
モバイルデバイス110は、モバイルフォン、ポータブルコンピューティングデバイス、タブレットコンピューティングデバイス、携帯情報端末(PDA)、ポータブルメディアプレーヤ、別のモバイルデバイス、またはそれらの任意の組合せであり得る。モバイルデバイス110は、超音波送信機111と1つまたは複数の超音波受信機(たとえば、例示的な超音波受信機112)とを含み得る。特定の実施形態では、モバイルデバイス110は、図8を参照しながらさらに説明するように、3つの超音波受信機を含み得る。
超音波送信機111は、モバイルデバイス110の動作中に超音波信号を送信するように構成された超音波スピーカーまたは他の送信機であり得る。たとえば、超音波送信機111は、第1の超音波信号131と、物体120が第1の位置120Aに位置するときは第2の超音波信号132と、物体120が第2のロケーション120bに移動したときは第3の超音波信号134とを送信し得る。超音波受信機112は、モバイルデバイス110の動作中に超音波信号を受信するように構成された超音波マイクロフォンまたは他の受信機であり得る。超音波受信機112は、超音波送信機111から信号(たとえば、第1のエコー経路を介した第1の超音波信号131)を直接受信し、ならびにモバイルデバイス110の近傍にある1つまたは複数の物体から反射された信号(たとえば、それぞれ第2のエコー経路および第3のエコー経路を介した反射超音波信号133および135)を受信し得る。
本明細書で使用する「超音波受信機」および「超音波マイクロフォン」という用語は、超音波信号のみを受信することが可能である受信機(すなわち、専用超音波受信機)を識別し得、他の信号も受信することが可能である受信機(すなわち、多目的受信機)をも識別し得ることに留意されたい。たとえば、多目的受信機はまた、人間の可聴範囲(たとえば、20Hz〜20kHz)内にあるオーディオ信号と他のタイプの信号(たとえば、電磁信号、無線周波(RF:radio frequency)信号など)とを受信するように動作可能であり得る。同様に、本明細書で使用する「超音波送信機」および「超音波スピーカー」という用語は、超音波信号のみを送信することが可能である送信機(すなわち、専用超音波送信機)を識別し得、他の信号も送信することが可能である送信機(すなわち、多目的送信機)をも識別し得る。たとえば、多目的送信機はまた、人間の可聴範囲(たとえば、20Hz〜20kHz)内にあるオーディオ信号と他のタイプの信号(たとえば、電磁信号、無線周波(RF)信号など)とを送信するように動作可能であり得る。
モバイルデバイス110はまた、動きアクティビティ検出(MAD)モジュール113を含み得る。MADモジュール113は、図示のように、超音波送信機111と超音波受信機112とから入力を受信し得る。MADモジュール113はまた、モバイルデバイス110内の、それに結合された、および/またはそれにアクセス可能なメモリまたは他のストレージデバイスに記憶され得る、バッファされたチャネル応答画像114にアクセスするように構成され得る。MADモジュール113は、少なくとも1つの物体(たとえば、物体120)の移動を検出するように構成され得る。物体120の移動は、超音波送信機111によって送信された超音波信号、超音波受信機112によって受信された超音波信号、バッファされたチャネル応答画像114、またはそれらの任意の組合せに基づいて検出され得る。
たとえば、MADモジュール113は、そのような移動が超音波受信機112において検出されるチャネル応答画像を妨害することになるという前提に基づいて近くの物体の移動を検出し得る。したがって、チャネル応答の変化は、物体が移動しているかどうかを判断するために所定のしきい値と比較され得る。チャネル応答画像が前にバッファされたチャネル応答画像から減算されるとき、移動していない物体は「背景」の一部になり得る(たとえば、減算され得る)。例示のために、MADモジュール113は、受信した超音波信号に基づいてチャネル応答画像を計算し、計算されたチャネル応答画像を前にバッファされたチャネル応答画像114のうちの1つと比較し、チャネル応答画像間の差分が差分しきい値よりも大きいかどうかに基づいてMADフラグをアサート/デアサートし得る。
モバイルデバイス110は、MADモジュール113からMADフラグを受信する音響エコーキャンセラ(AEC:acoustic echo canceller)115を含み得る。AEC115は、モバイルデバイス110のオーディオ受信機116(たとえば、オーディオマイクロフォン)によって検出されたオーディオ信号を受信し得る。特定の実施形態では、オーディオ受信機116と超音波受信機112とは単一の受信機に統合され得る。MADフラグに基づいて、AEC115は、エコー消去オーディオデータ117を生成するために、受信したオーディオデータに対してエコー消去動作を実行し得る。たとえば、AEC115は、様々なパラメータに応答する適応フィルタを含み得る。特定の実施形態では、AEC115中の適応フィルタは、適応レート(たとえば、ステップサイズファクタ)μに応答する正規化最小2乗平均(NLMS)適応フィルタであり得る。AEC115は、MADフラグに基づいてμの値を変更し得る(たとえば、増加または減少させ得る)。
動作中、超音波送信機111は超音波信号を送信し得る。たとえば、超音波送信機111は、反射なしに超音波受信機112によって受信される第1の超音波信号131を送信し得る。物体120が第1の位置120aにあるとき、超音波送信機111は、第1の位置120aにおいて物体120によって反射され、反射信号133として超音波受信機112によって受信され得る第2の超音波信号132を送信し得る。MADモジュール113は、反射信号133に基づいて第1のチャネル応答画像を計算し、記憶し得る。
物体120が第2の位置120bにあるとき、超音波送信機111は、第2の位置120bにおいて物体120によって反射され、反射信号135として超音波受信機112によって受信され得る第3の超音波信号134を送信し得る。MADモジュール113は、反射信号135に基づいて第2のチャネル応答画像を計算し、記憶し得る。MADモジュール113は、第2のチャネル応答画像と第1のチャネル応答画像との間の差分を計算し得、その差分を差分しきい値と比較し得る。特定の実施形態では、MADモジュール113は、複数のチャネル応答フレームをバッファして2次元(2D)行列を形成し得、形成された2D行列から前にバッファされた2D行列を減算し得る。2D行列の減算は、反射超音波信号133および135に対する直接経路効果を除去し得る。計算された差分が差分しきい値よりも大きいとき、MADモジュール113は、物体120が(たとえば、第1の位置120aから第2の位置120bに)移動したと判断し得、それに応答してMADフラグをアサートし得る。計算された差分が差分しきい値よりも小さいとき、MADフラグはデアサートされ得る。
AEC115は、オーディオ受信機116からオーディオデータを受信し得、MADフラグに応答してエコー消去動作を実行して、エコー消去オーディオデータ117を生成し得る。特定の実施形態では、AEC115は、MADフラグに基づいてAEC115内の適応フィルタ115の適応レートμを増加または減少させ得る。たとえば、AEC115は、MADフラグがアサートされるときに適応レートμを増加させ得、MADフラグがデアサートされるときに適応レートμを減少させ得る。
したがって、図1のシステム100は、超音波信号などの非オーディオ情報源に基づいた音響エコー消去パラメータ(たとえば、μ)の変更を可能にし得る。非オーディオ情報源を音響エコー消去に組み込むことは、(たとえば、より速い適応フィルタ収束による)音響エコー消去の改善につながり得る。超音波ベースの動きアクティビティ検出(MAD)はまた、図3を参照しながらさらに説明するように、ポスト収束非線形処理などのポストエコー消去動作に影響を及ぼすために使用され得る。
非限定的な一例では、図1のシステム100は、オーディオ会議または他の音声入力シナリオに適用例を見出し得る。オーディオ会議中に、話者または他の会議参加者は、時々、リッスンまたは通話する間にオーディオ受信機116(たとえば、オーディオマイクロフォン)の前で移動し得る。話者がオーディオ受信機116の前で移動するとき、音響チャネル経路は変化し得る。さらに、オーディオ受信機116への話者の近接度のために、話者の移動によるチャネル変化は、他の物体の移動によるチャネルの変化よりも顕著であり得る。MADモジュール113の使用なしに、AEC115中の適応フィルタは、何らかのオーディオひずみ(たとえば、エコー効果)が生じた後まで話者の移動に反応し得ない。対照的に、MADモジュール113は、リアルタイムまたはほぼリアルタイムで(たとえば、話者が移動し始めるとすぐに)話者の移動に基づいてMADフラグをアサートし得、これにより、AEC115中の適応フィルタの収束がより速くなり、オーディオひずみが低減され得る。
図1に、超音波信号に基づいて外部物体120の動きを検出するモバイルデバイス110の一例を示す。しかしながら、モバイルデバイス110と任意の近くの外部物体のどちらも移動していない(すなわち、MADモジュール113によって生成されたMADフラグがデアサートされる)状況でもオーディオエコーが存在し得ることを諒解されよう。たとえば、エコーは、モバイルデバイス110が壁に近づいたときに壁によって生じ得、モバイルデバイス110が移動するのを止めた後に壁によって生じ続け得る。図2を参照すると、超音波近接検出(PD)に基づいて音響エコー消去を実行するように動作可能であるシステム200の特定の実施形態が示されている。たとえば、図2の実施形態では、モバイルデバイス110は、超音波信号に基づいてそれが物体(たとえば、壁220)に近接していることを検出し得る。
モバイルデバイス110はPDモジュール213を含み得る。PDモジュール213は、図示のように、超音波送信機111と超音波受信機112とから入力を受信し得る。PDモジュール213はまた、モバイルデバイス110内の、それに結合された、および/またはそれにアクセス可能なメモリまたは他のストレージデバイスに記憶され得る、較正チャネル応答画像214にアクセスするように構成され得る。PDモジュール113は、超音波送信機111によって送信された超音波信号、超音波受信機112によって受信された超音波信号、較正チャネル応答画像214、またはそれらの任意の組合せに基づいてモバイルデバイス110が物体(たとえば、壁220)に近接していることを検出するように構成され得る。たとえば、PDモジュール213は、モバイルデバイス110が壁220に近接しているときにAEC115に与えられるPDフラグをアサートし得る。
AEC115は、PDフラグに基づいてオーディオ受信機116から受信したオーディオデータに対してエコー消去動作を適応させ得る。たとえば、AECは、PDモジュール213からのPDフラグに基づいて適応フィルタの適応レートμなどのパラメータを変更し得る。
例示のために、動作中、モバイルデバイス110は、1つまたは複数の較正チャネル応答画像214を計算し、記憶し得る。較正チャネル応答画像214は「背景」チャネル応答画像を表し得る。たとえば、「背景」チャネル応答画像は、モバイルデバイス110がエコーに影響を及ぼす物体に近接していないとき、モバイルデバイス110が移動している物体にも近接していないとき、および/またはモバイルデバイス110が知られている反射面(たとえば、壁または他の非可動物体)に近接しているときの状態に対応し得る。特定の実施形態では、モバイルデバイス110の周りで移動が生じている場合、PDモジュール213は「背景」チャネル応答画像としてチャネル応答画像を記憶し得ない。たとえば、図1のMADモジュール113によって生成されたMADフラグがデアサートされない限り、PDモジュール213は較正チャネル応答画像を記憶し得ない。MADフラグがデアサートされるとき、これは、移動が生じていないことと、超音波信号が事前トレーニングされた信号/エコー経路を進んでいることがあることとを示し得る。特定の実施形態では、事前トレーニングされた信号/エコー経路は、図3を参照しながらさらに説明するように、記憶され得、より速い適応フィルタ収束を達成するためにAEC115に与えられ得る。
モバイルデバイス110が移動するにつれて、超音波送信機111は超音波を送信し得、その超音波は、直接経路を介して(たとえば、第1の超音波信号231として)、および反射/エコー経路を介して(たとえば、壁220が第2の超音波信号232を反射することによって生じる反射超音波信号233として)超音波受信機112によって受信され得る。PDモジュール213は、N個のチャネル応答フレームを収集し得、N個のチャネル応答フレームと較正チャネル応答フレームとの間の差分を計算し得る。例示のために、受信した直接経路信号231および/または受信した反射信号233に対応するチャネル応答画像から1つまたは複数の較正チャネル応答画像214を減算することによって異なるチャネル応答が取得され得る。差分が差分しきい値よりも大きい場合、PDモジュールはPDフラグをアサートし得る。
したがって、図2のシステム200は、超音波近接検出(PD)に基づいて音響エコー消去パラメータのプロアクティブ変更を可能にし得る。たとえば、モバイルデバイス110が壁220に近づいたとき、AEC115中の適応フィルタの適応レートμは増加され得、これにより、適応フィルタの収束がより速くなり得る。PDはまた、図3を参照しながらさらに説明するように、「背景」信号情報としてAEC115に与えられ得る、事前トレーニングされたエコー経路の記憶および検索をトリガするために使用され得る。
図1および図2の実施形態に超音波動きオーディオ検出(MAD)と超音波近接度検出(PD)とを別個に示すが、MADとPDとが一緒に使用され得ることに留意されたい。たとえば、図3に、MAD/PDモジュール313を含む、超音波MADと超音波PDの両方に基づいて音響エコー消去を実行するように動作可能であるシステム300の特定の実施形態を示す。例示的な一実施形態では、MAD/PDモジュール313は、図1のMADモジュール113と図2のPDモジュール213とを含む。
システム300は、スピーカー311とマイクロフォン312とを含む。特定の実施形態では、スピーカー311は複合超音波およびオーディオスピーカーであり得、マイクロフォン312は複合超音波およびオーディオマイクロフォンであり得る。システム300はまた、加算器341と、MAD/PDモジュール313に結合されたダブルトーク検出器(DTD:double-talk detector)342と、適応フィルタ340と、非線形プロセッサ(NLP:nonlinear processor)343とを含み得る。システム300は、バッファされたチャネル応答画像114と較正チャネル応答画像214とをさらに含み得る。
DTD342は、ダブルトークシナリオによって生じるオーディオ中断を検出し、緩和し得る。たとえば、全二重会話中に、ラウドスピーカー信号はファーエンド信号と見なされ得、マイクロフォン信号はニアエンド信号と見なされ得る。概して、ニアエンドマイクロフォン信号は「所望の」信号を表し得、(たとえば、適応フィルタ340による)適応フィルタ処理を介した音響エコー消去は、ニアエンドマイクロフォン信号に対するエコー効果を除去することを伴い得る。しかしながら、ファーエンド音声中のニアエンド話者の存在は適応フィルタ340の動作に中断を生じ得る。この中断に対抗するために、そのようなダブルトークシナリオ中に適応フィルタ340の適応を休止または停止することが有益であり得る。したがって、DTD342は、ダブルトークシナリオを検出し得、ダブルトークシナリオが検出されるとき、適応フィルタ340およびシステム300の他の構成要素に通知し得る。
MAD/PDモジュール313は、図1に関して説明したように、マイクロフォン312によって受信された超音波信号から導出されたチャネル応答画像とバッファされたチャネル応答画像114とに基づいて(たとえば、超音波ソース、超音波受信機、または介在物の動きにより)超音波信号のエコー経路が変化したことを検出し得る。MAD/PDモジュール313はまた、図2に関して説明したように、マイクロフォン312によって受信された超音波信号から導出されたチャネル応答画像と較正チャネル応答画像214とに基づいてマイクロフォン312が別の物体(たとえば、壁)に近接しているときを検出し得る。MAD/PDモジュール313は、適応フィルタ340に制御信号350を与え得る。たとえば、制御信号350は、図1〜図2を参照しながら説明したように、MADフラグとPDフラグとを含み得、適応フィルタ340の適応レートμを更新するために使用され得る。MAD/PDモジュール313はまた、NLP343に制御信号350を与え得る。
NLP343は、適応フィルタ340によって生じた残差エコーを緩和するように構成されたポスト収束フィルタであり得る。たとえば、適応フィルタ340の高速な収束が望ましいことがあるが、適応フィルタ340の高速な収束は残差エコーを生成し得る。NLP343は、DTD342とMAD/PDモジュール313とに応答し得る。特定の実施形態では、NLP343は、MAD/PDモジュール313からの制御信号350に基づいてアグレッシブネスパラメータを自動調整し得る。たとえば、(たとえば、経路変更を示す)制御信号350中のMADフラグがアサートされるとき、アグレッシブネスパラメータは増加され得る。逆に、MADフラグがデアサートされるとき、アグレッシブネスパラメータはデフォルト値にリセットされ得る。NLP343のアグレッシブネスパラメータを変更するための超音波MADの使用は、システム300におけるエコー消去の改善を生じ得る。
特定の実施形態では、適応フィルタ340の適応レートμとNLP343のアグレッシブネスパラメータとはまた方位/回転センサーに基づいて変更され得る。たとえば、適応フィルタ340の適応レートμは、回転が検出されるとき増加され得、回転が検出されないとき減少され得る。別の例として、アグレッシブネスパラメータは、回転が検出されるとき増加され得、回転が検出されないときリセットされ得る。方位/回転センサーを含むモバイルデバイスの特定の例については、図8を参照しながらさらに説明する。
動作中、マイクロフォン312は、スピーカー311によって生成された信号を含むオーディオ/超音波信号を受信し得る。DTD342はダブルトーク状況を検出し得、MAD/PDモジュール313は、制御信号350を介して、マイクロフォン312の近傍にある物体が移動しているかどうかと、マイクロフォン312が別の物体(たとえば、壁)に近接しているかどうかとを示し得る。制御信号350と、ダブルトーク状況が検出されるかどうかを示すDTD342からの入力と、ファーエンド信号情報とに基づいて、適応フィルタ340は加算器341にフィルタ信号を出力し得る。フィルタ信号は、受信したオーディオ信号から減算されて、エコー消去オーディオデータ117を生成し得る。エコー消去オーディオデータ117は、さらに、NLP343によって処理されて、出力オーディオデータ360を生成し得る。全二重オーディオ会議でなどの特定の実施形態では、出力データ360は出力のためのスピーカー311に送られ得る。
特定の実施形態では、システム300は事前トレーニングされたエコー経路370を記憶し得る。たとえば、オーディトリアムにいる人が話し始める前に、その人は、壁、隅、および他の物体に近いロケーションを含む、ステージ上の様々なロケーションに向かって歩き得る。そのような各ロケーションにおいて、(たとえば、対応する較正チャネル応答画像214を含む)エコー経路がトレーニングされ、記憶され得る。音声中に、ステージの事前トレーニングされたロケーションのうちの1つにその人が戻ったことを近接検出情報が示すとき、対応する事前トレーニングされたエコー経路が、取り出され、適応フィルタ340に与えられ得る。壁など、知られている障害物または反射面への近接度に基づいて事前トレーニングされたエコー経路を記憶し、取り出すことにより、適応フィルタ340のより速い収束が可能になり得る。
したがって、図3のシステム300は、MADとPDの両方に基づいて適応フィルタ340の適応レートμのプロアクティブ変更を可能にし得、これにより、適応フィルタ340の収束がより速くなり得る。システム300はまた、NLP343においてポスト収束動作を更新するために超音波信号情報を活用し得、これは、出力データ360で中の残差エコーを低減し得る。
適応フィルタはまた、MAD情報、PD情報、およびDTD情報以外の情報に基づいて調整され得る。たとえば、図4は、(図3の適応フィルタ340を含み得る)音響エコーキャンセラ(AEC)115におけるフィルタ更新ソースの特定の実施形態を示すブロック図である。
AEC115は、AEC115の適応フィルタを更新するために、DTD343とμ調整信号444とに応答するフィルタ更新モジュール450を含み得る。たとえば、μ調整信号444は、MADフラグとPDフラグとを含む、図3の制御信号350を含み得る。フィルタ更新モジュール450はまた、AEC115の適応フィルタを更新するために、経路変更検出モジュール441と、発散検出モジュール442と、雑音レベル検出モジュール443とに応答し得る。
たとえば、AEC115がダブルフィルタシステムを採用するとき、フィルタ学習(たとえば、適応)はフィルタB上でのみ実行され得、一方、出力信号はフィルタAによって与えられる。そのようなシステムでは、収束が検出されるとき、フィルタBからの係数がフィルタAに伝達され得る。経路変更モジュール441は、エコー経路が変化したかどうか、フィルタBからフィルタAへの係数の伝達が実行されるべきであるかどうか、および/または学習のスピードアップが必要とされるかどうかを判断するためにフィルタBの係数およびエコー消去性能を監視し得る。発散検出モジュール442は、係数の不正確なセットがフィルタAに誤って伝達されたかどうかを判断するためにフィルタAの出力エネルギーを監視し得、その後、フィルタ振幅を低減するか、または新しい係数伝達を開始し得る。雑音レベル検出モジュール443は、背景雑音および/またはニアエンド雑音を監視し得、雑音レベルが増加するにつれて適応レートμを低減し得る。
図5を参照すると、超音波動き検出に基づいて音響エコー消去を実行する方法500の特定の実施形態が示されている。例示的な一実施形態では、方法500は図1〜図2のモバイルデバイス110および図3のシステム300によって実行され得る。
方法500は、502において、超音波受信機において超音波送信機から超音波信号を受信することを含み得る。たとえば、図1を参照すると、超音波受信機112は、超音波送信機111から超音波信号131を受信し得る。超音波受信機112はまた、物体120による超音波信号132および134の反射によって生成された反射超音波信号133および135を受信し得る。別の例として、図2を参照すると、超音波受信機112は、超音波送信機111から超音波信号231を受信し得、壁220による超音波信号232の反射によって生成された超音波信号233を受信し得る。
504に進むと、受信した超音波信号と少なくとも1つの前に受信した超音波信号とに基づいて少なくとも1つの物体の移動を検出する。たとえば、図1では、MADモジュール113は、信号133および135に基づいて第1の位置120aから第2の位置120bへの物体120の移動を検出し得る。別の例として、図2では、PDモジュール213は、信号231および233に基づいてモバイルデバイス110が壁220に近接して移動したことを検出し得る。
506に進むと、検出された移動に応答して音響エコーキャンセラのパラメータを変更する。たとえば、図1〜図2では、AEC115中のパラメータが変更され得る。特定の実施形態では、パラメータは、AEC115の適応フィルタの適応レートμであり得る。
図6を参照すると、超音波MADに基づいて音響エコー消去を実行する方法600の特定の実施形態が示されている。例示的な一実施形態では、方法600は図1のモバイルデバイス110および図3のシステム300によって実行され得る。
方法600は、602において、超音波受信機において超音波送信機から第1の超音波信号を受信することを含み得る。604に進むと、第1の超音波信号に基づいて第1のチャネル応答画像を計算し、記憶する。たとえば、図1では、超音波受信機112は第1の反射信号133を受信し得、MADモジュール113は、バッファされた画像114中の第1の反射信号133に基づいて第1のチャネル応答画像を計算し、記憶し得る。
606に進むと、超音波受信機において超音波送信機から第2の超音波信号を受信する。608において、第2の超音波信号に基づいて第2のチャネル応答画像を計算する。たとえば、図1では、超音波受信機112は第2の反射信号135を受信し得、MADモジュール113は、第2の反射信号135に基づいて第2のチャネル応答画像を計算し得る。
610に進み、第2のチャネル応答画像と第1のチャネル応答画像との間の差分を計算する。612において、差分がしきい値よりも大きいと判断したことに応答して少なくとも1つの物体の移動を検出する。たとえば、図1を参照すると、MADモジュール113は、第1のチャネル応答画像から第2のチャネル応答画像を減算することに基づいて第1の位置120aから第2の位置120bに物体が移動したと判断し得る。
図7を参照すると、超音波PDに基づいて音響エコー消去を実行する方法700の特定の実施形態が示されている。例示的な一実施形態では、方法700は図2のモバイルデバイス110および図3のシステム300によって実行され得る。
方法700は、702において、超音波受信機において超音波送信機から第1の超音波信号を受信することを含み得る。第1の超音波信号は、移動している物体が超音波受信機の近くにないとき(たとえば、MADフラグがデアサートされるとき)に受信され得る。704に進むと、第1の超音波信号に基づいて事前トレーニングされた信号経路に関連する較正チャネル応答画像を計算し、記憶する。たとえば、図2を参照すると、超音波受信機112は第1の超音波信号231を受信し得、PDモジュール213は、第1の超音波信号231に基づいて較正チャネル画像214のうちの1つを計算し、記憶し得る。
706に進むと、超音波受信機において超音波送信機から第2の超音波信号を受信する。708において、第2の超音波信号に基づいて第2のチャネル応答画像を計算する。たとえば、図2を参照すると、超音波受信機112は反射信号233を受信し得、PDモジュール213は、反射信号233に基づいて第2のチャネル応答画像を計算し得る。
710に進み、第2のチャネル応答画像と較正チャネル応答画像との間の差分を計算する。方法700は、712において、差分がしきい値よりも大きいと判断したことに応答して超音波受信機が少なくとも1つの物体に近接して移動したことを検出することを含み得る。たとえば、図2では、PDモジュール213は、較正チャネル応答画像から第2のチャネル応答画像を減算することに基づいて超音波受信機112(したがって、モバイルデバイス110)が物体(たとえば、壁220)に近接して移動したと判断し得る。
図8を参照すると、ワイヤレス通信デバイスの特定の例示的な実施形態のブロック図が示されており、全体的に800と称される。デバイス800は、メモリ832に結合されたオーディオデジタル信号プロセッサ(DSP)などのプロセッサ810を含む。例示的な一実施形態では、メモリ832は、(図1および図3の)バッファされたチャネル応答画像114と、(図1および図3の)較正チャネル応答画像214と、(図3の)事前トレーニングされたエコー経路370とを記憶し得る。メモリ832はまた、図5〜図7を参照しながら説明した方法など、本明細書で開示する方法を実行するために、プロセッサ810によって実行可能な命令860を記憶し得る。
デバイス800はまた、マイクロフォン312とスピーカー311とに結合されたコーダ/デコーダ(コーデック)834(たとえば、オーディオコーデック)を含む。特定の実施形態では、マイクロフォン312とスピーカー311とは、超音波信号とオーディオ信号との同時受信および送信が可能である。コーデック834はまた、第2のマイクロフォン837と第3のマイクロフォン839とに結合され得る。
プロセッサ810は、AEC115、(図3のMAD/PDモジュール313として統合され得る)MADモジュール113およびPDモジュール213、DTD342、経路変更検出モジュール441、発散検出モジュール442、雑音レベル検出モジュール443、ならびにNLP343を含み得、それらの各々は、ハードウェア、プロセッサ810によって実行可能なソフトウェア命令(たとえば、命令860)、またはそれらの任意の組合せを使用してプロセッサ810中に実装され得る。
特定の実施形態では、デバイス800は音響エコー消去を実行し得る。最初に、DTD342は、ニアエンド信号(たとえば、マイクロフォン312、837、および839のうちの1つまたは複数を介して受信した信号)とファーエンド信号(たとえば、スピーカー311によって送信された信号)とに基づいてダブルトークシナリオを監視し得る。AEC115は、ニアエンド信号と、ファーエンド信号と、DTD342とに基づいてエコー消去を実行し得る。MADモジュール113は、AEC115中の適応フィルタが収束するおよび/または迅速に収束するのを妨げ得る外部物体の動きを検出し得る。MADモジュール113が動きを検出するとき、AEC115は、1つまたは複数のパラメータを自動調整し得、適応フィルタは、より高速に収束し得る。たとえば、MADモジュール113がMADフラグをアサートするとき、AEC115は、ニアエンドモード、ファーエンドモード、ダブルトークモード、および/または無音モード(たとえば、オーディオ信号が検出されないとき)における適応フィルタの適応レートμを更新し得る。PDモジュール213は、事前トレーニングされたエコー経路に対応する較正チャネル応答を生成し得る。特定の実施形態では、MADモジュール113が動きを検出する場合、PDモジュール213は、較正チャネル応答を生成し得ない。さらに、PDモジュール213は、デバイス800が1つまたは複数の物体に近接していることを検出するとき、AEC115は、1つまたは複数のパラメータを自動調整し得、適応フィルタはより高速に収束し得る。たとえば、PDモジュール213はPDフラグをアサートし得、AEC115は、適応フィルタの適応レートμを更新し、および/または「背景」信号情報としてAEC115にコピーされた事前トレーニングされたエコー経路を取り出し得る。
NLP343はまた、AEC115によるデータ出力から残差エコーを除去するためにMADモジュール113とPDモジュール213とに基づいて自動調整し得る。経路変更検出モジュール441と、発散検出モジュール442と、雑音レベル検出モジュール443とはまた、AEC115における適応フィルタ収束の速度を選択的に上げるために使用され得る。特定の実施形態では、AEC115および/またはNLP343はまた、1つまたは複数のパラメータを自動調整するために、(たとえば、加速度計および/またはジャイロスコープを含む)方位/回転センサー878に応答し得る。
図8はまた、プロセッサ810とディスプレイ828とに結合されたディスプレイコントローラ826を示す。図8はまた、ワイヤレスコントローラ840が、プロセッサ810と、ワイヤレスアンテナ842に結合されたトランシーバ870とに結合され得ることを示す。
特定の実施形態では、プロセッサ810、ディスプレイコントローラ826、メモリ832、コーデック834、ワイヤレスコントローラ840、およびトランシーバ870は、システムインパッケージまたはシステムオンチップデバイス822中に含まれる。特定の実施形態では、入力デバイス830および電源844がシステムオンチップデバイス822に結合される。さらに、特定の実施形態では、図8に示すように、ディスプレイ828、入力デバイス830、スピーカー311、マイクロフォン312、837、および839、ワイヤレスアンテナ842、および電源844は、システムオンチップデバイス822の外部にある。ただし、ディスプレイ828、入力デバイス830、スピーカー311、マイクロフォン312、837、および839、ワイヤレスアンテナ842、および電源844の各々は、インターフェースまたはコントローラなど、システムオンチップデバイス822の構成要素に結合され得る。
さらに、本明細書で開示した実施形態に関して説明した様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、ハードウェアプロセッサなどの処理デバイスによって実行されるコンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップを、上記では概して、それらの機能に関して説明した。そのような機能をハードウェアとして実装するか、実行可能ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。
本明細書で開示する実施形態に関して説明する方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、磁気抵抗ランダムアクセスメモリ(MRAM)、スピントルクトランスファーMRAM(STT−MRAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ(CD−ROM)、または当技術分野で知られている任意の他の形態の記憶媒体などの非一時的記憶媒体中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサに一体化され得る。プロセッサおよび記憶媒体は特定用途向け集積回路(ASIC)中に常駐し得る。ASICは、コンピューティングデバイスまたはユーザ端末中に常駐し得る。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中に個別構成要素として常駐し得る。
開示した実施形態の上記の説明は、開示した実施形態を当業者が作成または使用することができるように行ったものである。これらの実施形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示した実施形態に限定されるものではなく、特許請求の範囲によって定義される原理および新規の特徴と一致する可能な最も広い範囲を与えられるべきである。
なお、以下に、出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
超音波受信機において超音波送信機から超音波信号を受信することと、
前記受信した超音波信号と少なくとも1つの前に受信した超音波信号とに基づいて少なくとも1つの物体の移動を検出することと、
前記検出された移動に応答して音響エコーキャンセラのパラメータを変更することと
を備える、方法。
[C2]
前記パラメータが、前記音響エコーキャンセラ中の適応フィルタの適応レートに対応する、C1に記載の方法。
[C3]
前記検出することが、
前記超音波信号に基づいてチャネル応答画像を計算することと、
前記チャネル応答画像と少なくとも1つの前に計算されたチャネル応答画像との間の差分を計算することと、
前記差分が差分しきい値よりも大きいと判断したことに応答して前記少なくとも1つの物体の前記移動を検出することと
を備える、C1に記載の方法。
[C4]
前記少なくとも1つの前に計算されたチャネル応答画像が、事前トレーニングされた信号経路に関連する較正チャネル応答画像を備える、C3に記載の方法。
[C5]
超音波送信機から超音波信号を受信するように構成された超音波受信機と、
前記超音波信号に基づいて少なくとも1つの物体の移動を検出するように構成された動きアクティビティ検出モジュールと、
前記検出された移動に応答して前記音響エコーキャンセラのパラメータを変更するように構成された音響エコーキャンセラと
を備える、システム。
[C6]
前記音響エコーキャンセラが適応フィルタを含み、前記パラメータが前記適応フィルタの適応レートに対応する、C5に記載のシステム。
[C7]
前記動きアクティビティモジュールが、前記受信した超音波信号と少なくとも1つの前に受信した超音波信号とに基づいて前記少なくとも1つの物体の前記移動を検出するようにさらに構成された、C5に記載のシステム。
[C8]
前記超音波送信機をさらに備え、前記超音波送信機が、前記超音波信号を連続的に送信するように構成された、C5に記載のシステム。
[C9]
前記超音波受信機が、前記超音波送信機と前記超音波受信機との間の第1の信号経路を介して前記超音波信号を受信し、前記超音波送信機と前記超音波受信機との間の第2の信号経路を介して反射超音波信号を受信する、C5に記載のシステム。
[C10]
前記超音波信号と前記反射超音波信号とに関連するチャネル応答画像に基づいて、前記超音波受信機が1つまたは複数の外部物体に近接しているかどうかを判断するように構成された近接検出モジュールをさらに備え、
前記音響エコーキャンセラが、前記近接検出モジュールに応答して前記パラメータを変更するようにさらに構成された、C9に記載のシステム。
[C11]
配向センサーをさらに備え、前記音響エコーキャンセラが、前記配向センサーに応答して前記パラメータを変更するようにさらに構成された、C5に記載のシステム。
[C12]
非線形処理モジュールをさらに備え、前記非線形処理モジュールが、前記検出された移動に応答して前記非線形処理モジュールのアグレッシブネスパラメータを変更するように構成された、C5に記載のシステム。
[C13]
前記システムがモバイルデバイスである、C5に記載のシステム。
[C14]
前記システムが集積回路である、C5に記載のシステム。
[C15]
超音波信号を受信するための手段と、
前記超音波信号に基づいて少なくとも1つの物体の移動を検出するための手段と、
前記検出された移動に応答して音響エコーキャンセラのパラメータを変更するための手段と
を備える、システム。
[C16]
前記超音波信号を送信するための手段をさらに備える、C15に記載のシステム。
[C17]
前記超音波信号と反射超音波信号とに関連するチャネル応答画像に基づいて、受信するための前記手段が1つまたは複数の外部物体に近接しているかどうかを判断するための手段と、
判断するための前記手段に応答して前記パラメータを変更するための手段と
をさらに備える、C15に記載のシステム。
[C18]
前記システムがモバイルデバイスである、C15に記載のシステム。
[C19]
前記システムが集積回路である、C15に記載のシステム。
[C20]
プロセッサによって実行されたとき、前記プロセッサに、
超音波受信機において超音波送信機から超音波信号を受信することと、
前記受信した超音波信号と少なくとも1つの前に受信した超音波信号とに基づいて少なくとも1つの物体の移動を検出することと、
前記検出された移動に応答して音響エコーキャンセラのパラメータを変更することと
を行わせる命令を備える非一時的プロセッサ可読媒体。
[C21]
前記パラメータが、前記音響エコーキャンセラ中の適応フィルタの適応レートに対応する、C20に記載の非一時的プロセッサ可読媒体。
[C22]
前記プロセッサによって実行されたとき、前記プロセッサに、
前記超音波信号に基づいてチャネル応答画像を計算することと、
前記チャネル応答画像と少なくとも1つの前に計算されたチャネル応答画像との間の差分を計算することと、
前記差分がしきい値よりも大きいと判断したことに応答して前記少なくとも1つの物体の前記移動を検出することと
を行わせる命令をさらに備える、C20に記載の非一時的プロセッサ可読媒体。
[C23]
前記少なくとも1つの前に計算されたチャネル応答画像が、事前トレーニングされた信号経路に関連する較正チャネル応答画像を備え、前記少なくとも1つの物体が前記超音波受信機を含む、C22に記載の非一時的プロセッサ可読媒体。
[C24]
前記プロセッサによって実行されたとき、前記プロセッサに、前記チャネル応答画像を記憶することを行わせる命令をさらに備える、C22に記載の非一時的プロセッサ可読媒体。

Claims (22)

  1. エコー消去を調整する方法において、
    モバイルデバイスの超音波受信機において前記モバイルデバイスの超音波送信機から超音波信号を受信することと、
    前記受信した超音波信号と少なくとも1つの前に受信した超音波信号とに基づいて前記モバイルデバイスの移動を検出することと、
    前記モバイルデバイスの前記検出された移動に応答して音響エコーキャンセラの音響消去パラメータを変更することとを備え、
    前記移動を検出することが、
    前記超音波信号に基づいてチャネル応答画像を計算することと、
    前記チャネル応答画像と少なくとも1つの前に計算されたチャネル応答画像との間の差分を計算することと、
    前記差分がしきい値よりも大きいと判断したことに応答して前記移動を検出することとを備える、方法。
  2. 前記音響消去パラメータが、前記音響エコーキャンセラ中の適応フィルタの適応レートに対応する、請求項1記載の方法。
  3. 前記少なくとも1つの前に計算されたチャネル応答画像が、事前トレーニングされた信号経路に関連する較正チャネル応答画像を備える、請求項1記載の方法。
  4. モバイルデバイスにおいて、
    超音波送信機と、
    前記超音波送信機から超音波信号を受信するように構成された超音波受信機と、
    前記超音波信号と少なくとも1つの前に受信した超音波信号に基づいて少なくとも1つの物体の移動を検出するように構成された動きアクティビティ検出器と、
    前記検出された移動に応答して音響消去パラメータを変更するように構成された音響エコーキャンセラと、
    方位/回転センサーとを備え、前記音響エコーキャンセラは、前記方位/回転センサーに応答して前記音響消去パラメータを変更するようにさらに構成され、
    前記動きアクティビティ検出器は、
    前記超音波信号に基づいてチャネル応答画像を計算することと、
    前記チャネル応答画像と少なくとも1つの前に計算されたチャネル応答画像との間の差分を計算することと、
    前記差分がしきい値よりも大きいと判断したことに応答して前記移動を検出することとによって、前記移動を検出するように構成されている、モバイルデバイス。
  5. 前記音響エコーキャンセラが適応フィルタを含み、前記音響消去パラメータが前記適応フィルタの適応レートに対応する、請求項4記載のモバイルデバイス。
  6. 前記音響消去パラメータが、前記音響エコーキャンセラに含まれる適応フィルタに関連し、前記適応フィルタは、更新アルゴリズムに基づいて自動調整するように構成された、請求項4記載のモバイルデバイス。
  7. 前記超音波送信機が、前記超音波信号を連続的に送信するように構成された、請求項4記載のモバイルデバイス。
  8. 前記超音波受信機が、前記超音波送信機と前記超音波受信機との間の第1の信号経路を介して前記超音波信号を受信し、前記超音波送信機と前記超音波受信機との間の第2の信号経路を介して反射超音波信号を受信する、請求項4記載のモバイルデバイス。
  9. 前記少なくとも1つの物体は、前記モバイルデバイスの外部にあり、前記モバイルデバイスは、
    前記超音波信号に基づいて、前記少なくとも1つの物体への前記モバイルデバイスの近接を検出するように構成された近接検出器をさらに備え、前記音響エコーキャンセラが、前記近接検出器に応答して前記音響消去パラメータを変更するようにさらに構成された、請求項4記載のモバイルデバイス。
  10. 前記音響消去パラメータは、適応レートを含み、前記音響エコーキャンセラは、前記モバイルデバイスの回転を検出する前記方位/回転センサーに応答して前記適応レートを増加させるように構成された、請求項4記載のモバイルデバイス。
  11. 非線形処理モジュールをさらに備え、前記非線形処理モジュールが、前記検出された移動に応答してアグレッシブネスパラメータを変更するように構成された、請求項4記載のモバイルデバイス。
  12. 前記音響エコーキャンセラが集積回路の一部である、請求項4記載のモバイルデバイス。
  13. ダブルトークシナリオを検出し、前記ダブルトークシナリオを検出すると前記音響エコーキャンセラに通知を出力するように構成されたダブルトーク検出器をさらに備える、請求項4記載のモバイルデバイス。
  14. 前記音響エコーキャンセラは、ダブルトーク検出器、経路変更検出器、発散検出器、または、雑音レベル検出器のうちの少なくとも1つに応答するフィルタ更新モジュールを含む、請求項4記載のモバイルデバイス。
  15. モバイルデバイスにおいて、
    超音波信号を受信するための手段と、
    前記超音波信号と少なくとも1つの前に受信した超音波信号に基づいて前記モバイルデバイスの移動を検出するための手段と、
    前記モバイルデバイスの前記検出された移動に応答して音響エコーキャンセラの音響消去パラメータを変更するための手段とを備え、
    前記移動を検出するための手段が、
    前記超音波信号に基づいてチャネル応答画像を計算するための手段と、
    前記チャネル応答画像と少なくとも1つの前に計算されたチャネル応答画像との間の差分を計算するための手段と、
    前記差分がしきい値よりも大きいと判断したことに応答して前記移動を検出するための手段とを備える、モバイルデバイス。
  16. 前記超音波信号を送信するための手段をさらに備える、請求項15記載のモバイルデバイス。
  17. 前記超音波信号と反射超音波信号とに関連するチャネル応答画像に基づいて、前記モバイルデバイスの外部にある少なくとも1つの物体の移動を検出するための手段と、
    前記少なくとも1つの物体の移動を検出するための前記手段に応答して前記音響消去パラメータを変更するための手段とをさらに備える、請求項15記載のモバイルデバイス。
  18. 前記音響エコーキャンセラが集積回路の一部である、請求項15記載のモバイルデバイス。
  19. プログラムを記憶したプロセッサ可読記憶媒体において、
    プロセッサによって実行されたとき、前記プロセッサに、
    モバイルデバイスの超音波受信機において前記モバイルデバイスの超音波送信機から超音波信号を受信することと、
    前記受信した超音波信号と少なくとも1つの前に受信した超音波信号とに基づいて前記モバイルデバイスの移動を検出することと、
    前記モバイルデバイスの前記検出された移動に応答して音響エコーキャンセラの音響消去パラメータを変更することとを行わせる命令を備え、
    前記プロセッサによって実行されたとき、前記プロセッサに、移動を検出させる命令は、
    前記プロセッサによって実行されたとき、前記プロセッサに、
    前記超音波信号に基づいてチャネル応答画像を計算することと、
    前記チャネル応答画像と少なくとも1つの前に計算されたチャネル応答画像との間の差分を計算することと、
    前記差分がしきい値よりも大きいと判断したことに応答して前記移動を検出することとを行わせる命令を備える、プログラムを記憶したプロセッサ可読記憶媒体。
  20. 前記音響消去パラメータが、前記音響エコーキャンセラ中の適応フィルタの適応レートに対応し、前記適応フィルタは、正規化最小2乗平均(NLMS)適応フィルタである、請求項19記載のプログラムを記憶したプロセッサ可読記憶媒体。
  21. 前記少なくとも1つの前に計算されたチャネル応答画像が、事前トレーニングされた信号経路に関連する較正チャネル応答画像を備える、請求項19記載のプログラムを記憶したプロセッサ可読記憶媒体。
  22. 前記プロセッサによって実行されたとき、前記プロセッサに、前記チャネル応答画像を記憶することを行わせる命令をさらに備える、請求項19記載のプログラムを記憶したプロセッサ可読記憶媒体。
JP2014543483A 2011-11-23 2012-11-07 超音波動き検出に基づく音響エコー消去 Expired - Fee Related JP5940678B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161563191P 2011-11-23 2011-11-23
US61/563,191 2011-11-23
US13/416,271 US9363386B2 (en) 2011-11-23 2012-03-09 Acoustic echo cancellation based on ultrasound motion detection
US13/416,271 2012-03-09
PCT/US2012/063786 WO2013078002A1 (en) 2011-11-23 2012-11-07 Acoustic echo cancellation based on ultrasound motion detection

Publications (2)

Publication Number Publication Date
JP2015506129A JP2015506129A (ja) 2015-02-26
JP5940678B2 true JP5940678B2 (ja) 2016-06-29

Family

ID=48426973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014543483A Expired - Fee Related JP5940678B2 (ja) 2011-11-23 2012-11-07 超音波動き検出に基づく音響エコー消去

Country Status (6)

Country Link
US (1) US9363386B2 (ja)
EP (1) EP2783504B1 (ja)
JP (1) JP5940678B2 (ja)
KR (1) KR101633196B1 (ja)
CN (1) CN103988487B (ja)
WO (1) WO2013078002A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9473865B2 (en) * 2012-03-01 2016-10-18 Conexant Systems, Inc. Integrated motion detection using changes in acoustic echo path
US9767828B1 (en) * 2012-06-27 2017-09-19 Amazon Technologies, Inc. Acoustic echo cancellation using visual cues
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9148724B2 (en) * 2013-01-21 2015-09-29 Revolabs, Inc. Audio system signal processing control using microphone movement information
TW201442506A (zh) * 2013-04-24 2014-11-01 Hon Hai Prec Ind Co Ltd 多媒體節目相關資訊查詢系統及方法
US9294858B2 (en) * 2014-02-26 2016-03-22 Revo Labs, Inc. Controlling acoustic echo cancellation while handling a wireless microphone
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9800964B2 (en) * 2014-12-29 2017-10-24 Sound Devices, LLC Motion detection for microphone gating
WO2016130459A1 (en) 2015-02-09 2016-08-18 Dolby Laboratories Licensing Corporation Nearby talker obscuring, duplicate dialogue amelioration and automatic muting of acoustically proximate participants
US9654229B2 (en) * 2015-02-10 2017-05-16 Turtle Beach Corporation Parametric transducer microphone system
US9319633B1 (en) 2015-03-19 2016-04-19 Cisco Technology, Inc. Ultrasonic echo canceler-based technique to detect participant presence at a video conference endpoint
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
CN108028985B (zh) 2015-09-17 2020-03-13 搜诺思公司 用于计算设备的方法
EP3354004B1 (en) * 2015-09-25 2021-10-27 Microsemi Semiconductor (U.S.) Inc. Acoustic echo path change detection apparatus and method
US10123141B2 (en) 2015-11-13 2018-11-06 Bose Corporation Double-talk detection for acoustic echo cancellation
US9554091B1 (en) 2015-12-15 2017-01-24 Cisco Technology, Inc. Identifying conference participants and active talkers at a video conference endpoint using user devices
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
CN106162478B (zh) * 2016-08-16 2019-08-06 北京小米移动软件有限公司 麦克风优选方法及装置
US10187504B1 (en) * 2016-09-23 2019-01-22 Apple Inc. Echo control based on state of a device
GB2555422B (en) * 2016-10-26 2021-12-01 Xmos Ltd Capturing and processing sound signals
GB2559427A (en) 2017-02-07 2018-08-08 Cirrus Logic Int Semiconductor Ltd Motion detector
US10473751B2 (en) * 2017-04-25 2019-11-12 Cisco Technology, Inc. Audio based motion detection
US10299039B2 (en) * 2017-06-02 2019-05-21 Apple Inc. Audio adaptation to room
CN107785027B (zh) * 2017-10-31 2020-02-14 维沃移动通信有限公司 一种音频处理方法及电子设备
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10277981B1 (en) * 2018-10-02 2019-04-30 Sonos, Inc. Systems and methods of user localization
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
US11205438B1 (en) * 2019-08-13 2021-12-21 Amazon Technologies, Inc. Autonomously motile device with acoustic echo cancellation
US10955550B1 (en) * 2019-12-09 2021-03-23 Tymphany Acoustic Technology (Huizhou) Co., Ltd. Synchronization of motion-sensitive acoustic speakers
US11564036B1 (en) * 2020-10-21 2023-01-24 Amazon Technologies, Inc. Presence detection using ultrasonic signals with concurrent audio playback
EP4084503A1 (en) 2021-04-28 2022-11-02 Nxp B.V. Audio playback system fault detection method and apparatus

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6041849A (ja) 1983-08-18 1985-03-05 Toshiba Corp 拡声電話
KR910005635A (ko) 1989-08-31 1991-03-30 정몽헌 원방 감시 무선 비상 호출 전화기
JPH07146988A (ja) 1993-11-24 1995-06-06 Nippon Telegr & Teleph Corp <Ntt> 物体移動検出装置
JP3099870B2 (ja) 1996-07-23 2000-10-16 日本電気株式会社 音響エコーキャンセラ
US5999167A (en) 1996-11-08 1999-12-07 Stephen A. Marsh Cursor control device
US6510225B1 (en) * 1999-02-16 2003-01-21 Denso Corporation Ultrasonically-calibrated fast-start echo canceller for cellular and pcs telephone car kits
JP2000253131A (ja) 1999-03-01 2000-09-14 Toshiba Corp 音声通信装置
JP2000295338A (ja) 1999-04-02 2000-10-20 Toshiba Corp 通信装置
JP2001142639A (ja) 1999-11-15 2001-05-25 Pioneer Electronic Corp タッチパネル装置
GB2366932B (en) * 2000-09-07 2004-08-25 Mitel Corp Ultrasonic proximity detector for a telephone device
US6454714B1 (en) 2000-10-20 2002-09-24 Koninklijke Philips Electronics N.V. Ultrasonic harmonic flash suppression
KR20060003897A (ko) 2003-04-22 2006-01-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 물체 위치 추정 시스템, 장치 및 방법
US20050054931A1 (en) 2003-09-09 2005-03-10 Clark David W. Tracking clutter filter for spectral & audio doppler
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
KR100842590B1 (ko) 2004-11-09 2008-07-01 삼성전자주식회사 이동 단말에서 음향 반향 제거 방법 및 장치
US8275120B2 (en) 2006-05-30 2012-09-25 Microsoft Corp. Adaptive acoustic echo cancellation
US20080208517A1 (en) 2007-02-23 2008-08-28 Gesturetek, Inc. Enhanced Single-Sensor Position Detection
JP5067085B2 (ja) 2007-09-12 2012-11-07 沖電気工業株式会社 無線通信装置
JP5034819B2 (ja) 2007-09-21 2012-09-26 ヤマハ株式会社 放収音装置
US7843859B1 (en) 2008-09-23 2010-11-30 Netlogic Microsystems, Inc. Analog echo canceller with filter banks
CN102165708B (zh) 2008-09-26 2014-06-25 日本电气株式会社 信号处理方法、信号处理装置及信号处理程序
JP2011066668A (ja) 2009-09-17 2011-03-31 Brother Industries Ltd エコー除去装置、エコー除去方法、およびエコー除去装置のプログラム
CH702398A2 (it) 2009-12-01 2011-06-15 Enrico Geiler Procedimento per la rilevazione degli spostamenti di un emettore di ultrasuoni e dispositivo di rilevamento degli spostamenti tridimensionali di un emettore di ultrasuoni.
US20130155031A1 (en) * 2010-06-29 2013-06-20 Elliptic Laboratories As User control of electronic devices
CN103229071B (zh) * 2010-11-16 2015-09-23 高通股份有限公司 用于基于超声反射信号的对象位置估计的系统和方法
US20130121498A1 (en) 2011-11-11 2013-05-16 Qsound Labs, Inc. Noise reduction using microphone array orientation information

Also Published As

Publication number Publication date
US20130129102A1 (en) 2013-05-23
JP2015506129A (ja) 2015-02-26
CN103988487B (zh) 2016-08-24
EP2783504A1 (en) 2014-10-01
KR20140081832A (ko) 2014-07-01
CN103988487A (zh) 2014-08-13
WO2013078002A1 (en) 2013-05-30
US9363386B2 (en) 2016-06-07
KR101633196B1 (ko) 2016-06-23
EP2783504B1 (en) 2016-01-06

Similar Documents

Publication Publication Date Title
JP5940678B2 (ja) 超音波動き検出に基づく音響エコー消去
US11587574B2 (en) Voice processing method, apparatus, electronic device, and storage medium
JP4247002B2 (ja) マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
US8842851B2 (en) Audio source localization system and method
JP5876154B2 (ja) 雑音を制御するための電子デバイス
US10242695B1 (en) Acoustic echo cancellation using visual cues
US9111543B2 (en) Processing signals
US9654874B2 (en) Systems and methods for feedback detection
KR102409536B1 (ko) 오디오 디바이스에서 재생 관리를 위한 사건 검출
JP2015167408A (ja) モバイルプラットフォームでの可変ビーム形成
JP7290749B2 (ja) 音声通話方法並びにその、装置、電子機器及びコンピュータプログラム
WO2015043150A1 (zh) 一种消除回声的方法及装置
JP4833343B2 (ja) エコー及びノイズキャンセレーション
EP2987315A1 (en) Echo removal
US10187504B1 (en) Echo control based on state of a device
CN103905588B (zh) 一种电子设备及控制方法
CN102970638B (zh) 处理信号
KR20200062320A (ko) 생기의 검출
US20220225024A1 (en) Method and system for using single adaptive filter for echo and point noise cancellation
CN111292760B (zh) 发声状态检测方法及用户设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160518

R150 Certificate of patent or registration of utility model

Ref document number: 5940678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees