JP5710792B2 - 可聴音と超音波とを用いたソース特定のためのシステム、方法、装置、およびコンピュータ可読媒体 - Google Patents

可聴音と超音波とを用いたソース特定のためのシステム、方法、装置、およびコンピュータ可読媒体 Download PDF

Info

Publication number
JP5710792B2
JP5710792B2 JP2013556775A JP2013556775A JP5710792B2 JP 5710792 B2 JP5710792 B2 JP 5710792B2 JP 2013556775 A JP2013556775 A JP 2013556775A JP 2013556775 A JP2013556775 A JP 2013556775A JP 5710792 B2 JP5710792 B2 JP 5710792B2
Authority
JP
Japan
Prior art keywords
range
signal
sound
audio frequency
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013556775A
Other languages
English (en)
Other versions
JP2014514794A (ja
Inventor
ビッサー、エリック
モメヤー、ブライアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014514794A publication Critical patent/JP2014514794A/ja
Application granted granted Critical
Publication of JP5710792B2 publication Critical patent/JP5710792B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • G01S15/876Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/521Constructional features
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/46Indirect determination of position data
    • G01S2013/468Indirect determination of position data by Triangulation, i.e. two antennas or two sensors determine separately the bearing, direction or angle to a target, whereby with the knowledge of the baseline length, the position data of the target is determined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/46Indirect determination of position data
    • G01S2015/465Indirect determination of position data by Trilateration, i.e. two transducers determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the transducers, the position data of the target is determined

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Transducers For Ultrasonic Waves (AREA)
  • Studio Devices (AREA)

Description

米国特許法第119条に基づく優先権の主張
本特許出願は、2011年3月3日に出願され、本出願の譲受人に譲渡された「ROBUST MULTIMICROPHONE TRACKING SYSTEM USING AUDIBLE SOUND AND ULTRASOUND」と題する仮出願第61/448,950号の優先権を主張する。
本開示は信号処理に関する。
雑音の多い環境でボイス録音(たとえば、通信用)が行われる適用例では、所望の音声信号を背景雑音から分離することが望ましいことがある。雑音は、所望の信号と干渉するかあるいは所望の信号を劣化させるすべての信号の合成と定義され得る。背景雑音は、他の人々の背景会話など、音響環境内で発生される多数の雑音信号、ならびに所望の信号および/または他の信号のいずれかから発生される反射および残響を含み得る。所望の音声信号が背景雑音から分離されない限り、所望の音声信号を確実に効率的に利用することが困難であることがある。
典型的な使用環境において受ける音響雑音は、音楽、干渉ソース(たとえば、TVセット、ラジオ、競合話者)からの音、多重漏話雑音、街頭雑音、および/または空港雑音など、様々な異なる成分を含み得る。そのような雑音は、一般的には非静止であり、ユーザ自身の声のスペクトルに近い平均スペクトルを有し得るので、従来のシングルマイクロフォンまたは固定ビームフォーミングタイプ方法を使ってモデル化しにくい場合がある。したがって、空間選択処理など、マルチプルマイクロフォンベースの信号処理技術を使って、雑音のある環境における音声成分の分離をサポートすることが望ましい場合がある。
ボイス録音のための一部のアプリケーションにおいて、マイクロフォンに対する、ユーザの口の場所は、使用中に変わり得る。たとえば、ボイス通信用アプリケーションは、ユーザの口が、使用中にオーディオ感知デバイスから、ある程度の距離だけ離れて配置されるシナリオを含むように、従来のテレフォニーを超えて発展しつつある。そのようなシナリオの例には、ラップトップまたはタブレットコンピュータに組み込まれた、マイクロフォン(および可能性としてはウェブカム)を使うボイスオーバIP(VoIP)テレフォニーがある。そのようなケースにおいて、デバイスに対する、ユーザの口の動きは、空間選択処理演算の実施に大幅に影響し得る。
一般的構成による信号処理の方法は、超音波信号の反射からの情報に基づいて、音放射体のレンジを推定することを含む。この方法は、推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを選択することと、選択された到着方向推定演算を実施して、マルチチャネル信号のオーディオ周波数成分からの情報に基づいて、オーディオ周波数成分の到着方向の推定値を算出することとを含む。機能を読み取る機械にそのような方法を実施させる有形機能(tangible feature)を有するコンピュータ可読記憶媒体も開示される。
別の一般的構成による、信号処理のための装置は、超音波信号の反射からの情報に基づいて、音放射体のレンジを推定するための手段と、推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを選択するための手段と、選択された到着方向推定演算を実施して、マルチチャネル信号のオーディオ周波数成分からの情報に基づいて、オーディオ周波数成分の到着方向の推定値を算出するための手段とを含む。
別の一般的構成による、信号処理のための装置は、超音波信号の反射からの情報に基づいて、音放射体のレンジを推定するように構成されたレンジ推定器と、推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを選択するように構成された比較器と、選択された到着方向推定演算を実施して、マルチチャネル信号のオーディオ周波数成分からの情報に基づいて、オーディオ周波数成分の到着方向の推定値を算出するように構成された方向計算器とを含む。
マルチマイクロフォンオーディオ感知デバイスD10のブロック図。 デバイスD10の適用の一例を示す図。 到着方向およびレンジが所望のソースAS1に関連付けられた例を示す図。 装置D10の実装形態D20のブロック図。 デバイスD10の4マイクロフォン実装形態D12の適用の一例を示す図。 一般的構成による方法M100のフローチャート。 利得差ベースのDOA推定方法の例を示す図。 利得差ベースのDOA推定方法の例を示す図。 非対称アレイについてのビームパターンの例を示す図。 ビームフォーマビームパターンの例を示す図。 ビームフォーマビームパターンの例を示す図。 マルチチャネル信号に基づいてビームを発生するように配列された固定フィルタの例を示す図。 マルチチャネル信号に基づいてビームを発生するように配列された固定フィルタの例を示す図。 デバイスD20の3マイクロフォン実装形態D22の適用の平面図。 方向マスキング関数の個々の例を示す図。 方向マスキング関数の個々の例を示す図。 方向マスキング関数の個々の例を示す図。 方向マスキング関数の個々の例を示す図。 3つの方向マスキング関数からなる2つのセットの例を示す図。 図9に示す、3つの方向マスキング関数からなるセットを同じマルチチャネルオーディオ信号に適用した結果を示す図。 デバイスD20の4マイクロフォン実装形態D24とともに使われるセクタベースのDOA推定方法の例を示す図。 デバイスD20の4マイクロフォン実装形態D24とともに使われるセクタベースのDOA推定方法の例を示す図。 デバイスD20の4マイクロフォン実装形態D24とともに使われるセクタベースのDOA推定方法の例を示す図。 デバイスD20の4マイクロフォン実装形態D24とともに使われるセクタベースのDOA推定方法の例を示す図。 方法M100の適用の一例を示す図。 方法M100の適用の一例を示す図。 方法M100の適用の一例を示す図。 方法M100の適用の一例を示す図。 異なる立上りおよび立下り閾値をもつ状態遷移のプロット。 オーディオ感知デバイスD20の実装形態の例の一部分を示す図。 オーディオ感知デバイスD20の実装形態の例の一部分を示す図。 測距パルスの複数のエコーを生成する環境の例を示す図。 複数のエコーを含む検出信号の録音のプロット。 図19の信号と、対応するスペクトグラムとを示す図。 超音波検出器UD10によって生成された信号のプロット。 レンジのあいまいさを示す図。 複数の超音波検出器からの測距結果を使う、DOA推定の適用の例を示す図。 複数の超音波検出器からの測距結果を使う、DOA推定の適用の例を示す図。 複数の超音波検出器からの測距結果を使う、DOA推定の適用の例を示す図。 時間Aにおける典型的な使用シナリオを示す図。 時間Bにおける典型的な使用シナリオを示す図。 図25、図26と異なる連続する時間における3チャネル超音波録音の例を示す図。 図24、図26と異なる連続する時間における3チャネル超音波録音の例を示す図。 図24、図25と異なる連続する時間における3チャネル超音波録音の例を示す図。 一般的構成による装置A100のブロック図。 装置A100の実装形態A110の適用のブロック図。 装置A100の実装形態A120のブロック図。 装置A100の実装形態A130の適用のブロック図。 装置A100の実装形態A140のブロック図。 超音波領域推定器100の実装形態120のブロック図。 装置A100の実装形態A150のブロック図。 一般的構成による装置MF100のブロック図。 装置A100の実装形態A160のブロック図。 マイクロフォンアレイの例R100のブロック図。 アレイR100の実装形態R110のブロック図。 オーディオ感知デバイスD20の実装形態D100のブロック図。 通信デバイスD200のブロック図。 デバイスD100のポータブルコンピューティング実装形態D700のあるビューを示す図。 デバイスD100のポータブルコンピューティング実装形態D700の別のビューを示す図。 デバイスD100のポータブルコンピューティング実装形態D710のあるビューを示す図。 デバイスD100のポータブルコンピューティング実装形態D710の別のビューを示す図。 マルチマイクロフォンオーディオ感知デバイスD100のポータブル実装形態D800の図。 会議デバイスのある例の上面図。 会議デバイスの別の例の上面図。 会議デバイスのさらに別の例の上面図。 会議デバイスのさらに別の例の上面図。 DOA推定のための逆投影技法を示す図。
本説明は、超音波測距を使って、オーディオ周波数成分の到着方向を推定するための演算を構成するシステム、方法、および装置の開示を含む。そのような演算により、方向選択オーディオ処理演算のより優れた実施をサポートするための、より正確なソース特定ができるようになる。
それの文脈によって明確に限定されない限り、「信号」という用語は、本明細書では、ワイヤ、バス、または他の伝送媒体上に表されたメモリロケーション(またはメモリロケーションのセット)の状態を含む、それの通常の意味のいずれをも示すのに使用される。その文脈によって明確に限定されない限り、「発生(generating)」という用語は、本明細書では、計算(computing)または別様の生成(producing)など、その通常の意味のいずれをも示すのに使用される。その文脈によって明確に限定されない限り、「算出(calculating)」という用語は、本明細書では、複数の値からの計算(computing)、評価、推定、および/または選択など、その通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「取得(obtaining)」という用語は、算出(calculating)、導出、(たとえば、外部デバイスからの)受信、および/または(たとえば、記憶要素のアレイからの)検索など、それの通常の意味のいずれをも示すのに使用される。その文脈によって明確に限定されない限り、「選択(selecting)」という用語は、2つ以上のセットのうちの少なくとも1つ、およびすべてよりも少数を識別、指示、適用、および/または使用することなど、その通常の意味のいずれをも示すのに使用される。「備える(comprising)」という用語は、本明細書および特許請求の範囲において使用される場合、他の要素または動作を除外しない。「に基づく」(「AはBに基づく」など)という用語は、(i)「から導出される」(たとえば、「BはAのプリカーサーである」)、(ii)「少なくとも〜に基づく」(たとえば、「Aは少なくともBに基づく」)、および特定の文脈で適当な場合に、(iii)「に等しい」(たとえば、「AはBに等しい」)という場合を含む、その通常の意味のいずれをも示すのに使用される。同様に、「に応答して」という用語は、「少なくとも〜に応答して」を含む、その通常の意味のいずれをも示すのに使用される。
マルチマイクロフォンオーディオ感知デバイスのマイクロフォンの「ロケーション」への言及は、文脈によって別段に規定されていない限り、マイクロフォンの音響的に敏感な面の中心のロケーションを示す。「チャネル」という用語は、特定の文脈に応じて、時々、信号経路を示すのに使用され、また他のときには、そのような経路によって搬送される信号を示すのに使用される。別段に規定されていない限り、「一連」という用語は、2つ以上のアイテムのシーケンスを示すのに使用される。「対数」という用語は、10を底とする対数を示すのに使用されるが、他の底へのそのような演算の拡張は本開示の範囲内である。「周波数成分」という用語は、(たとえば、高速フーリエ変換によって生成される)信号の周波数領域表現のサンプル、あるいは信号のサブバンド(たとえば、バーク尺度またはメル尺度サブバンド)など、信号の周波数または周波数帯域のセットのうちの1つを示すのに使用される。
別段に規定されていない限り、特定の特徴を有する装置の動作のいかなる開示も、類似の特徴を有する方法を開示する(その逆も同様)ことをも明確に意図し、特定の構成による装置の動作のいかなる開示も、類似の構成による方法を開示する(その逆も同様)ことをも明確に意図する。「構成」という用語は、その特定の文脈によって示されるように、方法、装置、および/またはシステムに関して使用され得る。「方法」、「プロセス」、「プロシージャ」、および「技法」という用語は、特定の文脈によって別段に規定されていない限り、一般的、互換的に使用される。「装置」および「デバイス」という用語も、特定の文脈によって別段に規定されていない限り、一般的、互換的に使用される。「要素」および「モジュール」という用語は、一般に、より大きい構成の一部分を示すのに使用される。その文脈によって明確に限定されない限り、「システム」という用語は、本明細書では、「共通の目的を果たすために相互作用する要素のグループ」を含む、その通常の意味のいずれをも示すのに使用される。また、文書の一部分の参照によるいかなる組込みも、その部分内で参照される用語または変数の定義が、その文書中の他の場所、ならびに組み込まれた部分中で参照される図に現れた場合、そのような定義を組み込んでいることを理解されたい。
近距離は、受音機(たとえば、マイクロフォンアレイ)から1波長未満離れている空間の領域として定義され得る。この定義では、領域の境界までの距離は、周波数に反比例して変化する。たとえば、200、700、および2000ヘルツの周波数では、1波長境界までの距離は、それぞれ約170、49、および17センチメートルである。代わりに、近距離/遠距離境界がマイクロフォンアレイから特定の距離(たとえば、アレイのマイクロフォンまたはアレイの重心から50センチメートル、あるいはアレイのマイクロフォンまたはアレイの重心から1メートルまたは1.5メートル)にあると見なすことが有用であることがある。
マルチマイクロフォンデバイスは、空間内の1つまたは複数のソースから音響信号を受信するための(たとえば、デバイスのユーザから音声を受信するための)空間選択処理演算を実施するとともに、他の方向から到着する音を抑えるように構成され得る。図1Aは、2つのマイクロフォンMC10およびMC20からなるアレイを含むマルチマイクロフォンデバイスD10の例を示す。デバイスD10の他の例では、マイクロフォンアレイは、2つより多いマイクロフォン(たとえば、3、4、またはそれ以上)を含み得る。そのようなケースにおいて、マイクロフォンは、線形または2もしくは3次元パターンで配設することができ、アレイ中の隣接するマイクロフォンの間の間隔は均一または不均一であり得る。
図1Bは、可聴音源AS1の方向を含む領域(「ピックアップ領域」ともいう)から到着する音を、他の方向から到着する音に対して強めるようにデバイスD10が構成されるアプリケーションの例を示す。ソースAS1(たとえば、デバイスのユーザ)は、時間経過に伴ってあるロケーションから別のロケーションに動くことができ、ソースの現在のロケーションに基づいて、空間選択処理演算を適合させることが望ましい場合がある。デバイスD10は、空間内の異なる様々なロケーションに置かれ得る、複数の所望のソースから到着する音を強調するようにも実装され得る。
図1Dは、本明細書に記載する方法M100の実装形態を実施するように構成され得るデバイスD10の実装形態D20の例を示す。デバイスD20は、超音波エミッタUE10と、超音波検出器UD10とを含む。後で説明するように、検出器UD10をマイクロフォンとして(たとえば、マイクロフォンアレイ中の別のマイクロフォンとして)実装することが望ましい場合がある。デバイスD10またはD20の事例を含むように構成され得るオーディオ感知デバイスの例には、セットトップボックス、ゲーム機、スマートフォン、ならびにラップトップおよびタブレットコンピュータがある。
図2Aは、デバイスの前の複数の異なるピックアップ領域1、2、3のうち1つから到着する音を強めるように、また、現在選択されている領域の外の方向から到着する音を抑えるように空間選択処理演算が構成される、デバイスD10の4マイクロフォン実装形態D12の適用の例を示す。そのようなデバイスを、所望の話者の推定される現在のロケーションにより現在のピックアップ領域を選択するように構成することが望ましい場合がある。図2Aに示す例において、空間選択処理演算は、領域1から領域2への、話者の声の推定到着方向の変化に応答して適応中である。
可聴ソースAS1などの方向性音源から、マルチマイクロフォンアレイによって受信された音成分の到着方向を推定するように、デバイスD10を構成することが望ましい場合がある。そのようなDOA推定は、たとえば、所望のソースの動きに応答した、空間選択処理演算の適合をサポートするのに有用であり得る。デバイスD10は、到着方向(DOA)を推定するためのいくつかの異なる技法のうち、どの1つまたは複数も実施するように構成され得る。類似空間解像度をもつソースDOAの推定値を生成すると予想され得るDOA推定のための技法は、利得差ベースの方法と、位相差ベースの方法とを含む。相互相関ベースの方法(たとえば、マルチチャネル信号のチャネルの間の遅れを算出し、遅れを、DOAを判断するための到着時間差として使う)も、いくつかのケースでは有用であり得る。
DOA推定演算は、マルチチャネル信号の一連のセグメントの各々についてのDOA推定値を生成するように構成され得る。典型的なセグメント長は約5または10ミリ秒から約40または50ミリ秒にわたり、セグメントは、重複しても(たとえば、隣接するセグメントが25%または50%だけ重複する)、重複しなくてもよい。1つの特定の例では、マルチチャネル信号は、10ミリ秒の長さをそれぞれ有する一連の重複しないセグメントまたは「フレーム」に分割される。別の特定の例では、各フレームは20ミリ秒の長さを有する。また、DOA推定演算によって処理されるセグメントは、異なるオーディオ処理演算によって処理されるより大きいセグメントのセグメント(すなわち、「サブフレーム」)であり得、またはその逆も同様である。
利得差ベースの方法は、マルチチャネル信号のチャネルに基づく、信号の利得の間の差に基づいてDOAを推定する。たとえば、そのような方法は、マルチチャネル信号の異なるチャネルの利得の間の差(たとえば、規模またはエネルギーの差)に基づいて、DOAを推定するように実装され得る。マルチチャネル信号のセグメントの利得の測度は、時間領域または周波数領域(たとえば、FFT、DCT、またはMDCT領域などの変換領域)で算出することができる。そのような利得測度の例には、限定はしないが、合計の大きさ(たとえば、サンプル値の絶対値の和)、平均の大きさ(たとえば、サンプル当たり)、RMS振幅、中央値の大きさ、最大振幅、ピークエネルギー、総エネルギー(たとえば、サンプル値の平方和)、および平均エネルギー(たとえば、サンプル当たり)がある。利得差技法を用いて正確な結果を得るために、2つのマイクロフォンチャネルの応答が互いに較正されることが望ましいことがある。利得測度の算出がマルチチャネル信号のオーディオ周波数成分に限定されるように、マルチチャネル信号に低域フィルタを適用することが望ましい場合がある。
利得の間の差は、対数領域における各チャネルについての対応する利得測度値(たとえば、デシベルでの値)の間の差として、または、等価には、線形領域における利得測度値の間の比として算出することができる。いくつかのケースでは、フレームについて(たとえば、各フレームについて、または随時フレームについて)、単一の差が算出され得る。他のケースでは、フレームのいくつかの周波数成分(たとえば、サブバンドまたはFFTビン)の各々について、差が算出され得る。
較正マイクロフォンペアの場合、ソースが各マイクロフォンから等距離である(すなわち、ペアの横方向に配置されている)ことを示すように、ゼロの利得差をとることができ、ソースが、一方のマイクロフォンにより接近している(すなわち、ペアの一方の縦方向に配置されている)ことを示すように、大きい正の値をもつ利得差をとることができ、ソースが他方のマイクロフォンにより接近している(すなわち、ペアの他方の縦方向に配置されている)ことを示すように、大きい負の値をもつ利得差をとることができる。図3Aは、セグメントnについての利得差GD[n]と、利得差閾値TLとの間の関係の状態により、縦領域1、横領域2、および縦領域3のうち1つを選択することによって、デバイスD10に相対したソースのDOAが推定される例を示す。図3Bは、利得差GD[n]と第1の利得差閾値TL1との間の関係の状態ならびに利得差GD[n]と第2の利得差閾値TL2との間の関係の状態により、5つの領域のうち1つを選択することによって、デバイスD10に相対したソースのDOAが推定される例を示す。
別の例では、利得差ベースの方法は、マルチチャネル信号から(たとえば、マルチチャネル信号のオーディオ周波数成分から)生成されたビームの間の利得の差に基づいてDOAを推定する。そのような方法は、所望の方向レンジ(たとえば、10度ずつの増分で180度)にわたる、対応する1組のビームを発生するための1組の固定フィルタを使うように実装され得る。そのような手法は、固定フィルタの各々をマルチチャネル信号に適用し、最も高い出力エネルギーを呈するビームのルック方向として、(たとえば、各セグメントについて)DOAを推定する。図6Aは、マルチチャネル信号S10をフィルタリングして、それぞれのビームB10a、B10b、およびB10nを発生するように配列された固定フィルタBF10a、BF10b、およびBF10nを含むような構成の例を示す。固定フィルタを発生するのに使われ得るビームフォーミング手法の例には、一般化サイドローブ消去(GSC:generalized sidelobe cancellation)、最小分散無ひずみ応答(MVDR:minimum variance distortionless response)、および線形制約最小分散(LCMV:linearly constrained minimum variance)ビームフォーマがある。固定フィルタを発生するのに使われ得るビーム発生手法の他の例には、ヌルビームを干渉点ソースに向けてステアリングすることによって動作する、独立成分分析(ICA)および独立ベクトル分析(IVA)などのブラインドソース分離(BSS)方法がある。
図4および図5は、それぞれ、1500Hzおよび2300Hzにおける、3つのマイクロフォンからなるアレイ(点線)の場合、および4つのマイクロフォンからなるアレイ(実線)の場合のビームフォーマビームパターンの例を示す。これらの図において、左上のプロットAは、約60度のルック方向をもつビームフォーマについてのパターンを示し、中央下のプロットBは、約90度のルック方向をもつビームフォーマについてのパターンを示し、右上のプロットCは、約120度のルック方向をもつビームフォーマについてのパターンを示す。線形アレイに(たとえば、隣接するマイクロフォンの間の間隔が約3.5cmで)並べられた3または4つのマイクロフォンを用いるビームフォーミングは、約10〜20度の空間帯域幅区別を取得するのに使うことができる。図3Cは、非対称アレイについてのビームパターンの例を示す。
さらなる一例では、利得差ベースの方法は、(たとえば、上述したビームフォーミングまたはBSS方法を使って)マルチチャネル信号から生成されたビームのチャネルの間の利得の差に基づいてDOAを推定して、マルチチャネル出力を生成する。たとえば、固定フィルタが、特定の方向もしくはソース(たとえば、ルック方向)から到着するエネルギーを、1つの出力チャネルに集中させ、かつ/または別の方向もしくはソースから到着するエネルギーを、異なる出力チャネルに集中させることによって、そのようなビームを発生するように構成され得る。図6Bは、マルチチャネル信号S10をフィルタリングして、(たとえば、それぞれのルック方向に対応する)信号チャネルB20as、B20bs、およびB20nsと、雑音チャネルB20an、B20bn、およびB20nnとを有するそれぞれのビームを発生するように配列された固定フィルタBF20a、BF20b、およびBF20nを含む、そのような構成の例を示す。そのようなケースにおいて、利得差ベースの方法は、DOAを、出力チャネルの間のエネルギーの差が最も大きいビームのルック方向として推定するように実装され得る。
DOA推定値は、BSS逆混合行列Wとマイクロフォン間隔とを直接使うことによって取得することもできる。そのような技法は、逆混合行列Wの逆(たとえば、ムーア−ペンローズ擬似逆)、それに続く逆投影データに対する単一ソースDOA推定を使って、分離されたソース信号の逆投影を使うことによって、(たとえば、ソースとマイクロフォンの各ペアについての)ソースDOAを推定することを含み得る。そのようなDOA推定方法は、一般的には、マイクロフォン利得応答較正におけるエラーに対して堅牢である。BSS逆混合行列Wは、m個のマイクロフォン信号X1〜XMに適用され、逆投影されるべきソース信号Yjが、行列Wの出力から選択される。各ソース−マイクロフォンペアについてのDOAは、GCC−PHATまたはSRP−PHATなどの技法を使って、逆投影信号から計算することができる。最尤および/または複数の信号分類(MUSIC)アルゴリズムも、ソース特定のために逆投影信号に適用され得る。上述した逆投影方法については、図37に示す。
位相差ベースの方法は、マルチチャネル信号の異なるチャネルの位相の間の差に基づいてDOAを推定する。そのような方法は、クロスパワースペクトル密度ベクトルの各要素をその規模によって正規化することによって算出され得る、マルチチャネル信号の(たとえば、マルチチャネル信号のオーディオ周波数成分の)白色化相互相関法(CPSP)に基づく技法を含む。そのような技法の例には、位相変換を伴う一般化相互相関(GCC−PHAT:generalized cross-correlation with phase transform)およびステアード応答パワー位相変換(SRP−PHAT:steered response power-phase transform)があり、これらは一般的には、推定DOAを、到着時間差の形で生成する。位相差ベースの手法の1つの可能利点は、マイクロフォンの利得応答の間の不一致に対して一般的に堅牢なことである。
他の位相差ベースの方法は、調べられるべき複数の周波数成分の各々について、各チャネル中の位相を推定することを含む。一例では、周波数成分の位相は、周波数成分のFFT係数の虚数項と、周波数成分のFFT係数の実数項との比の逆正接(アークタンジェントともいう)として推定される。調べられるべき各周波数成分についての位相差Δφを、1次チャネル中のその周波数成分についての推定位相を、別の(たとえば、2次)チャネル中のその周波数成分についての推定位相から減算することによって算出することが望ましい場合がある。そのようなケースにおいて、1次チャネルは、デバイスの典型的な使用中にユーザの声を最も直接受信すると予想されるマイクロフォンに対応するチャネルなど、信号対雑音比が最も高いと予想されるチャネルであり得る。
DOA推定方法が信号の帯域幅全体にわたって位相差を考慮することは不要であり得る。たとえば、広帯域レンジ(たとえば、0〜8000Hz)内の多くの帯域では、位相推定が実際的でないかまたは不要であり得る。超低周波数における受信波形の位相関係の実際的評価は、一般に、トランスデューサ間で相応して大きい間隔を必要とする。したがって、マイクロフォン間の最大の利用可能な間隔は、低周波限界を確立し得る。一方、マイクロフォン間の距離は、空間エイリアシングを回避するために、最小波長の1/2を超えるべきではない。たとえば、8キロヘルツサンプリングレートは0から4キロヘルツまでの帯域幅を与える。4kHz信号の波長は約8.5センチメートルであるので、この場合、隣接するマイクロフォン間の間隔は約4センチメートルを超えるべきではない。マイクロフォンチャネルは、空間エイリアシングを生じ得る周波数を除去するために低域フィルタ処理され得る。
音声信号の予想周波数レンジなど、マルチチャネル信号の限定オーディオ周波数レンジにわたって、DOA推定を実施することが望ましい場合がある。位相ベースのDOA推定方法の1つのそのような例は、ユーザの声のエネルギーのほとんどを含むと予想され得る、700Hz〜2000Hzの周波数レンジについての位相差を算出するように構成される。4キロヘルツ帯域幅信号の128点FFTの場合、700〜2000Hzのレンジは、ほぼ、第10のサンプルから第32のサンプルまでの23個の周波数サンプルに対応する。さらなる例では、そのような方法は、約50、100、200、300、または500Hzの下限から、約700、1000、1200、1500、または2000Hzの上限まで伸びる周波数レンジにわたる位相差を算出するように構成される(これらの下限と上限の25個の組合せの各々が、明白に企図され開示される)。
発声された音声(たとえば、母音)のエネルギースペクトルは、ピッチ周波数の高調波に局地的ピークをもつ傾向がある。一方、背景雑音のエネルギースペクトルは、比較的構造化されていない傾向がある。したがって、ピッチ周波数の高調波での入力チャネルの成分は、他の成分よりも高い信号対雑音比(SNR)をもつと予想され得る。推定ピッチ周波数の倍数に対応する位相差を選ぶように、DOA推定方法を構成することが望ましい場合がある。たとえば、算出された位相差の少なくとも25、50、または75パーセント(可能性としてはすべて)が、推定ピッチ周波数の倍数に対応すること、またはそのような成分に対応する方向インジケータには、他のインジケータよりも重く重み付けることが望ましい場合がある。男性話者の場合の約70〜100Hzから、女性話者の場合の約150〜200Hzまでの典型的なピッチ周波数レンジ、および(たとえば、ピッチ期間または「ピッチ遅れ」の推定値の形の)ピッチ周波数の現在の推定値は一般的に、音声符号化および/または復号を含むアプリケーション(たとえば、符号励起線形予測(CELP)およびプロトタイプ波形補間(PWI)などのピッチ推定を含むコーデックを使うボイス通信)においてすでに利用可能である。同じ原理が、他の所望の高調波信号にも適用され得る。逆に、音の信号(たとえば、アラーム、電話の音、および他の電子アラート)など、既知の干渉物に対応する周波数成分を無視するように、DOA推定方法を構成することが望ましい場合がある。
DOA推定方法は、複数の算出位相差のうちの各々について、DOAの対応する指示を算出するように構成され得る。一例では、各周波数成分のDOA θiの指示は、推定位相差
Figure 0005710792
と周波数fi
Figure 0005710792
との間の比riとして算出される。あるいは、DOA θiの指示は、量
Figure 0005710792
の(逆余弦とも呼ばれる)逆コサインとして計算することができ、ここでcは音速(約340m/秒)を示し、dはマイクロフォン間の距離を示し、
Figure 0005710792
は2つのマイクロフォンの対応する位相推定間のラジアンの差を示し、fiは、位相推定が対応する周波数成分(たとえば、対応するFFTサンプルの周波数、または対応するサブバンドの中心周波数もしくはエッジ周波数)である。あるいは、到着方向θiの指示は、量
Figure 0005710792
の逆コサインとして算出することができ、ここでλiは、周波数成分fiの波長を示す。
別の例では、DOAの指示は、マルチチャネル信号の対応する周波数成分fiの到着時間遅延τiとして(たとえば、秒で)算出される。たとえば、そのような方法は、
Figure 0005710792
または
Figure 0005710792
などの式を使って、1次マイクロフォンに対する2次マイクロフォンにおける到着時間遅延τiを推定するように構成され得る。これらの例において、τi=0という値は、横方向から到着する信号を示し、τiの大きい正の値は、基準縦方向から到着する信号を示し、τiの大きい負の値は、他の縦方向から到着する信号を示す。値τiを算出する際、サンプリング期間など、特定のアプリケーションにとって適切と思われる時間単位(たとえば、8kHzのサンプリングレートに対して125マイクロ秒の単位)または1秒の小数(たとえば、10-3、10-4、10-5、または10-6秒)を使うことが望ましい場合がある。到着時間遅延τiは、時間領域中の各チャネルの周波数成分fiを相互相関させることによっても算出され得ることに留意されたい。
位相差ベースの方法は、DOAを、DOAインジケータの平均(たとえば、平均値、中央値、またはモード)として推定するように構成され得る。あるいは、そのような方法は、所望のレンジのDOAカバレージを複数のビン(たとえば、0〜180度の範囲に対して、3、4、5、6、7、8、9、10、11、または12ビンの固定方式)に分割し、値が各ビンの範囲内であるDOAインジケータの数(すなわち、ビン母集団)を判断することによって、DOAを推定するように構成され得る。ビンが不均等な帯域幅をもつケースでは、各ビン母集団を対応する帯域幅によって正規化することによって、ビン母集団値を算出することが望ましい場合がある。所望のソースのDOAは、母集団値が最も高いビンに対応する方向として、または現在の母集団値が最も大きい対比をもつ(たとえば、そのビンについての母集団値の長時間平均とは、最も大きい相対規模だけ異なる)ビンに対応する方向として推定され得る。
同様の方法が、1組の方向マスキング関数を使って、所望のレンジのDOAカバレージを複数のセクタ(たとえば、0〜180度のレンジの場合、3、4、5、6、7、8、9、10、11、または12個のセクタ)に分割する。隣接するセクタに対する方向マスキング関数は重なってよく、方向マスキング関数のプロファイルは、線形または非線形であり得る。停止帯域と通過帯域との間の1つの遷移または複数の遷移の鋭さが、1つまたは複数の因子(たとえば、信号対雑音比(SNR)、雑音フロアなど)の値による動作中に選択可能および/または可変であるように、方向マスキング関数が実装され得る。たとえば、SNRが低いときは、比較的狭い通過帯域を使うことが望ましい場合がある。セクタは、互いと(たとえば、度またはラジアンでの)同じ角度幅を有してよく、またはセクタのうち2つ以上(可能性としてはすべて)が、互いとは異なる幅を有してもよい。図7は、位相差ベースのDOA推定のために、3つの重なるセクタからなるセットが、マイクロフォンMC10およびMC20に対応するチャネルペアに適用される、デバイスD20の3マイクロフォン実装形態D22のそのような適用の平面図を示す。
図8A〜図8Dは、方向マスキング関数の個々の例を示し、図9は、3つの方向マスキング関数からなる2つの異なるセット(線形対曲線プロファイル)の例を示す。これらの例において、各セグメントについてのマスキング関数の出力は、調べられている周波数成分の対応する位相差についての通過値の合計に基づく。たとえば、出力は、マスキング関数についての最大可能値に関して合計を正規化することによって算出され得る。当然ながら、マスキング関数の応答は、方向θよりもむしろ時間遅延τまたは比rによって表すこともできる。
マイクロフォンアレイは、異なる方向から異なる量の周囲雑音を受信すると予想され得る。図10は、図9に示す3つの方向マスキング関数からなるセットを同じマルチチャネルオーディオ信号に適用した結果に対する(フレームでの)規模対時間のプロットを示す。この信号に対する様々なマスキング関数の平均応答は大幅に異なることがわかる。マスキング関数出力が、対応する検出閾値を上回る(あるいは、以上である)ことがない限り、そのセクタに対応するDOAがセグメントについてのDOA推定値として選択されないように、それぞれの検出閾値を各マスキング関数の出力に適用することが望ましい場合がある。
異なるチャネルペアに対応するセクタを評価するように、DOA推定方法を構成することも可能である。図11〜図14は、デバイスD20の4マイクロフォン実施態様D24とともに使われる、そのような方法の例を示す。図11において、セクタ1は、(1次−2次)マイクロフォンペアMC20−MC10の縦方向に適用されるマスキング関数によって定義され、セクタ2は、マイクロフォンペアMC10−MC40の縦方向に適用されるマスキング関数によって定義され、セクタ3は、マイクロフォンペアMC30−MC20の縦方向に適用されるマスキング関数によって定義される。図12の例は、マイクロフォンペアMC40−MC10の縦方向に適用されるマスキング関数によって定義される第4のセクタを追加する。図13および図14は、各セクタに関連付けられたDOA推定値を示す2つの同様の例(それぞれ、5および8つのセクタを有する)を示す。これらの例において、各セクタに関連付けられたDOA推定値は、それぞれのマイクロフォンペアの縦方向に対応する。
マルチチャネル信号の「方向コヒーレンス」は、信号の様々な周波数成分が同じ方向から到着する程度として定義される。理想的に方向的にコヒーレントなチャネルペアの場合、
Figure 0005710792
の値はすべての周波数について定数kに等しく、ここで、kの値は到着方向θおよび到着時間遅延τに関係する。マルチチャネル信号の方向コヒーレンスは、たとえば、各周波数成分について推定される到着方向が特定の方向にどのくらい良く適合するかに従って、各周波数成分について推定される到着方向をレーティングすることと、次いで、その信号についてのコヒーレンシ測度を取得するために様々な周波数成分についてのレーティング結果を組み合わせることとによって、定量化され得る。したがって、各セクタについてのマスキング関数出力は、そのセクタ内のマルチチャネル信号の方向コヒーレンスの測度である。方向コヒーレンスの測度の算出および適用は、たとえば、国際特許公開WO2010/048620A1およびWO2010/144577A1(Visserら)にも記載されている。
各セクタについてのコヒーレンシ測度を時間平滑化値として生成することが望ましい場合がある。1つのそのような例において、DOA推定方法は、コヒーレンシ測度を、直近のm個のフレームにわたる平均値として生成するように構成され、mの可能値は、4、5、8、10、16、および20を含む。別のそのような例において、この方法は、(1次IIRまたは再帰的フィルタとしても知られる)z(n)=βz(n−1)+(1−β)c(n)などの式により、フレームnについての、平滑化コヒーレンシ測度z(n)を算出するように構成され、ここでz(n−1)は、前のフレームについての平滑化コヒーレンシ測度を示し、c(n)は、コヒーレンシ測度の現在の非平滑化値を示し、βは、ゼロ(平滑化なし)から1(更新なし)までの範囲から値が選択され得る平滑化係数である。平滑化係数βの典型的な値は、0.1、0.2、0.25、0.3、0.4および、0.5を含む。異なるセクタに対応するコヒーレンシ測度を平滑化するのに、βの同じ値を使うことは典型的ではあるが、必要なわけではない。
コヒーレンシ測度の対比は、コヒーレンシ測度の現在値と、経時的コヒーレンシ測度の平均値(たとえば、直近の10、20、50、または100フレームにわたる平均値、最頻値、または中央値)との間の関係の値(たとえば、差または比)として表され得る。DOA推定方法は、漏洩積分器などの時間平滑化関数を使って、またはv(n)=αv(n−1)+(1−α)c(n)などの式により、各セクタについてのコヒーレンシ測度の平均的値を算出するように構成することができ、ここでv(n)は、現在のフレームについての平均的値を示し、v(n−1)は、前のフレームについての平均的値を示し、c(n)は、コヒーレンシ測度の現在の値を示し、αは、ゼロ(平滑化なし)から1(更新なし)までの範囲から値が選択され得る平滑化係数である。平滑化係数αの典型的な値は、0.01、0.02、0.05および、0.1を含む。
セクタベースのDOA推定方法は、信号のDOAを、コヒーレンシ測度が最も大きいセクタに関連付けられたDOAとして推定するように構成され得る。あるいは、そのような方法は、信号のDOAを、コヒーレンシ測度が現時点で最も大きい対比をもつ(たとえば、そのセクタについてのコヒーレンシ測度の長時間平均とは、最も大きい相対規模だけ異なる現在の値をもつ)セクタに関連付けられたDOAとして推定するように構成され得る。位相差ベースのDOA推定の追加記述は、たとえば、米国特許出願公開第2011/0038489号(2011年2月17日公開)および米国特許出願第13/029,582号(2011年2月17日出願)に見ることができる。
利得差ベースの手法と位相差ベースの手法の両方について、マルチチャネル信号の限定オーディオ周波数レンジにわたってDOA推定を実施することが望ましい場合がある。たとえば、低周波数における残響および/または高周波数における所望の信号の減衰に起因する問題を回避するために、中間周波数レンジ(たとえば、100、200、300、または500〜800、100、1200、1500、または2000Hz)にわたってDOA推定を実施することが望ましい場合がある。
いくつかのアプリケーションでは、オーディオ感知デバイスに相対した1つまたは複数の方向性音源の各々の位置を特定することが望ましい場合がある。DOA推定に加え、たとえば、マイクロフォンアレイに対する各方向性音源のレンジ(すなわち、距離)に関する情報を取得することが望ましい場合がある。そのような情報を使って、オーディオ感知デバイスに相対した、人間話者など、移動する方向性ソースの、時間経過に伴う位置を追跡することが望ましい場合がある。ソース特定のためのアプリケーションの例は、方向性マイクロフォンのステアリング、マルチマイクロフォンアレイのビームのステアリング、音声強調のための空間情報の使用、空間強調再生成のための音場の空間情報の記録(たとえば、波面合成の使用)、マイクロフォンパス利得の制御、オーディオ再生利得の制御、電話会議、テレビ会議、ジェスチャー認識、動き検出、存在検出、撮像センサ(たとえば、カメラ)のステアリングおよび/またはフォーカシング、メガネなし立体視のためのディスプレイの制御、たとえば、ダンス、スポーツ、および/または楽器演奏(たとえば、ダンスダンスレボリューション(日本、東京都、コナミ株式会社)、Wii Sports(日本、京都府、任天堂株式会社)、ビデオゲームのHeroシリーズ(たとえば、カリフォルニア州サンタモニカのActivision Blizzard社製Guitar Hero、Band Hero、DJ Hero))などのアクティビティを含み得る対話型運動関連ゲーム用アプリケーションを含むが、それらに限定されない。そのような技法を実施するのに使われ得るオーディオ感知デバイスの例には、セットトップボックス、ゲーム機、ならびにラップトップおよびタブレットコンピュータがある。
測距のための1つの手法は、ソースによって放射された可聴音の録音から、ソースのレンジを推定するものである(「受動測距」ともいう)。ただし、オーディオ録音から信頼できるレンジ情報を取り出すために、一般的には、マイクロフォンアレイの開口が、アレイと音源との間の距離に匹敵することが望ましい。1メートル以上(たとえば、最大3または4メートル)のレンジの推定をサポートすることが望ましいアプリケーションの場合、ワイヤレス通信用デバイス(たとえば、スマートフォン)および/またはポータブルコンピューティング(たとえば、ネットブックもしくはラップトップ)ならびに他の消費者デバイス(たとえば、セットトップボックス、ゲーム機)などの小型形状因子についての、アレイ開口とソースレンジとの間のそのような関係を取得することが実際的でない可能性がある。そのようなアプリケーションの場合、測距のための能動手法を使うことが望ましい場合がある。
録音アプリケーション(たとえば、ボイス通信用)において、可聴音の放射を利用して能動測距をサポートすると、取り込まれた可聴音場を有する干渉が引き起こされ得る。したがって、能動測距のための別の手法を使うことが望ましい場合がある。1つのそのような手法は、人間が気づかない超音波エネルギーを使う能動測距である。そのような測距は、超音波測距パルスを放射することと、測距されるべきオブジェクト(すなわち、ソース)からのパルスの反射によって引き起こされたエコーを検出することと、パルスの放射から反射エコーの検出までの飛行時間に基づいて、レンジ(たとえば、音源と検出器の間の距離)を算出することとを含み得る。超音波エネルギーは一般的には、オーディオ周波数測定値に対するよりも低い雑音フロアを超音波測定値に対してもたらす、ほとんどの雑音が放射される周波数帯をはるかに上回る周波数帯中で放射および検出される。
可聴音からの超音波測距とDOA推定の組合せは、撮像データに基づくもの(たとえば、モーションキャプチャ)など、他の特定手法に対する、優れた代替法になり得る。オーディオ処理デバイスへの超音波測距の統合は、一般的には、超低電力インパルスレーダ(MIR)または赤外線など、他の測距技術の同様の統合よりも容易である。たとえば、一般的には、オーディオマイクロフォンを超音波検出器として使うことが可能である。超音波測距はまた、そのようなオーディオ処理アプリケーションの典型的な距離レンジ(たとえば、1〜5メートルの距離)において、他の手法よりも正確であり得る。図1Cは、到着方向とレンジRS1の両方が所望のソースAS1に関連付けられた例を示す。
超音波測距は、部屋寸法など、環境の他の側面を識別する(たとえば、受信したオーディオ周波数信号に対して実施されるべき残響除去演算を構成する)のも助け得る。一般的には対象となっている唯一のレンジが特定の方向のオブジェクトのレンジである(すなわち、すべての付近のオブジェクトのレンジとは反対に)とき、超音波測距演算は、1つまたは複数の方向性区別方法(たとえば、可聴音からのDOA推定)と合成され得る。
超音波測距などの測距演算からの情報を使って、DOA推定を改善することが望ましい場合がある。たとえば、音源とマイクロフォンアレイとの間の推定距離に基づいて、受信した音からDOAを推定するための異なる方法の間で選択を行うことが望ましい場合がある。受信した音からDOAを推定するためのいくつかの位相差ベースの方法は、ソースがアレイに接近しているとき、エネルギー差ベースの方法よりも良好な結果を生成し得るが、ソースがアレイから離れているときは、エネルギー差ベースの方法がより良好な結果を生成し得る。
そのようなケースにおいて、アプリケーションは、ソースがデバイスに接近しているという指示に応答して、位相差を使ってDOAを推定するように構成すればよい。そのようなケースでは、近距離雑音低減方法を使うこともできる。ソースがデバイスから離れているという指示に応答して、アプリケーションは、エネルギー差ベースのDOA推定方法(および/または異なる位相差ベースの方法)を代わりに使うように構成され得る。
時間領域相互相関方法は、遠くのソースに対してよりも良好な結果を接近ソースに対して生成し得るが、いくつかの位相差ベースの方法は、最大1〜2メートル以上のソースデバイス距離に対して、良好なDOA推定結果を生成し得る。利得差ベースの方法の中でも、ビーム強度または品質差に基づく方法が、受信されたオーディオ周波数信号のチャネルの間の利得差に基づく方法よりも、比較的大きいソースデバイス間距離では有効であり得る。
図2Bは、タスクT100、T200、およびT300を含む一般的構成による方法M100についてのフローチャートを示す。放射超音波信号の検出された反射からの情報に基づいて、タスクT100は、音放射体(たとえば、ユーザなど、所望の音源)のレンジを推定する。タスクT200は、推定されたレンジと閾値との間の関係の状態を示す。関係の指示された状態に基づいて、タスクT300は、マルチチャネル信号のオーディオ周波数成分の到着方向推定値を算出する。たとえば、タスクT300は、関係が第1の状態をもつ(たとえば、ソースがアレイに接近している)という、タスクT200による指示に応答して、オーディオ周波数成分のチャネルの間の位相差に基づいてDOA推定値を算出するように、また、関係が第2の状態をもつ(たとえば、ソースがアレイから離れている)という、タスクT200による指示に応答して、オーディオ周波数成分のチャネルの間のエネルギーの差に基づいてDOA推定値を算出するように構成することができ、または逆も同様である。別の例では、タスクT300は、2つの異なる利得差ベースの方法のうち、選択された1つ、または2つの異なる位相差ベースの方法のうち、選択された1つ、または本明細書で開示した様々なDOA推定技法のうち任意のものの間で選択された1つ(もしくはそれ以上)に基づいてDOA推定値を算出するように構成され得る。上記のように、図1Dは、方法M100の実装形態を実施するように構成され得るデバイスD10の実装形態D20の例を示す。
タスクT100は、サブバンド領域または変換領域(たとえば、FFT領域)などの時間領域または周波数領域における検出超音波信号からのレンジを推定するように構成され得る。サブバンド領域例において、タスクT100は、1つまたは複数の時間領域帯域通過フィルタのバンクに時間領域受信信号を通し、各サブバンドの出力エネルギーを測定する。変換領域例では、タスクT100は、受信信号のスペクトグラムを算出し、時間に伴うピーク周波数(たとえば、40kHz)でのエネルギーの発展を監視する(たとえば、図20参照)。
タスクT100は、受信エコーの時間軸ロケーションを、FFT領域におけるエネルギーピークのロケーションとして判断するように構成され得る。時間領域信号の場合、タスクT100は、受信したエコーの時間軸ロケーションを、エネルギーが(個別に、または代替的には、まとめて)エコー検出閾値を上回るサンプルの領域のピークのロケーションとして判断するように構成され得る。エコー検出閾値は固定でも適応的でもよく、領域の最大幅(サンプルで表す)を限定することが望ましい場合がある。タスクT100は、ピークを、領域の最も高いエネルギーサンプルとして、または代替的には、領域の時間の中心として識別するように構成され得る。
タスクT100は、レンジを、(たとえば、メートルもしくはセンチメートルでの)距離測度として、または、等価には、(たとえば、秒、ミリ秒、フレーム期間、もしくはサンプル期間での)時間測度として推定するように構成され得る。タスクT100は、算出されたソースデバイスレンジを、エミッタから反射ソース、検出器へのパスの総距離(たとえば、放射から検出までの総飛行時間)によって示すように構成され得る。あるいは、タスクT100は、総距離または飛行時間を2で除算することによって、算出されたソースデバイスレンジを示す(すなわち、算出されたソースデバイスレンジを、反射ソースとデバイスとの間の距離として示す)ように構成され得る。
タスクT100は、検出超音波信号からパルスが放射される瞬間(すなわち、飛行時間の開始)を識別するように構成され得る。あるいは、タスクT100は、パルスを発生する信号ジェネレータから放射時間の指示を受信するように構成され得る。
タスクT200は、推定レンジが閾値未満の場合、推定されたレンジと閾値との間の関係が第1の状態(たとえば、1または論理高)をもつことを示すように、また、推定レンジが閾値よりも大きい場合、関係が第2の状態(たとえば、ゼロまたは論理低)をもつことを示すように構成され得る。そのような方法の一例は、ソースがデバイスに1メートルよりも接近しているときは、位相ベースのDOA方法が選択され、ソースがデバイスから1メートルを超えて離れているときは、エネルギーベースのDOA方法が選択されるように、約1メートルのソースデバイス距離に対応する閾値(たとえば、毎秒340メートルの音速に対して、約5.88ミリ秒の総飛行時間)を使う。閾値の他の例には、50センチメートルから150センチメートルまで(たとえば、50、75、80、120、135、または150センチメートル)のレンジ内のソースデバイス距離に対応する値がある。
図15A〜図15Dは、方法M100の適用の一例を示す。図15Aは、第1の時間Aに超音波エミッタUE10によって放射されたパルスに応答して、また、可聴ソースAS1からのパルスの反射によって引き起こされた受信エコーES1Aに応答して、超音波検出器UD10によって生成された信号のプロット(振幅対時間)を示す。これらの2つのイベント(パルスの放射とエコーの受信)の間の時間は、図15Bに示すように、時間Aにおける可聴ソースAS1のレンジRS1Aを示す超音波パルスの飛行時間TOF1Aである。この場合、タスクT200は、第1のDOA推定方法(たとえば、位相ベース)が選択されるように、レンジRS1Aが距離閾値TR未満であることを示す。
図15Cは、第2の時間Bに超音波エミッタUE10によって放射されたパルスに応答して、また、可聴ソースAS1からのパルスの反射によって引き起こされた受信エコーES1Bに応答して、超音波検出器UD10によって生成された信号の同様のプロットを示す。これらの2つのイベントの間の時間は、図15Dに示すように、時間Bにおける可聴ソースAS1のレンジRS1Bを示す超音波パルスの飛行時間TOF1Bである。この場合、タスクT200は、第2のDOA推定方法(たとえば、エネルギーベース)が選択されるように、レンジRS1Bが距離閾値TRよりも大きいことを示す。
短期間にわたるDOA推定方法の間の過度の切替え(たとえば、閾値TRにレンジが接近しているソースのケースにおける)を防ぐために、ハングオーバまたは他の時間平滑化演算を含むようにタスクT300を実装することが望ましい場合がある。1つのそのような例において、タスクT300は、何らかの最小数の連続指示についての(たとえば、3、5、10、もしくは20個の連続パルスについて、または50、100、200、もしくは500ミリ秒に対応する期間についての)新たな状態をタスクT200が示した後でのみDOA推定方法を切り替えるように構成される。追加または代替として、短期間にわたるDOA推定方法の間の過度の切替えは、各状態遷移に対して異なる距離閾を使うようにタスクT200を構成することによって防ぐことができる(たとえば、図16Aに示すように)。たとえば、タスクT200は、レンジが立上り閾値TRr(たとえば、110、120、135、または150センチメートル)を超える(あるいは、少なくとも等しい)ときのみ、第1の状態から第2の状態への(たとえば、位相ベースのDOA推定からエネルギーベースのDOA推定への)遷移を示すように、また、レンジが立下り閾値TRf(たとえば、50、60、75、または90センチメートル)未満(あるいは、以下)であるときのみ、第2の状態から第1の状態への(たとえば、エネルギーベースのDOA推定から位相ベースのDOA推定への)遷移を示すように構成され得る。
異なる瞬間に関連付けられた(たとえば、図1Cに示す)デバイスに相対した、可聴ソースAS1のレンジと、対応する方向との履歴を記憶するように、方法M100を構成することが望ましい場合がある。そのような履歴は、ソースが時間とともに動くとき、ソースのロケーションの追跡をサポートするのに使うことができる。1つのそのような例において、方法M100は、一連のソースロケーションにおける各々を、時間値と、対応するDOAと、レンジ値とのトリプレットとして(たとえば、対応する時間値に関連付けられた極座標として)記憶するように構成される。そのような履歴は、時間とともにロケーションが変わり、または一定のままであり得る、視野内の2つ以上のソースおよび/または他のオブジェクトのロケーションも含み得る。
方法M100(または、そのような方法を実施する装置)の実装形態は、マルチチャネル信号S10に対して1つまたは複数の空間選択処理演算を実施することも含み得る。たとえば、方法M100は、推定DOAとは異なる方向から(たとえば、推定DOA付近の方向の受諾レンジの外の方向から)到着するマルチチャネル信号の周波数成分を減衰することによって、強調信号を生成するように構成され得る。マルチチャネル信号が2つより多いチャネルを含むケースでは、方法M100は、推定DOAに基づいて、チャネルのサブセット(たとえば、ペア)を選択するように構成され得る。たとえば、方法M100は、縦(すなわち、軸)方向が推定DOAと最も厳密に一致するマイクロフォンペアに対応するチャネルのペアを選択するように構成され得る。
代替または追加として、方法M100は、推定DOAとは異なる方向(たとえば、他のセクタ)から到着する、周波数成分を含むマルチチャネル信号の雑音成分の推定値を算出するように構成され得る。雑音推定値が算出されるケースでは、方法M100は、雑音推定値を使って、マルチチャネル信号の1つまたは複数のチャネルに対する雑音低減動作(たとえば、ウィーナーフィルタリングまたは強調信号の1つもしくは複数のチャネルからの雑音推定値のスペクトル減算)を実施するようにも構成され得る。方法M100の他の適用は、推定DOAまたはソースロケーションを使って、オーディオ感知デバイスのカメラによって取り込まれた画像の一部分をフォーカスウィンドウとして(たとえば、フォーカスウィンドウがソースの画像の少なくとも一部を含むように)選択することと、推定ソースレンジおよびフォーカスウィンドウからの情報を使って、所望のソースにカメラの焦点を当てることとを含む。
デバイスD20の同じマイクロフォンを、(たとえば、検出器UD10を、マイクロフォンアレイ中のマイクロフォンとして実装するために)可聴音録音に関する超音波検出に使うことが、一般的には可能であるが、そのようなデバイスは、1つまたは複数の専用の超音波検出器を代わりに含むように構成され得る。超音波と可聴音の両方を感知するためにマイクロフォンが使われるケースでは、受信信号をフィルタバンクに通して、(DOA推定のため、および可能性としては空間選択的処理のための)オーディオ周波数成分から、(測距のため、および可能性としてはDOA推定のための)超音波成分を分離することが望ましい場合がある。
検出器UD10と、アレイのマイクロフォン(たとえば、MC10、MC20、MC30、MC40)との各々は、拡張帯域幅微小電気機械システム(MEMS)マイクロフォンとして、および/またはエレクトレットコンデンサマイクロフォン(ECM)として実装することができる。超音波および/または可聴音のそのような検出器は、ポリフッ化ビニリデン(PVDF)、圧電セラミック、またはカーボンナノチューブなどの圧電材料の1つまたは複数のシートとしても実装することができる。複数のPVDFシートが、表面に適用され得る。
超音波測距信号ならびに可聴音信号(たとえば、テレフォニーアプリケーションにおける遠端音声信号)を放射するためのラウドスピーカーを使うことが可能であるが、測距のために専用の超音波エミッタUE10を代わりに使うことが望ましい場合がある。超音波エミッタの例には、圧電性フィルム、焦電気フィルム、および圧電セラミックがある。圧電性フィルム(たとえば、PVDF)超音波送信機および受信機は、エア測距アプリケーションに、特有の利点をもたらす。PVDFフィルム向けの典型的な放射および検出周波数は、40kHzと80kHzとを含む。円筒型PVDF送信機は一般的には、全方向性水平ビーム指向性と広帯域特性とを呈する。円筒型PVDF受信機は一般的には、非常に広い水平ビーム指向性と広帯域特性とを呈する。アプリケーションによっては、送信機および/または受信機の共振周波数および垂直ビーム指向性は、PVDFシリンダの直径および/または長さを変えることによって容易にカスタマイズすることができる。図17は、ベゼルBZ10に搭載されたスクリーンSCR10を含むオーディオ感知デバイスD20(たとえば、ラップトップまたはタブレットコンピュータ)の実装形態、ベゼルBZ10に搭載された超音波エミッタUE10の円筒型PVDF実装形態UE12、およびベゼルBZ10内の対応する音響ポートの後ろに配置された3つのマイクロフォンMC10、MC20、MC30からなるアレイの一例の一部分を示す。この例では、マイクロフォンMC20は、検出器UD10としても働き、他のマイクロフォンのうち1つまたは複数は、超音波検出器としても使われ得る。図17に示すように突出するエミッタに対して、使用中でないときはベゼルBZ10内で動かすことができるように、ばね式または場合によっては格納式でエミッタを搭載することが望ましい場合がある。デバイスD20の別の例は、完全な3軸全方向性ビームパターンを与えるように直交して並べられた複数のPVDF円筒型受信機を含む。
焦電気フィルムも、超音波エミッタとして使うことができる。たとえば、カーボンナノチューブ技術(CNT)エミッタは、焦電気効果を呈するように構成され得る。断熱プロセス中に空気を素早く加熱および冷却すると、空気分子が圧縮および希薄にされ、結果として音波を生じる。そのようなフィルム(たとえば、CNTフィルム)は、プレーナエミッタにおいて使われ、または代替的には、全方向性ビームパターンのために円筒形状にラッピングされ得る。
圧電セラミックエミッタは、効率的な超音波エミッタでもあるが、一般的には、PVDF送信機よりも低いQファクタをもつ。そのようなエミッタは、全方向性点音源として作用するように球状に形成され、またはピストンモードもしくはカンチレバービームアクチュエータとして作用するようにシートに形成され得る。図16Bは、ベゼルBZ20内に搭載されたスクリーンSCR20と、4つのマイクロフォンMC10、MC20、MC30、MC40からなるアレイとを含むオーディオ感知デバイスD20(たとえば、ラップトップまたはタブレットコンピュータ)の実装形態、ならびにベゼルBZ20内の対応する音響ポートの後ろに配置された超音波エミッタUE10の圧電セラミック実装形態UE14の一例の一部分を示す。この例では、マイクロフォンMC20は、検出器UD10としても働き、他のマイクロフォンのうち1つまたは複数は、超音波検出器としても使われ得る。
デバイスD20は、たとえば、0.2、0.25、0.5、1、2、5、10、20、50、または100Hzのレートで測距パルスを放射するようにエミッタUE10を駆動するように構成され得る。消費者家庭環境(たとえば、セットトップボックス、ゲーム機、ラップトップまたはタブレットコンピュータ)におけるインストールのために、ペットの聴覚の範囲を上回る超音波周波数を使うことが望ましい場合がある。犬は一般的には、最高40,000Hzの音が聞こえ、猫は一般的に、最高60,000Hzの音が聞こえ、齧歯類は一般的に、最高90,000Hzの音が聞こえる。受信信号がサンプリングされるレートは、放射パルスの周波数の2倍よりも大きいこと(たとえば、192kHzなど、80〜200kHz以上のサンプリングレート)が望ましい場合がある。
部屋の壁など、大きく、平坦で硬い表面は、人体よりも、超音波パルスのエネルギーの多くを反射する見込みがある。そのような表面は、デバイスのユーザからのエコーよりも大きい振幅を有するエコーを生成し得る。超音波信号は一般的に、最大実際的ソースデバイスレンジが約5メートル以下(たとえば、2または3メートル)に限定され得るように、急速に(たとえば、5メートルにおいて約50パーセントまで)減衰する。受信された超音波信号は一般的に、オブジェクトと検出器との間の距離が増すと、およびオブジェクトのサイズが低下すると、より弱くなる。距離の影響は一般的に、平坦表面よりも非平坦表面の場合、検出超音波信号中で認知可能である。
実際的アプリケーションにおいて、超音波検出器またはマイクロフォンによって生成された信号が、放射パルスの2つ以上の反射からのエコーを含むと予想され得るように、放射超音波パルスは、2つ以上の表面から反射すると予想され得る。図18は、検出信号がレンジRS1におけるソースAS1からのエコーを含む例を示す。この例では、信号は、レンジRL1における左の壁、レンジRT1における右の壁、およびレンジRR1における後の壁のうち1つまたは複数からのエコーも含み得る。図19は、複数のエコーを含む検出信号の録音のプロット(振幅対時間領域サンプル)を示す。図20は、この時間領域信号と、対応するスペクトグラム(たとえば、16、32、64、または128サンプルのフレームサイズを有するFFT演算を使って、感知信号から生じられ得る)とを示す。
図21Aは、超音波エミッタUE10によって放射されたパルスに応答して、可聴ソースAS1からのパルスの反射によって引き起こされたエコーES1に応答して、および別のオブジェクトO1(たとえば、壁、家具の1つ、別の人など)からのパルスの反射によって引き起こされたエコーEO1に応答して、超音波検出器UD10によって生成された信号のプロットを示す。上述したように、各反射の飛行時間(TOF)は、対応する反射オブジェクトのレンジを示す。ただし、それ以上の情報がない場合は、これらの反射のうちどれが、同じ期間内にDOAが推定される可聴ソースに対応するかを確実に判断することが困難であり得る。その結果生じる、図21Bに示すレンジあいまいさは、状態指示タスクT200のエラーを引き起こし、タスクT300が、ソースAS1から受信された可聴信号に対して、レンジに適したDOA推定方法を選択するのを妨げ得る。
1つのソリューションは、指定された最小および/または最大値との、指定された関係を満足する限り、最接近レンジを選択するようにタスクT100を構成することである。たとえば、所望のソースが、視野内の他のどのオブジェクトよりもデバイスに接近していると仮定され得る。タスクT100のそのような実装形態は、(たとえば、20、25、30、40または50センチメートル以上の、ソースと検出器との距離に対応する)最小値以上である(あるいは、少なくとも等しい)、ならびに/あるいは(たとえば、1、1.25、1.3、1.5、または2メートル以下である、ソースと検出器の距離に対応する)最大値以下である(代替的には、未満)である限り、最接近レンジを選択するように構成され得る。
オーディオ感知デバイスが、使用中に静止したままになるケースでは、ソースがない場合、ソースDOAが推定されるべき空間(たとえば、アレイの前にあるエリア)を特徴づけるためのレンジ初期化演算を実施することが望ましい場合がある。そのような演算により、可聴ソースから受信された音を処理するためのデバイスの使用中に、これらのレンジを示すエコーが無視され得るように、たとえば、空き空間中の(たとえば、壁および家具からの)エコーのレンジを記憶することによって、ベースラインレンジマップを作成することができる。
代替または追加として、同様に周囲のオーディオ環境を特徴づけるためのベースラインマップを作成することが望ましい場合がある。そのようなマップは、(たとえば、特定のDOAを回避するための)可聴DOA推定方法および/または(たとえば、特定のDOAから到着する音を減衰するための)空間選択処理演算に対する幾何学的制約を強化するのに使うことができる。そのような制約は、たとえばラジオ、テレビ、音を出す器具、時計など、ロケーションが固定された方向性干渉ソースによる散乱を削減するのを助け得る。
方法M100は、2つ以上の検出器からの(たとえば、アレイのうち、2つ以上のマイクロフォンからの)信号をレンジ推定に使うように実装され得る。複数の超音波検出器からの測距結果が利用可能なとき、たとえば、これらの結果をDOA推定に使うことが可能になる。そのようなDOA推定は、たとえば、三角測量アルゴリズム、ラテレーションアルゴリズム(たとえば、三辺測量もしくはマルチラテレーション)、および/または重心アルゴリズムを使って、異なる超音波検出器からの録音における、対応するエネルギーピークからのレンジ(たとえば、飛行時間)を合成することを含み得る。
超音波反射ピックアップが高度に反応し、かつ/または前方向と後方向との間を区別し得るように(たとえば、図2Aおよび図11〜図14に示す配列でのように)、検出器を並べることが望ましい場合がある。マイクロフォン配置により、オーディオ周波数信号に対するよりも高い、超音波に対する空間区別が可能になる。
図22A〜図22Cは、複数の超音波検出器からの測距結果を使う、DOA推定の適用の例を示す。図22Aは、オーディオ感知デバイスD20の実装形態D30の視野内に置かれたソースAS1とオブジェクトO1とを示す。図22Bは、レンジR1を示すエコーE1を含む、検出器UD10(たとえば、マイクロフォンMC10)によって生成された信号のプロットを示す。この場合、エコーE1は、エコーがマージしているように、検出器UD10に対して同じレンジをもつ、ソースAS1とオブジェクトO1の両方からの放射パルスの反射によって引き起こされる。図22Cは、ソースAS1のレンジR2S1を示すエコーE2S1と、エコーE2S1とは別のエコーE2O1とを含み、オブジェクトO1のレンジR2O1を示す検出器UD20(たとえば、マイクロフォンMC20)によって生成された、対応する信号のプロットを示す。
方法M100のそのような実装形態は、エコーE1、E2S1、およびE2O1からの、視野内の2つの候補ロケーションを(たとえば、バイラテレーションを使って)判断するように構成され得る。この方法は、ソースAS1によって生成された可聴信号からのDOA推定値(たとえば、直近のDOA推定値)を使って、候補ロケーションのうち適切な1つを選択するようにも構成され得る。この例では、適切な候補ロケーションの選択により、レンジあいまいさも解決し、タスクT300における適切なDOA推定技法の選択をサポートする。当然ながら、方法M100のそのような実装形態は、3つ以上の検出器の各々からの検出信号を使うようにも構成され得る。
超音波DOA推定手法は、2つ以上のエミッタの使用も含んでよく、各エミッタは、他の1つのエミッタまたは複数のエミッタによって生成されたパルス(たとえば、時間経過に伴う、異なる放射された周波数および/または異なるパルスエネルギープロファイルをもつパルス)とは区別可能なパルスを生成するように構成される。代替または追加として、同じオブジェクトによって反射され、異なる検出器によって受信される、同じパルスのエコーの利得(たとえば、規模、エネルギー)および/または位相の間の差は、DOA推定に使うことができる。ただし、間隔が接近した検出器は、利得差測定値を与える際、不十分な実施をする可能性がある。逆に、マイクロフォンも超音波検出器として使われるケースでは、検出器の間の間隔は一般的に、位相差ベースの超音波測距をサポートするには離れすぎている。
セットトップボックスまたはラップトップもしくはタブレットコンピュータの典型的な形状因子について、超音波反射からのDOA推定は、約30センチメートル〜約3メートルのソースデバイス間距離のレンジにわたって実際的であり得ると予想され得る。大きいオブジェクトが検出器に接近しているとき、超音波DOA推定は、放射および反射エネルギーの重なりに起因して、信頼できなくなる場合がある。超音波推論レンジに基づいて、超音波DOA推定値の(および可能性としては、オーディオ周波数情報に基づくDOA推定値の)更新を可能にし、かつ/または不能にすることが望ましい場合がある。たとえば、オブジェクトが検出器に閾距離Tminよりも接近していること、および/またはオブジェクトのサイズが、アレイのサイズ(たとえば、開口)と比較して大きいことをタスクT100が示す場合、対応するDOA推定値を、信頼できないとして拒否することが望ましい場合がある。そのようなケースでは、タスクT100が、直近のDOA推定値を、現在の推定値として使うこと、または合成推定値において、オーディオ周波数DOA推定値の重みwp[n]に相対した超音波DOA推定値の重みwa[n]を(可能性としてはゼロに)削減することが望ましい場合がある。あるいは、そのようなケースでは、DOA推定に基づく空間選択処理演算の適合を不能にすること(たとえば、音声不活動の期間中の受信オーディオ周波数信号を時間平均することによって、雑音推定などの単一チャネル処理アルゴリズムの代わりにフォールバックすること)が望ましい場合がある。
対応する飛行時間として表すことができる閾距離Tmin(たとえば、20または30センチメートル)は、放射超音波信号の波長およびデューティサイクルに依存し得る。たとえば、距離Tminは、放射信号に対して、より高い周波数を使うことによって低下され得る。追加または代替として、より低いデューティサイクル(たとえば、より狭いパルス)をもつエミッタを駆動することによって閾距離Tminが低下され得るように、より低いQをもつエミッタを使うことができる。
複数の超音波検出器からの結果を使うDOA推定の代替または追加として、方法M100は、時間に伴うレンジ情報の変化を、レンジあいまいさを解決するのに使うように構成され得る。図23Aおよび図23Bは、2つの異なる時間AおよびBにおける典型的な使用シナリオを示す。オブジェクトO1は、時間Aから時間Bまでは動かないので、レンジRO1AとレンジRO1Bは同じである。ソースAS1は、時間Aから時間Bまでに動くので、レンジRS1AとレンジRS1Bは異なる。概して、デバイスのユーザなどの可聴ソースは、視野内の他のオブジェクト(たとえば、壁および家具)よりも、デバイスに向かってまたは離れて動いている見込みが高く、その結果、時間軸上での、受信エコーの対応する相対置換が行われる。静的ピークよりも、超音波反射信号の時間軸変化を追跡するように、方法M100を実装することが望ましい場合がある。
方法M100のそのような実装形態を、連続受信エコーの飛行時間におけるそのような変化に基づいて所望のソースのレンジを選択する演算を含むように構成することが望ましい場合がある。たとえば、タスクT300によって推定されたDOAを、時間とともに変わるレンジに関連付けることによって、所望のソースを特定することが望ましい場合がある。
図24〜図26は、ユーザが検出器アレイから離れるときの、異なる連続する時間における3チャネル録音の例を示す。図24は、時間Aにおいて超音波エミッタUE10によって放射されたパルスと、その結果生じたエコーとに応答して、デバイスD30の実装形態の、3つの超音波検出器(たとえば、マイクロフォンMC10、MC20、MC30)からなるアレイによって生成された信号のプロット(エネルギー対時間)を示す。図25および図26は、それぞれ、時間BおよびCにおいて放射されたパルスに応答した類似プロットを示し、ここで時間Bは時間Aの後であり、時間Cは時間Bの後である。可聴ソース(たとえば、人間話者)は、一定のままである左および右の壁のレンジとは対照的に、ソースのレンジが時間とともに変わるように、時間Aから時間Cに向かってデバイスから離れる。時間とともに動くエコーは、所望のソースに関連付けられる見込みが比較的高く、時間とともに静止したままであるエコーは、壁、家具、または他のオブジェクトに関連付けられる見込みが比較的高いと仮定され得る。
オブジェクトのロケーションに関する、記憶された情報を使い、時間が経過してもレンジが持続する、検出信号中の特徴(たとえば、静的ピーク、隆起、またはエネルギー集中)を無視し、時間とともにレンジが変わる特徴を追跡するように、タスクT100を構成することが望ましい場合がある。たとえば、タスクT100は、各エコーに対応する連続する飛行時間の間の差を算出し、移動するエコーに対応するレンジを選択することによって、レンジを選択するように実装され得る。タスクT100のそのような実装形態は、特徴の連続レンジの差と動き閾値Tmとの間の関係により持続し、または動くものとして特徴を識別するように構成され得る。そのようなケースにおいて、タスクT100は、そのレンジがTm未満(代替的には、以下)だけ変わったことを検出したことに応答して持続するものとして特徴を識別するように、およびその現在のレンジが前のレンジとは少なくとも(代替的には、よりも多く)Tmだけ異なることを検出したことに応答して動いているものとして特徴を識別するように構成され得る。閾値Tmについての値の例は、10、20、および25センチメートルの距離、ならびにそれに対応する時間を含む。
可聴ソースからのエコーが、別のオブジェクトからのエコーと同じ飛行時間をもつとき、ソースは、デバイスに対して、マスキングオブジェクトとは異なる方向に配置されているとしても、測距検出器には見えなくなる場合がある。図26は、可聴ソースのエコーがマスキングエコー(この場合、左の壁面からのエコー)とマージされる、可聴ソースが動いているそのような例を示す。マスキングエコーによって占められるレンジは、「ブラインドゾーン」ともいう。時間経過に伴う、所望のソースのレンジ内の変化を追跡するようにタスクT100を実装することにより、この方法は、ソースがブラインドゾーンを通るときを検出することができ、そうすることによって、方法は、所望のソースに適切なレンジを提供し続けることができる。
検出信号の対応するドップラー周波数偏移を検出することによって、ソースの動きを検出するように、方法M100を構成することが望ましい場合がある。毎秒1メートルの速度および40kHzの放射超音波周波数でのソース動きに対して、(アレイに直接向かって、または離れて動くソースについて)予想され得る結果的ドップラー周波数偏移は、約100Hzである。
DOA推定技法は、超音波を使う手法と、可聴音を使う手法との間の相乗効果から利益を受けるように構成され得る。たとえば、適応的重み付けを使って、反射超音波に基づく推定DOAを、所望のソースから受信された音に基づく推定DOAと合成するように、タスクT300を実装することが望ましい場合がある。1つのそのような例では、タスクT300は、De[n]=wa[n]Da[n]+wp[n]Dp[n]のような式に従ってDOA推定値を発生するように構成され、ここでDe[n]は、パルスnについてのDOA推定値を示し、Da[n]は、パルスnについての能動DOA推定値を示し、wa[n]は、パルスnについての能動DOA推定値の重みを示し、Dp[n]は、パルスnについての受動DOA推定値を示し、wp[n]は、パルスnについての受動DOA推定値に対する重みを示す。重みwa[n]およびwp[n]は、wa[n]+wp[n]=1となるように、ゼロから1までの範囲内の値をもつことが望ましい場合がある。
2つ以上のオブジェクトが、それらの受信エコーが一致するように、超音波検出器から同じ距離に配置されているとき、受信エコーの利得および/または位相の間の差に基づく超音波DOA推定技法は、信頼できなくなる場合がある。エコーのそのようなマージによっても、異なる検出器までの飛行時間に基づくDOA推定技法が複雑になり得る。これらのケースでは、超音波DOA推定値の重みwa[n]を、対応するオーディオ周波数DOA推定値の重みwp[n]に相対して(可能性としてはゼロまで)低下させることが望ましい場合がある。逆に、音源が沈黙している期間中は、オーディオ周波数DOA推定値の重みwp[n]を、対応する超音波DOA推定値の重みwa[n]に相対して(可能性としてはゼロまで)低下させることが望ましい場合がある。
経時的にDOA推定値を平滑化するように、タスクT300を構成することが望ましい場合がある。たとえば、タスクT300は、Des[n]=αDes[n−1]+(1−α)De[n]などの式(1次無限インパルス応答フィルタまたは漏洩積分器ともいう)により時間平滑化演算を実施するように構成することができ、ここでDe[n]は、(可能性としては、超音波およびオーディオ周波数測定値からのDOA推定値の組合せとして)パルスnについて算出されるDOA推定値を示し、Des[n−1]は、前のパルス[n−1]についての平滑化DOA推定値を示し、Des[n]は、パルスnについての平滑化DOA推定値を示し、αは、ゼロ(平滑化なし)から1(最大平滑化、更新なし)までの範囲内の値をもつ平滑化係数を示す。平滑化係数αの値の例は、0.05、0.1、0.2、0.25、0.3、0.4および0.5を含む。
異なる検出器までの飛行時間に基づくDOA推定技法の場合、より大きいマイクロフォン間距離を使うことによって、時間軸上の反射エコーのピークの間の分離を増大させることが望ましい場合がある。代替または追加として、複数の方向性要素、または分散型モードアクチュエータを使い、放射された波形の時分割多重化を使うことによって、これらの別個の反射ピークを区別することが望ましい場合がある。
検出超音波信号からのDOAの推定は、検出されたオーディオ周波数信号からのDOAの推定とともに、動いてはいるが沈黙しているオブジェクト(たとえば、人々)についてのレンジ情報の拒絶を可能にすることによってレンジあいまいさを解決するのに使われ得る。そのようなケースにおいて、タスクT100は、超音波DOAが現在のオーディオ周波数DOA推定値とは異なるオブジェクトに関連付けられたレンジを拒絶することによって、レンジあいまいさを解決するように構成され得る。
超音波は、非可聴音放射ソースを識別するのに使われ得るが、超音波の使用は、人間オブジェクト追跡には無関係な多くの反射信号にもつながり得る。連続的超音波が存在する場合、話している人間ソースは、喉および胸の振動が位相変調反射を与えるとき、干渉法プロセスによって識別することができる。方法M100は、そのような(たとえば、測距パルスの間の、または測距パルスの周波数とは異なる周波数における別のエミッタによる)非パルス化信号の放射を含むように構成することができ、そのような位相変調反射の検出は、ボイスアクティビティの存在を示すのに使われ得る(たとえば、方向性オーディオ周波数雑音信号とは反対に)。
図27Aに、超音波レンジ推定器100と、比較器200と、受動DOA推定器300とを含む、一般的構成による装置A100のブロック図を示す。超音波レンジ推定器100は、(たとえば、本明細書に記載するタスクT100の実装形態を実施することによって)検出された超音波信号SU10からの情報に基づいてレンジを推定するように構成される。比較器200は、(たとえば、本明細書に記載するタスクT200の実装形態を実施することによって)推定レンジと閾値との間の関係の状態を示すように構成される。受動DOA推定器300は、(たとえば、本明細書に記載するタスクT300の実装形態を実施することによって)関係の指示された状態に基づいて、マルチチャネル信号のチャネルS10−1およびS10−2のオーディオ周波数成分の推定到着方向DE10を生成するように構成される。検出超音波信号SU10は、マルチチャネル信号のチャネルであり得る。
超音波レンジ推定器100および受動DOA推定器300の各々は、時間領域内または周波数領域(たとえば、サブバンド領域もしくは高速フーリエ変換(FFT)領域などの変換領域)内で動作するように実装され得る。図27Bは、マルチチャネル信号のチャネルS10−1およびS10−2が、それぞれのFFTモジュールFFT1およびFFT2によって周波数領域に変換される装置A100の実装形態A110の適用のブロック図を示す。装置A110は、FFT領域内の検出超音波信号SU10としてチャネルS10−1を受信するように構成および配置された超音波レンジ推定器100の実装形態110と、FFT領域内のチャネルS10−1およびS10−2を受信するように構成および配置された受動DOA推定器300の実装形態310とを含む。
検出超音波信号SU10が、マルチチャネル信号のチャネルである(すなわち、マイクロフォンアレイのうち1つによって生成された信号に基づく)ケースでは、適度に高いサンプリングレートで(たとえば、放射超音波信号の周波数の2倍を超えて)チャネルをサンプリングすることが望ましい場合がある。ただし、電力消費および/または計算の複雑度を削減するために、より低いサンプリングレート(たとえば、7、8、12、16、20、22、24、32、44.1または48kHz)においてチャネル上で動作するように、受動DOA推定器300を構成することが望ましい場合がある。
図28Aは、高いサンプリングレートで第1のチャネルS10−1を受信するように配置されたフィルタバンクFB10を含む装置A100の実装形態A120のブロック図を示す。フィルタバンクFB10は、検出超音波信号UD10として、高いサンプリングレートで高周波数(すなわち、超音波)帯域を生成するように、および受動DOA推定器300への入力として、より低いサンプリングレートで低周波数(すなわち、オーディオ周波数)帯域を(たとえば、デシメーションおよび/またはリサンプリングによって)生成するように構成される。この例では、装置A120は、チャネルS10−2をより低いサンプリングレートで受信するが、装置A120は、高いサンプリングレートから第2のチャネルS10−2を同様にデシメートし、かつ/またはサンプリングし直すようにも実装され得る。この特定の例において、装置A120は、受動DOA推定器310の事例に対して、FFT領域内のチャネルS10−1およびS10−2を提供するように構成されたFFTモジュールFFT1、FFT2も含む。
装置A100は、2つ以上の検出器からの(たとえば、アレイのうち、2つ以上のマイクロフォンからの)検出超音波信号をレンジ推定および可能性としてはDOA推定に使うように実装され得る。図28Bは、マルチチャネル信号の4つのチャネルS10−1、S10−2、S10−3およびS10−4が、それぞれのFFTモジュールFFT1〜FFT4によってFFT領域に変換される装置A100の実装形態A130の適用のブロック図を示す。この例では、レンジ推定器110の実装形態112は、周波数領域チャネルを、(たとえば、図24〜図26に示す)検出超音波信号SU10のマルチチャネル事例として受信するように構成され、受動DOA推定器310の実装形態312は、マルチチャネル信号のオーディオ周波数成分の推定DOAを算出する。装置A130は、推定DOAに基づいて4つのチャネルからなるサブセットを選択する(たとえば、縦方向が推定DOAと一致するマイクロフォンペアに対応するチャネルペアを選択する)ことを含む空間選択処理演算を実施するようにも構成され得る。推定DOAに基づくマイクロフォンアレイサブセット選択のこれ以上の開示は、米国特許出願第13/029,582号(2011年2月17日出願)に見られる。
図29Aは、超音波信号ジェネレータSG10を含む装置A100の(たとえば、装置A110、A120、および/またはA130の)実装形態A140のブロック図を示す。信号ジェネレータSG10は、エミッタUE10によって放射されるべき超音波測距信号SR10(たとえば、一連のパルス)を発生するように構成される。この例では、信号ジェネレータSG10は、レンジ推定器100に対して、各パルスが生成される時間も示す。別の例では、レンジ推定器100は、代わりに、検出超音波信号SU10から、各パルス放射の時間(すなわち、飛行時間の始まり)を判断する。
2つ以上の算出されたレンジの間で選択を行うように(たとえば、本明細書に記載するレンジあいまいさを解決するように)、超音波レンジ推定器100を実装することが望ましい場合がある。図29Bは、超音波領域推定器100の実装形態120のブロック図を示す。レンジ推定器120は、本明細書に記載するように、検出超音波信号SU10についての少なくとも1つのレンジを算出するように構成されたレンジ計算器102を含む。たとえば、レンジ計算器102は、放射超音波パルスの1つまたは複数のエコーの各々からレンジを算出するように構成され得る。
レンジ推定器120は、本明細書に記載するように、算出されたレンジの中から選択を行うように構成されたレンジ選択論理104も含む。たとえば、レンジ選択論理104は、算出されたレンジのうち最も小さいもの(または、最も小さい算出レンジと最小レンジ値のうち最大のもの)を選択するように構成され得る。
この例では、レンジ推定器120は、経時的な、所望のソースの一連の推定レンジを記憶するように構成されたレンジ履歴106も含む。レンジ選択論理104は、レンジ履歴106を使って、移動するレンジ(たとえば、レンジ履歴106中にはない現在の算出レンジ)を選択するように構成され得る。レンジ履歴106は、所望のソースのロケーション(たとえば、レンジおよびDOA)の履歴を含むことができ、2つ以上の所望のソースのレンジおよび/またはDOAならびに/あるいは視野内の他のオブジェクトのマップを含むようにも構成され得る。
レンジ推定器120は、検出超音波信号SU10のマルチチャネル事例の異なるチャネルに各々が対応する、レンジ計算器102の2つ以上の事例を含むように実装され得る。装置A100は、本明細書に記載するように、能動DOA推定のために同じエコーの複数のレンジを使うように構成され得る。そのようなケースにおいて、レンジ選択論理104は、オーディオ周波数および/または超音波DOA推定値に基づいて、いくつかの候補ロケーションの中から選択を行うように、また、選択されたロケーションに対応するレンジを選択するように構成され得る。
図30Aは、能動DOA推定器400を含む装置A100の(たとえば、装置A110、A120、A130、および/またはA140の)実装形態A150のブロック図を示す。能動DOA推定器400は、オーディオ周波数成分のDOAの第2の推定値を算出するように構成される。能動DOA推定器400は、2つ以上の検出器によって受信された同じエコーの間の利得および/または位相の差に基づいて、第2のDOA推定値を算出するように構成され得る。代替または追加として、能動DOA推定器400は、複数の検出器の各々までの、同じエコーの飛行時間の差に基づいて第2のDOA推定値を算出するように構成され得る。そのようなケースにおいて、能動DOA推定器400は、レンジ推定器120からの同じエコーから複数のレンジを受信するように構成および配列され得る。レンジ推定器120の事例を含む装置A150の実装形態は、能動DOA推定値を使ってレンジ履歴106を更新するように構成され得る。
装置A150は、相対的重み付けにより、推定器300および400によって生成されたDOA推定値を合成して、到着方向の合成推定値を取得するように構成された合成器500も含む。相対的重み付けは、(たとえば、可聴レベルが低いまたは沈黙しているときよりも、高いときに可聴DOAの相対的重み付けが重くなるように)オーディオ周波数成分の利得に基づき得る。追加または代替として、相対的重み付けは、(たとえば、超音波DOA推定値が、可聴DOA推定値とは大きく異なるとき、特にオーディオ周波数成分のレベルが高いおよび/または可聴DOA推定値が最近の合成DOA推定値と矛盾しないとき、より軽く重み付けされるように)算出DOA推定値の間の差に基づき得る。
追加または代替として、合成器500によって適用される相対的重み付けは、連続超音波信号の飛行時間の間の差に基づき得る。連続超音波信号の飛行時間の間の、ゼロまたは場合によっては非常に低い差は、たとえば、対応する超音波DOA推定値の信頼性が低下され得るように、ソースが超音波ブラインドゾーンに動いたことを示し得る。この場合、合成器500によって超音波DOA推定値に適用される相対的重み付けを低下することが望ましい場合がある。
図30Bは、一般的構成による装置MF100のブロック図を示す。装置MF100は、(たとえば、本明細書に記載するタスクT100の実装形態を実施することによって)検出された超音波信号US10からの情報に基づいてレンジを推定するための手段F100を含む。装置MF100は、(たとえば、本明細書に記載するタスクT200の実装形態を実施することによって)推定レンジと閾値との間の関係の状態を示すための手段F200も含む。装置MF100は、(たとえば、本明細書に記載するタスクT300の実装形態を実施することによって)関係の指示された状態に基づいて、マルチチャネル信号のチャネルS10−1およびS10−2のオーディオ周波数成分の推定到着方向DE10を生成するための手段F300も含む。
図31は、空間選択フィルタSSP10を含む装置A100の(たとえば、装置A110、A120、A130、A140、および/またはA150の)実装形態A160のブロック図を示す。フィルタSSP10は、マルチチャネル信号に対して1つまたは複数の空間選択処理演算を実施するように構成される。たとえば、フィルタSSP10は、推定DOA DE10とは異なる方向から(たとえば、非選択セクタなど、推定DOA DE10付近の方向の受諾レンジの外の方向から)到着するマルチチャネル信号の周波数成分を減衰することによって、強調信号SE10を生成するように構成され得る。マルチチャネル信号が2つより多いチャネルを含むケースでは、フィルタSSP10は、推定DOA DE10に基づいて、チャネルのサブセット(たとえば、ペア)を選択するように構成され得る。たとえば、フィルタSSP10は、縦(すなわち、軸)方向が推定DOA DE10と最も厳密に一致するマイクロフォンペアに対応するチャネルのペアを選択するように構成され得る。
代替または追加として、フィルタSSP10は、推定DOA DE10とは異なる方向から(たとえば、非選択セクタから)到着する、周波数成分を含むマルチチャネル信号の雑音成分の推定値SN10を算出するように構成され得る。装置A160は、雑音推定値SN10を使って、強調信号SE10の1つまたは複数のチャネルに対する雑音低減演算(たとえば、ウィーナーフィルタリングまたは強調信号SE10のうち1つもしくは複数のチャネルからの雑音推定値SN10のスペクトル減算)を実施するように構成された雑音低減モジュールNR10も含む。推定DOA DE10の他のアプリケーションは、撮像動作における(たとえば、オーディオ感知デバイスのカメラを使っての)フォーカスウィンドウの選択を含む。
概して、本明細書に記載する測距およびDOA推定ストラテジは、超音波エミッタと、音響信号を受信するように構成された2つ以上のマイクロフォンからなるアレイとを有する固定ロケーションまたはポータブルオーディオ感知デバイスを使って実装され得る。そのようなエミッタおよびアレイを含むように、また、オーディオ記録および/またはボイス通信適用例のためにこれらの測距およびDOA推定ストラテジとともに使用されるように構築され得るポータブルオーディオ感知デバイスの例には、電話ハンドセット(たとえば、スマートフォンまたは他のセルラー電話ハンドセット)、ハンドヘルドオーディオおよび/またはビデオレコーダ、オーディオおよび/またはビデオコンテンツを記録するように構成されたパーソナルメディアプレーヤ、ならびにノートブックコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、あるいは他のポータブルコンピューティングデバイスがある。そのようなエミッタおよびアレイを含むように、また、これらの測距およびDOA推定ストラテジとともに使用されるように構築され得るオーディオ感知デバイスの他の例には、セットトップボックスならびにオーディオおよび/またはビデオ会議デバイスがある。
アレイの2つ以上のマイクロフォンの各々は、全方向、双方向、または単方向(たとえば、カージオイド)である応答を有することができる。アレイにおいて使用され得る様々なタイプのマイクロフォンには、(限定はしないが)圧電マイクロフォン、ダイナミックマイクロフォン、およびエレクトレットマイクロフォンがある。ハンドセットなど、ポータブルボイス通信のためのデバイスでは、アレイの隣接するマイクロフォン間の中心間間隔は一般に約4〜5センチメートルまでの範囲内であるが、スマートフォンなどのデバイスでは(たとえば、10または15センチメートルまでの)より広い間隔も可能であり、タブレットコンピュータなどのデバイスでは(たとえば、20、25または30センチメートル以上までの)さらに広い間隔が可能である。アレイのマイクロフォンは、線に沿って、あるいは代替的に、それらの中心が2次元形状(たとえば、三角形)または3次元形状の頂点に存在するように構成され得る。ただし、概して、アレイのマイクロフォンは、特定の適用例に好適と見なされる任意の構成で配設され得る。
本明細書で説明するマルチマイクロフォンオーディオ感知デバイスの動作中、マイクロフォンアレイはマルチチャネル信号を生成し、各チャネルは、音響環境に対するマイクロフォンのうちの対応する1つの応答に基づく。単一のマイクロフォンを使用してキャプチャされ得るよりも完全な、音響環境の表現を集合的に与えるために、対応するチャネルが互いに異なるように、1つのマイクロフォンが別のマイクロフォンよりも直接的に特定の音を受信し得る。
アレイは、マルチチャネル信号S10を生成するために、マイクロフォンによって生成された信号に対して1つまたは複数の処理演算を実施することが望ましいことがある。図32Aは、マイクロフォンMC10とMC20とを含むマイクロフォンアレイの例R100のブロック図を示す。アレイR100は、1つまたは複数のそのような演算を、マイクロフォンによって生成された信号に対して実施するように構成されたオーディオ前処理段AP10も含み、演算は、アナログおよび/またはデジタル領域におけるインピーダンス整合、アナログ−デジタルコンバージョン、利得制御、および/またはフィルタリングを(限定なしで)含み得る。
図32Bは、アレイR100の実装形態R110のブロック図を示す。アレイR110は、アナログ前処理段P10aとアナログ前処理段P10bとを含むオーディオ前処理段AP10の実装形態AP20を含む。一例では、段P10aおよびP10bはそれぞれ、対応するマイクロフォン信号に対して(たとえば、50、100、または200Hzのカットオフ周波数をもつ)高域フィルタ処理演算を実施するように構成される。
マイクロフォンアレイは、マルチチャネル信号をデジタル信号として、すなわち、サンプルのシーケンスとして生成することが望ましいことがある。アレイR110は、たとえば、対応するアナログチャネルをサンプリングするようにそれぞれ構成されたアナログデジタル変換器(ADC)C10aおよびC10bを含む。音響適用例の典型的なサンプリングレートには、8kHz、12kHz、16kHz、および約8kHzから約16kHzまでのレンジ内の他の周波数があるが、約44.1または48kHzと同じ程度のサンプリングレートも使用され得る。この特定の例では、アレイR210は、対応するデジタル化チャネルに対して1つまたは複数の前処理演算(たとえば、エコー消去、雑音低減、および/またはスペクトル整形)を実施するようにそれぞれ構成されたデジタル前処理段P20aおよびP20bをも含む。
検出超音波信号UD10ならびにマルチチャネル信号S10を生成するのにマイクロフォンアレイが使われるケースでは、放射超音波信号の周波数の2倍を超えるサンプリングレートを使うように、コンバータC10aおよびC10bを構成することが望ましい場合がある。そのようなケースにおいて、コンバータC10aおよび/またはC10bの出力において検出超音波信号UD10を与えるように、アレイを構成することが望ましい場合もある(すなわち、段P10aおよび/またはP20bの出力における処理済み信号とは反対に)。2つより多い(たとえば、3、4、または5つの)マイクロフォンへのアレイR100およびR110の例の拡張は、明白に企図され、本明細書に開示される。
図33Aは、オーディオ感知デバイスD20の(たとえば、D22またはD24の)実装形態D100のブロック図を示す。デバイスD100は、本明細書で開示するマイクロフォンアレイR100の実装形態のうち任意のものの事例を含む。デバイスD100は、アレイR100によって生成されたマルチチャネル信号S10を処理するように構成された、本明細書に記載する装置A100(代替的には、MF100)の実装形態のうち任意のものの事例も含む。たとえば、装置A100は、本明細書で開示する方法M100の実装形態のうち任意のものの事例に従って、マルチチャネル信号S10を処理するように構成され得る。装置A100は、ハードウェアで、またはソフトウェア(ファームウェア)とのハードウェアの組合せで実装され得る。たとえば、装置A100は、処理済みマルチチャネル信号に対して、本明細書に記載する空間選択処理演算(たとえば、オーディオ感知デバイスと特定の音源との間の距離を判断し、雑音を低減し、特定の方向から到着する信号成分、および/または他の環境音からの別個の1つもしくは複数の音成分を強調する1つまたは複数の演算)を実施するようにも構成されたデバイスD100のプロセッサ上で実装され得る。
図33Bは、デバイスD100の実装形態である通信デバイスD200(たとえば、スマートフォン)のブロック図を示す。デバイスD200は、装置A100を含むチップまたはチップセットCS10(たとえば、移動局モデム(MSM)チップセット)を含む。チップ/チップセットCS10は、装置A100の1つまたは複数のソフトウェアおよび/またはファームウェア部を(たとえば、命令として)実行するように構成され得る1つまたは複数のプロセッサを含み得る。チップ/チップセットCS10はまた、アレイR100の処理要素(たとえば、オーディオ前処理段AP10の要素)を含み得る。チップ/チップセットCS10は、アンテナC30を介して無線周波(RF)通信信号を受信し、ラウドスピーカーSP10を介して、RF信号内で符号化されたオーディオ信号を復号し再生するように構成された、受信機と、装置A100によって生成された処理済み信号に基づくオーディオ信号を符号化し、アンテナC30を介して、符号化オーディオ信号を記述しているRF通信信号を送信するように構成された、送信機とを含む。たとえば、チップ/チップセットCS10の1つまたは複数のプロセッサは、符号化されたオーディオ信号が雑音低減信号に基づくように、マルチチャネル信号の1つまたは複数のチャネルに対して上記で説明した雑音低減演算を実施するように構成され得る。チップ/チップセットCS10は、タッチスクリーン表示C20により情報を表示し、ユーザ入力を受信するように、およびエミッタUE10を駆動するように(たとえば、本明細書に記載する信号ジェネレータSG10の事例を含むように)も構成される。
ポータブルコンピューティングデバイスの種類は現在、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、ウルトラポータブルコンピュータ、タブレットコンピュータ、モバイルインターネットデバイス、スマートブック、およびスマートフォンなどの名称を有するデバイスを含む。1つのタイプのそのようなデバイスは、スレートまたはスラブ構成を有し、スライドアウト式キーボードをも含み得る。図34A〜図34Dに、ディスプレイスクリーンを含む上部パネルと、キーボードを含み得る下部パネルとを有し、2つのパネルが、クラムシェルまたは他のヒンジ結合関係で接続され得る、別のタイプのそのようなデバイスを示す。
図34Aは、ディスプレイスクリーンSC10の上方で上部パネル(たとえば、ベゼル)PL10上に線形アレイで構成された超音波エミッタUE10と、4つのマイクロフォンMC10、MC20、MC30、MC40とを含むような、デバイスD100のポータブルコンピューティング実装形態D700の一例の正面図を示している。図34Bは、別の次元における4つのマイクロフォンの位置を示す上部パネルPL10の上面図を示している。図34Cは、ディスプレイスクリーンSC10の上方で上部パネルPL12上に非線形アレイで構成された超音波エミッタUE10と4つのマイクロフォンMC10、MC20、MC30、MC40とを含むようなポータブルコンピューティングデバイスD710の別の例の正面図を示している。図34Dは、マイクロフォンMC10、MC20、およびMC30がパネルの前面に配設され、マイクロフォンMC40がパネルの背面に配設された、別の次元における4つのマイクロフォンの位置を示す上部パネルPL12の上面図を示している。図16Bおよび図17は、同様のデバイス上のアレイR100およびエミッタUE10の拡大を示す。
ユーザは、使用中に、そのようなデバイスD700またはD710の前で左右に移動し、デバイスのほうへおよびデバイスから離れて移動し、および/または、さらにはデバイスの周りを(たとえば、デバイスの前面から背面に)移動し得ることが予想され得る。近距離場音声の維持と遠距離場干渉の減衰との間の好適なトレードオフを行うために、および/または不要な方向において非線形信号減衰を行うために、本明細書で説明した関連処理システムを実装することが望ましいことがある。最小ボイスひずみのために線形マイクロフォン構成を選択するか、またはより良い雑音低減のために非線形マイクロフォン構成を選択することが望ましいことがある。
図35は、ハンドヘルド適用例のためのマルチマイクロフォンオーディオ感知デバイスD100のポータブル実装形態D800の図を示す。デバイスD800は、エミッタUE10と、タッチスクリーンディスプレイTS10と、ユーザインターフェース選択コントロールUI10(左側)と、ユーザインターフェースナビゲーションコントロールUI20(右側)と、2つのラウドスピーカーSP10およびSP20と、3つの前面マイクロフォンMC10、MC20、MC30および1つの背面マイクロフォンMC40を含むアレイR100の実装形態とを含む。ユーザインターフェースコントロールの各々は、プッシュボタン、トラックボール、クリックホイール、タッチパッド、ジョイスティックおよび/または他のポインティングデバイスなどのうちの1つまたは複数を使用して実装され得る。デバイスD800は、デバイスのディスプレイ面に、および/またはデバイスの裏面(すなわち、タッチスクリーンディスプレイと対向する面)に、カメラCAMも含み得る。ブラウズトークモードまたはゲームプレイモードで使用され得るデバイスD800の典型的なサイズは約15センチメートル×20センチメートルである。ポータブルマルチマイクロフォンオーディオ感知デバイスは、アレイR100のマイクロフォンがタブレットコンピュータの上面のマージン内(たとえば、スクリーンベゼル内)および/または1つまたは複数の側面に配設された、上面上にタッチスクリーンディスプレイを含むタブレットコンピュータ(たとえば、iPad(アップル社)などの「スレート」、Slate(カリフォルニア州パロアルトのヒューレットパッカード社)またはStreak(テキサス州ラウンドロックのデル社))として同様に実装され得る。
本明細書で開示するレンジおよびDOA推定ストラテジの適用例はポータブルオーディオ感知デバイスに限定されない。図36A〜図36Dは、超音波エミッタUE10の全方向性(たとえば、円筒型)実装形態を含む会議デバイスのいくつかの例の平面図を示す。図36Aは、アレイR100の3マイクロフォン実装形態(マイクロフォンMC10、MC20、およびMC30)を含む。図36Bは、アレイR100の4マイクロフォン実装形態(マイクロフォンMC10、MC20、MC30、およびMC40)を含む。図36Cは、アレイR100の5マイクロフォン実装形態(マイクロフォンMC10、MC20、MC30、MC40、およびMC50)を含む。図36Dは、アレイR100の6マイクロフォン実装形態(マイクロフォンMC10、MC20、MC30、MC40、MC50、およびMC60)を含む。アレイR100のマイクロフォンの各々を正多角形の対応する頂点に配置することが望ましいことがある。遠端オーディオ信号の再生のためのラウドスピーカーはデバイス内に含まれ得、かつ/またはそのようなラウドスピーカーは、(たとえば、音響的フィードバックを低減するために)デバイスとは別に配置され得る。
デバイスD100の追加静止使用ケース例は、(たとえば、ボイスオーバIP(VoIP)プロトコルにより)対話型および/または通信アプリケーションをサポートするように構成することができ、ゲームコンソール(たとえば、マイクロソフトXbox、ソニーのプレイステーション、もしくは任天堂のWiiシリーズにおけるコンソールのうちいずれか)および衛星テレビ、ケーブルテレビ、デジタルビデオレコーディング(DVR)、またはストリーミングテレビ使用(たとえば、Revue(カリフォルニア州フリーモントのLogitech社)、Roku HD、XD、もしくはXD|S(カリフォルニア州サラトガのRoku社)、Apple TV(カリフォルニア州キューパーティーノのアップル社))などのためのテレビセットトップボックスを含む。
本明細書で開示した方法および装置は、概して任意の送受信および/またはオーディオ感知適用例、特にそのような適用例のモバイルまたは場合によってはポータブルインスタンスにおいて適用され得る。たとえば、本明細書で開示した構成の範囲は、符号分割多元接続(CDMA)無線インターフェースを採用するように構成されたワイヤレステレフォニー通信システム中に常駐する通信デバイスを含む。とはいえ、本明細書で説明した特徴を有する方法および装置は、ワイヤードおよび/またはワイヤレス(たとえば、CDMA、TDMA、FDMA、および/またはTD−SCDMA)送信チャネルを介したボイスオーバIP(VoIP)を採用するシステムなど、当業者に知られている広範囲の技術を採用する様々な通信システムのいずれにも常駐し得ることが、当業者には理解されよう。
本明細書で開示した通信デバイスは、パケット交換式であるネットワーク(たとえば、VoIPなどのプロトコルに従ってオーディオ送信を搬送するように構成されたワイヤードおよび/またはワイヤレスネットワーク)および/または回線交換式であるネットワークにおける使用に適応し得ることが明確に企図され、本明細書によって開示される。また、本明細書で開示した通信デバイスは、狭帯域コーディングシステム(たとえば、約4または5キロヘルツの可聴周波数レンジを符号化するシステム)での使用、ならびに/あるいは全帯域広帯域コーディングシステムおよびスプリットバンド広帯域コーディングシステムを含む、広帯域コーディングシステム(たとえば、5キロヘルツを超える可聴周波数を符号化するシステム)での使用に適応され得ることが明確に企図され、本明細書によって開示される。
本明細書で説明する構成の提示は、本明細書で開示する方法および他の構造を当業者が製造または使用できるように与えたものである。本明細書で図示および説明したフローチャート、ブロック図、および他の構造は例にすぎず、これらの構造の他の変形態も本開示の範囲内である。これらの構成に対する様々な変更が可能であり、本明細書で提示した一般原理は他の構成にも同様に適用され得る。したがって、本開示は、上記に示した構成に限定されるものではなく、原開示の一部をなす、出願した添付の特許請求の範囲を含む、本明細書において任意の方法で開示した原理および新規の特徴に一致する最も広い範囲が与えられるべきである。
情報および信号は、多種多様な技術および技法のいずれかを使用して表され得ることを当業者なら理解されよう。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、およびシンボルは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。
本明細書で開示する構成の実装形態の重要な設計要件は、8キロヘルツよりも高いサンプリングレート(たとえば、12、16、44.1、48、または192kHz)におけるボイス通信の適用例などの計算集約的適用例では特に、(一般に百万命令毎秒またはMIPSで測定される)処理遅延および/または計算複雑さを最小にすることを含み得る。
本明細書で説明するマルチマイクロフォン処理システムの目的は、全体で10〜12dBの雑音低減を達成すること、所望の話者の移動中にボイスレベルおよびカラーを保持すること、アグレッシブな雑音除去、音声の残響除去の代わりに雑音が背景に移動されたという知覚を取得すること、ならびに/またはよりアグレッシブな雑音低減のための後処理(たとえば、スペクトル減算またはウィーナーフィルタ処理など、雑音推定値に基づくスペクトルマスキングおよび/または別のスペクトル修正演算)のオプションを可能にすることを含み得る。
本明細書で開示する装置(たとえば、装置A100、A110、A120、A130、A140、A150、A160、またはMF100)の実装形態の様々な要素は、意図された適用例に好適と見なされる、任意のハードウェア構造、あるいはソフトウェアおよび/またはファームウェアとのハードウェアの任意の組合せで実施され得る。たとえば、そのような要素は、たとえば、同じチップ上に、またはチップセット中の2つ以上のチップ間に常駐する電子デバイスおよび/または光デバイスとして作製され得る。そのようなデバイスの一例は、トランジスタまたは論理ゲートなどの論理要素の固定アレイまたはプログラマブルアレイであり、これらの要素のいずれも1つまたは複数のそのようなアレイとして実装され得る。これらの要素のうちの任意の2つ以上、さらにはすべてが、同じ1つまたは複数のアレイ内に実装され得る。そのような1つまたは複数のアレイは、1つまたは複数のチップ内(たとえば、2つ以上のチップを含むチップセット内)に実装され得る。
本明細書で開示した装置の様々な実装形態の1つまたは複数の要素は、一部が、マイクロプロセッサ、組込みプロセッサ、IPコア、デジタル信号プロセッサ、FPGA(フィールドプログラマブルゲートアレイ)、ASSP(特定用途向け標準製品)、およびASIC(特定用途向け集積回路)など、論理要素の1つまたは複数の固定アレイまたはプログラマブルアレイ上で実行するように構成された命令の1つまたは複数のセットとしても実装され得る。本明細書で開示した装置の実装形態の様々な要素のいずれも、1つまたは複数のコンピュータ(たとえば、「プロセッサ」とも呼ばれる、命令の1つまたは複数のセットまたはシーケンスを実行するようにプログラムされた1つまたは複数のアレイを含む機械)としても実施され得、これらの要素のうちの任意の2つ以上、さらにはすべてが、同じそのような1つまたは複数のコンピュータ内に実装され得る。
本明細書で開示したプロセッサまたは処理するための他の手段は、たとえば、同じチップ上に、またはチップセット中の2つ以上のチップ間に常駐する1つまたは複数の電子デバイスおよび/または光デバイスとして作製され得る。そのようなデバイスの一例は、トランジスタまたは論理ゲートなどの論理要素の固定アレイまたはプログラマブルアレイであり、これらの要素のいずれも1つまたは複数のそのようなアレイとして実装され得る。そのような1つまたは複数のアレイは、1つまたは複数のチップ内(たとえば、2つ以上のチップを含むチップセット内)に実装され得る。そのようなアレイの例には、マイクロプロセッサ、組込みプロセッサ、IPコア、DSP、FPGA、ASSP、およびASICなど、論理要素の固定アレイまたはプログラマブルアレイがある。本明細書で開示したプロセッサまたは処理するための他の手段は、1つまたは複数のコンピュータ(たとえば、命令の1つまたは複数のセットまたはシーケンスを実行するようにプログラムされた1つまたは複数のアレイを含む機械)あるいは他のプロセッサとしても実施され得る。本明細書で説明したプロセッサは、プロセッサが組み込まれているデバイスまたはシステム(たとえば、オーディオ感知デバイス)の別の演算に関係するタスクなど、方法M100の実装形態のプロシージャに直接関係しないタスクを実施するかまたは命令の他のセットを実行するために使用することが可能である。また、本明細書で開示する方法の一部はオーディオ感知デバイスのプロセッサによって実施され(たとえば、受動DOA推定タスクT300)、その方法の別の一部は1つまたは複数の他のプロセッサの制御下で実施される(たとえば、レンジ推定タスクT100)ことが可能である。
本明細書で開示した構成に関して説明した様々な例示的なモジュール、論理ブロック、回路、およびテストならびに他の動作は、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得ることを、当業者なら諒解されよう。そのようなモジュール、論理ブロック、回路、および動作は、本明細書で開示した構成を生成するように設計された、汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASICまたはASSP、FPGAまたは他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいはそれらの任意の組合せを用いて実装または実施され得る。たとえば、そのような構成は、少なくとも部分的に、ハードワイヤード回路として、特定用途向け集積回路へと作製された回路構成として、あるいは不揮発性記憶装置にロードされるファームウェアプログラム、または汎用プロセッサもしくは他のデジタル信号処理ユニットなどの論理要素のアレイによって実行可能な命令である機械可読コードとしてデータ記憶媒体からロードされるかもしくはデータ記憶媒体にロードされるソフトウェアプログラムとして実装され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成としても実装され得る。ソフトウェアモジュールは、RAM(ランダムアクセスメモリ)、ROM(読取り専用メモリ)、フラッシュRAMなどの不揮発性RAM(NVRAM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、またはCD−ROMなど、非一時的記憶媒体中に、あるいは当技術分野で知られている任意の他の形態の記憶媒体中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサに一体化することができる。プロセッサおよび記憶媒体はASIC中に常駐することができる。ASICは、ユーザ端末内に常駐することができる。代替として、プロセッサおよび記憶媒体は、ユーザ端末内に個別構成要素として常駐することもできる。
本明細書で開示した様々な方法(たとえば、方法M100、ならびに本明細書で説明した様々な装置およびデバイスの動作に関して開示した他の方法)は、プロセッサなどの論理要素のアレイによって実施され得、本明細書で説明した装置の様々な要素は、そのようなアレイ上で実行するように設計されたモジュールとして部分的に実装され得ることに留意されたい。本明細書で使用する「モジュール」または「サブモジュール」という用語は、ソフトウェア、ハードウェアまたはファームウェアの形態でコンピュータ命令(たとえば、論理式)を含む任意の方法、装置、デバイス、ユニットまたはコンピュータ可読データ記憶媒体を指すことができる。複数のモジュールまたはシステムを1つのモジュールまたはシステムに結合することができ、1つのモジュールまたはシステムを、同じ機能を実施する複数のモジュールまたはシステムに分離することができることを理解されたい。ソフトウェアまたは他のコンピュータ実行可能命令で実装されるとき、プロセスの要素は本質的に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを用いて関連するタスクを実施するコードセグメントである。「ソフトウェア」という用語は、ソースコード、アセンブリ言語コード、機械コード、バイナリコード、ファームウェア、マクロコード、マイクロコード、論理要素のアレイによって実行可能な命令の1つまたは複数のセットまたはシーケンス、およびそのような例の任意の組合せを含むことを理解されたい。プログラムまたはコードセグメントは、プロセッサ可読記憶媒体に記憶され得、あるいは搬送波に埋め込まれたコンピュータデータ信号によって伝送媒体または通信リンクを介して送信され得る。
本明細書で開示した方法、方式、および技法の実装形態は、(たとえば、本明細書に記載する1つまたは複数のコンピュータ可読記憶媒体の有形のコンピュータ可読特徴において)論理要素のアレイ(たとえば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、または他の有限状態機械)を含む機械によって実行可能な命令の1つまたは複数のセットとしても有形に実施され得る。「コンピュータ可読媒体」という用語は、情報を記憶または転送することができる、揮発性、不揮発性、取外し可能、および取外し不可能な記憶媒体を含む、任意の媒体を含み得る。コンピュータ可読媒体の例には、電子回路、半導体メモリデバイス、ROM、フラッシュメモリ、消去可能ROM(EROM)、フロッピー(登録商標)ディスケットまたは他の磁気ストレージ、CD−ROM/DVDまたは他の光ストレージ、ハードディスクまたは所望の情報を記憶するために使用され得る任意の他の媒体、光ファイバー媒体、無線周波(RF)リンク、あるいは所望の情報を記憶するために使用され得、アクセスされ得る任意の他の媒体がある。コンピュータデータ信号は、電子ネットワークチャネル、光ファイバー、エアリンク、電磁リンク、RFリンクなどの伝送媒体を介して伝播することができるどんな信号をも含み得る。コードセグメントは、インターネットまたはイントラネットなどのコンピュータネットワークを介してダウンロードされ得る。いずれの場合も、本開示の範囲は、そのような実施形態によって限定されると解釈すべきではない。
本明細書で説明した方法のタスクの各々は、ハードウェアで直接実施され得るか、プロセッサによって実行されるソフトウェアモジュールで実施され得るか、またはその2つの組合せで実施され得る。本明細書で開示する方法の実装形態の典型的な適用例では、論理要素のアレイ(たとえば、論理ゲート)は、この方法の様々なタスクのうちの1つ、複数、さらにはすべてを実施するように構成される。タスクのうちの1つまたは複数(場合によってはすべて)は、論理要素のアレイ(たとえば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、または他の有限状態機械)を含む機械(たとえば、コンピュータ)によって読取り可能および/または実行可能であるコンピュータプログラム製品(たとえば、ディスク、フラッシュまたは他の不揮発性メモリカード、半導体メモリチップなど、1つまたは複数のデータ記憶媒体など)に埋め込まれたコード(たとえば、命令の1つまたは複数のセット)としても実装され得る。本明細書で開示した方法の実装形態のタスクは、2つ以上のそのようなアレイまたは機械によっても実施され得る。これらまたは他の実装形態では、タスクは、セルラー電話など、ワイヤレス通信用のデバイス、またはそのような通信機能を有する他のデバイス内で実施され得る。そのようなデバイスは、(たとえば、VoIPなどの1つまたは複数のプロトコルを使用して)回線交換および/またはパケット交換ネットワークと通信するように構成され得る。たとえば、そのようなデバイスは、符号化フレームを受信および/または送信するように構成されたRF回路を含み得る。
本明細書で開示する様々な方法は、ポータブル通信デバイス(たとえば、スマートフォンまたは他のハンドセット)によって実施され得ること、および本明細書で説明する様々な装置は、そのようなデバイスに含まれ得ることが明確に開示される。典型的なリアルタイム(たとえば、オンライン)適用例は、そのようなモバイルデバイスを使用して行われる電話会話である。
1つまたは複数の例示的な実施形態では、本明細書で説明した動作は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装する場合、そのような動作は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体に記憶され得るか、あるいはコンピュータ可読媒体を介して送信され得る。「コンピュータ可読媒体」という用語は、コンピュータ可読記憶媒体と通信(たとえば、伝送)媒体の両方を含む。限定ではなく、例として、コンピュータ可読記憶媒体は、(限定はしないが、ダイナミックまたはスタティックRAM、ROM、EEPROM、および/またはフラッシュRAMを含み得る)半導体メモリ、または強誘電体メモリ、磁気抵抗メモリ、オボニックメモリ、高分子メモリ、または相変化メモリなどの記憶要素のアレイ、CD−ROMまたは他の光ディスクストレージ、ならびに/あるいは磁気ディスクストレージまたは他の磁気ストレージデバイスを備えることができる。そのような記憶媒体は、コンピュータによってアクセスされ得る命令またはデータ構造の形態で情報を記憶し得る。通信媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、命令またはデータ構造の形態で所望のプログラムコードを搬送するために使用され得、コンピュータによってアクセスされ得る、任意の媒体を備えることができる。同様に、いかなる接続も適切にコンピュータ可読媒体と称される。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、あるいは赤外線、無線、および/またはマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、あるいは赤外線、無線、および/またはマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびBlu−ray(登録商標) Disc(Blu−Ray Disc Association、カリフォルニア州ユニヴァーサルシティー)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)はデータをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
本明細書で説明した音響信号処理装置は、いくつかの動作を制御するために音声入力を受容し、あるいは背景雑音から所望の雑音を分離することから利益を得ることがある、通信デバイスなどの電子デバイスに組み込まれ得る。多くの適用例では、複数の方向から発生した背景音から明瞭な所望の音を強調または分離することから利益を得ることがある。そのような適用例は、ボイス認識および検出、音声強調および分離、ボイスアクティブ化制御などの機能を組み込んだ電子デバイスまたはコンピューティングデバイスにおけるヒューマンマシンインターフェースを含み得る。限られた処理機能のみを提供するデバイスに適したそのような音響信号処理装置を実装することが望ましいことがある。
本明細書で説明したモジュール、要素、およびデバイスの様々な実装形態の要素は、たとえば、同じチップ上にまたはチップセット中の2つ以上のチップ間に常駐する電子デバイスおよび/または光デバイスとして作製され得る。そのようなデバイスの一例は、トランジスタまたはゲートなど、論理要素の固定アレイまたはプログラマブルアレイである。本明細書で説明した装置の様々な実装形態の1つまたは複数の要素は、全体または一部が、マイクロプロセッサ、組込みプロセッサ、IPコア、デジタル信号プロセッサ、FPGA、ASSP、およびASICなど、論理要素の1つまたは複数の固定アレイまたはプログラマブルアレイ上で実行するように構成された命令の1つまたは複数のセットとしても実装され得る。
本明細書で説明した装置の実装形態の1つまたは複数の要素は、その装置が組み込まれているデバイスまたはシステムの別の動作に関係するタスクなど、装置の動作に直接関係しないタスクを実施するために、または装置の動作に直接関係しない命令の他のセットを実行するために使用されることが可能である。また、そのような装置の実装形態の1つまたは複数の要素は、共通の構造(たとえば、異なる要素に対応するコードの部分を異なる時間に実行するために使用されるプロセッサ、異なる要素に対応するタスクを異なる時間に実施するために実行される命令のセット、あるいは、異なる要素向けの動作を異なる時間に実施する電子デバイスおよび/または光デバイスの構成)を有することが可能である。たとえば、FFTモジュールFFT1〜FFT4のうち1つまたは複数(可能性としてはすべて)は、異なる時間において同じ構造(たとえば、FFT演算を定義する同じ命令セット)を使うように実装され得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
信号処理の方法であって、
第1の超音波信号の第1の反射からの情報に基づいて、音放射体の第1のレンジを推定することと、
前記推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを選択することと、
前記選択された到着方向推定演算を実施して、マルチチャネル信号のオーディオ周波数成分からの情報に基づいて、前記オーディオ周波数成分の到着方向の推定値を算出することとを備える方法。
[C2]
前記マルチチャネル信号の第1のチャネルが、第1の検出器によって生成された信号に基づき、前記マルチチャネル信号の第2のチャネルが、第2の検出器によって生成された信号に基づく、C1に記載の方法。
[C3]
前記第1のレンジを前記推定することが、前記第1の検出器までの前記第1の超音波信号の飛行時間を算出することを含み、前記第1の超音波信号の前記第1の反射からの前記情報が、前記第1の検出器までの前記第1の超音波信号の前記算出された飛行時間を含む、C2に記載の方法。
[C4]
前記第1のレンジを前記推定することが、第1の検出器までの前記第1の超音波信号の飛行時間を算出することを含み、前記第1の超音波信号の前記第1の反射からの前記情報が、前記第1の検出器までの前記第1の超音波信号の前記算出された飛行時間を含み、
前記第1のレンジを前記推定することが、第2の検出器までの前記第1の超音波信号の飛行時間を算出することを含み、前記第1の超音波信号の前記第1の反射からの前記情報が、前記第2の検出器までの前記第1の超音波信号の前記算出された飛行時間を含む、C1に記載の方法。
[C5]
前記マルチチャネル信号の前記オーディオ周波数成分が、前記第1および第2の検出器によって生成された信号に基づく、C4に記載の方法。
[C6]
前記第1および第2の検出器までの前記第1の超音波信号の前記算出された飛行時間に基づいて、前記オーディオ周波数成分の到着方向の第2の推定値を算出することを備える、C4に記載の方法。
[C7]
相対的重み付けにより、前記算出された到着方向推定値と、前記算出された第2の推定値とを合成して、到着方向の合成推定値を取得することを備え、
前記相対的重み付けが前記オーディオ周波数成分のレベルに基づく、C6に記載の方法。
[C8]
前記相対的重み付けが、前記算出された到着方向推定値と前記算出された第2の推定値との間の差に基づく、C7に記載の方法。
[C9]
前記方法が、前記第1の検出器までの第2の超音波信号の飛行時間を算出することを含み、
前記相対的重み付けが、前記第1の検出器までの前記第1の超音波信号の前記飛行時間と前記第2の超音波信号の前記飛行時間との間の差に基づく、C7に記載の方法。
[C10]
前記第1の超音波信号の第2の反射からの情報に基づいて、第2のレンジを推定することと、
前記第1の超音波信号の後に放射される第2の超音波信号の第1の反射からの情報に基づいて、第3のレンジを推定することと、
前記第2の超音波信号の第2の反射からの情報に基づいて、第4のレンジを推定することと、
(A)前記第1のレンジと前記第3のレンジの差と、(B)前記第2のレンジと前記第4のレンジの差と、の間の関係に基づいて、前記第3および第4のレンジのうち1つを選択することと、
前記選択されたレンジに基づいて、前記複数の到着方向推定演算のうち1つの、第2の選択を実施することと、
前記第2の選択によって選択された前記到着方向推定演算を実施して、前記オーディオ周波数成分からの情報に基づいて、前記オーディオ周波数成分の前記到着方向の第2の推定値を算出することとを備える、C2に記載の方法。
[C11]
前記第1の検出器までの第2の超音波信号の飛行時間および前記第2の検出器までの前記第2の超音波信号の飛行時間を算出することと、
(A)前記第1の検出器までの前記第1の超音波信号の前記飛行時間と、前記第1の検出器までの前記第2の超音波信号の前記飛行時間との間の差が、第2の閾値を超えず、(B)前記第2の超音波信号の前記第2の飛行時間が、前記第1の超音波信号の前記第2の飛行時間とは異なることを検出することと、
前記検出に応答して、前記第2の超音波信号の前記第2の飛行時間に基づいて、前記推定された第1のレンジを更新することとを備える、C2に記載の方法。
[C12]
前記オーディオ周波数成分の前記到着方向の前記推定値に基づいて、画像の一部分をフォーカスウィンドウとして選択することと、
前記音放射体の前記推定された第1のレンジに、また前記フォーカスウィンドウからの情報に基づいて、カメラフォーカス動作を実施することとを含む、C1に記載の方法。
[C13]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の利得の差に基づいて前記推定値を算出することを含む、C1に記載の方法。
[C14]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームのチャネルの間の利得の差に基づいて前記推定値を算出することを含む、C1に記載の方法。
[C15]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームの間の利得の差に基づいて前記推定値を算出することを含む、C1に記載の方法。
[C16]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の位相の差に基づいて前記推定値を算出することを含む、C1に記載の方法。
[C17]
複数の到着方向推定演算のうち1つを前記選択することが、
前記推定された第1のレンジを閾値と比較することと、
前記推定された第1のレンジが前記閾値未満の場合、前記複数の到着方向推定演算のうち第1の1つを選択することと、
前記推定された第1のレンジが前記閾値より大きい場合、前記複数の到着方向推定演算のうち第2の1つを選択することとを備える、C1に記載の方法。
[C18]
前記オーディオ周波数成分が、前記音放射体によって放射された音を含む、C1に記載の方法。
[C19]
信号処理のための装置であって、
第1の超音波信号の第1の反射からの情報に基づいて、音放射体の第1のレンジを推定するための手段と、
前記推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを選択するための手段と、
前記選択された到着方向推定演算を実施して、マルチチャネル信号のオーディオ周波数成分からの情報に基づいて、前記オーディオ周波数成分の到着方向の推定値を算出するための手段とを備える装置。
[C20]
前記マルチチャネル信号の第1のチャネルが、第1の検出器によって生成された信号に基づき、前記マルチチャネル信号の第2のチャネルが、第2の検出器によって生成された信号に基づく、C19に記載の装置。
[C21]
前記第1のレンジを推定するための前記手段が、前記第1の検出器までの前記第1の超音波信号の飛行時間を算出するための手段を含み、前記第1の超音波信号の前記第1の反射からの前記情報が、前記第1の検出器までの前記第1の超音波信号の前記算出された飛行時間を含む、C20に記載の装置。
[C22]
前記第1のレンジを推定するための前記手段が、第1の検出器までの前記第1の超音波信号の飛行時間を算出するための手段を含み、前記第1の超音波信号の前記第1の反射からの前記情報が、前記第1の検出器までの前記第1の超音波信号の前記算出された飛行時間を含み、
前記第1のレンジを推定するための前記手段が、第2の検出器までの前記第1の超音波信号の飛行時間を算出するための手段を含み、前記第1の超音波信号の前記第1の反射からの前記情報が、前記第2の検出器までの前記第1の超音波信号の前記算出された飛行時間を含む、C19に記載の装置。
[C23]
前記マルチチャネル信号の前記オーディオ周波数成分が、前記第1および第2の検出器によって生成された信号に基づく、C22に記載の装置。
[C24]
前記第1および第2の検出器までの前記第1の超音波信号の前記算出された飛行時間に基づいて、前記オーディオ周波数成分の到着方向の第2の推定値を算出するための手段を備える、C22に記載の装置。
[C25]
相対的重み付けにより、前記算出された到着方向推定値と、前記算出された第2の推定値とを合成して、到着方向の合成推定値を取得するための手段を備え、
前記相対的重み付けが前記オーディオ周波数成分のレベルに基づく、C24に記載の装置。
[C26]
前記相対的重み付けが、前記算出された到着方向推定値と前記算出された第2の推定値との間の差に基づく、C25に記載の装置。
[C27]
前記第1の検出器までの第2の超音波信号の飛行時間を算出するための手段を含み、
前記相対的重み付けが、前記第1の検出器までの前記第1の超音波信号の前記飛行時間と前記第2の超音波信号の前記飛行時間との間の差に基づく、C25に記載の装置。
[C28]
前記第1の超音波信号の第2の反射からの情報に基づいて、第2のレンジを推定するための手段と、
前記第1の超音波信号の後に放射された第2の超音波信号の第1の反射からの情報に基づいて、第3のレンジを推定するための手段と、
前記第2の超音波信号の第2の反射からの情報に基づいて、第4のレンジを推定するための手段と、
(A)前記第1のレンジと前記第3のレンジの差と、(B)前記第2のレンジと前記第4のレンジの差と、の間の関係に基づいて、前記第3および第4のレンジのうち1つを選択するための手段と、
前記選択されたレンジに基づいて、前記複数の到着方向推定演算のうち1つの第2の選択を実施するための手段と、
前記第2の選択によって選択された前記到着方向推定演算を実施して、前記オーディオ周波数成分からの情報に基づいて、前記オーディオ周波数成分の前記到着方向の第2の推定値を算出するための手段とを備える、C20に記載の装置。
[C29]
前記第1の検出器までの第2の超音波信号の飛行時間および前記第2の検出器までの前記第2の超音波信号の飛行時間を算出するための手段と、
(A)前記第1の検出器までの前記第1の超音波信号の前記飛行時間と、前記第1の検出器までの前記第2の超音波信号の前記飛行時間との間の差が、第2の閾値を超えず、(B)前記第2の超音波信号の前記第2の飛行時間が、前記第1の超音波信号の前記第2の飛行時間とは異なることを検出するための手段と、
前記検出に応答して、前記第2の超音波信号の前記第2の飛行時間に基づいて、前記推定された第1のレンジを更新するための手段とを備える、C20に記載の装置。
[C30]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の利得の差に基づいて前記推定値を算出することを含む、C19に記載の装置。
[C31]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームのチャネルの間の利得の差に基づいて前記推定値を算出することを含む、C19に記載の装置。
[C32]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームの間の利得の差に基づいて前記推定値を算出することを含む、C19に記載の装置。
[C33]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の位相の差に基づいて前記推定値を算出することを含む、C19に記載の装置。
[C34]
複数の到着方向推定演算のうち1つを選択するための前記手段が、
前記推定された第1のレンジを閾値と比較するための手段と、
前記推定された第1のレンジが前記閾値未満の場合、前記複数の到着方向推定演算のうち第1の1つを選択するための手段と、
前記推定された第1のレンジが前記閾値より大きい場合、前記複数の到着方向推定演算のうち第2の1つを選択するための手段とを備える、C19に記載の装置。
[C35]
前記オーディオ周波数成分が、前記音放射体によって放射された音を含む、C19に記載の装置。
[C36]
信号処理のための装置であって、
第1の超音波信号の第1の反射からの情報に基づいて、音放射体の第1のレンジを推定するように構成されたレンジ推定器と、
前記推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを選択するように構成された比較器と、
前記選択された到着方向推定演算を実施して、マルチチャネル信号のオーディオ周波数成分からの情報に基づいて、前記オーディオ周波数成分の到着方向の推定値を算出するように構成された方向計算器とを備える装置。
[C37]
前記マルチチャネル信号の第1のチャネルが、第1の検出器によって生成された信号に基づき、前記マルチチャネル信号の第2のチャネルが、第2の検出器によって生成された信号に基づく、C36に記載の装置。
[C38]
前記レンジ推定器が、前記第1の検出器までの前記第1の超音波信号の飛行時間を算出するように構成され、前記第1の超音波信号の前記第1の反射からの前記情報が、前記第1の検出器までの前記第1の超音波信号の前記算出された飛行時間を含む、C37に記載の装置。
[C39]
前記レンジ推定器が、第1の検出器までの前記第1の超音波信号の飛行時間を算出するように構成され、前記第1の超音波信号の前記第1の反射からの前記情報が、前記第1の検出器までの前記第1の超音波信号の前記算出された飛行時間を含み、
前記レンジ推定器が、第2の検出器までの前記第1の超音波信号の飛行時間を算出するように構成され、前記第1の超音波信号の前記第1の反射からの前記情報が、前記第2の検出器までの前記第1の超音波信号の前記算出された飛行時間を含む、C36に記載の装置。
[C40]
前記マルチチャネル信号の前記オーディオ周波数成分が、前記第1および第2の検出器によって生成された信号に基づく、C39に記載の装置。
[C41]
前記第1および第2の検出器までの前記第1の超音波信号の前記算出された飛行時間に基づいて、前記オーディオ周波数成分の到着方向の第2の推定値を算出するように構成された第2の方向計算器を備える、C39に記載の装置。
[C42]
前記装置が、相対的重み付けにより、前記算出された到着方向推定値と、前記算出された第2の推定値とを合成して、到着方向の合成推定値を取得するように構成された合成器を備え、
前記相対的重み付けが前記オーディオ周波数成分のレベルに基づく、C41に記載の装置。
[C43]
前記相対的重み付けが、前記算出された到着方向推定値と前記算出された第2の推定値との間の差に基づく、C42に記載の装置。
[C44]
前記レンジ推定器が、前記第1の検出器までの第2の超音波信号の飛行時間を示すように構成され、
前記相対的重み付けが、前記第1の検出器までの前記第1の超音波信号の前記飛行時間と前記第2の超音波信号の前記飛行時間との間の差に基づく、C42に記載の装置。
[C45]
前記レンジ推定器が、
前記第1の超音波信号の第2の反射からの情報に基づく第2のレンジと、
前記第1の超音波信号の後に放射された第2の超音波信号の第1の反射からの情報に基づく第3のレンジと、
前記第2の超音波信号の第2の反射からの情報に基づく第4のレンジとを推定するように構成され、
前記装置が、
(A)前記第1のレンジと前記第3のレンジの差と、(B)前記第2のレンジと前記第4のレンジの差と、の間の関係に基づいて、前記第3および第4のレンジのうち1つを選択するように構成されたセレクタと、
前記選択されたレンジに基づいて、前記複数の到着方向推定演算のうち1つの第2の選択を実施するように構成された第2の比較器と、
前記第2の比較器によって選択された前記到着方向推定演算を実施して、前記オーディオ周波数成分からの情報に基づいて、前記オーディオ周波数成分の前記到着方向の第2の推定値を算出するように構成された第2の方向計算器とを備える、C37に記載の装置。
[C46]
前記レンジ推定器が、前記第1の検出器までの第2の超音波信号の飛行時間と、前記第2の検出器までの前記第2の超音波信号の飛行時間とを算出するように構成され、
前記装置が、(A)前記第1の検出器までの前記第1の超音波信号の前記飛行時間と、前記第1の検出器までの前記第2の超音波信号の前記飛行時間との間の差が、第2の閾値を超えず、(B)前記第2の超音波信号の前記第2の飛行時間が、前記第1の超音波信号の前記第2の飛行時間とは異なることを検出するように構成された第2の比較器を備え、
前記レンジ推定器が、前記検出に応答して、前記第2の超音波信号の前記第2の飛行時間に基づいて、前記推定された第1のレンジを更新するように構成される、C37に記載の装置。
[C47]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の利得の差に基づいて前記推定値を算出することを含む、C36に記載の装置。
[C48]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームのチャネルの間の利得の差に基づいて前記推定値を算出することを含む、C36に記載の装置。
[C49]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームの間の利得の差に基づいて前記推定値を算出することを含む、C36に記載の装置。
[C50]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の位相の差に基づいて前記推定値を算出することを含む、C36に記載の装置。
[C51]
前記比較器が、前記推定された第1のレンジを閾値と比較し、前記推定された第1のレンジが前記閾値未満の場合、前記複数の到着方向推定演算のうち第1の1つを選択し、前記推定された第1のレンジが前記閾値よりも大きい場合、前記複数の到着方向推定演算のうち第2の1つを選択するように構成される、C36に記載の装置。
[C52]
前記オーディオ周波数成分が、前記音放射体によって放射された音を含む、C36に記載の装置。
[C53]
C36に記載の装置を含む通信デバイス。
[C54]
有形機能を有する非一時的コンピュータ可読記憶媒体であって、前記有形機能が、前記特徴を読み取る機械に、
第1の超音波信号の第1の反射からの情報に基づいて、音放射体の第1のレンジを推定させ、
前記推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを選択させ、
前記選択された到着方向推定演算を実施させて、マルチチャネル信号のオーディオ周波数成分からの情報に基づいて、前記オーディオ周波数成分の到着方向の推定値を算出させる媒体。
[C55]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の利得の差に基づいて前記推定値を算出することを含む、C54に記載の媒体。
[C56]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームのチャネルの間の利得の差に基づいて前記推定値を算出することを含む、C54に記載の媒体。
[C57]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームの間の利得の差に基づいて前記推定値を算出することを含む、C54に記載の媒体。
[C58]
前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の位相の差に基づいて前記推定値を算出することを含む、C54に記載の媒体。
[C59]
複数の到着方向推定演算のうち1つを前記選択することが、
前記推定された第1のレンジを閾値と比較することと、
前記推定された第1のレンジが前記閾値未満の場合、前記複数の到着方向推定演算のうち第1の1つを選択することと、
前記推定された第1のレンジが前記閾値より大きい場合、前記複数の到着方向推定演算のうち第2の1つを選択することとを備える、C54に記載の媒体。

Claims (53)

  1. 信号処理の方法であって、
    (a1) 音放射体から反射された検出超音波信号を受信することと、
    (a2) 前記受信した検出超音波信号に基づいて、前記音放射体の第1のレンジを推定する、ここにおいて、前記第1のレンジは、前記音放射体と検出器との間の時間または距離の測定値である、ことと、
    (a3) 前記推定された第1のレンジを使って、複数の到着方向推定演算のうち1つを選択することと、
    (a4) 検出器アレイ中の複数の検出器に到着する前記音放射体から音のオーディオ周波数成分を含む1つまたは複数のオーディオ周波数信号を受信することと、
    (a5) 前記選択された到着方向推定演算を実施して、オーディオ周波数成分を含む前記1つまたは複数の信号に基づいて、前記検出器アレイに相対した前記音放射体からの音の到着方向推定値を算出することと、
    を備える方法。
  2. 第1のオーディオ周波数信号が、第1の検出器によって受信された、前記音放射体からのオーディオ周波数成分に基づき、第2のオーディオ周波数信号が、第2の検出器によって受信された、前記音放射体からのオーディオ周波数成分に基づき、前記第1および第2の検出器が互いから離間される、請求項1に記載の方法。
  3. 前記超音波信号の放射時間が、信号プロセッサによって受信され、または識別され、前記受信した検出超音波信号に基づいて前記第1のレンジを前記推定することが、第1の超音波信号の、前記音放射体まで、および前記音放射体から第1の検出器への反射の飛行時間を算出することを含み、前記第1の検出器が、オーディオ周波数と超音波信号の両方を検出する、請求項2に記載の方法。
  4. 前記超音波信号の放射時間が、信号プロセッサによって受信され、または識別され、音放射体から反射された検出超音波信号を前記受信することが、第1の超音波信号の、前記音放射体まで、および前記音放射体から第1の検出器への反射の第1の飛行時間を算出することであって、前記第の検出器が、オーディオ周波数と超音波信号の両方を検出することと、
    前記第1の超音波信号の、前記音放射体までの、および前記音放射体から第2の検出器への反射の第2の飛行時間を算出し、前記第2の算出された飛行時間に基づいて、前記音放射体の第2のレンジを推定することと
    を含む、請求項1に記載の方法。
  5. 前記第1および第2の検出器までの、前記第1の超音波信号の前記算出された飛行時間を使って、前記検出された反射超音波信号に基づいて、前記検出器アレイに相対した、音放射ソースの第2の方向推定値を算出することを備える、請求項4に記載の方法。
  6. 前記方法が、前記算出された到着方向推定値を、第1の重みによって重み付けすることと、前記算出された第2の方向推定値を、第2の重みによって重み付けすることと、前記重み付き推定値を合成して、到着方向の合成推定値を判断することとを備え、
    前記第1および第2の重みが、ゼロから1の範囲の値をもち、合計が1になり、前記第1および第2の重みの相対値が、前記1つまたは複数のオーディオ周波数信号の利得に基づいて判断される、請求項5に記載の方法。
  7. 前記重み付けすることが、前記算出された到着方向推定値と前記算出された第2の推定値との間の差にさらに基づく、請求項6に記載の方法。
  8. 前記方法が、前記超音波信号の後に放射され、音放射ソースから前記検出器まで反射された第2の超音波信号に対応する第2の検出超音波信号を受信することと、前記第2の超音波信号の放射時間を受信または識別することと、前記第1の検出器までの第2の検出超音波信号の飛行時間を算出することとを含み、
    前記第1および第2の重みの相対値が、前記第1の検出器までの前記第1の超音波信号の前記飛行時間と前記第2の超音波信号の前記飛行時間との間の差にさらに基づく、請求項6に記載の方法。
  9. 前記音放射体の第1のレンジを前記推定することが、
    第1の検出超音波信号を受信することであって、前記第1の検出超音波信号が、第1の超音波信号の、前記音放射体からの反射に対応することと、
    前記第1の検出超音波信号に基づいて第1のレンジを推定することと、
    第2の検出超音波信号を受信することであって、前記第2の検出超音波信号が、前記音放射体以外のオブジェクトからの、前記第1の超音波信号の反射に対応することと、
    前記第2の検出超音波信号に基づいて第2のレンジを推定することと、
    第3の検出超音波信号を受信することであって、前記第3の検出超音波信号が、前記第1の超音波信号の後で放射された第2の超音波信号の、前記音放射体からの反射に対応することと、
    前記第3の検出超音波信号に基づいて第3のレンジを推定することと、
    第4の検出超音波信号を受信することであって、前記第4の検出超音波信号が、前記第2の超音波信号の前記音放射体以外の前記オブジェクトからの反射に対応することと、
    前記第4の検出超音波信号に基づいて第4のレンジを推定することと、
    (A)前記第1のレンジと前記第3のレンジの差と、(B)前記第2のレンジと前記第4のレンジの差と、の間の関係に基づいて、前記第3および第4のレンジのうち1つを、前記検出器アレイに相対した音放射ソースのレンジとして選択することと、
    複数の到着方向演算のうち1つの前記選択において、前記選択されたレンジを前記第1のレンジとして使うことと
    をさらに備える、請求項2に記載の方法。
  10. 前記第1の超音波信号に続いて放射された第2の超音波信号の前記音放射体からの反射を備える第2の検出超音波信号を受信することと、
    前記第2の超音波信号の放射時間を受信または識別することと、
    前記第1の検出器までの前記第2の超音波信号の飛行時間に基づいて第2のレンジを算出することと、
    前記第1のレンジと前記第2のレンジとの間の差が動き閾値未満のときに持続するものとして特徴を識別することと、
    前記第1のレンジと前記第2のレンジとの間の前記差が少なくとも前記動き閾値だけ異なるときに動いているものとして前記特徴を識別することと
    を備える、請求項2に記載の方法。
  11. 前記オーディオ周波数成分の前記到着方向推定値に基づいて、画像の一部分をフォーカスウィンドウとして選択することと、
    前記音放射体の前記推定された第1のレンジに、および前記フォーカスウィンドウからの情報に基づいて、カメラフォーカス動作を実施することと
    を含む、請求項1に記載の方法。
  12. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の利得の差に基づいて前記推定値を算出することを含む、請求項1に記載の方法。
  13. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームのチャネルの間の利得の差に基づいて前記推定値を算出することを含む、請求項1に記載の方法。
  14. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームの間の利得の差に基づいて前記推定値を算出することを含む、請求項1に記載の方法。
  15. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の位相の差に基づいて前記推定値を算出することを含む、請求項1に記載の方法。
  16. 複数の到着方向推定演算のうち1つを前記選択することが、
    前記推定された第1のレンジを閾値と比較することと、
    前記推定された第1のレンジが前記閾値未満の場合、前記複数の到着方向推定演算のうち第1の到着方向推定演算を選択することと、
    前記推定された第1のレンジが前記閾値より大きい場合、前記複数の到着方向推定演算のうち第2の到着方向推定演算を選択することと
    備える、請求項1に記載の方法。
  17. 信号処理のための装置であって、
    放射体から反射された検出超音波信号を受信するための入力、および前記受信した検出超音波信号からの情報に基づいてレンジ推定信号を出力するための出力を備える、前記音放射体の第1のレンジを推定するための手段、ここにおいて、前記第1のレンジは、前記音放射体と検出器との間の時間または距離の測定値である、と、
    検出器アレイに相対して、前記音放射体から放射された音の到着方向を推定するための手段であって、複数の到着方向推定演算のうち1つを選択するための入力、検出器アレイ中の複数の検出器に到着する前記音放射体からの音のオーディオ周波数成分を含む1つまたは複数のオーディオ周波数信号を受信するための1つまたは複数の入力、および前記推定到着方向を出力するための出力を有する、手段と、
    複数の到着方向推定演算のうち1つを選択するための手段であって、音放射体の第1のレンジを推定するための前記手段の前記出力に結合された入力、および到着方向を推定するための前記手段の前記それぞれの入力に結合された出力を有し、前記推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを判断し、推定するための前記手段に、前記選択された推定演算を施させる信号を出力する、手段と
    を備える装置。
  18. 第1のオーディオ周波数信号が、第1の検出器によって受信された、前記音放射体からのオーディオ周波数成分に基づき、第2のオーディオ周波数信号が、第2の検出器によって受信された、前記音放射体からのオーディオ周波数成分に基づき、前記第1および第2の検出器が、互いから離間される、請求項17に記載の装置。
  19. 前記第1のレンジを推定するための前記手段が、前記超音波信号の放射時間を受信または識別するための手段と、第1の超音波信号の、前記音放射体まで、および前記音放射体から前記第1の検出器への反射の飛行時間を算出するための手段とを含み、前記第1の検出器が、オーディオ周波数と超音波信号の両方を検出する、請求項18に記載の装置。
  20. 前記第1のレンジを推定するための前記手段が、前記超音波信号の放射時間を受信または識別するための手段と、第1の超音波信号の、前記音放射体まで、および前記音放射体から第1の検出器への反射の第1の飛行時間を算出するための手段とを含み、
    前記第1のレンジを推定するための前記手段が、前記第1の超音波信号の、前記音放射体まで、および前記音放射体から第2の検出器への反射の第2の飛行時間を算出するための手段を含み、到着方向を推定するための前記手段が、前記第2の算出された飛行時間に基づいて第2のレンジを推定する、請求項17に記載の装置。
  21. 前記第1および第2の検出器までの、前記第1の超音波信号の前記算出された飛行時間を使って、前記検出された反射超音波信号に基づいて、前記検出器アレイに相対して、音放射ソースの第2の到着方向推定値を算出するための手段を備える、請求項20に記載の装置。
  22. 前記装置が、前記算出された到着方向推定値を、第1の重みによって重み付けし、前記算出された第2の推定値を、第2の重みによって重み付けし、前記重み付き推定値を合成して、到着方向の合成推定値を判断するための手段を備え、
    前記第1および第2の重みが、ゼロから1の範囲の値をもち、合計が1になり、前記第1および第2の重みの相対値が、前記1つまたは複数のオーディオ周波数信号の利得に基づいて判断される、請求項21に記載の装置。
  23. 前記重み付けすることが、前記算出された到着方向推定値と前記算出された第2の推定値との間の差にさらに基づく、請求項22に記載の装置。
  24. 前記装置が、前記超音波信号の後に放射され、音放射ソースから前記検出器まで反射された第2の超音波信号に対応する第2の検出超音波信号を受信する手段と、前記第2の超音波信号の放射時間を受信または識別するための手段と、前記第1の検出器までの第2の超音波信号の飛行時間を算出するための手段とを含み、
    前記第1および第2の重みの相対値が、前記第1の検出器までの前記第1の超音波信号の前記飛行時間と前記第2の超音波信号の前記飛行時間との間の差に基づく、請求項22に記載の装置。
  25. 前記装置が、
    第1の検出超音波信号を受信するための手段であって、前記第1の検出超音波信号が、第1の超音波信号の、前記音放射体からの反射に対応する手段と、
    前記第1の検出超音波信号に基づいて第1のレンジを推定するための手段と、
    第2の検出超音波信号を受信するための手段であって、前記第2の検出超音波信号が、前記音放射体以外のオブジェクトからの、前記第1の超音波信号の反射に対応する手段と、
    前記第2の検出超音波信号に基づいて第2のレンジを推定するための手段と、
    第3の検出超音波信号を受信するための手段であって、前記第3の検出超音波信号が、前記第1の超音波信号の後で放射された第2の超音波信号の、前記音放射体からの反射に対応する手段と、
    前記第3の検出超音波信号に基づいて第3のレンジを推定するための手段と、
    第4の検出超音波信号を受信するための手段であって、前記第4の検出超音波信号が、前記第2の超音波信号の前記音放射体以外の前記オブジェクトからの反射に対応する手段と、
    前記第4の検出超音波信号に基づいて第4のレンジを推定するための手段と、
    (A)前記第1のレンジと前記第3のレンジの差と、(B)前記第2のレンジと前記第4のレンジの差と、の間の関係に基づいて、前記第3および第4のレンジのうち1つを、前記検出器アレイに相対した、音放射ソースのレンジとして選択するための手段と
    を備え、
    前記選択されたレンジが、複数の到着方向推定演算のうち1つを選択するための前記手段において、前記第1のレンジとして使われる、請求項18に記載の装置。
  26. 前記第1の超音波信号に続いて放射された第2の超音波信号の前記音放射体からの反射を備える第2の検出超音波信号を受信するための手段と、
    前記第2の超音波信号の放射時間を受信または識別するための手段と、
    前記第1の検出器までの前記第2の超音波信号の飛行時間に基づいて第2のレンジを算出するための手段と、
    前記第1のレンジと前記第2のレンジとの間の差が動き閾値未満のときに持続するものとして特徴を識別するための手段と、
    前記第1のレンジと前記第2のレンジとの間の前記差が少なくとも前記動き閾値だけ異なるときに動いているものとして前記特徴を識別するための手段と
    を備える、請求項18に記載の装置。
  27. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の利得の差に基づいて前記推定値を算出することを含む、請求項17に記載の装置。
  28. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームのチャネルの間の利得の差に基づいて前記推定値を算出することを含む、請求項17に記載の装置。
  29. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームの間の利得の差に基づいて前記推定値を算出することを含む、請求項17に記載の装置。
  30. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の位相の差に基づいて前記推定値を算出することを含む、請求項17に記載の装置。
  31. 複数の到着方向推定演算のうち1つを選択するための前記手段が、
    前記推定された第1のレンジを閾値と比較するための手段と、
    前記推定された第1のレンジが前記閾値未満の場合、前記複数の到着方向推定演算のうち第1の到着方向推定演算を選択するための手段と、
    前記推定された第1のレンジが前記閾値より大きい場合、前記複数の到着方向推定演算のうち第2の到着方向推定演算を選択するための手段と
    を備える、請求項17に記載の装置。
  32. 信号処理のための装置であって、
    音放射体の第1のレンジを推定するように構成されたレンジ推定器であって、前記音放射体から反射された検出超音波信号を受信するための入力、および前記受信した検出超音波信号に基づいて第1のレンジを出力するための出力を有するレンジ推定器、ここにおいて、前記第1のレンジは、前記音放射体と検出器との間の時間または距離の測定値である、と、
    前記レンジ推定器の前記出力に結合された比較器であって、前記推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを選択するように、および選択信号を出力するように構成された比較器と、
    前記比較器の前記出力に、および検出器アレイ中の複数の検出器に到着する、前記音放射体から音のオーディオ周波数成分を含む1つまたは複数のオーディオ周波数信号を受信するための1つまたは複数の入力および前記推定到着方向を出力するための出力に結合された方向計算器であって、前記比較器選択信号によって選択された前記到着方向推定演算を実施し、オーディオ周波数成分を含む前記1つまたは複数のオーディオ周波数信号に基づいて、前記検出器アレイに相対した、前記音放射体からの音の到着方向推定値を算出するように構成された方向計算器と
    を備える装置。
  33. 第1のオーディオ周波数信号が、第1の検出器によって受信された、前記音放射体からのオーディオ周波数成分に基づき、第2のオーディオ周波数信号が、第2の検出器によって受信された、前記音放射体からのオーディオ周波数成分に基づき、前記第1および第2の検出器が、互いから離間される、請求項32に記載の装置。
  34. 前記レンジ推定器が、前記超音波信号の放射時間を受信または識別し、第1の超音波信号の、前記音放射体まで、および前記音放射体から前記第1の検出器への反射の飛行時間を算出するように構成され、前記第1の検出器が、オーディオ周波数と超音波信号の両方を検出する、請求項33に記載の装置。
  35. 前記レンジ推定器が、前記超音波信号の放射時間を受信または識別し、第1の超音波信号の、前記音放射体まで、および前記音放射体から第1の検出器への反射の第1の飛行時間を算出するように構成され、
    前記レンジ推定器が、前記第1の超音波信号の、前記音放射体まで、および前記音放射体から第2の検出器への反射の第2の飛行時間を算出し、前記第2の飛行時間に基づいて第2のレンジを推定するように構成される、請求項32に記載の装置。
  36. 前記第1および第2の検出器までの、前記第1の超音波信号の前記算出された飛行時間を使って、前記検出された反射超音波信号に基づいて、前記検出器アレイに相対して、前記音放射体の第2の到着方向推定値を算出するように構成された第2の方向計算器を備える、請求項35に記載の装置。
  37. 前記装置が、前記算出された到着方向推定値を、第1の重みによって重み付けし、前記算出された第2の推定値を、第2の重みによって重み付けし、前記重み付き推定値を合成して、到着方向の合成推定値を判断するように構成された合成器を備え、
    前記第1および第2の重みが、ゼロから1の範囲の値をもち、合計が1になり、前記第1および第2の重みの相対値が、前記1つまたは複数のオーディオ周波数信号の利得に基づいて判断される、請求項36に記載の装置。
  38. 前記重み付けすることが、前記算出された到着方向推定値と前記算出された第2の推定値との間の差にさらに基づく、請求項37に記載の装置。
  39. 前記レンジ推定器が、前記超音波信号の後に放射され、前記音放射体から前記検出器アレイに反射された第2の超音波信号に対応する第2の検出超音波信号を受信し、前記第2の超音波信号の放射時間を受信または識別し、前記第1の検出器までの第2の超音波信号の飛行時間を示すように構成され、
    前記第1および第2の重みの相対値が、前記第1の検出器までの前記第1の超音波信号の前記飛行時間と前記第2の超音波信号の前記飛行時間との間の差に基づく、請求項37に記載の装置。
  40. 前記レンジ推定器が、
    前記音放射体以外のオブジェクトからの、前記第1の超音波信号の反射に対応する第2の検出超音波信号を受信し、前記第2の検出超音波信号に基づいて第2のレンジを推定し、
    前記第1の超音波信号の後に放射された第2の超音波信号の前記音放射体からの反射に対応する第3の検出超音波信号を受信し、前記第3の検出超音波信号に基づいて第3のレンジを推定し、
    前記第2の超音波信号の前記音放射体以外の前記オブジェクトからの反射に対応する第4の検出超音波信号を受信するように構成され、
    レクタが、(A)前記第1のレンジと前記第3のレンジの差と、(B)前記第2のレンジと第4のレンジの差と、の間の関係に基づいて、前記第3および前記第4のレンジのうち1つを、前記検出器アレイに相対した、音放射ソースのレンジとして選択するように構成され、
    第2の比較器が、前記第3および第4のレンジのうち前記選択されたものに基づいて、前記複数の到着方向推定演算のうち1つの演算の第2の選択を実施するように構成され、
    第2の方向計算器が、前記第2の比較器によって選択された前記到着方向推定演算を実施して、前記複数の検出器に到着する前記音放射体からの音の前記オーディオ周波数成分を備える前記1つまたは複数のオーディオ周波数信号に基づいて、前記オーディオ周波数信号の前記到着方向の第2の推定値を算出するように構成される、請求項33に記載の装置。
  41. 前記レンジ推定器が、前記第1の超音波信号に続いて放射された第2の超音波信号の前記音放射体からの反射を備える第2の検出超音波信号を受信し、前記第2の超音波信号の放射時間を受信または識別し、前記第1の検出器までの前記第2の超音波信号の飛行時間に基づいて第2のレンジを算出し、前記第1のレンジと前記第2のレンジとの間の差が動き閾値未満のときに持続するものとして特徴を識別し、前記第1のレンジと前記第2のレンジとの間の前記差が少なくとも前記動き閾値だけ異なるときに動いているものとして前記特徴を識別するように構成される、請求項33に記載の装置。
  42. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の利得の差に基づいて前記推定値を算出することを含む、請求項32に記載の装置。
  43. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームのチャネルの間の利得の差に基づいて前記推定値を算出することを含む、請求項32に記載の装置。
  44. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームの間の利得の差に基づいて前記推定値を算出することを含む、請求項32に記載の装置。
  45. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の位相の差に基づいて前記推定値を算出することを含む、請求項32に記載の装置。
  46. 前記比較器が、前記推定された第1のレンジを閾値と比較し、前記推定された第1のレンジが前記閾値未満の場合、前記複数の到着方向推定演算のうち第1の到着方向推定演算を選択し、前記推定された第1のレンジが前記閾値よりも大きい場合、前記複数の到着方向推定演算のうち第2の到着方向推定演算を選択するように構成される、請求項32に記載の装置。
  47. 請求項36に記載の装置を含む通信デバイス。
  48. 有形機能を有する非一時的コンピュータ可読記憶媒体であって、前記有形機能が、前記機能を読み取る機械に、
    音放射体から反射された検出超音波信号を受信させ、
    前記受信した検出超音波信号に基づいて、前記音放射体の第1のレンジ、ここにおいて、前記第1のレンジは前記音放射体と検出器との間の時間または距離の測定値である、を推定させ、
    前記推定された第1のレンジに基づいて、複数の到着方向推定演算のうち1つを選択させ、
    検出器アレイ中の複数の検出器に到着する前記音放射体から音のオーディオ周波数成分を含む1つまたは複数のオーディオ周波数信号を受信させ、
    前記選択された到着方向推定演算を実施して、オーディオ周波数成分を含む前記1つまたは複数の信号に基づいて、前記検出器アレイに相対した前記音放射体からの音の到着方向推定値を算出させる、媒体。
  49. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の利得の差に基づいて前記推定値を算出することを含む、請求項48に記載の媒体。
  50. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームのチャネルの間の利得の差に基づいて前記推定値を算出することを含む、請求項48に記載の媒体。
  51. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分から発生したビームの間の利得の差に基づいて前記推定値を算出することを含む、請求項48に記載の媒体。
  52. 前記複数の到着方向推定演算のうち少なくとも1つが、前記オーディオ周波数成分のチャネルの間の位相の差に基づいて前記推定値を算出することを含む、請求項48に記載の媒体。
  53. 複数の到着方向推定演算のうち1つを前記選択することが、
    前記推定された第1のレンジを閾値と比較することと、
    前記推定された第1のレンジが前記閾値未満の場合、前記複数の到着方向推定演算のうち第1の到着方向推定演算を選択することと、
    前記推定された第1のレンジが前記閾値より大きい場合、前記複数の到着方向推定演算のうち第2の到着方向推定演算を選択することと
    を備える、請求項48に記載の媒体。
JP2013556775A 2011-03-03 2012-02-27 可聴音と超音波とを用いたソース特定のためのシステム、方法、装置、およびコンピュータ可読媒体 Expired - Fee Related JP5710792B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161448950P 2011-03-03 2011-03-03
US61/448,950 2011-03-03
US13/198,122 US9354310B2 (en) 2011-03-03 2011-08-04 Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound
US13/198,122 2011-08-04
PCT/US2012/026771 WO2012161825A1 (en) 2011-03-03 2012-02-27 Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound

Publications (2)

Publication Number Publication Date
JP2014514794A JP2014514794A (ja) 2014-06-19
JP5710792B2 true JP5710792B2 (ja) 2015-04-30

Family

ID=46753229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013556775A Expired - Fee Related JP5710792B2 (ja) 2011-03-03 2012-02-27 可聴音と超音波とを用いたソース特定のためのシステム、方法、装置、およびコンピュータ可読媒体

Country Status (6)

Country Link
US (1) US9354310B2 (ja)
EP (1) EP2681586B1 (ja)
JP (1) JP5710792B2 (ja)
KR (1) KR101548848B1 (ja)
CN (1) CN103443649B (ja)
WO (1) WO2012161825A1 (ja)

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9689959B2 (en) * 2011-10-17 2017-06-27 Foundation de l'Institut de Recherche Idiap Method, apparatus and computer program product for determining the location of a plurality of speech sources
US9583259B2 (en) 2012-03-20 2017-02-28 Qualcomm Incorporated Wireless power transfer device and method of manufacture
US9653206B2 (en) 2012-03-20 2017-05-16 Qualcomm Incorporated Wireless power charging pad and method of construction
US9160205B2 (en) 2012-03-20 2015-10-13 Qualcomm Incorporated Magnetically permeable structures
US9431834B2 (en) 2012-03-20 2016-08-30 Qualcomm Incorporated Wireless power transfer apparatus and method of manufacture
US10107887B2 (en) 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
TWI498771B (zh) * 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
JP6056544B2 (ja) * 2013-02-26 2017-01-11 富士ゼロックス株式会社 音声解析装置、信号解析装置、音声解析システムおよびプログラム
US20140244273A1 (en) * 2013-02-27 2014-08-28 Jean Laroche Voice-controlled communication connections
US20140269196A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Portable Electronic Device Directed Audio Emitter Arrangement System and Method
US10531190B2 (en) 2013-03-15 2020-01-07 Elwha Llc Portable electronic device directed audio system and method
US9886941B2 (en) 2013-03-15 2018-02-06 Elwha Llc Portable electronic device directed audio targeted user system and method
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
US10575093B2 (en) 2013-03-15 2020-02-25 Elwha Llc Portable electronic device directed audio emitter arrangement system and method
US10291983B2 (en) 2013-03-15 2019-05-14 Elwha Llc Portable electronic device directed audio system and method
US10181314B2 (en) 2013-03-15 2019-01-15 Elwha Llc Portable electronic device directed audio targeted multiple user system and method
US20140269207A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Portable Electronic Device Directed Audio Targeted User System and Method
JP5929810B2 (ja) * 2013-03-27 2016-06-08 富士ゼロックス株式会社 音声解析システム、音声端末装置およびプログラム
CN103197283B (zh) * 2013-04-23 2015-07-08 上海交通大学 一种基于电模拟耦合结构的声源定位装置
CN103344959B (zh) * 2013-07-22 2016-04-20 苏州触达信息技术有限公司 一种超声定位系统和具有定位功能的电子装置
WO2015026933A2 (en) 2013-08-21 2015-02-26 Honeywell International Inc. Devices and methods for interacting with an hvac controller
US9508345B1 (en) 2013-09-24 2016-11-29 Knowles Electronics, Llc Continuous voice sensing
US9888317B2 (en) * 2013-10-22 2018-02-06 Nokia Technologies Oy Audio capture with multiple microphones
US9912415B2 (en) * 2013-11-12 2018-03-06 Qualcomm Incorporated Fast service discovery and pairing using ultrasonic communication
US9532155B1 (en) 2013-11-20 2016-12-27 Knowles Electronics, Llc Real time monitoring of acoustic environments using ultrasound
US9591426B2 (en) * 2013-11-22 2017-03-07 Voyetra Turtle Beach, Inc. Method and apparatus for an ultrasonic emitter system floor audio unit
CN103731768B (zh) * 2013-12-25 2018-11-16 深圳Tcl新技术有限公司 一种声音拾取方法及装置
DE102014001258A1 (de) * 2014-01-30 2015-07-30 Hella Kgaa Hueck & Co. Vorrichtung und Verfahren zur Erfassung mindestens eines Körperschallsignals
US9922367B2 (en) * 2014-02-10 2018-03-20 Gregorio Reid System and method for location recognition in indoor spaces
US9739883B2 (en) 2014-05-16 2017-08-22 Elwha Llc Systems and methods for ultrasonic velocity and acceleration detection
US9437002B2 (en) 2014-09-25 2016-09-06 Elwha Llc Systems and methods for a dual modality sensor system
US9618618B2 (en) 2014-03-10 2017-04-11 Elwha Llc Systems and methods for ultrasonic position and motion detection
US9437188B1 (en) 2014-03-28 2016-09-06 Knowles Electronics, Llc Buffered reprocessing for multi-microphone automatic speech recognition assist
CN104380698A (zh) * 2014-04-10 2015-02-25 华为终端有限公司 一种通话设备及应用于通话设备的切换方法、装置
JP2016000090A (ja) * 2014-06-11 2016-01-07 富士通株式会社 電子機器および音源特定プログラム
CN104049233B (zh) * 2014-06-26 2017-03-01 中国科学技术大学 一种室内定位的方法及系统
CN105469819A (zh) 2014-08-20 2016-04-06 中兴通讯股份有限公司 麦克选择方法及装置
CN104459703B (zh) * 2014-11-12 2019-02-05 惠州Tcl移动通信有限公司 一种声纳测距方法和移动设备
JP6491863B2 (ja) * 2014-11-28 2019-03-27 株式会社熊谷組 音源方向推定装置、及び、音源推定用画像作成装置
JP2016127300A (ja) * 2014-12-26 2016-07-11 アイシン精機株式会社 音声処理装置
US20160249132A1 (en) * 2015-02-23 2016-08-25 Invensense, Inc. Sound source localization using sensor fusion
US9668055B2 (en) * 2015-03-04 2017-05-30 Sowhat Studio Di Michele Baggio Portable recorder
US20170236547A1 (en) * 2015-03-04 2017-08-17 Sowhat Studio Di Michele Baggio Portable recorder
EP3284266B1 (en) * 2015-04-15 2021-02-17 Audio Pixels Ltd. Methods and systems for detecting at least the position of an object in space
US10187738B2 (en) * 2015-04-29 2019-01-22 International Business Machines Corporation System and method for cognitive filtering of audio in noisy environments
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9734845B1 (en) * 2015-06-26 2017-08-15 Amazon Technologies, Inc. Mitigating effects of electronic audio sources in expression detection
US9769563B2 (en) * 2015-07-22 2017-09-19 Harman International Industries, Incorporated Audio enhancement via opportunistic use of microphones
US9995823B2 (en) 2015-07-31 2018-06-12 Elwha Llc Systems and methods for utilizing compressed sensing in an entertainment system
WO2017075127A1 (en) * 2015-10-30 2017-05-04 Hornet Industries, Llc System and method to locate and identify sound sources in a noisy environment
CN105388452B (zh) * 2015-10-30 2017-08-11 北京工业大学 基于生命探测飞行器的超宽带雷达多点分布式目标定位方法
CN108370494B (zh) * 2015-12-04 2022-05-17 德克萨斯大学系统董事会 精确跟踪移动设备以有效地通过移动设备来控制其他设备
US9820036B1 (en) * 2015-12-30 2017-11-14 Amazon Technologies, Inc. Speech processing of reflected sound
US11051712B2 (en) * 2016-02-09 2021-07-06 Verily Life Sciences Llc Systems and methods for determining the location and orientation of implanted devices
US10118696B1 (en) 2016-03-31 2018-11-06 Steven M. Hoffberg Steerable rotating projectile
CN106054133B (zh) * 2016-05-11 2019-04-02 北京地平线信息技术有限公司 远场声源定位系统和方法
TWI744341B (zh) 2016-06-17 2021-11-01 美商Dts股份有限公司 使用近場/遠場渲染之距離聲相偏移
CN106199607B (zh) * 2016-06-29 2019-03-01 北京捷通华声科技股份有限公司 一种麦克风阵列的声源方向定位方法及装置
CN107643509B (zh) * 2016-07-22 2019-01-11 腾讯科技(深圳)有限公司 定位方法、定位系统及终端设备
CA2976563C (en) * 2016-08-18 2018-09-04 Allen-Vanguard Corporation System and method for providing adaptive synchronization of lte communication systems
WO2018068562A1 (zh) * 2016-10-14 2018-04-19 苏州触达信息技术有限公司 一种定位系统和定位方法
GB2555422B (en) * 2016-10-26 2021-12-01 Xmos Ltd Capturing and processing sound signals
CN108269581B (zh) * 2017-01-04 2021-06-08 中国科学院声学研究所 一种基于频域相干函数的双麦克风时延差估计方法
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
WO2018140618A1 (en) 2017-01-27 2018-08-02 Shure Acquisiton Holdings, Inc. Array microphone module and system
GB2559427A (en) * 2017-02-07 2018-08-08 Cirrus Logic Int Semiconductor Ltd Motion detector
US10621980B2 (en) * 2017-03-21 2020-04-14 Harman International Industries, Inc. Execution of voice commands in a multi-device system
CN107179676B (zh) * 2017-05-24 2019-04-23 成都理工大学 基于数字解调的超声波飞行时间测量方法
JP6675527B2 (ja) * 2017-06-26 2020-04-01 Fairy Devices株式会社 音声入出力装置
GB2578386B (en) 2017-06-27 2021-12-01 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB201801527D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801532D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
TWI633275B (zh) * 2017-07-27 2018-08-21 宏碁股份有限公司 距離偵測裝置及其距離偵測方法
CN109375199B (zh) * 2017-08-09 2022-12-06 宏碁股份有限公司 距离检测装置及其距离检测方法
US9984690B1 (en) 2017-08-09 2018-05-29 Sony Corporation Microphone gain using a time of flight (ToF) laser range finding system
US11639995B2 (en) 2017-08-09 2023-05-02 Sony Corporation Performance of a time of flight (ToF) laser range finding system using acoustic-based direction of arrival (DoA)
WO2019050590A1 (en) * 2017-09-08 2019-03-14 Google Llc AUDIO SERVICE SET IDENTIFIER
US10438588B2 (en) * 2017-09-12 2019-10-08 Intel Corporation Simultaneous multi-user audio signal recognition and processing for far field audio
JP7020283B2 (ja) * 2017-09-14 2022-02-16 富士通株式会社 音源方向判定装置、音源方向判定方法、及び音源方向判定プログラム
US20190090052A1 (en) * 2017-09-20 2019-03-21 Knowles Electronics, Llc Cost effective microphone array design for spatial filtering
GB201801664D0 (en) * 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201803570D0 (en) 2017-10-13 2018-04-18 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
GB201801663D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201804843D0 (en) * 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
CN107742522B (zh) * 2017-10-23 2022-01-14 科大讯飞股份有限公司 基于麦克风阵列的目标语音获取方法及装置
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
KR101881092B1 (ko) * 2017-11-24 2018-07-23 (주)인더텍 시청각 연동형 인지 훈련 시스템 및 방법
US10524046B2 (en) 2017-12-06 2019-12-31 Ademco Inc. Systems and methods for automatic speech recognition
US10573323B2 (en) * 2017-12-26 2020-02-25 Intel Corporation Speaker recognition based on vibration signals
US11280912B2 (en) 2018-01-12 2022-03-22 The Regents Of The University Of Colorado Hybrid interference localization
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
US11712637B1 (en) 2018-03-23 2023-08-01 Steven M. Hoffberg Steerable disk or ball
CN108490384A (zh) * 2018-03-30 2018-09-04 深圳海岸语音技术有限公司 一种小型空间声源方位探测装置及其方法
KR102622714B1 (ko) 2018-04-08 2024-01-08 디티에스, 인코포레이티드 앰비소닉 깊이 추출
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US10743141B2 (en) 2018-06-05 2020-08-11 Kenmar Corporation Systems and methods for determining a location of an electronic device using bilateration
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
CN110867178B (zh) * 2018-08-28 2022-01-21 中国科学院声学研究所 一种多通道远场语音识别方法
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
US11037574B2 (en) 2018-09-05 2021-06-15 Cirrus Logic, Inc. Speaker recognition and speaker change detection
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11109133B2 (en) 2018-09-21 2021-08-31 Shure Acquisition Holdings, Inc. Array microphone module and system
WO2020086623A1 (en) * 2018-10-22 2020-04-30 Zeev Neumeier Hearing aid
US10811032B2 (en) * 2018-12-19 2020-10-20 Cirrus Logic, Inc. Data aided method for robust direction of arrival (DOA) estimation in the presence of spatially-coherent noise interferers
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
WO2020191380A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings,Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
TW202101422A (zh) 2019-05-23 2021-01-01 美商舒爾獲得控股公司 可操縱揚聲器陣列、系統及其方法
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
WO2020251088A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 사운드맵 생성방법 및 사운드맵을 이용한 사운드 인식방법
US11486961B2 (en) * 2019-06-14 2022-11-01 Chirp Microsystems Object-localization and tracking using ultrasonic pulses with reflection rejection
CN110297250B (zh) * 2019-06-17 2021-04-06 东南大学 基于泰勒展开的初始掠射角求解方法、声线弯曲修正方法和设备
US11922964B2 (en) * 2019-08-08 2024-03-05 Nippon Telegraph And Telephone Corporation PSD optimization apparatus, PSD optimization method, and program
WO2021024475A1 (ja) * 2019-08-08 2021-02-11 日本電信電話株式会社 Psd最適化装置、psd最適化方法、プログラム
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US10735887B1 (en) * 2019-09-19 2020-08-04 Wave Sciences, LLC Spatial audio array processing system and method
US11533559B2 (en) * 2019-11-14 2022-12-20 Cirrus Logic, Inc. Beamformer enhanced direction of arrival estimation in a reverberant environment with directional noise
JP7392436B2 (ja) * 2019-12-04 2023-12-06 株式会社デンソー 障害物検知装置
CN113223544B (zh) * 2020-01-21 2024-04-02 珠海市煊扬科技有限公司 音频的方向定位侦测装置及方法以及音频处理系统
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11595079B2 (en) * 2020-04-02 2023-02-28 T-Worx Holdings, LLC High-throughput data communication for rail-mounted devices
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN114422714A (zh) * 2020-10-28 2022-04-29 北京小米移动软件有限公司 闪频光源与无闪频光源之间的切换方法及切换装置
US20220179903A1 (en) * 2020-12-09 2022-06-09 International Business Machines Corporation Method/system for extracting and aggregating demographic features with their spatial distribution from audio streams recorded in a crowded environment
US11336998B1 (en) * 2020-12-18 2022-05-17 Zoox, Inc. Direction of arrival estimation
CN112834821B (zh) * 2020-12-31 2023-08-11 国网上海市电力公司 一种多直流馈入全电缆供电区域多谐波源谐波责任量化方法
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统
KR102658473B1 (ko) * 2021-03-17 2024-04-18 한국전자통신연구원 다중 음향 이벤트 구간에서의 레이블 인코딩 방법 및 장치
US11689836B2 (en) 2021-05-28 2023-06-27 Plantronics, Inc. Earloop microphone
KR102395399B1 (ko) * 2021-09-29 2022-05-10 주식회사 인피닉 음성 인식 학습을 위한 음성 데이터 분해 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2023168371A2 (en) * 2022-03-02 2023-09-07 Fdh Infrastructure Services, Llc Machine learning to predict bolt tension
GB2620960A (en) * 2022-07-27 2024-01-31 Nokia Technologies Oy Pair direction selection based on dominant audio direction
CN117591383B (zh) * 2024-01-19 2024-03-29 中电科申泰信息科技有限公司 一种基于服务器声音判定服务器工作状态的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205380B1 (en) 1996-07-02 2001-03-20 Siemens Aktiengesellschaft Process for preparing an area plan having a cellular structure and comprising a unit moving automatically and positioned in said area using sensors based on wave reflection
WO2000021203A1 (en) 1998-10-02 2000-04-13 Comsense Technologies, Ltd. A method to use acoustic signals for computer communications
US6266014B1 (en) * 1998-10-09 2001-07-24 Cell-Loc Inc. Methods and apparatus to position a mobile receiver using downlink signals part IV
US6061022A (en) * 1999-06-04 2000-05-09 Itt Manufacturing Enterprises, Inc. Azimuth and elevation direction finding system based on hybrid amplitude/phase comparison
JP3986785B2 (ja) 2001-09-20 2007-10-03 日本放送協会 音源分離収音マイクロホン装置および方法
US7272073B2 (en) 2002-05-27 2007-09-18 Sonicemotion Ag Method and device for generating information relating to the relative position of a set of at least three acoustic transducers
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
GB0400323D0 (en) 2004-01-08 2004-02-11 New Transducers Ltd Loudspeakers
US7619563B2 (en) 2005-08-26 2009-11-17 Step Communications Corporation Beam former using phase difference enhancement
JP4022249B2 (ja) 2005-12-28 2007-12-12 松下電器産業株式会社 物体検出装置、物体検出方法、及び、物体検出用コンピュータプログラム
JP4875541B2 (ja) 2006-08-28 2012-02-15 株式会社日本自動車部品総合研究所 方位検出方法、物体検出装置、プログラム
US7653487B2 (en) * 2006-10-06 2010-01-26 Toyota Motor Engineering & Manufacturing North America, Inc. Object detection apparatus and method
NZ581214A (en) 2007-04-19 2012-01-12 Epos Dev Ltd Processing audible and ultrasonic sound inputs using a sensor with a wide frequency response
US7796471B2 (en) 2008-02-20 2010-09-14 Intelligent Sciences, Ltd. Ultrasonic in-building positioning system based on phase difference array with ranging
US9113240B2 (en) 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
GB0806196D0 (en) * 2008-04-04 2008-05-14 Elliptic Laboratories As Multi-range object location estimation
JP5195652B2 (ja) 2008-06-11 2013-05-08 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
US8199941B2 (en) 2008-06-23 2012-06-12 Summit Semiconductor Llc Method of identifying speakers in a home theater system
US8724829B2 (en) * 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US8948485B2 (en) 2009-06-10 2015-02-03 Hitachi Medical Corporation Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, ultrasonic image processing program, and ultrasonic image generation method
EP2423702A1 (en) * 2010-08-27 2012-02-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for resolving ambiguity from a direction of arrival estimate

Also Published As

Publication number Publication date
KR101548848B1 (ko) 2015-08-31
US9354310B2 (en) 2016-05-31
KR20130137020A (ko) 2013-12-13
US20120224456A1 (en) 2012-09-06
CN103443649B (zh) 2015-06-24
EP2681586B1 (en) 2014-12-24
JP2014514794A (ja) 2014-06-19
WO2012161825A1 (en) 2012-11-29
EP2681586A1 (en) 2014-01-08
CN103443649A (zh) 2013-12-11

Similar Documents

Publication Publication Date Title
JP5710792B2 (ja) 可聴音と超音波とを用いたソース特定のためのシステム、方法、装置、およびコンピュータ可読媒体
US10959018B1 (en) Method for autonomous loudspeaker room adaptation
US10909988B2 (en) Systems and methods for displaying a user interface
US8897455B2 (en) Microphone array subset selection for robust noise reduction
US10777214B1 (en) Method for efficient autonomous loudspeaker room adaptation
KR101470262B1 (ko) 다중-마이크로폰 위치 선택적 프로세싱을 위한 시스템들, 방법들, 장치, 및 컴퓨터 판독가능 매체
JP5307248B2 (ja) コヒーレンス検出のためのシステム、方法、装置、およびコンピュータ可読媒体
US11190900B2 (en) Spatial audio array processing system and method
RU2591026C2 (ru) Аудиосистема и способ ее работы
US10598543B1 (en) Multi microphone wall detection and location estimation
Wang et al. {MAVL}: Multiresolution analysis of voice localization
WO2022142853A1 (zh) 一种声源定位方法以及装置
US11997474B2 (en) Spatial audio array processing system and method
US11921187B1 (en) Monitoring non-stationary object distance using ultrasonic signals
CN116419118A (zh) 一种输入检测装置、系统及其相关设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140617

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140917

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150304

R150 Certificate of patent or registration of utility model

Ref document number: 5710792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees