JP7119117B2 - マイクロフォンアレイ内のインテリジェントビームステアリング - Google Patents

マイクロフォンアレイ内のインテリジェントビームステアリング Download PDF

Info

Publication number
JP7119117B2
JP7119117B2 JP2020555790A JP2020555790A JP7119117B2 JP 7119117 B2 JP7119117 B2 JP 7119117B2 JP 2020555790 A JP2020555790 A JP 2020555790A JP 2020555790 A JP2020555790 A JP 2020555790A JP 7119117 B2 JP7119117 B2 JP 7119117B2
Authority
JP
Japan
Prior art keywords
acoustic
microphone array
speaker system
physical environment
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020555790A
Other languages
English (en)
Other versions
JP2021520141A (ja
Inventor
ジェイミー・マイケル・アルダース
エリオ・ダンテ・クエルゼ・ザ・サード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bose Corp
Original Assignee
Bose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bose Corp filed Critical Bose Corp
Publication of JP2021520141A publication Critical patent/JP2021520141A/ja
Application granted granted Critical
Publication of JP7119117B2 publication Critical patent/JP7119117B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

（関連出願の相互参照）
本出願は、２０１８年４月１３日に出願された米国特許出願第１５／９５２，９２０号に対する優先権を主張し、この特許出願は、その全体が参照により本明細書に組み込まれる。
（発明の分野）
本開示は、概して音響ビームステアリングに関する。より具体的には、本開示は、物理的環境の音響マップに基づいてマイクロフォンアレイ内のビーム方向を制御することに関する。
音響信号の指向性は、ユーザエクスペリエンスに大きく影響する場合がある。携帯型音響システム、ユーザ及び／又はノイズ生成デバイスなどの動的システムは、音響システムが物理的環境内で移動する際に音響システムに対して位置を変化させる。加えて、音響システムが、家庭、オフィス、又は他の環境などの固定位置に留まる場合、ユーザ及び／又はノイズ生成デバイスの位置は、その音響システムに対して変化することができる。それらの周囲環境に適合できないシステムは、望ましくないユーザエクスペリエンスを提供する場合がある。
下記の全ての例及び特徴は、技術的に可能な任意の方法で組み合わせることができる。
本開示の様々な実装形態は、インテリジェント音響ビームステアリングのための手法を含む。いくつかの実装形態では、スピーカシステム内のマイクロフォンアレイを制御する方法が開示される。他の実装形態では、スピーカシステムが開示される。
特定の態様では、マイクロフォンアレイを制御するコンピュータ実装方法は、スピーカシステムに近接する物理的環境の音響記述を含む音響マップを生成することと、マイクロフォンアレイにおいて音声コマンド入力を受信する前に、音響マップに基づいた方向にマイクロフォンアレイを集束させることと、を含む。
他の特定の態様では、スピーカシステムは、マイクロフォンアレイと、マイクロフォンアレイと接続された制御システムであって、制御システムが、スピーカシステムに近接する物理的環境の音響記述を含む音響マップを生成することと、マイクロフォンアレイにおいて音声コマンド入力を受信する前に、音響マップに基づいた方向にマイクロフォンアレイを集束させることと、を行うようにプログラムされている、制御システムと、を含む。
特定の態様では、音響マップを生成することは、初期マッピング期間、前進マッピング期間、又は継続マッピング期間のうちの少なくとも１つを含む。特定の場合において、初期マッピング期間は、試験音響信号のセットをスピーカシステム内のトランスデューサから物理的環境に送信することと、マイクロフォンアレイにおける物理的環境から戻り音響信号のセットを受信することと、試験音響信号のセットと戻り音響信号のセットとの間の差に基づいて、物理的環境内の少なくとも１つのゾーンを特徴付けることと、を含む。いくつかの実装形態では、前進マッピング期間は、ある期間にわたってマイクロフォンアレイにおける物理的環境から音響信号のセットを受信することと、期間にわたって受信された音響信号のセットに基づいて、物理的環境内の少なくとも１つの追加ゾーンを特徴付けるか、又は物理的環境内の少なくとも１つのゾーンを再特徴付けすることと、を含む。特定の場合では、継続マッピング期間は、マイクロフォンアレイにおける物理的環境から音響信号のセットを継続的に受信することと、継続マッピング期間中に継続的に受信された音響信号のセットに基づいて、物理的環境内の少なくとも１つの追加ゾーン又は少なくとも１つのゾーンを再特徴付けすることと、を含む。
特定の実装形態では、前進マッピング期間は、初期マッピング期間の後に開始される。場合によっては、継続マッピング期間は、前進マッピング期間の後に開始される。
特定の実装形態では、音響マップを生成することは、物理的環境内の少なくとも１つのノイズ源の位置を検出すること、又は物理的環境内の頻繁な音声コマンド位置を検出することのうちの少なくとも１つと、少なくとも１つのノイズ源を少なくとも部分的に排斥するか、又は頻繁な音声コマンド位置から入力された音声コマンドの検出を向上させるように構成されたマイクロフォンアレイフィルタを作成することと、を含む。
いくつかの態様では、コンピュータ実装方法は、スピーカシステムに関するユーザ入力識別情報を受信することと、ユーザ入力識別情報に基づいて物理的環境の音響マップを更新することと、を更に含む。
特定の実装形態では、スピーカシステムは、携帯型スピーカシステムを含み、コンピュータ実装方法は、スピーカシステムの第１の物理的位置から第２の物理的位置への移動を検出することと、第２の物理的位置においてスピーカシステムに近接する物理的環境の音響記述を含む更新された音響マップを生成することと、マイクロフォンアレイにおいて後続の音声コマンド入力を受信する前に、更新された音響マップに基づいた更新された方向にマイクロフォンアレイを集束させることと、を更に含む。特定の場合では、マイクロフォンアレイは、更新された音響マップが生成されている間、音響マップに基づいた方向に集束されたままである。いくつかの態様では、スピーカシステムの第１の物理的位置から第２の物理的位置への移動を検出することは、移動閾値を超える期間にわたってスピーカシステムの移動を検出することを含み、移動閾値は、スピーカシステムの電源の位置、スピーカシステムの配向、スピーカシステムの位置、少なくとも１つの通信ネットワークへの近接性、又は少なくとも１つの他の接続された電子デバイスへの近接性のうちの少なくとも１つの変化によって測定される。
特定の実装形態では、コンピュータ実装方法は、音響マップに関する音声フィードバック入力をユーザに促すことと、ユーザからマイクロフォンアレイで音声フィードバック入力を受信することと、受信した音声フィードバック入力に基づいて物理的環境の音響マップを更新することと、を更に含む。
特定の場合において、スピーカシステムは、制御システムと接続されたトランスデューサを更に含み、初期マッピング期間は、試験音響信号のセットをトランスデューサから物理的環境に送信することと、マイクロフォンアレイにおける物理的環境から戻り音響信号のセットを受信することと、試験音響信号のセットと戻り音響信号のセットとの間の差に基づいて、物理的環境内の少なくとも１つのゾーンを特徴付けることと、を含む。特定の態様では、前進マッピング期間は、ある期間にわたってマイクロフォンアレイにおける物理的環境から音響信号のセットを受信することと、期間にわたって受信された音響信号のセットに基づいて、物理的環境内の少なくとも１つの追加ゾーンを特徴付けるか、又は物理的環境内の少なくとも１つのゾーンを再特徴付けすることと、を含む。いくつかの実装形態では、継続マッピング期間は、マイクロフォンアレイにおける物理的環境から音響信号のセットを継続的に受信することと、継続マッピング期間中に継続的に受信された音響信号のセットに基づいて、物理的環境内の少なくとも１つの追加ゾーン又は少なくとも１つのゾーンを再特徴付けすることと、を含む。
特定の場合では、音響マップを生成することは、物理的環境内の少なくとも１つのノイズ源の位置を検出すること、又は物理的環境内の頻繁な音声コマンド位置を検出することのうちの少なくとも１つと、少なくとも１つのノイズ源を少なくとも部分的に排斥するか、又は頻繁な音声コマンド位置から入力された音声コマンドの検出を向上させるように構成されたマイクロフォンアレイフィルタを作成することと、を含む。
特定の実装形態では、制御システムは、スピーカシステムに関するユーザ入力識別情報を受信することと、ユーザ入力識別情報に基づいて物理的環境の音響マップを更新することと、を行うように更に構成されている。
特定の場合では、スピーカシステムは、携帯型スピーカシステムを含み、制御システムは、スピーカシステムの第１の物理的位置から第２の物理的位置への移動を検出することと、第２の物理的位置においてスピーカシステムに近接する物理的環境の音響記述を含む更新された音響マップを生成することと、マイクロフォンアレイにおいて後続の音声コマンド入力を受信する前に、更新された音響マップに基づいた更新された方向にマイクロフォンアレイを集束させることと、を行うように更に構成されている。いくつかの態様では、マイクロフォンアレイは、更新された音響マップが生成されている間、音響マップに基づいた方向に集束されたままである。特定の実装形態では、スピーカシステムの第１の物理的位置から第２の物理的位置への移動を検出することは、移動閾値を超える期間にわたってスピーカシステムの移動を検出することを含み、移動閾値は、スピーカシステムの電源の位置、スピーカシステムの配向、スピーカシステムの位置、少なくとも１つの通信ネットワークへの近接性、又は少なくとも１つの他の接続された電子デバイスへの近接性のうちの少なくとも１つの変化によって測定される。
特定の態様では、制御システムは、音響マップに関する音声フィードバック入力をユーザに促すことと、ユーザからマイクロフォンアレイで音声フィードバック入力を受信することと、受信した音声フィードバック入力に基づいて物理的環境の音響マップを更新することと、を行うように更に構成されている。
特定の場合では、スピーカシステムは、制御システムと接続されたトランスデューサを更に含み、トランスデューサ及びマイクロフォンアレイは、音響環境内の物理的に分離されたハウジング内に位置する。
いくつかの実装形態では、制御システムは、音響マップに基づいてマイクロフォンアレイの集束方向を修正するためのデジタル信号プロセッサを含む。
特定の態様では、音響マップを生成することは、マイクロフォンアレイにおける物理的環境から音響信号のセットを受信することと、受信した音響信号のセットから少なくとも１つのノイズ源を識別することと、少なくとも１つのノイズ源を少なくとも部分的に排斥するように構成されたマイクロフォンアレイフィルタを作成することと、マイクロフォンアレイフィルタのライブラリ内にマイクロフォンアレイフィルタを記憶することと、を含む。特定の場合では、マイクロフォンアレイフィルタのセットを作成することは、受信した音響信号のセットを周波数又は振幅のうちの少なくとも１つに従って分類することと、マイクロフォンアレイ上の利得を修正するための制御命令を受信した音響信号の分類されたセットと相関させることと、を含む。特定の実装形態では、制御システムは、識別された少なくとも１つのノイズ源からの音響信号を検出したことに応じて、記憶されたマイクロフォンフィルタに従ってマイクロフォンアレイの方向を修正する。特定の場合では、マイクロフォンアレイフィルタのライブラリは、識別された少なくとも１つのノイズ源からのマイクロフォンアレイフィルタと音響信号との間の関係を有するリレーショナルデータベースを含み、制御システムは、マイクロフォンアレイにおいて音声コマンド入力を受信している間にマイクロフォンアレイフィルタを適用するように構成され、マイクロフォンアレイフィルタを適用することは、マイクロフォンアレイにおいて音響ノイズ信号を受信することと、音響ノイズ信号を、マイクロフォンアレイフィルタのライブラリ内の識別された少なくとも１つのノイズ源からの音響信号と比較することと、識別された少なくとも１つのノイズ源からの音響信号に一致する音響ノイズ信号に応じて、マイクロフォンアレイ上の利得を修正することと、を含む。
本概要の項に記載される特徴を含む、本開示に記載される特徴の２つ以上は、特に本明細書に記載されない実装形態を形成するために組み合わされ得る。
１つ以上の実装形態の詳細が、添付図面及び以下の説明において述べられる。他の特徴、目的、及び利点は、本説明及び図面から、並びに特許請求の範囲から明らかになるであろう。
様々な実装形態によるマイクロフォンアレイ制御システムを示す環境の概略図を示す。 マイクロフォンアレイ制御の態様を示す例示的な極性プロットである。 図２の極性プロットを修正するための制御プロセスを示す例示的な極性プロットである。 様々な実装形態による、音響環境をマッピングするプロセスを示すフロー図である。 様々な実装形態に従って利用される、例示的な音響マップの概略図を示す。
様々な実装形態の図面は必ずしも縮尺どおりではないことに留意されたい。図面は、本開示の典型的な態様のみを示すことを意図するものであり、したがって、発明の範囲を限定するものとみなされるべきではない。図面において、同様の番号付けは、図面間の同様の要素を表す。
本明細書に記載されるように、本開示の様々な態様は、一般に音響ビームステアリングに関する。より具体的には、本開示の態様は、物理的環境の音響マップに基づいてマイクロフォンアレイ内のビーム方向を制御することに関する。
図中の共通にラベル付けされた構成要素は、例示目的のために略同等の構成要素であるとみなされ、それらの構成要素の重複する説明は、明確化のために省略する。
本明細書に開示される態様及び実装形態は、パーソナルオーディオデバイス、スピーカ（例えば、固定スピーカシステム又は携帯スピーカシステム）、ヘッドホンなどの多種多様なスピーカシステム、及び腕時計、眼鏡、首装着スピーカ、肩装着スピーカ、身体装着スピーカなどの様々なフォームファクタのウェアラブルオーディオデバイスに適用可能であり得る。別段の指定がない限り、本文書で使用されるようなヘッドホンという用語は、耳周囲、耳上部及び耳内ヘッドセット、イヤホン、イヤーバッド、補聴器、又はユーザの１つ若しくは両方の耳の近く、その周囲、若しくはその中に位置付けられるように構造化された他の無線対応オーディオデバイスなどの様々な種類のパーソナルオーディオデバイスを含む。別段の指定がない限り、本文書で使用されるようなウェアラブルオーディオデバイスという用語は、頭、肩、又は１つ以上の音響ドライバを含む身体装着音響デバイスなどの様々な他の種類のパーソナルオーディオデバイスを含み、ユーザの耳に接触することなく音を生成する。開示されるいくつかの特定の態様は、眼鏡又は他のヘッドマウントオーディオデバイスなどのパーソナル（ウェアラブル）オーディオデバイスに特に適用可能であり得る。オーディオを音響的に出力する目的を主に果たすスピーカシステムの具体的な実装形態は、ある程度の詳細が提示されているが、そのような特定の実装形態の提示は、実施例の提供を通じて理解を容易にすることを意図するものであり、開示の範囲又は特許請求の範囲のいずれかを限定するものとして解釈されるべきではないことに留意されたい。
本明細書に開示される態様及び実装形態は、双方向通信をサポートするか、又はサポートしないスピーカシステムに適用可能であり得、アクティブノイズ低減（active noise reduction、ＡＮＲ）をサポートするか、又はサポートしないスピーカシステムに適用可能であり得る。双方向通信又はＡＮＲのいずれかをサポートするスピーカシステムの場合、本明細書で開示及び特許請求されるものは、使用時に耳の外側に残るスピーカシステムの一部分（例えば、フィードフォワードマイクロフォン）、使用時に耳の一部分に挿入される一部分（例えば、フィードバックマイクロフォン）、又はそのような部分の両方に配置された１つ以上のマイクロフォンを組み込むスピーカシステムに適用可能であることが意図されている。本明細書で開示及び特許請求されるものが適用可能であるスピーカシステムの、更に他の実装形態は、当業者には明らかであろう。
本開示の様々な特定の実装形態には、物理的環境の音響マップに基づいてインテリジェントなビームフォーミングを提供するように、そのようなシステムを制御するためのスピーカシステム及び方法が挙げられる。仮想パーソナルアシスタントシステム（virtual personal assistant system、ＶＰＡ）、音声ユーザインターフェースシステム（voice user interface system、ＶＵＩ）、スマートスピーカシステム、サウンドバーシステム、会議システム、ウェアラブルオーディオデバイスなど、音響入力を受信するためのマイクロフォンアレイを有する従来のスピーカシステムでは、制御システムは、スピーカシステム又はオーディオ入力の配向に基づいて、そのマイクロフォンアレイ（又は、「マイクロフォンアレイビーム」、又は単純に「ビーム」）によって形成されるビームの方向を決定付ける。例えば、いくつかの従来のスピーカシステムは、それらのマイクロフォンアレイを、スピーカシステム（例えば、ハウジング）の形状又は所望の配向に基づいた方向に方向付ける。これらの場合、電源コード、補助接続、又はスピーカグリルの位置は、スピーカシステムが環境（例えば、ユーザに面するグリル）内で特定の方法で配向される可能性を向上させることができる。他の実施例では、スピーカシステムは、そのマイクロフォンアレイで受信した音響入力の方向に基づいて修正可能なデフォルトのマイクロフォンアレイ方向に構成されてもよい。これらの場合、デフォルトのマイクロフォン方向が設定され（例えば、スピーカグリルの中心から直接外向きに）、音響入力（例えば、音声コマンド）が受信されると、制御システムは、マイクロフォンアレイ方向を修正して、音響入力（例えば、ユーザ）のソースに向かって「指示」する。すなわち、マイクロフォンアレイは、音声指向性を検出することができ、例えば、ユーザが部屋の特定の部分で発語し、制御システムは、デジタル信号処理（digital signal processing、ＤＳＰ）を使用してビームの方向を修正して、そのユーザからのオーディオ信号の信号対ノイズ比を向上させることができる。
しかしながら、これらの従来のシステムでは、多くの状況において、品質の高い音響入力（例えば、音声コマンド）を捕捉することができない。例えば、これらの従来のスピーカシステムは、ユーザがスピーカから遠い距離に位置するとき、かつ／又はスピーカが高音量で音響信号を出力しているとき（例えば、音楽を大音量で再生しているとき）、ノイズ環境での品質の音響入力を捕捉することができない。これらのシステムは、音声コマンドを正確に捕捉するか、又はノイズを介してコマンド及び／又は他のオーディオ信号を解析するのに労苦を要する場合がある。
これらの従来のシステム及び手法とは対照的に、本開示の様々な実装形態は、スピーカシステムと、スピーカシステムの周囲の局所音響環境をマッピングすることによってマイクロフォンアレイ指向性を制御するための関連する方法を含む。いくつかの実装形態では、スピーカシステム（例えば、ホームオーディオシステム、サウンドバー、自動車オーディオシステム、又はオーディオ会議システムなどの固定スピーカシステム、又はスマートスピーカ、ウェアラブルオーディオデバイス若しくはハンドヘルドスピーカシステムなどの携帯スピーカシステム）が開示されている。このスピーカシステムは、スピーカシステムに近接する物理的環境の音響記述を含む音響マップを生成し、その音響マップに基づいた方向にマイクロフォンアレイを集束させるように構成されている。スピーカシステムは、マイクロフォンを事前に集束させるように構成することができ、すなわち、マイクロフォンアレイにおいて音声コマンド入力を受信する前に、マイクロフォンを方向に集束させるように構成することができる。特定の実装形態では、スピーカシステムは、別個の物理的位置に移動可能である。例えば、スピーカシステムは、その第１の物理的位置から別個の物理的位置への移動を検出し、別個の物理的環境の音響記述に基づいて音響マップを更新し、その更新されたマップに基づいて、マイクロフォンアレイを更新された方向に事前に集束させることができる。
図１は、様々な実装形態によるスピーカシステム２０を含む例示的な物理的環境１０を示す。図示のように、スピーカシステム２０は、１つ以上のユーザからの音声コマンド（図示される１人のユーザ５０）などの音響信号を受信するための複数のマイクロフォン４０を有するマイクロフォンアレイ３０を含むことができる。マイクロフォンアレイ３０は、本明細書で論じるように、１つ以上の条件に基づいてマイクロフォンアレイ３０のビーム方向を制御するようにプログラムされた制御システム６０と接続することができる。
スピーカシステム２０又は実装形態に従って開示される他のシステム内の別の構成要素に接続又は連結されたものとして説明される任意の構成要素は、任意の従来の有線接続及び／又は追加の通信プロトコルを使用して通信することができることが理解される。場合によっては、通信プロトコル（複数可）は、無線ローカルエリアネットワーク（local area network、ＬＡＮ）、ＩＥＥＥ ８０２．１１ ｂ／ｇなどの通信プロトコル（例えば、第３世代、第４世代、又は第５世代（３Ｇ、４Ｇ、５Ｇのセルラーネットワーク））、又はＢｌｕｅｔｏｏｔｈ、ＢＬＥ Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ（メッシュＬＡＮ）、Ｚ波（サブＧＨｚメッシュネットワーク）、６ＬｏＷＰＡＮ（軽量ＩＰプロトコル）、ＬＴＥプロトコル、ＲＦＩＤ、超音波オーディオプロトコルなどの、複数のモノのインターネット（internet-of-things、ＩｏＴ）プロトコルのうちの１つを含むことができる。様々な特定の実装形態では、スピーカシステム２０内に別個に収容された構成要素は、１つ以上の従来の無線送受信機を使用して通信するように構成される。
本明細書で述べられるように、制御システム６０は、本明細書に記載されるプロセスに従ってプログラム命令又はコードを実行するための従来のハードウェア及び／又はソフトウェア構成要素を含むことができる。例えば、制御システム６０は、１つ以上のプロセッサ、メモリ、構成要素間の通信経路、及び／又はプログラムコードを実行するための１つ以上の論理エンジンを含んでもよい。制御システム６０は、任意の従来の無線接続及び／又は有線接続を介してマイクロフォンアレイ３０と連結することができ、制御システム６０は、マイクロフォンアレイ３０への／マイクロフォンアレイ３０からの信号の送受信を可能にし、その動作を制御することができる。様々な実装形態では、制御システム６０及びマイクロフォンアレイ３０は、音響信号（音響出力）をユーザ（複数可）５０に送信するためのトランスデューサ（スピーカ）８０を含み得るスピーカハウジング７０（任意に疑似的に示される）内に集合的に収容されている。しかしながら、本明細書に記載されるように、制御システム６０、マイクロフォンアレイ３０及び／又はトランスデューサ８０は、任意の通信プロトコル（例えば、本明細書に記載される無線通信プロトコル）によって、かつ／又は有線接続を介して接続されるスピーカシステム（例えば、スピーカシステム２０）内に別々に収容されてもよい。
制御システム６０は、スピーカシステム２０に近接する物理的環境（例えば、環境１０）の音響記述を含む音響マップ１００を生成するためのマッピングエンジン９０を含むことができる。様々な実装形態によれば、マッピングエンジン９０は、環境１０からの音響信号、スピーカシステム２０に関するユーザ入力識別情報、ユーザ（複数可）５０から入力された音声フィードバック及び／又はスピーカシステム２０（移動インジケータを含む）に関する位置情報を処理するように構成され、スピーカシステム２０に対する環境１０の音響特性を記述する音響マップ１００（例えば、データファイル又はデータ構造）を生成する。すなわち、マッピングエンジン９０は、音響マップ１００を生成するために、環境１０からの１つ以上の音響信号に関するデータを処理するためのロジック、スピーカシステム２０に関するユーザ入力識別情報、ユーザ５０（複数可）からの音声フィードバック入力及び／又はスピーカシステム２０（移動インジケータを含む）に関する位置情報を含むことができる。
スピーカシステム２０は、スピーカシステム２０内の１つ以上の構成要素、及び／又は１つ以上の無線ネットワーク（例えば、ローカルＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ接続、若しくは無線周波数（radio frequency、ＲＦ）接続）を介して接続された他の電子デバイスと通信するように構成された無線送受信機（wireless transceiver、ＷＴ）１１０を更に含むことができる。ＷＴ１１０は、グローバル測位システム（global positioning system、ＧＰＳ）、位置システム、Ｗｉ－Ｆｉ位置システム、赤外線（infra-red、ＩＲ）位置システム、Ｂｌｕｅｔｏｏｔｈビーコンシステムなどの１つ以上の位置ベース検出システムを含み得る位置追跡システム（Location ID）１２０と接続されてもよい。様々な実装形態では、位置追跡システム１２０は、環境内のスピーカシステム２０の配向を追跡するための配向追跡システムを含むことができる。特定の場合では、位置追跡システム１２０は、多軸加速度計、ジャイロスコープ、及び／又は磁力計（ＩＭＵ又は慣性測定ユニットと呼ばれることもある）を組み合わせる微小電気機械システム（microelectromechanical system、ＭＥＭＳ）デバイスを含む。しかしながら、追加又は代替のセンサは、位置追跡システム１２０の一部を形成してもよく、例えば、ウェアラブルスピーカシステムの場合、ユーザが向いている方向、並びにユーザ及びスピーカシステム２０の移動を検出するための別個のヘッドトラッキング又はボディトラッキングシステム（例えば、光学ベースの追跡システム、加速度計、磁力計、ジャイロスコープ、又はレーダー）を形成してもよい。位置追跡システム１２０は、スピーカシステム２０の物理的位置の変化を検出し、スピーカシステム２０の位置の変化を示すために、更新されたセンサデータを制御システム６０に提供するように構成することができる。位置追跡システム１２０はまた、スピーカシステム２０の配向、例えば、スピーカシステム２０の方向、又はスピーカシステム２０の配向の変化（例えば、特定の程度の回転など）を検出するように構成することができる。これらの実施例では、ＩＭＵは、配向の変化を検出するのに特に有用であり得る。しかしながら、位置追跡システム１２０はまた、スピーカシステム２０に位置する１つ以上の光学的若しくは視覚的検出システム、又はスピーカシステム２０の配向を検出するように構成された別の接続デバイスを含むことができることが理解される。
特定の例示的実装形態では、位置追跡システム１２０は、スピーカシステム２０の位置及び／又は配向を判定するために、１つ以上の位置システム及び／又は配向システムを利用することができ、例えば、一般的な位置情報についてはＧＰＳ位置システムに依存し、より正確な位置情報についてはＩＲ位置システムに依存し、スピーカシステム２０の方向（例えば、トランスデューサ（複数可）８０が配向される方向）を検出するために、ＩＭＵなどの配向追跡システムを利用する。いずれの場合にも、位置追跡システム１２０は、スピーカシステム２０の位置及び／又は配向に関するセンサデータを制御システム６０に提供することができる。場合によっては、位置追跡システム１２０が加速度計／ジャイロスコープ／磁力計を含み得るＩＭＵを含む場合、ＩＭＵは、別個の加速度計構成要素、ジャイロスコープ構成要素及び／若しくは磁力計構成要素を含み得るか、又は単一のセンサ構成要素に集合的に収容することができる。
場合によっては、スピーカシステム２０は、環境１０並びに／又は１つ以上のユーザ５０の視覚的特性（例えば、存在、位置、近接性、識別性、及び／若しくはジェスチャ）を検出するように構成された制御システム６０と接続されたカメラシステム１３０を更に含むことができる。場合によっては、カメラシステム１３０は、スピーカシステム２０に位置し、ユーザ（複数可）５０及び／又は環境１０（例えば、壁又は大物体の提示）の視覚的特性（例えば、ジェスチャ又は識別）を検出するように構成されている。いずれの場合にも、カメラシステム１３０は、環境１０内の１つ以上の物体又はユーザ５０の視覚的特性（例えば、存在、位置、近接性、識別性、及び／又はジェスチャ）を検出するように構成することができる。様々な実装形態では、カメラシステム１３０は、例えば、ユーザプロンプトを介して能動的に有効にされて、１つ以上のユーザ（複数可）５０の視覚的特性を追跡することができるか、又は１つ以上のマッピング期間中に有効にすることができる。特定の一実装形態では、カメラシステム１３０は、カメラシステム１３０で捕捉された画像データを処理するための視覚的特性（visual characteristic、ＶＣ）追跡エンジン１４０を含むことができる。視覚的特性（例えば、ユーザ５０又は環境１０の視覚的特性）は、ユーザ５０の存在、１つ以上の他の基準項目（例えば、スピーカシステム２０又は他のユーザ（複数可）５０）に対するユーザ５０の近接性、１つ以上のユーザ（複数可）５０の位置、又はユーザ５０の識別性のうちの１つ以上を含むことができる。これらの場合のいくつかにおいて、ＶＣ追跡エンジン１４０は、カメラシステム１３０からの画像データ（例えば、定期的又は継続的に取得された画像データのいずれか）を使用してユーザ５０の識別情報を検出し、識別されたユーザ５０の位置を示すように構成することができる。これらの例示的実装形態では、ＶＣ追跡エンジン１４０は、ユーザ５０が環境を通って移動する際にユーザ５０を視覚的に識別し、環境１０のマップを動的に更新するために、その位置の指示を制御システム６０に送信することができる。他の場合には、ＶＣ追跡エンジン１４０は、（例えば、視覚的識別を介して）音響的に有意な特性を有する環境１０内の特定の物体を識別し、環境１０を音響的にマッピングする際に使用するための視覚的特性データを制御システム６０に提供することができる。
制御システム６０は、本明細書に記載される様々な実装形態に従ってマイクロフォンアレイ３０の集束方向を修正するためのデジタル信号プロセッサ（digital signal processor、ＤＳＰ）１５０と接続することができる。すなわち、ＤＳＰ１５０は、音響マップ１００に基づいて、マイクロフォンアレイ３０の集束方向（方向Ａ、方向Ｂなど）を、ユーザ５０に向かう方向に、又は既知のノイズ源から離れる方向（方向Ｂ、方向Ｃなど）に修正するように構成することができる。
本明細書で述べられるように、マイクロフォンアレイ３０は、オーディオ信号（例えば、音響入力などの音響信号）を受信するための従来の受信機をそれぞれ含み得る、複数のマイクロフォン４０を含むことができる。場合によっては、マイクロフォン４０は、１つ以上の指向性マイクロフォンを含むことができる。しかしながら、他の場合には、アレイ３０内の各マイクロフォン４０は、ＤＳＰ１５０によって方向付けられるように構成された全指向性マイクロフォンを含むことができる。ＤＳＰ１５０は、マイクロフォン４０（及びマッピングエンジン９０）と連結することができ、例えば、ＤＳＰビームフォーミングによってアレイ３０の方向を制御するために、音響入力及び／又は音響出力を処理するための１つ以上のＤＳＰフィルタ１６０を含むことができる。ＤＳＰビームフォーミングは、特定の方向（例えば、方向Ａ、方向Ｂなど）からの入力（複数可）に対するより狭い応答を達成するために、複数の方向からの入力（例えば、音響入力）を合計するための既知の技術である。図１は、それぞれｘ座標値及びｙ座標値を有する弓状経路に沿って配置された複数のマイクロフォン４０を含む、例示的な曲線状マイクロフォンアレイ３０を示す。
マイクロフォン４０における所与の環境（ビームフォーミングなし）からの例示的な応答は、図２の極性グラフィック描写に示されており、所望の指示方向（例えば、方向Ａ、方向Ｂなど、図１）は、最大応答角度（maximum response angle、ＭＲＡ）と呼ばれ、図２の極性グラフにおける角度は、そのＭＲＡからオフセットされ、半径は、そのＭＲＡ方向における振幅応答である。図３は、マイクロフォン４０におけるフィルタリングされた応答を示し、ＤＳＰフィルタ１６０は、マイクロフォンアレイ３０を特定の方向（例えば、音響マップ１００を指示することができるＭＲＡ方向）に方向付けるように適用されている。
図１に戻ると、制御システム６０は、本明細書に記載されるように、様々な手法に従ってマイクロフォンアレイ３０を制御するようにプログラムされる。特定の実装形態では、（マッピングエンジン９０を有する）制御システム６０は、ｉ）スピーカシステム２０に近接する（物理的）環境１０の音響記述を含む音響マップ１００を生成することと、ｉｉ）マイクロフォンアレイ３０において音声コマンド入力１７０を受信する前に、音響マップ１００に基づいてマイクロフォンアレイ３０を１つ以上の方向（例えば、方向Ａ、方向Ｂ、方向Ｃ）に集束させることと、を行うように構成されている。本明細書に記載されるように、音響マップ１００は、トランスデューサからの音響出力を送信する（かつ音響応答を測定する）か、かつ／又はマイクロフォンアレイ３０で受信した音響入力（例えば、音声コマンド入力）から収集した音響データを用いて生成することができる。特定の場合では、これらの入力のうちの１つのみが音響マップ１００を生成するために必要である。本明細書で述べられるように、制御システム６０は、マイクロフォンアレイにおいて音声コマンド入力１７０を受信する前に、マイクロフォンアレイ３０を制御するために、音響マップ１００を使用する。
すなわち、スピーカシステム２０は、１つ以上の集束方向に関してマイクロフォンアレイ３０における音声コマンド入力１７０を必要とせずに、マイクロフォンアレイ３０集束させることを可能にし得る。この事前集束プロセスは、マイクロフォンアレイ３０が音響マップ１００に基づいて少なくとも１つの方向に集束するように既に事前配置されているため、コマンド、送信などにおいて所望の方向（複数可）（例えば、方向Ａ、方向Ｂ、方向Ｃ）からの改善された信号品質を可能にすることができる。様々な実装形態では、用語「音声コマンド入力」は、人間又は他のシステムユーザを含むユーザ５０からの任意の音声コマンドを指すことができることが理解される。制御システム６０は、音声コマンド入力１７０を使用して音響マップ１００を精緻化及び更新することができるが、制御システム６０は、その音声コマンド入力１７０を受信する前の方向にマイクロフォンアレイ３０を事前に集束させるように構成されている。
特定の実装形態では、制御システム６０（マッピングエンジン９０を含む）は、１つ以上のマッピング期間にわたって音響マップ１００を生成するように構成されている。例えば、制御システム６０（マッピングエンジン９０を含む）は、初期マッピング期間、前進マッピング期間、及び継続マッピング期間にわたって音響マップ１００を生成するように構成されている。用語「初期」、「前進」、及び「継続」は、１つ以上のマッピングの期間が他の期間に必要な部位として作用することを示唆し得るが、これは必ずしも真ではない場合がある。例えば、「前進」マッピングプロセス及び／又は「継続」マッピングプロセスは、「初期」マッピングプロセスを実行することを必要とせずに（又は、初期マッピング機能が別のエンティティによって実行される場合に）実行することができる。場合によっては、スピーカシステム２０は、前進マッピング期間の機能のみ、又は前進マッピング期間及び継続マッピング期間の機能のみを実行するように構成することができる。図４のフロー図は、マルチ期間マッピングプロセスの単なる一例であり、本明細書に記載されるマッピング機能を限定するものとみなされるべきではない。
図４は、環境１０を音響的にマッピングする方法におけるプロセスを示すフロー図である。図示のように、初期マッピング期間は、以下のプロセスを含むことができる。
プロセスＰ１は、試験音響信号のセットをトランスデューサ８０から物理的環境１０に送信する。これは、１つ以上の周波数範囲、電力レベルなどで、トランスデューサ８０を介して環境１０内に音響信号を送信することを含むことができる。特定の実装形態では、トランスデューサ８０は、全範囲試験信号を環境１０内に（例えば、トランスデューサ８０が生成することができる周波数及び／又は電力レベルの全範囲で）送信する。
プロセスＰ２は、マイクロフォンアレイ３０における物理的環境１０から戻り音響信号のセットを受信する。様々な実装形態では、戻り音響信号は、指定された期間（例えば、分、時間、日、又は数週間）にわたって受信され、音響マップ１００を定期的に（又は継続的に）更新するために使用される。戻り音響信号からのデータは、本明細書に記載される任意の記憶デバイスを介して記憶することができ、音響マップ１００を維持及び／又は更新するために使用することができる。
プロセスＰ３は、試験音響信号のセットと戻り音響信号のセットとの間の差に基づいて、物理的環境１０内の少なくとも１つのゾーン（例えば、ゾーンＡ、Ｂ、Ｃなど、図１）を特徴付ける。様々な実装形態では、このプロセスは、物理的環境１０内の１つ以上のゾーンに別様で帰属する音響特性をカタログ化することを含むことができる。ゾーンＡ、ゾーンＢ、及びゾーンＣの例は、本明細書に記載されるマッピング期間のいずれかにおいて特徴付けることができる多くのゾーンの例示であることが理解される。ゾーンの数は、様々な実装形態に従って説明されるマッピングプロセスを使用して特徴付けることができる。
物理的環境１０内の特性ゾーン（例えば、ゾーンＡ、Ｂ、Ｃなど）を特徴付けることは、送信された試験音響信号（プロセスＰ１）と戻り音響信号（プロセスＰ２）との間の差によって検出される物理的環境１０の音響特性を分析することを含むことができる。これらの音響特性としては、例えば、全体の音圧レベル（sound pressure level、ＳＰＬ）、音圧レベルの経時変化、いくつかの周波数帯域における音圧レベル、各帯域におけるレベルの経時変化、推定された信号対ノイズ比、周波数スペクトル、振幅変調スペクトル、クロス周波数エンベロープ相関、クロス変調周波数エンベロープ相関、聴覚モデルの出力、音声伝達指標（speech transmission index、ＳＴＩ）、及び／又はメル周波数ケプストラム係数を含む、様々なスペクトル、時間的、又はスペクトル－時間的統計を含むことができる。音響特性はまた、所望の１つ以上の音響源（例えば、人間のスピーカ）、又は所定の種類の音響源の存在を識別する情報を含むことができる。所定の種類の音響源は、家電製品（例えば、空調機又は冷蔵庫）などのノイズ源（及び関連するシグネチャ）、開口窓及び／又は別のオーディオ源からの背景音楽を介して検出されるロードノイズを含むことができる。
様々な実装形態では、マッピングエンジン９０は、環境の音響マップ１００を生成する際に、追加のパラメータを利用することができる。いくつかの追加のパラメータが、米国特許出願第１４／８４１，１６６号（米国特許出願公開第２０１７／００６０８８０号）に開示されており、その全体が参照により本明細書に組み込まれる。
初期マッピング期間の後、又は別の時間に、例えば、所定のスケジュールに従って、又は指定された待機期間の後に、前進マッピング期間を開始することができる。特定の実装形態では、物理的環境１０内の少なくとも１つのゾーンが初期マッピング期間で特徴付けられた後に、前進マッピング期間を開始することができる。前進マッピング期間は、追加のプロセスで示され、以下を含む。
プロセスＰ４は、ある期間にわたってマイクロフォンアレイ３０における物理的環境１０から音響信号のセットを受信する。場合によっては、この期間は、システム設定に従って（例えば、スピーカシステム２０の工場設定又はユーザ定義設定に従って）指定することができる。いくつかの実施例では、この期間は、約数日から約数週間持続することができる。この期間の長さはまた、マイクロフォンアレイ３０に受信された利用可能なデータ（音響信号）の量によって決定することもできる。例えば、この前進マッピング期間は、音響データの閾値量が環境１０から収集された後に終了するように構成することができる。
プロセスＰ５は、物理的環境１０内の少なくとも１つの追加ゾーン（複数可）（例えば、図１には示されていないゾーンＤ、Ｅ、Ｆなどの追加ゾーン）を特徴付けるか、又は、期間にわたって受信された音響信号のセットに基づいて、物理的環境１０内の既に特徴付けられたゾーン（複数可）（ゾーンＡ、Ｂ、Ｃ、図１など）を再特徴付けする。
前進マッピング期間の後、又は別の時間に、例えば、所定のスケジュールに従って、又は指定された待機期間の後に、継続マッピング期間を開始することができる。特定の実装形態では、継続マッピング期間は、物理的環境１０内の初期ゾーン（例えば、ゾーンＡ、Ｂ、Ｃ）のうちの１つが再特徴付けされた後、又は追加ゾーン（例えば、ゾーンＤ、Ｅ、Ｆなど）が前進マッピング期間内に特徴付けられた後に開始され得る。継続マッピング期間は、追加のプロセスで示され、以下を含む。
プロセスＰ６は、マイクロフォンアレイ３０における物理的環境１０から音響信号のセットを継続的に受信する。
プロセスＰ７は、継続マッピング期間中に継続的に受信された音響信号のセットに基づいて、物理的環境１０内の少なくとも１つの追加ゾーン（例えば、ゾーンＤ、Ｅ、Ｆなど）又は最初に特徴付けられたゾーン（例えば、ゾーンＡ、Ｂ、Ｃ）を再特徴付けする。
物理的環境１０内のゾーンを特徴付けるプロセス及び再特徴付けするプロセスは、反復的に（及び場合によっては継続的に）実行されて、音響マップ１００（図４のループとして示される）を生成し、更新することができる。いくつかの実装形態では、収集された音響信号は、マッピングエンジン９０によって前処理されて、各後続のマッピング動作の効率を改善することができる。例えば、音響信号内の音響特徴の完全なセットは、より少数の独立した特徴を使用して環境１０を表すために、次元削減プロセス（例えば、主成分分析（principal components analysis、ＰＣＡ）、又は独立成分分析（independent component analysis、ＩＣＡ））に供され得る。いくつかの実装形態では、スピーカシステム２０内の他の構成要素によって収集された位置識別情報及び視覚的特性データについて、同じ次元削減プロセスを繰り返すことができる。次元削減とは、多次元空間においてそれぞれ指定された多数のデータセットが、より少ない次元の空間に変換される機械学習又は統計的技術を指す。変換は、線形又は非線形であってもよく、例えば、主成分分析、因子分析、多次元スケーリング、人工ニューラルネットワーク（入力ノードよりも少ない出力を有する）、自己組織化マップ、及びｋ平均クラスタ解析を含むことができる。
図１に戻ると、特定の実装形態では、制御システム６０は、音響マップ１００を生成する追加のプロセスを実行することができる。例えば、本明細書で述べられるように、制御システム６０は、マイクロフォンアレイ３０で物理的環境１０から音響信号のセットを受信することができる。制御システム６０は、受信した音響信号のセットから少なくとも１つのノイズ源を更に識別することができる。例示的なノイズ源としては、真空クリーナー、加熱／換気／空調（heating/ventilating/air-conditioning、ＨＶＡＣ）ユニット、食品プロセッサなどを挙げることができる。制御システム６０は、音響信号がノイズ源に属することを示す一致性を識別するために、受信した音響信号のセットと、接続されたライブラリ１９０内の記憶されたノイズシグネチャ１８０を比較することができる。ノイズ源を識別することに応じて、制御システム６０は、ノイズ源（複数可）を少なくとも部分的に排斥するように構成されたマイクロフォンアレイフィルタ２００を作成することができる。マイクロフォンアレイフィルタ（複数可）２００の作成後、制御システム６０は、ライブラリ１９０及び／又はＤＳＰ１５０内にマイクロフォンアレイフィルタ（複数可）２００を記憶することができる。
特定の実装形態では、マイクロフォンアレイフィルタ２００のセットを作成することは、受信した音響信号のセットを周波数又は振幅のうちの少なくとも１つに従って分類することと、マイクロフォンアレイ３０上の利得を受信した音響信号の分類されたセットと相関させることと、を含む。例えば、マイクロフォンアレイフィルタ２００は、１つ以上のノイズ源の特定のスペクトルに沿って周波数をノックアウト（干渉）するように選択された周波数依存フィルタを含むことができる。
ライブラリ１９０は、制御システム６０の１つ以上の部分として、共通の地理的位置におけるローカルライブラリであってもよく、又は、少なくとも部分的に別個の位置又はクラウドベースのサーバ内に記憶されたリモートライブラリであってもよいことが理解される。ライブラリ１９０は、メモリなどの従来の記憶デバイスを含むことができ、又は本明細書に記載されるような分散及び／若しくはクラウドベースの記憶デバイスを含むことができる。ライブラリ１９０は、別個のユーザ、プロファイル、及び／又は環境からの複数のノイズ源のための複数のマイクロフォンアレイフィルタ２００を含むことができることが更に理解される。この意味では、ライブラリ１９０は、特定のユーザ５０、プロファイル又は環境に適用可能なマイクロフォンアレイフィルタ２００を記憶することができるが、別個のユーザ５０、プロファイル又は他の環境で使用され得るマイクロフォンアレイフィルタ２００も記憶することができ、例えば、ノイズ源は、複数のユーザ５０、プロファイル及び／又は環境に共通である。
様々な実装形態では、ライブラリ１９０は、マイクロフォンアレイフィルタ（複数可）２００と識別されたノイズ源サンプル（複数可）からの音響信号との間の関係を含むリレーショナルデータベースを含むことができる。場合によっては、ライブラリ１９０はまた、例えば、事前設定された又はユーザ定義可能なカテゴリを有するノイズ源のテキストインデックスも含むことができる。このことにより、ユーザは（例えば、プロンプトに応じて）、メニュー（例えば、ユーザインターフェース又は制御システム６０で提供される）からソースの種類を選択することなどによって、ノイズ源の種類に関する情報を提供することを可能となる。制御システム６０は、例えば、ユーザのノイズ源（例えば、洗濯機又は真空クリーナー）の群から選択されるソースの種類を学習するように構成された学習エンジン（例えば、人工ニューラルネットワークなどの機械学習／人工知能構成要素）を更に含むことができる。
更なる実装形態では、識別されたノイズ源からの音響信号の検出に応じて、スピーカシステム２０は、記憶されたマイクロフォンフィルタ２００に従ってマイクロフォンアレイ３０の方向を修正するように構成されている。特定の実装形態では、（ＤＳＰ１５０を介した）制御システム６０は、マイクロフォンアレイ３０でユーザ５０から音声コマンド入力１７０を受信している間、又はトランスデューサ８０で音響出力信号を送信している間、マイクロフォンアレイフィルタ２００を適用するように構成されている。より具体的な実装形態では、マイクロフォンアレイフィルタ２００は、受信した音声コマンド入力１７０の明瞭さを向上させるために、マイクロフォンアレイ３０でユーザから音声コマンド入力１７０を受信している間に適用される。実際には、マイクロフォンアレイフィルタ２００を適用することは、マイクロフォンアレイ３０において音響ノイズ信号を受信することと、音響ノイズ信号を、マイクロフォンアレイフィルタ２００のライブラリ１９０内の識別された少なくとも１つのノイズ源からの音響信号と比較することと、識別された少なくとも１つのノイズ源からの音響信号に一致する音響ノイズ信号に応じて、マイクロフォンアレイ３０上の利得を修正することと、を含むことができる。様々な特定の実装形態では、ユーザ５０が音声コマンド入力１７０を提供しない場合であっても、マイクロフォン利得は修正される。すなわち、マイクロフォンアレイ３０の利得を修正して、単語（又はフレーズ）認識を向上させることができ、これにより、スピーカシステム２０は、ユーザ５０から音声コマンド入力１７０を受信する前に、音響マップ１００に従ってマイクロフォンアレイフィルタ２００を適用する。
本明細書で述べられるように、ＤＳＰ１５０は、オーディオノイズ信号を、ライブラリ１９０に記憶されたノイズ源サンプルと比較し、それらのノイズ源サンプルのうちの少なくとも１つに一致するオーディオノイズ信号に応じてマイクロフォンアレイ３０上の利得を修正するように構成され得る。具体的には、制御システム６０は、ノイズ源（複数可）からノイズをノックアウト（干渉）するために、ＤＳＰ１５０を利用して、マイクロフォンアレイ３０の利得及び方向を修正することができる。
更なる実装形態では、音響マップ１００は、物理的環境１０内のノイズ源の位置、並びに物理的環境１０内の頻繁な音声コマンド位置を考慮することができる。すなわち、環境１０内のノイズ源を識別することと同様に、スピーカシステム２０は、それらのノイズ源及び／又は頻繁な音声コマンド位置（例えば、ユーザ（複数可）５０が音声コマンドを提供する位置）を検出するように更に構成されている。（ＤＳＰ１５０を有する）制御システムは、識別された位置にノイズ源を少なくとも部分的に排斥し、かつ／又はその頻繁な音声コマンド位置からの音声コマンド入力の検出を向上させるように構成された追加のマイクロフォンアレイフィルタ２００を作成することができる。本明細書で述べられるように、これらの追加のマイクロフォンアレイフィルタ２００は、例えば、ユーザ５０から音声コマンド入力１７０を受信する前に、単語（又はフレーズ）検出のために適用することができる。いくつかの例示的実装形態では、頻繁な音声コマンド位置は、部屋内の１つ以上の座席（例えば、ソファ又は椅子上）、又はユーザが集まるための共通領域（例えば、キッチンアイランドの周り）を含むことができる。これらの頻繁な音声コマンド位置は、ノイズ源（例えば、テレビ又は食器洗浄機）と同じ又は隣接するゾーン内に配置することができる。マイクロフォンアレイフィルタ２００は、ノイズ源位置からの音響受信を減少させながら、頻繁な音声コマンド位置からの音響受信を向上させるために、アレイ３０内の１つ以上のマイクロフォン４０上の利得を修正するように構成することができる。
特定の実装形態では、制御システム６０は、ユーザ（複数可）５０が、（例えば、ユーザインターフェース２２０を介して、又は接続されたスマートデバイス上でアクセス可能なダウンロード可能アプリケーションなどのソフトウェアアプリケーションを介して）スピーカシステム２０に関する識別（identification、ＩＤ）情報２１０に入ることを可能にすることによって、１つ以上のマッピング期間を向上させることができる。例えば、制御システム６０は、スピーカシステム２０に関するユーザ入力識別情報２１０を受信し、そのユーザ入力識別情報２１０に基づいて環境１０の音響マップ１００を更新するように構成することができる。いくつかの特定の実施例では、ユーザ入力識別情報２１０は、スピーカシステム２０の名前、ニックネーム、又は位置名を含むことができる。これらの場合、制御システム６０は、例えば、無線ネットワーク若しくは電源に、又はクラウドベースのアカウント若しくはストリーミングコンテンツアカウントなどのリンクされたアカウントに、スピーカシステム２０を接続するときに、ユーザ５０に識別情報２１０を入力するように促すことができる。識別情報２１０は、環境内のスピーカシステム２０の位置又は位置を判定するために使用することができる。例えば、ユーザ５０が「キッチン」としてスピーカシステムを識別するとき、制御システム６０は、キッチン（例えば、食器洗浄機、ブレンダー、又はマイクロ波）に典型的に見られるノイズ源に従って、マイクロフォン４０上の利得を修正するために、記憶されたマイクロフォンアレイフィルタ２００を適用するように構成することができる。加えて、制御システム６０は、本明細書に記載されているマッピングプロセスを、キッチンで典型的に見出されるノイズ源に向かって重み付けするように構成することができる。いくつかの実施例では、制御システム６０は、識別情報２１０に基づいて、例えば、ユーザ５０の名前、ノイズプロファイル、又はユーザ５０からの別の入力に基づいて適用する特定のマイクロフォンアレイフィルタ２００を判定するためのルールベースのエンジンを含む。特定の実施例では、スピーカシステム２０に関する識別情報２１０は、「オフィス」、「バックヤード」又は「ジム」などの名前を含むことができ、制御システム６０が、例えば電話、風調、又は運動機器のためのアプリケーションのための可能性の高いフィルタを事前選択することを可能にし得る。
追加の実装形態では、制御システム６０は、音響マップ１００に関する音声フィードバック入力（例えば、音声コマンド１７０と同様）をユーザ５０（複数可）に促すように更に構成されている。これらの場合、プロンプトは、トランスデューサ８０を介して提供されるオーディオプロンプト、及び／又はスピーカシステム２０又は別の接続されたデバイス（例えば、スマートデバイス）に提供される視覚的、触覚的、若しくは他のプロンプトを含むことができる。オーディオプロンプトは、音響マップ１００の特性に関するフィードバックをユーザ５０から要求することができる。場合によっては、オーディオプロンプトは、ユーザに、「通常この部屋で時間を過ごす場所に立ったり座ったりしてください．．．、お気に入りのフレーズを繰り返してください（又は、お気に入りの曲を歌ったり、他の音声コマンドを提供してください）。」など、環境１０内の１つ以上の位置から音声フィードバックを提供するように尋ねることができる。制御システム６０は、ユーザ５０から（例えば、マイクロフォンアレイ３０で）音声フィードバック入力を受信し、その音声フィードバック入力に基づいて音響マップ１００を更新することができる。場合によっては、制御システム６０は、環境１０の音響マップ１００を更新するために、音声フィードバック入力のコンテンツ（例えば、「はい」又は「いいえ」の回答）並びにその音声フィードバック入力の品質（例えば、１つ以上のノイズ源又は音響干渉の存在）を利用するように構成される。いくつかの追加的な実装形態では、制御システム６０は、音声フィードバックを反復的に要求し、それらの音声フィードバック入力を処理して、所与の期間にわたって音響マップ１００を更に精緻化することができる。
更に他の場合では、スピーカシステム２０は、ノイズ源をサンプリングし、それらの種類のノイズを後で中和するためにカスタマイズされたマイクロフォンアレイフィルタ２００を作成するために、ユーザ５０と相互作用するように構成される。スピーカシステム２０は、ノイズ源（例えば、家庭、オフィス、又は他の環境内の共通のノイズ源）をサンプリングするために、ユーザ５０又は他のシステム制御（例えば、家電製品又は娯楽デバイスなどの接続されたデバイス用の制御システム）にプロンプトを提供することができ、後の実装形態のために、それらのノイズのために、音響マップ１００内に特定のマイクロフォンアレイフィルタ２００を作成して記憶することができる。用語「ユーザプロンプト」は、ノイズサンプリングプロセスを開始するためにヒトユーザを必要としない場合があることが理解される。例えば、場合によっては、「ユーザ」は、ロボットユーザ、人工知能（artificial intelligence、ＡＩ）システム、又はプロンプトに応じてノイズ源を開始するように構成された制御システムであってもよい。いずれの場合も、スピーカシステム２０は、特定のノイズ信号をフィルタリングすることによってマイクロフォンアレイ３０におけるオーディオ信号品質を向上させるように構成することができる。
更なる実装形態では、本明細書に記載されるように、スピーカシステム２００は、携帯型スマートスピーカ又はパーソナルオーディオデバイスなどの携帯型スピーカシステムを含むことができる。これらの場合では、スピーカシステム２０（例えば、位置追跡システム１２０を使用する）は、スピーカシステム２０の第１の物理的位置から第２の物理的位置への移動を検出するように構成される。いくつかの場合において、位置追跡システム１２０は、移動閾値を超える期間にわたってスピーカシステム２０の移動を検出することによって、スピーカシステム２０の第１の物理的位置から第２の物理的位置への移動を検出するように構成される。例えば、移動閾値は、スピーカシステム２０の音響特性を修正するために、十分な移動量（例えば、閾値距離の並進、閾値距離の高度変化、閾値角度の回転）として指定することができる。この閾値は、スピーカシステム２０が一時的な目的（例えば、洗浄、充電など）のためにのみ移動されているときにスピーカシステム２０を取り巻く環境の再マッピングを回避するために、移動期間（例えば、数秒超又は数分超）と相関させることができる。いくつかの場合において、移動閾値は、スピーカシステム２０の電源の位置（例えば、第１の電源位置から第２の電源位置への電力源の変化）、スピーカシステムの配向（例えば、特定の数の角度の回転又は傾斜）、スピーカシステムの位置（例えば、特定の量の並進又は高度変化）、少なくとも１つの通信ネットワークへの近接性（例えば、ＷｉＦｉアクセスポイント若しくは他の通信ハブへの近接性）、又は少なくとも１つの他の接続された電子デバイス（例えば、Ｂｌｕｅｔｏｏｔｈ又はＷｉＦｉ接続デバイス）への近接性のうちの少なくとも１つの変化によって測定される。
スピーカシステム２０の第１の物理的位置から第２の物理的位置への移動を検出することに応じて、制御システム６０は、第２の物理的位置においてスピーカシステム２０に近接する物理的環境の音響記述を含む更新された音響マップ１００を生成することができる。このプロセスは、第１の物理的位置に対する初期音響マップ１００を生成するのと同様の方法で実行することができる。第１の物理的位置にあるスピーカシステム２０の初期音響マップ１００を生成すると、更新された音響マップ１００を生成した後、制御システム２０は、マイクロフォンアレイ３０において後続の音声コマンド入力１７０を受信する前に、更新された音響マップ１００に基づいて、マイクロフォンアレイを更新された方向に集束させることができる。すなわち、制御システム２０は、音響マップ１００を更新し、その更新されたマップに基づいてマイクロフォンアレイ３０を集束させるために、第２の物理的位置に対するマッピングプロセス（プロセスＰ１～Ｐ６）を繰り返すように構成することができる。
スピーカシステム２０が別の位置に移動されるいくつかの特定の実装形態では、制御システム６０は、更新された音響マップが生成されている間に、マイクロフォンアレイ３０が音響マップ１００に基づいて元の集束方向に集束させるように構成されている。これらの例示的実装形態では、位置追跡システム１２０は、スピーカシステム２０の配向を判定するように構成され、制御システム６０は、この配向情報を、音響マップ１００からのデータと共に使用して、更新された音響マッピングプロセスが実行されている間、マイクロフォンアレイ３０の元の（相対的な）集束方向を維持するように構成される。
特定の実装形態では、位置追跡システム１２０は、音響マップ１００の１つ以上の特性が、更新された位置に適用可能（又は適用不可能）であるように、スピーカシステム２０が環境１０を越えて移動したかどうかを判定することができる。場合によっては、位置追跡システム１２０は、スピーカシステム２０が環境１０を越えて移動していないと判定する場合、制御システム６０は、音響マップ１００の１つ以上の部分を利用して、マイクロフォンアレイ３０を更新位置に集束させることができる。
スピーカシステム２０の追加の実装形態は、例えば、１つ以上のパーソナルオーディオデバイス、スマートデバイス（例えば、スマートウェアラブルデバイス、スマートフォン）、ネットワーク接続デバイス（例えば、スマート家電製品）、又は他の非ヒトユーザ（例えば、仮想パーソナルアシスタント、ロボットアシスタントデバイス）を含む外部デバイス２３０からのデータ入力を利用することができる。外部デバイス２３０は、環境１０の音響マップ１００の周囲で制御システム６０に追加情報を提供する様々なデータ収集機構を装備することができる。例えば、外部デバイス２３０は、環境１０内の１つ以上のユーザ５０の位置、環境内の１つ以上の音響的に有意な物体（例えば、ソファ、デスク又は壁）、又は高対低輸送位置の位置に関するデータを提供することができる。加えて、外部デバイス２３０は、特定のテレビ、食器洗浄機又はエスプレッソメーカーの製造元メーク又はモデルに関する画像データなど、１つ以上のノイズ源に関する識別情報を提供することができる。ビーコン又は他のスマートデバイスなどの外部デバイス２３０の例は、参照によりその全体が本明細書に組み込まれる米国特許出願第１５／６８７，９６１号に記載されている。
図５は、様々な実装形態に従って形成される、例示的な音響マップ５００の概略図を示す。図示のように、音響マップ５００は、４つの壁５２０によって画定された部屋５１０の上面図を示す。構成要素Ａは、スピーカシステム２０（図１）などのスピーカシステムである。構成要素Ｂは、壁５２０のうちの１つの内部又はその背後にあるノイズ源である。構成要素Ｃは、部屋５１０内のノイズ源である。位置Ｄ、Ｅ、Ｆ、及びＧは、スピーカシステム（Ａ）によって認識されるように、ユーザ（例えば、ユーザ５０、図１）が以前にスピーカシステムの音声インターフェースに参加した位置を示す。
ゾーン１は、ノイズ源（例えば、ノイズ源（Ｂ））が（スピーカシステム（Ａ）に対して）支配的である方向であり、スピーカシステム（Ａ）がマイクロフォンアレイ（例えば、マイクロフォンアレイ３０、図１）からの利得を低減することができる方向である。ゾーン２は、スピーカシステム（Ａ）に対して、ユーザコマンドが発生することがある方向であり、スピーカシステム（Ａ）は、そのゾーン内の音声コマンドの精度を維持又は改善するために、マイクロフォンアレイからのデフォルト利得又は増加した利得を使用することができる。ゾーン３は、スピーカシステム（Ａ）に対して、ユーザコマンドが頻繁に発生する方向であり、スピーカシステム（Ａ）は、そのゾーン内の音声コマンドの精度を維持又は改善するために、デフォルト利得又はマイクロフォンアレイからの増加した利得を使用することができる。いくつかの場合において、ゾーン３は、より高い検出された音声コマンドの周波数を有する方向（例えば、ゾーン２と比較した場合）であり、ゾーン３の増加した利得は、ゾーン２の増加した利得よりも高くなり得る。この利得差は、特定のゾーンからの音声コマンドの周波数及び／又は特定のゾーンから受信した音声コマンドのデシベルレベルなどの所定の閾値に従って設定することができる。図５の音響マップ５００の実施例では、これらの周波数は、ゾーン内の位置の数（例えば、ゾーン３内の３つの位置Ｅ、Ｆ、Ｇ対ゾーン２内の１つの位置Ｄ）、又はゾーン内の特定の位置のサイズ（例えば、周波数が表示されるか又は別様に示された位置のそれぞれのサイズ差として描かれる）によって区別することができる。ゾーン４は、スピーカシステム（Ａ）に対する方向であって、任意の既知のノイズ源又はユーザ相互作用のない（例えば、ノイズ源なしの壁５２０の方向）方向である。ゾーン４では、スピーカシステム（Ａ）は、デフォルト利得、又はマイクロフォンアレイ３０（図１）上の低減した利得を使用することができる。この例示的な音響マップ５００は、スピーカシステム（例えば、スピーカシステム２０、図１）がマイクロフォンアレイ（例えば、図１のマイクロフォンアレイ３０）を制御するために適用することができる、一般的な規則のほんの一部を例示することを意図している。本明細書の実装形態に記載されるように、スピーカシステムによって様々な追加の制御ルールを適用することができることが理解される。
本明細書に記載される機能性又はその部分、及びその様々な修正（以下「機能」）は、少なくとも部分的にコンピュータプログラム製品（例えば、１つ以上のデータ処理装置（例えば、プログラム可能プロセッサ、コンピュータ、複数のコンピュータ、及び／又はプログラム可能論理構成要素など）の動作による実行のための、又はその動作を制御するための、１つ以上の非一時的機械可読媒体などの情報担体において有形に具現化されたコンピュータプログラム）を介して実装され得る。
コンピュータプログラムは、コンパイラ型言語又はインタープリタ型言語を含む任意の形態のプログラム言語で書くことができ、それは、スタンドアローンプログラムとして、又はコンピューティング環境での使用に好適なモジュール、構成要素、サブルーチン、若しくは他のユニットとして含む任意の形態で配備され得る。コンピュータプログラムは、１つのコンピュータ上で、若しくは１つのサイトにおける複数のコンピュータ上で実行されるように配備されるか、又は複数のサイトにわたって配信されて、ネットワークによって相互接続され得る。
機能の全部又は一部を実装することと関連した動作は、較正プロセスの機能を実施するために１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実施され得る。機能の全部又は一部は、特殊目的論理回路、例えば、ＦＰＧＡ及び／又はＡＳＩＣ（特定用途向け集積回路）として実装され得る。コンピュータプログラムの実行に好適なプロセッサとしてはまた、例として、一般的及び特殊目的マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの１つ以上のプロセッサが挙げられる。一般的に、プロセッサは、読み出し専用メモリ、ランダムアクセスメモリ、又はそれらの両方から命令及びデータを受信することになる。コンピュータの構成要素は、命令を実行するためのプロセッサ、並びに命令及びデータを記憶するための１つ以上のメモリデバイスを含む。
様々な実装形態では、互いに「連結」されているとして説明される構成要素は、１つ以上のインターフェースに沿って接合することができる。いくつかの実装形態では、これらのインターフェースは、別個の構成要素間の接合部を含むことができ、他の場合には、これらのインターフェースは、強固に及び／又は一体的に形成された相互接続部を含み得る。すなわち、場合によっては、互いに「連結された」構成要素は同時に形成されて、単一の連続部材を画定することができる。しかしながら、他の実装形態では、これらの連結された構成要素は、別個の部材として形成され、その後、既知のプロセス（例えば、はんだ付け、締結、超音波溶接、接合）によって接合され得る。様々な実装形態では、「連結された」と記載される電子構成要素は、これらの電子構成要素が互いにデータを通信することができるように、従来の有線及び／又は無線手段を介してリンクすることができる。更に、所与の構成要素内の下位構成要素は、従来の経路を介してリンクされていると考えることができるが、必ずしも図示されない。
具体的に本明細書に記載されていない他の実施形態もまた、以下の特許請求の範囲内にある。本明細書に記載される異なる実装形態の要素は、特に上に記載されない他の実施形態を形成するために組み合わされ得る。要素は、それらの動作に悪影響を及ぼすことなく、本明細書に記載される構造から除かれ得る。更にまた、様々な別個の要素は、本明細書に記載される機能を実施するために、１つ以上の個々の要素と組み合わされ得る。
１０ 物理的環境
２０ スピーカシステム
３０ マイクロフォンアレイ
４０ マイクロフォン
５０ ユーザ
６０ 制御システム
８０ トランスデューサ
９０ マッピングエンジン
１００ 音響マップ
１１０ 無線送受信機（ｗｉｒｅｌｅｓｓ ｔｒａｎｓｃｅｉｖｅｒ、ＷＴ）
１２０ 位置追跡システム
１３０ カメラシステム
１４０ 視覚的特性（ｖｉｓｕａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃ、ＶＣ）追跡エンジン
１５０ デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）
１６０ フィルタ
１７０ 音声コマンド
１８０ ノイズシグネチャ
１９０ ライブラリ
２００ マイクロフォンアレイフィルタ
２１０ ユーザ入力識別情報
２２０ ユーザインターフェース
２３０ 外部デバイス
５００ 音響マップ
５１０ 部屋
５２０ 壁

Claims (20)

  1. スピーカシステム内のマイクロフォンアレイを制御するコンピュータ実装方法であって、前記方法が、
    前記スピーカシステムに近接する物理的環境の音響記述を含む音響マップを生成することであって、
    前記物理的環境内の少なくとも１つのノイズ源の位置を検出することと、
    前記少なくとも１つのノイズ源を少なくとも部分的に排斥するように構成されたマイクロフォンアレイフィルタを作成することと、
    を含む、音響マップを生成することと、
    前記マイクロフォンアレイにおいて音声コマンド入力を受信する前に、前記音響マップに基づいた方向に前記マイクロフォンアレイを集束させることと、
    前記マイクロフォンアレイでユーザから音声フィードバック入力を受信することと、
    前記受信した音声フィードバック入力に基づいて、前記物理的環境の前記音響マップを更新することと、
    を含む、コンピュータ実装方法。
  2. 前記音響マップに関する音声フィードバック入力をユーザに促すこと
    をさらに具備する、請求項１に記載のコンピュータ実装方法。
  3. 前記音響マップを生成することが、初期マッピング期間、前進マッピング期間、および継続マッピング期間を含み、
    前記初期マッピング期間が、
    試験音響信号のセットを前記スピーカシステム内のトランスデューサから前記物理的環境に送信することと、
    前記マイクロフォンアレイにおける前記物理的環境から戻り音響信号のセットを受信することと、
    前記試験音響信号のセットと前記戻り音響信号のセットとの間の差に基づいて、前記物理的環境内の少なくとも１つのゾーンを特徴付けることと、
    を含む、請求項１に記載のコンピュータ実装方法。
  4. 前記前進マッピング期間が、
    ある期間にわたって前記マイクロフォンアレイにおける前記物理的環境から音響信号のセットを受信することと、
    前記期間にわたって受信された前記音響信号のセットに基づいて、前記物理的環境内の少なくとも１つの追加ゾーンを特徴付けるか、又は前記物理的環境内の前記少なくとも１つのゾーンを再特徴付けすることと、
    を含む、請求項３に記載のコンピュータ実装方法。
  5. 前記継続マッピング期間が、
    前記マイクロフォンアレイにおける前記物理的環境から音響信号のセットを継続的に受信することと、
    前記継続マッピング期間中に継続的に受信された前記音響信号のセットに基づいて、前記物理的環境内の前記少なくとも１つの追加ゾーン又は前記少なくとも１つのゾーンを再特徴付けすることと、
    を含む、請求項４に記載のコンピュータ実装方法。
  6. 前記スピーカシステムに関するユーザ入力識別情報を受信することと、
    前記ユーザ入力識別情報に基づいて前記物理的環境の前記音響マップを更新することと、
    を更に含む、請求項１に記載のコンピュータ実装方法。
  7. 前記スピーカシステムが、携帯型スピーカシステムを含み、前記方法が、
    前記スピーカシステムの第１の物理的位置から第２の物理的位置への移動を検出することと、
    前記第２の物理的位置において前記スピーカシステムに近接する物理的環境の音響記述を含む更新された音響マップを生成することと、
    前記マイクロフォンアレイにおいて後続の音声コマンド入力を受信する前に、前記更新された音響マップに基づいた更新された方向に前記マイクロフォンアレイを集束させることと、
    を更に含む、請求項１に記載のコンピュータ実装方法。
  8. 前記マイクロフォンアレイが、前記更新された音響マップが生成されている間、前記音響マップに基づいた前記方向に集束されたままである、請求項７に記載のコンピュータ実装方法。
  9. 前記スピーカシステムの前記第１の物理的位置から前記第２の物理的位置への移動を検出することが、前記スピーカシステムの電源の位置、前記スピーカシステムの配向、前記スピーカシステムの位置、少なくとも１つの通信ネットワークへの近接性、又は少なくとも１つの他の接続された電子デバイスへの近接性のうちの少なくとも１つの変化を検出することによって前記スピーカシステムの移動を検出することを含む、請求項７に記載のコンピュータ実装方法。
  10. スピーカシステムであって、
    マイクロフォンアレイと、
    前記マイクロフォンアレイと接続された制御システムであって、前記制御システムが、
    前記スピーカシステムに近接する物理的環境の音響記述を含む音響マップを生成することであって、
    前記マイクロフォンアレイにおける前記物理的環境から音響信号のセットを受信することと、
    前記受信した音響信号のセットから少なくとも１つのノイズ源を識別することと、
    前記少なくとも１つのノイズ源を少なくとも部分的に排斥するように構成されたマイクロフォンアレイフィルタを作成することであって、前記受信した音響信号のセットを周波数又は振幅のうちの少なくとも１つに従って分類することと、前記マイクロフォンアレイ上の利得を修正するための制御命令を前記受信した音響信号の分類されたセットと相関させることと、を含む、マイクロフォンアレイフィルタのセットを作成することと、
    マイクロフォンアレイフィルタのライブラリ内に前記マイクロフォンアレイフィルタを記憶することと、
    を含む、前記音響マップを生成することと、
    前記マイクロフォンアレイにおいて音声コマンド入力を受信する前に、前記音響マップに基づいた方向に前記マイクロフォンアレイを集束させることと
    を行うようにプログラムされている、制御システムと、
    を含む、スピーカシステム。
  11. 前記音響マップを生成することが、初期マッピング期間、前進マッピング期間、および継続マッピング期間を含み、前記スピーカシステムが、前記制御システムと接続されたトランスデューサを更に含み、
    前記初期マッピング期間が、
    試験音響信号のセットを前記トランスデューサから前記物理的環境に送信することと、
    前記マイクロフォンアレイにおける前記物理的環境から戻り音響信号のセットを受信することと、
    前記試験音響信号のセットと前記戻り音響信号のセットとの間の差に基づいて、前記物理的環境内の少なくとも１つのゾーンを特徴付けることと、
    を含み、
    前記前進マッピング期間が、
    ある期間にわたって前記マイクロフォンアレイにおける前記物理的環境から音響信号のセットを受信することと、
    前記期間にわたって受信された前記音響信号のセットに基づいて、前記物理的環境内の少なくとも１つの追加ゾーンを特徴付けるか、又は前記物理的環境内の前記少なくとも１つのゾーンを再特徴付けすることと、
    を含み、
    前記継続マッピング期間が、
    前記マイクロフォンアレイにおける前記物理的環境から音響信号のセットを継続的に受信することと、
    前記継続マッピング期間中に継続的に受信された前記音響信号のセットに基づいて、前記物理的環境内の前記少なくとも１つの追加ゾーン又は前記少なくとも１つのゾーンを再特徴付けすることと、
    を含む、請求項１０に記載のスピーカシステム。
  12. 前記音響マップを生成することが、
    前記物理的環境内の少なくとも１つのノイズ源の位置を検出すること、又は前記物理的環境内の頻繁な音声コマンド位置を検出することのうちの少なくとも１つと、
    前記少なくとも１つのノイズ源を少なくとも部分的に排斥するか、又は前記頻繁な音声コマンド位置から入力された音声コマンドの検出を向上させるように構成されたマイクロフォンアレイフィルタを作成することと、
    を含む、請求項１０に記載のスピーカシステム。
  13. 前記制御システムが、
    前記スピーカシステムに関するユーザ入力識別情報を受信することと、
    前記ユーザ入力識別情報に基づいて前記物理的環境の前記音響マップを更新することと、
    を行うように更に構成されている、請求項１０に記載のスピーカシステム。
  14. 前記スピーカシステムが、携帯型スピーカシステムを備え、前記制御システムが、
    前記スピーカシステムの第１の物理的位置から第２の物理的位置への移動を検出することと、
    前記第２の物理的位置において前記スピーカシステムに近接する物理的環境の音響記述を含む更新された音響マップを生成することと、
    前記マイクロフォンアレイにおいて後続の音声コマンド入力を受信する前に、前記更新された音響マップに基づいた更新された方向に前記マイクロフォンアレイを集束させることと、
    を行うように更に構成され、
    前記マイクロフォンアレイが、前記更新された音響マップが生成されている間、前記音響マップに基づいた前記方向に集束されたままである、請求項１０に記載のスピーカシステム。
  15. 前記スピーカシステムの前記第１の物理的位置から前記第２の物理的位置への移動を検出することが、前記スピーカシステムの電源の位置、前記スピーカシステムの配向、前記スピーカシステムの位置、少なくとも１つの通信ネットワークへの近接性、又は少なくとも１つの他の接続された電子デバイスへの近接性のうちの少なくとも１つの変化を検出することによって前記スピーカシステムの移動を検出することを含む、請求項１４に記載のスピーカシステム。
  16. 前記制御システムが、
    前記音響マップに関する音声フィードバック入力をユーザに促すことと、
    前記ユーザから前記マイクロフォンアレイで前記音声フィードバック入力を受信することと、
    前記受信した音声フィードバック入力に基づいて前記物理的環境の前記音響マップを更新することと、
    を行うように更に構成されている、請求項１０に記載のスピーカシステム。
  17. 前記制御システムと接続されたトランスデューサを更に備え、前記トランスデューサ及び前記マイクロフォンアレイが、音響環境内の物理的に分離されたハウジング内に位置する、請求項１０に記載のスピーカシステム。
  18. 前記マイクロフォンアレイフィルタのライブラリが、前記識別された少なくとも１つのノイズ源からの前記マイクロフォンアレイフィルタと前記音響信号との間の関係を含むリレーショナルデータベースを含み、前記制御システムが、前記マイクロフォンアレイにおいて前記音声コマンド入力を受信している間に前記マイクロフォンアレイフィルタを適用するように構成され、前記マイクロフォンアレイフィルタを適用することが、
    前記マイクロフォンアレイにおいて音響ノイズ信号を受信することと、
    前記音響ノイズ信号を、前記マイクロフォンアレイフィルタのライブラリ内の前記識別された少なくとも１つのノイズ源からの前記音響信号と比較することと、
    前記識別された少なくとも１つのノイズ源からの前記音響信号に一致する前記音響ノイズ信号に応じて、前記マイクロフォンアレイ上の利得を修正することと、
    を含む、請求項１７に記載のスピーカシステム。
  19. スピーカシステム内のマイクロフォンアレイを制御するコンピュータ実装方法であって、前記方法が、
    前記スピーカシステムに近接する物理的環境の音響記述を含む音響マップを生成することであって、
    前記物理的環境内の少なくとも１つのノイズ源の位置を検出することと、
    前記少なくとも１つのノイズ源を少なくとも部分的に排斥するように構成されたマイクロフォンアレイフィルタを作成することと、
    を含む、音響マップを生成することと、
    前記スピーカシステムの第１の物理的位置から第２の物理的位置への移動を検出することと、
    前記第２の物理的位置において前記スピーカシステムに近接する物理的環境の音響記述を含む更新された音響マップを生成することと、
    前記マイクロフォンアレイにおいて後続の音声コマンド入力を受信する前に、前記更新された音響マップに基づいた更新された方向に前記マイクロフォンアレイを集束させることと、
    を含む、コンピュータ実装方法。
  20. 前記マイクロフォンアレイが、前記更新された音響マップが生成されている間、前記音響マップに基づいた前記方向に集束されたままである、請求項１９に記載のコンピュータ実装方法。
JP2020555790A 2018-04-13 2019-04-11 マイクロフォンアレイ内のインテリジェントビームステアリング Active JP7119117B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/952,920 2018-04-13
US15/952,920 US10524048B2 (en) 2018-04-13 2018-04-13 Intelligent beam steering in microphone array
PCT/US2019/026896 WO2019200038A1 (en) 2018-04-13 2019-04-11 Intelligent beam steering in microphone array

Publications (2)

Publication Number Publication Date
JP2021520141A JP2021520141A (ja) 2021-08-12
JP7119117B2 true JP7119117B2 (ja) 2022-08-16

Family

ID=66334555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020555790A Active JP7119117B2 (ja) 2018-04-13 2019-04-11 マイクロフォンアレイ内のインテリジェントビームステアリング

Country Status (5)

Country Link
US (2) US10524048B2 (ja)
EP (1) EP3777233A1 (ja)
JP (1) JP7119117B2 (ja)
CN (1) CN112020864B (ja)
WO (1) WO2019200038A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US11150869B2 (en) 2018-02-14 2021-10-19 International Business Machines Corporation Voice command filtering
KR102443052B1 (ko) * 2018-04-13 2022-09-14 삼성전자주식회사 공기 조화기 및 공기 조화기의 제어 방법
US11200890B2 (en) * 2018-05-01 2021-12-14 International Business Machines Corporation Distinguishing voice commands
US11238856B2 (en) 2018-05-01 2022-02-01 International Business Machines Corporation Ignoring trigger words in streamed media content
US10929099B2 (en) * 2018-11-02 2021-02-23 Bose Corporation Spatialized virtual personal assistant
US12057114B2 (en) * 2018-11-02 2024-08-06 Spotify Ab Media content steering
US11048472B2 (en) 2019-01-27 2021-06-29 Listen AS Dynamically adjustable sound parameters
US11126398B2 (en) * 2019-03-13 2021-09-21 Listen AS Smart speaker
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
TWI752328B (zh) * 2019-06-28 2022-01-11 仁寶電腦工業股份有限公司 可拆式智慧音箱系統及其控制方法
US11355108B2 (en) 2019-08-20 2022-06-07 International Business Machines Corporation Distinguishing voice commands
US11094319B2 (en) 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US10827028B1 (en) 2019-09-05 2020-11-03 Spotify Ab Systems and methods for playing media content on a target device
US11557307B2 (en) 2019-10-20 2023-01-17 Listen AS User voice control system
US11483670B2 (en) * 2019-10-30 2022-10-25 Sonos, Inc. Systems and methods of providing spatial audio associated with a simulated environment
US11638111B2 (en) * 2019-11-01 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for classifying beamformed signals for binaural audio playback
US11039265B1 (en) * 2019-12-13 2021-06-15 Bose Corporation Spatialized audio assignment
US11328722B2 (en) 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
CN111754967A (zh) * 2020-05-11 2020-10-09 北京安声浩朗科技有限公司 噪声处理方法、装置、可移动设备、存储介质及电子设备
CN111986678B (zh) * 2020-09-03 2023-12-29 杭州蓦然认知科技有限公司 一种多路语音识别的语音采集方法、装置
US20220268925A1 (en) * 2021-02-23 2022-08-25 Google Llc Presence detection using ultrasonics and audible sound
US20220283774A1 (en) * 2021-03-03 2022-09-08 Shure Acquisition Holdings, Inc. Systems and methods for noise field mapping using beamforming microphone array
CN113077802B (zh) * 2021-03-16 2023-10-24 联想(北京)有限公司 一种信息处理方法和装置
US11741982B2 (en) * 2021-10-05 2023-08-29 Dell Products L.P. Contextual beamforming to improve signal-to-noise ratio sensitive audio input processing efficiency in noisy environments
CN114915875B (zh) * 2022-07-18 2022-10-21 南京航空航天大学 一种可调波束形成方法、电子设备及存储介质
US11937047B1 (en) * 2023-08-04 2024-03-19 Chromatic Inc. Ear-worn device with neural network for noise reduction and/or spatial focusing using multiple input audio signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329702A (ja) 2006-06-08 2007-12-20 Toyota Motor Corp 受音装置と音声認識装置とそれらを搭載している可動体
JP2014207589A (ja) 2013-04-15 2014-10-30 シャープ株式会社 音声入力装置、および画像表示装置
WO2015029296A1 (ja) 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声認識方法及び音声認識装置
JP2017500785A (ja) 2013-11-22 2017-01-05 アップル インコーポレイテッド ハンズフリー・ビームパターン構成

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
EP1184676B1 (en) * 2000-09-02 2004-05-06 Nokia Corporation System and method for processing a signal being emitted from a target signal source into a noisy environment
AT410597B (de) * 2000-12-04 2003-06-25 Vatter Acoustic Technologies V Verfahren, computersystem und computerprodukt zur messung akustischer raumeigenschaften
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7039199B2 (en) * 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US7720212B1 (en) * 2004-07-29 2010-05-18 Hewlett-Packard Development Company, L.P. Spatial audio conferencing system
US7970150B2 (en) * 2005-04-29 2011-06-28 Lifesize Communications, Inc. Tracking talkers using virtual broadside scan and directed beams
US7970123B2 (en) * 2005-10-20 2011-06-28 Mitel Networks Corporation Adaptive coupling equalization in beamforming-based communication systems
WO2007058130A1 (ja) * 2005-11-15 2007-05-24 Yamaha Corporation 遠隔会議装置及び放収音装置
DE602007007581D1 (de) 2007-04-17 2010-08-19 Harman Becker Automotive Sys Akustische Lokalisierung eines Sprechers
US8831936B2 (en) * 2008-05-29 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement
EP2197219B1 (en) * 2008-12-12 2012-10-24 Nuance Communications, Inc. Method for determining a time delay for time delay compensation
US20120113224A1 (en) * 2010-11-09 2012-05-10 Andy Nguyen Determining Loudspeaker Layout Using Visual Markers
US10726861B2 (en) * 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9264553B2 (en) * 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
EP2810453B1 (en) * 2012-01-17 2018-03-14 Koninklijke Philips N.V. Audio source position estimation
US20130329908A1 (en) * 2012-06-08 2013-12-12 Apple Inc. Adjusting audio beamforming settings based on system state
US8885815B1 (en) * 2012-06-25 2014-11-11 Rawles Llc Null-forming techniques to improve acoustic echo cancellation
US9615172B2 (en) * 2012-10-04 2017-04-04 Siemens Aktiengesellschaft Broadband sensor location selection using convex optimization in very large scale arrays
WO2014207990A1 (ja) * 2013-06-27 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御装置、及び、制御方法
US9640179B1 (en) * 2013-06-27 2017-05-02 Amazon Technologies, Inc. Tailoring beamforming techniques to environments
US9565497B2 (en) * 2013-08-01 2017-02-07 Caavo Inc. Enhancing audio using a mobile device
US9319532B2 (en) * 2013-08-15 2016-04-19 Cisco Technology, Inc. Acoustic echo cancellation for audio system with bring your own devices (BYOD)
US9532131B2 (en) * 2014-02-21 2016-12-27 Apple Inc. System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
US9530407B2 (en) 2014-06-11 2016-12-27 Honeywell International Inc. Spatial audio database based noise discrimination
US20160071526A1 (en) * 2014-09-09 2016-03-10 Analog Devices, Inc. Acoustic source tracking and selection
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9369186B1 (en) * 2014-12-04 2016-06-14 Cisco Technology, Inc. Utilizing mobile devices in physical proximity to create an ad-hoc microphone array
US10334390B2 (en) * 2015-05-06 2019-06-25 Idan BAKISH Method and system for acoustic source enhancement using acoustic sensor array
CN106297809A (zh) * 2015-05-29 2017-01-04 杜比实验室特许公司 基于远端用户控制的音频信号处理
US10255285B2 (en) 2015-08-31 2019-04-09 Bose Corporation Predicting acoustic features for geographic locations
JP6625383B2 (ja) * 2015-09-18 2019-12-25 株式会社ディーアンドエムホールディングス コンピュータで読み取り可能なプログラム、オーディオコントローラ、およびワイヤレスオーディオシステム
JP6551155B2 (ja) * 2015-10-28 2019-07-31 株式会社リコー 通信システム、通信装置、通信方法およびプログラム
US20170134853A1 (en) * 2015-11-09 2017-05-11 Stretch Tech Llc Compact sound location microphone
US9947316B2 (en) * 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10063965B2 (en) * 2016-06-01 2018-08-28 Google Llc Sound source estimation using neural networks
US10482899B2 (en) * 2016-08-01 2019-11-19 Apple Inc. Coordination of beamformers for noise estimation and noise suppression
US10409548B2 (en) * 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources
US10170134B2 (en) * 2017-02-21 2019-01-01 Intel IP Corporation Method and system of acoustic dereverberation factoring the actual non-ideal acoustic environment
US10074356B1 (en) * 2017-03-09 2018-09-11 Plantronics, Inc. Centralized control of multiple active noise cancellation devices
US11183181B2 (en) * 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10297267B2 (en) * 2017-05-15 2019-05-21 Cirrus Logic, Inc. Dual microphone voice processing for headsets with variable microphone array orientation
US9866308B1 (en) 2017-07-27 2018-01-09 Quantenna Communications, Inc. Composite WiFi and acoustic spatial diagnostics for smart home management
US10580411B2 (en) * 2017-09-25 2020-03-03 Cirrus Logic, Inc. Talker change detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329702A (ja) 2006-06-08 2007-12-20 Toyota Motor Corp 受音装置と音声認識装置とそれらを搭載している可動体
JP2014207589A (ja) 2013-04-15 2014-10-30 シャープ株式会社 音声入力装置、および画像表示装置
WO2015029296A1 (ja) 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声認識方法及び音声認識装置
JP2017500785A (ja) 2013-11-22 2017-01-05 アップル インコーポレイテッド ハンズフリー・ビームパターン構成

Also Published As

Publication number Publication date
US10721560B2 (en) 2020-07-21
EP3777233A1 (en) 2021-02-17
US20190320260A1 (en) 2019-10-17
WO2019200038A1 (en) 2019-10-17
US10524048B2 (en) 2019-12-31
US20200092644A1 (en) 2020-03-19
CN112020864A (zh) 2020-12-01
JP2021520141A (ja) 2021-08-12
CN112020864B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
JP7119117B2 (ja) マイクロフォンアレイ内のインテリジェントビームステアリング
US11089402B2 (en) Conversation assistance audio device control
US10817251B2 (en) Dynamic capability demonstration in wearable audio device
US11809775B2 (en) Conversation assistance audio device personalization
US20200137487A1 (en) User-controlled beam steering in microphone array
CN105679302B (zh) 定向声音修改
US10922044B2 (en) Wearable audio device capability demonstration
KR102670118B1 (ko) 다중 스피커를 통한 다중 오디오 스트림 재생 관리
CN107465970B (zh) 用于语音通信的设备
JP6643818B2 (ja) 両耳用補聴システムにおける無指向性感知
US11438710B2 (en) Contextual guidance for hearing aid
WO2021064468A1 (en) Sound source localization with co-located sensor elements
KR102333476B1 (ko) 레이더 기반 음성 인식 서비스 장치 및 방법
KR102407872B1 (ko) 레이더 기반 음성 인식 서비스 장치 및 방법
CN117958654A (zh) 一种清洁机器人及其语音控制方法、装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220803

R150 Certificate of patent or registration of utility model

Ref document number: 7119117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150