JP7217572B2 - 分散マイクロホンシステムを構成するための方法及びコントローラ - Google Patents

分散マイクロホンシステムを構成するための方法及びコントローラ Download PDF

Info

Publication number
JP7217572B2
JP7217572B2 JP2021515191A JP2021515191A JP7217572B2 JP 7217572 B2 JP7217572 B2 JP 7217572B2 JP 2021515191 A JP2021515191 A JP 2021515191A JP 2021515191 A JP2021515191 A JP 2021515191A JP 7217572 B2 JP7217572 B2 JP 7217572B2
Authority
JP
Japan
Prior art keywords
audio data
microphone device
microphone
historical audio
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021515191A
Other languages
English (en)
Other versions
JP2021532697A (ja
Inventor
ジェローム エドゥアルド マエス
デ スルイス バルテル マリヌス ヴァン
ペーター ダイクスラー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of JP2021532697A publication Critical patent/JP2021532697A/ja
Application granted granted Critical
Publication of JP7217572B2 publication Critical patent/JP7217572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Transmitters (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、分散マイクロホンシステムを構成する(configure)ための方法、及び該方法を実行するためのコンピュータプログラムプロダクトに関する。本発明はさらに、分散マイクロホンシステムを構成するためのコントローラに関する。
スマートスピーカ及び音声制御システムが、ホームドメインにおいてよく知られている。これらのシステムは、ユーザからのオーディオ入力を聞く1つ以上のマイクロホンデバイス(例えば、スマートスピーカ)を含む。このようなシステムは、ユーザが、発声制御コマンド(spoken control command)を提供することによりデバイスを制御することを可能にする、又は、質問することを可能にし、これに応じて、システムは回答を応え得る。このシステムがネットワークを介して接続される2つのマイクロホンデバイスを含む場合、ユーザコマンド(例えば、「照明をつけて」、「天気予報を教えて」、「卵のゆで方を教えて」)は、これらのデバイスのうちの2つ以上のデバイスによって拾われる可能性がある。この場合、システムは、両方のマイクロホンデバイスにおけるユーザコマンド/質問の音の強さを決定し、システムは、制御コマンドを実行する又は質問に応答するために音の強さが最も大きかったマイクロホンデバイスを選択する。このようなシステムが複数のマイクロホンデバイスを含む場合、ネットワークを介して通信されるデータ量及び必要なコンピューティングリソースが大幅に増加する。
本発明者らは、マイクロホンデバイス(例えば、(家庭/オフィス/屋外)空間に分散されるマイクロホン)の数が増えると、ネットワークトラフィック及びコンピューティングリソースの量も増加することを認識した。斯くして、音声制御システムを例えばオフィス又は屋外環境にスケールアップするために、オーディオデータの通信及び/又は処理のためのネットワークトラフィック及び/又はコンピューティングリソースの量を減らすための追加の手段が必要とされる。それゆえ、本発明の目的は、異なるマイクロホンデバイスからの大量のオーディオデータを処理することができる分散マイクロホンシステムを提供することである。
本発明の第1の態様によれば、前記目的は、ネットワークを介して接続される複数のマイクロホンデバイスを含む分散マイクロホンシステムを構成するための方法であって、当該方法は、
複数のマイクロホンデバイスのうちの第1のマイクロホンデバイスから受ける第1の履歴的な(historical)オーディオデータを分析することと、
複数のマイクロホンデバイスのうちの第2のマイクロホンデバイスから受ける第2の履歴的なオーディオデータを分析することと、
第1の履歴的なオーディオデータ及び第2の履歴的なオーディオデータを比較して、第1の履歴的なオーディオデータと第2の履歴的なオーディオデータとの間の差異を識別することと、
第1の履歴的なオーディオデータと第2の履歴的なオーディオデータとの間の差異に基づいて第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスに優先レベル(priority level)を割り当てることと、
を含み、優先レベルは、それぞれ(respectively)第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスによって録られる将来のオーディオデータを分析するための優先ルール(priority rule)を示す、及び/又は、優先レベルは、それぞれ第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスから将来のオーディオデータをネットワークを介して通信するための通信ルールを示す、方法によって達成される。
本発明者らは、複数のマイクロホンデバイスから受ける履歴的なオーディオデータを分析することにより、マイクロホンデバイスの過去の使用(prior usage)、又は少なくともこれらのマイクロホンデバイスの関連する過去の使用が決定されることができることを認識した。この(関連する)使用に基づいて、オーディオデータを分析するためのネットワークトラフィック及び/又はコンピューティングリソースの量を削減するために、マイクロホンデバイスに優先順位が付けられる。
まず、複数のマイクロホンデバイスからの履歴的なオーディオデータが取得される。履歴的なオーディオデータは、ローカルに(例えば、中央コントローラ、マイクロホンデバイス、ローカルメモリ等に)記憶されてもよく、又は、リモートに記憶され、例えばインターネットを介してアクセス可能であってもよい。複数のマイクロホンデバイスからの履歴的なオーディオデータが分析された後、マイクロホンデバイスからの履歴的なオーディオデータ間の差異が決定される。これらの差異に基づいて、第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイス(及びそれに伴う第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスからの将来のオーディオデータ)に優先レベルが割り当てられる。これらの優先レベルを割り当てることにより、あるマイクロホンデバイスは、他のマイクロホンデバイスと比較して、より高い優先レベル/優先値を有し得る。斯くして、優先レベルを割り当てた後、マイクロホンからの将来のオーディオデータは、優先レベルに基づいて分散マイクシステムによって扱われる。優先レベルは、それぞれのマイクロホンデバイスの将来のオーディオデータを扱うための指示(instruction)を含む1つ以上のルールとして定義されてもよい。優先レベルは、あるマイクロホンデバイスの履歴的なオーディオデータと他のマイクロホンデバイスの履歴的なオーディオデータとの間の差異に基づく当該マイクロホンデバイスによって録られる将来のオーディオデータを分析するための優先ルールを示してもよい。この結果、例えば、第1のマイクロホンデバイスの(将来の)オーディオデータは、他のマイクロホンデバイスの(将来の)オーディオデータよりも先に処理されることになる、又は、より多くの処理リソースが、第1のマイクロホンデバイスの(将来の)オーディオデータに専用のものとされてもよい。追加的又は代替的に、優先レベルは、あるマイクロホンデバイスの履歴的なオーディオデータと他のマイクロホンデバイスの履歴的なオーディオデータとの間の差異に基づく当該マイクロホンデバイスによって録られる将来のオーディオデータを通信するための通信ルールを示してもよい。これは、複数のマイクロホンデバイスからのオーディオデータを処理するために必要とされるコンピューティングリソースが最適化及び/又は低減されるので、有益である。この結果、例えば、第1のマイクロホンデバイスの(将来の)オーディオデータは、別のマイクロホンデバイスの(将来の)オーディオデータよりも先にネットワークを介して通信される、又は、特定のオーディオデータは、限定された形態でネットワークを介して通信される、若しくは全く通信されなくてもよい。これは、複数のマイクロホンデバイスからオーディオデータを通信するために必要とされるネットワークリソース及び/又はネットワークトラフィックが低減されるので、有益である。
通信ルールは、ネットワークを介してそれぞれのマイクロホンデバイスから通信されるオーディオデータの許容数、頻度、レイテンシ、品質及び/又はサイズを定義してもよい。通信ルールは、ネットワークを介して共有される将来のオーディオデータの量を限定してもよい。この限定は、マイクロホンデバイスに対するオーディオデータ共有ルールを制限することによって、例えば、オーディオデータの数及び/又は品質/サイズを減らすことによって実現されてもよい。これは、オーディオデータが共有されるべき方法(way)を制御することを含んでもよい。これは、例えば、マイクロホンデバイスがオーディオデータをローカルに処理し、オーディオデータに関する情報(例えば、会話のテキストトランスクリプト、又は、人が咳をしている、叫んでいる、話している等のコンテキスト関連情報)のみを共有することを示すためのマイクロホンデバイスへの指示を含んでもよい。これは、複数のマイクロホンデバイスからオーディオデータを通信するために必要とされるネットワークリソースが低減されるので、有益である。
方法はさらに、それぞれ第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスに通信ルールを通信することを含んでもよい。方法が、例えば、分散ネットワークシステムの中央コントローラによって実行される実施形態では、中央コントローラは、第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスから将来のオーディオデータを通信するための指示を提供するために通信ルールをそれぞれのマイクロホンデバイスに通信してもよい。通信ルールは、例えば、ネットワークを介して共有される将来のオーディオデータの量を限定してもよい。これは、複数のマイクロホンデバイスから中央コントローラへオーディオデータを通信するために必要とされるネットワークリソース及び/又はネットワークトラフィックが低減されるので、有益である。
第1の履歴的なオーディオデータを分析するステップは、第1の履歴的なオーディオデータにおける異なるタイプのオーディオを識別するために第1の履歴的なオーディオデータを分析することを含んでもよい。第2の履歴的なオーディオデータを分析するステップは、第2の履歴的なオーディオデータにおける異なるタイプのオーディオを識別するために第2の履歴的なオーディオデータを分析することを含んでもよい。方法はさらに、第1の履歴的なオーディオデータの異なるタイプのオーディオを1つ以上のオーディオクラスの第1のセットに分類することと、第2の履歴的なオーディオデータの異なるタイプのオーディオを1つ以上のオーディオクラスの第2のセットに分類することとを含んでもよい。第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスへの優先レベルの割り当てはさらに、それぞれオーディオクラスの第1のセット及びオーディオクラスの第2のセットに基づいてもよい。オーディオクラスは、例えば、背景雑音、(建物/屋外)インフラストラクチャによって発生される非スピーチ(non-speech)オーディオ、ユーザによって発生される非スピーチオーディオ、背景スピーチ(background speech)、音声制御(voice-controlled)デバイスを制御するための音声コマンド(voice command)、音声制御(voice-controlled)サービスを要求するための音声コマンド、及び/又は、音声操作(voice-operated)システム、アシスタント(assistant)又はサービスをトリガするためのウェイクワードを含んでもよい。これにより、異なるマイクロホンデバイスで検出される異なるタイプのオーディオを区別し、それに基づいてマイクロホンデバイスに優先順位を付けることができる。例えば、第1のマイクロホンデバイスが主に背景雑音を録り、第2のマイクロホンデバイスが主にユーザのスピーチを録った場合、第2のマイクロホンにより高い優先レベルで割り当てられてもよい。
第1の履歴的なオーディオデータを分析するステップは、第1のマイクロホンデバイスにおける第1のユーザプレゼンスレベルを識別するために第1の履歴的なオーディオデータを分析することを含んでもよい。第2の履歴的なオーディオデータを分析するステップは、第2のマイクロホンデバイスにおける第2のユーザプレゼンスレベルを識別するために第2の履歴的なオーディオデータを分析することを含んでもよい。第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスへの優先レベルの割り当てはさらに、第1のユーザプレゼンスレベル及び第2のユーザプレゼンスレベルに基づいてもよい。履歴的なユーザプレゼンスレベルは、履歴的なオーディオデータを分析して、ユーザが発生させる音(例えば、足音、声等)又はパーソナルユーザデバイスが発生させる音(例えば、着信音、振動、レンダリングされたオーディオコンテンツ)等、ユーザに関連する音を認識することによって決定されてもよい。例えば、第1のマイクロホンデバイスにおけるユーザプレゼンスが第2のマイクロホンデバイスにおけるユーザプレゼンスよりも高い場合、第1のマイクロホンデバイスに第2のマイクロホンデバイスよりも高い優先レベルが割り当てられてもよい。マイクロホンデバイスにおける履歴的なユーザプレゼンスに基づいて優先レベルを決定することは、存在する人が少なかった(及び今後その可能性が高い)場合のオーディオデータに対してネットワークリソース及び/又はコンピューティングリソースの量を減らすことができるので、有益である。
方法はさらに、
第1の履歴的なオーディオデータ、第2の履歴的なオーディオデータ及び第3の履歴的なオーディオデータに基づいて第1のマイクロホンデバイス、第2のマイクロホンデバイス及び第3のマイクロホンデバイスに対する1人以上のユーザの1つ以上のロケーションを決定することと、
第1のマイクロホンデバイス、第2のマイクロホンデバイス及び第3のマイクロホンデバイスに対するユーザのロケーションに基づいて第1のマイクロホンデバイス、第2のマイクロホンデバイス及び/又は第3のマイクロホンデバイスに優先レベルを割り当てることと、
を含んでもよい。
言い換えれば、優先レベルはさらに、ユーザがエリア内のどこに位置するかに基づいて決定されてもよい。第1のマイクロホンデバイス、第2のマイクロホンデバイス及び第3のマイクロホンデバイスに対するユーザの履歴的なロケーションが比較され、(例えば、三辺測量(trilateration)を使用して)ユーザの正確なロケーションを決定するためにマイクロホンに対するユーザの距離及び方向を決定するためにユーザに関連する音の強度を決定するために使用されてもよい。マイクロホンデバイスにおける履歴的なユーザロケーションに基づいて優先レベルを決定することは、存在する人が少なかった(及び今後その可能性が高い)場合のオーディオデータに対してネットワークリソース及び/又はコンピューティングリソースの量を減らすことができるので、有益である。
方法はさらに、
経時的な1人以上のユーザのロケーションに基づいて第1のマイクロホンデバイス、第2のマイクロホンデバイス及び第3のマイクロホンデバイスに対する経時的な1人以上のユーザの1つ以上の軌跡を決定することと、
さらに1人以上のユーザの1つ以上の軌跡に基づいて第1のマイクロホンデバイス、第2のマイクロホンデバイス及び/又は第3のマイクロホンデバイスに優先レベルを割り当てることと、
を含んでもよい。軌跡は、経時的なユーザの位置を決定することによって決定されてもよい。複数のマイクロホンのオーディオデータが、同様の音(例えば、足音、ユーザの声等)を識別し、それらが同じユーザに由来すると判断するために分析されてもよい。これらのオーディオフラグメントに三辺測量を適用することにより、ある瞬時におけるユーザの位置が決定されることができる。この位置が経時的に変化する場合、これは、ユーザが移動していることを示している。これにより、ユーザの軌跡(及び速度)を検出することができる。複数のユーザの軌跡が、履歴的なオーディオデータが録られた期間にわたり検出されてもよい。軌跡(及び速度)は、マイクロホンデバイスの優先レベルを決定するために使用されてもよい。例えば、1人以上のユーザがめったに通らないロケーション/経路に位置するマイクロホンデバイスは、1人以上のユーザが通ったことがあるロケーション/経路に位置するマイクロホンデバイスよりも低い優先レベルが割り当てられてもよい。
方法はさらに、
第1のマイクロホンデバイス及び第2のマイクロホンデバイスのロケーションを取得することと、
第1のマイクロホンデバイス及び第2のマイクロホンデバイスのそれぞれのロケーションに基づいて第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスに優先レベルを割り当てることと、
を含んでもよい。第1及び第2のマイクロホンデバイスのロケーションは、例えば、あらかじめ定義されてもよく、又は、ロケーションに関する情報が、(屋内/屋外)測位システムから受けられてもよい。ロケーションは、(リモート)メモリから取得されてもよい。何らかのマイクロホンデバイスは、他のロケーションに比べてユーザが発生させるオーディオが検出される可能性が高いロケーションに位置する可能性があるので、マイクロホンデバイスのロケーションに基づいて優先レベルを割り当てることは有益である。
第1の履歴的なオーディオデータを分析するステップは、第1の履歴的なオーディオデータに基づいて1つ以上の第1のユーザアクティビティを識別するために第1の履歴的なオーディオデータを分析することを含んでもよい。第2の履歴的なオーディオデータを分析するステップは、第2の履歴的なオーディオデータに基づいて1つ以上の第2のユーザアクティビティを識別するために第2の履歴的なオーディオデータを分析することを含んでもよい。第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスへの優先レベルの割り当てはさらに、1つ以上の第1のユーザアクティビティ及び1つ以上の第2のユーザアクティビティに基づいてもよい。履歴的なユーザアクティビティは、ユーザアクティビティを示すオーディオフラグメントについてオーディオデータを分析することにより履歴的なオーディオデータから導出されてもよく、優先レベルは、それぞれのマイクロホンデバイスにおける識別されたアクティビティに基づいて割り当てられてもよい。特定のユーザアクティビティについて、オーディオデータの分析は必要ない可能性があるので、マイクロホンデバイスにおけるユーザアクティビティに基づいて優先レベルを決定することは有益である。
方法はさらに、
第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスに関連するプレゼンスセンサからプレゼンス信号を受信することと、
プレゼンス信号に応答してそれぞれ第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスの優先レベルを調整することと、
を含んでもよい。プレゼンスセンサは、1つ以上のマイクロホンデバイスの近傍に位置してもよく、マイクロホンデバイスの優先レベルは、プレゼンスセンサがユーザによってトリガされる場合に調整/オーバールール(overrule)されてもよい。調整された優先レベルは、所定の期間(例えば、1分、15分、1時間、1日等)の間アクティブであってもよく、又は、調整は、存在が検出される場合に(のみ)アクティブであってもよい。方法はさらに、所定の期間後、及び/又は、存在がプレゼンスセンサによって検出されなくなると、以前の優先レベルに戻ることを含んでもよい。例えば、マイクロホンデバイスが低い優先レベルを有し、該マイクロホンデバイスに関連するプレゼンスセンサがトリガされる場合、優先レベルが上げられてもよい。これは、ユーザが存在しない場合にネットワークリソース及び/又はコンピューティングリソースを節約し、ユーザが存在する場合にシステムの機能性が高められるので、有益である。
方法はさらに、
ネットワークのネットワーク容量のインディケーションを受けることと、
ネットワークのネットワーク容量に基づいて第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスの優先レベルを調整することと、
を含んでもよい。ネットワーク容量(例えば、利用可能な帯域幅)は、現在のネットワークトラフィック量に基づいて変化する可能性がある。ネットワークリソース/コンピューティングリソースと分散マイクロホンシステムの機能性とのバランスを取るために(現在の)ネットワーク容量に基づいて優先レベルを調整することは有益であり得る。
本発明の第2の態様によれば、前記目的は、コンピューティングデバイスのためのコンピュータプログラムプロダクトであって、コンピュータプログラムプロダクトがコンピューティングデバイスの処理ユニットで実行された場合、上述した方法を実行するためのコンピュータプログラムコードを含む、コンピュータプログラムプロダクトにより達成される。
本発明の第3の態様によれば、前記目的は、ネットワークを介して接続される複数のマイクロホンデバイスを含む分散マイクロホンシステムを構成するためのコントローラであって、当該コントローラは、
複数のマイクロホンデバイスのうちの第1のマイクロホンデバイスから第1の履歴的なオーディオデータを受ける、及び、複数のマイクロホンデバイスのうちの第2のマイクロホンデバイスから第2の履歴的なオーディオデータを受けるように構成される通信モジュールと、
第1の履歴的なオーディオデータを分析する、第2の履歴的なオーディオデータを分析する、第1の履歴的なオーディオデータ及び第2の履歴的なオーディオデータを比較して、第1の履歴的なオーディオデータと第2の履歴的なオーディオデータとの間の差異を識別する、及び、第1の履歴的なオーディオデータと第2の履歴的なオーディオデータとの間の差異に基づいて第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスに優先レベルを割り当てるように構成されるプロセッサと、
を含み、優先レベルは、それぞれ第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスによって録られる将来のオーディオデータを分析するための優先ルールを示す、及び/又は、優先レベルは、それぞれ第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスから将来のオーディオデータをネットワークを介して通信するための通信ルールを示す、コントローラによって達成される。
コントローラは、第1のマイクロホンデバイスに含まれてもよく、通信モジュールは、第1のマイクロホンデバイスに含まれるマイクロホンから第1の履歴的なオーディオデータを受けるように構成されてもよい。これは、第1のマイクロホンデバイスが、自身の(及び/又は第2のマイクロホンデバイス)の優先レベルを、両方のマイクロホンデバイスの履歴的なオーディオデータの差異に基づいて決定することを可能にする。これは、優先レベルを決定するための中央コントローラが必要ないので有益である。代替的に、コントローラは、分散マイクロホンシステムの中央コントローラに含まれてもよい。
本発明の第4の態様によれば、前記目的は、
上述したコントローラを含む中央コントローラと、
第1の履歴的なオーディオデータを中央コントローラに通信するように構成される第1のマイクロホンデバイスと、
第2の履歴的なオーディオデータを中央コントローラに通信するように構成される第2のマイクロホンデバイスと、
を含む、システムによって達成される。
システムは、中央コントローラを含む照明システムであってもよく、マイクロホンデバイスは、照明システムの照明デバイス/照明器具に含まれてもよい。照明システムの照明器具は、(オフィス/屋外)空間にわたり均等に分散されることがよくあり、音検出のための良好なカバレッジを提供するので、マイクロホンデバイスを照明システムに組み込むことは有益である。追加的に、照明器具は、マイクロホンデバイスのための電源接続を提供してもよい。
コンピュータプログラムプロダクト、コントローラ及びシステムは、上述した方法と同様及び/又は同一の実施形態及び利点を有し得ることを理解されたい。
開示されたシステム、デバイス及び方法の上記の及び追加の目的、特徴及び利点は、添付の図面を参照して、デバイス及び方法の実施形態の以下の例示的且つ非限定的な詳細な説明を通してよりよく理解されるであろう。
図1は、複数のマイクロホンデバイスと、マイクロホンデバイスを構成するためのコントローラとを含む分散マイクロホンシステムの一実施形態を概略的に示す。 図2は、1つのマイクロホンデバイスが、複数のマイクロホンデバイスのうちの1つ以上を構成するためのコントローラを含む、複数のマイクロホンデバイスの一実施形態を概略的に示す。 図3aは、複数のマイクロホンデバイスを含む分散マイクロホンシステムの上面図を概略的に示す。 図3bは、図3aの分散マイクシステムの第1のタイプの履歴的なオーディオデータのヒートマップを概略的に示す。 図3cは、図3aの分散マイクシステムの第2のタイプの履歴的なオーディオデータのヒートマップを概略的に示す。 図4は、ネットワークを介して接続される複数のマイクロホンデバイスを含む分散マイクロホンシステムを構成する方法を概略的に示す。
すべての図は概略的であり、必ずしも縮尺どおりではなく、一般に、本発明を明らかにするために必要な部分のみを示し、他の部分は省略されるか、単に示唆される場合がある。
図1は、複数のマイクロホンデバイス110、120と、マイクロホンデバイス110、120を構成するためのコントローラ100とを含む分散マイクロホンシステムの一実施形態を概略的に示す。コントローラ100は、第1のマイクロホンデバイス110から第1の履歴的なオーディオデータ112を受ける、及び、第2のマイクロホンデバイス120から第2の履歴的なオーディオデータ122を受けるように構成される通信モジュール102を含む。コントローラはさらに、第1の履歴的なオーディオデータ112を分析する、及び、第2の履歴的なオーディオデータ122を分析するように構成されるプロセッサ104を含む。プロセッサ104はさらに、第1の履歴的なオーディオデータ112及び第2の履歴的なオーディオデータ122を比較して、第1の履歴的なオーディオデータ112と第2の履歴的なオーディオデータ122との間の差異を識別するように構成される。プロセッサ104はさらに、前記差異に基づいて第1のマイクロホンデバイス110に優先レベルを割り当てる及び/又は第2のマイクロホンデバイス120に(異なる)優先レベルを割り当てるように構成される。優先レベルは、それぞれ、第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスによって録られる将来のオーディオデータを分析するための優先ルールを示す。追加的又は代替的に、優先レベルは、それぞれ、第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスから将来のオーディオデータをネットワークを介して通信するための通信ルールを示す。
コントローラ100は、分散マイクロホンシステムの中央コントローラ(図1参照)に含まれ、分散マイクロホンシステムの複数のマイクロホンデバイス110、120からオーディオデータを受けるように構成されてもよい。代替的に、コントローラ100は、分散マイクロホンシステムのマイクロホンデバイス110(後述の図2参照)に含まれてもよい。
分散マイクロホンシステムは、空間(家庭、オフィス、屋外環境等)にわたり分散される複数のマイクロホンデバイスを含んでもよい。各マイクロホンデバイスは、少なくともマイクロホンと、ネットワークを介してオーディオデータを通信するための通信モジュールとを含む。オーディオデータは、直接又は間接的に、中央コントローラ(図1参照)及び/又はネットワーク内の別のマイクロホンデバイス(図2参照)に通信されてもよい。分散マイクロホンシステムのマイクロホンデバイスの数(少なくとも2つ、3つ、10等)は、システム要件に依存してもよい。例えば、(オープン)オフィス空間又は屋外空間は、例えば、照明器具又はランプポストに組み込まれてもよい、及び、照明システムの一部であってもよい、マイクロホンデバイスのアレイを含んでもよい。マイクロホンからのオーディオデータは、例えば、照明システムの照明デバイスを制御するために使用されてもよい。
コントローラ100の通信モジュール102は、第1のマイクロホンデバイス110及び第2のマイクロホンデバイス120から履歴的なオーディオデータを受けるように構成される。履歴的なオーディオデータは、ある期間(例えば、1日、1週間、1ヶ月等)にわたって録られ記憶されるオーディオデータを含む。通信モジュール102は、ネットワークを介して(例えば、ZigBee、Bluetooth、Thread、Ethernet、PLC、Wi-Fi等を介して)、マイクロホンデバイス110、120から直接オーディオデータを受け、マイクロホンデバイス110、120の履歴的なオーディオデータを生成するためにある期間にわたってオーディオデータをメモリ106に記憶してもよい。メモリ106は、コントローラ100に含まれてもよく、又は、コントローラ100からリモートに位置し、ネットワークを介してアクセス可能であってもよい。追加的又は代替的に、マイクロホンデバイスは、履歴的なオーディオデータを生成するためにある期間にわたってそれぞれのオーディオデータを記憶するためのメモリを含んでもよい。マイクロホンデバイスの通信モジュールは、(例えば、コントローラ100による要求に応じて)履歴的なオーディオデータを直接又は間接的に(例えば、サーバ130を介して)共有してもよい。追加的又は代替的に、マイクロホンデバイスは、ある期間にわたってオーディオデータをサーバ130に通信/ストリーミングするように構成されてもよく、履歴的なオーディオデータは、サーバ130に記憶され、後に(例えば、要求に応じて)コントローラ100に通信されてもよい。マイクロホンデバイスの履歴的なオーディオデータを取得する上述の例は単なる例であり、当業者は、添付の特許請求の範囲から逸脱することなく、履歴的なオーディオデータを取得するための代替例を設計することができることを理解されたい。
プロセッサ104は、マイクロホンデバイス110、120の履歴的なオーディオデータ112、122を分析するように構成される。オーディオ信号から情報及び意味(meaning)を抽出するためのオーディオ分析技術(音声認識、自然言語処理、ノイズ検出、パターン認識等)は、当技術分野で知られており、それゆえ詳細には述べられない。プロセッサ104はさらに、マイクロホンデバイス110、120のそれぞれの履歴的なオーディオデータセット112、122の間の差異を識別するように構成される。これらの差異は、例えば、ある期間にわたり受信された異なるタイプのオーディオのオーディオフラグメントの量に関してもよい。
プロセッサ104は、それぞれの履歴的なオーディオデータの間の差異に基づいて第1及び第2のマイクロホンデバイスのうちの少なくとも1つに優先レベルを割り当てるように構成される。優先レベルは、マイクロホンデバイスについての優先ルールを示してもよい。優先ルールは、例えば、異なるマイクロホンデバイスからの将来のオーディオデータを分析する順序(order)/シーケンスを示してもよい。それぞれの履歴的なオーディオデータの差異に基づいて、例えば、第1のマイクロホンデバイス110には、高い優先度を示す優先ルールが割り当てられ、第2のマイクロホンデバイス120には、低い優先度を示す優先ルールが割り当てられてもよい。その結果、第1のマイクロホンデバイス110の将来のオーディオデータは、(例えば、分散マイクロホンシステムの中央コントローラによって)第2のマイクロホンデバイス120の将来のオーディオデータよりも先に分析されてもよい。
優先レベルは、ネットワークを介してマイクロホンデバイスから将来のオーディオデータを通信するための通信ルールを示してもよい。通信ルールは、マイクロホンデバイスのデータ共有プラン(data sharing plan)を示してもよく、データ共有プランは、ネットワークを介してマイクロホンデバイスによって通信されることが許可されるオーディオデータ/メッセージの数、頻度、レイテンシ、品質及び/又はサイズに関する指示を含んでもよい。コントローラ100が分散マイクロホンシステムの中央コントローラに含まれる実施形態では、コントローラ100は、通信ルールをマイクロホンデバイスに伝達してもよい。コントローラ100が第1のマイクロホンデバイス110(図2参照)に含まれる実施形態では、プロセッサ104は、自身のマイクロホンデバイスのための通信ルールを決定し、その後、それに応じてネットワークを介して将来のオーディオデータを通信してもよい。追加的又は代替的に、第1のマイクロホンデバイス110のプロセッサ104は、履歴的なオーディオデータの間の差異に基づいて第2のマイクロホンデバイス120のための通信ルールを決定し、それに応じて第2のマイクロホンデバイスが将来のオーディオデータを通信するように、第2のマイクロホンデバイス120に通信ルールを伝達してもよい。
プロセッサ104は、例えば、第1の履歴的なオーディオデータ112が、第2の履歴的なオーディオデータ122に比べてより多くの発声制御コマンド(例えば、照明制御コマンド)を含むことを判断してもよい。プロセッサ104はさらに、第2の履歴的なオーディオデータ122が、第1の履歴的なオーディオデータ112に比べてより多くの背景雑音を含むことを判断してもよい。これらの違いの理由は、第1のマイクロホンデバイス110が、空間内で制御可能なデバイスの近くに位置するのに対し、第2のオーディオデバイス120が、該空間の隅に位置していることであり得る。結果として、プロセッサ104は、第2のマイクロホンデバイス120よりも高い優先値を第1のマイクロホンデバイス110に割り当ててもよい。第2のマイクロホンデバイス120に対する優先レベルは、例えば、ネットワークを介して共有されてもよい第2のマイクロホンデバイス120からの将来のオーディオデータの量を限定する通信ルールを示してもよい。例えば、ネットワークを介して第2のマイクロホンデバイス120から通信される将来のオーディオデータの数、頻度、品質及び/又はサイズが制限されてもよい。例えば、将来のオーディオデータのパケット/メッセージの数が限定されてもよい、オーディオデータ(例えば、パケット/メッセージ)を通信する頻度が限定されてもよい、オーディオデータを通信するためのレイテンシが増加されてもよい、オーディオの品質/サイズ(例えばビット/秒)が減少されてもよい、等々であってもよい。
別の例では、プロセッサ104は、第1の履歴的なオーディオデータ112が、第2の履歴的なオーディオデータ122に比べてより多くの(例えば、ユーザアクティビティ又はユーザプロファイルを推論するために使用され得る)会話を含むことを判断してもよい。プロセッサ104はさらに、第2の履歴的なオーディオデータ122が、第1の履歴的なオーディオデータ112に比べて、音声操作システム、アシスタント又はサービス(例えば、音声制御デジタルアシスタント)をトリガする(「ウェイクアップする」)ためのより多くのウェイクワード、及び、ユーザの質問/クエリ(例えば、「地球はどのくらい重いのか」、「タイマを10分に設定して」、「ブロッコリーを買い物リストに追加して」等)を含むより多くのデバイス制御コマンドを含むことを判断してもよい。これらの違いの理由は、第1のマイクロホンデバイス110が、空間内の共有エリアに位置するのに対し、第2のオーディオデバイス120は、制御されるためにウェイクワードを必要とするスマートスピーカの近くに位置していることであり得る。結果として、プロセッサ104は、第2のマイクロホンデバイス120とは異なる優先レベルを第1のマイクロホンデバイス110に割り当ててもよい。第1のマイクロホンデバイス110の優先レベルは、例えば、ユーザプロファイリング及び/又はユーザアクティビティの検出が当該エリアでは必要とされない可能性があるので、将来のオーディオデータのサイズを限定する通信ルールを示してもよく、第2のマイクロホンデバイス120の優先レベルは、第2のマイクロホンデバイス120が、ウェイクワード及びその後のユーザの質問/クエリの検出を向上させるために高品質の将来のオーディオデータを共有することを可能にする通信ルールを示してもよい。
図2は、複数のマイクロホンデバイス110、120と、第1のマイクロホンデバイス110に含まれるコントローラ100とを含む分散マイクロホンシステムを示している。コントローラ100は、第1のマイクロホンデバイス110のマイクロホン208から第1の履歴的なオーディオデータ112を受ける、及び、第2のマイクロホンデバイス120から第2の履歴的なオーディオデータ122を受けるように構成される通信モジュール102を含む。プロセッサ104は、第1の履歴的なオーディオデータを内部/外部メモリに記憶してもよい。コントローラ100はさらに、第1の履歴的なオーディオデータ112を分析する、及び、第2の履歴的なオーディオデータ122を分析するように構成されるプロセッサ104を含む。プロセッサ104はさらに、第1の履歴的なオーディオデータ112及び第2の履歴的なオーディオデータ122を比較して、第1の履歴的なオーディオデータ112と第2の履歴的なオーディオデータ122との間の差異を識別するように構成される。プロセッサ104はさらに、前記差異に基づいて第1のマイクロホンデバイス110に優先レベルを割り当てる及び/又は第2のマイクロホンデバイス120に(異なる)優先レベルを割り当てるように構成される。プロセッサ104は、自身のマイクロホンデバイス110のための優先レベルを決定し、該優先レベルを別のマイクロホンデバイス又は分散マイクロホンシステムの中央コントローラに伝達してもよい。追加的又は代替的に、第1のマイクロホンデバイス110のプロセッサ104は、第2のマイクロホンデバイス120のための優先レベルを決定し、ネットワークを介して、該優先レベルを第2のマイクロホンデバイス120及び/又は中央コントローラに伝達してもよい。
プロセッサ104はさらに、履歴的なオーディオデータ112、122を分析して、オーディオデータにおける異なるタイプのオーディオを識別し、これらの異なるタイプのオーディオをそれぞれのマイクロホンデバイスごとのオーディオクラスのセットに分類するように構成されてもよい。プロセッサ104はさらに、それぞれの履歴的なオーディオデータにおける特定のオーディオクラスの存在に基づいて、及び、任意選択的に、特定のオーディオクラスがそれぞれの履歴的なオーディオデータにおいてどのくらい頻繁に発生するかに基づいて、それぞれのマイクロホンデバイスの優先レベルを決定してもよい。オーディオクラスの例としては、背景雑音/周囲雑音(マイクロホンデバイスによって監視されている音以外のあらゆる音)、人/ユーザによって発生される非スピーチオーディオ(例えば、足音、人の咳、ドアを開く/閉じる、タイピング音等)、(建物/屋外)インフラストラクチャによって発生される非スピーチオーディオ(例えば、(例えば、マイクロホンデバイスと同じ位置にある照明デバイスからの)電源によって、HVACシステムによってもたらされる(サブソニック(subsonic))オーディオ等)、背景スピーチ(音声制御システム又はサービスに向けられていないスピーチ、例えば、同じ空間に存在する人又は仮想的に存在する人に向けられたスピーチ)、音声制御デバイスを制御するための音声コマンド、音声制御サービスを要求するための音声コマンド(例えば、音声制御サービスによって回答され得るユーザの質問/クエリ)、音声操作システム、アシスタント又はサービスをトリガするためのウェイクワード、等が挙げられる。プロセッサ104は、例えば、第1のマイクロホンデバイス110の第1のオーディオデータ112及び第2のマイクロホンデバイス120の第2のオーディオデータ122を分析し、第1のオーディオデータ112が背景雑音及び/又は背景スピーチのみを含むのに対し、第2のオーディオデータ122が音声制御デバイスを制御するための音声コマンド及び/又は音声制御サービスを要求するための音声コマンドを含むことを判断してもよい。この判断に基づいて、プロセッサ104は、第2のマイクロホンデバイス120に高い優先レベルを設定し、第1のマイクロホンデバイス110に低い優先レベルを設定してもよい。
マイクロホンデバイスは、該マイクロホンデバイスが位置する空間に由来するオーディオだけでなく、例えば、隣接する空間に由来するオーディオを録ってもよい。プロセッサ104はさらに、単一のマイクロホンデバイスの履歴的なオーディオデータの特性に基づいて、第1の空間内の第1のソースに由来するオーディオと、第1の空間に隣接する第2の空間内の第2のソースに由来するオーディオとを区別するように構成されてもよい。プロセッサ104は、当該マイクロホンデバイスのための優先レベルを決定する際に第2の空間からのオーディオを無視するように構成されてもよい。代替的に、プロセッサ104は、第1のソースからのオーディオと第2のソースからのオーディオとの間の比率に基づいてマイクロホンデバイスの優先レベルを決定してもよい。例えば、第2の空間からのオーディオしか履歴的なオーディオデータに存在しない/ほとんど第2の空間からのオーディオしか履歴的なオーディオデータに存在しない場合、低い優先レベルが当該マイクロホンデバイスに割り当てられてもよく、その逆もまた然りである。
プロセッサ104はさらに、オーディオフラグメントが同じ瞬時に両方のマイクロホンデバイスによって録られる場合、及び、オーディオフラグメント間に十分なレベルの類似性がある場合、第1のマイクロホンデバイス110によって録られたオーディオフラグメントは、第2のマイクロホンデバイス120によって録られたオーディオフラグメントと同じソースに由来すると判断するように構成されてもよい。この場合、プロセッサ104は、オーディオフラグメントが同じソースに由来することを示す、両方のオーディオフラグメントの相関性(correlation)を記憶してもよい。プロセッサ104は、例えば、第1のマイクロホンデバイスで録られる音声コマンドが、同じ(履歴的な)瞬時に第2のマイクロホンデバイスによって録られた音声コマンドと同じであることを判断してもよい。
図3aは、空間内に複数のマイクロホンデバイスM1~M10を含む分散マイクロホンシステムの一例を示す。図3aはさらに、コーヒーマシン(M1の隣)、2つのテーブルのセット(M4及びM9)及びドア(M10の隣)を示している。図3bは、図3aのシステムと、ある期間にわたり複数のマイクロホンデバイスM1~M10によって検出された第1のタイプのオーディオを示すヒートマップとを示し、暗いエリアは、該期間にわたる第1のタイプのオーディオの検出が多いことを示している。図3Cは、図3aのシステムと、ある期間にわたり複数のマイクロホンデバイスM1~M10によって検出された第2のタイプのオーディオを示すヒートマップとを示し、暗いエリアは、該期間にわたる第2のタイプのオーディオの検出が多いことを示している。第1のタイプのオーディオは、例えば、ユーザによる背景スピーチであってもよい。プロセッサ104は、各マイクロホンにおける背景スピーチの量を決定してもよい。これは、図3bのヒートマップとして視覚化されている。第2のタイプのオーディオは、例えば、音声制御デバイスのためのユーザの制御コマンドであってもよい。プロセッサ104は、各マイクロホンにおける制御コマンドの量を決定してもよい。これは、図3cのヒートマップとして視覚化されている。これらの例では、マイクロホンデバイスM7及びM10は第1又は第2のタイプのオーディオをほとんど録っていないので、プロセッサ104は、これらのマイクロホンデバイスに最も低い優先レベルを割り当ててもよい。プロセッサ104はさらに、マイクロホンデバイスM1及びM2が(コーヒーマシンを制御するための可能性が高い)大量の制御コマンドを録っているので、これらのマイクロホンデバイスに高い優先レベルを割り当ててもよい。また、背景スピーチ(図3b参照)と制御コマンド(図3c参照)とを区別することが重要であり、これは、マイクロホンデバイスM1及びM2に高い優先レベルを割り当てる別の理由となり得る。プロセッサ104はさらに、残りのマイクロホンデバイスは制御コマンドを受けず、単に(入口、コーヒーマシン、及びテーブルにおける)背景スピーチを受けているので、これらのマイクロホンデバイスに中の(medium)優先レベルを割り当ててもよい。代替的に、例えば背景スピーチが無関係である実施形態では、プロセッサ104は、残りのマイクロホンデバイスにも低い優先レベルを割り当ててもよい。プロセッサ104は、検出されたオーディオのタイプをユーザに伝えるために使用され得るヒートマップを生成するように構成されてもよい。
プロセッサ104は、ユーザの存在に基づいてマイクロホンデバイスの優先レベルを決定するように構成されてもよい。プロセッサ104は、第1及び第2のマイクロホンデバイスの履歴的なオーディオデータを分析して、それぞれのマイクロホンデバイスにおけるユーザプレゼンスレベル(例えば、ユーザがどのくらいの頻度で存在するか、ユーザがマイクロホンデバイスの検出範囲内にどのくらいの時間滞在するか等)を決定してもよい。この場合、プロセッサ104は、それぞれのユーザプレゼンスレベルに基づいてそれぞれの優先レベルを決定してもよい。例えば、履歴的なオーディオデータが録られた期間中に第2のマイクロホンデバイス120に比べて第1のマイクロホンデバイス110により多くのユーザが存在していた場合、プロセッサ104は、第1のマイクロホンデバイス110により高い優先レベルを割り当ててもよい。
プロセッサ104はさらに、複数のマイクロホンデバイス110、120に対する1人以上のユーザのロケーションに基づいてマイクロホンデバイスの優先レベルを決定するように構成されてもよい。プロセッサ104はさらに、同じ瞬時に検出されたユーザ音の強度を比較することによって複数のマイクロホンデバイス110、120に対するユーザのロケーションを決定するように構成されてもよい。2つのマイクロホンデバイスで捕捉されるユーザが発生させる音の間の強度の差異を決定することは、ユーザがどのマイクロホンデバイスに最も近かったかを決定/推定するのに十分であり得る。この場合、プロセッサ104は、それに基づいてマイクロホンデバイスに優先レベルを割り当ててもよい。例えば、履歴的なオーディオデータが録られた期間中に第2のマイクロホンデバイス120に比べて第1のマイクロホンデバイス110の近くにより多くのユーザが位置していた場合、プロセッサ104は、第1のマイクロホンデバイス110により高い優先レベルを割り当ててもよい。追加的に、プロセッサ104は、複数のマイクロホンが位置する空間に対するこれら複数のマイクロホンの(予め定められた)ロケーションを示す情報を受けるように構成されてもよい。この情報は、例えば、屋内測位システム、建物情報モデル、マイクロホンデバイス等から得られてもよい。3つ以上のマイクロホンデバイスが、同じユーザが発生させる音を検出する場合、(当技術分野で知られている)三辺測量技術が、当該音をもたらしたユーザのより正確なロケーションを決定するために使用されることができる。
プロセッサ104はさらに、これらのマイクロホンデバイスの履歴的なオーディオデータに基づいて少なくとも3つのマイクロホンデバイスに対する経時的な1人以上のユーザの1つ以上の軌跡を決定するように構成されてもよい。複数のマイクロホンのオーディオデータが、同様の音(例えば、足音、ユーザの声等)を識別し、それらが同じユーザに由来すると判断するために分析されてもよい。これらのオーディオフラグメントに三辺測量を適用することにより、ある瞬時におけるユーザの位置が決定されることができる。この位置が経時的に変化する場合、これは、ユーザが移動していることを示している。これにより、ユーザの軌跡(及び速度)を検出することができる。複数のユーザの軌跡が、履歴的なオーディオデータが録られた期間にわたり検出されてもよい。プロセッサ104はさらに、1人以上のユーザの1つ以上の軌跡に基づいてマイクロホンデバイスに優先レベルを割り当てるように構成されてもよい。例えば、1人以上のユーザによって通られる頻度が少ないロケーション/経路に位置するマイクロホンデバイスは、1人以上のユーザが通ったことがあるロケーション/経路に位置するマイクロホンデバイスよりも低い優先レベルが割り当てられてもよい。
プロセッサ104はさらに、マイクロホンデバイスのロケーションに基づいてマイクロホンデバイスの優先レベルを決定するように構成されてもよい。プロセッサ104は、例えば、(屋内)測位システムから、又は、マイクロホンデバイス110、120のロケーションに関する情報を含むデータベースにアクセスすることによって、第1及び第2のマイクロホンデバイス110、120のロケーションを取得するように構成されてもよい。ロケーションは、例えば、空間内の座標として定義されてもよい。追加的又は代替的に、ロケーションは、例えば、それぞれのマイクロホンデバイスが設置されている部屋、エリア又は空間のタイプ(例えば、「リビングルーム」、「玄関」、「オープンオフィス空間1」、「交差点」、「歩道」等)を示すように、意味的に(semantically)定義されてもよい。例えば、マイクロホンデバイスが部屋の隅に位置する場合、部屋の中央に位置するマイクロホンデバイスよりも低い優先レベルが該マイクロホンデバイスに割り当てられてもよい。
プロセッサ104はさらに、マイクロホンデバイスの意図された/予め定められた機能性に基づいてマイクロホンデバイスの優先レベルを決定するように構成されてもよい。プロセッサ104は、複数のマイクロホンデバイス110、120の意図された/予め定められた機能性を示す情報を取得するように構成されてもよい。この情報は、マイクロホンデバイス、セントラルホーム/オフィス/中央制御システム、モバイルデバイス上で実行されるソフトウェアアプリケーション等から取得されてもよい。第1のマイクロホンデバイス110の機能性は、例えば、デバイス(例えば、ランプ、自動販売機等)のための制御コマンドを検出することであってもよい。第2のマイクロホンデバイス120の機能性は、ユーザが発生させる音に基づく存在検出であってもよい。プロセッサ104は、これらの機能性を取得し、第1のマイクロホンデバイス110に第1の優先レベルを割り当てて、制御コマンドを適切に識別するために高品質のオーディオを共有するように第1のマイクロホンデバイス110に指示し、第2のマイクロホンデバイス120に第2の優先レベルを割り当てて、(ユーザの存在を判断するために高品質のオーディオは必要ないので)低品質のオーディオを共有するように第2のマイクロホンデバイス120に指示してもよい。
プロセッサ104はさらに、それぞれのマイクロホンデバイス110、120で検出されるユーザアクティビティに基づいてマイクロホンデバイスの優先レベルを決定するように構成されてもよい。プロセッサ104は、履歴的なオーディオデータを分析し、例えば、ユーザ間の会話に基づいて、又は、音楽、ユーザによって発生される非スピーチオーディオ等の他の聴覚タイプ(auditory type)に基づいて、それからユーザアクティビティを取り出してもよい。プロセッサ104は、履歴的なオーディオデータを分析し、自然言語処理(Natural Language Processing)技術を使用して、ユーザアクティビティ(例えば、雑談、ビジネスミーティングの会話、夕食の会話等)を識別してもよく、又は、プロセッサ104は、非スピーチ音(例えば、人がコンピュータで作業していることを示すタイピング音、人が映画を見ていることを示す映画音、人が音楽を聴いていることを示す音楽等)等を検出してもよい。それぞれのマイクロホンデバイスで検出されるアクティビティに基づいて、プロセッサ104は、優先レベルを決定してもよい。例えば、オーディオ検出、通信及び/又は分析を必要とするより多くのアクティビティが、履歴的なオーディオデータが録られた期間中に第2のマイクロホンデバイス120に比べて第1のマイクロホンデバイス110で識別された場合、プロセッサ104は、第1のマイクロホンデバイス110により高い優先レベルを割り当ててもよい。
プロセッサ104はさらに、マイクロホンデバイス110、120の優先レベルを動的に更新するように構成されてもよい。プロセッサ104は、優先レベルを更新するために履歴的な及び現在のオーディオデータを継続的又は周期的に分析してもよい。プロセッサ104はさらに、1つ以上のマイクロホンデバイスに関連するプレゼンスセンサからプレゼンス信号を受信するように構成されてもよい。プレゼンス信号は、ユーザの存在を示す。プレゼンスセンサは、分散マイクロホンシステムの一部であってもよい。プレゼンスセンサは、例えば、人が存在する場合にセンサ信号を生成するためのカメラ、PIRセンサ、レーダ/RFセンサ等であってもよい。プレゼンスセンサは、(例えば、同じデバイス(例えば、照明器具)に含まれる)マイクロホンデバイスと同じ位置にあってもよい。代替的に、プレゼンスセンサは、関連するマイクロホンデバイスと同じエリアに位置してもよい。プロセッサ104は、プレゼンス信号が受信された場合、以前の優先レベルを更新する又は(一時的に)オーバールールするように構成されてもよい。例えば、ユーザが部屋に入る場合、プレゼンスセンサは、ユーザの存在を検出し、ユーザの存在に基づいて該部屋に位置するマイクロホンデバイスの優先レベルを上げてもよい。任意選択的に、プロセッサ104は、ある期間後、例えば、存在が検出されなくなると又はタイムアウト期間後、以前の優先レベルに戻してもよい。
プロセッサ104はさらに、ネットワーク容量(例えば、ネットワークの帯域幅、ネットワーク負荷、ネットワークのダウンロード速度等)及び/又は所定のネットワーク容量に対するネットワークの利用(network utilization)に基づいてマイクロホンデバイスの優先レベルを(一時的に)調整するように構成されてもよい。プロセッサ104は、(例えば、中央コントローラ、中央サーバ、ネットワークルータ等から)ネットワークのネットワーク容量のインディケーションを受け、それに基づいて優先レベル(例えば、通信ルール)を調整/オーバールールするように構成されてもよい。一例では、現在のネットワークの利用が低い可能性があり、したがって、プロセッサ104は、マイクロホンデバイスの優先レベルを調整し、該マイクロホンデバイスがネットワークを介して通信されるオーディオデータの数、頻度、品質及び/又はサイズを増加させることを可能にしてもよい。
マイクロホンデバイスの処理ユニットは、その優先レベルを(一時的に)調整/オーバールールするように構成されてもよい。処理ユニットは、例えば、オーディオデータをローカルに処理し、現在のオーディオデータからオーディオイベント(例えば、特定のオーディオクラス又は発声ユーザ入力)を取得/検出し、オーディオイベントに基づいて優先レベルをオーバールールすることを決定するように構成されてもよい。これは、例えば、中央コントローラがマイクロホンデバイスに低い優先レベルを割り当てたかもしれないが、該マイクロホンデバイスが、オーディオデータ(例えば、オーディオイベントを示す情報)を中央コントローラに通信することを可能にし得る。
図4は、ネットワークを介して接続される複数のマイクロホンデバイス110、120を含む分散マイクロホンシステムを構成するための方法400のステップを示す。方法は、複数のマイクロホンデバイスのうちの第1のマイクロホンデバイス110から受ける第1の履歴的なオーディオデータ402を分析する(402)ことと、複数のマイクロホンデバイスのうちの第2のマイクロホンデバイス120から受ける第2の履歴的なオーディオデータ122を分析する(404)こととを含む。方法はさらに、第1の履歴的なオーディオデータ112及び第2の履歴的なオーディオデータ122を比較して(406)、第1の履歴的なオーディオデータ112と第2の履歴的なオーディオデータ122との間の差異を識別する(408)ことを含む。方法はさらに、第1の履歴的なオーディオデータと第2の履歴的なオーディオデータとの間の差異に基づいて第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスに優先レベルを割り当てる(410)ことを含み、優先レベルは、それぞれ第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスによって録られる将来のオーディオデータを分析するための優先ルールを示す、及び/又は、優先レベルは、それぞれ第1のマイクロホンデバイス及び/又は第2のマイクロホンデバイスから将来のオーディオデータをネットワークを介して通信するための通信ルールを示す。
方法400は、コンピュータプログラムプロダクトがコントローラ100のプロセッサ104等のコンピューティングデバイスの処理ユニット上で実行された場合、コンピュータプログラムプロダクトのコンピュータプログラムコードによって実行されてもよい。
上述した実施形態は本発明を限定するものではなく、例示するものであり、当業者は添付の特許請求の範囲から逸脱することなく多くの代替的な実施形態を設計できることに留意されたい。
請求項では、括弧内のいかなる参照符号も、その請求項を限定するものとして解釈されるべきではない。動詞「含む(comprise)」及びその活用形の使用は、請求項に記述されたもの以外の要素又はステップが存在することを排除するものではない。要素に先行する冠詞「1つの(a)」又は「1つの(an)」は、複数のそのような要素が存在することを排除するものではない。本発明は、いくつかの個別要素を含むハードウェアによって、及び、好適にプログラムされたコンピュータ又は処理ユニットによって実装されてもよい。いくつかの手段を列挙するデバイスの請求項では、これらの手段のうちのいくつかは、同一のハードウェアのアイテムによって具現化されてもよい。特定の手段が、互いに異なる従属請求項内に列挙されているという単なる事実は、これらの手段の組み合わせが、有利に使用され得ないことを示すものではない。
本発明の態様は、コンピュータにより実行され得るコンピュータ可読記憶デバイスに記憶されたコンピュータプログラム命令の集合体であってもよいコンピュータプログラムプロダクトにおいて、実施されてもよい。本発明の命令は、スクリプト、解釈可能プログラム、ダイナミックリンクライブラリ(DLL)又はJavaクラスを含むが、これらに限定されない任意の解釈可能又は実行可能コードメカニズムであってもよい。命令は、完全な実行可能プログラム、部分実行可能プログラム、既存のプログラムに対する修正(例えば更新)、又は既存のプログラムに対する拡張(例えば、プラグイン)として提供され得る。さらに、本発明の処理の一部は、複数のコンピュータ若しくはプロセッサ、又は「クラウド」にわたって分散されてもよい。
コンピュータプログラム命令を格納するのに適した記憶媒体には、EPROM、EEPROM及びフラッシュメモリデバイス、内部及び外部ハードディスクドライブ等の磁気ディスク、リムーバブルディスク並びにCD-ROMディスクを含むが、これらに限定されないすべての形態の不揮発性メモリが含まれる。コンピュータプログラムは、斯様な記憶媒体上で頒布されてもよく、又はHTTP、FTP、電子メール、又はインターネット等のネットワークに接続されるサーバを介してダウンロード用に提供されてもよい。

Claims (15)

  1. ネットワークを介して接続される複数のマイクロホンデバイスを含む分散マイクロホンシステムを構成するための方法であって、当該方法は、
    前記複数のマイクロホンデバイスのうちの第1のマイクロホンデバイスから受ける第1の履歴的なオーディオデータを前記第1の履歴的なオーディオデータにおける異なるタイプのオーディオを識別するために分析することと、
    前記複数のマイクロホンデバイスのうちの第2のマイクロホンデバイスから受ける第2の履歴的なオーディオデータを前記第2の履歴的なオーディオデータにおける異なるタイプのオーディオを識別するために分析することと、
    前記第1の履歴的なオーディオデータ及び前記第2の履歴的なオーディオデータを比較して、前記第1の履歴的なオーディオデータと前記第2の履歴的なオーディオデータとの間の差異を識別することと、
    前記第1の履歴的なオーディオデータと前記第2の履歴的なオーディオデータとの間の差異に基づいて前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスに優先レベルを割り当てることと、
    を含み、前記優先レベルは、それぞれ前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスによって録られる将来のオーディオデータを分析するための優先ルールを示す、及び/又は、前記優先レベルは、それぞれ前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスから将来のオーディオデータを前記ネットワークを介して通信するための通信ルールを示す、方法。
  2. 前記通信ルールは、前記ネットワークを介してそれぞれのマイクロホンデバイスから通信されるオーディオデータの許容数、頻度、レイテンシ、品質及び/又はサイズを定義する、請求項1に記載の方法。
  3. 該方法は、
    前記第1の履歴的なオーディオデータの異なるタイプのオーディオを1つ以上のオーディオクラスの第1のセットに分類することと、
    前記第2の履歴的なオーディオデータの異なるタイプのオーディオを1つ以上のオーディオクラスの第2のセットに分類することと、
    を含み、前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスへの優先レベルの割り当ては、それぞれオーディオクラスの前記第1のセット及びオーディオクラスの前記第2のセットに基づく、請求項1又は2に記載の方法。
  4. 前記オーディオクラスは、
    背景雑音、
    ユーザによって発生される非スピーチオーディオ、
    インフラストラクチャによって発生される非スピーチオーディオ、
    背景スピーチ、
    音声制御デバイスを制御するための音声コマンド、
    音声制御サービスを要求するための音声コマンド、及び/又は、
    音声操作システム、アシスタント又はサービスをトリガするためのウェイクワード
    を含む、請求項3に記載の方法。
  5. 前記第1の履歴的なオーディオデータを分析するステップは、第1のユーザプレゼンスレベルを識別するために前記第1の履歴的なオーディオデータを分析することを含み、前記第2の履歴的なオーディオデータを分析するステップは、第2のユーザプレゼンスレベルを識別するために前記第2の履歴的なオーディオデータを分析することを含み、前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスへの優先レベルの割り当ては、前記第1のユーザプレゼンスレベル及び前記第2のユーザプレゼンスレベルに基づく、請求項1乃至4のいずれか一項に記載の方法。
  6. 当該方法は、
    前記第1の履歴的なオーディオデータ、前記第2の履歴的なオーディオデータ及び第3の履歴的なオーディオデータに基づいて前記第1のマイクロホンデバイス、前記第2のマイクロホンデバイス及び第3のマイクロホンデバイスに対する1人以上のユーザの1つ以上のロケーションを決定することと、
    前記第1のマイクロホンデバイス、前記第2のマイクロホンデバイス及び前記第3のマイクロホンデバイスに対する前記ユーザのロケーションに基づいて前記第1のマイクロホンデバイス、前記第2のマイクロホンデバイス及び/又は前記第3のマイクロホンデバイスに優先レベルを割り当てることと、
    を含む、請求項5に記載の方法。
  7. 当該方法は、
    経時的な1人以上のユーザのロケーションに基づいて前記第1のマイクロホンデバイス、前記第2のマイクロホンデバイス及び前記第3のマイクロホンデバイスに対する経時的な1人以上のユーザの1つ以上の軌跡を決定することと、
    前記1人以上のユーザの1つ以上の軌跡に基づいて前記第1のマイクロホンデバイス、前記第2のマイクロホンデバイス及び/又は前記第3のマイクロホンデバイスに優先レベルを割り当てることと、
    を含む、請求項6に記載の方法。
  8. 当該方法は、
    前記第1のマイクロホンデバイス及び前記第2のマイクロホンデバイスのロケーションを取得することと、
    前記第1のマイクロホンデバイス及び前記第2のマイクロホンデバイスのそれぞれのロケーションに基づいて前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスに優先レベルを割り当てることと、
    を含む、請求項1乃至7のいずれか一項に記載の方法。
  9. 前記第1の履歴的なオーディオデータを分析するステップは、前記第1の履歴的なオーディオデータに基づいて1つ以上の第1のユーザアクティビティを識別するために前記第1の履歴的なオーディオデータを分析することを含み、前記第2の履歴的なオーディオデータを分析するステップは、前記第2の履歴的なオーディオデータに基づいて1つ以上の第2のユーザアクティビティを識別するために前記第2の履歴的なオーディオデータを分析することを含み、前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスへの優先レベルの割り当ては、前記1つ以上の第1のユーザアクティビティ及び前記1つ以上の第2のユーザアクティビティに基づく、請求項1乃至8のいずれか一項に記載の方法。
  10. 当該方法は、
    前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスに関連するプレゼンスセンサからプレゼンス信号を受信することと、
    前記プレゼンス信号に応答してそれぞれ前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスの優先レベルを調整することと、
    を含む、請求項1乃至9のいずれか一項に記載の方法。
  11. コンピューティングデバイスのためのコンピュータプログラムであって、当該コンピュータプログラムが前記コンピューティングデバイスの処理ユニットで実行された場合、請求項1乃至10のいずれか一項に記載の方法を実行するためのコンピュータプログラムコードを含む、コンピュータプログラム。
  12. ネットワークを介して接続される複数のマイクロホンデバイスを含む分散マイクロホンシステムを構成するためのコントローラであって、当該コントローラは、
    前記複数のマイクロホンデバイスのうちの第1のマイクロホンデバイスから第1の履歴的なオーディオデータを受ける、及び、前記複数のマイクロホンデバイスのうちの第2のマイクロホンデバイスから第2の履歴的なオーディオデータを受けるように構成される通信モジュールと、
    前記第1の履歴的なオーディオデータにおける異なるタイプのオーディオを識別するために前記第1の履歴的なオーディオデータを分析する、前記第2の履歴的なオーディオデータにおける異なるタイプのオーディオを識別するために前記第2の履歴的なオーディオデータを分析する、前記第1の履歴的なオーディオデータ及び前記第2の履歴的なオーディオデータを比較して、前記第1の履歴的なオーディオデータと前記第2の履歴的なオーディオデータとの間の差異を識別する、及び、前記第1の履歴的なオーディオデータと前記第2の履歴的なオーディオデータとの間の差異に基づいて前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスに優先レベルを割り当てるように構成されるプロセッサと、
    を含み、前記優先レベルは、それぞれ前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスによって録られる将来のオーディオデータを分析するための優先ルールを示す、及び/又は、前記優先レベルは、それぞれ前記第1のマイクロホンデバイス及び/又は前記第2のマイクロホンデバイスから将来のオーディオデータを前記ネットワークを介して通信するための通信ルールを示す、コントローラ。
  13. 当該コントローラは、前記第1のマイクロホンデバイスに含まれ、前記通信モジュールは、前記第1のマイクロホンデバイスに含まれるマイクロホンから前記第1の履歴的なオーディオデータを受けるように構成される、請求項12に記載のコントローラ。
  14. 請求項12に記載のコントローラを含む中央コントローラと、
    前記第1の履歴的なオーディオデータを前記中央コントローラに通信するように構成される前記第1のマイクロホンデバイスと、
    前記第2の履歴的なオーディオデータを前記中央コントローラに通信するように構成される前記第2のマイクロホンデバイスと、
    を含む、システム。
  15. 当該システムは、照明システムであり、前記第1のマイクロホンデバイス及び前記第2のマイクロホンデバイスは、それぞれ前記照明システムの第1の照明デバイス及び前記照明システムの第2の照明デバイスに含まれる、請求項14に記載のシステム。
JP2021515191A 2018-09-20 2019-09-03 分散マイクロホンシステムを構成するための方法及びコントローラ Active JP7217572B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18195620 2018-09-20
EP18195620.2 2018-09-20
PCT/EP2019/073455 WO2020057963A1 (en) 2018-09-20 2019-09-03 A method and a controller for configuring a distributed microphone system

Publications (2)

Publication Number Publication Date
JP2021532697A JP2021532697A (ja) 2021-11-25
JP7217572B2 true JP7217572B2 (ja) 2023-02-03

Family

ID=63667730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515191A Active JP7217572B2 (ja) 2018-09-20 2019-09-03 分散マイクロホンシステムを構成するための方法及びコントローラ

Country Status (6)

Country Link
US (1) US11871189B2 (ja)
EP (1) EP3854109B1 (ja)
JP (1) JP7217572B2 (ja)
CN (1) CN112673647B (ja)
ES (1) ES2922540T3 (ja)
WO (1) WO2020057963A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021211127A1 (en) * 2020-04-16 2021-10-21 Hewlett-Packard Development Company, L.P. Light signal identification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232576A (ja) 2001-01-30 2002-08-16 Sony Corp 通信制御装置および方法、記録媒体、並びにプログラム
US20030138119A1 (en) 2002-01-18 2003-07-24 Pocino Michael A. Digital linking of multiple microphone systems
JP2006211504A (ja) 2005-01-31 2006-08-10 Pioneer Electronic Corp 会議用端末装置、会議システム及びコンピュータプログラム
JP2007158526A (ja) 2005-12-01 2007-06-21 Nippon Telegr & Teleph Corp <Ntt> 発話抑制装置、発話抑制方法および発話抑制装置のプログラム
JP2008301124A (ja) 2007-05-30 2008-12-11 Yamaha Corp ミキサ装置
JP2016046720A (ja) 2014-08-25 2016-04-04 株式会社リコー 管理装置、端末装置、伝送システム、伝送方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6505057B1 (en) * 1998-01-23 2003-01-07 Digisonix Llc Integrated vehicle voice enhancement system and hands-free cellular telephone system
JP4403370B2 (ja) * 2003-07-31 2010-01-27 ソニー株式会社 マイクロフォン・スピーカ一体構成型・通話装置
WO2005091638A1 (en) * 2004-03-19 2005-09-29 Intexact Technologies Limited A location tracking system and a method of operating same
JP4736837B2 (ja) * 2006-02-16 2011-07-27 株式会社ケンウッド 音響機器及びプログラム
US10277727B2 (en) 2010-08-03 2019-04-30 Enlighted, Inc. Distributed network of a structure that provides location-based human interaction and intelligence
US9441847B2 (en) 2012-03-19 2016-09-13 Wojciech Maciej Grohman System for controlling HVAC and lighting functionality
WO2014185883A1 (en) * 2013-05-13 2014-11-20 Thomson Licensing Method, apparatus and system for isolating microphone audio
US9910634B2 (en) * 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US20160071526A1 (en) 2014-09-09 2016-03-10 Analog Devices, Inc. Acoustic source tracking and selection
JP2016189532A (ja) 2015-03-30 2016-11-04 日本電気株式会社 テレビ会議システム、テレビ会議制御装置、及びテレビ会議制御方法
US9619985B2 (en) 2015-04-08 2017-04-11 Vivint, Inc. Home automation communication system
KR102386309B1 (ko) 2015-06-04 2022-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서의 입출력 제어 방법
EP3179472B1 (en) * 2015-12-11 2020-03-18 Sony Mobile Communications, Inc. Method and device for recording and analyzing data from a microphone
US11437020B2 (en) 2016-02-10 2022-09-06 Cerence Operating Company Techniques for spatially selective wake-up word recognition and related systems and methods
CN107465986A (zh) * 2016-06-03 2017-12-12 法拉第未来公司 使用多个麦克风检测和隔离车辆中的音频的方法和装置
US20180177029A1 (en) * 2016-12-19 2018-06-21 Pilot, Inc. Voice-controlled light bulb
US10380852B2 (en) * 2017-05-12 2019-08-13 Google Llc Systems, methods, and devices for activity monitoring via a home assistant

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232576A (ja) 2001-01-30 2002-08-16 Sony Corp 通信制御装置および方法、記録媒体、並びにプログラム
US20030138119A1 (en) 2002-01-18 2003-07-24 Pocino Michael A. Digital linking of multiple microphone systems
JP2006211504A (ja) 2005-01-31 2006-08-10 Pioneer Electronic Corp 会議用端末装置、会議システム及びコンピュータプログラム
JP2007158526A (ja) 2005-12-01 2007-06-21 Nippon Telegr & Teleph Corp <Ntt> 発話抑制装置、発話抑制方法および発話抑制装置のプログラム
JP2008301124A (ja) 2007-05-30 2008-12-11 Yamaha Corp ミキサ装置
JP2016046720A (ja) 2014-08-25 2016-04-04 株式会社リコー 管理装置、端末装置、伝送システム、伝送方法およびプログラム

Also Published As

Publication number Publication date
JP2021532697A (ja) 2021-11-25
ES2922540T3 (es) 2022-09-16
EP3854109A1 (en) 2021-07-28
CN112673647B (zh) 2023-03-28
US20210385574A1 (en) 2021-12-09
CN112673647A (zh) 2021-04-16
WO2020057963A1 (en) 2020-03-26
US11871189B2 (en) 2024-01-09
EP3854109B1 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
US11812344B2 (en) Outputting notifications using device groups
US10672387B2 (en) Systems and methods for recognizing user speech
JP6906048B2 (ja) 音声インターフェイスデバイスにおけるマルチユーザパーソナライゼーション
US10616726B1 (en) Outputing notifications using device groups
CA2997934C (en) Arbitration between voice-enabled devices
US10425781B1 (en) Outputting notifications using device groups
JP6979461B2 (ja) 複数の光源を制御するためのコントローラ
US20220262367A1 (en) Voice Query QoS based on Client-Computed Content Metadata
JP7217572B2 (ja) 分散マイクロホンシステムを構成するための方法及びコントローラ
CN116888664A (zh) 在单个话语中组合设备或助理专用热词
US11019440B1 (en) Methods and devices for managing transmission of synchronized audio based on user location
CN111903194B (zh) 使用连接的照明系统来增强语音命令的系统和方法
CN113516998A (zh) 机器人音色自动切换方法、装置、电子设备及存储介质
JP7328304B2 (ja) デジタル音声アシスタントコンピューティングデバイスの間の信号処理の調整
EP4035505B1 (en) Systems and methods for fusing sensor data for deriving spatial analytics
US12010387B1 (en) Content-based voice targeting of devices using slot and task data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210318

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211015

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221102

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221122

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230118

R150 Certificate of patent or registration of utility model

Ref document number: 7217572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150