JP6101989B2 - 拡張現実環境における信号増強ビーム形成 - Google Patents

Description

関連出願の相互参照
本願は、２０１１年６月２１日に出願された米国特許出願第１３／１６５，６２０号の優先権を主張し、同特許出願に関する。なお同特許出願は参照することにより本願に援用される。

拡張現実環境は、ユーザおよび実世界の物体と、仮想物体すなわちコンピュータ生成された物体および情報との間の相互作用を可能にする。実世界と仮想世界との間のこの融合化は新しい相互作用の機会への道を開くものである。しかしこれらの相互作用に関するデータ（例えば音声または可聴ジェスチャ（ａｕｄｉｂｌｅ ｇｅｓｔｕｒｅ）を含む聴覚データ）を取得することは、物理的環境に存在する雑音または複数の信号により損なわれ得る。

詳細な説明は添付の図面を参照して説明される。これらの図面において、参照番号の最も左側の桁（単数または複数）はその参照番号が最初に現れる図面を示す。異なる図面における同一の参照番号の使用は同様または同一の構成要素または特徴を示す。

拡張現実機能ノードと、関連するビーム形成モジュールを有する計算装置と、を備える拡張現実環境内における例示的シーンを示す図である。 ビーム形成モジュールおよび他の選択された構成要素を有する例示的な拡張現実機能ノードを示す図である。 マイクロフォンアレイの俯瞰図である。 図３のマイクロフォンアレイの側面図である。 複数のユーザからの聴覚信号を取得するよう構成された複数の同時ビームパターンを有する複数のユーザを含む部屋を示す図である。 マイクロフォンアレイから取得された信号データにビーム形成係数を適用することにより形成されるビームパターンの概略図である。 アレイにおけるマイクロフォンのうちの少なくとも１部分のゲインが調節された場合のマイクロフォンアレイから取得された信号にビーム形成係数を適用することにより形成されたビームパターンの概略図である。 非ビーム形成と比較してビーム形成を用いる場合の信号取得における改善を示すグラフである。 事前計算されたビーム形成器係数および関連するデータを格納するよう構成されたビーム形成器係数データストアの例示的な図である。 異なるビーム形成器係数から結果的に生成される複数の異なるビームパターンとそれらの同時使用とを示す図である。 ビーム形成モジュールとの相互作用を示す図である。 信号源への方向が既知である場合にビーム形成器を用いて信号を取得する例示的処理を示す図である。 信号源への方向を判定するために連続的に微細化される空間的特徴を有するビームパターンを生成するビーム形成器の使用を示す図である。 ビーム形成器を用いる信号の取得に少なくとも部分的に基づいて信号源への方向を判定する例示的処理を示す図である。

拡張現実システムはシーン内の物体と相互作用し拡張現実環境を生成するよう構成され得る。拡張現実環境は、仮想的物体および情報が、有形の実世界物体と相互作用および融合化することを可能にする。

拡張現実環境の物理的環境内で発生する聴覚信号を取得または拒否するためにビーム形成とともに音響マイクロフォンアレイを使用することに対して好適である音響技術および装置が本明細書で開示される。聴覚信号は、ユーザ音声、可聴ジェスチャ、聴覚信号発生装置、ならびに雑音源（例えば街路雑音、機械的システム、その他）等の有用な情報を含む。聴覚信号は、人間の耳に一般的に可聴である周波数、または人間の耳に不可聴である周波数（例えば超音波）を含み得る。

信号データはマイクロフォンアレイ内に配列された複数のマイクロフォンから受け取られる。マイクロフォンは、直線状、平面状、または３次元的な配列で、規則的もしくは不規則的に分散され得る。次いで信号データはビーム形成器モジュールにより処理され、それにより処理済みデータが生成される。いくつかの実装において、信号データは後の処理のために格納され得る。

ビーム形成は、１組のビーム形成器係数を信号データに適用しそれによりビームパターン（すなわち効果的なゲインまたは減衰のボリューム）が作られるプロセスである。いくつかの実装において、これらのボリュームは、マイクロフォンアレイ内の個々のマイクロフォンからの信号同士間の建設的相互作用または破壊的相互作用から生じる結果であるとみなされ得る。

１組のビーム形成器係数を信号データに適用することにより、処理済みデータはこれらのビーム形成器係数に関連付けられたビームパターンを表現することとなる。異なるビーム形成器係数を信号データに適用することにより異なる処理済みデータが生成される。異なるいくつかの組のビーム形成器係数を信号データに適用すると、複数の同時ビームパターンが生成され得る。これらのビームパターンのそれぞれは異なる形状、方向、ゲイン、等を有し得る。

ビーム形成器係数は特定の特徴を有するビームパターンを生成するために事前計算され得る。係る事前計算は全体的な計算要求を低減する。一方、他の事例において、係数はオンデマンドベースで計算され得る。いずれの事例においても、係数はローカルに、遠隔（例えばクラウドストレージ内）に、またはその両方にまたがって分散されて格納され得る。

所与のビームパターンは、信号源が存在する特定の空間的場所から信号を選択的に収集するために用いられ得る。信号源の場所を記述する拡張現実環境内で利用可能な定位データは、その場所に集束された特定のビームパターンを選択するために用いられ得る。信号源は、パターン投影、画像キャプチャ、手動入力、聴覚信号の三辺測量等を含む様々な技術により、物理的環境内で定位（すなわちその空間的位置が判定）され得る。パターン投影はシーン内の物体上にパターンを投影することを含むものであり、物体とパターンとの相互作用を、撮像装置を用いて検出することに基づいて位置を判定し得る。パターンは、規則的、ランダム、疑似ランダム、その他であり得る。例えば、パターン投影システムはユーザの顔が部屋内の特定座標にあることを判定し得る。

選択されたビームパターンは、信号源に対するゲインまたは減衰を提供するよう構成される。例えば、ビームパターンは特定ユーザの頭部に集束し得る。それにより、部屋全体に及ぶ動作中の空調装置からの雑音は減衰され、その一方でユーザの音声の復元が可能となる。

ビーム形成を用いることによる係る空間的選択性はビームパターン外の望ましくない信号の拒否または減衰を可能にする。ビームパターンの選択性が向上することにより、聴覚信号に対する信号対雑音比が改善される。信号対雑音比が改善されることにより拡張現実環境内における聴覚信号の解釈が改善される。

次いでビーム形成器モジュールからの処理済みデータは、付加的なフィルタリングが施されるか、または直接的に他のモジュールにより使用され得る。例えば、ユーザからの音声を取得して環境内で動作中の機械が発する残存聴覚雑音を除去するフィルタが処理済みデータに適用され得る。

ビーム形成モジュールは、方向を判定するためにも、または聴覚信号源を定位するためにも、用いられ得る。この判定は、他の手法（例えばパターン投影）で判定された場所を確認するために、または初期場所データが存在しない場合に判定された場所を確認するために用いられ得る。マイクロフォンアレイに対する信号源の方向は、方位角を基準にする等の平面的な手法で、または方位角および仰角を基準にする等の３次元的な手法で、判定され得る。いくつかの実装において、信号源は特定の１組の座標（例えば方位角、仰角、既知の基準点からの距離等）を基準にして定位され得る。

方向または定位は複数のビームパターン中の最大信号を検出することにより判定され得る。これらのビームパターンのそれぞれは、異なる方向のゲインを有し、異なる形状、その他を有し得る。ビームパターン方向、トポロジー、寸法、相対的ゲイン、周波数応答、その他等の特徴が与えられると、信号源の方向と、いくつかの実装においては場所とが判定され得る。

例示的環境
図１は、関連する計算装置とともに拡張現実機能ノード（ＡＲＦＮ）１０２を有する例示的な拡張現実環境１００を示す。いくつかの実装において、追加的なＡＲＦＮ１０２（１）、１０２（２）、１０２（Ｎ）が用いられ得る。ＡＲＦＮ１０２は物理的環境（例えば天井のコーナー部もしくは中央部、卓上、フロアスタンド、等）に配置され得る。作動中、１つの係るＡＲＦＮ１０２は実世界の物体等のシーン内の品目の一部または全部を組み込む拡張現実環境を生成し得る。

マイクロフォンアレイ１０４、入出力装置１０６、ネットワークインターフェース１０８、その他が、プロセッサ１１２を含む計算装置１１０に入出力インターフェース１１４を介して連結され得る。マイクロフォンアレイ１０４は複数のマイクロフォンを備える。マイクロフォンは規則的パターンまたは不規則的なパターンで分散され得る。そのパターンは直線状、平面状、または３次元的であり得る。アレイ内のマイクロフォンは異なる能力、パターン、その他を有し得る。マイクロフォンアレイ１０４は、以下で図３および図４に関してより詳細に論じられる。

ＡＲＦＮ１０２は、入出力装置１０６に組み込まれてもよく、または入出力装置１０６に連結されてもよい。これらの入出力装置は、プロジェクタ、カメラ、マイクロフォン、他のＡＲＦＮ１０２、他の計算装置１１０、その他を含む。計算装置１１０と入出力装置１０６との間はワイヤ、光ファイバケーブル、またはワイヤレス接続を介した連結であり得る。ＡＲＦＮ１０２の入出力装置１０６のうちのいくつかについては以下で図２に関してより詳細に説明する。

ネットワークインターフェース１０８は計算装置１１０をネットワーク（ローカルエリアネットワーク、広域ネットワーク、ワイヤレス広域ネットワーク、その他）に連結するよう構成される。例えば、ネットワークインターフェース１０８はインターネットを介して計算装置１１０とクラウドリソースとの間でデータを転送するために用いられ得る。

プロセッサ１１２は、命令を実行するよう構成された１つまたは複数のプロセッサを備え得る。これらの命令はメモリ１１６内に、またはプロセッサ１１２へのアクセスが可能な他のメモリ（例えばネットワークインターフェース１０８を介してのクラウド）内に格納され得る。

メモリ１１６はコンピュータ可読記憶媒体（「ＣＲＳＭ」）を含み得る。ＣＲＳＭは任意の利用可能な物理的媒体であり、物理的媒体上に格納された命令を実行するために計算装置によりアクセス可能である。ＣＲＳＭは、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリーメモリ（「ＲＯＭ」）、電気的消去書込み可能リードオンリーメモリ（「ＥＥＰＲＯＭ」）、フラッシュメモリもしくは他のメモリ技術、コンパクトディスクリードオンリーメモリ（「ＣＤ−ＲＯＭ」）、デジタル汎用ディスク（「ＤＶＤ」）もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または所望の情報を格納するために使用可能且つ計算装置によりアクセス可能な任意の他の媒体を含み得るが、これらに限定されない。

いくつかのモジュール（命令、データストア、その他）はメモリ１１６内に格納され、プロセッサ（例えばプロセッサ１１２）上で実行されるよう構成され得る。オペレーティングシステムモジュール１１８は、ハードウェアおよびハードウェア内のサービスを管理するよう構成され、他のモジュールのために計算装置１１０に連結される。拡張現実モジュール１２０は拡張現実環境を維持するよう構成される。

定位モジュール１２２はマイクロフォンアレイ１０４に対する信号源の場所および方向を判定するよう構成される。定位モジュール１２２は、聴覚信号源の場所を判定するために、入出力装置１０６またはマイクロフォンアレイ１０４を介して取得されたパターン投影および測距データ等を含むデータを少なくとも部分的に利用し得る。例えば、パターン投影プロジェクタおよびカメラは、ユーザの頭部の物理的場所を判定するために用いられ得る。なおこのユーザの頭部からは可聴信号が発せられ得る。他の事例においては、音声到着時間差技術が場所判定のために用いられ得る。

ビーム形成モジュール１２４はマイクロフォンアレイ１０４から信号データを受け取り、その信号データにビーム形成器係数を適用して処理済みデータを生成するよう構成される。ビーム形成器係数を信号データに適用することにより、ゲイン、減衰、指向性、その他を示し得るビームパターンが形成される。係るゲイン、減衰、指向性、その他は処理済みデータにおいて示される。例えば、ビームパターンはユーザから発せられる音声に対するゲインを集束および増加させ得る。ユーザの物理的場所に集束されたゲインを有するビームパターンを形成するよう構成されたビーム形成器係数を適用することにより、取得された信号はいくつかの方法で改善され得る。例えば、結果的に生成される処理済みデータは、非ビーム形成器信号と比較してより大きい信号対雑音比を有する音声信号を示す。他の事例において、処理済みデータは、他の空間的場所からはより低い雑音を示し得る。他の実装において、他の改善も示され得る。ゲインにおける増加は以下で図８に関連してより詳細に論じられる。

ビーム形成器係数はオンザフライで計算されてもよく、またはビーム形成器係数の少なくとも１部分が使用前に事前計算されてもよい。事前計算されたビーム形成器係数は、以下で図９に関連してより深く説明されるビーム形成器係数データストア１２６内に格納され得る。いくつかの実装において、ビーム形成器係数データストア１２６の少なくとも１部分は外部ストレージ（例えばネットワークインターフェース１０８を介してアクセス可能なクラウドストレージ）上に配置され得る。

いくつかの実装において、拡張現実環境内のマイクロフォンアレイ１０４および／または他の入力装置からの信号データは信号データストア１２８内に格納され得る。例えば、聴覚信号を生成する拡張現実環境内の物体に関するデータ（例えば係る物体の寸法、形状、運動、その他）が格納され得る。この格納されたデータはビーム形成モジュール１２４または他のモジュールにより後の処理のためにアクセスされ得る。

モジュールが、ＡＲＦＮ１０２、ローカルネットワーク上でアクセス可能なストレージ装置、またはネットワークインターフェース１０８を介してアクセス可能なクラウドストレージのメモリ内に、格納され得る。例えば、ディクテーションモジュールが格納され、クラウドリソース内から操作され得る。

図２は、拡張現実機能ノード１０２の１例と、入出力装置１０６を含む選択された構成要素と、の概略図２００を示す。ＡＲＦＮ１０２は、シーン２０２とシーン２０２内の物体との少なくとも１部分を走査するよう構成される。ＡＲＦＮ１０２は拡張現実出力（例えば画像、音響、その他）も提供するよう構成される。

シャシー２０４はＡＲＦＮ１０２の構成要素を保持する。シーン２０２に画像を生成および投影するプロジェクタ２０６はシャシー２０４内に配置され得る。これらの画像は、ユーザに知覚可能な可視光線画像、ユーザに知覚不能な可視光線画像、不可視光線による画像、またはこれらの組み合わせであり得る。このプロジェクタ２０６は、画像を生成しその画像を拡張現実環境内の表面上に投影する能力を有する任意個数の技術を用いて実装され得る。好適な技術はデジタルマイクロミラーデバイス（ＤＭＤ）、液晶オンシリコンディスプレイ（ＬＣＯＳ）、液晶ディスプレイ、３ＬＣＤ、その他を含む。プロジェクタ２０６は特定の立体角を描写するプロジェクタ視野域２０８を有する。プロジェクタ視野域２０８はプロジェクタの構成における変化に応じて変動し得る。例えば、プロジェクタ視野域２０８はプロジェクタに光学ズームを適用すると狭くなり得る。いくつかの実装においては複数のプロジェクタ２０６が用いられ得る。

カメラ２１０もシャシー２０４内に配置され得る。カメラ２１０は可視光線波長、不可視光線波長、またはその両方でシーンを撮像するよう構成される。カメラ２１０は特定の立体角を描写するカメラ視野域２１２を有する。カメラ視野域２１２はカメラ２１０の構成における変化に応じて変動し得る。例えば、カメラの光学ズームによりカメラ視野域２１２は狭くなり得る。いくつかの実装においては複数のカメラ２１０が用いられ得る。

シャシー２０４は固定された方向付けで取り付けられてもよく、またはシャシー２０４が可動となるようアクチュエータを介して固定具に連結されてもよい。アクチュエータは、圧電アクチュエータ、モータ、線形アクチュエータ、またはシャシー２０４もしくはシャシー２０４内の他の構成要素（例えばプロジェクタ２０６および／またはカメラ２１０）に移動または運動を生じさせるよう構成された他の装置を含み得る。例えば、１つの実装において、アクチュエータはパンモータ２１４、チルトモータ２１６、その他を含み得る。パンモータ２１４は、方位角における変化を生じさせるヨーイング運動においてシャシー２０４を回転させるよう構成される。チルトモータ２１６は、仰角における変化を生じさせるシャシー２０４のピッチを変化させるよう構成される。シャシー２０４のパンおよび／またはチルトにより、シーンの異なる視野が取得され得る。

１つまたは複数のマイクロフォン２１８は、シャシー２０４内にまたはシーン内のいずれかの場所（例えばマイクロフォンアレイ１０４内）に、配置され得る。これらのマイクロフォン２１８は、音響の反響定位、場所判定、またはシーンからの入力の特徴評価または受容が別様に支援されるよう、ユーザからの入力を取得するために用いられ得る。例えば、ユーザにより発せられた特定の雑音（例えば壁部を軽く叩く音、指のスナップ音）が喚起コマンド入力として事前設計され得る。ユーザは代替的に音声コマンドを用い得る。いくつかの実装において、聴覚入力は、マイクロフォンの間の到着時間差異を用いて、および／または以下で図１３〜図１４に関連して説明するようにビーム形成を用いて、シーン内で定位され得る。

１つまたは複数のスピーカ２２０も可聴出力を提供するために存在し得る。例えば、スピーカ２２０は、テキスト音声変換モジュールからの出力を提供するために、または事前録音された音声を再生するために、用いられ得る。

トランスデューサ２２２も、ＡＲＦＮ１０２内にまたは拡張現実環境内のいずれかの場所に存在し、低周波音または超音波等の不可聴信号を検出および／または生成するよう構成され得る。これらの不可聴信号は付属装置とＡＲＦＮ１０２との間の信号通信を提供するために用いられ得る。

測距システム２２４もＡＲＦＮ１０２内に提供され得る。測距システム２２４は、ＡＲＦＮ１０２から走査される１つの物体または１組の物体までの距離情報、場所情報、または距離・場所情報を提供するよう構成され得る。測距システム２２４は、レーダー、光検出測距（ＬＩＤＡＲ）、超音波測距、ステレオ測距、その他を含み得る。測距システム２２４はいくつかの実装においては方向情報も提供し得る。トランスデューサ２２２、マイクロフォン２１８、スピーカ２２０、またはこれらの組み合わせは、距離的特徴および空間的特徴を判定するために、反響定位または反響測距を用いるように構成され得る。

他の実装において、測距システム２２４は音響トランスデューサを備え得、マイクロフォン２１８は音響トランスデューサにより生成された信号を検出するよう構成され得る。例えば、１組の超音波トランスデューサが配置され得る。なお、この配列では、各超音波トランスデューサが部屋の特定セクタに向かって超音波を発する。マイクロフォン２１８は超音波信号を受け取るよう構成されてもよく、または専用の超音波マイクロフォンが用いられてもよい。相互に対するマイクロフォンの既知の場所が与えられると、アクティブソナー測距または位置特定が提供され得る。

この図面においては、計算装置１１０はシャシー２０４内に示される。しかし、他の実装においては、計算装置１１０の全部または一部は他の場所に配置され、ＡＲＦＮ１０２に連結されてもよい。この連結は、ワイヤ、光ファイバケーブル、ワイヤレス、またはこれらの組み合わせを介してなされ得る。さらに、ＡＲＦＮ１０２の外部にある追加的なリソース（例えばネットワークインターフェース１０８およびローカルエリアネットワークを介してアクセス可能な他のＡＲＦＮ１０２内のリソース、広域ネットワーク接続を介してアクセス可能なクラウドリソース、またはこれらの組み合わせ）もアクセスされ得る。

この図面に示すように、プロジェクタ／カメラ直線偏位は「Ｏ」と示される。直線偏位とは、プロジェクタ２０６とカメラ２１０との間の直線距離である。プロジェクタ２０６およびカメラ２１０を相互から「Ｏ」の距離に配置することは、シーンからパターン投影データを復元することを支援する。既知のプロジェクタ／カメラ直線偏位「Ｏ」も、シーン２０２内の物体の距離および寸法を計算するために、および係る物体の特徴評価を別様に支援するために、用いられ得る。他の実装においては、プロジェクタ視野域２０８およびカメラ視野域２１２の相対的角度および寸法は変動し得る。またシャシー２０４に対するプロジェクタ２０６およびカメラ２１０の角度も変動し得る。

他の実装において、ＡＲＦＮ１０２の構成要素は環境１００内の１つまたは複数の場所に分散され得る。上述のように、マイクロフォン２１８およびスピーカ２２０はシーンの全域に分散され得る。プロジェクタ２０６およびカメラ２１０も別個のシャシー２０４に配置され得る。ＡＲＦＮ１０２は、コマンド喚起入力を発行するためにユーザにより用いられる単品の可搬型信号発生装置も備え得る。例えば、これらの可搬型装置は、音響クリッカ（可聴または超音波）、電子信号発生装置（例えば赤外線エミッタ）、無線送信器、その他であり得る。

図３はマイクロフォンアレイ１０４の１つの実装の俯瞰図３００を示す。この図面において、支持構造体３０２は、相互に対して直交して配置された２つの直線部材（それぞれ長さＤ１およびＤ２を有する）を有するクロスと、以下で図４に示す直交部材と、であり得る。支持構造体３０２は、既知の事前決定された距離をマイクロフォン２１８同士の間に保持することを支援する。なお、これらのマイクロフォン２１８は音響信号の空間座標を判定するために用いられ得る。

マイクロフォン２１８（１）〜（Ｍ）は支持構造体３０２に沿って分散される。マイクロフォン２１８の分散は対称的でも、または非対称的でもよい。マイクロフォン２１８の個数ならびに配置および支持構造体３０２の形状は変動し得ることが理解される。例えば、他の実装においては、支持構造体は三角形、円形、または他の幾何学的形状であり得る。いくつかの実装においては、非対称的な、支持構造体形状、マイクロフォンの分散、またはこれらの両方が用いられ得る。

支持構造体３０２は部屋の構造体の一部を含み得る。例えば、マイクロフォン２１８は、部屋内の壁部、天井、床部、その他に取り付けられ得る。いくつかの実装において、マイクロフォン２１８が据え付けられ、相互に対するマイクロフォン２１８の位置は他の検出手段により（例えば測距システム２２４、パターン投影走査、手動入力、その他を介して）判定され得る。例えば、１つの実装において、マイクロフォン２１８は部屋内の様々な場所に配置され、相互に対するそれぞれの正確な位置は、それぞれのマイクロフォン２１８上に配置された光学タグを検出するよう構成された光学的レンジファインダを用いて測距システム２２４により判定され得る。

図４は図３のマイクロフォンアレイの側面図４００を示す。この図面に示すように、マイクロフォンアレイ１０４は３次元的に配列されたマイクロフォン２１８により構成され得る。この図面に示すように、支持構造体の１部分は支持構造体３０２の他の部材に対して垂直になるよう構成される。支持構造体３０２はＡＲＦＮ１０２から距離Ｄ３だけ延長する。マイクロフォン２１８を３次元構成で配列することにより、ビーム形成モジュール１２４は、マイクロフォンアレイ１０４に対して特定の方位角および仰角に方向付けられたビームパターンを生成するよう構成され得る。

１つの実装において、マイクロフォン２１８およびマイクロフォンアレイ１０４は、約１００ｋｇ／ｍ^３より低い密度を有する非水性媒体内およびガス状媒体内で動作するよう構成される。例えば、マイクロフォンアレイ１０４は標準大気において聴覚信号を取得するよう構成される。

図５は、ＡＲＦＮ１０２およびマイクロフォンアレイ１０４により提供される拡張現実環境内に複数のユーザを含む部屋５００を例示する。図示のように、２人のユーザは部屋の対向するコーナーにいて、それぞれのユーザは図面において発語中である。加えて、部屋は他の音響源（例えば冷蔵庫、空調装置、その他）を有し得る。第１ユーザからの音声は信号源場所５０２（１）に示される。同様に、部屋を横切った場所にいる第２ユーザからの音声は信号源場所５０２（２）に示される。ビーム形成モジュール１２４は１対のビームパターン５０４（１）および５０４（２）を同時に生成する。ビームパターン５０４（１）は信号源場所５０２（１）上に集束される一方で、ビームパターン５０４（２）は信号源場所５０２（２）上に集束される。それぞれのビームパターンおよび結果的に生成されるゲインを個々のユーザ上に集束させることにより、処理済みデータにおいて取得される音声信号は増加された信号対雑音比を示す一方で、他ユーザの音声からの音響は減衰または排除される。それによりクリアな信号が生成され、下流側の処理（例えば処理済みデータの音声認識等）における結果が改善されることとなる。

信号源に対する方向は、方位角および仰角を用いて３次元空間内で指定され得る。方位角５０６は原点に対する角度変位を示す。仰角５０８は、局部的垂直線（ｌｏｃａｌ ｖｅｒｔｉｃａｌ）等の原点に対する角度変位を示す。

ビーム形成技術
図６は、マイクロフォンアレイ１０４から取得された信号データにビーム形成係数を適用することにより形成されるビームパターン５０４の概略図６００を示す。上述のように、ビームパターンは１組のビーム形成器係数を信号データに適用することにより生成される。ビームパターンは効果的なゲインまたは減衰のボリュームを生成する。この図面において、破線はビーム形成係数により提供されるゲインの等値線を示す。例えば、この図面における破線におけるゲインは、等方性マイクロフォンに対して＋１２デシベル（ｄＢ）であり得る。

ビームパターン５０４は複数の突出部すなわちゲイン領域を示し得る。なお、ゲインはビームパターン方向６０２で示される特定方向に優勢となっている。主要突出部６０４は、この図面でビームパターン方向６０２に沿って延長することが示される。主要突出部ビーム幅６０６が示される。この主要突出部ビーム幅６０６は主要突出部６０４の最大幅を示すものである。複数の側方突出部６０８も示される。後方突出部６１０はビームパターン方向６０２に沿って主要突出部６０４の逆側にある。ヌル領域６１２がビームパターン５０４の周囲に配置される。これらのヌル領域は信号に対する減衰のエリアである。例えば、図示のように、第１話者の信号源場所５０２（１）は主要突出部６０４内にあり、ビームパターン５０４により提供されるゲインからの利益を受け、ビーム形成を用いることなく取得された信号と比較して信号対雑音比が改善される。それとは対比的に、第２話者の信号源場所５０２（２）は後方突出部６１０の後方のヌル領域６１２内にある。その結果として、信号源場所５０２（２）からの信号は第１信号源場所５０２（１）と比較して顕著に低下される。

この図面に示すようにビームパターンを用いることにより、ビーム形成を用いない場合と比較して、信号取得におけるゲインが提供される。ビーム形成を用いることにより空間的選択性も可能となり、システムが対象外の信号に対しては「耳を貸さない」ことも可能となる。さらに、複数のビームパターンがマイクロフォンアレイ１０４からの同じ１組の信号データに同時に適用され得るため、複数同時ビームパターンを有することが可能である。例えば、第２ビームパターン５０４（２）が同時に生成され、それにより、以下で図１０に関連してさらに深く論じるように、信号源場所５０２（２）に対して特定的なゲインおよび信号拒否が可能になる。

図７は、アレイにおけるマイクロフォンのうちの少なくとも１部分のゲインが変化された場合のマイクロフォンアレイ１０４から取得された信号にビーム形成係数を適用することにより形成されるビームパターンの概略図７００を示す。マイクロフォンアレイ１０４内のマイクロフォン２１８のそれぞれに対するゲインは、マイクロフォン２１８全部のそれぞれに対して全体的に、マイクロフォン２１８のうちの１群に対して、または個々のマイクロフォン２１８に対して、変化され得る。マイクロフォンゲインの変化は、マイクロフォンハードウェア２１８内で生成されてもよく、信号処理技術を用いて適用されてもよく、またはそれらの組み合わせであってもよい。さらに、ゲインの調節は動的であり得、したがって時間の経過とともに調節され得る。

ここで示すように、第１ユーザおよび第２ユーザからの２つの信号源場所５０２（１）および５０２（２）のそれぞれは単一の部屋内に存在する。この実施例において、第２ユーザの音声が大音量であり、信号源場所５０２（２）において高振幅の聴覚信号を生成するものと仮定されたい。第１ユーザに集束されたこの図面に示すビームパターン５０４の使用は、第１話者の信号源場所５０２（１）に対してゲインを提供する一方で、第２信号源場所５０２（２）における第２話者を減衰させる。しかしビームパターンから結果的に生成されるこの減衰を用いたとしても第２ユーザが大音声を発するため第２ユーザの音声は第１ユーザからの音声信号に干渉を与え続けると想定されたい。

この状況を緩和するために、または他の利益を提供するために、マイクロフォン２１８に対するゲインの適用は、マイクロフォンアレイ１０４内で異なり得る。この図面において、アレイ１０４における各マイクロフォン２１８に関連付けられたマイクロフォンゲイン７０２のグラフが示される。この図面で示すように、ゲインは第２信号源場所５０２（２）に最も近接するマイクロフォン２１８において低下される。これにより、第２ユーザからの信号入力が低下され、それにより、ビームパターンによりキャプチャされる音声の信号振幅は最小化されることとなる。同様に、第１話者の第１信号源場所５０２（１）に近接するマイクロフォン２１８のゲインは、より大きい信号振幅を提供するために、増加される。

他の実装においては、マイクロフォン応答、話者の位置、その他に応じて、個々のマイクロフォンのゲインは、対象となる信号源場所に集束されるビームパターンを生成するために、変化され得る。例えばいくつかの実装においては、信号対雑音比は、対象となる信号源場所に近接するマイクロフォンのゲインを低下させることにより、改善され得る。

図８はビーム形成を用いない場合と比較してビーム形成を用いる場合の信号復元における改善を示すグラフ例８００を示す。振幅８０２は垂直軸に沿って示される一方で、信号の周波数８０４は水平軸に沿って示される。

ビーム形成が適用されない状態のマイクロフォンアレイ１０４からの信号８０６全体はこの図面において点線で示される。信号８０６全体においては、対象となる信号８０８は雑音信号に匹敵する振幅を示す。部屋内の他の場所で動作中の空調装置等の機械類からの雑音信号８１０がこの図面に示される。信号対雑音比が低い場合には、信号８０８の分析（例えば音声認識のための処理）を試みたとしても、おそらく結果は劣悪なものとなるであろう。

それとは対比的に、ビーム形成器を用いる信号８１２は対象となる信号８０８を雑音よりも明らかに上昇させる。さらに、ビーム形成器を用いる信号８１２の空間的選択性により、機械類雑音８１０は信号から効果的に除去されている。信号品質が改善されることの結果として、音声認識目的等の信号の追加的分析についても結果が改善される。

図９はビーム形成器係数データストア１２６の例示的な図９００である。ビーム形成器係数データストア１２６は事前計算されたビーム形成器係数またはオンザフライのビーム形成器係数を格納するよう構成される。ビーム形成器係数は、マイクロフォンアレイ１０４内のマイクロフォン２１８のそれぞれからの信号に適用される重み付けの１つの形態であるとみなされ得る。上述のように、ビーム形成器係数の特定の１組を適用することにより特定のビームパターンが取得され得る。

ビーム形成器係数データストア１２６はビームパターン名９０２とビームパターン５０４の方向性とを格納するよう構成され得る。マイクロフォンアレイ１０４の物理的配列に対するこの方向性は、ビームパターン５０４の１つまたは複数の突出部に対して指定され得る。限定としてではなく例示のためにのみ、ビームパターンの方向性は、主要突出部６０４の方向であるビームパターン方向６０２である。

方向性はビームパターンの方位角方向９０４および仰角方向９０６、ならびに寸法および形状９０８を含み得る。例えば、ビームパターンＡは、０度の方位角および３０度の仰角に方向付けられ、６つの突出部を有する。他の実装においては、突出部のそれぞれの寸法および範囲も指定され得る。ビームパターンの他の特徴（例えばビームパターン方向、トポロジー、寸法、相対的ゲイン、周波数応答、その他等）も格納され得る。

各ビームパターンを生成するビーム形成器係数９１０はビーム形成器係数データストア１２６内に格納される。処理済みデータを生成するためにマイクロフォン２１８（Ｍ）からの信号を含む信号データに適用されると、これらの係数は、特定のビームパターンを形成するために、これらの信号に重みを付けるよう、または変更するよう、作用する。

ビーム形成器係数データストア１２６は１つまたは複数のビームパターンを格納し得る。例えば、異なる方向におけるゲインを有するビームパターンが格納され得る。係数を事前に算出、格納、取得することにより、計算要求は、処理中にビーム形成器係数計算を実行する場合に比較して低減される。上述のようにいくつかの実装においては、ビーム形成器係数データストア１２６の１部分はメモリ１１６内に格納される一方で他の部分はクラウドリソース内に格納され得る。

図１０は、異なるビーム形成器係数から生成された複数の異なるビームパターン１０００とそれらの同時使用とを示す。ビームパターンは特定の処理済みデータを生成するデータ構造であり、同じ１組の信号データから同時に複数の異なるビームパターンを生成することが可能である。

この図面で示すように、第１ビームパターン１００２はビーム形成器係数９１０（１）を有するビームパターンＡ９０２を適用することにより生成される。異なる方向におけるゲインを有し且つビームパターンＢ９０２から生成される第２ビームパターン１００４も示される。ビームパターンＣの９０２のビーム形成器係数９１０（３）を適用することにより生成される第３ビームパターン１００６は、第１ビームパターンおよび第２ビームパターンからは異なる方向に向けられる。

１００８に示すように、３つ以上のビームパターンの全部が同時に作用し得る。したがってこの事例に示すように３つの別個の信号源が追跡され得る。なお各信号源は、関連するビーム形成器係数を有する異なるビームパターンを用いて追跡される。ビーム形成モジュール１２４がマイクロフォン１０４から入力される信号データを処理する計算能力にアクセスを有するかぎり、追加的なビームパターンが生成され得る。

図１１はビーム形成モジュール１２４およびその相互作用を示す。マイクロフォンアレイ１０４は信号データ１１０２を生成する。この信号データ１１０２はアレイ１０４内のマイクロフォンのうちの少なくとも１部分からのデータを含む。例えば、いくつかの実装においては、マイクロフォン２１８の一部が無効化され、したがってデータを生成し得ない。信号データ１１０２はビーム形成モジュール１２４に提供される。

定位モジュール１２２は信号源方向データ１１０４をビーム形成モジュール１２４に提供し得る。例えば、定位モジュール１２２は、特定空間座標に存在するユーザの信号源場所５０２を判定するためにパターン投影を用い得る。信号源方向データ１１０４は、マイクロフォンアレイ１０４に対する空間座標、方位角、仰角、または方位角および仰角を含み得る。

ビーム形成モジュール１２４は、ビーム形成器係数データストア１２６から１組のビーム形成器係数９１０を生成または選択し得る。ビーム形成器係数９１０およびそれらの対応するビームパターン５０４の選択は、信号源に対する信号源方向データ１１０４に少なくとも部分的に基づいて判定され得る。この選択は所与の信号源にゲインまたは減衰を提供するためになされ得る。例えば、空間的に異なる雑音源には減衰をもたらす一方でユーザの音声にはゲインを提供するビームパターン５０４を生成するビーム形成器係数９１０が選択され得る。上述のように、ビーム形成器係数９１０は少なくとも部分的に事前計算され得る。

ビーム形成モジュール１２４は１つまたは複数の組のビーム形成器係数９１０を信号データ１１０２に適用し、それにより処理済みデータ１１０６を生成する。限定としてではなく例示として、ビーム形成モジュール１２４は４組のビーム形成器係数９１０（１）〜（４）を用いて４組の処理済みデータ１１０６（１）〜（４）を生成し得る。同一の信号データから生成されたものではあるが、これらの組の処理済みデータ１１０６のそれぞれは、それらの異なるビームパターン５０４のために、異なったものとなり得る。

処理済みデータは分析され得、またはさらに追加的なプロセッサにより操作され得る。ここで示すように、処理済みデータ１１０６（１）はフィルタモジュール１１０８（１）によりフィルタ処理が施され得る。次いで、フィルタ処理済みデータ１１０６（１）は音声認識モジュール１１１０に提供される。フィルタモジュール１１０８（１）は人の音声の周波数を選択的に通すよう構成されたバンドパスフィルタを備え得る。この図面のフィルタモジュールは、アナログ、デジタル、またはこれらの組み合わせであり得る。音声認識モジュール１１０は、処理済みデータ１１０６（フィルタモジュール１１０８（１）により処理済みの場合もあり未処理である場合もある）を分析し、人間音声を拡張現実環境への入力として認識するよう構成される。

第２組の処理済みデータ１１０６（２）は、第２フィルタモジュール１１０８（２）により処理された後にまたは処理されず、分析のために可聴ジェスチャ認識モジュール１１１２に提供され得る。可聴ジェスチャ認識モジュール１１１２は可聴ジェスチャ（例えば拍手音、指スナップ音、タップ音、その他）を拡張現実環境への入力として判定するよう構成され得る。

ビーム形成モジュール１２４がビーム形成係数９１０を信号データ１１０２に適用する計算能力にアクセスを有するかぎり、複数の同時ビームパターン（それぞれが処理済みデータ出力を有する）が生成され得る。第３組の処理済みデータ１１０６（３）（例えば第３の組のビーム形成器係数９１０により生成される処理済みデータ）はいくつかの他のモジュール１１１４に提供され得る。他のモジュール１１１４は、他の機能（例えば音声録音、生物測定監視、その他）を提供し得る。

いくつかの実装においては、信号源方向データ１１０４が利用不能である場合、信頼性が低い場合、または信号源方向データを独立的に確認することが望ましくない場合もあり得る。同時にビームパターンを選択的に生成する能力は音響源を定位するために用いられ得る。

信号源方向判定モジュール１１１６は、図示のように、複数の処理済みデータ入力１１０６（１）、……、１１０６（Ｑ）を受け取るよう構成され得る。一連の異なるビームパターン５０４を用いて、システムは信号強度最大値を検索し得る。連続的に微細化される解像度のビームパターン５０４を用いることにより、信号源方向判定モジュール１１６は、マイクロフォンアレイ１０４に対する信号源への方向を分離するよう構成され得る。いくつかの実装において、信号源は空間内の特定領域に定位され得る。例えば、それぞれが異なる始点を有する１組のビームパターンは、以下で図１３〜図１４に関連してより詳細に論じられるように、信号源場所を三角測量するよう構成され得る。

ビーム形成モジュール１２４も信号源を追跡するよう構成され得る。この追跡は、事前計算された組のビーム形成器係数９１０を変更すること、または異なる組のビーム形成器係数９１０を連続的に選択することを含み得る。

ビーム形成モジュール１２４は、リアルタイムで、もしくはニアリアルタイムで動作してもよく、または以前に取得され格納された（例えば信号データストア１２８内に）データに適用されてもよい。例えば、拡張現実環境内で行われたプレゼンテーションを考慮されたい。プレゼンテーションからの信号データ１１０２は信号データストア１２８内に格納された。プレゼンターによるプレゼンテーション中、部屋の後部における２人の同僚が互いに会話し、プレゼンターにより提起されたポイントについて討論した。彼らの側部会話を録音するよう要求されると、ビーム形成モジュール１２４は、会話中に部屋内の彼らの位置からの信号に集束し彼らの会話の処理済みデータ１１０６を生成するために、１つまたは複数のビームパターンを用いる。それとは対比的に、プレゼンテーションの再生を要求する他のユーザは、プレゼンターに集束されたビームパターンから生成される音声を聞くことができる。

例示的処理
本開示で説明される処理は、本明細書で説明するアーキテクチャにより、または他のアーキテクチャにより、実装され得る。これらの処理は論理フローグラフにおけるブロックの集合として示される。いくつかのブロックは、ハードウェア、ソフトウェア、またはこれらの組合せで実装され得る操作を表す。ソフトウェアのコンテキストにおいては、これらのブロックは、１つまたは複数のプロセッサにより実行されたときに記載された動作を実行する１つまたは複数のコンピュータ可読記憶媒体上に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するかまたは特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、その他を含み得る。操作が説明される順序は限定として解釈されることを意図するものではなく、説明されるブロックのうちの任意の個数が、処理を実装するために、任意の順序で、または並列して、組み合わされ得る。以下の処理は他のアーキテクチャ上でも実装され得ることを理解すべきである。

図１２は、信号源への方向が既知である場合にビーム形成器を用いて信号を取得する例示的処理１２００である。１２０２において、信号データは信号源からマイクロフォンアレイ１０４において取得される。例えば、マイクロフォンアレイ１０４は拡張現実環境におけるユーザ音声の音響を検出し得る。

１２０４において、マイクロフォンアレイ１０４に対する信号源の場所が判定される。この事例を継続して、ＡＲＦＮ１０２は、ユーザが部屋における空間座標Ｘ、Ｙ、Ｚ（マイクロフォンアレイ１０４に対して３００度の相対的方位角および４５度の仰角にある）に位置することを示す信号源方向データ１１０４を判定するために、プロジェクタ２０６から発せられ且つカメラ２１０により受け取られるパターン投影を用い得る。

１２０６において、１組のビーム形成器係数９１０が信号データに適用され、それにより信号源の場所または方向に集束されたビームパターン５０４を有する処理済みデータ１１０６が生成される。いくつかの実装において、ビーム形成器係数９１０の少なくとも１部分は事前計算されてもよく、またはビーム形成器係数データストア１２６から取得されてもよい。１組のビーム形成器係数９１０の選択は少なくとも部分的に信号源方向データ１１０４の分析により判定され得る。例えば、信号源方向データが±１メートルの許容誤差を有する場合、確実に信号をキャプチャするために、より大きい主要突出部ビーム幅６０６を有するビームパターンが、より小さい主要突出部ビーム幅６０６を有するビームパターンよりも選択され得る。

１２０８において、処理済みデータ１１０６は分析され得る。例えば、処理済みデータは音声認識モジュール１１１０、可聴ジェスチャ認識モジュール１１１２、その他により分析され得る。この事例を継続して、音声認識モジュール１１１０はユーザの音声からテキストデータを生成し得る。同様に、可聴ジェスチャ認識モジュール１１１２は、発生された拍手音を判定し、これをユーザ入力として生成し得る。

いくつかの実装において、１組のビーム形成器係数９１０は、信号源の判定された場所または方向における変化に少なくとも部分的に応答して更新され得る。例えば、信号源が歩行中のユーザの発語である場合、信号データ１１０２に適用される１組のビーム形成器係数９１０は、ゲインが移動中のユーザ上に集束された状態である主要突出部が提供されるよう連続的に更新され得る。

単一の信号およびビームパターンがここでは説明されて来たが、複数の信号が取得され、複数の同時ビームパターンが存在し得ることを理解すべきである。

図１３は、信号源への方向を判定するために、連続的に微細化される空間的特徴を有するビームパターンを生成するビーム形成器を使用する１３００を示す。上述のように、いくつかの実装において、聴覚信号源に対する場所または方向を判定するために、マイクロフォンアレイ１０４からの信号データ１１０２を用いることが望まれる場合もある。

１組の４つの粗大ビームパターン１３０２が表示された部屋が示される。これらのビームパターン５０４は、部屋の４つの四半分をカバーするよう構成される。上述のように、これらのビームパターン５０４は同時に存在し得る。信号源場所５０２は部屋の上方右側四半分において「Ｘ」で示される。ビームパターン５０４のそれぞれからの処理済みデータ１１０６は、いずれのビームパターンにおいて信号最大値が存在するかを判定するために比較され得る。例えば、ビーム形成モジュール１２４は、いずれのビームパターンが最大音量の信号を有するかを判定し得る。

ここで示すように、上方右側の四半分への主要突出部およびビーム方向を有するビームパターン５０４は網掛けが施され、最大信号を含むビームパターンであることが示される。第１ビームパターン方向１３０４は第１角度１３０６で示される。粗大ビームパターン１３０２は比較的大きいため、このポイントにおいて、信号源場所５０２への方向は不正確である。

上方右側のビームパターンが信号最大値を含むという判定に基づいて、１組の中間ビームパターン１３０８が次に信号データ１１０２に適用される。この図面で示すように、この組の中間ビームパターンは対象となる上方右側四半分のボリューム内に主に含まれる。なお、それぞれのビームパターンは粗大ビームパターン１３０２よりも小さい主要突出部を有する。信号最大値は中間ビームパターン１３０８の中から、ここで示されるように第２角度１３１２の第２ビームパターン方向１３１０を有する網掛けが施された主要突出部により判定される。

異なるゲイン、方向性、その他を有する一連のビームパターンが、信号源場所５０２を精緻化するために、信号データ１１０２に適用され続け得る。この図面で示すように、１組の微細ビームパターン１３１４が第２ビームパターン方向１３１０の周りに集束される。再び、これらのビームパターンから信号最大値が検出される。例えば、この図面で示すように、微細ビームパターン１３１４のうちの１つの網掛けが施された突出部が信号最大値を含む。第３角度１３１８を有するこのビームパターンの第３ビームパターン方向１３１６が示される。したがって信号源場所５０２への方向は第３角度１３１８として判定され得る。

図１４は、ビーム形成器を用いる信号の取得に少なくとも部分的に基づいて信号源への方向を判定する例示的処理１４００を示す。１４０２において、信号データ１１０２は信号源からマイクロフォンアレイ１０４において取得される。例えば、マイクロフォンアレイ１０４は拡張現実環境においてユーザが拍手する音響を検出し得る。

１４０４において、第１ボリュームを含む第１組のビームパターン５０４を記述する第１組のビーム形成器係数９１０が信号データ１１０２に適用される。例えば、図１３の粗大ビームパターン１３０２が信号データ１１０２に適用され得る。

１４０６において、第１組のビームパターンのうちのいずれのビームパターンが信号からの最大信号強度を含むかについての判定がなされる。図１３からこの事例を継続して、第１ビームパターン方向１３０４を有するビームパターンの選択。

１４０８において、第１ボリューム内の第２組のビームパターンを記述する第２組のビーム形成器係数９１０が信号データ１１０２に適用される。例えば、上方右側四半分内の中間ビームパターン１３０８。いくつかの実装においては、第２組内のビームパターンは第１ボリュームの外部に延長し得る。しかし、第２組のビーム形成器係数９１０内のビームパターンは主に第１ボリューム内に配置されるよう構成され得る。

１４１０において、第２組のビームパターン内のいずれのビームパターンが信号からの最大信号強度を含むかについての判定がなされる。例えば、第２ビームパターン方向１３１０を有するビームパターン。

１４１２において、マイクロフォンアレイ１０４に対する信号源への方向は、信号強度最大値を含む第２組内のビームパターンの特徴に少なくとも部分的に基づいて判定される。ビームパターンの特徴は、ビームパターン方向６０２、主要突出部ビーム幅６０６、ゲインパターン、ビームパターン幾何学的形状、ヌル領域６１２の場所、その他を含み得る。

いくつかの実装において、連続的に微細化されるビームパターンの追加的な反復は、信号源への方向をさらに精緻化するために用いられ得る。さらに、いくつかの実装においては、ビームパターンは、異なる物理的場所に配置された始点を有するよう構成され得る。ビームパターンの始点は、突出部がその周囲から延長するとみなされる中心点である。

結論
発明主題は構造的特徴に対して特定の言語で説明されてきたが、添付の請求項に定義される発明主題は必ずしも説明された特定の特徴に限定されるとは限らないことを理解すべきである。むしろ、特定の特徴は請求項を実装する例示的な形態として開示されたものである。

付記項
付記項１
プロセッサと、
前記プロセッサに連結された複数のマイクロフォンを備え且つ聴覚信号源から信号データを生成するよう構成されたマイクロフォンアレイと、
前記プロセッサに連結され且つパターン投影を生成するよう構成されたプロジェクタと、
前記プロセッサに連結され且つ前記パターン投影を受け取るよう構成されたカメラと、
前記プロセッサに連結され且つ前記パターン投影を少なくとも部分的に用いて前記聴覚信号源の場所を判定するよう構成された定位モジュールと、
１つまたは複数の組のビーム形成器係数を格納するよう構成されたビーム形成器係数データストアであって、それぞれの組のビーム形成器係数はビームパターンに関連付けられた、ビーム形成器係数データストアと、
前記聴覚信号源の前記判定された場所に少なくとも部分的に基づいて、１つまたは複数の組の前記１つまたは複数のビームパターンを前記ビーム形成器係数データストアから選択するよう構成されたビーム形成モジュールと、
を備える拡張現実システム。

付記項２
前記１つまたは複数のビームパターンのそれぞれは主要突出部を備え、前記ビーム形成モジュールは、前記聴覚信号源の前記場所を前記選択されたビームパターンの主要突出部内に配置するよう構成されたビームパターンを判定することにより前記ビームパターンを選択するよう構成された、付記項１に記載のシステム。

付記項３
前記１つまたは複数のビームパターンのそれぞれはヌル領域を備え、前記ビーム形成モジュールは、前記聴覚信号源の前記場所を前記選択されたビームパターンのヌル領域内に配置するよう構成されたビームパターンを判定することにより前記ビームパターンを選択するよう構成された、付記項１に記載のシステム。

付記項４
前記ビーム形成モジュールは、前記聴覚信号源の前記場所の正確度に比例する主要突出部ビーム幅を有するビームパターンを判定することにより前記ビームパターンを選択するよう構成された、付記項１に記載のシステム。

付記項５
前記複数のマイクロフォンは作動時に平面状配列で配置されるよう構成された、付記項１に記載のシステム。

付記項６
前記複数のマイクロフォンは作動時に３次元配列で配置されるよう構成された、付記項１に記載のシステム。

付記項７
前記ビーム形成モジュールは、処理済みデータを生成するために、選択されたビームパターンに関連付けられた前記組のビーム形成器係数を前記信号データに適用するようさらに構成された、付記項１に記載のシステム。

付記項８
前記ビーム形成モジュールによる処理のために信号データを格納するよう構成された信号データストアをさらに備える、付記項１に記載のシステム。

付記項９
前記処理済みデータをフィルタ処理するよう構成されたフィルタモジュールをさらに備える、付記項５に記載のシステム。

付記項１０
前記処理済みデータに少なくとも部分的に基づいて可聴ジェスチャを判定するよう構成された可聴ジェスチャ認識モジュールをさらに備える、付記項５に記載のシステム。

付記項１１
コンピュータ実行可能命令を格納する１つまたは複数のコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、実行されると、
信号源から信号データを、マイクロフォンアレイにおいて、取得することと、
前記マイクロフォンアレイに対する前記信号源への方向を判定することと、
前記信号源の前記方向に集束されたビームパターンを生成するよう構成された１組のビーム形成器係数を前記信号データに適用し、それにより処理済みデータを生成することと、
を含む動作を１つまたは複数のプロセッサに実行させる、コンピュータ可読媒体。

付記項１２
前記ビーム形成器係数は前記信号データを前記取得することの前に計算される、付記項８に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項１３
前記マイクロフォンアレイに対する前記信号源の前記方向を前記判定することは定位モジュールから場所情報または方向情報を受け取ることを含む、付記項８に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項１４
前記動作は前記処理済みデータを分析することをさらに含む、付記項８に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項１５
前記分析することは前記処理済みデータにおいて音声を認識することを含む、付記項１０に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項１６
前記分析することは前記処理済みデータにおいて可聴ジェスチャを認識することを含む、付記項１０に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項１７
前記動作は前記マイクロフォンアレイ内の１つまたは複数のマイクロフォンのゲインを選択的に調節することをさらに含む、付記項８に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項１８
前記ゲインを選択的に調節することは前記マイクロフォンアレイ内の前記１つまたは複数のマイクロフォンのアナログゲインを変更することを含む、付記項１１に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項１９
コンピュータ実行可能命令を格納する１つまたは複数のコンピュータ可読媒体であって、コンピュータ実行可能命令は、実行されると、
マイクロフォンアレイから信号源の信号データを取得することと、
第１ボリュームを含む第１組のビームパターンを記述する第１組のビーム形成器係数を前記信号データに適用することと、
前記第１組のビームパターン内の前記ビームパターンのいずれが、前記第１組の前記ビームパターンの他のビームパターンと比較して、前記信号データからの最大信号強度を含むかを判定することと、
前記第１ボリューム内で優勢的に配置された第２ボリュームを有する第２組のビームパターンを記述する第２組のビーム形成器係数を前記信号データに適用することと、
前記第２組のビームパターン内の前記ビームパターンのいずれが、前記第２組の前記ビームパターンの他のビームパターンと比較して、前記信号データからの最大信号強度を含むかを判定することと、
前記マイクロフォンアレイに対する前記信号源への方向を、前記信号強度最大値を含む前記第２組内の前記ビームパターンの１つまたは複数の特徴に少なくとも部分的に基づいて判定することと、
を含む動作を１つまたは複数のプロセッサに実行させる、コンピュータ可読媒体。

付記項２０
前記ビームパターンの前記特徴はビームパターン方向、トポロジー、寸法、相対的ゲイン、または周波数応答を含む、付記項１２に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項２１
前記組のビーム形成器係数は並列的に前記信号データに適用される、付記項１２に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項２２
前記第１組のビームパターンは同時に前記第１ボリュームを含む、付記項１２に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項２３
前記第２組のビームパターンは同時に前記第２ボリュームを含む、付記項１２に記載の１つまたは複数のコンピュータ可読記憶媒体。

付記項２４
前記動作は前記最大信号強度を含む前記ビームパターンから処理済み信号データを分析することをさらに含む、付記項１２に記載の１つまたは複数のコンピュータ可読記憶媒体。

Claims (13)

1. プロセッサと、
   前記プロセッサに連結された複数のマイクロフォンを備え且つ聴覚信号源から信号データを生成するよう構成されたマイクロフォンアレイと、
   前記プロセッサに連結されおよびパターン投影を生成するように構成されたプロジェクタと、
   前記プロセッサに連結されおよび前記パターン投影を受け取るように構成されたカメラと、
   前記プロセッサに連結されおよび前記パターン投影を少なくとも部分的に用いて前記聴覚信号源の場所を判定するように構成された定位モジュールと、
   １つまたは複数の組のビーム形成器係数を格納するように構成されたビーム形成器係数データストアであって、それぞれの組のビーム形成器係数は１つまたは複数のビームパターンに関連付けられた、ビーム形成器係数データストアと、
   前記聴覚信号源の前記場所に少なくとも部分的に基づいて、前記１つまたは複数のビームパターンのうちのビームパターンを前記ビーム形成器係数データストアから選択するように構成されたビーム形成モジュールであって、前記ビームパターンは前記聴覚信号源の前記場所に関連する方向に関連付けられた、該ビーム形成モジュールと、
   を備え、
   前記ビーム形成モジュールは、
   ビームパターンに関連付けられた前記組のビーム形成器係数を前記信号データに適用し、
   複数の個別の聴覚信号源を追跡するために、同じ１組の信号データから複数の異なるビームパターンを生成し、
   １つの又は複数の関連するビーム形成器係数を有する異なるビームパターンを用いて各聴覚信号源を追跡するために、追加的なビームパターンを生成する
   ように構成されたことを特徴とする拡張現実システム。
2. 前記１つまたは複数のビームパターンのそれぞれは主要突出部を備え、前記ビーム形成モジュールは、前記聴覚信号源の前記場所を前記ビームパターンの主要突出部内に配置するように構成されたビームパターンを判定することにより前記ビームパターンを選択するように構成されたことを特徴とする請求項１に記載のシステム。
3. 前記１つまたは複数のビームパターンのそれぞれはヌル領域を備え、前記ビーム形成モジュールは、前記聴覚信号源の前記場所を前記ビームパターンのヌル領域に配置するように構成されたビームパターンを判定することにより前記ビームパターンを選択するように構成されたことを特徴とする請求項１に記載のシステム。
4. 前記ビーム形成モジュールは、前記聴覚信号源の前記場所の正確度に比例する主要突出部ビーム幅を有するビームパターンを判定することにより前記ビームパターンを選択するように構成されたことを特徴とする請求項１に記載のシステム。
5. 前記ビーム形成モジュールは、処理済みデータを生成するために、前記組のビーム形成器係数を前記信号データに適用するように構成され、前記システムは、
   前記処理済みデータをフィルタ処理するように構成されたフィルタモジュールをさらに備えたことを特徴とする請求項１に記載のシステム。
6. 前記ビーム形成モジュールは、処理済みデータを生成するために、前記組のビーム形成器係数を前記信号データに適用するように構成され、前記システムは、
   前記処理済みデータに少なくとも部分的に基づいて可聴ジェスチャを判定するように構成された可聴ジェスチャ認識モジュールをさらに備えたことを特徴とする請求項１に記載のシステム。
7. コンピュータ実行可能命令を格納するコンピュータ可読記録媒体であって、前記コンピュータ実行可能命令は、実行されると、
   信号源から信号データを、マイクロフォンアレイにおいて、取得することと、
   前記マイクロフォンアレイに対する前記信号源への方向を判定することと、
   前記信号源への前記方向に対応するビームパターンを生成するように構成された１組のビーム形成器係数を前記信号データに適用し、それにより処理済みデータを生成することと、
   複数の個別の信号源を追跡するために、同じ１組の信号データから複数の異なるビームパターンを生成することと、
   １つ又は複数の関連するビーム形成器係数を有する異なるビームパターンを用いて各信号源を追跡するために、追加的なビームパターンを生成することと
   を含む動作を１つまたは複数のプロセッサに実行させることを特徴とするコンピュータ可読記録媒体。
8. 前記マイクロフォンアレイに対する前記信号源への前記方向を前記判定することは、定位モジュールから場所情報または方向情報を受け取ることを含む、請求項７に記載のコンピュータ可読記録媒体。
9. 前記動作は、
   前記処理済みデータにおいて音声を認識するために前記処理済みデータを分析すること、または、前記処理済みデータにおいて可聴ジェスチャを認識するために前記処理済みデータを分析すること、
   のうちの１つまたは複数をさらに含むことを特徴とする請求項７に記載のコンピュータ可読記録媒体。
10. 前記動作は前記マイクロフォンアレイ内の１つまたは複数のマイクロフォンのゲインを選択的に調節することをさらに含むことを特徴とする請求項７に記載のコンピュータ可読記録媒体。
11. コンピュータ実行可能命令を格納するコンピュータ可読記録媒体であって、前記コンピュータ実行可能命令は、実行されると、
    マイクロフォンアレイから信号源の信号データを取得することと、
    第１ボリュームを含む第１組のビームパターンを記述する第１組のビーム形成器係数を前記信号データに適用することと、
    前記第１組のビームパターン内の前記ビームパターンのいずれが、前記第１組の前記ビームパターンの他のビームパターンと比較して、前記信号データからの信号強度最大値を含むかを判定することと、
    前記第１ボリューム内で優勢的に配置された第２ボリュームを有する第２組のビームパターンを記述する第２組のビーム形成器係数を前記信号データに適用することと、
    前記第２組のビームパターン内の前記ビームパターンのいずれが、前記第２組の前記ビームパターンの他のビームパターンと比較して、前記信号データからの前記信号強度最大値を含むかを判定することと、
    前記マイクロフォンアレイに対する前記信号源への方向を、前記信号強度最大値を含む前記第２組内の前記ビームパターンの１つまたは複数の特徴に少なくとも部分的に基づいて判定することであって、前記ビームパターンは前記信号源への方向に対応する、該判定することと、
    前記第１組のビーム形成器係数および前記第２組のビーム形成器係数を並列的に前記信号データに適用することと、
    複数の個別の信号源を追跡するために、同じ１組の信号データから複数の異なるビームパターンを生成することと、
    １つ又は複数の関連するビーム形成器係数を有する異なるビームパターンを用いて各信号源を追跡するように、追加的なビームパターンを生成することと
    を含む動作を１つまたは複数のプロセッサに実行させることを特徴とするコンピュータ可読記録媒体。
12. 前記ビームパターンの前記特徴はビームパターン方向、トポロジー、寸法、相対的ゲイン、または周波数応答を含むことを特徴とする請求項１１に記載のコンピュータ可読記録媒体。
13. 前記動作は前記信号強度最大値を含む前記ビームパターンから処理された信号データを分析することをさらに含むことを特徴とする請求項１１に記載のコンピュータ可読記録媒体。

Images