JP2024516755A - 親指圧力感知を有するハンドヘルドコントローラ - Google Patents

Abstract

開示されるハンドヘルドコントローラは、（１）本体であって、（ａ）手によって把持されるように構成された把持領域と、（ｂ）手が把持領域を把持している間に手の親指によって係合されるように構成された入力表面領域と、を備える、本体と、（２）入力表面領域に機械的に結合された圧力センサーであって、第１の入力として解釈される、親指によって入力表面領域上に加えられた圧力のレベルを示す圧力センサーと、を含み得る。種々の他のハンドヘルドコントローラ、方法、およびシステムも開示される。【選択図】図２

Description

本開示は、概して、親指圧力感知を採用するハンドヘルドコントローラ、システム、および方法を対象とする。

人工現実システム、ゲームシステムなどに組み込まれるものなどのハンドヘルドコントローラは、かかるシステムのユーザがそのシステムに（たとえば、入力ボタンを介して）正確で適時な入力を提供することができる便利なデバイスである。加えて、いくつかのハンドヘルドコントローラは、ユーザに何らかのタイプの出力またはフィードバックを提供する構成要素（たとえば、触覚フィードバックデバイス）を含むことができる。しかしながら、かかるシステムは、それらのユーザとのより複雑で微妙な対話を徐々に促進するため、費用効果の高いハンドヘルドコントローラを介して関連付けられた入力を可能にする能力が制限される場合がある。たとえば、人工現実システムにおいて提示されている仮想物体に把持動作またはピンチング動作を適用することなどのいくつかの微妙なユーザ動作は、限られた数およびタイプの入力構成要素を提供するハンドヘルドコントローラを用いて容易にすることが困難であり得る。

本開示の第１の態様によれば、ハンドヘルドコントローラであって、本体であって、手によって把持されるように構成された把持領域と、手が把持領域を把持している間に手の親指によって係合されるように構成された入力表面領域と、を備える、本体と、入力表面領域に結合された圧力センサーであって、圧力センサーは、第１の入力として解釈される、親指によって入力表面領域上に加えられた圧力のレベルを示す、圧力センサーと、を備える、ハンドヘルドコントローラが提供される。

いくつかの実施形態では、ハンドヘルドコントローラは、把持領域に結合され、手が把持領域を把持している間に手の人差し指によって係合されるように構成されたトリガボタンをさらに備え得、トリガボタンは、第２の入力として解釈される、トリガボタンがアクティブ化されたかどうかを検出する。

いくつかの実施形態では、ハンドヘルドコントローラは、トリガボタンに結合され、出力に基づいて人差し指に触覚フィードバックを提供する触覚アクチュエータをさらに備え得る。

いくつかの実施形態では、圧力センサーは、入力表面領域の押下を感知する静圧センサーを備え得る。

いくつかの実施形態では、圧力センサーは、ゼロ移動センサーを備え得る。

いくつかの実施形態では、ハンドヘルドコントローラは、入力表面領域に結合され、出力に基づいて親指に触覚フィードバックを提供する触覚アクチュエータをさらに備え得る。

いくつかの実施形態では、ハンドヘルドコントローラは、入力表面領域に結合され、第２の入力として解釈される入力表面領域とのタッチを検出するように構成された容量センサーをさらに備え得る。

いくつかの実施形態では、ハンドヘルドコントローラは、第２の入力として解釈される入力表面領域上のタッチされた場所を検出する容量センサーをさらに備え得る。

いくつかの実施形態では、ハンドヘルドコントローラは、入力表面領域の外側で本体に結合され、手が把持領域を把持している間に親指によって係合されるように構成された入力ボタンをさらに備え得、入力ボタンは、第２の入力として解釈される入力ボタンが係合されたかどうかを示す。

本開示の第２の態様によれば、人工環境内に仮想物体を提示するディスプレイと、仮想物体を操作するための複数の入力を処理するプロセッサと、ハンドヘルドコントローラと、を備える、システムであって、ハンドヘルドコントローラは、本体であって、手によって把持されるように構成された把持領域と、手が把持領域を把持している間に手の親指によって係合されるように構成された入力表面領域と、を備える、本体と、入力表面領域に結合された圧力センサーであって、圧力センサーは、親指によって入力表面領域上に加えられた圧力のレベルを示し、プロセッサは、圧力のレベルを複数の入力のうちの第１の入力として処理する、圧力センサーと、を備える、システムが提供される。

いくつかの実施形態では、ハンドヘルドコントローラは、把持領域に結合され、手の人差し指によって係合されるように構成されたトリガボタンをさらに備え得、トリガボタンは、トリガボタンがアクティブ化されたかどうかを示し、プロセッサは、トリガボタンがアクティブ化されたかどうかを複数の入力のうちの第２の入力として処理する。

いくつかの実施形態では、プロセッサは、第１の入力と第２の入力との組み合わせを仮想物体の操作として解釈し得る。

いくつかの実施形態では、仮想物体の操作は、仮想物体に加えられたピンチング動作を含み得る。

いくつかの実施形態では、ハンドヘルドコントローラは、入力表面領域に結合された容量センサーをさらに備え得、容量センサーは、入力表面領域のタッチされた場所を検出し、プロセッサは、タッチされた場所の表現を複数の入力のうちの第３の入力として処理する。

いくつかの実施形態では、プロセッサは、第３の入力を、ディスプレイによって提示されるメニューのナビゲーションとして解釈し得る。

いくつかの実施形態では、プロセッサは、第１の入力、第２の入力、および第３の入力の組み合わせを仮想物体の操作として解釈し得る。

いくつかの実施形態では、仮想物体の操作は、仮想物体に加えられた回転動作を含み得る。

本開示の第３の態様によれば、方法であって、ハンドヘルドコントローラの本体の入力表面領域に結合された圧力センサーによって、入力表面領域に加えられた圧力のレベルを検出することであって、本体は、手によって把持されるように構成された把持領域をさらに備え、入力表面領域は、手が把持領域を把持している間、手の親指によって係合されるように構成される、ことと、プロセッサによって、圧力のレベルを第１の入力として解釈することと、を含む、方法が提供される。

いくつかの実施形態では、方法は、把持領域に結合され、手が把持領域を把持している間に手の人差し指によって係合されるように構成される、トリガボタンによって、トリガボタンがアクティブ化されたかどうかを検出することと、プロセッサによって、トリガボタンがアクティブ化されたかどうかを第２の入力として解釈することと、をさらに含み得る。

いくつかの実施形態では、方法は、ディスプレイによって、人工環境内に仮想物体を提示することと、プロセッサによって、第１の入力および第２の入力の組み合わせを仮想物体の操作として解釈することと、をさらに含み得る。

本開示の１つ以上の態様または実施形態への組み込みに好適であるものとして本明細書で説明される任意の特徴は、本開示の任意のおよびすべての態様および実施形態にわたって一般化可能であるものとすることが理解されよう。本開示の他の態様が、本開示の発明を実施するための形態、特許請求の範囲、および図面に照らして当業者によって理解され得る。上記の概略的な説明および以下の発明を実施するための形態は、例示的および説明的なものにすぎず、特許請求の範囲を限定しない。

添付の図面は、いくつかの例示的な実施形態を図示しており、明細書の一部である。以下の説明とともに、これらの図面は、本開示の様々な原理を明示および解説する。

親指圧力感知を組み込んだ例示的なハンドヘルドコントローラのブロック図である。 親指圧力感知を組み込んだ例示的なハンドヘルドコントローラの斜視図である。 親指圧力感知を含むハンドヘルドコントローラによって採用される例示的な方法のフロー図である。 本開示の実施形態に関連して使用され得る例示的な拡張現実眼鏡の図である。 本開示の実施形態に関連して使用され得る例示的な仮想現実ヘッドセットの図である。 親指圧力感知を採用する例示的なハンドヘルドコントローラに実装された構成要素のブロック図である。 親指圧力感知を採用するハンドヘルドコントローラを組み込んだ、人工現実システムの実装形態のための例示的コンピューティングアーキテクチャのブロック図である。 ユーザの眼（複数可）を追跡することが可能な視線追跡サブシステムを組み込んだ、例示的なシステムの図である。 図８に示される視線追跡サブシステムの種々の態様のより詳細な図である。

図面全体にわたって、同等の参照符号および説明は、必ずしも同等とは限らないが、類似の要素を指し示す。本明細書で説明される例示的な実施形態は、様々な変更形態および代替の形態が可能であるが、特定の実施形態が、図面中で例として示されており、本明細書で詳細に説明される。しかしながら、本明細書で説明される例示的な実施形態は、開示される特定の形態に限定されるものではない。そうではなく、本開示は、添付の特許請求の範囲内に入るすべての変更形態、等価物、および代替形態を包含する。

人工現実システム、ゲームシステムなどに組み込まれるものなどのハンドヘルドコントローラは、かかるシステムのユーザがそのシステムに（たとえば、入力ボタンを介して）正確で適時な入力を提供することができる便利なデバイスである。加えて、いくつかのハンドヘルドコントローラは、ユーザに何らかのタイプの出力またはフィードバックを提供する構成要素（たとえば、触覚フィードバックデバイス）を含むことができる。しかしながら、かかるシステムは、それらのユーザとのより複雑で微妙な対話を徐々に促進するため、費用効果の高いハンドヘルドコントローラを介して関連付けられた入力を可能にする能力が制限される場合がある。たとえば、人工現実システムにおいて提示されている仮想物体に把持動作またはピンチング動作を適用することなどのいくつかの微妙なユーザ動作は、限られた数およびタイプの入力構成要素を提供するハンドヘルドコントローラを用いて容易にすることが困難であり得る。

本開示は、概して、親指圧力感知を採用するハンドヘルドコントローラ、システム、および方法を対象とする。いくつかの実施形態では、例示的なハンドヘルドコントローラは、手によって把持されるように構成された把持領域と、手が把持領域を把持している間に手の親指によって係合されるように構成された入力表面領域とを含む本体を有することができる。ハンドヘルドコントローラは、入力表面領域と機械的に結合された圧力センサーをさらに含むことが可能であり、圧力センサーは、第１の入力として解釈される、入力表面領域上に親指によって加えられた圧力のレベルを示す。いくつかの例では、かかるハンドヘルドコントローラの使用は、費用効果を維持しながら、特に他の入力構成要素（たとえば、１つ以上のボタン）とともに、より微妙なまたは種々の入力（たとえば、人工環境におけるピンチング）を容易にすることができる。

本明細書において説明される実施形態のいずれかからの特徴は、本明細書において説明される一般原理に従って互いに組み合わされて使用され得る。これらおよび他の実施形態、特徴、ならびに利点は、添付の図面および特許請求の範囲とともに以下の詳細な説明を読むと、より十分に理解されるであろう。

以下は、図１～図９を参照して、親指圧力感知を採用する例示的なハンドヘルドコントローラ、システム、および方法の詳細な説明を提供する。例示的な手持ちコントローラの種々の実施形態が、図１のブロック図および図２の斜視図に関連して説明される。ハンドヘルドコントローラを介して親指圧力感知を採用する例示的な方法が、図３に関連して説明される。種々のハンドヘルドコントローラの実施形態に関連して使用され得る例示的な拡張現実眼鏡および例示的な仮想現実ヘッドセットの説明は、それぞれ図４および図５の図に関連して説明される。親指圧力感知を採用する例示的な手持ちコントローラに含まれ得るいくつかの構成要素の説明が、図６のブロック図に関連して提供される。本明細書で説明されるような、ハンドヘルドコントローラを組み込んだ人工現実システムのための例示的なコンピューティングアーキテクチャの説明が、図７に関連して提示される。さらに、図８および９に関連して、人工現実システムに関連して採用され得る、例示的なディスプレイシステムおよび例示的視線追跡サブシステムが説明される。

以下で説明する種々のハンドヘルドコントローラの実施形態では、コントローラは、ユーザの親指によって印加された圧力を感知するように構成される。しかしながら、他の実施形態では、加えて、または代替として、圧力感知が、１つ以上の他の指（たとえば、人差し指）のために提供され得る。加えて、以下の説明は、単一のハンドヘルドコントローラに焦点を当てるが、少なくともいくつかのユーザシステム（たとえば、人工現実システム）は、各手に対して１つずつ構成される、２つのかかるコントローラを提供してもよい。

図１は、親指圧力感知を組み込んだ例示的なハンドヘルドコントローラ１００のブロック図である。より具体的には、図１は、ハンドヘルドコントローラ１００の種々の実施形態に関連する可能な構成要素を示す。示された構成要素の一部は、ハンドヘルドコントローラ１００のいくつかの実施形態に含まれなくてもよく、ハンドヘルドコントローラ１００に含まれ得る他の構成要素（たとえば、バッテリ、１つ以上のプリント回路基板など）は、以下の説明を簡単にするために、図１には示されていない。図１のブロック図は、ハンドヘルドコントローラ１００のある種の概略図を表すが、以下でより詳細に説明する図２は、かかるコントローラの１つの可能な実施形態の斜視図を提示する。

ハンドヘルドコントローラ１００は、少なくともいくつかの実施形態では、把持領域１０４および入力表面領域１０６を画定する本体１０２を含み得る。いくつかの例では、把持領域１０４は、ユーザの手によって把持されるように構成されてもよい。たとえば、把持領域１０４は、手のひらおよび／または手の１本以上の指（たとえば、親指および／または人差し指以外の指）によって係合されるように構成されてもよい。いくつかの実施形態では、把持領域１０４は、手による係合を容易にするために、１つ以上の物理的特徴（たとえば、滑らかな曲線、リッジ、くぼみなど）を画定することができる。

さらに、少なくともいくつかの実施形態では、入力表面領域１０６は、手が把持領域１０４を把持している間、手の親指と係合されるように構成することができる。いくつかの例では、入力表面領域１０６は、ユーザの親指が係合するのにちょうど十分な大きさであり得る本体１０２のエリアであり得る。他の実施形態では、入力表面領域１０６は、ユーザの親指が係合するための１次元または２次元の位置の範囲を提供するのに十分な大きさの本体１０２のエリアであり得る。いくつかの例では、本体１０２は、入力表面領域１０６から離れた親指の位置決めを快適に容易にするために、把持領域１０４内に親指レストまたは同様のエリアを提供することができる。

いくつかの実施形態では、圧力センサー１３２は、圧力センサー１３２が（たとえば、ユーザの親指によって）入力表面領域１０６に加えられた圧力のレベルを示すように、入力表面領域１０６に（たとえば、機械的に、電気的になど）結合され得る。複数の異なる種類の構成要素が、異なる実施形態において圧力センサー１３２として機能してもよく、その各々が、入力表面領域１０６に加えられた圧力のレベルの指標として機能し得る何らかの種類の出力（たとえば、アナログ電圧、静電容量、デジタル値など）を提供することができる。いくつかの例では、圧力センサー１３２は、（たとえば、入力表面領域１０６に直交する入力表面領域１０６の位置またはその変化を検出することによって、入力表面領域１０６の静電容量またはその変化を検出することによってなど）入力表面領域１０６に加えられた圧力の量またはレベルを測定するセンサーであり得る。他の例では、圧力センサー１３２は、入力表面領域１０６に加えられた圧力、または入力表面領域１０６に加えられた圧力の量の代用としての何らかの特性（たとえば、移動量、静電容量など）を測定することができる。さらに、圧力センサー１３２は、何らかの圧力が加えられている入力表面領域１０６上の少なくとも１つの表面位置（たとえば、（ｘ，ｙ）座標）を示すことができる。

いくつかの実施形態では、圧力センサー１３２は、入力表面領域１０６の小さいレベルの押下、移動、または位置を感知および／または区別する静圧センサーであり得る。かかる例では、入力表面領域１０６は、入力表面領域１０６に加えられた圧力の関連付けられたレベルに応答して、ある距離だけ曲がるかまたは他の方法で移動する表面を提示することによって、静圧センサーの使用を容易にすることができる。

他の実施形態では、圧力センサー１３２は、入力表面領域１０６のいかなる押下または他の移動も引き起こすことなく、入力表面領域１０６に加えられた圧力に対応する入力表面領域１０６の何らかの特性を測定することなどによって、入力表面領域１０６に加えられた圧力のレベルを感知するゼロ移動圧力センサーであり得る。たとえば、圧力センサー１３２は、入力表面領域１０６に加えられた圧力のレベルを示すために、入力表面領域の１つ以上の位置で静電容量を測定してもよい。

いくつかの実施形態では、容量センサー１３４はまた、入力表面領域１０６に結合され、（たとえば、ユーザの親指による）入力表面領域１０６とのタッチを検出するように構成することができる。さらに、いくつかの例では、容量センサー１３４は、タッチが発生している入力表面領域１０６上の表面位置（たとえば、（ｘ，ｙ）座標）を検出することができる。いくつかの実施形態では、圧力センサー１３２および容量センサー１３４は、同じセンサーであり得る。他の実施形態では、入力表面領域１０６に結合された他のタイプのセンサーを採用して、入力表面領域１０６とのタッチを検出し、場合によっては、かかるタッチが発生している入力表面領域１０６上の位置を検出することができる。したがって、いくつかの例では、入力表面領域１０６は、ジョイスティック、タッチパッド、または他の位置もしくは方向入力デバイスとして採用され得る。

また、本体１０２に（たとえば、機械的に）結合されたハンドヘルドコントローラ１００には、手が把持領域１０４を把持している間に手の人差し指によって係合されるように構成されたトリガボタン１４０が含まれ得る。トリガボタン１４０は、トリガボタン１４０がアクティブ化された（たとえば、ユーザの人差し指によって押下された）かどうかの指標（たとえば、電圧、ブール指標など）を提供することができる。以下でより詳細に説明されるように、（たとえば、圧力センサー１３２および場合によっては容量センサー１３４によって示されるような）入力表面領域およびトリガボタン１４０のユーザによる同時の操作は、ユーザに提示されている仮想物体の「ピンチ」または他の操作として解釈することができる。さらに、本体１０２には、ユーザによって（たとえば、ユーザの親指によって）アクティブ化されるように位置決めまたは構成された１つ以上の追加の入力ボタン１５０が結合され得る。

図１に示されるように、圧力センサー１３２、容量センサー１３４、トリガボタン１４０、および／または入力ボタン１５０のうちの１つ以上は、トランスミッタ１１０と通信可能に結合することができる。いくつかの実施形態では、トランスミッタ１１０は、圧力センサー１３２、容量センサー１３４、トリガボタン１４０、および／または入力ボタン１５０の出力の表現または指標をプロセッサ（たとえば、ハンドヘルドコントローラ１００上に位置していないプロセッサ）に伝送することができる。種々の例では、トランスミッタ１１０は、有線トランスミッタ（たとえば、電気信号トランスミッタ、光信号トランスミッタなど）または無線トランスミッタ（たとえば、無線周波数（ＲＦ）トランスミッタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランスミッタなど）であり得る。以下に説明されるように、プロセッサは、圧力センサー１３２、容量センサー１３４、トリガボタン１４０、および／または入力ボタン１５０のうちの２つ以上の出力の表現の何らかの組み合わせを仮想物体（たとえば、ディスプレイデバイスによってユーザに提示される人工環境の仮想物体）の操作として解釈することができる。

また、図１に示すように、ハンドヘルドコントローラ１００は、（たとえば、上述したプロセッサからの）出力の表現を受信し得る受信機１２０（たとえば、有線または無線受信機）を含み得る。加えて、ハンドヘルドコントローラ１００は、ハンドヘルドコントローラ１００の本体１０２または他の部分に結合された１つ以上の触覚アクチュエータ１６０を含むことができ、触覚アクチュエータ１６０は、本体１０２（たとえば、把持領域１０４および／または入力表面領域１０６）、トリガボタン１４０、および／またはトリガボタン１４０を含むがこれらに限定されないハンドヘルドコントローラ１００の１つ以上の位置に触覚フィードバックを提供することができる。いくつかの実施形態では、触覚フィードバックは、ユーザの手の１つ以上の部分の人工環境における仮想物体との接触を示すことができる。たとえば、触覚アクチュエータ１６０によって（たとえば、把持領域１０４、入力表面領域１０６、および／またはトリガボタン１４０を介して）提示される触覚フィードバックは、圧力センサー１３２によって感知されるような、入力表面領域１０６上のユーザの親指によって仮想物体に加えられた圧力のレベルを示すことができる。いくつかの例では、触覚アクチュエータ１６０は、１つ以上の線形共振アクチュエータ（ＬＲＡ）、偏心回転質量（ＥＲＭ）などを含んでもよい。

他の例では、ハンドヘルドコントローラ１００の外部に存在する代わりに、（たとえば、トランスミッタ１１０から）入力を受信し、（たとえば、受信機１２０に）出力を提供するプロセッサが、ハンドヘルドコントローラ１００内またはハンドヘルドコントローラ１００上に位置してもよく、したがって、少なくとも上述の伝送動作および受信動作のためのトランスミッタ１１０および受信機１２０の使用を潜在的に排除する。

図２は、図１のハンドヘルドコントローラ１００の一例として機能することができる例示的なハンドヘルドコントローラ２００の斜視図である。図示のように、ハンドヘルドコントローラ２００は、把持領域２０４（図１の把持領域１０４に対応する）および入力表面領域２０６（図１の入力表面領域１０６に対応する）を有する本体２０２を含み得る。加えて、ハンドヘルドコントローラ２００はまた、トリガボタン２４０（図１のトリガボタン１４０として機能する）と、１つ以上の入力ボタン２５０（図１の入力ボタン１５０に対応する）とを含み得、これらの両方は、入力表面領域２０６の外部に存在し得る。図２に示されるように、入力表面領域２０６および入力ボタン２５０は、ユーザの手が把持領域２０４に係合している間、および手の人差し指がトリガボタン２４０上に位置決めされている間、ユーザの手の親指によって選択的に係合されてもよい。

図２は、ハンドヘルドコントローラ２００の１つの特定の構成または配置を示しているが、ハンドヘルドコントローラ２００の他の構成も可能である。より具体的には、入力表面領域２０６は、本体２０２の入力ボタン２５０と実質的に同様の平面上に配置されてもよいが、本体２０２は、入力表面領域２０６が、入力ボタン２５０を支持する本体２０２の部分とは実質的に異なる平面内に位置し得るように、他の方法で成形されてもよい。たとえば、入力表面領域２０６は、入力ボタン２５０から離れるように下方に（たとえば、把持領域２０４に対して垂直または平行に、および入力ボタン２５０を保持する本体２０２の表面に対して下方に０度～９０度の間で）角度付けされてもよい。いくつかの実施形態では、本体２０２に対する入力表面領域２０６のかかる構成は、入力表面領域２０６とトリガボタン２４０との間の快適な対向角を容易にすることができる。

加えて、いくつかの実施形態では、ハンドヘルドコントローラ２００の１つ以上の構成要素（たとえば、圧力センサー１３２、容量センサー１３４、触覚アクチュエータ１６０、トランスミッタ１１０、および／または受信機１２０として機能する構成要素）は、本体２０２の内部に存在してもよい。他の例では、図２に示されていない他の構成要素がハンドヘルドコントローラ２００に含まれてもよい。

さらに、ハンドヘルドコントローラ２００は、ユーザまたはローカル環境に対するハンドヘルドコントローラ２００の位置（たとえば、場所および／または配向）を追跡するために採用され得る１つ以上のカメラ２１２（たとえば、大きな視野を有する広角カメラ）を含み得る。加えて、または代替として、ハンドヘルドコントローラ２００は、光学センサー、音響センサー（たとえば、ソナー）、飛行時間センサー、構造化光エミッタ／センサー、全地球測位システム（ＧＰＳ）モジュール、慣性測定ユニット（ＩＭＵ）、および他のセンサーを含み得る。これらのセンサーのいずれかまたはすべては、入力データをハンドヘルドコントローラ２００に提供するために、単独でまたは組み合わせて使用されてもよい。

カメラ２１２は、ハンドヘルドコントローラ２００上の実質的に任意の場所に位置決めすることができる。いくつかの実施形態では、カメラ２１２は、互いからオフセットされた角度（たとえば、互いから３０度、４０度、５０度、６０度、７０度、８０度、または９０度オフセットされた）で位置決めすることができる。このオフセットは、カメラ２１２が、ハンドヘルドコントローラ２００が使用されている物理環境の異なる部分を取り込むことを可能にし得る。場合によっては、カメラ２１２は、ユーザの手、指、または他の身体部分からの閉塞を回避するように位置決めされてもよい。

たとえば、カメラ２１２は、壁、床、天井、部屋内の物体、部屋内の人々、または部屋の他の特徴を含む部屋の部分を取り込むように構成されてもよい。同様に、ハンドヘルドコントローラ２００が屋外で使用されている場合、カメラ２１２は、地面、空、またはデバイスの３６０度の周囲の画像を取り込むように構成することができる。画像は、空間内のデバイスの現在の場所を決定するために、単独で、または組み合わせて使用されてもよい。たとえば、画像は、室内の物体までの距離を決定するために使用されてもよい。連続して撮影された画像のシーケンス間の移動を使用して、ハンドヘルドコントローラ２００がどの方向に移動したか、およびハンドヘルドコントローラ２００がそれらの周囲に対してどれだけ速く移動したかを計算することができる。画像は、別の周辺デバイス（たとえば、ユーザの他方の手の中の第２のハンドヘルドコントローラ２００）の位置を決定するために使用され得る。画像はまた、ユーザの手、指、腕、胴、脚、顔、頭、または他の身体部分を含む、ハンドヘルドコントローラ２００を使用しているユーザの部分を取り込むために使用することができる。ハンドヘルドコントローラ２００は、これらの身体部分の画像を使用して、その位置を決定するために任意の他の外部カメラまたはセンサーに頼ることなく、ユーザに対する、および壁、ドア、床、および天井を含む室内の他の物体に対するその位置を決定することができる。

いくつかの実施形態では、ハンドヘルドコントローラ２００は、以下でより詳細に説明するように、ヘッドセット（たとえば、人工現実システムのヘッドセット）と通信することができる。ヘッドセットは、ディスプレイおよび１つ以上のコンピューティング構成要素を含み得る。これらのコンピューティング構成要素は、ディスプレイを生成してユーザに提示するように構成することができる。ディスプレイは、ユーザインターフェースと、ビデオコンテンツ、ウェブコンテンツ、ビデオゲームコンテンツなどのコンテンツとを含み得る。ヘッドセット３０６内のコンピューティング構成要素はまた、マップデータを生成するように構成され得る。たとえば、ヘッドセット３０６内のコンピューティング構成要素は、ユーザによって装着された、またはヘッドセット上に搭載されたセンサーから入力を受信し、そのセンサーデータを使用してユーザの環境のマップを作成してもよい。このマップデータは、ハンドヘルドコントローラ２００と共有することができ、ハンドヘルドコントローラは、その位置を決定するときにこのマップデータを使用することができる。さらに、いくつかの実施形態では、かかるシステム内のハンドヘルドコントローラ２００の自己追跡能力を採用して、ヘッドセットによって表示されるような人工環境内の仮想物体に対するユーザの手の相対的な位置および／または配向を決定し、上記で説明したように、仮想物体をピンチングすることまたは把持することを容易にすることができる。

図３は、親指圧力感知を含むハンドヘルドコントローラ（たとえば、ハンドヘルドコントローラ１００または２００）によって採用される例示的な方法３００のフロー図である。ステップ３１０において、入力表面領域（たとえば、入力表面領域１０６または２０６）に加えられた圧力のレベルが（たとえば、圧力センサー１３２によって）検出され得る。ステップ３２０において、圧力のレベルは、第１の入力として（たとえば、プロセッサによって）解釈され得る。ステップ３３０において、トリガボタン（たとえば、トリガボタン１４０または２４０）がアクティブ化されたかどうかが検出され得る。さらに、ステップ３４０において、トリガボタンがアクティブ化されたかどうかが、第２の入力として（たとえば、プロセッサによって）解釈され得る。ステップ３５０において、第１の入力および第２の入力の組み合わせは、仮想物体の操作として（たとえば、プロセッサによって）解釈され得る。いくつかの例では、プロセッサは、本明細書で説明するように、かかる解釈、ならびにプロセッサに起因する他の動作を実施するために、１つ以上のメモリデバイスに記憶されたソフトウェア命令を実行し得る。

ハンドヘルドコントローラ１００または２００を参照すると、いくつかの実施形態では、第１の入力および第２の入力は、仮想物体の「ピンチ」または「把持」として解釈することができ、仮想物体に加えられた仮想力の量は、トリガボタン１４０のアクティブ化に関連して入力表面領域１０６に加えられた圧力のレベルによって少なくとも部分的に決定される。いくつかの例では、トリガボタン１４０のアクティブ化は、入力表面領域１０６上の何らかのレベルの圧力を、仮想物体上に何らかの圧力または力を加えていると解釈することが必要でない場合がある。また、いくつかの実施形態では、仮想物体に加えられた力の量の視覚的表現が（たとえば、視覚ディスプレイを介して）ユーザに提示され得る。たとえば、仮想物体は、入力表面領域１０６を介して加えられた圧力のレベルが増加するにつれて、ますます変形するように見えてもよい。加えて、または代替として、仮想物体の何らかの他の視覚的態様（たとえば、色、輝度など）は、圧力のレベルが変化するにつれて変更されてもよい。

いくつかの実施形態では、仮想物体に加えられた圧力のレベルはまた、上述のように、把持領域１０４、入力表面領域１０６、トリガボタン１４０、および／またはハンドヘルドコントローラ１００の何らかの他の領域上の１つ以上の触覚アクチュエータ１６０によって提供される力のレベルまたはタイプによって反映され得る。また、いくつかの例では、仮想物体に加えられた圧力のレベルに対応する（たとえば、オーディオスピーカによって生成される）１つ以上の音の態様（たとえば、音量、ピッチなど）がユーザに提示され得る。

加えて、または代替として、回転またはスピンなどの他のタイプの操作が、場合によっては、トリガボタン１４０に関連して、入力表面領域１０６を介して仮想物体に加えられ得る。たとえば、上述したように、容量センサー１３４または別のセンサーは、ある圧力が供給される入力表面領域１０６上の位置を追跡してもよい。したがって、いくつかの実施形態では、場合によってはトリガボタン１４０のアクティブ化（たとえば、押圧）とともに、（たとえば、入力表面領域１０６にわたって親指をドラッグすることによって）入力表面領域１０６上の圧力のレベルの位置を移動させることと組み合わされた、入力表面領域１０６上にあるレベルの圧力を加えること、または少なくともそれと接触することは、仮想物体の回転またはスピンと解釈され得る。加えて、いくつかの例では、入力表面領域１０６にわたる接触の方向または経路は、仮想物体の加えられた回転の軸を決定することができる。

いくつかの実施形態では、入力表面領域１０６は、圧力センサー１３２および／または容量センサー１３４とともに、仮想物体の操作以外の他の動作を実施するために採用され得る。たとえば、入力表面領域１０６は、入力表面領域１０６の異なるエリアに接触することによって、および／またはプロセッサによって入力項目の異なる部分またはエリアとして解釈され得る種々のレベルの圧力を入力表面領域１０６に加えることによって、表示されたメニュー、入力スライダ、入力物体のセット、または別の入力項目をナビゲートするために採用されてもよい。いくつかの実施形態では、入力表面領域１０６に加えられた特定のレベルの圧力は、プロセッサによって、マルチレベルメニューまたは他の入力項目の異なる論理レベルとして解釈されてもよい。

さらに他の例では、入力表面領域１０６は、圧力センサー１３２および／または容量センサー１３４とともに、ジョイスティック、タッチパッド、または他の方向もしくは位置入力デバイスの代わりとして機能することができる。たとえば、圧力センサー１３２および／または容量センサー１３４によって感知されるような、入力表面領域１０６上でユーザによって接触された（たとえば、入力表面領域１０６の何らかの基準位置に対する）検出された２次元位置は、方向コマンドとして解釈されてもよい。さらに、基準位置からの２次元位置の距離は、方向コマンドに関連付けられた大きさコマンド（たとえば、速度、力など）として解釈されてもよい。いくつかの実施形態では、入力表面領域１０６上の検出された２次元位置に加えられた圧力のレベルは、方向コマンドに関連付けられた大きさコマンドとして解釈されてもよい。入力表面領域１０６との接触を介して入力を提供する他の例も可能である。

さらに、いくつかの実施形態では、圧力センサー１３２および／または容量センサー１３４による入力表面領域１０６上の圧力および／または位置のレベルの解釈は、ハンドヘルドコントローラ１００が使用されているシステムの状態またはコンテキストに依存し得る。たとえば、仮想物体が現在、ハンドヘルドコントローラ１００のユーザに対して人工環境において（たとえば、人工現実システムにおいて）表示されている場合、入力表面領域１０６を介して提供されるユーザ入力は、仮想物体の操作として解釈することができる。代わりに、システムが選択可能な項目のメニューをユーザに現在表示している場合、入力表面領域１０６を介して提供されるユーザ入力は、そのメニューの操作として解釈されてもよい。

前述のように、本開示の実施形態は、種々のタイプの人工現実システムを含む、またはそれに関連して実装することができる。人工現実は、ユーザに提示する前に何らかの形で調節されている１つの形態の現実であり、たとえば、仮想現実、拡張現実、複合現実、ハイブリッド現実、あるいは上記の何らかの組み合わせおよび／または派生物を含んでもよい。人工現実コンテンツは、すべてコンピュータ生成されたコンテンツ、またはキャプチャされた（たとえば、実世界）コンテンツと組み合わされた、コンピュータ生成されたコンテンツを含んでもよい。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組み合わせを含み得、これらのうちのいずれかが、単一チャネルで、または（閲覧者に対して３次元（３Ｄ）効果をもたらすステレオビデオなど）複数チャネルで提示され得る。それに加えて、いくつかの実施形態では、人工現実はまた、アプリケーション、製品、アクセサリ、サービス、あるいはたとえば、人工現実でコンテンツを作り出すのに使用される、および／または別の形で人工現実で使用される（たとえば、アクティビティを実施する）、上記の何らかの組み合わせと関連付けられてもよい。

人工現実システムが、様々な異なるフォームファクタおよび構成において実装され得る。いくつかの人工現実システムは、ニアアイディスプレイ（ＮＥＤ）なしで機能するように設計され得る。他の人工現実システムは、（たとえば、図４の拡張現実システム４００などの）現実世界への可視性も提供するか、または（たとえば、図５の仮想現実システム５００などの）人工現実にユーザを視覚的に没入させるＮＥＤを含み得る。いくつかの人工現実デバイスは、自己完結型システムであり得るが、他の人工現実デバイスは、ユーザに人工現実体感を提供するために、外部デバイスと通信および／または協調し得る。そのような外部デバイスの例は、ハンドヘルドコントローラ、モバイルデバイス、デスクトップコンピュータ、ユーザによって着用されるデバイス、１人または複数の他のユーザによって着用されるデバイス、および／または任意の他の好適な外部システムを含む。

図４を参照すると、拡張現実システム４００は、ユーザの眼の前に左側ディスプレイデバイス４１５（Ａ）および右側ディスプレイデバイス４１５（Ｂ）を保持するように構成されたフレーム４１０を有するアイウェアデバイス４０２を含み得る。ディスプレイデバイス４１５（Ａ）および４１５（Ｂ）は、画像または一連の画像をユーザに提示するように、一緒にまたは独立して動作することができる。拡張現実システム４００は、２つのディスプレイを含むが、本開示の実施形態は、単一のＮＥＤまたは２つを上回るＮＥＤを伴う拡張現実システムで実装することができる。

いくつかの実施形態では、拡張現実システム４００は、センサー４４０などの１つ以上のセンサーを含み得る。センサー４４０は、拡張現実システム４００の動きに応答して測定信号を生成することができ、フレーム４１０の実質的に任意の部分に位置することができる。センサー４４０は、位置センサー、慣性測定ユニット（ＩＭＵ）、深度カメラアセンブリ、構造化光エミッタおよび／または検出器、あるいはそれらの任意の組み合わせなどの種々の異なる感知機構のうちの１つ以上を表すことができる。いくつかの実施形態では、拡張現実システム４００は、センサー４４０を含んでも含まなくてもよく、または２つ以上のセンサーを含んでもよい。センサー４４０がＩＭＵを含む実施形態では、ＩＭＵは、センサー４４０からの測定信号に基づいて較正データを生成することができる。センサー４４０の例は、限定はしないが、加速度計、ジャイロスコープ、磁力計、動きを検出する他の適切なタイプのセンサー、ＩＭＵの誤差補正のために使用されるセンサー、またはそれらの何らかの組み合わせを含み得る。

いくつかの例では、拡張現実システム４００はまた、音響トランスデューサ４２０と総称される複数の音響トランスデューサ４２０（Ａ）～４２０（Ｊ）を有するマイクロフォンアレイを含み得る。音響トランスデューサ４２０は、音波によって誘発される空気圧変動を検出するトランスデューサを表すことができる。各音響トランスデューサ４２０は、音を検出し、検出された音を電子フォーマット（たとえば、アナログまたはデジタルフォーマット）に変換するように構成され得る。図４のマイクロフォンアレイは、たとえば、ユーザの対応する耳の内側に配置されるように設計され得る、１０個の音響トランスデューサ、すなわち、４２０（Ａ）および４２０（Ｂ）、フレーム４１０上の種々の場所に位置決めされ得る、音響トランスデューサ４２０（Ｃ）、４２０（Ｄ）、４２０（Ｅ）、４２０（Ｆ）、４２０（Ｇ）、および４２０（Ｈ）、ならびに／または対応するネックバンド４０５上に位置決めされ得る、音響トランスデューサ４２０（Ｉ）および４２０（Ｊ）を含んでもよい。

いくつかの実施形態では、音響トランスデューサ４２０（Ａ）～（Ｆ）のうちの１つ以上は、出力トランスデューサ（たとえば、スピーカ）として使用され得る。たとえば、音響トランスデューサ４２０（Ａ）および／または４２０（Ｂ）は、イヤホンまたは任意の他の好適なタイプのヘッドホンもしくはスピーカであってもよい。

マイクロフォンアレイの音響トランスデューサ４２０の構成は変化し得る。拡張現実システム４００は、１０個の音響トランスデューサ４２０を有するものとして図４に示されているが、音響トランスデューサ４２０の数は、１０個よりも多くても少なくてもよい。いくつかの実施形態では、より多数の音響トランスデューサ４２０を使用することは、収集されるオーディオ情報の量ならびに／またはオーディオ情報の感度および精度を増加させ得る。対照的に、より少ない数の音響トランスデューサ４２０を使用することは、収集されたオーディオ情報を処理するために関連付けられたコントローラ４５０によって要求される計算能力を減少させ得る。加えて、マイクロフォンアレイの各音響トランスデューサ４２０の位置は、変動し得る。たとえば、音響トランスデューサ４２０の位置は、ユーザ上の定義された位置、フレーム４１０上の定義された座標、各音響トランスデューサ４２０に関連付けられた配向、またはそれらの何らかの組み合わせを含んでもよい。

音響トランスデューサ４２０（Ａ）および４２０（Ｂ）は、耳介の後方、耳珠の後方、および／または耳殻もしくは窩内など、ユーザの耳の異なる部分上に位置決めされ得る。あるいは、外耳道内の音響トランスデューサ４２０に加えて、耳の上または耳を囲む追加の音響トランスデューサ４２０があってもよい。ユーザの外耳道に隣接して位置決めされる音響トランスデューサ４２０を有することは、マイクロフォンアレイが、どのように音が外耳道に到来するかに関する情報を収集することを可能にし得る。音響トランスデューサ４２０のうちの少なくとも２つをユーザの頭部の両側に（たとえば、バイノーラルマイクロフォンとして）位置決めすることによって、拡張現実デバイス４００は、バイノーラル聴覚をシミュレートし、ユーザの頭部の周りの３Ｄステレオ音場を取り込むことができる。いくつかの実施形態では、音響トランスデューサ４２０（Ａ）および４２０（Ｂ）は、有線接続４３０を介して拡張現実システム４００に接続されてもよく、他の実施形態では、音響トランスデューサ４２０（Ａ）および４２０（Ｂ）は、無線接続（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続）を介して拡張現実システム４００に接続されてもよい。さらに他の実施形態では、音響トランスデューサ４２０（Ａ）および４２０（Ｂ）は、拡張現実システム４００とともに全く使用されなくてもよい。

フレーム４１０上の音響トランスデューサ４２０は、テンプルの長さに沿って、ブリッジを横断して、ディスプレイデバイス４１５（Ａ）および４１５（Ｂ）の上方もしくは下方、またはそれらの何らかの組み合わせを含む、種々の異なる方法で位置決めされてもよい。音響トランスデューサ４２０はまた、マイクロフォンアレイが、拡張現実システム４００を装着しているユーザを囲繞する広範囲の方向における音を検出することが可能であるように配向されてもよい。いくつかの実施形態では、最適化プロセスは、マイクロフォンアレイ内の各音響トランスデューサ４２０の相対的位置付けを決定するように、拡張現実システム４００の製造中に行われてもよい。

いくつかの例では、拡張現実システム４００は、ネックバンド４０５などの外部デバイス（たとえば、ペアリングされたデバイス）を含むか、またはそれに接続されてもよい。ネックバンド４０５は、概して、任意のタイプまたは形態のペアリングされたデバイスを表す。したがって、ネックバンド４０５の以下の説明は、充電ケース、スマートウォッチ、スマートフォン、リストバンド、他のウェアラブルデバイス、ハンドヘルドコントローラ、タブレットコンピュータ、ラップトップコンピュータ、他の外部計算デバイスなどの種々の他のペアリングされたデバイスにも適用され得る。

示されるように、ネックバンド４０５は、１つ以上のコネクタを介してアイウェアデバイス４０２に結合され得る。コネクタは、ワイヤードまたはワイヤレスであり得、電気的および／または非電気的（たとえば、構造的）構成要素を含み得る。場合によっては、アイウェアデバイス４０２およびネックバンド４０５は、それらの間の有線または無線接続なしに独立して動作し得る。図４は、アイウェアデバイス４０２およびネックバンド４０５上の例示的な位置におけるアイウェアデバイス４０２およびネックバンド４０５の構成要素を示しているが、これらの構成要素は、アイウェアデバイス４０２および／またはネックバンド４０５上の他の場所に位置してもよく、および／または別様に分散されてもよい。いくつかの実施形態では、アイウェアデバイス４０２およびネックバンド４０５の構成要素は、アイウェアデバイス４０２、ネックバンド４０５、またはそれらの何らかの組み合わせとペアリングされた１つ以上の追加の周辺デバイス上に位置してもよい。

ネックバンド４０５などの外部デバイスを拡張現実アイウェアデバイスとペアリングすることは、拡張された能力のための十分なバッテリおよび計算能力を依然として提供しながら、アイウェアデバイスが眼鏡のフォームファクタを達成することを可能にし得る。拡張現実システム４００のバッテリ電力、計算リソース、および／または追加の特徴の一部または全部は、ペアリングされたデバイスによって提供されるか、またはペアリングされたデバイスとアイウェアデバイスとの間で共有され得、したがって、所望の機能を依然として保持しながら、アイウェアデバイス全体の重量、熱プロファイル、およびフォームファクタを低減させる。たとえば、ネックバンド４０５は、別様でアイウェアデバイス上に含まれるであろう構成要素がネックバンド４０５内に含まれることを可能にし得るが、これは、ユーザが、自身の頭部上で許容するよりも、自身の肩上でより重い重量負荷を許容し得るからである。ネックバンド４０５はまた、周囲環境に熱を拡散および分散させるためのより大きな表面積を有することができる。したがって、ネックバンド４０５は、別様でスタンドアロンのアイウェアデバイス上で可能であったであろうよりも大きなバッテリおよび計算能力を可能にし得る。ネックバンド４０５で運ばれる重量は、アイウェアデバイス４０２で運ばれる重量よりもユーザにとって侵襲性が低い場合があるため、ユーザは、重いスタンドアロンのアイウェアデバイスを装着することをユーザが許容するよりも軽いアイウェアデバイスを装着し、より長い時間にわたってペアリングされたデバイスを運搬または装着することを許容することができ、それによって、ユーザが人工現実環境をその日々の活動により完全に組み込むことを可能にする。

ネックバンド４０５は、アイウェアデバイス４０２および／または他のデバイスと通信可能に結合され得る。これらの他のデバイスは、特定の機能（たとえば、追跡、位置特定、深度マッピング、処理、記憶など）を拡張現実システム４００に提供することができる。図４の実施形態では、ネックバンド４０５は、マイクロフォンアレイの一部である（または潜在的にそれら自体のマイクロフォンサブアレイを形成する）２つの音響トランスデューサ（たとえば、４２０（Ｉ）および４２０（Ｊ））を含み得る。ネックバンド４０５はまた、コントローラ４２５および電源４３５を含み得る。

ネックバンド４０５の音響トランスデューサ４２０（Ｉ）および４２０（Ｊ）は、音を検出し、検出された音を電子フォーマット（アナログまたはデジタル）に変換するように構成することができる。図４の実施形態では、音響トランスデューサ４２０（Ｉ）および４２０（Ｊ）は、ネックバンド４０５上に位置決めされてもよく、それによって、ネックバンド音響トランスデューサ４２０（Ｉ）および４２０（Ｊ）と、アイウェアデバイス４０２上に位置決めされた他の音響トランスデューサ４２０との間の距離を増加させる。場合によっては、マイクロフォンアレイの音響トランスデューサ４２０間の距離を増加させることは、マイクロフォンアレイを介して実施されるビームフォーミングの精度を改善することができる。たとえば、音が音響トランスデューサ４２０（Ｃ）および４２０（Ｄ）によって検出され、音響トランスデューサ４２０（Ｃ）と４２０（Ｄ）との間の距離が、たとえば、音響トランスデューサ４２０（Ｄ）と４２０（Ｅ）との間の距離よりも大きい場合、検出された音の決定された音源位置は、音が音響トランスデューサ４２０（Ｄ）および４２０（Ｅ）によって検出された場合よりも正確であり得る。

ネックバンド４０５のコントローラ４２５は、ネックバンド４０５および／または拡張現実システム４００上のセンサーによって生成された情報を処理することができる。たとえば、コントローラ４２５は、マイクロフォンアレイによって検出された音を記述するマイクロフォンアレイからの情報を処理することができる。検出された音ごとに、コントローラ４２５は、到来方向（ＤＯＡ）推定を実施して、検出された音がマイクロフォンアレイに到来した方向を推定することができる。マイクロフォンアレイが音を検出すると、コントローラ４２５は、オーディオデータセットに情報を投入することができる。拡張現実システム４００が慣性測定ユニットを含む実施形態では、コントローラ４２５は、アイウェアデバイス４０２上に位置するＩＭＵからすべての慣性および空間計算を計算することができる。コネクタは、拡張現実システム４００とネックバンド４０５との間、および拡張現実システム４００とコントローラ４２５との間で情報を伝達することができる。情報は、光データ、電気データ、ワイヤレスデータの形態、または任意の他の送信可能なデータ形態にあり得る。拡張現実システム４００によって生成された情報の処理をネックバンド４０５に移すことは、アイウェアデバイス４０２の重量および熱を低減し、ユーザにとってより快適にすることができる。

ネックバンド４０５内の電源４３５は、アイウェアデバイス４０２および／またはネックバンド４０５に電力を供給することができる。電源４３５は、リチウムイオンバッテリ、リチウムポリマーバッテリ、一次リチウムバッテリ、アルカリバッテリ、または任意の他の形態の電力貯蔵を含み得るが、これらに限定されない。場合によっては、電源４３５は、有線電源であってもよい。アイウェアデバイス４０２上ではなくネックバンド４０５上に電源４３５を含むことは、電源４３５によって生成される重量および熱をより良好に分散させるのに役立ち得る。

言及されたように、いくつかの人工現実システムは、人工現実を実際の現実と混合させるのではなく、現実世界のユーザの知覚のうちの１つまたは複数を仮想体験と実質的に置き換えることができる。このタイプのシステムの一例は、ユーザの視野をほとんどまたは完全にカバーする、図５の仮想現実システム５００などの頭部装着型ディスプレイシステムである。仮想現実システム５００は、前部剛体５０２と、ユーザの頭部の周囲に嵌合するように成形されるバンド５０４とを含み得る。仮想現実システム５００はまた、出力オーディオトランスデューサ５０６（Ａ）および５０６（Ｂ）を含み得る。さらに、図５には示されていないが、前部剛体５０２は、１つ以上の電子ディスプレイ、１つ以上の慣性測定ユニット（ＩＭＵ）、１つ以上の追跡エミッタもしくは検出器、および／または人工現実体験を作成するための任意の他の適切なデバイスもしくはシステムを含む、１つ以上の電子要素を含み得る。

人工現実システムは、様々なタイプの視覚フィードバック機構を含む場合がある。たとえば、拡張現実システム４００および／または仮想現実システム５００内のディスプレイデバイスは、１つ以上の液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、デジタルライトプロジェクト（ＤＬＰ）マイクロディスプレイ、液晶オンシリコン（ＬＣｏＳ）マイクロディスプレイ、および／または任意の他の適切なタイプのディスプレイスクリーンを含み得る。これらの人工現実システムは、両眼のための単一のディスプレイスクリーンを含んでもよく、または各眼のためのディスプレイスクリーンを提供してもよく、それは、可変焦点調整のための、またはユーザの屈折異常を補正するための付加的柔軟性を可能にしてもよい。これらの人工現実システムのうちの一部はまた、それを通してユーザがディスプレイスクリーンを視認し得る、１つ以上のレンズ（たとえば、従来の凹または凸レンズ、フレネルレンズ、調整可能液体レンズなど）を有する光学サブシステムを含み得る。これらの光学サブシステムは、コリメートする（たとえば、物体がその物理的距離よりも遠い距離に見えるようにする）、拡大する（たとえば、物体がその実際のサイズよりも大きく見えるようにする）、および／または光を（たとえば、見る者の目に）中継することを含む、様々な目的に役立ってもよい。これらの光学サブシステムは、非瞳孔形成アーキテクチャ（光を直接コリメートするが、いわゆる糸巻き型歪曲をもたらす単レンズ構成など）、および／または瞳孔形成アーキテクチャ（糸巻き型歪曲を無効化するいわゆる樽型歪曲を生み出す多レンズ構成など）で使用されてもよい。

ディスプレイスクリーンを使用することに加えて、またはその代わりに、本明細書に説明されるいくつかの人工現実システムは、１つ以上の投影システムを含み得る。たとえば、拡張現実システム４００および／または仮想現実システム５００内のディスプレイデバイスは、周囲光が通過することを可能にする透明コンバイナレンズなどのディスプレイデバイスの中に光を投影する（たとえば、導波管を使用して）、マイクロＬＥＤプロジェクタを含んでもよい。ディスプレイデバイスは、投影された光をユーザの瞳孔に向けて屈折させることができ、ユーザが人工現実コンテンツと現実世界の両方を同時に視ることを可能にすることができる。ディスプレイデバイスは、導波管構成要素（たとえば、ホログラフィック、平面、回折、偏光、および／または反射導波管要素）、光操作表面および要素（回折、反射、および屈折要素ならびに格子など）、結合要素などを含む、種々の異なる光学構成要素のいずれかを使用して、これを達成してもよい。人工現実システムはまた、仮想網膜ディスプレイで使用される網膜プロジェクタなどの任意の他の好適なタイプまたは形態の画像投影システムを用いて構成されてもよい。

本明細書に説明される人工現実システムはまた、種々のタイプのコンピュータビジョン構成要素およびサブシステムを含み得る。たとえば、拡張現実システム４００および／または仮想現実システム５００は、２次元（２Ｄ）または３Ｄカメラ、構造化光トランスミッタおよび検出器、飛行時間型深度センサー、単一ビームまたは掃引レーザ距離計、３Ｄ ＬｉＤＡＲセンサー、および／または任意の他の好適なタイプもしくは形態の光学センサーなどの１つ以上の光学センサーを含み得る。人工現実システムは、これらのセンサーのうちの１つまたは複数からのデータを処理して、ユーザの位置を識別し、現実世界をマッピングし、現実世界環境に関するコンテキストをユーザに提供し、かつ／または様々な他の機能を実行することができる。

本明細書に説明される人工現実システムはまた、１つ以上の入力および／または出力オーディオトランスデューサを含み得る。出力音声変換器は、ボイスコイルスピーカ、リボンスピーカ、静電型スピーカ、圧電スピーカ、骨伝導変換器、軟骨伝導変換器、耳珠振動変換器、および／または他の任意の好適なタイプもしくは形態の音声変換器を含んでもよい。同様に、入力音声トランスデューサは、コンデンサマイクロフォン、ダイナミックマイクロフォン、リボンマイクロフォン、および／または他の任意の種類もしくは形態の入力トランスデューサを含み得る。いくつかの実施形態では、単一のトランスデューサが、オーディオ入力とオーディオ出力の両方のために使用され得る。

いくつかの実施形態では、本明細書で説明する人工現実システムはまた、ヘッドウェア、グローブ、ボディスーツ、ハンドヘルドコントローラ、環境デバイス（たとえば、椅子、フロアマットなど）、および／または任意の他のタイプのデバイスもしくはシステムに組み込まれ得る力覚（すなわち、触覚）フィードバックシステムを含み得る。触覚フィードバックシステムは、振動、力、牽引、テクスチャ、および／または温度を含む、様々なタイプの皮膚性フィードバックを提供し得る。触覚フィードバックシステムはまた、動きおよびコンプライアンスなど、様々なタイプの運動感覚フィードバックを提供し得る。触覚フィードバックは、モーター、圧電アクチュエータ、流体システム、および／または様々な他のタイプのフィードバックメカニズムを使用して実装され得る。触覚フィードバックシステムは、他の人工現実デバイスとは関係なく、他の人工現実デバイス内で、かつ／または他の人工現実デバイスと連携して実装される場合がある。

触覚の知覚、可聴コンテンツ、および／または可視コンテンツを提供することにより、人工現実システムは、全体的な仮想体験を生み出し、様々な状況および環境におけるユーザの現実世界体験を高めることができる。たとえば、人工現実システムは、特定の環境内のユーザの知覚、記憶、または認識を支援または拡張することができる。いくつかのシステムは、実世界中の他の人々とのユーザの相互作用を向上させ得るか、または仮想世界中の他の人々とのより没入できる相互作用を可能にし得る。また、人工現実システムは、教育目的（たとえば、学校、病院、政府機関、軍事機関、企業などにおける教育または訓練のため）、娯楽目的（たとえば、ビデオゲームのプレイ、音楽の聴取、ビデオコンテンツの視聴など）、および／またはアクセシビリティ目的（たとえば、補聴器、視覚補助などとして）に使用されてもよい。本明細書に開示された実施形態は、これらの状況および環境ならびに／または他の状況および環境のうちの１つまたは複数におけるユーザの人工現実体験を可能にするか、または高めることができる。

いくつかの実施形態では、本明細書に説明されるシステムはまた、ユーザの凝視方向などのユーザの眼（複数可）の種々の特性を識別および追跡するように設計される、視線追跡サブシステムを含み得る。「視線追跡」という語句は、いくつかの例では、眼の位置、配向、および／または動きが測定、検出、感知、決定、および／または監視されるプロセスを指すことがある。開示されるシステムは、種々の光学ベースの視線追跡技術、超音波ベースの視線追跡技術などの使用を通したものを含む、種々の異なる方法で、眼の位置、配向、および／または動きを測定してもよい。視線追跡サブシステムは、複数の異なる方法で構成されてもよく、種々の異なる視線追跡ハードウェア構成要素または他のコンピュータビジョン構成要素を含んでもよい。たとえば、視線追跡サブシステムは、２次元（２Ｄ）または３Ｄカメラ、飛行時間型深度センサー、単一ビームまたは掃引レーザ距離計、３Ｄ ＬｉＤＡＲセンサー、および／または任意の他の好適なタイプもしくは形態の光学センサーなどの種々の異なる光学センサーを含んでもよい。この例では、処理サブシステムは、これらのセンサーのうちの１つ以上からのデータを処理して、ユーザの眼（複数可）の位置、配向、および／または動きを測定、検出、決定、および／または他の方法で監視することができる。

ハンドヘルドコントローラ１００または２００は、上述したように、その外部およびその内部の両方に他の電子部品を含むこともできる。たとえば、図６に示すように、例示的なハンドヘルドコントローラ６００（たとえば、ハンドヘルドコントローラ１００または２００の実施形態として機能する）は、バッテリ６０６、ヒートシンク６０８、アンテナ６１０、触覚デバイス６１２（たとえば、触覚アクチュエータ１６０として機能する）、カメラ６１４（たとえば、カメラ２１２として機能する）、および潜在的に他のプリント回路基板（ＰＣＢ）６２０に接続されたローカルプロセッサ６０４（たとえば、トランスミッタ１１０および／または受信機１２０として機能するか、または入力を解釈して出力を生成するためのプロセッサとして機能する）を有する主基板６０２を含み得る。ＰＣＢ６０２および６２０は、トリガボタン１４０、入力ボタン１５０、圧力センサー１３２、および容量センサー１３４からの入力を処理するように構成され得る。ＰＣＢ６０２および６２０または他のコンピューティング構成要素は、デバイスの現在の位置および／またはハンドヘルドコントローラ６００を介してユーザによって提供される入力の解釈を決定するために、コンピューティングの一部または全部を実施するように構成され得る。他の実施形態では、ハンドヘルドコントローラ６００は、他のデバイス（たとえば、仮想現実システム５００）と通信して、計算を実施するのを支援することができる。

これらの電子機器はさらに、人工現実システムの頭部搭載型ディスプレイと通信する通信モジュールを含み得る。アンテナ６１０は、この通信モジュールの一部であり得る。通信モジュールは、人工現実デバイス上の対応する通信モジュールからの通信を送受信することができる。内部電子機器は、ハンドヘルドコントローラ６００を取り囲む環境の画像を取得するように構成された少なくとも１つのカメラ６１４を含む撮像モジュールをさらに含み得る。さらに、ハンドヘルドコントローラ６００の内部電子機器は、カメラ６１４によって取得された画像を使用して自由空間内のハンドヘルドコントローラ６００の位置を追跡するように構成された追跡モジュールを含み得る。次いで、ＰＣＢ６０２および６２０は、画像を分析して、ハンドヘルドコントローラ６００と外部の人工現実システムの任意の主な処理構成要素との間に見通し線を有することなく、ハンドヘルドコントローラ６００の位置を追跡することができる。

場合によっては、一対のハンドヘルドコントローラ６００を同時に使用することができる。その結果、カメラ６１４を使用して、各ハンドヘルドコントローラ６００の現在の周囲の画像を取り込むことができる。各ハンドヘルドコントローラ６００は、ローカルプロセッサ６０４を使用して、そのカメラ６１４で取り込んだ画像を処理することができる。加えて、または代替として、各ハンドヘルドコントローラ６００は、他のハンドヘルドコントローラ６００と画像データを共有することができる。したがって、２つのハンドヘルドコントローラ６００は、互いに画像を共有することができる。したがって、各ハンドヘルドコントローラ６００は、通信モジュールを介して受信された他の画像とともに、それ自体の画像を有することができる。これらの画像をつなぎ合わせて、深度を決定し、相対的な位置を決定し、空間内の座標を決定し、または別様でハンドヘルドコントローラ６００の正確なまたは相対的な位置を計算することができる。したがって、各ハンドヘルドコントローラ６００は、それ自体でその位置を決定することができ、またはそれらのデバイスからの撮像データを使用して、他のハンドヘルドコントローラ６００に対するその位置を決定することができる。

場合によっては、ハンドヘルドコントローラ６００は、２つ以上のカメラ６１４を使用してその位置の追跡を開始することができる。ハンドヘルドコントローラ６００が空間内のその位置を確立すると、より少ないカメラ６１４を使用して追跡を継続することができる。したがって、ハンドヘルドコントローラ６００が３つのカメラ６１４を使用してその位置の追跡を開始した場合、ハンドヘルドコントローラ６００は、２つのカメラ６１４を使用してまたは１つのカメラ６１４を使用してその位置を追跡することに移行することができる。同様に、ハンドヘルドコントローラ６００が２つのカメラ６１４を使用してその位置の追跡を開始した場合、較正されると、または初期マップが作成されると、ハンドヘルドコントローラ６００は、単一のカメラ６１４を使用してその位置の追跡を継続することができる。ハンドヘルドコントローラ６００が空間内のその位置を失うか、または（たとえば、カメラからの信号の損失に起因して）その正確な位置を認識しなくなった場合、２つ以上の追加のカメラ６１４を起動して、ハンドヘルドコントローラ６００の空間内の位置を再決定するのを支援することができる。

いくつかの実施形態では、各ハンドヘルドコントローラ６００は、周囲環境のマップを作成するために、そのカメラ６１４によって撮影された画像データにアクセスする（および、場合によっては、他のハンドヘルドコントローラ６００上のカメラ６１４からの画像データをさらに使用する）ように構成され得る。マップは、後続の画像が撮影および処理されるにつれて、経時的に作成されてもよい。マップは、環境内の物体を識別することができ、環境内のそれらの物体の位置を記録することができる。時間が経過し、ハンドヘルドコントローラ６００が位置を変えるにつれて、追加の画像を撮影し、分析することができる。これらの追加の画像は、識別された物体に対してユーザがどこにいるか、ユーザと物体との間の距離はどれくらいか、ハンドヘルドコントローラ６００とユーザとの間の距離はどれくらいか、およびハンドヘルドコントローラ６００間の距離はどれくらいかを示すことができる。物体間の計算された距離は、新しい画像が取り込まれ、分析されるにつれて、経時的に精緻化されてもよい。したがって、ハンドヘルドコントローラ６００の周囲の環境のマップは、継続的に更新および改善され得る。さらに、環境内の物体（たとえば、人々）が異なる位置に移動した場合、更新されたマップはこれらの変化を反映することができる。

ハンドヘルドコントローラ６００の位置は、ハンドヘルドコントローラ６００自体によって取り込まれた画像のみを使用して決定することができ、外部のカメラまたはセンサーに依存しない場合があるため、ハンドヘルドコントローラ６００は、真に自己追跡することができる。ハンドヘルドコントローラ６００は、自由空間内のそれ自体の位置をそれ自体で決定するために、任意の外部センサーまたはカメラまたは他のデバイスを必要としない場合がある。単一のカメラ６１４を使用する実装形態が生成され得、単一のカメラ６１４からのカメラデータを使用して機能し得る。他の実装形態では、２つのカメラ６１４が使用され得る。１つまたは２つのカメラ６１４のみを使用することにより、ハンドヘルドコントローラ６００のコストおよび複雑さを低減することができるとともに、電力を供給する構成要素が少なくなるため、その軽量化およびバッテリ寿命の向上を図ることができる。さらに、より少ないカメラ６１４では、カメラのうちの１つが遮蔽され、誤った情報を提供する（または情報を提供しない）可能性が低くなる。

ハンドヘルドコントローラ６００は、ユーザによって保持されることが可能であり、ハンドヘルドコントローラ６００は、それ自体の位置を独立して決定することが可能であるため、ハンドヘルドコントローラ６００は、ハンドヘルドコントローラ６００を保持しているユーザの位置、場所、および姿勢を決定することも可能であり得る。ハンドヘルドコントローラ６００上のカメラ６１４は、ユーザの身体の部分を取り込むことができる広角レンズを有することができる。これらの画像から、ハンドヘルドコントローラ６００は、ユーザの身体がどのように位置決めされているか、ユーザの身体がどの方向に動いているか、および身体部分がハンドヘルドコントローラ６００からどれだけ離れているかを判定することができる。この距離および自由空間におけるそれ自体の位置を知ることにより、ハンドヘルドコントローラ６００は、ハンドヘルドコントローラ６００を保持しているユーザの位置を計算することができる。さらに、いくつかの実施形態では、カメラ６１４（たとえば、広角カメラ）は、ユーザの顔および眼の画像を取り込むことができる。これらの画像は、ハンドヘルドコントローラ６００がユーザの眼の移動を追跡し、ユーザがどこを動かそうとしているかを判定するか、またはユーザが何を見ているかを判定することを可能にし得る。ユーザが環境内のどこにいるかを知り、ユーザがどこに移動する可能性があるかを知り、それ自体の位置の知識とともに、ハンドヘルドコントローラ６００は、警告ビープ音またはブザー音を生成して、ユーザが環境内の物体に衝突しないようにすることができる。

さらに、ハンドヘルドコントローラ６００のカメラ６１４は、画像データを連続的に取り込んでいる場合があるため、そのデータのいくつかの部分は、プライバシーの理由で編集されるか、またはぼかされる場合がある。たとえば、ハンドヘルドコントローラ６００が使用されている部屋内のユーザは、記録されることを望まない場合があり、または、所有物の所有者は、自身の所有物の特定の部分が記録されることを望まない場合がある。かかる場合、ハンドヘルドコントローラ６００は、画像内の顔を識別し、それらの顔をぼかすように構成され得る。加えて、または代替として、画像データは、計算のために使用され、次いで、直ちに破棄されてもよい。他のプライバシー含意は、ポリシーを介して管理することができる。

したがって、本明細書では、ハンドヘルドコントローラ（たとえば、ハンドヘルドコントローラ１００、２００、および６００）として具現化される自己追跡型周辺デバイスについて説明する。自己追跡型周辺デバイスは、他のデバイス上または環境の他の部分内にいかなる外部カメラも伴わずに、自由空間内でそれ自体を追跡することができる。さらに、自己追跡型周辺デバイスは、任意の他のセンサーまたはカメラへの見通し線を必要とすることなく、その現在位置を決定することができる。自己追跡型周辺デバイスは、より少ないカメラの実装形態に起因して、従来のデバイスよりも軽量かつ低コストであり得る。さらに、低減された数のカメラは、閉塞の発生を低減し得、また、周辺デバイスにおけるバッテリ寿命を増加させ得る。

上述のように、本明細書で説明する自己追跡型周辺デバイスは、他の人工現実システムとともに使用され得る。これらの人工現実システムの実施形態は、以下の図７～図９に関連して説明される。本明細書に記載される自己追跡型および／または感圧型周辺デバイス（たとえば、ハンドヘルドコントローラ１００、２００、および６００）は、これらのデバイスのいずれかとともに、単独でまたは組み合わせて使用することができる。

図７は、複数の異なるモジュールを有するコンピューティングアーキテクチャ７００を示している。これらのモジュールの一部または全部は、ハンドヘルドコントローラ１００、２００、または６００（上述のように、自己追跡および／または圧力感知周辺デバイスとして動作してもよい）、または周辺デバイスが係留される人工現実デバイスに組み込まれてもよい。コンピューティングアーキテクチャ７００は、たとえば、本明細書で説明される種々のディスプレイ構成要素および／または属性のいずれかを表し得るおよび／または含み得るディスプレイサブシステム７０１を含み得る。この例では、ディスプレイサブシステム７０１は、その種々のサブ構成要素のいずれかを含む処理サブシステム７１０と対話することができる。たとえば、ディスプレイサブシステム７０１は、プロセッサ７１１、メモリ７１２、通信モジュール７１３（ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、全地球測位システム（ＧＰＳ）モジュール、セルラーまたは他の無線などの種々の異なる有線または無線接続を含む、または表し得る）、および／またはデータストア７１４（種々の異なる揮発性または不揮発性データ記憶デバイスを含む、または表し得る）と対話することができる。いくつかの例では、プロセッサ７１１は、上述したように、ハンドヘルドコントローラ１００、２００、および６００から受信された入力データを解釈し、ハンドヘルドコントローラ１００、２００、および６００によって使用されるアウトプットデータを生成するプロセッサとして機能することができる。

場合によっては、処理サブシステム７１０は、人工現実デバイス内に埋め込まれ、その上に位置し、またはそれに結合されてもよい。他の場合には、処理サブシステム７１０は、（以下でより詳細に説明するように、たとえば、別個のコンピューティングデバイスの一部として）人工現実デバイスとは別個および／またはその外部にあってもよい。いくつかの例では、処理サブシステム７１０は、コンピュータビジョン処理に関連付けられたタスクを実施するように設計された機械学習アクセラレータなど、１つ以上の専用ハードウェアベースのアクセラレータを含み得る。

一例では、コンピューティングアーキテクチャ７００はまた、認証サブシステム７０２を含み得る。認証サブシステム７０２は、人工現実デバイス内に埋め込まれ、かつ／またはそれに結合されてもよい。認証サブシステム７０２は、カメラ、マイクロフォン、虹彩スキャナ、顔スキャナ、および／または他のハードウェア構成要素（人工現実デバイスに組み込まれる光学センサーおよび音響トランスデューサなど）などの種々の異なるハードウェア構成要素を含んでもよく、その各々は、ユーザを認証するために使用されてもよい。場合によっては、ユーザが認証されるまで、人工現実デバイスの機能の一部または全部をロックすることができる。たとえば、以下でより詳細に説明するように、ユーザは、認証サブシステム７０２を使用して自身を認証し、次に、人工現実デバイスを、デバイスの機能の一部または全部がロックされている「ロック」状態から、デバイスの機能の一部または全部がユーザに利用可能である「ロック解除」状態に移行させることができる。他の場合には、認証サブシステム７０２は、たとえば、人工現実デバイスにデータを提供するネットワークに対してユーザを認証することができる。

いくつかの例では、認証サブシステム７０２は、ユーザの検出された音声パターンに基づいて、ユーザの虹彩スキャンに基づいて、顔スキャンに基づいて、指紋スキャンに基づいて、または何らかの他の形態の生体認証に基づいて、ユーザを認証することができる。認証サブシステム７０２は、種々の方法で、開示される人工現実デバイス上に搭載されるか、またはその中に埋め込まれてもよい。いくつかの例では、認証サブシステム７０２は、人工現実デバイスが接続される外部デバイス（後述する）の一部であり得る。

いくつかの実施形態では、コンピューティングアーキテクチャ７００はまた、ユーザの凝視方向などのユーザの眼（複数可）の種々の特性を識別および追跡するように設計される、視線追跡サブシステム７０３を含み得る。視線追跡サブシステム７０３は、種々の異なる視線追跡ハードウェア構成要素または他のコンピュータビジョン構成要素を含み得る。たとえば、視線追跡サブシステム７０３は、２次元（２Ｄ）または３Ｄカメラ、飛行時間型深度センサー、単一ビームまたは掃引レーザ距離計、３Ｄ ＬｉＤＡＲ（光検出および測距）センサー、および／または任意の他の好適なタイプもしくは形態の光学センサーなどの光学センサーを含んでもよい。いくつかの例では、処理サブシステム（図７の処理サブシステム７１０など）は、これらのセンサーのうちの１つ以上からのデータを処理して、ユーザの眼（複数可）の位置、配向、および／または動きを測定、検出、判定、および／または別様に監視してもよい。

一例では、視線追跡サブシステム７０３は、ユーザの瞳孔間距離（ＩＰＤ）を識別および測定するように構成することができる。いくつかの実施形態では、視線追跡サブシステム７０３は、ユーザが人工現実デバイスを装着している間、ユーザのＩＰＤを測定および／または計算することができる。これらの実施形態では、視線追跡サブシステム７０３は、ユーザの眼の位置を検出してもよく、この情報を使用して、ユーザのＩＰＤを計算してもよい。

視線追跡サブシステム７０３は、種々の方法でユーザの眼の位置および／または眼球運動を追跡することができる。一例では、１つ以上の光源および／または光学センサーは、ユーザの眼の画像を取り込むことができる。次いで、視線追跡サブシステム７０３は、取り込まれた情報を使用して、ユーザの瞳孔間距離、眼間距離、および／または各眼のねじれおよび回転（すなわち、ロール、ピッチ、およびヨー）の大きさおよび／または凝視方向を含む、（たとえば、歪曲調整目的のための）人工現実デバイスに対する各眼の３Ｄ位置を判定することができる。一例では、赤外線光は、視線追跡サブシステム７０３によって放出され、各眼から反射され得る。反射光は、光学センサーによって受信または検出され、分析され、各眼によって反射される赤外線光の変化から眼回転データを抽出してもよい。

視線追跡サブシステム７０３は、人工現実デバイスユーザの眼を追跡するために、種々の異なる方法のうちのいずれかを使用することができる。たとえば、光源（たとえば、赤外線発光ダイオード）は、ユーザの各眼上にドットパターンを放出してもよい。視線追跡サブシステム７０３は、次いで、ユーザの各眼からのドットパターンの反射を検出し（たとえば、人工現実デバイスに結合される光学センサーを介して）、分析し、ユーザの各瞳孔の場所を識別することができる。したがって、視線追跡サブシステム７０３は、各眼の最大６自由度（すなわち、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡してもよく、追跡された量の少なくともサブセットは、凝視点（すなわち、ユーザが見ている仮想場面内の３Ｄ場所または位置）および／またはＩＰＤを推定するように、ユーザの２つの眼から組み合わせることができる。

場合によっては、ユーザの瞳孔とディスプレイとの間の距離は、ユーザの眼が異なる方向を見るように移動するにつれて変化し得る。視認方向が変化するにつれて変化する瞳孔とディスプレイとの間の距離は、「瞳孔スイム」と称され得、瞳孔とディスプレイとの間の距離が変化するにつれて、異なる場所における光集束の結果として、ユーザによって知覚される歪曲に寄与し得る。したがって、ディスプレイに対する異なる眼の位置および瞳孔間距離における歪曲を測定し、異なる位置および距離に対する歪曲補正を生成することは、ユーザの眼の３Ｄ位置を追跡し、所与の時点におけるユーザの眼の各々の３Ｄ位置に対応する歪曲補正を適用することによって、「瞳孔スイム」によって引き起こされる歪曲の軽減を可能にし得る。したがって、ユーザの眼の各々の３Ｄ位置を把握することは、各３Ｄ眼の位置に対して歪曲補正を適用することによって、眼の瞳孔とディスプレイとの間の距離の変化によって引き起こされる歪曲の緩和を可能にし得る。さらに、上述したように、ユーザの眼の各々の位置を知ることはまた、視線追跡サブシステム７０３がユーザのＩＰＤに対して自動調整を行うことを可能にし得る。

いくつかの実施形態では、上記で説明されるディスプレイサブシステム７０１は、視線追跡サブシステム７０３に関連して機能し得る、種々の追加のサブシステムを含み得る。たとえば、ディスプレイサブシステム７０１は、可変焦点作動サブシステムと、シーンレンダリングモジュールと、輻輳処理モジュールとを含んでもよい。可変焦点サブシステムは、左右のディスプレイ要素に、ディスプレイデバイスの焦点距離を変動させることができる。一実施形態では、可変焦点サブシステムは、ディスプレイ、光学素子、または両方を移動させることによって、ディスプレイとそれを通して視認される光学素子との間の距離を物理的に変化させることができる。加えて、２つのレンズを相互に対して移動または平行移動させることもまた、ディスプレイの焦点距離を変化させるために使用され得る。したがって、可変焦点サブシステムは、ディスプレイおよび／または光学を移動させ、それらの間の距離を変化させる、アクチュエータまたはモーターを含み得る。この可変焦点サブシステムは、ディスプレイサブシステム７０１と別個であるか、またはそれに統合され得る。可変焦点サブシステムはまた、作動サブシステムおよび／または視線追跡サブシステム７０３に統合されるか、またはそれとは別個であってもよい。

一例では、ディスプレイサブシステム７０１は、視線追跡サブシステム７０３によって決定された凝視点および／または凝視線の推定交点に基づいてユーザの凝視の輻輳深度を決定するように構成された輻輳処理モジュールを含み得る。輻輳は、人間の眼によって自然かつ自動的に行われ得る、単一の両眼視を維持するための反対方向への両眼の同時移動または回転を指し得る。したがって、ユーザの眼が輻輳される場所は、ユーザが見ている場所であり、また、典型的には、ユーザの眼が集束される場所でもある。たとえば、輻輳処理モジュールは、凝視線を三角測量し、凝視線の交点と関連付けられたユーザからの距離または深度を推定してもよい。次いで、凝視線の交点に関連付けられた深度は、遠近調整距離の近似として使用されてもよく、これは、ユーザの眼が指向されるユーザからの距離を識別してもよい。したがって、輻輳距離は、ユーザの眼が集束されるべき場所および眼が集束されるユーザの眼からの深度の判定を可能にし、それによって、仮想場面への調整をレンダリングするための情報の提供（物体または焦点面など）を可能にし得る。

輻輳処理モジュールは、視線追跡サブシステム７０３と協調し、ユーザの輻輳深度を考慮するように、ディスプレイサブシステム７０１に調整を行うことができる。ユーザが遠くの何かに焦点を合わせているとき、ユーザの瞳孔は、ユーザが近くの何かに焦点を合わせているときよりもわずかに離れている場合がある。視線追跡サブシステム７０３は、ユーザの輻輳または焦点深度に関する情報を取得してもよく、ディスプレイサブシステム７０１を調整し、ユーザの眼が接近している何かに焦点を合わせる、または輻輳するときは、ともに接近し、ユーザの眼がある距離にある何かに焦点を合わせる、または輻輳するときは、さらに離れてもよい。

視線追跡サブシステム７０３によって生成される視線追跡情報は、たとえば、異なるコンピュータ生成画像が提示される方法の種々の態様を修正するために使用することができる。いくつかの実施形態では、たとえば、ディスプレイサブシステム７０１は、視線追跡サブシステム７０３によって生成された情報に基づいて、コンピュータ生成画像が提示される方法の少なくとも１つの態様を修正するように構成することができる。たとえば、コンピュータ生成画像は、ユーザが見上げている場合、コンピュータ生成画像がスクリーン上で上方に移動され得るように、ユーザの眼球運動に基づいて修正されてもよい。同様に、ユーザが横または下を見ている場合、コンピュータ生成画像は、スクリーン上で横または下に移動され得る。ユーザの眼が閉じている場合、コンピュータ生成画像は、一時停止されるか、またはディスプレイから除去され、ユーザの眼が再び開いた後に再開されてもよい。

いくつかの実施形態では、コンピューティングアーキテクチャ７００は、ユーザの顔および／または他の身体部分の移動および／または種々の特性を識別および追跡するように構成された顔追跡サブシステム７０５および／または身体追跡サブシステム７０７を含むこともできる。いくつかの例では、顔追跡サブシステム７０５および／または身体追跡サブシステム７０７は、潜在的に他のセンサーまたはハードウェア構成要素とともに、１つ以上の身体および／または顔追跡光源および／または光センサーを含み得る。これらの構成要素は、ユーザの口、頬、唇、顎などの移動、ならびに潜在的に、ユーザの腕、脚、手、足、胴などを含む、ユーザの身体の移動を取り込むように、ユーザの顔および／または身体に向かって位置決めされるか、または向けられてもよい。

上述したように、顔追跡サブシステム７０５は、ユーザの顔の表情を識別および追跡するように構成され得る。これらの顔の表情は、上記で詳述したように、ユーザの顔の個々の部分の移動を追跡することによって識別され得る。ユーザの顔の表情は、時間とともに変化し得、したがって、顔追跡サブシステム７０５は、ユーザの変化する顔の表情を追跡するために、連続的または継続的に動作するように構成され得る。これらの顔の表情の分類は、処理サブシステム７１０のデータストア７１４に記憶され得る。

同様に、身体追跡サブシステム７０７は、ユーザの身体の実質的に任意の部分の位置を識別および追跡するように構成されてもよい。たとえば、身体追跡サブシステム７０７は、ユーザの腕、手、脚、または足の初期位置を記録することができ、それらの身体部分が経時的にどのように動くかを記録することができる。場合によっては、これらの身体運動は、人工現実デバイスの処理サブシステムへの入力として使用されてもよい。たとえば、ユーザがディスプレイを開くまたは閉じることを望む場合、ユーザは、特定の方法で手または腕を振ってもよく、または特定のジェスチャ（スナップまたは指を閉じる動きなど）を実施してもよい。または、ユーザがディスプレイ上に提示された仮想要素と対話することを望む場合、顔／身体追跡構成要素または身体追跡サブシステム７０７の他の構成要素は、ユーザの身体の移動を追跡し、それらの移動を入力として使用して、人工現実デバイスによって生成された人工現実と対話し、かつ／または処理サブシステム７１０上で実行されるソフトウェアアプリケーションと対話することができる。

視線追跡サブシステム７０３と同様に、顔追跡サブシステム７０５および／または身体追跡サブシステム７０７は、種々の方法で、本明細書に開示される人工現実デバイス内に組み込まれ、かつ／またはそれに結合されてもよい。一例では、顔追跡サブシステム７０５および／または身体追跡サブシステム７０７の全部または一部は、人工現実デバイスの外側部分内に埋め込まれ、かつ／またはそれに取り付けられ得る。たとえば、１つ以上の顔／身体追跡構成要素（たとえば、１つ以上の光源および／または光学センサーを表し得る）が、人工現実デバイスの外側部分内に埋め込まれ、かつ／またはその近傍に位置決めされてもよい。そうすることによって、顔／身体追跡構成要素（複数可）は、ユーザの顔の表情ならびに／または顔および身体の移動の鮮明なビューを有するように、ユーザの顔および／または身体から十分に離れて位置決めすることができる。

いくつかの例では、コンピューティングアーキテクチャ７００はまた、人工現実デバイスのローカル環境を撮像するように構成された撮像サブシステム７０６を含み得る。撮像サブシステム７０６は、光源および光学センサーなどの種々の異なる撮像構成要素および要素のうちのいずれかを含み、または組み込みことができる。たとえば、撮像サブシステム７０６は、ユーザの周囲の画像を取り込むように構成される、１つ以上の世界配向カメラを含んでもよい。これらの世界配向カメラは、種々の異なる位置およびパターンで人工現実デバイス上に搭載され、またはそれに結合されてもよい。一例では、これらの世界配向カメラによって取り込まれた画像は、処理サブシステム７１０によって処理され得る。場合によっては、画像は、ユーザのローカル環境の３６０°ビューを提供するようにともにステッチされてもよい。一実施形態では、この周囲ビューの一部または全部が、人工現実デバイスのディスプレイ上に提示され得る。したがって、ユーザは、単に、ディスプレイ上に提示される周囲ビューを視認することによって、自身の側方または後方のいずれかを見ることが可能であり得る。いくつかの例では、人工現実デバイスは、実質的に任意の数の世界配向カメラを有することができる。

いくつかの実施形態では、人工現実デバイスは、「同時位置特定およびマッピング」（ＳＬＡＭ）と称される技術を使用して、ユーザの環境および／またはデバイスの環境をマッピングするために、上記で説明した世界配向カメラを使用し得る。ＳＬＡＭマッピングおよび位置特定技術は、マッピングされた環境内のユーザの位置を同時に追跡しながら、環境のマップを作成または更新することができる種々のハードウェアおよびソフトウェアツールを含み得る。ＳＬＡＭは、マップを作成し、マップ内のユーザの位置を決定するために、多くの異なるタイプのセンサーを使用し得る。

人工現実デバイスによって使用されるＳＬＡＭ技術は、たとえば、ユーザの位置を決定するために光センサーからのデータを使用し得る。ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＧＰＳ、セルラー、または他の通信デバイスを含む無線もまた、無線送受信機または送受信機のグループ（たとえば、ＷｉＦｉルータまたはＧＰＳ衛星のグループ）に対するユーザの場所を決定するために使用され得る。マイクロフォンアレイまたは２Ｄもしくは３Ｄソナーセンサーなどの音響センサーもまた、環境内のユーザの場所を決定するために使用され得る。人工現実デバイスは、ユーザの現在の環境のマップを作成し、継続的に更新することなどのＳＬＡＭ動作を行うために、これらのタイプのセンサーのうちのいずれかまたはすべてを組み込むことができる。本明細書で説明される実施形態の少なくとも一部では、これらのセンサーによって生成されたＳＬＡＭデータは、「環境データ」と称されることがあり、ユーザの現在の環境を示すことができる。このデータは、ローカルまたは遠隔データストア（たとえば、クラウドデータストア）に記憶されてもよく、要求に応じて人工現実デバイスに提供されてもよい。

いくつかの例では、コンピューティングアーキテクチャ７００は、人工現実デバイスのローカル環境の変化を検出し、それを反映するセンサーデータを生成するように構成されたセンサーサブシステム７０９を含み得る。センサーサブシステム７０９は、種々の異なるセンサーおよび感知要素を含んでもよく、その例は、限定ではなく、位置センサー、慣性測定ユニット（ＩＭＵ）、深度カメラアセンブリ、オーディオセンサー、ビデオセンサー、位置センサー（たとえば、ＧＰＳ）、光センサー、および／または本明細書で説明される任意の別のサブシステムからの任意のセンサーもしくはハードウェア構成要素を含む。センサーがＩＭＵを含む実施形態では、ＩＭＵは、センサー（複数可）からの測定信号に基づいて較正データを生成することができる。ＩＭＵの例としては、加速度計、ジャイロスコープ、磁力計、動きを検出する他の適切な種類のセンサー、ＩＭＵの誤差補正に使用されるセンサー、またはそれらの何らかの組み合わせが挙げられるが、これらに限定されない。

上述のセンサーデータは、（たとえば、ＧＰＳ位置センサーからの）位置の変化、（たとえば、音声センサーからの）可聴環境の変化、（たとえば、カメラまたは他の光センサーからの）可視環境の変化、（たとえば、ＩＭＵからの）慣性の変化、またはユーザの環境が変化したことを示し得る他の変化を含み得る。周囲光の量の変化は、たとえば、光センサーによって検出され得る。周囲光の検出された増加に応答して、ディスプレイサブシステム７０１は（処理サブシステム７１０と連携して）、ディスプレイの輝度を増加させることができる。（たとえば、入力オーディオトランスデューサによって検出されるような）周囲音の増加は、（たとえば、出力オーディオトランスデューサにおける）音振幅の増加をもたらし得る。他の環境変化も検出され、人工現実デバイスのコンピューティング環境内でフィードバックとして実装され得る。場合によっては、センサーサブシステム７０９は、人工現実デバイスの動きに応答して測定信号を生成することができる。

ユーザが所与の環境で人工現実デバイスを使用しているとき、ユーザは、オーディオソースとして機能する他のユーザまたは他の電子デバイスと対話していることがある。場合によっては、オーディオソースがユーザに対してどこに位置するかを判定し、次いで、それらがオーディオソースの位置から来ているかのように、オーディオソースからのオーディオをユーザに提示することが望ましいことがある。オーディオソースがユーザに対してどこに位置するかを決定するプロセスは、「位置特定（ｌｏｃａｌｉｚａｔｉｏｎ）」と呼ばれることがあり、オーディオソース信号のプレイバックを、オーディオソース信号が特定の方向から来ているかのようにレンダリングするプロセスは、「空間化（ｓｐａｔｉａｌｉｚａｔｉｏｎ）」と呼ばれることがある。

オーディオソースの位置を特定することは、様々な異なるやり方で実施され得る。場合によっては、（処理サブシステム７１０などの）人工現実デバイスのサブシステムは、音源の位置を決定するために到来方向（ＤＯＡ）分析を開始することができる。ＤＯＡ分析は、音が発生した方向を決定するために、人工現実デバイスにおいて、各音の強度、スペクトル、および／または到来時間を分析することを含み得る。ＤＯＡ分析は、人工現実デバイスが位置する周囲の音響環境を分析するための任意の適切なアルゴリズムを含み得る。

たとえば、ＤＯＡ分析は、マイクロフォンから入力信号を受信し、入力信号にデジタル信号処理アルゴリズムを適用して、到来方向を推定するように設計され得る。これらのアルゴリズムは、たとえば、入力信号がサンプリングされ、サンプリングされた信号の得られた重み付けおよび遅延されたバージョンが、到来方向を決定するために一緒に平均化される、遅延和アルゴリズムを含み得る。適応フィルタを作成するために、最小２乗平均（ＬＭＳ：ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅｄ）アルゴリズムも実装され得る。この適応フィルタは、次いで、たとえば信号強度の差、または到来時間の差を識別するために使用され得る。これらの差は、次いで、到来方向を推定するために使用され得る。別の実施形態では、ＤＯＡは、入力信号を周波数ドメインに変換し、処理すべき時間周波数（ＴＦ）ドメイン内の特定のビンを選択することによって決定され得る。各選択されたＴＦビンは、そのビンが、直接経路オーディオ信号をもつオーディオスペクトルの一部分を含むかどうかを決定するために、処理され得る。直接経路信号の一部分を有するビンは、次いで、マイクロフォンアレイが直接経路オーディオ信号を受信した角度を識別するために、分析され得る。決定された角度は、次いで、受信された入力信号についての到来方向を識別するために使用され得る。上記に記載されていない他のアルゴリズムも、ＤＯＡを決定するために、単独でまたは上記のアルゴリズムと組み合わせて使用され得る。

いくつかの実施形態では、異なるユーザが、音のソースを、わずかに異なるロケーションから来るものとして知覚し得る。これは、各ユーザが固有の頭部伝達関数（ＨＲＴＦ）を有することの結果であり得、ＨＲＴＦは、外耳道長および鼓膜の位置を含むユーザの解剖学的構造によって決定され得る。これらの実施形態では、人工現実デバイスは、ユーザの固有のＨＲＴＦに基づいてユーザに提示される音信号をカスタマイズするためにユーザが従うことができる位置合わせおよび配向ガイドを提供することができる。いくつかの実施形態では、人工現実デバイスは、音の到来方向を推定するために、種々の異なるアレイ伝達関数（たとえば、上記で識別されたＤＯＡアルゴリズムのいずれか）を使用し得る。到来方向が決定されると、人工現実デバイスは、ユーザの固有のＨＲＴＦに従ってユーザに音を再生することができる。したがって、アレイ伝達関数（ＡＴＦ）を使用して生成されたＤＯＡ推定値は、音が再生されるべき方向を決定するために使用され得る。プレイバック音は、さらに、ＨＲＴＦに従ってその特定のユーザがどのように音を聞くかに基づいて、改良され得る。

ＤＯＡ推定を実施することに加えて、またはその代替として、人工現実デバイスは、センサーサブシステム７０９などの他のタイプのセンサーから受信された情報に基づいて位置特定を実施することができる。これらのセンサーは、カメラ、ＩＲセンサー、熱センサー、動きセンサー、ＧＰＳ受信機、またはいくつかの場合には、ユーザの眼球運動を検出するセンサーを含み得る。たとえば、上述したように、人工現実デバイスは、ユーザがどこを見ているかを判定する視線追跡サブシステム７０３を含み得る。しばしば、ユーザの眼は、ほんの一時的にでも音のソースを見ることになる。ユーザの眼によって提供されるそのような手がかりは、さらに、音ソースのロケーションを決定するのを補助し得る。カメラ、熱センサー、およびＩＲセンサーなど、他のセンサーも、ユーザのロケーション、電子デバイスのロケーション、または別の音ソースのロケーションを指示し得る。上記の方法のいずれかまたはすべてが、音ソースのロケーションを決定するために個々にまたは組み合わせて使用され得、さらに、時間とともに音ソースのロケーションを更新するために使用され得る。

いくつかの実施形態は、ユーザのためのよりカスタマイズされた出力オーディオ信号を生成するために、決定されたＤＯＡを実装し得る。たとえば、「音響伝達関数」が、音がどのように所与のロケーションから受信されたかを特徴づけるかまたは定義し得る。より詳細には、音響伝達関数は、音のソースロケーションにおける音のパラメータと、音信号がそれによって検出されるパラメータ（たとえば、マイクロフォンアレイによって検出される、またはユーザの耳によって検出される）との間の関係を定義し得る。人工現実デバイスは、デバイスの範囲内の音を検出する１つ以上の音響センサーを含み得る。（処理サブシステム７１０などの）人工現実デバイスの処理サブシステムは、（たとえば、上記で識別された方法のいずれかを使用して）検出された音についてのＤＯＡを推定し得、検出された音のパラメータに基づいて、デバイスの位置に固有の音響伝達関数を生成し得る。したがって、このカスタマイズされた音響伝達関数は、音が特定のロケーションから来るものとして知覚される、空間化された出力オーディオ信号を生成するために使用され得る。

１つ以上の音源の位置が知られると、人工現実デバイスは、その音源の方向から来るかのように聞こえるように、音信号を再レンダリング（すなわち、空間化）することができる。人工現実デバイスは、音信号の強度、スペクトル、または到来時間を変更するフィルタまたは他のデジタル信号処理を適用することができる。デジタル信号処理は、音信号が、決定されたロケーションから発生するものとして知覚されるようなやり方で、適用され得る。人工現実デバイスは、特定の周波数を増幅または抑制するか、または信号が各耳に到来する時間を変化させることができる。場合によっては、人工現実デバイスは、デバイスの位置および音信号の検出された到来方向に固有である音響伝達関数を作成することができる。いくつかの実施形態では、人工現実デバイスは、ステレオデバイスまたはマルチスピーカデバイス（たとえば、サラウンド音デバイス）においてソース信号を再レンダリングすることができる。そのような場合、各スピーカに、別個で異なるオーディオ信号が送られ得る。これらのオーディオ信号の各々が、ユーザのＨＲＴＦに従って、ならびにユーザのロケーションおよび音ソースのロケーションの測定に従って、それらのオーディオ信号が音ソースの決定されたロケーションから来ているかのように聞こえるように、改変され得る。したがって、このようにして、人工現実デバイス（またはデバイスに関連付けられたスピーカ）は、オーディオ信号を、あたかも特定の位置から発信しているかのように聞こえるように再レンダリングすることができる。

いくつかの例では、コンピューティングアーキテクチャ７００は、人工現実デバイスに電力を供給するように構成されたバッテリサブシステム７０８を含むこともできる。バッテリサブシステム７０８は、種々の異なる構成要素および要素を含んでもよく、その例は、限定ではないが、リチウムイオンバッテリ、リチウムポリマーバッテリ、一次リチウムバッテリ、アルカリバッテリ、または任意の他の形態の電源もしくは電力貯蔵デバイスを含む。バッテリサブシステム７０８は、種々の方法で、本明細書に開示される人工現実デバイスに組み込まれてもよく、および／または別様に関連付けられてもよい。いくつかの例では、バッテリサブシステム７０８のすべてまたは一部は、人工現実デバイスの背面部分またはエリア内に埋め込まれるか、または配置されてもよい。

いくつかの例では、人工現実デバイスは、ネックバンド、充電ケース、スマートウォッチ、スマートフォン、リストバンド、他のウェアラブルデバイス、ハンドヘルドコントローラ、タブレットコンピュータ、ラップトップコンピュータ、および／または他の外部計算デバイスなどの外部デバイス（たとえば、ペアリングされたデバイス）を含むか、またはそれに接続され得る。この外部デバイスは、概して、任意のタイプまたは形態のペアリングされたデバイスを表す。

外部デバイスは、１つ以上のコネクタを介して人工現実デバイスに結合され得る。コネクタは、ワイヤードまたはワイヤレスであり得、電気的および／または非電気的（たとえば、構造的）構成要素を含み得る。場合によっては、人工現実デバイスおよび外部デバイスは、それらの間にいかなる有線または無線接続も伴わずに、独立して動作してもよい。

外部デバイスを人工現実デバイスとペアリングすることは、拡張された能力のために十分なバッテリおよび計算能力を依然として提供しながら、人工現実デバイスが特定のフォームファクタを達成することを可能にし得る。人工現実デバイスのバッテリ電力、計算リソース、および／または追加の特徴の一部または全部は、ペアリングされたデバイスによって提供されるか、またはペアリングされたデバイスと人工現実デバイスとの間で共有され得、したがって、所望の機能を依然として保持しながら、人工現実デバイス全体の重量、熱プロファイル、およびフォームファクタを低減させる。たとえば、外部デバイスは、別様でデバイス上に含まれるであろう構成要素が外部デバイス内に含まれることを可能にし得るが、これは、ユーザが、自身の頭部上で許容するよりも、重い重量負荷をポケット、肩、または手の中で許容し得るからである。外部デバイスはまた、周囲環境に熱を拡散および分散させるためのより大きな表面積を有することができる。

したがって、外部デバイスは、別様で、スタンドアロンのヘッドウェアデバイス上で可能であったであろうよりも大きなバッテリおよび計算能力を可能にし得る。外部デバイスで運ばれる重量は、人工現実デバイスで運ばれる重量よりもユーザにとって侵襲性が低い場合があるため、ユーザは、重いスタンドアロンの人工現実デバイスを身に着けることをユーザが許容するよりも、より軽い人工現実デバイスを身に着けることと、ペアリングされたデバイスをより長い時間にわたって身に着けることとを許容することができ、それによって、ユーザが、人工現実環境をユーザの日々の活動により完全に組み込むことを可能にする。

外部デバイスは、人工現実デバイスおよび／または他のデバイスと通信可能に結合され得る。これらの他のデバイスは、特定の機能（たとえば、追跡、位置特定、深度マッピング、処理、記憶など）を人工現実デバイスに提供し得る。たとえば、外部デバイスは、上記で説明した音響トランスデューサ６０７および６０８など、複数の音響トランスデューサを含み得る。

外部デバイス上の処理サブシステムは、外部デバイスおよび／または人工現実デバイス上のセンサーによって生成された情報を処理することができる。たとえば、処理サブシステムは、マイクロフォンアレイによって検出された音を記述する、マイクロフォンアレイからの情報を処理してもよい。検出された音ごとに、処理サブシステムは、検出された音がマイクロフォンアレイに到来した方向を推定するためにＤＯＡ推定を実施することができる。マイクロフォンアレイが音を検出すると、処理サブシステムは、オーディオデータセットに情報を投入することができる。人工現実デバイスが慣性測定ユニットを含む実施形態では、処理サブシステムは、人工現実デバイス上に位置するＩＭＵからすべての慣性および空間計算を計算することができる。コネクタは、人工現実デバイスと外部デバイスとの間、および人工現実デバイスと処理サブシステムとの間で情報を伝達することができる。情報は、光学データ、電気データ、無線データの形態、または任意の他の伝送可能な形態であり得る。上述したように、人工現実デバイスによって生成された情報の処理を外部デバイスに移すことは、人工現実デバイスにおける重量および熱を低減し、ユーザにとってより快適にすることができる。

いくつかの例では、コンピューティングアーキテクチャ７００は、通知サブシステム７０４を含むこともできる。通知サブシステム７０４は、ユーザに通信されるユーザ通知を生成するように構成することができる。ユーザ通知は、音声ベースの通知、触覚ベースの通知、視覚ベースの通知、または他のタイプの通知を含み得る。たとえば、通知サブシステム７０４は、テキストメッセージまたは電子メールが（たとえば、人工現実デバイスおよび／または外部デバイスによって）受信されると、（たとえば、音響トランスデューサを介して）音声通知を生成してもよい。他の場合には、種々の触覚トランスデューサは、ディスプレイスクリーンをその格納位置から視聴位置まで下方に移動させるようにユーザに指示するために、ブザーを鳴らすかまたは振動することができる。

別の例では、ＩＲカメラは、同じ部屋内の別の人工現実デバイスを検出することができ、および／またはオーディオセンサーは、他の人工現実デバイスによって放出された非可聴周波数を検出することができる。この例では、人工現実デバイスは、人工現実デバイスおよび検出されたデバイスが対話することができるように、ユーザに人工現実モードに切り替えるように指示するメッセージをディスプレイ上に表示することができる。多くの他のタイプの通知も可能である。場合によっては、人工現実デバイスは、通知に自動的に応答することができるが、他の場合には、ユーザは、通知に応答するために何らかのタイプの対話を実施することができる。

いくつかの例では、通知サブシステム７０４は、人工現実デバイス上の種々の位置に配置された１つ以上の触覚構成要素を含み得る。これらの触覚トランスデューサは、ブザーまたは振動などの触覚出力を生成するように構成することができる。触覚トランスデューサは、種々の方法で人工現実デバイス内に位置決めすることができる。ユーザは、人工現実デバイス上の実質的に任意の場所から触覚感覚を検出することが可能であってもよく、したがって、触覚トランスデューサは、デバイス全体を通して配置されてもよい。

場合によっては、触覚トランスデューサは、人工現実デバイス上または人工現実デバイス内にパターンで配置され得る。たとえば、触覚トランスデューサは、人工現実デバイス全体にわたって列または円または線で配置されてもよい。これらの触覚トランスデューサは、ユーザが感じることができる異なるパターンを生成するために、異なる時間に作動され得る。いくつかの例では、触覚トランスデューサは、特定の通知に対応するように特定の方法で作動され得る。たとえば、人工現実デバイスの右側の短いブザー音は、ユーザがテキストメッセージを受信したことを示してもよい。人工現実デバイスの左側の２つの短い振動のパターンは、ユーザが通話を受信していることを示すことができ、またはその通話が誰からのものであるかを示すこともできる。一列に配置された連続する触覚トランスデューサ８０５からの一連の振動は、興味深い人工現実特徴がユーザの現在位置で利用可能であり、ユーザがディスプレイを下げることを考慮すべきであることを示すことができる。加えて、右から左に移動する振動のパターンは、ユーザが交点で左折すべきであることを示すことができる。多くの他のかかる通知が可能であり、上記で特定されたリストは、限定することを意図していない。

触覚トランスデューサまたは他の触覚フィードバック要素は、振動、力、牽引力、質感、および／または温度を含む種々のタイプの皮膚フィードバックを提供することができる。触覚トランスデューサはまた、動きおよびコンプライアンスなどの種々のタイプの運動感覚フィードバックを提供することができる。触覚フィードバックは、モーター、圧電アクチュエータ、流体システム、および／または様々な他のタイプのフィードバックメカニズムを使用して実装され得る。触覚フィードバックシステムは、他の人工現実デバイスとは関係なく、他の人工現実システム内で、かつ／または他の人工現実システムと連携して実装される場合がある。

触覚感覚、可聴コンテンツ、および／または視覚コンテンツを提供することによって、人工現実デバイスは、種々のコンテキストおよび環境において、完全な人工体験を作成するか、またはユーザの現実世界体験を向上させることができる。たとえば、人工現実デバイスは、特定の環境内のユーザの知覚、記憶、または認知を支援または拡張してもよい。人工現実デバイスはまた、現実世界内の他の人々とのユーザの対話を向上させることができ、または仮想世界内の他の人々とのより没入型の対話を可能にし得る。人工現実デバイスはまた、教育目的（たとえば、学校、病院、政府機関、軍事機関、企業などにおける教育または訓練のため）、娯楽目的（たとえば、ビデオゲームのプレイ、音楽の聴取、ビデオコンテンツの視聴など）、および／またはアクセシビリティ目的（たとえば、補聴器、視覚補助などとして）に使用されてもよい。本明細書に開示された実施形態は、これらの状況および環境ならびに／または他の状況および環境のうちの１つまたは複数におけるユーザの人工現実体験を可能にするか、または高めることができる。

場合によっては、ユーザは、力覚または動きベースの移動を介して、処理サブシステム７１０および／または種々のサブシステム７０１～７０９のいずれかと対話することができる。たとえば、ユーザは、（人工現実デバイス上または外部デバイス内のいずれかの）ボタンまたはノブまたはダイヤルを押して、通知に応答してもよい。他の場合には、ユーザは、自身の手、腕、顔、眼、または他の身体部分でジェスチャを実施することができる。このジェスチャは、処理サブシステム７１０および関連するソフトウェアによって、通知に対する応答として解釈され得る。

場合によっては、ユーザは、脳だけを使用して人工現実デバイスと対話することができる。たとえば、人工現実デバイスは、少なくとも１つの脳コンピュータインターフェースを含んでもよい。一例では、この脳コンピュータインターフェースは、人工現実デバイスのクラウン部分内に位置決めされ得る。脳コンピュータインターフェース（ＢＣＩ）は、ユーザ入力に変換可能な脳信号を検出するように構成され得る。ＢＣＩは、機能的近赤外分光法を使用すること、脳波記録（ＥＥＧ）を使用すること、乾式活性電極アレイを使用すること、または他のタイプの脳コンピュータインターフェースを使用することを含む、種々の非侵襲的脳活動検出技術のいずれかを使用して、脳波および脳波パターンに基づいて、ユーザの意図を検出および判定してもよい。場合によっては、ＢＣＩは、手、指、または肢の移動を示すように構成され得る。他の場合には、ＢＣＩは、音声パターンを検出し、検出された音声パターンを書かれたテキストに変換するように構成され得る。このテキストは、返信メッセージ、たとえば、テキストまたは電子メールに適用されてもよい。場合によっては、ユーザがテキストを思考し、思考からテキストへの変換器が単語を形成するにつれて、テキストがディスプレイ上に提示されてもよい。

上記で詳述されるように、ディスプレイサブシステム７０１の種々の構成要素は、種々の方法で本明細書に説明される人工現実デバイスに結合され得る。いくつかの実施形態では、ディスプレイは、ユーザの顔の前でスイングまたはスライドダウンするように調整され得る。この例では、位置決め機構は、ディスプレイがユーザの視野の実質的に外側にあることが意図される場所に位置決めされる（たとえば、閉じられる）格納位置と、ディスプレイがユーザの視野の実質的に内側にあることが意図される場所に位置決めされる（たとえば、開かれる）視聴位置との間でディスプレイを調整可能に位置決めすることができる。

一例では、人工現実デバイスは、仮想網膜ディスプレイを利用するか、または含み得る。仮想網膜ディスプレイは、ユーザの眼上に直接ディスプレイを描画またはトレースするように構成され得る、仮想網膜ディスプレイプロジェクタを含み得る。本明細書では網膜走査ディスプレイ（ＲＳＤ）または網膜プロジェクタ（ＲＰ）とも称される仮想網膜ディスプレイ（ＶＲＤ）は、ユーザの眼の網膜上に直接ラスタ表示を描画することができる。次いで、ユーザは、彼らの前の空間に浮いている従来のディスプレイであるように見えるものを見ることができる。本明細書で説明される他のディスプレイデバイスおよび構成要素と同様に、ＶＲＤプロジェクタは、人工現実デバイスに結合されてもよい。いくつかの実施形態では、仮想網膜ディスプレイプロジェクタは、ユーザの網膜上に画像を描画するように構成された垂直共振器面発光レーザまたは他のタイプのレーザを組み込むことができる。かかるレーザは、典型的には、ユーザの眼を損傷することを回避するために、比較的低い電力振幅を使用して給電される。垂直共振器面発光レーザが組み込まれる場合、人工現実デバイスはまた、レーザをユーザの網膜上に集束させるホログラフィック格子を含み得る。

上記に詳述されるように、本明細書に説明されるディスプレイサブシステム７０１および視線追跡サブシステム７０３は、複数の異なる方法で構成されてもよく、種々の要素および構成要素を含んでもよい。図８は、ユーザの眼（複数可）を追跡することが可能な視線追跡サブシステムを組み込んだ、例示的なシステム８００の図である。図８に示されるように、システム８００は、光源８０２、光学サブシステム８０４、視線追跡サブシステム８０６、および／または制御サブシステム８０８を含み得る。いくつかの例では、光源８０２は、（たとえば、閲覧者の眼８０１に提示される）画像のための光を生成し得る。光源８０２は、種々の適切なデバイスのいずれかを表すことができる。たとえば、光源８０２は、２次元プロジェクタ（たとえば、ＬＣｏＳ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）ディスプレイ）、走査源（たとえば、走査レーザ）、または他のデバイス（たとえば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、ＯＬＥＤ（有機発光ダイオード）ディスプレイ、アクティブマトリクスＯＬＥＤディスプレイ（ＡＭＯＬＥＤ）、透明ＯＬＥＤディスプレイ（ＴＯＬＥＤ）、導波管、または画像を閲覧者に提示するための光を生成可能な何らかの他のディスプレイ）を含んでもよい。いくつかの例では、画像は、光線の実際の発散から形成される画像とは対照的に、空間内の点からの光線の見掛けの発散から形成される光学画像を指し得る、仮想画像を表してもよい。

いくつかの実施形態では、光学サブシステム８０４は、光源８０２によって生成された光を受け取り、受け取った光に基づいて、画像を含む収束光８２０を生成することができる。いくつかの例では、光学サブシステム８０４は、任意の数のレンズ（たとえば、フレネルレンズ、凸レンズ、凹レンズ）、アパーチャ、フィルタ、ミラー、プリズム、および／または他の光学構成要素を、場合によってはアクチュエータおよび／または他のデバイスと組み合わせて含み得る。具体的には、アクチュエータおよび／または他のデバイスは、光学構成要素のうちの１つ以上を平行移動および／または回転させ、収束光８２０の１つ以上の態様を変更することができる。さらに、種々の機械的結合が、光学構成要素の相対的間隔および／または配向を任意の好適な組み合わせで維持する役割を果たすことができる。

一実施形態では、視線追跡サブシステム８０６は、閲覧者の眼８０１の凝視角を示す追跡情報を生成することができる。一例では、制御サブシステム８０８は、この追跡情報に少なくとも部分的に基づいて光学サブシステム８０４の態様（たとえば、収束光８２０の入射角）を制御することができる。加えて、いくつかの例では、制御サブシステム８０８は、眼８０１の凝視角（たとえば、視軸と眼８０１の解剖学的軸との間の角度）を予測するために、履歴追跡情報（たとえば、前の秒またはその分数などの所与の持続時間にわたる追跡情報の履歴）を記憶し、利用することができる。いくつかの実施形態では、視線追跡サブシステム８０６は、眼８０１のある部分（たとえば、角膜、虹彩、瞳孔など）から発せられる放射を検出し、眼８０１の現在の凝視角を判定することができる。他の例では、視線追跡サブシステム８０６は、瞳孔の現在の場所を追跡するために、波面センサーを採用することができる。

眼８０１を追跡するために、任意の数の技術を使用することができる。いくつかの技術は、赤外光で眼８０１を照明することと、赤外光に敏感であるように調整された少なくとも１つの光学センサーで反射を測定することとを含み得る。赤外線光が眼８０１からどのように反射されるかに関する情報は、角膜、瞳孔、虹彩、および／または網膜血管などの１つ以上の眼特徴（複数可）の位置（複数可）、配向（複数可）、および／または動き（複数可）を判定するように分析することができる。

いくつかの例では、視線追跡サブシステム８０６のセンサーによって取り込まれた放射線は、デジタル化されてもよい（すなわち、電子信号に変換される）。さらに、センサーは、この電子信号のデジタル表現を１つ以上のプロセッサ（たとえば、視線追跡サブシステム８０６を含むデバイスに関連付けられたプロセッサ）に伝送することができる。視線追跡サブシステム８０６は、種々の異なる構成の種々のセンサーのいずれかを含み得る。たとえば、視線追跡サブシステム８０６は、赤外放射に反応する赤外線検出器を含んでもよい。赤外線検出器は、熱検出器、光子検出器、および／または任意の他の好適なタイプの検出器であり得る。熱検出器は、入射赤外放射の熱効果に反応する検出器を含み得る。

いくつかの例では、１つ以上のプロセッサは、視線追跡サブシステム８０６のセンサー（複数可）によって生成されたデジタル表現を処理して、眼８０１の移動を追跡することができる。別の例では、これらのプロセッサは、非一過性メモリ上に記憶されたコンピュータ実行可能命令によって表されるアルゴリズムを実行することによって、眼８０１の移動を追跡することができる。いくつかの例では、オンチップ論理（たとえば、特定用途向け集積回路またはＡＳＩＣ）が、かかるアルゴリズムの少なくとも一部を実施するために使用され得る。上述したように、視線追跡サブシステム８０６は、眼８０１の移動を追跡するためにセンサー（複数可）の出力を使用するようにプログラムすることができる。いくつかの実施形態では、視線追跡サブシステム８０６は、反射の変化から眼回転情報を抽出するように、センサーによって生成されるデジタル表現を分析してもよい。一実施形態では、視線追跡サブシステム８０６は、経時的に追跡するための特徴として、角膜反射またはグリント（プルキニエ画像としても知られる）および／または眼の瞳孔８２２の中心を使用してもよい。

いくつかの実施形態では、視線追跡サブシステム８０６は、眼の瞳孔８２２の中心および赤外線または近赤外線の非コリメート光を使用して、角膜反射を作成することができる。これらの実施形態では、視線追跡サブシステム８０６は、眼の瞳孔８２２の中心と角膜反射との間のベクトルを使用して、眼８０１の凝視方向を計算することができる。いくつかの実施形態では、開示されるシステムは、ユーザの眼を追跡する前に、（たとえば、監視または非監視技術を使用して）個人のための較正手順を実施することができる。たとえば、較正手順は、視線追跡システムが各点に関連付けられた各凝視位置に対応する値を記録している間に、ディスプレイ上に表示された１つ以上の点を見るようにユーザに指示することを含んでもよい。

いくつかの実施形態では、視線追跡サブシステム８０６は、２つのタイプの赤外線および／または近赤外線（活性光としても知られる）視線追跡技術、すなわち、使用される光学要素に対する照明源の場所に基づいて区別され得る、明瞳孔および暗瞳孔視線追跡を使用することができる。照明が光学経路と同軸である場合、眼８０１は、光が網膜から反射するにつれて、再帰反射器として作用し、それによって、写真撮影における赤目効果に類似する明るい瞳孔効果を生成することができる。照明源が光路からオフセットされる場合、網膜からの再帰反射がセンサーから離れるように向けられるため、眼の瞳孔８２２は暗く見えることがある。いくつかの実施形態では、明瞳孔追跡は、より大きい虹彩／瞳孔コントラストを作成し、虹彩色素沈着を伴うよりロバストな視線追跡を可能にし得、低減された干渉（たとえば、睫毛および他の曖昧な特徴によって引き起こされる干渉）を特徴とし得る。明瞳孔追跡はまた、完全な暗闇から非常に明るい環境までの範囲の照明条件における追跡を可能にし得る。

いくつかの実施形態では、制御サブシステム８０８は、光源８０２および／または光学サブシステム８０４を制御し、眼８０１によって生じ得る、または影響され得る、画像の光学収差（たとえば、色収差および／または単色収差）を低減させることができる。いくつかの例では、上述したように、制御サブシステム８０８は、かかる制御を実施するために、視線追跡サブシステム８０６からの追跡情報を使用することができる。たとえば、光源８０２を制御する際に、制御サブシステム８０８は、眼８０１によって引き起こされる画像の収差が低減されるように、画像を修正する（たとえば、予め歪曲させる）ために、光源８０２によって生成される光を（たとえば、画像レンダリングによって）変更してもよい。

開示されるシステムは、（たとえば、瞳孔が拡張および／または収縮するため）瞳孔の位置および相対的サイズの両方を追跡することができる。いくつかの例では、瞳孔を検出および／または追跡するために使用される視線追跡デバイスおよび構成要素（たとえば、センサーおよび／またはソース）は、異なるタイプの眼に対して異なり得る（または異なるように較正され得る）。たとえば、センサーの周波数範囲は、異なる色および／または異なる瞳孔タイプ、サイズなどの眼に対して異なり得る（または別個に較正され得る）。したがって、本明細書に説明される種々の視線追跡構成要素（たとえば、赤外線源および／またはセンサー）は、各個別ユーザおよび／または眼に対して較正される必要があり得る。

開示されるシステムは、ユーザによって装着されるコンタクトレンズによって提供されるものなどの眼の矯正を伴って、および伴わずに、両眼を追跡することができる。いくつかの実施形態では、眼用矯正要素（たとえば、調整可能レンズ）は、本明細書に説明される人工現実システムに直接組み込まれてもよい。いくつかの例では、ユーザの眼の色は、対応する視線追跡アルゴリズムの修正を必要とし得る。たとえば、視線追跡アルゴリズムは、茶色の眼と、たとえば青色の眼との間の異なる色コントラストに少なくとも部分的に基づいて修正される必要があり得る。

図９は、図８に示される視線追跡サブシステムの種々の態様のより詳細な図である。この図に示されるように、視線追跡サブシステム９００は、少なくとも１つのソース９０４と、少なくとも１つのセンサー９８０６とを含み得る。ソース９０４は、概して、放射線を放出することができる任意のタイプまたは形態の要素を表す。一例では、ソース９０４は、可視、赤外、および／または近赤外放射を生成することができる。いくつかの例では、ソース９０４は、電磁スペクトルの非コリメート赤外線および／または近赤外線部分をユーザの眼９０２に向けて放射することができる。ソース９０４は、種々のサンプリングレートおよび速度を利用することができる。たとえば、開示されるシステムは、ユーザの眼９０２の固視眼球運動を取り込むために、および／またはユーザの眼９０２のサッカード動力学を正確に測定するために、より高いサンプリングレートを伴うソースを使用してもよい。上述のように、光学ベースの視線追跡技術、超音波ベースの視線追跡技術などを含む、任意のタイプまたは形態の視線追跡技術が、ユーザの眼９０２を追跡するために使用されてもよい。

センサー９０６は、概して、ユーザの眼９０２から反射される放射などの放射を検出することが可能な任意のタイプまたは形態の要素を表す。センサー９０６の例としては、限定するものではないが、電荷結合素子（ＣＣＤ）、フォトダイオードアレイ、相補型金属酸化膜半導体（ＣＭＯＳ）ベースのセンサーデバイスなどが挙げられる。一例では、センサー９０６は、限定はしないが、動的分解能範囲、線形性、ならびに／または特に視線追跡のために選択および／もしくは設計された他の特性を含む、所定のパラメータを有するセンサーを表し得る。

上記で詳述されるように、視線追跡サブシステム９００は、１つ以上のグリントを生成することができる。上記で詳述されるように、グリント９０３は、ユーザの眼の構造からの放射（たとえば、ソース９０４などの赤外線源からの赤外放射）の反射を表し得る。種々の実施形態では、グリント９０３および／またはユーザの瞳孔は、（人工現実デバイスの内部または外部のいずれかの）プロセッサによって実行される視線追跡アルゴリズムを使用して追跡され得る。たとえば、人工現実デバイスは、視線追跡をローカルに実施するためのプロセッサおよび／もしくはメモリデバイス、ならびに／または外部デバイス（たとえば、モバイルフォン、クラウドサーバ、もしくは他のコンピューティングデバイス）上で視線追跡を実施するために必要なデータを送受信するためのトランシーバを含んでもよい。

図９は、視線追跡サブシステム９００などの視線追跡サブシステムによって取り込まれた例示的な画像９０５を示している。この例では、画像９０５は、ユーザの瞳孔９０８およびその近くのグリント９１０の両方を含み得る。いくつかの例では、瞳孔９０８および／またはグリント９１０は、コンピュータビジョンベースのアルゴリズムなどの人工知能ベースのアルゴリズムを使用して識別され得る。一実施形態では、画像９０５は、ユーザの眼９０２を追跡するために連続的に分析され得る、一連のフレーム内の単一のフレームを表すことができる。さらに、瞳孔９０８および／またはグリント９１０は、ユーザの凝視を判定するために、ある期間にわたって追跡されてもよい。

上述の視線追跡サブシステムは、本明細書に記載の種々の人工現実システムのうちの１つ以上に種々の方法で組み込むことができる。たとえば、システム８００および／または視線追跡サブシステム９００の種々の構成要素のうちの１つ以上は、図４の拡張現実システム４００および／または図５の仮想現実システム５００に組み込まれ、これらのシステムが、種々の視線追跡タスク（本明細書に説明される視線追跡動作のうちの１つ以上を含む）を行うことを可能にしてもよい。

図１～図９に関連した上記の説明に鑑みて、コントローラ上の物理的圧力のレベルまたは変動を感知することが可能なハンドヘルドコントローラは、コントローラのユーザからのより複雑なおよび／または微妙な入力を容易にし得る。人工現実システムなどのいくつかの例では、ユーザによってコントローラに加えられた圧力の感知を含む入力は、ユーザに提示されている人工環境の仮想物体の操作（たとえば、絞る、ピンチング、回転など）として解釈され得る。他の実施形態では、圧力のレベルまたは変動は、メニューをナビゲートする、入力スライダ位置を変更する、または他のタイプの入力デバイス機構を介して提供することがより困難であり得る他のタイプの入力を提供するために採用されてもよい。

例示的実施形態
例１：開示されるハンドヘルドコントローラは、（１）本体であって、（ａ）手によって把持されるように構成された把持領域と、（ｂ）手が把持領域を把持している間に手の親指によって係合されるように構成された入力表面領域と、を含む、本体と、（２）入力表面領域に機械的に結合された圧力センサーであって、第１の入力として解釈される、親指によって入力表面領域上に加えられた圧力のレベルを示す圧力センサーと、を含み得る。

例２：ハンドヘルドコントローラは、把持領域に結合され、手が把持領域を把持している間に手の人差し指によって係合されるように構成されたトリガボタンをさらに含み得、トリガボタンは、第２の入力として解釈される、トリガボタンがアクティブ化されたかどうかを検出する、例１に記載のハンドヘルドコントローラ。

例３：ハンドヘルドコントローラは、トリガボタンに結合され、出力に基づいて人差し指に触覚フィードバックを提供する触覚アクチュエータをさらに含み得る、例２に記載のハンドヘルドコントローラ。

例４：圧力センサーは、入力表面領域の押下を感知する静圧センサーを含み得る、例１～３のいずれかに記載のハンドヘルドコントローラ。

例５：圧力センサーは、ゼロ移動センサーを含み得る、例１～３のいずれかに記載のハンドヘルドコントローラ。

例６：ハンドヘルドコントローラは、入力表面領域に結合され、出力に基づいて親指に触覚フィードバックを提供する触覚アクチュエータをさらに含み得る、例１～３のいずれかに記載のハンドヘルドコントローラ。

例７：ハンドヘルドコントローラは、入力表面領域に結合され、第２の入力として解釈される入力表面領域とのタッチを検出するように構成された容量センサーをさらに含み得る、例１～３のいずれかに記載のハンドヘルドコントローラ。

例８：ハンドヘルドコントローラは、第２の入力として解釈される入力表面領域上のタッチされた場所を検出する容量センサーをさらに含み得る、例１～３のいずれかに記載のハンドヘルドコントローラ。

例９：ハンドヘルドコントローラは、入力表面領域の外側で本体に結合され、手が把持領域を把持している間に親指によって係合されるように構成された入力ボタンをさらに含み得、入力ボタンは、第２の入力として解釈される入力ボタンが係合されたかどうかを示す、例１～３のいずれかに記載のハンドヘルドコントローラ。

例１０：システムは、（１）人工環境において仮想物体を提示するディスプレイと、（２）仮想物体を操作するための複数の入力を処理するプロセッサと、（３）本体と、を含み得、本体は、（ａ）手によって把持されるように構成された把持領域と、（ｂ）手が把持領域を把持している間に手の親指によって係合されるように構成された入力表面領域と、（ｃ）入力表面領域に機械的に結合された圧力センサーと、を含み、圧力センサーは、親指によって入力表面領域上に加えられた圧力のレベルを示し、プロセッサは、圧力のレベルを複数の入力のうちの第１の入力として処理する。

例１１：ハンドヘルドコントローラは、把持領域に結合され、手の人差し指によって係合されるように構成されたトリガボタンをさらに含み得、（１）トリガボタンは、トリガボタンがアクティブ化されたかどうかを示し、（２）プロセッサは、トリガボタンがアクティブ化されているかどうかを複数の入力のうちの第２の入力として処理する、例１０に記載のシステム。

例１２：プロセッサは、第１の入力と第２の入力との組み合わせを仮想物体の操作として解釈し得る、例１０または例１１に記載のシステム。

例１３：仮想物体の操作は、仮想物体に加えられたピンチング動作を含み得る、例１２に記載のシステム。

例１４：ハンドヘルドコントローラは、入力表面領域に結合された容量センサーをさらに含み得、（ａ）容量センサーは、入力表面領域のタッチされた場所を検出し、（ｂ）プロセッサは、タッチされた場所の表現を複数の入力のうちの第３の入力として処理する、例１０または例１１に記載のシステム。

例１５：プロセッサは、第３の入力を、ディスプレイによって提示されたメニューのナビゲーションとして解釈し得る、例１４に記載のシステム。

例１６：プロセッサは、第１の入力、第２の入力、および第３の入力の組み合わせを仮想物体の操作として解釈し得る、例１４に記載のシステム。

例１７：仮想物体の操作は、仮想物体に加えられた回転動作を含み得る、例１６に記載のシステム。

例１８：方法は、（１）ハンドヘルドコントローラの本体の入力表面領域に機械的に結合された圧力センサーによって、入力表面領域に加えられた圧力のレベルを検出することであって、（ａ）本体は、手によって把持されるように構成された把持領域をさらに含み、（ｂ）入力表面領域は、手が把持領域を把持している間に手の親指によって係合されるように構成される、ことと、（２）プロセッサによって、圧力のレベルを第１の入力として解釈することと、を含み得る。

例１９：方法は、（１）把持領域に結合され、手が把持領域を把持している間に手の人差し指によって係合されるように構成されたトリガボタンによって、トリガボタンがアクティブ化されたか否かを検出することと、（２）プロセッサによって、トリガボタンがアクティブ化されたか否かを第２の入力として解釈することと、をさらに含み得る、例１８に記載の方法。

例２０：（１）ディスプレイによって、人工環境において仮想物体を提示することと、（２）プロセッサによって、第１の入力と第２の入力との組み合わせを仮想物体の操作として解釈することと、をさらに含み得る、例１９に記載の方法。

上記に詳述したように、本明細書に記載および／または例証するコンピューティングデバイスおよびシステムは、本明細書に記載するモジュール内に収容されるものなど、コンピュータ可読命令を実行することができる、任意のタイプもしくは形態のコンピューティングデバイスまたはシステムを広く表す。それらの最も基本的な構成では、これらのコンピューティングデバイスはそれぞれ、少なくとも１つのメモリデバイスと少なくとも１つの物理的プロセッサとを含んでもよい。

いくつかの例では、「メモリデバイス」という用語は、一般に、データおよび／またはコンピュータ可読命令を格納することができる、任意のタイプもしくは形態の揮発性または不揮発性記憶デバイスまたは媒体を指す。メモリデバイスの例としては、非限定的に、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、光学ディスクドライブ、キャッシュ、これらの１つもしくは複数の変形例または組み合わせ、あるいは他の任意の好適な記憶メモリが挙げられる。

いくつかの例では、「物理的プロセッサ」という用語は、一般に、コンピュータ可読命令を解釈および／または実行することができる、任意のタイプもしくは形態のハードウェア実装処理装置を指す。一例では、物理的プロセッサは、上述のメモリデバイスに格納された１つもしくは複数のモジュールにアクセスおよび／またはそれを修正してもよい。物理的プロセッサの例としては、非限定的に、マイクロプロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、ソフトコアプロセッサを実装するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、それらの１つもしくは複数の部分、それらの１つもしくは複数の変形例または組み合わせ、あるいは他の任意の好適な物理的プロセッサが挙げられる。

いくつかの実施形態では、「コンピュータ可読媒体」という用語は、一般に、コンピュータ可読命令を格納または搬送することができる、任意の形態のデバイス、キャリア、または媒体を指す。コンピュータ可読媒体の例としては、非限定的に、搬送波などの伝送タイプの媒体、磁気記憶媒体（たとえば、ハードディスクドライブ、テープドライブ、およびフロッピーディスク）などの非一時的タイプの媒体、光学記憶媒体（たとえば、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、およびブルーレイディスク）、電子記憶媒体（たとえば、固体ドライブおよびフラッシュメディア）、ならびに他の分配システムが挙げられる。

本明細書で説明および／または図示されたステップのプロセスパラメータおよびシーケンスは、単に例として与えられており、必要に応じて変動させられ得る。たとえば、本明細書で図示および／または説明されたステップは、特定の順序で示されるかまたは考察され得るが、これらのステップは、図示または考察された順序で実行される必要が必ずしもあるとは限らない。本明細書で説明および／または図示された様々な例示的な方法はまた、本明細書で説明または図示されたステップのうちの１つまたは複数を省略するか、または開示されたものに加えて追加のステップを含み得る。

上記の説明は、他の当業者が、本明細書で開示された様々な態様の例示的な実施形態を最も良く利用することを可能にするために提供された。この例示的な説明は、網羅的なものではないか、または開示されたいずれかの厳密な形態に限定されるものではない。多くの修正および変形が、特許請求の範囲に記載の範囲から逸脱することなく可能である。本明細書で開示された実施形態は、あらゆる点で限定的ではなく例示的であると見なされるべきである。本開示の範囲を決定する際に、添付の特許請求の範囲およびそれらの等価物への参照が行われるべきである。

別段に記載されていない限り、明細書および特許請求の範囲で使用される、「に接続された（ｃｏｎｎｅｃｔｅｄ ｔｏ）」および「に結合された（ｃｏｕｐｌｅｄ ｔｏ）」という用語（およびそれらの派生語）は、直接的接続と間接的（すなわち、他の要素または構成要素を介した）接続の両方を容認すると解釈されるべきである。加えて、明細書および特許請求の範囲で使用される、「１つの（ａ）」または「１つの（ａｎ）」という用語は、「のうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ）」を意味すると解釈されるべきである。最後に、使用が容易なように、明細書および特許請求の範囲で使用される、「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語（およびそれらの派生語）は、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という単語と交換可能であり、「備える」という単語と同じ意味を有する。

Claims (15)

1. ハンドヘルドコントローラであって、
   本体であって、
   手によって把持されるように構成された把持領域と、
   前記手が前記把持領域を把持している間に前記手の親指によって係合されるように構成された入力表面領域と、を備える、本体と、
   前記入力表面領域に結合された圧力センサーであって、前記圧力センサーは、第１の入力として解釈される、前記親指によって前記入力表面領域上に加えられた圧力のレベルを示す、圧力センサーと、
   を備える、ハンドヘルドコントローラ。
2. 前記把持領域に結合され、前記手が前記把持領域を把持している間に前記手の人差し指によって係合されるように構成されたトリガボタンをさらに備え、
   前記トリガボタンは、第２の入力として解釈される、前記トリガボタンがアクティブ化されたかどうかを検出する、
   請求項１に記載のハンドヘルドコントローラ。
3. 前記トリガボタンに結合され、出力に基づいて前記人差し指に触覚フィードバックを提供する触覚アクチュエータをさらに備える、
   請求項２に記載のハンドヘルドコントローラ。
4. 前記圧力センサーは、前記入力表面領域の押下を感知する静圧センサーを含む、請求項１から３のいずれか一項に記載のハンドヘルドコントローラ。
5. 前記圧力センサーは、ゼロ移動センサーを含む、請求項１から４のいずれか一項に記載のハンドヘルドコントローラ。
6. 前記入力表面領域に結合され、出力に基づいて前記親指に触覚フィードバックを提供する触覚アクチュエータをさらに備える、
   請求項１から５のいずれか一項に記載のハンドヘルドコントローラ。
7. 前記入力表面領域に結合され、第２の入力として解釈される前記入力表面領域とのタッチを検出するように構成された容量センサーをさらに備える、請求項１から６のいずれか一項に記載のハンドヘルドコントローラ。
8. 第２の入力として解釈される前記入力表面領域上のタッチされた場所を検出する容量センサーをさらに備える、請求項１から７のいずれか一項に記載のハンドヘルドコントローラ。
9. 前記入力表面領域の外側で前記本体に結合され、前記手が前記把持領域を把持している間に前記親指によって係合されるように構成された入力ボタンをさらに備え、前記入力ボタンは、第２の入力として解釈される前記入力ボタンが係合されたかどうかを示す、請求項１から８のいずれか一項に記載のハンドヘルドコントローラ。
10. 人工環境内に仮想物体を提示するディスプレイと、
    前記仮想物体を操作するための複数の入力を処理するプロセッサと、
    ハンドヘルドコントローラと、を備える、システムであって、前記ハンドヘルドコントローラは、
    本体であって、
    手によって把持されるように構成された把持領域と、
    前記手が前記把持領域を把持している間に前記手の親指によって係合されるように構成された入力表面領域と、を備える、本体と、
    前記入力表面領域に結合された圧力センサーであって、前記圧力センサーは、前記親指によって前記入力表面領域上に加えられた圧力のレベルを示し、前記プロセッサは、前記圧力のレベルを前記複数の入力のうちの第１の入力として処理する、圧力センサーと、を備える、
    システム。
11. 前記ハンドヘルドコントローラは、
    前記把持領域に結合され、前記手の人差し指によって係合されるように構成されたトリガボタン
    をさらに備え、
    前記トリガボタンは、前記トリガボタンがアクティブ化されたかどうかを示し、
    前記プロセッサは、前記トリガボタンがアクティブ化されたかどうかを前記複数の入力のうちの第２の入力として処理する、
    請求項１０に記載のシステム。
12. 前記プロセッサは、前記第１の入力と前記第２の入力との組み合わせを前記仮想物体の操作として解釈し、好ましくは、前記仮想物体の前記操作は、前記仮想物体に加えられたピンチング動作を含む、請求項１１に記載のシステム。
13. 前記ハンドヘルドコントローラは、前記入力表面領域に結合された容量センサーをさらに備え、
    前記容量センサーは、前記入力表面領域のタッチされた場所を検出し、
    前記プロセッサは、前記タッチされた場所の表現を前記複数の入力のうちの第３の入力として処理し、好ましくは、
    ｉ．前記プロセッサは、前記第３の入力を前記ディスプレイによって提示されるメニューのナビゲーションとして解釈し、または
    ｉｉ．前記プロセッサは、前記第１の入力、前記第２の入力、および前記第３の入力の組み合わせを前記仮想物体の操作として解釈し、好ましくは、前記仮想物体の前記操作は、前記仮想物体に加えられた回転動作を含む、
    請求項１１または１２に記載のシステム。
14. 方法であって、
    ハンドヘルドコントローラの本体の入力表面領域に結合された圧力センサーによって、前記入力表面領域に加えられた圧力のレベルを検出することであって、
    前記本体は、手によって把持されるように構成された把持領域をさらに備え、
    前記入力表面領域は、前記手が前記把持領域を把持している間、前記手の親指によって係合されるように構成される、圧力のレベルを検出することと、
    プロセッサによって、前記圧力のレベルを第１の入力として解釈することと
    を含む、方法。
15. 前記把持領域に結合され、前記手が前記把持領域を把持している間に前記手の人差し指によって係合されるように構成されたトリガボタンによって、前記トリガボタンがアクティブ化されたかどうかを検出することと、
    前記プロセッサによって、前記トリガボタンがアクティブ化されたかどうかを第２の入力として解釈することと
    をさらに含み、好ましくは、
    ディスプレイによって、人工環境内に仮想物体を提示することと、
    前記プロセッサによって、前記第１の入力と前記第２の入力の組み合わせを前記仮想物体の操作として解釈することと
    をさらに含む、請求項１４に記載の方法。
    

Images