JP2023515525A - ウェアラブルシステムのための手のジェスチャ入力 - Google Patents

Abstract

ユーザの手が仮想オブジェクトと相互作用することを可能にするための技法が、開示される。少なくとも一方の手の画像は、画像捕捉デバイスから受信され得る。少なくとも一方の手と関連付けられる、複数の特徴点が、検出され得る。手が特定のジェスチャを行っている、または行うように遷移しつつあることの決定に応答して、複数の特徴点のサブセットが、選択され得る。相互作用点が、特定のジェスチャに基づいて、複数の特徴点のサブセットに対する特定の場所に位置合わせされ得る。近位点が、ユーザの身体に沿った場所に位置合わせされ得る。光線が、近位点から、相互作用点を通して、投射され得る。仮想オブジェクトと相互作用するための多ＤＯＦコントローラが、光線に基づいて形成され得る。

Description

（関連出願の相互参照）
本願は、その全内容が、あらゆる目的のために、参照することによって本明細書に組み込まれる、２０２０年２月２６日に出願され、「ＨＡＮＤ ＧＥＳＴＵＲＥ ＩＮＰＵＴ ＦＯＲ ＷＥＡＲＡＢＬＥ ＳＹＳＴＥＭ」と題された、米国仮特許出願第６２／９８１，９３４号、および２０２０年５月１９日に出願され、「ＨＡＮＤ ＧＥＳＴＵＲＥ ＩＮＰＵＴ ＦＯＲ ＷＥＡＲＡＢＬＥ ＳＹＳＴＥＭ」と題された、米国仮特許出願第６３／０２７，２７２号の優先権の利益を主張する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる、「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部は、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

これらのディスプレイ技術において成された進展にもかかわらず、当技術分野において、拡張現実システム、特に、ディスプレイシステムに関連する、改良された方法、システム、およびデバイスの必要性が、存在する。

本開示は、概して、光学システムの性能およびユーザ体験を改良するための技法に関する。より具体的には、本開示の実施形態は、その中でユーザの手のジェスチャが仮想環境内で相互作用するために使用される、拡張現実（ＡＲ）、仮想現実（ＶＲ）、または複合現実（ＭＲ）ウェアラブルシステムを動作させるための方法を提供する。

本発明の種々の実施形態の説明が、実施例の一覧として、下記に提供される。下記に使用されるように、一連の実施例への任意の言及は、それらの実施例のそれぞれへの離接的な言及として理解されるものである（例えば、「実施例１－４」は、「実施例１、２、３、または４」として理解されるものである）。

実施例１は、仮想オブジェクトと相互作用する方法であって、ユーザの手の画像を受信するステップと、画像を分析し、ユーザの手と関連付けられる、複数の特徴点を検出するステップと、画像を分析するステップに基づいて、ユーザの手が、複数のジェスチャからのジェスチャを行っている、または行うように遷移しつつあるかどうかを決定するステップと、ユーザの手が、ジェスチャを行っている、または行うように遷移しつつあることの決定に応答して、複数の特徴点に対する特定の場所を決定するステップであって、特定の場所は、複数の特徴点およびジェスチャに基づいて決定される、ステップと、相互作用点を特定の場所に位置合わせするステップと、相互作用点に基づいて、仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成するステップとを含む、方法である。

実施例２は、実施例１に記載の方法を実施するように構成される、システムである。

実施例３は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、実施例１に記載の方法を実施させる、命令を備える、非一過性機械可読媒体である。

実施例４は、仮想オブジェクトと相互作用する方法であって、ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信するステップと、画像を分析し、ユーザの手と関連付けられる、複数の特徴点を検出するステップと、画像を分析するステップに基づいて、ユーザの手が、複数のジェスチャから、特定のジェスチャを行っている、または行うように遷移しつつあるかどうかを決定するステップと、ユーザの手が、特定のジェスチャを行っている、または行うように遷移しつつあることの決定に応答して、特定のジェスチャに対応する、複数の特徴点のサブセットを選択するステップと、複数の特徴点のサブセットに対する特定の場所を決定するステップであって、特定の場所は、複数の特徴点のサブセットおよび特定のジェスチャに基づいて決定される、ステップと、相互作用点を特定の場所に位置合わせするステップと、近位点をユーザの身体に沿った場所に位置合わせするステップと、光線を、近位点から、相互作用点を通して、投射するステップと、光線に基づいて、仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成するステップとを含む、方法である。

実施例５は、複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、実施例４に記載の方法である。

実施例６は、複数の特徴点のサブセットは、複数の特徴点の複数のサブセットから選択され、複数の特徴点の複数のサブセットはそれぞれ、複数のジェスチャからの異なるジェスチャに対応する、実施例４に記載の方法である。

実施例７は、多ＤＯＦコントローラのグラフィカル表現を表示するステップをさらに含む、実施例４に記載の方法である。

実施例８は、近位点が位置合わせされる、場所は、ユーザの肩の推定される場所、ユーザの肘の推定される場所、またはユーザの肩の推定される場所とユーザの肘の推定される場所との間にある、実施例４に記載の方法である。

実施例９は、画像捕捉デバイスによって、ユーザの手の画像を捕捉するステップをさらに含む、実施例４に記載の方法である。

実施例１０は、画像捕捉デバイスは、ウェアラブルシステムの要素である、実施例９に記載の方法である。

実施例１１は、画像捕捉デバイスは、ウェアラブルシステムのヘッドセットに搭載される、実施例９に記載の方法である。

実施例１２は、画像を分析するステップに基づいて、ユーザの手がアクションイベントを実施しているかどうかを決定するステップをさらに含む、実施例４に記載の方法である。

実施例１３は、ユーザの手がアクションイベントを実施していることの決定に応答して、多ＤＯＦコントローラおよびアクションイベントに基づいて、仮想オブジェクトを修正するステップをさらに含む、実施例１２に記載の方法である。

実施例１４は、ユーザの手は、特定のジェスチャに基づいて、アクションイベントを実施していると決定される、実施例１３に記載の方法である。

実施例１５は、ユーザの手は、複数の特徴点に基づいて、特定のジェスチャを行っている、または行うように遷移しつつあると決定される、実施例４に記載の方法である。

実施例１６は、ユーザの手は、複数の特徴点を使用したニューラルネットワーク推定に基づいて、特定のジェスチャを行っている、または行うように遷移しつつあると決定される、実施例１５に記載の方法である。

実施例１７は、ユーザの手は、画像を使用したニューラルネットワーク推定に基づいて、特定のジェスチャを行っている、または行うように遷移しつつあると決定される、実施例４に記載の方法である。

実施例１８は、複数の特徴点は、ユーザの手上にある、実施例４に記載の方法である。

実施例１９は、多ＤＯＦコントローラは、６－ＤＯＦコントローラである、実施例４に記載の方法である。

実施例２０は、実施例４－１９のいずれかに記載の方法を実施するように構成される、システムである。

実施例２１は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、実施例４－１９のいずれかに記載の方法を実施させる、命令を備える、非一過性機械可読媒体である。

実施例２２は、方法であって、ユーザの手の画像のシーケンスを受信するステップと、画像のシーケンス内の各画像を分析し、ユーザの手上の複数の特徴点を検出するステップと、画像のシーケンス内の１つまたはそれを上回る画像を分析するステップに基づいて、ユーザの手が、複数の異なるジェスチャのいずれかを行っている、または行うように遷移しつつあるかどうかを決定するステップと、ユーザの手が、複数の異なるジェスチャのうちの特定の１つを行っている、または行うように遷移しつつあることの決定に応答して、それぞれ、複数の異なるジェスチャに対応する、複数の特徴点に対する複数の場所の中から、特定のジェスチャに対応する、複数の特徴点に対する特定の場所を選択するステップと、それぞれ、複数の異なるジェスチャに対応する、複数の異なる複数の特徴点のサブセットの中から、特定のジェスチャに対応する、特定の複数の特徴点のサブセットを選択するステップと、ユーザの手が、特定のジェスチャを行っている、または行うように遷移しつつあると決定される間、相互作用点を複数の特徴点に対するユーザの手上の特定の場所に位置合わせするステップと、近位点をユーザの肩の推定される場所、ユーザの肘の推定される場所、またはユーザの肩の推定される場所とユーザの肘の推定される場所との間のユーザの上腕に沿った場所に位置合わせするステップと、光線を、近位点から、相互作用点を通して、投射するステップと、光線に対応する、多ＤＯＦコントローラのグラフィカル表現を表示するステップと、相互作用点、近位点、および特定の複数の特徴点のサブセットの場所に基づいて、多ＤＯＦコントローラを再位置付けおよび／または再配向するステップとを含む、方法である。

実施例２３は、画像のシーケンスは、ヘッドセット上の１つまたはそれを上回る外向きに向いたカメラから受信される、実施例２２に記載の方法である。

実施例２４は、複数の異なるジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、実施例２２に記載の方法である。

実施例２５は、ユーザの手が、握持ジェスチャを行っていると決定される間、相互作用点をユーザの人差し指に沿った特徴点に位置合わせするステップと、少なくとも部分的に、相互作用点の特定の場所、ユーザの手以外のユーザの身体の少なくとも一部の位置、および／または特徴点Ｉ_ｍ、Ｔ_ｍ、Ｍ_ｍ、およびＨのうちの３つまたはそれを上回るものを含む、複数の特徴点のサブセットの相対的位置に基づいて、光線の配向または方向を決定するステップとをさらに含む、実施例２２に記載の方法である。

実施例２６は、ユーザの手が、ポイントジェスチャを行っていると決定される間、相互作用点をユーザの人差し指の先端における特徴点に位置合わせするステップと、少なくとも部分的に、相互作用点の特定の場所、ユーザの手以外のユーザの身体の少なくとも一部の位置、および／または特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨのうちの３つまたはそれを上回るものを含む、複数の特徴点のサブセットの相対的位置に基づいて、光線の配向または方向を決定するステップと、少なくとも部分的に、

の間で測定された角度θ

に基づいて、アクションイベントを検出するステップとをさらに含む、実施例２２に記載の方法である。

実施例２７は、θが、所定の閾値を上回ると決定される場合、ホバリングアクションイベントが、検出される、実施例２６に記載の方法である。

実施例２８は、θが、所定の閾値未満であると決定される場合、タッチアクションイベントが、検出される、実施例２６に記載の方法である。

実施例２９は、ユーザの手が、ピンチジェスチャを行っていると決定される間、相互作用点を

に沿った場所に位置合わせするステップと、少なくとも部分的に、相互作用点の特定の場所、ユーザの手以外のユーザの身体の少なくとも一部の位置、および／または特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨのうちの３つまたはそれを上回るものを含む、複数の特徴点のサブセットの相対的位置に基づいて、光線の配向または方向を決定するステップと、少なくとも部分的に、

の間で測定された角度θ

に基づいて、アクションイベントを検出するステップとをさらに含む、実施例２２に記載の方法である。

実施例３０は、θが、所定の閾値を上回ると決定される場合、ホバリングアクションイベントが、検出される、実施例２９に記載の方法である。

実施例３１は、θが、所定の閾値未満であると決定される場合、タッチアクションイベントが、検出される、実施例２９に記載の方法である。

実施例３２は、それにわたってθが所定の閾値未満であると決定される、時間の持続時間に基づいて、タップアクションイベントが、検出される、実施例２９に記載の方法である。

実施例３３は、それにわたってθが所定の閾値未満であると決定される、時間の持続時間に基づいて、保持アクションイベントが、検出される、実施例２９に記載の方法である。

実施例３４は、ユーザの手が、握持ジェスチャの実施とポイントジェスチャの実施との間で遷移しつつあると決定される間、相互作用点を

に沿った場所に位置合わせするステップと、ポイントジェスチャのための行われるものと同一方法において、光線の配向または方向を決定するステップと、少なくとも部分的に、相互作用点の特定の場所、ユーザの手以外のユーザの身体の少なくとも一部の位置、および／または特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨのうちの３つまたはそれを上回るものを含む、複数の特徴点のサブセットの相対的位置に基づいて、光線の配向または方向を決定するステップとをさらに含む、実施例２２に記載の方法である。

実施例３５は、ユーザの人差し指が、部分的に、外向きに延在される一方、ユーザの手の他の指が、内向きに丸められるとき、ユーザの手は、握持ジェスチャの実施とポイントジェスチャの実施との間で遷移しつつあると決定される、実施例３４に記載の方法である。

実施例３６は、ユーザの手が、ポイントジェスチャの実施とピンチジェスチャの実施との間で遷移しつつあると決定される間、相互作用点を

に沿った場所に位置合わせするステップと、ポイントジェスチャおよび／またはピンチジェスチャのための行われるものと同一方法において、光線の配向または方向を決定するステップと、少なくとも部分的に、相互作用点の特定の場所、ユーザの手以外のユーザの身体の少なくとも一部の位置、および／または特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨのうちの３つまたはそれを上回るものを含む、複数の特徴点のサブセットの相対的位置に基づいて、光線の配向または方向を決定するステップとをさらに含む、実施例２２に記載の方法である。

実施例３７は、ユーザの親指および人差し指が、少なくとも部分的に、外向きに延在され、少なくとも部分的に、相互に向かって丸められると、ユーザの手は、ポイントジェスチャの実施とピンチジェスチャの実施との間で遷移しつつあると決定される、実施例３６に記載の方法である。

実施例３８は、ユーザの手が、ピンチジェスチャの実施と握持ジェスチャの実施との間で遷移しつつあると決定される間、相互作用点を

に沿った場所に位置合わせするステップと、ピンチジェスチャのために行われるものと同一方法において、光線の配向または方向を決定するステップと、少なくとも部分的に、相互作用点の特定の場所、ユーザの手以外のユーザの身体の少なくとも一部の位置、および／または特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨのうちの３つまたはそれを上回るものを含む、複数の特徴点のサブセットの相対的位置に基づいて、光線の配向または方向を決定するステップとをさらに含む、実施例２２に記載の方法である。

実施例３９は、ユーザの親指および人差し指が、少なくとも部分的に、外向きに延在され、少なくとも部分的に、相互に向かって丸められると、ユーザの手は、ピンチジェスチャの実施と握持ジェスチャの実施との間で遷移しつつあると決定される、実施例３８に記載の方法である。

実施例４０は、実施例２２－３９のいずれかに記載の方法を実施するように構成される、システムである。

実施例４１は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、実施例２２－３９のいずれかに記載の方法を実施させる、命令を備える、非一過性機械可読媒体である。

実施例４２は、仮想オブジェクトと相互作用する方法であって、ユーザの第１の手および第２の手の１つまたはそれを上回る画像を受信するステップと、１つまたはそれを上回る画像を分析し、第１の手および第２の手のそれぞれと関連付けられる、複数の特徴点を検出するステップと、第１の手および第２の手のそれぞれと関連付けられる、複数の特徴点に基づいて、第１の手および第２の手毎に、相互作用点を決定するステップと、第１の手および第２の手毎に、相互作用点に基づいて、１つまたはそれを上回る両手デルタを生成するステップと、１つまたはそれを上回る両手デルタを使用して、仮想オブジェクトと相互作用するステップとを含む、方法である。

実施例４３は、第１の手および第２の手毎に、相互作用点に基づいて、両手相互作用点を決定するステップをさらに含む、実施例４２に記載の方法である。

実施例４４は、第１の手に関する相互作用点は、第１の手と関連付けられる、複数の特徴点に基づいて決定され、第２の手に関する相互作用点は、第２の手と関連付けられる、複数の特徴点に基づいて決定される、実施例４２に記載の方法である。

実施例４５は、第１の手および第２の手毎に、相互作用点を決定するステップは、１つまたはそれを上回る画像を分析するステップに基づいて、第１の手は、複数のジェスチャからの第１の特定のジェスチャを行っている、または行うように遷移しつつあるかどうかを決定するステップと、第１の手が、第１の特定のジェスチャを行っている、または行うように遷移しつつあることの決定に応答して、第１の特定のジェスチャに対応する、第１の手と関連付けられる、複数の特徴点のサブセットを選択するステップと、第１の手と関連付けられる、複数の特徴点のサブセットに対する第１の特定の場所を決定するステップであって、第１の特定の場所は、第１の手と関連付けられる複数の特徴点のサブセットおよび第１の特定のジェスチャに基づいて決定される、ステップと、第１の手に関する相互作用点を第１の特定の場所に位置合わせするステップとを含む、実施例４２に記載の方法である。

実施例４６は、第１の手および第２の手毎に、相互作用点を決定するステップはさらに、１つまたはそれを上回る画像を分析するステップに基づいて、第２の手が、複数のジェスチャからの第２の特定のジェスチャを行っている、または行うように遷移しつつあるかどうかを決定するステップと、第２の手が、第２の特定のジェスチャを行っている、または行うように遷移しつつあることの決定に応答して、第２の特定のジェスチャに対応する、第２の手と関連付けられる、複数の特徴点のサブセットを選択するステップと、第２の手と関連付けられる、第２の複数の特徴点のサブセットに対する特定の場所を決定するステップであって、第２の特定の場所は、第２の手と関連付けられる複数の特徴点のサブセットおよび第２の特定のジェスチャに基づいて決定される、ステップと、第２の手に関する相互作用点を第２の特定の場所に位置合わせするステップとを含む、実施例４５に記載の方法である。

実施例４７は、複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、実施例４６に記載の方法である。

実施例４８は、１つまたはそれを上回る画像は、第１の手の第１の画像と、第２の手の第２の画像とを含む、実施例４２に記載の方法である。

実施例４９は、１つまたはそれを上回る画像は、第１の手および第２の手の単一画像を含む、実施例４２に記載の方法である。

実施例５０は、１つまたはそれを上回る画像は、一連の時系列画像を含む、実施例４２に記載の方法である。

実施例５１は、１つまたはそれを上回る両手デルタは、第１の手および第２の手毎の相互作用点のフレーム間移動に基づいて決定される、実施例４２に記載の方法である。

実施例５２は、１つまたはそれを上回る両手デルタは、第１の手および第２の手毎の相互作用点のフレーム間平行移動に対応する、平行移動デルタを含む、実施例５１に記載の方法である。

実施例５３は、１つまたはそれを上回る両手デルタは、第１の手および第２の手毎の相互作用点のフレーム間回転移動に対応する、回転デルタを含む、実施例５１に記載の方法である。

実施例５４は、１つまたはそれを上回る両手デルタは、第１の手および第２の手毎の相互作用点のフレーム間分離移動に対応する、摺動デルタを含む、実施例５１に記載の方法である。

実施例５５は、実施例４２－５４のいずれかに記載の方法を実施するように構成される、システムである。

実施例５６は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、実施例４２－５４のいずれかに記載の方法を実施させる、命令を備える、非一過性機械可読媒体である。

本開示のさらなる理解を提供するために含まれる、付随の図面は、本明細書に組み込まれ、その一部を成し、本開示の実施形態を図示し、詳細な説明とともに、本開示の原理を解説する役割を果たす。本開示の基本的な理解およびこれが実践され得る種々の方法に関して必要であり得るよりも詳細に、本開示の構造的詳細を示す試みは、行われない。

図１は、仮想オブジェクトと相互作用するための手のジェスチャ入力を提供する、ウェアラブルシステムの例示的動作を図示する。

図２は、例示的ＡＲ／ＶＲ／ＭＲウェアラブルシステムの概略図を図示する。

図３は、仮想ユーザインターフェースと相互作用するための例示的方法を図示する。

図４Ａは、光線および円錐投射の実施例を図示する。

図４Ｂは、オブジェクトの群上への円錐投射の実施例を図示する。

図５は、ウェアラブルシステムによって検出または追跡され得る、種々の特徴点の実施例を図示する。

図６Ａ－６Ｆは、ウェアラブルシステムによって識別されるジェスチャに基づいて選択され得る、特徴点の可能性として考えられるサブセットの実施例を図示する。 図６Ａ－６Ｆは、ウェアラブルシステムによって識別されるジェスチャに基づいて選択され得る、特徴点の可能性として考えられるサブセットの実施例を図示する。 図６Ａ－６Ｆは、ウェアラブルシステムによって識別されるジェスチャに基づいて選択され得る、特徴点の可能性として考えられるサブセットの実施例を図示する。

図７Ａ－７Ｃは、ユーザの腕が外向きに延在されている間の種々のジェスチャのための光線投射の実施例を図示する。

図８Ａ－８Ｃは、ユーザの腕が内向きに後退されている間の種々のジェスチャのための光線投射の実施例を図示する。

図９は、特徴点を使用してアクションイベントが検出され得る方法の実施例を図示する。

図１０Ａ－１０Ｃは、光線を使用した仮想オブジェクトとの例示的相互作用を図示する。

図１１は、ポイントジェスチャを管理するための例示的スキームを図示する。

図１２は、ピンチジェスチャを管理するための例示的スキームを図示する。

図１３は、ユーザの手が握持ジェスチャを行っている間の、アクションイベントを検出するための例示的スキームを図示する。

図１４は、ユーザの手がポイントジェスチャを行っている間の、アクションイベントを検出するための例示的スキームを図示する。

図１５は、ユーザの手がピンチジェスチャを行っている間の、アクションイベントを検出するための例示的スキームを図示する。

図１６は、ユーザの手がピンチジェスチャを行っている間の、アクションイベントを検出するための例示的実験データを図示する。

図１７Ａ－１７Ｄは、ユーザの手がピンチジェスチャを行っている間の、アクションイベントを検出するための例示的実験データを図示する。

図１８は、ユーザの手がピンチジェスチャを行っている間の、アクションイベントを検出するための例示的スキームを図示する。

図１９Ａ－１９Ｄは、ユーザの手がピンチジェスチャを行っている間の、アクションイベントを検出するための例示的雑音実験データを図示する。

図２０Ａ－２０Ｃは、握持ジェスチャを管理するための例示的スキームを図示する。

図２１Ａ－２１Ｃは、ポイントジェスチャを管理するための例示的スキームを図示する。

図２２Ａ－２２Ｃは、ピンチジェスチャを管理するための例示的スキームを図示する。

図２３は、ポイントおよびピンチジェスチャのための種々のアクティブ化タイプを図示する。

図２４は、種々のジェスチャおよびジェスチャ間の遷移を図示する。

図２５は、両手相互作用の実施例を図示する。

図２６は、両手相互作用の実施例を図示する。

図２７は、協働的両手相互作用の種々の実施例を図示する。

図２８は、管理された両手相互作用の実施例を図示する。

図２９は、例示的片手相互作用場および両手相互作用場を図示する。

図３０は、ユーザが仮想オブジェクトと相互作用することを可能にするために、ユーザの手と関連付けられる多ＤＯＦコントローラを形成する方法を図示する。

図３１は、ユーザが仮想オブジェクトと相互作用することを可能にするために、ユーザの手と関連付けられる多ＤＯＦコントローラを形成する方法を図示する。

図３２は、両手入力を使用して仮想オブジェクトと相互作用する方法を図示する。

図３３は、簡略化されたコンピュータシステムを図示する。

具体的実施形態の詳細な説明
ウェアラブルシステムは、その中で仮想データ要素が、種々の入力を通してユーザによって相互作用される、双方向拡張現実（ＡＲ）、仮想現実（ＶＲ）、および／または複合現実（ＭＲ）環境を提示することができる。多くの現代のコンピューティングシステムは、ＡＲ／ＶＲ／ＭＲ環境等のデータが豊富でかつ動的な相互作用環境において、単一直接入力に基づいて、所与の出力を生成するように工学設計されるが（例えば、コンピュータマウスは、ユーザの直接操作に応答して、カーソルを誘導することができる等）、高度な特異性が、特定のタスクを遂行するために望ましくあり得る。そうでなければ、精密な入力の不在下、コンピューティングシステムは、高エラー率に悩まされ得、実施されるべき正しくないコンピュータ動作を生じさせ得る。例えば、ユーザが、タッチパッドを使用して、オブジェクトを３次元（３Ｄ）空間内で移動させることを意図するとき、コンピューティングシステムは、本質的に２次元（２Ｄ）入力空間を伴うデバイスを使用して、所望の３Ｄ移動を解釈することが困難であり得る。

ＡＲ／ＶＲ／ＭＲ環境内の入力としての手のジェスチャの使用は、いくつかの魅力的特徴を有する。第１に、その中で仮想コンテンツが実世界上にオーバーレイされる、ＡＲ環境では、手のジェスチャは、両方の世界をつなぐ、直感的相互作用方法を提供する。第２に、潜在的に種々の入力コマンドにマッピングされ得る、広範囲の表現的手のジェスチャが存在する。例えば、手のジェスチャは、手形状（例えば、手がとり得る、明確に異なる構成）、配向（例えば、明確に異なる相対的手の回転度）、場所、および移動等のいくつかの明確に異なるパラメータを同時に呈することができる。第３に、結像デバイスおよび処理ユニットにおける最近のハードウェア改良に伴って、手のジェスチャ入力は、システムの複雑性が、電磁追跡エミッタ／受信機等の種々のセンサを採用する、ハンドヘルドコントローラ等の他の入力と比べて低減され得るように、十分な正確度をもたらす。

手のジェスチャを認識するための１つのアプローチは、ユーザの片手または両手上の種々の特徴点の位置を追跡することである。１つの実装では、手追跡システムが、各手上の２０個超の特徴点の３Ｄ位置を識別してもよい。次に、手と関連付けられる、ジェスチャが、特徴点を分析することによって、認識されてもよい。例えば、異なる特徴点間の距離は、ユーザの手が拳状である（例えば、短平均距離）、または開放し、弛緩している（例えば、長平均距離）かどうかを示し得る。別の実施例として、３つまたはそれを上回る特徴点によって形成される、種々の角度（例えば、ユーザの人差し指に沿って、少なくとも１つの特徴点を含む）は、ユーザの手がポイントまたはピンチしているかどうかを示し得る。

いったんジェスチャが、認識されると、それを通してユーザが仮想オブジェクトと相互作用し得る、相互作用点が、決定されることができる。相互作用点は、特徴点のうちの１つまたは特徴点間の場所に位置合わせされてもよく、各ジェスチャは、相互作用点を決定するための一意のアルゴリズムを有する。例えば、ポイントジェスチャを行っているとき、相互作用点は、ユーザの人差し指の先端における特徴点に位置合わせされてもよい。別の実施例として、開放ピンチジェスチャを行っているとき、相互作用点は、ユーザの人差し指の先端とユーザの親指の先端との間の中点に位置合わせされてもよい。あるジェスチャはさらに、相互作用点と関連付けられる半径が決定されることを可能にし得る。実施例として、ピンチジェスチャに関して、半径は、ユーザの人差し指の先端およびユーザの親指の先端との間の距離に関連し得る。

ジェスチャが認識された後、および／または相互作用点が決定された後、特徴点のネットワーク全体を追跡し続けることは、算出上負担であり得る。したがって、本開示のいくつかの実施形態では、特徴点の総数のサブセットが、いったんジェスチャが認識されると、追跡され続けることができる。本特徴点のサブセットは、特徴点の総数を使用する場合に当てはまるであろうものよりもさらなる管理可能な算出負担において、周期的に、相互作用点を更新するために使用されることができる。いくつかの実施例では、本特徴点のサブセットは、下記にさらに詳細に説明されるように、比較的に高算出効率度を伴って、周期的に、仮想多ＤＯＦコントローラ（例えば、相互作用点と関連付けられる、仮想カーソルまたはポインタ）の配向を更新するために使用されることができる。さらに、特徴点のサブセットは、分析され、ユーザの手が、もはやジェスチャを行っていない、または、例えば、第１のジェスチャから第２のジェスチャを行うことに遷移している、または第１のジェスチャから非認識ジェスチャに遷移しているかどうかを決定することができる。

相互作用点を決定するステップに加え、ユーザの身体に沿った（または空間内の）近位点が、制御光線（または単に、「光線」）が延在する２つの点間に形成され得るように、決定されることができる。光線（またはその一部）は、３Ｄ空間内の仮想コンテンツと相互作用するためのカーソルまたはポインタ（例えば、多ＤＯＦコントローラの一部として）としての役割を果たし得る。いくつかのインスタンスでは、近位点は、ユーザの肩に、ユーザの肘に、またはユーザの腕に沿って（例えば、ユーザの肩と肘との間）、位置合わせされてもよい。近位点は、代替として、指関節、手、手首、前腕、肘、腕（例えば、上腕）、肩、肩甲骨、頸部、頭部、眼、顔（例えば、頬）、胸部、胴体（例えば、臍領域）、またはそれらの組み合わせ等、ユーザの身体の表面内またはそれに沿った、１つまたはそれを上回る他の場所に位置合わせされてもよい。光線は、次いで、近位点から、相互作用点を通して、特定の距離に延在してもよい。相互作用点、近位点、および光線はそれぞれ、応答性かつ快適なユーザ体験を提供するために動的に更新されてもよい。

本明細書の実施形態は、片手相互作用と称される、単一の手の相互作用、および両手相互作用と称される、２つの手の相互作用の両方に関する。片手姿勢を追跡するステップは、単一の手の相互作用点（例えば、その位置、配向、および半径）、随意に、その対応する近位点および光線、および手が行っている任意のジェスチャを追跡するステップを含んでもよい。両手相互作用に関して、ユーザの手毎の相互作用点（例えば、位置、配向、および半径）、随意に、対応する近位点、光線、およびジェスチャが、追跡されてもよい。両手相互作用はさらに、２つの手の間の両手相互作用点を追跡するステップを伴ってもよく、これは、位置（例えば、位置の平均）、配向（例えば、配向の平均）、および半径（例えば、半径の平均）を有してもよい。両手相互作用点のフレーム間移動は、両手デルタを通して捕捉されることができ、これは、下記に説明されるように、２つの手に関するデルタに基づいて計算されてもよい。

両手デルタは、平行移動デルタと称される、平行移動成分と、回転デルタと称される、回転成分とを含んでもよい。平行移動デルタは、２つの手に関する平行移動デルタに基づいて決定されてもよい。例えば、平行移動デルタは、ユーザの左手のフレーム間平行移動の移動に対応する、左平行移動デルタ（例えば、その平均）と、ユーザの右手のフレーム間平行移動の移動に対応する、右平行移動デルタとに基づいて決定されてもよい。同様に、回転デルタは、２つの手に関する回転デルタに基づいて決定されてもよい。例えば、回転デルタは、ユーザの左手のフレーム間回転移動に対応する、左回転デルタ（例えば、その平均）と、ユーザの右手のフレーム間回転移動に対応する、右回転デルタとに基づいて決定されてもよい。

代替として、または加えて、回転デルタは、相互作用点の位置間に形成される、線の回転移動に基づいて決定されてもよい。例えば、ユーザは、デジタル立方体の２つの角をピンチし、２つの手の相互作用点の位置を回転させることによって、立方体を回転させてもよい。本回転は、各手の相互作用点が独自に回転しているかどうかから独立して生じてもよい、またはいくつかの実施形態では、立方体の回転はさらに、相互作用点の回転によって促進されてもよい。いくつかのインスタンスでは、両手デルタは、分離デルタ（またはスケーリングデルタ）と称される、分離成分等の他の成分を含んでもよく、これは、相互作用点の位置間の距離に基づいて決定され、正の分離デルタは、離れるように移動する手に対応し、負の分離デルタは、ともに近づくように移動する手に対応する。

種々のタイプの両手相互作用は、３つのカテゴリのうちの１つに該当し得る。第１のカテゴリは、独立両手相互作用であって、その中で各手は、独立して、仮想オブジェクトと相互作用する（例えば、ユーザが、仮想キーボード上でタイプしており、各手の構成が、他方から独立する）。第２のカテゴリは、協働的両手相互作用であって、その中で両方の手が、協働して仮想オブジェクトと相互作用する（例えば、両方の手を用いて、対向角をピンチすることによって、仮想立方体をサイズ変更する、回転させる、および／または平行移動させる）。第３のカテゴリは、管理された両手相互作用であって、その中で一方の手が、他方の手が解釈される方法を管理する（例えば、右手は、カーソルである一方、左手は、カーソルをペンと消しゴムとの間で切り替える、修飾子である）。

以下の説明において、種々の実施例が、説明されるであろう。解説の目的のために、具体的な構成および詳細が、実施例の徹底的な理解を提供するために記載される。しかしながら、実施例が、具体的な詳細を伴わずに実践され得ることもまた、当業者に明白になるであろう。さらに、周知の特徴が、説明されている実施形態を不明瞭にしないために省略または簡略化されてもよい。

図１は、本開示のいくつかの実施形態による、仮想オブジェクト１０８と相互作用するための手のジェスチャ入力を提供する、ウェアラブルシステムの例示的動作を図示する。ウェアラブルシステムは、ユーザによって装着され、ユーザの手１０６をその視野（ＦＯＶ）内に含む、少なくとも１つの前向きに向いたカメラ１０４を含む、ウェアラブルデバイス１０２（例えば、ヘッドセット）を含んでもよい。故に、カメラ１０４から捕捉された画像は、手１０６を含み、画像の後続処理が、ウェアラブルシステムによって実施されることを可能にし、例えば、手１０６と関連付けられる、特徴点を検出してもよい。いくつかの実施形態では、図１を参照して説明されるウェアラブルシステムおよびウェアラブルデバイス１０２は、それぞれ、図２を参照して下記にさらに詳細に説明されるような、ウェアラブルシステム２００およびウェアラブルデバイス２０１に対応し得る。

ウェアラブルシステムは、基準フレームを維持してもよく、その中でＡＲ／ＶＲ／ＭＲ環境内の要素の位置および配向が、決定されてもよい。いくつかの実施形態では、ウェアラブルシステムは、基準フレームに対して（Ｘ_ＷＰ、Ｙ_ＷＰ、Ｚ_ＷＰ）として定義される、ウェアラブルデバイス１０２の位置（「ウェアラブル位置」）と、基準フレームに対して（Ｘ_ＷＯ、Ｙ_ＷＯ、Ｚ_ＷＯ）として定義される、配向（「ウェアラブル配向」）とを決定してもよい。ウェアラブルデバイス１０２の位置は、可能性の中でもとりわけ、Ｘ、Ｙ、およびＺデカルト値、または経度、緯度、および高度値で表されてもよい。ウェアラブルデバイス１０２の配向は、可能性の中でもとりわけ、Ｘ、Ｙ、およびＺデカルト値、またはピッチ角、ヨー角、およびロール角値で表されてもよい。位置および配向毎の基準フレームは、世界基準フレームであってもよい、または代替として、または加えて、ウェアラブルデバイス１０２の位置および配向は、例えば、ウェアラブルデバイス１０２の位置が、（０、０、０）として設定され得、ウェアラブルデバイス１０２の配向が、（０°、０°、０°）として設定され得るように、基準フレームとして使用されてもよい。

ウェアラブルシステムは、カメラ１０４によって捕捉された画像を使用して、１つまたはそれを上回る処理ステップ１１０を実施してもよい。いくつかの実施例では、１つまたはそれを上回る処理ステップ１１０は、１つまたはそれを上回るプロセッサによって実施されてもよく、少なくとも部分的に、ウェアラブルシステムの１つまたはそれを上回るプロセッサ、ウェアラブルシステムに通信可能に結合される、１つまたはそれを上回るプロセッサ、またはそれらの組み合わせによって行われてもよい。ステップ１１０－１では、複数の特徴点（例えば、９つまたはそれを上回る特徴点）が、捕捉された画像に基づいて、検出または追跡される。ステップ１１０－２では、追跡された特徴点は、手１０６が、所定のジェスチャのセットのうちの１つを行っている、または行うように遷移しつつあるかどうかを決定するために使用される。図示される実施例では、手１０６は、ピンチジェスチャを行っていると決定される。代替として、または加えて、ジェスチャは、特徴点を検出する中間ステップを伴わずに、直接、画像から予測され得る。故に、ステップ１１０－１および１１０－２は、並行して、またはいずれかの順序において、順次、実施されてもよい。ユーザの手が、特定のジェスチャ（例えば、ピンチジェスチャ）を行っている、または行うように遷移しつつあることの決定に応答して、特定のジェスチャと関連付けられる、複数の特徴点のサブセット（例えば、８つのまたはより少ない特徴点）が、選択および追跡されてもよい。

ステップ１１０－３では、相互作用点１１２が、ステップ１１０－２から予測されるジェスチャ（または予測されるジェスチャ遷移）に基づいて、相互作用点１１２を選択された特徴点のサブセットに対する特定の場所に位置合わせすることによって決定される。また、ステップ１１０－３では、近位点１１４が、少なくとも部分的に、種々の要因のうちの１つまたはそれを上回るものに基づいて、近位点１１４をユーザの身体に沿った場所に位置合わせすることによって決定される。さらにステップ１１０－３では、光線１１６が、近位点１１４から、相互作用点１１２を通して、投射される。ステップ１１０－４では、手１０６によって実施されるアクションイベントが、特徴点に基づいて（例えば、特徴点の経時的移動に基づいて）予測される。図示される実施例では、手１０６が、標的化アクションを実施していると決定され、これは、ユーザが動的開放ピンチジェスチャを実施するとき、ウェアラブルシステムによって認識され得る。

図２は、本開示のいくつかの実施形態による、例示的ＡＲ／ＶＲ／ＭＲウェアラブルシステム２００の概略図を図示する。ウェアラブルシステム２００は、ウェアラブルデバイス２０１と、ウェアラブルデバイス２０１から遠隔にある（例えば、別個のハードウェアであるが、通信可能に結合される）、少なくとも１つの遠隔デバイス２０３とを含んでもよい。上記に述べられたように、いくつかの実施形態では、ウェアラブルシステム２００およびウェアラブルデバイス２０１は、図２を参照して説明されるように、それぞれ、図１を参照して上記に説明されるような、ウェアラブルシステムおよびウェアラブルデバイス１０２に対応し得る。ウェアラブルデバイス２０１は、ユーザによって装着される（概して、ヘッドセットとして）が、遠隔デバイス２０３は、ユーザによって保持される（例えば、ハンドヘルドコントローラとして）、またはフレームに固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様に、ユーザに除去可能に取り付けられる（例えば、リュック式構成、ベルト結合式構成等において）等、種々の構成において搭載されてもよい。

ウェアラブルデバイス２０１は、並置構成において配列される、左接眼レンズ２０２Ａおよび左レンズアセンブリ２０５Ａと、同様に並置構成において配列される、右接眼レンズ２０２Ｂおよび右レンズアセンブリ２０５Ｂとを含んでもよい。いくつかの実施形態では、ウェアラブルデバイス２０１は、限定ではないが、左接眼レンズ２０２Ａに直接またはその近くに取り付けられる、左正面に向いた世界カメラ２０６Ａと、右接眼レンズ２０２Ｂに直接またはその近くに取り付けられる、右正面に向いた世界カメラ２０６Ｂと、左接眼レンズ２０２Ａに直接またはその近くに取り付けられる、左側に向いた世界カメラ２０６Ｃと、右接眼レンズ２０２Ｂに直接またはその近くに取り付けられる、右側に向いた世界カメラ２０６Ｄとを含む、１つまたはそれを上回るセンサを含む。ウェアラブルデバイス２０１は、左接眼レンズ２０２Ａに光学的にリンクされる、左プロジェクタ２１４Ａ、および右接眼レンズ２０２Ｂに光学的にリンクされる、右プロジェクタ２１４Ｂ等の１つまたはそれを上回る画像投影デバイスを含んでもよい。

ウェアラブルシステム２００は、本システム内でデータを収集する、処理する、および／または制御するための処理モジュール２５０を含んでもよい。処理モジュール２５０のコンポーネントは、ウェアラブルデバイス２０１と遠隔デバイス２０３との間に分散されてもよい。例えば、処理モジュール２５０は、ウェアラブルシステム２００のウェアラブル部分上のローカル処理モジュール２５２と、ローカル処理モジュール２５２と物理的に別個であって、それに通信可能にリンクされる、遠隔処理モジュール２５６とを含んでもよい。ローカル処理モジュール２５２および遠隔処理モジュール２５６はそれぞれ、１つまたはそれを上回る処理ユニット（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）等）と、不揮発性メモリ（例えば、フラッシュメモリ）等の１つまたはそれを上回る記憶デバイスとを含んでもよい。

処理モジュール２５０は、カメラ２０６、深度センサ２２８、遠隔センサ２３０、周囲光センサ、眼追跡器、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全世界測位衛星システム（ＧＮＳＳ）ユニット、無線デバイス、および／またはジャイロスコープ等のウェアラブルシステム２００の種々のセンサによって捕捉されたデータを収集してもよい。例えば、処理モジュール２５０は、画像２２０をカメラ２０６から受信してもよい。具体的には、処理モジュール２５０は、左正面画像２２０Ａを左正面に向いた世界カメラ２０６Ａから、右正面画像２２０Ｂを右正面に向いた世界カメラ２０６Ｂから、左側画像２２０Ｃを左側に向いた世界カメラ２０６Ｃから、および右側画像２２０Ｄを右側に向いた世界カメラ２０６Ｄから受信してもよい。いくつかの実施形態では、画像２２０は、単一画像、一対の画像、画像のストリームを備える、ビデオ、対合された画像のストリームを備える、ビデオ、および同等物を含んでもよい。画像２２０は、ウェアラブルシステム２００が電源投入されている間、周期的に、生成され、処理モジュール２５０に送信されてもよい、または処理モジュール２５０によってカメラのうちの１つまたはそれを上回るものに送信される命令に応答して、生成されてもよい。

カメラ２０６は、ユーザの周囲の画像を捕捉するように、ウェアラブルデバイス２０１の外面に沿って、種々の位置および配向において構成されてもよい。いくつかのインスタンスでは、カメラ２０６Ａ、２０６Ｂは、それぞれ、ユーザの左および右眼のＦＯＶと実質的に重複する、画像を捕捉するように位置付けられてもよい。故に、カメラ２０６の設置は、ユーザの眼の近くであるが、ユーザのＦＯＶを不明瞭にするほど近くないようなものであってもよい。代替として、または加えて、カメラ２０６Ａ、２０６Ｂは、それぞれ、仮想画像光２２２Ａ、２２２Ｂの内部結合場所と整合するように位置付けられてもよい。カメラ２０６Ｃ、２０６Ｄは、ユーザの側面、例えば、ユーザの周辺視覚内またはユーザの周辺視覚の外側の画像を捕捉するように位置付けられてもよい。カメラ２０６Ｃ、２０６Ｄを使用して捕捉された画像２２０Ｃ、２２０Ｄは、必ずしも、カメラ２０６Ａ、２０６Ｂを使用して捕捉された画像２２０Ａ、２２０Ｂと重複する必要はない。

種々の実施形態では、処理モジュール２５０は、周囲光情報を周囲光センサから受信してもよい。周囲光情報は、明度値または空間的に分解される明度値の範囲を示してもよい。深度センサ２２８は、ウェアラブルデバイス２０１の正面に向いた方向において、深度画像２３２を捕捉してもよい。深度画像２３２の各値は、深度センサ２２８と特定の方向における最も近くの検出されたオブジェクトとの間の距離に対応し得る。別の実施例として、処理モジュール２５０は、視線情報を１つまたはそれを上回る眼追跡器から受信してもよい。別の実施例として、処理モジュール２５０は、投影された画像明度値をプロジェクタ２１４の一方または両方から受信してもよい。遠隔デバイス２０３内に位置する、遠隔センサ２３０は、類似機能性を伴う、上記に説明されるセンサのいずれかを含んでもよい。

仮想コンテンツは、主に、プロジェクタ２１４および接眼レンズ２０２を使用して、ウェアラブルシステム２００のユーザに送達される。例えば、接眼レンズ２０２Ａ、２０２Ｂは、それぞれ、プロジェクタ２１４Ａ、２１４Ｂによって生成された光を指向および外部結合するように構成される、透明または半透明導波管を備えてもよい。具体的には、処理モジュール２５０は、左プロジェクタ２１４Ａに、左仮想画像光２２２Ａを左接眼レンズ２０２Ａ上に出力させてもよく、右プロジェクタ２１４Ｂに、右仮想画像光２２２Ｂを右接眼レンズ２０２Ｂ上に出力させてもよい。いくつかの実施形態では、接眼レンズ２０２Ａ、２０２Ｂはそれぞれ、異なる色に対応する、複数の導波管を備えてもよい。いくつかの実施形態では、レンズアセンブリ２０５Ａ、２０５Ｂが、接眼レンズ２０２Ａ、２０２Ｂに結合され、および／またはそれと統合されてもよい。例えば、レンズアセンブリ２０５Ａ、２０５Ｂは、多層接眼レンズの中に組み込まれてもよく、接眼レンズ２０２Ａ、２０２Ｂのうちの１つを構成する、１つまたはそれを上回る層を形成してもよい。

動作の間、ウェアラブルシステム２００は、コンテキスト情報に基づいて、動眼視野（ＦＯＲ）（すなわち、視認または結像するために利用可能な領域全体）内のオブジェクトとの種々のユーザ相互作用をサポートすることができる。例えば、ウェアラブルシステム２００は、それを用いてユーザが、円錐投射を使用して、オブジェクトと相互作用する、円錐の開口のサイズを調節することができる。別の実施例として、ウェアラブルシステム２００は、コンテキスト情報に基づいて、ユーザ入力デバイスの作動と関連付けられる、仮想オブジェクトの移動の量を調節することができる。これらの相互作用の詳細な実施例は、下記に提供される。

ユーザのＦＯＲは、オブジェクトの群を含有することができ、これは、ウェアラブルシステム２００を介して、ユーザによって知覚されることができる。ユーザのＦＯＲ内のオブジェクトは、仮想および／または物理的オブジェクトであってもよい。仮想オブジェクトは、例えば、削除されたファイルのためのごみ箱、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等のオペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィック、または画像等のアプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。いくつかの実施形態では、ウェアラブルシステム２００は、仮想要素を既存の物理的オブジェクトに追加することができる。例えば、ウェアラブルシステム２００は、部屋内のテレビと関連付けられる、仮想メニューを追加してもよく、仮想メニューは、ユーザに、ウェアラブルシステム２００を使用して、テレビをオンにする、そのチャンネルを変更するためのオプションを与えてもよい。

ユーザのＦＯＲ内のオブジェクトは、世界マップの一部であることができる。オブジェクトと関連付けられる、データ（例えば、場所、意味論情報、性質等）は、例えば、アレイ、リスト、ツリー、ハッシュ、グラフ等の種々のデータ構造内に記憶されることができる。各記憶されたオブジェクトのインデックスが、適用可能である場合、例えば、オブジェクトの場所によって、決定されてもよい。例えば、データ構造は、基点位置からオブジェクトまでの距離（例えば、基点位置の左（または右）までの距離、基点位置の上部（または底部）からの距離、または基点位置からの深度毎の距離）等の単一座標によって、オブジェクトをインデックス化してもよい。いくつかの実装では、ウェアラブルシステム２００は、相互作用可能オブジェクトが、異なる固定深度面に位置するように、複数のアレイに編成され得るように、仮想オブジェクトをユーザに対して異なる深度面に表示することが可能である。

ユーザは、ユーザのＦＯＲ内のオブジェクトのサブセットと相互作用することができる。本オブジェクトのサブセットは、時として、相互作用可能オブジェクトと称され得る。ユーザは、例えば、オブジェクトを選択することによって、オブジェクトを移動させることによって、オブジェクトと関連付けられるメニューまたはツールバーを開くことによって、または新しい相互作用可能オブジェクトのセットを選定することによって等、種々の技法を使用して、オブジェクトと相互作用することができる。ユーザは、例えば、マウス上でクリックする、タッチパッド上でタップする、タッチスクリーン上でスワイプする、容量ボタン上でホバリングする、またはそれにタッチする、キーボードまたはゲームコントローラ（例えば、５方向Ｄパッド）上のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かってポイントする、遠隔制御装置上のボタンを押下する、または入力デバイスとの他のユーザ相互作用等、手のジェスチャまたは姿勢を使用して、ユーザ入力デバイスを作動させることによって、相互作用可能オブジェクトと相互作用してもよい。ユーザはまた、例えば、ある時間周期にわたって、オブジェクトを注視またはポイントする等、頭部、眼、または身体姿勢を使用して、相互作用可能オブジェクトと相互作用してもよい。ユーザのこれらの手のジェスチャおよび姿勢は、ウェアラブルシステム２００に、その中で、例えば、ユーザインターフェース動作が実施される（標的相互作用可能オブジェクトと関連付けられる、メニューが、表示される、ゲーム用動作がゲーム内のアバタ上で実施される等）、選択イベントを開始させることができる。

図３は、本開示のいくつかの実施形態による、仮想ユーザインターフェースと相互作用するための例示的方法３００を図示する。ステップ３０２では、ウェアラブルシステムは、特定のユーザインターフェース（ＵＩ）を識別してもよい。ＵＩのタイプは、ユーザによって事前決定されてもよい。ウェアラブルシステムは、ユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて、特定のＵＩが取り込まれる必要があることを識別してもよい。ステップ３０４では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられる、データが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがＵＩをユーザの物理的場所に関連して表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩが、ユーザの周囲に表示され得る、または平面ＵＩが、壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。ＵＩが、手中心である場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。

ステップ３０６では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ステップ３０８では、ＵＩは、送信されるデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイが、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが、作成されると、ウェアラブルシステムは、ステップ３１０において、単に、さらなる仮想コンテンツを仮想ＵＩ上に生成するためのコマンドをユーザから待機してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、それが認識される場合（ステップ３１２）、コマンドと関連付けられる仮想コンテンツがユーザに表示されてもよい（ステップ３１４）。実施例として、ウェアラブルシステムは、複数のステムトラックを混合する前に、ユーザの手のジェスチャを待機してもよい。

本明細書に説明されるように、ユーザは、手のジェスチャまたは姿勢を使用して、その環境内のオブジェクトと相互作用することができる。例えば、ユーザが、部屋の中を見回すと、テーブル、椅子、壁、および壁のうちの１つ上の仮想テレビディスプレイが見え得る。ユーザが見ているオブジェクトを決定するために、ウェアラブルシステム２００は、概して、円錐を、それに向かってユーザが見ている方向に投影し、円錐と交差する、任意のオブジェクトを識別すると説明される、円錐投射技法を使用してもよい。円錐投射は、側方厚を有していない、単一光線を、（ウェアラブルシステム２００の）ヘッドセットから、物理的または仮想オブジェクトに向かって投射するステップを伴うことができる。単一光線を伴う円錐投射は、光線投射とも称され得る。

光線投射は、衝突検出エージェントを使用して、光線に沿ってトレースし、任意のオブジェクトが光線と交差するかどうかと、その場所とを識別することができる。ウェアラブルシステム２００は、ＩＭＵ（例えば、加速度計）、眼追跡カメラ等を使用して、ユーザの姿勢（例えば、身体、頭部、または眼方向）を追跡し、それに向かってユーザが見ている方向を決定することができる。ウェアラブルシステム２００は、ユーザの姿勢を使用して、光線を投射すべき方向を決定することができる。光線投射技法はまた、ハンドヘルド、多自由度（ＤＯＦ）入力デバイス等のユーザ入力デバイスと併用されることができる。例えば、ユーザは、多ＤＯＦ入力デバイスを作動させ、ユーザが動き回る間、光線のサイズおよび／または長さをアンカすることができる。別の実施例として、光線をヘッドセットから投射するのではなく、ウェアラブルシステム２００は、光線をユーザ入力デバイスから投射することもできる。ある実施形態では、無視可能な厚さを伴う光線を投射するのではなく、ウェアラブルシステムは、非無視可能な開口（中心光線に対して横方向に）を有する、円錐を投射することもできる。

図４Ａは、本開示のいくつかの実施形態による、光線および円錐投射の実施例を図示する。円錐投射は、調節可能開口を伴う、円錐（または他の形状）の体積４２０を投射することができる。円錐４２０は、相互作用点４２８と、表面４３２とを有する、幾何学的円錐であることができる。開口のサイズは、円錐の表面４３２のサイズに対応し得る。例えば、大開口は、表面４３２の大表面積に対応し得る。別の実施例として、大開口は、表面４３２の大径４２６に対応し得る一方、小開口は、表面４３２の小径４２６に対応し得る。図４Ａに図示されるように、円錐４２０の相互作用点４２８は、その原点を、種々の位置、例えば、ユーザのＡＲＤ（例えば、ユーザの眼間）の中心、ユーザの四肢（例えば、手の指等の手）、ユーザ入力デバイス、またはユーザによって保持または動作されているトーテム（例えば、玩具武器）のうちの１つ上の点に有することができる。相互作用点４２８は、本明細書に説明されるシステムおよび技法のうちの１つまたはそれを上回るものを使用して生成され得る、相互作用点の一実施例を表し、他の相互作用点配列も、可能性として考えられ、本発明の範囲内であることを理解されたい。

中心光線４２４は、円錐の方向を表すことができる。円錐の方向は、ユーザの身体姿勢（頭部姿勢、手のジェスチャ等）またはユーザの視線方向（眼姿勢とも称される）に対応し得る。図４Ａにおける実施例４０６は、姿勢を伴う円錐投射を図示し、ウェアラブルシステムは、ユーザの頭部姿勢または眼姿勢を使用して、円錐の方向４２４を決定することができる。本実施例はまた、頭部姿勢に関する座標系を図示する。頭部４５０は、多自由度を有してもよい。頭部４５０が、異なる方向に向かって移動するにつれて、頭部姿勢は、自然静置方向４６０に対して変化するであろう。図４Ａにおける座標系は、頭部の自然静置状態４６０に対する頭部姿勢を測定するために使用され得る、３つの角度自由度（例えば、ヨー、ピッチ、およびロール）を示す。図４Ａに図示されるように、頭部４５０は、前方および後方に傾斜し（例えば、ピッチ）、左および右に旋回し（例えば、ヨー）、横方向に傾斜する（例えば、ロール）ことができる。他の実装では、頭部姿勢を測定するための他の技法または角度表現、例えば、任意の他のタイプのオイラー角法が、使用されることができる。ウェアラブルシステムは、ＩＭＵを使用して、ユーザの頭部姿勢を決定してもよい。

実施例４０４は、姿勢を伴う円錐投射の別の実施例を示し、ウェアラブルシステムは、ユーザの手のジェスチャに基づいて、円錐の方向４２４を決定することができる。本実施例では、円錐４２０の相互作用点４２８は、ユーザの手４１４の指先にある。ユーザが、その指を別の場所にポイントするにつれて、円錐４２０（および中心光線４２４）の位置は、適宜、移動されることができる。

円錐の方向もまた、ユーザ入力デバイスの位置または配向またはユーザ入力デバイスの作動に対応することができる。例えば、円錐の方向は、ユーザ入力デバイスのタッチ表面上にユーザによって描かれる軌道に基づいてもよい。ユーザは、その指をタッチ表面上で前方に移動させ、円錐の方向が前方であることを示すことができる。実施例４０２は、ユーザ入力デバイスを用いた別の円錐投射を図示する。本実施例では、相互作用点４２８は、武器形状のユーザ入力デバイス４１２の先端に位置する。ユーザ入力デバイス４１２が、周囲で移動されるにつれて、円錐４２０および中心光線４２４もまた、ユーザ入力デバイス４１２とともに移動することができる。

ウェアラブルシステムは、例えば、マウス上でクリックする、タッチパッド上でタップする、タッチスクリーン上でスワイプする、容量ボタン上でホバリングする、またはそれにタッチする、キーボードまたはゲームコントローラ（例えば、５方向Ｄパッド）上のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かってポイントする、遠隔制御装置上のボタンを押下すること、またはユーザ入力デバイス４６６との他の相互作用によって、ユーザがユーザ入力デバイス４６６を作動させると、円錐投射を開始することができる。

ウェアラブルシステムはまた、例えば、１つの方向に向かった長時間周期の視線または手のジェスチャ（例えば、外向きに向いた結像システムの正面で手を振る）等のユーザの姿勢に基づいて、円錐投射を開始してもよい。いくつかの実装では、ウェアラブルシステムは、自動的に、コンテキスト情報に基づいて、円錐投射イベントを開始することができる。例えば、ウェアラブルシステムは、ユーザがＡＲディスプレイの主要なページに対しているとき、自動的に、円錐投射を開始することができる。別の実施例では、ウェアラブルシステムは、ユーザの視線方向におけるオブジェクトの相対的位置を決定することができる。ウェアラブルシステムが、オブジェクトが相互から比較的に離れて位置することを決定する場合、ウェアラブルシステムは、自動的に、円錐投射を開始することができ、したがって、ユーザは、疎らに位置するオブジェクトの群内のオブジェクトを選択するために、高精度を伴って、移動させる必要はない。

円錐の方向はさらに、ヘッドセットの位置または配向に基づくことができる。例えば、円錐は、ヘッドセットが傾斜されるとき、第１の方向に、ヘッドセットが傾斜されないとき、第２の方向に投射されてもよい。

円錐４２０は、例えば、サイズ、形状、または色等の種々の性質を有してもよい。これらの性質は、円錐がユーザに知覚可能であるように、ユーザに表示されてもよい。ある場合には、円錐４２０の一部が、表示されてもよい（例えば、円錐の端部、円錐の表面、円錐の中心光線等）。他の実施形態では、円錐４２０は、直方体、多面体、角錐、錐台等であってもよい。円錐の遠位端は、任意の断面、例えば、円形、卵形、多角形、または不規則形を有することができる。

図４Ａおよび４Ｂでは、円錐４２０は、相互作用点４２８に位置付けられる、頂点と、平面４３２に形成される、遠位端とを有することができる。相互作用点４２８（中心光線４２４のゼロ点とも称される）は、そこから円錐投射が生じる、設置場所と関連付けられることができる。相互作用点４２８は、仮想円錐がその場所から放出されるように現れるように、３Ｄ空間内の場所にアンカされてもよい。場所は、ユーザの頭部（ユーザの眼間等）、ポインタとして機能する、ユーザ入力デバイス（例えば、６ＤＯＦハンドヘルドコントローラまたは３ＤＯＦハンドヘルドコントローラ等）、指の先端（ジェスチャ認識によって検出され得る）等上の位置であってもよい。ハンドヘルドコントローラに関して、それに対して相互作用点４２８がアンカされる、場所は、デバイスの形状因子に依存し得る。例えば、（シューティングゲームにおいて使用するための）武器形状のコントローラ４１２では、相互作用点４２８は、コントローラ４１２の銃口の先端にあってもよい。本実施例では、円錐の相互作用点４２８は、銃身の中心に生じ得、円錐４２０の円錐４２０（または中心光線４２４）は、円錐投射の中心が武器形状のコントローラ４１２の銃身と同心となるであろうように、前方に投影することができる。円錐の相互作用点４２８は、種々の実施形態では、ユーザの環境内の任意の場所にアンカされることができる。

いったん円錐４２０の相互作用点４２８が、ある場所にアンカされると、円錐４２０の方向および移動は、その場所と関連付けられる、オブジェクトの移動に基づいてもよい。例えば、実施例４０６を参照して説明されるように、円錐が、ユーザの頭部にアンカされると、円錐４２０は、ユーザの頭部姿勢に基づいて、移動することができる。別の実施例として、実施例４０２では、円錐４２０が、ユーザ入力デバイスにアンカされると、円錐４２０は、ユーザ入力デバイスの作動に基づいて、例えば、ユーザ入力デバイスの位置または配向の変化等に基づいて、移動されることができる。別の実施例として、実施例４０４では、円錐４２０が、ユーザの手にアンカされると、円錐４２０は、ユーザの手の移動に基づいて、移動されることができる。

円錐の表面４３２は、終了閾値に到達するまで、延在することができる。終了閾値は、円錐と環境内の仮想または物理的オブジェクト（例えば、壁）との間の衝突を伴ってもよい。終了閾値はまた、閾値距離に基づいてもよい。例えば、表面４３２は、円錐がオブジェクトと衝突するまで、または表面４３２と相互作用点４２８との間の距離が閾値距離（例えば、２０センチメートル、１メートル、２メートル、１０メートル等）に到達するまで、相互作用点４２８から離れるように延在し続けることができる。いくつかの実施形態では、円錐は、衝突が円錐とオブジェクトとの間で起こり得る場合でも、オブジェクトを越えて延在することができる。例えば、表面４３２は、実世界オブジェクト（テーブル、椅子、壁等）を通して延在し、終了閾値に衝打すると、終了することができる。終了閾値が、ユーザの現在の部屋の外側に位置する、仮想部屋の壁であると仮定すると、ウェアラブルシステムは、仮想部屋の表面に到達するまで、現在の部屋を越えて円錐を延在させることができる。ある実施形態では、世界メッシュが、１つまたはそれを上回る部屋の範囲を定義するために使用されることができる。ウェアラブルシステムは、仮想円錐が世界メッシュの一部と交差しているかどうかを決定することによって、終了閾値の存在を検出することができる。いくつかの実施形態では、ユーザは、円錐が実世界オブジェクトを通して延在すると、仮想オブジェクトを容易に標的化することができる。実施例として、ヘッドセットは、仮想穴を物理的壁上に提示することができ、それを通してユーザは、ユーザが他の部屋内に物理的に存在しない場合でも、他の部屋内の仮想コンテンツと遠隔で相互作用することができる。

円錐４２０は、深度を有することができる。円錐４２０の深度は、相互作用点４２８と表面４３２との間の距離によって表されてもよい。円錐の深度は、ウェアラブルシステムによって自動的に、ユーザによって、または組み合わせて、調節されることができる。例えば、ウェアラブルシステムが、オブジェクトがユーザから離れて位置することを決定すると、ウェアラブルシステムは、円錐の深度を増加させ得る。いくつかの実装では、円錐の深度は、ある深度面にアンカされてもよい。例えば、ユーザは、円錐の深度をユーザの１メートル以内の深度面にアンカするように選定してもよい。結果として、円錐投射の間、ウェアラブルシステムは、１メートル境界の外側のオブジェクトを捕捉しないであろう。ある実施形態では、円錐の深度が、ある深度面にアンカされる場合、円錐投射は、その深度面におけるオブジェクトのみを捕捉するであろう。故に、円錐投射は、アンカされた深度面よりユーザに近い、またはユーザから遠く離れた、オブジェクトを捕捉しないであろう。円錐４２０の深度を設定することに加え、またはその代替として、ウェアラブルシステムは、円錐投射が深度面または深度面未満におけるオブジェクトとのユーザ相互作用を可能にし得るように、表面４３２をある深度面に設定することができる。

ウェアラブルシステムは、ある手のジェスチャ、身体姿勢、視線方向、ユーザ入力デバイスの作動、音声コマンド、または他の技法の検出に応じて、深度、相互作用点４２８、または円錐の表面４３２をアンカすることができる。本明細書に説明される実施例に加え、またはその代替として、相互作用点４２８、表面４３２のアンカ場所、またはアンカされる深度は、例えば、ユーザ相互作用のタイプ、それに対して円錐がアンカされる、オブジェクトの機能等のコンテキスト情報に基づくことができる。例えば、相互作用点４２８は、ユーザ可用性および感覚に起因して、ユーザの頭部の中心にアンカされることができる。別の実施例として、ユーザが、手のジェスチャまたはユーザ入力デバイスを使用して、オブジェクトをポイントすると、相互作用点４２８は、ユーザの指の先端またはユーザ入力デバイスの先端にアンカされ、ユーザがポイントする方向の正確度を増加させることができる。

ウェアラブルシステムは、ユーザへの表示のために、円錐４２０または光線４２４の少なくとも一部の視覚的表現を生成することができる。円錐４２０または光線４２４の性質が、円錐４２０または光線４２４の視覚的表現内に反映されてもよい。円錐４２０の視覚的表現は、円錐の開口、円錐の表面、中心光線等の円錐の少なくとも一部に対応し得る。例えば、仮想円錐が、幾何学的円錐である場合、仮想円錐の視覚的表現は、ユーザの眼の間の位置から延在する、灰色幾何学的円錐を含んでもよい。別の実施例として、視覚的表現は、実または仮想コンテンツと相互作用する、円錐の一部を含んでもよい。仮想円錐が幾何学的円錐であると仮定すると、幾何学的円錐の底辺が、仮想オブジェクトを標的化および選択するために使用され得るため、視覚的表現は、幾何学的円錐の底辺を表す、円形パターンを含んでもよい。ある実施形態では、視覚的表現は、ユーザインターフェース動作に基づいて、トリガされる。実施例として、視覚的表現は、オブジェクトの状態と関連付けられ得る。ウェアラブルシステムは、オブジェクトが静置状態またはホバリング状態から変化する（オブジェクトが移動または選択され得る）と、視覚的表現を提示することができる。ウェアラブルシステムはさらに、オブジェクトがホバリング状態から選択された状態に変化すると、視覚的表現を隠蔽することができる。いくつかの実装では、オブジェクトが、ホバリング状態にあるとき、ウェアラブルシステムは、ユーザ入力デバイスからの入力を受信することができ（円錐投射に加え、またはその代替として）、オブジェクトがホバリング状態にあるとき、ユーザが、ユーザ入力デバイスを使用して、仮想オブジェクトを選択することを可能にすることができる。

ある実施形態では、円錐４２０、光線４２４、またはその一部は、ユーザに不可視であってもよい（例えば、ユーザのために表示されなくてもよい）。ウェアラブルシステムは、円錐の方向および／または場所を示す、焦点インジケータを１つまたはそれを上回るオブジェクトに割り当ててもよい。例えば、ウェアラブルシステムは、焦点インジケータを、ユーザの正面にあって、ユーザの視線方向と交差する、オブジェクトに割り当ててもよい。焦点インジケータは、後光、色、知覚されるサイズまたは深度の変化（例えば、標的オブジェクトを、選択されると、より近くおよび／またはより大きくに現れさせる）、カーソルスプライトグラフィックの形状の変化（例えば、カーソルが、円形から矢印に変化される）、またはユーザの注意を引き付ける、他の可聴、触覚、または視覚的効果を備えることができる。円錐４２０は、光線４２４に対して横方向に開口を有することができる。開口のサイズは、円錐の表面４３２のサイズに対応し得る。例えば、大開口は、表面４３２上の大径４２６に対応し得る一方、小開口は、表面４３２上の小径４２６に対応し得る。

図４Ｂを参照してさらに説明されるように、開口は、ユーザ、ウェアラブルシステムによって、または組み合わせて、調節されることができる。例えば、ユーザが、ＡＲディスプレイ上に示される開口のオプションを選択する等、ユーザインターフェース動作を通して、開口を調節してもよい。ユーザはまた、ユーザ入力デバイスを作動させることによって、例えば、ユーザ入力デバイスをスクロールすることによって、またはボタンを押下し、開口のサイズをアンカすることによって、開口を調節してもよい。ユーザからの入力に加えて、または代替として、ウェアラブルシステムは、１つまたはそれを上回るコンテキスト要因に基づいて、開口のサイズを更新することができる。

円錐投射は、ユーザの環境内のオブジェクトと相互作用するとき、特に、それらのオブジェクトが、ユーザからの小量の移動が光線の大移動に変換され得る、距離に位置するとき、精度を増加させるために使用されることができる。円錐投射はまた、円錐を１つまたはそれを上回る仮想オブジェクトに重複させるために、ユーザから必要な移動の量を減少させるために使用され得る。いくつかの実装では、ユーザは、例えば、多くのオブジェクトが存在するとき、より狭い円錐を、より少ないオブジェクトが存在するとき、より広い円錐を使用することによって、手動で、円錐の開口を更新し、標的オブジェクトを選択する速度および精度を改良することができる。他の実装では、ウェアラブルシステムは、手動更新に加えて、または代替として、ユーザの環境内のオブジェクトと関連付けられる、コンテキスト要因を決定し、自動円錐更新を許可することができ、これは、有利なこととして、より少ないユーザ入力が必要とされるため、ユーザが、環境内のオブジェクトと相互作用することをより容易にすることができる。

図４Ｂは、ユーザのＦＯＲ４００内のオブジェクトの群４３０（例えば、オブジェクト４３０Ａ、４３０Ｂ）上に投射される、円錐または光線の実施例を図示する。オブジェクトは、仮想および／または物理的オブジェクトであってもよい。円錐または光線投射の間、ウェアラブルシステムは、円錐４２０または光線４２４（ユーザに可視または不可視）をある方向に投射し、円錐４２０または光線４２４と交差する、任意のオブジェクトを識別することができる。例えば、オブジェクト４３０Ａ（太字で示される）は、円錐４２０と交差する。オブジェクト４３０Ｂは、円錐４２０の外側にあって、円錐４２０と交差しない。

ウェアラブルシステムは、コンテキスト情報に基づいて、開口を自動的に更新することができる。コンテキスト情報は、ユーザの環境に関連する情報（例えば、ユーザの仮想または物理的環境の光条件）、ユーザの選好、ユーザの物理的条件（例えば、ユーザが近視であるかどうか）、ユーザの環境内のオブジェクトのタイプ（例えば、物理的または仮想）またはオブジェクトのレイアウト（例えば、オブジェクトの密度、オブジェクトの場所およびサイズ等）等のユーザの環境内のオブジェクトと関連付けられる情報、ユーザが相互作用しているオブジェクトの特性（例えば、オブジェクトの機能、オブジェクトによってサポートされるユーザインターフェース動作のタイプ等）、それらの組み合わせ、または同等物を含んでもよい。密度は、例えば、投影されたエリアあたりのオブジェクトの数、立体角あたりのオブジェクトの数等、種々の方法で測定されることができる。密度は、例えば、近傍のオブジェクト間の間隔（より小さい間隔は、増加された密度を反映させる）等、他の方法でも表され得る。ウェアラブルシステムは、オブジェクトの場所情報を使用して、領域内のオブジェクトのレイアウトおよび密度を決定することができる。図４Ｂに示されるように、ウェアラブルシステムは、オブジェクト４３０の群の密度が、高いことを決定し得る。ウェアラブルシステムは、故に、より小さい開口を伴う、円錐４２０を使用してもよい。

ウェアラブルシステムは、ユーザの姿勢に基づいて、開口（例えば、サイズまたは形状）を動的に更新することができる。例えば、ユーザは、最初に、図４Ｂにおけるオブジェクトの群４３０に向かってポイントし得るが、ユーザがその手を移動させるにつれて、ユーザは、今度は、相互に対して疎らに位置する、オブジェクトの群を指し得る。結果として、ウェアラブルシステムは、開口のサイズを増加させ得る。同様に、ユーザが、その手をオブジェクトの群４３０に向かって戻るように移動させる場合、ウェアラブルシステムは、開口のサイズを減少させてもよい。

加えて、または代替として、ウェアラブルシステムは、ユーザの選好に基づいて、開口サイズを更新することができる。例えば、ユーザが、同時に、アイテムの大群を選択することを好む場合、ウェアラブルシステムは、開口のサイズを増加させてもよい。

コンテキスト情報に基づいて、開口を動的に更新する別の実施例として、ユーザが、暗い環境内に存在する場合、またはユーザが、近視である場合、ウェアラブルシステムは、ユーザがオブジェクトをより容易に捕捉するように、開口のサイズを増加させてもよい。ある実装では、第１の円錐投射は、複数のオブジェクトを捕捉することができる。ウェアラブルシステムは、第２の円錐投射を実施し、捕捉されたオブジェクトの中の標的オブジェクトをさらに選択することができる。ウェアラブルシステムはまた、ユーザが、身体姿勢またはユーザ入力デバイスを使用して、標的オブジェクトを捕捉されたオブジェクトから選択することを可能にすることができる。オブジェクト選択プロセスは、回帰的プロセスであることができ、１つ、２つ、３つ、またはそれを上回る円錐投射が、標的オブジェクトを選択するために実施されてもよい。

図５は、本開示のいくつかの実施形態による、ウェアラブルシステムによって検出または追跡され得る、ユーザの手と関連付けられる、種々の特徴点５００の実施例を図示する。特徴点毎に、大文字は、以下のように、手の領域に対応する。すなわち、「Ｔ」は、親指に対応し、「Ｉ」は、人差し指に対応し、「Ｍ」は、中指に対応し、「Ｒ」は、薬指に対応し、「Ｐ」は、小指に対応し、「Ｈ」は、手に対応し、「Ｆ」は、前腕に対応する。小文字は、以下のように、手の各領域内のより具体的場所に対応する。すなわち、「ｔ」は、先端（例えば、指先）に対応し、「ｉ」は、指骨間関節（「ＩＰ関節」）に対応し、「ｄ」は、遠位指骨間関節（「ＤＩＰ関節」）に対応し、「ｐ」は、近位指骨間関節（「ＰＩＰ関節」）に対応し、「ｍ」は、中手指節関節（「ＭＣＰ関節」）に対応し、「ｃ」は、手根中手関節（「ＣＭＣ関節」）に対応する。

図６Ａ－６Ｆは、本開示のいくつかの実施形態による、ウェアラブルシステムによって識別されるジェスチャに基づいて選択され得る、特徴点５００の可能性として考えられるサブセットの実施例を図示する。実施例のそれぞれでは、選択されたサブセット内に含まれる、特徴点は、太字で概略され、選択されたサブセット内に含まれない、特徴点は、破線で概略され、後続決定において促進するために選択され得る、随意の特徴点は、実線で概略される。実施例のそれぞれでは、特徴点のサブセットを選択することに応じて、サブセット内の特徴点はそれぞれ、相互作用点、仮想多ＤＯＦコントローラ（例えば、相互作用点と関連付けられる、仮想カーソルまたはポインタ）の配向、または両方を決定するために使用されてもよい。

図６Ａは、ユーザの手は、握持ジェスチャ（例えば、ユーザの指が全て、内向きに丸められる）を行っている、または行うように遷移しつつあることが決定されるとき、選択され得る、特徴点のサブセットの実施例を図示する。図示される実施例では、特徴点Ｉ_ｍ、Ｔ_ｍ、Ｍ_ｍ、およびＨが、サブセット内に含まれ、それに対して相互作用点６０２Ａが位置合わせされる、特定の場所を決定するために使用されてもよい。例えば、相互作用点６０２Ａは、特徴点Ｉ_ｍに位置合わせされてもよい。いくつかの実施例では、特徴点のサブセットはまた、少なくとも部分的に、相互作用点６０２Ａと関連付けられる、仮想多ＤＯＦコントローラの配向を決定するために使用されてもよい。いくつかの実装では、握持ジェスチャと関連付けられる、特徴点のサブセットは、特徴点Ｉ_ｍ、Ｔ_ｍ、Ｍ_ｍ、およびＨのうちの３つまたはそれを上回るものを含んでもよい。いくつかの実施形態では、それに対して相互作用点６０２Ａが位置合わせされることになる特定の場所および／または仮想多ＤＯＦコントローラの配向は、握持ジェスチャと関連付けられる、特徴点のサブセットから除外される、いくつかまたは全ての特徴点に関係なく決定され得る。

図６Ｂは、ユーザの手が、ポイントジェスチャ（例えば、ユーザの人差し指が、完全に外向きに延在される一方、ユーザの手の他の指が、内向きに丸められる）を行っている、または行うように遷移しつつあることが決定されるとき、選択され得る、特徴点のサブセットの実施例を図示する。図示される実施例では、特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨが、サブセット内に含まれ、それに対して相互作用点６０２Ｂが位置合わせされる、特定の場所を決定するために使用されてもよい。例えば、相互作用点６０２Ｂは、特徴点Ｉ_ｔに位置合わせされてもよい。いくつかの実施例では、特徴点のサブセットはまた、少なくとも部分的に、相互作用点６０２Ｂと関連付けられる、仮想多ＤＯＦコントローラの配向を決定するために使用されてもよい。いくつかの実装では、ポイントジェスチャと関連付けられる、特徴点のサブセットは、特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨのうちの３つまたはそれを上回るものを含んでもよい。図６Ｂにおける特徴点の輪郭によって示されるように、いくつかの実施形態では、特徴点Ｉ_ｄ、Ｍ_ｍ、およびＨのうちの１つまたはそれを上回るものは、ポイントジェスチャと関連付けられる、特徴点のサブセットから除外されてもよい。いくつかの実施形態では、それに対して相互作用点６０２Ｂが位置合わせされることになる特定の場所および／または仮想多ＤＯＦコントローラの配向は、ポイントジェスチャと関連付けられる、特徴点のサブセットから除外される、いくつかまたは全ての特徴点に関係なく決定され得る。

図６Ｃは、ユーザの手が、ピンチジェスチャ（例えば、ユーザの親指および人差し指が、少なくとも部分的に、外向きに延在され、相互に近接近する）を行っている、または行うように遷移しつつあることが決定されるとき、選択され得る、特徴点のサブセットの実施例を図示する。図示される実施例では、特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨが、サブセット内に含まれ、それに対して相互作用点６０２Ｃが位置合わせされる、特定の場所を決定するために使用されてもよい。例えば、相互作用点６０２Ｃは、

に沿った場所、例えば、

の中点（「α」）に位置合わせされてもよい。代替として、相互作用点は、

に沿った場所、例えば、

の中点（「β」）、または

に沿った場所、例えば、

の中点（「γ」）に位置合わせされてもよい。代替として、相互作用点は、

に沿った場所、例えば、

の中点、または

に沿った場所、例えば、

の中点に位置合わせされてもよい。いくつかの実施例では、特徴点のサブセットはまた、少なくとも部分的に、相互作用点６０２Ｃと関連付けられる、仮想多ＤＯＦコントローラの配向を決定するために使用されてもよい。いくつかの実装では、ピンチジェスチャと関連付けられる、特徴点のサブセットは、特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨのうちの３つまたはそれを上回るものを含んでもよい。図６Ｃにおける特徴点の輪郭によって示されるように、いくつかの実施形態では、特徴点Ｉ_ｄ、Ｍ_ｍ、およびＨのうちの１つまたはそれを上回るものは、ピンチジェスチャと関連付けられる、特徴点のサブセットから除外されてもよい。いくつかの実施形態では、それに対して相互作用点６０２Ｃが位置合わせされることになる特定の場所および／または仮想多ＤＯＦコントローラの配向は、ピンチジェスチャと関連付けられる、特徴点のサブセットから除外される、いくつかまたは全ての特徴点に関係なく決定され得る。

図６Ｄは、ユーザの手が、握持ジェスチャの実施とポイントジェスチャの実施（例えば、ユーザの人差し指が、部分的に、外向きに延在される一方、ユーザの手の他の指が、内向きに丸められる）との間で遷移しつつあることが決定されるとき、選択され得る、特徴点のサブセットの実施例を図示する。図示される実施例では、特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨが、サブセット内に含まれ、それに対して相互作用点６０２Ｄが位置合わせされる、特定の場所を決定するために使用されてもよい。例えば、相互作用点６０２Ｄは、

に沿った場所に位置合わせされてもよい。加えて、または代替として、相互作用点は、

に沿った場所に位置合わせされてもよい。いくつかの実施形態では、それに対して相互作用点６０２Ｄがユーザの手に対して位置合わせされる、場所は、ユーザが握持ジェスチャとポイントジェスチャとの間で遷移するにつれて、

に沿って（または

に沿って）進行し得、ユーザのために表示される、相互作用点６０２Ｄの視覚的表現（例えば、光線）は、それを反映させてもよい。すなわち、これらの実施形態では、それに対して相互作用点６０２Ｄがユーザの手に対して位置合わせされる、場所は、ユーザが握持ジェスチャとポイントジェスチャとの間で遷移するとき、特徴点Ｉ_ｍとＩ_ｔとの間で急移行するのではなく、むしろ、より平滑かつより直感的ユーザ体験を提供するように、そのような特徴点間の１つまたはそれを上回る経路に沿って滑動し得る。

いくつかの実施例では、ユーザが握持ジェスチャとポイントジェスチャとの間で遷移するとき、相互作用点６０２Ｄの視覚的表現がユーザの手に対して表示される、場所は、所与の時点における特徴点のサブセットの現在の位置に従って、実際の相互作用点６０２Ｄのものを意図的に辿り得る。例えば、ユーザが握持ジェスチャとポイントジェスチャとの間で遷移するとき、ｎ番目のフレーム内の相互作用点６０２Ｄの視覚的表現がユーザのために表示される、場所は、（ｎ－ｍ）番目のフレーム内の特徴点のサブセットの位置に従った実際の相互作用点６０２Ｄの場所に対応し得、ｍは、所定の数のフレーム（例えば、固定された時間遅延）である。別の実施例では、ユーザが握持ジェスチャとポイントジェスチャとの間で遷移するとき、相互作用点６０２Ｄの視覚的表現は、所与の時点における特徴点のサブセットの現在の位置に従った実際の相互作用点６０２Ｄの速度のある割合（例えば、所定のパーセンテージ）で移動するように構成され得るように、ユーザのために表示される。いくつかの実施形態では、１つまたはそれを上回るフィルタまたはフィルタリング技法が、これらの挙動のうちの１つまたはそれを上回るものを達成するために採用されてもよい。いくつかの実装では、ユーザが、ジェスチャ間で遷移しない、または別様に、特定のジェスチャを維持するとき、相互作用点６０２Ｄの視覚的表現がユーザの手に対して表示される場所、および任意の所与の時点における特徴点のサブセットの現在の位置に従った実際の相互作用点６０２Ｄの場所における差異は、殆どまたは全く存在し得ない。他の構成も、可能性として考えられる。

図６Ｅは、ユーザの手が、ポイントジェスチャの実施とピンチジェスチャ（例えば、ユーザの親指および人差し指が、少なくとも部分的に、外向きに延在され、少なくとも部分的に、相互に向かって丸められる）の実施との間で遷移しつつあることが決定されるとき、選択され得る、特徴点のサブセットの実施例を図示する。図示される実施例では、特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨが、サブセット内に含まれ、それに対して相互作用点６０２Ｅが位置合わせされる、特定の場所を決定するために使用されてもよい。例えば、相互作用点６０２Ｅは、

に沿った場所に位置合わせされてもよい。いくつかの実施形態では、ユーザがポイントジェスチャとピンチジェスチャとの間で遷移するとき、相互作用点６０２Ｅの視覚的表現が、ユーザのために表示されてもよく（例えば、光線）、および／または所与の時点における特徴点のサブセットの現在の位置に従った実際の相互作用点６０２Ｅは、図６Ｄを参照して上記に説明されているものに類似または匹敵するように挙動し得、これは、ユーザ体験を向上させる役割を果たし得る。

図６Ｆは、ユーザの手が、ピンチジェスチャの実施と握持ジェスチャ（例えば、ユーザの親指および人差し指が、少なくとも部分的に、外向きに延在され、少なくとも部分的に、相互に向かって丸められる）の実施との間で遷移しつつあることが決定されるとき、選択され得る、特徴点のサブセットの実施例を図示する。図示される実施例では、特徴点Ｉ_ｔ、Ｉ_ｄ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、Ｔ_ｍ、Ｍ_ｍ、およびＨが、サブセット内に含まれ、それに対して相互作用点６０２Ｆが位置合わせされる、特定の場所を決定するために使用されてもよい。例えば、相互作用点６０２Ｆは、

に沿った場所に沿った場所に位置合わせされてもよい。いくつかの実施形態では、ユーザがピンチジェスチャと握持ジェスチャとの間で遷移するとき、相互作用点６０２Ｆの視覚的表現が、ユーザのために表示されてもよく（例えば、光線）、および／または所与の時点における特徴点のサブセットの現在の位置に従った実際の相互作用点６０２Ｆは、図６Ｄ－６Ｅを参照して上記に説明されているものに類似または匹敵するように挙動し得、これは、ユーザ体験を向上させる役割を果たし得る。

図７Ａ－７Ｃは、本開示のいくつかの実施形態による、ユーザの腕が外向きに延在されている間の、種々のジェスチャのための光線投射の実施例を図示する。図７Ａは、その腕が外向きに延在されている間、握持ジェスチャを行っている、ユーザを図示する。相互作用点７０２Ａが、特徴点Ｉ_ｍに位置合わせされ（図６Ａを参照して説明されるように）、近位点７０４Ａが、ユーザの肩（「Ｓ」と標識される）における場所に位置合わせされる。光線７０６Ａが、近位点７０４Ａから、相互作用点７０２Ａを通して、投射されてもよい。

図７Ｂは、その腕が外向きに延在されている間、ポイントジェスチャを行っている、ユーザを図示する。相互作用点７０２Ｂが、特徴点Ｉ_ｔに位置合わせされ（図６Ｂを参照して説明されるように）、近位点７０４Ｂが、ユーザの肩（「Ｓ」と標識される）における場所に位置合わせされる。光線７０６Ｂが、近位点７０４Ｂから、相互作用点７０２Ｂを通して、投射されてもよい。図７Ｃは、その腕が外向きに延在されている間、ピンチジェスチャを行っている、ユーザを図示する。相互作用点７０２Ｃが、場所αに位置合わせされ（図６Ｃを参照して説明されるように）、近位点７０４Ｃが、ユーザの肩（「Ｓ」と標識される）における場所に位置合わせされる。光線７０６Ｃが、近位点７０４Ｃから、相互作用点７０２Ｃを通して、投射されてもよい。ユーザが、図７Ａおよび７Ｂのジェスチャと、図７Ｂおよび７Ｃのジェスチャと、図７Ａおよび７Ｃのジェスチャとの間で遷移するにつれて、それに対して相互作用点が位置合わせされ得る、場所の範囲は、図６Ｄ、図６Ｅ、および図６Ｆを参照して上記にさらに詳細に説明される。

図８Ａ－８Ｃは、本開示のいくつかの実施形態による、ユーザの腕が内向きに後退されている間の、種々のジェスチャのための光線投射の実施例を図示する。図８Ａは、その腕が内向きに後退されている間、握持ジェスチャを行っている、ユーザを図示する。相互作用点８０２Ａが、特徴点Ｉ_ｍに位置合わせされ（図６Ａを参照して説明されるように）、近位点８０４Ａが、ユーザの肘（「Ｅ」と標識される）における場所に位置合わせされる。光線８０６Ａが、近位点８０４Ａから、相互作用点８０２Ａを通して、投射されてもよい。

図８Ｂは、その腕が内向きに後退されている間、ポイントジェスチャを行っている、ユーザを図示する。相互作用点８０２Ｂが、特徴点Ｉ_ｔに位置合わせされ（図６Ｂを参照して説明されるように）、近位点８０４Ｂが、ユーザの肘（「Ｅ」と標識される）における場所に位置合わせされる。光線８０６Ｂが、近位点８０４Ｂから、相互作用点８０２Ｂを通して、投射されてもよい。図８Ｃは、その腕が内向きに後退されている間、ピンチジェスチャを行っている、ユーザを図示する。相互作用点８０２Ｃが、場所αに位置合わせされ（図６Ｃを参照して説明されるように）、近位点８０４Ｃが、ユーザの肘（「Ｅ」と標識される）における場所に位置合わせされる。光線８０６Ｃが、近位点８０４Ｃから、相互作用点８０２Ｃを通して、投射されてもよい。ユーザが、図８Ａおよび８Ｂのジェスチャと、図８Ｂおよび８Ｃのジェスチャと、図８Ａおよび８Ｃのジェスチャとの間で遷移するにつれて、それに対して相互作用点が位置合わせされ得る、場所の範囲もまた、それぞれ、図６Ｄ、図６Ｅ、および図６Ｆを参照して上記にさらに詳細に説明される。

そこに図７Ａ－７Ｃの近位点７０４Ａ－７０４Ｃがユーザの身体に対して位置合わせされる、場所は、そこに図８Ａ－８Ｃの近位点８０４Ａ－８０４Ｃがユーザの身体に対して位置合わせされる、場所と異なることが分かる。そのような場所における差異は、とりわけ、図７Ａ－７Ｃにおけるユーザの腕の１つまたはそれを上回る部分の位置および／または配向（例えば、ユーザの腕は、外向きに延在される）と、図８Ａ－８Ｃにおけるユーザの腕の１つまたはそれを上回る部分の位置および／または配向（例えば、ユーザの腕は、内向きに後退される）との間の差異の結果であり得る。したがって、図７Ａ－７Ｃにおけるユーザの腕の１つまたはそれを上回る部分の位置および／または配向と、図８Ａ－８Ｃにおけるユーザの腕の１つまたはそれを上回る部分の位置および／または配向との間で遷移しつつある際、近位点が位置合わせされる、場所は、ユーザの肩（「Ｓ」）における場所とユーザの肘（「Ｅ」）における場所との間で遷移し得る。いくつかの実施形態では、ユーザの腕の１つまたはそれを上回る部分の位置および／または配向が、図７Ａ－７Ｃのものと図８Ａ－８Ｃのものとの間で遷移するとき、近位点およびそれと関連付けられる１つまたはそれを上回る視覚的表現は、図６Ｄ－６Ｆを参照して上記に説明されているものに類似または匹敵するように挙動し得、これは、ユーザ体験を向上させる役割を果たし得る。

いくつかの実施形態では、本システムは、近位点をユーザの指関節、手、手首、前腕、肘、腕（例えば、上腕）、肩、肩甲骨、頸部、頭部、眼、顔（例えば、頬）、胸部、胴体（例えば、臍領域）、またはそれらの組み合わせの表面内またはそれに沿った１つまたはそれを上回る推定される場所に位置合わせしてもよい。これらの実施形態のうちの少なくともいくつかでは、本システムは、それに対して近位点が位置合わせされる、場所を、種々の異なる要因のうちの少なくとも１つに基づいて、そのような１つまたはそれを上回る推定される場所間で動的に偏移させ得る。例えば、本システムは、（ａ）ユーザの手が、行っている、または行うように遷移しつつあると決定される、ジェスチャ（例えば、握持、ポイント、ピンチ等）、（ｂ）ユーザの手が、行っている、または行うように遷移しつつあると決定される、ジェスチャと関連付けられる、特徴点のサブセットの位置および／または配向、（ｃ）相互作用点の位置、（ｄ）ユーザの手の推定される位置および／または配向（例えば、ピッチ、ヨー、および／またはロール）、（ｅ）手首屈曲および／または伸展の１つまたはそれを上回る測定値、（ｆ）手首内転および／または外転の１つまたはそれを上回る測定値、（ｇ）ユーザの前腕の推定される位置および／または配向（例えば、ピッチ、ヨー、および／またはロール）、（ｈ）前腕回外および／または回内の１つまたはそれを上回る測定値、（ｉ）肘屈曲および／または伸展の１つまたはそれを上回る測定値、（ｊ）ユーザの腕（例えば、上腕）の推定される位置および／または配向（例えば、ピッチ、ヨー、および／またはロール）、（ｋ）肩内旋および／または外旋の１つまたはそれを上回る測定値、（ｌ）肩屈曲および／または伸展の１つまたはそれを上回る測定値、（ｍ）肩内転および／または外転の１つまたはそれを上回る測定値、（ｎ）ユーザの頭部の推定される位置および／または配向、（ｏ）ウェアラブルデバイスの推定される位置および／または配向、（ｐ）ユーザの手または相互作用点とユーザの頭部またはウェアラブルデバイスとの間の推定される距離、（ｑ）ユーザの腕全体（例えば、肩から指先）またはその少なくとも１つの部分の推定される長さまたは径間、（ｒ）ユーザの視覚的に協調される注意の１つまたはそれを上回る測定値、または（ｓ）それらの組み合わせを含む、種々の異なる要因のうちの少なくとも１つに基づいて、それに対して近位点が位置合わせされることになる、場所を決定してもよい。

いくつかの実施形態では、本システムは、少なくとも部分的に、１つまたはそれを上回る外向きに向いたカメラから受信されたデータ、１つまたはそれを上回る内向きに向いたカメラから受信されたデータ、本システムの１つまたはそれを上回る他のセンサから受信されたデータ、ユーザ入力として受信されたデータ、またはそれらの組み合わせに基づいて、前述の要因のうちの１つまたはそれを上回るものを決定または別様に評価してもよい。いくつかの実施形態では、上記に述べられた要因のうちの１つまたはそれを上回るものが、変動すると、近位点およびそれと関連付けられる１つまたはそれを上回る視覚的表現は、図６Ｄ－８Ｃを参照して上記に説明されているものに類似または匹敵するように挙動し得、これは、ユーザ体験を向上させる役割を果たし得る。

いくつかの実施形態では、本システムは、（ｉ）手首内転が、それに対して近位点がユーザの腕に沿って位置合わせされると決定される、場所を、ユーザの指関節に向かって付勢する役割を果たし得る一方、手首外転が、それに対して近位点がユーザの腕に沿って位置合わせされると決定される、場所を、ユーザの肩、頸部、またはユーザの身体の中心により近い他の場所に向かって付勢する役割を果たし得る、（ｉｉ）肘屈曲が、近位点が位置合わせされる、場所を、ユーザの身体の臍領域に向かって下向きに付勢する役割を果たし得る一方、肘伸展が、近位点が位置合わせされる、場所を、ユーザの頭部、肩、またはユーザの身体の上側部分における他の場所に向かって下向きに付勢する役割を果たし得る、（ｉｉｉ）肩内旋が、それに対して近位点が位置合わせされると決定される、場所を、ユーザの腕に沿って、ユーザの肘、手、または指関節に向かって付勢する役割を果たし得る一方、肩外旋が、それに対して近位点が位置合わせされると決定される、場所を、ユーザの肩、頸部、またはユーザの身体の中心により近い他の場所に向かって付勢する役割を果たし得る、（ｉｖ）肩内転が、それに対して近位点が位置合わせされると決定される、場所を、ユーザの頭部、頸部、胸部、またはユーザの身体の中心により近い他の場所に向かって付勢する役割を果たし得る一方、肩外転が、それに対して近位点が位置合わせされると決定される、場所を、ユーザの肩、腕、または他の場所に向かって、ユーザの腕に沿って、さらにユーザの身体の中心から付勢する役割を果たし得る、または（ｖ）それらの組み合わせとなるように構成されてもよい。したがって、これらの実施形態では、それに対して近位点がシステムによって位置合わせされると決定された場所は、ユーザが、その手、前腕、および腕のうちの１つまたはそれを上回るものを再位置付けおよび／または再配向するにつれて、経時的に動的に変化し得る。いくつかの実施例では、本システムは、異なる加重を異なる要因に割り当て、１つまたはそれを上回るそのような要因およびその割り当てられた加重に基づいて、それに対して近位点が位置合わせされることになる、場所を決定してもよい。例えば、本システムは、他の前述の要因のいくつかまたは全てに対してより多くの加重をユーザの視覚的に協調される注意の１つまたはそれを上回る測定値に与えるように構成されてもよい。他の構成も、可能性として考えられる。

その中でシステムが、それに対して近位点が位置合わせされる、場所を、少なくとも部分的に、ユーザの視覚的に協調される注意の１つまたはそれを上回る測定値に基づいて、そのような１つまたはそれを上回る推定される場所間で動的に偏移させるように構成される、実施例に関して、そのような１つまたはそれを上回る測定値は、少なくとも部分的に、ユーザの眼視線、ユーザに提示されている仮想コンテンツの１つまたはそれを上回る特性、手位置および／または配向、１つまたはそれを上回る様態横断収束および／または発散、またはそれらの組み合わせに基づいて、システムによって決定されてもよい。様態横断収束および発散、およびそのような様態横断収束および発散の発生を検出し、それに応答するためのシステムおよび技法の実施例は、米国特許公開第２０１９／０３６２５５７号（参照することによってその全体として本明細書に組み込まれる）に提供される。いくつかの実施形態では、本システムは、前述の特許出願に説明されるシステムおよび／または技法のうちの１つまたはそれを上回るものを活用し、１つまたはそれを上回る様態横断収束および／または発散の発生を検出してもよく、さらに、少なくとも部分的に、１つまたはそれを上回る様態横断収束および／または発散の検出された発生に基づいて、近位点の場所を決定してもよい。他の構成も、可能性として考えられる。

図９は、本開示のいくつかの実施形態による、アクションイベント（例えば、ホバリング、タッチ、タップ、保持等）が特徴点を使用して検出され得る方法の実施例を図示する。いくつかの実施形態では、アクションイベントは、少なくとも部分的に、

の間で測定された角度θ

に基づいて、検出されてもよく、γは、

の中点を表す。例えば、θが、所定の閾値を上回ると決定される場合、「ホバリング」アクションイベントが、検出され得る一方、θが、所定の閾値未満であると決定される場合、「タッチ」アクションイベントが、検出され得る。別の実施例として、「タップ」および「保持」アクションイベントが、それにわたってθが所定の閾値未満であると決定される、時間の持続時間に基づいて検出され得る。図示される実施例では、Ｉ_ｔおよびＴ_ｔは、ユーザが、特定のジェスチャ（例えば、ピンチジェスチャ）を行っている、または行うように遷移しつつあることの決定に応答して選択された、特徴点のサブセット内に含まれる、特徴点を表し得る。

図１０Ａ－１０Ｃは、本開示のいくつかの実施形態による、光線を使用した仮想オブジェクトとの例示的相互作用を図示する。図１０Ａ－１０Ｃは、上記に記載のパラダイムのうちのいくつかが、トーテムなし相互作用（例えば、物理的ハンドヘルドコントローラを使用しない相互作用）のために、ウェアラブルシステム内で採用され、ユーザによって活用され得る方法を実証する。図１０Ａ－１０Ｃはそれぞれ、その手を使用して、仮想オブジェクト１００２と相互作用する間、ウェアラブルシステムのユーザに種々の時点で見え得るもののレンダリングを含む。本実施例では、ユーザは、（１）仮想６ＤｏＦ光線１００４を生み出すように、その手でピンチジェスチャを行ない、（２）仮想６ＤｏＦ光線が仮想オブジェクトと交差するように、その手を位置付け、（３）角度θの値が、仮想６ＤｏＦ光線が仮想オブジェクトと交差している間、閾値を上回る値から該閾値未満の値に遷移するように、その手の位置を維持しながら、その親指の先端およびその人差し指の先端をともにより近づけ、（４）角度θを閾値を下回る値に維持するように、その親指および人差し指をともに近づけてピンチされたまま保ちながら、その手を新しい場所に誘導することによって、仮想オブジェクトの位置を操作することが可能である。

図１０Ａは、ユーザの手が、ピンチジェスチャを行っていると決定される間、α場所に位置合わせされる、相互作用点１００６を図示する。α場所は、ユーザが、ピンチジェスチャを行っている、または行うように遷移しつつあることの決定に応答して選択された、ピンチジェスチャと関連付けられる、特徴点（例えば、Ｉ_ｔ、Ｉ_ｐ、Ｉ_ｍ、Ｔ_ｔ、Ｔ_ｉ、およびＴ_ｍ）のサブセットの位置に基づいて決定されてもよい。本選択された特徴点のサブセットは、追跡され、それに対して相互作用点１００６を位置合わせすることになる、場所（例えば、α場所）を決定するために利用され、さらに、図９を参照して上記に説明されているものに類似または匹敵する、角度θを決定するために利用されてもよい。

図１０Ａの図示される実施例では、光線１００４は、相互作用点を通して、ユーザの右肩または上腕の近傍における場所から、投射されている。相互作用点から前方への光線の一部のグラフィカル表現が、ヘッドセットを通して表示され、それを用いて仮想オブジェクト１００２と相互作用する、ある種のポインタまたはカーソルとして、ユーザによって活用される。図１０Ａでは、ユーザは、仮想６ＤｏＦ光線が仮想オブジェクトと交差するように、その手を位置付けている。ここでは、角度θは、おそらく、ユーザが、仮想６ＤｏＦ光線を用いて、単に、仮想オブジェクトにわたって「ホバリング」させていると見なされるように、閾値を上回る。したがって、本システムは、角度θと１つまたはそれを上回る閾値を比較してもよく、比較に基づいて、ユーザが、仮想コンテンツにタッチしている、それを握持している、または別様に選択していると見なされるかどうかを決定してもよい。図示される実施例では、本システムは、角度θが１つまたはそれを上回る閾値を上回ることを決定し、したがって、ユーザが、仮想コンテンツにタッチしている、それを握持している、または別様に選択していると見なされないことを決定し得る。

図１０Ｂは、仮想６ＤｏＦ光線が、仮想オブジェクトと交差しており、依然としてピンチジェスチャを行っているように、依然として位置付けられる、ユーザの手を図示する（相互作用点は、依然として、α場所に位置合わせされることに留意されたい）。しかしながら、図１０Ｂでは、ユーザは、その親指の先端およびその人差し指の先端をともにより近づけている。したがって、図１０Ｂでは、角度θは、おそらく、ユーザが、ここでは、仮想６ＤｏＦ光線を用いて、仮想コンテンツにタッチしている、それを握持している、または別様に選択していると見なされるように、１つまたはそれを上回る閾値より低い。

図１０Ｃは、依然として、前の画像におけるものと同一ピンチジェスチャを行っている、ユーザを図示し、したがって、角度θは、おそらく、閾値より低い。しかしながら、図１０Ｃでは、ユーザは、事実上、仮想オブジェクトを新しい場所にドラッグするように、その親指および人差し指をともに近づけてピンチさせて保ちながら、その腕を移動させている。相互作用点は、α場所に位置合わせされることによって、ユーザの手とともに進行していることに留意されたい。図１０Ａ－１０Ｃには図示されないが、仮想オブジェクトを「保持」しながら、ヘッドセットに対して相互作用点の位置を調節することによって、仮想オブジェクトの位置を調節する代わりに、またはそれに加え、ユーザはまた、仮想オブジェクトを「保持」しながら、ヘッドセットに対するピンチジェスチャと関連付けられる特徴点のシステムの配向（例えば、それぞれ、選択された特徴点のサブセット内に含まれる少なくとも２つおよび／または少なくとも３つの特徴点によって定義された、少なくとも１つのベクトルおよび／または少なくとも１つの平面のヨー、ピッチ、および／またはロール）を調節することによって、仮想オブジェクトの配向（例えば、仮想オブジェクトのヨー、ピッチ、および／またはロール）を調節することが可能であり得る。図１０Ａ－１０Ｃには図示されないが、仮想オブジェクトの位置および／または配向を操作後、ユーザは、その親指および人差し指を分離することによって、仮想オブジェクトを「解放」してもよい。そのような実施例では、本システムは、角度θが、再び、１つまたはそれを上回る閾値を上回ることを決定し、したがって、ユーザが、再び、仮想コンテンツにタッチしている、それを握持している、または別様に選択していると見なされないことを決定し得る。

図１１は、本開示のいくつかの実施形態による、ポイントジェスチャを管理するための例示的スキームを図示する。相互作用点１１０２は、好ましくは、人差し指先端特徴点（例えば、Ｉ_ｔ特徴点）に位置合わせされる。人差し指先端が、利用不可能である（例えば、オクルードされる、または臨界信頼度レベルを下回る）とき、相互作用点１１０２は、次の最近傍の人差し指ＰＩＰ特徴点（例えば、Ｉ_ｐ特徴点）に移動される。人差し指ＰＩＰが、利用不可能である（例えば、オクルードされる、または臨界信頼度レベルを下回る）とき、相互作用点１１０２は、人差し指ＭＣＰ特徴点（例えば、Ｉ_ｍ特徴点）に移動される。いくつかの実施形態では、フィルタが、異なる可能性として考えられる特徴点間の遷移を平滑化するために適用される。

図１２は、本開示のいくつかの実施形態による、ピンチジェスチャを管理するための例示的スキームを図示する。相互作用点１２０２は、好ましくは、人差し指先端特徴点と親指先端特徴点との間の中点（例えば、図６Ｃを参照して上記に説明される、α場所）に位置合わせされる。人差し指先端特徴点が、利用不可能である（例えば、オクルードされる、または臨界信頼度レベルを下回る）場合、相互作用点１２０２は、人差し指ＰＩＰ特徴点と親指先端特徴点との間の中点に移動される。親指指先特徴点が、利用不可能である（例えば、オクルードされる、または臨界信頼度レベルを下回る）場合、相互作用点１２０２は、人差し指先端特徴点と親指ＩＰ特徴点との間の中点に移動される。

人差し指先端特徴点および親指先端特徴点の両方が、利用不可能である場合、相互作用点１２０２は、人差し指ＰＩＰ特徴点と親指ＩＰ特徴点との間の中点（例えば、図６Ｃを参照して上記に説明される、β場所）に移動される。人差し指ＰＩＰ特徴点が、利用不可能である（例えば、オクルードされる、または臨界信頼度レベルを下回る）場合、相互作用点１２０２は、人差し指ＭＣＰ特徴点と親指ＩＰ特徴点との間の中点に移動される。親指指ＩＰ特徴点が、利用不可能である（例えば、オクルードされる、または臨界信頼度レベルを下回る）場合、相互作用点１２０２は、人差し指ＰＩＰ特徴点と親指ＭＣＰ特徴点との間の中点に移動される。人差し指ＰＩＰ特徴点および親指ＩＰ特徴点の両方が、利用不可能である場合、相互作用点１２０２は、人差し指ＭＣＰ特徴点と親指ＭＣＰ特徴点との間の中点（例えば、図６Ｃを参照して上記に説明される、γ場所）に移動される。

図１３は、本開示のいくつかの実施形態による、ユーザの手が、握持ジェスチャを行っている間の、アクションイベントを検出するための例示的スキームを図示する。相対的角距離および相対的角速度が、人差し指ベクトルと親指ベクトルとの間の角度に基づいて、追跡されてもよい。人差し指先端特徴点が、利用不可能である場合、人差し指ＰＩＰ特徴点が、角度を形成するために使用されてもよい。親指先端特徴点が、利用不可能である場合、親指ＩＰ特徴点が、角度を形成するために使用されてもよい。ユーザが図１３の握持ジェスチャを行っていると決定される間に選択的に追跡され得る、特徴点のサブセットに関する付加的説明は、上記の図６Ａを参照して提供される。

１３０２では、第１の相対的最大角距離（そのタイムスタンプを伴う）が、検出されてもよい。１３０４では、相対的最小角距離（そのタイムスタンプを伴う）が、検出されてもよい。１３０６では、第２の相対的最大角距離（そのタイムスタンプを伴う）が、検出されてもよい。１３０２、１３０４、および１３０６において検出されたデータ間の角距離における差異および時間における差異に基づいて、アクションイベントが実施されていることが決定され得る。

例えば、第１の相対的最大角距離と相対的最小角距離との間の差異は、１つまたはそれを上回る第１の閾値（例えば、上閾値および下閾値）と比較されてもよく、相対的最小角距離と第２の相対的最大角距離との間の差異は、１つまたはそれを上回る第２の閾値（例えば、上閾値および下閾値）と比較されてもよく、第１の相対的最大角距離および相対的最小角距離のタイムスタンプ間の差異は、１つまたはそれを上回る第３の閾値（例えば、上閾値および下閾値）と比較されてもよく、相対的最小角距離および第２の相対的最大角距離のタイムスタンプ間の差異は、１つまたはそれを上回る第４の閾値（例えば、上閾値および下閾値）と比較されてもよい。

図１４は、本開示のいくつかの実施形態による、ユーザの手が、ポイントジェスチャを行っている間の、アクションイベントを検出するための例示的スキームを図示する。相対的角距離が、人差し指ベクトルと親指ベクトルとの間の角度に基づいて、追跡されてもよい。１４０２では、第１の相対的最大角距離（そのタイムスタンプを伴う）が、検出されてもよい。１４０４では、相対的最小角距離（そのタイムスタンプを伴う）が、検出されてもよい。１４０６では、第２の相対的最大角距離（そのタイムスタンプを伴う）が、検出されてもよい。１４０２、１４０４、および１４０６において検出されたデータ間の角距離における差異および時間における差異に基づいて、アクションイベントが実施されていることが決定され得る。いくつかの実施例では、そのような角距離は、少なくとも、図９および１０Ａ－１０Ｃを参照して上記に説明される、角度θに類似してもよい。ユーザが図１４のポイントジェスチャを行っていると決定される間に選択的に追跡され得る、特徴点のサブセットに関する付加的説明は、上記の図６Ｂを参照して提供される。

例えば、第１の相対的最大角距離と相対的最小角距離との間の差異は、１つまたはそれを上回る第１の閾値（例えば、上閾値および下閾値）と比較されてもよく、相対的最小角距離と第２の相対的最大角距離との間の差異は、１つまたはそれを上回る第２の閾値（例えば、上閾値および下閾値）と比較されてもよく、第１の相対的最大角距離および相対的最小角距離のタイムスタンプ間の差異は、１つまたはそれを上回る第３の閾値（例えば、上閾値および下閾値）と比較されてもよく、相対的最小角距離および第２の相対的最大角距離のタイムスタンプ間の差異は、１つまたはそれを上回る第４の閾値（例えば、上閾値および下閾値）と比較されてもよい。

図１５は、本開示のいくつかの実施形態による、ユーザの手が、ピンチジェスチャを行っている間の、アクションイベントを検出するための例示的スキームを図示する。相対的角距離が、人差し指ベクトルと親指ベクトルとの間の角度に基づいて、追跡されてもよい。１５０２では、第１の相対的最大角距離（そのタイムスタンプを伴う）が、検出されてもよい。１５０４では、相対的最小角距離（そのタイムスタンプを伴う）が、検出されてもよい。１５０６では、第２の相対的最大角距離（そのタイムスタンプを伴う）が、検出されてもよい。１５０２、１５０４、および１５０６において検出されたデータ間の角距離における差異および時間における差異に基づいて、アクションイベントが実施されていることが決定され得る。いくつかの実施例では、そのような角距離は、少なくとも、図９および１０Ａ－１０Ｃを参照して上記に説明される、角度θに類似してもよい。ユーザが図１５のピンチジェスチャを行っていると決定される間に選択的に追跡され得る、特徴点のサブセットに関する付加的説明は、上記の図６Ｃを参照して提供される。

例えば、第１の相対的最大角距離と相対的最小角距離との間の差異は、１つまたはそれを上回る第１の閾値（例えば、上閾値および下閾値）と比較されてもよく、相対的最小角距離と第２の相対的最大角距離との間の差異は、１つまたはそれを上回る第２の閾値（例えば、上閾値および下閾値）と比較されてもよく、第１の相対的最大角距離および相対的最小角距離のタイムスタンプ間の差異は、１つまたはそれを上回る第３の閾値（例えば、上閾値および下閾値）と比較されてもよく、相対的最小角距離および第２の相対的最大角距離のタイムスタンプ間の差異は、１つまたはそれを上回る第４の閾値（例えば、上閾値および下閾値）と比較されてもよい。

図１６は、本開示のいくつかの実施形態による、ユーザの手が、ピンチジェスチャを行っている間の、アクションイベントを検出するための例示的実験データを図示する。図１６に図示される実験データは、図１５におけるユーザの手の描写される移動に対応し得る。図１６では、ユーザの手の移動は、親指と人差し指との間の平滑化された距離によって特徴付けられる。雑音が、残りの信号が対合される指特徴間の正規化された相対的分離の変曲を示すように、短待ち時間平滑化の間に除去される。極小値、その後、極大値が続き、次いで、直後に、極小値が続くことによって見られるような変曲は、タップアクションを認識するために使用されることができる。加えて、同一変曲パターンは、特徴姿勢状態にも見られ得る。特徴姿勢Ａ、その後、特徴姿勢Ｂが続き、次いで、その後、Ａが続くこともまた、タップアクションを認識するために使用されることができる。手特徴点が低信頼度を有する場合、特徴姿勢変曲は、ロバストであり得る。特徴姿勢が低信頼度を有する場合、相対的距離変曲が、使用されることができる。信頼度が両方の特徴変化に関して高い場合、両方の変曲が、タップアクションを認識するために使用されることができる。

図１７Ａ－１７Ｄは、本開示のいくつかの実施形態によるユーザの手が、ピンチジェスチャを行っている間の、アクションイベントを検出するための例示的実験データを図示する。図１７Ａ－１７Ｄに図示される実験データは、ユーザの手が図１５に示される移動を繰り返し行っていることに対応し得る。図１７Ａは、ユーザの手が繰り返し標的コンテンツに接近するにつれた、ユーザの人差し指の先端と標的コンテンツとの間の距離を示す。図１７Ｂは、ユーザの人差し指の先端とユーザの親指の先端との間の角距離を示す。図１７Ｃは、ユーザの人差し指の先端およびユーザの親指の先端を使用して形成される角度に対応する、角速度を示す。図１７Ｄは、種々のデータに基づいて決定される、特徴姿勢変化を示し、これは、随意に、図１７Ａ－１７Ｃに示されるデータを含んでもよい。図１７Ａ－１７Ｄに示される実験データは、タップアクションを識別するために使用されてもよい。いくつかの実施形態では、全ての特徴変曲が、並行して、または同時に、誤検出認識率を低減させるために利用されることができる。

図１８は、本開示のいくつかの実施形態による、ユーザの手が、ピンチジェスチャを行っている間の、アクションイベントを検出するための例示的スキームを図示する。図１８は、ユーザの中指、薬指、および小指指が、内向きに丸められるという点で、図１５と異なる。

図１９Ａ－１９Ｄは、本開示のいくつかの実施形態による、ユーザの手が、ピンチジェスチャを行っている間の、アクションイベントを検出するための例示的雑音実験データを図示する。図１９Ａ－１９Ｄに図示される実験データは、ユーザの手が図１８に示される移動を繰り返し行っていることに対応し得る。図１９Ａは、ユーザの人差し指の先端と標的コンテンツとの間の距離を示す。図１９Ｂは、ユーザの人差し指の先端とユーザの親指の先端との間の角距離を示す。図１９Ｃは、ユーザの人差し指の先端およびユーザの親指の先端を使用して形成される角度に対応する、角速度を示す。図１９Ｄは、種々のデータに基づいて決定される、特徴姿勢変化を示し、これは、随意に、図１９Ａ－１９Ｃに示されるデータを含んでもよい。図１９Ａ－１９Ｄに示される雑音実験データは、タップアクションを識別するために使用されてもよく、これは、ウィンドウ１９０２内で生じると決定される。これは、認識されたタップアクションとして条件を付けるために、変曲の全てにおいて、少なくとも中信頼度の決定を利用する、エッジケースシナリオを表す。

図２０Ａ－２０Ｃは、本開示のいくつかの実施形態による、握持ジェスチャを管理するための例示的スキームを図示する。光線２００６が、本明細書に説明されるように、近位点２００４（ユーザの肩上の場所に位置合わせされる）から、相互作用点２００２（ユーザの手上の場所に位置合わせされる）を通して、投射される。図２０Ａは、一括ポイントする機械的アクションを有効にする、握持ジェスチャを示す。これは、ロバストな遠視野標的化のために使用されることができる。図２０Ｂは、指先特徴間の相対的距離によって特徴付けられるような計算された手半径に対して相対的である、相互作用点のサイズを示す。図２０Ｃは、手が、開放特徴姿勢から拳特徴姿勢に変化するにつれて、手半径が、減少し、したがって、相互作用点のサイズが、比例して減少することを図示する。

図２１Ａ－２１Ｃは、本開示のいくつかの実施形態による、ポイントジェスチャを管理するための例示的スキームを図示する。光線２１０６が、本明細書に説明されるように、近位点２１０４（ユーザの肩上の場所に位置合わせされる）から、相互作用点２１０２（ユーザの手上の場所に位置合わせされる）を通して、投射される。図２１Ａは、精緻化された中視野標的化のために、指関節運動を活用する、ポイントおよび選択の機械的アクションを示す。図２１Ｂは、弛緩（開放）ポイント手姿勢を示す。相互作用点は、人差し指先端に設置される。親指先端と人差し指先端との間の相対的距離は、最大値にあって、相互作用点のサイズを比例して大きくする。図２１Ｃは、親指が人差し指下に丸められている、（閉鎖）ポイント手姿勢を示す。親指先端と人差し指先端との間の相対的距離は、最小値にあって、比例して小相互作用点サイズをもたらすが、依然として、人差し指先端に設置される。

図２２Ａ－２２Ｃは、本開示のいくつかの実施形態による、ピンチジェスチャを管理するための例示的スキームを図示する。光線２２０６が、本明細書に説明されるように、近位点２２０４（ユーザの肩上の場所に位置合わせされる）から、相互作用点２２０２（ユーザの手上の場所に位置合わせされる）を通して、投射される。図２２Ａは、精緻化された中視野を標的化するための指関節運動を活用する、ポイントおよび選択の機械的アクションを示す。図２２Ｂは、開放ピンチ（ＯＫ）姿勢を示す。相互作用点は、管理されたピンチ姿勢によって有効にされる複数のピンチスタイルのうちの１つとして、人差し指先端と親指との間の中点に設置される。親指先端と人差し指先端との間の相対的距離は、最大値にあって、相互作用点のサイズを比例して大きくする。図２２Ｃは、中指、薬指、および小指が、内向きに丸められ、人差し指および親指指先が触れている、（閉鎖）ピンチ手姿勢を示す。親指先端と人差し指先端との間の相対的距離は、最小値にあって、比例して小相互作用点サイズをもたらすが、依然として、指先間の中点に設置される。

図２３は、本開示のいくつかの実施形態による、ポイントおよびピンチジェスチャのための種々のアクティブ化タイプを図示する。ポイントジェスチャに関して、アクティブ化タイプは、タッチ（閉鎖）、ホバリング（開放）、タップ、および保持を含む。ピンチジェスチャに関して、アクティブ化タイプは、タッチ（閉鎖）、ホバリング（開放）、タップ、および保持を含む。

図２４は、本開示のいくつかの実施形態による、種々のジェスチャおよびジェスチャ間の遷移を図示する。図示される実施例では、ジェスチャのセットは、握持ジェスチャ、ポイントジェスチャ、およびピンチジェスチャを、それぞれの遷移状態ととともに含む。ジェスチャはそれぞれまた、それに決定されたジェスチャがさらにウェアラブルシステムによって規定され得る、サブジェスチャ（またはサブ姿勢）を含む。握持ジェスチャは、可能性の中でもとりわけ、拳サブ姿勢、制御サブ姿勢、およびスタイラスサブ姿勢を含んでもよい。ポイントジェスチャは、可能性の中でもとりわけ、単一指サブ姿勢および「Ｌ」形状サブ姿勢を含んでもよい。ピンチジェスチャは、可能性の中でもとりわけ、開放サブ姿勢、閉鎖サブ姿勢、および「ＯＫ」サブ姿勢を含んでもよい。

図２５は、本開示のいくつかの実施形態による、その中でユーザの手の両方が、仮想オブジェクトと相互作用するために使用される、両手相互作用の実施例を図示する。図示される実施例のそれぞれでは、ユーザの手はそれぞれ、各個別の手の特徴点に基づいて、ポイントジェスチャを行っていると決定される。ユーザの手の両方に関する相互作用点２５１０および２５１２は、個別の手の特徴点および決定されたジェスチャに基づいて決定される。相互作用点２５１０および２５１２は、両手相互作用点２５１４を決定するために使用され、これは、両手相互作用のために、仮想オブジェクトを選択および標的化することを促進し得る。両手相互作用点２５１４は、相互作用点２５１０と２５１２との間に形成される、線（例えば、中点）に沿った場所に位置合わせされてもよい。

図示される実施例のそれぞれでは、デルタ２５１６が、相互作用点２５１０および２５１２移動の一方または両方に基づいて生成される。２５０２では、デルタ２５１６は、相互作用点２５１０および２５１２の一方または両方のフレーム間平行移動に対応する、平行移動デルタである。２５０４では、デルタ２５１６は、相互作用点２５１０および２５１２の一方または両方のフレーム間分離移動に対応する、スケーリングデルタである。２５０６では、デルタ２５１６は、相互作用点２５１０および２５１２の一方または両方のフレーム間回転移動に対応する、回転デルタである。

図２６は、ユーザの手がそれぞれ、各個別の手の特徴点に基づいて、ピンチジェスチャを行っていると決定されるという点で、図２６と異なる、両手相互作用の実施例を図示する。ユーザの手の両方に関する相互作用点２６１０および２６１２が、個別の手の特徴点および決定されたジェスチャに基づいて決定される。相互作用点２６１０および２６１２は、両手相互作用点２６１４を決定するために使用され、これは、両手相互作用のために、仮想オブジェクトを選択および標的化することを促進し得る。両手相互作用点２６１４は、相互作用点２６１０と２６１２との間に形成される、線（例えば、中点）に沿った場所に位置合わせされてもよい。

図示される実施例のそれぞれでは、デルタ２６１６が、相互作用点２６１０および２６１２移動の一方または両方に基づいて生成される。２６０２では、デルタ２６１６は、相互作用点２６１０および２６１２の一方または両方のフレーム間平行移動に対応する、平行移動デルタである。２６０４では、デルタ２６１６は、相互作用点２６１０および２６１２の一方または両方のフレーム間分離移動に対応する、スケーリングデルタである。２６０６では、デルタ２６１６は、相互作用点２６１０および２６１２の一方または両方のフレーム間回転移動に対応する、回転デルタである。

図２７は、本開示のいくつかの実施形態による、その中で両方の手が協働して仮想オブジェクトと相互作用する、協働的両手相互作用の種々の実施例を図示する。図示される実施例は、ピンチ操作、ポイント操作、平坦操作、フック操作、拳操作、およびトリガ操作を含む。

図２８は、本開示のいくつかの実施形態による、その中で一方の手が他方の手が解釈され得る方法を管理する、管理された両手相互作用の実施例を図示する。図示される実施例は、人差し指－親指－ピンチ＋人差し指－ポイント、中指－親指－ピンチ＋人差し指－ポイント、人差し指－中指－ポイント＋人差し指－ポイント、人差し指－トリガ＋人差し指－ポイントを含む。

図２９は、本開示のいくつかの実施形態による、例示的片手相互作用場２９０２および両手相互作用場２９０４を図示する。相互作用場２９０２および２９０４はそれぞれ、周辺空間、延在作業空間、作業空間、およびタスク空間を含む。ウェアラブルシステムのカメラは、システムが片手または両手相互作用をサポートするかどうかに基づいて、種々の空間内で動作する間、ユーザの手の一方または両方を捕捉するように配向されてもよい。

図３０は、本開示のいくつかの実施形態による、ユーザが仮想オブジェクトと相互作用することを可能にするために、ユーザの手と関連付けられる多ＤＯＦコントローラを形成する方法３０００を図示する。方法３０００の１つまたはそれを上回るステップは、方法３０００の実施の間、省略されてもよく、方法３０００のステップは、示される順序で実施される必要はない。方法３０００の１つまたはそれを上回るステップは、ウェアラブルシステム２００の処理モジュール２５０内に含まれるもの等のウェアラブルシステムの１つまたはそれを上回るプロセッサによって実施されてもよい。方法３０００は、プログラムが、１つまたはそれを上回るコンピュータによって実行されると、１つまたはそれを上回るコンピュータに、方法３０００のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。そのようなコンピュータプログラム製品は、有線または無線ネットワークを経由して、コンピュータプログラム製品を搬送するデータキャリア信号内で伝送されることができる。

ステップ３００２では、ユーザの手の画像が、受信される。画像は、画像捕捉デバイスによって捕捉されてもよく、これは、ウェアラブルデバイスに搭載されてもよい。画像捕捉デバイスは、可能性の中でもとりわけ、カメラ（例えば、広角レンズカメラ、魚眼レンズカメラ、赤外線（ＩＲ）カメラ）、または深度センサであってもよい。

ステップ３００４では、画像が、分析され、ユーザの手と関連付けられる、複数の特徴点を検出する。複数の特徴点は、ユーザの手上またはその近く（ユーザの手の閾値距離内）にあってもよい。

ステップ３００６では、画像を分析するステップに基づいて、ユーザの手が、複数のジェスチャからの任意のジェスチャを行っている、または行うように遷移しつつあるかどうかが決定される。複数のジェスチャは、可能性の中でもとりわけ、握持ジェスチャ、ポイントジェスチャ、および／またはピンチジェスチャを含んでもよい。ユーザの手が、任意のジェスチャを行っている、または行うように遷移しつつあることが決定される場合、方法３０００は、ステップ３００８に進む。そうでなければ、方法３０００は、ステップ３００２に戻る。

ステップ３００８では、複数の特徴点に対する特定の場所が、決定される。特定の場所は、複数の特徴点およびジェスチャに基づいて決定されてもよい。実施例として、特定の場所は、ユーザの手が、複数のジェスチャのうちの第１のジェスチャを行っていると決定される場合、複数の特徴点のうちの第１の特徴点の場所に設定されてもよく、特定の場所は、ユーザの手が、複数のジェスチャのうちの第２のジェスチャを行っていると決定される場合、複数の特徴点のうちの第２の特徴点の場所に設定されてもよい。上記の実施例を継続すると、特定の場所は、ユーザの手が、複数のジェスチャのうちの第３のジェスチャを行っていると決定される場合、第１の特徴点と第２の特徴点との間の中点に設定されてもよい。代替として、または加えて、特定の場所は、ユーザの手が、第３のジェスチャを行っていると決定される場合、第３の特徴点と第４の特徴点との間の中点に設定されてもよい。

ステップ３０１０では、相互作用点が、特定の場所に位置合わせされる。相互作用点を特定の場所に位置合わせするステップは、相互作用点を特定の場所に設定および／または移動させるステップを含んでもよい。相互作用点（および同様に、特定の場所）は、３Ｄ値であってもよい。

ステップ３０１２では、仮想オブジェクトと相互作用するための多ＤＯＦコントローラが、相互作用点に基づいて形成される。多ＤＯＦコントローラは、相互作用点を通して、近位点から投射される、光線に対応し得る。光線は、標的化、選択、握持、スクロール、抽出、ホバリング、タッチ、タップ、および保持等の種々のアクションを実施するために使用されてもよい。

図３１は、本開示のいくつかの実施形態による、ユーザが仮想オブジェクトと相互作用することを可能にするために、ユーザの手と関連付けられる多ＤＯＦコントローラを形成する方法３１００を図示する。方法３１００の１つまたはそれを上回るステップは、方法３１００の実施の間、省略されてもよく、方法３１００のステップは、示される順序で実施される必要はない。方法３１００の１つまたはそれを上回るステップは、ウェアラブルシステム２００の処理モジュール２５０内に含まれるもの等のウェアラブルシステムの１つまたはそれを上回るプロセッサによって実施されてもよい。方法３１００は、プログラムが、１つまたはそれを上回るコンピュータによって実行されると、１つまたはそれを上回るコンピュータに、方法３０００のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。そのようなコンピュータプログラム製品は、有線または無線ネットワークを経由して、コンピュータプログラム製品を搬送するデータキャリア信号内で伝送されることができる。

ステップ３１０２では、ユーザの手の画像が、受信される。ステップ３１０２は、図３０を参照して説明されるステップ３００２に類似し得る。

ステップ３１０４では、画像が、分析され、ユーザの手と関連付けられる、複数の特徴点を検出する。ステップ３１０４は、図３０を参照して説明されるステップ３００４に類似し得る。

ステップ３１０６では、画像を分析するステップに基づいて、ユーザの手が、複数のジェスチャからの任意のジェスチャを行っている、または行うように遷移しつつあるかどうかが決定される。ステップ３１０６は、図３０を参照して説明されるステップ３００６に類似し得る。ユーザの手が、任意のジェスチャを行っている、または行うように遷移しつつあることが決定される場合、方法３１００は、ステップ３１０８に進む。そうでなければ、方法３１００は、ステップ３１０２に戻る。

ステップ３１０８では、特定のジェスチャに対応する、複数の特徴点のサブセットが、選択される。例えば、第１の特徴点のサブセットは、複数のジェスチャのうちの第１のジェスチャに対応し得、第２の特徴点のサブセットは、複数のジェスチャのうちの第２のジェスチャに対応し得る。上記の実施例を継続すると、ユーザの手が、第１のジェスチャを行っていることが決定される場合、第１の特徴点のサブセットが、選択されてもよい、またはユーザの手が、第２のジェスチャを行っていることが決定される場合、第２の特徴点のサブセットが、選択されてもよい。

ステップ３１１０では、複数の特徴点のサブセットに対する特定の場所が、決定される。特定の場所は、複数の特徴点のサブセットおよびジェスチャに基づいて決定されてもよい。実施例として、特定の場所は、ユーザの手が、複数のジェスチャのうちの第１のジェスチャを行っていると決定される場合、複数の特徴点の第１のサブセットの第１の特徴点の場所に設定されてもよい。別の実施例として、特定の場所は、ユーザの手が、複数のジェスチャのうちの第２のジェスチャを行っていると決定される場合、複数の特徴点の第２のサブセットの第２の特徴点の場所に設定されてもよい。

ステップ３１１２では、相互作用点が、特定の場所に位置合わせされる。ステップ３１１２は、図３０を参照して説明されるステップ３０１０に類似し得る。

ステップ３１１４では、近位点が、ユーザの身体に沿った場所に位置合わせされる。近位点が位置合わせされる、場所は、ユーザの肩の推定される場所、ユーザの肘の推定される場所、またはユーザの肩の推定される場所とユーザの肘の推定される場所との間であってもよい。

ステップ３１１６では、光線が、近位点から、相互作用点を通して、投射される。

ステップ３１１８では、仮想オブジェクトと相互作用するための多ＤＯＦコントローラが、光線に基づいて形成される。多ＤＯＦコントローラは、相互作用点を通して、近位点から投射される、光線に対応し得る。光線は、標的化、選択、握持、スクロール、抽出、ホバリング、タッチ、タップ、および保持等の種々のアクションを実施するために使用されてもよい。

ステップ３１２０では、多ＤＯＦコントローラのグラフィカル表現が、ウェアラブルシステムによって表示される。

図３２は、本開示のいくつかの実施形態による、両手入力を使用して仮想オブジェクトと相互作用する方法３２００を図示する。方法３２００の１つまたはそれを上回るステップは、方法３２００の実施の間、省略されてもよく、方法３２００のステップは、示される順序で実施される必要はない。方法３２００の１つまたはそれを上回るステップは、ウェアラブルシステム２００の処理モジュール２５０内に含まれるもの等のウェアラブルシステムの１つまたはそれを上回るプロセッサによって実施されてもよい。方法３２００は、プログラムが、１つまたはそれを上回るコンピュータによって実行されると、１つまたはそれを上回るコンピュータに、方法３２００のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。そのようなコンピュータプログラム製品は、有線または無線ネットワークを経由して、コンピュータプログラム製品を搬送するデータキャリア信号内で伝送されることができる。

ステップ３２０２では、ユーザの第１の手および第２の手の１つまたはそれを上回る画像が、受信される。１つまたはそれを上回る画像のうちのいくつかは、第１の手および第２の手の両方を含んでもよく、いくつかは、手の片方のみを含んでもよい。１つまたはそれを上回る画像は、一連の時系列画像を含んでもよい。１つまたはそれを上回る画像は、画像捕捉デバイスによって捕捉されてもよく、これは、ウェアラブルデバイスに搭載されてもよい。画像捕捉デバイスは、可能性の中でもとりわけ、カメラ（例えば、広角レンズカメラ、魚眼レンズカメラ、赤外線（ＩＲ）カメラ）、または深度センサであってもよい。

ステップ３２０４では、１つまたはそれを上回る画像が、分析され、第１の手および第２の手のそれぞれと関連付けられる、複数の特徴点を検出する。例えば、１つまたはそれを上回る画像が、分析され、２つの別個の特徴点のセット、すなわち、第１の手と関連付けられる、複数の特徴点と、第２の手と関連付けられる、複数の特徴点とを検出してもよい。各複数の特徴点は、個別の手上またはその近く（個別の手の閾値距離内）にあってもよい。いくつかの実施形態では、異なる複数の特徴点が、時系列画像または画像フレーム毎に検出されてもよい。

ステップ３２０６では、相互作用点が、第１の手および第２の手毎に、第１の手および第２の手のそれぞれと関連付けられる、複数の特徴点に基づいて決定される。例えば、第１の手に関する相互作用点は、第１の手と関連付けられる、複数の特徴点に基づいて決定されてもよく、第２の手に関する相互作用点は、第２の手と関連付けられる、複数の特徴点に基づいて決定されてもよい。いくつかの実施形態では、第１の手および第２の手が、複数のジェスチャからの特定のジェスチャを行っている（または行うように遷移しつつある）かどうかが決定されてもよい。特定のジェスチャに基づいて、手毎に、手毎の相互作用点が、本明細書に説明されるように、特定の場所に位置合わせされてもよい。

ステップ３２０８では、両手相互作用点が、第１の手および第２の手に関する相互作用点に基づいて決定される。いくつかの実施形態では、両手相互作用点は、相互作用点の平均位置であってもよい。例えば、線が、相互作用点間に形成されてもよく、両手相互作用点が、線に沿った点（例えば、中点）に位置合わせされてもよい。それに対して両手相互作用点が位置合わせされる、場所もまた、各手が行っている（または行うように遷移しつつある）、ジェスチャに基づいて決定されてもよい。例えば、一方の手が、ポイントジェスチャを行っており、他方の手が、握持ジェスチャまたはピンチジェスチャを行っている場合、両手相互作用点が、どちらの手がポイントジェスチャを行っているかどうかにかかわらず、その手に位置合わせされてもよい。別の実施例として、両方の手が、同一ジェスチャ（例えば、ピンチジェスチャ）を行っている場合、両手相互作用点は、相互作用点間の中点に位置合わせされてもよい。

ステップ３２１０では、１つまたはそれを上回る両手デルタが、第１の手および第２の手毎に、相互作用点に基づいて生成されてもよい。いくつかの実施形態では、１つまたはそれを上回る両手デルタが、相互作用点の移動（例えば、フレーム間移動）に基づいて生成されてもよい。例えば、１つまたはそれを上回る両手デルタは、平行移動デルタ、回転デルタ、および／またはスケーリングデルタを含んでもよい。平行移動デルタは、相互作用点の一方または両方の平行移動に対応し得、回転デルタは、相互作用点の一方または両方の回転移動に対応し得、スケーリングデルタは、相互作用点の一方または両方の分離移動に対応し得る。

一実施例では、時系列画像のセットが、分析され、第１の手および第２の手に関する相互作用点がともにより近くに移動していることを決定してもよい。それに応答して、スケーリングデルタが、相互作用点がともにより近くに移動していることを示すために、負の値を伴って生成されてもよい。別の実施例では、時系列画像のセットが、分析され、相互作用点がより離れるように移動していることを決定してもよく、スケーリングデルタは、相互作用点がより離れるように移動していることを示すために、正の値を伴って生成されてもよい。

別の実施例では、時系列画像のセットが、分析され、第１の手および第２の手に関する相互作用点が両方とも、正のｘ方向に移動していることを決定してもよい。それに応答して、平行移動デルタが、相互作用点が正のｘ方向に移動していることを示すために生成されてもよい。別の実施例では、時系列画像のセットが、分析され、第１の手および第２の手に関する相互作用点が、相互に対して回転している（例えば、相互作用点間に形成される線が回転している）ことを決定してもよい。それに応答して、回転デルタが、相互作用点が相互に対して回転していることを示すために生成されてもよい。

いくつかの実施形態では、両手デルタが、相互作用点および確立される平面のうちの１つに基づいて生成されてもよい。例えば、平面は、可能性の中でもとりわけ、ユーザの手、頭部姿勢、ユーザの腰部、実世界オブジェクト、仮想オブジェクトに基づいて確立されてもよい。平面を確立することに応じて、平行移動デルタが、平面上の相互作用点の投影に基づいて生成されてもよく、回転デルタが、平面に対する相互作用点の回転に基づいて生成されてもよく、スケーリングデルタは、相互作用点と平面との間の距離に基づいて生成されてもよい。いくつかの実施例では、これらのデルタは、平面デルタと称され得る。

両手デルタの上記に説明される実施例は、同一時系列画像のセットに関して生成されてもよい。例えば、平行移動デルタ、回転デルタ、およびスケーリングデルタを含む、両手デルタは、単一時系列画像のセットに関して生成されてもよい。いくつかの実施例では、具体的タイプの両手デルタのみが、特定の用途の要件に基づいて生成されてもよい。例えば、ユーザは、仮想オブジェクトの位置および配向を固定して保ちながら、スケーリング動作を開始してもよい。それに応答して、スケーリングデルタのみが、生成されてもよい一方、平行移動および回転デルタは、生成されなくてもよい。別の実施例として、ユーザは、仮想オブジェクトのサイズを固定して保ちながら、平行移動動作および回転動作を開始してもよい。それに応答して、平行移動および回転デルタのみが、生成されてもよい一方、スケーリングデルタは、生成されなくてもよい。他の可能性も、検討される。

ステップ３２１２では、仮想オブジェクトは、１つまたはそれを上回る両手デルタを使用して、相互作用される。仮想オブジェクトは、１つまたはそれを上回る両手デルタを仮想オブジェクトに適用することによって、例えば、１つまたはそれを上回る両手デルタを使用して、仮想オブジェクトを移動させることによって、相互作用されてもよい。例えば、平行移動デルタを仮想オブジェクトに適用するステップは、平行移動デルタによって示される特定の量だけ、仮想オブジェクトを平行移動させ得、回転デルタを仮想オブジェクトに適用するステップは、回転デルタによって示される特定の量だけ、仮想オブジェクトを回転させ得、スケーリングデルタを仮想オブジェクトに適用するステップは、スケーリングデルタによって示される特定の量だけ、仮想オブジェクトをスケーリング／サイズ変更させ得る。

いくつかの実施形態では、仮想オブジェクトと相互作用することに先立って、仮想オブジェクトが標的化されているかどうかが決定されてもよい。いくつかのインスタンスでは、両手相互作用点が、仮想オブジェクトと重複する、またはその閾値距離内にあるかどうかが決定されてもよい。いくつかの実施形態では、仮想オブジェクトが、現在選択されている、または、例えば、本明細書に説明されるように、片手相互作用を使用することによって以前に選択されたかどうかが決定されてもよい。一実施例では、仮想オブジェクトは、最初に、片手相互作用を使用して選択され、続いて、両手相互作用を使用して相互作用されてもよい。

図３３は、本開示のいくつかの実施形態による、簡略化されたコンピュータシステム３３００を図示する。図３３に図示されるようなコンピュータシステム３３００は、本明細書に説明されるようなデバイスの中に組み込まれてもよい。図３３は、種々の実施形態によって提供される方法のステップの一部または全部を実施し得る、コンピュータシステム３３００の一実施形態の概略化された例証を提供する。図３３は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。図３３は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る状況を図示する。

コンピュータシステム３３００は、バス３３０５を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を含むように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および／または同等物等の、１つまたはそれを上回る汎用プロセッサおよび／または１つまたはそれを上回る特殊目的プロセッサを含む、１つまたはそれを上回るプロセッサ３３１０と、限定ではないが、マウス、キーボード、カメラ、および／または同等物を含むことができる、１つまたはそれを上回る入力デバイス３３１５と、限定ではないが、ディスプレイデバイス、プリンタ、および／または同等物を含むことができる、１つまたはそれを上回る出力デバイス３３２０とを含んでもよい。

コンピュータシステム３３００はさらに、限定ではないが、ローカルおよび／またはネットワークアクセス可能記憶装置を含むことができ、および／または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および／または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ（「ＲＡＭ」）等のソリッドステート記憶デバイス、および／または読取専用メモリ（「ＲＯＭ」）を含むことができる、１つまたはそれを上回る非一過性記憶デバイス３３２５を含む、および／またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および／または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。

コンピュータシステム３３００はまた、限定ではないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信設備等、および／または同等物等のモデム、ネットワークカード（無線または有線）、赤外線通信デバイス、無線通信デバイス、および／またはチップセットを含むことができる、通信サブシステム３３１９を含み得る。通信サブシステム３３１９は、１つまたはそれを上回る入力および／または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および／または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および／または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム３３１９を介して、画像および／または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第１の電子デバイスは、コンピュータシステム３３００、例えば、電子デバイスの中に入力デバイス３３１５として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム３３００はさらに、作業メモリ３３３５を含み、これは、上記に説明されるようなＲＡＭまたはＲＯＭデバイスを含むであろう。

コンピュータシステム３３００はまた、種々の実施形態によって提供されるコンピュータプログラムを含み得る、および／または本明細書に説明されるような他の実施形態によって提供される方法を実装し、および／またはシステムを構成するように設計され得る、１つまたはそれを上回るアプリケーションプログラム３３４５等のオペレーティングシステム３３４０、デバイスドライバ、実行可能ライブラリ、および／または他のコードを含む、作業メモリ３３３５内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される１つまたはそれを上回るプロシージャは、コンピュータまたはコンピュータ内のプロセッサによって実行可能なコードおよび／または命令として実装され得、ある側面では、次いで、そのようなコードおよび／または命令は、説明される方法に従って１つまたはそれを上回る動作を実施するように汎用コンピュータまたは他のデバイスを構成および／または適合するために使用されることができる。

これらの命令および／またはコードのセットは、上記に説明される記憶デバイス３３２５等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム３３００等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および／または記憶媒体が、汎用コンピュータをその上に記憶される命令／コードを用いてプログラム、構成、および／または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム３３００によって実行可能である、実行可能コードの形態をとり得る、および／または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティ等のいずれかを使用したコンピュータシステム３３００上へのコンパイルおよび／またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび／またはインストール可能コードの形態をとり得る。

実質的な変形例が、具体的要件に従って構成されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および／または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。

上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム３３００等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ３３１０が、オペレーティングシステム３３４０の中に組み込まれ得る、１つまたはそれを上回る命令の１つまたはそれを上回るシーケンス、および／または作業メモリ３３３５内に含有される、アプリケーションプログラム３３４５等の他のコードを実行することに応答して、コンピュータシステム３３００によって実施される。そのような命令は、記憶デバイス３３２５のうちの１つまたはそれを上回るもの等の別のコンピュータ可読媒体から作業メモリ３３３５の中に読み取られてもよい。単に、一例として、作業メモリ３３３５内に含有される命令のシーケンスの実行は、プロセッサ３３１０に、本明細書に説明される方法の１つまたはそれを上回るプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。

用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるとき、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム３３００を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令／コードをプロセッサ３３１０に提供する際に関わり得る、および／またはそのような命令／コードを記憶および／または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および／または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス３３２５等の光学および／または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ３３３５等の動的メモリを含む。

一般的形態の物理的および／または有形コンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、可撓性ディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および／またはコードを読み取ることができる、任意の他の媒体を含む。

種々の形態のコンピュータ可読媒体が、実行のための１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスをプロセッサ３３１０に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび／または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム３３００によって受信および／または実行される伝送媒体を経由して、命令を信号として送信し得る。

通信サブシステム３３１９および／またはそのコンポーネントは、概して、信号を受信し、バス３３０５が、次いで、信号および／または信号によって搬送されるデータ、命令等を作業メモリ３３３５に搬送し得、そこから、プロセッサ３３１０が、命令を読み出し、実行する。作業メモリ３３３５によって受信された命令は、随意に、プロセッサ３３１０による実行前または後のいずれかにおいて、非一過性記憶デバイス３３２５上に記憶されてもよい。

上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および／または種々の段階は、追加される、省略される、および／または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。

具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。

また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、シーケンシャルプロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。

いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。

本明細書および添付の請求項で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ」の言及は、１人またはそれを上回るそのようなユーザを含み、「プロセッサ」の言及は、１つまたはそれを上回るプロセッサおよび当業者に公知のその均等物等の言及を含む。

また、単語「ｃｏｍｐｒｉｓｅ（～を備える）」、「ｃｏｍｐｒｉｓｉｎｇ（～を備える）」、「ｃｏｎｔａｉｎｓ（～を含有する）」、「ｃｏｎｔａｉｎｉｎｇ（～を含有する）」、「ｉｎｃｌｕｄｅ（～を含む）」、「ｉｎｃｌｕｄｉｎｇ（～を含む）」、および「ｉｎｃｌｕｄｅｓ（～を含む）」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、１つまたはそれを上回る他の特徴、整数、コンポーネント、ステップ、行為、または群の存在または追加を除外するものではない。

また、本明細書に説明される実施例および実施形態は、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれることを理解されたい。

Claims (20)

1. 仮想オブジェクトと相互作用する方法であって、前記方法は、
   ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信することと、
   前記画像を分析し、前記ユーザの手と関連付けられる複数の特徴点を検出することと、
   前記画像を分析することに基づいて、前記ユーザの手が、複数のジェスチャから、特定のジェスチャを行っているかまたは行うように遷移しつつあるかどうかを決定することと、
   前記ユーザの手が、特定のジェスチャを行っているかまたは行うように遷移しつつあることの決定に応答して、
   前記特定のジェスチャに対応する前記複数の特徴点のサブセットを選択することと、
   前記複数の特徴点のサブセットに対する特定の場所を決定することであって、前記特定の場所は、前記複数の特徴点のサブセットおよび前記特定のジェスチャに基づいて決定される、ことと、
   相互作用点を前記特定の場所に位置合わせすることと、
   近位点を前記ユーザの身体に沿った場所に位置合わせすることと、
   光線を、前記近位点から、前記相互作用点を通して投射することと、
   前記光線に基づいて、前記仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成することと
   を含む、方法。
2. 前記複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、請求項１に記載の方法。
3. 前記複数の特徴点のサブセットは、前記複数の特徴点の複数のサブセットから選択され、前記複数の特徴点の複数のサブセットのそれぞれは、前記複数のジェスチャからの異なるジェスチャに対応する、請求項１に記載の方法。
4. 前記多ＤＯＦコントローラのグラフィカル表現を表示することをさらに含む、請求項１に記載の方法。
5. 前記近位点が位置合わせされる場所は、前記ユーザの肩の推定される場所、前記ユーザの肘の推定される場所、または前記ユーザの肩の推定される場所と前記ユーザの肘の推定される場所との間にある、請求項１に記載の方法。
6. 前記１つまたはそれを上回る画像捕捉デバイスの画像捕捉デバイスによって、前記ユーザの手の画像を捕捉することをさらに含む、請求項１に記載の方法。
7. 前記画像捕捉デバイスは、ウェアラブルシステムのヘッドセットに搭載される、請求項６に記載の方法。
8. システムであって、
   １つまたはそれを上回るプロセッサと、
   機械可読媒体であって、前記機械可読媒体は、命令を備え、前記命令は、前記１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
   ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信することと、
   前記画像を分析し、前記ユーザの手と関連付けられる複数の特徴点を検出することと、
   前記画像を分析することに基づいて、前記ユーザの手が、複数のジェスチャから、特定のジェスチャを行っているかまたは行うように遷移しつつあるかどうかを決定することと、
   前記ユーザの手が、特定のジェスチャを行っているかまたは行うように遷移しつつあることの決定に応答して、
   前記特定のジェスチャに対応する前記複数の特徴点のサブセットを選択することと、
   前記複数の特徴点のサブセットに対する特定の場所を決定することであって、前記特定の場所は、前記複数の特徴点のサブセットおよび前記特定のジェスチャに基づいて決定される、ことと、
   相互作用点を前記特定の場所に位置合わせすることと、
   近位点を前記ユーザの身体に沿った場所に位置合わせすることと、
   光線を、前記近位点から、前記相互作用点を通して投射することと、
   前記光線に基づいて、仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成することと
   を含む動作を実施させる、機械可読媒体と
   を備える、システム。
9. 前記複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、請求項８に記載のシステム。
10. 前記複数の特徴点のサブセットは、前記複数の特徴点の複数のサブセットから選択され、前記複数の特徴点の複数のサブセットのそれぞれは、前記複数のジェスチャからの異なるジェスチャに対応する、請求項８に記載のシステム。
11. 前記動作はさらに、前記多ＤＯＦコントローラのグラフィカル表現を表示することを含む、請求項８に記載のシステム。
12. 前記近位点が位置合わせされる場所は、前記ユーザの肩の推定される場所、前記ユーザの肘の推定される場所、または前記ユーザの肩の推定される場所と前記ユーザの肘の推定される場所との間にある、請求項８に記載のシステム。
13. 前記動作はさらに、前記１つまたはそれを上回る画像捕捉デバイスの画像捕捉デバイスによって、前記ユーザの手の画像を捕捉することを含む、請求項８に記載のシステム。
14. 前記画像捕捉デバイスは、ウェアラブルシステムのヘッドセットに搭載される、請求項１３に記載のシステム。
15. 非一過性機械可読媒体であって、前記非一過性機械可読媒体は、命令を備え、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
    ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信することと、
    前記画像を分析し、前記ユーザの手と関連付けられる複数の特徴点を検出することと、
    前記画像を分析することに基づいて、前記ユーザの手が、複数のジェスチャから、特定のジェスチャを行っているかまたは行うように遷移しつつあるかどうかを決定することと、
    前記ユーザの手が、特定のジェスチャを行っているかまたは行うように遷移しつつあることの決定に応答して、
    前記特定のジェスチャに対応する前記複数の特徴点のサブセットを選択することと、
    前記複数の特徴点のサブセットに対する特定の場所を決定することであって、前記特定の場所は、前記複数の特徴点のサブセットおよび前記特定のジェスチャに基づいて決定される、ことと、
    相互作用点を前記特定の場所に位置合わせすることと、
    近位点を前記ユーザの身体に沿った場所に位置合わせすることと、
    光線を、前記近位点から、前記相互作用点を通して投射することと、
    前記光線に基づいて、仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成することと
    を含む動作を実施させる、非一過性機械可読媒体。
16. 前記複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、請求項１５に記載の非一過性機械可読媒体。
17. 前記複数の特徴点のサブセットは、前記複数の特徴点の複数のサブセットから選択され、前記複数の特徴点の複数のサブセットのそれぞれは、前記複数のジェスチャからの異なるジェスチャに対応する、請求項１５に記載の非一過性機械可読媒体。
18. 前記動作はさらに、前記多ＤＯＦコントローラのグラフィカル表現を表示することを含む、請求項１５に記載の非一過性機械可読媒体。
19. 前記近位点が位置合わせされる場所は、前記ユーザの肩の推定される場所、前記ユーザの肘の推定される場所、または前記ユーザの肩の推定される場所と前記ユーザの肘の推定される場所との間にある、請求項１５に記載の非一過性機械可読媒体。
20. 前記動作はさらに、前記１つまたはそれを上回る画像捕捉デバイスの画像捕捉デバイスによって、前記ユーザの手の画像を捕捉することを含む、請求項１５に記載の非一過性機械可読媒体。

Images