JPWO2021173839A5 - - Google Patents

Description

実施例５６は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、実施例４２－５４のいずれかに記載の方法を実施させる、命令を備える、非一過性機械可読媒体である。
本発明は、例えば、以下を提供する。
（項目１）
仮想オブジェクトと相互作用する方法であって、前記方法は、
ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信することと、
前記画像を分析し、前記ユーザの手と関連付けられる複数の特徴点を検出することと、
前記画像を分析することに基づいて、前記ユーザの手が、複数のジェスチャから、特定のジェスチャを行っているかまたは行うように遷移しつつあるかどうかを決定することと、
前記ユーザの手が、特定のジェスチャを行っているかまたは行うように遷移しつつあることの決定に応答して、
前記特定のジェスチャに対応する前記複数の特徴点のサブセットを選択することと、
前記複数の特徴点のサブセットに対する特定の場所を決定することであって、前記特定の場所は、前記複数の特徴点のサブセットおよび前記特定のジェスチャに基づいて決定される、ことと、
相互作用点を前記特定の場所に位置合わせすることと、
近位点を前記ユーザの身体に沿った場所に位置合わせすることと、
光線を、前記近位点から、前記相互作用点を通して投射することと、
前記光線に基づいて、前記仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成することと
を含む、方法。
（項目２）
前記複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、項目１に記載の方法。
（項目３）
前記複数の特徴点のサブセットは、前記複数の特徴点の複数のサブセットから選択され、前記複数の特徴点の複数のサブセットのそれぞれは、前記複数のジェスチャからの異なるジェスチャに対応する、項目１に記載の方法。
（項目４）
前記多ＤＯＦコントローラのグラフィカル表現を表示することをさらに含む、項目１に記載の方法。
（項目５）
前記近位点が位置合わせされる場所は、前記ユーザの肩の推定される場所、前記ユーザの肘の推定される場所、または前記ユーザの肩の推定される場所と前記ユーザの肘の推定される場所との間にある、項目１に記載の方法。
（項目６）
前記１つまたはそれを上回る画像捕捉デバイスの画像捕捉デバイスによって、前記ユーザの手の画像を捕捉することをさらに含む、項目１に記載の方法。
（項目７）
前記画像捕捉デバイスは、ウェアラブルシステムのヘッドセットに搭載される、項目６に記載の方法。
（項目８）
システムであって、
１つまたはそれを上回るプロセッサと、
機械可読媒体であって、前記機械可読媒体は、命令を備え、前記命令は、前記１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信することと、
前記画像を分析し、前記ユーザの手と関連付けられる複数の特徴点を検出することと、
前記画像を分析することに基づいて、前記ユーザの手が、複数のジェスチャから、特定のジェスチャを行っているかまたは行うように遷移しつつあるかどうかを決定することと、
前記ユーザの手が、特定のジェスチャを行っているかまたは行うように遷移しつつあることの決定に応答して、
前記特定のジェスチャに対応する前記複数の特徴点のサブセットを選択することと、
前記複数の特徴点のサブセットに対する特定の場所を決定することであって、前記特定の場所は、前記複数の特徴点のサブセットおよび前記特定のジェスチャに基づいて決定される、ことと、
相互作用点を前記特定の場所に位置合わせすることと、
近位点を前記ユーザの身体に沿った場所に位置合わせすることと、
光線を、前記近位点から、前記相互作用点を通して投射することと、
前記光線に基づいて、仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成することと
を含む動作を実施させる、機械可読媒体と
を備える、システム。
（項目９）
前記複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、項目８に記載のシステム。
（項目１０）
前記複数の特徴点のサブセットは、前記複数の特徴点の複数のサブセットから選択され、前記複数の特徴点の複数のサブセットのそれぞれは、前記複数のジェスチャからの異なるジェスチャに対応する、項目８に記載のシステム。
（項目１１）
前記動作はさらに、前記多ＤＯＦコントローラのグラフィカル表現を表示することを含む、項目８に記載のシステム。
（項目１２）
前記近位点が位置合わせされる場所は、前記ユーザの肩の推定される場所、前記ユーザの肘の推定される場所、または前記ユーザの肩の推定される場所と前記ユーザの肘の推定される場所との間にある、項目８に記載のシステム。
（項目１３）
前記動作はさらに、前記１つまたはそれを上回る画像捕捉デバイスの画像捕捉デバイスによって、前記ユーザの手の画像を捕捉することを含む、項目８に記載のシステム。
（項目１４）
前記画像捕捉デバイスは、ウェアラブルシステムのヘッドセットに搭載される、項目１３に記載のシステム。
（項目１５）
非一過性機械可読媒体であって、前記非一過性機械可読媒体は、命令を備え、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信することと、
前記画像を分析し、前記ユーザの手と関連付けられる複数の特徴点を検出することと、
前記画像を分析することに基づいて、前記ユーザの手が、複数のジェスチャから、特定のジェスチャを行っているかまたは行うように遷移しつつあるかどうかを決定することと、
前記ユーザの手が、特定のジェスチャを行っているかまたは行うように遷移しつつあることの決定に応答して、
前記特定のジェスチャに対応する前記複数の特徴点のサブセットを選択することと、
前記複数の特徴点のサブセットに対する特定の場所を決定することであって、前記特定の場所は、前記複数の特徴点のサブセットおよび前記特定のジェスチャに基づいて決定される、ことと、
相互作用点を前記特定の場所に位置合わせすることと、
近位点を前記ユーザの身体に沿った場所に位置合わせすることと、
光線を、前記近位点から、前記相互作用点を通して投射することと、
前記光線に基づいて、仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成することと
を含む動作を実施させる、非一過性機械可読媒体。
（項目１６）
前記複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、項目１５に記載の非一過性機械可読媒体。
（項目１７）
前記複数の特徴点のサブセットは、前記複数の特徴点の複数のサブセットから選択され、前記複数の特徴点の複数のサブセットのそれぞれは、前記複数のジェスチャからの異なるジェスチャに対応する、項目１５に記載の非一過性機械可読媒体。
（項目１８）
前記動作はさらに、前記多ＤＯＦコントローラのグラフィカル表現を表示することを含む、項目１５に記載の非一過性機械可読媒体。
（項目１９）
前記近位点が位置合わせされる場所は、前記ユーザの肩の推定される場所、前記ユーザの肘の推定される場所、または前記ユーザの肩の推定される場所と前記ユーザの肘の推定される場所との間にある、項目１５に記載の非一過性機械可読媒体。
（項目２０）
前記動作はさらに、前記１つまたはそれを上回る画像捕捉デバイスの画像捕捉デバイスによって、前記ユーザの手の画像を捕捉することを含む、項目１５に記載の非一過性機械可読媒体。

Claims (20)

1. 仮想オブジェクトと相互作用する方法であって、前記方法は、
   ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信することと、
   前記画像を分析し、前記ユーザの手と関連付けられる複数の特徴点を検出することと、
   前記画像を分析することに基づいて、前記ユーザの手が、複数のジェスチャから、特定のジェスチャを行っているかまたは行うように遷移しつつあるかどうかを決定することと、
   前記ユーザの手が、前記特定のジェスチャを行っているかまたは行うように遷移しつつあることの決定に応答して、
   前記特定のジェスチャに対応する前記複数の特徴点のサブセットを選択することと、
   前記複数の特徴点のサブセットに対する特定の場所を決定することであって、前記特定の場所は、前記複数の特徴点のサブセットおよび前記特定のジェスチャに基づいて決定される、ことと、
   相互作用点を前記特定の場所に位置合わせすることと、
   近位点を前記ユーザの身体に沿った場所に位置合わせすることと、
   光線を、前記近位点から、前記相互作用点を通して投射することと、
   前記光線に基づいて、前記仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成することと、
   前記複数の特徴点からの少なくとも３つの特徴点と関連付けられる角度を決定することと、
   前記角度に基づいて、前記多ＤＯＦコントローラと関連付けられるアクションイベントを検出することと
   を含む、方法。
2. 前記複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、請求項１に記載の方法。
3. 前記複数の特徴点のサブセットは、前記複数の特徴点の複数のサブセットから選択され、前記複数の特徴点の複数のサブセットのそれぞれは、前記複数のジェスチャからの異なるジェスチャに対応する、請求項１に記載の方法。
4. 前記多ＤＯＦコントローラのグラフィカル表現を表示することをさらに含む、請求項１に記載の方法。
5. 前記近位点が位置合わせされる場所は、前記ユーザの肩の推定される場所、前記ユーザの肘の推定される場所、または前記ユーザの肩の推定される場所と前記ユーザの肘の推定される場所との間にある、請求項１に記載の方法。
6. 前記１つまたはそれを上回る画像捕捉デバイスの画像捕捉デバイスによって、前記ユーザの手の前記画像を捕捉することをさらに含む、請求項１に記載の方法。
7. 前記画像捕捉デバイスは、ウェアラブルシステムのヘッドセットに搭載される、請求項６に記載の方法。
8. システムであって、
   １つまたはそれを上回るプロセッサと、
   機械可読媒体であって、前記機械可読媒体は、命令を備え、前記命令は、前記１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
   ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信することと、
   前記画像を分析し、前記ユーザの手と関連付けられる複数の特徴点を検出することと、
   前記画像を分析することに基づいて、前記ユーザの手が、複数のジェスチャから、特定のジェスチャを行っているかまたは行うように遷移しつつあるかどうかを決定することと、
   前記ユーザの手が、前記特定のジェスチャを行っているかまたは行うように遷移しつつあることの決定に応答して、
   前記特定のジェスチャに対応する前記複数の特徴点のサブセットを選択することと、
   前記複数の特徴点のサブセットに対する特定の場所を決定することであって、前記特定の場所は、前記複数の特徴点のサブセットおよび前記特定のジェスチャに基づいて決定される、ことと、
   相互作用点を前記特定の場所に位置合わせすることと、
   近位点を前記ユーザの身体に沿った場所に位置合わせすることと、
   光線を、前記近位点から、前記相互作用点を通して投射することと、
   前記光線に基づいて、仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成することと、
   前記複数の特徴点からの少なくとも３つの特徴点と関連付けられる角度を決定することと、
   前記角度に基づいて、前記多ＤＯＦコントローラと関連付けられるアクションイベントを検出することと
   を含む動作を実施させる、機械可読媒体と
   を備える、システム。
9. 前記複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、請求項８に記載のシステム。
10. 前記複数の特徴点のサブセットは、前記複数の特徴点の複数のサブセットから選択され、前記複数の特徴点の複数のサブセットのそれぞれは、前記複数のジェスチャからの異なるジェスチャに対応する、請求項８に記載のシステム。
11. 前記動作は、前記多ＤＯＦコントローラのグラフィカル表現を表示することをさらに含む、請求項８に記載のシステム。
12. 前記近位点が位置合わせされる場所は、前記ユーザの肩の推定される場所、前記ユーザの肘の推定される場所、または前記ユーザの肩の推定される場所と前記ユーザの肘の推定される場所との間にある、請求項８に記載のシステム。
13. 前記動作は、前記１つまたはそれを上回る画像捕捉デバイスの画像捕捉デバイスによって、前記ユーザの手の前記画像を捕捉することをさらに含む、請求項８に記載のシステム。
14. 前記画像捕捉デバイスは、ウェアラブルシステムのヘッドセットに搭載される、請求項１３に記載のシステム。
15. 非一過性機械可読媒体であって、前記非一過性機械可読媒体は、命令を備え、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
    ユーザの手の画像をウェアラブルシステムの１つまたはそれを上回る画像捕捉デバイスから受信することと、
    前記画像を分析し、前記ユーザの手と関連付けられる複数の特徴点を検出することと、
    前記画像を分析することに基づいて、前記ユーザの手が、複数のジェスチャから、特定のジェスチャを行っているかまたは行うように遷移しつつあるかどうかを決定することと、
    前記ユーザの手が、前記特定のジェスチャを行っているかまたは行うように遷移しつつあることの決定に応答して、
    前記特定のジェスチャに対応する前記複数の特徴点のサブセットを選択することと、
    前記複数の特徴点のサブセットに対する特定の場所を決定することであって、前記特定の場所は、前記複数の特徴点のサブセットおよび前記特定のジェスチャに基づいて決定される、ことと、
    相互作用点を前記特定の場所に位置合わせすることと、
    近位点を前記ユーザの身体に沿った場所に位置合わせすることと、
    光線を、前記近位点から、前記相互作用点を通して投射することと、
    前記光線に基づいて、仮想オブジェクトと相互作用するための多ＤＯＦコントローラを形成することと、
    前記複数の特徴点からの少なくとも３つの特徴点と関連付けられる角度を決定することと、
    前記角度に基づいて、前記多ＤＯＦコントローラと関連付けられるアクションイベントを検出することと
    を含む動作を実施させる、非一過性機械可読媒体。
16. 前記複数のジェスチャは、握持ジェスチャ、ポイントジェスチャ、またはピンチジェスチャのうちの少なくとも１つを含む、請求項１５に記載の非一過性機械可読媒体。
17. 前記複数の特徴点のサブセットは、前記複数の特徴点の複数のサブセットから選択され、前記複数の特徴点の複数のサブセットのそれぞれは、前記複数のジェスチャからの異なるジェスチャに対応する、請求項１５に記載の非一過性機械可読媒体。
18. 前記動作は、前記多ＤＯＦコントローラのグラフィカル表現を表示することをさらに含む、請求項１５に記載の非一過性機械可読媒体。
19. 前記近位点が位置合わせされる場所は、前記ユーザの肩の推定される場所、前記ユーザの肘の推定される場所、または前記ユーザの肩の推定される場所と前記ユーザの肘の推定される場所との間にある、請求項１５に記載の非一過性機械可読媒体。
20. 前記動作は、前記１つまたはそれを上回る画像捕捉デバイスの画像捕捉デバイスによって、前記ユーザの手の前記画像を捕捉することをさらに含む、請求項１５に記載の非一過性機械可読媒体。