JP7337857B2 - 仮想現実の手のジェスチャ生成 - Google Patents
仮想現実の手のジェスチャ生成 Download PDFInfo
- Publication number
- JP7337857B2 JP7337857B2 JP2020570736A JP2020570736A JP7337857B2 JP 7337857 B2 JP7337857 B2 JP 7337857B2 JP 2020570736 A JP2020570736 A JP 2020570736A JP 2020570736 A JP2020570736 A JP 2020570736A JP 7337857 B2 JP7337857 B2 JP 7337857B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- controller
- hand
- touch
- force
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
図1は、モーションキャプチャシステム(複数可)102およびユーザ104が存在する例示的な環境100を示す。モーションキャプチャシステム(複数可)102は、環境100の壁に取り付けられた状態で示されているが、場合によっては、モーションキャプチャシステム(複数可)102は、環境100内の他の場所(例えば、天井、床など)に取り付けてもよい。さらに、図1は4つのモーションキャプチャシステム(複数可)102を示しているが、環境100は、4つよりも多い、または少ないモーションキャプチャシステム(複数可)102を含んでもよい。
図2は、コントローラ110を保持しているユーザ104を示す(これは、図1のコントローラ110を表し、かつ/またはそれと同様であってもよい)。コントローラ110は、ハンドル、ストラップ、把持部など、コントローラ110の任意の部分に結合および/または装着してもよいマーカ200を備えてもよい。同様に、ユーザ104の一部分には、指先、指関節、指関節、手首など、ユーザ104の手におよび/またはそれに沿って装着するマーカ202を含んでもよい。場合によっては、マーカ200、202は、粘着剤を使用して、それぞれ、ユーザ104および/またはコントローラ110に装着してもよい。
図9A~図9Cは、本開示の例示的な実施形態による、力感知抵抗器(FSR)900の異なる図を示す。図9CのFSR900の断面に示すように、FSR900は、場合によってはポリイミドを含み得る第1の基板902を含んでもよい。FSR900は、第1の基板902上(または上方)に配置された第2の基板904をさらに含んでもよい。第1の基板902および第2の基板904は、FSR900の2つの一次基板(または層)(すなわち、2層のFSR900)を含んでもよい。ただし、FSR900には、追加の層が含まれ得ることを理解されたい。場合によっては、第1の基板902は、FSR900の2つの一次基板に対して「底部」または「ベース」基板を表してもよいが、場合によっては、第1の基板902の後ろ(または下)に(すなわち、図9Cに示すように、負のZ方向に)材料の層があってもよい。
図10A~図10Fは、(図1および図2のコントローラ110、図3~図7のコントローラ300、および/または図8のコントローラ800を表す、かつ/またはそれらと同様であってもよい)コントローラ1002を保持しているユーザ1000の異なる変形例を示す。一般に、上記の開示に沿って、コントローラ1002上のユーザ1000のタッチ入力の場所および力を感知することにより(例えば、近接センサおよび/またはFSR900のアレイを使用して)、リモートコンピューティングリソース(複数可)112は、VRヘッドセット108上に表示するためのアニメーション(例えば、アニメーション128)を生成してもよい。アニメーションは、図10A~図10Fに示す手のジェスチャにそれぞれ似ていてもよい。すなわち、予め訓練されたモデル(複数可)120を使用して、リモートコンピューティングリソース(複数可)112は、コントローラ(複数可)1002から受信されたタッチデータ124および/または力データ126に基づいて、手の画像を生成してもよい。
図11~図13は、本出願の実施形態による、様々なプロセスを示す。本明細書で説明されるプロセスは、一連の動作を表す論理フロー図内のブロックの集合として示され、それらのいくつかまたはすべては、ハードウェア、ソフトウェア、またはそれらの組み合わせの中で実施されてもよい。ソフトウェアの文脈では、ブロックは、1つまたは複数のプロセッサによって実行されたとき、列挙された動作を実施するようにプロセッサをプログラムする、1つまたは複数のコンピュータ可読媒体に格納されたコンピュータ実行可能命令を表してもよい。一般に、コンピュータ実行可能命令は、特定の機能を実施するかまたは特定のデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。ブロックが記載されている順序は、特に記載されていない限り、限定として解釈されるべきではない。記載されたブロックのうちの任意の数は、プロセス、または代替プロセスを実施するために、任意の順序および/または並列に組み合わせてもよく、すべてのブロックが実行される必要はない。説明のために、プロセスは、本明細書の例で説明されている、例えば、図1~図10に関して説明されている環境、アーキテクチャ、およびシステムを参照して説明されているが、プロセスは、多種多様な他の環境、アーキテクチャ、およびシステムで実施されてもよい。
前述の本発明は、特定の例に関して説明されているが、本発明の範囲は、これらの特定の例に限定されないことを理解されたい。特定の動作要件および環境に適合するように変化する他の修正および変更は、当業者には明らかであるため、本発明は、開示の目的のために選択された例に限定されるものとは見なされず、本発明の真の精神および範囲から逸脱しないすべての変更および修正を対象にする。
1.1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
1つまたは複数のセンサを介して、1つまたは複数のコントローラを操作するユーザの手の第1の動きに対応する第1のモーションデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の第1のタッチに対応する第1のタッチデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の前記第1のタッチに対応する第1の力データを受信することと、
前記第1のモーションデータを前記第1のタッチデータおよび前記第1の力データに関連付けることと、
前記第1のモーションデータ、前記第1のタッチデータ、および前記第1の力データに少なくとも部分的に基づいて、前記手のジェスチャに対応するモデルを生成することと、
前記1つまたは複数のセンサを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の第2の動きに対応する第2のモーションデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の第2のタッチに対応する第2のタッチデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の前記第2のタッチに対応する第2の力データを受信することと、
前記第2のモーションデータを前記第2のタッチデータおよび前記第2の力データに関連付けることと、
前記第2のモーションデータ、前記第2のタッチデータ、および前記第2の力データに少なくとも部分的に基づいて、前記手の前記ジェスチャに対応する前記モデルを訓練することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の第3のタッチに対応する第3のタッチデータを受信することと、
前記1つまたは複数のコントローラを介して、前記1つまたは複数のコントローラを操作する前記ユーザの前記手の前記第3のタッチに対応する第3の力データを受信することと、
前記ジェスチャおよび前記第3の力データに対応する前記モデルに少なくとも部分的に基づいて、前記手の表現に対応する画像データを生成することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。
2.前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、前記手の前記表現に対応する前記画像データを仮想現実ディスプレイに送信することを含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項1に記載のシステム。
3.前記1つまたは複数のセンサが、深度センサを含む、請求項1に記載のシステム。
4.前記第1のモーションデータを前記第1のタッチデータおよび前記第1の力データに関連付けることが、前記第1のモーションデータの第1のタイムスタンプを前記第1のタッチデータの第1のタイムスタンプおよび前記第1の力データの第1のタイムスタンプと照合することを含み、
前記第2のモーションデータを前記第2のタッチデータおよび第2の力データに関連付けることが、前記第2のモーションデータの第2のタイムスタンプを前記第2のタッチデータの第2のタイムスタンプおよび前記第2の力データの第2のタイムスタンプと照合することを含む、請求項1に記載のシステム。
5.システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、1つまたは複数のプロセッサによって実施されたとき、1つまたは複数のプロセッサに、
コントローラを操作する手の動きに対応するモーションデータを受信することと、
前記コントローラを操作する前記手のタッチ入力に対応するタッチデータを受信することと、
前記モーションデータと前記タッチデータとを関連付けることと、
前記モーションデータと前記タッチデータとを前記関連付けることに少なくとも部分的に基づいて、前記手のジェスチャに対応する訓練モデルを生成することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。
6.前記モーションデータが、第1のモーションデータを含み、前記タッチデータが、第1のタッチデータを含み、前記手の前記動きが、第1の動きを含み、前記手の前記タッチ入力が、第1のタッチ入力を含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記コントローラを操作する前記ユーザの前記手の第2の動きに対応する第2のモーションデータを受信することと、
前記コントローラを操作する前記手の第2のタッチ入力に対応する第2のタッチデータを受信することと、
前記第2のモーションデータおよび前記第2のタッチデータに少なくとも部分的に基づいて、前記手の前記ジェスチャに対応する更新された訓練モデルを生成することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項5に記載のシステム。
7.前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記更新された訓練モデルを使用して、前記手の表現に対応する画像データを生成することと、
前記手の前記表現に対応する前記画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項6に記載のシステム。
8.前記画像データを送信することが、遠隔装置に前記手の表現を表示させる、請求項7に記載のシステム。
9.前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、前記タッチ入力に関連付けられた力の量に対応する力データを受信することを含む行為をさらに実施させるコンピュータ実行可能命令を格納し、
前記手の前記ジェスチャに対応する前記訓練モデルを前記生成することが、前記力データに少なくとも部分的にさらに基づいている、請求項5に記載のシステム。
10.前記タッチデータが、前記タッチ入力を受信する前記コントローラ上の1つまたは複数の場所を示す、請求項5に記載のシステム。
11.前記モーションデータと前記タッチデータとを関連付けることが、前記モーションデータのタイムスタンプを前記タッチデータのタイムスタンプと関連付けることを含む、請求項5に記載のシステム。
12.前記モーションデータを受信することが、前記システムに通信可能に結合されたカメラから前記モーションデータを受信することを含み、
前記タッチデータを受信することが、前記システムに通信可能に結合されたコントローラから前記タッチデータを受信することを含む、請求項5に記載のシステム。
13.システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
コントローラから、
前記コントローラで受信されたタッチ入力を示すタッチデータ、または
前記タッチ入力に関連付けられた力の量を示す力データのうちの少なくとも1つを受信することと、
手のジェスチャに関連付けられている訓練されたモデルに対して、前記タッチデータまたは前記力のうちの少なくとも1つを分析することと、
前記分析に少なくとも部分的に基づいて、前記タッチデータまたは前記力データのうちの少なくとも1つが前記手のジェスチャに対応していることを判定することと、
前記手のジェスチャを表す画像データを生成することと、
表示のために前記画像データを送信することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。
14.前記タッチデータは、前記タッチ入力に対応する前記コントローラ上の場所を示す、請求項13に記載のシステム。
15.前記タッチデータが、第1のタッチデータを含み、前記力データが、第1の力データを含み、前記訓練されたモデルが、第1の訓練されたモデルを含み、前記タッチ入力が、第1のタッチ入力を含み、前記画像データが、第1の画像データを含み、前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記コントローラから、
前記コントローラで受信された第2のタッチ入力を表す第2のタッチデータ、または
前記第2のタッチ入力に関連付けられた力の量を示す第2の力データのうちの少なくとも1つを受信することと、
第2の手のジェスチャに関連付けられている第2の訓練されたモデルに対して、前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つを分析することと、
前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つが、第2の手のジェスチャに対応していることを判定することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
表示のために前記第2の画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項13に記載のシステム。
16.前記画像データが、第1の画像データを含み、前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
少なくとも1つまたは複数の予測モデリング技術を使用し、かつ、前記第1の手のジェスチャに少なくとも部分的に基づいて、第2の手のジェスチャを決定することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
表示のために前記第2の画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項13に記載のシステム。
17.前記訓練されたモデルが、
第1の期間中に1つまたは複数のコントローラから受信された以前のタッチデータ、
前記第1の期間中に前記1つまたは複数のコントローラから受信された以前の力データ、または
前記第1の期間中に1つまたは複数のカメラから受信された以前の画像データのうちの少なくとも1つを使用して前もって訓練されたモデルを含む、請求項13に記載のシステム。
18.前記コントローラが、第1のコントローラを含み、前記タッチデータが、第1のタッチデータを含み、前記力データが、第1の力データを含み、前記画像データが、第1の画像データを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
第2のコントローラから、
前記第2のコントローラで受信されたタッチ入力を示す第2のタッチデータ、または
前記第2のコントローラで受信された前記タッチ入力に関連付けられた力の量を示す第2の力データのうちの少なくとも1つを受信することと、
1つまたは複数の手のジェスチャに関連付けられている1つまたは複数の訓練されたモデルに対して、前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つを分析することと、
前記第2のコントローラで受信された手のジェスチャを表す第2の画像データを生成することと、
表示のために前記第2の画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項13に記載のシステム。
19.前記画像データが、前記手のジェスチャの3次元(3D)表現を含む、請求項13に記載のシステム。
20.前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記タッチデータまたは前記力データのうちの少なくとも1つを1つまたは複数の訓練されたモデルと比較することであって、前記1つまたは複数の訓練されたモデルが、前記訓練されたモデルを含み、前記1つまたは複数の訓練されたモデルの個々の訓練されたモデルが、1つまたは複数の手のジェスチャに関連付けられる、比較することを含む行為をさらに実施させるコンピュータ実行可能命令を格納し、
前記訓練されたモデルに対して、前記タッチデータまたは前記力データのうちの少なくとも1つを分析することが、前記比較に少なくとも部分的に基づいている、請求項13に記載のシステム。
Claims (28)
- システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
コントローラを操作する手に結合されたマーカによって反射または放出された光を図示する画像であり、1つまたは複数のカメラによってキャプチャされた前記画像を受信することと、
前記コントローラを操作する前記手の動きに対応する追跡された位置であり、前記マーカの前記追跡された位置を示すモーションデータを生成するために前記画像を分析することと、
前記コントローラを操作する前記手のタッチ入力に対応するタッチデータを受信することと、
前記モーションデータと前記タッチデータとを関連付けることと、
前記モーションデータと前記タッチデータとに少なくとも部分的に基づいて、後続するタッチデータに少なくとも部分的に基づいて前記手のジェスチャを決定するように構成された訓練されたモデルを生成するように、モデルを訓練することと、
前記訓練されたモデルを使用して、前記手の表現に対応する画像データを生成することと、
前記手の前記表現に対応する前記画像データを送信することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、
システム。 - 前記モーションデータが、第1のモーションデータを含み、前記タッチデータが、第1のタッチデータを含み、前記手の前記動きが、第1の動きを含み、前記手の前記タッチ入力が、第1のタッチ入力を含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記コントローラを操作する前記手に結合されたマーカによって反射または放出された光を図示する第2の画像であり、前記1つまたは複数のカメラによってキャプチャされた前記第2の画像を受信することと、
前記コントローラを操作する前記手の第2の動きに対応する第2の追跡された位置であり、前記マーカの前記第2の追跡された位置を示す第2のモーションデータを生成するために前記第2の画像を分析することと、
前記コントローラを操作する前記手の第2のタッチ入力に対応する第2のタッチデータを受信することと、
前記第2のモーションデータと前記第2のタッチデータとを関連付けることと、
前記第2のモーションデータおよび前記第2のタッチデータに少なくとも部分的に基づいて、前記手の前記ジェスチャを決定するように構成されており、更新され訓練されたモデルを生成することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項1に記載のシステム。 - 前記画像データを送信することが、遠隔装置に前記手の表現を表示させる、請求項1に記載のシステム。
- 前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、前記タッチ入力に関連付けられた力の量に対応する力データを受信することを含む行為をさらに実施させるコンピュータ実行可能命令を格納し、
前記モデルを前記訓練することが、前記力データに少なくとも部分的にさらに基づいている、請求項1に記載のシステム。 - 前記タッチデータが、前記タッチ入力を受信する前記コントローラ上の1つまたは複数の場所を示す、請求項1に記載のシステム。
- 前記モーションデータと前記タッチデータとを関連付けることが、前記モーションデータのタイムスタンプを前記タッチデータのタイムスタンプと関連付けることを含む、請求項1に記載のシステム。
- 前記タッチデータを受信することが、前記システムに通信可能に結合された前記コントローラから前記タッチデータを受信することを含む、請求項1に記載のシステム。
- システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
手持型コントローラから、
前記手持型コントローラに対する手の少なくとも一部分の近接性を示すタッチデータ、または
前記手持型コントローラを押す力の量を示す力データのうちの少なくとも1つを受信することと、
前記タッチデータまたは前記力データのうちの少なくとも1つの特性に少なくとも部分的に基づいて、複数の訓練されたモデルのうちから訓練されたモデルを選択することと、
前記訓練されたモデルに前記タッチデータまたは前記力データの少なくとも1つを入力することと、
前記訓練されたモデルを使用して、前記タッチデータまたは前記力データのうちの前記少なくとも1つが手のジェスチャに対応していることを判定することと、
前記手のジェスチャを表す画像データを生成することと、
前記画像データに少なくとも部分的に基づいて、前記手のジェスチャの画像をディスプレイに表示させることと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。 - 前記特性は、
前記手の少なくとも前記一部分が前記手持型コントローラに触れている前記手持型コントローラ上の場所、または
前記押す力の量、の少なくとも1つを含む、請求項8に記載のシステム。 - 前記タッチデータが、第1のタッチデータを含み、前記力データが、第1の力データを含み、前記訓練されたモデルが、第1の訓練されたモデルを含み、前記画像データが、第1の画像データを含み、前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記手持型コントローラから、
前記手持型コントローラに対する前記手の少なくとも一部分の第2の近接性を示す第2のタッチデータ、または
前記手持型コントローラへの第2の押しの第2の力の量を示す第2の力データのうちの少なくとも1つを受信することと、
前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つの前記特性に少なくとも部分的に基づいて、前記複数の訓練されたモデルのうちから第2の訓練されたモデルを選択することと、
前記第2のタッチデータまたは前記第2の力データの少なくとも1つを前記第2の訓練されたモデルに入力することと、
前記第2の訓練されたモデルを使用して、前記第2のタッチデータまたは前記第2の力データのうちの前記少なくとも1つが、第2の手のジェスチャに対応していることを判定することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
前記第2の画像データに少なくとも部分的に基づいて、前記第2の手のジェスチャの第2の画像を前記ディスプレイに表示させることと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項8に記載のシステム。 - 前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記第1の手のジェスチャに少なくとも部分的に基づいて、第2の手のジェスチャを予測することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
前記予測することの後、前記手持型コントローラから、
前記手持型コントローラに対する前記手の少なくとも一部分の第2の近接性を示す第2のタッチデータ、または
前記手持型コントローラへの第2の押しの第2の力の量を示す第2の力データのうちの少なくとも1つを受信することと、
前記第2の画像データに少なくとも部分的に基づいて、前記第2の手のジェスチャの第2の画像を前記ディスプレイに表示させることと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項8に記載のシステム。 - 前記訓練されたモデルが、
第1の期間中に1つまたは複数のコントローラから受信された以前のタッチデータ、
前記第1の期間中に前記1つまたは複数のコントローラから受信された以前の力データ、または
前記第1の期間中に1つまたは複数のカメラから受信された以前の画像データのうちの少なくとも1つを使用して前もって訓練されたモデルを含む、請求項8に記載のシステム。 - 前記複数の訓練されたモデルのうちから前記訓練されたモデルを選択することは、
前記タッチデータと、前記複数の訓練されたモデルに関連付けられて格納されたタッチデータとを比較すること、または
前記力データと、前記複数の訓練されたモデルに関連付けられて格納された力データとを比較すること、の少なくとも1つにさらに基づいている、請求項8に記載のシステム。 - 前記複数の訓練されたモデルのうちから前記訓練されたモデルを選択することは、前記手持型コントローラを保持しているユーザの追加の特性にさらに基づいている、請求項8に記載のシステム。
- 1つまたは複数のプロセッサによって、コントローラを操作する手に結合されたマーカによって反射または放出された光を図示する画像であり、1つまたは複数のカメラによってキャプチャされた前記画像を受信することと、
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手の動きに対応する追跡された位置であり、前記マーカの前記追跡された位置を示すモーションデータを生成するために前記画像を分析することと、
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手のタッチ入力に対応するタッチデータを受信することと、
前記1つまたは複数のプロセッサによって、前記モーションデータと前記タッチデータとを関連付けることと、
前記1つまたは複数のプロセッサによって、前記モーションデータと前記タッチデータとに少なくとも部分的に基づいて、後続するタッチデータに少なくとも部分的に基づいて前記手のジェスチャを決定するように構成された訓練されたモデルを生成するように、モデルを訓練することと、
前記訓練されたモデルを使用して、前記手の表現に対応する画像データを生成することと、
前記1つまたは複数のプロセッサによって、前記手の前記表現に対応する前記画像データを送信することと、を具備する
方法。 - 前記モーションデータが、第1のモーションデータを含み、前記タッチデータが、第1のタッチデータを含み、前記手の前記動きが、第1の動きを含み、前記手の前記タッチ入力が、第1のタッチ入力を含み、前記方法は、
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手に結合された前記マーカによって反射または放出された光を図示する第2の画像であり、前記1つまたは複数のカメラによってキャプチャされた前記第2の画像を受信することと、
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手の第2の動きに対応する第2の追跡された位置であり、前記マーカの前記第2の追跡された位置を示す第2のモーションデータを生成するために前記第2の画像を分析することと、
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手の第2のタッチ入力に対応する第2のタッチデータを受信することと、
前記1つまたは複数のプロセッサによって、前記第2のモーションデータと前記第2のタッチデータとを関連付けることと、
前記1つまたは複数のプロセッサによって、前記第2のモーションデータおよび前記第2のタッチデータに少なくとも部分的に基づいて、前記手の前記ジェスチャを決定するように構成されており、更新され訓練されたモデルを生成することと、をさらに具備する、請求項15に記載の方法。 - 前記画像データを送信することが、遠隔装置に前記手の前記表現を表示させる、請求項15に記載の方法。
- 前記1つまたは複数のプロセッサによって、前記タッチ入力に関連付けられた力の量に対応する力データを受信することをさらに具備し、
前記モデルを前記訓練することが、前記力データに少なくとも部分的にさらに基づいている、請求項15に記載の方法。 - 前記タッチデータが、前記タッチ入力を受信する前記コントローラ上の1つまたは複数の場所を示す、請求項15に記載の方法。
- 前記モーションデータと前記タッチデータとを関連付けることが、前記モーションデータのタイムスタンプを前記タッチデータのタイムスタンプと関連付けることを含む、請求項15に記載の方法。
- 前記タッチデータを受信することが、前記コントローラから前記タッチデータを受信することを含む、請求項15に記載の方法。
- 1つまたは複数のプロセッサによって、手持型コントローラから、
前記手持型コントローラの1つまたは複数の第1のセンサによって生成されたタッチデータであって、前記手持型コントローラに対する手の少なくとも一部分の近接性を示す前記タッチデータ、または
前記手持型コントローラの1つまたは複数の第2のセンサによって生成された力データであって、前記手持型コントローラを押す力の量を示す力データの少なくとも1つを受信することと、
前記タッチデータまたは前記力データのうちの少なくとも1つの特性に少なくとも部分的に基づいて、複数の訓練されたモデルのうちから訓練されたモデルを選択することと、
前記1つまたは複数のプロセッサによって、前記訓練されたモデルに前記タッチデータまたは前記力データの少なくとも1つを入力することと、
前記訓練されたモデルを使用して、前記タッチデータまたは前記力データのうちの前記少なくとも1つが手のジェスチャに対応していることを判定することと、
前記1つまたは複数のプロセッサによって、前記手のジェスチャを表す画像データを生成することと、
前記画像データに少なくとも部分的に基づいて、前記手のジェスチャの画像をディスプレイに表示させることと、を具備する、方法。 - 前記手のジェスチャの前記画像を前記ディスプレイに前記表示させることは、前記ディスプレイを有する仮想現実(VR)ヘッドセットに前記画像データを送信することを含む、請求項22に記載の方法。
- 前記特性は、
前記手の少なくとも一部分が前記手持型コントローラに触れている前記手持型コントローラ上の場所、または
前記押す力の量、の少なくとも1つを含む、請求項22に記載の方法。 - 前記複数の訓練されたモデルのうちから前記訓練されたモデルを選択することは、前記手持型コントローラを保持しているユーザの追加の特性にさらに基づいている、請求項22に記載の方法。
- 前記複数の訓練されたモデルのうちから前記訓練されたモデルの前記選択することは、
前記複数の訓練されたモデルに関連付けられて格納されたタッチデータと、前記タッチデータとを比較すること、または
前記複数の訓練されたモデルに関連付けられて格納された力データと、前記力データとを比較すること、の少なくとも1つにさらに基づいている、請求項22に記載の方法。 - 前記手のジェスチャが、第1の手のジェスチャであり、前記方法は、
前記第1の手のジェスチャに少なくとも部分的に基づいて、第2の手のジェスチャを予測することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
前記予測することの後、前記手持型コントローラから、
前記手持型コントローラの前記1つまたは複数の第1のセンサによって生成された第2のタッチデータであって、前記手持型コントローラに対する前記手の少なくとも一部分の第2の近接性を示す前記第2のタッチデータ、または
前記手持型コントローラの前記1つまたは複数の第2のセンサによって生成された第2の力データであって、前記手持型コントローラへの第2の押しの第2の力の量を示す前記第2の力データのうちの少なくとも1つを受信することと、
前記第2の画像データに少なくとも部分的に基づいて、前記第2の手のジェスチャの第2の画像を前記ディスプレイに表示させることと、をさらに具備する、請求項22に記載の方法。 - 前記受信することは、前記力データを受信することを含み、
前記1つまたは複数の第2のセンサは、1つまたは複数の力感知抵抗器(FSRs)を含み、
前記特性は、前記力データの特性を含み、
前記入力することは、前記力データを前記訓練されたモデルに入力することを含む、請求項22に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862687780P | 2018-06-20 | 2018-06-20 | |
US62/687,780 | 2018-06-20 | ||
US16/195,718 | 2018-11-19 | ||
US16/195,718 US10987573B2 (en) | 2016-10-11 | 2018-11-19 | Virtual reality hand gesture generation |
PCT/US2019/032928 WO2019245681A1 (en) | 2018-06-20 | 2019-05-17 | Virtual reality hand gesture generation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021527896A JP2021527896A (ja) | 2021-10-14 |
JPWO2019245681A5 JPWO2019245681A5 (ja) | 2022-05-09 |
JP7337857B2 true JP7337857B2 (ja) | 2023-09-04 |
Family
ID=68982963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020570736A Active JP7337857B2 (ja) | 2018-06-20 | 2019-05-17 | 仮想現実の手のジェスチャ生成 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3807747A4 (ja) |
JP (1) | JP7337857B2 (ja) |
KR (1) | KR20210021533A (ja) |
CN (1) | CN112437909A (ja) |
WO (1) | WO2019245681A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024085829A1 (en) * | 2022-10-17 | 2024-04-25 | İstanbul Geli̇şi̇m Üni̇versi̇tesi̇ | A system for learning to play old in a meta verse environment using virtual reality technology |
US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
CN116650950B (zh) * | 2023-06-08 | 2024-02-06 | 廊坊市珍圭谷科技有限公司 | 一种用于vr游戏的控制系统及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142329A1 (ja) | 2018-01-19 | 2019-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8717291B2 (en) * | 2009-10-07 | 2014-05-06 | AFA Micro Co. | Motion sensitive gesture device |
US9529523B2 (en) * | 2010-04-23 | 2016-12-27 | Handscape Inc. | Method using a finger above a touchpad for controlling a computerized system |
US8761437B2 (en) * | 2011-02-18 | 2014-06-24 | Microsoft Corporation | Motion recognition |
US20130154952A1 (en) * | 2011-12-16 | 2013-06-20 | Microsoft Corporation | Gesture combining multi-touch and movement |
WO2014100045A1 (en) * | 2012-12-17 | 2014-06-26 | Qi2 ELEMENTS II, LLC | Foot-mounted sensor systems for tracking body movement |
CN107209560A (zh) * | 2015-02-27 | 2017-09-26 | 惠普发展公司,有限责任合伙企业 | 检测手指移动 |
US9898091B2 (en) * | 2015-06-03 | 2018-02-20 | Oculus Vr, Llc | Virtual reality system with head-mounted display, camera and hand-held controllers |
US10514766B2 (en) * | 2015-06-09 | 2019-12-24 | Dell Products L.P. | Systems and methods for determining emotions based on user gestures |
CN108140360B (zh) * | 2015-07-29 | 2020-12-04 | 森赛尔股份有限公司 | 用于操纵虚拟环境的系统和方法 |
US10307669B2 (en) * | 2016-10-11 | 2019-06-04 | Valve Corporation | Electronic controller with finger sensing and an adjustable hand retainer |
US10549183B2 (en) * | 2016-10-11 | 2020-02-04 | Valve Corporation | Electronic controller with a hand retainer, outer shell, and finger sensing |
-
2019
- 2019-05-17 KR KR1020217001241A patent/KR20210021533A/ko not_active Application Discontinuation
- 2019-05-17 WO PCT/US2019/032928 patent/WO2019245681A1/en unknown
- 2019-05-17 EP EP19822879.3A patent/EP3807747A4/en active Pending
- 2019-05-17 JP JP2020570736A patent/JP7337857B2/ja active Active
- 2019-05-17 CN CN201980041061.3A patent/CN112437909A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142329A1 (ja) | 2018-01-19 | 2019-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3807747A1 (en) | 2021-04-21 |
KR20210021533A (ko) | 2021-02-26 |
JP2021527896A (ja) | 2021-10-14 |
EP3807747A4 (en) | 2022-03-09 |
WO2019245681A1 (en) | 2019-12-26 |
CN112437909A (zh) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11992751B2 (en) | Virtual reality hand gesture generation | |
US11625898B2 (en) | Holding and releasing virtual objects | |
JP7337857B2 (ja) | 仮想現実の手のジェスチャ生成 | |
US11185763B2 (en) | Holding and releasing virtual objects | |
CN110651238A (zh) | 虚拟现实/增强现实手持式控制器感测 | |
US10996775B2 (en) | Dynamic sensor assignment | |
US10241577B2 (en) | Single actuator haptic effects | |
CN113825548A (zh) | 使用手指的存在激活手持式控制器的运动控制功能 | |
JP2022536756A (ja) | クラスタベースのセンサ割り当て | |
US10649583B1 (en) | Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR) | |
JP7358408B2 (ja) | 仮想物体の保持および解放 | |
KR102644888B1 (ko) | 폴리이미드 기판을 갖는 힘 감지 저항기(fsr), 시스템 및 이의 방법 | |
JP7361725B2 (ja) | 力検知抵抗器(fsr)を含むハンドヘルドコントローラのセンサ融合アルゴリズム | |
JP7383647B2 (ja) | 仮想物体の保持および解放 | |
CN113474748B (zh) | 用于包括力感测电阻器(fsr)的手持式控制器的传感器融合算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220425 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7337857 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |