JPWO2019245681A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2019245681A5
JPWO2019245681A5 JP2020570736A JP2020570736A JPWO2019245681A5 JP WO2019245681 A5 JPWO2019245681 A5 JP WO2019245681A5 JP 2020570736 A JP2020570736 A JP 2020570736A JP 2020570736 A JP2020570736 A JP 2020570736A JP WO2019245681 A5 JPWO2019245681 A5 JP WO2019245681A5
Authority
JP
Japan
Prior art keywords
data
hand
touch
processors
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020570736A
Other languages
Japanese (ja)
Other versions
JP2021527896A (en
JP7337857B2 (en
Publication date
Priority claimed from US16/195,718 external-priority patent/US10987573B2/en
Application filed filed Critical
Priority claimed from PCT/US2019/032928 external-priority patent/WO2019245681A1/en
Publication of JP2021527896A publication Critical patent/JP2021527896A/en
Publication of JPWO2019245681A5 publication Critical patent/JPWO2019245681A5/ja
Application granted granted Critical
Publication of JP7337857B2 publication Critical patent/JP7337857B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (30)

システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
コントローラを操作する手に結合されたマーカによって反射または放出された光を図示する画像であり、1つまたは複数のカメラによってキャプチャされた前記画像を受信することと、
前記コントローラを操作する前記手の動きに対応する追跡された位置であり、前記マーカの前記追跡された位置を示すモーションデータを生成するために前記画像を分析することと、
前記コントローラを操作する前記手のタッチ入力に対応するタッチデータを受信することと、
前記モーションデータと前記タッチデータとを関連付けることと、
前記モーションデータと前記タッチデータと少なくとも部分的に基づいて、後続するタッチデータに少なくとも部分的に基づいて前記手のジェスチャを決定するように構成された訓練されたモデルを生成するように、モデルを訓練することと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。
It ’s a system,
With one or more processors
One or more non-temporary computer-readable media containing computer-executable instructions that, when executed by the one or more processors, to the one or more processors.
An image illustrating light reflected or emitted by a marker coupled to a hand operating a controller to receive the image captured by one or more cameras.
Analyzing the image to generate motion data indicating the tracked position of the marker, which is the tracked position corresponding to the movement of the hand operating the controller.
Receiving touch data corresponding to the touch input of the hand operating the controller, and
By associating the motion data with the touch data,
A model to generate a trained model configured to determine the gesture of the hand at least partially based on the motion data and the touch data and at least partially based on the subsequent touch data. A system comprising one or more non-temporary computer-readable media for training and performing actions including.
前記モーションデータが、第1のモーションデータを含み、前記タッチデータが、第1のタッチデータを含み、前記手の前記動きが、第1の動きを含み、前記手の前記タッチ入力が、第1のタッチ入力を含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記コントローラを操作する前記手に結合されたマーカによって反射または放出された光を図示する第2の画像であり、前記1つまたは複数のカメラによってキャプチャされた前記第2の画像を受信することと、
前記コントローラを操作す前記手の第2の動きに対応する第2の追跡された位置であり、前記マーカの前記第2の追跡された位置を示す第2のモーションデータを生成するために前記第2の画像を分析することと、
前記コントローラを操作する前記手の第2のタッチ入力に対応する第2のタッチデータを受信することと、
前記第2のモーションデータと前記第2のタッチデータとを関連付けることと、
前記第2のモーションデータおよび前記第2のタッチデータに少なくとも部分的に基づいて、前記手の前記ジェスチャを決定するように構成されており、更新され訓練されたモデルを生成することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項1に記載のシステム。
The motion data includes the first motion data, the touch data includes the first touch data, the movement of the hand includes the first movement, and the touch input of the hand is the first. When the one or more non-temporary computer-readable media, including the touch input of, is executed by the one or more processors, the one or more processors.
A second image illustrating light reflected or emitted by a marker coupled to the hand operating the controller and receiving the second image captured by the one or more cameras. ,
The second tracked position corresponding to the second movement of the hand operating the controller, said to generate second motion data indicating the second tracked position of the marker. Analyzing the second image and
Receiving the second touch data corresponding to the second touch input of the hand operating the controller, and
By associating the second motion data with the second touch data,
It is configured to determine the gesture of the hand, at least in part, based on the second motion data and the second touch data, including generating an updated and trained model. The system according to claim 1, wherein a computer executable instruction for further performing an action is stored.
前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記訓練されたモデルを使用して、前記手の表現に対応する画像データを生成することと、
前記手の前記表現に対応する前記画像データを送信することと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項に記載のシステム。
When the one or more non-temporary computer-readable media are run by the one or more processors, the one or more processors.
Using the trained model to generate image data corresponding to the representation of the hand,
The system according to claim 1 , wherein a computer-executable instruction for further performing an act including transmitting the image data corresponding to the expression of the hand is stored.
前記画像データを送信することが、遠隔装置に前記手の表現を表示させる、請求項3に記載のシステム。 The system according to claim 3, wherein transmitting the image data causes a remote device to display the expression of the hand. 前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、前記タッチ入力に関連付けられた力の量に対応する力データを受信することを含む行為をさらに実施させるコンピュータ実行可能命令を格納し、
前記モデルを前記訓練することが、前記力データに少なくとも部分的にさらに基づいている、請求項に記載のシステム。
When the one or more non-temporary computer-readable media are run by the one or more processors, the one or more processors correspond to the amount of force associated with the touch input. Stores computer-executable instructions to perform further actions, including receiving force data,
The system of claim 1 , wherein the training of the model is at least partially further based on the force data.
前記タッチデータが、前記タッチ入力を受信する前記コントローラ上の1つまたは複数の場所を示す、請求項に記載のシステム。 The system of claim 1 , wherein the touch data indicates one or more locations on the controller to receive the touch input. 前記モーションデータと前記タッチデータとを関連付けることが、前記モーションデータのタイムスタンプを前記タッチデータのタイムスタンプと関連付けることを含む、請求項に記載のシステム。 The system according to claim 1 , wherein associating the motion data with the touch data comprises associating the time stamp of the motion data with the time stamp of the touch data. 前記タッチデータを受信することが、前記システムに通信可能に結合された前記コントローラから前記タッチデータを受信することを含む、請求項に記載のシステム。 The system of claim 1 , wherein receiving the touch data comprises receiving the touch data from the controller communicably coupled to the system. システムであって、
1つまたは複数のプロセッサと、
コンピュータ実行可能命令を格納する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
手持型コントローラから、
前記手持型コントローラに対する手の少なくとも一部分の近接性を示すタッチデータ、または
前記手持型コントローラを押す力の量を示す力データのうちの少なくとも1つを受信することと、
前記タッチデータまたは前記力データのうちの少なくとも1つの特性に少なくとも部分的に基づいて、複数の訓練されたモデルのうちから訓練されたモデルを選択することと
前記訓練されたモデルに前記タッチデータまたは前記力データの少なくとも1つを入力することと、
前記訓練されたモデルを使用して、前記タッチデータまたは前記力データのうちの前記少なくとも1つが手のジェスチャに対応していることを判定することと、
前記手のジェスチャを表す画像データを生成することと、
前記画像データに少なくとも部分的に基づいて、前記手のジェスチャの画像をディスプレイに表示させることと、を含む行為を実施させる、1つまたは複数の非一時的なコンピュータ可読媒体と、を備える、システム。
It ’s a system,
With one or more processors
One or more non-temporary computer-readable media containing computer-executable instructions that, when executed by the one or more processors, to the one or more processors.
From the handheld controller
Touch data showing the proximity of at least a portion of the hand to the handheld controller , or
Receiving at least one of the force data indicating the amount of force pushing the handheld controller and
Selecting a trained model from among a plurality of trained models based at least in part on the characteristics of at least one of the touch data or the force data .
Entering at least one of the touch data or the force data into the trained model
Using the trained model to determine that at least one of the touch data or the force data corresponds to a hand gesture.
To generate image data representing the gesture of the hand,
A system comprising one or more non-temporary computer-readable media for displaying an image of the gesture of the hand on a display and performing an act comprising, at least partially based on the image data. ..
前記特性は、
前記手の少なくとも前記一部分が前記手持型コントローラに触れている前記手持型コントローラ上の場所、または
前記押す力の量、の少なくとも1つを含む、請求項9に記載のシステム。
The above characteristics are
A location on the handheld controller where at least the part of the hand touches the handheld controller , or
9. The system of claim 9, comprising at least one of the pushing forces .
前記タッチデータが、第1のタッチデータを含み、前記力データが、第1の力データを含み、前記訓練されたモデルが、第1の訓練されたモデルを含み前記画像データが、第1の画像データを含み、前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記手持型コントローラから、
前記手持型コントローラに対する前記手の少なくとも一部分の第2の近接性を示す第2のタッチデータ、または
前記手持型コントローラへの第2の押しの第2の力の量を示す第2の力データのうちの少なくとも1つを受信することと、
前記第2のタッチデータまたは前記第2の力データのうちの少なくとも1つの前記特性に少なくとも部分的に基づいて、前記複数の訓練されたモデルのうちから第2の訓練されたモデルを選択することと、
前記第2のタッチデータまたは前記第2の力データの少なくとも1つを前記第2の訓練されたモデルに入力することと、
前記第2の訓練されたモデルを使用して、前記第2のタッチデータまたは前記第2の力データのうちの前記少なくとも1つが、第2の手のジェスチャに対応していることを判定することと、
前記第2の手のジェスチャを表す第2の画像データを生成することと、
前記第2の画像データに少なくとも部分的に基づいて、前記第2の手のジェスチャの第2の画像を前記ディスプレイに表示させることと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項に記載のシステム。
The touch data includes a first touch data, the force data includes a first force data, the trained model includes a first trained model, and the image data is a first. When the image data of the hand is included and the gesture of the first hand includes the gesture of the first hand and the one or more non-temporary computer-readable media is executed by the one or more processors. For one or more processors
From the handheld controller
Second touch data indicating the second accessibility of at least a portion of the hand to the handheld controller , or
Receiving at least one of the second force data indicating the amount of the second force of the second push to the handheld controller.
A second trained model is selected from the plurality of trained models based at least in part on the characteristic of at least one of the second touch data or the second force data. That and
Inputting at least one of the second touch data or the second force data into the second trained model.
Using the second trained model to determine that at least one of the second touch data or the second force data corresponds to a second hand gesture. When,
To generate the second image data representing the gesture of the second hand,
Stores computer-executable instructions that further perform actions, including displaying a second image of the second hand gesture on the display, at least partially based on the second image data . The system according to claim 9 .
前記手のジェスチャが、第1の手のジェスチャを含み、前記1つまたは複数の非一時的なコンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
前記第1の手のジェスチャに少なくとも部分的に基づいて、第2の手のジェスチャを予測することと
前記第2の手のジェスチャを表す第2の画像データを生成することと、
前記予測することの後、前記手持型コントローラから、
前記手持型コントローラに対する前記手の少なくとも一部分の第2の近接性を示す第2のタッチデータ、または
前記手持型コントローラへの第2の押しの第2の力の量を示す第2の力データのうちの少なくとも1つを受信することと、
前記第2の画像データに少なくとも部分的に基づいて、前記第2の手のジェスチャの第2の画像を前記ディスプレイに表示させることと、を含む行為をさらに実施させるコンピュータ実行可能命令を格納する、請求項に記載のシステム。
When the gesture of the hand comprises a gesture of the first hand and the one or more non-temporary computer-readable media is executed by the one or more processors, the one or more processors. To,
Predicting the gesture of the second hand, at least partially based on the gesture of the first hand,
To generate the second image data representing the gesture of the second hand,
After the prediction, from the handheld controller
Second touch data indicating the second accessibility of at least a portion of the hand to the handheld controller, or
Receiving at least one of the second force data indicating the amount of the second force of the second push to the handheld controller.
Stores computer-executable instructions that further perform actions, including displaying a second image of the second hand gesture on the display, at least partially based on the second image data . The system according to claim 9 .
前記訓練されたモデルが、
第1の期間中に1つまたは複数のコントローラから受信された以前のタッチデータ、
前記第1の期間中に前記1つまたは複数のコントローラから受信された以前の力データ、または
前記第1の期間中に1つまたは複数のカメラから受信された以前の画像データのうちの少なくとも1つを使用して前もって訓練されたモデルを含む、請求項に記載のシステム。
The trained model
Previous touch data received from one or more controllers during the first period,
At least one of the previous force data received from the one or more controllers during the first period, or the previous image data received from one or more cameras during the first period. 9. The system of claim 9 , comprising a model pre-trained using one.
前記複数の訓練されたモデルのうちから前記訓練されたモデルを選択することは、
前記タッチデータと、前記複数の訓練されたモデルに関連付けられて格納されたタッチデータとを比較すること、または
前記力データと、前記複数の訓練されたモデルに関連付けられて格納された力データとを比較すること、の少なくとも1つにさらに基づいている、請求項に記載のシステム。
Selecting the trained model from the plurality of trained models
Comparing the touch data with the touch data associated with or stored in the plurality of trained models, or
9. The system of claim 9 , further based on at least one of comparing the force data with the stored force data associated with the plurality of trained models .
前記複数の訓練されたモデルのうちから前記訓練されたモデルを選択することは、前記手持型コントローラを保持しているユーザの追加の特性にさらに基づいている、請求項9に記載のシステム。9. The system of claim 9, wherein selecting the trained model from the plurality of trained models is further based on the additional characteristics of the user holding the handheld controller. 1つまたは複数のプロセッサによって、コントローラを操作する手に結合されたマーカによって反射または放出された光を図示する画像であり、1つまたは複数のカメラによってキャプチャされた前記画像を受信することと、An image illustrating light reflected or emitted by a marker coupled to a hand coupled to a hand operating a controller by one or more processors to receive the image captured by one or more cameras.
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手の動きに対応する追跡された位置であり、前記マーカの前記追跡された位置を示すモーションデータを生成するために前記画像を分析することと、The image is analyzed by the one or more processors to generate motion data that is the tracked position corresponding to the movement of the hand operating the controller and that indicates the tracked position of the marker. That and
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手のタッチ入力に対応するタッチデータを受信することと、Receiving touch data corresponding to the touch input of the hand operating the controller by the one or more processors.
前記1つまたは複数のプロセッサによって、前記モーションデータと前記タッチデータとを関連付けることと、By associating the motion data with the touch data by the one or more processors,
前記1つまたは複数のプロセッサによって、前記モーションデータと前記タッチデータとに少なくとも部分的に基づいて、後続するタッチデータに少なくとも部分的に基づいて前記手のジェスチャを決定するように構成された訓練されたモデルを生成するように、モデルを訓練することと、を具備するTrained by the one or more processors to determine the gesture of the hand based on at least partly based on the motion data and the touch data and at least partly based on the subsequent touch data. Equipped with training the model to generate the model
方法。Method.
前記モーションデータが、第1のモーションデータを含み、前記タッチデータが、第1のタッチデータを含み、前記手の前記動きが、第1の動きを含み、前記手の前記タッチ入力が、第1のタッチ入力を含み、前記方法は、The motion data includes the first motion data, the touch data includes the first touch data, the movement of the hand includes the first movement, and the touch input of the hand is the first. The method comprises the touch input of
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手に結合された前記マーカによって反射または放出された光を図示する第2の画像であり、前記1つまたは複数のカメラによってキャプチャされた前記第2の画像を受信することと、A second image illustrating light reflected or emitted by the marker coupled to the hand operating the controller by the one or more processors, captured by the one or more cameras. Receiving the second image and
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手の第2の動きに対応する第2の追跡された位置であり、前記マーカの前記第2の追跡された位置を示す第2のモーションデータを生成するために前記第2の画像を分析することと、A second tracked position corresponding to the second movement of the hand operating the controller by the one or more processors, indicating the second tracked position of the marker. Analyzing the second image to generate motion data,
前記1つまたは複数のプロセッサによって、前記コントローラを操作する前記手の第2のタッチ入力に対応する第2のタッチデータを受信することと、Receiving the second touch data corresponding to the second touch input of the hand operating the controller by the one or more processors.
前記1つまたは複数のプロセッサによって、前記第2のモーションデータと前記第2のタッチデータとを関連付けることと、By associating the second motion data with the second touch data by the one or more processors,
前記1つまたは複数のプロセッサによって、前記第2のモーションデータおよび前記第2のタッチデータに少なくとも部分的に基づいて、前記手の前記ジェスチャを決定するように構成されており、更新され訓練されたモデルを生成することと、をさらに具備する、請求項16に記載の方法。The one or more processors are configured, updated and trained to determine the gesture of the hand, at least partially based on the second motion data and the second touch data. 16. The method of claim 16, further comprising generating a model.
前記1つまたは複数のプロセッサによって、前記訓練されたモデルを使用して、前記手の表現に対応する画像データを生成することと、Using the trained model by the one or more processors to generate image data corresponding to the representation of the hand.
前記1つまたは複数のプロセッサによって、前記手の前記表現に対応する前記画像データを送信することと、をさらに具備する、請求項16に記載の方法。16. The method of claim 16, further comprising transmitting the image data corresponding to the representation of the hand by the one or more processors.
前記画像データを送信することが、遠隔装置に前記手の前記表現を表示させる、請求項18に記載の方法。18. The method of claim 18, wherein transmitting the image data causes a remote device to display the representation of the hand. 前記1つまたは複数のプロセッサによって、前記タッチ入力に関連付けられた力の量に対応する力データを受信することをさらに具備し、The one or more processors further comprise receiving force data corresponding to the amount of force associated with the touch input.
前記モデルを前記訓練することが、前記力データに少なくとも部分的にさらに基づいている、請求項16に記載の方法。16. The method of claim 16, wherein training the model is at least partially further based on the force data.
前記タッチデータが、前記タッチ入力を受信する前記コントローラ上の1つまたは複数の場所を示す、請求項16に記載の方法 16. The method of claim 16, wherein the touch data indicates one or more locations on the controller to receive the touch input . 前記モーションデータと前記タッチデータとを関連付けることが、前記モーションデータのタイムスタンプを前記タッチデータのタイムスタンプと関連付けることを含む、請求項16に記載の方法。16. The method of claim 16, wherein associating the motion data with the touch data comprises associating the time stamp of the motion data with the time stamp of the touch data. 前記タッチデータを受信することが、前記コントローラから前記タッチデータを受信することを含む、請求項16に記載の方法。16. The method of claim 16, wherein receiving the touch data comprises receiving the touch data from the controller. 1つまたは複数のプロセッサによって、手持型コントローラから、From a handheld controller, with one or more processors
前記手持型コントローラの1つまたは複数の第1のセンサによって生成されたタッチデータであって、前記手持型コントローラに対する手の少なくとも一部分の近接性を示す前記タッチデータ、またはTouch data generated by one or more first sensors of the handheld controller, which indicates the proximity of at least a portion of the hand to the handheld controller, or.
前記手持型コントローラの1つまたは複数の第2のセンサによって生成された力データであって、前記手持型コントローラを押す力の量を示す力データの少なくとも1つを受信することと、 Receiving at least one of the force data generated by one or more second sensors of the handheld controller, indicating the amount of force pushing the handheld controller.
前記タッチデータまたは前記力データのうちの少なくとも1つの特性に少なくとも部分的に基づいて、複数の訓練されたモデルのうちから訓練されたモデルを選択することと、Selecting a trained model from among a plurality of trained models based at least in part on the characteristics of at least one of the touch data or the force data.
前記1つまたは複数のプロセッサによって、前記訓練されたモデルに前記タッチデータまたは前記力データの少なくとも1つを入力することと、Inputting at least one of the touch data or the force data into the trained model by the one or more processors.
前記訓練されたモデルを使用して、前記タッチデータまたは前記力データのうちの前記少なくとも1つが手のジェスチャに対応していることを判定することと、Using the trained model to determine that at least one of the touch data or the force data corresponds to a hand gesture.
前記1つまたは複数のプロセッサによって、前記手のジェスチャを表す画像データを生成することと、Using the one or more processors to generate image data representing the gesture of the hand,
前記画像データに少なくとも部分的に基づいて、前記手のジェスチャの画像をディスプレイに表示させることと、を具備する、方法。A method comprising displaying an image of the gesture of the hand on a display, at least partially based on the image data.
前記手のジェスチャの前記画像を前記ディスプレイに前記表示させることは、前記ディスプレイを有する仮想現実(VR)ヘッドセットに前記画像データを送信することを含む、請求項24に記載の方法。24. The method of claim 24, wherein displaying the image of the gesture of the hand on the display comprises transmitting the image data to a virtual reality (VR) headset having the display. 前記特性は、The above characteristics are
前記手の少なくとも一部分が前記手持型コントローラに触れている前記手持型コントローラ上の場所、またはA location on the handheld controller where at least a portion of the hand touches the handheld controller, or
前記押す力の量、の少なくとも1つを含む、請求項24に記載の方法。24. The method of claim 24, comprising at least one of the pushing forces.
前記複数の訓練されたモデルのうちから前記訓練されたモデルを選択することは、前記手持型コントローラを保持しているユーザの追加の特性にさらに基づいている、請求項24に記載の方法。24. The method of claim 24, wherein selecting the trained model from the plurality of trained models is further based on the additional characteristics of the user holding the handheld controller. 前記複数の訓練されたモデルのうちから前記訓練されたモデルの前記選択することは、The selection of the trained model from the plurality of trained models
前記複数の訓練されたモデルに関連付けられて格納されたタッチデータと、前記タッチデータとを比較すること、またはComparing the touch data with the touch data associated with and stored in the plurality of trained models, or
前記複数の訓練されたモデルに関連付けられて格納された力データと、前記力データとを比較すること、の少なくとも1つにさらに基づいている、請求項24に記載の方法。24. The method of claim 24, further based on at least one of comparing the force data associated with and stored in the plurality of trained models with the force data.
前記手のジェスチャが、第1の手のジェスチャであり、前記方法は、The gesture of the hand is the gesture of the first hand, and the method is:
前記第1の手のジェスチャに少なくとも部分的に基づいて、第2の手のジェスチャを予測することと、Predicting the gesture of the second hand, at least partially based on the gesture of the first hand,
前記第2の手のジェスチャを表す第2の画像データを生成することと、To generate the second image data representing the gesture of the second hand,
前記予測することの後、前記手持型コントローラから、After the prediction, from the handheld controller
前記手持型コントローラの前記1つまたは複数の第1のセンサによって生成された第2のタッチデータであって、前記手持型コントローラに対する前記手の少なくとも一部分の第2の近接性を示す前記第2のタッチデータ、またはThe second touch data generated by the one or more first sensors of the handheld controller, indicating the second proximity of at least a portion of the hand to the handheld controller. Touch data, or
前記手持型コントローラの前記1つまたは複数の第2のセンサによって生成された第2の力データであって、前記手持型コントローラへの第2の押しの第2の力の量を示す前記第2の力データのうちの少なくとも1つを受信することと、The second force data generated by the one or more second sensors of the handheld controller, indicating the amount of the second force of the second push on the handheld controller. To receive at least one of the power data of
前記第2の画像データに少なくとも部分的に基づいて、前記第2の手のジェスチャの第2の画像を前記ディスプレイに表示させることと、をさらに具備する、請求項24に記載の方法。24. The method of claim 24, further comprising displaying a second image of the second hand gesture on the display, at least partially based on the second image data.
前記受信することは、前記力データを受信することを含み、Receiving said includes receiving said force data.
前記1つまたは複数の第2のセンサは、1つまたは複数の力感知抵抗器(FSRs)を含み、The one or more second sensors include one or more force sensing resistors (FSRs).
前記特性は、前記力データの特性を含み、The characteristics include the characteristics of the force data.
前記入力することは、前記力データを前記訓練されたモデルに入力することを含む、請求項24に記載の方法。24. The method of claim 24, wherein the input comprises inputting the force data into the trained model.
JP2020570736A 2018-06-20 2019-05-17 Virtual Reality Hand Gesture Generation Active JP7337857B2 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862687780P 2018-06-20 2018-06-20
US62/687,780 2018-06-20
US16/195,718 2018-11-19
US16/195,718 US10987573B2 (en) 2016-10-11 2018-11-19 Virtual reality hand gesture generation
PCT/US2019/032928 WO2019245681A1 (en) 2018-06-20 2019-05-17 Virtual reality hand gesture generation

Publications (3)

Publication Number Publication Date
JP2021527896A JP2021527896A (en) 2021-10-14
JPWO2019245681A5 true JPWO2019245681A5 (en) 2022-05-09
JP7337857B2 JP7337857B2 (en) 2023-09-04

Family

ID=68982963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570736A Active JP7337857B2 (en) 2018-06-20 2019-05-17 Virtual Reality Hand Gesture Generation

Country Status (5)

Country Link
EP (1) EP3807747A4 (en)
JP (1) JP7337857B2 (en)
KR (1) KR20210021533A (en)
CN (1) CN112437909A (en)
WO (1) WO2019245681A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
WO2024085829A1 (en) * 2022-10-17 2024-04-25 İstanbul Geli̇şi̇m Üni̇versi̇tesi̇ A system for learning to play old in a meta verse environment using virtual reality technology
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment
CN116650950B (en) * 2023-06-08 2024-02-06 廊坊市珍圭谷科技有限公司 Control system and method for VR game

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717291B2 (en) * 2009-10-07 2014-05-06 AFA Micro Co. Motion sensitive gesture device
US9529523B2 (en) * 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US20130154952A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Gesture combining multi-touch and movement
WO2014100045A1 (en) * 2012-12-17 2014-06-26 Qi2 ELEMENTS II, LLC Foot-mounted sensor systems for tracking body movement
US9864460B2 (en) * 2014-09-26 2018-01-09 Sensel, Inc. Systems and methods for manipulating a virtual environment
WO2016137514A1 (en) * 2015-02-27 2016-09-01 Hewlett-Packard Development Company, L.P. Detecting finger movements
US9898091B2 (en) * 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US10514766B2 (en) * 2015-06-09 2019-12-24 Dell Products L.P. Systems and methods for determining emotions based on user gestures
US10307669B2 (en) * 2016-10-11 2019-06-04 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US10549183B2 (en) * 2016-10-11 2020-02-04 Valve Corporation Electronic controller with a hand retainer, outer shell, and finger sensing
JP6854928B2 (en) 2018-01-19 2021-04-07 株式会社ソニー・インタラクティブエンタテインメント Information processing equipment, information processing systems, information processing methods, and programs

Similar Documents

Publication Publication Date Title
KR101461448B1 (en) Electronic acoustic signal generating device, electronic acoustic signal generating method, and computer-readable recording medium storing electronic acoustic signal generating program
JP6074170B2 (en) Short range motion tracking system and method
CN110832433B (en) Sensor-based component activation
CN110325949A (en) For predicting to touch the multitask machine learning explained
CN107656620B (en) Virtual object control method and device, electronic equipment and storage medium
KR101338043B1 (en) Cognitive Rehabilitation System and Method Using Tangible Interaction
US10599919B2 (en) Detection of hand gestures using gesture language discrete values
CN104520849A (en) Search user interface using outward physical expressions
CN110114194B (en) System and method for determining a grip position for gripping an industrial object with two hands
JP7010542B2 (en) Work analyzer, work analysis method, and program
JP6270495B2 (en) Information processing apparatus, information processing method, computer program, and storage medium
JP4122434B2 (en) Usability evaluation processing system using virtual users
Rosa-Pujazón et al. Fast-gesture recognition and classification using Kinect: an application for a virtual reality drumkit
Santos et al. Developing 3d freehand gesture-based interaction methods for virtual walkthroughs: Using an iterative approach
JPWO2019245681A5 (en)
JP2009026125A (en) Emotion analysis device, emotion analysis method, and program
KR20100088094A (en) Device for object manipulation with multi-input sources
US11430417B2 (en) Data generation device and non-transitory computer-readable storage medium
JPWO2019043787A1 (en) Vibration control device
JP2007260268A5 (en)
CN107102725B (en) Control method and system for virtual reality movement based on somatosensory handle
JP2020160815A (en) Route recognition method, route recognition device, route recognition program, and route recognition program recording medium
KR101775080B1 (en) Drawing image processing apparatus and method based on natural user interface and natural user experience
US20210232289A1 (en) Virtual user detection
CN103221912A (en) Entering a command