JPWO2020112561A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020112561A5 JPWO2020112561A5 JP2021528983A JP2021528983A JPWO2020112561A5 JP WO2020112561 A5 JPWO2020112561 A5 JP WO2020112561A5 JP 2021528983 A JP2021528983 A JP 2021528983A JP 2021528983 A JP2021528983 A JP 2021528983A JP WO2020112561 A5 JPWO2020112561 A5 JP WO2020112561A5
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- data
- user
- sensor data
- computerized method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 49
- 230000000386 athletic effect Effects 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 2
Description
ルールのセットに基づいて、アクティブな手、アクティブな手の配向、アクティブな手の場所、および／または関連付けられる信頼度レベルを決定するための複合現実システム（本明細書では、「ウェアラブルシステム」とも称される）の種々の実施例。ルールは、履歴データ、運動データ、および人間工学データに基づいてもよい。２つ以上のセンサが、データを提供してもよく、これは、次いで、初期加重推定値を割り当てられてもよい。複数のセンサストリームが、次いで、単一推定値に組み合わせられてもよく、これは、アバタレンダリングシステムの中に出力およびフィードされてもよい。
本発明は、例えば、以下を提供する。
（項目１）
コンピュータ化された方法であって、前記コンピュータ化された方法は、コンピューティングシステムによって実施され、前記コンピューティングシステムは、１つ以上のハードウェアコンピュータプロセッサと、前記コンピューティングシステムによって実行可能なソフトウェア命令を記憶し、コンピュータ化された方法を実施するための１つ以上の非一過性コンピュータ可読記憶デバイスとを有し、前記コンピュータ化された方法は、
複合現実デバイスの対応する複数のセンサからの複数のセンサデータストリームにアクセスすることと、
前記複数のセンサデータストリームの各々に対し、前記センサデータストリームのための対応する初期加重を決定することと、
前記複数のセンサデータストリーム内の掌性情報および前記センサデータストリームの対応する初期加重を分析し、全体的掌性を決定することと、
前記決定された全体的掌性を前記複合現実デバイス上で実行されるアプリケーションに提供することと
を含む、コンピュータ化された方法。
（項目２）
前記全体的掌性は、左手または右手のいずれかを示す、項目１に記載のコンピュータ化された方法。
（項目３）
前記全体的掌性はさらに、信頼度レベルを示す、項目２に記載のコンピュータ化された方法。
（項目４）
前記信頼度レベルは、複数のセンサデータストリーム内の掌性情報に合致することに応答して、より高い、項目３に記載のコンピュータ化された方法。
（項目５）
前記初期加重は、少なくとも部分的に、センサのタイプに基づく、項目１－４のいずれかに記載のコンピュータ化された方法。
（項目６）
前記センサのタイプは、ハンドヘルドコントローラの６ＤＯＦ外部能動追跡、前記ハンドヘルドコントローラの６ＤＯＦ内部運動追跡、または前記ハンドヘルドコントローラの外部受動追跡のうちの少なくともいくつかを含む、項目５に記載のコンピュータ化された方法。
（項目７）
前記センサのタイプはさらに、視覚センサ、深度センサ、またはＬＩＤＡＲセンサのうちの１つ以上のものを含む、項目６に記載のコンピュータ化された方法。
（項目８）
前記初期加重は、少なくとも部分的に、前記対応するセンサからの最近のデータ読取値の量に基づく、項目１－７のいずれかに記載のコンピュータ化された方法。
（項目９）
前記初期加重は、少なくとも部分的に、前記対応するセンサと関連付けられる履歴情報に基づく、項目１－８のいずれかに記載のコンピュータ化された方法。
（項目１０）
センサデータストリームのための前記初期加重を決定することは、
前記対応するセンサの１つ以上の特性に基づいて、１つ以上の分析ルールを選択することであって、前記分析ルールは、前記センサと関連付けられる人間工学データ、履歴データ、または運動データのうちの１つ以上のものに基づく、ことと、
前記選択された１つ以上の分析ルールを前記センサデータストリームに適用し、対応する掌性情報を決定することと
を含む、項目１－９のいずれかに記載のコンピュータ化された方法。
（項目１１）
前記分析ルールのうちの１つ以上のものは、
第２のセンサデータストリームと比較して、第１のセンサデータストリームの決定されたより高い信頼性に基づいて、第２のセンサからの第２のセンサデータストリームよりも上に第１のセンサからの第１のセンサデータストリームを優先順位化する、項目１０に記載のコンピュータ化された方法。
（項目１２）
前記分析ルールのうちの１つ以上のものは、前記センサデータがセンサの視野内で捕捉された場所に応じて、特定のセンサからのセンサデータを優先順位化する、項目１－１１のいずれかに記載のコンピュータ化された方法。
（項目１３）
前記第１のセンサデータストリームは、少なくとも、前記複合現実デバイスのウェアラブルヘッドセットを基準とする前記第１のセンサの位置に基づいて、前記第２のデータストリームと関連付けられる第２の信頼度レベルより高い第１の信頼度レベルと関連付けられる、項目１１－１２のいずれかに記載のコンピュータ化された方法。
（項目１４）
前記分析ルールのうちの１つ以上のものは、前記第１のセンサデータストリームと前記第２のセンサデータストリームとの間の競合を識別する、項目１０－１３のいずれかに記載のコンピュータ化された方法。
（項目１５）
前記分析ルールのうちの１つ以上のものは、周期的に、２つ以上のセンサからのセンサデータストリームに基づいて、更新された信頼度レベルを計算する、項目１０－１３のいずれかに記載のコンピュータ化された方法。
（項目１６）
前記分析ルールのうちの１つ以上のものは、前記センサデータストリーム内のエラーを識別し、エラーを伴うセンサデータを破棄する、項目１０－１５のいずれかに記載のコンピュータ化された方法。
（項目１７）
センサデータストリーム内のエラーは、センサデータ内の欠測フレーム、矛盾するフレーム、または複製フレームを含む、項目１６に記載のコンピュータ化された方法。
（項目１８）
前記センサのそれぞれの視野を決定することと、
中心視野を表す少なくとも第１の領域を含む１つ以上の視野領域を決定することであって、前記センサのうちの少なくとも２つは、前記第１の領域と関連付けられるセンサデータを提供する、ことと
をさらに含む、項目１－１７のいずれかに記載のコンピュータ化された方法。
（項目１９）
前記第１の領域と関連付けられるセンサデータは、前記第１の領域の外側のセンサデータより高い信頼度レベルと関連付けられる、項目１８に記載のコンピュータ化された方法。
（項目２０）
コンピューティングシステムであって、
ハードウェアコンピュータプロセッサと、
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上に記憶されるソフトウェア命令を有し、前記ソフトウェア命令は、前記コンピューティングシステムに、
複合現実デバイスの対応する複数のセンサからの複数のセンサデータストリームにアクセスすることと、
前記複数のセンサデータストリームの各々に対し、前記センサデータストリームのための対応する初期加重を決定することと、
前記複数のセンサデータストリーム内の掌性情報および前記センサデータストリームの対応する初期加重を分析し、全体的掌性を決定することと、
前記決定された全体的掌性を前記複合現実デバイス上で実行されるアプリケーションに提供することと
を含む動作を実施させるように、前記ハードウェアコンピュータプロセッサによって実行可能である、非一過性コンピュータ可読媒体と
を備える、コンピューティングシステム。
（項目２１）
コンピューティングシステムであって、
ウェアラブルシステムの第１のセンサであって、ユーザの左手または右手のどちらがアクティブであるかを決定するために使用可能な第１のユーザデータを入手するように構成されるウェアラブルシステムの第１のセンサと、
ウェアラブルシステムの第２のセンサであって、前記ユーザの左手または右手のどちらがアクティブであるかを決定するために使用可能な第２のユーザデータを入手するように構成されるウェアラブルシステムの第２のセンサと、
前記第１および第２のセンサと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記第１のユーザデータと関連付けられる第１の履歴データ、第１の運動データ、または第１の人間工学データのうちの１つ以上のものに基づいて、前記第１のユーザデータのための第１の加重を決定することと、
前記第２のユーザデータと関連付けられる第２の履歴データ、第２の運動データ、または第２の人間工学データのうちの１つ以上のものに基づいて、前記第２のユーザデータのための第２の加重を決定することと、
前記第１のユーザデータ、前記第１の加重、前記第２のユーザデータ、および前記第２の加重に基づいて、前記ユーザの左手または右手のどちらがアクティブであるかを決定することと、
前記決定をアバタ処理およびレンダリングシステムに出力することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、コンピューティングシステム。
（項目２２）
コンピュータ化された方法であって、前記コンピュータ化された方法は、コンピューティングシステムによって実施され、前記コンピューティングシステムは、１つ以上のハードウェアコンピュータプロセッサと、前記コンピューティングシステムによって実行可能なソフトウェア命令を記憶し、コンピュータ化された方法を実施するための１つ以上の非一過性コンピュータ可読記憶デバイスとを有し、前記コンピュータ化された方法は、
第１のユーザデータをウェアラブルシステムの第１のセンサから入手することであって、前記第１のユーザデータは、ユーザの左手または右手のどちらがアクティブであるかを決定するために使用可能である、ことと、
第２のユーザデータを前記ウェアラブルシステムの第２のセンサから入手することであって、前記第２のユーザデータは、前記ユーザの左手または右手のどちらがアクティブであるかを決定するために使用可能である、ことと、
前記第１のユーザデータと関連付けられる第１の履歴データ、第１の運動データ、または第１の人間工学データのうちの１つ以上のものに基づいて、前記第１のユーザデータのための第１の加重を決定することと、
前記第２のユーザデータと関連付けられる第２の履歴データ、第２の運動データ、または第２の人間工学データのうちの１つ以上のものに基づいて、前記第２のユーザデータのための第２の加重を決定することと、
前記第１のユーザデータ、前記第１の加重、前記第２のユーザデータ、および前記第２の加重に基づいて、前記ユーザの左手または右手のどちらがアクティブであるかを決定することと、
前記決定をアバタ処理およびレンダリングシステムに出力することと
を含む、コンピュータ化された方法。
A mixed reality system (also referred to herein as a "wearable system") for determining the active hand, active hand orientation, active hand location, and/or associated confidence level based on a set of rules. ), various embodiments. Rules may be based on historical data, athletic data, and ergonomic data. Two or more sensors may provide data, which may then be assigned initial weighted estimates. Multiple sensor streams may then be combined into a single estimate, which may be output and fed into the avatar rendering system.
The present invention provides, for example, the following.
(Item 1)
A computerized method, said computerized method being implemented by a computing system, said computing system comprising one or more hardware computer processors and software instructions executable by said computing system. and one or more non-transitory computer readable storage devices for storing and performing a computerized method, the computerized method comprising:
accessing multiple sensor data streams from corresponding multiple sensors of a mixed reality device;
determining, for each of the plurality of sensor data streams, a corresponding initial weight for the sensor data stream;
analyzing handedness information in the plurality of sensor data streams and corresponding initial weights of the sensor data streams to determine overall handedness;
providing the determined global handedness to an application running on the mixed reality device;
computerized methods, including
(Item 2)
2. The computerized method of item 1, wherein the global handedness indicates either left hand or right hand.
(Item 3)
3. The computerized method of item 2, wherein the global handedness further indicates a confidence level.
(Item 4)
4. The computerized method of item 3, wherein the confidence level is higher in response to matching handedness information in multiple sensor data streams.
(Item 5)
5. The computerized method of any of items 1-4, wherein the initial weights are based, at least in part, on sensor type.
(Item 6)
6. The computerized method of item 5, wherein the type of sensor includes at least some of 6 DOF external active tracking of a handheld controller, 6 DOF internal motion tracking of the handheld controller, or external passive tracking of the handheld controller. .
(Item 7)
7. The computerized method of item 6, wherein the sensor types further include one or more of visual sensors, depth sensors, or LIDAR sensors.
(Item 8)
8. The computerized method of any of items 1-7, wherein the initial weights are based, at least in part, on the amount of recent data readings from the corresponding sensors.
(Item 9)
9. The computerized method of any of items 1-8, wherein the initial weights are based, at least in part, on historical information associated with the corresponding sensors.
(Item 10)
Determining the initial weights for the sensor data stream comprises:
selecting one or more analysis rules based on one or more characteristics of the corresponding sensor, the analysis rule being selected from ergonomic data, historical data, or athletic data associated with the sensor; based on one or more of
applying the selected one or more analysis rules to the sensor data stream to determine corresponding handedness information;
10. The computerized method of any of items 1-9, comprising
(Item 11)
One or more of the analysis rules may include:
from the first sensor above the second sensor data stream from the second sensor based on the determined higher reliability of the first sensor data stream compared to the second sensor data stream; 11. The computerized method of item 10, wherein the first sensor data stream is prioritized.
(Item 12)
Any of items 1-11, wherein one or more of the analysis rules prioritize sensor data from a particular sensor according to where the sensor data was captured within the sensor's field of view. A computerized method as described in .
(Item 13)
The first sensor data stream is at least higher than a second confidence level associated with the second data stream based on the position of the first sensor relative to the wearable headset of the mixed reality device. 13. A computerized method according to any of items 11-12, associated with a high first confidence level.
(Item 14)
14. The computerized system of any of items 10-13, wherein one or more of the analysis rules identify conflicts between the first sensor data stream and the second sensor data stream. way.
(Item 15)
14. Any of items 10-13, wherein one or more of the analysis rules periodically calculate updated confidence levels based on sensor data streams from two or more sensors. A computerized method of
(Item 16)
16. The computerized method of any of items 10-15, wherein one or more of the analysis rules identify errors in the sensor data stream and discard sensor data with errors.
(Item 17)
17. The computerized method of item 16, wherein the errors in the sensor data stream include missing, inconsistent, or duplicate frames in the sensor data.
(Item 18)
determining a field of view of each of the sensors;
Determining one or more viewing regions including at least a first region representing central vision, wherein at least two of said sensors provide sensor data associated with said first region. When
18. The computerized method of any of items 1-17, further comprising:
(Item 19)
19. The computerized method of item 18, wherein sensor data associated with the first region is associated with a higher confidence level than sensor data outside the first region.
(Item 20)
A computing system,
a hardware computer processor;
A non-transitory computer-readable medium, said non-transitory computer-readable medium having software instructions stored thereon, said software instructions causing said computing system to:
accessing multiple sensor data streams from corresponding multiple sensors of a mixed reality device;
determining, for each of the plurality of sensor data streams, a corresponding initial weight for the sensor data stream;
analyzing handedness information in the plurality of sensor data streams and corresponding initial weights of the sensor data streams to determine overall handedness;
providing the determined global handedness to an application running on the mixed reality device;
a non-transitory computer-readable medium executable by said hardware computer processor to cause it to perform operations including
A computing system comprising:
(Item 21)
A computing system,
A first sensor of the wearable system, the first sensor of the wearable system configured to obtain first user data usable to determine whether the user's left hand or right hand is active. When,
A second sensor of the wearable system configured to obtain second user data usable to determine whether the user's left hand or right hand is active. a sensor;
A hardware processor in communication with the first and second sensors, the hardware processor comprising:
first user data based on one or more of first historical data, first athletic data, or first ergonomic data associated with the first user data; determining a weight of 1;
second user data for the second user data based on one or more of second historical data, second athletic data, or second ergonomic data associated with the second user data; determining a weight of 2;
determining whether the user's left hand or right hand is active based on the first user data, the first weight, the second user data, and the second weight;
outputting the determination to an avatar processing and rendering system;
A hardware processor and
A computing system comprising:
(Item 22)
A computerized method, said computerized method being implemented by a computing system, said computing system comprising one or more hardware computer processors and software instructions executable by said computing system. and one or more non-transitory computer readable storage devices for storing and performing a computerized method, the computerized method comprising:
obtaining first user data from a first sensor of the wearable system, the first user data being usable to determine whether the user's left hand or right hand is active; and
obtaining second user data from a second sensor of the wearable system, the second user data usable to determine whether the user's left hand or right hand is active; There is, and
first user data based on one or more of first historical data, first athletic data, or first ergonomic data associated with the first user data; determining a weight of 1;
second user data for the second user data based on one or more of second historical data, second athletic data, or second ergonomic data associated with the second user data; determining a weight of 2;
determining whether the user's left hand or right hand is active based on the first user data, the first weight, the second user data, and the second weight;
outputting the determination to an avatar processing and rendering system;
computerized methods, including
Claims (20)
複合現実デバイスの対応する複数のセンサからの複数のセンサデータストリームにアクセスすることであって、前記複合現実デバイスは、第１のセンサデータストリームを提供する前向きカメラを有するヘッドセットと、第２のセンサデータストリームを提供する慣性運動センサを有するハンドヘルドコントローラとを備える、ことと、
前記第１および第２のセンサデータストリームを含む複数のセンサデータストリームの各々に対し、
前記センサデータストリームがユーザのアクティブな手を正確に予測するために使用可能である信頼度レベルに少なくとも基づいて、前記センサデータストリームのための初期加重を決定することと、
前記センサデータストリームおよび前記初期加重の分析に基づいて、掌性予測を決定することであって、前記掌性予測は、前記予測されるアクティブな手としての前記ユーザの右手または左手のいずれか、および、前記掌性予測が正確である信頼度レベルを識別する、ことと、
前記複数のセンサデータストリームと関連付けられる複数の掌性予測に基づいて、全体的掌性予測を決定することと、
前記決定された全体的掌性予測を、前記複合現実デバイス上で実行されるアプリケーションに提供することと
を含む、コンピュータ化された方法。 A computerized method, said computerized method being implemented by a computing system, said computing system comprising one or more hardware computer processors and software instructions executable by said computing system. and one or more non- transitory computer-readable storage devices for storing and performing the computerized method, the computerized method comprising:
accessing multiple sensor data streams from corresponding multiple sensors of a mixed reality device, the mixed reality device comprising a headset having a front-facing camera providing a first sensor data stream; a handheld controller having an inertial motion sensor that provides a sensor data stream ;
for each of a plurality of sensor data streams, including the first and second sensor data streams;
determining an initial weighting for the sensor data stream based at least on a confidence level that the sensor data stream can be used to accurately predict a user's active hand;
determining a handedness prediction based on the analysis of the sensor data stream and the initial weights, wherein the handedness prediction is either the user's right hand or left hand as the predicted active hand; and identifying a confidence level with which the handedness prediction is accurate;
determining an overall handedness prediction based on a plurality of handedness predictions associated with the plurality of sensor data streams;
and providing the determined global handedness prediction to an application running on the mixed reality device.
前記対応するセンサの１つ以上の特性に基づいて、１つ以上の分析ルールを選択することであって、前記分析ルールは、前記センサと関連付けられる人間工学データ、履歴データ、または運動データのうちの１つ以上のものに基づく、ことと、
前記選択された１つ以上の分析ルールを前記センサデータストリームに適用し、対応する掌性情報を決定することと
を含む、請求項１に記載のコンピュータ化された方法。 Determining the initial weights for the sensor data stream comprises:
selecting one or more analysis rules based on one or more characteristics of the corresponding sensor, the analysis rule being selected from ergonomic data, historical data, or athletic data associated with the sensor; based on one or more of
applying the selected one or more analysis rules to the sensor data stream to determine corresponding handedness information.
前記第２のセンサデータストリームと比較して、前記第１のセンサデータストリームの決定されたより高い信頼性に基づいて、第２のセンサからの第２のセンサデータストリームよりも上に第１のセンサからの第１のセンサデータストリームを優先順位化する、請求項８に記載のコンピュータ化された方法。 One or more of the analysis rules may include:
a first sensor above a second sensor data stream from a second sensor based on the determined higher reliability of the first sensor data stream compared to the second sensor data stream; 9. The computerized method of claim 8 , prioritizing the first sensor data stream from.
中心視野を表す少なくとも第１の領域を含む１つ以上の視野領域を決定することであって、前記センサのうちの少なくとも２つは、前記第１の領域と関連付けられるセンサデータを提供する、ことと
をさらに含む、請求項１に記載のコンピュータ化された方法。 determining a field of view of each of the sensors;
Determining one or more viewing regions including at least a first region representing central vision, wherein at least two of said sensors provide sensor data associated with said first region. 2. The computerized method of claim 1 , further comprising: and.
ハードウェアコンピュータプロセッサと、
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上に記憶されるソフトウェア命令を有し、前記ソフトウェア命令は、前記コンピューティングシステムに、
複合現実デバイスの対応する複数のセンサからの複数のセンサデータストリームにアクセスすることと、
前記複数のセンサデータストリームの各々に対し、前記センサデータストリームのための対応する初期加重を決定することと、
前記センサデータストリームおよび前記センサデータストリームの対応する初期加重に基づいて、アクティブであると予測されるユーザの左手または右手のうちの１つ以上のものを示す前記ユーザの予測される掌性を決定することと、
前記予測される掌性を、前記複合現実デバイス上で実行されるアプリケーションに提供することと
を含む動作を実施させるように、前記ハードウェアコンピュータプロセッサによって実行可能である、非一過性コンピュータ可読媒体と
を備える、コンピューティングシステム。 A computing system,
a hardware computer processor;
A non-transitory computer-readable medium, said non-transitory computer-readable medium having software instructions stored thereon, said software instructions causing said computing system to:
accessing multiple sensor data streams from corresponding multiple sensors of a mixed reality device;
determining, for each of the plurality of sensor data streams, a corresponding initial weight for the sensor data stream;
Determining a predicted handedness of the user indicating one or more of the user's left hand or right hand predicted to be active based on the sensor data stream and the corresponding initial weighting of the sensor data stream . and
providing the predicted handedness to an application running on the mixed reality device . A computing system comprising and .
ウェアラブルシステムの第１のセンサであって、前記第１のセンサは、ユーザの左手または右手のどちらがアクティブであるかを決定するために使用可能な第１のユーザデータを入手するように構成される、第１のセンサと、
前記ウェアラブルシステムの第２のセンサであって、前記第２のセンサは、前記ユーザの前記左手または前記右手のどちらがアクティブであるかを決定するために使用可能な第２のユーザデータを入手するように構成される、第２のセンサと、
前記第１および第２のセンサと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記第１のユーザデータと関連付けられる第１の履歴データ、第１の運動データ、または第１の人間工学データのうちの１つ以上のものに基づいて、前記第１のユーザデータのための第１の加重を決定することと、
前記第２のユーザデータと関連付けられる第２の履歴データ、第２の運動データ、または第２の人間工学データのうちの１つ以上のものに基づいて、前記第２のユーザデータのための第２の加重を決定することと、
前記第１のユーザデータおよび前記第１の加重に基づく第１の掌性推定値と、前記第２のユーザデータおよび前記第２の加重に基づく第２の掌性推定値とに基づいて、前記ユーザの前記左手または右手のどちらがアクティブであるかを決定することと、
前記決定をアバタ処理およびレンダリングシステムに出力することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、コンピューティングシステム。 A computing system,
A first sensor of the wearable system, said first sensor configured to obtain first user data usable to determine whether a user's left hand or right hand is active. , a first sensor;
A second sensor of the wearable system, the second sensor adapted to obtain second user data usable to determine whether the left hand or the right hand of the user is active. a second sensor configured to
A hardware processor in communication with the first and second sensors, the hardware processor comprising:
first user data based on one or more of first historical data, first athletic data, or first ergonomic data associated with the first user data; determining a weight of 1;
second user data for the second user data based on one or more of second historical data, second athletic data, or second ergonomic data associated with the second user data; determining a weight of 2;
Based on a first handedness estimate based on the first user data and the first weights and a second handedness estimate based on the second user data and the second weights , the determining whether the left or right hand of a user is active;
A computing system, comprising: a hardware processor programmed to: output said determination to an avatar processing and rendering system;
第１のユーザデータをウェアラブルシステムの第１のセンサから入手することであって、前記第１のユーザデータは、ユーザの左手または右手のどちらがアクティブであるかを決定するために使用可能である、ことと、
第２のユーザデータを前記ウェアラブルシステムの第２のセンサから入手することであって、前記第２のユーザデータは、前記ユーザの前記左手または前記右手のどちらがアクティブであるかを決定するために使用可能である、ことと、
前記第１のユーザデータと関連付けられる第１の履歴データ、第１の運動データ、または第１の人間工学データのうちの１つ以上のものに基づいて、前記第１のユーザデータのための第１の加重を決定することと、
前記第２のユーザデータと関連付けられる第２の履歴データ、第２の運動データ、または第２の人間工学データのうちの１つ以上のものに基づいて、前記第２のユーザデータのための第２の加重を決定することと、
前記第１のユーザデータおよび前記第１の加重に基づく第１の掌性推定値と、前記第２のユーザデータおよび前記第２の加重に基づく第２の掌性推定値とに基づいて、前記ユーザの前記左手または右手のどちらがアクティブであるかを決定することと、
前記決定をアバタ処理およびレンダリングシステムに出力することと
を含む、コンピュータ化された方法。
A computerized method, said computerized method being implemented by a computing system, said computing system comprising one or more hardware computer processors and software instructions executable by said computing system. and one or more non- transitory computer-readable storage devices for storing and performing the computerized method, the computerized method comprising:
obtaining first user data from a first sensor of the wearable system, the first user data being usable to determine whether the user's left hand or right hand is active; and
obtaining second user data from a second sensor of the wearable system, the second user data being used to determine whether the left hand or the right hand of the user is active; that it is possible and
first user data based on one or more of first historical data, first athletic data, or first ergonomic data associated with the first user data; determining a weight of 1;
second user data for the second user data based on one or more of second historical data, second athletic data, or second ergonomic data associated with the second user data; determining a weight of 2;
Based on a first handedness estimate based on the first user data and the first weights and a second handedness estimate based on the second user data and the second weights , the determining whether the left or right hand of a user is active;
and outputting said determination to an avatar processing and rendering system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023076666A JP2023100853A (en) | 2018-11-30 | 2023-05-08 | Multi-modal hand location and orientation for avatar movement |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862774076P | 2018-11-30 | 2018-11-30 | |
| US62/774,076 | 2018-11-30 | ||
| PCT/US2019/062848 WO2020112561A1 (en) | 2018-11-30 | 2019-11-22 | Multi-modal hand location and orientation for avatar movement |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023076666A Division JP2023100853A (en) | 2018-11-30 | 2023-05-08 | Multi-modal hand location and orientation for avatar movement |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2022510843A JP2022510843A (en) | 2022-01-28 |
| JPWO2020112561A5 true JPWO2020112561A5 (en) | 2022-11-30 |
| JP7502292B2 JP7502292B2 (en) | 2024-06-18 |
Family
ID=70849151
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021528983A Active JP7502292B2 (en) | 2018-11-30 | 2019-11-22 | Multimodal hand location and orientation for avatar locomotion |
| JP2023076666A Pending JP2023100853A (en) | 2018-11-30 | 2023-05-08 | Multi-modal hand location and orientation for avatar movement |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023076666A Pending JP2023100853A (en) | 2018-11-30 | 2023-05-08 | Multi-modal hand location and orientation for avatar movement |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US11199912B2 (en) |
| EP (1) | EP3887925A4 (en) |
| JP (2) | JP7502292B2 (en) |
| CN (1) | CN113330390A (en) |
| WO (1) | WO2020112561A1 (en) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230144661A (en) | 2017-05-16 | 2023-10-16 | 애플 인크. | Emoji recording and sending |
| US10901430B2 (en) * | 2017-11-30 | 2021-01-26 | International Business Machines Corporation | Autonomous robotic avatars |
| EP3887925A4 (en) | 2018-11-30 | 2022-08-17 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
| CN109741463B (en) * | 2019-01-02 | 2022-07-19 | 京东方科技集团股份有限公司 | Rendering method, device and equipment of virtual reality scene |
| US11222455B2 (en) | 2019-09-30 | 2022-01-11 | Snap Inc. | Management of pseudorandom animation system |
| US11348297B2 (en) | 2019-09-30 | 2022-05-31 | Snap Inc. | State-space system for pseudorandom animation |
| US11176723B2 (en) * | 2019-09-30 | 2021-11-16 | Snap Inc. | Automated dance animation |
| US11568610B2 (en) | 2020-05-12 | 2023-01-31 | Magic Leap, Inc. | Privacy preserving expression generation for augmented or virtual reality client applications |
| WO2021252160A1 (en) * | 2020-06-08 | 2021-12-16 | Apple Inc. | Presenting avatars in three-dimensional environments |
| US20210405739A1 (en) * | 2020-06-26 | 2021-12-30 | Sony Interactive Entertainment Inc. | Motion matching for vr full body reconstruction |
| WO2022072328A1 (en) | 2020-09-30 | 2022-04-07 | Snap Inc. | Music reactive animation of human characters |
| US12008717B2 (en) | 2021-07-07 | 2024-06-11 | Meta Platforms Technologies, Llc | Artificial reality environment control through an artificial reality environment schema |
| CN113761616B (en) * | 2021-07-23 | 2023-12-22 | 散裂中子源科学中心 | Three-dimensional adjustment method and device with distance constraint |
| US12067688B2 (en) | 2022-02-14 | 2024-08-20 | Meta Platforms Technologies, Llc | Coordination of interactions of virtual objects |
| US11947862B1 (en) * | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
Family Cites Families (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US8723795B2 (en) * | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| CA2822978C (en) | 2010-12-24 | 2019-02-19 | Hong Hua | An ergonomic head mounted display device and optical system |
| US20120280900A1 (en) * | 2011-05-06 | 2012-11-08 | Nokia Corporation | Gesture recognition using plural sensors |
| CN103635891B (en) | 2011-05-06 | 2017-10-27 | 奇跃公司 | The world is presented in a large amount of digital remotes simultaneously |
| EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | Tactile glove for human-computer interaction |
| CN104011788B (en) | 2011-10-28 | 2016-11-16 | 奇跃公司 | For strengthening and the system and method for virtual reality |
| US8180583B1 (en) | 2011-11-16 | 2012-05-15 | Google Inc. | Methods and systems to determine a context of a device |
| US9389681B2 (en) * | 2011-12-19 | 2016-07-12 | Microsoft Technology Licensing, Llc | Sensor fusion interface for multiple sensor input |
| US9170648B2 (en) | 2012-04-03 | 2015-10-27 | The Boeing Company | System and method for virtual engineering |
| BR112014024941A2 (en) | 2012-04-05 | 2017-09-19 | Magic Leap Inc | Active Focusing Wide-field Imaging Device |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US10048779B2 (en) | 2012-06-30 | 2018-08-14 | Hewlett-Packard Development Company, L.P. | Virtual hand based on combined data |
| JP2015534108A (en) | 2012-09-11 | 2015-11-26 | マジック リープ， インコーポレイテッド | Ergonomic head mounted display device and optical system |
| IL283193B (en) | 2013-01-15 | 2022-08-01 | Magic Leap Inc | System for scanning electromagnetic imaging radiation |
| IL313175A (en) | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmented and virtual reality |
| NZ735754A (en) | 2013-03-15 | 2019-04-26 | Magic Leap Inc | Display system and method |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| IL295157B2 (en) | 2013-10-16 | 2023-10-01 | Magic Leap Inc | Virtual or augmented reality headsets having adjustable interpupillary distance |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| CN107315249B (en) | 2013-11-27 | 2021-08-17 | 奇跃公司 | Virtual and augmented reality systems and methods |
| CN111552079B (en) | 2014-01-31 | 2022-04-15 | 奇跃公司 | Multi-focus display system and method |
| NZ722904A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
| US9971490B2 (en) * | 2014-02-26 | 2018-05-15 | Microsoft Technology Licensing, Llc | Device control |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US9239648B2 (en) * | 2014-03-17 | 2016-01-19 | Google Inc. | Determining user handedness and orientation using a touchscreen device |
| AU2015297036B2 (en) | 2014-05-09 | 2017-09-28 | Google Llc | Systems and methods for discerning eye signals and continuous biometric identification |
| CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| EP4173550A1 (en) | 2015-03-16 | 2023-05-03 | Magic Leap, Inc. | Diagnosing and treating health ailments |
| US9578493B1 (en) * | 2015-08-06 | 2017-02-21 | Adtile Technologies Inc. | Sensor control switch |
| US10809825B2 (en) * | 2016-03-04 | 2020-10-20 | Sony Interactive Entertainment Inc. | Control apparatus and control program for determining how a controller device is worn |
| US10249090B2 (en) * | 2016-06-09 | 2019-04-02 | Microsoft Technology Licensing, Llc | Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking |
| US10001901B2 (en) | 2016-06-14 | 2018-06-19 | Unity IPR ApS | System and method for texturing in virtual reality and mixed reality environments |
| CN110785688B (en) | 2017-04-19 | 2021-08-27 | 奇跃公司 | Multi-modal task execution and text editing for wearable systems |
| US10671842B2 (en) * | 2018-01-29 | 2020-06-02 | Google Llc | Methods of determining handedness for virtual controllers |
| US10665032B2 (en) * | 2018-10-12 | 2020-05-26 | Accenture Global Solutions Limited | Real-time motion feedback for extended reality |
| EP3887925A4 (en) | 2018-11-30 | 2022-08-17 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
-
2019
- 2019-11-22 EP EP19891065.5A patent/EP3887925A4/en active Pending
- 2019-11-22 US US16/692,751 patent/US11199912B2/en active Active
- 2019-11-22 CN CN201980089614.2A patent/CN113330390A/en active Pending
- 2019-11-22 WO PCT/US2019/062848 patent/WO2020112561A1/en unknown
- 2019-11-22 JP JP2021528983A patent/JP7502292B2/en active Active
-
2021
- 2021-11-09 US US17/522,739 patent/US11487366B2/en active Active
-
2022
- 2022-09-27 US US17/954,257 patent/US11797105B2/en active Active
-
2023
- 2023-05-08 JP JP2023076666A patent/JP2023100853A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2020112561A5 (en) | ||
| JP6871416B2 (en) | Methods and devices for determining facial image quality, electronics and computer storage media | |
| KR20220062338A (en) | Hand pose estimation from stereo cameras | |
| US10676097B1 (en) | Driver identification among a limited pool of potential drivers | |
| KR101922747B1 (en) | Fully automatic dynamic articulated model calibration | |
| US9469028B2 (en) | Robotic handover system natural for humans | |
| EP4005186B1 (en) | Provision of a mixed reality service | |
| KR101891887B1 (en) | Image processing method, apparatus for predicting dangerous situation and method, server for predicting dangerous situation using thereof | |
| KR20220008281A (en) | Systems and methods for generating dynamic obstacle collision warnings for head mounted displays | |
| CN108875526B (en) | Method, device and system for line-of-sight detection and computer storage medium | |
| WO2016041088A1 (en) | System and method for tracking wearable peripherals in augmented reality and virtual reality applications | |
| CN110598559B (en) | Method and device for detecting motion direction, computer equipment and storage medium | |
| JP2012516507A5 (en) | ||
| RU2018132850A (en) | Methods and systems for computer determining the presence of objects | |
| US20220030208A1 (en) | Method and apparatus for buffer management in cloud based virtual reality services | |
| WO2016025808A1 (en) | Spatial data processing | |
| KR20170053702A (en) | Automatic sensor selection based on requested sensor characteristics | |
| US10521964B1 (en) | Switching among disparate simultaneous localization and mapping (SLAM) methods in virtual, augmented, and mixed reality (xR) applications | |
| CN115482556A (en) | Method for key point detection model training and virtual character driving and corresponding device | |
| CN108882169A (en) | The acquisition methods and device and robot of a kind of WiFi location fingerprint data | |
| CN115471863A (en) | Three-dimensional posture acquisition method, model training method and related equipment | |
| JP6325187B2 (en) | Target tracking apparatus, method and program | |
| US10852138B2 (en) | Scalabale simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications | |
| WO2020149044A1 (en) | Parameter selection device, parameter selection method, and parameter selection program | |
| CN116486479A (en) | Physical ability detection method, device, equipment and storage medium |