JP6971359B2 - 再帰型ニューラルネットワークを用いる姿勢予測 - Google Patents
再帰型ニューラルネットワークを用いる姿勢予測 Download PDFInfo
- Publication number
- JP6971359B2 JP6971359B2 JP2020104602A JP2020104602A JP6971359B2 JP 6971359 B2 JP6971359 B2 JP 6971359B2 JP 2020104602 A JP2020104602 A JP 2020104602A JP 2020104602 A JP2020104602 A JP 2020104602A JP 6971359 B2 JP6971359 B2 JP 6971359B2
- Authority
- JP
- Japan
- Prior art keywords
- posture
- prediction
- rnn
- head
- head posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 22
- 230000000306 recurrent effect Effects 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims description 81
- 230000003190 augmentative effect Effects 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 21
- 230000001144 postural effect Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 238000009877 rendering Methods 0.000 claims description 13
- 230000006403 short-term memory Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 206010034719 Personality change Diseases 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 225
- 230000015654 memory Effects 0.000 description 41
- 238000004891 communication Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 27
- 238000004590 computer program Methods 0.000 description 21
- 238000012549 training Methods 0.000 description 19
- 238000005070 sampling Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 230000004886 head movement Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 239000000969 carrier Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 101710122864 Major tegument protein Proteins 0.000 description 1
- 101710148592 PTS system fructose-like EIIA component Proteins 0.000 description 1
- 101710169713 PTS system fructose-specific EIIA component Proteins 0.000 description 1
- 101710199973 Tail tube protein Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
本開示は、仮想現実(VR:Virtual Reality)および/または拡張現実(AR:Augmented Reality)体験および/または混合現実(MR:Mixed Reality)に関し、そのような体験を利用するユーザに関連付けられた姿勢を予測することに関する。
仮想現実(VR)システムまたは拡張現実(AR)システムによって生成される体験などの、没入型の体験において、トラッキングは、VR/AR体験の間のユーザの未来の動きに見通しを提供し得る。トラッキングは、ユーザが次にどこに動き得るかの予測によって補われ得る。VR/ARコンテンツが、VR/AR可能な装置の位置と同じ位置における基地局上などで、遠隔でトラッキングおよび/またはレンダリングされるとき、装置からレンダリングサーバへ、および当該サーバから装置に戻る往復時間によって待ち時間がもたらされ得る。もたらされる待ち時間は、ユーザの動きを予測する精度において誤差を引き起こし得る。
1つまたは複数のコンピュータのシステムは、オペレーション中に当該システムに動作を行わせる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせがシステム上にインストールされるようにすることによって特定のオペレーションまたは動作を行うように構成され得る。1つまたは複数のコンピュータプログラムは、データ処理機器によって実行されると当該機器に当該動作を行わせる指令を含むことによって、特定のオペレーションまたは動作を行うように構成され得る。
本明細書は、仮想現実(VR)体験または拡張現実(AR)体験を利用するユーザに関連付けられた姿勢を予測するための例示的なシステムおよび技法を説明する。特に、本明細書で説明されるシステムおよび技法は、機械学習を採用して、頭部姿勢データ(例えば、逐次の頭部姿勢の変化)、モバイル装置の姿勢データ、手の姿勢データまたは他の姿勢データをモデル化して、来たるべき期間(例えば、未来の時間)に対して予測される姿勢の精度を向上させ得る。本明細書全体にわたって記載される例において、特定の再帰型ニューラルネットワーク(RNN)は、AR/VRアプリケーションに対して改善された精度で姿勢をモデル化して予測するために用いられ得る。当該改善された精度は、ユーザの変化する頭の位置、手の位置、装置の位置などに関して予測誤差を低減するためにRNNを用い、特定の時間間隔で対応する姿勢を評価することによって達成され得る。
Claims (15)
- コンピュータで実施される方法であって、前記方法は、
仮想現実体験のための頭部姿勢予測に対する要求を受信することと、
前記仮想現実体験に関連付けられた、少なくとも1つの位置インジケータと少なくとも1つの回転インジケータとを識別することと、
前記少なくとも1つの位置インジケータと前記少なくとも1つの回転インジケータとを、複数のセルを備える再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)に提供することとを含み、前記RNNは、複数の再帰的なステップを含み、前記複数の再帰的なステップは、各々、前記複数のセルのうちの少なくとも1つと、少なくとも1つの全結合(FC:fully connected)層とを含み、前記複数のセルのうちの少なくともいくつかは、履歴の期間に関連付けられており、
前記方法は、さらに、
前記RNNを用いて、少なくとも1つの来たるべき期間のための前記仮想現実体験に対する頭部姿勢変化に対応する少なくとも1つの姿勢予測を生成することと、
前記要求に応答して前記少なくとも1つの姿勢予測を提供し、前記少なくとも1つの姿勢予測に基づいて、前記仮想現実体験における仮想現実コンテンツの表示をトリガすることとを含む、方法。 - 前記少なくとも1つの位置インジケータは、3次元の頭部位置ベクトルであり、前記少なくとも1つの回転インジケータは、4次元の四元数である、請求項1に記載の方法。
- 前記少なくとも1つの回転インジケータは、
偏揺れ、縦揺れ、および横揺れを含むか、または、
回転の量を表す大きさと、回転の軸を表す方向とを有する3次元ベクトルを含む、請求項1または請求項2に記載の方法。 - 前記RNNは、
前記少なくとも1つの姿勢予測に基づいて追加的な候補予測を生成し、
前記追加的な候補予測の各々に対して平均二乗誤差を決定するように構成されており、
前記平均二乗誤差は、それぞれの追加的な候補予測を捨てるべきか否かを示す、請求項1〜請求項3のいずれか1項に記載の方法。 - 前記RNNは、さらに他の来たるべき期間における頭部姿勢変化に対して追加的な候補予測を再帰的に決定するように構成されている、請求項1〜請求項4のいずれか1項に記載の方法。
- 頭部姿勢予測に対する前記要求を受信することは、ネットワークを通じたクライアント装置からの履歴の頭部姿勢データの受け付けを含み、
頭部姿勢変化に対する前記少なくとも1つの姿勢予測を提供することは、頭部姿勢変化に対する前記少なくとも1つの姿勢予測に基づいて、前記ネットワークを通じて前記クライアント装置に、前記仮想現実体験においてレンダリングされるコンテンツを提供することを含む、請求項1〜請求項5のいずれか1項に記載の方法。 - 拡張現実環境において姿勢を予測するためのコンピュータで実施される方法であって、前記方法は、
前記拡張現実環境におけるユーザの動きに対応する履歴の姿勢データを取得することと、
前記履歴の姿勢データから決定される姿勢特徴を含む第1の履歴ベクトルシーケンスを生成することと、
前記第1の履歴ベクトルシーケンスを用いて再帰型ニューラルネットワーク(RNN)を実行して、来たるべき期間に対する第1の姿勢予測を決定することとを含み、前記RNNは、複数の長・短期記憶(LSTM:long short-term memory)セルと少なくとも1つの全結合ニューラルネットワーク層とを含み、
前記方法は、さらに、
前記RNNを用いて、前記第1の姿勢予測と前記複数のLSTMセルのうちの少なくとも1つの状態とを受信することに応答して後続の期間に対する複数の追加的な姿勢予測を再帰的に生成することを含む、方法。 - 前記拡張現実環境におけるユーザの動きに対応する前記履歴の姿勢データは、前記ユーザの動きに関連付けられた、速度または加速度の測定値を含む、請求項7に記載の方法。
- 前記来たるべき期間を超える対応する期間における前記追加的な姿勢予測に基づいて、拡張現実コンテンツを表示する位置を決定することと、
前記拡張現実環境における表示のための前記拡張現実コンテンツのレンダリングをトリガすることとをさらに含む、請求項7または請求項8に記載の方法。 - 前記第1の履歴ベクトルシーケンスは、計算される平均値と計算される分散値とに少なくとも部分的に基づいて正規化される前記RNNへの入力を表し、
前記第1の姿勢予測および前記複数の追加的な姿勢予測は、拡張現実コンテンツを表示する位置を決定する前に、前記計算される平均値と前記計算される分散値とに基づいて非正規化される、請求項7〜請求項9のいずれか1項に記載の方法。 - 前記複数のLSTMセルにおける各LSTMセルの状態は、次の逐次の姿勢予測とともに前記RNNへの入力として提供され、
前記複数の追加的な姿勢予測は、前記複数のLSTMセルにおける各LSTMセルの前記状態に少なくとも部分的に基づく、請求項7〜請求項10のいずれか1項に記載の方法。 - 前記RNNは、既知の姿勢シーケンスのデータベースに基づいて訓練され、
前記履歴の姿勢データは、拡張現実アプリケーションを実行するモバイル装置に関連付けられた逐次の姿勢データである、請求項7〜請求項11のいずれか1項に記載の方法。 - 前記RNNは、前記複数の追加的な姿勢予測の各々に対して、平均絶対誤差と、平滑化コストと、姿勢変化コストとを定義する誤差関数を決定するように構成されている、請求項7〜請求項12のいずれか1項に記載の方法。
- 前記誤差関数は、前記複数の追加的な姿勢予測のうちの1つもしくは複数に関連付けられた、検出された角度誤差もしくは検出された眼の位置誤差に基づいて決定されるか、または、
前記誤差関数は、前記複数の追加的な姿勢予測の一部に基づく、重み付けられた誤差を表す、請求項13に記載の方法。 - コンピュータの少なくとも1つのプロセッサによって実行されることにより、前記コンピューターに請求項1〜請求項14のいずれか1項に記載の方法を実行させる、プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/545,803 US10989916B2 (en) | 2019-08-20 | 2019-08-20 | Pose prediction with recurrent neural networks |
US16/545,803 | 2019-08-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021034021A JP2021034021A (ja) | 2021-03-01 |
JP6971359B2 true JP6971359B2 (ja) | 2021-11-24 |
Family
ID=72046776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020104602A Active JP6971359B2 (ja) | 2019-08-20 | 2020-06-17 | 再帰型ニューラルネットワークを用いる姿勢予測 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10989916B2 (ja) |
EP (1) | EP3800528A1 (ja) |
JP (1) | JP6971359B2 (ja) |
KR (1) | KR102478026B1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021040010A1 (ja) * | 2019-08-30 | 2021-03-04 | ||
US11315326B2 (en) * | 2019-10-15 | 2022-04-26 | At&T Intellectual Property I, L.P. | Extended reality anchor caching based on viewport prediction |
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
US11757998B2 (en) * | 2020-01-06 | 2023-09-12 | Pixovr, Corp | Methods and systems configured for distribution of VR/MR/AR/XR content to end user devices via logical relationships and related management of end user devices |
US11353700B2 (en) * | 2020-10-07 | 2022-06-07 | Industrial Technology Research Institute | Orientation predicting method, virtual reality headset and non-transitory computer-readable medium |
KR102480451B1 (ko) * | 2021-03-03 | 2022-12-23 | (주)이머시브캐스트 | Mtp 지연 감소를 위한 클라우드 vr 장치 |
KR102620876B1 (ko) * | 2021-06-16 | 2024-01-05 | 한국과학기술원 | 안전 고리의 가설구조물 체결 여부 인식 방법 및 장치 |
KR20230018214A (ko) * | 2021-07-29 | 2023-02-07 | 삼성전자주식회사 | 포즈를 추정하는 방법 및 장치 |
DE112022003894T5 (de) * | 2021-08-11 | 2024-05-29 | Harman International Industries, Incorporated | Verbessertes verfolgen des kopfes für dreidimensionales audio-rendering |
US11977672B2 (en) | 2022-06-03 | 2024-05-07 | Qualcomm Incorporated | Distributed pose prediction |
US12073521B2 (en) * | 2022-11-21 | 2024-08-27 | Qualcomm Incorporated | Future pose predictor for a controller |
CN118732818A (zh) * | 2023-03-28 | 2024-10-01 | 北京字跳网络技术有限公司 | 画面渲染方法及设备 |
CN117455983B (zh) * | 2023-12-26 | 2024-04-12 | 深圳市亿境虚拟现实技术有限公司 | Vr手柄空间定位方法、装置、电子设备及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002086378A (ja) | 2000-09-08 | 2002-03-26 | Sony Corp | 脚式ロボットに対する動作教示システム及び動作教示方法 |
JP6197702B2 (ja) * | 2014-03-10 | 2017-09-20 | 富士通株式会社 | 入力方法,プログラム及び入力装置 |
US20160077166A1 (en) | 2014-09-12 | 2016-03-17 | InvenSense, Incorporated | Systems and methods for orientation prediction |
CA3034644A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
KR20180061956A (ko) * | 2016-11-30 | 2018-06-08 | 삼성전자주식회사 | 눈 위치 예측 방법 및 장치 |
CN110770758B (zh) * | 2017-01-23 | 2024-06-04 | 牛津大学创新有限公司 | 确定可移动的设备的位置 |
US10664993B1 (en) * | 2017-03-13 | 2020-05-26 | Occipital, Inc. | System for determining a pose of an object |
CN107517372B (zh) * | 2017-08-17 | 2022-07-26 | 腾讯科技(深圳)有限公司 | 一种vr内容拍摄方法、相关设备及系统 |
CN116300091A (zh) * | 2018-07-23 | 2023-06-23 | 奇跃公司 | 用于使用位置向量解析半球模糊度的方法和系统 |
-
2019
- 2019-08-20 US US16/545,803 patent/US10989916B2/en active Active
-
2020
- 2020-06-17 JP JP2020104602A patent/JP6971359B2/ja active Active
- 2020-08-11 EP EP20190537.9A patent/EP3800528A1/en active Pending
- 2020-08-14 KR KR1020200102496A patent/KR102478026B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
US10989916B2 (en) | 2021-04-27 |
US20210055545A1 (en) | 2021-02-25 |
KR20210022498A (ko) | 2021-03-03 |
JP2021034021A (ja) | 2021-03-01 |
CN111766948A (zh) | 2020-10-13 |
EP3800528A1 (en) | 2021-04-07 |
KR102478026B1 (ko) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6971359B2 (ja) | 再帰型ニューラルネットワークを用いる姿勢予測 | |
US10860091B2 (en) | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system | |
KR102182607B1 (ko) | 가상 콘트롤러를 위한 손쓰임을 결정하는 방법 | |
US10825197B2 (en) | Three dimensional position estimation mechanism | |
US11573325B2 (en) | Systems and methods for improvements in scanning and mapping | |
EP3625644B1 (en) | Sensor based component activation | |
US9235278B1 (en) | Machine-learning based tap detection | |
US20190339766A1 (en) | Tracking User Movements to Control a Skeleton Model in a Computer System | |
EP3767435A1 (en) | 6-dof tracking using visual cues | |
US11079860B2 (en) | Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network | |
US20200286302A1 (en) | Method And Apparatus For Manipulating Object In Virtual Or Augmented Reality Based On Hand Motion Capture Apparatus | |
US11175729B2 (en) | Orientation determination based on both images and inertial measurement units | |
WO2020009715A2 (en) | Tracking user movements to control a skeleton model in a computer system | |
US10551195B2 (en) | Portable device with improved sensor position change detection | |
CN111766948B (en) | Gesture prediction using recurrent neural networks | |
US20240280687A1 (en) | System and method for motion capture | |
US12073521B2 (en) | Future pose predictor for a controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200915 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6971359 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |