JP2023515669A - マルチビューステレオのための疎点の三角測量および緻密化を学習することによる深度推定のためのシステムおよび方法 - Google Patents
マルチビューステレオのための疎点の三角測量および緻密化を学習することによる深度推定のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2023515669A JP2023515669A JP2022552548A JP2022552548A JP2023515669A JP 2023515669 A JP2023515669 A JP 2023515669A JP 2022552548 A JP2022552548 A JP 2022552548A JP 2022552548 A JP2022552548 A JP 2022552548A JP 2023515669 A JP2023515669 A JP 2023515669A
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- encoder
- points
- descriptors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 133
- 238000000280 densification Methods 0.000 title abstract description 5
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 abstract description 5
- 238000013459 approach Methods 0.000 description 28
- 238000012549 training Methods 0.000 description 17
- 230000008901 benefit Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 230000000295 complement effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007865 diluting Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004335 scaling law Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
以下は、エンドツーエンドプロセスにおいて、XRシステム等の空間コンピューティングシステムのユーザを囲繞する、場面または環境内の特徴の深度を推定するためのシステムおよび方法の種々の実施形態を説明する。種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、本開示の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。着目すべきこととして、以下の図および実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、部分的または完全に、公知のコンポーネント(または方法またはプロセス)を使用して実装され得る場合、本開示の理解のために必要なそのような公知のコンポーネント(または方法またはプロセス)の一部のみが、説明され、そのような公知のコンポーネント(または方法またはプロセス)の他の部分の詳細な説明は、本開示を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、本明細書に例証として参照されるコンポーネントの現在および将来的公知の均等物を包含する。
Claims (16)
- マルチビュー画像からの場面内の特徴の深度を推定するための方法であって、前記方法は、
前記場面のアンカ画像と、前記場面の基準画像のセットとを含むマルチビュー画像を取得するステップと、
(1)前記アンカ画像および各基準画像に関する記述子の個別の記述子フィールドを出力し、(ii)相対的姿勢と併せて、前記アンカ画像内の着目点を検出し、代替視点から前記基準画像内の検索空間を決定し、(iii)中間特徴マップを出力する、共有RGBエンコーダおよび記述子デコーダを通して、前記アンカ画像および基準画像を通過させるステップと、
各基準画像の前記検索空間内の前記個別の記述子をサンプリングし、前記検索空間内の記述子を決定し、前記識別された記述子と前記アンカ画像内の着目点に関する記述子をマッチングさせるステップであって、そのようなマッチングされる記述子は、マッチングされた特徴点と称される、ステップと、
特異値分解(SVD)を使用して、前記マッチングされた特徴点を三角測量し、3D点を出力するステップと、
前記3D点を疎深度エンコーダを通して通過させ、疎深度画像を前記3D点および出力特徴マップから作成するステップと、
深度デコーダが、前記疎深度エンコーダに関する前記出力特徴マップと、前記RGBエンコーダからの前記中間特徴マップとに基づいて、稠密深度画像を生成するステップと
を含む、方法。 - 前記共有RGBエンコーダおよび記述子デコーダは、RGB画像エンコーダおよび疎深度画像エンコーダを含む2つのエンコーダと、着目点検出エンコーダ、記述子デコーダ、および稠密深度予測エンコーダを含む3つのデコーダとを備える、請求項1に記載の方法。
- 前記共有RGBエンコーダおよび記述子デコーダは、前記アンカ画像およびトランザクション画像の完全分解能に作用するように構成される完全畳み込みニューラルネットワークである、請求項1に記載の方法。
- 前記RGBエンコーダからの前記特徴マップを第1のタスク特有のデコーダヘッドの中にフィードし、前記アンカ画像内の着目点の検出のための加重を決定し、着目点記述を出力するステップ
をさらに含む、請求項1に記載の方法。 - 前記記述子デコーダは、U-Net様アーキテクチャを備え、前記識別された記述子と前記着目点に関する記述子をマッチングさせるために、微細および粗大レベル画像情報を融合させる、請求項1に記載の方法。
- 前記検索空間は、前記基準画像内の個別のエピポーラ線+前記エピポーラ線の両側上の固定されたオフセットに制約され、前記エピポーラ線に沿った実行可能深度感知範囲内にある、請求項1に記載の方法。
- 双線形サンプリングが、前記共有RGBエンコーダおよび記述子デコーダによって使用され、前記個別の記述子を前記記述子フィールド内の所望の点において出力する、請求項1に記載の方法。
- 前記マッチングされた特徴点を三角測量するステップは、
空間軸を横断して、softmaxを算出し、相互相関マップを出力することによって、前記着目点の個別の2次元(2D)位置を推定するステップと、
soft-argmax演算を実施し、節点の2D位置を対応する相互相関マップの質量中心として計算するステップと、
線形代数三角測量を前記2D推定値から実施するステップと、
特異値分解(SVD)を使用して、3D点を出力するステップと
を含む、請求項1に記載の方法。 - クロスリアリティシステムであって、
ディスプレイシステムを有する頭部搭載型ディスプレイデバイスと、
前記頭部搭載型ディスプレイと動作可能に通信するコンピューティングシステムと、
前記コンピューティングシステムと動作可能に通信する複数のカメラセンサと
を備え、前記コンピューティングシステムは、
前記カメラセンサからの前記カメラセンサの視野内の場面のアンカ画像と、場面の基準画像のセットとを含むマルチビュー画像を取得するステップと、
(1)前記アンカ画像および各基準画像に関する記述子の個別の記述子フィールドを出力し、(ii)相対的姿勢と併せて、前記アンカ画像内の着目点を検出し、代替視点から前記基準画像内の検索空間を決定し、(iii)中間特徴マップを出力する、共有RGBエンコーダおよび記述子デコーダを通して、前記アンカ画像および基準画像を通過させるステップと、
各基準画像の前記検索空間内の前記個別の記述子をサンプリングし、前記検索空間内の記述子を決定し、前記識別された記述子と前記アンカ画像内の着目点に関する記述子をマッチングさせるステップであって、そのようなマッチングされる記述子は、マッチングされた特徴点と称される、ステップと、
特異値分解(SVD)を使用して、前記マッチングされた特徴点を三角測量し、3D点を出力するステップと、
前記3D点を疎深度エンコーダを通して通過させ、疎深度画像を前記3D点および出力特徴マップから作成するステップと、
深度デコーダが、前記疎深度エンコーダに関する前記出力特徴マップと、前記RGBエンコーダからの前記中間特徴マップとに基づいて、稠密深度画像を生成するステップと
を含むプロセスによって、前記カメラセンサによって捕捉された複数のマルチビュー画像からの場面内の特徴の深度を推定するように構成される、クロスリアリティシステム。 - 前記共有RGBエンコーダおよび記述子デコーダは、RGB画像エンコーダおよび疎深度画像エンコーダを含む2つのエンコーダと、着目点検出エンコーダ、記述子デコーダ、および稠密深度予測エンコーダを含む3つのデコーダとを備える、請求項9に記載のクロスリアリティシステム。
- 前記共有RGBエンコーダおよび記述子デコーダは、前記アンカ画像およびトランザクション画像の完全分解能に作用するように構成される完全畳み込みニューラルネットワークである、請求項9に記載のクロスリアリティシステム。
- 前記カメラセンサによって捕捉された複数のマルチビュー画像からの場面内の特徴の深度を推定するためのプロセスはさらに、
前記RGBエンコーダからの前記特徴マップを第1のタスク特有のデコーダヘッドの中にフィードし、前記アンカ画像内の着目点の検出のための加重を決定し、着目点記述を出力するステップ
を含む、請求項9に記載のクロスリアリティシステム。 - 前記記述子デコーダは、U-Net様アーキテクチャを備え、前記識別された記述子と前記着目点に関する記述子をマッチングさせるために、微細および粗大レベル画像情報を融合させる、請求項9に記載のクロスリアリティシステム。
- 前記検索空間は、前記基準画像内の個別のエピポーラ線+前記エピポーラ線の両側上の固定されたオフセットに制約され、前記エピポーラ線に沿った実行可能深度感知範囲内にある、請求項9に記載のクロスリアリティシステム。
- 双線形サンプリングが、前記共有RGBエンコーダおよび記述子デコーダによって使用され、前記個別の記述子を前記記述子フィールド内の所望の点において出力する、請求項9に記載のクロスリアリティシステム。
- 前記マッチングされた特徴点を三角測量するステップは、
空間軸を横断して、softmaxを算出し、相互相関マップを出力することによって、前記着目点の個別の2次元(2D)位置を推定するステップと、
soft-argmax演算を実施し、節点の2D位置を対応する相互相関マップの質量中心として計算するステップと、
線形代数三角測量を前記2D推定値から実施するステップと、
特異値分解(SVD)を使用して、3D点を出力するステップと
を含む、請求項9に記載のクロスリアリティシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062985773P | 2020-03-05 | 2020-03-05 | |
US62/985,773 | 2020-03-05 | ||
PCT/US2021/021239 WO2021178919A1 (en) | 2020-03-05 | 2021-03-05 | Systems and methods for depth estimation by learning triangulation and densification of sparse points for multi-view stereo |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023515669A true JP2023515669A (ja) | 2023-04-13 |
JPWO2021178919A5 JPWO2021178919A5 (ja) | 2024-03-07 |
Family
ID=77554899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022552548A Pending JP2023515669A (ja) | 2020-03-05 | 2021-03-05 | マルチビューステレオのための疎点の三角測量および緻密化を学習することによる深度推定のためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11948320B2 (ja) |
EP (1) | EP4115145A4 (ja) |
JP (1) | JP2023515669A (ja) |
CN (1) | CN115210532A (ja) |
WO (1) | WO2021178919A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200137380A1 (en) * | 2018-10-31 | 2020-04-30 | Intel Corporation | Multi-plane display image synthesis mechanism |
US11481871B2 (en) * | 2021-03-12 | 2022-10-25 | Samsung Electronics Co., Ltd. | Image-guided depth propagation for space-warping images |
US12086965B2 (en) * | 2021-11-05 | 2024-09-10 | Adobe Inc. | Image reprojection and multi-image inpainting based on geometric depth parameters |
CN114820745B (zh) * | 2021-12-13 | 2024-09-13 | 南瑞集团有限公司 | 单目视觉深度估计系统、方法、计算机设备及计算机可读存储介质 |
CN114332510B (zh) * | 2022-01-04 | 2024-03-22 | 安徽大学 | 一种层次化的图像匹配方法 |
CN114742794B (zh) * | 2022-04-02 | 2024-08-27 | 北京信息科技大学 | 一种基于三角剖分的临时道路检测方法及系统 |
CN114913287B (zh) * | 2022-04-07 | 2023-08-22 | 北京拙河科技有限公司 | 一种三维人体模型重建方法及系统 |
WO2023225235A1 (en) * | 2022-05-19 | 2023-11-23 | Innopeak Technology, Inc. | Method for predicting depth map via multi-view stereo system, electronic apparatus and storage medium |
CN116071504B (zh) * | 2023-03-06 | 2023-06-09 | 安徽大学 | 一种面向高分辨率图像的多视图立体重建方法 |
CN116934829B (zh) * | 2023-09-15 | 2023-12-12 | 天津云圣智能科技有限责任公司 | 无人机目标深度估计的方法、装置、存储介质及电子设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7152051B1 (en) | 2002-09-30 | 2006-12-19 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US9177381B2 (en) | 2010-12-22 | 2015-11-03 | Nani Holdings IP, LLC | Depth estimate determination, systems and methods |
JP2014529214A (ja) | 2011-08-09 | 2014-10-30 | サムスン エレクトロニクス カンパニー リミテッド | 多視点ビデオデータの深度マップ符号化方法及びその装置、復号化方法及びその装置 |
CN103339651B (zh) | 2011-10-11 | 2016-12-07 | 松下知识产权经营株式会社 | 图像处理装置、摄像装置以及图像处理方法 |
JP2016524125A (ja) * | 2013-03-15 | 2016-08-12 | ペリカン イメージング コーポレイション | カメラアレイを用いた立体撮像のためのシステムおよび方法 |
US9483843B2 (en) * | 2014-01-13 | 2016-11-01 | Transgaming Inc. | Method and system for expediting bilinear filtering |
US20150262412A1 (en) * | 2014-03-17 | 2015-09-17 | Qualcomm Incorporated | Augmented reality lighting with dynamic geometry |
US9704232B2 (en) * | 2014-03-18 | 2017-07-11 | Arizona Board of Regents of behalf of Arizona State University | Stereo vision measurement system and method |
US9418319B2 (en) | 2014-11-21 | 2016-08-16 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
WO2017172528A1 (en) * | 2016-04-01 | 2017-10-05 | Pcms Holdings, Inc. | Apparatus and method for supporting interactive augmented reality functionalities |
GB2556910A (en) | 2016-11-25 | 2018-06-13 | Nokia Technologies Oy | Virtual reality display |
US10783393B2 (en) | 2017-06-20 | 2020-09-22 | Nvidia Corporation | Semi-supervised learning for landmark localization |
US11676296B2 (en) * | 2017-08-11 | 2023-06-13 | Sri International | Augmenting reality using semantic segmentation |
CA3078530A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
US10929654B2 (en) * | 2018-03-12 | 2021-02-23 | Nvidia Corporation | Three-dimensional (3D) pose estimation from a monocular camera |
US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
US10682108B1 (en) * | 2019-07-16 | 2020-06-16 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for three-dimensional (3D) reconstruction of colonoscopic surfaces for determining missing regions |
US11727587B2 (en) * | 2019-11-12 | 2023-08-15 | Geomagical Labs, Inc. | Method and system for scene image modification |
US11763433B2 (en) * | 2019-11-14 | 2023-09-19 | Samsung Electronics Co., Ltd. | Depth image generation method and device |
US12073580B2 (en) * | 2020-01-31 | 2024-08-27 | Toyota Research Institute, Inc. | Self-supervised 3D keypoint learning for monocular visual odometry |
-
2021
- 2021-03-05 CN CN202180017832.2A patent/CN115210532A/zh active Pending
- 2021-03-05 EP EP21764896.3A patent/EP4115145A4/en active Pending
- 2021-03-05 JP JP2022552548A patent/JP2023515669A/ja active Pending
- 2021-03-05 US US17/194,117 patent/US11948320B2/en active Active
- 2021-03-05 WO PCT/US2021/021239 patent/WO2021178919A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
US11948320B2 (en) | 2024-04-02 |
EP4115145A1 (en) | 2023-01-11 |
EP4115145A4 (en) | 2023-08-02 |
WO2021178919A1 (en) | 2021-09-10 |
CN115210532A (zh) | 2022-10-18 |
US20210279904A1 (en) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023515669A (ja) | マルチビューステレオのための疎点の三角測量および緻密化を学習することによる深度推定のためのシステムおよび方法 | |
US11838518B2 (en) | Reprojecting holographic video to enhance streaming bandwidth/quality | |
JP7403700B2 (ja) | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 | |
JP7422785B2 (ja) | ニューラルネットワークおよび角検出器を使用した角検出のための方法および装置 | |
KR102358932B1 (ko) | 시선 위치에 기초한 안정 평면 결정 | |
US11276225B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
KR20220009393A (ko) | 이미지 기반 로컬화 | |
TWI501130B (zh) | 虛擬觸控輸入系統 | |
US10546429B2 (en) | Augmented reality mirror system | |
KR101609486B1 (ko) | 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성 | |
JP6862569B2 (ja) | 仮想光線追跡方法および光照射野の動的リフォーカス表示システム | |
US11430086B2 (en) | Upsampling low temporal resolution depth maps | |
US11568555B2 (en) | Dense depth computations aided by sparse feature matching | |
US11043004B2 (en) | Resolving region-of-interest (ROI) overlaps for distributed simultaneous localization and mapping (SLAM) in edge cloud architectures | |
WO2023093739A1 (zh) | 一种多视图三维重建的方法 | |
Canessa et al. | A dataset of stereoscopic images and ground-truth disparity mimicking human fixations in peripersonal space | |
CN112085777A (zh) | 六自由度vr眼镜 | |
JP2024512211A (ja) | Lidar同時位置特定およびマッピング | |
CN112487893A (zh) | 一种三维目标识别方法及系统 | |
CN116643648B (zh) | 一种三维场景匹配交互方法、装置、设备及存储介质 | |
Liu et al. | Template-Based 3D Reconstruction of Non-rigid Deformable Object from Monocular Video | |
Wetzstein | Augmented and virtual reality | |
Gradient-Based | User-Perspective AR Magic Lens from Gradient-Based IBR and Semi-Dense Stereo | |
CN112750195A (zh) | 目标物体的三维重建方法和装置、存储介质及电子设备 | |
EP4150519A1 (en) | Computationally efficient method for computing a composite representation of a 3d environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240228 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240808 |