JP5951908B2 - 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 - Google Patents
電力効率の良い深度センサーの使用によるリアルタイム3d再構成 Download PDFInfo
- Publication number
- JP5951908B2 JP5951908B2 JP2015555387A JP2015555387A JP5951908B2 JP 5951908 B2 JP5951908 B2 JP 5951908B2 JP 2015555387 A JP2015555387 A JP 2015555387A JP 2015555387 A JP2015555387 A JP 2015555387A JP 5951908 B2 JP5951908 B2 JP 5951908B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- image
- depth
- camera
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本出願は、2014年1月22日に出願された「Real-Time 3D Reconstruction with Power Efficient Depth Sensor Usage」と題する米国出願第14/161,140号の利益および優先権を主張する。この米国出願第14/161,140号は、2013年1月30日に出願された「Real-Time 3D Reconstruction with Power Efficient Depth Sensor Usage」と題する米国仮出願第61/758,699号および2013年2月26日に出願された「Real-Time 3D Reconstruction with Power Efficient Depth Sensor Usage」と題する米国仮出願第61/769,465号の利益および優先権を主張する。上記で特定された米国特許出願のすべては、その全体が参照により本明細書に組み込まれる。
110 カメラ
120 接続
130 慣性測定ユニット(IMU)
150 プロセッサ
155 コンピュータビジョン(CV)モジュール
160 メモリ
170 送受信機
180 ディスプレイ/スクリーン
200 方法、システム、3D再構成プロセス
210 追跡モジュール
250 再構成モジュール
302 色+深度画像、入力色画像
304 更新済みカメラ姿勢、6DOF姿勢、カメラ姿勢推定
400 方法
Claims (30)
- 少なくとも1つのカメラおよび深度センサーを含む移動局において実行される方法であって、
少なくとも1つのカメラにより第1の画像をキャプチャするステップであって、前記第1の画像は、前記移動局によってモデル化されている環境の少なくとも一部分に関する色情報を含む、ステップと、
前記第1の画像に関するカメラ姿勢情報を取得するステップと、
前記第1の画像および前記第1の画像に関する前記カメラ姿勢情報に部分的に基づいて、前記環境の第1の3次元(3D)モデルを、前記移動局によってモデル化されている前記環境の部分的モデルを前記環境の前記第1の3Dモデルとマージすることによって拡大すべきかどうかを判断するステップと、
前記第1の3Dモデルが拡大されるときに、前記深度センサーを有効にするステップと
を含む方法。 - 前記深度センサーを有効にするステップは、
前記深度センサーに供給される電力をオンにするステップ、または
深度画像の計算に関係する機能を有効にするステップ
のうちの少なくとも1つを含む、請求項1に記載の方法。 - 前記第1の3Dモデルが拡大されないときに、前記深度センサーの無効化を維持するステップ
をさらに含む、請求項1に記載の方法。 - 前記深度センサーを有効にすると、前記第1の3Dモデルは、
前記少なくとも1つのカメラにより第2の画像をキャプチャするステップと、
前記深度センサーによって少なくとも部分的に提供された深度情報により前記第2の画像を拡張するステップと
によって拡大され、
前記部分的モデルは、前記第2の画像ならびに前記第2の画像に関する前記深度情報およびカメラ姿勢情報に部分的に基づく、請求項1に記載の方法。 - 前記部分的モデルを前記第1の3Dモデルとマージする前に、前記第1の3Dモデルおよび前記部分的モデルに共通する情報が前記部分的モデルから除去される、請求項4に記載の方法。
- 前記部分的モデルは、ダウンサンプリングされたより低い解像度の拡張された第2の画像に基づく、請求項4に記載の方法。
- 前記移動局によってモデル化されている前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするステップは、前記第2の画像に関する前記カメラ姿勢情報に基づいて、前記第1の3Dモデルと前記部分的モデルを位置合わせするステップをさらに含む、請求項4に記載の方法。
- 前記第1の3Dモデルと前記部分的モデルの前記位置合わせは、Iterative Closest Point(ICP)を使用して精緻化される、請求項7に記載の方法。
- 色情報を含む第1の画像をキャプチャするためのカメラと、
前記カメラに結合された深度センサーと、
前記深度センサーおよび前記カメラに結合されたプロセッサと
を含む移動局であって、前記プロセッサは、
前記第1の画像に関するカメラ姿勢情報を取得し、
前記第1の画像および前記第1の画像に関する前記カメラ姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを、前記移動局によってモデル化されている前記環境の部分的モデルを前記環境の前記第1の3Dモデルとマージすることによって拡大すべきかどうかを判断し、
前記第1の3Dモデルが拡大される場合に、前記深度センサーを有効にする
ように構成される、移動局。 - 前記深度センサーを有効にするために、前記プロセッサは、
前記深度センサーに供給される電力をオンにするステップ、または
深度画像の計算に関係する機能を有効にするステップ
のうちの少なくとも1つを実行するように構成される、請求項9に記載の移動局。 - 前記プロセッサは、
前記第1の3Dモデルが拡大されないときに、前記深度センサーの無効化を維持する
ようにさらに構成される、請求項10に記載の移動局。 - 前記深度センサーを有効にすると、
前記カメラはさらに、色情報を含む第2の画像をキャプチャし、
前記深度センサーはさらに、前記カメラによってキャプチャされた前記第2の画像を深度情報により拡張し、
前記プロセッサは、
色情報および深度情報を含む前記拡張された第2の画像を取得するようにさらに構成され、
前記部分的モデルは、前記第2の画像ならびに前記第2の画像に関する前記深度情報およびカメラ姿勢情報に部分的に基づく、請求項9に記載の移動局。 - 前記部分的モデルを前記第1の3Dモデルとマージする前に、前記プロセッサは、
前記第1の3Dモデルおよび前記部分的モデルに共通する情報を前記部分的モデルから除去する
ようにさらに構成される、請求項12に記載の移動局。 - 前記プロセッサは、
前記第2の画像のダウンサンプリングされたより低い解像度のバージョンに部分的に基づく前記部分的モデルを取得する
ように構成される、請求項12に記載の移動局。 - 前記移動局によってモデル化されている前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするために、前記プロセッサは、
前記第2の画像に関連する前記カメラ姿勢情報に基づいて、前記第1のモデルと前記部分的モデルを位置合わせする
ように構成される、請求項12に記載の移動局。 - 前記プロセッサは、
前記第1の3Dモデルと前記部分的モデルの前記位置合わせを、Iterative Closest Point(ICP)を使用して精緻化する
ように構成される、請求項15に記載の移動局。 - 色情報を含む第1の画像をキャプチャするためのイメージング手段と、
前記イメージング手段に結合された深度感知手段と、
前記深度感知手段および前記イメージング手段に結合された処理手段と
を含む装置であって、前記処理手段は、
前記第1の画像に関するイメージング手段姿勢情報を取得するための手段と、
前記第1の画像および前記第1の画像に関する前記イメージング手段姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを拡大すべきかどうかを判断するための手段であって、前記モデルは、前記装置によってモデル化されている前記環境の部分的モデルを前記環境の前記第1の3Dモデルとマージすることによって拡大される、手段と、
前記第1の3Dモデルが拡大される場合に、前記深度感知手段を有効にするための手段と
をさらに含む、装置。 - 前記深度感知手段を有効にするための手段は、
前記深度感知手段に供給される電力をオンにするための手段、または
深度画像の計算に関係する機能を有効にするための手段
のうちの少なくとも1つをさらに含む、請求項17に記載の装置。 - 前記処理手段は、
前記第1の3Dモデルが拡大されないときに、深度センサーの無効化を維持するための手段
をさらに含む、請求項17に記載の装置。 - 前記深度感知手段を有効にすると、
前記イメージング手段はさらに、色情報を含む第2の画像をキャプチャし、
前記深度感知手段はさらに、深度情報により前記第2の画像を拡張し、
前記処理手段は、
色情報および深度情報を含む前記拡張された第2の画像を取得するための手段と
をさらに含み、
前記部分的モデルは、前記拡張された第2の画像および前記第2の画像に関する前記イメージング手段姿勢情報に部分的に基づく、請求項17に記載の装置。 - 前記処理手段は、
前記部分的モデルを前記第1の3Dモデルとマージする前に、前記第1の3Dモデルおよび前記部分的モデルに共通する情報を前記部分的モデルから除去するための手段
をさらに含む、請求項20に記載の装置。 - 前記装置によってモデル化されている前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするための手段は、
前記第2の画像に関連する前記イメージング手段姿勢情報に基づいて、前記第1の3Dモデルと前記部分的モデルを位置合わせするための手段
をさらに含む、請求項20に記載の装置。 - 前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするための前記手段は、
前記拡張された第2の画像を、より低い解像度の拡張された第2の画像にダウンサンプリングするための手段
をさらに含み、
マージするための前記手段は、前記ダウンサンプリングされたより低い解像度の拡張された第2の画像に対して動作する、請求項20に記載の装置。 - プロセッサによって実行されたときに、少なくとも1つのカメラおよび深度センサーを含む移動局の方法のステップを実行する命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
少なくとも1つのカメラにより第1の画像をキャプチャするステップであって、前記第1の画像は、前記移動局によってモデル化されている環境の少なくとも一部分に関する色情報を含む、ステップと、
前記第1の画像に関するカメラ姿勢情報を取得するステップと、
前記第1の画像および前記第1の画像に関する前記カメラ姿勢情報に部分的に基づいて、前記環境の第1の3次元(3D)モデルを、前記移動局によってモデル化されている前記環境の部分的モデルを前記環境の前記第1の3Dモデルとマージすることによって拡大すべきかどうかを判断するステップと、
前記第1の3Dモデルが拡大されるときに、前記深度センサーを有効にするステップと
を含む、非一時的コンピュータ可読媒体。 - 前記深度センサーを有効にするステップは、
前記深度センサーに供給される電力をオンにするステップ、または
深度画像の計算に関係する機能を有効にするステップ
のうちの少なくとも1つをさらに含む、請求項24に記載の非一時的コンピュータ可読媒体。 - 前記第1の3Dモデルが拡大されない場合に、前記深度センサーの無効化を維持するステップ
をさらに含む、請求項24に記載の非一時的コンピュータ可読媒体。 - 前記深度センサーを有効にすると、前記第1の3Dモデルは、
前記深度センサーによって少なくとも部分的に提供された深度情報により第2の画像を拡張するステップによって拡張され、
前記部分的モデルは、前記第2の画像ならびに前記第2の画像に関する前記深度情報およびカメラ姿勢情報に部分的に基づく、請求項24に記載の非一時的コンピュータ可読媒体。 - 前記部分的モデルを前記第1の3Dモデルとマージする前に、前記第1の3Dモデルおよび前記部分的モデルに共通する情報が前記部分的モデルから除去される、請求項27に記載の非一時的コンピュータ可読媒体。
- 前記移動局によってモデル化されている前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするステップは、前記第2の画像に関する前記カメラ姿勢情報に基づいて、前記第1の3Dモデルと前記部分的モデルを位置合わせするステップをさらに含む、請求項27に記載の非一時的コンピュータ可読媒体。
- 前記部分的モデルは、ダウンサンプリングされたより低い解像度の拡張された第2の画像に基づく、請求項27に記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361758699P | 2013-01-30 | 2013-01-30 | |
US61/758,699 | 2013-01-30 | ||
US201361769465P | 2013-02-26 | 2013-02-26 | |
US61/769,465 | 2013-02-26 | ||
US14/161,140 | 2014-01-22 | ||
US14/161,140 US9083960B2 (en) | 2013-01-30 | 2014-01-22 | Real-time 3D reconstruction with power efficient depth sensor usage |
PCT/US2014/013211 WO2014120613A1 (en) | 2013-01-30 | 2014-01-27 | Real-time 3d reconstruction with power efficient depth sensor usage |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016114190A Division JP6189483B2 (ja) | 2013-01-30 | 2016-06-08 | 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016514384A JP2016514384A (ja) | 2016-05-19 |
JP5951908B2 true JP5951908B2 (ja) | 2016-07-13 |
Family
ID=50727551
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015555387A Active JP5951908B2 (ja) | 2013-01-30 | 2014-01-27 | 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 |
JP2016114190A Active JP6189483B2 (ja) | 2013-01-30 | 2016-06-08 | 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016114190A Active JP6189483B2 (ja) | 2013-01-30 | 2016-06-08 | 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 |
Country Status (9)
Country | Link |
---|---|
US (2) | US9083960B2 (ja) |
EP (1) | EP2951788B1 (ja) |
JP (2) | JP5951908B2 (ja) |
KR (1) | KR101654174B1 (ja) |
CN (1) | CN104956404B (ja) |
ES (1) | ES2675171T3 (ja) |
HU (1) | HUE038287T2 (ja) |
TW (2) | TWI583176B (ja) |
WO (1) | WO2014120613A1 (ja) |
Families Citing this family (130)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9083960B2 (en) | 2013-01-30 | 2015-07-14 | Qualcomm Incorporated | Real-time 3D reconstruction with power efficient depth sensor usage |
US11172126B2 (en) * | 2013-03-15 | 2021-11-09 | Occipital, Inc. | Methods for reducing power consumption of a 3D image capture system |
US9772173B2 (en) | 2013-06-27 | 2017-09-26 | Faro Technologies, Inc. | Method for measuring 3D coordinates of a surface with a portable articulated arm coordinate measuring machine having a camera |
WO2015006224A1 (en) * | 2013-07-08 | 2015-01-15 | Vangogh Imaging, Inc. | Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis |
KR102137264B1 (ko) * | 2013-07-09 | 2020-07-24 | 삼성전자주식회사 | 카메라 포즈 추정 장치 및 방법 |
JP6102648B2 (ja) * | 2013-09-13 | 2017-03-29 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
US9438775B2 (en) | 2013-09-17 | 2016-09-06 | Occipital, Inc. | Apparatus for real-time 3D capture |
US9336440B2 (en) * | 2013-11-25 | 2016-05-10 | Qualcomm Incorporated | Power efficient use of a depth sensor on a mobile device |
US9171403B2 (en) * | 2014-02-13 | 2015-10-27 | Microsoft Technology Licensing, Llc | Contour completion for augmenting surface reconstructions |
CN107084710B (zh) | 2014-05-05 | 2020-06-12 | 赫克斯冈技术中心 | 相机模块和测量子系统 |
US20150332464A1 (en) | 2014-05-19 | 2015-11-19 | Occipital, Inc. | Methods for automatic registration of 3d image data |
US10021379B2 (en) | 2014-06-12 | 2018-07-10 | Faro Technologies, Inc. | Six degree-of-freedom triangulation scanner and camera for augmented reality |
US9402070B2 (en) | 2014-06-12 | 2016-07-26 | Faro Technologies, Inc. | Coordinate measuring device with a six degree-of-freedom handheld probe and integrated camera for augmented reality |
US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US20160027214A1 (en) * | 2014-07-25 | 2016-01-28 | Robert Memmott | Mouse sharing between a desktop and a virtual world |
US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
US10311638B2 (en) * | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US9904055B2 (en) | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
CN107155341B (zh) | 2014-07-31 | 2020-01-10 | 惠普发展公司,有限责任合伙企业 | 三维扫描系统和框架 |
WO2016025358A1 (en) * | 2014-08-11 | 2016-02-18 | Faro Technologies, Inc. | A six degree-of-freedom triangulation scanner and camera for augmented reality |
KR20160022086A (ko) * | 2014-08-19 | 2016-02-29 | 한국과학기술연구원 | 3d 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램 |
DE112014006911T5 (de) * | 2014-08-29 | 2017-05-11 | Technische Universität München | Verfahren und System zum Scannen eines Objekts unter Verwendung eines RGB-D-Sensors |
US10484697B2 (en) | 2014-09-09 | 2019-11-19 | Qualcomm Incorporated | Simultaneous localization and mapping for video coding |
US10176625B2 (en) | 2014-09-25 | 2019-01-08 | Faro Technologies, Inc. | Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images |
US20170336203A1 (en) * | 2014-10-26 | 2017-11-23 | Galileo Group, Inc. | Methods and systems for remote sensing with drones and mounted sensor devices |
US10455134B2 (en) | 2014-10-26 | 2019-10-22 | Galileo Group, Inc. | Temporal processes for aggregating multi dimensional data from discrete and distributed collectors to provide enhanced space-time perspective |
US9710960B2 (en) | 2014-12-04 | 2017-07-18 | Vangogh Imaging, Inc. | Closed-form 3D model generation of non-rigid complex objects from incomplete and noisy scans |
US9506744B2 (en) | 2014-12-16 | 2016-11-29 | Faro Technologies, Inc. | Triangulation scanner and camera for augmented reality |
CN107077197B (zh) | 2014-12-19 | 2020-09-01 | 惠普发展公司,有限责任合伙企业 | 3d可视化图 |
CN104616127B (zh) * | 2015-01-16 | 2018-04-03 | 北京邮电大学 | 一种基于rfid系统的三维重构仓储运维系统及方法 |
US20160291154A1 (en) | 2015-04-01 | 2016-10-06 | Vayavision, Ltd. | Apparatus for acquiring 3-dimensional maps of a scene |
EP3076579A1 (en) * | 2015-04-02 | 2016-10-05 | Thomson Licensing | Devices and methods for encryption and decryption of graphical 3d objects |
US20160321838A1 (en) * | 2015-04-29 | 2016-11-03 | Stmicroelectronics S.R.L. | System for processing a three-dimensional (3d) image and related methods using an icp algorithm |
US10366534B2 (en) * | 2015-06-10 | 2019-07-30 | Microsoft Technology Licensing, Llc | Selective surface mesh regeneration for 3-dimensional renderings |
US9906715B2 (en) | 2015-07-08 | 2018-02-27 | Htc Corporation | Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device |
US10699476B2 (en) * | 2015-08-06 | 2020-06-30 | Ams Sensors Singapore Pte. Ltd. | Generating a merged, fused three-dimensional point cloud based on captured images of a scene |
US10559130B2 (en) * | 2015-08-31 | 2020-02-11 | Microsoft Technology Licensing, Llc | Displaying image data behind surfaces |
US10404962B2 (en) * | 2015-09-24 | 2019-09-03 | Intel Corporation | Drift correction for camera tracking |
IL286156B1 (en) | 2015-11-20 | 2024-03-01 | Magic Leap Inc | Methods and systems for large-scale determination of RGBD camera displays |
FR3046014A1 (fr) | 2015-12-21 | 2017-06-23 | Orange | Procede de gestion de ressources sur un terminal |
CN105654547B (zh) * | 2015-12-23 | 2018-06-19 | 中国科学院自动化研究所 | 三维重建方法 |
CN106997582A (zh) * | 2016-01-22 | 2017-08-01 | 北京三星通信技术研究有限公司 | 飞行时间三维传感器的运动模糊消除方法和设备 |
KR102406327B1 (ko) * | 2016-02-02 | 2022-06-10 | 삼성전자주식회사 | 출력 장치를 제어하는 방법 및 장치 |
US10229502B2 (en) * | 2016-02-03 | 2019-03-12 | Microsoft Technology Licensing, Llc | Temporal time-of-flight |
US10482681B2 (en) | 2016-02-09 | 2019-11-19 | Intel Corporation | Recognition-based object segmentation of a 3-dimensional image |
US10373380B2 (en) | 2016-02-18 | 2019-08-06 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
JP6987797B2 (ja) | 2016-03-11 | 2022-01-05 | カールタ インコーポレイテッド | リアルタイムオンラインエゴモーション推定を有するレーザスキャナ |
US11567201B2 (en) | 2016-03-11 | 2023-01-31 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
US11573325B2 (en) | 2016-03-11 | 2023-02-07 | Kaarta, Inc. | Systems and methods for improvements in scanning and mapping |
US10989542B2 (en) | 2016-03-11 | 2021-04-27 | Kaarta, Inc. | Aligning measured signal data with slam localization data and uses thereof |
US10841491B2 (en) * | 2016-03-16 | 2020-11-17 | Analog Devices, Inc. | Reducing power consumption for time-of-flight depth imaging |
US10616552B2 (en) * | 2016-03-25 | 2020-04-07 | Intel Corporation | Multi-modal real-time camera localization and environment mapping |
CN105931240B (zh) * | 2016-04-21 | 2018-10-19 | 西安交通大学 | 三维深度感知装置及方法 |
US10319141B2 (en) | 2016-06-21 | 2019-06-11 | Apple Inc. | Method and system for vision based 3D reconstruction and object tracking |
US10237531B2 (en) | 2016-06-22 | 2019-03-19 | Microsoft Technology Licensing, Llc | Discontinuity-aware reprojection |
US10129523B2 (en) | 2016-06-22 | 2018-11-13 | Microsoft Technology Licensing, Llc | Depth-aware reprojection |
US10573018B2 (en) * | 2016-07-13 | 2020-02-25 | Intel Corporation | Three dimensional scene reconstruction based on contextual analysis |
KR102529120B1 (ko) | 2016-07-15 | 2023-05-08 | 삼성전자주식회사 | 영상을 획득하는 방법, 디바이스 및 기록매체 |
GB2552648B (en) * | 2016-07-22 | 2020-09-16 | Imperial College Sci Tech & Medicine | Estimating dimensions for an enclosed space using a multi-directional camera |
US10574909B2 (en) | 2016-08-08 | 2020-02-25 | Microsoft Technology Licensing, Llc | Hybrid imaging sensor for structured light object capture |
EP3800618B1 (en) * | 2016-08-30 | 2022-12-07 | Snap Inc. | Systems and methods for simultaneous localization and mapping |
US10339716B1 (en) | 2016-09-19 | 2019-07-02 | Occipital, Inc. | System and method for dense, large scale scene reconstruction |
US10447998B2 (en) * | 2016-09-30 | 2019-10-15 | Intel Corporation | Power efficient long range depth sensing |
CA3037276A1 (en) * | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Surface modeling systems and methods |
TWI595446B (zh) * | 2016-10-19 | 2017-08-11 | 國立清華大學 | 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 |
CN108280851B (zh) * | 2017-01-05 | 2024-04-19 | 钰立微电子股份有限公司 | 深度图产生装置 |
US10554909B2 (en) | 2017-01-10 | 2020-02-04 | Galileo Group, Inc. | Systems and methods for spectral imaging with a transmitter using a plurality of light sources |
US10893182B2 (en) | 2017-01-10 | 2021-01-12 | Galileo Group, Inc. | Systems and methods for spectral imaging with compensation functions |
US10445928B2 (en) | 2017-02-11 | 2019-10-15 | Vayavision Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
US10628950B2 (en) | 2017-03-01 | 2020-04-21 | Microsoft Technology Licensing, Llc | Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping |
WO2018170490A1 (en) | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Technique for recording augmented reality data |
EP3392834B1 (en) * | 2017-04-17 | 2019-12-25 | HTC Corporation | 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium |
EP3646058A4 (en) * | 2017-06-30 | 2020-12-02 | Kaarta, Inc. | SYSTEMS AND METHODS FOR IMPROVING SCAN AND IMAGING |
US20190012835A1 (en) * | 2017-07-07 | 2019-01-10 | Microsoft Technology Licensing, Llc | Driving an Image Capture System to Serve Plural Image-Consuming Processes |
CN108269279B (zh) * | 2017-07-17 | 2019-11-08 | 先临三维科技股份有限公司 | 基于单目三维扫描系统的三维重构方法和装置 |
US11095854B2 (en) | 2017-08-07 | 2021-08-17 | Verizon Patent And Licensing Inc. | Viewpoint-adaptive three-dimensional (3D) personas |
US10460515B2 (en) | 2017-08-07 | 2019-10-29 | Jaunt, Inc. | Systems and methods for reference-model-based modification of a three-dimensional (3D) mesh data model |
EP3441788A1 (en) * | 2017-08-08 | 2019-02-13 | Koninklijke Philips N.V. | Apparatus and method for generating a representation of a scene |
WO2019075473A1 (en) | 2017-10-15 | 2019-04-18 | Analog Devices, Inc. | METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE |
US10594917B2 (en) | 2017-10-30 | 2020-03-17 | Microsoft Technology Licensing, Llc | Network-controlled 3D video capture |
CN107909643B (zh) * | 2017-11-06 | 2020-04-24 | 清华大学 | 基于模型分割的混合场景重建方法及装置 |
WO2019099605A1 (en) | 2017-11-17 | 2019-05-23 | Kaarta, Inc. | Methods and systems for geo-referencing mapping systems |
US10529086B2 (en) * | 2017-11-22 | 2020-01-07 | Futurewei Technologies, Inc. | Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system |
US11157985B2 (en) * | 2017-11-29 | 2021-10-26 | Ditto Technologies, Inc. | Recommendation system, method and computer program product based on a user's physical features |
US10636219B2 (en) * | 2017-12-22 | 2020-04-28 | Magic Leap, Inc. | Viewpoint dependent brick selection for fast volumetric reconstruction |
CN108122281B (zh) * | 2017-12-22 | 2021-08-24 | 洛阳中科众创空间科技有限公司 | 一种大范围实时人体三维重建方法 |
WO2019165194A1 (en) | 2018-02-23 | 2019-08-29 | Kaarta, Inc. | Methods and systems for processing and colorizing point clouds and meshes |
US10628920B2 (en) | 2018-03-12 | 2020-04-21 | Ford Global Technologies, Llc | Generating a super-resolution depth-map |
KR102459717B1 (ko) | 2018-03-29 | 2022-10-27 | 삼성전자 주식회사 | 이미지에 포함된 반사 객체의 속성에 기반하여, 반사 객체에 다른 이미지를 합성하는 방법 및 전자 장치 |
JP2019185076A (ja) * | 2018-03-31 | 2019-10-24 | 株式会社スペシャルエフエックススタジオ | 端末の表示画像の表示法 |
US11030721B2 (en) * | 2018-04-24 | 2021-06-08 | Snap Inc. | Efficient parallel optical flow algorithm and GPU implementation |
DE112019002126T5 (de) * | 2018-04-26 | 2021-01-07 | Sony Corporation | Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür |
CN110415329B (zh) | 2018-04-26 | 2023-10-13 | 财团法人工业技术研究院 | 三维建模装置及应用于其的校准方法 |
CN108648274B (zh) * | 2018-05-10 | 2020-05-22 | 华南理工大学 | 一种视觉slam的认知点云地图创建系统 |
WO2020009826A1 (en) | 2018-07-05 | 2020-01-09 | Kaarta, Inc. | Methods and systems for auto-leveling of point clouds and 3d models |
US10948297B2 (en) * | 2018-07-09 | 2021-03-16 | Samsung Electronics Co., Ltd. | Simultaneous location and mapping (SLAM) using dual event cameras |
US10776943B2 (en) | 2018-07-17 | 2020-09-15 | Samsung Electronics Co., Ltd. | System and method for 3D association of detected objects |
TWI725522B (zh) * | 2018-08-28 | 2021-04-21 | 鈺立微電子股份有限公司 | 具有校正功能的影像擷取系統 |
DE112019004517T5 (de) | 2018-09-10 | 2021-06-02 | Fanuc America Corporation | Roboterkalibrierung für ar (augmented reality) und digitaler zwilling |
TWI686747B (zh) * | 2018-11-29 | 2020-03-01 | 財團法人金屬工業研究發展中心 | 移動載具全周障礙迴避之方法 |
US11089279B2 (en) * | 2018-12-06 | 2021-08-10 | Htc Corporation | 3D image processing method, camera device, and non-transitory computer readable storage medium |
CN109631799B (zh) * | 2019-01-09 | 2021-03-26 | 浙江浙大万维科技有限公司 | 一种智能化的测量与标记方法 |
US10686980B1 (en) | 2019-01-22 | 2020-06-16 | Daqri, Llc | Systems and methods for generating composite depth images based on signals from an inertial sensor |
US11187070B2 (en) * | 2019-01-31 | 2021-11-30 | Halliburton Energy Services, Inc. | Downhole depth extraction using structured illumination |
WO2020209491A1 (en) | 2019-04-11 | 2020-10-15 | Samsung Electronics Co., Ltd. | Head-mounted display device and operating method of the same |
US10867220B2 (en) | 2019-05-16 | 2020-12-15 | Rpx Corporation | Systems and methods for generating composite sets of data from different sensors |
US11030772B2 (en) * | 2019-06-03 | 2021-06-08 | Microsoft Technology Licensing, Llc | Pose synthesis |
US10613203B1 (en) * | 2019-07-01 | 2020-04-07 | Velodyne Lidar, Inc. | Interference mitigation for light detection and ranging |
US11562541B2 (en) * | 2019-09-13 | 2023-01-24 | Board Of Regents, The University Of Texas System | Topology-change-aware volumetric fusion for real-time dynamic 4D reconstruction |
KR102203173B1 (ko) * | 2019-11-22 | 2021-01-15 | 한방유비스 주식회사 | 증강현실 기반의 소방시설 점검 방법, 장치 및 컴퓨터-판독가능 기록매체 |
US11315266B2 (en) * | 2019-12-16 | 2022-04-26 | Robert Bosch Gmbh | Self-supervised depth estimation method and system |
KR102391376B1 (ko) * | 2019-12-31 | 2022-04-28 | 광운대학교 산학협력단 | 3d 모델링 장치 및 방법 |
CN111223049B (zh) * | 2020-01-07 | 2021-10-22 | 武汉大学 | 一种基于结构-纹理分解的遥感图像变分融合方法 |
CA3167578A1 (en) * | 2020-02-12 | 2021-08-19 | Jose Araujo | Depth sensor activation for localization based on data from monocular camera |
AU2021229706A1 (en) | 2020-03-06 | 2022-04-28 | Yembo, Inc. | Systems and methods for building a virtual representation of a location |
CN111539988B (zh) * | 2020-04-15 | 2024-04-09 | 京东方科技集团股份有限公司 | 一种视觉里程计实现方法、装置和电子设备 |
US11232315B2 (en) * | 2020-04-28 | 2022-01-25 | NextVPU (Shanghai) Co., Ltd. | Image depth determining method and living body identification method, circuit, device, and medium |
EP4177845A4 (en) * | 2020-07-06 | 2023-12-20 | Shining 3D Tech Co., Ltd. | METHOD AND APPARATUS FOR GENERATION OF DIGITAL MODEL |
EP4185924A1 (en) | 2020-07-21 | 2023-05-31 | Leddartech Inc. | Beam-steering device particularly for lidar systems |
CA3194223A1 (en) | 2020-07-21 | 2021-10-06 | Leddartech Inc. | Beam-steering device particularly for lidar systems |
WO2022016277A1 (en) | 2020-07-21 | 2022-01-27 | Leddartech Inc. | Systems and methods for wide-angle lidar using non-uniform magnification optics |
CN111862316B (zh) * | 2020-07-28 | 2024-01-05 | 杭州深瞳科技有限公司 | 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法 |
KR20220033924A (ko) | 2020-09-10 | 2022-03-17 | 삼성전자주식회사 | 증강 현실 장치 및 그 제어 방법 |
JP7300436B2 (ja) * | 2020-11-17 | 2023-06-29 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、システム、情報処理方法および情報処理プログラム |
CN112380312B (zh) * | 2020-11-30 | 2022-08-05 | 北京智行者科技股份有限公司 | 基于栅格检测的激光地图更新方法、终端及计算机设备 |
CN115222810A (zh) * | 2021-06-30 | 2022-10-21 | 达闼科技(北京)有限公司 | 目标位姿估计方法、装置、计算设备及存储介质 |
US11908080B2 (en) * | 2022-04-04 | 2024-02-20 | Tencent America LLC | Generating surfaces with arbitrary topologies using signed distance fields |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3133834B2 (ja) * | 1992-08-19 | 2001-02-13 | キヤノン株式会社 | 座標入力装置及びその方法 |
JPH0895487A (ja) * | 1994-09-22 | 1996-04-12 | Sony Corp | 歩行用障害物検知装置 |
JP3581911B2 (ja) * | 1996-06-07 | 2004-10-27 | コニカミノルタホールディングス株式会社 | 移動走行車 |
EP2252071A3 (en) * | 1997-12-05 | 2017-04-12 | Dynamic Digital Depth Research Pty. Ltd. | Improved image conversion and encoding techniques |
US7957583B2 (en) * | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
CN101271588B (zh) * | 2007-10-26 | 2012-01-11 | 威盛电子股份有限公司 | 可重建几何阴影图方法 |
US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
TW201005673A (en) * | 2008-07-18 | 2010-02-01 | Ind Tech Res Inst | Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system |
CN101388115B (zh) * | 2008-10-24 | 2011-07-27 | 北京航空航天大学 | 一种结合纹理信息的深度图像自动配准方法 |
US9400503B2 (en) | 2010-05-20 | 2016-07-26 | Irobot Corporation | Mobile human interface robot |
US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
US8711206B2 (en) | 2011-01-31 | 2014-04-29 | Microsoft Corporation | Mobile camera localization using depth maps |
US9354310B2 (en) * | 2011-03-03 | 2016-05-31 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound |
US10972680B2 (en) | 2011-03-10 | 2021-04-06 | Microsoft Technology Licensing, Llc | Theme-based augmentation of photorepresentative view |
US9053571B2 (en) | 2011-06-06 | 2015-06-09 | Microsoft Corporation | Generating computer models of 3D objects |
RU2455676C2 (ru) | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
GB2492833A (en) * | 2011-07-14 | 2013-01-16 | Softkinetic Sensors Nv | LED boost converter driver circuit for Time Of Flight light sources |
US8462155B1 (en) * | 2012-05-01 | 2013-06-11 | Google Inc. | Merging three-dimensional models based on confidence scores |
US9083960B2 (en) | 2013-01-30 | 2015-07-14 | Qualcomm Incorporated | Real-time 3D reconstruction with power efficient depth sensor usage |
CN103170973B (zh) * | 2013-03-28 | 2015-03-11 | 上海理工大学 | 人机协作装置及实现人机协作的方法 |
US9336440B2 (en) * | 2013-11-25 | 2016-05-10 | Qualcomm Incorporated | Power efficient use of a depth sensor on a mobile device |
-
2014
- 2014-01-22 US US14/161,140 patent/US9083960B2/en active Active
- 2014-01-27 HU HUE14703514A patent/HUE038287T2/hu unknown
- 2014-01-27 WO PCT/US2014/013211 patent/WO2014120613A1/en active Application Filing
- 2014-01-27 ES ES14703514.1T patent/ES2675171T3/es active Active
- 2014-01-27 JP JP2015555387A patent/JP5951908B2/ja active Active
- 2014-01-27 KR KR1020157023223A patent/KR101654174B1/ko active IP Right Grant
- 2014-01-27 CN CN201480006432.1A patent/CN104956404B/zh active Active
- 2014-01-27 EP EP14703514.1A patent/EP2951788B1/en active Active
- 2014-01-29 TW TW105116553A patent/TWI583176B/zh not_active IP Right Cessation
- 2014-01-29 TW TW103103655A patent/TWI544781B/zh not_active IP Right Cessation
-
2015
- 2015-06-03 US US14/730,146 patent/US9443350B2/en active Active
-
2016
- 2016-06-08 JP JP2016114190A patent/JP6189483B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
TW201631963A (zh) | 2016-09-01 |
KR20150111999A (ko) | 2015-10-06 |
CN104956404B (zh) | 2018-09-21 |
CN104956404A (zh) | 2015-09-30 |
TWI583176B (zh) | 2017-05-11 |
HUE038287T2 (hu) | 2018-10-29 |
JP2016164811A (ja) | 2016-09-08 |
TW201440490A (zh) | 2014-10-16 |
TWI544781B (zh) | 2016-08-01 |
EP2951788B1 (en) | 2018-05-09 |
US9443350B2 (en) | 2016-09-13 |
EP2951788A1 (en) | 2015-12-09 |
US9083960B2 (en) | 2015-07-14 |
JP2016514384A (ja) | 2016-05-19 |
KR101654174B1 (ko) | 2016-09-05 |
US20140139639A1 (en) | 2014-05-22 |
US20150294499A1 (en) | 2015-10-15 |
JP6189483B2 (ja) | 2017-08-30 |
ES2675171T3 (es) | 2018-07-09 |
WO2014120613A1 (en) | 2014-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6189483B2 (ja) | 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 | |
JP6552729B2 (ja) | 異なる分解能を有するセンサーの出力を融合するシステム及び方法 | |
JP6125100B2 (ja) | 点特徴と線特徴とを使用する堅牢な追跡 | |
EP2992508B1 (en) | Diminished and mediated reality effects from reconstruction | |
US9779508B2 (en) | Real-time three-dimensional reconstruction of a scene from a single camera | |
US20140369557A1 (en) | Systems and Methods for Feature-Based Tracking | |
KR102169492B1 (ko) | 평면의 자연스러운 특성 타겟들의 인시츄 생성 | |
WO2016111841A1 (en) | 3d object segmentation | |
WO2020237089A1 (en) | Caching and updating of dense 3d reconstruction data | |
JP2018518748A (ja) | 追跡可能性の測定によるキーポイント検出 | |
KR20180039013A (ko) | 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리 | |
US20230047211A1 (en) | Method and system for automatic characterization of a three-dimensional (3d) point cloud | |
KR20220106063A (ko) | 타겟 평면 검출 및 공간 추정을 위한 장치 및 방법 | |
US20240144595A1 (en) | 3d scene reconstruction with additional scene attributes | |
CN114445549A (zh) | 基于slam的三维稠密面元建图方法及其系统和电子设备 | |
CN116958227A (zh) | 场景图像的深度图生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5951908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |