JP6328351B2 - 3dシーンを3dモデルとして再構成する方法 - Google Patents
3dシーンを3dモデルとして再構成する方法 Download PDFInfo
- Publication number
- JP6328351B2 JP6328351B2 JP2017545611A JP2017545611A JP6328351B2 JP 6328351 B2 JP6328351 B2 JP 6328351B2 JP 2017545611 A JP2017545611 A JP 2017545611A JP 2017545611 A JP2017545611 A JP 2017545611A JP 6328351 B2 JP6328351 B2 JP 6328351B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pose
- images
- rgbd
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000036544 posture Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Discrete Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
1. エッジ203によって連結される2つの画像が、双方とも広FOV RGB画像である。
2. エッジ204によって連結される2つの画像が、双方とも狭FOV RGBD画像である。
3. エッジ205によって連結される画像の一方が広FOV RGB画像であり、他方の画像が狭FOV RGBD画像である。
Claims (14)
- 3次元(3D)シーンを3次元(3D)モデルとして再構成する方法であって、
前記シーンから、センサーを用いて、赤、緑、青、及び奥行き(RGBD)画像と、異なる視点からのカメラを用いて、広視野(FOV)の赤、緑、及び青(RGB)画像とを取得するステップと、
前記RGBD画像及び前記RGB画像の中からペアごとの点マッチを特定するステップと、
前記ペアごとの点マッチを用いてノード及びエッジのグラフを構築するステップであって、該ノードは前記RGBD画像及び前記RGB画像を表し、該エッジは前記RGBD画像と前記RGB画像との間の姿勢制約を表している、ステップと、
前記姿勢制約を用いて、前記RGBD画像及び前記RGB画像の初期姿勢を推定するステップと、
前記推定された姿勢を用いて前記シーンの初期3Dモデルを推定するステップと、
前記グラフ内の誤ったエッジを除去するステップと、
前記初期姿勢及び前記初期3Dモデルに対してバンドル調整を適用して前記シーンの精緻化された姿勢及び前記3Dモデルを得るステップと、
を含み、前記ステップはプロセッサにおいて実行される、方法。 - 2つの画像間のマッチングを特定することを更に含み、各画像はRGBD画像又はRGB画像とすることができる、請求項1に記載の方法。
- 前記ペアごとの点マッチは、高速化ロバスト特徴(SURF)を用いて求められる、請求項1に記載の方法。
- 前記特定するステップは、集合局所記述子ベクトル(VLAD)を用いる、請求項1に記載の方法。
- 3点3Dto3D位置合わせを用いて、2つのRGBD画像間の前記初期姿勢を求める、請求項1に記載の方法。
- 3点2Dto3D姿勢推定を用いて、少なくとも1つのRGB画像と少なくとも1つのRGBD画像との間の前記初期姿勢を求める、請求項1に記載の方法。
- 5点2Dto2D相対姿勢推定を用いて、2つのRGB画像間の前記初期姿勢を求める、請求項1に記載の方法。
- 各エッジに重みを割り当てることと、
前記姿勢制約と前記重みに基づく最小全域木とを用いて、前記グラフにおいてノードとして表される前記画像の前記初期姿勢を推定することと、
を更に含む、請求項1に記載の方法。 - 前記重みは、1つのエッジによって連結される前記ノードによって表される画像間の前記ペアごとの点マッチの数に基づいている、請求項8に記載の方法。
- 前記誤ったエッジは、異なるエッジを用いて推定される姿勢間の不整合に基づいて除去される、請求項1に記載の方法。
- 前記センサーは赤外線(IR)センサーである、請求項1に記載の方法。
- 少なくとも1つのRGB画像は少なくとも2つのRGBD画像に重なる、請求項1に記載の方法。
- 各エッジは、前記画像間の十分な数のペアごとの点マッチを表す、請求項1に記載の方法。
- 距離メトリックに基づいて前記精緻化された姿勢から遠い前記姿勢は、前記誤ったエッジの1つである、請求項1に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/741,532 US9460513B1 (en) | 2015-06-17 | 2015-06-17 | Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras |
US14/741,532 | 2015-06-17 | ||
PCT/JP2016/002740 WO2016203731A1 (en) | 2015-06-17 | 2016-06-07 | Method for reconstructing 3d scene as 3d model |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018510419A JP2018510419A (ja) | 2018-04-12 |
JP6328351B2 true JP6328351B2 (ja) | 2018-05-23 |
Family
ID=56203873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017545611A Active JP6328351B2 (ja) | 2015-06-17 | 2016-06-07 | 3dシーンを3dモデルとして再構成する方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9460513B1 (ja) |
EP (1) | EP3308323B1 (ja) |
JP (1) | JP6328351B2 (ja) |
CN (1) | CN107690650B (ja) |
WO (1) | WO2016203731A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102622754B1 (ko) * | 2016-09-07 | 2024-01-10 | 삼성전자주식회사 | 이미지 합성 방법 및 이를 지원하는 전자 장치 |
US11132810B2 (en) * | 2017-02-01 | 2021-09-28 | Hitachi, Ltd. | Three-dimensional measurement apparatus |
US10832078B2 (en) | 2017-08-11 | 2020-11-10 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for concurrent reconstruction of dynamic and static objects |
WO2019058487A1 (ja) * | 2017-09-21 | 2019-03-28 | オリンパス株式会社 | 3次元復元画像処理装置、3次元復元画像処理方法及び3次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
CN108592919B (zh) * | 2018-04-27 | 2019-09-17 | 百度在线网络技术(北京)有限公司 | 制图与定位方法、装置、存储介质和终端设备 |
CN109191526B (zh) * | 2018-09-10 | 2020-07-07 | 杭州艾米机器人有限公司 | 基于rgbd摄像头和光编码器的三维环境重建方法及系统 |
CN109887026B (zh) * | 2019-02-20 | 2021-07-16 | 深圳市未来感知科技有限公司 | 多视角定位跟踪方法、装置、设备及计算机可读存储介质 |
JP2022074178A (ja) * | 2019-03-25 | 2022-05-18 | シャープ株式会社 | 3dモデル送信装置、及び、3dモデル受信装置 |
CN110348524B (zh) * | 2019-07-15 | 2022-03-04 | 深圳市商汤科技有限公司 | 一种人体关键点检测方法及装置、电子设备和存储介质 |
CN118247442B (zh) * | 2024-05-24 | 2024-08-02 | 杭州海康威视数字技术股份有限公司 | 神经辐射场重建模型生成方法、装置、设备、介质及产品 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1297691A2 (en) * | 2000-03-07 | 2003-04-02 | Sarnoff Corporation | Camera pose estimation |
US8918162B2 (en) * | 2007-04-17 | 2014-12-23 | Francine J. Prokoski | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US9183631B2 (en) * | 2012-06-29 | 2015-11-10 | Mitsubishi Electric Research Laboratories, Inc. | Method for registering points and planes of 3D data in multiple coordinate systems |
RU2012156158A (ru) * | 2012-12-24 | 2014-07-10 | ЭлЭсАй Корпорейшн | Генерация целевого изображения с использованием функционала на основе функций от информации из других изображений |
US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
US9483703B2 (en) * | 2013-05-14 | 2016-11-01 | University Of Southern California | Online coupled camera pose estimation and dense reconstruction from video |
CN104349155B (zh) * | 2014-11-25 | 2017-02-01 | 深圳超多维光电子有限公司 | 模拟立体图像显示方法及显示设备 |
-
2015
- 2015-06-17 US US14/741,532 patent/US9460513B1/en active Active
-
2016
- 2016-06-07 EP EP16731994.6A patent/EP3308323B1/en active Active
- 2016-06-07 JP JP2017545611A patent/JP6328351B2/ja active Active
- 2016-06-07 CN CN201680033319.1A patent/CN107690650B/zh active Active
- 2016-06-07 WO PCT/JP2016/002740 patent/WO2016203731A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3308323B1 (en) | 2021-02-24 |
CN107690650A (zh) | 2018-02-13 |
EP3308323A1 (en) | 2018-04-18 |
CN107690650B (zh) | 2018-10-19 |
JP2018510419A (ja) | 2018-04-12 |
WO2016203731A1 (en) | 2016-12-22 |
US9460513B1 (en) | 2016-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6328351B2 (ja) | 3dシーンを3dモデルとして再構成する方法 | |
CN111066065B (zh) | 用于混合深度正则化的系统和方法 | |
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
US10395383B2 (en) | Method, device and apparatus to estimate an ego-motion of a video apparatus in a SLAM type algorithm | |
US11176406B2 (en) | Edge-based recognition, systems and methods | |
KR101901586B1 (ko) | 로봇 위치 추정 장치 및 그 방법 | |
TWI569229B (zh) | 資料之登錄方法 | |
KR102097016B1 (ko) | 동작 분석 장치 및 방법 | |
WO2017041731A1 (en) | Markerless multi-user multi-object augmented reality on mobile devices | |
JP5158223B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
KR102483641B1 (ko) | 양안 시차 영상의 처리 방법 및 장치 | |
JP6040882B2 (ja) | 複数の3次元モデルをつなぎ合わせる装置、方法及びプログラム | |
KR101510312B1 (ko) | 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법 | |
JP4938748B2 (ja) | 画像認識装置及びプログラム | |
TWI599987B (zh) | 點雲拼接系統及方法 | |
JP6359985B2 (ja) | デプス推定モデル生成装置及びデプス推定装置 | |
JP5769248B2 (ja) | ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム | |
JP4687579B2 (ja) | 画像処理装置及び画像処理プログラム | |
WO2024212819A1 (zh) | 一种全景slam方法、装置、计算设备及存储介质 | |
KR102654614B1 (ko) | 깊이 이미지 생성 장치 및 그 동작 방법 | |
JP2018200175A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6675584B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
Jung et al. | 3D point cloud map reconstruction of cultural assets and terrain | |
JP2008003799A (ja) | データベース作成装置及びデータベース作成プログラム | |
JP2001338279A (ja) | 三次元形状計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180320 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6328351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |