KR20180062959A - 모바일 디바이스의 환경의 3ｄ 재구성을 위한 방법, 대응하는 컴퓨터 프로그램 제품 및 디바이스 - Google Patents

모바일 디바이스의 환경의 3ｄ 재구성을 위한 방법, 대응하는 컴퓨터 프로그램 제품 및 디바이스 Download PDF

Info

Publication number
KR20180062959A
KR20180062959A KR1020170163341A KR20170163341A KR20180062959A KR 20180062959 A KR20180062959 A KR 20180062959A KR 1020170163341 A KR1020170163341 A KR 1020170163341A KR 20170163341 A KR20170163341 A KR 20170163341A KR 20180062959 A KR20180062959 A KR 20180062959A
Authority
KR
South Korea
Prior art keywords
reconstruction
target portion
environment
mobile device
camera
Prior art date
Application number
KR1020170163341A
Other languages
English (en)
Inventor
타오 뤄
필립쁘 로베르
뱅쌍 알롬
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180062959A publication Critical patent/KR20180062959A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 방법이 제안된다. 이러한 방법은:
. 카메라에 의해 캡처된 적어도 하나의 영역의 제1 픽처들을 고려하는 제1 재구성 방법에 의해 환경의 적어도 하나의 영역의 개략 3D 재구성을 계산하는 단계(100);
. 제1 픽처들 중 적어도 하나를 고려하는 적어도 하나의 오브젝트 속성의 검출에 기초하여 적어도 하나의 타겟 부분이 환경에 존재하는지를 자동으로 결정하는 단계(110);
. 카메라에 의해 캡처된 적어도 하나의 타켓 부분의 제2 픽처들을 고려하는 제2 재구성 방법에 의해 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하는 단계(120);
. 환경의 3D 재구성을 제공하기 위해 계산된 재구성들을 집계하는 단계(130)를 포함한다.

Description

모바일 디바이스의 환경의 3Ｄ 재구성을 위한 방법, 대응하는 컴퓨터 프로그램 제품 및 디바이스{METHOD FOR 3D RECONSTRUCTION OF AN ENVIRONMENT OF A MOBILE DEVICE, CORRESPONDING COMPUTER PROGRAM PRODUCT AND DEVICE}
본 개시내용의 분야는 환경의 3D 재구성이다.
더욱 구체적으로, 본 개시내용은 모바일 디바이스의 환경의 3D 재구성을 위한 방법에 관한 것이다.
본 개시내용은 3D 재구성이 모바일 디바이스들에서 관심이 있는 임의의 분야에 관심이 있을 수 있다. 이것은 예를 들어, 네비게이션, 자율 로보틱스, 3D 프린팅, 가상 현실, 증강 현실 등과 같은 분야들에서의 경우일 수 있다.
본 섹션은 아래에 설명되고 그리고/또는 청구되는 본 개시내용의 다양한 양태들에 관련될 수 있는 종래 기술의 다양한 양태들을 독자에게 소개하는 것을 의도한다. 본 논의는 본 개시내용의 다양한 양태들의 더 양호한 이해를 용이하게 하기 위해 배경 정보를 독자에게 제공하는 데 있어서 도움이 될 것으로 여겨진다. 이에 따라, 이들 서술들은 종래 기술의 인정으로서가 아니라, 이러한 관점에서 읽어져야 한다는 것을 이해해야 한다.
현재, 라이브 또는 실시간 3D 재구성을 위해 모바일 디바이스들 상에서 구현될 수 있도록 "모션으로부터의 구조(Structure from Motion)"(SfM), "멀티-뷰 스테레오(Multi-View Stereo)"(MVS), 또는 "동시 국부화 및 매핑(Simultaneous Localization And Mapping)"(SLAM)과 같은 방법들을 적응(adapting)시키는 개발들이 존재한다(예를 들어, "P. Ondruska, P. Kohli, S. Izadi. "MobileFusion: Real-time Volumetric Surface Reconstruction and Dense Tracking on Mobile Phones." IEEE Transactions on Visualization & Computer Graphics, 2015." 참조). 그러나, 이들 방법들과 관련하여 고주파 잡음이 존재한다. 더욱이, 이들 기술들은 잘 텍스처된 오브젝트들의 기하학적 구조를 재구성할 때만 양호한 결과들을 일반적으로 초래한다. 광택이 나는 재료 또는 적은 텍스처와 같은 특정한 특징들을 갖는 오브젝트들에 대해, 재구성의 품질은 나빠지게 되며 대안의 기술이 양호한 3D 재구성을 달성하기 위해 고려될 수 있다.
이 관점에서, 측광 스테레오(예를 들어, "C. Hernandez, G. Vogiatzis, R. Cipolla. "Multi-view photometric stereo", PAMI, 2008." 참조)가 광택이 나는 재료 또는 적은 텍스처를 갖는 이러한 오브젝트들에 대한 더 세밀한 디테일들의 재구성 품질을 향상시키기 위한 대안의 방식이다. 그러나, 모바일 하드웨어의 제한, 예를 들어, 메모리, 처리 능력 및 배터리 용량하에서, 모바일 디바이스의 대규모 환경에서 이러한 측광 스테레오 방법을 적용하는 것은 불가능하다.
따라서, 예를 들어, 광택이 나는 재료로 이루어지거나 적은 텍스처를 갖는 특정한 특징들을 갖는 오브젝트들에 대해 계산적 필요성을 제한하고 더 세밀한 디테일들의 양호한 재구성 품질을 허용하면서 모바일 디바이스의 환경의 3D 재구성을 위한 방법이 필요하다.
본 개시내용의 특정한 양태는 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 방법에 관한 것이다. 이러한 방법은:
● 제1 재구성 방법에 의해 환경의 적어도 하나의 영역의 개략(coarse) 3D 재구성을 계산하는 단계 - 제1 재구성 방법은 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 영역의 적어도 제1 픽처들을 고려함 -;
● 적어도 하나의 오브젝트 속성들의 검출에 적어도 기초하여 환경에 적어도 하나의 타겟 부분이 존재하는지를 자동으로 결정하는 단계 - 검출은 제1 픽처들 중 적어도 하나를 고려함 -;
● 제2 재구성 방법에 의해 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하는 단계 - 제2 재구성 방법은 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 타겟 부분의 적어도 제2 픽처들을 고려함 -;
● 환경의 3D 재구성을 제공하기 위해 계산된 재구성들을 집성하는 단계를 포함한다.
따라서, 본 개시내용은 결정을 위한 계산적인 필요성들을 제한하면서 모바일 디바이스의 환경의 3D 재구성을 결정하기 위한 신규하고 발명적인 해결방안을 제안한다.
이것을 가능해지게 하기 위해, 개략 3D 재구성이 개략 3D 재구성의 품질이 최종 애플리케이션에 대해 충분히 양호하게 유지되는 환경의 영역들에 대해 모바일 디바이스의 카메라에 의해 캡처된 제1 이미지들에 기초하여 수행된다. 이것은 실제로 전체 재구성의 계산적 부하를 제한한다.
반대로, 모바일 디바이스의 카메라에 의해 캡처된 제2 이미지들(즉, 제1 이미지와 비교하여 상이한 본질의 이미지들)에 기초하여 정밀 3D 재구성의 사용은, 이에 대한 필요성이 있는 환경의 타겟 부분들, 즉, 개략 3D 재구성 방법에 속하는 덜 계산적인 요구 방법이 불량한 품질을 발생시키는 영역들에 대해 제한된다. 이 경우에, 정밀 3D 재구성만이 계산적인 부하가 더 제한하도록 이들 타겟 부분들에 대해 의도적으로 수행된다.
더욱이, 정밀 3D 재구성이 사용되어야 하는 타겟 부분의 결정은 개략 3D 재구성을 위해 사용되도록 의도된 제1 이미지들 중 적어도 일부에 존재하는 오브젝트 속성들의 검출에 기초하여 자동으로 수행된다. 따라서, 개략 3D 재구성 모드와 정밀 3D 재구성 모드 사이의 스위칭은 환경의 3D 재구성의 타겟 품질에 대한 전체 계산적인 부하를 최소화하기 위해 최적화된다.
마지막으로, 모바일 디바이스들의 고전 피처들, 예를 들어, 카메라 센서가 개시된 기술에 수반된다.
그 결과, 3D 재구성은 (메모리, 처리 능력, 및 배터리 용량을 포함하는) 모바일 디바이스의 제한된 하드웨어 능력들로 계산된 후 사용될 수 있다.
다양한 실시예에 따르면, 적어도 하나의 오브젝트 속성은:
● 타겟 부분이 그것의 이웃에 비해 두드러지는 품질을 나타내는 돌출 속성;
● 타겟 부분의 기하학적 속성;
● 타겟 부분의 오브젝트 분류를 나타내는 카테고리 속성; 및
● 돌출 속성, 기하학적 속성, 및 카테고리 속성의 가중 조합을 포함하는 그룹에 속한다.
따라서, 환경의 영역의 3D 재구성을 위해 사용될 동작의 모드(즉, 동작의 개략 또는 정밀 모드)가 목표 기준에 기초하여 자동으로 결정된다.
상이한 실시예에 따르면, 적어도 하나의 기하학적 속성은:
● 스케일 사이즈;
● 3D 포인트들의 분포 밀도;
● 평면도; 및
● 형상을 포함하는 그룹에 속한다.
일 실시예에 따르면, 자동으로 결정하는 단계는 모바일 디바이스의 사용자 인터페이스를 통해 환경에서 적어도 하나의 국부화된 영역을 국부화하는 단계를 더 포함하고, 적어도 하나의 타겟 부분은 적어도 하나의 국부화된 영역에서 자동으로 결정된다.
따라서, 사용자는 정밀 3D 재구성이 (예를 들어, 줌-인을 사용하고 환경에서 오브젝트 또는 더 작은 영역에 대해 2D 바운딩 곡선을 드로잉하여) 수행될 수 있는 타겟 부분에 대해 더욱 정확한 제어를 한다.
일 실시예에 따르면, 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하는 단계는, 모바일 디바이스의 사용자에 의해 적어도 하나의 타겟 부분을 검증하는 단계를 더 포함하고, 정밀 3D 재구성을 계산하는 단계는 적어도 하나의 타겟 부분이 검증될 때 수행된다.
따라서, 사용자는 (예를 들어, 정밀 3D 재구성을 활성화하기 위해 모바일 디바이스의 사용자 인터페이스에서 버튼을 누름으로써) 자동으로 결정되는 타겟 부분에 대한 정밀 3D 재구성의 계산의 여부를 제어한다.
일 실시예에 따르면, 환경의 적어도 하나의 영역의 개략 3D 재구성을 계산하는 단계는 제1 픽처들을 캡처하는 동작의 제1 모드에서 적어도 하나의 카메라를 활성화하는 단계를 더 포함한다.
따라서, 개략 3D 재구성 모드가 입력될 때 카메라와 연관된 일부 피처들은, 이러한 모드가 입력될 때 스위칭 온될 수 있고, 개략 3D 재구성이 중지될 때 스위칭 오프될 수 있다.
다른 실시예에 따르면, 환경의 적어도 하나의 영역의 개략 3D 재구성을 계산하는 단계는, 제공된 전처리된 제1 픽처들에 기초하여 개략 3D 재구성을 계산하기 이전에 카메라에 의해 캡처된 제1 픽처들을 전처리하는 단계를 더 포함하고, 전처리된 제1 픽처들의 사이즈는 모바일 디바이스의 계산 능력과 호환가능하다.
따라서, 영역의 개략 3D 재구성을 수행하기 위해 사용될 데이터는 계산적 부하를 제하하도록 더 최적화된다.
일 실시예에 따르면, 제1 재구성 방법은:
● 모션으로부터의 구조(SfM);
● 멀티-뷰 스테레오(MVS); 및
● 동시 국부화 및 매핑(SLAM)을 포함하는 그룹에 속한다.
따라서, 통상의 기술자에 의해 널리 공지된 방법들이 개략 3D 재구성을 수행하기 위해 실시될 수 있고, 따라서, 개시된 기술의 로버스트하고 효율적인 구현으로 이어진다.
일 실시예에 따르면, 모바일 디바이스는 깊이 센서를 더 포함하며, 환경의 적어도 하나의 영역의 개략 3D 재구성은 깊이 센서에 의해 전달된 영역의 깊이 맵들을 더 고려한다.
따라서, 영역의 개략 3D 재구성의 정확성이 모바일 디바이스의 추가의 센서에 의해 전달된 추가의 정보를 사용함으로써 향상될 수 있다.
일 실시예에 따르면, 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하는 단계는, 제2 픽처들을 캡처하는 동작의 제2 모드에서 적어도 하나의 카메라를 활성화하는 단계를 더 포함한다.
따라서, 카메라는 정밀 3D 재구성이 활성화될 때 동작의 특정한 모드에서 활성화된다. 이것은 이러한 모드가 입력될 때 카메라와 연관된 일부 피처들을 스위칭 온하게 하며, 정밀 3D 재구성이 중지될 때 이들 피처들을 스위칭 오프하게 한다.
일 실시예에 따르면, 모바일 디바이스는 제2 모드에서 활성화된 적어도 하나의 플래시 조명을 더 포함하며, 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하는 단계는 제2 픽처들 및 적어도 하나의 플래시 조명의 연관된 위치에 기초하여 측광 데이터를 고려하는 멀티뷰 측광 스테레오 방법을 실시하고, 적어도 하나의 플래시 조명의 연관된 위치는 모바일 디바이스의 적어도 하나의 카메라의 위치로부터 추정된다.
따라서, 제2 모드에서 활성화된 카메라에 의해 캡처된 제2 픽처들에 기초하여 제공된 측광 데이터에 기초하는 멀티뷰 측광 스테레오 방법이 정밀 3D 재구성을 수행하기 위해 실시될 수 있다. 이것은, 모바일 디바이스가 이동하더라도 플래시 조명의 위치가 카메라의 위치를 통해 획득될 수 있기 때문에 가능하다. 이것은 종래의 측광 스테레오 방법들을 통해 제2 이미지들을 캡처하는 카메라의 이동성을 이용하면서 개시된 기술의 효율적인 구현으로 이어진다.
일 실시예에 따르면, 멀티뷰 측광 스테레오 방법은 적어도 하나의 타겟 부분의 오브젝트 분류와 연관된 반사율을 더 고려한다.
따라서, 멀티뷰 측광 스테레오 방법의 처리 시간은 (예를 들어, 타겟 부분의 오브젝트 분류와 연관된 반사율과 같은 재료 파라미터들을 통해) 재구성될 타겟 부분의 반사율의 가용성으로 인해 감소된다.
일 실시예에 따르면, 제2 픽처들은 연속 픽처들을 포함하며, 측광 데이터는 연속 픽처들에서 동일한 위치의 픽셀들 사이의 대응에서의 신뢰 레벨을 고려하여 연속 픽처들로부터 선택된 픽처들에 기초한다.
따라서, 캡처된 픽처들은 신뢰가능한 정밀 3D 측광 컴퓨팅을 위해 또한 선택된다.
일 실시예에 따르면, 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하는 단계는, 제공된 전처리된 측광 데이터에 기초하여 정밀 3D 재구성을 계산하기 이전에 측광 데이터를 전처리하는 단계를 더 포함하고, 전처리된 측광 데이터의 사이즈는 모바일 디바이스의 계산 능력과 호환가능하다.
따라서, 타겟 부분의 정밀 3D 재구성을 수행하기 위해 사용될 데이터는, 계산적 부하를 제한하도록 (예를 들어, 키 프레임들, 패치 크로핑(patch cropping), 피처 표현들 등의 선택을 통해) 더 최적화될 수 있다.
일 실시예에 따르면, 적어도 하나의 영역에 대해 계산된 재구성들을 집성하는 단계는 환경의 3D 재구성인 것으로서 멀티-해상도 표현을 제공하는 멀티-뷰 스테레오 방법을 실시한다.
따라서, 환경의 3D 재구성의 렌더링이 모바일 디바이스와 같은 제한된 계산적 자원들을 갖는 디바이스에 대해 용이해진다.
본 개시내용의 다른 양태는, 컴퓨터 프로그램이 컴퓨터 또는 프로세서 상에서 실행될 때, (상이한 실시예들 중 어느 하나에서) 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 상기 언급한 방법을 구현하는 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
본 개시내용의 다른 양태는, 컴퓨터 또는 프로세서에 의해 실행될 때, 컴퓨터 또는 프로세서로 하여금 (상이한 실시예들 어느 하나에서) 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 상기 언급한 방법을 수행하게 하는 컴퓨터 프로그램을 저장한 비일시적 컴퓨터-판독가능 캐리어 매체에 관한 것이다.
본 개시내용의 다른 양태는 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 디바이스에 관한 것이다. 이러한 디바이스는 메모리 및 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는
● 제1 재구성 방법에 의해 환경의 적어도 하나의 영역의 개략 3D 재구성을 계산하고 - 제1 재구성 방법은 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 영역의 적어도 제1 픽처들을 고려함 -;
● 적어도 하나의 오브젝트 속성들의 검출에 적어도 기초하여 환경에 적어도 하나의 타겟 부분이 존재하는지를 자동으로 결정하고 - 검출은 제1 픽처들 중 적어도 하나를 고려함 -;
● 제2 재구성 방법에 의해 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하고 - 제2 재구성 방법은 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 타겟 부분의 적어도 제2 픽처들을 고려함 -;
● 환경의 3D 재구성을 제공하기 위해 계산된 재구성들을 집성하도록 구성된다.
본 개시내용의 또 다른 양태는 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 다른 디바이스에 관한 것이다. 이러한 디바이스는:
● 제1 재구성 방법에 의해 환경의 적어도 하나의 영역의 개략 3D 재구성을 계산하는 수단 - 제1 재구성 방법은 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 영역의 적어도 제1 픽처들을 고려함 -;
● 검출하는 수단에 의한 적어도 하나의 오브젝트 속성들의 검출에 적어도 기초하여 환경에 적어도 하나의 타겟 부분이 존재하는지를 자동으로 결정하는 수단 - 검출은 제1 픽처들 중 적어도 하나를 고려함 -;
● 제2 재구성 방법에 의해 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하는 수단 - 제2 재구성 방법은 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 타겟 부분의 적어도 제2 픽처들을 고려함 -;
● 환경의 3D 재구성을 제공하기 위해 계산된 재구성들을 집성하는 수단을 포함한다.
이러한 디바이스들은 특히, (상이한 실시예들 중 어느 하나에서) 본 개시내용에 따른 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 방법을 구현하기 위해 구성된다. 따라서, 이들 디바이스들의 특징들 및 이점들은 (상이한 실시예들 중 어느 하나에서) 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 개시된 방법과 동일하다.
본 개시내용의 다른 양태는 상기 개시된 바와 같은 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 디바이스를 포함하는 모바일 디바이스에 관한 것이다.
따라서, 이러한 모바일 디바이스의 특징들 및 이점들은 (상이한 실시예들 중 어느 하나에서) 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 개시된 방법과 동일하다.
상이한 실시예들에 따르면, 모바일 디바이스는 바람직하게는 모바일 폰 및 태블릿 중에서 선택된다.
실시예들의 다른 특징들 및 이점들은 예시적이고 비포괄적인 예들로서 첨부한 도면들로부터 주어진 아래의 설명으로부터 명백해질 것이다.
- 도 1a 및 도 1b는 본 개시내용의 상이한 실시예들에 따른 모바일 디바이스의 환경의 3D 재구성을 위한 개시된 방법의 특정한 실시예의 플로우차트들이다.
- 도 2는 도 1a 및 도 1b의 방법의 일 실시예에 따른 타겟 부분의 정밀 3D 재구성을 위해 실시된 멀티뷰 측광 스테레오 방법에 수반된 개념들을 예시한다.
- 도 3은 도 1a 및 도 1b의 방법의 일 실시예에 따른 모바일 디바이스의 변위 동안 모바일 디바이스의 환경의 3D 재구성을 위한 개시된 방법의 구현을 예시한다.
- 도 4는 도 1a 및 도 1b에 관련하여 개시된 상이한 실시예들에 따른 모바일 디바이스의 환경의 3D 재구성을 위한 방법을 구현하기 위해 사용될 수 있는 예시적인 디바이스의 구조적 블록들의 개략적 예시이다.
본 문서의 도면들 모두에서, 동일한 참조 부호들은 유사한 엘리먼트들 및 단계들을 나타낸다.
개시된 방법의 일반적 원리는 모바일 디바이스의 하나의 카메라에 의해 캡처된 영역의 적어도 제1 픽처들을 고려하는 제1 재구성 방법을 사용하여 모바일 디바이스의 환경의 영역의 개략 3D 재구성을 계산하는 것에 있다. 환경에서 타겟 부분의 존재는 제1 픽처들 중 적어도 하나를 고려하는 적어도 하나의 오브젝트 속성의 검출에 기초하여 자동으로 결정된다. 타겟 부분의 정밀 3D 재구성이 모바일 디바이스의 카메라에 의해 캡처되는 타겟 부분의 적어도 제2 픽처들을 고려하는 제2 재구성 방법을 사용하여 계산된다. 계산된 재구성들은 모바일 디바이스의 환경의 3D 재구성을 제공하기 위해 집성된다. 이것은 특정한 특징들을 갖는 오브젝트들, 즉, 타겟 부분들로서 자동으로 결정된 오브젝트들에 대한 더 세밀한 디테일들의 양호한 재구성 품질을 제공하면서 제한된 계산 비용으로 환경의 3D 재구성을 달성할 수 있게 한다.
이제 도 1a 및 도 1b를 참조하면, 본 개시내용의 상이한 실시예들에 따른 모바일 디바이스의 환경의 3D 재구성을 위한 방법을 예시한다.
블록(100)에서, 모바일 디바이스(200)의 환경의 영역의 개략 3D 재구성이 모바일 디바이스(200)의 카메라(201)에 의해 캡처되는 영역의 적어도 제1 픽처들을 고려하는 제1 재구성 방법을 사용하여 계산된다.
이를 위해, 블록(100a)에서, 모바일 디바이스(200)(예를 들어, 모바일 폰 또는 태블릿)의 카메라(201)는 제1 픽처들을 캡처하는 동작의 제1 모드에서, 예를 들어, 라이브로 활성화된다.
영역의 개략 3D 재구성을 구현하기 위해 사용된 제1 방법에 따라, 모바일 디바이스(200)의 카메라(201)는 상이한 방식들로 활성화될 수 있거나, 카메라(201)와 연관된 일부 피처들은 개략 3D 재구성 모드를 입력할 때 스위칭 온될 수 있고 개략 3D 재구성 모드가 중지될 때 스위칭 오프될 수 있다. 예를 들어, 카메라(201)는 컬러 모드(즉, 컬러를 캡처할 때 제1 픽처들)에서 활성화될 수 있으며, 카메라의 교정된 고유 파라미터들이 일정하게 유지된다.
다양한 실시예들에서, 제1 방법은:
● 모션으로부터의 구조(SfM);
● 멀티-뷰 스테레오(MVS); 및
● 동시 국부화 및 매핑(SLAM)을 포함하는 그룹에 속한다.
이들 경우들에서, 3D 개략 재구성은 예를 들어, "P. Ondruska, P. Kohli, S. Izadi. "MobileFusion: Real-time Volumetric Surface Reconstruction and Dense Tracking on Mobile Phones." IEEE Transactions on Visualization & Computer Graphics, 2015"에 논의된 바와 같은 통상의 기술자에 의해 널리 공지된 방법들에 기초한다.
이러한 방법들은 영역의 개략 3D 재구성을 계산하도록 깊이 맵들을 결정하기 위해 클래식한 포토그래픽 픽처들을 사용한다. 따라서, 이 경우에, 카메라(201)는 (예를 들어, CMOS 센서들의 사용에 기초한) 스마트폰들과 같은 모바일 디바이스들용으로 고전적으로 마주치는 컬러 카메라일 수 있다.
일 실시예에서, 모바일 디바이스(200)는 깊이 센서를 더 포함한다. 이 경우에, 영역의 개략 3D 재구성을 계산하기 위해 사용된 제1 방법은 깊이 센서에 의해 전달되는 영역의 깊이 맵들을 더 고려한다. 따라서, 영역의 개략 3D 재구성의 정확성은 모바일 디바이스의 추가의 센서에 의해 전달된 추가의 정보를 사용함으로써 향상될 수 있다.
동일한 방식으로, 제1 방법으로서 사용될 수 있는 상기 논의한 방법들은 개략 3D 재구성을 계산하기 위해 (예를 들어, 실시간 카메라 추적으로써) 카메라(201)에 의해 캡처된 제1 픽처들의 분석에 기초하여 모바일 디바이스(200)의 카메라(201)의 변위들을 결정한다. 그러나, 대안의 실시예들에서, 모바일 디바이스(200)에는, 그것의 변위를 유도하는 것을 허용하는 센서들, 예를 들어, 관성 측정 유닛, 가속도계, 자이로스코프, 나침반, GPS와 같은 위치 추적 디바이스 등이 더 장착된다. 이들 경우들에서, 영역의 개략 3D 재구성의 정확성은 모바일 디바이스의 이러한 추가의 센서들에 의해 전달된 추가의 정보를 사용함으로써 향상될 수 있다.
일 실시예에서, 블록(100b)에서, 카메라(201)에 의해 캡처된 제1 픽처들은 제공된 전처리된 제1 픽처들에 기초하여 개략 3D 재구성을 계산하기 이전에 전처리된다. 이 경우에, 전처리된 제1 픽처들의 사이즈는, 영역의 개략 3D 재구성의 계산적 부하가 (예를 들어, 전처리된 제1 픽처들의 사이즈가 모바일 디바이스의 메모리 및 계산 능력과 호환가능하게 하는 키 프레임들, 패치 크로핑, 피처 표현들 등의 선택을 통해) 더 최적화되도록 모바일 디바이스(200)의 계산 능력과 호환가능하게 이루어진다.
블록(110)에서, 적어도 하나의 오브젝트 속성의 검출에 적어도 기초하여 모바일 디바이스(200)의 환경에 타겟 부분(예를 들어, 개략 3D 재구성이 불량한 결과를 초래할 수 있는 환경의 특정한 오브젝트)이 존재하는지가 자동으로 결정된다. 이러한 검출은 환경의 하나 이상의 영역들로부터 카메라(201)에 의해 캡처된 제1 픽처들 중 적어도 하나를 고려한다.
다양한 실시예들에서, 이러한 오브젝트 속성은:
● 타겟 부분이 그것의 이웃에 비해 두드러지는 품질을 나타내는 돌출 속성;
● 타겟 부분의 기하학적 속성;
● 타겟 부분의 오브젝트 분류를 나타내는 카테고리 속성; 및
● 돌출 속성, 기하학적 속성, 및 카테고리 속성의 가중 조합을 포함하는 그룹에 속할 수 있다.
더욱 구체적으로, 타겟 부분은 예를 들어, 돌출 검출을 위한 공지된 방법을 사용하여 제1 픽처들 중 적어도 하나에서 돌출에 기초하여 자동으로 검출될 수 있다(예를 들어, "A. Borji, M. Cheng, H. Jiang, J. LI. "Salient Object Detection: A Survey." arXiv eprint, 2014" 참조). 돌출 검출을 위한 이러한 방법은 돌출 맵 및 전체 오브젝트의 세그먼테이션 모두를 일반적으로 출력한다. 돌출 맵에서 각각의 픽셀의 강도는 자동으로 검출되는 타겟 부분의 돌출 속성을 나타내는 돌출 스코어 값을 컴퓨팅하기 위해 사용될 수 있는, 돌출한 오브젝트들에 속하는 확률을 나타낼 수 있다.
동일한 방식으로, 다양한 실시예들에서, 기하학적 속성은:
● 스케일 사이즈;
● 3D 포인트들의 분포 밀도;
● 평면도; 및
● 형상을 포함하는 그룹에 속한다.
이러한 기하학적 속성은 결정되는 타겟 부분에서 특정한 기하학적 속성을 인지하도록, 환경의 하나 이상의 영역들로부터 캡처된 제1 픽처들(또는 블록(100b)이 구현되는지 여부에 따른 전처리된 제1 픽처들)의 처리를 통해 유도될 수 있다.
최종으로, 타겟 부분의 오브젝트 분류를 나타내는 카테고리 속성은 예를 들어, 타겟 부분의 재료에 기초하여 결정된다. 이것은 예를 들어, 잘-수행된 분류를 달성하기 위해 이미지네트 데이터세트에서 트레이닝되는 크고 깊은 콘볼루셔널 신경망을 사용함으로써 행해질 수 있다(예를 들어, "A. Krizhevsky, I. Sutskever, G.E. Hinton. "ImageNet Classification with Deep Convolutional Neural Networks." NIPS, 2012"를 참조). 그 후, 카테고리 속성은 오브젝트 분류에 속하는 다양한 카테고리들과 정밀화될 대응하는 타겟 부분에 대한 필요성을 나타내는 것으로서 해석될 수 있는 그들의 대응하는 카테고리 속성(예를 들어, 그들의 공통 재료 파라미터들)을 매핑하는 예를 들어, 대응 룩-업 테이블을 사용하여 오브젝트 분류로부터 유도될 수 있다. 예를 들어, 금속 재료는 나무 재료로 이루어진 타겟 부분보다 정밀 3D 재구성을 더 요구하는 금속으로 이루어진 대응하는 타겟 부분(즉, "광택을 내는" 오브젝트)을 만드는 카테고리 속성을 초래해야 한다.
일 실시예에서, 오브젝트 속성은 대응하는 타겟 부분이 정밀화될 필요가 있는지 여부를 결정하기 위해, 돌출 속성, 기하학적 속성, 및 카테고리 속성 중 2개 또는 3개의 가중 조합이다. 다양한 실시예들에서, 오브젝트 속성의 검출에서 사용된 가중치들은 사용자의 경험에 의해 조절될 수 있거나, 머신 학습 방법들을 사용하여 큰 데이터세트로부터의 학습된 파라미터들에 따라 초기화될 수 있다.
따라서, 이러한 오브젝트 속성의 검출에 기초하여, 정밀 3D 재구성이 계산될 수 있는 타겟 부분들은 자동으로 결정된다.
일 실시예에서, 블록(110a)에서, 환경에서의 적어도 하나의 국부화된 영역은 (예를 들어, 줌-인을 사용하고 환경에서 오브젝트 또는 더 작은 영역에 대해 2D 바운딩 곡선을 드로잉하여) 모바일 디바이스(200)의 사용자 인터페이스를 통해 국부화된다.
이 경우에, 타겟 부분은 실시예들 중 어느 하나에서, 블록(100)과 관련하여 상기 개시된 방법에 따라 국부화된 영역에서 자동으로 결정된다. 따라서, 모바일 디바이스(200)의 사용자는 정밀 3D 재구성이 수행될 수 있는 타겟 부분에 대해 더욱 정확하게 제어한다.
블록(120)에서, 블록(110)에서 자동으로 결정된 타겟 부분의 정밀 3D 재구성이 모바일 디바이스(200)의 카메라(201)에 의해 캡처되는 타겟 부분의 적어도 제2 픽처들을 고려하는 제2 재구성 방법을 사용하여 계산된다.
일 실시예에서, 블록(120a)에서, 정밀 3D 재구성이 수행되어야 하는 타겟 부분이 모바일 디바이스(200)의 사용자에 의해 먼저 검증된다.
예를 들어, 타겟 부분에 대해 블록(110)에서 결정된 오브젝트 속성은, 사용자가 (예를 들어, 정밀 3D 재구성을 활성화하기 위해 모바일 디바이스의 사용자 인터페이스에서의 버튼을 누름으로써) 관련된 목적 정보에 기초하여 타겟 부분을 검증할지 여부를 선택할 수 있도록 사용자 인터페이스를 통해 모바일 디바이스(200)의 사용자에제 제공될 수 있다.
이 경우에, 사용자는 자동으로 결정되는 타겟 부분에 대한 정밀 3D 재구성의 계산을 할지 여부를 제어한다.
블록(120b)에서, 모바일 디바이스(200)의 카메라(201)는 제2 픽처들을 캡처하는 동작의 제2 모드에서 활성화된다.
영역의 정밀 3D 재구성을 구현하기 위해 사용된 제2 방법에 따라, 모바일 디바이스(200)의 카메라(201)는 실제로는 상이한 방식들로 활성화될 수 있다. 이에 따라, 정밀 3D 재구성 모드가 입력될 때 카메라(201)와 연관된 일부 피처들은, 이러한 모드가 입력될 때 스위칭 온될 수 있고, 정밀 3D 재구성이 중지될 때 스위칭 오프될 수 있다.
예를 들어, 일 실시예에서, 제2 방법은 멀티뷰 측광 스테레오 방법이다. 이 경우에, 모바일 디바이스(200)는 측광 데이터가 기초하는 제2 피처들을 캡처하는 정밀 3D 재구성 모드를 입력할 때 활성화되는 적어도 하나의 플래시 조명(202)을 더 포함한다. 그 후, 플래시 조명(202)은 정밀 3D 재구성이 중지될 때 스위칭 오프된다. 플래시 조명이 온되면, 측광 데이터가 기초하는 제2 피처들의 캡처를 허용하는 것 이외에, 모바일 디바이스(200)가 정밀 3D 재구성 모드를 입력한 모바일 디바이스(200)의 사용자에게 경고할 수 있다. 따라서, 사용자는 정밀 3D 재구성에 수반되는 제2 방법을 실시하기 위해 요구된 제2 피처들의 캡처에 더욱 적응된 방식으로(예를 들어, 더욱 느리게, 또는 타겟 부분에 더 가깝게) 타겟 부분 주위에서 모바일 디바이스(200)를 이동시키는 능력을 갖는다.
블록(120)으로 복귀하여, 일 실시예에서, 제2 방법은, 즉, 제2 피처들의 캡처 동안 위치가 고정되면서 강도가 변화하는 광원들의 세트에 기초하는 공지된 측광 스테레오 방법이다. 그러나, 이것은 이러한 고전적인 방법이 광원, 즉, 플래시 조명(202)이 모바일 디바이스(200)에 따라 이동하는 모바일 디바이스들에 대해 널리 적합하지 않지 않다는 것을 나타낸다.
따라서, 다른 실시예에서, 제2 방법은 예를 들어, "C. Hernandez, G. Vogiatzis, R. Cipolla. "Multi-view photometric stereo", PAMI, 2008"에 개시된 바와 같은, 즉, 제2 피처들의 캡처 동안 수직 위치로 이동하는 광원을 갖는 멀티뷰 측광 스테레오 방법이다. 그러나, 이러한 방법은 모바일 디바이스(200)에 따라 이동하는 광원을 고려하도록 구성될 수 있다. 도 2에 예시된 바와 같이, 이러한 방법은 다양한 반사율 모델들을 사용하여 상이한 조명 조건들하에서 표면을 관찰함으로써 표면 법선(surface normal)을 추정한다. 이를 위해, 정밀화될 타겟 부분에서 하나의 3D 포인트(p)의 제2 피처들이 예를 들어, 모바일 디바이스(200)가 위치(P0)로부터 위치(P1)로 이동할 때 플래시 조명(202)의 상이한 위치들에서 카메라(201)에 의해 캡처된다.
카메라(201) 및 플래시 조명(202)이 모바일 디바이스(200) 상에 고정됨에 따라서, 광원의 위치는 (블록(100)과 관련하여 상기 논의한 바와 같이, 예를 들어, 실시간 카메라 추적하거나, 추가의 센서들, 예를 들어, 관성 측정 유닛, 가속도계, 자이로스코프, 나침반, GPS와 같은 위치 추적 디바이스로부터 전달된 정보를 사용함으로써 카메라(201)에 의해 캡처된 제2 분석에 기초하여 추정될 수 있는) 모바일 디바이스(200)의 카메라(201)의 위치로부터 추정될 수 있다.
이것은 측광 스테레오 방법의 고전적 구현을 통해 제2 이미지들을 캡처하는 카메라의 이동성을 이용하면서 멀티뷰 측광 스테레오 방법의 효율적인 구현으로 이어진다.
일 실시예에서, 제2 재구성 방법은 정밀화될 타겟 부분의 오브젝트 분류와 연관된 반사율을 고려하는 멀티뷰 측광 스테레오 방법을 실시한다.
실제로, 환경은 주변 조명 조건들하에 있는 것으로 일반적으로 가정된다. 더욱이, 환경에서 하나의 오브젝트의 반사율은 람베르트 법칙(Lambert's law)을 따르고, 즉, 표면상의 포인트들은 고려된 뷰포인트에 관계없이 그들의 외형을 일정하게 유지한다. 따라서, 멀티뷰 측광 스테레오 방법이 환경에서 오브젝트들의 반사율을 추정하게 하는 대신에, 블록(100)에서 검출된 오브젝트 속성들(예를 들어, 카테고리 속성)은 타겟 부분에 대한 후보인 환경에서의 오브젝트에 반사율을 연관시키기 위해 사용될 수 있다. 이러한 연관은 플라스틱, 나무, 금속, 페놀, 아크릴 등과 같은 공통 재료들의 수백 번 측정된 등방성 BRDF 함수들(Bidirectional Reflectance Distribution Functions)을 포함하는 MERL("Mitsubishi Electric Research Laboratories") 데이터베이스와 같은 기존의 데이터베이스(예를 들어, "W. Matusik, H. Pfister, M. Brand, L. McMillan. "A Data-Driven Reflectance Model" ACM Transactions on Graphics, 2003"를 참조)의 사용에 기초할 수 있다. 오브젝트 카테고리 속성을 입력으로 취하는 룩업 테이블을 사용하여, 타겟 부분의 반사율은 초기에 신속하게 결정될 수 있으며 멀티뷰 측광 스테레오 방법의 절차가 가속화된다.
다른 실시예에서, 제2 픽처들은 연속 픽처들을 포함하며, 측광 데이터는 연속 픽처들에서 동일한 위치의 픽셀들 사이의 대응에서의 신뢰 레벨을 고려함으로써 이들 연속 픽처들로부터 선택된 픽처들에 기초한다. 다시 말해, 동작의 제2 모드에서 활성화된 카메라(201)에 의해 캡처된 연속 픽처들에서 동일한 위치의 픽셀들 사이의 대응에서의 신뢰 레벨이 측광 데이터를 유도하기 위해 사용될 픽처들을 선택하기 위한 기준으로서 사용될 수 있다. 따라서, 타겟 부분의 계산된 정밀 3D 모델이 더욱 신뢰가능할 수 있다.
또 다른 실시예에서, 제2 픽처들로부터 유도된 측광 데이터는 제공된 전처리된 측광 데이터에 기초하여 정밀 3D 재구성을 계산하는 블록(120c) 이전에 전처리된다.
더욱 구체적으로, 전처리된 측광 데이터의 사이즈는 (예를 들어, 키 프레임들, 패치 크로핑, 피처 표현들 등의 선택을 통해) 모바일 디바이스(200)의 계산 능력과 호환가능하게 이루어진다. 따라서, 타겟 부분의 정밀 3D 재구성을 수행하기 위해 사용될 데이터는 모바일 디바이스(200)의 계산적 부하를 제한하도록 더 최적화될 수 있다.
블록(130)에서, 환경의 영역들에 대한 블록(100)에서 계산된 개략 3D 재구성들 및 환경의 타겟 부분들에 대한 블록(120)에서 계산된 정밀 3D 재구성들이 환경의 3D 재구성을 제공하기 위해 집성된다.
일 실시예에서, 개략 및 정밀 3D 재구성들 모두가 먼저 계산되며, 집성이 이용가능한 계산된 3D 재구성들 모두를 집성함으로써 프로세서의 종단에서 수행된다.
다른 실시예에서, 개략 및 정밀 3D 재구성들은, 온 더 플라이(on the fly)로, 즉, 그들이 이용가능하면, 프로세스의 종단에서 환경의 3D 재구성에 대응하는 현재 3D 재구성으로 집성된다.
개략 및 정밀 3D 재구성들의 집성은 멀티-해상도 표현의 형태로 환경의 3D 재구성을 제공하기 위해 멀티-뷰 스테레오 방법(예를 들어, "K. Morooka, H. Nagahashi. "A Method for Integrating Range Images with Different Resolutions for 3-D Model Construction." ICRA, 2006." 참조)을 구현한다.
그 결과, 3D 재구성은 (메모리, 처리 능력, 및 배터리 용량을 포함하는) 모바일 디바이스(200)의 제한된 하드웨어 능력들로 계산되고 사용될 수 있다.
이제 도 3을 참조하면, 도 1a 및 도 1b의 방법의 일 실시예에 따른 모바일 디바이스(200)의 변위 동안 모바일 디바이스(200)의 환경의 3D 재구성을 위한 개시된 방법의 구현을 예시한다.
예를 들어, 2개의 입방체 형상 오브젝트들(301, 302)이 나무로 이루어지고, 다각형상 오브젝트(310)가 금속으로 이루어졌다는 것을 가정한다.
모바일 디바이스(200)가 위치(P'0)에 위치할 때, 개시된 방법은 카메라(201)가 보는 영역의 개략 3D 재구성으로 시작한다. 개략 3D 재구성은 동작의 제1 모드에서 활성화된 카메라(201)에 의해 캡처된 제1 픽처들에 기초한다. 더욱 구체적으로, 위치(P'0)에서, 카메라(201)에 의해 캡처된 영역은 평탄면을 포함하여서, 그것의 기하학적 속성은 정밀 3D 재구성을 필요로 하지 않는 오브젝트를 나타내는 것으로 검출되고 개략 3D 재구성이 계속된다.
모바일 디바이스(200)가 위치(P'1)로 이동할 때, 모바일 디바이스(200)의 카메라(201)가 보는 영역은 금속으로 이루어진 다각 형상 오브젝트(310)를 포함한다. 다각 형상 오브젝트(310)의 돌출 속성은, 정밀 3D 재구성을 필요로 할 수 있는 오브젝트를 나타내는 것으로, 위치(P'1)에서 카메라(201)에 의해 캡처된 제1 픽처들 중 적어도 하나에 기초하여 검출된다. 그러나, 카메라(201)와 다각 형상 오브젝트(310) 사이의 거리로 인해, 그것의 스케일 사이즈는 카메라(201)가 보는 영역에서 직면하는 통상의 사이즈와 비교하여 훨씬 작게 남아 있다. 검출된 카테고리 속성이 (다각 형상 오브젝트(310)를 이루는 금속 재료를 인해) 정밀 3D 재구성을 필요로 할 수 있는 오브젝트를 나타낼 수 있어도, 그것의 기하학적 속성은 종단에서 정밀화될 타겟 부분으로서 식별되지 않도록 정밀 3D 재구성을 필요로 하지 않는 오브젝트를 나타낸다. 그 결과, 개략 3D 재구성은 이러한 위치에서 카메라(201)에 의해 캡처된 제1 픽처들에 계속 기초한다.
카메라가 위치(P'2)로 이동하 때, 위치(P'2)에서 카메라(201)에 의해 캡처된 제1 픽처들 중 적어도 하나에 기초하여 검출된 다각 형상 오브젝트(310)의 돌출 속성은 정밀 3D 재구성을 필요로 할 수 있는 오브젝트를 여전히 나타낸다(대안으로, 다각 형상 오브젝트(310)의 돌출 속성은 대응하는 제1 픽처들에서 다각 형상 오브젝트(310)의 표현에 오버랩이 있는 경우에 위치(P'1)에서 카메라(201)에 의해 캡처된 제1 픽처들 중 적어도 하나와 위치(P'2)에서 카메라(201)에 의해 캡처된 제1 픽처들 중 적어도 하나의 조합에 기초하여 검출된다. 동일한 방식으로, 기하학적 속성과 카테고리 속성 둘 다는 정밀 3D 재구성을 필요로 하는 오브젝트를 나타내는 것으로서 검출된다. 따라서, 다각 형상 오브젝트(310)가 정밀화될 타겟 부분으로서 식별된다.
그 후, 플래시 조명(202)이 스위칭 온되며, 카메라는 제2 픽처들을 캡처하는 동작의 제2 모드에서 활성화된다. 타겟 부분의 정밀 3D 재구성은 제2 픽처들에 기초하여 측광 데이터를 고려하는 멀티뷰 측광 스테레오 방법을 실시하여 계산된다.
플래시 조명(202)이 온되어 있다는 것을 봄으로써 정밀 3D 재구성이 진행되고 있다는 것이 경고되어, 사용자는 위치(P'3)를 향해 다각 형상 오브젝트(310) 주위에서 카메라(201)를 계속 이동시킨다. 오브젝트 속성이 위치(P'2)로부터 위치(P'3)를 향한 모바일 디바이스(200)의 변위 동안 다각 형상 오브젝트(310)와 거의 동일하게 남아 있기 때문에, 정밀 3D 재구성이 변위를 따라 계속 진행된다.
카메라(201)가 위치(P'4)로 이동할 때, 카메라(201)에 의해 캡처된 영역은 평탄면들을 포함한다. 그 결과, 검출된 기하학적 속성은 정밀 3D 재구성을 필요로 하지 않는 오브젝트를 나타내며, 따라서, 다각 형상 오브젝트(310)의 정밀 3D 재구성이 중지된다.
그 후, 플래시 조명(202)이 스위칭 오프되며, 카메라는 제1 픽처들을 캡처하는 동작의 제1 모드에서 활성화된다. 그 후, 위치(P'4)에서 카메라(201)가 보는 환경의 영역의 개략 3D 재구성이 블록(100)과 관련하여 상기에 논의한 바와 같이, 카메라(201)에 의해 캡처된 제1 픽처들의 분석에 기초하여 획득된 모바일 디바이스(200)의 카메라(201)의 변위들과, 깊이 맵들 둘 다에 기초하여 계산된다.
이제 도 4를 참조하면, 도 1a 및 도 1b에 관련하여 상기 개시된 실시예들 중 어느 하나에 따른 모바일 디바이스의 환경의 3D 재구성을 위한 방법을 구현하기 위해 사용될 수 있는 예시적인 디바이스의 구조적 블록들을 예시한다.
실시예에서, 개시된 방법을 구현하는 디바이스(400)는 비휘발성 메모리(403)(예를 들어, ROM(read-only memory) 또는 하드 디스크), 휘발성 메모리(401)(예를 들어, 랜덤 액세스 메모리 또는 RAM) 및 프로세서(402)를 포함한다. 비휘발성 메모리(403)는 비일시적 컴퓨터-판독가능 캐리어 매체이다. 이는 도 1a 및 도 1b와 관계에서 개시된 다양한 실시예들에서 상술한 방법(모바일 디바이스의 환경의 3D 재구성을 위한 방법)의 구현을 가능하게 하기 위해 프로세서(402)에 의해 실행되는 실행가능한 프로그램 코드 명령어들을 저장한다.
초기화시에, 상기 언급한 프로그램 코드 명령어들은 프로세서(402)에 의해 실행되도록 비휘발성 메모리(403)로부터 휘발성 메모리(401)로 전달된다. 휘발성 메모리(401)는 이러한 실행을 위해 요구되는 변수들 및 파라미터들을 저장하기 위한 레지스터들을 유사하게 포함한다.
모바일 디바이스의 환경의 3D 재구성을 위한 상기 방법의 단계들 모두는:
- PC 타입 장치, 디지털 신호 프로세서(DSP) 또는 마이크로제어기와 같은 재프로그램가능한 컴퓨팅 머신에 의해 실행된 프로그램 코드 명령어들의 세트의 실행에 의해 동일하게 양호하게 구현될 수 있다. 이러한 프로그램 코드 명령어들은 탈착가능(예를 들어, 플로피 디스크, CD-ROM 또는 DVD-ROM) 또는 탈착불가능한 비일시적 컴퓨터-판독가능 캐리어 매체에,
- FPGA(Field Programmable Gate Array), ASIC(Application-Specific Integrated Circuit) 또는 임의의 전용 하드웨어 컴포넌트와 같은 전용 머신 또는 컴포넌트에 의해 저장될 수 있다.
다시 말해, 본 개시내용은 컴퓨터 프로그램 명령어들의 형태의 순수한 소프트웨어-기반 구현에 제한되지 않고, 하드웨어 형태 또는 하드웨어부와 소프트웨어부를 조합한 임의의 형태로 또한 구현될 수 있다.
일 실시예에서, 모바일 디바이스의 환경의 3D 재구성을 위한 개시된 방법을 구현하는 디바이스(400)는 모바일 디바이스(200)에서 환경의 3D 재구성의 생성을 허용하는 모바일 디바이스(200)에 직접 내장된다.
다른 실시예에서, 개시된 방법을 구현하는 디바이스(400)는 원거리 서버에 내장된다. 이 경우에, 서버는 예를 들어, 서버로의 제1 및 제2 픽처들을 나타내는 데이터의 모바일 디바이스(200)에 의한 송신 이후에, 환경의 3D 재구성의 생성을 수행한다.

Claims (20)

  1. 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 방법으로서,
    ● 제1 재구성 방법에 의해 상기 환경의 적어도 하나의 영역의 개략 3D 재구성(coarse 3D reconstruction)을 계산하는 단계 - 상기 제1 재구성 방법은 상기 적어도 하나의 카메라에 의해 캡처된 상기 적어도 하나의 영역의 적어도 제1 픽처들을 고려함 -;
    ● 적어도 하나의 오브젝트 속성의 검출에 적어도 기초하여 상기 환경에 적어도 하나의 타겟 부분이 존재하는지를 자동으로 결정하는 단계 - 상기 검출은 상기 제1 픽처들 중 적어도 하나를 고려함 -;
    ● 제2 재구성 방법에 의해 상기 적어도 하나의 타겟 부분의 정밀 3D 재구성(refined 3D reconstruction)을 계산하는 단계 - 상기 제2 재구성 방법은 상기 적어도 하나의 카메라에 의해 캡처된 상기 적어도 하나의 타겟 부분의 적어도 제2 픽처들을 고려함 -;
    ● 상기 환경의 상기 3D 재구성을 제공하기 위해 상기 계산된 재구성들을 집성(aggregating)하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 적어도 하나의 오브젝트 속성은:
    ● 상기 타겟 부분이 그것의 이웃에 비해 두드러지는 품질을 나타내는 돌출(saliency) 속성;
    ● 상기 타겟 부분의 기하학적 속성;
    ● 상기 타겟 부분의 오브젝트 분류를 나타내는 카테고리 속성; 및
    ● 상기 돌출 속성, 상기 기하학적 속성, 및 상기 카테고리 속성의 가중 조합(weighted combination)을 포함하는 그룹에 속하는, 방법.
  3. 제2항에 있어서, 상기 적어도 하나의 기하학적 속성은:
    ● 스케일 사이즈(scale size);
    ● 3D 포인트들의 분포 밀도;
    ● 평면도(planarity); 및
    ● 형상을 포함하는 그룹에 속하는, 방법.
  4. 제1항에 있어서, 상기 자동으로 결정하는 단계는:
    ● 상기 모바일 디바이스의 사용자 인터페이스를 통해 상기 환경에 적어도 하나의 국부화된 영역을 국부화(localizing)하는 단계를 더 포함하고,
    상기 적어도 하나의 타겟 부분은 상기 적어도 하나의 국부화된 영역에서 자동으로 결정되는, 방법.
  5. 제1항에 있어서, 상기 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하는 단계는:
    ● 상기 모바일 디바이스의 사용자에 의해 상기 적어도 하나의 타겟 부분을 검증(validating)하는 단계를 더 포함하고,
    상기 정밀 3D 재구성을 계산하는 단계는 상기 적어도 하나의 타겟 부분이 검증될 때 수행되는, 방법.
  6. 제1항에 있어서, 상기 환경의 적어도 하나의 영역의 개략 3D 재구성을 계산하는 단계는:
    ● 상기 제1 픽처들을 캡처하는 동작의 제1 모드에서 상기 적어도 하나의 카메라를 활성화하는 단계를 더 포함하는, 방법.
  7. 제1항에 있어서, 상기 제1 재구성 방법은:
    ● 모션으로부터의 구조(Structure from Motion)(SfM);
    ● 멀티-뷰 스테레오(Multi-View Stereo)(MVS); 및
    ● 동시 국부화 및 매핑(Simultaneous Localization And Mapping)(SLAM)을 포함하는 그룹에 속하는, 방법.
  8. 제1항에 있어서, 상기 모바일 디바이스는 깊이 센서를 더 포함하고,
    상기 환경의 적어도 하나의 영역의 상기 개략 3D 재구성은 상기 깊이 센서에 의해 전달된 상기 영역의 깊이 맵들을 더 고려하는, 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 타겟 부분의 상기 정밀 3D 재구성을 계산하는 단계는:
    ● 상기 제2 픽처들을 캡처하는 동작의 제2 모드에서 상기 적어도 하나의 카메라를 활성화하는 단계를 더 포함하는, 방법.
  10. 제9항에 있어서, 상기 모바일 디바이스는 적어도 하나의 플래시 조명(flash light)을 더 포함하고,
    상기 적어도 하나의 플래시 조명은 상기 제2 모드에서 활성화되고,
    상기 적어도 하나의 타겟 부분의 상기 정밀 3D 재구성을 계산하는 단계는 상기 제2 픽처들 및 상기 적어도 하나의 플래시 조명의 연관된 위치에 기초하여 측광 데이터를 고려하는 멀티뷰 측광 스테레오 방법(multiview photometric stereo method)을 실시하고,
    상기 적어도 하나의 플래시 조명의 상기 연관된 위치는 상기 모바일 디바이스의 상기 적어도 하나의 카메라의 위치로부터 추정되는, 방법.
  11. 제10항에 있어서, 상기 적어도 하나의 오브젝트 속성은 상기 적어도 하나의 타겟 부분의 오브젝트 분류를 나타내는 카테고리를 포함하고, 상기 멀티뷰 측광 스테레오 방법은 상기 적어도 하나의 타겟 부분의 상기 오브젝트 분류와 연관된 반사율(reflectance)을 더 고려하는, 방법.
  12. 제1항에 있어서, 상기 적어도 하나의 영역에 대해 계산된 상기 재구성들을 집성하는 단계는 상기 환경의 상기 3D 재구성인 것으로서 멀티-해상도 표현(multi-resolution representation)을 제공하는 멀티-뷰 스테레오 방법(multi-view stereo methodology)을 실시하는, 방법.
  13. 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 3D 재구성을 위한 디바이스로서, 상기 디바이스는:
    - 메모리; 및
    - 적어도 하나의 프로세서
    를 포함하고, 상기 적어도 하나의 프로세서는,
    ● 제1 재구성 방법에 의해 상기 환경의 적어도 하나의 영역의 개략 3D 재구성을 계산하고 - 상기 제1 재구성 방법은 상기 적어도 하나의 카메라에 의해 캡처된 상기 적어도 하나의 영역의 적어도 제1 픽처들을 고려함 -;
    ● 적어도 하나의 오브젝트 속성의 검출에 적어도 기초하여 상기 환경에 적어도 하나의 타겟 부분이 존재하는지를 자동으로 결정하고 - 상기 검출은 상기 제1 픽처들 중 적어도 하나를 고려함 -;
    ● 제2 재구성 방법에 의해 상기 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하고 - 상기 제2 재구성 방법은 상기 적어도 하나의 카메라에 의해 캡처된 상기 적어도 하나의 타겟 부분의 적어도 제2 픽처들을 고려함 -;
    ● 상기 환경의 상기 3D 재구성을 제공하기 위해 상기 계산된 재구성들을 집성하도록 구성되는, 디바이스.
  14. 제13항에 있어서, 상기 적어도 하나의 프로세서는 상기 제2 픽처들을 캡처하는 동작의 제2 모드에서 상기 적어도 하나의 카메라를 활성화함으로써, 상기 적어도 하나의 타겟 부분의 상기 정밀 3D 재구성을 계산하도록 더 구성되는, 디바이스.
  15. 제13항에 따른 디바이스를 포함하는 모바일 디바이스로서, 상기 모바일 디바이스는 모바일 폰 및 태블릿 중에서 바람직하게 선택되는, 모바일 디바이스.
  16. 제14항에 있어서, 상기 모바일 디바이스는 적어도 하나의 플래시 조명을 더 포함하고, 상기 적어도 하나의 플래시 조명은 상기 제2 모드에서 활성화되고,
    상기 적어도 하나의 프로세서는 상기 제2 픽처들 및 상기 적어도 하나의 플래시 조명의 연관된 위치에 기초하여 측광 데이터를 고려하는 멀티뷰 측광 스테레오 방법을 실시함으로써 상기 적어도 하나의 타겟 부분의 상기 정밀 3D 재구성을 계산하도록 더 구성되고,
    상기 적어도 하나의 플래시 조명의 상기 연관된 위치는 상기 모바일 디바이스의 상기 적어도 하나의 카메라의 위치로부터 추정되는, 디바이스.
  17. 제16항에 있어서, 상기 적어도 하나의 오브젝트 속성은 상기 적어도 하나의 타겟 부분의 오브젝트 분류를 나타내는 카테고리를 포함하고, 상기 멀티뷰 측광 스테레오 방법은 상기 적어도 하나의 타겟 부분의 상기 오브젝트 분류와 연관된 반사율을 더 고려하는, 디바이스.
  18. 제13항에 있어서, 상기 적어도 하나의 프로세서는:
    ● 상기 모바일 디바이스의 사용자 인터페이스를 통해 상기 환경에 적어도 하나의 국부화된 영역을 국부화함으로써
    상기 적어도 하나의 오브젝트 속성의 검출에 적어도 기초하여 상기 환경에 상기 적어도 하나의 타겟 부분이 존재하는지를 자동으로 결정하도록 더 구성되고,
    상기 적어도 하나의 타겟 부분은 상기 적어도 하나의 국부화된 영역에서 자동으로 결정되는, 디바이스.
  19. 제13항에 있어서, 상기 적어도 하나의 오브젝트 속성은:
    ● 상기 타겟 부분이 그것의 이웃에 비해 두드러지는 품질을 나타내는 돌출 속성;
    ● 상기 타겟 부분의 기하학적 속성;
    ● 상기 타겟 부분의 오브젝트 분류를 나타내는 카테고리 속성; 및
    ● 상기 돌출 속성, 상기 기하학적 속성, 및 상기 카테고리 속성의 가중 조합을 포함하는 그룹에 속하는, 디바이스.
  20. 컴퓨터 프로그램 제품을 저장하는 비일시적 컴퓨터-판독가능 캐리어 매체로서, 상기 컴퓨터 프로그램 제품은 컴퓨터 또는 프로세서에 의해 실행될 때, 상기 컴퓨터 또는 상기 프로세서로 하여금:
    ● 제1 재구성 방법에 의해 적어도 하나의 카메라를 포함하는 모바일 디바이스의 환경의 적어도 하나의 영역의 개략 3D 재구성을 계산하고 - 상기 제1 재구성 방법은 상기 적어도 하나의 카메라에 의해 캡처된 상기 적어도 하나의 영역의 적어도 제1 픽처들을 고려함 -;
    ● 적어도 하나의 오브젝트 속성의 검출에 적어도 기초하여 상기 환경에 적어도 하나의 타겟 부분이 존재하는지를 자동으로 결정하고 - 상기 검출은 상기 제1 픽처들 중 적어도 하나를 고려함 -;
    ● 제2 재구성 방법에 의해 상기 적어도 하나의 타겟 부분의 정밀 3D 재구성을 계산하고 - 상기 제2 재구성 방법은 상기 적어도 하나의 카메라에 의해 캡처된 상기 적어도 하나의 타겟 부분의 적어도 제2 픽처들을 고려함 -;
    ● 상기 환경의 상기 3D 재구성을 제공하기 위해 상기 계산된 재구성들을 집성함으로써
    상기 환경의 3D 재구성을 수행하게 하는, 비일시적 컴퓨터-판독가능 캐리어 매체.
KR1020170163341A 2016-12-01 2017-11-30 모바일 디바이스의 환경의 3ｄ 재구성을 위한 방법, 대응하는 컴퓨터 프로그램 제품 및 디바이스 KR20180062959A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306599.8 2016-12-01
EP16306599.8A EP3330924A1 (en) 2016-12-01 2016-12-01 Method for 3d reconstruction of an environment of a mobile device, corresponding computer program product and device

Publications (1)

Publication Number Publication Date
KR20180062959A true KR20180062959A (ko) 2018-06-11

Family

ID=57542932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170163341A KR20180062959A (ko) 2016-12-01 2017-11-30 모바일 디바이스의 환경의 3ｄ 재구성을 위한 방법, 대응하는 컴퓨터 프로그램 제품 및 디바이스

Country Status (10)

Country Link
US (1) US20180160102A1 (ko)
EP (2) EP3330924A1 (ko)
JP (1) JP2018124984A (ko)
KR (1) KR20180062959A (ko)
CN (1) CN108133495A (ko)
BR (1) BR102017025905A2 (ko)
CA (1) CA2987087A1 (ko)
MX (1) MX2017015345A (ko)
PL (1) PL3330925T3 (ko)
RU (1) RU2017141588A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020076026A1 (ko) * 2018-10-08 2020-04-16 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
KR20200040194A (ko) * 2018-10-08 2020-04-17 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
KR20220113774A (ko) * 2019-12-20 2022-08-16 우이시 테크놀로지스 (저지앙) 리미티드 3차원 재구성 방법, 장치, 시스템 및 저장 매체
US12026827B2 (en) 2019-12-20 2024-07-02 Uisee Technologies (Zhejiang) Ltd. Method, apparatus, system, and storage medium for 3D reconstruction

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535156B2 (en) * 2017-02-03 2020-01-14 Microsoft Technology Licensing, Llc Scene reconstruction from bursts of image data
US11436791B2 (en) * 2018-04-30 2022-09-06 The Regents Of The University Of California Methods and systems for acquiring svBRDF measurements
CN110706280A (zh) * 2018-09-28 2020-01-17 成都家有为力机器人技术有限公司 基于2d-slam的轻量级语义驱动的稀疏重建方法
CN109492607B (zh) * 2018-11-27 2021-07-09 Oppo广东移动通信有限公司 一种信息推送方法、信息推送装置及终端设备
US11783443B2 (en) 2019-01-22 2023-10-10 Fyusion, Inc. Extraction of standardized images from a single view or multi-view capture
US10887582B2 (en) 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
JPWO2020195877A1 (ko) * 2019-03-25 2020-10-01
GB2586157B (en) * 2019-08-08 2022-01-12 Toshiba Kk System and method for performing 3D imaging of an object
US11776142B2 (en) 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
US11252398B2 (en) 2020-01-16 2022-02-15 Fyusion, Inc. Creating cinematic video from multi-view capture data
US11869135B2 (en) * 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data
US11562474B2 (en) 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
JP2021131652A (ja) * 2020-02-19 2021-09-09 株式会社トプコン データ構造、記録媒体、プログラム、及びシステム
JP2021140445A (ja) 2020-03-05 2021-09-16 株式会社トプコン 情報処理装置、推論モデル構築方法、情報処理方法、推論モデル、プログラム、及び記録媒体
CN111459274B (zh) * 2020-03-30 2021-09-21 华南理工大学 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN111583263B (zh) * 2020-04-30 2022-09-23 北京工业大学 一种基于联合动态图卷积的点云分割方法
CN114430454A (zh) * 2020-10-28 2022-05-03 广东小天才科技有限公司 基于双摄像头的建模方法及可穿戴装置、设备和介质
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
CN100578525C (zh) * 2002-07-10 2010-01-06 哈曼贝克自动系统股份有限公司 生成物体三维电子模型的系统和方法
US8655052B2 (en) * 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
JP2012141894A (ja) * 2011-01-05 2012-07-26 Sharp Corp 画像検索装置、画像検索方法およびプログラム
US9679215B2 (en) * 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9857470B2 (en) * 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
JP6465682B2 (ja) * 2014-03-20 2019-02-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR20160131278A (ko) * 2015-05-06 2016-11-16 엘지전자 주식회사 이동 단말기
GB2544725A (en) * 2015-11-03 2017-05-31 Fuel 3D Tech Ltd Systems and methods for forming models of a three-dimensional objects
US10055882B2 (en) * 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020076026A1 (ko) * 2018-10-08 2020-04-16 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
KR20200040194A (ko) * 2018-10-08 2020-04-17 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
US11380056B2 (en) 2018-10-08 2022-07-05 Korea Advanced Institute Of Science And Technology 3D object acquisition method and apparatus using artificial light photograph
KR20220113774A (ko) * 2019-12-20 2022-08-16 우이시 테크놀로지스 (저지앙) 리미티드 3차원 재구성 방법, 장치, 시스템 및 저장 매체
US12026827B2 (en) 2019-12-20 2024-07-02 Uisee Technologies (Zhejiang) Ltd. Method, apparatus, system, and storage medium for 3D reconstruction

Also Published As

Publication number Publication date
EP3330925A1 (en) 2018-06-06
RU2017141588A (ru) 2019-05-29
BR102017025905A2 (pt) 2018-12-18
JP2018124984A (ja) 2018-08-09
CA2987087A1 (en) 2018-06-01
EP3330924A1 (en) 2018-06-06
PL3330925T3 (pl) 2020-03-31
EP3330925B1 (en) 2019-10-02
US20180160102A1 (en) 2018-06-07
MX2017015345A (es) 2018-11-09
CN108133495A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
KR20180062959A (ko) 모바일 디바이스의 환경의 3ｄ 재구성을 위한 방법, 대응하는 컴퓨터 프로그램 제품 및 디바이스
US9495764B1 (en) Verifying object measurements determined from mobile device images
US10373366B2 (en) Three-dimensional model generation
US10304203B2 (en) Three-dimensional model generation
US10403037B1 (en) Verifying object measurements determined from mobile device images
RU2642167C2 (ru) Устройство, способ и система для реконструкции 3d-модели объекта
US9367921B2 (en) Determining object volume from mobile device images
US9911242B2 (en) Three-dimensional model generation
Saxena et al. 3-d depth reconstruction from a single still image
US10321116B2 (en) Method and system for volume determination using a structure from motion algorithm
US8254667B2 (en) Method, medium, and system implementing 3D model generation based on 2D photographic images
US9679384B2 (en) Method of detecting and describing features from an intensity image
US10008024B2 (en) Material-aware three-dimensional scanning
JP7325332B2 (ja) 三次元点群データ生成方法、および、三次元点群データ生成装置
US10607350B2 (en) Method of detecting and describing features from an intensity image
JP6817742B2 (ja) 情報処理装置およびその制御方法
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
Chang et al. Reconstructing three-dimensional specific curve building models from a single perspective view image
Mori et al. Adaptive Segmentation of Large-Scale Anisotropic Point-Clouds Captured by Mobile Mapping Systems

Legal Events

Date Code Title Description
WITB Written withdrawal of application