KR20120031012A - 삼차원 장면의 불연속 평면 재구성 - Google Patents

삼차원 장면의 불연속 평면 재구성 Download PDF

Info

Publication number
KR20120031012A
KR20120031012A KR1020117029924A KR20117029924A KR20120031012A KR 20120031012 A KR20120031012 A KR 20120031012A KR 1020117029924 A KR1020117029924 A KR 1020117029924A KR 20117029924 A KR20117029924 A KR 20117029924A KR 20120031012 A KR20120031012 A KR 20120031012A
Authority
KR
South Korea
Prior art keywords
dimensional
plane
image
images
scene
Prior art date
Application number
KR1020117029924A
Other languages
English (en)
Other versions
KR101928575B1 (ko
Inventor
수디프타 나라얀 신하
드류 에드워드 스티들리
리차드 스티븐 스젤리스키
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20120031012A publication Critical patent/KR20120031012A/ko
Application granted granted Critical
Publication of KR101928575B1 publication Critical patent/KR101928575B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이차원 이미지들의 집합으로부터 삼차원 장면을 재구성하기 위한 방법, 시스템, 및 컴퓨터 판독가능 매체가 제공된다. 컴퓨터화된 재구성 시스템은 이차원 이미지들에 묘사된 환경의 시각적 특징을 모델링하기 위해 사용되는 후보 평면들을 식별하기 위해 이차원 이미지들의 집합에 컴퓨터 비전 알고리즘을 실행한다. 컴퓨터 비전 알고리즘은 이차원 이미지들의 픽셀들을 삼차원 장면 내 평면들로 할당하기 위해 이차원 이미지들의 특징들 사이의 관계 및 유사성을 표현하는 에너지 함수를 최소화할 수 있다. 삼차원 장면은 이동 가능하고 여러 이차원 이미지들 사이의 관점 전환을 묘사한다.

Description

삼차원 장면의 불연속 평면 재구성{PIECEWISE PLANAR RECONSTRUCTION OF THREE-DIMENSIONAL SCENES}
통상적으로, 컴퓨터의 렌더링 엔진은 이차원 이미지의 무질서한 집합으로부터 카메라 보정(calibration) 및 스파스(sparse) 구조를 복구하는 자동 피처(feature) 매칭 또는 특징 추출을 제공하도록 구성될 수 있다. 종래의 렌더링 엔진은 삼차원 공간 내 각 픽셀의 위치를 삼각으로 만들기 위해 카메라 보정, 스파스 장면 구조 및 이차원 이미지를 사용할 수 있다. 픽셀들은 삼차원 장면을 형성하도록 삼각으로 된 위치들로 렌더링된다.
그러나, 생성된 삼차원 장면의 품질과 디테일은 종종 다양한 결함들을 갖는다. 예를 들어, 종래의 렌더링 엔진은 이차원 이미지들로 캡처된 텍스처가 없는 표면이나 비램버시안(non-Lambertian) 표면을 홀(holes)로서 렌더링할 수 있다. 홀은 이웃하는 픽셀들의 깊이를 보간함으로써 메워진다. 그러나 종래의 렌더링 엔진의 보간은 직선들을 가진 평탄한 표면들을 삼차원 장면에서 울퉁불퉁한 표면으로서 잘못 재생할 수 있다. 종래의 렌더링 엔진은 또한 비램버시안 표면들, 폐색들(occlusions) 등의 신뢰할 수 없는 매칭으로 인해 삼차원 장면에 들쭉날쭉한 것들을 잘못 도입시킬 수도 있다.
종래의 렌더링 엔진의 품질 및 디테일은 건축구조 장면, 도시 장면, 또는 많은 평면 표면들을 가진 인공적 오브젝트들을 가진 장면들의 삼차원 장면들을 생성할 때 상당히 저하된다. 또한, 종래의 렌더링 엔진에 의해 실행되는 종래의 컴퓨터 비전(vision) 알고리즘의 추정사항들은 인공적 표면을 포함하는 장면들에 대해 잘 작동하도록 디자인되지 않았기 때문에 이차원 이미지들의 스파스 콜렉션(sparse colletion)으로부터의 삼차원 장면의 재구성은 포토리얼리즘 방식으로 조정될 수(navigable) 없다.
이 기술분야의 이러한 문제 및 다른 문제를 극복하는 본 발명의 실시예는 한가지 점에서 이차원 이미지들의 집합으로부터 이동성의(navigable) 포토리얼리즘적 장면들을 생성하는 컴퓨터화된 재구성 시스템, 컴퓨터 판독가능 매체, 및 컴퓨터 구현 방법에 관한 것이다. 컴퓨터화된 재구성 시스템은 이차원 이미지들의 집합으로부터 캡처된 장면의 밀집된 불연속 평면 재구성을 복구한다.
컴퓨터화된 재구성 시스템은 삼차원 평면 후보들의 이산(discrete) 집합을 식별한다. 컴퓨터화된 재구성 시스템은 이차원 이미지들의 집합에서 캡처된 여러 뷰(views)로부터 재구성된 스파스 삼차원 세그먼트들 및 해당 장면의 스파스 포인트 클라우드에 기반하여 삼차원 평면 후보들의 이산 집합을 생성한다. 이어서, 그래프-컷(graph-cut) 기반 에너지 최소화 기법을 이용하여 멀티-레이블(multi-label) MRF(Markov Random Field) 최적화를 해결함으로써 각 이미지에 대한 불연속 평면 깊이 맵이 복구된다. 컴퓨터화된 재구성 시스템은 오리지널 이차원 이미지들을 상기 복구된 평면 깊이 맵들 위로 투영하여 삼차원 장면의 렌더링을 생성한다.
이 요약은 이하의 상세한 설명에 자세히 기술되는 간략한 형식의 개념들의 선택을 소개하기 위해 제공된다. 이 요약은 청구된 주제의 주요 특징이나 필수적 특징을 확인하도록 의도되거나 청구된 주제의 범위를 결정함에 있어 도움이 되는 것으로 분리되어 사용되도록 의도된 것이 아니다.
도 1은 본 발명의 실시예들에 따른 전형적인 컴퓨팅 시스템을 예시한 네트워크도이다.
도 2는 본 발명의 실시예들에 따른 전형적인 이차원 이미지들을 예시한 이미지도이다; 도 2a-2b는 본 발명의 실시예들에 따라, 카메라에 의해 캡처된 이차원 이미지들을 예시한다.
도 3은 본 발명의 실시예들에 따른 전형적인 삼차원 평명들을 예시한 평면 도면이다; 도 3a는 본 발명의 실시예들에 따른 삼차원 복원 구조(structure from motion) 특징 추출 및 카메라 보정 결정을 예시한다; 도 3b는 본 발명의 실시예들에 따라 컴퓨터화된 재구성 서버에 의해 생성된 삼차원 라인들을 예시한다; 도 3c-3e는 본 발명의 실시예에 따라 컴퓨터화된 재구성 서버에 의해 생성된 서로 다른 삼차원 관점을 위한 후보 평면들을 예시한다.
도 4는 본 발명의 실시예들에 따라 컴퓨팅 시스템에 의해 생성된 전형적 장면을 예시한 삼차원 장면도이다; 도 4a는 본 발명의 실시예들에 따라 컴퓨터화된 재구성 서버에 의해 생성된 깊이 맵을 예시한다; 도 4b는 본 발명의 실시예들에 따라 컴퓨터화된 재구성 서버에 의해 생성된 프록시 메쉬들을 예시한다; 도 4c는 본 발명의 실시예들에 따라 컴퓨터화된 재구성 서버에 의해 생성된 질감을 입힌 프록시 메쉬들을 예시한다.
도 5는 본 발명의 실시예들에 따른 전형적인 이차원 이미지들 안에서 소실 방향의 검출을 예시한 소실 방향에 대한 도면이다; 도 5a는 본 발명의 실시예에 따라, 소실 방향들을 추출하기 위해 컴퓨터화된 재구성 시스템에 의해 처리되는 전형적인 이차원 이미지를 예시한다; 도 5b는 본 발명의 실시예에 따라, 이차원 이미지로부터 추출된 소실 방향들의 각 클러스터의 방위를 예시한다; 도 5c는 본 발명의 실시예들에 따라 컴퓨터화된 서버에 의해 렌더링된 삼차원 장면의 전형적 재구성을 도시한다.
도 6은 본 발명의 실시예들에 따른 표면 법선들(normals)의 가능한 분포를 예시한 법선 방위도이다; 도 6a는 본 발명의 실시예들에 따른 삼차원 포인트들의 공분산의 크기를 예시한다; 도 6b는 본 발명의 실시예들에 따라 어떤 삼차원 포인트를 통과하는 평면들의 법선 분포를 예시한다.
도 7은 본 발명의 실시예들에 따른 평면들이나 삼차원 라인들의 방위의 가능한 분포를 예시한 분포 히스토그램이다; 도 7a는 본 발명의 실시예들에 따라, 삼차원 포인트들로부터의 표(votes)에 기초한 법선들의 분포를 나타낸 히스토그램을 예시한다; 도 7b는 본 발명의 실시예들에 따라, 삼차원 라인들로부터의 표(votes)에 기초한 법선들의 분포를 나타낸 히스토그램을 예시한다.
도 8은 본 발명의 실시예들에 따른 이차원 이미지들로부터 추출된 장면 정보를 예시한 가시성에 대한 도면이다.
도 9는 본 발명의 실시예들에 따라 MRF(Markov Random Field) 표현 및 그래프 컷 최소화를 이용하여 평면들을 나타내는 레이블들로의 픽셀들의 할당을 예시한 그래프 도면이다.
도 10은 본 발명의 실시예들에 따라 삼차원 장면들을 생성하는데 사용되는 이차원 이미지들 사이의 관계를 예시한 포토 일관성 도면이다; 도 10a는 본 발명의 실시예들에 따른 전형적인 기준 이미지를 예시한다; 도 10b는 본 발명의 실시예들에 따라 컴퓨터화된 시스템에 의해 사용되는 전형적인 서버에 의해 렌더링된 삼차원 장면의 전형적인 와핑된(warped) 이웃 이미지를 도시한다; 도 10c는 본 발명의 실시예들에 따라, 컴퓨터화된 재구성 서버에 의해 결정된 기준 이미지 및 와핑된 이미지 사이의 포토 일관성에 대한 계측을 예시한다.
도 11은 본 발명의 실시예들에 따라 삼차원 장면 내 한 쌍의 평면들의 교차에 해당하는 주름(crease) 에지들 및 평면들의 폐색(occlusion) 경계들을 예시하는 경계도이다; 도 11a는 본 발명의 실시예들에 따른 주름 에지들을 예시한다; 도 11b는 본 발명의 실시예들에 따른 폐색 경계들을 예시한다.
도 12a-b는 본 발명의 실시예들에 따라, 삼차원 놀이터 장면에서 관점들 간의 이동을 예시한 전환 도면들이다.
도 13a-b는 본 발명의 실시예들에 따라, 삼차원 차고 장면에서 관점들 간의 이동을 예시한 전환 도면들이다.
도 14a-b는 본 발명의 실시예들에 따라, 삼차원 아치 장면에서 관점들 간의 이동을 예시한 전환 도면들이다.
도 15a-b는 본 발명의 실시예들에 따라, 삼차원 성(castle) 장면에서 관점들 간의 이동을 예시한 전환 도면들이다.
도 16a-b는 본 발명의 실시예들에 따라, 삼차원 방 장면에서 관점들 간의 이동을 예시한 전환 도면들이다.
도 17a-e는 본 발명의 실시예들에 따라, 삼차원 로비 장면에서 관점들 간의 이동을 예시한 전환 도면들이다.
도 18은 본 발명의 실시예들에 따라 전자 데이터베이스에 저장되는 이미지들의 집합으로부터 이동성의 삼차원 장면을 렌더링하는데 사용되는 평면들의 선택 방법을 예시한 논리 도면이다.
도 19는 전자 데이터베이스에 저장된 이차원 이미지들의 집합으로부터 이동성의 삼차원 장면을 렌더링할 때 이차원 이미지들로부터 삼차원 평면들에 픽셀들을 할당하는 방법을 예시한 논리 도면이다.
이 특허는 법정 요건을 만족하기 위해 구체적으로 특허될 내용을 기술한다. 그러나, 기술 자체가 이 특허의 범위를 한정하는 것으로 의도된 것은 아니다. 오히려 발명자들은 청구된 내용이 현재나 미래의 기술들과 연계되어 이 문서에 기술된 것들과 유사한 다른 단계나 단계들의 조합을 포함하는 다른 방식으로 실시될 수도 있다고 생각한다. 또한 "단계"와 "블록"이라는 용어는 여기 사용된 방법들의 서로 다른 요소들을 의미하는 것으로 사용될 수도 있지만, 개별 단계들의 순서가 명백히 기술될 때를 제외하고 여기 개시된 다양한 단계들 사이의 어떤 특정 순서를 의미하는 것으로 해석되어야 한다. 여기에 참조의 형식으로 전체적으로 포함되는 첨부된 도면을 참조하여 실시예들에 대한 설명이 이하에서 보다 상세히 이루어진다.
본 발명이 실시예들은 이차원 이미지들의 집합으로부터 이동성의(navigable) 삼차원 장면들을 생성하는 컴퓨터화된 재구성 시스템을 제공한다. 매칭 특징들, 카메라 보정, 및 지리적 또는 공간적 정보를 추출하기 위해, 이차원 이미지들이 컴퓨터화된 재구성 시스템에 의해 처리된다. 그런 다음, 컴퓨터화된 재구성 시스템은 이차원 이미지들로부터 소실(vanishing) 방향들을 자동적으로 검출한다. 삼차원 장면을 위한 평면 후보들의 집합을 생성하기 위해 매칭 특징들, 카메라 보정사항, 공간적 정보, 및 소실 방향들이 컴퓨터화된 재구성 시스템에 의해 사용된다. 컴퓨터화된 재구성 시스템에 의해 평면 후보들의 집합에 대해 가능한 방위가 결정되고 MRF(Markov Random Field)가 생성된다. 다음으로, 이차원 이미지들로부터 후보 평면들에 픽셀들을 할당함으로써 이차원 이미지들로부터 삼차원 장면을 생성하기 위해 컴퓨터화된 재구성 시스템에 의해 MRF에 해당하는 최소화 함수가 사용된다.
당업자라면 컴퓨터화된 재구성 시스템이 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합을 포함할 수 있다는 것을 알 수 있을 것이다. 하드웨어는 메모리에 저장되는 명령어들을 실행하도록 구성된 프로세서 및 메모리를 포함한다. 일 실시예에서, 메모리는 컴퓨터 구현 방법을 위한 컴퓨터 사용가능 명령어들을 가진 컴퓨터 프로그램 제품을 저장하는 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 휘발성 및 비휘발성, 착탈형 및 비착탈형 양 매체, 및 데이터베이스, 스위치, 및 다양한 다른 네트워크 장치들에 의해 판독가능한 매체를 포함한다. 네트워크 스위치, 라우터, 및 관련 구성요소들은 이들과 통신하는 수단처럼 실제로 관례적이다. 한정이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함한다. 컴퓨터 저장 매체나 장치 판독가능 매체는 정보를 저장하기 위한 어떤 방법이나 기술을 통해 구현되는 매체를 포함한다. 저장된 정보의 예들에는 컴퓨터 사용가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터 표현이 포함된다. 컴퓨터 저장 매체는 RAM(random access memory), ROM(read only memory), EEPROM(electrically erasable programmable read only memory), 플래시 메모리나 다른 메모리 기술, CD-ROM(compact-disc read only memory), DVD(digital versatile discs), 홀로그램 매체나 다른 광 디스크 저장부, 마그네틱 카세트, 마그네틱 테이프, 마그네틱 디스크 저장부, 및 다른 마그네틱 저장 장치들을 포함하나 이들에 국한하지 않는다. 이 메모리 기술들은 데이터를 순간적으로, 임시로, 또는 영구적으로 저장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전형적인 동작 환경(100)을 예시한 네트워크도이다. 도 1에 도시된 동작 환경(100)은 단지 예일 뿐이며 범위나 기능에 대한 어떤 한계를 제시하는 것으로 의도된 것은 아니다. 본 발명의 실시예들은 수많은 다른 구성들과 함께 작동될 수 있다. 도 1을 참조하면, 운영 환경(100)은 네트워크(113)를 통해 서로 통신하는 컴퓨터화된 재구성 서버(110), 이차원 이미지들(120), 삼차원 장면(130), 랩탑(140), 멀티미디어 캡처 장치(150 및 160), 파일 서버(170), 퍼스널 컴퓨터(180), 위성(190), 및 모바일 장치(195)를 포함한다.
컴퓨터화된 재구성 서버(110)는 이동성의(navigable) 삼차원 장면(130)을 생성하도록 구성된다. 재구성 서버(110)는 평면 생성기(111), 최적화 엔진(112), 재구성 엔진(113) 및 멀티미디어 인덱스들(114)을 포함한다. 컴퓨터화된 재구성 시스템은 컴퓨팅 장치(가령, 랩탑(140), 멀티미디어 캡처 장치들(150 및 160), 파일 서버(170), 퍼스널 컴퓨터(180), 위성(190) 및 모바일 장치(195))로부터 삼차원 장면(130)을 생성하라는 요청을 수신할 수 있다. 그 요청에는 컴퓨터화된 재구성 서버(110)로 전송되는 이차원 이미지들(120)의 집합이 포함될 수 있다. 컴퓨터화된 재구성 서버는 이차원 이미지들(120)의 집합을 멀티미디어 인덱스들(114) 안에 저장한다.
평면 생성기(111)는 카메라 및 이차원 이미지들(120)에 포함된 후보 평면들을 식별하도록 구성된다. 그런 다음 평면 생성기(111)는 각 후보 평면의 가능한 방위를 판단하고, 유사한 가능 방위들을 공유하는 후보 평면들을 무리짓는다. 일부 실시예들에서 평면 생성기(111)는 삼차원 장면(130)의 경계를 나타내기 위해 그라운드 평면 및 백(back) 평면을 생성한다.
평면 생성기(111)는 이차원 이미지들(120)로부터 글로벌 장면 정보를 추출한다. 글로벌 장면 정보는 삼차원 포인트들 및 후보들, 소실(vanishing) 방향들, 삼차원 라인 세그먼트들, 및 삼차원 포인트들, 삼차원 라인들, 및 이차원 이미지들(120)에서 캡처된 장면의 여러 뷰들로부터 소실 방향들의 대응 관계 정도를 포함할 수 있다. 일 실시예에서, 평면 생성기(111)는 글로벌 장면 정보를 사용하여 후보 평면들을 검출할 수정된 RANSAC(Random Sample Consensus)을 실행한다.
평면 생성기(111)는 이차원 이미지들(120)로부터 삼차원 포인트들 및 좌표들, 그리고 해당 장면을 캡처한 카메라에 의해 제공되는 어떤 관련 메타데이터를 추출한다. 카메라에 의해 제공된 메타데이터는 위치 정보, 거리 정보, 및 어떤 다른 카메라 보정 정보를 포함할 수 있다. 그에 따라, 평면 생성기(111)는 이차원 이미지 내 각 픽셀에 대한 공간적 삼차원 포인트를 생성하기 위해 메타데이터 및 이차원 이미지들(120)을 사용할 수 있다. 일부 실시예들에서, 평면 생성기(111)는 유사성에 기초하여 픽셀들을 수퍼 픽셀들로 그룹화한다.
이차원 이미지들(120)에 의해 캡처된 장면에서 소실 방향들이 평면 생성기(111)에 의해 검출된다. 일 실시예에서, 이차원 이미지들(120) 내 소실 방향들을 검출하기 위해 평면 생성기(111)에 의해 에지(edge) 검출 알고리즘이 실행된다. 에지 검출 알고리즘은 이차원 이미지들(120)에 포함된 이차원 라인 세그먼트들을 제공한다. 이차원 라인 세그먼트들이 연결되어 이차원 이미지들의 집합 내 각 이미지에 대한 에지 맵(edge map)을 형성한다. 그리고 삼차원에서의 나란한 라인들에 상응하는 각 에지 맵 안의 라인들이나 라인 세그먼트들이 평면 생성기(111)에 의해 검출된다. 이미지들 안에서 소실 포인트들은 삼차원 장면의 소실 방향들에 해당한다. 평면 생성기(111)는 소실 방향들에 해당하는 벡터들의 단위 구(sphere)에 대해 평균 이동 클러스터링(mean-shift clustering)을 수행한다. 많은 수의 소실 방향들을 가진 클러스터들이 평면 생성기(111)에 의해 보유되고, 스파스(sparse) 클러스터들은 버려진다. 평면 생성기(111)는 각 클러스터에 포함된 장면의 여러 뷰들로부터 각각의 이차원 라인 세그먼트를 사용하여 그 클러스터의 대표적 소실 방향을 식별한다. 일부 실시예들에서 평면 생성기(111)는 서로 거의 직교하는 쌍들에 대해 소실 방향들의 집합을 검사하고, 그 집합 안에 직교하는 트리플릿(triplet)이 이미 존재하지 않는다면 그 직교하는 트리플릿을 완성하는 세 번째 소실 방향을 추가한다.
매치하는 라인 세그먼트들을 식별하기 위해 에피폴라(epipolar) 구속조건 및 글로벌 장면 정보를 이용하는 평면 생성기(111)에 의해 삼차원 라인 세그먼트들이 구성된다. 평면 생성기(111)는 이차원 이미지에 의해 캡처된 장면 안에서 근위(proximal)의 당해 매칭 포인트들을 가지고 유사한 소실 방향들을 가진 이차원 라인 세그먼트들의 쌍들을 검색한다. 이차원 라인들의 여러 매칭 쌍들이 서로 연결되며, 평면 생성기(111)는 이차원 이미지에 의해 캡처된 장면의 여러 뷰들로부터 삼차원 라인을 위한 일치성을 확인한다. 일부 실시예들에서, 확인을 위해 사용되는 뷰의 개수는 적어도 넷이다. 이차원 세그먼트 쌍들을 삼각화하고 연결된 이차원 세그먼트들 안에서 전체적인 최소 역투영 오차(reprojection error)를 가지는 쌍을 찾음으로써 삼차원 라인들이 산출된다. 이어서 평면 생성기(111)는 구간 분석을 통해 삼차원 라인 세그먼트의 종점(endpoint)들을 결정한다. 일부 실시예들에서, 평면 생성기(111)는 식별된 소실 방향들에 의해 구속되지 않는 이차원 세그먼트들을 찾는다. 이러한 추가적 이차원 세그먼트들(아웃라이어들(outliers))은 그들의 방향과 분산에 기초하여 클러스터링된다.
평면 생성기(111)는 생성된 삼차원 라인들과 식별된 소실 방향들에 기초하여 각 삼차원 포인트의 평면 방위 및 가능한 위치를 결정한다. 소실 방향의 모든 쌍의 외적(cross-product)을 산정함으로써 평면 생성기(111)에 의해 가능성있는 평면 방위들의 집합
Figure pct00001
이 생성된다. 소정 실시예에서, 서로에 대해 5도 안에 있는 평면 방위들
Figure pct00002
은 꼭 같은 것으로서 다뤄진다. 평면 생성기(111)는 돌출성에 기초하여 가능성있는 평면 방위들의 집합
Figure pct00003
을 분류한다. 각각의 평면 방위
Figure pct00004
의 돌출성은 소실 방향들의 해당 쌍과 관련된 클러스터들의 사이즈를 계산함으로써 평가된다.
각각의 삼차원 포인트의 가능한 위치가 평면 생성기(111)에 의해 결정된다. 일 실시예에서, 삼차원 포인트가 삼차원 라인들 및 소실 방향들에 의해 나타낸 한 개 이상의 평면 가설들에 속하는지 여부를 결정하기 위해 각각의 삼차원 포인트에 대한 삼차원 마할로노비스(Mahalonobis) 거리가 평면 생성기(111)에 의해 계산된다. 마할로노비스 거리는 삼차원 포인트 및 평면 가설의 해당 피팅 에러(fitting error)의 공분산(불확실성)을 판정한다. 소정 실시예들에서, 평면 생성기(111)는 이차원 이미지들(120)에 의해 캡처된 장면의 평균 뷰 방향을 따라 맞춰진 벡터
Figure pct00005
를 산출함으로써 각각의 삼차원 포인트 Xk에 대한 근사적 불확실성을 식별한다. 벡터
Figure pct00006
의 크기는 이차원 이미지들(120) 안에 있는 어떤 픽셀에 대해 반영된 불확실성에 해당한다. 벡터
Figure pct00007
의 크기가 평면 생성기(111)에 의해 사용되어 평면 가설들의 불확실성을 산정할 수 있다.
각 삼차원 포인트 Xk의 표면 법선이 평면 방위들의 집합
Figure pct00008
에 걸친 이산적 가능성 분포에 기초해 평면 생성기(111)에 의해 결정된다. 생성기(111)에 의해 그 삼차원 포인트 Xk 주변의 이웃하는 삼차원 포인트들의 개수 및 해당 방위 평면의 한 차원을 따라 있는 견고한 변동(variance)에 기반하여 삼차원 포인트 Xk를 통과하는 각 방위의 평면에 점수가 부여된다. 평면 생성기(111)는 해당 방위 평면 가능성 분포의 한 차원을 따라 고유 피크치를 갖는 밀집한 이웃을 가지는 각각의 삼차원 포인트에 대해 표면 법선을 할당한다. 삼차원 포인트에 할당된 표면 법선은 삼차원 평면들로의 해당 삼차원 포인트 할당을 제한한다. 어떤 실시예에서, 평면 생성기(111)는 삼차원 라인의 라인 방향을 이용하여 평면들 및 삼차원 라인들의 할당 중에 해당 삼차원 라인이 투표할 수 있는 것이 어떤 평면들인지를 결정한다. 마찬가지로, 평면 생성기(111)에 의해 삼차원 포인트의 표면 법선이 사용되어, 평면들에 대한 삼차원 포인트들의 할당 중에 삼차원 포인트가 투표할 수 있는 것이 어떤 평면들인지를 결정하도록 할 수 있다.
평면 생성기(111)에 의해 각각의 삼차원 포인트 및 삼차원 라인이 사용되어 이차원 이미지(120)에 의해 캡처된 장면의 평면들을 결정하도록 한다. 평면 생성기(111)는 삼차원 포인트들과 삼차원 라인들로부터 받은 각각의 방위
Figure pct00009
에 대한 표들을 평가하기 위한 두 개의 히스토그램
Figure pct00010
을 구축한다. 평면 생성기(111)는 해당하는 이차원 이미지(120)를 캡처했던 카메라들과 관련된 위치가 평면 앞에 위치될 때 각각의 삼차원 포인트 및 삼차원 라인으로부터 표를 카운트한다. 평면 생성기(111)는 평면의 방위
Figure pct00011
를 매치하는 데 실패한 추정 법선들을 가진 각각의 삼차원 포인트 및 삼차원 라인에 대한 표는 카운트하지 않는다. 일부 실시예에서, 평면 생성기(111)는 평면 방위
Figure pct00012
를 매치하는데 실패한 추정 법선들을 가진 각각의 삼차원 포인트 및 삼차원 라인을 필터링한다.
일 실시예에서, 히스토그램
Figure pct00013
을 생성하는데 사용되는 삼차원 포인트들 및 삼차원 라인들의 대표 집합을 획득하기 위해 삼차원 포인트들과 삼차원 라인들이 평면 생성기(111)에 의해 샘플링된다. 삼차원 포인트들에 대한 샘플들의 집합 (S1)은 이하의
Figure pct00014
에 의해 구성된다. 삼차원 라인들에 대한 샘플들의 집합 (S2)이 이어지는
Figure pct00015
에 의해 구성되며, 여기서 Yk는 삼차원 라인들을 나타낸다.
각각의 삼차원 포인트 샘플 xk은 사이즈에 대한 적응적 가우시안(Gaussian) 커널
Figure pct00016
에 의해 나타내진다. 각각의 삼차원 포인트와 관련된 불확실성을 설명하기 위해 평면 생성기(111)에 의해 그 커널의 사이즈가 조정된다. 평면 생성기(111)는 히스토그램
Figure pct00017
의 평탄성을 제어하기 위해 가중치(W)를 할당한다. 그런 다음 평면 생성기(111)는
Figure pct00018
에 직교하는 일차원 부공간을 생성하고 삼차원 포인트 샘플들이 방위
Figure pct00019
를 공유하는지를 판단하기 위해 그 일차원 부공간에 각각의 삼차원 포인트 샘플 xk을 투영한다. 각각의 매치에 대해, 현재의 방위
Figure pct00020
에 대한 히스토그램
Figure pct00021
에서의 카운트가 증가한다.
각각의 삼차원 라인 샘플 yk은 사이즈에 대한 적응적 가우시안(Gaussian) 커널
Figure pct00022
에 의해 나타내진다. 각각의 삼차원 라인과 관련된 불확실성을 설명하기 위해 그 커널의 사이즈가 조정된다. W는 히스토그램
Figure pct00023
의 평탄성을 제어하기 위해 할당되는 가중치이다. 그런 다음 평면 생성기(111)는
Figure pct00024
에 직교하는 일차원 부표면을 생성하고 삼차원 라인 샘플이 방위
Figure pct00025
를 공유하는지를 판단하기 위해 그 일차원 부공간에 각각의 삼차원 라인 샘플 yk을 투영한다. 각각의 매치에 대해, 현재의 방위
Figure pct00026
에 대한 히스토그램
Figure pct00027
에서의 카운트가 증가한다.
평면 생성기(111)는 두 히스토그램
Figure pct00028
에서의 로컬 피크치들을 검출한다. 소정 실시예들에서, 여러 나란한 삼차원 라인들은 보통 우연하게 같은 평면 상에 있고 나란하지 않은 삼차원 라인들은 실제 평면이 장면 안에 존재하지 않는다면 같은 평면 상에 있을 가능성이 적기 때문에, 평면 생성기는 삼차원 라인이 모두
Figure pct00029
에 직교하는 여러 개(≥2)의 공유 방향들을 가질 때
Figure pct00030
안의 피크들을 카운트한다. 또한 평면 생성기(111)는 너무 가까운 후보 평면들을 생성하는 것을 피하기 위해 비 최대 억제법(non-maximal suppression)을 수행한다. 그런 다음, 피크 방위들, 삼차원 포인트들, 및 삼차원 라인들의 어떤 조합에 기초하여 후보 평면들이 생성된다.
다른 실시예들에서, 평면 생성기(111)는 이차원 이미지들(120)에 의해 캡처된 장면의 아웃라이어(outlier) 부분을 위한 추가 평면들, 그라운드 평면들, 및 백 평면들을 제공한다. 아웃라이어 부분은 스파스 글로벌 장면 정보를 가진 이차원 이미지(120)의 영역이다. 평면 생성기(111)는 2-포인트 또는 3-포인트 RANSAC 알고리즘을 사용하여 삼차원 포인트들 및 소실 방향들의 무작위 샘플링을 실행할 수 있다. 이어서, 평면 생성기(111)에 의해 관련 삼차원 포인트들의 불확실성이 산출되고, 후보 평면들의 집합을 식별하도록 삼차원 포인트들을 통과하는 추가 평면들의 방위가 결정된다.
평면 생성기(111)는 또한 카메라에 의해 캡처된 이차원 이미지의 각각의 뷰에 대한 그라운드 평면 및 백 평면을 산출한다. 그라운드 평면은 카메라의 사이드(side) 벡터에 직교하는 업(up) 벡터를 선택함으로써 추정된다. 그라운드 평면은 업 벡터에 직교하고 평면 위에 위치하는 삼차원 포인트들의 95%를 가지는 평면으로서 식별된다. 그런 다음, 평면 생성기(111)는 삼차원 장면 내 그라운드를 더 잘 표현하기 위해 그라운드 평면을 개량한다.
백 평면은 카메라의 광학 축에 직교하는 벡터를 선택함으로써 추정된다. 백 평면은 광학 축에 직교하고 평면 앞에 위치하는 삼차원 포인트들의 95%를 가지는 평면으로서 식별된다. 그런 다음, 평면 생성기(111)는 삼차원 장면 내 백 그라운드를 더 잘 표현하기 위해 백 평면을 최적화한다.
최적화 엔진(112)은 평면 생성기(111)에 의해 제공된 후보 평면들을 사용하여 각각의 이차원 이미지에 대한 깊이 맵을 생성하도록 구성된다. 최적화 에진(112)은 이차원 이미지 내 픽셀들과 후보 평면들을 사용하여 MRF(Markov Random Field)를 생성한다. 최적화 엔진(112)은 픽셀들과 평면들을 나타내는 노드들을 가진 그래프를 생성한다. 그래프 또한 그래프의 노드들을 연결시키는 에지들을 포함하였다. 각각의 에지는 서로 다른 평면 레이블들을 에지가 연결하는 두 픽셀들에 할당하는 데 대한 페널티를 나타내는 비용과 결부된다. 최적화 엔진(112)은 이미지 내 픽셀들로의 평면 레이블 할당에 대한 일관성을 평가하는 목적 함수를 산정한다. 일부 실시예들에서, 최적화 엔진(112)은 픽셀들의 최적 레이블링을 결정하기 위해 에너지 함수 E를 이용한다.
에너지 함수 E는 이웃 시스템과 기본 픽셀 데이터에 규정된 MRF의 사후 가능성 분포에 대한 로그 우도함수(log likelihood)를 나타낸다(가령, 4-연결 이웃은 모든 수직 및 수평 이웃 픽셀들을 고려한다). 최적화 엔진(112)은
Figure pct00031
을 산정할 수 있다. 각각의 평면 P는 레이블 l에 해당한다. 각각의 픽셀은 이미지 내 포인트 p에 해당하고 레이블 lp가 할당될 수 있다. 레이블들의 집합은 유한하며 폐집합
Figure pct00032
으로부터 선택된다. 에너지 함수 E는 데이터 항(term)과 평탄성(smoothness) 항을 포함한다. 데이터 항 Dp는 최적화 엔진(112)이 레이블 lp가 할당되는 픽셀 p의 비용(페널티)을 평가할 수 있게 한다. 평활화 항 Vp ,q는 이웃하는 픽셀들인 p와 q에 각기 레이블 lp와 lq가 할당될 때마다 비용을 할당함으로써 최적화 엔진(112)이 불연속적 평탄한 레이블링을 장려할 수 있게 한다(즉, 해법을 정규화한다). 소정 실시예들에서, Vp ,q는 메트릭이며, 최적화 엔진(112)은 전역적 최적해(global optimum)로부터 가능한 거리 안에 있는 레이블 할당을 계산하기 위해 확장 이동 알고리즘(expansion move algorithm)을 실행할 수 있다.
일부 실시예들에서, 최적화 엔진(112)은 평면들의 부분집합
Figure pct00033
에 대해 레이블들 lp를 선택할 수 있다. 평면들의 부분잡합은 M={mi}, i=1,...N으로 표시되고 각각의 선택된 평면 mi는 카메라에 면하고 카메라의 뷰 프러스텀(view frustum) 안에 놓인다. 최적화 엔진(112)은 평면 mi의 위치에 해당하는 위치와 관련된 픽셀들의 밀도에 기반하여 평면들 mi을 분류할 수 있다. 또, 최적화 엔진은 이차원 이미지들의 집합 내 수평 위치에 기반하여 평면들 M의 부분집합 안에 그라운드 평면과 백 평면을 포함할 수 있다.
일 실시예에서, 최적화 에진(112)은 멀티-뷰 포토 일관성, 삼차원 포인트들과 라인들의 기하학적 근접성, 및 삼차원 포인트들 및 평면들의 광선 가시성(ray visibility)를 결합함으로써 Dp를 평가한다. Dp는 레이블 lp(즉, 평면 mp)를 픽셀 p에 할당하는 비용을 평가한다.
Figure pct00034
이며, 여기서
Figure pct00035
는 멀티뷰 포토 일관성이고,
Figure pct00036
는 스파스 삼차원 포인트들 및 라인들의 기하학적 접도이며,
Figure pct00037
는 자유 공간 침해 기반의 삼차원 포인트들 및 평면들의 광선 가시성을 평가한다. 일 실시예에서, 최적화 엔진(112)은 각 픽셀에서의
Figure pct00038
를 조밀하게 평가하고, 한 개 이상의 이차원 이미지들(120) 내 특정 픽셀들에서의
Figure pct00039
및
Figure pct00040
를 평가하기 위해 스파스 구속조건을 활용할 수 있다.
최적화 엔진(112)은 기준 이미지의 이웃 이미지들로부터 여러 뷰들을 선택함으로써 멀티 뷰 포토 일관성
Figure pct00041
을 평가하고, 그 이웃 이미지들과 기준 이미지 뷰들 사이의 유사성을 평가한다. 일 실시예에서, 최적화 엔진(112)은 기준 이미지 Ir에 대해 k(≤10) 개의 이웃 이미지들 I'j을 선택한다. 그런 다음, 최적화 엔진(112)은 각각의 이웃 이미지 I'j를 기준 이미지 Ir로 와핑하기 위해 평면 mp에 의해 호모그래피들(homographies)을 생성한다. 와핑된 이미지 I"j와 기준 이미지 Ir는 최적화 엔진(112)에 의해 사용되어, 와핑된 이미지 I"j와 기준 이미지 Ir의
Figure pct00042
경로에 있는 각 픽셀
Figure pct00043
에서의 NCC(Normalized Cross Correlation)를 평가한다. 일부 실시예들에서,
Figure pct00044
와 NCC는 기준 이미지 wr(p)의 픽셀들과 와핑된 이미지 wj(p)의 픽셀들간 유사성을 평가한다. 최적화 엔진(112)은 변위 범위 d를 사용해 후보 평면들의 위치에서의 불확실성을 설명할 수 있다. 변위 범위
Figure pct00045
는 평면 mp를 중심으로 있을 수 있고, 최적화 평면(112)은 변위 범위 안에서 최적의 매치를 검색할 수 있다. 일부 실시예들에서, 최적화 엔진은 최적의 매치를 모색할 때 이차원 이미지들(Ir, I"j)을 조정한다. 각각의 평면과 연관된 NCC의 평가는
Figure pct00046
이고, 여기서 q=(p-d, p+d)이다. 각각의 이웃 이미지에 대한 유사성 평가는
Figure pct00047
를 산정하는데 사용되는 전체 유사성 평가 속에서 평균되며, 여기서
Figure pct00048
이고 K=300이다. 일 실시예에서, 최적화 엔진(112)은 유사성 점수를 산정할 때 이미지들의 폐색(occlusions)을 아웃라이어들로서 취급할 수 있다.
최적화 엔진(112)은 스파스 삼차원 포인트들 및 라인들
Figure pct00049
의 기하학적 근접도를 평가한다. 최적화 엔진(112)은 평면 mp의 인라이어(inlier)로서 식별된 각각의 삼차원 포인트를 선택한다. 다음으로, 최적화 엔진(112)에 의해 평면 mp 상에서 최근접 삼차원 포인트가 선택된다. 평면 mp의 인라이어이고 평면 mp 상에 있는 삼차원 포인트들이 픽셀들 q에서의 기준 삼차원 뷰로 각기 투영된다. 최적화 엔진(112)은 삼차원 포인트의 기하학적 근접도를 판단하기 위해 q 주변의 3x3 윈도 안에 있는 모든 픽셀들 p에 대한
Figure pct00050
를 산정한다. 최적화 엔진(112)은 삼차원 라인의 엔드 포인트들을 이용하고 각 엔드 포인트의 재투영 오차를 산정하여 스파스 삼차원 라인들
Figure pct00051
의 기하학적 근접도를 평가한다.
최적화 엔진(112)은 삼차원 포인트들과 평면들 및
Figure pct00052
의 광선 가시성에 기반하는 자유 공간 침해를 평가한다. 최적화 엔진(112)은 자유 공간 구속조건을 위반하는 픽셀 평면 할당치들에 대해 큰 페널티를 배정한다. 한 개 이상의 이차원 이미지들에 의해 캡처된 뷰에 매치되는 삼차원 포인트 X나 라인 세그먼트 L은 삼차원 장면 내 해당 뷰들 안에서 가시적이어야 한다. 최적화 엔진(112)은 가시적이어야 하는 삼차원 포인트 X나 라인 세그먼트 L을 식별하고, 삼차원 포인트 X나 라인 세그먼트 L에 상응하는 광선들을 식별한다. 최적화 엔진(112)은 삼차원 포인트 X나 라인 세그먼트 L을 가로지르는 어떤 평면들의 위치를 찾아 자유 공간 위반 페널티를 적용한다. 일 실시예에서, 광선 평면 교차가 일어난 위치를 나타내는 각 평면 mp 상의 삼차원 포인트들 F의 집합이 최적화 엔진(112)에 의해 식별된다. 다음으로, 삼차원 포인트 Xj와 관련된 픽셀 q 주변의 3x3 윈도우 내 모든 픽셀들 p의 삼차원 장면의 뷰 안으로 투영하는 각
Figure pct00053
에 대해 최적화 엔진(112)에 의해
Figure pct00054
이 할당된다.
삼차원 장면 내 경계들에서 픽셀들과 레이블들을 효율적으로 할당하기 위해 최적화 엔진(112)에 의해 평활화 항들 Vp ,q이 할당된다. 최적화 엔진(112)은 적절한 불연속성을 이용해 불연속 상수 레이블링을 장려한다. 평활화 항은 최적화 엔진(112)이 정확한 레이블 경계를 복구할 수 있게 하는 평면 구성 및 소실 방향들로부터 도출된 기하학적 구속조건들을 부과한다. 일부 실시예들에서, 최적화 엔진(112)은 삼차원 장면의 일부인 이차원 이미지들 속의 폐색 에지들과 주름 에지들을 식별하도록 구성된다. 삼차원 장면과 관련된 깊이 맵들은 평탄한 불연속성을 나타낼 수 있는 폐색 에지 및 주름 에지 둘 모두를 포함할 수 있다. 폐색 에지들에서 평면 레이블들 및 장면 깊이들 양자 모두는 폐색 에지를 지나는 픽셀들에서 상이하다. 폐색 에지들은 이차원 이미지들 내 어디에서나 일어날 수 있다. 그러나 평탄한 장면들에서 폐색 에지들은 통상적으로 이차원 이미지들 내 가시적인 이차원 라인 세그먼트들과 일치한다. 주름 에지들에서는 평면 레이블들만이 주름 에지에 걸친 픽셀들에 대해 상이하다. 한 쌍의 평면 레이블들 사이의 주름 에지는 두 개의 해당 평면의 삼차원 교차 라인의 투영과 일치하며, 그에 따라 항상 직선 세그먼트가 된다.
다른 실시예에서, 최적화 엔진(112)은 이차원 이미지들의 집합 내 각각의 이차원 이미지에 대한 평면 기하구조를 동시에 추정한다. 추정된 삼차원 장면의 평면 기하구조는 불일치성을 보일 수 있다. 최적화 엔진(112)은 각각의 이차원 이미지 내 픽셀을 통과하는 광선을 삼차원 포인트를 찾기 위해 그 픽셀에 대응하는 후보 평면에 렌더링함으로써 불일치성을 검출한다. 최적화 엔진(112)은 삼차원 포인트를 이웃 이미지 내 픽셀로 재투영하여 그 삼차원 포인트에 대응하는 그 이웃 이미지 내 픽셀로 할당된 평면이 오리지널 이차원 이미지 내 후보 평면과 매치하는지를 판단할 수 있다. 최적화 엔진(112)은 불일치한 픽셀-평면 할당에 페널티를 주는 평활화 항들을 더하여 불일치성에 대처할 수 있다. 픽셀에서의 각각의 가능한 평면 선택을 위해, 평면을 이웃 이미지 내 대응 픽셀과 연결하는 평활화 항이 결정된다. 대응하는 이웃 픽셀의 픽셀-평면 할당이 불합치하면, 최적화 엔진(112)에 의해 활용된 최적화 함수에 의해 산출된 전반적 비용에 대해 평활화 항으로서 페널티가 추가된다.
일 실시예에서, 최적화 엔진(1120은 이차원 이미지들 내 라인 세그먼트들을 식별하여 폐색 에지들 및 주름 에지들을 검출한다. 이차원 라인 세그먼트들을 통과하는 레이블 경계들은 폐색 및 주름 에지들을 찾는 데 사용된다. 일부 실시예들에서, 직선 폐색 에지들에 대한 선호를 신호하기 위해 최적화 엔진에 의해 소실 방향들이 이용된다.
최적화 엔진(112)은 삼차원 장면 내 평활화 항들에 대한 불연속적 한계(definition)를 산정한다. 이웃 픽셀들(p, q)과 연관된 이웃 평면 lp 및 lq가 평활화 항들을 산정하는데 사용된다.
lp=lq 이면 Vp ,q(lp,lq)=0.
Figure pct00055
.
일부 실시예들에서,
Figure pct00056
및
Figure pct00057
이다.
최적화 엔진(112)은 평면들 M의 부분집합 내 모든 평면 쌍들(mi, mj)에 대한 주름 라인들 {Lij}의 집합을 결정하고, 이차원 이미지의 경계들 안에 있는 평면들 li 및 lj를 선택한다. 각각의 평면 li 및 lj에 대해, 최적화 엔진(112)은 이차원 이미지 내 이웃 픽셀들 (p,q)의 쌍들을 찾는데, 여기서 p와 q는 li 및 lj의 다른 측 상에 있다. 최적화 엔진(112)은 (p, q, li, lj)의 4-튜플(4-tuple) 조합을 가진 집합 S1을 생성한다.
최적화 에진(112)은 폐색 라인들의 집합 {Lik}을 결정한다. 각각의 평면 mi의 법선에 직교하는 소실 방향들이 폐색 라인들을 찾는데 사용된다. 식별된 소실 방향들을 지원하는 이차원 라인 세그먼트들은 이차원 이미지 내 이웃 픽셀들의 쌍들 (p, q)을 찾는데 사용되고, 여기서 p와 q는 li 및 lk의 다른 측 상에 있다. 최적화 엔진(112)은 (p, q, li, ll)의 4-튜플 조합을 가진 집합 S2를 생성한다. 집합 S2는 카메라로부터의 거리에 기반해 분류될 때 {mi} 너머에 있는 평면들 {mk}의 리스트를 얻기 위해 p와 q의 중간 포인트로부터 광선을 백 투영하는(back projects) 최적화 엔진(112)에 의해 채워진다.
나머지 이차원 라인 세그먼트들이 최적화 엔진(112)에 의해 식별된다. 그리고 이차원 라인들을 지원하는 이웃 픽셀들 (p, q)의 집합 S3가 생성된다. 평활화 항은 최적화 엔진(112)이 삼차원 장면에 포함된 불연속성들을 이용해 평면들을 효과적으로 나타낼 수 있게 한다.
재구성 엔진(113)은 삼차원 평면들 상에서의 최적화 및 최적화 엔진에 의해 제공된 관련 픽셀들에 기초하여 삼차원 장면 내에서의 이동(navigaiton)을 지원하도록 구성된다. 일 실시예에서, 그래프 컷 최적화가 이동성의 삼차원 장면을 생성하는데 사용되는 깊이 맵들과 프록시 메쉬들을 제공한다. 재구성 엔진(113)은 이차원 이미지들의 집합 내 각각의 레이블 이미지를 이차원 삼각측량으로 변환할 수 있다. 일부 실시예들에서, 재구성 엔진은 이차원 이미지의 삼각측량을 생성하기 위해 레이블 경계들 상에서 폴리 라인(polyline) 단순화를 이용한다. 그런 다음 재구성 엔진(113)에 의해 이차원 이미지들의 삼각측량이, 레이블들에 대응하는 평면들로부터 형성된 삼차원 삼각측량의 집합에 바로 매핑된다.
이어서, 다중 이차원 이미지들 사이에서 뷰 보간을 가능하게 하기 위해 재구성 엔진(113)에 의해 투영 텍스처(projective texture)가 삼차원 삼각형들의 집합에 적용된다. 뷰 보간 중에, 재구성 엔진(113)은 각각의 이차원 이미지를 그 대응 프록시 메쉬들 상으로 투영 텍스처 매핑한다.
재구성 엔진(113)에 의해 수행되는 텍스처 매핑은 삼차원 장면을 나타내는, 섞여지고 교차 페이딩된(cross-faded) 평면들을 도출할 수 있다. 각 픽셀마다 섞여진 컬러들(C1, C2)이 재구성 엔진에 의해 다음과 같이 산정되어 정해진다:
Figure pct00058
또한,
Figure pct00059
이다.
재구성 엔진(113)은 전환 내내 완전한 불투명도로 렌더링될 한 소스 이미지에 의해서만 커버되는 삼차원 장면의 보간된 뷰들에서의 픽셀들을 이용한 전환을 제공하도록 구성된다. 재구성 엔진(113)은 뷰 보간 중에 다중 이미지들로부터의 기여분을 사용해 픽셀들을 선형적으로 교차 페이딩한다. 재구성 엔진(113)에 의해 수행되는 교차 페이딩은 뷰어가 다른 이차원 이미지에 의해 채워지는 이차원 이미지의 폐색 제거 영역들(disoccluded regions)에 초점을 맞추는 것을 막는다.
사용자는 삼차원 장면을 재구성하는 컴퓨터화된 재구성 서버로 이차원 이미지들의 집합을 제공할 수 있다. 다른 대안으로서, 사용자는 로컬 컴퓨터 상에 위치한 이차원 이미지들로부터 삼차원 장면을 재구성하기 위해 로컬 컴퓨터 상에서 삼차원 재구성 프로그램을 실행할 수 있다. 삼차원 장면은 이동가능하며, 사용자에게 이차원 이미지들에 의해 캡처된 장면에 대한 몰입적 경험을 제공한다.
도 2는 본 발명의 실시예들에 따른 전형적인 이차원 이미지들을 예시한 이미지도이다. 이차원 이미지들은 어떤 집의 서로 다른 뷰들을 캡처한다. 일 실시예에서, 도 2a 및 2b의 이차원 이미지들이 카메라에 의해 캡처된다. 그런 다음, 그 이차원 이미지들은 삼차원 장면을 생성하기 위해 컴퓨터화된 재구성 서버에 의해 처리된다.
일부 실시예들에서, 삼차원 장면은 이미지 특징들과 카메라 보정사항들을 추출하기 위해 각각의 이차원 이미지에 대해 삼차원 복원 기술(structure from motion)을 수행함으로써 재구성된다. 그런 다음, 삼차원 장면의 후보 평면들을 식별하기 위해 그 이미지 특징들과 카메라 보정사항들이 컴퓨터화된 재구성 서버에 의해 사용된다. 평면 후보들이 컴퓨터화된 재구성 서버에 의해 조직되고 삼차원 장면 안에서 전반적인 글로벌 일관성에 기반해 렌더링된다.
도 3은 본 발명의 실시예들에 따른 전형적인 삼차원 평명들을 예시한 평면 도면이다. 도 3a는 장면의 서로 다른 뷰들을 캡처하는 이차원 이미지들에 대해 컴퓨터화된 재구성 서버에 의해 수행되는 삼차원 복원 구조(structure from motion) 특징 추출 및 카메라 보정 결정을 예시한다. 이미지 특징들(가령, 라인, 포인트, 컬러, 픽셀 등)과 카메라 보정사항들(가령, 방위, 위치 등)은 삼차원 라인들과 평면들을 생성하는데 사용된다. 도 3b는 컴퓨터화된 재구성 서버에 의해 생성된 삼차원 라인들을 예시한다. 도 3c-3e는 컴퓨터화된 재구성 서버에 의해 생성되는 여러 삼차원 관점의 후보 평면들을 예시한다.
컴퓨터화된 재구성 서버는 이미지 특징들 및 카메라 보정사항들에 기반하여 삼차원 장면의 깊이 맵과 프록시 메쉬를 생성한다. 그런 다음, 추정된 삼차원 평면들, 깊이 맵들, 및 프록시 메쉬들을 이용하여 삼차원 장면이 렌더링된다. 어떤 실시예에서, 컴퓨터화된 재구성 시스템은 삼차원 장면을 컬러화하고 삼차원 장면들과 관련된 관점들 사이의 전환을 제공한다.
도 4는 본 발명의 실시예들에 따라 컴퓨팅 시스템에 의해 생성된 전형적 장면을 예시한 삼차원 장면도이다. 컴퓨터화된 재구성 시스템은 삼차원 장면의 뷰들을 위해 도 4a에 도시된 깊이 맵을 생성한다. 그런 다음, 삼차원 장면에 텍스처를 제공하기 위해 컴퓨터화된 재구성 시스템에 의해 프록시 메쉬들이 사용된다. 프록시 메시들이 도 4b에 예시된다. 컴퓨터화된 재구성 서버는 또한 프록시 메쉬들에 대해 텍스처 매핑을 수행한다. 텍스처 매핑된 프록시 메쉬가 도 4c에 예시된다.
일 실시예에서, 컴퓨터화된 재구성 시스템은 이차원 이미지에서 소실(vanishing) 방향들을 검출한다. 컴퓨터화된 재구성 서버는 소실 방향들에 기초하여 삼차원 라인들을 구성한다. 그런 다음, 그 소실 방향들과 삼차원 라인들 및 포인트들이 사용되어, 삼차원 장면의 프록시 메쉬를 규정하는 후보 평면들을 생성하도록 한다.
도 5는 본 발명의 실시예들에 따른 전형적인 이차원 이미지들 안에서 소실 방향의 검출을 예시한 소실 방향들에 대한 도면이다. 컴퓨터화된 재구성 시스템에 의해 이차원 이미지가 수신된다. 도 5a는 소실 방향들을 추출하기 위해 컴퓨터화된 재구성 시스템에 의해 처리되는 전형적인 이차원 이미지를 예시한다. 도 5b는 이차원 이미지로부터 추출된 소실 방향들의 각 클러스터의 방위를 예시한다. 컴퓨터화된 재구성 서버는 소실 방향 및 상응하는 이미지 특징에 해당하는 삼차원 라인들을 식별한다. 도 5c는 소실 방향들 및 생성된 삼차원 라인들을 사용하여 컴퓨터화된 서버에 의해 렌더링된 삼차원 장면의 전형적 재구성을 예시한다.
컴퓨터화된 재구성 서버는 삼차원 장면들의 깊이 맵들과 관련된 불확실성에 기반하여 삼차원 장면들을 조정한다. 컴퓨터화된 재구성 서버에 의해 수행되는 평면 검출은 컴퓨터화된 재구성 서버에 의해 생성된 평면 상에 위치하거나 그 평면에 근접한 삼차원 포인트의 뷰 방향을 따라 벡터를 계산함으로써 이러한 불확실성을 설명한다. 그런 다음, 컴퓨터화된 재구성 서버는 삼차원 포인트를 지나는 평면의 방위를 추정하기 위해 삼차원 포인트의 표면에 대한 법선을 추정한다.
도 6은 본 발명의 실시예들에 따른 표면 법선들(normals)의 가능한 분포를 예시한 법선 방위도이다. 컴퓨터화된 재구성 시스템은 삼차원 포인트 Xk 주변의 각 삼차원 포인트에 대한 공분산
Figure pct00060
을 결정한다. 도 6a는 삼차원 포인트 Xk 주변의 삼차원 포인트들의 공분산
Figure pct00061
의 크기를 예시한다. 또한, 컴퓨터화된 재구성 서버는 Xk에 근접한 삼차원 포인트들 사이에서의 표면 법선들
Figure pct00062
의 분포를 산정한다. 삼차원 포인트 Xk를 통과하는 평면의 방위를 결정하기 위해 컴퓨터화된 재구성 시스템에 의해 그 법선들이 사용된다. 도 6b는 삼차원 포인트 Xk를 통과하는 평면들의 법선 분포를 예시한다.
어떤 실시예들에서, 법선의 분포는 여러 관점들로부터 강한 고유 피크들 및 표들을 갖지 않으며, 관련된 이미지 특징이 사용되어 평면의 방위를 추정하도록 한다. 컴퓨터화된 재구성 서버는 삼차원 포인트들과 라인들로부터 평면의 방위에 관한 표들을 모을 수 있다. 그런 다음, 표들의 분포가 평면들의 방위를 결정하는데 사용된다.
도 7은 본 발명의 실시예들에 따른 평면들이나 삼차원 라인들의 방위의 가능한 분포를 예시한 분포 히스토그램이다. 삼차원 포인트들 및 라인들로부터의 표들의 분포는 컴퓨터화된 재구성 서버에 의해 히스트로그램을 통해 산정된다. 도 7a는 삼차원 포인트들로부터의 표들에 기반한 법선들의 분포를 나타내는 히스토그램
Figure pct00063
을 예시한다. 도 7b는 삼차원 라인들로부터의 표들에 기반한 법선들의 분포를 나타내는 히스토그램
Figure pct00064
을 예시한다. 컴퓨터화된 재구성 서버에 의해 식별된 평면들로 지배적인 법선들이 방위로서 할당된다.
컴퓨터화된 재구성 서버는 픽셀들을 평면들에 할당할 때 광선 가시성을 고려하는 그래프 컷 최적화를 실행한다. 이차원 이미지들 및 대응하는 삼차원 라인들과 포인트들로부터 추출된 광선 가시성 정보가 그래프 컷 최적화를 수행하는데 활용되는 목표 함수의 데이터 항들로서 사용된다. 삼차원 라인이나 포인트에 대응하는 평면으로부터 대응하는 관점까지의 가시성 광선과 엇갈리는 어떤 평면에는 페널티가 할당된다.
도 8은 본 발명의 실시예들에 따른 이차원 이미지들로부터 추출된 장면 정보를 예시한 가시성에 대한 도면이다. 평면 mi은 삼차원 라인 L과 삼차원 포인트 X와 연관된다. 삼차원 라인 L 및 삼차원 포인트 X는 여러 관점에서 보여진다. 평면 mk는 평면 mi로부터 해당 관점들까지의 가시성 광선과 교차한다. 컴퓨터화된 재구성 시스템에 의해 실행되는 최적화 함수는 그 평면 mk에 높은 가시성 비용을 할당하는데, 이는 그것이 관점들 및 평면들 mi 사이의 가시성 광선들과 교차하기 때문이다.
삼차원 픽셀들과 평면들이 컴퓨터화된 재구성 서버에 의해 그래프로 체계화된다. 평면들에 대한 픽셀들의 최적 할당을 선택하기 위해 컴퓨터화된 재구성 시스템에 의해 그래프 컷 최적화가 실행된다. 그래프 컷 최적화는 평면과 픽셀을 연결하는 각각의 에지와 관련된 데이터 항들과 평활화 항들을 산정한다.
도 9는 본 발명의 실시예들에 따라 MRF(Markov Random Field) 표현 및 그래프 컷 최소화를 이용하여 평면들을 나타내는 라벨들로의 픽셀들의 할당을 예시한 그래프 도면이다.
그래프는 이차원 이미지들 안의 픽셀들에 해당하는 노드들 및 삼차원 장면 내 평면들에 해당하는 레이블들을 포함한다. 그래프는 삼차원 장면에 대해 MRF(Markov Random Field)를 나타낼 수 있다. 각각의 픽셀 l(i,j)이 평면 P(i,j)에 할당된다. 픽셀 l(i,j)과 평면 P(i,j)을 연결하는 에지에는 컴퓨터화된 재구성 시스템에 의해 산정된 데이터 항들과 평활화 항들에 기초한 비용이 할당된다. 컷(cut) 비용은 제거되거나 잘린 에지들의 합이다. 각각의 픽셀을 삼차원 장면 내 평면에 할당하는 전체 비용을 평가하는 목표 함수를 최소화하기 위해 픽셀들 l(i,j)과 평면들 P(i,j)을 연결하는 에지들이 제거된다.
일부 실시예들에서, 컴퓨터화된 재구성 시스템은 이차원 이미지들의 집합 내 이웃 이미지를 와핑(warping) 함으로써 포토 일관성(photo-consistency)을 평가한다. 그런 다음, 컴퓨터화된 재구성 서버가 와핑된 이미지 및 이웃 이미지 사이의 유사성을 평가한다. 여러 이웃들의 유사도 점수가 컴퓨터화된 재구성 시스템에 의해 평균되어, 그래프 컷 최적화의 데이터 항으로서 사용되는 포토 일관성 평가치를 산정하도록 한다.
도 10은 본 발명의 실시예들에 따라 삼차원 장면을 생성하는데 사용되는 이차원 이미지들 사이의 관계를 예시한 포토 일관성 도면이다. 컴퓨터화된 재구성 서버는 이차원 이미지들의 집합으로부터 선택된 기준 이미지를 식별한다. 도 10a는 전형적인 기준 이미지를 예시한다. 그런 다음, 이웃하는 이차원 이미지들이 선택되고, 포토 일관성을 산출하기 위해 와핑된다. 도 10b는 컴퓨터화된 재구성 시스템에 의해 사용되는 와핑된 이웃 이미지의 예를 도시한다. 도 10c는 컴퓨터화된 재구성 서버에 의해 결정된 기준 이미지 및 와핑된 이미지 사이의 포토 일관성에 대한 계측을 예시한다.
그래프 컷 최적화의 평활화 항들이 평탄한 경계 전환을 보장하도록 픽셀들과 평면들이 할당되게 하는데 사용된다. 컴퓨터화된 재구성 서버는 이차원 상에 포함된 주름 라인들과 폐색 라인들을 식별한다. 그런 다음, 컴퓨터화된 재구성 서버는 이차원 장면 내 주름 라인들, 폐색 라인들, 및 다른 라인들과 관련된 픽셀들과 평면들의 위치에 기반하여 평활화 항들을 산정한다.
도 11은 본 발명의 실시예들에 따라 삼차원 장면 내 한 쌍의 평면들의 교차에 해당하는 주름 (crease) 에지들 및 평면들의 폐색(occlusion) 경계들을 예시하는 경계도이다.
컴퓨터화된 재구성 서버는 이차원 이미지들 내 주름 라인들을 식별한다. 주름 라인들이 도 11a에 예시된다. 그 주름 라인들은 주름 라인을 생성하는 평면들 사이의 경계에 대한 평활화 항을 산출하는데 사용된다. 컴퓨터화된 재구성 서버는 이차원 이미지들 내 폐색 라인들을 식별한다. 폐색 라인들이 도 11b에 예시된다. 그 폐색 라인들은 폐색 라인을 생성하는 평면들과 관련된 경계에 대한 평활화 항을 산출하는데 사용된다.
컴퓨터화된 재구성 서버에 의해 제공된 픽셀 및 평면 할당들에 기반하여 프록시 메쉬가 생성된다. 그런 다음 컴퓨터화된 재구성 서버는 프록시 메쉬 내 평면들로 텍스처들을 매핑하고 텍스처 매핑된 메쉬를 사용자에게 디스플레이한다. 컴퓨터화된 재구성 시스템은 또한 삼차원 장면의 뷰들을 보간하여 삼차원 장면 안에서의 이동(navigation)을 제공하도록 한다.
도 12-17은 본 발명의 실시예들에 따라, 다양한 삼차원 장면들에서 관점들 간의 가능한 이동을 예시한 전환 도면들이다.
어떤 실시예에서, 컴퓨터화된 재구성 서버는 항생성 삼차원 장면을 렌더링하기 위한 방법을 수행한다. 이차원 이미지들의 집합이 수신되어, 이미지 특징들 및 카메라 보정사항들을 추출하기 위해 프로세싱된다. 컴퓨터화된 재구성 서버는 카메라에 의해 장면 상에 캡처된 삼차원 라인들을 식별하고, 삼차원 장면의 여러 평면들을 생성하기 위해 소실 방향, 이미지 특징, 및 카메라 보정사항을 이용한다.
도 18은 본 발명의 실시예들에 따라 전자 데이터베이스에 저장되는 이미지들의 집합으로부터 이동성의 삼차원 장면을 렌더링하는데 사용되는 평면들의 선택 방법을 예시한 논리 도면이다. 이 방법은 단계 1810에서 시작된다. 단계 1820에서, 컴퓨터화된 재구성 서버에 의해 전자 데이터베이스로부터 이미지들의 집합이 수신된다. 단계 1830에서, 컴퓨터화된 재구성 서버는 이미지들의 집합으로부터 장면 정보를 추출한다. 장면 정보는 카메라 보정사항, 삼차원 포인트 클라우드, 삼차원 라인 세그먼트, 및 포인트 및 라인들의 멀티 뷰 대응관계 데이터를 포함할 수 있다.
그런 다음 컴퓨터화된 재구성 서버는 단계 1840에서 에지 검출을 이용하여 이미지들의 집합 내 각 이미지 안에서의 소실 방향들을 검출한다. 소실 방향은 집합 이미지들에 포함된 나란한 라인들의 방향을 나타내는 벡터이다. 소실 방향은 이차원 이미지들의 집합으로부터 추정된 나란한 삼차원 라인들의 방향으로부터 도출된다. 다른 대안으로서, 소실 방향이 이차원 이미지들의 집합 내 이차원 이미지들로부터 추출된 이차원 라인 교차들로부터 추정될 수도 있다. 일 실시예에서, 컴퓨터화된 재구성 서버에 의해 평균 이동 클러스터링(mean shift clustering)이 사용되어, 이차원 이미지들의 집합에 의해 캡처된 여러 뷰들의 소실 방향들을 선택하도록 한다.
단계 1850에서, 컴퓨터화된 재구성 서버는 소실 방향들 및 장면 정보에 기반하여 이동성 삼차원 장면 내 각각의 평면을 식별한다. 일 실시예에서, 컴퓨터화된 재구성 서버는 이미지들의 집합으로부터 추출된 소실 방향들의 각 가능한 쌍의 상적(cross product)에 기초하여 평면 방위들의 집합을 결정한다. 또한, 삼차원 장면에 대한 지배적 평면들이 컴퓨터화된 재구성 서버에 의해 식별될 수 있다.
단계 1860에서, 컴퓨터화된 재구성 서버는 MRF 분포를 생성하여, MRF 분포에 할당된 최소화 함수들에 기반하여 각각의 평면에 픽셀들을 할당하도록 한다. 최소화 함수들은 픽셀을 이동성 삼차원 장면 내 평면으로 할당하는 데 대한 글로벌 비용을 최적화한다. 픽셀들은 삼차원 포인트 클라우드 안에 포함되며, 무엇보다 이미지들의 집합에 포함된 다중 뷰들에 걸친 포토 일관성에 기반하여 지배적 평면들 각각에 대해 할당된다. 일부 실시예들에서, 이미지 내 픽셀들은 카메라 방위와 일치하는 평면들에 대해 표를 준다. 다른 대안으로서, 이미지들의 집합 내 각 이미지 안의 픽셀들은 글로벌 비용을 최소화하는 평면-픽셀 할당을 결정하도록 되풀이하여 표를 준다. 소정 실시예들에서, 최소화 함수들은 평활화 항들에 의해 구속되는 MRF 분포 그래프에 대해 컷 비용들을 선택한다. 선택된 MRF 분포 그래프의 컷 비용들은 컴퓨터화된 재구성 서버에 의해 글로벌 비용에 도달하도록 계산된다.
일 실시예에서, 평면-픽셀 할당의 글로벌 비용 중 일부는 MRF 분포 그래프에 적용된 최소화 함수들에 포함되는 평활화 항에 의해 표현된다. 컴퓨터화된 재구성 서버는 폐색 평면의 법선 벡터에 직교하는 소실 방향들과 일치하는 이차원 라인들에서의 불연속성에 해당하는 전환을 택하기 위한 평면과 픽셀을 가진 MRF 분포 그래프의 평활화 항들을 산출할 수 있다. 컴퓨터화된 재구성 서버는 한 이미지 내 픽셀을 어떤 평면에 할당하는 것에 대해 이웃 이미지들 내 대응 픽셀이 그 동일 평면을 선택하지 않았을 경우 페널티를 주도록 평활화 항들을 산출할 수 있다. 컴퓨터화된 재구성 서버는 이미지 내 이차원 라인들에 해당하는 전환을 선택하도록 평활화 항들을 산출할 수 있다.
컴퓨터화된 재구성 서버는 할당된 평면들 위에 픽셀들을 렌더링한다. 이 방법은 단계 1870에서 종료된다.
컴퓨터화된 재구성 서버는 픽셀들과 평면들의 가능한 할당을 나타내는 그래프 상에서 수행되는 최적화에 기초하여 픽셀들을 할당한다. 컴퓨터화된 재구성 서버는 픽실과 평면 사이의 각각의 할당에 대한 비용을 최소화하도록 시도한다. 할당에 대한 비용은 데이터 항들 및 평활화 항들을 포함하는 목표 함수에 의해 표현된다.
도 19는 전자 데이터베이스에 저장된 이차원 이미지들의 집합으로부터 이동성의 삼차원 장면을 재구성할 때 이차원 이미지들로부터 삼차원 평면들에 픽셀들을 할당하는 방법을 예시한 논리 도면이다. 이 방법은 단계 1910에서 시작된다. 단계 1920에서, 컴퓨터화된 재구성 서버는 이차원 이미지들의 집합을 수신한다. 컴퓨터화된 재구성 시스템은 단계 1930에서 이차원 이미지들로부터 추출된 장면 정보로부터 삼차원 평면들의 집합을 생성한다. 장면 정보는 소실 방향들, 라인들, 및 삼차원 포인트들을 포함한다.
다음으로, 단계 1940에서 장면 정보 및 생성된 삼차원 평면들을 이용하여 컴퓨터화된 재구성 서버에 의해 MRF가 생성된다. 단계 1950에서, 컴퓨터화된 재구성 시스템은 이차원 이미지들의 깊이 맵들을 제공하는 MRF에 의해 표현되는 에너지 함수를 최소화하도록 생성된 평면들로 픽셀들을 할당한다.
MRF는 픽셀들을 할당하기 위한 조건들을 세팅하는 데이터 항들 및 평면들 사이의 전환을 위한 조건을 세팅하는 평활화 항들에 기초하여 최적화된다. 일부 실시예들에서, 픽셀 할당 중에 컴퓨터화된 재구성 시스템은 멀티 뷰 포토 일관성, 스파스 삼차원 포인트 및 라인들의 기하학적 근접성, 및 삼차원 포인트들과 라인들의 광선 가시성으로부터 도출된 자유 공간 침해에 대해 데이터 항들을 체크한다. 데이터 항들은 이미지에서 관찰되었던 삼차원 포인트나 라인을 폐색시킬 수 있을 평면으로의 픽셀 할당에 대해서는 페널티를 주고, 또는 데이터 항들은 이미지에서 관찰되었던 삼차원 포인트나 라인과 일치하는 평면으로의 픽셀 할당을 고무시킨다. 다른 실시예에서, 데이터 항들은 한 이미지 내 픽셀의 어떤 평면으로의 할당에 대해, 이차원 이미지들의 집합 내 각각의 이차원 이미지에 대한 반복 패스(iterative pass) 중에 이웃 이미지들에 있는 대응 픽셀이 같은 평면을 선택하지 않으면 페널티를 준다.
평활화 항들은 평면들이 교차하는 라인들을 따라서 평면들 사이의 전환을 선호한다. 평활화 항들은 또한 폐색 평면의 법선 벡터에 직교하는 소실 방향과 일치하는 이차원 라인들에서의 불연속성에 해당하는 전환을 선호한다. 평활화 항들은 이미지 내 이차원 라인들에 해당하는 전환을 선호한다. 평활화 항들은 한 이미지 내 픽셀의 어떤 평면으로의 할당에 대해, 이차원 이미지들의 집합 내 이차원 이미지들에 대한 동시적 패스(simultaneous pass) 중에 이웃 이미지들에 있는 대응 픽셀이 같은 평면을 선택하지 않았으면 페널티를 준다.
이동성 삼차원 장면을 렌더링하는데 사용되는 픽셀-평면 할당에 기초하여 컴퓨터화된 재구성 시스템에 의해 깊이 맵들이 생성된다. 일부 실시예들에서, 컴퓨터화된 재구성 시스템은 폐색 라인들 및 주름 라인들을 식별함으로써 깊이 맵과 경계들을 보정한다. 컴퓨터화된 재구성 서버에 의해 깊이 맵 및 이차원 이미지들의 투영을 이용해 삼차원 장면이 렌더링된다. 이차원 이미지 투영은 삼차원 장면의 일부인 집합 내 이차원 이미지들 각각에 대한 평탄한 뷰 보간을 가능하게 하도도록 교차 페이딩된다. 이 방법은 단계 1960에서 종료된다.
요약하면, 크고 무질서한 이차원 이미지들의 이미지 기반 렌더링에 사용되는 불연속의 평탄하고 밀집된 깊이 맵들을 산출하기 위한 자동 방법들을 실행하는 컴퓨터화된 재구성 서버 및 클라이언트가 제공된다. 컴퓨터화된 재구성 서버에 의해 렌더링되는 삼차원 장면들은 컴퓨터화된 재구성 서버가 그 삼차원 장면을 생성하기 위해 글로벌 장면 정보를 활용하기 때문에 안정적이고 포토 리얼리즘적이다. 컴퓨터화된 재구성 서버는 평면 방위들을 추론하기 위해 강한 소실 방향들을 활용하면서 삼차원 포인트 및 라인들의 견고한 평면 근사(plane-fitting)에 기반하여 지배적인 장면 평면들의 집합을 복구한다. 이차원 이미징들에 포함된 다각형의 직선 모양들에 대한 불연속성들로부터 도출되는 기하학적 구속조건을 포함하는 불연속의 평탄한 평면 맵들을 생성하기 위해 컴퓨터 재구성 서버에 의해 MRF(Markov Random Field) 그래프 및 상응하는 최적화가 실행된다. 또한, 비 램버시안 및 무텍스터 표면들을 사용해 장면들 안에서 자유 공간 구속조건과 홀들이 최소화되게 하도록 컴퓨터화된 재구성 서버에 의해 삼차원 포인트들과 라인들의 광선 가시성이 사용된다.
본 발명의 실시예들에 대한 상기 설명은 예시적인 것이며, 구성 및 구현 상의 수정은 현재 설명의 범위 안에 있다. 예를 들어, 본 발명의 실시예들은 일반적으로 도 1-19와 관련해 기술되었지만 그 설명은 예시적인 것이다. 내용인 구조적 특징들이나 방법론적 행위들에 특정된 언어를 통해 기술되었지만, 첨부된 청구범위에 규정된 내용이 상술한 특정한 특징들이나 행위들에 꼭 국한되는 것은 아니라는 것이 이해된다. 오히려, 상술한 특정한 특징들과 행위들은 청구범위를 구현하는 예의 형태들로서 개시된다. 따라서 본 발명의 실시예의 범위는 이하의 청구범위에 의해서만 한정되도록 의도된다.

Claims (15)

  1. 전자적 데이터베이스에 저장된 이미지의 집합으로부터 이동성의(navigable) 삼차원 장면을 렌더링하기 위해 사용되는 평면을 선택하는 컴퓨터 구현 방법에 있어서,
    상기 전자적 데이터베이스로부터 상기 이미지의 집합을 수신하는 단계(1820),
    상기 이미지의 집합으로부터 장면 정보를 추출하는 단계(1830) - 상기 장면 정보는 카메라 보정사항(calibrations), 삼차원 포인트 클라우드, 삼차원 라인 세그먼트, 및 포인트 및 라인의 멀티 뷰(multi-view) 대응관계에 대한 데이터를 포함함 - ,
    에지(edge) 검출 및 이차원 라인 세그먼트 추출을 이용하여 상기 이미지의 집합 내 각 이미지 내에서의 소실(vanishing) 방향을 검출하는 단계(1840),
    상기 소실 방향 및 상기 장면 정보에 기반하여 상기 이동성의 삼차원 장면 내 각각의 평면을 식별하는 단계(1850), 및
    상기 이동성의 삼차원 장면 내 평면에 픽셀을 할당하는 것의 글로벌 비용(global cost)을 최적화하기 위해 MRF(Markov Random Field) 분포에 적용되는 최소화 함수에 기반하여 각 평면에 픽셀을 할당하기 위해서 MRF 분포를 형성하는 단계를 포함하는
    컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 이미지의 집합에 의해 캡처된 다른 뷰에 대한 소실 방향을 검출하기 위해 평균 이동 클러스터링(mean shift clustring)이 사용되는
    컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 소실 방향을 검출하기 위해 상기 이미지의 집합으로부터 추출된 나란한 라인이 사용되는
    컴퓨터 구현 방법.
  4. 제1항에 있어서,
    상기 이미지의 집합으로부터 추출된 소실 방향의 각각의 가능한 쌍의 상적(cross product)에 기초하여 평면 방위의 집합을 결정하는 단계를 더 포함하는
    컴퓨터 구현 방법.
  5. 제1항에 있어서,
    평면-픽셀 할당에 대한 상기 글로벌 비용의 일부는 MRF 분포 그래프에 적용되는 상기 최소화 함수에 포함된 평활화 항(smoothness term)에 의해 표현되며, 상기 평활화 항은 폐색(occluding) 평면의 법선 벡터에 직교하는 상기 소실 방향과 일치되는 이차원 라인에서의 불연속성에 해당하는 픽셀의 평면 사이의 전환(transitions)을 선호하도록 산출되는
    컴퓨터 구현 방법.
  6. 제5항에 있어서,
    이웃 이미지 내 대응 픽셀이 평면을 선택하지 않았을 경우에 한 이미지 내 픽셀을 상기 평면에 할당하는 것에 대해 페널티를 주도록 MRF 분포 그래프 내 평활화 항을 산출하는 단계를 더 포함하는
    컴퓨터 구현 방법.
  7. 제5항에 있어서,
    상기 이미지 내 이차원 라인이나 이차원 라인 세그먼트에 해당하는 전환을 선호하도록 상기 MRF 분포 그래프 내의 평활화 항을 산출하는 단계를 더 포함하는
    컴퓨터 구현 방법.
  8. 제5항에 있어서,
    상기 이미지의 집합 내 각 이미지 안의 픽셀은 상기 글로벌 비용을 최소화하는 평면-레이블(label) 할당을 결정하도록 되풀이하여 가결(vote)하는
    컴퓨터 구현 방법.
  9. 제5항에 있어서,
    상기 최소화 함수는 상기 평활화 항에 의해 구속되는 상기 MRF 분포 그래프에서의 컷 비용(cut costs)을 선택하는
    컴퓨터 구현 방법.
  10. 전자 데이터베이스에 저장된 이차원 이미지의 집합으로부터 이동성의 삼차원 장면을 렌더링할 때 이차원 이미지로부터 삼차원 평면으로 픽셀을 할당하는 방법을 수행하기 위한 컴퓨터 실행가능 명령어를 저장하는 한 개 이상의 컴퓨터 판독가능 매체에 있어서, 상기 방법은
    상기 이차원 이미지의 집합을 수신하는 단계(1920),
    상기 이차원 이미지로부터 추출된 장면 정보로부터 삼차원 평면의 집합을 생성하는 단계(1930) - 상기 장면 정보는 소실 방향, 라인, 및 삼차원 포인트를 포함함 - ,
    상기 장면 정보 및 상기 생성된 삼차원 평면을 이용하여 MRF(Markov Random Field)를 생성하는 단계(1940), 및
    상기 이차원 이미지에 대해 깊이 맵을 제공하는 상기 MRF에 의해 표현된 에너지 함수를 최소화하도록 상기 생성된 평면으로 픽셀을 할당하는 단계(1950) - 상기 깊이 맵은 이동성의(navigable) 삼차원 장면을 렌더링하기 위해 사용됨 - 를 포함하는
    컴퓨터 판독가능 매체.
  11. 제10항에 있어서,
    상기 방법은
    폐색 에지 및 주름 에지를 식별함으로써 상기 깊이 맵 및 경계를 보정하는 단계, 및
    상기 깊이 맵 및, 상기 이차원 이미지를 그의 대응 깊이 맵 상으로 투영한 것을 이용하여 삼차원 장면을 렌더링하되, 다중 이차원 이미지 사이의 교차 페이딩(cross fading)이 상기 집합 내 이차원 이미지 각각에 대한 평탄한 뷰 보간(view interpolation)을 가능하게 하는 단계를 더 포함하는
    컴퓨터 판독가능 매체.
  12. 제10항에 있어서,
    상기 MRF에 의해 표현된 에너지 함수를 최소화하도록 상기 생성된 평면으로 픽셀을 할당하는 단계는
    멀티뷰 포토 일관성(photo consistency), 스파스(sparse) 삼차원 포인트 및 라인의 기하학적 근접도, 및 상기 삼차원 포인트 및 라인의 광선 가시성(ray visibility)로부터 도출되는 자유 공간 침해(free space violations)를 설명하는 단계: 및
    픽셀을 할당하기 위한 조건을 세팅하는 데이터 항 및 평면 사이의 전환을 위한 조건을 세팅하는 평활화 항에 기초하여 상기 MRF를 최적화하는 단계를 더 포함하는
    컴퓨터 판독가능 매체.
  13. 제12항에 있어서,
    상기 데이터 항은 각각의 이차원 이미지에 대한 반복 패스(iterative pass) 중에 이웃 이미지에 있는 대응 픽셀이 평면을 선택하지 않았으면 한 이미지 내 픽셀의 상기 평면으로의 할당에 대해 페널티를 주는
    컴퓨터 판독가능 매체.
  14. 제12항에 있어서,
    상기 평활화 항은 폐색 평면의 법선 벡터에 직교하는 소실 방향과 일치하는 이차원 라인에서의 불연속성에 해당하는 전환을 선호하는 평활화 항, 상기 이미지 내 이차원 라인에 해당하는 전환을 선호하는 평활화 항, 또는 한 이미지 내 픽셀의 어떤 평면으로의 할당에 대해, 이차원 이미지의 집합 내 모든 이미지에 대한 동시적 패스(simultaneous pass) 중에 이웃 이미지에 있는 대응 픽셀이 상기 같은 평면을 선택하지 않았으면 페널티를 주는 평활화 항을 포함하는 평활화 항 중 적어도 하나를 포함하는
    컴퓨터 판독가능 매체.
  15. 메모리 및 프로세서를 가지고 이차원 이미지의 집합으로부터 이동성의 삼차원 장면을 생성하도록 구성된 컴퓨터 시스템에 있어서,
    상기 이차원 이미지로부터 추출된 상기 장면 정보로부터 삼차원 평면의 집합을 생성하도록 구성된 평면 생성기(111),
    상기 이차원 이미지 각각에 대한 깊이 맵을 추정하며, 상기 이차원 이미지에서 상기 생성된 평면으로 픽셀을 할당하기 위해 글로벌 및 로컬 경계 구속조건을 규정하도록 구성된 최적화 엔진(112), 및
    상기 생성된 평면으로부터 다중 평면 다각형, 보간된 뷰, 및 상기 삼차원 장면의 상기 깊이 맵에 기반하여 상기 집합 내 각 이미지로부터 교차 페이딩 뷰를 생성하도록 구성된 재구성 엔진(113)을 포함하는
    컴퓨터 시스템.
KR1020117029924A 2009-06-15 2010-06-15 삼차원 장면의 불연속 평면 재구성 KR101928575B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/484,909 2009-06-15
US12/484,909 US8933925B2 (en) 2009-06-15 2009-06-15 Piecewise planar reconstruction of three-dimensional scenes
PCT/US2010/038594 WO2010147929A2 (en) 2009-06-15 2010-06-15 Piecewise planar reconstruction of three-dimensional scenes

Publications (2)

Publication Number Publication Date
KR20120031012A true KR20120031012A (ko) 2012-03-29
KR101928575B1 KR101928575B1 (ko) 2018-12-12

Family

ID=43306055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117029924A KR101928575B1 (ko) 2009-06-15 2010-06-15 삼차원 장면의 불연속 평면 재구성

Country Status (10)

Country Link
US (1) US8933925B2 (ko)
EP (1) EP2443615B1 (ko)
JP (1) JP2012530323A (ko)
KR (1) KR101928575B1 (ko)
CN (1) CN102804231B (ko)
AU (1) AU2010260256B2 (ko)
BR (1) BRPI1010700A2 (ko)
CA (1) CA2760973C (ko)
SG (1) SG175437A1 (ko)
WO (1) WO2010147929A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367920B2 (en) 2013-08-19 2016-06-14 Samsung Electronics Co., Ltd. Method and apparatus for processing images
WO2020076058A1 (ko) * 2018-10-08 2020-04-16 삼성전자 주식회사 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
US11887269B2 (en) 2020-11-11 2024-01-30 Samsung Electronics Co., Ltd. Computing method and apparatus with image generation

Families Citing this family (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751950B2 (en) 2004-08-17 2014-06-10 Ice Edge Business Solutions Ltd. Capturing a user's intent in design software
WO2009111885A1 (en) 2008-03-11 2009-09-17 Dirtt Environmental Solutions, Ltd. Automatically creating and modifying furniture layouts in design software
US8933925B2 (en) 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US8723987B2 (en) * 2009-10-30 2014-05-13 Honeywell International Inc. Uncertainty estimation of planar features
EP2504783A4 (en) * 2009-11-24 2015-02-25 Ice Edge Business Solutions Inc SECURE SHARING OF DESIGN REPRESENTATIONS ON A NETWORK
US20110232719A1 (en) * 2010-02-17 2011-09-29 Freda Robert M Solar power system
US8660365B2 (en) 2010-07-29 2014-02-25 Honeywell International Inc. Systems and methods for processing extracted plane features
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
ES2392229B1 (es) * 2010-08-27 2013-10-16 Telefónica, S.A. Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
US8705892B2 (en) * 2010-10-26 2014-04-22 3Ditize Sl Generating three-dimensional virtual tours from two-dimensional images
US9177381B2 (en) * 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
US8619094B2 (en) 2011-01-07 2013-12-31 Sony Computer Entertainment America Llc Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image
US9183670B2 (en) 2011-01-07 2015-11-10 Sony Computer Entertainment America, LLC Multi-sample resolving of re-projection of two-dimensional image
US9041774B2 (en) 2011-01-07 2015-05-26 Sony Computer Entertainment America, LLC Dynamic adjustment of predetermined three-dimensional video settings based on scene content
CN103283241B (zh) 2011-01-07 2016-03-16 索尼电脑娱乐美国公司 二维图像的再投影的多样本解析
US8514225B2 (en) 2011-01-07 2013-08-20 Sony Computer Entertainment America Llc Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
CA2796664C (en) 2011-06-11 2019-02-12 Dirtt Environmental Solutions, Ltd. Automated re-use of structural components
US9245345B2 (en) * 2011-06-29 2016-01-26 Nec Solution Innovators, Ltd. Device for generating three dimensional feature data, method for generating three-dimensional feature data, and recording medium on which program for generating three-dimensional feature data is recorded
US9299154B2 (en) 2011-09-29 2016-03-29 Thomson Licensing Method and device for filtering a disparity map
US9613453B2 (en) * 2011-10-04 2017-04-04 Google Inc. Systems and method for performing a three pass rendering of images
ES2672881T3 (es) * 2011-11-29 2018-06-18 Pictometry International Corp. Sistema de detección automática de huella de estructura de imaginería oblicua
CN104025153B (zh) * 2011-12-30 2017-09-15 英特尔公司 粗到细多个视差候选立体匹配
CN103455976B (zh) * 2012-05-31 2018-07-20 北京三星通信技术研究有限公司 人体图像解析装置和方法
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
WO2014032053A1 (en) * 2012-08-24 2014-02-27 MDi Touch LLC Method and apparatus for recognizing polygon structures in images
JP6001389B2 (ja) * 2012-09-13 2016-10-05 国立大学法人 東京大学 環境復元装置、環境復元方法及び環境復元プログラム
TWI558165B (zh) * 2012-09-25 2016-11-11 宏碁股份有限公司 電腦系統及立體影像產生方法
US9317968B2 (en) * 2012-10-23 2016-04-19 Raytheon Company System and method for multiple hypotheses testing for surface orientation during 3D point cloud extraction from 2D imagery
KR101370785B1 (ko) * 2012-11-06 2014-03-06 한국과학기술원 입체 영상의 깊이 맵 생성 방법 및 장치
US9135742B2 (en) 2012-12-28 2015-09-15 Microsoft Technology Licensing, Llc View direction determination
US9214138B2 (en) 2012-12-28 2015-12-15 Microsoft Technology Licensing, Llc Redundant pixel mitigation
TWI531213B (zh) * 2013-01-18 2016-04-21 國立成功大學 應用於裸視３ｄ顯示之影像轉換方法與模組
EP2962290B1 (en) 2013-02-21 2019-07-17 HERE Global B.V. Relaying 3d information by depth simulation using 2d pixel displacement
US20160012157A1 (en) * 2013-02-28 2016-01-14 ClearEdge3D, Inc, Apparatus and method for extrapolating observed surfaces through occluded regions
US9305371B2 (en) 2013-03-14 2016-04-05 Uber Technologies, Inc. Translated view navigation for visualizations
US9712746B2 (en) 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering
US9183635B2 (en) * 2013-05-20 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing 3D lines from 2D lines in an image
US9514574B2 (en) 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
US9990760B2 (en) 2013-09-03 2018-06-05 3Ditize Sl Generating a 3D interactive immersive experience from a 2D static image
EP3044967A4 (en) * 2013-09-10 2017-05-10 Calgary Scientific Inc. Architecture for distributed server-side and client-side image data rendering
US9406138B1 (en) 2013-09-17 2016-08-02 Bentley Systems, Incorporated Semi-automatic polyline extraction from point cloud
CN103500462A (zh) * 2013-10-14 2014-01-08 合肥完美世界网络技术有限公司 一种虚拟游戏场景的图像的提供方法和系统
US9171403B2 (en) 2014-02-13 2015-10-27 Microsoft Technology Licensing, Llc Contour completion for augmenting surface reconstructions
US10282858B2 (en) * 2014-04-18 2019-05-07 The University Of British Columbia Methods and systems for estimating three-dimensional information from two-dimensional concept drawings
US10410429B2 (en) * 2014-05-16 2019-09-10 Here Global B.V. Methods and apparatus for three-dimensional image reconstruction
CN105574926B (zh) * 2014-10-17 2018-05-11 华为技术有限公司 生成三维图像的方法和装置
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10719939B2 (en) * 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10726560B2 (en) * 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
KR102350232B1 (ko) * 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
WO2016097940A1 (en) 2014-12-16 2016-06-23 3Ditize Sl 3d rotational presentation generated from 2d static images
US10115035B2 (en) * 2015-01-08 2018-10-30 Sungkyunkwan University Foundation For Corporation Collaboration Vision system and analytical method for planar surface segmentation
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US9860553B2 (en) * 2015-03-18 2018-01-02 Intel Corporation Local change detection in video
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9870514B2 (en) 2015-07-02 2018-01-16 Qualcomm Incorporated Hypotheses line mapping and verification for 3D maps
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US9858683B2 (en) 2015-08-05 2018-01-02 Intel Corporation Method and system of planar surface detection objects in 3d space generated from captured images for image processing
DE102015010264A1 (de) 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
US9679413B2 (en) 2015-08-13 2017-06-13 Google Inc. Systems and methods to transition between viewpoints in a three-dimensional environment
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
CN105701821B (zh) * 2016-01-14 2018-07-24 福州华鹰重工机械有限公司 立体图像表面探测匹配方法及装置
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US10262222B2 (en) * 2016-04-13 2019-04-16 Sick Inc. Method and system for measuring dimensions of a target object
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
EP3252713A1 (en) * 2016-06-01 2017-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
US10839535B2 (en) * 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
CN106327576B (zh) * 2016-08-10 2019-03-29 周口师范学院 一种城市场景重建方法及系统
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
US10038894B1 (en) * 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10089750B2 (en) 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
CN108510536B (zh) * 2017-02-28 2021-09-21 富士通株式会社 多视点图像的深度估计方法和深度估计设备
US10438405B2 (en) * 2017-03-02 2019-10-08 Sony Corporation Detection of planar surfaces for use in scene modeling of a captured scene
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
EP3401815B1 (en) * 2017-05-09 2022-12-21 Dassault Systèmes Determining an architectural layout
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
US10922551B2 (en) * 2017-10-06 2021-02-16 The Nielsen Company (Us), Llc Scene frame matching for automatic content recognition
EP3486607B1 (de) * 2017-11-20 2021-09-01 Leica Geosystems AG Bildbasierte kantenvermessung
EP3489627B1 (en) * 2017-11-24 2020-08-19 Leica Geosystems AG True to size 3d-model conglomeration
CN111788611B (zh) 2017-12-22 2021-12-03 奇跃公司 密集3d重建数据的缓存和更新
EP3503037A1 (en) * 2017-12-24 2019-06-26 Dassault Systèmes Visibility function of a three-dimensional scene
CN111868738B (zh) 2018-01-11 2023-09-26 云游公司 跨设备监控计算机视觉系统
CN108510516A (zh) * 2018-03-30 2018-09-07 深圳积木易搭科技技术有限公司 一种散乱点云的三维线段提取方法及系统
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN108921939A (zh) * 2018-07-04 2018-11-30 王斌 一种基于图片的三维场景重建方法
US10733800B2 (en) 2018-09-17 2020-08-04 Facebook Technologies, Llc Reconstruction of essential visual cues in mixed reality applications
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN110021065A (zh) * 2019-03-07 2019-07-16 杨晓春 一种基于单目相机的室内环境重建方法
US11600049B2 (en) * 2019-04-24 2023-03-07 Magic Leap, Inc. Perimeter estimation from posed monocular video
WO2020237089A1 (en) 2019-05-21 2020-11-26 Magic Leap, Inc. Caching and updating of dense 3d reconstruction data
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
CN110264508B (zh) * 2019-06-25 2021-01-01 北京理工大学 一种基于凸四边形原则的消影点估计方法
US11238659B2 (en) 2019-06-26 2022-02-01 Magic Leap, Inc. Caching and updating of dense 3D reconstruction data
JP2022537817A (ja) * 2019-06-28 2022-08-30 マジック リープ， インコーポレイテッド 動的オクルージョンのための高速の手のメッシュ化
CN110458952B (zh) * 2019-08-19 2022-07-15 江苏濠汉信息技术有限公司 一种基于三目视觉的三维重建方法和装置
US11328476B2 (en) * 2019-11-14 2022-05-10 Qualcomm Incorporated Layout estimation using planes
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11468609B2 (en) * 2020-05-11 2022-10-11 Cognex Corporation Methods and apparatus for generating point cloud histograms
CN111768417B (zh) * 2020-06-23 2023-12-05 中南大学 基于单目视觉3d重建技术的铁路货车超限检测方法
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
CN112270737A (zh) * 2020-11-25 2021-01-26 浙江商汤科技开发有限公司 一种纹理映射方法及装置、电子设备和存储介质
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
EP4125045A3 (en) 2021-07-27 2023-04-05 Tata Consultancy Services Limited Method and system for generating 3d mesh of a scene using rgbd image sequence
CN113837943A (zh) * 2021-09-28 2021-12-24 广州极飞科技股份有限公司 图像处理方法、装置、电子设备及可读存储介质
CN114202632A (zh) * 2021-12-03 2022-03-18 北京航空航天大学 网格线性结构恢复方法、装置、电子设备及存储介质
CN114742947B (zh) * 2022-04-11 2024-04-19 中国测绘科学研究院 一种适用于大范围的倾斜三维模型纹理分块重建方法
CN115131459B (zh) * 2022-05-24 2024-05-28 中国科学院自动化研究所 平面布置图重建方法及装置
CN117011466B (zh) * 2023-08-08 2024-03-29 苏州三垣航天科技有限公司 一种基于分段平面算法的三维重建方法
CN117710603B (zh) * 2024-02-04 2024-04-30 东华理工大学南昌校区 一种直线几何结构约束下无人机图像三维建筑物建模方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432712A (en) 1990-05-29 1995-07-11 Axiom Innovation Limited Machine vision stereo matching
US6052124A (en) * 1997-02-03 2000-04-18 Yissum Research Development Company System and method for directly estimating three-dimensional structure of objects in a scene and camera motion from three two-dimensional views of the scene
DE69811050T2 (de) 1997-07-29 2003-11-06 Koninkl Philips Electronics Nv Rekonstruktionsverfahren, Vorrichtung und Dekodierungssystem für dreidimensionalen Szenen.
US20100045816A1 (en) 1999-05-19 2010-02-25 Rhoads Geoffrey B User Feedback in Connection with Object Recognition
US6526166B1 (en) 1999-12-29 2003-02-25 Intel Corporation Using a reference cube for capture of 3D geometry
JP2002027289A (ja) 2000-06-14 2002-01-25 Ureka Networks:Kk ３次元イメージ撮影装置及び方法
EP1371019A2 (en) 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US7130484B2 (en) 2001-10-15 2006-10-31 Jonas August Biased curve indicator random field filters for enhancement of contours in images
US6985145B2 (en) 2001-11-09 2006-01-10 Nextengine, Inc. Graphical interface for manipulation of 3D models
US7716161B2 (en) 2002-09-24 2010-05-11 Google, Inc, Methods and apparatus for serving relevant advertisements
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US7277572B2 (en) 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
US20070300142A1 (en) 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US8239749B2 (en) 2004-06-25 2012-08-07 Apple Inc. Procedurally expressing graphic objects for web pages
US7627173B2 (en) 2004-08-02 2009-12-01 Siemens Medical Solutions Usa, Inc. GGN segmentation in pulmonary images for accuracy and consistency
US20060132482A1 (en) 2004-11-12 2006-06-22 Oh Byong M Method for inter-scene transitions
KR100603603B1 (ko) 2004-12-07 2006-07-24 한국전자통신연구원 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법
US7499586B2 (en) 2005-10-04 2009-03-03 Microsoft Corporation Photographing big things
US9070402B2 (en) 2006-03-13 2015-06-30 Autodesk, Inc. 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI
JP4889351B2 (ja) 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
CN101512601B (zh) * 2006-09-04 2013-07-31 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US8472699B2 (en) 2006-11-22 2013-06-25 Board Of Trustees Of The Leland Stanford Junior University Arrangement and method for three-dimensional depth image construction
US8224122B2 (en) 2006-12-15 2012-07-17 Microsoft Corporation Dynamic viewing of wide angle images
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US8655052B2 (en) * 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
US8126273B2 (en) 2007-04-05 2012-02-28 Siemens Corporation Method for reconstructing three-dimensional images from two-dimensional image data
US8172407B2 (en) * 2007-05-16 2012-05-08 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3D reconstruction
CA2687213C (en) 2007-06-20 2015-12-22 Thomson Licensing System and method for stereo matching of images
US8350850B2 (en) 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US8250454B2 (en) 2008-04-03 2012-08-21 Microsoft Corporation Client-side composing/weighting of ads
US20090259976A1 (en) 2008-04-14 2009-10-15 Google Inc. Swoop Navigation
CA2734987A1 (en) 2008-08-22 2010-02-25 Google Inc. Navigation in a three dimensional environment on a mobile device
US20100080411A1 (en) 2008-09-29 2010-04-01 Alexandros Deliyannis Methods and apparatus to automatically crawl the internet using image analysis
US8194102B2 (en) 2008-10-06 2012-06-05 Microsoft Corporation Rendering annotations for images
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
US8933925B2 (en) 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US20110061011A1 (en) 2009-09-04 2011-03-10 Ramsay Hoguet Three-Dimensional Shopping Lists
US8660355B2 (en) 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US8675049B2 (en) 2011-06-09 2014-03-18 Microsoft Corporation Navigation model to render centered objects using images
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367920B2 (en) 2013-08-19 2016-06-14 Samsung Electronics Co., Ltd. Method and apparatus for processing images
WO2020076058A1 (ko) * 2018-10-08 2020-04-16 삼성전자 주식회사 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
US11606576B2 (en) 2018-10-08 2023-03-14 Samsung Electronics Co., Ltd. Method and apparatus for generating media file comprising 3-dimensional video content, and method and apparatus for replaying 3-dimensional video content
US11887269B2 (en) 2020-11-11 2024-01-30 Samsung Electronics Co., Ltd. Computing method and apparatus with image generation

Also Published As

Publication number Publication date
AU2010260256A1 (en) 2011-12-01
KR101928575B1 (ko) 2018-12-12
US20100315412A1 (en) 2010-12-16
CN102804231B (zh) 2014-08-27
CN102804231A (zh) 2012-11-28
EP2443615A4 (en) 2017-10-25
WO2010147929A3 (en) 2011-03-31
SG175437A1 (en) 2011-12-29
EP2443615A2 (en) 2012-04-25
CA2760973C (en) 2017-10-10
US8933925B2 (en) 2015-01-13
EP2443615B1 (en) 2019-01-30
WO2010147929A2 (en) 2010-12-23
AU2010260256B2 (en) 2014-06-19
JP2012530323A (ja) 2012-11-29
BRPI1010700A2 (pt) 2016-03-15
CA2760973A1 (en) 2010-12-23

Similar Documents

Publication Publication Date Title
KR101928575B1 (ko) 삼차원 장면의 불연속 평면 재구성
US11080932B2 (en) Method and apparatus for representing a virtual object in a real environment
Seitz et al. A comparison and evaluation of multi-view stereo reconstruction algorithms
US9872010B2 (en) Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
Pollefeys et al. Detailed real-time urban 3d reconstruction from video
Bleyer et al. A layered stereo matching algorithm using image segmentation and global visibility constraints
EP2272050B1 (en) Using photo collections for three dimensional modeling
US9483703B2 (en) Online coupled camera pose estimation and dense reconstruction from video
Yang et al. Near Real-time Stereo for Weakly-Textured Scenes.
Hu et al. Least commitment, viewpoint-based, multi-view stereo
WO2008029345A1 (en) Method for determining a depth map from images, device for determining a depth map
Li et al. Dense surface reconstruction from monocular vision and LiDAR
Fei et al. Ossim: An object-based multiview stereo algorithm using ssim index matching cost
Lhuillier Toward flexible 3d modeling using a catadioptric camera
Gallup Efficient 3D reconstruction of large-scale urban environments from street-level video
Kim et al. 3d modelling of static environments using multiple spherical stereo
Bleyer Segmentation-based stereo and motion with occlusions
Ton et al. 3D Least Squares Based Surface Reconstruction
Liao et al. High completeness multi-view stereo for dense reconstruction of large-scale urban scenes
Zabulis et al. Efficient, precise, and accurate utilization of the uniqueness constraint in multi-view stereo
Malleson Dynamic scene modelling and representation from video and depth
Ukita et al. IBR-based free-viewpoint imaging of a complex scene using few cameras
Westaway An empirical assessment of real-time progressive stereo reconstruction
Kim Multi-View Stereo and Integration for Urban Scene Reconstruction in Aerial Surveillance
Grum 3-D reconstruction of multi-object scenes from multiple images

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101005716; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160930

Effective date: 20180807

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant