KR102504246B1 - 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들 - Google Patents

3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들 Download PDF

Info

Publication number
KR102504246B1
KR102504246B1 KR1020187010984A KR20187010984A KR102504246B1 KR 102504246 B1 KR102504246 B1 KR 102504246B1 KR 1020187010984 A KR1020187010984 A KR 1020187010984A KR 20187010984 A KR20187010984 A KR 20187010984A KR 102504246 B1 KR102504246 B1 KR 102504246B1
Authority
KR
South Korea
Prior art keywords
depth maps
processors
mesh
captured
detected
Prior art date
Application number
KR1020187010984A
Other languages
English (en)
Other versions
KR20180059836A (ko
Inventor
시아오린 웨이
이푸 장
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020237006163A priority Critical patent/KR102653808B1/ko
Publication of KR20180059836A publication Critical patent/KR20180059836A/ko
Application granted granted Critical
Publication of KR102504246B1 publication Critical patent/KR102504246B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Abstract

재구성된 3D 메시를 형성하는 방법은, 장면과 연관된 캡쳐된 깊이 맵들의 세트를 수신하는 단계, 상기 캡쳐된 깊이 맵들의 세트와 연관된 초기 카메라 포즈 정렬을 수행하는 단계, 및 상기 캡쳐된 깊이 맵들의 세트를 참조 프레임 내에 오버레이하는 단계를 포함한다.　 상기 방법은 또한 캡쳐된 깊이 맵들의 오버레이된 세트 내의 하나 또는 그 초과의 형상들을 검출하는 단계 및 초기 카메라 포즈 정렬을 업데이트하여 형상 인식 카메라 포즈 정렬을 제공하는 단계를 포함한다.　 상기 방법은 형상 인식 용적측정 융합을 수행하는 단계 및 상기 장면과 연관된 재구성된 3D 메시를 형성하는 단계를 더 포함한다.　

Description

3D 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
관련 출원들에 대한 상호 참조
[0001] 본 출원은 2015년 9월 25일자로 출원된 "3D 재구성에서의 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들"이라는 명칭의 미국 임시 특허출원 제 62,232,833 호의 우선권을 주장하며, 인용에 의해 그 개시 내용 전체가 모든 목적들을 위해 본원에 통합되어 있다.
[0002] 본 발명은 일반적으로 컴퓨터화된 3차원 (3D) 화상 재구성 분야에 관한 것으로, 보다 구체적으로는, 3D 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들에 관한 것이다.
[0003] 본원에 기재된 바와 같이, 본 발명의 실시예들은 종래기술들에 의해 충분히 해결되지 않은 문제들을 해소하고, 첨부 도면들과 함께 이하의 상세한 설명을 참조함으로써 용이하게 명백해질 추가적인 특징들을 제공하는 것에 관한 것이다.
[0004] 본 명세서에 개시된 일부 실시예들은 형상 인식 3D 재구성을 제공하는 방법들 및 시스템들에 관한 것이다. 일부 구현들은 형상 검출(shape detection), 형상 인식 포즈 추정(shape-aware pose estimation), 형상 인식 용적측정 융합 알고리즘(shape-aware volumetric fusion algorithms) 등과 같은 향상된 형상 인식 기술들을 포함한다.　
[0005] 본 발명의 일 실시예에 따르면, 재구성된 3D 메시를 형성하는 방법이 제공된다. 상기 방법은 장면(scene)과 연관된 캡쳐된 깊이 맵들(captured depth maps)의 세트를 수신하는 단계, 상기 캡쳐된 깊이 맵들의 세트와 연관된 초기 카메라 포즈 정렬(initial camera pose alignment)을 수행하는 단계, 및 상기 캡쳐된 깊이 맵들의 세트를 참조 프레임에 오버레이하는 단계를 포함한다. 상기 방법은 또한 캡쳐된 깊이 맵들의 오버레이된 세트 내의 하나 또는 그 초과의 형상들을 검출하는 단계 및 형상 인식 카메라 포즈 정렬을 제공하기 위해 초기 카메라 포즈 정렬을 업데이트하는 단계를 포함한다. 상기 방법은 형상 인식 용적측정 융합을 수행하는 단계 및 상기 장면과 연관된 재구성된 3D 메시를 형성하는 단계를 더 포함한다.
[0006] 본 발명의 다른 실시예에 따르면, 장면 내에 존재하는 형상을 검출하는 방법이 제공된다. 이 방법은 복수의 캡쳐된 깊이 맵들을 포함하는 포인트 클라우드(point cloud)와 연관된 수직 방향을 결정하는 단계 및 상기 수직 방향에 직교하는 가상 평면을 형성하는 단계를 포함한다. 이 방법은 또한 상기 포인트 클라우드의 포인트들을 상기 가상 평면 상으로 투영하는 단계 및 상기 포인트 클라우드의 포인트들에 대한 투영 통계(projection statistics)를 계산하는 단계를 포함한다. 상기 방법은 상기 계산된 투영 통계로부터 수직 벽들(vertical walls)과 연관되는 하나 또는 그 초과의 라인들을 검출하는 단계 및 상기 투영 통계 및 상기 하나 또는 그 초과의 검출된 라인들로부터 상기 장면에 존재하는 상기 형상을 검출하는 단계를 더 포함한다.
[0007] 본 발명의 구체적인 실시예에 따르면, 형상 인식 카메라 포즈 정렬을 수행하는 방법이 제공된다. 상기 방법은 캡쳐된 깊이 맵들의 세트를 수신하는 단계를 포함한다. 캡쳐된 깊이 맵들의 각각은 물리적 카메라 포즈(physical camera pose)와 연관되어 있다. 상기 방법은 또한 하나 또는 그 초과의 검출된 형상들을 수신하는 단계를 포함한다. 상기 하나 또는 그 초과의 검출된 형상들의 각각의 형상은 치수 및 위치/방향에 의해 특징이 정해진다. 상기 방법은 상기 하나 또는 그 초과의 검출된 형상들의 각각에 대한 3D 메시를 생성하는 단계 및 로컬 참조 프레임에서 각각의 3D 메시와 연관된 하나 또는 그 초과의 가상 카메라들을 생성하는 단계를 더 포함한다. 또한, 상기 방법은 하나 또는 그 초과의 깊이 맵들을 렌더링하는 단계를 포함한다. 상기 하나 또는 그 초과의 렌더링된 깊이 맵들의 각각은 각각의 3D 메시와 연관된 각각의 가상 카메라와 연관되어 있다. 또한, 상기 방법은 상기 하나 또는 그 초과의 렌더링된 깊이 맵들과 캡쳐된 깊이 맵들의 세트 간의 정렬을 최적화함으로써 상기 하나 또는 그 초과의 검출된 형상들의 각각의 형상의 위치/방향 및 물리적 카메라 포즈들을 공동으로 해결하는 단계를 포함한다.
[0008] 일 실시예에서, 상기 형상 인식 3D 재구성 방법은 이하의 단계들 중 하나 또는 그 초과를 포함한다: 캡쳐된 깊이 맵들의 세트의 포즈 추정을 수행하는 단계; 상기 포즈 추정에 후속하여 정렬된 포즈들의 형상 검출을 수행하는 단계; 검출된 형상들에 대하여 형상 인식 포즈 추정을 수행하는 단계; 및 정렬된 포즈들 및 형상들에 기초하여, 하나 또는 그 초과의 3D 메시들을 생성하기 위해 형상 인식 용적측정 융합을 수행하는 단계를 포함한다.
[0009] 종래 기술들에 비해 본 발명을 통해 많은 이점들이 달성된다. 예를 들어, 본 발명의 실시예들은, 3D 메시들 내에 깨끗하고 예리한 형상들 및 에지들을 제공하며, 이들은, 결과적으로, 형상 인식 3D 재구성을 이용하여 생성되지 않는 3D 메시들보다 더 현실적으로 보인다. 따라서, 본 발명의 실시예들에 의해 제공되는 3D 메시들은 시청자들에게 더욱 편안함을 준다. 또 다른 이점은 3D 재구성의 프로세스에서 검출된 형상들의 존재의 결과로서 캡쳐된 깊이 맵들의 더 정확하고 견고한 정렬이 달성되는 것이다. 또한, 인위적인 장면들에 대한 사전 지식을 적용하고 동시에 장면 이질성에 대하여 유연성을 유지하는 단-대-단 3D 재구성 프레임워크(end-to-end 3D reconstruction framework)가 제공된다. 본 발명의 이들 및 다른 실시예들은 다수의 장점들 및 특징들과 함께 아래의 텍스트 및 첨부된 도면들과 함께 더욱 상세하게 설명된다.
[0010] 본 개시는, 하나 또는 그 초과의 다양한 실시예들에 따라, 이하 도면들을 참조하여 상세히 설명된다. 도면은 설명의 목적으로만 제공되며 단지 본 개시의 예시적인 실시예들을 도시한다.　 이 도면들은 본 개시에 대한 독자의 이해를 돕기 위해 제공되는 것으로서, 본 개시의 폭, 범위 또는 적용성을 제한하는 것으로 간주되어서는 안된다.　 예시의 명료성 및 용이함을 위하여, 이 도면들은 반드시 비례적일 필요는 없다는 것에 주의해야 한다.
[0011] 도 1은 캡쳐된 깊이 맵들의 복수의 프레임들을 이용하여 장면의 3D 메시를 생성하는 방법을 예시하는 단순화된 흐름도이다.
[0012] 도 2는 본 발명의 일 실시예에 따라 캡쳐된 깊이 맵들의 복수의 프레임들을 이용하여 장면의 3D 메시를 생성하는 방법을 예시하는 단순화된 흐름도이다.
[0013] 도 3은 본 발명의 일 실시예에 따라 포인트 클라우드에 존재하는 형상을 검출하는 방법을 예시하는 간략화된 흐름도이다.
[0014] 도 4는 본 발명의 일 실시예에 따라 형상 인식 카메라 포즈 정렬을 수행하는 방법을 예시하는 단순화된 흐름도이다.
[0015] 도 5는 본 발명의 일 실시예에 따라 형상 인식 용적측정 융합을 수행하는 방법을 예시하는 단순화된 흐름도이다.
[0016] 도 6a는 본 발명의 일 실시예에 따른 벽(wall)의 일 단부의 3D 메시를 예시하는 단순화된 도면이다.
[0017] 도 6b는 본 발명의 일 실시예에 따른 도어 프레임의 3D 메시를 예시하는 단순화된 도면이다.
[0018] 도 7a는 본 발명의 일 실시예에 따른 도어 프레임의 내부 뷰(interior view)와 연관된 렌더링된 깊이 맵 및 연관된 가상 카메라를 예시하는 단순화된 개략도이다.
[0019] 도 7b는 본 발명의 일 실시예에 따른 도어 프레임의 외부 뷰(exterior view)와 연관된 렌더링된 깊이 맵 및 연관된 가상 카메라를 예시하는 단순화된 개략도이다.
[0020] 도 7c는 본 발명의 일 실시예에 따른 2 개의 벽들의 코너와 연관된 렌더링된 깊이 맵 및 연관된 가상 카메라를 예시하는 단순화된 개략도이다.
[0021] 도 8a는 본 발명의 일 실시예에 따라 가상 카메라로부터 렌더링된 도어 프레임의 내부 뷰의 렌더링된 깊이 맵을 예시하는 단순화된 개략도이다.
[0022] 도 8b는 본 발명의 일 실시예에 따라 가상 카메라로부터 렌더링된 도어 프레임의 외부 뷰의 렌더링된 깊이 맵을 예시하는 단순화된 개략도이다.
[0023] 도 9a는 오버레이된 캡쳐된 깊이 맵들을 예시하는 단순화된 포인트 클라우드 도면이다.
[0024] 도 9b는 본 발명의 실시예들에 의해 제공되는 형상 인식 방법들을 사용하여 오버레이된 캡쳐된 깊이 맵들 및 렌더링된 깊이 맵을 예시하는 단순화된 포인트 클라우드 도면이다.
[0025] 도 10a는 도 1과 관련하여 설명된 방법을 이용하여 재구성된 제1 재구성된 3D 메시를 도시하는 이미지이다.
[0026] 도 10b는 도 2와 관련하여 설명된 방법을 이용하여 재구성된 제2 재구성된 3D 메시를 도시하는 이미지이다.
[0027] 도 11a는 도 1과 관련하여 설명된 방법을 이용하여 재구성된 제3 재구성된 3D 메시를 도시하는 이미지이다.
[0028] 도 11b는 도 2와 관련하여 설명된 방법을 이용하여 재구성된 제4 재구성된 3D 메시를 도시하는 이미지이다.
[0029] 도 12는 본 발명의 일 실시예에 따라 캡쳐된 깊이 맵들을 이용하여 3D 메시를 재구성하기 위한 시스템을 예시하는 단순화된 개략도이다.
[0030] 도 13은 일 실시예를 통합하거나, 일 실시예에 통합되거나, 본 개시 내에서 발견된 혁신들, 실시예들 및/또는 예들 중 임의의 것을 실행하는 데에 이용될 수 있는 컴퓨터 시스템 또는 정보 처리 장치의 블록도이다.
[0031] 본 발명의 실시예들은 컴퓨터화된 3차원(3D) 장면 재구성을 위한 방법들 및 시스템들에 관한 것이며, 보다 구체적으로는, 3D 재구성에서 구조적 특징들을 검출하고 결합하기 위한 방법들 및 시스템들에 관한 것이다.
[0032] 이하의 설명은 당업자가 본 발명을 제조하고 이용하는 것을 가능하게 하도록 제공된다. 특정의 장치들, 기술들 및 응용들에 대한 설명들은 단지 예들로서 제공된다.　 본 개시에 설명된 예들에 대한 다양한 변형들은 당업자에게는 용이하게 명백해질 것이고, 본 개시에 정의된 일반적인 원리들은 본 발명의 사상 및 범위를 벗어나지 않고 다른 예들 및 응용들에 적용될 수 있다.　 따라서, 본 발명의 실시예들은 본 개시에서 설명되고 도시된 예들로 제한되는 것으로 의도되지 않지만, 청구범위와 일치하는 범위가 부여된다.
[0033] 본 개시에 사용된 "예시적인"이라는 용어는 "예로서 또는 예시로서 기능하는 것"을 의미한다. 본 개시에서 "예시적인" 것으로 설명된 임의의 양태 또는 설계는 반드시 다른 양상들 또는 설계들보다 바람직하거나 유리한 것으로 해석될 필요는 없다.
[0034] 이제 본 기술의 양태들에 대하여 상세한 참조가 이루어지고, 그 예들이 첨부 도면들에서 예시되어 있으며, 도면 전반에 걸쳐 동일한 참조번호들은 동일한 구성요소들(elements)을 지칭한다.
[0035] 본 개시의 프로세스들에서의 단계들의 특정 순서 또는 계층은 예시적 접근들의 예임을 이해하여야 한다. 설계 선호사항들에 기초하여, 본 개시의 범위 내에서, 프로세스들에서의 단계들의 특정 순서 또는 계층은 재배열될 수 있는 것이 이해된다.　 수반하는 방법 청구항들은 샘플 순서로 다양한 단계들의 구성요소들을 제시하며, 제시된 특정 순서 또는 계층에 한정되는 것으로 의도되지는 않는다.
[0036] 본 개시의 실시예들은 형상 인식 3D 재구성을 제공하는 방법들 및 시스템들에 관한 것이다. 본 개시에서 설명된 바와 같이, 본 발명의 일부 실시예들은 형상 검출, 형상 인식 포즈 추정, 형상 인식 용적측정 융합 알고리즘들 등과 같은 향상된 형상 인식 기술들을 포함한다. 본 발명의 일 실시예에 따르면, 형상 인식 3D 재구성 방법은, 깊이 이미지들의 세트의 포즈 추정을 수행하는 단계; 상기 포즈 추정에 후속하여 정렬된 포즈들의 형상 검출을 수행하는 단계; 검출된 형상들에 대하여 형상 인식 포즈 추정을 수행하는 단계; 및 정렬된 포즈들 및 형상들에 기초하여, 3D 메시들을 생성하기 위해 형상 인식 용적측정 융합을 수행하는 단계 중 하나 또는 그 초과를 포함할 수 있다.
[0037] 3D 재구성은 3D 컴퓨터 비전의 가장 많이 추구하는 주제들 중 하나이다. 그것은 이미지들(예를 들어, 컬러/그레이 스케일 이미지들, 깊이 이미지들 등)을 입력들로서 취하고, 관찰된 장면을 나타내는 3D 메시들(예를 들어, 자동으로)을 생성한다.　 3D 재구성은 가상 현실, 매핑, 로보틱스, 게임, 영화 제작 등에서 많은 응용들을 갖는다.
[0038] 일 예로서, 3D 재구성 알고리즘은, 입력 이미지들(예를 들어, 컬러/그레이 스케일 이미지들, 컬러/그레이 스케일 이미지들 + 깊이 이미지들 또는 깊이만)을 수신하고, 입력 이미지들을 적절히 처리하여 캡쳐된 깊이 맵들을 형성할 수 있다. 예를 들어, 컬러 이미지들로부터 멀티뷰 스테레오 알고리즘을 이용하여 수동 깊이 맵들(passive depth maps)을 생성할 수 있으며, 구조광 깊이 센서(structured-light depth sensor)와 같은 능동 감지 기술을 이용하여 능동 깊이 맵들(active depth maps)을 획득할 수 있다. 전술된 예들이 예시되어 있지만, 본 발명의 실시예들은 임의의 유형의 깊이 맵들을 처리하도록 구성될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0039] 도 1은 캡쳐된 깊이 맵들의 복수의 프레임들을 이용하여 장면의 3D 메시를 생성하는 방법을 예시하는 단순화된 흐름도이다. 도 1을 참조하여, 캡쳐된 깊이 맵들의 복수의 프레임들로부터, 장면의 3D 모델, 예를 들어, 장면과 연관된 3D 표면들을 나타내는 3D 삼각형 메시를 생성하는 방법이 예시된다. 방법(100)은, 캡쳐된 깊이 맵들(110)의 세트를 수신하는 단계를 포함한다.　 캡쳐된 깊이 맵은 각각의 픽셀이 픽셀로부터 깊이 이미지를 획득하는 카메라까지의 깊이를 나타내는 연관된 깊이 값을 갖는 깊이 이미지이다.　 픽셀 당 세 개 또는 그 초과의 채널들(예를 들어, 적색, 녹색 및 청색 성분들을 갖는 RGB 이미지)을 가질 수 있는 컬러 이미지와 비교할 때, 깊이 맵은 픽셀 당 단일의 채널(즉, 카메라로부터의 픽셀 거리)을 가질 수 있다. 캡쳐된 깊이 맵들의 세트를 수신하는 프로세스는 캡쳐된 깊이 맵의 프레임으로도 호칭되는 하나 또는 그 초과의 캡쳐된 깊이 맵들을 생성하기 위해, 입력 이미지들, 예를 들어 RGB 이미지들을 처리하는 것을 포함할 수 있다.　 다른 실시예들에서, 캡쳐된 깊이 맵들은, 비행 카메라의 시간, LIDAR, 스테레오 카메라들 등을 이용하여 획득되며, 시스템에 의해 그와 같이 수신된다.　
[0040] 캡쳐된 깊이 맵들의 세트는 상이한 카메라 각도들 및/또는 위치들로부터의 깊이 맵들을 포함한다. 일 예로서, 깊이 맵 스트림은 이동하는 깊이 카메라에 의해 제공될 수 있다.　 이동하는 깊이 카메라가 패닝하고(pan)/거나 이동함에 따라, 깊이 이미지들의 스트림으로서 깊이 맵들이 생성된다.　 다른 예로서, 스틸 깊이 카메라가 이용되어 상이한 각도들 및/또는 상이한 위치들, 또는 이들의 조합으로부터 장면의 일부들 또는 전부의 복수의 깊이 맵들을 수집할 수 있다.　
[0041] 또한, 이 방법은, 참조 프레임(112) 내의 캡쳐된 깊이 맵들의 세트와 연관된 카메라 포즈들을 정렬하는 단계 및 참조 프레임(112) 내의 캡쳐된 깊이 맵들의 세트를 오버레이하는 단계를 포함한다. 일 실시예에서, 포즈 추정의 프로세스가 이용되어, 모든 카메라들로부터의 깊이 포인트들을 정렬하고 3D 월드 좌표들(3D world coordinates) 내에서 국소적 및 전반적으로 일관되는 포인트 클라우드를 생성한다. 월드 좌표에서 동일한 위치로부터의 깊이 포인트들은 가능한 한 서로 가깝게 정렬되어야 한다. 그러나, 깊이 맵들에 존재하는 부정확성에 기인하여, 포즈 추정은, 특히 벽들의 코너들, 벽들의 단부들, 실내 장면들에서의 도어 프레임들 등과 같은 구조적 특징들에서 완전하지 않은 것이 일반적이며, 이는, 생성된 메시 내에 그러한 구조적 특징들이 존재하는 경우 그 특징들에 아티팩트들(artifacts)을 발생시킨다. 또한, 이러한 부정확성들은, 메시 경계들이 폐색물들(occluders)(즉, 배경 오브젝트들을 폐색하는 오브젝트들)로서 보일 경우 악화될 수 있는데, 이는 아티팩트들이 사용자에게 더욱 잘 인식될 수 있을 것이기 때문이다.
[0042] 각각의 깊이 이미지와 연관된 카메라의 위치 및 방향을 나타내는 카메라 포즈들을 정렬하기 위하여, 깊이 맵들이 오버레이되고, 인접하고/거나 중첩하는 픽셀들의 위치들의 차이들이 감소되거나 최소화된다. 참조 프레임 내의 픽셀들의 위치들이 조정되면, 카메라 포즈는 조정된 픽셀 위치들과 정렬되도록 조정되고/되거나 업데이트된다.　 따라서, 카메라 포즈들은 참조 프레임(114) 내에서 정렬된다.　 즉, 렌더링된 깊이 맵은, 추정된 카메라 포즈들에 기초하여, 모든 깊이 맵들의 깊이 포인트들을 참조 프레임(예를 들어, 3D 월드 좌표 시스템)에 투영함으로써 생성될 수 있다.
[0043] 상기 방법은, 재구성된 3D 메시(118)를 형성하도록 용적측정 융합(116)을 수행하는 단계를 더 포함한다. 용적측정 융합 프로세스는, 복수의 캡쳐된 깊이 맵들을, 관찰된 장면의 부호-거리 함수(sign-distance function)의 이산화된 버전으로서 용적측정 표현(volumetric representation)에 융합시키는 것을 포함할 수 있다. 3D 메시 생성은 마칭 큐브 알고리즘(marching cubes algorithm) 또는 다른 적절한 방법을 이용하여 3D 공간의 용적측정 표현으로부터 다각형 메시를 추출하는 것을 포함할 수 있다.
[0044] 전술된 아티팩트들을 감소시키기 위하여, 본 발명의 실시예들은 형상 검출, 형상 인식 포즈 추정, 형상 인식 용적측정 융합 알고리즘 등의 향상된 형상 인식 기술들을 포함하는 형상 인식 3D 재구성을 수행하기 위한 방법들 및 시스템들을 제공한다.
[0045] 실내 구조물들의 경우, 그들은 인공 구조물이므로, 구조물들은 유기적인 실외 구조물들(organic outdoor structures)과는 대조적으로 일정한 형상들을 가지고 있는 것이 통상적이다. 또한, 저렴한 깊이 카메라들은 비교적 높은 수준의 노이즈를 포함하는 캡쳐된 깊이 맵들을 생성할 수 있으며, 이로 인해 각 픽셀과 연관된 깊이 값들에 오류들이 발생한다.　 이러한 깊이 오류들은 카메라 포즈 추정 프로세스에서 부정확성들을 초래할 수 있다.　 이러한 오류들은 시스템을 통해 전파되어, 재구성된 3D 메시에 노이즈 및 부정확성을 포함하는 오류들을 유발할 수 있다.　 예를 들어, 벽들의 물결 모양의 또는 구부러진 코너들, 평평해야 하는 벽들의 물결 모양 등은 시각적으로 사용자에게 즐거움을 주지 못한다.　 따라서, 본 발명의 실시예들을 이용하면, 재구성되는 3D 메시는 증가된 정확성, 감소된 노이즈 등을 특징으로하여, 그 결과, 사용자에게 시각적으로 즐거움을 주는 3D 메시지가 된다.
[0046] 도 1에 예시된 특정 단계들은 본 발명의 일 실시예에 따라 캡쳐된 깊이 맵들의 복수의 프레임들을 이용하여 장면의 3D 메시를 생성하는 특정의 방법을 제공하는 것이 이해되어야 한다. 대안적인 실시예들에 따라 단계들의 다른 시퀀스들이 수행될 수도 있다.　 예를 들어, 본 발명의 대안적인 실시예들은 상이한 순서로 위에서 약술된 단계들을 수행할 수 있다.　 또한, 도 1에 예시된 개별 단계들은 그 개별 단계들에 적절한 다양한 시퀀스들로 수행될 수 있는 복수의 서브 단계들을 포함할 수 있다.　 또한, 특정 응용들에 따라 추가적인 단계들이 추가되거나 제거될 수 있다.　 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0047] 도 2는 본 발명의 일 실시예에 따라 캡쳐된 깊이 맵들의 복수의 프레임들을 이용하여 장면의 3D 메시를 생성하는 방법을 예시하는 단순화된 흐름도이다. 도 2에 예시된 방법은, 형상 인식 3D 재구성 방법 및 시스템을 이용하여 캡쳐된 깊이 맵들로부터 재구성된 3D 메시를 생성하기 위한 프로세스로 간주될 수 있다.
[0048] 도 2를 참조하면, 방법(200)은 캡쳐된 깊이 맵들의 세트를 수신하는 단계(210)를 포함한다. 도 1과 관련하여 논의된 바와 같이, 캡쳐된 깊이 맵들의 세트는 깊이 맵들로서 수신되거나, 깊이 맵들의 처리된 버전들이거나, 캡쳐된 깊이 맵들의 세트를 제공하기 위해 다른 이미지들로부터 생성될 수 있다.　 이 방법은 또한 초기 카메라 포즈 추정(212)을 수행하는 단계 및 참조 프레임(214)에 캡쳐된 깊이 맵들의 세트를 오버레이하는 단계를 포함한다.　 초기의 카메라 포즈 추정에서, 깊이 맵들이 오버레이되고, 인접하고/하거나 중첩하는 픽셀들의 위치들의 차이들이 감소되거나 최소화된다. 참조 프레임 내의 픽셀들의 위치들이 조정되면, 카메라 포즈는 조정된 픽셀 위치들에 정렬되고 초기의 카메라 포즈 추정을 제공하도록 조정되고/되거나 업데이트된다.
[0049] 캡쳐된 깊이 맵들의 세트의 이러한 초기 조정 동안, 카메라 포즈들의 초기 추정들은 약간의 부정확성들을 포함할 가능성이 있다. 결과적으로, 오버레이된 깊이 맵들은, 특히 구조적 특징들의 영역들에서, 약간의 오정렬을 나타낼 수 있다. 따라서, 본 발명의 실시예들은, 이하에서 더욱 상세히 설명되는 포인트 클라우드의 포인트 분포를 이용하여, 정렬된 카메라 포즈들에 형상 검출을 적용하여, 강한 특징들을 가질 수 있는 구조적 형상들을 검출한다. 도 2에 예시된 바와 같이, 상기 방법은 캡쳐된 깊이 맵들의 오버레이된 세트에서 형상들을 검출하는 단계(218)를 포함한다.　
[0050] 도 3은 본 발명의 일 실시예에 따른 포인트 클라우드에 존재하는 형상을 검출하는 방법을 예시하는 간략화된 흐름도이다. 포인트 클라우드는 참조 프레임에 캡쳐된 깊이 맵들의 세트를 오버레이하여 형성될 수 있다.　 캡쳐된 깊이 맵들, 렌더링된 깊이 맵들, 또는 이들의 조합에 기초한 포인트 클라우드의 형성과 관련된 추가의 설명은 도 9와 관련하여 제공된다. 도 3에 예시된 방법은 포인트 클라우드 내에 존재하는 도어 프레임들, 창문들, 벽 코너들, 벽 단부들, 벽들, 가구, 다른 인공 구조물들 등과 같은 구조물들을 검출하는 데에 유용하다.　
[0051] 카메라 포즈들이 결정될 수 있지만, 수직 참조 프레임에 대한 카메라 포즈들의 관계는 알려지지 않을 수 있다. 일부 실시예들에서, 참조 프레임의 z축은 중력의 방향과 정렬될 수 있다.　 따라서, 방법(300)은 포인트 노멀들(point normals; 310)을 이용하여 포인트 클라우드와 연관된 수직 방향을 결정하는 단계를 포함한다.　 특히 실내 장면들의 경우, 포인트 클라우드의 수직 방향으로도 언급되는, 포인트 클라우드와 연관된 수직 방향을 결정하는 데에 벽들 및 다른 구조적 특징들의 존재가 이용될 수 있다.　 예를 들어, 포인트 클라우드 내의 주어진 픽셀에 대해, 주어진 픽셀 부근의 픽셀들을 분석하여 주어진 픽셀에 대한 노멀 벡터(normal vector)를 결정한다.　 이 노멀 벡터를 포인트 노멀이라고 한다.　 일 예로서, 벽의 일 부분을 나타내는 픽셀의 경우, 이웃하는 픽셀들은 일반적으로 평면에 놓여 있을 것이다.　 따라서, 평면에 대한 노멀 벡터를 이용하여 관심 픽셀에 대한 노멀 벡터를 정의할 수 있다.　
[0052] 포인트 클라우드 내의 픽셀들의 일부 또는 전부에 대한 노멀 벡터들을 고려할 때, 노멀 벡터들에 직교하는 방향이 수직 방향을 정의할 것이다. 즉, 노멀 벡터들은 일반적으로 평행한 수평면들에 놓여 있고, 수직 방향은 이들 평행한 수평면들에 직교할 것이다.　
[0053] 일부 실시예들에서, 수직 방향을 결정하는 단계는, 수직 방향을 추정하는 단계 및 그 다음, 추정된 수직 방향을 미세조정(refining)하는 단계를 포함하지만, 이 단계들은 요망되는 수직 방향 벡터를 제공하는 단일의 프로세스로 결합될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0054] 이 방법은 또한 수직 방향에 직교하는 가상면을 형성하는 단계(312) 및 수직 방향에 직교하는 가상 평면 상에 포인트 클라우드 내의 포인트들을 투영하고 그들의 투영 통계를 산출하는 단계(314)를 포함한다. 중력과 정렬되는 수직 방향이 주어지면, 수평면(예를 들어, 방의 바닥)을 나타내는 수직 방향에 직교하는 평면을 정의할 수 있다.　 수직 방향에 직교하는 이 평면은 가상 평면이라는 용어에 추가하여 투영 평면이라 할 수 있다.　 산출되는 투영 통계의 일 예는 가상 평면에서 각각의 2 차원 위치에 대하여 포인트 분포를 수집할 수 있다는 것이다.　
[0055] 수직 방향에 직교하는 가상 평면 상에 포인트 클라우드 내의 포인트들을 투영함으로써, 포인트 클라우드 내의 모든 포인트들은 2 차원 데이터 세트로서 표현될 수 있다. 이러한 2 차원 데이터 세트는 포인트의 x-y 공간 내의 위치, x-y 위치로 투영된 포인트들의 높이 범위 및 x-y 위치와 연관된 포인트들의 밀도를 나타낼 것이다.
[0056] x-y 공간으로 지칭될 수 있는 투영 평면 내의 주어진 위치의 경우, 주어진 위치 상에 투영된 포인트들의 밀도는 주어진 위치 위의 높이들에서의 포인트 클라우드 내에 존재한 포인트들의 수를 나타낸다. 일 예로서, 벽에 도어가 있는 벽을 고려하면, 벽 아래의 위치들에서의 포인트들의 밀도가 높고, 도어 프레임에 이르기까지 고밀도로 계속될 것이다.　 투영 평면 상으로의 투영은 벽의 바닥을 따라 연장하는 라인을 발생시킬 것이다.　 도어 프레임 아래의 위치들의 포인트들의 밀도는 낮을 것이다(도어 프레임의 상부 및 도어 프레임 위의 벽과 연관된 포인트들만).　 도어 프레임의 타측에 이르면, 밀도는 다시 증가할 것이다.　
[0057] 투영 평면 상으로의 포인트 클라우드의 투영 이후, 투영 평면 내의 포인트들의 밀도는 효과적으로 장면의 바닥 평면을 제공할 것이다. 투영 평면의 각 픽셀은 특정 픽셀 상에 투영된 특정 픽셀과 연관된 포인트들의 수를 나타내는 그레이 스케일 값을 가질 수 있다.　 포인트 분포가 주어지면, 이 방법은 또한 투영 통계로부터 수직 벽들로서 라인들을 검출하는 단계(316)를 포함한다. 투영 통계는 투영 이미지의 구성요소들로서 간주될 수 있다.　
[0058] 따라서, 본 발명의 실시예들은, 2D 가상 평면상의 특정 x/y 위치 상에 투영된 미리 결정된 수의 포인트들을 포함하는 하나 또는 그 초과의 투영 통계를 이용한다. 또 다른 투영 통계는 특정 x/y 위치 상에 투영된 포인트들에 대한 포인트 노멀들의 분포이다. 또한, 또 다른 투영 통계는 특정 x/y 위치 상에 투영되는 포인트들의 높이 범위이다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0059] 상기 투영 통계 및 상기 하나 또는 그 초과의 검출된 라인들에 기초하여, 상기 방법은 하나 또는 그 초과의 형상들(예를 들어, 벽 코너들, 도어 프레임들, 도어들 등)을 검출하는 단계(318)를 포함한다. 하나 또는 그 초과의 형상들은 상이한 형상들(벽 코너 및 도어 프레임) 또는 형상의 복수의 예들(방의 상이한 부분들에서의 두 개의 벽 코너들)일 수 있다.　 본 발명자들은 대부분의 규칙적인 형상들이 벽들과 연관되어 있는 것으로 판단하였다.　 예를 들어, 벽 코너는 두 개의 직교하는 벽들의 연결부이고, 벽 단부는 벽의 단부이고, 도어 프레임은 벽 내의 개구이다. 포인트 분포를 분석함으로써, 이러한 구조적 특징들이 식별되고 감지된다.　
[0060] 이 방법은 또한 하나 또는 그 초과의 검출된 형상들의 치수들 및 위치들을 결정하는 단계(320)를 포함한다. 각각의 2차원 위치 상에 투영된 포인트들의 밀도 이외에 이용 가능한, 투영 평면 위의 각각의 2차원 위치의 포인트 높이 분포가 이용되어, 검출된 형상들의 수직 범위 또는 정도를 결정할 수 있다. 　일 예로서, 2차원 위치가 다수의 포인트들을 갖는 경우, 모든 높이들이 7 피트보다 크며, 이 2 차원 위치는 도어 프레임의 아래에 있고, 도어 프레임의 상부에 개방되어 있어, 도어 프레임 위에서는 견고할 가능성이 있다.　 각각의 2차원 위치에 대하여 히스토그램이 생성되고, 2차원 위치 상에 투영되는 포인트들은 투영 평면 위의 그들의 높이의 함수로서 히스토그램을 따라 배치될 수 있다.
[0061] 일부 실시예들에서, 하나 또는 그 초과의 검출된 형상들의 치수들 및 위치들의 결정은, 형상의 유형에 따라 파라미터화되는 각각의 형상의 초기 치수 및 위치의 결정이다. 예를 들어, 벽의 코너에 대하여 2차원 위치, 방향 및 수직 범위가 결정된다. 도어 프레임의 경우, 두께와 폭이 결정될 수 있다. 도어의 경우, 높이와 폭이 결정될 수 있다.　
[0062] 도 3에 예시된 특정 단계들은, 본 발명의 일 실시예에 따라 포인트 클라우드에 존재하는 형상을 검출하는 특정 방법을 제공한다는 것이 이해되어야 한다. 대안적인 실시예들에 따라 단계들의 다른 시퀀스들이 또한 수행될 수 있다.　 예를 들어, 본 발명의 대안적인 실시예들은 상이한 순서로 위에서 약술된 단계들을 수행할 수 있다.　 또한, 도 3에 예시된 개별 단계들은, 개별 단계에 적절하게 다양한 시퀀스들로 수행될 수 있는 복수의 서브 단계들을 포함할 수 있다.　 또한, 특정 응용들에 따라 추가적인 단계들이 추가되거나 제거될 수 있다.　 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0063] 다시 도 2를 참조하면, 포인트 클라우드 내의 형상(들)(즉, 캡쳐된 깊이 이미지들의 오버레이된 세트)이 검출된 후, 이 방법은, 형상 인식 카메라 포즈 정렬로도 언급되는, 형상 인식 카메라 포즈 추정을 수행하는 단계(218)를 포함한다. 따라서, 본 발명의 실시예들은 포인트 클라우드에서 검출된 형상들의 존재에 의해 알려지는 제2 카메라 포즈 정렬 프로세스를 수행함으로써, 제한으로서 검출된 형상들로 최적화되는 깊이 이미지들의 세트의 각각과 연관된 카메라 포즈들을 제공한다. 오버레이된 캡쳐된 깊이 맵들 간의 오버랩에 기초하여 카메라 포즈들을 정렬하는 것 이외에도, 실시예들은 오버레이된 캡쳐된 깊이 맵들과 검출된 형상들 간의 오버랩에 기초하여 카메라 포즈들을 정렬한다.　 깊이 맵들을 검출된 형상에 정렬시킴으로써, 재구성된 3D 메시는, 검출된 형상을 추가 제한으로서 이용한 결과로서 더 큰 정확성을 갖는다.　 검출된 형상을 제한으로서 이용함으로써 시스템을 통해 전파할 수 있는 오류들이 감소되거나 제거되어, 3D 메시의 정확도를 향상시킨다.　
[0064] 도 4는 본 발명의 일 실시예에 따른 형상 인식 카메라 포즈 정렬을 형성하는 방법을 예시하는 단순화된 흐름도이다. 도 4와 관련하여 논의된 방법(400)은 도 2의 프로세스(218)와 관련하여 논의된 형상 인식 카메라 포즈 정렬을 수행하는 방법일 수 있다. 후술하는 바와 같이, 검출된 형상들은 카메라 포즈 추정의 최적화에 이용된다.
[0065] 상기 방법(400)은 캡쳐된 깊이 맵들의 세트를 수신하는 단계(410)를 포함한다. 캡쳐된 깊이 맵들의 각각은 물리적 카메라 포즈와 연관된다.　 이 방법은 또한 하나 또는 그 초과의 검출된 형상들을 수신하는 단계(412)를 포함한다.　 하나 또는 그 초과의 검출된 형상들의 각각의 형상은 치수 및 위치/방향에 의해 특징 지워진다.　 이 방법은 하나 또는 그 초과의 검출된 형상들의 각각에 대한 3D 메시를 생성하는 단계(414)를 포함한다. 생성된 형상 메시들의 예들은 도 6a 및 도 6b에서 볼 수 있다. 도 6a에 예시 된 바와 같이, 벽의 단부의 3D 메시가 도시되어 있다. 도 6b에는, 도어 프레임의 3D 메시가 도시되어 있다.　 이러한 형상들은 도 3과 관련하여 논의된 방법을 이용하여 검출될 수 있다. 도 6b에 예시된 바와 같이, 도어 프레임 메시는 복수의 인접한 삼각형 영역들로 구성된다.　 도어 프레임은 상이한 높이들, 폭들, 개구 폭들 등을 가질 수 있지만, 도어 프레임의 상부와 측부들 간의 각도 및 다른 특징들은 일반적으로 규칙적이고 예측 가능할 것이다.　 도어 프레임과 연관된 3D 메시 또는 다른 구조적 특징은 도 1의 프로세스(118)로부터 생성된 메시로부터 분리될 것이다. 본 개시에서 설명된 바와 같이, 형상 인식 용적측정 융합은 형상 인식 재구성된 3D 메시를 형성하는 데에 있어서 구조적 특징들과 연관된 메시(들)를 이용한다.　
[0066] 상기 방법은 또한 로컬 참조 프레임(local reference frame)에서 각각의 3D 메시에 대한 하나 또는 그 초과의 가상 카메라들을 생성하는 단계(416)를 포함한다. 검출된 형상을 참조하는 로컬 참조 프레임 내에 하나 또는 그 초과의 가상 카메라들이 생성된다.　 주어진 검출된 형상에 대해, 가상 카메라는 검출된 형상의 참조 프레임에 배치될 것이다.　 검출된 형상의 위치 및/또는 방향이 조정되면, 가상 카메라는 참조 프레임 내의 제한 위치를 유지하도록 조정될 것이다.　 검출된 형상의 치수가 변하면(예를 들어, 도어 프레임 두께의 감소), 도어 프레임의 대향 측들 상의 가상 카메라들은 도어 프레임 두께의 감소와 연계되어 서로 더 가깝게 당길 것이다.　 따라서, 형상을 위한 3D 메시 내의 모든 삼각형은 적어도 하나의 가상 카메라로 볼 수 있다. 예를 들어, 벽 코너의 경우, 하나의 가상 카메라로 충분히 모든 삼각형들을 커버하는 반면, 벽 단부들이나 도어 프레임들의 경우, 모든 삼각형들을 커버하기 위해 통상적으로 적어도 두 개의 가상 카메라들이 필요하다. 이들 가상 카메라들은 가상 카메라와 연관된 검출된 형상을 갖기 때문에 특별하다는 것이 이해되어야 한다.
[0067] 도 6b를 참조하여, 도어 프레임과 연관된 3D 메시가 예시되어 있다. 도 2와 관련하여 논의된 바와 같이 도어 프레임이 검출된 후, 도 6b에 예시된 바와 같이 3D 메시가 생성된다.　 3D 메시에 대한 가상 카메라를 생성하기 위해, 도어 프레임과 연관된 렌더링된 깊이 맵은 도 7a에 예시된 바와 같이 형성된다. 렌더링된 깊이 맵에 기초하여, 가상 카메라(710)는 미리 결정된 위치 및 방향으로 생성될 수 있다.　　
[0068] 도 7a는 본 발명의 일 실시예에 따른 도어 프레임의 내부 뷰와 연관된 렌더링된 깊이 맵 및 연관된 가상 카메라를 예시하는 간략화된 개략도이다. 도 7b는 본 발명의 일 실시예에 따른 도어 프레임의 외부 뷰와 연관된 렌더링된 깊이 맵 및 연관된 가상 카메라를 예시하는 간략화된 개략도이다. 렌더링된 깊이 맵은 포인트 클라우드의 서브 세트이다.　 포인트 클라우드는 깊이 맵들(즉, 깊이 맵들의 프레임들)을 결합하여 형성된다.　 포인트 클라우드는 캡쳐된 깊이 맵들, 렌더링된 깊이 맵들 또는 캡쳐되고 렌더링된 깊이 맵들의 조합들을 조합하여 형성될 수 있다. 도 7a 및 7b를 참조하면, 렌더링된 깊이 맵들은 구조물(즉, 도어 프레임)과 연관된 깊이 포인트들의 세트를 포함한다.　
[0069] 도어 프레임의 내측으로부터 볼 때, 렌더링된 깊이 맵(705)은 도어 프레임을 구성하는 픽셀들로부터 도어 프레임을 포함하는 깊이 맵의 부분들에 대한 가상 카메라(710)까지의 거리를 나타내는 것으로 간주될 수 있다. 도어 프레임의 외측으로부터 볼 때, 렌더링된 깊이 맵(715)은 도어 프레임을 구성하는 픽셀들로부터 도어 프레임을 포함하는 깊이 맵의 부분들에 대한 가상 카메라(720)까지의 거리를 나타내는 것으로 간주될 수 있다.　 렌더링된 깊이 맵(715)의 부분(717)은 도어 프레임으로부터 스윙 아웃된 경우의 열린 도어를 나타낸다.　
[0070] 도 7a에 예시된 바와 같이, 가상 카메라는 도어 프레임에 중심을 둔 위치에 도어 프레임으로부터 미리 결정된 거리(예를 들어 2 m)에 위치될 수 있다. 따라서, 각각의 상이한 형상에 대해, 상이한 카메라 위치들 및 방향들이 이용될 수 있다.　
[0071] 도 7c는 본 발명의 일 실시예에 따른 2 개의 벽들의 코너와 연관된 렌더링된 깊이 맵 및 연관된 가상 카메라를 예시하는 단순화된 개략도이다. 예시된 실시예에서 두 개의 벽들은 90°의 각도로 만난다.　 도 7c에 예시된 바와 같이, 가상 카메라(730)는 2 개의 인접한 벽들이 만나는 코너에 중심을 두고 있다.　
[0072] 상기 방법은 각각의 검출된 형상에 대한 각각의 3D 메시의 각각의 가상 카메라로부터 깊이 맵을 합성하는 단계(418)를 더 포함한다. 즉, 검출된 각각의 형상에 대하여, 형상에 대한 3D 메시에 기초하여, 각각의 가상 카메라로부터의 깊이 맵이 합성될 것이다. 따라서, 실시예들은 각각의 가상 카메라와 연관된 깊이 맵을 제공한다.　
[0073] 도 8a는 본 발명의 일 실시예에 따른 가상 카메라로부터 렌더링된 도어 프레임의 내부 뷰의 렌더링된 깊이 맵을 예시하는 간략화된 개략도이다. 도 8b는 본 발명의 일 실시예에 따라 가상 카메라로부터 렌더링된 도어 프레임의 외부 뷰의 렌더링된 깊이 맵을 예시하는 간략한 개략도이다.　 이러한 깊이 맵들에서, 그레이 스케일은 깊이 값들을 나타내기 위해 이용된다.　 도 8b에 도시된 바와 같이, 도어는 깊이 맵의 좌측에서 개방되어 있다.　 따라서, 개방된 도어는 도어 프레임의 좌측 부분을 폐색한다.　 도어 프레임 및 도어는 2 개의 상이한 형상들로 취급될 수 있는 것이 이해되어야 한다.　 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0074] 도 8a에 도시된 깊이 맵은 도 7a에 예시된 가상 카메라(710)와 연관된다. 도 8b에 도시된 깊이 맵은 도 7b에 예시된 가상 카메라(720)와 관련된다.
[0075] 상기 방법은 또한 카메라의 포즈들 및/또는 각각의 검출된 형상의 치수 및 위치의 공동 최적화를 수행하는 단계(420)를 포함한다. 각각의 검출된 형상의 위치는 렌더링된 깊이 맵의 포즈와 상관된다.　 크기들은 유사하다.　 이러한 카메라 포즈 정렬들은 공동 최적화의 일부로서 캡쳐된 깊이 맵들(예를 들어, 수동 또는 능동)뿐만 아니라 프로세스(414)로부터의 렌더링된 깊이 맵들을 이용한다. 포즈 추정/미세조정(refinement)으로도 호칭될 수 있는 공동 최적화는 ICP 기반 정렬 또는 다른 기법들을 이용하여 수행될 수 있다. 특히, 렌더링된 깊이 맵들의 포즈들은 이 프로세스의 일부로서 선택적으로 최적화된다.
[0076] 도 4 및 프로세스(416)와 관련하여 제공된 설명에 더하여, 형상 인식 카메라 포즈 정렬의 프로세스는 다음의 단계들을 포함할 수 있다:
[0077] 단계 1: 각각의 프레임-프레임 쌍 사이에서 가장 가까운 포인트 쌍들을 발견한다.
[0078] 단계 2: 각각의 프레임-형상 쌍 사이에서 가장 가까운 포인트 쌍들을 발견한다.
[0079] 단계 3: 각각의 프레임의 R, T 및 각각의 형상의 F, G 및 D를 이하의 목적 함수로 공동 최적화한다.
[0080] 단계 4 : 최적화가 수렴할 때까지 단계 1에서 시작하여 반복한다.
[0081] 목적 함수(Objective Function):
Figure 112018038559722-pct00001
+
Figure 112018038559722-pct00002
+
Figure 112018038559722-pct00003
+
Figure 112018038559722-pct00004
[0082] 목적 함수에서, 첫 번째 항(term)은 캡쳐된 깊이 맵들 간의 정렬에 관한 것이다. 두 번째 항은 캡쳐된 깊이 맵들과 렌더링된 깊이 맵들(즉, 검출된 형상들) 간의 정렬에 관련된다.　 세 번째와 네 번째 항들은 포즈 궤도가 매끄러운 것을 보장하는 것과 관련이 있다.　
[0083] 위의 방정식에서,
i는 각각의 프레임에 대한 인덱스를 제공한다.
j는 각각의 다른 프레임에 대한 인덱스를 제공한다.
m은 각각의 가장 가까운 포인트 쌍에 대한 인덱스를 제공한다.
pi(ㆍ) 및 qj(ㆍ)는 프레임 i로부터의 깊이 포인트 p 및 프레임 j로부터의 그것의 대응하는 가장 가까운 깊이 포인트 q를 나타낸다.
pi(ㆍ) 및 hk(ㆍ)는 프레임 i로부터의 깊이 포인트 p 및 형상 k로부터의 그것의 대응하는 가장 가까운 깊이 포인트 h를 나타낸다.
Ri 및 Ti는 프레임 i의 회전 및 트랜스레이션(즉, 카메라 포즈)과 관련된다.
Fk 및 Gk는 형상 k의 회전 및 트랜스레이션(즉, 카메라 포즈)과 관련된다.
Dk는 형상 k의 치수들을 지정한다.
w는 각 용어의 가중치를 나타낸다.
[0084] 카메라 포즈들의 공동 최적화를 수행한 후, 원래의 깊이 이미지들은 렌더링된 깊이 맵들에 정렬되므로, 그 결과 하나 또는 그 초과의 검출된 형상들에도 정렬된다. 따라서 3D 메시 재구성에 이용되는 포인트 클라우드는, 특히 현저한 형상들 및 구조들에 가까운 영역들에서 더욱 정확하고 일관성 있게 될 것이다. 검출된 형상들을 갖는 포인트 클라우드 정렬과 검출된 형상들을 갖지 않는 포인트 클라우드 정렬의 비교가 도 9a 및 도 9b에 도시된다. 도 9a는 오버레이된 캡쳐된 깊이 맵들을 예시하는 단순화된 포인트 클라우드 도면이다.　 도 9b는 본 발명의 실시예들에 의해 제공되는 형상 인식 방법들을 이용하여, 오버레이된 캡쳐된 깊이 맵들 및 렌더링된 깊이 맵을 예시하는 단순화된 포인트 클라우드 도면이다.　 도 9b에 도시된 이미지에 도시된 바와 같이, 포인트들은 형상 인식 카메라 포즈 추정과 더 잘 정렬되는 것을 관찰할 수 있다.
[0085] 도 4 에 예시된 특정 단계들은, 본 발명의 일 실시예에 따른 형상 인식 카메라 포즈 정렬을 형성하는 특정 방법을 제공하는 것이 이해되어야 한다. 대안적인 실시예들에 따라 단계들의 다른 시퀀스들이 또한 수행 될 수 있다.　 예를 들어, 본 발명의 대안적인 실시예들은 다른 순서로 위에서 약술된 단계들을 수행할 수있다.　 또한, 도 4에 예시된 개별 단계들은 개별 단계에 적절하게 다양한 시퀀스들로 수행될 수 있는 복수의 서브 단계들을 포함할 수 있다.　 또한 특정 응용들에 따라 추가적인 단계들이 추가되거나 제거될 수 있다.　 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0086] 다시 도 2를 참조하면, 방법(200)은 형상 인식 용적측정 융합을 수행하는 단계(220) 및 형상 인식 용적측정 융합 기술들을 이용하여 재구성된 3D 메시를 형성하는 단계(222)를 포함한다. 형상 인식 용적측정 융합의 구현과 관련된 추가 설명은 도 5와 관련하여 제공된다.
[0087] 도 2에 예시된 특정 단계들은, 본 발명의 일 실시예에 따라 캡쳐된 깊이 맵들의 복수의 프레임들을 이용하여 장면의 3D 메시를 생성하는 특정 방법을 제공하는 것이 이해되어야 한다. 대안적인 실시예들에 따라 단계들의 다른 시퀀스들이 또한 수행될 수 있다.　 예를 들어, 본 발명의 대안적인 실시예들은 다른 순서로 위에서 약술된 단계들을 수행할 수 있다.　 또한, 도 2에 예시된 개별적인 단계들은 개별적인 단계에 적절하게 다양한 시퀀스들로 수행될 수 있는 복수의 서브 단계들을 포함할 수 있다.　 또한 특정 응용들에 따라 추가적인 단계들이 추가되거나 제거될 수 있다.　 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0088] 도 5는 본 발명의 일 실시예에 따른 형상 인식 용적측정 융합을 수행하는 방법을 예시하는 단순화된 흐름도이다. 이 기술을 적용하는 데에 있어서, 검출된 형상들이 이용되어, 다른 방법들에서보다 더 선명하고 깨끗한 형상 메시들을 생성한다.　
[0089] 상기 방법(500)은 최적화된 형상 치수들로 각각의 검출된 형상에 대한 형상 메시들을 재생성하는 단계(510)를 포함한다. 상기 방법은 또한 각각의 형상 메시의 각각의 가상 카메라로부터 깊이 맵을 렌더링하는 단계(512) 및 캡쳐된 깊이 맵들 및 렌더링된 깊이 맵들로 공동 용적측정 융합을 수행하는 단계(514)를 포함한다.　　
[0090] 공동 용적측정 융합(514)은, "범위 이미지들로부터 복합 모델들을 생성하기 위한 용적측정 방법"에서 처음 도입된 용적측정 융합의 고전적인 작업 위에서 개발된다. 보다 구체적으로, 먼저, 복셀들(voxels)의 3D 그리드로 균일하게 세분된 3D 볼륨이 생성되고, 이는 캡쳐된 영역의 3D 물리적 공간에 매핑된다.　 이 용적측정 표현의 각각의 복셀은 실제 표면까지의 상대적 거리를 지정하는 값을 보유할 것이다.　 이 값들은 실제 표면의 정면에서 포지티브이고 후면에서 네거티브이므로, 이 용적측정 표현은 3D 표면, 즉 값들이 부호를 변경하는 위치들을 암시적으로 기술한다.　 용적측정 융합은 캡쳐된 깊이 맵들의 세트를 용적측정 표현으로 변환할 수 있다.　 각각의 복셀에서의 거리 값, 즉 TSDF(truncated sign-distance function)는 다음과 같이 산출된다.
Figure 112018038559722-pct00005
여기에서, v는 복셀(voxel)의 위치이다.
tsdf(v)는 복셀의 상대적 거리 값이다.
proji(v)는 캡쳐된 깊이 맵 i 상의 v의 투영이다.
wi v 는 캡쳐된 깊이 맵 i 상으로 투영하는 복셀 v에 대한 가중치이다.
Di(ㆍ)는 캡쳐된 깊이 맵 i이다.
Ti는 카메라 i의 위치이다.
(1) 복셀 v가 카메라 i의 뿔대들(frusta)의 외부에 있거나 (2)
Figure 112018038559722-pct00006
가 미리 정의된 절단 거리(truncating distance) M보다 더 크면, wi v는 항상 0으로 설정될 것이다. 다른 경우들에서, wi v는 1 또는 캡쳐된 깊이 맵들 내의 대응하는 포인트의 신뢰 값으로 설정될 수 있다.
[0091] 본 발명의 실시예들에 따라 수행된 형상 인식 용적측정 융합의 경우, 절단된 부호-거리 함수는 캡쳐된 깊이 맵들 및 렌더링된 깊이 맵들(즉, 검출된 형상들) 모두로부터 산출된다.
Figure 112018038559722-pct00007
여기에서, Di(ㆍ)는 렌더링된 깊이 맵 s이다.
Gi는 가상 카메라 s의 위치이다.
ws v는 또한 (1) 복셀 v가 가상 카메라의 뿔대들(frusta)의 외부에 있거나 (2)
Figure 112018038559722-pct00008
이 미리 정의된 절단 거리 M보다 크면, 0으로 설정될 것이다. 0이 아닌 경우, ws v 는 캡쳐된 깊이 맵의 wi v (즉, 1)보다 큰 값(즉, 20)으로 설정되어, 렌더링된 깊이 맵들로부터의 포인트들이 우세할 것이다. 일부 실시예들은 또한 검출된 형상의 경계에 가까워지는 포인트들에 대한 ws v(즉, 20에서 1까지)의 값을 점차 감소시킨다. 경계 주변의 가중치(weight)를 감소시키는 것은 더 선명한 검출된 형상들로부터, 캡쳐된 깊이 맵들을 이용하여 생성된 원래의 메시로의 부드러운 전환을 생성한다.
[0092] 형상 인식 용적측정 융합 후, 최종 메시 내의 주요 구조(예를 들면, 도어 프레임들, 벽 코너들, 벽 단부들 등)는 더 선명하고 깨끗해질 것이다.
[0093] 도 5에 예시된 특정 단계들은, 본 발명의 일 실시예에 따른 형상 인식 용적측정 융합을 수행하는 특정 방법을 제공하는 것이 이해되어야 한다. 대안적인 실시예들에 따라 단계들의 다른 시퀀스들이 또한 수행될 수 있다.　 예를 들어, 본 발명의 대안적인 실시예들은 다른 순서로 위에서 약술된 단계들을 수행할 수 있다.　 또한, 도 5에 예시된 개별 단계들은 개별 단계에 적절하게 다양한 시퀀스들로 수행될 수 있는 복수의 서브 단계들을 포함할 수 있다.　 또한 특정 응용들에 따라 추가 단계들이 추가되거나 제거될 수 있다.　 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0094] 도 10a는 도 1과 관련하여 설명된 방법을 이용하여 재구성된 제1 재구성된 3D 메시를 도시하는 이미지이다. 도 10b는 도 2와 관련하여 설명된 방법을 이용하여 재구성된 제2 재구성된 3D 메시를 도시하는 이미지이다. 따라서, 도 10a 및 도 10b는, 각각, 형상 인식 3D 재구성 기술들이 없는 재구성된 3D 메시와 형상 인식 3D 재구성 기술들이 있는 재구성된 3D 메시의 비교를 제공한다.
[0095] 벽 내의 도어를 나타내는 도 10a에 도시되는 이미지에서는, 재구성된 3D 메시는 문설주(door jamb)의 우측 에지뿐만 아니라 좌측 에지를 따르는 물결모양들을 포함한다. 도 10a에 도시된 것과 동일한 도어를 예시하는 도 10b에 도시된 이미지에서는, 형상 인식 3D 메시 재구성은 더 깨끗하고 정확한 출력을 생성한다. 문설주의 좌측 에지를 고려하면, 벽은 관찰자를 향해 물러나는 것처럼 보인다.　 이는 물리적 장면을 정확하게 나타내지 않는 것으로서, 추정 카메라 포즈들의 오류들에 기인한 것일 가능성이 높다.　
[0096] 도 10b에 도시된 바와 같이, 도어 프레임 형상으로부터 메시의 나머지로의 전환이 더 부드러지고, 직선형 수직 문설주에 의해 명확하게 한정된다. 따라서, 실내 장면들에 대해, 본 발명의 실시예들은 시각적으로 만족스럽고 정확한 3D 메시 재구성들을 제공한다.
[0097] 도 11a는 도 1과 관련하여 설명된 방법을 이용하여 재구성된 제3 재구성된 3D 메시를 도시하는 이미지이다. 도 11b는 도 2와 관련하여 설명된 방법을 이용하여 재구성된 제4 재구성된 3D 메시를 보여주는 이미지이다. 따라서, 도 11a 및 도 11b는, 각각, 형상 인식 3D 재구성 기술들이 없는 재구성된 3D 메시와 형상 인식 3D 재구성 기술들이 있는 재구성된 3D 메시의 비교를 제공한다.
[0098] 알코브(alcove) 내의 부스 및 테이블을 나타내는 도 11a에 도시된 이미지에서, 재구성된 3D 메시는 알코브의 우측을 구성하는 벽의 단부의 물결모양 뿐만 아니라 알코브의 좌측을 구성하는 벽의 단부의 물결모양을 포함한다. 또한, 알코브 위의 벽은 벤치 위의 벽의 좌측에서 물결모양 및 불균일성을 나타낸다. 도 11a에 도시된 것과 동일한 알코브, 벤치 및 테이블을 예시하는 도 11b에 도시된 이미지에서, 형상 인식 3D 메시 재구성은 더 깨끗하고 더 정확한 출력을 생성한다. 특히, 알코브의 우측 에지를 구성하는 벽은 도 11a의 다음 알코브 내로 연장되는 것으로 보인다.　 그러나, 도 11b에서, 좌측 벽의 우측은 편평하고, 깨끗한 벽 단부를 가지며, 인접하는 알코브들을 명확히 분리하고 물리적 장면을 정확하게 표현한다.
[0099] 도 12는 본 발명의 일 실시예에 따라 깊이 이미지들을 이용하여 3D 메시를 재구성하기 위한 시스템을 예시하는 간략화된 개략도이다. 이 시스템은 일련의 캡쳐된 깊이 맵들을 수집하는 데에 이용될 수 있는 깊이 카메라(1220)를 포함한다.　 이 예에서, 제1 깊이 맵은 깊이 카메라가 위치 1에 위치되어 있을 때의 장면(1210)을 캡쳐한 것이고, 제2 깊이 맵은 카메라가 위치 2에 위치되어 있을 때(1222)의 장면(1210)을 캡쳐한 것이다.　
[0100] 캡쳐된 깊이 맵들의 세트는 깊이 카메라들과 통합되거나 그로부터 분리될 수있는 컴퓨터 시스템(1230)에 전송된다. 컴퓨터 시스템은 본 개시에 설명된 계산 방법들을 수행하고 디스플레이(1232)를 통해 사용자에게 디스플레이하기 위한 장면(1210)의 재구성된 3D 메시들을 생성하도록 동작 가능하다.　 재구성된 3D 메시들은, 디스플레이, 저장 등을 위해 I/O 인터페이스(1240)를 통해 다른 시스템들에 전송될 수 있다.　 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0101] 도 13은 실시예를 통합하거나, 실시예에 통합되거나, 본 개시 내에서 발견된 혁신들, 실시예들 및/또는 예들 중 임의의 것을 실행하는 데에 이용될 수 있는 컴퓨터 시스템 또는 정보 처리 장치의 블록도이다.
[0102] 도 13은 컴퓨터 시스템(1300)의 블록도이다. 도 13은 단지 예시적인 것이다. 일부 실시예들에서, 컴퓨터 시스템은 단일 컴퓨터 장치를 포함하며, 여기서 서브 시스템들은 컴퓨터 장치의 구성요소들(components)일 수 있다. 다른 실시예들에서, 컴퓨터 시스템은 복수의 컴퓨터 장치들을 포함할 수 있으며, 그들의 각각은 내부 구성요소들을 갖는 서브 시스템이다. 컴퓨터 시스템(1300) 및 임의의 구성요소들 또는 서브시스템들은 본 개시에 설명된 방법들을 수행하도록 구성된 하드웨어 및/또는 소프트웨어 구성요소들을 포함할 수 있다.
[0103] 컴퓨터 시스템(1300)은, 하나 또는 그 초과의 데이터 프로세서들 또는 CPU들(central processing units; 1305), 하나 또는 그 초과의 그래픽스 프로세서들 또는 GPU들(graphical processing units; 1310), 메모리 서브 시스템(1315), 저장 서브 시스템(1320), 하나 또는 그 초과의 I/O(input/output) 인터페이스들(1325), 통신 인터페이스(1330) 등의 익숙한 컴퓨터 구성요소들을 포함할 수 있다. 컴퓨터 시스템(1300)은 상기 구성요소들을 상호 연결하고, 장치간 통신과 같은 연결성 등의 기능을 제공하는 시스템 버스(1335)를 포함할 수 있다.
[0104] 하나 또는 그 초과의 데이터 프로세서들 또는 CPU들(central processing units; 1305)은 애플리케이션 특정 기능을 제공하기 위하여 로직 또는 프로그램 코드를 실행할 수 있다. CPU(들)(1305)의 일부 예들은 하나 또는 그 초과의 마이크로 프로세서들(예를 들어, 단일 코어 및 멀티 코어) 또는 마이크로 제어기들, 하나 또는 그 초과의 FPGAs(field-gate programmable arrays) 및 ASICs(application-specific integrated circuits)을 포함할 수 있다. 본 개시에서 사용자로서, 프로세서는 동일한 집적 칩 상에 멀티 코어 프로세서를 포함하거나, 단일 회로 기판 상에 또는 네트워크로 연결된 복수의 프로세싱 유닛들을 포함한다.
[0105] 하나 또는 그 초과의 그래픽스 프로세서 또는 GPU들(graphical processing units; 1310)은 그래픽스와 연관되거나 그래픽스 특정 기능을 제공하기 위한 로직 또는 프로그램 코드를 실행할 수 있다. GPU들(1310)은 종래의 비디오 카드들에 의해 제공되는 것들과 같은 임의의 종래의 그래픽스 프로세싱 유닛을 포함할 수 있다. 다양한 실시예들에서, GPU들(1310)은 하나 또는 그 초과의 벡터 또는 병렬 프로세싱 유닛들을 포함할 수 있다. 이러한 GPU들은 사용자가 프로그램 가능할 수 있으며, 특정 유형들의 데이터(예를 들어, 비디오 데이터)를 인코딩/디코딩하거나 2D 또는 3D 드로잉 동작들, 텍스처링 동작들, 셰이딩(shading) 동작들 등을 가속화하기 위한 하드웨어 구성요소들을 포함한다. 하나 또는 그 초과의 그래픽스 프로세서들 또는 GPU들(graphical processing units; 1310)은 임의의 수의 레지스터들, 논리 유닛들, 연산 유닛들, 캐시들, 메모리 인터페이스들 등을 포함할 수 있다.
[0106] 메모리 서브 시스템(1315)은, 예를 들어, 머신 판독가능 기사들, 정보 저장 장치들, 또는 컴퓨터 판독가능 저장 매체를 이용하여, 정보를 저장할 수 있다. 일부 예들은, RAM(random access memories), ROM(read-only-memories), 휘발성 메모리들, 비휘발성 메모리들 및 다른 반도체 메모리들을 포함할 수 있다. 메모리 서브 시스템(1315)은 데이터 및 프로그램 코드(1340)를 포함할 수 있다.
[0107] 저장 서브 시스템(1320)은 또한 머신 판독 기사들, 정보 저장 장치들, 또는 컴퓨터 판독가능 저장 매체를 이용하여 정보를 저장할 수 있다. 저장 서브 시스템(1320)은 저장 매체(1345)를 사용하여 정보를 저장할 수 있다. 저장 서브 시스템(1320)에 의해 사용되는 저장 매체(1345)의 일부 예들은 플로피 디스크들, 하드 디스크들, CD-ROMS, DVD들 및 바코드들과 같은 광학 저장 매체, 착탈식 저장 장치들, 네트워크 연결된 저장 장치들 등을 포함할 수 있다. 일부 실시예들에서, 데이터 및 프로그램 코드(1340)의 전부 또는 일부는 저장 서브 시스템(1320)을 이용하여 저장될 수 있다.
[0108] 하나 또는 그 초과의 I/O(input/output) 인터페이스들(1325)은 I/O 연산들을 수행할 수 있다. 하나 또는 그 초과의 입력 장치들(1350) 및/또는 하나 또는 그 초과의 출력 장치들(1355)은 하나 또는 그 초과의 I/O 인터페이스들(1325)에 통신 가능하게 연결될 수 있다. 하나 또는 그 초과의 입력 장치들(1350)은 컴퓨터 시스템(1300)에 대한 하나 또는 그 초과의 소스들로부터 정보를 수신할 수 있다. 하나 또는 그 초과의 입력 장치들(1350)의 일부 예들은 컴퓨터 마우스, 트랙볼, 트랙 패드, 조이스틱, 무선 리모트, 드로잉 태블릿, 음성 명령 시스템, 안구 추적 시스템, 외부 저장 시스템들, 터치 스크린으로서 적절히 구성된 모니터, 송수신기로서 적절하게 구성된 통신 인터페이스 등을 포함할 수 있다. 다양한 실시예들에서, 하나 또는 그 초과의 입력 장치들(1350)은 컴퓨터 시스템(1300)의 사용자가 하나 또는 그 초과의 비-그래픽 또는 그래픽 사용자 인터페이스들과 상호 작용하여 코멘트를 입력하고, 오브젝트들, 아이콘들, 텍스트, 사용자 인터페이스 위젯들, 또는 커맨드, 버튼의 클릭 등을 통해 모니터/디스플레이 장치 상에 나타나는 기타 사용자 인터페이스 구성요소들을 선택하게 할 수 있다.
[0109] 하나 또는 그 초과의 출력 장치들(1355)은 컴퓨터 시스템(1300)에 대한 하나 또는 그 초과의 목적지들에 정보를 출력할 수 있다. 하나 또는 그 초과의 출력 장치들(1355)의 일부 예들은, 프린터, 팩스, 마우스 또는 조이스틱을 위한 피드백 장치, 외부 저장 시스템들, 모니터 또는 다른 디스플레이 장치, 송수신기로서 적절하게 구성된 통신 인터페이스 등을 포함할 수 있다. 하나 또는 그 초과의 출력 장치들(1355)은 컴퓨터 시스템(1300)의 사용자가 오브젝트들, 아이콘들, 텍스트, 사용자 인터페이스 위젯들 또는 기타 사용자 인터페이스 구성요소들을 보게 할 수 있다. 디스플레이 장치 또는 모니터는 컴퓨터 시스템(1300)과 함께 사용될 수 있고 정보를 디스플레이하도록 구성된 하드웨어 및/또는 소프트웨어 구성요소들을 포함할 수 있다.
[0110] 통신 인터페이스(1330)는 데이터를 송신하고 수신하는 것을 포함하는 통신 동작들을 수행할 수 있다. 통신 인터페이스(1330)의 일부 예들은 네트워크 통신 인터페이스(예를 들어, 이더넷, Wi-Fi 등)를 포함할 수 있다. 예를 들어, 통신 인터페이스(1330)는 컴퓨터 네트워크, USB 허브 등과 같은 통신 네트워크/외부 버스(1360)에 결합될 수 있다. 컴퓨터 시스템은, 예를 들어 통신 인터페이스(1330)에 의해 또는 내부 인터페이스에 의해 함께 연결된 복수의 동일한 구성요소들 또는 서브 시스템들을 포함할 수 있다. 일부 실시예들에서, 컴퓨터 시스템들, 서브 시스템들 또는 장치들은 네트워크를 통해 통신할 수 있다. 그러한 경우들에서, 하나의 컴퓨터는 클라이언트로 간주되고, 다른 컴퓨터는 서버로 간주될 수 있으며, 각각은 동일한 컴퓨터 시스템의 일부일 수 있다. 클라이언트 및 서버는 각각 복수의 시스템들, 서브 시스템들 또는 구성요소들을 포함할 수 있다.
[0111] 컴퓨터 시스템(1300)은 또한 프로세서에 의해 실행되어 본 개시에서의 기술들을 실행, 수행 또는 달리 구현하는 하나 또는 그 초과의 애플리케이션들(예를 들어, 소프트웨어 구성요소들 또는 기능들)을 포함할 수 있다. 이 애플리케이션들은 데이터 및 프로그램 코드(1340)로서 구현될 수 있다. 또한, 컴퓨터 프로그램들, 실행 가능한 컴퓨터 코드, 인간 판독 가능한 소스 코드, 쉐이더 코드, 렌더링 엔진들 등, 및 이미지 파일들, 오브젝트들의 기하학적 설명들을 포함하는 모델들, 오브젝트들의 정렬된 기하학적 설명들, 모델들의 절차 설명들, 장면 기술자 파일들(scene descriptor files) 등의 데이터가 메모리 서브 시스템(1315) 및/또는 저장 서브 시스템(1320)에 저장될 수 있다.
[0112] 이러한 프로그램들은 또한 인코딩되고, 유선, 광, 및/또는 인터넷을 포함하는 각종 프로토콜들에 따르는 무선 네트워크들을 통한 송신에 적합한 캐리어 신호들을 이용하여 송신될 수 있다. 이와 같이, 본 발명의 일 실시예에 따른 컴퓨터 판독가능 매체는 그러한 프로그램들로 인코딩된 데이터 신호를 이용하여 생성될 수 있다. 프로그램 코드로 인코딩된 컴퓨터 판독가능 매체는 호환 장치로 패키징되거나 다른 장치들(예를 들어, 인터넷 다운로드를 통해)과는 별개로 제공될 수 있다. 임의의 그러한 컴퓨터 판독가능 매체는 단일 컴퓨터 제품(예를 들어, 하드 드라이브, CD 또는 전체 컴퓨터 시스템) 상에 또는 그 내부에 존재할 수 있으며, 시스템 또는 네트워크 내의 상이한 컴퓨터 제품들 상에 또는 그 내부에 존재할 수 있다. 컴퓨터 시스템은 본 개시에서 언급된 결과들 중 임의의 것을 사용자에게 제공하기 위해 모니터, 프린터 또는 기타 적합한 디스플레이를 포함할 수 있다.
[0113] 본 개시에 기술된 방법들 중 임의의 것은 단계들을 수행하도록 구성될 수 있는 하나 또는 그 초과의 프로세서들을 포함하는 컴퓨터 시스템에서 전체적으로 또는 부분적으로 수행될 수 있다. 따라서, 실시예들은, 본 개시에 설명된 방법들 중 임의의 것의 단계들을 수행하도록 구성된 컴퓨터 시스템들에 관한 것이고, 잠재적으로 상이한 구성요소들이 각각의 단계들 또는 각각의 단계들의 그룹을 수행할 수 있다. 번호가 부여된 단계들로서 제시되었지만, 본 개시의 방법들의 단계들은 동시에 또는 상이한 순서로 수행될 수 있다. 또한, 이러한 단계들의 일부들은 다른 방법들로부터의 다른 단계들의 일부들과 함께 이용될 수 있다. 또한, 단계의 전부 또는 일부들은 선택적일 수 있다. 또한, 상기 방법들 중 임의의 것의 임의의 단계들은 이러한 단계들을 수행하기 위한 모듈들, 회로들 또는 기타 수단으로 수행될 수있다.
[0114] 본 발명의 다양한 실시예들이 이상에서 설명되었지만, 이들은 단지 예로서 제시된 것이고, 제한의 의미로 이해되어서는 안된다. 마찬가지로, 다양한 도면들은 본 개시에 대한 예시적인 아키텍쳐 또는 다른 구성을 설명할 수 있으며, 이는 본 개시에 포함될 수 있는 특징들 및 기능을 이해하는 것을 돕기 위한 것이다. 이 개시는 예시된 예시적인 아키텍처들 또는 구성들에 제한되지 않고, 다양한 대체 아키텍처들 및 구성들을 이용하여 구현될 수 있다. 또한, 본 개시는 다양한 예시적인 실시예들 및 구현들의 관점에서 전술되지만, 개별 실시예들의 하나 또는 그 초과에서 설명된 다양한 특징들 및 기능은 이들이 설명되는 특정 실시예에 대한 이들의 적용 가능성에 있어서 제한되는 것은 아니라는 점이 이해되어야 한다.　 그 대신, 그들은 본 개시의 다른 실시예들의 하나 또는 그 초과에 단독으로 또는 소정의 조합으로 적용될 수 있으며, 이는 그러한 실시예들이 설명되어 있는지 여부 및 설명된 실시예의 일부인 것으로서 그러한 특징들이 제시되는지 여부와는 무관하다. 　따라서, 본 개시의 폭 및 범위는 전술된 예시적인 실시예들 중 임의의 것에 의해 제한되어서는 안된다.
[0115] 이 문서에서, 용어 "모듈"은 소프트웨어, 펌웨어, 하드웨어, 및 본 개시에 설명된 연관 기능들을 수행하기 위한 이러한 구성요소들의 임의의 조합을 의미한다. 또한, 논의의 목적상, 다양한 모듈들은 개별 모듈들로 기술된다. 그러나, 당업자에게 명백한 바와 같이, 둘 또는 그 초과의 모듈들이 결합되어 본 발명의 실시예들에 따른 연관된 기능들을 수행하는 단일 모듈을 형성할 수 있다.
[0116] 상기 설명은, 명확성을 위해, 상이한 기능 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 설명하였다는 것이 이해될 것이다. 그러나, 상이한 기능 유닛들, 프로세서들 또는 도메인들 간에 기능의 임의의 적절한 분산이, 본 발명으로부터 벗어나지 않고, 이용될 수 있는 것이 명백할 것이다.　 예를 들어, 별도의 프로세서들 또는 제어기들에 의해 수행되는 것으로 예시된 기능은 동일한 프로세서 또는 제어기에 의해 수행될 수 있다.　 따라서, 특정 기능 유닛들에 대한 참조는, 엄격한 로직의 또는 물리적 구조 또는 조직을 나타내기 보다는, 설명된 기능을 제공하기 위한 적절한 수단에 대한 참조들로서만 간주되어야 한다.
[0117] 본 문서에 사용된 용어들 및 어구들, 및 이에 대한 변형들은, 달리 명시되지 않으면, 제한이 아니라, 오픈 엔드된(open ended) 것으로 해석되어야 한다. 전술한 예들로서, "포함하는(including)"이라는 용어는 "제한없이 포함하는 것" 등을 의미하는 것으로 판독되어야 하고, "예(example)"라는 용어는 논의 중인 항목의 철저하거나 제한적인 목록이 아닌 그 항목의 예시적인 예들을 제공하기 위해 이용되고, "종래의", "전통적인", "정상적인", "표준의", "알려진" 및 유사한 의미의 용어들과 같은 형용사는 설명된 항목을 주어진 기간으로 제한하거나 주어진 시간의 현재 이용 가능한 항목으로 제한하는 것으로서 해석되어서는 안된다. 그러나, 그 대신, 이러한 용어들은 현재 또는 미래의 임의의 시간에 이용 가능하거나 알려질 수 있는 종래의, 전통적인, 정상적 또는 표준의 기술들을 포함하는 것으로 판독되어야 한다. 마찬가지로, 접속어 "및"으로 연결된 항목들의 그룹은 그 항목들의 면면이 그룹핑 내에 존재할 것을 요구하는 것으로 판독되어서는 안되고, 오히려, 달리 명시적으로 언급되지 않는다면, "및/또는"으로서 판독되어야 한다. 유사하게, 접속어 "또는"으로 연결된 항목들의 그룹은 해당 그룹 간에 상호 배타성을 요구하는 것으로 판독되어서는 안되며, 오히려, 달리 명시적으로 언급되지 않는다면, 또한 "및/또는"으로서 판독되어야 한다. 또한, 본 개시의 항목들, 구성요소들(elements) 또는 구성요소들(components)은 단수로 기술되거나 청구될 수 있지만, 단수로 제한되는 것이 명시적으로 언급되지 않으면, 복수가 그 범위 내에 있는 것으로 고려된다.　 일부 예들에서 "하나 또는 그 초과의", "적어도", "그러나 이에 국한되지 않음"과 같은 확장형 단어들 및 어구들의 존재는, 그러한 확장형 어구들이 존재하지 않을 수 있는 경우들에 있어서 더 좁은 경우가 의도되거나 요구되는 것을 의미하는 것으로 해석되어서는 안된다.
[0118] 또한 본 개시에 기재된 예시들 및 실시예들은 단지 예시를 목적으로 하며, 그에 비추어 다양한 변형들 또는 수정들이 그 기술 분야의 당업자에게 제안될 것이고 그러한 변형들 또는 수정들은 본 출원 및 첨부된 청구범위들의 취지 및 범위 내에 포함되는 것이라는 점도 이해된다.

Claims (20)

  1. 재구성된 3D 메시를 형성하는 방법으로서, 상기 방법은,
    하나 또는 그 초과의 프로세서들에서, 장면과 연관된 캡쳐된 깊이 맵들의 세트를 수신하는 단계;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 캡쳐된 깊이 맵들의 세트 중 각각의 캡쳐된 깊이 맵과 연관된 초기 카메라 포즈 정렬을 수행하는 단계;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 캡쳐된 깊이 맵들의 세트를 참조 프레임 내에 오버레이하는 단계;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 캡쳐된 깊이 맵들의 오버레이된 세트 내의 하나 또는 그 초과의 형상들을 검출하여 하나 또는 그 초과의 검출된 형상들을 제공하는 단계;
    상기 하나 또는 그 초과의 프로세서들 및 상기 하나 또는 그 초과의 검출된 형상들을 이용하여, 상기 캡쳐된 깊이 맵들의 세트 중 각각의 캡쳐된 깊이 맵과 연관된 형상 인식 카메라 포즈 정렬을 제공하기 위해 상기 캡쳐된 깊이 맵들의 오버레이된 세트와 상기 하나 또는 그 초과의 검출된 형상들 간의 오버랩에 기초하여 상기 초기 카메라 포즈 정렬을 업데이트하는 단계;
    상기 하나 또는 그 초과의 프로세서들 및 상기 하나 또는 그 초과의 검출된 형상들을 이용하여, 형상 인식 용적측정 융합을 수행하는 단계; 및
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 장면과 연관된 재구성된 3D 메시를 형성하는 단계
    를 포함하는, 재구성된 3D 메시를 형성하는 방법.
  2. 제 1 항에 있어서, 상기 캡쳐된 깊이 맵들의 세트는 상기 장면에 대한 상이한 위치들로부터 획득되는, 재구성된 3D 메시를 형성하는 방법.
  3. 제 1 항에 있어서, 상기 캡쳐된 깊이 맵들의 세트는 상이한 시간들에서 상기 장면에 대한 단일 위치로부터 획득되는, 재구성된 3D 메시를 형성하는 방법.
  4. 제 1 항에 있어서, 상기 참조 프레임은 상기 하나 또는 그 초과의 검출된 형상들 중 하나의 참조 프레임을 포함하는, 재구성된 3D 메시를 형성하는 방법.　
  5. 제 1 항에 있어서, 상기 캡쳐된 깊이 맵들의 오버레이된 세트 내의 하나 또는 그 초과의 형상들을 검출하는 단계는:
    상기 캡쳐된 깊이 맵들의 오버레이된 세트와 연관된 포인트 클라우드와 연관된 수직 방향을 결정하는 단계;
    상기 수직 방향에 직교하는 가상 평면을 형성하는 단계;
    상기 포인트 클라우드의 포인트들을 가상 평면 상에 투영하는 단계;
    상기 포인트 클라우드의 포인트들에 대한 투영 통계를 산출하는 단계;
    상기 산출된 투영 통계로부터 수직 벽들과 연관된 하나 또는 그 초과의 라인들을 검출하는 단계; 및
    상기 투영 통계 및 상기 하나 또는 그 초과의 검출된 라인들로부터 상기 하나 또는 그 초과의 형상들을 검출하는 단계
    를 포함하는, 재구성된 3D 메시를 형성하는 방법.
  6. 제 1 항에 있어서, 상기 검출된 하나 또는 그 초과의 형상들은 벽 코너 또는 도어 프레임 중 적어도 하나를 포함하는, 재구성된 3D 메시를 형성하는 방법.
  7. 제 1 항에 있어서, 상기 형상 인식 카메라 포즈 정렬을 제공하는 단계는,
    상기 하나 또는 그 초과의 검출된 형상들의 각각에 대한 3D 메시를 생성하는 단계 ― 상기 캡쳐된 깊이 맵들의 오버레이된 세트는 물리적 카메라 포즈와 연관되고 상기 하나 또는 그 초과의 검출된 형상들의 각각은 치수 및 위치/방향에 의해 특징 지워짐 ―;
    로컬 참조 프레임에서 각각의 3D 메시와 연관된 하나 또는 그 초과의 가상 카메라들을 생성하는 단계;
    하나 또는 그 초과의 깊이 맵들을 렌더링하는 단계 ― 상기 하나 또는 그 초과의 렌더링된 깊이 맵들의 각각은 각각의 3D 메시와 연관된 각각의 가상 카메라와 연관됨 ―; 및
    상기 하나 또는 그 초과의 렌더링된 깊이 맵들과 상기 캡쳐된 깊이 맵들의 세트 간의 정렬을 최적화함으로써 상기 하나 또는 그 초과의 검출된 형상들의 각각의 형상의 위치/방향 및 물리적 카메라 포즈들을 공동으로 해결하는 단계
    를 포함하는, 재구성된 3D 메시를 형성하는 방법.
  8. 장면에 존재하는 형상을 검출하는 방법으로서, 상기 방법은,
    하나 또는 그 초과의 프로세서들을 이용하여 그리고 포인트 클라우드의 복수의 픽셀들에 대해 복수의 수평면들을 결정하는 단계 ― 상기 복수의 수평면들은 상기 복수의 픽셀들 각각에 대해 상기 복수의 픽셀들 각각에 이웃하는 픽셀들의 포인트 노멀들에 의해 정의됨 ―;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 복수의 수평면들에 대한 벡터 노멀을 계산하는 단계 ― 상기 벡터는 상기 포인트 클라우드와 연관된 수직 방향을 정의함 ―
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 수직 방향에 직교하는 가상 평면을 형성하는 단계;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 가상 평면 내의 미리 결정된 위치와 연관된 상기 포인트 클라우드의 포인트들의 수를 나타내는 2차원 데이터 세트를 생성하기 위하여 상기 가상 평면 상에 상기 포인트 클라우드의 포인트들을 투영하는 단계;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 포인트 클라우드의 포인트들에 대한 투영 통계를 산출하는 단계;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 산출된 투영 통계로부터, 수직 벽들과 연관된 하나 또는 그 초과의 라인들을 검출하는 단계; 및
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 투영 통계 및 상기 하나 또는 그 초과의 검출된 라인들로부터 상기 장면에 존재하는 형상을 검출하는 단계
    를 포함하는, 형상을 검출하는 방법.
  9. 제 8 항에 있어서, 상기 검출된 형상의 치수들 및 위치들을 결정하는 단계를 더 포함하는, 형상을 검출하는 방법.　
  10. 삭제
  11. 제 8 항에 있어서, 상기 가상 평면 내의 미리 결정된 위치는 상기 가상 평면 내의 미리 결정된 x, y 위치를 포함하는, 형상을 검출하는 방법.
  12. 제 11 항에 있어서, 상기 투영 통계는 상기 가상 평면 내의 상기 미리 결정된 x, y 위치 상에 투영된 상기 포인트 클라우드의 포인트들에 대한 포인트 노멀들의 분포를 포함하는, 형상을 검출하는 방법.　
  13. 제 11 항에 있어서, 상기 투영 통계는 상기 가상 평면 내의 상기 미리 결정된 x, y 위치 상에 투영된 상기 포인트 클라우드의 포인트들의 초기 높이를 포함하는, 형상을 검출하는 방법.　
  14. 제 8 항에 있어서, 상기 장면에 존재하는 검출된 형상은 벽 코너 또는 도어 프레임 중 적어도 하나를 포함하는, 형상을 검출하는 방법.　
  15. 형상 인식 카메라 포즈 정렬을 수행하는 방법으로서, 상기 방법은,
    하나 또는 그 초과의 프로세서들에서, 물리적 카메라 포즈와 각각 연관된 캡쳐된 깊이 맵들의 세트를 수신하는 단계;
    상기 하나 또는 그 초과의 프로세서들에서, 하나 또는 그 초과의 검출된 형상들을 수신하는 단계 ― 상기 하나 또는 그 초과의 검출된 형상들의 각각의 형상은 치수 및 위치/방향에 의해 특징 지워짐 ―;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 하나 또는 그 초과의 검출된 형상들의 각각에 대한 3D 메시를 생성하는 단계;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 로컬 참조 프레임 내의 각각의 3D 메시와 연관된 하나 또는 그 초과의 가상 카메라들을 생성하는 단계;
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 하나 또는 그 초과의 깊이 맵들을 렌더링하는 단계 ― 상기 하나 또는 그 초과의 렌더링된 깊이 맵들의 각각은 각각의 3D 메시와 연관된 각각의 가상 카메라와 관련됨 ―; 및
    상기 하나 또는 그 초과의 프로세서들을 이용하여, 상기 하나 또는 그 초과의 렌더링된 깊이 맵들과 캡쳐된 깊이 맵들의 세트 간의 정렬을 최적화함으로써 상기 하나 또는 그 초과의 검출된 형상들의 각각의 형상의 위치/방향 및 물리적 카메라 포즈들을 공동으로 해결하는 단계
    를 포함하는, 형상 인식 카메라 포즈 정렬을 수행하는 방법.
  16. 제 15 항에 있어서, 상기 하나 또는 그 초과의 렌더링된 깊이 맵들과 상기 캡쳐된 깊이 맵들의 세트 간의 정렬을 최적화하는 단계는,
    상기 하나 또는 그 초과의 렌더링된 깊이 맵들 간의 정렬을 최적화하는 단계; 및
    상기 하나 또는 그 초과의 렌더링된 깊이 맵들과 상기 캡쳐된 깊이 맵들의 세트 간의 정렬을 최적화하는 단계
    를 포함하는, 형상 인식 카메라 포즈 정렬을 수행하는 방법.　
  17. 제 15 항에 있어서, 상기 로컬 참조 프레임은 상기 하나 또는 그 초과의 검출된 형상들 중 하나의 참조 프레임을 포함하는, 형상 인식 카메라 포즈 정렬을 수행하는 방법.　
  18. 제 15 항에 있어서, 상기 하나 또는 그 초과의 검출된 형상들의 각각에 대한 3D 메시는 복수의 삼각형들을 포함하고, 상기 복수의 삼각형들의 각각은 상기 하나 또는 그 초과의 가상 카메라들 중 적어도 하나의 뷰의 필드 내에 있는, 형상 인식 카메라 포즈 정렬을 수행하는 방법.
  19. 제 15 항에 있어서, 상기 캡쳐된 깊이 맵들의 세트는 장면에 대한 상이한 위치들로부터 획득되는, 형상 인식 카메라 포즈 정렬을 수행하는 방법.
  20. 제 15 항에 있어서, 상기 캡쳐된 깊이 맵들의 세트는 상이한 시간들에서 장면에 대한 단일 위치로부터 획득되는, 형상 인식 카메라 포즈 정렬을 수행하는 방법.　
KR1020187010984A 2015-09-25 2016-09-23 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들 KR102504246B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237006163A KR102653808B1 (ko) 2015-09-25 2016-09-23 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562232833P 2015-09-25 2015-09-25
US62/232,833 2015-09-25
PCT/US2016/053477 WO2017053821A1 (en) 2015-09-25 2016-09-23 Methods and systems for detecting and combining structural features in 3d reconstruction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237006163A Division KR102653808B1 (ko) 2015-09-25 2016-09-23 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들

Publications (2)

Publication Number Publication Date
KR20180059836A KR20180059836A (ko) 2018-06-05
KR102504246B1 true KR102504246B1 (ko) 2023-02-24

Family

ID=58387454

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187010984A KR102504246B1 (ko) 2015-09-25 2016-09-23 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
KR1020237006163A KR102653808B1 (ko) 2015-09-25 2016-09-23 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237006163A KR102653808B1 (ko) 2015-09-25 2016-09-23 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들

Country Status (9)

Country Link
US (3) US10559127B2 (ko)
EP (2) EP3353750B1 (ko)
JP (2) JP6944441B2 (ko)
KR (2) KR102504246B1 (ko)
CN (2) CN114863059A (ko)
AU (2) AU2016327985B2 (ko)
CA (1) CA2996009A1 (ko)
IL (2) IL291685B2 (ko)
WO (1) WO2017053821A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230028598A (ko) * 2015-09-25 2023-02-28 매직 립, 인코포레이티드 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
IL301297B1 (en) 2016-11-16 2024-04-01 Magic Leap Inc A multi-resolution display assembly for head-mounted display systems
CN108694740A (zh) * 2017-03-06 2018-10-23 索尼公司 信息处理设备、信息处理方法以及用户设备
EP3603058A4 (en) 2017-03-22 2020-12-30 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
WO2018176015A1 (en) 2017-03-24 2018-09-27 Magic Leap, Inc. Accumulation and confidence assignment of iris codes
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
CN109559271B (zh) * 2017-09-26 2023-02-28 富士通株式会社 对深度图像进行优化的方法和装置
US10594917B2 (en) 2017-10-30 2020-03-17 Microsoft Technology Licensing, Llc Network-controlled 3D video capture
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
KR20230110832A (ko) 2017-12-22 2023-07-25 매직 립, 인코포레이티드 가상, 증강 또는 혼합 현실 환경에서 3d 비디오들을생성 및 디스플레이하기 위한 방법들 및 시스템
JP2019159910A (ja) * 2018-03-14 2019-09-19 国立大学法人豊橋技術科学大学 三次元画像分類装置および三次元画像分類方法
JP7381482B2 (ja) 2018-03-16 2023-11-15 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング
US10930001B2 (en) * 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
EP3821289B1 (en) 2018-07-13 2024-01-31 Magic Leap, Inc. Systems and methods for display binocular deformation compensation
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN112805750A (zh) 2018-08-13 2021-05-14 奇跃公司 跨现实系统
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US11127166B2 (en) * 2019-03-01 2021-09-21 Tencent America LLC Method and apparatus for enhanced patch boundary identification for point cloud compression
US11170526B2 (en) 2019-03-26 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating tool trajectories
EP3973347A4 (en) 2019-05-20 2023-05-31 Magic Leap, Inc. EYE POSITION ESTIMATION SYSTEMS AND TECHNIQUES
CN110147775B (zh) * 2019-05-24 2021-05-18 北京建筑大学 利用细化空间分隔法从点云提取室内导航元素的方法
KR102156336B1 (ko) * 2019-07-01 2020-09-15 서울대학교산학협력단 3차원 형상 재현 방법
JP2022538669A (ja) * 2019-07-05 2022-09-05 マジック リープ， インコーポレイテッド 眼追跡待ち時間向上
US11928399B1 (en) * 2019-09-24 2024-03-12 Zoox, Inc. Simulating object occlusions
EP4046070A4 (en) 2019-10-15 2023-10-18 Magic Leap, Inc. CROSS-REALLY SYSTEM THAT SUPPORTS MULTIPLE DEVICE TYPES
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
CN114600064A (zh) 2019-10-15 2022-06-07 奇跃公司 具有定位服务的交叉现实系统
CN114730546A (zh) 2019-11-12 2022-07-08 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实系统
US11269181B2 (en) 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
CN114762008A (zh) 2019-12-09 2022-07-15 奇跃公司 简化的虚拟内容编程的交叉现实系统
US11869135B2 (en) 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data
US11252398B2 (en) 2020-01-16 2022-02-15 Fyusion, Inc. Creating cinematic video from multi-view capture data
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
CN115427758A (zh) 2020-02-13 2022-12-02 奇跃公司 具有精确共享地图的交叉现实系统
EP4104001A4 (en) 2020-02-13 2024-03-13 Magic Leap Inc CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS
CN111353409B (zh) * 2020-02-25 2023-05-02 达闼机器人股份有限公司 容器识别方法、装置和机器人
US11551430B2 (en) 2020-02-26 2023-01-10 Magic Leap, Inc. Cross reality system with fast localization
CN115803788A (zh) 2020-04-29 2023-03-14 奇跃公司 用于大规模环境的交叉现实系统
CN111569432B (zh) * 2020-05-19 2021-01-15 北京中科深智科技有限公司 一种从游戏中捕捉6DoF场景图像的系统及方法
JP2023536064A (ja) 2020-07-23 2023-08-23 マジック リープ， インコーポレイテッド 交互サンプリングを使用した眼追跡
IL300043A (en) * 2020-07-29 2023-03-01 Magic Leap Inc External calibration of a camera using ray cuts
CN113156447A (zh) * 2021-03-10 2021-07-23 深圳市杉川机器人有限公司 房门位置的确定方法、扫地机以及计算机可读存储介质
US11710272B2 (en) * 2021-03-24 2023-07-25 Disney Enterprises, Inc. Volumetric representation of digital objects from depth renderings

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10044169A1 (de) * 2000-09-07 2002-03-21 Daimler Chrysler Ag Verfahren zur zerstörungsfreien Wandstärkenprüfung
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
JP2004234349A (ja) * 2003-01-30 2004-08-19 Univ Tokyo 画像処理装置、画像処理方法、及び画像処理プログラム
EP2236980B1 (en) * 2009-03-31 2018-05-02 Alcatel Lucent A method for determining the relative position of a first and a second imaging device and devices therefore
US8884948B2 (en) * 2009-09-30 2014-11-11 Disney Enterprises, Inc. Method and system for creating depth and volume in a 2-D planar image
US8872889B2 (en) * 2010-01-14 2014-10-28 Innovmetric Logiciels Inc. Synchronization of the orientation of a 3D measurement device and the orientation of an intelligent guidance device
US20110187704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Generating and displaying top-down maps of reconstructed 3-d scenes
US20130202197A1 (en) * 2010-06-11 2013-08-08 Edmund Cochrane Reeler System and Method for Manipulating Data Having Spatial Co-ordinates
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
KR101764424B1 (ko) * 2010-11-08 2017-08-14 삼성전자주식회사 영상 데이터 검색 방법 및 장치
EP2538388B1 (en) * 2011-06-20 2015-04-01 Alcatel Lucent Method and arrangement for image model construction
JP5566353B2 (ja) 2011-09-02 2014-08-06 株式会社パスコ データ解析装置、データ解析方法、及びプログラム
KR101917630B1 (ko) * 2011-10-28 2018-11-13 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
EP2788958B1 (en) * 2011-12-05 2019-09-18 Commonwealth Scientific and Industrial Research Organisation Method and system for characterising plant phenotype
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
US8831290B2 (en) * 2012-08-01 2014-09-09 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection
US8633970B1 (en) * 2012-08-30 2014-01-21 Google Inc. Augmented reality with earth data
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
WO2014145722A2 (en) * 2013-03-15 2014-09-18 Digimarc Corporation Cooperative photography
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP2014185947A (ja) * 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd ３次元復元のための画像撮影方法
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
US9280825B2 (en) 2014-03-10 2016-03-08 Sony Corporation Image processing system with registration mechanism and method of operation thereof
US9779508B2 (en) * 2014-03-26 2017-10-03 Microsoft Technology Licensing, Llc Real-time three-dimensional reconstruction of a scene from a single camera
US9373190B2 (en) 2014-07-09 2016-06-21 Google Inc. High-quality stereo reconstruction featuring depth map alignment and outlier identification
WO2016070318A1 (en) * 2014-11-04 2016-05-12 SZ DJI Technology Co., Ltd. Camera calibration
US9519289B2 (en) * 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
CA2996009A1 (en) 2015-09-25 2017-03-30 Magic Leap, Inc. Methods and systems for detecting and combining structural features in 3d reconstruction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Brian Okorn ET AL. "Toward Automated Modeling of Floor Plans", 2010년, <URL: https://www.ri.cmu.edu/pub_files/2010/5/2009%203DPVT%20plan%20view%20modeling%20v13%20(resubmitted).pdf> 1부.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230028598A (ko) * 2015-09-25 2023-02-28 매직 립, 인코포레이티드 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
KR102653808B1 (ko) * 2015-09-25 2024-04-01 매직 립, 인코포레이티드 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들

Also Published As

Publication number Publication date
IL291685A (en) 2022-05-01
IL257634B (en) 2022-05-01
US20170091996A1 (en) 2017-03-30
IL291685B2 (en) 2023-09-01
CN108027984A (zh) 2018-05-11
EP3353750A4 (en) 2019-03-06
AU2021204409A1 (en) 2021-07-22
EP3975121A1 (en) 2022-03-30
KR20230028598A (ko) 2023-02-28
AU2016327985B2 (en) 2021-07-29
KR102653808B1 (ko) 2024-04-01
EP3353750A1 (en) 2018-08-01
US10559127B2 (en) 2020-02-11
US20200126298A1 (en) 2020-04-23
JP7181977B2 (ja) 2022-12-01
WO2017053821A1 (en) 2017-03-30
US11688138B2 (en) 2023-06-27
AU2016327985A1 (en) 2018-03-15
US11189093B2 (en) 2021-11-30
JP2021185542A (ja) 2021-12-09
EP3353750B1 (en) 2021-09-01
CN108027984B (zh) 2022-05-13
NZ739813A (en) 2021-06-25
IL291685B1 (en) 2023-05-01
KR20180059836A (ko) 2018-06-05
JP6944441B2 (ja) 2021-10-06
JP2018536915A (ja) 2018-12-13
CA2996009A1 (en) 2017-03-30
CN114863059A (zh) 2022-08-05
IL257634A (en) 2018-04-30
US20220122322A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
KR102504246B1 (ko) 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN105701857B (zh) 3d建模的对象的纹理化
Cabral et al. Piecewise planar and compact floorplan reconstruction from images
US10360718B2 (en) Method and apparatus for constructing three dimensional model of object
EP2874118B1 (en) Computing camera parameters
Turner et al. Fast, automated, scalable generation of textured 3D models of indoor environments
US9412040B2 (en) Method for extracting planes from 3D point cloud sensor data
EP2272050B1 (en) Using photo collections for three dimensional modeling
KR20170068462A (ko) 에지를 이용한 3차원 모델 생성
Han et al. 3D human model reconstruction from sparse uncalibrated views
NZ739813B2 (en) Methods and systems for detecting and combining structural features in 3d reconstruction
Stereopsis Accurate, dense, and robust multiview stereopsis
US20230419526A1 (en) Method, apparatus, and computer-readable medium for room layout extraction
Cheng et al. A novel structure-from-motion strategy for refining depth map estimation and multi-view synthesis in 3DTV
Chavan et al. Depth extraction from video: A survey
Eisemann et al. 3-D Cinematography with Approximate or No Geometry
Grum et al. 3D scene correction using disparities with its projections

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant