KR101861313B1

KR101861313B1 - 삼차원 환경 재구성

Info

Publication number: KR101861313B1
Application number: KR1020137020295A
Authority: KR
Inventors: 리차드 뉴콤브; 샤람 이자디; 데이비드 몰리노스; 오트마르 힐리게스; 데이비드 킴; 제이미 다니엘 조셉 쇼튼; 스티븐 에드워드 하지스; 데이비드 알렉산더 버틀러; 앤드류 피츠지본; 푸쉬미트 콜리
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2011-01-31
Filing date: 2012-01-09
Publication date: 2018-05-28
Also published as: JP2014507723A; EP2671210A2; US20120194516A1; CN102622776B; JP5906258B2; US8587583B2; CN102622776A; HK1172131A1; KR20140007367A; WO2012106069A2; EP2671210B1; EP2671210A4; WO2012106069A3

Abstract

삼차원 환경 재구성이 설명된다. 일례에서는, 메모리 장치에 저장되는 복셀들로 구성되는 3D 볼륨에서 실세계 환경의 3D 모델이 생성된다. 이 모델은 카메라 위치 및 배향을 기술하는 데이터, 및 카메라로부터 환경 내의 포인트까지의 거리를 지시하는 픽셀들을 갖는 깊이 이미지로부터 구축된다. 개별 실행 스레드가 볼륨의 평면 내의 각각의 복셀에 할당된다. 각각의 스레드는 카메라 위치 및 배향을 이용하여 그의 관련 복셀에 대한 대응하는 깊이 이미지 위치를 결정하고, 대응하는 위치에서 관련 복셀과 환경 내의 포인트 사이의 거리와 관련된 팩터를 결정하며, 팩터를 이용하여 관련 복셀에서 저장된 값을 갱신한다. 각각의 스레드는 볼륨의 나머지 평면들 내의 등가 복셀을 통해 반복하여, 저장된 값을 갱신하기 위한 프로세스를 반복한다.

Description

삼차원 환경 재구성{THREE-DIMENSIONAL ENVIRONMENT RECONSTRUCTION}

실세계 환경의 삼차원 컴퓨터 모델들은 다양한 응용들에서 유용하다. 예를 들어, 그러한 모델들은 몰입형 게이밍(immersive gaming), 증강 현실, 아키텍처/플래닝(planning), 로보틱스(robotics) 및 엔지니어링 프로토타이핑(prototyping)과 같은 응용들에서 사용될 수 있다.

깊이(depth) 카메라들(z-카메라로도 알려진)은 실세계 환경의 실시간 깊이 맵들을 생성할 수 있다. 이러한 깊이 맵들 내의 각각의 픽셀은 환경 내의 3D 포인트로부터 카메라에 의해 캡처되는 이산 거리 측정에 대응한다. 이것은 이러한 카메라들이 실시간 속도로 정렬되지 않은 포인트들의 세트(포인트 클라우드로서 알려진)로 구성되는 깊이 맵들을 제공한다는 것을 의미한다.

그러나, 깊이 카메라에 의해 제공되는 깊이 맵들을 이용하여 유용한 3D 환경 모델을 생성하는 것은 복잡하다. 많은 깊이 카메라로는, 각각의 개별 깊이 맵은 너무 낮은 해상도를 가지며 너무 높은 잡음을 가져서 충분히 정확하고 상세한 3D 모델을 생성할 수 없다. 더구나, 많은 응용은 포인트 클라우드가 아니라 감지된 환경의 표면 재구성을 이용한다. 예를 들어, 3D 재구성된 표면 모델은 가상 객체들과 깊이 카메라에 의해 환경에서 감지된 실제 객체들 사이의 물리적 상호작용들의 효과를 모델링하기 위한 물리 시뮬레이션에서 사용될 수 있다. 포인트 클라우드 내의 개별 포인트들 사이의 연결성의 결여로 인해 모델 전반에 구멍들이 존재하기 때문에 포인트 클라우드는 이러한 시나리오에서 적절히 동작하지 못한다.

깊이 카메라로부터의 포인트 클라우드들의 다수의 프레임을 일관된 유용한 모델로 결합하며 이러한 포인트 클라우드들 내의 포인트들 사이의 연결성을 결정함으로써 표면 기하 구조를 추정하는 것은 매우 계산 집약적이다. 표면 재구성은 이러한 연결성을 추정함으로써 카메라가 볼 수 있는 표면들을 추출하는 프로세스이다. 깊이 카메라로부터 실시간으로 수신되는 데이터의 양 및 상호작용 레이트들을 지원하기 위한 요구가 주어질 경우, 푸아송(Poisson) 표면 재구성과 같은 공지된 알고리즘들은 너무 계산 집중적이어서 실시간 처리를 지원하지 못한다.

후술하는 실시예들은 공지된 3D 재구성 기술들의 임의의 또는 모든 단점들을 해결하는 구현들로 한정되지 않는다.

아래에서는 독자에게 기본적인 이해를 제공하기 위해 본 발명의 간단한 요약을 제공한다. 이러한 요약은 본 발명의 광범위한 개요는 아니며, 본 발명의 중요한/필수적인 요소들을 식별하거나 본 발명의 범위를 기술하지 않는다. 그의 유일한 목적은 본 명세서에서 개시되는 일부 개념들을 나중에 제공되는 더 상세한 설명에 대한 서론으로서 간단한 형태로 제공하는 것이다.

삼차원 환경 재구성이 설명된다. 일례에서는, 메모리 장치에 저장되는 복셀들로 구성되는 3D 볼륨에서 실세계 환경의 3D 모델이 생성된다. 이 모델은 카메라 위치 및 배향을 기술하는 데이터, 및 카메라로부터 환경 내의 포인트까지의 거리를 지시하는 픽셀들을 갖는 깊이 이미지로부터 구축된다. 개별 실행 스레드가 볼륨의 평면 내의 각각의 복셀에 할당된다. 각각의 스레드는 카메라 위치 및 배향을 이용하여 그의 관련 복셀에 대한 대응하는 깊이 이미지 위치를 결정하고, 대응하는 위치에서 관련 복셀과 환경 내의 포인트 사이의 거리와 관련된 팩터를 결정하고, 팩터를 이용하여 관련 복셀에서 저장된 값을 갱신한다. 각각의 스레드는 볼륨의 나머지 평면들 내의 등가 복셀을 통해 반복하여, 저장된 값을 갱신하기 위한 프로세스를 반복한다.

수반되는 특징들 중 다수는 이들이 첨부 도면들과 관련하여 고찰되는 아래의 상세한 설명을 참조하여 더 잘 이해됨에 따라 더 쉽게 인식될 것이다.

본 설명은 첨부 도면들을 고려하여 판독되는 아래의 상세한 설명으로부터 더 잘 이해될 것이다.
도 1은 방의 3D 모델 또는 맵을 생성하는 데 사용될 수 있는 이동 깊이 카메라를 지닌 방 안의 사람의 개략도를 나타낸다.
도 2는 이동 깊이 카메라를 지닌 사람에 의해 조사되고 있는 빌딩의 한 층의 평면도를 나타낸다.
도 3은 실시간 카메라 추적 시스템, 고밀도 3D 모델 형성 시스템 및 게임 시스템에 접속된 이동 깊이 카메라의 개략도를 나타낸다.
도 4는 3D 환경 모델을 생성하기 위한 병렬화 가능 프로세스의 흐름도를 나타낸다.
도 5는 선형 피치 메모리(linear pitched memory)로 구성된 3D 볼륨을 나타낸다.
도 6은 예시적인 병렬화 가능 부호 거리 함수 계산(signed distance function calculation)을 나타낸다.
도 7은 3D 볼륨으로부터 레이캐스팅(raycasting)하기 위한 병렬화 가능 프로세스의 흐름도를 나타낸다.
도 8은 병렬화 가능 3D 모델링 기술들의 실시예들을 구현할 수 있는 예시적인 컴퓨팅 기반 장치를 나타낸다.
동일한 참조 번호들은 첨부 도면에서 동일한 요소들을 지시하는 데 사용된다.

첨부 도면들과 관련하여 아래에 제공되는 상세한 설명은 본 예들을 설명으로서 의도되며, 본 예가 구성 또는 이용될 수 있는 유일한 형태를 나타내도록 의도되지 않는다. 본 설명은 본 예의 기능들 및 본 예를 구성하고 동작시키기 위한 단계들의 시퀀스를 설명한다. 그러나, 동일하거나 균등한 기능들 및 시퀀스들이 다른 예들에 의해 달성될 수 있다.

본 예들은 본 명세서에서 컴퓨터 게이밍 시스템에서 구현되는 것으로 설명되고 도시되지만, 설명되는 시스템은 한정이 아니라 일례로서 제공된다. 당업자들이 이해하는 바와 같이, 본 예들은 3D 모델들을 이용하는 다양한 상이한 타입의 컴퓨팅 시스템들에 적용하기에 적합하다.

도 1은 방 안에 서서 이동 깊이 카메라(102)를 지니고 있는 사람(100)의 개략도이다. 방은 의자, 문, 창문, 식물, 조명등과 같은 다양한 객체들(106), 다른 사람(104) 및 고양이(108)를 포함한다. 객체들(106) 중 다수는 정적이지만, 사람(104) 및 고양이(108)와 같은 객체들 중 일부는 움직일 수 있다. 사람이 방에서 돌아다닐 때, 이동 깊이 카메라는 방 및 객체들의 깊이 이미지들을 캡처한다.

이동 깊이 카메라(102)는 고밀도 3D 환경 모델링 시스템(110)과 통신한다(이 예에서 환경은 방이다). 이 예에서 "고밀도(dense)"는 표면을 함축적으로 기술하기 위해 수신 깊이 맵들로부터의 모든 또는 다수의 포인트를 사용함으로써 생성되는 모델의 고도의 정밀도 및 해상도를 지칭한다. 이것은 계산을 고속화하고 메모리 풋프린트(footprint)를 줄이기 위해 포인트들의 서브세트만을 취하는 "저밀도(sparse)" 모델과 대비될 수 있다. 예를 들어, 이동 깊이 카메라(102)에 의해 캡처되는 이미지들은 사람이 방에서 돌아다닐 때 환경의 고밀도 3D 모델을 형성하고 증대시키는 데 사용된다.

실시간 카메라 추적 시스템(112)은 방 안의 카메라의 위치 및 배향을 모니터링한다. 실시간 카메라 추적 시스템(112)은 이동 깊이 카메라(102)와 통합될 수 있거나, 그가 이동 깊이 카메라(102)로부터 직접 또는 간접적으로 통신을 수신할 수 있는 경우에는 다른 곳에 위치할 수 있다. 예를 들어, 실시간 카메라 추적 시스템(112)은 방 안에 있고 이동 깊이 카메라(102)와 무선 통신하는 개인용 컴퓨터, 전용 컴퓨터 게임 장치 또는 다른 컴퓨팅 장치에 제공될 수 있다. 다른 예들에서, 실시간 카메라 추적 시스템(112)은 임의의 적절한 타입의 통신 네트워크를 이용하여 이동 깊이 카메라(102)와 통신하는 빌딩 내의 다른 곳 또는 다른 원격 위치에 존재할 수 있다.

실시간 카메라 추적 시스템(112)은 개별 깊이 이미지들을 전체 3D 모델 내에 축적하기 위해 고밀도 3D 모델링 시스템에 입력을 제공한다. 실시간 카메라 추적 시스템(112)은 또한 환경의 3D 모델과 관련하여 카메라의 위치를 추적할 수 있다. 카메라 추적 및 3D 모델링의 결합은 동시적 위치결정 및 맵핑(simultaneous localization and mapping; SLAM)으로 알려져 있다. 추가적인 예들에서, 맵핑 및 위치결정은 예를 들어 맵핑과 무관한 카메라 측위(positioning) 기술을 이용함으로써 (즉, SLAM 시스템을 사용하지 않고) 독립적으로 수행될 수도 있다는 점에 유의한다.

실시간 카메라 추적 시스템(112) 및 고밀도 3D 모델링 시스템(110)의 출력들은 필수적은 아니지만 게임 시스템 또는 다른 응용에 의해 사용될 수 있다. 예를 들어, 모델링된 실세계 객체들은 게이밍 환경에 포함될 수 있다. 다른 예에서, 이동 깊이 카메라(102)의 프로젝터는 실시간 카메라 추적 시스템(112) 및 3D 모델링 시스템(110)의 출력에 따라 이미지들을 투영하도록 배열될 수 있다.

추가적인 예로서, 도 2는 빌딩의 한 층(200)의 평면도를 나타낸다. 이동 깊이 카메라(204)를 지닌 사람(202)이 점선 화살표 208로 지시되는 바와 같이 그 층을 돌아다니고 있다. 사람은 복도(206)를 따라 방들 및 가구(210)를 지나간다. 실시간 카메라 추적 시스템(112)은 이동 깊이 카메라(204)가 이동할 때 그의 위치를 추적할 수 있고, 3D 모델링 시스템은 그 층의 3D 모델 또는 맵을 생성한다. 사람(202)이 이동 깊이 카메라(204)를 소지하는 것은 필수적이 아니다. 다른 예들에서, 이동 깊이 카메라(204)는 로봇 또는 차량에 설치된다. 이것은 도 1의 예에도 적용된다.

도 3은 실시간 카메라 추적기(316), 고밀도 모델 형성 시스템(324) 및 옵션인 게임 시스템(332)과 함께 사용하기 위한 이동 환경 캡처 장치(300)의 개략도이다. 이동 환경 캡처 장치(300)는 장면의 깊이 이미지들의 시퀀스들을 캡처하도록 배열되는 깊이 카메라(302)를 포함한다. 각각의 깊이 이미지(314)(또는 깊이 맵 프레임)는 이차원 이미지를 포함하며, 이차원 이미지 내의 각각의 이미지 요소(즉, 픽셀)는 카메라로부터 그 이미지 요소를 생성한 캡처된 장면 내의 객체까지의 길이 또는 거리와 같은 깊이 값을 포함한다. 이 깊이 값은 미터 또는 센티미터와 같은 지정된 측정 단위로 제공되는 절대값일 수 있거나, 상대적 깊이 값일 수 있다. 각각의 캡처된 깊이 이미지(314) 내에는 깊이 값을 각각 갖는 약 300,000개 이상의 이미지 요소가 존재할 수 있다. 깊이 카메라(302)의 프레임 레이트는 깊이 이미지들이 작동하는 로보틱스, 컴퓨터 게임 또는 다른 응용들에 사용될 수 있을 만큼 충분히 높다. 예를 들어, 프레임 레이트는 초당 20 내지 100 프레임의 범위 내에 있을 수 있다.

깊이 정보는 비행 시간(time of flight), 구조화된 광 및 스테레오 이미지들을 포함하지만 이에 한정되지 않는 임의의 적절한 기술들을 이용하여 획득될 수 있다. 이동 환경 캡처 장치(300)는 또한 깊이 카메라(302)에 의해 깊이 정보가 확인될 수 있는 방식으로 장면을 조명하도록 배열되는 발광기(304)를 포함할 수 있다.

예를 들어, 깊이 카메라(302)가 적외선(IR) 비행 시간형 카메라인 경우, 발광기(304)는 장면 위로 IR 광을 방출하며, 깊이 카메라(302)는 장면 내의 하나 이상의 객체의 표면으로부터 후방 산란되는 광을 검출하도록 배열된다. 일부 예들에서는, 펄스화된 적외선 광이 발광기(304)로부터 방출될 수 있으며, 따라서 발신 광 펄스와 대응하는 수신 광 펄스 사이의 시간이 깊이 카메라에 의해 검출될 수 있으며 환경 캡처 장치(300)로부터 장면 내의 객체들 상의 위치까지의 물리적 거리를 결정하는 데 사용될 수 있다. 게다가, 일부 예들에서는, 발광기(304)로부터의 발신 광파의 위상과 깊이 카메라(302)에서의 수신 광파의 위상을 비교하여, 위상 시프트를 결정할 수 있다. 이어서, 위상 시프트는 예를 들어 셔터식 광 펄스 이미징을 포함하는 다양한 기술들을 통해 반사 광빔의 강도를 경시적으로 분석함으로써 이동 환경 캡처 장치(300)로부터 객체들 상의 위치까지의 물리적 거리를 결정하는 데 사용될 수 있다.

다른 예에서, 이동 환경 캡처 장치(300)는 구조화된 광을 이용하여 깊이 정보를 캡처할 수 있다. 그러한 기술에서는, 패턴화된 광(예를 들어, 시간이 지남에 따라 변할 수도 있는 점, 격자 또는 줄무늬 패턴과 같은 공지된 패턴으로서 표시되는 광)이 발광기(304)를 이용하여 스크린 상에 투영될 수 있다. 패턴은 장면 내의 객체들의 표면에 부딪힐 때 변형된다. 그러한 패턴의 변형은 깊이 카메라(302)에 의해 캡처되며, 깊이 카메라(302)로부터 장면 내의 객체들까지의 절대 또는 상대 거리를 결정하기 위해 분석된다.

다른 예에서, 깊이 카메라(302)는 한 쌍의 스테레오 카메라를 포함하며, 따라서 비주얼 스테레오 데이터가 획득되며, 상대 깊이 정보를 생성하기 위해 분석된다. 이 경우, 발광기(304)는 장면을 조명하는 데 사용될 수 있거나, 생략될 수 있다.

일부 예들에서, 깊이 카메라(302)에 더하여, 이동 환경 캡처 장치(300)는 RGB 카메라(306)로 지칭되는 컬러 비디오 카메라를 포함한다. RGB 카메라(306)는 가시광 주파수들에서 장면의 이미지들의 시퀀스들을 캡처하도록 배열된다.

이동 환경 캡처 장치(300)는 관성 측정 유닛(IMU), 가속도계, 자이로스코프, 컴퍼스 또는 다른 배향 또는 운동 센서(308)와 같은 배향 센서(308)를 포함할 수 있다. 그러나, 배향 또는 운동 센서를 사용하는 것은 필수적이 아니다. 이동 환경 캡처 장치(300)는 필수적은 아니지만 GPS와 같은 위치 추적 장치를 포함할 수 있다.

이동 환경 캡처 장치는 필수적은 아니지만 전술한 바와 같은 프로젝터(312)를 포함할 수 있다. 이동 환경 캡처 장치는 아래에 더 상세히 설명되는 바와 같은 하나 이상의 프로세서, 메모리 및 통신 기반구조도 포함한다. 이동 환경 캡처 장치는 사용자의 손에 의해 유지되거나 사용자에 의해 착용될 수 있는 형상 및 크기를 갖는 하우징 내에 제공될 수 있다. 다른 예들에서, 이동 환경 캡처 장치는 차량, 완구 또는 다른 이동 가능 장치에 통합 또는 설치될 수 있는 크기 및 형상을 갖는다.

이동 환경 캡처 장치(300)는 실시간 추적기(316)에 접속된다. 이러한 접속은 물리적 유선 접속일 수 있거나, 무선 통신을 이용할 수 있다. 일부 예들에서, 이동 환경 캡처 장치(300)는 인터넷과 같은 하나 이상의 통신 네트워크를 통해 실시간 추적기(316)에 간접 접속된다.

실시간 추적기(316)는 하나 이상의 그래픽 처리 유닛(GPU)을 제어하는 범용 마이크로프로세서를 이용하여 컴퓨터로 구현된다. 이것은 프레임 정렬 엔진(318) 및 옵션으로서 루프 폐쇄 엔진(320) 및 위치 재결정 엔진(322)을 포함한다. 실시간 추적기(316)는 깊이 카메라(302)로부터의 깊이 이미지 프레임들, 및 또한 옵션으로서 이동 환경 캡처 장치(300)로부터의 입력, 및 옵션인 맵 데이터(334)를 취한다. 실시간 추적기(316)는 깊이 카메라(302)의 6 자유도(6DOF) 자세 추정치들의 실시간 시리즈(328)를 생성하기 위해 깊이 이미지 프레임들을 공간 정렬시키도록 동작한다. 이것은 또한 깊이 이미지 프레임들의 쌍들 사이의 변환을 위한 변환 파라미터들을 생성할 수 있다. 일부 예들에서, 실시간 추적기는 깊이 카메라로부터의 깊이 이미지 프레임들의 쌍들에 대해 작용한다. 다른 예들에서, 실시간 추적기(316)는 단일 깊이 이미지(314)를 취하며, 이것을 다른 깊이 이미지가 아니라 환경의 고밀도 3D 모델(326)과 정렬시킨다.

실시간 추적기(316)는 카메라 자세를 출력으로서 고밀도 3D 모델 생성 시스템(324)에 제공하며, 이 시스템은 이 정보를 깊이 이미지 프레임들과 함께 이용하여, 이동 환경 캡처 장치(300)가 이동하고 있는 장면 또는 환경의 고밀도 3D 모델(326)을 형성하고 저장한다. 이것은 아래의 도 4 내지 6을 참조하여 더 상세히 설명된다. 예를 들어, 도 1의 예에서, 3D 모델은 방 안의 표면들 및 객체들의 3D 모델일 것이다. 도 2의 예에서, 3D 모델은 빌딩의 층의 3D 모델일 것이다. 고밀도 3D 모델은 후술하는 바와 같이 GPU 메모리에 저장될 수 있다. 고밀도 3D 모델은 실시간으로 구성될 수 있거나, 고밀도 3D 모델 생성 시스템(324)은 카메라 자세에 대한 데이터 및 깊이 이미지들을 수집하여, 나중에 3D 모델을 구성할 수 있다.

이동 환경 캡처 장치(300)는 디스플레이 장치(330)에 접속되는 게임 시스템(332)과 연계하여 사용될 수 있다. 예를 들어, 게임은 FPS 게임, 골프 게임, 복싱 게임, 모터카 레이싱 게임 또는 다른 타입의 컴퓨터 게임일 수 있다. 고밀도 3D 모델은 게임 시스템(332)에 제공될 수 있으며, 모델의 양태들은 게임 내에 통합될 수 있다. 예를 들어, 3D 모델은 방 안의 객체들의 형상 및 위치를 결정하는 데 사용될 수 있으며, 이는 카메라 기반 게임들에서 배경 제거를 개선하는 데 사용될 수 있거나, 게임 자체 내에 (예를 들어, 플레이어와 상호작용할 수 있는 게임내 객체들로서) 통합될 수 있다. 게임 상태 또는 게임에 대한 메타데이터와 같은 게임 시스템(332)으로부터의 데이터도 실시간 추적기(316)에 제공될 수 있다.

사용자가 고밀도 3D 모델을 형성하는 것을 돕기 위하여, 고밀도 3D 모델의 실시간 렌더링들의 형태로 사용자에게 피드백이 제공될 수 있다. 이것은 사용자로 하여금 고밀도 모델이 구성될 때 고밀도 모델의 상태를 볼 수 있게 하며, 따라서 사용자가 누락된 영역들을 캡처하는 것을 도울 수 있다. 이것은 사용자에게 더 많은 상호작용 경험을 제공한다. 고밀도 3D 모델로부터의 뷰를 렌더링하기 위한 예시적인 기술이 도 7을 참조하여 아래에 설명된다. 오디오 또는 비주얼 큐들(cues)도 사용자에게 제공되어, 고밀도 3D 모델에서 누락되었거나 낮은 품질을 갖는 영역들로 사용자를 안내할 수 있다.

실시간 추적기(316)는 옵션으로서 맵 데이터(334)를 이용할 수 있다. 예를 들어, 이 맵 데이터는 환경(예로서, 빌딩의 방 또는 층)에 대한 건축가의 도면, 환경 내의 알려진 경계표들의 위치, 다른 소스로부터 이용 가능한 환경의 맵일 수 있다.

실시간 추적기의 프레임 정렬 엔진(318)은 깊이 이미지 프레임들의 쌍들 또는 깊이 이미지 프레임과 고밀도 3D 모델로부터의 깊이 이미지 프레임의 추정치를 정렬하도록 배열된다. 이것은 프레임 정렬 엔진이 실시간으로 동작하기 위해 하나 이상의 그래픽 처리 유닛을 이용하여 구현되는 반복 프로세스를 이용한다. 루프 폐쇄 엔진(320)은 이동 환경 캡처 장치가 루프 내에서 이동하여 현재의 깊이 프레임 내에 표현된 장면이 모델 내에 통합된 이전의 깊이 프레임의 장면과 적어도 부분적으로 오버랩될 때 이를 검출하도록 배열된다. 예를 들어, 이것은 사용자가 도 2의 빌딩의 층 전체를 돌아다니고 다시 시작 포인트에 도착할 때 발생할 수 있다. 이것은 또한 사용자가 소정의 가구 뒤의 방에서 돌아다니고 처음 시작 위치로 다시 나가거나 처음 시작 위치에 다가갈 때 발생할 수 있다. 위치 재결정 엔진(322)은 실시간 추적기가 이동 환경 캡처 장치(300)의 현재 위치를 놓친 상황을 처리하도록 배열되며, 현재 위치를 재결정하거나 재발견한다.

설명되는 바와 같이, 실시간 추적기(316) 및/또는 고밀도 3D 모델 생성 시스템(324)에 의해 수행되는 처리는 일례에서 이동 환경 캡처 장치(300)의 위치로부터 원격적으로 실행될 수 있다. 예를 들어, 이동 환경 캡처 장치(300)는 비교적 낮은 처리 능력을 갖고 깊이 이미지들을 통신 네트워크를 통해 서버로 스트리밍하는 컴퓨팅 장치에 접속될 수 있다(또는 그 컴퓨팅 장치를 포함할 수 있다). 서버는 비교적 높은 처리 능력을 가지며, 실시간 추적기(316) 및/또는 고밀도 3D 모델 생성 시스템(324)의 계산적으로 복잡한 작업들을 수행한다. 서버는 사용자에게 상호작용 경험을 제공하기 위해 프레임별 고밀도 재구성의 렌더링된 이미지를 반환할 수 있으며, 또한 (예를 들어, 게임에서) 후속의 국지적 사용을 위해 모델의 완성시에 최종 고밀도 3D 재구성을 반환할 수 있다. 이러한 배열은 사용자가 고능력의 국지적 컴퓨팅 장치를 소유해야 할 필요가 없게 한다.

추가적인 예에서, 처리는 국지적 컴퓨팅 장치와 원격 컴퓨팅 장치 사이에 분산될 수 있다. 예를 들어, 깊이 이미지들은 전술한 바와 같이 모델의 완성시에 반환되는 고해상도 고밀도 3D 모델을 구성하기 위해 통신 네트워크를 통해 서버로 전송될 수 있다. 이와 동시에, 사용자에 의한 관찰을 위해 모델의 실시간 뷰를 렌더링하는 데 사용되는 더 낮은 처리 능력 및 메모리를 이용하여 모델의 저해상도 버전이 국지적으로 구성된다. 이것은 사용자가 국지적 프로세서로부터의 모델 구성으로부터 비주얼 피드백을 획득할 수 있게 하여 네트워크 지연 문제를 방지할 수 있다.

이제, 3D 환경 모델을 생성하기 위한 병렬화 가능 프로세스의 흐름도를 도시하는 도 4를 참조한다. 일례에서, 도 4의 프로세스는 GPU 프로세서, 멀티코어 프로세서, 또는 고도의 실행 병렬성을 허가하는 다른 타입의 프로세서에서 실행된다. 추가적인 예에서, 충분히 빠르다면 단일 코어 프로세서도 사용될 수 있다. 먼저, 모델을 저장하기 위한 메모리 장치에서 3D 볼륨이 생성된다(400). 일례에서, 3D 볼륨은 GPU로부터의 빠른 병렬 액세스를 가능하게 하는 그래픽 처리 시스템의 메모리에서 생성된다.

3D 볼륨은 메모리의 입방체(cuboid)로서 가시화될 수 있으며, 여기서 각각의 메모리 위치는 모델링되는 환경의 공간 내의 포인트를 표현하는 복셀이다. 따라서, 3D 볼륨은 실세계 환경의 공간 부분을 직접 표현한다. 3D 볼륨이 실세계 볼륨에 직접 대응함에 따라, 고정 크기의 메모리 내에 표현되는 실세계 볼륨의 크기는 모델 해상도를 결정한다. 예를 들어, 큰 실세계 볼륨이 모델링될 경우, 메모리의 각각의 복셀은 실세계 공간 내의 더 큰 영역을 나타내고, 따라서 해상도는 더 작은 실세계 볼륨이 모델링되는 경우보다 낮다. 그러나, 더 많은 메모리가 이용 가능한 경우, 큰 실세계 볼륨은 더 높은 해상도로 모델링될 수 있다. 메모리 풋프린트를 줄이고 공간 해상도를 증가시키기 위해 효율적인 데이터 저장 전략들 및/또는 압축 알고리즘들도 이용될 수 있다.

도 5는 3D 볼륨이 어떻게 GPU 메모리 내에 구성될 수 있는지에 대한 일례를 나타낸다. 도 5는 예시적인 4x4x4 3D 볼륨(500)을 나타낸다. 이것은 설명 예일 뿐이며, 실제의 3D 볼륨들은 더 크거나 더 작을 수 있다. 3D 볼륨은 x축(502), y축(504) 및 z축(506)을 갖는다. x축(502)을 따른 복셀들의 수는 볼륨 폭(508)(이 예에서 4)을 정의하며, y축(504)을 따른 복셀들의 수는 볼륨 높이(510)(또한 이 예에서 4)를 정의한다. 이어서, x, y, z 좌표들을 이용하여 개별 복셀들이 식별될 수 있다. 예를 들어, 복셀(512)은 좌표 (0,3,2)를 갖는다. 3D 볼륨과 그가 표현하는 실세계 볼륨의 크기 사이의 관계가 알려져 있으므로, 3D 볼륨 내의 복셀들은 3D 볼륨 좌표들과 실세계 좌표들 사이에서 그들의 위치를 변환할 수 있다.

그러나, 모델을 저장하는 데 사용되는 물리 메모리 장치는 일반적으로 도 5에 도시된 것과 같은 입방체로서 배열되지 않는다. 대신, 메모리 장치는 일반적으로 메모리 어레이(514)와 같은 메모리 위치들의 선형 어레이를 포함한다. 메모리 어레이 상에 3D 볼륨을 생성하기 위해, 각각의 복셀은 x + (y x 폭) + (z x 폭 x 높이)에 의해 메모리 어레이 인덱스로 맵핑된다. 예를 들어, 좌표 (0,3,2)를 갖는 복셀(512)에 대해, 이것은 도 5에 도시된 바와 같이 44의 인덱스로 변환된다. 이러한 배열은 선형 피치 메모리로 지칭되며, 후술하는 바와 같이 GPU 메모리에 저장된 데이터에 대한 빠른 병렬 액세스를 제공한다. 메모리에 저장된 데이터는, 예를 들어 이러한 경계들과 정렬되도록 데이터를 패딩 아웃(padding out)함으로써 데이터의 저장 어드레스들이 2의 제곱의 폭들로 이격되도록 정렬될 수도 있다. 이것은 일반적인 승산의 사용 없이 데이터에 대한 처리가 수행될 수 있게 하며, 따라서 계산 속도를 더 증가시킨다.

대안 예들에서 모델은 전술한 것과 같은 3D 볼륨과 다른 방식으로 저장될 수 있다는 점에 유의한다. 예를 들어, 메모리 소비를 더 줄이고 계산을 고속화하기 위해 옥트리(octtree)와 같은 데이터 구조들이 사용될 수 있다. 대안으로서, 저장 효율을 증가시키기 위해 3D 공간과 하위 차원 표현 사이에 전달 함수가 적용될 수 있다. 이러한 타입의 전달 함수의 일례는 "기하 이미지들"이라고 한다.

도 4를 다시 참조하면, 메모리 내에 3D 볼륨이 생성되면(400), 이동 환경 캡처 장치(300)로부터 깊이 이미지(314) 및 이 깊이 이미지를 캡처할 때의 깊이 카메라(302)의 6DOF 자세 추정치를 수신함으로써(402) 모델링 프로세스가 시작된다. 6DOF 자세 추정치는 깊이 카메라(302)의 위치 및 배향을 지시하며, 실시간 추적기(316)에 의해 제공될 수 있다. 일례에서, 6DOF 자세 추정치는 실세계 좌표들과 관련하여 깊이 카메라(302)의 회전 및 병진 이동을 기술하는 SE₃ 행렬의 형태일 수 있다. 더 형식적으로, 이러한 변환 행렬은 다음과 같이 표현될 수 있다.

여기서, T_k는 깊이 이미지 프레임 k에 대한 변환 행렬이고, R_k는 프레임 k에 대한 카메라 회전이고, t_k는 프레임 k에서의 카메라 변환이며, 유클리드 그룹

이다. 카메라 공간 내의(즉, 카메라 시각에서의) 좌표들은 이 변환 행렬에 의한 승산에 의해 실세계 좌표들로 맵핑될 수 있으며, 역변환의 적용에 의해 그 반대로 맵핑될 수 있다.

개별 실행 스레드가 3D 볼륨(500)의 평면 내의 각각의 복셀에 할당될 수 있다(404). 예를 들어, 볼륨의 평면이 z 평면인 경우, 실행 스레드는 3D 볼륨의 x 및 y 좌표의 각각의 조합에 할당된다. 도 5의 3D 볼륨을 고려하면, 이것은 16개의 스레드가 (0,0); (1,0); (2,0);...(1,3), (2,3), (3,3)의 x, y 좌표들을 갖는 복셀들에 할당되게 한다.

이어서, 각각의 개별 실행 스레드는 도 4에 박스 406에 의해 지시되는 바와 같이 동일한 동작들을 수행한다. 각각의 스레드에 의해 수행되는 동작들은 도 6에 개략적으로 도시된다. 도 6은 3D 볼륨(500)의 톱-다운 뷰를 나타낸다(즉, x축(502) 및 y축(506)을 나타내며, y축은 명료화를 위해 무시된다). T₁(602), T₂(604),... T_n _-1(606),T_n(608)으로 표시되는 실행 스레드가 볼륨의 z 평면 상의 각각의 좌표에 할당된다. 각각의 스레드에 의해 수행되는 박스 406 내의 동작들은 먼저 T₁(602)을 참조하여 설명된다.

실행 스레드에 대한 z 좌표가 0으로 설정되며(408), 스레드와 관련된 복셀에 대한 x,y,z 좌표들은 실세계 좌표들로 변환된다(410). 예를 들어, 스레드 T₁(602)의 경우, 스레드와 관련된 x,y 좌표는 (0,0)이며, 따라서 z 좌표가 0으로 설정될 때, 이것은 실세계 좌표들로 변환될 수 있는 (0,0,0)의 좌표들(즉, 도 6의 복셀 610)을 제공한다. 복셀(610)에 대한 실세계 좌표들이 결정되면, 이들은 깊이 카메라의 6DOF 위치 및 배향을 이용하여 변환되어, 이 복셀에 대한 깊이 이미지(314) 내의 대응 위치가 결정될 수 있다. 이것은 스레드와 관련된 현재 복셀에 대한 실세계 좌표가 깊이 카메라의 투영을 통해 투시 투영되며, (투영 행렬로 알려진) 카메라의 고유 파라미터들을 고려할 수 있다는 것을 의미한다. 즉, 실세계에서 이 포인트를 나타내는 복셀이 위치 및 배향을 가진 깊이 카메라에 의해 관찰되고 있는 경우, 이것은 그 포인트에 대한 깊이 이미지(314) 내에서의 좌표들이 무엇인지를 결정한다. 복셀에 대한 깊이 카메라-투시 좌표들은 pX, pY, pZ으로 표시된다. 깊이 카메라-투시 좌표들은 u = pX/pZ 및 v = pY/pZ에 의해 (u,v로 표시되는) 깊이 이미지 픽셀 좌표들로 변환될 수 있다.

깊이 카메라(302)의 시각이 도 6에 깊이 카메라(302)의 절두체(frustum; 612)를 지시하는 점선들에 의해 도시되어 있다. 도 6은 또한 깊이 카메라로부터 출력되는 깊이 이미지(314) 내의 표면(614)을 나타낸다.

스레드와 현재 관련된 복셀에 대한 깊이 이미지 좌표들 (u,v)는 복셀이 깊이 카메라의 절두체(61) 내에 위치하는지를 결정(414)하는 데 사용된다. 그렇지 않은 경우, 이 복셀은 스킵(skip)될 수 있다. 도 6을 참조하면, 스레드 T₁의 경우에 현재 복셀(610)은 카메라의 절두체(612) 내에 있다는 점에 유의한다. 이것은 예를 들어 스레드 T_n _-1에 의해 고려되는 최초 복셀과 대비될 수 있는데, 이 복셀은 카메라 절두체(612) 밖에 있고, 따라서 스킵된다.

현재의 복셀이 카메라 절두체(612) 내에 있는 것으로 결정되면, 복셀과, 카메라의 시각에서 복셀에 대응하는 위치에 있는 환경 내의 포인트 사이의 거리에 관한 팩터가 결정된다. 대응하는 위치에 있는 환경 내의 포인트는 (u,v)에 있는 깊이 이미지 내의 깊이 값에 의해 주어질 수 있다. 따라서, 도 6을 참조하면, 이 팩터는 복셀(610)과, 복셀(610) 상에 맵핑되는 깊이 이미지(314) 내의 표면(614) 상의 포인트 사이의 거리(616)를 고려한다.

일례에서, 계산(420)된 팩터는 부호 거리 함수이지만, 임의의 함축적인 표면 표현(예를 들어, 수치 해석 방법들 및 규칙적인 격자 상의 제한된 수의 저장된 포인트들 사이의 보간에 의해 정확한 표면 위치가 결정될 수 있는 표현)이 적용될 수 있다. 부호 거리 함수 계산은 현재의 복셀과 깊이 이미지(314) 내의 대응하는 포인트 사이의 거리의 값을 제공하며, 이 값은 (카메라의 시각에서) 깊이 이미지 내의 대응하는 포인트의 바깥쪽(즉, 외부)의 복셀들에 양의 거리를 제공하고 (카메라의 시각에서) 깊이 이미지 내의 대응하는 포인트의 안쪽(즉, 내부)의 복셀들에 음의 거리를 제공하는 부호를 갖는다. 0의 값은 관련 복셀이 대응하는 포인트와 정확히 일치한다는 것을 나타낸다. 부호 거리 함수는 깊이 이미지 내의 (u,v)에서의 깊이 값 - pZ로부터 쉽게 계산될 수 있다.

예를 들어, 도 6의 복셀(610)은 표면(614) 상의 대응하는 포인트의 앞에 있으며, 따라서 양의 부호의 거리 함수 값을 갖는다. 이와 달리, 도 6의 복셀(618)은 표면(614) 상의 그의 대응하는 포인트의 뒤에 있으며, 따라서 음의 부호의 거리 함수 값을 갖는다.

이어서, 부호 거리 함수 값은 사전 정의된 거리 값으로 정규화된다(422). 일례에서, 이러한 사전 정의된 값은 5cm와 같은 작은 거리이지만, 임의의 적절한 값이 사용될 수 있다. 예를 들어, 정규화는 잡음 레벨 및 재구성되는 객체의 두께에 따라 적응될 수 있다. 이것은 사용자에 의해 수동으로 정의되거나, 데이터 내의 잡음의 분석을 통해 자동으로 도출될 수 있다. 이어서, 정규화된 거리가 (부호 거리가 양인 경우) 양의 임계치보다 큰지 또는 (부호 거리가 음인 경우) 음의 임계치보다 작은지를 결정한다(424). 그러한 경우, 부호 거리 함수 값들은 최대 또는 최소 값들로 절단(truncation)된다(426). 예를 들어, 정규화된 거리가 양의 임계치보다 큰 경우, 값은 +1(정규화 후의 양의 임계치)에서 절단될 수 있고, 정규화된 거리가 음의 임계치보다 작은 경우, 값은 -1(정규화 후의 음의 임계치)에서 절단될 수 있다. 이러한 계산의 결과는 절단된 부호 거리 함수(TSDF)로서 알려져 있다.

예를 들어, 도 6을 참조하면, 복셀(610)은 표면(614) 밖에 비교적 큰 거리에 있으며, 따라서 +1로 절단될 수 있다. 이와 달리, 복셀(618)은 표면(614) 안쪽에 비교적 짧은 거리에 있으며, 따라서 절단되지 않을 수 있고, 그의 정규화된 거리(예를 들어, -0.6)를 유지할 수 있다.

이어서, 정규화된(그리고 적절한 경우에 절단된) 부호 거리 함수 값은 현재의 복셀에 저장된 임의의 이전 값과 결합된다. 이것이 3D 볼륨 내에 통합된 최초의 깊이 이미지인 경우에는 어떠한 이전 값도 존재하지 않는다. 그러나, 깊이 카메라로부터 추가적인 프레임들이 수신되고 통합됨에 따라, 복셀에 값들이 이미 존재할 수 있다.

일례에서, 부호 거리 함수 값은 평균(428)에 의해 이전 값과 결합된다. 이것은 이동하는 객체들을 갖는 환경들의 모델들을 형성하는 것을 도울 수 있는데, 그 이유는 이동한 객체를 추가한 측정이 더 오래되고, 더 새로운 측정들과 평균됨에 따라, 객체로 하여금 시간이 지남에 따라 사라지는 것을 가능하게 하기 때문이다. 예를 들어, 기하급수적으로 감소하는 이동 평균이 사용될 수 있다. 다른 예에서, 평균은 깊이 카메라로부터의 관련 복셀의 거리와 관련된 가중 함수를 사용하는 가중 평균일 수 있다. 이어서, 평균 부호 거리 함수 값들은 현재의 복셀에 저장될 수 있다(430).

대안 예에서는 2개의 값이 각각의 복셀에 저장될 수 있다. 부호 거리 함수 값들의 가중 합이 계산되고 저장될 수 있으며, 또한 가중치들의 합이 계산되고 저장될 수 있다. 이어서, 가중 평균은 (가중 합)/(가중치들의 합)으로서 계산될 수 있다.

이어서, 3D 볼륨의 모든 z 평면들이 이 스레드에 의해 고려되었는지를 결정한다(416). 그렇지 않은 경우, z 좌표가 증가되고, 프로세스는 z 방향의 다음 복셀에 대해 반복된다. 즉, 스레드는 볼륨의 z 방향을 따른 등가 복셀들(즉, 동일한 x, y 좌표를 갖는 복셀들)을 통해 반복하기 시작하여, 절단된 부호 거리 함수 값들을 결정하고, 이들을 이전 값들과 함께 평균한다.

이것은 스레드가 모든 z 평면들을 통해 반복할 때까지 반복된다. 이것은 z 평면 상의 상이한 x, y 좌표에 각각 할당된 각각의 스레드에 의해 수행된다. 이러한 한 번에 하나의 볼륨 평면의 시퀀스는 도 5의 메모리 레이아웃에 대해 양호한 메모리 액세스 효율 특성들을 갖는데, 그 이유는 하나의 z 평면이 선형 피치 어레이의 작은 연속 영역에 대응하기 때문이다. 따라서, 이것이 모든 스레드들에 의해 완료되면, 전체 3D 볼륨이 분석되며, 절단된 부호 거리 함수가 깊이 이미지(314)와 관련된 각각의 복셀에 대해 계산된다. 이어서, 프로세스는 깊이 카메라로부터 다음 깊이 이미지 프레임이 수신되기를 기다리며, 가능한 경우에 3D 볼륨에 더 많은 값들을 다시 추가하기 시작한다.

이러한 프로세스의 결과는 -1과 +1 사이의 평균값을 갖는 복셀들을 포함하는 3D 볼륨이다(그러나, 이러한 평균값은 전술한 "가중 합" 및 "가중치들의 합" 값들과 같은 다수의 값에 의해 표현될 수 있다는 점에 유의한다). 0의 평균값은 환경 내의 표면이 그 위치에 존재한다는 것을 지시한다. 깊이 이미지들의 다수의 프레임이 시간이 지남에 따라 볼륨에 추가되므로, 볼륨 내에 저장된 모델은 점진적으로 점점 더 상세하게 증대된다. 환경의 동일 영역의 반복된 측정들은 더 많은 상세를 더하며, 깊이 카메라에 의해 제공되는 정보의 해상도를 효과적으로 증가시킨다. 더구나, 잡음 또한 깊이 이미지들로부터 효과적으로 평균되어, 훨씬 더 평탄한 표면이 제공된다. 이것은 개별 깊이 이미지로부터 볼 수 없는 상세를 모델에서 볼 수 있게 해준다.

이러한 방식의 개별 실행 스레드들의 사용은 전체 3D 볼륨에 걸쳐 계산적으로 효율적인 처리를 가능하게 한다. 예를 들어, GPU 프로세서들은 각각의 스레드가 동일한 동작들을 수행하는 병렬 프로그램 스레드들을 효율적으로 실행하도록 배열된다. 이것은 도 4를 참조하여 전술한 모델 생성 프로세스가 실시간으로 수행되는 것을 가능하게 하며, 따라서 모델은 깊이 카메라의 프레임 레이트로 구성될 수 있다.

전술한 바와 같이 3D 볼륨 내에 모델이 구성되면, 모델은 다양한 방식으로 이용될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 레이캐스팅 기술을 이용하여, 볼륨에 저장된 모델의 뷰들이 렌더링될 수 있다. 도 7의 흐름도는 3D 볼륨으로부터 레이캐스팅하기 위한 병렬화 가능 프로세스를 나타내며, 이는 전술한 모델 생성 프로세스와 유사한 방식으로 GPU 또는 멀티코어 CPU 상에 실행하기에 적합하다.

모델의 뷰를 렌더링하기 위해, 렌더링될 이미지에 대한 뷰포인트를 정의하는 가상 카메라의 자세가 먼저 수신된다(700). 이 자세는 가상 카메라의 6DOF 위치 및 배향의 형태일 수 있다. 이어서, 개별 실행 스레드가 렌더링될 이미지 내의 각각의 픽셀에 할당된다(702).

이어서, 박스(704) 내에 표시된 동작들이 각각의 실행 스레드에 의해 수행되어, 스레드의 관련 픽셀에 적용될 값(예를 들어, 음영, 컬러 등)이 결정된다. 스레드와 관련된 픽셀에 대한 x 및 y 좌표들이 사전 정의된 초기 z 값과 결합되어 픽셀에 대한 3D 좌표가 제공되며, 가상 카메라의 자세는 픽셀에 대한 이러한 3D x, y, z 좌표를 X, Y, Z로 표시되는 실세계 좌표들로 변환하는 데 사용된다(706). 이어서, 실세계 좌표 X, Y, Z는 3D 볼륨 내의 복셀 좌표들로 변환될 수 있다(708).

이러한 좌표들은 가상 카메라 위치로부터 3D 볼륨을 통해 방출되는 경로를 갖는 픽셀에 대한 레이 상의 포인트를 정의한다. 이어서, 3D 볼륨 내의 어떤 복셀이 이 레이에 의해 최초로 터치되는지를 결정하며(710), 이것은 레이캐스팅에 대한 시작 복셀로서 설정된다. 레이캐스팅 동작은 (시작 복셀로부터) 레이를 따라 이동하며(712), 레이에 의해 터치되는 복셀들의 평균 부호 거리 함수 값들을 판독하여, 각각의 복셀에서 복셀 값들에서의 0점 교차(zero-crossing)(즉, 레이 상의 하나의 복셀과 레이를 따른 다음 복셀에 저장된 평균 부호 거리 함수 값들 사이의 부호 변화)가 발생하였는지를 결정한다(714). 옵션으로서, 이것은 단지 양으로부터 0을 통한 음으로의 부호 변경의 존재를 결정하도록 배열될 수 있다. 이것은 정면으로부터 관찰되는 표면들과 객체의 "안쪽"으로부터 관찰되는 표면들 사이에 구별이 이루어지게 한다.

0점 교차가 검출될 때, 이것은 (전술한 바와 같이) 모델 내의 표면의 존재를 지시한다. 따라서, 이것은 표면이 레이와 교차하는 복셀을 지시한다. 적절한 선형 보간 기술이 레이 상의 복셀들의 부호 거리 함수 값들 사이에 사용될 수 있고, 0점 교차의 어느 한쪽이 0점 교차 및 따라서 0점 교차 표면과의 교점의 위치를 더 정확하게 결정하는 데 사용될 수 있다. 일례에서, 레이를 따른 표면 교점은 0이 발생하는 포인트를 찾기 위해 검출된 0점 교차의 어느 한쪽에 3개의 선에 의해 샘플링된 포인트들이 주어지는 경우에 간단한 선형 보간을 이용하여 계산될 수 있다. 0점 교차가 발생하는 포인트에서, 표면 법선이 계산된다(716). 이것은 이웃 복셀들로부터의 기울기를 이용하여 수행될 수 있다. 이웃 복셀들로부터의 기울기를 더 정확히 결정하고, 따라서 더 정확한 표면 법선을 생성하기 위해 선형 보간도 이용될 수 있다. 일례에서, 표면 법선은 아래와 같이 후방 차분 수치 도함수를 이용하여 계산될 수 있다.

여기서,

는 복셀 x에 대한 법선이고, f(x)는 복셀 x에 대한 부호 거리 함수 값이다. 이 도함수는 잠재적으로 임의적인 복셀 해상도들 및 재구성 차원들이 주어지는 경우에 정확한 등방성을 보증하기 위해 각각의 차원에서 스케일링될 수 있다.

0점 교차가 발생하는 복셀의 좌표들은 실세계 좌표들로 변환되어(718), 모델 내의 표면의 위치의 실세계 좌표들을 제공한다. 표면의 실세계 좌표들 및 그의 표면 법선으로부터 음영 및/또는 컬러가 계산될 수 있다(720). 계산되는 음영 및/또는 컬러는 임의의 적절한 음영 모델에 기초할 수 있으며, 가상 광원의 위치를 고려할 수 있다.

설명되는 바와 같이, 박스(704) 내의 동작들은 각각의 실행 스레드에 의해 병렬로 수행되며, 이는 최종 출력 이미지 내의 각각의 픽셀에 대한 음영 및/또는 컬러를 제공한다. 이어서, 각각의 픽셀에 대해 계산된 데이터가 결합되어, 가상 카메라로부터의 모델의 뷰의 렌더링인 출력 이미지(722)를 제공할 수 있다.

전술한 레이캐스팅 동작의 병렬 특성은 3D 환경의 뷰들이 실시간으로 렌더링되는 것을 가능하게 한다. 모델이 GPU 메모리 내의 3D 볼륨에 저장될 때 GPU 상에서의 레이캐스팅 동작의 실행은 빠르고 계산 효율적이다.

레이캐스팅 동작은 또한 빈 공간 스킵 알고리즘을 이용함으로써 더 향상될 수 있다. 각각의 레이는 그의 경로를 따라 수백 개의 복셀을 터치할 수 있으므로, 빈 복셀들(즉, 모델에 관한 어떠한 정보도 포함하지 않는 복셀들)을 분석함으로써 계산 자원들을 낭비하는 것을 피하는 것이 유리하다. 일례에서, 레이를 따른 모든 단일 복셀의 분석을 피하기 위해, 복셀에서의 값이 사전 정의된 값보다 큰 경우, 레이를 따른 둘 이상의 복셀이 스킵된다. 스킵되는 복셀들의 수 및 사전 정의된 값은 이러한 파라미터들이 공간 스킵으로 인해 0점 교차가 누락되지 않는 것을 보증하기 위해 전술한 (정규화를 제어하는) 사전 정의된 거리 값의 지식을 이용하여 선택되는 경우에 효율 대 레이캐스트 정확도의 균형을 맞추도록 정의될 수 있다.

다른 예에서는 N항(N-ary) 트리, 예로서 옥트리와 같은 다중 레벨 데이터 구조를 이용함으로써 공간 스킵이 수행될 수 있다. 여기서, 3D 볼륨보다 낮은 해상도를 갖는, 주 3D 볼륨으로부터의 적어도 하나의 추가적인 볼륨이 생성된다. 레이를 따라 어느 곳에 빈 공간이 존재하는지를 결정하기 위해 먼저 저해상도 볼륨이 분석될 수 있으며, 주 3D 볼륨은 비어 있지 않은 복셀들을 통과하는 레이의 부분들에 대해 분석될 수 있다.

추가적인 예들에서, 3D 볼륨에 저장된 모델은 환경의 다각형 메시(mesh) 표현을 추출하는 데 사용될 수 있다. 이것은 예를 들어 마칭 큐브 알고리즘(marching cubes algorithm), 마칭 테트라헤드론 알고리즘(marching tetrahedrons algorithm), 블룸멘탈 폴리고나이저(Bloomenthal Polygonizer), 또는 모델의 부분들을 표현하는 다각형들을 선택하기 위한 임의의 다른 적절한 알고리즘을 이용하여 달성될 수 있다. 모델의 다각형 표현은 일정한 "방수(water-tight)" 표면을 이용하는 물리 기반 응용들 또는 다른 응용들에 유용할 수 있다.

다각형 메시는 일부 예들에서 모델을 표현하는 더 저장 효율적인 방법일 수 있지만, 깊이 카메라로부터의 새로운 측정치들로 쉽게 갱신되지 못한다. 따라서, 다각형 메시는 깊이 카메라로부터 3D 볼륨 내에 모델이 생성된 후에 모델을 효율적으로 저장하는 데 사용될 수 있다. 예를 들어, 다각형 메시는 GPU 메모리가 아니라 CPU 메모리와 같은 저장 장치에 또는 디스크 상에 저장될 수 있다. 일부 예들에서, 모델들은 구성 후에 다각형 메시 형태로 "캐시될(cached)" 수 있으며, 필요에 따라 부호 거리 함수 형태로 다시 변환될 수 있다. 예를 들어, 다각형 메시들은 3D 볼륨 메모리 내에 맞춰질 수 있는 더 큰 실세계 영역을 커버하는 큰 모델들을 구성하는 데 사용될 수 있다. 소정의 실세계 영역에 대해 3D 볼륨 내에 모델이 완성될 때, 모델은 다각형 메시 형태로 기록될 수 있으며, 3D 볼륨은 다각형 메시에 옵션으로서 후속 추가될 수 있는 새로운 실세계 영역을 모델링하기 위해 소거될 수 있다. 일부 예들에서, 전술한 레이캐스팅 동작은 3D 볼륨이 아니라 다각형 메시로부터 수행될 수 있다. 추가적인 예들에서, 표준 그래픽 렌더링 래스터 변환 파이프라인과 같은 대안 기술을 이용하여 다각형 메시로부터 모델의 뷰가 생성될 수 있다.

다각형 메시로서 저장된 "캐시된(cached)" 모델은 또한 볼륨에 저장되는 3D 모델로 변환될 수 있다. 예를 들어, 저장된 캐시된 메시 모델은 "시드(seed)"로서 3D 볼륨에 다시 기록될 수 있으며, 이 시드에는 모델의 정확도 및 상세를 더 향상시키기 위해 추가적인 깊이 이미지들이 추가될 수 있다.

일부 예들에서는 임의의 함축적인 표면 표현((예를 들어, 수치 해석 방법들 및 규칙적인 격자 상의 제한된 수의 저장된 포인트들 사이의 보간에 의해 정확한 표면 위치가 결정될 수 있는 표현)이 적용될 수 있다는 점에 유의한다.

이제, 도 8이 참조되며, 도 8은 임의 형태의 컴퓨팅 및/또는 전자 장치로서 구현될 수 있으며 전술한 3D 환경 모델링 기술들의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 기반 장치(800)의 다양한 컴포넌트들을 나타낸다.

컴퓨터 기반 장치(800)는 3D 재구성을 수행하기 위해 장치의 동작을 제어하기 위한 컴퓨팅 실행 가능 명령어들을 처리하기 위한 마이크로프로세서, 제어기 또는 임의의 다른 적절한 타입의 프로세서일 수 있는 하나 이상의 프로세서(802)를 포함한다. 예를 들어, 시스템 온 칩 아키텍처가 사용되는 일부 예들에서, 프로세서들(802)은 (소프트웨어 또는 펌웨어가 아니라) 하드웨어로 모델링 방법들의 일부를 구현하는 하나 이상의 고정 기능 블록(가속기라고도 함)을 포함할 수 있다.

컴퓨팅 기반 장치(800)는 또한 통신 인터페이스(806)를 통해 프로세서들(802)과 통신하고, 빠르고 효율적인 방식으로 병렬 스레드 동작들을 실행하도록 배열된 하나 이상의 그래픽 처리 유닛(808)을 포함하는 그래픽 처리 시스템(804)도 포함한다. 그래픽 처리 시스템(804)은 그래픽 처리 유닛들(808)로부터의 빠른 병렬 액세스를 가능하게 하도록 배열된 메모리 장치(810)도 포함한다. 예들에서, 메모리 장치(810)는 3D 볼륨을 저장할 수 있으며, 그래픽 처리 유닛들(808)은 전술한 모델 생성 및 레이캐스팅 동작들을 수행할 수 있다.

컴퓨팅 기반 장치(800)는 (깊이 카메라를 포함하는) 이동 환경 캡처 장치와 같은 하나 이상의 장치로부터 입력을 수신하도록 배열된 입출력 인터페이스, 및 옵션으로서 하나 이상의 사용자 입력 장치(예로서, 게임 제어기, 마우스 및/또는 키보드)도 포함한다. 입출력 인터페이스(812)는 하나 이상의 통신 네트워크(예로서, 인터넷)와 통신하도록 배열될 수 있는 통신 인터페이스로도 동작할 수 있다.

디스플레이 인터페이스(814)도 제공되며, 컴퓨팅 기반 장치와 통합되거나 그와 통신하는 디스플레이 시스템에 출력을 제공하도록 배열된다. 디스플레이 시스템은 그래픽 사용자 인터페이스, 또는 필수적은 아니지만 임의의 적절한 타입의 다른 사용자 인터페이스를 제공할 수 있다.

컴퓨터 실행 가능 명령어들은 컴퓨팅 기반 장치(800)에 의해 액세스될 수 있는 임의의 컴퓨터 판독 가능 매체들을 이용하여 제공될 수 있다. 컴퓨터 판독 가능 매체들은 예를 들어 메모리(816)와 같은 컴퓨터 저장 매체들, 및 통신 매체들을 포함할 수 있다. 메모리(816)와 같은 컴퓨터 저장 매체들은 컴퓨터 판독 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체들을 포함한다. 컴퓨터 저장 매체들은 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 컴퓨팅 장치에 의해 액세스하기 위한 정보를 저장하는 데 사용될 수 있는 임의의 다른 비전송 매체를 포함하지만 이에 한정되지 않는다. 이와 달리, 통신 매체들은 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호 내에 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 구현할 수 있다. 본 명세서에서 정의되는 바와 같이, 컴퓨터 저장 매체들은 통신 매체를 포함하지 않는다. 컴퓨터 저장 매체들(메모리 816)은 컴퓨팅 기반 장치(800) 내에 도시되지만, 저장 장치는 분산되거나 원격적으로 배치될 수 있으며 네트워크 또는 다른 통신 링크를 통해(예를 들어, 입출력 인터페이스(812)를 이용하여) 액세스될 수 있다.

운영 체제(818)를 포함하는 플랫폼 소프트웨어 또는 임의의 다른 적절한 플랫폼 소프트웨어가 컴퓨팅 기반 장치에 제공되어, 장치 상에서 애플리케이션 소프트웨어(802)가 실행되는 것을 가능하게 할 수 있다. 메모리(816)는 (예를 들어, 도 4와 관련하여 설명된 프로세서를 이용하여 3D 모델 내의 모델을 형성하도록 배열되는) 고밀도 모델 통합 엔진(822), (예를 들어, 도 7의 레이캐스팅 프로세스를 이용하여 모델의 렌더링된 이미지를 출력하도록 배열되는) 고밀도 모델 가시화 엔진(824), 및 (예를 들어, 다각형 메시를 구성하기 위해 모델로부터 데이터를 획득하도록 배열되는) 고밀도 모델 조회 엔진(826)의 기능을 구현하기 위한 실행 가능 명령어들을 저장할 수 있다. 메모리(816)는 또한 예를 들어 다각형 메시를 저장하기 위해 3D 모델링 기술들을 수행할 때 프로세서들(802)에 의해 사용되는 데이터에 대한 저장을 제공하는 데 사용될 수 있는 데이터 저장소(830)를 제공할 수 있다.

'컴퓨터(computer)'라는 용어는 본 명세서에서 명령어들을 실행할 수 있도록 처리 능력을 갖는 임의의 장치를 지칭하는 데 사용된다. 당업자들은 그러한 처리 능력들이 많은 상이한 장치들로 통합되며 그 결과 '컴퓨터(computer)'라는 용어는 PC, 서버, 이동 전화, 개인용 휴대 단말기 및 많은 다른 장치를 포함한다는 것을 인식할 것이다.

본 명세서에서 설명되는 방법들은 유형의 저장 매체 상의 기계 판독 가능 형태의 소프트웨어에 의해, 예를 들어 프로그램이 컴퓨터 상에서 실행될 때 그리고 컴퓨터 프로그램이 컴퓨터 판독 가능 매체 상에 구현될 수 있는 경우에 본 명세서에서 설명되는 임의의 방법의 모든 단계를 수행하도록 적응되는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램의 형태의 소프트웨어에 의해 수행될 수 있다. 유형의(또는 비일시적인) 저장 매체들의 예들은 디스크, 썸(thumb) 드라이브, 메모리 등을 포함하며, 전파 신호들을 포함하지 않는다. 소프트웨어는 병렬 프로세서 또는 직렬 프로세서에서 실행하기에 적합할 수 있으며, 따라서 방법 단계들은 임의의 적절한 순서로 또는 동시에 수행될 수 있다.

이것은 소프트웨어가 귀중한, 개별적으로 거래 가능한 물품일 수 있음을 확인한다. 이것은 원하는 기능들을 수행하기 위해 "덤(dumb") 또는 독립 하드웨어 상에서 실행되거나 그를 제어하는 소프트웨어를 포함하는 것을 의도한다. 또한, 이것은 원하는 기능들을 수행하기 위해 실리콘 칩을 설계하거나 유니버설 프로그래밍 가능 칩을 구성하는 데 사용되는 바와 같은 하드웨어 기술 언어(HDL) 소프트웨어와 같이 하드웨어의 구성을 "기술"하거나 정의하는 소프트웨어를 포함하는 것을 의도한다.

당업자들은 프로그램 명령어들을 저장하는 데 사용되는 저장 장치들이 네트워크에 걸쳐 분산될 수 있다는 것을 알 것이다. 예를 들어, 원격 컴퓨터는 설명되는 프로세스의 일례를 소프트웨어로서 저장할 수 있다. 국지적 또는 단말 컴퓨터는 원격 컴퓨터에 액세스할 수 있고, 프로그램을 실행하기 위해 소프트웨어의 일부 또는 전부를 다운로드할 수 있다. 대안으로서, 국지적 컴퓨터는 필요에 따라 소프트웨어의 부분들을 다운로드하거나, 국지적 단말기에서 일부 소프트웨어 명령어들을 그리고 원격 컴퓨터(또는 컴퓨터 네트워크)에서 일부 소프트웨어 명령어들을 실행할 수 있다. 당업자들은 또한 당업자들에게 공지된 전통적인 기술들을 이용함으로써 소프트웨어 명령어들의 전부 또는 일부가 DSP, 프로그래밍 가능 논리 어레이 등과 같은 전용 회로에 의해 수행될 수 있다는 것을 알 것이다.

본 명세서에서 주어지는 임의의 범위 또는 장치 값은 당업자에게 명백하듯이 추구하는 효과의 손실 없이 확장 또는 변경될 수 있다.

전술한 이익들 및 장점들은 하나의 실시예와 관련될 수 있거나 여러 실시예와 관련될 수 있다는 것을 이해할 것이다. 실시예들은 언급된 임의의 또는 모든 문제를 해결하는 것들 또는 언급된 임의의 또는 모든 이익 및 장점을 갖는 것들로 한정되지 않는다. '하나의(an)' 아이템에 대한 참조는 그러한 하나 이상의 아이템을 참조한다는 것을 더 이해할 것이다.

본 명세서에서 설명되는 방법들의 단계들은 임의의 적절한 순서로, 또는 적절한 경우에는 동시에 수행될 수 있다. 게다가, 개별 블록들은 본 명세서에서 설명되는 본 발명의 사상 및 범위로부터 벗어나지 않으면서 임의의 방법으로부터 제거될 수 있다. 전술한 임의의 예들의 양태들은 추구하는 효과의 손실 없이 추가적인 예들을 형성하기 위해 설명된 임의의 다른 예들의 양태들과 결합될 수 있다.

'포함하는(comprising)'이라는 용어는 본 명세서에서 식별되는 방법 블록들 또는 요소들을 포함하지만, 그러한 블록들 또는 요소들은 배타 리스트를 포함하지 않으며, 방법 또는 장치는 추가적인 블록 또는 요소를 포함할 수 있다는 것을 의미하는 데 사용된다.

바람직한 실시예에 대한 위의 설명은 단지 예시적으로 제공되며 당업자들에 의해 다양한 변경들이 이루어질 수 있다는 것을 이해할 것이다. 위의 명세서, 예들 및 데이터는 본 발명의 실시예들의 구조 및 이용에 대한 완전한 설명을 제공한다. 본 발명의 다양한 실시예들이 어느 정도 상세하게 또는 하나 이상의 개별 실시예를 참조하여 위에서 설명되었지만, 당업자들은 본 발명의 사상 또는 범위로부터 벗어나지 않으면서 개시된 실시예들에 대해 많은 변경들을 행할 수 있다.

Claims

컴퓨터로 구현되는 실세계 환경의 3D 모델을 생성하는 방법에 있어서,
메모리 장치 내에, 모델을 저장하기 위해 삼차원 볼륨(volume) - 상기 삼차원 볼륨은 복수의 복셀(voxel)들을 포함함 - 을 생성하는 단계;
캡처 장치의 위치 및 배향을 기술하는 데이터 및 상기 캡처 장치로부터 출력되는 상기 환경의 적어도 일부분의 깊이 이미지 - 상기 깊이 이미지는 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들의 각각은 상기 캡처 장치로부터 상기 환경 내의 포인트까지의 거리를 나타냄 - 를 수신하는 단계;
상기 볼륨의 평면 내 각각의 복셀에 대해 개별적인 실행 스레드(thread)를 할당(assign)하는 단계;
각각의 실행 스레드가, 상기 캡처 장치의 위치 및 배향을 이용하여 자신과 연관된 복셀에 대해 깊이 이미지 내의 대응하는 위치를 결정하고, 상기 대응하는 위치에 있는 상기 환경 내의 상기 포인트와 상기 연관된 복셀 사이의 거리와 관련된 계수(factor)를 결정하며, 상기 계수를 이용하여 상기 연관된 복셀에 저장된 값을 갱신하는 단계; 및
각각의 실행 스레드가, 상기 볼륨의 나머지 각각의 평면 내의 등가적인 복셀에 대해 되풀이하여, 상기 계수를 결정하는 단계 및 각각의 복셀에 대한 상기 저장된 값을 갱신하는 단계를 반복하는 단계
를 포함하고,
상기 계수를 결정하는 단계는, 상기 연관된 복셀이 상기 포인트의 제1 측에 위치하는 경우에 상기 계수는 양의 값을 갖고, 상기 연관된 복셀이 상기 포인트의 반대 측에 위치하는 경우에 상기 계수는 음의 값을 갖도록, 상기 대응하는 위치에 있는 상기 환경 내의 상기 포인트와 상기 연관된 복셀 사이의 부호화 거리 함수(signed distance function)를 계산하는 단계를 포함하고,
상기 계수를 결정하는 단계는, 상기 계수가 미리 정의된 양의 임계치보다 큰지 여부를 결정하고, 만약 상기 양의 임계치보다 큰 경우, 상기 계수를 상기 양의 임계치로 절단(truncating)하는 단계; 및 상기 계수가 미리 정의된 음의 임계치보다 작은지 여부를 결정하고, 만약 상기 음의 임계치보다 작은 경우, 상기 계수를 상기 음의 임계치로 절단하는 단계를 더 포함하는 것인,
컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제1항에 있어서,
상기 계수를 결정하는 단계 전에, 상기 대응하는 위치가 상기 캡처 장치의 절두체(frustum) 내에 있는지 여부를 결정하는 단계
를 더 포함하는 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제1항에 있어서,
상기 볼륨은 선형 피치 메모리(linear pitched memory)로서 상기 메모리 장치 상에서 생성되는 것인, 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제1항에 있어서,
상기 캡처 장치의 위치 및 배향을 이용하여 실행 스레드와 연관된 복셀에 대해 상기 깊이 이미지 내의 대응하는 위치를 결정하는 단계는,
실세계 좌표들 내에서 상기 복셀의 위치를 결정하는 단계; 및
상기 위치 및 배향을 이용하여 상기 캡처 장치의 투영을 통해 상기 실세계 좌표들을 투영하여 상기 연관된 복셀에 대해 상기 깊이 이미지 내의 대응하는 좌표들을 결정하는 단계
를 포함하는 것인, 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제1항에 있어서,
광선 투사(ray-casting)를 이용하여 디스플레이 장치 상에 디스플레이할 상기 모델의 이미지를 생성하는 단계
를 더 포함하는 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제5항에 있어서,
상기 모델의 이미지를 생성하는 단계는,
가상 카메라에 대한 자세 데이터(pose data)를 수신하는 단계;
각각의 이미지 픽셀에 대해 실행 스레드를 할당하는 단계;
각각의 이미지 픽셀 실행 스레드가, 상기 가상 카메라로부터 연관된 픽셀을 통해 방출되는 광선의 경로를 결정하고, 상기 경로를 상기 볼륨 내의 좌표들로 변환하며, 표면에서 복셀이 검출될 때까지 상기 경로를 따라 상기 볼륨을 통해 이동하고, 상기 복셀에 저장된 값을 이용하여 상기 연관된 픽셀에 대해 음영(shade)을 계산하는 단계
를 포함하는 것인, 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제1항에 있어서,
상기 모델로부터 다각형 메시(polygon mesh)를 생성하는 단계와, 상기 다각형 메시를 저장 장치에 저장하는 단계
를 더 포함하는 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제7항에 있어서,
상기 모델로부터 다각형 메시를 생성하는 단계는, 마칭 큐브 알고리즘(marching cubes algorithm)을 이용하여 상기 모델의 부분들을 나타내는 다각형들을 선택하는 단계를 포함하는 것인, 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제1항에 있어서,
상기 계수를 이용하여 상기 연관된 복셀에 저장된 값을 갱신하는 단계는 상기 연관된 복셀에 저장된 이전 값에 상기 계수를 합산하는 단계를 포함하는 것인, 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제9항에 있어서,
상기 연관된 복셀의 상기 캡처 장치로부터의 거리와 관련된 가중 함수 및 상기 저장된 값을 이용하여 가중 평균을 결정하는 단계
를 더 포함하는 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
삭제
삭제
제1항에 있어서,
상기 양의 임계치는 +1이며, 상기 음의 임계치는 -1인 것인, 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제1항에 있어서,
상기 계수는 상기 연관된 복셀이 상기 환경 내의 상기 포인트와 일치(coincident)할 때 제로의 값을 갖는 것인, 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
제1항에 있어서,
상기 캡처 장치의 위치 및 배향을 기술하는 데이터는, 실세계 좌표들에 대한 상기 캡처 장치의 6 자유도(six degree-of-freedom) 자세를 포함하며, 상기 깊이 이미지를 이전에 수신된 깊이 이미지에 정렬하는 변환에 의해 결정되는 것인, 컴퓨터로 구현되는 실세계 환경의 3D 모델 생성 방법.
실세계 환경의 3D 모델을 생성하기 위한 그래픽 처리 시스템에 있어서,
캡처 장치의 위치 및 배향을 기술하는 데이터 및 상기 캡처 장치로부터 출력되는 상기 환경의 적어도 일부분의 깊이 이미지 - 상기 깊이 이미지는 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들의 각각은 상기 캡처 장치로부터 상기 환경 내의 포인트까지의 거리를 나타냄 - 를 수신하도록 배열된 통신 인터페이스;
복수의 스레드들의 동시(concurrent) 실행을 제공하도록 배열된 그래픽 처리 유닛; 및
메모리 장치
를 포함하고,
상기 그래픽 처리 유닛은,
상기 메모리 장치 내에, 상기 모델을 저장하기 위해 삼차원 볼륨 - 상기 삼차원 볼륨은 복수의 복셀들을 포함함 - 을 생성하고;
상기 볼륨의 평면 내 각각의 복셀에 대해 개별적인 스레드를 할당하고;
각각의 실행 스레드에 대해, 상기 캡처 장치의 위치 및 배향을 이용하여 상기 실행 스레드와 연관된 복셀에 대해 상기 깊이 이미지 내의 대응하는 위치를 결정하고, 상기 대응하는 위치에 있는 상기 환경 내의 상기 포인트와 상기 연관된 복셀 사이의 거리와 관련된 계수를 결정하고, 상기 계수를 이용하여 상기 연관된 복셀에 저장된 값을 갱신하며, 상기 볼륨의 나머지 각각의 평면 내의 등가적인 복셀에 대해 되풀이하여, 상기 계수의 결정 및 각각의 복셀에 대한 상기 저장된 값의 갱신을 반복하도록 배열되고,
상기 그래픽 처리 유닛이 상기 계수를 결정하도록 배열되는 것은, 상기 연관된 복셀이 상기 포인트의 제1 측에 위치하는 경우에 상기 계수는 양의 값을 갖고, 상기 연관된 복셀이 상기 포인트의 반대 측에 위치하는 경우에 상기 계수는 음의 값을 갖도록, 상기 대응하는 위치에 있는 상기 환경 내의 상기 포인트와 상기 연관된 복셀 사이의 부호화 거리 함수를 계산하도록 상기 그래픽 처리 유닛이 배열되는 것을 포함하고,
상기 그래픽 처리 유닛이 상기 계수를 결정하도록 배열되는 것은, 상기 계수가 미리 정의된 양의 임계치보다 큰지 여부를 결정하고, 만약 상기 양의 임계치보다 큰 경우, 상기 계수를 상기 양의 임계치로 절단하고; 상기 계수가 미리 정의된 음의 임계치보다 작은지 여부를 결정하고, 만약 상기 음의 임계치보다 작은 경우, 상기 계수를 상기 음의 임계치로 절단하도록 상기 그래픽 처리 유닛이 배열되는 것을 더 포함하는 것인,
실세계 환경의 3D 모델을 생성하기 위한 그래픽 처리 시스템.
제16항에 있어서,
상기 캡처 장치는 프레임율로 복수의 깊이 이미지들을 제공하는 비디오 카메라이며,
상기 그래픽 처리 유닛은 또한, 상기 프레임율로 상기 볼륨 내의 각각의 복셀의 상기 저장된 값을 반복적으로 갱신하도록 배열된 것인, 실세계 환경의 3D 모델을 생성하기 위한 그래픽 처리 시스템.
제16항에 있어서,
상기 캡처 장치는 깊이 카메라를 포함한 것인, 실세계 환경의 3D 모델을 생성하기 위한 그래픽 처리 시스템.
제18항에 있어서,
상기 깊이 카메라는 구조광(structured light) 방출기; TOF(time-of-flight) 카메라; 및 스테레오 카메라 중 적어도 하나를 포함한 것인, 실세계 환경의 3D 모델을 생성하기 위한 그래픽 처리 시스템.
하드웨어이고, 장치로 실행가능한 명령어들을 갖는 하나 이상의 컴퓨터 저장 매체로서, 상기 장치로 실행가능한 명령어들은, 그래픽 처리 유닛에 의해 실행될 때, 상기 그래픽 처리 유닛에게 단계들을 수행할 것을 지시하며, 상기 단계들은,
메모리 장치 내에, 실세계 환경의 3D 모델을 저장하기 위해 삼차원 볼륨 - 상기 삼차원 볼륨은 복수의 복셀들을 포함함 - 을 생성하는 단계;
깊이 카메라의 6 자유도 자세를 기술하는 데이터 및 상기 깊이 카메라로부터 출력되는 상기 환경의 적어도 일부분의 깊이 이미지 - 상기 깊이 이미지는 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들의 각각은 상기 깊이 카메라로부터 상기 환경 내의 포인트까지의 거리를 나타냄 - 를 수신하는 단계;
상기 볼륨의 평면 내 각각의 복셀에 대해 개별적인 실행 스레드를 할당하는 단계; 및
상기 그래픽 처리 유닛 상에서 각각의 실행 스레드를 동시에 실행하는 단계
를 포함하고,
각각의 실행 스레드는,
상기 깊이 카메라의 자세를 이용하여 상기 실행 스레드와 연관된 복셀에 대해 상기 깊이 이미지 내의 대응하는 좌표들을 결정하는 단계;
상기 깊이 이미지의 상기 대응하는 좌표들에 있는 상기 환경 내의 상기 포인트와 상기 연관된 복셀 사이의 거리로부터 절단형 부호화 거리 함수를 계산하는 단계;
상기 절단형 부호화 거리 함수의 출력을 이용하여 상기 연관된 복셀에 저장된 값을 갱신하는 단계; 및
상기 볼륨의 나머지 각각의 평면 내의 등가적인 복셀에 대해 되풀이하여, 상기 절단형 부호화 거리 함수를 계산하는 단계 및 각각의 등가적인 복셀에 대한 상기 저장된 값을 갱신하는 단계를 반복하는 단계
를 포함하는 단계들을 수행하고,
상기 절단형 부호화 거리 함수를 계산하는 단계는,
상기 연관된 복셀이 상기 포인트의 제1 측에 위치하는 경우에 부호화 거리 함수(signed distance function)의 출력은 양의 값을 갖고, 상기 연관된 복셀이 상기 포인트의 반대 측에 위치하는 경우에 상기 부호화 거리 함수의 출력은 음의 값을 갖도록, 상기 깊이 이미지의 상기 대응하는 좌표들에 있는 상기 환경 내의 상기 포인트와 상기 연관된 복셀 사이의 거리로부터 상기 부호화 거리 함수를 계산하는 단계;
상기 부호화 거리 함수의 출력이 미리 정의된 양의 임계치보다 큰지 여부를 결정하고, 만약 상기 양의 임계치보다 큰 경우, 상기 부호화 거리 함수의 출력을 상기 양의 임계치로 절단하는 단계;
상기 부호화 거리 함수의 출력이 미리 정의된 음의 임계치보다 작은지 여부를 결정하고, 만약 상기 음의 임계치보다 작은 경우, 상기 부호화 거리 함수의 출력을 상기 음의 임계치로 절단하는 단계
를 포함하는 것인,
하나 이상의 컴퓨터 저장 매체.