KR20140000315A - 깊이 맵을 이용하는 모바일 카메라 로컬라이제이션 - Google Patents

Abstract

로보틱스, 몰입 게임, 증강 현실 및 그 외 다른 애플리케이션를 위한 깊이 맵을 사용하는 모바일 카메라 로컬라이제이션이 기술된다. 일 실시예에서, 모바일 깊이 카메라는 감지된 깊이 데이터를 사용하여 환경의 3D 모델이 형성되는 때와 동일한 때에 환경 내에서 추적된다. 일 실시예에서, 카메라 추적인 실패할 때, 이것은 검출되고 카메라는 이전에 수집된 키프레임 또는 그 외 다른 방식 중 어느 하나를 사용하여 리로컬라이징된다. 일 실시예에서, 모바일 카메라가 한 위치를 재방문하는 루프 클로저가, 실시간으로 3D 모델과 현재 깊이 맵의 특징을 비교함으로써, 검출된다. 실시예들에서 검출된 루프 클로저는 환경의 3D 모델의 일관성 및 정확성을 향상시키기 위하여 사용된다.

Description

깊이 맵을 이용하는 모바일 카메라 로컬라이제이션{MOBILE CAMERA LOCALIZATION USING DEPTH MAPS}

모바일 카메라 로컬라이제이션(localization)은 자신의 환경 내에서 이동하는 카메라의 위치와 방향을 발견하는 것을 포함하고, 로보틱스(robotics), 몰입 게임(immersive gaming), 증강 현실(augmented reality), 아키텍처, 플래닝, 엔지니어링 프로토타이핑, 차량 내비게이션, 의학적 응용 및 그 외 다른 문제 영역들과 같은 많은 애플리케이션에서 유용하다. 기존의 접근법들은 정확도, 견고성(rubustness) 및 속도에 있어서 제한된다. 많은 애플리케이션에서, 예컨대 로봇이 자신의 환경 안에서 성공적으로 움직일 수 있도록 하기 위하여, 정확한 카메라 로컬라이제이션이 실시간으로 요구된다.

모바일 카메라 로컬라이제이션에 대한 많은 종래의 접근법들은 깊이 카메라(depth camera)가 아니라 컬러 비디오 카메라를 사용하였다. 통상적으로 컬러 비디오 카메라는 높은 해상도와 정확도를 제공하며 풍부한 컬러 정보는 비디오 이미지 내에서 시각적인 특징들이 검출될 수 있도록 한다. 깊이 카메라로부터 이용가능한 정보는 환경의 종류와 사용된 깊이 카메라의 종류에 따라 잡음이 많고 부정확할 수 있다. 깊이 카메라는 본 명세서에서 깊이 맵(depth map)이라고 지칭되는 이미지를 캡쳐하는데, 이 이미지에서 각각의 픽셀은 깊이 카메라로부터 이 카메라의 환경 내에서 하나의 포인트에까지 이르는 절대적인 또는 상대적인 거리와 관련된다. 이용가능한 정보의 차이 때문에 컬러 이미지와 비교할 때 깊이 맵에서 특징들을 검출하는 것이 더 어려울 수 있다.

모바일 카메라 로컬라이제이션에 대한 몇몇 종래의 접근법들은 모바일 카메라의 환경에 대한 맵을 생성하는 것과 동시에 이 맵에 관련하여 카메라의 위치 및 방향을 추적하는 것을 포함하고 있다. 이것은 SLAM(simultaneous localization and mapping)이라고 알려져 있다.

아래에서 기술되는 실시예들은 종래의 모바일 카메라 로컬라이제이션 시스템의 단점들 중 임의의 것 또는 모든 것을 해결하는 구현예들에 국한되지 않는다.

아래는 독자에게 기초적인 이해를 제공하기 위하여 발명의 상세한 설명의 단순화된 요약을 제공한다. 이 요약은 발명의 상세한 설명에 대한 충분한 개요가 아니며 또한 발명의 필수의/중요한 요소들을 식별하지도 않으며 발명의 범위를 상세히 묘사하지 않는다. 이 요약의 유일한 목적은 이후에 설명될 더 상세한 설명에 대한 전제부로서 단순화된 형태로 본 명세서에 개시된 개념들을 제공하려는 것이다.

깊이 맵을 이용하는 모바일 카메라 로컬라이제이션은 로보틱스, 몰입 게임, 증강 현실 및 그 외 다른 애플리케이션에 대해 기술된다. 일 실시예에서 모바일 깊이 카메라는 환경 내에서 추적되고 동시에 이 환경의 3D 모델이 감지된 깊이 데이터를 사용하여 형성된다. 일 실시예에서, 카메라 추적이 실패할 때, 이것이 검출되고 카메라는 이전에 수집된 키프레임을 사용하거나 또는 그 외 다른 방식 중 어느 하나에 의해 로컬화된다. 일 실시예에서, 모바일 카메라가 하나의 위치를 재방문하는 루프 클로저(loop closure)는, 실시간으로 3D 모델을 가지는 현재 깊이 맵의 특징들을 비교함으로써, 검출된다. 실시예들에서, 검출된 루프 클로저는 환경의 3D 모델의 연속성과 정확성을 향상시키기 위해 사용된다.

많은 수반된 특징들은 첨부된 도면와 관련하여 고려되는 아래의 상세한 설명을 참조하여 더 잘 이해하게 될 때 더 쉽게 인식될 것이다.

본 발명의 설명은 첨부된 도면에 관한 아래의 상세한 설명으로부터 더 잘 이해될 것이다:
도 1은 방안에서 실시간 카메라 추적을 위해서 그리고 선택적으로 또한 그 방의 고밀도 3D 모델이나 맵을 생성하기 위해서 사용될 수 있는 모바일 깊이 카메라를 들고 있는 사람의 개략도이고;
도 2는 모바일 깊이 카메라를 들고 있는 사람에 의해 탐험되고 있는 건물의 한 층의 평면도이고;
도 3은 실시간 카메라 추적 시스템, 고밀도 3D 모델 형성 시스템 및 게임 시스템에 연결된 모바일 깊이 카메라의 개략도이고;
도 4는 실시간 추적기에서 방법의 흐름도이고;
도 5는 로컬라이제이션 엔진의 개략도이고;
도 6은 키프레임 없는 로컬라이제이션 방법의 흐름도이고;
도 7은 키프레임 있는 로컬라이제이션 방법의 흐름도이고;
도 8은 루프 클로저 방법의 흐름도이고;
도 9는 예시적인 프레임 정렬 엔진의 개략도이고;
도 10은 카메라 추적을 위한 반복 프로세스의 흐름도이고;
도 11은 대응 포인트 쌍을 계산하기 위한 도 5의 반복 프로세스 부분의 더 상세한 흐름도이고;
도 12는 고밀도 3D 모델로부터의 예측을 이용하여 대응 포인트 상을 계산하기 위한 프로세스의 흐름도이고;
도 13은 도 10의 반복 프로세스에서 사용하기 위한 포인트-대-평면 에러 측정을 계산하고 최소화하기 위한 프로세스의 흐름도이며;
도 14는 카메라 로컬라이제이션 시스템의 실시예들이 구현될 수 있는 예시적인 컴퓨터-기반 장치를 도시한다.
유사한 번호들이 첨부된 도면들에서 유사한 부분들을 지시하기 위하여 사용된다.

첨부된 도면들과 관련하여 아래에 제공되는 상세한 설명은 본 예시들에 대한 설명으로서 의도되지만, 본 예시가 구성되거나 이용되는 유일한 형태들을 표현하려고 의도되는 것은 아니다. 설명은 예시의 기능들과 예시를 구성하고 동작시키기 위한 단계들의 시퀀스들을 제공한다. 그렇지만, 동일한 또는 등가의 기능들과 시퀀스들은 상이한 예시들에 의해 성취될 수도 있다.

비록 본 명세서에서 본 예시들이 적외선을 방출하고 캡쳐하는 모바일 깊이 카메라로부터 얻어진 깊이 이미지(depth image)들을 사용하여 실시간 카메라 추적 시스템에서 구현되는 것으로서 설명되고 도시되어 있으나, 설명되는 시스템은 예시로서 제공되는 것이지 제한으로서 제공되는 것은 아니다. 해당 기술 분야의 지식을 가진 자라면 알고 있을 것과 같이, 본 예시들은 스테레오 카메라로부터 획득된 깊이 정보를 사용하는 것 및 그 외 다른 타입의 전자기 방사를 방출하고 캡쳐하는 것에 의하여 획득된 깊이 정보를 사용하는 것을 포함하지만 이것들로 제한되는 것이 아닌 다양한 여러 가지 종류의 실시간 카메라 추적 시스템 분야에 응용되기에 적합하다.

용어 "이미지 요소(image element)"는 본 명세서에서 하나의 픽셀, 픽셀 그룹, 복셀(voxel), 또는 그 외 다른 이미지의 더 높은 레벨 컴포넌트를 지칭하기 위해 사용된다.

용어 "고밀도 3D 모델(dense 3D model)"은 본 명세서에서 오브젝트들과 표면들을 포함하는 3차원 장면의 표현을 지칭하기 위하여 사용되며 여기서 이 표현은 해당 장면의 이미지 요소들에 관한 세부사항을 포함한다. 대조적으로 저밀도 3D 모델(sparse 3D model)들은 오브젝트에 대한 프레임-기반 표현을 포함할 수 있다. 고밀도 3D 모델은 폴리곤 메쉬(polygon mesh) 표현, 또는 중복 및 3D 모델을 저장하기 위해 필요한 메모리를 감소시키는 방식의 그 외 다른 표현과 같은 저밀도 3D 모델로 변형될 수 있다. 예시적인 고밀도 3D 모델은 인입하는 깊이 맵의 모든 또는 많은 포인트들이 환경 내의 표면들을 기술하기 위하여 사용되는 것일 수 있다. 저밀도 모델이라면 계산 속도를 올리고 메모리 풋프린트를 감소시키기 위하여 포인트들의 서브셋을 취할 것이다.

도 1은 방안에 서서 모바일 깊이 카메라(102)를 들고 있는 사람(100)의 개략도인데, 이 예에서 모바일 깊이 카메라는 또한 방 안에 고양이(108)의 이미지를 투사하는 프로젝터를 포함하고 있다. 방 안에는 의자, 문, 창, 화분, 전등 및 다른 사람(104)과 같은 다양한 오브젝트(106)가 있다. 오브젝트(106) 중 많은 것들은 정적이지만 오브젝트 중 일부는 사람(104)과 같이 이동할 수 있다. 사람이 방 안에서 움직이면 모바일 깊이 카메라는 방 안의 카메라의 위치와 방향을 모니터링하기 위한 실시간 카메라 추적 시스템(112)에 의해 사용되는 이미지를 캡쳐한다. 실시간 카메라 추적 시스템(112)은 모바일 깊이 카메라(102)에 포함될 수 있거나 또는 직접적으로나 간접적으로 중 어느 하나로 모바일 깊이 카메라(102)로부터 통신을 수신할 수 있는 다른 위치에 있을 수 있다. 예를 들어, 실시간 카메라 추적 시스템(112)은 퍼스널 컴퓨터, 전용 컴퓨터 게임 장치, 또는 방 안에 있고 모바일 깊이 카메라(102)와 무선 통신가능한 그 외 다른 장치에서 제공될 수 있다. 그 외 다른 예들에서, 실시간 카메라 추적 시스템(112)은 건물 안의 다른 곳 또는 임의의 적합한 종류의 통신 네트워크를 사용하여 모바일 깊이 카메라(102)와 통신할 수 있는 다른 원격의 위치에 있을 수 있다. 모바일 깊이 카메라(102)는 또한 환경의 고밀도 3D 모델(110)(이 경우 방의 3D 모델) 또는 환경의 다른 타입의 맵과 통신한다. 예를 들어, 모바일 깊이 카메라(102)에 의해 캡쳐된 이미지들은 사람이 방 안에서 이동할 때 환경의 고밀도 3D 모델을 형성하고 구축하기 위하여 사용된다. 실시간 카메라 추적 시스템(112)은 환경(110)의 3D 모델 또는 맵에 관련하여 카메라의 위치를 추적할 수 있다. 실시간 카메라 추적 시스템(112) 및 고밀도 3D 모델 또는 맵의 출력은 비록 필수적인 것은 아니지만 게임 시스템 또는 그 외 다른 응용 분야에서 사용될 수 있다. 예를 들어, 모바일 깊이 카메라(102)에서 프로젝터는 실시간 카메라 추적 시스템(112) 및 3D 모델(110)의 출력에 종속하여 이미지를 투사하도록 구성될 수 있다.

도 2는 건물의 하나의 층(200)의 평면도이다. 모바일 깊이 카메라(204)를 들고 있는 사람(202)이 점선 화살표들(208)에 의해 표시된 바와 같이 해당 층에서 이동하고 있다. 이 사람은 복도(206)를 따라 걸으면서 방들과 가구(210)를 지나친다. 실시간 카메라 추적 시스템(112)은 모바일 깊이 카메라(204)가 이동할 때 그 위치를 추적할 수 있으며 해당 층의 3D 모델 또는 맵이 형성된다. 사람(202)이 모바일 깊이 카메라(204)를 운반하는 것이 필수적이지는 않다. 그 외 다른 실시예에서 모바일 깊이 카메라(204)는 로봇이나 차량에 탑재된다. 이것은 또한 도 1의 예에도 적용된다.

도 3은 실시간 카메라 추적기(316), 고밀도 모델 형성 시스템(324) 및 선택적으로 게임 시스템(332)과 함께 사용하기 위한 모바일 환경 센서(300)의 개략도이다. 모바일 환경 센서(300)는 하나의 장면의 깊이 이미지들의 시퀀스들을 캡쳐하도록 구성된 깊이 카메라(302)를 포함한다. 각각의 깊이 이미지 또는 깊이 맵 프레임(314)은 하나의 2차원 이미지를 포함하며, 이 2차원 이미지에서 각각의 이미지 요소는 해당 이미지 요소가 있는 캡쳐된 장면 내에서 카메라로부터 오브젝트까지의 길이 또는 거리와 같은 깊이 값(depth value)을 포함한다. 이 깊이 값은 미터 또는 센티미터와 같이 특정한 측정 단위로 제공되는 절대값일 수 있고 또는 상대적인 깊이 값일 수도 있다. 각각의 캡쳐된 깊이 이미지에서, 각각 하나의 깊이 값을 가지는 이미지 요소는 약 300,000 개 이상 존재할 수 있다. 프레임 속도는 깊이 이미지들이 동작 중인 로보틱스, 컴퓨터 게임 또는 그 외 다른 애플리케이션를 위해 사용될 수 있게 하는데 충분히 높다. 예를 들어, 적어도 초당 20 프레임이다.

깊이 정보는 타임 오브 플라이트(time of flight), 구조화된 광(structured light), 스테레오 이미지를 포함하지만 이에 국한되는 것이 아닌 임의의 적절한 기술을 사용하여 획득될 수 있다. 몇몇 예에서, 깊이 카메라는 깊이 정보를 깊이 카메라의 시선(line of sight)을 따라 연장하는 Z축에 대해 수직인 Z층들로 조직할 수 있다.

모바일 환경 센서(300)는 또한 깊이 정보가 깊이 카메라(302)에 의해 확보될 수 있는 방식으로 장면을 조명하도록 구성된 이미터(304)를 포함할 수 있다. 예를 들어, 깊이 카메라(302)가 적외선(IR) 타임 오브 플라이트 카메라인 경우에, 이미터(304)는 적외선을 장면 상에 방출하면, 깊이 카메라(302)는 그 장면 안의 하나 이상의 오브젝트의 표면에서 반사되어 흩어지는 광을 검출하도록 구성된다. 몇몇 예에서, 펄스형 적외선이 이미터(304)로부터 방출될 수 있는데, 이 경우 나가는 광 펄스와 대응하여 들어오는 광 펄스 사이의 시간이 깊이 카메라에 의해 검출되고 측정되어 환경 센서(300)로부터 해당 장면 안의 오브젝트 상의 위치까지의 물리적인 거리를 결정하기 위해 사용될 수 있다. 덧붙여서, 몇몇 예에서, 이미터(304)에서 나가는 광 파동의 위상은 깊이 카메라(302)에서 들어오는 광 파동의 파장과 비교되어 위상 시프트를 결정할 수 있다. 그런 다음 위상 시프트는 예컨대 셔터드 광 펄스 이미징(shuttered light pulse imaging)을 포함하는 다양한 기술을 통해 시간에 따라 변하는 반사 광 빔의 강도를 분석함으로써 모바일 환경 센서(300)로부터 오브젝트 상의 한 위치까지의 물리적인 거리를 결정하기 위하여 사용될 수 있다.

다른 하나의 예에서, 모바일 환경 센서(300)는 깊이 정보를 캡쳐하기 위하여 구조화된 광을 사용할 수 있다. 이러한 기술에 있어서, 패턴화된 광(예컨대, 격자 또는 줄무늬 패턴과 같이 알려진 패턴으로 디스플레이되는 광)이 이미터(304)를 사용하여 장면 상에 투사될 수 있다. 장면 내의 오브젝트의 표면에 부딪치면 패턴은 변형된다. 이러한 패턴의 변형은 깊이 카메라(302)에 의해 캡쳐되고 분석되어 깊이 카메라(302)로부터 해당 장면의 그 오브젝트까지의 절대적인 또는 상대적인 거리를 결정한다.

다른 하나의 예에서, 깊이 카메라(302)는 한 쌍의 스테레오 카메라를 포함하며, 여기서 시각적인 스테레오 데이터가 획득되고 분해되어 상대적인 깊이 정보를 생성한다. 이 경우 이미터(304)는 장면을 조명하기 위해 사용될 수 있고 또는 생략될 수 있다.

몇몇 예들에서, 깊이 카메라(302)에 추가하여, 모바일 환경 센서(300)는 RGB 카메라(306)로서 지칭되는 컬러 비디오 카메라를 포함한다. RGB 카메라(306)는 가시광선 주파수에서 장면의 이미지 시퀀스를 캡쳐하도록 구성된다.

모바일 환경 센서(300)는 관성 측정 유닛(IMU, inertial measurement unit), 가속도계, 자이로스코프, 나침반 또는 그 외 다른 방향 센서(308)와 같은 방향 센서(308)를 포함할 수 있다. 그러나, 방향 센서를 사용하는 것이 필수인 것은 아니다. 모바일 환경 센서(300)는 비록 필수인 것은 아니지만 GPS(310)와 같은 위치 추적 장치를 포함할 수 있다.

모바일 환경 센서는 비록 필수인 것은 아니지만 도 1을 참조하여 위에서 언급한 바와 같은 프로젝터(312)를 포함할 수 있다.

모바일 환경 센서는 또한 아래에서 더 상세하게 기술되는 바와 같이 하나 이상의 프로세서, 메모리 및 통신 기반설비를 포함할 수 있다.

모바일 환경 센서는 사용자가 손으로 들거나 또는 사용자가 착용할 수 있는 형상과 크기를 가진 하우징 내에 제공될 수 있다. 그 외 다른 예들에서, 모바일 환경 센서는 차량, 놀이기구 또는 그 외 다른 이동형 장치에 포함되거나 탑재되는 크기와 형상을 가질 수 있다.

모바일 환경 센서(300)는 실시간 추적기(316)에 연결된다. 이 연결은 물리적 유선 연결일 수 있고 또는 무선 통신을 사용할 수 있다. 몇몇 예들에서 모바일 환경 센서(300)는 인터넷과 같은 하나 이상의 통신 네트워크를 통해 실시간 추적기에 간접적으로 연결된다.

실시간 추적기(316)는 그래픽 프로세싱 유닛(GPU), 벡터 머신, 멀티-코어 프로세서 또는 그 외 다른 병렬 컴퓨팅 장치와 같은 하나 이상의 병렬 컴퓨팅 유닛을 제어하는 범용 마이크로프로세서를 사용하여 구현된 컴퓨터이다. 그것은 프레임 정렬 엔진(318) 및 선택적으로 루프 클로저 엔진(320) 및 리로컬라이제이션(relocalization) 엔진(322)을 포함한다. 실시간 추적기(316)는 깊이 카메라(302)로부터 깊이 맵 프레임(314)을 취하고, 또한 선택적으로 모바일 환경 센서(300)로부터의 입력과, 선택적인 맵 데이터(334) 및 게임 시스템(332)로부터의 선택적인 데이터를 취한다. 실시간 추적기는 깊이 카메라(302)의 6 자유도 포즈 추정치의 실시간 시리즈(328)를 생성하기 위하여 깊이 맵 프레임들을 정렬시키도록 동작한다. 그것은 또한 깊이 맵 프레임들의 쌍들 사이의 변형을 위한 변형 파라미터(또한 등록 파라미터라고도 지칭되는)를 생성할 수 있다. 몇몇 예들에서 실시간 추적기는 깊이 카메라로부터의 깊이 맵 프레임(314)의 쌍에 대해 동작한다. 그 외 다른 예들에서, 실시간 추적기(316)는 하나의 단일 깊이 맵 프레임(314)을 취하고 이것을 다른 하나의 깊이 맵 프레임(314)에 대해서가 아니라 해당 장면의 고밀도 3D 모델(326)에 대해 정렬시킨다.

예를 들어, 몇몇 실시예들에서 실시간 추적기(316)는 고밀도 3D 모델 형성 시스템(324)으로 출력을 제공하며, 고밀도 3D 모델 형성 시스템은 그 정보와 함께 깊이 맵 프레임(314)을 사용하여 모바일 환경 센서(300)가 이동하고 있는 장면이나 환경의 고밀도 3D 모델을 형성하고 저장한다. 예를 들어, 도 1의 경우 3D 모델은 방 안의 표면들과 오브젝트들의 3D 모델일 것이다. 도 2의 경우 3D 모델은 건물의 그 층에 대한 3D 모델일 것이다. 고밀도 3D 모델(326)은 GPU 메모리 또는 그 외 다른 방식으로 저장될 수 있다.

모바일 환경 센서(300)는 디스플레이(330)에 연결되어 있는 게임 시스템(332)과 관련하여 사용될 수 있다. 예를 들어, 게임은 골프 게임, 복싱 게임, 자동차 경주 게임 또는 그 외 다른 종류의 컴퓨터 게임일 수 있다. 게임 상태나 게임에 관한 메타 데이터와 같은 게임 시스템(332)으로부터의 데이터가 실시간 추적기(316)로 제공될 수 있다. 또한 실시간 추적기로부터의 정보는 게임이 진행되는 방식에 영향을 끼치도록 게임 시스템(332)에 의해 사용될 수 있다. 3D 모델로부터의 정보도 또한 게임이 진행되는 방식에 영향을 끼치도록 게임 시스템(332)에 의해 사용될 수 있다.

실시간 추적기(316)는 선택적으로 맵 데이터(334)를 이용할 수 있다. 예를 들어, 맵 데이터는 그 환경(예컨대, 방 또는 건물의 층)에 대한 건축가의 도면, 그 환경 안에서 알려진 랜드마크의 위치, 다른 소스로부터 이용가능한 그 환경의 맵일 수 있다.

실시간 추적기의 프레임 정렬 엔진(318)은 깊이 맵 프레임의 쌍들 또는 하나의 깊이 맵 프레임과 고밀도 3D 모델로부터의 하나의 깊이 맵 프레임의 추정을 정렬시키도록 구성된다. 그것은 프레임 정렬 엔진이 실시간으로 작동하도록 하기 위해 하나 이상의 그래픽 프로세싱 유닛을 사용하여 구현되는 반복 프로세스를 사용한다. 프레임 정렬 엔진에 관한 더 상세한 세부사항은 도 9을 참조하여 아래에서 제공된다.

실시간 추적기(316) 및/또는 고밀도 3D 모델 형성 시스템(324)에 의해 수행되는 프로세싱은, 예컨대, 모바일 환경 캡쳐 장치(300)의 위치로부터 원격에서 실행될 수 있다. 예를 들어, 모바일 환경 캡쳐 장치(300)는 통신 네트워크를 통해 서버에게 깊이 이미지들을 스트리밍하는 상대적으로 낮은 프로세싱 능력을 가진 컴퓨팅 장치에 연결될(또는 포함할) 수 있다. 서버는 상대적으로 높은 프로세싱 능력을 가지며, 실시간 추적기(316) 및/또는 고밀도 3D 모델 형성 시스템(324)의 계산적으로 복잡한 태스크를 수행한다. 서버는 사용자에게 대화형 경험을 제공하기 위하여 프레임 단위의 고밀도로 재구성된 렌더링 이미지를 리턴할 수 있으며, 또한 후속적인 로컬 사용(예컨대, 게임 안에서)을 위하여 모델의 완료에 대한 최종 고밀도 3D 재구성을 리턴할 수 있다. 이러한 구성은 사용자로 하여금 고-성능의 로컬 컴퓨팅 장치를 소유할 필요가 없게 한다.

루프 클로저(loop closure) 엔진은 모바일 환경 센서가 하나의 루프(loop) 안에서 움직였을 때를 검출하도록 구성됨으로써 현재의 깊이 프레임 내에서 묘사된 장면이 적어도 부분적으로 바로 직전의 깊이 프레임이 아닌 이전의 깊이 프레임의 장면과 오버랩되도록 한다. 루프가 닫혀있으면 모바일 환경 센서는 그것이 전에 간 적이 있는 위치를 재방문한다. 예를 들어, 이것은 도 2에서 사용자가 건물의 전체 층을 걸어다니다가 다시 처음 포인트에 도달했을 때 발생할 수 있다. 그것은 또한 사용자가 방에서 움직이다가 어떤 가구 뒤에서 원래의 시작 위치로, 또는 원래의 시작 위치와 가까운 곳으로 다시 나왔을 때도 발생할 수 있다. 따라서 루프의 크기는 모바일 환경 센서가 존재하는 환경에 따라 그리고 응용 영역에 따라 달라질 것이다. 예를 들어, 건물의 층을 걸어다니는 사람의 경우(도 2에서와 같이)에, 루프는 수십 미터의 길이일 수 있다. 하나의 방 안에서 카메라를 움직이는 사람의 경우(도 1에서와 같이), 루프는 10 미터 미만의 길이일 것이다. 어린이의 장난감 경주 트랙을 주행하는 장난감 자동차 상의 로봇의 경우 루프는 1 미터 미만의 길이일 수 있다. 루프 클로저가 발생하는 때의 검출은, 3D 모델에서 축적된 에러가 식별될 수 있게 하기 때문에 유용하다. 예를 들어, 모바일 환경 센서는 루프의 시작 및 종료에 있는 것으로 식별되는 깊이 및/또는 컬러 비디오 이미지를 캡쳐할 수 있지만 이들 이미지 각각에 대해 계산된 카메라 위치와 방향은 일치하지 않을 수 있다. 일단 이들 에러가 식별되면 이들은 감소될 수 있고 따라서 환경의 3D 모델 또는 맵의 정확도와 일관성이 향상될 수 있다. 또한 카메라 추적의 전체적인 에러 또는 방향 어긋남이 복구될 수 있다. 루프 클로저 에러는 로컬 에러 및 전체 에러 양자를 모두 포함하는 것으로 생각될 수 있다. 글로벌 루프 클로저 에러(또한 드리프트라고도 지칭되는)는 결합된 시간에 따라 변하는 카메라의 6 자유도 포즈 추정에서의 에러를 포함한다. 로컬 에러는 각각의 프레임으로부터의, 또는 크게 오버랩되는 프레임 시퀀스로부터의 카메라의 6 자유도 포즈 추정에서 발생할 수 있다. 루프 클로저가 발생하는 때를 실시간으로 정확하게 검출하는 것은 간단하지 않다. 일단 루프 클로저가 검출되면, 임의의 루프 클로저 에러가 식별되고 감소되는데 이것을 한편으로 고품질의 결과를 성취하면서 동시에 실시간으로 달성하는 것은 어렵다. 덧붙여서, 전체 루프 클로저 에러는 로컬 루프 클로저 에러와는 다른 방식으로 상쇄되거나 취급될 수 있다.

리로컬라이제이션 엔진(322)은 실시간 추적기가 모바일 환경 센서(300)의 현재 위치를 잃어버리고 현재의 위치를 다시 리로컬라이징 즉 발견하는 상황을 다루도록 구성된다. 실시간 추적기는 많은 이유로 모바일 환경 센서(300)의 현재 위치를 잃어버릴 수 있다. 예를 들어, 빠른 카메라 움직임, 폐색(occlusion) 및 움직임 블러(blur)의 이유가 있다. 깊이 맵이 실시간 추적을 위해 사용되는 경우, 추적 실패는 또한 환경이 섬세한 세부사항이 적고 주로 평탄한 표면들을 포함하고 있을 때 발생할 수 있다. 깊이 카메라가 구조화된 광 이미터를 사용하는 경우에, 환경이 컴퓨터 스크린 및 그 외 다른 열악한 깊이 정보를 생성하는 반사 표면들과 같은 높은 반사성을 가지는 표면들을 포함하고 있는 곳에서 추적 실패가 발생할 수 있다. 만약 추적 실패가 검출되면, 잠재적으로 잘못된 추적 정보가 환경의 3D 모델 또는 맵을 증가시키기 위해 사용될 수 있다. 이것은 불완전한 3D 모델 또는 맵으로 귀결될 수 있다. 추적 실패의 신속하고 정확한 검출은, 그것이 불완전한 3D 모델을 방지하기 위해 그리고 추적 복구 프로세스를 트리거하기 위해 사용될 수 있기 때문에 유익하다.

도 4는 도 3의 실시간 추적기(316)에서의 프로세스의 흐름도이다. 아래에서 도 9 내지 도 13을 참조하여 기술되는 바와 같이 프레임 정렬 엔진(318)을 사용하여 실시간 카메라 추적이 확립된다(400). 모바일 환경 센서(300)가 움직이고 있는 환경의 고밀도 3D 모델(326)을 개선하기 위하여 깊이 맵 프레임(314) 및 프레임 정렬 엔진의 출력(등록 파라미터 및 카메라 방향과 위치)이 사용된다(402). 만약 추적 실패가 검출되면(404), 모바일 환경 센서(300)의 리로컬라이제이션(406)이 수행되고 프로세스는 더 많은 깊이 맵 프레임들이 캡쳐됨에 따라 고밀도 3D 모델을 증가시키면서 단계(402)에서 계속된다. 이런 방식에서, 진행 중인 카메라 추적 및 진행 중인 3D 모델 개선은 일단 추적 실패가 검출되면 리로컬라이제이션이 성공할 때까지 중단된다. 만약 루프 클로저 에러가 검출되면(408), 고밀도 3D 모델 자체가 그 에러를 고려하기 위하여 수정된다. 루프 클로저를 처리한 후 프로세스는 고밀도 3D 모델을 증가시키면서 단계(402)에서 계속된다. 이런 방식에서 환경의 고밀도 3D 모델은 추적 실패가 발생할 때 보존되며 그것의 정확성과 일관성은 루프 클로저를 검출하는 결과로서 향상된다.

도 5는 도 3의 리로컬라이제이션 엔진(322)의 더 자세한 세부를 제공하는 개략도이다. 그것은 실시간으로 동작하는 추적 실패 검출기(500)를 포함한다. 추적 실패 검출기(500)는 고려되는 응용 영역에 따라 미리-설정되는 문턱(502)을 포함할 수 있다. 예를 들어, 프레임 정렬 엔진에 의해 출력된 등록 파라미터가 문턱(threshold) 양보다 더 많이 변화할 때 추적 실패가 발생할 수 있다. 다른 하나의 예에서, 프레임 정렬 엔진의 SE3 매트릭스 출력이 연속적인 출력들 사이에서 문턱 양보다 더 많이 변화할 때 추적 실패가 발생할 수 있다. 모바일 깊이 카메라의 위치 및 방향을 추적하기 위해 사용되는 반복 프로세스의 수렴에서 실패가 발생할 때 추적 실패가 검출될 수 있다. 추적 실패 검출기(500)는 하나 이상의 규칙, 기준, 문턱 또는 그 외 다른 조건들로서 저장되어 있는 움직임 휴리스틱(motion heuristic)(504)을 포함할 수 있다. 예를 들어, 움직임 휴리스틱은 모바일 환경 센서(300)가 백색 잡음 가속을 가진 일정한 속도로 이동하고 있는 규칙일 수 있다. 이 움직임 휴리스틱과 일치하지 않는 프레임 정렬 엔진으로부터의 임의의 출력은 추적 실패를 트리거할 수 있다. 다른 하나의 예에서, 움직임 휴리스틱은, 모바일 환경 센서(300)가 평균적인 인간(모바일 환경 센서가 사용자에 의해 착용된 경우에)의 걸음걸이 속도로 설정된 최대 선형 속도를 가지며 또한 임의의 높은 회전 속도를 가진 무작위 걸음으로 움직이는 것일 수 있다. 이러한 움직임 휴리스틱과 일치하지 않는 프레임 정렬 엔진으로부터의 임의의 출력은 추적 실패를 트리거할 수 있다. 추적 실패를 검출하는 하나 이상의 이들 방식들의 임의의 조합이 사용될 수 있다. 일 실시예에서, 추적 실패를 검출하기 위해, 움직임 휴리스틱의 위반, 회전 문턱의 위반 및/또는 너무 큰 여분의 에러를 수렴하는 것 또는 수렴하고 있는 것에 대한 실패에 기인하여 모바일 깊이 카메라의 위치와 방향을 추적하는데 사용되는 반복 프로세스의 실패가 발생할 때에 따라 위반의 3개 양상들의 조합이 사용된다.

추적 실패 검출기(500)는 프레임 정렬 엔진이 겹침(degeneracy)(506)을 검출할 때 추적 실패를 검출하도록 구성된 컴포넌트를 포함할 수 있다. 예를 들어, 아래에서 기술된 바와 같이, 프레임 정렬 엔진은 에러 메트릭(error metric)의 최적화를 포함하는 반복 프로세스를 사용함으로써 깊이 맵들의 쌍들 사이에서 대응 포인트들의 쌍들을 발견한다. 이 에러 메트릭의 최적화 동안 이 최적화 프로세스가 어떠한 해답의 제공도 실패할 때 겹침이 검출될 수 있다. 예를 들어, 이러한 실패는 환경 내에 반사 표면 때문에 깊이 값을 가지지 않는 깊이 맵 내의 이미지 요소들 때문에, 만약 구형 또는 원통형 표면이 존재한다면, 그 환경이 매우 평탄하기 때문에, 또는 그 외 다른 이유들 때문일 수 있다.

리로컬라이제이션 엔진은 또한 키프레임을 사용할 수 있는 또는 키프레임 없이 동작할 수 있는 리로컬라이제이션 프로세스(508)를 포함할 수 있다. 키프레임은 실시간 추적기에 의하여 이전에 수집된 또는 인공적으로 생성된 깊이 맵 또는 컬러 비디오 프레임이다. 추적은 현재의 카메라 뷰에 대해 양호하게 매칭하는 하나의 키 프레임을 발견함으로써 복구되며 이것은 그것으로부터 추적이 재시작될 수 있는 초기 포즈 추정(pose estimate)을 제공한다. 몇몇 경우에 키프레임은 SE3 매트릭스로 되도록 버려지며 이것은 메모리 요구를 감소시킨다. 키프레임 포인트는 필요한 경우 레이 캐스팅(ray casting)에 의해 고밀도 3D 모델로부터 복구될 수 있다.

리로컬라이제이션 프로세스(508)가 키프레임 없이 동작하는 예가 이제 도 6을 참조하여 제공된다. 예를 들어, 모바일 환경 센서를 위한 움직임 모델을 사용하여, 카메라 포즈들의 트랙 분포(track distribution)가 계산된다(600). 이 움직임 모델은 모바일 환경 센서가 그것의 마지막 알려진 위치를 중심으로 임의의 방향으로 지속적으로 확장하는 구 내에 있다는 것을 예측할 수 있다. 트랙 분포로부터 하나의 샘플 카메라 포즈가 무작위로 또는 임의의 그 외 다른 방식으로 선택된다(602). 이후 프레임 정렬 엔진은 현재 깊이 맵 및 이전 깊이 맵을 정렬하기 위해 샘플 카메라 포즈를 가지고 사용되어(604) 아래에서 더 상세하게 기술되는 바와 같이 등록 파라미터를 획득한다. 만약 수렴이 도달되면(606), 즉 만약 등록 파라미터가 마지막 알려진 위치와 일치하면, 카메라는 성공적으로 리로컬라이징된다(608). 그렇지 않은 경우, 다른 하나의 샘플이 취해지고(602) 프로세스가 반복된다.

키프레임없이 리로컬라이제이션 프로세스(608)가 동작하는 다른 하나의 예가 이제 제공된다.

무작위 결정 포레스트(random decision forest)과 같은 빠른 클러스터링 알고리즘이 현재의 깊이 맵의 패치(patch)에 대해 그리고 환경의 3D 모델로부터 획득된 복수의 이전 깊이 맵들의 패치에 대해 적용된다. 이전 깊이 맵들은 3D 모델로부터 깊이 맵들을 렌더기 하기 위해 레이 캐스팅 기술을 사용함으로써 또는 임의의 그 외 다른 방식으로 환경의 3D 모델로부터 획득될 수 있다. 무작위 결정 포레스트 내의 각각의 리프 노드(leaf node)는 하나의 텍스톤(texton)을 나타낸다. 텍스톤은 컬러 이미지의 텍스처 특징이지만 이 예에서, 깊이 맵이 사용되므로 텍스톤은 깊이 맵의 텍스처 특징이다. 현재 깊이 맵의 복수의 패치는 무작위로 또는 임의의 그 외 다른 방식으로 선택된다. 각각의 패치는 복수의 인접 이미지 요소들이다. 패치들은 또한 복수의 이전 깊이 맵들 중 각각으로부터 선택된다. 각각의 패치는 해당 패치를 위한 하나의 텍스톤을 식별하기 위하여 무작위 결정 포레스트의 하나의 리프(leaf)로 프로세싱된다. 이후 하나의 이미지 내에서 발견된 모든 텍스톤들을 사용하여 하나의 히스토그램이 구축된다.

리로컬라이제이션 프로세스는 무작위 결정 포레스트 분류기에 의해 출력된 텍스톤의 히스토그램의 관점에서 현재의 깊이 맵에 유사한 이전 깊이 맵을 선택한다. 이후 선택된 깊이 맵과 연관된 카메라 포즈가 현재 카메라 포즈로서 사용되고 카메라는 리로컬라이징된다. 무작위 결정 포레스트 클러스터링 알고리즘은 오프라인으로 또는 실시간 추적기의 사용 동안에 백그라운드 프로세스를 사용하여 훈련된다.

도 7은 리로컬라이제이션을 위한 키프레임을 사용는 방법의 흐름도이다. 실시간 추적 동안 키프레임들이 수집되고(700) 3D 모델과 연관하여 저장된다. 예를 들어, 키프레임은 모바일 환경 센서(300)에서 RGB 카메라(306)에 의해 캡쳐된 컬러 비디오 프레임이다. 다른 하나의 예에서, 키프레임은 깊이 카메라(302)에 의해 캡쳐된 깊이 맵 프레임(314)이다. 각각의 키프레임은 실시간 추적 동안 프레임 정렬 엔진(318)에 의해 계산된 하나의 연관된 카메라 포즈를 가진다. 각각의 키프레임은 카메라 포즈에 따라 3D 모델(326) 내에서 하나의 위치와 연관된다. 키프레임은, 예컨대 해당 키프레임을 위한 카메라 포즈에 의해 특정된 위치에서 3D 모델 내의 하나의 참조를 포함함으로써, 3D 모델과 연관되어 저장된다. 몇몇 예들에서, 3D 모델은 GPU 메모리의 하나의 큐브(cube) 내에 저장되며 키프레임은 해당 키프레임을 위한 카메라 포즈에 의해 특정된 위치에 따라 이 메모리 큐브 내에 배치된다. 몇몇 경우들에 있어, 키프레임은 각자의 연관된 SE3 매트릭스로서 저장되고 이것은 메모리 요구를 감소시킨다. 키프레임 깊이 포인트는 필요한 경우 레이 캐스팅에 의해 고밀도 3D 모델로부터 복구될 수 있다.

수집되는 키프레임의 수는 메모리 및 이용가능한 프로세싱 성능에 종속되며 또한 응용 영역에 종속된다. 그러나 수 만개의 키프레임이 저장될 수 있다. 키프레임으로서 유지하기 위해 프레임을 선택하는 것은 무작위 선택을 사용하여, 매 n 번째 프레임을 선택함으로써, 이전에 보지 못한 시각적 특징을 포함하고 있는 프레임을 선택함으로써, 이들 접근법들의 조합을 사용하여, 또는 임의의 그 외 다른 방식으로 성취된다. 일 예에서, 시스템은 키프레임들 사이의 최소 수의 프레임들을 기다리다가 만약 해당 프레임이 이동 및 회전의 관점에서 기존 키프레임들 중 임의의 것으로부터 적어도 특정한 양만큼 멀리 있는 카메라 포즈에 대응한다면 하나의 새로운 키프레임을 기록한다.

추적 실패가 검출된 때(702) 리로컬라이제이션 엔진은 현재의 카메라 뷰(깊이 맵 또는 RGB 이미지)와 유사한 키프레임들 중 하나를 선택한다(704). 키프레임과 현재의 카메라 뷰 사이의 유사성의 측정은 임의의 적절한 종류일 수 있다. 예를 들어, 에지, 코너, 덩어리, 선과 같은 특징들이 비교될 수 있다. 또한 키프레임과 현재 카메라 뷰에 적용된 오브젝트 분할 프로세스의 결과들의 비교와 같은 그 외 다른 유사성 측정이 사용될 수 있다. 키프레임이 깊이 맵인 경우에, 인간 신체 포즈 검출기가 키프레임과 현재 뷰에 적용되고 그 결과가 비교될 수 있다. 기하학적 추정 및/또는 의미론적 이미지 라벨링 프로세스(머신 학습 분류기와 같은)가 현재 및 이전 프레임에 적용될 수 있다. 이후 현재의 프레임과 비교할 때 유사한 기하학적 형상(수직 및 수평 표면들의 배열과 위치)을 가지는 프레임 및/또는 유사한 의미론적 라벨링(오브젝트들의 배열)을 가지는 프레임을 선택함으로써 리로컬라이징이 가능하다.

하나의 키 프레임을 선택하는 것은 검색해야할 키프레임들이 너무나 많이 있기 때문에 복잡하고 시간이 소모되는 태스크이다. 몇몇 예들에서, 마지막으로 알려진 카메라 위치 주변에 위치된 키프레임들에 대해서 검색이 이루어지고 이후 검색 공간은 양호한 매칭이 발견될 때까지 점차적으로 넓혀질 수 있다.

일단 하나의 키프레임이 선택되면 그것은 그것으로부터 추적이 재시작될 수 있는 초기 포즈 추정을 제공하도록 사용된다(706).

도 3의 루프 클로저 엔진(320)에서의 방법이 이제 도 8을 참조하여 기술된다. 루프 클로저 검출 프로세스(804)는 현재 깊이 맵(800)과 환경의 3D 모델(802)로부터의 입력을 취한다. 몇몇 경우들에서, 루프 클로저 검출 프로세tm804)는 비록 필수적이지는 않지만 RGB 카메라(306)에 의해 캡쳐된 현재 컬러 이미지로부터 입력을 취한다. 루프 클로저 검출 프로세스(804)는 특징 매칭 프로세스(806), 백 오브 워즈(bag of words) 프로세스(808) 또는 그 외 다른 루프 클로저 검출 프로세스와 같은 임의의 적합한 루프 클로저 검출 방법을 사용한다. 위에 언급된 바와 같이, 루프 클로저는 모바일 환경 센서가 하나의 위치를 재방문할 때 발생한다. 백 오브 워즈 프로세스는 두 개의 이미지가 동일한 장면을 보여줄 때를 효율적으로 인식하고 따라서 루프 클로저를 검출할 수 있다. 백 오브 워즈 프로세스는 특징 기술자(예컨대, 선, 에지, 코너, 덩어리, SIFT 특징, SURF 특징)의 사전(동적으로 또는 오프라인으로 중 어느 하나로)을 생성하며 이 사전을 사용하여 이미지 내에서 발견된 특징들을 라벨링한다. 이후 이미지들은, 그들이 많은 공통적인 특징들을 가지고 있는지 그래서 동일한 오브젝트 또는 위치의 것일 수 있는지 여부를 알기 위해, 매우 신속하게 비교될 수 있다. 특징 매칭 프로세스는 사전을 사용하지 않으면서 두 개의 이미지 내에 동일한 특징들을 식별하는 임의의 프로세스이다.

일단 루프 클로저가 검출되면 임의의 루프 클로저 에러가 발견되고 고려될 수 있다. 예를 들어, 루프 클로저는 3D 모델의 해당 부분을 식별하고 현재 깊이 맵은 동일한 카메라 위치를 가진다. 그러나 이것은 추적 에러 때문에 그렇지 않을 수 있다. 덧붙여서, 루프 클로저 에러의 종류가 식별될 수 있다. 예를 들어, 루프 클로저가 카메라의 추정된 6 자유도 포즈 조합에서의 드리프트의 결과인 것과 같이 전체적인 것인지 여부, 또는 에러가 하나의 개별 프레임 또는 대부분이 중첩하는 프레임들의 시퀀스로부터의 열악한 6 자유도 포즈 추정의 결과인 로컬적인 것인지 여부가 식별될 수 있다. 루프 클로저 에러는 전체 및 로컬 루프 클로저 에러의 조합일 수 있다. 이 에러를 감소시키고 3D 모델의 일관성과 정확성을 향상시키기 위하여 루프 클로저 절차(812)가 이어진다. 에너지 함수를 최적화하는 것과 같은 임의의 적합한 루프 클로저 절차가 사용될 수 있다.

도 9는 더 상세한 도 3의 프레임 정렬 엔진(318)의 개략도이다. 프레임 정렬 엔진(908)은 적어도 CPU 및 하나 이상의 GPU를 가지는 컴퓨팅 장치에서 구현된 컴퓨터이다. 그것은 선택적인 평면 추출 컴포넌트(910) 및 반복적인 최근접 포인트 프로세스(912)를 포함한다. 반복적인 최근접 포인트 프로세스는 아래에서 더 상세히 기술되는 바와 같이 투사 데이터 연관 및 포인트-대-평면 에러 매트릭을 사용한다. 프레임 정렬 엔진은 깊이 카메라로부터 현재 깊이 맵(900)을 수신한다. 현재 깊이 맵은 또한 목적 깊이 맵이라고도 지칭된다. 몇몇 예들에서 프레임 정렬 엔진은 또한 소스 깊이 맵(902)을 수신하는데 이 소스 깊이 맵은 깊이 카메라로부터의 이전 깊이 맵 프레임이다. 그 외 다른 예들에서, 프레임 정렬 엔진은 소스 깊이 맵의 고밀도 표면 모델 추정(906)을 취한다. 프레임 정렬 엔진의 출력은 현재 및 소스 프레임(또는 프레임 추정)을 정렬하기 위한 변형의 한 세트의 등록 파라미터들이다. 몇몇 예들에서 이들 등록 파라미터들은 실제-세계 좌표에 대한 깊이 카메라(302)의 회전 및 이동을 기술하는 SE₃ 매트릭스의 형태로 6 자유도(6DOF, six degree of freedom) 포즈 추정으로서 제공된다. 더 형식적으로 말해서, 이 변형 매트릭스는 다음과 같이 표현될 수 있다:

여기서 T_k는 깊이 이미지 프레임 k에 대한 변형 매트릭스이고, R_k는 프레임 k에 대한 카메라 회전이며, t_k는 프레임 k에서 카메라 이동이며, 유클리드 그룹

이다. 카메라 공간 내의 좌표(즉, 카메라의 관점으로부터의)는 이 변형 매트릭스를 곱함으로서 실제-세게 좌표로 매핑될 수 있다. 그러나, 등록 파라미터는 임의의 적절한 형태로 제공될 수 있다. 이들 등록 파라미터는 실시간 추적기(316)에 의해 사용되어 깊이 카메라의 6 자유도 포즈 추정의 실시간 시리즈를 생성한다.

도 10은 프레임 정렬 엔진에서 예시적인 반복 프로세스의 흐름도이다. 등록 파라미터의 초기 추정이 형성된다(1000). 이들은 현재 및 소스 프레임을 정렬하기 위한 변형의 등록 파라미터이다. 이 초기 추정은 임의의 적절한 방식으로 형성된다. 예를 들어, 하나 이상의 다음 정보 소스가 초기 추정을 형성하기 위해 사용될 수 있다: 게임 상태, 게임 메타데이터, 맵 데이터, RGB 카메라 출력, 방향 센서 출력, GPS 데이터. 다른 하나의 예에서, 초기 추정은 카메라가 카메라의 이전 움직임 경로에 관한 정보를 사용하는 곳에서 예측에 의해 형성된다. 예를 들어, 카메라는 일정한 속도 또는 일정한 가속도를 가지는 것으로 가정될 수 있다. 시간 0에서 시간 t-1까지의 카메라의 움직임 경로는 카메라가 시간 t에 있을 곳을 추정하고 따라서 등록 파라미터의 추정을 획득하기 위하여 사용될 수 있다.

초기 추정을 사용하여, 현재 및 소스 프레임들(깊이 맵들 또는 추정된 깊이 맵들) 사이의 대응 포인트들의 쌍들이 계산된다(1002). 대응 포인트들의 한 쌍은 하나의 깊이 맵으로부터의 하나의 포인트와 다른 하나의 깊이 맵으로부터의 하나의 포인트이며, 여기서 이들 포인트는 하나의 장면 내의 동일한 실제 세계 포인트로부터 발생되는 것으로 추정된다. 용어 "포인트"는 본 명세서에서 픽셀 또는 이웃 픽셀들의 그룹이나 패치를 지칭하기 위하여 사용된다. 이 대응 문제는 매우 많은 수의 포인트 조합들이 가능하기 때문에 매우 어렵다. 컬러 또는 그레이-스케일 이미지를 사용하는 이전 접근법들은 이 문제를 각 이미지 내에서 선, 에지, 코너 등과 같은 형태를 식별하고 이후 이미지들의 쌍 사이에서 이들 형상들을 매칭시키려고 시도함으로써 처리하였다. 이에 반하여, 본 명세서에서 기술된 실시예들은 깊이 맵들에서 형상들을 발견할 필요없이 대응 포인트들을 식별한다. 대응 포인트들이 어떻게 계산되는가에 관한 더 상세한 설명은 도 11을 참조하여 아래에서 제공된다. 계산된 대응 포인트들에 적용된 에러 메트릭을 최적화하는 등록 파라미터의 갱신된 추정이 계산된다(1004).

수렴이 도달되었는지 여부를 평가하기 위한 체크가 이루어진다(1006). 만약 도달되었다면, 갱신된 추정에 있어 거의 또는 아무런 변화가 없고 등록 파라미터는 출력된다(1008). 만약 도달되지 않았다면, 도 10에 도시된 바와 같이 반복 프로세스가 반복된다.

이제 도 11을 참조하여, 대응 포인트들의 쌍들이 어떻게 계산되는지에 대한 더 상세한 설명이 제공된다. 몇몇 실시예들에서 현재 및 소스 깊이 맵의 하나 또는 둘 모두에서 샘플 포인트들이 취해지며(1100) 이들 샘플 포인트들은 대응 포인트들의 쌍들을 발견하기 위한 후보로서 사용된다. 샘플링은 포인트들 중 특정 비율을 무작위로 선택함으로써 이루어질 수 있다. 다른 하나의 실시예에서 샘플링은 포인트들의 표면 법선(surface normal)들을 고려하는 방식으로 이루어진다. 예를 들어, 표면 법선은 각각의 포인트(아래에서 더 상세히 기술되는 바와 같이) 및 서로 다른 범위의 표면 법선 값들에 대한 복수의 빈(bin)들을 사용하여 생성된 하나의 히스토그램에 대해서 계산된다. 샘플링은 빈들을 대해 균일한 샘플링이 이루어질 수 있도록 수행된다.

샘플링을 사용함으로써 계산 비용이 감소되는 장점이 성취된다. 그러나, 샘플링이 사용될 때 프로세스의 정확도와 건강성이 감소된다는 위험이 존재한다. 이것은 샘플 포인트들이 그 샘플이 취해졌던 깊이 맵의 양호한 표시를 제공하지 않을 수 있기 때문이다. 예를 들어, 샘플들은 프로세스로 하여금 프로세스가 솔루션으로서 식별하지만 실제로는 전체적으로 최적화된 솔루션이 아니라 로컬적으로 최적화된 솔루션을 나타내는 대응 포인트들의 세트를 발견할 수 있도록 할 수 있다.

언급된 바와 같이, 어떠한 샘플링의 사용도 필수적인 것은 아니다. 프로세스는 모든 이용가능한 포인트들이 사용될 때도 또한 작업가능하며 양호한 결과를 제공한다. 이 경우 본 명세서에서 기술된 GPU 구성은 프로세스가 300,000 이상으로 많을 수 있는 각각의 깊이 맵 내의 모든 포인트들에 대해 실시간으로 동작할 수 있도록 허용한다. 도 11을 참조하여 아래에서 기술된 예에서 프로세스는 샘플링을 사용하는 것으로서 기술된다. 그러나, 도 11의 프로세스는 또한 샘플링이 수행되지 않는 경우에도 적용가능하다.

도 11에서 도시된 바와 같이, 샘플 포인트(또는 샘플링이 수행되지 않는 경우에는 각각의 이용가능한 포인트)의 표면 법선이 계산된다(1102). 예를 들어, 이것은 하나의 주어진 포인트에 대하여 깊이 맵 내에서 4개의(또는 그 이상의) 가장 가까은 이웃 포인트를 발견하고 이들 이웃들과 포인트 그 자신을 포함하는 하나의 표면 패치를 계산함으로써 달성된다. 이후 이 표면 패치에 대한 법선이 그 포인트의 위치에서 계산된다.

이후 대응 포인트 쌍을 발견하는 프로세스(1104)가 이어진다. 이제 이것은 고밀도 3D 모델의 사용 없이 소스 및 현재 깊이 맵이 이용가능한 경우로 기술된다. 소스 깊이 맵에서 각각의 샘플 소스 포인트에 대하여, 소스 깊이 맵과 연관된 카메라 위치로부터 샘플 소스 포인트를 통과하여 목적 깊이 맵 내의 하나의 목적 포인트 상으로 광선이 투사된다(1106). 몇몇 경우들에서, 목적 포인트는 투사된 광선을 따라 샘플 소스 포인트 앞에 있을 수 있다. 이 투사 프로세스는 "투사 데이터 연간"이라고 지칭될 수 있다. 이후 목적 포인트를 포함하여 그 주변의 후보 대응 포인트들에 대한 검색이 이루어진다(1108). 예를 들어, 검색은 샘플 소스 포인트의 표면 법선과 호환되는 표면 법선을 가지는 포인트들에 대한 것이다. 표면 법선은 만약 그들이 서로 특정 범위 내에 존재하는 경우 즉 목적 포인트의 특정 유클리드 거리 내에 존재하는 경우에 호환된다고 말해진다. 예를 들어, 이 특정 범위는 사용자가 설정가능하다.

하나 이상의 후보 대응 포인트는 이 검색의 결과로서 발견된다. 이들 후보 대응 포인트로부터 하나의 단일 포인트가 소스 포인트와 함께 하나의 쌍을 형성하도록 선택된다(1110). 이 선택은 거리 메트릭의 기초 상에서 이루어진다. 예를 들어, 소스 포인트와 후보 대응 포인트들 각각 사이의 유클리드 거리(Euclidean distance)가 계산된다. 이후 가장 작은 유클리드 거리를 제공하는 쌍이 선택된다. 이후 샘플 소스 포인트들 각각에 대해 또는, 샘플링이 수행되지 않는 경우에, 소스 깊이 맵의 이용가능한 포인트들 각각에 대해 박스(1104)의 프로세스가 반복된다.

몇몇 실시예들에서 대응 포인트 쌍 각각에 가중치가 할당된다(1112). 예컨대 가중치는 RGB 카메라 또는 그 외 다른 센서와 같은 그 외 다른 소스들로부터의 정보를 사용하여 할당될 수 있다. 일 예에서, 깊이 카메라의 측정 특성에 관련된 가중치가 계산되고 각 대응 포인트 쌍과 함께 저장된다. 이 가중치는 결과의 품질을 향상시키기 위하여 에러 메트릭을 적용하는 프로세스 동안에 사용될 수 있다.

몇몇 실시예들에서 깊이 맵 경계 상에 또는 근처에 있는 포인트를 포함하는 쌍은 거절된다(1114). 이것은 2개의 깊이 맵 사이의 중첩이 단지 부분적일 경우에 에러를 회피하는데 도움을 준다. 그 외 기준도 또한 상을 거절하기 위해 사용될 수 있다. 예를 들어, 몇몇 실시예들에서 도 9의 컴포넌트(910)을 참조하여 위에서 언급된 바와 같은 평면 추출이 수행된다. 그 경우, 동일한 평면상에 존재하는 쌍들이 거절될 수 있다.

몇몇 실시예들에서, 소스 깊이 맵은 깊이 카메라에 의해 캡쳐되고 있는 장면의 고밀도 3D 모델로부터 추정되거나 예측된다. 이 경우 도 12의 방법이 이어진다. 장면의 고밀도 3D 모델은 GPU 메모리 내에 저장된 장면의 3D 표면 표현을 포함한다. 3D 모델을 저장하는 그 외 다른 방식이 사용될 수 있다. 고밀도 3D 모델은 슬라이스-행-열 순서로(이것에 관한 더 상세한 설명은 아래에서 제공된다), 선택적으로 슬라이스와 행이 특정 메모리 블록 크기로 정렬될 수 있도록 하는 특정 패딩(padding)을 가지고, 하나의 선형 어레이로서 저장될 수 있다. 옥트-트리(oct-tree), 코올스-파인 표현(coarse-fine representation), 다각형 메쉬와 같은 메쉬-기반 표현과 같은 3D 모델을 저장하는 그 외 다른 방식이 사용될 수 있다.

이제 고밀도 3D 모델이 GPU 상에 "슬라이스-행-열" 순서로 저장되어 있는 경우에 관한 더 상세한 설명이 제공된다. 이 경우에, 모델은 3D 부피를 나타내기 위하여 사용된 메모리 위치들의 선형 어레이로서 저장될 수 있다. 이것은 GPU 메모리상에 저장되어 있는 데이터에 대한 신속하고 병렬의 접근을 제공하는 하나의 선형 피치드 메모리를 사용하여 각각의 복셀을 하나의 메모리 어레이 인덱스에 매핑함으로써 성취된다.

현재 깊이 맵의 샘플 포인트의 표면 법선은 샘플 포인트에 대한 이웃 포인트를 평가함으로써 위에서 기술된 바와 같이 계산된다(1200). 예측된 소스 깊이 맵에 대하여, 각각의 예측된 샘플 포인트에 대해 고밀도 3D 모델로부터 표면 법선 예측 및 표면 위치 예측이 계산된다(1202). 예측된 샘플 포인트는 현재 깊이 맵으로부터의 샘플 포인트와 동일한 픽셀 위치에 있는 고밀도 3D 모델로부터의 포인트이다. 이것은 고밀도 표면 모델의 부피 안으로 광선을 투사함으로써 이루어진다. 이 광선은 현재 깊이 맵과 연관된 추정 카메라 위치와 방향으로부터 현재 깊이 맵 내의 샘플 포인트에 대응하는 해당 3D 모델의 일면 상의 포인트를 통과하여 3D 모델 내로 투사된다. 이것은 3D 모델이 부피적인 표현으로서 저장되어 있는 상황에 적용된다. 3D 모델이 메쉬 기반 표현을 사용하여 저장되어 있는 상황에서 먼저 이 표현은 가상 깊이 이미지 표현을 형성하도록 투사된다. 이후 광선은 이 가상 깊이 이미지 표현 안으로 투사될 수 있다. 이 광선을 따라 첫번째 가시적인 표면은 광선을 따라 전진함으로써 그리고 첫번째 양에서 음으로 영 교차(zero crossing)을 발견하기 위하여 표면 밀도 함수를 평가함으로써 발견된다. 연관된 서브 픽셀 월드 포인트는 광선을 따라 표면 밀도 함수의 교차의 추정으로부터 발견된다. 일 예에서, 광선을 따라 표면 교차 포인트는 영(zero)이 발생된 서브 픽셀 월드 포인트를 발견하기 위하여 검출된 영 교차의 어느 한 측에서 3-선형으로 샘플링된 포인트들이 주어지면 단순 선형 내삽법을 사용하여 계산될 수 있다. 이 서브 픽셀 월드 포인트는 예측된 표면 위치로서 취해진다. 이 위치에서 예측된 표면 법선을 발견하기 위하여, 3-선형 내삽법을 사용하여 표면 밀도 함수 기울기의 유한한 차이들이 발견된다. 표면 법선 예측 및 표면 위치 예측을 계산하는 프로세스는 각 광선이 평행하게 취급되는 것과 함께 GPU에서 구현될 수 있다.

각각의 예측된 샘플 포인트(고밀도 3D 모델로부터 획득된)에 대하여 현재 깊이 맵 내의 대응 포인트를 식별하기 위해 프로세스(1204)가 이어진다. 이것은 도 11의 프로세스(1104)와 유사하다. 예측된 샘플 포인트는 목적 깊이 맵(현재 깊이 맵) 내의 목적 포인트 상으로 투사된다(1206). 이후 목적 포인트와 호환되는 표면 법선을 가지는 목적 포인트 주위의 후보 대응 포인트들에 대한 검색이 이루어진다(1208). 이들 후보 대응 포인트들로부터 거리 메트릭에 따라 하나의 포인트가 선택된다(1210). 예를 들어, 한 쌍의 포인트들은 만약 그 포인트들이 서로에 대해 특정 유클리드 거리 e1 내에 있고 그 쌍의 표면 법선들 사이의 스칼라 곱(dot product)은 특정 문턱 e2 보다 더 큰 경우에 호환된다. 파라미터 e1 및 e2는 사용자가 설정가능할 수 있거나 또는 제조 단계에서 설정될 수 있으며 이에 의하여 특정 세팅으로 사용하기 위해 장치가 경험적으로 조정된다.

몇몇 경우들에서 대응 포인트 쌍에게 가중치가 할당된다(1212). 몇몇 실시예들에서 쌍은 만약 깊이 맵 경계상에 또는 근처에 있는 적어도 하나의 포인트를 포함하는 경우에 거절된다(1214). 일 예에서 깊이 카메라의 측정 특성에 관련된 가중치는 각각의 대응 포인트 쌍과 함께 저장된다. 이들 가중치는 결과의 품질을 향상시키기 위하여 에러 메트릭을 적용하는 프로세스 동안에 사용될 수 있다.

예컨대, 일단 대응 포인트 쌍이 도 11 또는 도 12의 프로세스를 사용하여 식별되면, 에러 메트릭이 계산되고 최소화되며 도 10의 반복 프로세스가 반복된다.

일 예에서 대응 포인트 쌍에 대해 포인트-대-평면 에러 메트릭이 계산되고 이 메트릭은 갱신된 등록 파라미터를 획득하기 위해 최적화된다(1300). 이 프로세스는 이제 도 13을 참조하여 기술된다. 이 프로세스는 이제 기술되는 바와 같이 실시간 프로세싱을 획득하기 위하여 GPU와 같은 적어도 하나의 병렬 컴퓨팅 유닛을 사용하여 구현되도록 설계된다.

포인트-대-평면 에러 메트릭을 계산하는 것은, 목적 포인트를 포함하며 또한 목적 포인트의 근사적인 표면 법선에 대해 수직 방향인 평면에 대한 각각의 소스 포인트로부터의 거리의 제곱의 합을 계산하는 것(1302)으로서 생각될 수 있다. 프로세스는 갱신된 세트의 등록 파라미터를 발견하기 위하여 이 메트릭을 최적화하고자 한다. 이런 종류의 최적화 문제를 푸는 것은 간단하지 않으며 통상적으로 상당한 컴퓨터 자원을 요구하므로 이런 종류의 프로세스를 실시간 애플리케이션으로 구현하기 어렵다. 실시간 프로세싱이 가능하게 하는 GPU와 같은 병렬 프로세싱 유닛을 사용하는 예시적인 구현예가 이제 기술된다.

대응 포인트 쌍들은 스케일되고 이동될 수 있다(1304). 이것은 최적화 프로세스의 안정성을 향상시키지만 필수적인 것은 아니다.

각각의 대응 포인트 쌍에 대하여 복수의 동시적인 방정식들을 포함하는 선형 시스템이 수치적인 최소 제곱 최적화(numerical least squares optimization)를 사용하여 에러 메트릭을 최적화하기 위하여 병렬 컴퓨팅 유닛 상에서 형성된다(1306). 각각의 선형 시스템은 6×6 매트릭스의 형태일 수 있다. 복수의 매트릭스들은 병렬 컴퓨팅 유닛 상에서 하나의 단일 6×6 매트릭스로 감소될 수 있다. 프레임 속도가 높기 때문에(예컨대, 초당 20 프레임 이상) 임의의 2개의 연속적인 프레임 사이의 각도(카메라 방향의 변화)에 대해 작은 각도 근사(small angle approximation)을 적용하는 것이 가능하다. 즉, 프레임 속도가 매우 높기 때문에, 카메라는 프레임들 사이에서 단지 작은 양만 이동할 것이다. 이러한 근사를 적용함으로써 시스템의 실시간 동작이 용이하게 된다.

단일 6×6 매트릭스는 CPU로 전달되고 갱신된 등록 파라미터를 발견하기 위하여 해답이 구해진다(1308). 해답은 단계(1304)의 스케일 및 이동에 대해 역으로 스케일되고 이동된다(1310). 해답의 안정성이 체크(1312)되고 갱신된 등록 파라미터가 프로세스에 의해 출력된다(1314).

일 예에서, 다음의 포인트-대-평면 에러 메트릭이 사용되지만 이것은 필수적인 것은 아니며; 그 외 다른 에러 메트릭도 역시 사용될 수 있다:

이 에러 메트릭은 새로운 변형 T_k를 획득하기 위하여 사용될 수 있다. 사용된 기호에 대한 상세한 설명이 이제 제공된다. 깊이 카메라 D_k의 현재 프레임 k는 이미지 영역 u ∈ U 내의 이미지 픽셀 u = (x, y)에서 조정된 깊이 측정치 d = D_k(u)를 제공한다. 이들 측정치는 (동차의 좌표를 사용하여)

로서 카메라의 세계 공간 안으로 재-투사될 수 있다. 깊이 센서로부터의 각각의 프레임이 규칙적인 격자에 대한 표면 측정치이기 때문에, 시스템은 또한 이웃하는 재-투사된 격자 포인트들 사이의 유한 차이에 의해 추정되는 대응 법선 벡터

를 계산할 수 있다. SE3 변형 매트릭스는 카메라 좌표 프레임을 시간 k에서

와 같이 전체 프레임 g로 매핑할 수 있다. (법선 벡터의 등가 매핑은

이다). 시간 k에서 전체 좌표 시스템 안에서 3D 모델의 추정은 M_k라고 표시되며, 본 명세서에서 기술된, 부피적인 표현으로 저장될 수 있다. 들어오는 깊이 프레임 D_k는 이전 프레임의 카메라 포즈 T _{k -1}로의 레이 캐스팅에 의하여 전체 3D 재구성 모델 M_{k -1}의 이전 프레임의 추정에 대비하여 등록된다. 이것은 예측된 이미지

또는 등가적으로 한 세트의 전체 모델 포인트

및 모델 법선

으로 귀결되는데, 여기서

는 대응 인덱스 세트이다. 포인트 대 평면 에러 메트릭을 위한 위의 방정식에서 기호

는 시간 k에서 카메라와 모델 모인트 사이의 보호용 데이터 연간 매핑을 나타낸다.

일 예에서, 프레임 정렬 엔진(908)에 의해 식별된 대응 포인트 쌍 각각은 GPU와 같은 병렬 컴퓨팅 유닛에서 병렬로 프로세싱될 수 있다. 따라서 대응 포인트 쌍 각각에 대하여, 포인트-대-평면 구속 시스템의 산술적 표현을 제공하는 하나의 선형 시스템이 계산된다. 작은 각도 근사를 수행함으로써 변형 T는 3 요소 이동 벡터 t와 함께 스큐 대칭(skew symmetric) 매트릭스

에 의해 증가하는 회전의 3 벡터를 사용하여 파라미터로 표시될 수 있다. 선형 시스템은 선형화된 에러 메트릭의 첫번째 도함수를 영으로 설정함으로써 획득된다. 이 포인트-대-평면 구속 시스템은 위에서 언급된 포인트-대-평면 에러 메트릭의 최적화를 표현한다. 이 계산은 병렬 컴퓨팅 유닛에서 대응 포인트 쌍 각각에 대하여 병렬로 발생한다. 이런 방식으로 에러 메트릭은 각각의 식별된 대응 포인트에 대해 병렬로 적용된다. 각각의 포인트 쌍에 대한 산술적 표현은 트리 리덕션 프로세스(tree reduction process) 또는 산술적 표현을 평가하는 그 외 다른 적합한 방법을 사용하여 평가된다. 트리 리덕션 프로세스는, 그것에 의해 산술적 표현이 산술적 동작을 나타내는 트리의 노드들과 값들을 나타내는 트리의 리프 노드들을 가지는 트리 구조로 나타나는 평가 전략이다. 이 표현은 트리의 브랜치들을 따라 평가의 결과를 전달함으로써 트리 구조에 따르는 순서로 평가된다. 병렬 프로세스로부터의 에러 메트릭 최적화 프로세스의 결과들은 함께 하나의 단일 6×6 매트릭스가 출력될 수 있게 한다.

도 14는 임의의 형태의 컴퓨팅 및/또는 전자 장치로서 구현될 수 있는 예시적인 컴퓨팅-기반 장치(1404)의 다양한 컴포넌트들을 도시하며, 여기서 실시간 카메라 추적기의 실시예들이 구현될 수 있다.

컴퓨팅-기반 장치(1404)는 사용자 입력 장치(예컨대, 캡쳐 장치(1406), 게임 컨트롤러(1405), 키보드(1407), 마우스(1409))와 같은 하나 이상의 장치로부터 입력을 수신하고 프로세싱하도록 구성된 하나 이상의 입력 인터페이스(1402)를 포함한다. 이 사용자 입력은 소프트웨어 애플리케이션 또는 실시간 카메라 추적을 제어하기 위하여 사용될 수 있다. 예를 들어, 캡쳐 장치(1406)는 어떤 장면의 깊이 맵을 캡쳐하기 위해 구성된 모바일 깊이 카메라일 수 있다. 컴퓨팅-기반 장치(1404)는 그 캡쳐 장치(1406)의 실시간 추적을 제공하도록 구성될 수 있다.

컴퓨팅-기반 장치(1404)는 또한 컴퓨팅 장치(1404)와 별도일 수 있는 또는 일체화된 것일 수 있는 디스플레이 장치(1408)에 디스플레이 정보를 출력하도록 구성된 출력 인터페이스(1410)를 포함한다. 디스플레이 정보는 그래픽 사용자 인터페이스를 제공할 수 있다. 일 예에서, 디스플레이 장치(1408)는 또한 만약 그것이 터치 감지 디스플레이 장치라면 사용자 입력 장치로서도 행동할 수 있다. 출력 인터페이스(1410)는 또한 예컨대 로컬에서 연결된 프린팅 장치와 같이, 디스플레이 장치가 아닌 장치에 데이터를 출력할 수 있다.

컴퓨터 실행가능 인스트럭션(instructions)은 컴퓨팅 기반 장치(1404)에 의해 접근가능한 임의의 컴퓨터-판독가능 매체를 사용하여 제공도리 수 있다. 컴퓨터-판독가능 매체는 예를 들어 메모리(1412)와 같은 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 메모리(1412)와 같은 컴퓨터 저장 매체는 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈 또는 그 외 다른 데이터와 같은 정보의 저장을 위한 임의의 방법이나 기술로 구현된 휘발성 및 비-휘발성, 탈거가능 및 비-탈거가능 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 그 외 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 그 외 다른 광학 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 그 외 다른 자기 저장 장치, 또는 컴퓨팅 장치에 의한 접근을 위해 정보를 저장하기 위하여 사용될 수 있는 임의의 그 외 다른 비-전송 매체를 포함하지만 이에만 국한되는 것은 아니다.

반면에, 통신 매체는 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 그 외 다른 데이터를 반송파 또는 그 외 이송 메커니즘과 같은 변조된 데이터 신호로 구현할 수 있다. 본 명세서에서 한정된 바와 같이, 컴퓨터 저장 매체는 통신 매체를 포함하지 않는다. 비록 컴퓨터 저장 매체(메모리(1412)가 컴퓨터-기반 장치(1404) 내에 도시되어 있으나 저장장치는 분산되거나 원격으로 위치될 수 있고 또한 네트워크 또는 그 외 다른 통신 링크(예컨대, 통신 인터페이스(1413)를 사용하여)를 통해 접근가능하다는 점이 이해될 것이다.

컴퓨팅-기반 장치(1404)는 또한 마이크로프로세서, 그래픽 프로세싱 유닛(GPU), 컨트롤러 또는 실시간 카메라 추적을 제공하기 위하여 장치의 동작을 제어하는 컴퓨팅 실행가능 인스트럭션을 프로세싱하기 위한 임의의 그 외 다른 적합한 종류의 프로세서일 수 있는 하나 이상의 프로세서(1400)를 포함한다. 몇몇 예들에서, 예컨대 칩 아키텍처 상의 시스템이 사용되는 경우에, 프로세서(1400)는 실시간 카메라 추적 방법의 일부를 (소프트웨어나 펌웨어가 아니라) 하드웨어로 구현하는 하나 이상의 고정된 기능 블록(또한 가속기라고도 지칭되는)들을 포함할 수 있다.

운영 시스템(1414)이나 임의의 그 외 다른 적합한 플랫폼 소프트웨어를 포함하는 플랫폼 소프트웨어는 애플리케이션 소프트웨어(1416)가 장치상에서 실행되도록 하기 위하여 컴퓨터-기반 장치에 제공될 수 있다. 컴퓨팅 장치(1404)상에서 실행도리 수 있는 그 외 다른 소프트웨어에는 프레임 정렬 엔진(1418)(예컨대, 도 9 내지 도 13 및 위의 설명을 참조), 루프 클로저 엔진(1420), 리로컬라이제이션 엔진(1422)가 포함된다. 데이터 저장부(1424)는 이전에 수신된 깊이 맵, 등록 파라미터, 사용자 설정가능 파라미터, 그 외 다른 파라미터, 장면의 3D 모델, 게임 상태 정보, 게임 메타 데이터, 맵 데이터 및 그 외 다른 데이터와 같은 데이터를 저장하기 위하여 제공된다.

용어 '컴퓨터'는 본 명세서에서 인스트럭션을 실행할 수 있는 것과 같은 프로세싱 성능을 가진 임의의 장치를 지칭하기 위하여 사용된다. 해당 기술 분야의 지식을 가진 자는 그러한 프로세싱 성능은 많은 서로 다른 장치들에 병합되어 있으며 따라서 용어 '컴퓨터'는 PC, 서버, 모바일 전화, PDA(personal digital assistant) 및 많은 그 외 다른 장치들을 포함한다는 것을 알 것이다.

본 명세서에서 기술된 방법들은 유형적인 저장 매체 상에 기계로 판독가능한 형태의, 예컨대 그 프로그램이 컴퓨터상에서 실행될 때 본 명세서에서 기술된 임의의 방법들의 모든 단계들을 수행하도록 적응된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램의 형태이며 이 컴퓨터 프로그램은 컴퓨터 판독가능 매체상에 구현되는, 소프트웨어에 의해 수행될 수 있다. 유형적인(또는 비-전송적인) 저장 매체의 예에는 디스크, 섬 드라이브(thumb drive), 메모리 등이 포함되며 전파되는 신호는 포함되지 않는다. 소프트웨어는 방법 단계들이 임의의 적절한 순서로 또는 동시에 수행될 수 있는 방식으로 하나의 병렬 프로세서 또는 하나의 직렬 프로세서상에서 실행되기에 적합할 수 있다.

이것은 소트프웨어가 가치있으며, 별도로 거래가능한 상품일 수 있다는 점을 확인한다. 원하는 기능들을 수행하기 위하여 "스마트하지 않은(dumb)" 또는 표준적인 하드웨어에서 실행되거나 또는 그 하드웨어를 제어하는 소프트웨어를 포괄하는 것으로 의도된다. 또한 원하는 기능들을 수행하기 위하여, 실리콘 칩을 설계하기 위해 사용되거나 또는 범용 프로그램가능 칩을 설정하기 위하여 사용되는 것과 같은, HDL(hardware description language) 소프트웨어와 같이, 하드웨어의 설정을 "기술하거나" 또는 한정하는 소프트웨어를 포괄하는 것으로도 의도된다.

해당 기술분야의 지식을 가진 자는 소프트웨어 프로그램 인스트럭션을 저장하기 위하여 사용되는 저장 장치가 네트워크를 통해 분산될 수 있다는 점을 이해할 것이다. 예를 들어, 원격 컴퓨터는 소프트웨어로서 기술된 프로세스의 일 예를 저장할 수 있다. 로컬 또는 단말 컴퓨터는 프로그램을 실행하기 위해 그 원격 컴퓨터에 접근하여 소프트웨어의 일부나 전부를 다운로드할 수 있다. 대안적으로, 로컬 컴퓨터는 필요한 만큼만 소프트웨어의 부분들을 다운로드할 수 있거나, 또는 일부 소프트웨어 인스트럭션은 로컬 단말에서 실행하고 일부는 원격 컴퓨터(또는 컴퓨터 네트워크)에서 실행할 수 있다. 해당 기술분야의 지식을 가진 자는 또한 해당 기술분야의 지식을 가진 자에게 알려져 있는 종래의 기술을 사용함으로써 소프트웨어의 모두 또는 일부가 DSP, 프로그램가능 로직 어레이 등과 같은 하나의 전용 회로에 의해 수행될 수 있다는 점을 이해할 것이다.

본 명세서에서 제공된 임의의 범위 또는 장치 값은, 기술자에게 명백하게 될 것과 같이, 추구하는 효과를 잃지 않으면서 확장되거나 변경될 수 있다.

비록 발명의 주제가 구조적 특징 및/또는 방법론적 행동에 특정한 언어로 기술되었으나, 첨부된 청구범위에서 한정된 발명의 주제는 위에서 기술된 특정한 특징이나 행동으로 제한되어야 할 필요가 없다는 점이 이해되어야 한다. 반대로, 위에서 기술된 특정한 특징과 행동은 청구범위를 구현하는 예시적인 형태로서 개시되어 있을 뿐이다.

위에서 기술된 이점들과 장점들은 하나의 실시예에 관련될 수 있거나 또는 몇 개의 실시예들에 관련될 수 있다는 점이 이해될 것이다. 실시예들은 진술된 문제들 중 임의의 것 또는 모든 것을 해결하는 것 또는 진술된 이점들과 장점들 중 임의의 것 또는 모든 것을 가지는 것으로만 제한되지 않는다. "단수" 아이템은 해당 아이템의 하나 이상을 참조한다는 점이 또한 이해될 것이다.

본 명세서에서 기술된 방법의 단계는 임의의 적합한 순서로, 또는 적절한 경우에 동시에 수행될 수 있다. 덧붙여서, 개별적인 블록은 본 명세서에서 기술된 발명적 주제의 정신과 범위에서 벗어나지 않으면서 임의의 방법으로부터 삭제될 수 있다. 위에서 기술된 예들 중 임의의 것의 양상들은 추구하는 효과를 잃지 않으면서 추가적인 예들을 형성하기 위해 기술된 다른 예들 중 임의의 양상들과 조합될 수 있다.

용어 '포함'한다는 본 명세서에서 식별된 방법 블록이나 요소를 포함하지만, 그러한 블록이나 요소는 배타적인 리스트를 구성하는 것이 아니며 방법이나 장치가 추가적인 블록이나 요소를 포함할 수 있다는 점을 의미하기 위하여 사용된다.

바람직한 실시예에 대한 위의 설명은 오직 예시적으로만 제공된 것이며 해당 기술 분야의 지식을 가진 자에 의해 다양한 수정이 이루어질 수 있다는 점이 이해될 것이다. 위의 상세한 설명, 예들 및 데이터는 본 발명의 예시적인 실시예들의 구조와 사용에 대한 완전한 설명을 제공한다. 비록 본 발명의 다양한 실시예들이 특정한 수준의 구체성을 가지고 또는 하나 이상의 개별적인 실시예들을 참조하면서 위에서 기술되었으나, 해당 기술분야의 지식을 가진 자는 본 발명의 정신이나 범위에서 벗어나지 않고도 개시된 실시예들에 대하여 수많은 변형을 만들 수 있을 것이다.

Claims (10)

1. 실시간 카메라 리로컬라이제이션(relocalization) 방법으로서,
   움직이는 모바일 깊이 카메라로부터 깊이 맵 프레임들의 시퀀스를 수신하는 단계 - 각각의 깊이 맵 프레임은 복수의 이미지 요소들을 포함하고, 각각의 이미지 요소는 상기 모바일 깊이 카메라에서부터 상기 모바일 깊이 카메라에 의해 캡쳐된 장면 내의 표면까지의 거리에 관한 깊이 값을 가짐 - 와;
   상기 깊이 맵 프레임들을 사용하여 상기 모바일 깊이 카메라의 위치 및 방향을 추적하고, 동시에 상기 깊이 맵 프레임들을 사용하여 상기 모바일 깊이 카메라가 움직이고 있는 환경의 3D 모델을 형성하는 단계와;
   상기 모바일 깊이 카메라의 위치 및 방향의 추적에 있어서의 실패를 검출하는 단계; 및
   상기 모바일 깊이 카메라에 의해 캡쳐된 현재 깊이 맵을 사용하여 그것의 위치 및 방향을 재계산함으로써 상기 모바일 깊이 카메라를 리로컬라이징하는 단계를 포함하는,
   실시간 카메라 리로컬라이제이션 방법.
   
2. 제 1 항에 있어서,
   상기 모바일 깊이 카메라의 위치 및 방향의 추적에 있어서의 실패를 검출하는 단계는,
   문턱을 사용하여 상기 모바일 깊이 카메라의 현재 및 이전에 추적된 위치에서의 변화를 비교하는 단계; 상기 모바일 깊이 카메라의 위치 및 방향을 추적하기 위하여 사용된 반복 프로세스의 수렴에 있어서의 실패를 검출하는 단계; 및 상기 모바일 깊이 카메라의 움직임 모델을 사용하여 예측된 위치 및 방향과 상기 모바일 깊이 카메라의 현재 추적된 위치 및 방향을 비교하는 단계 중 임의의 것을 포함하는,
   실시간 카메라 리로컬라이제이션 방법.
   
3. 제 1 항 또는 제 2 항에 있어서,
   상기 모바일 깊이 카메라를 리로컬라이징하는 단계는, 상기 모바일 깊이 카메라에 의해 이전에 수집된 깊이 맵 프레임들로서, 각각 연관된 카메라 위치 및 방향을 가지는 복수의 키프레임으로부터 현재 깊이 맵과 유사한 키프레임을 발견하는 단계를 포함하고,
   키프레임을 발견하는 단계는, 상기 현재 프레임과 유사한 배열과 위치의 수직 및 수평 표면들을 가지는 키프레임을 선택하기 위하여 기하학적 추정 프로세스를 이용하는 것; 및 상기 모바일 깊이 카메라의 마지막 알려진 위치와 관련된 순서로 복수의 키프레임을 검색하는 것 중 임의의 것을 포함하는,
   실시간 카메라 리로컬라이제이션 방법.
4. 제 1 항에 있어서,
   상기 모바일 깊이 카메라를 리로컬라이징하는 단계는, 상기 모바일 깊이 카메라의 알려진 이전 움직임이 제공된 포즈들의 예측된 분포인 상기 깊이 카메라의 포즈들의 트랙 분포를 계산하는 단계와; 상기 트랙 분포로부터 하나의 포즈를 샘플링하는 단계; 및 이 샘플링된 포즈를 사용하여 현재 깊이 맵 및 이전 깊이 맵을 정렬하는 단계를 포함하는,
   실시간 카메라 리로컬라이제이션 방법.
   
5. 제 1 항에 있어서,
   상기 모바일 깊이 카메라를 리로컬라이징하는 단계는, 깊이 맵의 텍스처 특징인 텍스톤(texton)들의 히스토그램을 획득하기 위하여 현재 깊이 맵으로부터의 패치들 및 상기 환경의 3D 모델에서 획득된 복수의 이전 깊이 맵으로부터의 패치들에 대해 무작위 결정 포레스트(random decision forest)를 적용하는 단계 및 상기 히스토그램의 관점에서 상기 현재 깊이 맵과 유사한 이전 깊이 맵을 선택하는 단계를 포함하는,
   실시간 카메라 리로컬라이제이션 방법.
   
   
6. 실시간 카메라 리로컬라이제이션 시스템으로서,
   움직이는 깊이 카메라로부터 깊이 맵 프레임들의 시퀀스를 수신하도록 구성된 입력 - 각각의 깊이 맵 프레임은 복수의 이미지 요소들을 포함하고, 각각의 이미지 요소는 상기 모바일 깊이 카메라에서부터 상기 모바일 깊이 카메라에 의해 캡쳐된 장면 내의 표면까지의 거리에 관한 깊이 값을 가짐 - 과;
   상기 깊이 맵 프레임들을 사용하여 상기 모바일 깊이 카메라의 위치 및 방향을 추적하도록 구성된 프레임 정렬 엔진과;
   상기 깊이 맵 프레임들을 사용하여 상기 모바일 깊이 카메라가 움직이고 있는 환경의 3D 모델을 형성하도록 구성된 3D 모델 형성 시스템과;
   상기 모바일 깊이 카메라의 위치 및 방향의 추적에 있어서의 실패를 검출하도록 구성되고, 또한 상기 모바일 깊이 카메라에 의해 캡쳐된 현재 깊이 맵 및 상기 3D 모델로부터 획득된 적어도 하나의 이전 깊이 맵을 사용하여 그것의 위치 및 방향을 재계산함으로써 상기 모바일 깊이 카메라를 리로컬라이징하도록 구성되는 리로컬라이제이션 엔진을 포함하는
   실시간 카메라 리로컬라이제이션 시스템.
   
7. 제 6 항에 있어서,
   상기 리로컬라이제이션 엔진은, 깊이 맵의 텍스처 특징인 텍스톤(texton)들의 히스토그램을 획득하기 위하여 현재 깊이 맵으로부터의 패치들 및 상기 환경의 3D 모델에서 획득된 복수의 이전 깊이 맵으로부터의 패치들에 대해 무작위 결정 포레스트를 적용하도록 구성되고 또한 상기 히스토그램의 관점에서 상기 현재 깊이 맵과 유사한 이전 깊이 맵을 선택하도록 구성되는,
   실시간 카메라 리로컬라이제이션 시스템.
   
8. 제 6 항에 있어서,
   상기 리로컬라이제이션 엔진은, 상기 모바일 깊이 카메라에 의해 이전에 수집된 깊이 맵 프레임들로서, 각각 연관된 카메라 위치 및 방향을 가지는 복수의 키프레임으로부터 현재 깊이 맵과 유사한 키프레임을 발견하도록 구성되는,
   실시간 카메라 리로컬라이제이션 시스템.
   
9. 제 8 항에 있어서,
   상기 리로컬라이제이션 엔진은, 상기 현재 프레임과 동일한 배열과 위치의 수직 및 수평 표면들을 가지는 키프레임을 선택하기 위하여 기하학적 추정기를 이용하는 것; 및 상기 모바일 깊이 카메라의 마지막 알려진 위치와 관련된 순서로 복수의 키프레임을 검색하는 것 중 임의의 것에 의하여 키프레임을 발견하도록 구성되는,
   실시간 카메라 리로컬라이제이션 시스템.
   
10. 게임 시스템으로서,
    적외선 타임-오브-플라이트(time-of-flight) 모바일 깊이 카메라를 포함하며, 이 모바일 깊이 카메라는 이 모바일 깊이 카메라를 추적하기 위하여 제6항의 시스템 및 구조화된 광을 사용하며, 상기 모바일 깊이 카메라 및 실시간 추적기는 적어도 초당 30 프레임으로 동작하도록 구성되고, 상기 게임 시스템은 상기 모바일 깊이 카메라의 추적과 관련하여 게임의 진로에 영향을 미치도록 구성되는,
    게임 시스템.

Images