KR101947619B1 - 모바일 디바이스에서의 slam - Google Patents

Abstract

실제 환경에서 적어도 하나의 카메라를 포함하는 모바일 디바이스를 추적하는 방법은, 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보를 수신하는 단계, 모바일 디바이스와 상이한 차량의 적어도 하나의 센서에 의해 획득 프로세스에서 획득된 환경 데이터 또는 차량 상태 데이터에 기초하여 실제 환경의 적어도 일부분의 제1 기하학적 모델을 생성하는 단계, 및 적어도 하나의 이미지와 연관된 이미지 정보에 기초하여 그리고 적어도 부분적으로 제1 기하학적 모델에 따라 추적 프로세스를 수행하는 단계를 포함하며, 여기서 추적 프로세스는 실제 환경에 대한 모바일 디바이스의 자세의 적어도 하나의 파라미터를 결정한다. 본 발명은 또한 모바일 디바이스의 적어도 하나의 카메라로부터의 이미지 정보를 사용하여 실제 환경의 적어도 일부분의 기하학적 모델을 생성하는 방법에 관한 것이다.

Description

모바일 디바이스에서의 SLAM{SLAM ON A MOBILE DEVICE}

본 개시내용은 실제 환경에서 적어도 하나의 카메라를 포함하는 모바일 디바이스를 추적하는 방법, 및 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보를 수신하는 것을 포함하는, 모바일 디바이스의 적어도 하나의 카메라로부터의 이미지 정보를 사용하여 실제 환경의 적어도 일부분의 기하학적 모델을 생성하는 방법에 관한 것이다.

카메라 자세(camera pose) 추정 및/또는 실제 환경의 디지털 재구성은 예를 들어 로봇 내비게이션, 3D 객체 재구성, 증강 현실 시각화 등과 같은 많은 애플리케이션들 또는 분야들에서 일반적인 어려운 과제이다. 예로서, 증강 현실(augmented reality, AR) 시스템들 및 애플리케이션들과 같은 시스템들 및 애플리케이션들은 컴퓨터-생성 가상 정보를 실제 환경의 뷰(view)와 중첩하는 시각화를 제공함으로써 실제 환경의 정보를 향상시킬 수 있다는 것이 알려져 있다. 가상 정보는 임의의 유형의 시각적으로 인지가능한 데이터, 예컨대 객체, 텍스트, 드로잉, 비디오, 또는 이들의 조합일 수 있다. 실제 환경의 뷰는 사용자의 눈에 의해 시각적 인상(visual impression)으로서 인식되고/되거나, 사용자가 소지하거나 또는 사용자가 소지한 디바이스 상에 부착된 카메라에 의해 캡처된 하나 이상의 이미지로서 획득될 수도 있다.

카메라 자세 추정의 과제는 카메라와 기준 물체(또는 환경) 사이의 공간적 관계 또는 변환을 계산하는 것이다. 카메라 모션 추정은 일 위치에 있는 카메라와 다른 위치에 있는 카메라 사이의 공간적 관계 또는 변환을 계산하는 것이다. 카메라 모션은 또한, 일 위치에 있는 카메라의, 다른 위치에 있는 동일한 카메라에 대한 자세를 기술하는(describe) 카메라 자세로 알려져 있다. 카메라 자세 또는 모션 추정은 또한 카메라를 추적하는 것으로 알려져 있다. 공간적 관계 또는 변환은 3D 공간에서의 병진, 회전, 또는 이들의 조합을 기술한다.

시각 기반(vision based) 방법들은 카메라 자세 또는 모션을 계산하기 위한 강력하고 인기있는 방법들로서 알려져 있다. 시각 기반 방법들은 카메라에 의해 캡처된 환경의 하나 이상의 이미지에 기초하여 환경에 대한 카메라의 자세(또는 모션)을 계산한다. 이러한 시각 기반 방법들은 캡처된 이미지들에 의존하고 있으며, 이미지들 내의 검출가능한 시각적 특징부들을 요구한다.

컴퓨터 시각(Computer Vision, CV) 기반 동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM)(참조문헌 [1]에 기술됨)은, 환경의 어떠한 사전 지식도 요구하지 않고 실제 환경에 대한 카메라의 위치 및/또는 배향을 결정하고 실제 환경의 기하학적 모델을 생성하기 위한 잘 알려진 기술이다. 실제 환경의 기하학적 모델의 생성은 또한 환경의 재구성으로서 지칭된다. 시각 기반 SLAM은 로봇 시스템 또는 차량의 내비게이션과 같은 많은 애플리케이션들을 용이하게 할 수 있다. 특히, 알려지지 않은 실제 환경에서 모바일 증강 현실(AR)을 지원할 유망 기술이다.

대부분의 SLAM 시스템들은 환경 모델의 초기 부분을 얻기 위해 초기화되어야 한다. 초기화는 실제 환경의 2개의 이미지를 획득하는 것 사이에서 카메라의 별개의 움직임으로 수행되어야 한다. 별개의 움직임은, 2개의 이미지가 환경까지의 거리와 비교해 충분한 변위를 갖는 2개의 별개의 카메라 위치들로부터 캡처될 것을 요구한다. 회전-전용 카메라 모션은 변질된 결과를 생성한다는 것에 유의한다(참조문헌 [3] 참조). 그것은 AR에서 SLAM 디바이스를 사용하는 것에 있어서 주요 한계들 중 하나이며, 특히 핸드헬드 또는 모바일 AR에서 시스템을 작동하기 위해 사용자에게 특정 방식으로 디바이스를 이동시키도록 요구하는 것은 확실히 사용자-친화적이지 않다. 참조문헌 [3]에서 가우글리츠(Gauglitz) 등에 의해 지적된 바와 같이, 회전-전용 카메라 움직임은 사용자들이 실제 환경에서 주위를 둘러보는 자연스러운 모션이며, 종종 많은 AR 애플리케이션들에서 발생한다. 그러나, 회전-전용 카메라 모션은 단안(monocular) SLAM에 대한 변질된 결과를 생성할 수 있다.

또한, 단일 카메라는 메트릭 스케일(metric scale)을 측정하지 않는다. AR에서 단안 SLAM 시스템을 사용하는 것에 있어서 또 다른 한계는, 복구된 카메라 자세들 및 환경의 기하학적 모델이 미결정된 인자로서 스케일에 달려 있다는 것이다(참조문헌 [4] 참조). 미결정된 스케일 인자는 카메라의 이미지에서 실제 환경에 가상 시각적 정보를 정확하게 중첩하기 위한 과제들을 도입한다.

요즘에는, 많은 도시 또는 건물의 기하학적 모델들이 3D 재구성으로부터 또는 그것들의 청사진들로부터 입수가능하다. 그러나, 이들 모델의 대부분은 도시 건설의 잦은 개발 또는 변경으로 인해 최신 상태가 아니다. 특히, 주차된 자동차들이 때때로 달라지므로 주차장들은 보통 기하학적 모델들 또는 최신 모델들을 갖고 있지 않다.

예시적인 시나리오가 도 4a에 도시되어 있다. 사용자(4a05)가 주차장에 자신의 차량(4a03)을 주차한다. 차량이 주차된 후, 사용자는 카메라가 장착된 자신의 모바일 디바이스(4a04)를 사용하여 시각 기반 추적, 예컨대 SLAM에 기초한 내비게이션 또는 증강 현실 애플리케이션들을 실행할 수 있다. 카메라의 탐색 범위/매핑된 공간은 영역(4a06)(사용자의 손에 있는 모바일 디바이스에서 시작됨)에 의해 시각화된다. 사용자는 적어도 2개의 이미지를 획득하기 위해 수동으로 별개의 움직임으로 카메라(즉, 모바일 디바이스(4a04))를 이동시켜, SLAM을 초기화하도록 요구된다(즉, 2개의 획득된 이미지로부터 기하학적 모델을 생성함). 또한, 스케일 및 정밀 정합(fine registration)은 초기화에 문제가 될 수 있다.

다양한 단안 시각 기반 SLAM 시스템들이 AR 애플리케이션들을 위해, 특히 모바일 핸드헬드 AR 애플리케이션들을 위해 개발되었다. 이들의 사용에 대한 일반적인 과제들 및 한계들은 SLAM 시스템들의 초기화 및 메트릭 스케일 인자들의 결정을 포함한다. SLAM 시스템들의 초기화는, 2개의 이미지가 환경까지의 거리와 비교해 충분한 변위를 갖는 2개의 별개의 카메라 위치들로부터 캡처되도록 하는, 실제 환경의 2개의 이미지를 획득하기 위한 카메라의 별개의 움직임을 요구한다. 카메라 자세 추정 및 임의의 생성된 기하학적 모델의 품질은 확실히 초기화에 의존한다.

적격의(qualified) SLAM 초기화를 위한 카메라의 별개의 움직임을 달성하는 것은 특히 핸드헬드 AR 애플리케이션들에서 어려우며, 이때 카메라를 소지한 사용자들은 카메라 움직임의 중요성을 알지 못할 수 있고 심지어 별개의 움직임을 실현하는 데 어려움들을 가질 수 있으며, 이는 도 4a의 시나리오에서의 경우에서와 같다. 따라서, 초기화를 간소화하거나, 또는 심지어 사용자들에게 그것이 보이지 않게 하는 것이 바람직하다.

또한, 단일 카메라는 메트릭 스케일을 측정하지 않는다. 단안 시각 기반 SLAM으로부터의 카메라 자세 및 재구성된 환경 모델은 미결정된 스케일 인자에 달려 있다. 정확한 스케일 인자는 참인(true) 카메라 자세 및 재구성된 환경 모델의 크기를 그것들이 실제 세계에 있는 것처럼 정의한다.

첫 번째 잘 알려진 단안 시각 기반 SLAM 시스템은 데이비슨(Davison) 등에 의해 개발되었다(참조문헌 [1]). 이들은 지면 환경의 각각의 새롭게 관찰된 부분에 대한 이미지들을 획득하는 것 사이에서 충분한 변위를 갖는 카메라를 요구한다. 정확한 메트릭 스케일 인자들을 결정하기 위해, 이들은 알려진 기하학적 치수를 갖는 추가적인 교정 물체를 도입한다.

참조문헌 [5]에서의 르메르(Lemaire) 등은, 카메라 움직임들을 요구하고 스케일 인자들을 결정하는 문제를 해결하기 위해 스테레오 카메라 시스템을 사용할 것을 제안한다. 스테레오 카메라를 사용하는 것은 단지 부분적 해결책인데, 그 이유는 환경의 깊이를 신뢰성 있게 계산하기 위해 2개의 카메라 사이의 변위가 환경까지의 거리에 비해 커야 하기 때문이다. 따라서, 핸드헬드 스테레오 시스템은 문제를 완전히 해결할 수 없을 수 있고, 사용자가 추가적인 별개의 움직임을 제공하도록 하는 요구는 여전히 필수적이다.

참조문헌 [6]에서의 리베르크네히트(Lieberknecht) 등은 이미지 픽셀들에 관련된 깊이 정보를 제공하는 RGB-D 카메라를 채용함으로써, 정확하게 스케일링된 카메라 자세 추정을 허용하기 위해 깊이 정보를 단안 시각 기반 SLAM에 통합시킨다. 알려진 깊이 정보로부터 스케일 인자를 결정하는 것이 가능하다. 그러나, RGB-D 카메라 디바이스는 보통의 RGB 카메라에 비해, 핸드헬드 디바이스, 예컨대 모바일 폰 또는 PDA에서 일반적으로 이용가능하지 않다. 또한, 핸드헬드 디바이스에 통합되기 위한 후보들이어야 하는 일반적인 저가의 RGB-D 카메라들은, 전형적으로 마이크로소프트(Microsoft)의 키넥트(Kinect) 시스템 또는 에이수스(Asus)의 액션 프로(Xtion Pro)와 같은 적외선 투사에 기초한다. 이들 시스템은 바로 살 수 있는 상품인(off-the-shelve commodity) 저렴한 소비자 디바이스들이다.

US 8150142 B2 및 US 7433024 B2는 RGB-D 센서의 가능한 구현의 상세한 방법들을 기술한다. 그러나, 이들 시스템은 낮에 야외에서 사용될 때 햇빛으로 인한 문제들을 갖는다.

참조문헌 [3]에서의 가우글리츠 등은 일반적인 카메라 모션 및 회전-전용 카메라 모션에 대해 작용할 수 있는 카메라 자세 추정 및 환경 모델 생성 시스템을 개발한다. 회전-전용 모션에 대해, 이들의 방법은 실제 환경의 3D 기하학적 모델 대신에 실제 환경의 파노라마 지도를 생성한다.

본 발명의 목적은 실제 환경에서 적어도 하나의 카메라를 포함하는 모바일 디바이스를 추적하는 방법, 및 모바일 디바이스의 적어도 하나의 카메라로부터의 이미지 정보를 사용하여 실제 환경의 적어도 일부분의 기하학적 모델을 생성하는 방법이며, 여기서 초기화와 같은, SLMA 방법들의 사용에 있어서의 과제들 및 한계들이 감소되고, 초기화는 사용자에게 간소화된다.

일 양태에 따르면, 실제 환경에서 적어도 하나의 카메라를 포함하는 모바일 디바이스를 추적하는 방법이 제공되며, 상기 방법은 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보를 수신하는 단계, 모바일 디바이스와 상이한 차량의 적어도 하나의 센서에 의해 획득 프로세스에서 획득된 환경 데이터 또는 차량 상태 데이터에 기초하여 실제 환경의 적어도 일부분의 제1 기하학적 모델을 생성하는 단계, 및 적어도 하나의 이미지와 연관된 이미지 정보에 기초하여 그리고 적어도 부분적으로 제1 기하학적 모델에 따라 추적 프로세스를 수행하는 단계를 포함하며, 여기서 추적 프로세스는 실제 환경에 대한 모바일 디바이스의 자세의 적어도 하나의 파라미터를 결정한다.

다른 양태에 따르면, 모바일 디바이스의 적어도 하나의 카메라로부터의 이미지 정보를 사용하여 실제 환경의 적어도 일부분의 기하학적 모델을 생성하는 방법이 제공되며, 상기 방법은 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보를 수신하는 단계, 모바일 디바이스와 상이한 차량의 적어도 하나의 센서에 의해 획득 프로세스에서 획득된 환경 데이터 또는 차량 상태 데이터에 기초하여 실제 환경의 적어도 일부분의 제1 기하학적 모델을 생성하는 단계, 및 적어도 하나의 이미지와 연관된 이미지 정보에 기초하여 그리고 적어도 부분적으로 제1 기하학적 모델에 따라 실제 환경의 적어도 일부분의 제2 기하학적 모델을 생성하는 단계를 포함한다.

본 발명에 따르면, 실제 환경에서 적어도 하나의 카메라가 장착된 모바일 디바이스를 추적하는 것 및/또는 적어도 하나의 카메라를 사용하여 환경의 기하학적 모델을 생성하는 것은, 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보를 사용함으로써 수행된다. 모바일 디바이스를 추적하는 것 또는 제2 기하학적 모델을 생성하는 것은, 적어도 부분적으로 실제 환경의 제1 기하학적 모델 또는 실제 환경의 일부분에 대한 지식에 따라 수행된다. 제1 기하학적 모델은 차량의 적어도 하나의 센서에 의해 획득된 환경 데이터에 기초하여 생성된다. 특히, 환경 데이터는 차량이 환경에서 운전되는 동안에 획득된다.

모바일 디바이스는 환경 데이터를 획득하기 위한 획득 프로세스 또는 획득 프로세스의 일부분 동안에 차량에 의해 운반될 수 있다. 이러한 방식으로, 획득 프로세스는 적어도 부분적으로 모바일 디바이스가 차량에 의해 운반되고 있는 동안에 수행된다. 모바일 디바이스를 추적하는 것 또는 제2 기하학적 모델을 생성하는 것은 환경 데이터의 획득 프로세스 또는 획득 프로세스의 일부분 이후 특정 시간 기간 내에 수행될 수 있다. 특정 기간은 2시간, 12시간, 또는 24시간일 수 있다.

차량은 특히 하나 이상의 사람 또는 화물을 수송할 수 있는 모바일 기계이다. 차량은, 예컨대 자전거, 오토바이, 자동차, 트럭, 지게차, 비행기 또는 헬리콥터일 수 있지만, 이에 한정되지 않는다. 차량은 엔진이 있을 수 있거나 없을 수 있다.

제1 기하학적 모델을 생성하는 데 사용되는 환경 데이터를 획득하는 것은 언제든지 시작될 수 있거나, 또는 차량이 내비게이션 시스템에 알려진 설정된 목적지에 근접할 때, 차량의 속도가 특정 임계치 미만일 때 등과 같은 특정 조건들이 충족될 때에만 시작될 수 있다. 특정 조건은 또한 차량의 여러 상태들, 예를 들어, 속도, 주행거리 측정(odometry), 엔진의 상태, 브레이크 시스템, 기어들의 위치, 광, 항공기 탈출 좌석(즉, 사출 좌석)의 상태 등 중 하나일 수 있다. 특정 조건은 또한 모바일 디바이스의 여러 상태들, 예를 들어, 모바일 디바이스가 차량의 내부 또는 외부에 있는 것, 모바일 디바이스의 목적지까지의 거리, 차량 모션과 불일치하는 모바일 디바이스의 급격한 모션(예컨대, 차량에 대한 급가속) 등 중 하나일 수 있다.

일 실시예에 따르면, 제1 기하학적 모델의 적어도 일부분은 적어도 하나의 카메라에 의해 캡처된 하나 이상의 이미지에 따라 생성될 수 있다.

일 실시예에 따르면, 제2 기하학적 모델을 생성하는 것은 획득 프로세스 또는 획득 프로세스의 일부분 이후, 설정된 시간 기간 내에, 바람직하게는 24시간 내에 수행된다.

추가의 실시예에 따르면, 제2 기하학적 모델을 생성하는 것은 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 추가의 이미지와 연관된 수신된 이미지 정보에 추가로 기초하거나, 또는 적어도 하나의 이미지와 연관된 수신된 깊이 정보에 추가로 기초한다.

일 실시예에 따르면, 제2 기하학적 모델은 제1 기하학적 모델을 확장함으로써 생성된다.

바람직하게는, 획득 프로세스는 적어도 부분적으로 차량이 이동하고 있는 동안에 수행되고 센서 데이터가 상이한 차량 위치들에서 차량의 적어도 하나의 센서로부터 획득된다.

일 실시예에 따르면, 환경 데이터는 차량의 위치 및 차량을 위한 적어도 하나의 설정된 목적지에 따라 획득된다. 예를 들어, 환경 데이터는 차량이 적어도 하나의 목적지에 도달한 이후에 획득되거나, 또는 환경 데이터는 차량이 적어도 하나의 목적지까지 일정 거리 내에 있는 경우에 획득되거나, 또는 환경 데이터는 차량의 위치, 차량의 속도, 및 적어도 하나의 목적지에 따라 획득된다.

일 실시예에 따르면, 제1 기하학적 모델은 모바일 디바이스의 카메라와 상이한 실제 환경에 배치된 추가의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보에 추가로 기초하여 생성된다.

일 실시예에 따르면, 차량의 적어도 하나의 센서는 차량 카메라들 사이의 알려진 공간적 관계를 갖는 적어도 2개의 차량 카메라를 포함하며, 제1 기하학적 모델의 메트릭 스케일은 공간적 관계에 따라 결정된다.

추가의 실시예에 따르면, 제1 기하학적 모델 또는 제1 기하학적 모델의 일부분을 생성하는 것은 차량의 프로세싱 디바이스에 의해 수행되고, 제1 기하학적 모델은 차량으로부터 모바일 디바이스로 전송된다. 예를 들어, 제1 기하학적 모델은 서버 컴퓨터를 통해 또는 차량과 모바일 디바이스 사이의 지점 대 지점 간 통신을 통해 또는 브로드캐스트 또는 멀티캐스트 통신을 통해(예를 들어, 차량이 데이터를 브로드캐스트함) 차량으로부터 모바일 디바이스로 전송된다.

일 실시예에 따르면, 환경 데이터가 차량으로부터 모바일 디바이스로 전송되고, 제1 기하학적 모델 또는 제1 기하학적 모델의 일부분을 생성하는 것이 모바일 디바이스 상에서 수행된다. 예를 들어, 환경 데이터는 서버 컴퓨터를 통해 또는 차량과 모바일 디바이스 사이의 지점 대 지점 간 통신을 통해 차량으로부터 모바일 디바이스로 전송된다.

다른 실시예에 따르면, 환경 데이터가 차량으로부터 서버 컴퓨터로 전송되고, 제1 기하학적 모델 또는 제1 기하학적 모델의 일부분을 생성하는 것이 서버 컴퓨터 상에서 수행된다.

일 실시예에 따르면, 제1 기하학적 모델은, 레이더, 거리 센서(range sensor) 및/또는 비행 시간 센서(time of flight sensor), 및/또는 가속도계, 및/또는 자이로스코프, 및/또는 GPS, 및/또는 별 추적기(star tracker)와 같은 차량-탑재 센서들로부터 결정되고/되거나 차량의 속도와 같은 차량의 상태에 기초하는 정확한 메트릭 스케일을 갖는다.

예를 들어, 목적지로의 하나 이상의 경로가 제공되고, 제공된 경로들 중 하나 이상에 따라 환경 데이터가 획득되고/되거나 제1 기하학적 모델이 생성된다.

일 실시예에 따르면, 제1 및 제2 기하학적 모델들 중 적어도 하나는 적어도 실제 환경의 깊이 정보를 기술한다.

바람직하게는, 모바일 디바이스는 사용자에 의해 휴대가능한 디바이스, 특히 핸드헬드 디바이스, 모바일 폰, 머리착용 안경 또는 헬멧, 또는 착용가능한 디바이스, 또는 이식된 디바이스이다.

바람직한 실시예에서, 방법은 모바일 디바이스 상에서 실행되는 증강 현실 및/또는 내비게이션 애플리케이션들을 위한 방법에서 사용되도록 구성된다.

일 실시예에 따르면, 추적 프로세스에서 또는 제2 기하학적 모델을 생성하는 것에 대해, 시각 기반 추적(vision based tracking)이 수행된다. 예를 들어, 시각 기반 추적은 시각 기반 동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM)이다. 시각 기반 추적은 특징부 추출, 특징부 기술, 특징부 매칭, 및 자세 결정을 포함할 수 있다. 예를 들어, 사용된 특징부들은 강도들, 계조도(gradient)들, 에지들, 선들, 선분(segment)들, 모서리들, 기술적 특징부들, 프리미티브(primitive)들, 히스토그램들, 극성들 및 배향들 중 적어도 하나 또는 이들의 조합들이다.

따라서, 본 발명은 시각 기반 추적 또는 환경 재구성을 지원하는 방법을 기술한다. 개시된 방법은 또한 전술한 바와 같이, 단안 SLAM를 초기화하기 위한 별개의 카메라 움직임의 필요성을 제거할 수 있다.

다른 양태에 따르면, 본 발명은 또한 본 발명에 따른 방법을 수행하도록 구성된 소프트웨어 코드 섹션들을 포함하는 컴퓨터 프로그램 제품에 관련된다. 구체적으로, 소프트웨어 코드 섹션들은 비일시적인 컴퓨터 판독가능 매체 상에 포함되어 있다. 소프트웨어 코드 섹션들은 본 명세서에 기술된 바와 같은 하나 이상의 프로세싱 디바이스의 메모리 내에 로딩될 수 있다. 임의의 사용된 프로세싱 디바이스들은 본 명세서에 기술된 바와 같이 통신 네트워크를 통해, 예컨대, 서버 컴퓨터 또는 지점 대 지점 간 통신을 통해 통신할 수 있다.

본 발명의 양태들 및 실시예들이 이제 도면들과 관련하여 기술될 것이다.
도 1은 SLAM를 사용하는 본 발명의 일 실시예에 따른 방법의 흐름도를 도시한다.
도 2는 추적 또는 재구성 방법에서 사용될 수 있는 특징부들의 검출, 기술 및 매칭의 예시적인 실시예를 도시한다.
도 3은 차량의 센서들에 의해 획득된 환경 데이터에 기초하여 환경의 기하학적 모델을 생성하고, 생성된 환경 모델에 기초하여 디바이스를 추적하는 본 발명의 일 실시예에 따른 방법의 흐름도를 도시한다.
도 4a는 전술한 바와 같이 사용자가 자신의 차량을 주차장에 주차하는 예시적인 시나리오를 도시한다.
도 4b는 차량을 주차할 때의 본 발명의 일 실시예에 따른 예시적인 애플리케이션 시나리오를 도시한다.
도 5는 현재 특징부들의 세트를 기준 특징부들의 세트와 매칭하기 위해 카메라의 이미지들에 기초한 추적 방법의 일 실시예의 흐름도를 도시한다.
도 6은 삼각측량의 표준 개념을 도시한다.

다양한 실시예가 소정 컴포넌트들을 참조하여 이하에서 기술되지만, 본 명세서에 기술되거나 통상의 기술자에게 명백한 바와 같은, 컴포넌트들의 임의의 다른 구성은, 또한 이들 실시예 중 임의의 것을 구현할 때 사용될 수 있다.

이하에서, 실시예들 및 예시적인 시나리오들이 기술되며, 이들은 본 발명을 제한하는 것으로 해석되지 않을 것이다.

증강 현실:

증강 현실 시스템들은 컴퓨터-생성 정보에 의해 실제 환경의 향상된 정보를 제시할 수 있다. 실제 환경은 컴퓨터-생성 오디오 정보를 제공함으로써 향상될 수 있다. 하나의 예는 GPS 데이터 또는 다른 추적 기술을 사용하는 것에 기초하여 컴퓨터-생성 구두 지시들에 의해 실제 환경에서 시각 장애인들을 인도하는 것이다. 컴퓨터-생성 정보는 햅틱 피드백, 예컨대 모바일 폰의 진동일 수 있다. 내비게이션 애플리케이션에서, AR 시스템은 사용자가 잘못된 길로 가는 경우에 사용자에게 경고하기 위해 진동을 발생시킬 수 있다.

대부분의 인식되는 증강 현실은 컴퓨터-생성 가상 시각적 정보를 실제 환경의 시각적 인상들 또는 이미지와 중첩하는 시각화를 제공함으로써 시각적으로 실제 환경을 향상시키는 것이다. 가상 시각적 정보는 임의의 유형의 시각적으로 인지가능한 데이터, 예컨대 객체, 텍스트, 드로잉, 비디오, 또는 이들의 조합일 수 있다. 실제 환경은 사용자의 눈에 의해 시각적 인상으로서 캡처되거나, 또는 사용자가 착용하거나 또는 사용자가 소지한 디바이스 상에 부착된 카메라에 의해 하나 이상의 이미지로서 획득될 수도 있다. 가상 시각적 정보는 사용자들에게 만족스러운 시각적 인식을 제공하기 위해 정확한 시간에, 정확한 장소에서, 정확한 방식으로, 카메라 이미지 또는 시각적 인상에서 실제 환경 또는 실제 환경의 일부분과 중첩된다.

가상 시각적 정보와 실제 환경의 중첩된 정보는 예를 들어, 반투명 안경을 갖는 잘 알려진 광학적 시스루(see-through) 디스플레이에서, 사용자들에 의해 보여질 수 있다. 이어서 사용자는 안경 내에서 혼합된 가상 시각적 정보로 증강된 실제 환경의 물체들을 반투명 안경을 통해 본다. 가상 정보와 실제 환경의 중첩은 또한 카메라, 및 디스플레이 스크린과 같은 보통의 디스플레이 디바이스를 갖는 잘-알려진 비디오 시스루 디스플레이에서, 사용자들에 의해 보여질 수 있다. 실제 환경은 카메라에 의해 캡처되고, 가상 데이터와 실제 환경의 중첩은 디스플레이에서 사용자들에게 보여진다.

가상 시각적 정보는 이미지 내의 또는 시각적 인상 내의 원하는 픽셀 위치들에서, 예를 들어, 투시적으로 올바른 방식으로, 즉, 보여지고 있는 실제 환경으로부터 도출되고 조정되는 방식으로, 실제 환경과 중첩되어야 한다. 이를 달성하기 위해, 실제 환경 또는 실제 환경의 일부분에 대한 카메라 또는 사용자의 눈의 자세는, 즉, 배향 및 위치는 알려져야 한다(예를 들어, 참조문헌 [2] 참조). 또한, 가상 시각적 정보는 가상 시각적 정보와 실제 환경 사이에서 시각적으로 정확한 교합 지각(occlusion perception) 또는 깊이 지각을 달성하기 위해 실제 환경과 중첩되는 것이 바람직하다. 이를 위해, 참조문헌 [2]에 기술된 바와 같이, 실제 환경의 기하학적 모델 또는 깊이 지도가 흔히 요구된다.

단안 시각(즉, 단일 카메라에 기초한) 기반 SLAM은 AR 애플리케이션들을 위한 카메라 자세를 생성하고 기하학적 환경 모델을 생성하는 유망 기술이다. 단안 SLAM은, 실제 환경을 캡처하는 카메라 이미지가 항상 카메라 자세 추정 및 환경 모델 생성을 위한 수단일 수 있으므로, 단일 카메라가 장착된 핸드헬드 디바이스에서 실행되는 모바일 AR 애플리케이션들에 특히 유익하다. 광학적 시스루 디스플레이 경우에서, 사용자 눈의 자세는 카메라가 눈에 대해 고정된 관계를 가질 때 카메라 자세로부터 결정될 수 있다.

본 발명의 하나의 예시적인 시나리오:

요즘에, 사람들은 흔히, 알려지지 않은 도시에서와 같이, 내비게이션 시스템으로부터 제공된 안내를 이용해, 목적지로 자동차를 운전한다. 내비게이션 시스템은 모바일 컴퓨팅 디바이스 또는 자동차의 내장 시스템 상에서 실행되는 내비게이션 소프트웨어를 가질 수 있다. 내비게이션 시스템(또는 소프트웨어)은 목적지로의 하나 이상의 경로를 계산할 수 있다. 그러나, 종종 목적지 또는 목적지 근처에서 주차 장소를 찾는 것이 불가능하다. 따라서, 사용자는 경로의 최종 목적지와 상이한 다른 장소에 자동차를 주차하고, 최종 목적지에 도달하기 위해 다른 운송 수단으로(예를 들면, 도보로) 전환해야 한다. 사람들은 자동차가 주차된 장소로부터 목적지로의 경로를 찾기 위해 낯선 환경에서 추가적인 노력을 들이거나 어려움들이 있을 수 있다. 이러한 상황에서, 본 발명은 자동차의 센서들에 의해 획득된 환경 데이터에 기초하여 생성된 환경의 기하학적 모델에 기초하여, 카메라가 장착된 핸드헬드 디바이스 상에서 내비게이션을 실행할 것을 제안한다.

보통, 사람들은 자동차를 운전하여 목적지에 도착하고 거기서 주차 장소를 찾을 수 없을 수 있으며, 따라서 그들은 무료 주차 장소를 찾을 때까지 운전을 계속할 가능성이 있을 것이다. 이어서, 사람들은 자동차가 주차된 곳으로부터 목적지로 다시 올 것이다. 자동차가 목적지에 도착한 후 또는 도착했을 때 환경 데이터(예컨대, 이미지들, GPS 데이터 등)를 획득하기 위한 획득 프로세스를 시작하고, 자동차가 주차될 때(예컨대, 엔진이 꺼짐) 획득 프로세스를 중단하는 것이 가능하다. 이어서, 목적지와, 자동차가 실제가 주차한 곳 사이의 실제 환경의 디지털 기하학적 모델은 획득된 환경 데이터에 기초하여 생성될 수 있다. 이러한 기하학적 모델은 카메라가 장착된 핸드헬드 디바이스와 함께 사용자들을 도착지로 안내하는 데 사용될 수 있다.

추가의 시나리오로서, 사용자는 실제 환경에서 자신의 차를 주차한 다음에 카메라가 장착된 자신의 핸드헬드 디바이스의 내비게이션 또는 증강 현실(AR) 애플리케이션을 실행할 수 있다. 내비게이션 및 AR 애플리케이션들은 환경에 대한 디바이스의 알려진 자세를 요구할 수 있다. 이를 위해, 환경의 기하학적 모델은 본 명세서에서 기술된 바와 같이, 디바이스의 자세를 결정하기 위해 사용될 수 있다.

모바일 디바이스에 부착된 카메라는 디바이스를 추적하고 환경의 기하학적 모델을 재구성하기에 적합한 센서이다. 시각 기반 추적은 일반적으로 환경의 알려진 기하학적 모델을 요구하고, 자세 추정은 기하학적 모델과 카메라 이미지 사이의 대응들에 기초할 수 있다. 단안 시각 기반 SLAM은 환경의 기하학적 모델을 미리 갖지 않고도 실제 환경에서 카메라를 추적하고, 동시에 환경의 기하학적 모델을 생성하는 것을 수행할 수 있다(참조문헌 [1] 참조). 그러나, 단안 SLAM은 환경의 초기 모델을 생성하기 위해 별개의 변위를 갖고 카메라를 이동시킴으로써 초기화되어야 한다.

처음부터 수동으로 단안 SLAM을 초기화하는 것은 어려우며, 이는 충분한 변위를 갖고 핸드헬드 디바이스의 카메라를 이동시키는 것이 사용자에게 직관적이지 않기 때문이다. 사용자는 수동으로 단안 SLAM을 초기화해야 한다. 특히 스케일 및 이미지 기반 추적 또는 재구성은 문제가 될 수 있다.

전술한 예시적인 시나리오로 되돌아가서, 이제 도 4b를 참조하면, 두 자동차(4b21, 4b22)가 주차장에 주차되어 있다고 가정된다(도 4b의 그림(4b01) 참조). 본 발명의 일 실시예에 따르면, 자동차는 환경(4b10)에서 주차 공간을 탐색하기 위해 운전되고 있는 동안(도 4b의 그림들(4b02, 4b03, 4b04) 참조), 실제 환경(4b10)의 기하학적 모델(4b09)이 자동차(4b11)의 차량 카메라(4b14)의 이미지(들)로부터 생성된다. 4b12는 차량 카메라(4b14)의 시야를 보여준다. 생성된 기하학적 모델(4b09)의 범위는 개략적으로 그림(4b06)에서 점들에 의해 표시된다. 주차 후, 환경의 기하학적 모델(4b09)은 자동차의 승객(4b13)의 카메라가 장착된 모바일 디바이스(4b08)에서 이용가능하다. 4b07은 모바일 디바이스(4b08)에 부착된 카메라의 시야를 나타낸다. 이어서, 승객은 실제 환경에서 모바일 디바이스(4b08)를 추적하고, 실제 환경의 다른 기하학적 모델을 생성하고, 그리고/또는 기하학적 모델(4b09)을 확장하기 위하여, 기하학적 모델(4b09) 또는 모델(4b09)의 일부분 및 모바일 디바이스(4b08)의 카메라에 의해 캡처된 이미지들을 이용할 수 있다.

도 3은 차량의 센서들에 의해 획득된 환경 데이터에 기초하여 실제 환경의 기하학적 모델을 생성하고, 생성된 환경 모델에 기초하여 모바일 디바이스를 추적하는 본 발명의 일 실시예에 따른 방법의 흐름도를 도시한다. 차량이 실제 환경에서 주행하고 있는 것으로 가정된다(도 3의 단계(301)).

환경 데이터 ED는 환경 안에서 또는 환경을 통하여 차량을 운전하고 있는 동안에 차량에 탑재된 하나 이상의 센서에 의해 획득될 수 있다. 환경 데이터 ED의 획득 프로세스는 사용자에 의해 수동으로 시작, 재개, 일시 정지, 및/또는 중단될 수 있다. 획득 프로세스는 특정 조건들이 충족될 때, 예를 들어, 차량이 내비게이션 시스템에 알려진 설정된 목적지에 근접할 때, 또는 차량의 속도가 특정 임계치 미만일 때 등에서 자동으로 시작, 재개, 일시 정지, 및/또는 중단될 수 있다(단계(302)). 특정 조건은 또한 차량의 여러 상태들, 예를 들어, 속도, 주행거리 측정, 엔진의 상태, 브레이크 시스템, 기어들의 위치, 광, 자동차의 전방 또는 후방까지 다른 물체의 거리, 운전자 문의 열림/닫힘 상태, 핸들 잠금, 핸드 브레이크, 트렁크의 열림/닫힘 상태, 항공기 탈출 좌석(즉, 사출 좌석)의 상태, 항공기 기내 압력, 또는 이들의 조합 중 하나일 수 있다. 특정 조건은 또한 모바일 디바이스(4b08)의 여러 상태들, 예를 들어, 모바일 디바이스가 차량의 내부 또는 외부에 있는 것, 모바일 디바이스의 목적지까지의 거리, 차량 모션과 불일치하는 모바일 디바이스의 급격한 모션(예컨대, 차량에 대한 급가속) 등 중 하나일 수 있다.

환경 데이터의 획득을 시작 또는 재개하는 하나 이상의 조건이 충족되거나, 사용자들이 수동으로 시작 또는 재개를 트리거할 때, 환경 데이터 ED의 획득이 시작 또는 재개된다(단계(303)). 이어서, 환경 데이터 ED의 획득이 중단 또는 일시 정지되어야 하는 경우(단계(304)), 이는 자동으로 또는 수동으로 트리거되며, 이어서 획득 프로세스를 중단 또는 일시 정지한다(단계(305)). 이들 단계는 차량에서 실행된다.

환경 데이터 ED가 사용자(예컨대, 차량의 운전자 또는 승객)의 카메라가 장착된 핸드헬드 디바이스에서 이용가능한 경우, 그러면 환경의 기하학적 모델 Md가 차량의 임의의 프로세서 디바이스(도면들에 도시되지 않음)에 의해 환경 데이터 ED에 기초하여 생성되고(단계(307)) 이어서 모델은 핸드헬드 디바이스로 전송되거나(단계(308)), 또는 환경 데이터 ED가 핸드헬드 디바이스로 전송되고(단계(311)) 이어서 환경 모델 Md가 핸드헬드 디바이스에서 환경 데이터 ED에 기초하여 생성된다(단계(312)).

환경 데이터 ED를 다른 컴퓨터로, 예컨대 모바일 디바이스 및 차량으로부터 떨어져 있는 서버 컴퓨터로 전송하고, 그러한 서버 컴퓨터 상에서, 예컨대 서버 컴퓨터 상에서 실행되는 애플리케이션에 의해, 환경 데이터 ED에 기초하여 환경의 기하학적 모델 Md를 생성하는 것이 또한 가능하다. 이러한 구성에서, 서버 컴퓨터는 클라이언트-서버 아키텍처에서, 클라이언트 디바이스들로서 모바일 디바이스 및 차량과 통신하고 있다. 이어서, 환경 데이터 ED 및/또는 기하학적 모델 Md는 서버 컴퓨터로부터 모바일 디바이스로 전송된다.

기하학적 모델 Md는, 환경 데이터 또는 환경 데이터의 일부분이 이용가능할 때마다 언제든지, 예를 들어, 환경 데이터의 획득 프로세스 동안 온라인으로, 또는 환경 데이터의 획득 이후에 오프라인으로, 수행될 수 있다. 예를 들어, 새로운 환경 데이터가 이용가능할 때마다, 새로운 환경 데이터는 기하학적 모델 Md를 생성하기 위해 통합된다.

기하학적 모델 Md가 핸드헬드 디바이스에서 이용가능한 것으로 가정하면, 핸드헬드 디바이스가 환경에서 추적되어야 하는 경우(단계(309)), 추적은 적어도 부분적으로 기하학적 모델 Md에 따라 수행된다(단계(310)). 단계들(309, 310)은 핸드헬드 디바이스에서 수행될 수 있다.

목적지로의 하나 이상의 경로가 제공되거나 계산될 수 있다. 경로들은 차량 또는 핸드헬드 디바이스의 현재 위치에 따라 추가로 업데이트될 수 있다. 목적지는 사용자에 의해 수동으로 주어지거나, 또는 내비게이션 시스템에서 정의될 수 있다. 환경 데이터 ED의 획득 및/또는 기하학적 모델 Md의 생성은 경로들에 따를 수 있다. 예를 들어, 단지 사용자가 경로들 상에서 들를 것 같은 장소들에서만, 환경 데이터 ED의 관련있는 부분들이 획득되고/되거나 기하학적 모델 MD의 관련있는 부분들이 생성된다.

차량의 센서들로부터의 데이터를 사용하는 환경의 기하학적 모델:

예를 들어, 실제 환경의 기하학적 모델은, 환경에서 차량을 운전하는 동안에, 차량의 깊이 센서들, 예를 들면 차량에 탑재된 거리 센서들 또는 비행 시간 카메라들로부터 제공된 환경의 깊이 데이터에 의해 생성될 수 있다. 참조문헌 [14, 15, 16]에 개시된 것과 같은 많은 방법들이, 깊이 데이터로부터 실제 환경의 3D 표면을 재구성하기 위해 채용될 수 있다. 푸시 브룸 스캐너(push broom scanner)들이 3D 표면을 생성하기 위해 사용될 수 있다.

실제 환경의 기하학적 모델(본 명세서에서 환경 모델로도 지칭됨)은 환경에서 차량(예컨대, 자동차)을 운전하는 동안에, 그리고 시각 기반 SLAM 및 자동차에 탑재된 적어도 하나의 카메라를 채용함으로써 발생 또는 생성될 수 있다. 다양한 시각 기반 SLAM 방법들(예를 들어, 참고문헌 [1, 3, 4, 5, 6, 11, 12, 13]에 개시된 것을 참조)이 개발되었고, 차량의 적어도 하나의 카메라에 의해 캡처된 이미지들을 사용하여 환경 모델을 생성하기 위해 채용될 수 있다. 차량의 다른 센서들이 또한 환경 모델의 구성을 지원하기 위해 채용될 수 있다.

단안 시각 기반 SLAM으로부터의 환경의 생성된 기하학적 모델은 미결정된 스케일 인자에 달려 있다.

환경 모델을 메트릭 스케일로 가져오는 데 필요한 정확한 스케일 인자는, 차량에 탑재된 카메라를 사용하여 점들 사이의 알려진 거리를 갖는 2개의 점들, 또는 환경에서 알려진 물리적 크기를 갖는 실제 물체의 이미지를 캡처함으로써 효과적으로 결정될 수 있다. 예를 들어, 교통 신호등, 알려진 3D 모델들 또는 다른 도로 시설(흰색 선 거리(white line distance)들, 도로 가에 있는 "말뚝(pile)들")이 스케일 인자를 추정하기 위해 채용될 수 있다.

정확한 스케일 인자는 또한 차량과 환경 사이의 거리로부터 복원될 수 있다. 거리는 레이더, 거리 센서, 또는 비행 시간 카메라와 같은 차량 탑재 센서들로부터 측정될 수 있고, 또한 스케일 인자를 결정하기 위해 사용될 수 있다. 정확한 스케일 인자는 또한, 2개의 이미지를 캡처하는 하나의(또는 2개의) 카메라(들) 사이의 기준 거리가 알려진 경우, 결정될 수 있다. 기준 거리는 예를 들어, 바퀴들의 회전 속도를 사용한 측정된 주행거리 또는 GPS 좌표로부터 획득될 수 있다. 스테레오 카메라의 경우, 2개의 카메라 중심들 사이의 기준 거리가 기준선(baseline) 거리로서 사용될 수 있다.

정확한 스케일 인자는 또한, 환경에서의 차량의 위치가 알려진 경우 결정될 수 있다. 환경에서의 차량의 위치는 GPS로부터, 또는 보안 카메라와 같은 환경에 고정된 센서로부터 결정될 수 있다.

이제 도 1을 참조하면, 적어도 하나의 카메라가 주어지면, 적어도 하나의 카메라에 의해 캡처된 이미지들에 기초하여 기하학적 모델을 발생 또는 생성하고/하거나 카메라 자세들을 계산하는 프로세스는, 특징부 검출((단계(102 또는 105)), 특징부 기술(단계(102 또는 105)), 특징부 매칭(단계(106)), 삼각측량(단계(107)), 및 선택적으로 삼각측량 위치들 및/또는 카메라 자세들을 조정하고/하거나, 삼각측량으로부터 점들을 제거 및/또는 추가하는 (글로벌) 지도 개량(refinement)으로 구성될 수 있다.

기하학적 모델을 생성하고/하거나 카메라 자세들을 계산하는 프로세스는 또한 스테레오 카메라 시스템을 사용하는 것에 기초하여 구현될 수 있다.

카메라로부터 광류는 또한 기하학적 모델을 생성하거나 모델의 생성을 지원하기 위해 채용될 수 있다(참조문헌 [20] 참조).

환경 모델을 재구성하기 위하여, 적어도 2개의 이미지가 상이한 위치들에서 카메라에 의해 캡처되어야 할 수 있다. 예를 들어, 단계(101)에서 이미지 IA가 자세 PA에서 카메라에 의해 캡처되고, 이어서 카메라는 자세 PB와 상이한 위치에서의 자세에서 이미지 IB를 캡처하기 위해 별개의 변위 M을 갖고 이동된다(단계들(103, 104)).

특징부 검출은 높은 재현성을 갖는 방법에 의해 이미지들 IA 및 IB에서 특징부들을 식별하기 위해 수행될 수 있다. 즉, 방법은 상이한 관점들, 상이한 회전들 및/또는 조명 설정들에 대한 특징부와 동일한 물리적 3D 표면에 대응하는 이미지 내의 부분을 선택하게 될 확률이 높다(예를 들어, SIFT로서 국부적 특징부 기술자(descriptor), 참조문헌 [7] 참조, 형상 기술자들, 참조문헌 [8] 참조, 또는 통상의 기술자에게 알려진 다른 접근법들). 특징부들은 보통 스케일 공간에서, 즉, 상이한 스케일들로 추출된다. 따라서, 각각의 특징부는 자신의 2차원 위치에 추가하여 반복가능한 스케일을 갖는다. 또한, 반복가능한 배향(회전)은, 예를 들어, 강도 계조도들의 우세한 방향으로서, 특징부 주위의 영역 내의 픽셀들의 강도들로부터 계산된다.

특징부 기술은 검출된 이미지 영역의 전형적인 특징부 기술자로의 변환이며, 이러한 전형적인 특징부 기술자는 특정 유형들의 변화들(예컨대, (비-균일한) 조명, 회전 및 교합)에 대해 불변이거나 강력하다(robust). 특징부 기술자는 특징부들의 비교 및 매칭을 가능하게 하기 위해 결정된다. 일반적인 접근법들은 특징부의 계산된 스케일 및 배향을 사용하여 특징부 기술자들의 좌표를 변환하며, 이는 회전 및 크기에 불변을 제공한다. 예를 들어, 기술자는 계조도들과 같은 국부적 이미지 강도들의 함수들의 히스토그램을 연결함(concatenate)으로써 구성되는 N-차원의 실수 벡터일 수 있다(참조번호 [7]에서와 같음). 대안적으로, 기술자는 n-차원의 이진 벡터일 수 있다(참조번호 [9]에서와 같음).

또한, 각각의 검출된 기능은, (선택적으로) 환경에 대한 그리고/또는 카메라의 이전의 자세들 중 하나에 대한 (부분적) 위치 및 배향과 연관될 수 있다. (부분적) 위치는 GPS 센서/수신기, IR 또는 RFID 삼각측량으로부터, 또는 광대역 또는 무선 인프라를 사용하는 위치추정 방법들에 의해 획득될 수 있다. (부분적) 배향은 예를 들어, 나침반, 가속도계, 자이로스코프, 또는 중력 센서로부터 획득될 수 있다. 카메라가 차량에 탑재되기 때문에, 카메라의 이전 자세들 중 하나에 대한 (부분적) 위치 및 배향은 차량의 속도 또는 조향(steering)으로부터 획득될 수 있다.

복수의 특징부가 하나의 이미지에서 검출될 수 있다. 특징부 매칭은 하나의 특징부 세트의 모든 특징부에 대하여, 가장 유사한 기술자를 갖는 다른 특징부 세트의 특징부를 발견하고, 두 특징부들을 대응(매치)으로서 저장하는 것이다. 예를 들어, 이미지들 IA 및 IB에서 검출되고 그로부터 기술되는 두 특징부 세트들 FA 및 FB가 주어지면, 목표는, 특징부 세트 FA의 모든 특징부에 대하여, 가장 유사한 기술자를 갖는 특징부 세트 FB의 하나의 특징부를 발견하는 것이다. 이와 관련하여, 특징부들 c을 갖는 이미지들 CI 및 특징부들 c의 각각의 기술자들 d(c) 및 기준 특징부들 r의 기술자들 d(r)을 나타내는 도 2가 참조된다.

특징부 세트 FA를 특징부 세트 FB와 매칭하는 것은, 특징부 세트 FA 내의 각각의 개별 특징부 기술자와 특징부 세트 FB 내의 각각의 개별 특징부 기술자 사이의 각각의 유사성 측정치를 결정함으로써 이행될 수 있다. 이미지 유사성 측정치들의 일반적 예들은 음의 또는 반전된 SSD(sum-of-squared difference), 음의 또는 반전된 SAD(sum of absolute difference), (정규화된) 교차상관(cross-correlation), 및 상호 정보량(mutual information)을 포함한다. 유사성의 결과치는 실수이다. 유사성 측정 결과치가 크면 클수록, 2개의 시각적 특징부들은 더욱 유사하다.

특징부 매칭의 가장 간단한 접근법은 과도한 탐색(exhaustive search)에 의해 현재 특징부의 기술자의 가장 가까운 이웃을 발견하고, 대응하는 기준 특징부를 매치로서 선택하는 것이다. 보다 진보한 접근법들은 매칭의 속도를 높이기 위해 기술자 도메인에서의 공간적 데이터 구조들을 채용한다. 일반적 접근법들은 그 대신에, 예를 들어, kd-트리(kd-tree)들과 같은 데이터 구조들을 공간 분할함으로써 인에이블되는, 근사 근접 이웃 탐색(approximate nearest neighbor search)을 사용한다(참조문헌 [7] 참조).

특징부 매칭 후, 특징부 세트 FA와 특징부 세트 FB로부터의 특징부들 사이의 대응들이 생성된다. 대응들은 2D-2D 또는 2D-3D일 수 있다. 대응들에 기초하여, 환경에 대한, 또는 이전의 카메라 자세들 중 하나에 대한 카메라 자세가 결정된다. 이후에, 초기 단계에서 폐기되었던 대응들을 가능한 대로 재평가하는 (글로벌) 개량 단계를 갖는 것이 일반적이지만, 이는 선택 사항이다. 개량에 대한 다수의 방법들 및 휴리스틱들이 있다(참조문헌 [10, 11] 참조).

특징부들은 연관된 특징부 기술자들(예컨대, SIFT, 참조문헌 [7] 참조)을 갖지 않을 수도 있지만, 이미지 패치들에 의해 표현될 수도 있다. 특징부들의 비교 및 매칭은 SSD(sum of squared difference), 정규화된 교차상관(NCC), SAD(sum of absolute difference), 상호 정보량(MI)과 같은 방법들을 사용하여 이미지 패치들 사이의 차이들(예컨대, 픽셀 강도 차이들)을 계산함으로써 수행될 수 있다.

다음의 삼각측량 동안, 실제 환경의 기하학적 모델(3D 점들) 및 카메라 자세들이 특징부 대응들로부터 계산된다.

삼각측량은, 그것의 투사들(이미지 특징부들)이 2개 이상의 이미지들 상에 주어진, 3D 공간에서의 특징부의 위치를 결정하는 프로세스를 지칭한다. 도 6을 참조하면, 예를 들어, 3D 점 P는 각 카메라의 초점 O1 및 O2와 교차하는 선들 Lx 및 Ly를 통해 2개의 카메라 이미지들 Ix 및 Iy 상으로 이미지 점 Px 및 Py로서 투사된다(도 6 참조). 따라서, 두 카메라 이미지들에 대한 알려진 초점들 O1 및 O2 및 검출된 특징부 대응들 Px 및 Py를 갖기 때문에, 선들 Lx 및 Ly가 계산되고 점 P의 3D 위치가 Lx와 Ly의 교차점에 의해 결정될 수 있다.

모델의 생성은 그 강도 또는 컬러 값들을 직접 사용함으로써, 즉, 점, 선 또는 블랍(blob) 특징부들과 같은 추상화(abstraction)들을 사용하지 않고 이미지들을 정합할 수 있다. 고밀도(dense) 재구성 방법들은 각 픽셀에 대한 다수의 상이한 가설들이 철저하게 테스트되는 원가 조업도(cost volume)를 구성할 수 있다(참조문헌 [12]). 이들은 또한 종래의 저밀도(sparse) 재구성에 기초할 수 있다(참조문헌 [13]). 고밀도 방법들은 전형적으로 계산상 고가이고, 실시간으로 실행되기 위해 GPU를 채용한다.

차량 기반 시나리오에서, 다수의 카메라들로부터의 이미지들이 이용가능할 수 있다. 일반적인 설정은 4개의 차량 카메라들을 포함하며, 이때 카메라들은 차량으로부터 떨어져 좌측, 우측, 전방 및 후방으로 대향하도록 정렬된다. 차량 카메라들은 회전 및 병진의 관점에서 서로에 대해 참조될 수 있다. 번들 조정(bundle adjustment)은, 특히 알려진 공간적 관계를 갖는 다수의 카메라들에 대해, 다수의 차량 카메라들에 의해 촬영된 이미지들에 기초하여 환경의 재구성된 모델을 개선하는 데 사용될 수 있다. 다양한 번들 조정 방법이 참조문헌 [23]에서 검토되었고 여러 구현예의 세부 사항들이 참조문헌 [24]에 개시되었다.

환경의 기하학적 모델을 생성하기 위해, 차량에 탑재된 카메라(들)는 교정되거나 교정되지 않을 수 있다. 카메라 교정은 알려진 외관, 기하학적 구조 및 (카메라에 대한) 자세를 갖는 실제 세계 물체를 이미지 센서 상으로 매핑하는 비선형 및 선형 계수들을 계산한다. 교정 절차는 종종, 3D 재구성에 카메라(들)를 사용하기 전에 카메라(들)를 교정하기 위해 수행된다. 비-교정된 카메라 이미지들을 사용하여 동시에 3D 재구성을 수행하는 것이 또한 가능하다(참조문헌 [21] 참조). 3D 재구성을 위한 이미지들의 획득 동안에 카메라의 파라미터들을 변경하는 것이(예컨대, 주밍(zooming) 또는 포커싱함으로써) 또한 가능하다([22]).

차량 기반 재구성으로부터의 우수한 기하학적 모델 품질:

대부분의 경우에서, 차량의 센서들에 의해 캡처된 환경 데이터에 기초하여 생성된 알려지지 않은 환경의 기하학적 모델은, 정확도 및 일관성의 관점에서 핸드헬드 모바일 디바이스로부터 생성된 모델보다 우수해야 한다. 이는 재구성 프로세스의 (중간) 결과들을 크로스 체크하는 데 사용될 수 있는 센서들이 차량 내에 더 많기 때문이다. 예를 들어, 대응들은 동일한 시간으로부터의 2개의 카메라 이미지들 사이의 중첩을 통해, 또는 주행거리 측정으로부터의 물체 위치들의 예측들을 통해 검증될 수 있으며; 구체적으로, 앞바퀴들의 조향각 및 차량의 속도는, 특정한 실제 물체의 이미지가 하나의 카메라 프레임으로부터 다른 카메라 프레임(카메라 이미지)으로 어떻게 이동했을지를 예측하는 데 사용될 수 있으며, 이때 예측은 카메라에 대한 실제 물체의 깊이에 의존한다.

또한, 자동차의 모션은 핸드헬드 디바이스의 모션보다 더 제한적이다. 그것은, 6 자유도(즉, 병진에 대해 3 자유도 및 회전에 대해 3 자유도)보다 낮은 자유도 및 (모바일 핸드헬드 디바이스에 비해) 더 큰 질량 및 이에 따른 더 강한 관성으로 인한 제한된 모션을 갖는 것으로, 잘 근사화될 수 있다. 차량은 보통 2D 지면(ground plane) 상에서 이동하고 "점프"하거나 "롤링"하지 않으므로, 2 자유도는 보통 병진 모션을 모델링하기에 충분하며, 1 자유도는 회전 모션을 모델링하기에 충분하다. 물론, 필요한 경우, 차량의 모션은 항상 완전한 6 자유도에 의해 모델링될 수 있다.

시각 기반 추적(모바일 디바이스에서 실행될 수 있음):

시각 기반 추적의 표준 접근법은 특징부 검출, 특징부 기술, 특징부 매칭, 및 자세 추정의 4개의 주요 구축 블록들로 분할될 수 있다. 실제 환경 또는 실제 환경의 일부분의 알려진 기하학적 모델을 갖는 것은 환경에 대한 카메라의 자세를 결정하기 위한 표준 시각 기반 추적을 지원할 수 있다.

또한, 카메라로부터의 광류는 또한 환경에서의 카메라 자세 또는 모션을 계산하거나, 또는 카메라 자세 추정을 지원하기 위해 채용될 수 있다(참조문헌 [20] 참조).

특징부 검출은 또한 특징부 추출로 지칭된다. 특징부들은 예를 들어, 강도들, 계조도들, 에지들, 선들, 선분들, 모서리들, 기술적 특징부들 또는 임의의 다른 종류의 특징부들, 프리미티브들, 히스토그램들, 극성들 또는 배향들, 또는 이들의 조합들이지만, 이에 제한되지 않는다.

카메라의 자세를 결정하기 위해, 현재 이미지는, 결정될 자세에서의 카메라에 의해 캡처되어야 한다. 먼저, 특징부 검출이 현재 이미지에서 특징부들을 식별하기 위해 수행된다. 특징부 기술은 검출된 이미지 영역의, 전형적인 특징부 기술자로의 변환이다. 특징부 기술자는 특징부들의 비교 및 매칭을 가능하게 하기 위해 결정된다. 중요한 과제는 특징부 매칭이다. 현재 이미지에서 검출되고 그로부터 기술된 현재 특징부가 주어지면, 목표는, 제공된 특징부들의 세트에서 기준 특징부들로서 지칭될 동일한 물리적 3D 또는 2D 표면에 대응하는 특징부를 발견하는 것이다. 기준 특징부들은 실제 환경의 기준 기하학적 모델로부터 획득될 수 있다. 기준 기하학적 모델은 차량의 센서들에 기초하여 획득된다. 기준 특징부들은 또한 카메라에 의해 캡처된 다른 이미지들(예컨대, 현재 이미지가 캡처되는 자세와 상이한 자세에서 카메라에 의해 캡처된 이미지들) 중 하나로부터의 것이거나, 또는 미리-정의된 특징부 리스트에서로부터의 것일 수 있다.

현재 특징부들을 기준 특징부들과 매칭하는 것은, 각각의 개별 현재 특징부 기술자와 각각의 개별 기준 특징부 기술자 사이의 개별 유사성 측정치를 결정함으로써 수행될 수 있다. 특징부 매칭 후, 현재 이미지로부터의 특징부들과 기준 특징부들 사이의 대응들이 생성된다. 대응들은 2D-2D 또는 2D-3D일 수 있다. 대응들에 기초하여, 환경에 대한, 또는 다른 카메라 자세들 중 하나에 대한 카메라 자세가 결정된다.

또한, 실제 환경의 제2 기하학적 모델은, 현재 이미지와 카메라에 의해 캡처된 다른 이미지들 중 하나의 특징부 대응들에 기초하여 삼각측량에 의해 기준 기하학적 모델로부터 생성되거나 확장될 수 있다. 현재 이미지와 다른 이미지들 중 하나는 중첩 부분을 가져야 하고, 이어서 중첩 부분은 삼각측량에 기초하여 재구성될 수 있다. 재구성된 부분은 기준 기하학적 모델에 추가될 수 있다.

이제 (도 2와 관련하여) 도 5를 참조하면, 도 5는 현재 특징부들의 세트를 기준 특징부들의 세트와 매칭하는 표준 카메라 추적 방법의 흐름도를 도시한다. 단계(501)에서, 실제 환경의 현재 이미지 CI가 카메라로 캡처되어 제공된다. 이어서, 다음 단계(502)는 현재 이미지 CI에서 특징부들을 검출 및 기술하며(옵션: 추정된 모델-특징부-위치들에 따른 이미 선택된 추출), 이때 모든 생성된 현재 특징부 c는 특징부 기술자 d(c) 및 카메라 이미지 내의 2D 위치를 갖는다. 기준 특징부들 r의 세트는, 각각이 기술자 d(r) 및 옵션적으로 실제 환경 또는 이전의 카메라 자세들 중 하나에 대한 (부분적) 위치 및/또는 배향을 가지며, 이는 단계(503)에서 제공된다. (부분적) 위치는 GPS 센서/수신기, IR 또는 RFID 삼각측량으로부터, 또는 광대역 또는 무선 인프라를 사용하는 위치추정 방법들에 의해 획득될 수 있다. (부분적) 배향은 나침반, 가속도계, 자이로스코프, 및/또는 중력 센서와 같은 센서 디바이스로부터 획득될 수 있다. 기준 특징부들은 기준 이미지들 또는 기하학적 모델들 또는 실제 환경 또는 환경의 일부분에 관한 다른 정보로부터 추출될 수 있다. 실제 환경에 대한 위치 및/또는 배향은 시각적 탐색 및 분류 과제들의 경우에서 선택적임에 유의한다. 단계(504)에서, 단계(502)로부터의 현재 특징부들 c와 단계(503)로부터의 기준 특징부들 r이 매칭된다. 예를 들어, 모든 현재 특징부에 대하여, 특정 거리 측정치에 대하여 현재 특징부의 기술자에 가장 가까운 기술자를 갖는 기준 특징부가 탐색된다. 단계(505)에 따르면, 카메라의 위치 및 배향은 특징부 매치들(대응들)에 기초하여 결정될 수 있다. 이는 공간적으로 정합된 가상 3D 객체들을 카메라 이미지 내로 통합하는 증강 현실 애플리케이션을 지원할 수 있다.

차량으로부터 모바일 디바이스로의 데이터 핸드오버(handover)(모바일 디바이스 및 차량에서 실행될 수 있음):

환경에서 차량이 주행하는 동안에 차량의 센서들에 의해 캡처된 환경 데이터가 이용가능한 경우, 환경 데이터는 차량에서 하차할 준비를 하는 사용자(예컨대, 차량의 승객 또는 운전자)의 모바일 디바이스로 전송될 수 있다. 차량으로부터 모바일 디바이스로 데이터를 전송하는 것은 서버 컴퓨터를 통하거나, 또는 지점 대 지점 간 통신에 기초할 수 있다. 환경의 기하학적 모델은 모바일 디바이스에서 수신된 환경 데이터에 기초하여 재구성될 수 있다. 사용자는 이어서 추적을 위해 기하학적 모델을 사용할 수 있다.

기하학적 모델은 또한 환경 데이터에 기초하여 차량에서 생성되고, 이어서 서버 컴퓨터를 통해 또는 지점 대 지점 간 통신에 기초하여 모바일 디바이스로 전송될 수 있다.

기하학적 모델은 또한 환경 데이터에 기초하여 서버 컴퓨터에서 생성될 수 있다. 이 경우에서, 캡처된 환경 데이터는 차량으로부터 서버 컴퓨터로 전송되고, 이어서 생성된 기하학적 모델은 서버 컴퓨터로부터 모바일 디바이스로 전송된다.

지점 대 지점 간 통신은 무선 또는 유선(wire-bound) 접속, 푸시-기반 또는 풀-기반, 유니캐스트 또는 브로드캐스트 통신을 통해서일 수 있다. 후자는, 예를 들어, 모바일 디바이스의 풀(pool)이 차량으로부터 동일한 데이터를 동시에 제공받는 것을 가능하게 한다. 이들 모바일 디바이스는, 예를 들어, 다른 승객들의 모바일 디바이스들 또는 사용자의 보조 디바이스들일 수 있다. 예를 들어, 지점 대 지점 간 통신은 블루투스 기반 통신 또는 USB 케이블 기반의 통신일 수 있다.

데이터(기하학적 모델 또는 환경 데이터)를 차량으로부터, 또는 모바일 디바이스로 핸드 오버하는 것은, 사용자에 의해 수동으로 트리거되거나 자동으로 트리거될 수 있다. 데이터(예를 들어, 모델) 전송의 자동 트리거는 내비게이션 시스템에 알려진 목적지까지의 거리, 차량의 속도, 엔진의 상태, 차량의 운전 방향(예를 들어, 뒤로 운전), 도로에 대한 차량의 상대적 방향(예를 들어, 순방향-전용 주차 공간 또는 주차 차선 내로의 운전), 차량의 전방 또는 후방까지 다른 물체의 거리, 운전자 문의 열림/닫힘 상태, 핸들 잠금, 핸드 브레이크, 트렁크의 열림/닫힘 상태, 또는 이들의 조합에 기초할 수 있다. 자동 트리거는 또한 모바일 디바이스의 상태, 예를 들어, 그것이 유선 커넥터로부터 제거되거나, 또는 차량의 일반적인 모션과 일치하지 않는 상향 모션을 검출할 때(예컨대, 운전자가 자동차에서 하차하는 경우)에 기초할 수 있다. 데이터(예컨대 모델) 전송을 트리거하는 데 사용되는 조건들의 검출 또는 결정은 차량, 모바일 디바이스, 또는 둘 모두에 의해 실행될 수 있다. 데이터(모델) 전송의 프로세스는 차량, 모바일 디바이스, 또는 둘 모두에 의해 개시될 수 있다.

도 4a를 참조하여 기술된 바와 같은 특정 시나리오와 비교해, 기술된 애플리케이션 예에서, 본 발명의 일 양태는, 주차장에서 모바일 디바이스를 추적하는 것이, 차량이 주차장으로 운전되는 동안에 차량의 센서들에 의해 획득된 환경 데이터에 의해 지원될 수 있다는 것이다.

도 4b에 도시된 바와 같이, 사용자(4b13)는 차량(4b11)을 주차장, 즉, 실제 환경으로 운전하고 있다. 카메라(4b14)(차량의 하나 또는 다수의 센서)가 차량의 전방에 탑재된다. 주차 공간을 탐색하고 주차하는 동안에(도 4b의 그림(4b02)), 환경 데이터(예컨대, 주차장의 이미지들)가 카메라(4b14)에 의해 캡처되고, 주차장의 기하학적 모델은 환경 데이터에 기초하여 생성된다. 기하학적 모델은 정확한 메트릭 스케일로, 예를 들어 차량에 의해 제공된 주행거리 및 GPS 데이터에 기초하여 생성될 수 있다. 정확한 스케일 인자는 참인 카메라 자세 및 재구성된 기하학적 모델의 크기를 그것들이 실제 세계에 있는 것처럼 정의한다.

주차 후(도 4b의 그림(4b05) 참조), 기하학적 모델은 카메라(예컨대, 스마트 폰)가 장착된 사용자의 모바일 디바이스(4b08)로 전송된다(또는 사용자의 모바일 디바이스(4b08)에서, 전송된 환경 데이터로부터 생성됨). 이어서, 주차장에서 모바일 디바이스를 추적하는 것은 모바일 디바이스(4b08)의 카메라에 의해 캡처된 적어도 하나의 이미지에 기초하여 이상적으로 끊김없이(seamlessly) 계속될 수 있다(도 4b의 그림(4b05) 참조). 기존 접근법들과 대조되어, 본 발명은 모바일 디바이스 상에서, 환경의 초기 및 최신의 기하학적 모델을 사용자에게 제공한다. 이것은 제한된 카메라 움직임을 요구하는 초기 단계의 필요성을 제거한다.

현재, 실제 환경의 기하학적 모델, 예를 들어, 도시 또는 건물은 3D 재구성 프로세스에서 종종 이용가능하다. 그러나, 이들 모델의 대부분은 도시 건설의 잦은 개발 또는 변경으로 인해 최신 상태가 아니다. 특히, 주차된 자동차들이 때때로 달라지므로 주차장들은 보통 기하학적 모델들 또는 최신 모델들을 갖지 않는다. 이와 관련하여, 본 발명은 보다 정확하게 카메라 추적을 지원할 최신 모델을 제공한다.

차량은 사람이나 화물을 수송할 수 있는 모바일 기계일 수 있다. 차량은, 예를 들어, 자전거, 오토바이, 자동차, 트럭, 또는 지게차일 수 있지만, 이에 한정되지 않는다. 차량은 엔진이 있을 수 있거나 없을 수 있다.

제1 기하학적 모델을 생성하는 데 사용되는 환경 데이터를 획득하는 것은 언제든지 시작될 수 있거나, 또는 차량이 내비게이션 시스템에 알려진 목적지에 근접할 때, 그리고/또는 차량의 속도가 특정 임계치 미만일 때 등과 같은 특정 조건들이 충족될 때에만 시작될 수 있다. 특정 조건은 또한 차량의 특정 상태들, 예를 들어, 속도, 엔진의 상태, 브레이크 시스템의 상태, 기어들의 위치, 광 등 중 하나일 수 있다. 특정 조건은 또한 모바일 디바이스의 상태들, 예를 들어, 모바일 디바이스가 차량의 내부 또는 외부에 있는 것, 모바일 디바이스의 목적지까지의 거리 등 중 하나일 수 있다.

환경 데이터는 차량의 위치, 및 적어도 하나의 목적지를 포함하는 미리-정의된 경로에 따라 습득될 수 있다.

하나의 구현예에서, 차량이 적어도 하나의 목적지에 도달한 이후에 환경 데이터가 획득되거나, 또는 환경 데이터의 획득 프로세스의 적어도 일부분이 시작될 수 있다. 다른 구현예에서, 차량이 적어도 하나의 목적지까지 일정 거리 내에 있는 경우에 환경 데이터가 획득되거나, 또는 환경 데이터의 획득 프로세스의 적어도 일부분이 시작될 수 있다. 차량의 속도, 차량의 위치, 및 적어도 하나의 목적지를 갖기 때문에, 차량이 적어도 하나의 목적지에 도달하게 될 시간 기간을 추정하는 것이 가능하다. 다른 구현예에서, 그 시간 기간이 임계치 미만인 경우에, 환경 데이터가 획득되거나, 또는 환경 데이터의 획득 프로세스의 적어도 일부분이 시작될 수 있다.

제1 기하학적 모델 또는 제1 기하학적 모델의 일부분을 생성하는 것은 차량의 프로세서 디바이스들에서 수행될 수 있고, 제1 기하학적 모델은 차량으로부터 모바일 디바이스로 전송된다. 제1 기하학적 모델은 서버 컴퓨터를 통해 또는 지점 대 지점 간 통신에 기초하여 차량으로부터 모바일 디바이스로 전송될 수 있다. 제1 기하학적 모델 또는 제1 기하학적 모델의 일부분은 또한, 환경 데이터가 서버 컴퓨터를 통해 또는 지점 대 지점 간 통신에 기초하여 차량으로부터 모바일 디바이스로 전송된 이후에, 모바일 디바이스의 프로세서 디바이스(들)에 의해 생성될 수 있다.

제1 기하학적 모델 또는 제1 기하학적 모델의 일부분을 생성하는 것은 서버 컴퓨터에 의해 수행될 수 있으며, 환경 데이터는 차량으로부터 서버 컴퓨터로 전송된다. 이어서, 제1 기하학적 모델은 예를 들어, 차량을 통해 또는 지점 대 지점 간 통신에 기초하여, 서버 컴퓨터로부터 모바일 디바이스로 전송된다.

차량의 센서(들)는 기하학적 모델 또는 그것의 일부분을 생성하는 데 사용될 수 있는 환경 데이터를 캡처할 수 있는 임의의 유형의 센서들일 수 있다. 센서의 예들은, 광학 카메라, 적외선, 광, 자외선, x 레이 및/또는 감마 스펙트럼에 기초한 카메라, RGB-D 카메라, 깊이 센서, 비행 시간 카메라, 및 초음파 센서이지만, 이에 제한되지 않는다.

환경 데이터는 실제 환경의 적어도 하나의 시각적 또는 기하학적 특징부를 기술하는 임의의 유형의 데이터일 수 있다. 시각적 또는 기하학적 특징부은 형상, 컬러, 거리 등 중 하나일 수 있다. 환경 데이터는 환경의 광학적 이미지, 또는 환경과 차량 사이의 거리, 또는 환경에서의 차량의 배향, 또는 실제 환경에서의 차량의 속도일 수 있다.

제1 기하학적 모델을 생성하는 것은, 환경 데이터 또는 환경 데이터의 일부분이 이용가능할 때마다 언제든지, 예를 들어, 환경 데이터의 획득 동안에 온라인으로, 또는 환경 데이터의 획득 이후에 오프라인으로, 수행될 수 있다.

제1 기하학적 모델은 레이더, 거리 센서, 또는 비행 시간 카메라와 같은 차량-탑재 센서들로부터 결정되는 정확한 메트릭 스케일을 가질 수 있다. 정확한 메트릭 스케일은 또한 차량에 탑재된 카메라를 사용하여 점들 사이의 알려진 거리를 갖는 2개의 점들, 또는 환경에서 알려진 물리적 크기를 갖는 실제 물체의 이미지를 캡처함으로써 결정될 수 있다.

제1 기하학적 모델은 또한 환경에 대한 차량의 자세에 따라 생성될 수 있다. 환경에 대한 차량의 위치는 GPS로부터 획득될 수 있다. 그러나, GPS는 특히 차량이 건물들 내부에 있을 때 정확하지 않다. 카메라들(예컨대, 보안 카메라)과 같은, 많은 상이한 센서들이 환경에 설치될 수 있고, 환경에서 알려진 위치들을 갖는다. 환경에 대한 차량의 자세를 결정하기 위하여 보안 카메라에 의해 캡처된 차량의 이미지들에 기초하여 물체 인식 또는 자세 추정을 수행하는 것이 가능하다.

또한, 실제 환경에 위치된 시각 시스템(예를 들어, 하나 이상의 보안 카메라)은 제1 기하학적 모델의 적어도 일부분을 생성하는 데 사용될 수 있는 환경 데이터를 캡처하기 위해 사용될 수 있다.

다른 구현예에서, 실제 환경에 위치된 시각 시스템(에를 들어, 보안 카메라들)은 또한, 차량의 적어도 하나의 센서에 의해 획득된 데이터를 사용하지 않고 제1 기하학적 모델을 생성하기 위해 환경 데이터를 캡처하는 데 사용될 수 있다. 예를 들어, 사용자는 카메라를 포함하는 모바일 디바이스를 소지하고 있고 하나 이상의 보안 카메라가 배치된 실제 환경으로 들어갈 수 있다. 실제 환경의 최신 환경 데이터는 획득 프로세스 동안에 시각 시스템(예를 들어, 하나 이상의 보안 카메라)에 의해 캡처될 수 있고, 제1 기하학적 모델은 캡처된 환경 데이터에 기초하여 생성될 수 있다. 모바일 디바이스는 획득 프로세스 또는 획득 프로세스의 일부분 이후, 설정된 시간 기간 내에, 바람직하게는 24시간 내에, 생성된 제1 기하학적 모델 및 모바일 디바이스의 카메라에 의해 캡처된 이미지들에 따라 추적될 수 있다.

환경에 대한 차량의 자세는 또한 도로에서 주행하는 차량의 특정한 속성들에 따라 획득될 수 있다. 예를 들어, 차량의 움직임은 지면에 평행한 것으로 가정될 수 있다. 차량의 배향은 2D 거리 지도에 따라 결정될 수 있다.

일 실시예에서, 사용자가 자신의 경로 상에서 들를 것같은 장소들의 환경 데이터만이 획득되고 제1 기하학적 모델에 추가될 수 있다.

다른 실시예에서, 환경 데이터는 내비게이션 데이터, 예컨대, 경로들, 출발 위치들, 또는 목적지들에 따라 획득될 수 있다. 예를 들어, 경로들을 따르는 환경 데이터만이 획득될 수 있고, 따라서 제1 기하학적 모델은 경로들을 따르는 환경 정보만에 대한 것일 수 있다. 내비게이션 데이터는 사용자에 의해 수동으로 차량 및/또는 디바이스에 입력될 수 있다.

일 실시예에서, 제1 기하학적 모델의 생성은 획득 프로세스에서 차량의 적어도 하나의 센서에 의해 획득된 차량 상태 데이터에 적어도 부분적으로 기초할 수 있다. 예를 들어, 제1 기하학적 모델을 생성하는 환경 데이터의 적어도 일부분은 차량의 일부가 아닌 독립적 센서에 의해 획득될 수 있다. 획득된 환경 데이터의 적어도 일부분은 제1 기하학적 모델의 적어도 일부분을 생성하기 위해 차량의 하나 이상의 센서에 의해 획득된 차량 상태 데이터와 함께 사용될 수 있다. 예를 들어, 차량에 앉아 있는 승객이 소지한, 차량으로부터 분리된 카메라가 실제 환경의 이미지들을 캡처할 수 있는 한편, 차량의 주행거리 측정 및/또는 속도 센서는 차량에 관한 주행거리 측정 또는 속도 데이터를 획득하는 데 사용될 수 있다. 실제 환경의 이미지들 및 주행거리 측정 또는 속도 데이터는 제1 기하학적 모델의 적어도 일부분을 생성하기 위해 함께 사용될 수 있다. 이것은, 승객이 소지한 카메라가 차량에 대해 알려진 움직임 또는 위치를 갖는다는 장점을 취할 수 있다. 움직임은 카메라가 차량에 대해 정적인(모션이 없음) 것일 수 있다. 또한 카메라가 차량에 대한 움직임을 갖는 것이 가능하다. 카메라는 차량의 좌표계에서 추적될 수 있다. 예를 들면, 이미지 캡처 디바이스가 차량에 탑재되고, 차량에 대한 카메라의 자세를 결정할 수 있다. 다른 예에서, 카메라에 의해 캡처된 차량의 적어도 일부분의 이미지는 차량에 대한 카메라의 자세를 결정하는 데 사용될 수 있다.

다른 실시예에서, 차량의 적어도 하나의 센서에 의해 획득된 데이터는 제1 기하학적 모델의 적어도 일부분을 생성하기에 충분하지 않을 수 있다. 유사하게, 모바일 디바이스의 카메라에 의해 획득된 데이터는 또한 제1 기하학적 모델의 적어도 일부분을 생성하기에 충분하지 않을 수 있다. 그러나, 제1 기하학적 모델의 적어도 일부분은 차량의 적어도 하나의 센서에 의해 그리고 모바일 디바이스의 카메라에 의해 획득된 데이터 둘 모두를 사용함으로써 생성될 수 있다. 예를 들어, 단지 차량의 카메라에 의해 캡처된 하나의 이미지만을 사용함으로써 또는 단지 모바일 디바이스의 카메라에 의해 캡처된 하나의 이미지를 사용함으로써 제1 기하학적 모델을 생성하는 것은 가능하지 않을 수 있다. 그러나, 차량의 카메라에 의해 캡처된 이미지 및 모바일 디바이스의 카메라에 의해 캡처된 이미지를 사용함으로써 제1 기하학적 모델을 생성하는 것은 가능할 수 있다.

또한, 차량의 적어도 하나의 센서에 의해 획득된 데이터 또는 모바일 디바이스의 카메라에 의해 획득된 데이터 중 어느 하나를 사용함으로써 정확한 메트릭 스케일을 갖는 제1 기하학적 모델의 적어도 일부분을 생성하는 것은 가능하지 않을 수 있다. 그러나, 차량의 적어도 하나의 센서에 의해 그리고 모바일 디바이스의 카메라에 의해 획득된 데이터 둘 모두를 사용함으로써 정확한 메트릭 스케일을 갖는 제1 기하학적 모델의 적어도 일부분을 생성하는 것은 가능할 수 있다. 전술한 예로서, 차량의 센서들에 의해 캡처된 속도 또는 주행거리 측정을 사용함으로써 제1 기하학적 모델을 생성하는 것은 가능하지 않을 수 있다. 단지 모바일 디바이스의 카메라에 의해 캡처된 이미지들만을 사용함으로써 메트릭 정확한 스케일을 갖는 제1 기하학적 모델을 생성하는 것 또한 가능하지 않을 수 있다. 그러나, 정확한 메트릭 스케일을 갖는 제1 기하학적 모델은 모바일 디바이스의 카메라에 의해 캡처된 이미지들 및 차량에 관한 주행거리 측정 또는 속도 데이터를 사용함으로써 생성될 수 있다.

모바일 디바이스로 제1 기하학적 모델을 전송하는 것은 사용자에 의해 수동으로 트리거되거나 자동으로 트리거될 수 있다. 자동 트리거는 내비게이션 시스템에 알려진 목적지까지의 거리, 차량의 속도, 엔진의 상태, 차량의 방향(예를 들어, 뒤로 운전), 도로에 대한 차량의 상대적 방향(순방향-전용 주차 공간 또는 주차 차선 내로의 운전), 차량의 전방 또는 후방까지 다른 물체의 거리, 운전자 문의 열림/닫힘 상태, 핸들 잠금, 핸드 브레이크, 트렁크의 열림/닫힘 상태, 또는 이들의 조합에 기초할 수 있다.

본 발명은 디바이스 상에서 실행되는 모바일 AR 및 내비게이션 애플리케이션들에 특히 유익하다.

본 발명에 따른 모바일 디바이스는 핸드헬드 모바일 디바이스들(예를 들어, 모바일 폰), 머리착용 안경들 또는 헬멧들, 및 착용가능한 디바이스들과 같은, 사용자들에 의해 운반될 수 있는 모든 종류들의 디바이스들로부터일 수 있다.

환경에서 적어도 하나의 카메라를 장착한 모바일 디바이스를 추적하는 것은, 환경에 대한 디바이스의 자세, 즉, 위치 및 배향을 결정하는 것, 또는 디바이스의 다른 위치들 중 하나에 대한 디바이스의 모션, 즉, 위치 및 배향을 결정하는 것이다. 카메라가 모바일 디바이스에 대한 고정된 공간적 관계를 가지므로, 모바일 디바이스를 추적하는 것은 시각 기반 추적에 기초하여, 예를 들어, 카메라의 자세를 결정하기 위해 적어도 하나의 카메라에 의해 캡처된 이미지 및 제1 기하학적 모델을 사용하여 실현될 수 있다. 환경에 대한 카메라의 자세는 기하학적 모델과 카메라 이미지 사이의 대응들에 기초하여 계산될 수 있다.

환경의 제2 기하학적 모델은 제1 기하학적 모델을 사용하여, 그리고 깊이 데이터를 갖지 않는 적어도 2개의 이미지를 사용하여, 또는 적어도 하나의 카메라에 의해 캡처된 깊이 데이터를 갖는 적어도 하나의 이미지를 사용하여 생성될 수 있다. 이를 위해, 적어도 2개의 이미지 또는 적어도 하나의 이미지를 캡처할 때의 카메라 자세들이 먼저 결정될 수 있다. 이어서, 제2 기하학적 모델은 적어도 2개의 이미지를 사용하여 삼각측량에 기초하여 구성될 수 있거나, 또는 적어도 하나의 이미지 및 연관된 깊이 데이터를 사용하여 구성될 수 있다.

깊이 데이터를 갖지 않는 하나의 캡처된 카메라 이미지를 사용하는 것은 미결정된 메트릭 스케일을 갖는 환경의 모델 정보를 생성한다. 미결정된 메트릭 스케일을 갖는 모델 정보는 카메라가 순수 회전을 겪을 때 카메라 자세들을 추정하는 데 사용될 수 있다.

제1 기하학적 모델 또는 모델의 일부분은 관심 대상인 실제 환경의 전 영역을 커버하지 않을 수 있다. 제2 기하학적 모델은 환경의 더 많은 영역을 커버하도록 제1 기하학적 모델 또는 제1 기하학적 모델의 일부분을 확장함으로써 생성될 수 있다.

시각 기반 추적에 대한 표준 접근법은 특징부 추출, 특징부 기술, 특징부 매칭, 및 자세 결정을 포함한다.

특징부들은 예를 들어, 강도들, 계조도들, 에지들, 선들, 선분들, 모서리들, 기술적 특징부들 또는 임의의 다른 종류의 특징부들, 프리미티브들, 히스토그램들, 극성들 또는 배향들이다.

모바일 디바이스를 추적하는 것 및/또는 제2 기하학적 모델을 생성하는 것은 또한 단안 시각 기반 동시적 위치추정 및 지도작성(SLAM)에 의해 실현될 수 있다. 제2 기하학적 모델을 생성하는 것은 또한 동시에 실행되지 않는 재구성 알고리즘들을 포함할 수 있지만, 참조문헌 [19]에 기술된 바와 같이 일괄/준-오프라인(batch/quasi-offline) 재구성 방법들을 사용할 수 있다.

단안 시각 기반 SLAM은 실제 환경에 대한 카메라 자세들을 결정하고 실제 환경의 모델을 생성하기 위해 실제 환경에서 단일 카메라를 이동시키는 것에 관한 것이다. SLAM은 종종 환경의 적어도 일부분이 알려지지 않은 기하학적 모델을 가질 때 추적에 사용된다.

실제 환경에서 카메라의 자세는 환경 또는 환경의 일부분에 대한 위치 및 배향을 기술한다. 3D 공간에서, 위치는 3개의 파라미터, 예를 들어, 3개의 직교 축을 따른 변위들에 의해 정의되고, 배향은 3개의 오일러 각(Euler angle) 파라미터에 의해 정의될 수 있다. 배향은 또한 다른 수학 식들, 예를 들어, 축 각도 및 사원수(quaternion)로 표현될 수 있다. 회전의 수학적 표현들을 서로에 대해 변환하는 것은 항상 가능하다. 본 발명에서의 자세는 3차원 공간에서의 위치 및 배향의 고유한 6개 파라미터 중 적어도 하나에 의해 정의될 수 있다.

제안된 발명은 이미지 포맷(컬러 또는 그레이 스케일)을 제공하는 모바일 디바이스에 탑재된 임의의 카메라에 쉽게 적용될 수 있다. 그것은 RGB 포맷인 컬러 이미지들을 제공하는 캡처 시스템들로 한정되지 않는다. 그것은 또한 임의의 다른 컬러 포맷에도 적용될 수 있고, 또한 단색 이미지들에도, 예를 들어 그레이스케일 포맷인 이미지들을 제공하는 카메라들에 적용될 수 있다.

실제 환경은 실제 세상의 임의의 실제 장면, 예컨대 자연의 장면, 실내 환경 장면, 또는 도시 장면일 수 있다. 실제 환경은 하나 이상의 실제 물체를 포함한다. 장소, 건물, 나무, 또는 산과 같은 실제 물체는 실제 환경에서 영역을 점유하고 이에 위치한다.

환경의 기하학적 모델(모델 또는 지도로도 지칭됨)은 적어도 환경의 깊이 정보를 기술한다. 모델은 또한, 하기의 속성들, 즉 형상, 대칭성, 평면성, 기하학적 크기, 컬러, 질감, 및 밀도 중 적어도 하나를 포함할 수 있지만 이들로 한정되지는 않는다. 기하학적 모델은 다양한 특징부를 포함할 수 있다.

기하학적 모델은 또한, 실제 환경의 (부분들의) 질감, 컬러, 및/또는 이들의 조합들(즉, 재료)에 대한 정보를 포함할 수 있다. 제1 모델의 매우 일반적인 표현은 기하학적 구조의 저밀도 공간적 기술을 제공하는 3D 점들을 조합한다. 기하학적 모델은 또한, 3D 점들 주변의 이미지 패치에서 (재료의 일부로서) 특징부의 질감을 기술하는 연관된 특징부 기술자들을 가질 수 있다. 특징부 기술자들은 이미지들 또는 이미지 패치들에서의 국부적 특징부들을 기술하는 수학적 표현, 예컨대 SIFT(Scale-invariant feature transform), SURF(Speeded Up Robust Features), 및 LESH(Local Energy based Shape Histogram)이다. 특징부들은 예를 들어, 강도들, 계조도들, 에지들, 선들, 선분들, 모서리들, 기술적 특징부들 또는 임의의 다른 종류의 특징부들, 프리미티브들, 히스토그램들, 극성들 또는 배향들과 같지만, 이에 제한되지 않는다.

기하학적 모델은 또한, 예를 들어, 3D 버텍스들, 이러한 버텍스들에 의해 스팬(span)되는 다각형의 면들 및/또는 에지들을 포함하는 모델로서 표현될 수 있다. 모델의 에지들 및 면들은 또한 스플라인(spline)들 또는 NURBS 표면들로서 표현될 수 있다. 기하학적 모델은 또한 3D 점들의 세트에 의해 표현될 수 있다. 점들은 그것들의 컬러 또는 강도에 대한 추가 정보를 보유할 수 있다.

본 문헌 전체에 걸쳐서, 이미지들이 캡처되고 이미지와 연관된 이미지 정보가 제공되거나 수신된다는 것이 기술되어 있다. 이러한 것이, 자세 추정(추적) 또는 재구성을 허용하는, 이미지, 이미지의 일부분 및/또는 이미지의 특징부들의 임의의 프로세싱된 또는 프로세싱되지 않은 정보(버전)를 제공하거나 수신하는 것을 포함할 수 있다는 것은, 통상의 기술자에게 알려져 있다. 본 발명은 어떠한 가공되지 않은(raw) 원래의(original) 이미지 데이터도 제공하거나 수신할 것을 요구하지 않는다. 이에 따라, 프로세싱은 압축(예컨대, JPEG, PNG, ZIP), 암호화(예컨대, RSA 암호화, Schnorr 서명, El-Gamal 암호화, PGP), 다른 색공간 또는 그레이스케일로의 변환, 특징부 기술자들에 기초한 이미지의 크로핑 또는 스케일링이나 희소 표현으로의 변환, 추출, 및 이들의 조합들 중 임의의 하나를 포함한다. 이러한 이미지 프로세싱 방법들 모두는 선택적으로 수행될 수 있고, 이미지와 연관된 이미지 정보의 용어에 의해 포괄된다.

참조문헌:

1. Davison, Andrew J., et al. "MonoSLAM: Real-time single camera SLAM." Pattern Analysis and Machine Intelligence, IEEE Transactions on 29.6 (2007): 1052-1067.

2. SanniSiltanen, Theory and applications of marker-based augmented reality. Espoo 2012. VTT Science 3. http://www.vtt.fi/inf/pdf/science/2012/S3.pdf

3. Gauglitz, Steffen, et al. "Live tracking and mapping from both general and rotation-only camera motion." Mixed and Augmented Reality (ISMAR), 2012 IEEE International Symposium on. IEEE, 2012.

4. Strasdat, Hauke, J. M. M. Montiel, and Andrew J. Davison. "Scale drift-aware large scale monocular SLAM." Proceedings of Robotics: Science and Systems (RSS). Vol. 2. No. 3. 2010.

5. Lemaire, Thomas, et al. "Vision-based slam: Stereo and monocular approaches." International Journal of Computer Vision 74.3 (2007): 343-364.

6. Lieberknecht, Sebastian, et al. "RGB-D camera-based parallel tracking and meshing." Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium on. IEEE, 2011.

7. Lowe, David G. "Distinctive Image Features from Scale-Invariant Keypoints." International Journal of Computer Vision 60.2 (2004) : 91-110.

8. Bosch, A, Andrew Zisserman, and X Munoz. "Representing shape with a spatial pyramid kernel." Image Processing 5 (2007) : 401-408.

9. Leutenegger, Stefan, Margarita Chli, and Roland Y. Siegwart. "BRISK: Binary robust invariant scalable keypoints." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.

10. Triggs, Bill, et al. "Bundle adjustment-a modern synthesis." Vision algorithms: theory and practice (2000): 153-177.

11. Klein, Georg, and David Murray. "Parallel tracking and mapping for small AR workspaces." Mixed and Augmented Reality, 2007. ISMAR 2007. 6th IEEE and ACM International Symposium on. IEEE, 2007.

12. Newcombe, Richard A., Steven J. Lovegrove, and Andrew J. Davison. "DTAM: Dense tracking and mapping in real-time." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.

13. Newcombe, Richard A., and Andrew J. Davison. "Live dense reconstruction with a single moving camera." Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010.

14. Fuchs, Stefan, and Stefan May. "Calibration and registration for precise surface reconstruction with time-of-flight cameras." International Journal of Intelligent Systems Technologies and Applications 5.3 (2008): 274-284.

15. Hilton, Adrian, et al. "Reliable surface reconstruction from multiple range images." Computer Vision－ECCV'96 (1996): 117-126.

16. Whitaker, Ross T. "A level-set approach to 3D reconstruction from range data." International Journal of Computer Vision 29.3 (1998): 203-231.

17. US 8150142 B2

18. US 7433024 B2

19. Snavely, Noah, Steven M. Seitz, and Richard Szeliski. "Photo tourism: exploring photo collections in 3D." ACM Transactions on Graphics (TOG). Vol. 25. No. 3. ACM, 2006.

20. Chojnacki, Michael J. Brooks Wojciech, and Luis Baumela. "3d reconstruction from optical flow generated by an uncalibrated camera undergoing unknown motion."

21. Hartley, Richard. "Euclidean reconstruction from uncalibrated views." Applications of invariance in computer vision (1994): 235-256.

22. Pollefeys, Marc, et al. "Automated reconstruction of 3D scenes from sequences of images." ISPRS Journal of Photogrammetry and Remote Sensing 55.4 (2000): 251-267.

23. Triggs, Bill, et al. "Bundle adjustment－a modern synthesis." Vision algorithms: theory and practice. Springer Berlin Heidelberg, 2000. 298-372.

24. Lourakis, Manolis, and Antonis Argyros. The design and implementation of a generic sparse bundle adjustment software package based on the levenberg-marquardt algorithm. Vol. 1. No. 2. Technical Report 340, Institute of Computer Science-FORTH, Heraklion, Crete, Greece, 2004.

Claims (30)

1. 실제 환경에서 적어도 하나의 카메라를 포함하는 모바일 디바이스를 추적하는 방법으로서,
   상기 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보를 수신하는 단계;
   획득 프로세스에서 차량의 적어도 하나의 센서에 의해 획득된 환경 데이터 또는 차량 상태 데이터에 기초하여 상기 실제 환경의 적어도 일부분의 제1 기하학적 모델을 생성하는 단계 - 상기 차량은 상기 모바일 디바이스와 상이함 -;
   상기 적어도 하나의 이미지와 연관된 상기 이미지 정보에 기초하여 그리고 적어도 부분적으로 상기 제1 기하학적 모델에 따라, 상기 실제 환경에 대한 상기 모바일 디바이스의 자세(pose)의 적어도 하나의 파라미터를 결정함으로써, 상기 모바일 디바이스를 추적하는 단계; 및
   상기 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 추가의 이미지와 연관된 수신된 이미지 정보에 기초하거나, 또는 상기 적어도 하나의 이미지와 연관된 수신된 깊이 정보에 추가로 기초하여 제2 기하학적 모델을 생성하는 단계
   를 포함하는, 방법.
2. 삭제
3. 제1항에 있어서, 상기 모바일 디바이스를 추적하는 단계는 설정된 시간 기간 내에 수행되는, 방법.
4. 삭제
5. 제1항에 있어서, 상기 제2 기하학적 모델은 상기 제1 기하학적 모델을 확장함으로써 생성되는, 방법.
6. 제1항에 있어서, 상기 제1 기하학적 모델의 적어도 일부분은 상기 적어도 하나의 카메라에 의해 캡처된 하나 이상의 이미지에 따라 생성되는, 방법.
7. 제1항에 있어서, 상기 획득 프로세스는 적어도 부분적으로 상기 모바일 디바이스가 상기 차량에 의해 운반되고 있는 동안에 수행되는, 방법.
8. 제7항에 있어서, 상기 획득 프로세스는 적어도 부분적으로 상기 차량이 이동하고 있는 동안에 수행되고 센서 데이터가 상이한 차량 위치들에서 상기 차량의 상기 적어도 하나의 센서로부터 획득되는, 방법.
9. 제1항에 있어서, 상기 환경 데이터는 상기 차량의 위치 및 상기 차량을 위한 적어도 하나의 설정된 목적지에 따라 획득되는, 방법.
10. 제9항에 있어서,
    상기 환경 데이터는 상기 차량이 상기 적어도 하나의 목적지에 도달한 이후에 획득되거나,
    상기 환경 데이터는 상기 차량이 상기 적어도 하나의 목적지까지 일정 거리 내에 있는 경우에 획득되거나,
    상기 환경 데이터는 상기 차량의 상기 위치, 상기 차량의 속도, 및 상기 적어도 하나의 목적지에 따라 획득되는, 방법.
11. 제1항에 있어서, 상기 제1 기하학적 모델은 상기 실제 환경에 배치된 추가의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보에 추가로 기초하여 생성되는, 방법.
12. 제1항에 있어서, 상기 차량의 상기 적어도 하나의 센서는 차량 카메라들 사이의 알려진 공간적 관계를 갖는 적어도 2개의 차량 카메라들을 포함하며, 상기 제1 기하학적 모델의 메트릭 스케일(metric scale)은 상기 공간적 관계에 따라 결정되는, 방법.
13. 제1항에 있어서, 상기 제1 기하학적 모델 또는 상기 제1 기하학적 모델의 일부분을 생성하는 것은 상기 차량의 프로세싱 디바이스에 의해 수행되고, 상기 제1 기하학적 모델은 상기 차량으로부터 상기 모바일 디바이스로 전송되는, 방법.
14. 삭제
15. 제1항에 있어서, 상기 환경 데이터는 상기 차량으로부터 상기 모바일 디바이스로 전송되고, 상기 제1 기하학적 모델 또는 상기 제1 기하학적 모델의 일부분을 생성하는 것은 상기 모바일 디바이스 상에서 수행되는, 방법.
16. 삭제
17. 제1항에 있어서, 상기 환경 데이터는 상기 차량으로부터 서버 컴퓨터로 전송되고, 상기 제1 기하학적 모델 또는 상기 제1 기하학적 모델의 일부분을 생성하는 것은 상기 서버 컴퓨터 상에서 수행되는, 방법.
18. 제1항에 있어서, 상기 제1 기하학적 모델은, 차량-탑재 센서들로부터 결정되는 정확한 메트릭 스케일을 갖는, 방법.
19. 제1항에 있어서,
    목적지로의 하나 이상의 경로가 제공되고,
    상기 제공된 경로들 중 하나 이상의 경로에 따라 상기 환경 데이터가 획득되고/되거나 상기 제1 기하학적 모델이 생성되는, 방법.
20. 제1항에 있어서, 상기 제1 및 제2 기하학적 모델들 중 적어도 하나는 적어도 상기 실제 환경의 깊이 정보를 기술하는(describe), 방법.
21. 제1항에 있어서, 상기 모바일 디바이스는 핸드헬드 디바이스, 모바일 폰, 머리착용 안경 또는 헬멧, 또는 착용가능한 디바이스로 구성된 그룹으로부터 선택되는 디바이스인, 방법.
22. 제1항에 있어서, 상기 방법은 증강 현실을 위한 방법에서 사용되도록 구성되는, 방법.
23. 제1항에 있어서, 상기 모바일 디바이스를 추적하는 단계에서, 시각 기반 추적(vision based tracking)이 수행되는, 방법.
24. 제23항에 있어서, 상기 시각 기반 추적은 시각 기반 동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM)인, 방법.
25. 제23항에 있어서, 상기 시각 기반 추적은 특징부 추출, 특징부 기술(feature description), 특징부 매칭, 및 자세 결정을 포함하는, 방법.
26. 제25항에 있어서, 사용된 특징부들은 강도들, 계조도(gradient)들, 에지들, 선들, 선분(segment)들, 모서리들, 기술적 특징부들, 프리미티브(primitive)들, 히스토그램들, 극성들 및 배향들 중 적어도 하나 또는 이들의 조합들인, 방법.
27. 소프트웨어 코드 섹션들을 가지는 컴퓨터 판독가능 저장 매체로서,
    상기 소프트웨어 코드 섹션들은:
    적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보를 수신하고,
    획득 프로세스에서 차량의 적어도 하나의 센서에 의해 획득된 환경 데이터 또는 차량 상태 데이터에 기초하여 실제 환경의 적어도 일부분의 제1 기하학적 모델을 생성하고 - 상기 차량은 모바일 디바이스와 상이함 -,
    상기 적어도 하나의 이미지와 연관된 상기 이미지 정보에 기초하여 그리고 적어도 부분적으로 상기 제1 기하학적 모델에 따라, 상기 실제 환경에 대한 상기 모바일 디바이스의 자세(pose)의 적어도 하나의 파라미터를 결정함으로써, 상기 모바일 디바이스를 추적하고,
    상기 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 추가의 이미지와 연관된 수신된 이미지 정보에 기초하거나, 또는 상기 적어도 하나의 이미지와 연관된 수신된 깊이 정보에 추가로 기초하여 제2 기하학적 모델을 생성하도록
    구성되는, 컴퓨터 판독가능 저장 매체.
28. 제27항에 있어서, 상기 환경 데이터는 상기 차량의 위치 및 상기 차량을 위한 적어도 하나의 설정된 목적지에 따라 획득되는, 컴퓨터 판독가능 저장 매체.
29. 모바일 디바이스를 추적하기 위한 시스템으로서,
    적어도 하나의 카메라;
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 연결되고 상기 하나 이상의 프로세서에 의해 실행가능한 컴퓨터 판독가능 코드를 포함하는 메모리
    를 포함하고,
    상기 컴퓨터 판독가능 코드는:
    상기 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지와 연관된 이미지 정보를 수신하고,
    획득 프로세스에서 차량의 적어도 하나의 센서에 의해 획득된 환경 데이터 또는 차량 상태 데이터에 기초하여 실제 환경의 적어도 일부분의 제1 기하학적 모델을 생성하고 - 상기 차량은 상기 모바일 디바이스와 상이함 -,
    상기 적어도 하나의 이미지와 연관된 상기 이미지 정보에 기초하여 그리고 적어도 부분적으로 상기 제1 기하학적 모델에 따라, 상기 실제 환경에 대한 상기 모바일 디바이스의 자세(pose)의 적어도 하나의 파라미터를 결정함으로써, 상기 모바일 디바이스를 추적하고,
    상기 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 추가의 이미지와 연관된 수신된 이미지 정보에 기초하거나, 또는 상기 적어도 하나의 이미지와 연관된 수신된 깊이 정보에 추가로 기초하여 제2 기하학적 모델을 생성하기 위한 컴퓨터 판독가능 코드인,
    시스템.
30. 제29항에 있어서, 상기 환경 데이터는 상기 차량의 위치 및 상기 차량을 위한 적어도 하나의 설정된 목적지에 따라 획득되는, 시스템.

Images