KR20140053870A

KR20140053870A - 3d 거리

Info

Publication number: KR20140053870A
Application number: KR1020137027560A
Authority: KR
Inventors: 안드레아스 시버트; 빅터 콜베
Original assignee: 애플 인크.
Priority date: 2011-03-18
Filing date: 2011-03-18
Publication date: 2014-05-08
Also published as: AU2011362799B2; US20140267254A1; AU2011362799A1; EP2686827A1; CN103635935B; KR101533182B1; CN103635935A; US9799139B2; WO2012126500A1

Abstract

텍스처링된 3D 모델에 배치될 영상을 획득하고 이 모델로부터의 텍스처 정보를 사용하면서 새로운 추정된 포즈를 획득하기 위해 획득된 영상을 이 모델과 정렬시키는 방법 및 장치가 제공된다. 이것은 획득된 영상이 상기 새로운 추정된 포즈를 사용하여 3D 모델에 배치될 수 있게 해준다. 한 측면에서, 정렬시키는 것은 3D 모델에서의 영상을 추정된 포즈로 렌더링하는 것 및 이어서 획득된 영상을 렌더링된 영상과 정렬시키는 것을 포함한다. 다른 측면에서, 정렬시키는 것은 획득된 영상을 3D 모델에 추정된 포즈로 투영하는 것 및 이어서 투영된 획득된 영상을 텍스처링된 3D 모델과 정렬시키는 것을 포함한다. 또 다른 측면에서, 정렬시키는 것은 획득된 영상을 텍스처링된 3D 모델에 투영하는 것, 제1 영상을 원래의 3D 모델에 그리고 제2 영상을 획득된 영상이 투영되었던 3D 모델에 렌더링하는 것, 및 이어서 제1 및 제2 영상을 정렬시키는 것을 포함한다.

Description

3D 거리{3D STREETS}

본 발명은 텍스처링된 3D 모델을 사용하여 획득된 영상, 상세하게는, 거리-레벨 영상을 배치하는 방법 및 장치에 관한 것이다.

종래 기술에서, 디지털 지도를 제공하는 지리 정보 시스템이 공지되어 있다. 통상적으로, 항공기가 3D로 모델링될 지형의 섹션을 스캔함으로써 포착된(또는 획득된) 영상에 기초하여 3차원 지도가 형성된다. 영상을 포착할 때, 카메라 위치는 GPS에 의해 획득될 수 있고, 영상이 추가로 시간 스탬핑된다. 항공기는 또한 롤(roll), 피치(pitch) 및 요(yaw)라고 하는 항공기의 회전 각도가 기록될 수 있도록 IMU(inertial measurement unit, 관성 측정 장치)를 구비하고 있다. 이와 같이, 각각의 포착된 영상에 대해 카메라의 위치(position) 및 자세(attitude) 둘 다가 기록된다.

카메라의 위치 및 자세[항법 데이터(navigation data)라고 함]를 고려하여, 포착된 영상의 스테레오 처리(stereo processing)가 수행될 수 있다. 실질적으로 동일한 시점에서 포착된 중첩하는 영상 데이터를 포함하는 영상 쌍은 항법 데이터에 관련되어 있고, 그에 의해 중첩하는 영상들의 각자의 픽셀 각각은 지상에서의 지리 좌표와 연관되어 있을 수 있다. 스테레오 처리는 영상 쌍의 다른쪽 영상에서의 대응하는 영역과 정합하는 영상의 그 부분만이 사용된다는 것을 암시한다. 이어서 삼각 함수를 사용하여, 카메라 평면으로부터 지상의 주어진 지점까지의 거리가 계산될 수 있고, 3D 지도 표현이 생성될 수 있다.

공중(airspace)에서의 양호한 GPS 신호 수신 조건은 물론, IMU 장비에 의해 달성되는 후처리 기능으로 인해 항공 영상이 고정확도로 배치될 수 있다. 이러한 영상으로부터의 3D 표현으로부터, 세밀한 고해상도 텍스처를 갖는 고정확도의 지리-참조 3D 모델(geo-referenced 3D model)이 얻어진다. 그렇지만, 훨씬 더 실감나는 외관을 가지는 3D 모델을 달성하기 위해, 항공 영상이 거리-레벨 영상으로 또는, 이와 유사하게, 중간 고도에서 포착된 영상으로 보완될 수 있다. 이것은 3D 모델을 거리-레벨 영상으로 텍스처링하는 것은 물론, 3D 재구성 프로세스에서 거리-레벨 영상을 사용함으로써 달성될 수 있다. 이들 중 어느 하나가 가능하도록 하기 위해, 거리-레벨 영상이 3D 모델에 대해 고정확도로 배치되어야만 하고, 거리-레벨 영상이 3D 모델과 충분한 대응 관계를 갖기 위해, 기본 3D 모델이 텍스처 및 지오메트리(geometry)에서 충분한 디테일(detail)을 가져야만 한다. 박스형 건물 표현으로는 기본 3D 모델에서 충분한 지리-참조 디테일을 획득하기 어려운데, 그 이유는 이들 모델의 지오메트리 및 텍스처가 좀처럼 실세계를 충분히 정확하게 표현하지 못하기 때문이다. 그렇지만, 높은 디테일의 항공 3D 모델에서는, 충분한 정확도를 갖는 거리-레벨 영상의 배치가 가능하다. 정확한 거리-레벨 포즈(street-level pose)에 의해, 거리-레벨 영상의 병합은 물론, 조각된 표면, 발코니, 장식 또는 정교한 창틀 등의 훨씬 더 복잡한 표면의 3D 재구성이 가능하다. 이와 같이, 거리-레벨 영상으로부터의 디테일을 부가함으로써 항공 3D 표현의 실물같은 외관이 향상된다.

Hu 등의 “Integrating LiDAR, Aerial Image and Ground Images for Complete Urban Building Modeling”, University of Southern California, Proceedings of the Third International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT'06), 2006은, 정확한 3D 건물 모델을 생성하기 위해, LiDAR 데이터, 항공 영상 및 지상 촬영 영상(ground-view image)을 융합하는 하이브리드 모델링 시스템을 개시하고 있다. 복잡한 건물 형상에 대한 윤곽선이 고해상도 항공 영상으로부터 상호작용적으로 추출되고, 표면 정보가 LiDAR 데이터로부터 프리미티브 기반 방법(primitive based method)을 사용하여 자동으로 피팅(fitting)되며, 고해상도 지상 촬영 영상이 모델에 통합되어 완전히 텍스처링된 CAD 모델을 발생한다.

항공 영상을 사용한 3D 모델링으로부터는 일반적으로 고품질의 배치가 얻어지지만, 거리-레벨 3D 모델링은 통상적으로 보다 낮은 품질의 배치를 겪는다. 예를 들어, 장애물로 인한 GPS 신호 차폐, 신호 왜곡, 및 거리-레벨 차량의 비교적 다양한 움직임에서의 IMU 데이터의 드리프트 등의 인자들은 지상 레벨에서의 측정을 열화시킨다. 이것으로 인해 거리-레벨 영상의 기록된 위치가 부정확하게 된다. 게다가, 주어진 실제 카메라의 기계적 및 광학적 특성이 어쩌면 동일한 카메라의 특성과 상이하며, 그 결과 부정확한 측정이 얻어진다. 또 다른 문제점은, 중첩하는 영상 데이터를 찾아내는 것이 어려울 것이기 때문에, 크게 다른 각도에서 포착된 영상을 정렬시키는 것이 골치거리라는 것이다. 이와 같이, 거리-레벨 영상을 항공 영상으로부터 도출된 3D 모델에 투영할 때, 상당한 부정합의 위험이 있는데, 그 이유는 거리-레벨 영상을 포착하는 데 사용되는 지상-레벨 카메라의 포즈가 항공 3D 모델의 지리 참조 디테일과 부합하지 않기 때문이다.

본 발명의 목적은 포착된(또는 획득된) 영상, 상세하게는, 포착된 거리-레벨 영상을 텍스처링된 3D 모델에 배치하는 종래 기술의 방법을 개선시키는 것이다. 이어서, 획득된 (거리-레벨) 영상이, 상세하게는, 추가의 텍스처 정보를 부가하거나 기하학적 정보를 미세 조정함으로써 향상되고 훨씬 더 실감나는 3D 모델을 생성하기 위해, 그 영상이 배치되는 3D 모델에 적용될 수 있다.

이 목적은 독립 청구항에 따른, 텍스처링된 3D 모델을 사용하여 거리-레벨 영상 등의 포착된(또는 획득된) 영상을 배치하는 방법 및 장치에 의해 달성된다. 바람직한 실시예는 종속 청구항에 의해 한정되어 있다.

이를 위해, 본 발명은 공간 영역의 텍스처링된 3D 모델을 사용하여 영상을 배치하는 방법 및 장치를 제공한다. 이 방법은 상기 공간 영역의 적어도 일부분을 나타내는 배치될 영상을 획득하는 단계; 3D 모델에 포함된 텍스처 정보를 사용하면서 새로운 추정된 포즈를 획득하기 위해 획득된 영상을 3D 모델과 정렬(align)시키는 단계; 및 상기 새로운 추정된 포즈를 사용하여, 획득된 영상을 배치하는 단계를 포함한다. 이 장치는 이들 동작을 수행하는 처리 수단을 가진다.

이 출원의 목적상, 포즈(pose)는 카메라 위치 및 자세를 의미하기 위한 것이다. 텍스처링(texturing) 및 텍스처 정보라는 용어는 컴퓨터 그래픽 및 기하학적 모델링의 분야에서의 그의 보통의 의미를 부여받는다. 텍스처링은 사진 데이터, 또는 상세하게는 색상 값을 3D 모델에서의 표면에 할당하는 것에 의한 그래픽 정보의 수동 입력에 기초할 수 있다. 영상을 포착(또는 획득 또는 기록)하는 동작은 카메라 등의 영상 장치에 입사하는 광을 컴퓨터 판독가능 형태로 인코딩하는 것을 말할 수 있다. 영상 획득은, 상세하게는, 디지털 사진 촬영에서의 그 자체로 공지된 절차에 의해 수행될 수 있다. 게다가, 용어 거리-레벨 영상이라는 용어가 실질적으로 수평인 카메라 자세에서 실질적으로 지상 레벨에서 획득된 영상에 대해서 사용될 뿐만 아니라, 보다 일반적으로 텍스처링된 3D 모델에 의해 표현되는 공간 영역의 일부분을 나타내는 임의의 (2D) 영상도 말할 수 있다는 것을 잘 알 것이다. 이러한 화상이 지상-레벨 카메라 또는 이동식 또는 축조된 구조물, 항공기 등에 위치되어 있는 높은 곳의 카메라에 의해 획득될 수 있다. 획득된 (거리-레벨) 영상이 이러한 의미에서 텍스처링된 3D 모델에서도 나타나는 가시 특징을 포함할 수 있고, 또한 획득된 영상이 텍스처링된 3D 모델에서 사용되는 좌표에 대해 배치될 수 있다는 것이 명백하다.

텍스처 정보의 사용에 의해, 본 발명은 종래 기술의 방식보다 더 널리 적용가능하다. 상세하게는, 본 발명은 거리 레벨에서 획득되지 않은 영상을 배치하는 것을 제공하고, 따라서 스카이라인 또는 유사한 구조물이 없으며; 이러한 영상에서는, 텍스처 특징이 스카이라인보다 더 종종 이용가능할 수 있으며, 이것은 영상이 그 안에 포함된 텍스처 정보를 사용하여 3D 모델에 배치될 수 있게 해준다.

본 발명의 제1 측면에서, 텍스처링된 3D 모델에 대해 배치될 영상을 획득하고 영상을 3D 모델에 획득된 영상의 추정된 포즈로 렌더링하는 방법 및 장치가 제공된다. 획득된 영상은 렌더링된 영상과 정렬되고, 여기서 획득된 영상의 새로운 추정된 포즈가 결정된다. 이어서, 상기 새로운 추정된 포즈를 사용하여, 획득된 영상이 배치된다. 본 발명의 모든 측면에서, 정렬시키는 단계는 획득된 영상이 렌더링된 영상과 감소된 정도로 상이하도록, 획득된 영상을 이동, 회전 및/또는 재스케일링하는 단계를 포함할 수 있고; 포즈의 변화는 일반적으로 영상이 이동, 회전 및 재스케일링의 결합을 겪는다는 것을 암시할 것이다.

유익하게도, 기존의 텍스처링된 3D 모델을 사용함으로써, 획득된 영상의 배치가 크게 향상된다. 예를 들어, 3D 모델을 생성하기 위해, 스테레오에 아주 적합한 항공 영상이 처음에 포착될 수 있다. 3D 모델에 텍스처를 부가함으로써, 획득된(또는 포착된) 영상과의 이후의 정렬이 용이하게 될 것이다. 획득된 이미지를 배치하기 위해, 양호한 품질의 배치 및 정확하게 위치된 텍스처를 갖는 3D 모델을 생성하는 임의의 공지된 방법이 사용될 수 있다. 본 발명의 방법 및 장치에 의해, 이론적으로 대응하는 획득된 영상과 동일한 인공(또는 렌더링된) 영상이 텍스처링된 3D 모델에서 임의의 포즈로 획득된다. 텍스처링된 3D 모델에서의 임의의 위치에서 인공 영상을 획득할 수 있는 것에 의해, 무제한의 렌더링된 영상 세트가 획득된 영상과 정합(match)시킬 수 있게 된다. 이것은 또한 추정된 포즈를 유효성 확인하기 위해 추정된 포즈로 영상을 발생하는 것을 가능하게 해준다.

본 발명의 일 실시예에서, 획득된(거리-레벨) 영상을 렌더링된 영상과 정렬시키는 단계는 획득된 영상을 렌더링된 영상과 정합시키는 단계를 추가로 포함한다. 적합하게도, 제1 측면에서, 정합시키는 단계는 제1 2D 영상에서의 포인트 또는 영역을 제2 2D 영상에서의 포인트 또는 영역과 상관시키는 프로세스를 포함할 수 있다. 거리-레벨 영상을 항공 영상으로부터 발생된 3D 모델에 정합시키는 종래 기술의 방법은 일반적으로 거리-레벨 영상에 대한 사진의 실제 관찰 각도의 큰 변화에 민감하게 된다. 실제 관찰 각도는, 예컨대, 거리-레벨 영상과 3D 모델에서의 관심 영역이 얼마나 유사한지에 큰 영향을 미친다. 3D 모델로부터 영상을 렌더링하는 것은 원본 사진들 간의 보다 큰 차이를 처리하는 것을 가능하게 만들어 준다. 게다가, 3D 모델에서의 어느 곳에서나 영상을 렌더링할 수 있는 것은 큰 초기 포즈 추정 오차의 처리를 용이하게 해준다.

종래 기술의 포즈 추정 프로세스는 일반적으로 영상들 사이의 포즈 차이(pose difference)로부터 2개의 영상의 특징 포인트의 깊이를 계산한다. 즉, 깊이는 모르며, 포즈를 추정하는 바로 그 프로세스에서 단지 추정될 뿐이다. 본 발명에서, 깊이는 처리를 목적으로 가치가 있는 3D 모델로부터 추출될 수 있다. 공지된 종래 기술의 특징 정합 방법은, 예컨대, SIFT(scale - invariant feature transform) 및 SURF(speeded up robust features)를 포함한다.

본 발명의 다른 실시예에서, 렌더링된 영상과 획득된 영상 사이의 차이가 결정된다. 그 후에, 복수의 영상이 포즈 바로 근방에(immediate pose vicinity) 렌더링되고, 포즈 근방에 렌더링된 각자의 영상이 획득된 영상과 비교된다. 마지막으로, 획득된 영상에 대해 가장 작은 차이를 가지는 렌더링된 영상이 정렬을 위해 선택된다. 이것이 유익한 이유는, 정렬이 시작되기 전에 획득된 영상의 양호한 추정인 렌더링된 영상을 획득하는 것이 가능하기 때문이다.

본 발명의 제2 측면에서, 텍스처링된 3D 모델에 대해 배치될 영상(거리-레벨 영상 등)을 획득하고 획득된 영상을 텍스처링된 3D 모델에 획득된 영상의 추정된 포즈로 투영하는 방법 및 장치가 제공된다. 투영된 획득된 영상은 텍스처링된 3D 모델과 정렬되고, 여기서 획득된 영상의 새로운 추정된 포즈가 결정된다. 이어서, 상기 새로운 추정된 포즈를 사용하여, 획득된 영상이 배치된다. 투영하는 단계는 획득된 영상을 하나 이상의 서브영역들로 세분하고 이들을 텍스처링된 3D 모델에 인코딩된 표면과 연관시키는 단계를 포함할 수 있다. 적합하게도, 제2 측면에서, 정합시키는 단계는 기존의 텍스처링된 3D 모델에서의 표면 상의 제1 2D 텍스처의 포인트 또는 영역을, 획득된 영상을 (텍스처링된) 3D 모델에 투영하는 것으로부터 얻어지는 제2 2D 텍스처의 포인트 또는 영역과 상관시키는 프로세스를 포함할 수 있다. 환언하면, 제2 2D 텍스처는 획득된 영상의 서브셋일 수 있고, 어쩌면 투영의 결과로서 불균일한 재스케일링을 포함하는 원근감 변형(perspectivic deformation)을 겪었을 수 있다. 다른 대안으로서, 정합시키는 단계는 기존의 텍스처링된 3D 모델에서의 포인트, 표면 영역 또는 체적을, 획득된 영상을 모델에 투영하는 것으로부터 얻어지는 수정된 텍스처링된 3D 모델에서의 포인트, 표면 영역 또는 체적과 연관시키는 단계를 포함할 수 있다.

본 발명의 제3 측면에서, 텍스처링된 3D 모델에 대해 배치될 영상(거리-레벨 영상 등)을 획득하고 획득된 영상을 텍스처링된 3D 모델에 획득된 영상의 추정된 포즈로 투영하는 방법 및 장치가 제공된다. 제1 영상은 상기 텍스처링된 3D 모델에 렌더링되고, 제2 영상은 획득된 영상을 모델에 투영하는 것으로부터 얻어지는 수정된 텍스처링된 3D 모델에 동일한 포즈를 사용하여 렌더링된다. 투영된 획득된 영상은 텍스처링된 3D 모델과 정렬되고, 여기서 획득된 영상의 새로운 추정된 포즈가 결정된다. 이어서, 상기 새로운 추정된 포즈를 사용하여, 획득된 영상이 배치된다. 적합하게도, 제3 측면에서, 정합시키는 단계는 (기존의 텍스처링된 3D 모델에서) 제1 렌더링된 2D 영상에서의 포인트 또는 영역을 (획득된 영상을 모델에 투영하는 것으로부터 얻어지는 수정된 텍스처링된 3D 모델에서) 제2 렌더링된 2D 영상에서의 포인트 또는 영역과 상관시키는 단계를 포함할 수 있다.

본 발명의 모든 측면에서, 본 발명의 실시예는 일단 배치된 경우 획득된 영상으로부터 정보를 추출하고 이 정보를 텍스처링된 3D 모델에 포함시키는 단계(또는 그러하도록 구성되어 있는 처리 수단)를 포함할 수 있다. 추출될 정보는 기하학적 속성을 가질 수 있거나, 텍스처링된 3D 모델에 나타나는 표면들의 텍스처를 말할 수 있다.

본 발명이 특허청구범위에 언급된 특징들의 모든 가능한 조합에 관한 것임에 유의해야 한다. 첨부된 특허청구범위 및 이하의 설명을 살펴볼 때 본 발명의 추가의 특징 및 이점이 명백하게 될 것이다. 기술 분야의 당업자라면 이하에 기술되는 것 이외의 실시예를 생성하기 위해 본 발명의 상이한 특징들이 결합될 수 있다는 것을 잘 알 것이다.

본 발명의 실시예들에 대한 상세한 설명이 첨부 도면을 참조하여 주어질 것이다.
도 1a는 영역의 완벽하게 렌더링된 3D 모델을 나타낸 도면.
도 1b는 동일한 영역의 보다 실감나게 렌더링된 3D 모델을 나타낸 도면.
도 2a는 3D 모델에 배치될 객체의 거리-레벨 영상을 나타낸 도면.
도 2b는 영상이 거리-레벨 영상 포즈를 사용하여 3D 모델에 렌더링되는, 본 발명에 따른 배치 프로세스의 제1 단계를 나타낸 도면.
도 3은 본 발명에 따른 배치 프로세스의 일 실시예를 나타낸 플로우차트.
도 4는 본 발명의 추가의 실시예를 나타낸 플로우차트.
도 5는 본 발명의 일 실시예에 따른, 획득된 영상을 렌더링된 영상에 맞춰 정렬하는 것을 나타낸 도면.
도 6은 본 발명의 일 실시예에서 이용되는 공간 스케일 표현을 나타낸 도면.
도 7a는 본 발명의 일 실시예에 따른, 각각의 포인트를 둘러싸고 있는 영역의 생성을 나타낸 도면.
도 7b는 본 발명의 일 실시예에 따른, 획득된 영상의 특정의 포인트를 둘러싸고 있는 영역을, 렌더링된 영상의 대응하는 영역에 정합시키는 것을 나타낸 도면.
도 7c는 본 발명의 일 실시예에 따른, 획득된 영상에서의 정합된 포인트를 보정하는 것을 나타낸 도면.

본 발명의 실시예에 따라 기존의 텍스처링된 3D 모델을 사용하여 거리-레벨 영상을 배치하는 것을 향상시키기 위해, 3D 모델을 생성하기 위해, 스테레오에 아주 적합한 항공 영상이 처음에 포착될 수 있다. 3D 모델은 또한 처음에 드로잉(drawing) 또는 CAD(computer-aided design) 데이터에 기초하여 생성될 수 있다. 항공 영상에 대한 대안으로서, 모델링될 공간 영역이 위성 또는 기타 항공기에 달려 있는 카메라를 사용하여 촬영될 수 있다. 스테레오 처리는 영상 쌍의 다른쪽 영상에서의 대응하는 영역과 정합(match)하는 영상의 그 부분만이 사용된다는 것을 암시한다. 먼저, 중첩하는 영상 데이터를 포함하는 영상 쌍이 실질적으로 동일한 시점에서 포착된다. 쌍의 각각의 영상은 각자의 위치 및 자세에 관련되어 있다. 획득될 품질에 따라, 각자의 영상에서의 각각의 단일 픽셀이 위치 및 자세에 관련될 수 있거나, 각자의 영상에서의 픽셀의 그룹이 관련되어 있을 수 있다. 이 상관을 수행함으로써, 중첩하는 영상의 각각의 픽셀이 지상에서의 지리 좌표와 연관되어 있을 수 있고, 이후의 변환은 영상을 공통의 기준 평면(ground plane)으로 변환하는 것을 용이하게 해준다.

이어서 기지의 삼각 함수를 사용하여, 상세하게는 삼각측량법에서, 카메라 평면으로부터 지상의 주어진 지점까지의 거리가 계산될 수 있고, 3D 모델이 궁극적으로 생성될 수 있다. 이 3D 모델이 부가된 디테일에 대해 텍스처링되어, 색상, 강도 및 구조를 3D 모델로 만든다. 게다가, 예컨대, 건물의 3D 모델에 텍스처를 부가함으로써, 포착된 (거리-레벨) 영상과의 이후의 정렬(alignment)이 용이하게 될 것이다. 예를 들어, 3D 표현을 생성하는 데 항공 영상이 사용된 경우, 텍스처 데이터가 항공 영상 자체로부터 즉각 이용가능하다. 이와 같이, 텍스처를 생성하고 보다 많은 디테일을 제공하기 위해, 선택된 포착된 영상이 3D 표현에 적용될 수 있다. 그렇지만, 포착된 (거리-레벨) 영상을 배치하는 데 사용되는 텍스처링된 3D 모델을 제공하기 위해, 양호한 품질의 배치로 3D 모델을 생성하는 다른 공지된 방법이 사용될 수 있다는 것에 유의해야 한다.

이제, 향상되고 훨씬 더 실감나는 3D 모델을 생성하기 위해, 텍스처링된 3D 모델에서 향상될 객체(예컨대, 건물)의 (거리-레벨) 영상이 포착되고, 영상이 이후에 텍스처링된 3D 모델과 정확하게 정렬될 수 있도록 거리-레벨 영상을 배치하기 위해 유익한 배치 프로세스가 제안된다. 이 프로세스에 대해 이하에서 기술할 것이다. 이 프로세스가 고도로 자동화되어 있다는 것이 그의 큰 장점임에 유의해야 한다. 이와 같이, 수동 조작, 취급 또는 처리가 필요하지 않다. 적절한 소프트웨어가 설치되어 있는 적합한 컴퓨터 상에서 배치 프로세스가 구현 및 실행될 수 있다. 배치 프로세스에 대한 입력으로서, 3D 모델이 생성되었고, 하나 이상의 (거리-레벨) 영상이 포착되었다. 예시를 위해, 도 1a는 주택(101, 102, 103), 다수의 나무(104, 105, 106) 및 근방의 도로 구간(107)을 포함하는 영역의 완벽하게 렌더링된 3D 모델을 나타낸 것이다. 실제로는, 이 3D 모델이 도 1b에 나타낸 불완전을 나타낼 것이다. 텍스처링된 항공 3D 모델의 해상도가 일반적으로 너무 낮아서 거리-레벨로부터의 렌더링으로는 보이지 않기 때문에, 3D 모델의 품질이 때때로 악화될 것이다. 예를 들어, 주택(101, 102 및 103)의 윤곽선이 약간 어긋나고 불연속적일 수 있으며, 주택(103)의 전방측에 있는 창문 및 출입구 등의 디테일이 완벽하게 모델링되지 않는다. 도 1b에 도시된 어긋남이 예시를 위해 크게 과장되어 있다는 것에 유의해야 한다. 실제로는, 항공 3D 모델은 꽤 양호하지만, 해상도 및 디테일이 부족할 것이다. 이와 같이, 지상-레벨 영상이 포착되고 이어서 도 1b의 (불완전한) 항공 3D 모델을 향상 및 개선시키는 데 이용될 수 있다. 도 2a는 주택(103)의 전방측의 지상-레벨 영상(210)을 나타낸 것이다. 이것은 항공 3D 모델을 향상시키기 위해 사용될 수 있는, 특정의 카메라 포즈로 촬영된 고해상도 텍스처 영상이다.

도 2b를 참조하면, 배치 프로세스의 제1 단계는 거리 레벨에 있을 수 있는 카메라 포즈를 사용하여 영상을 3D 모델에 렌더링하는 것이다. 카메라의 투영 모델(projection model)이 알려져 있는 경우, 그 모델이 영상을 3D 모델에 렌더링할 때 사용된다. 도 2b는 카메라 포즈 및 차원을 사용하여 3D 모델(212)에 렌더링된 영상(211)을 나타낸 것으로서, 그 결과 3D 모델로부터 렌더링되는 획득된 영상과 유사한 영상 데이터가 얻어진다. 이제, 획득된 (거리-레벨) 영상의 포즈가 (항공) 3D 모델의 지리 참조와 완전히 부합하고 있는 경우, 렌더링된 영상은 213으로 표시되어 있는 획득된 영상과 위치별로 정렬될 것이다. 따라서, 이상적인 상황에서, 렌더링된 영상과 획득된 영상이 일치할 것이다. 그렇지만, 앞서 논의된 바와 같이, 실제로는 이러하지 않으며, 따라서 214로 표시되어 있는 바람직하지 않은 배치 부정합이 항상 있다.

예를 들어, 획득된 영상 및 렌더링된 영상 둘 다가 Sobel 필터 등의 경사법(gradient method)을 사용하여 처리될 수 있다. 이러한 방식으로, 특징 검출 이전에 2개의 영상에 대해 에지 검출이 수행된다.

도 3은 본 발명에 따른 배치 프로세스의 일 실시예를 나타낸 것이다. 앞서 논의된 바와 같이, 단계(320)에서 텍스처링된 3D 모델에 대해 배치될 영상이 획득되고, 단계(321)에서 영상이 3D 모델에 추정된 획득 포즈로 렌더링된다. 즉, 영상을 포착하는 데 이용되었던 포즈가 영상을 3D 모델에 렌더링하는 데 사용된다. 새로운 개선된 획득 영상 포즈를 달성하고 따라서 도 2에서 214에 예시된 배치 부정합 문제를 극복할 수 있기 위해, 단계(322)에서 획득된 영상이 렌더링된 영상과 정렬되고, 획득의 새로운 추정된 포즈가 결정된다. 마지막으로, 단계(323)에서, 정렬 단계에서 결정된 새로운 추정된 포즈를 사용하여, 획득된 영상이 배치된다.

텍스처링된 3D 모델을 사용하여 획득된 영상을 배치하는 제1 대안은 텍스처링된 3D 모델에 대해 배치될 영상을 획득하고 획득된 영상을 텍스처링된 3D 모델에 획득된 영상의 추정된 포즈로 투영하는 것이다. 투영된 영상이 텍스처링된 3D 모델과 정렬되고, 여기서 획득된 영상의 새로운 추정된 포즈가 결정된다. 이어서, 상기 새로운 추정된 포즈를 사용하여, 획득된 영상이 배치된다. 이하에서 기술되는 본 발명의 실시예는 그에 따라 획득된 영상을 배치하는 이 대안의 방식에 적용될 수 있다.

텍스처링된 3D 모델을 사용하여 획득된 영상을 배치하는 제2 대안은 텍스처링된 3D 모델에 대해 배치될 영상을 획득하고 획득된 영상을 텍스처링된 3D 모델에 획득된 영상의 추정된 포즈로 투영하는 것이다. 제1 영상은 상기 텍스처링된 3D 모델에 렌더링되고, 제2 영상은 획득된 영상을 3D 모델에 투영하는 것으로부터 얻어지는 텍스처링된 3D 모델에 동일한 포즈를 사용하여 렌더링된다. 투영된 영상이 텍스처링된 3D 모델과 정렬되고, 여기서 획득된 영상의 새로운 추정된 포즈가 결정된다. 이어서, 상기 새로운 추정된 포즈를 사용하여, 획득된 영상이 배치된다. 제1 대안의 경우에서와 같이, 이하에서 기술되는 본 발명의 실시예는, 그에 따라, 획득된 영상을 배치하는 이 제2 대안의 방식에 적용될 수 있다.

도 4는 본 발명의 추가적인 실시예를 나타낸 것이며, 여기서, 단계(430)에서, 획득된 영상을 렌더링된 영상과 정합시키는 것에 의해 도 3의 정렬 단계(322)가 수행된다. 그 후에, 단계(431)에서, 정합된 획득된 영상과 렌더링된 영상 사이의 영상 좌표의 변위가 결정된다. 마지막으로, 단계(432)에서, 변위를 고려함으로써, 획득된 영상의 포즈가 조절된다. 이와 같이, 도 3의 단계(323)를 다시 참조하여, 획득된 영상의 조절된 포즈로부터, 새로운 추정된 포즈가 얻어진다.

본 발명의 다른 실시예에서, 렌더링된 영상과 획득된 영상 사이의 차이를 결정하는 것에 의해 정렬이 수행된다. 그 후에, 몇개의 영상이 포즈 바로 근방에 렌더링된다. 포즈 근방에 렌더링된 각자의 영상은 이어서 획득된 영상과 비교된다. 궁극적으로, 새로운 포즈로 렌더링된 영상들 중 하나는 렌더링된 영상들 중 임의의 다른 것보다, 획득된 영상에 대해, 더 작은 차이를 나타낼 것이다. 이 렌더링된 영상이 추가의 처리를 위해 선택된다.

본 발명의 또 다른 실시예가 도 4를 참조하여 설명된다. 이 실시예에서, 새로운 포즈가 추정되기 전에, 최소 총 변위가 발견될 때까지 영상 획득의 포즈를 갱신함으로써 총 변위가 감소되고, 여기서 이 포즈는 최소 총 변위를 고려함으로써 조절된다. 즉, 영상 획득의 포즈가 갱신되고, 한 세트의 변위가 등록되며, 총 변위가 충분히 작은 것으로 간주되지 않는 경우, 영상 획득의 새로운 포즈가 설정되고 대응하는 한 세트의 변위가 조사되며, 최소 총 변위가 발견될 때까지, 이하 마찬가지이다. 그 결과, 최소 총 변위를 발견한 결과, 획득된 영상이 배치되는 새로운 추정된 포즈가 얻어진다.

본 발명의 일 실시예에서, 도 5를 참조하면, 획득된 영상을 렌더링된 영상에 맞춰 정렬하는 것은, 렌더링된 영상(215)에서의 동일한 영상 좌표에 있는 대응하는 포인트들의 세트으로, 획득된 영상(210)에서의 한 세트의 특징 포인트(540)를 식별하는 단계로 시작한다. 본 발명의 추가의 실시예에서, 3D 모델 표면에 투영되지 않을 포인트(540' 540'')는 배제되며, 개선된 3D 모델에 기여하게 될 데이터만이 사용되는 이점이 있다. 이것은 부정확하게 정합된 포인트의 조기 제거를 가능하게 해준다.

스케일-공간 표현을 사용하여, 각각의 스케일 레벨에서의 정합하는 특징 포인트를 찾기 위해 상관이 사용된다. 발견된 정합의 레벨들 사이의 일관성은 정합이 사실임을 나타내는 것은 물론, 각각의 스케일 레벨에서의 상이한 상관 윈도우 크기 사이의 일관성도 나타낸다.

본 발명의 일 실시예에서, 특징 포인트인 것으로 판정되는 포인트에 대해, 항공 3D 모델을 지리 참조로서 사용하여 3D 좌표가 계산되고, 그 결과 앞서 논의된 바와 같이 고품질 배치가 얻어진다. 이와 같이, 3D 좌표가 계산된 특징 포인트가 획득된 영상에 투영된다. 그 후에, 획득된 영상 데이터에 관한 특징 포인트를 3D 모델에 관한 특징 포인트와 정렬시키는 프로세스가 수행된다.

한 세트의 특징 포인트를 정렬시키는 것은, 이상치 제거(outlier removal)를 위한 RANSAC와 결합된 Newton-Raphson 최소화에 의해, 투영된 3D 포인트와 렌더링된 영상에서의 대응하는 특징 포인트 사이의 차이를 최소화함으로써 달성된다.

선행 실시예의 추가적인 발전에서, 렌더링된 영상(215)에서의 동일한 영상 좌표에 있는 대응하는 포인트들의 세트으로 획득된 영상(210)에서의 한 세트의 특징 포인트(540)가 식별된다. 포인트들의 세트가 각자의 영상에 분포된 후에, 획득된 영상과 렌더링된 영상 사이의 특징 정합(feature matching)이 수행된다. 본 발명의 일 실시예에서, 이것은 획득된 영상 및 렌더링된 영상의 각자의 스케일-공간 표현을 발생하는 것에 의해 수행된다. 스케일-공간 표현은 연관된 영상의 상이하게 스케일링된 영상 표현(레벨이라고 함)으로 이루어져 있다. 이것은 흔히 "가우시안 피라미드(Gaussian pyramid)"라고 하는 것을 나타내고 있는 도 6에 예시되어 있고, 여기서 피라미드의 밑면은 원래의 해상도에서의 영상을 나타내고, 각각의 후속하는 레벨은 이전의 레벨의 1/2 해상도에서의 영상을 나타낸다. 스케일링된 공간 표현을 생성하고 사용하는 것은 영상에서의 상이한 크기의 특징을 추출하는 효과적인 방법이다.

도 7a 내지 도 7c를 참조하여 기술된 본 발명의 실시예에서, 포인트들의 전부 - 또는 선택된 서브셋 - 에 대해, 획득된 영상 및 렌더링된 영상에서, 각각, 선택된 포인트(731, 733)를 둘러싸고 있는 영역의 서브영상(730, 732)이 생성된다. 즉, 선택된 포인트를 둘러싸고 있는 주어진 영역이 조사된다. 영역의 크기는 정합 프로세스에서 사용되는 선택된 상관 윈도우( correlation window)는 물론 다른 서브영상의 영역에 의해 결정된다. 상관 윈도우 크기를 선택할 때 절충이 행해진다. 보다 큰 서브영상은 상이한 시점 등의 영상 차이로 인한 정밀도 손실을 겪는 반면, 정확한 위치를 찾아낼 가능성이 보다 많다. 보다 작은 서브영상은 영상 차이로 인한 오류가 발생할 가능성이 보다 적지만, 잘못된 정합을 찾아낼 가능성이 보다 많다. 실제로는, 이 상관-기반 특징 정합은 선택된 획득된 서브영상이 렌더링된 서브영상 내에서 이동된다는 것을 의미한다. 렌더링된 서브영상에서의 획득된 서브영상의 모든 이동에 대해, 2개의 서브영상 사이의 상관이 측정되고, 최대 상관값을 갖는 영상 좌표가 발견되며, 이는 도 7b에 예시되어 있고, 여기서 도 7b에서의 상부 도면은 시작 위치를 나타내고 하부 도면은 최대 상관이 발견되는 상황을 나타내고 있다. 이 최대 상관 영상 좌표는 렌더링된 서브영상과 획득된 서브영상 사이의 변위(d1, d2) 벡터를 제공한다. 변위 벡터가 너무 큰 변위를 나타내는 경우, 상관된 포인트가 배제된다. 통상적으로, 이것은 스케일 표현의 모든 레벨에서 그리고 모든 포인트에 대해 수행되고, 그 결과 총 변위 척도가 얻어진다. 본 발명의 일 실시예에서, 주어진 포인트에 대해, 위치가 스케일 표현의 몇개의 후속 레벨에서 일관성이 있는 경우, 포인트가 정합으로서 인정된다. 이 정합 프로세스는 2개의 영상에 분포되어 있는 모든 포인트에 대해 수행된다. 앞서 기술한 바와 같이, 상관-기반 특징 정합 프로세스를 사용할 때, "잘못된" 정합을 발견하거나 정합을 전혀 발견하지 않을 잠재적인 위험이 있고, 따라서 스케일 표현의 복수의 레벨에서 상관이 수행된다. 스케일 표현의 몇개의 후속 레벨에서 주어진 포인트를 일관성있게 배치하는 것은 "진정한" 정합에 대한 유익한 표시자이다. 게다가, 이것은 정확하게 정합되는 특징의 양을 크게 향상시킨다. 피라미드의 상부에 있는 작은 크기의 영상은 오차를 거의 제공하지 않고, 따라서 포즈에서의 큰 오차를 다루고 있다. 피라미드의 밑면은 작은 디테일에 대한 정합을 제공한다. 따라서 모든 레벨이 동일한 영상 좌표를 발견하는 경우, 이는 아주 양호한 정합인 것으로 간주될 수 있다.

도 7c를 참조하면, 본 발명의 일 실시예에서, 정합된 포인트의 위치를 보정하기 위해 추정된 변위 벡터가 사용된다. 원래 획득된 영상에 분포되었던, 정합인 것으로 간주되는 포인트가 이제는 변위(d1, d2)를 고려하여 대응하는 특징의 좌표에 설정된다. 이들 포인트는, 이하에서, 특징 포인트( feature point )라고 한다.

특징 정합이 행해졌을 때, 각각의 포인트와 연관되어 있는 상관값의 쌍이 평가된다. 본 발명의 일 실시예에서, 상관값에 대해 임계값이 설정되고, 상관값이 임계값 미만인 경우, 이들은 배제된다. 앞서 논의된 바와 같이, 나머지 포인트들은 정합인 것으로 간주된다.

한 세트의 특징 포인트를 정렬시키는 것은, 어떤 수치 최소화법, 예컨대, Newton-Raphson 최소화에 의해, 투영된 3D 포인트와 렌더링된 영상에서의 대응하는 특징 포인트 사이의 차이를 최소화함으로써 달성된다. 이 프로세스는 획득된 영상의 포즈를 갱신한다. 새로운 포즈에서, 3D 포인트가 카메라 모델을 통해 영상 좌표에 투영된다. 영상 공간에서 모든 특징 포인트와 그 각자의 정합된 포인트 사이의 거리는 최소화할 오차 측정치를 제공한다. 몇개의 포즈에 걸쳐 반복하는 것은 Newton-Raphson 최소화가 최적의 포즈를 추정하는 것을 가능하게 해준다. 그렇지만, 특징 포인트들 중에, 이상치라고 하는 잘못된 정합을 갖는 몇개의 포인트가 있다. 이를 위해, RANSAC(Random Sample Consensus)이라고 하는 반복법이 이용된다. RANSAC은 획득된 영상의 특징 포인트를 렌더링된 영상의 특징 포인트에 적합화시키는 데 이용된다. RANSAC은, 다른 방법과 비해, 이 유형의 응용에서 특징 포인트들 중에서 이상치를 제거하는 데 특히 양호하다. RANSAC은 거리 특징 포인트와 렌더링된 3D 모델 특징 포인트 사이의 위치 오차가 소정의 임계값 레벨 미만일 때까지 또는 사전 설정된 최대 반복 횟수에 도달될 때까지 반복된다.

본 발명의 일 실시예에서, RANSAC은 작은 특징 포인트 서브셋을 랜덤하게 선택함으로써 구현된다. 획득된 영상의 새로운 포즈가 앞서 기술한 최소화 프로세스를 사용하여 이 특징 포인트 서브셋에 적응된다. 각각의 나머지 특징 포인트가 이어서 최소화 프로세스에서와 동일한 방식으로 새로운 카메라 포즈에 대해 테스트된다. 이 프로세스가 여러번 반복되고, 가장 높은 수의 승인된 특징 포인트를 갖는 카메라 포즈가 선택된다. 승인된 포인트의 목록과 함께 이 카메라 포즈를 발견하는 데 사용되는 선택된 특징 포인트 서브셋은 이제 모두가 정상치(inlier)인 것으로 간주되고, 그에 의해 획득된 (거리-레벨) 영상과 렌더링된 영상 사이에서 정확하게 정합된다. 이들 특징 포인트는 앞서 기술한 바와 같이 동일한 최소화 프로세스를 사용하여 새로운 카메라 포즈를 추정하는 데 사용된다.

이하에 최소화 프로세스가 예시되어 있다. 앞서 기술된 바와 같이, 3D 좌표가 계산된 특징 포인트가 획득된 영상에 투영된다. 그 다음에, 획득된 영상에 관한 특징 포인트를 렌더링된 영상에 관한 특징 포인트와 정렬시키는 프로세스가 수행되고, 이 프로세스는 Newton-Raphson 최소화 등에 의해 획득된 영상에서의 투영된 3D 포인트와 렌더링된 영상에서의 대응하는 특징 포인트 사이의 차이를 최소화함으로써 행해진다.

처음에, 획득된 영상에서 다수의 포인트(예컨대, 5개의 상이한 점)가 선택된다. 이어서, 5개의 선택된 포인트와 렌더링된 영상에서의 대응하는 5개의 포인트 사이의 영상 좌표의 차이가 측정된다. Newton-Raphson 최소화가 사용되고, 이는 영상 좌표의 차이의 최소가 발견될 때까지 획득된 (거리-레벨) 영상의 포즈가 변경된다는 것을 암시한다.

획득된 (거리-레벨) 영상의 이 최소화된 포즈에 대해, 획득된 영상의 나머지 특징 포인트가 렌더링된 영상에서의 나머지 특징 포인트와 얼마나 잘 정합하는지가 검사된다. 즉, 획득된 영상의 나머지 특징 포인트와 렌더링된 영상의 대응하는 나머지 특징 포인트 사이의 거리가 측정되고, 이는 정합하는 것으로 간주되는 다수의 포인트(예컨대, 100개)를 제공한다. 이와 같이, 이들 특정의 랜덤하게 선택된 특징 포인트에 대해, 총 5 + 100 = 105개의 정합하는 포인트가 있다.

이것이 여러번 반복되고, 각각의 반복은 획득된 영상의 새로운 포즈 및 2개의 영상 사이의 대응하는 수의 정합하는 특징 포인트를 제공한다. 가장 높은 수의 정합하는 포인트에 대한 반복의 경우, 획득된 영상은 렌더링된 영상과 정렬되어 있는 것으로 간주되고, 획득된 영상의 대응하는 포즈가 얻어진다.

그 결과, 기존의 텍스처링된 3D 모델을 사용함으로써, 획득된 영상의 배치가 크게 향상된다. 그 후에, 보다 많은 디테일 및 텍스처를 제공하기 위해 향상된 배치의 획득된 영상이 3D 모델에 적용될 수 있다.

이제, 이 단계에서, 획득된 영상이 적절히 배치된 것으로 간주되어 프로세스가 종료될 수 있거나, 도 3에서의 단계(321)로부터 시작하여 배치 프로세스가 반복된다. 따라서, 새로운 영상이 획득된 (거리-레벨) 영상의 새로운 개선된 포즈를 사용하여 3D 모델에 렌더링되고, 획득된 영상에 대한 추가의 개선된 위치가 발견될 때까지 앞서 기술된 바와 같이 배치 프로세스가 계속된다.

영상이 배치되면, 그 다음 영상에 대한 대략적인 위치를 계산하기 위해 IMU 데이터 또는 영상의 GPS 위치의 상대 변화가 사용될 수 있다. 향상된 시작 포즈를 갖는 것은 무수한 획득된 영상을 자동으로 배치하는 데 필요한 계산을 감소시키는 것은 물론, 영상을 잘못 정합시킬 위험을 감소시킨다.

정확히 배치되면, 보다 높은 해상도의 텍스처를 갖는 3D 모델을 생성하기 위해 공지된 영상 기반 텍스처링 방법이 적용될 수 있다. 정확한 위치에 의해, 기존의 3D 모델의 지오메트리를 향상시키는 것은 물론 획득된 (거리-레벨) 영상에 기초하여 새로운 3D 모델을 생성하기 위해, 스테레오 계산 또는 다른 3D 재구성 방법이 사용될 수 있다.

본 발명의 방법은 통상적으로 컴퓨팅 설비를 갖는 장치(예를 들어, 컴퓨터)에 의해 수행된다. 이 컴퓨터는 통상적으로 요구된 기능을 획득하기 위해 연관된 메모리에 저장되어 있는 적절한 소프트웨어를 실행하는 하나 이상의 프로세서를 포함하고 있다. 그렇지만, 컴퓨터 판독가능 매체에 저장되어 있는 적절한 다운로드가능 소프트웨어를 실행하는 동안 텍스처링된 3D 모델을 사용하여 획득된 영상을 배치하기 위해, 컴퓨팅 능력을 갖는 다른 적당한 장치[예컨대, ASIC(application specific integrated circuit), FPGA(field programmable gate array), CPLD(complex programmable logic device) 등]가 사용될 수 있을 것이다. 그에 따라, 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체(비일시적 매체) 및 통신 매체(일시적 매체)를 포함할 수 있다. 기술 분야의 당업자에게 공지되어 있는 바와 같이, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등의 정보의 저장을 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체 모두를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 게다가, 통신 매체가 통상적으로 반송파 또는 기타 전송 메커니즘 등의 변조된 데이터 신호로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 구현하고 임의의 정보 전달 매체를 포함한다는 것이 당업자에게 공지되어 있다.

본 발명의 예시적인 실시예가 본 명세서에 기술되어 있지만, 본 명세서에 기술된 바와 같은 본 발명에 대한 다수의 변경, 수정 또는 변형이 행해질 수 있다는 것이 기술 분야의 통상의 지식을 가진 자에게 명백할 것이다. 이와 같이, 본 발명의 다양한 실시예에 대한 이상의 설명 및 첨부 도면은 비제한적인 것으로 보아야 한다.

Claims

공간 영역의 텍스처링된(textured) 3D 모델을 사용하여 영상을 배치(positioning)하는 방법으로서,
배치될 영상을 획득하는 단계 - 상기 영상은 상기 공간 영역의 적어도 일부분을 나타냄 -;
상기 3D 모델에 포함된 텍스처 정보를 사용하면서 새로운 추정된 포즈(pose)를 획득하기 위해 상기 획득된 영상을 상기 3D 모델과 정렬(align)시키는 단계; 및
상기 새로운 추정된 포즈를 사용하여, 상기 획득된 영상을 배치하는 단계
를 포함하는 방법.
제1항에 있어서, 상기 정렬시키는 단계는 상기 새로운 추정된 포즈를 획득하기 위해 2개의 2D 영상을 정렬시키는 단계를 포함하고, 상기 영상들은
상기 획득된 영상;
기존의 텍스처링된 3D 모델로부터 렌더링된 영상;
상기 획득된 영상을 상기 기존의 텍스처링된 3D 모델에 투영함으로써 획득되는 수정된 텍스처링된 3D 모델로부터 렌더링된 영상;
상기 기존의 텍스처링된 3D 모델에서의 표면 상의 텍스처; 및
상기 획득된 영상을 상기 기존의 텍스처링된 3D 모델에 투영하는 것으로부터 얻어지는 텍스처
를 포함하는 그룹 중에서 선택되는 방법.
제2항에 있어서, 상기 정렬시키는 단계는
상기 획득된 영상의 추정된 포즈로 영상을 상기 3D 모델에 렌더링하는 서브단계(321); 및
상기 획득된 영상을 상기 렌더링된 영상과 정렬시키는 서브단계(322) - 상기 획득된 영상의 새로운 추정된 포즈가 결정됨 -
를 포함하는 방법.
제3항에 있어서, 거리-레벨 영상을 정렬시키는 단계는
상기 획득된 영상을 상기 렌더링된 영상과 정합(match)시키는 단계(430)를 더 포함하는 방법.
제3항 또는 제4항에 있어서, 상기 렌더링된 영상과 상기 획득된 영상 사이의 차이를 결정하는 단계;
포즈 바로 근방에(in immediate pose vicinity) 복수의 영상을 렌더링하는 단계;
상기 획득된 영상의 포즈 근방에 렌더링된 각자의 영상을 비교하는 단계; 및
상기 획득된 영상에 대해 가장 작은 차이를 가지는 렌더링된 영상을, 정렬을 위해 선택하는 단계
를 더 포함하는 방법.
제3항 내지 제5항 중 어느 한 항에 있어서, 상기 정합된 획득된 영상과 렌더링된 영상 사이의 영상 좌표들의 변위들의 세트(a set of displacements)를 결정하는 단계(431); 및
상기 변위들의 세트를 고려함으로써 상기 획득된 영상의 포즈를 조절하는 단계(432)
를 더 포함하는 방법.
제6항에 있어서, 최소 총 변위가 발견될 때까지 상기 획득된 영상 포즈를 갱신함으로써 상기 변위들의 세트를 감소시키는 단계(433)를 더 포함하고, 상기 최소 변위가 얻어진 포즈를 선택함으로써 상기 획득된 영상의 포즈가 조절되는 방법.
제6항 또는 제7항에 있어서, 상기 획득된 영상 및 상기 렌더링된 영상에서 유사한 특징들(features)을 식별함으로써 상기 변위들의 세트를 결정하는 단계를 더 포함하는 방법.
제3항 내지 제8항 중 어느 한 항에 있어서, 동일한 영상 좌표들을 사용하여 상기 획득된 영상에서 포인트들의 세트를, 그리고 상기 렌더링된 영상에서 대응하는 포인트들의 세트를 분포(distributing)시키는 단계를 더 포함하는 방법.
제9항에 있어서, 상기 3D 모델로부터의 정보를 사용하여, 분포된 포인트들을 배제(discarding)시키는 단계를 더 포함하는 방법.
제9항 또는 제10항에 있어서, 상기 획득된 영상과 상기 렌더링된 영상에 대한 스케일-공간 표현(scale-space representation)을 발생하는 단계; 및
각자의 영상에서의 각각의 분포된 포인트에 대해, 상기 분포된 포인트에 대한 위치가 상기 스케일-공간 표현의 다수의 레벨에서 일관성있는지를 판정하는 단계
를 더 포함하고, 상기 획득된 영상에서의 포인트가 상기 렌더링된 영상에서의 대응하는 포인트와 정합하는 것으로 간주되는 방법.
제9항 내지 제11항 중 어느 한 항에 있어서, 상기 획득된 영상 및 상기 렌더링된 영상에서의 각각의 분포된 포인트를 둘러싸고 있는 영역을 선택하는 단계;
상기 획득된 영상의 각각의 선택된 영역과 상기 렌더링된 영상의 대응하는 영역 사이의 상관을 측정하는 단계;
최대 상관이 발견되는 영상 좌표들로부터, 상기 획득된 영상에서의 선택된 영역과 상기 렌더링된 영상에서의 선택된 영역 사이의 변위(d1, d2)를 나타내는 벡터를 생성하는 단계; 및
상기 생성된 변위 벡터에 따라 상기 획득된 영상에서의 분포된 포인트들의 위치를 조절하는 단계
를 더 포함하는 방법.
제9항 내지 제12항 중 어느 한 항에 있어서, 상기 조절된 포인트들에 대해, 지리 참조(geographic reference)로서 상기 3D 모델을 사용하여 3D 좌표들을 계산하는 단계;
상기 계산된 3D 좌표들을 상기 획득된 영상에 투영하는 단계; 및
상기 획득된 영상 포즈를 갱신함으로써 상기 투영된 3D 좌표들과 상기 렌더링된 영상에서의 대응하는 특징 포인트들 사이의 차이를 최소화하는 단계
를 더 포함하는 방법.
제13항에 있어서, 상기 차이를 최소화하는 단계는
상기 투영된 획득된 영상에서 다수의 포인트를 선택하는 단계;
상기 선택된 포인트들과 상기 렌더링된 영상에서의 대응하는 포인트들 사이의 영상 좌표들의 차이를 측정하는 단계;
상기 영상 좌표들의 차이의 최소가 발견될 때까지 상기 획득된 영상 포즈를 갱신하는 단계; 및
상기 투영된 획득된 영상의 나머지 포인트들과 상기 렌더링된 영상의 대응하는 나머지 포인트들 사이의 차이를 측정하는 단계
를 더 포함하고, 상기 차이가 미리정해진 기준에 부합하는 경우, 상기 나머지 포인트들은 정합하는 것으로 간주되는 방법.
제2항에 있어서, 상기 정렬시키는 단계는
상기 획득된 영상을 상기 텍스처링된 3D 모델에 상기 획득된 영상의 추정된 포즈로 투영하는 서브단계; 및
상기 투영된 획득된 영상을 상기 텍스처링된 3D 모델과 정렬시키는 서브단계 - 상기 획득된 영상의 새로운 추정된 포즈가 결정됨 -
를 포함하는 방법.
제15항에 있어서, 투영된 거리-레벨 영상을 정렬시키는 서브단계는
상기 투영된 획득된 영상을 상기 텍스처링된 3D 모델과 정합시키는 단계를 더 포함하는 방법.
제15항 또는 제16항에 있어서, 상기 텍스처링된 3D 모델과 상기 투영된 획득된 영상 사이의 차이를 결정하는 단계;
포즈 바로 근방에 복수의 획득된 영상들을 투영하는 단계;
상기 포즈 근방에 렌더링된 각자의 투영된 획득된 영상을 상기 텍스처링된 3D 모델과 비교하는 단계; 및
상기 텍스처링된 3D 모델에 대해 가장 작은 차이를 가지는 투영된 획득된 영상을, 정렬을 위해 선택하는 단계
를 더 포함하는 방법.
제15항 내지 제17항 중 어느 한 항에 있어서, 상기 정합된 투영된 획득된 영상과 상기 텍스처링된 3D 모델 사이의 영상 좌표들의 변위들의 세트를 결정하는 단계; 및
상기 변위들의 세트를 고려함으로써 상기 획득된 영상의 포즈를 조절하는 단계
를 더 포함하는 방법.
제18항에 있어서, 최소 총 변위가 발견될 때까지 상기 투영된 획득된 영상 포즈를 갱신함으로써 상기 변위들의 세트를 감소시키는 단계를 더 포함하고, 상기 최소 변위가 얻어진 포즈를 선택함으로써 상기 획득된 영상의 포즈가 조절되는 방법.
제18항 또는 제19항에 있어서, 상기 투영된 획득된 영상 및 상기 텍스처링된 3D 모델에서 유사한 특징들을 식별함으로써 상기 변위들의 세트를 결정하는 단계를 더 포함하는 방법.
제15항 내지 제20항 중 어느 한 항에 있어서, 동일한 영상 좌표들을 사용하여 상기 획득된 영상에서 포인트들의 세트를, 그리고 상기 렌더링된 영상에서 대응하는 포인트들의 세트를 분포시키는 단계를 더 포함하는 방법.
제21항에 있어서, 상기 3D 모델로부터의 정보를 사용하여, 분포된 포인트들을 배제시키는 단계를 더 포함하는 방법.
제21항 또는 제22항에 있어서, 상기 투영된 획득된 영상과 상기 텍스처링된 3D 모델에 대한 스케일-공간 표현을 발생하는 단계; 및
상기 투영된 획득된 영상과 상기 텍스처링된 3D 모델에서의 각각의 분포된 포인트에 대해, 상기 분포된 포인트에 대한 위치가 상기 스케일-공간 표현의 다수의 레벨에서 일관성있는지를 판정하는 단계
를 더 포함하고, 상기 투영된 획득된 영상에서의 포인트가 상기 텍스처링된 3D 모델에서의 대응하는 포인트와 정합하는 것으로 간주되는 방법.
제21항 내지 제23항 중 어느 한 항에 있어서, 상기 투영된 획득된 영상 및 상기 텍스처링된 3D 모델에서의 각각의 분포된 포인트를 둘러싸고 있는 영역을 선택하는 단계;
상기 투영된 획득된 영상의 각각의 선택된 영역과 상기 텍스처링된 3D 모델의 대응하는 영역 사이의 상관을 측정하는 단계;
최대 상관이 발견되는 영상 좌표들로부터, 상기 투영된 획득된 영상에서의 선택된 영역과 상기 텍스처링된 3D 모델에서의 선택된 영역 사이의 변위(d1, d2)를 나타내는 벡터를 생성하는 단계; 및
상기 생성된 변위 벡터에 따라 상기 투영된 획득된 영상에서의 분포된 포인트들의 위치를 조절하는 단계
를 더 포함하는 방법.
제21항 내지 제24항 중 어느 한 항에 있어서, 상기 조절된 포인트들에 대해, 상기 3D 모델을 지리 참조로서 사용하여 3D 좌표들을 계산하는 단계;
상기 계산된 3D 좌표들을 상기 투영된 획득된 영상에 투영하는 단계; 및
상기 획득된 영상 포즈를 갱신함으로써 상기 투영된 3D 좌표들과 상기 텍스처링된 3D 모델에서의 대응하는 특징 포인트들 사이의 차이를 최소화하는 단계
를 더 포함하는 방법.
제25항에 있어서, 상기 차이를 최소화하는 단계는
재투영된 획득된 영상에서 다수의 포인트를 선택하는 서브단계;
상기 선택된 포인트들과 상기 텍스처링된 3D 모델에서의 대응하는 포인트들 사이의 영상 좌표들의 차이를 측정하는 서브단계;
상기 영상 좌표들의 차이의 최소가 발견될 때까지 상기 획득된 영상 포즈를 갱신하는 서브단계; 및
상기 재투영된 획득된 영상의 나머지 포인트들과 상기 텍스처링된 3D 모델의 대응하는 나머지 포인트들 사이의 차이를 측정하는 서브단계
를 더 포함하고, 상기 차이가 미리정해진 기준에 부합하는 경우, 상기 나머지 포인트들은 정합하는 것으로 간주되는 방법.
제2항에 있어서, 상기 정렬시키는 단계는
상기 획득된 영상을 상기 텍스처링된 3D 모델에 상기 획득된 영상의 추정된 포즈로 투영하는 서브단계;
제1 영상을 상기 텍스처링된 3D 모델에, 그리고 제2 영상을 상기 획득된 영상이 동일한 카메라 포즈를 사용하여 투영되었던 텍스처링된 3D 모델에 렌더링하는 서브단계; 및
상기 제1 영상을 상기 제2 영상과 정렬시키는 서브단계 - 획득된 영상의 새로운 추정된 포즈가 결정됨 -
를 포함하는 방법.
제27항에 있어서, 상기 제1 영상을 상기 제2 영상과 정렬시키는 단계는
상기 제1 영상을 상기 제2 영상과 정합시키는 단계를 더 포함하는 방법.
제27항 또는 제28항에 있어서, 상기 제1 영상과 상기 제2 영상 사이의 차이를 결정하는 단계;
포즈 바로 근방에 복수의 제1 영상 및 제2 영상을 렌더링하는 단계;
상기 포즈 근방에 렌더링된 상기 제1 영상들을 상기 포즈 근방에 렌더링된 대응하는 제2 영상과 비교하는 단계; 및
대응하는 제1 영상에 대해 가장 작은 차이를 가지는 제2 영상을, 정렬을 위해 선택하는 단계
를 더 포함하는 방법.
제27항 내지 제29항 중 어느 한 항에 있어서, 정합된 제1 영상과 제2 영상 사이의 영상 좌표들의 변위들의 세트를 결정하는 단계; 및
상기 변위들의 세트를 고려함으로써 상기 획득된 영상의 포즈를 조절하는 단계
를 더 포함하는 방법.
제30항에 있어서, 최소 총 변위가 발견될 때까지 상기 획득된 영상 포즈를 갱신함으로써 상기 변위들의 세트를 감소시키는 단계를 더 포함하고, 상기 최소 변위가 얻어진 포즈를 선택함으로써 상기 획득된 영상의 포즈가 조절되는 방법.
제30항 또는 제31항에 있어서, 상기 제1 영상 및 상기 제2 영상에서 유사한 특징들을 식별함으로써 상기 변위들의 세트를 결정하는 단계를 더 포함하는 방법.
제27항 내지 제32항 중 어느 한 항에 있어서, 동일한 영상 좌표들을 사용하여 상기 제1 영상에서 포인트들의 세트를, 그리고 상기 제2 영상에서 대응하는 포인트들의 세트를 분포시키는 단계를 더 포함하는 방법.
제33항에 있어서, 상기 3D 모델로부터의 정보를 사용하여, 분포된 포인트들을 배제시키는 단계를 더 포함하는 방법.
제33항 또는 제34항에 있어서, 상기 제1 영상과 상기 제2 영상에 대한 스케일-공간 표현을 발생하는 단계; 및
각자의 영상에서의 각각의 분포된 포인트에 대해, 상기 분포된 포인트에 대한 위치가 상기 스케일-공간 표현의 다수의 레벨에서 일관성있는지를 판정하는 단계
를 더 포함하고, 상기 제1 영상에서의 포인트가 상기 제2 영상에서의 대응하는 포인트와 정합하는 것으로 간주되는 방법.
제33항 내지 제35항 중 어느 한 항에 있어서, 상기 제1 영상 및 상기 제2 영상에서의 각각의 분포된 포인트를 둘러싸고 있는 영역을 선택하는 단계;
상기 제1 영상의 각각의 선택된 영역과 상기 제2 영상의 대응하는 영역 사이의 상관을 측정하는 단계;
최대 상관이 발견되는 영상 좌표들로부터, 상기 제1 영상에서의 선택된 영역과 상기 제2 영상에서의 선택된 영역 사이의 변위(d1, d2)를 나타내는 벡터를 생성하는 단계; 및
상기 생성된 변위 벡터에 따라 상기 제1 영상에서의 분포된 포인트들의 위치를 조절하는 단계
를 더 포함하는 방법.
제33항 내지 제36항 중 어느 한 항에 있어서, 상기 조절된 포인트들에 대해, 상기 3D 모델을 지리 참조로서 사용하여 3D 좌표들을 계산하는 단계;
상기 계산된 3D 좌표들을 상기 제1 영상에 투영하는 단계; 및
상기 획득된 영상 포즈를 갱신함으로써 상기 투영된 3D 좌표들과 상기 제2 영상에서의 대응하는 특징 포인트들 사이의 차이를 최소화하는 단계
를 더 포함하는 방법.
제37항에 있어서, 상기 차이를 최소화하는 단계는
상기 제1 영상에서 다수의 포인트를 선택하는 단계;
상기 선택된 포인트들과 상기 제2 영상에서의 대응하는 포인트들 사이의 영상 좌표들의 차이를 측정하는 단계;
상기 영상 좌표들의 차이의 최소가 발견될 때까지 상기 획득된 영상 포즈를 갱신하는 단계; 및
상기 제1 영상의 나머지 포인트들과 상기 제2 영상의 대응하는 나머지 포인트들 사이의 차이를 측정하는 단계
를 더 포함하고, 상기 차이가 미리정해진 기준에 부합하는 경우, 상기 나머지 포인트들은 정합하는 것으로 간주되는 방법.
제1항 내지 제38항 중 어느 한 항에 있어서, 상기 배치될 영상은 거리 레벨에서 획득되는 방법.
공간 영역의 텍스처링된 3D 모델을 사용하여 영상을 배치하는 장치로서,
배치될 영상을 획득하고 - 상기 영상은 상기 공간 영역의 적어도 일부분을 나타냄 -;
상기 3D 모델에 포함된 텍스처 정보를 사용하면서 새로운 추정된 포즈를 획득하기 위해 상기 획득된 영상을 상기 3D 모델과 정렬시키며;
상기 새로운 추정된 포즈를 사용하여, 상기 획득된 영상을 배치하도록
구성된 처리 수단을 포함하는 장치.
제40항에 있어서, 상기 획득된 영상을 상기 3D 모델과 정렬시키도록 구성된 상기 처리 수단은 2개의 2D 영상을 정렬시키도록 구성되고, 상기 영상들은
상기 획득된 영상;
기존의 텍스처링된 3D 모델로부터 렌더링된 영상;
상기 획득된 영상을 상기 기존의 텍스처링된 3D 모델에 투영함으로써 획득되는 수정된 텍스처링된 3D 모델로부터 렌더링된 영상;
상기 기존의 텍스처링된 3D 모델에서의 표면 상의 텍스처; 및
상기 획득된 영상을 상기 기존의 텍스처링된 3D 모델에 투영하는 것으로부터 얻어지는 텍스처
를 포함하는 그룹 중에서 선택되는 장치.
제41항에 있어서, 상기 획득된 영상을 상기 3D 모델과 정렬시키도록 구성된 상기 처리 수단은
상기 획득된 영상의 추정된 포즈로 영상을 상기 3D 모델에 렌더링하고;
상기 획득된 영상을 상기 렌더링된 영상과 정렬시키도록
구성되며, 획득된 영상의 새로운 추정된 포즈가 결정되는 장치.
제42항에 있어서, 상기 처리 수단은 또한
상기 획득된 영상을 상기 렌더링된 영상과 정합시키도록 구성되는 장치.
제42항 또는 제43항에 있어서, 상기 처리 수단은 또한
상기 렌더링된 영상과 상기 획득된 영상 사이의 차이를 결정하고;
포즈 바로 근방에 복수의 영상을 렌더링하며;
상기 획득된 영상의 포즈 근방에 렌더링된 각자의 영상을 비교하고;
상기 획득된 영상에 대해 가장 작은 차이를 가지는 렌더링된 영상을, 정렬을 위해 선택하도록
구성되는 장치.
제42항 내지 제44항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
상기 정합된 획득된 영상과 렌더링된 영상 사이의 영상 좌표들의 변위들의 세트를 결정하고;
상기 변위들의 세트를 고려함으로써 상기 획득된 영상의 포즈를 조절하도록
구성되는 장치.
제45항에 있어서, 상기 처리 수단은 또한
최소 총 변위가 발견될 때까지 상기 획득된 영상 포즈를 갱신함으로써 상기 변위들의 세트를 감소시키도록 구성되고, 상기 최소 변위가 얻어진 포즈를 선택함으로써 상기 획득된 영상의 포즈가 조절되는 장치.
제45항 또는 제46항에 있어서, 상기 처리 수단은 또한
상기 획득된 영상 및 상기 렌더링된 영상에서 유사한 특징들을 식별함으로써 상기 변위들의 세트를 결정하도록 구성되는 장치.
제42항 내지 제47항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
동일한 영상 좌표들을 사용하여 상기 획득된 영상에서 포인트들의 세트를, 그리고 상기 렌더링된 영상에서 대응하는 포인트들의 세트를 분포시키도록 구성되는 장치.
제48항에 있어서, 상기 처리 수단은 또한
상기 3D 모델로부터의 정보를 사용하여, 분포된 포인트들을 배제시키도록 구성되는 장치.
제48항 또는 제49항에 있어서, 상기 처리 수단은 또한
상기 획득된 영상과 상기 렌더링된 영상에 대한 스케일-공간 표현을 발생하고;
각자의 영상에서의 각각의 분포된 포인트에 대해, 상기 분포된 포인트에 대한 위치가 상기 스케일-공간 표현의 다수의 레벨에서 부합하는지를 판정하도록
구성되어 있으며, 상기 획득된 영상에서의 포인트가 상기 렌더링된 영상에서의 대응하는 포인트와 정합하는 것으로 간주되는 장치.
제48항 내지 제50항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
상기 획득된 영상 및 상기 렌더링된 영상에서의 각각의 분포된 포인트를 둘러싸고 있는 영역을 선택하고;
상기 획득된 영상의 각각의 선택된 영역과 상기 렌더링된 영상의 대응하는 영역 사이의 상관을 측정하며;
최대 상관이 발견되는 영상 좌표들로부터, 상기 획득된 영상에서의 선택된 영역과 상기 렌더링된 영상에서의 선택된 영역 사이의 변위(d1, d2)를 나타내는 벡터를 생성하고;
상기 생성된 변위 벡터에 따라 상기 획득된 영상에서의 분포된 포인트들의 위치를 조절하도록
구성되는 장치.
제48항 내지 제51항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
상기 조절된 포인트들에 대해, 상기 3D 모델을 지리 참조로서 사용하여 3D 좌표들을 계산하고;
상기 계산된 3D 좌표들을 상기 획득된 영상에 투영하며;
상기 획득된 영상 포즈를 갱신함으로써 상기 투영된 3D 좌표들과 상기 렌더링된 영상에서의 대응하는 특징 포인트들 사이의 차이를 최소화하도록
구성되는 장치.
제52항에 있어서, 상기 처리 수단은 또한
상기 투영된 획득된 영상에서 다수의 포인트를 선택하고;
상기 선택된 포인트들과 상기 렌더링된 영상에서의 대응하는 포인트들 사이의 영상 좌표들의 차이를 측정하며;
상기 영상 좌표들의 차이의 최소가 발견될 때까지 상기 획득된 영상 포즈를 갱신하고;
상기 투영된 획득된 영상의 나머지 포인트들과 상기 렌더링된 영상의 대응하는 나머지 포인트들 사이의 차이를 측정하도록
구성되며, 상기 차이가 미리정해진 기준에 부합하는 경우, 상기 나머지 포인트들은 정합하는 것으로 간주되는 장치.
제41항에 있어서, 상기 획득된 영상을 상기 3D 모델과 정렬시키도록 구성된 상기 처리 수단은
상기 획득된 영상을 상기 텍스처링된 3D 모델에 상기 획득된 영상의 추정된 포즈로 투영하고;
상기 투영된 획득된 영상을 상기 텍스처링된 3D 모델과 정렬시키도록
구성되고, 획득된 영상의 새로운 추정된 포즈가 결정되는 장치.
제54항에 있어서, 상기 처리 수단은 또한
상기 투영된 획득된 영상을 상기 텍스처링된 3D 모델과 정합시키도록
구성되는 장치.
제54항 또는 제55항에 있어서, 상기 처리 수단은 또한
상기 텍스처링된 3D 모델과 상기 투영된 획득된 영상 사이의 차이를 결정하고;
포즈 바로 근방에 복수의 획득된 영상들을 투영하며;
상기 포즈 근방에 렌더링된 각자의 투영된 획득된 영상을 상기 텍스처링된 3D 모델과 비교하고;
상기 텍스처링된 3D 모델에 대해 가장 작은 차이를 가지는 투영된 획득된 영상을, 정렬을 위해 선택하도록
구성되는 장치.
제54항 내지 제56항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
상기 정합된 투영된 획득된 영상과 상기 텍스처링된 3D 모델 사이의 영상 좌표의 변위들의 세트를 결정하고;
상기 변위들의 세트를 고려함으로써 상기 획득된 영상의 포즈를 조절하도록
구성되는 장치.
제57항에 있어서, 상기 처리 수단은 또한
최소 총 변위가 발견될 때까지 상기 투영된 획득된 영상 포즈를 갱신함으로써 상기 변위들의 세트를 감소시키도록 구성되고, 상기 최소 변위가 얻어진 포즈를 선택함으로써 상기 획득된 영상의 포즈가 조절되는 장치.
제57항 또는 제58항에 있어서, 상기 처리 수단은 또한
상기 투영된 획득된 영상 및 상기 텍스처링된 3D 모델에서 유사한 특징들을 식별함으로써 상기 변위들의 세트를 결정하도록 구성되는 장치.
제54항 내지 제59항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
동일한 영상 좌표들을 사용하여 상기 획득된 영상에서의 포인트들의 세트 및 상기 렌더링된 영상에서의 대응하는 포인트들의 세트를 분포시키도록 구성되는 장치.
제60항에 있어서, 상기 처리 수단은 또한
상기 3D 모델로부터의 정보를 사용하여, 분포된 포인트들을 배제시키도록 구성되는 장치.
제60항 또는 제61항에 있어서, 상기 처리 수단은 또한
상기 투영된 획득된 영상과 상기 텍스처링된 3D 모델에 대한 스케일-공간 표현을 발생하고;
상기 투영된 획득된 영상과 상기 텍스처링된 3D 모델에서의 각각의 분포된 포인트에 대해, 상기 분포된 포인트에 대한 위치가 상기 스케일-공간 표현의 다수의 레벨에서 부합하는지를 판정하도록
구성되며, 상기 투영된 획득된 영상에서의 포인트가 상기 텍스처링된 3D 모델에서의 대응하는 포인트와 정합하는 것으로 간주되는 장치.
제60항 내지 제62항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
상기 투영된 획득된 영상 및 상기 텍스처링된 3D 모델에서의 각각의 분포된 포인트를 둘러싸고 있는 영역을 선택하고;
상기 투영된 획득된 영상의 각각의 선택된 영역과 상기 텍스처링된 3D 모델의 대응하는 영역 사이의 상관을 측정하며;
최대 상관이 발견되는 영상 좌표들로부터, 상기 투영된 획득된 영상에서의 선택된 영역과 상기 텍스처링된 3D 모델에서의 선택된 영역 사이의 변위(d1, d2)를 나타내는 벡터를 생성하고;
상기 생성된 변위 벡터에 따라 상기 투영된 획득된 영상에서의 분포된 포인트들의 위치를 조절하도록
구성되는 장치.
제60항 내지 제63항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
상기 조절된 포인트들에 대해, 상기 3D 모델을 지리 참조로서 사용하여 3D 좌표들을 계산하고;
상기 계산된 3D 좌표들을 상기 투영된 획득된 영상에 투영하며;
상기 획득된 영상 포즈를 갱신함으로써 상기 투영된 3D 좌표들과 상기 텍스처링된 3D 모델에서의 대응하는 특징 포인트 사이의 차이를 최소화하도록
구성되는 장치.
제64항에 있어서, 상기 처리 수단은 또한
상기 재투영된 획득된 영상에서 다수의 포인트를 선택하고;
상기 선택된 포인트들과 상기 텍스처링된 3D 모델에서의 대응하는 포인트들 사이의 영상 좌표들의 차이를 측정하며;
상기 영상 좌표들의 차이의 최소가 발견될 때까지 상기 획득된 영상 포즈를 갱신하고;
상기 재투영된 획득된 영상의 나머지 포인트들과 상기 텍스처링된 3D 모델의 대응하는 나머지 포인트들 사이의 차이를 측정하도록
구성되고, 상기 차이가 미리정해진 기준에 부합하는 경우, 상기 나머지 포인트들은 정합하는 것으로 간주되는 장치.
제41항에 있어서, 상기 획득된 영상을 상기 3D 모델과 정렬시키도록 구성된 상기 처리 수단은
상기 획득된 영상을 상기 텍스처링된 3D 모델에 상기 획득된 영상의 추정된 포즈로 투영하고;
제1 영상을 상기 텍스처링된 3D 모델에, 그리고 제2 영상을 상기 획득된 영상이 동일한 카메라 포즈를 사용하여 투영되었던 텍스처링된 3D 모델에 렌더링하며;
상기 제1 영상을 상기 제2 영상과 정렬시키도록
구성되고, 획득된 영상의 새로운 추정된 포즈가 결정되는 장치.
제66항에 있어서, 상기 처리 수단은 또한, 상기 제1 영상을 상기 제2 영상과 정렬시킬 때,
상기 제1 영상을 상기 제2 영상과 정합시키도록 구성되는 장치.
제66항 또는 제67항에 있어서, 상기 처리 수단은 또한
상기 제1 영상과 상기 제2 영상 사이의 차이를 결정하고;
포즈 바로 근방에 복수의 제1 영상 및 제2 영상을 렌더링하며;
상기 포즈 근방에 렌더링된 상기 제1 영상들을 상기 포즈 근방에 렌더링된 대응하는 제2 영상과 비교하고;
대응하는 제1 영상에 대해 가장 작은 차이를 가지는 제2 영상을, 정렬을 위해 선택하도록
구성되는 장치.
제66항 내지 제68항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
정합된 제1 영상과 제2 영상 사이의 영상 좌표들의 변위들의 세트를 결정하고;
상기 변위들의 세트를 고려함으로써 상기 획득된 영상의 포즈를 조절하도록
구성되는 장치.
제69항에 있어서, 상기 처리 수단은 또한
최소 총 변위가 발견될 때까지 상기 획득된 영상 포즈를 갱신함으로써 상기 변위들의 세트를 감소시키도록 구성되고, 상기 최소 변위가 얻어진 포즈를 선택함으로써 상기 획득된 영상의 포즈가 조절되는 장치.
제69항 또는 제70항에 있어서, 상기 처리 수단은 또한
상기 제1 영상 및 상기 제2 영상에서 유사한 특징들을 식별함으로써 상기 변위들의 세트를 결정하도록 구성되는 장치.
제66항 내지 제71항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
동일한 영상 좌표들을 사용하여 상기 제1 영상에서 포인트들의 세트를, 그리고 상기 제2 영상에서 대응하는 포인트들의 세트를 분포시키도록 구성되는 장치.
제72항에 있어서, 상기 처리 수단은 또한
상기 3D 모델로부터의 정보를 사용하여, 분포된 포인트들을 배제시키도록 구성되는 장치.
제72항 또는 제73항에 있어서, 상기 처리 수단은 또한
상기 제1 영상과 상기 제2 영상에 대한 스케일-공간 표현을 발생하고;
각자의 영상에서의 각각의 분포된 포인트에 대해, 상기 분포된 포인트에 대한 위치가 상기 스케일-공간 표현의 다수의 레벨에서 일관성있는지를 판정하도록
구성되어 있고, 상기 제1 영상에서의 포인트가 상기 제2 영상에서의 대응하는 포인트와 정합하는 것으로 간주되는 장치.
제72항 내지 제74항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
상기 제1 영상 및 상기 제2 영상에서의 각각의 분포된 포인트를 둘러싸고 있는 영역을 선택하고;
상기 제1 영상의 각각의 선택된 영역과 상기 제2 영상의 대응하는 영역 사이의 상관을 측정하며;
최대 상관이 발견되는 영상 좌표들로부터, 상기 제1 영상에서의 선택된 영역과 상기 제2 영상에서의 선택된 영역 사이의 변위(d1, d2)를 나타내는 벡터를 생성하고;
상기 생성된 변위 벡터에 따라 상기 제1 영상에서의 분포된 포인트들의 위치를 조절하도록
구성되는 장치.
제72항 내지 제75항 중 어느 한 항에 있어서, 상기 처리 수단은 또한
상기 조절된 포인트들에 대해, 상기 3D 모델을 지리 참조로서 사용하여 3D 좌표들을 계산하고;
상기 계산된 3D 좌표들을 상기 제1 영상에 투영하며;
상기 획득된 영상 포즈를 갱신함으로써 상기 투영된 3D 좌표들과 상기 제2 영상에서의 대응하는 특징 포인트들 사이의 차이를 최소화하도록
구성되는 장치.
제76항에 있어서, 상기 처리 수단은 또한, 상기 차이를 최소화할 때,
상기 제1 영상에서 다수의 포인트를 선택하고;
상기 선택된 포인트들과 상기 제2 영상에서의 대응하는 포인트들 사이의 영상 좌표들의 차이를 측정하며;
상기 영상 좌표들의 차이의 최소가 발견될 때까지 상기 획득된 영상 포즈를 갱신하고;
상기 제1 영상의 나머지 포인트들과 상기 제2 영상의 대응하는 나머지 포인트들 사이의 차이를 측정하도록
구성되며, 상기 차이가 미리정해진 기준에 부합하는 경우, 상기 나머지 포인트들은 정합하는 것으로 간주되는 장치.
제40항 내지 제77항 중 어느 한 항에 있어서, 배치될 영상을 획득하도록 구성된 상기 처리 수단은 거리 레벨에서 상기 영상을 획득하도록 구성되는 장치.
제40항 내지 제78항 중 어느 한 항에 있어서, 상기 처리 수단은 또한 상기 배치된 획득된 영상으로부터 텍스처 및/또는 기하학적 정보를 추출하고 이것을 상기 텍스처링된 3D 모델에 포함시키도록 구성되는 장치.
제1항 내지 제39항 중 어느 한 항에 있어서, 상기 배치된 획득된 영상으로부터 텍스처 및/또는 기하학적 정보를 추출하고 이것을 상기 텍스처링된 3D 모델에 포함시키는 단계를 더 포함하는 방법.
제1항 내지 제39항 또는 제80항 중 어느 한 항의 방법을 수행하기 위한 컴퓨터 판독가능 명령어들을 저장하는 컴퓨터 판독가능 매체.