KR20110044217A

KR20110044217A - ３차원으로 내비게이션 데이터를 디스플레이하는 방법

Info

Publication number: KR20110044217A
Application number: KR1020117002517A
Authority: KR
Inventors: 보이치에흐 토마시 노바크; 아르카디우시 비소키
Original assignee: 텔레 아틀라스 비. 브이.
Priority date: 2008-07-31
Filing date: 2008-07-31
Publication date: 2011-04-28
Also published as: BRPI0822727A2; AU2008359900A1; JP2011529568A; CN102037326A; WO2010012310A1; US20110109618A1; EP2307854A1; CA2725800A1

Abstract

본 발명은 프로세서(11) 및 상기 프로세서(11)가 액세스가능한 메모리(12; 13; 14; 15)를 포함하는 컴퓨터 장치(10)에 관한 것이다. 상기 메모리(12; 13; 14; 15)는, 상기 프로세서(11)로 하여금,
a) 디스플레이될 이미지를 획득할 수 있게 하도록 구성되며,
b) 상기 이미지에 관한 심도 정보(depth information)를 획득할 수 있게 하도록 구성되고,
c) 상기 이미지에서 적어도 하나의 영역을 식별하기 위해 심도 정보를 사용할 수 있게 하도록 구성되며,
d) 적어도 하나의 식별된 영역에 대한 디스플레이 모드를 선택할 수 있게 하도록 구성된, 데이터 및 명령어들을 포함하는 컴퓨터 프로그램을 포함한다.

Description

３차원으로 내비게이션 데이터를 디스플레이하는 방법{Method of displaying navigation data in 3D}

본 발명은 내비게이션(navigation; 항행)을 목적으로 하는 이미지를 생성하는 컴퓨터 장치 및 방법, 그리고 컴퓨터 장치에 의해 로드될 수 있는 데이터 및 명령어들로서, 컴퓨터 장치가 그러한 방법을 수행할 수 있게 하는 데이터 및 명령어들을 포함하는 컴퓨터 프로그램 생성물 및 그러한 컴퓨터 프로그램 생성물을 구비한 데이터 캐리어(data carrier)에 관한 것이다.

내비게이션 시스템들은 지난 20년 동안 더 대중화되어 왔다. 수 년에 걸쳐 이러한 시스템들은 사용자들이 항행을 목적으로 하는 향상된 하는데 도움을 주도록 도로 중심선들을 간단히 기하학적으로 디스플레이하는 것으로부터 실제 환경의 현실적 이미지들/사진들을 제공하는 것으로 진화해 왔다.

미국 필립스 코포레이션(U.S. Philips Corp.) 명의의 US5115398에는 이미지 픽-업 유닛, 예를 들면 차량 탑재 비디오 카메라에 의해 생성된 로컬 차량 환경의 미래 지향적 이미지(forward looking image)를 생성하는 것을 포함하는 내비게이션 데이터의 디스플레이 방법 및 시스템이 개시되어 있다. 캡처된 이미지는 디스플레이 유닛 상에 디스플레이된다. 주행 방향을 나타내는 내비게이션 데이터로부터 형성되는 표시 신호는 디스플레이된 이미지상에 중첩된다. 상기 표시 신호 및 상기 환경의 이미지를 결합하여 디스플레이 유닛 상에 디스플레이되는 결합 신호를 형성하도록 결합 모듈이 제공된다.

톰톰 인터내셔널 비.브이(TomTom International B.V.) 명의의 WO2006132522에도 카메라 이미지상에 내비게이션 명령어들을 중첩하는 것이 개시되어 있다. 카메라 이미지와 중첩된 내비게이션 명령어들의 위치를 매칭시키기 위해, 패턴 인식 기법들이 사용된다.

내비게이션 정보를 중첩하는 변형적인 방법은 유럽 특허출원 EP 1 751 499에 개시되어 있다.

US 6,285,317에는 디스플레이된 로컬 장면 상에 오버레이(overlay)로서 디스플레이되는 방향 정보를 생성하도록 구성된 이동 차량용 내비게이션 시스템이 개시되어 있다. 상기 로컬 장면은 예컨대 상기 이동 차량 장착용으로 적합한 비디오 카메라인 로컬 장면 정보 제공자에 의해 제공될 수 있다. 상기 방향 정보는 상기 비디오 카메라를 교정함으로써, 다시 말하면 상기 카메라의 시야각(viewing angle)을 결정한 다음에 원하는 시야 영역을 갖는 투영 스크린상에 투영된 모든 시야들을 스케일링 인자(scaling factor)만큼 크기 조정함으로써 상기 로컬 장면 상에 매핑된다. 또한, 지면에 대한 차량 상에 장착된 카메라의 높이가 측정되고 그에 따라 3차원(3D) 내비게이션 소프트웨어에서 보이는 지점의 높이가 변경된다. 당업자에게는 이러한 절차가 아주 번거로운 것으로 이해될 것이다. 또한, 이러한 내비게이션 시스템은 카메라에 의해 캡처된 로컬 장면에 존재하는 다른 차량들과 같은 개체(object)들을 처리할 수 없다.

선행기술에 의하면, 예를 들면 카메라에 의해 캡처된 이미지들 상에 패턴 인식 기법들을 사용함으로써 항행을 목적으로 하는 향상된 투시 이미지들을 사용자들에게 제공하는데에는 비교적 많은 컴퓨터 전력이 필요하다.

본 발명의 한 목적은 위에서 언급된 문제점들 중 적어도 하나를 해소하는 방법 및 시스템을 제공하는 것이다.

한 실시태양에 의하면, 프로세서 및 상기 프로세서가 액세스가능한 메모리를 포함하는 컴퓨터 장치가 제공되며, 상기 메모리는, 상기 프로세서로 하여금,

a) 디스플레이될 이미지를 획득할 수 있게 하도록 구성되며,

b) 상기 이미지에 관한 심도 정보(depth information)를 획득할 수 있게 하도록 구성되고,

c) 상기 이미지에서 적어도 하나의 영역을 식별하기 위해 심도 정보를 이용할 수 있게 하도록 구성되며,

d) 적어도 하나의 식별된 영역에 대한 디스플레이 모드를 선택할 수 있게 하도록 구성된, 데이터 및 명령어들을 포함하는 컴퓨터 프로그램을 포함한다.

한 실시태양에 의하면, 항행을 목적으로 하는 이미지를 생성하는 방법이 제공되며, 상기 방법은,

a) 디스플레이될 이미지를 획득하는 동작,

b) 상기 이미지에 관한 심도 정보(depth information)를 획득하는 동작,

c) 상기 이미지에서 적어도 하나의 영역을 식별하기 위해 심도 정보를 사용하는 동작,

d) 적어도 하나의 식별된 영역(이하의 예들 참조)에 대한 디스플레이 모드를 선택하는 동작을 포함한다.

한 실시태양에 의하면, 컴퓨터 장치에 의해 로드될 수 있고 상기 컴퓨터 장치로 하여금 그러한 방법을 수행할 수 있게 하는 데이터 및 명령어들을 포함하는 컴퓨터 프로그램 생성물이 제공된다.

한 실시태양에 의하면, 그러한 컴퓨터 프로그램 생성물을 구비한 데이터 캐리어(data carrier)가 제공된다.

상기 실시예들은 복잡하고 컴퓨터-시간을 소비하는 패턴 인식 기법들을 사용할 필요 없이 이미지들 상에 내비게이션 정보를 중첩하는데 쉽게 적용되는 해결방안을 제공한다. 상기 실시예들은 보다 양호하게 해석가능한 결합 이미지를 제공하기 위해 다른 차량들, 보행자들 등과 같은 이미지에 존재하는 일시적인 개체(temporal object)들의 고려를 부가적으로 제공한다.

본 발명의 범위를 한정하는 것이 아니고 단지 본 발명의 실시예들을 보여주도록 의도된 몇몇 도면들을 참조하여 본 발명이 상세하게 설명될 것이다. 본 발명의 범위는 첨부된 청구항들에서 그리고 그의 기술적 등가 범위로 한정된다.

도 1은 컴퓨터 장치를 개략적으로 보여주는 도면이다.
도 2는 한 실시예에 따른 흐름도를 개략적으로 보여주는 도면이다.
도 3a 및 도 3b는 한 실시예에 따른 이미지 및 심도 정보를 개략적으로 보여주는 도면들이다.
도 4는 한 실시예에 따른 흐름도를 개략적으로 보여주는 도면이다.
도 5a, 도 5b, 도 6a, 도 6b, 도 7a, 도 7b, 도 8a, 도 8b 및 도 9는 결합 이미지들을 개략적으로 보여주는 도면들이다.
도 10a 및 도 10b는 한 실시예를 부가적으로 설명하기 위한 이미지들을 보여주는 도면들이다.

이하에서 제공되는 실시예들에는 내비게이션(navigation; 항행)을 목적으로 사용자에게 향상된 이미지들을 제공하는 방식이 설명되어 있다. 상기 이미지들은 사용자들이 방위에 따라 항행하는데 도움을 주는 향상된 방식으로 보이게 되는 도로망의 교통 상황들 또는 교통 상황 부분들을 보여줄 수 있다.

상기 이미지는 예를 들면 상기 이미지 내의 특정 영역들 상에 특정 내비게이션 정보를 중첩함으로써 또는 서로 다른 컬러 설정들로 상기 이미지의 특정 영역들을 디스플레이함으로써 향상될 수 있다. 이하에서는 더 많은 예들이 설명될 것이다. 일반적으로, 상기 향상된 이미지들은 서로 다른 디스플레이 모드들로 상기 이미지의 서로 다른 영역들을 디스플레이함으로써 생성된다. 이러한 방식으로, 사용자에게 내비게이션 명령어들 또는 정보를 제공하는 더 직관적인 방식이 획득될 수 있다.

서로 다른 디스플레이 모드들로 상기 이미지의 서로 다른 영역들을 디스플레이하기 위해서는, 이러한 서로 다른 영역들이 먼저 식별되어야 한다. 상기 실시예들에 의하면, 이는 특정 이미지에 관한 심도(depth) 정보(3차원 정보)를 획득함으로써 이루어지게 된다. 상기 심도 정보는 서로 다른 영역들을 식별하는데 사용되고 또한 상기 이미지에 매핑된다. 한 영역이 교통 표지(traffic sign), 빌딩, 다른 차량, 통행인에 상응할 수 있다. 일단 서로 다른 영역들이 식별되고 인식되면, 서로 다른 영역들이 서로 다른 디스플레이 모드들로 디스플레이될 수 있다.

심도 정보를 사용함으로써, 상기 이미지들 상에 복잡한 패턴 인식 기법들을 적용할 필요가 없어진다. 이러한 방식으로, 사용자가 사용하기에 더 편리해지는 결과들을 초래하면서도 비교적 과중한 계산들이 방지된다.

컴퓨터 장치

도 1에는, 상기 실시예들을 구현하는데 적합한 실현가능한 컴퓨터 장치(10)가 개략적으로 제공되어 있다. 상기 컴퓨터 장치(10)는 산술 연산들을 수행하기 위한 프로세서(11)를 포함한다.

상기 프로세서(11)는 복수 개의 메모리 부품들에 접속되며, 상기 복수 개의 메모리 부품들은 하드 디스크(12), 판독 전용 메모리(Read Only Memory; ROM)(13), 전기적으로 소거가능한 프로그램가능 전용 메모리(Electrically Erasable Progrmmable Read Only Memory; EEPROM)(14), 및 랜덤 액세스 메모리(Random Access Memory; RAM)(15)를 포함한다. 이러한 메모리 타입들 모두가 반드시 제공될 필요는 없다. 더욱이, 이러한 메모리 부품들은 상기 프로세서(11)에 실질적으로 근접 배치될 필요가 없으며 상기 프로세서(11)로부터 원격 배치될 수 있다.

상기 프로세서(11)는 또한 키보드(16), 및 마우스(17)와 같은, 사용자에 의해 명령어들, 데이터 등을 입력하기 위한 수단에 접속된다. 당업자에게 공지된, 터치 스크린, 트랙 볼 및/또는 음성 변환기와 같은 다른 입력 수단도 역시 제공될 수 있다.

상기 프로세서(11)에 접속된 판독 유닛(19)이 제공된다. 상기 판독 유닛(19)은 플로피 디스크(20) 또는 CDROM(21)과 같은 데이터 캐리어(data carrier)로부터 데이터를 판독하도록 그리고 아마도 플로피 디스크(20) 또는 CDROM(21)과 같은 데이터 캐리어 상에 데이터를 기록하도록 구성된다. 다른 데이터 캐리어들은 당업자에게 공지된 바와 같은 테이프들, DVD, CD-R, DVD-R, 메모리 스틱들일 수 있다.

상기 프로세서(11)는 또한 종이 상에 출력 데이터를 인쇄하기 위한 프린터(23)에 접속됨과 아울러, 디스플레이(18), 예를 들면 모니터 또는 LCD(Liquid Crystal Display) 스크린이나 당업자에게 공지된 다른 어떤 타입의 디스플레이에 접속된다.

상기 프로세서(11)는 라우드스피커(29)에 접속될 수 있다.

상기 컴퓨터 장치(10)는 이하에서 좀더 상세하게 설명되겠지만 사진 카메라, 비디오 카메라 또는 3차원(3D)-카메라와 같은 카메라(camera; CA)를 더 포함할 수 있거나 사진 카메라, 비디오 카메라 또는 3D-카메라와 같은 카메라(CA)와 통신하도록 구성될 수 있다.

상기 컴퓨터 장치(10)는 상기 프로세서(11)에 의한 용도로 현재 위치 등에 대한 위치 정보를 결정하도록 하는 위치 결정 시스템(positioning system; PS)을 더 포함할 수 있다. 상기 위치 결정 시스템(PS)은,

ㆍ 범지구 위치 결정 시스템(global positioning system; GPS) 유닛 등과 같은 범지구 위성 항법 시스템(Global Navigation Satellite System, GNSS);

ㆍ 바퀴(wheel)들(2) 중 하나 이상의 바퀴의 회전 수를 감지함으로써 차량(1)에 의해 주행된 거리를 측정하는 주행거리 기록계(odemeter)와 같은 거리측정계기(Distance Measurement Instrument); 및

ㆍ 3개의 직교 방향을 따른 3개의 병진 가속기들 및 회전 가속도들을 측정하도록 구성된 3개의 자이로 유닛(gyro unit)과 같은 관성 측정 유닛(Inertial Measurement Unit; IMU);

중에서 하나 이상의 것을 포함할 수 있다.

상기 프로세서(11)는 I/O 수단(25)에 의해 통신 네트워크(27), 예를 들면, 공중 교환 전화 네트워크(Public Switched Telephone Network; PSTN), 근거리 통신 네트워크(Local Area Network; LAN), 광역 통신 네트워크(Wide Area Network; WAN), 인터넷 등에 접속될 수 있다. 상기 프로세서(11)는 네트워크(27)를 통해 다른 통신 장치들과 통신하도록 구성될 수 있다. 이러한 접속들 전부는, 차량이 거리를 따라 이동하면서 데이터를 수집하기 때문에 실시간으로 접속되지 않을 수 있다.

상기 데이터 캐리어(20,21)는 상기 실시예들에 따른 방법을 수행할 수 있는 능력을 상기 프로세서에 제공하도록 구성된 데이터 및 명령어들의 형태로 이루어진 컴퓨터 프로그램 생성물을 포함할 수 있다. 그러나, 그러한 컴퓨터 프로그램 생성물이 선택적으로는 상기 통신 네트워크(27)를 통해 다운로드될 수 있다.

상기 프로세서(11)는 독립 체제로서 구현될 수도 있고 각각의 프로세서가 대량의 컴퓨터 프로그램의 서브-태스크(sub-task)들을 실행하도록 구성된 복수 개의 병렬 동작 프로세서들로서 구현될 수도 있으며, 여러 개의 서브-프로세서를 지닌 하나 이상의 메인 프로세서들로서 구현될 수도 있다. 본 발명의 기능의 부분들은 심지어 상기 통신 네트워크(27)를 통해 상기 프로세서(11)와 통신하는 원격 프로세서들에 의해 실행될 수도 있다.

여기서 알 수 있는 점은 차량에 적용될 때 상기 컴퓨터 장치(10)가 도 1에 되시된 모든 부품들을 지닐 필요가 없다는 점이다. 예를 들면, 상기 컴퓨터 장치(10)는 이때 라우드스피커 및 프린터를 지닐 필요가 없다. 차량에서 구현할 경우에, 상기 컴퓨터 장치(10)는 적어도 프로세서(11), 적합한 프로그램을 저장하도록 하는 몇몇 개의 메모리(12; 13; 14; 15) 및 오퍼레이터로부터 명령어들을 수신하고 상기 오퍼레이터에게 출력 데이터를 보여주도록 하는 몇몇 종류의 인터페이스를 포함할 수 있다.

여기서 당업자라면 이해하겠지만 이러한 컴퓨터 장치(10)가 내비게이션 장치로서의 기능을 수행하도록 구성될 수 있다.

카메라/심도 센서

본 명세서에서 사용되는 용어 "이미지들"은 교통 상황들의 사진들과 같은 이미지들을 말한다. 이러한 이미지들은 사진 카메라 또는 비디오-카메라와 같은 카메라(CA)를 사용함으로써 획득될 수 있다. 상기 카메라(CA)는 내비게이션 장치의 일부일 수 있다.

그러나, 상기 카메라(CA)는 또한 상기 내비게이션 장치로부터 원격으로 떨어져 제공될 수 있으며 상기 내비게이션 장치와 통신하도록 이루어질 수 있다. 상기 내비게이션 장치는 예컨대 이미지를 캡처하도록 하는 명령어를 상기 카메라에 송신하도록 구성될 수 있으며 그러한 이미지를 상기 카메라(CA)로부터 수신하도록 구성될 수 있다. 동시에, 상기 카메라(CA)는 상기 내비게이션 장치로부터의 명령어들을 수신할 때 이미지를 캡처하고 이러한 이미지를 상기 내비게이션 장치에 송신하도록 구성될 수 있다. 상기 카메라(CA) 및 상기 내비게이션 장치는 통신을 위해 예컨대 블루투스를 사용하여 통신 링크를 설정하도록 구성될 수 있다.

상기 카메라(CA)는 이미지 및 심도 정보를 캡처하도록 구성된 3차원 카메라(3CA)일 수 있다. 상기 3차원 카메라(3CA)는 예를 들면 2개의 렌즈 시스템 및 하나의 프로세서 유닛을 포함하는 입체 사진 촬영용 카메라(3차원의 시각)일 수 있다. 그러한 입체 사진 촬영용 카메라는 2개의 이미지를 촬영함과 동시에 서로 다른 투영 시야로부터 촬영된 대략 동일한 이미지를 제공할 수 있다. 이러한 차이는 심도 정보를 계산하도록 상기 처리 유닛에 의해 사용될 수 있다. 3차원 카메라(3CA)를 사용하는 것은 하나의 이미지 및 심도 정보를 동시에 제공하는데, 이 경우에 심도 정보가 실질적으로 상기 이미지의 모든 픽셀들에 이용가능하다.

부가적인 실시예에 의하면, 상기 카메라(CA)는 단일 렌즈 시스템을 포함하지만, 심도 정보는 이미지 시퀀스를 분석함으로써 검색된다. 상기 카메라(CA)는 시간의 순간 연속으로 적어도 2개의 이미지를 캡처하도록 구성되는데, 이 경우에 각각의 이미지는 서로 다른 투영 시야로부터 촬영된 대략 동일한 이미지를 제공한다. 또한, 상기 투영 시야의 차이는 심도 정보를 계산하는데 사용될 수 있다. 이렇게 하기 위해서는, 상기 내비게이션 장치가 상기 위치 결정 시스템으로부터의 위치 정보를 사용하여 서로 다른 이미지들 간의 투영 시야들 간의 차이를 계산한다. 이러한 실시예는 또한 하나의 이미지 및 심도 정보를 동시에 제공하는데, 이 경우에 심도 정보는 상기 이미지의 실질적으로 모든 픽셀들에 이용가능하다.

부가적인 실시예에 의하면, 심도 정보는 상기 내비게이션 장치에 포함되거나 상기 내비게이션 정보에 심도 정보를 제공하도록 구성되는 레이더, 하나 이상의 스캐너들 또는 레이저 스캐너들과 같은 심도 센서를 사용하여 획득된다. 상기 레이저 스캐너들(3(j))은 환경에 관한 심도 정보를 포함하는 레이저 샘플들을 취하고 빌딩 블록들, 나무들, 교통 표지들, 주차된 차량들, 사람들 등에 관한 심도 정보를 포함할 수 있다.

상기 레이저 스캐너들(3(j))은 또한 마이크로프로세서(μP)에 접속될 수 있으며 이러한 레이저 샘플들을 상기 마이크로프로세서(μP)에 전송할 수 있다.

상기 카메라는 또한 예를 들면 비행기 또는 위성으로부터 촬영된 항공 이미지들을 생성할 수 있다. 이러한 이미지들은 수직 하향 시야를 제공할 수도 있고 각이진(angled) 하향 시야, 즉 투영 또는 조감 시야를 제공하는 각이진 하향 시야를 제공할 수도 있다.

도 3a는 이미지의 일례를 보여주며, 도 3b는 상응하는 심도 정보의 일례를 보여주는 도면이다. 상기 심도 정보는 도 3a에 도시된 이미지에 상응한다. 도 3a 및 도 3b에 도시된 이미지 및 심도 정보는 3차원 카메라를 사용하여 획득되지만, 또한 일반 카메라 또는 카메라 및 레이저 스캐너나 레이더가 적절하게 합체된 조합체를 사용하여 획득된 이미지의 시퀀스를 분석함으로써 획득될 수 있다.도 3a 및 도 3b에 도시된 바와 같이, 실질적으로 각각의 이미지에 대해 심도 정보가 이용가능하지만, 여기서 이해할 점은 이러한 것이 필수적인 것이 아니라는 점이다.

실시예들

한 실시예에 의하면, 하나의 프로세서(11) 및 상기 프로세서(11)가 액세스할 수 있는 메모리(12; 13; 14; 15)를 포함하는 컴퓨터 장치(10)가 제공되며, 상기 메모리(12; 13; 14; 15)는, 상기 프로세서(11)로 하여금,

a) 디스플레이될 이미지를 획득할 수 있게 하도록 구성되고,

b) 상기 이미지에 관한 심도 정보를 획득할 수 있게 하도록 구성되며,

c) 심도 정보를 사용하여 상기 이미지에서 적어도 하나의 영역을 식별할 수 있게 하도록 구성되고,

d) 적어도 하나의 식별된 영역(이하의 예들 참조)에 대한 디스플레이 모드를 선택할 수 있게 하도록 구성된, 데이터 및 명령어들을 포함하는 컴퓨터 프로그램을 포함한다.

상기 실시예에서는, 상기 메모리가, 상기 프로세서로 하여금,

e) 향상된 이미지를 생성할 수 있게 하도록 구성된, 데이터 및 명령어들을 포함하는 컴퓨터 프로그램을 더 포함할 수 있다.

이후에는, 상기 향상된 이미지가 디스플레이(18) 상에 디스플레이될 수 있다.

여기서 당업자라면 이해할 수 있겠지만, 본 실시예에서 기재된 동작들이 루프 방식으로 수행될 수 있는데, 다시 말하면 미리 결정된 시간 간격에서나 특정 이동이 검출되거나 거리가 주행된 후와 같은 미리 결정된 순간들에서 반복될 수 있다. 상기 루프는 상기 향상된 이미지가 충분하게 재생되게 할 수 있다.

실제로는, 상기 이미지들이 비디오 피드(video feed)의 일부일 수 있다. 그러한 경우에, 상기 동작들은 상기 비디오 피드의 각각의 새로운 이미지에 대해 수행될 수도 있고, 사용자에게 유연하고 일관된 뷰를 제공할 정도로 적어도 충분히 자주 수행될 수도 있다.

상기 컴퓨터 장치(10)는 핸드헬드 컴퓨터 장치, 내비게이션 장치, 이동 전화, 팜톱, 랩톱, 내장형 내비게이션 장치(차량 내장), 데스크톱 컴퓨터 장치들과 같은 임의 종류의 컴퓨터 장치일 수 있다.

상기 실시예들은 사용자에게 출발지에서부터 종착지에 이르기까지 내비게이션 방향들을 제공하는 내비게이션 장치에 관한 것이며, 또한 단지 사용자에게 현재 위치를 나타내도록 구성되거나, 전세계의 특정 부분(예컨대, 구글 맵들)의 뷰를 제공하도록 구성되는 내비게이션 장치에 관한 것이다.

따라서, 항행을 목적으로 하는 이미지를 생성하기 위한 방법에 관한 실시예가 제공되며, 상기 방법은,

a) 디스플레이될 이미지를 획득하는 동작,

b) 상기 이미지에 관한 심도 정보를 획득하는 동작,

c) 심도 정보를 사용하여 상기 이미지에서 적어도 하나의 영역을 식별하는 동작,

이후에는, 향상된 이미지가 디스플레이(18) 상에 디스플레이될 수 있다.

동작들 a), b), c), d), e)는 수행될 수 있는 흐름도를 보여주는 도 2에 개략적으로 도시되어 있다. 상기 동작들 a), b), c), d), e)는 이하에서 좀더 상세하게 설명될 것이다. 여기서 당업자라면 이해하겠지만, 서로 다른 동작들을 수행하는 순서는 가능한 경우에 가변적일 수 있다.

본 명세서에서 설명된 바와 같은 실시예들은 그러한 동작을 수행하도록 구성된 컴퓨터 장치(10)에 관한 것이며, 또한 그러한 방법의 기능을 제공하는 웹-기반 내비게이션 도구들(구글 맵들 등)과 같은 소프트웨어 도구들에 관한 것이다.

동작 a)

동작 a)는 디스플레이될 이미지를 획득하는 동작을 포함한다.

상기 이미지는 예를 들면 교통 상황을 보여주는 전세계의 부분의 사진일 수 있다. 위에서 설명된 바와 같이, 상기 이미지는 사진-카메라 또는 비디오-카메라와같은 카메라(CA)를 사용하여 획득될 수 있다. 상기 카메라(CA)는 상기 컴퓨터 장치(10)(예컨대, 내비게이션 장치)의 일부일 수도 있고 상기 컴퓨터 장치(10)가 이미지들을 수신할 수 있는 원격 카메라(CA)일 수도 있다.

원격 카메라의 일례는 예를 들면 항공 이미지들을 제공하는 위성 또는 비행기 상에 장착된 카메라이다. 이러한 이미지들은 수직 하향 시야를 제공할 수도 있고 각이진 하향 시야, 즉 투영 또는 조감 시야를 제공하는 각이진 하향 시야를 제공할 수도 있다.

원격 카메라(CA)의 다른 예에는 차량에 내장된 카메라(예를 들면 차량의 전방에 장착된 카메라) 또는 도로의 측면을 따라 배치된 카메라가 있다. 그러한 카메라는 예를 들면 적합한 통신 링크, 예컨대 블루투스 또는 인터넷 기반 통신 링크를 사용하여 상기 카메라 장치(10)와 통신할 수 있다.

상기 카메라는 또한 하나의 이미지 및 심도 정보를 캡처하도록 구성된 3차원 카메라(3CA)일 수 있으며, 이 경우에 상기 심도 정보는 동작 b)에서 사용될 수 있다.

이미지들은 또한 상기 컴퓨터 장치(10)에 포함된 메모리(12; 13; 14; 15)로부터나 상기 컴퓨터 장치(10)가 이미지들을 획득하도록 구성된 원격 메모리로부터 획득될 수 있다. 그러한 원격 메모리들은 예를 들면 블루투스 또는 인터넷 기반 통신 링크와 같은 적합한 통신 링크를 사용하여 상기 컴퓨터 장치와 통신할 수 있다.

(원격) 메모리에 저장된 이미지들은 상기 컴퓨터 장치(10)로 하여금 예를 들면 위치 결정 센서로부터 위치 정보에 기반하여 정확한 이미지를 선택할 수 있게 하는 관련 위치들 및 배향들을 지닐 수 있다.

그래서 한 실시예에 의하면, 상기 컴퓨터 장치는 이미지를 획득하도록 구성된 카메라(CA)를 포함한다.

부가적인 실시예에 의하면, 상기 프로세서(11)는,

- 원격 카메라,

- 메모리(12; 13; 14; 15),

- 원격 메모리

중의 하나로부터 이미지를 획득하도록 구성된다.

동작 b)

동작 b)는 상기 이미지에 관한 심도 정보를 획득하는 동작을 포함한다.

상기 컴퓨터 장치(10)는 서로 다른 투영 시야로부터 촬영된 적어도 2개의 이미지로부터 심도 정보를 계산하도록 구성될 수 있다. 이러한 적어도 2개의 이미지는 위에서 설명된 동작 a)에 따라 획득될 수 있고, 그래서 예컨대 (원격) 카메라 및 (원격) 메모리로부터 획득될 수 있다.

상기 적어도 2개의 이미지는 위에서 설명된 바와 같은 3차원 카메라(입체 사진 촬영용 카메라)로부터 획득될 수 있다. 상기 적어도 2개의 이미지는 또한 서로 다른 투영 시야로부터 이미지 시퀀스를 생성하는 단일 렌즈 카메라로부터 획득될 수 있다. 상기 컴퓨터 장치(10)는 상기 2개의 이미지를 분석하여 심도 정보를 획득하도록 구성될 수 있다.

상기 컴퓨터 장치(10)는 또한 스캐너, 레이저 스캐너, 레이더 등과 같은, 위에서 설명된 바와 같은 심도 센서로부터 심도 정보를 획득하도록 구성될 수 있다.

또한, 상기 컴퓨터 장치(10)는 심도 정보를 포함하는 디지털 맵 데이터베이스로부터 심도 정보를 획득하도록 구성될 수 있다. 상기 디지털 맵 데이터베이스는 상기 컴퓨터 장치(10)의 메모리(12; 13; 14; 15)에 저장된 3차원 맵 데이터베이스일 수 있거나 상기 컴퓨터 장치(10)에 의해 액세스가능한 원격 메모리에 저장될 수 있다. 그러한 3차원 디지털 맵 데이터베이스는 빌딩들, 교통 표지들, 다리들 등과 같은 개체(object)들의 위치 및 형상에 관한 정보를 포함할 수 있다.

그래서, 한 실시예에 의하면, 상기 컴퓨터 장치는 입체 사진 촬영용 카메라일 수 있는 카메라에 의해 획득된 적어도 2개의 이미지를 분석하여 심도 정보를 획득하도록 구성된다. 부가적인 실시예에 의하면, 상기 컴퓨터 장치는 심도 정보를 획득하도록 구성된 스캐너를 포함한다. 또한, 상기 컴퓨터 장치는 디지털 맵 데이터베이스로부터 심도 정보를 획득하도록 구성될 수 있다.

동작 c)

동작 c)는 심도 정보를 사용하여 상기 이미지에서 적어도 하나의 영역을 식별하는 동작을 포함한다. 상기 이미지에서 식별될 영역들은 교통 표지, 빌딩, 다른 차량, 통행인 등에 관한 영역과 같은 상기 이미지 내의 서로 다른 개체들에 관한 것일 수 있다. 이러한 개체들은 이하에서 설명되겠지만 다른 디스플레이 모드에서의 이러한 영역들의 디스플레이를 허용하도록 상기 이미지에서 식별될 수 있다.

서로 다른 영역 식별 규칙들은 서로 다른 타입들의 영역들을 식별하는데 채용될 수 있다. 예를 들면, 교통 표지를 식별하기 위해, 상기 식별 규칙들은 편평하고, 도로와는 실질적으로 수직이며 미리 결정된 특정 크기를 갖는 심도 정보의 영역을 탐색하는 것일 수 있다. 그와 동시에, 다른 차량을 식별하기 위해, 상기 식별 규칙들은 편평하지는 않지만 수 미터의 심도 정보의 변화를 보여주며 미리 결정된 특정 크기를 갖는 영역을 탐색하는 것일 수 있다.

여기서 유념할 점은 서로 다른 영역들이 심도 정보를 사용하여 비교적 용이하게 식별될 수 있다는 점이다. 그러나, 상기 이미지에 적용된 이미지 인식 기법들이 또한 사용될 수 있다. 상기 이미지에 적용된 이러한 이미지 인식 기법들은,

- 심도 정보를 사용하는 영역들의 식별 외에도, 양자 모두의 기법들이 개별적으로(순차적으로나 병행하여) 사용되고 서로 다른 결과들이 더 나은 최종 결과를 생성하도록 비교되는 경우에 사용될 수도 있고,

- 서로 협동하여 사용될 수도 있다.

이러한 후자의 선택은 예를 들면 심도 정보를 사용하여 교통 표지가 가장 확률이 높게 나타나는 영역을 식별하고, 목표 지향(goal-oriented) 방식으로 상기 이미지 상에 이미지 인식 기법들을 적용하여 상기 식별된 영역이 실제로 신호들을 나타내는지를 결정하는 것을 포함한다.

여기서 유념해야 할 점은 상기 이미지 내의 적어도 하나의 영역의 식별이 심도 정보를 사용함으로써 용이하게 된다는 점이다. 상기 이미지에 관련된 심도 정보를 사용함으로써, 영역들은 단지 상기 이미지 자체만이 사용되는 경우보다 훨씬 더 용이하게 식별될 수 있다. 실제로는, 개체들/영역들은 단지 심도 정보만을 사용함으로써 식별될 수 있다. 일단 개체/영역이 상기 심도 정보 내에서 식별되는 경우에, 상기 이미지 내의 상응하는 영역이 단순히 상기 심도 정보를 상기 이미지에 매칭함으로써 식별될 수 있다.

이러한 매칭은 상기 심도 정보 및 상기 이미지 양자 모두가 유사한 소스(카메라)로부터 촬영될 경우에 비교적 용이하게 된다. 그러나, 서로 다른 소스로부터 촬영될 경우에, 이러한 매칭은 또한 상기 이미지에 상응하는 시야 및 심도 정보에 상응하는 시야의 상호 배향 및 위치를 사용하여 교정 동작을 적용하거나 몇몇 계산들을 이행함으로써 수행될 수 있다.

일례로서, 심도 정보를 사용하지 않고 이미지에서 교통 표지를 식별하고자 할 때, 패턴 인식 기법들은 특정 형상을 지니고 특정 컬러를 지니는 이미지 내에서 한 영역을 인식하는데 사용될 수 있다.

심도 정보가 사용될 경우에는, 상기 심도 정보에서 실질적으로 동일한 심도 정보(예컨대, 8,56 m)를 갖는 한 그룹의 픽셀들과 실질적으로 더 높은 심도 정보(예컨대, 34,62 m)를 갖는, 상기 심도 정보 내의 그러한 그룹의 픽셀들의 주변들을 탐색함으로써 상기 교통 표지가 훨씬 더 용이하게 식별될 수 있다.

일단 교통 표지가 심도 정보 내에서 식별되는 경우에, 상기 이미지 내의 상응하는 영역이 또한 용이하게 식별될 수 있다.

심도 정보를 사용하여 서로 다른 영역들을 식별하는 것은 여러 방식으로 행해질 수 있는데, 그 중 한 방식은 이하에서 예를 들어 설명되는데, 이 경우에 상기 심도 정보가 가능한 교통 표지들을 식별하는데 사용된다.

예를 들면, 첫 번째 동작에서는, 상기 내비게이션 장치 또는 도로로부터 너무 멀리 있는 모든 심도 정보 픽셀들이 제거된다.

두 번째 동작에서는, 평면 개체, 다시 말하면 실질적으로 동일한 거리(심도 값, 예컨대 28 미터(m))를 지님으로써 표면상에 놓인 한 그룹의 심도 정보 픽셀들을 탐색하도록 나머지 시야들에서 탐색이 수행될 수 있다.

세 번째 동작에서는, 상기 식별된 평면 개체의 형상이 결정될 수 있다. 상기 형상이 (원형, 직사각형, 삼각형과 같은) 미리 결정된 형상에 상응하는 경우에, 상기 평면 개체는 교통 표지로서 식별된다. 상기 형상이 미리 결정된 형상에 상응하지 않은 경우에, 상기 식별된 평면 개체는 표지로 간주하지 않는다.

다른 개체들을 인식하기 위해 유사한 접근방안들이 사용될 수 있다.

예를 들면, 차량을 인식하기 위해, 특정 차원(높이/폭)을 갖는 포인트 클라우드(point cloud)에 대하여 탐색이 수행될 수 있다. 대형 빌딩(도 10a, 도 10b 참조)의 일부인 상점(shop)을 인식하기 위해서는, 도로와 수직이며 상기 빌딩의 외형(outline) 내의 특정 위치에 있는 평면 개체에 대하여 탐색이 수행될 수 있다. 상기 빌딩 내의 특정 위치는 메모리 내에 사전에 저장될 수 있으며 상기 디지털 맵 데이터베이스의 일부일 수 있다.

위에서 설명된 바와 같이, 상기 이미지에 적용되는 이미지 인식 기법들은, 심도 정보를 사용하는 영역들의 식별에 추가하거나 심도 정보를 사용하는 영역들의 식별과 협동하여 또한 채용될 수 있다. 상기 이미지에 적용되는 이러한 이미지 인식 기법들은.

- 이미지 세그먼트화(image segmentation)

- 패턴 인식

- 능동적 윤곽들(active contours)

- 형상들 - 형상 계수들의 검출

과 같은 어느 적합한 공지된 알고리즘을 사용할 수 있다.

동작 d)

한 실시예에 의하면, 디스플레이 모드를 선택하는 것은,

- 컬러 모드

- 중복 모드

와 같은 디스플레이 모드들 중 적어도 하나로부터 디스플레이 모드를 선택하는 것을 포함한다.

이러한 모드들은 이하에서 좀더 상세하게 설명될 것이다.

컬러 모드

상기 이미지 내의 서로 다른 영역들이 서로 다른 컬러 모드로 디스플레이될 수 있다. 예를 들면, 교통 표지로서 식별되는 영역이 밝은 모드로 디스플레이 될 수 있고 다른 영역들은 매트 디스플레이(mat display) 모드(즉, 그다지 밝지 않은 컬러 색상들을 지님)로 디스플레이될 수 있다. 또한, 상기 이미지 내의 식별된 영역은 세피아 컬러(sepia color) 모드로 디스플레이될 수 있고, 다른 영역들은 전체 컬러 모드로 디스플레이될 수 있다. 변형적으로는, 상기 이미지 내의 식별딘 영역은 블랙으로 디스플레이될 수 있고, 다른 영역들은 전체 컬러 모드로 디스플레이될 수 있다.

또한, 용어 "컬러 모드"는 예를 들면 한 영역이 단지 흑색 및 백색만을 사용하여 디스플레이되고 다른 영역들이 또한 흑색, 백색 및 회색 색조들을 사용하여 디스플레이되는 경우에 흑색 및 백색 이미지들을 디스플레이하는 서로 다른 방식들을 말한다.

물론, 여러 변경이 존재함을 이해할 수 있을 것으로 생각된다.

실제로는, 서로 다른 영역들에 대해 서로 다른 컬러 모드들을 적용하는 것은 서로 다른 영역들에 대해 서로 다른 디스플레이 매개변수들을 설정함으로써 확립될 수 있는데, 이 경우에 디스플레이 매개변수들은 컬러 매개변수들, 밝기, 휘도, RGB-값들 등을 포함할 수 있다.

중첩 모드

한 실시예에 의하면, 내비게이션 정보는 상기 이미지 상에 중첩된다. 상기 내비게이션 정보는 상기 내비게이션 정보가 상기 이미지 내의 개체들과의 어떤 미리 결정된 공간 관계를 갖도록 하는 방식으로 중첩된다. 이를 수행하는 방식에 대한 간단한 설명이 먼저 제공된다.

한 실시예에 의하면, 하나의 프로세서(11), 및 상기 프로세서(11)가 액세스가능한 메모리(12; 13; 14; 15)를 포함하는 컴퓨터 장치(10)가 제공되며, 상기 메모리는, 상기 프로세서(11)로 하여금,

I) 내비게이션 정보를 획득할 수 있게 하도록 구성되며,

II) 상기 내비게이션 정보에 상응하는 이미지를 획득할 수 있게 하도록 구성되고,

III) 상기 내비게이션 정보의 적어도 일부 및 상기 이미지를 디스플레이하여, 상기 이미지상에 상기 내비게이션 정보의 적어도 일부가 중첩될 수 있게 하도록 구성된, 데이터 및 명령어들을 포함하는 컴퓨터 프로그램을 포함하며,

상기 메모리는, 상기 프로세서(11)로 하여금,

II-1) 상기 이미지에 상응하는 심도 정보를 획득하고 상기 심도 정보를 사용하여 동작 III)을 수행할 수 있게 하도록 구성된, 데이터 및 명령어들을 포함하는 컴퓨터 프로그램을 추가로 포함한다.

상기 컴퓨터 장치(10)는 도 1을 참조하여 위에서 설명된 컴퓨터 장치에 따른 것일 수 있다. 상기 컴퓨터 장치(10)는 핸드 헬드 또는 내장용 내비게이션 장치와 같은 내비게이션 장치일 수 있다. 상기 메모리는 상기 내비게이션 장치의 일부일 수도 있으며, 원격 배치될 수도 있고 이러한 2가지 가능성의 조합일 수도 있다.

따라서, 내비게이션 정보를 디스플레이하는 방법이 제공되며, 상기 방법은,

I) 내비게이션 정보를 획득하는 동작,

II) 상기 내비게이션 정보에 상응하는 이미지를 획득하는 동작,

II-1) 상기 이미지에 상응하는 심도 정보를 획득하고 상기 심도 정보를 사용하여 동작 III)을 수행하는 동작, 및

III) 상기 내비게이션 정보의 적어도 일부 및 상기 이미지를 디스플레이하여, 상기 내비게이션 정보의 적어도 일부가 상기 이미지 상에 중첩되게 하는 단계를 포함한다. 여기서 당업자라면 이해하겠지만, 상기 방법은 반드시 이러한 특정 순서로 수행되어야 할 필요가 없다.

상기 이미지의 상부에는,

- 내비게이션 명령어,

- 디지털 맵 데이터베이스의 선택,

- 명칭,

- 표지,

- 도로의 구조적 형태,

- 빌딩,

- 빌딩의 외관,

- 주차장,

- 관심 지점,

- 표시자

와 같은 내비게이션 정보가 디스플레이될 수 있다.

내비게이션 정보는 실행될 특정의 회전 또는 궤도수정을 나타내는 화살표와 같은 임의 종류의 내비게이션 명령어들을 포함할 수 있다. 상기 내비게이션 정보는 디지털 맵 데이터베이스의 선택과 같은 디지털 맵 데이터베이스의 선택 또는 이동 방향으로 보이게 되는 바와 같은 현재 위치의 부근을 보여주는 상기 디지털 맵 데이터베이스 내의 렌더링된 이미지 또는 개체의 선택을 더 포함할 수 있다. 상기 디지털 맵 데이터베이스는 거리의 명칭들, 도시의 명칭들 등과 같은 명칭들을 포함할 수 있다. 상기 내비게이션 정보는 또한 표지, 예컨대, 교통 표지(정지 표지, 거리 표지) 또는 광고 패널의 표시를 보여주는 그림 문자(pictogram)를 또한 포함할 수 있다. 더군다나, 상기 내비게이션 정보는, 아마도 차선들, 선을 그어 나누기(lineation)(차선 분할기 라인들, 차선 표시들)를 포함하는 도로의 구조적 형태의 표시인 도로의 구조적 형태, 도로의 비효율성, 예컨대 도로상의 기름 또는 모래, 도로 내의 구멍, 속도 경사로(speed ramp)와 같은 도로상의 개체들 및 상점들, 박물관들, 레스토랑들, 호텔들 등과 같은 관심 지점을 포함할 수 있다. 여기서 당업자라면 이해하겠지만, 상기 내비게이션 정보는 디스플레이될 때 사용자에게 방위를 정하는데 도움을 주도록 디스플레이될 수 있는 빌딩 또는 빌딩의 외관을 보여주는 이미지와 같은, 사용자에게 항행하는데 도움을 주는 사용자 정보를 제공하는 다른 어떤 타입의 내비게이션 정보를 포함할 수 있다. 또한, 상기 내비게이션 정보는 주차장의 표시를 포함할 수 있다. 상기 내비게이션 정보는 상기 이미지 내의 특정 개체에 대한 사용자의 주의를 끌기 위해 단지 중첩되는 표시자일 수 있다. 상기 표시자는 예를 들면 교통 표지에 대한 사용자의 주의를 끌기 위해 상기 교통 표지 주위에 중첩되는 원 또는 사각면일 수 있다.

상기 컴퓨터 장치는 사용자에게 방위를 정하여 항행하는데 도움을 주도록 하는 모든 종류의 내비게이션 정보를 계산할 수 있는 내비게이션 기능을 수행하도록 구성될 수 있다. 상기 내비게이션 기능은 상기 위치 결정 시스템을 사용하여 현재 위치를 결정하여 상기 현재 위치에 상응하는 디지털 맵 데이터베이스의 일부를 디스플레이할 수 있다. 상기 내비게이션 기능은 거리의 명칭들, 관심 지점에 관한 정보와 같은, 디스플레이될 현재 위치와 관련이 있는 내비게이션 정보를 검색하는 것을 더 포함할 수 있다.

상기 내비게이션 기능은 출발지 주소 또는 현재 위치에서부터 지정된 종착지 위치에 이르기까지의 경로를 계산하는 것과 디스플레이될 내비게이션 명령어들을 계산하는 것을 더 포함할 수 있다.

한 실시예에 의하면, 상기 이미지는 상기 내비게이션 정보가 관련되어 있는 위치의 이미지이다. 그래서, 상기 내비게이션 정보가 지정된 분기점 상에서 취해질 우회전을 표시하는 화살표인 경우에, 상기 이미지는 그러한 분기점의 뷰를 제공할 수 있다. 실제로는, 상기 이미지가 상기 분기점에 접근하는 사용자의 시야 방향으로 보이게 되는 바와 같은 그러한 분기점의 뷰를 제공할 수 있다.

상기 컴퓨터 장치가 메모리 또는 원격 메모리로부터 그러한 이미지를 획득하도록 구성되는 경우에, 상기 컴퓨터 장치는 정확한 이미지를 선택하도록 위치 정보를 사용할 수 있다. 각각의 이미지는 상응하는 위치 정보와 관련이 있도록 저장될 수 있다. 위치 정보 외에도, 배향 정보는 상기 사용자의 시야 방향 또는 주행 방향에 상응하는 이미지를 선택하는데 사용될 수 있다.

한 실시예에 의하면, 동작 II)는 카메라로부터 이미지를 획득하는 동작을 포함한다. 상기 방법은 이미지들을 생성하는 내장형 카메라를 포함하는 내비게이션 장치에 의해 수행될 수 있다. 상기 방법은 또한 원격 카메라로부터 이미지들을 수신하도록 구성된 내비게이션 장치에 의해 수행될 수 있다. 상기 원격 카메라는 예를 들면 차량 상에 장착된 카메라일 수 있다.

그러므로, 상기 컴퓨터 장치는 카메라를 포함할 수도 있고 상기 카메라에 액세스할 수도 있으며 동작 II)는 상기 카메라로부터 이미지를 획득하는 동작을 포함할 수 있다.

부가적인 실시예에 의하면, 동작 II)는 메모리로부터 이미지를 획득하는 동작을 포함한다. 상기 메모리는 이미지들을 갖는 데이터베이스를 포함할 수 있다. 상기 이미지들은 상기 정확한 이미지, 즉 상기 내비게이션 정보에 상응하는 이미지의 선택을 허용하기 위해 상기 내비게이션 장치의 위치 정보 및 배향 정보와 관련이 있도록 저장될 수 있다. 상기 메모리는 상기 방법을 수행하는 상기 컴퓨터 장치(예컨대, 내비게이션 장치)에 포함될 수도 있고 상기 컴퓨터 장치(예컨대, 내비게이션 장치)에 의해 액세스될 수도 있다.

따라서, 상기 컴퓨터 장치는 메모리로부터 이미지를 획득하도록 구성될 수 있다.

한 실시예에 의하면, 동작 II)에서 획득된 이미지는 동작 II-1)에서 사용하기 위한, 상기 이미지에 상응하는 심도 정보를 포함한다. 이는 도 3a 및 도 3b를 참조하여 이하에서 좀더 상세하게 설명될 것이다.

한 실시예에 의하면, 동작 II)는 3차원 카메라로부터 이미지를 획득하는 동작을 포함한다. 상기 3차원 카메라는 한 이미지 및 심도 정보를 한번에 캡처하도록 구성될 수 있다.

위에서 설명된 바와 같이, 3차원의 시각(stereo-vision)으로서 공지된 기법은 2개의 렌즈를 갖는 카메라를 사용하여 심도 정보를 제공하도록 이러한 목적으로 사용될 수 있다. 변형예에 의하면, 심도 센서(예컨대, 레이저 스캐너들)이 구비된 카메라는 이러한 목적으로 사용될 수 있다. 그러므로, 상기 컴퓨터 장치(10)는 3차원 카메라(입체 사진 촬영용 카메라)를 포함할 수 있으며 동작 II)는 3차원 카메라로부터 이미지를 획득하는 동작을 포함할 수 있다.

한 실시예에 의하면, 동작 II-1)은 이미지 시퀀스를 분석함으로써 심도 정보를 검색하는 것을 포함한다. 이를 행하기 위해, 동작 II)는 (일반 카메라를 사용하여, 즉 3차원 카메라가 아닌 일반 카메라를 사용하여) 서로 다른 위치들과 관련이 있는 적어도 2개의 이미지를 획득하는 동작을 포함할 수 있다. 그래서, 동작 II)는 카메라 등을 사용하여 2개 이상의 이미지를 캡처하거나 메모리로부터 2개 이상의 이미지를 검색하는 동작을 포함할 수 있다. 동작 II-1)은 또한 이전 동작들 II)에서 획득된 이미지들을 획득하는 동작을 포함할 수 있다.

상기 이미지 시퀀스는 분석될 수 있으며 상기 이미지 내의 서로 다른 영역들 및/또는 픽셀들에 대한 심도 정보를 획득하는데 사용될 수 있다.

따라서, 상기 컴퓨터 장치(예컨대, 내비게이션 장치)는 이미지 시퀀스를 분석함으로써 심도 정보를 검색하는 동작을 포함하는 동작 II-1)을 수행하도록 구성될 수 있다.

한 실시예에 의하면, 동작 II-1)은 3차원 맵 데이터베이스와 같은 디지털 맵 데이터베이스로부터 심도 정보를 검색하는 동작을 포함한다. 3차원 맵 데이터베이스는 상기 내비게이션 장치의 메모리 내에 저장될 수도 있고 (예를 들면 인터넷 또는 이동 전화 네트워크를 사용하여) 상기 내비게이션 장치에 의해 액세스가능한 원격 메모리에 저장될 수도 있다. 상기 3차원 맵 데이터베이스는 도로망, 거리의 명칭, 일방향의 거리들, 관심 지점(point of interest; POI)들 등에 관한 정보를 포함할 수 있으며, 빌딩들, 빌딩들의 진입들/진출들, 나무들 등과 같은 개체들의 위치 및 3차원 형상에 관한 정보를 포함한다. 상기 카메라의 현재 위치 및 배향과 조합하여, 상기 내비게이션 장치는 특정 이미지와 관련이 있는 심도 정보를 계산할 수 있다. 상기 이미지가 차량 또는 내비게이션 장치상에 장착된 카메라로부터 획득되는 경우에, 상기 카메라 또는 차량으로부터의 위치 및 배향이 필요하다. 이는 적합한 관성 측정 유닛(inertial measurement unit; IMU) 및/또는 GPS를 사용하여 그리고/또는 이를 위한 다른 어떤 적합한 장치를 사용하여 제공될 수 있다.

따라서, 상기 컴퓨터 장치(예컨대, 내비게이션 장치)는 디지털 맵 데이터베이스로부터 심도 정보를 검색하는 동작을 포함하는 동작 II-1)을 수행하도록 구성될 수 있다. 상기 디지털 맵 데이터베이스는 상기 메모리에 저장된 3차원 맵 데이터베이스일 수 있다.

여기서 당업자라면 이해하겠지만, 상기 디지털 맵 데이터베이스를 사용하여 심도 정보를 검색할 경우에, 심도 정보를 계산하고 이를 충분한 정확도를 갖는 이미지에 매핑할 수 있게 하는 정확한 위치 및 배향 정보가 필요하다.

한 실시예에 의하면, 동작 II-1)은 심도 센서로부터 심도 정보를 획득하는 동작을 포함한다. 이는 상기 컴퓨터 장치와 통신하도록 구성된 내장형 심도 센서 또는 원격 심도 센서일 수 있다. 양자 모두의 경우에, 상기 심도 정보는 상기 이미지에 매핑되어야 한다.

일반적으로, 상기 이미지에 대한 심도 정보의 매핑은 도 4를 참조하여 이하에서 좀더 상세하게 설명되는 동작들 III-1 및/또는 III-3에서 행해진다.

도 3a는 동작 II)에서 획득될 수 있는 바와 같은 이미지를 보여주며 도 3b는 동작 II-1)에서 획득될 수 있는 바와 같은 심도 정보를 보여준다. 상기 심도 정보는 도 3a에 도시된 이미지에 상응한다. 도 3a 및 도 3b에 도시된 이미지 및 심도 정보는 3차원 카메라를 사용하여 획득되며, 일반 카메라 또는 카메라 및 레이저 스캐너 또는 레이더가 적합하게 합체된 조합체를 사용하여 획득된 이미지 시퀀스를 분석함으로써 획득될 수도 있다. 도 3a 및 도 3b에서 보인 바와 같이, 실질적으로 각각의 이미지 픽셀에 대해 심도 정보가 이용가능하지만, 여기서 이해할 점은 이러한 것이 필수적인 것이 아니라는 점이다.

상기 이미지 및 상기 내비게이션 정보의 직관적인 합체를 이루기 위해, 현재 위치 및 배향에 관한 정보, 상기 이미지의 위치 및 심도 정보를 사용하여 상기 이미지의 투영과 매치(match)하도록 투영 변환을 이용해 내비게이션 정보를 변환할 수 있는 지오 변환(geo conversion) 모듈이 제공될 수 있다.

상기 이미지 및 상기 심도 정보는 (3차원 카메라, 외부 데이터베이스 또는 이미지 시퀀스와 같은) 소스로부터 취해지며 심도 정보 분석 모듈에 의해 사용된다. 상기 심도 정보 분석 모듈은 상기 심도 정보를 사용하여 상기 이미지 내의 영역들을 식별한다. 그러한 영역은 예를 들면 빌딩, 도로의 표면, 신호등 등에 관련된 것일 수 있다.

상기 심도 정보 분석 모듈 및 상기 지오 변환 모듈의 결과는 상기 이미지 및 중첩된 내비게이션 정보의 조합인 조합된 이미지를 구성하도록 구성(composition) 모듈에 의해 사용된다. 상기 구성 모듈은 서로 다른 영역들에 대한 서로 다른 투명도(transparency)들 및/또는 서로 다른 필터들을 사용하여 상기 심도 정보 분석 모듈로부터의 영역들을 지오-변환된 내비게이션 정보와 병합시킨다. 이와 같이 조합된 이미지는 상기 내비게이션 장치의 디스플레이(18)에 출력될 수 있다.

도 4는 한 실시예에 따른 흐름도를 보여준다. 도 4는 위에서 설명된 바와 같은 동작 III)의 더 구체화된 실시예를 제공한다.

당업자라면 이해하겠지만, 도 4에 도시된 모듈들은 하드웨어 모듈들과 아울러 소프트웨어 모듈들일 수 있다.

도 4에는 상기 설명된 바와 같은 동작들 I), II) 및 II-1) 다음에 지금부터 계속되는, 더 세부적으로 도시되며 동작들 III-1), III-2) 및 III-3)을 포함하는 동작 III)이 도시되어 있다.

한 실시예에 의하면, 동작 III)은 상기 내비게이션 정보에 관한 지오-변환 동작을 수행하는 동작 III-1)을 포함한다.

이러한 지오-변환 동작은 정확한 방식으로 상기 내비게이션 정보가 상기 이미지 상에 중첩되게 하도록 상기 내비게이션 정보(예컨대, 화살표) 상에서 수행된다. 이를 달성하기 위해, 상기 지오-변환 동작은 상기 이미지와 관련이 있는 로컬 좌표들, 예컨대 상기 이미지의 x,y를 실제 상황의 위치들에 관련시키고 상기 이미지를 획득하는데 사용된 카메라의 위치, 배향 및 교정 계수들로부터 획득된 좌표들로 상기 내비게이션 정보를 변환시킨다. 상기 내비게이션 정보를 로컬 좌표들로 변환시킴으로써, 상기 내비게이션 정보의 형상이 상기 이미지의 투영 시야와 매치하도록 조정된다. 당업자라면 그러한 로컬 좌표들로의 변환이 어떠한 방식으로 수행될 수 있는지를 이해할 수 있는 것인데, 그 이유는 이러한 것이 단지 2차원 이미지에 대한 3차원 실체의 투시 투영일 뿐이기 때문이다.

또한, 상기 내비게이션 정보를 로컬 좌표들로 변환시킴으로써, 상기 내비게이션 정보가 정확한 위치에서 상기 이미지상에 중첩되게 된다.

이러한 지오-변환 동작을 수행하기 위해서는,

- 심도 정보,

- 내비게이션 정보,

- 위치 및 배향 정보

와 같은 입력이 사용될 수 있다.

가능하다면, 카메라 교정 정보가 또한 필요하다.

그래서, 한 실시예에 의하면, 동작 III)은, 상기 내비게이션 정보 상에서의 지오-변환 동작을 수행하는 동작 III-1)을 포함하는데, 이 경우에 상기 지오-변환 동작은 상기 내비게이션 정보를 로컬 좌표들로 변환시키는 동작을 포함한다. 이를 행함으로써, 상기 내비게이션 정보의 위치와 아울러 배향이 상기 이미지의 투영에 조정된다. 상기 심도 정보를 사용함으로써, 이러한 로컬 좌표들로의 변환이 상기 내비게이션 장치/카메라 등의 구릉(hill)들, 슬로프(slope)들, 배향을 고려하여 정확하게 수행된다.

동작 III-1)은 관성 측정 유닛(IMU)과 같은 부가적인 위치/배향 시스템들로부터의 입력을 사용하여 훨씬 더 정확한 방식으로 수행될 수 있다. 그러한 IMU로부터의 정보는 상기 지오-변환 동작의 결과를 확인 및/또는 개선하는데 추가 정보 소스로서 사용될 수 있다.

따라서, 상기 컴퓨터 장치는, 상기 내비게이션 정보 상에서의 지오-변환 동작을 수행하는 동작 III-1)을 포함하는 동작 III)을 수행하도록 구성될 수 있다.

동작 III-1)은 "정상(normal)" 좌표들로부터 로컬 좌표들로 상기 내비게이션 정보를 변환하는 동작을 포함할 수 있다.

부가적인 실시예에 의하면, 동작 III)은 심도 정보 분석 동작을 수행하는 동작 III-2)를 포함한다. 이러한 심도 정보 분석 동작을 수행하기 위해, 심도 정보는 입력으로서 사용될 수 있다.

한 실시예에 의하면, 동작 III-2)는 상기 이미지 내의 영역들을 식별하고 상기 이미지 내의 각각의 식별된 영역에 대해 상기 내비게이션 정보를 디스플레이하는 방식을 조정하는 동작을 포함한다.

심도 정보를 사용함으로써, 서로 다른 영역들을 식별하는 것이 비교적 용이하게 된다. 상기 심도 정보에서, 3차원 포인트 크라우드(three dimensional point cloud)들은 식별될 수 있고 비교적 간단한 패턴 인식 기법들은 그러한 포인트 클라우드가 (차량, 통행인, 빌딩 등과 같은) 어떤 종류의 개체를 나타내는지를 식별하는데 사용될 수 있다.

특정 영역에 대해 상기 심도 정보 분석 동작은 상기 내비게이션 정보를 투명한 방식으로 디스플레이하거나 상기 내비게이션 정보를 상기 이미지 내의 그러한 영역에 대해 전부 디스플레이하지 않는 것을 상기 내비게이션 정보가 그러한 특정 영역 내의 이미지에 의해 디스플레이된 개체 뒤에 있다는 것을 시사하는 것으로 결정할 수 있다. 그러한 특정 영역은 예를 들면 신호등 또는 차량 또는 빌딩일 수 있다. 상기 내비게이션 정보를 투명한 방식으로 디스플레이하거나 상기 내비게이션 정보를 전부 디스플레이하지 않음으로써, 보다 사용자에게 편리하며 직관적인 뷰가 사용자를 위해 만들어진다.

그러므로, 상기 컴퓨터 장치는, 심도 정보 분석 동작을 수행하는 동작 III-2)를 포함하는 동작 III-2)를 수행하도록 구성될 수 있다.

동작 III-2)는 상기 이미지 내의 영역들을 식별하고 상기 이미지 내의 각각의 식별된 영역에 대해 상기 내비게이션 정보를 디스플레이하는 방식을 조정하는 동작을 포함할 수 있다.

당업자라면 이해할 수 있겠지만, 동작 III-1) 및 III-2)는 동시에 그리고 서로 상호작용하는 방식으로 수행될 수 있다. 바꾸어 말하면, 상기 심도 정보 분석 모듈 및 상기 지오-변환 모듈은 서로 상호작용하는 방식으로 동작할 수 있다. 그러한 상호작용의 일례는 상기 심도 정보 분석 모듈 및 상기 지오-변환 모듈 모두가 상기 심도 정보에 기초하여 피치(pitch) 및 슬로프(slope) 정보를 계산할 수 있다는 것이다. 그래서, 동일한 피치 및 슬로프 값들을 모두 계산하는 대신에, 상기 모듈들 중 하나의 모듈이 상기 슬로프 및/또는 피치를 계산하고 추가 정보 소스인 이를 사용하여 양자의 출력들이 일치하는지를 확인할 수 있다.

마지막으로, 동작 III-3)에서 상기 조합된 이미지가 구성되어 예를 들면 상기 내비게이션 장치의 디스플레이(18)에 출력된다. 이는 상기 구성 모듈에 의해 행해질 수 있다.

물론, 다른 여러 타입들의 내비게이션 정보는 상기 이미지상에 중첩될 수 있다. 상기 적어도 하나의 영역에 대한 디스플레이 모드는 상기 내비게이션 정보가 어떻게 제공되는지를 결정할 수 있다. 예를 들면, 상기 내비게이션 정보(예컨대, 우회전을 나타내는 화살표)는 교통 표지, 빌딩 또는 차량으로서 식별되는 영역에 투명하거나 도트된 방식으로 제공되어 시청자에게 상기 화살표가 상기 교통 표지들, 빌딩 또는 차량 뒤에 통과하여 직관적인 보기(intuitive look)를 만드는 것을 시사할 수 있게 된다. 이에 대한 더 많은 예가 이하에서 제공된다.

그래서, 디스플레이 모드를 선택하는 것은 중첩 모드를 선택하는 것을 포함할 수 있으며, 이 경우에 상기 중첩 모드는 상기 내비게이션 정보가 특정의 식별된 영역 내에 디스플레이되는 방식을 결정한다.

동작 e)

동작 e)는 마지막으로 향상된 이미지를 생성하는 동작을 포함한다. 물론, 상기 향상된 이미지의 생성 후에, 상기 향상된 이미지는 상기 디스플레이(18) 상에 디스플레이되어 이를 사용자에게 제공하게 된다.

예들

이하에는 다수의 예들이 나타나 있다. 당업자라면 이해할 수 있겠지만, 이러한 예들의 조합들이 또한 채용될 수 있으며 더 많은 예들 및 변경들이 존재함을 이해할 수 있을 것으로 생각된다.

중첩 모드의 예들

도 5a - 도 9를 참조하여 이하에서 설명된 예들 모두는 중첩 모드가 서로 다른 영역들에 대해 설정되는 실시예들에 관련된 것이다.

도 5a는 심도 정보를 사용하지 않은, 다시 말하면 2차원 이미지상에 내비게이션 정보를 획득한, 상기 내비게이션 장치에 의해 제공될 수 있는 바와 같은 결과적인 뷰를 보여준다. 도 5a에 의하면, 상기 내비게이션 정보, 즉 우회전 화살표는 우측의 빌딩을 통해 주행하는 것을 시사하는 것으로 보인다.

도 5b는 위에서 설명된 바와 같은 방법을 수행할 때 상기 내비게이션 장치에 의해 제공될 수 있는 바와 같은 결과적인 뷰를 보여준다. 심도 정보를 사용함으로써, 차량 및 표지와 아울러, 우측의 빌딩과 같은 개체들을 인식하는 것이 가능하다. 따라서, 상기 내비게이션 정보는 예를 들면 상기 개체 뒤에 은닉되어 있는 서로 다른 영역들에 대해 다른 디스플레이 모드로 디스플레이될 수도 있고 높은 투명도로 획득될 수도 있다.

상기 실시예들은 애매한 궤도수정 결정과 같은 실재할 수 있는 애매한 내비게이션 명령어들을 제공할 가능성을 감소시킨다. 예를 들면 상기 실시예들에 따른 심도 정보를 사용하지 않는 내비게이션 장치에 의해 제공될 수 있는 조합된 이미지를 보여주는 도 6a를 참조하기 바란다. 상기 실시예들에 따른 심도 정보를 사용함으로써, 도 6b에 도시된 바와 같은 조합된 이미지는 현재 사용자가 첫 번째 회전 구간이 아니라 두 번째 회전 구간에서 우회전해야 함을 명확하게 나타내는 것으로 도시될 수 있다. 우측의 빌딩은 현재 서로 다른 영역으로서 인식되고, 그래서 상기 내비게이션 정보(화살표)의 디스플레이 모드는 그러한 영역에 대해 변경되고 실제로는 빌딩 뒤에서 나타나 있지 않음을 시사하는 것으로 전부 디스플레이되어 있지 않다.

상기 실시예들의 다른 이점은 상기 지오-변환 동작이 (화살표와 같은) 내비게이션 정보의 재-형상화를 허용한다는 사실이다. 이러한 것이 행해지지 않는 경우에, 도 7a에 도시된 바와 같은 조합된 이미지가 초래될 수 있지만, 상기 지오-변환 동작/모듈을 사용하면 도 7b에 도시된 바와 같은 조합된 이미지가 나타나게 되는데, 도 7b에는 실제 도로 표면 위에 더 양호한 화살표가 나타나 있다. 상기 지오-변환 동작/모듈은 상기 이미지를 캡처하는 카메라의 배향에 의해 야기될 수 있는 바와 같은 슬로프 및 피치 효과들을 제거한다. 여기서 유념할 점은 도 7b의 예에서 상기 화살표가 매우 양호한 것으로 나타난 것일 수 있지만, 상기 화살표가 빌딩 뒤에 은닉되어 있지 않다는 점이다.

위에서 설명된 바와 같이, 상기 내비게이션 정보는 도로의 구조적 형태를 포함할 수 있다. 도 8a는 상기 실시예에 따른 심도 정보를 사용하지 않는 내비게이션 장치에 의해 제공될 수 있는 바와 같은 조합된 이미지를 보여준다. 도 8a에서 보이고 있는 바와 같이, 상기 도로의 구조적 형태는 차량들 및 보행자들과 같은 개체들을 오버래핑(overlapping)하는 것으로 디스플레이되어 있다. 상기 실시예들을 사용할 경우에, 그러한 개체들을 포함하는 이미지 내의 영역들을 식별하는 것이 가능하고 이러한 영역들 내에 상기 도로의 구조적 형태를 디스플레이하지 않는 것(또는 높은 투영도로 디스플레이하는 것)이 가능하다. 이에 대한 결과는 도 8b에 도시되어 있다.

도 9는 다른 예를 보여준다. 이러한 예에 의하면, 상기 내비게이션 정보는 상기 이미지 내의 표지에 상응하는 표지인데, 이 경우에 동작 c)에서 상기 내비게이션 정보인 표지는 상기 내비게이션 정보인 표지가 상기 이미지 내의 표지보다 크게 되도록 상기 이미지상에 중첩된다.

도 9에서 알 수 있는 바와 같이, 상기 내비게이션 정보인 표지는 상기 이미지 내의 표지로부터 벗어난 위치상에 중첩될 수 있다. 상기 내비게이션 정보인 표지가 상기 이미지 내의 표지에 관련이 있다(상기 내비게이션 정보인 표지가 사용자에게 여전히 매우 양호하게 보이지 않을 수 있다)는 것을 부가적으로 나타내기 위해, 라인들(40)이 이러한 표지가 중첩되어 있음을 강조하도록 중첩될 수 있다. 상기 라인들(40)은 상기 내비게이션 정보인 표지를 상기 이미지 내의 실제 표지에 연결시켜주는 연결 라인들을 포함할 수 있다. 상기 라인들(40)은 상기 이미지 내의 표지상에 실제 위치를 나타내는 라인들을 부가적으로 포함할 수 있다.

그래서, 이러한 실시예에 의하면, 동작 c)는 중첩된 내비게이션 정보 및 상기 이미지 내의 개체 간의 관계를 나타내도록 하는 라인들(40)을 디스플레이하는 것을 부가적으로 포함한다.

물론, 변형예에 의하면, 상기 내비게이션 정보인 표지는 상기 이미지 내에 상기 표지를 오버래핑하도록 중첩될 수 있다.

여기서 당업자라면 이해하겠지만, 라인들을 중첩하는 것이거나 상기 이미지 내에 상기 표지를 오버래핑하도록 중첩하는 것은 심도 정보를 사용함으로써 비교적 용이하고 정확한 방식으로 행해질 수 있다.

컬러 모드의 예들

도 10a는 본원 명세서에서 제공된 실시예들을 채용하지 않고 디스플레이될 수 있는 바와 같은 이미지의 예를 보여준다.

도 10b는 상기 실시예들 중 한 실시예를 채용한 후에, 다시 말하면 바-브래서리-타바-상점(bar-brasserie-tabac-shop)의 위치를 결정하도록 심도 정보를 사용한 후에 제공될 수 있는 바와 같은 동일한 이미지의 일례를 보여준다. 이러한 상점은 한 영역으로서 식별됨으로써 첫 번째 컬러 모드(흑색-백색)로 디스플레이될 수 있지만, 다른 영역들은 제2 컬러 모드(회색 색조를 갖는 흑색-백색)로 디스플레이된다. 상기 심도 정보는 상기 상점의 직접적인 시야를 차단하는 나무들, 모터 사이클들, 교통 표지들 등과 같은 다른 영역들을 용이하게 식별하는 것을 허용한다. 이러한 다른 영역들은 결과적으로 직관적인 보기를 제공하도록 제2 컬러 모드로 디스플레이될 수 있다.

컴퓨터 프로그램 및 데이터 캐리어( data carrier )

한 실시예에 의하면, 컴퓨터 장치(10)에 의해 로드될 수 있고 상기 컴퓨터 장치(10)로 하여금 위에서 설명된 방법들 중 어느 한 방법을 수행할 수 있게 하는 데이터 및 명령어들을 포함하는 컴퓨터 프로그램 생성물이 제공된다. 상기 컴퓨터 장치(10)는 도 1을 참조하여 위에서 설명된 바와 같은 컴퓨터 장치(10)일 수 있다.

부가적인 실시예에 의하면, 그러한 컴퓨터 프로그램 생성물이 구비된 데이터 캐리어가 제공된다.

부연 사항들

당업자라면 이해하겠지만, 본원 명세서에서는 용어 "중첩(superimposing)"이 단지 하나의 아이템이 다른 아이템 상에 디스플레이되는 것만을 나타내는데 사용된 것이 아니며 상기 내비게이션 정보가 상기 이미지의 콘텐츠에 대하여 상기 이미지 내의 미리 결정된 위치상에 배치될 수 있음을 나타내는데 사용된다. 이러한 방식으로, 상기 이미지의 콘텐츠와의 공간적 관계에 있도록 내비게이션 정보를 중첩시키는 것이 가능하다.

그래서, 단지 하나의 이미지 및 내비게이션 정보를 병합시키는 대신에, 상기 내비게이션 정보는 상기 내비게이션 정보가 상기 이미지의 콘텐츠와의 논리적인 직관적 관계를 갖도록 정확한 방식으로 상기 이미지 내에 배치될 수 있다.

위의 설명은 제한한 것으로 의도된 것이 아니고 예시적인 것으로 의도된 것이다. 따라서, 당업자는 변형예들이 이하에 기재된 청구항들의 범위로부터 벗어나지 않고서도 설명된 발명에 대한 변형예들이 구현될 수 있다는 점을 알 수 있을 것이다.

Claims

프로세서(11) 및 상기 프로세서(11)가 액세스가능한 메모리(12; 13; 14; 15)를 포함하는 컴퓨터 장치(10)로서, 상기 메모리(12; 13; 14; 15)는, 상기 프로세서(11)로 하여금,
a) 디스플레이될 이미지를 획득할 수 있게 하도록 구성되며,
b) 상기 이미지에 관한 심도 정보(depth information)를 획득할 수 있게 하도록 구성되고,
c) 상기 이미지에서 적어도 하나의 영역을 식별하기 위해 심도 정보를 사용할 수 있게 하도록 구성되며,
d) 적어도 하나의 식별된 영역에 대한 디스플레이 모드를 선택할 수 있게 하도록 구성된, 데이터 및 명령어들을 포함하는 컴퓨터 프로그램을 포함하는, 컴퓨터 장치.
제1항에 있어서, 상기 프로세서(11)는,
e) 향상된 이미지를 생성하도록 더 구성되는, 컴퓨터 장치.
제1항 또는 제2항에 있어서, 상기 컴퓨터 장치는 이미지를 획득하도록 구성된 카메라(CA)를 포함하는, 컴퓨터 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 프로세서(11)는,
- 원격 카메라;
- 메모리(12; 13; 14; 15);
- 원격 메모리; 중의 하나로부터 이미지를 획득하도록 구성된, 컴퓨터 장치.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 컴퓨터 장치는 카메라에 의해 획득된 적어도 2개의 이미지를 분석함으로써 심도 정보를 획득하도록 구성된, 컴퓨터 장치.
제5항에 있어서, 상기 카메라는 입체 사진 촬영용 카메라(stereo camera)인, 컴퓨터 장치.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 컴퓨터 장치는 심도 정보를 획득하도록 구성된 스캐너를 포함하는, 컴퓨터 장치.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 컴퓨터 장치는 디지털 맵 데이터베이스로부터 심도 정보를 획득하도록 구성된, 컴퓨터 장치.
제1항 내지 제8항 중 어느 한 항에 있어서, 디스플레이 모드를 선택하는 것은,
- 컬러 모드;
- 중첩 모드;와 같은 디스플레이 모드들 중 적어도 하나로부터 디스플레이 모드를 선택하는 것을 포함하는, 컴퓨터 장치.
항행을 목적으로 하는 이미지를 생성하는 방법으로서,
a) 디스플레이될 이미지를 획득하는 동작;
b) 상기 이미지에 관한 심도 정보(depth information)를 획득하는 동작;
c) 상기 이미지에서 적어도 하나의 영역을 식별하기 위해 심도 정보를 사용하는 동작;
d) 적어도 하나의 식별된 영역에 대한 디스플레이 모드를 선택하는 동작;을 포함하는 이미지의 생성 방법.
컴퓨터 장치에 의해 로드될 수 있고 상기 컴퓨터 장치로 하여금 제10항에 따른 방법을 수행할 수 있게 하는 데이터 및 명령어들을 포함하는, 컴퓨터 프로그램 생성물.
제11항에 따른 컴퓨터 프로그램 생성물이 구비된, 데이터 캐리어.