KR102434580B1 - 가상 경로를 디스플레이하는 방법 및 장치 - Google Patents

가상 경로를 디스플레이하는 방법 및 장치 Download PDF

Info

Publication number
KR102434580B1
KR102434580B1 KR1020170148756A KR20170148756A KR102434580B1 KR 102434580 B1 KR102434580 B1 KR 102434580B1 KR 1020170148756 A KR1020170148756 A KR 1020170148756A KR 20170148756 A KR20170148756 A KR 20170148756A KR 102434580 B1 KR102434580 B1 KR 102434580B1
Authority
KR
South Korea
Prior art keywords
vehicle
sensor
virtual path
location
displaying
Prior art date
Application number
KR1020170148756A
Other languages
English (en)
Other versions
KR20190052912A (ko
Inventor
정경부
강나협
이기창
홍성훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170148756A priority Critical patent/KR102434580B1/ko
Priority to US15/919,432 priority patent/US10732004B2/en
Priority to CN201810323756.8A priority patent/CN109764887A/zh
Priority to EP18167903.6A priority patent/EP3483558A1/en
Priority to JP2018117923A priority patent/JP7210165B2/ja
Publication of KR20190052912A publication Critical patent/KR20190052912A/ko
Priority to US16/910,942 priority patent/US11204253B2/en
Application granted granted Critical
Publication of KR102434580B1 publication Critical patent/KR102434580B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3819—Road shape data, e.g. outline of a route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

일 실시예에 따른 가상 경로를 디스플레이하는 방법 및 장치는 센서들로부터 비동기적으로 수신되는 센싱 데이터들에 기초하여 차량의 위치를 추정하고, 차량의 위치와 차량의 주행 환경에 대응하는 주행 환경 모델을 지도 정보에 정합하여 생성한 3차원의 가상 경로를 디스플레이한다.

Description

가상 경로를 디스플레이하는 방법 및 장치{METHOD AND APPARATUS OF DISPALYING VIRTUAL ROUTE}
아래 실시예들은 가상 경로를 디스플레이하는 방법 및 장치에 관한 것이다.
차량 및 기타 운송 수단의 주행을 보조하기 위해 다양한 시각 정보(Visual Information)를 나타내는 증강 현실(Augmented Reality; AR)이 차량에 포함된 디스플레이 또는 내비게이션(Navigation)을 통해 제공되고 있다. 예를 들어, 2D HUD(Head-Up Display) 기반의 내비게이션은 디스플레이 되는 경로 정보와 실제 주행 정보 간의 정합을 사용자가 직접 수행해야 하거나, 또는 고정된 위치에 가상 영상(virtual image)이 표시된다. 때문에 정확한 길 안내가 어렵거나 주행 중 위험 요소로 작용할 수 있다. 3D HUD 기반 내비게이션은 차량 또는 도로의 공간 정보를 파악하므로 경로를 실제 주행 환경에 증강시킬 수 있으나 사용자의 눈 위치에 따라 3차원 가상 경로의 증강되는 위치에 오차가 발생할 수 있다.
일 실시예에 따르면, 가상 경로를 디스플레이하는 방법은 센서들로부터 비동기적으로 수신되는 센싱 데이터들에 기초하여 차량의 위치를 추정하는 단계; 상기 차량의 위치와 상기 차량의 주행 환경에 대응하는 주행 환경 모델을 지도 정보에 정합(registration)하여 3차원의 가상 경로를 생성하는 단계; 및 상기 3차원의 가상 경로를 디스플레이하는 단계를 포함한다.
상기 센서들은 GPS(Global Positioning System) 센서, IMU(Inertial Measurement Unit) 센서, OBD(On-board diagnostics) 센서, 및 카메라 센서 중 적어도 하나를 포함할 수 있다.
상기 센싱 데이터들을 상기 센서들 별로 서로 독립적으로 샘플링될 수 있다.
상기 차량의 위치를 추정하는 단계는 상기 센싱 데이터들 별로, 해당 센싱 데이터가 처리된 처리 시간에 대한 정보를 삽입하는 단계; 및 서로 다른 처리 시간에 대한 정보를 갖는 센싱 데이터들을 이용하여 상기 차량의 위치를 추정하는 단계를 포함할 수 있다.
상기 차량의 위치를 추정하는 단계는 상기 센서들 중 어느 하나의 센서로부터 제1 시간에 수신된 제1 센싱 데이터에 기초하여 상기 차량의 제1 위치를 추정하는 단계; 상기 어느 하나의 센서를 포함하는 상기 센서들로부터 제2 시간에 수신된 제2 센싱 데이터에 기초하여 상기 제1 위치를 제2 위치로 갱신하는 단계; 및 상기 센서들로부터 제3 시간에 수신된 제3 센싱 데이터에 기초하여 상기 차량의 제2 위치를 제3 위치로 갱신하는 단계를 포함할 수 있다.
상기 가상 경로를 디스플레이하는 방법은 상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 시각적 주행 거리(visual odometry)를 측정하는 단계를 더 포함하고, 상기 차량의 위치를 추정하는 단계는 상기 센싱 데이터들 및 상기 시각적 주행 거리를 이용하여 상기 차량의 위치를 추정하는 단계를 포함할 수 있다.
상기 센싱 데이터들 및 상기 시각적 주행 거리를 이용하여 상기 차량의 위치를 추정하는 단계는 상기 센싱 데이터들 중 상기 영상 데이터를 제외한 어느 하나의 센싱 데이터를 이용하여 상기 차량의 위치를 추정하는 단계; 및 상기 영상 데이터에 기초한 시각적 주행 거리를 이용하여 상기 차량의 위치를 보정하는 단계를 포함할 수 있다.
상기 3차원의 가상 경로를 생성하는 단계는 상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 세그먼테이션 영상을 생성하는 단계; 상기 세그먼테이션 영상에 포함된 객체들을 검출하는 단계; 상기 객체들로부터 식별된 상기 차량의 주행 차로(driving lane) 및 상기 객체들의 깊이 값을 이용하여 상기 주행 환경 모델을 생성하는 단계; 및 상기 차량의 위치, 및 상기 주행 환경 모델을 상기 지도 정보에 정합하여 상기 3차원의 가상 경로를 생성하는 단계를 포함할 수 있다.
상기 3차원의 가상 경로를 생성하는 단계는 상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 상기 차량의 주행 차로를 포함하는 영역의 조명(lighting) 및 질감(texture)을 추정하는 단계; 및 상기 조명 및 상기 질감을 적용하여 상기 3차원의 가상 경로를 생성하는 단계를 포함할 수 있다.
상기 가상 경로를 디스플레이하는 방법은 상기 차량의 운전자 시점에 일치하도록 상기 3차원의 가상 경로를 변환(transform)하는 단계를 더 포함하고, 상기 3차원의 가상 경로를 디스플레이하는 단계는 상기 변환된 가상 경로를 디스플레이하는 단계를 포함할 수 있다.
상기 변환된 가상 경로를 디스플레이하는 단계는 상기 변환된 가상 경로를 상기 차량의 헤드-업 디스플레이(Head-Up Display; HUD) 장치를 통해 디스플레이하는 단계를 포함할 수 있다.
상기 3차원의 가상 경로를 변환하는 단계는 상기 운전자 양안의 3차원 위치를 추적함으로써 상기 운전자 시점을 추적하는 단계;
상기 운전자 양안의 3차원 위치를 이용하여 상기 헤드-업 디스플레이 장치를 통해 표시되는 가상 영상(virtual image)과 상기 운전자 시점 간의 변환 관계를 예측하는 단계; 및 상기 변환 관계에 기초하여 상기 3차원의 가상 경로를 변환하는 단계를 포함할 수 있다.
일 실시예에 따르면, 가상 경로를 디스플레이하는 장치는 차량의 위치, 상기 차량의 자세, 및 상기 차량의 주행 환경을 포함하는 영상을 포함하는 센싱 데이터들을 감지하는 센서들을 포함하는 센서 모듈; 지도 정보를 저장하는 메모리; 상기 센서 모듈에 포함된 센서들로부터 비동기적으로 수신되는 센싱 데이터들에 기초하여 차량의 위치를 추정하고, 상기 차량의 위치와 상기 차량의 주행 환경에 대응하는 주행 환경 모델을 상기 지도 정보에 정합하여 3차원의 가상 경로를 생성하는 프로세서; 및 상기 3차원의 가상 경로를 디스플레이하는 디스플레이 장치를 포함한다.
상기 센서들은 상기 차량의 절대 경로를 측정하는 GPS 센서; 상기 차량의 상대 경로를 측정하는 IMU 센서; 상기 차량의 주행 거리를 측정하는 OBD 센서; 및 상기 차량의 주행 환경을 포함하는 영상 데이터를 캡쳐(capture)하는 카메라 센서 중 둘 이상 또는 이들의 조합을 포함할 수 있다.
상기 센싱 데이터들을 상기 센서들 별로 서로 독립적으로 샘플링될 수 있다.
상기 프로세서는 상기 센싱 데이터들 별로, 해당 센싱 데이터가 처리된 처리 시간에 대한 정보를 삽입하고, 서로 다른 처리 시간에 대한 정보를 갖는 센싱 데이터들을 이용하여 상기 차량의 위치를 추정할 수 있다.
상기 프로세서는 상기 센서들 중 어느 하나의 센서로부터 제1 시간에 수신된 제1 센싱 데이터에 기초하여 상기 차량의 제1 위치를 추정하고, 상기 어느 하나의 센서를 포함하는 상기 센서들로부터 제2 시간에 수신된 제2 센싱 데이터에 기초하여 상기 제1 위치를 제2 위치로 갱신하며, 상기 센서들로부터 제3 시간에 수신된 제3 센싱 데이터에 기초하여 상기 차량의 제2 위치를 제3 위치로 갱신할 수 있다.
상기 프로세서는 상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 시각적 주행 거리를 측정하고, 상기 센싱 데이터들 및 상기 시각적 주행 거리를 이용하여 상기 차량의 위치를 추정할 수 있다.
상기 프로세서는 상기 센싱 데이터들 중 상기 영상 데이터를 제외한 어느 하나의 센싱 데이터를 이용하여 상기 차량의 위치를 추정하고, 상기 영상 데이터에 기초한 시각적 주행 거리를 이용하여 상기 차량의 위치를 보정할 수 있다.
상기 프로세서는 상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 세그먼테이션 영상을 생성하고, 상기 세그먼테이션 영상에 포함된 객체들을 검출하고, 상기 객체들로부터 식별된 상기 차량의 주행 차로 및 상기 객체들의 깊이 값을 이용하여 상기 주행 환경 모델을 생성하며, 상기 차량의 위치, 및 상기 주행 환경 모델을 상기 지도 정보에 정합하여 상기 3차원의 가상 경로를 생성할 수 있다.
상기 프로세서는 상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 상기 차량의 주행 차로를 포함하는 영역의 조명 및 질감을 추정하고, 상기 조명 및 상기 질감을 이용하여 상기 3차원의 가상 경로를 변환할 수 있다.
상기 가상 경로를 디스플레이하는 장치는 상기 차량의 운전자 시점을 추적하는 제2 카메라 센서를 더 포함하고, 상기 프로세서는 상기 차량의 운전자 시점에 일치하도록 상기 3차원의 가상 경로를 변환하고, 상기 변환된 가상 경로를 상기 디스플레이 장치를 통해 디스플레이할 수 있다.
상기 디스플레이 장치는 헤드-업 디스플레이 장치를 포함할 수 있다.
상기 프로세서는 상기 운전자 양안의 3차원 위치를 추적함으로써 상기 차량의 운전자 시점을 추적하고, 상기 운전자 양안의 3차원 위치를 이용하여 상기 헤드-업 디스플레이 장치를 통해 표시되는 가상 영상과 상기 운전자 시점 간의 변환 관계를 예측하며, 상기 변환 관계에 기초하여 상기 3차원의 가상 경로를 변환할 수 있다.
도 1은 일 실시예에 따른 가상 경로를 디스플레이하는 방법을 나타낸 흐름도.
도 2 내지 도 5는 실시예들에 따른 차량의 위치를 추정하는 방법을 나타낸 도면.
도 6 내지 도 7은 실시예들에 따른 3차원의 가상 경로를 생성하는 방법을 나타낸 흐름도.
도 8은 일 실시예에 따른 3차원의 가상 경로를 디스플레이하는 방법을 나타낸 흐름도.
도 9는 일 실시예에 따른 3차원의 가상 경로를 변환하는 방법을 나타낸 흐름도.
도 10은 일 실시예에 따라 추정한 차량의 위치 및 주행 환경 모델을 이용하여 생성된 3차원의 가상 경로를 도시한 도면.
도 11은 일 실시예에 따른 운전자 시점에 일치하도록 변환된 3차원의 가상 경로를 도시한 도면.
도 12는 일 실시예에 따른 가상 경로를 디스플레이하는 장치의 프로세스(process) 흐름을 설명하기 위한 도면.
도 13은 일 실시예에 따른 가상 경로를 디스플레이하는 장치에서의 데이터(data) 흐름을 설명하기 위한 도면.
도 14는 일 실시예에 따른 가상 경로를 디스플레이하는 장치의 상세 동작을 설명하기 위한 도면.
도 15는 일 실시예에 따른 가상 경로를 디스플레이하는 장치의 블록도.
본 명세서에 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것이다. 개시된 실시예들은 다양한 다른 형태로 변경되어 실시될 수 있으며 본 명세서의 범위는 개시된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 스마트 차량 등의 증강 현실 내비게이션 (Augmented Reality Navigation) 시스템에서 가상 경로를 표시하거나, 자율 주행 차량의 조향을 돕기 위한 시각 정보를 생성하는 데에 활용될 수 있다. 또한, 실시예들은 차량 내 주행 보조 또는 완전 자율 주행을 위해 설치된 HUD(Head Up Display) 등의 지능 시스템을 포함하는 기기에서 시각 정보(Visual Information)를 해석하여 안전하고 쾌적한 주행을 돕는 데에 사용될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 가상 경로를 디스플레이하는 방법을 나타낸 흐름도이다. 도 1을 참조하면, 일 실시예에 따른 가상 경로를 디스플레이하는 장치(이하, '디스플레이 장치')는 센서들로부터 비동기적으로 수신되는 센싱 데이터들에 기초하여 차량의 위치를 추정한다(110). 센서들은 예를 들어, GPS(Global Positioning System) 센서, IMU(Inertial Measurement Unit) 센서, OBD(On-board diagnostics) 센서, 및 카메라 센서 등을 포함할 수 있다. IMU 센서는 예를 들어, 가속도 센서, 및/또는 자이로 센서 등을 포함할 수 있다. 디스플레이 장치는 예를 들어, 가속도 센서 또는 자이로 센서 등을 통해 센싱된 운동 및 중력 가속도, 각속도를 이용하여 계산되는 운동 가속도 성분을 적분하여 차량의 3차원 위치 및 자세 등을 추정할 수 있다. 카메라 센서는 예를 들어, 전방향 카메라, 스테레오 카메라 또는 모노 카메라일 수 있다. 센서들로부터 수신되는 센싱 데이터들은 센서들 별로 서로 독립적으로 샘플링된 것일 수 있다.
실시예에 따라서, 센서들에는 초음파 센서가 포함될 수도 있다. 디스플레이 장치는 초음파가 공기 중에서 음속(약 340m/s)으로 진행하는 것을 이용하여 초음파가 초음파 센서의 발신부로부터 수신부까지 도달한 시간(TOF; Time of Flight)을 측정하여 거리를 계산할 수 있다. 디스플레이 장치는 3개 이상의 동일 시점의 거리 정보를 취득한 후 삼각 측량 기법 등의 방법을 통해 차량의 3차원 위치를 계산할 수 있다.
일 실시예에 따른 디스플레이 장치는 헤드-업 디스플레이 장치를 포함하는 지능형 기기, 증강 현실 내비게이션 장치, 또는 지능형 자동차 자체이거나, 지능형 기기 또는 지능형 자동차에 포함된 별도의 장치일 수 있다. 디스플레이 장치는 예를 들어, 도 15에 도시된 디스플레이 장치(1500)일 수 있다. 디스플레이 장치가 차량의 위치를 추정하는 방법은 이하의 도 2 내지 도 5를 참조하여 구체적으로 설명하기로 한다.
디스플레이 장치는 단계(110)에서 추정된 차량의 위치와 차량의 주행 환경에 대응하는 주행 환경 모델을 지도 정보에 정합(registration)하여 3차원의 가상 경로를 생성한다(120). 이때, '주행 환경 모델'은 예를 들어, 주행 차로, 차선, 도로 표지 등을 포함하는 차량이 주행 중인 주행 도로, 인도, 건물, 보행자 등을 포함하는 주행 환경을 모델링한 것일 수 있다. 주행 환경 모델은 2차원 모델일 수도 있고, 3차원 모델일 수도 있다.
본 명세서에서, '도로(road)'는 차량들이 다니는 길을 의미하며, 예를 들어, 고속도로, 국도, 지방도, 고속 국도, 자동차 전용 도로 등과 같은 다양한 유형의 도로를 포함할 수 있다. 도로는 하나 또는 다수 개의 차로를 포함할 수 있다. '차로(lane)'는 도로 노면 상에 표시된 차선들을 통해 서로 구분되는 도로 공간에 해당할 수 있다. 또한, '주행 차로'는 다수 개의 차로 중 주행 차량이 주행 중인 차로, 다시 말해 주행 차량이 차지하고 이용 중인 차로 공간을 의미하는 것으로 이해될 수 있다. 하나의 차로는 차로의 좌우에 있는 차선에 의해 구분될 수 있다. '차선(lines)'은 도로 노면 상에 흰색, 파란색 또는 노랑색으로 표시된 실선, 또는 점선 등 다양한 형태의 선으로 이해될 수 있다.
또한, 지도 정보는 예를 들어, 도 15에 도시된 메모리(1520)에 미리 저장된 것이거나, 또는 일정 시간 간격 또는 실시간으로 외부 데이터베이스로부터 수신된 것일 수 있다.
디스플레이 장치는 예를 들어, 지도 정보로부터 도로 형태 정보를 추출하고, 도로 형태 정보에 주행 환경 모델 및 추정된 차량의 위치를 정합(registration) 또는 매칭(matching) 시킴으로써 3차원의 가상 경로를 생성할 수 있다. 보다 구체적으로, 디스플레이 장치는 주행 영상에 포함된 카메라 정보 및 위치 정보를 기초로, 지도 정보로부터 카메라의 시각 절두체(viewing frustum) 내로 들어오는 도로 형태 정보를 추출할 수 있다. 도로 형태 정보는 예를 들어, 위도 및 경도로 표현되는 2D 정보이거나, 일련의 (x, y, z) 성분으로 표현할 수 있는 3D 정보일 수 있다. 도로 형태 정보는 예를 들어, 흰색, 노란색, 및 파랑색 등의 차선 표시 정보이거나 또는 각 차선의 가운데를 지나는 도로 중심선, 또는 도로 표면의 정보일 수 있다. 디스플레이 장치는 예를 들어, 최소 제곱법(Least Square Method; LSM)을 이용하여 도로 형태 정보를 주행 환경 모델에 매칭할 수 있다. 디스플레이 장치는 차량의 위치와 주행 환경 모델을 지도 정보에 정합하여 실제 도로와 운전자에게 안내되는 경로가 일치되도록 함으로써 증강 현실 내비게이션에서 사용자에게 정확한 경로 정보를 제공할 수 있다.
3차원의 가상 경로는 예를 들어, 증강 현실 내비게이션을 통해 디스플레이되는 증강 현실 객체일 수 있다. 디스플레이 장치가 3차원의 가상 경로를 생성하는 방법은 이하의 도 6 내지 도 7을 참조하여 구체적으로 설명하기로 한다. 일 실시예에 따라 생성된 3차원의 가상 경로의 일 예는 이하의 도 10에 도시되어 있다.
디스플레이 장치는 단계(120)에서 생성된 3차원의 가상 경로를 디스플레이한다(130). 디스플레이 장치는 3차원의 가상 경로를, 예를 들어, 헤드-업 디스플레이(Head-Up Display; HUD) 장치를 통해 디스플레이할 수 있다. 디스플레이 장치가 3차원의 가상 경로를 디스플레이하는 구체적인 방법은 이하의 도 8 내지 도 9를 참조하여 설명하기로 한다.
도 2는 일 실시예에 따른 차량의 위치를 추정하는 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 디스플레이 장치는 센싱 데이터들 별로, 해당 센싱 데이터가 처리된 처리 시간에 대한 정보를 삽입할 수 있다(210). 이때, 해당 센싱 데이터가 처리된 처리 시간은 해당 센싱 데이터가 센싱된 후 디스플레이 장치에 의해 즉시 이용 가능한 형태의 데이터로 처리 또는 가공이 완료된 시간으로 이해될 수 있다. 센싱 데이터가 처리된 처리 시간에 대한 정보는 예를 들어, 태그(tag) 또는 코드(code)의 형태로 센싱 데이터 별로 삽입될 수 있다.
디스플레이 장치는 서로 다른 처리 시간에 대한 정보를 갖는 센싱 데이터들을 이용하여 차량의 위치를 추정할 수 있다(220). 이때, 차량의 위치는 차량의 위치 이외에 차량의 자세를 포함할 수 있다. 디스플레이 장치는 예를 들어, 현재 시간에 A 센서에 의해 센싱된 제1 센싱 데이터와 이전 시간에 B 센서에 의해 센싱된 제2 센싱 데이터에 의해 추정된 차량의 위치 정보 및 자세 정보를 통합하여 차량의 현재 시간의 위치 정보 및 자세 정보를 추정할 수 있다.
도 3은 다른 실시예에 따른 차량의 위치를 추정하는 방법을 나타낸 흐름도이다. 도 3을 참조하면, 일 실시예에 따른 디스플레이 장치는 센서들 중 어느 하나의 센서로부터 제1 시간에 수신된 제1 센싱 데이터에 기초하여 차량의 제1 위치를 추정할 수 있다(310).
디스플레이 장치는 어느 하나의 센서를 포함하는 센서들로부터 제2 시간에 수신된 제2 센싱 데이터에 기초하여 제1 위치를 제2 위치로 갱신할 수 있다(320). 이때, 제2 센싱 데이터는 제1 센싱 데이터와 동일한 센서에 의해 센싱된 것일 수도 있고, 제1 센싱 데이터와 상이한 센서에 의해 센싱된 것일 수도 있다.
디스플레이 장치는 센서들로부터 제3 시간에 수신된 제3 센싱 데이터에 기초하여 차량의 제2 위치를 제3 위치로 갱신할 수 있다(330). 제2 센싱 데이터와 마찬가지로, 제3 센싱 데이터 또한, 제1 센싱 데이터 또는 제2 센싱 데이터와 동일한 센서에 의해 센싱된 것일 수도 있고, 제1 센싱 데이터 또는 제2 센싱 데이터와 상이한 센서에 의해 센싱된 것일 수도 있다.
도 4는 일 실시예에 따른 차량의 위치를 추정하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 제1 시간(410)에 수신된 제1 센싱 데이터, 제2 시간(420)에 수신된 제2 센싱 데이터, 제3 시간(430)에 수신된 제3 센싱 데이터 및 제4 시간(440)에 센싱된 제4 센싱 데이터가 도시된다. 각 센싱 데이터들은 서로 동일 또는 상이한 센서들로부터 비동기적으로 수신된 것일 수 있다.
예를 들어, 제1 센싱 데이터 및 제2 센싱 데이터는 GPS 센서에 의해 센싱된 것이고, 제3 센싱 데이터는 IMU 센서에 의해 센싱된 것이며, 제4 센싱 데이터는 OBD 센서에 의해 센싱된 것이라고 하자.
디스플레이 장치는 제1 센싱 데이터에 기초하여 차량의 제1 위치를 추정하고, 제2 센싱 데이터에 기초하여 제1 위치를 제2 위치로 갱신할 수 있다. 또한, 디스플레이 장치는 제3 센싱 데이터에 기초하여 제2 위치를 제3 위치로 갱신하고, 제4 센싱 데이터에 기초하여 제3 위치를 제4 위치로 갱신할 수 있다.
GPS 센서는 예를 들어, 1Hz의 주파수로 차량의 절대 경로를 측정할 수 있지만, GPS 신호의 수신 음영 지역에서는 측정이 불가하고, 10m의 위치 오차가 발생할 수 있다. IMU 센서 또는 OBD 센서는 50Hz 또는 100 Hz의 고속 주파수로 차량의 상대 경로를 측정할 수 있지만, 측정 정확도가 낮을 수 있다.
일 실시예에서는 센서들마다의 센싱 속도를 동기화 시키지 않고 각 센서가 독립적으로 차량의 위치 및/또는 차량의 자세를 센싱하도록 하고, 현재의 센싱 데이터와 과거의 센싱 데이터로부터 추정된 차량의 위치 및/또는 자세를 통합하여 지연없이 차량의 위치를 갱신함으로써 보다 정확하게 차량의 위치를 추정할 수 있다. 또한, 일 실시예에 따르면, 비동기적으로 센싱 데이터들을 수신함으로써 센서들마다의 센싱 속도를 동기화 시키는데 소요되는 높은 컴퓨팅 파워(computing power)가 없이도 정확하게 차량의 위치를 추정할 수 있다.
실시예에 따라서, 디스플레이 장치는 현재 센싱 데이터(예를 들어, 제4시간의 센싱 데이터)에 기초하여 추정된 차량의 제4 위치와 이전 센싱 데이터(예를 들어, 제3 시간의 센싱 데이터)에 기초하여 추정된 차량의 제3 위치 간의 위치 변화율이 미리 설정된 임계치 이상인 경우에 차량의 위치를 제3 위치에서 제4 위치로 갱신하도록 할 수 있다. 위치 변화율이 임계치 미만인 경우, 디스플레이 장치는 차량의 위치를 제4 위치로 갱신하지 않고, 제3 위치 그대로 유지할 수도 있다.
도 5는 다른 실시예에 따른 차량의 위치를 추정하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 일 실시예에 따른 디스플레이 장치는 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 시각적 주행 거리(visual odometry)를 측정할 수 있다(510). 시각적 주행 거리(visual odometry)를 측정하는 방법은 카메라 이미지를 분석하여 대상 객체(예를 들어, 차량 또는 로봇 등)의 위치와 방향을 결정하는 과정을 포함할 수 있다.
시각적 주행 거리를 측정하는 방법은 차량의 주행 거리를 추정하기 위해 연속적인 카메라 이미지를 사용하여 상응하는 주행 거리의 측정 정보를 결정하는 과정으로서 이를 통하여 표면에 상관없이 모든 종류의 운동 방법을 사용하여 차량의 항법 정확성을 향상시킬 수 있다. 시각적 주행 거리의 측정 방법의 일 예는 다음과 같다.
디스플레이 장치는 예를 들어, 단일 카메라, 스테레오 카메라, 전방향 카메라 등을 사용하여 카메라 이미지(영상 데이터)를 획득하고, 렌즈 왜곡 제거를 위한 영상 처리 기법을 적용하여 카메라 이미지를 보정할 수 있다. 디스플레이 장치는 관심 연산자를 정의하고, 카메라 이미지의 프레임들에 걸쳐 일치하는 특성을 추출하여 연관성을 성립하여 광학 흐름 필드를 구축할 수 있다. 디스플레이 장치는 광학 흐름 필드를 이용하여 카메라 이미지로부터 특성을 검출할 수 있다. 이때, 디스플레이 장치는 연속적인 카메라 이미지들 중 두 이미지의 관련성을 설정하기 위해 상관 관계를 사용할 수 있다.
디스플레이 장치는 광학 흐름 필터를 이용하여 카메라의 움직임을 추정할 수 있다. 이때 디스플레이 장치는 칼만 필터를 사용하여 카메라의 움직임을 추정할 수도 있고, 또는 두 인접 이미지 사이의 재투영 오류를 기반으로 비용 함수를 최소화하는 기능의 기하학적 속성, 3D 속성을 찾음으로써 카메라의 움직임을 추정할 수 있다. 카메라의 움직임의 추정은 수학적 최소화나 랜덤 샘플링(random sampling)을 통하여 수행될 수 있다.
디스플레이 장치는 인접 이미지들을 통한 적용 범위를 유지하기 위하여 추적점을 주기적인 확인함으로써 시각적 주행 거리를 측정할 수 있다.
디스플레이 장치는 센싱 데이터들 및 시각적 주행 거리를 이용하여 차량의 위치를 추정할 수 있다. 보다 구체적으로, 디스플레이 장치는 센싱 데이터들 중 영상 데이터를 제외한 어느 하나의 센싱 데이터를 이용하여 차량의 위치를 추정할 수 있다(520).
디스플레이 장치는 영상 데이터에 기초한 시각적 주행 거리를 이용하여 차량의 위치를 보정할 수 있다(530).
도 6은 일 실시예에 따른 3차원의 가상 경로를 생성하는 방법을 나타낸 흐름도이다. 도 6을 참조하면, 일 실시예에 따른 디스플레이 장치는 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 세그먼테이션 영상을 생성할 수 있다(610). 영상 데이터는 예를 들어, 차량에 장착된 카메라 센서로부터 획득한 주행 영상일 수 있다. 주행 영상은 예를 들어, 카메라 센서로부터 촬영된 컬러 영상, 흑백 영상, 및 카메라 정보 등을 포함할 수 있다. 카메라 정보는 카메라의 내적 파라미터(intrinsic parameter) 및 외적 파라미터(extrinsic parameter) 등을 포함할 수 있다. 주행 영상은 예를 들어, 차량, 차선, 도로, 연석, 인도, 건물 등을 포함하는 주변 환경을 포함하는 영상 및 도로 노면 영상 등을 포함할 수 있다.
디스플레이 장치는 영상 데이터(또는 주행 영상)로부터 의미(Semantic) 단위로 객체를 분할하고, 분할된 객체(영역)이 어떤 의미를 갖는지를 픽셀(Pixel) 단위로 파악하여 각 클래스(class)마다 레이블링(labeling) 함으로써 세그먼테이션 영상을 생성할 수 있다. 클래스는 예를 들어, 도로, 차량, 인도, 사람, 동물, 하늘, 건물 등과 같이 20개 정도로 분류될 수 있다. 디스플레이 장치는 세그먼테이션 영상에 포함된 픽셀 단위의 레이블로부터 물체, 배경 등 영상 내에 구성 요소들이 어디에 어떻게 존재하는지를 정밀하게 파악할 수 있다. 또한, 디스플레이 장치는 미리 학습된 컨볼루션 신경망(Convolution Neural Network; CNN), 심층 신경망(Deep Neural Network; DNN), 서포트 벡터 머신(Support Vector Machine) 등을 이용하여 세그먼테이션 영상 내에 포함된 구성 요소들을 분류할 수 있다. 디스플레이 장치는 예를 들어, 영상 데이터에 포함된 객체를 의미 단위로 분할하여 도 10(a)에 도시된 것과 같은 세그먼테이션 영상을 생성할 수 있다.
디스플레이 장치는 세그먼테이션 영상에 포함된 객체들을 검출할 수 있다(620).
디스플레이 장치는 객체들로부터 식별된 차량의 주행 차로(driving lane) 및 객체들의 깊이 값을 이용하여 주행 환경 모델을 생성할 수 있다(630). 이때, 객체들의 깊이 값은 예를 들어, 레이더(radar), 라이더(lidar), 스테레오 카메라를 이용한 스테레오 매칭 방법, 또는 SLAM(Simultaneous Localization And Map-building) 기법 등에 의해 획득된 것일 수 있다. 레이더는 전파를 이용하여 물체를 탐지하고 거리를 측정할 수 있다. 라이더는 레이저 광선을 발사하고 그 반사와 흡수를 이용하여 대기 중의 온도, 습도, 시정(視程) 등을 측정할 수 있다. 또는 디스플레이 장치는 스테레오 카메라를 이용한 스테레오 매칭 방법을 이용하여 깊이 값을 획득할 수 있다.
디스플레이 장치는 차량의 위치, 및 주행 환경 모델을 지도 정보에 정합하여 예를 들어, 도 10의 (b)에 도시된 것과 같은 3차원의 가상 경로를 생성할 수 있다(640).
도 7은 일 실시예에 따른 3차원의 가상 경로를 생성하는 방법을 나타낸 흐름도이다. 도 7을 참조하면, 일 실시예에 따른 디스플레이 장치는 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 차량의 주행 차로를 포함하는 영역의 조명(lighting) 및 질감(texture)을 추정할 수 있다(710). 디스플레이 장치는 세그먼테이션 영상으로부터 헤드-업 디스플레이의 가상 영상(virtual image)이 렌더링되는 영역의 조명 및 질감을 추정할 수 있다. 실시예에 따라서, 디스플레이 장치는 영상 데이터를 이용하여 생성된 세그먼테이션 영상으로부터 차량의 주행 차로를 포함하는 영역의 조명 및 질감을 추정할 수도 있다.
디스플레이 장치가 조명 및 질감을 추정하는 방법의 일 예는 다음과 같다.
디스플레이 장치는 예를 들어, 한 쌍의 컬러 영상 및 깊이 영상으로부터 다양한 색상 및 질감의 특성을 갖는 재질 정보를 추출하고, 동시에 전방향 조명맵을 추출할 수 있다. 컬러 영상은 예를 들어, 다시점 컬러 영상일 수 있다.
디스플레이 장치는 컬러 영상을 이용하여 객체(예를 들어, 차량의 주행 차로를 포함하는 영역)의 질감 특성을 분석하고, 질감 특성을 기준으로 객체를 복수의 세그먼트들로 구분할 수 있다. 보다 구체적으로, 디스플레이 장치는 컬러 스페이스(color space) 도메인(domain)에서, 밝기 성분을 제외한 색차 신호(color difference signal)들의 값을 이용하여 질감 특성을 분석할 수 있다. 컬러 스페이스의 예로 HSV(hue saturation value), CIE(Commission Internationale d' Eclairage) LAB 모형 등이 있다. 색차 신호의 예로는 Cr, Cb 등을 들 수 있으나, 색차 신호의 종류가 반드시 Cr, Cb 등에 한정되지는 않는다. 디스플레이 장치는 색차 신호들의 값을 기준으로 클러스터링을 수행하여 복수 개의 질감 클러스터를 결정할 수 있다. 디스플레이 장치는 객체에 질감 클러스터를 적용함으로써 객체 표면의 질감을 표현할 수 있다.
또한, 디스플레이 장치는 컬러 영상의 화소 값들 및 객체의 깊이 영상으로부터 유도되는 저(低)기저 함수를 이용하여 객체에 대한 조명 정보 및 복수의 세그먼트들 각각에 대한 질감 상수들을 획득할 수 있다. 저기저 함수 모델을 이용하여 영상을 표현하는 기법의 일 예로는, SHBF(Spherical Harmonics Basis Function) 기법이 있다. 디스플레이 장치는 SHBF 기법을 이용하여 노멀 맵(Normal Map)으로부터 깊이 영상의 저기저 함수 모델을 생성할 수 있다. 여기서, 노멀 맵은 객체에 대한 법선 벡터(Normal vector)들을 텍스쳐로 표현한 것이다. 디스플레이 장치는 복수의 세그먼트들 각각에 대한 질감 상수들을 사용하여 객체의 색체 및 텍스처의 다양성을 모두 복원할 수 있다.
디스플레이 장치는 단계(710)에서 추정한 조명 및 질감을 적용하여 3차원의 가상 경로를 생성할 수 있다(720).
도 8은 일 실시예에 따른 3차원의 가상 경로를 디스플레이하는 방법을 나타낸 흐름도이다. 도 8을 참조하면, 일 실시예에 따른 디스플레이 장치는 차량의 운전자 시점에 일치하도록 3차원의 가상 경로를 변환(transform)할 수 있다(810). 여기서, 변환은 '보정(correction)'을 포함하는 의미로 이해될 수 있다. 디스플레이 장치가 3차원의 가상 경로를 변환하는 구체적인 방법은 도 9를 참조하여 설명한다.
디스플레이 장치는 변환된 가상 경로를 디스플레이할 수 있다(820). 디스플레이 장치는 예를 들어, 변환된 가상 경로를 차량의 헤드-업 디스플레이 장치를 통해 디스플레이할 수 있다. 헤드-업 디스플레이는 예를 들어, 광필드(light field) 3D 디스플레이일 수 있다.
도 9는 일 실시예에 따른 3차원의 가상 경로를 변환하는 방법을 나타낸 흐름도이다. 도 9를 참조하면, 일 실시예에 따른 디스플레이 장치는 운전자 양안의 3차원 위치를 추적함으로써 운전자 시점을 추적할 수 있다(910). 실시예에 따라서, 디스플레이 장치는 운전자의 양안 이외에도 운전자의 머리의 방향을 추적함으로써 운전자 시점을 추적할 수도 있다.
디스플레이 장치는 운전자 양안의 3차원 위치를 이용하여 헤드-업 디스플레이 장치를 통해 표시되는 가상 영상(virtual image)과 운전자 시점 간의 변환 관계를 예측할 수 있다(920). 디스플레이 장치는 눈 위치(예를 들어, 운전자 양안의 3차원 위치)를 추적하는 카메라와 헤드-업 디스플레이 장치 간의 기하학적인 관계를 통하여 가상 영상과 운전자 시점 간의 변환 관계를 예측할 수 있다. 헤드-업 디스플레이 장치와 눈 위치를 추적하는 카메라 간의 기하학적인 관계는 두 장치(헤드-업 디스플레이 장치와 카메라)가 설치된 후 두 장치간의 실제 거리와 회전량을 측정하여 산출할 수 있다.
디스플레이 장치는 변환 관계에 기초하여 3차원의 가상 경로를 변환할 수 있다(930).
일 실시예에 따른 디스플레이 장치는 운전자 시점을 실시간으로 추적하고, 주행 차로를 포함하는 주행 도로의 조명 및/또는 질감 등을 추정하여 3차원의 가상 경로를 끊김없이(seamless) 렌더링 또는 디스플레이할 수 있다.
도 10은 일 실시예에 따라 추정한 차량의 위치 및 주행 환경 모델을 이용하여 생성된 3차원의 가상 경로를 도시한 도면이다. 디스플레이 장치는 예를 들어, 영상 데이터에 포함된 객체를 의미 단위로 분할하여 도 10의 (a)에 도시된 것과 같은 세그먼테이션 영상을 생성할 수 있다. 도 10의 (a)의 세그먼테이션 영상에서 영역(1001)은 도로를 나타내고, 영역(1003)은 인도를 나타내며, 영역(1005)은 건물을 나타낸다.
디스플레이 장치는 예를 들어, 차량의 위치, 세그먼테이션 영상으로부터 파악된 주행 차로, 주행 환경에 대응하는 주행 환경 모델 등을 지도 정보에 정합하여 도 10의 (b)에 도시된 것과 같은 3차원의 가상 경로(1050)를 생성할 수 있다. 이때, 지도 정보는 예를 들어, XX 대학 병원, BB 빌딩, 및 차량의 최종 목적지에 해당하는 OO 커피숍 등의 이름 및 위치 정보 등을 포함할 수 있다.
도 11은 일 실시예에 따른 운전자 시점에 일치하도록 변환된 3차원의 가상 경로를 도시한 도면이다. 도 11의 (a)를 참조하면, 디스플레이 장치에 의해 생성된 3차원의 가상 경로들(1111, 1113, 1115)이 표시된 도면이 도시된다. 디스플레이 장치는 운전자를 모니터링하는 제2 카메라 센서에 의해 운전자 양안의 3차원 위치를 추적함으로써 운전자의 시점을 추적할 수 있다. 디스플레이 장치는 운전자의 시점을 추적하여 3차원의 가상 경로와 주행 도로 간의 3차원 정합을 수행함으로써 도 11의 (b)에 도시된 것과 같이 운전자의 시점에 맞는 3차원의 가상 경로(1115)를 얻을 수 있다.
도 12는 일 실시예에 따른 가상 경로를 디스플레이하는 장치의 프로세스(process) 흐름을 설명하기 위한 도면이다. 도 12를 참조하면, 일 실시예에 따른 디스플레이 장치(1200)의 처리 과정은 크게 센서 모듈(1210)에 포함된 센서들(1211,1213,1215,1217)을 이용하여 고속 고정밀로 차량의 위치를 추정하여 증강 현실 객체(예를 들어, 3차원의 가상 경로)를 생성하는 과정과 운전자의 시점 및 조명 및 질감 등을 포함하는 주행 도로의 환경을 센싱하여 증강 현실 객체를 렌더링하는 과정으로 구분할 수 있다.
센서 모듈(1210)은 예를 들어, GPS 센서(1211), IMU 센서(1213), OBD 센서(1215), 및 스테레오 카메라(stereo camera) 센서(1217)를 포함할 수 있다. 예를 들어, GPS 센서(1211)는 도 15에 도시된 GPS 센서(1511)이고, IMU 센서(1213)는 도 15에 도시된 IMU 센서(1513), OBD 센서(1215)는 도 15에 도시된 OBD 센서(1515)이며, 스테레오 카메라 센서(1217)는 도 15에 도시된 제1 카메라 센서(1517)일 수 있다.
디스플레이 장치(1200)는 센싱 속도 및 정확도가 서로 다른 센서들(1211, 1213, 1215,1217)로부터 비동기적으로 센싱 데이터를 수신할 수 있다(1220). 디스플레이 장치(1200)는 스테레오 카메라 센서(1217)로부터 획득한 영상 데이터를 이용하여 시각적 주행 거리를 측정할 수 있다(1225). 디스플레이 장치(1200)는 단계(1220)에서 수신한 센싱 데이터와 단계(1225)에서 측정한 시각적 주행 거리를 이용하여 차량의 위치를 추정할 수 있다(1240).
또한, 디스플레이 장치(1200)는 스테레오 카메라 센서(1217)로부터 획득한 영상 데이터를 이용하여 영상을 분할(1230)하여 세그먼테이션 영상을 생성할 수 있다. 디스플레이 장치(1200)는 세그먼테이션 영상 및 시각적 주행 거리를 이용하여 세그먼테이션 영상에 포함된 객체들의 깊이 값을 추정할 수 있다(1232). 단계(1232)에서 디스플레이 장치(1200)는 깊이 값 추정과 함께 주행 차로를 식별할 수 있다. 디스플레이 장치(1200)가 주행 차로를 식별하는 방법의 일 예는 다음과 같다.
디스플레이 장치(1200)는 예를 들어, 세그먼테이션 영상과 영상 데이터로부터 추출한 도로 노면 표시(road marking)를 이용하여 가상 차로들을 생성할 수 있다. 디스플레이 장치(1200)는 세그먼테이션 영상에서 주행 차로의 좌,우측 차로 경계선을 세그먼테이션 영상에 피팅한 후, 피팅된 좌,우 차로 경계선을 평행하게 등간격으로 좌우로 배치하여 가상 차로들을 생성할 수 있다. 디스플레이 장치(1200)는 차량이 주행 도로의 차로들의 개수를 기초로 가상 차로들에서의 주행 차로의 상대적인 위치를 결정함으로써 차량의 주행 차로를 식별할 수 있다. '도로 노면 표시'는 차량이 운행하는 도로 노면 상에 기재된 표시로서 차선(lines) 및 차선 이외의 도로 표지(road sign)를 포함할 수 있다.
디스플레이 장치(1200)는 식별된 주행 차로 및 객체들의 깊이 값을 이용하여 주행 환경 모델(예를 들어, 3D 도로 모델)을 모델링하고(1234), 추정된 차량의 위치, 및 및 주행 환경 모델을 지도 정보에 정합(1245)하여 3차원의 가상 경로를 생성할 수 있다(1250).
디스플레이 장치(1200)는 영상 분할을 통해 생성된 세그먼테이션 영상(또는 영상 데이터)를 이용하여 차량의 주행 차로를 포함하는 영역의 조명 및 질감을 추정할 수 있다(1236). 또한, 디스플레이 장치(1200)는 운전자 모니터에 포함된 카메라 센서(1219)를 이용하여 운전자 양안의 3차원 위치를 추적함으로써 운전자의 시선을 추적할 수 있다(1280). 카메라 센서(1219)는 예를 들어, 도 15에 도시된 제2 카메라 센서(1550)일 수 있다. 디스플레이 장치(1200)는 운전자 양안의 3차원 위치를 이용하여 헤드-업 디스플레이 장치(1270)를 통해 표시되는 3차원의 가상 경로를 포함하는 가상 영상과 운전자 시점 간의 변환 관계를 예측할 수 있다(1285).
디스플레이 장치(1200)는 단계(1285)에서 예측된 가상 영상과 운전자 시점 간의 변환 관계 및 단계(1236)에서 추정된 차량의 주행 차로를 포함하는 영역의 조명 및 질감을 적용하여 단계(1250)에서 생성된 3차원의 가상 경로를 렌더링할 수 있다(1260). 단계(1260)에서 렌더링된 3차원의 가상 경로는 최종적으로 헤드-업 디스플레이 장치(1270)를 통해 디스플레이될 수 있다.
도 13은 일 실시예에 따른 가상 경로를 디스플레이하는 장치에서의 데이터(data) 흐름을 설명하기 위한 도면이다. 도 13을 참조하면, 일 실시예에 따른 디스플레이 장치에서 비동기적으로 수신되는 센싱 데이터들의 데이터 흐름을 나타낸 도면(1300)이 도시된다. 각 센서들에서 수신되는 센싱 데이터들의 특징은 다음과 같다.
GPS 센서(1211)의 센싱 데이터는 저속(예를 들어, 1Hz)으로 측정되고, GPS 신호의 수신 음영 지역에서는 측정 불가하다. GPS 센서(1211)의 센싱 데이터는 차량의 절대 경로를 포함할 수 있다. IMU 센서(1213) 및 OBD 센서(1215)의 센싱 데이터는 고속(예를 들어, 100Hz)으로 측정되지만, 측정 성능은 낮다. IMU 센서(1213) 및 OBD 센서(1215)의 센싱 데이터는 차량의 상대 경로를 포함할 수 있다. OBD 센서(1215)의 센싱 데이터는 1~10Hz의 저속으로 측정되지만, 측정 성능은 높다. OBD 센서(1215)의 센싱 데이터는 차량의 상대 경로를 포함할 수 있다.
디스플레이 장치는 스테레오 카메라 센서(1217)로부터 획득한 영상 데이터를 이용하여 시각적 주행 거리(1225)를 측정하는 데에는 상당한 처리 시간(예를 들어, 100ms~1s)이 소요될 수 있다. 따라서, 시각적 주행 거리에 기초하여 위치를 추정한 결과는 영상 데이터가 획득된 시간에서 처리 시간이 더해진 과거의 위치 정보에 해당할 수 있다.
일 실시예에 따른 디스플레이 장치는 비동기적으로 입력(수신)되는 센싱 데이터들 별로, 해당 센싱 데이터가 처리된 처리 시간에 대한 정보를 삽입할 수 있다(1310).
디스플레이 장치(1300)는 서로 다른 처리 시간(에 대한 정보)을 갖는 센싱 데이터들을 이용하여 차량의 위치를 추정할 수 있다(1320).
디스플레이 장치(1300)는 단계(1320)에서 추정된 차량의 위치와 단계(1234)에서의 3D 도로 모델링 결과로부터 랜드마크를 추정한 결과를 이용하여 고정밀의 지도 정합을 수행할 수 있다(1330). 여기서 랜드마크는 고정밀 지도에 기술되어 있는 물체(예를 들어, 신호등, 교통 안내 표지판 등)를 의미한다. '랜드마크를 추정한 결과를 이용하여 고정밀의 지도 정합을 수행한다'는 것은 3차원 도로 모델링 결과에서 추정한 제1 랜드마크와, 단계(1320)에서 추정된 차량의 위치에서 추출한 고정밀 지도에서의 제2 랜드마크 간의 정합을 수행한다는 것으로 이해될 수 있다. 랜드마크들 간의 정합을 수행하는 방법으로는 예를 들어, 제1 랜드마크와 제2 랜드마크 간의 거리가 최소가 되는 것을 쌍으로 만드는 방법, 및 제1 랜드마크와 제2 랜드마크의 쌍(pair)의 거리의 총합이 최소가 되도록 쌍을 만드는 방법 등이 있다.
일 실시예에서는 센서들의 다양한 측정 시간들에서 수집된 센싱 데이터들을 통합하여 위치를 추정할 수 있다. 디스플레이 장치는 고속의 센서로부터 수신된 센싱 데이터를 이용하여 3차원의 가상 경로의 렌더링 속도를 고속으로 유지하는 한편, 저속의 정밀도가 높은 센서로부터 수신된 센싱 데이터를 이용하여 3차원의 가상 경로의 정확도를 확보할 수 있다.
도 14는 일 실시예에 따른 가상 경로를 디스플레이하는 장치의 상세 동작을 설명하기 위한 도면이다. 도 14를 참조하면, 일 실시예에 따른 디스플레이 장치의 상세 동작의 흐름을 나타낸 도면(1400)이 도시된다. 이하에서 도 12 내지 도 13을 통해 이미 설명한 내용에 대한 설명은 생략하기로 한다.
일 실시예에 따른 디스플레이 장치의 동작은 크게 센서 기반(Sensor-based) 및 영상 기반(Vision-based)의 위치 추정(localization) 과정, 3D 모델링(3D Modeling) 과정, 및 렌더링(Rendering) 과정으로 구분할 수 있다.
디스플레이 장치는 센서 기반의 위치 추정 과정을 통해 얻어진 차량의 위치, 영상 기반의 위치 추정 과정에서의 주행 차로 식별(1410)을 통해 얻어진 주행 차로의 위치, 및 깊이 값 추정(1232)을 통해 얻어진 객체들의 위치, 및 3D 모델링 과정에서 얻어진 3D 모델(예를 들어, 3차원의 주행 환경 모델)에 기반하여 지도 정합을 수행함으로써 지도 상에서의 차량의 위치를 정확하게 표현할 수 있다(1430). 이때, 3D 모델링(1234)는 영상 분할(1230)을 통해 생성된 세그먼테이션 영상으로부터 랜드마크(예를 들어, 신호등, 표지판 등)의 영역을 추출하고, 랜드마크 영역의 3차원 깊이 값을 이용한 3차원 모델링에 의해 수행될 수 있다.
디스플레이 장치는 예를 들어, 내비게이션에 입력된 목적지 정보 및 도착지 정보 등에 따른 경로 계획(1440)을 반영하여 3차원의 가상 차로를 생성(1250)하고, 생성된 3차원의 가상 차로를 렌더링할 수 있다.
시각적 주행 거리를 산출(1225)하는 시간, 주행 차로를 식별(1410)하는 시간, 및 깊이 값을 추정(1232)하는 시간은 컴퓨팅 파워(computing power)에 종속적이지만, 일반적으로 카메라의 입력 속도인 30Hz 이하의 속도를 갖는다. 시각적 주행 거리(1225)는 IMU 센서(1213) 보다 간헐적으로 상대 위치 정보 및 자세 정보를 센싱하지만 정확한 측정치를 제공할 수 있다. 디스플레이 장치는 주행 차로 식별(1410) 및 깊이 값 추정(1232)을 통해 획득된 정보를 지도와 정합하여 1m 이하의 오차를 갖는 고정밀 센싱 정보를 추정할 수 있다. 또한, 디스플레이 장치는 운전자의 머리 또는 시선 추적을 통해 운전자의 시점이 변경되더라도 가상 객체(3차원의 가상 경로)가 실제 주행 중인 도로에 정확하게 정합되도록 변환할 수 있다. 디스플레이 장치는 자연스러운 3차원 객체의 렌더링을 위해 차량의 주행 차로를 포함하는 주행 도로의 조명 및 질감을 추정하여 3차원의 가상 경로에 적용할 수 있다.
일 실시예에 따르면, 증강 현실 고정밀 내비게이션 정보가 주행 환경 및 운전자의 시점에 맞게 고속 렌더링 됨으로써 운전에 방해가 되지 않는 자연스러운 정보 전달이 가능하게 된다.
도 15는 일 실시예에 따른 가상 경로를 디스플레이하는 장치의 블록도이다. 도 15를 참조하면, 일 실시예에 따른 가상 경로를 디스플레이하는 장치(이하, '디스플레이 장치')(1500)는 센서 모듈(1510), 메모리(1520), 프로세서(1530), 및 디스플레이 장치(1540)를 포함한다. 디스플레이 장치(1500)는 제2 카메라 센서(1550) 및 통신 인터페이스(1560)를 더 포함할 수 있다. 센서 모듈(1510), 메모리(1520), 프로세서(1530), 디스플레이(1540), 제2 카메라 센서(1550), 및 통신 인터페이스(1560)는 통신 버스(1505)를 통해 서로 통신할 수 있다.
센서 모듈(1510)은 차량의 위치, 차량의 자세, 및 차량의 주행 환경을 포함하는 영상 등의 센싱 데이터들을 감지하는 센서들(1511, 1513, 1515, 1517)을 포함한다. 센서 모듈(1510)은 예를 들어, GPS 센서(1511), IMU 센서(1513), OBD 센서(1515), 및 제1 카메라 센서(1517)를 포함할 수 있다. GPS 센서(1511)는 예를 들어, GPS 좌표로 표시되는 차량의 절대 위치 또는 절대 경로를 측정할 수 있다. IMU 센서(1513)는 예를 들어, 이동 거리 등을 포함하는 차량의 상대 경로를 측정할 수 있다. OBD 센서(1515)는 차량의 주행 거리를 측정할 수 있다. 제1 카메라 센서(1517)는 차량의 주행 환경을 포함하는 영상 데이터를 캡쳐(capture)할 수 있다. 제1 카메라 센서(1517)는 CIS(CMOS Image Sensor) 이미지 센서 또는 비전 센서일 수 있다. 제1 카메라 센서(1517)는 모노 카메라이거나 또는 스테레오 카메라일 수 있다. 도면에 도시하지는 않았지만, 센서 모듈(1510)은 예를 들어, 레이더(Radar), 라이다(lidar), 초음파 센서, 적외선 카메라 등을 더 포함할 수도 있다. 디스플레이 장치(1500)는 예를 들어, 레이더, 라이더, 스테레오 카메라를 이용한 스테레오 매칭 방법, 및 SLAM 기법 중 적어도 하나를 이용하여 깊이 값을 획득할 수 있다.
센서들(1511, 1513, 1515, 1517)에 의해 감지된 센싱 데이터들은 센서들(1511, 1513, 1515, 1517) 별로 서로 독립적으로 샘플링될 수 있다.
메모리(1520)는 지도 정보를 저장한다. 메모리(1520)는 통신 인터페이스(1560)를 통해 수신된 내비게이션 정보를 저장할 수 있다. 메모리(1520)는 센서 모듈(1510)에 포함된 센서들의 센싱 데이터 및 프로세서(1530)에 의해 생성된 3차원의 가상 경로를 저장할 수 있다.
프로세서(1530)는 센서 모듈(1510)에 포함된 센서들(1511, 1513, 1515, 1517)로부터 비동기적으로 수신되는 센싱 데이터들에 기초하여 차량의 위치를 추정한다. 프로세서(1530)는 센싱 데이터들에 의해 예를 들어, 차량의 현재 위치 정보, 자세 정보 및 차량의 방향 정보 등을 파악하여 차량의 위치를 추정할 수 있다.
프로세서(1530)는 차량의 위치와 차량의 주행 환경에 대응하는 주행 환경 모델을 지도 정보에 정합하여 3차원의 가상 경로를 생성한다. 프로세서(1530)는 센싱 데이터들 별로, 해당 센싱 데이터가 처리된 처리 시간에 대한 정보를 삽입하고, 다른 처리 시간에 대한 정보를 갖는 센싱 데이터들을 이용하여 차량의 위치를 추정할 수 있다.
프로세서(1530)는 센서들(1511, 1513, 1515, 1517) 중 어느 하나의 센서로부터 제1 시간에 수신된 제1 센싱 데이터에 기초하여 차량의 제1 위치를 추정할 수 있다. 프로세서(1530)는 어느 하나의 센서를 포함하는 센서들(1511, 1513, 1515, 1517)로부터 제2 시간에 수신된 제2 센싱 데이터에 기초하여 제1 위치를 제2 위치로 갱신할 수 있다. 프로세서(1530)는 센서들(1511, 1513, 1515, 1517)로부터 제3 시간에 수신된 제3 센싱 데이터에 기초하여 차량의 제2 위치를 제3 위치로 갱신할 수 있다.
프로세서(1530)는 제1 카메라 센서(1517)로부터 획득한 영상 데이터를 이용하여 시각적 주행 거리를 측정하고, 센싱 데이터들 및 시각적 주행 거리를 이용하여 차량의 위치를 추정할 수 있다. 프로세서(1530)는 센싱 데이터들 중 영상 데이터를 제외한 어느 하나의 센싱 데이터를 이용하여 차량의 위치를 추정하고, 영상 데이터에 기초한 시각적 주행 거리를 이용하여 차량의 위치를 보정할 수 있다.
프로세서(1530)는 제1 카메라 센서(1517)로부터 획득한 영상 데이터를 이용하여 세그먼테이션 영상을 생성하고, 세그먼테이션 영상에 포함된 객체들을 검출할 수 있다. 프로세서(1530)는 객체들로부터 식별된 차량의 주행 차로 및 객체들의 깊이 값을 이용하여 주행 환경 모델을 생성할 수 있다. 프로세서(1530)는 차량의 위치, 주행 차로 및 객체들의 깊이 값을 지도 정보에 정합하여 3차원의 가상 경로를 생성할 수 있다.
프로세서(1530)는 제1 카메라 센서(1517)로부터 획득한 영상 데이터를 이용하여 생성된 세그먼테이션 영상으로부터 차량의 주행 차로를 포함하는 영역의 조명 및 질감을 추정할 수 있다. 프로세서(1530)는 조명 및 상기 질감을 이용하여 상기 3차원의 가상 경로를 변환할 수 있다.
디스플레이 장치(1540)는 프로세서(1530)에 의해 생성된 3차원의 가상 경로를 디스플레이 한다. 디스플레이 장치(1540)는 예를 들어, 헤드-업 디스플레이(Head-Up Display; HUD) 장치일 수 있다.
제2 카메라 센서(1550)는 차량의 운전자 시점을 추적할 수 있다. 이때, 프로세서(1530)는 차량의 운전자 시점에 일치하도록 3차원의 가상 경로를 변환하고, 변환된 가상 경로를 디스플레이 장치(1540)를 통해 디스플레이할 수 있다.
프로세서(1530)는 운전자 양안의 3차원 위치를 추적함으로써 차량의 운전자 시점을 추적할 수 있다. 프로세서(1530)는 운전자 양안의 3차원 위치를 이용하여 헤드-업 디스플레이 장치를 통해 표시되는 가상 영상과 운전자 시점 간의 변환 관계를 예측할 수 있다. 프로세서(1530)는 변환 관계에 기초하여 3차원의 가상 경로를 변환할 수 있다.
통신 인터페이스(1560)는 차량이 주행하는 도로에 대응하는 지도 정보 및/또는 내비게이션 정보를 수신할 수 있다. 실시예에 따라서, 통신 인터페이스(1560)는 디스플레이 장치(1500)의 외부에서 촬영된 입력 영상을 수신할 수도 있다.
이 밖에도, 프로세서(1530)는 도 1 내지 도 14를 통해 전술한 방법 또는 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1530)는 프로그램을 실행하고, 디스플레이 장치(1500)를 제어할 수 있다. 프로세서(1530)에 의하여 실행되는 프로그램 코드는 메모리(1520)에 저장될 수 있다.
또한, 메모리(1520)는 상술한 프로세서(1530)의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(1520)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(1520)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1520)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (25)

  1. 센서들로부터 비동기적으로 수신되는 센싱 데이터들에 기초하여 차량의 위치를 추정하는 단계;
    상기 차량의 위치와 상기 차량의 주행 환경에 대응하는 주행 환경 모델을 지도 정보에 정합(registration)하여 3차원의 가상 경로를 생성하는 단계; 및
    상기 3차원의 가상 경로를 디스플레이하는 단계
    를 포함하고,
    상기 차량의 위치를 추정하는 단계는
    상기 센서들 중 어느 하나의 제1 센서로부터 제1 시간에 수신된 제1 센싱 데이터에 기초하여 상기 차량의 제1 위치를 추정하는 단계; 및
    상기 센서들 중 제2 센서로부터 제2 시간에 수신된 제2 센싱 데이터에 기초하여 상기 차량의 제1 위치를 상기 차량의 제2 위치로 갱신하는 단계
    를 포함하며,
    상기 제1 센서, 및 상기 제2 센서는 상기 차량의 위치 또는 자세를 개별적으로 감지하고, 상기 제1 센서, 및 상기 제2 센서 각각의 감지 속도는 동기화되지 않는, 가상 경로를 디스플레이하는 방법.
  2. 제1항에 있어서,
    상기 센서들은
    GPS(Global Positioning System) 센서, IMU(Inertial Measurement Unit) 센서, OBD(On-board diagnostics) 센서, 및 카메라 센서 중 적어도 하나를 포함하는, 가상 경로를 디스플레이하는 방법.
  3. 제1항에 있어서,
    상기 센싱 데이터들을 상기 센서들 별로 서로 독립적으로 샘플링되는, 가상 경로를 디스플레이하는 방법.
  4. 제1항에 있어서,
    상기 차량의 위치를 추정하는 단계는
    상기 센싱 데이터들 별로, 해당 센싱 데이터가 처리된 처리 시간에 대한 정보를 삽입하는 단계; 및
    서로 다른 처리 시간에 대한 정보를 갖는 센싱 데이터들을 이용하여 상기 차량의 위치를 추정하는 단계
    를 포함하는, 가상 경로를 디스플레이하는 방법.
  5. 제1항에 있어서,
    상기 차량의 위치를 추정하는 단계는
    상기 센서들 중 제3 센서로부터 제3 시간에 수신된 제3 센싱 데이터에 기초하여 상기 차량의 제2 위치를 제3 위치로 갱신하는 단계
    를 더 포함하는, 가상 경로를 디스플레이하는 방법.
  6. 제1항에 있어서,
    상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 시각적 주행 거리(visual odometry)를 측정하는 단계
    를 더 포함하고,
    상기 차량의 위치를 추정하는 단계는
    상기 센싱 데이터들 및 상기 시각적 주행 거리를 이용하여 상기 차량의 위치를 추정하는 단계
    를 포함하는, 가상 경로를 디스플레이하는 방법.
  7. 제6항에 있어서,
    상기 센싱 데이터들 및 상기 시각적 주행 거리를 이용하여 상기 차량의 위치를 추정하는 단계는
    상기 센싱 데이터들 중 상기 영상 데이터를 제외한 어느 하나의 센싱 데이터를 이용하여 상기 차량의 위치를 추정하는 단계; 및
    상기 영상 데이터에 기초한 시각적 주행 거리를 이용하여 상기 차량의 위치를 보정하는 단계
    를 포함하는, 가상 경로를 디스플레이하는 방법.
  8. 제1항에 있어서,
    상기 3차원의 가상 경로를 생성하는 단계는
    상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 세그먼테이션 영상을 생성하는 단계;
    상기 세그먼테이션 영상에 포함된 객체들을 검출하는 단계;
    상기 객체들로부터 식별된 상기 차량의 주행 차로(driving lane) 및 상기 객체들의 깊이 값을 이용하여 상기 주행 환경 모델을 생성하는 단계; 및
    상기 차량의 위치, 및 상기 주행 환경 모델을 상기 지도 정보에 정합하여 상기 3차원의 가상 경로를 생성하는 단계
    를 포함하는, 가상 경로를 디스플레이하는 방법.
  9. 제1항에 있어서,
    상기 3차원의 가상 경로를 생성하는 단계는
    상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 상기 차량의 주행 차로를 포함하는 영역의 조명(lighting) 및 질감(texture)을 추정하는 단계; 및
    상기 조명 및 상기 질감을 적용하여 상기 3차원의 가상 경로를 생성하는 단계
    를 포함하는, 가상 경로를 디스플레이하는 방법.
  10. 제1항에 있어서,
    상기 차량의 운전자 시점에 일치하도록 상기 3차원의 가상 경로를 변환(transform)하는 단계
    를 더 포함하고,
    상기 3차원의 가상 경로를 디스플레이하는 단계는
    상기 변환된 가상 경로를 디스플레이하는 단계
    를 포함하는, 가상 경로를 디스플레이하는 방법.
  11. 제10항에 있어서,
    상기 변환된 가상 경로를 디스플레이하는 단계는
    상기 변환된 가상 경로를 상기 차량의 헤드-업 디스플레이(Head-Up Display; HUD) 장치를 통해 디스플레이하는 단계
    를 포함하는, 가상 경로를 디스플레이하는 방법.
  12. 제11항에 있어서,
    상기 3차원의 가상 경로를 변환하는 단계는
    상기 운전자 양안의 3차원 위치를 추적함으로써 상기 운전자 시점을 추적하는 단계;
    상기 운전자 양안의 3차원 위치를 이용하여 상기 헤드-업 디스플레이 장치를 통해 표시되는 가상 영상(virtual image)과 상기 운전자 시점 간의 변환 관계를 예측하는 단계; 및
    상기 변환 관계에 기초하여 상기 3차원의 가상 경로를 변환하는 단계
    를 포함하는, 가상 경로를 디스플레이하는 방법.
  13. 하드웨어와 결합되어 제1항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  14. 차량의 위치, 상기 차량의 자세, 및 상기 차량의 주행 환경을 포함하는 영상을 포함하는 센싱 데이터들을 감지하는 센서들을 포함하는 센서 모듈;
    지도 정보를 저장하는 메모리;
    상기 센서 모듈에 포함된 센서들로부터 비동기적으로 수신되는 센싱 데이터들에 기초하여 차량의 위치를 추정하고, 상기 차량의 위치와 상기 차량의 주행 환경에 대응하는 주행 환경 모델을 상기 지도 정보에 정합하여 3차원의 가상 경로를 생성하는 프로세서; 및
    상기 3차원의 가상 경로를 디스플레이하는 디스플레이 장치
    를 포함하고,
    상기 프로세서는
    상기 센서들 중 어느 하나의 제1 센서로부터 제1 시간에 수신된 제1 센싱 데이터에 기초하여 상기 차량의 제1 위치를 추정하고, 상기 센서들 중 제2 센서로부터 제2 시간에 수신된 제2 센싱 데이터에 기초하여 상기 차량의 제1 위치를 상기 차량의 제2 위치로 갱신하며,
    상기 제1 센서, 및 상기 제2 센서는 상기 차량의 위치 또는 자세를 개별적으로 감지하고, 상기 제1 센서, 및 상기 제2 센서 각각의 감지 속도는 동기화되지 않는, 가상 경로를 디스플레이하는 장치.
  15. 제14항에 있어서,
    상기 센서들은
    상기 차량의 절대 경로를 측정하는 GPS 센서;
    상기 차량의 상대 경로를 측정하는 IMU 센서;
    상기 차량의 주행 거리를 측정하는 OBD 센서; 및
    상기 차량의 주행 환경을 포함하는 영상 데이터를 캡쳐(capture)하는 카메라 센서
    중 둘 이상 또는 이들의 조합을 포함하는, 가상 경로를 디스플레이하는 장치.
  16. 제15항에 있어서,
    상기 센싱 데이터들을 상기 센서들 별로 서로 독립적으로 샘플링되는, 가상 경로를 디스플레이하는 장치.
  17. 제14항에 있어서,
    상기 프로세서는
    상기 센싱 데이터들 별로, 해당 센싱 데이터가 처리된 처리 시간에 대한 정보를 삽입하고, 서로 다른 처리 시간에 대한 정보를 갖는 센싱 데이터들을 이용하여 상기 차량의 위치를 추정하는, 가상 경로를 디스플레이하는 장치.
  18. 제14항에 있어서,
    상기 프로세서는
    상기 센서들 중 제3 센서로부터 제3 시간에 수신된 제3 센싱 데이터에 기초하여 상기 차량의 제2 위치를 제3 위치로 갱신하는, 가상 경로를 디스플레이하는 장치.
  19. 제14항에 있어서,
    상기 프로세서는
    상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 시각적 주행 거리를 측정하고, 상기 센싱 데이터들 및 상기 시각적 주행 거리를 이용하여 상기 차량의 위치를 추정하는, 가상 경로를 디스플레이하는 장치.
  20. 제19항에 있어서,
    상기 프로세서는
    상기 센싱 데이터들 중 상기 영상 데이터를 제외한 어느 하나의 센싱 데이터를 이용하여 상기 차량의 위치를 추정하고, 상기 영상 데이터에 기초한 시각적 주행 거리를 이용하여 상기 차량의 위치를 보정하는, 가상 경로를 디스플레이하는 장치.
  21. 제14항에 있어서,
    상기 프로세서는
    상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 세그먼테이션 영상을 생성하고, 상기 세그먼테이션 영상에 포함된 객체들을 검출하고, 상기 객체들로부터 식별된 상기 차량의 주행 차로 및 상기 객체들의 깊이 값을 이용하여 상기 주행 환경 모델을 생성하며, 상기 차량의 위치, 및 상기 주행 환경 모델을 상기 지도 정보에 정합하여 상기 3차원의 가상 경로를 생성하는, 가상 경로를 디스플레이하는 장치.
  22. 제14항에 있어서,
    상기 프로세서는
    상기 센서들 중 카메라 센서로부터 획득한 영상 데이터를 이용하여 상기 차량의 주행 차로를 포함하는 영역의 조명 및 질감을 추정하고, 상기 조명 및 상기 질감을 이용하여 상기 3차원의 가상 경로를 변환하는, 가상 경로를 디스플레이하는 장치.
  23. 제14항에 있어서,
    상기 차량의 운전자 시점을 추적하는 제2 카메라 센서
    를 더 포함하고,
    상기 프로세서는
    상기 차량의 운전자 시점에 일치하도록 상기 3차원의 가상 경로를 변환하고, 상기 변환된 가상 경로를 상기 디스플레이 장치를 통해 디스플레이하는, 가상 경로를 디스플레이하는 장치.
  24. 제23항에 있어서,
    상기 디스플레이 장치는
    헤드-업 디스플레이 장치를 포함하는, 가상 경로를 디스플레이하는 장치.
  25. 제24항에 있어서,
    상기 프로세서는
    상기 운전자 양안의 3차원 위치를 추적함으로써 상기 차량의 운전자 시점을 추적하고, 상기 운전자 양안의 3차원 위치를 이용하여 상기 헤드-업 디스플레이 장치를 통해 표시되는 가상 영상과 상기 운전자 시점 간의 변환 관계를 예측하며, 상기 변환 관계에 기초하여 상기 3차원의 가상 경로를 변환하는, 가상 경로를 디스플레이 하는 장치.
KR1020170148756A 2017-11-09 2017-11-09 가상 경로를 디스플레이하는 방법 및 장치 KR102434580B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020170148756A KR102434580B1 (ko) 2017-11-09 2017-11-09 가상 경로를 디스플레이하는 방법 및 장치
US15/919,432 US10732004B2 (en) 2017-11-09 2018-03-13 Method and apparatus for displaying virtual route
CN201810323756.8A CN109764887A (zh) 2017-11-09 2018-04-11 用于显示虚拟路线的方法和装置
EP18167903.6A EP3483558A1 (en) 2017-11-09 2018-04-18 Method and apparatus for displaying virtual route
JP2018117923A JP7210165B2 (ja) 2017-11-09 2018-06-21 仮想経路を表示する方法、装置及びディスプレイ装置
US16/910,942 US11204253B2 (en) 2017-11-09 2020-06-24 Method and apparatus for displaying virtual route

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170148756A KR102434580B1 (ko) 2017-11-09 2017-11-09 가상 경로를 디스플레이하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190052912A KR20190052912A (ko) 2019-05-17
KR102434580B1 true KR102434580B1 (ko) 2022-08-22

Family

ID=62025676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170148756A KR102434580B1 (ko) 2017-11-09 2017-11-09 가상 경로를 디스플레이하는 방법 및 장치

Country Status (5)

Country Link
US (2) US10732004B2 (ko)
EP (1) EP3483558A1 (ko)
JP (1) JP7210165B2 (ko)
KR (1) KR102434580B1 (ko)
CN (1) CN109764887A (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328403B2 (en) * 2020-01-22 2022-05-10 Gary B. Levin Apparatus and method for onboard stereoscopic inspection of vehicle tires
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
US10871777B2 (en) * 2017-11-30 2020-12-22 Uatc, Llc Autonomous vehicle sensor compensation by monitoring acceleration
US10599146B2 (en) * 2018-03-26 2020-03-24 Ford Global Technologies, Llc Action-conditioned vehicle control
KR102627453B1 (ko) * 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
US11767024B2 (en) * 2018-10-25 2023-09-26 Samsung Electronics Co., Ltd. Augmented reality method and apparatus for driving assistance
GB2596708B (en) * 2019-03-07 2024-01-10 Mobileye Vision Technologies Ltd Aligning road information for navigation
CN110135302B (zh) * 2019-04-30 2021-08-31 百度在线网络技术（北京）有限公司 训练车道线识别模型的方法、装置、设备和存储介质
US11222476B2 (en) * 2019-05-14 2022-01-11 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America System to add parallax to video for augmented reality head up display
US10900801B2 (en) * 2019-06-07 2021-01-26 Capital One Services, Llc Augmented reality directions utilizing physical reference markers
US10682980B1 (en) 2019-06-07 2020-06-16 Capital One Services, Llc Systems and methods for test driving cars with limited human interaction
US10589720B1 (en) 2019-06-07 2020-03-17 Capital One Services, Llc Automated system for car access in retail environment
US10591576B1 (en) 2019-06-07 2020-03-17 Capital One Services, Llc Automated system for vehicle tracking
CN110275933B (zh) * 2019-06-26 2022-05-13 广州小鹏汽车科技有限公司 车辆行驶的同步显示方法、装置、终端和计算机设备
CN110427027B (zh) * 2019-07-18 2022-09-02 浙江吉利汽车研究院有限公司 用于自动驾驶的导航路线生成方法、装置和自动驾驶系统
US10871377B1 (en) 2019-08-08 2020-12-22 Phiar Technologies, Inc. Computer-vision based positioning for augmented reality navigation
CN110543173B (zh) * 2019-08-30 2022-02-11 上海商汤智能科技有限公司 车辆定位系统及方法、车辆控制方法及装置
JP2021039007A (ja) * 2019-09-03 2021-03-11 株式会社デンソー 表示制御装置、表示制御方法、および表示制御プログラム
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN110866077B (zh) * 2019-10-30 2022-07-01 武汉光庭信息技术股份有限公司 一种车载gps轨迹地图的展示方法及装置
US10816993B1 (en) * 2019-11-23 2020-10-27 Ha Q Tran Smart vehicle
KR20210080936A (ko) 2019-12-23 2021-07-01 엘지전자 주식회사 Xr 컨텐트 제공 방법 및 xr 디바이스
CN111595357B (zh) * 2020-05-14 2022-05-20 广州文远知行科技有限公司 可视化界面的显示方法、装置、电子设备和存储介质
CN111695489B (zh) 2020-06-09 2023-08-11 阿波罗智能技术(北京)有限公司 建模路线的验证方法、装置、无人车及存储介质
US11385071B2 (en) 2020-08-07 2022-07-12 Micron Technology, Inc. Providing a route with augmented reality
WO2022145738A1 (en) * 2020-12-28 2022-07-07 Samsung Electronics Co., Ltd. Intelligent object tracing system utilizing 3d map reconstruction for virtual assistance
JP2022154082A (ja) * 2021-03-30 2022-10-13 パナソニックＩｐマネジメント株式会社 表示補正システム、表示システム、表示補正方法、及びプログラム
CN113362475A (zh) * 2021-06-29 2021-09-07 视伴科技(北京)有限公司 一种验证已生成的虚拟指路标识的方法及装置
CN113744360A (zh) * 2021-08-12 2021-12-03 的卢技术有限公司 一种高精地图数据自动生成道路元素网格的方法和系统
US11920944B2 (en) * 2021-10-19 2024-03-05 Capital One Services, Llc Dynamically generating scenery for a virtual reality driving session based on route information
WO2023233447A1 (ja) * 2022-05-30 2023-12-07 マクセル株式会社 仮想オブジェクトを表示する装置およびその表示方法
KR102544640B1 (ko) * 2022-12-01 2023-06-21 한국건설기술연구원 차선 감지 및 예측 시스템, 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035755A1 (ja) * 2004-09-28 2006-04-06 National University Corporation Kumamoto University 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
US20100253489A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Distortion and perspective correction of vector projection display

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10170282A (ja) 1996-12-12 1998-06-26 Advantest Corp 位置検出方法および装置
KR100196725B1 (ko) 1996-12-30 1999-06-15 김영환 Gps를 이용한 자동차 항법장치의 맵 매칭방법
US8521411B2 (en) * 2004-06-03 2013-08-27 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
US7451041B2 (en) * 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
US20080082263A1 (en) 2006-08-30 2008-04-03 Harris Corporation Position estimation method and related device
US8793065B2 (en) * 2008-02-19 2014-07-29 Microsoft Corporation Route-based activity planner
JP2010276527A (ja) 2009-05-29 2010-12-09 Sanyo Electric Co Ltd ナビゲーション装置
US8838381B1 (en) * 2009-11-10 2014-09-16 Hrl Laboratories, Llc Automatic video generation for navigation and object finding
CN102169182B (zh) * 2010-02-26 2013-06-12 宏达国际电子股份有限公司 移动导航装置
US9026359B2 (en) * 2010-11-01 2015-05-05 Nokia Corporation Visually representing a three-dimensional environment
CN103033184B (zh) 2011-09-30 2014-10-15 迈实电子(上海)有限公司 用于惯性导航系统的纠错方法、装置和系统
KR101919366B1 (ko) * 2011-12-22 2019-02-11 한국전자통신연구원 차량 내부 네트워크 및 영상 센서를 이용한 차량 위치 인식 장치 및 그 방법
KR101380517B1 (ko) * 2012-09-28 2014-04-01 엘지디스플레이 주식회사 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법
JP2014115247A (ja) 2012-12-12 2014-06-26 Honda Motor Co Ltd 車両位置推定装置およびセンサ情報統合装置
WO2014095071A1 (en) 2012-12-21 2014-06-26 Harman Becker Automotive Systems Gmbh System for a vehicle
US20140232746A1 (en) * 2013-02-21 2014-08-21 Hyundai Motor Company Three dimensional augmented reality display apparatus and method using eye tracking
US9886790B2 (en) * 2013-03-14 2018-02-06 Robert Bosch Gmbh System and method of shadow effect generation for concave objects with dynamic lighting in three-dimensional graphics
US9752889B2 (en) * 2013-03-14 2017-09-05 Robert Bosch Gmbh Time and environment aware graphical displays for driver information and driver assistance systems
TWI526021B (zh) * 2014-01-03 2016-03-11 緯創資通股份有限公司 伺服器管理系統及伺服器管理方法
DE102014006319A1 (de) * 2014-04-30 2015-11-05 Avl List Gmbh System zur Beurteilung und/oder Optimierung des Betriebsverhaltens eines Fahrzeugs
DE102014006322A1 (de) * 2014-04-30 2015-11-05 Avl List Gmbh System und Verfahren zur Analyse der Energieeffizienz eines Fahrzeugs
US9677898B2 (en) * 2014-06-17 2017-06-13 Think Ware Corporation Electronic apparatus and control method thereof
JP2016033474A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 位置算出方法及び位置算出装置
US9528845B2 (en) * 2014-08-27 2016-12-27 Robert Bosch Gmbh Occlusion-reduced 3D routing for 3D city maps
US20160140729A1 (en) 2014-11-04 2016-05-19 The Regents Of The University Of California Visual-inertial sensor fusion for navigation, localization, mapping, and 3d reconstruction
WO2016106358A1 (en) * 2014-12-22 2016-06-30 Robert Bosch Gmbh System and methods for interactive hybrid-dimension map visualization
CN104614704B (zh) * 2015-01-29 2019-05-24 百度在线网络技术（北京）有限公司 一种确定移动终端位置的方法和装置
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
KR101826408B1 (ko) * 2016-03-03 2018-03-22 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
US10102670B2 (en) * 2016-08-18 2018-10-16 Robert Bosch Gmbh System and method for procedurally generated building graphics within a street network of a three-dimensional virtual environment
US10643391B2 (en) * 2016-09-23 2020-05-05 Apple Inc. Immersive virtual display
US20190080612A1 (en) * 2017-09-14 2019-03-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035755A1 (ja) * 2004-09-28 2006-04-06 National University Corporation Kumamoto University 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
US20100253489A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Distortion and perspective correction of vector projection display

Also Published As

Publication number Publication date
US20190137294A1 (en) 2019-05-09
KR20190052912A (ko) 2019-05-17
US20200333159A1 (en) 2020-10-22
JP7210165B2 (ja) 2023-01-23
US10732004B2 (en) 2020-08-04
JP2019086508A (ja) 2019-06-06
EP3483558A1 (en) 2019-05-15
US11204253B2 (en) 2021-12-21
CN109764887A (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
KR102434580B1 (ko) 가상 경로를 디스플레이하는 방법 및 장치
JP7125214B2 (ja) プログラムおよびコンピューティングデバイス
US11593950B2 (en) System and method for movement detection
AU2022203634B2 (en) Localizing vehicle navigation using lane measurements
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
US10962982B2 (en) Crowdsourcing the collection of road surface information
EP3343172B1 (en) Creation and use of enhanced maps
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
CN111771206A (zh) 用于自动驾驶车辆的地图分区系统
CN112105890A (zh) 用于自动驾驶车辆的基于rgb点云的地图生成系统
CN112105893A (zh) 用于自动驾驶车辆的实时地图生成系统
CN112055805A (zh) 用于自动驾驶车辆的点云登记系统
CN111771229A (zh) 用于自动驾驶车辆的点云重影效果检测系统
EP3438925A1 (en) Information processing method and information processing device
CN112740268B (zh) 目标检测方法和装置
CN110895826A (zh) 图像处理的训练数据生成方法、图像处理方法及其装置
CN111006655A (zh) 机场巡检机器人多场景自主导航定位方法
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
KR20200084446A (ko) 전자 장치 및 그의 제어 방법
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN117576652A (zh) 道路对象的识别方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant