WO2023287175A1

WO2023287175A1 - 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로 안내 시스템

Info

Publication number: WO2023287175A1
Application number: PCT/KR2022/010147
Authority: WO
Inventors: 이기형; 장유정; 최성환; 김승만
Original assignee: 엘지전자 주식회사
Priority date: 2021-07-13
Filing date: 2022-07-12
Publication date: 2023-01-19
Also published as: EP4372314A1; US12062136B2; US20240282056A1; KR20240012448A; US20240273837A1; EP4372663A1; KR20240035377A; US20240177418A1; US20240312153A1; WO2023287156A1; US20240273836A1; KR102625688B1; EP4372315A1; KR20240026449A; EP4290185A4; KR20240032697A; EP4372316A1; WO2023287176A1; KR20240012449A; WO2024014709A1

Abstract

본 발명은 경로 안내 장치에 대한 것으로, 클라우드 서버와 통신하는 통신부와, 적어도 하나의 센서로부터, 도로 이미지를 포함하는 차량 주변 환경의 이미지와, 차량의 주행 상태를 센싱한 센싱 정보를 수신하는 인터페이스부와, 센싱 정보 및 클라우드 서버로부터 수신되는 POI 정보를 이용하여 AR 정보를 렌더링하는 AR 모듈과, 센싱 정보 및 클라우드 서버로부터 수신되는 지도 정보를 기초로 가상객체를 포함하는 MR 정보를 렌더링하는 MR 모듈 및, AR 정보를 포함하는 AR 뷰 이미지 또는 MR 정보를 포함하는 MR 뷰 이미지가 상기 차량의 디스플레이부에 표시되도록 상기 인터페이스부를 제어하고, 상기 차량이 특정 상황에 진입하는지 여부에 근거하여, AR 뷰 이미지와 MR 뷰 이미지 중 제1 뷰 이미지가 표시되는 디스플레이부 영역의 일부에 제2 뷰 이미지가 표시되도록 상기 인터페이스부를 제어하는 프로세서를 포함하는 것을 특징으로 한다.

Description

증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로 안내 시스템

본 발명은 차량이 주행할 경로를 안내하는 경로 안내 장치 및 경로 안내 시스템에 관한 것이다.

최근에는, 차량의 윈드쉴드, HUD(Head Up Display)를 통해 그래픽 객체를 출력하거나, 카메라로 촬영되는 영상에 오버랩되는 그래픽 객체를 이용하여 실제 세계에 가상의 객체를 추가로 출력하는 증강현실(Augmented Reality, AR) 기술이 등장하였다. 현재의 차량은 이러한 증강현실 기술을 통해 차량 주변의 환경 및 차량의 상태와 차량의 주행 경로에 관련된 추가적인 정보들을 운전자에게 제공하므로, 운전자는 직관적으로 차량 및 차량의 주행 환경을 인지할 수 있다. 따라서 주행의 효율 및 편의성이 보다 향상될 수 있다.

한편 이러한 증강현실 기술을 활용하는 경우, 실제 현실 세계를 기반으로 차량의 주행에 필요한 다양한 정보들이 제공될 수 있다. 즉 증강현실 기술은, 카메라를 통해 획득되는 실제 현실 세계의 이미지를 이용하는 것으로, 현실 세계의 명확한 이미지의 획득을 필요로 한다. 그런데 상기 현실 세계의 이미지를 획득하는 센서, 즉 카메라는 차량 주변의 실시간 환경을 그대로 센싱하므로, 비 또는 눈 등의 악천우 시, 또는 교통 체증과 같은 복잡한 교통 상황에서는 상기 비나 눈, 또는 가로수 등의 그림자 및 전방의 차량들과 같은 장애물들에 의하여 센서로부터 획득되는 이미지로부터 경로 안내 정보를 정확하게 식별할 수 없다는 문제가 있다.

일 예로, 상기 눈이나 비, 그림자나 전방의 차량으로 인해 카메라는 차량이 현재 주행하고 있는 차선 등을 인식하지 못할 수 있다. 또한 경사로와 같이 차량이 주행하는 도로의 높이가 달라지거나 복잡한 굴곡을 가지는 도로의 경우 상기 경사 또는 도로의 굴곡을 인식하지 못할 수 있다. 그리고 이러한 경우, 차선과 관련된 증강현실 객체를 표시하지 못하거나 또는 잘못된 증강현실 객체가 표시될 수 있다는 문제가 있다. 즉, 카메라를 통해 획득되는 현실 세계의 복잡도나 획득되는 이미지의 상태에 따라, 증강현실 객체와 실제 환경 사이의 불일치가 발생할 수 있다는 문제가 있다.

한편 현재는 이러한 증강현실 기술에 이어, 디지털 트윈(DT, Digital Twin) 기술을 적용하여 차량과 관련된 다양한 시뮬레이션 정보를 제공할 수 있는 혼합현실(Mixed Reality, MR)에 관련된 기술 개발이 활발하게 이루어지고 있다.

이러한 혼합현실에 관련된 기술 개발의 일환으로, 혼합현실을 이용하여 운전자에게 경로 안내와 관련된 정보들을 제공하는 방안이 활발하게 연구되고 있다. 이처럼 혼합현실을 이용한 경로 안내의 경우, 상기 디지털 트윈 기술을 통해 디지털화된 3차원 지도 상에 차량에 대응하는 그래픽 객체를 표시하고, 상기 지도와 상기 그래픽 객체를 통해 운전자가 아직 주행하지 않은 주행 경로에 대한 정보를 제공하거나, 또는 버드뷰(bird view)와 같은 시야각을 제공하는 등, 콕핏(cockpit)위치한 운전자가 확인할 수 없는 다양한 정보들을 상기 운전자에게 제공할 수 있다는 장점이 있다.

이러한 혼합현실은, 디지털화된 3차원 지도를 통해 표시되는 가상의 객체를 통해 차량과 관련된 정보를 제공하는 것으로, 카메라를 통해 획득되는 현실 세계의 이미지와 상관없이 정보를 제공할 수 있다. 따라서 카메라를 통해 획득되는 현실 세계의 복잡도나 획득되는 이미지의 상태에 따라, 제공되는 정보와 실제 환경 사이의 불일치가 발생할 수 있다는 문제는 해결될 수 있다.

그런데 상기 혼합현실은 디지털화된 3차원 지도의 이미지를 통해 정보를 제공한다. 따라서 상기 3차원 지도 이미지와 차량 주변의 현실 세계와의 일치도에 따라 혼합현실을 통해 제공되는 그래픽 객체, 즉 혼합현실 객체와 실제 환경 사이의 불일치가 발생할 수 있다.

그러나 현실 세계와 완전히 동일한 3차원 지도를 제공한다는 것은 매우 어려우며, 이에 따라 건물과 같이 고정된 객체 또는 차량과 같은 일정 수준 이상의 크기를 가지는 물체들의 정보를 제공할 수 있을 뿐, 차량 주변의 사람이나 동물 등, 작거나 감지하기 어려운 객체들은 3차원 지도 이미지를 이용한 혼합현실로 표시하기 어렵다는 문제가 있다.

이러한 문제로 현실 세계의 이미지를 직접 이용하는 증강현실을, 혼합현실로 완전히 대체하기는 어렵다는 문제가 있으며, 이에 따라 증강현실과 혼합현실을 모두 이용할 수 있는 효과적인 방안에 대한 기술 개발이 활발하게 연구 중인 실정이다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.

본 발명의 일 목적은, 혼합현실을 이용하여 증강현실의 단점을 보완할 수 있도록 하는 것으로, 증강현실을 통한 경로 안내 정보의 제공이 어려운 경우, 혼합현실을 이용하여 상기 경로 안내 정보가 제공될 수 있도록 하는 경로 안내 장치 및 경로 안내 시스템을 제공하는 것이다.

본 발명의 일 목적은 혼합현실을 이용하여 증강현실의 단점을 보완할 수 있도록 하는 것으로, 증강현실을 통해 제공되는 정보들의 시인성을 보다 향상시킬 수 있는 경로 안내 장치 및 경로 안내 시스템을 제공하는 것이다.

본 발명의 일 목적은 혼합현실을 이용하여 증강현실의 단점을 보완할 수 있도록 하는 것으로, 증강현실을 통해 표시되는 시야각 내의 영역에 위치한 객체들의 정보들과, 상기 시야각 외의 영역에 위치한 객체들의 정보들을 동시에 제공할 수 있는 경로 안내 장치 및 경로 안내 시스템을 제공하는 것이다.

본 발명의 일 실시 예에 따른 경로 안내 장치는, 클라우드 서버와 통신하는 통신부와, 차량에 구비된 적어도 하나의 센서로부터, 상기 차량이 주행하는 도로 이미지를 포함하는 차량 주변 환경의 이미지와, 상기 차량의 주행 상태를 센싱한 센싱 정보를 수신하는 인터페이스부와, 상기 센싱 정보 및 상기 클라우드 서버로부터 수신되는 POI 정보 중 적어도 하나를 이용하여 AR 정보를 렌더링하는 AR 모듈과, 상기 센싱 정보 및 상기 클라우드 서버로부터 수신되는 지도 정보를 기초로 적어도 하나의 가상객체를 포함하는 MR 정보를 렌더링하는 MR 모듈 및, 상기 AR 정보를 포함하는 AR 뷰 이미지 또는 상기 MR 정보를 포함하는 MR 뷰 이미지가 상기 차량의 디스플레이부에 표시되도록 상기 인터페이스부를 제어하고, 상기 차량이 특정 상황에 진입하는지 여부에 근거하여, 상기 AR 뷰 이미지와 MR 뷰 이미지 중 제1 뷰 이미지가 표시되는 상기 디스플레이부 영역의 일부에 제2 뷰 이미지가 표시되도록 상기 인터페이스부를 제어하는 프로세서를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 프로세서는, 상기 차량의 주행 상태, 상기 차량이 주행하는 도로의 상태, 상기 차량 주변의 기상 상태 및, 상기 차량의 주행이 이루어지는 시간 중 적어도 하나에 따라 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 차량의 주행 상태는, 상기 차량이 정차 중인지 또는 상기 차량이 주행 중인지 여부를 포함하며, 상기 주행 도로의 상태는, 도로의 곡률 변화량 및 도로의 경사도 변화량을 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 프로세서는, 상기 차량의 기울어짐을 감지하는 자이로 센서의 감지값과, 상기 차량이 주행하는 도로의 차선을 검출하는 차선 인식기의 검출 결과에 따라 상기 도로의 곡률 변화량을 산출하며, 상기 차량이 현재 주행하는 도로에 대한 지도 정보에 근거하여 검출되는 고도 특성(vertical profile) 및 고정밀 지도(High Definition MAP, HD MAP)를 통해 검출되는 도로 형상에 따라 산출 및, 산출된 곡률 변화량과 경사도 변화량에 근거하여 상기 차량의 카메라를 통해 획득된 차량 전방의 실제 이미지와 그 실제 이미지 상에 표시되는 AR 객체 간의 오차율(AR fitting rate)에 근거하여 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 프로세서는, 상기 센싱 정보에 근거하여, 주행 경로 상의 상기 차량 위치를 판별하고, 상기 차량이 주행 가능한 경로를 벗어난 경우, 또는 경로 상의 분기점이거나 출구 또는 목적지로부터 일정 거리 이내로 상기 차량이 인접하였는지 여부를 판별하여 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 프로세서는, 상기 센싱 정보에 근거하여, 상기 차량 주변에 위치한 위험 영역 또는 상기 차량 주변으로부터 검출되는 충돌 가능성을 경고하기 위한 경고 정보를 표시하도록 상기 인터페이스부를 제어하고, 상기 표시되는 경고 정보가, 상기 차량의 전방에서 노출되는지 여부에 따라 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 프로세서는, 상기 센싱 정보에 근거하여, 상기 차량 주변으로부터 검출되는 객체들을 판별하고, 판별된 객체들의 개수 및 크기 중 적어도 하나에 근거하여 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 프로세서는, 상기 차량이 상기 특정 상황에 진입하는 경우, 상기 디스플레이부가 제1 디스플레이 영역과 제2 디스플레이 영역으로 분할되도록 상기 인터페이스부를 제어하고, 상기 제1 디스플레이 영역과 상기 제2 디스플레이 영역에 각각 제1 뷰 이미지와 제2 뷰 이미지가 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제1 디스플레이 영역은, 상기 차량으로부터의 거리가 기 설정된 거리 이내인 영역의 이미지가 표시되는 디스플레이 영역이며, 상기 제2 디스플레이 영역은, 상기 차량으로부터의 거리가 상기 기 설정된 거리를 초과하는 영역의 이미지가 표시되는 디스플레이 영역임을 특징으로 한다.

일 실시 예에 있어서, 상기 프로세서는, 상기 제1 디스플레이 영역과 상기 제2 디스플레이 영역에, 상기 AR 뷰 이미지와 상기 MR 뷰 이미지를 각각 표시하도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 프로세서는, 상기 차량이 상기 특정 상황에 진입하면, 상기 제1 뷰 이미지의 카메라 캘리브레이션(calibration)에 따라 제2 뷰 이미지의 카메라 캘리브레이션을 변경하여 상기 제1 뷰 이미지의 주시점과 동일한 주시점을 가지는 제2 뷰 이미지를 생성하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제2 뷰 이미지는, 상기 제1 뷰 이미지의 FOV(Field Of Viiew)에 근거하여, 상기 제1 뷰 이미지의 크기 및 비율이 동일한 이미지임을 특징으로 한다.

일 실시 예에 있어서, 상기 제1 뷰 이미지와 상기 제2 뷰 이미지는, 어느 하나의 뷰 이미지와 다른 하나의 뷰 이미지 사이에서 객체의 이동이 가능하도록, 뷰 이미지의 경계면을 통해 서로 간에 연결되는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 프로세서는, 상기 제1 뷰 이미지가 표시되는 디스플레이 영역의 적어도 일부에, 상기 제2 뷰 이미지가 오버랩되도록 상기 인터페이스부를 제어하며, 상기 제2 뷰 이미지가 오버랩된 상기 디스플레이 영역에, 상기 제1 뷰 이미지에 포함되는 객체들이 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제1 디스플레이 영역은, 상기 차량이 현재 주행하고 있는 주행 경로에 대한 경로 정보를 제공하는 제1 뷰 이미지가 표시되는 영역이고, 상기 제2 디스플레이 영역은, 상기 차량이 아직 주행하지 않은 주행 경로 또는 상기 차량이 이미 주행한 경로에 대한 경로 정보를 제공하는 제2 뷰 이미지가 표시되는 영역임을 특징으로 한다.

본 발명의 일 실시 예에 따른 경로 안내 시스템은, 차량에 탑재되며, 수신되는 POI(Point Of Interest) 정보를 기초로 렌더링되는 AR 정보를 포함하는 AR 뷰 이미지 또는 3차원 지도 정보를 기초로 렌더링되는 MR 정보를 포함하는 MR 뷰 이미지를 상기 차량의 디스플레이부 상에 표시하는 경로 안내 장치 및, 상기 경로 안내 장치의 요청에 따라, 상기 차량의 현재, 과거 또는 예상되는 미래의 위치에 대응하는 POI 정보 또는 3차원 지도 정보를 상기 경로 안내 장치에 제공하는 클라우드 서버를 포함하며, 상기 경로 안내 장치는, 상기 차량이 특정 상황에 진입하는지 여부에 근거하여, 상기 AR 뷰 이미지와 MR 뷰 이미지 중 제1 뷰 이미지가 표시되는 상기 디스플레이부 영역의 일부에 제2 뷰 이미지가 표시되도록 상기 디스플레이부를 제어하는 프로세서를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 클라우드 서버는, 지도 영역에 포함되는 각 건물에 대응하는 가상 객체들을 포함하는 디지털 트윈(Digital Twin)된 3차원 지도 정보를 포함하는 DTaaS(Digital Twin as a Service) 서버와, 상기 경로 안내 장치와 통신 연결을 수행하며, 상기 경로 안내 장치로부터 수집되는 상기 차량의 위치 정보를 상기 DTaaS 서버에 제공 및, 상기 DTaaS 서버로부터 제공되는 디지털 트윈된 3차원 지도 정보를 상기 경로 안내 제공 장치에 제공하는 MR (Mixed Reality) 서버 및, 상기 경로 안내 장치로부터 제공되는 차량의 위치 정보 및 상기 센싱 정보를 수신하고, 수신된 정보에 대응하는 POI 정보를 상기 경로 안내 장치에 제공하는 AR(Augmented Reality) 서버를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 경로 안내 장치는, 상기 제1 뷰 이미지의 일부에 표시되는 상기 제2 뷰 이미지를 통해, 상기 제1 뷰 이미지에 포함된 제1 경로 안내 정보와 상기 제2 뷰 이미지에 포함된 제2 경로 안내 정보가 함께 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.

본 발명의 실시 예에 따른 경로 안내 장치 및 경로 안내 시스템의 효과에 대해 설명하면 다음과 같다.

첫째, 본 발명은 증강현실에 따라 제공되는 뷰 이미지가 정확한 경로 안내 정보를 표시하기 어려운 상태인 경우, 상기 증강현실 뷰 이미지와 일치하는 혼합현실에 따른 뷰 이미지를 제공함으로써, 차량 주변 현실 세계의 상황이나 복잡도, 또는 획득되는 현실 세계의 이미지 상태에 상관없이 운전자에게 정확한 경로 안내 정보를 제공할 수 있다는 장점이 있다.

둘째, 본 발명은 증강현실에 따라 제공되는 증강현실 뷰 이미지의 일부에, 상기 증강현실 뷰 이미지와 일치하는 혼합현실에 따른 뷰 이미지의 일부를 표시하거나, 또는 상기 증강현실 뷰 이미지의 적어도 일부에 상기 혼합현실 뷰 이미지의 적어도 일부를 오버랩함으로써, 차량 주변 객체들에 대해 표시되는 정보들의 시인성을 보다 향상시킬 수 있다는 장점이 있다.

셋째, 본 발명은 증강현실에 따라 제공되는 증강현실 뷰 이미지와 함께 혼합현실에 따른 혼합현실 뷰 이미지를 표시함으로써, 증강현실을 통해 표시되는 시야각 내의 영역에 위치한 객체들의 정보들과, 상기 시야각 외의 영역에 위치한 객체들의 정보들을 하나의 화면에 동시에 표시할 수 있다는 장점이 있다.

도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.

도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.

도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.

도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.

도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블록도이다.

도 8a는 본 발명의 AR 서비스 플랫폼을 설명하기 위한 개념도이다.

도 8b는 본 발명의 MR 서비스를 제공하기 위한 MR 서비스 플랫폼을 설명하기 위한 개념도이다.

도 8c는 본 발명의 MR AMS 클라이언트를 설명하기 위한 개념도이다.

도 8d는 본 발명의 MR AMS 서버를 설명하기 위한 개념도이다.

도 9는 본 발명의 DTaaS 서버를 설명하기 위한 개념도이다.

도 10a는 본 발명의 실시 예에 따른 경로 안내 장치의 구조를 도시한 블록도이다.

도 10b는 본 발명의 실시 예에 따른 경로 안내 장치를 통해 경로 안내 정보를 표시하는 디스플레이의 예를 도시한 예시도이다.

도 11은 본 발명의 실시 예에 따른 경로 안내 장치가, 동작 모드 전환을 통해 AR 또는 MR 중 어느 하나를 통해 경로 안내 정보를 제공하는 동작 과정을 도시한 흐름도이다.

도 12는 본 발명의 실시 예에 따른 경로 안내 장치가, AR 뷰 이미지에 대응하는 MR 뷰 이미지를 생성하는 예를 도시한 예시도이다.

도 13은 본 발명의 실시 예에 따른 경로 안내 장치에서 표시되는 AR 뷰 이미지와, 그 AR 뷰 이미지에 대응하는 MR 뷰 이미지의 예를 도시한 것이다.

도 14는 본 발명의 실시 예에 따른 경로 안내 장치에서, AR 뷰 이미지의 오차율에 따라 동작 모드를 전환하는 동작 과정을 도시한 흐름도이다.

도 15a는, AR 모드에서 MR 모드로 전환되는 경우에, MR 모드에 따른 MR 뷰 이미지를 통해 경로 안내 정보가 제공되는 동작 과정을 도시한 흐름도이다.

도 15b는, MR 모드에서 AR 모드로 전환되는 경우에, AR 모드에 따른 AR 뷰 이미지를 통해 경로 안내 정보가 제공되는 동작 과정을 도시한 흐름도이다.

도 16은 본 발명의 실시 예에 따른 경로 안내 장치가, 디스플레이 영역을 분할하여 AR 뷰 이미지와 MR 뷰 이미지를 동시에 표시하는 동작 과정을 도시한 흐름도이다.

도 17은, 도 16의 동작 과정을 통해 AR 뷰 이미지와 MR 뷰 이미지가 각각 표시되는 디스플레이 화면의 예를 도시한 것이다.

도 18은 디스플레이 영역의 분리를 통해 AR 뷰 이미지와 MR 뷰 이미지가 혼합된 디스플레이 화면을 생성하는 동작 과정을 도시한 흐름도이다.

도 19는 도 18의 동작 과정을 통해 분리된 영역에 각각 AR 뷰 이미지와 MR 뷰 이미지가 표시되는 디스플레이 화면의 예를 도시한 것이다.

도 20은 본 발명의 실시 예에 따른 경로 안내 장치가, 제1 뷰 이미지가 표시되는 영역의 적어도 일부에, 제2 뷰 이미지를 오버랩하는 동작 과정을 도시한 흐름도이다.

도 21과 도 22는, 도 20의 동작 과정에 따라 제1 뷰 이미지가 표시되는 디스플레이 영역의 적어도 일부에, 제2 뷰 이미지가 오버랩되는 예시도들이다.

도 23은 본 발명의 실시 예에 따른 경로 안내 장치가, 복수의 AR 뷰 이미지와 복수의 MR 뷰 이미지가 혼합되어 디스플레이 화면을 구성하는 예를 도시한 예시도이다.

도 24는 본 발명의 실시 예에 따른 경로 안내 장치를 통해 AR 뷰 이미지 및 MR 뷰 이미지의 복합 화면이 표시되는 예시도들이다.

도 25는 본 발명의 실시 예에 따른 경로 안내 장치가 MR을 통해 제공하는 경로 안내 정보로서, 차량이 주행할 경로에 대한 미리보기 정보가 제공하는 예를 도시한 예시도이다.

도 26은, 상기 도 25에서 미리보기 정보를 제공하기 위한 경로 안내 정보가 드론뷰 또는 프리뷰 카메라를 통해 제공되는 예를 도시한 예시도들이다.

도 27은 본 발명의 실시 예에 따른 경로 안내 장치가, 차량의 속도에 따라 주변 건물들의 이미지를 다르게 표시하는 MR 뷰 이미지의 예를 도시한 예시도이다.

도 28은 본 발명의 실시 예에 따른 경로 안내 장치가, MR 뷰 이미지를 통해 POI 정보를 제공하는 예를 도시한 예시도이다.

도 29는 본 발명의 실시 예에 따른 경로 안내 장치가, 차량의 주행에 따라 수집된 POI들 중 탑승자의 선택에 따른 어느 하나에 대한 상세 정보를 표시하는 예를 도시한 예시도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.

본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.

이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.

도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.

도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.

차량(100)은 자율 주행 차량일 수 있다.

차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.

예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.

차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.

예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.

예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.

차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.

차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.

예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.

차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.

전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.

도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 차량 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.

실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.

사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.

실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.

입력부(200)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(120)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.

입력부(200)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(200)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.

입력부(200)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.

음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.

음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.

제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.

제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.

실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.

제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.

터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.

터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.

실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.

기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.

기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.

내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.

생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.

출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.

출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.

디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.

디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.

디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.

디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.

투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.

한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.

디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.

음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.

햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.

프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.

실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.

사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.

한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.

사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.

오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.

오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.

도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.

차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.

타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.

보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.

이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.

교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.

빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.

도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.

구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.

지형물은, 산, 언덕, 등을 포함할 수 있다.

한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.

오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.

실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.

예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.

예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.

예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.

카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.

레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.

레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.

라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.

구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.

비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.

라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.

프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.

프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.

오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.

오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.

통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.

통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.

통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.

실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.

위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.

V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.

광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.

실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.

방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.

프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.

실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.

통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.

한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.

통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.

운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.

메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.

운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.

조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.

가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.

운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.

차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.

차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.

실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.

파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.

파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.

동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.

예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.

예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.

변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.

변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.

한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.

샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.

샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.

조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.

브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.

한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.

서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.

한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.

도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.

도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.

도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.

윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.

안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.

안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.

에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.

시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.

보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.

램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.

공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.

차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.

차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.

운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.

운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.

실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.

한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.

한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.

주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.

주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.

출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.

주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 안내 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.

내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.

실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.

실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.

센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.

센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.

센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.

차량 인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 차량 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 차량 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.

한편, 차량 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 차량 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.

메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.

실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.

제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.

전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.

차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

본 발명의 AR 서비스를 제공하는 AR 서비스 플랫폼은, AR 서비스 시스템으로 명명될 수 있다.

상기 AR 서비스 플랫폼은, 차량 외부에 구비되며, AR 서비스에 필요한 정보를 수집 및 가공하여 상기 차량으로 전송하는 서버(850) 및 상기 차량에 구비되며, 상기 서버에서 전송된 정보를 이용하여 AR 서비스를 제공하는 AR 서비스 장치(800)를 포함할 수 있다.

상기 서버(850)에서 AR 서비스에 필요한 정보를 수집 및 가공하여 차량으로 전송한다는 것은, 상기 서버(850)가 상기 AR 서비스에 필요한 정보를 수집 및 가공하여 차량에 구비된 AR 서비스 장치(800)로 전송한다는 의미를 포함할 수 있다.

상기 AR 서비스 장치(800)는, 차량의 상황에 근거하여, AR 서비스로 제공되는 정보를 가변시킬 수 있다.

즉, 본 발명의 AR 서비스 장치(800)는, AR로 표시할 정보와 정보량을 차량의 상황에 따라 동적으로 조절(가변)하고, 강조할 정보를 선별할 수 있다.

또한, 본 발명의 AR 서비스 플랫폼은, 차량 상황, 광고 노출 조건 등 특정 조건에 따라 차량에서 제공되는 AR 서비스가 달라지도록 제어할 수 있다.

종래의 AR 네비게이션의 경우, 목적지나 주요 POI(Point of Interest)를 AR 네비게이션에서 표시할 때, 지도 데이터에 저장된 정보를 이용하기 때문에 최신 정보를 반영하기 어렵고, 주유/주차 등과 같이 실시간 속성이 포함된 POI는 제공하지 못하는 한계가 존재한다.

반면, 본 발명의 AR 서비스 플랫폼은, 차량의 위치 정보, 지도 정보, 복수의 센서 데이터, 실시간 POI 정보, 광고/이벤트 정보 등을 융합하여 AR 네비게이션에 표시할 수 있다.

일 예로, AR 정보 표시를 위해, 본 발명의 AR 서비스 장치(800)는, 차량의 현위치, 네비게이션 경로/안내 정보를 기반으로 서버로부터 AR 서비스 정보를 수신하고, AR 네비게이션 화면에 표시하기 위한 형태로 가공할 수 있다.

일 예로, 본 발명의 AR 서비스 장치(800)는, 실시간 AR 표시 정보 재구성할 수 있다. AR 서비스 장치(800)는, 서버로부터 수신 받은 서비스 데이터를 주행 상황을 고려하여 AR 컨텐츠의 표시 형식, 크기, 위치, 노출 방법 등을 판단하여 AR 네비게이션 화면에 표시하도록 재구성할 수 있다(예, 주행 속도에 따라 POI 노출 위치 및 크기 가변화, 교통 트래픽 상황에 따른 서비스 정보 노출 위치 변경, AR Wall 표시 위치 및 노출 시간 조정 등).

또한, 본 발명의 AR 서비스 장치(800)는, 사용자 피드백을 통한 AR 표시 정보 노출 빈도 분석할 수 있다.

서버(850)는 AR 서비스 컨텐츠에 대한 사용자 입력 정보(터치, 주문 등의 입력 정보)를 수집하여 컨텐츠 노출 빈도 분석을 수행하고, 해당 정보를 기반으로 서비스 컨텐츠 노출 정책을 조정할 수 있다.

이러한 구성을 통해, 본 발명은, 다양한 외부 서비스 컨텐츠를 융합하여 AR 네비게이션에 표현이 가능하고, 실시간 속성이 포함된 POI 정보를 통해 다양한 서비스를 제공할 수 있다.

또한, 본 발명은, POI 정보뿐만 아니라 광고, 이벤트, 주요 랜드마크 정보 등 다양한 형태의 AR 컨텐츠 표시가 가능하다.

또한, 본 발명에서 제안하는 UX 시나리오 기반의 실시예를 통하여, AR 네비게이션의 새로운 사용자 경험을 제시할 수 있다.

본 발명은, AR로 표시할 정보량(POI 데이터, 광고)을 차량 상황과 광고 노출 조건에 따라 동적으로 조절하는 서비스 플랫폼 구조 및 AR 정보 표시 방법(UX), AR 표현을 위한 POI 정보와 커머스 서비스 정보를 수집하고 AR 엔진에서 렌더링하기 쉬운 형태로 가공하는 모듈, 차량 내/외 상황에 따라 특정 POI 정보를 강조하도록 처리하는 모듈, 차량 상황 정보를 수집하고 상황에 맞게 UX 정책을 적용하는 모듈 및 UX 정책에 따라 AR 오브젝트(Group Poi, Mini Poi, 3D Object, Event wall 등)를 렌더링하는 AR 엔진 모듈을 제공할 수 있다.

또한, 본 발명은, 차량 전석, 후석 디스플레이간 인터랙션 및 데이터를 송수신하는 클라이언트 모듈, POI와 연계된 커머스 서비스 정보를 노출하는 Service App 모듈, AR 광고 오브젝트 노출 결과, 클릭 등 광고에 대한 사용자 액션을 수집하는 클라이언트 모듈 및 AR 광고 오브젝트 노출 결과, 클릭 등 광고에 대한 사용자 액션을 수집/분석하는 클라우드 모듈을 제공할 수 있다.

도 8a를 참조하면, 본 발명의 AR 서비스 플랫폼은, 차량 외부에 존재하는 구성(Off-board)인 서버(850)와, 차량에 구비되는 구성(On-board)인 AR 서비스 장치(800)를 포함할 수 있다.

우선, 서버(850)는, POI 데이터 애그리게이터(POI Data Aggregator)(851), 광고 매니저부(Ads manager)(852), 광고 모니터링부(Ads Monitoring)(853), 서비스 및 광고 매니저부(Service & Ads Manager)(854), 커머스 매니저부(Commerce Manager)(855), 데이터베이스 커넥터(DB Connector)(856) 및 대쉬보드(Dashboard)(857)를 포함할 수 있다.

POI 데이터 애그리게이터(POI Data Aggregator)(851)는 AR 서비스에 필요한 정보를 복수개의 외부 서버로부터 받아와 AR 서비스 플랫폼의 메시지 포맷으로 변환/통합할 수 있다.

광고 매니저부(Ads manager)(852)는, 광고 정보/컨텐츠 관리, 광고 캠페인(광고 노출 조건) 관리를 수행할 수 있다.

광고 모니터링부(Ads Monitoring)(853)는, 광고 노출, 클릭 결과 수집/저장할 수 있다.

서비스 및 광고 매니저부(Service & Ads Manager)(854)는, 서비스 정보에 노출 조건에 맞는 광고 정보를 삽입하여 클라이언트에 제공할 수 있다.

커머스 매니저부(Commerce Manager)(855)는, 커머스 서비스 연동 / 결제 정보 수집할 수 있다.

데이터베이스 커넥터(DB Connector)(856)는, 광고 컨텐츠, 광고 노출 결과 정보, 커머스 결제 정보 저장/쿼리할 수 있다.

대쉬보드(Dashboard)(857)는, 광고 노출 결과/결제 내역 결과를 시각화한 실시간 AR 서비스 현황을 표시할 수 있다.

또한, 서버(850)는, 차량의 AR 서비스 장치(800)로부터 전송된 정보를 서버에서 이용 가능한 데이터 형식으로 변환하고, 서버에서 가공/생성된 정보를 AR 서비스 장치(800)에서 이용 가능한 데이터 형식으로 변환하기 위한 AR 서비스 클라우드 API(또는, 데이터 변환부)를 더 포함할 수 있다.

한편, AR 서비스 장치(800)는, 클라우드 인터페이스, 커머스 앱, CID-RSE 인터랙션 매니저, 정책 매니저, 광고 모니터링, 주행 컨텍스트, 개인화된 추천 등을 포함하는 클라이언트(810) 및 POI 렌더러, 표시 매니저, 터치 매니저 등을 포함하는 AR 엔진(820)을 포함할 수 있다.

클라이언트(810)는, 서버로부터 POI 정보, 광고 등을 수신할 수 있다.

또한, 클라이언트(810)는, 주문/결제 정보를 서버(850)와 송수신할 수 있으며, 광고 노출 결과를 서버(850)에 전송할 수 있다.

AR 엔진(820)은, AR로 출력된 AR 객체가 터치된 횟수, 노출 횟수 등의 데이터를 클라이언트(810)에 전송할 수 있다.

또한, AR 엔진(820)은, 전/후석(CID, RSE) 연동 데이터를 클라이언트(810)와 송수신할 수 있으며, 클라이언트(810)로부터 수신된 AR 표시 정책에 따라 AR 객체를 출력할 수 있다.

또한, AR 엔진(820)은, 차량에 구비된 자이로 센서, 카메라, 통신부, 네비게이션, ADAS(Advanced Driver Assistance Systems), GPS 등으로부터 수집된 데이터를 기반으로 AR 서비스를 통해 제공된 AR 객체의 종류, 출력 위치, POI 종류, 출력 크기, 등을 결정할 수 있다.

차량에 구비된(On-board) AR 서비스 장치(800)는, 클라우드 서버로부터 전송받은 데이터를, 전방 카메라 영상에 AR로 표시하도록 서비스 컨텐츠를 AR 렌더링할 수 있다.

또한, AR 서비스 장치(800)는, AR엔진으로 부터 광고 게시 결과 데이터 수집 및 서버에 전달하는 등 서버와 AR 엔진 사이의 데이터 전달을 중개할 수 있다.

또한, AR 서비스 장치(800)는, CID-RSE(즉, 전/후석)간 AR로 발생한 데이터를 연동할 수 있다.

또한, AR 서비스 장치(800)는, AR 표시 정책에 대한 데이터 관리를 수행할 수 있으며, 구체적으로, 주행 상황에 따른 AR표시 정책 데이터를 AR엔진에 제공할 수 있다.

또한, AR 서비스 장치(800)는, 상황 인지 및 개인화 서비스 제공할 수 있으며, 구체적으로, 차량 내 데이터를 활용한 주행 상황(속도, TBT(Turn-by-Turn) 등)에 따라 AR 객체를 AR 엔진에 제공할 수 있다.

본 명세서에서는, 차량에 구비된 카메라를 통해 촬영(수신, 처리)된 영상에 AR 정보(또는, AR 객체, AR 컨텐츠, POI 정보 등)를 오버랩하여 출력하여 AR 서비스를 제공하는 것을 예로 설명하기로 한다.

그러나, 이에 한정되지 않고, 본 명세서에서 설명하는 AR 서비스는, 운전자 또는탑승객 기준으로, 차량의 윈드쉴드 상에 바로 AR 정보가 현실 세계의 공간에 오버랩되어 보이도록 출력되거나, HUD(Head-up Display)를 통해 AR 정보가 출력되는 등 다양한 증강현실의 구현방법에 동일/유사하게 유추적용될 수 있다.

AR 서비스를 제공하기 위해 사용되는 입력 데이터(입력 정보)와 AR 서비스 플랫폼을 통해 제공되는 출력 데이터(출력 정보)는 다음과 같다.

우선, 입력 데이터의 종류는, 지도 정보(네비게이션 정보), 서비스 컨텐츠 정보(POI, 광고 등), 다이내믹 정보, 차량 센서 정보, 히스토리컬 정보, 주행 관련 정보를 포함할 수 있다.

지도 정보(네비게이션 정보)는, 목적지까지의 경로 정보 (네비게이션 경로), 안내정보 (Turn-by-Turn), 전방 도로 형상 (Road/Lane), 복수개의 지도 속성 정보(도로 종별/속성, 도로 및 차선의 폭, 곡률, 경사도, 제한속도 등), Localization Object (Road marking, Traffic sign 등) 정보 등을 포함할 수 있다.

서비스 컨텐츠 정보(POI, 광고 등)는, 복수의 서비스 프로바이더로부터 수신 받은 POI 정보, 현위치에서 제공 가능한 광고 정보 및 주유소, 충전소, 주차장 등 예약/결제 서비스를 위한 실시간 정보를 포함할 수 있다.

다이내믹 정보는, Traffic 정보 (Road단위 traffic, Lane 단위 traffic), 이벤트 정보 (사고, Hazard warning 등), 날씨 정보, V2X (V2V, V2I)(Vehicle to Everything, Vehicle to Vehicle, Vehicle to Infra) 등을 포함할 수 있다.

차량 센서 정보는, 현위치 정보 (GPS/DR), 카메라 입력 정보 (ADAS 정보, Object 인식 정보) 및 V2X (V2V와 V2I를 통해 수집 가능한 실시간 주변 상황 정보)를 포함할 수 있다.

히스토리컬 정보는, 과거 주행 경로, Traffic History (예, 시간대 별 소통량), 지역(Zone)과 시간에 따른 통신 속도 등에 대한 정보를 포함할 수 있다.

주행 관련 정보는, 주행모드 (수동, 자율주행, 반자율주행, ADAS 기능 작동 여부 등), 목적지나 경유지 진입 여부, 주차장 진입 여부 등을 포함할 수 있다.

AR 서비스 플랫폼을 통해 제공할 수 있는 출력 정보는, 현위치/경로 기반 AR 서비스 표시 데이터를 포함할 수 있다.

현위치/경로 기반 AR 서비스 표시 데이터는, 경로상 AR 광고 표시 가능 지점(AR Wall, POI 건물 하이라이트), 선택 가능한 AR 빌딩 정보(랜드마크와 같이 선택 가능한 주요 건물 정보), 일반 POI 정보(아이콘이나 말풍선과 같은 POI 요약 정보), 원거리 POI 정보(경로상에는 존재하지 않지만 운행에 도움이 되는 중요 POI 정보의 거리/방향 표시), 동일 건물에 복수개의 POI가 존재할 경우 출력되는 표시 정보, 목적지 건물 및 실시간 주차장 상태 정보, 주유소/충전소의 실시간 상태 정보 및 위치 기반 광고/이벤트 정보 등을 포함할 수 있다.

본 발명의 AR 서비스 플랫폼은, 실시간 정보에 따른 AR 서비스 정보를 필터링하고, 표시 방법을 결정할 수 있다.

구체적으로, AR 서비스 플랫폼은, 주행 속도 기반의 실시간 POI 노출 개수, POI 겹침제거, 크기 조절, 노출 시간 등을 결정할 수 있다.

또한, AR 서비스 플랫폼은, 위험 정보 인식에 따른 POI 노출 방법을 결정할 수 있으며, 구체적으로, 사고, 공사, 다수의 무빙오브젝트 인식 상황 등에 따라 POI 표시 방법을 동적으로 변경할 수 있다.

또한, AR 서비스 플랫폼은, 트래픽으로 인한 AR 표시 시인성 저하 상황 발생 시, POI 표시 위치 동적 변경할 수 있다.

또한, AR 서비스 플랫폼은, 전/후석 AR 표시 데이터 재구성할 수 있으며, 일 예로, 주행속도, 위험정보, 날씨 정보 등을 고려하여 전석 디스플레이에는 AR 서비스 정보를 최소화 하고 후석 디스플레이는 표시 가능한 모든 정보를 표시할 수 있도록 재구성할 수 있다.

이와 같은 AR 서비스 플랫폼의 동작/기능/제어방법은, AR 서비스 플랫폼에 포함된 서버 또는 AR 서비스 장치에 의해 구현되거나, 서버와 AR 서비스 장치의 유기적인 상호 작용에 의해 구현될 수 있다.

도 8a를 참조하여, AR 서비스 플랫폼의 서버(850)의 구성에 대하여 보다 구체적으로 설명하면 다음과 같다.

서비스 및 광고 매니저부(854)는, 클라이언트 연동(request) 기능, POI 정보와 광고 정보 통합 (data processing & aggregation) 기능, 클라이언트 연동 (respond) 기능을 수행할 수 있다.

구체적으로, 클라이언트 연동(request) 기능은, Unified API로 POI 정보를 요청/수신(위치, 카테고리)하거나, Unified API로 목적지 입구 위치 정보를 요청/수신 (목적지 좌표/주소/id 중 택 1)하는 것을 포함할 수 있다.

여기서, Unified API는 특정 data provider에 의존성없는 AR 서비스 클라우드에서 정의한 API (클라이언트 변동 최소화를 위함)를 의미한다.

POI 정보와 광고 정보 통합 (data processing & aggregation) 기능은, 클라이언트가 요청한 위치의 반경 000m 내 POI 정보 및 광고 정보를 통합하거나 (from data manager, ads manager) 또는 클라이언트가 요청한 목적지의 입구 위치 및 POI 광고 정보를 통합 (from data manager, ads manager)하는 것을 포함할 수 있다.

구체적으로, POI 정보와 광고 정보 통합 기능은, Building wall, Event wall 정보 포함한 광고 정보와 POI 정보 정합하거나, 같은 건물에 다수의 POI가 있는 경우, 서버에서 우선순위를 정해 필터링하는 기능(e.g. 파트너 업체만 남기고 다른 POI 정보는 제외시킴)을 포함할 수 있다.

여기서, 필터링 기준은 각 POI별 우선순위 점수 부여하고 이를 비교하는 것을 포함할 수 있다.

클라이언트 연동 (respond) 기능은, Unified API로 POI 정보 및 광고 정보 전송하거나, Unified API로 목적지 입구 위치 및 광고 정보를 정송하는 것을 포함할 수 있다.

서버(850)에 포함된 데이터 매니저부(Data Manager)(미도시)는, POI 정보 수집/전달 기능, 빌딩 형상(polygon) 정보 수집/전달 기능, 목적지 입구 정보 수집/전달기능을 포함할 수 있다.

POI 정보 수집/전달 기능은, 3rd party API에 POI 정보를 요청하거나, 3rd party API에서 받아온 POI 정보를 (Unified API response 형식으로 변환하여) 전달 (to Service & Ads Aggregator)하는 기능을 수행할 수 있다.

빌딩 형상(polygon) 정보 수집/전달 기능은, 3rd party API/data set에 빌딩 외곽 형상 정보를 요청하거나, 3rd party API에서 받아온 POI 정보를 (Unified API response 형식으로 변환하여) 전달 (to Service & Ads Aggregator)하는 기능을 수행할 수 있다.

목적지 입구 정보 수집/전달 기능은, 3rd party API에 목적지 입구 정보를 요청하거나, 3rd party API에서 받아온 목적지 입구 정보를 (Unified API response 형식으로 변환하여) 전달 (to Service & Ads Aggregator)하는 기능을 수행할 수 있다.

광고 매니저부(Ads Manager)(852)는, 파트너(광고) 업체 관리 인터페이스, 광고 캠페인 관리 인터페이스, 광고 컨텐츠 관리 인터페이스를 제공할 수 있다.

광고 모니터링부(Ads Monitoring)(853)는, 광고 효과 측정 피드백 수신 기능 및 광고 정보 전달 기능을 수행할 수 있다.

파트너(광고) 업체 관리 인터페이스는, POI 광고주 관리 (광고주 정보 추가/수정/삭제) 및 일반 광고주 관리 (광고주 정보 추가/삭제)를 수행할 수 있다.

POI 지원 광고 포맷은, Brand poi pin, Building wall, 3D rendering, Event wall 등을 포함할 수 있으며, 실제 POI/위치와는 관련 없는 브랜드 광고의 (e.g. 코카콜라 광고 등) 지원 광고 포맷(일반 지원 광고 포맷)은, Event wall일 수 있다.

광고 캠페인 관리 인터페이스는, 광고 캠페인(광고 위치, 유형, 시간 등) 추가/수정/삭제를 수행할 수 있다.

광고 컨텐츠 관리 인터페이스는 광고 포맷 별 컨텐츠 추가/수정/조회/삭제 (POI 브랜드 아이콘 이미지, building wall 이미지, event wall 이미지/동영상, 3D rendering 이미지)를 수행할 수 있다.

광고 효과 측정 피드백 수신 기능은, 클라이언트가 전송한 광고 노출 피드백 수신하여 DB Manager에 전달 (CPC/CMP/CPT&P)하는 기능을 포함할 수 있다.

광고 정보 전달 기능은, Service & Ads Aggregator가 요청한 위치의 반경 000m 내 노출해야할 광고 캠페인 정보 조회하여 전달 (CPT&P인 경우 시간 조건에 맞는 광고만 전달)하는 기능을 포함할 수 있다.

커머스 매니저부(Commerce Manager)(855)는, 클라이언트 연동 기능, 외부 커머스 서비스 연동 기능, 결제 정보 관리 기능을 수행할 수 있다.

클라이언트 연동 기능은, Unified API로 클라이언트 연동하여 요청 수신, Unified API로 받은 요청 내용을 외부 커머스 API 스펙으로 변환, 외부 API에서 받은 데이터를 Unified API의 메세지 포맷으로 변환 및 클라이언트에 데이터 전달 기능을 포함할 수 있다.

커머스 매니저부는, Unified API로 받은 요청 내용을 외부 커머스 API 스펙으로 변환한 후 변환된 내용으로 외부 서비스 연동 기능을 수행할 수 있다.

외부 API에서 받은 데이터를 Unified API의 메세지 포맷으로 변환하는 것은 외부 서비스 연동에서 수신한 데이터를 Unified API로 변환하는 작업을 의미할 수 있다.

외부 커머스 서비스 연동 기능은, 현재 위치에서 인접한 매장 리스트 및 메타 정보 요청 & 결과 수신, 위 리스트 중 특정 매장에 대한 상세 정보 요청 & 결과 수신, 예약/주문 요청 & 결과 수신, 서비스 이용 상태 요청 & 결과 수신 및 커머스 서비스의 회원 정보 연동 & 결과 수신 기능을 포함할 수 있다.

여기서, 서비스 이용 상태 요청 & 결과 수신은, 서비스 이용 상태(예약 완료 / 주차장 입차 / 주차 중 / 주차장 출차 / 예약 취소)에 따른 시퀀스 관리 및 AR 메시지 팝업 용도로 사용될 수 있다.

서비스의 회원 정보 연동 & 결과 수신은 커머스 서비스 회원 ↔ AR 서비스 회원(OEM 커넥티스 서비스 회원) 정보 연동에 사용될 수 있다.

결제 정보 관리 기능은, 외부 커머스 서비스에서 결제한 내역 수집(내용, 금액) 및 결제 내역을 기반으로 외부 커머스 사에게 수수료 청구하는 기능을 포함할 수 있다.

데이터베이스 커넥터(DB Connector)(856)는, 광고 효과 측정 데이터 관리 기능, 커머스 데이터 관리 기능, 광고주 데이터 관리 기능, 광고 컨텐츠 데이터 관리 기능 및 광고 위치 데이터 관리 기능을 수행할 수 있다.

광고 효과 측정 데이터 관리 기능은 CPC/CPM/CPT&P 관련 로그 데이터 저장/삭제하고, 데이터 조회 (POI별, 브랜드별, 시간별, 광고 타입별)할 수 있다.

커머스 데이터 관리 기능은, 외부 커머스 서비스에서 결제한 내역 저장/삭제 (내용, 금액), 데이터 조회 (POI별, 브랜드별, 시간별, 광고 타입별)를 수행할 수 있다.

광고주 데이터 관리 기능은, 광고주 정보 및 광고주별 광고 캠페인 설정 내용 저장/수정/삭제/조회를 수행할 수 있다.

광고 컨텐츠 데이터 관리 기능은, 광고주 정보와 연동하여 광고 컨텐츠 저장/수정/삭제/조회할 수 있다.

광고 위치 데이터 관리 기능은, AR 광고를 표시할, Event wall 구간 좌표, Building wall 좌표 관리 (브랜드별)를 수행할 수 있으며, 사용자가 직접 등록한 좌표, 업체 API 연동으로 얻은 특정 좌표로 구분될 수 있다.

대쉬보드(Service Dashboard)(857)는, 광고 효과 측정 데이터 시각화 기능 및 커머스 서비스 데이터 시각화 기능을 수행할 수 있다.

광고 효과 측정 데이터 시각화 기능은, CPC: 업체/브랜드별 총 광고 click 수에 대한 차트 (기간별로 조회 가능), CPC: 전체 광고 click 수에 대한 집계 차트 (기간별로 조회 가능), CPM: 업체/브랜드별 총 광고 노출 수에 대한 차트 (기간별로 조회 가능), CPM: 전체 광고 노출 수에 대한 집계 차트 (기간별로 조회 가능), CPT&P: 업체/브랜드별 광고 click 수에 대한 차트 (기간별로 조회 가능), CPT&P: 업체/브랜드별 광고 노출 수에 대한 차트 (기간별로 조회 가능)를 제공할 수 있다.

이러한 차트는, Bar graph, Line graph, Pie Chart, Word graph, Geospatial graph 등 다양한 방식으로 제공될 수 있다.

CPT&P는 정산 방식이 클릭 횟수나 노출 횟수가 아닌 시간당 과금이지만, 노출 효과 측정을 위한 데이터로 사용될 수 있다.

커머스 서비스 데이터 시각화 기능은, 업체별 결제 누적 액수에 대한 차트 (기간별로 조회 가능), 전체 결제 누적 액수에 대한 차트 (기간별로 조회 가능)를 제공할 수 있다.

도 8b는 본 발명의MR 서비스를 제공하기 위한 MR 서비스 플랫폼을 설명하기 위한 개념도이다.

본 발명은 혼합 현실 자동차 메타 서비스(Mixed Reality Automotive Meta Service, MR AMS)(이하, MR 서비스와 혼용하여 사용하기로 함)를 제공하는 것이 가능한 MR 서비스 플랫폼을 제공할 수 있다.

MR 서비스 플랫폼은, MR 서비스 시스템, MR 네비게이션 시스템, MR 플랫폼, MR 시스템 등으로 명명될 수 있다.

MR 서비스 플랫폼은, 혼합 현실을 기반으로 한 서비스를 제공하는 것이 가능한 플랫폼을 이야기하며, 여러 독립적인 구성요소들을 포함할 수 있다.

예를 들어, MR 서비스 플랫폼은, 차량 단(Onboard)에 구비된 MR 서비스 장치(900)(또는, MR 네비게이션 엔진으로 명명됨), 차량 외부의 서버 단(또는 클라우드 단)(Offboard)에 구비된 MR AMS(이하에서는, MR AMS 서버라 함)(1100) 및DTaaS(Digital Twin as a Service) 서버(1200)를 포함할 수 있다.

상기 MR 서비스 장치(900)는, MR AMS 클라이언트(Client)(910) 및 MR 렌더러(Renderer)(920)를 포함할 수 있다.

본 명세서에서 설명하는 MR 서비스는, 차량용 혼합현실 네비게이션 서비스로 이해될 수 있다. 즉, 본 발명의 MR 서비스 플랫폼은, 차량에 탑승한 사용자에게 혼합 현실로 구현된 차량용 인터페이스를 제공할 수 있다.

본 발명의 MR 서비스 플랫폼에서 제공하는 MR 서비스는, 실제 세계에서 운전을 하고 있지만 차량 내에 있는 디스플레이를 통해서 디지털 세계의 경험을 제공할 수 있다.

구체적으로, MR 서비스는, 디지털 세계에 실세계 정보를 융합한 가상의 3D 공간에서 길안내, 안전운전, POI(Point of Interest) 및 엔터테인먼트 사용자 경험을 운전자에게 인터렉티브(Interactive)하게 제공할 수 있다.

이를 통해, 본 발명의 MR 서비스 플랫폼은, 기존의 카메라 기반(또는 HUD(Head up Display) 기반)의 AR(Augmented Reality) 대비 시공간 제약에서 벗어난 다양한 UX(User Experience)를 제공할 수 있다.

여기서, 디지털 세계는, 디지털 트윈(Digital Twin) 또는 디지털 트윈된 스마트 시티를 의미하고, 실세계 정보는, V2X(Vehicle to Everything), C-ITS(Cooperative-Intelligent transport Systems) 등 인프라 데이터 및/또는 자율주행 차량에 구비된 센서에 의해 센싱된 주변 인지 데이터를 포함할 수 있다.

또한, 위에서 설명한 융합은, 본 MR 서비스 플랫폼을 구현하기 위한 MR 서비스 클라우드(1000)(또는 MR AMS 클라우드)및 MR 서비스 장치(900)뿐만 아니라, 차량 및 인프라 센서 데이터를 융합하는 개념을 포함할 수 있다.

또한, 인터렉티브는, 혼합 현실 네비게이션 뿐만 아니라, 고품질의 3차원 영상 렌더링 및 사용자 인터렉션을 포함하는 개념으로 이해되어야 한다.

한편, 본 명세서에서 설명하는 혼합 현실(Mixed Reality, MR)은 현실 세계에 가상 현실(Virtual Reality)이 접목되어 현실의 물리적 객체오 ㅏ가상 객체가 상호 작용할 수 있는 환경을 의미할 수 있다.

혼합 현실(MR)은 현실을 기반으로 가상 정보를 부가하는증강 현실(AR:AugmentedReality)과 가상 환경에 현실 정보를 부가하는증강 가상(AV:AugmentedVirtuality)의 의미를 포함할 수 있다.

즉, 현실과 가상이 자연스럽게 연결된 스마트 환경을 제공하여사용자는 풍부한 체험을 할 수 있다. 예로 사용자의 손바닥에 놓인 가상의 애완동물과 교감한다거나, 현실의 방 안에 가상의 게임 환경을 구축해 게임을 할 수 있다. 또 집안의 가구를 가상으로 재배치해 본다거나, 원격에 있는 사람들이 함께 모여 함께 작업하는 듯한 환경을 구축할 수 있다.

본 발명의 일 실시 예에 따른 혼합 현실(MR)을 이용한 혼합 현실 자동자 메타 서비스(MR AMS)는, 미래 주행 경로를 미리보기로 표현하여 사용자에게 사전에 도로 형상과 액션을 준비할 수 있도록 도움을 줄 수 있다.

또한, 본 발명의 일 실시 예에 따른 혼합 현실(MR)을 이용한 혼합 현실 자동자 메타 서비스(MR AMS)는, 특정 POI(Point of Interest)를 주시하여 광고 효과를 개선하거나 서비스 사용률 향상을 유도할 수도 있다.

또한, 본 발명의 일 실시 예에 따른 혼합 현실(MR)을 이용한 혼합 현실 자동자 메타 서비스(MR AMS)는, 특정 지도 업체에 종속적이지 않으며, 다양한 지도 업체의 데이터를 융합하는 것도 가능하다.

본 발명은 혼합 현실 자동차 메타 서비스 중 하나로 MR 네비게이션 기능을 제공할 수 있다.

MR 네비게이션 기능에서는, 현실 세계 상에 증강 현실 객체를 오버랩하는 것이 아닌, 가상 세계 상에서 구현되기 때문에, AR 네비게이션에서 발생되는 전방 가려짐 문제나 매칭 품질 달성 등의 어려움을 해결할 수 있다.

이에 따라, 본 발명은 MR 네비게이션 기능을 통해 기존 네비게이션에서 표현이 어려웠던 다양한 컨텍스트들을효과적으로 표현하여 사용자 UX를 개선할 수 있다.

이를 위해, 본 발명의 MR 서비스 플랫폼은, MR 컨텍스트(Context) 관리 방법과, MR AMS를 제공하기 위한 메타 데이터와 3D 자산(asset)을 획득하는 방법 및 시스템을 제공할 수 있다.

본 발명의 MR 서비스 플랫폼은, 디지털 세계에서 필요한 MR Context를 정의하고 이를 획득하기 위한 서비스 메타데이터를 모델링함으로써 관련 서비스 메타데이타와 3D 자산을 MR 네비게이션에 렌더링할 수 있다.

이에 따라, 본 발명은 실제 세계에서 운전을 하고 있지만 차량 내에 있는 디스플레이를 통해서 디지털 세계의 경험을 제공하고, MR 네비게이션의 향상된 가시성과 주시성을 활용하여 다양한 추가적인 HMI(Human Machine Interface) 서비스를 사용자에게 추천하고 제공해 줄 수 있다.

이하에서는, 앞서 설명한 MR 서비스를 제공하기 위한 본 발명의 일 실시 예에 따른 MR 서비스 플랫폼에 대하여 설명하기로 한다.

도 8b를 참조하면, 본 발명의 MR 서비스 플랫폼(또는 MR 서비스 시스템)은, 차량 외부에 구비된 MR 서비스 클라우드(1000) 및 차량에 구비된 MR 서비스 장치(900)를 포함할 수 있다.

차량 외부(Offboard)에 구비된 MR 서비스 클라우드(1100)는, MR AMS(Mixed Reality Automotive Meta Service) 서버(1100) 및 DTaaS(Digital Twin as a Service) 서버(1200) 중 적어도 하나를 포함할 수 있다.

상기 차량에 구비된(Onboard) MR 서비스 장치(900)는, MR AMS 클라이언트(Client)(910) 및 MR 렌더러(Renderer)(920)를 포함할 수 있다.

상기 MR 서비스 장치(900)는, AR 서비스 장치(800) 및 네비게이션 시스템(770)과 상호작용하여 네비게이션 기능(또는 네비게이션 애플리케이션)을 제공할 수 있다.

상기 네비게이션 기능에 필요한 정보들은, 차량에 구비된 카메라(310), 센싱부(120), 사용자 입력부(210)를 통해 입력된 사용자 입력(또는 사용자 요청)을 통해 수신할 수 있다.

또한, 상기 네비게이션 기능에 필요한 정보들은, 차량 외부(Offboard)에 구비된 MR 서비스 클라우드(1000)를 통해 수신할 수 있으며, 각 차량에서 필요한 정보를 수신하기 위해, 차량에서 센싱되거나 처리된 정보를 상기 MR 서비스 클라우드(1000)로 전송할 수도 있다.

MR AMS(Mixed Reality Automotive Meta Service)서버(1100)는, 도 8d에 도시된 바와 같이, OSM(Open Street Map), Mapbox, HERE, WRLD, BingMAP 등 온라인 지도 서비스를 제공하는 다양한 서비스 제공자(1300a, 1300b, 1300c)와 연결될 수 있다. 그리고 연결된 서비스 제공자(1300a, 1300b, 1300c)로부터 제공되는 지도 데이터를 집계(aggregation)한 결과에 근거하여 지도에 포함된 각 건물의 형상 정보(예를 들어 건물의 바닥면 좌표(footprint) 정보와 높이 정보)를 집계하고 집계된 정보를 DTaaS 서버(1200)에 제공할 수 있다. 여기서 DTaaS 서버(1200)는 DTaaS, 즉 디지털 트윈 맵을 이용한 서비스를 제공하는 서버 또는 장치를 의미할 수 있다.

상기 DTaaS는, Digital Twin as a Service를 의미할 수도 있고, Digital Transformation as a Service를 의미할 수도 있다.

한편 DTaaS 서버(1200)는 지도 정보에 포함된 각 건물 또는 각 영역에 대한 POI 서비스 데이터들이 저장된 POI 데이터베이스와 연결될 수 있다. 또한 지도 정보에 포함된 각 건물에 대한 3차원 폴리곤 모델(또는 3차원 폴리곤 맵)의 데이터가 저장된 3D 모델 데이터베이스와 연결될 수 있다. 여기서 상기 3차원(3D) 폴리곤 모델은 건물 볼륨을 제공할 수 있는 폴리곤 모델로서, 표면에 텍스처가 형성되지 않은 폴리곤 모델일 수 있다. 상기 DTaaS 서버(1200)는 상기 연결된 POI 데이터베이스로부터 POI에 관련된 서비스 데이터를 제공받을 수 있으며, 상기 연결된 3D 모델 데이터베이스로부터 일 영역의 지도 정보에 포함된 각 건물들의 3D 폴리곤 모델들의 데이터를 제공받을 수 있다.

MR 서비스 장치(900)의 프로세서(미도시)는 오브젝트 검출 장치(300), 센싱부(120) 및 네비게이션 시스템(770)으로부터 차량의 주행에 관련된 다양한 정보들을 제공받을 수 있다. 일 예로 프로세서는 오브젝트 검출 장치(300)의 카메라(310)로부터 차량의 전방이나 후방 또는 측방에서 검출된 객체의 정보를 제공받을 수 있다.

또한 프로세서는 주행 시스템(710)을 비롯한 차량의 각 구성부와 연결된 센서들을 포함하는 센싱부(120)로부터, 차량의 속도, 주행 방향, 현재 차량의 위치(GPS) 등에 관련된 정보들을 제공받을 수 있다. 또한 네비게이션 시스템(770)으로부터 차량의 주행 경로에 관련된 정보들을 제공받을 수 있다.

한편 상기 MR 서비스 장치(900)와 DTaaS 서버(1200)는, MR AMS의 인터페이스(Interface APIs)를 통해 연결될 수 있다. 여기서 상기 MR 서비스 장치(900)와 MR AMS의 인터페이스(Interface APIs)는 무선 네트워크 접속을 통해 연결이 이루어질 수 있다. 이 경우 상기 MR AMS 서버(1100)는 상기 MR 서비스 장치(900)와 무선 연결되는 네트워크 서버 또는 클라우드(Cloud) 서버일 수 있다.

이처럼MR AMS 서버(1100)와 연결되는 경우 MR 서비스 장치(900)는, 연결된 구성 요소(예를 들어, 차량의 카메라(310), 센싱부(120) 또는 사용자 입력부(210)를 통해 입력된 사용자 입력)로부터 제공받은 정보들 중 적어도 일부를 네트워크 연결을 통해 MR AMS 서버(1100)에 제공할 수 있다. 그러면 MR AMS 서버(1100)는 상기 제공된 정보에 대한 응답으로 혼합 현실의 제공을 위한 3차원 지도 데이터를 상기 MR 서비스 장치(900)에 제공할 수 있다.

예를 들어 MR 서비스 장치(900)는 차량 주변에서 검출된 객체들의 정보와 차량의 속도, 방향 그리고 현재 차량의 위치에 대한 정보를 전송할 수 있다. 그리고 주행 경로에 대한 정보를 상기 MR AMS 서버(1100)에 제공할 수 있다. 그러면 MR AMS 서버(1100)는 MR 서비스 장치(900)에서 제공받은 정보들에 근거하여, 현재 차량의 위치에 따른 일 영역의 3차원 지도 데이터를 MR 서비스 장치(900)에 제공할 수 있다.

이 경우 MR AMS 서버(1100)는 현재 차량의 위치 및 차량의 속도, 그리고 차량의 주행 경로 등에 근거하여 POI 정보를 결정하고, 상기 3차원 건물 지도에, 상기 결정된 POI 정보를 더 포함하는 3차원 지도 데이터를 제공할 수도 있다. 또한 MR AMS 서버(1100)는 제공받은 차량 주변의 객체들의 정보에 근거하여 차량 주변의 상황에 대한 정보를 더 포함하는 3차원 지도 데이터를 MR 서비스 장치(900)에 제공할 수 있다.

한편 MR 서비스 장치(900)는 MR AMS 서버(1100)로부터 제공받은 3차원 지도 데이터에 근거하여 혼합 현실 영상을 렌더링(rendering) 할 수 있다. 일 예로 MR 서비스 장치(900)는 MR 렌더러(Renderer)(920)를 제어하여, 제공받은 3차원 지도 데이터에 근거하여 차량 주변의 건물들에 대한 모델들을 포함하는 3차원 지도 화면을 표시할 수 있다. 또한 MR 렌더러(Renderer)(920)는 차량에 대응하는 그래픽 객체를 상기 3차원 지도 화면에 표시하고, 제공받은 POI 데이터 및 차량 주변의 상황 정보에 대응하는 그래픽 객체들을 상기 3차원 지도 화면에 표시할 수 있다.

따라서 현재 차량과 차량 주변 건물 형상과 흡사한 3차원 건물 모델과 차량에 대응하는 그래픽 객체를 포함하는 가상 환경의 영상(다른 말로, 혼합 현실(MR)영상, 또는 MR 네비게이션 화면, 또는 MR 네비게이션 인터페이스)이 차량에 구비된 디스플레이(251), 예를 들어, CID(Center Information Display), HUD(Head Up Display), RSI(Rear Sheet Information) 또는 RSE(Rear Sheet Entertainment)에 출력될 수 있다.

이 경우 상기 가상 환경을 통해 차량의 주행 및 차량 주변의 상황에 관련된 정보들이 운전자에게 제공될 수 있다. 상기 3차원 지도 정보, 즉, 디지털 트윈 지도(Digital Twin Map, 이하 DT 지도)를 통해, 본 발명의 실시 예에 따른 MR 서비스 장치(900)는 운전자에게 혼합 현실 서비스를 제공할 수 있다.

한편 상기 MR AMS 서버(1100)는 하나의 차량에 구비된 MR 서비스 장치(900)뿐만 아니라 다수의 차량에 구비된 MR 서비스 장치(900)로부터 수집되는 정보에 근거하여 3차원 지도 데이터 및, 상기 3차원 지도 데이터와 함께 제공될 수 있는 POI 정보나 각 차량 주변의 상황 정보들을 결정할 수 있다. 이 경우 MR AMS 서버(1100)는 클라우드 서버의 형태로 복수의 차량에서 수집하고, 수집된 정보들에 근거하여 혼합 현실을 위한 3차원 지도 데이터를 생성할 수 있다. 그리고 생성된 3차원 지도 데이터에 근거하여 서로 다른 차량에 구비된 적어도 하나의 MR 서비스 장치(900)에 혼합 현실 서비스를 제공하도록 구현될 수 있다.

따라서 설명의 편의상 이하에서는, 상기 MR AMS 서버(1100)와 상기 DTaaS 서버(1200)를 포함하며, 혼합 현실 서비스를 제공하기 위한 메타데이터(예를 들어, 서비스 메타 데이터, 3차원 에셋), 3차원 폴리곤 맵, 디지털 트윈 맵 등의 정보를 3차원 지도 정보, 즉 디지털 트윈 지도(DT 지도)를 제공하는 클라우드 또는 서버를 MR 서비스 클라우드(1000)라고 하기로 한다.

도 8b에 도시된 것과 같이, MR 서비스 장치(900)(또는, MR 네비게이션 엔진)은, MR AMS 클라이언트(910) 및 MR 렌더러(920)를 포함할 수 있다.

또한, MR 서비스 중 하나인 MR 네비게이션 기능을 구현하기 위해, MR 서비스 장치(900)는, 차량에 구비된 AR 서비스 장치(800)(또는 AR 엔진) 및 네비게이션 시스템(770)과 데이터를 송수신할 수 있다.

MR AMS 클라이언트(910)는, 컨텍스트 매니저(911), 씬 매니저(913) 및 UX 시나리오 데이터베이스(914)를 포함할 수 있다.

또한, MR 렌더러(920)는, DTaaS 클라이언트(921), MR 시각화부(922) 및 3차원 HMI 프레임워크(923)를 포함할 수 있다.

MR AMS 클라이언트(910)는, 차량의 위치 정보, 사용자 입력, 사용자 피드백 정보, 결제 정보 등을 수집하여 차량 외부에 존재하는 MR AMS 서버(1100)로 전송할 수 있다.

MR AMS 서버(1100)는 MR AMS 클라이언트로부터 수신된 정보에 근거하여, MR 서비스를 제공하는데 필요한 메타데이터, 서비스 메타데이터 및 3차원 에셋 중 적어도 하나를MR AMS 클라이언트(910)로 전송할 수 있다.

MR AMS 클라이언트(910)는, MR AMS 서버(910)로부터 수신한 데이터들을 MR 렌더러(920)로 전송할 수 있다.

MR 렌더러(920)는, DTaaS 서버(1200)부터 수신한 3차원 폴리곤 맵과 MR AMS 클라이언트(910) 또는 차량에 구비된 카메라(310)로부터 수신된 영상을 이용하여 디지털 트윈 맵을 생성할 수 있다.

또한, MR 렌더러(920)는, MR AMS 클라이언트(920)로부터 수신한 데이터를 디지털 트윈 맵 상에 오버랩할 수 있는 MR 객체로 렌더링하고, 렌더링된 MR 객체를 디지털 트윈 맵 상에 오버랩하여 혼합 현실(MR) 영상을 생성할 수 있다.

이후, MR 랜더러(920)는, 생성된 혼합 현실 영상을 차량에 구비된 디스플레이(251)에 출력할 수 있다.

본 명세서에서 설명하는 모든 구성요소들은, 별도의 하드웨어 모듈로 구현될 수 있으며, 필요에 따라 소프트웨어적으로 블록단위로 구현한 컴포넌트인 것으로 이해될 수 있다.

이하에서는, MR 서비스 플랫폼을 구성하는 각 구성요소들에 대하여 첨부된 도면을 참조하여 보다 구체적으로 설명하기로 한다.

MR AMS 클라이언트(910)는, 차량에 구비되며, 혼합 현실 자동차 메타 서비스(Mixed Reality Automotive Meta Service, MR AMS)를 제공할 수 있다.

MR AMS 클라이언트(910)는, 차량 외부에 구비된 MR AMS 서버(1100)로 사용자 요청(또는 사용자 입력)에 대응하는 컨텍스트(Context)를 요청하는 컨텍스트 매니저(911), 차량에 구비된 디스플레이(251)로 제공하는 MR 장면 정보를 관리하는 씬 매니저(913) 및 UX 룰(UX rule)을 상기 컨텍스트 매니저(911) 및 상기 씬 매니저(913) 중 적어도 하나로 제공하는 UX 시나리오 데이터베이스(914)를 포함할 수 있다.

또한, MR AMS 클라이언트(910)는, 차량 외부에 구비된 상기 MR AMS 서버(1100)와 통신하기 위한 함수를 호출하는 인터페이스 API(912)를 더 포함할 수 있다.

상기 인터페이스 API(912)는, MR AMS 서버(1100)와 통신을 수행하도록 형성된 하나 이상의 함수로 구성될 수 있으며, 이러한 함수를 이용하여 데이터 형식 또는 메시지 형식을 변환하여 MR AMS 서버(1100)로 데이터를 전송하거나, MR AMS 서버(1100)로부터 수신된 데이터의 형식을 변환할 수 있다.

인터페이스 API(921)는, 상기 컨텍스트 매니저(911)에서 출력된 컨텍스트 요청을 상기 MR AMS 서버(1100)로 전송하고, 상기 MR AMS 서버(912)로부터 요청된 컨텍스트에 대응하는 3차원 에셋(3D Asset)을 수신할 수 있다.

여기서, 상기 컨텍스트는, 상황 정보를 의미할 수 있으며, 차량에 처한 상황에 대응되는 정보를 의미할 수 있다. 또한, 상기 컨텍스트는, 컨텐츠(Contents)의 의미를 포함할 수도 있다.

상기 3차원 에셋은, 요청된 컨텍스트에 대응되는 3차원 객체 데이터를 의미할 수 있다. 또한, 상기 3차원 에셋은, 디지털 트윈된 영상(또는 디지털 트윈 맵) 상에 오버랩되거나 새롭게 업데이트 가능한 3차원 그래픽 객체를 의미할 수 있다.

MR AMS 클라이언트(910)는, MR 서비스 장치(900)에 포함될 수 있다.

MR 서비스 장치(900)는, 차량에 구비된 입력부(210)를 통해 사용자 입력이 수신되면, 상기 사용자 입력에 대응되는 액션을 생성하여 상기 컨텍스트 매니저로 전달하는 사용자 인터랙션 핸들러(User Interaction Handler)(901)를 포함할 수 있다.

상기 사용자 인터랙션 핸들러(901)는, MR 서비스 장치(900)에 포함될 수도 있고, MR AMS 클라이언트(910)에 포함될 수도 있다.

예를 들어, 사용자 인터렉션 핸들러(901)는, 차량의 입력부(210)를 통해 "Find nearby Starbucks"라는 사용자 입력이 수신되면, 사용자 입력에 대응되는 액션(예를 들어, "Search POI")를 생성하여 MR AMS 클라이언트(910)에 구비된 컨텍스트 매니저(911)로 전달할 수 있다.

일 예로, 상기 액션은, 사용자 입력에 포함된 단어와 매칭되는 동작에 의해 결정될 수 있으며, 상기 액션은, 명령 또는 제어명령으로 명명될 수도 있다.

상기 컨텍스트 매니저(911)는, 사용자 인터랙션 핸들러(901)로부터 수신된 액션에 대응하는 컨텍스트를 요청하기 위한 명령을 생성하고, 상기 명령을 인터페이스 API(912)를 통해 MR AMS 서버(1100)로 전송할 수 있다.

상기 명령은, 상기 사용자 인터랙션 핸들러(901)로부터 수신된 액션(예를 들어, "Search POI")에 근거하여 생성될 수 있으며, 일 예로, 현재 차량 위치, 찾아야 하는 POI의 종류 및 반경 정보(예를 들어, GET "Starbucks"(POI의 종류) WITHIN "500m"(반경) FROM "37.7795, -122.4201"(현재 차량 위치(위도, 경도))를 포함하도록 형성될 수 있다.

컨텍스트 매니저(911)는, 씬 매니저(913)로부터 현재 차량에서 출력중인 현재 장면 정보(Current scene)를 수신하고, UX 시나리오 데이터베이스(914)로부터 UX 룰을 수신할 수 있다.

또한, 컨텍스트 매니저(911)는, 네비게이션 시스템(770)의 정보를 핸들링하는 네비게이션 핸들러(902)로부터 현재 경로 및 현재 위치를 포함하는 네비게이션 정보를 수신할 수 있다.

네비게이션 핸들러(902)는, MR 서비스 장치(900)에 구비될 수도 있고, MR AMS 클라이언트(910)에 구비될 수도 있다.

컨텍스트 매니저(911)는, 상기 현재 장면 정보, 상기 UX 룰 및 상기 네비게이션 정보 중 적어도 하나에 근거하여, 상기 컨텍스트를 요청하기 위한 명령을 생성할 수 있다.

현재 장면 정보는, 현재 차량의 디스플레이(251)에 출력중인 화면 정보를 포함할 수 있다. 일 예로, 상기 현재 장면 정보는, 디지털 트윈 맵 상에 MR 객체 및 MR 인터페이스가 오버랩된 혼합 현실 영상에 관한 정보를 포함할 수 있다.

또한, 본 발명의 컨텍스트 매니저(911) 및 씬 매니저(913) 중 적어도 하나는, 차량의 센싱부(120)를 통해 센싱된 정보를 처리하는 센서 데이터 어댑터(Sensor Data Adapter)(903)를 통해 처리된 센서 데이터를 수신할 수 있다.

상기 센서 데이터 어댑터(903)는, MR 서비스 장치(900)에 구비될 수도 있고, MR AMS 클라이언트(910)에 구비될 수도 있다. 상기 센서 데이터 어댑터(903)는, 처리된 센서 데이터를, AR 엔진(또는 AR 서비스 장치)(800)로 전송되는 데이터를 핸들링하는 AR 엔진 핸들러(904)로 전송할 수도 있다.

인터페이스 API(912)는, 상기 MR AMS 서버(1100)로부터 상기 명령에 대응하는 컨텍스트의 메타데이터 및/또는 상기 컨텍스트에 대응하는 3차원 에셋를 수신할 수 있다.

이후, 인터페이스 API(912)는, 수신된 메타데이터 및/또는 3차원 에셋을 상기 씬 매니저(913)로 전송할 수 있다.

씬 매니저(913)는, 상기 UX 시나리오 데이터베이스(914)에서 수신한 UX 룰과, 상기 인터페이스 API(912)로부터 수신된 메타데이터 및 3차원 에셋을 이용하여, UI 데이터를 생성할 수 있다.

이후, 상기 씬 매니저(913)는, 상기 생성된 UI 데이터를, 차량에 구비된 디스플레이(251)에 혼합 현실(Mixed Reality, MR) 또는 혼합 현실 영상으로 출력하도록 렌더링하는 MR 렌더러(920)로 전송할 수 있다.

또한, 상기 씬 매니저(913)는, 상기 생성된 UI 데이터를, 차량에 구비된 AR 서비스 장치(800)를 핸들링하도록 형성되는 AR 엔진 핸들러(904)로 더 전송할 수 있다.

UX 시나리오 데이터베이스(914)에 저장된 UX 룰(UX rule)은, MR 서비스 장치에서 제공하는 화면, UX 또는 사용자 인터페이스를 생성하는 규칙, 형태, 형식 또는 템플릿에 관한 정보를 의미할 수 있으며, 이러한 UX 룰은, 데이터의 종류별로 기 정의되어 있을 수 있다.

또한, UX 룰은, 사용자 또는 관리자에 의해 업데이트되거나 수정될 수 있다.

도 8d는 본 발명의 MR AMS 서버를 설명하기 위한 개념도이다.

도 8d를 참조하면, 차량 외부(Offboard)에 구비되며, 혼합 현실 자동차 메타 서비스(Mixed Reality Automotive Meta Service, MR AMS)를 제공하는 MR AMS 서버(1100)는, 차량에 구비된 MR AMS 클라이언트와 통신하기 위한 함수를 호출하는 인터페이스 API(1101), 상기 MR AMS 클라이언트로부터 수신된 요청에 대응하는 컨텍스트를 서비스 제공자에게 요청 및 수신하는 서비스 집계 관리자(Service Aggregation Manager)(1110) 및 수신한 컨텍스트에 대응하는 3차원 에셋을 데이터베이스(3D Assets for MR Navigation Database)(1130)에서 로딩하는 데이터 통합 관리자(data Integration Manager)(1120)를 포함할 수 있다.

상기 인터페이스 API(1101)은, 차량에 구비된 MR AMS 클라이언트(910)의 인터페이스 API(912)와 구별되도록, 서버 인터페이스 API(1101)로 명명될 수 있다.

또한, MR AMS 클라이언트(910)의 인터페이스 API(912)는, 차량 인터페이스 API 또는 MR AMS 클라이언트 인터페이스 API로 명명될 수 있다.

MR AMS 서버(1100)에 구비된 인터페이스 API(1101)는, 상기 MR AMS 클라이언트로부터 수신된 사용자 요청(또는 컨텍스트 요청)을 상기 서비스 집계 관리자(1110)로 전달할 수 있다.

상기 인터페이스 API는, 상기 MR AMS 클라이언트(910)와의 통신을 수행하기 위한 함수를 호출하는 제1 인터페이스 API(1101) 및 상기 서비스 집계 관리자(1110)가 상기 서비스 제공자(1300a, 1300b, 1300c)와의 통신을 수행하기 위한 함수를 호출하는 제2 인터페이스 API(1102a, 1102b, 1102c)를 포함할 수 있다.

상기 제2 인터페이스 API(1102a, 1102b, 1102c)는, 서비스 제공자(1300a, 1300b, 1300c)에 구비된 인터페이스 API를 통해 서비스 데이터 및/또는 지도 데이터를 수신할 수 있다.

상기 제2 인터페이스 API(1102a, 1102b, 1102c)와 서비스 제공자(1300a, 1300b, 1300c)에 구비된 인터페이스 API는 상호 데이터 송수신을 수행하고, 데이터 형식이나 메시지 형식을 변환하도록 형성된 함수를 포함할 수 있으며, 이러한 함수를 이용하여 데이터 형식이나 메시지 형식을 변환하여 상호 데이터를 송수신할 수 있다.

서비스 집계 관리자(1110)는, 차량에 구비된 MR AMS 클라이언트(910)에서 요청된 컨텍스트의 종류에 근거하여, 서로 다른 서비스 제공자로 상기 요청된 컨텍스트를 요청할 수 있다.

구체적으로, 상기 서비스 집계 관리자(1110)는, 상기 요청된 컨텍스트의 종류가 제1 종류의 컨텍스트이면, 상기 제1 종류의 컨텍스트를 제공하는 제1 서비스 제공자(1300a)로 상기 제1 종류의 컨텍스트를 요청하고, 상기 요청된 컨텍스트의 종류가 상기 제1 종류와 다른 제2 종류의 컨텍스트이면, 상기 제2 종류의 컨텍스트를 제공하는 제2 서비스 제공자(1300b)로 상기 제2 종류의 컨텍스트를 요청할 수 있다.

일 예로, 요청된 컨텍스트의 종류가 POI(예를 들어, "Starbucks")에 관한 것이면, 서비스 집계 관리자(1110)는, POI에 관한 정보를 제공하는 제1 서비스 제공자(1300a)로 상기 POI에 관한 컨텍스트(또는 POI 데이터)를 요청 및 수신할 수 있다.

또한, 요청된 컨텍스트의 종류가 어느 거리의 뷰(view)인 경우, 서비스 집계 관리자(1110)는, 거리의 뷰에 관한 정보를 제공하는 제2 서비스 제공자(1300b)로 상기 어느 거리의 뷰에 대한 컨텍스트(또는 이미제리 데이터(Imagery data))를 요청 및 수신할 수 있다.

또한, 요청된 컨텍스트의 종류가 어느 서비스인 경우, 서비스 집계 관리자(1110)는, 서비스와 관련된 정보를 제공하는 제3 서비스 제공자(1300c)로 상기 서비스와 관련된 컨텍스트(또는, 서비스에 대한 데이터(예를 들어, 서비스 순위(ratings) 또는 가격))를 요청 및 수신할 수 있다.

또한, 인터페이스 API(1101)는, MR AMS 클라이언트(910)에서 요청된 서비스(또는 컨텍스트 요청)에 근거하여, 확정된 서비스 API(Expand service API calls)를 서비스 집계 관리자(1110)로 요청할 수 있다.

서비스 집계 관리자(1110)는, 상기 확장된 서비스 API 요청에 근거하여, 확정된 서비스에 대응하는 정보를 서비스 제공자(1300a, 1300b, 1300c)로 요청 및 수신하고, 이를 이용하여 서비스 API를 생성 및 데이터 통합 관리자(1120)로 출력할 수 있다.

상기 데이터 통합 관리자(1120)는, 상기 서비스 집계 관리자(1110)로부터 수신한 서비스 API에 근거하여, 데이터를 강화(Data Enhancement)를 수행하고, 요청된 컨텍스트에 대한 메타데이터 패키지를 생성하여 인터페이스 API(1101)를 통해 차량의 MR AMS 클라이언트(910)로 전송할 수 있다.

상기 메타데이터 패키지는, 앞서 설명한 3차원 에셋 및 서비스 메타 데이터를 포함할 수 있다. 여기서 서비스 메타 데이터는, 요청된 컨텍스트에 대응하는 서비스를 제공하기 위한 메타 데이터를 의미할 수 있다.

한편, 인터페이스 API(1101)는, 데이터 통합 관리자(1120)에서 로딩한 3차원 에셋을 상기 MR AMS 클라이언트(910)로 전송할 수 있다.

한편, 본 발명의 MR AMS 서버(1100)는, 앞서 설명한 컨텍스트 매니저(911)를 더 포함할 수 있다.

즉, 컨텍스트 매니저(911)는, MR AMS 클라이언트(910)에 포함되어 차량 단에 구비될 수도 있고, MR AMS 서버(1100)에 포함되어 서버(클라우드) 단에 구비될 수도 있으며, 양측에 모두 구비될 수도 있다.

상기 컨텍스트 매니저(911)는, MR AMS 서버(1100)에 구비된 경우, MR AMS 클라이언트(910)로부터 수신된 요청에 대응하는 컨텍스트를 관리하도록 형성될 수 있다.

상기 컨텍스트 매니저(911)는, 컨텍스트 요청을 핸들링하고 파싱하는 컨텍스트 핸들러(911a), 컨텍스트 요청을 해석하기 위한 세션을 관리하고, 데이터 모델을 이용하여 컨텍스트 집합을 생성하는 컨텍스트 인터프리터(911b), 상기 데이터 모델을 저장하는 컨텍스트 그래프 데이터베이스(Context Graph DB 또는 MR Context DB)(911c)를 포함할 수 있다.

여기서, 컨텍스트 핸들러(911a)는, 상기 MR AMS 클라이언트로 입력된 사용자 요청을 상기 인터페이스 API(1101)를 통해 수신하고, 상기 수신된 사용자 요청을 파싱하여 상기 컨텍스트 인터프리터(911b)로 전달할 수 있다.

상기 컨텍스트 인터프리터(911b)는, 세션 생성 후 상기 사용자 요청에 대응하는 컨텍스트 요청을 위한 쿼리(query)를 생성하고, 상기 쿼리에 대응하는 컨텍스트 데이터 모델을 상기 컨텍스트 그래프 데이터베이스(911c)로 요청 및 수신할 수 있다.

상기 컨텍스트 인터프리터(911b)는, 상기 서비스 집계 매니저(1110)로 상기 컨텍스트 데이터 모델에 해당하는 컨텍스트를 요청하고, 상기 서비스 집계 매니저(1110)는, 상기 서비스 제공자(1300a, 1300b, 1300c)에게 상기 컨텍스트 데이터 모델에 해당하는 컨텍스트 데이터를 요청 및 수신할 수 있다.

상기 서비스 집계 매니저(1110)는, 상기 데이터 통합 매니저(1120)로 상기 요청된 컨텍스트에 대응하는 3차원 에셋(및/또는 서비스 메타 데이터)을 요청 및 수신하고, 상기 서비스 제공자로부터 수신한 컨텍스트 데이터와, 상기 데이터 통합 매니저로부터 수신한 3차원 에셋(및/또는 서비스 메타 데이터)을 상기 컨텍스트 인터프리터(911b)로 전송할 수 있다.

상기 컨텍스트 인터프리터(911b)는, 상기 수신한 컨텍스트 데이터와 상기 3차원 에셋을 상기 컨텍스트 핸들러(911a) 및 상기 인터페이스 API(1101)를 통해 상기 차량에 구비된MR AMS 클라이언트(910)로 전송할 수 있다.

한편, 컨텍스트 매니저(911)는, 상기 생성된 컨텍스트 집합에 근거하여 추천 컨텍스트를 추출하는 컨텍스트 레코맨더(911d) 및 주기적으로 획득해야 하는 컨텍스트를 관리하는 컨텍스트 컨트롤러(911e)(또는, Context tracker)를 더 포함할 수 있다.

상기 컨텍스트 레코맨더(911d)는, 완성된 컨텍스트 데이터에서 특정 서비스를 이용할 수 없는 정보가 포함된 경우, 상기 특정 서비스를 대체할 수 있는 서비스를 추천하기 위한 쿼리 생성을 상기 컨텍스트 인터프리터(911b)로 요청할 수 있다.

도 9는 본 발명의 DTaaS 서버를 설명하기 위한 개념도이다.

도 9를 참조하면, 본 발명의 DTaaS(Digital Twin as a Service, 또는 Digital Transformation as a Service) 서버(1200)는, 차량 외부에 구비되며, 혼합 현실 자동차 메타 서비스(Mixed Reality Automotive Meta Service, MR AMS)를 제공할 수 있다. 구체적으로, 상기 DTaaS 서버(1200)는, 디지털 트윈 맵을 제공하거나, 디지털 트윈 맵을 생성하는데 필요한 데이터(예를 들어, 3차원 폴리곤 맵 혹은 디지털 트윈 상에 오버랩되는 객체에 관한 모든 종류의 정보)를 제공할 수 있다.

DTaaS 서버(1200)는, 차량에 구비된 MR 서비스 장치(900)와 통신하기 위한 함수를 호출하는 DTaaS API(1210), 상기 MR 서비스 장치로 제공하는 디지털 트윈 맵 및 렌더링 가능한 3차원 폴리곤 맵을 저장하는 데이터베이스(Digital Twins Maps DB)(1220) 및 상기 MR 서비스 장치로부터 수신된 차량의 위치정보에 근거하여, 상기 위치정보에 대응하는 3차원 폴리곤 맵을 상기 DTaaS API를 통해 상기 MR 서비스 장치로 전송하는 프로세서(1280)를 포함할 수 있다.

또한, DTaaS 서버(1200)는, 차량 외부에 구비되며 MR AMS 서비스를 제공하는MR AMS 서버(1100)와 통신을 수행하는 통신부(TeleCommunicatino Unit, TCU)(1290)를 더 포함할 수 있다.

또한, DTaaS 서버(1200)는, 상기 데이터베이스(1220)에 저장된 3차원 폴리곤 맵에 실제 촬영된 영상을 매칭하여 디지털 트윈 맵을 생성하는 디지털 트윈맵 생성부(Digital Twin Representation and Update Unit)(1230)를 더 포함할 수 있다.

또한, DTaaS 서버(1200)는, MR 서비스 장치(900) 및 MR AMS 서버(1100) 중 적어도 하나로부터 수신된 움직이는 객체에 관한 다이나믹 정보를 저장하는 다이나믹 모델 데이터베이스(Dynamics Modeling DB)(1240) 및 디지털 트윈에서 구현 가능한 시나리오에 관련된 정보를 저장하는 시나리오 데이터베이스(Scenarios DB)(1250)를 더 포함할 수 있다.

또한, DTaaS 서버(1200)는, 상기 디지털 트윈 상에서 사용자 요청에 대응되는 시뮬레이션을 수행하는 시뮬레이션부(Simulation Unit)(1260) 및 상기 디지털 트윈 상에서 구현되어야 하는 정보를 시각화하는 시각화부(Visualization Unit)(1270)를 더 포함할 수 있다.

앞서 설명한 모든 구성요소들은 각각 독립적인 하드웨어(예를 들어, 칩 또는 모듈)로 구현 가능하며, 필요에 따라 소프트웨적으로 블록화된 컴포너트로 구현될 수도 있다.

상기 DTaaS 서버(1200)는, 차량(100) 뿐만 아니라, 플릿 매니지먼트 서비스(또는 차량군 관리 서비스)를 제공하는 서버(FMS Server)(1280) 및 도시 계획 서비스(City Planning Service)를 제공하는 서버(1290)와도 DTaaS API(1210)를 통해 데이터를 송수신할 수 있다.

일 예로, DTaaS 서버(1200)는, 차량(100), FMS 서버(1280) 및 도시 계획 서비스 제공 서버(1290) 중 적어도 하나로부터 각 서버에서 수집된 로그 정보를 수집할 수 있다.

이후, DTaaS 서버(1200)는, 수집된 로그 정보를 로그 데이터베이스에 저장할 수 있다.

DTaaS 서버(1200)는, 수집된 로그 정보에 근거하여, 차량(100), FMS 서버(1280) 및 도시계획 서비스 제공 서버(1290) 중 적어도 하나에서 시각화를 위한 디지털 트윈 맵을 제공할 수 있다.

또한, DTaaS 서버(1200)는, 수신된 로그 정보에 근거하여, 이벤트 알림 정보, 시뮬레이션 정보 및 시각화 정보 중 적어도하나를 차량(100), FMS 서버(1280) 및 도시계획 서비스 제공 서버(1290) 중 적어도 하나로 전송할 수 있다.

한편, 본 발명과 관련된 차량(100)은 경로 안내 장치(1300)를 포함할 수 있다.

경로 안내 장치(1300)는, 앞서 설명한 AR 서비스 장치(800) 및/또는 MR 서비스 장치(900)를 포함할 수 있다.

상기 AR 서비스 장치(800)는, AR 엔진 또는 AR 모듈로 명명될 수 있으며, 상기 MR 서비스 장치(900)는, MR 엔진 또는 MR 모듈로 명명될 수 있다.

경로 안내 장치(1300)는, AR 서비스 장치(800) 및 MR 서비스 장치(900) 중 적어도 하나의 기능/동작/제어방법을 수행할 수 있다.

경로 안내 장치(1300)에 포함된 프로세서(1330)는, AR 서비스 장치(800) 및 MR 서비스 장치(900) 중 적어도 하나를 제어하는 별도의 프로세서(1330)일 수도 있고, AR 서비스 장치(800) 및/또는 MR 서비스 장치(900) 그 자체를 의미할 수도 있다.

또한, 경로 안내 장치(1300)는, 도 7에서 설명한 구성요소들 중 적어도 하나를 제어하는 것이 가능하다. 이러한 관점에서 봤을 때, 상기 경로 안내 장치(1300)는 제어부(170)일 수 있다.

이에 한정되지 않고, 경로 안내 장치(1300)는, 제어부(170)와 독립된 별도의 구성일 수 있다. 경로 안내 장치(1300)가 제어부(170)와 독립된 구성요소로 구현되는 경우, 상기 경로 안내 장치(1300)는 차량(100)의 일부분에 구비될 수 있다.

이하에서는, 설명의 편의를 위해 경로 안내 장치(1300)를 제어부(170)와 독립된 별도의 구성인 것으로 설명하기로 한다. 본 명세서에서 경로 안내 장치(1300)에 대하여 설명하는 기능(동작) 및 제어방법은, 차량의 제어부(170)에 의해 수행될 수 있다. 즉, 경로 안내 장치(1300)와 관련하여 설명한 모든 내용은, 제어부(170)에도 동일/유사하게 유추적용될 수 있다.

또한, 본 명세서에서 설명하는 경로 안내 장치(1300)는, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들 중 일부분이 포함될 수 있다. 본 명세서에서는, 설명의 편의를 위해, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들을 별도의 명칭과 도면부호를 부여하여 설명하기로 한다.

도 10a는 상기 경로 안내 장치(1300)를 설명하기 위한 개념도이다.

본 발명의 일 실시 예에 따른 경로 안내 장치(1300)는, 통신부(1310), 인터페이스부(1320) 및 프로세서(1330)를 포함할 수 있다.

상기 통신부(1310)는, 차량에 구비된 전장품(예를 들어, 도 7에서 살펴본 차량에 구비된 전장품) 중 적어도 하나와 무선 통신을 수행하도록 형성될 수 있다.

또한, 상기 통신부(1310)는, 차량 이외의 장치, 예를 들어, 이동 단말기, 서버, 다른 차량, 도로에 구비된 인프라 등과 통신을 수행하도록 형성될 수 있다.

상기 통신부(1310)는, 앞서 설명한 통신 장치(400)일 수 있으며, 상기 통신 장치(400)에 포함된 구성요소들 중 적어도 하나를 포함할 수 있다.

인터페이스부(1320)는, 차량에 구비된 구성품 중 적어도 하나와 통신을 수행할 수 있다.

구체적으로, 인터페이스부(1320)는, 도 7에서 살펴본 차량에 구비된 구성품 중 적어도 하나와 유선 통신을 수행하도록 형성될 수 있다.

상기 인터페이스부(1320)는 상기 차량(100)에 구비된 하나 또는 그 이상의 센서들로부터 센싱 정보를 수신한다.

상기 인터페이스부(1320)는 센서 데이터 콜렉터(Sensor Data Collector)로 호칭될 수 있다.

상기 인터페이스부(1320)는, 차량에 구비되는 센서(예를 들어, 차량의 조작을 감지하는 센서(V.Sensors)(예를 들어, heading, throttle, break, wheel 등)와 차량의 주변 정보를 센싱하기 위한 센서(S.Sensors)(예를 들어, Camera, Radar, LiDAR, Sonar 등))를 통해 센싱된 정보를 수집(수신)한다.

상기 인터페이스부(1320)는, 차량에 구비된 센서를 통해 센싱된 정보가 고정밀 지도에 반영되도록 통신부(1310)(또는 프로세서(1330))로 전송할 수 있다.

인터페이스부(1320)는, 일 예로, 차량 인터페이스부(130)를 통해 차량에 구비된 전장품과의 통로 역할을 수행할 수 있다.

인터페이스부(1320)는, 차량 인터페이스부(130)와 데이터를 교환할 수 있다.

인터페이스부(1320)는 차량에 연결되어 전기 에너지를 공급받는 통로 역할을 수행할 수 있다.

예를 들어, 경로 안내 장치(1300)는, 인터페이스부(1320)를 통해 차량의 전원 공급부(190)로부터 전기 에너지를 공급받아 전원을 온 시킬 수 있다.

한편, 본 발명은, 연결된 경로 안내 장치(1300)의 각 구성요소를 제어하며, 상기 경로 안내 장치(1300)의 전반적인 동작을 제어하는 프로세서(1330)를 포함할 수 있다. 상기 프로세서(1330)는 차량에 구비된 카메라로부터 촬영된 이미지, 2차원 지도정보 및 3차원 지도정보 중 적어도 하나를 이용하여 디지털 트윈(Digital Twin)된 3차원 맵을 생성할 수 있다.

상기 프로세서(1330)는, 디지털 트윈된 3차원 맵 상에 경로 안내와 관련된 그래픽 객체를 오버랩(Overlap)(또는 중첩, 출력)할 수 있다.

여기서, 경로 안내와 관련된 그래픽 객체는, 증강현실로 출력되는 객체를 의미하며, 경로 안내를 수행하는데 필요한 다양한 형태의 객체(예를 들어, POI객체, 카펫 형태의 객체, 3D 객체 등)를 포함할 수 있다.

이 경우 상기 경로 안내와 관련된 그래픽 객체는, AR 객체로 명명될 수도 있으며, 상기 AR 객체를 표시하는 디스플레이 화면 상의 이미지, 즉 뷰(view) 이미지는 AR 뷰 이미지로 명명될 수 있다.

또한 상기 경로 안내와 관련된 그래픽 객체는, 혼합 현실(MR)로 출력되는 객체를 의미하며, 경로 안내를 수행하는데 필요한 다양한 형태의 객체(예를 들어, 디지털 트윈된 3차원 맵 상의 객체 등)를 포함할 수 있다. 이 경우 상기 경로 안내와 관련된 그래픽 객체는, MR 객체로 명명될 수도 있으며, 상기 MR 객체를 표시하는 디스플레이 화면 상의 이미지, 즉 뷰 이미지는 MR 뷰 이미지로 명명될 수 있다.

경로 안내 장치(1300)는 MR AMS 서버(1100)로부터 제공받은 3차원 지도 데이터에 근거하여 혼합 현실 영상을 렌더링(rendering) 할 수 있다. 일 예로 경로 안내 장치(1300)는 MR 렌더러(Render)를 제어하여, 제공받은 3차원 지도 데이터에 근거하여 차량 주변의 건물들에 대한 모델들을 포함하는 3차원 지도 화면을 표시할 수 있다. 또한 차량에 대응하는 그래픽 객체를 상기 3차원 지도 화면에 표시하고, 제공받은 POI 데이터 및 차량 주변의 상황 정보에 대응하는 그래픽 객체들을 상기 3차원 지도 화면에 표시할 수 있다.

따라서 현재 차량과 차량 주변 건물 형상과 흡사한 3차원 건물 모델과 차량에 대응하는 그래픽 객체를 포함하는 가상 환경의 영상이 CID(Center Information Display), HUD(Head Up Display), RSI(Rear Sheet Information) 또는 RSE(Rear Sheet Entertainment)와 같은 디스플레이부(251)에 출력될 수 있다.

이 경우 상기 가상 환경을 통해 차량의 주행 및 차량 주변의 상황에 관련된 정보들이 운전자에게 제공될 수 있다. 상기 3차원 지도 정보, 즉, 디지털 트윈 지도(Digital Twin Map)를 통해, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 운전자에게 혼합 현실 서비스를 제공할 수 있다.

한편 상기 MR AMS 서버(1100)는 하나의 차량에 구비된 경로 안내 장치(1300) 뿐만 아니라 다수의 차량에 구비된 경로 안내 장치(1300)로부터 수집되는 정보에 근거하여 3차원 지도 데이터 및, 상기 3차원 지도 데이터와 함께 제공될 수 있는 POI 정보나 각 차량 주변의 상황 정보들을 결정할 수 있다.

이 경우 MR AMS 서버(1100)는 클라우드 서버의 형태로 복수의 차량에서 정보를 수집하고, 수집된 정보들에 근거하여 혼합 현실을 위한 3차원 지도 데이터를 생성할 수 있다. 그리고 생성된 3차원 지도 데이터에 근거하여, 서로 다른 차량에 구비된 적어도 하나의 경로 안내 장치(1300)에 혼합 현실 서비스를 제공하기 위한 MR 정보를 전송하도록 구현될 수 있다.

설명의 편의상 이하에서는, DTaaS 서버(1200)와 연결되어, 혼합 현실 서비스를 제공하기 위한 3차원 지도 정보, 즉 디지털 트윈된 3차원 맵을 제공하는 MR AMS 서버(1100) 및 상기 DTaaS 서버(1200)를 클라우드 서버로 통칭하기로 한다.

이하에서는, 카메라로부터 촬영된 이미지를 통해 제공되는 AR 뷰 이미지 및 디지털 트윈된 3차원 맵을 통해 제공되는 MR 뷰 이미지를 이용하여 경로 안내를 수행하는 방법에 대하여 첨부된 도면을 참조하여 보다 구체적으로 살펴보기로 한다.

도 10b는 본 발명의 실시 예에 따른 경로 안내 장치(1300)에 의해 뷰 이미지를 표시하는 디스플레이 화면(1350)의 예를 도시한 것이다. 상기 디스플레이 화면(1350)은 상기 경로 안내 장치(1300)가 장착된 차량에 구비되는 디스플레이부(251)의 화면일 수 있다. 일 예로 상기 디스플레이부(251)는 상기 차량에 구비된 CID(Center Information Display), HUD(Head Up Display), RSI(Rear Sheet Information) 또는 RSE(Rear Sheet Entertainment) 중 적어도 하나일 수 있다.

상기 경로 안내 장치(1300)는 인터페이스부(1320)를 통해 상기 디스플레이부(251)에 경로 안내 정보를 표시하기 위한 다양한 객체(예 :AR 객체 및 MR 객체)를 포함하는 뷰 이미지(예 : AR 뷰 이미지, MR 뷰 이미지)를 제공하여 상기 디스플레이부(251)가, AR 객체를 포함하는 AR 뷰 이미지 및 MR 객체를 포함하는 MR 뷰 이미지 중 적어도 하나를 표시하도록 할 수 있다. 이 경우 상기 디스플레이부(251)는, 상기 인터페이스부(1320)를 통해 경로 안내 장치(1300)의 제어에 따라 AR 뷰 이미지 및 MR 뷰 이미지 중 적어도 하나를 표시하는 것일 수 있다.

도 10b를 참조하여 살펴보면, 경로 안내 장치(1300)는 도 10b의 (a)에서 보이고 있는 바와 같이 디스플레이 화면(1350) 전체 영역에 하나의 뷰 이미지를 출력할 수 있다. 이 경우 상기 뷰 이미지는 AR 뷰 이미지이거나 또는 MR 뷰 이미지일 수 있다. 여기서 AR 뷰 이미지가 표시되는 경우, 경로 안내 장치(1300)는 차량에 구비된 카메라로부터 획득되는 실제 이미지에, 적어도 하나의 AR 객체들이 표시되는 이미지를 표시할 수 있다. 이 경우 상기 카메라로부터 획득되는 실제 이미지는, 차량의 전방이거나 차량의 측방(좌측 또는 우측), 또는 차량의 후방을 촬영한 이미지일 수 있다. 그리고 이미지 상에 표시되는 AR 객체는, 촬영된 이미지에 따라 각각, 차량의 전방이나 차량의 측방, 또는 차량의 후방에 위치한 차량 주변 사물 또는 주변 환경에 대응하는 그래픽 객체들일 수 있다.

한편 디스플레이 화면(1350)에 MR 뷰 이미지가 표시되는 경우 경로 안내 장치(1300)는 탑승자의 선택 또는 차량의 상태에 대응하는 특정 촬영각에서 차량에 대응하는 MR 객체가 표시되는 뷰 이미지를 표시할 수 있다. 일 예로 경로 안내 장치는, 디지털 트윈된 3차원 맵을 이용하여 차량을 위에서 내려다보는 조감도(bird view image)나, 차량의 우측이나 좌측을 소정 각도에서 바라보는 측면뷰(side view image), 또는 차량의 후면을 바라보는 후면뷰(rear side view)에 따른 뷰 이미지 등의 MR 뷰 이미지일 수 있다.

한편 디스플레이 화면(1350)에 한 종류의 뷰 이미지가 표시되는 상태에서, 경로 안내 장치(1300)는 기 설정된 조건이 충족되는지 여부에 따라 상기 디스플레이 화면(1350)에 표시되는 뷰 이미지를 다른 종류의 뷰 이미지로 전환할 수 있다. 일 예로 경로 안내 장치(1300)는, 디스플레이부(251)가 AR 뷰 이미지를 표시하는 상태에서 날씨, 교통 상황, 차량 주변 조도 등, 포함된 객체들의 명확한 식별이 가능한 이미지의 획득이 어려움에 따라 정확한 AR 뷰 이미지의 제공이 어려운 경우, 디스플레이 화면(1350) 상에 표시되는 뷰 이미지를 MR 뷰 이미지로 전환할 수 있다. 이 경우 증강현실을 통해 제공되는 경로 안내 정보가 혼합현실을 통해 제공되는 상태로 전환될 수 있다. 그리고 MR 뷰 이미지를 통해 경로 안내 정보를 제공할 수 있다.

또는 경로 안내 장치(1300)는, 디스플레이부(251)가 MR 뷰 이미지를 표시하는 상태에서, AR 뷰 이미지의 제공이 가능한지 여부에 따라 디스플레이 화면(1350) 상에 표시되는 뷰 이미지를 AR 뷰 이미지로 전환하고, MR 뷰 이미지를 통해 경로 안내 정보를 제공할 수 있다. 이 경우 혼합현실을 통해 제공되는 경로 안내 정보가 증강현실을 통해 제공되는 상태로 전환될 수 있다.

이하 경로 안내 장치(1300)가, 차량과 관련된 기 설정된 조건들에 근거하여 AR 뷰 이미지를 표시하는 AR 동작 모드에서 MR 뷰 이미지를 표시하는 MR 동작 모드로 전환하거나, 또는 상기 MR 동작 모드에서 AR 동작 모드로 전환하여, AR 뷰 이미지와 MR 뷰 이미지 중, 현재 차량의 상태 및 주변 환경 등에 보다 적합한 뷰 이미지를 이용하여 경로 안내 정보를 제공하도록 디스플레이부(251)를 제어하는 동작 과정 및 이에 대한 실시 예들을 하기 도 11 내지 도 15를 참조하여 자세하게 살펴보기로 한다.

한편 디스플레이 화면(1350)에 한 종류의 뷰 이미지가 표시되는 상태에서, 경로 안내 장치(1300)는 디스플레이 영역을 분할하여 서로 다른 종류의 뷰 이미지를 표시할 수 있다. 예를 들어 경로 안내 장치(1300)는 도 10b의 (b)에서 보이고 있는 바와 같이, 디스플레이 화면(1350)을 주화면 영역(Main Screen, 1361)과 보조화면 영역(Secondary Screen, 1362)으로 분할할 수 있다.

이 경우 경로 안내 장치(1300)는 상기 주화면 영역(1061)과 보조화면 영역(1362)에 서로 다른 종류의 뷰 이미지를 표시하도록 디스플레이부(251)를 제어할 수 있다. 즉, 경로 안내 장치(1300)는 주화면 영역(1361)에는 AR 뷰 이미지를 표시하고, 보조화면 영역(1362)에는 MR 뷰 이미지를 표시하도록 디스플레이부(251)를 제어할 수 있다. 또는 반대로 주화면 영역(1361)에는 MR 뷰 이미지를 표시하고, 보조화면 영역(1362)에는 AR 뷰 이미지를 표시하도록 디스플레이부(251)를 제어할 수 있다.

또는 경로 안내 장치(1300)는 디스플레이 화면(1350)에 한 종류의 뷰 이미지가 표시되는 상태에서, 상기 디스플레이 화면(1350)의 적어도 일부에 오버랩되는 PIP(Picture In Picture) 영역(1370)을 생성할 수 있다. 이 경우 상기 PIP 영역은 팝업(POP UP)형태로 표시되며, 상기 디스플레이 화면(1350)의 적어도 일부를 오버랩(Overlap)되는 영역일 수 있다. 이 경우 상기 PIP 영역(1370)은 다중 레이어 방식을 통해 상기 디스플레이 화면(1350)에 오버랩될 수 있다.

이 경우 경로 안내 장치(1300)는 디스플레이 화면(1350)과 상기 PIP 영역(1370)에 서로 다른 종류의 뷰 이미지를 표시하도록 디스플레이부(251)를 제어할 수 있다. 즉, 경로 안내 장치(1300)는 디스플레이 화면(1350)에는 AR 뷰 이미지를 표시하고, PIP 영역(1370)에는 MR 뷰 이미지를 표시하도록 디스플레이부(251)를 제어할 수 있다. 또는 반대로 디스플레이 화면(1350)에는 MR 뷰 이미지를 표시하고, PIP 영역(1370)에는 AR 뷰 이미지를 표시하도록 디스플레이부(251)를 제어할 수 있다.

이하 경로 안내 장치(1300)가, 디스플레이 화면(1350)을 분할하여 AR 뷰 이미지 및 MR 뷰 이미지를 하나의 화면에 모두 표시하도록 디스플레이부(251)를 제어하는 동작 과정 및 그에 따른 실시 예들을 하기 도 16 내지 도 20을 참조하여 보다 자세하게 살펴보기로 한다. 또한 경로 안내 장치(1300)가, 어느 한 종류의 뷰 이미지가 표시되는 디스플레이 화면(1350)의 적어도 일부에 다른 종류의 뷰 이미지를 오버랩하여 AR 뷰 이미지 및 MR 뷰 이미지를 하나의 화면에 모두 표시하도록 디스플레이부(251)를 제어하는 동작 과정 및 그에 따른 실시 예들을 하기 도 20 내지 도 22를 참조하여 보다 자세하게 살펴보기로 한다.

먼저 AR 동작 모드에서 MR 동작 모드로 전환하거나 또는 MR 동작 모드에서 AR 동작 모드로 전환하여, 전환된 동작 모드에 따른 뷰 이미지를 제공하도록 디스플레이부(251)를 제어하는 경로 안내 장치(1300)의 동작 과정을 살펴보기로 한다.

도 11은 본 발명의 실시 예에 따른 경로 안내 장치(1300)가, 동작 모드 전환을 통해 증강현실 또는 혼합현실 중 어느 하나를 통해 경로 안내 정보를 제공하는 동작 과정을 도시한 흐름도이다. 그리고 도 12는 본 발명의 실시 예에 따른 경로 안내 장치(1300)가, 제1 뷰 이미지로부터 검출된 파라메터들에 따라 제2 뷰 이미지를 생성하는 예를 도시한 것이다. 그리고 도 13은 본 발명의 실시 예에 따른 경로 안내 장치(1300)에서 표시되는 증강현실 뷰 이미지와, 그 증강현실 뷰 이미지에 대응하는 혼합현실 뷰 이미지의 예를 도시한 것이다.

먼저 도 11을 참조하여 살펴보면, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 먼저 제1 모드에 기반한 뷰 이미지를 통해 경로 안내 정보를 제공할 수 있다(S1100).

여기서 상기 제1 모드는 증강현실 기술에 따라 카메라를 통해 획득된 실제 이미지에 AR 객체가 표시하는 AR 동작 모드일 수 있다. 이 경우 상기 제1 모드에서 표시되는 뷰 이미지는 상기 AR 객체가 포함된 AR 뷰 이미지일 수 있다. 또는 상기 제1 모드는 혼합현실 기술에 따라 디지털 트윈된 3차원 맵에 가상 객체(MR 객체)가 표시되는 MR 동작 모드일 수 있다. 이 경우 상기 제1 모드에서 표시되는 뷰 이미지는 상기 MR 객체가 포함된 MR 뷰 이미지일 수 있다.

또한 상기 경로 안내 정보는, 현재 설정된 목적지까지의 경로에 관련된 경로 정보 뿐만 아니라 차량 또는 경로 주변의 환경에 관련된 정보를 다수 포함할 수 있다. 일 예로 경로 안내 정보는, 현재 차량의 주변에 위치한 적어도 사물 또는 건물과 같은 주변 환경에 대응하는 객체들의 정보들을 포함할 수 있다. 또한 목적지까지의 경로 주변에 위치한 적어도 하나의 객체들이나 상기 목적지 주변에 관련된 다양한 객체들의 정보들을 포함할 수 있다. 이러한 객체들의 정보는 POI(Point Of Interest) 정보의 형태로 포함될 수 있다. 뿐만 아니라 상기 경로 안내 정보는 현재 차량의 속도나 연료량, 주행하는 도로의 상태, 교통 혼잡 여부, 차량 주변 날씨 등, 차량의 상태나 차량 주변 환경의 상태에 대한 정보를 포함하는 정보일 수 있다.

상기 제1 모드에 기반하여 경로 안내 정보를 제공하는 S1100 단계에서, 경로 안내 장치(1300)는 차량에 구비된 적어도 하나의 센서에 근거하여 모드 전환 조건과 관련된 정보들을 수집할 수 있다(S1102). 여기서 상기 적어도 하나의 센서는 경로 안내 장치(1300)의 통신부(1310)를 포함할 수 있다.

그리고 상기 모드 전환 조건과 관련된 정보들은, 탑승자가 요청한 경로 정보의 종류, 차량이 주행하는 지역이나 도로, 차량의 주행 모드, 주행이 이루어지는 시간, 날씨, 차량 주변의 교통 상황, 차량의 주행 상태 및 주행 환경 및 선호 경로 여부 등에 관련된 정보들일 수 있다. 또한 상기 모드 전환 조건과 관련된 정보들은, 현재 표시되는 뷰 이미지의 정확도나 차량 주변에서 발생된 경고의 위치 등에 관련된 정보들일 수 있다.

그리고 경로 안내 장치(1300)는 상기 S1102 단계에서 수집된 정보들에 근거하여, 현재 상황에 적합한 모드를 검출할 수 있다(S1104).

일 예로 경로 안내 장치(1300)는, 탑승자가 요청한 경로 정보에 근거하여 적합한 모드를 결정할 수 있다. 탑승자가 현재 시점에 대응하는 경로 정보를 요청하는 경우 경로 안내 장치(1300)는 카메라를 통해 획득되는 실제 이미지를 표시하는 AR 뷰 이미지를 제공하는 AR 모드가 현재 상황에 적합한 모드라고 판단할 수 있다.

반면 탑승자가 요청한 경로 정보가 현재 시점에 대응하는 경로 정보가 아닌 경우, 즉, 차량이 아직 주행하지 않은 미래의 분기점이나 목적지의 주행 경로에 대한 경로 정보, 또는 차량이 이미 주행한 과거의 주행 경로 또는 이미 지나온 경로에 대한 POI 정보 등의 경로 정보를 탑승자가 요청하는 경우, 경로 안내 장치(1300)는 디지털 트윈된 3차원 맵과 가상 객체를 포함하는 MR 뷰 이미지를 제공하는 MR 모드가 현재 상황에 적합한 모드라고 판단할 수 있다.

또는 경로 안내 장치(1300)는, 차량이 주행하고 있는 지역에 근거하여 적합한 모드를 결정할 수 있다. 예를 들어 차량이 주행하고 있는 도로가, 교통 복잡도가 낮은 고속도로인 경우 경로 안내 장치(1300)는 AR 뷰 이미지를 제공하는 AR 모드가 현재 상황에 적합한 모드라고 판단할 수 있다. 반면 차량이 주행하고 있는 도로가, 교통 복잡도가 높은 도심 내 일반 도로인 경우 경로 안내 장치(1300)는 MR 뷰 이미지를 제공하는 MR 모드가 현재 상황에 적합한 모드라고 판단할 수 있다.

또한 경로 안내 장치(1300)는 차량이 주행하는 도로의 상태에 따라 적합한 뷰 이미지를 표시하는 동작 모드를 결정할 수도 있다. 예를 들어 포장 도로이거나 도로의 굴곡률이 기 설정된 임계값 이하인 도로인 경우 경로 안내 장치(1300)는 AR 모드가 현재 상황에 적합한 모드라고 판단할 수 있다.

한편 차량이 주행하는 도로가 비포장 도로이거나 도로의 굴곡률이 상기 임계값을 초과하는 도로인 경우, 또는 차선이 없는 도로인 경우 카메라를 통해 획득되는 이미지를 통해 도로를 정확하게 인식하기 어려울 수 있다. 예를 들어 차선의 인식이 어려울 수 있다. 따라서 경로 안내 장치(1300)는, 차량이 주행하는 도로가 비포장 도로이거나 굴곡률이 임계값을 초과하는 도로인 경우, 실제 촬영된 이미지를 사용하지 않는 MR 모드가 현재 상황에 보다 적합한 모드라고 판단할 수 있다. 또한 고도 정보(Height profile)가 제공되지 않는 경사로를 주행하는 경우 MR 모드가 현재 상황에 보다 적합한 모드라고 판단할 수 있다.

한편 상기 도로의 상태에 대한 정보는, 교통 정보를 제공하는 서버로부터 수집되거나, 카메라를 통해 획득되는 이미지로부터 수집될 수 있다. 또는 디지털 트윈화된 3차원 지도로부터 획득될 수 있다.

또는 경로 안내 장치(1300)는, 차량의 주행 모드에 근거하여 적합한 모드를 결정할 수 있다. 예를 들어 차량이, 탑승자가 직접 운전하는 수동 주행 모드로 주행 중인 경우, 경로 안내 장치(1300)는 AR 뷰 이미지를 제공하는 AR 모드가 현재 상황에 적합한 모드라고 판단할 수 있다. 반면 차량이 자율적으로 주행하는 자율 주행 모드로 주행 중인 경우, 경로 안내 장치(1300)는 MR 뷰 이미지를 제공하는 MR 모드가 현재 상황에 보다 적합한 모드라고 판단할 수 있다.

또는 경로 안내 장치(1300)는, 명도 대비가 임계값 이상인 이미지의 획득이 가능한지 여부에 따라 현재 상황에 적합한 모드를 결정할 수 있다. 일 예로 조도가 높음에 따라 명도 대비가 명확한 이미지를 획득할 수 있는 낮 시간대에 차량의 주행이 이루어지는 경우, 경로 안내 장치(1300)는 실제 획득된 이미지를 이용하는 AR 뷰 이미지를 제공하는 AR 모드가 현재 상황에 적합한 모드라고 판단할 수 있다.

반면 경로 안내 장치(1300)는 조도가 낮음에 따라 명도 대비가 임계값 이상인 이미지를 획득할 수 없는 밤 시간대에 차량의 주행이 이루어지는 경우, 디지털 트윈화된 3차원 지도를 이용하는 MR 뷰 이미지를 제공하는 MR 모드가 현재 상황에 적합한 모드라고 판단할 수 있다. 이처럼 차량이 야간 주행 중인 경우, 차량 주변의 객체들에 대한 가시도가 더 높은 객체들을 포함하는 MR 뷰 이미지를 표시할 수도 있다(야간(Night) MR 모드).

한편 경로 안내 장치(1300)는 상술한 바와 같이 명도 대비가 임계값 이상인 이미지의 획득이 가능한지 여부에 따라 현재 상황에 적합한 모드를 결정할 수 있다. 따라서 차량 주변의 조도를 검출한 결과 조도가 충분한 경우라면(임계값 이상), 경로 안내 장치(1300)는 차량이 주행하는 시간대가 비록 밤 시간대인 경우에도, 임계값 이상의 명도 대비를 가지는 차량 주변의 이미지를 획득할 수 있는 것으로 판단할 수 있다. 그러므로 차량이 주행하는 시간대가 밤 시간대인 경우에도 AR 모드가 더 적합하다고 판단할 수도 있음은 물론이다.

한편 경로 안내 장치(1300)는 차량 주변의 날씨에 근거하여 현재 상황에 적합한 모드를 결정할 수도 있다. 예를 들어 차량 주변의 날씨를 센싱한 결과, 눈이나 비가 오는 날씨인 경우, 또는 안개가 심한 날씨인 경우 경로 안내 장치(1300)는 실제 이미지를 이용하는 AR 모드보다 디지털 트윈화된 지도를 이용하는 MR 모드가 적합한 것으로 판단할 수 있다. 이 경우 경로 안내 장치(1300)는 상기 차량 주변의 날씨가 반영된 MR 객체를 포함하는 MR 뷰 이미지를 표시할 수 있다. 예를 들어 눈 또는 비가 오는 날씨인 경우, 경로 안내 장치(1300)는 얼음 형태의 도로 카펫을 포함하는 MR 객체를, MR 뷰 이미지 상에 표시할 수 있다.

반면, 눈, 비, 안개 등이 없는 맑은 날씨인 경우 경로 안내 장치(1300)는 실제 이미지를 이용하는 AR 모드가 현재 상황에 보다 적합한 모드라고 판단할 수 있다.

여기서 경로 안내 장치(1300)는 상기 차량 주변의 날씨에 대한 정보를, 차량에 구비된 센서를 통해 수집할 수 있다. 또는 경로 안내 장치(1300)는, 통신부(1310)를 통해 차량이 현재 주행하고 있는 지역에 대한 날씨 정보를 제공하는 기상 서버와 무선 연결하고, 상기 기상 서버로부터 제공되는 날씨 정보에 근거하여 상기 차량 주변의 날씨를 판별할 수 있다.

한편 경로 안내 장치(1300)는 차량 주변의 교통 체증 상황에 근거하여 현재 상황에 적합한 모드를 결정할 수도 있다. 예를 들어 경로 안내 장치(1300)는 차량 주변의 교통 체증이 일정 수준 미만인 경우 AR 뷰 이미지를 표시하는 AR 모드가 적합한 것으로 판단할 수 있다. 그러나 차량 주변의 교통 체증이 일정 수준 이상인 경우 MR 뷰 이미지를 표시하는 MR 모드가 적합한 것으로 판단할 수 있다.

이 경우 경로 안내 장치(1300)는 차량 주변의 각 도로에 대한 교통 체증 수준에 따라 서로 구분될 수 있는 MR 객체들을 포함하는 MR 뷰 이미지를 표시할 수 있다.

여기서 상기 각 도로에 대한 상기 교통 체증 수준들은, 차량이 현재 주행하고 있는 지역에 대한 교통정보를 제공하는 교통 관제 서버를 통해 제공될 수 있다. 이 경우 경로 안내 장치(1300)는, 상기 교통 관제 서버로부터 제공되는 교통 정보에 근거하여 차량 주변의 각 도로에 대한 교통 체증 수준들을 판별할 수 있다. 그리고 판별된 교통 체증 수준들에 따라 서로 다른 색상을 가지는 MR 객체들을 디지털 트윈화된 3차원 맵 상에 표시함으로써 상기 MR 뷰 이미지를 제공할 수 있다.

또는 경로 안내 장치(1300)는 자체적으로 교통 체증 수준을 결정할 수도 있다. 이 경우 특정 경로의 교통 체증 수준은, 그 특정 경로로 차량이 주행하는 경우에 차량이 목적지까지 도달하는데 소요되는 통상적인 도착 예상 시간(제1 도착 예상 시간)과, 현재 교통 상태에 따라 상기 특정 경로로 차량이 주행하는 경우에 차량이 목적지까지 도착하는데 예상되는 소요되는 도착 예상 시간(제2 도착 예상 시간)의 차이에 따라 결정될 수 있다.

한편 경로 안내 장치(1300)는 차량의 주행 상태에 근거하여 현재 상황에 적합한 모드를 결정할 수도 있다. 예를 들어 경로 안내 장치(1300)는 차량이 정지 상태에 있는 경우 MR 뷰 이미지를 제공하는 MR 모드가 적합한 것으로 판단할 수 있다. 반면 차량이 이동하는 주행 상태에 있는 경우 AR 뷰 이미지를 제공하는 MR 모드가 적합한 것으로 판단할 수 있다.

이 경우 차량이 신호 대기를 위해 정차하면, 경로 안내 장치(1300)는 MR 모드가 적합한 것으로 판단할 수 있으며, 신호 대기 후 차량이 주행을 시작하는 경우 AR 모드가 적합한 것으로 판단할 수 있다. 따라서 차량이 주행 중인 상태에서 신호 대기를 위해 정차하는 경우, 디스플레이부(251) 상에 표시되는 뷰 이미지는 AR 뷰 이미지에서 MR 뷰 이미지로 전환될 수 있다. 그리고 신호 대기 후 차량이 주행을 시작하는 경우 MR 뷰 이미지에서 다시 AR 뷰 이미지로 전환될 수 있다.

한편 경로 안내 장치(1300)는 차량의 주행 속도에 근거하여 현재 상황에 적합한 모드를 결정할 수도 있다. 예를 들어 차량의 주행 속도가 기준 속도 미만인 경우 AR 뷰 이미지를 제공하는 AR 모드가 적합한 것으로 판단할 수 있다. 반면 차량의 주행 속도가 상기 기준 속도 이상인 경우, 즉 기준 속도에 따라 주행 중이거나 또는 차량이 그 이상의 고속으로 주행하는 경우, 경로 안내 장치(1300)는 MR 뷰 이미지를 제공하는 MR 모드가 적합한 것으로 판단할 수 있다.

이러한 경우 경로 안내 장치(1300)는 상기 차량의 주행 속도에 따라 서로 다른 MR 객체들을 표시하는 MR 뷰 이미지를 제공할 수 있다. 일 예로 차량의 주행 속도가 제1 속도 이상인 경우 높은 고도에서 상기 차량에 대응하는 객체를 바라보는 조감도 형태의 MR 뷰 이미지를 제공할 수 있다. 그러나 차량의 주행 속도가 상기 제1 속도보다 높은 제2 속도 이상인 경우라면 경로 안내 장치(1300)는 높은 고도에서 차량에 대응하는 객체를 바라보는 것을 넘어서, 상기 차량에 주행할 경로를 미리 보여주는 드론 뷰(drone view) 형태의 MR 뷰 이미지를 제공할 수도 있다.

한편 경로 안내 장치(1300)는 차량의 주행 상황에 근거하여 현재 상황에 적합한 모드를 결정할 수도 있다. 이 경우 경로 안내 장치(1300)는 차량 주변으로부터 검출되는 객체들에 근거하여 상기 현재 상황에 적합한 모드를 결정할 수 있다.

일 예로 경로 안내 장치(1300)는 차량 주변에 대형 차량이 있는 경우, 또는 차량으로부터 기 설정된 인접 거리 내에 기 설정된 크기 이상의 건물 또는 광고판 등의 구조물이 있는 경우, 상기 대형 차량이나 대형 구조물들로 인해 가려지는 영역, 즉 사각 지대가 발생할 가능성이 있다고 판단할 수 있다. 따라서 경로 안내 장치(1300)는 차량으로부터 인접 거리 내에 일정 크기 이상의 차량이나 구조물이 있는 경우 MR 뷰 이미지를 제공하는 MR 모드가 적합한 것으로 판단할 수 있다.

또는 경로 안내 장치(1300)는 차량 주변에 위험 영역이 검출되는 경우 MR 뷰 이미지를 제공하는 MR 모드가 적합한 것으로 판단할 수 있다. 여기서 상기 위험 영역은 공사 중이거나 사고 다발 지역 등, 주행 중에 주의를 기울여야 할 영역으로 미리 지정된 영역일 수 있다. 또는 상기 위험 영역은, 교통 정보 또는 도로 정보를 제공하는 기 설정된 서버가, 근방 차량에게 제공하는 위험 영역의 정보에 따라 지정되는 영역일 수 있다. 경로 안내 장치(1300)는 차량의 주행 중, 차량 주변에 상기 위험 영역이 검출되는 경우 위험 영역에 대한 경고 정보를 AR 객체 또는 MR 객체를 통해 표시할 수 있다.

한편 상기 위험 영역이 검출되는 경우, 경로 안내 장치(1300)는 MR 뷰 이미지를 제공하는 MR 모드가 적합한 것으로 판단할 수 있다. 이처럼 MR 모드를 통해 MR 뷰 이미지가 제공되는 경우, 경로 안내 장치(1300)는 차량이 앞으로 주행할 지역에 대한 경로 정보를 미리 제공하는 미리보기 기능을 통해 상기 위험 영역의 정보를 탑승자에게 미리 제공할 수도 있다.

또는 상기 위험 영역이 검출되는 경우, 또는 충돌 경고가 발생되는 경우 경로 안내 장치(1300)는 상기 경고 정보가 표시되는 위치에 근거하여 상기 AR 뷰 이미지를 제공하는 AR 모드와 MR 뷰 이미지를 제공하는 MR 모드 중 어느 하나를 보다 적합한 모드로 결정할 수 있다.

일 예로 AR 뷰 이미지의 경우, 카메라에서 촬영되는 실제 이미지를 이용하므로 AR 객체가 표시가능한 범위가 상기 카메라의 촬영각, 즉 시야각 내의 범위로 제한될 수 있다. 따라서 상기 경고 정보가 AR 뷰 이미지를 통해 표시되는 영역 내, 즉 상기 카메라의 시야각 범위 내, 예를 들어 전방에서 노출되는 경우라면 경로 안내 장치(1300)는 상기 경고 정보에 대응하는 AR 객체가 포함된 AR 뷰 이미지가 현재 상황에 보다 적합하다고 판단할 수 있다. 따라서 AR 모드가 현재 상황에 보다 적합한 모드로 결정될 수 있다.

그러나 상기 경고 정보가 상기 카메라의 시야각 외 영역, 즉 차량의 후방 등의 사각 지대에서 노출되는 경우라면, 경로 안내 장치(1300)는 상기 경고 정보에 대응하는 MR 객체를 표시할 수 있는 MR 뷰 이미지가 현재 상황에 보다 적합하다고 판단할 수 있다. 따라서 MR 모드가 현재 상황에 보다 적합한 모드로 결정될 수 있다.

한편 경로 안내 장치(1300)는 차량의 주행 경로에 근거하여 현재 상황에 적합한 모드를 결정할 수도 있다. 예를 들어 경로 안내 장치(1300)는 차량이 주행하는 경로가 직진 구간인 경우 AR 뷰 이미지를 표시하는 AR 모드가 현재 상황에 적합한 모드라고 판단할 수 있다.

반면 주행 경로 상에 기 설정된 곡률 이상의 커브, 또는 기 설정된 길이 이상의 터널이 포함된 경우, 또는 주행 가능한 경로를 벗어난 경우, 경로 안내 장치(1300)는 MR 뷰 이미지를 표시하는 MR 모드가 더 적합한 모드라고 판단할 수 있다. 또는 경로 안내 장치(1300)는 제공될 경로 안내 정보가 경로 상의 분기점이나 출구, 또는 목적지인 경우, 즉 상기 경로 상의 분기점이나 출구 또는 목적지로부터 기 설정된 거리 이내로 차량이 근접한 경우, 상기 MR 모드가 더 적합한 모드라고 판단할 수 있다.

또한 경로 안내 장치(1300)는 차량이 주행하는 경로가 탑승자가 선호하는 경로인지 여부에 따라 현재 상황에 적합한 모드를 결정할 수도 있다. 일 예로 경로 안내 장치(1300)는 현재 차량이 주행하는 경로가, 탑승자가 선호하는 경로인 경우라면 AR 뷰 이미지를 표시하는 AR 모드 또는 2차원 맵이 표시되는 2D 맵 모드가 현재 상황에 적합한 모드로 결정할 수도 있다. 반면 경로 안내 장치(1300)는 현재 차량이 주행하는 경로가, 탑승자가 선호하지 않는 경로인 경우라면 MR 뷰 이미지를 표시하는 MR 모드가 현재 상황에 적합한 모드로 결정할 수도 있다.

여기서 상기 탑승자가 선호하는 경로인지 여부는 차량이 주행하는 경로에 대한 학습 결과로서 판별될 수 있다. 즉, 현재 설정된 목적지에 이르는 복수의 경로 중, 기 설정된 횟수 이상 주행된 경로의 경우 해당 경로는 탑승자가 선호하는 경로로 구분될 수 있다. 반면 기 설정된 횟수 이상 주행되지 않은 경로는 탑승자가 선호하지 않는 경로로 구분될 수 있다.

한편 상기 S1104 단계에서, 수집된 정보에 따라 현재 상황에 적합한 어느 하나의 모드가 검출되는 경우, 경로 안내 장치(1300)는 검출된 모드가 현재 경로 안내 정보가 제공되는 모드와 상이한지 여부를 판별할 수 있다(S1106).

그리고 판별 결과, 상기 S1104 단계에서 검출된 모드가, 현재 경로 안내 정보가 제공되는 모드와 동일한 경우라면, 경로 안내 장치(1300)는 다시 S1100 단계로 진행하여, 모드의 전환 없이 현재 모드, 즉 제1 모드에 따라 경로 안내 정보를 제공할 수 있다. 그리고 S1102 단계 및 S1104 단계로 다시 진행하여 모드 전환 조건과 관련된 정보들을 수집 및, 수집된 정보들에 따라 현재 상황에 보다 적합한 모드를 검출할 수 있다.

한편 상기 판별 결과, 상기 S1104 단계에서 검출된 모드가, 현재 경로 안내 정보를 제공하는 모드와 상이한 경우라면, 경로 안내 장치(1300)는 모드 전환을 위한 파라메터들을 검출할 수 있다(S1108).

상기 파라메터로서 경로 안내 장치(1300)는, 제1 모드에 따른 제1 뷰 이미지의 FOV(Field Of View)를 검출할 수 있다. 그리고 검출된 FOV로부터 FOV의 주시점(point of attention)을 검출할 수 있다. 여기서 FOV의 주시점은 제1 뷰 이미지의 시야각 중심에 대응하는 지점일 수 있다.

그리고 경로 안내 장치(1300)는 제1 뷰 이미지로부터 검출된 FOV 주시점에 근거하여 수직 기준선과 수평 기준선을 검출할 수 있다. 그리고 FOV, FOV 주시점, 그리고 수직 기준선과 수평 기준선에 근거하여, 상기 제1 모드에 따른 제1 뷰 이미지와 동일한 FOV를 가지는, 제2 모드에 따른 제2 뷰 이미지를 생성할 수 있다. 그리고 제1 모드에서 제2 모드로 전환하여 디스플레이부(251) 상에 표시되는 뷰 이미지를 제1 뷰 이미지에서 제2 뷰 이미지를 생성할 수 있다(S1110). 그리고 경로 안내 장치(1300)는 생성된 제2 뷰 이미지를 통해 경로 안내 정보를 제공할 수 있다(S1112).

여기서 상기 경로 안내 장치(1300)는 상기 생성된 제2 뷰 이미지를 통해 다양한 방식으로 경로 안내 정보를 제공할 수 있다. 일 예로 경로 안내 장치(1300)는 제1 뷰 이미지가 표시되는 제1 모드에서, 제2 뷰 이미지가 표시되는 제2 모드로 전환할 수 있다. 따라서 디스플레이 화면(1350)에 표시되는 뷰 이미지는, 상기 모드 전환에 따라 제1 뷰 이미지에서 제2 뷰 이미지로 전환될 수 있다.

한편 이러한 모드 전환이 자동 전환으로 설정된 경우 경로 안내 장치(1300)는 자동으로 모드를 전환할 수 있다. 그러나 상기 모드 전환이 수동으로 설정된 경우 경로 안내 장치(1300)는 상기 S1104 단계에서 검출된 보다 적합한 모드에 대한 정보를 탑승자에게 제공하고, 탑승자의 선택에 따라 모드의 전환이 이루어지도록 할 수도 있다.

이러한 경우 상기 모드의 전환을 선택하기 위한 탑승자의 입력은, 다양한 방식으로 이루어질 수 있다. 예를 들어 디스플레이부(251) 상에 인가되는 터치 입력이나 음성 입력, 또는 기 설정된 전환 버튼에 대한 탑승자의 입력을 통해 상기 모드 전환이 이루어질 수 있다.

또는 경로 안내 장치(1300)는 상기 모드 전환 조건과는 상관없이 탑승자의 요청에 따라 모드를 전환할 수도 있다. 일 예로 탑승자가 AR 뷰 이미지를 통해 제공되는 시야각보다 더 넓은 시야각에 대응하는 경로 안내 정보를 원하는 경우 MR 뷰 이미지로의 전환을 경로 안내 장치(1300)에 요청할 수 있다.

이 경우 경로 안내 장치(1300)는 디스플레이부(251)의 상하 방향 또는 좌우 방향으로 인가되는 스와이프 입력에 따라 기 설정된 순서로 모드를 전환할 수 있다. 즉, 상하 방향 또는 좌우 방향의 스와이프 입력이 인가되는 길이, 또는 횟수에 따라 MR 모드에서 AR 모드로 전환되거나, AR 모드로 전환된 상태에서 다시 MR 모드로 전환할 수 있다. 또는 스와이프 입력이 인가되는 길이, 또는 횟수에 따라 상기 AR 모드로 전환된 상태에서 2차원 지도 정보를 제공하는 2D 맵 모드로 전환하거나, 상기 2D 맵 모드에서 상기 AR 모드로 전환할 수도 있다.

도 12는 상기 도 11의 S1110 단계에서, 본 발명의 실시 예에 따른 경로 안내 장치(1300)가, 제1 뷰 이미지로부터 검출된 파라메터들에 따라 제2 뷰 이미지를 생성하는 예로서, 상기 제1 뷰 이미지가 AR 뷰 이미지이고, 상기 제2 뷰 이미지가 MR 뷰 이미지인 예를 도시한 것이다.

도 12를 참조하여 살펴보면, 경로 안내 장치(1300)는 도 12의 (a)에서와 같이 제공되는 AR 뷰 이미지의 FOV를 검출할 수 있다.

그리고 경로 안내 장치(1300)는 도 12의 (a)에서와 같이 제공되는 AR 뷰 이미지의 FOV로부터 FOV의 주시점(1400)을 검출할 수 있다. 그리고 디지털 트윈화된 3차원 맵 상의 현재 차량의 위치에서, 상기 주시점(1400)을 지향하는 MR 뷰 이미지를 획득할 수 있다.

이를 위해 경로 안내 장치(1300)는, 상기 검출된 FOV 주시점(1400)에 근거하여 수직 기준선(1410)과 수평 기준선(1420)을 검출할 수 있다. 그리고 검출된 수직 기준선(1410)과 수평 기준선(1420)에 상기 획득된 MR 뷰 이미지의 주시점을 일치시킬 수 있다. 즉, 경로 안내 장치(1300)는 도 12의 (b)에서 보이고 있는 바와 같이, AR 뷰 이미지의 주시점(1400)으로부터 검출된 수평 기준선(1420) 상에 MR 뷰 이미지의 주시점을 일치시킬 수 있다. 그리고 도 12의 (c)에서 보이고 있는 바와 같이, AR 뷰 이미지의 주시점(1400)으로부터 검출된 수직 기준선(1410)에, 상기 MR 뷰 이미지의 주시점을 일치시킬 수 있다. 즉, AR 뷰 이미지의 수평 기준선(1420) 및 수직 기준선(1410)이 교차하는 지점에 MR 뷰 이미지의 주시점을 일치시킬 수 있다.

그리고 경로 안내 장치(1300)는, AR 뷰 이미지의 FOV에 대응하는 MR 뷰 이미지의 일 영역을 추출할 수 있다. 여기서 FOV는 AR 뷰 이미지의 시야각으로서, 뷰 이미지를 통해 표시되는 이미지의 크기를 결정할 수 있다. 즉, 경로 안내 장치(1300)는 AR 뷰 이미지의 FOV 주시점에 일치하는 MR 뷰 이미지로부터, 상기 AR 뷰 이미지의 FOV 크기에 대응하는 MR 뷰 이미지를 생성할 수 있다.

따라서 제1 뷰 이미지와 동일한 FOV를 가지며, FOV 주시점의 위치가 동일한 제2 뷰 이미지가 생성될 수 있다. 따라서 디스플레이부(251) 상에 표시되는 뷰 이미지의 전환이 이루어지는 경우, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 동일한 FOV와 동일한 주시점의 위치를 가지는 뷰 이미지를 통해 모드 간의 전환이 이루어지므로, 모드 전환 시 심리스(seamless)한 뷰 이미지의 전환이 이루어질 수 있다.

한편 상술한 도 12에서는 제1 뷰 이미지가 AR 뷰 이미지인 경우를 가정하여, AR 뷰 이미지와 동일한 FOV를 가지며, FOV 주시점이 동일한 MR 뷰 이미지를 통해 모드 간에 심리스한 전환이 이루어지는 예를 설명하였다. 그러나 이는 제1 뷰 이미지가 MR 뷰 이미지이고, 제2 뷰 이미지가 AR 뷰 이미지인 경우에도 적용될 수 있음은 물론이다. 이러한 경우 AR 뷰 이미지를 통해 표시되는 시야각 외의 영역을 표시할 수 있는 MR 뷰 이미지(예 : 조감도 등)의 특성 상, 상기 심리스한 뷰 이미지 전환을 위해서는 AR 뷰 이미지의 생성을 위한 이미지에 따른 MR 뷰 이미지가 표시되는 과정이 먼저 선행될 수 있다.

이러한 경우, 경로 안내 장치(1300)는, MR 뷰 이미지에서 AR 뷰 이미지로의 전환을 위해, 먼저 카메라에서 획득된 이미지의 FOV로부터 FOV의 주시점을 검출할 수 있다. 그리고 디지털 트윈화된 3차원 맵 상의 현재 차량의 위치에서, 상기 주시점을 지향하는 영역의 이미지를 획득할 수 있다.

그리고 상기 카메라에서 획득된 이미지의 FOV 주시점에 근거하여 수직 기준선과 수평 기준선을 검출할 수 있다. 그리고 검출된 수직 기준선과 수평 기준선에 주시점이 일치된 영역의 이미지를 획득할 수 있다. 그리고 획득된 이미지로부터, 카메라에서 획득된 이미지의 FOV와 동일한 크기를 가지는 일 영역을 추출하여 MR 뷰 이미지로서 디스플레이부(251) 상에 표시할 수 있다. 즉, 상기 카메라에서 획득된 이미지와 동일한 FOV를 가지며, FOV 주시점의 위치가 동일한 MR 뷰 이미지를 디스플레이부(251) 상에 표시할 수 있다. 이와 동시에 경로 안내 장치(1300)는 상기 카메라에서 획득된 이미지에 AR 객체들을 추가하여 AR 뷰 이미지를 생성할 수 있다.

AR 뷰 이미지가 생성되면, 경로 안내 장치(1300)는 MR 모드를 AR 모드로 전환할 수 있다. 따라서 디스플레이부(251)에는 MR 뷰 이미지가 표시되는 상태에서 AR 뷰 이미지가 표시되는 상태로 전환될 수 있다. 이 경우 상기 MR 뷰 이미지와 AR 뷰 이미지는, 상술한 바와 같이 동일한 FOV를 가지며 FOV 주시점의 위치가 동일한 이미지들로서, 모드 전환이 이루어지는 경우 심리스한 뷰 이미지의 전환이 이루어질 수 있다.

따라서 도 13의 (a)에서 보이고 있는 바와 같은 AR 뷰 이미지(1500)가 표시되는 AR 모드로 경로 안내 장치(1300)가 동작하는 경우, 경로 안내 장치(1300)는 기 설정된 모드 전환 조건이 충족되는지 여부에 근거하여, 도 13의 (b)에서 보이고 있는 바와 같이, AR 뷰 이미지(1500)에 대응하는 MR 뷰 이미지(1510)를 생성할 수 있다. 여기서 상기 AR 뷰 이미지에 대응하는 MR 뷰 이미지는, AR 뷰 이미지와 FOV 주시점 위치가 동일하고, FOV에 따른 이미지 영역의 크기가 동일한 뷰 이미지일 수 있다.

이 경우 상기 AR 뷰 이미지(1500)는 인식된 차선에 대응하는 AR 객체(1501) 및 목적지까지의 주행을 위해 앞으로의 주행 방향을 표시하는 AR 객체(1502)를 포함하는 뷰 이미지일 수 있다. 또한 상기 MR 뷰 이미지(1510)는 차량의 주행 경로가 디지털 트윈된 3차원 맵 상에서 MR 객체로 표시된 경로 정보(1511)를 포함하는 뷰 이미지일 수 있다.

상기 모드 전환 조건이 충족되는 경우, 경로 안내 장치(1300)는 동작 모드를 AR 모드에서 MR 모드로 전환하여 디스플레이부(251) 상에 표시되는 뷰 이미지를 전환할 수 있다. 따라서 도 13의 (a)에서와 같이 AR 뷰 이미지(1500)가 표시되는 상태에서, 도 13의 (b)에서 보이고 있는 바와 같이 MR 뷰 이미지(1510)가 표시되는 상태로 전환될 수 있다.

또는 반대로, MR 뷰 이미지(1510)가 표시되는 MR 모드로 경로 안내 장치(1300)가 동작하는 경우, 경로 안내 장치(1300)는 기 설정된 모드 전환 조건이 충족되는지 여부에 근거하여, 도 13의 (b)에서 보이고 있는 바와 같이, 카메라를 통해 획득되는 실제 이미지에 대응하는 MR 뷰 이미지(1510)를 생성할 수 있다. 여기서 상기 실제 이미지에 대응하는 MR 뷰 이미지(1510)는, 상기 실제 이미지와 FOV 주시점 위치가 동일하고, FOV에 따른 이미지 영역의 크기가 동일한 뷰 이미지일 수 있다.

그리고 상기 모드 전환 조건이 충족되는 경우, 경로 안내 장치(1300)는 동작 모드를 MR 모드에서 AR 모드로 전환하여 디스플레이부(251) 상에 표시되는 뷰 이미지를 전환할 수 있다. 따라서 도 13의 (b)에서와 같이 MR 뷰 이미지(1510)가 표시되는 상태에서, 도 13의 (a)에서 보이고 있는 바와 같이 AR 뷰 이미지(1500)가 표시되는 상태로 전환될 수 있다.

한편 상술한 설명에서는 AR 모드와 MR 모드 간의 전환을 주로 설명하였으나, AR 모드와 MR 모드 외에 다른 뷰 이미지가 표시되는 동작 모드로 전환이 이루어질 수도 있음은 물론이다. 일 예로 경로 안내 장치(1300)는 차량이 주행하고 있는 지역이, 디지털 트윈화된 3차원 맵의 정밀도가 낮은 시외 지역인 경우라면 2차원 지도를 표시하는 모드가 보다 적합한 모드라고 판단할 수도 있다. 이 경우 경로 안내 장치(1300)는 상기 2차원 지도를 포함하는 뷰 이미지를 제공하고, 상기 2차원 지도를 통해 경로 안내 정보를 제공할 수도 있음은 물론이다.

또한 경로 안내 장치(1300)는 상술한 모드 전환 조건과 관련된 정보들의 조합에 근거하여 현재 상황에 적합한 모드를 결정할 수도 있다. 예를 들어 경로 안내 장치(1300)는 차량이 주행하는 지역이 고속도로 인 경우, 차량의 주행 속도에 따라 동작 모드 전환을 통해 서로 다른 뷰 이미지를 제공할 수도 있다. 즉, 차량이 주행하는 지역이 고속도로인 경우 차량의 속도가 제1 속도 이하인 경우(저속)에는 MR 뷰 이미지를 표시하고(MR 모드), 차량의 속도가 상기 제1 속도 초과, 제2 속도 미만인 경우(중속)에는 AR 뷰 이미지를 표시하며(AR 모드), 상기 제2 속도를 초과하는 경우(고속) 2차원 맵 이미지를 표시하는 2D 맵 모드로 전환될 수 있다.

한편, 경로 안내 장치(1300)는 현재 동작 모드가 AR 뷰 이미지를 표시하는 AR 동작 모드인 경우, 상기 AR 뷰 이미지의 정확도에 근거하여 MR 모드로의 모드 전환을 수행할 수도 있다. 이를 위해 경로 안내 장치(1300)는 AR 뷰 이미지와 카메라를 통해 획득되는 실제 이미지 간의 오차율을 산출할 수 있으며, 산출된 오차율에 따라 모드를 전환할 수도 있다.

도 14는 이처럼 본 발명의 실시 예에 따른 경로 안내 장치(1300)가, AR 뷰 이미지의 오차율에 따라 동작 모드를 전환하는 동작 과정을 도시한 흐름도이다.

도 14를 참조하여 살펴보면, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 먼저 차량이 주행하는 도로의 곡률 변화량과 도로의 경사도 변화량을 산출할 수 있다(S1400, S1402).

여기서 상기 도로 곡률 변화량은, 차량의 기울어짐을 감지할 수 있는 자이로 센서의 감지값과 차량이 주행하는 도로의 차선을 검출할 수 있는 차선 인식기의 검출 결과에 따라 산출될 수 있다. 즉, 차량의 기울어짐과, 차선 인식기를 통해 검출되는 차량의 굴곡 정도에 근거하여 상기 도로의 곡률 변화량이 산출될 수 있다.

그리고 상기 도로의 경사도 변화량은, 차량이 현재 주행하는 도로에 대한 디지털 트윈화된 3차원 맵 또는, 도로 정보를 제공하는 기 설정된 서버를 통해 수집되는 고도 특성(Vertical profile) 및 고정밀 지도(High Definition MAP, HD MAP)를 통해 검출되는 도로 형상에 따라 산출될 수 있다.

그러면 경로 안내 장치(1300)는 상기 S1400 단계 및 S1402 단계에서 산출된 도로 곡률 변화량과 경사도 변화량에 근거하여, 카메라를 통해 획득된 실제 이미지와 그 실제 이미지에 표시되는 AR 객체 간의 오차율(AR fitting error rate)을 산출할 수 있다(S1404). 즉, 경로 안내 장치(1300)는 상기 도로 곡률 변화량과 경사도 변화량에 근거하여 생성되는 AR 객체와, 2차원으로 표현되는 상기 실제 이미지간의 오차율을 산출할 수 있다.

일 예로, 경로 안내 장치(1300)는 상기 오차율을 산출하기 위해, AR 객체에 대응하는 실제 이미지 내의 객체(예 : 차선 형상)와 상기 객체에 대응하는 AR 객체의 형상을 픽셀 단위로 비교할 수 있다. 그리고 상기 형상 비교 결과, 실제 객체와 일치하는 픽셀 수에 대한 일치하지 않는 픽셀 수의 비율, 또는 이미지의 전체 픽셀 수를 기준으로 상기 일치하지 않는 픽셀 수의 비율 등을 상기 오차율로서 산출할 수 있다.

그리고 경로 안내 장치(1300)는, 상기 S1404 단계에서 산출된 오차율이 기 설정된 오차율 임계값을 초과하는지 여부를 판별할 수 있다(S1406). 그리고 판별된 오차율이 상기 오차율 임계값을 초과하지 않는 경우 현재 상황에 적합한 모드를 AR 모드로 판별할 수 있다(S1408).

이 경우 제1 모드, 즉 현재 경로 안내 정보를 제공하는 모드가 MR 모드인 경우라면 AR 모드로의 전환이 이루어질 수 있다. 그리고 디스플레이부(251) 상에 표시되는 뷰 이미지가 MR 뷰 이미지에서 AR 뷰 이미지로 전환될 수 있다. 그러나 상기 제1 모드가 AR 모드라면, 경로 안내 장치(1300)는 모드 전환없이 현재 동작 모드에 따른 AR 뷰 이미지를 통해 경로 안내 정보를 제공할 수 있다.

그러나 상기 S1408 단계의 판별 결과, 오차율이 상기 오차율 임계값을 초과하는 경우라면, 경로 안내 장치(1300)는 현재 상황에 적합한 모드를 MR 모드로 판별할 수 있다.

이 경우 제1 모드, 즉 현재 경로 안내 정보를 제공하는 모드가 AR 모드인 경우라면 MR 모드로의 전환이 이루어질 수 있다. 그리고 디스플레이부(251) 상에 표시되는 뷰 이미지가 AR 뷰 이미지에서 MR 뷰 이미지로 전환될 수 있다. 그러나 상기 제1 모드가 MR 모드라면, 경로 안내 장치(1300)는 모드 전환없이 현재 동작 모드에 따른 MR 뷰 이미지를 통해 경로 안내 정보를 제공할 수 있다.

한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 상기 도 11의 S1112 단계에서, 제2 뷰 이미지를 통해 제2 모드에 기반한 경로 안내 정보를 제공할 수 있음을 언급한 바 있다. 이하 도 15a 및 도 15b는, 모드 전환을 통해 디스플레이부(251) 상에 표시되는 뷰 이미지가 제1 뷰 이미지에서 제2 뷰 이미지로 전환되는 경우에, 제2 뷰 이미지를 통해 경로 정보가 제공되는 동작 과정을 도시한 흐름도들이다.

먼저 도 15a는, MR 모드에서 AR 모드로 전환되는 경우에, 즉, 제1 모드가 MR 모드이고, 제2 모드가 AR 모드인 경우에, 상기 AR 모드에 따른 AR 뷰 이미지를 통해 경로 안내 정보가 제공되는 동작 과정을 도시한 흐름도이다.

도 15a를 참조하여 살펴보면, 경로 안내 장치(1300)는 AR 모드로 전환하기 전에, 먼저 AR 모드에 대한 카메라 캘리브레이션(camera calibration)을 갱신할 수 있다(S1500).

여기서 카메라 캘리브레이션은, 이미지를 통해 획득된 3차원 공간 좌표와 2차원 영상 좌표 사이의 변환 관계에 대한 파라미터들을 교정하는 과정일 수 있다. 즉, 경로 안내 장치(1300)는 상기 S1500 단계에서, AR 카메라 캘리브레이션을 다시 수행하여, 카메라를 통해 실제 획득된 실제 이미지로부터 인식되는 객체의 3차원 공간 상의 좌표에 대응하는 2차원 영상 상의 좌표를 교정할 수 있다.

이러한 카메라 캘리브레이션 과정을 통해 실제 이미지로부터 인식되는 객체에 대응하는 정확한 2차원 영상의 좌표가 획득될 수 있다. 그리고 경로 안내 장치(1300)는 상기 카메라 캘리브레이션 과정을 통해 교정된 좌표에 근거하여 AR 객체를 표시함으로써, 실제 이미지에 포함된 객체에 보다 정확하게 일치하는 AR 객체를 표시할 수 있다. 이처럼 AR 객체를 표시하기 위해 3차원 공간 상의 좌표에 대응하는 2차원 공간 상의 좌표를 교정하는 과정을 AR 카메라 캘리브레이션이라고 할 수 있다.

여기서 상기 S1500 단계의 AR 카메라 캘리브레이션 과정은, 카메라를 통해 실제 획득된 실제 이미지로부터 FOV 주시점을 검출하고, 검출된 FOV 주시점에 근거하여 형성되는 절두체(Frustum)에 근거하여 3차원 공간 상의 좌표를 2차원 공간 상의 좌표로 변환하는 과정을 포함할 수 있다.

한편 상기 S1500 단계의 AR 카메라 캘리브레이션 과정이 완료되면, 경로 안내 장치(1300)는 MR 모드에서 AR 모드로의 전환을 통해, 디스플레이부(251) 상에 표시되는 MR 뷰 이미지를 동일한 비율 및 크기의 AR 뷰 이미지로 전환할 수 있다(S1502). 이 경우 경로 안내 장치(1300)는, 심리스한 전환을 위해 점진적으로 MR 뷰 이미지를 AR 뷰 이미지로 전환할 수 있다.

여기서 상기 동일한 비율 및 크기를 가지는 AR 뷰 이미지는, MR 뷰 이미지와 동일한 FOV를 가지는 뷰 이미지일 수 있다. 그리고 상기 동일한 FOV를 가지는 AR 뷰 이미지와 MR 뷰 이미지는 FOV 주시점의 위치가 서로 동일한 뷰 이미지일 수 있다. 이를 위해 경로 안내 장치(1300)는, AR 모드로 전환하기 전에, 보다 심리스한 뷰 이미지의 전환을 위하여, 상기 카메라를 통해 획득된 이미지의 FOV 주시점과 동일한 위치에 FOV 주시점을 가지는 MR 뷰 이미지를 디스플레이할 수 있다. 따라서 경로 안내 장치(1300)는 조감도, 또는 측면도 등의 MR 뷰 이미지가 표시되는 상태에서, 차량의 전방에 대한 MR 뷰 이미지가 표시되도록 디스플레이부(251) 상에 표시되는 뷰 이미지를 변경할 수 있다.

그리고 상기 S1502 단계에서, 디스플레이부(251) 상에 표시되는 MR 뷰 이미지와 동일한 비율 및 크기를 가지는 AR 뷰 이미지로, 뷰 이미지가 전환되면 경로 안내 장치(1300)는 AR 모드에 기반하여 경로 안내 정보를 제공할 수 있다(S1504). 즉, 경로 안내 장치(1300)는 상기 실제 획득되는 이미지에 포함된 객체(예 : 차선, 건물 등)들을 인식하고, 인식된 객체가 표시되는 좌표 영역 적어도 일부에 상기 인식된 객체에 대응하는 그래픽 객체(AR 객체)를 표시할 수 있다. 즉 AR 모드를 통해 제공되는 AR 뷰 이미지를 통해 경로 안내 정보를 제공할 수 있다.

한편 도 15b는, AR 모드에서 MR 모드로 전환되는 경우에, 즉, 제1 모드가 AR 모드이고, 제2 모드가 MR 모드인 경우에, 상기 MR 모드에 따른 MR 뷰 이미지를 통해 경로 안내 정보가 제공되는 동작 과정을 도시한 흐름도이다.

도 15b를 참조하여 살펴보면, 경로 안내 장치(1300)는 AR 모드에서 MR 모드로 전환이 시작되는 경우, 마지막으로 이루어진 AR 카메라 캘리브레이션 결과에 따라 MR 카메라 캘리브레이션을 변경할 수 있다(S1550). 즉, AR 모드에서 이루어진 AR 카메라 캘리브레이션 결과에 따라 실제 이미지로부터 인식되는 객체의 3차원 공간 상의 좌표에 대응하는 2차원 영상 상의 좌표 변환 과정과 동일한 좌표 변환 과정이, MR 카메라 캘리브레이션에 적용될 수 있다.

여기서 MR 카메라 캘리브레이션은, 디지털 트윈화된 3차원 맵 상에서 차량의 카메라가 차량의 전방을 지향할 때에 카메라의 주시점에 따라 형성되는 절두체 형상의 시각장에 근거하여 디스플레이부 상에 상기 카메라의 주시점에 따른 MR 뷰 이미지를 표시하기 위한 것일 수 있다. 즉, 디지털 트윈화된 3차원 맵 상에서 차량의 카메라를 통해 촬영되는 상기 3차원 공간 상의 좌표를, 2차원 공간 상의 좌표, MR 뷰 이미지 상의 좌표로 변환하는 과정일 수 있다. 즉, 상기 S1550 단계에서 마지막으로 수행된 AR 카메라 캘리브레이션 결과에 따라 MR 카메라 캘리브레이션을 변경하는 경우, AR 모드에서 제공되는 AR 뷰 이미지의 FOV 주시점과 동일한 FOV 주시점을 지향하는 디지털 트윈화 된 3차원 맵의 영상이 생성될 수 있다.

그러면 경로 안내 장치(1300)는 AR 뷰 이미지와 동일한 비율의 MR 뷰 이미지로 전환할 수 있다(S1552).

일 예로 경로 안내 장치(1300)는 AR 뷰 이미지(1500)의 FOV와 동일한 크기에 대응하는 MR 뷰 이미지 상의 영역을 추출할 수 있다. 이 경우 경로 안내 장치(1300)는 AR 뷰 이미지의 FOV 주시점과 동일한 FOV 주시점 위치를 가지는 이미지 영역을 추출할 수 있다. 따라서 AR 뷰 이미지와 크기 및 비율이 동일하고, FOV 주시점이 동일한 MR 뷰 이미지가 추출될 수 있다. 즉, AR 뷰 이미지(1500)에 대응하는 MR 뷰 이미지(1510)가 생성될 수 있다.

이 경우 AR 뷰 이미지와 MR 뷰 이미지는 서로 동일한 FOV를 가지므로, 동일한 가시거리에 대응하는 서로 다른 종류의 뷰 이미지일 수 있다. 즉, AR 뷰 이미지를 통해 표시되는 가시거리가 50m인 경우, 동일하게 50m의 가시거리를 가지는 MR 뷰 이미지가 생성될 수 있다.

그리고 경로 안내 장치(1300)는 AR 모드에서 MR 모드로의 전환을 통해, 디스플레이부(251) 상에 표시되는 AR 뷰 이미지를, 상기 생성된 MR 뷰 이미지로 전환할 수 있다.

한편 MR 뷰 이미지는 디지털 트윈화된 3차원 맵에 대한 뷰 이미지로서, AR 뷰 이미지에 비하여 보다 긴 가시거리를 가질 수 있다. 따라서 디폴트 MR 뷰 이미지의 경우 보다 긴 가시거리에 대응하는 뷰 이미지일 수 있다. 따라서 그러므로 경로 안내 장치(1300)는, AR 모드와 동일한 짧은 가시거리를 가지는 MR 뷰 이미지를, MR 모드에 따른 기본 가시거리를 가지는 MR 뷰 이미지로 전환할 수 있다(S1554). 이 경우 경로 안내 장치(1300)는 심리스한 전환을 위해 MR 뷰 이미지를 점진적으로 전환할 수 있다.

그리고 경로 안내 장치(1300)는 MR 모드에 기반하여 경로 안내 정보를 제공할 수 있다(S1556). 이 경우 경로 안내 장치(1300)는 디지털 트윈화된 3차원 맵 상에서 표시되는 가상 객체(MR 객체)를 통해 다양한 경로 안내 정보를 제공할 수 있다. 일 예로 경로 안내 장치(1300)는 조감도 또는 측면도 방식으로 차량 바라보는 가상 영상을 경로 안내 정보로서 제공하거나, 또는 차량이 이미 지나온 경로에 대한 POI나, 앞으로 차량이 주행할 경로에 대한 정보들을 경로 안내 정보로서 제공할 수 있다.

한편 이상의 설명에서는, 본 발명의 실시 예에 따른 경로 안내 장치(1300)가 디스플레이부(251) 상에 한 종류의 AR 뷰 이미지 또는 MR 뷰 이미지를 표시하도록 디스플레이부(251)를 제어하는 경우를 설명하였다.

그러나 상기 경로 안내 장치(1300)는 하나의 디스플레이 화면에 상기 AR 뷰 이미지와 MR 뷰 이미지가 함께 표시되도록 디스플레이부(251)를 제어할 수도 있음은 물론이다.

이 경우 경로 안내 장치(1300)는, 상기 디스플레이 화면, 즉 메인 스크린 영역을 분할하여 분할된 각 영역에 AR 뷰 이미지와 MR 뷰 이미지를 각각 표시할 수 있다. 또는 경로 안내 장치(1300)는 어느 하나의 뷰 이미지가 표시되는 메인 스크린 영역의 일부 영역에, 다른 뷰 이미지가 표시되는 영역을 오버랩하여 하나의 디스플레이 화면에 상기 AR 뷰 이미지와 MR 뷰 이미지를 함께 표시할 수도 있다.

경로 안내 장치(1300)는, 상기 모드 전환 조건과 관련하여 수집된 정보에 근거하여 디스플레이 화면을 분할하여 AR 뷰 이미지와 MR 뷰 이미지를 함께 표시하거나, 상기 AR 뷰 이미지와 MR 뷰 이미지가 혼합된 뷰 이미지를 표시할지 여부를 결정할 수 있다. 또는 AR 뷰 이미지의 일부에 MR 뷰 이미지를 오버랩 하거나 반대로 MR 뷰 이미지의 일부에 AR 뷰 이미지를 오버랩한 뷰 이미지를 출력할지 여부를 결정할 수 있다.

이 경우 디스플레이 영역 분할을 통해 상기 AR 뷰 이미지와 MR 뷰 이미지가 함께 표시(뷰 이미지 분할 표시)되는 조건과, 상기 AR 뷰 이미지와 MR 뷰 이미지가 혼합된 뷰 이미지가 표시(뷰 이미지 혼합 표시)되는 조건, 그리고 어느 한 종류의 뷰 이미지 일부에 다른 종류의 뷰 이미지가 오버랩된 뷰 이미지를 표시(뷰 이미지 오버랩 표시)하는 조건은 서로 상이할 수 있다.

먼저 도 16은 이러한 본 발명의 실시 예에 따른 경로 안내 장치(1300)가, 디스플레이 영역을 분할하여 AR 뷰 이미지와 MR 뷰 이미지를 동시에 표시하는 동작 과정을 도시한 흐름도이다. 그리고 도 17은, 도 16의 동작 과정을 통해 AR 뷰 이미지와 MR 뷰 이미지가 각각 표시되는 디스플레이 화면의 예를 도시한 것이다.

상기 경로 안내 장치(1300)는 차량의 주행 중에, 분할된 디스플레이 영역을 통해 AR 뷰 이미지와 MR 뷰 이미지가 함께 표시되는 뷰 이미지 분할 표시 조건이 충족되는지 여부를 검출할 수 있다. 이 경우 상기 뷰 이미지 분할 표시 조건은 기 설정된 경로에서 차량이 이탈하는 경우일 수 있다.

이처럼 뷰 이미지 분할 표시 조건이 충족되는 경우, 경로 안내 장치(1300)는 먼저 뷰 이미지들을 표시하기 위하여 디스플레이 영역을 분할 수 있다(S1600). 여기서 경로 안내 장치(1300)는 디스플레이 영역을 제1 영역(1710)과 제2 영역(1720)으로 분할할 수 있으며, 이 경우 상기 제1 영역(1710)과 제2 영역(1720)은 각각 AR 뷰 이미지와 MR 뷰 이미지에 할당될 수 있다.

상기 S1600 단계에서 디스플레이 영역이 분할되는 경우, 경로 안내 장치(1300)는 제1 영역(1710)에 먼저 AR 뷰 이미지를 표시할 수 있다. 그리고 AR 모드에 따른 경로 안내 정보를 제공할 수 있다(S1602). 이 경우 경로 안내 장치(1300)는 기 설정된 경로에서 이탈함에 따라, 현재 차량의 위치에서 목적지까지 설정된 변경된 경로로의 전환 방향을 나타내는 AR 객체(1501) 및, 인식된 차선을 나타내는 AR 객체(1502)를 포함하는 AR 뷰 이미지를, 상기 제1 영역(1710)에 표시하도록 디스플레이부(251)를 제어할 수 있다.

한편 경로 안내 장치(1300)는, 마지막으로 이루어진 AR 카메라 캘리브레이션에 따라 MR 카메라 캘리브레이션을 변경할 수 있다(S1604). 이 경우, 카메라 캘리브레이션 결과를 공유함에 따라 AR 모드에서 제공되는 AR 뷰 이미지의 FOV 주시점과 동일한 FOV 주시점을 지향하는 디지털 트윈화 된 3차원 맵의 영상이 생성될 수 있다.

그리고 경로 안내 장치(1300)는 캘리브레이션 공유에 생성된 디지털 트윈화 된 3차원 맵의 영상으로부터, AR 뷰 이미지의 FOV와 동일한 FOV를 가지는 영상을 추출할 수 있다. 따라서 AR 뷰 이미지와 동일한 크기와 비율을 가지며, 주시점이 동일한, AR 뷰 이미지에 대응하는 MR 뷰 이미지가 생성될 수 있다(S1606).

그러면 경로 안내 장치(1300)는 생성된 MR 뷰 이미지를, 상기 분할된 디스플레이 영역 중 제2 영역에 표시할 수 있다(S1608). 그리고 MR 모드에 따른 경로 안내 정보를 제공할 수 있다(S1610). 이 경우 경로 안내 장치(1300)는 기 설정된 경로에서 이탈함에 따라, 현재 차량의 위치에서 목적지까지 설정된 변경된 경로에서, 변경된 경로의 진행 방향을 나타내는 MR 객체(1511)를 포함하는 MR 뷰 이미지를, 상기 제2 영역(1730)에 표시하도록 디스플레이부(251)를 제어할 수 있다.

한편 상기 도 17에서는 디스플레이 영역을 동일한 두 개의 영역으로 분할하고, 분할된 각 영역에 서로 다른 경로 안내 정보를 제공하는 뷰 이미지들을 표시하는 예를 설명하였다. 그러나 경로 안내 장치(1300)는 특정 조건에 근거하여 상기 디스플레이 영역을 분할하고, 분할된 영역 각각에 서로 다른 종류의 뷰 이미지를 제공할 수도 있음은 물론이다.

일 예로 차량으로부터의 거리가 가까울수록 차량으로부터 획득되는 이미지는 선명하고 명확할 수 있다. 또한 이미지 상에 표시되는 객체의 크기가 비교적 클 수 있다. 따라서 보다 용이하게 이미지에 포함된 객체가 인식될 수 있으며, 이에 보다 정확한 객체의 인식이 이루어질 수 있다. 즉, 차량으로부터의 거리가 가까울수록 실제 객체와 정확하게 매치되는 AR 객체를 포함하는 AR 뷰 이미지가 표시될 수 있다. 반면, 차량으로부터 거리의 멀어지게 되면 이격 거리에 의해 객체의 크기가 작아지고 표시되는 객체의 개수가 많아지므로 정확한 객체의 인식이 어려울 수 있다. 따라서 AR 뷰 이미지 상에 표시되는 AR 객체의 정확도가 저하될 수 있다.

한편 MR 뷰 이미지의 경우 디지털 트윈화된 3차원 맵을 이용하여 표시되는 가상 화면으로서, 차량으로부터의 가시거리와 상관없이 정확한 MR 객체를 표시할 수 있다. 그러나 MR 뷰 이미지의 경우 가상 화면을 통해 경로 안내 정보를 표시하는 것으로, 현실 세계와 차이가 있을 수 있으며, 이에 따라 탑승자는 괴리감을 느낄 수 있다.

따라서 본 발명의 실시 예에 따른 경로 안내 장치(1300)는, 긴 가시거리에 따른 시야 확보와, 근거리의 시야를 모두 확보할 필요가 있는 경우 AR 뷰 이미지와 MR 뷰 이미지가 모두 표시되는 디스플레이 화면으로 전환할 수 있다. 예를 들어 차량 주변에 인접한 객체들이 기 설정된 개수 이상이고, 교통 체증 및 차량 주변의 상황으로 인해 경로 정보에 대한 정확한 AR 객체의 표시가 어려운 경우, 경로 안내 장치(1300)는 차량 주변에 인접한 객체들을 표시하기 위해 AR 뷰 이미지를 통한 근거리 시야 확보와, 명확한 경로 정보의 표시를 위해 MR 뷰 이미지를 통한 원거리 시야 확보가 필요하다고 판단할 수 있다.

이 경우 경로 안내 장치(1300)는 제1 뷰 이미지가 표시되는 디스플레이 영역과, 상기 제1 뷰 이미지와 다른 종류의 제2 뷰 이미지가 표시되는 영역을 서로 간에 배타적으로 분리함으로써, 서로 간에 분리된 각 영역에 표시되는 AR 뷰 이미지와 MR 뷰 이미지가 혼합된 디스플레이 화면이 표시되도록 디스플레이부(251)를 제어할 수 있다.

도 18은, 이처럼 제1 뷰 이미지와 제2 뷰 이미지가 혼합된 디스플레이 화면을 통해 경로 안내 정보를 제공하는 동작 과정을 도시한 흐름도이다. 그리고 도 19는, 도 18의 동작 과정을 통해, 서로 간에 분리된 각각의 영역에 AR 뷰 이미지와 MR 뷰 이미지가 표시되는 디스플레이 화면의 예를 도시한 것이다.

한편 디스플레이 영역을 분리하는 조건은 다양하게 설정될 수 있다. 일 예로 경로 안내 장치(1300)는 차량으로부터의 이격 거리에 근거하여 디스플레이 화면을 제1 영역과 제2 영역으로 구분할 수 있다. 이 경우 차량으로부터 일정 거리(예 : 50m) 이내의 영역(근거리 영역)에 대응하는 디스플레이 화면의 일 영역은 제1 영역으로 구분될 수 있으며, 차량으로부터 상기 일정 거리를 초과하는 영역(원거리 영역)에 대응하는 디스플레이 화면의 일 영역은 제2 영역으로 구분될 수 있다.

이하 설명의 편의상 상기 경로 안내 장치(1300) 차량으로부터의 이격 거리에 근거하여 디스플레이 영역을 제1 영역과 제2 영역으로 분리하는 것을 가정하여 설명하기로 한다. 그러나 본 발명이 이에 한정되는 것이 아님은 물론이며, 이에 따라 경로 안내 장치(1300)는 거리가 아닌 다른 조건에 근거하여 디스플레이 영역을 상기 제1 영역과 제2 영역으로 분리할 수도 있음은 물론이다.

도 18을 참조하여 살펴보면, 경로 안내 장치(1300)는 먼저 디스플레이 화면을 통해 표시되는 이미지에서, 차량으로부터의 거리가 기 설정된 거리 이내인 영역을 검출할 수 있다(S1800). 이 경우 경로 안내 장치(1300), 카메라로부터 획득된 이미지의 픽셀 깊이값 등을 통해, 상기 차량으로부터의 거리가 기 설정된 거리 이내인 영역에 대응하는 디스플레이 화면 상의 일 영역을 검출할 수 있다.

그러면 경로 안내 장치(1300)는 상기 S1800 단계에서 검출된 일 영역을, AR 뷰 이미지가 표시될 제1 영역으로 분리할 수 있다(S1802). 그리고 디스플레이 화면의 나머지 영역, 즉 차량으로부터의 거리가 기 설정된 거리를 초과하는 영역에 대응하는 디스플레이 화면 상의 일 영역을 MR 뷰 이미지가 표시될 제2 영역으로 분리할 수 있다(S1804).

그리고 경로 안내 장치(1300)는 AR 카메라 캘리브레이션에 따라 MR 카메라 캘리브레이션을 변경할 수 있다(S1806). 이 경우, 카메라 캘리브레이션 결과를 공유함에 따라 AR 모드에서 제공되는 AR 뷰 이미지의 FOV 주시점과 동일한 FOV 주시점을 지향하는 디지털 트윈화 된 3차원 맵의 영상이 생성될 수 있다.

그리고 경로 안내 장치(1300)는 캘리브레이션 공유에 생성된 디지털 트윈화 된 3차원 맵의 영상으로부터, AR 뷰 이미지의 FOV와 동일한 FOV를 가지는 영상을 추출할 수 있다. 따라서 AR 뷰 이미지와 동일한 크기와 비율을 가지며, 주시점이 동일한, AR 뷰 이미지에 대응하는 MR 뷰 이미지가 생성될 수 있다(S1808).

그러면 경로 안내 장치(1300)는, 상기 AR 뷰 이미지 중 상기 제1 영역에 대응하는 일부의 AR 뷰 이미지를 디스플레이 화면에 표시하고, 상기 MR 뷰 이미지 중 상기 제2 영역에 대응하는 일부의 MR 뷰 이미지를 디스플레이 화면에 표시할 수 있다(S1810). 이에 따라 제1 영역에서는 AR 객체를 포함하는 AR 뷰 이미지가 표시될 수 있으며, 제2 영역에서는 MR 객체를 포함하는 MR 뷰 이미지가 표시될 수 있다. 그리고 경로 안내 장치(1300)는 각 영역에 대하여, 각 영역에 대응하는 모드에 따른 경로 안내 정보를 제공할 수 있다(S1812). 즉, 경로 안내 장치(1300)는 서로 간에 배타적으로 분리된 제1 영역과 제2 영역 각각에 대하여, 서로 다른 동작 모드에 따라 서로 다른 종류의 경로 안내 정보를 제공할 수 있다.

도 19를 참조하여 살펴보면, 도 19의 (a)는 AR 뷰 이미지가 디스플레이 화면에 표시되는 예를 도시한 것이다. 이 경우, 표시되는 뷰 이미지는, 인식된 차선에 대응하는 AR 객체(1501), 차량이 주행할 경로의 전환 방향에 대응하는 AR 객체(1502)를 포함하는 뷰 이미지일 수 있다.

한편 도 19의 (a)에서 보이고 있는 바와 같은 상황인 경우, 차량 주변에 위치한 사람 및 다른 사물들이 다수 검출되므로, 경로 안내 장치(1300)는 근거리에 위치한 사물들의 정보를 보다 정확하게 제공할 수 있는 AR 뷰 이미지의 제공이 필요한 것으로 판단할 수 있다. 반면 앞서 주행하는 차량들로 인해 차선이 인식되는 거리가 매우 짧으므로, 보다 긴 가시거리에 대응하는 경로 정보를 제공할 수 있는 MR 뷰 이미지의 제공이 필요한 것으로 판단할 수 있다.

이러한 경우 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 카메라로부터 획득된 이미지에서, 차량으로부터 이격 거리가 기 설정된 거리 이내인 영역을 검출할 수 있다. 이 경우 상기 기 설정된 거리가 50m로 설정된 경우라면, 경로 안내 장치(1300)는 카메라로부터 획득되는 이미지를, 차량으로부터의 이격 거리가 50m 이내인 영역(제1 영역, 1950), 이격거리가 50m를 초과하는 영역(제2 영역, 1900)으로 구분할 수 있다.

그리고 경로 안내 장치(1300)는, 상기 도 18에서 설명한 과정에 따라 AR 뷰 이미지에 대응하는 MR 뷰 이미지를 생성할 수 있다. 그리고 디스플레이 화면에서, 차량으로부터 이격 거리가 50m 이내인 제1 영역에는 AR 객체를 포함하는 AR 뷰 이미지를 표시하고, 차량으로부터 이격 거리가 50m를 초과하는 제2 영역에는 MR 객체를 포함하는 MR 뷰 이미지를 표시할 수 있다. 따라서 도 19에서 보이고 있는 바와 같이, 제1 영역(1950)에는 실제 카메라에서 획득된 이미지와, 상기 이미지로부터 인식된 차량 주변의 전방의 차선에 대응하는 AR 객체(1951)가 표시될 수 있다. 반면 제2 영역(1900)에는 디지털 트윈화된 3차원 맵상의 이미지와, 상기 디지털 트윈화된 3차원 맵 상에서 차량이 주행할 경로를 표시하는 MR 객체(1901)가 표시될 수 있다.

즉, 디스플레이 영역을 서로 다른 방식으로 경로 안내 정보를 제공하는 영역으로 배타적으로 분리하여, 분리된 각 영역에 대응하는 동작 모드에 따라 서로 다른 방식의 경로 안내 정보를 제공할 수 있다.

한편 이처럼 디스플레이 영역을 분리하여 서로 다른 동작 모드에서 제공되는 뷰 이미지들을 혼합하여 표시하는 경우, 상술한 바와 같이 상기 뷰 이미지들은 카메라 캘리브레이션이 공유된 뷰 이미지들일 수 있다. 또한 FOV 주시점이 동일한 뷰 이미지들일 수 있다. 따라서 동일한 FOV 주시점에 근거하여 형성되는 시각장에 따라 3차원 공간 상의 좌표를 2차원 영상에 변환하므로, 각 뷰 이미지들에서 표시되는 객체가 서로 다른 뷰 이미지가 표시되는 영역으로 심리스하게 이동될 수 있다.

즉, AR 모드에 따라 경로 안내 정보가 제공되는 영역에서 표시되는 객체가, MR 모드에 따라 경로 안내 정보가 제공되는 영역으로 이동하는 경우, 실사 이미지의 형태로 표시되는 객체가 모델링에 따라 표시되는 가상 객체로 표시될 수 있다. 반대로 MR 모드에 따라 경로 안내 정보가 제공되는 영역에서 표시되는 객체가, AR 모드에 따라 경로 안내 정보가 제공되는 영역으로 이동하는 경우, 모델링에 따라 표시되는 가상 객체가 실사 이미지의 형태로 표시될 수 있다.

한편 이처럼 혼합된 화면에서 MR 객체를 이용하여 경로 정보를 표시하는 경우, 경로 안내 장치(1300)는 지표면에서 하늘 방향으로 구부러지는 형태를 가지는 MR 객체를 이용하여 상기 경로 정보를 표시할 수도 있다.

한편 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 제1 뷰 이미지가 표시되는 영역의 적어도 일부에 제2 뷰 이미지를 오버랩할 수도 있음은 물론이다. 예를 들어 경로 안내 장치(1300)는 POI 정보의 시인성을 높일 필요가 있는 경우, 차량이 주행하는 도로의 상태에 따라 제1 뷰 이미지가 표시되는 영역의 적어도 일부에 제2 뷰 이미지를 오버랩할 수도 있다.

이러한 경우, 경로 안내 장치는 사용자의 선호도 등에 따라 미리 결정된 POI 정보의 중요도에 근거하여 표시되는 POI 정보의 시인성을 개선할 필요가 있는지 여부를 판별할 수 있다. 그리고 POI 정보의 시인성 개선이 필요한 경우, AR 뷰 이미지의 적어도 일부에 MR 뷰 이미지를 오버랩하여 POI 정보의 시인성을 높일 수 있다.

또는 경로 안내 장치(1300)는 차량이 주행하는 경로의 분기점이 인접한 경우, 상기 분기점을 보다 명확하게 표시하기 위해 AR 뷰 이미지의 적어도 일부에 MR 뷰 이미지를 오버랩하여 운전자가 분기 지점을 보다 명확하게 인식하도록 할 수도 있다. 또는 경로 안내 장치(1300)는 차량의 카메라에서 획득되는 시야각을 벗어나는 사각 지대의 상황을 탑승자에게 제공하기 위하여, MR 뷰 이미지의 일부에 AR 뷰 이미지가 오버랩된 디스플레이 화면을 표시할 수도 있다.

도 20은 이러한 본 발명의 실시 예에 따른 경로 안내 장치(1300)가, 제1 뷰 이미지가 표시되는 영역의 적어도 일부에, 제2 뷰 이미지를 오버랩하는 동작 과정을 도시한 흐름도이다. 그리고 도 21과 도 22는, 도 20의 동작 과정에 따라 MR 뷰 이미지가 표시되는 디스플레이 영역의 적어도 일부에, AR 뷰 이미지가 오버랩되는 예시도들이다.

도 20을 참조하여 살펴보면, 경로 안내 장치(1300)는 제1 뷰 이미지의 적어도 일부에 대응하는 제2 뷰 이미지를 생성할 수 있다(S2000). 이 경우 경로 안내 장치(1300)는 카메라 캘리브레이션 공유를 통해, FOV 주시점이 동일한 뷰 이미지를 생성할 수 있다. 예를 들어 경로 안내 장치(1300)는 AR 뷰 이미지와 동일한 FOV 주시점을 가지는 MR 뷰 이미지를 생성할 수 있다. 또는 MR 뷰 이미지와 동일한 FOV 주시점을 가지는 AR 뷰 이미지를 생성할 수도 있다.

그리고 경로 안내 장치(1300)는 디스플레이 화면에 표시되는 제1 뷰 이미지의 적어도 일부에, 제2 뷰 이미지를 오버랩할 수 있다(S2002). 그리고 제2 뷰 이미지가 오버랩된 제1 뷰 이미지를 통해 표시되는 제1 뷰 이미지의 객체들 및 제2 뷰 이미지의 객체들에 근거하여 경로 안내 정보를 제공할 수 있다(S2004).

일 예로 상기 경로 안내 장치(1300)는, AR 모드에 따른 AR 뷰 이미지가 표시되는 상태에서, 차량이 주행하는 도로를 제외한 나머지 영역에 대응하는 MR 뷰 이미지를 생성할 수 있다. 이 경우 상기 생성되는 MR 뷰 이미지는, 상기 AR 뷰 이미지와 FOV 주시점이 동일하고, FOV가 동일한 뷰 이미지일 수 있다.

그리고 경로 안내 장치(1300)는 상기 주행 도로가 표시되는 AR 뷰 이미지의 영역을 제외한 나머지 영역에, 상기 MR 뷰 이미지를 오버랩할 수 있다. 따라서 도 21에서 보이고 있는 바와 같이, 상기 도로 영역(2110)은 AR 뷰 이미지의 형태로 표시되고, 상기 도로 영역을 제외한 나머지 영역(2100)은 MR 뷰 이미지의 형태로 표시되는 디스플레이 화면이 표시될 수 있다. 따라서 상기 도로 영역(2100)은 카메라에서 촬영된 실제 도로 이미지가 표시될 수 있으며, 상기 도로 이미지에서 인식된 차선을 나타내는 AR 객체(1501)가 표시될 수 있다. 또한 도로 영역을 제외한 나머지 영역(2100)은, MR 뷰 이미지의 오버랩으로 인해 디지털 트윈화된 3차원 맵 상의 건물 모델 이미지의 형태로 표시될 수 있다.

한편 AR 모드에 따라 경로 안내 장치(1300)가 동작하는 경우, 카메라에서 촬영된 실제 이미지로부터 인식되는 객체들의 POI 정보를 AR 객체로서 표시할 수 있다. 따라서 경로 안내 장치(1300)는 상기 실제 이미지에서 인식된 객체들에 따른 POI 정보를 검출하고, POI 정보에 대응하는 AR 객체를 상기 MR 뷰 이미지가 오버랩된 디스플레이 화면 상에 표시할 수 있다. 그러므로 도 21에서 보이고 있는 바와 같이, 디지털 트윈화된 3차원 맵 상의 건물 모델 이미지 상에 검출된 POI 정보에 대응하는 AR 객체(2101)들이 표시될 수 있다.

이 경우 상기 디지털 트윈화된 3차원 맵 상의 건물 모델은, 실제 건물의 이미지에 비하여 형상이 복잡하지 않을 수 있다. 따라서 도 21에서 보이고 있는 바와 같이, 더 낮은 복잡도를 가지는 배경 상에 AR 객체(2101)가 표시되므로, AR 객체(2101)의 시인성이 크게 향상될 수 있다. 즉, 노출되는 POI 정보의 시인성이 향상될 수 있다.

한편 상술한 설명에 따르면, 도 21과 같은 디스플레이 화면의 경우, AR 뷰 이미지에 MR 뷰 이미지가 오버랩되는 것으로 설명하였으나, 이와는 반대로 디스플레이부(251) 상에 표시되는 MR 뷰 이미지에, 상기 디스플레이 화면의 적어도 일부에 대응하는 AR 뷰 이미지가 오버랩될 수도 있음은 물론이다. 이 경우, 차량이 주행하는 도로에 대응하는 AR 뷰 이미지의 일부가, MR 뷰 이미지에 오버랩될 수 있다.

이 경우 경로 안내 장치(1300)가, 디스플레이부(251) 상에 표시되는 MR 뷰 이미지에, 실제 촬영된 이미지를 통해 인식된 객체들의 POI 정보에 대응하는 AR 객체들을, 상기 인식된 객체들에 대응하는 MR 뷰 이미지 상의 위치들에 오버랩하여 표시함으로써, 상기 도 21과 같은 디스플레이 화면을 표시할 수도 있음은 물론이다.

한편 경로 안내 장치(1300)는 디스플레이부(251)가 MR 뷰 이미지를 표시하는 상태에서, 카메라의 시야각에 대응하는 일 영역에 AR 뷰 이미지를 오버랩된 디스플레이 화면을 표시할 수도 있다.

예를 들어 경로 안내 장치(1300)는 도 22에서 보이고 있는 바와 같이, 경로 안내 장치(1300)가 탑재된 차량을 포함하는 주변 영역에 대응하는 MR 뷰 이미지(2200)를 표시할 수 있다. 이 경우 디지털 트윈화된 3차원 맵 상의 이미지가 표시되므로, 실제 이미지가 아니라 차량 또는 건물에 대응하는 모델의 이미지가 디스플레이부(251) 상에 표시될 수 있다.

이러한 상태에서, 경로 안내 장치(1300)는 카메라를 통해 획득되는 이미지에 따른 AR 뷰 이미지(2210)를 생성할 수 있다. 이 경우 상기 AR 뷰 이미지는, 카메라를 통해 획득될 수 있는 시야각 범위, 즉 FOV에 한정되므로, 보다 넓은 FOV를 가지는 MR 뷰 이미지의 일 영역에 대응하는 이미지일 수 있다. 여기서 상기 AR 뷰 이미지(2210)와 MR 뷰 이미지(2200)는 FOV 주시점의 위치가 동일한 이미지들일 수 있다.

그러면 경로 안내 장치(1300)는 상기 FOV 주시점을 기준으로, MR 뷰 이미지(2200) 상에 AR 뷰 이미지(2210)를 오버랩할 수 있다. 따라서 도 22에서 보이고 있는 바와 같이, 탑승자가 육안으로 확인할 수 있는 범위, 즉 카메라의 시야각 내에 대응하는 영역은 AR 뷰 이미지(2210)의 형태로 경로 안내 정보가 제공될 수 있다. 따라서 실제 이미지에 기반한 경로 안내 정보가 표시될 수 있다.

반면, 탑승자가 육안을 확인할 수 없는 범위, 즉 경로 안내 장치(1300)가 탑재된 차량(2221)의 후면 영역 및, 상기 차량(2221) 후면에서 접근하는 다른 차량(2222), 시야각 범위를 벗어나는 양 측면 방향에 대응하는 사각 지대 영역은 MR 뷰 이미지(2200)의 형태로 경로 안내 정보가 제공될 수 있다. 따라서 디지털 트윈화된 3차원 맵의 이미지와 가상 객체의 형태로 경로 정보가 표시될 수 있다.

한편 도 22의 경우 역시 상술한 바와 마찬가지로, 카메라 캘리브레이션 공유를 통해 MR 뷰 이미지(2200)는 AR 뷰 이미지(2210)는 동일한 FOV 주시점에 근거하여 형성되는 시각장에 따라 3차원 공간 상의 좌표를 2차원 영상의 좌표로 변환할 수 있다. 이 경우 AR 뷰 이미지(2210)는 동일한 FOV 주시점에 따라 형성되는 절두체 형상의 시각장의 근거리 한계(near limit)에 해당하는 영역일 수 있으며, MR 뷰 이미지(2200)는 상기 절두체 형상의 시각장에서 원거리 한계(near far)에 해당하는 영역일 수 있다.

이 경우 AR 뷰 이미지(2210)와 인접한 객체들은 FOV 주시점으로부터의 거리가 상기 AR 뷰 이미지(2210)와 동일한 객체들일 수 있다. 따라서 AR 뷰 이미지(2210)와 MR 뷰 이미지(2200)는 뷰 이미지의 경계면(예 : AR 뷰 이미지(2210)의 경계면)을 통해 서로 연결되는 뷰 이미지들일 수 있다. 그러므로 AR 뷰 이미지(2210)에서 표시되는 객체가 뷰 이미지의 경계면을 통해 MR 뷰 이미지(2200)가 표시되는 영역으로 심리스하게 이동하거나, 또는 AR 뷰 이미지(2210)에서 표시되는 객체가 MR 뷰 이미지(2200)가 표시되는 영역으로 심리스하게 이동할 수 있다. 이 경우 카메라의 FOV를 벗어나는지 여부에 따라 가상 객체 또는 실제 이미지 상의 객체로 표시될 수 있다.

따라서 도 22에서 보이고 있는 차량 객체(2223)의 경우, 카메라의 FOV 이내에 포함되는 일부 영역은 실사 이미지의 형태로 표시되고, 카메라의 FOV를 벗어나는 나머지 영역은 가상 객체의 형태로 표시될 수 있다. 이 경우 차량 객체(2223)에 대응하는 차량의 속도가 보다 높아짐에 따라 차량 객체(2223) 전체가 카메라의 FOV에 포함되는 경우, 차량 객체(2223) 전체가 실사 이미지의 형태로 표시될 수 있다. 그러나 차량 객체(2223)에 대응하는 차량의 속도가 보다 낮아짐에 따라 차량 객체(2223) 전체가 카메라의 FOV를 벗어나는 경우, 차량 객체(2223) 전체가 가상 객체의 형태로 표시될 수 있다.

한편 상술한 설명을 통해, AR 뷰 이미지가 표시되는 상태(AR 모드)에서 MR 뷰 이미지가 표시되는 상태(MR 모드)로 전환하거나 또는 반대로 MR 모드에서 AR 모드로 전환하는 예들을 살펴보았다.

또한 디스플레이 화면을 분할하여 AR 뷰 이미지와 MR 뷰 이미지를 각각 표시하거나, 또는 상기 AR 뷰 이미지와 MR 뷰 이미지가 혼합된 디스플레이 화면을 표시하는 예들 및, AR 뷰 이미지 또는 MR 뷰 이미지가 표시되는 디스플레이 화면의 적어도 일부에, MR 뷰 이미지 또는 AR 뷰 이미지를 오버랩하는 예들을 자세히 살펴보았다.

이와 같이, 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 서로 다른 동작 모드에서 표시되는 서로 다른 뷰 이미지를 하나의 화면에서 표시할 수 있다. 그리고 상기 경로 안내 장치(1300)는 이와 유사한 방식으로 복수의 AR 뷰 이미지와 복수의 MR 뷰 이미지를 포함하여 디스플레이 영역을 구성할 수도 있다.

도 23은 본 발명의 실시 예에 따른 경로 안내 장치(1300)가, 복수의 AR 뷰 이미지와 복수의 MR 뷰 이미지를 포함하는 디스플레이 영역(2300)을 구성하는 예를 도시한 예시도이다.

이 경우 경로 안내 장치(1300)는 차량이 앞으로 주행할 도로, 즉 예측된 주행 경로에 대한 경로 안내 정보(제1 뷰 이미지, 2510)와 현재 차량이 주행하고 있는 주행 경로에 대한 경로 안내 정보(제2 뷰 이미지, 2520), 그리고 차량이 이미 주행한 주행 경로에 대한 경로 안내 정보(제3 뷰 이미지, 2530)를 하나의 디스플레이 화면에 구현할 수 있다.

이 경우 상기 제1 뷰 이미지(2510)는 아직 주행하지 않은 경로이므로, AR 뷰 이미지는 표시할 수 없다. 따라서 경로 안내 장치(1300)는 드론뷰 또는 조감도(bird view) 등, MR 뷰 이미지 표시 방식에 따라 차량이 앞으로 주행할 예측 주행 경로의 정보를 표시할 수 있다(제1 MR 뷰 이미지, 2310).

한편 현재 차량이 주행하는 주행 경로의 경우, AR 뷰 이미지 및 MR 뷰 이미지 모두에 따라 표시할 수 있다. 경로 안내 장치(1300)는 제2 뷰 이미지 영역(2520) 일부에 현재 차량의 전방 주행 영상에 대응하는 AR 뷰 이미지를 표시(제2 AR 뷰 이미지, 2321)하고, 제2 뷰 이미지 영역(2520)의 나머지 영역에 현재 차량이 주행하는 주행 경로에 대한 적어도 하나의 MR 뷰 이미지를 표시(제2 MR 뷰 이미지, 2322, 2323)할 수 있다.

여기서 제2 MR 뷰 이미지들(2322, 2323)과 제2 AR 뷰 이미지(2321)는 카메라 캘리브레이션을 공유하는 이미지들일 수 있다. 따라서 동일한 FOV 주시점에 근거하여 형성되는 시각장에 따라 3차원 공간 상의 좌표를 2차원 영상의 좌표로 변환하는 이미지들일 수 있다.

일 예로 상기 제2 MR 뷰 이미지들(2322, 2323)은, 상기 제2 AR 뷰 이미지(2321) 좌우에 표시될 수 있다. 그리고 실시간으로 AR 뷰 이미지와 이동될 수 있는 객체들을 포함하는 MR 뷰 이미지일 수 있다. 이 경우 상기 제2 MR 뷰 이미지들(2322, 2323)은 현재 차량의 좌우 양측의 사각 지대에 위치한 객체들을 표시한 MR 뷰 이미지들일 수 있다.

한편 제3 뷰 이미지 영역(2530)은 차량이 이미 주행한 주행 경로에 대한 경로 안내 정보가 표시되는 영역일 수 있다. 이 경우 경로 안내 장치(1300)는 제3 뷰 이미지 영역(2530) 일부에 차량이 지나온 경로에 따른 과거 이동 경로와 객체들을 표시하는 AR 뷰 이미지를 표시(제3 AR 뷰 이미지, 2331)하고, 제3 뷰 이미지 영역(2530)의 나머지 영역에 차량이 지나온 경로에 따른 과거 이동 경로와 객체들에 관련된 적어도 하나의 MR 뷰 이미지를 표시(제3 MR 뷰 이미지, 2332, 2333)할 수 있다.

마찬가지로 제3 MR 뷰 이미지들(2332, 2333)과 제3 AR 뷰 이미지(2331)는 카메라 캘리브레이션을 공유하는 이미지들일 수 있다. 따라서 동일한 FOV 주시점에 근거하여 형성되는 시각장에 따라 3차원 공간 상의 좌표를 2차원 영상의 좌표로 변환하는 이미지들일 수 있다.

일 예로 상기 제3 MR 뷰 이미지들(2332, 2333)은, 상기 제3 AR 뷰 이미지(2331) 좌우에 표시될 수 있다. 이 경우 상기 제3 MR 뷰 이미지들(2332, 2333)은 현재 차량의 좌우 양측의 사각 지대에 위치한 객체들을 표시한 MR 뷰 이미지들일 수 있다.

한편 제2 뷰 이미지 영역(2520) 내에서 표시되는 객체들은, 대응하는 객체들의 이동에 따라 AR 뷰 이미지 또는 MR 뷰 이미지의 형태로 표시될 수 있다. 마찬가지로 제3 뷰 이미지 영역(2530) 내에서 표시되는 객체들은, 대응하는 객체들의 이동에 따라 AR 뷰 이미지 또는 MR 뷰 이미지의 형태로 표시될 수 있다.

그러나 제2 뷰 이미지 영역(2520)과 제3 뷰 이미지 영역(2530), 그리고 제1 뷰 이미지 영역(2510)은 차량의 주행이 이루어지는 시간이 서로 다르므로, 제1 뷰 이미지 영역(2510) 내지 제3 뷰 이미지 영역(2530) 간에는 객체의 이동이 발생할 수 없음은 물론이다. 따라서 제2 뷰 이미지 영역(2520)에서 표시되는 객체가, 제3 뷰 이미지 영역(2530)으로 이동하거나, 반대로 제3 뷰 이미지 영역(2530)에서 표시되는 객체가, 제2 뷰 이미지 영역(2520)으로 이동할 수 없다.

한편 도 24는 본 발명의 실시 예에 따른 경로 안내 장치(1300)를 통해 AR 뷰 이미지 및 MR 뷰 이미지의 복합 화면이 표시되는 예시도들이다.

일 예로 경로 안내 장치(1300)는, 차량의 주행 상태가 기 설정된 상태인 경우 도 24의 (a)에서 보이고 있는 바와 같이, 차량이 앞으로 주행할 경로에 대한 경로 정보를 MR 객체를 이용하여 제공할 수 있다. 이 경우 경로 안내 장치(1300)는 디지털 트윈화된 3차원 맵에서, 경로 안내 장치(1300)가 탑재된 차량에 대응하는 객체(이하 차량 객체)(2411)를 표시할 수 있다. 그리고 상기 차량 객체(2411)로부터, 차량이 주행할 경로를 따라 이동하는 상기 차량 객체에 대응하는 서브 가상 객체(2412)를 더 표시할 수 있다.

경로 안내 장치(1300)는 상기 서브 가상 객체(2412)는, 차량과 흡사한 객체일 수 있으며 반투명하게 표시되는 객체일 수 있다. 따라서 반투명으로 표시되는지 여부에 따라 상기 차량 객체(2411)와의 구분이 가능할 수 있다. 상기 서브 가상 객체(2412)는, 상기 반투명하게 표시되는 가상 객체임에 근거하여 '고스트 카'라고 명명할 수 있다.

경로 안내 장치(1300)는 상기 고스트 카 객체(2412)를 이용하여, 차량 객체(2411)의 위치로부터, 차량이 앞으로 주행하여야 할 주행 경로를 미리 주행할 수 있다. 그리고 상기 고스트 카 객체가 이동하는 경로를 따라 조감도 등의 MR 뷰 이미지를 더 표시할 수 있다. 이처럼 경로 안내 장치(1300)는 MR 뷰 이미지를 이용하여 차량이 앞으로 주행할 경로의 경로 정보를 미리 제공할 수 있으며, 이처럼 앞으로 주행할 경로의 경로 정보를 제공하는 기능을 '미리보기(preview)'라고 하기로 한다.

이처럼 미리보기가 제공되는 경우, 도 24의 (a)에서 보이고 있는 바와 같이, 현재 차량에 대응하는 차량 객체가 표시되는 제1 MR 뷰 이미지(2410)와, 상기 고스트 카 객체가 이동하는 경로를 따라 차량이 주행하는 경로의 경로 정보를 표시하는 제2 MR 뷰 이미지(2420)가 디스플레이 화면의 서로 다른 영역에 표시될 수 있다.

뿐만 아니라 경로 안내 장치(1300)는 상기 제1 MR 뷰 이미지(2410) 이미지 대신, 차량의 카메라로부터 획득되는 실제 이미지를 이용한 AR 뷰 이미지를 표시할 수도 있다. 이러한 경우 도 24의 (b)에서 보이고 있는 바와 같이, 디스플레이 영역의 제1 영역에는 주행하고 있는 현재 차량의 전방 이미지를 표시하는 AR 뷰 이미지(2450)가 표시될 수 있으며, 제2 영역에는 차량에 대응하는 차량 객체가 표시되는 MR 뷰 이미지(2451)가 표시될 수 있다. 이 경우 상기 MR 뷰 이미지(2451)는 차량의 현재 위치에 대응하는 MR 뷰 이미지(제1 MR 뷰 이미지)이거나 또는 목적지까지의 주행 경로를 미리 표시하는 MR 뷰 이미지(제2 MR 뷰 이미지 - 미리보기)일 수 있다.

한편 경로 안내 장치(1300)는, MR 뷰 이미지 뿐만 아니라 현재 차량의 위치에 대응하는 2차원 지도 정보를 표시하는 2D 맵 모드의 이미지(2461)를 표시할 수도 있음은 물론이다. 이 경우 도 24의 (c)에서 보이고 있는 바와 같이, 디스플레이부(251) 상의 일 영역에는 AR 뷰 이미지(2460) 또는 MR 뷰 이미지가 표시될 수 있으며, 다른 일 영역에는 차량의 현재 위치가 포함된 2차원 지도 이미지(2461)가 표시될 수 있다.

예를 들어 경로 안내 장치(1300)는 주행 방향이 변경되는 지점, 즉 턴 포인트에 차량이 인접하는 경우, 상기 턴 포인트에 대한 경로 안내 정보를 제공하기 위해 상기 고스트 카를 이용한 미리보기를 제공할 수 있다. 이 경우, 경로 안내 장치(1300)는 고스트 카 객체를 따라 상기 고스트 카 객체가 이동하는 주행 경로를 MR 뷰 이미지로 표시할 수 있다.

이 경우 상기 도 24의 (a)에서 보이고 있는 바와 같이, 경로 안내 장치(1300)는 디스플레이 화면의 서로 다른 영역을 통해 비교적 낮은 고도에서 차량을 주시하는 뷰 이미지를 제공하는 제1 MR 뷰 이미지와, 높은 고도에서 고스트 카 객체의 이동에 따른 주행 경로의 뷰 이미지를 제공하는 제2 MR 뷰 이미지를 표시할 수 있다.

도 25는 이처럼 고스트 카 객체의 이동에 따른 주행 경로를 표시하는 디스플레이 화면의 예를 도시한 것이다.

도 25의 (a)를 참조하여 살펴보면, 도 25의 (a)는 도로를 주행하는 차량 객체(2550)의 예를 도시한 것이다. 이 경우 제1 MR 뷰 이미지(2510)의 주시점(2500)은 제1 MR 뷰 이미지의 중심을 지향할 수 있다. 즉 제1 MR 뷰 이미지(2510)는 중심을 포커싱하는 MR 카메라(제1 MR 카메라)를 통해 획득되는 이미지를 제1 MR 뷰 이미지로 표시할 수 있다. 또한 제2 MR 뷰 이미지(2520)는, 차량 객체(2550)가 주행하는 주행 경로를 높은 고도에서 바라보는 제2 MR 카메라로부터 획득되는 이미지(예 : 조감도)가 표시될 수 있다.

이러한 상태에서 차량 객체(2550)턴 포인트에 인접하는 경우, 경로 안내 장치(1300)는 턴 포인트를 지나 차량이 주행하여야 할 주행 경로를 포커싱하는 제1 MR 카메라로부터 획득되는 이미지를 제1 MR 뷰 이미지로 표시할 수 있다. 따라서 도 25의 (b)에서 보이고 있는 바와 같이, 건물에 의해 가려진 주행 경로를 지향하는 제1 MR 뷰 이미지(2510)를 표시할 수 있다.

한편 경로 안내 장치(1300)는 제2 MR 카메라를 상기 턴 포인트의 회전 반경의 접선 지점에 위치시키고, 상기 접선 지점에서 차량이 주행하여야 할 방향을 지향하도록 할 수 있다. 그리고 상기 제2 MR 카메라에서 획득되는 이미지를 제2 MR 뷰 이미지(2520)로 제공할 수 있다.

따라서 상기 제2 MR 카메라에서 획득되는 MR 뷰 이미지는, 상기 도 25의 (b)에서 보이고 있는 바와 같이, 상기 턴 포인트의 출구 방향, 즉 턴 포인트를 지나 차량이 앞으로 주행하여야 할 경로를 표시하는 이미지 일 수 있다.

그리고 차량이 턴 포인트에 인접하는 경우 경로 안내 장치(1300)는, 도 25의 (c)에서 보이고 있는 바와 같이, 차량 객체(2550)에 대응하는 고스트 카 객체(2511)를 더 표시할 수 있다. 이 경우 고스트 카 객체(2511)는 차량 객체(2550)에 앞서서 턴 포인트를 따라 이동할 수 있다. 그러면 상기 턴 포인트의 출구 방향을 지향하는 제2 MR 뷰 이미지(2520)에 상기 고스트 카 객체(2511)가 표시될 수 있다.

한편 차량이 턴 포인트에서 주행 경로를 따라 방향을 전환하면, 도 25의 (d)에서 보이고 있는 바와 같이, 변경되는 차량의 주행 방향에 따라 점차적으로 제1 MR 카메라의 주시점(2500)은 제1 MR 뷰 이미지(2510)의 중심으로 이동될 수 있다. 그리고 제2 MR 뷰 이미지(2520)에서는 턴 포인트를 지나 출구 방향으로 진입하는 차량 객체(2550)의 이미지가 표시될 수 있다. 이 경우 차량이 아직 턴 포인트를 벗어난 상태가 아니므로, 제1 MR 뷰 이미지(2510) 및 제2 MR 뷰 이미지(2520)에는 고스트 카 객체(2511)가 표시되는 상태가 각각 유지될 수 있다.

그리고 차량이 턴 포인트를 완전히 통과하게 되면, 다시 제1 MR 카메라의 주시점(2500)은 제1 MR 뷰 이미지(2510)의 중심을 지향할 수 있다. 그리고 제2 MR 뷰 이미지(2520)는 차량 객체(2550)가 주행하는 주행 경로를 높은 고도에서 바라보는 조감도가 제2 MR 뷰 이미지(2520)로 표시될 수 있다.

한편 상술한 바와 같이 MR 뷰 이미지를 통해 제공되는 미리보기는, 차량의 주행 상태(예를 들어 정차 상태 또는 주행 상태 여부)나 주행 경로(예를 들어 턴 포인트 등 지정된 경로에 진입하였는지 여부)에 따라 자동으로 활성화(자동 활성화)되거나 또는 탑승자의 선택에 따라 활성화(수동 활성화)될 수 있다.

상기 미리보기가 자동으로 활성화되는 경우, 경로 안내 장치(1300)는 상기 도 25에서 살펴본 바와 같이, 디스플레이 화면의 일 영역에 표시되는 MR 뷰 이미지를 점차적으로 차량이 주행하는 경로를 표시하는 MR 뷰 이미지로 변경할 수 있다. 즉, 도 25에서 설명한 바와 같이, 제2 MR 뷰 이미지가 높은 고도에서 차량 객체를 지향하는 제2 MR 카메라로부터 획득되는 조감도인 경우라면, 경로 안내 장치(1300)는 상기 제2 MR 카메라를 점차적으로 이동하여 턴 포인트의 출구 방향을 지향하는 위치로 이동시킬 수 있다. 즉, 마치 제2 MR 뷰 이미지를 제공하는 제2 MR 카메라가 드론(drone)에 의해 이동되는 것과 같은 효과(드론 뷰)를 제공할 수 있다. 도 26의 (a)는 이처럼 제2 MR 카메라의 이동에 따라, 점차적으로 제2 MR 뷰 이미지가 조감도에서 턴 포인트의 출구 방향을 지향하는 이미지로 변경되는 예를 도시한 것이다.

반면 상기 미리보기가 탑승자의 선택에 따라 수동으로 활성화되는 경우, 경로 안내 장치(1300)는 제1 MR 뷰 이미지가 디스플레이 화면 전체에 표시되는 상태에서, 사용자의 선택에 따라 디스플레이 화면의 일부에 제2 MR 뷰 이미지를 PIP 방식으로 표시할 수 있다.

이 경우 제2 MR 뷰 이미지는, 차량이 현재 주행하는 방향을 나타내는 MR 뷰 이미지에서, 턴 포인트의 회전 반경 접선 지점에 위치한 제2 MR 카메라(2610)에서 획득되는 이미지로 점차 변경될 수 있다. 따라서 도 26의 (b)에서 보이고 있는 바와 같이, 제1 MR 뷰 이미지와 주시점이 동일한 MR 뷰 이미지를 표시한 상태에서, 점차적으로 턴 포인트의 접선 지점에서 차량이 주행하여야 할 방향, 즉 턴 포인트의 출구 방향의 주행 경로를 나타내는 MR 이미지로 변경될 수 있다.

한편 본 발명의 실시 예에 따른 경로 안내 장치(1300)는 주행 경로의 시인성을 보다 높이기 위해, 주변 건물들의 이미지를 다르게 표시할 수 있다. 도 27은 이처럼 본 발명의 실시 예에 따른 경로 안내 장치가, 차량의 속도에 따라 주변 건물들의 이미지를 다르게 표시하는 MR 뷰 이미지의 예를 도시한 예시도이다.

차량의 주행 속도가 낮은 경우, 경로 안내 장치(1300)는 도 27의 (a)에서 보이고 있는 바와 같이, 주행 경로 주변의 건물들을 불투명한 3차원 객체의 이미지들로 표시할 수 있다.

이러한 상태에서 차량의 주행 속도가 증가하는 경우 경로 안내 장치(1300)는 도 27의 (b)에서 보이고 있는 바와 같이, 증가하는 차량의 속도에 비례하여 주행 경로 주변의 건물에 대응하는 3차원 객체들의 투명도를 증가시킬 수 있다. 따라서 차량의 속도가 증가할 수록, 도 27의 (b)에서 보이고 있는 바와 같이 차량 주변의 건물들이 반투명한 3차원 객체로 표시될 수 있다.

한편 이처럼 차량 주변의 건물들이 반투명한 3차원 객체로 표시되는 상태에서, 차량의 속도가 더 증가할 수 있다. 그러나 상기 차량 주변 건물들에 대응하는 3차원 객체들은, 투명도가 일정 수준에 이르는 경우 더 이상투명해지지 않을 수 있다. 이는 투명도가 너무 높아지면 차량 주변 건물을 인식하기 어려워질 수 있기 때문이다.

이러한 경우 경로 안내 장치(1300)는, MR 뷰 이미지가 제공되는 촬영각을 보다 증가시킬 수 있다. 즉, 보다 높은 고도에서 획득되는 차량의 주행 경로의 이미지를 MR 뷰 이미지로 제공할 수 있다. 따라서 도 27의 (c)에서 보이고 있는 바와 같이, 보다 고각에서 획득된 MR 뷰 이미지가 제공될 수 있으며, 이에 따라 차량의 속도가 고속인 경우 보다 긴 시야 거리가 제공될 수 있다.

한편 도 28은 본 발명의 실시 예에 따른 경로 안내 장치(1300)가, MR 뷰 이미지를 통해 POI 정보를 제공하는 예를 도시한 예시도이다.

본 발명의 실시 예에 따른 경로 안내 장치(1300)는 MR 뷰 이미를 통해 제공되는 디지털 트윈화된 3차원 맵의 이미지를 통해 POI 정보를 표시할 수 있다. 따라서 도 28의 (a)에서 보이고 있는 바와 같이, POI 정보에 대응하는 건물이 MR 뷰 이미지 상에 노출되는 경우, 그 건물에 대응하는 가상 객체에 POI 정보를 표시할 수 있다.

그리고 차량의 주행에 따라 상기 POI 정보에 대응하는 건물과 차량 사이의 변화되는 거리에 따라 상기 POI 객체의 크기를 변경할 수 있다. 즉, 도 28의 (b) 및 (c)에서 보이고 있는 바와 같이, 상기 POI 정보에 대응하는 건물에 차량이 점차 인접하는 경우 상기 POI 객체는 점차적으로 확대되어 표시될 수 있다. 그리고 도 28의 (c)에서 보이고 있는 바와 같이, 차량이 상기 POI 정보에 대응하는 건물에 일정 거리 이내로 진입함에 따라, POI 객체가 일정 수준 이상의 크기로 확대되어 표시되는 경우, 경로 안내 장치(1300)는 상기 POI 객체의 이미지를 캡쳐하고, 캡쳐된 이미지를 썸네일 이미지화하여 저장할 수 있다. 이 경우 상기 캡쳐된 POI 객체의 이미지는 차후 POI 정보를 이용한 서비스의 제공에 이용될 수 있다.

한편 차량이 이동함에 따라, 차량이 상기 POI 정보에 대응하는 건물을 지나가는 경우, 상기 POI 객체가 차량의 시야각, 즉 차량 전방 영역에서 이탈될 수 있다. 그러면 경로 안내 장치(1300)는 상기 POI 객체를 디폴트 객체로 나타낼 수 있다.

이 경우 상기 디폴트 객체는 도 28의 (c)에서 보이고 있는 바와 같이 텍스처가 반영되지 않은 폴리곤 형태의 가상 객체일 수 있다. 즉, 차량의 전방 뿐만 아니라 차량의 주변을 모두 표시하는 MR 뷰 이미지(예 : 조감도)가 제공되는 경우, 차량이 주행하는 위치에 따라, 차량이 이미 경과한 주행 경로 주변의 POI 객체들은 색상이나 이미지 또는 텍스처 없이 음영만 반영된 객체들로 표시될 수 있으며, 차량이 아직 경과하지 않은 주행 경로 주변의 POI 객체들은 색상, 이미지 또는 텍스처를 포함하는 객체들로 표시될 수 있다.

한편 도 29는 본 발명의 실시 예에 따른 경로 안내 장치(1300)가, 차량의 주행에 따라 수집된 POI들 중 탑승자의 선택에 따른 어느 하나에 대한 상세 정보를 표시하는 예를 도시한 예시도이다.

상기 도 28에서 설명한 바와 같이, 경로 안내 장치(1300)는 차량이 주행하는 동안에 차량 주변에서 노출되는 POI 객체들을 캡쳐하고, 저장할 수 있다. 그리고 도 29의 (a)에서 보이고 있는 바와 같이, 저장된 POI 객체들의 썸네일 이미지를, 탑승자의 요청에 따라 디스플레이부(251) 상에 표시할 수 있다.

이 경우 상기 POI 객체들의 썸네일 이미지들은, 대응하는 POI 객체들의 POI 정보를 포함하는 카드(리플레이 카드(replay card), 2900) 형태로 제공될 수 있다. 그리고 수집된 시간 순서대로 정렬된 상태로 제공될 수 있다. 일 예로 가장 최근에 수집된 POI 객체에 대응하는 카드(2910)는 가장 상단에 표시될 수 있으며, 가장 오래 전에 수집된 POI 객체에 대응하는 카드(2930)는 가장 하단에 표시될 수 있다.

이러한 상태에서, 도 29의 (b)에서 보이고 있는 바와 같이, 탑승자가 터치 또는 음성 등의 입력을 통해 어느 하나의 리플레이 카드(2910)를 선택할 수 있다. 그러면 경로 안내 장치(1300)는 현재 선택된 리플레이 카드(2910)에 대응하는 POI 객체의 정보를 디스플레이부(251) 상에 표시할 수 있다.

이 경우 경로 안내 장치(1300)는, 도 29의 (c)에서 보이고 있는 바와 같이, 디스플레이부(251) 영역을 분할하거나 또는 PIP 방식에 따라 상기 디스플레이부(251) 상의 일 영역에 오버랩하여, 상기 POI 객체의 정보를 포함하는 제2 MR 뷰 이미지를 표시할 수 있다. 이 경우 상기 POI 객체의 정보는, POI에 대응하는 서비스 또는 업체의 명칭, POI 객체 및, 상기 POI 객체가 노출된 주행 경로 상의 일 위치가 캡쳐된 이미지를 포함할 수 있다. 그리고 경로 안내 장치(1300)는 상기 제2 MR 뷰 이미지를 통해 표시되는 POI 객체의 정보에 대한 탑승자의 선택에 근거하여, POI 객체에 대응하는 주소로 새로운 목적지를 설정하거나, 탑승자에게 네트워크 연결을 통한 서비스 예약 등의 POI 기능을 제공할 수 있다.

본 발명에 따른 경로 안내 장치 및 경로 안내 시스템의 효과에 대해 설명하면 다음과 같다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.

컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

클라우드 서버와 통신하는 통신부;

차량에 구비된 적어도 하나의 센서로부터, 상기 차량이 주행하는 도로 이미지를 포함하는 차량 주변 환경의 이미지와, 상기 차량의 주행 상태를 센싱한 센싱 정보를 수신하는 인터페이스부;

상기 센싱 정보 및 상기 클라우드 서버로부터 수신되는 POI 정보 중 적어도 하나를 이용하여 AR 정보를 렌더링하는 AR 모듈;

상기 센싱 정보 및 상기 클라우드 서버로부터 수신되는 지도 정보를 기초로 적어도 하나의 가상객체를 포함하는 MR 정보를 렌더링하는 MR 모듈; 및

상기 AR 정보를 포함하는 AR 뷰 이미지 또는 상기 MR 정보를 포함하는 MR 뷰 이미지가 상기 차량의 디스플레이부에 표시되도록 상기 인터페이스부를 제어하고,

상기 차량이 특정 상황에 진입하는지 여부에 근거하여, 상기 AR 뷰 이미지와 MR 뷰 이미지 중 제1 뷰 이미지가 표시되는 상기 디스플레이부 영역의 일부에 제2 뷰 이미지가 표시되도록 상기 인터페이스부를 제어하는 프로세서를 포함하는 것을 특징으로 하는 경로 안내 장치.
제1항에 있어서, 상기 프로세서는,

상기 차량의 주행 상태, 상기 차량이 주행하는 도로의 상태, 상기 차량 주변의 기상 상태 및, 상기 차량의 주행이 이루어지는 시간 중 적어도 하나에 따라 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 하는 경로 안내 장치.
제2항에 있어서,

상기 차량의 주행 상태는,

상기 차량이 정차 중인지 또는 상기 차량이 주행 중인지 여부를 포함하며,

상기 주행 도로의 상태는,

도로의 곡률 변화량 및 도로의 경사도 변화량을 포함하는 것을 특징으로 하는 경로 안내 장치.
제3항에 있어서, 상기 프로세서는,

상기 차량의 기울어짐을 감지하는 자이로 센서의 감지값과, 상기 차량이 주행하는 도로의 차선을 검출하는 차선 인식기의 검출 결과에 따라 상기 도로의 곡률 변화량을 산출하며,

상기 차량이 현재 주행하는 도로에 대한 지도 정보에 근거하여 검출되는 고도 특성(vertical profile) 및 고정밀 지도(High Definition MAP, HD MAP)를 통해 검출되는 도로 형상에 따라 산출 및,

산출된 곡률 변화량과 경사도 변화량에 근거하여 상기 차량의 카메라를 통해 획득된 차량 전방의 실제 이미지와 그 실제 이미지 상에 표시되는 AR 객체 간의 오차율(AR fitting rate)에 근거하여 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 하는 경로 안내 장치.
제1항에 있어서, 상기 프로세서는,

상기 센싱 정보에 근거하여, 주행 경로 상의 상기 차량 위치를 판별하고,

상기 차량이 주행 가능한 경로를 벗어난 경우, 또는 경로 상의 분기점이거나 출구 또는 목적지로부터 일정 거리 이내로 상기 차량이 인접하였는지 여부를 판별하여 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 하는 경로 안내 장치.
제1항에 있어서, 상기 프로세서는,

상기 센싱 정보에 근거하여, 상기 차량 주변에 위치한 위험 영역 또는 상기 차량 주변으로부터 검출되는 충돌 가능성을 경고하기 위한 경고 정보를 표시하도록 상기 인터페이스부를 제어하고,

상기 표시되는 경고 정보가, 상기 차량의 전방에서 노출되는지 여부에 따라 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 하는 경로 안내 장치.
제1항에 있어서, 상기 프로세서는,

상기 센싱 정보에 근거하여, 상기 차량 주변으로부터 검출되는 객체들을 판별하고, 판별된 객체들의 개수 및 크기 중 적어도 하나에 근거하여 상기 특정 상황에 상기 차량이 진입하였는지 여부를 결정하는 것을 특징으로 하는 경로 안내 장치.
제1항에 있어서, 상기 프로세서는,

상기 차량이 상기 특정 상황에 진입하는 경우, 상기 디스플레이부가 제1 디스플레이 영역과 제2 디스플레이 영역으로 분할되도록 상기 인터페이스부를 제어하고,

상기 제1 디스플레이 영역과 상기 제2 디스플레이 영역에 각각 제1 뷰 이미지와 제2 뷰 이미지가 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 안내 장치.
제8항에 있어서,

상기 제1 디스플레이 영역은,

상기 차량으로부터의 거리가 기 설정된 거리 이내인 영역의 이미지가 표시되는 디스플레이 영역이며,

상기 제2 디스플레이 영역은,

상기 차량으로부터의 거리가 상기 기 설정된 거리를 초과하는 영역의 이미지가 표시되는 디스플레이 영역임을 특징으로 하는 경로 안내 장치.
제9항에 있어서, 상기 프로세서는,

상기 제1 디스플레이 영역과 상기 제2 디스플레이 영역에, 상기 AR 뷰 이미지와 상기 MR 뷰 이미지를 각각 표시하도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 안내 장치.
제8항에 있어서, 상기 프로세서는,

상기 차량이 상기 특정 상황에 진입하면, 상기 제1 뷰 이미지의 카메라 캘리브레이션(calibration)에 따라 제2 뷰 이미지의 카메라 캘리브레이션을 변경하여 상기 제1 뷰 이미지의 주시점과 동일한 주시점을 가지는 제2 뷰 이미지를 생성하는 것을 특징으로 하는 경로 안내 장치.
제11항에 있어서,

상기 제2 뷰 이미지는,

상기 제1 뷰 이미지의 FOV(Field Of Viiew)에 근거하여, 상기 제1 뷰 이미지의 크기 및 비율이 동일한 이미지임을 특징으로 하는 경로 안내 장치.
제11항에 있어서, 상기 제1 뷰 이미지와 상기 제2 뷰 이미지는,

어느 하나의 뷰 이미지와 다른 하나의 뷰 이미지 사이에서 객체의 이동이 가능하도록, 뷰 이미지의 경계면을 통해 서로 간에 연결되는 것을 특징으로 하는 경로 안내 장치.
제1항에 있어서, 상기 프로세서는,

상기 제1 뷰 이미지가 표시되는 디스플레이 영역의 적어도 일부에, 상기 제2 뷰 이미지가 오버랩되도록 상기 인터페이스부를 제어하며,

상기 제2 뷰 이미지가 오버랩된 상기 디스플레이 영역에, 상기 제1 뷰 이미지에 포함되는 객체들이 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 경로 안내 장치.
제8항에 있어서,

상기 제1 디스플레이 영역은,

상기 차량이 현재 주행하고 있는 주행 경로에 대한 경로 정보를 제공하는 제1 뷰 이미지가 표시되는 영역이고,

상기 제2 디스플레이 영역은,

상기 차량이 아직 주행하지 않은 주행 경로 또는 상기 차량이 이미 주행한 경로에 대한 경로 정보를 제공하는 제2 뷰 이미지가 표시되는 영역임을 특징으로 하는 경로 안내 장치.
차량에 탑재되며, 수신되는 POI(Point Of Interest) 정보를 기초로 렌더링되는 AR 정보를 포함하는 AR 뷰 이미지 또는 3차원 지도 정보를 기초로 렌더링되는 MR 정보를 포함하는 MR 뷰 이미지를 상기 차량의 디스플레이부 상에 표시하는 경로 안내 장치; 및,

상기 경로 안내 장치의 요청에 따라, 상기 차량의 현재, 과거 또는 예상되는 미래의 위치에 대응하는 POI 정보 또는 3차원 지도 정보를 상기 경로 안내 장치에 제공하는 클라우드 서버를 포함하며,

상기 경로 안내 장치는,

상기 차량이 특정 상황에 진입하는지 여부에 근거하여, 상기 AR 뷰 이미지와 MR 뷰 이미지 중 제1 뷰 이미지가 표시되는 상기 디스플레이부 영역의 일부에 제2 뷰 이미지가 표시되도록 상기 디스플레이부를 제어하는 프로세서를 포함하는 것을 특징으로 하는 경로 안내 시스템.
제16항에 있어서, 상기 클라우드 서버는,

지도 영역에 포함되는 각 건물에 대응하는 가상 객체들을 포함하는 디지털 트윈(Digital Twin)된 3차원 지도 정보를 포함하는 DTaaS(Digital Twin as a Service) 서버;

상기 경로 안내 장치와 통신 연결을 수행하며, 상기 경로 안내 장치로부터 수집되는 상기 차량의 위치 정보를 상기 DTaaS 서버에 제공 및, 상기 DTaaS 서버로부터 제공되는 디지털 트윈된 3차원 지도 정보를 상기 경로 안내 제공 장치에 제공하는 MR (Mixed Reality) 서버; 및,

상기 경로 안내 장치로부터 제공되는 차량의 위치 정보 및 상기 센싱 정보를 수신하고, 수신된 정보에 대응하는 POI 정보를 상기 경로 안내 장치에 제공하는 AR(Augmented Reality) 서버;를 포함하는 것을 특징으로 하는 경로 안내 시스템.
제16항에 있어서, 상기 경로 안내 장치는,

상기 제1 뷰 이미지의 일부에 표시되는 상기 제2 뷰 이미지를 통해, 상기 제1 뷰 이미지에 포함된 제1 경로 안내 정보와 상기 제2 뷰 이미지에 포함된 제2 경로 안내 정보가 함께 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 경로 안내 시스템.