KR102611337B1 - 차량의 ar 디스플레이 장치 및 그것의 동작방법 - Google Patents

Abstract

차량과 연동된 AR 디스플레이 장치 및 그것의 동작방법이 개시된다. 본 발명에 따른 AR 디스플레이 장치는, ADAS 센싱 데이터, 맵 데이터, 차량 데이터 등에 기초하여 주행 차선과 관련된 알림 이벤트 발생을 인지할 수 있고, 이에 근거하여 차량의 현재 주행 상태를 나타내는 제1 AR 오브젝트로부터 분리된 제2 AR 오브젝트를 이용하여 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시할 수 있다.

Description

차량의 AR 디스플레이 장치 및 그것의 동작방법

본 발명은 차량과 연동된 AR 디스플레이 장치 및 그것의 동작방법에 관한 것으로, 보다 구체적으로는, 차량의 주행 동안 AR 기술을 통해 차량의 주행 차선 변경과 관련된 가이드 안내를 제공할 수 있는 AR 디스플레이 장치 및 그것의 동작방법에 관한 것이다.

차량을 이용하는 사용자의 안전 및 편의를 위해, 차량에는 각종 센서와 장치가 구비되고 있으며, 차량의 기능이 다양화 되고 있다. 이러한 차량의 기능은 운전자의 편의를 도모하기 위한 편의 기능, 그리고 운전자 및/또는 보행자의 안전을 도모하기 위한 안전 기능으로 나뉠 수 있다.

차량의 편의 기능은 차량에 인포테인먼트(information + entertainment) 기능을 부여하고, 부분적인 자율 주행 기능을 지원하거나, 야간 시야나 사각 대와 같은 운전자의 시야 확보를 돕는 등의 운전자 편의와 관련된 개발 동기를 가진다. 예를 들어, 적응 순향 제어(active cruise control, ACC), 스마트주자시스템(smart0020parking assist system, SPAS), 나이트비전(night vision, NV), 헤드 업 디스플레이(head up display, HUD), 어라운드 뷰 모니터(around view monitor, AVM), 적응형 상향등 제어(adaptive headlight system, AHS) 기능 등이 있다.

또한, 차량의 안전 기능은 운전자의 안전 및/또는 보행자의 안전을 확보하는 기술로, 차선 이탈 경고 시스템(lane departure warning system, LDWS), 차선 유지 보조 시스템(lane keeping assist system, LKAS), 자동 긴급 제동(autonomous emergency braking, AEB) 기능 등이 있다.

최근에는, 차량의 윈드쉴드, HUD(Head Up Display)를 통해 그래픽 객체를 출력하거나, 카메라로 촬영되는 영상에 그래픽 객체를 출력하여 실제 세계에 그래픽 객체를 추가로 출력시키는 증강현실(Augmented Reality, AR)에 대한 기술개발이 활발히 이루어지고 있다. 특히, 이러한 증강현실(AR) 기술을 활용하여, 운전자에게 증강현실(AR) 기술을 통해 경로를 안내하는 기술들의 개발이 보다 확대되고 있다.

한편, 기존에는 AR 주행 모드에 따라 이러한 증강현실(AR) 기술을 경로 안내에 적용하더라도, 기존 주행 안내 표시를 AR 형태로 표시하는데 불과하였다. 예를 들어, 기존의 AR 주행 모드는 고정된 특정 위치에 주행방향 변경 안내를 AR 이미지로 표시하는데 불과하였다.

그에 따라, AR 주행 모드의 다른 AR 피처(feature)와 표시 구별이 어려워 직관적인 경로 안내를 제공받는데 한계가 있었다. 또, 운전에 미숙한 운전자의 경우, 안내대로 정확하게 주행하는데 한계가 있었다.

나아가, 차량의 주행 차선 변경과 관련하여, 기존에도 ADAS 를 통한 차선이탈 경고 알람이나 후측방 경보장치(BSD)를 통한 알람을 제공하였다. 그러나, 이는 오히려 잦은 알람 또는 오알람을 발생시켜 운전에 오히려 방해를 주는 경우가 많다. 또한, 운전에 미숙한 운전자는 경고 알람을 제공받는 것만으로는 차선 변경 주행 또는 충돌방지 주행을 하는데 큰 도움을 받지 못했었다.

이에, 좀더 직관적이고 완성도 높은 AR 주행 모드를 수행하기 위한 연구가 필요하다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.

본 발명의 일부 실시 예에 따르면, 보다 직관적이고 완성도 높은 AR 주행 모드를 수행할 수 있는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.

또한, 본 발명의 일부 실시 예에 따르면, 차량의 주행 차선 변경시 충돌가능성을 예측하여 직관적인 차선 변경 경로를 AR 형태로 안내해줄 수 있는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.

또한, 본 발명의 일부 실시 예에 따르면, 차량이 주행 차선을 이탈하지 않도록 직관적인 AR 인터페이스로 알림을 제공하는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.

또한, 본 발명의 일부 실시 예에 따르면, 차량이 안전하게 앞차를 추월할 수 있도록 AR 가이드 경로를 제공할 수 있는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.

또한, 본 발명의 일부 실시 예에 따르면, 차량이 전방의 충돌가능한 오브젝트와 충돌하지 않도록 보다 직관적인 형태의 AR 알림을 제공할 수 있는 AR 디스플레이 장치 및 그것의 동작방법을 제공하는 것을 목적으로 한다.

이를 위해, 본 발명에 따른 차량의 AR 디스플레이 장치는, AR 그래픽 인터페이스를 가변하여 차량의 주행 차선과 관련된 가이드를 표시할 수 있다. 이를 위해, 차량의 센싱 데이터, 맵 데이터, ADAS 센싱 데이터 등에 기초하여 주행 차선과 관련된 이벤트 발생, 예를 들어 차선 변경, 차선 치우침 및 이탈 예측, 앞차 추월 등을 인지할 수 있다.

구체적으로, 본 개시에 따른 AR 디스플레이 장치는, 차량의 전방 영상을 획득하는 카메라; 차량의 맵 데이터 및 센싱 데이터를 수신하는 통신 모듈; 기설정된 애플리케이션을 구동하여, 상기 맵 데이터에 기반하여 차량의 주행 상태를 표시하는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트가 결합된 AR 그래픽 인터페이스가 차량의 전방 영상에 중첩되도록 렌더링하는 프로세서; 및 상기 렌더링에 따라, 상기 AR 그래픽 인터페이스가 중첩된 전방 영상이 포함된 내비게이션 화면을 표시하는 디스플레이를 포함할 수 있다. 또한, 상기 프로세서는, 상기 센싱 데이터와 차량의 현재 위치에 기초하여 인식된 주행 차선과 관련된 알림 이벤트에 근거하여, 상기 제2 AR 오브젝트를 분리하여 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시하도록 상기 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.

실시 예에 따라, 상기 주행 차선과 관련된 알림 이벤트는, 주행 차선의 변경, 주행 차선의 이탈 추정, 전방 오브젝트의 추월, 및 현재 주행 차선 또는 변경할 주행 차선 내 충돌가능한 오브젝트의 검출 중 어느 하나일 수 있다.

실시 예에 따라, 상기 주행 차선과 관련된 알림 이벤트를 인지하기 위한 센싱 데이터는, 차량의 ADAS 센싱 데이터와 CAN 데이터, GPS 정보, 내비게이션 정보 중 하나 이상의 조합을 포함할 수 있다.

실시 예에 따라, 상기 프로세서는, 상기 센싱 데이터에 기초하여 상기 알림 이벤트로 차량의 주행 차선 변경이 결정된 것에 근거하여, 상기 제1 AR 오브젝트는 차량의 현재 주행 차선에 표시하고, 상기 제2 AR 오브젝트는 분리되어 변경할 주행 차선을 향하는 복수의 궤적을 포함하도록 상기 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, 상기 센싱 데이터 및 맵 데이터에 기초하여 차량에 접근하는 오브젝트를 검출하고, 상기 복수의 궤적 중 일부를 분리하여 상기 검출된 오브젝트의 위치를 표시하도록 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, 변경할 주행 차선에 충돌가능성 있는 오브젝트가 검출된 것에 근거하여, 상기 복수의 궤적이 차선 변경 불가를 나타내도록 표시 변경하고, 표시 변경된 궤적 중 일부는 상기 검출된 오브젝트의 위치를 나타내도록 표시 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, 상기 차선 변경 불가를 나타내는 복수의 궤적이 차량의 현재 주행 차선 또는 변경이 불가한 주행 차선 중 어느 하나에만 위치하도록 렌더링 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, 상기 주행 차선과 관련된 알림 이벤트로 주행 차선의 이탈이 추정된 것에 근거하여, 상기 제1 AR 오브젝트는 현재 주행 차선에서 차량 주행 자세를 나타내고, 분리된 제2 AR 오브젝트는 차선유지를 위해 차량 자세의 변경을 유도하는 제1 가이드 및 주행 차선의 이탈을 경고하는 제2가이드 중 적어도 하나를 표시하도록, 상기 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, 차량의 주행 속도에 근거하여 주행 차선의 이탈을 경고하는 시점을 결정하고, 상기 결정된 시점에서 이탈 추정 방향에 대응되는 위치에 상기 제2 가이드를 표시하도록 상기 제2 AR 오브젝트를 표시 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, 주행 차선 내 치우침이 임계범위를 초과하는 것으로 결정된 것에 근거하여 상기 제1 AR 오브젝트가 나타내는 차량 주행 자세의 표시를 업데이트하고, 상기 제1 가이드가 주행 차선의 중앙에 위치하도록 상기 제2 AR 오브젝트를 표시 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, 주행 차선과 관련된 알림 이벤트로 추월 주행이 인지된 것에 근거하여, 분리된 제2 AR 오브젝트를 통해 회피 경로 및 타겟 오브젝트의 추월 지점을 나타내는 가이드 궤적을 표시하도록 렌더링 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, 차량이 상기 회피 경로를 주행하는 동안, 차량의 차선 변경이 완료된 것에 근거하여 상기 분리된 제2 AR 오브젝트를 상기 제1 AR 오브젝트와 결합된 형태로 표시하고, 차량의 현재 위치가 상기 타겟 오브젝트의 추월 지점에 근접한 것에 근거하여 상기 제2 AR 오브젝트를 상기 제1 AR 오브젝트로부터 분리하여, 복귀할 차선의 위치를 나타내는 가이드 궤적을 표시할 수 있다.

실시 예에 따라, 상기 프로세서는, 상기 추월 주행시, 상기 분리된 제2 AR 오브젝트는 차량의 추월 주행이 완료될 때까지 분리된 상태를 유지하며 차량이 주행해야할 가이드 궤적을 표시하도록 렌더링 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, 차량의 현재 위치와 주행 상태에 근거하여, 상기 주행해야할 가이드 궤적 사이에 상기 타겟 오브젝트의 추월 지점에 대응되는 차선의 크로싱 포인트와 해당 크로싱 포인트를 통과하기 위한 주행 속도 정보를 포함하도록 표시 업데이트할 수 있다.

실시 예에 따라, 상기 프로세서는, ADAS 센싱 데이터에 기초하여 상기 주행 차선과 관련된 알림 이벤트로 충돌가능한 전방오브젝트가 검출된 것에 근거하여, 차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 회피 주행 차선을 결정하고, 분리된 제2 AR 오브젝트가 상기 결정에 띠리 차량이 주행할 가이드 궤적을 표시하도록 렌더링할 수 있다.

실시 예에 따라, 상기 프로세서는, ADAS 센싱 데이터에 기초하여 충돌가능한 전방오브젝트가 검출된 것에 근거하여, 차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 상기 검출된 전방 오브젝트의 상대 위치를 산출하고, 산출된 상대 위치에 따라 가변된 알람 오브젝트가 상기 전방 영상에 중첩되도록 렌더링할 수 있다.

본 발명에 따른 차량의 AR 디스플레이 장치 및 그것의 동작방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 별도의 설정 없이도 캘리브레이션되는 전방 영상에 차량의 현재 위치와 예측 주행 상황에 대한 가이드를 AR 오브젝트로 동시 안내함으로써, 차량에게 보다 직관적이고 현실감 있는 AR 가이드 안내를 제공할 수 있다.

또한, 본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 차량의 주행 차선 변경시 충돌가능성을 예측하여, 단순 경고 알림이 아닌 차선 변경 가능 여부를 운전자에게 알려줄 수 있다. 또한, 분리된 AR 오브젝트를 통해, 차선 변경 불가시에는 차선 변경 금지를 표시하고 차선 변경 가능시에는 직관적인 변경 가이드 경로를 제공함으로써, 안전 운전 및 차선 변경 주행에 크게 도움을 준다.

또한, 본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 잦은 경고 알람으로 인한 운전 방해 없이, 직관적인 AR 인터페이스를 통해 주행 차선 이탈을 방지할 수 있다. 또한, 앞차 추월시, 차량이 앞차를 안전하게 추월할 수 있는 상황인지를 판단하고, 안전하게 추월할 수 있는 경로, 주행속도를 제공하여, 안전하고 편리한 주행을 돕는다.

나아가, 본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 전방/측후방의 충돌가능한 오브젝트의 검출을 사운드가 아닌 직관적인 AR 오브젝트로 표시하여, 운전을 방해하지 않으면서 안전 운전을 돕는다.

도 1은 본 발명의 실시예와 관련된 차량의 예시를 도시한 도면이다.
도 2는 본 발명의 실시예와 관련된 차량을 다양한 각도에서 본 도면이다.
도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.
도 5 및 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예와 관련된 차량과 AR 디스플레이 장치를 설명하는데 참조되는 블럭도이다.
도 8은 본 발명의 실시예에 관련된 AR 디스플레이 장치의 프로세서와 관련된 상세 블럭도이다.
도 9는 본 발명의 실시예에 따른 내비게이션 화면을 설명하는데 참조되는 도면이며, 도 10은 도 9의 내비게이션 화면을 생성하는 동작을 설명하는데 참조되는 도면이다.
도 11은 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 내비게이션 화면이 표시하는 방법을 설명하는데 참조되는 흐름도이다.
도 12a 및 도 12b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스의 예시로서, 제1 및 제2 AR 오브젝트로 분리 및 결합되는 것을 설명하는데 참조되는 도면이다.
도 13a, 도 13b, 도 13c는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 차선 병경과 관련된 UX를 제공하는 방법을 설명하는데 참조되는 개념도들이고, 도 14는 이에 대한 흐름도이다.
도 15a, 도 15b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 차선 유지와 관련된 UX를 제공하는 방법을 설명하는데 참조되는 개념도들이고, 도 16은 이에 대한 흐름도이다.
도 17a, 도 17b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 앞차 추월과 관련된 가이드 UX를 제공하는 방법을 설명하는데 참조되는 개념도이다
도 18은 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 AES(Automatic Emergency Steering) 대응과 관련된 가이드 UX를 제공하는 방법을 설명하는데 참조되는 개념도이다.
도 19는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용하여 전방 충돌가능 경고와 관련된 UX 를 제공하는 방법을 설명하는데 참조되는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.

본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.

이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.

본 명세서에 개시된 "시스템"은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.

본 명세서에 개시된 "맵 정보" 또는 "맵 데이터"는 카메라 등의 비전센서를 통해 촬영된 영상, 2차원 지도정보, 3차원지도정보, 디지털 트윈(Digital Twin) 3차원 맵, 고정밀 지도(HD map), 및 실제/가상 공간상의 지도 등의 지도 정보, 지도 데이터, 지도 관련 애플리케이션을 포함하는 의미로 지칭될 수 있다.

본 명세서에 개시된 "POI(Point of Interest, POI) 정보"는 상기 맵 정보 또는 맵 데이터를 기초로 선택된 관심지점으로, 기등록된 POI 정보(클라우드 서버의 맵 지도에 저장된 POI), 사용자 설정 POI 정보(예, 우리집, 학교, 회사 등), 주행 관련 POI 정보(예, 목적지, 경유지, 주유소, 휴게소, 주차장 등), 및 상위 검색 POI 정보(예, 최근 클릿/방문수가 많은 POI, 핫 플레이스 등)를 포함할 수 있다. 이러한 POI 정보는, 차량의 현재 위치를 기준으로 실시간 업데이트될 수 있다.

본 명세서에 개시된 "전방 영상"은 차량 또는 차량 주변의 비전센서, 또는 AR 디스플레이 장치의 AR 카메라를 통해 획득된 것으로, 예를 들어 차량의 주행 동안 비전센서(카메라, 영상용 레이저센서 등)를 통해 획득되거나 투사되는 영상, 차량의 윈드쉴드에 투사되는 현실의 이미지 자체/가상공간의 영상을 포함할 수 있다. 즉, 상기 전방 영상은 디스플레이를 통해 출력되는 영상, 레이저 센서 등을 통해 투사되는 영상, 또는 차량의 윈드쉴드를 통해 보여지는 현실의 이미지 자체를 모두 포함하는 의미로 지칭될 수 있다.

도 1 및 도 2는 본 발명의 실시 예와 관련된 차량의 외관이고, 도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.

도 5 내지 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 도시한 도면이다.

도 7은 본 발명의 실시예와 관련된 차량을 설명하는데 참조되는 블럭도이다. 도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.

도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.

차량(100)은 자율 주행 차량일 수 있다. 차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.

차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다. 예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.

차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.

차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다. 예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.

차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.

전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.

도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 차량 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.

실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.

사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.

입력부(210)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(210)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.

입력부(210)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(210)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.

입력부(210)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.

음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.

제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.

제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.

제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.

터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.

터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.

기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.

내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.

생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.

출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.

디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.

디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.

디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.

한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.

디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.

음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.

햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.

프로세서(이하, '제어부'로 명명될 수 있음)(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.

사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.

한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다. 사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.

오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다. 오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다. 도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.

차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.

타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.

보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.

이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.

교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.

빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.

도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.

구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.

지형물은, 산, 언덕, 등을 포함할 수 있다.

한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.

오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.

실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.

예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.

예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.

예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.

카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.

레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.

레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.

라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.

구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.

비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.

라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)는, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.

프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.

프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.

오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.

오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.

통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.

통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.

통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.

실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.

위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.

V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.

광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.

실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.

방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.

프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.

실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.

통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.

한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.

통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.

운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.

메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.

운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.

조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.

가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.

운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.

차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.

차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.

실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.

파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.

파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.

동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.

예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.

예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.

변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다. 변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.

한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.

샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다. 샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.

조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.

브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.

한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.

서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다. 한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.

도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.

도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.

도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.

윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.

안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.

안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.

에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.

시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.

보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.

램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.

공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.

차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.

차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.

운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.

운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.

실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.

한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.

한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.

주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.

주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.

출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.

주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.

내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.

실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.

실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.

센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.

센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.

센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.

차량 인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 차량 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 차량 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.

한편, 차량 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 차량 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.

메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.

실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.

제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.

전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.

차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

한편, 본 발명에 따른 AR 디스플레이 장치(800)는 차량(100)의 내비게이션 정보와 AR 카메라로부터 수신된 데이터에 기초하여, 차량의 전방 영상(또는, 차량의 윈드쉴드)에, 차량의 주행 상태를 나타내는 AR 그래픽 인터페이스를 실시간으로 AR 정합하여 표시할 수 있다.

이를 위해, AR 디스플레이 장치(800)는 다른 장치/시스템, 서버, 및 차량과 통신하기 위한 통신모듈(810), AR 디스플레이 장치(800)의 전반적인 동작을 제어하는 프로세서(820), 및 AR 그래픽 인터페이스가 렌더링된 전방 영상을 포함하는 내비게이션 화면을 디스플레이하기 위한 디스플레이(830)를 포함할 수 있다.

본 명세서에 개시된, '전방 영상' 은, 카메라 센서(또는, 이러한 기능을 포함하는 스마트 글래스를 포함함)를 통해 촬영된 영상뿐만 아니라, 카메라 센서를 통해 LCD 화면에 반사되는 영상 및 윈드쉴드/대시보드에 보여지는 실제공간의 이미지 및/또는 디지털 트윈된 3차원 이미지 등을 모두 포함할 수 있다.

본 명세서에 개시된, '전방 영상(또는, 주행 영상)이 포함된 내비게이션 화면' 은 현재 위치와 내비게이션 정보에 기초하여 생성된 내비게이션 화면에, 차량의 카메라를 통해 촬영된 전방 영상, LCD 화면에 반사된 영상, 윈드쉴드 등을 통해 보여지는 실제공간의 이미지 및/또는 디지털 트윈된 3차원 이미지 중 하나의 형태로 구현된 전방 영상이 내비게이션 화면에 레이어된 것을 의미할 수 있다.

내비게이션 화면은, AR 기술이 적용된 AR 내비게이션 화면일 수 있다.

본 명세서에 개시된 'AR 그래픽 인터페이스'는 증강 현실(AR) 기술이 적용된 그래픽 유저 인터페이스로서, 차량의 전방 영상에 실시간으로 AR 정합된다.

본 명세서에서 AR 그래픽 인터페이스는, 차량의 현재 주행 상태를 나타내는 AR 그래픽 이미지일 수 있다. 또한, 본 명세서에 개시된 AR 그래픽 인터페이스는, 차량의 현재 주행 상태와 동시에 차량의 주행 상황에 대한 가이드를 더 나타내는 AR 그래픽 이미지일 수 있다. 이때, 차량의 주행 상황에 대한 가이드는, 해당 주행 상황 보다 일정거리 및/또는 일정시간 앞서서 차량 전방 영상에 표시된다. 또한, 본 명세서에 개시된 AR 그래픽 인터페이스는, 차량의 현재 주행 상태 및/또는 차량의 주행 상황에 따라 움직이거나 이동하는 AR 그래픽 이미지로 구현될 수 있다.

도 7을 참조하면, 본 발명의 실시 예에 따른 AR 디스플레이 장치(800)는, 차량(100)의 전장품 또는 시스템의 일부로 구현되거나, 또는 별도의 독립항 장치 또는 시스템으로 구현될 수 있다. 또는, 상기 AR 디스플레이 장치(800)는 차량(100)의 사용자 단말 등의 프로세서에 의해 동작하는 명령어로 이루어진 프로그램 형태로 구현될 수도 있다.

AR 디스플레이 장치(800)는 차량(100), 다른 장치, 및/또는 서버와 통신하여 AR 카메라를 통해 획득되는 차량의 전방 영상 및 차량에 구비된 센서(예, 자이로스코프센서, 가속도센서, 중력센서, 지자기센서, 온도 센서 등)를 통해 획득된 센싱 데이터를 수신할 수 있다.

AR 디스플레이 장치(800)는 기설정된 애플리케이션, 예를 들어 (AR) 내비게이션 애플리케이션을 구동할 수 있다.

AR 디스플레이 장치(800)는 맵 데이터(예, 루트, POI 등의 정보), 센싱 데이터, 카메라에 의해 획득된 전방 영상에 기초하여, 차량의 현재 주행 상태를 나타내는 AR 그래픽 인터페이스를 렌더러하여, 내비게이션 애플리케이션의 AR GUI 서피스 및 AR 카메라 서피스에 실시간으로 제공할 수 있다.

AR 디스플레이 장치(800)는 맵 데이터(예, 루트, POI 등의 정보), 센싱 데이터, 카메라에 의해 획득된 전방 영상에 기초하여, 상기 AR 그래픽 인터페이스로부터 분리된 AR 오브젝트가 차량의 주행 상황에 대한 가이드를 나타내도록 렌더러하여, 내비게이션 애플리케이션의 AR GUI 서피스 및 AR 카메라 서피스에 실시간으로 제공할 수 있다.

이때, 분리된 AR 오브젝트는 '제2 AR 오브젝트'로 명명될 수 있고, 제2 AR 오브젝트가 분리된 후 상기 AR 그래픽 인터페이스의 남은 부분은 '제1 AR 오브젝트'로 명명될 수 있다. 즉, 상기 AR 그래픽 인터페이스는 차량의 현재 주행 상태를 나타내는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트를 포함한다고 말할 수 있다.

이하, 도 8은 전술한 본 발명의 실시예에 관련된 AR 디스플레이 장치(800)의 프로세서(820)와 관련된 상세 블럭도이다.

도 8에 도시된 개념도는 AR 디스플레이 장치(800)의 프로세서(820)에 의해 수행되는 동작과 관련된 구성 및 이를 위해 사용되는 정보, 데이터, 및 프로그램을 포함할 수 있다. 이러한 측면에서 도 8에 도시된 블럭도는 프로세서(820)를 통해 제공되는 서비스 및/또는 프로세서(820)에 의해 실행/구현되는 시스템을 의미하는 것으로 사용될 수도 있다. 이하에서는, 설명의 편의를 위해, 프로세서(820)로 지칭하겠다.

도 9는 본 발명의 실시예에 따른 내비게이션 화면을 설명하는데 참조되는 도면이며, 도 10은 도 9의 내비게이션 화면을 생성하는 동작을 설명하는데 참조되는 도면이다.

도 8을 참조하면, 프로세서(820)는, 내비게이션 엔진(Navigation Engine)(910), AR 엔진(Augmented Reality Engine)(920) 및 내비게이션 애플리케이션(Navigation Application)(930), 및 센서 및 맵(940)을 포함하거나 그리고/또는 이와 연동하여 이들을 구동시킬 수 있다.

내비게이션 엔진(910)은, 차량 등으로부터 맵 데이터 및 GPS 데이터를 수신할 수 있다. 내비게이션 엔진(910)은, 맵 데이터 및 GPS 데이터에 기초하여 맵 매칭을 수행할 수 있다. 내비게이션 엔진(910)은, 맵 매칭에 따라 루트 플레닝(route planning)을 수행할 수 있다. 내비게이션 엔진(910)은, 맵을 디스플레이하고, 루트 가이던스(route guidance)를 수행할 수 있다. 내비게이션 엔진(910)은, 루트 가이던스 정보를 내비게이션 애플리케이션(930)에 제공할 수 있다.

내비게이션 엔진(910)은, 내비게이션 컨트롤러(911)를 포함할 수 있다. 내비게이션 컨트롤러(911)는, 맵 매칭 데이터, 맵 디스플레이 데이터, 루트 가이던스 데이터를 수신할 수 있다.

내비게이션 컨트롤러(911)는, 수신된 맵 매칭 데이터, 맵 디스플레이 데이터, 루트 가이던스 데이터에 기초하여 루트 데이터, POI(point of interest) 데이터 등을 AR 엔진(920)에 제공할 수 있다.

내비게이션 컨트롤러(911)는, 내비게이션 애플리케이션(930)에 루트 가이던스 데이터 및 맵 디스플레이 프레임 등을 제공할 수 있다.

AR 엔진(920)은, 어댑터(adaptor)(921) 및 렌더러(renderer)(922)를 포함할 수 있다. 어댑터(921)는 카메라(예, AR 카메라)로부터 획득된 전방 영상 데이터, 차량의 센서, 예를 들어 자이로스코프 센서(Gyroscope), 가속도 센서(ccelorometer), 중력 센서(Gravity), 지자기센서(Magnetometer), 및/또는 온도센서(Thermometer)로부터 획득된 센싱 데이터를 수신할 수 있다.

AR 엔진(920)은, ADAS 센서(예, 카메라(Camera), 레이다(Radar), 라이다(Lidar), 초음파(Ultrasonic), 소나(Sonar))로부터 획득된 센싱 데이터를 수신할 수 있다. 예를 들어, ADAS 센서를 통해, 주행 방향 및 속도, 차선과의 거리 등의 주행 관련 센싱 데이터를 센싱 데이터로 획득할 수 있다.

AR 엔진(920)은, 고정밀 지도 데이터 및 이와 관련된 프로그램을 수신할 수 있다. 여기서, 고정밀 지도(HD Map)는 자율주행차량에 세밀한 도로와 주변 지형의 정보를 사전에 제공하기 위한 지도로서, 오차범위 약 10cm 이내 수준의 정확도를 가지며 도로 중심선, 경계선 등 차선 단위의 정보는 물론 신호등, 표지판, 연석, 노면마크, 각종 구조물 등의 정보가 3차원 디지털로 담긴다.

AR 엔진(920)은, TCU(Transmission Contro Unit)(예, 써드 파티 서비스, V2X, ITS 통신 등)로부터 획득된 센싱 데이터, 수신 데이터, 제어 데이터, 및 이와 관련된 프로그램을 수신할 수 있다.

센서 및 맵(940)의 TCU(Transmission Contro Unit)는, 차량에 장착된 통신 제어 장치로서, 예를 들어 자율주행차량을 위해 도로에 있는 다양한 요소와 소통하는 통신 기술인 V2X(vehicle to everything)(예, V2V 및 V2I를 통해 수집가능한 상황 데이터), 협력 지능형 교통 체계 기술인 ITS(Intelligent Transport Systems)나 C-ITS(Cooperative Intelligent Transport Systems)와 통신할 수 있게 한다.

AR 엔진(920)은, 캘리브레이션 팩터 데이터 베이스(calibration factor DB)에서 제공되는 데이터에 기초하여, 전방 영상에 대한 캘리브레이션을 수행할 수 있다. AR 엔진(920)은, 전방 영상 데이터 및 루트 데이터에 기초하여, 오브젝트 검출을 수행할 수 있다. AR 엔진(920)은, 검출된 오브젝트를 기초로 예측 및 보간(Prediction & Interpolation)을 수행할 수 있다.

렌더러(922)는, 루트 데이터, POI 데이터 및 예측 및 보간 결과 데이터에 기초하여 렌더링을 수행할 수 있다. 렌더러(922)는, 내비게이션 애플리케이션(930)에 AR GUI(graphical user interface) 프레임 및 AR 카메라 프레임을 제공할 수 있다.

내비게이션 애플리케이션(930)은, AR 내비게이션 화면을 생성할 수 있다.

도 9를 참조하면, AR 내비게이션 화면(900)은, 내비게이션 맵 서피스(navigation map surface)(901), AR 카메라 서피스(902), AR GUI 서피스(903) 및 내비게이션 GUI 서피스(904)를 포함할 수 있다.

내비게이션 애플리케이션(930)은, 내비게이션 컨트롤러(911)에서 제공받은 맵 디스플레이 프레임에 기초하여, 내비게이션 맵 서피스(901)를 생성할 수 있다. 내비게이션 애플리케이션(930)은, 렌더러(922)로부터 제공받은 AR 카메라 프레임에 기초하여 AR 카메라 서피스(902)를 생성할 수 있다. 내비게이션 애플리케이션(930)은, 렌더러(922)로부터 제공받은 AR GUI 프레임에 기초하여 AR GUI 서피스(903)를 생성할 수 있다. 내비게이션 애플리케이션(930)은, 내비게이션 컨트롤러(911)로부터 제공받은 루트 가이던스 데이터에 기초하여, 내비게이션 GUI 서피스(904)를 생성할 수 있다.

도 8 및 도 10을 함께 참조하면, 내비게이션 애플리케이션(930)이 구동되면, 내비게이션 애플리케이션(930)에서 내비게이션 맵 서피스(901), AR 카메라 서피스(902), AR GUI 서피스(903) 및 내비게이션 GUI 서피스(904)를 생성할 수 있다.

내비게이션 애플리케이션(930)은, AR 카메라 서피스(902)의 파라미터와 AR GUI 서피스(903)의 파라미터를 AR 엔진(920)에 제공할 수 있다.

AR 엔진(920)은, 카메라 서버(1001)에서 전방 영상 데이터를 수신하기 위해 콜백(callback) 함수를 등록할 수 있다. 카메라 서버(1001)는, 예를 들어 AR 디스플레이 장치(800)의 메모리에 포함되는 개념으로 이해될 수 있다.

AR 엔진(920)은, 전방 영상 데이터를 수신하여 크로핑(cropping)할 수 있다. 크로핑(cropping)은 영상의 크기 또는 위치 조절, 일부영역이 편집, 투명도 조절 등을 포함할 수 있다. 내비게이션 애플리케이션(930)은, AR 카메라 서피스(902)에 크로핑된 전방 영상을 표시할 수 있다. AR 엔진(920)은, 실시간으로 AR 정합(AR Merging)을 수행할 수 있다. 또, 내비게이션 애플리케이션(930)은, 크로핑된 전방 영상에 기초하여, AR GUI 서피스(903)에 AR GUI를 표시할 수 있다.

도 11은 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 내비게이션 화면이 표시하는 방법(1100)을 설명하는데 참조되는 흐름도이다.

도 11의 각 과정은 다른 언급이 없다면 프로세서(또는, AR 엔진)에 의해 수행될 수 있다. 또한, 도 11의 과정은 위에서 도 8 내지 도 10을 참조하여 설명한 프로세서(820)에 의한 내비게이션 엔진(910), AR 엔진(920), 내비게이션 애플리케이션(930)의 동작들을 포함하여 수행하거나 또는 그 동작들 중 적어도 일부가 도 11의 과정 이전 또는 이후에 수행될 수 있다.

도 11을 참조하면, 기설정된 애플리케이션이 구동되는 것으로 방법이 개시된다(S10).

상기 기설정된 애플리케이션은, AR 디스플레이 장치(800)에 미리 설치되거나 또는 이와 연동된 다른 장치/서버에 의해, 예를 들어 차량의 AR 모드의 실행에 따라 구동될 수 있다. 상기 기설정된 애플리케이션은, 예를 들어 차량의 주행시 AR 모드에서 실행되는 내비게이션 애플리케이션일 수 있다.

내비게이션 애플리케이션은, 예를 들어 내비게이션 엔진으로부터 맵 데이터 및 GPS 데이터에 기반한 루트 가이던스와 맵 디스플레이 프레임을 제공받아, 각각 내비게이션 GUI 렌더링 및 맵 디스플레이 서피스를 생성한다.

또, 내비게이션 애플리케이션은, 예를 들어 AR 엔진으로부터 AR GUI 프레임을 제공받아 AR GUI 서피스를 생성하고, AR 카메라 프레임을 제공받아 AR 카메라 서피스를 생성한다. 내비게이션 애플리케이션은 생성된 맵 디스플레이 서피스, AR 카메라 서피스, 및 AR GUI 서피스를 내비게이션 GUI 서피스에 렌더링한다.

프로세서는, 서버, 메모리, 또는 차량으로부터 획득된 맵(map) 데이터 그리고 차량의 센싱 데이터에 기초하여, 차량의 주행 상태를 표시하는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트를 포함하는 AR 그래픽 인터페이스를 생성하여 차량의 전방 영상에 중첩되도록 렌더링한다(S20).

프로세서는, 실시간 생성되는 AR 그래픽 인터페이스를 차량의 전방 영상에 실시간으로 정합(AR Merging)할 수 있다.

프로세서는, 제1 및 제2 AR 오브젝트가 결합된 상태로 AR 그래픽 인터페이스를 표시(렌더링)한다. 프로세서는, 기설정된 조건을 만족하면 제2 AR 오브젝트가 AR 그래픽 인터페이스로부터 분리된 상태로 AR 그래픽 인터페이스를 표시(렌더링)한다.

여기에서, 상기 기설정된 조건은 차량의 센싱 데이터에 기초하여, 현재 주행 상태로부터 차량의 주행 상황의 변경이 예측되는 경우를 포함할 수 있다. 상기 기설정된 조건은 ADAS 센싱 데이터, 고정밀 지도 데이터, V2X, ITS, C-ITS 등의 TCU 통신 데이터 중 적어도 하나에 기초하여, 현재 주행 상태로부터 차량의 주행 상황의 변경 또는 가이드 필요가 예측되는 상황이 검출된 경우를 포함할 수 있다.

이어서, 프로세서는 AR 그래픽 인터페이스가 중첩된 전방 영상을 내비게이션 화면에 표시한다(S30).

프로세서는, 제1 및 제2 AR 오브젝트가 결합된 상태로 AR 그래픽 인터페이스를 전방 영상에 렌더링할 수 있다. 프로세서는, AR 그래픽 인터페이스에 대응되는 AR GUI 프레임과 AR 카메라 프레임을 내비게이션 애플리케이션에 제공하여, AR GUI 서피스와 AR 카메라 서피스를 각각 생성할 수 있다.

이 후, 생성된 AR GUI 서피스 및 AR 카메라 서피스가 내비게이션 GUI 서피스에 렌더링됨으로써, AR 그래픽 인터페이스가 렌더링된 전방 영상이 내비게이션 화면에 포함된다(표시된다).

한편, 이러한 AR 그래픽 인터페이스는 맵 데이터 및 차량의 센싱 데이터에 기초하여 변경 예측되는 주행 상황에 근거하여, 가변될 수 있다.

이때, 가변되는 AR 그래픽 인터페이스는, 차량의 운전자가 현재 주행 상태의 표시와 변경 예측된 주행 상황에 대한 가이드 표시를 직관할 수 있도록, 복수의 AR 오브젝트가 분리된 형태로 나타내진다.

도 12a 및 도 12b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스의 예시로서, 예측되는 변경 주행 상황에 근거하여 제1 및 제2 AR 오브젝트로 분리 및 결합되는 것을 설명하는데 참조되는 도면이다.

도면을 참조하면, AR 그래픽 인터페이스(1200)는 3D 형태의 특정 형상의 AR 이미지로 구현될 수 있고, 이러한 AR 이미지를 통해 차량의 현재 주행방향, 주행속도, 조향정보 외에도, 도로 정보 등을 나타낼 수 있다.

AR 그래픽 인터페이스(1200)는 제1 오브젝트와 제2 오브젝트가 결합된 형태로 구현될 수 있다.

여기서, 상기 제1 오브젝트는 예를 들어 3D 스페이드(spade)(예, 삽 형태의 이미지) 형태로 구현될 수 있고, 상기 제2 오브젝트는 상기 제1 오브젝트로부터 연장된 3D 셰브런(chevron)(예, A 또는 V 형태의 이미지) 형태로 구현될 수 있다. 다만, 제1 및 제2 오브젝트가 이러한 형상에 제한되는 것을 의미하는 것은 아니다.

AR 그래픽 인터페이스(1200)는 상기 제2 오브젝트의 내측 프레임과 상기 제1 오브젝트의 외측 프레임이 맞닿도록 연장된 형태로 결합될 수 있다. 이때, 상기 제1 및 제2 오브젝트는 시각적으로 구별할 수 있도록, 서로 다른 컬러로 표현될 수 있다.

AR 그래픽 인터페이스(1200)는 차량의 현재 주행 상태를 나타내기 위해 상기 제1 및 제2 오브젝트가 결합된 상태에서 동일 또는 서로 다른 뒤틀림 각도로 움직이도록 표현될 수 있다.

생성된 AR 그래픽 인터페이스(1200)는 내비게이션 화면에 포함된 차량 전방 영상에 중첩되도록 표시된다. 구체적으로, 프로세서(820)는 맵 데이터 및 차량의 센싱 데이터 차량의 현재 주행 상태를 나타내는 AR 그래픽 인터페이스(1200)를 생성하여, 루트 및 POI 정보 등을 기초로 렌더러하고, 이를 내비게이션 애플리케이션(930)에 제공하여, 내비게이션 화면에 포함된 차량 전방 영상에 AR 그래픽 인터페이스(1200)가 오버랩 형태로 표시되게 한다.

도 12b를 참조하면, 프로세서(820)는 맵 데이터 및 차량의 센싱 데이터에 기초하여 예측되는 변경 주행 상황에 근거하여, AR 그래픽 인터페이스의 제1 및 제2 AR 오브젝트(1210, 1220)를 분리하고, 분리된 제2 AR 오브젝트(1210)를 통해 변경 주행 상황과 관련된 가이드를 표시하도록 렌더러하여, 내비게이션 애플리케이션(930)의 AR GUI 서피스 및 AR 카메라 서피스를 업데이트할 수 있다.

제1 및 제2 AR 오브젝트(1210, 1220)가 분리되는 조건은, 차량의 센싱 데이터에 기초하여, 차량의 현재 주행 상태로부터 차량의 주행 상황의 변경이 예측되는 경우를 포함할 수 있다.

또는, 상기 제1 및 제2 AR 오브젝트(1210, 1220)가 분리되는 조건은, 차량의 ADAS 센싱 데이터, 고정밀 지도 데이터, V2X, ITS, C-ITS 등의 TCU 통신 데이터 중 적어도 하나에 기초하여, 차량의 현재 주행 상태로부터 차량의 주행 상황의 변경 또는 가이드 필요가 예측되는 상황이 검출된 경우를 포함할 수 있다.

한편, 분리된 제2 AR 오브젝트(1210)는 제1 AR 오브젝트(1220)의 표시 위치로부터 연장되어 표시된다. 제1 AR 오브젝트(1220)는 차량의 현재 주행 상태(예, 차량의 현재 위치 및 주행방향)를 나타내므로, 운전자는 차량이 제2 AR 오브젝트(1210)에 표현된 가이드에 따라 주행해야할 시점과 주행 방향을 직관할 수 있다.

제1 및 제2 AR 오브젝트(1210, 1220) 간의 이격거리는 차량의 주행 상황의 변경 예측 시점 또는 거리에 대응될 수 있다.

또, 비록 자세히 도시되지 않았지만, 분리된 제2 AR 오브젝트(1210)는 복수의 프래그먼트(fragments)로 표현될 수 있다. 상기 복수의 프래그먼트 간에는 일정 간격을 유지할 수 있다.

또, 상기 복수의 프래그먼트의 각 프래그먼트가 나타내는 방향은 예측되는 상황 발생 지점(또는, 상황 종료 지점)을 점진적으로 지향하도록 표현될 수 있다. 예를 들어, 분리된 제2 AR 오브젝트(1210)가 총 5개의 프래그먼트로 표현되는 경우, 5개의 프래그먼트 각각은 서로 다른 비틀림 각도로 동일 위치(예, 예측되는 상황 발생 지점)를 지향할 수 있다.

상기 복수의 프래그먼트는 제1 AR 오브젝트(1220) 보다 일정 거리 앞서서 이동하는 형태로 표현될 수 있다. 즉, 복수의 프래그먼트 특정 지점 또는 시점에 고정적으로 나타나는 형태가 아니라, 차량의 현재 위치 및 주행 상태에 기초하여 이동하면서 예측되는 상황 발생에 따른 주행 가이드를 표현하도록 구현된다.

상기 복수의 프래그먼트의 이동 속도는 차량이 가까이 접근하는 정도(예, 주행속도)에 대응될 수 있다.

또, 상기 복수의 프래그먼트의 개수 및/또는 표시 길이는 예측되는 상황의 유지 시간 또는 유지 거리에 비례할 수 있다. 예를 들어, 상황 유지 시간이 긴 경우가 그렇지 않은 경우보다 더 많은 개수의 프래그먼트를 포함하거나 총 표시 길이가 더 길게 표현될 수 있다.

복수의 프래그먼트 중 제1 AR 오브젝트(1220)로부터 가까운 프래그먼트는 제1 AR 오브젝트(1220)에 표현된 주행 상태와 연관되도록 가이드가 표시된다.

복수의 프래그먼트 중 제1 AR 오브젝트(1220)로부터 먼 프래그먼트는 예측되는 상황과 연관되도록 가이드 표시된다.

즉, 분리된 제2 AR 오브젝트(1210)의 복수의 프래그먼트는 제1 AR 오브젝트(1220)에 대응되는 현재 주행 상태로부터 예측되는 상황을 보다 점진적이고 심리스한 방식으로 가이드 제공한다.

분리된 제2 AR 오브젝트(1210)는 분리되는 조건에 대응되는 상황이 종료되면, 다시 제1 AR 오브젝트(1220)와 결합된 상태로 표시된다. 즉, 다시 도 12a와 같은 AR 그래픽 인터페이스(1200)로 표시될 수 있다.

도 13a, 도 13b, 도 13c는 AR 그래픽 인터페이스를 이용하여 차선 변경과 관련된 UX를 제공하는 방법과 관련된 개념도들이다.

차량의 주행중 또는 차선 변경 시도시 충돌가능성을 감지하기 위한 다양한 ADAS 시스템의 다양한 기능들이 존재한다.

주행 제어 지원 기능으로, 예를 들어 ACC(Adaptive cruise contorl, 적응형 정속주행 시스템), ADA(Active Driving Assistance, 능동형 주행 보조), LKA(Lane Keeping Assistance, 차선 유지 지원) 등이 있다.

또한, 충돌 경고 기능으로, 예를 들어, BSW(Blind Spot Warning, 사각지대 경고), FCW(Forward Collision Warning, 전방 충돌 경고), LDW(Lane Departure Warning, 차선 이탈 경고) 등이 있다.

또한, 충돌 간섭 기능으로, 예를 들어 AEB(Automatic Emergency Braking, 자동 비상 제동), AES(Automatic Emergency Steering, 자동 비상 조향 장치), RAB(Rear Automatic Braking, 후방 자동 제동) 등이 있다.

이러한 기능은 충돌가능성을 회피하여 안전 운전에 도움을 주는 것들이나, 오작동이나 잦은 알람등의 문제가 있고, 충돌가능성의 직관적인 인지 및 대응 주행 동작에 대한 안내로 연결되지 못하는 한계가 있었다.

이에, 본 개시에 따른 AR 디스플레이 장치(800)는 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보) 및 맵 데이터(예, 내비게이션/지도 데이터(lane geometry))와 함께, ADAS 센싱 데이터에 근거하여, 가변된 AR 그래픽 인터페이스를 통해, 충돌가능성의 직관적인 인지 및 대응 주행 동작에 보다 확실한 안내를 제공하도록 구현되었다.

구체적으로, 프로세서(820)는 AR 주행 모드의 실행에 따라 기설정된 애플리케이션(예, 내비게이션 애플리케이션(930))을 구동하고, 맵 데이터(예, 내비게이션/지도 데이터)에 기반하여 차량의 주행 상태를 표시하는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트가 결합된 형태의 AR 그래픽 인터페이스를 차량 전방 영상에 중첩되도록 렌더링한다.

프로세서(820)는, 렌더링에 따른 AR GUI 프레임을 내비게이션 애플리케이션이 제공하고, 내비게이션 애플리케이션은 이를 기초로 AR GUI 서피스를 업데이트함으로서, 가변되는 AR 그래픽 인터페이스를 표시한다.

프로세서(820)는, 차량이 주행하는 동안, 센싱 데이터에 기초하여 검출된 주행 차선과 관련된 알림 이벤트를 인지하고, 인지된 알림 이벤트에 근거하여, 제1 AR 오브젝트로부터 제2 AR 오브젝트를 분리하고, 분리된 제2 AR 오브젝트를 통해 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시하도록, AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.

여기에서, 차량의 주행 차선과 관련된 알림 이벤트는, 주행 차선의 변경, 주행 차선의 이탈 추정, 전방 오브젝트의 추월, 및 현재 주행 차선 또는 변경할 주행 차선 내 충돌가능한 오브젝트의 검출 중 어느 하나일 수 있다.

또한, 차량의 주행 차선과 관련된 알림 이벤트를 인지하기 위한 센싱 데이터는, CAN 데이터, GPS 정보, 내비게이션 정보 중 하나 이상과 ADAS 센싱 데이터가 조합된 것일 수 있다.

프로세서(820)는 차량의 센싱 데이터 및 맵 데이터에 기초하여 차량에 접근하는 오브젝트를 검출하고, 분리된 제2 AR 오브젝트의 복수의 궤적 중 일부를 분리하여 상기 검출된 오브젝트의 위치를 표시하도록 업데이트할 수 있다. 그에 따라, 운전자의 주의를 환기시킬 수 있다.

프로세서(820)는, 변경할 주행 차선에 충돌가능성 있는 오브젝트가 검출된 것에 근거하여, 복수의 궤적이 차선 변경 불가를 나타내도록 표시 변경하고, 표시 변경된 궤적 중 일부는 상기 검출된 오브젝트의 위치를 나타내도록 표시 업데이트할 수 있다.

이때에는, 차선 변경이 불가능하므로, 차선 변경을 안내하는 가이드 궤적이 표시되지 않고, 안전 운전을 위해 차선 변경 불가를 강조하는 표시만 출력한다.

이를 위해, 프로세서(820)는 차선 변경 불가를 나타내는 복수의 궤적이 차량의 현재 주행 차선 또는 변경이 불가한 주행 차선 중 어느 하나에만 위치하도록 렌더링 업데이트할 수 있다.

도 13a는, 변경하려는 차선의 후방에 접근 이동체가 없음이 확인되어, 차량의 차선 변경이 허용되는 경우이다.

도 13a를 참조하면, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 변경하려는 차선(예, 우측 차선)(10R)의 후방에서 차량에 접근하는 이동체(예, 차량, 이륜차, 자전거, 전동킥보드 등)가 없음이 확인한다. 그에 따라, 분리된 제2 AR 오브젝트(1310a)를 통해 차량의 우측 차선 변경을 안내하는 가이드 궤적을 차량 전방 영상(1301)에 표시한다.

분리된 제2 AR 오브젝트(1310a)의 가이드 궤적은, 차량의 현재 주행 상태를 나타내는 제1 AR 오브젝트(1320)로부터 우측 차선(10R)을 향하도록 연결된 가이드 경로를 형성한다. 제1 AR 오브젝트(1320)는 제2 AR 오브젝트(1310a)의 가이드 궤적을 추종하는 차량의 주행 상태에 따라, 위치, 회전량, 컬러(예, 주행속도 증가시) 등이 변경 표시된다.

한편, 비록 도시되지는 않았지만, 변경하려는 차선이 좌측 차선(10L)인 경우에도 전술한 바와 마찬가지로, 좌측 후방에서 접근하는 이동체를 확인한 후, 접근 이동체가 없음이 확인된 경우, 차량의 좌측 차선 변경을 안내하는 가이드 궤적을 차량 전방 영상에 제공할 것이다.

도 13b는, 변경하려는 차선에 접근 이동체가 존재하고, 충돌가능성이 예측되어 차량의 차선 변경이 허용되지 않는 경우이다.

도 13b를 참조하면, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 변경하려는 차선(예, 우측 차선)(10R)의 후방에서 차량에 접근하는 이동체(예, 차량, 이륜차, 자전거, 전동킥보드 등)를 확인한다.

프로세서(820)는 ADAS 센싱 데이터, 차량 데이터(예, CAN 데이터), 내비게이션/지도/GPS 데이터 등의 맵 데이터에 기초하여, 우측 후방의 접근 이동체와의 충돌가능성을 판단할 수 있다.

예를 들어, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 후방에서 접근하는 이동체와 차량간의 거리, 위치, 방향, 속도에 관한 정보를 획득하여 충돌가능성을 판단할 수 있다.

충돌가능성이 예측되어 차선 변경이 불가한 경우, 분리된 제2 AR 오브젝트의 일부(1310b-2)가 접근 이동체의 위치를 표시하는 동안, 나머지 부분(1310b-1)은 차량 전방 영상(1302)에 차량의 차선 변경 불가를 표시한다.

이때, 분리된 제2 AR 오브젝트(1310b-2, 1310b-1) 각각은, 운전자에게 접근 이동체를 주의시키고, 차선 접근 금지 경고를 직관할 수 있도록, 이전과 다른 컬러, 형상, 점등점멸, 하이라이트 표시 등이 출력될 수 있다.

한편, 비록 도시되지는 않았지만, 변경하려는 차선이 좌측 차선(10L)인 경우에도 전술한 바와 마찬가지로, 좌측 후방에서 접근하는 이동체를 확인한 후, 접근 이동체가 있고 충돌가능성이 예측된 경우, 차량의 차선 변경 불가를 경고하는 표시를 차량 전방 영상에 제공할 것이다.

도 13c는, 변경하려는 차선에 접근 이동체가 있지만 차량의 차선 변경이 허용되는 경우이다.

도 13c를 참조하면, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 변경하려는 차선(예, 우측 차선)(10R)의 후방에서 차량에 접근하는 이동체(예, 차량, 이륜차, 자전거, 전동킥보드 등)를 확인한다.

프로세서(820)는 ADAS 센싱 데이터, 차량 데이터(예, CAN 데이터), 내비게이션/지도/GPS 데이터 등의 맵 데이터에 기초하여, 우측 후방의 접근 이동체와의 충돌가능성을 판단할 수 있다. 예를 들어, 프로세서(820)는 ADAS 센싱 데이터에 기초하여, 후방에서 접근하는 이동체와 차량간의 거리, 위치, 방향, 속도에 관한 정보를 획득하여 충돌가능성을 판단할 수 있다.

다만, 접근 이동체와의 충돌가능성이 예측되지 않아 차선 변경이 가능한 경우, 분리된 제2 AR 오브젝트의 일부(1310c-2)가 접근 이동체의 위치를 표시하는 동안, 분리된 제2 AR 오브젝트의 나머지 부분(1310c-1)을 통해 차량의 우측 차선 변경을 안내하는 가이드 궤적이 차량 전방 영상(1303)에 표시된다.

이때, 분리된 제2 AR 오브젝트의 일부(1310c-2)는 운전자가 접근 이동체의 존재를 주의하도록, 경고 알림을 나타내는 컬러(예, 오렌지계열 또는 레드(red) 컬러)로 변경되어 표시될 수 있다.

분리된 제2 AR 오브젝트의 가이드 궤적(1310c-1)은, 차량의 현재 주행 상태를 나타내는 제1 AR 오브젝트(1320)로부터 우측 차선(10R)을 향하도록 연결된 가이드 경로를 형성한다. 제1 AR 오브젝트(1320)는 제2 AR 오브젝트의 가이드 궤적(1310c-1)을 추종하는 차량의 주행 상태에 따라, 위치, 회전량, 컬러(예, 주행속도 증가시) 등이 변경 표시된다.

한편, 비록 도시되지는 않았지만, 변경하려는 차선이 좌측 차선(10L)인 경우에도 전술한 바와 마찬가지로, 좌측 후방에서 접근하는 이동체를 확인한 후, 접근 이동체와의 충돌가능성 없음이 확인된 경우, 접근 이동체의 위치를 표시하고 차량의 좌측 차선 변경을 안내하는 가이드 궤적을 차량 전방 영상에 제공할 것이다.

이하, 도 14는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용한 차선 병경과 관련된 UX를 제공하는 방법의 흐름도이다.

도 14에 도시된 각 단계는 다른 언급이 없다면, AR 디스플레이 장치(800)의 프로세서(820)에 의해 수행된다. 또한, 각 단계는 도 8 내지 도 10을 참조하여 위에서 설명한 내비게이션 엔진(910), AR 엔진(920), 내비게이션 애플리케이션(930)의 동작들 중 일부를 포함하여 수행하거나 또는 그 동작들 중 적어도 일부가 이하 도 14의 과정 전/후에 수행될 수 있다.

본 개시에 따른 AR 디스플레이 장치(800)는, 차량의 AR 주행 모드 수행에 따라, 제1 및 제2 AR 오브젝트가 결합된 AR 그래픽 인터페이스로 차량 전방 영상에 렌더링되며, 상기 AR 그래픽 인터페이스는 차량의 주행 상황에 따라 가변(예, 분리, 결합, 변형)될 수 있다.

프로세서(820)는 차량의 센싱 데이터(예, CAN 데이터, GPS 등) 및 맵 데이터와 함께, ADAS 센싱 데이터에 근거하여, 가변된 AR 그래픽 인터페이스를 이용하여 차량의 차선 변경과 관련된 UX를 차량 전방 영상에 제공할 수 있다.

프로세서(820)는 상기 데이터에 근거하여 차량의 좌측 턴 시그널(signal) 입력을 감지할 수 있다(1401). 예를 들어, 프로세서(820)는 차량의 좌측 방향지시등 점등에 따른 센싱 데이터를 기초로, 좌측 턴 시그널 입력을 인지할 수 있다.

좌측 턴 시그널(signal) 입력이 감지된 경우, 차량의 현재 위치를 기준으로 좌측 후방에 차량(또는, 이륜차, 전동킥보드 등의 이동체)이 접근하는지를 판단한다(1402).

좌측 후방에 접근 차량(또는, 이륜차, 전동킥보드 등의 이동체)이 감지되면, 주의를 주기 위해, 분리된 제2 AR 오브젝트 중 일부가 좌측 후방의 접근 차량의 위치로 이동하여 이를 표시한다(1403). 예를 들어, 제2 AR 오브젝트의 일부를 컬러변경(또는, 형상변경/하이라이트 표시)하여, 제1 AR 오브젝트의 위치를 기준으로 좌측 후방에 표시한다.

계속해서, 프로세서(820)는 좌측 후방에 접근 차량(또는, 이륜차, 전동킥보드 등의 이동체)과 차량의 충돌가능성이 예측되는지를 판단하여(1404), 충돌가능성이 예측되면, 분리된 제2 AR 오브젝트를 통해 차선 변경 불가를 표시한다(1405).

판단(1404)에 따라, 좌측 후방의 접근 차량과 충돌가능성 없음이 예측되면, 차량이 좌측 차선으로 차선 변경 가능한 것으로 판단하여, 분리된 제2 AR 오브젝트를 통해 차선 변경 가이드 궤적을 표시한다(1406).

이때, 분리된 제2 AR 오브젝트에 의해 표시되는 차선 변경 가이드 궤적은 차량의 주행 상태(예, 위치, 주행방향, 주행속도)에 따라 표시 업데이트된다(1407).

예를 들어, 차량이 빠른 속도로 차선 변경 가이드 궤적을 추종하는 경우, 차량 주행속도에 근거하여 제1 AR 오브젝트의 컬러가 변경된다. 또한, 차량이 차선 변경 가이드 궤적을 추종하여 차선 변경을 완료한 경우, 접근 차량 및 가이드 궤적의 표시 대신에 제1 및 제2 오브젝트가 결합된 형태로 표시되도록 업데이트된다.

한편, 우측 턴 시그널(signal) 입력이 감지된 경우, 차량의 현재 위치를 기준으로 우측 후방에 차량(또는, 이륜차, 전동킥보드 등의 이동체)이 접근하는지를 판단한다(1408).

우측 후방에 접근 차량(또는, 이륜차, 전동킥보드 등의 이동체)이 감지되면, 운전자에게 주의를 주기 위해, 분리된 제2 AR 오브젝트 중 일부가 우측 후방의 접근 차량의 위치로 이동하여 이를 표시한다(1409). 예를 들어, 도 13c에 도시된 바와 같이, 제2 AR 오브젝트의 일부(1310C-2)를 컬러변경(또는, 형상변경/하이라이트 표시)하여, 제1 AR 오브젝트(1320)의 위치를 기준으로 우측 후방에 표시한다.

계속해서, 프로세서(820)는 우측 후방에 접근 차량(또는, 이륜차, 전동킥보드 등의 이동체)과 차량의 충돌가능성이 예측되는지를 판단하여(1410), 충돌가능성이 예측되면, 분리된 제2 AR 오브젝트를 통해 차선 변경 불가를 표시한다(1411).

예를 들어, 도 13b에 도시된 바와 같이, 제2 AR 오브젝트의 일부(1310b-1)를 컬러변경(또는, 형상변경/하이라이트 표시)하고, 차선 변경 불가를 직관할 수 있도록, 제1 AR 오브젝트와 연결되는 가이드 궤적을 표시하지 않는다. 제2 AR 오브젝트(1310b-1, 1310b-2)는 모두 변경 불가 차선 상에만 표시되며, 예를 들어 변경 불가 차선의 경계 위에 표시될 수 있다.

판단(1410)에 따라, 우측 후방의 접근 차량과 충돌가능성 없음이 예측되면, 차량이 우측 차선으로 차선 변경 가능한 것으로 판단하고, 분리된 제2 AR 오브젝트를 통해 차선 변경 가이드 궤적을 표시한다(1412).

이때, 분리된 제2 AR 오브젝트에 의해 표시되는 차선 변경 가이드 궤적은 차량의 주행 상태(예, 위치, 주행방향, 주행속도)에 따라 표시 업데이트된다(1413).

예를 들어, 차량이 빠른 속도로 차선 변경 가이드 궤적을 추종하는 경우, 차량 주행속도에 근거하여 제1 AR 오브젝트의 컬러가 변경된다.

또, 예를 들어, 차량(100)이 도 13c와 같이, 제2 AR 오브젝트의 일부(1310C-1)를 통해 표시된 차선 변경 가이드 궤적을 추종하여 차선 변경을 완료한 경우, 프로세서(820)는 접근 차량 및 가이드 궤적의 표시 대신에 제1 및 제2 오브젝트가 결합된 형태로 AR 그래픽 인터페이스를 표시하도록, 렌더링 업데이트한다.

이하, 도 15a, 도 15b는 AR 그래픽 인터페이스를 이용하여 차선 유지와 관련된 UX를 제공하는 방법을 설명하기 위한 개념도들이다.

본 개시에 따른 AR 디스플레이 장치(800)는 차량의 센싱 데이터, 맵 데이터, 및 ADAS 센싱 데이터에 기초하여, 차량이 차선을 변경하는 경우가 아닌데 차선의 이탈가능성이 우려되는 상황을 감지할 수 있고, 그에 따라 제2 AR 오브젝트를 분리하여 경고 알림 및 차선유지를 위해 차량이 있어야할 위치를 표시할 수 있다.

구체적으로, 프로세서(820)는 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보) 및 맵 데이터(예, 내비게이션/지도 데이터(lane geometry))와 함께, ADAS 센싱 데이터에 근거하여, 차선유지와 관련된 알림 이벤트를 감지할 수 있다.

여기에서, 차선유지와 관련된 알림 이벤트는, 현재 주행 차선에서의 차량의 자세에 기반하여 횡방향(좌측 또는 우측)으로 치우침이 또는 이탈 가능성이 감지된 경우에 발생한다.

또한, 현재 주행 차선에서의 차량의 자세는, 차량의 센싱 데이터, 맵 데이터, ADAS 센싱 데이터에 근거하여, 프로세서(820)에 의해, 주행 차선 내에서 차량의 위치, 치우친 차선 경계선까지의 횡방향 거리(lateral offest), 횡방향으로의 속도/가속도, 차량의 조향각을 등을 산출함으로써, 획득될 수 있다.

프로세서(820)는 현재 주행 차선에서의 차량의 자세(예, 횡방향으로의 속도/가속도 등)에 근거하여 차량의 차선 이탈 시점을 예측할 수 있고, 예측된 차선 이탈 시점 전에 (운전자의 반응 시간을 추가 고려하여), AR 그래픽 인터페이스를 통해 경고를 표시할 수 있다.

구체적으로, 프로세서(820)는, 이와 같이 주행 차선과 관련된 알림 이벤트로 주행 차선의 이탈이 예측된 것에 근거하여, 제1 AR 오브젝트는 현재 주행 차선에서의 차량 주행 자세를 표시하고, 제2 AR 오브젝트를 분리하여 차량 주행 자세의 변경을 유도하는 제1 가이드와 차량의 차선 이탈을 경고하는 제2 가이드 중 적어도 하나를 표시하도록 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.

예를 들어, 프로세서(820)는 차량의 주행 차선 치우침 검출시에는 분리된 제2 AR 오브젝트를 통해 상기 제1 가이드를 표시할 수 있고, 차량의 주행 차선 이탈 예측이 검출되면 분리된 제2 AR 오브젝트를 통해 상기 제1 및 제2 가이드를 모두 표시할 수 있다.

여기에서, 상기 제1 가이드는 차량의 치우침이 감지된 경우에 표시되며, 제안하는 차량의 위치, 자세, 및 주행방향을 포함할 수 있다.

또한, 상기 제1 가이드는 현재 차량의 주행 상태를 나타내는 제1 AR 오브젝트에 앞서서 표시되어, 차량이 이를 직관적으로 추종하도록 표시될 수 있다.

또한, 상기 제1 가이드는 직관적인 경고 표시를 위해 상기 제1 AR 오브젝트와 다른 컬러, 형상, 하이라이트 표시 등을 포함할 수 있다.

또한, 상기 제1 가이드는 차량의 치우침 또는 이탈 가능성이 더 이상 예측되지 않으면 표시되지 않을 수 있다.

여기에서, 상기 제2 가이드는 차량의 주행 차선의 이탈이 예측되는 경우에 표시되며, 차선 이탈 예측 시점 전에 표시된다.

또한, 상기 제2 가이드는 직관적인 경고 표시를 위해 상기 제1 AR 오브젝트와 다른 컬러, 형상, 하이라이트 표시 등을 포함할 수 있다.

또한, 상기 제2 가이드는 차량이 이탈하려는 방향의 차선 경계선 위에 또는 적어도 일부가 오버랩되도록 표시될 수 있다.

또한, 상기 제2 가이드는 차선 경계선상에 동일한 차선 이미지가 점등점멸되는 형태로 경고 표시될 수 있다.

또한, 상기 제2 가이드는 차량 주행 차선유지를 위해 자세의 변경을 유도하는 제1 가이드와 함께 표시된다.

또한, 상기 제2 가이드는 차량의 이탈 가능성이 더 이상 예측되지 않으면 표시되지 않을 수 있다.

프로세서(820)는, 차량의 주행 속도에 근거하여 (차량의 주행 차선 이탈 예측 시점 및) 차량의 주행 차선 이탈을 경고하는 시점을 결정하고, 상기 결정된 시점에서 이탈 추정 방향에 대응되는 위치에 제2 가이드를 표시하도록 상기 제2 AR 오브젝트를 표시 업데이트할 수 있다.

프로세서(820)는, 주행 차선 내 차량의 치우침이 임계범위를 초과하는 것으로 결정된 것에 근거하여, 제1 AR 오브젝트가 나타내는 주행 자세의 표시를 업데이트하고, 상기 제1 가이드가 주행 차선의 중앙에 위치하도록 상기 제2 AR 오브젝트를 표시 업데이트할 수 있다.

한편, 차량의 실제 자세는 주행에 따라 실시간으로 변경되는데, 이러한 자세 변화를 실시간으로 제1 AR 오브젝트에 반영할 경우, 제1 AR 오브젝트가 미세하게 떨리게 되는 화면 떨림(screen flickering)이 발생한다. 이에, 본 개시에 따른 프로세서(820)는 임계치를 초과하는 경우 제1 AR 오브젝트에 대한 표시 업데이트 (예, 차선 치우침으로 판단시)가 차량 전방 영상에 적용되도록 동작할 수 있다.

또한, 제1 및 제2 가이드에 의한 잦은 경고로 인해 운전자의 피로도가 증가하는 것을 방지하기 위해, 차선유지를 위한 차량의 자세값 산출과 차선 이탈 예측 시점의 산출은 실시간으로 수행하되, 제1 및 제2 가이드에 의한 표시 업데이트는 기준치(또는 가중치)를 만족한 경우에 수행되도록 적용할 수 있다.

예를 들어, 프로세서(820)는 차량과 차선 경계선과의 거리, 정해진 기준치(또는 가중치)(예, 치우침 횟수 등) 만족시, 차선의 너비와 차량의 크기에 근거하여 제1 및 제2 가이드의 표시 업데이트 및 표시시점을 다르게 적용할 수 있다.

도 15a는 상기 제1 가이드를 통해 차량의 차선 치우침을 경고하는 예시이다.

도 15a에서, 제1 AR 오브젝트(1520)는 차량의 현재 주행 상태, 즉 차량의 위치, 자세(Roll, Pitch, Yaw), 주행방향을 표시하며, 분리된 제2 AR 오브젝트(1510s)는 제1 AR 오브젝트(1520) 보다 앞서서 차선의 중앙 위치에 교정된 자세방향으로 나타내도록 표시된다.

분리된 제2 AR 오브젝트(1510s)는 차선유지를 위한 가이드(상기 제1 가이드)를 제공한다. 운전자(또는, 차량)는 상기 제1 가이드를 추종하여 차량 조향 제어를 수행함으로서, 차선 치우침을 교정하고 차선 이탈을 미연에 방지할 수 있다.

도 15b는 제1 및 제2 가이드를 통해 차량의 차선 이탈을 경고하는 예시이다.

도 15b에서, 제1 AR 오브젝트(1520)는 차량의 현재 주행 상태, 즉 차량의 위치, 자세(Roll, Pitch, Yaw), 주행방향을 표시하며, 분리된 제2 AR 오브젝트의 일부, 즉 제1 가이드(1510s)는 제1 AR 오브젝트(1520) 보다 앞서서 위치 그리고 차선의 중앙 위치에서 교정된 자세방향을 나타내도록 표시된다.

그리고, 분리된 제2 AR 오브젝트의 나머지부분 또는 제3 AR 오브젝트, 즉 제2 가이드(1530)는 차량의 차선 이탈을 방지하도록, 차선 경계선을 따라 경고 표시된다. 이때, 제2 가이드(1530)는 전술한 바와 같이 경고를 위한 컬러 변경, 형상 변경, 또는 하이라이트 표시가 적용될 수 있다.

분리된 제2 AR 오브젝트의 일부분(1510s)은 차선유지를 위한 가이드(상기 제1 가이드)를 제공한다. 운전자는 상기 제1 가이드를 추종하여 차량 조향 제어를 수행함으로서, 차선 치우침을 교정하고 차선 이탈을 미연에 방지할 수 있다.

한편, 프로세서(820)는 차선 이탈 경고를 위해, 상기 제2 가이드 표시와 함께, 차량의 오디오 출력, 햅틱 출력 등을 통해 추가 경고하도록 제어신호 등을 전송할 수 있다.

도 16은, AR 그래픽 인터페이스를 이용하여 차선 유지와 관련된 UX를 제공하는 방법의 흐름도이다.

본 개시에 따른 AR 디스플레 장치(800)는 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보) 및 맵 데이터(예, 내비게이션/지도 데이터(lane geometry))와 함께, ADAS 센싱 데이터에 근거하여, 차선유지와 관련된 알림 이벤트를 감지할 수 있다.

AR 디스플레 장치(800)는 감지된 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시하도록 AR 그래픽 인터페이스를 렌더링 업데이트할 수 있다.

그에 따라, AR 디스플레 장치(800)의 프로세서(820)는, AR 그래픽 인터페이스의 렌더링 업데이트에 대응되는 AR GUI 프레임을 내비게이션 애플리케이션에 제공하고, 내비게이션 애플리케이션으로 하여금 AR GUI 서피스를 업데이트하도록 하여, AR 내비게이션 화면을 출력할 수 있다.

도 16에 도시된 각 단계는 다른 언급이 없다면 프로세서(또는, AR 엔진)에 의해 수행된다. 또한, 도 16의 과정은 위에서 도 8 내지 도 10을 참조하여 설명한 프로세서(820)에 의한 내비게이션 엔진(910), AR 엔진(920), 내비게이션 애플리케이션(930)의 동작들을 포함하여 수행하거나 또는 그 동작들 중 적어도 일부가 도 16의 과정 이전 또는 이후에 수행될 수 있다.

프로세서(820)는, 제1 AR 오브젝트 및 분리된 제2 AR 오브젝트를 이용하여, 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 차량 전방 영상에 렌더링할 수 있다.

먼저, 프로세서(820)는 차선유지 가이드를 위한 제1 가이드 표시를 위해, 주행 차선의 중앙 위치 및 제2 AR 오브젝트의 자세(pose)를 계산한다(1610).

제2 AR 오브젝트의 자세(pose)는 제안하는 교정된 자세방향에 대응되는 피치(pitch), 롤(roll), 요(yaw) 값을 의미한다. 상기 주행 차선의 중앙 위치는, 제1 가이드의 표시 위치에 대응된다.

프로세서(820)는 기설정된 표시 기준을 만족하면, 차량 전방 영상에 상기 제1 가이드 형태로 상기 분리된 제2 AR 오브젝트를 표시한다(1620). 여기에서, 상기 기설정된 표시 기준을 만족하는 경우란, 차량의 현재 주행 상태가 차선 경계선(예, 좌측/우측 차선 경계선 등)에 기준치 이상 치우침이 발생한 경우를 의미한다. 상기 제1 가이드는 차선 유지를 위해 차량이 있어야할 바람직한 위치를 표시한다.

다음, 프로세서(820)는 차량의 현재 주행 상태에 대응되는 제1 AR 오브젝트의 표시를 위해, 차량의 위치와 자세(pose) 값을 계산한다(1630).

프로세서(820)는, 차량의 센싱 데이터, 맵 데이터, ADAS 센싱 데이터에 근거하여, 차선내 차량의 위치, 치우친 차선 경계선까지의 횡방향 거리(lateral offest), 횡방향으로의 속도/가속도, 차량의 조향각을 등을 산출하고, 이를 기초로 피치(pitch), 롤(roll), 요(yaw) 값을 계산할 수 있다.

프로세서(820)는 제1 AR 오브젝트의 이전 위치와 자세값을 현재 차량의 위치 및 자세값과 비교하여, 임계범위를 초과하는 경우인지를 판단한다(1640). 판단(1640) 결과, 임계범위를 초과하는 변화가 있는 경우, 프로세서(820)는 제1 오브젝트의 표시를 업데이트한다(1650).

이는, 차량의 실제 자세는 주행에 따라 실시간으로 변경되는데, 이러한 자세 변화를 실시간으로 제1 AR 오브젝트에 모두 반영할 경우, 차량 전방 영상에 렌더링된 제1 AR 오브젝트가 미세하게 떨리는 화면 떨림(screen flickering)을 방지하기 위함이다.

판단(1640) 결과, 임계범위를 초과하는 위치 및 자세 변화가 없거나 또는 제1 AR 오브젝트의 표시 업데이트가 수행되면, 프로세서(820)는 주행 차선을 기준으로 좌우측 횡방향의 거리, 속도, 가속도를 계산하여(1660), 차선 이탈가능성을 산출한다.

차선 이탈가능성이 검출되면, 프로세서(820)는 차량의 주행 차선 이탈을 경고하는 제2 가이드를 차량 전방 영상에 표시한다(1680). 이때, 차선 이탈 경고로, 오디오 출력, 햅틱 출력이 수반될 수 있다.

상기 제1 및 제2 가이드는 차선 치우침 및/또는 차선 이탈가능성이 검출되지 않거나 해당 기능이 종료되면, 차량 전방 영상에 더이상 표시되지 않으며, 대응되는 제1 및 제2 AR 오브젝트가 결합된 형태로 차량 전방 영상에 표시된다.

이상에서 살펴본 실시 예에 따르면, 분리된 AR 오브젝트를 통해, 차선 변경 불가시에는 차선 변경 금지를 표시하고 차선 변경 가능시에는 직관적인 변경 가이드 경로를 제공함으로써, 안전 운전 및 차선 변경 주행에 크게 도움을 준다.

도 17a과 도 17b는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용하여 앞차 추월과 관련된 가이드 UX를 제공하는 방법의 예시들을 도시한 것이다.

본 개시에 따른 AR 디스플레이 장치(800)는 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보) 및 맵 데이터(예, 내비게이션/지도 데이터(lane geometry))와 함께, ADAS 센싱 데이터에 근거하여, 차선유지와 관련된 알림 이벤트로 추월 주행 시도를 인지할 수 있다.

차량 추월(앞지르기)은, 앞차의 주행속도, 주행방향, 및 기타 주행 상황을 고려하여 안전한 속도와 방법으로 수행되어한다.

프로세서(820)는 주행 차선과 관련된 알림 이벤트로 추월 주행이 인지된 것에 근거하여, 분리된 제2 AR 오브젝트를 통해 회피 경로 및 타겟 오브젝트의 추월 지점을 나타내는 가이드 궤적을 표시하도록 렌더링 업데이트할 수 있다.

여기에서, 회피 경로는 앞 차량을 앞지르기 위한 차선 변경(또는, 비껴가기)경로(회피 경로의 제1부분), 계산된 지점에서 원래의 차선으로 복귀하기 위한 변경 경로(회피 경로의 제2부분)을 포함한다.

여기에서, 타겟 오브젝트는, 동일 차선 내에서 차량 앞에서 주행하고 있는 앞지르기 대상으로, 예를 들어 차량, 이륜차, 전동킥보드, 자전거 등을 포함할 수 있다.

여기에서, 추월지점은 회피 경로의 제1부분 및 제2부분 각각에 포함된 차선 변경 지점, 즉 크로싱 포인트(crossing point)를 의미한다. 추월지점은 특별한 사정이 없는 한, 타겟 오브젝트의 좌측에 위치한다.

한편, 타겟 오브젝트의 위치 및 너비에 따라, 동일 차선 내에서 차량 추월(앞지르기)이 수행될 수도 있고 차선을 변경하면서 수행될 수도 있다.

동일 차선 내에서 차량 추월하는 경우(예, 동일 차선 내에서 자전거, 전동킥보드 등을 앞지르기), 프로세서(820)는 분리된 제2 AR 오브젝트를 이용하여, 동일 차선 내 타겟 오브젝트의 좌측으로 비껴가는 회피 경로(복수의 가이드 궤적)를 생성하여 차량 전방 영상에 표시한다. 이때, 분리된 제2 AR 오브젝트가 표시될 때, 하이빔 등의 회피조향 보조장치가 작동되어, 타겟 오브젝트에게 주의를 제공할 수 있다.

차선을 변경하여 차량 추월하는 경우, 추월하려는 타겟 오브젝트의 좌측 차선으로 차량 이동 후, 타겟 오브젝트를 앞질러서 원래 차선으로 복귀하는 방식으로 차량 추월(앞지르기)이 수행된다.

구체적으로, 프로세서(820)는 차량의 차선 변경이 완료된 것에 근거하여 분리된 제2 AR 오브젝트를 제1 AR 오브젝트에 결합하고, 차량의 현재 위치가 타겟 오브젝트의 추월지점에 근접한 것에 근거하여, 상기 제2 AR 오브젝트가 제1 AR 오브젝트로부터 다시 분리되어 복귀할 차선 위치를 나타내도록 가이드 궤적을 표시한다. 프로세서(820)는 분리된 제2 AR 오브젝트가 차량의 추월주행이 완료될 때까지 분리된 상태를 유지하여 가이드 궤적을 표시하도록 렌더링 업데이트한다.

도 17a의 (a)는 회피 경로의 제1부분을 나타낸 것이고, 도 17a의 (b)는 회피 경로의 제1부분을 나타낸 것이다.

프로세서(820)는, 차량 추월(앞지르기)이 개시되면, 제2 AR 오브젝트를 분리하여, 타겟 차량의 좌측 차선으로의 이동을 가이드하는 제1 경로(복수의 가이드 궤적을 포함함)(1710a)를 표시한다. 이때, 좌측 차선이 이동체가 있으면, 프로세서(820)는 상기 제2 AR 오브젝트를 이용하여, 차선 변경 불가를 안내하고, 해당 이동체가 지나간 후 또는 안전거리 확보후 상기 제1 경로(1710a)를 표시할 수 있다.

상기 제1 경로를 따라 차선 변경이 완료되면, 즉 차량이 제1 경로를 따라 좌측 차선으로 이동하고 타겟 차량과 나란히 위치하면, 분리된 제2 AR 오브젝트는 제1 AR 오브젝트에 결합된 형태(1710b)로 표시된다.

다만, 타겟 차량이 주행속도를 높여서 차량이 이 보다 후방에 위치하면, 결합된 제2 AR 오브젝트(1710b)가 다시 분리되어, 보다 증가된 주행속도로 직진주행 하도록 가이드하는 복수의 가이드 궤적이 표시될 수 있다.

이 후, 프로세서(820)는, 타겟 차량을 앞질러서 원래의 차선으로의 복귀를 가이드하는 제2 경로(복수의 가이드 궤적을 포함함)(1710c)를 표시한다. 이때, 복귀하려는 차선의 타겟 차량 앞에 다른 차량이 있으면, 프로세서(820)는 안전거리를 확보할 때까지 차선 변경 불가를 안내하고, 상황 종료 후에 제2 경로(1710c)를 표시할 수 있다.

상기 제2 경로를 따라 차선 변경(복귀)이 완료되면, 즉 차량이 제2 경로를 따라 원래 차선으로 이동하고 안전거리를 확보하여 타겟 차량의 앞에 위치하면, 분리된 제2 AR 오브젝트는 제1 AR 오브젝트에 결합된 형태(1710d)로 표시된다.

한편, 상기 제1 및 제2 경로의 길이, 형상 등은 추월하려는 타겟 차량의 위치, 주행속도, 주행방향, 및 다른 주행 상황(예, 현재 차선의 앞차가 먼저 차선 변경하는 경우 등)을 고려하여, 가변될 수 있다.

또한, 상기 제1 및 제2 경로 각각은 차선이 변경되는 지점, 즉 크로싱 포인트(crossing point)를 포함하는데, 차량은 크로싱 포인트(crossing point)에서 타겟 차량 가까이에서 차선 변경을 수행하므로, 안전 운전을 위해 적절한 주행속도를 안내해주면 좋을 것이다.

이에, 프로세서(820)는 차량의 현재 위치와 주행 상태에 근거하여, 주행해야할 복수의 가이드 궤적 사이에, 타겟 오브젝트의 추월 지점에 대응되는 크로싱 포인트와 해당 크로싱 포인트를 통과하기 위한 주행 속도 정보를 포함하도록 표시 업데이트할 수 있다.

도 17b를 참조하면, 프로세서(820)는 예를 들어 ADAS 센싱 데이터에 기반하여 산출되는 타겟 차량의 위치 및 주행속도와 좌측 차선의 후방에 접근하는 이동체의 존재에 기초하여, 제1 경로(1710e)의 크로싱 포인트에, 제안하는 제1 필요주행속도 정보(1730a)(예, '60km/h')를 표시할 수 있다.

다음, 차량의 좌측 차선 변경 후, 프로세서(820)는 예를 들어 ADAS 센싱 데이터에 기반하여 산출되는 타겟 차량의 위치와 주행속도와 복귀 차선의 전방의 이동체의 존재에 기초하여, 제2 경로(1710f)의 크로싱 포인트에, 제안하는 제2 필요주행속도 정보(1730a)(예, '80km/h')를 표시할 수 있다.

한편, 제1 및 제2 필요주행속도 정보에 표시된 각 속도값은 타겟 차량의 실기간 주행속도와 ADAS 센싱 데이터를 통해 감지되는 주변 이동체의 존재를 반영하여 가변 표시될 수 있다.

이하에서는, 도 18을 참조하여, 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용하여 AES(Automatic Emergency Steering) 대응과 관련된 UX를 제공하는 방법을 설명하겠다.

본 개시에 따른 AR 디스플레이 장치(800)의 프로세서(820)는, 차량의 센싱 데이터(예, CAN(Steering Wheel 각도, 주행속도(Speed) 요우각 속도(Yawrate)), GPS위치/방향정보), 맵 데이터(예, 내비게이션/지도 데이터(lane geometry)), ADAS 센싱 데이터(예, 카메라, 레이다(Radar), 라이다(Lidar))에 근거하여, 주행 차선과 관련된 알림 이벤트로 충돌가능한 전방 오브젝트를 검출할 수 있다.

프로세서(820)는 충돌가능한 전방 오브젝트의 검출에 근거하여, 차량의 현재 위치와 ADAS 센싱 데이터에 기초하여 회피 주행 차선을 결정하고, 분리된 제2 AR 오브젝트가 상기 결정에 따라 주행해야 할 가이드 궤적을 표시하도록 렌더링할 수 있다.

본 개시에 따른 차량(100)은, 주행 중 ADAS 시스템 등을 통해 차량의 전방에 충돌가능한 오브젝트가 검출되면, AEB(Automatic Emergency Braking, 이하 'AEB')을 활성화하여 긴급제동을 수행하거나 또는 AES(Automatic emergency steering, 자동 지상 조향 장치, 이하 'AES') 기능을 활성화하여 자동 회피 주행을 수행한다.

본 개시에서는 AES 기능이 활성화되는 경우, AR 그래픽 인터페이스를 통해, 차량이 자동 회피 주행할 경로를 미리 안내해줄 수 있다.

AES(Automatic emergency steering) 기능은, 차량의 잠재적 충돌을 감지하고 충격의 심각성을 방지하거나 줄이기 위해 조향 제어 장치를 자동으로 제어하는 기능이다. 일부 시스템에는 보행자 또는 기타 물체 감지를 포함할 수 있다.

프로세서(820)는 예를 들어, 전방 차량과의 TTC (Time To Collision) 판단을 통해 전방 오브젝트와의 충돌이 예상되는 경우, 현재 주행 차선을 기준으로 좌측 또는 우측 차선 중 후방 추돌가능성이 가장 낮은 차선을 선택하고, AES 궤적을 계산한다.

여기에서, TTC (Time To Collision)는 충돌이 예상되는 차량의 접근 속도가 일정함을 전제하였을때, 차량이 타겟 오브젝트에 부딪히기까지 소요되는 시간을 의미한다.

프로세서(820)는, AES 궤적에 기반한 예상 궤적을, 분리된 제2 AR 오브젝트를 이용하여 차량 전방 영상에 표시하고, 제1 AR 오브젝트를 이용하여 차량의 현재 주행 상태(예, 차량 위치, 주행방향, 조향각 등)를 차량 전방 영상에 표시한다.

즉, 위험 상황에서의 회피 가능한 스티어링 휠(조향각)이, 분리된 제2 AR 오브젝트를 통해 복수의 가이드 궤적으로 표시됨으로써, 운전자가 회피 경로를 직관적으로 인지할 수 있다.

충돌 위험이 감지되고 AEB 기능에 의해 긴급제동으로 회피가능하면, AEB 기능을 실행한다.

충돌 위험이 감지되고 긴급제동으로 회피할 수 없는 경우이면, 프로세서(820)는 제2 AR 오브젝트를 분리하여, AES 기능에 따른 자동 회피 주행에 대응되는 가이드 궤적을 표시한다. AES 기능은 더 안전한 차선을 선택하여 회피 주행한다.

도 18의 (a)는 좌측(L)으로 AES가 더 안전한 경우의 가이드 궤적을 표시한 것이다.

도시된 바와 같이, 우측차선에 존재하는 차량 및/또는 우측후방에서 접근하는 차량으로 인해, 좌측(L)으로 AES를 수행하는 것이 더 안전하다고 판단되는 경우, 분리된 제2 AR 오브젝트를 통해, 차량(100)의 예상 궤적(1820a)과 예상 최종 위치(100')를 표시해준다. 이때, 차량(100)의 예상 궤적(1820a)과 예상 최종 위치(100')는 적어도 AES의 실행과 동시에 표시되므로, 운전자는 자동 회피 주행의 경로를 미리 파악할 수 있다.

도 18의 (b)는 우측(R)으로 AES가 더 안전한 경우의 가이드 궤적을 표시한 것이다.

도시된 바와 같이, 좌측차선에 존재하는 차량 및/또는 좌측후방에서 접근하는 차량으로 인해, 우측(R)으로 AES를 수행하는 것이 더 안전하다고 판단되는 경우, 분리된 제2 AR 오브젝트를 통해, 차량(100)의 예상 궤적(1820b)과 예상 최종 위치(100')를 표시해준다. 이때, 차량(100)의 예상 궤적(1820b)과 예상 최종 위치(100')는 적어도 AES의 실행과 동시에 표시되므로, 운전자는 자동 회피 주행의 경로를 미리 파악할 수 있다.

이와 같이 AES 기능에 따른 자동 회피 주행이 종료되면, 분리된 제2 AR 오브젝트는 다시 제1 AR 오브젝트에 결합된 형태로 표시된다.

도 19는 본 발명의 실시예에 따른 AR 그래픽 인터페이스를 이용하여 전방 충돌가능 경고와 관련된 UX 를 제공하는 방법을 도시한 흐름도이다.

도 19의 흐름도에 도시된 각 단계는 다른 언급이 없다면 프로세서(또는, AR 엔진)에 의해 수행된다. 또한, 도 19의 과정은 위에서 도 8 내지 도 10을 참조하여 설명한 프로세서(820)에 의한 내비게이션 엔진(910), AR 엔진(920), 내비게이션 애플리케이션(930)의 동작들을 포함하여 수행하거나 또는 그 동작들 중 적어도 일부가 도 19의 과정 이전 또는 이후에 수행될 수 있다.

프로세서(820)는 차량의 주행동안 ADAS 센싱 데이터에 기초하여 전방의 충돌가능한 오브젝트에 관한 정보(예, 앞차 충돌 정보, 보행자 정보)를 획득할 수 있다.

프로세서(820)는 획득된 정보에 근거하여 충돌 경고 표시가 필요한지를 판단하고(1920), 충돌 경고 표시가 필요한 경우, ADAS 위치 정보로부터 AR 좌표계 기준으로 전환한 전방 충돌가능한 오브젝트(예, 앞차, 보행자)의 위치를 계산한다(1930)

위치 계산 결과에 근거하여 경고 모드를 실행하고(1940), 경고 알림 레벨을 판단하여 위험도에 따라 상이한 경고 알림을 표시한다.

프로세서(820)는, 예를 들어, 차량의 ADAS 센싱 데이터에 기초하여 전방의 충돌가능한 오브젝트가 검출된 것에 근거하여, 차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 해당 오브젝트의 상대 위치를 산출하고, 산출된 상대 위치에 따라 (또는 충돌가능 정도에 따라) 가변된 알람 오브젝트를 차량 전방 영상에 렌더링한다.

여기에서, 상기 알람 오브젝트는 검출된 오브젝트의 외형을 나선형 고리 형태로 감싸는 AR 이미지일 수 있다. 또한, 상기 알람 오브젝트의 컬러, 형상 등은 예측되는 충돌가능성 정도에 따라 달라질 수 있다.

구체적으로, 제1모드(low level)에서는 분리된 제2 AR 오브젝트에 대응되는 경고 알림을 low level을 나타내는 컬러(예, yellow), 형상 등으로 표시한다(1950). 제2모드(high level)에서는 분리된 제2 AR 오브젝트에 대응되는 경고 알림을 high level을 나타내는 컬러(예, orange), 형상 등으로 표시한다(1960). 제3모드(critical level)에서는 분리된 제2 AR 오브젝트에 대응되는 경고 알림을 critical level을 나타내는 컬러(예, red), 형상 등으로 표시할 수 있다(1970).

이때, 제1 내지 제3 모드에 대응되는 경고 알림 UX는 위험 정도에 따라 차량의 다른 출력수단(예, 오디오 출력, 햅틱 출력 등)과 함께 표시될 수 있을 것이다.

이상, 본 발명의 일부 실시 예에 따른 AR 디스플레이 장치 및 그것의 동작방법에 의하면, 별도의 설정 없이도 캘리브레이션되는 전방 영상에 차량의 현재 위치와 예측 주행 상황에 대한 가이드를 AR 오브젝트로 동시 안내함으로써, 차량에게 보다 직관적이고 현실감 있는 AR 가이드 안내를 제공할 수 있다. 또한, 차량의 주행 차선 변경시 충돌가능성을 예측하여, 단순 경고 알림이 아닌 차선 변경 가능 여부를 운전자에게 알려줄 수 있다. 또한, 분리된 AR 오브젝트를 통해, 차선 변경 불가시에는 차선 변경 금지를 표시하고 차선 변경 가능시에는 직관적인 변경 가이드 경로를 제공함으로써, 안전 운전 및 차선 변경 주행에 크게 도움을 준다. 또한, 잦은 경고 알람으로 인한 운전 방해 없이, 직관적인 AR 인터페이스를 통해 주행 차선 이탈을 방지할 수 있다. 또한, 앞차 추월시, 차량이 앞차를 안전하게 추월할 수 있는 상황인지를 판단하고, 안전하게 추월할 수 있는 경로, 주행속도를 제공하여, 안전하고 편리한 주행을 돕는다. 나아가, 전방/측후방의 충돌가능한 오브젝트의 검출을 사운드가 아닌 직관적인 AR 오브젝트로 표시하여, 운전을 방해하지 않으면서 안전 운전을 돕는다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.

컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (16)

1. 차량의 전방 영상을 획득하는 카메라;
   차량의 맵 데이터 및 센싱 데이터를 수신하는 통신 모듈;
   기설정된 애플리케이션을 구동하여, 상기 맵 데이터에 기반하여 차량의 주행 상태를 표시하는 제1 AR 오브젝트와 차량의 주행 상황에 대한 가이드를 표시하는 제2 AR 오브젝트가 결합된 AR 그래픽 인터페이스가 차량의 전방 영상에 중첩되도록 렌더링하는 프로세서; 및
   상기 렌더링에 따라, 상기 AR 그래픽 인터페이스가 중첩된 전방 영상이 포함된 내비게이션 화면을 표시하는 디스플레이를 포함하고,
   상기 프로세서는,
   상기 센싱 데이터와 차량의 현재 위치에 기초하여 인식된 주행 차선과 관련된 알림 이벤트에 근거하여, 상기 제2 AR 오브젝트를 분리하여 상기 알림 이벤트에 대응되는 주행 차선과 관련된 가이드를 표시하도록 상기 AR 그래픽 인터페이스를 렌더링 업데이트하는,
   AR 디스플레이 장치.
2. 제1항에 있어서,
   상기 주행 차선과 관련된 알림 이벤트는,
   주행 차선의 변경, 주행 차선의 이탈 추정, 전방 오브젝트의 추월, 및 현재 주행 차선 또는 변경할 주행 차선 내 충돌가능한 오브젝트의 검출 중 어느 하나인,
   AR 디스플레이 장치
3. 제1항에 있어서,
   상기 주행 차선과 관련된 알림 이벤트를 인지하기 위한 센싱 데이터는, 차량의 ADAS 센싱 데이터와 CAN 데이터, GPS 정보, 내비게이션 정보 중 하나 이상의 조합을 포함하는,
   AR 디스플레이 장치.
4. 제1항에 있어서,
   상기 프로세서는,
   상기 센싱 데이터에 기초하여 상기 알림 이벤트로 차량의 주행 차선 변경이 결정된 것에 근거하여, 상기 제1 AR 오브젝트는 차량의 현재 주행 차선에 표시하고, 상기 제2 AR 오브젝트는 분리되어 변경할 주행 차선을 향하는 복수의 궤적을 포함하도록 상기 AR 그래픽 인터페이스를 렌더링 업데이트하는,
   AR 디스플레이 장치.
5. 제4항에 있어서,
   상기 프로세서는,
   상기 센싱 데이터 및 맵 데이터에 기초하여 차량에 접근하는 오브젝트를 검출하고, 상기 복수의 궤적 중 일부를 분리하여 상기 검출된 오브젝트의 위치를 표시하도록 업데이트하는,
   AR 디스플레이 장치.
6. 제4항에 있어서,
   상기 프로세서는,
   변경할 주행 차선에 충돌가능성 있는 오브젝트가 검출된 것에 근거하여, 상기 복수의 궤적이 차선 변경 불가를 나타내도록 표시 변경하고, 표시 변경된 궤적 중 일부는 상기 검출된 오브젝트의 위치를 나타내도록 표시 업데이트하는,
   AR 디스플레이 장치.
7. 제6항에 있어서,
   상기 프로세서는,
   상기 차선 변경 불가를 나타내는 복수의 궤적이 차량의 현재 주행 차선 또는 변경이 불가한 주행 차선 중 어느 하나에만 위치하도록 렌더링 업데이트하는,
   AR 디스플레이 장치.
8. 제1항에 있어서,
   상기 프로세서는,
   상기 주행 차선과 관련된 알림 이벤트로 주행 차선의 이탈이 추정된 것에 근거하여,
   상기 제1 AR 오브젝트는 현재 주행 차선에서 차량 주행 자세를 나타내고, 분리된 제2 AR 오브젝트는 차선유지를 위해 차량 자세의 변경을 유도하는 제1 가이드 및 주행 차선의 이탈을 경고하는 제2 가이드 중 적어도 하나를 표시하도록, 상기 AR 그래픽 인터페이스를 렌더링 업데이트하는,
   AR 디스플레이 장치.
9. 제8항에 있어서,
   상기 프로세서는,
   차량의 주행 속도에 근거하여 주행 차선의 이탈을 경고하는 시점을 결정하고, 상기 결정된 시점에서 이탈 추정 방향에 대응되는 위치에 상기 제2 가이드를 표시하도록 상기 제2 AR 오브젝트를 표시 업데이트하는,
   AR 디스플레이 장치.
10. 제8항에 있어서,
    상기 프로세서는,
    주행 차선 내 치우침이 임계범위를 초과하는 것으로 결정된 것에 근거하여 상기 제1 AR 오브젝트가 나타내는 차량 주행 자세의 표시를 업데이트하고, 상기 제1 가이드가 주행 차선의 중앙에 위치하도록 상기 제2 AR 오브젝트를 표시 업데이트하는,
    AR 디스플레이 장치.
11. 제1항에 있어서,
    상기 프로세서는,
    주행 차선과 관련된 알림 이벤트로 추월 주행이 인지된 것에 근거하여, 분리된 제2 AR 오브젝트를 통해 회피 경로 및 타겟 오브젝트의 추월 지점을 나타내는 가이드 궤적을 표시하도록 렌더링 업데이트하는,
    AR 디스플레이 장치.
12. 제11항에 있어서,
    상기 프로세서는,
    차량이 상기 회피 경로를 주행하는 동안, 차량의 차선 변경이 완료된 것에 근거하여 상기 분리된 제2 AR 오브젝트를 상기 제1 AR 오브젝트와 결합된 형태로 표시하고,
    차량의 현재 위치가 상기 타겟 오브젝트의 추월 지점에 근접한 것에 근거하여 상기 제2 AR 오브젝트를 상기 제1 AR 오브젝트로부터 분리하여, 복귀할 차선의 위치를 나타내는 가이드 궤적을 표시하는,
    AR 디스플레이 장치.
13. 제11항에 있어서,
    상기 프로세서는,
    상기 추월 주행시, 상기 분리된 제2 AR 오브젝트가 차량의 추월 주행이 완료될 때까지 분리된 상태를 유지하면서 차량이 주행해야할 가이드 궤적을 표시하도록 렌더링 업데이트하는,
    AR 디스플레이 장치.
14. 제13항에 있어서,
    상기 프로세서는,
    차량의 현재 위치와 주행 상태에 근거하여, 상기 주행해야할 가이드 궤적 사이에 상기 타겟 오브젝트의 추월 지점에 대응되는 차선의 크로싱 포인트와 해당 크로싱 포인트를 통과하기 위한 주행 속도 정보를 포함하도록 표시 업데이트하는,
    AR 디스플레이 장치.
15. 제1항에 있어서,
    상기 프로세서는,
    ADAS 센싱 데이터에 기초하여 상기 주행 차선과 관련된 알림 이벤트로 충돌가능한 전방오브젝트가 검출된 것에 근거하여,
    차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 회피 주행 차선을 결정하고, 분리된 제2 AR 오브젝트가 상기 결정에 띠리 차량이 주행할 가이드 궤적을 표시하도록 렌더링하는,
    AR 디스플레이 장치.
16. 제1항에 있어서,
    상기 프로세서는,
    ADAS 센싱 데이터에 기초하여 충돌가능한 전방오브젝트가 검출된 것에 근거하여, 차량의 현재 위치와 상기 ADAS 센싱 데이터에 기초하여 상기 검출된 전방 오브젝트의 상대 위치를 산출하고, 산출된 상대 위치에 따라 가변된 알람 오브젝트가 상기 전방 영상에 중첩되도록 렌더링하는,
    AR 디스플레이 장치.
    

Images