KR20200040507A

KR20200040507A - 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이

Info

Publication number: KR20200040507A
Application number: KR1020180120504A
Authority: KR
Inventors: 정은영; 차재원
Original assignee: 네이버랩스 주식회사
Priority date: 2018-10-10
Filing date: 2018-10-10
Publication date: 2020-04-20
Also published as: CN112534334A; JP7183393B2; EP3865928A4; KR102251427B1; US20210208392A1; EP3869259A4; KR102270483B1; JP7178485B2; CN113424094A; KR102116783B1; KR102251425B1; KR20210009397A; KR102376329B1; KR20200043961A; EP3869259A1; JP2021534464A; KR20210058771A; KR20200040639A; KR102359682B1; KR20200040662A

Abstract

영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이가 개시된다. 차량용 3차원 헤드업 디스플레이는, 광원의 역할을 하는 디스플레이 장치; 및 상기 광원의 빛을 운전석 쪽으로 반사시킴과 동시에 차량의 외부 빛을 투과시키는 컴바이너를 포함하고, 상기 광원의 빛에 의한 영상이 상기 차량의 전방 지면과 대응되도록 눕힌 3차원 시점(perspective)의 허상으로 표시되는 광학 구성을 포함할 수 있다.

Description

영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이{THREE DIMENTIONAL HEAD-UP DISPLAY FOR AUGMENTED REALITY AT THE DRIVER'S VIEW POINT BY POSITIONING IMAGES ON THE GROUND}

아래의 설명은 3차원 헤드업 디스플레이(Head-Up Display)에 관한 것이다.

도 1은 일반적인 헤드업 디스플레이 장치의 정보 확인을 위한 초점 조절을 설명하기 위한 도면이다.

도 1을 참조하면, 일반적인 차량용 헤드업 디스플레이(Head-Up Display, HUD) 장치는 디스플레이(10)로부터 차량의 현재 속도, 연료 잔량, 내비게이션(Navigation) 길 안내 정보 등의 영상을 송출하여 광학계(11, 12)를 통해 운전자의 바로 앞 윈드실드(Wind Shield, 13)에 그래픽 이미지(14)로 투영함으로써 운전자가 불필요하게 시선을 다른 곳으로 옮기는 것을 최소화시켜 주는 차량 디스플레이 장치이다. 여기서, 광학계(11, 12)는 디스플레이(10)로부터 송출된 영상의 광 경로를 변경하기 위해 복수의 미러로 이루어질 수 있다. 이와 같은 차량용 헤드업 디스플레이 장치는 운전자의 즉각적인 반응을 유도함과 동시에 편의성을 제공하는 장점이 있다.

일반적인 차량용 헤드업 디스플레이(HUD) 장치에서 영상은 사용자의 전방 약 2~3 m에 고정되어 위치한다. 반면, 운전 시 운전자의 주시 거리는 근거리~약 300 m이다. 이에 따라 운전자는 원거리를 주시하며 운전하며, 운전 중 헤드업 디스플레이(HUD) 장치의 정보를 확인하기 위해서는 눈의 초점을 큰 폭으로 조정해야 하는 불편함이 존재한다. 즉, 주된 시야가 위치하는 원거리와 영상이 맺힌 ~3 m 사이에서 운전자의 반복적인 초점 조절이 이루어진다.

따라서, 운전 중 주시하고 있는 시점에서 눈의 초점의 변화 없이 운전자가 원하는 정보를 획득할 수 있도록 운전 환경에 증강현실을 구현하여 영상 표현 거리의 제약이 없는 3차원 헤드업 디스플레이(Three Dimentional Head-Up Display) 장치의 개발이 요구된다.

예컨대, 한국등록특허 10-1409846호는 3차원 증강현실 기반 헤드 업 디스플레이 장치에 관한 것으로, 3차원 이미지로 증강된 이미지 정보를 실제 거리정보를 기반으로 입체적으로 표시함으로써 운전자에게 사실적인 정보를 제공할 수 있는 헤드 업 디스플레이 장치에 관한 기술을 기재하고 있다.

한국등록특허 10-1409846호(등록일 2014년 06월 13일)

영상의 위치를 지면과 대응시키는 형태의 3차원 구현 방식을 가진 3차원 헤드업 디스플레이를 제공한다.

가상의 스크린을 지면과 대응되도록 눕힌 3차원 시점(perspective)으로 표현할 수 있는 3차원 헤드업 디스플레이를 제공한다.

차량용 3차원 헤드업 디스플레이에 있어서, 광원의 역할을 하는 디스플레이 장치; 및 상기 광원의 빛을 운전석 쪽으로 반사시킴과 동시에 차량의 외부 빛을 투과시키는 컴바이너를 포함하고, 상기 광원의 빛에 의한 영상이 상기 차량의 전방 지면과 대응되도록 눕힌 3차원 시점(perspective)의 허상으로 표시되는 것을 특징으로 하는 차량용 3차원 헤드업 디스플레이를 제공한다.

일 측면에 따르면, 상기 디스플레이 장치에 대응되는 디스플레이 평면은 상기 컴바이너를 통하여 상기 지면에 대응되는 허상 평면과 이미징 조건(imaging condition)을 만족할 수 있다.

다른 측면에 따르면, 상기 디스플레이 장치에 대응되는 디스플레이 평면과 상기 컴바이너에 대응되는 컴바이너 평면 및 상기 지면에 대응되는 허상 평면 사이의 이미징 조건을 기반으로 상기 허상이 생성될 수 있다.

또 다른 측면에 따르면, 상기 컴바이너 평면과 수직이면서 상기 컴바이너의 광학적 중심을 지나는 직선을 기준으로 상기 디스플레이 평면과 상기 허상 평면에서 이미징 조건을 만족하는 각도를 이용하여 상기 허상의 시작 위치와 크기가 결정될 수 있다.

또 다른 측면에 따르면, 상기 각도, 상기 허상 평면을 기준으로 상기 디스플레이 평면의 각도, 상기 디스플레이 평면과 상기 컴바이너 평면의 각도, 상기 허상 평면으로부터 상기 컴바이너의 광학적 중심까지의 높이 중 적어도 하나에 의해 상기 허상의 시작 위치와 크기가 조절될 수 있다.

또 다른 측면에 따르면, 상기 허상 평면에서 상기 컴바이너까지의 높이에서 상기 디스플레이 장치와 상기 컴바이너 간 이격 거리는 상기 허상 평면으로부터 상기 컴바이너의 광학적 중심까지의 높이에 해당 높이 방향으로의 오프셋을 더한 높이 값, 상기 허상 평면을 기준으로 상기 디스플레이 평면의 각도, 상기 허상 평면을 기준으로 상기 컴바이너 평면의 각도, 상기 디스플레이 평면과 상기 컴바이너 평면의 각도에 의해 도출될 수 있다.

또 다른 측면에 따르면, 상기 컴바이너의 위치는 요구되는 아이박스(Eye-box)의 위치에 따른 오프셋을 포함하는 높이로 결정될 수 있다.

또 다른 측면에 따르면, 상기 허상을 원근감이 적용된 영상으로 표시하기 위한 프로세서를 더 포함할 수 있다.

또 다른 측면에 따르면, 상기 디스플레이 장치는 다중 영상을 동시에 구현하기 위해 멀티 광원이 배치되는 형태로 구성될 수 있다.

또 다른 측면에 따르면, 상기 디스플레이 장치는, 상기 지면과 대응되도록 눕힌 영상을 생성하기 위한 제1 디스플레이; 및 상기 지면에 대해 수직인 영상을 생성하기 위한 적어도 하나의 제2 디스플레이를 포함할 수 있다.

또 다른 측면에 따르면, 상기 차량에 포함된 ADAS(advanced driver-assistance system) 또는 각종 센서로부터 획득한 주변 정보에 기초하여 상기 허상의 표시를 제어하기 위한 프로세서를 더 포함할 수 있다.

또 다른 측면에 따르면, 상기 차량과 상기 허상 사이에 상기 허상과 중첩되는 장애물이 있는 경우 상기 허상의 표시를 제어하기 위한 프로세서를 더 포함할 수 있다.

또 다른 측면에 따르면, 상기 프로세서는, 상기 허상과 중첩되는 장애물이 있는 경우 상기 장애물과 중첩되는 영역의 영상을 차단할 수 있다.

또 다른 측면에 따르면, 상기 프로세서는, 상기 허상과 중첩되는 장애물이 있는 경우 상기 지면을 대신하여 상기 장애물 상 혹은 상기 장애물보다 가까운 근거리에 상기 지면에 대해 수직인 영상으로 표시할 수 있다.

또 다른 측면에 따르면, 상기 프로세서는, 상기 허상과 중첩되는 장애물이 있는 경우 상기 디스플레이 장치와 상기 컴바이너 중 적어도 하나를 이동시켜 상기 허상이 표시되는 위치를 이동시킬 수 있다.

본 발명의 실시예들에 따르면, 영상의 위치를 지면과 대응시키는 형태의 3차원 구현 방식을 가진 3차원 헤드업 디스플레이를 제공할 수 있다.

본 발명의 실시예들에 따르면, 가상의 스크린을 지면과 대응되도록 눕힌 3차원 시점으로 표현할 수 있는 3차원 헤드업 디스플레이를 제공할 수 있다.

본 발명의 실시예들에 따르면, 지면에 대응되는 3차원 시점의 가상의 스크린을 통해 운전자의 시점에 대해 최적화된 3차원 헤드업 디스플레이를 제공할 수 있다.

도 1은 일반적인 헤드업 디스플레이 장치의 정보 확인을 위한 초점 조절을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 있어서 3차원 헤드업 디스플레이의 영상 위치를 도시한 것이다.
도 3은 본 발명의 일 실시예에 있어서 도로면과 같은 지면과 대응되는 가상의 평면 상에 영상을 제공하는 예시들을 도시한 것이다.
도 4는 본 발명의 일 실시예에 있어서 3차원 헤드업 디스플레이의 광학 설계 구성의 예시를 도시한 것이다.
도 5는 본 발명의 일 실시예에 있어서 디스플레이 평면과 컴바이너 평면 및 허상 평면 사이의 이미징 조건을 나타낸 것이다.
도 6은 본 발명의 일 실시예에 있어서 디스플레이 장치와 컴바이너의 관계식 도출에 필요한 변수들을 나타낸 것이다.
도 7은 본 발명의 일 실시예에 있어서 아이박스(Eye-box, 눈동자의 위치)에 따라 결정되는 컴바이너의 위치를 설명하기 위한 예시 도면이다.
도 8은 본 발명의 일 실시예에 있어서 지면과 대응되는 가상의 평면 상에 원근감이 반영된 영상의 예시를 도시한 것이다.
도 9는 본 발명의 일 실시예에 있어서 다중 영상을 동시 구현하기 위한 3차원 헤드업 디스플레이의 광학 설계 구성의 예시를 도시한 것이다.

이하, 첨부된 도면을 참조하여 실시예들을 설명한다.

기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 간소화 혹은 축약되거나 과장될 수 있다.

도 1을 통해 설명한 기존 헤드업 디스플레이는 물론이고, TV, 모니터, 프로젝터 스크린, VR/AR 글래스 등 대부분의 디스플레이들은 사용자의 시선에 대해 수직 방향으로 위치해 있다.

본 발명의 실시예들은 영상의 위치를 지면과 대응시키는 형태의 3차원 구현 방식을 가진 3차원 헤드업 디스플레이를 제공한다. 특히, 가상의 스크린을 지면과 대응되도록 눕힌 3차원 시점으로 표현함으로써 운전 환경에서 운전자의 시점에 대해 최적화된 3차원 헤드업 디스플레이를 제공할 수 있다.

도 2는 본 발명의 일 실시예에 있어서 3차원 헤드업 디스플레이의 영상 위치를 도시한 것이다.

도 2를 참조하면, 본 발명에 따른 3차원 헤드업 디스플레이는 사용자가 눈으로 볼 수 있는 가상의 영상, 즉 허상(24)의 위치를 운전자의 전면 바닥과 대응되도록 눕힌 3차원 시점으로 표현할 수 있다.

일반적인 차량용 헤드업 디스플레이의 광학계를 통한 영상은 운전자의 2~3 m 전방 고정된 거리에 위치하며 지면(25)과 대체로 수직하게 된다. 이와 달리, 본 발명에 따른 3차원 헤드업 디스플레이는 운전자가 주시하는 전방의 지면(25)과 대응되는 가상의 평면 상에 허상(24)을 위치시키고자 하는 것이다.

본 발명에 따른 3차원 헤드업 디스플레이는 일반적인 프로젝터와 같은 스크린에 직접 투사하여 실상을 생성하는 방식이 아닌, 헤드업 디스플레이의 광학계를 통해 반사시켜 눈으로 볼 수 있는 허상(24)을 생성하는 방식이다.

차량용 내비게이션에서 제공되는 주된 정보는 주행 중인 도로 상의 회전 정보, 차선 정보, 앞차와의 거리 정보 등에 해당된다. 또한, ADAS(advanced driver-assistance system)에서는 운전자에게 안전과 관계된 정보를 제공하게 되는데, 이때 해당 정보들은 주로 차선 정보, 앞/옆차와의 거리 정보, 돌발 정보 등이다. 마찬가지로, 자율주행 시 운전의 주체인 차량에서 도로 상의 회전이나 차선 변경 등과 같이 앞으로 일어날 상황에 대한 정보를 탑승자에게 제공해 줄 필요가 있다.

도 3을 참조하면, 상기한 정보들, 예컨대 차선 정보(31), 앞차와의 거리 정보(32) 등을 운전자가 주시하고 있는 시점의 실제 도로면 상에 가상의 이미지로 표시해 주는 것이 매우 중요하고 효과적이다.

본 발명에 따른 3차원 헤드업 디스플레이는 가상의 스크린을 지면과 대응되도록 눕힌 3차원 시점으로 표현함으로써 다양한 운전 환경에서 사용자가 운전 중 바라보는 시점에서 눈의 초점을 다른 곳으로 이동할 필요 없이 사용자에게 전달하고자 하는 정보들을 사용자가 운전 중 실제로 주시하는 도로면에 증강 현실로 구현할 수 있다.

도 4는 본 발명의 일 실시예에 있어서 3차원 헤드업 디스플레이의 광학 설계 예시를 도시한 것이다.

도 4를 참조하면, 본 발명에 따른 3차원 헤드업 디스플레이(400)는 허상(24)을 지면(25)과 대응되도록 눕힌 3차원 시점으로 표현하기 위한 광학 설계 구조를 포함하는 것으로, 디스플레이 장치(display source)(401) 및 컴바이너(combiner)(402)로 구성될 수 있다.

다시 말해, 3차원 헤드업 디스플레이(400)는 광원의 역할을 하는 디스플레이 장치(401)와, 광원의 빛을 사용자의 눈 쪽으로 반사시킴과 동시에 외부(전방)의 빛을 투과시켜주는 컴바이너(402)로 구성될 수 있다.

컴바이너(402)는 단일 혹은 다수의 광학 소자로 이루어질 수 있으며, 이하에서는 설명의 편의를 위하여 단일 광학 소자로 이루어진 컴바이너(402)를 사용하는 경우로 가정한다.

영상의 품질을 높이거나 경우에 따라 최적의 크기와 성능을 가지게 하기 위해서는 디스플레이 장치(401)와 컴바이너(402) 사이에 추가의 광학계를 더 포함할 수 있다.

또한, 컴바이너(402)는 3차원 헤드업 디스플레이(400)에 포함되는 소자로 구성될 수 있으며, 혹은 차량의 윈드실드를 컴바이너(402)로 이용하는 것 또한 가능하다. 차량의 윈드실드를 컴바이너(402)로 이용하기 위해서는 디스플레이 장치(401)의 빛을 운전석 쪽으로 반사시킴과 동시에 외부의 빛을 투과시켜주는 역할의 광학적 추가 조치가 필요하다.

이하에서는 3차원 헤드업 디스플레이(400)에 의한 허상(24)을 지면(25)에 대응되도록 위시시킬 수 있는 디스플레이 장치(401)와 컴바이너(402) 간의 이론적 관계식을 유도한다.

3차원 헤드업 디스플레이(400)의 구성에서 디스플레이 장치(401)와 컴바이너(402)는 지면(25)과 대비하여 수직에 가깝고 차량의 운전석에 앉아 있는 사용자의 눈은 수평 방향과 유사하게 전방 주시를 하게 된다. 도 4는 설명의 편의를 위해 제한한 상황을 도시한 것으로, 3차원 헤드업 디스플레이(400)에 의한 허상(24)이 실제 훨씬 원거리까지 위치할 수 있으며, 실제 상황과 비교하여 일부 차이가 존재할 수 있다.

도 5를 참조하면, 빛이 이동하는 실제 경로는 디스플레이 장치(401)를 출발하여 컴바이너(402)에 의해 반사되고, 이때 반사된 빛이 사용자의 눈에 도달하여 수정체(렌즈)에 의해 망막 초점에 맺히게 된다(실선). 그러나, 사용자가 보는 영상은 실제 영상이 생성되는 디스플레이 평면(display plane)(51) 위치의 실상이 아닌, 허상(24)으로, 이때 허상(24)은 지면과 대응되는 가상의 평면 상에 위치한다(점선). 즉, 디스플레이 평면(51)은 컴바이너(402)를 통하여 허상 평면(virtual image plane)(53)과 이미징 조건(imaging condition)을 만족한다(파선).

허상(24)을 지면과 대응되는 위치에 생성하기 위한 디스플레이 장치(401)와 컴바이너(402)의 이론적 관계식은 사용자의 눈을 제외한 디스플레이 장치(401)와 대응되는 디스플레이 평면(51), 컴바이너(402)와 대응되는 컴바이너 평면(52), 지면과 대응되는 허상 평면(53) 사이의 이미징 조건을 기반으로 도출될 수 있다.

도 6은 디스플레이 장치(401)와 컴바이너(402)의 관계식 도출에 필요한 변수들을 나타내고 있다.

DP는 디스플레이 평면(51), CP는 컴바이너 평면(52), IP는 허상 평면(53)을 의미한다.

CK는 CP(52)와 수직이고 컴바이너(402)의 광학적 중심 C를 지나는 직선을 의미한다.

단, 실제 컴바이너(402)의 위치는 반드시 C를 포함하여 사용될 필요는 없으며, 사용자 시선의 위치에 따라 오프셋을 가지고 위치할 수 있다. 수식화의 편의를 위해 C를 포함하여 관계식을 유도한다.

I는 DP(51)와 CP(52) 및 IP(53)가 교차하는 점, J는 DP(51)와 평행하면서 C를 지나는 직선이 IP(53)와 교차하는 점, K는 CP(52)에 수직이며 C를 지나는 직선이 IP(53)와 교차하는 점을 의미한다.

α는 CK 기준 DP(51)와 IP(53)에서 이미징 조건(imaging condition)을 만족하는 위치의 각도로, 해당 위치는 이미징 조건을 만족하므로 DP(51) 방향 각도와 IP(53) 방향 각도가 항상 일치하게 된다.

β는 IP(53) 혹은 지면 기준 DP(51)의 각도, γ는 IP(53) 혹은 지면 기준 CP(52)의 각도, θ는 DP(51)와 CP(52) 사이의 각도를 의미한다.

h는 IP(53) 혹은 지면으로부터 C까지의 높이, h'는 h에 h "?戮막括* 오프셋을 더한 값(실제적으로 컴바이너(402)가 사용되는 높이)을 의미한다.

s는 IJ의 길이, 즉 지면과 평행한 축 방향으로 높이 h에서의 DP(51)와 CP(52)의 이격 거리(separation distance)를 의미한다.

s'는 지면과 평행한 축 방향으로 높이 h'에서의 DP(51)와 CP(52)의 이격 거리를 의미한다.

d_S는 IP(53) 혹은 지면 기준 컴바이너(402) 중심의 위치로부터 허상(24)이 시작되는 위치까지의 거리를 의미한다.

d_E는 IP(53) 혹은 지면 기준 컴바이너(402) 중심의 위치로부터 허상(24)이 끝나는 위치까지의 거리를 의미한다.

d_I는 허상(24)의 크기를 의미한다.

f는 컴바이너(402)의 초점 거리(focal length)를 의미한다.

먼저, β와 γ 및 θ의 관계식은 다음과 같다.

DP(51)와 IP(53) 사이의 이미징 조건을 적용하면 수학식 1이 성립된다.

[수학식 1]

(γ, θ, h, f는 모두 양수)

여기서, h는 차량에서 지면으로부터 대시보드 위 3차원 헤드업 디스플레이(400) 위치까지의 높이(정확히는 컴바이너(402)의 광학적 중심 C까지의 높이)를 의미한다. 그리고, f는 일반적인 크기와 곡률을 가지는 3차원 헤드업 디스플레이(400)의 컴바이너(402)의 초점 거리를 의미한다.

수학식 1에 h와 f를 대입하면 θ와 γ간의 수치적 관계를 도출할 수 있고, 이를 통하여 β와 γ 및 θ의 관계식 β = γ + θ를 도출할 수 있다.

다음, s'는 수학식 2를 통해 h', β와 γ 및 θ를 이용하여 도출될 수 있다.

[수학식 2]

마지막으로, d_S는, d_E, 및 d_I는 수학식 3을 통해 도출될 수 있다.

[수학식 3]

(α는 CK 기준 양수 또는 음수)

수학식 3을 이용하여 d_S와 d_I를 계산할 수 있으며, 이때 허상(24)의 시작 위치를 나타내는 d_S와 및 허상(24)의 크기를 나타내는 d_I에 대한 조절이 필요하다면 h, α와 β 및 θ 중 적어도 하나를 조절하여 광학 구성을 최적화할 수 있다.

상기한 관계식을 통하여 지면에 대한 DP(51)와 CP(52)의 각도 및 허상(24)의 위치와 크기를 도출할 수 있다.

도 7을 참조하면, 요구되는 아이박스(Eye-box, 눈동자의 위치)의 높이는 일반적으로 운전자가 차량의 운전석에 앉아 있을 때 눈이 위치하는 높이로 결정될 수 있으며, 아이박스와 컴바이너(402) 간의 거리는 눈으로부터 3차원 헤드업 디스플레이(400)의 컴바이너(402)까지의 거리로 결정된다.

컴바이너(402)의 위치는 요구되는 아이박스의 위치에 따라서 오프셋을 포함하여 높이(h')가 결정되며, 그 위치는 반드시 컴바이너(402)의 광학적 중심 C를 포함할 필요는 없다. h'에 따라 DP(51)와 CP(52)의 이격 거리인 s'가 결정될 수 있으며, 이때 s'는 디스플레이 장치(401)와 컴바이너(402)의 거리로서 참고될 수 있다.

따라서, 본 발명에 따른 3차원 헤드업 디스플레이(400)는 상기한 관계식에 기반한 디스플레이 장치(401)와 컴바이너(402)를 통해 운전자가 주시하고 있는 전방의 지면(25)과 대응되도록 눕힌 3차원 시점의 허상(24)을 구현할 수 있다.

운전자와 허상(24) 사이에 다른 차량이나 사람 등 허상(24)과 중첩되는 장애물이 있는 경우 해당 부분에서 운전자가 거리감에 대한 혼동을 느낄 수 있다. 이러한 문제를 해결하기 위해 본 발명에 따른 3차원 헤드업 디스플레이(400)는 차량에 포함된 ADAS나 각종 센서 등 주변 상황을 인식할 수 있는 시스템(미도시)과 연동하여 주변 정보를 획득하고 획득한 주변 정보에 기초하여 허상(24)의 표시를 제어하기 위한 프로세서를 포함할 수 있다. 일례로, 3차원 헤드업 디스플레이(400)는 허상(24)과 중첩되는 장애물이 있는 경우 장애물과 중첩되는 영역의 영상을 차단할 수 있다. 다른 예로, 3차원 헤드업 디스플레이(400)는 허상(24)과 중첩되는 장애물이 있는 경우 허상(24)을 전방의 지면을 대신하여 장애물 상 혹은 장애물보다 가까운 근거리(예컨대, 전방의 장애물 상이나 차량의 본넷 위 혹은 대시보드나 윈드실드 등 차량 내부 등)에 지면에 대해 수직 방향으로 표시할 수 있다. 또 다른 예로, 3차원 헤드업 디스플레이(400)는 허상(24)과 중첩되는 장애물이 있는 경우 물리적으로 허상(24)을 이동시킬 수 있다. 이때, 3차원 헤드업 디스플레이(400)는 디스플레이 장치(401)와 컴바이너(402) 중 적어도 하나를 이동시켜 허상(24)이 표현되는 위치를 이동시킬 수 있다.

그리고, 본 발명에 따른 3차원 헤드업 디스플레이(400)는 운전자가 주시하는 전방의 지면(25)에 대응되는 위치에 허상(24)을 생성할 때 도 8에 도시한 바와 같이 원근감을 주는 영상을 이용하여 지면에 대해 수직 방향으로 입체감 있는 허상(24)을 표현할 수 있다. 이때, 3차원 헤드업 디스플레이(400)는 허상(24)의 시작 위치를 나타내는 d_S를 기준으로 허상(24)의 크기를 나타내는 d_I 내에서 허상(24)의 원근감을 적용할 수 있다.

더 나아가, 3차원 헤드업 디스플레이(400)는 다중 디스플레이 장치를 이용하여 다중 영상을 동시 구현하는 것 또한 가능하다.

도 9는 다중 영상을 동시 구현하기 위한 3차원 헤드업 디스플레이의 광학 설계 구성의 예시를 도시한 것이다.

3차원 헤드업 디스플레이(400)는 멀티 광원이 배치된 형태의 디스플레이 장치(401)를 포함할 수 있으며, 예컨대 지면과 대응되는 눕힌 영상을 생성하는 제1 디스플레이와, 제1 디스플레이를 기준으로 사이드(예를 들어, 좌측과 우측, 상측과 하측 등)에 배치되어 지면에 대해 수직인 영상을 생성하는 제2 디스플레이와 제3 디스플레이를 포함할 수 있다.

따라서, 3차원 헤드업 디스플레이(400)는 복수의 디스플레이를 포함하는 디스플레이 장치(401)를 통해 지면에 눕힌 영상 및 지면과 수직인 영상을 동시에 구현할 수 있다. 지면에 눕힌 영상의 경우 운전 중 사용자가 주시하는 전방 3 m 이상의 원거리에 표현하고 지면과 수직인 영상의 경우 차량의 대시보드나 윈드실드 등 사용자의 전방 약 2~3 m 이내의 근거리에 표현할 수 있다.

이처럼 본 발명의 실시예들에 따르면, 운전자가 운전 중 주시하는 시점에 필요한 시각적 정보를 전방의 지면에 대응되는 위치에 표시하는 3차원 헤드업 디스플레이를 제공할 수 있다. 본 발명에 따른 3차원 헤드업 디스플레이는 차량 내에서 운전자와 일정한 거리 내에 영상이 고정되어 표시되는 기존 헤드업 디스플레이의 한계를 개선하여 운전자가 주시하는 다양한 원거리에 영상을 구현할 수 있다.

특히, 본 발명에 따른 3차원 헤드업 디스플레이는 운전자가 운전 중 주로 주시하는 전방의 지면에 영상을 제공함으로써 운전 도중 눈의 초점을 조절할 필요 없이 자연스럽게 정보를 획득할 수 있다. 본 발명에 따른 3차원 헤드업 디스플레이는 정확히 운전 시야와 동일한 곳에 영상을 구현함으로써 VR이나 AR에서 어지러움과 멀미감의 원인이 되는 원근조절(accommodation)과 양안수렴(vergence)의 차이(즉, vergence accommodation conflict) 없이 편안한 시야를 획득할 수 있고 차량 안에서 운전자를 위한 최적화된 증강현실을 구현할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

차량용 3차원 헤드업 디스플레이에 있어서,
광원의 역할을 하는 디스플레이 장치; 및
상기 광원의 빛을 운전석 쪽으로 반사시킴과 동시에 차량의 외부 빛을 투과시키는 컴바이너
를 포함하고,
상기 광원의 빛에 의한 영상이 상기 차량의 전방 지면과 대응되도록 눕힌 3차원 시점(perspective)의 허상으로 표시되는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제1항에 있어서,
상기 디스플레이 장치에 대응되는 디스플레이 평면은 상기 컴바이너를 통하여 상기 지면에 대응되는 허상 평면과 이미징 조건(imaging condition)을 만족하는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제1항에 있어서,
상기 디스플레이 장치에 대응되는 디스플레이 평면과 상기 컴바이너에 대응되는 컴바이너 평면 및 상기 지면에 대응되는 허상 평면 사이의 이미징 조건을 기반으로 상기 허상이 생성되는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제3항에 있어서,
상기 컴바이너 평면과 수직이면서 상기 컴바이너의 광학적 중심을 지나는 직선을 기준으로 상기 디스플레이 평면과 상기 허상 평면에서 이미징 조건을 만족하는 각도를 이용하여 상기 허상의 시작 위치와 크기가 결정되는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제4항에 있어서,
상기 각도, 상기 허상 평면을 기준으로 상기 디스플레이 평면의 각도, 상기 디스플레이 평면과 상기 컴바이너 평면의 각도, 상기 허상 평면으로부터 상기 컴바이너의 광학적 중심까지의 높이 중 적어도 하나에 의해 상기 허상의 시작 위치와 크기가 조절되는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제3항에 있어서,
상기 허상 평면에서 상기 컴바이너까지의 높이에서 상기 디스플레이 장치와 상기 컴바이너 간 이격 거리는 상기 허상 평면으로부터 상기 컴바이너의 광학적 중심까지의 높이에 해당 높이 방향으로의 오프셋을 더한 높이 값, 상기 허상 평면을 기준으로 상기 디스플레이 평면의 각도, 상기 허상 평면을 기준으로 상기 컴바이너 평면의 각도, 상기 디스플레이 평면과 상기 컴바이너 평면의 각도에 의해 도출되는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제1항에 있어서,
상기 컴바이너의 위치는 요구되는 아이박스(Eye-box)의 위치에 따른 오프셋을 포함하는 높이로 결정되는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제1항에 있어서,
상기 허상을 원근감이 적용된 영상으로 표시하기 위한 프로세서
를 더 포함하는 차량용 3차원 헤드업 디스플레이.
제1항에 있어서,
상기 디스플레이 장치는 다중 영상을 동시에 구현하기 위해 멀티 광원이 배치되는 형태로 구성되는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제9항에 있어서,
상기 디스플레이 장치는,
상기 지면과 대응되도록 눕힌 영상을 생성하기 위한 제1 디스플레이; 및
상기 지면에 대해 수직인 영상을 생성하기 위한 적어도 하나의 제2 디스플레이
를 포함하는 차량용 3차원 헤드업 디스플레이.
제1항에 있어서,
상기 차량에 포함된 ADAS(advanced driver-assistance system) 또는 각종 센서로부터 획득한 주변 정보에 기초하여 상기 허상의 표시를 제어하기 위한 프로세서
를 더 포함하는 차량용 3차원 헤드업 디스플레이.
제1항에 있어서,
상기 차량과 상기 허상 사이에 상기 허상과 중첩되는 장애물이 있는 경우 상기 허상의 표시를 제어하기 위한 프로세서
를 더 포함하는 차량용 3차원 헤드업 디스플레이.
제12항에 있어서,
상기 프로세서는,
상기 허상과 중첩되는 장애물이 있는 경우 상기 장애물과 중첩되는 영역의 영상을 차단하는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제12항에 있어서,
상기 프로세서는,
상기 허상과 중첩되는 장애물이 있는 경우 상기 지면을 대신하여 상기 장애물 상 혹은 상기 장애물보다 가까운 근거리에 상기 지면에 대해 수직인 영상으로 표시하는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.
제12항에 있어서,
상기 프로세서는,
상기 허상과 중첩되는 장애물이 있는 경우 상기 디스플레이 장치와 상기 컴바이너 중 적어도 하나를 이동시켜 상기 허상이 표시되는 위치를 이동시키는 것
을 특징으로 하는 차량용 3차원 헤드업 디스플레이.