KR20200040685A - 윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이 - Google Patents

윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이 Download PDF

Info

Publication number
KR20200040685A
KR20200040685A KR1020190125024A KR20190125024A KR20200040685A KR 20200040685 A KR20200040685 A KR 20200040685A KR 1020190125024 A KR1020190125024 A KR 1020190125024A KR 20190125024 A KR20190125024 A KR 20190125024A KR 20200040685 A KR20200040685 A KR 20200040685A
Authority
KR
South Korea
Prior art keywords
display
mirror
plane
augmented reality
virtual image
Prior art date
Application number
KR1020190125024A
Other languages
English (en)
Other versions
KR102251427B1 (ko
Inventor
정은영
차재원
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Publication of KR20200040685A publication Critical patent/KR20200040685A/ko
Priority to KR1020210058849A priority Critical patent/KR102376329B1/ko
Application granted granted Critical
Publication of KR102251427B1 publication Critical patent/KR102251427B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/211—
    • B60K35/23—
    • B60K35/232—
    • B60K35/233—
    • B60K35/234—
    • B60K35/235—
    • B60K35/28—
    • B60K35/29—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B60K2360/149—
    • B60K2360/179—
    • B60K2360/182—
    • B60K2360/23—
    • B60K2360/31—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements

Abstract

윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이가 개시된다. 3차원 증강현실 헤드업 디스플레이는, 광원의 역할을 하는 디스플레이 장치; 및 상기 광원의 빛을 차량의 윈드실드(windshield)로 반사시키는 자유 곡면 미러(freeform surface mirror)를 포함하고, 상기 광원의 빛을 상기 자유 곡면 미러에 의해 상기 윈드실드로 반사시키는 반사 방식을 통해 상기 광원의 빛에 의한 영상을 3차원 시점(perspective)의 허상으로 상기 차량의 전방의 지면에 포커싱하는 구조를 포함한다.

Description

윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이{THREE DIMENTIONAL AUGMENTED REALITY HEAD-UP DISPLAY FOR POSITIONING VIRTUAL IMAGE ON THE GROUND WITH WINDSHIELD REFLECTION}
아래의 설명은 3차원 헤드업 디스플레이(Head-Up Display)에 관한 것이다.
도 1은 일반적인 헤드업 디스플레이 장치의 정보 확인을 위한 초점 조절을 설명하기 위한 도면이다.
도 1을 참조하면, 일반적인 차량용 헤드업 디스플레이(Head-Up Display, HUD) 장치는 디스플레이(10)로부터 차량의 현재 속도, 연료 잔량, 내비게이션(Navigation) 길 안내 정보 등의 영상을 송출하여 광학계(11, 12)를 통해 운전자의 바로 앞 윈드실드(Wind Shield, 13)에 그래픽 이미지(14)로 투영함으로써 운전자가 불필요하게 시선을 다른 곳으로 옮기는 것을 최소화시켜 주는 차량 디스플레이 장치이다. 여기서, 광학계(11, 12)는 디스플레이(10)로부터 송출된 영상의 광 경로를 변경하기 위해 복수의 미러로 이루어질 수 있다. 이와 같은 차량용 헤드업 디스플레이 장치는 운전자의 즉각적인 반응을 유도함과 동시에 편의성을 제공하는 장점이 있다.
일반적인 차량용 헤드업 디스플레이(HUD) 장치에서 영상은 사용자의 전방 약 2~3 m에 고정되어 위치한다. 반면, 운전 시 운전자의 주시 거리는 근거리~약 300m이다. 이에 따라 운전자는 원거리를 주시하면서 운전하고, 운전 중 헤드업 디스플레이(HUD) 장치의 정보를 확인하기 위해서는 눈의 초점을 큰 폭으로 조정해야 하는 불편함이 존재한다. 즉, 주된 시야가 위치하는 원거리와 영상이 맺힌 ~3m 사이에서 운전자의 반복적인 초점 조절이 이루어진다.
따라서, 운전 중 주시하고 있는 시점에서 눈의 초점의 변화 없이 운전자가 원하는 정보를 획득할 수 있도록 운전 환경에 증강현실을 구현하여 영상 표현 거리의 제약이 없는 3차원 헤드업 디스플레이(3D Head-Up Display) 장치의 개발이 요구된다.
예컨대, 한국등록특허 10-1409846호는 3차원 증강현실 기반 헤드 업 디스플레이 장치에 관한 것으로, 3차원 이미지로 증강된 이미지 정보를 실제 거리정보를 기반으로 입체적으로 표시함으로써 운전자에게 사실적인 정보를 제공할 수 있는 헤드 업 디스플레이 장치에 관한 기술을 기재하고 있다.
한국등록특허 10-1409846호(등록일 2014년 06월 13일)
윈드실드 반사 방식으로 허상을 지면과 일치시켜 운전자의 시점을 기준으로 증강현실의 3차원 허상을 생성할 수 있는 3차원 증강현실 헤드업 디스플레이를 제공한다.
윈드실드를 포함하는 구조로 지면과 일치하는 가상의 3D 영상을 생성하기 위한 광학계의 광효율을 최대화할 수 있는 구조를 제공한다.
3차원 증강현실 헤드업 디스플레이에 있어서, 광원의 역할을 하는 디스플레이 장치; 및 상기 광원의 빛을 차량의 윈드실드(windshield)로 반사시키는 자유 곡면 미러(freeform surface mirror)를 포함하고, 상기 광원의 빛을 상기 자유 곡면 미러에 의해 상기 윈드실드로 반사시키는 반사 방식을 통해 상기 광원의 빛에 의한 영상을 3차원 시점(perspective)의 허상으로 상기 차량의 전방의 지면에 포커싱하는 구조를 포함하는 것을 특징으로 하는 3차원 증강현실 헤드업 디스플레이를 제공한다.
일 측면에 따르면, 상기 윈드실드는 상기 자유 곡면 미러에 의해 반사된 상기 광원의 빛을 아이박스(Eye-box)를 향해 반사시킴과 동시에 외부의 빛을 투과시키는 역할을 포함할 수 있다.
다른 측면에 따르면, 상기 허상을 상기 지면에 포커싱하기 위해 상기 지면으로 연장되는 광선 중 근거리 광선 쪽에 상기 디스플레이 장치가 위치하는 구조로서 상기 광원의 빛이 상기 자유 곡면 미러보다 하부 위치에서 상기 자유 곡면 미러로 전달되는 구조를 포함할 수 있다.
다른 측면에 따르면, 빛 경로의 전체 크기를 줄이기 위한 폴드 미러(fold mirror)를 더 포함하고, 상기 광원의 빛이 상기 디스플레이 장치, 상기 폴드 미러, 상기 자유 곡면 미러, 상기 윈드실드의 순서, 혹은 상기 디스플레이 장치, 상기 자유 곡면 미러, 상기 폴드 미러, 상기 윈드실드의 순서로 전달되는 구조를 포함할 수 있다.
또 다른 측면에 따르면, 상기 디스플레이 장치에 대응되는 디스플레이 평면은 상기 자유 곡면 미러를 통하여 상기 지면에 대응되는 허상 평면과 이미징 조건(imaging condition)을 만족할 수 있다.
또 다른 측면에 따르면, 상기 디스플레이 장치에 대응되는 디스플레이 평면과 상기 자유 곡면 미러에 대응되는 미러 평면 및 상기 지면에 대응되는 허상 평면 사이의 이미징 조건을 기반으로 상기 허상이 생성될 수 있다.
또 다른 측면에 따르면, 상기 이미징 조건을 만족하는 상기 디스플레이 평면의 각도에 기초하여 상기 디스플레이 장치의 각도가 결정될 수 있다.
또 다른 측면에 따르면, 상기 이미징 조건을 만족하는 상기 디스플레이 평면의 각도와 상기 윈드실드의 각도 및 폴드 미러의 각도에 기초하여 상기 디스플레이 장치의 각도가 결정될 수 있다.
또 다른 측면에 따르면, 상기 이미징 조건을 만족하는 상기 미러 평면의 각도와 상기 윈드실드의 각도에 기초하여 상기 자유 곡면 미러의 각도가 결정될 수 있다.
또 다른 측면에 따르면, 상기 자유 곡면 미러의 법선이 상기 허상 평면과 교차하는 점과 상기 자유 곡면 미러의 광학적 중심을 지나는 직선을 기준으로 상기 디스플레이 평면과 상기 허상 평면에서 이미징 조건을 만족하는 각도를 이용하여 상기 허상의 시작 위치와 크기가 결정될 수 있다.
또 다른 측면에 따르면, 상기 각도, 상기 허상 평면을 기준으로 상기 디스플레이 평면의 각도, 상기 디스플레이 평면과 상기 미러 평면의 각도, 상기 허상 평면으로부터 상기 자유 곡면 미러의 광학적 중심까지의 높이 중 적어도 하나에 의해 상기 허상의 시작 위치와 크기가 조절될 수 있다.
또 다른 측면에 따르면, 상기 허상 평면에서 상기 자유 곡면 미러까지의 높이에서 상기 디스플레이 장치와 상기 자유 곡면 미러 간 이격 거리는 상기 허상 평면으로부터 상기 자유 곡면 미러의 광학적 중심까지의 높이에 해당 높이 방향으로의 오프셋을 더한 높이 값, 상기 허상 평면을 기준으로 상기 디스플레이 평면의 각도, 상기 허상 평면을 기준으로 상기 미러 평면의 각도, 상기 디스플레이 평면과 상기 미러 평면의 각도에 의해 도출될 수 있다.
또 다른 측면에 따르면, 상기 자유 곡면 미러의 위치는 요구되는 아이박스(Eye-box)의 위치에 따른 오프셋을 포함하는 높이로 결정될 수 있다.
본 발명의 실시예들에 따르면, 윈드실드 반사 방식으로 허상을 지면과 일치시켜 운전자의 시점을 기준으로 증강현실의 3차원 허상을 생성하는 3차원 증강현실 헤드업 디스플레이를 제공할 수 있다.
본 발명의 실시예들에 따르면, 윈드실드를 포함하는 구조로 지면과 일치하는 가상의 3D 영상을 생성하기 위한 광학계의 광효율을 최대화하는 구조를 제공할 수 있다.
도 1은 일반적인 헤드업 디스플레이 장치의 정보 확인을 위한 초점 조절을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 있어서 3차원 증강현실 헤드업 디스플레이의 영상 위치를 도시한 것이다.
도 3은 본 발명의 일 실시예에 있어서 도로면과 같은 지면과 대응되는 가상의 평면 상에 영상을 제공하는 예시들을 도시한 것이다.
도 4는 본 발명의 일 실시예에 있어서 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이의 예시를 도시한 것이다.
도 5는 본 발명의 일 실시예에 있어서 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이의 광학 설계 구성의 일례를 도시한 것이다.
도 6 내지 도 8은 본 발명의 일 실시예에 있어서 도 5의 광학 설계 구성의 이론식 관계식 도출을 위한 등가 표현을 나타낸 것이다.
도 9는 본 발명의 일 실시예에 있어서 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이의 광학 설계 구성의 다른 예를 도시한 것이다.
도 10은 본 발명의 일 실시예에 있어서 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이의 광학 설계 구성의 또 다른 예를 도시한 것이다.
도 11 내지 도 13은 본 발명의 일 실시예에 있어서 도 9의 광학 설계 구성의 이론식 관계식 도출을 위한 등가 표현을 나타낸 것이다.
도 14 내지 도 17은 본 발명의 일 실시예에 있어서 3차원 증강현실 헤드업 디스플레이의 광학 설계 구성에 따른 광효율을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 있어서 3차원 증강현실 헤드업 디스플레이의 디스플레이 장치와 자유 미러의 관계식 도출에 필요한 변수들을 나타낸 것이다.
도 19는 본 발명의 일 실시예에 있어서 아이박스(Eye-box, 눈동자의 위치)에 따라 결정되는 자유 미러의 위치를 설명하기 위한 예시 도면이다.
도 20 본 발명의 일 실시예에 있어서 디스플레이 평면과 자유 미러 평면 및 허상 평면 사이의 이미징 조건을 나타낸 것이다.
도 21은 본 발명의 일 실시예에 있어서 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이의 디스플레이 장치와 자유 미러의 각도 도출에 필요한 변수들을 나타낸 것이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 간소화 혹은 축약되거나 과장될 수 있다.
도 1을 통해 설명한 기존 헤드업 디스플레이는 물론이고, TV, 모니터, 프로젝터 스크린, VR/AR 글래스 등 대부분의 디스플레이들은 사용자의 시선에 대해 수직 방향으로 위치해 있다.
본 발명의 실시예들은 영상의 위치를 지면과 대응시키는 형태의 3차원 구현 방식을 가진 3차원 증강현실 헤드업 디스플레이를 제공한다. 특히, 가상의 스크린을 지면과 대응되도록 눕힌 3차원 시점으로 표현함으로써 운전 환경에서 운전자의 시점에 대해 최적화된 3차원 증강현실 헤드업 디스플레이를 제공할 수 있다.
도 2는 본 발명의 일 실시예에 있어서 3차원 증강현실 헤드업 디스플레이의 영상 위치를 도시한 것이다.
도 2를 참조하면, 본 발명에 따른 3차원 증강현실 헤드업 디스플레이는 사용자가 눈으로 볼 수 있는 가상의 영상, 즉 허상(24)의 위치를 운전자의 전면 바닥, 즉 지면(25)과 대응되도록 눕힌 3차원 시점으로 표현할 수 있다.
일반적인 차량용 헤드업 디스플레이의 광학계를 통한 영상은 운전자의 2~3 m 전방 고정된 거리에 위치하며 지면(25)과 대체로 수직하게 된다. 이와 달리, 본 발명에 따른 3차원 증강현실 헤드업 디스플레이는 운전자가 주시하는 전방의 지면(25)과 대응되는 가상의 평면 상에 허상(24)을 위치시키고자 하는 것이다.
본 발명에 따른 3차원 증강현실 헤드업 디스플레이는 일반적인 프로젝터와 같은 스크린에 직접 투사하여 실상을 생성하는 방식이 아닌, 헤드업 디스플레이의 광학계를 통해 반사시켜 눈으로 볼 수 있는 허상(24)을 생성하는 방식이다.
차량용 내비게이션에서 제공되는 주된 정보는 주행 중인 도로 상의 경로 정보, 차선 정보, 앞차와의 거리 정보 등에 해당된다. 또한, ADAS(advanced driver-assistance system)에서는 운전자에게 안전과 관계된 정보를 제공하게 되는데, 이때 해당 정보들은 주로 차선 정보, 앞/옆차와의 거리 정보, 돌발 정보 등이다. 마찬가지로, 자율주행 시 운전의 주체인 차량에서 도로 상의 회전이나 차선 변경 등과 같이 앞으로 일어날 상황에 대한 정보를 탑승자에게 제공해 줄 필요가 있다. 경로 정보는 경로를 안내하기 위한 정보로, 직진, 회전 등을 안내하는 TBT(turn-by-turn) 정보를 포함할 수 있다.
도 3을 참조하면, 상기한 정보들, 예컨대 차선 정보(31), 앞차와의 거리 정보(32) 등을 운전자가 주시하고 있는 시점의 실제 도로면 상에 가상의 이미지로 표시해 주는 것이 매우 중요하고 효과적이다. 차선 정보(31)는 주행 중인 차선에 대한 정보로서 차선 상에 표시하고자 하는 주행 정보 혹은 내비게이션 정보를 의미할 수 있다.
본 발명에 따른 3차원 증강현실 헤드업 디스플레이는 가상의 스크린을 지면과 대응되도록 눕힌 3차원 시점으로 표현함으로써 다양한 운전 환경에서 사용자가 운전 중 바라보는 시점에서 눈의 초점을 다른 곳으로 이동할 필요 없이 사용자에게 전달하고자 하는 정보들을 사용자가 운전 중 실제로 주시하는 도로면에 증강 현실로 구현할 수 있다.
애프터마켓(aftermarket) 제품의 헤드업 디스플레이는 주로 컴바이너(combiner) 방식으로 구현되나, 빌트인 제품의 경우 일반적으로 추가적인 부품(컴바이너) 없이 영상 광을 차량의 윈드실드에 바로 반사하는 윈드실드 반사 방식으로 구현되고 있다.
본 발명에 따른 3차원 증강현실 헤드업 디스플레이는 광원의 빛과 외부(전경)의 빛을 결합하여 운전자의 눈으로 전달하는 역할의 결합 기능과, 허상을 운전자의 전방 지면에 일치시켜 운전자의 시점 기준 3차원의 증강현실 영상으로 생성하는 역할의 광학적 기능(3D 기능)을 포함한다.
본 발명에 따른 3차원 증강현실 헤드업 디스플레이는 윈드실드 반사 방식을 이용하는 것으로, 이때 윈드실드는 결합 기능의 역할을 하고, 3D 기능을 위해서는 광학적 파워를 가지는 자유 곡면 미러(freeform surface mirror)(이하, '자유 미러'라 칭함)를 포함한 광학 부품을 이용할 수 있다.
도 4를 참조하면, 본 발명에 따른 3차원 증강현실 헤드업 디스플레이(400)는 윈드실드(40)를 포함하는 반사 방식을 통해 가상의 3D 영상을 생성하기 위한 구성으로, 광원의 역할을 하는 디스플레이 장치(401)와, 광원의 빛을 윈드실드(40)로 반사시켜 가상의 영상을 운전자의 전방 지면에 포커싱하기 위한 자유 미러(402)를 포함할 수 있다. 윈드실드(40)는 자유 미러(402)에 의해 반사된 광원의 빛을 아이박스(Eye-box)(운전자의 눈의 위치)를 향해 반사시킴과 동시에 외부(전방) 빛을 투과시켜주는 역할을 포함할 수 있다.
다시 말해, 3차원 증강현실 헤드업 디스플레이(400)는 광원의 빛을 자유 미러(402)와 윈드실드(40)를 거쳐 지면에 투사(projection)시키는 구조를 포함함으로써 가상의 영상을 운전자의 전방 지면에 위치시킬 수 있다.
윈드실드(40)의 각도를 고려하여 지면에 대한 디스플레이 장치(401)와 자유 미러(402)의 위치와 각도를 도출함으로써 지면에 가상의 3D 영상을 위치시키는 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이(400)를 구현할 수 있다.
도 5는 본 발명의 일 실시예에 있어서 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이의 광학 설계 구성의 일례를 도시한 것이다.
도 5를 참조하면, 본 발명에 따른 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이(400)는 디스플레이 장치(401)로부터 송출된 영상의 광 경로에 있어 디스플레이 장치(401)에서 방사된 빛이 원거리 광선 쪽에 위치하여 자유 미러(402)로 전달되는 구조를 가지며, 빛 경로의 전체 크기를 줄이기 위한 폴드 미러(fold mirror)(403)를 더 포함할 수 있다. 여기서, 윈드실드(40)와 폴드 미러(403)는 광학적 파워가 없는 것으로 가정한다.
원거리 광선이란 지면에 허상을 포커싱하기 위해 디스플레이 장치(401)에서 방사되어 지면으로 연장되는 광선들 중, 운전자를 기준으로 지면 상의 가장 원거리에서 허상을 형성하는 광선을 의미할 수 있다. 반대로, 지면에 허상을 포커싱하기 위해 디스플레이 장치(401)에서 방사되어 지면으로 연장되는 광선들 중 운전자를 기준으로 지면 상의 가장 근거리에서 허상을 형성하는 광선은 근거리 광선으로 지칭할 수 있다.
빛 경로의 전체 크기를 줄인다는 것은, 빛이 디스플레이 장치(401)에서 방사되어 최종적으로 윈드실드에 도달하기 까지 지나가는 경로가 차지하는 영역의 전체 크기를 줄인다는 것을 의미한다. 폴드 미러(403)를 사용하는 경우 빛 경로의 전체 길이(length)는 동일하나 빛 경로가 차지하는 영역의 전체 크기(size)를 줄일 수 있다.
디스플레이 장치(401)에서 방사된 빛이 디스플레이 장치(401)로부터 자유 미러(402)로 직접 전달되거나, 혹은 폴드 미러(403)를 거쳐 반사되어 전달될 수 있으며, 이때 광원의 빛이 원거리 광선에 가까운 위치에서 자유 미러(402)로 전달되는 구조로 구현할 수 있다.
허상을 지면에 포커싱하기 위한 디스플레이 장치(401)와 자유 미러(402)의 이론적 관계식을 도출하는 과정의 설명의 편의를 위하여, 먼저 도 6에 도시한 바와 같이 폴드 미러(403) 및 윈드실드(40)에 의해 변경된 빛의 경로를 간략화한 등가 구조로, 빛의 경로를 바꿔주는 역할 이외에 광학적 역할이 없는 폴드 미러(403) 및 윈드실드(40)의 도시를 생략하고 디스플레이 장치(401)의 위치를 폴드 미러(403)를 기준으로 대칭되는 위치에 표현할 수 있다. 다음, 도 7에 도시한 바와 같이 디스플레이 장치(401)와 대응되는 디스플레이 평면(display plane)(71), 자유 미러(402)와 대응되는 자유 미러 평면(freeform mirror plane)(72), 지면과 대응되는 허상 평면(image plane)(73)을 추가한 후, 도 8에 도시한 바와 같이 허상 평면(73)이 지면과 평행하도록 회전함과 아울러 Y축(그림 상에서 수직 방향의 축) 기준 좌우 반전된 상태로 표현할 수 있다.
도 8을 참조하면, 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이(400)는 디스플레이 장치(401)에서 방사된 빛이 자유 미러(402)보다 상부 위치에서 자유 미러(402)로 전달되는 구조, 다시 말해 허상을 지면에 포커싱하기 위해 지면으로 방사되는 광선 중 운전자의 위치와 가까운 근거리 광선보다 원거리 광선 쪽으로 디스플레이 장치(401)가 위치하는 구조를 포함할 수 있다.
도 9는 본 발명의 일 실시예에 있어서 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이의 광학 설계 구성의 다른 예를 도시한 것이고, 도 10은 본 발명의 일 실시예에 있어서 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이의 광학 설계 구성의 또 다른 예를 도시한 것이다.
도 9와 도 10을 참조하면, 본 발명에 따른 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이(400)는 디스플레이 장치(401)로부터 송출된 영상의 광 경로에 있어 디스플레이 장치(401)에서 방사된 빛이 근거리 광선 쪽에 위치하여 자유 미러(402)로 전달되는 구조를 가지며, 빛 경로의 전체 크기를 줄이기 위한 폴드 미러(403)를 더 포함할 수 있다. 마찬가지로, 윈드실드(40)와 폴드 미러(403)는 광학적 파워가 없는 것으로 가정한다.
디스플레이 장치(401)에서 방사된 빛이 디스플레이 장치(401)로부터 자유 미러(402)로 직접 전달되거나, 혹은 폴드 미러(403)를 거쳐 반사되어 전달될 수 있으며, 이때 광원의 빛이 근거리 광선에 가까운 위치에서 자유 미러(402)로 전달되는 구조로 구현할 수 있다.
도 9는 빛이 이동하는 경로가 디스플레이 장치(401), 폴드 미러(403), 자유 미러(402), 윈드실드(40), 운전자의 순으로 이루어지는 구조인 한편, 도 10에 도시한 바와 같이 빛이 디스플레이 장치(401), 자유 미러(402), 폴드 미러(403), 윈드실드(40)의 순으로 전달되는 구조 또한 구현 가능하다.
도 9에 도시한 광학 설계 구성에 대하여, 허상을 지면에 포커싱하기 위한 디스플레이 장치(401)와 자유 미러(402)의 이론적 관계식을 도출하는 과정의 설명의 편의를 위하여, 먼저 도 11에 도시한 바와 같이 폴드 미러(403) 및 윈드실드(40)에 의해 변경된 빛의 경로를 간략화한 등가 구조로, 빛의 경로를 바꿔주는 역할 이외에 광학적 역할이 없는 폴드 미러(403) 및 윈드실드(40)의 도시를 생략하고 디스플레이 장치(401)의 위치를 폴드 미러(403)를 기준으로 대칭되는 위치에 표현할 수 있다. 다음, 도 12에 도시한 바와 같이 디스플레이 장치(401)와 대응되는 디스플레이 평면(71), 자유 미러(402)와 대응되는 자유 미러 평면(72), 지면과 대응되는 허상 평면(73)을 추가한 후, 도 13에 도시한 바와 같이 허상 평면(73)이 지면과 평행하도록 회전함과 아울러 Y축(그림 상에서 수직 방향의 축) 기준 좌우 반전된 상태로 표현할 수 있다.
도 13을 참조하면, 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이(400)는 디스플레이 장치(401)에서 방사된 빛이 자유 미러(402)보다 하부 위치에서 자유 미러(402)로 전달되는 구조, 다시 말해 허상을 지면에 포커싱하기 위해 지면으로 방사되는 광선 중 운전자의 위치와 가까운 근거리 광선 쪽으로 디스플레이 장치(401)가 위치하는 구조를 포함할 수 있다.
디스플레이 장치(401)에서 방사되는 빛의 각도 별 출력을 비교하면 수직 성분의 출력이 가장 높고 수직에서 멀어질수록 출력이 낮아 수직 혹은 수직에 가까운 각도의 빛을 사용하는 것이 광효율 측면에서 좋다고 할 수 있다.
도 5의 광학 설계 구성을 표현한 도 8의 등가 구조에 따르면, 도 14에 도시한 바와 같이 디스플레이 장치(401)가 자유 미러(402)보다 위쪽에 위치하여 운전자 전방의 원거리 광선 쪽에 위치하게 된다.
도 5의 광학 설계 구성을 표현한 도 8의 등가 구조를 도 15에 도시한 바와 같이 자유 미러 평면(72)이 수직이 되도록 회전시켜 살펴보면 디스플레이 장치(401)에서 방사되는 빛 중 출력이 강한 수직 성분의 빛들은 대부분 버려지고 수직에서 멀어 출력이 상대적으로 낮은 성분의 빛을 주로 사용하게 되므로 광효율이 낮아질 가능성이 있다.
윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이(400)에 디스플레이 장치(401)가 자유 미러(402)보다 상부에 위치하는 광학 설계 구성을 적용하기 위해서는 빛의 방사 각도를 조정할 수 있는 디스플레이 장치, 즉 회절소자, Micro-Lens Array, Digital Micromirror Device와 같은 추가 광학소자가 포함된 디스플레이 장치를 이용함으로써 광효율을 보장할 수 있다.
한편, 도 9의 광학 설계 구성을 표현한 도 13의 등가 구조에 따르면, 도 16에 도시한 바와 같이 디스플레이 장치(401)가 자유 미러(402)보다 아래쪽에 위치하여 운전자 전방의 근거리 광선 쪽에 위치하게 된다.
도 9의 광학 설계 구성을 표현한 도 13의 등가 구조를 도 17에 도시한 바와 같이 자유 미러 평면(72)이 수직이 되도록 회전시켜 살펴보면 디스플레이 장치(401)에서 방사되는 빛 중 출력이 강한 수직 성분의 빛들을 주로 사용하게 되어 광효율이 높다고 할 수 있다.
빛이 이동하는 실제 경로는 디스플레이 장치(401)를 출발하여 자유 미러(402)와 윈드실드(40)에 의해 반사되고, 이때 반사된 빛이 운전자의 눈에 도달하여 수정체(렌즈)에 의해 망막 초점에 맺히게 된다. 그러나, 사용자가 보는 영상은 실제 영상이 생성되는 디스플레이 평면(71) 위치의 실상이 아닌, 허상(24)으로, 이때 허상(24)은 지면과 대응되는 가상의 평면인 허상 평면(73) 상에 위치한다. 즉, 디스플레이 평면(71)은 자유 미러(402)를 통하여 허상 평면(73)과 이미징 조건(imaging condition)을 만족한다.
허상을 지면 위치에 생성하기 위한 디스플레이 장치(401)와 자유 미러(402)의 이론적 관계식은 사용자의 눈을 제외한 디스플레이 장치(401)와 대응되는 디스플레이 평면(71), 자유 미러(402)와 대응되는 자유 미러 평면(72), 지면과 대응되는 허상 평면(73) 사이의 이미징 조건을 기반으로 도출될 수 있다. 또한, 자유 미러 평면(72)의 초점 거리가 이미징 조건의 일 변수가 될 수 있다.
도 18은 디스플레이 장치(401)와 자유 미러(402)의 관계식 도출에 필요한 변수들을 나타내고 있다.
도 18을 참조하면, 디스플레이 평면(71)과 자유 미러 평면(72)의 교점(I)은 지면 상에 위치할 수 있다. 다른 말로 하면, 디스플레이 평면(71)과 자유 미러 평면(72)과 허상 평면(73)은 소정의 위치(I)에서 동시에 교차할 수 있다. 이와 같은 조건 하에 디스플레이 평면(71)과 자유 미러 평면(72)과 허상 평면(73)이 이미징 조건을 만족하도록 광학계를 설정하는 것이 가능하다.
DP는 디스플레이 장치(401)에 대응되는 디스플레이 평면(71), FMP는 자유 미러(402)와 대응되는 자유 미러 평면(72), IP는 지면과 대응되는 평면 자체를 나타내는 허상 평면(73)을 의미한다.
C는 디스플레이 장치(401)에 대한 자유 미러(402)의 광학적 중심을 의미한다. 단, C는 반드시 실제 자유 미러(402) 상에 위치할 필요는 없으며, 사용자 시선의 위치에 따라 자유 미러(402)의 위치에 오프셋을 적용할 수 있다. 사용자 시선의 위치가 높게 설정될수록 오프셋은 크게 설정되고, 사용자 시선의 위치가 낮게 설정될수록 오프셋은 작은 값으로 설정될 수 있다. 이에 따르면, 사용자 시선의 위치가 높게 설정될수록 자유 미러(402)도 높이 설치되고, 사용자 시선의 위치가 낮게 설정될수록 자유 미러(402)도 낮게 설치될 수 있다. 다만, 이러한 변화와 관계없이 전체적인 광학 시스템과 내부 구성요소들간의 수학적 관계식은 동일하게 유지된다.
이하에서는 수식화의 편의를 위해 C가 자유 미러(402) 상에 위치하는 경우를 가정하여 관계식을 유도한다.
I는 DP(71), FMP(72), IP(73)가 만나는 교차점, J는 DP(71)와 평행하면서 중심점 C를 지나는 직선이 IP(73)와 교차하는 점, K는 IP(73) 상의 자유 미러(402) 법선과의 교차점으로서 FMP(72)와 수직이며 중심점 C를 지나는 직선이 IP(73)와 교차하는 점을 의미한다.
α(αE, αS)는 중심점 C와 교차점 K를 지나는 직선 기준 DP(71)와 IP(73)에서 이미징 조건을 만족하는 위치의 각도로, 해당 위치는 이미징 조건을 만족하므로 DP(71) 방향 각도와 IP(73) 방향 각도가 항상 일치하게 된다. 여기서, 이미징 조건은 광원에서 전방위적인 입체각으로 방출된 빛이 자유 미러에 의하여 허상(VI)의 동일한 지점으로 도달하는 조건을 의미한다. 도 18에서 이미징 조건이 만족된다는 것은 디스플레이 장치(401), 자유 미러 및 허상(VI)이 맺히는 IP(73)의 위치와 각도, 및 자유 미러의 초점거리(f)가 렌즈 공식(lens formula)을 만족함에 따라, 디스플레이 장치(401)에서 방출된 빛이 자유 미러에 의하여 IP(73)로 수렴함으로써 IP(73) 상에 허상(VI)이 생성됨을 의미한다. 다만, 본 발명의 실시예들은 실상이 아닌 허상(VI)이 형성되는 예에 대하여 설명하고 있으므로, 빛이 실제로 IP(73)에 도달하는 것은 아니고, 발산하는 광선의 연장선이 IP(73) 상에 수렴하여 허상(VI)을 형성하는 것임은, 본 발명이 속하는 분야의 기술자라면 알 수 있다.
β는 IP(73) 혹은 지면 기준 DP(71)의 각도, γ는 IP(73) 혹은 지면 기준 FMP(72)의 각도, θ는 DP(71)와 FMP(72) 사이의 각도를 의미한다.
h는 IP(73) 혹은 지면으로부터 중심점 C까지의 거리, h'(도 19 참조)는 h에 h방향으로의 오프셋(양수 또는 음수)을 더한 값(실제적인 자유 미러(402)의 높이)을 의미한다. 이때, h'는 자유 미러(402)의 위치에 사용자 시선의 위치에 따른 오프셋이 적용되는 경우에 해당된다.
S는 교차점 I와 교차점 J 간의 길이, 즉 지면과 평행한 축 방향으로 높이 h에서의 DP(71)와 FMP(72)의 이격 거리(separation distance)를 의미한다.
S'(도 19 참조)는 지면과 평행한 축 방향으로 높이 h'(도 19 참조)에서의 DP(71)와 FMP(72)의 이격 거리를 의미한다.
dS는 IP(73) 혹은 지면에 대응되는 평면 상에서, 자유 미러(402)의 중심점 C와 IP(73) 혹은 지면과의 직교 위치 C'로부터 허상(VI)이 시작되는 위치까지의 거리를 의미한다.
dE는 IP(73) 혹은 지면에 대응되는 평면 상에서, 자유 미러(402)의 중심점 C와 IP(73) 혹은 지면과의 직교 위치 C'로부터 허상(VI)이 끝나는 위치까지의 거리를 의미한다.
dI는 허상(VI)의 크기(size), f는 자유 미러(402)의 초점 거리(focal length)를 의미한다.
먼저, β, γ와 θ의 관계식은 다음과 같다.
DP(71)와 IP(73) 사이의 이미징 조건을 적용하면 수학식 1이 성립된다.
[수학식 1]
Figure pat00001
(γ, θ, h, f는 모두 양수로 가정)
여기서, h는 일반적인 차량에서 지면으로부터 대시보드 위 3차원 증강현실 헤드업 디스플레이(400) 위치까지의 높이(정확히는 자유 미러(402)의 광학적 중심 C까지의 높이)를 의미한다. 그리고, f는 일반적인 크기와 곡률을 가지는 3차원 증강현실 헤드업 디스플레이(400)의 자유 미러(402)의 초점 거리를 의미한다.
수학식 1에 h와 f의 값을 대입하면 θ와 γ간의 수치적 관계를 도출할 수 있고, 이를 바탕으로 β와 γ 및 θ의 관계식, β = γ + θ를 통하여 β를 도출할 수 있다.
다음, S는 수학식 2를 통해 h, β와 γ 및 θ를 이용하여 도출될 수 있다.
[수학식 2]
Figure pat00002
마지막으로, dS는, dE, 및 dI는 수학식 3을 통해 도출될 수 있다.
[수학식 3]
Figure pat00003
(α(αE, αS)는 중심점 C와 교차점 K를 지나는 직선 기준 양수 또는 음수)
수학식 3을 이용하여 dS와 dI를 계산할 수 있으며, 이때 허상(VI)의 시작 위치를 나타내는 dS와 및 허상(VI)의 크기를 나타내는 dI에 대한 조절이 필요하다면 α(αE, αS)와 β 및 θ 중 적어도 하나를 조절하여 광학 구성을 최적화할 수 있다.
상기한 관계식을 통하여 지면에 대한 DP(71)와 FMP(72)의 각도 및 허상(VI)의 위치와 크기를 도출할 수 있다.
도 19는 3차원 증강현실 헤드업 디스플레이(400)에서 아이박스(Eye-box, 눈동자의 위치)에 따라 결정되는 자유 미러(402)의 위치를 설명하기 위한 예시 도면을 나타낸 것이다.
도 19를 참조하면, 요구되는 아이박스(Eye-box, 눈동자의 위치)의 높이는 일반적으로 운전자가 차량의 운전석에 앉아 있을 때 눈이 위치하는 높이로 결정될 수 있으며, 아이박스와 자유 미러(402) 간의 거리는 눈으로부터 3차원 증강현실 헤드업 디스플레이(400)의 자유 미러(402)까지의 거리로 결정된다.
자유 미러(402)의 위치는 요구되는 아이박스의 위치에 따라서 오프셋을 포함하여 높이(h')가 결정되며, 그 위치는 반드시 자유 미러(402)의 광학적 중심 C를 포함할 필요는 없다. h'에 따라 DP(71)와 FMP(72)의 이격 거리인 s'가 결정될 수 있으며, 이때 s'는 디스플레이 장치(401)와 자유 미러(402)의 거리로서 참고될 수 있다.
도 9의 광학 설계 구성을 표현한 도 13의 등가 구조를 자유 미러 평면(72)이 수직이 되도록 회전시켜 살펴보면, 도 20에 도시한 바와 같이 DP(71)와 IP(73)에서 이미징 조건을 만족하는 위치의 각도 α(αE, αS)는 DP(71) 방향 각도와 IP(73) 방향 각도가 일치한다.
디스플레이 장치(401)가 근거리 광선과 가깝게 위치하는 구조는 물론이고, 디스플레이 장치(401)가 원거리 광선에 가깝게 위치하는 구조에서도 마찬가지로 이미징 조건을 만족하는 경우 광원과 허상의 위치 각도(αE, αS)가 항상 통일된다.
도 21은 윈드실드(40)와 폴드 미러(403)를 고려한 디스플레이 장치(401)와 자유 미러(402)의 각도 도출에 필요한 변수들을 나타내고 있다. 도 21은 디스플레이 장치(401)가 근거리 광선에 가깝게 위치하는 구조의 광학 설계 구성을 나타내고 있다.
도 21을 참조하면, δ는 지면 기준 디스플레이 장치(401)의 각도, ε는 지면 기준 자유 미러(402)의 각도, σ는 지면 기준 폴드 미러(403)의 각도, τ는 지면 기준 윈드실드(40)의 각도를 의미한다.
도 18를 통해 설명한 디스플레이 장치(401)와 자유 미러(402)의 이론적 관계식을 바탕으로 디스플레이 장치(401)와 자유 미러(402)의 각도를 도출하면 다음과 같다.
디스플레이 장치(401)의 각도는 이미징 조건을 만족하는 DP(71)의 각도(β)를 이용하여 도출 가능하며, 일례로 수학식 4 또는 수학식 5를 통해 도출될 수 있다.
[수학식 4]
δ=β+2×(τ-σ) (if σ≠τ)
[수학식 5]
δ=β (if σ=τ)
자유 미러(402)의 각도는 이미징 조건을 만족하는 FMP(72)의 각도(γ)를 이용하여 도출 가능하며, 일례로 수학식 6을 통해 도출될 수 있다.
[수학식 6]
ε=γ+2τ
따라서, 본 발명에 따른 3차원 증강현실 헤드업 디스플레이(400)는 상기한 관계식에 기반한 디스플레이 장치(401)와 자유 미러(402)를 통해 윈드실드 반사 방식으로 운전자가 주시하고 있는 전방의 지면에 눕힌 3차원 시점의 허상(VI)을 구현할 수 있다.
DP(71)와 IP(73) 사이의 이미징 조건을 만족하는 위치에서 DP(71)의 각도(β)를 이용하여 지면 기준 디스플레이 장치(401)의 각도를 도출하고 FMP(72)의 각도(γ)를 이용하여 지면 기준 자유 미러(402)의 각도를 도출함으로써 지면에 가상의 3D 영상을 위치시키는 윈드실드 반사 방식의 3차원 증강현실 헤드업 디스플레이(400)를 구현할 수 있다.
이처럼 본 발명의 실시예들에 따르면, 윈드실드 반사 방식으로 허상을 지면과 일치시켜 운전자의 시점을 기준으로 증강현실의 3차원 허상을 생성하는 3차원 증강현실 헤드업 디스플레이를 제공할 수 있으며, 특히 윈드실드를 포함하는 구조로 지면과 일치하는 가상의 3D 영상을 생성하기 위한 광학계의 광효율을 최대화하는 구조를 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 3차원 증강현실 헤드업 디스플레이에 있어서,
    광원의 역할을 하는 디스플레이 장치; 및
    상기 광원의 빛을 차량의 윈드실드(windshield)로 반사시키는 자유 곡면 미러(freeform surface mirror)
    를 포함하고,
    상기 광원의 빛을 상기 자유 곡면 미러에 의해 상기 윈드실드로 반사시키는 반사 방식을 통해 상기 광원의 빛에 의한 영상을 3차원 시점(perspective)의 허상으로 상기 차량의 전방의 지면에 포커싱하는 구조를 포함하는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  2. 제1항에 있어서,
    상기 윈드실드는 상기 자유 곡면 미러에 의해 반사된 상기 광원의 빛을 아이박스(Eye-box)를 향해 반사시킴과 동시에 외부의 빛을 투과시키는 역할을 포함하는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  3. 제1항에 있어서,
    상기 허상을 상기 지면에 포커싱하기 위해 상기 지면으로 연장되는 광선 중 근거리 광선 쪽에 상기 디스플레이 장치가 위치하는 구조로서 상기 광원의 빛이 상기 자유 곡면 미러보다 하부 위치에서 상기 자유 곡면 미러로 전달되는 구조를 포함하는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  4. 제1항에 있어서,
    빛 경로의 전체 크기를 줄이기 위한 폴드 미러(fold mirror)
    를 더 포함하고,
    상기 광원의 빛이 상기 디스플레이 장치, 상기 폴드 미러, 상기 자유 곡면 미러, 상기 윈드실드의 순서, 혹은 상기 디스플레이 장치, 상기 자유 곡면 미러, 상기 폴드 미러, 상기 윈드실드의 순서로 전달되는 구조를 포함하는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  5. 제1항에 있어서,
    상기 디스플레이 장치에 대응되는 디스플레이 평면은 상기 자유 곡면 미러를 통하여 상기 지면에 대응되는 허상 평면과 이미징 조건(imaging condition)을 만족하는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  6. 제1항에 있어서,
    상기 디스플레이 장치에 대응되는 디스플레이 평면과 상기 자유 곡면 미러에 대응되는 미러 평면 및 상기 지면에 대응되는 허상 평면 사이의 이미징 조건을 기반으로 상기 허상이 생성되는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  7. 제6항에 있어서,
    상기 이미징 조건을 만족하는 상기 디스플레이 평면의 각도에 기초하여 상기 디스플레이 장치의 각도가 결정되는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  8. 제6항에 있어서,
    상기 이미징 조건을 만족하는 상기 디스플레이 평면의 각도와 상기 윈드실드의 각도 및 폴드 미러의 각도에 기초하여 상기 디스플레이 장치의 각도가 결정되는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  9. 제6항에 있어서,
    상기 이미징 조건을 만족하는 상기 미러 평면의 각도와 상기 윈드실드의 각도에 기초하여 상기 자유 곡면 미러의 각도가 결정되는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  10. 제6항에 있어서,
    상기 자유 곡면 미러의 법선이 상기 허상 평면과 교차하는 점과 상기 자유 곡면 미러의 광학적 중심을 지나는 직선을 기준으로 상기 디스플레이 평면과 상기 허상 평면에서 이미징 조건을 만족하는 각도를 이용하여 상기 허상의 시작 위치와 크기가 결정되는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  11. 제9항에 있어서,
    상기 각도, 상기 허상 평면을 기준으로 상기 디스플레이 평면의 각도, 상기 디스플레이 평면과 상기 미러 평면의 각도, 상기 허상 평면으로부터 상기 자유 곡면 미러의 광학적 중심까지의 높이 중 적어도 하나에 의해 상기 허상의 시작 위치와 크기가 조절되는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  12. 제6항에 있어서,
    상기 허상 평면에서 상기 자유 곡면 미러까지의 높이에서 상기 디스플레이 장치와 상기 자유 곡면 미러 간 이격 거리는 상기 허상 평면으로부터 상기 자유 곡면 미러의 광학적 중심까지의 높이에 해당 높이 방향으로의 오프셋을 더한 높이 값, 상기 허상 평면을 기준으로 상기 디스플레이 평면의 각도, 상기 허상 평면을 기준으로 상기 미러 평면의 각도, 상기 디스플레이 평면과 상기 미러 평면의 각도에 의해 도출되는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
  13. 제1항에 있어서,
    상기 자유 곡면 미러의 위치는 요구되는 아이박스(Eye-box)의 위치에 따른 오프셋을 포함하는 높이로 결정되는 것
    을 특징으로 하는 3차원 증강현실 헤드업 디스플레이.
KR1020190125024A 2018-10-10 2019-10-10 윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이 KR102251427B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210058849A KR102376329B1 (ko) 2018-10-10 2021-05-06 윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180120463 2018-10-10
KR20180120463 2018-10-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210058849A Division KR102376329B1 (ko) 2018-10-10 2021-05-06 윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이

Publications (2)

Publication Number Publication Date
KR20200040685A true KR20200040685A (ko) 2020-04-20
KR102251427B1 KR102251427B1 (ko) 2021-05-12

Family

ID=70164118

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020180120504A KR102116783B1 (ko) 2018-10-10 2018-10-10 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이
KR1020180149251A KR102105447B1 (ko) 2018-10-10 2018-11-28 3차원 증강현실 헤드업 디스플레이의 주변 환경에 따른 오류를 최소화하기 위한 방법 및 장치
KR1020190118709A KR102251425B1 (ko) 2018-10-10 2019-09-26 다중 영상 평면을 이용하여 확장된 운전자 시점에서 증강현실을 구현하는 3차원 헤드업 디스플레이 및 이를 이용한 정보 표시 방법
KR1020190125024A KR102251427B1 (ko) 2018-10-10 2019-10-10 윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이
KR1020200047298A KR20200043961A (ko) 2018-10-10 2020-04-20 3차원 증강현실 헤드업 디스플레이의 주변 환경에 따른 오류를 최소화하기 위한 방법 및 장치
KR1020210003943A KR102270483B1 (ko) 2018-10-10 2021-01-12 3차원 증강현실 헤드업 디스플레이의 주변 환경에 따른 오류를 최소화하기 위한 방법 및 장치
KR1020210058849A KR102376329B1 (ko) 2018-10-10 2021-05-06 윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이
KR1020210058847A KR102359682B1 (ko) 2018-10-10 2021-05-06 다중 영상 평면을 이용하여 확장된 운전자 시점에서 증강현실을 구현하는 3차원 헤드업 디스플레이 및 이를 이용한 정보 표시 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020180120504A KR102116783B1 (ko) 2018-10-10 2018-10-10 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이
KR1020180149251A KR102105447B1 (ko) 2018-10-10 2018-11-28 3차원 증강현실 헤드업 디스플레이의 주변 환경에 따른 오류를 최소화하기 위한 방법 및 장치
KR1020190118709A KR102251425B1 (ko) 2018-10-10 2019-09-26 다중 영상 평면을 이용하여 확장된 운전자 시점에서 증강현실을 구현하는 3차원 헤드업 디스플레이 및 이를 이용한 정보 표시 방법

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020200047298A KR20200043961A (ko) 2018-10-10 2020-04-20 3차원 증강현실 헤드업 디스플레이의 주변 환경에 따른 오류를 최소화하기 위한 방법 및 장치
KR1020210003943A KR102270483B1 (ko) 2018-10-10 2021-01-12 3차원 증강현실 헤드업 디스플레이의 주변 환경에 따른 오류를 최소화하기 위한 방법 및 장치
KR1020210058849A KR102376329B1 (ko) 2018-10-10 2021-05-06 윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이
KR1020210058847A KR102359682B1 (ko) 2018-10-10 2021-05-06 다중 영상 평면을 이용하여 확장된 운전자 시점에서 증강현실을 구현하는 3차원 헤드업 디스플레이 및 이를 이용한 정보 표시 방법

Country Status (6)

Country Link
US (2) US20210197669A1 (ko)
EP (2) EP3865928A4 (ko)
JP (2) JP7183393B2 (ko)
KR (8) KR102116783B1 (ko)
CN (2) CN112534334A (ko)
WO (1) WO2020076090A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112074770B (zh) * 2018-05-04 2023-08-22 哈曼国际工业有限公司 可调整的三维增强现实平视显示器
DE102019206490B3 (de) * 2019-05-06 2020-03-26 Volkswagen Aktiengesellschaft Parkassistenzsystem für ein Kraftfahrzeug, Verfahren zur Einparkunterstützung für ein Kraftfahrzeug, Computerprogramm und computerlesbares Speichermedium
KR102543899B1 (ko) * 2020-08-27 2023-06-20 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
KR102481075B1 (ko) * 2020-10-08 2022-12-26 네이버랩스 주식회사 헤드업 디스플레이의 제어 방법 및 시스템
US11393368B2 (en) * 2020-11-05 2022-07-19 Innolux Corporation Display method of image
WO2023003109A1 (ko) * 2021-07-21 2023-01-26 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
US11919392B2 (en) 2021-09-21 2024-03-05 GM Global Technology Operations LLC Rollable/bendable virtual 3D display
US11800082B2 (en) * 2021-09-21 2023-10-24 GM Global Technology Operations LLC Virtual 3D display
CN113989466B (zh) * 2021-10-28 2022-09-20 江苏濠汉信息技术有限公司 一种基于事态认知的超视距辅助驾驶系统
KR102437335B1 (ko) * 2022-05-12 2022-08-30 (주)텔레컨스 차량용 헤드업 디스플레이 장치
WO2024022322A1 (zh) * 2022-07-28 2024-02-01 未来（北京）黑科技有限公司 显示装置、像源装置、交通设备及显示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101409846B1 (ko) 2012-12-18 2014-06-19 전자부품연구원 3차원 증강현실 기반 헤드 업 디스플레이 장치
KR20150137422A (ko) * 2014-05-29 2015-12-09 현대자동차주식회사 차량용 헤드 업 디스플레이 장치
JP2016064760A (ja) * 2014-09-25 2016-04-28 アイシン・エィ・ダブリュ株式会社 虚像表示装置

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10278629A (ja) * 1997-04-08 1998-10-20 Toppan Printing Co Ltd 車両用ヘッドアップディスプレイ装置
JP2006145998A (ja) 2004-11-22 2006-06-08 Olympus Corp 虚像表示型情報表示システム
JP2007272061A (ja) * 2006-03-31 2007-10-18 Denso Corp ヘッドアップディスプレイ装置
JP4886751B2 (ja) * 2008-09-25 2012-02-29 株式会社東芝 車載用表示システム及び表示方法
JP5161760B2 (ja) * 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法
JP5173031B2 (ja) * 2009-09-28 2013-03-27 株式会社東芝 表示装置及び表示方法
KR20130059650A (ko) * 2011-11-29 2013-06-07 현대자동차일본기술연구소 헤드업 디스플레이의 컨텐츠 초점 제어 장치 및 방법
DE102012218360A1 (de) * 2012-10-09 2014-04-10 Robert Bosch Gmbh Blickfeldanzeige für ein Fahrzeug
WO2014061138A1 (ja) 2012-10-18 2014-04-24 パイオニア株式会社 表示装置及びヘッドアップディスプレイ
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
DE102014219567A1 (de) * 2013-09-30 2015-04-02 Honda Motor Co., Ltd. Dreidimensionale (3-d) navigation
KR101526708B1 (ko) * 2013-11-15 2015-06-05 현대자동차주식회사 헤드업 디스플레이 장치 및 그 디스플레이 방법
JP6269262B2 (ja) * 2014-03-31 2018-01-31 アイシン・エィ・ダブリュ株式会社 虚像表示装置
JP6105532B2 (ja) 2014-09-04 2017-03-29 矢崎総業株式会社 車両用投影表示装置
JP6262111B2 (ja) 2014-09-29 2018-01-17 矢崎総業株式会社 車両用表示装置
KR20160059376A (ko) * 2014-11-18 2016-05-26 엘지전자 주식회사 전자 기기 및 그 제어방법
JP2016102966A (ja) * 2014-11-28 2016-06-02 アイシン・エィ・ダブリュ株式会社 虚像表示装置
JP6504431B2 (ja) 2014-12-10 2019-04-24 株式会社リコー 画像表示装置、移動体、画像表示方法及びプログラム
WO2016166887A1 (ja) 2015-04-17 2016-10-20 三菱電機株式会社 表示制御装置、表示システム、表示制御方法および表示制御プログラム
EP3093194B1 (en) * 2015-04-24 2021-09-22 Ricoh Company, Ltd. Information provision device
JP6516642B2 (ja) * 2015-09-17 2019-05-22 アルパイン株式会社 電子装置、画像表示方法および画像表示プログラム
JP6749334B2 (ja) * 2015-10-09 2020-09-02 マクセル株式会社 投影光学系及びヘッドアップディスプレイ装置
CN106896496B (zh) * 2015-10-30 2019-11-08 洪维毅 场曲型虚像显示系统
US20180356641A1 (en) * 2015-12-01 2018-12-13 Nippon Seiki Co., Ltd. Head-up display
KR102578679B1 (ko) * 2016-01-11 2023-09-13 엘지전자 주식회사 헤드업 디스플레이 장치 및 그 제어방법
WO2017134865A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
JP6629889B2 (ja) * 2016-02-05 2020-01-15 マクセル株式会社 ヘッドアップディスプレイ装置
JP6527605B2 (ja) * 2016-02-12 2019-06-05 マクセル株式会社 車両用映像表示装置
JP6674793B2 (ja) * 2016-02-25 2020-04-01 京セラ株式会社 運転支援情報表示装置
KR102582092B1 (ko) * 2016-04-22 2023-09-25 한국전자통신연구원 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법
US10769831B2 (en) * 2016-08-29 2020-09-08 Maxell, Ltd. Head up display
JP6615368B2 (ja) * 2016-09-01 2019-12-04 三菱電機株式会社 表示装置および調整方法
US20180067310A1 (en) * 2016-09-08 2018-03-08 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Compact wide field of view (wfov) head up display (hud) using two free form mirrors and dlp technology
US10814723B2 (en) * 2016-10-04 2020-10-27 Maxell, Ltd. Projection optical system, and head-up display device
JP6756228B2 (ja) 2016-10-07 2020-09-16 株式会社デンソー 車載表示制御装置
WO2018088360A1 (ja) * 2016-11-08 2018-05-17 日本精機株式会社 ヘッドアップディスプレイ装置
JP2018077400A (ja) * 2016-11-10 2018-05-17 日本精機株式会社 ヘッドアップディスプレイ
US11215819B2 (en) * 2016-11-11 2022-01-04 Nippon Seiki Co., Ltd. Head-up display
JP6646844B2 (ja) * 2016-12-27 2020-02-14 パナソニックＩｐマネジメント株式会社 表示装置、表示装置の制御方法、及び表示装置を備える移動体
JP6845988B2 (ja) 2017-01-26 2021-03-24 日本精機株式会社 ヘッドアップディスプレイ
KR20180093583A (ko) * 2017-02-14 2018-08-22 현대모비스 주식회사 개별 제어가 가능한 다중 표시영역을 구현하는 헤드 업 디스플레이 장치 및 헤드 업 디스플레이 장치의 표시 제어 방법
JP7041851B2 (ja) 2017-03-15 2022-03-25 日本精機株式会社 ヘッドアップディスプレイ装置
US20200152157A1 (en) * 2017-06-28 2020-05-14 Nippon Seiki Co., Ltd. Image processing unit, and head-up display device provided with same
JP6861375B2 (ja) * 2017-06-30 2021-04-21 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
CN107843985A (zh) * 2017-11-27 2018-03-27 上海驾馥电子科技有限公司 增强现实抬头显示器系统及方法
DE102018204254B4 (de) * 2018-03-20 2020-12-03 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
JP7338625B2 (ja) * 2018-07-05 2023-09-05 日本精機株式会社 ヘッドアップディスプレイ装置
JP6952899B2 (ja) * 2018-07-13 2021-10-27 マクセル株式会社 ヘッドアップディスプレイ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101409846B1 (ko) 2012-12-18 2014-06-19 전자부품연구원 3차원 증강현실 기반 헤드 업 디스플레이 장치
KR20150137422A (ko) * 2014-05-29 2015-12-09 현대자동차주식회사 차량용 헤드 업 디스플레이 장치
JP2016064760A (ja) * 2014-09-25 2016-04-28 アイシン・エィ・ダブリュ株式会社 虚像表示装置

Also Published As

Publication number Publication date
KR102251425B1 (ko) 2021-05-12
KR102105447B1 (ko) 2020-04-28
KR20200040662A (ko) 2020-04-20
KR102376329B1 (ko) 2022-03-18
KR102116783B1 (ko) 2020-05-29
KR102270483B1 (ko) 2021-06-29
KR20200040639A (ko) 2020-04-20
EP3865928A1 (en) 2021-08-18
US11865915B2 (en) 2024-01-09
KR20210058770A (ko) 2021-05-24
CN112534334A (zh) 2021-03-19
EP3869259A4 (en) 2022-08-17
US20210197669A1 (en) 2021-07-01
US20210208392A1 (en) 2021-07-08
EP3865928A4 (en) 2022-07-27
KR20210009397A (ko) 2021-01-26
JP7178485B2 (ja) 2022-11-25
EP3869259A1 (en) 2021-08-25
KR20200040507A (ko) 2020-04-20
JP2021534465A (ja) 2021-12-09
KR20200043961A (ko) 2020-04-28
JP2021534464A (ja) 2021-12-09
KR20210058771A (ko) 2021-05-24
KR102251427B1 (ko) 2021-05-12
KR102359682B1 (ko) 2022-02-09
CN113424094A (zh) 2021-09-21
WO2020076090A1 (ko) 2020-04-16
JP7183393B2 (ja) 2022-12-05

Similar Documents

Publication Publication Date Title
KR102376329B1 (ko) 윈드실드 반사 방식으로 가상의 영상을 지면에 위치시키는 3차원 증강현실 헤드업 디스플레이
US9740004B2 (en) Pupil-expanded biocular volumetric display
US8451111B2 (en) Image display apparatus and method for displaying an image
KR102397089B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
KR101127534B1 (ko) 타원형 디옵터의 두 초점의 무비점수차를 이용하여 망막이미지를 생성하는 방법 및 장치
WO2011036788A1 (ja) 表示装置及び表示方法
CN112789545B (zh) 一种hud系统、车辆及虚像的位置调节方法
CN112639580A (zh) 抬头显示装置、抬头显示方法及车辆
KR102652943B1 (ko) 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
CN219676374U (zh) 显示装置、抬头显示装置和交通工具
KR20190085829A (ko) 이미지 표시 장치
JP2007310285A (ja) 表示装置
KR102043389B1 (ko) 아이박스의 공액면에서 영상을 분리해 양안시차를 생성하는 3차원 헤드업 디스플레이 장치 및 그 동작 방법
KR102385807B1 (ko) 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이
US20230154116A1 (en) Vehicle head-up display device and method
US20220063510A1 (en) Head up display and control method thereof
JP2023029870A (ja) 画像を地面に位置させて運転手の視点に拡張現実を実現する３次元拡張現実ヘッドアップディスプレイ
CN116819778A (zh) 一种车载抬头显示系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant