KR20220027494A - 헤드업 디스플레이 및 그 제어방법 - Google Patents

헤드업 디스플레이 및 그 제어방법 Download PDF

Info

Publication number
KR20220027494A
KR20220027494A KR1020200108424A KR20200108424A KR20220027494A KR 20220027494 A KR20220027494 A KR 20220027494A KR 1020200108424 A KR1020200108424 A KR 1020200108424A KR 20200108424 A KR20200108424 A KR 20200108424A KR 20220027494 A KR20220027494 A KR 20220027494A
Authority
KR
South Korea
Prior art keywords
image
ground
display
graphic object
dimensional
Prior art date
Application number
KR1020200108424A
Other languages
English (en)
Other versions
KR102543899B1 (ko
Inventor
차재원
이제선
김기성
박종진
정은영
신용호
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020200108424A priority Critical patent/KR102543899B1/ko
Priority to CN202110660252.7A priority patent/CN114114685A/zh
Priority to EP21185401.3A priority patent/EP3961293A1/en
Priority to US17/380,543 priority patent/US11897394B2/en
Priority to JP2021133896A priority patent/JP2022040021A/ja
Publication of KR20220027494A publication Critical patent/KR20220027494A/ko
Application granted granted Critical
Publication of KR102543899B1 publication Critical patent/KR102543899B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60K2370/1529—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 헤드업 디스플레이 및 그 제어방법에 관한 것이다. 본 발명에 따른 차량의 헤드업 디스플레이는, 광을 출력하는 디스플레이 소자와, 상기 광에 의해 형성되는 영상이 광투과성 영역을 향하여 출력되도록, 상기 광의 경로를 제어하는 광학계와, 상기 영상이 형성되도록 상기 디스플레이 소자를 제어하는 제어부를 포함하고, 상기 광학계는, 상기 광투과성 영역을 통과하여 상기 영상의 허상이 상기 차량의 전방 지면에 위치하도록 상기 광의 경로를 제어하고, 상기 영상은, 상기 영상의 허상에 상기 지면을 기준으로 입체감을 가지는 그래픽 객체가 포함되도록, 아이박스(eye-box)를 기준으로 상기 지면을 향하는 제1 시점과, 상기 아이박스를 기준으로 상기 지면 상의 3차원 공간을 향하는 제2시점을 이용하여 생성되는 것을 특징으로 한다.

Description

헤드업 디스플레이 및 그 제어방법{HEAD UP DISPLAY AND CONTROL METHOD THEREOF}
본 발명은 운전자의 전방에 정보를 출력하는 차량의 헤드업 디스플레이 및 그 제어방법에 관한 것이다.
차량용 헤드업 디스플레이(Head-Up Display, HUD) 장치는 디스플레이에서 출력되는 영상을 광학계를 통해 운전자 전방의 윈드실드(Wind Shield)나 컴바이너에 그래픽 이미지로 투영하여, 운전자에게 정보를 전달하는 장치이다.
여기서, 광학계는 디스플레이로부터 송출된 영상의 광 경로를 변경하기 위해 복수의 미러나 렌즈로 이루어질 수 있다. 이와 같은 차량용 헤드업 디스플레이 장치는 운전자의 즉각적인 반응을 유도함과 동시에 편의성을 제공하는 장점이 있다.
일반적인 차량용 헤드업 디스플레이(HUD) 장치에서 영상은 사용자의 전방 약 2~3 m에 고정되어 위치한다. 반면, 운전 시 운전자의 주시 거리는 근거리~약 300m이다. 이에 따라 운전자는 원거리를 주시하면서 운전하고, 운전 중 헤드업 디스플레이(HUD) 장치의 정보를 확인하기 위해서는 눈의 초점을 큰 폭으로 조정해야 하는 불편함이 존재한다. 즉, 주된 시야가 위치하는 원거리와 영상이 맺힌 ~3m 사이에서 운전자의 반복적인 초점 조절이 이루어진다.
따라서, 운전 중 주시하고 있는 시점에서 눈의 초점의 변화 없이 운전자가 원하는 정보를 획득할 수 있도록 운전 환경에 증강현실을 제공하는 헤드업 디스플레이 장치의 개발이 요구된다.
예를 들어, 한국등록특허 제10-2116783호(공고일자 2020년 05월 29일)는 증강현실을 구현하는 헤드업 디스플레이 장치에 관한 것으로, 영상을 지면에 위치시켜 운전자의 시점에서 사실적인 정보를 제공하고 있다. 이와 같이, 영상을 지면에 일치시킴으로써 운전자의 시점에서 3차원으로 정보를 전달하지만, 특정 정보들은 지면에 눕혀져 있는 형태보다는 세워져 있는 형태가 유리할 수 있다.
본 발명은, 영상을 지면에 위치시켜 운전자의 시점에서 증강현실을 구현하는 증강현실 헤드업 디스플레이에서 입체감을 가지는 그래픽 객체를 구현하는 방법을 제공하는 것이다.
보다 구체적으로, 본 발명은 지면에 일치한 영상에서 세워져 있는 형태의 그래픽 객체를 구현하는 방법을 제공한다.
또한, 본 발명은, 지면에 일치된 영상과 지면 상에서 정립된 입체감을 가지는 이미지를 함께 구현하는 헤드업 디스플레이 및 그 제어방법을 제공한다.
위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 헤드업 디스플레이 및 그 제어방법은 지면을 3차원 공간으로 전환하고 상기 3차원 공간에서 영상을 생성한 후에, 상기 지면에 해당하는 2차원 평면으로 전환하는 프로세스를 이용한다.
구체적으로, 차량의 헤드업 디스플레이는, 광을 출력하는 디스플레이 소자와, 상기 광에 의해 형성되는 영상이 광투과성 영역을 향하여 출력되도록, 상기 광의 경로를 제어하는 광학계와, 상기 영상이 형성되도록 상기 디스플레이 소자를 제어하는 제어부를 포함하고, 상기 광학계는, 상기 광투과성 영역을 통과하여 상기 영상의 허상이 상기 차량의 전방 지면에 위치하도록 상기 광의 경로를 제어하고, 상기 영상은, 상기 영상의 허상에 상기 지면을 기준으로 입체감을 가지는 그래픽 객체가 포함되도록, 아이박스(eye-box)를 기준으로 상기 지면을 향하는 제1 시점과, 상기 아이박스를 기준으로 상기 지면 상의 3차원 공간을 향하는 제2시점을 이용하여 생성된다.
상기 제1 시점은 상기 지면에서 상기 허상을 인식하는 운전자 시점이고, 상기 제2시점은 가상 카메라의 카메라 시점이며, 상기 운전자 시점과 상기 카메라 시점을 서로 일치시켜 상기 영상이 생성될 수 있다. 상기 그래픽 객체는 상기 카메라의 시점을 기준으로 상기 3차원 공간상에서 형성되어 상기 운전자 시점을 기준으로 상기 지면의 2차원 평면으로 투영될 수 있다.
상기 제어부는, 상기 그래픽 객체에 해당하는 3차원 물체를 상기 지면에 투영하는 변환과, 상기 영상을 상기 허상으로 변환하는 상기 광학계의 특성을 이용하여, 상기 3차원 물체가 상기 지면에 투영된 상기 그래픽 객체를 생성한다.
상기 제어부는, 상기 3차원 물체를 상기 지면에 투영한 이미지를 생성하고, 상기 투영한 이미지를 상기 광학계의 특성을 이용하여 상기 허상에 대응하는 영상으로 변환할 수 있다.
상기 제어부는, 상기 3차원 물체를 상기 지면에 투영하는 제1변환행렬과, 상기 허상을 상기 영상으로 변환하는 제2변환행렬의 내적을 이용하여, 상기 3차원 물체를 상기 그래픽 객체로 변환할 수 있다.
나아가, 본 발명에서, 상기 영상의 허상은 상기 지면에 대응되는 허상 평면에 형성되는 2차원 그래픽 객체를 구비하고, 상기 입체감을 가지는 그래픽 객체는 상기 허상 평면 상에서 정립되는 3차원 그래픽 객체를 구비할 수 있다.
상기 디스플레이 소자는 단일의 영상을 형성하며, 상기 단일의 영상에 상기 2차원 그래픽 객체와 상기 3차원 그래픽 객체가 선택적으로 생성될 수 있다.
상기 2차원 그래픽 객체는 차선, 주행속도, 주행방향표시 중 적어도 하나와 관련된 정보이고, 상기 3차원 그래픽 객체는 관심지점(POI, Point of Interest), 안내문구, 도착지, 주변차량 중 적어도 하나와 관련된 정보가 될 수 있다.
상기 광투과성 영역은 컴바이너 또는 윈드실드에 형성될 수 있다.
또한, 본 발명은, 영상을 출력하는 디스플레이 소자와, 상기 영상을 광투과성 영역에 결상하여, 상기 영상의 허상이 차량의 전방 지면에 위치하도록 상기 광의 경로를 제어하는 결상 광학계, 및 상기 영상이 형성되도록 상기 디스플레이 소자를 제어하는 제어부를 포함하고, 상기 제어부는 상기 지면에 대응하는 2차원 그래픽 객체와, 상기 지면을 기준으로 입체감을 가지는 3차원 그래픽 객체가 상기 지면에 배치되도록 상기 영상을 생성하며, 상기 2차원 그래픽 객체와 상기 3차원 그래픽 객체는 아이박스(eye-box)를 기준으로 서로 다른 시점 처리를 통하여 생성되는 것을 특징으로 하는 헤드업 디스플레이를 개시한다.
또한, 본 발명은 헤드업 디스플레이의 영상 출력 방법에 있어서, 상기 헤드업 디스플레이를 통하여 전달할 정보를 선택하는 단계; 및 디스플레이 소자에 의하여 형성되는 영상에 대한 허상을 차량의 전방 지면에 배치시키는 광학계를 이용하여, 상기 영상을 출력하는 단계를 포함하고, 상기 영상을 출력하는 단계는 상기 영상의 허상에 상기 지면을 기준으로 입체감을 가지는 그래픽 객체가 포함되도록, 아이박스(eye-box)를 기준으로 상기 지면을 향하는 제1 시점과, 상기 아이박스를 기준으로 상기 지면 상의 3차원 공간을 향하는 제2시점을 이용하여 상기 영상을 생성하는 것을 특징으로 하는 헤드업 디스플레이의 영상 출력 방법을 개시한다.
본 발명에 따른 헤드업 디스플레이 및 그 제어방법은, 영상의 위치를 지면과 대응시키는 형태의 디스플레이 방법에서, 지면 상에 세워진 형태의 영상을 구현할 수 있다. 이를 통하여, 증강현실의 사실적인 정보가 지면 상에서 입체감을 가지는 그래픽 객체로 제공될 수 있다.
또한, 본 발명에 의하면, 지면 상에 입체감을 가지는 그래픽 객체를 구현하므로, 가독성을 높이고, 보다 직관적인 형태로 정보를 전달할 수 있는 헤드업 디스플레이를 구현할 수 있다.
나아가, 본 발명에 의하면, 운전자 시점과 카메라 시점을 일치시키는 방법을 이용하여 보다 간단한 데이터 처리만으로도 지면을 기준으로 2차원 그래픽 객체와 3차원 그래픽 객체를 조합하는 영상을 구현할 수 있다. 또한, 이를 통하여 단일의 디스플레이에서 서로 다른 형태의 영상출력을 구현하는 것이 가능하게 된다.
도 1은 본 발명에 따른 헤드업 디스플레이에서 구현되는 영상을 설명하기 위한 개념도이다.
도 2a는 발명의 일 실시예에 있어서 헤드업 디스플레이의 영상 위치를 도시한 것이다.
도 2b은 및 도 2c는 도 2a의 헤드업 디스플레이에 대한 광학 설계 구성의 서로 다른 실시예들을 도시한 개념도이다.
도 3a 및 도 3b는 본 발명에 따른 헤드업 디스플레이에서 구현되는 영상의 실시예들을 나타내는 개념도이다.
도 4는 지면에 허상을 출력하는 디스플레이 소자의 영상 생성 방법을 나타내는 개념도이다.
도 5a 및 도 5b는 3차원 물체의 2차원 지면 영상 생성 방법을 나타내는 개념도들이다.
도 6은 3차원 물체의 영상을 2차원 지면 영상 생성 방법에 접목하는 이론을 설명하는 개념도이다.
도 7은 도 6의 이론을 이용한 데이처 처리방법의 일 예를 나타내는 흐름도이다.
도 8은 도 7의 각 단계에 해당하는 이미지의 예시한 그림들이다.
도 9는 도 6의 이론을 이용한 데이처 처리방법의 다른 예를 나타내는 흐름도이다.
도 10은 도 9의 각 단계에 해당하는 이미지의 예시한 그림들이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 헤드업 디스플레이 및 그 제어방법에 관한 것으로, 구체적으로 차량에서 운전자의 전방에 정보를 출력하는 헤드업 디스플레이를 제공하는 것이다.
여기에서, 헤드업 디스플레이(Head-Up Display, HUD)는 자동차나 비행기에서 운전자나 조종사의 전방에 설치한 화면 표시 장치로, 운전자나 조종사가 고개를 든 채 각종 정보를 볼 수 있게 한 디스플레이를 의미한다. 본 발명에서는 헤드업 디스플레이가 차량에 적용된 경우로서, 설명의 편의상 자동차를 예시하나 본 발명은 반드시 이에 한정되는 것은 아니다. 예를 들어, 상기 차량은 운전자가 탑승하는 동력장치라면, 자동차, 오토바이, 전동킥보드, 전기자전거, 전동휠체어, 헬기, 비행기, 선박, 건설장비, 이동로봇 등 여러가지 형태 중 하나가 될 수 있다.
이와 같이, 본 발명에 따른 헤드업 디스플레이 및 그 제어방법은 사용자가 고개를 든 채 각종 정보를 인지할 수 있는 장치로서, 여러가지 형태의 차량에 적용 가능하다. 다만, 설명의 편의상 자동차를 예시하여, 이하 본 발명의 헤드업 디스플레이 및 그 제어방법에 대하여 보다 상세히 설명한다.
도 1은 본 발명에 따른 헤드업 디스플레이에서 구현되는 영상을 설명하기 위한 개념도이다.
도 1은 차량의 운전석에 있는 사용자의 시선에서 인식되는 허상으로서, 여러가지 그래픽 객체(111, 112)가 출력된 경우를 예시한다. 본 예시에서는 컴바이너(121)를 이용하여 상기 그래픽 객체를 출력하나, 윈드실드를 이용한 방식에도 적용가능하다.
본 발명에서는, 실제 세계에서의 물체(예를 들어, 표지판)를 영상내에 그래픽(또는 이미지)로 표현한 것을 그래픽 객체로 명명하기로 한다. 이 경우에, 독립하여 구분될 수 있는 물체 단위로 개별 그래픽 객체를 형성할 수 있다. 예를 들어, 3차원 물체인 “표지판”에 해당하는 그래픽 객체와, 2차원 물체인 “차선”에 해당하는 그래픽 객체가 각각 존재할 수 있다.
이 경우에, 상기 차량의 주변 공간은 2차원 공간과 3차원 공간으로 정의될 수 있다. 상기 2차원 공간은 상기 차량이 주행하는 주행면이 될 수 있고, 상기 3차원 공간(12)은 상기 차량이 주행하는 입체 공간이 될 수 있다. 상기 주행면은 지면(11)으로 지칭될 수 있으며, 상기 차량의 바퀴가 맞닿는 면으로 이해되어 질 수 있다. 또한, 본 발명에서 상기 지면은 반드시 주행면에 한정되는 것은 아니며, 도로면, 보행로 등이 될 수 있다.
한편, 상기 차량에 탑승한 사용자는 상기 지면(11) 및 3차원 공간(12) 중 적어도 하나의 공간을 바라볼 수 있다.
본 발명의 헤드업 디스플레이에 의하면, 상기 지면(11)에는 증강현실의 정보가 허상으로 출력될 수 있다. 예를 들어, 상기 사용자가 주시하고 있는 시점의 실제 도로면 상에 가상의 이미지가 표시된다.
이 때에, 상기 가상의 이미지는 상기 지면(11)에 위치한 가상의 스크린에서 2차원으로 표시되므로, 2차원 그래픽 객체(111)라 지칭될 수 있다. 도시에 의하면, 상기 2차원 그래픽 객체(111)는, 주행 중인 도로 상의 회전 정보, 차선 정보, 앞차와의 거리 정보, 주행방향표시(또는 내비게이션 정보), 제한속도 표시, 차선이탈 경보 등의 정보 중 적어도 하나에 해당할 수 있다. 이러한 예로서, 도시된 바와 같이, 상기 2차원 그래픽 객체(111)는 차선, 주행속도, 주행방향표시(또는 내비게이션 정보) 중 적어도 하나와 관련된 정보가 될 수 있다. 보다 구체적으로, 제한속도 60에 대한 정보와 차선 내에 주행가이드가 상기 2차원 그래픽 객체(111)로서 상기 지면상에 출력된다.
다른 의미로, 상기 디스플레이 소자에서 출력되는 광에 의하여 영상이 형성되며, 상기 영상의 허상은 상기 지면(11)에 대응되는 허상 평면에 형성되는 2차원 그래픽 객체를 구비한다.
이와 같이, 본 발명에 따른 헤드업 디스플레이가 가상의 스크린을 지면에 대응시킴에 따라, 사용자는 다양한 운전 환경에서 눈의 초점을 다른 곳으로 이동할 필요 없이 직관적으로 정보를 인지할 수 있게 된다. 즉, 헤드업 디스플레이가 전달하고자 하는 정보들이 사용자가 운전 중 실제로 주시하는 지면에 증강 현실로 구현된다.
한편, 본 도면을 참조하면, 본 발명에 따른 헤드업 디스플레이는 상기 3차원 공간(12)에서 입체감을 가지는 그래픽 객체를 출력할 수 있다. 보다 구체적으로, 상기 입체감을 가지는 그래픽 객체는 상기 허상 평면 상에서 정립되는 3차원 그래픽 객체(112)를 구비할 수 있다.
상기 3차원 그래픽 객체(112)는 상기 지면(11)에 위치하면서 상기 3차원 공간(12)으로 적어도 일부가 돌출하는 형태의 3차원 이미지로서 사용자가 입체로 인식하는 이미지가 될 수 있다. 이러한 예로서, 상기 3차원 그래픽 객체(112)는 상기 지면상에서 세워진 정립 이미지가 될 수 있다. 또한, 상기 3차원 그래픽 객체(112)는 관심지점(POI, Point of Interest), 안내문구, 도착지, 주변차량 중 적어도 하나와 관련된 정보가 될 수 있다.
보다 구체적으로, 상기 정립 이미지는, 서로 다른 특성을 갖는 제1 정립 이미지 및 제2 정립 이미지 중 어느 하나일 수 있다.
여기에서, 제1 정립 이미지는, 깊이(depth) 값을 갖는 3차원 이미지일 수 있다. 이 경우, 1 정립 이미지는, 좌안 및 우안 영상의 조합에 의하여 형성되거나, 홀로그램으로 구현될 수 있다.
나아가, 제2 정립 이미지는, 실제 깊이 값을 갖지는 않으나, 착시 현상 등에 의하여, 3차원의 이미지와 같이 느껴지는 이미지일 수 있다. 이러한, 착시 현상을 통하여 2차원 평면상에 위치하나, 운전자가 지면에 대하여 세워진 것처럼 느끼게 된다. 이하, 설명에서는 상기 정립 이미지가 상기 제2정립 이미지로서 구현되는 것을 예시한다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 상기 제1정립 이미지를 구현하는 방법의 일부로도 이용될 수 있다.
본 도면을 참조하면, 상기 차량의 우측 전방에 주유소가 위치하면, 상기 차량은 상기 주유소에 대한 정보를 인식하고, 상기 헤드업 디스플레이는 상기 주유소가 위치하는 지점에 주유소 이미지를 출력한다.
상기 주유소 이미지는 상기 3차원 그래픽 객체(112)가 될 수 있으며, 예를 들어 상기 지면(11) 상에서 세워진 이미지가 될 수 있다.
이와 같이, 본 발명에서는 지면(11)에 일치한 2차원 그래픽 객체(111)를 생성하는 헤드업 디스플레이를 이용하여 상기 지면(11) 상에서 입체감을 가지는 3차원 그래픽 객체(112)를 출력한다.
이와 같이, 본 발명은, 사용자가 주시하는 지면에 증강 현실로 전달하고자 하는 정보들을 제공하며, 이 경우에, 2차원 그래픽 객체와 3차원 그래픽 객체를 상기 정보들의 종류에 따라 선택하여 보다 직관적인 헤드업 디스플레이를 구현한다. 이하에서는, 첨부된 도면과 함께, 본 발명에 따른 헤드업 디스플레이 및 그 제어 방법에 대하여 보다 구체적으로 살펴본다.
도 2a는 발명의 일 실시예에 있어서 헤드업 디스플레이의 영상 위치를 도시한 것이며, 도 2b은 및 도 2c는 도 2a의 헤드업 디스플레이에 대한 광학 설계 구성의 서로 다른 실시예들을 도시한 개념도이고, 도 3a 및 도 3b는 본 발명에 따른 헤드업 디스플레이에서 구현되는 영상의 실시예들을 나타내는 개념도이다.
먼저, 도 2a를 참조하면, 본 발명에 따른 헤드업 디스플레이는 사용자(13)가 눈으로 볼 수 있는 가상의 영상, 즉 허상(110)의 위치를 운전자의 전면 바닥, 즉 지면(11)과 대응되도록 눕힌 3차원 시점으로 표현할 수 있다.
일반적인 차량용 헤드업 디스플레이의 광학계를 통한 영상은 운전자의 2~3 m 전방 고정된 거리에 위치하며 지면(11)과 대체로 수직하게 된다. 이와 달리, 본 발명에 따른 헤드업 디스플레이는 3차원 증강현실 디스플레이로서, 운전자가 주시하는 전방의 지면(11)과 대응되는 가상의 평면 상에 허상(110)을 위치시키고자 하는 것이다.
이 경우에, 상기 헤드업 디스플레이는 디스플레이 소자와 광학계를 구비할 수 있다. 본 발명에 따른 헤드업 디스플레이는 일반적인 프로젝터와 같은 스크린에 직접 투사하여 실상을 생성하는 방식이 아닌, 헤드업 디스플레이의 광학계를 통해 반사시켜 눈으로 볼 수 있는 허상(110)을 생성하는 방식이다.
상기 디스플레이 소자는 광을 출력하고, 상기 광학계는 상기 광에 의해 형성되는 영상이 광투과성 영역을 향하여 출력되도록, 상기 광의 경로를 굴절이나 반사 등을 통하여 제어한다.
상기 광학계는 상기 디스플레이 소자의 영상을 결상하는 결상 광학계가 될 수 있으며, 상기 결상 광학계는 광이 상기 광투과성 영역을 지나면서 퍼져서, 지면에 허상을 출력하도록 이루어진다. 이 때에, 상기 광투과성 영역은 컴바이너(combiner, 121, 도 2b 참조) 또는 윈드실드(221, 도 2c 참조)에 형성될 수 있다.
먼저, 도 2b를 참조하면, 본 발명에 따른 헤드업 디스플레이(120)는 디스플레이 소자(122) 및 컴바이너(121)를 포함할 수 있다.
상기 디스플레이 소자(122)는 디스플레이 패널, 디스플레이 소스 등으로 지칭될 수 있으며, LCD(Liquid Crystal Display), LED(Light Emitting Diode), DLP(Digital Light Projector), OLED(Organic Light Emitting Diodes), LD(Laser Diode), LBS(Laser Beam Scanning) 디스플레이 중 어느 하나가 될 수 있다.
상기 컴바이너(121)는 광을 사용자의 눈 쪽으로 반사시킴과 동시에 외부(전방)를 향하여 투과하도록 이루어진다. 상기 컴바이너(121)는 단일 혹은 다수의 광학 소자로 이루어질 수 있으며, 이하에서는 설명의 편의를 위하여 단일 광학 소자로 이루어진 컴바이너를 사용하는 경우로 가정한다.
영상의 품질을 높이거나 경우에 따라 최적의 크기와 성능을 가지게 하기 위해서는 디스플레이 소자(122)와 컴바이너(121) 사이에 추가의 광학계(미도시)를 포함할 수 있다. 또한, 컴바이너(122)는 헤드업 디스플레이(120)에 포함되는 소자로 구성될 수 있다.
한편, 상기 차량의 윈드실드를 컴바이너로 이용하는 것 또한 가능하다. 도 2c를 참조하면, 차량의 윈드실드(221)를 컴바이너로 이용하기 위하여, 헤드업 디스플레이(220)는 디스플레이 소자(222) 및 미러(223)를 구비할 수 있다.
상기 디스플레이 소자(222)는 전술한 컴바이너 방식의 디스플레이 소자와 동일한 특징을 가지므로, 이에 대한 설명은 전술한 내용으로 갈음한다.
상기 미러(223)는 상기 디스플레이 소자(222)의 광을 윈드실드(221)로 반사시켜 가상의 영상(허상)을 운전자의 전방 지면에 포커싱하는 기능을 한다. 이 때에, 윈드실드(221)는 미러(223)에 의해 반사된 광원의 빛을 아이박스(Eye-box)를 향해 반사시킴과 동시에 외부(전방) 빛을 투과시켜주는 역할을 할 수 있다. 상기 아이박스는 사용자가 이미지를 인지할 수 있는 공간 볼륨으로서, 운전자의 눈의 위치를 의미한다.
상기 헤드업 디스플레이(220)는 광원(222)의 빛을 미러(223)와 윈드실드(221)를 거쳐 지면에 투사(projection)시키는 구조를 포함함으로써 가상의 영상을 운전자의 전방 지면에 위치시킬 수 있다. 또한, 이 경우에 상기 미러(223)는 광학계로서, 복수의 미러를 구비할 수 있다.
상기에서 설명한 바와 같이, 본 발명에서는 컴바이너 또는 윈드실드 방식의 헤드업 디스플레이가 모두 적용될 수 있으며, 지면(11)에 허상(110)을 배치하도록 이루어진다. 나아가, 본 발명은 도 1을 참조하여 설명한 바와 같이, 상기 지면(11)에 위치하는 허상(110)에서 입체감을 가지는 3차원 그래픽 객체(112, 도 1 참조)를 구현한다.
이와 같이 본 발명에서는 2차원 그래픽 객체를 구현하는 디스플레이 소자와, 3차원 그래픽 객체를 구현하는 디스플레이 소자가 별도로 구비되는 것이 아니라 단일의 디스플레이 소자에서 2차원 그래픽 객체 및 3차원 그래픽 객체를 구현한다. 예를 들어, 상기 디스플레이 소자는 단일의 영상을 형성하며, 상기 단일의 영상에 상기 2차원 그래픽 객체와 상기 3차원 그래픽 객체가 생성될 수 있다. 이 경우에 상기 2차원 그래픽 객체와 상기 3차원 그래픽 객체는 선택적으로 생성되거나, 동시에 생성될 수 있다.
상기 3차원 그래픽 객체의 예로서, 도 3a와 같이 건널목에서 차량의 과속 방지를 위해 장애물 이미지(113)가 지면 상에 형성될 수 있다. 또 다른 예로서, 도 3b와 같이 주변상황에 대한 정보를 지면에 대하여 세워진 형태의 안내문구(114)가 출력될 수 있다. 상기 안내문구(114)는 아이박스에서 바라보았을 때 세워진 글자로 보이도록 구현되어, 높은 가독성을 운전자에게 제공하게 된다.
도 3a 및 도 3b에서 예시한 바와 같이, 본 발명의 헤드업 디스플레이는 3차원 그래픽 정보를 지면상에 출력하여, 보다 직관적인 정보를 운전자에게 제공한다.
차량용 내비게이션에서 제공되는 주된 정보는 주행 중인 도로 상의 경로 정보, 차선 정보, 앞차와의 거리 정보 등을 포함할 수 있다. 또한, ADAS(Advanced Driver-Assistance System)에서는 운전자에게 안전과 관계된 정보를 제공하게 되는데, 이때 해당 정보들은 주로 차선 정보, 앞/옆차와의 거리 정보, 돌발 정보 등이다. 마찬가지로, 자율주행 시 운전의 주체인 차량에서 도로 상의 회전이나 차선 변경 등과 같이 앞으로 일어날 상황에 대한 정보를 탑승자에게 제공해 줄 필요가 있다. 경로 정보는 경로를 안내하기 위한 정보로, 직진, 회전 등을 안내하는 TBT(turn-by-turn) 정보를 포함할 수 있다.
이와 같은, 여러가지 정보들은 2차원 그래픽 객체 또는 3차원 그래픽 객체 중 어느 하나로 선택되어, 본 발명의 헤드업 디스플레이를 통하여 지면에서 구현될 수 있다.
이 때에, 상기 헤드업 디스플레이는 3차원 그래픽 정보를 지면에 허상으로 제공하며, 상기 허상에 해당하는 영상이 상기 디스플레이 소자에서 형성되도록 상기 디스플레이 소자를 제어하는 제어부(미도시)를 구비할 수 있다. 상기 제어부는 상기 영상의 허상에 상기 지면을 기준으로 입체감을 가지는 그래픽 객체가 포함되도록, 아이박스(eye-box)를 기준으로 상기 지면을 향하는 제1 시점과, 상기 아이박스를 기준으로 상기 지면 상의 3차원 공간을 향하는 제2시점을 이용하여 상기 영상을 생성한다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니다. 예를 들어, 영상의 생성은 서버나 컴퓨터 등 별개의 장치에서 구현될 수 있다. 이 경우에, 통신을 통하여 생성된 영상이 차량이나 헤드업 디스플레이로 전송될 수 있다.
이와 같이, 본 발명에서는 서로 다른 시점을 일치하는 방법을 이용하여, 디스플레이 소자의 영상을 도출한다.
이 경우에, 상기 제1 시점은 상기 지면에서 상기 허상을 인식하는 운전자 시점이고, 상기 제2시점은 가상 카메라의 카메라 시점이며, 상기 운전자 시점과 상기 카메라 시점을 서로 일치시켜 상기 영상이 생성될 수 있다. 이하, 이러한 디스플레이 소자의 영상 도출 방법에 대하여 보다 상세히 설명한다.
보다 구체적으로, 이하에서는 지면에 위치한 영상을 구현하는 헤드업 디스플레이를 이용하여 상기 제어부가 상기 지면에 입체감을 가지는 3차원 그래픽을 출력하는 방법에 대하여 보다 상세히 설명한다.
도 4는 지면에 허상을 출력하는 디스플레이 소자의 영상 생성 방법을 나타내는 개념도이고, 도 5a 및 도 5b는 3차원 물체의 2차원 지면 영상 생성 방법을 나타내는 개념도들이며, 도 6은 3차원 물체의 영상을 2차원 지면 영상 생성 방법에 접목하는 이론을 설명하는 개념도이다.
본 발명에서는 운전자의 시점에서 세워져 있는 형태로 보이는 영상을 지면에 구현한다. 이를 위하여 헤드업 디스플레이에서 영상을 생성하는 2차원 공간(지면, 2차원 이미지 평면)을 3차원 공간으로 전환하고, 3차원 공간에서 정립 영상을 생성한 후에, 생성된 영상을 상기 2차원 공간으로 전환하는 방법을 이용한다.
도 4는, 영상을 지면에 위치시키는 헤드업 디스플레이에서 디스플레이 소자(LCD)에서 생성된 영상이 운전자에게 보여지는 단계는 보여준다. 먼저 디스플레이 소자, 예를 들어 LCD에서 영상을 출력하면, 상기 영상은 헤드업 디스플레이의 광학계 특성이 반영된 변환 행렬, M을 통하여 지면에 표시되는 영상으로 변환된다.
여기서, 변환 행렬 M은 디스플레이 소자(LCD)에서 top-view 로 맵핑하는 인덱스를 포함한 mapping matrix 로 정의되며, 상기 디스플레이 소자(LCD)의 영상을 지면을 기준으로 상측에서 바라본 평면(top-view)의 영상으로 전환한다. 즉, 디스플레이 소자(LCD)의 영상에 상기 헤드업 디스플레이의 광학계의 특성을 반영하면 top-view 영상으로 변환되는 것이다. 여기서, 상기 헤드업 디스플레이의 광학계의 특성은 지면에 위치하는 허상을 출력하는 결상 광학계의 특성을 가질 수 있다.
이후에, 상기 top-view 영상은 운전자의 위치와 영상이 표시된 지면의 관계에 따른 변환 행렬, Dv를 통하여 지면에 표시된 영상을 운전자가 3차원 시점으로 바라보는 영상으로 전환된다. 이 때에, 상기 운전자의 위치는 눈의 높이를 포함하는 위치를 의미할 수 있다.
이러한, 영상 생성 방법에 의하여, 상기 디스플레이 소자(LCD)에서 출력되는 영상을 차량의 운전석의 사용자가 지면에서 인식하게 되며, 이는 운전자 시점의 영상으로 정의될 수 있다.
한편, 도 5a및 도 5b는 지면에 한정되지 않고, 3차원 공간상에서 자유로이 생성된 영상이 운전자에게 보여지는 단계의 일부를 보여준다. 환언하면, 3차원 물체의 2차원 지면 영상으로 전환하는 단계를 보여준다.
먼저, 가상 카메라(140)가 특정 물체(Obj, 141)를 바라본다고 가정하면, 가상 카메라의 시야각(camera FoV) 내의 3차원 공간 상에 상기 특정 물체(Obj, 141)가 위치하게 된다. 이 때에, 상기 특정 물체(Obj, 141)는 물체가 카메라의 위치 및 각도(혹은 운전자의 시점)에 따라 지면에 투영(projection)되는 변환 행렬, C에 의하여, 3차원 공간 상의 물체가 카메라의 위치 및 각도에 따라 지면에 투영된 영상(142)으로 변환된다. 보다 구체적으로, 카메라의 시야각 내의 물체를 지면으로 투영하는 변환 행렬 C를 이용하여 카메라 투영하여 상측에서 바라본 평면(top-view)의 영상으로 전환한다.
이 경우, 가상의 카메라가 바라보는 3차원 공간은 왜곡이 없는 공간이므로, 도 5a의 카메라 투영하여 상측에서 바라본 평면(top-view)의 영상은 반듯한 사다리꼴이 될 수 있다. 이는 도 4에서 평면(top-view)의 영상이 휘게 되는 것과 차이가 나는 점이다.
이 후에, 상기 상측에서 바라본 평면(top-view)의 영상을 상기 가상 카메라에서 지면의 영상을 바라보는 관계를 나타내는 행렬 Cv를 이용하여 상기 가상 카메라가 지면에 투영된 영상을 3차원 시점으로 바라보는 영상을 구현한다. 이와 같은 방법에 의하면, 3차원 공간 상의 물체를 가상의 카메라가 3차원 시점으로 바라볼 때 지면에 투영되는 영상으로 전환할 수 있다.
상기에서 설명한 3차원 물체를 2차원 지면 영상으로 전환하는 방법은 본 발명의 헤드업 디스플레이의 영상 생성 방법에 접목될 수 있다. 즉, 3차원 공간 상의 물체를 3차원 그래픽으로 변환하여, 지면 상에 위치시키는 것이다. 보다 구체적으로, 도 6은 3차원 공간 상의 물체를 본 발명의 헤드업 디스플레이에 접목하는 방법을 보여준다.
도 4를 참조하여 설명한 지면에 허상을 출력하는 디스플레이 소자의 영상 생성 방법과, 도 5a 및 도 5b를 참조하여 설명한 3차원 공간 상의 물체를 3차원 그래픽으로 생성하는 방법을 결합한다. 이러한 결합을 통하여, 3차원 공간 상 위치한 물체를 바라보는 카메라 시점에서 운전자가 헤드업 디스플레이를 통해 바라보고 입체감 있는 3차원 그래픽 객체를 인지하도록 한다. 여기서, 3차원 공간 상 위치한 물체는 헤드업 디스플레이를 통하여 운전자에게 전달하고 싶은 정보로 생성될 수 있다. 이와 같은 방법에 의하면, 3차원 그래픽 객체로 전달하고 싶은 정보가 본 발명의 헤드업 디스플레이를 통하여 지면 상에 입체감을 가지고 출력될 수 있다.
이를 위하여, 3차원 공간 상에서 가상 카메라의 위치는 실제 운전자의 아이박스(exe-box) 위치와 일치될 수 있다. 이를 통하여 운전자 시점과 카메라 시점이 동일하다는 조건이 성립하게 된다.
따라서, 상기 2차원 그래픽 객체와 상기 3차원 그래픽 객체는 아이박스(eye-box)를 기준으로 서로 다른 시점 처리를 통하여 생성된다. 즉, 2차원 그래픽 객체는 운전자 시점만을 고려하여 생성하나, 3차원 그래픽 객체는 아이박스(eye-box)를 기준으로 운전자 시점과 카메라 시점을 서로 일치하여 생성한다.
상기 조건에 의하여, 상기 헤드업 디스플레이가 출력하는 입체감을 가지는 그래픽 객체는 상기 카메라의 시점을 기준으로 상기 3차원 공간상에서 형성되어 상기 운전자 시점을 기준으로 상기 지면의 2차원 평면으로 투영되어 구현될 수 있다.
보다 구체적으로, 상기 조건을 이용하면, 3차원 공간 상에서 구현하고 싶은 특정 물체(Obj)를 운전자가 바라보는 헤드업 디스플레이에서 생성하기 위하여, 실제로 디스플레이 소자(LCD)에서 출력하는 영상은 하기의 수식 (1)로 도출할 수 있다.
LCD = M-1 · DV -1 · CV · C · Obj (1)
여기서, CV = C-1 가 될 수 있다. 그 이유는, 가상 카메라의 위치 및 각도에 따라 특정 물체(Obj)가 보여지는 모습을 지면에 투영했다가 다시 동일한 위치와 각도로 상기 카메라에 보이는 영상을 취득하기 때문이다.
또한, 여기서 DV = CV 가 될 수 있다. 그 이유는, 가상 카메라를 운전자의 눈, 보다 정확하게 아이박스의 위치에 일치시키면 가상 카메라와 운전자가 지면의 영상을 바라보는 조건이 동일해지기 때문이다.
따라서, 상기 수식 (1)은 하기의 수식 (2)와 같이 정리될 수 있다.
LCD = M-1 · C · Obj (2)
이와 같이, 본 발명의 헤드업 디스플레이를 이용하여 3차원 그래픽 객체를 지면에 출력하는 방법은, 결국, 전달하고자 하는 정보에 해당하는 특정 물체(Obj)를 M-1 과 C 를 이용하여 상기 디스플레이 소자(LCD)에서 실제로 출력하는 영상으로 변환하는 방법이 될 수 있다. 여기서, M-1은 본 발명의 헤드업 디스플레이의 광학계 특성이 반영된 변환 행렬의 역 변환행렬이고, C는 특정 물체(Obj, 141)를 물체가 카메라의 위치 및 각도(혹은 운전자의 시점)에 따라 지면에 투영하는 변환행렬이 될 수 있다.
이와 같이, 상기 헤드업 디스플레이의 제어부는, 상기 그래픽 객체에 해당하는 3차원 물체를 상기 지면에 투영하는 변환과, 상기 영상을 상기 허상으로 변환하는 상기 광학계의 특성을 이용하여, 상기 3차원 물체가 상기 지면에 투영된 상기 그래픽 객체를 생성한다.
이론적으로, 본 발명에서는 수식 (2) 를 이용하여 3차원 그래픽 객체를 지면에 출력하는 디스플레이 소자(LCD)의 영상을 도출하는 제어방법을 제시한다. 이하, 도 7 내지 도 10c를 참조하여, 본 발명의 헤드업 디스플레이의 제어방법에 대하여 보다 상세히 설명한다.
도 7은 도 6의 이론을 이용한 데이처 처리방법의 일 예를 나타내는 흐름도이고, 도 8은 도 7의 각 단계에 해당하는 이미지의 실제 모습을 예시한 그림들이며, 도 9는 도 6의 이론을 이용한 데이처 처리방법의 다른 예를 나타내는 흐름도이며, 도 10은 도 9의 각 단계에 해당하는 이미지의 실제 모습을 예시한 그림들이다.
먼저, 도 7 및 도 8을 참조하여 LCD = M-1 · C · Obj 에서 C · Obj 를 먼저 구한 다음에, 결과값을 M-1 과 내적하여 디스플레이 소자(LCD)에서 생성할 영상을 도출하는 방법에 대하여 설명한다. 이 경우에, C · Obj 는 시뮬레이션에 의하여 도출될 수 있다.
도 7을 참조하면, 본 발명의 헤드업 디스플레이의 제어방법은, 먼저 상기 헤드업 디스플레이를 통하여 전달할 정보를 선택(S110)한다.
상기 전달할 정보는 도 1 내지 도 3b를 참조하여 설명한 2차원 그래픽 객체 및 3차원 그래픽 객체가 대표하는 정보가 될 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 주유소가 전방에 위치하면 주유소의 위치나 존재여부가 전달할 정보가 되고, 주유소 이미지가 3차원 그래픽 객체가 될 수 있다.
다음으로, 디스플레이 소자에 의하여 형성되는 영상에 대한 허상을 차량의 전방 지면에 배치시키는 광학계를 이용하여, 상기 영상을 출력하는 단계(S120)가 진행된다.
이 경우에, 상기 영상을 출력하는 단계(S120)는 상기 영상의 허상에 상기 지면을 기준으로 입체감을 가지는 그래픽 객체가 포함되도록, 아이박스(eye-box)를 기준으로 상기 지면을 향하는 제1 시점과, 상기 아이박스를 기준으로 상기 지면 상의 3차원 공간을 향하는 제2시점을 이용하여 상기 영상을 생성한다.
상기 제1시점은 차량의 운전석의 사용자가 지면을 바라보는 운전자 시점이 될 수 있다. 또한, 상기 제2시점은 가상의 카메라가 상기 차량의 전방을 바라보는 카메라 시점이 될 수 있다. 상기 영상을 출력하는 단계는 도 6을 참조하여 설명한 바와 같이, 상기 제1시점과 제2시점의 아이박스를 일치시키는 방법을 이용하여 상기 영상을 생성하게 된다.
도시에 의하면, 상기 영상을 출력하는 단계(S120)는 투영하는 단계(S121)와 변환하는 단계(S122)를 포함할 수 있다. 이 단계들에서는, 상기 3차원 그래픽 객체 의 대상이 되는 3차원 물체(또는 정보)를 상기 지면에 투영한 이미지를 생성하고, 상기 투영한 이미지를 상기 광학계의 특성을 이용하여 상기 허상에 대응하는 영상으로 변환한다.
예를 들어, 상기 투영하는 단계(S121)는 상기 아이박스를 기준으로 상기 그래픽 객체에 해당하는 대상물을 상기 지면에 투영하는 단계가 될 수 있다. 이는, LCD = M-1 · C · Obj 에서 C · Obj 를 구하는 단계로서, 특정 물체를 카메라의 위치 및 각도에 따라 지면에 투영되는 이미지를 구하는 단계가 될 수 있다.
도 8은 상기 그래픽 객체에 해당하는 대상물을 상기 지면에 투영한 이미지를 예시한다. 지면을 상측에서 바라본 top-view 의 이미지로 본 도면에서는 흑백이 영역이 반복 및 연속되는 이미지를 예시한다.
다음으로, 상기 변환하는 단계(S122)는 상기 그래픽 객체가 상기 허상이 되도록 상기 지면에 투영된 대상물의 이미지를 상기 광학계의 특성을 반영하여 상기 디스플레이 소자에 의하여 형성되는 영상으로 변환하는 단계가 될 수 있다.
이와 같은 프로세스를 통하여 도출된 영상을 디스플레이 소자에 출력하면, 사용자는 지면에 위치한 허상에서 3차원 그래픽 객체(또는 3차원 이미지)를 인식하게 된다(S130).
보다 구체적으로, C · Obj 의 결과값을 M-1 과 내적하여 디스플레이 소자(LCD)에서 생성할 영상을 도출한다. 도 8 을 참조하면, 실제로 LCD에서 출력할 영상이 상기의 방법을 통하여 도출되었으며, 사용자는 본 발명의 헤드업 디스플레이를 통하여 운전자 시점에서 입체감 있는 이미지를 인식하게 된다.
한편, 상기 헤드업 디스플레이 제어 방법을 수행하기 위하여 상기 헤드업 디스플레이의 제어부를 별도로 구비할 수 있다.
다음으로, 도 9 및 도 10을 참조하여 LCD = M-1 · C · Obj 에서 M-1 · C 를 먼저 구한 다음에, 결과값을 Obj 와 내적하여 디스플레이 소자(LCD)에서 생성할 영상을 도출하는 방법에 대하여 설명한다. 이 경우에, C 는 시뮬레이션에 의하여 M 은 광학계 설계에 의하여 설정될 수 있다.
예를 들어, 도 9를 참조하면, 본 예시에서 상기 헤드업 디스플레이의 제어방법에서 상기 영상을 출력하는 단계(S220)는 변환행렬의 내적 단계(S221)와 그래픽 객체를 생성하는 단계(S222)를 포함할 수 있다. 이 단계들에서, 상기 헤드업 디스플레이의 제어부는, 상기 3차원 그래픽 객체에 해당하는 3차원 물체(또는 정보)를 상기 지면에 투영하는 제1변환행렬과, 상기 허상을 상기 영상으로 변환하는 제2변환행렬의 내적을 이용하여, 상기 3차원 물체를 상기 그래픽 객체로 변환한다.
예를 들어, 상기 변환행렬의 내적 단계(S221)는 제1변환행렬과 제2변환행렬의 내적을 먼저 구한다. 상기 제1변환행렬은 카메라에서 물체를 지면에 투영하는 C가 되고, 상기 제2변환행렬은 상기 헤드업 디스플레이의 디스플레이 소자에서 top-view 로 맵핑하는 M의 역행렬이 될 수 있다.
다음으로, 상기 그래픽 객체를 생성하는 단계(S222)는 내적의 결과값을 이용하여 3차원 물체를 그래픽 객체로 변환한다.
도 10을 참조하면, 본 예시의 제어방법에 의하여, 3차원 공간 상에 위치하는 물체(Object)를 실제로 디스플레이 소자에 출력하는 영상으로 변환한 결과를 확인할 수 있다.
구체적인 예로서, 도 10의 (a)를 참조하면, 3차원 공간 상에 좌회전 표시의 화살표가 3차원 물체인 정립영상으로 위치하고, 그 하단에 주행방향을 나타내는 선들이 지면에 수평하게 2차원 평면상에 배치된다. 이와 같은 물체들을 본 예시의 제어방법을 통하여 영상 전환하면, 도 10의 (b)에 도시된 바와 같이 디스플레이 소자(LCD)에 출력할 영상이 도출된다. 또한, 본 발명의 헤드업 디스플레이를 통하여 사용자는 도 10의 (c)에 도시된 바와 같이 주행방향을 나타내는 2차원 그래픽 객체와 좌회전 표시를 나타내는 3차원 그래픽 객체를 인식하게 된다.
이상에서 설명한 바와 같이, 본 발명에 따른 헤드업 디스플레이 및 그 제어방법은, 영상의 위치를 지면과 대응시키는 형태의 디스플레이 방법에서, 지면 상에 세워진 형태의 영상을 구현할 수 있다. 이를 통하여, 증강현실의 사실적인 정보가 지면 상에서 입체감을 가지는 그래픽 객체로 제공될 수 있다.
상기와 같이 설명된 헤드업 디스플레이 및 그 제어방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

  1. 차량의 헤드업 디스플레이에 있어서,
    광을 출력하는 디스플레이 소자;
    상기 광에 의해 형성되는 영상이 광투과성 영역을 향하여 출력되도록, 상기 광의 경로를 제어하는 광학계;
    상기 영상이 형성되도록 상기 디스플레이 소자를 제어하는 제어부를 포함하고,
    상기 광학계는, 상기 광투과성 영역을 통과하여 상기 영상의 허상이 상기 차량의 전방 지면에 위치하도록 상기 광의 경로를 제어하고,
    상기 영상은,
    상기 영상의 허상에 상기 지면을 기준으로 입체감을 가지는 그래픽 객체가 포함되도록, 아이박스(eye-box)를 기준으로 상기 지면을 향하는 제1 시점과, 상기 아이박스를 기준으로 상기 지면 상의 3차원 공간을 향하는 제2시점을 이용하여 생성되는 것을 특징으로 하는 것을 차량의 헤드업 디스플레이.
  2. 제1항에 있어서,　
    상기 제1 시점은 상기 지면에서 상기 허상을 인식하는 운전자 시점이고, 상기 제2시점은 가상 카메라의 카메라 시점이며, 상기 운전자 시점과 상기 카메라 시점을 서로 일치시켜 상기 영상이 생성되는 것을 특징으로 하는 차량의 헤드업 디스플레이.
  3. 제2항에 있어서,　
    상기 그래픽 객체는 상기 카메라의 시점을 기준으로 상기 3차원 공간상에서 형성되어 상기 운전자 시점을 기준으로 상기 지면의 2차원 평면으로 투영되는 것을 특징으로 하는 차량의 헤드업 디스플레이.
  4. 제1항에 있어서,　
    상기 제어부는,
    상기 그래픽 객체에 해당하는 3차원 물체를 상기 지면에 투영하는 변환과, 상기 영상을 상기 허상으로 변환하는 상기 광학계의 특성을 이용하여, 상기 3차원 물체가 상기 지면에 투영된 상기 그래픽 객체를 생성하는 것을 특징으로 하는 차량의 헤드업 디스플레이.
  5. 제4항에 있어서,　
    상기 제어부는,
    상기 3차원 물체를 상기 지면에 투영한 이미지를 생성하고, 상기 투영한 이미지를 상기 광학계의 특성을 이용하여 상기 허상에 대응하는 영상으로 변환하는 것을 특징으로 차량의 헤드업 디스플레이.
  6. 제4항에 있어서,　
    상기 제어부는,
    상기 3차원 물체를 상기 지면에 투영하는 제1변환행렬과, 상기 허상을 상기 영상으로 변환하는 제2변환행렬의 내적을 이용하여, 상기 3차원 물체를 상기 그래픽 객체로 변환하는 것을 특징으로 차량의 헤드업 디스플레이.
  7. 제1항에 있어서,
    상기 영상의 허상은 상기 지면에 대응되는 허상 평면에 형성되는 2차원 그래픽 객체를 구비하고,
    상기 입체감을 가지는 그래픽 객체는 상기 허상 평면 상에서 정립되는 3차원 그래픽 객체를 구비하는 것을 특징으로 하는 차량의 헤드업 디스플레이.
  8. 제7항에 있어서,
    상기 디스플레이 소자는 단일의 영상을 형성하며, 상기 단일의 영상에 상기 2차원 그래픽 객체와 상기 3차원 그래픽 객체가 생성되는 것을 특징으로 하는 차량의 헤드업 디스플레이.
  9. 제7항에 있어서,
    상기 2차원 그래픽 객체는 차선, 주행속도, 주행방향표시 중 적어도 하나와 관련된 정보이고, 상기 3차원 그래픽 객체는 관심지점(POI, Point of Interest), 안내문구, 도착지, 주변차량 중 적어도 하나와 관련된 정보인 것을 특징으로 하는 차량의 헤드업 디스플레이.
  10. 제1항에 있어서,
    상기 광투과성 영역은 컴바이너 또는 윈드실드에 형성되는 것을 특징으로 하는 차량의 헤드업 디스플레이.
  11. 영상을 출력하는 디스플레이 소자;
    상기 영상을 광투과성 영역을 통하여 결상하여, 상기 영상의 허상이 차량의 전방 지면에 위치하도록 상기 광의 경로를 제어하는 결상 광학계; 및
    상기 영상이 형성되도록 상기 디스플레이 소자를 제어하는 제어부를 포함하고,
    상기 제어부는 상기 지면에 대응하는 2차원 그래픽 객체와, 상기 지면을 기준으로 입체감을 가지는 3차원 그래픽 객체가 상기 지면에 배치되도록 상기 영상을 생성하며,
    상기 2차원 그래픽 객체와 상기 3차원 그래픽 객체는 아이박스(eye-box)를 기준으로 서로 다른 시점 처리를 통하여 생성되는 것을 특징으로 하는 헤드업 디스플레이.
  12. 제11항에 있어서,　
    상기 제어부는,
    3차원 물체를 상기 지면에 투영하는 변환과, 상기 영상을 상기 지면을 기준으로 상기 허상으로 변환하는 상기 광학계의 특성을 이용하여, 상기 3차원 물체가 상기 지면에 투영된 상기 제3 그래픽 객체를 생성하는 것을 특징으로 하는 헤드업 디스플레이.
  13. 헤드업 디스플레이의 제어방법에 있어서,
    상기 헤드업 디스플레이를 통하여 전달할 정보를 선택하는 단계; 및
    디스플레이 소자에 의하여 형성되는 영상에 대한 허상을 차량의 전방 지면에 배치시키는 광학계를 이용하여, 상기 영상을 출력하는 단계를 포함하고,
    상기 영상을 출력하는 단계는 상기 영상의 허상에 상기 지면을 기준으로 입체감을 가지는 그래픽 객체가 포함되도록, 아이박스(eye-box)를 기준으로 상기 지면을 향하는 제1 시점과, 상기 아이박스를 기준으로 상기 지면 상의 3차원 공간을 향하는 제2시점을 이용하여 상기 영상을 생성하는 것을 특징으로 하는 헤드업 디스플레이의 제어방법.
  14. 제13항에 있어서,　　
    상기 영상을 출력하는 단계는,
    상기 아이박스를 기준으로 상기 그래픽 객체에 해당하는 대상물을 상기 지면에 투영하는 단계; 및
    상기 그래픽 객체가 상기 허상이 되도록 상기 지면에 투영된 대상물의 이미지를 상기 광학계의 특성을 반영하여 상기 디스플레이 소자에 의하여 형성되는 영상으로 변환하는 단계를 포함하는 헤드업 디스플레이의 제어방법.
  15. 제13항에 있어서,　　
    상기 영상을 출력하는 단계는,
    3차원 물체를 상기 지면에 투영하는 제1변환행렬과, 상기 허상을 상기 영상으로 변환하는 제2변환행렬의 내적을 이용하여 상기 그래픽 객체를 생성하는 것을 특징으로 하는 차량의 헤드업 디스플레이의 제어방법.
KR1020200108424A 2020-08-27 2020-08-27 헤드업 디스플레이 및 그 제어방법 KR102543899B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200108424A KR102543899B1 (ko) 2020-08-27 2020-08-27 헤드업 디스플레이 및 그 제어방법
CN202110660252.7A CN114114685A (zh) 2020-08-27 2021-06-15 平视显示器及其控制方法
EP21185401.3A EP3961293A1 (en) 2020-08-27 2021-07-13 Head up display and control method thereof
US17/380,543 US11897394B2 (en) 2020-08-27 2021-07-20 Head up display and control method thereof
JP2021133896A JP2022040021A (ja) 2020-08-27 2021-08-19 ヘッドアップディスプレイ及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200108424A KR102543899B1 (ko) 2020-08-27 2020-08-27 헤드업 디스플레이 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20220027494A true KR20220027494A (ko) 2022-03-08
KR102543899B1 KR102543899B1 (ko) 2023-06-20

Family

ID=76920606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200108424A KR102543899B1 (ko) 2020-08-27 2020-08-27 헤드업 디스플레이 및 그 제어방법

Country Status (5)

Country Link
US (1) US11897394B2 (ko)
EP (1) EP3961293A1 (ko)
JP (1) JP2022040021A (ko)
KR (1) KR102543899B1 (ko)
CN (1) CN114114685A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114999213B (zh) * 2022-05-26 2024-04-30 中显全息(北京)科技有限公司 地面交通引导装置及地面交通辅助系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180063688A (ko) * 2016-12-02 2018-06-12 엘지전자 주식회사 차량용 헤드 업 디스플레이
KR20180097339A (ko) * 2017-02-23 2018-08-31 엘지전자 주식회사 차량용 헤드 업 디스플레이
JP2018159882A (ja) * 2017-03-23 2018-10-11 日本精機株式会社 ヘッドアップディスプレイ装置
KR20200040507A (ko) * 2018-10-10 2020-04-20 네이버랩스 주식회사 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이
KR20200067866A (ko) * 2017-10-09 2020-06-12 아우디 아게 자동차에서 디스플레이 장치를 작동하기 위한 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
JP2015065614A (ja) * 2013-09-26 2015-04-09 日産自動車株式会社 情報表示制御装置
CN109828671B (zh) * 2014-01-23 2022-02-22 索尼公司 图像显示装置和图像显示方法
US20180204387A1 (en) * 2015-07-28 2018-07-19 Hitachi, Ltd. Image generation device, image generation system, and image generation method
CN111752046B (zh) * 2015-10-15 2023-06-02 麦克赛尔株式会社 平视显示装置
KR20170060652A (ko) * 2015-11-24 2017-06-02 현대오트론 주식회사 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
JP6493361B2 (ja) * 2016-04-01 2019-04-03 株式会社デンソー 車両用装置、車両用プログラム、フィルタ設計プログラム
WO2018193708A1 (ja) * 2017-04-19 2018-10-25 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
JP7254832B2 (ja) * 2018-11-30 2023-04-10 株式会社小糸製作所 ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
JP7028228B2 (ja) * 2019-01-16 2022-03-02 株式会社デンソー 表示システム、表示制御装置及び表示制御プログラム
KR20210087271A (ko) * 2020-01-02 2021-07-12 삼성전자주식회사 3ｄ 증강 현실 내비게이션 정보 표시 방법 및 장치
CN112738487B (zh) * 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180063688A (ko) * 2016-12-02 2018-06-12 엘지전자 주식회사 차량용 헤드 업 디스플레이
KR20180097339A (ko) * 2017-02-23 2018-08-31 엘지전자 주식회사 차량용 헤드 업 디스플레이
JP2018159882A (ja) * 2017-03-23 2018-10-11 日本精機株式会社 ヘッドアップディスプレイ装置
KR20200067866A (ko) * 2017-10-09 2020-06-12 아우디 아게 자동차에서 디스플레이 장치를 작동하기 위한 방법
KR20200040507A (ko) * 2018-10-10 2020-04-20 네이버랩스 주식회사 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이

Also Published As

Publication number Publication date
EP3961293A1 (en) 2022-03-02
US11897394B2 (en) 2024-02-13
JP2022040021A (ja) 2022-03-10
KR102543899B1 (ko) 2023-06-20
US20220063510A1 (en) 2022-03-03
CN114114685A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US8451111B2 (en) Image display apparatus and method for displaying an image
JP2019014474A (ja) 動的焦点面を備える立体ヘッドアップディスプレイ
US8792177B2 (en) Head-up display
US9393870B2 (en) Volumetric heads-up display with dynamic focal plane
KR102124894B1 (ko) 정보 표시 장치
WO2022188096A1 (zh) 一种hud系统、车辆及虚像的位置调节方法
JP6741029B2 (ja) 情報表示装置
KR20150093353A (ko) 헤드 업 디스플레이 장치
US10630950B2 (en) Projection type display device, projection control method, projection control program
CN210348060U (zh) 一种增强现实抬头显示装置及系统
Seo et al. 59‐4: A Study on Multi‐depth Head‐Up Display
KR20190011944A (ko) 차량용 삼차원 헤드업 디스플레이 장치 및 그 형성 방법
JP2023175794A (ja) ヘッドアップディスプレイ
KR102543899B1 (ko) 헤드업 디스플레이 및 그 제어방법
JP2018081276A (ja) 虚像表示装置
JP7110968B2 (ja) ヘッドアップディスプレイ装置
KR20180048049A (ko) 차량용 가변 헤드 업 디스플레이 제어 장치 및 방법
CN115629515B (zh) 立体投影系统、投影系统和交通工具
CN117518518A (zh) 立体显示装置、立体显示系统和交通工具
KR20230014491A (ko) 헤드업 디스플레이 및 그 제어방법
KR20230014492A (ko) 헤드업 디스플레이 및 그 제어방법
KR20230041352A (ko) 헤드업 디스플레이 및 그 제어방법
WO2024065332A1 (zh) 一种显示模组、光学显示系统、终端设备及图像显示方法
CN116206083A (zh) 显示方法、显示设备、交通工具、存储介质及电子设备
JP2023147814A (ja) 表示システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant