KR20160069451A - 차량의 증강현실 hud 표시 방법 및 그 표시 장치 - Google Patents

차량의 증강현실 hud 표시 방법 및 그 표시 장치 Download PDF

Info

Publication number
KR20160069451A
KR20160069451A KR1020150065842A KR20150065842A KR20160069451A KR 20160069451 A KR20160069451 A KR 20160069451A KR 1020150065842 A KR1020150065842 A KR 1020150065842A KR 20150065842 A KR20150065842 A KR 20150065842A KR 20160069451 A KR20160069451 A KR 20160069451A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality hud
vehicle
hud display
error
Prior art date
Application number
KR1020150065842A
Other languages
English (en)
Other versions
KR101713740B1 (ko
Inventor
김성운
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to US14/846,781 priority Critical patent/US9690104B2/en
Priority to DE102015218162.6A priority patent/DE102015218162B4/de
Priority to CN201510665017.3A priority patent/CN105676452B/zh
Publication of KR20160069451A publication Critical patent/KR20160069451A/ko
Application granted granted Critical
Publication of KR101713740B1 publication Critical patent/KR101713740B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/22—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Instrument Panels (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

차량의 증강현실 HUD 표시 방법은, 차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 단계와, 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 차량 운전자의 눈 위치를 검출하는 단계와, 상기 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 단계와, 운전자의 눈과 외부 물체 사이의 거리 정보에 따라 가변되는 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 단계와, 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 외부 물체 정보에 관한 증강현실 HUD 그래픽을 윈드쉴드(windshield)에 표시하는 단계를 포함한다.

Description

차량의 증강현실 HUD 표시 방법 및 그 표시 장치{Method and device for displaying augmented reality HUD for vehicle}
본 발명은 차량의 증강현실 HUD 관련 기술에 관한 것으로서, 보다 상세하게는, HUD(headup display, 헤드업 디스플레이)에서 증강현실 HUD 그래픽(graphic)의 체감 오차를 최소화할 수 있는 차량의 증강현실 HUD 표시 방법 및 그 표시 장치에 관한 것이다.
일반적으로, 자동차(차량)는 첨단 기술이 적용되어 그 기동성과 유용성이 향상됨으로써 현대사회에서 필수적인 제품이 되고 있다. 그리고, 최근에는, 운전자의 눈에 정보를 투영하기 위해 헤드업 디스플레이(HUD, HeadUp Display)가 사용되고 있다.
헤드업 디스플레이(Head Up Displays)는 차량의 운행 정보가 차량의 전면 유리에 표시되도록 설계된 전방 표시 장치이다. 즉, 헤드업 디스플레이 유닛(unit)은 자동차의 클러스터(cluster)에 표시되던 속도, 연료량, 온도 및 경고방향과 같은 다양한 종류의 정보를 운전자가 윈드쉴드 글라스(windshield glass)에서 인식할 수 있도록 가상 이미지(virtual image)를 형성하여 표시하는 것이다.
헤드 업 디스플레이는 처음에는 비행기에서 조종사의 전방 시야를 확보하기 위하여 도입되었으나, 최근에는 차량에서도 주행 정보 제공이나 운전자가 운전 중 고개를 숙임으로써 발생하는 사고 감소 등의 목적을 위하여 도입되고 있다. 또한 헤드업 디스플레이 유닛을 사용함으로써 운전자는 전방에 대한 집중력이 높아져 사고발생위험이 감소하는 장점을 갖는다. 또한 상기 헤드업 디스플레이 유닛은 클러스터의 정보뿐만 아니라 야간에 전방의 물체를 식별할 수 있도록 하는 나이트비젼 기능을 제공하기도 한다.
부연하여 설명하면, 헤드 업 디스플레이는 차량의 내부 동작 정보 및 주행 정보의 영상을 전방의 윈도우 쉴드(Window Shield)에 삽입된 스크린 필름을 통하여 디스플레이하여 운전자의 시선 이동을 최소화함으로써, 운전 중에 전방 주의를 분산시키지 않도록 정보를 제공하는 장치일 수 있다.
이러한 헤드 업 디스플레이는 영상을 생성하는 LCD(Liquid Crystal Display)와 같은 영상 소스(Image Source)와, 영상 소스로부터 생성되어 투사되는 영상이 윈도우 쉴드의 적정 거리 및 유효 촛점거리에 상을 맺도록 하는 광학계와 운전자의 조절을 위한 인터페이스로 구성될 수 있다.
차량용 헤드업 디스플레이는 전방 윈도우 쉴드에 차속, 주행거리, RPM(revolutions per minute) 등과 같은 클러스터의 계기판 정보를 디스플레이하여 운전자가 운전 중에도 쉽게 주행 정보를 파악할 수 있도록 하고 있으며, 차량이 일시 정차하거나 주차 상태에서 출발하는 시기에 차량의 각종 내부 시스템에 대한 정보를 영상으로 형상화하여 윈도우 쉴드 상에 가상의 이미지로 디스플레이할 수 있도록 되어 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명이 해결하려는 기술적 과제(목적)는, 증강현실 HUD(headup display)에서 증강현실 HUD 그래픽(graphic)의 차량의 운전자 또는 사용자에 의한 체감 오차를 최소화할 수 있는 차량의 증강현실 HUD 표시 방법 및 그 장치를 제공하는 것이다.
상기 과제를 해결(달성)하기 위하여, 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 방법은, 차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 단계; 상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치를 검출하는 단계; 상기 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 단계; 상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 단계; 및 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시하는 단계를 포함할 수 있다.
상기 오차를 보정하는 단계는 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게 보정하는 값인 제2 보정 파라미터로 설정하는 단계를 포함할 수 있다.
상기 외부 물체의 위치를 검출하는 센서는 레이더(radar) 또는 라이다(lidar)를 포함할 수 있다. 상기 눈 위치를 검출하는 센서는 카메라를 포함할 수 있다.
상기 오차를 보정하는 단계는 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 로우 패스 필터링(low pass filtering)하는 단계를 포함하고, 상기 로우 패스 필터링(low pass filtering)하기 위한 제1 보정 파라미터에 포함된 차단 주파수는 상기 로우 패스 필터링(low pass filtering)하기 위한 제2 보정 파라미터에 포함된 차단 주파수보다 낮은 값을 가질 수 있다.
상기 외부 물체 정보에 대응하는 HUD 표시 정보는 상기 외부 물체의 속도 정보 또는 상기 외부 물체에 관한 내비게이션 정보를 포함할 수 있다. 상기 내비게이션 정보는 TBT(turnbyturn) 정보를 포함할 수 있다.
상기 과제를 해결하기 위하여, 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 장치는, 차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 물체 검출 센서; 상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치를 검출하는 눈 위치 검출부; 상기 물체 검출 센서에 의해 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 눈 위치 검출부에 의해 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 증강현실 표시좌표 추출부; 상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 오차보정 모듈; 및 상기 오차보정 모듈으로부터 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시하는 그래픽 표시부;를 포함하며, 상기 거리 정보는 상기 물체 검출 센서로부터 상기 오차보정 모듈에 전달될 수 있다.
상기 오차보정 모듈은 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게 보정하는 값인 제2 보정 파라미터로 설정할 수 있다.
상기 물체 검출 센서는 레이더(radar) 또는 라이다(lidar)를 포함할 수 있다. 상기 눈 위치 검출부는 카메라를 포함할 수 있다.
상기 오차보정 모듈은 저역 통과 필터(low pass filter)를 포함하고, 상기 저역 통과 필터의 제1 보정 파라미터인 차단 주파수는 상기 저역 통과 필터의 제2 보정 파라미터인 차단 주파수보다 낮은 값을 가질 수 있다.
상기 외부 물체 정보에 대응하는 HUD 표시 정보는 상기 외부 물체의 속도 정보 또는 상기 외부 물체에 관한 내비게이션 정보를 포함할 수 있다. 상기 내비게이션 정보는 TBT(turnbyturn) 정보를 포함할 수 있다.
전술한 본 발명의 실시예에 따르면, 차량의 증강현실 HUD 표시 방법 및 그 장치는, 차량의 증강현실 HUD 시스템(증강현실 HUD 장치)에서 차량의 운전자가 체감하는 그래픽 오차를 운전자가 쳐다보는(바라보는) 물체와의 거리에 따라 다르게 제공하는 것에 의해 운전자가 실제 주행 환경을 직관적으로 인지하도록 할 수 있다.
또한 본 발명은 센서의 기술이 획기적으로 개선되더라도 센서비용측면에서 센서 성능과 균형(tradeoff) 관계를 형성하도록 하여 차량의 증강현실 HUD 표시방법을 구현하기 위한 비용이 거의 소요되지 않는 알고리즘(algorithm)일 수 있고, 운전자가 느끼는 증강현실 HUD 그래픽의 체감 오차를 감소시킬 수 있다.
본 발명의 상세한 설명에서 사용되는 도면을 보다 충분히 이해하기 위하여, 각 도면의 간단한 설명이 제공된다.
도 1 및 도 2는 증강현실 HUD 표시 방법의 예를 각각 나타내는 도면이다.
도 3은 증강현실 HUD의 기술구성의 예를 나타내는 도면이다.
도 4는 증강현실 HUD에서 차량의 운전자의 시선 인식 오차 및 시야각을 설명하는 도면이다.
도 5는 차량 센서를 이용하여 물체 거리를 측정할 때의 오차를 설명하는 도면이다.
도 6은 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 장치를 설명하는 블락 다이어그램(block diagram)이다.
도 7은 도 6에 도시된 오차 보정 모듈의 실시예를 설명하는 그래프(graph)이다.
도 8은 도 6에 도시된 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 실시예를 설명하는 도면이다.
도 9는 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다.
도 10은 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다.
도 11은 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다.
본 발명, 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는, 본 발명의 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용이 참조되어야 한다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예를 설명하는 것에 의해, 본 발명을 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 각 도면에 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낼 수 있다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(통상의 기술자)에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 및 도 2에 도시된 증강현실 HUD을 구현하기 위해, 차량 운전자의 눈 위치와 보고자 하는 목표물의 좌표를 파악해야 한다. 도 1 및 도 2는 증강현실 HUD 표시 방법의 예를 각각 나타내는 도면이다.
눈 위치 파악을 위한 카메라 센서와 차량 밖 물체를 인식하기 위한 라이다(lidar, light detection and ranging) 또는 레이다(radar) 등의 센서(sensor) 데이터에서 각 데이터는 센서 및 눈의 자체 떨림에 의해 일정 각도 오차가 발생한다.
이러한 오차는 증강현실 HUD에서 표현하고자 하는 목표물 영상에 대해 거리(목표물 영상의 거리)에 따라 다른 체감 오차를 나타내어 차량의 운전자 또는 사용자에게는 혼란을 불러 일으킬 수 있고 특히 거리에 상관없는 체감 오차 감소 알고리즘 적용으로 증강현실 HUD 그래픽은 일관적(일정한) 성능을 나타내기 어려울 수 있다.
차량에서 도 3에 도시된 증강현실 HUD를 구현하기 위해서, 윈드실드 글래스(windshield glass)에 영상을 투사하고 사용자는 이 투사된 영상을 허상으로 윈드실드(windshield) 후면의 실제 현실과 겹쳐서 볼 수 있다. 도 3은 증강현실 HUD의 기술구성의 예를 나타내는 도면이다.
차량의 전방 장애물 또는 표식(표지)을 정확히 매칭(matching)시키기 위해, 차량 탑승자인 운전자의 눈 위치가 필요하고 일반적으로 눈 위치는 차량 내 배치된 카메라로 인식하게 된다. 카메라의 해상도 또는 눈의 생체적 떨림 등으로 눈 추적 좌표는 일정한 노이즈(noise)를 가지고, 외부 물체를 센싱(sensing)하는 센서 역시 해상도의 문제로 일정한 좌표 오차를 가지게 된다.
도 4는 증강현실 HUD에서 차량의 운전자의 시선 인식 오차 및 시야각을 설명하는 도면이다. 부연하여 설명하면, 도 4는 운전자 시선 노이즈(noise)에 따른 차량 외부의 물체와 같은 응시 물체에 대한 표시 오차를 설명한다.
도 4를 참조하면, 증강현실 HUD의 기술 구성요소는, 운전자의 시선 인식을 위한 눈 위치 인식 카메라(120), 외부 물체의 위치를 인식(측정)하기 위한 도 5에 도시된 레이다(radar, Radio Detecting And Ranging)(205) 또는 라이다(lidar, light detection and ranging)를 포함할 수 있다.
시선 벡터는 운전자 눈(125)의 안구 중심점과 동공 중심점을 연결하는 선으로 나타낼 수 있으므로, 시선(눈 위치 인식 시스템 시야각)은 도 4에 도시된 바와 같이 안구 중심점을 기준으로 방사형태의 벡터 형태를 가진다. 그러므로 시선 노이즈(눈 위치 인식 오차)도 방사 형태(일정 각 형태)를 띠므로, 도 4에 도시된 바와 같이, 안구와 거리가 멀어질수록 횡방향의 직교좌표 오차는 크게 된다.
도 4에 도시된 바와 같이, 시선 오차는 같은 물체 크기에도 거리(운전자 시선과 시선이 닿는 물체와의 거리)에 따라 직교오차 값(직교좌표 오차)은 달라지므로, 증강현실 HUD 그래픽으로 표시할 때 차량의 윈드쉴드 글래스(115) 상의 가까운 거리에 있는 물체(110)의 표시 보다 먼 거리에 있는 물체(105)의 표시는 훨씬 더 큰 오차로 반영되어 먼 거리에 있는 물체에 관한 체감 노이즈(체감 오차)는 더 클 수 있다.
도 5는 차량 센서를 이용하여 물체 거리를 측정할 때의 오차를 설명하는 도면이다.
도 5를 참조하면, 차량(220)의 전방에 설치된 레이다(215) 또는 라이다(215)와 같은 차량(220)과 물체 사이의 거리를 측정하는 센서(sensor)에서도 도 4에서 설명하는 원리와 같은 원리가 적용될 수 있다. 센서(215)의 전파 또는 광(light)(또는 레이저 광)은 차량(220)의 한 점에서 출발하여 차량의 전방을 스캔(scan)하게 되는데 결과적으로 방사형태를 띠게 된다. 따라서 센싱 노이즈(sensing noise)도 전술한 시선 노이즈와 마찬가지로 방사형태로 나타나며 일정 각(거리 측정 센서 오차각)으로 나타난다.
그러므로 도 5에 도시된 바와 같이, 차량 외부의 물체(먼거리에 있는 물체(205) 또는 가까운 거리에 있는 물체(210))와 차량(220) 사이의 거리에 따라 센싱되는 노이즈 값은 다르게 나타난다. 상기 거리에 따라 변경되는 센싱 노이즈 값을 그대로 반영하여 증강현실 HUD 그래픽으로 표현하면, 차량(220)으로부터 가까운 거리에 있는 물체(210)의 크기와 같은 크기를 가지는 먼거리에 있는 물체(205)가 다른 그래픽 노이즈로 표시되어, 먼거리에 있는 물체(205) 및 가까운 거리에 있는 물체(210)에 대한 운전자의 체감 노이즈가 다르게 된다.
도 6은 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 장치를 설명하는 블락 다이어그램(block diagram)이다.
도 6을 참조하면, 차량의 증강현실 HUD 표시 장치(300)는, 물체 검출 센서(305), 눈 위치 검출부(310), 증강현실 표시 좌표 추출부(315), 오차 보정 모듈(module)(320), 및 그래픽(graphic) 표시부(325)를 포함할 수 있다.
상기 증강현실(augmented reality)는 실제 환경에 가상 사물이나 정보를 합성하여 원래 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기술을 의미할 수 있다. 즉, 증강 현실은 사용자가 눈으로 보는 현실세계에 가상 정보를 합쳐 하나의 영상으로 보여주는 가상현실 기술을 말할 수 있다. 증강현실 기술은 공지기술인 바 본 명세서에서 자세한 설명은 생략될 수 있다.
차량의 증강현실 HUD 표시 장치(300)와 같은 HUD(헤드업 디스플레이) 장치는 윈드실드(프런트(front) 윈드쉴드) 또는 컴바이너(combiner, 투명판) 등에 이미지(image)를 반사시켜 차량 운전자에게, 차속, 주행거리 또는 RPM(revolution per minute)과 같은 차량정보, 또는 경로정보(navigation 정보) 등을 제공하는 장치일 수 있다. 증강현실 HUD(증강현실 HUD 장치)일 경우 눈의 위치에 따라서(눈의 위치와) 실제 외부 사물과 매칭(matching)이 되어야 하기 때문에 운전자의 눈의 위치와 HUD 화면(HUD 영역)의 매칭(matching)이 필요할 수 있다. HUD 영역(HUD 표시영역 또는 HUD 화면영역)은 차량의 주행정보와 같은 차량 정보를 차량의 윈드 쉴드(wind shield)(프런트(front) 윈드쉴드)에 형성되도록 하는 것에 의해 차량 운전자의 눈에 전달(제공)되는 차량 정보 이미지 영역을 지시(indication)할 수 있다. HUD 영역은 HUD 이미지(image)가 표시되는 가상의 영역을 나타낼 수 있다. HUD 영역은 디스플레이 화면 내에 위치하며 디스플레이 화면은 운전자의 시선 위치로서 정면을 응시할 경우 상(image)이 보이는 영역을 의미할 수 있다.
차량의 증강현실 HUD 표시장치(300)는 증강현실 그래픽 좌표(증강현실 HUD 그래픽 좌표)를 보정하는 프로세스(process)를 수행할 수 있고, 증강현실 HUD 그래픽 의 인터페이스(interface) 설계에서, 차량 운전자 또는 사용자의 시선 연동에 의한 그래픽 오차(시선 이동에 따른 그래픽 오차)를 최소화하는 방법을 수행할 수 있다. 부연하여 설명하면, 차량의 증강현실 HUD 표시장치(300)는 차량에 가까이 있는 물체에 대해서는 정확도보다 응답속도를 우선시 하고, 건물 정보 등 먼 거리에 있는 물체는 응답속도보다는 정확도를 우선시하는 알고리즘을 실행할 수 있다.
또한 차량의 증강현실 HUD 표시장치(300)는 운전자에게 일관적인(일정한) 체감오차를 제공하기 위해, 증강현실HUD로 표시하고자 하는 물체에 대해 운전자와의 거리(운전자 시선과 시선이 닿는 물체와의 거리)에 따라 가변적인 오차 보정 파라미터를 적용할 수 있다.
기본적으로 모든 센서 데이터는 오차를 줄이는 것이 좋으나 오차를 줄이기 위해서는 다른 특성들이 불리해 질 수 있다. 예를 들면, 오차를 줄이는 대표적인 방법인 로우 패스 필터링(Low pass filtering)은 노이즈를 획기적으로 줄일 수 있으나 응답속도가 느린 단점이 있을 수 있다.
따라서 본 발명에서는 체감 오차를 물체의 거리(운전자와 물체 사이의 거리)와 상관없이 동일하게 가져가기 위해, 도 4 또는 도 5에 도시된 먼 물체에 대해서는 오차를 현저히 줄이는 파라미터 설정을 하고 가까운 물체에 대해서는 상대적으로 오차를 크게 줄이지 않는다. 멀리 있는 물체는 큰 이동이 운전자에게 나타나지 않기 때문에 응답속도가 느려도 증강현실 HUD 표시장치(300)의 성능(표시의 정확도)에 문제가 없으며, 가까운 물체는 물체 크기에 비해 상대 노이즈가 작고 응답속도 특성이 더 중요하기 때문이다.
물체 검출 센서(305)는 차량의 운전자가 보는 차량 외부의 물체의 위치를 검출할 수 있다. 물체 검출 센서(305)는 차량으로부터 상기 외부 물체까지의 거리를 측정할 수 있다. 또한 물체 검출 센서(305)는 센서데이터 오차 보정 파라미터를 적용하는 오차 보정 모듈(320)에 거리정보를 전달하여 오차 보정 모듈(320)의 오차보정 시에 참고할 수 있도록 할 수 있다.
물체 검출 센서(305)는 레이더(RADAR) 또는 라이다(Light Detection And Ranging, LIDAR)를 포함할 수 있다. 상기 라이다는 레이저 레이더로서, 레이저 펄스를 쏘고 반사되어 돌아오는 시간을 측정하여 반사체의 위치좌표를 측정하는 레이더 시스템일 수 있다.
눈 위치 검출부(310)는 상기 차량의 윈드쉴드(windshield)(프런트(front) 윈드쉴드)에 표시되는 외부 물체 정보 또는 외부 물체 정보에 대응하는 증강현실 HUD 표시 정보를 보는 상기 차량 운전자의 눈 위치를 검출할 수 있다. 눈 위치 검출부(310)는 카메라(camera)를 포함할 수 있다.
증강현실 표시좌표 추출부(증강현실 HUD 표시좌표 추출부)(315)는 물체 검출 센서(305)에 의해 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 눈 위치 검출부(310)에 의해 검출된 눈 위치의 증강현실 HUD 표시 좌표(또는 눈 추적 좌표)를 추출할 수 있다.
오차보정 모듈(320)은 상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변(변경)되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정할 수 있다. 거리 정보는 물체 검출 센서(305)로부터 오차보정 모듈(320)에 전달(제공)될 수 있다.
오차보정 모듈(320)은 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 차량 운전자 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터(parameter)를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게(낮게) 보정하는 값인 제2 보정 파라미터로 설정할 수 있다. 차량의 증강현실 HUD 표시 장치(300)는 상기 외부 물체 정보 또는 HUD 표시 정보(가상의 영상 정보)와 정합(matching)되는 차량의 전방 영상을 획득하는 카메라를 더 포함할 수 있다. 상기 전방 영상은 운전자가 차량 전면 유리(windshield)를 통해 보는 전경일 수 있다.
본 발명의 다른 실시예에 있어서, 오차보정 모듈(320)은 저역 통과 필터(low pass filter, LPF)를 포함할 수 있다. 상기 저역 통과 필터의 제1 보정 파라미터인 차단 주파수(cutoff frequency)는 상기 저역 통과 필터의 제2 보정 파라미터인 차단 주파수보다 낮은 값을 가질 수 있다.
그래픽 표시부(325)는 오차보정 모듈(320)으로부터 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시(display)할 수 있다. 상기 외부 물체 정보에 대응하는 HUD 표시 정보는 도 10에 도시된 상기 외부 물체의 속도 정보, 또는 외부 물체와 관련된 내비게이션 정보를 포함할 수 있다. 상기 내비게이션 정보는 도 11에 도시된 TBT(turnbyturn) 정보를 포함할 수 있다. 상기 TBT 정보는 방향 전환 아이콘(icon)을 포함할 수 있다.
다른 실시예에 있어서, 차량의 증강현실 HUD 표시 장치(300)는 제어기(미도시)를 더 포함할 수도 있다. 상기 제어기는 CPU(central processing unit)(또는 processor)의 기능을 수행하고, 물체 검출 센서(305), 눈 위치 검출부(310), 증강현실 표시 좌표 추출부(315), 오차 보정 모듈(module)(320), 및 그래픽 표시부(325)의 전체적인 동작을 제어할 수 있다. 제어기는 후술하는 본 발명의 차량의 증강현실 HUD 표시 방법을 수행하기 위한 일련의 명령을 포함하는 프로그램(program)을 포함할 수 있다.
도 6을 참조하여 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 방법이 다음과 같이 설명될 수 있다. 상기 차량의 증강현실 HUD 표시 방법은 도 6에 도시된 차량의 증강현실 HUD 표시 장치(300)에 적용될 수 있고. 차량의 증강현실 HUD의 가변 오차 표시 방법으로도 언급될 수 있다.
차량의 증강현실 HUD 표시 방법은, 제1 검출 단계, 제2 검출 단계, 추출 단계, 보정 단계, 및 표시 단계를 포함할 수 있다.
상기 제1 검출 단계에 따르면, 차량의 운전자가 보는 차량 외부의 물체의 위치가 물체 검출 센서(305)에 의해 검출될 수 있다. 상기 외부 물체의 위치를 검출하는 센서는 레이더(radar) 또는 라이다(lidar)를 포함할 수 있다.
상기 제2 검출 단계에 따르면, 상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치가 눈 위치 검출부(310)에 의해 검출될 수 있다. 상기 눈 위치를 검출하는 센서는 카메라를 포함할 수 있다. 상기 외부 물체 정보에 대응하는 HUD 표시 정보는 도 10에 도시된 상기 외부 물체의 속도 정보, 또는 외부 물체와 관련된 내비게이션 정보를 포함할 수 있다. 상기 내비게이션 정보는 도 11에 도시된 TBT(turnbyturn) 정보를 포함할 수 있다.
상기 추출 단계에 따르면, 상기 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 검출된 눈의 증강현실 HUD 표시 좌표가 증강현실 표시 좌표 추출부(315)에 의해 추출될 수 있다.
상기 보정 단계에 따르면, 상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보(시선 거리 정보)에 따라 가변(변경)되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차가 오차 보정 모듈(320)에 의해 보정될 수 있다.
상기 보정 단계에서, 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터는 제1 보정 파라미터로 설정되고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈의 증강현실 HUD 표시 좌표의 오차 보정 파라미터는 상기 제1 보정 파라미터 보다 상기 오차를 적게(낮게) 보정하는 값인 제2 보정 파라미터로 오차 보정 모듈(320)에 의해 설정될 수 있다.
상기 보정 단계의 다른 실시예에 있어서, 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차가 로우 패스 필터링(low pass filtering)될 수 있다. 상기 로우 패스 필터링(low pass filtering)하기 위한 제1 보정 파라미터에 포함된 차단 주파수는 상기 로우 패스 필터링(low pass filtering)하기 위한 제2 보정 파라미터에 포함된 차단 주파수보다 낮은 값을 가질 수 있다.
상기 표시 단계에 따르면, 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽이 그래픽 표시부(325)에 의해 상기 윈드쉴드(windshield)에 표시될 수 있다.
도 7은 도 6에 도시된 오차 보정 모듈의 실시예를 설명하는 그래프(graph)이다.
도 7을 참조하면, 도 6의 오차보정 모듈(320)에 LPF(저역 통과 필터)를 적용할 때 보정 파라미터는 차단 주파수(Cutoff frequency)가 될 수 있다. 이 실시예에 있어서, 물체가 운전자(또는 차량)으로부터 멀리 있을 때에는 LPF 의 컷오프 주파수(Cutoff frequency)가 낮아지고, 가까이 있을 때는 LPF 의 컷오프 주파수가 높아질 수 있다. 상기 컷오프 주파수 조절에 의해 센서 데이터의 정확도와 응답속도가 조절될 수 있다.
부연하여 설명하면, 도 7에 도시된 바와 같이, 증강현실 표시 좌표 추출부(도 6의 315)에 의해 추출된 눈 위치 좌표 대역 및 물체 거리 검출 좌표 대역(또는 물체 위치 좌표 대역)(미도시)을 로우 패스 필터링(LPF)하는 것에 의해, 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈의 증강현실 HUD 표시 좌표에 관한 오차가 보정될 수 있다.
전술한 바와 같이, 본 발명의 실시예는 오차보정 파라미터로 LPF의 차단 주파수(cutoff frequency)를 사용하고 운전자(또는 차량)과 외부 물체 사이의 거리의 원근(遠近)에 따라 차단 주파수 값이 조정될 수 있다. 그 결과, 본 발명은 HUD(headup display) 장치에서의 운전자에 의한 증강현실 HUD그래픽의 체감 오차를 최소화시킬 수 있다.
도 8은 도 6에 도시된 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 실시예를 설명하는 도면이다. 도 8은 실제 운전자의 시각에서 보는 거리에 따른 물체 체감 오차 그래픽을 나타낼 수 있다.
도 8을 참조하면, 차량 운전자(405)는 윈드쉴드(420) 상에서 그래픽 좌표 오차를 보정하여 가변 오차가 적용(반영)된 먼 거리에 있는 제1 HUD 표시 정보인 제1 물체(415)와 그래픽 좌표 오차를 보정하여 가변 오차가 적용된 가까운 거리에 있는 제2 HUD 표시 정보인 제2 물체(410)를 볼 수 있다. 제1 물체(415)는 도 8에 도시된 좌우 화살표와 같이 상대적으로 큰 오차 보정이 수행되고, 제2 물체(410)은 도 8에 도시된 좌우 화살표와 같이 상대적으로 작은 오차 보정이 수행될 수 있다. 그 결과, 운전자(또는 차량)과 물체 사이의 거리와 무관하게 그래픽 체감 오차가 동일해지는 것에 의해, 거리에 따른 표시 물체(410 또는 415)의 커서(cursor) 떨림이 최소화될 수 있다.
도 9는 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다. 즉, 도 9는 증강현실HUD에서 앞에 가는 차량과의 거리를 표시하는 본 발명의 응용을 나타낼 수 있다.
도 9를 참조하면, 제2 물체인 가까운 거리 차량(510)의 표시 그래픽은 표시 오차 파라미터를 정확도보다는 응답속도에 맞추어 표시하고, 제1 물체인 먼 거리 차량(515)의 표시 그래픽은 표시 오차 파라미터를 응답속도보다는 정확도에 맞추어 표시할 수 있다. 따라서, 차량 운전자(505)는 운전자(또는 차량)과 물체 사이의 거리와 무관하게 그래픽 체감 오차가 서로 동일한, 가까운 거리 차량(510)의 표시 그래픽과 먼 거리 차량(515)의 표시 그래픽을 윈드쉴드(520)에서 볼 수 있다.
도 10은 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다. 즉, 도 10은 증강현실HUD에서 앞에 가는 차량의 속도를 표시하는 본 발명의 응용예를 나타낼 수 있다.
도 10을 참조하면, 제2 물체인 가까운 거리에 있는 차량(610)의 표시 그래픽은 표시 오차 파라미터를 정확도보다는 응답속도에 맞추어 표시하고, 제1 물체인 먼 거리 차량(615)의 표시 그래픽은 표시 오차 파라미터를 응답속도보다는 정확도에 맞추어 표시할 수 있다. 따라서, 차량 운전자(605)는 운전자(또는 차량)과 물체 사이의 거리와 무관하게 그래픽 체감 오차가 서로 동일한, 가까운 거리 차량(510)의 표시 그래픽과 먼 거리 차량(515)의 표시 그래픽을 윈드쉴드(620)에서 볼 수 있다.
도 11은 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다. 즉, 도 11은 증강현실HUD에서 내비게이션의 TBT(turnbyturn) 정보를 표시하는 본 발명의 응용예를 나타낼 수 있다.
도 11을 참조하면, 가까운 거리의 TBT정보(50m)는 먼 거리의 TBT정보(150m)보다 좌표오차에 있어서 정확도보다는 응답속도에 맞추어 표시할 수 있고, 먼 거리의 TBT정보(150m)는 좌표오차에 있어서 응답속도보다는 정확도에 맞추어 표시할 수 있다.
본 실시예에서 사용되는 구성요소 또는 “~부(unit)” 또는 블록 또는 모듈은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(fieldprogrammable gate array)나 ASIC(applicationspecific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소 또는 '~부' 등은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
이상에서와 같이, 도면과 명세서에서 실시예가 개시되었다. 여기서, 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이며 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 이 기술분야의 통상의 지식을 가진 자는 본 발명으로부터 다양한 변형 및 균등한 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 이 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
305: 물체 검출 센서
310: 눈 위치 검출부
315: 증강현실 표시 좌표 추출부
320: 오차 보정 모듈
325: 그래픽 표시부

Claims (14)

  1. 차량의 증강현실 HUD 표시 방법에 있어서,
    차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 단계;
    상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치를 검출하는 단계;
    상기 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 단계;
    상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 단계; 및
    상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시하는 단계
    를 포함하는 차량의 증강현실 HUD 표시 방법.
  2. 제1항에 있어서,
    상기 오차를 보정하는 단계는 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게 보정하는 값인 제2 보정 파라미터로 설정하는 단계를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
  3. 제1항에 있어서,
    상기 외부 물체의 위치를 검출하는 센서는 레이더(radar) 또는 라이다(lidar)를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
  4. 제1항에 있어서,
    상기 눈 위치를 검출하는 센서는 카메라를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
  5. 제2항에 있어서,
    상기 오차를 보정하는 단계는
    상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 로우 패스 필터링(low pass filtering)하는 단계를 포함하고,
    상기 로우 패스 필터링(low pass filtering)하기 위한 제1 보정 파라미터에 포함된 차단 주파수는 상기 로우 패스 필터링(low pass filtering)하기 위한 제2 보정 파라미터에 포함된 차단 주파수보다 낮은 값을 가지는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
  6. 제1항에 있어서,
    상기 외부 물체 정보에 대응하는 HUD 표시 정보는 상기 외부 물체의 속도 정보 또는 상기 외부 물체에 관한 내비게이션 정보를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
  7. 제6항에 있어서,
    상기 내비게이션 정보는 TBT(turnbyturn) 정보를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
  8. 차량의 증강현실 HUD 표시 장치에 있어서,
    차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 물체 검출 센서;
    상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치를 검출하는 눈 위치 검출부;
    상기 물체 검출 센서에 의해 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 눈 위치 검출부에 의해 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 증강현실 표시좌표 추출부;
    상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 오차보정 모듈; 및
    상기 오차보정 모듈으로부터 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시하는 그래픽 표시부;
    를 포함하며,
    상기 거리 정보는 상기 물체 검출 센서로부터 상기 오차보정 모듈에 전달되는 차량의 증강현실 HUD 표시 장치.
  9. 제8항에 있어서,
    상기 오차보정 모듈은 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게 보정하는 값인 제2 보정 파라미터로 설정하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
  10. 제8항에 있어서,
    상기 물체 검출 센서는 레이더(radar) 또는 라이다(lidar)를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
  11. 제8항에 있어서,
    상기 눈 위치 검출부는 카메라를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
  12. 제9항에 있어서,
    상기 오차보정 모듈은 저역 통과 필터(low pass filter)를 포함하고,
    상기 저역 통과 필터의 제1 보정 파라미터인 차단 주파수는 상기 저역 통과 필터의 제2 보정 파라미터인 차단 주파수보다 낮은 값을 가지는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
  13. 제8항에 있어서,
    상기 외부 물체 정보에 대응하는 HUD 표시 정보는 상기 외부 물체의 속도 정보 또는 상기 외부 물체에 관한 내비게이션 정보를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
  14. 제13항에 있어서,
    상기 내비게이션 정보는 TBT(turnbyturn) 정보를 포함하는 차량의 증강현실 HUD 표시 장치.
KR1020150065842A 2014-12-08 2015-05-12 차량의 증강현실 hud 표시 방법 및 그 표시 장치 KR101713740B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/846,781 US9690104B2 (en) 2014-12-08 2015-09-06 Augmented reality HUD display method and device for vehicle
DE102015218162.6A DE102015218162B4 (de) 2014-12-08 2015-09-22 Augmentiertes Realitäts-Head-up-Display-Anzeigeverfahren und Vorrichtung für Fahrzeug
CN201510665017.3A CN105676452B (zh) 2014-12-08 2015-10-15 用于车辆的增强现实hud显示方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140175097 2014-12-08
KR1020140175097 2014-12-08

Publications (2)

Publication Number Publication Date
KR20160069451A true KR20160069451A (ko) 2016-06-16
KR101713740B1 KR101713740B1 (ko) 2017-03-08

Family

ID=56354933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150065842A KR101713740B1 (ko) 2014-12-08 2015-05-12 차량의 증강현실 hud 표시 방법 및 그 표시 장치

Country Status (2)

Country Link
KR (1) KR101713740B1 (ko)
CN (1) CN105676452B (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055476A (zh) * 2017-11-23 2018-05-18 中国航空工业集团公司洛阳电光设备研究所 一种消除前视红外设备与平视显示器视觉误差的方法
WO2018105835A1 (ko) * 2016-09-20 2018-06-14 주식회사 크레모텍 차량용 헤드업 디스플레이 표시 방법 및 표시 장치
KR20190017383A (ko) 2017-08-11 2019-02-20 주식회사 에이디테크 정보제공을 위한 차량용 통합 헤드업디스플레이장치
KR20190032136A (ko) * 2017-09-19 2019-03-27 현대모비스 주식회사 증강현실 헤드업 디스플레이의 표시 위치 제어 장치
KR20190063601A (ko) * 2017-11-30 2019-06-10 재단법인대구경북과학기술원 실감형 ｈｕｄ의 향상된 ｕｉ／ｕｘ 제공을 위한 증강정보 시뮬레이터
KR102069094B1 (ko) * 2018-10-24 2020-01-22 주식회사 인포웍스 라이다 센서를 이용한 연기 상황 속 공간탐지 방법
CN111038402A (zh) * 2018-10-11 2020-04-21 现代自动车株式会社 用于控制车辆的显示的装置和方法
US10789762B2 (en) 2017-12-06 2020-09-29 Samsung Electronics Co., Ltd. Method and apparatus for estimating parameter of virtual screen
CN112164377A (zh) * 2020-08-27 2021-01-01 江苏泽景汽车电子股份有限公司 一种hud图像矫正的自适配方法
WO2021010602A3 (ko) * 2019-07-17 2021-03-11 네이버랩스 주식회사 Hd 맵과 hud를 활용한 tbt 정보를 안내하는 방법 및 시스템
KR20210085185A (ko) * 2019-12-30 2021-07-08 삼성전자주식회사 사용자에게 ar 오브젝트를 제공하는 방법 및 장치
DE102018123763B4 (de) 2017-09-26 2022-05-05 Suzuki Motor Corporation Fahrzeugfrontstruktur
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131541A (zh) * 2016-08-26 2016-11-16 广州巧瞳科技有限公司 基于增强现实的智能显示装置及方法
JP6870109B2 (ja) * 2017-11-14 2021-05-12 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
KR102463712B1 (ko) * 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
CN108153502B (zh) * 2017-12-22 2021-11-12 长江勘测规划设计研究有限责任公司 基于透明屏幕的手持式增强现实显示方法及装置
CN108225734B (zh) * 2018-01-05 2021-07-02 宁波均胜科技有限公司 一种基于hud系统的误差标定系统及其误差标定方法
CN110099273B (zh) * 2019-04-23 2021-07-30 百度在线网络技术（北京）有限公司 增强现实内容显示方法及装置
CN110304057A (zh) * 2019-06-28 2019-10-08 威马智慧出行科技（上海）有限公司 汽车碰撞预警、导航方法、电子设备、系统及汽车
KR102199765B1 (ko) 2019-07-25 2021-01-07 주식회사 디젠 운전자 정보를 이용한 헤드업 디스플레이 유닛의 표시장치 및 방법
CN111405263A (zh) * 2019-12-26 2020-07-10 的卢技术有限公司 一种双摄像头结合共用于增强抬头显示的方法及系统
KR102181589B1 (ko) 2020-02-05 2020-12-08 에이치에이치홀딩스 주식회사 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066472A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 전방 물체를 이용한 증강 현실 출력 장치 및 방법
KR20120067854A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010040694A1 (de) * 2010-09-14 2012-03-15 Robert Bosch Gmbh Head-up-Display
US20130169679A1 (en) * 2011-12-30 2013-07-04 Automotive Research & Test Center Vehicle image display system and correction method thereof
US20140070934A1 (en) * 2012-09-07 2014-03-13 GM Global Technology Operations LLC Methods and systems for monitoring driver object detection
TWI531495B (zh) * 2012-12-11 2016-05-01 Automatic Calibration Method and System for Vehicle Display System

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066472A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 전방 물체를 이용한 증강 현실 출력 장치 및 방법
KR20120067854A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105835A1 (ko) * 2016-09-20 2018-06-14 주식회사 크레모텍 차량용 헤드업 디스플레이 표시 방법 및 표시 장치
KR20190017383A (ko) 2017-08-11 2019-02-20 주식회사 에이디테크 정보제공을 위한 차량용 통합 헤드업디스플레이장치
KR20190032136A (ko) * 2017-09-19 2019-03-27 현대모비스 주식회사 증강현실 헤드업 디스플레이의 표시 위치 제어 장치
DE102018123763B4 (de) 2017-09-26 2022-05-05 Suzuki Motor Corporation Fahrzeugfrontstruktur
CN108055476A (zh) * 2017-11-23 2018-05-18 中国航空工业集团公司洛阳电光设备研究所 一种消除前视红外设备与平视显示器视觉误差的方法
KR20190063601A (ko) * 2017-11-30 2019-06-10 재단법인대구경북과학기술원 실감형 ｈｕｄ의 향상된 ｕｉ／ｕｘ 제공을 위한 증강정보 시뮬레이터
US10789762B2 (en) 2017-12-06 2020-09-29 Samsung Electronics Co., Ltd. Method and apparatus for estimating parameter of virtual screen
CN111038402A (zh) * 2018-10-11 2020-04-21 现代自动车株式会社 用于控制车辆的显示的装置和方法
KR102069094B1 (ko) * 2018-10-24 2020-01-22 주식회사 인포웍스 라이다 센서를 이용한 연기 상황 속 공간탐지 방법
WO2021010602A3 (ko) * 2019-07-17 2021-03-11 네이버랩스 주식회사 Hd 맵과 hud를 활용한 tbt 정보를 안내하는 방법 및 시스템
KR20210110265A (ko) * 2019-07-17 2021-09-07 네이버랩스 주식회사 Hd 맵과 hud를 활용한 tbt 정보를 안내하는 방법 및 시스템
KR20210085185A (ko) * 2019-12-30 2021-07-08 삼성전자주식회사 사용자에게 ar 오브젝트를 제공하는 방법 및 장치
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
CN112164377A (zh) * 2020-08-27 2021-01-01 江苏泽景汽车电子股份有限公司 一种hud图像矫正的自适配方法
CN112164377B (zh) * 2020-08-27 2022-04-01 江苏泽景汽车电子股份有限公司 一种hud图像矫正的自适配方法

Also Published As

Publication number Publication date
KR101713740B1 (ko) 2017-03-08
CN105676452B (zh) 2019-11-26
CN105676452A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
KR101713740B1 (ko) 차량의 증강현실 hud 표시 방법 및 그 표시 장치
US9690104B2 (en) Augmented reality HUD display method and device for vehicle
EP2891953B1 (en) Eye vergence detection on a display
US10510276B1 (en) Apparatus and method for controlling a display of a vehicle
US10613337B2 (en) Method and apparatus for adjusting imaging position and head-up display system
US11194154B2 (en) Onboard display control apparatus
EP2133728B1 (en) Method and system for operating a display device
US8907887B2 (en) Methods and systems for operating avionic systems based on user gestures
US8963742B1 (en) Head-up display/synthetic vision system predicted flight path depiction
EP2133729B1 (en) Method and system for operating a near-to-eye display
KR102578517B1 (ko) 전자 장치 및 그 제어 방법
US9463743B2 (en) Vehicle information display device and vehicle information display method
US20170269684A1 (en) Vehicle display device
Langner et al. Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display
KR20130089139A (ko) 차량용 증강현실 헤드업 디스플레이 장치 및 방법
US10885819B1 (en) In-vehicle augmented reality system
US20170308262A1 (en) Display control apparatus and display system
CN108734729B (zh) 一种平视显示器系统中双目视差的检测方法
CN110891841B (zh) 用于查明目标处于车辆驾驶员视野中的概率的方法和设备
Kang et al. Do you see what I see: towards a gaze-based surroundings query processing system
KR20220032448A (ko) 크로스토크를 보정하는 방법 및 장치
JP2017204177A (ja) ドライバ状態判定装置
JP2022108714A (ja) 撮像画像データ補正システム、及びヘッドアップディスプレイ装置
CN117707446A (zh) 一种显示方法及设备

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 4