KR20160045343A - 헤드업 디스플레이 제어장치 및 방법 - Google Patents

헤드업 디스플레이 제어장치 및 방법 Download PDF

Info

Publication number
KR20160045343A
KR20160045343A KR1020140140718A KR20140140718A KR20160045343A KR 20160045343 A KR20160045343 A KR 20160045343A KR 1020140140718 A KR1020140140718 A KR 1020140140718A KR 20140140718 A KR20140140718 A KR 20140140718A KR 20160045343 A KR20160045343 A KR 20160045343A
Authority
KR
South Korea
Prior art keywords
road
road information
points
point
control module
Prior art date
Application number
KR1020140140718A
Other languages
English (en)
Other versions
KR101683986B1 (ko
Inventor
신희원
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140140718A priority Critical patent/KR101683986B1/ko
Priority to US14/673,449 priority patent/US9869860B2/en
Priority to CN201510175641.5A priority patent/CN106153053B/zh
Publication of KR20160045343A publication Critical patent/KR20160045343A/ko
Application granted granted Critical
Publication of KR101683986B1 publication Critical patent/KR101683986B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)
  • Multimedia (AREA)

Abstract

본 발명은 헤드업 디스플레이 제어장치 및 방법에 관한 것으로, 차량이 주행 중인 도로의 제1 도로정보가 저장된 메모리, 주행 중인 도로 전방에 대한 영상데이터를 획득하는 카메라, 전방 영상데이터의 분석을 통해 도로의 제2 도로정보를 획득하고, 제1 도로정보 및 제2 도로정보에 기반한 복수개의 포인트를 추출하는 제어모듈, 제어모듈의 제어에 따라 차량의 윈드쉴드에 출력되는 시야 영역에 복수개의 포인트를 출력하는 출력모듈을 포함할 수 있고, 다른 실시 예로도 적용이 가능하다.

Description

헤드업 디스플레이 제어장치 및 방법{Apparatus and Method for Controlling of Head Up Display}
본 발명의 다양한 실시 예는 헤드업 디스플레이 제어장치 및 방법에 관한 것으로, 주행 중인 도로 상태 및 주행 상태로 인해 시야 영역에 도로정보가 표시되지 않은 경우에 도로정보를 출력하는 헤드업 디스플레이 제어장치 및 방법에 관한 것이다.
헤드업 디스플레이(Head Up Display; HUD) 장치는 전투기에 도입된 시스템으로, 조종사에게 비행정보를 제공하는 기능을 수행하였다. 현재에는 운전자가 주행 중에 계기판을 주시하지 않더라도, 차량의 윈드쉴드(Wind Shield)의 특정 영역(이하, 시야 영역이라 함)에 주행정보 및 도로정보를 조사하여 주행 중인 도로를 주시할 때 윈드쉴드에 조사되어 형성된 주행정보 및 도로정보를 동시에 확인하면서 주행할 수 있도록 일반적인 차량에 구비된다.
이와 같은 HUD 장치는 운전 중인 운전자가 시야 영역을 확인하여 차량의 주행정보 및 도로정보를 포함하는 영상데이터를 확인할 수 있도록 시야 영역에 영상데이터를 반사시킬 수 있다. 그러나, 주행 중인 도로의 곡률이 임계치 이상이거나, 차량이 갑작스럽게 회전을 하는 등의 상황에서는 시야 영역에 도로정보가 출력되지 않는 문제점이 발생한다.
상기와 같이 종래의 문제점을 해결하기 위한 본 발명의 다양한 실시 예들은 주행 중인 도로의 곡률 및 차량의 회전 등으로 인해 시야 영역에 도로정보가 표시되지 않은 경우를 방지하기 위해 상기 도로정보를 보정하여 보정된 도로정보를 시야 영역에 출력할 수 있는 헤드업 디스플레이 제어장치 및 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 헤드업 디스플레이 제어장치는 차량이 주행 중인 도로의 제1 도로정보가 저장된 메모리, 상기 주행 중인 도로 전방에 대한 영상데이터를 획득하는 카메라, 상기 영상데이터를 분석하여 상기 도로의 제2 도로정보를 획득하고, 상기 제1 도로정보 및 제2 도로정보에 기반한 복수개의 포인트를 추출하는 제어모듈, 상기 제어모듈의 제어에 따라 상기 차량의 윈드쉴드에 출력되는 상기 시야 영역에 상기 복수개의 포인트를 출력하는 출력모듈을 포함할 수도 있다.
또한, 상기 차량의 위치정보를 확인하는 위치센서를 포함하는 센서모듈을 더 포함할 수 있다.
또한, 상기 제어모듈은 상기 위치정보에 대응되는 상기 제1 도로정보를 추출하고, 상기 제1 도로정보와 제2 도로정보가 일치하지 않으면, 상기 제1 도로정보를 제2 도로정보에 일치시킬 수 있다.
또한, 상기 제어모듈은 상기 복수개의 포인트 중 상기 시야 영역에 출력되지 않는 포인트의 존재유무를 확인할 수 있다.
또한, 상기 제어모듈은 상기 복수개의 포인트 중 상기 시야 영역에 출력되지 않는 포인트가 적어도 하나이면 상기 시야 영역에 출력되는 적어도 하나의 포인트로 보정 포인트를 생성할 수 있다.
또한, 상기 제어모듈은 상기 출력모듈을 제어하여 상기 보정 포인트를 상기 시야 영역에 출력할 수 있다.
아울러, 본 발명의 일 실시 예에 따른 헤드업 디스플레이 제어방법은 기 저장된 도로정보에서 차량이 주행 중인 도로의 제1 도로정보를 추출하는 단계, 상기 주행 중인 도로 전방에 대한 영상데이터로부터 상기 도로의 제2 도로정보를 획득하는 단계, 상기 제1 도로정보 및 제2 도로정보에 기반한 복수개의 포인트를 추출하는 단계, 상기 차량의 윈드쉴드에 출력되는 시야 영역에 상기 복수개의 포인트를 출력하는 단계를 포함할 수 있다.
또한, 상기 제2 도로정보를 획득하는 단계 이후에 상기 차량의 위치정보를 획득하는 단계를 더 포함할 수 있다.
또한, 상기 복수개의 포인트를 추출하는 단계 이전에 상기 위치정보에 대응되는 상기 제1 도로정보를 추출하는 단계, 상기 제1 도로정보와 제2 도로정보가 일치하지 않으면 상기 제1 도로정보를 제2 도로정보에 일치시키는 단계를 더 포함할 수 있다.
또한, 상기 복수개의 포인트를 출력하는 단계는 상기 복수개의 포인트 중 상기 시야 영역에 출력되지 않는 포인트의 존재유무를 확인하는 단계를 더 포함할 수 있다.
또한, 상기 포인트의 존재유무를 확인하는 단계 이후에 상기 복수개의 포인트 중 상기 시야 영역에 출력되지 않는 포인트가 적어도 하나이면 상기 시야 영역에 출력되는 적어도 하나의 포인트로 보정 포인트를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 복수개의 포인트를 출력하는 단계는 상기 포인트 및 보정 포인트를 상기 시야영역에 출력하는 단계일 수 있다.
상술한 바와 같이 본 발명은 헤드업 디스플레이 제어장치 및 방법에 관한 것으로, 주행 중인 도로의 곡률 및 차량의 회전 등으로 인해 시야 영역에 도로정보가 표시되지 않을 때, 상기 도로정보를 보정하여 보정된 도로정보를 시야 영역에 출력함으로써, 운전자에게 도로정보를 정확하게 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 헤드업 디스플레이 제어장치의 주요 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시 예에 따른 헤드업 디스플레이 제어방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시 예에 따른 곡선 도로 진행 시 헤드업 디스플레이의 시야 영역에 출력되는 포인트를 추출하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 평로에서 매칭 영역을 설정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 경사로에서 매칭 영역을 설정하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 포인트를 보정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 포인트를 보정하는 다른 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 보정된 포인트를 시야 영역에 출력한 화면을 나타내는 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시 예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
도 1은 본 발명의 실시 예에 따른 헤드업 디스플레이 제어장치의 주요 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명에 따른 헤드업 디스플레이 제어장치(100)는 통신모듈(110), 입력모듈(120), 센서모듈(130), 카메라(140), 출력모듈(150), 메모리(160) 및 제어모듈(170)을 포함할 수 있다. 이때, 본 발명에 따른 헤드업 디스플레이는 증강현실 서비스를 제공하는 헤드업 디스플레이일 수 있다.
통신모듈(110)은 입력모듈(120), 센서모듈(130), 카메라(140), 출력모듈(150), 메모리 및 제어모듈(170) 사이의 통신을 위해 CAN(Controller Area Network), CAN-FD(CAN with Flexible Data rate), FlexRay, MOST(Media Oriented Systems Transport), TT Ethernet(Time Triggered Ethernet) 등의 다양한 차량 내 통신을 수행할 수 있다.
입력모듈(120)은 외부로부터의 입력에 따른 제어신호를 생성한다. 이를 위해, 입력모듈(120)은 키패드, 터치패드, 터치스크린 등의 입력장치로 형성될 수 있으며, 입력모듈(120)이 터치스크린으로 형성된 경우, 출력모듈(150)의 기능도 동시에 수행할 수 있다.
센서모듈(130)은 차량에 구비되어 차량의 주행정보를 측정하여 통신모듈(110)을 통해 제어모듈(170)로 제공할 수 있다. 센서모듈(130)은 차량의 속도를 확인할 수 있는 속도센서, 차량의 위치를 확인할 수 있는 GPS(Global Positioning Sensor) 등을 포함할 수 있다.
카메라(140)는 차량에 구비되어 주행 중인 도로의 전방에 대한 영상데이터를 획득할 수 있다. 카메라(140)는 획득된 영상데이터를 제어모듈(170)로 제공할 수 있다.
출력모듈(150)은 헤드업 디스플레이로, 제어모듈(170)의 제어에 의해 출력모듈(150)에 출력된 포인트는 차량의 윈드쉴드에 형성된 시야 영역에 반사되어 운전자에게 보여질 수 있다. 이때, 포인트는 주행 중인 도로의 곡률에 의한 주행 가이드일 수 있다. 출력모듈(150)은 제어모듈(170)의 제어에 의해 헤드업 디스플레이 제어장치(100) 동작 시의 화면을 출력할 수 있고, 주행정보에 대한 영상데이터를 출력할 수 있다. 이를 위해, 출력모듈(150)은 LCD, 터치스크린 등의 출력장치로 형성될 수 있다.
메모리(160)는 헤드업 디스플레이 제어장치(100)를 동작시키기 위한 프로그램 등을 저장할 수 있다. 특히, 메모리(160)는 차량의 위치정보에 따라 제1 도로정보를 확인할 수 있는 도로정보를 저장할 수 있다. 이때, 제1 도로정보는 차량이 주행 중인 도로의 종류(일방통행 또는 양방향 통행), 차선 수(진행 방향 및 반대 방향), 차선(예컨대, 6차선 중에서 차량이 주행 중인 차선), 도로의 기울기(예컨대, 도로의 경사도), 도로의 곡률, 도로의 폭, 도로 폭의 중간 지점을 나타내는 복수개의 포인트 등일 수 있다. 메모리(160)는 카메라(140)에서 획득된 주행 중인 도로의 영상데이터를 저장할 수 있고, 영상데이터로부터 확인된 제2 도로정보를 저장할 수 있다. 제2 도로정보는 차량이 주행 중인 차선(예컨대, 6차선 중에서 차량이 주행 중인 차선), 도로의 곡률, 도로의 폭, 도로 폭의 중간 지점을 나타내는 복수개의 포인트 등을 포함할 수 있다.
메모리(160)는 시야 영역의 특정 형상 및 크기를 저장할 수 있고, 제어모듈(170)의 제어에 따라 시야 영역으로부터 설정된 매칭 영역에 대한 정보를 저장할 수 있다. 매칭 영역은 영상 투영거리와 헤딩각에 의해 설정될 수 있다. 영상 투영거리는 차량에서부터 시야 영역에 차량 전방의 이미지가 출력되기 시작하는 지점까지의 거리일 수 있고, 헤딩각은 차량의 조향각도일 수 있다.
제어모듈(170)은 센서모듈(130)을 제어하여 주행 중인 차량의 위치정보를 확인하고, 메모리(160)에 저장된 도로정보 중에서 확인된 위치정보에 대응되는 도로에 대한 제1 도로정보를 확인할 수 있다. 제어모듈(170)은 카메라(140)에서 획득된 영상데이터를 분석하여 주행 중인 도로의 제2 도로정보를 획득하고, 제1 도로정보와 제2 도로정보를 이용하여 주행 중인 도로에서 복수개의 포인트를 추출할 수 있다. 제어모듈(170)은 추출된 포인트가 윈드쉴드의 특정 영역인 시야 영역에 출력되도록 상기 포인트를 출력모듈(150)로 제공할 수 있다.
제어모듈(170)은 헤드업 디스플레이 제어장치(100)의 전원이 온(ON)되면, 센서모듈(130)에 포함된 GPS센서로부터 차량의 위치정보를 확인할 수 있다. 제어모듈(170)은 메모리(160)에 저장된 도로정보 중에서 확인된 위치정보에 대응되는 도로에 대한 제1 도로정보를 확인할 수 있다. 제어모듈(170)은 카메라(140)에서 획득된 영상데이터를 분석하여 차량이 주행 중인 도로의 제2 도로정보를 확인할 수 있다.
제어모듈(170)은 제1 도로정보에서 확인된 복수개의 포인트와 제2 도로정보에서 확인된 복수개의 포인트의 위치가 다르면, 센서모듈(130)에서 확인된 차량이 주행 중인 도로에 대한 정보가 틀린 것으로 인지할 수 있다. 제어모듈(170)은 제1 도로정보에서 확인된 복수개의 포인트의 위치를 제2 도로정보에서 확인된 복수개의 포인트 위치로 변경할 수 있다.
제어모듈(170)은 주행 중인 도로에서 확인되는 복수개의 포인트(제2 도로정보를 기반으로 확인된 포인트)를 추출할 수 있다. 제어모듈(170)은 시야 영역을 기반으로 생성된 매칭 영역에 포함시키고자 하는 개수만큼의 포인트를 추출할 수 있다. 예컨대, 제어모듈(170)은 카메라(140)에서 획득된 영상데이터를 이용하여 제2 도로정보를 확인할 수 있다. 제어모듈(170)은 가상의 매칭 영역을 복수 개 생성할 수 있다. 매칭 영역은 시야 영역에 차량 전방의 이미지가 출력되기 시작하는 지점부터 차량 전방의 임계거리까지를 균등하게 분할하여 복수개 생성할 수 있다. 제어모듈(170)은 메모리(160)에서 차량 전방의 임계거리까지의 제1 도로정보를 확인하여 포인트를 확인할 수 있다. 제어모듈(170)은 하나의 매칭 영역의 길이 방향 예컨대, 차량의 주행방향과 동일한 방향의 길이에 포함될 수 있는 포인트의 개수를 설정할 수 있다. 이때, 매칭 영역의 길이에 포함될 수 있는 복수개의 포인트는 동일한 간격으로 설정될 수 있다. 매칭 영역에 포함되도록 설정된 다섯 개의 포인트는 차량 주행 시에 시야 영역에 출력될 수 있다.
제어모듈(170)은 매칭 영역을 설정할 때, 주행 중인 도로가 평로인지 경사로인지를 확인할 수 있다. 제어모듈(170)은 주행 중인 도로가 평로일 경우 매칭 영역의 시작 지점에 위치하는 포인트의 좌표값을 확인할 수 있다. 이때, 포인트의 좌표값은 위도 값, 경도 값, 고도 값일 수 있고, 제어모듈(170)은 포인트를 기준으로 새로운 좌표값을 산출하여 매칭 영역을 설정할 수 있다. 매칭 영역은 사다리꼴 형태로 형성될 수 있으며, 제어모듈(170)은 사다리꼴 형태로 형성된 매칭 영역의 각 꼭지점의 좌표값을 설정할 수 있다.
제어모듈(170)은 주행 중인 도로가 경사로일 경우 상기 확인된 시작 지점에 위치하는 포인트를 기준으로 새로운 좌표값을 산출하여 매칭 영역을 설정할 수 있다. 이때, 매칭 영역을 설정하기 위한 새로운 좌표값 산출 시에 도로의 경사도(
Figure pat00001
)값을 이용할 수 있다.
제어모듈(170)은 추출된 다섯 개의 포인트 전체가 매칭 영역에 포함되는지 확인할 수 있다. 일 실시 예에 따르면, 포인트 전체가 매칭 영역에 포함되면 다섯 개의 포인트 전부 시야 영역에 출력이 가능한 것으로 확인할 수 있다. 다섯 개의 포인트 전체가 매칭 영역에 포함되면 제어모듈(170)은 출력모듈(150)을 제어하여 시야 영역에 상기 포인트 전체를 출력하도록 할 수 있다.
일 실시 예에 따르면, 제어모듈(170)은 다섯 개의 포인트 중 일부 또는 전부가 매칭 영역에 포함되지 않으면 즉, 포인트 중 일부 또는 전부를 시야 영역에 출력할 수 없으면 매칭 영역에 포함되지 않는 포인트를 이용하여 보정을 수행할 수 있다. 제어모듈(170)은 다섯 개의 포인트 중 매칭 영역에 포함되는 적어도 두 개의 포인트 사이에 가상의 포인트를 생성하여 포인트를 보정할 수 있다. 이를 위해, 제어모듈(170)은 linear 보간법, polynominal 보간법, spline 보간법 등을 이용할 수 있다. 제어모듈(170)은 보정된 포인트와, 매칭 영역에 포함되는 적어도 두 개의 포인트를 시야 영역에 표시하도록 출력모듈(150)을 제어할 수 있다.
일 실시 예에 따르면, 제어모듈(170)은 매칭 영역에 하나의 포인트만 포함되어 있는 경우, linear 보간법을 이용하여 매칭 영역에 포함된 포인트과 매칭 영역에 포함되지 않았으나 제2 도로정보에서 확인된 포인트 사이에 새로운 가상의 포인트를 생성할 수 있다. 제어모듈(170)은 상기와 같이 생성된 가상의 포인트와 제2 도로정보에서 확인되어 매칭 영역에 포함된 포인트를 시야 영역에 표시하도록 출력모듈(150)을 제어할 수 있다.
일 실시 예에 따르면, 제어모듈(170)은 주행 중인 도로의 곡률이 임계치 이상이어서 추출된 포인트 전체가 매칭 영역에 포함되지 않을 경우, 차량 주행 방향을 가이드할 수 있는 가이드 포인트를 생성할 수 있다. 제어모듈(170)은 제2 도로정보에서 확인된 포인트가 매칭 영역에 포함되지 않으면, 카메라(140)에서 획득된 영상데이터를 이용하여 차선의 경계선을 확인할 수 있다. 제어모듈(170)은 확인된 차선의 경계선을 기준으로 가이드 포인트를 생성할 수 있다. 제어모듈(170)은 생성된 가이드 포인트를 시야 영역에 표시할 수 있도록 출력모듈(150)을 제어할 수 있다.
도 2는 본 발명의 실시 예에 따른 헤드업 디스플레이 제어방법을 설명하기 위한 순서도이다.
도 1 및 도 2를 참조하면, 11단계에서 제어모듈(170)은 헤드업 디스플레이 제어장치(100)의 전원이 온(ON)됨을 확인할 수 있다. 11단계의 확인결과, 헤드업 디스플레이 제어장치(100)의 전원이 온되면 13단계로 진행하고, 헤드업 디스플레이 제어장치(100)의 전원 온이 확인되지 않으면 헤드업 디스플레이 제어장치(100)를 종료할 수 있다.
13단계에서 제어모듈(170)은 제1 도로정보를 확인할 수 있다. 제어모듈(170)은 센서모듈(130)을 제어하여 센서모듈(130)에 포함된 GPS센서로부터 차량의 위치정보를 확인할 수 있다. 제어모듈(170)은 메모리(160)에 저장된 도로정보 중에서 확인된 위치정보에 대응되는 도로에 대한 제1 도로정보를 확인할 수 있다. 제1 도로정보는 차량이 주행 중인 도로의 종류(일방통행 또는 양방향 통행), 차선 수(진행 방향 및 반대 방향), 차선(예컨대, 6차선 중에서 차량이 주행 중인 차선), 도로의 기울기(예컨대, 도로의 경사도), 도로의 곡률, 도로의 폭, 도로 폭의 중간 지점을 나타내는 복수개의 포인트 등을 포함할 수 있다.
15단계에서 제어모듈(170)은 제2 도로정보를 확인할 수 있다. 제어모듈(170)은 카메라(140)에서 획득된 영상데이터를 분석하여 차량이 주행 중인 도로의 제2 도로정보를 확인할 수 있다. 제2 도로정보는 차량이 주행 중인 차선(예컨대, 6차선 중에서 차량이 주행 중인 차선), 도로의 곡률, 도로의 폭, 도로 폭의 중간 지점을 나타내는 복수개의 포인트 등을 포함할 수 있다.
17단계에서 제어모듈(170)은 제1 도로정보와 제2 도로정보가 일치하는지 확인할 수 있다. 17단계의 확인결과, 제1 도로정보와 제2 도로정보가 일치하지 않으면 19단계로 진행하고, 제1 도로정보와 제2 도로정보가 일치하면 21단계로 진행할 수 있다. 19단계에서 제어모듈(170)은 제1 도로정보를 제2 도로정보에 일치시킬 수 있다. 예컨대, 제어모듈(170)은 제1 도로정보에서 확인된 복수개의 포인트와 제2 도로정보에서 확인된 복수개의 포인트의 위치가 다르면, 센서모듈(130)에서 확인된 차량이 주행 중인 도로에 대한 정보가 틀린 것으로 인지할 수 있다. 제어모듈(170)은 제1 도로정보에서 확인된 복수개의 포인트의 위치를 제2 도로정보에서 확인된 복수개의 포인트 위치로 변경할 수 있다.
21단계에서 제어모듈(170)은 차량이 주행 중인 도로에서 확인되는 복수개의 포인트(제2 도로정보를 기반으로 확인된 포인트)를 지속적으로 추출할 수 있다. 이때, 제어모듈(170)은 시야 영역을 기준으로 시야 영역에 포인트를 표시할 수 있는 가상의 매칭 영역을 설정할 수 있다. 이때, 매칭 영역은 카메라(140)에서 획득된 영상데이터에 표시될 수도 있다. 시야 영역은 차량의 윈드쉴드에서 영상데이터가 나타나는 영역으로 특정 형상 및 크기를 가질 수 있다. 매칭 영역은 영상 투영거리와 헤딩각에 의해 설정될 수 있다. 영상 투영거리는 차량에서부터 시야 영역에 차량 전방의 이미지가 출력되기 시작하는 지점까지의 거리일 수 있고, 헤딩각은 차량의 조향각도일 수 있다.
제어모듈(170)은 매칭 영역에 포함될 수 있는 일정 개수만큼의 포인트를 추출할 수 있다. 도 3은 본 발명의 실시 예에 따른 곡선 도로 진행 시 헤드업 디스플레이의 시야 영역에 출력되는 포인트를 추출하는 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 제어모듈(170)은 카메라(140)에서 획득된 영상데이터를 이용하여 차량(V)이 주행하고 있는 도로의 차선(A), 차량의 진행 방향, 차선(A)의 폭 및 폭의 정 중앙을 나타내는 복수개의 포인트(310)를 확인할 수 있다. 도 3에서와 같이 제어모듈(170)은 복수개의 매칭 영역(MA)을 생성할 수 있다. 이때, 매칭 영역(MA)은 시야 영역에 차량 전방의 이미지가 출력되기 시작하는 지점부터 차량 전방의 임계거리(330)까지를 균등하게 분할하여 복수개 생성될 수 있다. 제어모듈(170)은 차량 전방의 임계거리(330)까지의 도로정보를 메모리(160)에서 확인하여 포인트(310)를 확인할 수 있다. 제어모듈(170)은 도 3에서와 같이 하나의 매칭 영역(MA)에 5개의 포인트(310)를 포함하도록 설정할 수 있다. 매칭 영역(MA)에 포함된 5개의 포인트(310)는 차량 주행 시에 시야 영역에 출력될 수 있다.
도 4는 본 발명의 실시 예에 따른 평로에서 매칭 영역을 설정하는 방법을 설명하기 위한 도면이다. 도 5는 본 발명의 실시 예에 따른 경사로에서 매칭 영역을 설정하는 방법을 설명하기 위한 도면이다. 도 4와 같이 차량이 주행 중인 도로가 평로일 경우, 제어모듈(170)은 매칭 영역(MA)의 시작 지점에 위치하는 포인트(410)의 좌표값을 확인할 수 있다. 이때, 포인트(410)의 좌표값은 (a, b, c)일 수 있고, a는 위도 값, b는 경도 값, c는 고도 값일 수 있다. 제어모듈(170)은 포인트(410)를 기준으로 421, 422, 423, 434, 425에 대한 좌표값을 산출하여 매칭 영역(MA)을 설정할 수 있다. 이때, x,
Figure pat00002
,
Figure pat00003
값은 시야 영역을 기준으로 기 설정되어 있는 데이터일 수 있다.
도 5와 같이, 차량이 주행 중인 도로가 경사로일 경우, 제어모듈(170)은 매칭 영역(MA)의 시작 지점에 위치하는 포인트(510)의 좌표값을 확인할 수 있다. 이때, 포인트(510)의 좌표값은 (a, b, c)일 수 있고, a는 위도 값, b는 경도 값, c는 고도 값일 수 있다. 제어모듈(170)은 포인트(510)를 기준으로 521, 522, 523, 534에 대한 좌표값을 산출하여 매칭 영역(MA)을 설정할 수 있다. 이때, x,
Figure pat00004
,
Figure pat00005
값은 시야 영역을 기준으로 기 설정되어 있는 데이터일 수 있고,
Figure pat00006
값은 제1 도로정보 또는 제2 도로정보 중 적어도 하나의 도로정보로부터 확인된 주행 중인 도로의 경사도일 수 있다.
23단계에서 제어모듈(170)은 추출된 다섯 개의 포인트 전체가 매칭 영역에 포함되는지 확인할 수 있다. 이때, 포인트 전체가 매칭 영역에 포함되면 다섯 개의 포인트 전부 시야 영역에 출력이 가능한 것으로 확인할 수 있다. 23단계의 확인결과, 시야 영역에 다섯 개의 포인트 전부가 출력 가능하면 제어모듈(170)은 27단계로 진행할 수 있다. 27단계에서 제어모듈(170)은 다섯 개의 포인트를 주행 중인 차량의 시야 영역에 출력할 수 있다.
23단계의 확인결과, 다섯 개의 포인트 중 일부 또는 전부가 매칭 영역에 포함되지 않으면 즉, 포인트 중 일부 또는 전부를 시야 영역에 출력할 수 없으면 제어모듈(170)은 25단계로 진행할 수 있다. 매칭 영역은 차량으로부터 직진 방향으로 형성되기 때문에 차량이 굴곡을 갖는 도로를 주행하거나, 일정 각도 이상으로 회전 주행을 할 경우에 매칭 영역에는 포인트가 포함되지 않을 수도 있다.
25단계에서 제어모듈(170)은 매칭 영역에 포함되지 않는 포인트를 이용하여 보정을 수행할 수 있다. 일 실시 예에 따르면, 제어모듈(170)은 다섯 개의 포인트 중 매칭 영역에 포함되는 적어도 두 개의 포인트 사이에 가상의 포인트를 생성하여 포인트를 보정할 수 있다. 이를 위해, 제어모듈(170)은 linear 보간법, polynominal 보간법, spline 보간법 등을 이용할 수 있다. 27단계에서 제어모듈(170)은 보정된 포인트 예컨대, 25단계에서 적어도 두 개의 포인트 사이에 생성된 가상의 포인트와 21단계에서 추출된 포인트를 시야 영역에 표시할 수 있다.
도 6은 본 발명의 실시 예에 따른 포인트를 보정하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 제어모듈(170)은 매칭 영역(MA)에 세 개의 포인트(610, 620, 630)이 포함되어 있음을 확인할 수 있다. 제어모듈(170)은 linear 보간법을 이용하여 610과 620에 해당하는 포인트 사이에 새로운 가상의 포인트(615)를 생성할 수 있고, 620과 630에 해당하는 포인트 사이에 새로운 가상의 포인트(625)를 생성할 수 있다. 제어모듈(170)은 상기와 같이 생성된 가상의 포인트(615, 625)와 제2 도로정보에서 확인되어 매칭 영역(MA)에 포함된 포인트(610, 620, 630)을 시야 영역에 표시할 수 있다.
도 7은 본 발명의 실시 예에 따른 포인트를 보정하는 다른 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 제어모듈(170)은 매칭 영역(MA)에 하나의 포인트(710)만 포함되어 있음을 확인할 수 있다. 제어모듈(170)은 linear 보간법을 이용하여 매칭 영역(MA)에 포함된 포인트(710)과 매칭 영역(MA)에 포함되지 않았으나 제2 도로정보에서 확인된 710 다음의 포인트(720) 사이에 새로운 가상의 포인트(715)를 생성할 수 있다. 제어모듈(170)은 상기와 같이 생성된 가상의 포인트(715)와 제2 도로정보에서 확인되어 매칭 영역(MA)에 포함된 포인트(710)를 시야 영역에 표시할 수 있다.
일 실시 예에 따르면, 제어모듈(170)은 주행 중인 도로의 곡률이 임계치 이상이어서 추출된 포인트 전체가 매칭 영역에 포함되지 않을 경우, 차량 주행 방향을 가이드할 수 있는 가이드 포인트를 생성할 수 있다. 제어모듈(170)은 제2 도로정보에서 확인된 포인트가 매칭 영역에 포함되지 않으면, 카메라(140)에서 획득된 영상데이터를 이용하여 차선의 경계선을 확인할 수 있다. 제어모듈(170)은 확인된 차선의 경계선을 기준으로 가이드 포인트를 생성할 수 있다. 27단계에서 제어모듈(170)은 생성된 가이드 포인트를 시야 영역에 표시할 수 있다.
도 8은 본 발명의 실시 예에 따른 보정된 포인트를 시야 영역에 출력한 화면을 나타내는 도면이다. 도 8을 참조하면, 주행 중인 도로의 곡률이 임계치 이상이어서 추출된 포인트(910) 전부가 매칭 영역(MA)에 포함되지 않을 경우에 제어모듈(170)은 카메라(140)에서 획득된 영상데이터로부터 주행 중인 차선의 경계선을 확인할 수 있다. 제어모듈(170)은 확인된 차선의 경계선을 기준으로 가상의 가이드 포인트(915)를 생성하여 매칭 영역(MA)에 포함시킬 수 있다. 제어모듈(170)은 상기와 같이 생성된 가이드 포인트(915)를 시야 영역에 표시할 수 있다.
그리고 본 명세서와 도면에 발명된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 발명된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 헤드업 디스플레이 제어장치
110: 통신모듈 120: 입력모듈
130: 센서모듈 140: 카메라
150: 출력모듈 160: 메모리
170: 제어모듈

Claims (12)

  1. 차량이 주행 중인 도로의 제1 도로정보가 저장된 메모리;
    상기 주행 중인 도로 전방에 대한 영상데이터를 획득하는 카메라;
    상기 영상데이터를 분석하여 상기 도로의 제2 도로정보를 획득하고, 상기 제1 도로정보 및 제2 도로정보에 기반한 복수개의 포인트를 추출하는 제어모듈;
    상기 제어모듈의 제어에 따라 상기 차량의 윈드쉴드에 출력되는 상기 시야 영역에 상기 복수개의 포인트를 출력하는 출력모듈;
    을 포함하는 헤드업 디스플레이 제어장치.
  2. 제1항에 있어서,
    상기 차량의 위치정보를 확인하는 위치센서를 포함하는 센서모듈;
    을 더 포함하는 헤드업 디스플레이 제어장치.
  3. 제2항에 있어서,
    상기 제어모듈은
    상기 위치정보에 대응되는 상기 제1 도로정보를 추출하고, 상기 제1 도로정보와 제2 도로정보가 일치하지 않으면, 상기 제1 도로정보를 제2 도로정보에 일치시키는 헤드업 디스플레이 제어장치.
  4. 제1항에 있어서,
    상기 제어모듈은
    상기 복수개의 포인트 중 상기 시야 영역에 출력되지 않는 포인트의 존재유무를 확인하는 헤드업 디스플레이 제어장치.
  5. 제4항에 있어서,
    상기 제어모듈은
    상기 복수개의 포인트 중 상기 시야 영역에 출력되지 않는 포인트가 적어도 하나이면 상기 시야 영역에 출력되는 적어도 하나의 포인트로 보정 포인트를 생성하는 헤드업 디스플레이 제어장치.
  6. 제5항에 있어서,
    상기 제어모듈은
    상기 출력모듈을 제어하여 상기 보정 포인트를 상기 시야 영역에 출력하는 헤드업 디스플레이 제어장치.
  7. 기 저장된 도로정보에서 차량이 주행 중인 도로의 제1 도로정보를 추출하는 단계;
    상기 주행 중인 도로 전방에 대한 영상데이터로부터 상기 도로의 제2 도로정보를 획득하는 단계;
    상기 제1 도로정보 및 제2 도로정보에 기반한 복수개의 포인트를 추출하는 단계;
    상기 차량의 윈드쉴드에 출력되는 시야 영역에 상기 복수개의 포인트를 출력하는 단계;
    를 포함하는 헤드업 디스플레이 제어방법.
  8. 제7항에 있어서,
    상기 제2 도로정보를 획득하는 단계 이후에
    상기 차량의 위치정보를 획득하는 단계;
    를 더 포함하는 헤드업 디스플레이 제어방법.
  9. 제8항에 있어서,
    상기 복수개의 포인트를 추출하는 단계 이전에
    상기 위치정보에 대응되는 상기 제1 도로정보를 추출하는 단계;
    상기 제1 도로정보와 제2 도로정보가 일치하지 않으면 상기 제1 도로정보를 제2 도로정보에 일치시키는 단계;
    를 더 포함하는 헤드업 디스플레이 제어방법.
  10. 제8항에 있어서,
    상기 복수개의 포인트를 출력하는 단계는
    상기 복수개의 포인트 중 상기 시야 영역에 출력되지 않는 포인트의 존재유무를 확인하는 단계;
    를 더 포함하는 헤드업 디스플레이 제어방법.
  11. 제10항에 있어서,
    상기 포인트의 존재유무를 확인하는 단계 이후에
    상기 복수개의 포인트 중 상기 시야 영역에 출력되지 않는 포인트가 적어도 하나이면 상기 시야 영역에 출력되는 적어도 하나의 포인트로 보정 포인트를 생성하는 단계;
    를 더 포함하는 헤드업 디스플레이 제어방법.
  12. 제11항에 있어서,
    상기 복수개의 포인트를 출력하는 단계는
    상기 포인트 및 보정 포인트를 상기 시야영역에 출력하는 단계인 헤드업 디스플레이 제어방법.
KR1020140140718A 2014-10-17 2014-10-17 헤드업 디스플레이 제어장치 및 방법 KR101683986B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140140718A KR101683986B1 (ko) 2014-10-17 2014-10-17 헤드업 디스플레이 제어장치 및 방법
US14/673,449 US9869860B2 (en) 2014-10-17 2015-03-30 Apparatus and method for controlling head up display
CN201510175641.5A CN106153053B (zh) 2014-10-17 2015-04-14 用于控制平视显示的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140140718A KR101683986B1 (ko) 2014-10-17 2014-10-17 헤드업 디스플레이 제어장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160045343A true KR20160045343A (ko) 2016-04-27
KR101683986B1 KR101683986B1 (ko) 2016-12-07

Family

ID=55748398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140140718A KR101683986B1 (ko) 2014-10-17 2014-10-17 헤드업 디스플레이 제어장치 및 방법

Country Status (3)

Country Link
US (1) US9869860B2 (ko)
KR (1) KR101683986B1 (ko)
CN (1) CN106153053B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190053619A (ko) 2017-11-10 2019-05-20 현대자동차주식회사 대용량 데이터를 포함하는 이미지 혹은 영상을 차량 내 헤드업 디스플레이 장치에 표시하는 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7067353B2 (ja) * 2018-08-09 2022-05-16 トヨタ自動車株式会社 運転者情報判定装置
KR20210016196A (ko) * 2019-08-02 2021-02-15 현대자동차주식회사 차량 및 차량의 제어방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
KR20120133309A (ko) * 2011-05-31 2012-12-10 현대자동차주식회사 영상인식 기술을 이용한 운전보조 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100030462A1 (en) * 2007-02-15 2010-02-04 Pioneer Corporation Display control apparatus, display control method, display control program, and recording medium
EP2141678A4 (en) * 2007-04-27 2011-10-19 Aisin Aw Co DRIVING ASSIST SYSTEM
JP4815488B2 (ja) * 2008-12-22 2011-11-16 本田技研工業株式会社 車両周辺監視装置
JP2011203643A (ja) 2010-03-26 2011-10-13 Nippon Seiki Co Ltd 車両用ヘッドアップディスプレイ装置
KR101278654B1 (ko) 2011-08-31 2013-06-25 에스엘 주식회사 차량의 주변 영상 디스플레이 장치 및 방법
WO2013046429A1 (ja) * 2011-09-30 2013-04-04 パイオニア株式会社 ヘッドアップディスプレイ及び表示装置
US8791835B2 (en) * 2011-10-03 2014-07-29 Wei Zhang Methods for road safety enhancement using mobile communication device
KR101316353B1 (ko) 2012-05-31 2013-10-08 현대자동차주식회사 차량 주변의 차선 생성 장치 및 방법
KR20140071174A (ko) 2012-12-03 2014-06-11 현대자동차주식회사 차량의 차선 가이드 장치 및 그 방법
CN103606291B (zh) * 2013-12-03 2016-02-03 广汽吉奥汽车有限公司 一种信息处理方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
KR20120133309A (ko) * 2011-05-31 2012-12-10 현대자동차주식회사 영상인식 기술을 이용한 운전보조 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190053619A (ko) 2017-11-10 2019-05-20 현대자동차주식회사 대용량 데이터를 포함하는 이미지 혹은 영상을 차량 내 헤드업 디스플레이 장치에 표시하는 방법 및 장치

Also Published As

Publication number Publication date
US9869860B2 (en) 2018-01-16
US20160107573A1 (en) 2016-04-21
KR101683986B1 (ko) 2016-12-07
CN106153053A (zh) 2016-11-23
CN106153053B (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
EP2933707B1 (en) Head mounted display presentation adjustment
CN107328410B (zh) 用于定位自动驾驶车辆的方法和汽车电脑
US10510276B1 (en) Apparatus and method for controlling a display of a vehicle
US10539790B2 (en) Coordinate matching apparatus for head-up display
US20180118224A1 (en) Display control device, display device, and display control method
KR20180088149A (ko) 차량 경로 가이드 방법 및 장치
US10466062B2 (en) Vehicular display device
WO2018025624A1 (ja) ヘッドアップディスプレイ装置、表示制御方法及び制御プログラム
US20170309257A1 (en) Display control device
JP6695049B2 (ja) 表示装置及び表示制御方法
JP6016732B2 (ja) 表示制御装置
JP6415583B2 (ja) 情報表示制御システムおよび情報表示制御方法
EP3358305A1 (en) Vehicular display device
KR20190070665A (ko) 컨텐츠 시각화 장치 및 방법
KR20150034512A (ko) 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
US9410818B2 (en) Navigation device
US9418548B2 (en) Display control device, display control method, non-transitory computer-readable recording medium, and projecting device
KR20130027367A (ko) 내비게이션 장치 및 경로 표시 방법
KR20150066036A (ko) 투명 네비게이션을 이용한 위치 안내 시스템 및 그 방법
KR101683986B1 (ko) 헤드업 디스플레이 제어장치 및 방법
CN109345015B (zh) 用于选取路线的方法和装置
US10586393B2 (en) Positioning objects in an augmented reality display
KR20150063852A (ko) 전방차량의 횡방향 거리 결정 방법 및 이를 이용한 헤드 업 디스플레이 장치
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法
KR20140132958A (ko) 증강 현실을 이용하여 헤드업 디스플레이 향상 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191127

Year of fee payment: 4