KR101826627B1 - 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법 - Google Patents

헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법 Download PDF

Info

Publication number
KR101826627B1
KR101826627B1 KR1020150170958A KR20150170958A KR101826627B1 KR 101826627 B1 KR101826627 B1 KR 101826627B1 KR 1020150170958 A KR1020150170958 A KR 1020150170958A KR 20150170958 A KR20150170958 A KR 20150170958A KR 101826627 B1 KR101826627 B1 KR 101826627B1
Authority
KR
South Korea
Prior art keywords
display
head
vehicle
coordinates
road
Prior art date
Application number
KR1020150170958A
Other languages
English (en)
Other versions
KR20170065082A (ko
Inventor
오형석
금병직
박성호
윤순표
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020150170958A priority Critical patent/KR101826627B1/ko
Publication of KR20170065082A publication Critical patent/KR20170065082A/ko
Application granted granted Critical
Publication of KR101826627B1 publication Critical patent/KR101826627B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)

Abstract

본 발명은 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 방법이 개시된다. 본 발명의 헤드업 디스플레이를 이용한 안전 운전정보 표시장치는, 차량의 전면에 영상을 디스플레이하는 헤드업 디스플레이; 위성으로부터 GPS 신호를 수신하는 GPS 수신부; 차량에 설치되어 전방의 객체를 측정하는 주변정보 측정부; 주행경로에 대한 도로정보를 저장하는 지도데이터 저장부; 및 주변정보 측정부에서 측정된 객체의 위치를 헤드업 디스플레이의 좌표에 매칭시키며, GPS 수신부로부터 얻은 차량의 위치에 따른 도로정보를 지도데이터 저장부로부터 읽어와 도로형상과 차량의 속도를 기반으로 안전 운전정보를 산출하여 헤드업 디스플레이에 표시하는 제어부;를 포함하는 것을 특징으로 한다.

Description

헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법{APPARATUS FOR DISPLAYING SAFETY DRIVING INFORMATION USING HEAD-UP DISPLAY AND CONTROL METHOD THEREOF}
본 발명은 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 주변정보 측정장치로부터 측정된 정보를 표시하기 위해 주변정보 측정장치의 좌표와 헤드업 디스플레이의 좌표를 일치시켜 굽은 도로에서의 도로형상을 증강현실로 표시할 뿐만 아니라, 굽은 도로를 주행하는 안전 운전정보를 표시하여 안전운전을 도모할 수 있도록 한 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법에 관한 것이다.
대부분의 차량에는 내비게이션이 장착되어, 운전자에게 목적지와 길 안내를 제공하도록 하고 있으며, 또한 최근에는 차량의 앞 유리창에 원하는 정보를 투사하여 운전자가 전방을 주시하면서도 투사된 정보를 획득할 수 있도록 하는 헤드업 디스플레이(HUD : Head-Up Display)를 장착한 차량이 출시되고 있다.
나아가 헤드업 디스플레이를 통해 특정 정보를 증강현실의 형식으로 디스플레이할 수 있도록 하는 연구가 진행되고 있는 상황이다.
증강현실(AR : Augmented Reality)은 사용자가 눈으로 보는 현실세계에 3차원의 가상 객체를 겹쳐 보여주는 기술로서, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여 주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
그러나 이러한 헤드업 디스플레이는 단순히 내비게이션 정보 및 차량 주행에 대한 단순한 정보만 표시하였다. 즉, 내비게이션 정보를 헤드업 디스플레이에 표시할 때 차량의 위치와 실제의 차선이 일치되지 않음으로써 안전사고 방지를 위한 정보들을 증강현실로 표시해 주지 못하는 문제점이 있었다.
따라서 이러한 문제점을 해결하기 위해 차선을 인식하여 실제 차선의 위치에 맞춰 증강현실로 가상의 차선을 표시해 줄 수 있도록 하는 기술이 제안되었다.
관련 선행기술로는 한국공개특허 제2015-0055183호(2015.05.21.)인 "헤드업 디스플레이를 이용한 차선 표시 장치 및 방법"이 있다.
이와 같이 증강현실을 기반으로 헤드업 디스플레이에 주변정보를 표시할 때 측정 장치와 헤드업 디스플레이의 좌표가 서로 상이할 경우 표시되는 위치가 어긋나는 문제점이 있으며, 도로의 기울기와 같은 도로형상은 제공되지 않고 있을 뿐만 아니라 굽은 도로에서의 안전 운전정보 등 안전운전을 위한 가이드 정보는 제공되지 않고 있어 실질적으로 안전 운전에 도움이 되지 못하는 문제점이 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 본 발명의 일 측면에 따르면, 본 발명의 목적은 주변정보 측정장치로부터 측정된 정보를 표시하기 위해 주변정보 측정장치의 좌표와 헤드업 디스플레이의 좌표를 일치시켜 굽은 도로에서의 도로형상을 증강현실로 표시할 뿐만 아니라, 굽은 도로를 주행하는 안전 운전정보를 표시하여 안전운전을 도모할 수 있도록 한 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법을 제공하는 것이다.
본 발명의 일 측면에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치는, 차량의 전면에 영상을 디스플레이하는 헤드업 디스플레이; 위성으로부터 GPS 신호를 수신하는 GPS 수신부; 차량에 설치되어 전방의 객체를 측정하는 주변정보 측정부; 주행경로에 대한 도로정보를 저장하는 지도데이터 저장부; 및 주변정보 측정부의 설치위치에 따른 좌표와 헤드업 디스플레이의 좌표를 시점 변환하여 좌표를 일치시키고, 주변정보 측정부에서 측정된 객체의 위치를 헤드업 디스플레이의 좌표에 매칭시키며, GPS 수신부로부터 얻은 차량의 위치에 따른 도로정보를 지도데이터 저장부로부터 읽어와 도로형상과 차량의 속도를 기반으로 안전 운전정보를 산출하여 도로형상에 따른 구배선과 안전 운전정보 중 어느 하나 이상을 헤드업 디스플레이에 표시하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명은 차량의 진동 및 자세를 측정하는 차량자세 측정부를 더 포함하며, 제어부는 차량의 자세에 따른 좌표의 변화에 대해 헤드업 디스플레이의 좌표를 보정하는 것을 특징으로 한다.
본 발명에서 차량자세 측정부는, 진동센서, 가속도센서 및 자이로센서 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 주변정보 측정부는, 카메라, 레이더 및 라이다 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 제어부는, 주변정보 측정부의 설치위치에 따른 좌표와 헤드업 디스플레이의 좌표를 일치시키기 위한 시점변환 매트릭스를 통해 주변정보 측정부에서 측정된 객체의 위치를 헤드업 디스플레이의 좌표에 매칭시키는 것을 특징으로 한다.
본 발명에서 제어부는, 굽은 도로 구간에서 도로 구배에 따른 구배선을 원근법에 따라 다른 간격으로 도로 면에 표시하여 도로형상을 표시하는 것을 특징으로 한다.
본 발명에서 안전 운전정보는, 굽은 도로에서 도로의 구배에 따른 안전 주행속도와, 차량의 속도를 기반으로 굽은 도로의 중심선을 따라 주행하기 위한 안전 조향각 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명은 제어부에서 차량의 속도가 안전 운전정보를 벗어난 경우 경고하기 위한 경고부를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법은, 제어부가 주변정보 측정부로부터 측정한 객체의 감시영상을 입력 받는 단계; 제어부가 주변정보 측정부의 설치위치에 따른 좌표와 헤드업 디스플레이의 좌표를 시점 변환하여 좌표를 일치시키는 단계; 및 제어부가 헤드업 디스플레이의 좌표에 객체의 위치를 매칭시켜 표시하면서 GPS 수신부로부터 얻은 차량의 위치를 기반으로 지도데이터 저장부로부터 도로정보를 입력받아 도로형상에 따른 구배선을 헤드업 디스플레이에 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 헤드업 디스플레이의 좌표와 일치시키는 단계는, 제어부가 차량자세 측정부로부터 차량자세에 따른 좌표의 변화가 입력될 경우 헤드업 디스플레이의 좌표를 보정하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서 차량자세 측정부는, 진동센서, 가속도센서 및 자이로센서 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 객체의 위치를 헤드업 디스플레이의 좌표에 매칭시켜 표시하는 단계는, 제어부가 주변정보 측정부의 설치위치에 따른 좌표와 헤드업 디스플레이의 좌표를 일치시키기 위한 시점변환 매트릭스를 통해 주변정보 측정부에서 측정된 객체의 위치를 헤드업 디스플레이의 좌표로 매칭시키는 것을 특징으로 한다.
본 발명에서 주변정보 측정부는, 카메라, 레이더 및 라이다 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 도로형상을 헤드업 디스플레이에 표시하는 단계는, 제어부가 굽은 도로 구간에서 도로 구배에 따른 구배선을 원근법에 따라 다른 간격으로 도로 면에 표시하는 것을 특징으로 한다.
본 발명은 제어부가 차량의 속도와 도로형상을 기반으로 안전 운전정보를 산출하여 헤드업 디스플레이에 표시하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서 안전 운전정보는, 굽은 도로에서 도로의 구배에 따른 안전 주행속도와, 차량의 속도를 기반으로 굽은 도로의 중심선을 따라 주행하기 위한 안전 조향각 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명은 제어부가 차량의 속도가 안전 운전정보를 벗어난 경우 경고부를 통해 경고하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법은 주변정보 측정장치로부터 측정된 정보를 표시하기 위해 주변정보 측정장치의 좌표와 헤드업 디스플레이의 좌표를 일치시켜 굽은 도로에서의 도로형상을 증강현실로 표시하여 증강현실의 이질감을 줄일 수 있을 뿐만 아니라, 굽은 도로를 주행하는 안전 운전정보를 표시하여 안전운전을 도모할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치를 나타낸 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치에서의 다양한 좌표계를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 헤드업 디스플레이의 좌표 매칭 장치에서 시점변환 과정을 나타낸 예시도면이다.
도 4는 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치를 통해 도로형상 및 안전 운전정보를 표시한 예시 도면이다.
도 5는 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치를 나타낸 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치에서의 다양한 좌표계를 나타낸 도면이며, 도 3은 본 발명의 일 실시예에 따른 헤드업 디스플레이의 좌표 매칭 장치에서 시점변환 과정을 나타낸 예시도면이고, 도 4는 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치를 통해 도로형상 및 안전 운전정보를 표시한 예시 도면이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치는, 주변정보 측정부(10), GPS 수신부(30), 지도데이터 저장부(40) 및 제어부(50)를 비롯하여 차량자세 측정부(20) 및 경고부(70)를 포함한다.
헤드업 디스플레이(60)는 차량(미도시)의 전면 유리창에 영상을 투사하여 디스플레이 한다.
주변정보 측정부(10)는 차량에 설치되어 전방의 객체를 측정하여 감지영상을 제공한다.
여기서 주변정보 측정부(10)는, 카메라, 레이더 및 라이다 중 어느 하나 이상을 포함할 수 있다.
이들 주변정보 측정부(10)는 차량의 전방을 촬영하여 객체를 감지하기 위해 차량의 다양한 위치에 설치될 수 있다. 따라서 주변정보 측정부(10)에서 측정하는 객체의 좌표와 촬영된 영상을 헤드업 디스플레이(60)를 통해 표시할 때 헤드업 디스플레이(60)의 좌표가 서로 일치하지 않으면 객체의 위치와 실제 객체의 위치 및 크기가 틀어져 보이게 된다.
이를 방지하기 위해 제어부(50)는 주변정보 측정부(10)의 설치위치에 따른 좌표와 헤드업 디스플레이(60)의 좌표를 일치시킨다.
예를 들어, 주변정보 측정부(10)로써 카메라가 차량의 전면 하부에서 전방의 객체를 측정하게 되면 헤드업 디스플레이(60)는 차량의 중앙에서 전면 유리창에 영상을 표시하기 때문에 동일한 객체라 하더라도 각각의 좌표계를 통해 볼 때 위치가 상이하게 된다. 따라서 제어부(50)는 동일한 좌표로 해당 객체가 표시될 수 있도록 좌표를 일치시키게 된다.
한편, 차량자세 측정부(20)는 진동센서, 가속도센서 및 자이로센서 중 어느 하나 이상을 포함하여 차량의 진동 및 자세를 측정하여 제공한다.
따라서 제어부(50)는 차량자세 측정부(20)로부터 차량의 자세에 따른 좌표의 변화에 대해 헤드업 디스플레이(60)의 좌표를 보정할 수도 있다.
즉, 도 2에 도시된 바와 같이 월드 좌표계를 기준으로 볼 때 헤드업 디스플레이(60)의 좌표를 나타내는 HUD 좌표계와, 주변정보 측정부(10)의 좌표를 나타내는 카메라 좌표계 및 차량자세 측정부(20)의 좌표를 나타내는 자세센서 좌표계가 서로 상이하게 됨에 따라 이들 좌표계를 서로 통합하여 동일한 객체에 대해 동일한 위치에 표시될 수 있도록 좌표를 일치시킨다.
또한, 제어부(50)는 주변정보 측정부(10)의 설치위치에 따른 좌표와 헤드업 디스플레이(60)의 좌표를 일치시키기 위한 시점변환 매트릭스를 통해 주변정보 측정부(10)에서 측정된 객체의 위치를 헤드업 디스플레이(60)의 좌표에 매칭시켜 좌표를 변환함으로써 주변정보 측정부(10)의 측정 화각과 헤드업 디스플레이(60)를 통해 표시되는 영상의 화각을 일치시킨다.
즉, 주변정보 측정부(10)가 전방 객체를 측정하기 위해 설치 위치에 따라 전방을 바라보는 화각과 헤드업 디스플레이(60)를 통해 표시되는 영상의 화각이 상이할 경우, 화면에서 객체의 크기가 서로 상이하기 때문에 이를 단순히 매칭시켜 표시하게 되면 객체의 위치와 크기가 달라져 실제 객체와 영상에서의 객체가 다르게 보이게 된다.
따라서 제어부(50)는 주변정보 측정부(10)의 측정 화각과 헤드업 디스플레이(60)를 통해 표시되는 영상의 화각이 일치되도록 주변정보 측정부(10)에서 측정된 객체의 위치 및 크기를 변환한 후 헤드업 디스플레이(60)를 통해 표시되는 영역을 추출하여 헤드업 디스플레이(60)에 함으로써 실제 객체와 영상에서의 객체의 위치가 일치되어 표시된다.
예를 들어, 도 3에 도시된 바와 같이 주변정보 측정부(10)의 카메라를 통해 촬영된 영상(A)의 화각과 헤드업 디스플레이(60)를 통해 표시되는 영상(B)의 화각을 일치시키기 위해 수학식 1과 같은 시점변환 매트릭스를 통해 카메라의 영상좌표를 헤드업 디스플레이(60)의 좌표로 변환한다.
Figure 112015118153313-pat00001
여기서, 시점변환 매트릭스는 카메라의 화각과 헤드업 디스플레이의 화각에 따라 다르게 정의된다. 즉, 화각에 따라 시점변환 매트릭스를 정의함으로써 상호 좌표변환을 통해 시점을 일치시킬 수 있게 된다.
Figure 112015118153313-pat00002
따라서, 수학식 2와 같이 카메라의 영상좌표 (x,y)에 대해 시점변환 매트릭스를 통해 헤드업 디스플레이(60)의 좌표 (x',y')로 변환하여 좌표를 일치시킬 수 있다. 이후 헤드업 디스플레이(60)를 통해 표시되는 영역(C)을 추출하여 디스플레이할 경우 실제 물체와 영상에서의 물체의 위치가 일치되어 표시된다.
GPS 수신부(30)는 GPS 위치정보를 수신하여 현재 차량의 위치를 판단할 수 있도록 한다.
지도데이터 저장부(40)는 주행경로에 대한 도로정보가 저장되며, 도로정보에는 도로형상으로 굽은 도로 구간에서의 도로 구배가 포함된다.
따라서 제어부(50)는 GPS 수신부(30)로부터 GPS 신호를 수신하여 차량의 위치에 따른 도로정보를 지도데이터 저장부(40)로부터 읽어와 도로형상을 도 3에 도시된 바와 같이 헤드업 디스플레이(60)에 표시한다.
예를 들어, 도 4에 도시된 바와 같이 굽은 도로 구간에서 차선을 비롯하여 도로 구배에 따른 구배선(80)을 원근법에 따라 다른 간격으로 도로 면에 표시하여 도로형상을 표시할 수 있다.
또한, 제어부(50)는 도 4에 도시된 바와 같이 굽은 도로 구간에서의 도로 구배와 더불어 차량의 속도와 도로형상을 기반으로 안전 주행속도와 안전 조향각을 포함하는 안전 운전정보를 산출하여 헤드업 디스플레이(60)에 표시한다.
여기서 안전 주행속도는 굽은 도로에서 도로의 구배에 따라 차량이 쏠리지 않고 안전하게 주행할 수 있는 속도를 의미하고, 안전 조향각은 차량의 속도를 기반으로 굽은 도로의 중심선(85)을 따라 주행하기 위한 조향각을 의미한다.
경고부(70)는 제어부(50)에서 차량의 속도가 안전 운전정보 중 안전 주행속도를 벗어난 경우 속도를 줄일 수 있도록 경고한다.
상술한 바와 같이, 본 발명의 실시예에 의한 헤드업 디스플레이를 이용한 안전 운전정보 표시장치에 따르면, 주변정보 측정장치로부터 측정된 정보를 표시하기 위해 주변정보 측정장치의 좌표와 헤드업 디스플레이의 좌표를 일치시켜 굽은 도로에서의 도로형상을 증강현실로 표시하여 증강현실의 이질감을 줄일 수 있을 뿐만 아니라, 굽은 도로를 주행하는 안전 운전정보를 표시하여 안전운전을 도모할 수 있도록 한다.
도 5는 본 발명의 일 실시예에 따른 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법을 설명하기 위한 흐름도이다.
도 5에 도시된 바와 같이 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법에서는 먼저, 제어부(50)가 주변정보 측정부(10)로부터 측정한 객체의 감지영상을 입력 받는다(S10).
여기서 주변정보 측정부(10)는, 카메라, 레이더 및 라이다 중 어느 하나 이상을 포함할 수 있다.
이들 주변정보 측정부(10)는 차량의 전방을 촬영하여 객체를 감지하기 위해 차량의 다양한 위치에 설치될 수 있다. 따라서 주변정보 측정부(10)에서 측정하는 좌표와 촬영된 객체의 위치를 헤드업 디스플레이(60)를 통해 표시할 때 헤드업 디스플레이(60)의 좌표가 서로 일치하지 않으면 객체의 위치와 실제 객체의 위치 및 크기가 틀어져 보이게 된다.
S10 단계에서 객체의 감지영상을 입력받은 후 제어부(50)는 주변정보 측정부(10)의 설치위치에 따른 좌표와 헤드업 디스플레이(60)의 좌표를 일치시킨다(S20).
예를 들어, 주변정보 측정부(10)로써 카메라가 차량의 전면 하부에서 전방의 객체를 측정하게 되면 헤드업 디스플레이(60)는 차량의 중앙에서 전면 유리창에 영상을 표시하기 때문에, 동일한 객체라 하더라도 각각의 좌표계를 통해 볼 때 위치가 상이하게 된다. 따라서 제어부(50)가 동일한 좌표로 해당 객체가 표시될 수 있도록 좌표를 일치시키게 된다.
또한, S20 단계에서 헤드업 디스플레이(60)의 좌표를 일치시킨 후 제어부(50)는 차량자세 측정부(20)로부터 차량의 자세에 따른 좌표의 변화를 입력 받는다(S30).
따라서 차량의 자세에 따른 좌표의 변화가 발생할 경우 이에 대해 제어부(50)가 헤드업 디스플레이(60)의 좌표를 보정한다(S40). 이때 차량자세 측정부(20)는 진동센서, 가속도센서 및 자이로센서 중 어느 하나 이상을 포함할 수 있다.
즉, 도 2에 도시된 바와 같이 월드 좌표계를 기준으로 볼 때 헤드업 디스플레이(60)의 좌표를 나타내는 HUD 좌표계와, 주변정보 측정부(10)의 좌표를 나타내는 카메라 좌표계 및 차량자세 측정부(20)의 좌표를 나타내는 자세센서 좌표계가 서로 상이하게 됨에 따라 이들 좌표계를 서로 통합하여 동일한 객체에 대해 동일한 위치에 표시될 수 있도록 좌표를 일치시킨다.
S40 단계를 통해 좌표를 일치시킨 후 제어부(50)는 주변정보 측정부(10)의 측정 화각과 헤드업 디스플레이(60)를 통해 표시되는 영상의 화각이 일치되도록 주변정보 측정부(10)에서 측정된 객체의 위치를 변환한다(S50).
즉, 주변정보 측정부(10)가 전방 객체를 측정하기 위해 설치 위치에 따라 전방을 바라보는 화각과 헤드업 디스플레이(60)를 통해 표시되는 영상의 화각이 상이할 경우, 화면에서 객체의 크기가 서로 상이하기 때문에 이를 단순히 매칭시켜 표시하게 되면 객체의 위치와 크기가 달라져 실제 객체와 영상에서의 객체가 다르게 보이게 된다.
따라서, 제어부(50)는 도 3에 도시된 바와 같이 주변정보 측정부(10)의 카메라를 통해 촬영된 영상(A)의 화각과 헤드업 디스플레이(60)를 통해 표시되는 영상(B)의 화각을 일치시키기 위해 수학식 3과 같은 시점변환 매트릭스를 통해 카메라의 영상좌표를 헤드업 디스플레이(60)의 좌표로 변환한다.
Figure 112015118153313-pat00003
여기서, 시점변환 매트릭스는 카메라의 화각과 헤드업 디스플레이의 화각에 따라 다르게 정의된다. 즉, 화각에 따라 시점변환 매트릭스를 정의함으로써 상호 좌표변환을 통해 시점을 일치시킬 수 있게 된다.
S50 단계에서 제어부(30)는 주변정보 측정부(10)의 측정 화각과 헤드업 디스플레이(60)를 통해 표시되는 영상의 화각이 일치되도록 주변정보 측정부(10)에서 측정된 물체의 위치를 수학식 4와 같이 시점변환 매트릭스를 통해 변환한 후 헤드업 디스플레이(60)를 통해 표시되는 영역(C)을 추출하여 디스플레이할 경우 실제 물체와 영상에서의 물체의 위치가 일치되어 표시된다(S60).
Figure 112015118153313-pat00004
즉, 카메라의 영상좌표 (x,y)에 대해 시점변환 매트릭스를 통해 헤드업 디스플레이(40)의 좌표 (x',y')로 변환하여 좌표를 일치시킬 수 있다.
S60 단계에서 제어부(50)가 헤드업 디스플레이(60)에 객체를 표시하면서 GPS 수신부(30)로부터 GPS 위치정보를 수신 받아 차량의 위치를 판단한다(S70).
S70 단계에서 차량의 위치를 판단한 후, 제어부(50)는 차량의 위치를 기반으로 지도데이터 저장부(40)로부터 도로정보를 입력받아 도로형상을 헤드업 디스플레이(60)에 표시한다(S80).
이때 제어부(50)는 도 4에 도시된 바와 같이 굽은 도로 구간에서 차선을 비롯하여 도로 구배에 따른 구배선(80)을 원근법에 따라 다른 간격으로 도로 면에 표시하여 도로형상을 표시할 수 있다.
S80 단계에서 굽은 도로 구간에서 도로 구배를 표시함과 더불어, 제어부(50)는 차량의 속도와 도로형상을 기반으로 안전 운전정보를 산출하여 헤드업 디스플레이(60)에 표시한다(S90).
여기서 안전 운전정보는, 굽은 도로에서 도로의 구배에 따른 안전 주행속도와, 차량의 속도를 기반으로 굽은 도로의 중심선(85)을 따라 주행하기 위한 안전 조향각 중 어느 하나 이상을 포함할 수 있다.
S90 단계에서 안전 운전정보를 표시한 후, 제어부(50)는 차량의 속도와 안전 운전정보의 안전 주행속도를 비교한다(S100).
S100 단계에서 차량의 속도가 안전 주행속도 이상으로 벗어난 경우, 제어부(50)는 경고부(70)를 통해 차량의 속도를 줄일 수 있도록 경고한다(S110).
반면 S100 단계에서 차량의 속도가 안전 주행속도 미만으로 줄인 경우, 제어부(50)는 경고를 해제한다(S120).
상술한 바와 같이, 본 발명의 실시예에 의한 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법에 따르면, 주변정보 측정장치로부터 측정된 정보를 표시하기 위해 주변정보 측정장치의 좌표와 헤드업 디스플레이의 좌표를 일치시켜 굽은 도로에서의 도로형상을 증강현실로 표시하여 증강현실의 이질감을 줄일 수 있을 뿐만 아니라, 굽은 도로를 주행하는 안전 운전정보를 표시하여 안전운전을 도모할 수 있도록 한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
10 : 주변정보 측정부 20 : 차량자세 측정부
30 : GPS 수신부 40 : 지도데이터 저장부
50 : 제어부 60 : 헤드업 디스플레이
70 : 경고부 80 : 구배선
85 : 중심선

Claims (17)

  1. 차량의 전면에 영상을 디스플레이하는 헤드업 디스플레이;
    위성으로부터 GPS 신호를 수신하는 GPS 수신부;
    상기 차량에 설치되어 전방의 객체를 측정하는 주변정보 측정부;
    주행경로에 대한 도로정보를 저장하는 지도데이터 저장부; 및
    상기 주변정보 측정부의 설치위치에 따른 좌표와 상기 헤드업 디스플레이의 좌표를 시점 변환하여 좌표를 일치시키고, 상기 주변정보 측정부에서 측정된 객체의 위치를 상기 헤드업 디스플레이의 좌표에 매칭시키며, 상기 GPS 수신부로부터 얻은 상기 차량의 위치에 따른 상기 도로정보를 상기 지도데이터 저장부로부터 읽어와 도로형상과 상기 차량의 속도를 기반으로 안전 운전정보를 산출하여 상기 도로형상에 따른 구배선과 상기 안전 운전정보 중 어느 하나 이상을 상기 헤드업 디스플레이에 표시하는 제어부;를 포함하되,
    상기 안전 운전정보는, 상기 차량의 속도를 기반으로 굽은 도로의 중심선을 따라 주행하기 위한 안전 조향각을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치.
  2. 제 1항에 있어서, 상기 차량의 진동 및 자세를 측정하는 차량자세 측정부를 더 포함하며, 상기 제어부는 상기 차량의 자세에 따른 좌표의 변화에 대해 상기 헤드업 디스플레이의 좌표를 보정하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치.
  3. 제 2항에 있어서, 상기 차량자세 측정부는, 진동센서, 가속도센서 및 자이로센서 중 어느 하나 이상을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치.
  4. 제 1항에 있어서, 상기 주변정보 측정부는, 카메라, 레이더 및 라이다 중 어느 하나 이상을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치.
  5. 제 1항에 있어서, 상기 제어부는, 상기 주변정보 측정부의 설치위치에 따른 좌표와 상기 헤드업 디스플레이의 좌표를 일치시키기 위한 시점변환 매트릭스를 통해 상기 주변정보 측정부에서 측정된 객체의 위치를 상기 헤드업 디스플레이의 좌표에 매칭시키는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치.
  6. 제 1항에 있어서, 상기 제어부는, 굽은 도로 구간에서 도로 구배에 따른 구배선을 원근법에 따라 다른 간격으로 도로 면에 표시하여 상기 도로형상을 표시하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치.
  7. 제 1항에 있어서, 상기 안전 운전정보는, 굽은 도로에서 도로의 구배에 따른 안전 주행속도를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치.
  8. 제 1항에 있어서, 상기 제어부에서 상기 차량의 속도가 상기 안전 운전정보를 벗어난 경우 경고하기 위한 경고부를 더 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치.
  9. 제어부가 주변정보 측정부로부터 측정한 객체의 감시영상을 입력 받는 단계;
    상기 제어부가 상기 주변정보 측정부의 설치위치에 따른 좌표와 헤드업 디스플레이의 좌표를 시점 변환하여 좌표를 일치시키는 단계; 및
    상기 제어부가 상기 헤드업 디스플레이의 좌표에 객체의 위치를 매칭시켜 표시하면서 GPS 수신부로부터 얻은 차량의 위치를 기반으로 지도데이터 저장부로부터 도로정보를 입력받아 도로형상에 따른 구배선을 상기 헤드업 디스플레이에 표시하는 단계;를 포함하되,
    상기 제어부가 상기 차량의 속도와 상기 도로형상을 기반으로 안전 운전정보를 산출하여 상기 헤드업 디스플레이에 표시하는 단계를 더 포함하며,
    상기 안전 운전정보는, 상기 차량의 속도를 기반으로 굽은 도로의 중심선을 따라 주행하기 위한 안전 조향각을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법.
  10. 제 9항에 있어서, 상기 헤드업 디스플레이의 좌표와 일치시키는 단계는, 상기 제어부가 차량자세 측정부로부터 차량자세에 따른 좌표의 변화가 입력될 경우 상기 헤드업 디스플레이의 좌표를 보정하는 단계를 더 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법.
  11. 제 10항에 있어서, 상기 차량자세 측정부는, 진동센서, 가속도센서 및 자이로센서 중 어느 하나 이상을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법.
  12. 제 9항에 있어서, 상기 객체의 위치를 상기 헤드업 디스플레이의 좌표에 매칭시켜 표시하는 단계는, 상기 제어부가 상기 주변정보 측정부의 설치위치에 따른 좌표와 상기 헤드업 디스플레이의 좌표를 일치시키기 위한 시점변환 매트릭스를 통해 상기 주변정보 측정부에서 측정된 객체의 위치를 상기 헤드업 디스플레이의 좌표로 매칭시키는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법.
  13. 제 9항에 있어서, 상기 주변정보 측정부는, 카메라, 레이더 및 라이다 중 어느 하나 이상을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법.
  14. 제 9항에 있어서, 상기 도로형상을 상기 헤드업 디스플레이에 표시하는 단계는, 상기 제어부가 굽은 도로 구간에서 도로 구배에 따른 구배선을 원근법에 따라 다른 간격으로 도로 면에 표시하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법.
  15. 삭제
  16. 제 9항에 있어서, 상기 안전 운전정보는, 굽은 도로에서 도로의 구배에 따른 안전 주행속도를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법.
  17. 제 9항에 있어서, 상기 제어부가 상기 차량의 속도가 상기 안전 운전정보를 벗어난 경우 경고부를 통해 경고하는 단계를 더 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 안전 운전정보 표시장치의 제어방법.
KR1020150170958A 2015-12-02 2015-12-02 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법 KR101826627B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150170958A KR101826627B1 (ko) 2015-12-02 2015-12-02 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150170958A KR101826627B1 (ko) 2015-12-02 2015-12-02 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170065082A KR20170065082A (ko) 2017-06-13
KR101826627B1 true KR101826627B1 (ko) 2018-02-08

Family

ID=59218779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150170958A KR101826627B1 (ko) 2015-12-02 2015-12-02 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101826627B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
UA120581C2 (uk) * 2019-03-15 2019-12-26 Апостера Гмбх Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти)
US11615599B2 (en) 2019-03-15 2023-03-28 Harman International Industries, Incorporated Apparatus of shaking compensation and method of shaking compensation
JP7417907B2 (ja) * 2019-05-22 2024-01-19 パナソニックIpマネジメント株式会社 表示システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009250827A (ja) * 2008-04-08 2009-10-29 Panasonic Corp ナビゲーション装置、方法及びプログラム
JP4534079B2 (ja) * 2004-11-25 2010-09-01 日本精機株式会社 車両用表示装置
JP2014052851A (ja) * 2012-09-07 2014-03-20 Mitsubishi Electric Corp 運転支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534079B2 (ja) * 2004-11-25 2010-09-01 日本精機株式会社 車両用表示装置
JP2009250827A (ja) * 2008-04-08 2009-10-29 Panasonic Corp ナビゲーション装置、方法及びプログラム
JP2014052851A (ja) * 2012-09-07 2014-03-20 Mitsubishi Electric Corp 運転支援装置

Also Published As

Publication number Publication date
KR20170065082A (ko) 2017-06-13

Similar Documents

Publication Publication Date Title
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
US10789845B2 (en) Parking assistance method and parking assistance device
JP5212748B2 (ja) 駐車支援装置
US10179588B2 (en) Autonomous vehicle control system
US7482909B2 (en) Night vision device
KR20170060652A (ko) 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
WO2016092591A1 (ja) 衝突リスク算出装置、衝突リスク表示装置、車体制御装置
US20160159280A1 (en) Head-up display and program
JP6459205B2 (ja) 車両用表示システム
CN109927552B (zh) 车辆用显示装置
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
US11527013B2 (en) Camera parameter estimating device, camera parameter estimating method, and camera parameter estimating program
KR101826627B1 (ko) 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법
JP6941178B2 (ja) 自動運転制御装置及び方法
JP7063856B2 (ja) 表示制御装置
KR101588787B1 (ko) 전방차량의 횡방향 거리 결정 방법 및 이를 이용한 헤드 업 디스플레이 장치
JP2019526105A (ja) 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
JP2019526105A5 (ko)
JP7450230B2 (ja) 表示システム
JP6080998B1 (ja) 車両制御情報生成装置および車両制御情報生成方法
KR20180026418A (ko) 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
KR101835409B1 (ko) 헤드업 디스플레이의 제어 장치 및 그 방법
JP2016118859A (ja) 情報表示装置、制御方法、プログラム、及び記憶媒体
US20230410383A1 (en) Display control device, display device, display system, vehicle, display control method, and non-transitory storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant