KR102052405B1 - 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법 - Google Patents

차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법 Download PDF

Info

Publication number
KR102052405B1
KR102052405B1 KR1020130133459A KR20130133459A KR102052405B1 KR 102052405 B1 KR102052405 B1 KR 102052405B1 KR 1020130133459 A KR1020130133459 A KR 1020130133459A KR 20130133459 A KR20130133459 A KR 20130133459A KR 102052405 B1 KR102052405 B1 KR 102052405B1
Authority
KR
South Korea
Prior art keywords
hud
vehicle
unit
output
event
Prior art date
Application number
KR1020130133459A
Other languages
English (en)
Other versions
KR20150051671A (ko
Inventor
유영수
차영혁
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020130133459A priority Critical patent/KR102052405B1/ko
Publication of KR20150051671A publication Critical patent/KR20150051671A/ko
Application granted granted Critical
Publication of KR102052405B1 publication Critical patent/KR102052405B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법에 관한 것으로서, 더욱 상세하게는 헤드업 디스플레이를 사용하는 차량에서 지도 데이터를 사용하는 경로 안내는 메인 HUD 출력부를 통해 출력하며, 경로 안내 이벤트, 차량의 방향 이벤트 또는 운전자 눈동자의 움직임 이벤트 중 어느 하나 이상을 인식하여 추출 또는 생성되는 이벤트 정보를 메인 HUD 출력부를 통해 출력되는 화면의 주변에 하나 이상의 서브 HUD 출력부를 통해 화면을 생성함으로써, 운전자의 HUD 시인성을 개선 위한 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법에 관한 것이다.
본 발명의 차량 및 사용자 동작 인식에 따른 화면 제어 장치는 운전자의 모션, 차량 동작 또는 경로 정보 중 어느 하나 이상에서 발생하는 이벤트를 인식하기 위한 인식부와 상기 이벤트에 대응하는 영상 데이터 또는 교통정보 중 어느 하나 이상의 이벤트 정보를 출력하기 위해 하나의 메인 HUD 출력부 및 하나 이상의 서브 HUD 출력부를 포함하는 HUD 출력부와 상기 HUD 출력부에서 출력되는 화면의 수, 크기 또는 위치 중 어느 하나 이상을 설정하기 위한 제어부 및 상기 HUD 출력부에 차량 외부의 영상을 제공하기 위한 카메라부를 포함함에 기술적 의의가 있다.

Description

차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법{A display control device using vehicles and user motion recognition and its method of operation}
본 발명은 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법에 관한 것으로서, 더욱 상세하게는 헤드업 디스플레이를 사용하는 차량에서 지도 데이터를 사용하는 경로 안내는 메인 HUD 출력부를 통해 출력하며, 경로 안내 이벤트, 차량의 방향 이벤트 또는 운전자 눈동자의 움직임 이벤트 중 어느 하나 이상을 인식하여 추출 또는 생성되는 이벤트 정보를 메인 HUD 출력부를 통해 출력되는 화면의 주변에 하나 이상의 서브 HUD 출력부를 통해 화면을 생성함으로써, 운전자의 HUD 시인성을 개선 위한 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법에 관한 것이다.
일반적으로 헤드업 디스플레이(head-up display, 이하 'HUD'라 함)는 차량의 운전자가 시야를 확보하기 위한 전면 유리 상에 각종 운행 정보(속도, 유량, 수온, 거리 등)를 표시하는 장치이다.
이러한 종래의 HUD는 LCD의 후면에서 조사되는 빛에 의해 LCD에 나타나는 각종 정보의 문자 또는 영상이 전면 유리에서 반사되어 운전자가 인식할 수 있도록 하고 있으며, 운전자는 이를 통해 전면 시야를 확보하면서도 동시에 각종 정보를 확인할 수 있는 특징이 있다.
그러나, 종래의 HUD는 전면 유리의 항상 동일한 위치에 화면을 출력하고 있어, 다양한 운전자가 해당 HUD 화면을 용이하게 인식하기 어려운 문제점이 있었다.
이러한 문제점을 해결하기 위한 종래기술인 대한민국등록특허공보 제10-1131983호(2012.03.23 등록) '차량속도에 따라 가상 영상정보 이미지의 투영위치를 변화시키는 차량용 헤드업 디스플레이 장치'가 개시되어 있다.
종래기술은 차량의 속도가 저속 또는 고속에 따라 운전자의 시점이 변화되는 것을 해결하기 위해, 차량의 속도에 대응하여, HUD 영상 이미지를 투과시키는 렌즈의 조사각도를 조절함으로써 전면 유리에 출력되는 화면의 위치를 다양한 각도로 조절하도록 하는 기술이다.
그러나, 종래기술은 하나의 화면에서 하나의 정보를 출력하며, 다른 정보를 출력하기 위해서는 현재의 HUD 화면의 정보를 종료하고 다른 정보를 새롭게 출력하여 사용자에게 제공하고 있다. 이러한 경우, 출력되는 다른 정보의 화면이 종료되고 기존의 정보가 새롭게 출력되지 않는 경우, 사용자가 기존 정보를 확인할 수 없는 문제점이 있다.
또한, 다른 방법으로는 하나의 화면을 분할하여 기존 정보와 다른 정보를 동시에 출력하고 있는데, 이러한 방법은 화면을 분할하는 문제로 인해 출력되는 각각의 기존 정보와 다른 정보가 작게 출력되던가 정보 전체가 출력되지 않는 문제점이 있다.
따라서, 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은 경로 안내 등을 수행하는 화면은 메인 HUD에서 출력하며, 메인 HUD에서 출력되는 경로 안내 등에 따른 부가 정보는 메인 HUD의 주변에서 일시적으로 출력되는 서브 HUD에서 출력하기 위한 목적이 있다.
또한, 본 발명은 운전자 눈동자를 인식하여 발생하는 이벤트에 따라, 운전자 눈동자의 위치 이동에 대응하는 이벤트 정보를 추출 또는 생성하여 서브 HUD에서 출력하기 위한 다른 목적이 있다.
또한, 본 발명은 운전자가 조작하는 차량 동작을 인식하여 발생하는 이벤트에 따라, 차량 동작에 대응하는 이벤트 정보를 추출 또는 생성하여 서브 HUD에서 출력하기 위한 또 다른 목적이 있다.
또한, 본 발명은 메인 HUD에서 수행 중인 경로 안내에서 발생하는 이벤트에 따라, 경로 안내에 대응하는 이벤트 정보를 추출 또는 생성하여 서브 HUD에서 출력하기 위한 또 다른 목적이 있다.
또한, 본 발명은 운전자가 부가정보의 시인성을 확보하도록 메인 HUD에 연관된 이벤트 정보를 메인 HUD의 출력 화면 주위에 서브 HUD의 화면을 출력하기 위한 또 다른 목적이 있다.
또한, 본 발명은 운전자 눈동자, 차량 동작 또는 경로 안내에 따라 발생하는 이벤트에 따라 이벤트 정보를 추출 또는 생성하여, 서브 HUD를 이용하여 일시적으로 출력하기 위한 또 다른 목적이 있다.
또한, 본 발명은 경로 안내를 수행하는 메인 HUD가 출력하는 화면의 전환 없이, 부가정보를 포함하는 이벤트 정보를 서브 HUD를 이용하여 화면을 제공하기 위한 또 다른 목적이 있다.
또한, 본 발명은 인식되는 이벤트에 따라 추출 또는 생성되는 이벤트 정보를 하나 이상의 서브 HUD를 이용하여 하나 이상의 화면으로 출력하기 위한 또 다른 목적이 있다.
또한, 본 발명은 인식되는 이벤트에 따라 하나 이상의 서브 HUD를 이용하여 출력되는 화면을 다양한 위치에 출력하기 위한 또 다른 목적이 있다.
또한, 본 발명은 인식되는 이벤트에 따라 하나 이상의 서브 HUD를 이용하여 출력되는 화면을 사용자가 선택하는 위치에 출력하기 위한 또 다른 목적이 있다.
본 발명은 상기 목적은 화면 제어 장치에 있어서, 운전자의 모션, 차량 동작 또는 경로 정보 중 어느 하나 이상에서 발생하는 이벤트를 인식하기 위한 인식부와 상기 이벤트에 대응하는 영상 데이터 또는 교통정보 중 어느 하나 이상의 이벤트 정보를 출력하기 위해 하나의 메인 HUD 출력부 및 하나 이상의 서브 HUD 출력부를 포함하는 HUD 출력부와 상기 HUD 출력부에서 출력되는 화면의 수, 크기 또는 위치 중 어느 하나 이상을 설정하기 위한 제어부 및 상기 HUD 출력부에 차량 외부의 영상을 제공하기 위한 카메라부를 포함하여 이루어지는 차량 및 사용자 동작 인식에 따른 화면 제어 장치에 의해서 달성된다.
또한, 본 발명의 다른 목적은 화면 제어 장치의 운영방법에 있어서, 운전자의 모션, 차량 동작 또는 경로 정보 중 어느 하나 이상에서 발생하는 이벤트를 인식하는 제1 단계와 상기 이벤트가 발생되는 경우, 상기 이벤트에 연관된 정보가 존재하는지 판단하는 제2 단계와 상기 이벤트에 연관된 정보가 존재하는 경우, 교통정보 수신부, 지도 데이터부 또는 카메라부 중 어느 하나 이상에서 상기 이벤트에 대응하는 이벤트 정보를 추출하는 제3 단계와 상기 이벤트가 발생한 방향에 따라 상기 이벤트 정보를 출력할 HUD 출력부를 선택하는 제4 단계 및 상기 제4 단계에서 선택된 상기 HUD 출력부에 상기 이벤트 정보를 출력하는 제5 단계를 포함하여 이루어지되, 상기 이벤트 정보는 상기 HUD 출력부에 포함된 메인 HUD 출력부를 통해 출력되는 지도 데이터와 상세 지도 데이터, 교통정보 또는 상기 카메라부의 영상 중 어느 하나 이상이며, 상기 이벤트 정보는 상기 HUD 출력부에 포함되는 하나 이상의 서브 HUD 출력부를 통해 출력되는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치의 운영방법에 의해서 달성된다.
따라서, 본 발명의 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법은 경로 안내 등을 수행하는 화면은 메인 HUD에서 출력하며, 메인 HUD에서 출력되는 경로 안내 등에 따른 부가정보를 포함하는 이벤트 정보를 메인 HUD의 주변에서 일시적으로 출력되는 서브 HUD에서 출력함으로써, 다양한 정보를 운전자 식별이 용이하도록 동시에 출력할 수 있는 효과가 있다.
또한, 본 발명은 운전자 눈동자를 인식하여 발생하는 이벤트에 따라, 운전자 눈동자의 위치 이동에 대응하는 이벤트 정보를 추출 또는 생성하여 서브 HUD에서 출력함으로써, 운전자가 눈동자 움직임을 통해 교통정보 등의 이벤트 정보를 별도의 화면에서 용이하게 확인할 수 있는 다른 효과가 있다.
또한, 본 발명은 운전자가 조작하는 차량 동작을 인식하여 발생하는 이벤트에 따라, 차량 동작에 대응하는 이벤트 정보를 추출 또는 생성하여 서브 HUD에서 출력함으로써, 차량의 진행 방향 또는 진행 예정 방향의 인식을 통해 교통정보 또는 진행방향의 실시간 영상을 운전자가 별도의 화면에서 용이하게 확인할 수 있는 또 다른 효과가 있다.
또한, 본 발명은 메인 HUD에서 수행 중인 경로 안내에서 발생하는 이벤트에 따라, 경로 안내에 대응하는 이벤트 정보를 추출 또는 생성하여 서브 HUD에서 출력함으로써, 경로 안내에 따른 부가정보를 운전자가 별도의 화면에서 용이하게 확인할 수 있는 또 다른 효과가 있다.
또한, 본 발명은 메인 HUD에 연관된 이벤트 정보를 메인 HUD의 출력 화면 주위에 서브 HUD의 화면을 출력함으로써, 운전자가 부가정보의 시인성을 확보할 수 있는 또 다른 효과가 있다.
또한, 본 발명은 운전자 눈동자, 차량 동작 또는 경로 안내에 따라 발생하는 이벤트에 따라 이벤트 정보를 추출 또는 생성하여, 서브 HUD를 이용하여 일시적으로 출력함으로써, 운전자의 운행을 방해하지 않으며 용이하게 교통정보 등을 확인하도록 하는 또 다른 효과가 있다.
또한, 본 발명은 경로 안내를 수행하는 메인 HUD가 출력하는 화면의 전환 없이, 부가정보를 포함하는 이벤트 정보를 서브 HUD를 이용하여 화면을 제공함으로써, 운전자가 메인 HUD에서 출력되는 정보를 지속적으로 확인가능하도록 하는 또 다른 효과가 있다.
또한, 본 발명은 인식되는 이벤트에 따라 추출 또는 생성되는 이벤트 정보를 하나 이상의 서브 HUD를 이용하여 하나 이상의 화면으로 출력함으로써, 메인 HUD 출력부에서 출력되는 정보와 연계된 이벤트 정보를 운전자가 동시에 확인할 수 있는 또 다른 효과가 있다.
또한, 본 발명은 인식되는 이벤트에 따라 하나 이상의 서브 HUD를 이용하여 출력되는 화면을 다양한 위치에 출력함으로써, 운전자는 정해진 위치에 출력되는 정보를 용이하게 확인할 수 있는 또 다른 효과가 있다.
또한, 본 발명은 인식되는 이벤트에 따라 하나 이상의 서브 HUD를 이용하여 출력되는 화면을 운전자가 선택하는 위치에 출력함으로써, 운전자는 운행중에 확인이 용이한 시선 위치에서 선택된 정보를 확인할 수 있는 또 다른 효과가 있다.
도 1은 본 발명에 따른 HUD 화면 제어 장치를 나타내기 위한 전체 구성도,
도 2는 본 발명에 따른 HUD 화면 제어 장치의 일부 구성을 나타내기 위한 구성도,
도 3은 본 발명에 따른 HUD 화면 제어 장치의 동작 방법을 나타내기 위한 순서도,
도 4는 본 발명의 실시예에 따른 HUD 화면의 적용예를 나타내기 위한 예시도,
도 5는 본 발명의 실시예에 따른 HUD 화면의 위치를 나타내기 위한 예시도,
도 6은 본 발명의 실시예에 따라 눈동자의 움직임에 대응하여 HUD 화면을 제어하는 예시도,
도 7은 본 발명의 실시예에 따라 방향 정보에 대응하여 HUD 화면을 제어하는 예시도,
도 8은 본 발명의 실시예에 따라 속도정보/제동정보에 대응하여 HUD 화면을 제어하는 예시도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하 첨부된 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 HUD 화면 제어 장치를 나타내기 위한 전체 구성도이며, 도 2는 본 발명에 따른 HUD 화면 제어 장치의 일부 구성을 나타내기 위한 구성도이다. 도 1 내지 도 2에 도시된 바와 같이, HUD 화면 제어 장치(100)는 HUD 화면의 출력을 제어하기 위한 제어부(110), 경로 안내를 위한 지도 데이터, 교통정보, 카메라 영상 데이터 등을 출력하기 위한 HUD 출력부(120), 운전자가 휴대하며 필요에 따라 HUD 화면 제어 장치(100)로부터 정보를 제공받아 출력하기 위한 PND(Portable Navigation Device) 출력부(130), 교통정보를 수신하기 위한 교통정보 수신부(140), 운전자 눈동자의 움직임, 차량 기능 동작 및 경로 안내 등에서 발생하는 이벤트를 인식하기 위한 인식부(150), 경로 안내 등에 사용되는 지도 데이터를 저장하기 위한 지도 데이터부(160), 외부의 교통정보 제공장치(미도시)로부터 다양한 교통정보를 수신하기 위한 통신부(170), 차량의 내외부의 영상을 촬영하기 위해 하나 이상으로 구비되는 카메라부(180) 및 차량의 현재위치를 판단하기 위해 GPS 위성 신호를 수신하는 GPS부(190)를 포함하여 이루어진다.
제어부(110)는 인식부(150)에서 발생하는 이벤트를 수신하고, 이벤트 종류에 따라 다양한 부가정보인 이벤트 정보를 추출 또는 생성한다. 이벤트 정보는 지도 데이터, 상세 지도 데이터, POI 정보, 교통정보, 차량 카메라 영상, 경로 안내 데이터, 경로 요약 정보, 응용프로그램, 음악 또는 영상 등의 멀티미디어 콘텐츠, 블랙박스 영상, 폐쇄회로 텔레비전(CCTV; Closed Circuit Television)의 영상, 도로 노변 장치(RSU; Roadside Infrastructure Unit)의 정보, 운전자 일정정보 및 모바일 단말기와 연계된 모바일 단말기 내의 정보를 포함한다.
따라서, 제어부(110)는 인식부(150)에서 인식된 이벤트에 따라 이벤트 정보를 자동으로 추출 또는 생성하여 HUD 출력부(120)를 통해 화면으로 출력할 수 있으며, 운전자의 제어명령 입력에 따라 관련된 이벤트 정보를 추출 또는 생성하여 HUD 출력부(120)를 통해 화면으로 출력할 수 있다.
또한, 제어부(110)는 HUD 출력부(120)에서 출력되는 화면의 위치, 크기 및 수를 제어하여 출력한다. 이때, HUD 출력부(120)에 포함되는 메인 HUD 출력부(121)은 하나로 구비되어 화면을 출력하며, 제1 서브 HUD 출력부(122), 제2 서브 HUD 출력부(123) 등은 필요에 따라 하나 이상으로 구비하여 화면을 출력하는 것이 바람직하다.
따라서, 제어부(110)는 메인 HUD 출력부(121)의 위치 및 크기를 제어하여 화면을 출력하도록 하며, 제1 서브 HUD 출력부(122) 및 제2 서브 HUD 출력부(123) 등의 구비되는 서브 HUD 출력부의 위치, 크기 및 수를 제어하여 화면을 출력하도록 한다.
서브 HUD 출력부(122, 123)를 제어하는 제어부(110)는 이벤트가 발생하는 경우, 서브 HUD 출력부(122, 123)를 제어하여 화면을 출력하되, 이벤트가 발생하지 않는 경우에는 서브 HUD 출력부(122, 123)가 동작하지 않도록 하여 화면을 출력하지 않으며, 이벤트가 발생하는 경우에만 서브 HUD 출력부(122, 123)를 제어하여 화면을 출력한다.
또한, 제어부(110)는 이벤트가 발생함에 따라 추출 또는 생성되는 이벤트 정보를 서브 HUD 출력부(122, 123)를 제어하여 화면으로 출력하되, 해당 이벤트 정보가 서브 HUD 출력부(122, 123)중 어느 하나를 통해 출력되는 이벤트 정보는 제어부(110)에서 미리 설정된 시간 동안에만 출력되도록 제어할 수 있다.
즉, 서브 HUD 출력부(122, 123) 등을 통해 출력되는 과속 경고 등의 이벤트 정보는 약 3초 내지 10초간 출력되도록 제어하며, 목적지 부근의 상세 지도 데이터 또는 목적지 POI의 정보 등은 목적지 도착시까지 지속적으로 출력하도록 제어한다.
제어부(110)는 외부의 교통정보 제공서버(미도시)에서 제공되는 실시간 교통정보를 포함하는 교통정보를 교통정보 수신부(140)가 수신하도록 제어하며, 필요에 따라 통신부(170)를 통해 교통정보 제공서버(미도시)에서 교통정보를 수신할 수도 있다.
제어부(110)는 경로안내 서버(미도시)에서 제공되는 지도 데이터를 지도 데이터부(160)에 저장되도록 제어한다. 지도 데이터는 지도 데이터부(160)에 저장되며, 지도 데이터의 업데이트가 필요한 경우에는 통신부(170)를 통해 경로안내 서버(미도시)에 접속하여 지도 데이터를 업데이트 할 수 있으며, 통신형 경로 안내를 수행하는 장치(통신형 내비게이션)로 이루어진 경우에는 해당 경로에 따른 지도 데이터만을 다운로드하여 지도 데이터부(160)에 저장한다.
제어부(110)는 GPS부(190)에서 수신한 GPS 위성 신호를 이용하여 생성한 차량의 현재위치를 이용하여 출력되는 지도 데이터에 차량의 현재위치를 표시한다.
제어부(110)는 운전자의 선택에 따라 또는 설정된 제어에 따라 이벤트 정보를 통신부(170)를 이용하여 운전자가 휴대하는 PND(Portable Navigation Device)인 PND 출력부(130)에 전송하여 출력될 수 있도록 한다.
또한, 제어부(110)는 통신부(170)를 통해 외부에 위치한 CCTV의 영상과 도로 노변 장치(RSU)의 정보를 수신하여 이벤트 정보로 생성한다.
한편, HUD 출력부(120)는 경로안내를 위한 지도 데이터 등을 출력하는 메인 HUD 출력부(121)와 이에 대응하는 다양한 부가정보인 이벤트 정보를 출력하는 서브 HUD 출력부(122, 123)로 이루어진다. 메인 HUD 출력부(121)는 하나의 화면으로 출력되며, 출력되는 위치 및 크기는 제어부(110)의 제어에 따라 차량의 전면 유리에 화면을 출력할 수 있으며, 서브 HUD 출력부(122, 123)은 도 2에서 제1 서브 HUD 출력부(122)와 제2 서브 HUD 출력부(123)로 구성되어 있으나 필요에 따라 하나 이상으로 구성되는 것이 바람직하다.
서브 HUD 출력부(122, 123)는 인식되는 이벤트에 따라 제어부(110)에서 추출 또는 생성한 이벤트 정보를 출력하며, 출력되는 화면의 위치, 크기 및 수는 제어부(110)에 설정된 내용에 따라 메인 HUD 출력부(121)에서 출력되는 화면의 주위에 출력된다. 이때, 서브 HUD 출력부(122, 123)는 제어부(110)의 제어에 따라 차량의 전면 유리, 좌/우 측면 유리 및 후면 유리, 차량의 본네트 등의 다양한 위치에 출력될 수 있으며, 다양한 위치에 화면을 출력하기 위한 서브 HUD 출력부(122, 123)는 차량의 다양한 위치에 각각 구비될 수 있다.
HUD 출력부(120)의 서브 HUD 출력부(122, 123) 등에서 출력되는 이벤트 정보는 메인 HUD 출력부(121)에서 출력되는 정보에 연관된 내용이 출력되는 것이 바람직하며, 예를 들어, 메인 HUD 출력부(121)에서 경로 안내의 TBT(Turn-by-Turn) 정보에 의해 차량의 진행방향에 대한 지도 데이터를 출력할 수 있으며, 목적지 또는 주요 POI의 상세 지도 데이터를 출력할 수 있다.
또한, 차량의 속도가 저속(서행)인 경우에는 주변의 상세 POI 등을 포함하는 지도 데이터를 추가로 출력할 수 있으며, 차량이 고속도로를 주행하는 경우, 고속도로의 주요 IC, 톨게이트, 휴게소 정보를 별도로 출력할 수 있다.
또한, 차량이 서행하면서 좌/우회전을 수행하는 경우, 차량에 구비된 카메라부(180)를 이용하여 회전방향의 영상을 출력할 수 있다.
또한, 운전자의 모션에 해당하는 운전자 눈동자의 움직임을 추출하여 운전자 눈동자가 메인 HUD 출력부(121)를 통해 출력되는 화면의 특정 위치를 주시하는 것으로 판단되면, 해당 특정 위치에 따른 부가정보인 이벤트 정보를 추출 또는 생성하여 출력할 수 있고, 운전자 눈동자의 움직임을 추출하여 운전자 눈동자가 메인 HUD 출력부(121)를 통해 출력되는 화면을 벗어난 곳의 위치를 주시하는 것으로 판단되며, 화면을 벗어난 곳에 대응하는 위치의 상세 지도 데이터를 출력할 수 있다.
이러한 다양한 이벤트 정보는 제어부(110)의 제어에 따라 메인 HUD 출력부(121)에서 출력되는 화면의 주위에 출력된다.
하나 이상으로 구비되는 서브 HUD 출력부(122, 123)는 이벤트가 발생함에 따라 이벤트 정보를 화면으로 출력하되, 제어부(110)의 제어에 따라 이벤트 정보를 소정 시간 또는 이벤트가 종료되는 시점까지 출력하며, 이벤트가 발생하지 않는 경우에는 화면을 생성하지 않는다.
한편, 메인 HUD 출력부(121)에서 출력되는 화면과 하나 이상의 서브 HUD 출력부(122, 123)는 다양한 수로 구비되는 HUD 출력부를 통해 화면을 출력할 수 있다.
제1의 경우, 하나로 구비되는 HUD 출력부에서 모든 화면을 생성하여 출력한다. 제2의 경우, 하나의 HUD 출력부에서는 메인 HUD 출력부에 대응하는 하나의 화면을 생성하여 출력하고, 하나의 HUD 출력부에서는 서브 HUD 출력부에 대응하는 하나 이상의 화면을 생성하여 출력한다. 제3의 경우, 하나의 HUD 출력부에서는 메인 HUD 출력부에 대응하는 하나의 화면을 생성하여 출력하고, 둘 이상의 HUD 출력부에서는 각각의 서브 HUD 출력부에 대응하는 화면을 각각 생성하여 출력한다. 즉, HUD 출력부는 하나 이상의 화면을 생성할 수 있으며, 필요에 따라 HUD 출력부의 수를 선택하여 메인 HUD 출력부 및 서브 HUD 출력부로 구성할 수 있다.
PND 출력부(130)는 운전자가 휴대하는 PND(Portable Navigation Device)로써, 운전자의 선택 또는 제어부(110)의 설정에 따라 통신부(170)를 통해 이벤트 정보를 수신하여 출력할 수 있다. 이에 따라 PND 출력부(130)는 통신부(170)와 유선 또는 무선 중 어느 하나 이상으로 연결되며, 전송된 이벤트 정보를 출력한다.
교통정보 수신부(140)는 외부의 교통정보 제공장치(미도시)로부터 전송되는 실시간 교통정보를 포함하는 교통정보를 수신하며, 제어부(110)의 제어에 따라 이벤트 정보에 필요한 교통정보를 제공하고, 수신된 교통정보는 필요에 따라 선택적으로 저장이 가능하다.
인식부(150)는 운전자 눈동자, 차량 동작 및 경로 정보 등에서 발생하는 이벤트를 인식하며, 도 2의 (b)에 도시된 바와 같이, 인식부(150)는 차량 동작 인식부(151), 운전자 모션 인식부(152) 및 경로 정보 인식부(153)로 구분된다.
차량 동작 인식부(151)는 운전자에 의해 조작되는 차량 동작을 인식하는 것으로써, 차향의 조향장치 동작을 인식하는 조향 감지부(151-1), 차량 방향지시등의 동작을 인식하는 방향 감지부(151-2), 차량의 브레이크 동작을 인식하는 제동 감지부(151-3) 및 차량의 속도를 인식하는 속도 감지부(151-4)로 이루어진다.
즉, 조향 감지부(151-1)는 차량의 스티어링 휠의 회전 방향을 감지하여 차량 진행 방향에 대한 이벤트를 생성하며, 방향 감지부(151-2)는 차량의 방향지시등을 감지하여 차량 진행 예정 방향에 대한 이벤트를 생성하며, 제동 감지부(151-3)는 차량의 감속 및 감속 가속도를 인식하여 제동에 대한 이벤트를 생성하며, 속도 감지부(151-4)는 차량의 속도를 인식하여 속도 이벤트를 생성한다.
따라서, 각각의 차량 동작 인식부(151)에서 생성되는 이벤트를 수신하는 제어부(110)는 이에 대응하는 이벤트 정보를 추출 또는 생성하여, 서브 HUD 출력부(122, 123)를 통해 출력함으로써 운전자에게 각종 부가정보를 제공할 수 있다.
한편, 제동 감지부(151-3) 또는 속도 감지부(151-4) 중 어느 하나 이상은 차량이 이동하는 속도를 측정하되, 소정 속도 이하로 이동되는 경우, 차량이 주차를 수행하는 것으로 판단하여 주차 이벤트를 생성한다. 이에 따라 제어부(110)가 주차 이벤트를 수신하면 카메라부(180)를 이용하여 차량의 주변에 위치한 장애물을 촬영하고, 촬영된 차량의 주변 영상을 HUD 출력부(120)를 이용하여 화면에 출력한다.
예를 들어, 차량이 주행 중인 도로의 측면에 주차를 수행하는 경우, 소정 속도 이하로 차량이 이동되며, 제동 감지부(151-3) 또는 속도 감지부(151-4) 중 어느 하나 이상에서 해당 속도에 따라 주차 이벤트를 생성하는 경우, 제어부(110)는 해당 주차 이벤트를 수신하고 이에 따라 카메라부(180)를 사용하여 차량의 주변을 촬영한다. 이후, 촬영되는 실시간 영상을 HUD 출력부(120) 중 서브 HUD 출력부(122, 123)를 통해 화면으로 출력하여 사용자가 인식할 수 있도록 한다.
이때, 카메라부(180)는 촬영된 영상에서 장애물(도로 경계석, 보행자, 차량 차단 장치, 가로수, 계단, 기둥, 벽 등)을 검출하고, 검출된 장애물을 확대한 영상을 서브 HUD 출력부(122, 123)을 통해 화면으로 출력할 수 있다.
운전자 모션 인식부(152)는 운전자 눈동자의 움직임을 인식하기 위한 것으로써, 차량 내부에 구비되는 운전자 모션인식 카메라를 통해 메인 HUD 출력부(121)를 통해 출력되는 화면을 주시하는 운전자 눈동자를 모니터링하고, 운전자 눈동자의 초점이 위치하는 곳을 추출하여 이벤트를 생성하여 제어부(111)로 전송함으로써, 제어부(110)는 해당 위치에 대응하는 이벤트 정보를 추출 또는 생성하여 서브 HUD 출력부(122, 123)을 통해 화면으로 출력할 수 있다.
운전자 눈동자의 인식은 메인 HUD 출력부(121)를 통해 출력되는 화면 중에서 운전자 눈동자가 소정 시간 동안 주시하는 경우에 인식되며, 제어부(110)는 이에 대응하여 주시한 곳 위치 또는 방향의 상세 지도 데이터, POI 정보, 메인 HUD 출력부(121)를 통해 출력되는 지도 데이터에 연계된 지도 데이터, 교통정보, 카메라 영상 등의 이벤트 정보를 추출 또는 생성하여 서브 HUD 출력부(122, 123)를 통해 화면으로 출력한다.
한편, 운전자 모션 인식부(152)는 운전자의 눈동자를 촬영하기 위한 HUD 카메라(미도시)와 HUD 카메라를 통해 촬영된 영상에서 눈동자 움직임을 추출하기 위한 영상 검출부를 포함하여 이루어진다.
더욱이, 운전자 모션 인식부(152)는 운전자 모션인식 카메라(미도시)를 이용하여 운전자 눈동자뿐만 아니라, 운전자 눈동자까지의 거리를 측정함으로써, 운전자가 HUD 출력부(120)를 통해 출력되는 화면을 보다 가까이 보기 위해 화면의 위치로 얼굴을 가까이 이동하는 경우, 이에 대한 이벤트를 생성하여, 메인 HUD 출력부(121)에 출력되는 화면을 확대하여 서브 HUD 출력부(122, 123)를 통해 화면을 확대할 수 있다. 즉, 운전자 모션인식 카메라(미도시)는 운전자 눈동자의 거리가 화면에 가깝게 이동됨을 감지하여 이에 대응하는 이벤트를 생성하고, 제어부(110)는 해당 이벤트에 따라 부가정보(확대화면 등)의 이벤트 정보를 추출 또는 생성하여 서브 HUD 출력부(122, 123)를 통해 화면으로 출력한다.
경로 정보 인식부(153)은 메인 HUD 출력부(121)에서 화면으로 출력되는 경로 안내에서 발생하는 경로 정보를 이벤트로 인식한다. 경로 정보 인식부(153)에서 인식하는 이벤트는 전방 교통안내, 회전구간, 주요 POI 정보 및 목적지 정보 등을 포함하는 경로 안내 데이터이다. 이때, 경로 안내에 따라 발생하는 경로 안내 데이터는 일반적인 내비게이션과 같이 지도 데이터를 출력하는 메인 HUD 출력부(121)에서 출력되는 화면에 표시될 수 있으며, 서브 HUD 출력부(122, 123)의 화면에 별도로 출력될 수 있다.
지도 데이터부(160)는 경로 안내에 따른 지도 데이터를 저장하며, 경로 안내 서버(미도시)로부터 수신하여 저장한다. 지도 데이터부(160)에 저장되는 지도 데이터는 필요에 따라 전부 또는 일부만을 수신하여 저장되며, 통신형 내비게이션의 경우에는 경로 안내 서버(미도시)로부터 경로 안내에 필요한 일부의 지도 데이터만을 수신하여 저장한다.
통신부(170)는 외부의 교통정보 제공장치(미도시), 경로 안내 서버(미도시), CCTV(미도시), 도로 노변 장치(미도시) 및 PND 출력부(130) 등과 통신을 수행하며, 유선 또는 무선 중 어느 하나 이상으로 구비된다.
카메라부(180)는 차량 외부의 영상을 촬영하도록 구비되며, 차량의 전방, 좌/우 측면, 차량의 후방 등을 촬영하기 위한 하나 이상의 카메라를 포함하여, 필요에 따라 차량 내부를 촬영하는 카메라를 포함할 수 있다. 카메라부(180)는 촬영된 영상을 저장하기 위한 저장부(미도시)를 포함하거나 HUD 화면 제어 장치(100)에 구비된 저장부(미도시)에 촬영된 저장할 수 있다.
GPS부(190)는 GPS 위성 신호를 수신하여 차량의 현재 위치를 판단하며, 판단된 차량의 현재 위치를 경로 안내의 지도 데이터에 표시할 수 있다.
도 3은 본 발명에 따른 HUD 화면 제어 장치의 동작 방법을 나타내기 위한 순서도이다. 도 3에 도시된 바와 같이, HUD 화면 제어 장치(100)는 인식부(150)를 통해 운전자 눈동자, 차량 동작 및 경로 정보를 모니터링한다(S110).
S110 단계에서 모니터링은 운전자 모션 인식부(152), 차량 동작 인식부(151) 및 경로 정보 인식부(153)에서 각각 모니터링하며, 각각의 구성은 모니터링 도중 이벤트의 발생여부를 판단한다(S120).
운전자 모션 인식부(152)는 운전자 눈동자의 움직임을 체크하여 운전자의 눈동자가 메인 HUD 출력부(121)를 통해 출력되는 지도 데이터의 특정 위치를 주시하는 경우, 해당 위치에 대한 이벤트를 생성하며, 이에 따라 제어부는 해당 특정 위치의 상세 지도 데이터 등을 서브 HUD 출력부(122, 123)를 이용하여 화면에 출력한다.
또한, 차량 동작 인식부(151)는 차량의 조향, 방향지시등, 브레이크 및 속도를 모니터링하고, 관련된 동작이 수행되는 경우에 관련 정보를 포함하는 이벤트를 생성하여 제어부(110)로 전송한다.
또한, 경로 정보 인식부(153)은 메인 HUD 출력부(121)를 통해 출력되는 지도 데이터를 이용한 경로 안내에서 발생하는 안내 데이터를 이벤트로 인식하여 제어부(110)로 전송한다.
또한, 이벤트는 외부에 위치하는 CCTV 또는 도로 노변 장치 등에서 수신되는 정보를 포함하여, 해당 정보는 영상 데이터 및 교통정보를 포함할 수 있다.
만약, S120 단계에서 이벤트가 발생하는 경우, 제어부(110)는 해당 이벤트에 대응하는 부가정보인 이벤트 정보가 존재하는지를 판단하고(S130), 이벤트 정보가 존재하는 경우, 교통정보 수신부(140), 지도 데이터부(160), 카메라부(180) 및 외부의 정보제공 장치(미도시)로부터 이벤트 정보를 추출 또는 생성한다(S140).
이벤트 정보는 상세 지도 데이터, POI 정보, 목적지 정보, 경로 안내 정보, 도로 노변 장치의 정보를 포함하는 교통정보와 차량에 구비된 카메라부(180)의 영상 데이터, 외부의 CCTV 영상 데이터 및 블랙박스의 영상 데이터 등의 영상 데이터 등이 해당된다.
이후, 제어부(110)는 추출 또는 생성된 이벤트 정보를 출력하기 위한 출력 화면을 선택한다(S150). 출력 화면은 서브 HUD 출력부(122, 123)를 통해 생성되는 화면에 출력하는 것이 바람직하며, 출력되는 화면은 제어부(110)의 제어에 따라 화면의 위치, 크기 및 수가 결정되어, 해당 화면에 출력된다(S160). 한편, 제어부(110)는 화면의 위치, 크기 및 수를 운전자가 선택하여 저장한 설정에 따라 출력할 수 있다. 이때, 서브 HUD 출력부(122, 123)를 통해 출력되는 화면의 위치는 메인 HUD 출력부(121)에 의해 출력되는 화면의 상/하/좌/우 중 어느 하나 이상의 위치에 출력하는 것이 바람직하나 이외의 위치에서 출력하여도 무방하다.
또한, 서브 HUD 출력부(122, 123)를 통해 출력되는 이벤트 정보 화면은 소정 시간 또는 이벤트 정보가 종료되는 시점까지 출력하며, 이벤트가 발생하지 않는 경우에는 서브 HUD 출력부(122, 123)가 화면을 생성하지 않는다.
만약, S120 단계에서 인식된 이벤트에 대응하는 부가정보인 이벤트 정보가 존재하지 않는 경우에는 이벤트 발생에 따른 상세 지도 데이터를 서브 HUD 출력부(122, 123)를 통해 생성한 화면에 출력한다(S170).
도 4는 본 발명의 실시예에 따른 HUD 화면의 적용예를 나타내기 위한 예시도이다. 도 4에 도시된 바와 같이, HUD 화면 제어 장치(100)에 포함된 HUD 출력부(120)는 (a)와 같이, 하나 이상의 화면을 출력할 수 있다. 하나 이상의 화면을 출력하기 위한 HUD 출력부(120)는 경로 안내를 위한 지도 데이터 등을 출력하는 메인 HUD 출력부(121)와 인식되는 이벤트에 따라 다양한 부가정보인 이벤트 정보를 출력하는 서브 HUD 출력부(122, 123)로 구성된다.
예를 들어, (b)와 같이 메인 HUD 출력부(121)를 통해 경로 안내가 수행되며, 경로 안내에 따라 발생하는 과속/속도 정보는 제1 서브 HUD 출력부(122)에 출력된다. 한편, 제2 서브 HUD 출력부(123)는 별도의 이벤트 정보가 발생하지 않았기 때문에 어떠한 정보도 화면에 출력되지 않는다. 바람직하게는 제2 서브 HUD 출력부(123)는 화면을 생성하지 않는다.
한편, (c)에 도시된 바와 같이, 메인 HUD 출력부(121) 또는 서브 HUD 출력부(122, 123)는 차량의 진행 방향에 따라 출력되는 화면의 구성을 원근감이 있도록 구성할 수 있으며, 제어부(110) 또는 운전자 설정에 따라 메인 HUD 출력부(121)를 통해 출력되는 화면의 크기 및 위치 또는 서브 HUD 출력부(122, 123)를 통해 출력되는 화면의 크기, 위치 및 수가 결정되어 출력된다.
일반적으로 메인 HUD 출력부(121)에서 출력되는 화면은 운전자의 시야 정면에 고정되며, 서브 HUD 출력부(122, 123)에서 하나 이상으로 출력되는 화면은 메인 HUD 출력부(121)에서 출력되는 화면의 주위에 출력되는 것이 바람직하나, 운전자의 편의에 따라 다양한 위치, 크기 및 수가 결정되어 출력될 수 있다.
즉, 메인 HUD 출력부(121)에서 출력되는 화면의 상/하/좌/우 등에 서브 HUD 출력부(122, 123)에서 출력되는 화면이 위치할 수 있으며, 필요에 따라 대각선 방향 및 차량의 본네트 등에 출력될 수 있다.
도 5는 본 발명의 실시예에 따른 HUD 화면의 위치를 나타내기 위한 예시도이다. 도 5의 (a)에 도시된 바와 같이, HUD 화면 제어 장치(100)는 메인 HUD 출력부(121) 및 서브 HUD 출력부(122, 123)를 통해 출력되는 화면 이외에 운전자가 휴대하는 PND 출력부(130)를 통해 이벤트 정보를 출력할 수 있다.
또한, HUD 화면 제어 장치(100)에서 각각의 HUD 출력부(120)는 차량의 전면 유리, 본네트, 좌/우 측면 유리, 후면 유리 등에 화면을 출력할 수 있으며, (b)에 도시된 바와 같이, 제어부(110) 또는 운전자의 설정에 따라 각각의 HUD 출력부(120)의 위치가 결정되고, 이에 따라 해당 위치에 화면이 출력된다.
도 6은 본 발명의 실시예에 따라 눈동자의 움직임에 대응하여 HUD 화면을 제어하는 예시도이다. 도 6의 (a)에 도시된 바와 같이, 운전자가 메인 HUD 출력부(121)를 통해 출력되는 지도 데이터에서 현재 차량의 위치를 주시하다가, (b)에서와 같이 지도 데이터 상의 우측의 A 지점으로 운전자 눈동자를 이용하여 A 지점을 주시하는 경우에는 메인 HUD 출력부(121)를 통해 출력되는 화면의 우측에 서브 HUD 출력부를 통해 운전자 눈동자가 주시하는 A 지점의 상세 지도 데이터를 화면으로 출력할 수 있다.
이때, 서브 HUD 출력부를 통해 출력되는 화면은 운전자의 시인성을 향상시키기 위하여 원근감이 있도록 메인 HUD 출력부(121)로부터 외측방향으로 화면 배율이 크도록 형성할 수 있다. 즉, 운전자로 하여금 메인 HUD 출력부(121)와 메인 HUD 출력부(121)의 주변에 화면을 출력하는 서브 HUD 출력부의 하나 이상의 화면을 통해 입체감을 느낄 수 있도록 중심 화면으로부터 외측으로 이동되는 화면의 크기를 크게 함으로써, 바깥쪽이 더 넓게 표현되도록 하는 것이다.
이러한, 화면은 메인 HUD 출력부(121)를 중심으로 상/하/좌/우 및 대각선 방향에 출력되는 서브 HUD 출력부의 화면에 적용할 수 있다.
이후, (c)에서와 같이 운전자 눈동자의 위치가 A 지점으로부터 우측으로 더 이동하여, 메인 HUD 출력부(121)에서 출력되는 화면을 벗어나는 경우에는 (b)에서 출력되는 서브 HUD 출력부의 화면이 종료되며, 메인 HUD 출력부(121)에서 출력하는 지도 데이터에 표시되지 않은 영역의 지도 데이터를 서브 HUD 출력부를 통해 출력할 수 있다.
즉, 종래의 내비게이션은 지도 데이터에 연결되나, 화면 영역에 표시되지 않는 지도 데이터를 확인하기 위해서는 차량이 이동하여 현재위치가 지도 데이터 상의 우측으로 이동하여야면 현 지도 데이터에 연결된 우측 지도 데이터가 화면에 출력되거나, 운전자에 의해 지도 데이터를 이동시키는 동작이 수행되어야만 했다.
그러나, 본 발명에서와 같이, 운전자 눈동자의 위치가 현 지도 데이터 상의 A 지점을 주시하다가 우측 화면 밖의 지점을 주시하는 경우에는 서브 HUD 출력부를 통해 현 지도 데이터와 연결된 지도 데이터가 우측에 출력되어 사용자가 현 지도 데이터와 우측에 출력되는 지도 데이터를 함께 연결하여 확인할 수 있다.
이때, 운전자 눈동자가 주시하는 위치에 따른 이벤트 생성의 판단은 운전자 모션 인식부 내에 구비되는 HUD 카메라 및 영상 검출부를 통해 이루어진다.
한편, 도 6에서와 같이 운전자 눈동자의 인식은 운전자 모션 인식부(152) 내의 운전자 모션인식 카메라(미도시)를 통해 이루어지며, 더욱이 운전자 모션 인식부(152)는 운전자 모션인식 카메라(미도시)를 이용하여 운전자 눈동자뿐만 아니라, 운전자 눈동자까지의 거리를 측정함으로써, 운전자가 HUD 출력부(120)를 통해 출력되는 화면을 보다 가까이 보기 위해 화면의 위치로 얼굴을 가까이 이동하는 경우, 이에 대한 이벤트를 생성하여, 메인 HUD 출력부(121)에 출력되는 화면을 확대하여 서브 HUD 출력부(122, 123)를 통해 화면을 확대할 수 있다. 즉, 운전자 모션인식 카메라(미도시)는 운전자 눈동자의 거리가 화면에 가깝게 이동됨을 감지하여 이에 대응하는 이벤트를 생성하고, 제어부(110)는 해당 이벤트에 따라 부가정보(확대화면 등)의 이벤트 정보를 추출 또는 생성하여 서브 HUD 출력부(122, 123)를 통해 화면으로 출력한다.
도 7은 본 발명의 실시예에 따라 방향 정보에 대응하여 HUD 화면을 제어하는 예시도이다. 도 7의 (a)에 도시된 바와 같이, 메인 HUD 출력부를 통해 경로 안내를 위한 지도 데이터가 출력되고 이에 대한 경로 안내가 수행되는 상황에서, (b)에서와 같이 운전자가 우측 방향지시등을 ON 하거나, (c)에서와 같이 우측으로 회전하기 위해 조향장치를 우측으로 회전하는 경우, 차량 동작 인식부(151) 내의 조향 감지부(151-1) 또는 방향 감지부(151-2)가 각각의 동작을 인식하여 이벤트를 생성한다.
이때, 생성되는 이벤트에 대응하여 제어부(110)는 이벤트 정보를 추출 또는 생성하여 서브 HUD 출력부를 통해 화면에 출력할 수 있다. (d)에서와 같이, 우회전 진행 방향 정보 또는 우회전 진행 예정 방향 정보에 따라 차량의 외부를 촬영하는 카메라부(180) 중에서 차량의 우측을 촬영하는 실시간 영상을 서브 HUD 출력부를 통해 메인 HUD 출력부에서 출력하는 화면의 우측에 출력할 수 있다.
또한, 카메라 영상 이외에 우회전에 따라 우측에 위치한 지도 데이터(상세 지도 데이터)를 서브 HUD 출력부를 통해 화면에 출력한다.
즉, 차량의 조향이나 방향지시등 정보에 대한 이벤트를 생성하는 경우, 해당 방향에 연계된 이벤트 정보가 추출 또는 생성되어, 해당 방향에 대응하는 위치에 서브 HUD 출력부를 통해 화면이 출력된다.
또한, (e)에 도시된 바와 같이, 운전자가 브레이크를 밟아 차량의 속도를 줄이거나, 속도가 감속되는 경우, 차량 동작 인식부(151) 내의 제동 감지부(151-3) 또는 속도 감지부(151-4)가 각각의 동작을 인식하여 이벤트를 생성한다.
이때, 생성되는 이벤트에 대응하여 제어부(110)는 이벤트 정보를 추출 또는 생성하여 서브 HUD 출력부를 통해 이벤트 정보를 출력할 수 있다. 브레이크 제동 또는 속도 감속에 따른 이벤트 정보는 주변 지도를 확대한 상세 지도 데이터가 포함될 수 있으며, 상세 지도 데이터에는 목적지 정보, 주변 POI 정보, 교차로 명 등이 더 포함되어 출력될 수 있다.
더욱이, 차량의 브레이크 제동 또는 속도 감속과 차량의 진행 방향 정보 또는 진행 예정 방향 정보가 함께 발생하는 경우, 제어부(110)는 해당 정보에 대응하는 방향에 대응하는 상세 지도 데이터를 출력한다. 즉, 차량의 진행 방향 또는 진행 예정 방향이 우회전인 경우에는 우측 상세 지도 데이터를 출력하며, 좌회전인 경우에는 좌측 상세 지도 데이터를 출력한다.
도 8은 본 발명의 실시예에 따라 속도정보/제동정보에 대응하여 HUD 화면을 제어하는 예시도이다. 도 8의 (a)에 도시된 바와 같이, 제동 감지부(151-3) 또는 속도 감지부(151-4)를 통해 차량이 저속 이동 또는 정지된 것에 대응하는 이벤트가 발생하는 경우, 제어부(110)는 해당 이벤트에 따라 차량의 카메라부(180)를 통해 차량 주변 지역의 카메라 영상을 제1 서브 HUD 출력부(122)를 통해 하나 이상 출력할 수 있다.
또한, 운전자가 차량 위치 주변의 목적지 또는 POI를 찾는 것으로 판단하여, 제2 서브 HUD 출력부(123)를 통해 주변 지역의 상세 지도 데이터를 출력할 수 있으며, 상세 지도 데이터에는 목적지 정보, 주변 POI 정보, 교차로 명 등의 더 포함되어 출력될 수 있다.
본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
100 : HUD 화면 제어 장치 110 : 제어부
120 : HUD 출력부 121 : 메인 HUD 출력부
122 : 제1 서브 HUD 출력부 123 : 제2 서브 HUD 출력부
130 : PND 출력부 140 : 교통정보 수신부
150 : 인식부 151 : 차량 동작 인식부
151-1 : 조향 감지부 151-2 : 방향 감지부
151-3 : 제동 감지부 151-4 : 속도 감지부
152 : 운전자 모션 인식부 153 : 경로 정보 인식부
160 : 지도 데이터부 170 : 통신부
180 : 카메라부 190 : GPS부

Claims (21)

  1. 화면 제어 장치에 있어서,
    운전자의 모션, 차량 동작 또는 경로 정보 중 어느 하나 이상에서 발생하는 이벤트를 인식하기 위한 인식부;
    상기 이벤트에 대응하는 영상 데이터 또는 교통정보 중 어느 하나 이상의 이벤트 정보를 출력하기 위해 하나의 메인 HUD(Head-up display) 출력부 및 하나 이상의 서브 HUD 출력부를 포함하는 HUD 출력부;
    상기 HUD 출력부에서 출력되는 화면의 수, 크기 또는 위치 중 어느 하나 이상을 설정하기 위한 제어부; 및
    상기 HUD 출력부에 차량 외부의 영상을 제공하기 위한 카메라부
    를 포함하고,
    상기 서브 HUD 출력부에서 출력되는 상기 화면은 상기 메인 HUD 출력부에서 출력되는 화면으로부터 멀어지는 방향으로 화면의 크기가 크게 형성되어, 상기 서브 HUD 출력부 및 상기 메인 HUD 출력부에서 출력되는 각각의 화면이 원근감 및 입체감을 갖도록 하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  2. 제 1 항에 있어서,
    외부의 교통정보 제공장치로부터 상기 교통정보를 수신하는 교통정보 수신부;
    상기 HUD 출력부에 출력되는 지도 데이터를 저장하는 지도 데이터부;
    차량의 현재위치를 인식하기 위한 위치정보를 생성하는 GPS부;
    상기 교통정보를 출력하기 위한 PND(Portable Navigation Device) 출력부; 및
    외부 교통정보 제공장치로부터 영상 데이터 또는 교통정보 중 어느 하나 이상을 수신하기 위한 통신부
    를 더 포함하여 이루어지는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  3. 제 1 항에 있어서,
    상기 인식부는
    상기 차량의 동작 이벤트를 인식하기 위한 차량 동작 인식부;
    운전자 눈동자의 모션 이벤트를 인식하기 위한 운전자 모션 인식부; 또는
    경로 정보 이벤트를 인식하기 위한 경로 정보 인식부
    중 어느 하나 이상을 포함하여 이루어지되, 상기 차량 동작 인식부는 차량의 조향장치 동작을 인식하는 조향 감지부, 방향지시등의 동작을 인식하는 방향 감지부, 브레이크 동작을 인식하는 제동 감지부 또는 차량의 속도를 인식하는 속도 감지부 중 어느 하나 이상으로 이루어지는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  4. 제 3 항에 있어서,
    상기 운전자 모션 인식부는
    운전자의 눈동자를 촬영하기 위한 HUD 카메라;
    상기 HUD 카메라에서 촬영된 영상에서 상기 눈동자 움직임을 추출하기 위한 영상 검출부
    를 포함하여 이루어지되, 상기 눈동자 움직임의 인식에 의해 상기 이벤트가 생성되는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  5. 제 1 항에 있어서,
    상기 메인 HUD 출력부는 경로 안내를 수행하기 위한 지도 데이터를 출력하며, 상기 서브 HUD 출력부는 상기 이벤트의 인식에 따라 추출 또는 생성되는 이벤트 정보를 출력하고, 상기 서브 HUD 출력부는 상기 이벤트가 발생하는 경우, 상기 제어부의 제어에 따라 화면을 생성하여 상기 이벤트 정보를 소정 시간 또는 상기 이벤트가 종료되는 시점까지 출력하며, 상기 이벤트가 발생하지 않는 경우에는 상기 화면을 생성하지 않는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  6. 제 5 항에 있어서,
    상기 서브 HUD 출력부는 상기 이벤트의 인식에 따라 선택적으로 출력되며, 상기 서브 HUD 출력부에서 출력되는 화면의 수, 크기 또는 위치 중 어느 하나 이상은 상기 제어부에서 설정하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  7. 제 3 항에 있어서,
    상기 조향 감지부 또는 상기 방향 감지부는 차량의 좌측 또는 우측 진행 방향 또는 진행 예정 방향을 감지하는 이벤트를 생성하며, 상기 제동 감지부 또는 상기 속도 감지부는 차량의 속도 또는 정차를 감지하는 이벤트를 생성하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  8. 제 2 항에 있어서,
    상기 통신부는 상기 외부 교통정보 제공장치인 폐쇄회로 텔레비젼(CCTV; Closed Circuit Television) 또는 도로 노변 장치(RSU; Roadside Infrastructure Unit) 중 어느 하나 이상으로부터 상기 영상 데이터 또는 교통정보 중 어느 하나 이상을 수신하여, 상기 HUD 출력부 또는 상기 PND 출력부 중 어느 하나 이상을 이용하여 출력하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  9. 제 1 항에 있어서,
    상기 HUD 출력부에서 출력되는 화면은 차량의 전면 유리를 포함하되, 차량의 좌/우 측면 유리, 차량의 후면 유리 또는 차량 본네트 중 어느 하나 이상에 출력되는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  10. 제 4 항에 있어서,
    상기 영상 검출부에서 검출된 상기 눈동자 움직임이 메인 HUD 출력부의 어느 한 곳에 위치하는 경우, 상기 어느 한 곳의 부가정보를 서브 HUD 출력부를 통해 출력하며, 상기 눈동자의 움직임이 상기 메인 HUD 출력부를 벗어나는 경우, 벗어난 위치 방향의 지도 데이터를 상기 서브 HUD 출력부를 통해 출력하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  11. 제 7 항에 있어서,
    상기 조향 감지부 또는 상기 방향 감지부를 통해 발생하는 진행 방향 또는 진행 예정 방향 중 어느 하나 이상의 이벤트에 따라 상기 카메라부를 통해 차량의 좌측 또는 우측의 실시간 영상을 상기 HUD 출력부에 포함된 서브 HUD 출력부를 이용하여 화면에 출력하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  12. 제 7 항에 있어서,
    상기 제동 감지부 또는 상기 속도 감지부를 통해 발생하는 속도, 감속 또는 정차 중 어느 하나 이상의 이벤트에 따라 상기 HUD 출력부에 포함된 메인 HUD 출력부를 통해 출력되는 지도 데이터 내의 상세 지도 데이터, 교통정보 또는 차량 외부의 실시간 영상을 상기 HUD 출력부에 포함된 서브 HUD 출력부를 이용하여 화면에 출력하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  13. 삭제
  14. 제 7 항에 있어서,
    상기 차량 동작 인식부에 포함되는 상기 제동 감지부 또는 상기 속도 감지부 중 어느 하나는 차량이 소정 속도 이하로 이동하는 경우, 주차를 수행하는 것으로 판단하여 주차 이벤트를 생성하고, 상기 제어부는 상기 주차 이벤트를 수신함에 따라 상기 카메라부를 사용하여 촬영되는 차량 주변의 영상을 상기 HUD 출력부를 이용하여 화면으로 출력하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치.
  15. 화면 제어 장치의 운영방법에 있어서,
    운전자의 모션, 차량 동작 또는 경로 정보 중 어느 하나 이상에서 발생하는 이벤트를 인식하는 제1 단계;
    상기 이벤트가 발생되는 경우, 상기 이벤트에 연관된 정보가 존재하는지 판단하는 제2 단계;
    상기 이벤트에 연관된 정보가 존재하는 경우, 교통정보 수신부, 지도 데이터부 또는 카메라부 중 어느 하나 이상에서 상기 이벤트에 대응하는 이벤트 정보를 추출하는 제3 단계;
    상기 이벤트가 발생한 방향에 따라 상기 이벤트 정보를 출력할 HUD(Head-up display) 출력부를 선택하는 제4 단계; 및
    상기 제4 단계에서 선택된 상기 HUD 출력부에 상기 이벤트 정보를 출력하는 제5 단계
    를 포함하여 이루어지되, 상기 이벤트 정보는 상기 HUD 출력부에 포함된 메인 HUD 출력부를 통해 출력되는 지도 데이터와 상세 지도 데이터, 교통정보 또는 상기 카메라부의 영상 중 어느 하나 이상이며, 상기 이벤트 정보는 상기 HUD 출력부에 포함되는 하나 이상의 서브 HUD 출력부를 통해 출력되고,
    상기 서브 HUD 출력부는 제어부에서 설정된 화면의 크기, 위치 및 수에 따라 출력되며,
    상기 서브 HUD 출력부에서 출력되는 상기 화면의 형태는 상기 메인 HUD 출력부에서 출력되는 화면으로부터 멀어지는 방향으로 화면의 크기가 크게 형성되어, 상기 서브 HUD 출력부 및 상기 메인 HUD 출력부에서 출력되는 각각의 화면이 원근감 및 입체감을 갖도록 하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치의 운영방법.
  16. 제 15 항에 있어서,
    상기 운전자의 모션 인식은 HUD 카메라를 통해 촬영되는 영상을 분석하여 발생되는 상기 운전자 눈동자의 움직임에 따른 이벤트를 인식하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치의 운영방법.
  17. 제 15 항에 있어서,
    상기 차량 동작의 인식은 차량의 조향을 감지하기 위한 조향 감지부, 차량의 방향 지시기(깜박이)를 감지하는 방향 감지부, 차량의 속도를 감지하기 위한 속도 감지부 또는 차량의 제동(브레이크) 상태를 감지하기 위한 제동 감지부 중 어느 하나 이상에서 발생하는 이벤트를 인식하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치의 운영방법.
  18. 제 15 항에 있어서,
    상기 서브 HUD 출력부는 하나 이상의 화면을 출력하되, 상기 메인 HUD 출력부에서 출력되는 화면의 상/하/좌/우 중 어느 하나 이상의 위치에 출력하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치의 운영방법.
  19. 삭제
  20. 삭제
  21. 제 17 항에 있어서,
    상기 차량 동작 인식을 위한 상기 제동 감지부 또는 상기 속도 감지부 중 어느 하나는 차량이 소정 속도 이하로 이동하는 경우, 주차를 수행하는 것으로 판단하여 주차 이벤트를 생성하고, 제어부는 상기 주차 이벤트를 수신함에 따라 상기 카메라부를 사용하여 촬영되는 차량 주변의 영상을 상기 HUD 출력부를 이용하여 화면으로 출력하는 것을 특징으로 하는 차량 및 사용자 동작 인식에 따른 화면 제어 장치의 운영방법.
KR1020130133459A 2013-11-05 2013-11-05 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법 KR102052405B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130133459A KR102052405B1 (ko) 2013-11-05 2013-11-05 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130133459A KR102052405B1 (ko) 2013-11-05 2013-11-05 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법

Publications (2)

Publication Number Publication Date
KR20150051671A KR20150051671A (ko) 2015-05-13
KR102052405B1 true KR102052405B1 (ko) 2019-12-05

Family

ID=53389092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130133459A KR102052405B1 (ko) 2013-11-05 2013-11-05 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법

Country Status (1)

Country Link
KR (1) KR102052405B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102562769B1 (ko) 2022-09-21 2023-08-02 김경엽 블랙박스 화면 경고 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3544873B1 (en) * 2017-01-17 2021-09-22 LG Electronics Inc. Vehicle and method of controlling a display therein
KR102547823B1 (ko) 2017-12-13 2023-06-26 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
KR102552489B1 (ko) * 2017-12-14 2023-07-06 현대자동차주식회사 차량 카메라를 이용한 여정기록 장치 및 방법
KR20200057480A (ko) 2018-11-16 2020-05-26 삼성전자주식회사 증강 현실 제어 장치, 이를 이용한 증강 현실 구현 방법, 및 이를 포함하는 증강 현실 구현 시스템
JP6907250B2 (ja) 2019-01-18 2021-07-21 矢崎総業株式会社 車両用表示装置
KR102541416B1 (ko) * 2021-06-29 2023-06-12 주식회사 디에이치오토웨어 실시간 교통정보를 반영한 헤드업 디스플레이 영상 표시 방법 및 장치
CN113918112A (zh) * 2021-10-12 2022-01-11 上海仙塔智能科技有限公司 Hud的显示处理方法、装置、电子设备与存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005233729A (ja) * 2004-02-18 2005-09-02 Toshiba Corp 車載用カーナビゲーション装置
JP4311426B2 (ja) * 2006-09-12 2009-08-12 住友電気工業株式会社 移動体を表示するための表示システム、車載装置及び表示方法
JP2013082445A (ja) * 2011-10-12 2013-05-09 Visteon Global Technologies Inc 適応表示システムの表示コンポーネントの制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100035253A (ko) * 2008-09-26 2010-04-05 주식회사 현대오토넷 차량용 헤드업 디스플레이 시스템 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005233729A (ja) * 2004-02-18 2005-09-02 Toshiba Corp 車載用カーナビゲーション装置
JP4311426B2 (ja) * 2006-09-12 2009-08-12 住友電気工業株式会社 移動体を表示するための表示システム、車載装置及び表示方法
JP2013082445A (ja) * 2011-10-12 2013-05-09 Visteon Global Technologies Inc 適応表示システムの表示コンポーネントの制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102562769B1 (ko) 2022-09-21 2023-08-02 김경엽 블랙박스 화면 경고 장치

Also Published As

Publication number Publication date
KR20150051671A (ko) 2015-05-13

Similar Documents

Publication Publication Date Title
KR102052405B1 (ko) 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
KR101983957B1 (ko) 표시 지원 장치 및 표시 지원 방법
KR101544524B1 (ko) 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
JP6717856B2 (ja) ヘッドアップディスプレイ装置
US20150293534A1 (en) Vehicle control system and method
KR20180056867A (ko) 디스플레이 장치 및 그의 동작 방법
US20120235805A1 (en) Information display apparatus and information display method
JP6460019B2 (ja) 車両の制御装置
US11525694B2 (en) Superimposed-image display device and computer program
JP2022520544A (ja) 車両インテリジェント運転制御方法及び装置、電子機器並びに記憶媒体
JP2017056844A (ja) 電子装置、画像表示方法および画像表示プログラム
JP2012195793A (ja) 車両周辺監視装置
JP3931343B2 (ja) 経路誘導装置
KR101976106B1 (ko) 정보제공을 위한 차량용 통합 헤드업디스플레이장치
JP6361403B2 (ja) 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
JP7019239B2 (ja) 車両用表示方法及び車両用表示装置
CN110832564B (zh) 车辆用投影控制装置以及平视显示装置
JP6186905B2 (ja) 車載表示装置およびプログラム
JP4986070B2 (ja) 車両用周囲監視装置
JP2013061597A (ja) 車両用危険場面再現装置
JP4277678B2 (ja) 車両運転支援装置
JP3968720B2 (ja) 車両用画像表示装置
KR101744718B1 (ko) 차량용 표시 시스템 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right