KR20140080789A - 헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치 - Google Patents

헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치 Download PDF

Info

Publication number
KR20140080789A
KR20140080789A KR1020120148500A KR20120148500A KR20140080789A KR 20140080789 A KR20140080789 A KR 20140080789A KR 1020120148500 A KR1020120148500 A KR 1020120148500A KR 20120148500 A KR20120148500 A KR 20120148500A KR 20140080789 A KR20140080789 A KR 20140080789A
Authority
KR
South Korea
Prior art keywords
user
display
image
hud
screen
Prior art date
Application number
KR1020120148500A
Other languages
English (en)
Other versions
KR102028757B1 (ko
Inventor
김지훈
이창호
Original Assignee
두산인프라코어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두산인프라코어 주식회사 filed Critical 두산인프라코어 주식회사
Priority to KR1020120148500A priority Critical patent/KR102028757B1/ko
Publication of KR20140080789A publication Critical patent/KR20140080789A/ko
Application granted granted Critical
Publication of KR102028757B1 publication Critical patent/KR102028757B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

본 발명은 헤드업 디스플레이(HUD: head up display)를 이용한 건설기계 및 차량의 디스플레이 장치 및 방법에 관한 것이다.
본 발명은 건설기계 또는 차량의 사용자의 눈높이에 맞게 HUD의 화면을 표시하고, 또한 사용자의 시선 이동에 따라 HUD 화면을 사용자의 시선 방향으로 적응적으로 이동시켜 표시하고, 또한 사용자의 취향에 따라 원하는 거리감(일명, 디스플레이 거리감)으로 화면을 표시함으로써, 사용자의 작업 시야를 확보하고 나아가 작업 능률을 향상시키는 것이다.

Description

헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치{METHOD FOR DISPLAY IN VEHICLE USING HEAD UP DISPLAY AND APPARATUS THEREOF}
본 발명은 건설기계 차량의 디스플레이에 관한 것으로서, 특히 헤드업 디스플레이를 이용한 디스플레이 방법 및 장치에 관한 것이다.
건설기계는 토목공사 또는 건축공사에 사용되며, 그 종류는 굴착기, 그레이더, 크레인, 운반기계 등이 있다. 일반적으로 건설기계는 핸들, 페달, 스틱 또는 조이스틱 등을 조작하여 작동시킨다. 또한, 최근 생산되는 건설기계는 디스플레이 장치를 구비하고 있으며, 건설기계의 디스플레이 장치를 통해 장비의 상태 및 중요 데이터를 사용자(즉, 작업자)에게 표시하여 준다. 따라서, 건설기계의 사용자는 디스플레이에 표시된 장비의 상태 및 정보를 이용하여 효율적으로 건설기계를 작동시킬 수 있다. 특히, 차량 운전자(즉, 사용자, 또는 작업자)의 운전 중 주행안전을 확보하고자 차량 주행정보와 주변상황 정보를 효과적으로 운전자에게 전달해주는 매체로서, 헤드업 디스플레이(HUD: Head Up Display)가 각광받고 있다.
차량의 헤드업 디스플레이(HUD)는 차량 주행 중 운전자 정면 즉, 운전자의 주 시야선을 벗어나지 않는 범위에서 차량주행정보나 기타 정보를 제공하는 표시장치로서, 초창기에는 항공기 특히 전투기에 부착되어 개발하게 된 것이 최근에는 차량에도 설치되기 시작한 것이다.
차량의 헤드업 디스플레이(HUD)는 차량의 전면유리에 운전자의 주시야 선에 계기판의 정보(속도, 주행거리, RPM, 네비정보, 경고 등)를 나타나게 하여 운전자가 운전 중에도 쉽게 주행정보를 파악할 수 있도록 한다. 이로써 운전자는 전방 도로로부터 눈을 떼지 않고도 중요한 주행정보를 인지함으로써 안전 운행을 유지할 수 있다.
그런데, 차량에 적용된 HUD의 종래 기술은 작업자의 전방 유리창에 일방향성으로 고정된 화면을 투영하기 때문에, 빛의 난반사 및 음영에 의한 영향을 제거할 수 없는 단점을 내포하고 있다. 이러한 빛의 난반사와 음영은 작업자의 시야 확보에 문제를 일으켜, 작업자의 작업 능률을 저하시키는 요인이 될 수 있다.
한편, 차량 운전자(작업자)가 작업 영역에 따라 시선 방향이 HUD의 투영되는 면(즉, 캐빈 내의 전방 유리창)과 작업 영역(즉, 캐빈 밖의 작업 중인 영역) 간에 이동할 수 있다. 이러한 운전자의 시선 이동은, 작업 중인 운전자의 작업 능률을 저하시킬 수 있고, 또한 안전사고를 초래할 수도 있다.
본 발명이 해결하고자 하는 기술적 과제는 차량 운전자의 시선을 탐색(포착)하여, 그 시선의 이동에 따라 운전자의 눈높이에 최적의 방향으로 작업정보 및 기타 계기판 정보 등을 적응적으로 이동시켜 표시하는 것이다.
또한, 본 발명이 해결하고자 하는 기술적 과제는, HUD를 이용하여 운전자가 원하는 거리감으로 표시함으로써, 작업의 능률을 향상시키고, 또한 안전사고를 방지하는 것이다.
상기와 같은 발명의 기술적 과제를 해결하기 위하여, 본 발명에 따른, 헤드업 디스플레이를 이용한 차량의 디스플레이 방법은, 적어도 하나 이상의 카메라로 캡쳐한 이미지를 처리하여 사용자 얼굴 및 눈동자를 판별하는 단계와, 상기 캡쳐한 이미지를 처리하여 사용자의 눈동자에 대한 위치정보를 추출하는 단계와, 상기 추출한 위치정보를 이용하여, 헤드업 디스플레이(HUD: head up display) 모듈의 반사각을 변경하는 단계와, 상기 변경된 HUD 모듈의 반사각으로 화면을 차량의 창에 투영하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 사용자의 시선이 이동되었는지 탐색하는 단계와, 상기 사용자의 시선이 이동되었다면, 상기 사용자의 눈동자를 계속 포커싱하여 추적하는 단계와, 상기 사용자의 시선 이동에 따라, 사용자의 눈동자에 대한 위치정보를 추출하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게는, 디스플레이 거리감이 설정 또는 변경되었는지 탐색하는 단계와, 디스플레이 거리감이 설정 또는 변경된 경우, 그 설정 또는 변경된 디스플레이 거리감으로 HUD 모듈의 화면이 차량 창에 투영되도록 이미지 처리되는 단계와, 상기 이미지 처리된 HUD 모듈의 화면을 차량 창에 투영하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 위치정보는 상기 추적 카메라와 상기 사용자의 눈동자 간의 거리 정보 및 방향 정보를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 HUD 모듈의 반사각을 변경하는 단계에서, 상기 HUD 모듈의 반사각은 상기 사용자의 시선과 직각으로 HUD 모듈의 화면이 차량 창에 투영될 수 있는 각도인 것을 특징으로 한다.
또한, 상기와 같은 발명의 기술적 과제를 해결하기 위하여, 본 발명에 따른, 헤드업 디스플레이를 이용한 차량의 디스플레이 장치는, 적어도 2개 이상의 소형 카메라로 사용자의 이미지를 캡쳐하고, 사용자의 눈동자를 추적하는 추적 카메라와, 차량의 창에 투영될 이미지의 반사각이 조절될 수 있는 헤드업 디스플레이(HUD: head up display) 모듈과, 차량 창에 투영될 HUD 모듈의 화면의 디스플레이 거리감을 설정 또는 변경할 수 있는 계기판 UI(user interface)와, 상기 추적 카메라가 캡쳐한 사용자의 이미지를 처리하여 사용자의 얼굴과 눈동자를 판별하고, 상기 처리하고 판별한 사용자의 이미지를 이용하여 사용자 눈동자의 위치정보를 추출하고, 상기 추출한 위치정보를 이용하여 차량 창에 투영할 화면의 방향 및 반사각을 조절하는 제어부를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 제어부는, 상기 계기판 UI로부터 디스플레이 거리감의 설정 또는 변경이 있는지를 탐색하고, 상기 디스플레이 거리감의 설정 또는 변경이 있는 경우, 그 설정 또는 변경에 해당하는 HUD 모듈의 화면을 이미지 프로세싱하고, 그 이미지 프로세싱된 HUD 모듈의 화면이 차량 창에 투영되도록 제어하는 것을 특징으로 한다.
바람직하게는, 상기 위치정보는, 상기 추적 카메라와 상기 사용자의 눈동자 간의 거리 정보 및 방향 정보를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 제어부는, 차량 창에 투영할 화면의 방향을 HUD 모듈의 반사렌즈를 조절함으로써, HUD 모듈 화면의 방향 및 반사각을 조절하는 것을 특징으로 한다.
바람직하게는, 상기 제어부는, 상기 HUD 모듈을 제어하여, HUD 모듈의 화면이 알파브랜딩하여 차량 창에 표시하는 것을 특징으로 한다.
본 발명은 사용자의 시선 이동에 따라, 사용자의 시선에 최적인 방향에 차량 정보 및 작업 정보 등을 차량의 창에 적응적으로 표시하기 때문에, 사용자의 작업 시야가 빛의 난반사 및 음영의 영향을 방지할 수 있다.
또한, 본 발명은, 사용자가 캐빈 내에서 3차원 적으로 움직이더라도 사용자의 시선 이동을 인식 및 추적함에 따라, 사용자의 시선에 최적 방향(예를 들어, 사용자 시선의 동선 방향의 직각)으로 화면을 표시하면서도, 그 표시되는 화면의 거리감을 사용자가 설정할 수 있기 때문에, 사용자가 능률적이고 편리하게 작업할 수 있다.
도 1은 본 발명의 일 실시 예로서, 본 발명에 따른 HUD(head up display)를 이용한 디스플레이 장치이다.
도 2는 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 디스플레이 장치를 사용하는 방법을 도시한 것이다.
도 3는 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 디스플레이 장치가 차량 창에 HUD 모듈의 화면을 투영한 예시이다.
도 4은 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 디스플레이 장치의 디스플레이 방법을 도시한 흐름도이다.
본 발명은 HUD를 이용하는 차량 및 건설기계에 적용된다. 그러나, 본 발명은 이에 한정하지 않고 본 발명의 기술적 사상이 적용될 수 있는 모든 기술 분야에 적용될 수도 있다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이하, 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
한편, 본 발명에서 설명하는 용어, " 및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항복들 중의 어느 항목을 포함한다.
본 발명에서 사용하는 기술용어, "디스플레이 장치"는 아날로그 또는 디지털 표시장치를 제공하는 장치를 통칭하는 포괄적인 의미이고, 약칭으로 "디스플레이" 또는, "모니터" 또는 "계기판"이라고 칭할 수 있다. 또한, 본 발명의 "디스플레이 장치"는 하나 이상의 모니터 또는 계기판으로 구성된 장치일 수 있다. 또한, 본 발명의 "디스플레이 장치"는 "디스플레이"를 동작시키는 제어부(또는 프로세서)와 통합 또는 독립 구성된 장치일 수 있다.
본 발명에서 사용하는 기술용어, "건설기계"는 문자 그대로 건설용도로 사용되는 기계만을 한정하는 것이 아니라, 본 발명에 따른 조이스틱 및 디스플레이 장치가 적용되는 모든 차량을 통칭하는 포괄적인 의미이다.
본 발명의 기본 개념은: 건설기계 또는 차량의 사용자의 눈높이에 맞게 HUD의 화면을 표시하고, 또한 사용자의 시선 이동에 따라 HUD 화면을 사용자의 시선 방향으로 적응적으로 이동시켜 표시하고, 또한 사용자의 취향에 따라 원하는 거리감(일명, 디스플레이 거리감)으로 화면을 표시함으로써, 사용자의 작업 시야를 확보하고 나아가 작업 능률을 향상시키는 것이다. 상술한 본 발명의 개념은: 1) 사용자의 얼굴과 시선을 포착할 수 있는 2 대 이상의 카메라와; 2) 2 대 이상의 카메라에서 캡쳐한 이미지로부터 사용자와의 위치정보(거리 및 방향)를 측정할 수 있는 제어부(또는 이미지 프로세서)와; 3) 차량 창에 표시(투영)되는 HUD의 화면의 반사각이 조절될 수 있는 HUD 모듈을 통하여 구현할 수 있다.
도 1은 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 디스플레이 장치이다.
도 1에 도시된 바와 같이, 본 발명에 따른 HUD를 이용한 디스플레이 장치(100)는, 2개 이상의 소형 카메라를 포함하고, 사용자의 이미지를 캡쳐하고, 사용자의 눈동자를 포커싱하며 추적하는 추적 카메라(110)와, 차량의 창(예를 들어, 캐빈 창)에 투영될 화면(이미지)의 방향 및/또는 각도가 변경될 수 있도록, 반사렌즈의 반사각이 조정 또는 조절될 수 있는 HUD 모듈(120)과, 추적 카메라(110)로부터 캡쳐된 사용자의 이미지(화면)를 프로세싱하여 사용자의 얼굴과 눈동자를 인식 및 판별하고, 상기 판별한 사용자의 이미지를 이용하여 사용자 눈동자의 위치정보를 추출하고, 상기 추출한 위치정보를 이용하여 차량 창에 투영할 이미지의 방향을 HUD 모듈의 반사각으로 조절하는 제어부(130)와, 차량 창에 투영된 이미지의 디스플레이 거리감을 설정 또는 변경할 수 있는 계기판 UI(user interface)(140)을 포함하여 구성된다.
한편, HUD 모듈(120)은 일반적인 구성으로써, 백라이트 유닛과, LCD 패널, 렌즈와, LCD 제어기 보드와, 렌즈 에세이와, 반사 렌즈를 포함하여 구성된다. 추가적으로, HUD 모듈(120)은 이미지를 투영할 반사각을 전방향(즉, 상하좌우 및 앞뒤, 3차원 이동방향)으로 조절할 수 있는 장치를 더 구성할 수 있다. 예를 들어, HUD 모듈(120)은 반사렌즈를 상하좌우 및 전방향으로 이동 및 회전시킬 수 있는 구동모터와 마운트를 포함할 수도 있다. 또 다른 실시 예로서, HUD 모듈(120)은 상기 제어부(130)를 포함하여 일체하거나, 또는 독립하여 구성할 수도 있다.
이하, 도 1을 참조하여, 본 발명에 따른 HUD를 이용한 디스플레이 장치의 기능 및 구성을 더욱 상세히 설명한다.
추적 카메라(110)는 적어도 2개 이상의 소형 카메라로 구성되어 있으며, 건설기계 캐빈 내 전면 창에 장착된다. 2 대의 카메라는 상하좌우 및 앞뒤의 3차원적으로 움직이는 사용자의 얼굴과 눈동자를 추적한다. 즉, 캐빈 내의 좌석에 앉아 작업 중인 사용자의 얼굴과 눈동자를 캡쳐하고, 그 캡쳐한 이미지를 제어부(130)로 전송한다. 그리고, 그 전송한 캡쳐 이미지를 분석한 제어부(130)가 제어 신호(예를 들어, 눈동자 위치에 대한 정보 및 포커싱 관련 제어 신호)를 보내면, 이를 수신하여 추적 카메라(110)는 사용자의 눈동자에 포커싱(focusing)하고, 지속적으로 사용자의 눈동자를 추적하여 초점을 맞춘다. 예를 들어, 사용자가 캐빈 밖의 "A 작업 영역"을 주시하다가, 고개를 돌려 "B 작업 영역"으로, 또는 캐빈 내의 "C 영역"으로 시선을 이동한다면, 추적 카메라(110)는 제어부(130)의 제어 신호에 의해, 사용자의 눈동자에 초점을 맞춰 사용자 시선의 이동을 추적한다.
제어부(130)는 추적 카메라(110)로부터 사용자에 대한 캡쳐 이미지를 분석(이미지 프로세싱)하여, 사용자의 얼굴과 눈동자를 판별한다. 또한, 제어부(130)는 사용자의 눈동자를 판별한 후, 2 대의 카메라로 캡쳐된 이미지로부터 사용자 눈동자의 위치정보(거리 및 방향 등에 관한 정보)를 추출하고, 그 추출한 위치정보를 처리하여 추적 카메라가 계속하여 사용자의 눈동자를 추적하도록, 추적 카메라(110)을 제어한다. 이때, 제어부(130)는 추적 카메라(110)의 각각을 별개로 또는 통합하여 제어할 수 있다.
제어부(130)는 상기 캡쳐된 이미지를 처리하여 획득한 위치정보(즉, 사용자 눈동자에 대한 위치정보)를 이용하여, HUD 모듈(120)의 반사각을 조절하여, HUD 모듈의 화면이 사용자의 눈높이에 투영되도록 HUD 모듈(120)을 제어한다. 즉, 예를 들어, 사용자가 캐빈 밖의 "A 작업 영역"을 주시하며 작업하고 있는 중에 고개를 돌려 "B 작업 영역"으로 시선을 이동한다고 가정하자. 이때, 2 대의 카메라로 구성된 추적 카메라(110)는 사용자의 얼굴과 눈동자의 이미지들(동영상)을 계속하여 캡쳐할 것이고, 제어부는 그 캡쳐한 이미지들을 처리하여 사용자의 눈동자에 대한 위치정보를 추출한다. 제어부(130)는 추출한 위치정보를 이용하여, 현재 사용자의 주 시선이 머무는 "B 작업 영역"의 시선의 동선 상에, HUD 모듈(120)의 화면을 캐빈의 창에 표시하도록 HUD 모듈의 반사각을 조절한다. 즉, 제어부(130)는 상기 위치정보가 변화함에 따라, 사용자의 시선의 동선 상에 있는 캐빈 창에 HUD 모듈(120)의 화면을 투영시킨다. 예를 들어, 제어부(130)는 HUD 모듈(120) 내의 마운트 및/또는 반사렌즈를 제어하여, 캐빈 창에 투영되는 화면의 반사각을 조절할 수 있다.
한편, 사용자가 계기판 UI(140)으로 자신의 취향에 따른 거리감을 선택(또는 설정)하면, 제어부(130)는 사용자가 선택한 거리감에 맞는 HUD 모듈(120)의 화면을 캐빈 창에 투영되도록 HUD 모듈(120)의 화면 이미지를 처리하고, 그 처리된 화면 이미지가 HUD 모듈(120)에 의해 캐빈 창에 투영되도록 HUD 모듈(120)을 제어한다.
또한, 제어부(130)는 HUD 모듈(120)이 캐빈 창에 투영하는 화면의 이미지를 알파브랜딩(alphablending) 처리할 수 있다. 여기서, 알파브랜딩이란 일반 이미지 데이터에 투명도를 나타내는 변수 α를 추가하여 투과 이미지를 표현하는 기법이다.
도 2는 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 디스플레이 장치를 사용하는 방법을 도시한 것이다.
도 2에 도시된 바와 같이, 본 발명에 따른 2 대의 소형 카메라로 구성된 추적 카메라(110)는 캐빈(20)의 전면 창(21)에 장착될 수 있다. 그리고, 추적 카메라(110)는 사용자(즉, 운전자)(22)가 시선을 이동시킬 때마다, 사용자의 눈동자를 인식 및 추적하여 사용자의 눈동자에 초점을 맞춘다.
한편, HUD 모듈(120)은 계기판 클러스터(cluster)(23)상에 설치될 수 있다. HUD 모듈(120)의 반사렌즈의 각도 변화에 따라, 캐빈(20)의 전면 창(21)에 투영되는 화면의 반사각(투영각)(24)이 변환된다. 상술한 바와 같이, 상기 화면의 반사각은 제어부(130)의 제어에 의하여 변환된다.
도 3는 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 디스플레이 장치가 차량 창에 HUD 모듈의 화면을 투영한 예시이다.
도 3에 도시된 바와 같이, 차량 창(즉, 건설기계의 캐빈 창)에 2 대의 소형 카메라로 구성된 추적 카메라(110)이 사용자의 눈동자를 포커싱하여 추적하고, 그 추적한 사용자의 시야의 동선 상에 있는 차량 창에 HUD 모듈의 화면(즉, 작업 정보, 또는 차량 정보, 또는 작업 가이드 등)이 표시된다.
도 4은 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 디스플레이 장치의 디스플레이 방법을 도시한 흐름도이다.
도 1 내지 도 4을 참조하면, 2 대의 카메라(즉, 추적 카메라)로 캡쳐한 이미지를 처리하여 사용자 얼굴 및 눈동자를 인식 및 판별한다(S410). 상기 캡쳐한 이미지를 처리하여 사용자의 눈동자에 대한 위치정보(즉, 예를 들어 사용자의 눈동자와 각 카메라에 대한 거리 및 방향에 대한 정보)를 추출한다(S420).
제어부(130)는 상기 추출한 위치정보를 이용하여, 즉, 사용자 눈동자와 카메라 간의 거리 및 방향에 대한 정보를 로딩(loading)하고(S430), 그 로딩한 정보에 따라 HUD 모듈(120)의 반사각을 변경하여 캐빈 창에 HUD 모듈(120)의 화면을 투영한다(S440). 상기 S440 단계는 캐빈 창에 투영된 HUD 모듈(120)의 화면이 사용자의 시선과 직각으로 보이도록 함으로써, 빛의 난반사 및 음영을 제거하여 사용자에게 최적의 시야를 제공하기 위한 것이다.
제어부(130)는 사용자가 캐빈 내에서 작업 중에 시선이 이동(변경)되었는지 탐색한다(S450). 만일 사용자의 시선이 이동되었다면, 카메라(110)는 사용자의 눈동자를 계속하여 포커싱하여 추적하고, 제어부(130)는 사용자에 이동에 따라 사용자 눈동자의 위치정보를 다시 추출하기 위해, 상기 S410 단계가 실행된다.
사용자가 계기판 UI(140)을 통해, 디스플레이 거리감을 설정 또는 변경하였는지를 제어부(130)가 탐색한다(S460). 만일, 디스플레이 거리감이 설정 또는 변경되었다면, 제어부(130)는 그 설정한 거리감에 따라 HUD 모듈(120)의 화면이 캐빈 창에 투영되도록 HUD 모듈(120)의 화면을 이미지 처리하고, 그 처리된 HUD 모듈(120)의 화면이 캐빈 창에 투영되도록 제어한다(S470).
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라, 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (9)

  1. 적어도 하나 이상의 카메라로 사용자 얼굴 및 눈동자를 캡쳐하여 캡쳐 이미지를 획득하는 단계와;
    상기 획득한 캡쳐 이미지를 분석하여 사용자의 눈동자에 대한 위치정보를 추출하는 단계와;
    상기 추출한 위치정보를 이용하여, 헤드업 디스플레이(HUD: head up display) 모듈의 반사각을 변경하는 단계와;
    상기 변경된 HUD 모듈의 반사각으로 화면을 차량의 창에 투영하는 단계
    를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 차량의 디스플레이 방법.
  2. 제1항에 있어서,
    상기 화면을 차량의 창에 투영하는 단계 이후에,
    상기 사용자의 시선이 이동되었는지 탐색하는 단계와;
    상기 사용자의 시선이 이동되었다면, 상기 사용자의 눈동자를 계속 포커싱하여 추적하는 단계와;
    상기 사용자의 시선 이동에 따라, 사용자의 눈동자에 대한 위치정보를 추출하는 단계
    를 더 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 차량의 디스플레이 방법.
  3. 제1항에 있어서,
    디스플레이 거리감이 설정 또는 변경되었는지 탐색하는 단계와;
    디스플레이 거리감이 설정 또는 변경된 경우, 그 설정 또는 변경된 디스플레이 거리감으로 HUD 모듈의 화면이 차량 창에 투영되도록 이미지 처리되는 단계와;
    상기 이미지 처리된 HUD 모듈의 화면을 차량 창에 투영하는 단계를 더 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 차량의 디스플레이 방법.
  4. 제1항에 있어서, 상기 위치정보는
    상기 추적 카메라와 상기 사용자의 눈동자 간의 거리 정보 및 눈동자 방향 정보를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 차량의 디스플레이 방법.
  5. 제1항에 있어서, 상기 반사각을 변경하는 단계에서,
    상기 HUD 모듈의 반사각은 상기 사용자의 시선과 직각으로 HUD 모듈의 화면이 차량 창에 투영될 수 있는 각도인 것을 특징으로 하는 헤드업 디스플레이를 이용한 차량의 디스플레이 방법.
  6. 적어도 2개 이상의 소형 카메라로 사용자의 눈동자를 추적하고 사용자의 이미지를 캡쳐하는 추적 카메라와;
    차량의 창에 투영될 이미지의 반사각이 조절될 수 있는 헤드업 디스플레이(HUD: head up display) 모듈과;
    차량 창에 투영될 HUD 모듈의 화면의 디스플레이 거리감을 설정 또는 변경할 수 있는 계기판 UI(user interface)와;
    상기 추적 카메라가 캡쳐한 사용자의 이미지를 처리하여 사용자의 얼굴과 눈동자를 판별하고, 상기 처리하고 판별한 사용자의 이미지를 이용하여 사용자 눈동자의 위치정보를 추출하고, 상기 추출한 위치정보를 이용하여 차량 창에 투영할 화면의 방향 및 반사각을 조절하는 제어부를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 차량의 디스플레이 장치.
  7. 제6항에 있어서, 상기 제어부는
    상기 계기판 UI로부터 디스플레이 거리감의 설정 또는 변경이 있는지를 탐색하고,
    상기 디스플레이 거리감의 설정 또는 변경이 있는 경우, 그 설정 또는 변경에 해당하는 HUD 모듈의 화면을 이미지 프로세싱하고, 그 이미지 프로세싱된 HUD 모듈의 화면이 차량 창에 투영되도록 제어하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 차량의 디스플레이 장치.
  8. 제6항에 있어서, 상기 위치정보는
    상기 추적 카메라와 상기 사용자의 눈동자 간의 거리 정보 및 방향 정보를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 차량의 디스플레이 장치.
  9. 제6항에 있어서, 상기 제어부는
    차량 창에 투영할 화면의 방향을 HUD 모듈의 반사렌즈를 조절함으로써, HUD 모듈 화면의 방향 및 반사각을 조절하는 것을 특징으로 하는 헤드업 디스플레이를 이용한 차량의 디스플레이 장치.
KR1020120148500A 2012-12-18 2012-12-18 헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치 KR102028757B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120148500A KR102028757B1 (ko) 2012-12-18 2012-12-18 헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120148500A KR102028757B1 (ko) 2012-12-18 2012-12-18 헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140080789A true KR20140080789A (ko) 2014-07-01
KR102028757B1 KR102028757B1 (ko) 2019-10-04

Family

ID=51732226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120148500A KR102028757B1 (ko) 2012-12-18 2012-12-18 헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102028757B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101601527B1 (ko) 2014-11-04 2016-03-08 현대자동차주식회사 헤드업 디스플레이 장치 및 그의 제어방법
KR20160061187A (ko) * 2014-11-21 2016-05-31 현대모비스 주식회사 주행 정보 제공 장치 및 주행 정보 제공 방법
WO2018105835A1 (ko) * 2016-09-20 2018-06-14 주식회사 크레모텍 차량용 헤드업 디스플레이 표시 방법 및 표시 장치
CN112368999A (zh) * 2018-09-13 2021-02-12 麦克赛尔株式会社 平视显示系统
US11634028B2 (en) 2017-07-28 2023-04-25 Samsung Electronics Co., Ltd. Image processing method of generating an image based on a user viewpoint and image processing device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070082108A (ko) * 2006-02-15 2007-08-21 파워옵틱스 주식회사 차량용 헤드업 디스플레이
KR20080030908A (ko) * 2006-10-02 2008-04-07 한국전자통신연구원 이동 가능한 자동 사진 촬영 방법 및 장치
KR20090063508A (ko) * 2007-12-14 2009-06-18 대성전기공업 주식회사 시야확보를 위한 선바이저 및 작동 방법
JP2011002660A (ja) * 2009-06-18 2011-01-06 Honda Motor Co Ltd 車両用画像表示装置
KR20120091492A (ko) * 2010-12-23 2012-08-20 팅크웨어(주) 전자 기기 및 전자 기기의 내비게이션 서비스 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070082108A (ko) * 2006-02-15 2007-08-21 파워옵틱스 주식회사 차량용 헤드업 디스플레이
KR20080030908A (ko) * 2006-10-02 2008-04-07 한국전자통신연구원 이동 가능한 자동 사진 촬영 방법 및 장치
KR20090063508A (ko) * 2007-12-14 2009-06-18 대성전기공업 주식회사 시야확보를 위한 선바이저 및 작동 방법
JP2011002660A (ja) * 2009-06-18 2011-01-06 Honda Motor Co Ltd 車両用画像表示装置
KR20120091492A (ko) * 2010-12-23 2012-08-20 팅크웨어(주) 전자 기기 및 전자 기기의 내비게이션 서비스 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101601527B1 (ko) 2014-11-04 2016-03-08 현대자동차주식회사 헤드업 디스플레이 장치 및 그의 제어방법
KR20160061187A (ko) * 2014-11-21 2016-05-31 현대모비스 주식회사 주행 정보 제공 장치 및 주행 정보 제공 방법
WO2018105835A1 (ko) * 2016-09-20 2018-06-14 주식회사 크레모텍 차량용 헤드업 디스플레이 표시 방법 및 표시 장치
US11634028B2 (en) 2017-07-28 2023-04-25 Samsung Electronics Co., Ltd. Image processing method of generating an image based on a user viewpoint and image processing device
CN112368999A (zh) * 2018-09-13 2021-02-12 麦克赛尔株式会社 平视显示系统
CN112368999B (zh) * 2018-09-13 2022-05-17 麦克赛尔株式会社 平视显示系统

Also Published As

Publication number Publication date
KR102028757B1 (ko) 2019-10-04

Similar Documents

Publication Publication Date Title
US11479177B2 (en) Vehicle display device, display control method, and rearview monitoring system
US9230501B1 (en) Device control utilizing optical flow
US10632917B2 (en) Signal processing device, signal processing method, and monitoring system
US9756319B2 (en) Virtual see-through instrument cluster with live video
JP6413207B2 (ja) 車両用表示装置
JP6026011B2 (ja) 表示制御装置、情報表示方法および情報表示システム
KR102028757B1 (ko) 헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치
CN110824709B (zh) 平视显示器
WO2015072100A1 (ja) 視線方向検知装置
JP2017081456A (ja) 表示装置及び表示方法
JP2018121287A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP7058800B2 (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
JP4929768B2 (ja) 視覚情報呈示装置及び視覚情報呈示方法
CN108422932A (zh) 驾驶辅助系统、方法和车辆
JP4720979B2 (ja) 車両用監視装置
JP2019006183A (ja) 操縦支援装置、操縦支援方法、プログラム
JP6504382B2 (ja) 表示制御装置、表示システム、表示制御方法、表示制御プログラム、および投影装置
US20230022485A1 (en) Vehicle display control device, vehicle display device, vehicle display control method, and non-transitory storage medium
JP6315427B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP2011243010A (ja) 運転支援装置
US20180363273A1 (en) Work vehicle
KR101721881B1 (ko) 아이 트래커에 기초하여 디스플레이 모드를 컨트롤 하는 자동차 시스템의 제어 방법 및 컨트롤러
JP2019184758A (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイの画像表示方法及びヘッドマウントディスプレイの制御プログラム
JP6365879B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP2020161002A (ja) 映像表示システム、運転シミュレータシステム、映像表示方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right