KR101977342B1 - System and method for provision of head up display information according to driver's condition and driving condition - Google Patents

System and method for provision of head up display information according to driver's condition and driving condition Download PDF

Info

Publication number
KR101977342B1
KR101977342B1 KR1020160116501A KR20160116501A KR101977342B1 KR 101977342 B1 KR101977342 B1 KR 101977342B1 KR 1020160116501 A KR1020160116501 A KR 1020160116501A KR 20160116501 A KR20160116501 A KR 20160116501A KR 101977342 B1 KR101977342 B1 KR 101977342B1
Authority
KR
South Korea
Prior art keywords
information
driver
driving situation
hud
candidate
Prior art date
Application number
KR1020160116501A
Other languages
Korean (ko)
Other versions
KR20180029152A (en
Inventor
박선홍
오영달
류동운
Original Assignee
자동차부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 자동차부품연구원 filed Critical 자동차부품연구원
Priority to KR1020160116501A priority Critical patent/KR101977342B1/en
Publication of KR20180029152A publication Critical patent/KR20180029152A/en
Application granted granted Critical
Publication of KR101977342B1 publication Critical patent/KR101977342B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Abstract

본 발명은 운전자 및 주행상황에 근거하여 헤드 업 디스플레이(HUD, Head Up Display)를 통해 정보를 제공하는 시스템 및 방법에 관한 것이다.
본 발명에 따른 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템은 운전자의 상태 정보 및 운전자의 주행 상황 정보를 획득하는 정보 획득부 및 운전자의 상태 정보와 주행 상황 정보를 동시에 종합적으로 고려하여 상기 운전자에게 제공함이 필요하다고 판단되는 기능에 대한 후보 명령어를 헤드업디스플레이를 통해 제시하는 후보 명령 추출부를 포함하는 것을 특징으로 한다. The present invention relates to a system and method for providing information through a Head Up Display (HUD) based on a driver and a driving situation.
The HUD information providing system for the driver and the driving situation customized HUD according to the present invention provides the driver with the information obtaining unit for obtaining the driver's state information and the driving situation information of the driver and the driver's state information and the driving situation information at the same time, And a candidate instruction extracting unit for presenting the candidate instruction for the function determined to be necessary through the head-up display.

Description

운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVISION OF HEAD UP DISPLAY INFORMATION ACCORDING TO DRIVER'S CONDITION AND DRIVING CONDITION}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a system and a method for providing a HUD information customized for a driver and a driving situation,

본 발명은 운전자 및 주행상황에 근거하여 헤드 업 디스플레이(HUD, Head Up Display)를 통해 정보를 제공하는 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for providing information through a Head Up Display (HUD) based on a driver and a driving situation.

자동차 유리(Windshield, 윈드실드)는 단순히 외부를 보여주고 비바람을 막아주는 역할에서 벗어나 첨단 전자 기술이 적용된 스마트 윈도로 거듭나고 있다. Automotive glass (Windshield) is being reborn as a smart window with advanced electronic technology, simply out of the way and preventing the wind and rain.

대표적인 스마트 윈도 기술인 헤드 업 디스플레이는 차량의 현재 속도, 연료 잔량, 내비게이션 길 안내 정보 등을 표시하는 정도에 그치고 있어, 운전자 상태 또는 주행 상황에 입각한 기능 추천 등은 수행하지 못하는 한계가 있다. The head-up display, which is a representative smart window technology, is only limited to display the current speed of the vehicle, remaining fuel amount, navigation route information, and the like, and thus there is a limitation in performing function recommendation based on the driver's state or driving situation.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 운전자의 상태 및 주행 상황을 동시에 종합적으로 고려하여, 운전자에게 제공함이 필요하다고 판단되는 차량 내 기기의 기능을 선별하여 HUD를 통해 표출하여 추천함으로써, 주행 중 운전자가 시선 분산 없이 차량 내 장치의 기능을 원활히 실행시키는 것이 가능한 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템 및 방법을 제공하는 데 목적이 있다. SUMMARY OF THE INVENTION The present invention has been proposed in order to solve the above-described problems, and it is an object of the present invention to provide a system and method for selecting a function of an in- And an object of the present invention is to provide a system and a method for providing a driver and a driving situation customized HUD information enabling a driver to smoothly execute the function of the in-vehicle device without sight line dispersion.

본 발명에 따른 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템은 운전자의 상태 정보 및 운전자의 주행 상황 정보를 획득하는 정보 획득부 및 운전자의 상태 정보와 주행 상황 정보를 동시에 종합적으로 고려하여 운전자에게 제공함이 필요하다고 판단되는 기능에 대한 후보 명령어를 헤드업디스플레이를 통해 제시하는 후보 명령 추출부를 포함하는 것을 특징으로 한다. The HUD information providing system for the driver and the driving situation customized HUD according to the present invention needs to provide the driver with the information acquisition unit for obtaining the driver's state information and the driving situation information of the driver and the driver's state information and the driving situation information at the same time And a candidate instruction extracting unit for presenting a candidate instruction for a function determined to be a function to be displayed on a head-up display.

본 발명에 따른 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법은 운전자의 상태 정보 및 주행 상황 정보를 획득하는 단계와, 운전자의 상태 정보 및 주행 상황 정보를 동시에 종합적으로 고려하여 주행 차량 기기에 대한 후보 명령어를 추출하는 단계 및 후보 명령어를 HUD를 통해 디스플레이하는 단계를 포함하는 것을 특징으로 한다. The HUD information providing method according to the present invention includes a step of acquiring status information and driving situation information of a driver, a step of acquiring a candidate command for the driving vehicle device in consideration of the driver's state information and driving situation information at the same time, And displaying the candidate instruction through the HUD.

본 발명에 따른 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템 및 방법은 주행 중 운전자 상태(피로도, 과부하, 졸음, 부주의 등) 및 주행상황(차속, 주행소음, 진동, 밝기, 습도 등)을 고려하여, 차량 내 기기조작을 편리하게 제어할 수 있도록 후보 명령어를 추천 제공하는 것이 가능한 효과가 있다. The system and method for providing driver and driving situation customized HUD information according to the present invention is a system and method for providing driver and driving situation customized HUD information in consideration of driver's condition (fatigue, overload, drowsiness, carelessness) and driving situation (vehicle speed, driving noise, vibration, brightness, It is possible to provide a recommendation command as a recommendation so that the operation of the in-vehicle apparatus can be conveniently controlled.

본 발명에 따르면 운전자가 별도의 사전 학습 없이도 자신의 상태 및 주행 상황에 따라 추천 선별되는 차량 내 기기의 가용 제어 정보 및 그에 대한 명령어 리스트를 HUD를 통해 제공받게 됨으로써, 직관적인 명령어 입력이 가능한 효과가 있다. According to the present invention, since the driver is provided with the available control information of the in-vehicle device and the list of commands for the recommended in-vehicle devices selected through recommendation according to the state and the running situation without any prior learning, the effect that intuitive command input is possible have.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템이 적용된 차량 내부를 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 경고 메시지 알림 상황을 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 제어 대상 기기 디스플레이를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 공조기 제어를 위한 추천 후보 명령어 디스플레이를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법을 나타내는 순서도이다. 1 is a block diagram illustrating a system for providing driver and driving situation customized HUD information according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram illustrating an interior of a vehicle to which a driver and a driving situation customized HUD information providing system according to an exemplary embodiment of the present invention is applied.
3 is a conceptual diagram illustrating a warning message notification situation according to an embodiment of the present invention.
4 is a view showing a control target device display according to an embodiment of the present invention.
5 is a diagram illustrating a recommendation candidate command display for controlling an air conditioner according to an embodiment of the present invention.
6 is a flowchart illustrating a method of providing driver and driving situation customized HUD information according to an embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, advantages and features of the present invention and methods of achieving them will be apparent from the following detailed description of embodiments thereof taken in conjunction with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the exemplary embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, And advantages of the present invention are defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. &Quot; comprises " and / or " comprising ", as used herein, unless the recited component, step, operation, and / Or added.

도 1을 참조하면, 본 발명의 실시예에 따른 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템은 운전자의 상태 정보 및 운전자의 주행 상황 정보를 획득하는 정보 획득부(100) 및 운전자의 상태 정보와 주행 상황 정보를 동시에 종합적으로 고려하여 운전자에게 제공함이 필요하다고 판단되는 기능에 대한 후보 명령어를 헤드업디스플레이(300)를 통해 제시하는 후보 명령 추출부(200)를 포함한다. Referring to FIG. 1, the driver and driving situation customized HUD information providing system according to the embodiment of the present invention includes an information obtaining unit 100 for obtaining driver's state information and driver's driving situation information, And a candidate command extraction unit 200 for presenting candidate commands for the functions that are considered to be required to be provided to the driver in consideration of the information at the same time through the head-up display 300.

도 2는 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템이 적용된 차량 내부를 도시하는 도면이다.2 is a view showing a vehicle interior to which a driver and a driving situation customized HUD information providing system are applied.

운전자 전방 유리에는 헤드업디스플레이(300)를 통해 그래픽 이미지가 투영되는 HUD 영역(300a)이 배치된다. In the driver's front window, a HUD area 300a through which the graphic image is projected is arranged through the head-up display 300. [

본 발명의 실시예에 따른 헤드업디스플레이(300)는 LCD나 OLED 등의 투명 디스플레이를 차량 전방 유리창 면이나 운전자와 차량 전방 유리창 사이에 설치하는 디스플레이 패널 방식, 자동차 전면 유리창에 발광 물질을 도포한 후 레이저 빔을 쏘는 레이저 방식, 차량 대시보드 안에 프로젝션 광학 장치를 매립한 후 차량 전면 유리창을 향해 상방향으로 영상을 투사하고 투사된 영상의 일부가 유리창에 반사되어 운전자에게 보여지는 프로젝션 방식 등으로 구현된다. The head-up display 300 according to the embodiment of the present invention includes a display panel system in which a transparent display such as an LCD or an OLED is installed between a front window of a vehicle or a driver and a front window of a vehicle, A laser method for shooting a laser beam, a projection method in which an image is projected upward toward a front window of a vehicle after embedding a projection optical device in a vehicle dashboard, and a part of the projected image is reflected to a window and displayed to a driver .

정보 획득부(100)는 대표적으로 차량 내 배치된 카메라(100a)를 이용하여 운전자의 상태 정보를 획득하는 것으로, 운전자의 동공 인식, 졸음운전 시 발생하는 고개의 끄덕거림 인식, 운전자의 팔 동작(예컨대 스마트폰 조작 등을 수행하는지, 졸음으로 인하여 목이나 어깨를 주무르는 행동 등) 인식 등을 수행하여, 운전자의 운전 충실도에 대한 운전 상태 정보, 졸음 정도(피로도)에 관한 운전자의 컨디션 정보를 획득한다. The information acquiring unit 100 typically acquires state information of a driver using a camera 100a disposed in the vehicle. The information acquiring unit 100 recognizes pupil recognition of a driver, nodding nodding occurring during a sleepy driving operation, (For example, performing a smartphone operation or rubbing the neck or shoulder due to drowsiness), and acquires the driver's condition information on the driver's driving fidelity and the degree of drowsiness (fatigue) .

정보 획득부(100)는 전술한 운전자의 상태 정보를 획득하기 위하여 도 2에 도시한 바와 같은 카메라(100a)를 포함하는 것이 바람직하며, 그 외 스티어링휠(700)에 부착된 생체 인식 센서로부터 생체 정보를 입력 받는 것 역시 가능하다 할 것이다. The information acquiring unit 100 preferably includes a camera 100a as shown in FIG. 2 to acquire the driver's state information described above. In addition, the information acquiring unit 100 may acquire, from the biometric sensor attached to the steering wheel 700, It is also possible to input information.

또한, 정보 획득부(100)는 차량 ECU로부터 주행 상황 정보를 획득하게 되는데, 크게 차량 내 온도, 산소 포화도, 차속, 소음, 진동에 관한 내부 환경 정보와, 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보에 관한 외부 환경 정보를 획득한다. The information obtaining unit 100 obtains the running state information from the vehicle ECU. The information obtaining unit 100 includes internal environment information on the in-vehicle temperature, oxygen saturation, vehicle speed, noise, and vibration, , And acquires external environment information on the road surface information.

일반적으로 운전자는 주행 중 졸음이 발생하는 경우, 창문을 열어 환기를 시키거나, 음악을 틀거나, 공조기를 조작(추운 겨울 난방이 가동된 차내에서 졸음운전이 발생할 확률이 높아짐)하여 차량 내 온도를 조절한다. Generally, the driver is allowed to open the window to ventilate, to play music, to operate the air conditioner (which increases the probability of drowsy driving in a vehicle with cold winter heating) .

그런데 운전자가 자신의 졸음운전 상태를 자각하여 이러한 후속 조치를 통해 졸음 운전을 방지하게 되는 경우에는 사고의 위험성이 줄어들게 될 것이나, 대부분의 경우 자신이 졸음운전을 하는지 자각하지도 못한 채 또는 졸음을 참은 채로 별도의 조치 없이 주행을 계속하게 되어, 사고의 위험성이 크게 증가하게 된다. However, if the driver is aware of his drowsiness state and avoids drowsiness by following these measures, the risk of an accident will be reduced, but in most cases he will not be aware of his drowsiness, The risk of accidents will be greatly increased.

본 발명의 실시예에 따른 후보 명령 추출부(200)는 정보 획득부(100)로부터 획득한 운전자의 상태 정보 및 주행 상황 정보를 동시에 종합적으로 고려하여, 현재 주행 중에 운전자에게 제공함이 필요하다고 판단되는 기능에 대한 후보 명령어를 추출하여 헤드업디스플레이(300)로 전송하게 된다. The candidate command extracting unit 200 according to the embodiment of the present invention collectively considers the driver's state information and the running state information acquired from the information obtaining unit 100 and determines whether or not it is necessary to provide the driver with the current driving information Function to extract the candidate command for the function and transmit it to the head-up display 300.

이하에서 설명하는 실시예는 당업자의 이해를 돕기 위하여 운전자의 상태 정보 및 운전자의 주행 상황 정보에 근거하여 후보 명령어를 추출하는 실시예를 설명하는 것으로, 본 발명의 범주는 아래 제시하는 실시예에 국한되는 것은 아니다. The embodiment described below explains an embodiment for extracting a candidate command based on status information of a driver and driving situation information of a driver to help those skilled in the art understand the present invention. It is not.

제1 1st 실시예Example : 운전자의 주행 중 스마트폰 조작으로 운전 충실도가 낮은 경우: When driver's fidelity is low due to smartphone operation during driving

정보 획득부(100)는 카메라(100a) 또는 별도의 센서 등을 통해, 운전자가 주행 중 스마트폰 조작을 하는 경우 등으로 인하여 운전 충실도가 낮음을 판단한다. The information obtaining unit 100 determines that the driving fidelity is low due to the operation of the smartphone by the driver through the camera 100a or another sensor or the like.

이 때, 운전자의 운전 충실도는 1) 차량 스티어링휠을 양손으로 조작하지 않는 시간이 일정 시간 이상 증가하는 경우, 2) 사용자의 시선이 전방을 주시하지 않고 다른 영역에 일정 시간 이상 머무르는 경우, 3) 카메라의 영상 인식 판독 결과 운전자의 행동 패턴이 스마트폰을 조작하는 것으로 판단되는 경우 등으로 획득될 수 있다. In this case, the driving fidelity of the driver can be improved by: 1) the time for which the vehicle steering wheel is not operated with both hands is increased over a certain period of time, 2) the user's gaze does not gaze forward, A case where the behavior pattern of the driver is determined to operate the smartphone as a result of the image recognition read by the camera, or the like.

주행 중 스마트폰 조작은 주행 안정성에 큰 악영향을 끼치게 되는 바, 1차적으로 후보명령 추출부(200)는 헤드업디스플레이(300)를 통해 경고 메시지를 전송한다(도 3, "주행 중 스마트폰 조작을 삼가하십시오"). The operation of the smartphone during the driving has a serious adverse effect on the stability of the driving. The candidate command extracting unit 200 firstly transmits a warning message through the head-up display 300 (Fig. 3, " Please refrain from ").

이 때, 후보명령 추출부(200)는 경고 메시지 전송과 더불어 별도의 경고 알림음을 운전자에게 제공하도록 차량 내 기기를 제어하는 것이 가능하며, 추가적으로 스티어링휠에 진동을 일으키거나, 운전석 시트에 진동을 일으키는 것 역시 가능하다. At this time, the candidate command extraction unit 200 can control the in-vehicle apparatus to provide a warning notice sound to the driver in addition to the warning message transmission. In addition, the candidate command extraction unit 200 can cause vibration of the steering wheel, It is also possible to raise.

또한, 후보 명령 추출부(200)와 블루투스 등으로 연결된 스마트폰으로 위 경고 메시지를 직접 표출시키도록 통신하는 것 역시 가능하다. It is also possible to communicate with the candidate command extracting unit 200 to display the warning message directly on a smartphone connected via Bluetooth or the like.

또한, 정보 획득부(100)가 획득한 내부 환경 정보에 따라 차속이 기설정 값 이상이거나(예: 70km/h 이상의 고속 주행 중), 외부 환경 정보에 따라 커브 구간 또는 사고 다발 구간인 경우에는, 운전자의 주행 중 스마트폰 조작이 더욱 위험한 것으로 판단하여, 후보 명령 추출부(200)는 전술한 경고 메시지, 경고 알람(소리 또는 진동)을 전송하게 된다. If the vehicle speed is equal to or higher than a predetermined value (for example, at a high speed of 70 km / h or more) according to the internal environment information acquired by the information obtaining unit 100, or is a curve section or an accident- It is determined that the smartphone operation is more dangerous during driving of the driver, and the candidate command extraction unit 200 transmits the warning message and the warning alarm (sound or vibration) described above.

제2 Second 실시예Example : 운전자의 : Driver's 졸음 운전이Sleepy driving 발생하는 경우 When it occurs

정보 획득부(100)는 운전자의 동공 인식, 고개의 끄덕거림 인식 등을 통해 졸음 운전인지 여부를 판단한다. The information acquiring unit 100 determines whether or not the driver is a drowsy driver through recognition of a pupil of a driver, recognition of a head nod, and the like.

후보 명령 추출부(200)는 운전자의 상태 정보에 따라 졸음 운전인 것으로 판단되고, 주행 상황 정보에 따라 차량 내 온도가 외부 온도보다 5도씨 이상 차이가 나는 것으로 판단되는 경우, 현재 작동되고 있는 공조기를 제어할 것인지에 대한 질의 메시지를 헤드업디스플레이(300)를 통해 표출한다. The candidate command extracting unit 200 determines that the driver is in the drowsy driving state according to the driver's state information. If it is determined that the in-vehicle temperature differs by 5 degrees or more from the outside temperature according to the driving situation information, The head-up display 300 displays a query message as to whether to control the display unit 300 or not.

즉, 도 4(a)에 도시된 바와 같이, "공조기(air conditioner) 제어를 수행하시겠습니까"라고 질의 메시지를 표출하고 그 동의에 따라 후속 명령어를 표출하는 것이 가능하며, 도 4 (b)에 도시된 바와 같이, 질의 메시지에 대한 동의(이 과정은 생략되는 것이 가능함)에 따라 공조기, 오디오, 창문 등 졸음 운전을 방지하는 차량 내 조작 대상 기기를 표출하는 것 역시 가능하다. That is, as shown in Fig. 4 (a), it is possible to display a query message as " Do you want to perform air conditioner control ", and to display subsequent commands according to the agreement, It is also possible to display in-vehicle operation target devices that prevent drowsiness operation such as an air conditioner, audio, and windows in accordance with the consent of the inquiry message (this process can be omitted).

이 때, 공조기, 오디오, 창문을 표출하는 순서는 정보 획득부(100)가 획득한 차량 내부 정보 및 외부 정보에 근거하여 정하여지며, 또한 운전자가 실행한 기능에 대한 누적 히스토리 정보를 고려하여 후보 명령어의 우선 순위를 부여하여 제시하게 된다. At this time, the order of exposing the air conditioner, the audio, and the window is determined based on the in-vehicle information and the outside information acquired by the information obtaining unit 100. In addition, considering the cumulative history information about the function executed by the driver, And the like.

예컨대, 졸음 운전 시 창문을 개방하는 운전자의 행동 패턴이 가장 많은 경우에는, 도 4의 (b)에 도시한 것과는 달리, 창문을 여는 동작에 대한 후보 명령어가 먼저 선택 가능하도록 표출됨이 바람직하다. For example, when the behavior pattern of the driver who opens the window in the drowsy driving mode is the largest, unlike the case shown in FIG. 4 (b), it is preferable that the candidate command for the window opening operation is displayed first.

그러나, 본 발명에 따르면 차량 주행 상황 역시 동시에 종합적으로 고려되므로, 예컨대 비가 오는 경우 또는 전방 공사 구간으로 인해 창문 개방 시 먼지가 유입될 것으로 예상되는 경우에는 창문을 여는 동작보다 공조기 제어에 대한 우선 순위를 높게 설정하는 것이다. However, according to the present invention, since the traveling conditions of the vehicle are also considered at the same time, when the dust is expected to flow when the window is opened due to, for example, rain or the front construction period, the priority of the air conditioner control High.

도 5 (a)에 따르면, 본 발명의 후보 명령 추출부(200)는 후보 명령어의 해당 기능을 실행하는 기기(공조기)의 현재 설정 정보를 함께 HUD 영역(300a)에 표출되도록 전송한다. Referring to FIG. 5A, the candidate command extraction unit 200 of the present invention transmits current setting information of a device (air conditioner) that executes the corresponding function of the candidate command together so as to be displayed in the HUD area 300a.

도 5에 도시한 바와 같이, 운전자의 상태 정보(졸음 운전) 및 주행 상황 정보(비가 오는 날씨 등이 고려됨)에 따라, 제스처, 음성 단어 및 조향 버튼 클릭 방향 등이 각 기능을 수행하는 후보 명령어와 매핑되어 제시된다. 5, a gesture, a voice word, a steering-button-click direction, and the like are selected according to the driver's state information (drowsy driving) and driving situation information (considering the rainy weather etc.) .

예컨대 제스처를 통해 온도 상승/하강, 바람세기 강/약 조절이 가능하고(도 5 (a)), 졸음 운전 시 내기 순환을 외기 순환으로 조정하는 것이 가능하며(도 5 (b)), 음성 인식 후보 명령어를 도 5의 (c)와 같이 표출하는 것이 가능하다. 5 (a)), it is possible to adjust the outdoor air circulation to the outdoor air circulation during the drowsy operation (Fig. 5 (b)), It is possible to express the candidate command as shown in Fig. 5 (c).

도 5 (c)를 참조하면, 현재 졸음 운전이 차량 내 난방으로 인한 것으로 판단된 경우, 후보 명령 추출부는 온도 하강, 바람 약, 외기 순환으로 후보 명령어를 추출하여 HUD 영역(300a)을 통해 표출시킨다. Referring to FIG. 5C, when it is determined that the drowsy driving operation is due to in-vehicle heating, the candidate command extraction unit extracts a candidate command by the temperature drop, the wind speed, and the air circulation, and expresses the candidate command through the HUD area 300a .

본 발명에 따르면 운전자는 자신이 졸음운전을 하고 있음에 대한 자각을 할 수 있게 되며, 졸음 운전을 방지하기 위한 공조기의 제어 가능한 기능을 헤드업디스플레이를 통해 확인함으로써, 어떠한 사전 학습 없이도 제스처, 음성 인식 또는 조향 버튼 클릭 등을 통해 직관적으로 해당 명령을 실행시킬 수 있다. According to the present invention, it is possible for the driver to be aware of his / her drowsiness driving operation. By checking the controllable function of the air conditioner for preventing drowsiness operation through the head-up display, It is possible to intuitively execute the corresponding command by clicking the steering button or the like.

도 6은 본 발명의 실시예에 따른 운전자 및 주행상황 맞춤형 HUD 정보 제공 방법을 나타내는 순서도이다. 6 is a flowchart illustrating a method of providing driver and driving situation customized HUD information according to an embodiment of the present invention.

본 발명에 따르면, 운전자의 상태 정보 및 주행 상황 정보를 획득하는 단계(S100)와, 운전자의 상태 정보 및 주행 상황 정보를 동시에 종합적으로 고려하여, 주행 차량 기기에 대한 후보 명령어를 추출하는 단계(S200) 및 후보 명령어를 HUD를 통해 디스플레이하는 단계(S300)를 포함하여 구성된다. According to the present invention, a step S100 of obtaining status information and driving situation information of a driver, a step S200 of extracting a candidate command for the traveling vehicle equipment, taking into consideration both the condition information and the driving situation information of the driver at the same time ) And displaying the candidate instruction through the HUD (S300).

S100 단계는 차량 내 영상 분석 및 생체 정보 획득 결과 중 적어도 어느 하나를 고려하여 운전자의 운전 상태와 졸음운전 여부에 대한 상태 정보를 획득하는 단계이다. Step S100 is a step of acquiring status information on the driver's driving state and drowsy driving state in consideration of at least one of the in-vehicle image analysis and the biometric information acquisition result.

전술한 바와 같이, 본 발명에서 획득하는 운전자의 상태 정보는 운전자의 운전 충실도(예: 스마트폰 조작의 경우 운전 충실도가 낮음), 졸음 운전 여부에 대한 상태 정보를 포함한다. As described above, the status information of the driver acquired in the present invention includes status information on the driving fidelity of the driver (for example, in the case of smartphone operation, the driving fidelity is low) and whether or not the driver is sleeping.

S100 단계는 이러한 운전자의 상태 정보와 더불어, 차량 내/외부 환경 정보에 대한 주행 상황 정보를 획득한다. In step S100, in addition to the driver's state information, driving state information on the vehicle interior / exterior environment information is obtained.

이 때 내부 환경 정보는 차량 내 온도, 산소 포화도, 차속, 소음, 진동 등을 포함하며, 외부 환경 정보는 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보 등을 포함한다. In this case, the internal environment information includes a temperature in the vehicle, oxygen saturation, vehicle speed, noise, and vibration, and the external environment information includes traveling route information, construction section information, weather information, and road surface information.

S200 단계는 운전자의 이력 데이터베이스를 기반으로, 현재 획득된 운전자의 상태 정보 및 주행 상황 정보에 근거할 경우 운전자가 조작을 희망할 것으로 예상되는 해당 기능(예: 졸음 운전 시 창문을 여는 동작을 주로 수행한 운전자의 경우, 창문 개방)을 수행하는 후보 명령어를 우선적으로 표출한다. In step S200, based on the driver's history database, it is determined whether or not a corresponding function expected to be operated by the driver (e.g., an operation for opening a window in a drowsy driving mode is mainly performed based on the driver's state information and running status information) (In the case of one driver, window opening).

단, S200 단계는 운전자의 이력 데이터베이스를 기반으로 하되, 현재 운전자의 상태 정보와 더불어 주행 상황 정보를 동시에 종합적으로 고려하므로, 예컨대 현재 비가 오고 있거나, 전방 공사 구간이 있거나, 노면의 포장상태가 불량하여 창문 개방의 경우 빗물 또는 먼지가 유입될 것으로 예상되는 경우에는, 창문 개방에 대한 후보 명령어를 배제시키고 공조기 제어에 대한 후보 명령어를 우선적으로 표출시키게 된다. However, the step S200 is based on the driver's history database. Since the current state information of the driver and the current state information are simultaneously considered together, for example, the current state of the vehicle is present, In the case of window opening, rainwater or dust is expected to be introduced, the candidate command for opening the window is excluded and the candidate command for the air conditioner control is preferentially displayed.

또한, S200 단계는 해당 제어 기기(예: 공조기)의 각 기능을 실행시키는 후보 명령어에 대한 명령 제스처, 명령 음성, 명령 버튼 클릭 중 적어도 어느 하나에 대한 명령 방식을 후보 명령어와 매칭하여 추출한다. In operation S200, an instruction mode for at least one of a command gesture, a command voice, and a command button click for a candidate command for executing each function of the corresponding control device (e.g., air conditioner) is matched with the candidate command and extracted.

운전자는 S300 단계에서 표출되는 후보 명령어를 확인하여 해당 제어 기능을 어떠한 사전 학습 없이도 현재 자신의 상태 정보 및 주행 상황 정보에 입각하여 선택 가능한 바, 전방 주시 의무를 준수한 채 차량 내 편의 기능을 원활히 실행시키는 것이 가능한 효과가 있다. The driver confirms the candidate command displayed in step S300 and selects the corresponding control function based on the current state information and the running state information without any prior learning, There is a possible effect.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. The embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100: 정보 획득부 200: 후보 명령 추출부
300: 헤드업디스플레이 400: 내비게이션
500: 오디오 600: 공조기
700: 스티어링 휠 조작 버튼 100: information obtaining unit 200: candidate instruction extracting unit
300: Head-up display 400: Navigation
500: Audio 600: Air conditioner
700: Steering wheel control button

Claims (18)

운전자의 상태 정보 및 상기 운전자의 주행 상황 정보를 획득하는 정보 획득부; 및
상기 운전자의 상태 정보 및 주행 상황 정보를 동시에 종합적으로 고려하여 상기 운전자에게 제공함이 필요하다고 판단되는 기능에 대한 후보 명령어를 헤드업디스플레이를 통해 제시하는 후보 명령 추출부를 포함하고,
상기 후보 명령 추출부는 실제 운전자가 실행한 기능에 대한 누적 히스토리 정보를 고려하여 후보 명령어의 우선 순위를 부여하되, 상기 주행 상황 정보에 기초한 후보 명령어의 우선 순위를 상기 누적 히스토리 정보를 고려한 후보 명령어의 우선 순위보다 높게 설정하는 것
을 특징으로 하는 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
An information obtaining unit for obtaining status information of the driver and driving status information of the driver; And
And a candidate command extracting unit for presenting, through a head-up display, a candidate command for a function which is considered to be required to be provided to the driver in consideration of the driver's state information and driving situation information at the same time,
Wherein the candidate instruction extraction unit assigns a priority of a candidate instruction in consideration of cumulative history information about a function executed by an actual driver, and assigns a priority of a candidate instruction based on the running situation information to a priority of a candidate instruction considering the cumulative history information Setting higher than rank
And a HUD information providing system customized to the driver and the driving situation.
제1항에 있어서,
상기 정보 획득부는 상기 운전자의 운전 충실도에 대한 운전 상태 정보 및 졸음 정도, 피로도 또는 부주의에 관한 운전자의 컨디션 정보 중 적어도 어느 하나에 대한 상기 운전자의 상태 정보를 획득하는 것
인 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method according to claim 1,
The information obtaining unit obtains the driver's state information on at least one of the driving state information on the driving fidelity of the driver and the driver's condition information on the degree of drowsiness, fatigue or carelessness
HUD information providing system customized for driver and driving situation.
제1항에 있어서,
상기 정보 획득부는 차량의 내부 환경 정보 및 외부 환경 정보 중 적어도 어느 하나에 대한 상기 주행 상황 정보를 획득하는 것
인 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method according to claim 1,
Wherein the information obtaining unit obtains the running situation information on at least one of internal environmental information and external environment information of the vehicle
HUD information providing system customized for driver and driving situation.
제3항에 있어서,
상기 정보 획득부는 차량 내 온도, 산소 포화도, 차속, 소음, 진동, 밝기, 습도 중 적어도 어느 하나에 관한 상기 내부 환경 정보를 획득하는 것
인 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 3,
Wherein the information obtaining unit obtains the internal environment information on at least one of temperature, oxygen saturation, vehicle speed, noise, vibration, brightness, and humidity in the vehicle
HUD information providing system customized for driver and driving situation.
제3항에 있어서,
상기 정보 획득부는 주행 경로 정보, 공사 구간 정보, 날씨 정보, 노면 정보 중 적어도 어느 하나에 관한 상기 외부 환경 정보를 획득하는 것
인 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method of claim 3,
The information obtaining unit obtains the external environment information on at least one of traveling route information, construction section information, weather information, and road surface information
HUD information providing system customized for driver and driving situation.
제1항에 있어서,
상기 후보 명령 추출부는 운전자의 이력 데이터베이스를 기반으로 상기 운전자의 상태 정보를 상기 주행 상황 정보와 매칭하여 동시에 종합적으로 고려하는 것
인 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method according to claim 1,
The candidate command extracting unit may simultaneously consider the driver's state information with the running state information based on the driver's history database and simultaneously comprehensively consider the state information
HUD information providing system customized for driver and driving situation.
제1항에 있어서,
상기 후보 명령 추출부는 상기 운전자의 상태 정보 및 주행 상황 정보를 동시에 종합적으로 고려한 결과에 따라 추출된 추천 기능에 대한 실행 여부를 질의하는 것
인 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method according to claim 1,
The candidate command extracting unit may inquire whether to execute the extracted recommendation function according to a result of comprehensively considering the driver's state information and driving situation information at the same time
HUD information providing system customized for driver and driving situation.
제1항에 있어서,
상기 후보 명령 추출부는 차량 내 제어 대상 기기의 기능에 대한 복수개의 추천 후보 명령어를 리스트화하여 제시하는 것
인 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method according to claim 1,
The candidate command extracting unit may list a plurality of recommendation candidate commands for the function of the in-vehicle control target device in a list
HUD information providing system customized for driver and driving situation.
삭제delete 제1항에 있어서,
상기 후보 명령 추출부는 상기 후보 명령어를 실행하는 명령에 해당하는 제스처, 음성 단어 및 조향 버튼 클릭방향 중 적어도 어느 하나를 상기 후보 명령어와 매핑하여 함께 제시하는 것
인 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method according to claim 1,
The candidate command extraction unit may map at least one of a gesture, a voice word, and a steering button click direction corresponding to a command for executing the candidate command to the candidate command and present it together
HUD information providing system customized for driver and driving situation.
제1항에 있어서,
상기 후보 명령 추출부는 상기 후보 명령어의 해당 기능을 실행하는 기기의 현재 설정 정보를 함께 표출하도록 제어하는 것
인 운전자 및 주행상황 맞춤형 HUD 정보 제공 시스템.
The method according to claim 1,
Wherein the candidate command extraction unit controls to present together the current setting information of the device executing the corresponding function of the candidate command
HUD information providing system customized for driver and driving situation.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020160116501A 2016-09-09 2016-09-09 System and method for provision of head up display information according to driver's condition and driving condition KR101977342B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160116501A KR101977342B1 (en) 2016-09-09 2016-09-09 System and method for provision of head up display information according to driver's condition and driving condition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160116501A KR101977342B1 (en) 2016-09-09 2016-09-09 System and method for provision of head up display information according to driver's condition and driving condition

Publications (2)

Publication Number Publication Date
KR20180029152A KR20180029152A (en) 2018-03-20
KR101977342B1 true KR101977342B1 (en) 2019-05-13

Family

ID=61910556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160116501A KR101977342B1 (en) 2016-09-09 2016-09-09 System and method for provision of head up display information according to driver's condition and driving condition

Country Status (1)

Country Link
KR (1) KR101977342B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220080257A (en) 2020-12-07 2022-06-14 주식회사 오토웰즈 Vehicle head-up display system that analyzes and displays driver's biometric information

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141315A (en) * 2003-11-04 2005-06-02 Denso Corp Snooze drive prevention device
JP2012030703A (en) 2010-07-30 2012-02-16 Nippon Seiki Co Ltd Display device for vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100566272B1 (en) * 2003-11-11 2006-03-30 삼성전자주식회사 System for warning drowsy driving
KR102020624B1 (en) * 2012-09-03 2019-09-10 현대모비스 주식회사 Front Video Providing Method and Display Apparatus
KR20150056715A (en) * 2013-11-15 2015-05-27 현대오트론 주식회사 Output apparatus of head up display image and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141315A (en) * 2003-11-04 2005-06-02 Denso Corp Snooze drive prevention device
JP2012030703A (en) 2010-07-30 2012-02-16 Nippon Seiki Co Ltd Display device for vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220080257A (en) 2020-12-07 2022-06-14 주식회사 오토웰즈 Vehicle head-up display system that analyzes and displays driver's biometric information

Also Published As

Publication number Publication date
KR20180029152A (en) 2018-03-20

Similar Documents

Publication Publication Date Title
US11243613B2 (en) Smart tutorial for gesture control system
US20230267896A1 (en) Visual Content Overlay System
EP3482344B1 (en) Portable personalization
US10793165B2 (en) Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
JP7139331B2 (en) Systems and methods for using attention buffers to improve resource allocation management
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
US9274337B2 (en) Methods and apparatus for configuring and using an enhanced driver visual display
KR20190112681A (en) Apparatus and method for controlling air conditioning of a vehicle
US20170286785A1 (en) Interactive display based on interpreting driver actions
WO2017044495A1 (en) Comfort profiles for autonomous vehicle
US20180059773A1 (en) System and method for providing head-up display information according to driver and driving condition
KR20150085009A (en) Intra-vehicular mobile device management
WO2016014640A2 (en) Systems and methods of an adaptive interface to improve user experience within a vehicle
EP3126934B1 (en) Systems and methods for the detection of implicit gestures
KR101977342B1 (en) System and method for provision of head up display information according to driver's condition and driving condition
US20220197457A1 (en) Coupling of User Interfaces
US11966664B2 (en) Terminal and vehicle
KR102036606B1 (en) System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition
CN113791841A (en) Execution instruction determining method, device, equipment and storage medium
CN106716341B (en) System and method to improve the adaptive interface of interior user experience
KR20220060627A (en) Vehicle control system and vehicle control method
WO2023156036A1 (en) A computer-implemented method for providing a function recommendation in a vehicle, a vehicle and a system for implementing the method
CN116279511A (en) Man-machine interaction design method, electronic equipment and medium of intelligent cabin system
KR20180025378A (en) System and method for provision of head up display information based on driver's gesture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right