KR20230072295A - Careless judgment method according to driver's biological condition analysis and hud control system for using thereof - Google Patents

Careless judgment method according to driver's biological condition analysis and hud control system for using thereof Download PDF

Info

Publication number
KR20230072295A
KR20230072295A KR1020210158885A KR20210158885A KR20230072295A KR 20230072295 A KR20230072295 A KR 20230072295A KR 1020210158885 A KR1020210158885 A KR 1020210158885A KR 20210158885 A KR20210158885 A KR 20210158885A KR 20230072295 A KR20230072295 A KR 20230072295A
Authority
KR
South Korea
Prior art keywords
driver
gaze
head
vehicle
inattention
Prior art date
Application number
KR1020210158885A
Other languages
Korean (ko)
Inventor
손태윤
장영민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020210158885A priority Critical patent/KR20230072295A/en
Publication of KR20230072295A publication Critical patent/KR20230072295A/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • B60K2370/1529—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to: an inattention judgment method based on analysis of a driver's biological state and a head-up display (HUD) control system using the same; and an inattention judgment method based on analysis of a driver's biological state and a HUD control method using the same, in which a driver's inattention state may be judged not by uniform driver inattention judgment parameter standards, but by using a driver's gaze, a change in a driver's pupil size according to vehicle speed, and external environment information, if judged as the driver's inattention, a signal for warning the driver's inattention is output on a HUD installed in a vehicle, and at this time, an optimal output position may be determined and reflected based on the driver's gaze position. A driver can be warned of an inattention state.

Description

운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템, 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 방법{CARELESS JUDGMENT METHOD ACCORDING TO DRIVER'S BIOLOGICAL CONDITION ANALYSIS AND HUD CONTROL SYSTEM FOR USING THEREOF}Driver's inattention judgment method based on driver's biological state analysis and head-up display control system using the same, driver's inattention judgment method based on driver's biological state analysis and head-up display control method using the same HUD CONTROL SYSTEM FOR USING THEREOF}

본 발명은 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템, 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 방법에 관한 것으로서, 보다 구체적으로는, 일률적인 운전자 부주의 판단 파라미터 기준에 따라 운전자 부주의를 판단하는 것이 아닌, 운전자의 시선, 차속에 따른 운전자의 동공 크기 변화 및 외부 환경 정보를 이용하여 운전자 부주의 상태를 판단하고, 운전자 부주의로 판단되는 경우 차량에 설치된 헤드업 디스플레이(HUD) 상에 운전자 부주의를 경고하는 신호를 출력하며 이때 운전자의 응시 위치를 토대로 최적의 출력 위치를 결정 및 반영할 수 있는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템, 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 방법에 관한 것이다.The present invention relates to an inattention judgment method based on a driver's biological state analysis and a head-up display control system using the same, and an inattention judgment method based on a driver's biological state analysis and a head-up display control method using the same. , Driver inattention is not judged according to uniform driver inattention judgment parameter criteria, but driver carelessness is judged by using the driver's gaze, the driver's pupil size change according to the speed of the vehicle, and external environment information, and the driver's carelessness is determined. A driver's negligence judgment method based on the analysis of the driver's biological state, which outputs a signal to warn the driver of carelessness on a head-up display (HUD) installed in the vehicle, and determines and reflects the optimal output position based on the driver's gaze position, and this It relates to a used head-up display control system, an inattention judgment method based on driver's biological state analysis, and a head-up display control method using the same.

종래의 운전자 상태 분석을 통한 부주의 경고 시스템은 카메라를 이용하여 운전자의 특정 행동(예를 들어, 전방 미주시, 눈 감기) 또는 차량의 전방영역 이탈과 같이 미리 정해진 판단 룰에 기반하여 운전자 부주의 상황을 판단 및 경고하는 방식을 이용하고 있다.A conventional driver carelessness warning system using a camera uses a camera to detect a driver's carelessness situation based on a predetermined decision rule, such as a driver's specific behavior (eg, looking ahead, closing eyes) or leaving the front area of the vehicle. Judging and warning methods are used.

예를 들어, 전방영역 이탈 판단은 차량 제조사에서 기 정의된 전방 영역, 차속 및 이탈 시간을 초과하는 경우 이를 경고하고, 눈 감김 판단은 제조사에서 기 정의된 눈 감김 시간의 초과 여부에 따라 경고하게 되는 방식이다.For example, the front area departure determination warns when the front area, vehicle speed, and departure time predefined by the vehicle manufacturer are exceeded, and the eye closing judgment warns depending on whether or not the manufacturer's predetermined eye closing time is exceeded. way.

이러한 종래의 부주의 경고 시스템은 운전자 부주의 상황의 레벨 변화 및 경고 시점을 결정하기 위하여 제조사에서 임의로 운전자 부주의 판단 파라미터를 정의하였으며, 이때 모든 운전자들에 대해 일반화 된 판단 파라미터를 근거로 부주의 레벨 변화 및 경고 시점을 판단한다는 점에서, 경고 및 레벨 변화 조건에 들어가지 못하여 부주의 경고를 제대로 진행하지 못한다거나, 잘못된 판단으로 오경고를 발생하는 등의 문제점을 가지고 있었다.In this conventional inattention warning system, the manufacturer arbitrarily defined driver inattention judgment parameters in order to determine the level change and warning time of the driver carelessness situation. In that it judges, it has problems such as not entering the warning and level change conditions, so that the careless warning cannot be properly performed, or false warnings are generated due to wrong judgment.

한국등록특허 제10-2020-0108196호Korean Patent Registration No. 10-2020-0108196

본 발명은 상술한 문제점을 해결하기 위해 발명된 것으로서, 일률적인 운전자 부주의 판단 파라미터 기준에 따라 운전자 부주의를 판단하는 것이 아닌, 운전자의 시선, 차속에 따른 운전자의 동공 크기 변화 및 외부 환경 정보를 이용하여 운전자 부주의 상태를 판단하고, 운전자 부주의로 판단되는 경우 차량에 설치된 헤드업 디스플레이(HUD) 상에 운전자 부주의를 경고하는 신호를 출력하며 이때 운전자의 응시 위치를 토대로 최적의 출력 위치를 결정 및 반영할 수 있는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템, 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 방법을 제공하고자 한다.The present invention was invented to solve the above-mentioned problems, and instead of determining driver carelessness according to a uniform driver carelessness determination parameter standard, the driver's gaze, the change in the driver's pupil size according to the speed of the vehicle, and external environment information are used. It determines the driver's careless state, and if it is determined that the driver is careless, a signal warning of the driver's carelessness is output on the head-up display (HUD) installed in the vehicle. At this time, the optimal output location can be determined and reflected based on the driver's gaze position It is intended to provide a driver's inattention judgment method based on the driver's biological state analysis and a head-up display control system using the same, and an inattention judgment method based on the driver's biological state analysis and a head-up display control method using the same.

본 발명의 일 실시예에 따른 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템은 차량에 설치된 다수의 센서로부터 차속 정보 및 GPS 위치정보를 포함하는 차량 상태 정보를 획득하는 차량 상태 정보 획득부, 운전자 시선을 실시간으로 주시 및 추적하고, 운전자의 동공 상태를 파악하는 운전자 주시 카메라부, 차량 전방을 촬영하여 전방 촬영 이미지를 획득하는 전방 카메라부, 상기 전방 카메라부를 통해 획득되는 상기 전방 촬영 이미지 상에 상기 운전자 주시 카메라부를 통해 획득되는 운전자의 응시 위치를 맵핑하여, 해당 응시 위치까지의 거리를 파악하는 응시 위치 맵핑부, 차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 응시 위치에 대한 초점 거리를 파악하고, 해당 응시 위치에 대한 운전자의 초점 거리와 상기 전방 카메라부를 통해 파악되는 해당 응시 위치까지의 거리를 서로 비교하여 기 설정된 수치 이상을 벗어나는 경우 운전자 부주의 상황으로 판단하는 부주의 상황 판단부 및 상기 부주의 상황 판단부의 운전자 부주의 상황 판단 결과를 토대로, 차량에 설치된 헤드업 디스플레이(HUD)의 출력위치를 결정한 후 운전자 부주의 경고 신호를 출력하는 헤드업 디스플레이 제어부를 포함할 수 있다.According to an embodiment of the present invention, an inattention judgment method based on a driver's biological state analysis and a head-up display control system using the same obtain vehicle state information including vehicle speed information and GPS location information from a plurality of sensors installed in a vehicle. A vehicle condition information acquisition unit, a driver gaze camera unit that observes and tracks the driver's gaze in real time and grasps the driver's pupil state, a front camera unit that photographs the front of the vehicle and obtains a front image, and the front camera unit acquires A gaze position mapping unit that maps the driver's gaze position obtained through the driver's gaze camera unit on the front photographed image to determine the distance to the gaze position; the driver's gaze position based on the driver's pupil size change according to the vehicle speed The driver's focal length for the gazing position is identified, and the driver's focal length for the corresponding gazing position is compared with the distance to the corresponding gazing position identified through the front camera unit. and a head-up display controller configured to determine an output position of a head-up display (HUD) installed in the vehicle based on a result of determining the driver's negligence situation of the determination unit and the negligence situation determination unit, and then outputting a driver's negligence warning signal.

일 실시예에서, 상기 운전자 주시 카메라부는 상기 헤드업 디스플레이 상에 상기 운전자 부주의 경고 신호가 출력된 상태에서, 운전자가 상기 운전자 부주의 경고 신호를 응시하는 시간을 측정하여 운전자가 상기 운전자 부주의 경고 신호를 인지하고 있는지 여부를 판단할 수 있다.In one embodiment, the driver's attention camera unit recognizes the driver's carelessness warning signal by measuring the amount of time the driver gazes at the driver's carelessness warning signal in a state where the driver's carelessness warning signal is output on the head-up display. You can judge whether you are doing it or not.

일 실시예에서, 상기 헤드업 디스플레이 제어부는 상기 차속에 따른 운전자의 동공 크기 변화를 토대로 상기 헤드업 디스플레이 상에 출력되기 위한 상기 운전자 부주의 경고 신호의 출력 위치를 결정할 수 있다.In an embodiment, the head-up display control unit may determine an output position of the driver carelessness warning signal to be output on the head-up display based on a change in the driver's pupil size according to the vehicle speed.

일 실시예에서, 상기 헤드업 디스플레이 제어부는 상기 차속에 따른 운전자의 동공 크기 변화를 토대로 상기 헤드업 디스플레이 상에 출력되기 위한 상기 운전자 부주의 경고 신호의 출력 위치를 결정하되, 각 운전자 별 상기 운전자 부주의 경고 신호의 출력 위치를 개별적으로 저장할 수 있다.In one embodiment, the head-up display control unit determines an output position of the driver carelessness warning signal to be output on the head-up display based on a change in driver's pupil size according to the vehicle speed, and the driver carelessness warning signal for each driver The output position of the signal can be stored individually.

일 실시예에서, 상기 부주의 상황 판단부는 차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 시야각 변화 정도를 판단하여 초점 거리 파악에 반영할 수 있다.In one embodiment, the inattention situation determination unit may determine a degree of change in the driver's viewing angle based on a change in the size of the driver's pupil according to the vehicle speed, and reflect the change in determining the focal distance.

일 실시예에서, 상기 부주의 상황 판단부는 차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 시야각 변화 정도를 판단하되, 각 운전자 별 동공 크기 변화량을 개별적으로 저장할 수 있다.In an embodiment, the inattention situation determining unit may determine the driver's viewing angle change based on the driver's pupil size change according to the vehicle speed, and individually store the pupil size change amount for each driver.

일 실시예에서, 상기 차량 상태 정보 획득부는 차량으로부터 실시간 날씨 정보 및 실시간 시간 정보를 더 획득하며, 상기 부주의 상황 판단부는 상기 GPS 위치정보를 기반으로 파악되는 차량의 도로, 터널 진입 상태, 및 진입 시간과, 상기 실시간 날씨 정보 및 실시간 시간 정보를 상기 운전자의 차속에 따른 동공 크기 변화에 반영할 수 있다.In one embodiment, the vehicle state information obtaining unit further obtains real-time weather information and real-time time information from the vehicle, and the careless situation determination unit determines the vehicle's road, tunnel entry state, and entry time based on the GPS location information. And, the real-time weather information and the real-time time information may be reflected in the change in pupil size according to the vehicle speed of the driver.

일 실시예에서, 상기 응시 위치 맵핑부는 획득되는 상기 전방 촬영 이미지를 하늘 영역 및 다수의 지면 영역으로 구획하고, 상기 운전자의 응시 위치를 구획화 된 상기 전방 촬영 이미지 상에 맵핑하여 운전자의 응시 위치에 대한 위치값을 획득하며, 상기 부주의 상황 판단부는 획득된 상기 위치값을 이용하여 운전자의 해당 응시 위치에 대한 초점 거리를 파악할 수 있다.In one embodiment, the gaze position mapping unit partitions the obtained front photographed image into a sky region and a plurality of ground regions, and maps the driver's gaze position on the segmented front photographed image to determine the driver's gaze position. A position value is obtained, and the inattention situation determining unit may determine a focal distance for a driver's gaze position using the acquired position value.

일 실시예에서, 상기 운전자 주시 카메라부는 상기 차량 상태 정보 획득부를 통해 획득되는 차량 주변의 광량 정보에 따른 운전자의 동공 상태를 파악할 수 있다.In one embodiment, the driver's gaze camera unit may determine the driver's pupil state according to light amount information around the vehicle acquired through the vehicle state information acquisition unit.

일 실시예에서, 상기 운전자 주시 카메라부는 운전자 시선을 실시간으로 주시 및 추적한 결과, 일정 시간 이상 운전자 시선이 확인되지 않을 경우, 상기 부주의 상황 판단부로 운전자 부주의 상황 판단을 위한 신호를 생성 및 전달할 수 있다.In one embodiment, as a result of observing and tracking the driver's gaze in real time, the driver's gaze camera unit generates and transmits a signal for determining the driver's negligence situation to the inattention situation determination unit when the driver's gaze is not confirmed for a certain period of time or longer. .

본 발명의 다른 실시예에 따른 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템은 차량에 설치되며, 차량의 주행에 따른 차속 정보 및 GPS 위치정보를 포함하는 차량 상태 정보를 획득하는 다수의 센서를 포함하는 차량 상태 정보 획득부, 운전자 시선을 실시간으로 주시 및 추적하고, 운전자의 동공 상태를 파악하는 운전자 주시 카메라부, 차량 전방을 촬영하여 전방 촬영 이미지를 획득하는 전방 카메라부, 상기 전방 카메라부를 통해 획득되는 상기 전방 촬영 이미지 상에 상기 운전자 주시 카메라부를 통해 획득되는 운전자의 응시 위치를 맵핑하여, 해당 응시 위치까지의 거리를 파악하는 응시 위치 맵핑부, 차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 응시 위치에 대한 초점 거리를 파악하고, 해당 응시 위치에 대한 운전자의 초점 거리와 상기 전방 카메라부를 통해 파악되는 해당 응시 위치까지의 거리를 서로 비교하여 기 설정된 수치 이상을 벗어나는 경우 운전자 부주의 상황으로 판단하여 경고 신호를 생성 및 출력하는 부주의 상황 판단부 및 상기 부주의 상황 판단부의 운전자 부주의 상황 판단 결과를 토대로, 차량에 설치된 헤드업 디스플레이(HUD)의 출력위치를 결정한 후 운전자 부주의 경고 신호를 출력하는 헤드업 디스플레이 제어부를 포함할 수 있다.According to another embodiment of the present invention, an inattention judgment method based on driver's biological state analysis and a head-up display control system using the same are installed in a vehicle, and vehicle state information including vehicle speed information and GPS location information according to driving of the vehicle. A vehicle state information acquisition unit including a plurality of sensors for acquiring, a driver gaze camera unit that observes and tracks the driver's gaze in real time and grasps the driver's pupil state, and a front camera that captures the front of the vehicle and acquires a front image. a gaze position mapping unit that maps the driver's gaze position obtained through the driver's gaze camera unit on the front photographed image obtained through the front camera unit to determine the distance to the gaze position; The focal length of the driver's gaze position is determined based on the pupil size change, and the driver's focal length of the gaze position and the distance to the corresponding gaze position identified through the front camera unit are compared with each other to exceed a preset value. In this case, the driver's negligence warning is determined after determining the output position of the head-up display (HUD) installed in the vehicle based on the driver's negligence situation determination result of the driver's negligence situation determination unit and the negligence situation determination unit that determines the driver's negligence situation and generates and outputs a warning signal. A head-up display controller outputting a signal may be included.

일 실시예에서, 상기 헤드업 디스플레이 제어부는 상기 차속에 따른 운전자의 동공 크기 변화를 토대로 상기 헤드업 디스플레이 상에 출력되기 위한 상기 운전자 부주의 경고 신호의 출력 위치를 결정하며, 각 운전자 별 상기 운전자 부주의 경고 신호의 출력 위치를 개별적으로 저장할 수 있다.In one embodiment, the head-up display control unit determines an output position of the driver carelessness warning signal to be output on the head-up display based on the driver's pupil size change according to the vehicle speed, and the driver carelessness warning signal for each driver. The output position of the signal can be stored individually.

본 발명의 다른 실시예에 따른 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 방법은 차량 상태 정보 획득부를 통해, 차량에 설치된 다수의 센서로부터 차속 정보 및 GPS 위치정보를 포함하는 차량 상태 정보를 획득하는 단계, 운전자 주시 카메라부를 통해, 운전자 시선을 실시간으로 주시 및 추적하고 운전자의 동공 상태를 파악하는 단계, 전방 카메라부를 통해, 차량 전방을 촬영하여 전방 촬영 이미지를 획득하는 단계, 응시 위치 맵핑부를 통해, 상기 전방 카메라부를 통해 획득되는 상기 전방 촬영 이미지 상에 상기 운전자 주시 카메라부를 통해 획득되는 운전자의 응시 위치를 맵핑하여, 해당 응시 위치까지의 거리를 파악하는 단계, 부주의 상황 판단부를 통해, 차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 응시 위치에 대한 초점 거리를 파악하고, 해당 응시 위치에 대한 운전자의 초점 거리와 상기 전방 카메라부를 통해 파악되는 해당 응시 위치까지의 거리를 서로 비교하여 기 설정된 수치 이상을 벗어나는 경우 운전자 부주의 상황으로 판단하는 단계 및 헤드업 디스플레이 제어부를 통해, 상기 부주의 상황 판단부의 운전자 부주의 상황 판단 결과를 토대로, 차량에 설치된 헤드업 디스플레이(HUD)의 출력위치를 결정한 후 운전자 부주의 경고 신호를 출력하는 단계를 포함할 수 있다.According to another embodiment of the present invention, an inattention judgment method based on driver's biological state analysis and a head-up display control method using the same include vehicle speed information and GPS location information from a plurality of sensors installed in a vehicle through a vehicle condition information acquisition unit. Obtaining vehicle state information, observing and tracking the driver's gaze in real time through the driver's gaze camera unit, and identifying the driver's pupil state; Acquiring a front image by photographing the front of the vehicle through the front camera unit. Mapping the driver's gaze position obtained through the driver's gaze camera unit on the front photographed image obtained through the front camera unit through a gaze position mapping unit to determine a distance to the corresponding gaze position, judging carelessness situation Through the unit, the focal length of the driver's gaze position is determined based on the driver's pupil size change according to the vehicle speed, and the distance between the driver's focal length for the gaze position and the corresponding gaze position identified through the front camera unit is mutually determined. Comparing and determining the driver's negligence situation when the value exceeds the preset value and the head-up display control unit determine the output position of the head-up display (HUD) installed in the vehicle based on the result of the driver's negligence determination by the inattention situation determination unit. After determining, outputting a driver carelessness warning signal.

본 발명의 일 측면에 따르면, 운전자의 시선, 차속에 따른 운전자의 동공 크기 변화 및 외부 환경 정보를 이용하여 운전자 부주의 상태를 판단하고, 운전자 부주의로 판단되는 경우 차량에 설치된 헤드업 디스플레이(HUD) 상에 운전자 부주의를 경고하는 신호를 출력하며 이때 운전자의 응시 위치를 토대로 최적의 출력 위치를 결정 및 반영함으로써 운전자에게 부주의 상태를 확실하게 경고할 수 있는 이점을 가진다.According to one aspect of the present invention, the driver's careless state is determined using the driver's gaze, the driver's pupil size change according to the vehicle speed, and external environment information, and when the driver's careless state is determined, a head-up display (HUD) installed in the vehicle is displayed. It outputs a signal to warn the driver of carelessness, and at this time, it has the advantage of being able to reliably warn the driver of the driver's carelessness by determining and reflecting the optimal output position based on the driver's gaze position.

또한 본 발명의 일 측면에 따르면, 부주의 판단을 위한 운전자 적응적 판단 파라미터를 자동으로 튜닝할 수 있도록 함으로써 편의성을 향상시킬 수 있는 이점을 가진다.In addition, according to one aspect of the present invention, convenience can be improved by automatically tuning driver-adaptive decision parameters for inattentive judgment.

또한 본 발명의 일 측면에 따르면, 운전자 적응적 부주의 경고 시점 및 레벨 변화 시점 결정을 통하여 판단 로직 성능을 향상시킬 수 있는 이점을 가진다.In addition, according to an aspect of the present invention, there is an advantage in that decision logic performance can be improved by determining the driver's adaptive inattention warning time and level change time.

또한 본 발명의 일 측면에 따르면, 종래의 기 정해진 부주의 판단 파라미터 대비 운전자 상태를 보다 면밀히 분석하여 최적의 판단 파라미터 튜닝이 가능하도록 하는 이점을 가진다.In addition, according to one aspect of the present invention, there is an advantage of enabling optimal tuning of the judgment parameter by more closely analyzing the driver's condition compared to the conventional predetermined inattention judgment parameter.

도 1은 본 발명의 일 실시예에 따른 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템(100)의 구성을 도시한 도면이다.
도 2는 차량 주행 시 차속에 따른 운전자의 초점거리 및 시야각을 나타낸 도면이다.
도 3은 도 1에 도시된 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템(100)을 이용하여 운전자의 주시 영역을 결정하는 과정을 나타낸 도면이다.
도 4는 도 1에 도시된 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템(100)을 이용하여 운전자 부주의를 판단하는 전체 과정을 나타낸 도면이다.
도 5는 도 4에 나타난 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템(100)을 활용하여 헤드업 디스플레이를 제어하는 전체 과정을 나타낸 도면이다.FIG. 1 is a diagram illustrating a configuration of a driver's negligence judgment method based on analysis of a driver's biological state and a head-up display control system 100 using the same according to an embodiment of the present invention.
2 is a diagram illustrating a driver's focal length and viewing angle according to the vehicle speed while driving the vehicle.
FIG. 3 is a diagram illustrating a process of determining a driver's gaze area using the inattention judgment method based on the analysis of the driver's biological state shown in FIG. 1 and the head-up display control system 100 using the same.
FIG. 4 is a diagram illustrating an overall process of determining driver inattention using the inattention judgment method based on the analysis of the driver's biological state shown in FIG. 1 and the head-up display control system 100 using the same.
FIG. 5 is a view showing the whole process of controlling the head-up display by utilizing the driver's negligence judgment method based on the analysis of the driver's biological state shown in FIG. 4 and the head-up display control system 100 using the same.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can apply various transformations and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, it should be understood that this is not intended to limit the present invention to specific embodiments, and includes all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may obscure the gist of the present invention, the detailed description will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as "comprise" or "having" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that it does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템(100)의 구성을 도시한 도면이고, 도 2는 차량 주행 시 차속에 따른 운전자의 초점거리 및 시야각을 나타낸 도면이며, 도 3은 도 1에 도시된 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템(100)을 이용하여 운전자의 주시 영역을 결정하는 과정을 나타낸 도면이다.FIG. 1 is a diagram showing a configuration of a head-up display control system 100 using an inattention judgment method based on an analysis of a driver's biological state according to an embodiment of the present invention, and FIG. 3 is a diagram showing the driver's focal length and viewing angle, and FIG. 3 determines the driver's gaze area using the driver's inattention judgment method based on the driver's biological state analysis shown in FIG. 1 and the head-up display control system 100 using the same. This is a diagram showing the process.

도 1 내지 도 3을 살펴보면, 본 발명의 일 실시예에 따른 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템(100)은 차량 상태 정보 획득부(110), 운전자 주시 카메라부(120), 전방 카메라부(130), 응시 위치 맵핑부(140), 부주의 상황 판단부(150) 및 헤드업 디스플레이(HUD) 제어부(160)를 포함하여 구성될 수 있다.Referring to FIGS. 1 to 3 , the inattention judgment method based on the analysis of the driver's biological state and the head-up display control system 100 using the same according to an embodiment of the present invention include a vehicle condition information acquisition unit 110, driver attention It may include a camera unit 120, a front camera unit 130, a gaze position mapping unit 140, an inattention situation determination unit 150, and a head-up display (HUD) control unit 160.

차량 상태 정보 획득부(110)는 차량에 설치된 다수의 각종 센서들로부터 차속 정보, 스티어링 휠 조작 정보, 방향지시등 조작 정보, GPS 위치정보 등을 포함하는 차량 상태 정보를 획득한다. 획득된 차량 상태 정보는 차량의 거동 정보 분석, 외부 환경 분석에 이용될 수 있다. 또한, 차량 상태 정보 획득부(110)는 차량에 설치된 센서로부터 실시간 날씨 정보 및 실시간 시간 정보도 추가로 획득할 수 있다.The vehicle state information acquisition unit 110 obtains vehicle state information including vehicle speed information, steering wheel manipulation information, turn signal manipulation information, and GPS location information from a plurality of various sensors installed in the vehicle. The acquired vehicle state information may be used for analyzing vehicle behavior information and external environment analysis. In addition, the vehicle condition information acquisition unit 110 may additionally acquire real-time weather information and real-time time information from a sensor installed in the vehicle.

운전자 주시 카메라부(120)는 운전석에 탑승한 운전자의 시선을 실시간으로 주시 및 추적하고, 이때 운전자의 동공 상태를 파악하는 역할을 한다. 여기에서 동공 상태라 함은 운전자의 동공 상태 변화를 의미할 수 있는데, 운전자의 시각장은 중심시와 주변시로 구성될 수 있다. 중심시는 물체의 상이 망막의 중앙에 맺혀 가장 선명하며 정확하게 사물을 볼 수 있는 시야를 의미하고, 주변시는 시선의 바깥쪽 범위로써 초점을 맞추지 않고 있는 부분에서 시각정보를 받아들이는 부분을 의미할 수 있다.The driver's gaze camera unit 120 observes and tracks the gaze of a driver sitting in the driver's seat in real time, and serves to determine the driver's pupil state. Here, the pupil state may refer to a driver's pupil state change, and the driver's visual field may be composed of central vision and peripheral vision. Central vision refers to the visual field in which the image of an object is formed in the center of the retina and the clearest and most accurate view of the object, and peripheral vision refers to the outer range of the gaze and the part that receives visual information from the non-focused part. can

도 2를 살펴보면, 차량의 주행에 따라 운전자 시각의 초점거리 및 시야각은 달라지게 된다. 예를 들어, 시속 40km/h 속도에서 운전자의 시야각은 100°정도이고, 시속 70km/h에서 운전자의 시야각은 65°정도이며, 시속 100km/h에서 운전자의 시야각은 40°정도이다.Referring to FIG. 2 , the focal length and viewing angle of the driver's vision vary according to the driving of the vehicle. For example, the driver's field of view is about 100° at 40 km/h, 65° at 70 km/h, and 40° at 100 km/h.

즉, 차량의 속도가 빠를수록 운전자의 초점 거리는 길어지는 반면 시야각은 좁혀지게 된다.That is, as the speed of the vehicle increases, the driver's focal length increases while the viewing angle narrows.

이러한 점은 운전자의 동공 크기 변화에 따른 초점 거리 변화와 관련이 있는데, 운전자의 동공 크기가 좁아지면 초점 거리는 길어지고 중심시는 좁아지며, 운전자의 동공 크기가 넓어지면 초점 거리가 짧아지고 중심시는 넓어지게 된다. 특히 야간 운전 시 운전자의 동공이 커지면서 다량의 빛이 들어오면서 빛번짐 현상이 발생하게 되고 포커싱 되는 거리 범위가 주간 운전 시 보다 제한되는 것이다. This point is related to the change in focal length according to the driver's pupil size change. When the driver's pupil size narrows, the focal length becomes longer and the central vision narrows. it gets wider In particular, when driving at night, as the driver's pupil enlarges, a large amount of light enters, causing a light blur phenomenon, and the focusing distance range is more limited than during daytime driving.

따라서, 본 발명에서는 이러한 운전자의 동공 크기와 시야각(중심시, 주변시), 초점거리 간의 상관 관계를 토대로 운전자의 부주의를 판단하고자 한다.Therefore, in the present invention, the driver's negligence is determined based on the correlation between the size of the driver's pupil, the angle of view (central vision, peripheral vision), and the focal length.

운전자 주시 카메라부(120)는 차량 내에서 운전자의 안구를 향하도록 설치될 수 있으며, 이를 통해 사용자의 안구 움직임을 실시간으로 주시하면서 운전자 시선을 주시, 추적할 수 있으며 운전자의 동공 크기 변화를 파악할 수 있다. 특히, 운전자 주시 카메라부(120)는 차속에 따른 운전자의 동공 크기 변화를 파악하여 이를 부주의 상황 판단부(150)로 전달할 수 있다.The driver's gaze camera unit 120 may be installed in the vehicle to face the driver's eyeballs, and through this, the driver's gaze may be observed and tracked while observing the user's eyeball movements in real time, and the driver's pupil size change may be grasped. there is. In particular, the driver's gaze camera unit 120 may detect a change in the size of the driver's pupil according to the vehicle speed and transmit it to the inattention situation determining unit 150 .

전방 카메라부(130)는 차량 전방을 촬영하여 전방 촬영 이미지를 획득할 수 있으며, 이를 응시 위치 맵핑부(130)로 전달하여 운전자의 응시 위치까지의 거리가 파악되도록 한다. 전방 카메라부(130)를 통해 촬영되는 전방 촬영 이미지는 응시 위치 맵핑부(140)에서 운전자 주시 카메라부(120)를 통해 획득되는 운전자의 응시 위치를 맵핑함으로써 해당 응시 위치까지의 거리가 파악될 수 있다.The front camera unit 130 may acquire a front photographed image by taking a picture of the front of the vehicle, and transmits the image to the gaze position mapping unit 130 so that the distance to the driver's gaze position is determined. The gaze position mapping unit 140 maps the driver's gaze position acquired through the driver's gaze camera unit 120 in the front photographed image captured through the front camera unit 130, so that the distance to the corresponding gaze position can be determined. there is.

응시 위치 맵핑부(140)는 전방 카메라부(130)를 통해 획득되는 전방 촬영 이미지 상에 운전자 주시 카메라부(120)를 통해 획득되는 운전자의 응시 위치를 맵핑하여 해당 응시 위치까지의 거리를 파악할 수 있다. 이를 위하여, 전방 카메라부(130)를 통해 획득된 전방 촬영 이미지를 하늘 영역, 다수의 지면 영역 및 도로로 구획하고, 운전자의 응시 위치를 구획화 된 전방 촬영 이미지 상에 맵핑하여 운전자의 응시 위치에 대한 위치값을 획득할 수 있다. 응시 위치 맵핑부(140)는 거리 측정 센서(미도시)를 포함할 수 있으며, 거리 측정 센서를 통해 전방 촬영 이미지 상에 맵핑된 운전자의 응시 위치까지의 실제 거리를 파악할 수 있다.The gaze position mapping unit 140 maps the driver's gaze position obtained through the driver's gaze camera unit 120 on the front photographed image obtained through the front camera unit 130 to determine the distance to the gaze position. there is. To this end, the front photographing image obtained through the front camera unit 130 is partitioned into a sky area, a plurality of ground areas, and a road, and the driver's gaze position is mapped on the segmented front photographic image to obtain a position relative to the driver's gaze position. value can be obtained. The gaze position mapping unit 140 may include a distance measuring sensor (not shown), and may determine an actual distance to the driver's gaze position mapped on the front photographed image through the distance measuring sensor.

한편, 획득된 응시 위치에 대한 위치값은 부주의 상황 판단부(150)로 전달되어 부주의 상황 판단부(150)에서는 획득된 위치값을 이용하여 운전자의 해당 응시 위치에 대한 초점 거리를 파악할 수 있게 된다.Meanwhile, the obtained position value for the gaze position is transmitted to the inattentive situation determination unit 150, and the inattention situation determination unit 150 can determine the focal distance for the driver's gaze position using the acquired position value. .

부주의 상황 판단부(150)는 차량 상태 정보 획득부(110)로부터 차속 정보를 획득한 후, 차량 주행 시 차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 응시 위치에 대한 초점 거리를 파악하고, 해당 응시 위치에 대한 운전자의 초점 거리와 전방 카메라부(130)를 통해 파악되는 해당 응시 위치까지의 거리를 서로 비교하여 기 설정된 수치 이상을 벗어나는 경우 운전자 부주의 상황으로 판단하여 판단결과를 헤드업 디스플레이 제어부(160)로 전달하게 된다.After obtaining the vehicle speed information from the vehicle state information acquisition unit 110, the careless situation determination unit 150 determines the focal length for the driver's gaze position based on the driver's pupil size change according to the vehicle speed while driving the vehicle, and The driver's focal length for the gaze position and the distance to the gaze position identified through the front camera unit 130 are compared with each other, and if the distance exceeds a predetermined value, it is judged as a driver's careless situation and the determination result is displayed as a head-up display control unit ( 160).

예를 들어, 차량이 특정 속도로 주행하고 있는 상태에서 운전자가 특정 위치를 응시하고 있는 경우, 운전자의 동공 상태(동공 크기)는 생물학적 반응에 의해 해당 차속에 맞추어 자동으로 조절되게 된다. 즉, 운전자 주시 카메라부(120)는 이러한 운전자의 동공 크기 변화를 파악하게 되는데, 부주의 상황 판단부(150)는 차속에 따른 운전자의 동공 크기 변화에 따른 초점 거리와, 전방 카메라부(130) 및 응시 위치 맵핑부(140)를 통해 파악된 해당 응시 위치까지의 실제 거리를 서로 비교하게 된다. 만약 특정 차속에 따른 운전자의 동공 크기에 따라 계산되는 초점 거리와 해당 응시 위치까지의 실제 거리가 서로 일치한다면, 부주의 상황 판단부(150)는 현재 운전자가 운전에 주의를 기울이고 있는 것으로 판단하게 된다.For example, when a driver gazes at a specific location while the vehicle is driving at a specific speed, the driver's pupil state (pupil size) is automatically adjusted according to the corresponding vehicle speed by a biological response. That is, the driver's gaze camera unit 120 recognizes the driver's pupil size change. The inattention situation determination unit 150 determines the focal length according to the driver's pupil size change according to the vehicle speed, the front camera unit 130 and Actual distances to the corresponding gaze position identified through the gaze position mapping unit 140 are compared with each other. If the focal distance calculated according to the driver's pupil size according to the specific vehicle speed and the actual distance to the corresponding gaze position match each other, the inattention situation determining unit 150 determines that the driver is currently paying attention to driving.

만약, 특정 차속에 따른 운전자의 동공 크기에 따라 계산된 초점 거리와 해당 응시 위치까지의 실제 거리가 서로 일치하지 않으며, 차이나는 거리가 일정 거리(예를 들어, 10m 등) 이상 차이날 경우, 부주의 상황 판단부(150)는 부주의 판단을 위한 전방 영역 파라미터 설정을 계산함과 함께 해당 운전자에 대하여 운전자 부주의 상황으로 판단하게 된다. 또한, 부주의 상황 판단부(150)는 부주의 판단에 대한 경고 시간 및 차이나는 거리에 따라 레벨 변화 시간 파라미터를 계산하여 계산된 결과값을 헤드업 디스플레이 제어부(160)로 전달함으로써, 헤드업 디스플레이 제어부(160)에서 이를 토대로 운전자 부주의 경고 신호가 출력되도록 한다.If the focal length calculated according to the driver's pupil size according to the specific vehicle speed and the actual distance to the corresponding gaze position do not match each other, and the difference is more than a certain distance (eg, 10m, etc.), carelessness The situation determining unit 150 calculates the front region parameter settings for determining negligence and determines that the driver is negligent. In addition, the careless situation determination unit 150 calculates the level change time parameter according to the warning time for the careless judgment and the difference distance, and transfers the calculated result value to the head-up display control unit 160, so that the head-up display control unit ( 160) outputs a driver carelessness warning signal based on this.

또한 부주의 상황 판단부(150)는 차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 시야각 변화 정도를 판단하여 이를 초점 거리 파악에 반영할 수도 있으며, 이때 각 운전자 별로 동공 크기 변화량은 차이가 있기 때문에 부주의 상황 판단부(150)는 각 운전자 별 동공 크기 변화량을 개별적으로 저장함으로써 각 운전자 별로 운전자 부주의 판단을 개인화하게 된다.In addition, the inattention situation determination unit 150 may determine the degree of change in the driver's viewing angle based on the change in the size of the driver's pupil according to the speed of the vehicle and reflect it in determining the focal distance. The situation determination unit 150 individualizes driver negligence judgment for each driver by individually storing the amount of change in pupil size for each driver.

또한, 부주의 상황 판단부(150)는 앞서 살펴본 차량 상태 정보 획득부(110)로부터 획득되는 GPS 위치정보를 기반으로 파악되는 차량의 도로, 터널 진입 상태 및 진입 시간과, 실시간 날씨 정보, 실시간 시간 정보를 운전자의 차속에 따른 동공 크기 변화에 반영함으로써, 외부 상황 변화에 따른 환경 분석을 이용하여 운전자의 동공 크기 변화를 보다 정확하게 파악할 수 있게 된다.In addition, the negligent situation determination unit 150 determines the vehicle's road and tunnel entry state and entry time, real-time weather information, and real-time time information based on the GPS location information obtained from the vehicle state information acquisition unit 110 described above. is reflected in the driver's pupil size change according to the vehicle speed, it is possible to more accurately grasp the driver's pupil size change using the environment analysis according to the external situation change.

특히 도 3과 같이, 부주의 상황 판단부(150)는 차량 상태 정보 획득부(110)를 통해 획득되는 차속 정보와, 운전자 주시 카메라부(120)를 통해 파악되는 운전자의 동공 상태(동공 크기), 전방 카메라부(130), 응시 위치 맵핑부(140)를 통해 파악되는 운전자의 응시 위치까지의 거리 및 운전자의 응시 위치에 대한 초점 거리를 토대로 운전자가 현재 주시하고 있는 주시 영역을 결정할 수 있다.In particular, as shown in FIG. 3 , the inattention situation determination unit 150 includes vehicle speed information obtained through the vehicle state information acquisition unit 110, driver's pupil state (pupil size) identified through the driver gaze camera unit 120, Based on the distance to the driver's gaze position recognized through the front camera unit 130 and the gaze position mapping unit 140 and the focal distance to the driver's gaze position, the driver's gaze area may be determined.

도 4는 도 1에 도시된 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템(100)을 이용하여 운전자 부주의를 판단하는 전체 과정을 나타낸 도면이다.FIG. 4 is a diagram illustrating an overall process of determining driver inattention using the inattention judgment method based on the analysis of the driver's biological state shown in FIG. 1 and the head-up display control system 100 using the same.

도 4를 살펴보면, 차량 상태 정보 획득부(110)는 차량에 설치된 다수의 센서로부터 차량 상태 정보를 획득하여 부주의 상황 판단부(150)로 전달하고, 운전자 주시 카메라부(120)에서는 각 운전자들의 동공 상태를 파악하고 운전자 시선을 실시간을 주시 및 추적하며 이때 획득되는 운전자의 응시 위치를 전방 카메라부(130)를 통해 촬영되는 전방 촬영 이미지에 맵핑하게 된다.Referring to FIG. 4 , the vehicle state information acquisition unit 110 obtains vehicle state information from a plurality of sensors installed in the vehicle and transmits the obtained vehicle state information to the careless situation determination unit 150, and the driver gaze camera unit 120 detects the pupils of each driver. The state is grasped, the driver's gaze is observed and tracked in real time, and the driver's gaze position obtained at this time is mapped to a front photographed image captured through the front camera unit 130.

부주의 상황 판단부(150)에서는 차속에 따른 운전자의 동공 크기를 토대로 응시 위치에 대한 초점 거리를 파악하고 전방 카메라부를 통해 파악되는 응시 위치까지의 실제 거리를 비교함으로써 부주의 판단을 위한 운전자의 주시 영역에 대한 파라미터 설정을 계산하게 된다. 비교 결과 기 설정된 수치 이상을 벗어나는 경우 부주의 상황 판단부(150)는 운전자 부주의 상황으로 판단하여 경고 시간 및 그에 따른 레벨 변화 시간 파라미터를 계산하게 된다.The inattention situation determining unit 150 determines the focal distance for the gaze position based on the driver's pupil size according to the vehicle speed and compares the actual distance to the gaze position identified through the front camera unit to determine the driver's gaze area for inattention judgment. Calculate the parameter settings for If the result of the comparison exceeds the predetermined value, the negligent situation determining unit 150 determines that the driver is inattentive and calculates a warning time and a corresponding level change time parameter.

한편, 일 실시예에서, 헤드업 디스플레이 제어부(160)에서는 앞서 부주의 상황 판단부(150)의 운전자 부주의 상황 판단 결과를 토대로 차량에 설치된 헤드업 디스플레이(HUD)를 통해 운전자 부주의 경고 신호를 출력함은 물론, 운전자의 응시 위치에 따라 경고 신호의 최적의 출력위치를 결정 및 반영하게 된다. 이에 관해서는 도 5를 통해 살펴보기로 한다.Meanwhile, in one embodiment, the head-up display control unit 160 outputs a driver carelessness warning signal through a head-up display (HUD) installed in the vehicle based on the driver carelessness situation determination result of the driver carelessness situation determination unit 150. Of course, the optimal output position of the warning signal is determined and reflected according to the driver's gaze position. This will be reviewed with reference to FIG. 5 .

도 5는 도 4에 나타난 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템(100)을 활용하여 헤드업 디스플레이를 제어하는 전체 과정을 나타낸 도면이다. 도 5는 도 4의 부주의 상황 판단부(150)에서 운전자 부주의를 판단한 결과를 시작으로 이어진다.FIG. 5 is a view showing the whole process of controlling the head-up display by utilizing the driver's negligence judgment method based on the analysis of the driver's biological state shown in FIG. 4 and the head-up display control system 100 using the same. FIG. 5 starts with the result of determining the driver's carelessness by the careless situation determination unit 150 of FIG. 4 .

헤드업 디스플레이 제어부(160)에서는 앞서 부주의 상황 판단부(150)의 운전자 부주의 판단 결과를 토대로 차량에 설치된 헤드업 디스플레이의 출력위치를 결정한 후 운전자 부주의 경고 신호를 출력함으로써 운전자에게 현재 부주의 운전이 이루어지고 있음을 알리게 된다.The head-up display control unit 160 determines the output position of the head-up display installed in the vehicle based on the driver's negligence determination result of the driver's negligence determination unit 150, and outputs a driver's negligence warning signal to the driver. inform that there is

이때, 헤드업 디스플레이 제어부(160)는 운전자 주시 카메라부(120)를 통해 추적되는 운전자 시선 및 운전자 응시 위치를 토대로 헤드업 디스플레이 상에 운전자 부주의 경고 신호를 출력하기 위한 최적의 위치를 결정하게 된다. 예를 들어, 헤드업 디스플레이의 화면 상에 운전자의 응시 위치가 특정된 상태가 일정 시간 지속되는 경우, 해당 위치를 운전자 부주의 경고 신호를 출력하기 위한 최적의 위치로 결정할 수 있는 것이다.At this time, the head-up display control unit 160 determines an optimal location for outputting a driver carelessness warning signal on the head-up display based on the driver's gaze and the driver's gaze position tracked through the driver's gaze camera unit 120. For example, when a state in which the driver's gaze position is specified on the screen of the head-up display continues for a certain period of time, the corresponding position may be determined as an optimal position for outputting a driver carelessness warning signal.

또한, 헤드업 디스플레이 제어부(160)를 통해 헤드업 디스플레이 상에 운전자 부주의 경고 신호가 출력된 상태에서, 부주의 상황 판단부(150)는 앞서 살펴본 과정을 반복 진행하여 운전자의 부주의 정도를 계속해서 판단하게 되며, 만약 운전자가 운전에 주의하고 있다고 판단되는 경우 헤드업 디스플레이 제어부(160)에서는 헤드업 디스플레이를 통한 운전자 부주의 경고 신호의 출력을 정지하게 된다.In addition, in a state where the driver carelessness warning signal is output on the head-up display through the head-up display control unit 160, the carelessness situation determination unit 150 repeatedly proceeds with the foregoing process to continuously determine the degree of driver carelessness. If it is determined that the driver is paying attention to driving, the head-up display controller 160 stops outputting the driver carelessness warning signal through the head-up display.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

100: 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템
110: 차량 상태 정보 획득부
120: 운전자 주시 카메라부
130: 전방 카메라부
140: 응시 위치 맵핑부
150: 부주의 상황 판단부
160: 헤드업 디스플레이 제어부100: Inattention judgment method based on driver's biological state analysis and head-up display control system using it
110: Vehicle condition information acquisition unit
120: driver gaze camera unit
130: front camera unit
140: gaze position mapping unit
150: careless situation judgment unit
160: head-up display control unit

Claims (12)

차량에 설치된 다수의 센서로부터 차속 정보 및 GPS 위치정보를 포함하는 차량 상태 정보를 획득하는 차량 상태 정보 획득부;
운전자 시선을 실시간으로 주시 및 추적하고, 운전자의 동공 상태를 파악하는 운전자 주시 카메라부;
차량 전방을 촬영하여 전방 촬영 이미지를 획득하는 전방 카메라부;
상기 전방 카메라부를 통해 획득되는 상기 전방 촬영 이미지 상에 상기 운전자 주시 카메라부를 통해 획득되는 운전자의 응시 위치를 맵핑하여, 해당 응시 위치까지의 거리를 파악하는 응시 위치 맵핑부;
차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 응시 위치에 대한 초점 거리를 파악하고, 해당 응시 위치에 대한 운전자의 초점 거리와 상기 전방 카메라부를 통해 파악되는 해당 응시 위치까지의 거리를 서로 비교하여 기 설정된 수치 이상을 벗어나는 경우 운전자 부주의 상황으로 판단하는 부주의 상황 판단부; 및
상기 부주의 상황 판단부의 운전자 부주의 상황 판단 결과를 토대로, 차량에 설치된 헤드업 디스플레이(HUD)의 출력위치를 결정한 후 운전자 부주의 경고 신호를 출력하는 헤드업 디스플레이 제어부;를 포함하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
a vehicle condition information obtaining unit that obtains vehicle condition information including vehicle speed information and GPS location information from a plurality of sensors installed in the vehicle;
a driver's gaze camera unit for observing and tracking the driver's gaze in real time and determining the driver's pupil state;
a front camera unit that acquires a front photographed image by taking a picture of the front of the vehicle;
a gaze position mapping unit that maps a driver's gaze position obtained through the driver's gaze camera unit on the front photographed image obtained through the front camera unit, and determines a distance to the gaze position;
Based on the change in the size of the driver's pupil according to the vehicle speed, the focal length of the driver's gaze position is identified, and the driver's focal distance to the gaze position is compared with the distance to the gaze position identified through the front camera unit. Inattention situation determination unit for determining that the driver is negligent when the value exceeds the set value; and
A head-up display control unit that determines the output position of a head-up display (HUD) installed in the vehicle based on the driver's negligence situation determination result of the driver's negligence determination unit and then outputs a driver's negligence warning signal; including
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 제1항에 있어서,
상기 운전자 주시 카메라부는,
상기 헤드업 디스플레이 상에 상기 운전자 부주의 경고 신호가 출력된 상태에서, 운전자가 상기 운전자 부주의 경고 신호를 응시하는 시간을 측정하여 운전자가 상기 운전자 부주의 경고 신호를 인지하고 있는지 여부를 판단하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
According to claim 1,
The driver's gaze camera unit,
In a state where the driver carelessness warning signal is output on the head-up display, determining whether the driver is aware of the driver carelessness warning signal by measuring the time the driver gazes at the driver carelessness warning signal
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 제1항에 있어서,
상기 헤드업 디스플레이 제어부는,
상기 차속에 따른 운전자의 동공 크기 변화를 토대로 상기 헤드업 디스플레이 상에 출력되기 위한 상기 운전자 부주의 경고 신호의 출력 위치를 결정하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
According to claim 1,
The head-up display control unit,
Determining an output position of the driver carelessness warning signal to be output on the head-up display based on the driver's pupil size change according to the vehicle speed
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 제3항에 있어서,
상기 헤드업 디스플레이 제어부는,
상기 차속에 따른 운전자의 동공 크기 변화를 토대로 상기 헤드업 디스플레이 상에 출력되기 위한 상기 운전자 부주의 경고 신호의 출력 위치를 결정하되, 각 운전자 별 상기 운전자 부주의 경고 신호의 출력 위치를 개별적으로 저장하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
According to claim 3,
The head-up display control unit,
Determining the output position of the driver carelessness warning signal to be output on the head-up display based on the driver's pupil size change according to the vehicle speed, and individually storing the output position of the driver carelessness warning signal for each driver
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 제1항에 있어서,
상기 부주의 상황 판단부는,
차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 시야각 변화 정도를 판단하여 초점 거리 파악에 반영하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
According to claim 1,
The careless situation judgment unit,
Based on the change in the size of the driver's pupil according to the speed of the vehicle, the degree of change in the driver's field of view is determined and reflected in determining the focal length.
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 제1항에 있어서,
상기 차량 상태 정보 획득부는,
차량으로부터 실시간 날씨 정보 및 실시간 시간 정보를 더 획득하며,
상기 부주의 상황 판단부는,
상기 GPS 위치정보를 기반으로 파악되는 차량의 도로, 터널 진입 상태, 및 진입 시간과, 상기 실시간 날씨 정보 및 실시간 시간 정보를 상기 운전자의 차속에 따른 동공 크기 변화에 반영하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
According to claim 1,
The vehicle state information acquisition unit,
Further obtaining real-time weather information and real-time time information from the vehicle;
The careless situation judgment unit,
Reflecting the road and tunnel entry conditions and entry time of the vehicle, which are determined based on the GPS location information, and the real-time weather information and real-time time information to the driver's pupil size change according to the vehicle speed
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 제1항에 있어서,
상기 응시 위치 맵핑부는,
획득되는 상기 전방 촬영 이미지를 하늘 영역 및 다수의 지면 영역으로 구획하고, 상기 운전자의 응시 위치를 구획화 된 상기 전방 촬영 이미지 상에 맵핑하여 운전자의 응시 위치에 대한 위치값을 획득하며,
상기 부주의 상황 판단부는,
획득된 상기 위치값을 이용하여 운전자의 해당 응시 위치에 대한 초점 거리를 파악하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
According to claim 1,
The gaze position mapping unit,
Dividing the acquired front-captured image into a sky area and a plurality of ground areas, and obtaining a position value for the driver's gaze position by mapping the driver's gaze position on the partitioned front-captured image;
The careless situation judgment unit,
Figuring out the focal distance for the driver's gaze position using the obtained position value
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 제1항에 있어서,
상기 운전자 주시 카메라부는,
상기 차량 상태 정보 획득부를 통해 획득되는 차량 주변의 광량 정보에 따른 운전자의 동공 상태를 파악하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
According to claim 1,
The driver's gaze camera unit,
Grasping the driver's pupil state according to the light amount information around the vehicle acquired through the vehicle state information acquisition unit
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 제1항에 있어서,
상기 운전자 주시 카메라부는,
운전자 시선을 실시간으로 주시 및 추적한 결과, 일정 시간 이상 운전자 시선이 확인되지 않을 경우, 상기 부주의 상황 판단부로 운전자 부주의 상황 판단을 위한 신호를 생성 및 전달하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
According to claim 1,
The driver's gaze camera unit,
As a result of observing and tracking the driver's gaze in real time, when the driver's gaze is not confirmed for a certain period of time, generating and transmitting a signal for determining the driver's negligence situation to the inattention situation determination unit
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 차량에 설치되며, 차량의 주행에 따른 차속 정보 및 GPS 위치정보를 포함하는 차량 상태 정보를 획득하는 다수의 센서를 포함하는 차량 상태 정보 획득부;
운전자 시선을 실시간으로 주시 및 추적하고, 운전자의 동공 상태를 파악하는 운전자 주시 카메라부;
차량 전방을 촬영하여 전방 촬영 이미지를 획득하는 전방 카메라부;
상기 전방 카메라부를 통해 획득되는 상기 전방 촬영 이미지 상에 상기 운전자 주시 카메라부를 통해 획득되는 운전자의 응시 위치를 맵핑하여, 해당 응시 위치까지의 거리를 파악하는 응시 위치 맵핑부;
차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 응시 위치에 대한 초점 거리를 파악하고, 해당 응시 위치에 대한 운전자의 초점 거리와 상기 전방 카메라부를 통해 파악되는 해당 응시 위치까지의 거리를 서로 비교하여 기 설정된 수치 이상을 벗어나는 경우 운전자 부주의 상황으로 판단하여 경고 신호를 생성 및 출력하는 부주의 상황 판단부; 및
상기 부주의 상황 판단부의 운전자 부주의 상황 판단 결과를 토대로, 차량에 설치된 헤드업 디스플레이(HUD)의 출력위치를 결정한 후 운전자 부주의 경고 신호를 출력하는 헤드업 디스플레이 제어부;를 포함하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
a vehicle state information acquisition unit installed in a vehicle and including a plurality of sensors for obtaining vehicle state information including vehicle speed information and GPS location information according to driving of the vehicle;
a driver's gaze camera unit for observing and tracking the driver's gaze in real time and determining the driver's pupil state;
a front camera unit that acquires a front photographed image by taking a picture of the front of the vehicle;
a gaze position mapping unit that maps a driver's gaze position obtained through the driver's gaze camera unit on the front photographed image obtained through the front camera unit, and determines a distance to the gaze position;
Based on the change in the size of the driver's pupil according to the vehicle speed, the focal length of the driver's gaze position is identified, and the driver's focal distance to the gaze position is compared with the distance to the gaze position identified through the front camera unit. Inattention situation determining unit for generating and outputting a warning signal by determining that the driver is careless when the value exceeds the set value; and
A head-up display control unit that determines the output position of a head-up display (HUD) installed in the vehicle based on the driver's negligence situation determination result of the driver's negligence determination unit and then outputs a driver's negligence warning signal; including
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 제10항에 있어서,
상기 헤드업 디스플레이 제어부는,
상기 차속에 따른 운전자의 동공 크기 변화를 토대로 상기 헤드업 디스플레이 상에 출력되기 위한 상기 운전자 부주의 경고 신호의 출력 위치를 결정하며, 각 운전자 별 상기 운전자 부주의 경고 신호의 출력 위치를 개별적으로 저장하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 시스템.
According to claim 10,
The head-up display control unit,
Determining the output position of the driver carelessness warning signal to be output on the head-up display based on the driver's pupil size change according to the vehicle speed, and individually storing the output position of the driver carelessness warning signal for each driver
An inattention judgment method based on driver's biological state analysis and a head-up display control system using the same.
 차량 상태 정보 획득부를 통해, 차량에 설치된 다수의 센서로부터 차속 정보 및 GPS 위치정보를 포함하는 차량 상태 정보를 획득하는 단계;
운전자 주시 카메라부를 통해, 운전자 시선을 실시간으로 주시 및 추적하고 운전자의 동공 상태를 파악하는 단계;
전방 카메라부를 통해, 차량 전방을 촬영하여 전방 촬영 이미지를 획득하는 단계;
응시 위치 맵핑부를 통해, 상기 전방 카메라부를 통해 획득되는 상기 전방 촬영 이미지 상에 상기 운전자 주시 카메라부를 통해 획득되는 운전자의 응시 위치를 맵핑하여, 해당 응시 위치까지의 거리를 파악하는 단계;
부주의 상황 판단부를 통해, 차속에 따른 운전자의 동공 크기 변화를 토대로 운전자의 응시 위치에 대한 초점 거리를 파악하고, 해당 응시 위치에 대한 운전자의 초점 거리와 상기 전방 카메라부를 통해 파악되는 해당 응시 위치까지의 거리를 서로 비교하여 기 설정된 수치 이상을 벗어나는 경우 운전자 부주의 상황으로 판단하는 단계; 및
헤드업 디스플레이 제어부를 통해, 상기 부주의 상황 판단부의 운전자 부주의 상황 판단 결과를 토대로, 차량에 설치된 헤드업 디스플레이(HUD)의 출력위치를 결정한 후 운전자 부주의 경고 신호를 출력하는 단계;를 포함하는 것
을 특징으로 하는 운전자의 생물학적 상태 분석에 기반한 부주의 판단방식 및 이를 활용한 헤드업 디스플레이 제어 방법.
obtaining vehicle state information including vehicle speed information and GPS location information from a plurality of sensors installed in the vehicle through a vehicle state information acquisition unit;
gazing and tracking the driver's gaze in real time through the driver's gaze camera unit and identifying the driver's pupil state;
obtaining a front photographed image by photographing the front of the vehicle through a front camera unit;
mapping a driver's gaze position obtained through the driver's gaze camera unit on the front photographed image obtained through the front camera unit through a gaze position mapping unit, and determining a distance to the corresponding gaze position;
Through the inattention situation determination unit, the focal length of the driver's gaze position is determined based on the change in the driver's pupil size according to the vehicle speed, and the distance between the driver's focal distance and the corresponding gaze position identified through the front camera unit is determined. Comparing the distances with each other and determining that the driver is negligent when the distance exceeds a preset value; and
Determining the output position of a head-up display (HUD) installed in the vehicle based on the driver's negligence situation determination result of the inattention situation determination unit through the head-up display control unit, and then outputting a driver's carelessness warning signal; including
An inattention judgment method based on driver's biological state analysis and a head-up display control method using the same.
KR1020210158885A 2021-11-17 2021-11-17 Careless judgment method according to driver's biological condition analysis and hud control system for using thereof KR20230072295A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210158885A KR20230072295A (en) 2021-11-17 2021-11-17 Careless judgment method according to driver's biological condition analysis and hud control system for using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210158885A KR20230072295A (en) 2021-11-17 2021-11-17 Careless judgment method according to driver's biological condition analysis and hud control system for using thereof

Publications (1)

Publication Number Publication Date
KR20230072295A true KR20230072295A (en) 2023-05-24

Family

ID=86540850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210158885A KR20230072295A (en) 2021-11-17 2021-11-17 Careless judgment method according to driver's biological condition analysis and hud control system for using thereof

Country Status (1)

Country Link
KR (1) KR20230072295A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200108196A (en) 2019-03-08 2020-09-17 동국대학교 산학협력단 Device and method for estimating driver's distraction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200108196A (en) 2019-03-08 2020-09-17 동국대학교 산학협력단 Device and method for estimating driver's distraction

Similar Documents

Publication Publication Date Title
JP5406328B2 (en) VEHICLE DISPLAY DEVICE, ITS CONTROL METHOD AND PROGRAM
US6927674B2 (en) Vehicle instrument cluster having integrated imaging system
EP2893867B1 (en) Detecting visual inattention based on eye convergence
US10578865B2 (en) Head-up display apparatus, controlling method therer, and vehicle
US7370970B2 (en) Eyeglass detection method
JP2019087143A (en) Driver state detection apparatus
US10504237B2 (en) Method for determining a viewing direction of a person
US20160179195A1 (en) Method for operating a head-up display, presentation apparatus, vehicle
CN109212753B (en) Head-up display system with variable display distance, head-up display method and driving equipment
JP6891926B2 (en) Vehicle systems, methods performed on vehicle systems, and driver assistance systems
KR20180100865A (en) Warning system and method based on analysis integrating internal and external situation in vehicle
US20210276581A1 (en) Vehicle controller
JP2016091192A (en) Virtual image display apparatus, control method, program, and storage medium
JPH0796768A (en) Forward watching degree detector
KR20230072580A (en) Careless judgment method based on driver's biological condition analysis and scc linkage system and method for using thereof
JP7542651B2 (en) Methods for determining response capacity
JP5576198B2 (en) Armpit judging device
KR20230072295A (en) Careless judgment method according to driver's biological condition analysis and hud control system for using thereof
JP6496917B2 (en) Gaze measurement apparatus and gaze measurement method
CN111267865B (en) Vision-based safe driving early warning method and system and storage medium
KR20230100834A (en) System and method for controlling the intervening situation of a vehicle linked with driver distraction judgement
KR20230050146A (en) Driver carelessness judgment system and method
KR20230050147A (en) Parking assistance control system and control method using adaptive careless judgment function
KR20230050550A (en) AEB system and control method using adaptive careless judgment function
KR20230073790A (en) Headlamp position control system and control method using adaptive careless judgment function