KR102610759B1 - 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법 - Google Patents

졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법 Download PDF

Info

Publication number
KR102610759B1
KR102610759B1 KR1020190039170A KR20190039170A KR102610759B1 KR 102610759 B1 KR102610759 B1 KR 102610759B1 KR 1020190039170 A KR1020190039170 A KR 1020190039170A KR 20190039170 A KR20190039170 A KR 20190039170A KR 102610759 B1 KR102610759 B1 KR 102610759B1
Authority
KR
South Korea
Prior art keywords
eye movement
user
vehicle
drowsy driving
steering torque
Prior art date
Application number
KR1020190039170A
Other languages
English (en)
Other versions
KR20200117278A (ko
Inventor
김진권
이병준
김삼용
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190039170A priority Critical patent/KR102610759B1/ko
Priority to US16/668,613 priority patent/US10882533B2/en
Priority to CN201911121476.XA priority patent/CN111845758A/zh
Publication of KR20200117278A publication Critical patent/KR20200117278A/ko
Application granted granted Critical
Publication of KR102610759B1 publication Critical patent/KR102610759B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11—Pitch movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/08—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits responsive only to driver input torque
    • B62D6/10—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits responsive only to driver input torque characterised by means for sensing or determining torque
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B60W2510/202—Steering torque
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/16—Pitch
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/307—Torque sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Emergency Management (AREA)
  • Combustion & Propulsion (AREA)
  • Anesthesiology (AREA)
  • Chemical & Material Sciences (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 본 발명의 일 실시예에 따른 졸음 운전 관리 장치는, 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하여, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 경우 상기 사용자가 졸음운전인 것으로 판단하는 프로세서; 및 상기 프로세서에 의해 획득된 상기 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부 판단 결과를 저장하는 저장부;를 포함할 수 있다.

Description

졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법{Apparatus for managing a drowsy driving, system having the same and method thereof}
본 발명은 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 느린 안구 운동 및 차량 신호를 기반으로 졸음 운전을 조기에 정확히 판단하는 기술에 관한 것이다.
차량 서비스와 관련하여 졸음 운전을 파악하고 사용자에게 경고하는 졸음 운전 경고 기능이 확대 적용되고 있다.
이러한 졸음운전 경고 기능은 졸음운전 판단 정확도와 경고를 발생하는 시점이 중요한 성능 지표이며, 특히 경고 발생 시점은 잠에 빠져드는 때(입면시점, sleep-onset)에 경고를 발생시켜야 높은 사용성을 가질 수 있으나 현재 상용화된 기술은 이를 만족하지 못하고 있다.
현재 양산되고 있는 졸음운전 경고 기능은 크게 두 가지 방식이 있는데, 주행패턴을 분석하여 졸음운전을 판단하는 간접방식과 운전자의 눈 개폐 영상을 기반으로 졸음운전을 판단하는 직접방식이 있다.
주행패턴 기반의 간접방식의 경우 정확도가 낮고 경고 시점과 입면 시점의 차이가 커 사용성이 떨어지는 반면에, 직접 방식인 운전자 눈 개폐 영상 기반 졸음운전 판단 기술은 긴 눈 감음을 검출하여 경고를 발생하므로 정확도는 높은 편이나 실도로에서 운전자가 긴 눈감음을 보이는 때는 이미 너무 위험한 시점인 경우가 많다. 이에 졸음 초기에 정확히 졸음 운전 여부를 파악하여 경고할 필요가 있다.
본 발명의 실시예는 느린 안구 운동 및 차량 신호에 의한 조향 토크 무변화 구간을 기반으로 사용자의 졸음 운전을 조기에 정확히 검출할 수 있는 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 졸음 운전 관리 장치는, 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하여, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 경우 상기 사용자가 졸음운전인 것으로 판단하는 프로세서; 및 상기 프로세서에 의해 획득된 상기 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부 판단 결과를 저장하는 저장부;를 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 상태에서 사용자 조작이 없는 경우, 상기 사용자가 졸음 운전인 것으로 판단하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 영상 데이터 기반 사용자의 응시점 정보 및 머리 포즈 정보를 기반으로 차량 기준 안구 이동 정보를 산출하고, 상기 차량 기준 안구 이동 정보를 기반으로 외부 환경 기준 안구 이동 정보를 산출하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 응시점 정보는 시선 요(yaw)각 및 시선 피치(pitch)각을 포함하고, 상기 머리 포즈 정보는 머리 포즈 요각 및 머리 포즈 피치각을 포함하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 시선 요각에서 상기 머리 포즈(head pose) 요각을 차분하여 상기 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 요각을 산출하고, 상기 시선 피치각에서 상기 머리 포즈 피치각을 차분하여 상기 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 피치각을 산출하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 차량 기준 안구 이동 요각과 차량 요레이트를 이용하여 상기 외부 환경 기준 안구 이동 정보 중 외부 환경 기준 안구 이동 요각을 산출하고,
상기 차량 기준 안구 이동 피치각과 차량 피치각을 이용하여 상기 외부 환경 기준 안구 이동정보 중 외부 환경 기준 안구 이동 피치각을 산출하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 상기 외부 환경 기준 안구 이동 요각과 상기 외부 환경 기준 안구 이동 피치각을 합한 값을 이용하여 미리 정한 시간 동안의 안구 이동 거리를 산출하고, 상기 안구 이동 거리가 미리 정한 기준치 미만이면 상기 느린 안구 운동으로 판단하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 조향 토크 센서의 출력값이 미리 정한 기준값 미만인 경우 상기 조향 토크 무변화 상태인 것으로 판단하는 것을 포함할 수 있다.
본 발명의 일 실시예에 따른 차량 시스템은 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하여, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 경우 상기 사용자가 졸음운전인 것으로 판단하는 졸음 운전 관리 장치; 및 상기 졸음운전으로 판단된 경우, 사용자에게 경고를 출력하는 경고장치;를 포함할 수 있다.
일 실시예에 있어서, 상기 경고장치는, 시각, 촉각, 및 청각 중 적어도 하나 이상의 경고를 수행하는 것을 포함할 수 있다.
일 실시예에 있어서, 사용자의 시선 정보 및 머리 포즈 정보를 검출하는 카메라; 차량 요레이트 및 차량 피치각을 감지하는 요피치 센서; 차량의 조향 토크의 변화를 감지하는 조향 토크 센서; 및 감가속 페달 변화값을 감지하는 감가속 페달 센서;를 포함할 수 있다.
일 실시예에 있어서, 상기 졸음 운전 관리 장치는, 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하여, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 경우 상기 사용자가 졸음운전인 것으로 판단하는 프로세서; 및 상기 프로세서에 의해 획득된 상기 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부 판단 결과를 저장하는 저장부;를 포함할 수 있다.
일 실시예에 있어서, 상기 프로세서는, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 상태에서 사용자 조작이 없는 경우, 상기 사용자가 졸음 운전인 것으로 판단하는 것을 포함할 수 있다.
본 발명의 일 실시예에 따른 졸음 운전 관리 방법은 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계; 및 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 경우 상기 사용자가 졸음운전인 것으로 판단하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 사용자가 졸음운전인 것으로 판단하는 단계는, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 상태에서 사용자 조작이 없는 경우, 상기 사용자가 졸음 운전인 것으로 판단하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계는, 영상 데이터 기반 사용자의 응시점 정보 및 머리 포즈 정보를 기반으로 차량 기준 안구 이동 정보를 산출하고, 상기 차량 기준 안구 이동 정보를 기반으로 외부 환경 기준 안구 이동 정보를 산출하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 응시점 정보는 시선 요(yaw)각 및 시선 피치(pitch)각을 포함하고, 상기 머리 포즈 정보는 머리 포즈 요각 및 머리 포즈 피치각을 포함하는 포함할 수 있다.
일 실시예에 있어서, 상기 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계는, 상기 시선 요각에서 상기 머리 포즈(head pose) 요각을 차분하여 상기 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 요각을 산출하고, 상기 시선 피치각에서 상기 머리 포즈 피치각을 차분하여 상기 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 피치각을 산출하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계는, 상기 차량 기준 안구 이동 요각과 차량 요레이트를 이용하여 상기 외부 환경 기준 안구 이동 정보 중 외부 환경 기준 안구 이동 요각을 산출하고, 상기 차량 기준 안구 이동 피치각과 차량 피치각을 이용하여 상기 외부 환경 기준 안구 이동정보 중 외부 환경 기준 안구 이동 피치각을 산출하는 것을 포함할 수 있다.
일 실시예에 있어서, 상기 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계는, 상기 외부 환경 기준 안구 이동 요각과 상기 외부 환경 기준 안구 이동 피치각을 합한 값을 이용하여 미리 정한 시간 동안의 안구 이동 거리를 산출하고, 상기 안구 이동 거리가 미리 정한 기준치 미만이면 상기 느린 안구 운동으로 판단하는 것을 포함할 수 있다.
본 기술은 느린 안구 운동 및 차량 신호에 의한 조향 토크 무변화 구간을 기반으로 사용자의 졸음 운전을 조기에 정확히 검출하여 졸음 운전에 의한 사고를 예방할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 졸음 운전 관리 장치를 포함하는 차량 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 시선 요(yaw)와 차량 요(yaw)를 나타내는 그래프이다.
도 3은 본 발명의 일 실시 예에 따른 시선 응시와 단속적 이동의 예시적인 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 응시와 단속적 이동 및 느린 안구 이동이 나타난 시선 요(yaw)를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 졸음 운전 관리 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 안구 이동 산출 예시를 구체적으로 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
졸음은 근육을 이완시켜 운전과 같은 목적이 있는 행동을 하기 어렵게 한다. 눈의 경우 졸음이 오면 눈동자의 움직임이 단속적(saccade, 짧은 시간에 빠르게 이동하는 형태)으로 나타나지 않고 눈의 응시점이 느린 속도로 이동한다. 손의 경우에도 졸음 상황에서는 근육이완으로 인해 분명한 동작을 하지 못하고 손의 악력도 감소한다. 이에 본 발명은 사용자의 느린 안구 운동(slow eye movement)과 차량 신호(조향 토크 및 각종 스위치 조작여부) 기반으로 졸음 초기에 졸음 운전을 파악하여 경고함으로써 졸음 운전에 의한 사고를 미연에 예방할 수 있는 기술을 개시한다.
이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 졸음 운전 관리 장치를 포함하는 차량 시스템의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 차량 시스템은 졸음 운전 관리 장치(100), 센싱 모듈(200), 경고 장치(300)를 포함할 수 있다.
졸음 운전 관리 장치(100)는 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하여, 미리 정한 시간 동안 사용자의 느린 안구 운동이 발생하고 조향 토크가 무변화한 경우 사용자가 졸음운전인 것으로 판단할 수 있다.
또한, 졸음 운전 관리 장치(100)는 미리 정한 시간 동안 사용자의 느린 안구 운동이 발생하고 조향 토크가 무변화한 상태에서 사용자 조작이 없는 경우, 사용자가 졸음 운전인 것으로 판단할 수 있다.
졸음 운전 관리 장치(100)는 통신부(110), 저장부(120), 및 프로세서(130)를 포함할 수 있다.
통신부(110)는 무선 또는 유선 연결을 통해 신호를 송신 및 수신하기 위해 다양한 전자 회로로 구현되는 하드웨어 장치로서, 본 발명에서는 캔(can) 통신, 린(LIN) 통신 등을 통해 차량 내 통신을 수행하며, 센싱 모듈(200), 조향 제어 장치(300), 제동 제어 장치(400), 엔진 제어 장치(500) 등과 통신을 수행할 수 있다.
저장부(120)는 센싱 모듈(200)의 센싱 결과 및 프로세서(130)에 의해 획득된 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부 판단 결과 등을 저장할 수 있다. 저장부(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
프로세서(130)는 통신부(110), 저장부(120), 경고 장치(300) 등과 전기적으로 연결될 수 있고, 각 구성들을 전기적으로 제어할 수 있으며, 소프트웨어의 명령을 실행하는 전기 회로가 될 수 있으며, 이에 의해 후술하는 다양한 데이터 처리 및 계산을 수행할 수 있다.
프로세서(130)는 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하여, 미리 정한 시간 동안 사용자의 느린 안구 운동이 발생하고 조향 토크가 무변화한 경우 사용자가 졸음운전인 것으로 판단할 수 있다.
프로세서(130)는 미리 정한 시간 동안 사용자의 느린 안구 운동이 발생하고 조향 토크가 무변화한 상태에서 사용자 조작이 없는 경우, 사용자가 졸음 운전인 것으로 판단할 수 있다.
프로세서(130)는 영상 데이터 기반 사용자의 응시점 정보 및 머리 포즈 정보를 기반으로 차량 기준 안구 이동 정보를 산출하고, 차량 기준 안구 이동 정보를 기반으로 외부 환경 기준 안구 이동 정보를 산출할 수 있다.
프로세서(130)는 시선 요각에서 상기 머리 포즈(head pose) 요각을 차분하여 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 요각을 산출하고, 시선 피치각에서 머리 포즈 피치각을 차분하여 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 피치각을 산출할 수 있다.
프로세서(130)는 차량 기준 안구 이동 요각과 차량 요레이트를 이용하여 외부 환경 기준 안구 이동 정보 중 외부 환경 기준 안구 이동 요각을 산출하고, 차량 기준 안구 이동 피치각과 차량 피치각을 이용하여 외부 환경 기준 안구 이동정보 중 외부 환경 기준 안구 이동 피치각을 산출할 수 있다.
프로세서(130)는 외부 환경 기준 안구 이동 요각과 외부 환경 기준 안구 이동 피치각을 합한 값을 이용하여 미리 정한 시간 동안 안구 이동 거리를 산출하고, 안구 이동 거리가 미리 정한 기준치 미만이면 상기 느린 안구 운동으로 판단할 수 있다.
프로세서(130)는 조향 토크 센서(230)의 출력값이 미리 정한 기준값 미만인 경우 조향 토크 무변화 상태인 것으로 판단할 수 있다.
센싱 모듈(200)은 사용자의 응시점 정보, 사용자의 머리 포즈(머리 움직임), 차량 요레이트, 차량 피치각, 차량 조향 토크 변화, 감가속 페달 동작 여부 등을 감지할 수 있다.
이를 위해, 센싱 모듈(200)은 카메라(210), 요피치 센서(220), 조향 토크 센서(230), 감가속 페달 센서(240)를 포함한다.
카메라(210)는 DSM(Driver Status Monitoring)로서 사용자의 시선 정보 및 머리 포즈 정보를 검출할 수 있다.
요피치 센서(220)는 차량 요레이트 및 차량 피치각을 감지하여 졸음 운전 관리 장치(100)로 전달한다.
조향 토크 센서(230)는 차량의 조향 토크의 변화를 감지하여 졸음 운전 관리 장치(100)로 전달한다.
감가속 페달 센서(240)는 감가속 페달 변화값을 감지하여 졸음 운전 관리 장치(100)로 전달한다.
도 1에서는 개시되어 있지 않으나, 사용자가 조작할 수 있는 각종 스위치를 더 포함할 수 있다.
경고 장치(300)는 졸음 운전 관리 장치(100)에 의해 사용자가 졸음 운전중인 것으로 판단되면 졸음 운전 관리 장치(100)에 의해 제어되어 사용자에게 시각 경고, 촉각 경고, 및 청각 경고 중 적어도 하나 이상을 출력할 수 있고, 휴식 권유 경고, 주행 보조 기능 작동 권유, 휴게소나 졸음 쉰터 안내 등의 화면을 표시하거나 사용자에게 음성을 출력하여 졸음을 깰 수 있도록 유도한다. 경고 장치(300)는 헤드업 디스플레이(HUD), 클러스터, AVN(Audio Video Navigation) 등으로 구현될 수 있다. 또한, 경고 장치(300)는 액정 디스플레이(LCD, Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(TFT LCD, Thin Film Transistor-LCD), 발광 다이오드(LED, Light Emitting Diode), 유기 발광 다이오드(OLED, Organic LED), 능동형 OLED(AMOLED, Active Matrix OLED), 플렉서블 디스플레이(flexible display), 벤디드 디스플레이(bended display), 그리고 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이는 외부를 볼 수 있도록 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다. 또한, 경고 장치(300)는 터치 패널을 포함하는 터치스크린(touchscreen)으로서 마련되어 출력 장치 이외에 입력 장치로도 사용될 수 있다.
이와 같이, 본 발명은 느린 안구 운동와 조향 토크의 무변화 구간을 기반으로 운전자의 졸음운전을 초기에 높은 신뢰성으로 판단할 수 있다. 또한, 느린 안구 운동 및 조향 토크의 무변화 구간뿐만 아니라 사용자로부터 페달 조작 등의 각종 스위치 조작 입력이 없는 경우 운전자의 졸음 운전을 판단할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 시선 요(yaw)와 차량 요(yaw)를 나타내는 그래프이다. 도 2를 참조하면 사용자가 외부의 한 지점을 응시하고 있을 때 차량이 움직이면 차량 내부 기준의 응시점은 천천히 이동하는 것으로 나타나게 되어 느린 안구 운동으로 오검출 될 수 있다(그림1
도 3은 본 발명의 일 실시 예에 따른 시선 응시와 단속적 이동의 예시적인 동작을 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시 예에 따른 응시와 단속적 이동 및 느린 안구 이동이 나타난 시선 요(yaw)를 설명하기 위한 도면이다.
도 3을 참조하면, 졸음 상태가 아닌 정상 상태의 사용자는 한곳을 응시하다가 다른 곳을 보고 싶을 때는 빠르게 응시점(fixation)을 이동시켜 다른 지점을 응시하는 형태의 안구 운동을 한다. 이와 같은 안구운동을 단속적 이동(saccade)이라고 말하며, 시선 추적 카메라를 사용하여 측정하면 도 3과 같이 나타난다. 반면에 사용자가 졸음을 느끼거나 인지적 부주의를 하고 있는 경우 단속적 이동 대신에 느린 안구 운동이 나타난다. 즉 느린 안구 운동은 응시점과 응시점 사이에 단속적 이동(saccade)을 하지 않고 응시점이 흐르듯 움직이는 현상을 이야기 하며, 도 4와 같이 나타난다.
도 4를 참조하면 사용자가 응시하는 응시점에서 다른 응시점으로 이동할 때 직선 형태의 단속적 이동이 나타나게 되는데, 졸음 상태인 경우 직선형태가 흐트러진 상태인 느린 안구 이동 상태가 나타남을 알 수 있다.
이하, 도 5를 참조하여 본 발명의 일 실시 예에 따른 졸음 운전 관리 방법을 구체적으로 설명하기로 한다. 도 5은 본 발명의 일 실시 예에 따른 졸음 운전 관리 방법을 설명하기 위한 순서도이다.
이하에서는 도 1의 졸음 운전 관리 장치(100)가 도 5의 프로세스를 수행하는 것을 가정한다. 또한, 도 5의 설명에서, 장치에 의해 수행되는 것으로 기술된 동작은 졸음 운전 관리 장치(100)의 프로세서(130)에 의해 제어되는 것으로 이해될 수 있다.
도 5를 참조하면 졸음 운전 관리 장치(100)는 카메라(210)의 영상 데이터를 기반으로 사용자가 응시하고 있는 지점인 응시점(fixation)을 검출한다(S101). 이때, 응시점은 안구 움직임과 머리의 움직임이 더해져서 이동할 수 있으므로 졸음 운전 관리 장치(100)는 응시점에서 머리의 움직임에 의한 응시점을 차감하여 안구 움직임에 의한 응시점만을 출력한다.
졸음 운전 관리 장치(100)는 응시 시점과 요피치 센서(220)로부터 출력되는 값을 이용하여 차량 기준 상대 응시점을 외부 환경 기준 절대 응시점으로 변환한다(S102). 즉 카메라(210)는 차량에 장착되어 있기 때문에 카메라(210)로 측정된 응시점은 차량을 기준으로 한 상대적인 위치를 출력하게 된다. 하지만 이동하는 차량에서는 일반적인 느린 안구 운동과 다를 수 있다. 예를 들어 사용자가 외부의 한 지점을 응시하고 있을 때 차량이 움직이면 차량 내부 기준의 응시점은 천천히 이동하는 것으로 나타나게 되어 느린 안구 운동으로 오검출 될 수 있다. 이와 같은 현상을 방지하기 위해 졸음 운전 관리 장치(100)는 차량의 움직임을 보상한 응시점을 산출하여 느린 안구 운동을 검출해야 한다. 이에 졸음 운전 관리 장치(100)는 차량 기준 상대 응시점을 외부 환경 기준 절대 응시점으로 변환한다.
졸음 운전 관리 장치(100)는 응시점을 기반으로 느린 안구 운동을 확인한다(S103). 정상적인 상태의 사람은 한 곳을 응시하다 다른 곳을 보고 싶을 때는 빠르게 응시점(fixation)을 이동시켜 다른 지점을 응시하는 형태의 안구 운동을 한다. 이와 같은 안구운동을 단속적 이동(saccade)이라고 말하며, 시선 추적 카메라를 사용하여 측정하면 도 3과 같이 나타난다. 반면에 졸음을 느끼거나 인지적 부주의를 하고 있는 경우 느린안구운동이 나타난다. 느린안구운동은 응시점과 응시점 사이에 단속적 이동(saccade)을 하지 않고 응시점이 흐르듯 움직이는 현상을 이야기 하며, 도 4와 같이 나타난다.
졸음 운전 관리 장치(100)는 조향 토크 센서(230)로부터 출력되는 값을 이용하여 조향 토크 무변화 구간을 검출한다(S104). 검출 신뢰도를 높이기 위해 위 느린 안구 운동과 조향 토크 무변화 구간과 같은 시점에 감가속페달 및 기타 버튼에 대해 운전자의 조작이 없는지 확인한다.
졸음 운전 관리 장치(100)는 감가속 페달 센서(240) 및 스위치(250)로부터 인가되는 출력값을 기반으로 사용자 무조작 구간을 검출한다(S105).
이에 졸음 운전 관리 장치(100)는 느린 안구 운동, 조향 토크 무변화 구간, 및 사용자 무조작 구간이 동일 시점인지를 판단하여 졸음 운전 여부를 판단할 수 있다(S106).
사용자가 졸음 운전 중인 것으로 판단되면, 졸음 운전 관리 장치(100)는 경고 장치(300)를 통해 졸음 경고를 수행한다(S107).
도 6은 본 발명의 일 실시 예에 따른 안구 이동 산출 예시를 구체적으로 설명하기 위한 도면이다.
도 6을 참조하면, 졸음 운전 관리 장치(100)는 카메라(210)의 영상 데이터로부터 사용자 응시점 정보를 검출하고(S201), 머리 포즈 정보를 검출한다(S202).
이때, 사용자 응시점 정보는 시선 요각(Wgaze), 및 시선 피치각(Vgaze)을 포함하고, 머리 포즈 정보는 머리 포즈 요각(Whead) 및 머리 포즈 피치각(Vhead)을 포함한다.
졸음 운전 관리 장치(100)는 사용자 응시점 정보 및 머리 포즈 정보를 이용하여 차량 기준 안구 이동 정보를 산출한다(S203).
이때, 차량 기준 안구 이동 정보는 차량 기준 안구 이동 요각(W'eye) 및 차량 기준 안구 이동 피치각(V'eye)을 포함한다.
이때, 안구 이동 요각 및 차량 기준 안구 이동 피치각은 아래 수학식 1과 같이 산출될 수 있다.
[수학식 1]
즉 졸음 운전 관리 장치(100)는 시선 요각(Wgaze)에서 머리 포즈 요각(Whead)을 차감하여 차량 기준 안구 이동 요각(W'eye)을 산출하고, 졸음 운전 관리 장치(100)는 시선 피치각(Vgaze)에서 머리 포즈 피치각(Vhead)을 차감하여 차량 기준 안구 이동 피치각(V' eye)을 산출할 수 있다.
이때, 졸음 운전 관리 장치(100)는 시선 요각 및 시선 피치각의 이동량의 일정 비율(30%) 이상이 머리 포즈에 의해 발생한 경우, 이후 졸음운전 판단을 하지 않는다. 이는 얼굴(머리)을 돌리면서 시선을 움직인 경우 졸음운전이 아니기 때문이다.
이어, 졸음 운전 관리 장치(100)는 차량 요피치 센서(220)로부터 차량 요레이트(ycar) 및 차량 피치각(vcar)을 수신한다(S204).
졸음 운전 관리 장치(100)는 차량 기준 상대 응시점을 외부 환경 기준 절대 응시점으로 변환하기 위해, 차량 기준 안구 이동 정보, 차량 요레이트(ycar) 및 차량 피치각(vcar)을 이용하여 아래 수학식 2와 같이 외부 환경 기준 안구 이동 정보를 산출할 수 있다. 이때, 외부 환경 기준 안구 이동 정보는 외부 환경 기준 안구 이동 요각(weye) 및 외부 환경 기준 안구 이동 피치각(veye)을 포함할 수 있다.
[수학식 2]
즉, 졸음 운전 관리 장치(100)는 차량 기준 안구 이동 요각(W'eye)에서 차량 요레이트(ycar)의 평가기간(예, 2초) 중 적분값을 차분하여 외부 환경 기준 안구 이동 요각(weye)을 산출하고, 차량 기준 안구 이동 피치각(V'eye)에서 차량 피치각(vcar)을 차분하여 외부 환경 기준 안구 이동 피치각(veye)을 산출할 수 있다.
이어 졸음 운전 관리 장치(100)는 총 안구 이동 거리 기반으로 느린 안구 운동을 판단할 수 있다(S206).
즉 졸음 운전 관리 장치(100)는 아래 수학식 3과 같이, 외부 환경 기준 안구 이동 요각(weye) 및 외부 환경 기준 안구 이동 피치각(veye)을 합한 값의 절대값이 코사인(cos) 함수를 적용한 외부 환경 기준 안구 이동 요각(weye) 및 외부 환경 기준 안구 이동 피치각(veye)의 합을 아크코사인(cos -1) 함수에 적용한 값과 일치하는지를 판단하고, 일치하면 느린 안구 운동으로 판단할 수 있다.
[수학식 3]
예를 들어, 졸음 운전 관리 장치(100)는 2초간 안구 이동 거리가 10도 이상이고, 2초 내 300도/초 이상의 속도의 안구 이동이 없는 경우, 느린 안구 운동으로 판단할 수 있다. 졸음 운전 관리 장치(100)는 300도/초 이상의 속도로 안구 이동에 의한 응시점 이동이 나타난 경우를 단속적 이동(saccade)으로 판단할 수 있다.
이어 졸음 운전 관리 장치(100)는 조향 토크 최대값 및 최소값 기반을 과소 조향 여부를 판단한다(S207). 즉 졸음 운전 관리 장치(100)는 사용자의 악력 감소로 인한 조향 토크 무변화 구간을 검출하기 위해 조향 토크 센서의 출력값이 작은 값으로 유지되고 있는지를 확인한다. 예를 들어, 졸음 운전 관리 장치(100)는 2초 내 조향 토크 최대값에서 최소값을 뺀 값이 0.2Nm 미만이고, 2초 내 조향 토크 절대값 최대값이 0.4Nm 미만인 경우, 과소 조향 상태(조향 토크 무변화 구간)로 판단할 수 있다.
졸음 운전 관리 장치(100)는 턴시그널 작동, 감속/가속페달 변화, 각종 스위치 작동 여부를 판단한다(S208). 예를 들어, 졸음 운전 관리 장치(100)는 가속페달 각 5% 이상 변화 및 감속페달압력 10bar 이상 변화 시 사용자에 의한 스위치 조작 변화가 있었다고 판단한다.
졸음 운전 관리 장치(100)는 느린 안구 이동이 발생하고, 과소 조향 상태이고 턴시그널 작동, 감속/가속페달 변화, 각종 스위치 작동 등이 없는 경우 졸음 운전으로 판단한다(S209).
이와 같이, 본 발명은 기존의 졸음운전 검출 방법인 긴 눈개폐 검출보다 초기 졸음의 생체지표인 느린 안구 운동과 근육 이완을 기반으로 사용자의 졸음운전을 높은 신뢰성으로 검출하고 빠르고 적절한 시점에 경고를 제공할 수 있다.
또한, 본 발명은 사용자 얼굴 모니터링 카메라를 이용하여 느린안구운동과 단속적 응시점 이동을 판단하고자 할 때 차량의 요, 피치를 보상하여 차량 움직임에 의한 유사 느린 안구 운동의 오검출을 방지할 수 있어 더욱 정확한 졸음 운전 검출이 가능하다.
도 7은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.
도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1300), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하여, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 경우 상기 사용자가 졸음운전인 것으로 판단하는 프로세서; 및
    상기 프로세서에 의해 획득된 상기 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부 판단 결과를 저장하는 저장부를 포함하고,
    영상 데이터 기반 사용자의 응시점 정보 및 머리 포즈 정보를 기반으로 차량 기준 안구 이동 정보를 산출하고, 상기 차량 기준 안구 이동 정보를 기반으로 외부 환경 기준 안구 이동 정보를 산출하는 것을 특징으로 하는 졸음 운전 관리 장치.
  2. 청구항 1에 있어서,
    상기 프로세서는,
    미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 상태에서 사용자 조작이 없는 경우, 상기 사용자가 졸음 운전인 것으로 판단하는 것을 특징으로 하는 졸음 운전 관리 장치.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 응시점 정보는 시선 요(yaw)각 및 시선 피치(pitch)각을 포함하고,
    상기 머리 포즈 정보는 머리 포즈 요각 및 머리 포즈 피치각을 포함하는 것을 특징으로 하는 졸음 운전 관리 장치.
  5. 청구항 4에 있어서,
    상기 프로세서는,
    상기 시선 요각에서 상기 머리 포즈(head pose) 요각을 차분하여 상기 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 요각을 산출하고,
    상기 시선 피치각에서 상기 머리 포즈 피치각을 차분하여 상기 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 피치각을 산출하는 것을 특징으로 하는 졸음 운전 관리 장치.
  6. 청구항 5에 있어서,
    상기 프로세서는,
    상기 차량 기준 안구 이동 요각과 차량 요레이트를 이용하여 상기 외부 환경 기준 안구 이동 정보 중 외부 환경 기준 안구 이동 요각을 산출하고,
    상기 차량 기준 안구 이동 피치각과 차량 피치각을 이용하여 상기 외부 환경 기준 안구 이동정보 중 외부 환경 기준 안구 이동 피치각을 산출하는 것을 특징으로 하는 졸음 운전 관리 장치.
  7. 청구항 6에 있어서,
    상기 프로세서는,
    상기 외부 환경 기준 안구 이동 요각과 상기 외부 환경 기준 안구 이동 피치각을 합한 값을 이용하여 미리 정한 시간 동안의 안구 이동 거리를 산출하고, 상기 안구 이동 거리가 미리 정한 기준치 미만이면 상기 느린 안구 운동으로 판단하는 것을 특징으로 하는 졸음 운전 관리 장치.
  8. 청구항 1에 있어서,
    상기 프로세서는,
    조향 토크 센서의 출력값이 미리 정한 기준값 미만인 경우 상기 조향 토크 무변화 상태인 것으로 판단하는 것을 특징으로 하는 졸음 운전 관리 장치.
  9. 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하여, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 경우 상기 사용자가 졸음운전인 것으로 판단하는 졸음 운전 관리 장치; 및
    상기 졸음운전으로 판단된 경우, 사용자에게 경고를 출력하는 경고장치를 포함하고,
    상기 졸음 운전 관리 장치는,
    영상 데이터 기반 사용자의 응시점 정보 및 머리 포즈 정보를 기반으로 차량 기준 안구 이동 정보를 산출하고, 상기 차량 기준 안구 이동 정보를 기반으로 외부 환경 기준 안구 이동 정보를 산출하는 것을 특징으로 하는 차량 시스템.
  10. 청구항 9에 있어서,
    상기 경고장치는,
    시각, 촉각, 및 청각 중 적어도 하나 이상의 경고를 수행하는 것을 특징으로 하는 차량 시스템.
  11. 청구항 9에 있어서,
    사용자의 시선 정보 및 머리 포즈 정보를 검출하는 카메라;
    차량 요레이트 및 차량 피치각을 감지하는 요피치 센서;
    차량의 조향 토크의 변화를 감지하는 조향 토크 센서; 및
    감가속 페달 변화값을 감지하는 감가속 페달 센서;
    를 포함하는 것을 특징으로 하는 차량 시스템.
  12. 청구항 9에 있어서,
    상기 졸음 운전 관리 장치는,
    사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하여, 미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 경우 상기 사용자가 졸음운전인 것으로 판단하는 프로세서; 및
    상기 프로세서에 의해 획득된 상기 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부 판단 결과를 저장하는 저장부;
    를 포함하는 것을 특징으로 하는 차량 시스템.
  13. 청구항 12에 있어서,
    상기 프로세서는,
    미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 상태에서 사용자 조작이 없는 경우, 상기 사용자가 졸음 운전인 것으로 판단하는 것을 특징으로 하는 차량 시스템.
  14. 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계; 및
    미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 경우 상기 사용자가 졸음운전인 것으로 판단하는 단계를 포함하고
    상기 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계는,
    영상 데이터 기반 사용자의 응시점 정보 및 머리 포즈 정보를 기반으로 차량 기준 안구 이동 정보를 산출하고, 상기 차량 기준 안구 이동 정보를 기반으로 외부 환경 기준 안구 이동 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 졸음 운전 관리 방법.
  15. 청구항 14에 있어서,
    상기 사용자가 졸음운전인 것으로 판단하는 단계는,
    미리 정한 시간 동안 상기 사용자의 느린 안구 운동이 발생하고 상기 조향 토크가 무변화한 상태에서 사용자 조작이 없는 경우, 상기 사용자가 졸음 운전인 것으로 판단하는 것을 특징으로 하는 졸음 운전 관리 방법.
  16. 삭제
  17. 청구항 14에 있어서,
    상기 응시점 정보는 시선 요(yaw)각 및 시선 피치(pitch)각을 포함하고,
    상기 머리 포즈 정보는 머리 포즈 요각 및 머리 포즈 피치각을 포함하는 것을 특징으로 하는 졸음 운전 관리 방법.
  18. 청구항 17에 있어서,
    상기 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계는,
    상기 시선 요각에서 상기 머리 포즈(head pose) 요각을 차분하여 상기 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 요각을 산출하고,
    상기 시선 피치각에서 상기 머리 포즈 피치각을 차분하여 상기 차량 기준 안구 이동 정보 중 차량 기준 안구 이동 피치각을 산출하는 것을 특징으로 하는 졸음 운전 관리 방법.
  19. 청구항 18에 있어서,
    상기 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계는,
    상기 차량 기준 안구 이동 요각과 차량 요레이트를 이용하여 상기 외부 환경 기준 안구 이동 정보 중 외부 환경 기준 안구 이동 요각을 산출하고,
    상기 차량 기준 안구 이동 피치각과 차량 피치각을 이용하여 상기 외부 환경 기준 안구 이동정보 중 외부 환경 기준 안구 이동 피치각을 산출하는 것을 특징으로 하는 졸음 운전 관리 방법
  20. 청구항 19에 있어서,
    상기 사용자의 느린 안구 운동 발생 여부 및 조향 토크 무변화 여부를 판단하는 단계는,
    상기 외부 환경 기준 안구 이동 요각과 상기 외부 환경 기준 안구 이동 피치각을 합한 값을 이용하여 미리 정한 시간 동안의 안구 이동 거리를 산출하고, 상기 안구 이동 거리가 미리 정한 기준치 미만이면 상기 느린 안구 운동으로 판단하는 것을 특징으로 하는 졸음 운전 관리 방법.
KR1020190039170A 2019-04-03 2019-04-03 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법 KR102610759B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190039170A KR102610759B1 (ko) 2019-04-03 2019-04-03 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법
US16/668,613 US10882533B2 (en) 2019-04-03 2019-10-30 Drowsy driving management device, system including the same, and method thereof
CN201911121476.XA CN111845758A (zh) 2019-04-03 2019-11-15 疲劳驾驶管理装置、包括该装置的系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190039170A KR102610759B1 (ko) 2019-04-03 2019-04-03 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200117278A KR20200117278A (ko) 2020-10-14
KR102610759B1 true KR102610759B1 (ko) 2023-12-08

Family

ID=72661806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190039170A KR102610759B1 (ko) 2019-04-03 2019-04-03 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US10882533B2 (ko)
KR (1) KR102610759B1 (ko)
CN (1) CN111845758A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113650624B (zh) * 2021-08-30 2024-01-19 东风柳州汽车有限公司 驾驶提醒方法、设备、存储介质及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865590B1 (ko) * 2016-12-23 2018-07-16 성균관대학교 산학협력단 졸음운전감지를 위한 차량주행정보 처리 방법 및 이를 이용한 졸음운전감지 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091334A (en) 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
US7500752B2 (en) * 2004-04-28 2009-03-10 Natus Medical Incorporated Diagnosing and training the gaze stabilization system
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
US20080243558A1 (en) * 2007-03-27 2008-10-02 Ash Gupte System and method for monitoring driving behavior with feedback
KR101490910B1 (ko) 2012-12-26 2015-02-11 현대자동차 주식회사 졸음운전 검출방법
US20160052524A1 (en) * 2014-08-25 2016-02-25 Hyundai Motor Company System and method for alerting drowsy driving
JP6358212B2 (ja) * 2015-09-17 2018-07-18 トヨタ自動車株式会社 車両用覚醒制御システム
DE102016208405A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem
KR20180136851A (ko) * 2017-06-15 2018-12-26 임철수 운전자 졸음상태표시장치 및 그 방법
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865590B1 (ko) * 2016-12-23 2018-07-16 성균관대학교 산학협력단 졸음운전감지를 위한 차량주행정보 처리 방법 및 이를 이용한 졸음운전감지 장치

Also Published As

Publication number Publication date
KR20200117278A (ko) 2020-10-14
US10882533B2 (en) 2021-01-05
US20200317208A1 (en) 2020-10-08
CN111845758A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
KR101896790B1 (ko) 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
KR102506871B1 (ko) 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
US20210094583A1 (en) Apparatus for monitoring driver, system having the same, and method thereof
KR20180072519A (ko) 각막 반사 검출을 이용한 운전자 상태 모니터링
US11535260B2 (en) Attention-based notifications
US10029568B2 (en) System for warning of drowsiness of driver and method thereof
US20210016804A1 (en) Driving assistance apparatus
US20180354529A1 (en) Risk index transformation apparatus
KR102610759B1 (ko) 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법
JP5644414B2 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
JP6672972B2 (ja) 安全運転支援装置及び安全運転支援プログラム
JP5664202B2 (ja) 運転支援装置
JP2006309432A (ja) 運転者状態推定装置
JP4968133B2 (ja) 車両用警報装置
US20230081020A1 (en) Driving assistance device and driving assistance system
KR20170142717A (ko) 운전자 부주의검출 시스템 및 그 방법
KR20130080914A (ko) 아이 트래커에 기초하여 디스플레이 모드를 컨트롤 하는 자동차 시스템의 제어 방법 및 컨트롤러
JP6806627B2 (ja) 情報制御装置
KR20050057896A (ko) 차량 사고 방지 안전장치 및 제어방법
KR20180055482A (ko) 차량의 급조작 제어 장치 및 방법
CN117818631A (zh) 驾驶员控制力减弱检测系统、方法
KR20210153800A (ko) 자율 주행 제어 장치 및 그 방법
JP2023027699A (ja) ドライバー状態判定装置
KR20220122405A (ko) 졸음운전사고 방지 장치 및 방법
KR20230147469A (ko) 차량용 엠비언트 라이트 제어 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right