KR20220014945A - 운전자 모니터링 시스템 및 방법 - Google Patents

운전자 모니터링 시스템 및 방법 Download PDF

Info

Publication number
KR20220014945A
KR20220014945A KR1020200094559A KR20200094559A KR20220014945A KR 20220014945 A KR20220014945 A KR 20220014945A KR 1020200094559 A KR1020200094559 A KR 1020200094559A KR 20200094559 A KR20200094559 A KR 20200094559A KR 20220014945 A KR20220014945 A KR 20220014945A
Authority
KR
South Korea
Prior art keywords
driver
vehicle
sensor
driving
controller
Prior art date
Application number
KR1020200094559A
Other languages
English (en)
Inventor
박지오
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200094559A priority Critical patent/KR20220014945A/ko
Priority to EP21186455.8A priority patent/EP3945509A1/en
Priority to US17/385,154 priority patent/US11608070B2/en
Priority to CN202110843338.3A priority patent/CN114103960A/zh
Publication of KR20220014945A publication Critical patent/KR20220014945A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/05—Big data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18091—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/05—Leading to automatic stopping of the vehicle

Abstract

운전자의 신체 상태 정보를 검출하는 제1 센서; 차량의 주행 상태 정보를 검출하는 제2 센서; 및 상기 제1 센서에서 검출된 신체 상태 정보에 기반하여 운전자 신체 이상 발생 여부를 판단하고, 상기 제2 센서에서 검출된 주행 상태 정보를 기반으로 상기 운전자의 주행 패턴 이상 여부를 판단하는 컨트롤러를 포함하는 운전자 모니터링 시스템이 개시된다.

Description

운전자 모니터링 시스템 및 방법{SYSTEM AND METHOD FOR MONITERING DRIVER}
본 발명은 운전자 모니터링 시스템 및 방법에 관한 것으로, 더욱 상세하게는 운전자 신체 상태나 차량 주행 상태 등을 고려하여 운전자의 이상 상태를 판단하고 이를 경고할 뿐만 아니라 차량을 안전하게 안전지대로 대피시킬 수 있는 운전자 모니터링 시스템 및 방법에 관한 것이다.
교통 사고의 주된 원인으로 운전자의 졸음 운전이 사회적 이슈로 대두됨에 따라 차량 제조사들은 운전자의 안면을 인식하여 운전자가 졸음을 느끼는지 미리 판단하고 사전에 경고하기 위한 졸음 운전 방지 시스템을 개발, 적용하고 있다.
그러나 종래의 시스템은 단순히 카메라를 이용하여 촬영된 운전자의 얼굴을 인식하고 영상 처리를 통해 운전 여부를 판단하는 것으로, 카메라가 운전자의 얼굴을 인식하기 어려운 환경(예를 들어, 야간 또는 외부의 강한 빛이 운전석에 비치는 상태 등)에서는 정확한 안면 인식이 불가능하게 되는 문제점이 있다.
또한, 종래의 시스템은 인식된 안면에서 주로 운전자의 눈모양을 기반으로 운전자의 졸음 여부를 판단하므로, 졸음 이외에 운전자의 급작스러운 신체 이상으로 인한 운전 불가 상태를 인식하지 못하는 문제점이 있다.
더불어, 종래의 시스템은 운전자의 졸음 인식 시 단순히 경고음을 울리는 등의 조치만 이루어질 뿐이므로 운전자가 차량 주행이 불가한 상태가 되더라도 차량의 주행이 계속 이루어져 큰 사고를 유발하게 되는 문제가 발생할 수 있다.
KR 10-2016-0133284 A KR 10-2016-0129984 A
이에, 본 발명은 카메라를 통해 촬영된 영상을 통해 안면을 인식하여 운전자의 졸음을 판단할 뿐만 아니라 다양한 운전자의 상태, 차량 상태 및 주행 환경을 고려하여 운전자의 이상 상태를 판별하고, 그에 따라 차량을 안전한 위치까지 이동시킬 수 있는 운전자 모니터링 시스템 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.
상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,
운전자의 신체 상태 정보를 검출하는 제1 센서;
차량의 주행 상태 정보를 검출하는 제2 센서; 및
상기 제1 센서에서 검출된 신체 상태 정보에 기반하여 운전자 신체 이상 발생 여부를 판단하고, 상기 제2 센서에서 검출된 주행 상태 정보를 기반으로 상기 운전자의 주행 패턴 이상 여부를 판단하는 컨트롤러;
를 포함하는 운전자 모니터링 시스템을 제공한다.
본 발명의 일 실시형태에서, 상기 컨트롤러는, 상기 운전자의 신체 상태 정보에 대한 빅데이터 분석값을 저장하는 저장부 및 상기 제1 센서에서 검출된 신체 상태 정보와 상기 빅데이터 분석값을 비교한 결과를 기반으로 운전자 신체 이상 발생 여부를 판단하는 신체 이상 판단부를 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 제1 센서는, 상기 운전자가 착용하여 상기 운전자의 심박수를 검출하고, 무선 통신을 통해 상기 컨트롤러로 상기 심박수를 전송하는 웨어러블 장치 또는 상기 차량의 스티어링 휠에 구비되어 접촉한 운전자의 손으로부터 운전자의 심박수를 검출하는 심박수 측정기를 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 컨트롤러는, 상기 운전자의 주행 패턴에 대한 빅데이터 분석값을 저장하는 저장부 및 상기 제2 센서에서 검출된 주행 상태 정보와 상기 빅데이터 분석값을 비교한 결과를 기반으로 주행 패턴 이상 여부를 판단하는 주행 상태 판단부를 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 제2 센서는, 차량 전방을 촬영하는 카메라 또는 차량의 요(yaw) 값을 측정하는 요 센서 또는 차량의 조향각을 검출하는 조향각 센서를 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 컨트롤러는, 상기 운전자 신체 이상이 발생한 것으로 판단하거나 상기 주행 패턴 이상이 발생한 것으로 판단한 경우, 상기 차량을 안전 지대로 유도하여 정차시키는 자율주행 제어부를 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 자율주행 제어부는, 상기 운전자 신체 이상이 발생한 것으로 판단하거나 상기 주행 패턴 이상이 발생한 것으로 판단한 경우, 차량의 전방을 촬영하는 카메라에서 촬영된 영상을 기반으로 도로의 최외곽 차선을 검출하거나 레이다/라이다에서 검출된 도로 최외곽의 구조물을 인식하고, 차량의 후측방 경고 시스템을 통해 후방차량을 확인한 후 차량의 속도를 감속하면서 스티어링 휠을 조정하여 도로의 최외곽으로 차량을 이동시키고 도로 최외곽 도착 후 차량을 정차 시킬 수 있다.
본 발명의 일 실시형태에서, 상기 컨트롤러는, 상기 카메라에서 촬영된 영상에서 최외곽 차선을 검출하도록 학습된 딥러닝 네트워크 또는 상기 레이다/라이다의 입력 신호에서 도로 최외곽 구조물을 검출하도록 학습된 딥러닝 네트워크를 포함하는 저장부를 더 포함하며, 상기 자율주행 제어부는, 상기 딥러닝 네트워크에 상기 카메라에서 촬영된 영상 또는 상기 레이다/라이다의 입력 신호를 입력하여 상기 최외곽 차선 또는 상기 최외곽 구조물을 검출할 수 있다.
상기 기술적 과제를 해결하기 위한 다른 수단으로서 본 발명은,
컨트롤러가, 차량에 구비된 제1 센서에서 검출된 운전자의 신체 상태 정보 및 차량에 구비된 제2 센서에서 검출된 차량의 주행 상태 정보를 입력 받는 단계; 및
상기 컨트롤러가, 상기 제1 센서에서 검출된 신체 상태 정보에 기반하여 운전자 신체 이상 발생 여부를 판단하고, 상기 제2 센서에서 검출된 주행 상태 정보를 기반으로 상기 운전자의 주행 패턴 이상 여부를 판단하는 단계
를 포함하는 운전자 모니터링 방법을 제공한다.
본 발명의 일 실시형태에서, 상기 판단하는 단계는, 상기 컨트롤러가, 운전자의 신체 상태 정보에 대한 빅데이터 분석값과 상기 제1 센서에서 검출된 신체 상태 정보를 비교한 결과를 기반으로 운전자 신체 이상 발생 여부를 판단할 수 있다.
본 발명의 일 실시형태에서, 상기 제1 센서는, 상기 운전자가 착용하여 상기 운전자의 심박수를 검출하고, 무선 통신을 통해 상기 컨트롤러로 상기 심박수를 전송하는 웨어러블 장치 또는 상기 차량의 스티어링 휠에 구비되어 접촉한 운전자의 손으로부터 운전자의 심박수를 검출하는 심박수 측정기를 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 판단하는 단계는, 상기 컨트롤러가 상기 운전자의 주행 패턴에 대한 빅데이터 분석값과 상기 제2 센서에서 검출된 주행 상태 정보를 비교한 결과를 기반으로 주행 패턴 이상 여부를 판단할 수 있다.
본 발명의 일 실시형태에서, 상기 제2 센서는, 차량 전방을 촬영하는 카메라 또는 차량의 요(yaw) 값을 측정하는 요 센서 또는 차량의 조향각을 검출하는 조향각 센서를 포함할 수 있다.
본 발명의 일 실시형태는, 상기 컨트롤러가, 상기 운전자 신체 이상이 발생한 것으로 판단하거나 상기 주행 패턴 이상이 발생한 것으로 판단한 경우, 자율주행 제어를 통해 상기 차량을 안전 지대로 유도하여 정차시키는 자율주행 단계를 더 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 자율주행 단계는, 상기 운전자 신체 이상이 발생한 것으로 판단하거나 상기 주행 패턴 이상이 발생한 것으로 판단한 경우, 차량의 전방을 촬영하는 카메라에서 촬영된 영상을 기반으로 도로의 최외곽 차선을 검출하거나 레이다/라이다에서 검출된 도로 최외곽의 구조물을 인식하는 단계; 및 차량의 후측방 경고 시스템을 통해 후방차량을 확인한 후 차량의 속도를 감속하면서 스티어링 휠을 조정하여 도로의 최외곽으로 차량을 이동시키고 도로 최외곽 도착 후 차량을 정차시키는 단계를 더 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 자율주행 단계는, 상기 카메라에서 촬영된 영상에서 최외곽 차선을 검출하도록 학습된 딥러닝 네트워크 또는 상기 레이다/라이다의 입력 신호에서 도로 최외곽 구조물을 검출하도록 학습된 딥러닝 네트워크에 상기 카메라에서 촬영된 영상 또는 상기 레이다/라이다의 입력 신호를 입력하여 상기 최외곽 차선 또는 상기 최외곽 구조물을 검출할 수 있다.
상기 운전자 모니터링 시스템 및 방법에 따르면, 단순히 운전자의 안면 영상을 이용한 졸음 인식뿐만 아니라 운전자의 건강 상태에 대한 정보 및 운전자의 운전 패턴 정보를 활용하여 운전자의 신체 이상 또는 그에 따른 주행 이상을 신속하게 검출하여 경보할 수 있어 안전 운전에 도움을 줄 수 있다.
또한, 상기 운전자 모니터링 시스템 및 방법에 따르면, 운전 중 운전자가 운전이 불가할 정도로 건강 상태에 문제가 발생한 경우에도, 차량에 마련된 다양한 차량 안전 관련 센서들을 활용하여 비교적 기초 수준의 자율 주행을 통해 차량이 안전하게 안전지대로 대피하게 할 수 있어, 차량 사고 예방 및 인명 사고 예방에 큰 도움이 될 수 있다.
도 1은 본 발명의 일 실시형태에 따른 운전자 모니터링 시스템을 도시한 블록 구성도이다.
도 2는 본 발명의 일 실시형태에 따른 운전자 모니터링의 컨트롤러를 더욱 상세하게 도시한 블록 구성도이다.
도 3은 본 발명의 일 실시형태에 따른 운전자 모니터링 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 실시형태에 따른 운전자 모니터링 방법에 적용되는 자율주행 제어를 통한 차량 안전지대 이동 방법을 도시한 흐름도이다.
이하, 첨부의 도면을 참조하여 다양한 실시 형태에 따른 운전자 모니터링 시스템 및 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시형태에 따른 운전자 모니터링 시스템을 도시한 블록 구성도이다. 도 2는 본 발명의 일 실시형태에 따른 운전자 모니터링의 컨트롤러를 더욱 상세하게 도시한 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시형태에 따른 운전자 모니터링 시스템은, 운전자의 신체 상태 정보 및 차량의 주행 상태 정보를 검출하기 위해 구비된 각종 센서들(10, 20, 30, 40)과 이 센서들(10, 20, 30, 40)에서 입력된 신호를 기반으로 운전자의 상태를 판단하고 운전자 상태가 비정상인 경우 이를 경고하거나 자율주행을 통해 차량을 안전지대로 이동시킨 후 정지시키는 컨트롤러(100)를 포함하여 구성될 수 있다.
센서들은 운1전자의 신체 상태 정보를 검출하기 위한 제1 센서와 차량의 주행 상태 정보를 검출하기 위한 제2 센서로 구분될 수 있다.
예를 들어, 제1 센서는 운전자의 심박수를 측정할 수 있는 스마트 워치와 같은 웨어러블 장치(20) 또는 차량의 스티어링 휠에 구비되어 운전자가 손으로 스티어링 휠을 잡을 때 손과 접촉하여 손을 통해 운전자의 심박수를 측정할 수 있는 심박수 측정기(30) 등을 포함할 수 있다
또한, 제2 센서는 차량의 주행 패턴을 검출할 수 있는 센서로서 차량의 전방을 촬영하는 카메라(10) 또는 운전자가 졸음 상태이거나 운전이 불가한 상태에서 차량의 거동을 검출할 수 있는 센서로서 주로 차량이 좌우로 흔들리거나 비틀거리는 것을 검출할 수 있는 차량의 요(yaw) 값을 측정하는 요 센서 또는 차량의 조향각을 검출하는 조향각 센서와 같은 주행 정보 센서(40)를 포함할 수 있다.
컨트롤러(100)는 제1 센서로부터 수집된 정보를 이용하여 운전자의 신체 이상을 판단할 수 있는 신체 이상 판단부(110)와 제2 센서로부터 수집된 정보를 이용하여 주행 패턴의 이상 여부를 판단할 수 있는 주행 상태 판단부(120)를 포함할 수 있다.
더하여, 컨트롤러(100)는 신체 이상 판단부(110)와 주행 상태 판단부(120)가 각각 이상 여부를 판단하는데 사용되는 기준값을 저장하는 저장부(130)를 더 포함할 수 있다.
저장부(130)에는 운전자의 신체 상태 정보에 대한 빅데이터 분석값을 저장하거나 운전자의 주행 패턴에 관련된 빅데이터 분석값을 저장하는 저장부(130)를 더 포함할 수 있다.
예를 들어, 저장부(130)는 이전에 축적된 운전자의 심박수에 대한 빅데이터 정보를 이용하여 도출되는 운전자의 정상 심박수 범위나, 운전자의 연령이나 성별에 해당하는 무작위의 사람들을 통해 수집된 빅데이터 정보를 이용하여 도출되는 정상 심박수 범위 등을 저장할 수 있다. 신체 이상 판단부(110)는 저장부(130)에 저장된 빅데이터 분석 정보인 정상 범위의 심박수 정보와 제1 센서에 의해 수신된 실시간 운전자의 심박수 정보를 상호 비교하여 운전자 신체 상태에 이상이 발생하였는지 판단할 수 있다.
또한, 저장부(130)는 이전에 축적된 운전자의 운전 패턴 관련 정보를 분석한 빅데이터 정보를 저장할 수 있다. 여기서 빅데이터 정보는 카메라에 의해 수집된 영상을 통해 검출될 수 있는 차선의 위치나 요 센서에 의해 검출되는 차량의 요 값 변화 또는 운전자의 스티어링 휠의 회전 정도를 나타내는 조향각의 변화 등이 될 수 있다. 주행상태 판단부(120)는 저장부(130)에 저장된 빅데이터 분석 정보인 전방 영상에서의 차선 위치, 요 값 변화 또는 조향각 변화 등의 패턴과 제2 센서에 의해 수신된 실시간 검출값의 변화 패턴을 비교하여 그 변화 패턴이 일정 수준 이상 차이가 나는 경우 운전자에게 이상이 발생하여 주행 패턴에 차이가 발생한 것으로 판단할 수 있다.
이상의 설명에서, 제2 센서로서 주로 카메라(10), 요 센서, 조향각 센서 등을 예로 들었으나, 운전자의 주행 패턴 즉, 운전자의 운전 습관을 판단할 수 있는 다양한 다른 센서들이 선택적으로 채용될 수도 있다.
한편, 컨트롤러(100)의 신체 이상 판단부(110)와 주행 상태 판단부(120)는 이상이 발생한 것으로 판단한 경우, 차량의 AVN(Audio Video Navigation)(50)으로 경보신호를 전송하고 경보신호를 수신한 AVN(50)은 시각적 및 청각적 방법으로 운전자가 각성할 수 있도록 경보를 할 수 있다.
또한, 컨트롤러(100)는 경보신호 출력 이후 운전자가 안전지대로 차량을 이동하여 정지하지 않거나 이상이 발생한 신체 상태 또는 주행 패턴을 유지하는 경우 안전지대로 자동으로 유도할 수 있도록 차량을 제어하는 자율주행 제어부(140)를 더 포함할 수 있다.
자율주행 제어부(140)는 차량에 설치된 카메라(10), 레이다/라이다(60) 및 후측방 경고 시스템(Blind-spot Collision Warning system: BCW system)(70)을 이용하여 차량이 주행 중인 도로의 최외곽으로 이동하도록 제어하고 최외곽 이동 후 차량 주행을 정지하게 할 수 있다.
도 3은 본 발명의 일 실시형태에 따른 운전자 모니터링 방법을 도시한 흐름도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시형태에 따른 운전자 모니터링 방법은, 전술한 운전자 모니터링 시스템에 의해 구현되는 것으로, 차량에 구비된 센서들(10, 20, 30, 40)로부터 운전자의 신체 상태 정보 및 차량의 주행 상태 정보를 입력 받는 단계(S11, S12)와, 컨트롤러(100)가 입력 받은 신체 상태 정보 및 차량의 주행 상태 정보를 기반으로 이상 여부를 판단하는 단계(S13)를 포함하여 구성될 수 있다.
운전자의 신체 상태 정보는 운전자가 착용한 웨어러블 장치(스마트 워치)(20)에 구비된 심박수 측정 센서 또는 차량의 스티어링 휠에 구비된 심박수 측정기(30)에서 측정될 수 있으며, 공지의 무선 통신 방식 또는 차량 내 신호 통신 방식(예를 들어, CAN)을 통해 컨트롤러(100)로 제공될 수 있다.
또한, 차량의 주행 상태 정보는 카메라(10)에서 촬영된 영상 또는 영상을 분석한 정보이거나, 요 센서나 조향각 센서 등과 같은 주행 정보 센서(40)를 통해 검출된 정보일 수 있으며, 공지의 무선 통신 방식 또는 차량 내 신호 통신 방식을 통해 컨트롤러(100)로 제공될 수 있다.
이어, 단계(S13)에서, 컨트롤러(100)의 신체 이상 판단부(110)는 저장부(130)에 저장된 빅데이터 분석 정보인 정상 범위의 심박수 정보와 입력 받은 수신된 실시간 운전자의 심박수 정보를 상호 비교하여 운전자 신체 상태에 이상이 발생하였는지 판단할 수 있다. 마찬가지로 단계(S13)에서, 컨트롤러(100)의 주행 상태 판단부(120)는 저장부(130)에 저장된 빅데이터 분석 정보인 전방 영상에서의 차선 위치, 요 값 변화 또는 조향각 변화 등의 패턴과 제2 센서에 의해 수신된 실시간 검출값의 변화 패턴을 비교하여 그 변화 패턴이 일정 수준 이상 차이가 나는 경우 운전자에게 이상이 발생하여 주행 패턴에 차이가 발생한 것으로 판단할 수 있다.
단계(S13)에서 운전자의 신체에 이상이 발생하였거나 차량의 주행 패턴이 기존의 주행 패턴과 일정 수준 이상 차이가 발생한 경우, 컨트롤러(100)는 차량의 AVN(50)으로 경보신호를 전송하여, AVN(50)에서 시각적 및 청각적 방법으로 운전자가 각성할 수 있도록 경보를 발생하게 할 수 있다(S14).
이어, 컨트롤러(100)는 차량이 안전지대로 이동하여 정차하였는지 확인할 수 있다(S15). 단계(S14)에서 경보 발생이 이루어진 이후 단계(S15)에서, 컨트롤러(100)는 경보에 반응하여 운전자의 신체 상태나 운전 패턴이 정상으로 복귀하거나 운전자가 차량을 안전지대로 이동시켜 정차하면 별도의 후속 조치가 필요 없는 것으로 판단할 수 있지만, 그렇지 못한 경우에는 운전자가 경보에도 불구하고 계속 이상 상태로 주행 중인 것으로 판단할 수 있다(S15).
단계(S15)에서 경보에 따른 후속 조치(안전지대 이동 또는 신체/주행 상태의 개선)이 이루어지지 않는 경우, 컨트롤러(100)의 자율주행 제어부(140)는 차량 내 마련된 자율주행에 필요한 각종 센서들과 시스템을 활용하여 차량을 자동으로 안전지대로 이동하게 할 수 있다(S16).
도 4는 본 발명의 일 실시형태에 따른 운전자 모니터링 방법에 적용되는 자율주행 제어를 통한 차량 안전지대 이동 방법을 도시한 흐름도이다.
도 4를 참조하면, 자율 주행을 통해 차량을 안전지대로 이동시켜 정차시켜야 하는 것으로 판단되면, 컨트롤러(100)는 우선 차량에 설치된 카메라(10) 또는 차량 전방의 물체를 인식할 수 있는 레이다/라이다(60)를 활용하여 차량이 주행 중인 도로의 최외곽 차선 또는 최외곽 구조물(가드레일 또는 벽 등)을 인식할 수 있다(S161). 양호한 품질의 영상 촬영이 가능한 주간 주행인 경우에는 주로 카메라(10)에서 촬영된 영상을 통해 최외곽 차선이나 최외곽 구조물을 인식할 수 있으며, 야간 주행인 경우에는 레이다/라이다(60)를 통해 최외곽 구조물을 인식한 이후 카메라(10)에 촬영된 영상에서 인식된 최외곽 구조물의 위치를 확인하는 방식 등으로 차선을 인식할 수 있다. 물론, 차량에 마련된 AVN(50)에서 도출되는 차량의 위치 정보 및 지도 정보를 차선 인식 또는 안전지대 인식에 활용할 수도 있다.
단계(S161)에서 인식된 최외곽 차선이나 최외곽 구조물을 통해 차량이 정차 가능한 안전지대가 있는 것으로 확인되면(S162), 컨트롤러(100)는 차량의 후측방 경보 시스템(70)을 이용하여 차량 후측방, 특히 차량이 주행 중인 차선의 외곽 방향 차선에 타 차량이 접근하는지 확인할 수 있다(S163).
이어, 컨트롤러(100)는 차량 후측방에 접근 중인 차량이 없거나 충분한 안전거리가 확보된 것으로 확인되면 차량 감속 제어 이후 스티어링 휠을 제어하여 외곽 방향 차선으로 차량을 이동시킬 수 있다(S164). 물론, 이 때 전방 레이다/라이다(60)를 활용하여 전방 물체와의 충분한 거리 확보가 이루어질 수 있도록 차량의 속도 제어를 수행할 수 있다.
차량의 후방을 확인하고 차량 감속 및 주행 차선의 이동을 통해, 인식된 안전 지대까지 차량이 도달하면 차량을 정차시키고 자율주행 제어를 종료할 수 있다(S165). 차량이 안전지대에 도달한 이후에 컨트롤러(100)는 장거리 통신 기능을 활용하여 관제 센터 또는 지정된 전화번호 등을 이용하여 운전자 상태에 이상이 발생하였음을 알릴 수 있다.
이상에서 설명한 바와 같이, 본 발명의 여러 실시형태에 따른 운전자 모니터링 시스템 및 방법은, 단순히 운전자의 안면 영상을 이용한 졸음 인식뿐만 아니라 운전자의 건강 상태에 대한 정보 및 운전자의 운전 패턴 정보를 활용하여 운전자의 신체 이상 또는 그에 따른 주행 이상을 신속하게 검출할 수 있다.
또한, 본 발명의 여러 실시형태에 따른 운전자 모니터링 시스템 및 방법은, 운전 중 운전자가 운전이 불가할 정도로 건강 상태에 문제가 발생한 경우에도, 차량에 마련된 다양한 차량 안전 관련 센서들을 활용하여 비교적 기초 수준의 자율 주행을 통해 차량이 안전하게 안전지대로 대피하게 할 수 있어, 차량 사고 예방에 큰 도움이 될 수 있다.
이상에서 본 발명의 특정한 실시형태에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 기술분야에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
10: 카메라 20: 웨어러블 장치
30: 심박수 측정기 40: 주행정보 센서
50: AVN(Audio Video Navigation)
60: 레이다/라이다 70: 후측방 경고 시스템
100: 컨트롤러 110: 신체 이상 판단부
120: 주행 상태 판단부 130: 저장부
140: 자율주행 제어부

Claims (16)

  1. 운전자의 신체 상태 정보를 검출하는 제1 센서;
    차량의 주행 상태 정보를 검출하는 제2 센서; 및
    상기 제1 센서에서 검출된 신체 상태 정보에 기반하여 운전자 신체 이상 발생 여부를 판단하고, 상기 제2 센서에서 검출된 주행 상태 정보를 기반으로 상기 운전자의 주행 패턴 이상 여부를 판단하는 컨트롤러;
    를 포함하는 운전자 모니터링 시스템.
  2. 청구항 1에 있어서,
    상기 컨트롤러는, 상기 운전자의 신체 상태 정보에 대한 빅데이터 분석값을 저장하는 저장부 및 상기 제1 센서에서 검출된 신체 상태 정보와 상기 빅데이터 분석값을 비교한 결과를 기반으로 운전자 신체 이상 발생 여부를 판단하는 신체 이상 판단부를 포함하는 것을 특징으로 하는 운전자 모니터링 시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 제1 센서는, 상기 운전자가 착용하여 상기 운전자의 심박수를 검출하고, 무선 통신을 통해 상기 컨트롤러로 상기 심박수를 전송하는 웨어러블 장치 또는 상기 차량의 스티어링 휠에 구비되어 접촉한 운전자의 손으로부터 운전자의 심박수를 검출하는 심박수 측정기를 포함하는 것을 특징으로 하는 운전자 모니터링 시스템.
  4. 청구항 1에 있어서,
    상기 컨트롤러는, 상기 운전자의 주행 패턴에 대한 빅데이터 분석값을 저장하는 저장부 및 상기 제2 센서에서 검출된 주행 상태 정보와 상기 빅데이터 분석값을 비교한 결과를 기반으로 주행 패턴 이상 여부를 판단하는 주행 상태 판단부를 포함하는 것을 특징으로 하는 운전자 모니터링 시스템.
  5. 청구항 1 또는 청구항 4에 있어서,
    상기 제2 센서는, 차량 전방을 촬영하는 카메라 또는 차량의 요(yaw) 값을 측정하는 요 센서 또는 차량의 조향각을 검출하는 조향각 센서를 포함하는 것을 특징으로 하는 운전자 모니터링 시스템.
  6. 청구항 1, 청구항 2 및 청구항 4 중 어느 한 청구항에 있어서,
    상기 컨트롤러는, 상기 운전자 신체 이상이 발생한 것으로 판단하거나 상기 주행 패턴 이상이 발생한 것으로 판단한 경우, 상기 차량을 안전 지대로 유도하여 정차시키는 자율주행 제어부를 포함하는 것을 특징으로 하는 운전자 모니터링 시스템.
  7. 청구항 6에 있어서,
    상기 자율주행 제어부는, 상기 운전자 신체 이상이 발생한 것으로 판단하거나 상기 주행 패턴 이상이 발생한 것으로 판단한 경우, 차량의 전방을 촬영하는 카메라에서 촬영된 영상을 기반으로 도로의 최외곽 차선을 검출하거나 레이다/라이다에서 검출된 도로 최외곽의 구조물을 인식하고, 차량의 후측방 경고 시스템을 통해 후방차량을 확인한 후 차량의 속도를 감속하면서 스티어링 휠을 조정하여 도로의 최외곽으로 차량을 이동시키고 도로 최외곽 도착 후 차량을 정차 시키는 것을 특징으로 하는 운전자 모니터링 시스템.
  8. 청구항 7에 있어서,
    상기 컨트롤러는 상기 카메라에서 촬영된 영상에서 최외곽 차선을 검출하도록 학습된 딥러닝 네트워크 또는 상기 레이다/라이다의 입력 신호에서 도로 최외곽 구조물을 검출하도록 학습된 딥러닝 네트워크를 포함하는 저장부를 더 포함하며,
    상기 자율주행 제어부는, 상기 딥러닝 네트워크에 상기 카메라에서 촬영된 영상 또는 상기 레이다/라이다의 입력 신호를 입력하여 상기 최외곽 차선 또는 상기 최외곽 구조물을 검출하는 것을 특징으로 하는 운전자 모니터링 시스템.
  9. 컨트롤러가, 차량에 구비된 제1 센서에서 검출된 운전자의 신체 상태 정보 및 차량에 구비된 제2 센서에서 검출된 차량의 주행 상태 정보를 입력 받는 단계; 및
    상기 컨트롤러가, 상기 제1 센서에서 검출된 신체 상태 정보에 기반하여 운전자 신체 이상 발생 여부를 판단하고, 상기 제2 센서에서 검출된 주행 상태 정보를 기반으로 상기 운전자의 주행 패턴 이상 여부를 판단하는 단계
    를 포함하는 운전자 모니터링 방법.
  10. 청구항 9에 있어서,
    상기 판단하는 단계는, 상기 컨트롤러가, 운전자의 신체 상태 정보에 대한 빅데이터 분석값과 상기 제1 센서에서 검출된 신체 상태 정보를 비교한 결과를 기반으로 운전자 신체 이상 발생 여부를 판단하는 것을 특징으로 하는 운전자 모니터링 방법.
  11. 청구항 9 또는 청구항 10에 있어서,
    상기 제1 센서는, 상기 운전자가 착용하여 상기 운전자의 심박수를 검출하고, 무선 통신을 통해 상기 컨트롤러로 상기 심박수를 전송하는 웨어러블 장치 또는 상기 차량의 스티어링 휠에 구비되어 접촉한 운전자의 손으로부터 운전자의 심박수를 검출하는 심박수 측정기를 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  12. 청구항 9에 있어서,
    상기 판단하는 단계는, 상기 컨트롤러가 상기 운전자의 주행 패턴에 대한 빅데이터 분석값과 상기 제2 센서에서 검출된 주행 상태 정보를 비교한 결과를 기반으로 주행 패턴 이상 여부를 판단하는 것을 특징으로 하는 운전자 모니터링 방법.
  13. 청구항 9 또는 청구항 12에 있어서,
    상기 제2 센서는, 차량 전방을 촬영하는 카메라 또는 차량의 요(yaw) 값을 측정하는 요 센서 또는 차량의 조향각을 검출하는 조향각 센서를 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  14. 청구항 9, 청구항 10 및 청구항 12 중 어느 한 청구항에 있어서,
    상기 컨트롤러가, 상기 운전자 신체 이상이 발생한 것으로 판단하거나 상기 주행 패턴 이상이 발생한 것으로 판단한 경우, 자율주행 제어를 통해 상기 차량을 안전 지대로 유도하여 정차시키는 자율주행 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  15. 청구항 14에 있어서,
    상기 자율주행 단계는, 상기 운전자 신체 이상이 발생한 것으로 판단하거나 상기 주행 패턴 이상이 발생한 것으로 판단한 경우, 차량의 전방을 촬영하는 카메라에서 촬영된 영상을 기반으로 도로의 최외곽 차선을 검출하거나 레이다/라이다에서 검출된 도로 최외곽의 구조물을 인식하는 단계; 및
    차량의 후측방 경고 시스템을 통해 후방차량을 확인한 후 차량의 속도를 감속하면서 스티어링 휠을 조정하여 도로의 최외곽으로 차량을 이동시키고 도로 최외곽 도착 후 차량을 정차시키는 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  16. 청구항 15에 있어서,
    상기 자율주행 단계는, 상기 카메라에서 촬영된 영상에서 최외곽 차선을 검출하도록 학습된 딥러닝 네트워크 또는 상기 레이다/라이다의 입력 신호에서 도로 최외곽 구조물을 검출하도록 학습된 딥러닝 네트워크에 상기 카메라에서 촬영된 영상 또는 상기 레이다/라이다의 입력 신호를 입력하여 상기 최외곽 차선 또는 상기 최외곽 구조물을 검출하는 것을 특징으로 하는 운전자 모니터링 방법.
KR1020200094559A 2020-07-29 2020-07-29 운전자 모니터링 시스템 및 방법 KR20220014945A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200094559A KR20220014945A (ko) 2020-07-29 2020-07-29 운전자 모니터링 시스템 및 방법
EP21186455.8A EP3945509A1 (en) 2020-07-29 2021-07-19 System and method for monitoring driver
US17/385,154 US11608070B2 (en) 2020-07-29 2021-07-26 System and method for monitoring driver
CN202110843338.3A CN114103960A (zh) 2020-07-29 2021-07-26 用于监视驾驶员的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200094559A KR20220014945A (ko) 2020-07-29 2020-07-29 운전자 모니터링 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20220014945A true KR20220014945A (ko) 2022-02-08

Family

ID=76971762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200094559A KR20220014945A (ko) 2020-07-29 2020-07-29 운전자 모니터링 시스템 및 방법

Country Status (4)

Country Link
US (1) US11608070B2 (ko)
EP (1) EP3945509A1 (ko)
KR (1) KR20220014945A (ko)
CN (1) CN114103960A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2750243C2 (ru) * 2019-12-24 2021-06-24 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и система для формирования траектории для беспилотного автомобиля (sdc)
KR20230159774A (ko) * 2022-05-13 2023-11-22 현대모비스 주식회사 응급 상황 대응 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160129984A (ko) 2015-04-30 2016-11-10 주식회사 엔알피시스템 졸음운전 검출장치 및 방법
KR20160133284A (ko) 2015-05-12 2016-11-22 한국오므론전장주식회사 차량용 졸음 운전 방지 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5769085A (en) * 1993-01-06 1998-06-23 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Apparatus for detecting awareness of a vehicle driver and method thereof
WO2004000598A1 (ja) * 2002-06-24 2003-12-31 Denso Corporation 車両制御情報伝達構造、この伝達構造を用いた車両制御装置、およびこの伝達構造を用いた車両制御シミュレータ
CN101421741A (zh) * 2006-02-13 2009-04-29 全面保护有限公司 用于控制提供给第三方的交通工具的方法和系统
US7751960B2 (en) * 2006-04-13 2010-07-06 Gm Global Technology Operations, Inc. Driver workload-based vehicle stability enhancement control
JP5033652B2 (ja) * 2008-01-18 2012-09-26 ローレル機械株式会社 健康状態管理装置および健康状態管理システム
CN101885332B (zh) * 2010-06-22 2012-08-29 重庆长安汽车股份有限公司 汽车at变速器制动辅助控制方法
DE112015002934B4 (de) * 2014-06-23 2021-12-16 Denso Corporation Vorrichtung zum Erfassen eines Fahrunvermögenzustands eines Fahrers
JP6292218B2 (ja) * 2015-04-03 2018-03-14 株式会社デンソー 情報提示装置及び情報提示方法
US9821657B2 (en) * 2015-04-22 2017-11-21 Motorola Mobility Llc Drowsy driver detection
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
KR20190050633A (ko) * 2017-11-03 2019-05-13 주식회사 만도 운전자 상태 기반 차량 제어 시스템 및 방법
CN108407813A (zh) * 2018-01-25 2018-08-17 惠州市德赛西威汽车电子股份有限公司 一种基于大数据的车辆抗疲劳安全驾驶方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160129984A (ko) 2015-04-30 2016-11-10 주식회사 엔알피시스템 졸음운전 검출장치 및 방법
KR20160133284A (ko) 2015-05-12 2016-11-22 한국오므론전장주식회사 차량용 졸음 운전 방지 시스템

Also Published As

Publication number Publication date
EP3945509A1 (en) 2022-02-02
US11608070B2 (en) 2023-03-21
US20220032923A1 (en) 2022-02-03
CN114103960A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
CN108068698B (zh) 车辆系统以及车辆
KR102051142B1 (ko) 차량용 운전자 위험 지수 관리 시스템 및 그 방법
CN111361552B (zh) 自动驾驶系统
KR20190073207A (ko) 안전운전 지원 장치 및 방법
US10166918B2 (en) Drive assisting apparatus
EP2513882B1 (en) A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience
US20150294547A1 (en) Driver condition detection apparatus, driving assistance apparatus, driver condition detection method, and driving assistance method
KR101478068B1 (ko) 차량 충돌 방지 장치 및 그 방법
US10919536B2 (en) Emergency control device for vehicle
JP2010125923A (ja) 緊急退避装置
CN108297879A (zh) 一种汽车预警系统
KR101938314B1 (ko) 운전 습관에 따른 후측방 경보 장치 및 방법
KR20150051548A (ko) 운전자의 성향을 반영하는 운전보조시스템 및 그 제어방법
KR101552017B1 (ko) 성능이 개선된 운전보조시스템 및 그 제어방법
JP2010039919A (ja) 注意喚起装置
KR20220014945A (ko) 운전자 모니터링 시스템 및 방법
JP2006301842A (ja) 車両の運転支援装置
KR20170035035A (ko) 졸음운전 방지 장치 및 방법
KR101511860B1 (ko) 운전보조시스템 및 그 제어방법
CN111391818B (zh) 使用控制系统对车辆进行控制
KR20140036722A (ko) 운전자 시선을 고려한 차량 접근 경보 방법, 장치 및 시스템
CN111717196A (zh) 一种基于视觉分析的驾驶安全辅助装置
CN115299948A (zh) 一种驾驶员疲劳检测方法及检测系统
CN115675280A (zh) 一种用于高速路口的汽车安全驾驶监控方法及装置

Legal Events

Date Code Title Description
A201 Request for examination