KR101646401B1 - 운전자의 졸음상태 판단 시스템 및 그 판단 방법 - Google Patents

운전자의 졸음상태 판단 시스템 및 그 판단 방법 Download PDF

Info

Publication number
KR101646401B1
KR101646401B1 KR1020140175087A KR20140175087A KR101646401B1 KR 101646401 B1 KR101646401 B1 KR 101646401B1 KR 1020140175087 A KR1020140175087 A KR 1020140175087A KR 20140175087 A KR20140175087 A KR 20140175087A KR 101646401 B1 KR101646401 B1 KR 101646401B1
Authority
KR
South Korea
Prior art keywords
driver
heart rate
signal
drowsy
alarm
Prior art date
Application number
KR1020140175087A
Other languages
English (en)
Other versions
KR20160069302A (ko
Inventor
김진권
이병준
이활리
정호철
김삼용
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140175087A priority Critical patent/KR101646401B1/ko
Priority to US14/752,964 priority patent/US9694680B2/en
Priority to DE102015213360.5A priority patent/DE102015213360B4/de
Priority to CN201510427632.0A priority patent/CN105667420B/zh
Publication of KR20160069302A publication Critical patent/KR20160069302A/ko
Application granted granted Critical
Publication of KR101646401B1 publication Critical patent/KR101646401B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity

Abstract

본 기술은 운전자의 졸음운전 여부를 판단하기 위한 시스템 및 방법을 개시한다. 본 발명의 일 실시예에 따른 운전자의 졸음상태 판단 시스템은 운전자의 심박 수를 검출하여 검출된 심박 수에 대응되는 심박 신호를 출력하는 심박 측정 모듈, 차량의 주행 상태를 측정하여 측정된 주행 상태에 대응되는 차량 신호를 출력하는 차량신호 측정 모듈, 상기 심박 신호 및 상기 차량 신호를 이용하여 운전자의 졸음운전 여부를 판단하고, 졸음운전으로 판단시 졸음 경보를 위한 경보 신호를 출력하는 졸음패턴 검출 모듈 및 상기 경보 신호에 따라 운전자에게 경보를 출력하는 경보 모듈을 포함할 수 있다.

Description

운전자의 졸음상태 판단 시스템 및 그 판단 방법{SYSTEM AND METHOD FOR DETERMINING DROWSY STATE OF DRIVER}
본 발명은 운전자의 졸음상태를 판단하는 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 운전자의 심박 신호를 기반으로 차량으로부터 획득되는 차량 신호 또는 운전자에 대한 영상 신호를 활용하여 운전자의 졸음운전 여부를 보다 정확하게 판단할 수 있는 시스템 및 그 방법에 관한 것이다.
최근 중요 교통사고의 가장 큰 원인이 졸음운전이라는 것이 알려지면서 졸음운전을 방지하기 위한 방법들이 많이 연구되고 있다. 종래의 운전자 졸음운전 판단 기술로는 차량신호(조향신호, 카메라를 통한 차선 내 횡위치)를 이용하거나 운전자를 촬영하는 카메라를 이용하여 운전자의 동공의 움직임을 촬영하거나 눈 개폐 간격 등을 확인하는 방법들이 주로 사용되고 있다.
그러나 차량신호는 의도적인 차량 거동(과격 운전 및 주변 환경 변화에 의한 운전) 패턴과 구분이 어려우며, 운전자 영상 기반 방식의 경우 광환경에 따른 눈 개폐 인식 성능과 안경 착용, 웃음 등으로 인한 악조건으로 인해 정확한 피로졸음을 판단하기 어렵다.
본 발명은 차량 신호와 영상 신호 뿐만 아니라 운전자의 심박 신호를 활용하여 보다 정확하게 운전자의 졸음운전 여부를 판단할 수 있는 시스템 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 운전자의 졸음상태 판단 시스템은 운전자의 심박 수를 검출하여 검출된 심박 수에 대응되는 심박 신호를 출력하는 심박 측정 모듈, 차량의 주행 상태를 측정하여 측정된 주행 상태에 대응되는 차량 신호를 출력하는 차량신호 측정 모듈, 상기 심박 신호 및 상기 차량 신호를 이용하여 운전자의 졸음운전 여부를 판단하고, 졸음운전으로 판단시 졸음 경보를 위한 경보 신호를 출력하는 졸음패턴 검출 모듈 및 상기 경보 신호에 따라 운전자에게 경보를 출력하는 경보 모듈을 포함할 수 있다.
본 발명의 다른 실시예에 따른 운전자의 졸음상태 판단 시스템은 운전자의 심박 수를 검출하여 검출된 심박 수에 대응되는 심박 신호를 출력하는 심박 측정 모듈, 운전자의 눈 감김을 측정하여 측정된 눈감김 정도를 나타내는 눈감김 신호를 출력하는 운전자 촬영 모듈, 상기 심박 신호 및 상기 눈감김 신호를 이용하여 운전자의 졸음운전 여부를 판단하고, 졸음운전으로 판단시 졸음 경보를 위한 경보 신호를 출력하는 졸음패턴 검출 모듈 및 상기 경보 신호에 따라 운전자에게 경보를 출력하는 경보 모듈을 포함할 수 있다.
본 발명의 일 실시예에 따른 운전자의 졸음상태 판단 방법운전자의 심박 수 및 차량의 주행 상태를 측정하는 제 1 단계, 상기 심박 수 및 상기 주행 상태에 따라 운전자의 졸음운전 여부를 판단하는 제 2 단계 및 상기 제 2 단계에서 졸음운전으로 판단시 경보를 출력하는 제 3 단계를 포함할 수 있다.
본 발명은 차량 신호와 영상 신호 뿐만 아니라 운전자의 심박 신호를 활용하여 보다 정확하게 운전자의 졸음운전 여부를 판단할 수 있다.
도 1은 본 발명의 일 실시예에 따른 졸음상태 판단 시스템의 구성을 나타내는 구성도.
도 2 내지 도 4는 각 상황별로 운전자의 졸음 상태를 판단하는 방법을 설명하기 위한 도면들.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일 실시예에 따른 졸음상태 판단 시스템의 구성을 나타내는 구성도이다.
도 1의 졸음운전 판단 시스템은 심박 측정 모듈(10), 차량신호 측정 모듈(20), 운전자 촬영 모듈(30), 졸음패턴 검출 모듈(40) 및 경보 모듈(50)을 포함할 수 있다.
심박 측정 모듈(10)은 운전자의 심박(맥박) 수를 검출하여 검출된 심박 수에 대응되는 심박 신호를 졸음패턴 검출 모듈(40)에 전종한다. 이러한 심박 측정 모듈(10)은 웨어러블(wearable) 형태 또는 차량에 탑재되는 형태로 형성될 수 있다. 예컨대, 심박 측정 모듈(10)은 조향휠 상에 설치된 복수의 전극을 포함할 수 있다. 운전자의 오른손과 왼손이 각각 전극과 접촉할 때, 두 전극 간에 운전자의 심전위에 대응하는 전위차가 발생하는데, 심박 측정 모듈(10)은 이러한 두 전극 간에 발생한 전위차를 검출함으로써 운전자의 심박 신호를 획득할 수 있다. 또는 손목시계, 반지 등의 형상의 펄스파 센서(pulse wave sensor)를 운전자에게 장착하여 심박 신호(심박 신호에 대응하는 신호)를 검출할 수도 있다.
차량신호 측정 모듈(20)은 차량에 설치된 각종 센서들(조향 센서, 토크 센서 등)을 이용하여 차량의 주행 상태를 측정하고 그 결과를 졸음패턴 검출 모듈(40)에 전송한다. 예컨대, 차량신호 측정 모듈(20)은 차량의 조향각(조향 정도) 및 차량의 횡위치 등을 측정하여 차량의 주행 상태를 알려주는 신호(차량 신호)를 졸음패턴 검출 모듈(40)에 전송한다.
운전자 촬영 모듈(30)은 카메라 등의 촬상 장치를 이용하여 운전자의 얼굴 특히 눈을 촬영하고 촬영된 영상신호를 분석하여 운전자의 눈 감김 정도를 나타내는 신호(눈감김 신호)를 졸음패턴 검출 모듈(40)에 전송한다.
졸음패턴 검출 모듈(40)은 심박 측정 모듈(10)로부터 수신되는 심박 신호와 차량 신호 측정 모듈(20)로부터 수신되는 차량 신호 또는 운전자 촬영 모듈(30)로부터 수신되는 눈감김 신호를 이용하여 운전자의 졸음 운전 여부를 파악하고 그 결과에 따라 운전자에게 경보 신호를 출력한다.
경보 모듈(50)은 졸음패턴 검출 모듈(40)로부터의 경보신호에 따라 운전자에게 경보를 출력한다. 예컨대, 경보 모듈(50)은 경보음 또는 휴식을 권유하는 음성신호를 출력하거나, 시트 또는 조향휠을 진동시키거나, 차량의 공조 장치를 조절하여 운전자가 졸음상태에서 벗어날 수 있도록 해준다.
도 2 내지 도 4는 각 상황별로 운전자의 졸음 상태를 판단하는 방법을 설명하기 위한 도면들로, 도 2 내지 도 4를 이용하여 졸음패턴 검출 모듈(40)에서 운전자의 졸음 상태를 판단하는 방법을 설명한다.
먼저 도 2를 참조하면, ⓐ 시점을 기준으로 운전자의 심박 수가 급격히 증가하고 급한 조향이 발생하였음을 알 수 있다. 즉, 운전자의 심박 수가 매우 낮은 상태에서 과소 조향이 나타났다가 심박 수가 급격히 증가하면서 갑자기 크고 급한 조향패턴이 나타남을 알 수 있다. 이는 운전자가 짧은 졸음운전 후 깨어나서 일시적으로 긴장한 상황으로 볼 수 있다. 따라서, 졸음패턴 검출 모듈(40)은 심박 신호 및 차량 신호가 도 2와 같은 패턴을 보이는 경우 이를 졸음운전 상태로 판단하여 경보 신호를 경보 모듈(50)에 전송하여 운전자에게 졸음운전에 대한 경보가 출력되도록 할 수 있다. 이때, 심박 수의 급격한 증가 정도 및 급한 조향 정도를 판단하기 위한 기준은 시스템 설계시 미리 설정될 수 있다. 또한, 졸음 상태에 대응되는 낮은 심박 수에 대한 기준도 시스템 설계시에 미리 설정될 수 있다.
또한 ⓑ의 경우는 ⓐ에서와 같은 졸음운전이 감지된 후 다시 심박 수가 일정 수치 이하로 감소되는 상황으로, 이러한 경우 졸음패턴 검출 모듈(40)은 차량 신호에 따른 주행패턴과 상관없이 운전자에게 휴식을 권유하는 안내 멘트 및 졸음운전에 대한 경보가 출력되도록 할 수 있다.
도 3을 참조하면, ⓐ 시점을 기준으로 운전자의 심박 수가 급격히 증가하고 지그재그(jigzag) 패턴의 조향이 사라졌음을 알 수 있다. 즉, 운전자의 심박 수가 낮은 상태에서 횡위치의 급격한 변화(차선추종 불량에 따른 지그재그 패턴)이 발생하였다가 심박 수가 급격히 증가하면서 정상 차선을 추종하는 패턴이 나타남을 알 수 있다. 이러한 경우도 도 2에서와 같이, 운전자가 졸음운전 후 깨어나면서 일시적으로 긴장한 상황으로 볼 수 있다. 따라서, 졸음패턴 검출 모듈(40)은 심박 신호 및 차량 신호가 도 3과 같은 패턴을 보이는 경우에도 이를 졸음운전 상태로 판단하여 경보 신호를 경보 모듈(50)에 전송하여 운전자에게 졸음운전에 대한 경보가 출력되도록 할 수 있다.
또한 ⓑ의 경우는 ⓐ에서와 같은 졸음운전이 감지된 후 다시 심박 수가 일정 수치 이하로 감소되는 상황으로, 이러한 경우 졸음패턴 검출 모듈(40)은 차량 신호에 따른 주행패턴과 상관없이 운전자에게 휴식을 권유하는 안내 멘트 및 졸음운전에 대한 경보가 출력되도록 할 수 있다.
도 4를 참조하면, ⓐ 시점을 기준으로 운전자의 심박 수가 급격히 증가하고 긴 눈감음 패턴이 사라짐을 알 수 있다. 즉, 운전자의 심박수가 낮은 상태에서 긴 눈감은 패턴이 기 설정된 횟수 이상 많이 발생하였다가 심박 수가 급격히 증가하면서 긴 눈감음 패턴이 사라짐을 알 수 있다. 이러한 경우도, 운전자가 졸음운전 후 깨어나면서 일시적으로 긴장한 상황으로 볼 수 있다. 따라서, 졸음패턴 검출 모듈(40)은 심박 신호 및 눈감김 신호가 도 4와 같은 패턴을 보이는 경우에도 이를 졸음운전 상태로 판단하여 경보 신호를 경보 모듈(50)에 전송하여 운전자에게 졸음운전에 대한 경보가 출력되도록 할 수 있다.
또한 ⓑ의 경우는 ⓐ에서와 같은 졸음운전이 감지된 후 다시 심박 수가 일정 수치 이하로 감소되는 상황으로, 이러한 경우 졸음패턴 검출 모듈(40)은 차량 신호에 따른 주행패턴과 상관없이 운전자에게 휴식을 권유하는 안내 멘트 및 졸음운전에 대한 경보가 출력되도록 할 수 있다.
상술한 바와 같이, 본원발명은 운전자의 심박 신호와 차량 신호 또는 눈감김 신호를 이용하여 운전자의 졸음운전 여부를 보다 정확하게 판단할 수 있다.
상술한 본 발명의 바람직한 실시예는 예시의 목적을 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10 : 심박 측정 모듈 20 : 차량신호 측정 모듈
30 : 운전자 촬영 모듈 40 : 졸음패턴 검출 모듈
50 : 경보 모듈

Claims (13)

  1. 운전자의 심박 수를 검출하여 검출된 심박 수에 대응되는 심박 신호를 출력하는 심박 측정 모듈;
    차량의 주행 상태를 측정하여 측정된 주행 상태에 대응되는 차량 신호를 출력하는 차량신호 측정 모듈;
    상기 심박 신호 및 상기 차량 신호를 이용하여 운전자의 졸음운전 여부를 판단하고, 졸음운전으로 판단시 졸음 경보를 위한 경보 신호를 출력하는 졸음패턴 검출 모듈; 및
    상기 경보 신호에 따라 운전자에게 경보를 출력하는 경보 모듈을 포함하되,
    상기 졸음패턴 검출 모듈은,
    운전자의 심박 수가 기 설정된 수준 보다 낮은 상태에서 조향이 기 설정된 수준 보다 낮은 과소 조향이 나타났다가 심박 수가 기 설정된 수준 보다 크게 급격히 증가하고 조향이 기 설정된 수준 보다 크게 발생하는 경우, 상기 경보 신호를 출력하는 것을 특징으로 하는 운전자의 졸음상태 판단 시스템.
  2. 삭제
  3. 제 1항에 있어서, 상기 졸음패턴 검출 모듈은
    운전자의 심박 수가 기 설정된 수준 보다 크게 급격히 증가하고 조향이 기 설정된 수준 보다 크게 발생한 후 심박 수가 다시 기 설정된 수치 아래로 감소하는 경우, 상기 차량 신호와 상관없이 상기 경보 신호를 출력하는 것을 특징으로 하는 운전자의 졸음상태 판단 시스템.
  4. 제 1항에 있어서, 상기 졸음패턴 검출 모듈은
    운전자의 심박 수가 기 설정된 수준 보다 낮은 상태에서 차선추종 불량에 따른 지그재그 패턴이 나타났다가 심박 수가 기 설정된 수준 보다 크게 급격히 증가하면서 정상 차선을 추종하는 패턴이 나타나는 경우, 상기 경보 신호를 출력하는 것을 특징으로 하는 운전자의 졸음상태 판단 시스템.
  5. 제 4항에 있어서, 상기 졸음패턴 검출 모듈은
    운전자의 심박 수가 기 설정된 수준 보다 크게 급격히 증가하면서 정상 차선을 추종한 후 심박 수가 다시 기 설정된 수치 아래로 감소하는 경우, 상기 차량 신호와 상관없이 상기 경보 신호를 출력하는 것을 특징으로 하는 운전자의 졸음상태 판단 시스템.
  6. 운전자의 심박 수를 검출하여 검출된 심박 수에 대응되는 심박 신호를 출력하는 심박 측정 모듈;
    운전자의 눈 감김을 측정하여 측정된 눈감김 정도를 나타내는 눈감김 신호를 출력하는 운전자 촬영 모듈;
    상기 심박 신호 및 상기 눈감김 신호를 이용하여 운전자의 졸음운전 여부를 판단하고, 졸음운전으로 판단시 졸음 경보를 위한 경보 신호를 출력하는 졸음패턴 검출 모듈; 및
    상기 경보 신호에 따라 운전자에게 경보를 출력하는 경보 모듈을 포함하되,
    상기 졸음패턴 검출 모듈은
    운전자의 심박수가 기 설정된 수준 보다 낮은 상태에서 긴 눈감은 패턴이 기 설정된 횟수 이상 많이 발생하였다가 심박 수가 기 설정된 수준 보다 크게 급격히 증가하면서 긴 눈감음 패턴이 사라지는 경우, 상기 경보 신호를 출력하는 것을 특징으로 하는 운전자의 졸음상태 판단 시스템.
  7. 삭제
  8. 제 6항에 있어서, 상기 졸음패턴 검출 모듈은
    운전자의 심박 수가 기 설정된 수준 보다 크게 급격히 증가하면서 긴 눈감음 패턴이 사라진 후 심박 수가 다시 기 설정된 수치 아래로 감소하는 경우, 차량 신호에 따른 주행패턴과 상관없이 상기 경보 신호를 출력하고,
    상기 차량 신호는 차량에 설치된 센서들에 의해 측정된 차량의 주행 상태에 대응하는 신호인 것을 특징으로 하는 운전자의 졸음상태 판단 시스템.
  9. 운전자의 심박 수 및 차량의 주행 상태를 측정하는 제 1 단계;
    상기 심박 수 및 상기 주행 상태에 따라 운전자의 졸음운전 여부를 판단하는 제 2 단계; 및
    상기 제 2 단계에서 졸음운전으로 판단시 경보를 출력하는 제 3 단계를 포함하되,
    상기 제 2 단계는
    운전자의 심박 수가 기 설정된 수준 보다 낮은 상태에서 조향이 기 설정된 수준 보다 낮은 과소 조향이 나타났다가 심박 수가 기 설정된 수준 보다 크게 급격히 증가하고 조향이 기 설정된 수준 보다 크게 발생하는 경우, 졸음운전으로 판단하는 것을 특징으로 하는 운전자의 졸음상태 판단 방법.
  10. 삭제
  11. 제 9항에 있어서, 상기 제 2 단계는
    운전자의 심박 수가 기 설정된 수준 보다 낮은 상태에서 차선추종 불량에 따른 지그재그 패턴이 나타났다가 심박 수가 기 설정된 수준 보다 크게 급격히 증가하면서 정상 차선을 추종하는 패턴이 나타나는 경우, 졸음운전으로 판단하는 것을 특징으로 하는 운전자의 졸음상태 판단 방법.
  12. 제 9항에 있어서, 상기 제 1 단계는
    운전자의 눈을 촬영하고 촬영된 영상신호를 분석하여 운전자의 눈 감김 정도를 측정하는 단계를 더 포함하는 것을 특징으로 하는 운전자의 졸음상태 판단 방법.
  13. 제 12항에 있어서, 상기 제 2 단계는
    운전자의 심박수가 기 설정된 수준 보다 낮은 상태에서 긴 눈감은 패턴이 기 설정된 횟수 이상 많이 발생하였다가 심박 수가 기 설정된 수준 보다 크게 급격히 증가하면서 긴 눈감음 패턴이 사라지는 경우, 졸음운전으로 판단하는 것을 특징으로 하는 운전자의 졸음상태 판단 방법.
KR1020140175087A 2014-12-08 2014-12-08 운전자의 졸음상태 판단 시스템 및 그 판단 방법 KR101646401B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140175087A KR101646401B1 (ko) 2014-12-08 2014-12-08 운전자의 졸음상태 판단 시스템 및 그 판단 방법
US14/752,964 US9694680B2 (en) 2014-12-08 2015-06-28 System and method for determining drowsy state of driver
DE102015213360.5A DE102015213360B4 (de) 2014-12-08 2015-07-16 System und verfahren zum bestimmen eines schläfrigen zustands eines fahrers
CN201510427632.0A CN105667420B (zh) 2014-12-08 2015-07-20 用于确定驾驶者的瞌睡状态的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140175087A KR101646401B1 (ko) 2014-12-08 2014-12-08 운전자의 졸음상태 판단 시스템 및 그 판단 방법

Publications (2)

Publication Number Publication Date
KR20160069302A KR20160069302A (ko) 2016-06-16
KR101646401B1 true KR101646401B1 (ko) 2016-08-12

Family

ID=55974914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140175087A KR101646401B1 (ko) 2014-12-08 2014-12-08 운전자의 졸음상태 판단 시스템 및 그 판단 방법

Country Status (4)

Country Link
US (1) US9694680B2 (ko)
KR (1) KR101646401B1 (ko)
CN (1) CN105667420B (ko)
DE (1) DE102015213360B4 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988426B1 (ko) 2017-12-15 2019-06-12 충남대학교산학협력단 졸음방지용 손목형 전기충격기
KR102232491B1 (ko) 2020-09-01 2021-03-30 주식회사 햅코리아 표면 근전도 센서를 이용한 개인 맞춤형 졸음 판단 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9848813B2 (en) * 2012-08-14 2017-12-26 Volvo Lastvagnar Ab Method for determining the operational state of a driver
CN106097657A (zh) * 2016-08-09 2016-11-09 乐视控股（北京）有限公司 一种提醒方法、装置和车辆
CN106240511A (zh) * 2016-08-24 2016-12-21 无锡卓信信息科技股份有限公司 一种防驾驶员在车内睡着中毒的安全提醒装置
FR3057516B1 (fr) * 2016-10-14 2020-03-13 Valeo Comfort And Driving Assistance Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe
FR3057517B1 (fr) * 2016-10-14 2020-03-13 Valeo Comfort And Driving Assistance Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe
KR20180077891A (ko) * 2016-12-29 2018-07-09 쌍용자동차 주식회사 차량의 지능형 위해 방지방법
US10232846B2 (en) * 2017-01-18 2019-03-19 Ford Global Technologies, Llc Ride control systems and methods
CN106683344A (zh) * 2017-01-22 2017-05-17 福州大学 防疲劳驾驶系统及其工作方法
KR20180124381A (ko) * 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
JP6662352B2 (ja) * 2017-07-07 2020-03-11 マツダ株式会社 居眠り運転警報装置
US10762786B1 (en) * 2018-01-09 2020-09-01 State Farm Mutual Automobile Insurance Company Vehicle collision alert system and method for detecting driving hazards
RU188146U1 (ru) * 2018-06-08 2019-04-01 Федеральное государственное бюджетное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет" (СПбГУ) Устройство для предупреждения аварийных ситуаций при нарушении сердечной деятельности или засыпании водителя
JP7243101B2 (ja) * 2018-09-25 2023-03-22 トヨタ自動車株式会社 サーバ、車両および充電器案内方法
KR102331329B1 (ko) * 2020-01-28 2021-11-25 경남정보대학교 산학협력단 IoT 기반의 상태 변화 감지에 따른 운전제어시스템 및 그 방법
DE102021201036A1 (de) 2021-02-04 2022-08-04 Thyssenkrupp Ag Fahrzeug mit einer Fahrzeug-Bewegungssteuerung und einem Fahrerüberwachungssystem, sowie Verfahren zur Fahrerüberwachung mit einem Fahrzeug mit einer Fahrzeug-Bewegungssteuerung und einem Fahrerüberwachungssystem

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183900A (ja) * 2000-12-14 2002-06-28 Nissan Motor Co Ltd 居眠り運転警報装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59153627A (ja) * 1983-02-18 1984-09-01 Nissan Motor Co Ltd 居眠り運転警報装置
JPS6012341A (ja) 1983-07-01 1985-01-22 Nissan Motor Co Ltd 居眠り運転検出装置
JP3158679B2 (ja) * 1992-06-26 2001-04-23 富士ゼロックス株式会社 メモリ診断方式
JPH06197888A (ja) * 1993-01-06 1994-07-19 Mitsubishi Motors Corp 車両用居眠り警報装置
US9129505B2 (en) * 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
JP3619662B2 (ja) * 1998-02-18 2005-02-09 パイオニア株式会社 生体情報検出装置
DE10042367A1 (de) 2000-08-29 2002-05-02 Bosch Gmbh Robert Verfahren und Vorrichtung zur Diagnose der Fahrtüchtigkeit eines Fahrers in einem Kraftfahrzeug
US6791462B2 (en) * 2002-09-18 2004-09-14 Sang J. Choi Sleepy alarm system activated by heart pulse meter
JP4111062B2 (ja) 2003-05-27 2008-07-02 株式会社デンソー 眠気度合検出装置
US8289172B2 (en) * 2005-03-24 2012-10-16 Matos Jeffrey A Method and system of aircraft pilot assessment and for remedial action upon pilot impairment
DE102005057267A1 (de) 2005-12-01 2007-06-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
US7482937B2 (en) * 2006-03-24 2009-01-27 Motorola, Inc. Vision based alert system using portable device with camera
JP4518083B2 (ja) 2007-01-29 2010-08-04 株式会社デンソー 覚醒維持装置
JP5444898B2 (ja) * 2009-07-09 2014-03-19 アイシン精機株式会社 状態検出装置、状態検出方法及びプログラム
KR20120048981A (ko) 2010-11-08 2012-05-16 현대자동차주식회사 운전자를 위한 다기능 신체착용 컴퓨터
US9542847B2 (en) * 2011-02-16 2017-01-10 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
CN104044460A (zh) * 2014-03-20 2014-09-17 徐健 一种机动车防疲劳驾驶的报警方法及装置
CN103927848A (zh) * 2014-04-18 2014-07-16 南京通用电器有限公司 一种基于生物识别技术的安全驾驶辅助系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183900A (ja) * 2000-12-14 2002-06-28 Nissan Motor Co Ltd 居眠り運転警報装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988426B1 (ko) 2017-12-15 2019-06-12 충남대학교산학협력단 졸음방지용 손목형 전기충격기
KR102232491B1 (ko) 2020-09-01 2021-03-30 주식회사 햅코리아 표면 근전도 센서를 이용한 개인 맞춤형 졸음 판단 방법

Also Published As

Publication number Publication date
US20160159217A1 (en) 2016-06-09
DE102015213360B4 (de) 2018-12-20
US9694680B2 (en) 2017-07-04
DE102015213360A1 (de) 2016-06-09
CN105667420A (zh) 2016-06-15
KR20160069302A (ko) 2016-06-16
CN105667420B (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
KR101646401B1 (ko) 운전자의 졸음상태 판단 시스템 및 그 판단 방법
US10049551B2 (en) Vehicle driver assist arrangement
US7948387B2 (en) Drowsiness determination apparatus, program, and method
US10803294B2 (en) Driver monitoring system
US20170071525A1 (en) Device of drowsiness detection and alarm and method of the same
JP2016162015A (ja) 車両の注意喚起装置
KR102048186B1 (ko) 차량의 주행 패턴을 이용한 졸음 운전 판단 장치 및 방법
JP6693427B2 (ja) ドライバ状態検出装置
JP6926636B2 (ja) 状態推定装置
Chang et al. An implementation of smartphone-based driver assistance system using front and rear camera
JP2006231963A (ja) 車両用警報装置
JP2008250859A (ja) 覚醒度判定装置
CN104616436A (zh) 疲劳驾驶判断系统及其方法
TW201441080A (zh) 疲勞駕駛監測系統與方法
JP6627787B2 (ja) ドライバ状態検出装置
JP2008301957A (ja) 心理状態推定装置
Chatterjee et al. Driving fitness detection: A holistic approach for prevention of drowsy and drunk driving using computer vision techniques
JP2019046012A (ja) 運転者状態判定装置
TW201608532A (zh) 駕駛告警方法與駕駛告警裝置
KR102518576B1 (ko) 차간 거리 경고 시스템을 위한 처리 유닛 및 처리 방법, 차간 거리 경고 시스템, 및 모터사이클
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
KR101462067B1 (ko) 차량정보에 의한 졸음운전 검출 장치 및 방법
JP2020086907A (ja) 漫然運転判定装置
US20200369282A1 (en) Driver state determination apparatus, driver state determination method, and non-transitory computer-readable medium
KR20220082500A (ko) 운전자 및 차량 외, 내부의 직, 간접적인 영향 분석을 통한 졸음운전 방지 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 4