KR20170136887A - 운전자의 졸음 인식 방법 및 졸음 인식 장치 - Google Patents

운전자의 졸음 인식 방법 및 졸음 인식 장치 Download PDF

Info

Publication number
KR20170136887A
KR20170136887A KR1020160069008A KR20160069008A KR20170136887A KR 20170136887 A KR20170136887 A KR 20170136887A KR 1020160069008 A KR1020160069008 A KR 1020160069008A KR 20160069008 A KR20160069008 A KR 20160069008A KR 20170136887 A KR20170136887 A KR 20170136887A
Authority
KR
South Korea
Prior art keywords
driver
reference value
drowsiness
signal
drowsy
Prior art date
Application number
KR1020160069008A
Other languages
English (en)
Other versions
KR101839089B1 (ko
Inventor
배유석
김현석
김준오
이현숙
최민수
Original Assignee
한국산업기술대학교산학협력단
주식회사 유컴테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단, 주식회사 유컴테크놀러지 filed Critical 한국산업기술대학교산학협력단
Priority to KR1020160069008A priority Critical patent/KR101839089B1/ko
Publication of KR20170136887A publication Critical patent/KR20170136887A/ko
Application granted granted Critical
Publication of KR101839089B1 publication Critical patent/KR101839089B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0402—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physiology (AREA)
  • Transportation (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

운전자의 졸음 인식 방법 및 졸음 인식 장치가 제공된다. 일 실시예에 따른 운전자의 졸음 인식 방법은, 상기 생체 신호의 패턴을 분석하여 기준 값을 결정하는 단계, 운전자를 촬영한 영상으로부터 상기 운전자의 눈 영역을 검출하는 단계, 일 시간 구간에서 검출된 눈 영역의 영상 정보를 분석하여 상기 일 시간 구간에 대한 상기 운전자가 눈을 감은 시간 구간의 비율 값을 결정하는 단계 및 상기 비율 값과 상기 기준 값을 비교하여 상기 운전자가 졸음 상태인지 여부를 결정하는 단계를 포함할 수 있다.

Description

운전자의 졸음 인식 방법 및 졸음 인식 장치{METHOD FOR RECOGNIZING DRIVER'S DROWSINESS, AND APPARATUS FOR RECOGNIZING DROWSINESS}
아래 설명은 운전자의 졸음 인식 방법 및 장치에 관한 것이다.
교통 사고의 큰 원인 중 하나는 졸음 운전이다. 졸음 운전은 일반 교통사고 보다 치사율이 2배가 높기 때문에 운전자의 각별한 주의가 필요하다. 졸음으로 인한 운전자의 감각 기능 저하는, 안전 운전을 저해하여 졸음 운전하는 운전자뿐만 아니라 다른 차량의 운전자에게도 큰 피해를 줄 수 있다. 졸음 운전 문제를 해결하기 위하여, 미국, 유럽, 일본 등과 같은 선진국에서는 졸음 운전 방지를 위한 캠페인 등 다양한 방법들이 모색되고 있다. 최근에는, 운전자의 졸음 운전을 자동으로 감지하여 운전자에게 경고하는 시스템에 대한 연구가 활발히 진행되고 있다.
운전자의 졸음 인식 방법 및 졸음 인식 장치는, 카메라를 통해 실시간으로 획득한 얼굴 영상의 눈 영역 검출을 이용하여 졸음을 식별하는 것을 목적으로 한다.
운전자의 졸음 인식 방법 및 졸음 인식 장치는, 스마트 밴드의 생체 신호 센서로부터 획득한 생체 정보를 이용하여 졸음을 식별하는 것을 목적으로 한다.
운전자의 졸음 인식 방법 및 졸음 인식 장치는, 얼굴 영상과 생체 정보를 기초로 통합된 졸음 인식 시스템을 제공함으로써 운전자가 안전 운전을 하도록 돕는 것을 목적으로 한다.
운전자의 졸음 인식 방법 및 졸음 인식 장치는, 카메라 센서와 스마트 밴드로부터 획득된 신호를 이용하여 멀티 모달 졸음 인식 판별 알고리즘을 제공하는 것을 목적으로 한다.
운전자의 졸음 인식 방법 및 졸음 인식 장치는, 졸음 상태 분석을 위한 얼굴 영상의 눈 깜박임 및 생체 정보 데이터베이스를 제공하는 것을 목적으로 한다.
상기한 바와 같은 운전자의 졸음 인식 방법 및 졸음 인식 장치의 목적을 달성하고, 후술하는 운전자의 졸음 인식 방법 및 장치의 특징적인 효과를 실현하기 위한, 운전자의 졸음 인식 방법 및 졸음 인식 장치의 특징적인 구성은 하기와 같다.
일 실시예에 따른, 운전자의 졸음 인식 방법은, 웨어러블 장치에 의해 측정된 생체 신호를 상기 웨어러블 장치로부터 수신하는 단계; 상기 생체 신호의 패턴을 분석하여 기준 값을 결정하는 단계; 운전자를 촬영한 영상으로부터 상기 운전자의 눈 영역을 검출하는 단계; 일 시간 구간에서 검출된 눈 영역의 영상 정보를 분석하여 상기 일 시간 구간에 대한 상기 운전자가 눈을 감은 시간 구간의 비율 값을 결정하는 단계; 및 상기 비율 값과 상기 기준 값을 비교하여 상기 운전자가 졸음 상태인지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른, 상기 기준 값을 결정하는 단계는, 상기 생체 신호의 패턴을 분석하여 상기 운전자가 졸음 상태인지 또는 각성 상태인지 여부를 결정하는 단계를 포함하고, 상기 운전자가 졸음 상태일 때 적용되는 기준 값은, 상기 운전자가 각성 상태일 때 적용되는 기준 값과 다른 것일 수 있다.
일 실시예에 따른, 상기 기준 값을 결정하는 단계는, 상기 운전자가 졸음 상태일 경우, 상기 기준 값을 낮추거나, 상기 운전자가 각성 상태일 경우, 상기 기준 값을 높이는 단계를 더 포함할 수 있다.
일 실시예에 따른, 상기 생체 신호는, 심전도(ECG) 신호, 광용적 맥파(PPG) 신호, 전류 피부 저항(GSR) 신호 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치에 의해 측정된 생체 신호를 상기 웨어러블 장치로부터 수신하는 생체 신호 수신부; 상기 생체 신호의 패턴을 분석하여 기준 값을 결정하는 기준 값 결정부; 운전자를 촬영한 영상으로부터 상기 운전자의 눈 영역을 검출하는 눈 영역 검출부; 일 시간 구간에서 검출된 눈 영역의 영상 정보를 분석하여 상기 일 시간 구간에 대한 상기 운전자가 눈을 감은 시간 구간의 비율 값을 결정하는 비율 값 결정부; 및 상기 비율 값과 상기 기준 값을 비교하여 상기 운전자가 졸음 상태인지 여부를 결정하는 운전자 졸음 상태 결정부를 포함할 수 있다.
운전자의 졸음 인식 방법 및 졸음 인식 장치는, 운전자의 졸음 인식률을 높여 운전자의 교통 사고를 방지할 수 있는 효과를 제공한다.
운전자의 졸음 인식 방법 및 졸음 인식 장치는, 카메라와 스마트 밴드를 이용하여 운전자의 졸음을 인식하여 운전자의 교통 사고를 방지할 수 있다는 효과를 제공한다.
도 1은 일 실시예에 따른 운전자의 졸음을 인식하는 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 운전자의 졸음 인식 방법의 동작을 나타내는 흐름도이다.
도 3은 운전자의 졸음 인식 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 졸음 인식 장치의 구성을 도시하는 도면이다.
도 5는 일 실시예에 따른 전류 피부 저항 신호를 이용한 졸음 인식 방법을 도시하는 도면이다.
도 6은 일 실시예에 따른 광용적 맥파 신호를 이용한 졸음 인식 방법을 도시하는 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 운전자의 졸음을 인식하는 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 운전자의 졸음을 인식하기 위한 시스템은 서로 간에 무선 통신이 가능한 졸음 인식 장치(110)와 웨어러블 장치(120)를 포함할 수 있다. 차량에 부착 또는 포함된 졸음 인식 장치(110)는 카메라와 같이 사용자의 얼굴을 촬영할 수 있는 촬영 기기를 포함할 수 있다. 웨어러블 장치(120)는 운전자의 생체 신호를 측정할 수 있는 생체 신호 센서를 포함하며, 스마트 워치 또는 스마트 밴드와 같은 손목형 웨어러블 장치가 될 수 있다.
일 실시예에 따르면, 졸음 인식 장치(110)는 미리 학습된 분류기를 이용하여 카메라로 운전자를 촬영한 영상으로부터 운전자의 얼굴 영역을 검출할 수 있다. 졸음 인식 장치(110), 얼굴 영역에서 코 영역을 검출하고, 코 영역과의 절대적인 위치 정보 및 검출된 운전자의 얼굴 영역의 크기 정보를 이용하여 눈 영역의 탐색을 위한 탐색 영역을 설정할 수 있다.
또한, 일 실시예에 따르면, 졸음 인식 장치(110)는 70개의 얼굴 영상 이미지 데이터베이스를 이용하여 좌측과 우측 눈 영역을 탐색할 수 있는 탐색 영역의 중심점의 위치 평균 벡터를 계산할 수도 있다. 이때, 졸음 인식 장치(110)는 눈 영역 이미지 데이터가 학습된 분류기를 이용하여, 설정된 탐색 영역 내에서 운전자의 눈 영역을 검출할 수 있다. 이때, 분류기는 오른쪽 눈과 왼쪽 눈을 각각 따로 학습할 수도 있다.
일 실시예에 따르면, 웨어러블 장치(120)는, 운전자의 생체 신호를 측정할 수 있다. 또한, 웨어러블 장치(120)는, 측정된 운전자의 생체 신호를 졸음 인식 장치(110)로 블루투스와 같은 무선 통신을 이용하여 전송할 수도 있다.
도 2는 일 실시예에 따른 운전자의 졸음 인식 방법의 동작을 나타내는 흐름도이다.
도 2를 참조하면, 졸음 인식 장치가 수행하는 운전자의 졸음 인식 방법은 하기와 같은 단계를 포함할 수 있다.
먼저, 단계(210)에서, 졸음 인식 장치는 웨어러블 장치에 의해 측정된 생체 신호를 웨어러블 장치로부터 수신할 수 있다. 이때, 생체 신호는, 심전도(ECG, electrocardiogram) 신호, 광용적 맥파(PPG, Photoplethysmography) 신호, 전류 피부 저항(GSR, galvanic skin response) 신호 중 적어도 하나를 포함할 수 있다. 한편, 졸음 인식 장치는 생체 신호를 블루투스와 같은 무선 통신을 이용하여 웨어러블 장치로부터 수신할 수 있다.
단계(220)에서, 졸음 인식 장치는 생체 신호의 패턴을 분석하여 기준 값을 결정할 수 있다. 이때, 기준 값은 아래에 기재된 비율 값과 비교를 하기 위해 기준이 되는 값으로서, 각각의 운전자마다 다른 값으로 설정될 수 있고, 운전자의 졸음 상태에 따라 설정될 수도 있다.
일 실시예에 따르면, 졸음 인식 장치는 생체 신호의 패턴을 분석하여 운전자가 졸음 상태인지 또는 각성 상태인지 여부를 결정할 수 있다. 예를 들어, 졸음 인식 장치는 운전자의 각성 상태의 생체 신호의 평균과 비교하여 특정 구간의 운전자의 생체 신호의 변화 폭이 크다고 판단될 경우, 운전자가 졸음 상태에 있는 것으로 추정할 수 있다. 이때, 운전자가 졸음 상태일 때 적용되는 기준 값은, 운전자가 각성 상태일 때 적용되는 기준 값과 다른 것일 수 있다. 예를 들어, 졸음 인식 장치는 운전자가 졸음 상태일 경우, 기준 값을 낮추거나, 운전자가 각성 상태일 경우, 기준 값을 높일 수 있다. 가령, 제1 구간에서 설정된 기준 값이 5라고 가정할 경우, 졸음 인식 장치는 운전자가 각성 상태일 경우, 기준 값을 6으로 높일 수 있다. 또한, 경우에 따라서, 졸음 인식 장치는 운전자가 졸음 상태일 경우, 기준 값을 4로 낮출 수도 있다.
단계(230)에서, 졸음 인식 장치는 운전자를 촬영한 영상으로부터 운전자의 눈 영역을 검출할 수 있다. 이때, 졸음 인식 장치는 운전자를 촬영한 영상으로부터 운전자의 얼굴 영역을 먼저 검출할 수 있다. 또한, 검출한 운전자의 얼굴 영역으로부터 운전자의 코 영역을 검출할 수 있다. 또한, 검출한 운전자의 코 영역을 이용하여 운전자의 눈 영역을 검출할 수 있다. 예를 들어, 졸음 인식 장치는 검출한 운전자의 코 영역을 기준으로 코 영역의 상단 좌우를 눈 영역으로 검출할 수도 있다.
단계(240)에서, 졸음 인식 장치는 일 시간 구간에서 검출된 눈 영역의 영상 정보를 분석하여 일 시간 구간에 대한 운전자가 눈을 감은 시간 구간의 비율 값을 결정할 수 있다. 예를 들면, 졸음 인식 장치는 하기 수학식 1을 이용하여 일 시간 구간에 대한 운전자가 눈을 감은 시간 구간의 비율 값을 결정할 수도 있다. 이때, PERCLOS는 0 내지 100% 값으로 구분되어 졸음의 레벨(Level)이 판단될 수 있다. 예를 들면, 0%는 측정된 시간 동안 사용자가 계속 눈을 뜬 상태를 의미하고, 100%는 측정된 시간 동안 사용자가 계속 눈을 감은 상태를 의미할 수 있다.
Figure pat00001
단계(250)에서, 졸음 인식 장치는 비율 값과 기준 값을 비교하여 운전자가 졸음 상태인지 여부를 결정할 수 있다. 이때, 단계(260)에서, 졸음 인식 장치는 비율 값이 기준 값보다 클 경우 운전자가 졸음 상태에 있는 것으로 확정할 수도 있다. 또한, 경우에 따라서, 졸음 인식 장치는 비율 값이 기준 값 이상일 경우 운전자가 졸음 상태에 있는 것으로 확정할 수도 있다. 예를 들면, 비율 값인 PERCLOS가 기준 값인 30% 이상일 경우 졸음 운전으로 판단할 수도 있다.
일 실시예에 따르면, 졸음 인식 장치는 운전자가 졸음 상태에 있는 것으로 확정할 경우, 경고음과 같은 사운드를 출력할 수도 있다. 또한, 경우에 따라서, 졸음 인식 장치는 운전자가 졸음 상태에 있는 것으로 확정할 경우, 운전자가 졸음 상태에 있다는 것을 알리는 운전자 졸음 정보를 블루투스 장치와 같은 다른 장치로 전송할 수도 있다. 이때, 블루투스 장치는 졸음 인식 장치로부터 수신한 운전자 졸음 정보에 따라 경고음과 같은 사운드를 출력할 수도 있다.
도 3은 운전자의 졸음 인식 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 3을 참조하면, 졸음 인식 장치가 눈 깜박임을 인식하는 과정을 알 수 있다.
일 실시예에 따르면, 단계(310)에서, 졸음 인식 장치는 운전자 또는 일반인을 촬영한 영상으로부터 운전자의 눈 영역이 검출된 눈 데이터를 수집할 수 있다. 이때, 각각의 다른 운전자 또는 일반인으로부터 눈 데이터를 수집할 수도 있고, 각각 개인의 운전자를 여러 회 동안 촬영하여 좌우 눈에 대한 눈 데이터를 수집할 수도 있다. 이때, 수집된 눈 데이터는 데이터베이스에 데이터로 저장될 수 있다. 또한, 경우에 따라서, 수집된 눈 데이터는, 뜬 눈과 감은 눈이 구별되어 저장될 수도 있다.
단계(320)에서, 졸음 인식 장치는 얼굴 이미지를 정규화할 수 있다. 이때, 졸음 인식 장치는 이미지 크기, 이미지 밝기, 얼굴 위치에 따라, 얼굴 이미지를 정규화할 수도 있다. 또한, 경우에 따라서, 졸음 인식 장치는 눈 이미지를 정규화할 수도 있다. 이때, 졸음 인식 장치는 이미지 크기, 이미지 밝기, 눈 위치에 따라, 눈 이미지를 정규화할 수도 있다. 또한, 졸음 인식 장치는 인식기 및 분류기를 이용하여 정규화된 특징을 선별 및 학습하고, 입력된 이미지를 분류할 수 있다.
일 실시예에 따르면, 졸음 인식 장치는 운전자의 얼굴 영역을 검출하고, 눈 영역 탐색 ROI(Region Of Interest)를 설정하여 눈 영역을 검출할 수 있다. 예를 들어, 졸음 인식 장치는 검출된 코 영역의 중심점을 기준으로 눈 영역 탐색 ROI의 중심점을 구하기 위해 준비된 얼굴 영상 이미지 데이터베이스를 이용하여 좌측과 우측 눈 영역 탐색 ROI 중심점의 위치 평균 벡터 V를 계산할 수도 있다. 또한, 졸음 인식 장치는 검출된 눈 영역을 기초로 눈 깜박임을 인식할 수 있다. 예를 들어, 졸음 인식 장치는 검출된 눈 영역의 깜박임을 인식하기 위하여 Back Propagation방법으로 학습된 MLP(Multi-Layer Perceptron) 분류기(Classifier)를 사용할 수 있다. 이때, 왼쪽 눈, 오른쪽 눈 영역을 각각 따로 학습하여 분류기가 생성될 수 있으며, 학습을 위해 Open Left Eye, Open Right Eye, Closed Left Eye, Closed Right Eye 이미지 데이터베이스가 사용될 수도 있다.
단계(330)에서, 졸음 인식 장치는 정규화된 얼굴 이미지 또는 정규화된 눈 이미지를 이용하여 운전자를 촬영한 영상에서 운전자의 눈 영역을 검출할 수 있다. 또한, 검출된 운전자의 눈 영역의 영상 정보를 분석하여 운전자가 눈을 감은 상태인지, 아니면 눈을 뜬 상태인지를 구별할 수 있다. 이때, 운전자를 촬영한 영상은 운전자의 상반신을 촬영한 영상이 될 수 있으나, 이에 한정되는 것은 아니다.
도 4는 일 실시예에 따른 졸음 인식 장치의 구성을 도시하는 도면이다.
도 4를 참조하면, 졸음 인식 장치(410)는 생체 신호 수신부(411), 기준 값 결정부(412), 눈 영역 검출부(413), 눈 영역 검출부(413), 비율 값 결정부(414), 졸음 상태 결정부(415)를 포함할 수 있다. 이때, 생체 신호 수신부(411), 기준 값 결정부(412), 눈 영역 검출부(413), 눈 영역 검출부(413), 비율 값 결정부(414), 졸음 상태 결정부(415)는, 메모리, 프로세서, 송수신기 중 적어도 하나를 포함하여 구성될 수 있으나, 이에 한정되지 않는다. 또한, 졸음 인식 장치(410)는 웨어러블 장치(420)와 무선 통신 등으로 연결될 수도 있다.
생체 신호 수신부(411)는 웨어러블 장치에 의해 측정된 생체 신호를 웨어러블 장치(420)로부터 수신할 수 있다. 예를 들어, 생체 신호 수신부(411)는, 경우에 따라서, 생체 신호를 Wifi 등과 같은 무선 통신을 통하여서도 웨어러블 장치(420)로부터 수신할 수도 있다. 이때, 생체 신호는, 심전도 신호, 광용적 맥파 신호, 전류 피부 저항 신호 중 적어도 하나를 포함할 수 있다.
기준 값 결정부(412)는 생체 신호의 패턴을 분석하여 기준 값을 결정할 수 있다. 예를 들어, 기준 값은 아래에 기재된 비율 값과 비교를 하기 위해 기준이 되는 값이 될 수 있다. 이때, 기준 값은 각각의 운전자마다 다른 값으로 설정될 수 있고, 운전자가 졸음 상태인지 여부에 따라 설정될 수도 있다.
예를 들면, 기준 값 결정부(412)는 생체 신호의 패턴을 분석하여 운전자가 졸음 상태인지 또는 각성 상태인지 여부를 결정할 수 있다. 이때, 운전자가 졸음 상태일 때 적용되는 기준 값은, 운전자가 각성 상태일 때 적용되는 기준 값과 다른 것일 수 있다. 즉, 기준 값 결정부(412)는 운전자가 졸음 상태일 경우, 기준 값을 낮추거나, 운전자가 각성 상태일 경우, 기준 값을 높일 수도 있다. 가령, 일 시간 구간에서 설정된 기준 값이 50%라고 가정할 경우, 기준 값 결정부(412)는 운전자가 각성 상태일 경우, 기준 값을 60%로 높일 수 있다. 또한, 경우에 따라서, 기준 값 결정부(412)는 운전자가 졸음 상태일 경우, 기준 값을 40%로 낮출 수도 있다.
눈 영역 검출부(413)는 운전자를 촬영한 영상으로부터 운전자의 눈 영역을 검출할 수 있다. 이때, 눈 영역 검출부(413)는 카메라와 같은 촬영 기기를 포함하여 구성될 수도 있다. 예를 들어, 눈 영역 검출부(413)는 운전자를 촬영한 영상으로부터 운전자의 얼굴 영역을 먼저 검출할 수 있다. 이때, 검출한 운전자의 얼굴 영역으로부터 운전자의 코 영역을 검출할 수 있다. 또한, 검출한 운전자의 코 영역을 이용하여 운전자의 눈 영역을 검출할 수도 있다. 검출한 운전자의 코 영역을 기준으로 코 영역의 상단 좌우가 눈 영역으로 검출될 수도 있다.
비율 값 결정부(414)는 일 시간 구간에서 검출된 눈 영역의 영상 정보를 분석하여 일 시간 구간에 대한 운전자가 눈을 감은 시간 구간의 비율 값을 결정할 수 있다. 가령, 비율 값 결정부(414)는 눈을 감은 누적된 시간과 측정 시간의 비를 퍼센트 비율로서 PERCLOS라고 정의할 수 있다. 이때, PERCLOS는 0 내지 100% 값으로 구분되어 졸음의 정도가 판단될 수 있다. 예를 들면, 10%는 측정된 시간이 10초일 경우, 사용자가 총 1초 동안 눈을 감은 것을 의미하고, 90%는 측정된 시간이 10초일 경우, 사용자가 총 1초 동안 눈을 뜬 것을 의미할 수 있다. 즉, 90%는 측정된 시간이 10초일 경우, 사용자가 총 9초 동안 눈을 감은 것을 의미할 수 있다.
졸음 상태 결정부(415)는 비율 값과 기준 값을 비교하여 운전자가 졸음 상태인지 여부를 결정할 수 있다. 이때, 졸음 상태 결정부(415)는 비율 값이 기준 값보다 클 경우 운전자가 졸음 상태에 있는 것으로 확정할 수도 있다. 또한, 경우에 따라서, 졸음 상태 결정부(415)는 비율 값이 기준 값 이상일 경우 운전자가 졸음 상태에 있는 것으로 확정할 수도 있다. 예를 들면, 비율 값인 PERCLOS가 기준 값인 50% 이상일 경우 졸음 운전으로 판단할 수도 있다.
도 5는 일 실시예에 따른 전류 피부 저항 신호를 이용한 졸음 인식 방법을 도시하는 도면이다.
도 5의 (a)와 (b)를 참조하면, 졸음 인식 장치는 스마트 밴드와 같은 웨어러블 장치의 생체 신호 센서로부터 획득한 전류 피부 저항(GSR) 신호와 같은 생체 신호의 패턴을 분석할 수 있다.
일 실시예에 따르면, 졸음 인식 장치는 도 5의 (a), (b)와 같이 웨어러블 장치가 부착된 운전자의 피부의 저항 변화를 분석할 수 있다. 예를 들어, 졸음 인식 장치는 피부의 저항 변화가 거의 없을 경우, 운전자가 졸음 상태에 있다고 판단할 수 있다. 또한, 경우에 따라서, 졸음 인식 장치는 피부의 저항 변화가 클 경우, 운전자가 각성 상태에 있다고 판단하여 졸음 위험을 인식할 수도 있다.
도 6은 일 실시예에 따른 광용적 맥파 신호를 이용한 졸음 인식 방법을 도시하는 도면이다.
도 6의 (a)와 (b)를 참조하면, 졸음 인식 장치는 웨어러블 장치의 생체 신호 센서로부터 획득한 광용적 맥파(PPG) 신호와 같은 생체 신호의 패턴을 분석할 수 있다.
일 실시예에 따르면, 졸음 인식 장치는 도 6의 (a), (b)와 같이 웨어러블 장치가 부착된 운전자의 광용적 맥파의 변화를 분석할 수 있다. 예를 들어, 졸음 인식 장치는 광용적 맥파의 변화의 폭이 클 경우, 운전자가 졸음 상태에 있다고 판단할 수 있다. 또한, 경우에 따라서, 졸음 인식 장치는 광용적 맥파의 변화의 폭이 작을 경우, 운전자가 각성 상태에 있다고 판단하여 졸음 위험을 인식할 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (5)

  1. 웨어러블 장치에 의해 측정된 생체 신호를 상기 웨어러블 장치로부터 수신하는 단계;
    상기 생체 신호의 패턴을 분석하여 기준 값을 결정하는 단계;
    운전자를 촬영한 영상으로부터 상기 운전자의 눈 영역을 검출하는 단계;
    일 시간 구간에서 검출된 눈 영역의 영상 정보를 분석하여 상기 일 시간 구간에 대한 상기 운전자가 눈을 감은 시간 구간의 비율 값을 결정하는 단계; 및
    상기 비율 값과 상기 기준 값을 비교하여 상기 운전자가 졸음 상태인지 여부를 결정하는 단계
    를 포함하는 운전자의 졸음 인식 방법.
  2. 제1항에 있어서,
    상기 기준 값을 결정하는 단계는,
    상기 생체 신호의 패턴을 분석하여 상기 운전자가 졸음 상태인지 또는 각성 상태인지 여부를 결정하는 단계를 포함하고,
    상기 운전자가 졸음 상태일 때 적용되는 기준 값은, 상기 운전자가 각성 상태일 때 적용되는 기준 값과 다른 것인, 운전자의 졸음 인식 방법.
  3. 제2항에 있어서,
    상기 기준 값을 결정하는 단계는,
    상기 운전자가 졸음 상태일 경우, 상기 기준 값을 낮추거나, 상기 운전자가 각성 상태일 경우, 상기 기준 값을 높이는 단계
    를 더 포함하는. 운전자의 졸음 인식 방법.
  4. 제1항에 있어서,
    상기 생체 신호는,
    심전도(ECG) 신호, 광용적 맥파(PPG) 신호, 전류 피부 저항(GSR) 신호 중 적어도 하나를 포함하는, 운전자의 졸음 인식 방법.
  5. 웨어러블 장치에 의해 측정된 생체 신호를 상기 웨어러블 장치로부터 수신하는 생체 신호 수신부;
    상기 생체 신호의 패턴을 분석하여 기준 값을 결정하는 기준 값 결정부;
    운전자를 촬영한 영상으로부터 상기 운전자의 눈 영역을 검출하는 눈 영역 검출부;
    일 시간 구간에서 검출된 눈 영역의 영상 정보를 분석하여 상기 일 시간 구간에 대한 상기 운전자가 눈을 감은 시간 구간의 비율 값을 결정하는 비율 값 결정부; 및
    상기 비율 값과 상기 기준 값을 비교하여 상기 운전자가 졸음 상태인지 여부를 결정하는 운전자 졸음 상태 결정부
    를 포함하는 졸음 인식 장치.
KR1020160069008A 2016-06-02 2016-06-02 운전자의 졸음 인식 방법 및 졸음 인식 장치 KR101839089B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160069008A KR101839089B1 (ko) 2016-06-02 2016-06-02 운전자의 졸음 인식 방법 및 졸음 인식 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160069008A KR101839089B1 (ko) 2016-06-02 2016-06-02 운전자의 졸음 인식 방법 및 졸음 인식 장치

Publications (2)

Publication Number Publication Date
KR20170136887A true KR20170136887A (ko) 2017-12-12
KR101839089B1 KR101839089B1 (ko) 2018-03-16

Family

ID=60943741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160069008A KR101839089B1 (ko) 2016-06-02 2016-06-02 운전자의 졸음 인식 방법 및 졸음 인식 장치

Country Status (1)

Country Link
KR (1) KR101839089B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190035558A (ko) * 2017-09-26 2019-04-03 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
KR101970917B1 (ko) * 2018-07-03 2019-04-22 김윤상 센서 기반 스마트 피드백 시스템
KR20200018838A (ko) * 2018-08-13 2020-02-21 한국자동차연구원 위험 운전 방지 시스템 및 그 방법
CN111507170A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 通过车对车连接警告驾驶员的异常状态的方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102033499B1 (ko) 2018-07-12 2019-10-18 동국대학교 산학협력단 졸음 판단 장치 및 방법
KR20230127386A (ko) 2022-02-24 2023-09-01 케이지모빌리티 주식회사 운전자 졸음 시 안전정차 보조시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013252764A (ja) * 2012-06-06 2013-12-19 Parama Tec:Kk 居眠り警告装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190035558A (ko) * 2017-09-26 2019-04-03 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
KR101970917B1 (ko) * 2018-07-03 2019-04-22 김윤상 센서 기반 스마트 피드백 시스템
KR20200018838A (ko) * 2018-08-13 2020-02-21 한국자동차연구원 위험 운전 방지 시스템 및 그 방법
CN111507170A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 通过车对车连接警告驾驶员的异常状态的方法和装置
KR20200095383A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치
CN111507170B (zh) * 2019-01-31 2023-11-28 斯特拉德视觉公司 通过车对车连接警告驾驶员的异常状态的方法和装置

Also Published As

Publication number Publication date
KR101839089B1 (ko) 2018-03-16

Similar Documents

Publication Publication Date Title
KR101839089B1 (ko) 운전자의 졸음 인식 방법 및 졸음 인식 장치
US20220095975A1 (en) Detection of cognitive state of a driver
Cheng et al. Triaxial accelerometer-based fall detection method using a self-constructing cascade-AdaBoost-SVM classifier
Lee et al. Real-time physiological and vision monitoring of vehicle driver for non-intrusive drowsiness detection
US20090062679A1 (en) Categorizing perceptual stimuli by detecting subconcious responses
Ghosh et al. Real time eye detection and tracking method for driver assistance system
JP6399311B2 (ja) 居眠り検知装置
Tang et al. Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance
Nakamura et al. Detection of driver's drowsy facial expression
Tayibnapis et al. A novel driver fatigue monitoring using optical imaging of face on safe driving system
US11954922B2 (en) Method of processing signals indicative of a level of attention of a human individual, corresponding system, vehicle and computer program product
Suhaiman et al. Development of an intelligent drowsiness detection system for drivers using image processing technique
Ranjan et al. Driver Drowsiness Detection System Using Computer Vision
Coetzer et al. Driver fatigue detection: A survey
JP6344254B2 (ja) 眠気検知装置
Mašanović et al. Driver monitoring using the in-vehicle camera
Yin et al. A driver fatigue detection method based on multi-sensor signals
Teja et al. Real-time smart drivers drowsiness detection using dnn
KR20180131045A (ko) 다 센서 기반의 감지ㆍ경보수단과 중앙처리수단이 일체로 구성된 졸음운전 방지장치 및 제어방법
JP2017209262A (ja) 眠気検知装置
Keyvanara et al. Robust real-time driver drowsiness detection based on image processing and feature extraction methods
Biradar Hardware implementation of driver fatigue detection system
Murawski et al. The contactless active optical sensor for vehicle driver fatigue detection
Zhang et al. Low-power listen based driver drowsiness detection system using smartwatch
Ngasri et al. Automated Stand-alone Video-based Microsleep Detection System by using EAR Technique

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant