KR20210086014A - 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템 - Google Patents

운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템 Download PDF

Info

Publication number
KR20210086014A
KR20210086014A KR1020190179660A KR20190179660A KR20210086014A KR 20210086014 A KR20210086014 A KR 20210086014A KR 1020190179660 A KR1020190179660 A KR 1020190179660A KR 20190179660 A KR20190179660 A KR 20190179660A KR 20210086014 A KR20210086014 A KR 20210086014A
Authority
KR
South Korea
Prior art keywords
driver
information
drowsiness
integrated
vehicle
Prior art date
Application number
KR1020190179660A
Other languages
English (en)
Inventor
백상엽
한덕구
유종원
Original Assignee
주식회사 퓨전소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 퓨전소프트 filed Critical 주식회사 퓨전소프트
Priority to KR1020190179660A priority Critical patent/KR20210086014A/ko
Publication of KR20210086014A publication Critical patent/KR20210086014A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에 관한 것으로서, 보다 구체적으로는 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템으로서, 운전자의 얼굴 영상과, 운전자의 핸들 파지 정도(세기)와, 운전자의 ECG 정보, 및 차량의 운행정보를 획득하는 운전자 상태정보 수집부; 상기 운전자 상태정보 수집부로부터 획득되는 운전자의 얼굴 영상으로부터 운전자 졸음 정보와 운전자 부주의 정보를 추출하고, 핸들 파지 정도에 따른 핸들 파지 정보와 ECG 정보를 정규화 하여 추출하며, 차량의 운행정보를 통한 차량의 횡방향의 변화 정보와 도로 방향 기준 차량의 위치 정보를 추출하는 정보 추출부; 상기 정보 추출부의 추출된 시계열 데이터 변화의 정보들을 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단하는 운전자 졸음 통합 판단부; 및 상기 운전자 졸음 통합 판단부의 운전자 졸음 여부 판단에 기초하여 운전자 졸음 및 부주의를 환기시키기 위한 CID(Caller Identification) 알림 출력부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에 따르면, 운전자의 얼굴 영상으로부터 추출한 운전자 졸음 정보 및 운전자 부주의 정보와, 핸들 파지 정보 및 ECG 정보와, 차량의 운행정보를 통합하여 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단할 수 있도록 구성함으로써, 기존 영상 위주 또는 센서 위주의 데이터 활용 방식에 비해 운전자 졸음 판단의 정확도를 높일 수 있고, 그에 따른 운전자 졸음 예측 진단의 향상을 통한 졸음운전의 예방이 가능하도록 할 수 있다.
또한, 본 발명의 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에 따르면, 미리 설정된 RNN(LSTM) 알고리즘을 통해 운전자의 눈 깜박임 데이터, ECG 데이터, 차량의 운행정보 데이터를 맵핑하여 시간 순서로 시퀀스 처리하여 운전자 졸음 여부를 정확도 높게 통합 판단하고, 졸음으로 판단 시 CID 알림 출력부를 통한 시각적 및 청각적 경고 알림과, 햅틱을 이용한 촉각적 진동 알림 등으로 운전자의 졸음 또는 부주의를 신속하게 환기시키고, 그에 따른 안전운행이 빠르게 유도될 수 있도록 할 수 있다.

Description

운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템{A INTEGRATED DRIVER STATUS DETERMINATION AND NOTIFICATION SERVICE SYSTEM FOR DRIVER DROWSINESS AND CARELESSNESS DIAGNOSIS BASED ON DRIVER IMAGE AND BIO-METRIC AND VEHICLE DRIVING INFORMATION}
본 발명은 운전자 상태 통합 판단 및 알림 서비스 시스템에 관한 것으로서, 보다 구체적으로는 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에 관한 것이다.
교통사고의 원인은 운전자의 부주의나 도로 환경에 따른 돌발적인 위험상황의 발생 등 여러 가지 요인이 관련되어 있으며, 그 가운데 과속 또는 졸음운전에 대한 사고의 비중은 해마다 늘어나는 추세에 있다. 이러한 문제를 해소하기 위한 노력으로 주요 자동차 제조업체들은 차량의 안전 운행을 보조할 수 있는 다양한 시스템을 지속적으로 개발하여 차량에 적용하고 있다.
최근 차량에는 HVI(Human Vehicle Interaction) 관련 기술이 많은 진전을 보이고 있으며, 특히, 운전 중 발생할 수 있는 수많은 상황 가운데 일부를 차량 스스로 인지하고 상황을 판단하여 기계장치를 제어할 수 있도록 하는 다양한 ADAS(Advanced Driver Assistance System) 기술이 적용되고 있다. 이러한 ADAS 기술들은 복잡한 차량 제어 프로세스에서 운전자를 돕고 보완하며, 궁극적으로는 자율주행 기술의 완성을 위해 개발되고 있다.
한편, 종래의 졸음운전의 판정 기술은 주로 카메라를 기반으로 운전자의 상태를 감지하거나, 또는 센서 등을 통해 운전자의 맥박을 모니터링 하여 졸음운전 여부를 판정하는 방식이 사용되고 있다. 이러한 종래의 졸음운전의 판정 기술은, 운전자를 촬영한 영상을 분석하여 운전자 졸음 상태를 인식하는 영상 분석 기술, 또는 운전자의 신체에 설치한 센서를 통한 맥박을 모니터링 하는 생체 센서 분석 기술의 구성으로, 기존 영상 위주와 센서 위주의 데이터를 활용하여 정적인 인식 알고리즘에 활용하는 방식으로는 운전자의 졸음 예측이 어렵고, 정확도의 활용성이 떨어지는 문제가 있었다. 대한민국 등록특허공보 제10-1078466호, 및 공개특허공보 제10-2018-0038316호가 선행기술 문헌으로 개시되고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 운전자의 얼굴 영상으로부터 추출한 운전자 졸음 정보 및 운전자 부주의 정보와, 핸들 파지 정보 및 ECG 정보와, 차량의 운행정보를 통합하여 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단할 수 있도록 구성함으로써, 기존 영상 위주 또는 센서 위주의 데이터 활용 방식에 비해 운전자 졸음 판단의 정확도를 높일 수 있고, 그에 따른 운전자 졸음 예측 진단의 향상을 통한 졸음운전의 예방이 가능하도록 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 미리 설정된 RNN(LSTM) 알고리즘을 통해 운전자의 눈 깜박임 데이터, ECG 데이터, 차량의 운행정보 데이터를 맵핑하여 시간 순서로 시퀀스 처리하여 운전자 졸음 여부를 정확도 높게 통합 판단하고, 졸음으로 판단 시 CID 알림 출력부를 통한 시각적 및 청각적 경고 알림과, 햅틱을 이용한 촉각적 진동 알림 등으로 운전자의 졸음 또는 부주의를 신속하게 환기시키고, 그에 따른 안전운행이 빠르게 유도될 수 있도록 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템은,
운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템으로서,
운전자의 얼굴 영상과, 운전자의 핸들 파지 정도(세기)와, 운전자의 ECG 정보, 및 차량의 운행정보를 획득하는 운전자 상태정보 수집부;
상기 운전자 상태정보 수집부로부터 획득되는 운전자의 얼굴 영상으로부터 운전자 졸음 정보와 운전자 부주의 정보를 추출하고, 핸들 파지 정도에 따른 핸들 파지 정보와 ECG 정보를 정규화 하여 추출하며, 차량의 운행정보를 통한 차량의 횡방향의 변화 정보와 도로 방향 기준 차량의 위치 정보를 추출하는 정보 추출부;
상기 정보 추출부의 추출된 시계열 데이터 변화의 정보들을 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단하는 운전자 졸음 통합 판단부; 및
상기 운전자 졸음 통합 판단부의 운전자 졸음 여부 판단에 기초하여 운전자 졸음 및 부주의를 환기시키기 위한 CID(Caller Identification) 알림 출력부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 운전자 상태정보 수집부는,
운전자의 얼굴 영상을 촬영하는 ToF(Time of Flight) 카메라와, 운전자의 핸들 파지 정도(세기)를 감지하기 위한 HoD 센서와, 운전자의 심전도를 감지하기 위한 ECG 센서와, 차량 제어부로부터 차량의 운행정보를 수신받기 위한 차량용 게이트웨이(GW)를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 정보 추출부는,
상기 운전자 상태정보 수집부의 ToF 카메라로부터 촬영되는 운전자의 얼굴 영상으로부터 운전자의 눈 깜박임과 하품 인식을 통한 운전자 졸음 정보를 추출할 수 있다.
더욱 바람직하게는, 상기 정보 추출부는,
상기 운전자 상태정보 수집부의 ToF 카메라로부터 촬영되는 운전자의 얼굴 영상으로부터 운전자의 머리 자세를 통한 운전자 부주의 정보를 더 추출할 수 있다.
더욱 바람직하게는, 상기 정보 추출부는,
상기 운전자 상태정보 수집부의 HoD 센서와 ECG 센서 및 차량용 게이트웨이로부터 획득되는 핸들 파지 정보와 ECG 정보 및 차량의 운행정보를 CAN 방식으로 수신하여 정규화한 후 공유 메모리에 저장하고, 상기 운전자 졸음 통합 판단부로 제공할 수 있다.
바람직하게는, 상기 운전자 졸음 통합 판단부는,
시계열 데이터 변화의 특징을 추출하여 졸음 여부를 판단하는 RNN(LSTM) 알고리즘을 적용하되, 운전자의 눈 깜박임 데이터, ECG 데이터, 차량의 운행정보 데이터를 맵핑하여 시간 순서로 시퀀스 처리하여 운전자 졸음 여부를 판단할 수 있다.
더욱 바람직하게는, 상기 CID 알림 출력부는,
상기 운전자 졸음 통합 판단부의 운전자 졸음 여부 판단에 기초하여 운전자의 졸음 및 부주의로 판단된 경우, CID 디스플레이를 통해 시각적 및 청각적으로 경고 알림을 제공할 수 있다.
더욱 더 바람직하게는, 상기 CID 알림 출력부는,
상기 운전자 졸음 통합 판단부의 운전자 졸음 여부 판단에 기초하여 운전자의 졸음 및 부주의로 판단된 경우, 핸들에 장착되는 햅틱을 통한 진동 알림을 더 제공할 수 있다.
본 발명에서 제안하고 있는 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에 따르면, 운전자의 얼굴 영상으로부터 추출한 운전자 졸음 정보 및 운전자 부주의 정보와, 핸들 파지 정보 및 ECG 정보와, 차량의 운행정보를 통합하여 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단할 수 있도록 구성함으로써, 기존 영상 위주 또는 센서 위주의 데이터 활용 방식에 비해 운전자 졸음 판단의 정확도를 높일 수 있고, 그에 따른 운전자 졸음 예측 진단의 향상을 통한 졸음운전의 예방이 가능하도록 할 수 있다.
또한, 본 발명의 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에 따르면, 미리 설정된 RNN(LSTM) 알고리즘을 통해 운전자의 눈 깜박임 데이터, ECG 데이터, 차량의 운행정보 데이터를 맵핑하여 시간 순서로 시퀀스 처리하여 운전자 졸음 여부를 정확도 높게 통합 판단하고, 졸음으로 판단 시 CID 알림 출력부를 통한 시각적 및 청각적 경고 알림과, 햅틱을 이용한 촉각적 진동 알림 등으로 운전자의 졸음 또는 부주의를 신속하게 환기시키고, 그에 따른 안전운행이 빠르게 유도될 수 있도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 운전자 상태정보 수집부의 구성을 기능블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에서의 1분 타임 윈도우의 통합 알고리즘(LSTM)의 처리흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에서의 통합 알고리즘(LSTM)의 순차적인 얼굴 이미지의 처리흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 통합 DSM 알고리즘의 전체 처리흐름 과정을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 알림 서비스 처리를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 구현 일례의 참고 사진을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 운전자 상태정보 수집부의 구성을 기능블록으로 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에서의 1분 타임 윈도우의 통합 알고리즘(LSTM)의 처리흐름을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에서의 통합 알고리즘(LSTM)의 순차적인 얼굴 이미지의 처리흐름을 도시한 도면이며, 도 5는 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 통합 DSM 알고리즘의 전체 처리흐름 과정을 도시한 도면이다. 도 1 내지 도 5에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템(100)은, 운전자 상태정보 수집부(110), 정보 추출부(120), 운전자 졸음 통합 판단부(130), 및 CID 알림 출력부(140)를 포함하여 구성될 수 있다.
운전자 상태정보 수집부(110)는, 운전자의 얼굴 영상과, 운전자의 핸들 파지 정도(세기)와, 운전자의 ECG 정보, 및 차량의 운행정보를 획득할 수 있다. 이러한 운전자 상태정보 수집부(110)는 도 2에 도시된 바와 같이, 운전자의 얼굴 영상을 촬영하는 ToF(Time of Flight) 카메라(111)와, 운전자의 핸들 파지 정도(세기)를 감지하기 위한 HoD 센서(112)와, 운전자의 심전도를 감지하기 위한 ECG 센서(113)와, 차량 제어부로부터 차량의 운행정보를 수신받기 위한 차량용 게이트웨이(GW)(114)를 포함하여 구성할 수 있다.
또한, ToF 카메라(111)는 적외선의 반사 시간 차이를 이용한 ToF 방식의 깊이 카메라로, 운전자의 얼굴 영역에 비추어 되돌아오는 광선의 시간 차이를 계산하는 방식으로 거리 정보를 계산할 수 있다. 또한, HoD 센서(112)는 운전자의 핸들 핸즈 온/오프 감지 센서로 운전자가 핸들을 파지하고 있는지를 감지할 수 있다. 또한, ECG 센서(113)는 핸들에 장착되어 운전자의 심전도(ECG)를 측정할 수 있으며, 차량용 게이트웨이(114)는 차량 제어부로부터 주행 중인 차량의 운행정보를 수신할 수 있다.
정보 추출부(120)는, 운전자 상태정보 수집부(110)로부터 획득되는 운전자의 얼굴 영상으로부터 운전자 졸음 정보와 운전자 부주의 정보를 추출하고, 핸들 파지 정도에 따른 핸들 파지 정보와 ECG 정보를 정규화 하여 추출하며, 차량의 운행정보를 통한 차량의 횡방향의 변화 정보와 도로 방향 기준 차량의 위치 정보를 추출하는 구성이다. 이러한 정보 추출부(120)는 운전자 상태정보 수집부(110)의 ToF 카메라(111)로부터 촬영되는 운전자의 얼굴 영상으로부터 운전자의 눈 깜박임과 하품 인식을 통한 운전자 졸음 정보를 추출할 수 있다. 아래의 [표 1]은 본 발명에 따른 정적인 졸음 판단을 위한 기준으로, 운전자의 눈 깜박임, 하품, 얼굴각도에 따른 졸음인식 판단 기준과 졸음 단계별 조건을 나타내고 있다.
Figure pat00001
또한, 정보 추출부(120)는 운전자 상태정보 수집부(110)의 ToF 카메라(111)로부터 촬영되는 운전자의 얼굴 영상으로부터 운전자의 머리 자세를 통한 운전자 부주의 정보를 더 추출할 수 있다. 아래의 [표 2]는 본 발명에 따른 정적인 부주의 판단을 위한 기준으로, 운전자의 얼굴 좌우, 얼굴 상하에 따른 운전 부주의 판단 기준과 부주의 단계별 조건을 나타내고 있다.
Figure pat00002
또한, 정보 추출부(120)는 도 5에 도시된 바와 같이, 샘플로 제시된 얼굴 영상으로부터 PDM(Point Distribution Model) 및 PCA(Principal Component Analysis)를 통해 CLM(Constrained Local Model)을 통해 평균 모양, 고유벡터, 고유값이 모델링되고, 포지티브 샘플과 네가티브 샘플이 신경망(nuural network)을 통해 눈, 코, 입의 패치로 모델링 학습된다. 이렇게 학습된 CLM 모델링에 SVM(Support Vector Machine) 알고리즘에 가중치(weights)가 적용된다. 이후 탐지된 얼굴 영상의 초기화 평균의 패치 주변 특징의 컴퓨팅 확률을 통해 응답 맵을 형성하여 최적화 된다. 최적화된 얼굴 영상으로부터 눈 깜박임의 특징 추출을 통해 눈 깜박임이 분류되어 졸음 인식 정보로 추출되고, 얼굴 영상의 머리 자세에 대한 머리 회적각도의 임계치 측정으로 운전 부주의가 분류되게 된다. 즉, 정보 추출부(120)는 CLM 모델을 통해 미리 학습된 데이터를 탐지 얼굴 영상을 적용하여 최적화하고, 이후 눈 깜박임 분류와 머리자세 분류를 통해 추출된 정보를 운전자 졸음 통합 판단부(130)의 미리 설정된 RNN(LSTM) 알고리즘에 적용하게 된다.
또한, 정보 추출부(120)는 도 5에 도시된 바와 같이, 운전자 상태정보 수집부(110)의 HoD 센서(112)와 ECG 센서(113) 및 차량용 게이트웨이(114)로부터 획득되는 핸들 파지 정보와 ECG 정보 및 차량의 운행정보를 CAN 방식으로 수신하여 정규화한 후 공유 메모리에 저장하고, 운전자 졸음 통합 판단부(130)로 제공할 수 있다.
운전자 졸음 통합 판단부(130)는, 정보 추출부(120)의 추출된 시계열 데이터 변화의 정보들을 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단할 수 있다. 이러한 운전자 졸음 통합 판단부(130)는 시계열 데이터 변화의 특징을 추출하여 졸음 여부를 판단하는 RNN(LSTM) 알고리즘을 적용하되, 운전자의 눈 깜박임 데이터, ECG 데이터, 차량의 운행정보 데이터를 맵핑하여 시간 순서로 시퀀스 처리하여 운전자 졸음 여부를 판단할 수 있다. 즉, 도 3에 도시된 바와 같이, 운전자 졸음 통합 판단부(130)는 정보 추출부(120)의 눈 깜박임, 생체(ECG), 차량정보를 맵핑하여 시간 순서로 RNN(LSTM) 알고리즘에 적용하게 된다.
도 4는 운전자 상태 통합 판단 및 알림 서비스 시스템(100)의 통합 알고리즘(LSTM)의 순차적인 얼굴 이미지의 처리흐름을 나타내고 있다. 즉, 순차적인 얼굴이미지에서 눈이 추출되고, 추출된 눈 이미지의 순차적인 처리를 통해 눈꺼풀 거리가 순차적으로 추출되어 RNN(LSTM) 알고리즘에 적용되어 졸음 확률을 판단할 수 있게 된다.
CID 알림 출력부(140)는, 운전자 졸음 통합 판단부(130)의 운전자 졸음 여부 판단에 기초하여 운전자 졸음 및 부주의를 환기시키기 위한 알림을 출력할 수 있다. 이러한 CID(Caller Identification) 알림 출력부(140)는 운전자 졸음 통합 판단부(130)의 운전자 졸음 여부 판단에 기초하여 운전자의 졸음 및 부주의로 판단된 경우, CID 디스플레이를 통해 시각적 및 청각적으로 경고 알림을 제공할 수 있다.
또한, CID 알림 출력부(140)는 운전자 졸음 통합 판단부(130)의 운전자 졸음 여부 판단에 기초하여 운전자의 졸음 및 부주의로 판단된 경우, 핸들에 장착되는 햅틱을 통한 진동 알림을 더 제공할 수도 있다.
도 6은 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 알림 서비스 처리를 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템의 구현 일례의 참고 사진을 도시한 도면이다. 즉, 도 6은 운전자 상태 정보를 이용하여 운전자 졸음 인식, 운전자 부주의 인식, 핸즈 온 인식, 및 ECG 인식을 통합하여 운전자 졸음 상태를 판단하고, 시청각 및 촉각을 통해 CID 서비스 출력을 제공하며, 차량 제어부와 연동하여 공조 제어 및 창문 제어 등의 차량 서비스 제공이 가능하도록 할 수 있다. 도 7은 전자 상태 통합 판단 및 알림 서비스 시스템(100)이 구현되는 차량의 내부에 설치 구성을 일례로 나타내고 있다.
상술한 바와 같이, 본 발명의 일실시예에 따른 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템은, 운전자의 얼굴 영상으로부터 추출한 운전자 졸음 정보 및 운전자 부주의 정보와, 핸들 파지 정보 및 ECG 정보와, 차량의 운행정보를 통합하여 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단할 수 있도록 구성함으로써, 기존 영상 위주 또는 센서 위주의 데이터 활용 방식에 비해 운전자 졸음 판단의 정확도를 높일 수 있고, 그에 따른 운전자 졸음 예측 진단의 향상을 통한 졸음운전의 예방이 가능하도록 할 수 있으며, 특히, 미리 설정된 RNN(LSTM) 알고리즘을 통해 운전자의 눈 깜박임 데이터, ECG 데이터, 차량의 운행정보 데이터를 맵핑하여 시간 순서로 시퀀스 처리하여 운전자 졸음 여부를 정확도 높게 통합 판단하고, 졸음으로 판단 시 CID 알림 출력부를 통한 시각적 및 청각적 경고 알림과, 햅틱을 이용한 촉각적 진동 알림 등으로 운전자의 졸음 또는 부주의를 신속하게 환기시키고, 그에 따른 안전운행이 빠르게 유도될 수 있도록 할 수 있게 된다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 본 발명의 일실시예에 따른 운전자 상태 통합 판단 및 알림 서비스 시스템
110: 운전자 상태정보 수집부
111: ToF 카메라
112: HoD 센서
113: ECG 센서
114: 차량용 게이트웨이
120: 정보 추출부
130: 운전자 졸음 통합 판단부
140: CID 알림 출력부

Claims (8)

  1. 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템(100)으로서,
    운전자의 얼굴 영상과, 운전자의 핸들 파지 정도(세기)와, 운전자의 ECG 정보, 및 차량의 운행정보를 획득하는 운전자 상태정보 수집부(110);
    상기 운전자 상태정보 수집부(110)로부터 획득되는 운전자의 얼굴 영상으로부터 운전자 졸음 정보와 운전자 부주의 정보를 추출하고, 핸들 파지 정도에 따른 핸들 파지 정보와 ECG 정보를 정규화 하여 추출하며, 차량의 운행정보를 통한 차량의 횡방향의 변화 정보와 도로 방향 기준 차량의 위치 정보를 추출하는 정보 추출부(120);
    상기 정보 추출부(120)의 추출된 시계열 데이터 변화의 정보들을 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단하는 운전자 졸음 통합 판단부(130); 및
    상기 운전자 졸음 통합 판단부(130)의 운전자 졸음 여부 판단에 기초하여 운전자 졸음 및 부주의를 환기시키기 위한 CID(Caller Identification) 알림 출력부(140)를 포함하는 것을 특징으로 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템.
  2. 제1항에 있어서, 상기 운전자 상태정보 수집부(110)는,
    운전자의 얼굴 영상을 촬영하는 ToF(Time of Flight) 카메라(111)와, 운전자의 핸들 파지 정도(세기)를 감지하기 위한 HoD 센서(112)와, 운전자의 심전도를 감지하기 위한 ECG 센서(113)와, 차량 제어부로부터 차량의 운행정보를 수신받기 위한 차량용 게이트웨이(GW)(114)를 포함하여 구성하는 것을 특징으로 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템.
  3. 제2항에 있어서, 상기 정보 추출부(120)는,
    상기 운전자 상태정보 수집부(110)의 ToF 카메라(111)로부터 촬영되는 운전자의 얼굴 영상으로부터 운전자의 눈 깜박임과 하품 인식을 통한 운전자 졸음 정보를 추출하는 것을 특징으로 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템.
  4. 제2항에 있어서, 상기 정보 추출부(120)는,
    상기 운전자 상태정보 수집부(110)의 ToF 카메라(111)로부터 촬영되는 운전자의 얼굴 영상으로부터 운전자의 머리 자세를 통한 운전자 부주의 정보를 더 추출하는 것을 특징으로 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템.
  5. 제2항에 있어서, 상기 정보 추출부(120)는,
    상기 운전자 상태정보 수집부(110)의 HoD 센서(112)와 ECG 센서(113) 및 차량용 게이트웨이(114)로부터 획득되는 핸들 파지 정보와 ECG 정보 및 차량의 운행정보를 CAN 방식으로 수신하여 정규화한 후 공유 메모리에 저장하고, 상기 운전자 졸음 통합 판단부(130)로 제공하는 것을 특징으로 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 운전자 졸음 통합 판단부(130)는,
    시계열 데이터 변화의 특징을 추출하여 졸음 여부를 판단하는 RNN(LSTM) 알고리즘을 적용하되, 운전자의 눈 깜박임 데이터, ECG 데이터, 차량의 운행정보 데이터를 맵핑하여 시간 순서로 시퀀스 처리하여 운전자 졸음 여부를 판단하는 것을 특징으로 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템.
  7. 제6항에 있어서, 상기 CID 알림 출력부(140)는,
    상기 운전자 졸음 통합 판단부(130)의 운전자 졸음 여부 판단에 기초하여 운전자의 졸음 및 부주의로 판단된 경우, CID 디스플레이를 통해 시각적 및 청각적으로 경고 알림을 제공하는 것을 특징으로 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템.
  8. 제7항에 있어서, 상기 CID 알림 출력부(140)는,
    상기 운전자 졸음 통합 판단부(130)의 운전자 졸음 여부 판단에 기초하여 운전자의 졸음 및 부주의로 판단된 경우, 핸들에 장착되는 햅틱을 통한 진동 알림을 더 제공하는 것을 특징으로 하는, 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템.
KR1020190179660A 2019-12-31 2019-12-31 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템 KR20210086014A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190179660A KR20210086014A (ko) 2019-12-31 2019-12-31 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179660A KR20210086014A (ko) 2019-12-31 2019-12-31 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템

Publications (1)

Publication Number Publication Date
KR20210086014A true KR20210086014A (ko) 2021-07-08

Family

ID=76894032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179660A KR20210086014A (ko) 2019-12-31 2019-12-31 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템

Country Status (1)

Country Link
KR (1) KR20210086014A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743184A (zh) * 2022-06-10 2022-07-12 航天科技控股集团股份有限公司 一种驾驶员驾驶状态预警系统
KR20230036425A (ko) * 2021-09-07 2023-03-14 국민대학교산학협력단 차량 위험도 예측 장치 및 방법
WO2023090530A1 (ko) * 2021-11-16 2023-05-25 부산대학교 산학협력단 운전자 인센티브 제공 시스템 및 방법
KR20230139949A (ko) * 2022-03-28 2023-10-06 주식회사 에이치엘클레무브 운전자 보조 시스템 및 운전자 보조 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230036425A (ko) * 2021-09-07 2023-03-14 국민대학교산학협력단 차량 위험도 예측 장치 및 방법
WO2023090530A1 (ko) * 2021-11-16 2023-05-25 부산대학교 산학협력단 운전자 인센티브 제공 시스템 및 방법
KR20230139949A (ko) * 2022-03-28 2023-10-06 주식회사 에이치엘클레무브 운전자 보조 시스템 및 운전자 보조 방법
CN114743184A (zh) * 2022-06-10 2022-07-12 航天科技控股集团股份有限公司 一种驾驶员驾驶状态预警系统

Similar Documents

Publication Publication Date Title
KR20210086014A (ko) 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
Bergasa et al. Real-time system for monitoring driver vigilance
US9662977B2 (en) Driver state monitoring system
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
Doshi et al. A comparative exploration of eye gaze and head motion cues for lane change intent prediction
CN108698606B (zh) 用于分类驾驶员运动的方法
KR20170051197A (ko) 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치
KR102044193B1 (ko) 기계학습기법에 의한 자동차 충돌 경보 시스템 및 방법
KR101165106B1 (ko) 얼굴 인식에 기반한 운전자 인증 장치 및 방법
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
US11514688B2 (en) Drowsiness detection system
Garg Drowsiness detection of a driver using conventional computer vision application
CN114423343A (zh) 认知功能推测装置、学习装置及认知功能推测方法
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
Alam et al. Vision-based driver’s attention monitoring system for smart vehicles
CN114987500A (zh) 驾驶员状态监控方法、终端设备及存储介质
Bergasa et al. Visual monitoring of driver inattention
Panicker et al. Open-eye detection using iris–sclera pattern analysis for driver drowsiness detection
Jimenez et al. Detection of the tiredness level of drivers using machine vision techniques
KR102401607B1 (ko) 운전자의 운행 집중도 레벨 분석방법
Kumar Morphology based facial feature extraction and facial expression recognition for driver vigilance
Daniluk et al. Eye status based on eyelid detection: A driver assistance system
JP4635857B2 (ja) 楕円検出方法、画像認識装置、制御装置
Pansare et al. Real-time Driver Drowsiness Detection with Android

Legal Events

Date Code Title Description
E601 Decision to refuse application