KR20220084507A - 동공 및 눈깜빡임 인식을 통한 졸음운전 방지 시스템 - Google Patents

동공 및 눈깜빡임 인식을 통한 졸음운전 방지 시스템 Download PDF

Info

Publication number
KR20220084507A
KR20220084507A KR1020200174035A KR20200174035A KR20220084507A KR 20220084507 A KR20220084507 A KR 20220084507A KR 1020200174035 A KR1020200174035 A KR 1020200174035A KR 20200174035 A KR20200174035 A KR 20200174035A KR 20220084507 A KR20220084507 A KR 20220084507A
Authority
KR
South Korea
Prior art keywords
driver
drowsy
camera
pupil
drowsy driving
Prior art date
Application number
KR1020200174035A
Other languages
English (en)
Inventor
이주혁
정민주
김영준
Original Assignee
이주혁
정민주
김영준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이주혁, 정민주, 김영준 filed Critical 이주혁
Priority to KR1020200174035A priority Critical patent/KR20220084507A/ko
Publication of KR20220084507A publication Critical patent/KR20220084507A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • G04G21/04Input or output devices integrated in time-pieces using radio waves
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/42

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 동공 및 눈 깜박임을 측정하여 졸음운전 방지를 하는 시스템에 관한 것으로, 더욱 상세하게는 동공을 측정하는 카메라와 졸음을 판단하는 AI와 이를 통해 잠을 깨우는 진동 시스템에 관한 것이다. 최근 5년(‘15~’19)간 한국도로공사가 관리하는 고속도로에서 발생한 교통 사고발생의 가장 큰 원인은 ‘졸음 및 주시태만(67.6%)’이었다. 이러한 자료를 바탕으로 가장 큰 원인인 졸음운전 사고를 방지하는데 목적이 있다.
운전자가 피로가 쌓이고 피곤한 상태에서 운전을 하지못하게 하는 것은 불가능하며 많은 사람들이 피로를 가지고 생활을 하기 때문에 졸음운전은 어떻게 보면 불가피한 문제점이라고 볼 수 있다. 따라서, 운전자가 졸음상태에 빠지게 되면 졸음상태를 해소할 수 있도록 ai를 이용하여 졸음운전 상태를 대폭 감소할 수 있도록 한다.
본 발명은 계기판에 소형 카메라가 부착되어 운전자의 얼굴과 눈을 인식하여, 얼굴이 고정되어 있는 상태로 동공의 측정이 불가하다고 판단되면 진동을 통해 졸음상태가 지속되지 않도록 해준다. 이는 카메라의 부피가 작고, 시스템이 매우 간단하여, 소형차에도 부착을 시킬 수 있는 형태를 가진다.

Description

동공 및 눈깜빡임 인식을 통한 졸음운전 방지 시스템 { Drowsy Driving Prevention System through Pupils and Blinking Recognition }
본 발명은 동공 및 눈 깜박임을 측정하여 졸음운전 방지를 하는 시스템에 관한 것으로, 더욱 상세하게는 동공을 측정하는 카메라와 졸음을 판단하는 AI와 이를 통해 잠을 깨우는 진동 시스템에 관한 것이다.
현재 시범된 졸음운전 방지 장치는 ‘얼굴모니터링장치’이다. 이는 운전석 대시보드 상단에 설치되어 운전자의 얼굴방향과 눈꺼풀 감김 정도 등의 운전자 피로상태를 측정한다. 차량 내부에 장착되는 ‘차량운행정보 프로그램’은 앞 차와의 추돌거리 예측, 지그재그 주행 등 차량의 궤적변화 등을 통해 위험상황을 예측한다. 운전자가 손목에 착용하는 ‘운전자착용 밴드’는 운전자의 생체신호를 감지하고 위험상황을 운전자에게 전달하는 역할을 한다. ‘얼굴인지장치’와 ‘차량운행정보 프로그램’을 통해 위험상황이 확인되면 ‘운전자착용 밴드’에 진동이 발생해 운전자의 주의운전을 유도하게 된다.
하지만 이러한 장치는 부피가 매우 커서 소형차에 설치를 하면 앞을 가릴 위험이 있고, 초기 설치 비용이 많이 들어 현재 버스에만 시범을 하는 방법으로 진행되고 있다. 이로 인해 일반적인 소형차에는 설치를 할 수 없는 문제점이 발생하게 된다.
[문헌1] 10-2006-7022734 (2006.10.30) 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및 컨트롤러 및 그들의 사용 방법 [문헌2] 1007198500000 (2007.05.14) 진동세기 조절기능이 구비된 이동통신 단말기 및 그 동작방법
[문헌1] 허경무and 강수민. "자동차 운전자의 졸음 감지 기술". 제어로봇시스템학회지 21.2 (2015):37-43 
최근 5년(‘15~’19)간 한국도로공사가 관리하는 고속도로에서 발생한 교통사고 사망자는 총 1,079명으로, 사고발생의 가장 큰 원인은 ‘졸음 및 주시태만(67.6%)’이었다. 이러한 자료를 바탕으로 교통사고의 가장 큰 원인인 졸음운전 사고를 방지하는데 목적이 있다.
운전자가 피로가 쌓이고 피곤한 상태에서 운전을 하지못하게 하는 것은 불가능하며 많은 사람들이 피로를 가지고 생활을 하기 때문에 졸음운전은 어떻게 보면 불가피한 문제점이라고 볼 수 있다. 따라서, 본질적인 원인인 “졸음상태”를 없애기 보다는 졸음상태에 빠지게 되면 운전자가 졸음상태를 해소할 수 있도록 ai를 이용하여 졸음운전 상태를 대폭 감소할 수 있도록 한다.
본 발명은 계기판에 소형 카메라가 부착되어 운전자의 얼굴과 눈을 인식하여, 얼굴이 고정되어 있는 상태로 동공의 측정이 불가하다고 판단되면 진동을 통해 졸음상태가 지속되지 않도록 해준다. 이는 카메라의 부피가 작고, 시스템이 매우 간단하여, 소형차에도 부착을 시킬 수 있는 형태를 가진다.
도 1 운전석 계기판에 달려있는 동공인식 및 얼굴인식용 카메라 평면구조도
도 2 본 발명의 카메라의 측면도
도 3 본 발명의 진동이 울릴 범위의 평면도
도 4 본 발명의 진동이 울릴 범위와 모터를 설치한 평면도
도 5 블루투스 연결 장치의 입체적 도면
본 발명은 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
먼저 도면 1에서 본 것 같이 카메라를 계기판에 설치하면, 도면 2에서 본 카메라가 운전자의 동공과 얼굴을 인식한다. 그리고 얼굴은 인식이 되지만 동공을 인식하지 못하는 상태가 일정 시간 지속되면 졸음 상태라 판단하여 도면 3에서와 같이 핸들의 일정 부분이 진동이 울려 졸음상태가 지속되지 못하게 한다. 도면 4와 같이 모든 부분에 진동 모터를 부착하지 않고, 일정 부분만 부착을 하는 형태로, 설치가 간단하게 제작하였다. 도면 5는 카메라와 진동을 연결하는 블루투스 시스템으로, 사용자가 원한다면 핸들이 아닌 다른 제품과 연결하여 그 제품이 진동을 울리게 할 수 있다. (예, 스마트 워치)
1. 운전석 계기판에 달려있는 동공인식 및 얼굴인식용 카메라
2. 제어부
3. 핸들의 진동부분
4. 핸들 진동을 위한 모터
5. 블루투스 연결 장치

Claims (5)

  1. 운전석 계기판에 설치되어 운전자의 동공과 얼굴로부터 정보를 수집하는 카메라(01);와
    상기 카메라에서 보내온 신호를 통해 졸음운전을 판단하는 제어부(02);와
    상기 제어부에서 졸음운전이라고 판단하면 스마트 워치가 운전자에게 진동을 주도록 스마트 워치로 신호를 보내는 블루투스 연결장치(05);와
    핸들 표면 내부에 매립되어 상기 제어부에서 졸음운전이라고 판단하면 운전자에게 진동을 보내는진동모터(04)로 구성된 졸음운전 방지장치
  2. 청구항 1에 있어서 상기 카메라(01)는 계기판에 설치되어 있어 운전자의 얼굴 움직임과 동공을 인식한 후 얼굴 움직임에 관한 정보와 눈 깜빡임의 정도, 동공의 크기 변화에 관한 정보를 상기 제어부(02)로 전달하는 것을 특징으로 하는 졸음운전 방지장치
  3. 청구항 1에 있어서 상기 제어부(02)는 카메라에서 보내온 정보를 바탕으로 2초 동안 운전자의 움직임 변화를 감지할 수 없을 경우나, 데이터 베이스를 바탕으로 운전자의 평소 보다 저하된 눈 깜빡임을 인식하는 경우와 동공의 크기가 작아지는 등 동공에 변화를 인식하는 경우 졸음 운전을 판단하는 제어부를 포함하는 것을 특징으로 하는 졸음운전 방지장치
  4. 청구항 1에 있어서 상기 블루투스 연결장치(05)는 상기 제어부에서 졸음 운전을 판단하면 연동된 스마트 워치가 운전자에게 진동을 주도록 상기 스마트 워치로 신호를 전달하는 것을 특징으로 하는 졸음운전 방지장치
  5. 청구항 1에 있어서 상기 진동모터는 운전자의 손이 맞닿는 핸들 내부에 설치되어 상기 제어부(02)에서 졸음운전을 판단하면 상기 진동모터(04)에서 운전자의 손에 진동 가하는 것을 특징으로 하는 졸음운전 방지장치
KR1020200174035A 2020-12-14 2020-12-14 동공 및 눈깜빡임 인식을 통한 졸음운전 방지 시스템 KR20220084507A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200174035A KR20220084507A (ko) 2020-12-14 2020-12-14 동공 및 눈깜빡임 인식을 통한 졸음운전 방지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174035A KR20220084507A (ko) 2020-12-14 2020-12-14 동공 및 눈깜빡임 인식을 통한 졸음운전 방지 시스템

Publications (1)

Publication Number Publication Date
KR20220084507A true KR20220084507A (ko) 2022-06-21

Family

ID=82221144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174035A KR20220084507A (ko) 2020-12-14 2020-12-14 동공 및 눈깜빡임 인식을 통한 졸음운전 방지 시스템

Country Status (1)

Country Link
KR (1) KR20220084507A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100719850B1 (ko) 2005-08-24 2007-05-18 엘지전자 주식회사 진동세기 조절기능이 구비된 이동통신 단말기 및 그동작방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100719850B1 (ko) 2005-08-24 2007-05-18 엘지전자 주식회사 진동세기 조절기능이 구비된 이동통신 단말기 및 그동작방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
[문헌1] 허경무and 강수민. "자동차 운전자의 졸음 감지 기술". 제어로봇시스템학회지 21.2 (2015):37-43

Similar Documents

Publication Publication Date Title
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN112041910B (zh) 信息处理装置、移动设备、方法和程序
Kaplan et al. Driver behavior analysis for safe driving: A survey
CN111417990B (zh) 使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法
EP2564765B1 (en) System and method for improving a performance estimation of an operator of a vehicle
JP6369487B2 (ja) 表示装置
KR101866724B1 (ko) 웨어러블 디바이스, 그와 통신하는 차량 및 그 제어 방법
JP5200008B2 (ja) ダイナミック・システム及びデバイスの手動操縦を監視する方法
US20080167757A1 (en) Biometric Vehicular Emergency Management System
US20100295707A1 (en) System and method for lane departure warning
CN205302652U (zh) 智能行车安全模组
CN102316805A (zh) 生理状态推测装置和车辆控制装置
JP2013514592A (ja) 視線技術、死角インジケータ及びドライバ経験を用いる予測ヒューマン・マシン・インタフェース
JP2013089250A (ja) 運転者の状態を評価及び通信するための車両システム及び方法
MX2013009434A (es) Sistema y método de respuesta al comportamiento del conductor.
US20070018801A1 (en) Digital voice/visual warning, alert, and status system for vehicles utilizing laser sensors
JP2014123287A (ja) 居眠り運転警報装置および居眠り運転警報方法
KR20130054830A (ko) 운전자 시선추적과 교통정보를 이용한 도로상황 경보시스템 및 방법
KR20180061462A (ko) 자동차 운전자 생체신호와 자동차 정보를 이용한 자동차 제어 장치 및 방법
CN112204630A (zh) 疲劳驾驶干涉系统及具有其的车辆、疲劳驾驶干涉方法
CN212541557U (zh) 一种基于行车记录仪的防疲劳辅助装置
KR20220084507A (ko) 동공 및 눈깜빡임 인식을 통한 졸음운전 방지 시스템
WO2009060172A1 (en) Detecting driver impairment
CN116215549A (zh) 一种涉及转向盘交互反馈的疲劳监测方法及系统
TWM512526U (zh) 疲勞駕駛監測裝置