KR20160063653A - 졸음 운전 방지 시스템 - Google Patents

졸음 운전 방지 시스템 Download PDF

Info

Publication number
KR20160063653A
KR20160063653A KR1020140167160A KR20140167160A KR20160063653A KR 20160063653 A KR20160063653 A KR 20160063653A KR 1020140167160 A KR1020140167160 A KR 1020140167160A KR 20140167160 A KR20140167160 A KR 20140167160A KR 20160063653 A KR20160063653 A KR 20160063653A
Authority
KR
South Korea
Prior art keywords
driver
unit
state
drowsiness
warning
Prior art date
Application number
KR1020140167160A
Other languages
English (en)
Other versions
KR101636241B1 (ko
Inventor
전석기
배우정
소준영
김수궐
박정재
Original Assignee
주식회사 아이티스테이션
타타대우상용차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티스테이션, 타타대우상용차 주식회사 filed Critical 주식회사 아이티스테이션
Priority to KR1020140167160A priority Critical patent/KR101636241B1/ko
Publication of KR20160063653A publication Critical patent/KR20160063653A/ko
Application granted granted Critical
Publication of KR101636241B1 publication Critical patent/KR101636241B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Abstract

본 발명은 졸음 운전 방지 시스템에 관한 것으로, 본 발명은 시트 또는 헤드레스트에 진동장치가 구비된 자동차의 졸음 운전 방지 시스템에 있어서, 상기 자동차의 운전자를 촬영한 운전자 촬영 영상, 자동차가 주행하는 주행도로를 촬영한 노면 촬영 영상 및 자동차의 주행 상태 정보를 수집하는 정보 수집부, 운전자 촬영 영상, 노면 촬영 영상 및 상기 주행 상태 정보를 조합하여 운전자의 졸음 여부를 복수의 상태로 구분하여 설정하며, 복수의 상태에 상응하는 경고신호를 생성하는 운전자 상태 모니터부 및 복수의 상태에 상응하는 경고신호에 해당하여 운전자에게 졸음 알람을 수행하는 알람부를 포함하는 졸음 운전 방지 시스템을 제공할 수 있다.

Description

졸음 운전 방지 시스템{SYSTEM FOR PREVENTING DROWSY DRIVE}
본 발명은 졸음 운전 방지 시스템에 관한 것으로, 특히 자동차 운전자의 졸음 여부를 판단하여 위험 경보를 알림과 동시에 졸음 상황을 녹화할 수 있는 졸음 운전 방지 시스템에 관한 것이다.
현대 사회에서 소득의 증대와 소비자들의 편리함의 추구로 인하여 자동차는 폭발적으로 증가하고 있다. 이로 인하여, 최근 교통 사고로 인한 사상자가 증가하고 있는 추세이다. 교통 사고 사상자를 줄이기 위하여 자동차에는 각종 안전장치게 부가되고 있다.
특히, 졸음 운전시 이를 감지하기 위한 장치들이 개발되고 있다, 한국공개특허 10-2013-0009158는 자동차의 주행상태에서 그 자동차의 좌측 차선 또는 우측 차선으로부터 이탈을 감지하여 운전자에게 경보함으로써 운전자의 주의를 환기시켜 안전사고를 미연에 방지하도록 하는 기술이 제안되었으며, 등록특허 제617777호에서는 미리 저장된 운전자의 눈과 비슷한 구조의 눈검색 템플릿을 이용하여 카메라로부터 입력되는 운전자 영상에서 운전자의 눈영상을 빠르게 검출할 수 있도록 하는 졸음운전경고장치의 운전자 눈 영상검출장치 및 방법이 개시되어 있다.
그러나 한국공개특허 10-2013-0009158는 사용자의 의도적인 차선 변경과, 졸음 운전이나 부주의로 인한 차선 이탈을 구분할 수 없어, 사용자에게 불편을 초래할 수 있다.
또한, 등록특허 제10-061777호에서는 단지 눈영상 만을 이용하여 졸음여부를 판단하기 때문에 정확하게 졸음여부를 확인할 수 없는 문제가 있다.
본 발명이 해결하고자 하는 과제는 자동차 운전자의 졸음 여부를 판단하여 위험 경보를 알림과 동시에 졸음 상황을 녹화할 수 있는 졸음 운전 방지 시스템을 제공하는 데 있다.
상기 과제를 해결하기 위하여, 본 발명은 시트 또는 헤드레스트에 진동장치가 구비된 자동차의 졸음 운전 방지 시스템에 있어서, 상기 자동차의 운전자를 촬영한 운전자 촬영 영상, 상기 자동차가 주행하는 주행도로를 촬영한 노면 촬영 영상 및 상기 자동차의 주행 상태 정보를 수집하는 정보 수집부; 상기 운전자 촬영 영상, 상기 노면 촬영 영상 및 상기 주행 상태 정보를 조합하여 운전자의 졸음 여부를 복수의 상태로 구분하여 설정하며, 상기 복수의 상태에 상응하는 경고신호를 생성하는 운전자 상태 모니터부; 및 상기 복수의 상태에 상응하는 경고신호에 해당하여 상기 운전자에게 졸음 알람을 수행하는 알람부를 포함하는 졸음 운전 방지 시스템을 제공할 수 있다.
상기 정보 수집부는 상기 운전자를 촬영하며, 상기 자동차의 스티어링측에 형성되어 상기 운전자를 상방향에서 촬영하는 제1 카메라부; 상기 주행도로를 촬영하는 제2 카메라부; 및 상기 자동차와 CAN(Controller Area Network) 통신을 통해 상기 자동차의 상태 정보를 수집하는 ECU(Electrical Control Unit) 정보 수집부를 포함할 수 있다.
상기 운전자 상태 모니터부는 상기 정보 수집부와 연결되어 상기 운전자 촬영 영상, 상기 노면 촬영 영상 및 상기 자동차 상태 정보를 수신하는 정보 수신부; 상기 운전자의 졸음 여부를 정상상태, 주의상태, 경고상태 및 위험상태로 구분하는 졸음 판단부; 및 상기 구분된 상태에 상응하여 상기 경고신호를 생성하는 경고신호 생성부를 포함할 수 있다.
상기 경고 신호 생성부는 음성경고신호, 영상경고신호 및 촉각경고신호를 생성하며, 상기 졸음 판단부에서 판단된 운전자의 상태에 상응하여 적어도 하나의 경고신호를 상기 알람부에 전송할 수 있다.
상기 알람부는 상기 음성경고신호에 상응하여 설정된 경고 메시지를 스피커에 출력하는 청각 경고 모듈; 상기 영상경고신호에 상응하여 설정된 경고 메시지를 출력하는 시각 경고 모듈; 및 상기 시트 또는 상기 헤드레스트를 진동하도록 하는 촉각 경고 모듈을 포함할 수 있다.
상기 운전자 상태 모니터부는 상기 알람부의 동작 이후 상기 운전자로부터의 반응을 수신하는 운전자 반응 확인부를 더 포함하되,
상기 운전자 반응 확인부는 설정 시간 내에 운전자로부터 반응을 확인하면, 졸음 알람을 해제하고, 상기 설정 시간 내에 운전자 반응이 없을 경우, 상기 졸음 판단부에서 졸음 알림 단계를 상향하도록 할 수 있다.
상기 운전자가 상기 주의상태, 경고상태 및 위험상태로 중 어느 하나의 상태일 경우, 이벤트 신호를 발생시켜 상기 자동차에 부착된 상황 녹화부에 전송할 수 있다.
본 발명의 실시 예에 따른 졸음 운전 방지 시스템은 운전자의 졸음 상태별로 각각 다른 경고신호를 생성하여 출력함으로써 졸음 방지를 효과적으로 수행할 수 있다.
본 발명의 실시 예에 따른 졸음 운전 방지 시스템은 촬영된 영상 및 자동차 상태 정보를 동시에 이용하여 운전자의 졸음 상태를 다단으로 구분하여 오동작을 방지할 수 있다.
또한, 본 발명의 실시 예에 따른 졸음 운전 방지 시스템은 운전자를 촬영하는 카메라가 자동차의 스티어링 장치측에 구비되어 운전자의 졸음 여부를 더 정확하게 확인할 수 있다.
도 1은 본 발명의 실시 예에 따른 졸음 운전 방지 시스템을 도시한 블록도.
도 2는 도 1에 도시된 정보 수집부를 도시한 블록도.
도 3은 도 2에 도시된 정보 수집부에 포함된 각 구성부의 설치 위치를 예를 들어 도시한 도면.
도 4는 도 1에 도시된 운전자 상태 모니터부의 일 예를 도시한 블록도.
도 5는 도 1에 도시된 알람부의 일 예를 도시한 블록도.
도 6은 도 1에 도시된 본 발명의 실시 예에 따른 졸음 운전 방지 시스템의 동작 방법을 순차적으로 도시한 흐름도
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시 예를 첨부한 도 1 내지 도 6을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 졸음 운전 방지 시스템을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 다른 졸음 운전 방지 시스템은 정보 수집부(100), 운전자 상태 모니터부(200), 알람부(300) 및 상황 녹화부(400)를 포함할 수 있다.
구체적으로, 정보 수집부(100)는 자동차 운전자의 졸음여부를 판단하여 운전자 상태 모니터부(200)에 전송한다. 정보 수집부(100)는 얼굴 또는 동공을 촬영하여 촬영된 영상을 운전자 상태 모니터부(200)에 제공할 수 있다. 또한, 정보 수집부(100)는 자동차의 주행 영상을 촬영하여 운전자 상태 모니터부(200)에 제공할 수 있다. 그리고 정보 수집부(100)는 자동차에 내장된 전자 제어 유닛(Electronic Control Unit; ECU)으로부터 자동차의 속도, 조향각, 브레이크 상태 등의 자동차 상태 정보를 수집하고, 이를 운전자 상태 모니터부(200)에 전송할 수 있다.
운전자 상태 모니터부(200)는 정보 수집부(100)에서 수신되는 촬영 영상 정보 또는 자동차 상태 정보를 이용하여 운전자의 졸음 여부를 판단할 수 있다. 이때, 운전자 상태 모니터부(200)는 운전자의 졸음 여부를 3단계 이상으로 세분화할 수 있다.
예를 들면, 운전자 상태 모니터부(200)는 졸음 여부를 1 내지 4단계로 졸음 여부를 구분하고, 1단계는 정상, 2단계는 주의, 3단계는 경고, 4단계는 위험으로 구분할 수 있다. 또한, 운전자 상태 모니터부(200)는 졸음 단계에 따라 정상 상태, 주의 상태, 경고 상태 및 위험 상태로 구분할 수 있다.
운전자 상태 모니터부(200)는 정보 수집부(100)로부터 운전자의 동공 또는 얼굴의 모습을 촬영한 영상을 분석하여 졸음 여부를 판단한다. 또한, 운전자 상태 모니터부(200)는 정보 수집부(100)로부터 자동차의 차선 이탈 정보를 수신하여 상기 운전자 촬영 영상에서 판독된 졸음 여부와 매치하여 졸음 여부를 세분화 한여 판단한다. 또한, 운전자 상태 모니터부(200)는 자동차의 ECU로부터 자동차의 속도, 조향각, 브레이크 조작 정보 등을 수신하여 졸음 여부에 매치하여 최종적으로 졸음 여부를 판단할 수 있다.
운전자 상태 모니터부(200)는 졸음 판단 결과를 통해 경고 신호를 생성할 수 있다. 경고 신호는 음성경고신호, 영상경고신호 및 촉각경고신호를 포함할 수 있다.
상기 음성경고신호, 영상경고신호 및 촉각경고신호는 졸음 단계에 따라 하나 또는 여러 개의 신호가 동시에 전송될 수 있다. 예를 들면, 졸음 주의 단계에서는 음성경고신호를 출력하고, 졸음 경고 단계에서는 음성경고신호와 영상경고신호를 동시에 출력하고, 위험 알람 단계에서는 세개의 신호를 동시에 전송할 수 있다.
운전자 상태 모니터부(200)는 상기 경고신호들이 전송된 이후 설정된 시간 이내에 운전자로부터 반응 여부에 따라 경고신호를 해제하거나, 반복하여 경고신호를 출력할 수 있다. 이때, 운전자 상태 모니터부(200)는 운전자 반응이 없을 경우 졸음 단계를 상향하고, 이에 상응하는 경고신호를 출력할 수 있다.
한편, 상기 운전자 상태 모니터부(200)는 상기와 같이 각 졸음 단계에 따라 이벤트 신호를 발생시켜 상황 녹화부(400)에 제공할 수 있다.
알람부(300)는 상기 경고 신호들에 상응하여 자동차에 설치된 경보장치들을 구동시켜 운전자로 하여금 주의를 환기시키도록 한다. 예를 들면, 알람부(300)는 음성 경고 신호에 상응하여, 주의 운전 안내 메시지를 출력한다. 알람부(300)는 영상경고신호를 수신하여, 자동차 헤드업디스플레이, 네비게이션 장치 또는 별도의 운전을 위한 영상제공장치에 경고 메시지 또는 경고 색상을 출력한다.
알람부(300)는 촉각경고신호를 수신하면, 자동차의 운전석 시트 또는 헤드레스트에 장착된 진동장치를 구동시킬 수 있다.
상황 녹화부(400)는 졸음 주의 단계, 졸음 경고 단계 및 위험 알람 단계시 발생되는 이벤트 신호를 수신하면 상황을 녹화한다. 상황 녹화부(400)는 도 3에 도시된 자동차 내에 장착된 블랙박스를 포함할 수 있다. 상황 녹화부(400)는 녹화 중일 경우 이벤트 신호가 발생된 시점을 영상과 함께 저장할 수 있다.
도 2는 도 1에 도시된 정보 수집부를 도시한 블록도이고, 도 3은 도 2에 도시된 정보 수집부에 포함된 각 구성부의 설치 위치를 예를 들어 도시한 도면이다.
도 2 및 도 3을 참조하면, 정보 수집부(100)는 제1 카메라부(110), 제2 카메라부(120) 및 ECU 정보 수집부(130)를 포함할 수 있다.
구체적으로, 제1 카메라부(110)는 운전자의 얼굴 또는 동공을 촬영한다. 제1 카메라부(110)는 촬영된 영상을 설정된 시간별로 운전자 상태 모니터부(200)로 전송할 수 있다.
제1 카메라부(110)는 도 3에 도시된 바와 같이, 운전자의 얼굴 또는 동공 촬영이 용이한 위치에 설치될 수 있다. 특히, 제1 카메라부(110)는 햇볕이 운전자에게 직접 비추는 낮시간에도 동공의 반응을 확인할 수 있도록 설치 위치 설정이 중요하다. 따라서, 제1 카메라부(110)는 스티어링 장치측에 구비될 수 있다. 제1 카메라부(110)가 스티어링 장치측에 구비될 경우에 운전자의 졸음 시 고개가 떨궈져 하방을 향할 경우에 얼굴 또는 눈 부위를 정확하게 촬영할 수 있어 졸음 판단을 용이하게 하도록 할 수 있다.
제2 카메라부(120)는 차선이 표시된 노면을 촬영하며, 노면 촬영 영상을 설정된 시간별로 운전자 상태 모니터부(200)로 전송할 수 있다. 제2 카메라부(120)는 노면을 촬영하기 위하여 자동차의 전단 외부에 설치될 수 있다.
ECU 정보 수집부(130)는 CAN 통신 방식으로 자동차 정보를 수집할 수 있다. ECU 정보 수집부(130)는 CAN 통신 방식을 이용하여 자동자의 속도, 조향각, 브레이크 상태 등의 자동차의 상태 정보를 수집한다. ECU 정보 수집부(130)는 수집된 자동차 정보를 운전자 상태 모니터부(200)에 전송할 수 있다.
도 4은 도 1에 도시된 운전상태 모니터부의 일 예를 도시한 블록도이다.
도 4를 참조하면, 운전 상태 모니터부(200)는 정보 수신부(210), 졸음 판단부(220), 경고 신호 생성부(230), 운전자 반응 확인부(240) 및 이벤트 신호 발생부(250)를 포함할 수 있다.
구체적으로, 정보 수신부(210)는 정보 수집부(100)에서 전송된 영상 및 자동차 상태 정보를 수신한다. 정보 수신부(210)는 정보 수집부(100)와 연결되는 인터페이스일 수 있다.
졸음 판단부(220)는 정보 수집부(100)에서 수신된 영상 및 자동차 상태 정보를 이용하여 운전자의 졸음 여부를 판단한다. 본 발명의 실시 예에서는 졸음 판단부(220)는 4가지 상태 또는 단계로 운전자의 졸음 여부를 판단한다.
예를 들면, 졸음 판단부(220)는 1 내지 4단계로 졸음 여부를 구분하고, 1단계는 정상, 2단계는 주의, 3단계는 경고, 4단계는 위험으로 분류한다. 졸음 판단부(220)는 또한, 정상 상태, 주의 상태, 경고 상태 및 위험 상태로 분류할 수 있다. 여기서, 상기 1 내지 4단계는 단계가 높을수록 위험한 상태인 것으로 한다.
졸음 판단부(220)는 먼저, 도 2 및 도 3에 도시된 제1 카메라부(110)와 제2 카메라부(120)에서 수신되는 영상 신호를 이용하여, 정상 상태 여부를 판단할 수 있다. 제1 카메라부(110)에서 운전자의 얼굴 또는 동공을 촬영한 영상신호를 판독하여 졸음으로 판단하면, 주의 상태로 설정한다. 이어서 제2 카메라부(120)에서 수신된 영상이 차선 이탈로 판단된 경우 주의 상태에서 1단계 또는 2단계 높은 경고상태 또는 위험 상태로 분류한다.
졸음 판단부(220)는 자동차 상태 정보를 상기 제1 카메라부(110)와 제2 카메라부(120)를 통해 판단된 운전자 상태에 적용하여 최종적으로 운전자 졸음 상태를 설정한다. 예를 들면, 주의 상태로 판단되는 단계에서 자동차의 조향각이 지속적으로 틀어져 있거나, 설정된 속력(시속 40Km)을 넘을 경우 상기 졸음 단계를 한 단계 더 높게 설정할 수 있다.
졸음 판단부(220)는 운전자 반응 확인부(240)에서 졸음 알람에 대한 운전자 반응이 없을 경우 가중치를 적용하여 1단계 또는 2단계 더 높은 단계를 설정할 수 있다. 졸음 판단부(220)는 운전자 반응 확인부(240)로부터 가중치 신호를 수신하면 상기와 같이 알람 단계를 더 높게 설정할 수 있다.
경고 신호 생성부(230)는 상기 졸음 판단부(220)에서 설정된 졸음 알림 단계에 상응하여 경고 신호를 생성한다. 경고 신호 생성부(230)는 주의 상태, 경고 상태 및 위험 상태에 상응하여 경고신호를 생성할 수 있다.
경고 신호 생성부(230)는 음성경고신호, 영상경고신호 및 촉각경고신호를 생성하여 상기 졸음 상태에 상응하여 경고신호를 선택적으로 생성하고, 이를 전송할 수 있다. 예를 들면, 경고 신호 생성부(230)는 주의 상태에서 음성경고신호, 영상경고신호 및 촉각경고신호들 중 하나의 경고신호만 생성하여 알람부(300)에 전송한다. 경고 신호 생성부(230)는 경고 상태에서 음성경고신호, 영상경고신호 및 촉각경고신호들 중 2가지의 경고신호를 생성하여 알람부(300)에 전송하고, 위험 상태에서는 3가지 경고신호를 생성하여 모두 알람부(300)에 전송할 수 있다.
운전자 반응 확인부(240)는 알람부(300)가 동작한 이후 설정된 시간 이내에 운전자로부터 반응을 확인한다. 운전자 반응 확인부(240)는 운전자로부터 반응을 확인하면, 졸음 알람을 해제한다. 그러나, 운전자 반응 확인부(240)는 운전자 반응이 없을 경우 졸음 알림 단계를 상향하고, 이에 상응하는 경고신호를 출력하도록 졸음 판단부(220)에 가중치 신호를 전송할 수 있다.
이벤트 신호 발생부(250)는 상기 경고 신호 생성부(230)에서 생성되는 경고신호들을 모두 이벤트로 간주하여 이벤트 신호를 발생시키고 이를 자동차 블랙박스에 전송할 수 있다.
도 5는 도 1에 도시된 알람부의 일 예를 도시한 블록도이다.
도 5를 참조하면, 알람부(300)는 청각 경고 모듈(310), 시각 경고 모듈(320) 및 촉각 경고 모듈(330)를 포함할 수 있다.
청각 경고 모듈(310)은 청각경고신호를 수신하여 설정된 메시지를 출력한다. 이를 위하여 청각 경고 모듈(310)은 자동차 내에 설치된 스피커 또는 네비게이션 장치와 연결되거나, 자체 스피커를 구비할 수 있다. 상기 설정된 메시지는 예를 들면, 안전 운전 안내 메시지, 주의 환기 안내 메시지, 졸음 경고 메시지, 위험 알람 메시지 등을 포함할 수 있다.
시각 경고 모듈(320)은 영상경고신호를 수신하여 설정된 화면을 출력한다. 설정된 화면은 헤드업디스플레이에 출력되거나, 네비게이션에 출력될 수 있다. 예를 들면, 시각 경고 모듈(320)은 영상경고신호를 수신할 경우 운전자에게 자극이 가는 색상이 반복되거나, 특정 메시지를 지속적으로 출력할 수 있다.
촉각 경고 모듈(330)은 촉각경고신호를 수신할 경우, 자동차 시트 또는 헤드레스트에 장착된 진동장치를 작동시킬 수 있다.
도 6은 도 1에 도시된 본 발명의 실시 예에 따른 졸음 운전 방지 시스템의 동작 방법을 순차적으로 도시한 흐름도이다. 도 6의 설명에서는 도 1 내지 도 5에서 설명한 구성요소 및 구성요소에 대한 도면부호를 동일하게 사용한다.
도 6을 참조하면, 졸음 운전 방지 시스템의 동작은 정보 수집 단계(S100), 졸음 운전 상태별 분석 단계(S200), 알람부 동작 단계(S300) 및 운전자 반응 확인 단계(S400)를 포함할 수 있다.
구체적으로, 정보 수집 단계(S100)는 운전자를 촬영한 촬영영상, 자동차의 주행 노면을 촬영한 촬영영상 및 자동차의 상태 정보를 수집한다. 이때, 자동차에 설치된 카메라들 특히, 도 2 및 도 3에 도시된 제1 및 제2 카메라부(110, 120)를 통해 촬영영상을 수집하고, ECU 정보 수집부(130)로 자동차 상태 정보를 수집한다.
졸음 운전 상태별 분석 단계(S200)는 수집된 상기 촬영영상들과, 자동차 상태 정보를 이용하여 운전자의 졸음 운전 상태를 분석한다. 예를 들면, 졸음 운전 상태별 분석 단계에서는 촬영영상들과 자동차 상태 신호를 적용하여 4가지 단계로 운전자의 상태를 구분한다.
상기 4가지 단계의 운전자 상태는 정상상태, 주의상태, 경고상태 및 위험상태이다.
정상상태는 운전자의 졸음이 감지되지 않으며, 자동차 주행도 차선을 준수하여 주행되는 상태이며, 자동차 상태 정보의 조향각 정보와 속도 정보도 정상적으로 수신한 경우이다.
주의상태는 운전자 영상 또는 자동차 주행 영상 중 어느 하나에 이상이 있는 것으로 분석된 경우이다. 운전자 영상에서 동공 반응이 설정값 이하로 폐쇄되거나, 운전자의 얼굴 전면이 설정시간 이상 일정한 방향(하향)일 경우 주의상태 이상으로 구분한다. 이때, 자동차의 노면촬영영상에서 자동차가 차선을 침범하지 않고 주행할 경우와 차선을 침범하는 경우에 각각 주의상태와 주의상태 이상의 단계로 설정한다. 여기서, 차선을 침범하지 않을 경우 주의상태를, 차선을 침범할 경우 경고상태 또는 위험상태로 설정한다.
다음으로, 자동차의 속력이 기준값(시속 40Km) 이하일 경우와 이상일 경우에 따라, 주의상태, 경고상태, 위험상태를 구분한다. 앞선 자동차의 졸음 운전 상태에서 주의상태로 설정된 이후, 자동차의 속력이 기준값 이하일 경우 주의상태로 확정하고, 설정값 이상일 경우 경고상태로 확정한다. 또한, 경고상태 또는 위험상태로 설정된 경우 자동차의 속력이 기준값 이상일 경우 위험상태로 확정한다.
또한, 졸음 운전 상태별 분석 단계(S200)는 상기 운전자 상태에 따른 경고신호를 생성하고, 이를 출력한다. 예를 들면, 주의상태의 경우 음성 또는 영상경고신호 중 어느 하나의 신호를 생성하여 출력하고, 경고상태의 경우 음성, 영상 및 촉각경고신호 중 2개의 신호를 생성하여 출력하며, 위험상태의 경우 상기 3개의 경고신호를 모두 생성하여 출력한다.
알람부 동작 단계(S300)는 상기 경고신호를 수신하여 경고신호에 상응하는 경고모듈을 동작시킨다. 경고모듈은 청각경고모듈, 시각경고모듈 및 촉각경고모듈이 구비될 수 있으며, 각 경고모듈들은 자동차에 부착되거나 부가된 스피커, 네비게이션, 진동장치들을 각각 구동시킬 수 있다.
운전자 반응 확인 단계(S400)는 알람부 동작 이후 운전자의 반응을 확인하여 경고신호를 계속 출력하도록 하거나, 이를 중지시키도록 할 수 있다. 예를 들면, 경고신호가 출력된 이후, 설정된 시간 이내에 운전자가 졸음 퇴치를 위한 동작을 수행할 경우 경고발생을 중지시킨다. 졸음 퇴치를 위한 동작은 운전자의 동작으로 인식할 수 있는 자동차의 유리문을 내리는 신호 또는 실내 음향 기기 동작 신호 등이 포함될 수 있다.
경고신호가 출력된 이후 설정된 시간 이내에 운전자 반응이 없을 경우, 경고신호를 계속 발생하도록 하거나, 이전 경고신호에 비해 높은 단계의 경고신호를 발생하도록 하는 가중치신호가 출력될 수 있다. 가중치 신호는 졸음 운전 상태별 분석 단계(S200)에서 이전보다 더 높은 경고신호를 생성하도록 할 수 있다.
한편, 본 발명의 실시 예에 따른 졸음 운전 방지 시스템의 동작은 경고신호가 생성되면 이에 상응하여 이벤트 신호가 발생되고, 이벤트 신호는 자동차 내부의 상황 녹화부에 제공되어 녹화를 시작하거나, 녹화상태일 경우 운전자 졸음 경고 이벤트 시점을 알리도록 표시될 수 있다.
상기에서 설명한 바와 같이, 본 발명의 실시 예에 따른 졸음 운전 방지 시스템은 운전자의 졸음 상태별로 각각 다른 경고신호를 생성하여 출력함으로써 졸음 방지를 효과적으로 수행할 수 있다.
본 발명의 실시 예에 따른 졸음 운전 방지 시스템은 촬영된 영상 및 자동차 상태 정보를 동시에 이용하여 운전자의 졸음 상태를 다단으로 구분하여 오동작을 방지할 수 있다.
또한, 본 발명의 실시 예에 따른 졸음 운전 방지 시스템은 운전자를 촬영하는 카메라가 자동차의 스티어링 장치측에 구비되어 운전자의 졸음 여부를 더 정확하게 확인할 수 있다.
100: 정보 수집부
110: 제1 카메라부
120: 제2 카메라부
130: ECU 정보 수집부
200: 운전자 상태 모니터부
210: 정보 수집부
220: 졸음 판단부
230: 경고신호 생성부
240: 운전자 반응 확이부
250: 이벤트 신호 발생부
300: 알람부
310: 청각 경고 모듈
320: 시각 경고 모듈
330; 촉각 경고 모듈
400: 상황 녹화부

Claims (7)

  1. 시트 또는 헤드레스트에 진동장치가 구비된 자동차의 졸음 운전 방지 시스템에 있어서,
    상기 자동차의 운전자를 촬영한 운전자 촬영 영상, 상기 자동차가 주행하는 주행도로를 촬영한 노면 촬영 영상 및 상기 자동차의 주행 상태 정보를 수집하는 정보 수집부;
    상기 운전자 촬영 영상, 상기 노면 촬영 영상 및 상기 주행 상태 정보를 조합하여 운전자의 졸음 여부를 복수의 상태로 구분하여 설정하며, 상기 복수의 상태에 상응하는 경고신호를 생성하는 운전자 상태 모니터부; 및
    상기 복수의 상태에 상응하는 경고신호에 해당하여 상기 운전자에게 졸음 알람을 수행하는 알람부를 포함하는 졸음 운전 방지 시스템.
  2. 제 1 항에 있어서,
    상기 정보 수집부는
    상기 운전자를 촬영하며, 상기 자동차의 스티어링측에 형성되어 상기 운전자를 상방향에서 촬영하는 제1 카메라부;
    상기 주행도로를 촬영하는 제2 카메라부; 및
    상기 자동차와 CAN(Controller Area Network) 통신을 통해 상기 자동차의 상태 정보를 수집하는 ECU(Electrical Control Unit) 정보 수집부를 포함하는 졸음 운전 방지 시스템.
  3. 제 1 항에 있어서,
    상기 운전자 상태 모니터부는
    상기 정보 수집부와 연결되어 상기 운전자 촬영 영상, 상기 노면 촬영 영상 및 상기 자동차 상태 정보를 수신하는 정보 수신부;
    상기 운전자의 졸음 여부를 정상상태, 주의상태, 경고상태 및 위험상태로 구분하는 졸음 판단부; 및
    상기 구분된 상태에 상응하여 상기 경고신호를 생성하는 경고신호 생성부를 포함하는 졸음 운전 방지 시스템.
  4. 제 3 항에 있어서,
    상기 경고 신호 생성부는
    음성경고신호, 영상경고신호 및 촉각경고신호를 생성하며,
    상기 졸음 판단부에서 판단된 운전자의 상태에 상응하여 적어도 하나의 경고신호를 상기 알람부에 전송하는 것을 것을 특징으로 하는 졸음 운전 방지 시스템.
  5. 제 4 항에 있어서,
    상기 알람부는
    상기 음성경고신호에 상응하여 설정된 경고 메시지를 스피커에 출력하는 청각 경고 모듈;
    상기 영상경고신호에 상응하여 설정된 경고 메시지를 출력하는 시각 경고 모듈; 및
    상기 시트 또는 상기 헤드레스트를 진동하도록 하는 촉각 경고 모듈을 포함하는 졸음 운전 방지 장치.
  6. 제 3 항에 있어서,
    상기 운전자 상태 모니터부는
    상기 알람부의 동작 이후 상기 운전자로부터의 반응을 수신하는 운전자 반응 확인부를 더 포함하되,
    상기 운전자 반응 확인부는 설정 시간 내에 운전자로부터 반응을 확인하면, 졸음 알람을 해제하고,
    상기 설정 시간 내에 운전자 반응이 없을 경우, 상기 졸음 판단부에서 졸음 알림 단계를 상향하도록 하는 것을 특징으로 하는 졸음 운전 방지 시스템.
  7. 제 3 항에 있어서,
    상기 운전자가 상기 주의상태, 경고상태 및 위험상태로 중 어느 하나의 상태일 경우, 이벤트 신호를 발생시켜 상기 자동차에 부착된 상황 녹화부에 전송하는 이벤트 신호 발생부를 더 포함하는 졸음 운전 방지 시스템.

KR1020140167160A 2014-11-27 2014-11-27 졸음 운전 방지 시스템 KR101636241B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140167160A KR101636241B1 (ko) 2014-11-27 2014-11-27 졸음 운전 방지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140167160A KR101636241B1 (ko) 2014-11-27 2014-11-27 졸음 운전 방지 시스템

Publications (2)

Publication Number Publication Date
KR20160063653A true KR20160063653A (ko) 2016-06-07
KR101636241B1 KR101636241B1 (ko) 2016-07-05

Family

ID=56192765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140167160A KR101636241B1 (ko) 2014-11-27 2014-11-27 졸음 운전 방지 시스템

Country Status (1)

Country Link
KR (1) KR101636241B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110053555A (zh) * 2019-04-15 2019-07-26 深圳市英泰斯达智能技术有限公司 一种车辆安全驾驶辅助系统及汽车
KR20200063669A (ko) * 2018-11-28 2020-06-05 현대자동차주식회사 졸음 운전 관리 장치, 시스템 및 방법
CN114228733A (zh) * 2021-12-13 2022-03-25 浙江自由家居用品制造有限公司 一种具有防疲劳驾驶功能的枕垫
KR102577559B1 (ko) * 2022-06-15 2023-09-13 (주)노웨어소프트 온라인 학습 집중도 측정 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970036019A (ko) * 1995-12-29 1997-07-22 배순훈 운전자의 졸음 방지를 위한 운전석 진동 시스템 및 그 제어방법
KR19990015797A (ko) * 1997-08-09 1999-03-05 홍종만 졸음 운전 알림 장치 및 그 방법
JP2002183900A (ja) * 2000-12-14 2002-06-28 Nissan Motor Co Ltd 居眠り運転警報装置
KR101468116B1 (ko) * 2013-09-11 2014-12-08 포항공과대학교 산학협력단 차량 운전자 피로 경감장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970036019A (ko) * 1995-12-29 1997-07-22 배순훈 운전자의 졸음 방지를 위한 운전석 진동 시스템 및 그 제어방법
KR19990015797A (ko) * 1997-08-09 1999-03-05 홍종만 졸음 운전 알림 장치 및 그 방법
JP2002183900A (ja) * 2000-12-14 2002-06-28 Nissan Motor Co Ltd 居眠り運転警報装置
KR101468116B1 (ko) * 2013-09-11 2014-12-08 포항공과대학교 산학협력단 차량 운전자 피로 경감장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063669A (ko) * 2018-11-28 2020-06-05 현대자동차주식회사 졸음 운전 관리 장치, 시스템 및 방법
CN110053555A (zh) * 2019-04-15 2019-07-26 深圳市英泰斯达智能技术有限公司 一种车辆安全驾驶辅助系统及汽车
CN114228733A (zh) * 2021-12-13 2022-03-25 浙江自由家居用品制造有限公司 一种具有防疲劳驾驶功能的枕垫
KR102577559B1 (ko) * 2022-06-15 2023-09-13 (주)노웨어소프트 온라인 학습 집중도 측정 장치 및 방법

Also Published As

Publication number Publication date
KR101636241B1 (ko) 2016-07-05

Similar Documents

Publication Publication Date Title
JP6649215B2 (ja) セキュリティ装置、ネットワークシステム及び攻撃検知方法
EP3265343B1 (en) Intelligent safety system for vehicles
US9776644B2 (en) On-vehicle situation detection apparatus and method
WO2017086079A1 (ja) 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
WO2018092265A1 (ja) 運転支援装置および運転支援方法
KR20130050113A (ko) 위험단계별 경고기능을 갖는 차량 운행보조 시스템 및 그 방법
KR101768847B1 (ko) 차량 내부 모니터링 및 알림기능이 구비된 블랙박스
KR101636241B1 (ko) 졸음 운전 방지 시스템
US8751112B2 (en) Danger sensing apparatus of vehicle and control method thereof
JP5018613B2 (ja) 路上通信機および事故監視システム
WO2022142571A1 (zh) 驾驶员驾驶行为提醒方法、系统及汽车
JP2009069885A (ja) 状態判定装置およびプログラム
JP7255582B2 (ja) 危険行為解消システム、装置、方法、及び、プログラム
CN107415861A (zh) 用于车辆用来探测驾驶员对电子的设备的使用的方法和装置
CN113044043A (zh) 自主车辆控制系统和使用该系统的自主车辆控制方法
KR20150061943A (ko) 운전자 상태 감지 장치 및 그 방법
TW201538369A (zh) 結合駕駛行爲之車道偏移警示系統及方法
KR20170035035A (ko) 졸음운전 방지 장치 및 방법
KR20120119537A (ko) 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법
JP6247869B2 (ja) 運転評価装置
JP2013156893A (ja) 車両用事故対処装置
KR101558362B1 (ko) 차량의 사운드 경고 시스템 및 그것의 제어방법
JP6018840B2 (ja) ドライブレコーダ
JP2005075253A (ja) 事故状況記録通報装置
JP2008282235A (ja) 運転支援装置、運転支援装置を搭載した自動車、および運転支援方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration