KR102258332B1 - 운전자 졸음방지 경고 및 자동 통화연결 시스템 - Google Patents

운전자 졸음방지 경고 및 자동 통화연결 시스템 Download PDF

Info

Publication number
KR102258332B1
KR102258332B1 KR1020190085654A KR20190085654A KR102258332B1 KR 102258332 B1 KR102258332 B1 KR 102258332B1 KR 1020190085654 A KR1020190085654 A KR 1020190085654A KR 20190085654 A KR20190085654 A KR 20190085654A KR 102258332 B1 KR102258332 B1 KR 102258332B1
Authority
KR
South Korea
Prior art keywords
driver
detection unit
face
information
drowsy
Prior art date
Application number
KR1020190085654A
Other languages
English (en)
Other versions
KR20210009089A (ko
Inventor
이규석
이종명
이종무
Original Assignee
이종명
이종무
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이종명, 이종무 filed Critical 이종명
Priority to KR1020190085654A priority Critical patent/KR102258332B1/ko
Publication of KR20210009089A publication Critical patent/KR20210009089A/ko
Application granted granted Critical
Publication of KR102258332B1 publication Critical patent/KR102258332B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00268—
    • G06K9/0061—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/06—Simultaneous speech and data transmission, e.g. telegraphic transmission over the same conductors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2306/00—Other features of vehicle sub-units
    • B60Y2306/13—Failsafe arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Combustion & Propulsion (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Anesthesiology (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

본 발명은 운전자의 얼굴에 이은 눈 영역의 영상 변화를 인식하면서 운전자의 졸음 여부를 파악하여 운전 중 졸음상황에 즉각적으로 경고하면서 가족과의 전화통화를 자동으로 연결함에 따라 졸음운전을 효율적으로 방지함을 제공하도록, 차량 내 운전자의 얼굴을 촬영하여 얼굴 전체적인 영상을 출력하는 감시카메라와; 상기 감시카메라에서 출력된 영상 데이터를 입력받아 운전자의 얼굴 영역과 눈 영역을 구분 검출하는 정보검출부와, 상기 정보검출부의 검출 정보에서 데이터 변화에 따른 운전자의 졸음 상태를 판별하는 정보판단부와, 상기 정보판단부의 판별 결과가 졸음 상태로 판별되면 차량의 전자제어장치에 제어신호를 전달하는 경고제어부를 포함하여 구성하는 졸음방지제어기와; 상기 졸음방지제어기에서 운전자의 졸음 상태로 판별되어 차량의 전자제어장치에 제어신호가 전달되면 1차적 경보로 경고음을 출력하는 경보신호기와; 상기 경보신호기에 따른 1차적 경보 직후 상기 졸음방지제어기에서 운전자의 졸음 상태로 판별되어 차량의 전자제어장치에 제어신호가 전달되면 2차적으로 차량오디오에 블루투스 연결된 스마트폰을 이용하여 등록연락처에 자동으로 통화 연결하도록 제어하는 오토콜링기;를 포함하는 운전자 졸음방지 경고 및 자동 통화연결 시스템을 제공한다.

Description

운전자 졸음방지 경고 및 자동 통화연결 시스템 {System for Warning Sleepiness Protection and Connecting Automatic Call of Driver}
본 발명은 운전자 졸음방지 경고 및 자동 통화연결 시스템에 관한 것으로서, 더욱 상세하게는 운전자의 얼굴에 이은 눈 영역의 영상 변화를 인식하면서 운전자의 졸음 여부를 파악하여 운전 중 졸음상황에 즉각적으로 경고하면서 가족과의 전화통화를 자동으로 연결함에 따라 졸음운전을 효율적으로 방지하는 것이 가능한 운전자 졸음방지 경고 및 자동 통화연결 시스템에 관한 것이다.
일반적으로 장시간 운전을 지속하게 되면 운전자는 피로가 누적되어 무의식적으로 졸음운전을 하게 되며, 이러한 무의식 운전상태인 졸음운전의 경우 운전자의 교통사고 발생 위험을 상당히 높이는 원인으로 작용하게 된다.
최근 차량의 운행에 따른 교통사고 사망자를 최대한 줄이기 위해 다양한 기술이 개발되고 있으며, 일 예로 운전자의 얼굴 영상을 촬영하여 졸음운전 여부를 판별하고 졸음운전으로 감지된 경우 음향 즉 경고음을 출력하거나 진동을 발생시켜 운전자의 주의를 환기시키는 기술을 들 수 있다.
그러나 차량을 운전중인 운전자에게 일시적인 주의만 환기시킬 경우 운전자가 경고음을 무시하거나 억지로 졸음을 참으며 무리하게 운전을 지속함에 따라 여전히 사고 위험이 존재하게 된다는 문제가 있었다.
상기와 같은 졸음운전에 따른 사고를 방지하기 위한 종래기술로써, 대한민국 등록특허공보 제716370호(2007.05.02.)에는 CCD 카메라를 이용하여 촬영된 운전자의 얼굴 영상에서 얼굴이 갖는 대칭 부위에 대한 영역을 선택하는 대칭점 판단단계; 상기 대칭점 판단단계에서 얼굴 영상에서 나타나는 대칭점 중 콧구멍부위를 판단 기준으로 한 후, 상기 콧구멍부위의 위쪽을 눈이 위치된 눈위치후보영역으로 선택하는 눈위치선정단계; 상기 눈위치선정단계 후 얼굴 영상에서 선택된 눈위치후보영역에 대해 집중적으로 필터를 이용하여 필터링하여 눈의 윤곽 라인을 파악하는 눈위치확정영역으로 결정하는 눈형상판단단계; 상기 눈형상판단단계에서 눈의 윤곽라인이 타원형상을 이루는가를 검출한 후, 눈의 윤곽라인인 타원형상이 주기적으로 좁아졌다 커졌다 하는 변화인 움직임이 있는 가를 감지해 졸음 운전 여부를 판단하는 눈변화검출단계 및; 상기 눈변화검출단계에서 눈의 윤곽라인이 초기 타원형상에서 좁아진 후 변화가 없는 경우 졸음운전으로 판단해 경고음을 발생시키는 경고단계;로 수행됨에 따라 운전자의 졸음운전 여부를 항상 정확하게 판단함과 더불어 신속하게 판단할 수 있어 차량 주행의 안전성이 확보될 수 있는 운전자의 눈 위치 검출 방법이 공지되어 있다.
그러나 상기한 종래기술은 운전자의 눈 위치를 확정한 후 눈의 윤곽라인에 대한 변화로부터 졸음운전 여부를 감지하여 단순히 경고음만을 발생시키기 때문에 일방적인 음성신호만으로는 일시적인 주의 환기만이 가능할 뿐, 운전자의 졸음을 완전히 깨우기가 어렵다는 문제가 있었다.
KR 등록특허공보 제10-0716370호 (2007.05.02.)
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 운전 중 운전자의 졸음 여부를 파악함과 동시에 졸음 상황에서 등록된 가족과의 통화를 자동으로 연결할 수 있게 구성하므로, 가족의 음성에 따른 확실한 주의 환기를 도모함과 동시에 양방 대화로부터 졸음운전 방지효율을 높일 수 있는 운전자 졸음방지 경고 및 자동 통화연결 시스템을 제공하는데, 그 목적이 있다.
본 발명이 제안하는 운전자 졸음방지 경고 및 자동 통화연결 시스템은 차량 내 운전자의 얼굴을 촬영하여 얼굴 전체적인 영상을 출력하는 감시카메라와; 상기 감시카메라에서 출력된 영상 데이터를 입력받아 운전자의 얼굴 영역과 눈 영역을 구분 검출하는 정보검출부와, 상기 정보검출부의 검출 정보에서 데이터 변화에 따른 운전자의 졸음 상태를 판별하는 정보판단부와, 상기 정보판단부의 판별 결과가 졸음 상태로 판별되면 차량의 전자제어장치에 제어신호를 전달하는 경고제어부를 포함하여 구성하는 졸음방지제어기와; 상기 졸음방지제어기에서 운전자의 졸음 상태로 판별되어 차량의 전자제어장치에 제어신호가 전달되면 1차적 경보로 경고음을 출력하는 경보신호기와; 상기 경보신호기에 따른 1차적 경보 직후 상기 졸음방지제어기에서 운전자의 졸음 상태로 판별되어 차량의 전자제어장치에 제어신호가 전달되면 2차적으로 차량오디오에 블루투스 연결된 스마트폰을 이용하여 등록연락처에 자동으로 통화 연결하도록 제어하는 오토콜링기;를 포함하여 이루어진다.
상기 정보검출부는, 상기 감시카메라에서 출력된 운전자의 영상에서 얼굴 영역을 검출하는 제1검출부와, 상기 제1검출부에 의한 얼굴 영역으로부터 눈 위치에 대응된 예비영역을 검출한 후 눈 영역을 재차 검출하는 제2검출부를 구비한다.
상기 졸음방지제어기의 정보검출부에서는, 운전자의 얼굴 영역 및 눈 영역을 구분하여 이미지 윤곽프레임을 출력하되 얼굴 및 눈의 움직임에 의한 위치변화 속도를 검출하게 이루어진다.
상기 정보검출부에는, 상기 감시카메라로부터 취득한 영상 데이터를 변환하여 배경에서부터 얼굴을 구분한 후 배경을 제거하는 전처리부를 구성한다.
상기 정보검출부는, 상기 감시카메라로부터 실시간 입력된 운전자의 영상 데이터에 관하여 명도에 따라 히스토그램(histogram) 평활화를 적용하여 보정 처리하는 영상보정처리부를 구비한다.
상기 정보검출부에서는, 하르-라이크(haar-like) 알고리즘, 아다부스트(adaboost) 알고리즘, 케스케이드(cascade) 알고리즘 중 어느 하나 이상의 알고리즘을 적용하여 이루어진다.
상기 정보판단부에는, 상기 정보검출부로부터 검출된 눈 영역의 면적 값을 실시간으로 분석하여 눈의 뜨거나 감은 개폐 상태 여부를 판단하는 제1판단부와, 상기 제1판단부에서 눈의 개폐 상태에 따른 시간 패턴을 설정하여 졸음 여부를 판단하는 제2판단부를 구성한다.
상기 오토콜링기는, 적어도 하나 이상의 연락처를 설정 등록하는 연락처등록부와, 상기 연락처등록부 상에 등록된 연락처를 차량오디오와 블루투스 연결된 스마트폰에서 검색하여 불러오는 연락처검출부와, 상기 연락처검출부에서 불러온 연락처에 실시간으로 통화 연결하는 통화연결부를 구성한다.
본 발명에 따른 운전자 졸음방지 경고 및 자동 통화연결 시스템에 의하면 운전자의 졸음 여부를 실시간으로 감지하면서 졸음 상태의 운전자에게 경고 신호 및 등록연락처에 자동 연결하게 구성하므로, 가족과의 상호 음성 통화연결로 운전자의 졸음을 확실히 깨워 졸음운전에 따른 교통사고를 미연에 방지할 수 있는 효과를 얻는다.
도 1은 본 발명에 따른 일실시예를 개략적으로 나타내는 구성도.
도 2는 본 발명에 따른 일실시예에서 졸음방지제어기를 개략적으로 나타내는 블록도.
도 3은 본 발명에 따른 일실시예에서 정보검출부를 개략적으로 나타내는 예시도.
도 4는 본 발명에 따른 일실시예에서 오토콜링기를 개략적으로 나타내는 블록도.
본 발명은 차량 내 운전자의 얼굴을 촬영하여 얼굴 전체적인 영상을 출력하는 감시카메라와; 상기 감시카메라에서 출력된 영상 데이터를 입력받아 운전자의 얼굴 영역과 눈 영역을 구분 검출하는 정보검출부와, 상기 정보검출부의 검출 정보에서 데이터 변화에 따른 운전자의 졸음 상태를 판별하는 정보판단부와, 상기 정보판단부의 판별 결과가 졸음 상태로 판별되면 차량의 전자제어장치에 제어신호를 전달하는 경고제어부를 포함하여 구성하는 졸음방지제어기와; 상기 졸음방지제어기에서 운전자의 졸음 상태로 판별되어 차량의 전자제어장치에 제어신호가 전달되면 1차적 경보로 경고음을 출력하는 경보신호기와; 상기 경보신호기에 따른 1차적 경보 직후 상기 졸음방지제어기에서 운전자의 졸음 상태로 판별되어 차량의 전자제어장치에 제어신호가 전달되면 2차적으로 차량오디오에 블루투스 연결된 스마트폰을 이용하여 등록연락처에 자동으로 통화 연결하도록 제어하는 오토콜링기;를 포함하는 운전자 졸음방지 경고 및 자동 통화연결 시스템을 기술구성의 특징으로 한다.
다음으로 본 발명에 따른 운전자 졸음방지 경고 및 자동 통화연결 시스템의 바람직한 실시예를 도면을 참조하여 상세하게 설명한다.
먼저 본 발명에 따른 운전자 졸음방지 경고 및 자동 통화연결 시스템의 일실시예는 도 1에 나타낸 바와 같이, 감시카메라(100)와, 졸음방지제어기(200)와, 경보신호기(300) 및 오토콜링기(400)를 포함하여 이루어진다.
상기 감시카메라(100)는 차량 내 운전자의 얼굴에 대응하여 촬영 가능하게 설치하되, 상기 감시카메라(100)의 고정 위치는 차량의 유형에 따라 앞 유리창 틀 등에 장착한다.
상기 감시카메라(100)는 운전자의 얼굴을 촬영하되 얼굴 전체적인 영상을 실시간으로 출력하게 구성하고, 상기 감시카메라(100)의 촬영위치는 운전자에 따라 탄력적으로 조정할 수 있게 구성한다.
상기 감시카메라(100)에는 운전자 감지를 위한 적외선 센서 등을 구비하여 운전자의 움직임을 감지함에 따라 자동으로 촬영구동하거나 위치조정하게 구성하는 것도 가능하다.
상기 감시카메라(100)는 촬영 영상을 출력하여 상기 졸음방지제어기(200)에 전송한다. 여기서, 상기 감시카메라(100)는 상기 졸음방지제어기(200)와 전기회로로 유선 연결되거나 블루투스 페어링, 와이파이 연결 등으로 무선통신 연결하여 데이터 전송을 도모하게 구성한다.
상기 졸음방지제어기(200)는 상기 감시카메라(100)와 일체형으로 장착될 수 있고, 또한 상기 졸음방지제어기(200)는 상기 감시카메라(100)와는 별도로 설치된 개별 장치일 수 있으며, 상기 졸음방지제어기(200)는 차량의 전자제어장치(E)(ECU)에 연결하여 차량에 내장된 구조를 이루도록 구성할 수 있다.
상기 졸음방지제어기(200)는 도 2에 나타낸 바와 같이, 운전자의 얼굴과 눈을 영역별로 구분하여 검출하는 정보검출부(210)와, 운전자의 졸음 상태를 판별하는 정보판단부(220)와, 운전자의 졸음 상태에서 제어신호를 전달하는 경고제어부(230)를 구성한다.
상기 정보검출부(210)는 도 3에 나타낸 바와 같이, 상기 감시카메라(100)로부터 촬영하여 출력된 영상 데이터를 이미지 형태로 입력받아 운전자의 얼굴 영역과 눈 영역을 구분 검출한다. 즉, 상기 정보검출부(210)는 운전자의 얼굴 영역을 검출하는 제1검출부(211)와, 얼굴 영역에서 눈 영역을 구분 검출하는 제2검출부(213)를 구성한다.
상기 제1검출부(211)는 상기 감시카메라(100)에서 출력된 운전자의 영상에서 얼굴 영역을 검출한다.
상기 제2검출부(213)는 상기 제1검출부(211)에 의해 검출된 얼굴 영역으로부터 눈 영역을 검출하되, 1차적으로 얼굴 중 눈 위치에 대응된 예비영역을 검출한 후 눈 영역을 재차 검출한다.
상기 제2검출부(213)에서 검출대상인 눈 영역은 윗 속눈썹과 아래 속눈썹 사이의 영역으로 정의하여 검출한다.
상기 정보검출부(210)에서는 상기 감시카메라(100)의 영상 데이터로부터 이미지 프레임을 출력하되, 얼굴인식 기술(예를 들면, PCA(principal component analysis)기법 등)을 이용하여 운전자의 얼굴을 인식하며, 운전자의 얼굴 영역 및 눈 영역을 구분하여 이미지 윤곽프레임을 출력한다.
상기 정보검출부(210)에서는, 하르-라이크(haar-like) 알고리즘, 아다부스트(adaboost) 알고리즘, 케스케이드(cascade) 알고리즘 중 어느 하나 이상의 알고리즘을 적용하여 운전자의 얼굴 영상에서 얼굴 영역과 눈 영역을 추출한다. 즉, 상기 정보검출부(210)에서는 촬영 영상 데이터의 운전자 얼굴로부터 영역데이터를 검출하기 전에, 하르-라이크 특징을 이용하여 얼굴영역 데이터를 검출하고, 아다부스트 학습알고리즘을 이용하여 검출된 얼굴 영역의 판단율을 높이면서 얼굴 영역 데이터를 검출한다. 또한, 상기 정보검출부(210)에서는 촬영 영상 데이터의 운전자 얼굴에서 하르-라이크 특징을 이용하여 운전자 누동자 영역을 검출하고, 아다부스트 학습알고리즘을 이용하여 검출된 눈동자 영역의 판단율을 높이도록 검출한다.
상기 정보검출부(210)는 상기 감시카메라(100)로부터 실시간 입력된 운전자의 영상 데이터에 관하여 명도에 따라 히스토그램(histogram) 평활화를 적용하여 보정 처리하는 영상보정처리부(217)를 구비한다.
상기 영상보정처리부(217)에서 히스토그램 평활화는 영상 내 화소 값들이 일부 영역에 몰려 있을 경우 선형적으로 변형시켜 화소 값을 평활화한다. 즉, 상기 영상보정처리부(217)에서는 외부 조명 변화에 따라 영상의 명도가 낮을 경우에 얼굴과 눈의 특정 값 추출 등이 낮은 영상 인식률을 개선한다.
상기 정보검출부(210)에는 상기 감시카메라(100)로부터 취득한 영상 데이터를 변환하여 배경에서부터 얼굴을 구분한 후 배경을 제거하는 전처리부(215)를 구비한다.
상기 전처리부(215)는 영상 데이터에서 배경과 객체영역(얼굴 영역 및 눈 영역)을 구분한 후 특징적 객체들을 판단하는 일련의 영상처리과정을 실행할 수 있게 조성한다.
상기 전처리부(215)는 영상 데이터를 변환하되, 하양에서 검정 사이 회색의 점진적인 10단계의 범위로 명도 차를 갖게 나타내는 그레이스케일 형태로 변환한다.
상기 전처리부(215)에서는 영상 데이터의 노이즈를 제거하며 명확한 얼굴 영역 및 눈 영역의 엣지를 부각시킨다.
상기에서 노이즈 제거를 위한 알고리즘으로는 모폴로지(morphology) 연산을 적용하게 구성하거나, 이진화된 영상에서 침식 및 팽창 연산을 적용하여 노이즈를 제거하게 구성한다.
상기 정보검출부(210)에서는, 운전자의 얼굴 영역 및 눈 영역을 구분하여 이미지 윤곽프레임을 출력하되 얼굴 및 눈의 움직임에 의한 위치변화 속도를 검출한다. 즉, 상기 정보검출부(210)는 상기 감시카메라(100)로부터 출력되는 영상 데이터의 출력주기를 기준으로 얼굴이 기울어지는 움직임 또는 눈이 깜빡이는 움직임의 위치변화 속도를 검출한다.
상기 정보판단부(220)는 상기 정보검출부(210)의 검출 정보를 모아 데이터 변화에 따른 운전자의 졸음 상태를 판별한다.
상기 정보판단부(220)에서는 내부 설정된 기준 값을 토대로 상기 정보검출부(210)로부터 전달된 검출 정보의 데이터 변화를 비교하여 운전자의 졸음 상태를 판별한다. 즉, 상기 정보판단부(220)는 상기 정보검출부(210)에서 생성된 실시간 좌표 값을 미리 정해진 값이나 알고리즘으로 계산하고 실시간으로 생성된 운전자의 움직임 데이터와 비교하여 졸음운전 여부를 판단한다.
상기 정보판단부(220)에는 상기 정보검출부(210)에서 검출한 데이터에서 얼굴 및 눈의 영역별 위치변화량 및 위치변화 속도에 대하여 단계별로 구분하여 상황을 판별한다.
상기 정보판단부(220)에서는 얼굴 및 눈의 위치변화에 따른 거리와 속도를 산출하고, 얼굴 및 눈의 위치변화 거리 및 속도의 산출값과 기 설정된 단계별 졸음운전 검출 거리 및 속도를 비교하여 운전자의 졸음운전을 판별하므로, 운전자가 눈을 뜨고 있지만 실제로 조는 상태로 고개가 좌우 또는 상하로 흔들리는 상황 등에서 이루어지는 졸음운전을 정확히 판별가능하다.
또한, 상기 정보판단부(220)에는 눈 영역의 상세한 판별을 위하여 제1판단부(221) 및 제2판단부(223)를 구성한다.
상기 제1판단부(221)는 상기 정보검출부(210)로부터 검출된 눈 영역의 면적 값을 실시간으로 분석하여 눈의 뜨거나 감은 개폐 상태 여부를 판단한다. 즉, 상기 제1판단부(221)에서는 상기 정보검출부(210)에서 검출된 눈동자의 이진화 및 대칭성 판단을 통하여 눈동자 크기 및 원형도에 근거하므로, 졸음 운전 여부를 판단한다.
상기 제1판단부(221)에서는 하르-라이크 알고리즘과 조명보정을 이용하여 검출된 눈 영역 데이터는 영상의 밝기 값만을 이용하여 흑백 이미지를 얻은 후 임계치를 이용하여 영상을 이진화한다. 즉, 눈동자 영역의 매우 낮은 밝기값에 따른 적절한 임계치를 이용하여 영역을 분리하면 눈동자와 눈썹 등의 부분을 검출하게 되고, 검출된 영역에서 눈동자는 기하학적으로 그 구성 면적이 눈썹이나 그 외의 다른 부분보다 크고, 원모양으로 구성되므로 영역의 기하학적 특성에 따른 라벨링을 통해 눈동자를 검출할 수 있으므로, 이러한 이미지 데이터를 판단하게 된다.
상기 제2판단부(223)에서는 상기 제1판단부(221)에서 눈의 개폐 상태에 따른 시간 패턴을 설정하여 졸음 여부를 판단한다. 즉, 상기 제2판단부(223)에는 일반 평균적인 눈 깜빡임을 설정 기준 패턴으로 운전자의 잦은 눈 개폐가 일정한 시간 패턴으로 이루어짐이 판별되거나, 상기 제1판단부(221)에서의 검출한 눈 영역이 좁아진 면적 상태로 일정 시간 패턴이 경과하면 졸음 상태로 판단하게 된다.
상기 경고제어부(230)는 상기 정보판단부(220)의 판별 결과가 졸음 상태로 판별되면 차량의 전자제어장치(E)에 제어신호를 전달한다.
상기에서 경고제어부(230)는 차량의 전자제어장치(E)를 거쳐 상기 경보신호기 및 상기 오토콜링기(400)에 제어신호가 전달되게 구성한다.
상기 경보신호기(300)는 상기 졸음방지제어기(200)에서 운전자의 졸음 상태로 판별되어 차량의 전자제어장치(E)에 제어신호가 전달되면 1차적 경보로 경고음을 출력한다.
상기 경보신호기(300)는 차량의 전자제어장치(E)로부터 제어하며, 차량 오디오를 통한 경보음이 울릴 수 있게 구성한다.
상기 경보신호기(300)는 단계적으로 구분된 음성신호를 전달할 수 있게 구성하는 것도 가능하다. 즉, 상기 경보신호기(300)에서는 1차적인 단순 경보음의 음성신호, 2차적인 경고메시지를 출력하는 음성신호로 구분하여 전달한다.
상기 오토콜링기(400)는 상기 경보신호기(300)에 따른 1차적 경보 직후에도 상기 졸음방지제어기(200)에서 운저자의 졸음 상태로 판별되면 차량의 전자제어장치(E)에 제어신호를 전달하게 구성한다.
상기 오토콜링기(400)에서는 차량의 전자제어장치(E)에 제어신호가 전달됨에 따라 2차적으로 차량 오디오에 블루투스 연결된 스마트폰(S)을 이용하여 등록연락처에 자동으로 통화 연결하도록 제어한다.
상기 오토콜링기(400)는 도 4에 나타낸 바와 같이, 연락처등록부(410) 및 연락처검출부(420), 통화연결부(430)를 구비토록 구성한다.
상기 연락처등록부(410)는 적어도 하나 이상의 연락처(예를 들면, 가족 연락처 등)를 설정 등록한다.
상기 연락처등록부(410)에 등록된 연락처는 탄력적으로 변경 설정할 수 있게 구성하고, 복수의 연락처를 순차적으로 설정 등록하게 구성하는 것도 가능하다.
상기 연락처검출부(420)는 상기 연락처등록부(410) 상에 등록된 연락처를 차량오디오와 블루투스 연결된 스마트폰(S)에서 검색하여 불러오도록 구성한다.
상기 통화연결부(430)는 상기 연락처검출부(420)에서 불러온 연락처에 실시간으로 통화연결한다. 즉, 상기 졸음방지제어기(200)로부터 운전자의 졸음 상태가 인식되면 상기 연락처검출부(420)에서 상기 연락처등록부(410) 상에 등록된 연락처를 불러와 상기 통화연결부(430)에서 자동으로 통화 연결하므로, 양방 음성통화로 인해 졸음 운전을 방지한다.
상기에서 통화연결부(430)의 통화 연결결과 연결불가상태인 경우 상기 연락처검출부(420)에서 상기 연락처등록부(410)에 등록된 차순위 연락처를 불러와 상기 통화연결부(430)로부터 재차 통화연결하도록 구성한다.
즉 상기와 같이 구성되는 본 발명에 따른 운전자 졸음방지 경고 및 자동 통화연결 시스템에 의하면, 운전자의 졸음 여부를 실시간으로 감지하면서 졸음 상태의 운전자에게 경고 신호 및 등록연락처에 자동 연결하게 구성하므로, 가족과의 상호 음성 통화연결로 운전자의 졸음을 확실히 깨워 졸음운전에 따른 교통사고를 미연에 방지하는 것이 가능하다.
상기에서는 본 발명에 따른 운전자 졸음방지 경고 및 자동 통화연결 시스템의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 명세서 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고, 이 또한 본 발명의 범위에 속한다.
100 : 감시카메라 200 : 졸음방지제어기
210 : 정보검출부 211 : 제1검출부
213 : 제2검출부 215 : 전처리부
217 : 영상보정처리부 220 : 정보판단부
221 : 제1판단부 223 : 제2판단부
230 : 경고제어부 300 : 경보신호기
400 : 오토콜링기 410 : 연락처등록부
420 : 연락처검출부 430 : 통화연결부

Claims (8)

  1. 차량 내 운전자의 얼굴을 촬영하여 얼굴 전체적인 영상을 출력하는 감시카메라와;
    상기 감시카메라에서 출력된 영상 데이터를 입력받아 운전자의 얼굴 영역과 눈 영역을 구분 검출하되, 상기 감시카메라에서 출력된 운전자의 영상에서 얼굴 영역을 검출하는 제1검출부와, 상기 제1검출부에 의한 얼굴 영역으로부터 눈 위치에 대응된 예비영역을 검출한 후 눈 영역을 재차 검출하는 제2검출부를 포함하는 정보검출부와, 상기 정보검출부의 검출 정보에서 데이터 변화에 따른 운전자의 졸음 상태를 판별하되, 상기 정보검출부로부터 검출된 눈 영역의 면적 값을 실시간으로 분석하여 눈의 뜨거나 감은 개폐 상태 여부를 판단하는 제1판단부와, 상기 제1판단부에서 눈의 개폐 상태에 따른 시간 패턴을 설정하여 졸음 여부를 판단하는 제2판단부를 포함하는 정보판단부와, 상기 정보판단부의 판별 결과가 졸음 상태로 판별되면 차량의 전자제어장치에 제어신호를 전달하는 경고제어부를 포함하여 구성하는 졸음방지제어기와;
    상기 졸음방지제어기에서 운전자의 졸음 상태로 판별되어 차량의 전자제어장치에 제어신호가 전달되면 1차적 경보로 경고음을 출력하는 경보신호기와;
    상기 경보신호기에 따른 1차적 경보 직후 상기 졸음방지제어기에서 운전자의 졸음 상태로 판별되어 차량의 전자제어장치에 제어신호가 전달되면 2차적으로 차량오디오에 블루투스 연결된 스마트폰을 이용하여 등록연락처에 자동으로 통화 연결하도록 제어하는 오토콜링기;를 포함하여 이루어지며,
    상기 오토콜링기는, 적어도 하나 이상의 연락처를 설정 등록하는 연락처등록부와, 상기 연락처등록부 상에 등록된 연락처를 차량오디오와 블루투스 연결된 스마트폰에서 검색하여 불러오는 연락처검출부와, 상기 연락처검출부에서 불러온 연락처에 실시간으로 통화 연결하는 통화연결부를 포함하여 이루어지는 운전자 졸음방지 경고 및 자동 통화연결 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 졸음방지제어기의 정보검출부에서는, 운전자의 얼굴 영역 및 눈 영역을 구분하여 이미지 윤곽프레임을 출력하되 얼굴 및 눈의 움직임에 의한 위치변화 속도를 검출하게 이루어지는 운전자 졸음방지 경고 및 자동 통화연결 시스템.
  4. 청구항 1에 있어서,
    상기 정보검출부에는, 상기 감시카메라로부터 취득한 영상 데이터를 변환하여 배경에서부터 얼굴을 구분한 후 배경을 제거하는 전처리부를 포함하여 이루어지는 운전자 졸음방지 경고 및 자동 통화연결 시스템.
  5. 청구항 1에 있어서,
    상기 정보검출부는, 상기 감시카메라로부터 실시간 입력된 운전자의 영상 데이터에 관하여 명도에 따라 히스토그램(histogram) 평활화를 적용하여 보정 처리하는 영상보정처리부를 포함하여 이루어지는 운전자 졸음방지 경고 및 자동 통화연결 시스템.
  6. 청구항 1에 있어서,
    상기 정보검출부에서는, 하르-라이크(haar-like) 알고리즘, 아다부스트(adaboost) 알고리즘, 케스케이드(cascade) 알고리즘 중 어느 하나 이상의 알고리즘을 적용하여 이루어지는 운전자 졸음방지 경고 및 자동 통화연결 시스템.
  7. 삭제
  8. 삭제
KR1020190085654A 2019-07-16 2019-07-16 운전자 졸음방지 경고 및 자동 통화연결 시스템 KR102258332B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190085654A KR102258332B1 (ko) 2019-07-16 2019-07-16 운전자 졸음방지 경고 및 자동 통화연결 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190085654A KR102258332B1 (ko) 2019-07-16 2019-07-16 운전자 졸음방지 경고 및 자동 통화연결 시스템

Publications (2)

Publication Number Publication Date
KR20210009089A KR20210009089A (ko) 2021-01-26
KR102258332B1 true KR102258332B1 (ko) 2021-05-31

Family

ID=74310172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190085654A KR102258332B1 (ko) 2019-07-16 2019-07-16 운전자 졸음방지 경고 및 자동 통화연결 시스템

Country Status (1)

Country Link
KR (1) KR102258332B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102501112B1 (ko) * 2021-04-09 2023-02-16 티맵모빌리티 주식회사 졸음운전 감지장치 및 졸음운전 감지장치의 동작 방법
KR102433668B1 (ko) * 2021-07-20 2022-08-18 (주)딥인사이트 운전자 모니터링 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200420343Y1 (ko) 2006-03-30 2006-06-30 (주)휴먼정보통신 화상인식 방식 이동통신 단말기용 졸음방지장치와어플리케이션
KR101298197B1 (ko) 2013-02-18 2013-08-20 주식회사 자이언트스타 졸음 방지 기능을 구비하는 vsdt 룸 미러

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100549600B1 (ko) * 2003-10-08 2006-02-03 엘지전자 주식회사 졸음 방지 기능을 갖는 영상표시기기 및 그 제어방법
KR100716370B1 (ko) 2005-09-15 2007-05-11 현대자동차주식회사 운전자의 눈 위치 검출 방법
KR20050105139A (ko) * 2005-10-14 2005-11-03 조규완 네비게이션 음성안내 시스템을 이용한 광고 정보제공비즈니스
KR101669447B1 (ko) * 2015-03-26 2016-11-09 조선대학교산학협력단 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법
KR101692532B1 (ko) * 2015-04-30 2017-01-18 주식회사 엔알피시스템 졸음운전 검출장치 및 방법
KR102184109B1 (ko) * 2017-09-26 2020-11-27 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200420343Y1 (ko) 2006-03-30 2006-06-30 (주)휴먼정보통신 화상인식 방식 이동통신 단말기용 졸음방지장치와어플리케이션
KR101298197B1 (ko) 2013-02-18 2013-08-20 주식회사 자이언트스타 졸음 방지 기능을 구비하는 vsdt 룸 미러

Also Published As

Publication number Publication date
KR20210009089A (ko) 2021-01-26

Similar Documents

Publication Publication Date Title
US10424180B2 (en) Body fall smart control system and method therefor
Nguyen et al. Eye tracking system to detect driver drowsiness
JP4548218B2 (ja) 顔認証装置
US7620216B2 (en) Method of tracking a human eye in a video image
CN110443102B (zh) 活体人脸检测方法及装置
CN110211335B (zh) 用于对车辆的驾驶员的微睡进行识别的方法和装置
KR102258332B1 (ko) 운전자 졸음방지 경고 및 자동 통화연결 시스템
US11963759B2 (en) State determination device, state determination method, and recording medium
JP4677963B2 (ja) 居眠り検知装置、居眠り検知方法
CN105894735B (zh) 一种智能化车载疲劳监测系统及方法
CN107416630B (zh) 电梯非正常关闭的检测方法和系统
JP4989249B2 (ja) 目検知装置、居眠り検知装置及び目検知装置の方法
JP5726596B2 (ja) 画像監視装置
WO2017098265A1 (en) Method and apparatus for monitoring
JPH07181012A (ja) 画像データの特徴量検出装置
CN112699802A (zh) 一种驾驶员微表情检测装置及方法
US20220309808A1 (en) Driver monitoring device, driver monitoring method, and driver monitoring-use computer program
CN103247150A (zh) 防疲劳驾驶系统
CN105989328A (zh) 检测人员使用手持装置的方法及装置
CN111325058A (zh) 驾驶行为检测方法、装置、系统及存储介质
TWI528331B (zh) 注意力偵測裝置、方法、電腦可讀取紀錄媒體、及其電腦程式產品
JP2019083019A (ja) ドライバ状態判定装置
KR101669447B1 (ko) 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법
JP3036319B2 (ja) 運転者状態監視装置
CN109800640A (zh) 一种基于二维曲面拟合的吸烟检测方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant