KR102072910B1 - 졸음 인식 장치를 이용한 졸음 인식 방법 - Google Patents

졸음 인식 장치를 이용한 졸음 인식 방법 Download PDF

Info

Publication number
KR102072910B1
KR102072910B1 KR1020180058584A KR20180058584A KR102072910B1 KR 102072910 B1 KR102072910 B1 KR 102072910B1 KR 1020180058584 A KR1020180058584 A KR 1020180058584A KR 20180058584 A KR20180058584 A KR 20180058584A KR 102072910 B1 KR102072910 B1 KR 102072910B1
Authority
KR
South Korea
Prior art keywords
drowsiness
camera
image
difference value
pupil
Prior art date
Application number
KR1020180058584A
Other languages
English (en)
Other versions
KR20190133533A (ko
Inventor
한민홍
Original Assignee
한민홍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한민홍 filed Critical 한민홍
Priority to KR1020180058584A priority Critical patent/KR102072910B1/ko
Publication of KR20190133533A publication Critical patent/KR20190133533A/ko
Application granted granted Critical
Publication of KR102072910B1 publication Critical patent/KR102072910B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

본 발명은, 안경이나 헤드셋 또는 이어셋 등에 초소형 카메라를 머리나 얼굴부위에 설치하여 눈동자의 움직임을 관찰케 함으로써, 첫째, 머리의 움직임이나 몸통 자세변화에도 영향받지 않고 카메라에서 얻어지는 모든 영상에서 눈동자의 위치는 변경되지 않고 항상 동일한 부위에 나타나게 된다는 특징을 얻을 수 있게 되고, 둘째, 눈과 카메라 사이의 거리가 대폭 단축되어 확대된 눈동자의 영상을 취득할 수 있는 특징을 얻을 수 있어 정확한 졸음상태를 판단할 수 있는 졸음 인식 장치 및 방법을 제공하는데 그 목적이 있다. 상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 졸음 인식 장치는, 사용자의 두부에 장착되는 조명기구(2)와 카메라(1); 상기 조명기구(2)와 카메라(1)가 유무선 방식으로 결합되어지는 영상처리기(5); 및 상기 영상처리기(5)에서 사용자의 졸음 상태라고 인식되는 경우에 이를 경보하거나 표시하는 출력장치: 를 포함하는 것을 특징으로 한다.

Description

졸음 인식 장치를 이용한 졸음 인식 방법{A drowsiness detection method using the drowsiness detection apparatus}
본 발명은 차량 교통사고의 주 원인이 되는 졸음운전을 예방하기 위한 졸음 인식 장치를 이용한 졸음 인식 방법에 관한 것이다. 본 발명은 안경이나 헤드셋 또는 이어셋 등에 초소형 카메라를 머리나 얼굴부위에 설치하여 눈동자의 움직임을 관찰케 함으로써, 첫째, 머리의 움직임이나 몸통 자세변화에도 영향받지 않고 카메라에서 얻어지는 모든 영상에서 눈동자의 위치는 변경되지 않고 항상 동일한 부위에 나타나게 된다는 특징을 얻을 수 있게 되고, 둘째, 눈과 카메라 사이의 거리가 대폭 단축되어 확대된 눈동자의 영상을 취득할 수 있는 특징을 얻을 수 있어 정확한 졸음상태를 판단할 수 있는 새로운 기술의 발명이다.
차량의 운전 중에 졸음이 오는 경우 대형 인사사고로 발전할 가능성이 매우 높기 때문에 졸음운전의 예방은 차량안전사고를 방지하는데 있어 대단히 중요한 문제이며, 이와 같은 졸음운전을 방지하기 위하여 다양한 기술적 접근이 이루어지고 있다.
현재 상품화된 졸음경보 기술로는, 1) 귀걸이용 경보기와 2) 카메라 이용 경보기로 양분된다.
1) 먼저, 귀걸이용 경보기는, 졸음에 부수되어 발생할 수 있는 고개 숙임을 감지하는 스위치 방법이며, 기기가 간단하고 저가인 장점을 갖고 있으나, 몸에 부착해야만 하는 번거로움과 고개를 떨구지 않고 조는 경우는 졸음을 감지하기 어려운 단점을 갖고 있다.
2) 이에 비하여 카메라 사용 졸음경보기는, 눈 감김을 인식하여 눈감김의 연속시간이나 일정시간 동안 눈 껌벅임의 횟수에 근거하여 경보를 발생시기는 진일보된 방법이다.
그러나 얼굴의 방향변화나 상반신의 자세변화에 따라 영상 화면 속에서의 눈의 위치가 계속 변화 이동하게 되어 눈의 영상이 아닌 부위를 눈으로 오인식하거나, 또는 눈의 영상부위임에도 눈의 영상부위가 아니라고 판단하는 등, 아직도 해결하기 어려운 졸음인식 기술에 의존하고 있는 상황이다.
더욱 어려운 점은, 안경이나 썬글라스로부터의 빛의 반사는 눈의 형태를 인식하는데 큰 걸림돌이 되고 있으며, 아직도 안경유리로부터의 반사광을 완전히 제거할 수 있는 방안은 아직 개발되지 않은 상태이다.
그리하여, 그동안 이러한 문제점을 갖는 영상인식에 의한 졸음경보 방법에서 탈피하기 위한 노력은 계속되고 있으며, 그 대안으로 다음과 같은 신규한 방법들이 제안되고 있다.
i) 안구와 안구를 덮는 눈꺼플(eye lid) 간에 온도차이가 있다 하여, 이 온도차이를 감지함으로써, 눈의 감김 상태를 감지하려는 좀 색다른 방법이 제기되었다. 그러나 실제의 온도차는 섭씨 소수점 이하의 차이에 불과할 뿐더러 이를 감지하기 위한 기기 구성의 어려움 때문에 실용화되지 못하고 있다.
ii) 근적외선의 발광부와 수광부를 안경대와 안경코거리 부위에 따로따로 분리 설치하여 발광부로부터의 집광된 광선(beam)을 윗눈꺼풀과 아랫눈꺼풀 사이의 틈을 통하여 안구에 닿지 않도록 조사하여 수광부에 도달되도록 한다. 만약 눈을 감게되면 광선의 통로가 눈꺼플에 의하여 차단됨으로써 눈의 감김을 감지한다는 방식이다.
악간의 다른 변형으로는 발광부와 수광부를 분리설치 하는 대신 동일위치에 평행설치하여 눈꺼플로부터 반사되어 오는 광선의 양을 측정하여 눈 감김을 감지하는 방식도 있다. 이 두 방법의 공통된 단점으로는 안경의 흘러내림이나 안경의 위치 변화에 민감하여 오작동이 많이 발생하는 문제점이 있어 실용화에는 어려움이 있다.
iii) 인체신호를 감지하기 위하여 운전석의 등받이에 심장박동을 감지하는 센서를 설치하고 박동의 파형분석에 따라 졸음이나 피로도를 감지하는 방법인데, 이는 맥박이나 호흡수를 통한 운전자의 대략적인 피로도를 감지하는 방법과 유사성이 있으나 막상 졸음순간을 포착하기엔 미흡하다.
iv) 운전자의 졸음이 진행됨에 따라 운전자가 차량핸들을 잡는 악력(hand grip force)을 측정하여, 악력이 느슨해지면 이를 졸음의 징후로 판단하는 방법인데 이것 역시 악력의 변화와 졸음과의 상관관계가 긴밀하지 못한 단점이 있다.
v) 생체신호를 이용한 방법으로, 눈을 감고 졸았을 때 안구가 위로 움직이게 되고 이 안구가 움직일 때 미약한 전류가 발생한다 하며, 이 전류를 측정하여 졸음을 감지하겠다는 방안인데, 실제 응용 측면에서 볼 때 어디에 그리고 어떻게 전극을 삽입할지 아직 구체화가 안 된 발상이며,
vi) 생체신호를 이용한 방법으로, 안경의 중앙부에 달려있는 좌우 두 개의 코거리 받침판에 미세움직임 센서를 설치하여, 운전자가 눈을 감는 과정에서 발생하는 주위 근육의 움직임을 감지하여 눈의 감김을 인식하는 발상인데, 예로서 근육의 움직임이 감지되었다면 운전자가 눈을 떳다가 감은 건지 또는 감았다가 눈을 뜬건지 알 수 없는, 역시 미완성 방법이며,
vii) 그외 생체신호 방법으로는, 운전자가 눈을 감는 과정에서 발생하는 눈꺼플의 움직임과 동시에 귓속의 근육에서도 움직임이 나타난다는데, 이 움직임을 감지하기 위하여 귓속에 감지센서를 삽입한다는 발상이 제기되었다.
viii) 추가적으로, 졸음에 의하여 눈을 감게 되면 윗 눈꺼플이 내려와 아랬 눈꺼플과 부딪치게 되고, 이때 발생될 충돌음을 마이크를 통하여 취득하고 이를 분석하여 졸음을 인지하려는 시도도 제안되고는 있으나, 역시 아직 미완성 단계이다.
이상에서 살펴본 바와 같이 새로운 기술개발의 노력은 계속되고 있는 절실한 상황임을 알 수는 있으나, 만족할만한 결과를 기대하기엔 아직 어려운 상황이다.
한편, 이상의 졸음 감지 장치 및 방법에 관한 보다 구체화된 기술로서는, 본 발명자의 대한민국 특허 제0766592호에서와 같은 발명이 제안된 바 있다.
상기 제1 종래기술에 따른 홍채 반사 영상 기반 졸음 감지 장치 및 방법의 바람직한 실시예에 대하여 설명하면 다음과 같다.
도 1은 본 발명에 따른 홍채 반사 영상 기반 졸음 감지 장치의 일실시예를 나타낸 도면으로서, 광원부(110)와, 가시광선 차단부(120)와, 영상취득부(130)와, 영상처리부(140)와, 경보발생부(150)를 포함한다.
상기 광원부(110)는 얼굴 영상을 취득하기 위하여 사람의 얼굴에 소정의 근적외선을 조사한다.
상기 광원부(110)는 근적외선 광원으로서 근적외선 LED, 근적외선 램프, 스트로보 중 어느 하나를 사용할 수 있으며, 상기 영상취득부(130)에 내장하여 사용하거나 또는 상기 영상취득부(130)로부터 분리된 형태로 구비할 수 있다.
상기 영상취득부(130)는 상기 광원부(110)와 연동하여 차량의 시동이 걸리거나 장치의 전원이 들어온 후 일정 시간 동안 근적외선 얼굴 영상을 취득하여 홍채(iris) 위에 맺힌 광원의 상의 형태를 추출하고 이를 각성도가 높은 상태라고 정의하였을 때, 상기 근적외선이 조사된 사람의 얼굴 영상에서 가시광선이 차단된 근적외선 얼굴 영상을 취득하기 위한 가시광선 차단부(120)가 장착된다.
상기 가시광선 차단부(120)는 영상취득부(130) 외부에 설치될 수도 있다.
상기 영상취득부(130)로는 일반 CCD 카메라나 CMOS 카메라 뿐만 아니라 디지털 카메라를 사용할 수 있으며, 운전자의 얼굴을 향하도록 운전석 주변의 적당한 장소에 설치하게 된다.
상기 영상처리부(140)는 상기 영상취득부(130)에서 취득된 근적외선 얼굴 영상으로부터 홍채(iris) 위에 맺힌 광원의 상의 형태를 추출하며 상기 광원의 상의 형태가 각성도가 높은 시점에서 얻어진 표준 형태와 비교하여 그 변형 정도에 따라 눈의 감김을 파악하고 눈의 감김의 판단시 그 지속시간의 정보로 졸음 여부를 판단한다.
상기 경보발생부(150)는 상기 영상처리부(140)에서의 졸음 여부 판단결과에 따라 운전자에게 졸음 경보를 발생한다.
상기 영상취득부(130)와 영상처리부(140)와 경보발생부(150)는 카메라 폰(200)이나 이동 단말기에 내장되어 있거나 외장할 수 있는 카메라폰(200)이나 이동 단말기를 사용할 수 있다.
도 2는 제1 종래기술에 따른 홍채 반사 영상 기반 졸음 감지 방법의 일실시예를 나타낸 플로우 차트이다.
이와 같이 구성된 제1 종래기술에 따른 홍채 반사 영상 기반 졸음 감지 장치 및 방법에 대하여 첨부한 도면 도 1 및 도 2를 참조하여 설명하면, 도 1 및 도 2에 도시된 바와 같이, 광원의 상이 홍채의 중앙부위에 맺히도록 광원부(110)를 운전석 전방에 설치한 후 근적외선을 운전자의 얼굴로 조사하게 되면 홍채의 모양이 볼록거울의 형태를 갖기 때문에 눈과 광원과의 기하학적 위치가 현저하게 변하지 않는 이상 광원의 상이 항상 홍채부위에 맺히게 된다(S1).
그러면, 가시광선 차단부(120)는 상기 광원부(110)에서 조사되어 얼굴에서 반사된 얼굴 영상에서 가시광선을 차단하여 근적외선 얼굴 영상을 출력하게 된다(S2).
이어 영상취득부(130)는 상기 광원부(110)와 연동하여 차량의 시동이 걸리거나 장치의 전원이 들어온 후 일정 시간 동안 근적외선 얼굴 영상을 취득하여 홍채(iris) 위에 맺힌 광원의 상의 형태를 추출하고 이를 각성도가 높은 상태라고 정의하였을 때, 상기 가시광선 제거부(120)에서 가시광선이 차단된 운전자의 근적외선 얼굴 영상을 취득하게 된다(S3).
이어, 영상처리부(140)는 상기 영상취득부(130)에서 취득된 근적외선 얼굴 영상에서 홍채 위에 맺힌 광원의 상 부분은 밝게 나타나고 이 주위의 홍채부분은 어둡게 나타남으로써 얼굴 영상 중에서 밝기가 가장 높고 비교 영역으로 표시된 상기 인접 화소간의 밝기 차이가 일정값 이상의 화소 영역을 찾아내어 광원의 상의 위치 및 형태를 추출한다(S4).
상기 광원의 상의 표준 형태는 운전자의 각성도가 높은 시점의 예로써 차량의 시동을 걸 때와 같은 시점에서 취득하여 저장한다(S5, S6).
그리고, 영상처리부(140)는, 상기 추출된 광원의 상의 형태를 검출한 후 그 형태를 저장된 표준 형태와 비교(S7)하여 그 변형 정도가 제1 임계치보다 크면 졸음의 징후로 판단(S8)하고, 그 지속시간이 제2 임계치보다 클 경우(S9) 졸고 있다고 판단하여 경보발생신호를 출력한다.
이에 따라 경보발생부(150)는 상기 영상처리부(140)에서 출력된 경보발생신호에 따라 경보를 발생한다(S10).
한편, 상기 제1 종래기술과 다른 측면에서 문제점을 해결하고자, 대한민국 특허 공개 제2015-0139229호와 같은 기술이 제2 종래기술로서 개시되어 있다.
도 3은 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 장치를 개략적으로 도시한 개념도이다. 도 3을 참조하면, 제2 종래기술에 따른 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치는 운전자 상태감지 장치(140), 투사 헤드 마운트 디스플레이(Head Mount Display, 110), 에이브이엔(AVN, 120), 스마트폰(130)을 포함한다. 운전자 상태감지장치(140)는 운전자의 상태를 감지하여 졸음 운전 상태 여부를 판단한다. 투사 헤드 마운트 디스플레이(110)는 상기 운전자 상태감지장치(140)에서 졸음 운전 상태로 판단시 운전자에게 졸음 경보를 한다. 에이브이엔(120)은 상기 투사 헤드 마운트 디스플레이(110)에 오디오, 비디오 및 내비게이션 정보 중 어느 하나 이상을 제공한다. 스마트폰(130)은 상기 투사 헤드 마운트 디스플레이(110)에 음악, 멀티미디어 데이터 및 내비게이션 정보 중 어느 하나 이상을 제공한다.
도 4는 투사 헤드 마운트 디스플레이의 사시도이다. 도 4를 참조하면 상기 투사 헤드 마운트 디스플레이(110)는 안경형태이다. 안경형태는 운전자의 착용이 용이하고, 운전자의 근거리에서 시각, 청각 또는 촉각에 의한 졸음 경보를 수행함에 유리하다. 상기 투사 헤드 마운트 디스플레이(110)는 일 측에 상기 디스플레이 창(113), 마이크(112), 스피커(114) 및 진동모터(111)가 일체형으로 장착된다. 상기 스피커(114)는 운전자에게 경보음 또는 음악을 크게 재생하여 운전자의 각성을 유도하거나, 음성 인식 기능을 갖는 인공지능과의 대화를 유도하여 운전자의 주의를 환기시킨다. 또한, 상기 진동모터(111)는 졸음운전으로 판단시 진동하여 운전자의 각성을 유도하는 기능을 한다.
도 5는 제2 종래기술에 따른 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법의 순서도이다. 제2 종래기술에 따른 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법은, 정보 획득 단계(S101)에서 상기 정보를 획득하는 단계(S101)는 카메라를 이용해서 운전자의 눈꺼풀의 각도를 측정하여 소정의 측정시간 대비 운전자가 눈을 감은 누적시간을 산출하여 운전자의 졸음 운전 상태 정보를 획득한다. 상기 정보 획득 단계(S101)는 차량 소정 위치에 장착된 카메라를 통해 운전자의 눈 영역 영상을 수신하여 운전자의 졸음 운전 상태 정보를 획득할 수 있다. 카메라는 주간 및 야간에 영상을 기록할 수 있도록 근적외선 LED(Near Infrared LED)를 포함할 수 있다. 상기 눈 영역 영상으로부터 운전자의 양 눈꺼풀의 각도의 합이 소정의 기준값 이하인 경우 운전자가 눈을 감은 것으로 판단하고 눈을 감은 시간을 졸음 운전 상태 정보로 획득한다.
상기 계산단계(S102)에서는 상기 획득된 운전자의 졸음 운전 상태 정보를 이용하여 소정의 측정시간 대비 운전자가 눈을 감은 누적시간의 비(%)로 나타낸 하기의 PERCLOS(Percentage Of Eye Closure)값을 계산할 수 있다.
상기 판단 단계(S103)에서는 졸음 운전 상태 여부의 판단 기준인 상기 PERCLOS 값과 기 설정된 기준값을 비교하여 졸음 운전 상태 여부를 판단하고, 상기 PERLCOS 값이 기 설정된 기준값 이상이면 졸음 운전 상태로 판단하며, 상기 PERLCOS 값이 기 설정된 기준값 미만이면 졸음 운전 상태가 아닌 것으로 판단한다.
1차 졸음 경보 단계(S104)에서는 상기 운전자의 상태가 졸음 운전 상태로 판단되면 상기 투사 헤드 마운트 디스플레이를 활용하여 상기 운전자에게 1차 졸음 경보를 할 수 있다. 상기 1차 졸음 경보 단계(S104)는 점멸단계(S191), 제 1 진동 알림 단계(S192), 재생단계(S193) 중 어느 하나 이상을 포함할 수 있다. 상기 점멸단계(S191)에서는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)의 전체 화면을 점멸할 수 있다. 이 경우 운전자의 각성을 유도하기 위해, 상기 디스플레이 창(113)의 전체 화면을 붉은 색으로 점멸하는 것이 바람직하다. 상기 제 1 진동 알림 단계(S192)에서는 상기 투사 헤드 마운트 디스플레이의 진동 모터(111)를 이용하여 진동 알림을 할 수 있다. 상기 재생 단계(S193)에서는 상기 투사 헤드 마운트 디스플레이의 스피커(114)를 통해 경보음 및 음악 중 어느 하나 이상을 재생할 수 있다.
상기 1차 졸음 경보를 하는 단계(S104) 후 상기 졸음 운전 상태 정보를 재 획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단할 수 있다. 상기 1차 회복 판단 단계(S105)에서 상기 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 2차 졸음 경보 단계(S106)에서 상기 투사 헤드 마운트 디스플레이를 활용하여 2차 졸음 경보를 할 수 있다. 상기 2차 졸음 경보 단계(S106)에는 이미지 출력 단계(S301), 제 2 진동 알림 단계(S302), 대화유도단계(S303) 중 어느 하나 이상을 포함할 수 있다. 상기 이미지 출력 단계(S301)는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 특정 이미지를 출력할 수 있다. 상기 특정 이미지에는 운전자의 주위를 환기시키고, 뇌를 각성시킬 수 있는 영상 또는 가족 사진 등을 포함한다. 상기 특정 이미지는 상기 스마트폰(130)으로부터 제공받는 멀티미디어 데이터에 포함될 수 있다. 제 2 진동 알림 단계(S302)는 상기 투사 헤드 마운트 디스플레이의 진동 모터(111)를 이용하여 진동 알림을 할 수 있다. 이 경우 제 2 진동 알림 단계(S302)는 상기 제 1 진동 알림 단계(S192)의 2배 내지 4배의 강도로 진동 알림을 하는 것이 바람직하다.
상기 대화유도단계(S303)는 상기 투사 헤드 마운트 디스플레이의 스피커(114) 및 마이크(112)를 이용하여 상기 운전자와 상기 음성인식기능을 갖춘 인공지능과의 대화를 유도할 수 있다. 상기 대화유도단계(S303)는 질문단계(S311), 답변인식단계(S321) 및 추가질문을 하는 단계(S331)를 포함한다. 상기 질문단계(S311)에서는 상기 음성 인식기능을 갖춘 인공지능이 상기 운전자에게 질문을 할 수 있다. 상기 답변인식단계(S321)에서는 상기 인공지능이 상기 질문단계(S311)의 질문에 대한 상기 운전자의 음성답변을 인식할 수 있다. 상기 추가질문 단계(S331)에서는 상기 인공지능이 상기 답변인식단계(S321) 후 운전자의 답변이 틀린 경우 운전자에게 추가 질문을 할 수 있다.
2차 회복 판단 단계(S107)에서는 상기 2차 졸음 경보 후, 상기 졸음 운전 상태 정보를 재획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단할 수 있다. 3차 졸음 경보 단계(S108)에서는 상기 2차 회복 판단 단계에서 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 3차 졸음 경보를 할 수 있다. 상기 3차 졸음 경보 단계(S108)는 패턴 표시 단계(S401), 전화 연결 단계(S402)를 포함할 수 있다. 상기 패턴 표시 단계(S401)는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 전방 주시를 유도하는 패턴을 표시할 수 있다. 이 경우 화살표 형태의 패턴을 표시하는 것이 바람직하다. 시야의 방향에 따라 화살표의 방향이 계속 바뀌고, 운전자의 시야가 전방을 향하게 되면 특정 아이콘을 표시함으로써 약간의 게임성을 추가하여 운전자로 하여금 흥미를 유발하여 각성을 유도하기 위함이다. 상기 전화 연결 단계(S402)는 상기 스마트폰(130)을 이용하여 기 설정된 대상에게 전화를 연결하고, 상기 스마트폰(130)과 무선으로 연결된 상기 투사 헤드 마운트 디스플레이의 스피커(114) 및 마이크(112)를 이용하여 상기 운전자의 통화를 유도할 수 있다.
3차 회복 판단 단계(S109)에서는 상기 3차 졸음 경보 후, 상기 PERCLOS 값을 계산하고 기 설정된 기준값과 비교하여 운전자의 각성 상태로의 회복 여부를 판단할 수 있다. 4차 졸음 경보 단계(S110)에서는 상기 3차 회복 판단 단계에서 상기 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 4차 졸음 경보를 할 수 있다. 상기 4차 졸음 경보 단계(S110)는 휴식 필요 아이콘 표시 단계(S501), 운행 경로 변경 단계(S502), 운행 경로 안내 단계(S503)를 포함할 수 있다. 상기 휴식 필요 아이콘 표시 단계(S501)에서는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 휴식 필요 아이콘을 표시할 수 있다. 상기 운행 경로 변경 단계(S502)에서는 상기 휴식 필요 아이콘 표시 단계(S501) 후, 상기 에이브이엔(119)의 내비게이션에서 운행경로를 휴게소 또는 쉼터로 변경할 수 있다. 상기 운행 경로 안내 단계(S503)에서는 상기 운행 경로 변경 단계(S502) 후, 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 변경된 운행 경로를 표시하고, 상기 투사 헤드 마운트 디스플레이의 상기 스피커(114)에서 변경된 운행 경로를 안내할 수 있다. 상기 디스플레이 창에 휴식 필요 아이콘을 표시하여 운전자로 하여금 휴식이 필요하다는 상황을 인식시키고, 진행 경로 상의 고속도로 휴게소 또는 쉼터로 내비게이션 정보를 수정함으로써 운전자의 휴식을 강제로 유도하기 위함이다. 4차 졸음 경보 중지 단계(S111)는 상기 4차 졸음 경보 단계 후, 운전자가 상기 변경된 운행 경로를 취소하는 경우 4차 졸음 경보를 중지한다. 운전자가 휴식이 불필요하다고 판단시 변경된 운행 경로를 취소하고, 기존 경로로 운행 경로를 수정하도록 하는 과정을 통해 운전자를 각성시키기 위함이다.
그러나, 상기 제1 종래기술의 경우와 제2 종래기술의 경우의 차이점은, 홍채 인식 방식이냐 혹은 눈꺼플의 각도 인식 방식이냐에 따른 차이일 뿐, 양자 모두 카메라가 차량에 장착되어 있어, 근적외선을 사용하더라도, 썬글라스의 경우나 운전자가 고개를 숙이고 있는 경우와 같은 다양한 상황에서의 일관성을 보장하지 못한다는 한계가 존재한다.
특허공개 제2008-0025602호 (귀걸이 졸음방지구) 특허등록 제0766592호 (홍채 반사 영상 기반 졸음 감지 장치 및 방법) 특허공개 제2015-0139229호 (헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법)
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 안경이나 헤드셋 또는 이어셋 등에 초소형 카메라를 머리나 얼굴부위에 설치하여 눈동자의 움직임을 관찰케 함으로써, 첫째, 머리의 움직임이나 몸통 자세변화에도 영향받지 않고 카메라에서 얻어지는 모든 영상에서 눈동자의 위치는 변경되지 않고 항상 동일한 부위에 나타나게 된다는 특징을 얻을 수 있게 되고, 둘째, 눈과 카메라 사이의 거리가 대폭 단축되어 확대된 눈동자의 영상을 취득할 수 있는 특징을 얻을 수 있어 정확한 졸음상태를 판단할 수 있는 졸음 인식 장치를 이용한 졸음 인식 방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 졸음 인식 장치를 이용한 졸음 인식 방법은, 상기 졸음 인식 장치는, 사용자의 두부에 장착되는 조명기구(2)와 카메라(1); 상기 조명기구(2)와 카메라(1)가 유무선 방식으로 결합되어지는 영상처리기(5); 및 상기 영상처리기(5)에서 사용자의 졸음 상태라고 인식되는 경우에 이를 경보하거나 표시하는 출력장치; 를 포함하며, 상기 카메라(1)는, 사용자의 두부에 장착되면서 홍채와 동공 부위를 직접 촬영하도록 설치되며, 상기 조명기구(2)는, 비가시성의 광을 발하는 조명기구이며, 상기 영상처리기(5)는, 상기 조명기구(2)로부터 발하여진 비가시성의 광이 홍채와 동공 부위에 반사되어 오는 반사광을 인식하기 위한 비가시성 파장대의 밴드 패스 카메라 렌즈용 필터(filter)를 포함하며, 상기 영상처리기(5)는, 실제 주행 중에 일정 시간 간격으로 획득된 영상촬영 화면에서 홍채와 동공 부위를 포함한 탐색영역 내의 최대 화소값과 최소 화소값의 측정 차이값을 기 설정된 기준 차이값과 비교하여, 눈감김 여부를 인식하고, 눈감김으로 인식되는 상태가 일정 시간 이상인 경우 졸음 상태라고 인식하도록 동작하되, 상기 탐색영역 내의 최소 화소값은 동공 위치에서 반사되어 오는 반사광의 화소값으로 정의되며, 상기 졸음 인식 방법은, (a) 홍채와 동공 부위를 포함한 탐색영역 설정을 행하며, 눈을 떴을 때의 탐색영역 내의 최대 화소값과 최소 화소값의 차이값에 따른 기준 차이값을 설정하고, 저장하는 초기 셋팅 단계(S1); (b) 이후, 실제 주행 중에, 일정 시간 간격으로 영상촬영을 하여 영상화면을 획득하는 단계(S2); (c) 상기 (b) 단계에서 획득된 영상화면의 탐색영역 내의 최대화소값과 최소화소값의 측정 차이값을 산정하는 단계(S3); (d) 상기 (c) 단계에서 산정된 상기 측정 차이값과 상기 (a) 단계에서 산정된 기준 차이값을 비교하는 단계(S4); 및 (e) 상기 (d) 단계에서의 판단 결과, 상기 측정 차이값이 상기 기준 차이값 이상인 것으로 판단되면 (측정 차이값 ≥ 기준 차이값), 눈열림으로 인식하여 상기 (b) 단계로 리턴하여 반복 수행하고, 반면, 상기 측정 차이값이 상기 기준 차이값 미만인 것으로 판단되면 (측정 차이값 < 기준 차이값), 눈감김으로 인식하고, 눈감김으로 인식되는 상태가 일정 시간 이상인 경우 졸음 상태라고 인식하여 디스플레이에 출력하거나 경보기에 통보하게 되는 단계(S5); 를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 출력장치는, 졸음의 위험을 소리나 진동 또는 전기자극을 통하여 경보하는 경보기(6)인 것을 특징으로 한다.
또한 바람직하게는, 상기 출력장치는, 장치의 작동에 이상이 있는지 여부를 확인하기 위하여 영상모니터(9)를 포함하며, 상기 영상모니터(9)를 통하여 카메라(1)가 정상적으로 작동하고 있는지 조명기구(2)의 상태가 양호한지를 확인할 수 있는 것을 특징으로 한다.
또한 바람직하게는, 상기 조명기구(2)는, 800nm 이상의 파장대를 갖는 IR LED인 것을 특징으로 한다.
또한 바람직하게는, 상기 카메라는, 렌즈 부위의 위치가 안경유리의 하단안쪽에 위치하여 홍채를 향하도록 설치된 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 다른 측면에 따른 졸음 인식 장치를 이용한 졸음 인식 방법은, 상기 졸음 인식 장치는, 사용자의 두부에 장착되는 조명기구(2)와 카메라(1); 상기 조명기구(2)와 카메라(1)가 유무선 방식으로 결합되어지는 영상처리기(5); 및 상기 영상처리기(5)에서 사용자의 졸음 상태라고 인식되는 경우에 이를 경보하거나 표시하는 출력장치; 를 포함하며, 상기 카메라(1)는, 사용자의 두부에 장착되면서 홍채와 동공 부위를 직접 촬영하도록 설치되며, 상기 조명기구(2)는, 비가시성의 광을 발하는 조명기구이며, 상기 영상처리기(5)는, 상기 조명기구(2)로부터 발하여진 비가시성의 광이 홍채와 동공 부위에 반사되어 오는 반사광을 인식하기 위한 비가시성 파장대의 밴드 패스 카메라 렌즈용 필터(filter)를 포함하며, 상기 영상처리기(5)는, 실제 주행 중에 일정 시간 간격으로 획득된 영상촬영 화면에서 홍채와 동공 부위를 포함한 탐색영역 내의 최대 화소값과 최소 화소값의 측정 차이값을 기 설정된 기준 차이값과 비교하여, 눈감김 여부를 인식하고, 눈감김으로 인식되는 상태가 일정 시간 이상인 경우 졸음 상태라고 인식하도록 동작하되, 상기 탐색영역 내의 최소 화소값은 동공 위치에서 반사되어 오는 반사광의 화소값으로 정의되며, 상기 졸음 인식 방법은, (A) 상기 카메라(1)가 홍채와 동공 부위를 포함한 얼굴화면을 획득하게 되는 단계(S10); (B) 상기 (A) 단계 이후, 화면 내의 탐색영역이 이미 설정완료 되었는지를 판단하는 단계(S20); (C) 상기 (B) 단계에서의 판단 결과, 만약 화면 내의 탐색영역이 설정이 되지 않은 상태일 때는, 탐색영역 설정 프로세스(S30∼S60)를 수행하여 기준 차이값을 산정하는 단계; (D) 상기 (B) 단계에서의 판단 결과, 화면 내의 탐색영역이 이미 설정완료된 경우에는, 탐색영역 내에서의 최대화소값과 최소화소값의 차이값을 산정하는 단계(S70); (E) 상기 (D) 단계에서의 측정 차이값과 상기 S60 단계에서의 기준 차이값을 비교하는 단계(S80); (F) 상기 (E) 단계에서의 판단 결과, 상기 (D) 단계에서의 측정 차이값이 상기 기준 차이값 이상이면 (측정 차이값 ≥ 기준 차이값), 눈열림으로 인식하여 상기 (A) 단계로 리턴하고, 반면, 상기 측정 차이값이 기준 차이값 미만이면 (측정 차이값 < 기준 차이값), 눈감김으로 인식하여 눈감김 지속시간이 미리 설정된 지속시간 임계치 보다 큰지 여부를 판단하게 되는 단계(S90); 및 (G) 상기 (F) 단계에서의 판단 결과, 상기 눈감김 지속시간이 미리 설정된 지속시간 임계치 이하인 경우에는 상기 (A) 단계로 리턴하고, 반면, 상기 눈감김 지속시간이 미리 설정된 지속시간 임계치 보다 큰 경우에는 졸음 상태로 인식하여 디스플레이에 출력하거나 경보기에 통보하게 되는 단계(S5); 를 포함하는 것을 특징으로 한다.
삭제
바람직하게는, 상기 탐색영역 설정 프로세스인 상기 (C) 단계는, (C1) 화면 내에서 홍채부위를 파악한 다음 홍채부위가 가급적 영상의 중앙부위에 나타나도록 카메라의 방향을 조절한 후(S30), 머리와 몸통을 좌우상하로 움직이면서 화면에 나타나는 홍채부위의 이동범위를 파악하여(S40), 이동범위를 망라하는 최소의 도형으로 정의된 탐색영역을 설정하는 단계(S50); 및 (C2) 사용자가 눈을 뜬 상태에서 상기 (C1) 단계에서 설정된 탐색영역 내의 최대화소값과 최소화소값을 찾아 그 차이에 기준하여 기준 차이값을 설정하고 이를 저장해 놓는 단계(S60); 로 이루어지는 것을 특징으로 한다.
더욱 바람직하게는, (f) 상기 (e) 단계 이후, 상기 영상처리기(5)가 눈감김으로 인식하는 경우에, 경보음이나 경보진동 발생 또는 전기 자극의 방식으로 경보를 행하게 되는 단계(S6); 를 더 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이 본 발명에 따른 홍채 반사 영상 기반 졸음 감지 장치 및 방법은 다음과 같은 효과가 있다.
본 발명의 위와 같은 특징을 이용하면 화면전체를 분석처리하여 눈의 위치를 찾아 내거나 눈의 위치를 추종(tracking)할 필요성도 없이 영상내에서의 극히 한정되고 고정된 부분 내에서 홍채나 동공의 존재를 탐색확인 함으로서 졸음인식율을 대폭 향상시킬 수 있을 뿐만 아니라 안경유리로부터의 빛반사의 영향을 받지않도록 카메라렌즈의 끝부분이 안경유리의 안쪽에서 눈동자를 관찰하도록 설치 함으로써 안경유리로부터 빛반사에 의한 졸음의 오인식 여지를 완전히 배제할 수 있는 새로운 형태의 졸음인식 방법이다. 뿐만 아니라 홍채와 동공의 움직임을 촤단거리에서 확대하여 볼 수 있기 때문에 눈동자의 좌우상하 움직임을 정확히 포착할수 있어 졸음뿐만 뿐만 아니라 운전자의 전방주시 여부와 운전집중도를 판단할 수 있어 운전의 안전향상에 필수적인 안전기술의 발명이다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면 도 6 내지 도 14를 참조한 실시예들의 상세한 설명을 통해 보다 명백해질 것이다.
도 1은 제1 종래기술에 따른 홍채 반사 영상 기반 졸음 감지 장치의 일실시예를 나타낸 블록 구성도.
도 2는 제1 종래기술에 따른 홍채 반사 영상 기반 졸음 감지 방법의 일실시예를 나타낸 플로우 차트.
도 3은 제2 종래기술에 따른 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 장치를 개략적으로 도시한 개념도.
도 4는 도 3의 투사 헤드 마운트 디스플레이의 사시도.
도 5는 제2 종래기술에 따른 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법의 순서도.
도 6은 본 발명에 따른 졸음 인식 장치의 구성도.
도 7은 본 발명의 제1 실시예에 따른 졸음 인식 방법의 흐름도.
도 8은 도 6의 일 구성요소인 초소형 카메라의 실물 사진.
도 9는 도 8의 초소형 카메라를 일반 안경에 실제 장착한 상태의 사진.
도 10은 도 8의 초소형 카메라를 탈부착용 썬클라스 장치에 실제 장착한 상태의 사진.
도 11은 도 8의 초소형 카메라 및 LED를 안경테에 일체로 형성한 상태의 사진.
도 12는 눈을 뜬 상태의 영상처리 사진에서 영상 내의 탐색영역을 표시한 사진.
도 13은 눈을 감은 상태의 영상처리 사진에서 영상 내의 탐색영역을 표시한 사진.
도 14는 본 발명의 제2 실시예에 따른 졸음 인식 방법의 흐름도.
일반적으로 널리 인지되어 있는 바와 같이, 졸음인식 방식은, i) 카메라를 이용한 영상신호처리에 의한 방식과, ii) 심장박동, 손의 악력, 근육의 움직임 등과 같은 생체신호처리에 의한 방식으로 대별할 수 있다. i) 영상신호처리에 의한 방식은 카메라를 통하여 눈의 감김을 직접적으로 관찰인식할 수 있는데 반하여, ii) 생체신호처리에 의한 방식은 직접적인 관찰인식과는 달리 졸음을 유추하는 간접적인 방식에 속한다.
그 중, i) 영상신호처리에 의한 직접적인 방식은 실내에서와 같은 조명조건이거나 머리의 위치나 자세(방향)에 변화가 적은 경우는 생체신호처리에 의한 간접적인 방식보다 우수한 결과를 얻을 수 있다. 그러나 실제 도로주행에서는 실내의 고정된 여건과는 달리 운전자에 향한 외부광선의 방향이나 세기가 계속 변화하고 여기에 운전자의 자세변화 및 얼굴 위치 방향 변화가 수시로 발생하여 눈의 감김을 통한 졸음인식이 어렵게 될 뿐더러 안경이나 썬글라스 착용에 따른 안경유리로부터 빛 반사 때문에 졸음인식이 더욱 어렵게 되어 있다(도 8 사진 참조).
ii) 이와 같은 영상신호처리의 단점들을 회피하기 위한 대안으로 생체신호처리 응용의 시도가 계속되고는 있으나, 이 시도 역시 아직 시장의 호응을 이끌어 낼 수 있는 수준에는 못 미치고 있다.
본 발명은, 위에 언급한 각각의 방식의 모든 문제점을 동시에 제거할 수 있는 효율적인 졸음인식 방법과 장치에 관한 것이다.
특히, 지금까지의 카메라 기반 졸음경보장치는, 카메라를 운전석의 전방에 설치하고 운전자의 얼굴 영상을 분석하여 눈의 감김을 감지하는 방법인데 비해, 본 발명에서는 카메라를 운전자의 얼굴이나 머리에 설치하여 눈의 홍채부위를 관찰케 함으로써 종래의 낮은 졸음 인식율을 대폭 향상시킬 수 있는 혁신적인 방법이다.
즉, 본 발명의 근본적인 특징은 운전자의 얼굴과 머리가 전후좌우 상하 어느 방향으로 움직인다 해도 눈과 카메라 간의 기하학적 위상이 고정되어 변위가 변화하지 않음으로써 화면상에서 눈의 부위는 항상 고정된 위치에 나타나게 된다는 점이다.
이의 결과적인 장점으로는, 영상 위에서 눈의 위치를 찾기 위한 노력 대신에 화면 위의 극히 좁은 고정된 분만을 탐색함으로써 눈 감김의 오인율을 거의 사라지게 할 수 있는 장점이 있다. 또한 계산량이 아주 작아 낮은 성능의 CPU를 사용함으로써 제조단가를 낮출 수 있으며, 눈과 카메라 사이의 거리가 대폭 단축되어 근거리에서 홍채와 동공을 확대 관찰할 수 있어 오인식의 여지를 제거할 수 있다.
더욱이, 확대된 홍채나 동공의 움직임의 관찰에 의하여 운전자의 '전방주시태만'이나 '주의산만운전'의 위험성까지도 감지함으로써 안전운전에 획기적인 기여를 할 수 있는 기술발명이다.
추가적으로, 본 발명에 의하면, 졸음에 대한 오인식의 주된 원인 중 하나인 안경유리 빛 반사 현상을 피하는 방법을 제공하여, 안경 유리의 반사에 의한 오인식을 차단할 수 있고 운전자들이 선호하는 어떠한 썬글라스나 고글 등에 전혀 영향을 받지 않는 새로운 기술발명이다.
부가적으로, 휴대사용이 가능하기 때문에 카메라 위치선정 등 차내설치에 따른 어려움이 없어지고, 버스나 화물차와 같이 동일차량에 다수의 운전자가 소속되었을 때 각 운전자가 바뀔 때마다 카메라 위치와 방향조정 등의 필요성이 없어지는 장점도 있다.
마지막으로, 본 발명의 본래의 기술 목적은 차량 운전시 졸음운전경보이지만, 그외에도 보초나 경비설 때도 유용할 수 있으며, 지루한 연설이나 강의 시 꾸벅꾸벅 조는 모습을 남에게 보이지 않아도 되며, 공정라인 작업 중 한 사람의 순간 졸음 때문에 발생하는 최종제품불량을 예방할 수도 있으며, 입시공부에 지친 수험생들의 졸음퇴치 경보기로도 활용될 수 있을 것이다.
(제1 실시예의 졸음 인식 장치 및 방법)
이하, 본 발명에 따른 졸음 인식 장치 및 방법의 바람직한 제1 실시예에 대하여 도 6 내지 도 13을 참조하여 설명하면 다음과 같다.
도 6은 본 발명에 따른 졸음 인식 장치의 구성도이고, 도 7은 본 발명의 제1 실시예에 따른 졸음 인식 방법의 흐름도이고, 도 8은 도 6의 일 구성요소인 초소형 카메라의 실물 사진이고, 도 9는 도 8의 초소형 카메라를 일반 안경에 실제 장착한 상태의 사진이고, 도 10은 도 8의 초소형 카메라를 탈부착용 썬클라스 장치에 실제 장착한 상태의 사진이고, 도 11은 도 8의 초소형 카메라 및 LED를 안경테에 일체로 형성한 상태의 사진이고, 도 12는 눈을 뜬 상태의 영상처리 사진에서 영상 내의 탐색영역을 표시한 사진이며, 도 13은 눈을 감은 상태의 영상처리 사진에서 영상 내의 탐색영역을 표시한 사진이다.
먼저, 도 6의 블록도를 참조하여, 본 발명에 관한 졸음 인식 장치는, 인체의 두부에 장착되는 LED조명(2) 및 카메라(1)가 영상처리기(5) 유선(3) 및 무선(4) 방식으로 결합되어지며, 상기 영상처리기(5)에서 졸음운전이라고 인식되는 경우에 이를 소리나 진동 및 전기자극으로 경보하는 경보기(6)로 이루어진다.
이때, 카메라(1)는 CCD나 또는 CMOS의 형태이며 내시경에 사용되는 카메라와 매우 흡사한 초소형 사양이어야 바람직하다. 첫째, 크기와 무게가 중요한 요소이기 때문에 화소센서의 크기는 1/4" 이하가 권장되며 렌즈의 구경은 작을수록 좋겠으나 현재 시중에서 구할 수 있는 직경 5.0mm정도면 충분하다. 카메라 케이스의 재질은 가벼울수록 좋으므로 프라스틱 재질이 권장된다.
카메라에서 취득된 영상정보는 유선(3)이나 WIFI와 같은 무선방식(4)을 사용하여 영상처리기(5)에 전달되며, 영상처리기(5)는 전달받은 영상으로부터 눈의 감김을 판단하기 위한 절차를 수행한다. 그 결과 위험이 감지되면, 소리나 진동 또는 피부에의 전기자극(6) 등에 의하여 운전자의 각성을 유발시키도록 한다.
이외에, 장치의 작동에 이상이 있는지 여부를 확인하기 위하여 영상모니터(9)를 연결하여, 카메라(1)가 정상적으로 작동하고 있는지 LED(2)의 상태가 양호한지 등을 확인할 수 있다. 전원으로는 휴대전지(7)를 사용할 수도 있고 외부전원(8)을 사용하여 장치에 전원을 공급함과 동시에 휴대전지를 충전할 수 있도록 한다.
참고로, 도 6에 표시된 장치 중 카메라(1)와 LED조명(2)을 제외한 나머지 부분은, 휴대전화나 휴대용 영상처리기(미 도시됨)로 대체할 수 있는 방법도 있어 제조단가가 저렴해질 수 있는 장점이 있다.
바람직하게는, 상기 카메라(1)와 LED조명(2)의 경우, 초소형의 비가시성 LED가 부착된 크기 5.0x5.0x5.0mm 정도의 극초소형의 카메라(도 8 내지 도 11 참조)에, 800nm 이상의 파장대를 갖는 0.05w 이내의 매우 미약한 출력의 IR LED(도 11 참조)를 부착하여, 외부 조명이 없는 어두운 환경에서도 홍채와 동공의 인식이 가능토록 한다.
이와 같은 카메라의 장착방법으로는, 도 8에 예시한 바와 같이 카메라의 렌즈 부위의 위치가 안경유리의 하단안쪽(안쪽이라 함은 눈에 가까운 안경유리면을 칭함) 에 위치하여 홍채를 향하도록 설치한다. 이때, LED 조명(2)은, 도 11에서와 같이 별도로 설치되어도 좋고, 카메라 케이스 내에 일체형으로 내장되는 경우도 가능하다.
유사한 장착방법으로는, 카메라를 안경테에 부착설치하는 대신, 도 10에서와 같이 썬글라스(21)를 갖는 탈부착용 글라스 (clip glass)(20) 에 장착함으로써, 안경으로부터 장탈착 작업이 간편하도록 하는 방법도 있다.
그러나 가장 이상적인 카메라 장착방법으로서는, 안경테 제조시 도 11과 같이 글라스 하단의 유리테에, 카메라(1) 및 LED(2)를 매설함으로써 장치의 모양이 간결하게 할 수 있다. 부재번호 (10)은 장착부이다.
상기 설명한 장치에서의 카메라 렌즈와 홍채부위까지의 거리는 5cm 정도 이내로써, 근거리 관찰이 가능하여 홍채와 동공의 선명하고 확대된 영상을 취득할 수 있게 되고, 상기 도 8 에서와 같이, 카메라 렌즈의 끝부분이 안경 유리알의 안쪽에 위치함으로써 안경이나 썬글라스로부터의 빛 반사광을 피할 수 있는 것이 바람직하다. 특히 빛투과율이 낮은 색이 짙은 썬글라스나 고글과 같은 경우에도 외부광의 영향을 받지않고 카메라에 장착된 저출력의 LED의 조명만으로 홍채나 동공의 인식이 가능하게 되도록 하는 것이 좋다.
이와 같이 카메라를 안경 하단에 홍채부위를 향하여 설치하게 되면, 운전자의 시야에 방해가 되지않을 뿐더러 홍채와 카메라 간의 기하학적 위상이 고정되는 효과가 발생하여, 운전자의 앉은 자세의 변화나 머리 얼굴의 좌우상하 움직임이나 고개숙임에도 불구하고 영상에 나타나는 홍채의 위치나 크기에는 아무런 변화가 발생하지 않으며, 저출력의 LED만 갖고도 홍채와 동공의 확대된 영상을 취득할 수 있어 지금까지의 졸음의 오인식을 제거할 수 있는 절대적인 요건을 제공하고 있다.
더욱 바람직하게는, 눈의 감김을 인식하기 위하여 카메라장치를 눈을 향하도록 얼굴부위에 설치함으로써 머리의 움직임이나 몸자세의 움직임에 관계없이 카메라 좌표계와 눈의 좌표계 사이의 동일한 기하학적 위상을 유지케 함으로써 항상 화면상의 고정된 부위에 눈의 영상이 나타나게 하는 것이 좋다.
아울러, 취득된 영상은 유선 또는 무선을 통하여 영상처리기에 전송하며 인식의 결과에 따라 졸음의 위험을 소리나 진동을 통하여 경보하는 방법 외에도, 브레이크나 액셀러레이터 등의 차량의 제동기기와 연결하는 방법도 좋다.
선택적으로는, 카메라의 설치방법에 있어서도, 안경 프레임에 부착하는 방법 외에도, 착탈식 썬글라스에 부착하거나 헤드셋(head set)이나 이어셋트(ear set) 또는 노우즈셋트(nose set)에 연결하여 부착하거나 모자에 연결고정하여 설치하는 것도 가능하다.
한편, 상기 영상처리기로는, 휴대폰이나 기타 휴대용 영상기기를 사용하여 영상처리 및 경보기능을 수행함도 가능하며, 햇볕이나 외부 조명 조건에 영향을 받지 않도록 800나노 이상의 대역을 갖는 적외선 LED에 의한 조명과 이에 부합된 카메라 렌즈용 필터(filter)를 사용하는 것도 좋다.
더욱이, 무선 통신 방법으로는, 상술한 WIFI에 의한 방식 외에도, Bluetooth 나 RF 등과 같은 다른 무선 방식을 사용하여도 되며, 영상처리를 위한 기기로서는, 기존의 휴대폰이나 기타 모바일 기기를 활용하는 방법도 가능하다.
도 8에서는, 안경에 부착된 카메라와 그 장착모습을 보여주고 있다. 여기 사용된 카메라는 개발기술의 작동의 확인을 위하여 시중에서 부품을 구입하여 부착하더라도, 좀 커보이긴 하나 작동에는 훌륭하였음을 확인하였다.
카메라가 사용한 조명장치로서는, 최소 광량의 800nm 이상의 비가시성 LED를 눈을 향하여 카메라 측면에 설치하며, 카메라 렌즈에는 IR pass filter를 사용하여 가시광선을 차단토록 하여 홍채와 동공인식이 용이토록 한다. LED에 의한 광량은 눈과 LED간의 거리가 매우 가깝기 때문에 0.05W의 광량으로 충분함을 확인하였다.
도 12과 도 13은, 도 8의 카메라에서 얻어지는 영상으로서, 육안으로 보았을 때, 도 12에서는 눈이 떠있어 홍채와 동공이 보이는 상태이며 LED 조명의 상이 밝은 흰점으로 나타나고 있다. 이에 반하여 도 13 에서는, 눈이 감긴 상태로써 홍채나 동공의 흔적을 발견할 수 없으며 LED에 의한 조명의 하얀 점도 발견할 수 없는 영상이다.
영상 처리기를 사용하여 눈의 감김을 판단하기 위하여는 우선 화면상에서 탐색영역이 설정되어야 한다. 가장 기본적인 탐색영역은 눈의 모양을 포함하는 최소의 사각형 영역이지만, 영상처리의 효율 향상을 위하여 도 12나 도 13에서처럼 보다 축소된 영역(적색선의 사각형)을 탐색하도록 프로그래밍할 수 있다.
이 탐색영역은 고개를 좌우 그리고 상하로 움직일 때 안구의 움직임이 발생하는데, 이때 안구와 카메라 사이에는 기하학적 위상이 변화하게 되어, 안구 위에 나타나는 홍채나 동공이나 흰점의 조명 상의 위치가 소폭 변화할 수 있다. 따라서 적색표시 탐색영역은 홍채나 동공이 나타날 수 있는 영역의 최소의 사각형으로써 결정되며, 이 사각형의 크기는 고개의 좌우 상하 움직임의 폭이 커질수록 홍채와 동공의 움직임의 폭도 커지게 되어 탐색영역의 크기도 증가하게 되지만 눈의 영상부위보다 클 필요는 없다.
도 12의 영상에서는, 홍채의 표면이 곡면이기 때문에 LED 불빛 상이 하얀 점으로 맺히게 되고, 이 불빛 상의 밝기는 홍채 (혹은 탐색영역이 클 때에는 안구의 휜자위) 상에서 최대의 밝기값이 된다. 그리고 홍채의 중앙부위에 있는 검은 부위는 동공에 해당하며, 안구의 내부를 비치기 때문에 가장 어두운 값을 갖게 된다.
따라서, 눈이 떠져 있을 때, 이 하얀점과 검은점의 화소값을 읽어 그 차이값을 측정한 후, 이 값을 토대로 기준 차이값(threshhold)을 미리 설정해 놓는다.
다음 단계로써, 도 13과 같은 영상이 얻었을 때, 눈이 떠 있는지 감겨있는지에 대한 판단이 필요하다. 따라서 눈의 감김으로 판단하기 위하여는, 이미 설정된 붉은선으로 표시된 탐색영역 내의 최대 화소값과 최소 화소값과의 차이값을 계산하고, 이 차이값이 미리 설정해둔 기준 차이값 보다 크면 도 12과 같이 눈을 뜨고 있다라고 인식하며, 도 13 과 같이 화소값 차이가 기준 차이값 보다 작으면 눈이 감긴 것으로 판단하는 매우 간단한 로직이다.
이제, 제1 실시예의 졸음 인식 방법에 대하여, 도 7을 참조하여 설명한다.
먼저, 초기 셋팅 단계(S1)로서, 카메라가 장착된 안경을 착용하고 난 후, 화면에 나타난 눈의 홍채부위가 화면의 일정한 부위(예: 중앙부위)에 나타나도록 카메라의 장착방향을 조절하고, 홍채부위를 포함한 ROI(탐색영역) 설정을 행하며, 도 12에서 보는 바와 같이, 네모꼴로 화면에 표시를 하게 된다. 아울러, 사람마다 피부색이나 홍채의 밝기가 상이하므로, 눈을 떳을 때의 탐색영역 내의 최대 화소값(홍채의 화소값)(혹은 탐색영역이 클 때에는 안구의 휜자위의 화소값) 과 최소 화소값 (동공의 화소값) 의 차이값에 따른 기준 차이값을 설정하고, 이를 저장한다. 다만, 최초 산정 후에는, 동일한 운전자에 대해서는 본 초기 셋팅 단계(S1)를 재수행하지 않고, 패스하도록 프로그래밍하는 것도 가능하며, 더 나아가 상기 기준 차이값을 외부 입력 방식으로 강제 설정하도록 프로그래밍하는 것도 가능할 것이다.
이후, 실제 주행 중에, 일정 시간 간격으로 영상촬영을 하여 영상화면을 획득하며(S2), ROI(탐색영역)내의 최대화소값과 최소화소값의 측정 차이값을 산정한다(S3).
그리하여, S3단계에서 획득된 ROI(탐색영역) 내의 최대화소값과 최소화소값의 차이값이 S1 단계에서 설정된 기준 차이값 보다 작은지 여부를 판단하게 되는바(S4), 만약 상기 S3 단계에서 측정된 차이값이 기준 차이값 이상인 것으로 판단되면 (측정 차이값 ≥ 기준 차이값), 눈열림으로 인식하여 상기 S2 단계로 리턴하여 반복 수행하고, 반면, 상기 S3 단계에서 측정된 차이값이 기준 차이값 미만인 것으로 판단되면 (측정 차이값 < 기준 차이값), 눈감김으로 인식하여 이를 디스플레이에 출력하거나 경보기에 통보하게 되며(S5), 이에 상기 경보기(6)는 경보음이나 경보진동 발생 및/또는 전기 자극 등의 방식으로 경보를 행하게 된다(S6), 이후 다시 상기 S2 단계로 리턴하여, 처음부터 다시 반복 수행한다.
한편, 본 발명에서의 영상처리기(5)에서는, '영상신호처리 오류' 발생의 주된 원인을 제거할 필요가 있다.
일반적인 영상신호처리에 의한 오류 발생의 주된 원인으로써는, 첫째, 카메라 좌표계와 얼굴좌표계 간의 기하학적 위상변화와, 둘째, 안경 또는 썬글라스 유리알로부터의 반사광선의 영향이다.
1) 따라서, 첫째, 두 좌표계 간의 기하학적 위상 변화 제거가 필요하다.
카메라 좌표계란 영상좌표계를 말하며 얼굴 좌표계란 얼굴면의 기준으로 생성된 좌표계를 말한다. 따라서, 카메라를 운전석 앞에 설치고정하고 운전자가 얼굴을 움직이게 되면, 얻어지는 영상은 머리나 얼굴의 움직임에 따라 영상이 계속 변화하여 나타나게 된다. 그러나, 본 발명에서와 같이, 카메라를 두부 (특히 얼굴부위)에 고정하여 눈의 위치를 포함한 얼굴부위를 촬영하게 되면 얼굴부위의 영상은 항상 동일하며 아무리 고개를 흔들거나 몸의 자세를 바꾼다 해도 영상에 나타나는 눈의 위치에는 아무런 변동이 발생하지 않는다. 이 현상은 아무리 머리나 몸통을 바꾼다 해도 눈과 카메라 간의 기하학적 위상에 변동이 발생하지 않기 때문이며, 단지 위상변화가 발생하는 부위는 눈 중에서 안구부위에 국한되며 이는 안구를 움직일 때에만 발생하게 된다.
그러나 지금까지의 영상 인식 방법에서는, 카메라는 운전석 앞의 일정한 위치에 고정하고 있어 카메라 좌표계는 고정되어 있으나 얼굴은 전후 좌우 상하 및 무작위의 흔들림이나 상반신의 자세변화에 따라 얼굴좌표계는 계속 변화하게 되어, 그 결과 두 좌표계 간의 기하학적 위상은 계속 변화되어 일정하게 유지되지 않는다. 이와같은 기하학적 위상변화가 발생하게 되면 화면상에 나타나는 눈의 위치는 물론 크기와 모양까지 변화하게 되어 인식 알고리듬이 복잡해지고 계산량도 막대하게 되어 인식오류의 발생 위험이 높아지는 단점이 있었다.
반면, 본 발명에서는, 두 좌표계가 고정됨으로 두 좌표 간에 기하학적 위상변화가 제거되기 때문에, 영상 상의 눈의 위치가 고정되고 크기나 모양이 변하지 않기 때문에 눈을 찾기 위하여 화면 전체를 탐색한다거나 눈의 위치를 추종(eye tracking)할 필요가 없어진다. 따라서 홍채가 있어야 할 최소의 영역만을 탐색하여 홍채와 동공을 인식함으로써 오인식의 확률은 거의 zero 수준으로 떨어지게 된다.
2) 둘째, 안경유리로부터 반사광 회피 방안이 필요하다.
즉, 안경을 착용한 경우에는 안경유리로부터의 반사광 때문에, 도 8에서와 같이, 눈의 일부 또는 전부가 가리게 되어 졸음인식이 어려워지며, 더욱이 썬글라스를 착용한 경우에는 투과 광량이 감소되어 눈의 형체를 보기 어려워 역시 졸음인식의 주된 오작동 원인이 되고 있다.
이에 대한 대처방안으로써, 안경유리로부터의 반사광을 피하거나 썬글라스 착용시 투과광량 감소에 따른 악영향을 피하기 위하여는, 카메라 렌즈가 안경유리를 향하지 않도록 안경유리 하단의 안경유리 안쪽 면에서 직접 홍채를 볼 수 있도록 설치함으로써 가능해진다. 이를 위하여는 카메라의 몸체와 렌즈 부분이 작을수록 좋으며 5-8mm 정도의 구경의 카메라가 적절하다.
다만, 운전자에 따라서는 초소형이긴 하나 카메라를 얼굴부위에 설치함에 약간의 불편함을 느낄 수도 있겠으나, 졸음인식 성능이 중요시되는 트레일러 운전이나 대형트럭운전, 버스, 광산 석탄운반 차량 등에는 긴요한 안전장치로서의 역할을 할 것이며, 이 장치가 휴대도 가능함으로써, 차량운전자 뿐만, 아니라 보초경비를 서는 사람이나 공정라인의 흐름작업자 또는 강의나 연설 중 졸음경보에도 사용이 확대될 수 있다.
(제2 실시예의 졸음 인식 방법)
이하, 본 발명에 따른 졸음 인식 방법의 바람직한 제2 실시예에 대하여 도 6 내지 도 12 및 도 14를 참조하여 설명하면 다음과 같다.
도 14는 본 발명의 제2 실시예에 따른 졸음 인식 방법의 흐름도이다.
본 발명의 영상처리기(1)에서의 졸음 인식 방법의 프로세스가 시작되면, 먼저, 카메라(1)가 부착된 안경을 착용한 얼굴화면을 획득하게 된다(S10).
이후, 화면 내의 탐색영역이 이미 설정완료 되었는지를 판단하여(S20). 만약 설정이 되지 않은 상태일 때는, 탐색영역 설정 프로세스(S30∼S60)로 이행하게 되며, 반대로 상기 S20 단계에서의 판단 결과 화면 내의 탐색영역이 이미 설정완료된 경우에는, 실제 졸음 인식 프로세스(S70∼S100)를 실행하게 된다.
먼저, 상기 탐색영역 설정 프로세스(S30∼S60)를 상술하면, 화면 내에서 홍채부위를 파악한 다음 홍채부위가 가급적 영상의 중앙부위에 나타나도록 카메라의 방향을 조절한 후(S30), 머리와 몸통을 좌우상하로 움직이면서 화면에 나타나는 홍채부위의 이동범위를 파악하여(S40), 이동범위를 망라하는 최소의 사각형 (도 12 및 13에서 적색선으로 표시된 사각형 참조) 으로 정의된 탐색영역을 설정하며(S50), 눈을 뜬 상태에서 탐색영역 내의 최대화소값과 최소화소값을 찾아 그 차이에 기준하여 기준 차이값을 설정하고 이를 저장해 놓는다(S60). 이후, 프로세스는 상기 S10으로 리턴하여, 반복수행한다.
이제, 실제 졸음 인식 프로세스(S70∼S100)에 대하여 상술하면, 상기 S20 단계에서 화면 내의 탐색영역이 이미 설정완료 되었는지를 확인하여 만약 설정이 완료되었다고 판단될 경우에는, 탐색영역 내에서의 최대화소값과 최소화소값의 차이값을 산정하여(S70), 상기 S70 단계에서의 차이값이 상기 S60 단계에서의 기준 차이값 미만인지 여부를 판단하게 된다(S80).
그리하여, 상기 S80 단계에서의 판단 결과, 만약 상기 S70 단계에서 측정된 차이값이 상기 S60 단계에서의 기준 차이값 이상이면 (측정 차이값 ≥ 기준 차이값), 눈열림로 인식하여 처음(S10)으로 리턴하고, 반면, 상기 S70 단계에서 측정된 차이값이 상기 S60 단계에서의 기준 차이값 미만이면 (측정 차이값 < 기준 차이값), 눈감김으로 인식하여, 다음 단계로 진행하게 되는바, 졸음 상태와 단순 깜박거림을 구별하기 위하여, 눈감김 지속시간이 미리 설정된 지속시간 임계치 보다 큰지 여부를 판단하게 된다(S90).
그리하여, 상기 S80 단계에서의 판단 결과, 만약 눈감김 지속시간이 미리 설정된 지속시간 임계치 이하이면 (지속시간 ≤ 임계치), 졸음에 의한 눈감김이 아니고 단순 눈 깜박거림 상태로 인식하여, 역시 처음(S10)으로 리턴하며 일정 시간 간격으로 다음 영상을 취득하고, 반면, 상기 S90 단계에서의 판단 결과, 눈감김 지속시간이 미리 설정된 지속시간 임계치 보다 크면 (지속시간 > 임계치), 졸음에 의한 눈감김으로 판단하여 경보를 발생하게 된다(S100). 역시, 이후에는 처음(S10)으로 리턴하는 반복적인 과정을 수행하게 된다.
참고로, 상기 S90 단계에서 사용하는 지속시간 임계치로써는 일반적으로 0.1초가 적당하며, 다만 이는 운전자의 운전행태나 차량속도에 따라 조절이 가능토록 한다. 만약 차량의 속도가 100km/hr 일 때 위의 임계치 0.1초를 적용한다면 눈을 감은 상태에서 차량은 약 3m정도 전진하게 됨을 의미한다.
이상 상술한 바와 같은 본 발명에 의하면, 상술한 종래기술의 모든 문제점들을 간단히 한번에 해결할 수 있고, 더욱이 휴대성도 있어 차량을 운전할 때는 물론 경비나 보초를 설 때, 지루한 강의나 연설을 들을 때, 또는 공정라인 작업 중의 졸음을 경보할 수 있는 등, 여러 상황에도 편리하게 응용할 수 있는 장점을 갖고 있어 졸음경보 기술의 영역이 확대될 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위 및 그와 균등한 것들에 의하여 정해져야 한다.
1 : 카메라 2 : LED
3 : 유선통신장치 4 : 무선통신장치
5 : 영상처리기 6 : 경보기
7 : 휴대전지 8 : 외부전원
9 : 영상모니터 10 : 안경테 장착부

Claims (9)

  1. 졸음 인식 장치를 이용한, 졸음 인식 방법으로서,
    상기 졸음 인식 장치는,
    사용자의 두부에 장착되는 조명기구(2)와 카메라(1);
    상기 조명기구(2)와 카메라(1)가 유무선 방식으로 결합되어지는 영상처리기(5); 및
    상기 영상처리기(5)에서 사용자의 졸음 상태라고 인식되는 경우에 이를 경보하거나 표시하는 출력장치;
    를 포함하며,
    상기 카메라(1)는, 사용자의 두부에 장착되면서 동공과 동공 주위의 홍채 부위를 직접 촬영하도록 설치되며,
    상기 조명기구(2)는, 비가시성의 광을 발하는 조명기구이며,
    상기 영상처리기(5)는, 상기 조명기구(2)로부터 발하여진 비가시성의 광이 동공과 동공 주위의 홍채 부위에서 반사되어 오는 반사광을 인식하기 위한 비가시성 파장대의 밴드 패스 카메라 렌즈용 필터(filter)를 포함하며,
    상기 영상처리기(5)는, 실제 주행 중에 일정 시간 간격으로 획득된 영상촬영 화면에서 동공과 동공 주위의 홍채 부위의 탐색영역 내의 최대 화소값과 최소 화소값의 측정 차이값을 기 설정된 기준 차이값과 비교하여, 눈감김 여부를 인식하고, 눈감김으로 인식되는 상태가 일정 시간 이상인 경우 졸음 상태라고 인식하도록 동작하되,
    상기 탐색영역 내의 최소 화소값은 동공 위치에서 반사되어 오는 반사광의 화소값으로 정의되며,
    상기 졸음 인식 방법은,
    (a) 동공과 동공 주위의 홍채 부위의 탐색영역 설정을 행하며, 눈을 떴을 때의 탐색영역 내의 최대 화소값과 최소 화소값의 차이값에 따른 기준 차이값을 설정하고, 저장하는 초기 셋팅 단계(S1);
    (b) 이후, 실제 주행 중에, 일정 시간 간격으로 영상촬영을 하여 영상화면을 획득하는 단계(S2);
    (c) 상기 (b) 단계에서 획득된 영상화면의 탐색영역 내의 최대화소값과 최소화소값의 측정 차이값을 산정하는 단계(S3);
    (d) 상기 (c) 단계에서 산정된 상기 측정 차이값과 상기 (a) 단계에서 산정된 기준 차이값을 비교하는 단계(S4); 및
    (e) 상기 (d) 단계에서의 판단 결과, 상기 측정 차이값이 상기 기준 차이값 이상인 것으로 판단되면 (측정 차이값 ≥ 기준 차이값), 눈열림으로 인식하여 상기 (b) 단계로 리턴하여 반복 수행하고, 반면, 상기 측정 차이값이 상기 기준 차이값 미만인 것으로 판단되면 (측정 차이값 < 기준 차이값), 눈감김으로 인식하고, 눈감김으로 인식되는 상태가 일정 시간 이상인 경우 졸음 상태라고 인식하여 디스플레이에 출력하거나 경보기에 통보하게 되는 단계(S5);
    를 포함하는 것을 특징으로 하는 졸음 인식 방법.
  2. 제 1 항에 있어서,
    상기 출력장치는, 졸음의 위험을 소리나 진동 또는 전기자극을 통하여 경보하는 경보기(6)인 것을 특징으로 하는 졸음 인식 방법.
  3. 제 1 항에 있어서,
    상기 출력장치는, 장치의 작동에 이상이 있는지 여부를 확인하기 위하여 영상모니터(9)를 포함하며, 상기 영상모니터(9)를 통하여 카메라(1)가 정상적으로 작동하고 있는지 조명기구(2)의 상태가 양호한지를 확인할 수 있는 것을 특징으로 하는 졸음 인식 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    (f) 상기 (e) 단계 이후, 상기 영상처리기(5)가 졸음상태로 인식하는 경우에, 경보음이나 경보진동 발생 또는 전기 자극의 방식으로 경보를 행하게 되는 단계(S6);
    를 더 포함하는 것을 특징으로 하는 졸음 인식 방법.
KR1020180058584A 2018-05-23 2018-05-23 졸음 인식 장치를 이용한 졸음 인식 방법 KR102072910B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180058584A KR102072910B1 (ko) 2018-05-23 2018-05-23 졸음 인식 장치를 이용한 졸음 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180058584A KR102072910B1 (ko) 2018-05-23 2018-05-23 졸음 인식 장치를 이용한 졸음 인식 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200002077A Division KR20200006145A (ko) 2020-01-07 2020-01-07 졸음 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190133533A KR20190133533A (ko) 2019-12-03
KR102072910B1 true KR102072910B1 (ko) 2020-02-03

Family

ID=68838160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180058584A KR102072910B1 (ko) 2018-05-23 2018-05-23 졸음 인식 장치를 이용한 졸음 인식 방법

Country Status (1)

Country Link
KR (1) KR102072910B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102494811B1 (ko) * 2021-02-19 2023-02-06 광운대학교 산학협력단 눈 특징점 기반의 실시간 시선 추적 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200392762Y1 (ko) 2005-06-03 2005-08-18 (주)엠투비 근적외선 영상 기반 졸음 감지 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022935A (ko) * 2004-09-08 2006-03-13 한민홍 눈 영상 기반의 졸음 감지방법 및 장치
KR100766592B1 (ko) * 2005-06-03 2007-10-11 (주)엠투비 홍채 반사 영상 기반 졸음 감지 장치 및 방법
KR20080025602A (ko) 2006-09-18 2008-03-21 신석균 귀걸이 졸음방지구
KR20150061668A (ko) * 2013-11-27 2015-06-05 주식회사 디온테크 졸음운전 경보 장치 및 그 방법
KR20150139229A (ko) 2014-06-03 2015-12-11 현대모비스 주식회사 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법
KR20160016149A (ko) * 2014-08-04 2016-02-15 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 졸음방지시스템 및 졸음방지방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200392762Y1 (ko) 2005-06-03 2005-08-18 (주)엠투비 근적외선 영상 기반 졸음 감지 장치

Also Published As

Publication number Publication date
KR20190133533A (ko) 2019-12-03

Similar Documents

Publication Publication Date Title
US11347084B2 (en) Pupillary response feedback eyewear
JP3293308B2 (ja) 人物状態検出装置
KR101386823B1 (ko) 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
JP4899059B2 (ja) 眠気検知装置
KR102291179B1 (ko) 시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법
US20160206196A1 (en) Spectacles and method for determining the pupil center of both of the wearer&#39;s eyes
JP2002352229A (ja) 顔部位検出装置
JP2013203103A (ja) 車両用表示装置、その制御方法及びプログラム
JPWO2014073645A1 (ja) 生体情報計測装置及びそれを用いた入力装置
WO2007092512A2 (en) Driver drowsiness and distraction monitor
JP2013030959A (ja) 居眠り監視警告装置及び居眠り監視警告方法
US6626537B1 (en) Non-invasive ocular dynamic monitoring assessment method and associated apparatus
US20220083786A1 (en) Method and system for monitoring a person using infrared and visible light
US20140303690A2 (en) Anti-sleep glasses
KR100766592B1 (ko) 홍채 반사 영상 기반 졸음 감지 장치 및 방법
Khan et al. Efficient Car Alarming System for Fatigue Detectionduring Driving
RU2413632C2 (ru) Способ предупреждения засыпания водителя транспортного средства
KR102072910B1 (ko) 졸음 인식 장치를 이용한 졸음 인식 방법
Bergasa et al. Visual monitoring of driver inattention
KR20170135573A (ko) 운전자 시선 방향 검출 장치
KR20200006145A (ko) 졸음 인식 장치 및 방법
KR101360412B1 (ko) 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
KR20060022935A (ko) 눈 영상 기반의 졸음 감지방법 및 장치
KR101487802B1 (ko) 졸음 검출 장치
Varghese et al. Drowsiness Detection and Alert Android App Using OpenCV

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant