KR20140140825A - 졸음 검출 방법 - Google Patents

졸음 검출 방법 Download PDF

Info

Publication number
KR20140140825A
KR20140140825A KR1020130061701A KR20130061701A KR20140140825A KR 20140140825 A KR20140140825 A KR 20140140825A KR 1020130061701 A KR1020130061701 A KR 1020130061701A KR 20130061701 A KR20130061701 A KR 20130061701A KR 20140140825 A KR20140140825 A KR 20140140825A
Authority
KR
South Korea
Prior art keywords
image frame
eye
light
driver
region
Prior art date
Application number
KR1020130061701A
Other languages
English (en)
Other versions
KR101487801B1 (ko
Inventor
여태운
Original Assignee
여태운
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 여태운 filed Critical 여태운
Priority to KR20130061701A priority Critical patent/KR101487801B1/ko
Publication of KR20140140825A publication Critical patent/KR20140140825A/ko
Application granted granted Critical
Publication of KR101487801B1 publication Critical patent/KR101487801B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 졸음 검출 방법에 있어서, 특히 차량 내 운전자의 졸음 운전 여부를 판단하기 위한 졸음 검출 방법에 관한 것으로, 광을 방사하면서 촬영된 액티브 영상프레임과 광을 배제시켜 촬영된 패시브 영상프레임의 비교를 통해 외부 광에 의한 노이즈를 제거하는 단계와, 상기 노이즈가 제거된 영상에서 운전자의 얼굴 영역을 설정하는 단계와, 상기 설정된 얼굴 영역에서 눈 영역을 검출하는 단계와, 상기 검출된 눈 영역에 대한 영상 처리를 통해 눈동자를 검출하는 단계와, 상기 눈동자의 검출 패턴에 따라 졸음 여부를 판별하는 단계를 포함하여, 눈의 상태를 검출하기 이전에 외부 환경 변화에 따른 노이즈를 미리 제거하여 운전자의 졸음 상태를 검출하는데 성공률을 현저히 높일 수 있으며, 눈의 상태를 검출하기 위한 영상 처리 범위를 미리 설정하고 또한 그 영상 처리 범위가 최소화되어 영상 처리를 위한 부담이 없게 해주는 발명이다.

Description

졸음 검출 방법{Method for detecting sleepiness}
본 발명은 졸음 검출 방법에 관한 것으로, 특히 차량 내 운전자의 졸음 운전 여부를 판단하기 위한 졸음 검출 방법에 관한 것이다.
최근 음주 운전, 졸음 운전, 운전 중 휴대폰 사용 등에 의한 사고가 급증하면서 그들의 예방을 위한 많은 제도적 방안들이 모색되고 있다.
특히 졸음 운전의 사고율이 급격히 증가하면서 그에 대한 경각심을 일깨우고자 법률적으로 처벌을 강화하는 등의 예방책들이 나오고는 있으나 운전자의 인식 부족으로 인해 개선 효과가 미비한 실정이다.
이러한 제도적 방안과 더불어 졸음 운전을 방지하기 위한 기술도 발전하고 있는데, 뇌파 감지 기술이나 신체의 온도나 맥박 감지 기술이나 피부의 임피던스 감지 기술 등의 생체 인식 기술에 기반하여 운전자의 졸음 여부를 감지하고, 그 감지 결과에 따라 운전자에게 경고를 해주는 기술들이 소개되고 있다.
그러나, 현재까지의 기술들 대부분은 운전자의 졸음 여부를 감지하기 위해 운전자의 인체에 특정 감지수단을 부착하는 방식이거나 운전자가 직접적으로 특정 감지수단에 접촉된 상태에서만 감지되는 방식이어서 운전자의 운전을 방해하는 부작용을 초래하고 있으며, 감지수단이 대부분 고가 장비여서 실효성에 대한 문제가 많이 있었다.
또한, 보다 발전된 기술로는 운전자의 접촉 없이 카메라를 통해 입력되는 운전자의 영상을 분석하여 운전자의 상태 즉, 눈이 감긴 상태나 입이 하품하는 상태를 감지하는 기술이 소개되었다.
그러나, 이러한 기술들은 외부 환경 변화에 의해 감지 성공률이 현저히 떨어지는 경우가 발생한다. 즉, 카메라의 촬영 조건(조리개나 셔터속도 등)을 동일하게 설정한 상태에서 촬영된 영상은 밤과 낮의 광도 차이에 의한 변수를 고려하지 않은 것이어서 그 영상으로부터 운전자의 상태를 정확히 파악하기란 쉽지 않다. 또한, 촬영된 영상으로부터 운전자의 상태를 정밀하게 검출하기 위해서는 해상도를 고려해야 하는데, 고해상도 영상을 전체적으로 처리하는데 부담이 크기 때문에 고속 영상 처리가 불가능하다.
본 발명의 상기한 점들을 감안하여 안출한 것으로, 특히 운전자의 눈 상태를 감지하여 졸음 여부를 검출하는 졸음 검출 방법을 제공하는 데 있다.
본 발명의 다른 목적은, 외부 환경 변화에 무관하게 카메라를 통해 촬영된 영상으로부터 운전자의 졸음 상태를 보다 정확하게 파악할 수 있도록 해주는 졸음 검출 방법을 제공하는 데 있다.
본 발명의 또다른 목적은, 운전자의 눈의 상태를 감지하는 데 있어서 눈이 위치하는 영역으로 영상 처리 범위를 최소화하여 고속으로 졸음 여부를 검출해 주는 졸음 검출 방법을 제공하는 데 있다.
상기한 목적들을 달성하기 위한 본 발명에 따른 졸음 검출 방법의 특징은, 광을 방사하면서 촬영된 액티브 영상프레임과 광을 배제시켜 촬영된 패시브 영상프레임의 비교를 통해 외부 광에 의한 노이즈를 제거하는 단계와, 상기 노이즈가 제거된 영상에서 운전자의 얼굴 영역을 설정하는 단계와, 상기 설정된 얼굴 영역에서 눈 영역을 검출하는 단계와, 상기 검출된 눈 영역에 대한 영상 처리를 통해 눈동자를 검출하는 단계와, 상기 눈동자의 검출 패턴에 따라 졸음 여부를 판별하는 단계를 포함하여 이루어지는 것이다.
바람직하게, 상기 설정된 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 상기 눈 영역을 검출할 수 있다.
바람직하게, 상기 눈 영역을 검출하는 단계는, 상기 설정된 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 하나의 예비 영상을 추출하는 단계와, 상기 추출된 예비 영상에서 확산 반사 값이 최대인 지점을 기준영역으로 설정하는 단계와, 상기 설정된 기준영역으로부터 추정되는 눈의 위치특성을 사용하여 상기 눈 영역을 검출하는 단계로 이루어질 수 있다.
보다 바람직하게, 상기 확산 반사 값이 최대인 지점을 기준영역으로 설정하는 단계에서는 상기 운전자의 코를 상기 기준영역으로 판정하고, 상기 눈 영역을 검출하는 단계에서는 상기 운전자의 눈이 상기 코에 근접하면서 상기 코의 상부에 위치하는 상기 눈의 위치특성에 기준하여 상기 눈 영역을 검출할 수 있다.
보다 바람직하게, 상기 눈의 위치특성은 상기 눈동자로 예상되는 후보점들 중 두 후보점 간의 수평거리와, 상기 후보점들 중 두 후보점이 이루는 선분의 기울기를 더 포함할 수 있다.
바람직하게, 상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시 조건을 설정하는 단계와, 상기 설정된 조건으로 상기 액티브 영상프레임과 상기 패시브 영상프레임을 각각 촬영하는 단계를 더 포함할 수 있다.
보다 바람직하게, 상기 조건을 설정하는 단계는 상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시 노출 값과 상기 광의 방사 세기를 설정할 수 있다.
보다 바람직하게, 상기 조건을 설정하는 단계는, 상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시 노출 값과 상기 광의 세기 값이 특정 값으로 설정된 모드를 통해 상기 조건을 자동 설정할 수 있다. 여기서, 상기 모드는 상기 노출 값과 상기 광의 세기 값이 초기 설정되는 디폴트 모드와, 상기 디폴트 모드에 비해 상기 노출 값과 상기 광의 세기 값이 일정 수준 조정되는 적어도 하나의 변경 모드를 포함할 수 있다.
바람직하게, 상기 액티브 영상프레임을 촬영하는 단계는 상기 광을 펄스형으로 방사하여 상기 액티브 영상프레임을 촬영할 수 있다.
바람직하게, 상기 졸음 여부를 판별한 결과로부터 상기 운전자가 졸음 상태로 판별되는 경우에 소정의 경보신호를 출력하는 단계를 더 포함할 수 있다.
바람직하게, 상기 눈동자의 검출 패턴에 따라 졸음 여부를 판별하는 단계는, 상기 눈동자의 검출 패턴을 미리 설정된 졸음 판별 패턴과 비교하여 상기 졸음 여부를 판별할 수 있다.
보다 바람직하게, 상기 졸음 판별 패턴은 정해진 시간 내에 상기 눈동자가 검출되는 회수와 상기 눈동자가 검출되는 주기와 상기 눈동자가 검출되는 시간 간격 중 적어도 하나를 조합하여 설정될 수 있다.
본 발명에서는 눈의 상태를 검출하기 이전에 외부 환경 변화에 따른 노이즈를 미리 제거하여 운전자의 졸음 상태를 검출하는데 성공률을 현저히 높일 수 있다.
또한, 눈의 상태를 검출하기 위한 영상 처리 범위를 미리 설정하고, 또한 그 영상 처리 범위가 최소화되어 영상 처리를 위한 부담이 없다. 그에 따라, 보다 고속으로 졸음 여부를 검출할 수 있다. 이는 졸음 여부를 판별하기 위한 시간적 간격을 최소화할 수 있으므로, 고속 운전 중인 운전자에게 보다 빠른 주기로 졸음에 대해 반응하여 경고해 줄 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 졸음 검출 시스템의 구성을 나타낸 다이어그램;
도 2는 본 발명의 일 실시 예에 따른 졸음 검출 시스템에 기반한 졸음 검출 방법을 나타낸 플로우챠트;
도 3은 본 발명의 일 실시 예에 따른 눈 영역 검출 절차를 나타낸 플로우챠트; 및
도 4는 본 발명에서 윈도우 필터링을 통해 추출되는 예비 영상의 일 예를 나타낸 도면이다.
본 발명의 다른 목적, 특징 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
이하, 첨부한 도면을 참조하여 본 발명에 따른 졸음 검출 방법의 바람직한 실시 예를 자세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 졸음 검출 시스템의 구성을 나타낸 다이어그램이다.
본 발명에 따른 졸음 검출 시스템은, 발광부(10)와, 영상획득부(20)와, 제어부(30)로 구성된다. 또한 경보부(40)와 디스플레이부(50)를 더 포함할 수 있다.
발광부(10)는 액티브 영상프레임을 촬영할 시에 광을 방사하며, 특히 펄스형 광을 방사하는 LED 발광소자인 것이 바람직하다. 발광부(10)는 짧은 시간에 높은 출력의 광원을 방사한다.
영상획득부(20)는 상기 발광부(10)의 발광 주기에 동기되어 액티브 영상프레임과 패시브 영상프레임을 교대로 촬영한다. 예로써, 영상획득부(20)는 영상프레임을 촬영하는 카메라인 것이 바람직하다.
영상획득부(20)는 발광부(10)의 발광 주기에 동기시켜, 광의 방사 시에 액티브 영상프레임을 촬영하고, 발광부(10)로부터 광이 방사되지 않은 때에 패시브 영상프레임을 촬영한다.
영상획득부(20)로 입사되는 반사광의 재귀반사 광도계수가 최대가 되도록 발광부(10)와 영상획득부(20) 간의 패럴럭스(Parallax)는 최소로 조절한다.
제어부(30)는 발광부(10)와 영상획득부(20)의 동작을 제어하는 것으로, 발광부(10)의 광 발광 주기와 광 세기, 그리고 영상획득부(20)의 노출 값을 설정한다.
제어부(30)는 발광부(10)와 영상획득부(20)의 동작을 모드 제어(Mode control)로 구현한다. 그 모드는 디폴트 모드와 변경 모드를 포함한다.
디폴트 모드는 영상획득부(20)의 노출 값과 발광부(10)의 광 세기 값이 초기 설정되는 모드이고, 변경 모드는 디폴트 모드의 초기 설정 값을 기준으로 하여 노출 값과 광의 세기 값이 일정 수준 조정되는 모드이다. 그 변경 모드는 적어도 하나 이상을 포함할 수 있다.
일 예로, 디폴트 모드는 밤에 영상프레임을 촬영하기 위한 모드이고, 변경 모드는 디폴트 모드에 비해 노출 값과 광의 세기 값이 크게 설정되어 외부 광의 세기가 큰 낮에 영상프레임을 촬영하기 위한 모드일 수 있다.
또한 제어부(30)는 영상획득부(20)를 통해 촬영된 영상프레임으로부터 도 2에서 설명되는 졸음 검출 방법을 통해 졸음 여부를 판별하고, 그 판별 결과에 따라 경보부(40)의 동작을 제어한다.
다른 예로, 본 발명의 시스템은 운전자로 하여금 촬영된 영상을 볼 수 있도록 디스플레이부(50)를 더 구비한다. 디스플레이부(50)는, 영상획득부(20)의 촬영 범위가 운전자의 얼굴로 조정되도록, 영상획득부(20)에 의해 촬영된 영상을 실시간 출력한다.
도 2는 본 발명의 일 실시 예에 따른 졸음 검출 시스템에 기반한 졸음 검출 방법을 나타낸 플로우챠트이다.
본 발명에 따른 졸음 검출 방법은 다음의 일련의 과정을 통해 졸음 여부를 판별한다.
본 발명에서는 액티브 영상프레임과 패시브 영상프레임을 각각 촬영하기 위한 촬영 시 조건을 설정한다(S10).
상기에서 촬영 시 조건은, 액티브 영상프레임과 패시브 영상프레임의 촬영 시 노출 값과 액티브 영상프레임의 촬영 시 사용되는 광의 방사 세기를 포함한다.
본 발명에서는 촬영 시 조건을 설정하는데 보다 용이하도록, 촬영 시 조건을 자동으로 설정하기 위한 디폴트 모드와 변경 모드를 사용한다.
각 모드는 액티브 영상프레임과 패시브 영상프레임의 촬영 시 노출 값과 액티브 영상프레임의 촬영 시 방사되는 광의 세기 값을 특정 고정 값으로 설정한다. 따라서, 하나의 모드를 선택하여 노출 값과 광 세기 값을 간단히 변경 설정한다.
디폴트 모드는 노출과 광 세기에 대한 기준 값이 설정된 것으로, 노출 값과 광 세기 값의 초기 설정 값으로 이해될 수 있다.
변경 모드는 디폴트 모드의 초기 설정 값으로부터 노출 값과 광의 세기 값이 일정 수준 조정되는 모드이며, 그 변경 모드는 적어도 하나 이상일 수 있다.
일 예로, 디폴트 모드는 밤에 영상프레임을 촬영하기 위한 모드이고, 변경 모드는 디폴트 모드에 비해 노출 값과 광의 세기 값이 크게 설정되어 외부 광의 세기가 큰 낮에 영상프레임을 촬영하기 위한 모드일 수 있다.
상기에서 촬영 시 조건이 설정된 상태에서 그 설정된 조건으로 액티브 영상프레임과 패시브 영상프레임을 각각 촬영한다(S20). 일 예로, 전술된 영상획득부(20)는 초당 30장의 영상프레임을 촬영하며, 따라서, 초당 액티브 영상프레임 15장과 패시브 영상프레임 15장을 촬영한다. 발광부(10)는 액티브 영상프레임의 촬영시점과 동기되어 광을 방사한다. 또한, 본 발명에서는 액티브 영상프레임과 패시브 영상프레임은 컬러 영상프레임일 수 있으나 눈동자 검출을 위한 처리 속도를 높이기 위해 컬러 영상프레임을 명암도가 0~255 값을 갖는 흑백 영상프레임으로 변환하여 사용할 수 있다. 다른 예로는 촬영된 액티브 영상프레임과 패시브 영상프레임이 흑백 영상프레임인 것이 보다 바람직하다. 이를 위해 흑백 카메라를 사용할 수 있다.
액티브 영상프레임은 광을 방사하면서 촬영된 영상프레임이고, 패시브 영상프레임은 광을 배제시켜 촬영된 영상프레임이다.
특히, 액티브 영상프레임을 촬영할 시에 방사되는 광을 펄스형으로 사용한다.
이어, 촬영된 액티브 영상프레임과 패시브 영상프레임의 비교를 통해 외부 광에 의한 노이즈를 제거한다(S30).
이어, 상기 노이즈가 제거된 영상(100)에서 운전자의 얼굴 영역을 설정하며(S40), 그 설정된 얼굴 영역에서 눈 영역을 검출한다(S50).
여기서, 얼굴 영역을 다음과 같이 설정한다.
액티브 영상프레임의 촬영 시 노출을 짧게 설정하고 패시브 영상프레임의 촬영 시 노출을 길게 설정한 상태에서 액티브 영상프레임과 패시브 영상프레임을 각각 촬영한 후에 그들을 비교하면, 외부 광에 의한 노이즈가 제거되면서 얼굴 영역이 다른 주변 영역에 비해 밝게 나타난다. 그 밝은 부분을 얼굴 영역으로 설정하며, 그 밝은 부분(얼굴 영역)에 대한 이진화를 거치면 도 5에 도시된 바와 같은 영상이 생성된다. 도 5는 이진화를 거친 얼굴 영역 중에서 눈 영역만을 나타낸 것이다. 다시 말하자면, 액티브 영상프레임과 패시브 영상프레임의 비교를 통해 외부 광원을 차단하여 얼굴 영역의 영상 부분만 추출한다. 한편, 얼굴 영역에 대한 이진화는 일정 임계 값을 이용하여 외부 광에 의한 노이즈가 제거된 영상을 0 또는 1이나 0 또는 255로 화소 값을 분리하는 것이다. 따라서 이진화를 거친 영상은 백색 또는 흑색으로만 표출된다.
눈 영역은 상기 설정된 얼굴 영역에 대한 차동 필터링(Differential filtering)과 윈도우 필터링(Window filtering)을 통해 검출한다.
도 3은 본 발명의 일 실시 예에 따른 눈 영역 검출 절차를 나타낸 플로우챠트로, 본 발명에서 눈 영역을 검출할 시에는 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 하나의 예비 영상을 추출하며(S51), 그 예비 영상에서 확산 반사 값이 최대인 지점을 기준영역으로 설정하고(S52), 그 설정된 기준영역으로부터 추정되는 눈의 위치특성을 이용한다(S53). 상기에서 윈도우 필터링을 통해 추출되는 예비 영상은 도 4에 도시된 바와 같으며, 그 예비 영상은 확산 반사 이미지이다. 또한 상기 확산 반사 값이 최대인 지점은 코로 판정되는 것이 바람직하며, 코를 기준영역으로 설정하여 그 코의 위치에 기준하여 눈의 위치특성으로부터 눈 영역을 검출한다. 본 발명에서는 코의 위치에 기준하여 눈 영역을 검출할 시에 운전자의 눈이 코에 근접하면서 코의 상부에 위치하는 눈의 위치특성에 기준한다.
한편, 눈의 위치특성은 눈동자로 예상되는 후보점들 중 두 후보점 간의 수평거리와, 눈동자의 후보점들 중 두 후보점이 이루는 선분의 기울기를 더 포함할 수 있다.
이어, 상기 검출된 눈 영역에 대한 영상 처리를 통해 눈동자를 검출하여 운전자의 눈동자 검출 패턴을 추출한다(S60), 그 눈동자의 검출 패턴에 따라 졸음 여부를 최종 판별한다(S70). 여기서, 영상프레임을 초당 30장 촬영하는 영상획득부(20)를 적용함에 따라, 눈동자 검출 패턴은 초당 15번 검출되며, 졸음 여부도 초당 15회 판별한다.
만약 눈동자의 검출 패턴에 따른 졸음 여부를 판별한 결과로부터 운전자가 졸음 상태로 판별되는 경우에는, 졸음 상태로 판별하여 소정의 경보신호를 출력한다(S80). 여기서, 경보신호는 운전자가 시각, 청각 또는 촉각으로 인지 가능한 형태이다.
본 발명에서는 졸음 상태를 판별하는데 기준이 되는 졸음 판별 패턴을 미리 설정하여 저장한다. 그리고 졸음 판별 패턴을 실시간으로 검출되는 운전자의 눈동자 검출 패턴과 비교하여 초당 15회 졸음 여부를 판별한다.
일 예로, 졸음 판별 패턴은, 정해진 시간 내에 눈동자가 검출되는 회수와 눈동자가 검출되는 주기와 눈동자가 검출되는 시간 간격 중 적어도 하나를 조합하여 설정될 수 있다.
예로써, 단순히 눈동자가 정해진 시간 동안 검출되지 않을 경우에 졸음 상태로 판단할 수 있다.
그러나, 눈동자가 정해진 시간 동안 검출되더라도 졸음 상태일 수 있다. 즉, 졸음 상태에서도 눈을 어느 정도 깜빡일 수 있으며, 졸음 상태를 오판할 수 있는 가능성 있다는 것이다. 따라서, 본 발명에서는 졸음 상태일 때 정해진 시간 내에 눈동자가 검출되는 회수와 눈동자가 검출되는 주기와 눈동자가 검출되는 시간 간격을 적어도 하나 조합한 졸음 판별 패턴을 눈동자 검출 패턴과 비교하여 보다 정확하게 졸음 여부를 판별하는 것이 바람직하다.
이와 같이 졸음 판별 패턴을 적용함에 따라 졸음 상태를 검출하는 것은 물론 졸음 판별 패턴의 다양한 변형을 통해 운전자의 피로 징후까지도 판별할 수 있는 확장성을 보장한다.
예를 들어, 졸음 상태일 경우에는 눈 깜빡임의 속도가 느려진다. 따라서, 초당 30프레임의 영상을 촬영하는 카메라를 사용할 경우에는 액티브 영상프레임 15개와 패시브 영상프레임 15개가 촬영되므로 초당 15회의 졸음 검출이 가능하다.
일반적으로 눈의 깜빡임 속도는 0.1~0.15초이다. 따라서, 약 0.067초당 1회의 졸음 검출이 이루어지므로, 1.5~2.2의 검출 주기이면 정상적인 상태로 판별할 수 있으나 그 검출 주기를 초과하는 경우에는 졸음 상태로 판별할 수 있을 것이다.
지금까지 본 발명의 바람직한 실시 예에 대해 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 변형된 형태로 구현할 수 있을 것이다.
그러므로 여기서 설명한 본 발명의 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 상술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 한다.
10: 발광부 20: 영상획득부
30: 제어부 40: 경보부
50: 디스플레이부

Claims (13)

  1. 광을 방사하면서 촬영된 액티브 영상프레임과 광을 배제시켜 촬영된 패시브 영상프레임의 비교를 통해 외부 광에 의한 노이즈를 제거하는 단계;
    상기 노이즈가 제거된 영상에서 운전자의 얼굴 영역을 설정하는 단계;
    상기 설정된 얼굴 영역에서 눈 영역을 검출하는 단계;
    상기 검출된 눈 영역에 대한 영상 처리를 통해 눈동자를 검출하는 단계; 그리고
    상기 눈동자의 검출 패턴에 따라 졸음 여부를 판별하는 단계;
    를 포함하여 이루어지는 것을 특징으로 하는 졸음 검출 방법.
  2. 제 1 항에 있어서,
    상기 설정된 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 상기 눈 영역을 검출하는 것을 특징으로 하는 졸음 검출 방법.
  3. 제 1 항에 있어서,
    상기 눈 영역을 검출하는 단계는,
    상기 설정된 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 하나의 예비 영상을 추출하는 단계와,
    상기 추출된 예비 영상에서 확산 반사 값이 최대인 지점을 기준영역으로 설정하는 단계와,
    상기 설정된 기준영역으로부터 추정되는 눈의 위치특성을 사용하여 상기 눈 영역을 검출하는 단계로 이루어지는 것을 특징으로 하는 졸음 검출 방법.
  4. 제 3 항에 있어서,
    상기 확산 반사 값이 최대인 지점을 기준영역으로 설정하는 단계에서는 상기 운전자의 코를 상기 기준영역으로 판정하고,
    상기 눈 영역을 검출하는 단계에서는 상기 운전자의 눈이 상기 코에 근접하면서 상기 코의 상부에 위치하는 상기 눈의 위치특성에 기준하여 상기 눈 영역을 검출하는 것을 특징으로 하는 졸음 검출 방법.
  5. 제 4 항에 있어서,
    상기 눈의 위치특성은
    상기 눈동자로 예상되는 후보점들 중 두 후보점 간의 수평거리와,
    상기 후보점들 중 두 후보점이 이루는 선분의 기울기를 더 포함하는 것을 특징으로 하는 졸음 검출 방법.
  6. 제 1 항에 있어서,
    상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시 조건을 설정하는 단계;
    상기 설정된 조건으로 상기 액티브 영상프레임과 상기 패시브 영상프레임을 각각 촬영하는 단계를 더 포함하는 것을 특징으로 하는 졸음 검출 방법.
  7. 제 6 항에 있어서,
    상기 조건을 설정하는 단계는,
    상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시 노출 값과 상기 광의 방사 세기를 설정하는 것을 특징으로 하는 졸음 검출 방법.
  8. 제 6 항에 있어서,
    상기 조건을 설정하는 단계는,
    상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시 노출 값과 상기 광의 세기 값이 특정 값으로 설정된 모드를 통해 상기 조건을 자동 설정하는 것을 특징으로 하는 졸음 검출 방법.
  9. 제 8 항에 있어서,
    상기 모드는 상기 노출 값과 상기 광의 세기 값이 초기 설정되는 디폴트 모드와, 상기 디폴트 모드에 비해 상기 노출 값과 상기 광의 세기 값이 일정 수준 조정되는 적어도 하나의 변경 모드를 포함하는 것을 특징으로 하는 졸음 검출 방법.
  10. 제 6 항에 있어서,
    상기 액티브 영상프레임을 촬영하는 단계는,
    상기 광을 펄스형으로 방사하여 상기 액티브 영상프레임을 촬영하는 것을 특징으로 하는 졸음 검출 방법.
  11. 제 1 항에 있어서,
    상기 졸음 여부를 판별한 결과로부터 상기 운전자가 졸음 상태로 판별되는 경우에 소정의 경보신호를 출력하는 단계를 더 포함하는 것을 특징으로 하는 졸음 검출 방법.
  12. 제 1 항에 있어서,
    상기 눈동자의 검출 패턴에 따라 졸음 여부를 판별하는 단계는,
    상기 눈동자의 검출 패턴을 미리 설정된 졸음 판별 패턴과 비교하여 상기 졸음 여부를 판별하는 것을 특징으로 하는 졸음 검출 방법.
  13. 제 12 항에 있어서,
    상기 졸음 판별 패턴은,
    정해진 시간 내에 상기 눈동자가 검출되는 회수와 상기 눈동자가 검출되는 주기와 상기 눈동자가 검출되는 시간 간격 중 적어도 하나를 조합하여 설정되는 것을 특징으로 하는 졸음 검출 방법.
KR20130061701A 2013-05-30 2013-05-30 졸음 검출 방법 KR101487801B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130061701A KR101487801B1 (ko) 2013-05-30 2013-05-30 졸음 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130061701A KR101487801B1 (ko) 2013-05-30 2013-05-30 졸음 검출 방법

Publications (2)

Publication Number Publication Date
KR20140140825A true KR20140140825A (ko) 2014-12-10
KR101487801B1 KR101487801B1 (ko) 2015-02-05

Family

ID=52458498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130061701A KR101487801B1 (ko) 2013-05-30 2013-05-30 졸음 검출 방법

Country Status (1)

Country Link
KR (1) KR101487801B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100601963B1 (ko) * 2004-08-23 2006-07-14 삼성전자주식회사 시선을 이용한 인증 장치 및 그 방법
KR101500010B1 (ko) * 2009-11-27 2015-03-09 현대자동차주식회사 운전자 졸음 및 피로 감지 시스템
KR20110085793A (ko) * 2010-01-21 2011-07-27 도레미 졸음운전 판단 및 경보 시스템
KR101251793B1 (ko) * 2010-11-26 2013-04-08 현대자동차주식회사 차량내 운전자 실제 얼굴 인증 방법

Also Published As

Publication number Publication date
KR101487801B1 (ko) 2015-02-05

Similar Documents

Publication Publication Date Title
US20170337441A1 (en) Systems And Methods Of Biometric Analysis With A Spectral Discriminator
US9668648B2 (en) Spectacles and method for determining the pupil center of both of the wearer's eyes
US20100208207A1 (en) Automatic direct gaze detection based on pupil symmetry
JP4793269B2 (ja) 眠気検知装置
JP4899059B2 (ja) 眠気検知装置
EP3572975B1 (en) A multispectral image processing system for face detection
JPH07249197A (ja) 人物状態検出装置
JP6651911B2 (ja) 顔画像処理装置
WO2005002441A1 (ja) 生体眼判定方法および生体眼判定装置
WO2020148697A2 (en) Method and system for monitoring a person using infrared and visible light
JP3116638B2 (ja) 覚醒状態検知装置
EP2976990B1 (en) Pupil detection device and pupil detection method
JP4313717B2 (ja) 視線検出装置
KR100766592B1 (ko) 홍채 반사 영상 기반 졸음 감지 장치 및 방법
JP4895874B2 (ja) 目状態判別装置、目状態判別方法及び目状態判別プログラム
KR101487801B1 (ko) 졸음 검출 방법
KR101360412B1 (ko) 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
KR101487802B1 (ko) 졸음 검출 장치
KR20190044818A (ko) 운전자 모니터링 장치 및 방법
KR20060022935A (ko) 눈 영상 기반의 졸음 감지방법 및 장치
KR102072910B1 (ko) 졸음 인식 장치를 이용한 졸음 인식 방법
JP2018190213A (ja) 顔認識装置及び視線検出装置
JP2010026657A (ja) 運転者状態検出装置
KR200392762Y1 (ko) 근적외선 영상 기반 졸음 감지 장치
US11256939B2 (en) Methods, systems and computer program products for eye based spoof detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
FPAY Annual fee payment

Payment date: 20180123

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 6