KR101795188B1

KR101795188B1 - 눈 위치영역 진동 감지에 의한 졸음 검출 장치 및 그 방법

Info

Publication number: KR101795188B1
Application number: KR1020150182161A
Authority: KR
Inventors: 허남웅; 전슬기; 김응환; 강명구
Original assignee: 현대자동차주식회사; 주식회사 바이브라시스템
Priority date: 2015-12-18
Filing date: 2015-12-18
Publication date: 2017-11-07
Also published as: KR20170073357A

Abstract

본 발명의 실시예에 따른 눈 위치영역 진동 감지에 의한 졸음 검출 장치는 얼굴 영상으로부터 눈이 위치하는 영역을 인식하는 눈 위치 영역 인식부; 및 상기 눈이 위치하는 영역에 대해 진동 검출을 통해 눈 깜박임을 검출하는 눈 깜박임 검출부를 포함할 수 있다.

Description

눈 위치영역 진동 감지에 의한 졸음 검출 장치 및 그 방법{Apparatus for detecting drowsy using vibration sensing in the eye region and Method thereof}

본 발명은 눈 위치영역 진동 감지에 의한 졸음 검출 장치 및 그 방법에 관한 것으로, 보다 상세하게는 눈의 위치 영역에서 진동을 감지하여 졸음에 의한 교통사고를 방지할 수 있는 기술에 관한 것이다.

자동차는 일반인들의 생활 필수품처럼 활용되고 있으며, 일반인들이 일상 생활 중 자동차에서 보내는 시간이 증가하고 있다. 이에 따라, 운전자의 피곤, 지루함 또는 자동차 내부의 산소 부족으로 인한 졸음운전이 발생하고 있으며, 졸음운전으로 인한 사고의 발생 비율은 상당이 높은 실정에 있다. 따라서 인명 및 재산의 피해를 줄이기 위해 졸음운전을 방지하기 위한 다양한 기술들이 개발 되어지고 있다.

이러한 졸음을 감지하기 위해 종래에는 눈을 감았는지 판단해서 눈을 감고 있는 시간, 눈을 감는 속도, 눈꺼풀이 눈을 어느 정도 덮고 있는지를 측정하거나 판단해서 졸음을 검출하여왔다.

이러한 방식은 먼저 얼굴 인식 과정을 통해서 얼굴의 위치를 파악하고, 파악된 얼굴 부위에서 눈의 위치를 정확하게 찾아내서 눈의 모양을 보고 눈을 감고 있는지를 판단하게 된다. 이때, 눈의 모양을 판단하는 과정은 패턴 인식 알고리즘을 적용하여 복잡하고 많은 시간이 소요되며 눈 모양 판단을 위해 여러 가지 다양한 모양과 상태의 눈에 대해서 인식할 수 있는 성능을 갖추어야 한다.

본 발명의 실시예는 눈의 위치영역에서의 진동을 감지해 졸음 상태에 있는지를 판단할 수 있는 눈 위치영역 진동 감지에 의한 졸음 검출 장치 및 그 방법을 제공하고자 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

또한, 본 발명은 얼굴 영상을 획득하는 얼굴 영상 획득부를 더 포함할 수 있다.

또한, 상기 눈 위치 영역 인식부는, 상기 눈이 위치하는 영역은 실제 눈의 절반 또는 눈의 1/3을 포함할 수 있다.

상기 눈 깜박임 검출부는, 상기 눈이 위치하는 영역에 대한 프레임간 픽셀값 차이를 계산하여 진폭 크기를 산출하고, 상기 진폭크기에 대한 평균값을 산출하여 프레임별 평균값을 그래프로 나타내어 진동 파형을 생성할 수 있다.

상기 눈 깜박임 검출부의 출력을 이용하여 사용자의 졸음 여부를 판단하는 졸음 판단부를 더 포함할 수 있다.

상기 졸음 판단부는, 눈 깜박임의 진동 진폭크기 및 눈 깜박임이 없는 시간을 이용하여 졸음 여부를 판단할 수 있다.

상기 졸음 판단부는, 상기 눈깜박임 신호의 진폭 크기가 일정 크기 이상이면 깜박임이 없는 것으로 판단할 수 있다.

상기 졸음 판단부는, 상기 눈깜박임이 없는 시간이 미리 정한 제 1 기준시간 경과 시 경고상태로 판단하고, 상기 눈깜박임이 없는 시간이 상기 제 1 기준시간보다 큰 제 2 기준시간 경과 시 위험상태로 판단할 수 있다.

본 발명의 실시예에 따른 눈 위치영역 진동 감지에 의한 졸음 검출 방법은

얼굴 영상으로부터 눈이 위치하는 영역을 인식하는 단계; 및 상기 눈이 위치하는 영역에 대해 진동 검출을 통해 눈 깜박임을 검출하는 단계를 포함할 수 있다.

상기 눈이 위치하는 영역을 인식하는 단계는, 실제 눈의 절반 또는 눈의 1/3 이상을 포함하는 영역을 상기 눈 위치 영역으로 인식할 수 있다.

상기 눈이 위치하는 영역을 인식하는 단계는, 상기 눈이 위치하는 영역에 대한 프레임간 픽셀값 차이를 계산하여 진폭 크기를 산출하고, 상기 진폭크기에 대한 평균값을 산출하여 프레임별 평균값을 그래프로 나타내어 진동 파형을 생성할 수 있다.

본 기술은 눈의 위치를 정확히 알아낼 필요없이 얼굴 인식을 통해 눈 영역을 인식하고 진동 검출을 통해 눈 영역내의 눈 깜박임을 검출함으로써 눈 검출 시간을 최소화할 수 있다.

도 1은 본 발명의 실시예에 따른 눈 위치영역 진동 감지에 의한 졸음 검출 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 눈 위치영역 진동 감지에 의한 졸음 검출 장치에 의한 얼굴 인식 영역 및 눈 영역 예시도이다.
도 3은 본 발명의 실시예에 따른 눈 위치영역 진동 감지에 의한 졸음 검출 방법을 나타내는 순서도이다.
도 4는 본 발명의 실시예에 따른 눈 위치 영역안의 점들에 대한 프레임간의 차이를 이용하여 산출되는 제 1 진폭크기(Amplitude)를 나타내는 그래프이다.
도 5는 본 발명의 실시예에 따른 졸음 검출을 설명하기 위한 그래프이다.
도 6은 본 발명의 실시예에 따른 눈 위치 영역 진동 감지에 의한 졸음 검출 기술을 적용한 컴퓨터 시스템의 구성도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 도 1 내지 도 6을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 눈 위치영역 진동 감지에 의한 졸음 검출 장치의 구성도이다.

본 발명의 실시예에 따른 눈 위치영역 진동 감지에 의한 졸음 검출 장치는 얼굴 영상 획득부(110), 눈 위치 영역 인식부(120), 눈 깜박임 검출부(130), 필터링부(140), 졸음 판단부(150)를 포함한다.

얼굴 영상 획득부(110)는 사용자 얼굴 영상을 획득하며 카메라 등을 구비할 수 있다.

눈 위치 영역 인식부(120)는 얼굴 영상으로부터 눈 위치 영역을 인식한다. 도 2와 같이 얼굴 영상에서 얼굴을 인식하고, 인식된 얼굴 인식 영역(10) 내에 눈 위치 영역(20)을 인식한다. 이때, 눈이 있을 것으로 여겨지는 눈 위치 영역(20)은, 실제로 눈이 해당 위치에 정확하게 있지 않아도 되고, 반 정도나 1/3 정도만 걸쳐 있더라도 깜박임의 진동을 검출할 수 있다.

눈 깜박임 검출부(130)는 눈 위치 영역(20)내의 픽셀에 대한 프레임간의 픽셀값 차이(pixel difference)를 계산하여 제 1 진폭크기(amplitude)를 산출하고, 각 픽셀들의 제 1 진폭크기를 합산하여 총 진폭 크기값을 산출한다. 눈 깜박임 검출부(130)는 총 진폭 크기 값에 대해 눈 위치 영역(20) 내의 픽셀 개수로 나누어 평균값을 산출하며 이 평균값 X(t)의 산출식은 아래 수학식 1과 같다.

여기서 평균값 X(t)가 진폭 크기값이 되고, 모든 프레임에 평균값을 이용하여 시간축으로 나타낸 진동 파형이 블링크(Blink) 신호가 된다. N은 픽셀 개수이고 pixel difference는 픽셀값 차이를 의미한다.

이어, 눈 깜박임 검출부(130)는 산출한 평균값을 그래프로 나타내어 도 4와 같이 진동 파형을 생성한다. 도 4는 본 발명의 실시예에 따른 눈 위치 영역안의 점들에 대한 프레임간의 차이를 이용하여 산출되는 제 1 진폭크기(Amplitude)를 나타내는 그래프이다.

필터링부(140)는 눈 깜박임 검출부(130)로부터 출력되는 평균값 즉 블링크 신호를 필터링한다. 이때, 필터링부(140)는 FIR 필터를 이용한 LPF(low pass filter)를 구비할 수 있다.

졸음 판단부(150)는 눈 깜박임 검출부(130)의 출력인 블링크신호를 이용하여 사용자의 졸음 여부를 판단한다. 즉, 졸음 판단부(150)는 블링크 신호에 대한 제 2 진폭크기 및 눈 깜박임이 없는 시간을 이용하여 졸음 여부를 판단한다. 졸음 판단부(150)는 눈이 깜박거릴 때마다 발생되는 블링크 신호의 제 2 진폭크기를 검출해서 제 2 진폭크기가 일정 크기(예컨데, 0.09) 이상이면 깜박임이 없는 것으로 간주하고 일정 크기 미만이면 깜박임이 있는 것으로 간주한다.

졸음 판단부(150)는 필터링된 블링크신호로부터 제 2 진폭크기를 산출하여 깜박임이 없는 시간을 타이머로 계수하여 깜박임이 없는 시간이 제 1기준시간을 경과하면 경고를 알림하고, 깜박임이 없는 시간이 제 1 기준시간보다 더 긴 제 2 기준시간을 경과하면 위험을 알림한다.

이와 같이 본 발명은 눈 깜박임을 검출 시 눈 모양의 패턴 인식이 아닌 눈이 위치하는 영역을 지정하고 해당 위치의 진동을 감지하여 눈의 깜박임을 검출하는 것으로, 눈의 위치를 정확히 알아낼 필요가 없어 눈의 위치를 알아내기 위한 연산량 및 시간을 최소화할 수 있다.

이하, 도 3을 참조하여, 본 발명의 실시예에 따른 눈 위치영역 진동 감지에 의한 졸음 검출 방법을 나타내는 구체적으로 설명하기로 한다.

눈 위치 영역 인식부(120)는 얼굴 영상 획득부(110)에 의해 획득된 얼굴 영상에서 눈 위치 영역을 인식한다(S101).

눈 깜박임 검출부(130)는 눈 위치 영역에 대한 프레임간의 픽셀값 차이를 계산하여 제 1 진폭크기(amplitude)를 산출하고(S102), 프레임간 픽셀값 차이에 의한 제 1 진폭크기를 모두 합산한 후, 픽셀개수로 나누어 평균값을 산출한다(S103).

눈 깜박임 검출부(130)는 프레임별 제 1 진폭크기에 대한 평균값을 그래프로 나타내어 진동 파형 생성한다(S104).

상기 과정 S103~S104을 양안에 대해 모두 수행한 후, 양안의 평균값을 산출한다(S105). 이때 양안의 평균값에 의한 진동 파형으로부터 최종 블링크 신호가 된다.

필터링부(140)는 블링크신호를 필터링한다(S106).

졸음 판단부(150)는 필터링된 블링크 신호로부터 제 2 진폭 크기를 검출하여 제 2 진폭크기에 따라 눈 깜박임을 판단한다(S107). 졸음 판단부(150)는 깜박임이 없는 시간이 미리 정한 제 1 기준시간을 경과하면 경고 알림한다(S108).

졸음 판단부(150)는 깜박임이 없는 시간이 미리 정한 제 2 기준시간을 경과하면 위험 알림한다(S109).

도 5는 본 발명의 실시예에 따른 졸음 검출을 설명하기 위한 그래프이다.

도 5를 참조하면 블링크신호를 감지한 신호로부터 제 2 진폭크기가 0.9 이상이면 경고(A) 알림을 수행하고 제 2 진폭크기가 2 이상이되면 위험(B) 알림을 수행한다.

이와 같이, 본 발명은 얼굴인식을 통해 눈이 위치한다고 여겨지는 영역을 포괄적으로 지정하고, 진동 검출 기술로 눈의 깜박임을 검출하고 그 깜박임에 의해서 졸음을 검출할 수 있다.

이에 본 발명은 눈의 모양에 대해서 복잡하고 다양한 패턴인식 과정이 필요 없고, 눈의 위치를 포괄적으로 인식하여 눈의 위치를 정확하게 찾지 않아도 깜박임을 검출 할 수 있으므로 눈의 위치를 찾기 위한 연산량이 매우 적고 눈 위치에 대해서 잘못 인식할 확률이 거의 없다.

본 발명의 실시 예는 소형의 마이크로 프로세서에 의해 작동되는 임베디드 시스템에 알고리즘 탑재 후 차량에 장착하여 실제 운전자를 촬영하여 졸음을 걸출하는데 적용할 수 있다. 또한 운전하는 장면을 촬영하여 동영상으로 만든 뒤 저장 장치에 기억시킨 것을 컴퓨터에서 시뮬레이션 기법으로 눈의 깜박임을 감지하여 졸음을 검출 할 수 있다.

도 6은 본 발명의 실시예에 따른 눈 위치 영역 진동 감지에 의한 졸음 검출 기술을 적용한 컴퓨터 시스템의 구성도이다.

도 6을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.

예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 졸음 검출 장치
110 : 얼굴 영상 획득부
120 : 눈 위치 영역 인식부
130 : 눈 깜박임 검출부
140 : 필터링부
150 : 졸음 판단부

Claims

얼굴 영상으로부터 눈의 일부 또는 눈의 전부를 포함하는 눈 위치 영역을 인식하는 눈 위치 영역 인식부(120); 및
상기 눈 위치 영역에 대해 프레임별 제 1 진폭크기를 산출하여 상기 제 1 진폭크기를 이용하여 진동 파형을 생성하고 상기 진동파형으로부터 블링크신호를 검출하는 눈 깜박임 검출부(130); 및
상기 블링크신호에 대해 제 2 진폭크기를 산출하여 사용자의 졸음 여부를 판단하는 졸음 판단부(150)를 포함하고,
상기 블링크 신호의 제 2 진폭 크기가 일정 크기 이상이면 눈 깜박임이 없는 것으로 판단하고 상기 제 2 진폭크기가 일정크기 미만이면 눈 깜박임이 있는 것으로 판단하는 것을 특징으로 하는 눈 위치영역 진동 감지에 의한 졸음 검출 장치.
청구항 1에 있어서,
얼굴 영상을 획득하는 얼굴 영상 획득부(110)
를 더 포함하는 것을 특징으로 하는 눈 위치영역 진동 감지에 의한 졸음 검출 장치.
청구항 1에 있어서,
상기 눈 위치 영역 인식부(120)는,
상기 눈 위치 영역은 실제 눈의 절반 이상 또는 눈의 1/3 이상을 포함하는 것을 특징으로 하는 눈 위치영역 진동 감지에 의한 졸음 검출 장치.
청구항 1에 있어서,
상기 눈 깜박임 검출부(130)는,
상기 눈 위치 영역에 대한 프레임간 픽셀값 차이를 계산하여 상기 제 1 진폭 크기를 산출하고, 상기 제 1 진폭크기에 대한 평균값을 산출하여 프레임별 평균값을 그래프로 나타내어 진동 파형을 생성하는 것을 특징으로 하는 눈 위치영역 진동 감지에 의한 졸음 검출 장치.
삭제
삭제
삭제
청구항 4에 있어서,
상기 졸음 판단부(150)는,
상기 눈깜박임이 없는 시간이 미리 정한 제 1 기준시간 경과 시 경고상태로 판단하고, 상기 눈깜박임이 없는 시간이 상기 제 1 기준시간보다 큰 제 2 기준시간 경과 시 위험상태로 판단하는 것을 특징으로 하는 눈 위치영역 진동 감지에 의한 졸음 검출 장치.
얼굴 영상으로부터 눈의 일부 또는 전부를 포함하는 눈 위치 영역을 인식하는 단계;
상기 눈 위치 영역에 대해 프레임별 제 1 진폭크기를 산출하여 상기 제 1 진폭크기를 이용하여 진동 파형을 생성하고 상기 진동파형으로부터 블링크신호를 검출하는 단계; 및
상기 블링크신호에 대해 제 2 진폭크기를 산출하여 사용자의 졸음 여부를 판단하는 단계를 포함하고
상기 사용자의 졸음 여부를 판단하는 단계는,
상기 블링크 신호의 제 2 진폭 크기가 일정 크기 이상이면 눈 깜박임이 없는 것으로 판단하고 상기 제 2 진폭크기가 일정크기 미만이면 눈 깜박임이 있는 것으로 판단하는 것을 특징으로 하는 눈 위치영역 진동 감지에 의한 졸음 검출 방법.
청구항 9에 있어서,
상기 눈 위치 영역을 인식하는 단계는,
실제 눈의 절반 이상 또는 눈의 1/3 이상을 포함하는 영역을 상기 눈 위치 영역으로 인식하는 것을 특징으로 하는 눈 위치영역 진동 감지에 의한 졸음 검출 방법.
청구항 9에 있어서,
상기 진동파형으로부터 블링크신호를 검출하는 단계는,
상기 눈이 위치하는 영역에 대한 프레임간 픽셀값 차이를 계산하여 상기 제 1 진폭 크기를 산출하고, 상기 제 1 진폭크기에 대한 평균값을 산출하여 프레임별 평균값을 그래프로 나타내어 진동 파형을 생성하는 것을 특징으로 하는 눈 위치영역 진동 감지에 의한 졸음 검출 방법.