KR101692532B1

KR101692532B1 - 졸음운전 검출장치 및 방법

Info

Publication number: KR101692532B1
Application number: KR1020150061491A
Authority: KR
Inventors: 김영기
Original assignee: 주식회사 엔알피시스템
Priority date: 2015-04-30
Filing date: 2015-04-30
Publication date: 2017-01-18
Also published as: KR20160129984A

Abstract

졸음운전 검출 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 졸음운전 검출장치는, 자동차 핸들에 장착되어 운전자를 촬영하는 카메라; 얼굴인식기술을 이용하여 상기 카메라에서 출력되는 운전자 이미지 프레임들에서 각각 운전자의 얼굴을 인식하여 얼굴 프레임들을 출력하는 인식부; 및 상기 얼굴 프레임들에서 운전자의 눈과 눈 사이 부분의 위치변화 속도 및 코와 입 사이 부분의 위치변화 속도 중 적어도 하나를 이용하여 운전자의 졸음운전을 검출하는 검출부;를 포함한다.

Description

졸음운전 검출장치 및 방법{Drowsiness detection apparatus and method}

본 발명은 졸음운전 검출장치 및 방법에 관한 것으로, 더욱 자세하게는 자동차 핸들에 장착된 카메라에 의해 촬영된 운전자 모습에서 운전자의 얼굴을 인식하고 인식된 운전자의 얼굴에서 눈과 눈 사이 부분의 위치변화 및 코와 입 사이 부분의 위치변화를 측정하여 운전자의 졸음운전 여부를 정확히 검출하는 졸음운전 검출 장치 및 방법에 관한 것이다.

운전을 장시간 하게되면 자동차 운전자는 피로가 누적되어 졸음운전을 할 수 있다. 이러한 졸음운전은 무의식 운전 상태 이므로 운전자의 교통사고 발생 위험을 높이는 원인으로 작용한다.

이로 인해서 최근 졸음운전을 방지하기 위한 다양한 졸음운전 검출 기술들이 개시되고 있다. 그 중 대표적인 것으로, 운전자의 눈꺼풀 움직임 변화를 추적하여 졸음운전 여부를 검출하는 기술을 들 수 있다.

눈꺼풀 움직임 변화 추적을 통한 졸음운전 검출 기술은 운전자의 눈꺼풀이 눈동자를 덮힌 상태이면 졸음운전으로 판단하여 경고를 출력함으로써 운전자가 졸음운전을 하지 않도록 해주는 기술이다.

하지만 눈꺼풀의 움직임 변화 추적을 통한 졸음운전 검출 기술은 운전자가 눈을 뜨고 졸고 있는 상태인 경우, 즉 눈꺼풀이 눈동자를 완전히 덮지 않는 상태 지만 운전자가 졸음운전을 하는 상태이지만 이를 정상운전 상태로 판단하는 문제점을 발생한다.

본 발명과 관련된 선행문헌으로는 대한민국 공개특허 제10-1998-0038541호 (공개일 2000년 4월 15일)가 있다.

본 발명은 상술한 문제점을 해결하기 위해서 안출된 것으로, 본 발명의 기술적 과제는 자동차 핸들에 장착된 카메라로 촬영된 운전자 모습에서 운전자의 얼굴을 인식하고 인식한 운전자의 얼굴에서 눈과 눈 사이 부분의 위치변화 및 코와 입 사이 부분의 위치변화를 측정하여 운전자의 졸음운전 여부를 정확히 검출하는 졸음운전 검출 장치 및 방법을 제공하는데 있다.

또한 본 발명의 기술적 과제는 자동차 핸들의 회전시 자동차 핸들에 장착된 카메라에 의해 촬영된 운전자의 위치를 자동차 핸들의 회전되지 않은 상태에서 카메라에 의해 촬영된 운전자의 위치로 보정해주어 운전자의 졸음운전 여부를 정확히 검출하는 졸음운전 검출 장치 및 방법을 제공하는데 있다.

또한 본 발명의 기술적 과제는 운전자의 얼굴에서 눈과 눈 사이 부분의 위치변화 및 코와 입 사이 부분의 위치변화 정도에 따라 단계별로 졸음운전 경고를 달리하여 운전자에게 졸음운전을 방지하게 해주는 졸음운전 검출 장치 및 방법을 제공하는데 있다.

본 발명의 일 양상에 따른 졸음운전 검출 장치는, 자동차 핸들에 장착되어 운전자를 촬영하는 카메라; 얼굴인식기술을 이용하여 상기 카메라에서 출력되는 운전자 이미지 프레임들에서 각각 운전자의 얼굴을 인식하여 얼굴 프레임들을 출력하는 인식부; 및 상기 얼굴 프레임들에서 운전자의 눈과 눈 사이 부분의 위치변화 속도 및 코와 입 사이 부분의 위치변화 속도 중 적어도 하나를 이용하여 운전자의 졸음운전을 검출하는 검출부;를 포함한다.

상기 검출부는, 상기 눈과 눈 사이 부분의 위치변화에 따른 거리와 상기 인식부의 얼굴 프레임들 출력주기를 이용하여, 상기 눈과 눈 사이 부분의 위치변화 속도를 산출하고, 상기 코와 입 사이 부분의 위치변화에 따른 거리와 상기 얼굴 프레임들 출력주기를 이용하여, 상기 코와 입 사이 부분의 위치변화 속도를 산출하고, 상기 눈과 눈 사이 부분의 위치변화 속도 및 상기 코와 입 사이 부분의 위치변화 속도 중 적어도 어느 하나와 기 설정된 단계별 졸음운전 검출속도와 비교하여 운전자의 졸음운전을 검출할 수 있다.

상기 졸음운전 검출장치는, 상기 눈과 눈 사이 부분의 위치변화 속도 및 상기 코와 입 사이 부분의 위치변화 속도 중 적어도 어느 하나가 상기 단계별 졸음운전 검출속도를 넘어서는 경우 졸음운전 경고를 달리하여 상기 운전자에게 알려주는 알람부를 더 포함할 수 있다.

상기 졸음운전 검출장치는 상기 자동차 핸들의 회전각을 감지하는 센서부를 더 포함할 수 있으며, 상기 카메라는 상기 회전각만큼 기울어져 촬영된 운전자의 모습을 자동차 핸들의 회전되지 않은 상태에서 촬영된 운전자의 모습 위치로 보정해서 운전자의 이미지 프레임들을 출력할 수 있다.

본 발명의 다른 양상에 따른 졸음운전 검출 방법은, 자동차 핸들에 장착되어 운전자를 촬영하는 단계; 얼굴인식기술을 이용하여 상기 카메라에서 출력되는 운전자 이미지 프레임들에서 각각 운전자의 얼굴을 인식하여 얼굴 프레임들을 출력하는 단계; 및 상기 얼굴 프레임들에서 운전자의 눈과 눈 사이 부분의 위치변화 속도 및 코와 입 사이 부분의 위치변화 속도 중 적어도 하나를 이용하여 운전자의 졸음운전을 검출하는 단계;를 포함한다.

상기 졸음운전을 검출하는 단계는, 상기 눈과 눈 사이 부분의 위치변화에 따른 거리와 설정된 얼굴 프레임들 출력주기를 이용하여, 상기 눈과 눈 사이 부분의 위치변화 속도를 산출하는 단계; 상기 코와 입 사이 부분의 위치변화에 따른 거리와 상기 얼굴 프레임들 출력주기를 이용하여, 상기 코와 입 사이 부분의 위치변화 속도를 산출하는 단계; 상기 눈과 눈 사이 부분의 위치변화 속도 및 상기 코와 입 사이 부분의 위치변화 속도 중 적어도 어느 하나와 기 설정된 단계별 졸음운전 검출속도와 비교하여 운전자의 졸음운전을 검출하는 단계를 포함할 수 있다.

상기 졸음운전 검출 방법은, 상기 눈과 눈 사이 부분의 위치변화 속도 및 상기 코와 입 사이 부분의 위치변화 속도 중 적어도 어느 하나가 상기 단계별 졸음운전 검출속도를 넘어서는 경우 졸음운전 경고를 달리하여 상기 운전자에게 알려주는 단계를 더 포함할 수 있다.

상기 졸음운전 검출 방법은, 상기 자동차 핸들의 회전각을 감지하는 단계를 더 포함할 수 있으며, 상기 카메라는 상기 회전각만큼 기울어져 촬영된 운전자의 모습을 자동차 핸들의 회전되지 않은 상태에서 촬영된 운전자의 모습 위치로 보정해서 운전자의 이미지 프레임들을 출력할 수 있다.

본 발명의 실시예에 따른 졸음운전 검출 장치 및 방법에 따르면, 운전자의 얼굴에서 눈과 눈 사이 부분의 위치변화 및 코와 입 사이 부분의 위치변화를 측정함으로써, 눈을 뜬 상태로 이루어지는 운전자의 졸음운전 여부를 정확히 검출할 수 있다.

또한 자동차 핸들의 회전시 자동차 핸들에 장착된 카메라에 의해 촬영된 운전자의 위치를 자동차 핸들의 회전되지 않은 상태에서 카메라에 의해 촬영된 운전자의 위치로 보정해 줌으로써, 핸들이 회전된 상황에서도 운전자의 졸음운전을 정확하게 검출할 수 있다.

또한 운전자의 얼굴에서 눈과 눈 사이 부분의 위치변화 및 코와 입 사이 부분의 위치변화 정도에 따라 졸음운전 경고 알람을 단계별로 출력함으로써, 졸음이 깬 찰나에 다시 졸음운전에 빠지는 상황을 미연에 방지하여 교통사고를 사전에 예방할 수 있다.

도 1은 본 발명의 실시예에 따른 졸음운전 검출 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 졸음운전 검출 장치의 실제 구현도이다.
도 3은 본 발명의 실시예에 따른 졸음운전 검출을 위한 얼굴 프레임들을 예시한 도면이다.
도 4는 본 발명의 실시예에 따른 졸음운전 검출 방법에 대한 플로우 차트이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　

본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.　

본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다.

또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는"포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.

본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.　

본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역 및/또는 부위들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부위들은 이들 용어에 의해 한정되어서는 안됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역 또는 부위를 다른 부재, 영역 또는 부위와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역 또는 부위는 본 발명의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역 또는 부위를 지칭할 수 있다.

이하, 본 발명의 실시예들은 본 발명의 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다.

따라서, 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.

도 1은 본 발명의 실시예에 따른 졸음운전 검출 장치의 구성도이다.

도 1을 참조하면 졸음운전 검출 장치(100)는 카메라(101), 인식부(103) 및 검출부(105)를 포함한다.

카메라(101)는 자동차 핸들(140)에 장착되어 운전자를 촬영하여 운전자 이미지 프레임들을 출력한다. 이때 카메라(101)는 자동차 핸들(140)의 클락션 상단에 장착될 수 있는데, 이의 장착 위치에 한정되지 않는다. 카메라(101)가 자동차 핸들(140)의 클락션 상단에 장착되는 모습이 도 2에 예시되어 있다.

그리고 카메라(101)에서 출력되는 운전자 이미지 프레임들의 수는 초당 30프레임 일 수 있으나 이에 한정 되지 않는다.

인식부(103)는 얼굴인식 기술을 이용하여 상기 카메라에서 출력되는 운전자 이미지 프레임들에서 각각 운전자의 얼굴을 인식하여 얼굴 프레임들을 출력한다. 인식부(103)는 얼굴 프레임들 출력주기(T)마다 얼굴 프레임들을 출력할 수 있으며, 상기 얼굴 프레임들 출력주기(T)는 1초일 수 있으나 이에 국한되지 않는다.

이때 상기 얼굴인식 기술은 PCA(Principal Component Analysis)기법을 이용할 수 있다.

일 실시예에 있어서 검출부(105)는 상기 얼굴 프레임들에서 운전자의 눈과 눈 사이 부분의 위치변화 속도 및 코와 입 사이 부분의 위치변화 속도 중 적어도 하나를 이용한다.

검출부(105)는 인식부(103)에서 출력되는 얼굴 프레임들에서 눈과 눈 사이 부분의 위치변화에 따른 거리(S1)와 상기 얼굴 프레임들 출력주기(T)를 이용하여, 상기 눈과 눈 사이 부분의 위치변화 속도(V1)를 산출하고, 상기 코와 입 사이 부분의 위치변화에 따른 거리(S2)와 상기 얼굴 프레임들 출력주기(T)를 이용하여, 상기 코와 입 사이 부분의 위치변화 속도(V2)를 산출하고, 상기 눈과 눈 사이 부분의 위치변화 속도(V1) 및 상기 코와 입 사이 부분의 위치변화 속도(V2)중 적어도 어느 하나와 기 설정된 단계별 졸음운전 검출속도와 비교하여 운전자의 졸음운전을 검출할 수 있다. 이때 상기 눈과 눈 사이 부분의 위치변화 속도(V1), 코와 입 사이 부분의 위치변화 속도(V2) 중 적어도 하나를 산출하는 이유는 운전자가 눈을 뜨고 있지만 실제로 조는 상태로 고개가 좌우로 흔들리거나 위아래로 흔들리는 상황 등에서 이루어지는 졸음운전을 정확히 검출하기 위해서이다.

본 발명의 실시예에 따른 졸음운전 검출 장치(100)는 알람부(107)를 더 포함할 수 있다.

알람부(107)는 상기 눈과 눈 사이 부분의 위치변화 속도(V1) 및 상기 코와 입 사이 부분의 위치변화 속도(V2)중 적어도 어느 하나가 상기 단계별 졸음운전 검출속도를 넘어서는 경우 졸음운전 경고를 달리하여 상기 운전자에게 알려줄 수 있다.

상기 기 설정된 단계별 졸음운전 검출속도는 3단계로 구성될 수 있으며, 일실시예로 1단계 졸음운전 검출속도 0.5~3 m/s, 2단계 졸음운전 검출속도 4~6 m/s, 3단계 졸음운전 검출속도 7~10 m/s 일 수 있는데 이에 한정되지 않는다.

상기 단계별 졸음운전 검출속도를 단계별로 졸음운전 경고를 달리하여 출력하는 이유는 졸음이 깬 찰나에 다시 졸음운전에 빠지는 상황을 미연에 방지하여 교통사고를 사전에 예방하기 위해서이다.

이하 알람부(107)의 동작에 대해서 살펴보기로 한다.

실시예로 상기 눈과 눈 사이 부분의 위치변화 속도(V1)가 1 m/s, 코와 입 사이 부분의 위치변화 속도(V2)가 0.66 m/s 이면 상기 눈과 눈 사이 부분의 위치변화 속도(V1), 코와 입 사이 부분의 위치변화 속도(V2)는 상기 1단계 졸음운전 검출속도 0.5~3 m/s 내에 해당 되기 때문에 알람부(107)는 졸음운전 1단계로 판단하고 경고음을 상기 카메라에 구비된 스피커(미도시)로 송출할 수 있다.

상기 눈과 눈 사이 부분의 위치변화 속도(V1)가 5 m/s, 코와 입 사이 부분의 위치변화 속도(V2)가 4 m/s 이면 상기 2단계 졸음운전 검출속도 4~6 m/s 내에 해당 되기 때문에 알람부(107)는 졸음운전 2단계로 판단 후 상기 운전자의 스마트폰(200)에 미리 설치된 어플리케이션을 구동시키는 명령이 포함된 신호를 블루투스 또는 WiFi 무선기술을 이용하여 상기 스마트폰으로 전송하고 상기 신호를 수신받은 스마트폰(200)은 어플리케이션을 구동시켜 졸음운전 2단계 경보음 또는 노래를 출력할 수 있다.

상기 눈과 눈 사이 부분의 위치변화 속도(V1)가 7m/s, 코와 입 사이 부분의 위치변화 속도(V2)가 8 m/s 가 되면 상기 3단계 졸음운전 검출속도 7~10 m/s 내에 해당 되기 때문에 알람부(107)는 졸음운전 3단계로 판단 후 상기 운전자의 스마트폰(200)에 미리 설치된 어플리케이션을 구동시키는 명령이 포함된 신호를 블루투스 또는 WiFi 무선기술을 이용하여 상기 스마트폰으로 전송하고 상기 무선신호를 수신받은 스마트폰은 어플리케이션을 구동시켜 콜센터 교환원의 단말기(300)로 전화를 발신할 수 있다.

즉 졸음운전 단계별로 1단계 경고음, 2단계 경보음 또는 노래 재생, 3단계 콜센터 교환원의 단말기로 전화 발신하는, 총 3 단계의 경고를 달리하여 출력함으로써, 졸음이 깬 찰나에 다시 졸음운전에 빠지는 상황을 미연에 방지하여 교통사고를 사전에 예방할 수 있다.

본 발명의 일시예에 따른 졸음운전 검출 장치(100)는 자동차 핸들(140)의 회전각을 감지하는 센서부(109)를 더 포함할 수 있다. 이러한 센서부(109)는 3축 자이로 센서를 이용하여 구현될 수 있으며, 카메라(101) 내부 또는 자동차 핸들(140)에 구비될 수 있으나 이에 한정되지 않는다.

이렇게 센서부(109)를 통해서 자동차 핸들(140)의 회전각을 감지하는 이유는 자동차 핸들(140) 회전시 핸들(140)의 회전각만큼 기울어진 운전자의 영상이 카메라(101)에서 촬영되므로 상기 회전각만큼의 각도를 보정해주기 위해서이다.

따라서 카메라(101)는 상기 회전각만큼 기울어져 촬영된 운전자의 모습을 자동차 핸들(140)의 회전되지 않은 상태에서 촬영된 운전자의 모습 위치로 보정해서 운전자의 이미지 프레임들을 출력할 수 있다. 이에 따라서 검출부(105)는 핸들(140)이 회전된 상황에서도 운전자의 졸음운전을 정확하게 검출할 수 있다.

도 2는 본 발명의 실시예에 따른 졸음운전 검출 장치의 실제 구현도이다.

도 2를 참조하면, 본 발명의 실시예에 따른 졸음운전 검출장치(100)는 자동차 핸들(140)에 장착된 카메라(150), 스마트폰(200), 콜센터 교환원의 단말기(300)를 통해 구현될 수 있다.

일 실시예로 도 1의 카메라(101)는 도 2의 카메라(150)로 구현되며, 인식부(103), 검출부(105), 알람부(107)는 스마트폰(200) 상에서 H/W 또는 S/W로 구현되거나 H/W 및 S/W를 혼용하여 구현될 수 있다. 센서부(109)는 카메라 내부 또는 자동차 핸들(140)에 구비될 수 있다.

다른 실시예로, 카메라(101)는 도 2의 카메라(150)로 구현될 수 있으며, 인식부(103), 검출부(105), 알람부(107), 센서부(109)도 카메라(101) 내부에 H/W 또는 S/W로 구현되거나 H/W 및 S/W를 혼용하여 구현될 수 있다.

도 3은 본 발명의 실시예에 따른 졸음운전 검출을 위한 얼굴 프레임들을 예시한 도면이다.

도 3을 참조하면 인식부(103)에서 출력된 2개의 운전자 얼굴 프레임들(400,500)이 예시되어 있다.

얼굴 프레임들(400,500)은 단위 크기의 격자들로 분할되고 이때 격자의 크기는 가로, 세로 1cm가 될 수 있으나 이에 한정되지 않고 상기 가로, 세로의 길이를 1cm 보다 크게 또는 작게 할 수도 있다.

검출부(105)는 인식부(103)의 t 시점에서 출력된 얼굴 프레임(400)과 t+n 시점(

, m은

)에서 출력된 얼굴 프레임(500) 간의 눈과 눈 사이 부분의 위치변화에 따른 거리(S1), 코와 입 사이 부분의 위치변화에 따른 거리(S2)와 얼굴 프레임들(400,500)의 출력주기(T)를 이용하여, 상기 눈과 눈 사이 부분의 위치변화 속도(V1), 코와 입 사이 부분의 위치변화 속도(V2)를 산출할 수 있다.

수식으로 상기 위치변화 속도(V1),(V2)를 구하는 과정을 설명하면, 눈과 눈사이의 위치변화에 따른 거리(S1)가 3cm 즉 0.03m , 코와 입사이의 위치변화에 따른 거리(S2)가 2cm 즉 0.02m이면 얼굴 프레임들의 출력주기(T)는 예를 들어 초당 입력되는 얼굴 프레임 수 30을 기준으로 0.03 s 일 수 있다.

따라서 눈과 눈사이의 위치변화 속도(V1), 코와 입사이의 위치변화 속도(V2)는

수식을 이용하여 속도를 산출하면 눈과 눈 사이 부분의 위치변화 속도(V1)는 1 m/s, 코와 입 사이 부분의 위치변화 속도(V2)는 0.66 m/s 가 된다.

이후, 눈과 눈 사이 부분의 위치변화 속도(V1) 및 코와 입 사이 부분의 위치변화 속도(V2) 중 적어도 어느 하나와 기 설정된 단계별 졸음운전 검출속도와 비교하고 알람부(107)는 상기 단계별 졸음운전 검출속도를 넘어서는 경우 졸음운전 경고를 달리하여 상기 운전자에게 알려준다.

상술한 바와 같이 상기 기 설정된 단계별 졸음운전 검출속도는 3단계로 구성될 수 있으며, 일실시예로 1단계 졸음운전 검출속도 0.5~3[m/s] , 2단계 졸음운전 검출속도 4~6[m/s], 3단계 졸음운전 검출속도 7~10[m/s] 일 수 있는데 이에 한정되지 않는다. 상기 단계별 졸음운전 검출속도를 단계별로 졸음운전 경고를 달리하여 출력하는 이유는 졸음이 깬 찰나에 다시 졸음운전에 빠지는 상황을 미연에 방지하여 교통사고를 사전에 예방하기 위해서이다.

도 4는 본 발명의 실시예에 따른 졸음운전 검출 방법에 대한 플로우 차트이다.

도 4에 도시된 졸음운전 검출 방법은 도 1에 도시된 졸음운전 검출 장치를 통해서 수행 될 수 있다.

카메라(101)는 자동차 핸들(140)에 장착되어 운전자를 촬영한다(S601). 이때, 카메라(101)는 자동차 핸들에 장착되어 일정 회전각만큼 기울어진 경우 촬영된 운전자의 모습을 자동차 핸들(140)의 회전되지 않은 상태에서 촬영된 운전자의 모습 위치로 보정해서 운전자의 이미지 프레임들을 출력할 수 있다.

인식부(103)는 얼굴인식기술을 이용하여 카메라(101)에서 출력되는 운전자 이미지 프레임들에서 각각 운전자의 얼굴을 인식하여 얼굴 프레임들(400,500)을 출력한다(S602).

검출부(105)는 얼굴 프레임들(400, 500)에서 운전자의 눈과 눈 사이 부분의 위치변화 속도 및 코와 입 사이 부분의 위치변화 속도 중 적어도 하나를 이용하여 운전자의 졸음운전을 검출한다(S603).

즉 검출부(105)는 얼굴 프레임들(400, 500)에서 눈과 눈 사이 부분의 위치변화에 따른 거리(S1)와 설정된 얼굴 프레임들 출력주기(T)를 이용하여, 상기 눈과 눈 사이 부분의 위치변화 속도(V1)를 산출하고, 상기 코와 입 사이 부분의 위치변화에 따른 거리(S2)와 상기 얼굴 프레임들 출력주기(T)를 이용하여, 상기 코와 입 사이 부분의 위치변화 속도(V2)를 산출한다. 이후 검출부(105)는 상기 눈과 눈 사이 부분의 위치변화 속도(V1) 및 상기 코와 입 사이 부분의 위치변화 속도(V2) 중 적어도 어느 하나와 기 설정된 단계별 졸음운전 검출속도와 비교하여 운전자의 졸음운전을 검출한다.

이후 알람부(107)는 상기 눈과 눈 사이 부분의 위치변화 속도(V1) 및 상기 코와 입 사이 부분의 위치변화 속도(V2) 중 적어도 어느 하나가 상기 단계별 졸음운전 검출속도를 넘어서는 경우 졸음운전 경고를 달리하여 상기 운전자에게 알려줄 수 있다.

본 발명의 실시예에 따른 졸음운전 검출방법은 자동차 핸들에 장착된 센서부(109)를 이용하여 자동차 핸들의 회전각을 감지할 수 있다. 이를 수행하는 이유는 자동차 핸들(140) 회전시 핸들(140)의 회전각만큼 기울어진 운전자의 영상이 카메라(101)에서 촬영되므로 상기 회전각만큼의 각도를 보정해주기 위해서이다.

이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

101 : 카메라 103 : 인식부
105 : 검출부 107 : 알람부
109 : 센서부

Claims

자동차 핸들에 장착되어 운전자를 촬영하는 카메라;
얼굴인식기술을 이용하여 상기 카메라에서 출력되는 운전자 이미지 프레임들에서 각각 운전자의 얼굴을 인식하여 얼굴 프레임들을 출력하는 인식부; 및
운전자가 눈을 뜨고 있지만 실제로 조는 상태로 고개가 좌우로 흔들리거나 위아래로 흔들리는 상황 등에서 이루어지는 졸음운전을 정확하게 검출하기 위해서,상기 얼굴 프레임들에서 운전자의 눈과 눈 사이 부분의 위치변화 속도 및 코와 입 사이 부분의 위치변화 속도를 동시에 고려하여 운전자의 졸음운전을 검출하는 검출부;를 포함하는 졸음운전 검출 장치.
제1항에 있어서,
상기 검출부는,
상기 눈과 눈 사이 부분의 위치변화에 따른 거리와 상기 인식부의 얼굴 프레임들 출력주기를 이용하여, 상기 눈과 눈 사이 부분의 위치변화 속도를 산출하고,
상기 코와 입 사이 부분의 위치변화에 따른 거리와 상기 얼굴 프레임들 출력주기를 이용하여, 상기 코와 입 사이 부분의 위치변화 속도를 산출하고,
상기 눈과 눈 사이 부분의 위치변화 속도 및 상기 코와 입 사이 부분의 위치변화 속도를 기 설정된 단계별 졸음운전 검출속도와 비교하여 운전자의 졸음운전을 검출하는, 졸음운전 검출 장치.
제2항에 있어서,
상기 눈과 눈 사이 부분의 위치변화 속도 및 상기 코와 입 사이 부분의 위치변화 속도가 상기 단계별 졸음운전 검출속도를 넘어서는 경우 단계별 졸음운전 검출속도의 각 단계별로 졸음운전 경고를 달리하여 상기 운전자에게 알려주는 알람부를 더 포함하는 졸음운전 검출 장치.
제1항에 있어서,
상기 자동차 핸들의 회전각을 감지하는 센서부를 더 포함하며,
상기 카메라는 상기 회전각만큼 기울어져 촬영된 운전자의 모습을 자동차 핸들의 회전되지 않은 상태에서 촬영된 운전자의 모습 위치로 보정해서 운전자의 이미지 프레임들을 출력하는 것을 특징으로 하는 졸음운전 검출 장치.
자동차 핸들에 장착된 카메라를 이용하여 운전자를 촬영하는 단계;
얼굴인식기술을 이용하여 상기 카메라에서 출력되는 운전자 이미지 프레임들에서 각각 운전자의 얼굴을 인식하여 얼굴 프레임들을 출력하는 단계; 및
운전자가 눈을 뜨고 있지만 실제로 조는 상태로 고개가 좌우로 흔들리거나 위아래로 흔들리는 상황 등에서 이루어지는 졸음운전을 정확하게 검출하기 위해서,상기 얼굴 프레임들에서 운전자의 눈과 눈 사이 부분의 위치변화 속도 및 코와 입 사이 부분의 위치변화 속도를 동시에 고려하여 운전자의 졸음운전을 검출하는 단계;를 포함하는 졸음운전 검출 방법.
제5항에 있어서,
상기 졸음운전을 검출하는 단계는,
상기 눈과 눈 사이 부분의 위치변화에 따른 거리와 상기 얼굴 프레임들 출력주기를 이용하여, 상기 눈과 눈 사이 부분의 위치변화 속도를 산출하는 단계,
상기 코와 입 사이 부분의 위치변화에 따른 거리와 상기 얼굴 프레임들 출력주기를 이용하여, 상기 코와 입 사이 부분의 위치변화 속도를 산출하는 단계,
상기 눈과 눈 사이 부분의 위치변화 속도 및 상기 코와 입 사이 부분의 위치변화 속도를 기 설정된 단계별 졸음운전 검출속도와 비교하여 운전자의 졸음운전을 검출하는 단계를 포함하는 졸음운전 검출 방법.
제6항에 있어서,
상기 눈과 눈 사이 부분의 위치변화 속도 및 상기 코와 입 사이 부분의 위치변화 속도가 상기 단계별 졸음운전 검출속도를 넘어서는 경우 단계별 졸음운전 검출속도의 각 단계별로 졸음운전 경고를 달리하여 상기 운전자에게 알려주는 단계를 더 포함하는 졸음운전 검출 방법.
제5항에 있어서,
상기 자동차 핸들의 회전각을 감지하는 단계를 더 포함하며,
상기 카메라는 상기 회전각만큼 기울어져 촬영된 운전자의 모습을 자동차 핸들의 회전되지 않은 상태에서 촬영된 운전자의 모습 위치로 보정해서 운전자의 이미지 프레임들을 출력하는 졸음운전 검출 방법.