KR101487802B1

KR101487802B1 - 졸음 검출 장치

Info

Publication number: KR101487802B1
Application number: KR20130061703A
Authority: KR
Inventors: 여태운
Original assignee: 여태운; 주식회사 에스엔케이테크놀러지스
Priority date: 2013-05-30
Filing date: 2013-05-30
Publication date: 2015-02-05
Also published as: KR20140140826A

Abstract

본 발명은 졸음 검출 장치에 있어서, 특히 차량 내 운전자의 졸음 운전 여부를 판단하기 위한 졸음 검출 장치에 관한 것으로, 펄스형 광을 방사하는 발광부와, 상기 발광부가 방사하는 펄스형 광의 발광 주기에 기준하여 운전자의 얼굴 영상을 주기적으로 촬영하는 카메라와, 상기 펄스형 광의 발광 주기에 따라 상기 펄스형 광이 발광된 시에 상기 카메라를 통해 촬영된 액티브 영상프레임과 상기 펄스형 광이 배제된 시에 상기 카메라를 통해 촬영된 패시브 영상프레임을 사용하여 상기 운전자의 졸음 여부를 판별하는 제어부를 포함하여 구성되어, 눈의 상태를 검출하기 이전에 외부 환경 변화에 따른 노이즈를 미리 제거하여 운전자의 졸음 상태를 검출하는데 성공률을 현저히 높일 수 있으며, 눈의 상태를 검출하기 위한 영상 처리 범위를 미리 설정하고 또한 그 영상 처리 범위가 최소화되어 영상 처리를 위한 부담이 없게 해주는 발명이다.

Description

졸음 검출 장치{Apparatus for detecting sleepiness}

본 발명은 졸음 검출 장치에 관한 것으로, 특히 차량 내 운전자의 졸음 운전 여부를 판단하기 위한 졸음 검출 장치에 관한 것이다.

최근 음주 운전, 졸음 운전, 운전 중 휴대폰 사용 등에 의한 사고가 급증하면서 그들의 예방을 위한 많은 제도적 방안들이 모색되고 있다.

특히 졸음 운전의 사고율이 급격히 증가하면서 그에 대한 경각심을 일깨우고자 법률적으로 처벌을 강화하는 등의 예방책들이 나오고는 있으나 운전자의 인식 부족으로 인해 개선 효과가 미비한 실정이다.

이러한 제도적 방안과 더불어 졸음 운전을 방지하기 위한 기술도 발전하고 있는데, 뇌파 감지 기술이나 신체의 온도나 맥박 감지 기술이나 피부의 임피던스 감지 기술 등의 생체 인식 기술에 기반하여 운전자의 졸음 여부를 감지하고, 그 감지 결과에 따라 운전자에게 경고를 해주는 기술들이 소개되고 있다.

그러나, 현재까지의 기술들 대부분은 운전자의 졸음 여부를 감지하기 위해 운전자의 인체에 특정 감지수단을 부착하는 방식이거나 운전자가 직접적으로 특정 감지수단에 접촉된 상태에서만 감지되는 방식이어서 운전자의 운전을 방해하는 부작용을 초래하고 있으며, 감지수단이 대부분 고가 장비여서 실효성에 대한 문제가 많이 있었다.

또한, 보다 발전된 기술로는 운전자의 접촉 없이 카메라를 통해 입력되는 운전자의 영상을 분석하여 운전자의 상태 즉, 눈이 감긴 상태나 입이 하품하는 상태를 감지하는 기술이 소개되었다.

그러나, 이러한 기술들은 외부 환경 변화에 의해 감지 성공률이 현저히 떨어지는 경우가 발생한다. 즉, 카메라의 촬영 조건(조리개나 셔터속도 등)을 동일하게 설정한 상태에서 촬영된 영상은 밤과 낮의 광도 차이에 의한 변수를 고려하지 않은 것이어서 그 영상으로부터 운전자의 상태를 정확히 파악하기란 쉽지 않다. 또한, 촬영된 영상으로부터 운전자의 상태를 정밀하게 검출하기 위해서는 해상도를 고려해야 하는데, 고해상도 영상을 전체적으로 처리하는데 부담이 크기 때문에 고속 영상 처리가 불가능하다.

본 발명의 상기한 점들을 감안하여 안출한 것으로, 특히 운전자의 눈 상태를 감지하여 졸음 여부를 검출하는 졸음 검출 장치를 제공하는 데 있다.

본 발명의 다른 목적은, 외부 환경 변화에 무관하게 카메라를 통해 촬영된 영상으로부터 운전자의 졸음 상태를 보다 정확하게 파악할 수 있도록 해주는 졸음 검출 장치를 제공하는 데 있다.

본 발명의 또다른 목적은, 운전자의 눈의 상태를 감지하는 데 있어서 눈이 위치하는 영역으로 영상 처리 범위를 최소화하여 고속으로 졸음 여부를 검출해 주는 졸음 검출 장치를 제공하는 데 있다.

상기한 목적들을 달성하기 위한 본 발명에 따른 졸음 검출 장치의 특징은, 펄스형 광을 방사하는 발광부와, 상기 발광부가 방사하는 펄스형 광의 발광 주기에 기준하여 운전자의 얼굴 영상을 주기적으로 촬영하는 카메라와, 상기 펄스형 광의 발광 주기에 따라 상기 펄스형 광이 발광된 시에 상기 카메라를 통해 촬영된 액티브 영상프레임과 상기 펄스형 광이 배제된 시에 상기 카메라를 통해 촬영된 패시브 영상프레임을 사용하여 상기 운전자의 졸음 여부를 판별하는 제어부를 포함하여 구성되는 것이다.

바람직하게, 상기 카메라의 촬영 범위를 상기 운전자의 얼굴로 조정하도록, 상기 카메라에 의해 촬영된 영상프레임을 실시간 출력하는 디스플레이부를 더 구비할 수 있다.

바람직하게, 상기 발광부는 상기 카메라의 촬영 범위가 상기 운전자의 얼굴로 조정하도록, 상기 카메라의 촬영 방향과 일치되게 적색 광을 방사하는 발광소자를 더 구비할 수 있다.

바람직하게, 상기 제어부를 통해 상기 운전자가 졸음 상태로 판별됨에 따라 청각적 또는 시각적으로 인식 가능한 경보신호를 출력하는 경보부를 더 포함할 수 있다.

바람직하게, 상기 제어부는 상기 발광부와 상기 카메라 간의 패럴럭스(parallax)가 조절되면서 상기 카메라를 통해 촬영되는 영상프레임에 기준하여 상기 졸음 검출 장치의 정상 작동 여부를 검사할 수 있다.

바람직하게, 상기 제어부는 상기 액티브 영상프레임과 상기 패시브 영상프레임의 비교를 통해 외부 광에 의한 노이즈를 제거하고, 상기 노이즈가 제거된 영상에서 상기 운전자의 얼굴 영역을 설정하고, 상기 설정된 얼굴 영역에서 눈 영역을 검출하고, 상기 검출된 눈 영역에 대한 영상 처리를 통해 눈동자를 검출하고, 상기 검출되는 눈동자의 패턴에 따라 상기 운전자의 졸음 여부를 판별할 수 있다.

보다 바람직하게, 상기 제어부는 상기 설정된 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 상기 눈 영역을 검출할 수 있다.

보다 바람직하게, 상기 제어부는 상기 설정된 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 하나의 예비 영상을 추출하고, 상기 추출된 예비 영상에서 확산 반사 값이 최대인 지점을 기준영역으로 설정하고, 상기 설정된 기준영역으로부터 추정되는 눈의 위치특성을 사용하여 상기 눈 영역을 검출할 수 있다. 특히, 상기 제어부는 상기 확산 반사 값이 최대인 지점을 기준영역으로 설정할 시에, 상기 운전자의 코를 상기 기준영역으로 판정하고, 상기 운전자의 눈이 상기 코에 근접하면서 상기 코의 상부에 위치하는 상기 눈의 위치특성에 기준하여 상기 눈 영역을 검출할 수 있으며, 상기 제어부는 상기 눈동자로 예상되는 후보점들 중 두 후보점 간의 수평거리와, 상기 후보점들 중 두 후보점이 이루는 선분의 기울기를 상기 눈의 위치특성으로 더 설정하여 상기 눈 영역을 검출할 수 있다.

보다 바람직하게, 상기 제어부는 상기 검출되는 눈동자의 패턴을 미리 설정된 졸음 판별 패턴과 비교하여 상기 졸음 여부를 판별하되, 정해진 시간 내에 상기 눈동자가 검출되는 회수와 상기 눈동자가 검출되는 주기와 상기 눈동자가 검출되는 시간 간격 중 적어도 하나를 조합하여 설정되는 상기 졸음 판별 패턴을 미리 저장할 수 있다.

바람직하게, 상기 제어부는 상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시에 상기 카메라의 노출 값과 상기 발광부의 펄스형 광 세기를 설정할 수 있다.

보다 바람직하게, 상기 제어부는 외부 광의 세기에 따라 상기 카메라의 노출 값을 조절할 수 있다.

바람직하게, 상기 제어부는 상기 펄스형 광의 발광 주기를 제어하고, 상기 카메라가 상기 발광 주기에 동기되어 상기 액티브 영상프레임과 상기 패시브 영상프레임을 교대로 촬영하도록 제어할 수 있다.

바람직하게, 상기 제어부는 상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시에 상기 카메라의 노출 값과 상기 발광부의 펄스형 광의 세기 값이 서로 다르게 설정된 복수 개의 모드들로 상기 카메라와 상기 발광부를 제어할 수 있다.

보다 바람직하게, 상기 복수 개의 모드들은 상기 카메라의 노출 값과 상기 발광부의 펄스형 광의 세기 값이 초기 설정되는 디폴트 모드와, 상기 디폴트 모드의 초기 설정 값에 비해 상기 노출 값과 상기 광의 세기 값이 일정 수준 조정되는 적어도 하나의 변경 모드를 포함할 수 있다.

본 발명에서는 눈의 상태를 검출하기 이전에 외부 환경 변화에 따른 노이즈를 미리 제거하여 운전자의 졸음 상태를 검출하는데 성공률을 현저히 높일 수 있다.

또한, 눈의 상태를 검출하기 위한 영상 처리 범위를 미리 설정하고, 또한 그 영상 처리 범위가 최소화되어 영상 처리를 위한 부담이 없다. 그에 따라, 보다 고속으로 졸음 여부를 검출할 수 있다. 이는 졸음 여부를 판별하기 위한 시간적 간격을 최소화할 수 있으므로, 고속 운전 중인 운전자에게 보다 빠른 주기로 졸음에 대해 반응하여 경고해 줄 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 졸음 검출 장치의 구성을 나타낸 다이어그램;
도 2는 본 발명의 일 실시 예에 따른 졸음 검출 장치에서 카메라와 발광부의 일 구성 예를 나타낸 다이어그램;
도 3은 본 발명의 다른 실시 예에 따른 졸음 검출 장치에서 카메라와 발광부의 다른 구성 예를 나타낸 다이어그램;
도 4는 본 발명에서 카메라에 의해 촬영된 액티브 영상프레임의 일 예를 나타낸 다이어그램;
도 5는 본 발명에서 카메라에 의해 촬영된 패시브 영상프레임의 일 예를 나타낸 다이어그램; 및
도 6은 본 발명에서 윈도우 필터링을 통해 추출되는 예비 영상의 일 예를 나타낸 도면이다.

본 발명의 다른 목적, 특징 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 졸음 검출 장치의 바람직한 실시 예를 자세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 졸음 검출 장치의 구성을 나타낸 블록다이어그램이다.

도 1을 참조하면, 본 발명의 장치는 발광부(10)와 카메라(20)와 제어부(30)로 크게 구성된다. 또한 디스플레이부(40)와 경보구(50)를 더 포함한다.

발광부(10)는 펄스형 광을 방사한다. 특히, 발광부(10)는 펄스형 광을 주기적으로 방사하며, 그 방사 주기는 제어부(30)에 의해 제어된다.

발광부(10)는 펄스형 광을 방사하는 다수 개의 LED 발광소자(12)를 구비하며, 카메라(20)의 촬영 범위가 운전자의 얼굴로 조정되도록 발산 각이 작은 적색 광을 방사하는 발광소자(14)를 더 구비할 수 있다. 도 2는 본 발명의 일 실시 예에 따른 졸음 검출 장치에서 카메라(20)와 발광부(10)의 일 구성 예를 나타낸 다이어그램으로, 발광부(10)가 등간격으로 배치되는 6개의 LED 발광소자(12)를 구비하는 예이다. 또한, 도 3은 본 발명의 다른 실시 예에 따른 졸음 검출 장치에서 카메라와 발광부의 다른 구성 예를 나타낸 다이어그램으로, 발광부(10)가 8개의 LED 발광소자(12)와 하나의 적색 광 발광소자(14)를 구비하면서 그 발광소자들(12,14)이 등간격으로 배치되는 예이다.

특히, 펄스형 광을 방사하는 발광소자(12)는 짧은 시간에 높은 출력의 광원을 방사하며, 적색 광을 방사하는 발광소자(14)는 카메라(20)의 촬영 방향과 일치되게 적색 광을 방사하는 것이 바람직하다.

카메라(20)는 발광부(10)가 방사하는 펄스형 광의 발광 주기에 기준하여 운전자의 얼굴 영상을 주기적으로 촬영한다. 카메라(20)는 영상 처리 속도를 고려하여 흑백 카메라를 사용하는 것이 바람직하다.

카메라(20)는 상기 발광부(10)의 발광 주기에 동기되어 액티브 영상프레임과 패시브 영상프레임을 교대로 촬영한다. 도 4는 액티브 영상프레임의 예를 나타낸 것이도 도 5는 패시브 영상프레임의 예를 나타낸 것이다.

카메라(20)는 발광부(10)의 발광 주기에 동기시켜 펄스형 광의 방사 시에 액티브 영상프레임을 촬영하고, 발광부(10)로부터 펄스형 광이 방사되지 않은 때 즉, 펄스형 광이 배재된 시에 패시브 영상프레임을 촬영한다.

일 예로, 카메라(20)는 초당 30장의 영상프레임을 촬영하며, 따라서, 초당 액티브 영상프레임 15장과 패시브 영상프레임 15장을 촬영한다. 발광부(10)는 액티브 영상프레임의 촬영시점과 동기되어 광을 방사한다. 일 예로, 본 발명에서는 액티브 영상프레임과 패시브 영상프레임은 컬러 영상프레임일 수 있으나 눈동자 검출을 위한 처리 속도를 높이기 위해 컬러 영상프레임을 명암도가 0~255 값을 갖는 흑백 영상프레임으로 변환하여 사용할 수 있다. 다른 예로는 촬영된 액티브 영상프레임과 패시브 영상프레임이 흑백 영상프레임인 것이 보다 바람직하다.

본 발명에서는 카메라(20)로 입사되는 반사광의 재귀반사 광도계수가 최대가 되도록 발광부(10)와 카메라(20) 간의 패럴럭스(Parallax)는 최소로 조절한다.

패럴럭스는 발광부(10)와 카메라(20)의 구조적인 배치 관계를 정의하는 것으로, 발광부(10)와 카메라(20) 간의 패럴럭스(parallax)를 조절하면서 본 발명에 따른 졸음 검출 장치의 정상 작동 여부를 검사하는 것이 바람직하다. 특히, 카메라(20)로 입사되는 반사광의 재귀반사 광도계수가 최대가 되도록 카메라(20)와 발광부(10) 간의 패럴럭스를 조절하며, 그 패럴럭스가 최소화되도록 조절하는 것이 바람직하다.

제어부(30)는 발광부(10)와 카메라(20) 간의 패럴럭스가 조절되면서 촬영되는 영상프레임에 기준하여 본 발명에 따른 졸음 검출 장치의 정상 작동 여부를 검사한다. 한편, 본 발명에 따른 졸음 검출 장치는 정상 작동 여부를 표시하는 인디케이터(Indicator)를 더 구비할 수 있다. 그 인디케이터는 정상 작동 시 초록 광을 방사하며 비정상 작동 시에는 적색 광을 방사하는 발광소자일 수 있다.

제어부(30)는 카메라(20)를 통해 촬영된 영상프레임을 사용하여 운전자의 졸음 여부를 판별하며, 발광부(10)와 카메라(20)의 동작을 제어한다. 제어부(30)는 최종 졸음 여부를 판별하기 이전에 촬영된 영상프레임 전체 중 일부만을 졸음 여부를 판별하는데 사용하기 위한 사전 처리를 실시하며, 그 사전 처리를 통해 추출된 일부만을 영상 처리에 적용하여 졸음 여부를 최종 판별한다.

제어부(30)는 발광부(10)의 펄스형 광의 발광 주기와 광 세기를 설정하며, 카메라(20)의 노출 값을 설정한다.

제어부(30)는 발광부(10)에 의해 방사되는 펄스형 광의 발광 주기와 광 세기를 제어하고, 카메라(20)의 노출 값을 제어한다. 또한, 제어부(30)가 노출 값을 제어할 시에는 외부 광의 세기에 따라 현재 노출 값을 조절할 수 있다.

제어부(30)는 발광부(10)와 카메라(20)의 제어를 통해 액티브 영상프레임과 패시브 영상프레임의 촬영 시에 카메라(20)의 노출 값과 발광부(10)의 펄스형 광 세기를 설정하며, 펄스형 광의 발광 주기를 제어함에 따라 카메라(20)가 발광부(10)의 발광 주기에 동기되어 액티브 영상프레임과 패시브 영상프레임을 교대로 촬영하도록 제어한다.

보다 바람직하게, 제어부(30)는 발광부(10)와 카메라(20)의 동작을 모드 제어(Mode control)로 구현하여, 모드 설정만으로 영상프레임의 촬영 조건을 자동 설정한다. 즉, 제어부(30)는 액티브 영상프레임과 패시브 영상프레임의 촬영 시에 카메라(20)의 노출 값과 발광부(10)의 펄스형 광의 세기 값이 서로 다르게 설정된 복수 개의 모드들로 카메라(20)와 발광부(10)를 제어한다. 그 모드는 디폴트 모드와 변경 모드들을 포함한다.

디폴트 모드는 카메라(20)의 노출 값과 발광부(10)의 펄스형 광 세기 값이 초기 설정되는 모드이고, 변경 모드는 디폴트 모드의 초기 설정 값을 기준으로 하여 그 초기 설정 값에 비해 노출 값과 광의 세기 값이 일정 수준 조정되는 모드이다. 그 변경 모드는 적어도 하나 이상을 포함할 수 있다.

일 예로, 디폴트 모드는 밤에 영상프레임을 촬영하기 위한 모드이고, 변경 모드는 디폴트 모드에 비해 노출 값과 광의 세기 값이 크게 설정되어 외부 광의 세기가 큰 낮에 영상프레임을 촬영하기 위한 모드일 수 있다.

제어부(30)는 카메라(20)를 통해 촬영된 액티브 영상프레임과 패시브 영상프레임을 사용하여 운전자의 졸음 여부를 판별하고, 그 판별 결과에 따라 경보부(40)의 동작을 제어한다.

제어부(30)는 본 발명의 장치의 전원이 켜질 때, 액티브 영상프레임과 패시브 영상프레임을 각각 촬영하기 위한 촬영 시 조건을 설정한다. 전술된 바와 같이, 촬영시 조건은 액티브 영상프레임과 패시브 영상프레임의 촬영 시 노출 값과 액티브 영상프레임의 촬영 시 사용되는 광의 방사 세기를 포함한다. 특히, 디폴트 코드와 변경모드들 중 어느 하나를 설정하여 촬영 시 조건을 자동 설정한다. 일 예로, 디폴트 모드는 밤에 영상프레임을 촬영하기 위한 모드이고, 변경 모드는 디폴트 모드에 비해 노출 값과 광의 세기 값이 크게 설정되어 외부 광의 세기가 큰 낮에 영상프레임을 촬영하기 위한 모드일 수 있다. 따라서, 제어부(30)는 시간에 기반하여 특정 모드를 설정할 수 있다. 다른 예로써, 제어부(30)는 시간에 기반하면서 외부 광의 세기를 더 참조하여 특정 모드를 설정할 수 있다.

제어부(30)는 액티브 영상프레임과 패시브 영상프레임의 비교를 통해 외부 광에 의한 노이즈를 제거한다. 그리고, 외부 광에 의한 노이즈가 제거된 영상에서 운전자의 얼굴 영역을 설정하고, 그 설정된 얼굴 영역에서 눈 영역을 검출한다. 여기서, 외부 광으로는 태양광, 거리 조명, 도시 조명, 타 차량의 헤드램프 등일 수 있다.

여기서, 제어부(30)는 얼굴 영역을 다음과 같이 설정한다.

제어부(30)는 액티브 영상프레임의 촬영 시 노출을 짧게 설정하고 패시브 영상프레임의 촬영 시 노출을 길게 설정하여 카메라(20)를 제어한다. 그 노출 상태에서 촬영된 액티브 영상프레임과 패시브 영상프레임을 비교하여 외부 광에 의한 노이즈를 제거하면 얼굴 영역이 다른 주변 영역에 비해 밝게 나타난다. 그 밝은 부분을 얼굴 영역으로 설정하며, 그 밝은 부분(얼굴 영역)에 대한 이진화를 거치면 도 6에 도시된 바와 같은 영상이 생성된다. 도 6은 이진화를 거친 얼굴 영역 중에서 눈 영역만을 나타낸 것이다. 다시 말하자면, 제어부(30)는 액티브 영상프레임과 패시브 영상프레임의 비교를 통해 외부 광원을 차단하여 얼굴 영역의 영상 부분만 추출한다. 여기서, 얼굴 영역에 대한 이진화는 일정 임계 값을 이용하여 외부 광에 의한 노이즈가 제거된 영상을 0 또는 1이나 0 또는 255로 화소 값을 분리하는 것이다. 따라서 이진화를 거친 영상은 백색 또는 흑색으로만 표출된다.

제어부(30)는 설정된 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 상기 눈 영역을 검출한다.

보다 상세하게, 제어부(30)가 눈 영역을 검출하는 동작을 도 6을 참조하여 설명한다.

제어부(30)는 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 하나의 예비 영상을 추출하며, 그 예비 영상에서 확산 반사 값이 최대인 지점을 기준영역으로 설정하고, 그 설정된 기준영역으로부터 추정되는 눈의 위치특성을 이용하여 눈 영역을 검출한다. 상기에서 윈도우 필터링을 통해 추출되는 예비 영상은 도 6에 도시된 바와 같으며, 그 예비 영상은 확산 반사 이미지이다.

일 예로, 제어부(30)는 상기 확산 반사 값이 최대인 지점을 코로 판정하고, 코를 기준영역으로 설정하여 그 코의 위치에 기준하는 눈의 위치특성으로부터 눈 영역을 검출한다. 본 발명에서는 코의 위치에 기준하여 눈 영역을 검출할 시에 운전자의 눈이 코에 근접하면서 코의 상부에 위치하는 눈의 위치특성에 기준한다.

제어부(30)는 상기한 과정으로 통해 검출된 눈 영역에 대한 영상 처리를 통해 눈동자를 검출하고, 그 검출되는 눈동자의 검출 패턴에 따라 운전자의 졸음 여부를 판별한다.

한편, 제어부(30)는 설정된 기준영역으로부터 추정되는 눈의 위치특정 뿐만 아니라 눈동자로 예상되는 후보점들 중 두 후보점 간의 수평거리와, 눈동자의 후보점들 중 두 후보점이 이루는 선분의 기울기를 눈의 위치특성으로 더 사용하여 눈동자를 검출할 수 있다.

특히, 제어부(30)가 검출되는 눈동자의 패턴으로부터 졸음 여부를 판별할 시에는, 검출되는 눈동자의 패턴을 미리 설정된 졸음 판별 패턴과 비교하여 판별한다. 한편, 제어부(30)는 졸음 여부를 판별할 시에 정해진 시간 내에 상기 눈동자가 검출되는 회수와 눈동자가 검출되는 주기와 눈동자가 검출되는 시간 간격 중 적어도 하나를 조합하여 설정되는 졸음 판별 패턴을 사용하며, 그 졸음 판별 패턴은 미리 저장할 수 있다.

전술된 바와 같이, 제어부(30)는 졸음 여부를 판별하기 위해 눈동자를 검출하기에 앞서서 눈동자를 검출하기 위한 연산 처리 부담을 줄이고자 영상프레임에서 외부 광에 의한 노이즈를 제거하여 얼굴 영역을 설정하는 동작과, 얼굴 영역에서 눈의 위치특성에 기반하여 눈 영역을 검출하는 동작을 선행한다.

본 발명의 일 실시 예에서는 영상프레임을 초당 30장 촬영하는 카메라(20)를 적용함에 따라, 제어부(30)는 눈동자의 검출 패턴을 초당 15번 검출하며, 졸음 여부도 초당 15회 판별한다.

만약 눈동자의 검출 패턴에 따른 졸음 여부를 판별한 결과로부터 운전자가 졸음 상태로 판별되는 경우에, 제어부(30)는 졸음 상태로 판별하여 경보부(40)가 소정의 경보신호를 출력하도록 제어한다. 여기서, 경보신호는 운전자가 시각, 청각 또는 촉각으로 인지 가능한 형태이다.

본 발명에서는 졸음 상태를 판별하는데 기준이 되는 졸음 판별 패턴을 미리 설정하여 저장한다. 그리고 졸음 판별 패턴을 실시간으로 검출되는 운전자의 눈동자 검출 패턴과 비교하여 초당 15회 졸음 여부를 판별한다.

예로써, 단순히 눈동자가 정해진 시간 동안 검출되지 않을 경우에 졸음 상태로 판단할 수 있다.

그러나, 눈동자가 정해진 시간 동안 검출되더라도 졸음 상태일 수 있다. 즉, 졸음 상태에서도 눈을 어느 정도 깜빡일 수 있으며, 졸음 상태를 오판할 수 있는 가능성 있다는 것이다. 따라서, 본 발명에서는 졸음 상태일 때 정해진 시간 내에 눈동자가 검출되는 회수와 눈동자가 검출되는 주기와 눈동자가 검출되는 시간 간격을 적어도 하나 조합한 졸음 판별 패턴을 눈동자의 검출 패턴과 비교하여 보다 정확하게 졸음 여부를 판별하는 것이 바람직하다.

이와 같이 졸음 판별 패턴을 적용함에 따라 졸음 상태를 검출하는 것은 물론 졸음 판별 패턴의 다양한 변형을 통해 운전자의 피로 징후까지도 판별할 수 있는 확장성을 보장한다.

예를 들어, 졸음 상태일 경우에는 눈 깜빡임의 속도가 느려진다. 따라서, 초당 30프레임의 영상을 촬영하는 카메라(20)를 사용할 경우에는 액티브 영상프레임 15개와 패시브 영상프레임 15개가 촬영되므로, 제어부(30)가 초당 15회의 졸음 검출이 가능하다.

일반적으로 눈의 깜빡임 속도는 0.1~0.15초이다. 따라서, 약 0.067초당 1회의 졸음 검출이 이루어지므로, 1.5~2.2의 검출 주기이면 정상적인 상태로 판별할 수 있으나 그 검출 주기를 초과하는 경우에는 졸음 상태로 판별할 수 있을 것이다.

지금까지 본 발명의 바람직한 실시 예에 대해 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 변형된 형태로 구현할 수 있을 것이다.

그러므로 여기서 설명한 본 발명의 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 상술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 한다.

10: 발광부 12: 펄스형 광 발광소자
14: 적색 광 발광소자 20: 카메라
30: 제어부 40: 경보부
50: 디스플레이부

Claims

펄스형 광을 방사하는 발광부;
상기 발광부가 방사하는 펄스형 광의 발광 주기에 기준하여 운전자의 얼굴 영상을 주기적으로 촬영하는 카메라; 그리고
상기 펄스형 광의 발광 주기에 따라 상기 펄스형 광이 발광된 시에 상기 카메라를 통해 촬영된 액티브 영상프레임과 상기 펄스형 광이 배제된 시에 상기 카메라를 통해 촬영된 패시브 영상프레임을 사용하여 상기 운전자의 졸음 여부를 판별하는 제어부를 포함하되,
상기 발광부가 상기 카메라의 촬영 범위를 상기 운전자의 얼굴로 조정하도록 상기 카메라의 촬영 방향과 일치되게 적색 광을 방사하는 발광소자를 구비하는 것을 특징으로 하는 졸음 검출 장치.
제 1 항에 있어서,
상기 카메라의 촬영 범위를 상기 운전자의 얼굴로 조정하도록, 상기 카메라에 의해 촬영된 영상프레임을 실시간 출력하는 디스플레이부를 더 구비하는 것을 특징으로 하는 졸음 검출 장치.
삭제
제 1 항에 있어서,
상기 제어부를 통해 상기 운전자가 졸음 상태로 판별됨에 따라 청각적 또는 시각적으로 인식 가능한 경보신호를 출력하는 경보부를 더 포함하는 것을 특징으로 하는 졸음 검출 장치.
제 1 항에 있어서,
상기 제어부는,
상기 발광부와 상기 카메라 간의 패럴럭스(parallax)가 조절되면서 상기 카메라를 통해 촬영되는 영상프레임에 기준하여 상기 졸음 검출 장치의 정상 작동 여부를 검사하는 것을 특징으로 하는 졸음 검출 장치.
제 1 항에 있어서,
상기 제어부는,
상기 액티브 영상프레임과 상기 패시브 영상프레임의 비교를 통해 외부 광에 의한 노이즈를 제거하고, 상기 노이즈가 제거된 영상에서 상기 운전자의 얼굴 영역을 설정하고, 상기 설정된 얼굴 영역에서 눈 영역을 검출하고, 상기 검출된 눈 영역에 대한 영상 처리를 통해 눈동자를 검출하고, 상기 검출되는 눈동자의 패턴에 따라 상기 운전자의 졸음 여부를 판별하는 것을 특징으로 하는 졸음 검출 장치.
제 6 항에 있어서,
상기 제어부는,
상기 설정된 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 상기 눈 영역을 검출하는 것을 특징으로 하는 졸음 검출 장치.
제 6 항에 있어서,
상기 제어부는,
상기 설정된 얼굴 영역에 대한 차동 필터링과 윈도우 필터링을 통해 하나의 예비 영상을 추출하고, 상기 추출된 예비 영상에서 확산 반사 값이 최대인 지점을 기준영역으로 설정하고, 상기 설정된 기준영역으로부터 추정되는 눈의 위치특성을 사용하여 상기 눈 영역을 검출하는 것을 특징으로 하는 졸음 검출 장치.
제 8 항에 있어서,
상기 제어부는,
상기 확산 반사 값이 최대인 지점을 기준영역으로 설정할 시에, 상기 운전자의 코를 상기 기준영역으로 판정하고, 상기 운전자의 눈이 상기 코에 근접하면서 상기 코의 상부에 위치하는 상기 눈의 위치특성에 기준하여 상기 눈 영역을 검출하는 것을 특징으로 하는 졸음 검출 장치.
제 9 항에 있어서,
상기 제어부는,
상기 눈동자로 예상되는 후보점들 중 두 후보점 간의 수평거리와, 상기 눈동자의 후보점들 중 두 후보점이 이루는 선분의 기울기를 상기 눈의 위치특성으로 더 설정하여 상기 눈 영역을 검출하는 것을 특징으로 하는 졸음 검출 장치.
제 6 항에 있어서,
상기 제어부는,
상기 검출되는 눈동자의 패턴을 미리 설정된 졸음 판별 패턴과 비교하여 상기 졸음 여부를 판별하되, 정해진 시간 내에 상기 눈동자가 검출되는 회수와 상기 눈동자가 검출되는 주기와 상기 눈동자가 검출되는 시간 간격 중 적어도 하나를 조합하여 설정되는 상기 졸음 판별 패턴을 미리 저장하는 것을 특징으로 하는 졸음 검출 장치.
제 1 항에 있어서,
상기 제어부는,
상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시에 상기 카메라의 노출 값과 상기 발광부의 펄스형 광 세기를 설정하는 것을 특징으로 하는 졸음 검출 장치.
제 12 항에 있어서,
상기 제어부는,
외부 광의 세기에 따라 상기 카메라의 노출 값을 조절하는 것을 특징으로 하는 졸음 검출 장치.
제 1 항에 있어서,
상기 제어부는,
상기 펄스형 광의 발광 주기를 제어하고, 상기 카메라가 상기 발광 주기에 동기되어 상기 액티브 영상프레임과 상기 패시브 영상프레임을 교대로 촬영하도록 제어하는 것을 특징으로 하는 졸음 검출 장치.
제 1 항에 있어서,
상기 제어부는,
상기 액티브 영상프레임과 상기 패시브 영상프레임의 촬영 시에 상기 카메라의 노출 값과 상기 발광부의 펄스형 광의 세기 값이 서로 다르게 설정된 복수 개의 모드들로 상기 카메라와 상기 발광부를 제어하는 것을 특징으로 하는 졸음 검출 장치.
제 15 항에 있어서,
상기 복수 개의 모드들은,
상기 카메라의 노출 값과 상기 발광부의 펄스형 광의 세기 값이 초기 설정되는 디폴트 모드와, 상기 디폴트 모드의 초기 설정 값에 비해 상기 노출 값과 상기 광의 세기 값이 일정 수준 조정되는 적어도 하나의 변경 모드를 포함하는 것을 특징으로 하는 졸음 검출 장치.