KR100716370B1 - 운전자의 눈 위치 검출 방법 - Google Patents

Abstract

본 발명은 운전자의 눈 위치 검출 방법에 관한 것으로, 얼굴 영상에서 코를 기준으로 하여 상대적인 눈이 위치를 판단할 수 있도록 해 특히, 차량의 야간 운행 중 검출되는 운전자 얼굴 영상 신호로부터 눈을 정확히 검출하여 졸음 운전에 대한 판단을 정확하면서 신속히 할 수 있도록 함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, CCD 카메라를 이용하여 촬영된 운전자의 얼굴 영상에서 대칭점 중 콧구멍부위를 판단 기준으로해 콧구멍부위의 위쪽을 눈이 위치된 영역으로 선택한 다음, 선택된 눈 위치 영역에 대한 필터링을 거쳐 눈의 타원형상 윤곽라인을 검출한 후, 상기 눈의 타원 형상 윤곽라인의 주기적 변화를 감지해 그 주지적 변화 여부에 따라 운전자에게 졸음 운전 경고를 발생하는 것을 특징으로 한다.

Description

운전자의 눈 위치 검출 방법{Driver eye detecting method}

도 1은 본 발명에 따른 운전자 눈 위치 검출 방법에 대한 순서도

도 2는 본 발명에 따른 각 단계별 눈 위치 검출 화면도

<도면의 주요부분에 대한 부호의 설명>

a : 제1대칭점영역 b : 제2대칭점영역

c : 제3대칭점영역 d : 눈위치후보영역

e : 눈위치확정영역 A : 제1눈형상

B : 제2눈형상

본 발명은 운전자의 눈 위치 검출 방법에 관한 것으로, 보다 상세하게는 콧구멍을 기준으로 하여 항상 정확한 눈 위치를 검출하기 위한 운전자의 눈 위치 검출 방법에 관한 것이다.

일반적으로 차량의 운행에 따른 교통사고 사망자를 최대한 줄이기 위하여 세계 각국은 ASV(advanced safety vehicle;선진 안전 자동차) 개발에 많은 노력을 하 고 있다.

이러한, ASV는 교통사고 사망자를 줄이는 차나 운전자의 피로를 덜어주는 차 또는 운전하기 쉬운 차로서, 차량의 안정성 향상과 보행자 보호를 위해 사고를 미리 방지하는 것을 그 기본 개념으로 하게 되고, 이를 위해 적용된 안전 기술은 졸음운전 경보 시스템과 야간 장애물 감지 시스템 및 차의 위험상태 경보 시스템 등이 있게 된다.

이중, 졸음운전 경보 시스템은 CCD 카메라를 통한 운전자의 상태 즉, 운전자 눈 깜박임 등의 거동 상태에 따른 영상 분석과 운전자의 브레이크, 조향 스위치 등의 각종 조작류 스위치의 신호를 이용하여 졸음운전을 판단한 뒤 운전자에게 경보하여 줌으로써 졸음운전을 방해하여 안정된 차량 운행을 할 수 있도록 한다.

이때, 상기와 같은 졸음운전 경보 시스템에서 운전자의 졸음운전을 판단하기 위해 눈과 코나 입 및 얼굴의 윤곽과 같은 특징이 있는 얼굴영상을 이용하게 되는데 특히, 얼굴에서 가장 중요한 특징이 있으면서 졸음 운전 시에는 그 위치나 형상이 변화가 있는 운전자의 눈을 통해 구별하여 차량의 안전 운행을 도모하게 된다.

그러나, 이와 같이 운전자의 졸음 운전여부를 운전자의 눈의 위치를 통해 판별하게 되면, 얼굴에서 가장 중요한 특징이 있는 눈이지만 눈의 위치를 정확하게 검출하는 것은 매우 어려운데 특히, 야간 운행시 검출되는 CCD 카메라의 영상만으로는 운전자의 정확한 눈 검출을 하지 못해 운전자의 졸음운전을 판단하지 못할 뿐만 아니라, 심지어 상황에 따라 잘못된 판단을 할 수도 있는 한계가 있게 된다.

이에 본 발명은 상기와 같은 점을 감안하여 발명된 것으로, 얼굴 영상에서 코를 기준으로 하여 상대적인 눈이 위치를 판단할 수 있도록 해 특히, 차량의 야간 운행 중 검출되는 운전자 얼굴 영상 신호로부터 눈을 정확히 검출하여 졸음 운전에 대한 판단을 정확하면서 신속히 할 수 있도록 함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, CCD 카메라를 이용하여 촬영된 운전자의 얼굴 영상에서 얼굴이 갖는 대칭 부위에 대한 영역을 선택하는 대칭점 판단단계; 상기 대칭점 판단단계에서 얼굴 영상에서 나타나는 대칭점 중 콧구멍부위를 판단 기준으로 한 후, 상기 콧구멍부위의 위쪽을 눈이 위치된 눈위치후보영역으로 선택하는 눈위치선정단계; 상기 눈위치선정단계 후 얼굴 영상에서 선택된 눈위치후보영역에 대해 집중적으로 필터링 해 눈의 윤곽라인을 파악하는 눈위치확정영역으로 결정하는 눈형상판단단계; 상기 눈형상판단단계에서 눈의 윤곽라인이 타원형상을 이루는가를 검출한 후, 눈의 윤곽라인인 타원형상이 주기적으로 좁아졌다 커졌다 하는 변화인 움직임이 있는 가를 감지해 졸음 운전 여부를 판단하는 눈변화검출단계 및; 상기 눈변화검출단계에서 눈의 윤곽라인이 초기 타원형상에서 좁아진 후 변화가 없는 경우 졸음운전으로 판단해 경고음을 발생시키는 경고단계;로 수행되는 것을 특징으로 한다.

삭제

삭제

삭제

삭제

이하 본 발명의 실시예를 첨부된 예시도면을 참조로 상세히 설명한다.

도 1은 본 발명에 따른 운전자 눈 위치 검출 방법에 대한 순서도이고, 도 2는 본 발명에 따른 각 단계별 눈 위치 검출 화면도를 나타낸 것으로 본원 발명은 차량을 주행중인 운전자의 얼굴 영상을 CCD 카메라를 이용하여 촬영한 후, 촬영된 얼굴 영상에서 얼굴이 갖는 대칭 부위 즉, 눈썹 부위인 제1대칭점영역(a)과 눈 부위인 제2대칭점영역(b) 및 콧구멍 부위인 제3대칭점영역(c)을 집중 검사해 모양과 크기 및 거리와 명암등을 고려하여 판단 기준이 되는 대칭점을 판단하게 된다.

이때, 얼굴 영상에서 나타나는 대칭점 중 콧구멍에 가장 적합한 부위를 판단 기준이 되는 대칭점인 제3대칭점영역(c)을 기준점으로 설정하게 되는데 이는, 통상 콧구멍 부위는 다른 부위에 비해 빛에 의한 명암 변화가 없고 가장 낮은 위치에 있으면서 짧은 간격의 대칭 부위를 형성함을 이용하는 것임은 물론이다.

이어, 얼굴 영상에서 콧구멍이 있는 제3대칭점영역(c)을 판단 기준이 되는 대칭점으로 설정한 후에는, 상기 제3대칭점영역(c)의 윗 부분을 눈위치후보영역(d, 즉 제1·2대칭점영역(a,b)임)으로 설정하게 된다.

이와 같이, 얼굴 영상에서 눈위치후보영역(d)이 설정된 후 필터(소벨필터를 사용함)를 사용하여, 상기 눈위치후보영역(d)에서 눈의 위치를 집중 검사하게 되는데 이는, 상기 필터(소벨필터)의 사용 시 로드(Load)가 많이 걸리면서 윤곽라인을 집중적으로 표현할 수 있기 때문이다.

이어, 상기 눈위치후보영역(d)에 대한 필터 영상을 통해 눈위치확정영역(e) 을 선택하게 되는데 이는, 통상적으로 감기지 않은 눈은 타원형상이므로 이를 판단기준으로 하여 상기 눈위치후보영역(d)에서 눈의 윤곽라인이 타원 형상을 갖는 제1눈형상(A)이 검출됨에 따라 결정되어진다.

이어, 상기 눈위치확정영역(e)에서 제1눈형상(A)이 보다 좁은 타원형상인 제2눈형상(B)으로 주기적으로 변화는 즉, 눈이 감겼다 떠지는 움직임이 발생하느냐의 여부를 판별하게 되고, 만약 상기 눈위치확정영역(e)에서 눈이 제1눈형상(A)에서 제2눈형상(B)으로 주기적으로 변하지 않거나, 또는 제2눈형상(B)이 계속 유지되는 경우, 운전자의 졸음 운전 상태임을 판단해 운전자에게 졸음 운전을 경고하여 주게 된다.

그러나, 상기 눈위치확정영역(e)에서 제1눈형상(A)이 보다 좁은 타원형상인 제2눈형상(B)으로 주기적으로 변화하는 경우, 운전자가 눈을 깜빡이는 것이므로 정상적인 운전 상태이므로 운전자의 얼굴 영상에 대한 정보를 지속적으로 파악하는 과정을 반복 수행하게 된다.

이상 설명한 바와 같이 본 발명에 의하면, 운전자의 얼굴 영상에서 빛에 의한 명암의 영향을 받지 않으면서 서로 대칭 구조를 갖는 콧구멍을 이용하여 운전자의 눈 상태 변화를 감지해, 항상 정확한 눈의 위치와 더불어 눈의 움직임 여부를 판단할 수 있게 되므로 운전자의 졸음 운전 여부를 항상 정확하게 판단함과 더불어 신속하게 판단할 수 있어 차량 주행의 안전성이 확보 될 수 있는 효과가 있게 된 다.

Claims (5)

1. CCD 카메라를 이용하여 촬영된 운전자의 얼굴 영상에서 얼굴이 갖는 대칭 부위에 대한 영역을 선택하는 대칭점 판단단계;

   상기 대칭점 판단단계에서 얼굴 영상에서 나타나는 대칭점 중 콧구멍부위를 판단 기준으로 한 후, 상기 콧구멍부위의 위쪽을 눈이 위치된 눈위치후보영역으로 선택하는 눈위치선정단계;

   상기 눈위치선정단계 후 얼굴 영상에서 선택된 눈위치후보영역에 대해 집중적으로 필터를 이용하여 필터링하여 눈의 윤곽라인을 파악하는 눈위치확정영역으로 결정하는 눈형상판단단계;

   상기 눈형상판단단계에서 눈의 윤곽라인이 타원형상을 이루는가를 검출한 후, 눈의 윤곽라인인 타원형상이 주기적으로 좁아졌다 커졌다 하는 변화인 움직임이 있는 가를 감지해 졸음 운전 여부를 판단하는 눈변화검출단계 및;

   상기 눈변화검출단계에서 눈의 윤곽라인이 초기 타원형상에서 좁아진 후 변화가 없는 경우 졸음운전으로 판단해 경고음을 발생시키는 경고단계;로 수행되는 운전자의 눈 위치 검출 방법.
2. 제 1항에 있어서, 상기 대칭점 판단단계에서 대칭점을 선택하기 위한 영역은 눈썹 부위와 눈 부위 및 콧구멍 부위인 것을 특징으로 하는 운전자의 눈 위치 검출 방법.
3. 제 2항에 있어서, 상기 콧구멍 부위는 빛에 의한 명암 변화가 없고 가장 낮은 위치에 있으면서 짧은 간격의 대칭 부위를 형성함을 이용해 대칭점 판단 기준으로 선택되는 것을 특징으로 하는 운전자의 눈 위치 검출 방법.
4. 제 1항에 있어서, 상기 필터는 소벨 필터인 것을 특징으로 하는 운전자의 눈 위치 검출 방법.
5. 제 1항에 있어서, 상기 눈변화검출단계에서 눈의 윤곽라인이 타원형상을 이루지 않은 경우 졸음운전으로 판단해 경고음을 발생시키는 것을 특징으로 하는 운전자의 눈 위치 검출 방법.

Images