KR100338805B1

KR100338805B1 - 졸음 레벨 검출 방법

Info

Publication number: KR100338805B1
Application number: KR1019990019981A
Authority: KR
Inventors: 최정일; 조유신; 최정필
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 1999-06-01
Filing date: 1999-06-01
Publication date: 2002-05-31
Also published as: KR20010001021A

Abstract

본 발명은 눈 깜빡임을 이용한 졸음 레벨 검출 방법 및 졸음 레벨 검출 전처리 과정에서의 변형되는 눈 영역 추적 방법을 개시한다. 얼굴 영역과 눈 영역을 포함한 연속 영상으로 부터 졸음 레벨을 검출하는 본 발명에 의한 졸음 레벨 검출 방법은, (a) 입력 영상에서 눈 위치 검색 영역을 결정하고, 눈의 특징점을 조사하기 위한 템플리트를 이용하여 눈 위치 검색 영역에서 눈 위치를 검출하는 단계, (b) 검출된 눈 위치로 부터 눈의 위쪽 경계선 및 눈의 아래쪽 경계선을 추출하여 눈의 개폐 여부를 결정하는 단계 및 (c) 눈의 개폐 여부를 연속 영상에 대해 지속적으로 모니터링하여 눈이 감긴 시간 정도를 나타내는 졸음 레벨을 검출하는 단계를 구비한다.

Description

졸음 레벨 검출 방법 {Method for detecting drowsiness level}

본 발명은 영상 감지에 관한 것으로, 특히 눈 깜박임을 이용한 졸음 레벨 검출 방법 및 졸음 레벨 검출 전처리 과정에서의 변형되는 눈 영역 추적 방법에 관한 것이다.

현재 컴퓨터에 시각 기능을 부여하여 자동으로 물체의 위치를 감지하는 기술은 군사분야에서 무인 정찰기, 무인 탱크, 공장 자동화에서 로봇 시각 제어부분, 일반 컴퓨터에서 사용자의 움직임을 발견하기 위한 시각적 인터페이스 등 많은 분야에서 적용되고 있다. 이러한 컴퓨터의 시각 기능은 자동차에서 운전자의 졸음 상태를 측정하는 기술에 적용될 수 있다.

졸음을 감지하는 방법으로서, 눈의 움직임을 감지하기 위하여 뇌파(EEG)를 안구 전압도(EOG)와 결합하여 사용하는 방법과, 턱 쪽에서 근육 긴장도를 측정한 근전도(EMG)를 측정하는 방법이 1991년 아케스테드(Akerstedt)에 의하여 발표되었다. 뇌파(EEG)를 이용한 장비는 휴대용 크기로 편리하게 졸음을 측정할 수 있지만, 사용자에게 장비를 머리에 착용해야 하는 불편함을 준다. 이를 해결하고자,시각적 모니터링 기술이 그에 대한 대용으로 대두되었다. 지멘스 특허에서는 1995년 당시 시각적 모니터링 기술에 기반한 연구는 없다고 보고하고 있다.

시각적 모니터링 기술에 의한 졸음 레벨 검출 시스템에서, 지멘스 특허(1995년)는 눈 위치 검출 단계, 눈 영역 추적 단계 및 졸음 레벨 검출 단계로 구성된다. 눈 위치 검출 단계는 수평 콘트라스트 필터와, 수평 콘트라스트 밀도 필터를 사용하고, 얼굴의 구성요소간의 위치정보를 이용하였다. 눈 영역 추적 단계는 상관관계를 이용하였다. 졸음 레벨 검출 단계는 상관관계를 이용한 D-커브 및 T-커브 라는 아이디어를 이용하였다. 그러나, 이 방법은 원 영상의 크기 및 기울기 변화 및 급격한 조명 변화에 따라 성능이 떨어지는 것으로 나타났다.

1991년에 출원된 닛싼 특허에서는 얼굴 영상의 크기 및 위치에 상당한 제약을 하였으며, 얼굴 및 눈 위치 검출은 적외선 조명을 이용하여 적외선 조명에 반응하는 값을 이용하였다. 얼굴은 좌우의 평균 밝기가 차이가 있다는 것을 이용하였다. 눈의 위치는 얼굴 영역에서 수평 방향에서는 평균 밝기가 어두운 위치를, 그리고 수직 방향에서는 밝기가 미리 결정된 임계값 이상으로 변하는 화소가 일정 개수 이상 변하는 위치를 눈의 위치로 결정하였다. 눈의 개폐 여부는 구해진 눈의 위치에 반지름이 r인 원을 두어, 원의 경계선의 안쪽과 바깥쪽의 밝기 차이에 의하여 반지름 r을 구하여 눈의 개폐 여부를 결정한다. 이 특허는 적외선 조명에 항상 의존하고, 눈 영역 추적을 수행하지 않아 얼굴 영역 및 눈 위치를 매 영상마다 반복적으로 검출하는 문제점이 있었다.

한편, 일반적으로 눈 영역 추적방법은 카메라나 기타 영상 저장장치를 통해전송되는 입력 영상에서 먼저 눈 영역을 검출한 후에, 검출된 눈 영역을 추적한다. 얼굴의 움직임이나, 눈의 심한 움직임 또는 주변 조명 상태의 급격한 변화로 인해 눈 영역에 대한 추적이 중단되곤 한다. 일단 추적이 중단되면, 다시 초기에 수행되었던 눈 영역 검출방법에 의해 눈 영역이 발견될 때까지 눈 영역 검출이 시도된다. 눈 영역이 검출되면, 눈 영역 추적이 재개된다. 즉, 초기 눈 영역 검출방법과 눈 영역 추적방법은 분리된 과정이다.

구체적으로 눈 영역에 대한 추적이 중단되는 원인은, 첫번째 고개를 돌리거나 하는 등의 얼굴 자체의 움직임, 두번째 눈 깜박임, 안구의 움직임, 안경 렌즈에 반사되는 주변 장면으로 인한 눈 영역의 왜곡 등의 눈 영역의 변형 및 세번째 주변 조명 상태의 급격한 변화를 들 수 있다.

10Hz 정도로 얻어진 연속 얼굴 영상에서, 인접한 영상 프레임들 사이에서 눈 영역은 다양한 특징 변화(또는 변형)를 가져온다. 눈 영역의 변형 요인중 빈번한 요인으로는, 눈 깜박임과 안경 렌즈로 인한 눈 영역의 왜곡을 들 수 있다. 눈 깜박임은 정상적인 경우에 약 200~300ms 내에 발생하며, 프레임 속도(frame rate)가 낮은 얼굴 영상 비디오에서 눈 영역 추적시에 문제점이 발생할 수 있다. 안경 렌즈로 인한 눈 영역의 왜곡은 프레임 속도가 높은 얼굴 영상 비디오를 처리하는 추적 시스템에서도 항상 발생하는 문제점이다. 렌즈의 종류에 따라서 사람의 눈으로도 흰자와 검은자를 구별할 수 없을 정도의 왜곡 현상을 발생시킨다.

종래의 방법을 살펴보면, 미국 특허 5,570,698, '졸음 동작을 검출하기 위한 눈 영역 감지 시스템'은 검출된 눈 영역의 추적을 위하여 시간 t에서의 눈 영역의영상을 시간 t+1 영상 프레임에서 상관 함수를 사용하여 탐색한다. 이 경우에, 눈의 크기는 눈 영역을 나타내는 영상 블럭에서 차지하는 면적이 상당하다. 눈 깜박임 등과 같은 눈의 움직임에 따라 시간 t+1 영상 프레임에서의 실제 눈 영역과의 상관이 작아지게 된다면, 시간 t+1 영상 프레임에서 잘못된 영상 블럭을 선택하는 미스매치 현상이 발생하게 된다. 즉, 추적에 실패하는 경우가 발생하는 것이다. 특히, 눈 영역의 추적중에 눈의 움직임과 얼굴 전체의 움직임이 동시에 발생하는 경우와 안경 착용자의 렌즈 표면에 주변 장면이 반사되어 나타나는 경우에, 눈 영역에 대한 추적 실패가 빈번하게 발생한다.

다른 방법으로, 제이. 헤인즈맨(J. Heinzmann) 등의 '강한 실시간 얼굴 추적 및 표정 인식법' 및 '강한 실시간 추적 프로그램을 이용한 3차원 얼굴 포즈 및 응시점 추정법'은 얼굴의 각 특징점(예컨대, 눈동자, 눈동자의 좌우 코너, 눈썹의 중심)에 독립된 추적 윈도우를 적용한다. 이에 따라, 추적중에 눈을 감는 등의 눈의 형체 변화로 인해 특징점을 잃어버리는 경우에, 추적 윈도우들의 위치 관계를 이용하여 잃어버린 특징점의 위치를 회복하는 강건성을 보이고 있다. 이와 같이 제안된 방법은 얼굴의 큰 움직임, 눈 깜박임 및 안구 운동에 대하여 실시간 추적을 보장하고 있으나, 얼굴 특징점 추적을 위하여 방대한 양의 계산이 수행된다. 추적 연산의 처리를 위해 전용 프로세서로 예컨대, 후지쯔 멥 추적 시각 시스템이 사용되고 있다. 그러나, 안경 렌즈로 인한 눈 영역의 왜곡과 같은 심한 눈 영역의 변형에 대해서는 특징점 추적 방법이 적용되지 않고 있다.

본 발명이 이루고자 하는 기술적 과제는, 눈 깜빡임을 감지하여 졸음 레벨을 검출함으로써, 원 영상의 크기와 기울기 변화 및 급격한 조명 변화 등 다양한 환경에서도 용이하게 졸음 레벨을 검출하는 졸음 레벨 검출 방법을 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 눈 영역 검출 모드 뿐만 아니라, 눈 영역 추적 모드에서 눈 깜빡임을 감지하여 졸음 레벨을 검출함으로써, 매 영상마다 얼굴 영역 및 눈 영역을 반복적으로 검출할 필요가 없고, 원 영상의 크기와 기울기 변화 및 급격한 조명 변화 등 다양한 환경에서도 용이하게 졸음 레벨을 검출하는 졸음 레벨 검출 방법을 제공하는데 있다.

본 발명이 이루고자 하는 또다른 기술적 과제는, 눈 영역을 직접 추적하지 않고 눈 영역 주변에서 변형이 최소인 영역을 선택하여 추적함으로써, 눈 영역 추적에 성공할 확률이 높은 눈 영역 추적 방법을 제공하는데 있다.

도 1은 본 발명에 의한 졸음 레벨 검출 방법의 개략적인 플로우챠트이다.

도 2a 및 도 2b는 도 1에 도시된 눈 영역 검출 모드 및 눈 영역 추적 모드에서의 졸음 레벨 검출 단계들(120,150)을 각각 설명하기 위한 플로우챠트이다.

도 3은 도 2a 및 도 2b에 도시된 본 발명에 의한 졸음 레벨 검출 단계(300)를 설명하기 위한 플로우챠트이다.

도 4는 도 3에 도시된 눈 위치 검출 단계(310)의 바람직한 실시예에 따른 상세한 플로우챠트이다.

도 5는 눈 위치 검색 영역의 일예를 나타내는 도면이다.

도 6은 수평 에지 마스크의 일예를 나타내는 도면이다.

도 7은 템플리트를 이용한 눈 위치 검출 과정의 일예를 나타내는 도면이다.

도 8은 회전에 따른 템플리트 변환을 나타내는 도면이다.

도 9는 템플리트를 이용한 눈 위치 검출 과정의 다른 예를 나타내는 도면이다.

도 10 (a)~(d)는 눈 위치 검출 예들을 나타내는 도면이다.

도 11은 도 3에 도시된 눈의 개폐 여부 결정 단계(320)의 바람직한 실시예에 따른 상세한 플로우챠트이다.

도 12 (a)~(c)는 에지 마스크의 예들을 나타내는 도면이다.

도 13 (a) 및 (b)는 눈 영역에서의 수평 에지 패턴을 나타내는 도면들이다.

도 14는 수직 에지 마스크의 일예를 나타내는 도면이다.

도 15는 도 3에 도시된 졸음 레벨 결정 단계(330)의 바람직한 실시예에 따른 상세한 플로우챠트이다.

도 16은 시간 축에서의 눈의 개폐 여부의 일예를 나타내는 도면이다.

도 17은 본 발명에 의한 눈 영역 추적 방법의 바람직한 실시예에 따른 플로우챠트이다.

도 18은 변형이 최소인 영역을 선택하는 방법의 일예 및 눈 영역과 변형이 최소인 영역의 공간 관계를 나타내는 도면이다.

도 19a, 도 19b 및 도 19c는 종래의 방법에 따라 각각 시간 t, t+1, t+2에서 눈 영역을 추적하는 과정을 설명하기 위한 도면들이다.

도 20a, 도 20b 및 도 20c는 본 발명의 방법에 따라 각각 시간 t, t+1, t+2에서 눈 영역을 추적하는 과정을 설명하기 위한 도면들이다.

도 21 (a)~(j)는 종래의 방법에 따라 연속 입력 영상에서 눈 영역을 직접 추적하는 과정을 촬영한 영상들을 나타낸다.

도 22 (a)~(j)는 본 발명의 방법에 따라 연속 입력 영상에서 눈 영역 주변의최소 변형 영역을 추적하는 과정을 촬영한 영상들을 나타낸다.

도 23 (a)~(j)는 본 발명의 방법에 따라 연속 입력 영상에서 눈 영역 주변의 최소 변형 영역을 추적하는 과정을 야간시 적외선 조명하에 촬영한 영상들을 나타낸다.

상기 과제를 이루기 위하여, 얼굴 영역과 눈 영역을 포함한 연속 영상으로 부터 졸음 레벨을 검출하는 본 발명에 의한 졸음 레벨 검출 방법은,

(a) 입력 영상에서 눈 위치 검색 영역을 결정하고, 눈의 특징점을 조사하기 위한 템플리트를 이용하여 눈 위치 검색 영역에서 눈 위치를 검출하는 단계, (b) 검출된 눈 위치로 부터 눈의 위쪽 경계선 및 눈의 아래쪽 경계선을 추출하여 눈의 개폐 여부를 결정하는 단계 및 (c) 눈의 개폐 여부를 연속 영상에 대해 지속적으로 모니터링하여 눈이 감긴 시간 정도를 나타내는 졸음 레벨을 검출하는 단계를 구비한다.

상기 다른 과제를 이루기 위하여, 얼굴 영역과 눈 영역을 포함한 연속 영상으로 부터 졸음 레벨을 검출하는 본 발명에 의한 졸음 레벨 검출 방법은,

(a) 입력 영상에서 얼굴 영역 및 눈 영역 검출하는 단계, (b) 눈 영역 검출에 성공하면 현재 영상 및 그 눈 위치를 가지고 졸음 레벨을 검출하고, 눈 영역 검출에 실패하면 (a) 단계로 진행하는 단계, (c) 순차적으로 입력된 다음 영상에서 이전 영상에서 검출된 눈 영역을 추적하는 단계 및 (d) 눈 영역 추적에 성공하면 (c) 단계에서 입력된 영상 및 그 이전 영상의 눈 위치를 가지고 졸음 레벨을 검출하고, 눈 영역 추적에 실패하면 (a) 단계로 진행하는 단계를 구비한다.

상기 또다른 과제를 이루기 위하여, 얼굴 영역과 눈 영역을 포함한 연속 영상에서 눈 영역을 추적하는 본 발명에 의한 눈 영역 추적 방법은,

(a) 초기 영상에서 눈 영역을 검출하고, 검출된 눈 영역 주변에서 최소 변형 영역을 선택하는 단계, (b) 순차적으로 입력된 다음 영상에서 (a) 단계에서 선택된 최소 변형 영역을 추적하는 단계 및 (c) 추적된 영역에 근거하여 다음 영상에서 실제 추적하고자 하는 눈 영역의 위치를 계산하는 단계를 구비한다.

이하, 본 발명에 의한 눈 깜박임을 이용한 졸음 레벨 검출 방법 및 졸음 레벨 검출 전처리 과정에서의 변형되는 눈 영역 추적 방법을 첨부한 도면을 참조하여 다음과 같이 설명한다.

도 1은 졸음 레벨 검출 시스템에서 수행되는 본 발명에 의한 졸음 레벨 검출 방법의 개략적인 플로우챠트이다.

먼저, 연속 영상에서 초기 영상을 입력하고(제100단계), 초기 모드를 눈 영역 검출 모드로 설정한다(제110단계). 눈 영역 검출 모드에서 졸음 레벨을 검출한다(제120단계). 제120단계에서 졸음 레벨을 검출하는 과정에서 먼저 눈 영역을 검출한다. 눈 영역 검출에 성공하였는가를 판단한다(제130단계). 눈 영역 검출에 성공하면, 순차적으로 다음 영상을 입력하고(제140단계), 다음 영상부터는 눈 영역 추적 모드에서 졸음 레벨을 검출한다(제150단계). 제150단계에서 졸음 레벨을 검출하는 과정에서 먼저 눈 영역을 추적하기 위해 이전 영상의 눈 영역을 기준으로 현재 영상의 눈 영역을 검출한다. 눈 영역 검출에 성공하였는가를 판단한다(제160단계). 눈 영역 검출에 성공하면, 다시 제140단계로 진행하여 눈 영역 추적 모드에서 전술한 동작을 반복한다.

한편, 제130단계 또는 제160단계에서 눈 영역 검출에 실패한 것으로 판단되면, 순차적으로 다음 영상을 입력하고(제170단계), 다시 제120단계로 진행하여 눈 영역 검출 모드에서 전술한 동작을 반복한다.

도 2a를 참조하면, 입력 영상에서 먼저, 얼굴 영역 검출을 시도한다(제200단계). 얼굴 영역 검출에 성공하였는가를 판단하고(제210단계), 그렇다면 검출된 얼굴 영역에서 눈 영역 검출을 시도한다(제220단계). 다음에, 눈 영역 검출에 성공하였는가를 판단하고(제230단계), 그렇다면 검출된 눈 영역을 기준으로 졸음 레벨을 검출한다(제300단계). 검출 결과에 따라, 졸음 레벨을 얻는다(제240단계). 한편, 제210단계 또는 제230단계에서 얼굴 영역 또는 눈 영역 검출에 실패한 것으로판단되면, 에러값을 얻는다(제250단계).

도 2b를 참조하면, 입력 영상에서 눈 영역을 추적한다(제260단계). 즉, 눈 영역 검출 모드에서 검출된 이전 영상의 눈 영역을 기준으로 현재 영상의 눈 영역을 찾는다. 눈 영역을 추적하는데 성공하였는가를 판단하고(제300단계), 그렇다면 추적된 눈 영역을 기준으로 졸음 레벨을 검출한다(제300단계). 검출 결과에 따라, 졸음 레벨을 얻는다(제280단계). 한편, 제300단계에서 눈 영역 추적에 실패한 것으로 판단되면, 에러값을 얻는다(제290단계).

졸음 레벨 검출 단계(300)는 도 2a에 도시된 바와 같이 눈 영역 검출 모드에서 수행된다면(제302단계), 현재 영상 및 그에 해당하는 눈 위치를 입력하여(제304단계), 졸음 레벨을 검출한다. 한편, 도 2b에 도시된 바와 같이 눈 영역 추적 모드에서 수행된다면(제306단계), 현재 영상(I_t) 및 그 이전 영상(I_t-1)의 눈 위치()를 입력하여(제308단계), 졸음 레벨을 검출한다.

먼저, 입력 영상에서 눈 위치 검색 영역을 결정하고, 눈의 특징점을 조사하기 위한 템플리트를 이용하여 눈 위치 검색 영역에서 눈 위치를 검출한다(제310단계). 여기서, 입력 영상은 일예로서 255 단계의 밝기(Intensity) 단계를 갖는 그레이 영상이다. 제310단계에서 검출된 눈 위치는 이전에 설명한 눈 영역 검출 모드 또는 눈 영역 추적 모드에서 대략적으로 검출된 눈 영역과는 다르다. 눈 깜빡임을 이용한 졸음 레벨 검출을 위해 보다 정밀하게 눈 위치가 검출된다.

제310단계 후에, 검출된 눈 위치로 부터 눈의 위쪽 경계선 및 눈의 아래쪽 경계선을 추출하여 눈의 개폐 여부를 결정한다(제320단계). 제320단계 후에, 눈의 개폐 여부를 연속적인 입력 영상에 대해 지속적으로 모니터링하여 눈이 감긴 시간 정도를 나타내는 졸음 레벨을 결정한다(제330단계).

이제, 본 발명에 의한 졸음 레벨 검출 과정을 바람직한 실시예를 들어 구체적으로 설명한다.

먼저, 입력 영상에서 기준이 되는 초기 눈 위치를 포함하며 소정의 폭과 높이를 갖는 블럭을 눈 위치 검색 영역으로 결정한다(제400단계). 여기서, 기준이 되는 초기 눈 위치는 눈 영역 검출 모드인 경우에 현재 영상에 대한 눈 위치에 해당하며, 눈 영역 추적 모드인 경우에 이전 영상에 대한 눈 위치에 해당한다.

구체적으로, 눈 위치 검색 영역은 눈의 크기와 초당 영상 프레임수(fps:frame per second)에 의하여 결정된다. 예컨대, 자동차 운전자가 운전하는 동안에 움직임을 분석한 결과, 눈의 가로×세로 크기가이고, 초당 10장의 영상 프레임이 입력된다고 가정한다. 0.1초 마다 이전 영상과 현재 영상에서의 눈 위치의 움직임을 비교할 때, 눈의 움직임 속력은 x축으로 최대이하의 속력을 보이고, y축으로 최대이하의 속력을 보였다. 이러한 실험 결과를 기준으로 눈 위치 검색 영역은 눈의 크기가이고, 초당 10장의 영상 프레임이 처리되는 조건에서,의 크기를 갖는다. t+1번째 영상에서 눈 위치 검색 영역()은 눈 영역 검출 모드인 경우에 t+1번째 영상에서 구한 눈 위치를 포함하고, 눈 추적 모드인 경우에 t번째 영상에서 구한 눈 위치를 포함한다. 입력되는 눈 위치가인 경우에, 눈 위치 검색 영역은 도 5와 같이 설정된다.

t+1번째 영상의 눈 위치 검색 영역은 다음과 같이 정의할 수 있다.

,

여기서,

위 식에서, 영상 처리 속력이 10fps인 경우에 w_x와 w_y는 1.0의 값을 갖고, 10fps 이하인 경우에 1.0보다 큰 값을 갖고, 10fps 이상인 경우에 1.0보다 작은 값을 갖는다.

다시 도 4를 참조하면, 제400단계 후에, 눈 위치 검색 영역에서 수평 에지 마스크를 이용하여 255단계의 밝기 단계를 갖는 입력 영상(I_int)의 에지 크기(gradient magnitude) 영상(I_edge)을 구한다(제410단계).

구체적으로, 에지 필터를 f라 할 때,로 나타낸다.에지 필터로서 도 6에 도시된 수평 에지 마스크를 적용하면, 에지 크기 영상(I_edge)은 다음과 같다.

에지 크기 영상(I_edge)은 수평 에지를 구한 효과를 나타나며, -4×255 ≤ I_edge≤ 4×255의 범위를 가진다. 일반적인 에지 검출 방법은 ｜I_edge(x,y)｜를 사용하지만, 본 발명에서는 눈 모양의 성질상 눈의 위쪽 경계선에서는 I_edge(x,y)이 양의 값을 갖고, 눈의 아래쪽 경계선에서는 I_edge(x,y)이 음의 값을 갖는다는 성질을 이용하기 위해 I_edge(x,y)의 절대값을 사용하지 않는다.

제410단계 후에, 입력 영상에 대한 제1 임계값 및 에지 크기 영상에 대한 제2 임계값을 설정한다(제420단계). 입력 영상(I_int) 및 에지 크기 영상(I_edge)을 이진화하는데 기준이 되는 임계값들(TH_int, TH_edge)을 구한다. 특히, 에지 크기 영상(I_edge)에 대해서는 눈 경계선에서 에지가 잘 나타나는 적당한 임계값(TH_edge)을 구한다.

제420단계 후에, 임계값들을 이용하여 제1 이진화 영상 및 제2 이진화 영상을 생성한다(제430단계). 제1 임계값(TH_int)을 이용하여 입력 영상(I_int)을 0, 1만의화소값으로 나타내는 제1 이진화 영상(B_int)을 생성한다.

또한, 제2 임계값(TH_edge)를 이용하여 에지 크기 영상(I_edge)을 -1, 0, 1만의 화소값으로 나타내는 제2 이진화 영상(B_edge)을 생성한다. 화소값이 1인 화소는 눈의 위쪽 경계선을 구하기 위한 성분이며, 화소값이 -1인 화소는 눈의 아래쪽 경계선을 구하기 위한 성분이며, 화소값 0인 화소는 배경 화소가 된다.

제430단계 후에, 이진화 영상들을 이용하여 눈 위치를 검출한다(제440단계). 제2 이진화 영상에서 눈의 위쪽 경계선에 따른 에지를 조사하기 위한 제1 템플리트와, 제1 이진화 영상에서 에지 아래의 영상의 밝기를 조사하기 위한 제2 템플리트로 구성된 한쌍의 템플리트를 이용하여 눈 위치를 검출한다.

도 7은 템플리트를 이용한 눈 위치 검출 과정의 일예를 나타내는 도면이다. 구체적으로, 도 7에 도시된 제1 템플리트(tmp1)와 제2 템플리트(tmp2)로 구성된 한쌍의 템플리트를 눈 위치 검색 영역(Eye_srch)에서 좌에서 우로, 아래쪽에서 위쪽으로 각각 n,m 단계씩 이동시키며 다음 조건들을 만족하는가를 검색한다.

조건 1 : 직사각형인 제1 템플리트(tmp1)의 크기는 tmp1_width× tmp1_height이고, 이 영역에서 제2 이진화 영상(B_edge(x,y))에 대해 화소값이 1인 화소 개수가 제3 임계값 이상이어야 한다.

조건 2 : 제1 템플리트(tmp1)의 영역에서 제2 이진화 영상(B_edge(x,y))에 대해 화소값이 1인 화소 개수가 a개이상 존재하는 x축 라인 개수가 제4 임계값 이상이어야 한다.

이들 조건을 만족하는 제1 템플리트(tmp1)의 위치들중에서 대응하는 제2 템플리트(tmp2)의 위치가 제1 이진화 영상(B_int(x,y))에 대해 화소값이 1인 화소 개수가 최소인 위치를 눈 위치로 결정한다. 여기서, 제2 템플리트(tmp2)는 제1 템플리트(tmp1)의 위치에 의해 그 위치가 정해지며, tmp2_width× tmp2_height크기를 갖는 직사각형이다. 제1 템플리트(tmp1)는 에지 정보에 의하여 눈의 위쪽 경계선을 구하는 영역이고, 제2 템플리트(tmp2)는 밝기 정보에 의해 눈동자가 그 주변보다 어둡다는 성질을 이용하므로, 눈 위치는 제2 템플리트(tmp2)에 의해 결정된다.

여기서, 얼굴의 상하 좌우 회전 및 기울어짐을 보상할 수 있도록, 템플리트들(tmp1,tmp2)의 크기가 정해져야 한다. 우선, 템플리트의 폭(가로)은 얼굴의 좌우 회전에 영향을 덜 받기위하여 눈의 크기보다 작은 값을 설정한다. 높이(세로)는 얼굴의 기울어짐의 허용 정도에 따라 정해진다. 예컨대, 다음과 같이 정할 수 있다.

도 8은 회전에 따른 템플리트 변환을 나타내는 도면이다. 도 8을 참조하면, 얼굴의 기울어짐이 심한 경우에 눈 위치를 검출하기 위해서 기본 템플리트를 각도 θ만큼 회전한 템플리트를 함께 사용한다. 이때, 얼굴의 기울어짐을 더 많이 허용할수록 더 많이 회전된 템플리트가 사용되므로, 검출 속도 및 검출 성능의 저하를 가져올 수 있다는 것을 고려해야 한다.

다시 도 4를 참조하면, 제440단계 후에, 검출된 눈 위치를 소정의 기준치와 비교하여 눈 위치 검출에 성공하였는가를 판단한다(제450단계). 눈 위치 검출에 성공하였으면, 도 3에서 제320단계로 진행하고, 그렇지 않으면 제2 이진화 영상만을 이용하여 눈 위치를 검출한다(제460단계).

도 9는 템플리트를 이용한 눈 위치 검출 과정의 다른 예를 나타내는 도면이다. 구체적으로, 제450단계에서 눈 위치 검출에 성공하지 않았으면, 도 9에 도시된 제2 이진화 영상에서 눈의 위쪽 경계선에 따른 에지를 조사하기 위한 제1 템플리트(tmp1)와, 제2 이진화 영상에서 눈의 아래쪽 경계선에 따른 에지를 조사하기 위한 제2 템플리트를 이용하여 눈 위치를 검출한다.

눈 위치 검출에 실패한 경우는 눈을 감았을 경우에 입력 영상(I_int)에 대한 제1 임계값(TH_int)이 부적절한 값으로 설정되어 눈 영역에서의 밝기 정보가 추출되지 않아 나타난다. 제460단계는 주로 이 경우를 보안하는 눈 위치 검출 방법에 해당한다. 도 9에 도시된 바와 같이, 제1 템플리트(tmp1)와 제2 템플리트(tmp2)로 구성된 한쌍의 템플리트를 눈 위치 검색 영역(Eye_srch)에서 좌에서 우로, 아래쪽에서 위쪽으로 각각 n,m 단계씩 이동시키며 다음 조건을 만족하는가를 검색한다.

조건 1 : 직사각형인 제2 템플리트(tmp2)의 크기는 제1 템플리트(tmp1)의 크기와 같은 tmp1_width× tmp1_height이고, 이 영역에서 제2 이진화 영상(B_edge(x,y))에 대해 화소값이 -1인 화소 개수가 제5 임계값 이상이어야 한다.

이 조건을 만족하는 제2 템플리트(tmp2)의 위치들중에서 대응하는 제1 템플리트(tmp1)의 위치가 제2 이진화 영상(B_edge(x,y))에 대해 화소값이 1인 화소 개수가 최대인 위치를 눈 위치로 결정한다. 여기서, 제2 템플리트(tmp2)는 제1 템플리트(tmp1)의 위치에 의해 그 위치가 정해진다. 제1 템플리트(tmp1)는 에지 정보에 의하여 눈의 위쪽 경계선을 구하는 영역이고, 제2 템플리트(tmp2)는 에지 정보에 의하여 눈의 아래쪽 경계선을 구하는 영역이다. 눈 영역은 제2 템플리트(tmp2)에 의하여 결정된다. 템플리트들의 크기는 다음과 같이 정의되며, 도 8에서와 같이 회전을 고려한 템플리트들을 사용할 수 있다.

도 10 (a)~(d)는 눈 위치 검출 예들을 나타내는 도면으로서, 도 10 (a) 및 (c)는 제2 이진화 영상에서의 눈 영역을, 도 10 (b) 및 (d)는 제1 이진화 영상에서 검출된 눈 위치를 각각 나타낸다. 종래의 눈 위치 검출방법은 눈 위치로 안경, 머리카락, 눈썹 등이 검출되는 경우가 많았다. 그러나, 본 발명에 적용한 눈 위치 검출방법은 에지는 눈의 경계, 밝기는 눈썹 및 눈동자 정보를 지닌 눈의 모양 정보를 이용하여 구하므로, 비교적 적은 연산량으로 제대로 눈 위치를 검출하게 된다.

먼저, 제310단계에서 구한 눈 위치(Region_eye)를 입력한다(제1100단계). 여기서, 눈 위치(Region_eye)는 눈 영역보다 작은 템플리트를 사용하였으므로, 도 10 (b)와 같이 잡영, 얼굴의 기울기 및 얼굴의 회전등에 의하여 정확한 눈 중심과, 눈 위치(Region_eye)의 중심 사이에서 오차가 발생할 수 있다. 이 오차를 고려하고, 눈의 경계선을 포함하기에 충분한 영역이 되도록, 눈 위치(Region_eye)를 확장한다(제1110단계). 이후에, 확장된 영역(Region_eye)을 이용한다.

제1110단계 후에, 눈의 경계선을 추출하는데 사용되는 대각 에지 크기 영상, 수평 에지 크기 영상 및 수직 에지 크기 영상을 구한다(제1120단계).

눈의 위쪽 경계선은 대각 에지의 성질이 강하고, 아래쪽 경계선은 수평 에지가 강한 성질이 있다. 또한, 위쪽 경계선은 밝기를 갖는 영상에서 화소값이 큰 화소에서 작은 화소로 변한다는 성질-밝은 곳에서 어두운 곳으로 변화-을 이용하고, 아래쪽 경계선은 반대의 성질을 이용할 수 있다. 이러한 성질을 이용하는데 적당한 에지 크기 영상으로 대각 에지 크기 영상(I_diag__edge)과 수평 에지 크기영상(I_hor__edge)을 구한다.

도 12 (a)~(c)는 에지 마스크의 예들을 나타내는 도면들이다.

구체적으로, 에지 필터로서 도 12 (a) 및 (b)에 각각 도시된 대각 에지 마스크들(d_right, d_left)을 적용하면, 우측 대각 에지 크기 영상 및 좌측 대각 에지 크기 영상은 각각로 나타낸다.

대각 에지 크기 영상(I_diag__edge)은 다음과 같다.

수평 에지 크기 영상(I_hor__edge) 및 수직 에지 크기 영상(I_ver__edge)은 다음과 같이 나타낼 수 있다.

다시 도 11을 참조하면, 제1120단계 후에, 대각 에지 크기 영상(I_diag__edge)에 대해 세선화(thinning)를 수행한다(제1130단계). 예컨대, 안경과 눈이 붙은 경우 또는 잡영이 있는 경우에 에지가 두껍게 존재할 수 있다. 두꺼운 에지 부분을 ??게 만들어 세선화된 영상(I_thin)을 이용한다.

제1130단계 후에, 제1120단계에서 구한 에지 크기 영상과, 제1130단계에서 구한 세선화된 영상(I_thin)을 이용하여 눈의 위쪽 경계선을 추출한다(제1140단계).

구체적으로, 눈의 위쪽 경계선은 좌표상으로 봤을 때 각 x축에서 한 점으로존재하거나 존재하지 않는다. 각 x축에서 y축 방향으로 스캔하면서, 세선화된 영상(I_thin)에 대해 에지가 연속되는 구간을 검색한다. 검색된 각 구간에서 대각 에지 크기 영상(I_diag__edge)의 값이 최대가 되는 화소의 y축 위치들인 max_upper들을 구한다. 그리고, 수평 에지 크기 영상(I_hor__edge)에 대해서도 소정의 임계값 이상으로 연속되는 구간을 검색한다. 검색된 각 구간에서 최대값을 갖는 화소의 y축 위치들인 max_lower들을 구한다. 구해진 max_upper들과 max_lower들에서 각각 한 개씩 선출하여 한 쌍(upper(i)와 lower(j))을 만든다. upper(i)와 lower(j)의 거리가 허용된 눈의 높이보다 작고, upper(i)와 lower(j)의 중심이 허용된 범위에 존재하는 쌍들 중에서의 크기가 최대가 되는 쌍의 upper(i)가 눈의 위쪽 경계선이 된다.

제1140단계 후에, 세선화된 영상(I_thin)에서의 연결 영역 정보를 이용하여 눈의 위쪽 경계선을 검증한다(제1150단계).

대각 에지 크기 영상(I_diag__edge)으로 부터 세선화된 영상(I_thin)을 만들 때, 세선화된 영상(I_thin)은 하나로 연속된 에지 영역을 나타내지 않고, 복수개로 끊어진 에지 영역을 나타낼 수 있다. 이와 같이 표현된 세선화된 영상(I_thin)에서 연결 요소 라벨링(connected component labeling)을 수행하여 연결된 영역들을 추출한다. 추출된 연결된 영역들에 대한 정보를 이용하여 제1140단계에서 추출된 눈의 위쪽 경계선이 적합한 눈의 위쪽 경계선이 될 수 있는가를 검증한다. 연결된 영역들중에서 제1140단계에서 추출된 눈의 위쪽 경계선을 가장 많이 포함하는 영역을 눈의 위쪽 경계선을 이루는 주 에지 영역으로 선택한다. 주 에지 영역에 포함되지 않는 눈의 위쪽 경계선을 제외하고, x축에서 주 에지 영역에 속하는 새로운 눈의 위쪽 경계선을 구한다.

제1150단계 후에, 검증된 눈의 위쪽 경계선을 기준으로 눈의 아래쪽 경계선을 추출한다(제1160단계). 눈의 위쪽 경계선이 구해지면, 아래쪽 경계선은 눈의 위쪽 경계선과의 위치 관계를 이용하여 용이하게 구할 수 있다.

제1160단계 후에, 눈의 위쪽 경계선 및 아래쪽 경계선을 이용하여 눈 높이를 계산한다(제1170단계). 눈 높이로서, 눈의 각 x좌표에서 눈의 평균 높이에 해당하는 eye_height_total를 구하고, 일정한 크기의 x축 윈도우에서 눈의 평균 높이가 최대가 되는 eye_height_center를 구한다.

제1170단계 후에, 눈동자에 대한 수평 에지 및 수직 에지를 분석한다(제1180단계).

구체적으로, 제1100단계에서 구한 대각 에지 크기 영상(I_diag__edge)과, 제1150단계 및 제1160단계에서 구한 눈의 위쪽 경계선 및 아래쪽 경계선을 이용하여, 대각 에지 성분을 조사한다. 눈의 위쪽 경계선 및 아래쪽 경계선 사이에서 I_diag__edge(x,y) ≥ TH_diag__edge(x,y)인 조건을 만족하는 화소 개수를 눈동자에 대한 수평 에지의 화소 개수(count_hor__edge)로서 구한다.

도 13 (a) 및 (b)는 눈 영역에서의 수평 에지 패턴을 나타내는 도면들이다. 도 13 (a) 및 (b)에서, 눈 영역에서 눈의 위쪽 경계선에 대한 정보를 갖는 대각 에지 성분은 검은 색(밝기 0)으로, 아래쪽 경계선에 대한 정보를 갖는 수평 에지 성분은 흰 색(밝기 255)으로, 그리고 나머지는 중간색(밝기 123)으로 표현된다. 도 13 (a)을 참조하면, 눈을 떴을 경우에는 눈의 위쪽 경계선 및 아래쪽 경계선 사이에 눈동자에 대한 에지 성분이 명확히 나타나지만, 도 3을 참조하면, 눈을 감았을 경우에는 눈동자에 대한 에지 성분이 존재하지 않는다.

또한, 제1100단계에서 구한 대각 에지 크기 영상(I_diag__edge) 및 수직 에지 크기 영상(I_ver__edge)을 이용하여 눈동자에 대한 수직 에지의 화소 개수를 구한다. 수직 에지는 잡영이 없는 눈 영역 영상에서 눈동자와 눈 흰자사이에 나타난다. 즉, 눈을 감았을 경우에는 나타나지 않는다.

도 14는 수직 에지 마스크의 일예를 나타내는 도면이다. 수직 에지 크기 영상(I_ver__edge)은 도 14에 도시된 수직 에지 마스크(f_y)를 사용하여 구한다.

각각의 임계값들(TH_ver__edge, TH_diag__edge)을 이용하여 수직 에지 크기 영상(I_ver__edge) 및 대각 에지 크기 영상(I_diag__edge) 각각에 대한 이진화 영상들(B_ver__edge, B_diag__edge)을 생성한다.

제1150단계에서 구한 눈의 위쪽 경계선을 이용하여 눈동자에 대한 수직 에지의 화소 개수를 구할 영역을 먼저 설정한 후에, 이 영역에서 B_ver__edge(x,y) = 1이고, B_diag__edge(x,y)! = 1인 조건을 만족하는 화소 개수를 눈동자에 대한 수직 에지의 화소 개수(count_ver__edge)로서 구한다.

다시 도 11을 참조하면, 끝으로 제1180단계 후에, 눈의 개폐 여부를 결정한다(제1190단계). 제1170단계에서 구한 눈의 평균 높이(eye_height_total)와 눈의 최대 평균 높이(eye_height_center) 및/또는 제1180단계에서 구한 눈동자에 대한 수평 에지의 화소 개수(count_hor__edge)과 눈동자에 대한 수직 에지의 화소 개수(count_ver__edge)를 눈의 개폐 여부를 결정하는데 사용한다. 이들 정보는 눈의 개폐 여부에 따른 눈의 특징을 수치적으로 반영하고 있다.

이들 정보를 이용하여 예컨대, 이들 정보를 특징 벡터로 구성하고, 학습 데이터를 구하고, 이 학습 데이터를 결정트리(Decision Tree), 신경망(Neural Network), HMM등의 인식기에 의해 학습시켜 모델링한 결과로 부터 눈의 개폐 여부를 결정한다. 또는, 이들 정보에 대한 소정의 규칙을 마련하고, 이 규칙에 의해눈의 개폐 여부를 결정한다.

먼저, 제320단계에서 결정된 눈의 개폐 여부(Open(i))를 입력하고, 입력 영상의 입력 시간 정보(Time(i))를 입력한다(제1500단계).

순차적으로 입력된 입력 영상에 대한 눈의 개폐 여부(Open(i)) 및 입력 시간 정보(Time(i))를 소정의 자료 구조에 유지하여 관리한다(제1510단계). 정보를 관리하는 자료 구조로서 바람직하게 큐(Queue)를 이용한다. 제1510단계 후에, 큐에 유지된 정보를 분석하여 눈을 감은 구간의 시간(Eye_close_time)을 계산한다(제1520단계).

제1520단계 후에, 현재 시간(Time_cur)에서 소정의 시간 주기 간격 이전 시간(Time_cur-time_range) 범위의 소정의 시간 주기 동안에, 제1520단계에서 구한 눈을 감은 구간(Eye_close_time)이 소정의 임계값(TH_close__time)이상인 구간을 조사한다(제1530단계). 눈을 감은 구간(Eye_close_time)이 소정의 임계값(TH_close__time)이상으로 장시간 눈을 감은 구간에서 그 횟수를 계산하여 졸음 레벨을 출력한다.

도 16은 시간 축에서의 눈의 개폐 여부의 일예를 나타내는 도면이다. 도 16을 참조하면, 졸음 레벨 검색 구간 즉, 소정의 시간 주기 간격 이전 시간(Time_cur-time_range)과 현재 시간(Time_cur) 사이에서, 눈을 감은 구간(Eye_close_time)은 t2에 해당한다. t2가 임계값(TH_close__time) 예컨대, 500ms이상일 때마다, 졸음 레벨을 한 단계씩 증가한다. 예컨대, t2가 500ms이상이고 1000ms미만이면 졸음 레벨은 1이 되고, 1000ms이상이고 1500ms미만이면 졸음 레벨은 2가 된다.

지금까지 본 발명에 의한 눈 깜빡임을 이용한 졸음 레벨 검출 방법을 살펴보았다. 본 발명에 의한 졸음 레벨 검출 방법은 자동차 운전자, 단순 노동 작업자 등의 졸음 상태 및 피곤도 등을 측정하여 각성시키는 제품, 얼굴 인식 및 표정 인식 시스템, 얼굴 합성 시스템, 헤드 제스쳐 인식 시스템 등에 응용할 수 있다.

또한, 본 발명에 의한 졸음 레벨 검출 방법은 졸음 레벨 검출 전처리 과정으로서 도 2a 및 도 2b를 참조하여 전술한 바와 같이 눈 영역 검출 및 눈 영역 추적을 수행한다. 본 발명에 의한 졸음 레벨 검출 방법은 눈 영역 검출 모드에서 눈 영역이 검출되고, 눈 영역 추적 모드에서 눈 영역이 추적된 것을 전제하에 이루어진다. 그러나, 눈 영역에 다양한 변형이 생길 경우에 종래의 눈 영역 추적 방법을 적용하면, 눈 영역 추적에 빈번히 실패하게 된다. 특히, 본 발명에 의한 졸음 레벨 검출 방법은 눈 깜박임을 이용하므로, 눈 깜박임에 상관없이 눈 영역 추적이 가능해야 한다.

본 발명은 눈 영역의 다양한 변형에도 눈 영역 추적이 용이한 눈 영역 추적 방법의 바람직한 실시예를 다음과 같이 제공한다. 본 발명에 의한 눈 영역 추적 방법은 종래의 방법에서 눈 영역 자체를 추적하는 것과 달리, 눈 영역의 주변 영역중 변형이 최소인 영역을 선택하여 그 영역을 추적하고, 추적된 영역으로 부터 눈영역의 위치를 계산한다.

먼저, 연속 영상에서 초기 얼굴 영상을 입력한다(제1700단계). 입력 영상은 카메라나, 저장 장치로 부터 전송되며, 얼굴 영역을 포함하고 있다. 얼굴 영역에서 눈 영역을 검출한다(제1710단계). 눈 영역은 간단한 연산 처리를 위해 두 눈중에서 한쪽 눈을 포함하며, 직사각 형상으로 소정의 폭과 높이를 갖는다. 제1700단계 및 제1710단계는 초기 눈 영역 검출 과정에 해당한다.

이제, 초기 눈 영역에 근거하여 다음에 입력되는 영상의 눈 영역을 추적하는 과정(제1720단계)을 상세히 설명한다.

제1710단계 후에, 검출된 눈 영역 주변에서 최소 변형 영역을 선택한다(제1722단계). 본 발명에서는 특징적으로 눈 영역을 직접 추적하지 않고, 그 주변에서 변형이 최소인 영역을 선택하여 추적한다. 눈 영역 주변 영역에는 눈썹, 앞 머리카락, 안경테의 형체가 포함될 수 있으며, 이들은 눈 영역 추적중에 그 형체가 변형될 가능성이 매우 적다. 또한, 변형이 적은 영역을 선택하는 방법으로서, 가능한 동질적인(homogeneous)한 화소값 분포를 갖는 영역보다, 눈썹, 안경테, 콧구멍 등 얼굴의 특징이 반영되어 이질적인(heterogeneous) 화소값 분포를 갖는 영역을 선택하는 것이 좋다.

여기서, 제1710단계에서 검출된 초기 눈 영역과, 제1722단계에서 선택된 최소 변형 영역의 위치 및 크기 차이는 이후에 실제 추적하고자 하는 눈 영역의 상대적인 위치를 계산하는데 이용하기 위해 기억 장치에 저장된다. 최소 변형 영역은 주어진 초기 눈 영역의 크기에 비하여 유사하거나 조금 크게 설정된다. 최소 변형 영역의 크기가 너무 크면, 추적중에 발생될 수 있는 최소 변형 영역내의 변형되는 부분들이 많아지므로, 추적 실패의 한 원인이 될 수 있다.

제1722단계 후에, 연속 영상에서 다음 얼굴 영상을 입력한다(제1724단계). 다음 얼굴 영상에서 제1720단계에서 선택된 최소 변형 영역과 가장 유사한 영역을 탐색 및 발견한다(제1726단계). 저성능 마이크로 프로세서를 사용하는 시스템에서는 영상 블럭의 상관을 이용한 추적 방법 등 낮은 복잡도를 갖는 알고리즘의 적용이 가능한다. 한편, 고성능 프로세서를 채용한 시스템에서는 최소 변형 영역내에서 특징점을 정의하여 특징점 주변의 영상 성격을 유지하는 지점을 추적하는 방법 등 높은 복잡도를 갖는 알고리즘의 적용이 가능하다.

제1726단계 후에, 최소 변형 영역을 추적하는데 성공하였는가를 판단하고(제1728단계), 추적에 성공하였으면 제1726단계에서 발견한 영역에 근거하여 실제 추적하고자 하는 눈 영역의 위치를 계산한다(제1730단계). 위치를 계산하기 위해, 초기 얼굴 영상에 대해 기억된 눈 영역과, 최소 변형 영역의 위치 및 크기 차이가 사용된다. 이러한 위치 계산은 추적이 실패하기 전까지 연속 영상에서 추적에 성공한 모든 영상마다 반복된다.

제1730단계 후에, 추적된 눈 영역 소정의 눈 영역 처리를 수행한다(제1740단계). 여기서, 소정의 눈 영역 처리는 예컨대, 졸음 레벨 검출 과정일 수 있으며, 다양한 영상 처리에 적용될 수 있다. 한편, 제1728단계에서 추적에 실패한 것으로판단되면, 다음 얼굴 영상을 입력하고(제1732단계), 제1710단계로 진행하여 전술한 동작을 반복한다.

도 18에서, 1801은 도 17에서 제1710단계에서 검출된 눈 영역을, 1802는 제1722단계에서 선택된 최소 변형 영역을 각각 나타낸다. 1801, 1802내에는 눈 영역을 구성하는 화소들 및 최소 변형 영역을 구성하는 화소들이 각각 포함된다.

전술한 바와 같이, 최소 변형 영역은 눈 영역 주변에서 시간에 따른 변형이 예측되는 영역을 제외하고, 얼굴의 표정 변화나 시간 경과에 따른 변형이 가장 적은 영역에서 선택된다. 도 18을 참조하면, 앞 머리카락의 일부와 눈썹이 최소 변형 영역으로 포함되어 있다.

초기 얼굴 영상에서 선택된 최소 변형 영역(1802)은 다음 얼굴 영상부터 실제 눈 영역을 추적하는데 필요한 참조(reference) 영상으로 사용된다. 즉, 영상 프레임 t에서 선택된 최소 변형 영역(1802)은 기억 장치에 저장되며, 영상 프레임 t+1부터 최소 변형 영역(1802)과 가장 유사한 영역을 탐색한다.

탐색된 영역이 허용할 만한 탐색 오차를 갖는다면, 추적에 성공하였다고 보고 영상 프레임 t+1에서 추적된 영역으로 한다. 즉, 영상 프레임 t이후의 영상 프레임 t+1, t+2, t+3, ..... , t+n에서는 참조 영상을 탐색한다. 만약, 영상 프레임 t+(n+1)에서 참조 영상을 탐색하는데 실패하였다면 추적에 실패한 것이며, 다음 얼굴 영상을 초기 얼굴 영상으로 입력하여 초기 눈 영역 검출 단계(제1710단계)부터 다시 수행한다.

다시 도 18을 참조하면, 눈 영역(1801)은 w1×h1의 크기를 가지며, (x1,y1)(1803)를 기준점으로 한다. 한편, 최소 변형 영역(1802)은 눈 영역(1801)보다 큰 w2×h2의 크기를 가지며, (x2,y2)(1804)를 기준점으로 한다. 눈 영역(1801)과 최소 변형 영역(1802)의 위치는 (dx,dy)만큼 차이가 난다. 여기서, dx = x1 - x2, dy = y1 - y2이다.

위치 차이 (dx,dy)는 최소 변형 영역을 선택하는 단계(제1722단계)에서 얻어지고, 발견된 최소 변형 영역으로 부터 눈 영역의 위치를 계산하는 단계(제1730단계)에서 사용된다. 즉, 식 dx = x1 - x2, dy = y1 - y2(여기서, (x1,y1)는 초기 얼굴 영상에서 검출된 눈 영역의 기준점)에 의해서 (dx,dy)가 구해지며, 식 x1 = x2 + dx, y1 = y2 + dy(여기서, (x1,y1)는 다음 얼굴 영상에서의 눈 영역의 기준점)에 의해서 눈 영역의 위치가 계산된다. 제1730단계에서 눈 영역의 위치가 계산되면, 눈 영역의 크기는 초기 눈 영역 검출 단계(제1710단계)에서 얻어진 w1 x h1를 이용하여 얻을 수 있다.

이들 도면들을 참조하면, 시간이 경과함에 따라 눈의 형체가 바뀌고 있음을 알 수 있다. 이러한 경우에, 도 19a에 도시된 초기 얼굴 영상에서 검출된 초기 눈 영역(1901)을 도 19b, 도 19c에 도시된 다음 얼굴 영상들에서 직접 추적하는데 실패하기 쉽다. 제대로 추적한다면, 도 19b, 도 19c에서 각각 1902, 1903을 추적해야 하지만, 눈의 형체가 바뀌었으므로 유사한 영상으로 추적하기가 곤란한다.

이들 도면들을 참조하면, 마찬가지로 시간이 경과함에 따라 눈의 형체가 바뀌고 있다. 그러나, 도 20a에 도시된 초기 얼굴 영상에서 검출된 초기 눈 영역(2004)을 대신하여 눈 영역 주변에서 눈썹을 포함하는 최소 변형 영역(2001)을 도 19b, 도 19c에 도시된 다음 얼굴 영상들에서 추적하므로, 추적에 성공할 확률이 높다. 시간 경과에 따른 눈의 형체에 영향을 받지 않고, 도 20b, 도 20c에서 각각 2002, 2003을 추적하게 되며, 눈 영역과 최소 변형 영역간의 상대적인 위치 관계를 이용하여 2005, 2006을 용이하게 찾을 수 있다.

도 21 (a)~(j)는 종래의 방법에 따라 연속 입력 영상에서 눈 영역을 직접 추적하는 과정을 촬영한 영상들을 나타낸다. 도 22 (a)~(j)는 본 발명의 방법에 따라 연속 입력 영상에서 눈 영역 주변의 최소 변형 영역을 추적하는 과정을 촬영한 영상들을 나타낸다. 도 23 (a)~(j)는 본 발명의 방법에 따라 연속 입력 영상에서 눈 영역 주변의 최소 변형 영역을 추적하는 과정을 야간시 적외선 조명하에 촬영한 영상들을 나타낸다.

도 21 (a)~(j)에서 작은 사각형은 눈 영역이며, 실제로 추적 알고리즘이 적용되어 추적되고 있는 영역이다. I1는 초기 눈 영역을 나타내며, I2, I3는 추적 실패후에 다시 검출된 눈 영역을 나타내며, M은 추적 실패한 눈 영역을 나타낸다. 도 22 (a)~(j) 및 23 (a)~(j)에서 큰 사각형은 실제로 추적 알고리즘이 적용되어추적되고 있는 영역이며, 작은 사각형은 최소 변형 영역(큰 사각형)의 위치로 부터 소정의 위치 차이를 이용하여 구해진 눈 영역이다.

이들 도면들은 실제 주행중인 차량내에서 캠코더로 촬영된 연속 영상을 약 7.6Hz로 컴퓨터에서 프레임 그래빙(frame-grabbing)한 영상 프레임들이다. 시간 경과에 따른 영상 프레임의 순서는 좌에서 우로, 위에서 아래 방향으로 나타내었다. 도 21 (a)~(j)을 참조하면, 눈을 감았을 경우에(도 21 (d) 및 (g)) 눈 영역을 추적하는데 실패한다는 것을 알 수 있다. 반면, 도 22 (a)~(j) 및 도 23 (a)~(j)을 참조하면, 눈을 감거나, 안경 렌즈 표면의 반사로 인한 눈 영역 왜곡 현상이 발생한 경우에도 눈 영역의 위치를 안정적으로 얻을 수 있음을 알 수 있다.

이상에서 설명한 바와 같이, 본 발명에 의한 졸음 레벨 검출 방법은 매 영상마다 얼굴 영역 및 눈 영역을 반복적으로 검출할 필요가 없고, 원 영상의 크기와 기울기 변화 및 급격한 조명 변화 등 다양한 환경에서도 용이하게 졸음 레벨을 검출하는 이점이 있다. 또한, 본 발명에 의한 눈 영역 추적 방법은 눈 깜박임이나 안구 운동 등과 같이 눈 자체의 움직이 급격한 경우 및 안경 렌즈에 의한 눈 영역 왜곡시에도 추적이 용이하며, 추가적인 영상 처리가 아니라, 추적 대상을 눈 영역 주변의 최소 변형 영역으로 대체시킨 것이므로, 추적 성능 개선에 따른 계산량의 증가는 무시할 만큼 작으며, 저성능의 마이크로프로세서를 채용한 저가의 하드웨어에서도 블럭 상관을 사용한 추적 알고리즘을 적용하여 구현가능한 이점이 있다.

Claims

얼굴 영역과 눈 영역을 포함한 연속 영상으로 부터 졸음 레벨을 검출하는 졸음 레벨 검출 방법에 있어서,

(a) 입력 영상에서 설정된 눈 위치 검색 영역에서 눈 위치 영역을 검출하는 단계;

(b) 상기 검출된 눈 위치 영역에서 눈의 위쪽 경계선 및 눈의 아래쪽 경계선을 추출하여, 상기 경계선들의 거리에 따라 눈의 개폐 여부를 결정하는 단계; 및

(c) 상기 눈의 개폐 여부를 상기 연속 영상에 대해 지속적으로 모니터링하여 상기 (a)와 (b) 단계를 수행하면서, 상기 눈이 감긴 구간이 연속적으로 지속한 시간에 따라 졸음 레벨을 검출하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제1항에 있어서, 상기 (a) 단계는,

(a1) 입력 영상에서 기준이 되는 초기 눈 위치를 포함하며 소정의 폭과 높이를 갖는 블럭을 눈 위치 검색 영역으로 결정하는 단계;

(a2) 상기 눈 위치 검색 영역에서 수평 에지 마스크를 이용하여 상기 입력 영상의 에지 크기 영상을 구하는 단계;

(a3) 상기 입력 영상에 대한 제1 임계값 및 상기 에지 크기 영상에 대한 제2 임계값을 설정하는 단계;

(a4) 상기 제1 및 상기 제2 임계값을 각각 이용하여 상기 입력 영상 및 상기 에지 크기 영상을 0과 ±1의 화소값으로 나타내는 제1 이진화 영상 및 제2 이진화영상을 각각 생성하는 단계; 및

(a5) 상기 제2 이진화 영상에서 눈의 위쪽 경계선에 따른 에지를 조사하기 위한 제1 템플리트와, 상기 제1 이진화 영상에서 상기 에지 아래의 영상의 밝기를 조사하기 위한 제2 템플리트로 구성된 한쌍의 템플리트를 이용하여 눈 위치를 검출하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제2항에 있어서, 상기 (a5) 단계는,

상기 제1 템플리트와, 상기 제1 템플리트의 위치에 의해 그 위치가 정해지는 상기 제2 템플리트를 상기 눈 위치 검색 영역 전체에 걸쳐 이동시키는 단계;

상기 눈 위치 검색 영역에서, 상기 제2 이진화 영상에 대해 화소값이 1인 화소 개수가 제3 임계값 이상이고, 화소값이 1인 화소 개수가 소정 개수 이상 존재하는 x축 라인 개수가 제4 임계값 이상인 조건을 적어도 만족하는 제1 템플리트의 위치들을 검색하는 단계; 및

검색된 제1 템플리트의 위치들중에서 대응하는 제2 템플리트의 위치가 제1 이진화 영상에 대해 화소값이 1인 화소 개수가 최소인 위치를 눈 위치로 결정하는 단계를 구비하는 졸음 레벨 검출 방법.
제2항에 있어서, 상기 (a5) 단계 후에,

(a6) 검출된 눈 위치를 소정의 기준치와 비교하여 눈 위치 검출에 성공하였는가를 판단하는 단계; 및

(a7) 눈 위치 검출에 성공하지 않았으면, 상기 제2 이진화 영상에서 눈의 위쪽 경계선에 따른 에지를 조사하기 위한 제1 템플리트와, 상기 제2 이진화 영상에서 눈의 아래쪽 경계선에 따른 에지를 조사하기 위한 제2 템플리트를 이용하여 눈 위치를 검출하는 단계를 더 포함하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제4항에 있어서, 상기 (a7) 단계는,

상기 제1 템플리트와, 상기 제1 템플리트의 위치에 의해 그 위치가 정해지는 제2 템플리트를 상기 눈 위치 검색 영역 전체에 걸쳐 이동시키는 단계;

상기 눈 위치 검색 영역에서, 적어도 상기 제2 이진화 영상에 대해 화소값이 -1인 화소 개수가 제5 임계값 이상인 조건을 만족하는 제2 템플리트의 위치들을 검색하는 단계; 및

검색된 제2 템플리트의 위치들중에서 대응하는 제1 템플리트의 위치가 제2 이진화 영상에 대해 화소값이 1인 화소 개수가 최대인 위치를 눈 위치로 결정하는 단계를 구비하는 졸음 레벨 검출 방법.
제1항에 있어서, 상기 (b) 단계는,

(b1) 검출된 눈 위치에서 대각 에지 마스크 및 수평 에지 마스크를 이용하여 상기 입력 영상의 대각 에지 크기 영상 및 수평 에지 크기 영상을 구하는 단계;

(b2) 상기 대각 에지 크기 영상에 대해 세선화를 수행하고, 상기 대각 에지 크기 영상, 상기 수평 에지 크기 영상 및 상기 세선화된 영상을 이용하여 눈의 위쪽 경계선을 추출하는 단계;

(b3) 상기 눈의 위쪽 경계선을 기준으로 눈의 아래쪽 경계선을 추출하는 단계; 및

(b4) 상기 눈의 위쪽 경계선 및 상기 눈의 아래쪽 경계선으로 부터 눈 높이를 계산하고, 상기 눈 높이를 소정의 기준치와 비교하여 눈의 개폐 여부를 결정하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제1항에 있어서, 상기 (b) 단계는,

(b1) 검출된 눈 위치에서 대각 에지 마스크, 수평 에지 마스크 및 수직 에지 마스크를 이용하여, 상기 입력 영상에 대한 대각 에지 크기 영상, 수평 에지 크기 영상 및 수직 에지 크기 영상을 구하는 단계;

(b2) 상기 대각 에지 크기 영상에 대해 세선화를 수행하고, 상기 대각 에지 크기 영상, 상기 수평 에지 크기 영상 및 상기 세선화된 영상을 이용하여 눈의 위쪽 경계선을 추출하는 단계;

(b3) 상기 눈의 위쪽 경계선을 기준으로 눈의 아래쪽 경계선을 추출하는 단계;

(b4) 상기 눈의 위쪽 경계선과 상기 눈의 아래쪽 경계선으로 부터 눈 높이를 계산하는 단계;

(b5) 상기 눈의 위쪽 경계선과 상기 눈의 아래쪽 경계선 사이에서 상기 대각 에지 크기 영상을 이용하여 눈동자에 대한 수평 에지를 분석하고, 상기 수직 에지크기 영상을 이용하여 눈동자에 대한 수직 에지를 분석하는 단계; 및

(b6) 상기 눈의 높이, 분석된 수평 에지 및 수직 에지에 근거하여 눈의 개폐 여부를 결정하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제6항 또는 제7항에 있어서, 상기 (b2) 단계는,

상기 대각 에지 크기 영상에 대해 세선화를 수행하는 단계;

검출된 눈 위치에서 각 x축에서 y축 방향으로 스캔하면서 세선화된 영상에 대해 에지가 연속되는 구간을 검색하고, 각 구간에서 상기 대각 에지 크기 영상의 화소값이 최대가 되는 화소의 제1 y축 위치들을 구하는 단계;

상기 수평 에지 크기 영상에 대해 소정의 임계값 이상으로 연속되는 구간을 검색하고, 각 구간에서 최대값을 갖는 화소의 제2 y축 위치들을 구하는 단계;

상기 제1 y축 위치들과 상기 제2 y축 위치들에서 각각 한 개씩 선출하여 만든 쌍들 중에서 (x, 제1 y축 위치)에서의 대각 에지 크기 영상의 화소값과 (x, 제2 y축 위치)에서의 수평 에지 크기 영상의 화소값이 최대가 되는 쌍을 구하는 단계; 및

구해진 쌍에서 제1 y축 위치를 눈의 위쪽 경계선으로 추출하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제6항 또는 제7항에 있어서, 상기 (b2) 단계 후에,

상기 세선화된 영상에서 연결 요소 라벨링을 수행하여 연결된 영역들을 추출하는 단계;

상기 연결된 영역들중에서 상기 (b2) 단계에서 추출된 상기 눈의 위쪽 경계선을 가장 많이 포함하는 영역을 눈의 위쪽 경계선을 이루는 주 에지 영역으로 선택하는 단계; 및

상기 주 에지 영역에 포함되지 않는 눈의 위쪽 경계선을 제외하고, x축에서 주 에지 영역에 속하는 새로운 눈의 위쪽 경계선을 구하는 단계를 더 포함하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제1항에 있어서, 상기 (c) 단계는,

(c1) 연속 영상에 대해 순차적으로 입력 영상에 대한 눈의 개폐 여부 및 입력 시간 정보를 입력하여 소정의 자료 구조에 유지하는 단계;

(c2) 유진된 정보를 분석하여 눈을 감은 구간의 시간을 계산하는 단계;

(c3) 소정 시간 주기 동안에, 상기 눈을 감은 구간이 소정의 임계값 이상인 구간을 조사하는 단계; 및

(c4) 소정의 임계값 이상인 구간의 횟수를 계산하여 졸음 레벨을 출력하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
얼굴 영역과 눈 영역을 포함한 연속 영상으로 부터 졸음 레벨을 검출하는 졸음 레벨 검출 방법에 있어서,

(a) 입력 영상에서 눈 영역을 검출하는 단계;

(b) 눈 영역 검출에 성공하면 현재 영상에서 눈의 위쪽 경계선 및 눈의 아래쪽 경계선을 추출하여, 상기 경계선들의 거리에 따라 눈의 개폐 여부를 결정하고, 눈 영역 검출에 실패하면 상기 (a) 단계로 진행하는 단계;

(c) 순차적으로 입력된 다음 영상에서 상기 현재 영상에서 검출된 눈 영역을 기초로 상기 다음 영상의 눈 영역을 추적하는 단계; 및

(d) 눈 영역 추적에 성공하면 상기 다음 영상에서 눈의 위쪽 경계선 및 눈의 아래쪽 경계선을 추출하여, 상기 경계선들의 거리에 따라 눈의 개폐 여부를 결정하고, 눈 영역 추적에 실패하면 상기 (a) 단계로 진행하는 단계를 구비하며,

상기 (a)에서 (d) 단계를 반복하면서 연속되는 영상에 대해 상기 눈의 개폐 여부를 지속적으로 모니터링하여, 상기 눈이 감긴 구간이 연속적으로 지속한 시간에 따라 졸음 레벨을 검출하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제11항에 있어서, 상기 (b) 단계는,

(b1) 상기 현재 영상에서 그 눈 위치를 포함하며 소정의 폭과 높이를 갖는 블럭을 눈 위치 검색 영역으로 결정하고, 눈의 특징점을 조사하기 위한 템플리트를 이용하여 상기 눈 위치 검색 영역에서 졸음 레벨 검출에 필요한 눈 위치를 검출하는 단계;

(b2) 검출된 눈 위치로 부터 눈의 위쪽 경계선 및 눈의 아래쪽 경계선을 추출하여 눈의 개폐 여부를 결정하는 단계; 및

(b3) 상기 눈의 개폐 여부를 상기 연속 영상에 대해 지속적으로 모니터링하여 눈이 감긴 시간 정도를 나타내는 졸음 레벨을 검출하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제11항에 있어서, 상기 (d) 단계는,

(d1) 상기 (c) 단계에서 입력된 영상에서 그 이전 영상의 눈 위치를 포함하며 소정의 폭과 높이를 갖는 블럭을 눈 위치 검색 영역으로 결정하고, 눈의 특징점을 조사하기 위한 템플리트를 이용하여 상기 눈 위치 검색 영역에서 졸음 레벨 검출에 필요한 눈 위치를 검출하는 단계;

(d2) 검출된 눈 위치로 부터 눈의 위쪽 경계선 및 눈의 아래쪽 경계선을 추출하여 눈의 개폐 여부를 결정하는 단계; 및

(d3) 상기 눈의 개폐 여부를 상기 연속 영상에 대해 지속적으로 모니터링하여 눈이 감긴 시간 정도를 나타내는 졸음 레벨을 검출하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제11항에 있어서, 상기 (c) 단계는

(c1) 상기 (a) 단계에서 검출된 눈 영역 주변에서 최소 변형 영역을 선택하는 단계;

(c2) 순차적으로 입력된 다음 영상에서 상기 (c1) 단계에서 선택된 최소 변형 영역을 추적하는 단계; 및

(c3) 추적된 영역에 근거하여 상기 다음 영상에서 실제 추적하고자 하는 눈 영역의 위치를 계산하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제14항에 있어서, 상기 최소 변형 영역은,

상기 눈 영역 주변에서 시간에 따른 변형이 가장 적으며, 얼굴의 특징이 반영되어 이질적인 화소값 분포를 갖는 영역이 선택되는 것을 특징으로 하는 졸음 레벨 검출 방법.
제14항에 있어서, 상기 (c1) 단계는,

상기 (a) 단계에서 검출된 눈 영역의 기준점에 대해 수평축으로 제1 값만큼, 수직축으로 제2 값만큼 떨어진 위치에서 상기 최소 변형 영역을 선택하는 단계; 및

상기 눈 영역과 상기 최소 변형 영역의 위치 및 크기 차이를 저장하는 단계를 구비하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제14항에 있어서, 상기 (c2) 단계는,

상기 다음 영상에서 상기 (c1) 단계에서 선택된 상기 최소 변형 영역의 위치 및 크기와 가장 유사한 영역을 탐색하는 것을 특징으로 하는 졸음 레벨 검출 방법.
제14항에 있어서, 상기 (c3) 단계는,

상기 (a) 단계에서 검출된 눈 영역과 최소 변형 영역간의 위치 차이를 이용하여, 상기 (c2) 단계에서 추적된 영역의 위치로 부터 상기 위치 차이만큼 떨어진 눈 영역의 위치를 계산하는 것을 특징으로 하는 졸음 레벨 검출 방법.