KR100361497B1 - 얼굴영역 추출방법 - Google Patents

Abstract

본 발명은 드라마나 영화 등의 동영상 파일에서 등장인물의 얼굴영역을 자동적으로 추출하는 방법에 관한 것으로서, 얼굴에서 움직임 속도가 서로 다른 요소를 이용해서 정확한 얼굴의 위치를 빠르게 찾아낼 수 있도록 한 얼굴영역 추출방법에 관한 것이다.

종래의 얼굴영역을 추출하는 방법은 템플리트 매칭, 살색정보의 활용 등에 기반하고 있으나, 그 프로세싱 시간이 많이 걸리고 움직임을 이용할 때는 사람의 얼굴 뿐만 아니라 신체의 움직임도 일어나기 때문에 정확하게 얼굴영역을 찾기가 어려웠다.

본 발명은 얼굴영역을 추출함에 있어 얼굴의 구성요소중 서로 다른 속도를 가지는 구성요소를 고려함으로써 보다 빠르고 정확하게 얼굴영역을 추출하는 얼굴영역 추출방법을 제공하며, 특히 본 발명에서는 얼굴의 움직임 속도와 눈의 움직임과 같이 다른 속도를 가지는 얼굴 구성요소의 움직임을 이용해서 정확한 얼굴의 위치를 고속으로 찾아낼 수 있도록 하였고, 또한 본 발명에서는 눈의 움직임이 나타나지 않을 경우에도 눈의 움직임을 사용하지 않는 임의의 다른 얼굴영역 추출 알고리즘을 함께 사용함으로써 얼굴영역의 추출이 가능한 얼굴영역 추출방법을 제공한다.

Description

얼굴영역 추출방법{METHOD OF EXTRACTION OF FACE FROM VIDEO IMAGE}

본 발명은 드라마나 영화 등의 동영상 파일에서 등장인물의 얼굴영역을 자동적으로 추출하는 방법에 관한 것으로서, 얼굴에서 움직임 속도가 서로 다른 요소를 이용해서 정확한 얼굴의 위치를 빠르게 찾아낼 수 있도록 한 얼굴영역 추출방법에 관한 것이다.

특히 본 발명은 얼굴에서 눈의 움직임과 얼굴의 움직임과 같이 서로 다른 속도를 갖는 얼굴 구성요소의 움직임을 이용해서 얼굴의 위치를 고속으로 정확하게찾아낼 수 있도록 한 얼굴영역 추출방법에 관한 것으로서, 동영상 검색 시스템이나 이미지 검색 시스템 등에 적용하여 효과적으로 얼굴영역을 자동추출할 수 있도록 한 얼굴영역 추출방법에 관한 것이다.

종래에 영화나 드라마 등의 동영상 파일에서 특정한 오브젝트(object) 영역을 추출하는 방법에는 크게 나누어 하나의 프레임 안에서 정지영상의 정보만을 이용한 영역 추출방법과 프레임들 사이의 시간적인 정보를 함께 이용하는 영역 추출방법으로 나눌 수 있다.

이들 2가지 방법의 대표적인 종래기술은 다음과 같다.

첫째: 하나 이상의 등장인물 얼굴의 템플리트를 사전에 구성하여 이미지의 모든 영역을 템플리트 최소 사이즈에서부터 최대 사이즈까지 크기 조절을 해가면서 스캔 및 매칭해 나가는 방법으로서 "Pedestian Detection Using Wavelet Templates ,CVPR97, JuneJun 17-19, Michael Oren, MIT" 이 있다.

이 방법은 템플리트를 이미지의 모든 영역에 대해서 최소 사이즈부터 시작해서 최대 사이즈 까지 크기를 조절해가면서 스캔하고 매칭해나가는 기술이므로 템플리트 매칭의 회수가 많고, 따라서 템플리트의 크기가 작아도 프로세싱 시간이 매우 길어지게 되는 단점이 있다.

둘째: 종래의 또다른 얼굴영역 추출방법으로서 "Automatic Extraction Of Face From Color Reversal Film Using Statistical Multistep Technique, ACCV'95 Second Asian Conf. On Computer Vision. December 5-8"이 있으며 이 방법은 정지영상에서 사람 얼굴을 찾는 방법이다.

이 기술은 대체적으로 다음의 3단계 과정을 거쳐서 얼굴영역을 추출한다.

먼저, RGB칼라 시스템을 HSV칼라 도메인으로 변환한 후 피부색 픽셀을 추출하고, 추출된 피부색 영역을 엣지 검출(edge detection), 홀 필링(hole filling), 갭 필링 작업(gap filling operation)을 사용하여 세그멘테이션(segmentation)하며, 이 정보에 대하여 미리 평가용으로 준비된 패턴을 이용해서 사람 얼굴 영역임을 확인하는 방법으로 얼굴영역을 추출한다.

또한 정지영상만을 이용하기 때문에 동영상에 비하여 적은 정보만을 사용하게 되고, 따라서 그만큼 정확성이 떨어지는 것은 물론, 얼굴영역의 추출에서 고려하는 구성요소로서 살색정보만을 이용하였는데, 살색 정보는 인종에 따라 다르고 또 같은 인종이라도 사람에 따라 다르며, 같은 사람이라도 조명이나 배경, 분장상태 등 주위 환경에 따라 달라질 수 있고, 또한 칼라 스페이스(color space)를 RGB에서 HSV로 변환하므로 그 만큼 많은 프로세스 시간을 요구한다.

셋째: 종래의 또다른 얼굴영역 추출방법으로서 카메라 화면에서 사람이 움직이면 자동적으로 사람 얼굴영역을 추출하고 이미 등록된 사람이면 그가 누구인지 확인하는 기능을 갖는 툴킷이 있다.("Facelt(Visionics Corporation)")

또한 이 기술에서는 차영상을 이용한 물체의 전체적인 움직임과 신경망을 이용한 얼굴확인 방법을 사용하고 있다.

그러나 이 방법에서는 차영상에 잡힌 움직임은 사람 얼굴 이외의 몸의 움직임도 포함되며 그 밖의 노이즈도 포함되므로 움직임이 존재하는 영역내에서 다시 얼굴영역을 추출하는 작업은 역시 어렵다.

이 방법 또한 얼굴영역의 추출에 있어서 그 프로세싱 시간의 증가로 인한 검색 속도의 저하가 있다.

본 발명은 얼굴영역을 추출함에 있어 얼굴의 구성요소중 서로 다른 속도를 가지는 구성요소를 고려함으로써 보다 빠르고 정확하게 얼굴영역을 추출하는 얼굴영역 추출방법을 제공한다.

특히 본 발명에서는 얼굴의 움직임 속도와 눈의 움직임과 같이 다른 속도를 가지는 얼굴 구성요소의 움직임을 이용해서 정확한 얼굴의 위치를 고속으로 찾아낼 수 있도록 한 얼굴영역 추출방법을 제공한다.

또한 본 발명에서는 눈의 움직임이 나타나지 않을 경우에도 눈의 움직임을 사용하지 않는 임의의 다른 얼굴영역 추출 알고리즘을 함께 사용함으로써 얼굴영역의 추출이 가능한 얼굴영역 추출방법을 제공한다.

즉, 본 발명에서는 눈의 움직임을 이용한 얼굴영역 추출 알고리즘과 눈의 움직임을 이용하지 않는 임의의 다른 얼굴영역 추출 알고리즘 2가지를 함께 같이 사용함으로써 정확하고 효율적인 얼굴영역 추출방법을 제공한다.

도1은 본 발명에서 눈의 움직임이 나타날 때 작은 시간차를 갖는 두 프레임의 차영상을 나타낸 도면

도2는 본 발명의 열굴영역 추출방법의 플로우차트

도3은 본 발명의 얼굴영역 추출방법의 실시예를 나타낸 플로우차트

도4는 본 발명의 얼굴영역 추출방법의 다른 실시예를 나타낸 플로우차트

본 발명은 눈의 움직임을 사용하지 않는 임의의 얼굴영역 추출 알고리즘을 이용해서 얼굴영역을 추출하는 과정과, 상기 과정에서 얼굴의 출현 가능성이 소정의 임계치 이상이면 눈의 움직임을 사용한 얼굴영역 추출 알고리즘을 적용하여 얼굴영역을 추출하는 과정과, 상기 두 과정에서 얼굴영역이라고 추출한 결과를 조합해서 최종적으로 얼굴영역을 제시하는 과정으로 이루어진다.

본 발명에서는 상기 임의의 얼굴영역 추출 알고리즘으로서 눈의 움직임을 이용하지 않는 일반적인 알고리즘을 사용할 수 있으며, 예를 들어 시간적 차이가 상대적으로 큰 2개의 영상 프레임의 차이를 이용해서 얼굴의 움직임을 찾아낼 수 있으며, 얼굴색 정보를 이용해서 얼굴 후보영역을 결정할 수 있다.

본 발명에서는 상기 눈의 움직임을 이용한 얼굴영역 추출 알고리즘으로서 시간적 차이가 상대적으로 작은 2개의 영상 프레임의 차이를 이용해서 눈의 움직임을 찾아낼 수 있으며, 여기서 두 프레임의 시간차는 눈의 움직임 속도 s = 최대 n픽셀/초에서 최소 m픽셀/초 라고 했을 때 두 프레임간의 시간차 Δt = 1/m sec 로 할 수 있고, 이와같이 눈의 움직임을 나타내는 차영상을 이용해서 눈의 위치를 찾아낸 후 이 눈의 위치로부터 얼굴 후보영역을 결정할 수 있다.

본 발명에서는 상기 눈의 움직임을 이용한 얼굴 후보영역과 눈의 움직임을 이용하지 않는 얼굴 후보영역을 템플리트 매칭을 통해서 점수를 얻은 후 그 점수를 가중치로 하여 2개의 얼굴영역을 조합해 하나의 정확한 얼굴영역으로 조정할 수 있으며, 여기서 2개의 얼굴 후보영역이 겹쳐진 형태가 아닐 경우에는 2개의 독립된 얼굴영역으로 결정할 수도 있다.

이하, 첨부된 도면을 참조하여 상기의 본 발명에 의한 얼굴영역 추출방법을 더욱 상세하게 설명하면 다음과 같다.

드라마나 영화 등의 동영상 파일에서 사람 얼굴의 움직임은 얼굴 전체의 움직임과 부분 요소의 움직임으로서 눈의 움직임이나 입의 움직임 등이 있다.

특히 눈의 움직임은 그 속도가 다른 구성요소의 움직임 속도에 비하여 매우 빠르고, 이처럼 현저하게 빠른 움직임은 상대적으로 시간차가 매우 작은 2개의 영상 프레임의 차이를 이용하면 그 움직이는 요소의 영역만을 추출할 수 있다.

즉, 눈의 움직임만을 얻기 위한 두 프레임간의 시간차이는 다음과 같이 정의될 수 있다.

눈의 움직임 속도 s = 최대 n픽셀/초 에서 최소 m픽셀/초

두 프레임간의 시간차이 Δt = 1/m sec상기 눈의 움직임 속도(s)는 1초동안 최대 n픽셀 내지 최소 m픽셀만큼 이동할 수 있다는 것을 의미하는 것으로, 1/n 또는 1/m 초보다 큰시간 간격을 갖는 연속된 두 프레임을 취득했을 때, 눈의 움직임으로 인하여 두 프레임간의 차이가 항상 발행함을 의미하는 것이다.일반적으로 눈의 움직임 속도는 그 범위는 크지 않으나 일정범위 안에서 달라질 수 있으므로, 상기 눈의 움직임 속도는 그 범위가 통게적으로 가장 느릴 경우(n/초)에서 가장 빠를 경우(m/초)라고 할 경우, 두 프레임간의 시간차이(Δt)는 가장 빠를 경우(m/초)를 기준으로 정하게 되는 것이다.

도1은 이와같이 눈의 움직임이 나타날 때 상대적으로 작은 시간차를 갖는 두 프레임의 차영상을 나타내며, 101은 두 프레임의 차영상, 102는 얼굴의 움직임에 따른 차영상, 103은 눈의 움직임에 따른 차영상을 표현하고 있다.

이와같이 눈의 움직임에 따른 차영상(103)으로부터 눈의 위치를 알아내면 눈의 위치를 중심으로 눈 주변의 일정한 거리 관계를 유지하는 영역을 얼굴 후보영역으로 결정할 수 있다.

그러나, 영상파일에서 항상 눈의 움직임이 나타난다고 확언할 수는 없으므로 눈의 움직임을 찾아내기 위해서 작은 시간차를 가지는 두 프레임의 차영상을 계속해서 얻는 작업은 많은 프로세싱이 요구될 수 있다.

그러므로 사람의 얼굴이 나타났다고 가정되는 구간에서만 눈의 움직임을 찾는 작업을 수행함으로써 프로세싱 시간을 줄일 수 있고 또 눈의 움직임이 나타나지 않더라도 얼굴영역을 추출할 수 있는 다른 임의의 알고리즘을 병행함으로써 항상 얼굴 영역을 추출할 수 있음을 보장한다.

즉, 눈의 움직임을 사용하지 않는 임의의 다른 알고리즘을 이용해서 얼굴 후보영역을 구하고, 이와같이 사람의 얼굴이 나타났다고 가정되는 구간에 대해서만 상기한 바와같이 작은 시간차의 두 영상 프레임 차이를 이용해서 눈의 움직임을 찾는 작업을 수행함으로써 프로세싱 시간을 줄이고, 눈의 움직임이 없더라도 얼굴영역을 추출할 수 있게 하는 것이다.

도2는 이와같은 본 발명의 얼굴영역 추출방법의 개념을 플로우차트로 표시한 예이다.

단계(201)에서는 입력된 영상정보에 대하여 눈의 움직임을 사용하지 않는 임의의 얼굴영역 추출 알고리즘 모듈을 이용해서 얼굴영역을 추출한다.

이 임의의 알고리즘은 상기 종래의 3개 기술중의 적어도 어느 한가지를 적용할수도 있으며, 또는 본 발명에서 제시되지 않는 다른 얼굴영역 추출기술(눈의 움직임을 사용하지 않는 얼굴영역 추출방법)을 적용해도 무방하다.

이와같이 임의의 알고리즘 모듈을 이용해서 얼굴영역을 추출하는 과정을 거치면서 단계(202)에서 얼굴의 출현 가능성을 임의의 임계치와 비교하여 사람 얼굴이 출현했다고 가정되는 구간만이 눈의 위치를 찾는 그 다음 단계(203)로 넘어가고 그렇지 않은 경우는 다음 프레임의 영상 입력단계로 되돌아 간다.

단계(204)에서는 눈의 움직임을 사용하지 않는 임의의 알고리즘 모듈을 이용해서 얼굴이 출현했다고 가정되는 영상 구간(프레임 구간)에 대해서 눈의 움직임을 이용한 알고리즘 모듈로 눈의 위치를 찾고 이 것으로부터 얼굴후보 영역을 결정한다.

여기서 눈의 움직임을 이용한 얼굴영역 추출 알고리즘 모듈은 상기한 바와같이 상대적으로 작은 시간차를 갖는 두 영상 프레임의 차영상으로부터 도1과 같이 눈의 위치를 찾고, 이 눈의 위치를 이용해서 얼굴후보 영역을 결정할 수 있으며, 또한 차영상과 함께 살색 정보를 이용해서 얼굴후보 영역을 결정 할수 있다.

그 다음 단계(204)는 상기 단계(201) 및 단계(203)에서 구한 2개의 얼굴후보 영역을 이용해서 최종적인 얼굴영역을 결정하는 단계이다.

즉, 눈의 움직임을 사용하지 않는 임의의 알고리즘 모듈에 의한 얼굴후보 영역과 눈의 움직임을 사용한 알고리즘 모듈에 의한 얼굴후보 영역의 2개의 결과중 하나가 영역추출 실패이면 성공한 나머지 하나의 결과(얼굴후보 영역)만을 얼굴영역으로 결정하고, 둘 다 성공할 경우에는 2개의 결과를 템플리트 매칭을 이용해서 그 신뢰도를 측정한 후 그 신뢰도를 가중치로 하여 두 결과를 합한 최종적인 얼굴영역을 결정하는 것이다.

이와같이 눈의 움직임을 사용하지 않는 임의의 알고리즘 모듈을 이용해서 얼굴후보 영역을 구하고, 이 것으로부터 얼굴의 출현 가능성이 있는 구간에 대하여 눈의 움직임을 사용하는 알고리즘 모듈을 이용해서 얼굴후보 영역을 구하고, 상기 두 결과를 조합해서 하나의 최종적인 얼굴영역을 결정함으로써, 동영상에서 보다 빠르고 정확하게 얼굴영역을 추출할 수 있게 된다.

즉, 임의의 알고리즘으로 얼굴의 출현 가능성이 있는 구간에 대하여 눈의 움직임을 찾고 얼굴후보 영역을 구하기 때문에 프로세싱 시간을 줄일 수 있고, 또 두 결과를 조합해서 하나의 얼굴영역을 결정함으로써 정확한 얼굴영역의 추출이 보장되는 것이며, 눈의 움직임이 없는 경우는 임의의 얼굴영역 추출 알고리즘을 이용해서 구한 얼굴영역을 최종적인 얼굴영역으로 결정함으로써 눈의 움직임이 없는 경우에도 얼굴영역을 추출할 수 있음을 보장하게 되는 것이다.

도3은 이러한 본 발명의 얼굴영역 추출방법의 일실시예로서 인접 영상 프레임의 차영상으로부터 얼굴영역을 추출하고 살색정보를 추출하여 얼굴후보 영역을 구하고, 상대적으로 시간차가 작은 영상 프레임의 차영상으로부터 눈의 위치를 구하고 이 눈의 위치로부터 얼굴후보 영역을 구하고, 상기 2가지의 결과로부터 최종적인 얼굴영역을 결정하는 일련의 과정을 보이고 있다.

먼저, 단계(301)에서는 시간적으로 연속된 2개의 영상 프레임의 입력단계를 나타낸다.

여기서 두 프레임의 시간차는 다음 조건과 같이 눈의 움직임을 찾아내기 위한 두 프레임의 시간차 보다 상대적으로 크다.

즉, 얼굴움직임을 찾아내기 위한 두 프레임의 시간차 Δt' ＞ 눈의 움직임을 찾아내기 위한 두 프레임의 시간차 Δt 의 조건을 만족한다.

그 다음 단계(302)에서는 상기 입력된 2개의 영상 프레임에 대한 차영상을 추출하는 단계로서 사람 얼굴의 움직임 유무를 알아내기 위한 단계이다.

여기서 차영상은 시간t에서의 프레임에서의 임의의 픽셀에 대한 그레이값(gray value)과 시간t'에서의 프레임에서의 임의의 픽셀(시간 t에서의 픽셀좌표와 같은 위치)에 대한 그레이값의 차가 소정의 임계치보다 큰 값이면 그 차영상 프레임의 해당 픽셀위치에서의 그레이값을 '1'로 설정하고, 그렇지 않은 경우는 '0'으로 설정함으로써 차영상 정보를 구할 수 있다.

이 차영상을 이용해서 그 다음 단계(303)에서는 움직임이 존재하는가의 여부를 판정한다.

즉, 움직임이 존재하는지를 검사하여 만일 존재하지 않으면 사람의 얼굴이 출현하지 않은 것으로 가정하여 단계(301)의 영상 프레임 입력단계로 되돌아 가고, 움직임이 존재한다면 사람 얼굴이 출현한 경우일 수 있으므로 그 다음 단계(304)로 진행하여 살색영상을 추출한다.

살색영상을 추출하여 그 다음 단계(305)에서 살색영역이 존재하는가를 검색한다.

즉, 움직임이 존재하지만 살색영역이 없으면 사람의 얼굴은 없는 것으로 가정하여 다음 프레임 입력단계(301)로 돌아 가고, 움직임이 존재하고 또 살색영역이 존재하면 사람의 얼굴이 있는 경우이므로 그 다음 단계(306)에서 살색과 차영상을 논리곱(AND) 작업하여 새로운 살색-차영상을 얻는다.

이 단계(306)는 단계(304)에서 살색조건을 만족하는 픽셀을 바로 차영상과 논리곱하여 얻을 수도 있다.

그 다음 단계(307)에서는 살색-차영상을 일정한 크기의 그리드 영상으로 만드는 단계로서, 2진값을 갖는 픽셀들을 블럭화하여 한 블럭내에 1값을 갖는 픽셀들이 어느정도 이상 포함되면 그 블럭값을 1로 만들고 그렇지 않으면 0으로 만들어서 그리드 영상정보를 구하는 것이다.

그 다음 단계(308)는 그리드 영상을 이용해서 연결요소를 추출하는 단계로서, 1값을 가지는 그리드들의 상,하,좌,우 4방향 또는 대각선 방향까지 고려하여 8방향의 연결요소(connected component)들을 구한다.

이와같이 구한 연결요소를 이용해서 그 다음 단계(309)에서는 하나의 연결요소를 포함하는 최소한의 사각형(MBR: Minimun Boundary Rectangle)들을 구하여 이들 중에서 다음의 조건을 만족하는 것들만 얼굴후보로 남겨둔다.

즉, 상기 MBR내 1값을 갖는 그리드 수의 밀도가 소정의 임계치 이상이고, MBR의 가로:세로의 비가 소정의 범위안에 들어오는 것을 얼굴후보로 남겨둔다.

이 것은 얼굴로 가정할 수 있는 조건들, 즉, 움직임이 있고 또 살색정보를 가지며 그 정보의 밀도가 얼굴이라고 가정할 만큼 충분한데다 얼굴로 볼 수 있는 가로:세로의 비율을 만족하는 분포를 가지는 것을 눈의 움직임을 이용하지 않는 임의의 얼굴영역 추출 알고리즘 모듈의 결과(얼굴영역 후보)로 정하기 위한 것이다.

그 다음 단계(310)에서는 상기 눈의 움직임을 이용하지 않는 임의의 알고리즘 모듈에 의해서 구한 얼굴후보 영역에 대하여 눈의 움직임을 이용한 얼굴후보 영역을 구하기 위해서 상기 입력단계(301)에서의 시간차 사이에 존재하는 상대적으로 더 작은 시간차를 갖는 연속된 2개의 영상 프레임들을 입력하는 단계이다.

그 다음 단계(311)에서는 상대적으로 작은 시간차를 가지는 2개의 영상 프레임의 차영상을 상기 단계(302)와 같은 방법으로 구하고, 단계(312)에서는 이와같이 얻는 차영상에서 도1과 같이 눈의 위치(103)를 구하는 단계이다.

눈의 위치는 차영상 프레임의 임의의 픽셀의 그레이값이 '1'값으로 일정한 갯수 이상 모여있을 경우를 눈 위치 후보로 정의한다.

즉, 도1과 같이 눈이 깜박이는 속도가 매우 빠르기 때문에 상대적으로 그 차영상에서 '1'값의 밀도가 높은 곳을 눈위치로 정의하는 것이다.

그 다음 단계(313)에서는 구해진 눈의 위치를 이용해서 얼굴후보 영역을 결정하는 단계로서, 두 눈의 위치와 미리 구성해둔 템플리트 내의 두 눈의 위치를 이용해서 템플리트 크기 조절을 한 후 그 조절된 템플리트를 두 눈의 위치에 맞게 배치하면 템플리트 영역이 바로 얼굴영역이 되는 것이다.

그 다음 단계(314)에서는 상기 단계(309)에서 구한 눈의 움직임을 이용하지 않는 얼굴영역과 단계(313)에서 구한 눈의 움직임을 이용한 얼굴영역을 이용해서 최종적으로 얼굴영역을 결정하는 단계이다.

여기서 최종적인 얼굴영역은 각각 구해진 얼굴영역들을 각각 템플리트 매칭하여 그 결과를 가중치로 하여 두 영역을 합침으로써 새로운 얼굴영역을 구할 수 있다.

이때 두 영역이 합칠수 있는 조건은 두 영역의 교집합의 영역넓이와 단계(312)에서 구한 얼굴영역의 넓이의 비가 소정의 임계치 이상인 것을 만족하는 경우로 정의한다.

이러한 조건을 만족하지 않을 경우는 두 결과가 독립된 얼굴의 영역일 가능성이 있으므로 각각 템플리트 매칭한 후 그 결과가 임계치 이상이면 그 영역을 얼굴영역이라고 정의한다.

한편, 눈의 움직임은 항상 나타나지 않으므로 단계(313)에서 눈의 움직임을 이용한 얼굴영역 추출이 실패한 경우가 나타날 수 있다.

그러므로 이와같이 눈의 움직임을 이용한 얼굴영역 추출이 실패한 경우에는 단계(309)에서 구한 눈의 움직임을 이용하지 않은 얼굴영역을 최종적인 얼굴영역으로 정의할 수도 있다.

이 경우에는 사용자가 얼굴영역을 추출하고자 할 때 정확하지 않더라도 일단 얼굴이 나타나는 구간에서는 항상 얼굴영역을 추출해 주기를 바라는 경우에 사용될 수 있다.

또는, 눈의 움직임을 이용한 경우와 그렇지 않은 경우 모두 성공할 경우에만 얼굴영역을 정의할 수도 있다.

이 경우에는 항상 얼굴영역을 추출하지 않더라도 추출된 얼굴영역은 정확하기를 바라는 경우에 사용될 수 있다.

도4는 본 발명의 얼굴영역 추출방법의 다른 실시예로서 인접 영상 프레임의 차영상으로부터 얼굴영역을 추출하고 살색정보를 추출하여 얼굴후보 영역을 구하고, 여기서 얼굴영역 조건을 만족하는 MBR이 없는 경우는 처음으로 돌아가서 작업을 다시하고, 얼굴영역 조건을 만족하는 MBR이 하나 이상 존재하는 경우에는 상대적으로 시간차가 작은 영상 프레임의 차영상으로부터 눈의 위치를 구하고 이 눈의 위치로부터 얼굴후보 영역을 구하고, 상기 2가지의 결과로부터 최종적인 얼굴영역을 결정하는 일련의 과정을 보이고 있다.

한편, 도4에 나타낸 얼굴영역 추출방법에서는 상기 도3과 동일한 과정에 대하여는 동일한 부호로 표기하여 중복되는 설명을 생략하며, 얼굴영역 조건을 만족하는 MBR을 추출하는 단계(309)의 실행결과에 대하여 MBR이 하나 이상 존재하는가를 판단(단계 309a)하여 MBR이 추출되지 않은 경우는 등장인물의 얼굴이 나타나지 않는 이미지로 간주하여 최초단계(301)로 돌아가서 눈의 움직임을 이용하지 않는 알고리즘에 의한 얼굴영역 추출을 재수행하고, MBR이 하나 이상 존재하는 경우에는 그 다음 단계(310)로 진행하여 눈의 움직임을 이용한 얼굴영역 추출을 수행하는 것이다.

본 발명은 얼굴과 눈의 움직임을 이용하여 얼굴영역을 추출하는 두개의 알고리즘 모듈을 조합하여 빠르고 정확하게 얼굴영역을 추출할 수 있다.

또한 본 발명은 사용자가 정확하지 않더라도 항상 얼굴영역을 추출해 주기를 바라는 경우와 항상 추출하지는 못하더라도 정확하게 얼굴영역을 추출해 주기를 바라는 경우 모두를 만족하는 얼굴검색 시스템을 제공할 수 있다.

또한 본 발명의 얼굴영역 추출방법을 얼굴인식을 이용한 보안 시스템에 적용하였을 때 고속으로 정확하게 얼굴을 찾아낼 수 있기 때문에 매우 효과가 크고, 또한 카메라를 통한 온라인 얼굴영역 추출이 요구되는 분야에 효과적으로 적용될 수 있다.

Claims (19)

1. 눈의 움직임을 이용하지 않는 임의의 얼굴영역 추출 알고리즘을 사용해서 얼굴이 있을 가능성이 있는 후보구간을 결정하는 단계,

   상기 후보구간 내에 속하는 프레임들에 대해서, 두 프레임의 차영상을 이용하여 눈의 움직임을 이용한 눈의 위치를 결정하는 단계,

   상기 단계에서 눈의 움직임에 의해 눈의 위치가 결정되었을 경우, 눈의 위치를 참조하여 얼굴 영역을 결정하는 단계,

   상기 단계에서 눈의 움직임에 의해 눈의 위치가 결정되지 않았을 경우, 눈의 움직임을 이용하지 않는 임의의 얼굴 영역 추출 알고리즘 결과만을 사용하여 얼굴 영역을 결정하는 단계; 를 포함하여 이루어진 것을 특징으로 하는 얼굴영역 추출방법.
2. 삭제
3. 제 1 항에 있어서, 상기 눈의 움직임을 이용하지 않는 임의의 얼굴영역 추출 알고리즘을 사용해서 얼굴후보 영역을 결정하는 과정은 소정의 시간차를 가지는 두개의 연속된 영상 프레임의 차이로부터 얼굴의 움직임을 구하여 얼굴후보 영역을 결정하는 것을 특징으로 하는 얼굴영역 추출방법.
4. 제 3 항에 있어서, 상기의 차영상과 함께 살색정보를 고려하여 얼굴후보 영역을 결정하는 것을 특징으로 하는 얼굴영역 추출방법.
5. 삭제
6. 삭제
7. 제 1 항에 있어서, 상기 눈의 위치와 미리 구성해둔 템플리트 내의 눈의 위치를 이용해서 템플리트의 크기 조절을 한 후, 이 조절된 템플리트를 눈의 위치에 맞게 배치하여 템플리트 영역을 얼굴 영역으로 결정하는 것을 특징으로 하는 얼굴영역 추출방법.
8. 제 1 항에 있어서, 상기 눈의 움직임을 이용하지 않는 얼굴후보 영역과 눈의 움직임을 이용한 얼굴후보 영역에 대하여 각각의 신뢰도를 측정하고, 그 측정된 신뢰도를 가중치로 하여 두 결과를 합한 최종적인 얼굴영역을 결정하는 것을 특징으로 하는 얼굴영역 추출방법.
9. 제 8 항에 있어서, 상기 신뢰도 측정은 눈의 움직임을 이용하지 않는 얼굴후보 영역과 눈의 움직임을 이용한 얼굴후보 영역에 대하여 각각 템플리트 매칭을 수행하고 그 결과를 가중치로 하여 두 영역을 합침으로써 최종적인 얼굴영역을 결정하는 것을 특징으로 하는 얼굴영역 추출방법.
10. 제 1 항에 있어서, 상기 눈의 움직임을 이용한 얼굴영역 추출 알고리즘을 사용해서 얼굴후보 영역을 결정하는 과정은 얼굴의 출현 가능성이 있는 구간내에서 수행하는 것을 특징으로 하는 얼굴영역 추출방법.
11. 제 10 항에 있어서, 상기 얼굴의 출현 가능성이 있는 구간은 상기 눈의 움직임을 이용하지 않는 얼굴영역 추출 알고리즘을 사용해서 얼굴후보 영역을 결정하는 과정에서 고려한 영상구간내에서 실행함을 특징으로 하는 얼굴영역 추출방법.
12. 제 1 항에 있어서, 상기 눈의 움직임을 이용하지 않는 얼굴후보 영역과 눈의 움직임을 이용한 얼굴후보 영역이 서로 겹치지 않는 경우는 각각의 얼굴후보 영역을 독립된 얼굴영역으로 결정하는 것을 특징으로 하는 얼굴영역 추출방법.
13. 제 1 항에 있어서, 상기 눈의 움직임을 이용하지 않는 얼굴후보 영역과 눈의 움직임을 이용한 얼굴후보 영역의 교집합의 넓이와 눈의 움직임을 이용한 얼굴후보 영역의 넓이의 비에 따라 두 영역을 합칠수 있는가를 판정하여 독립된 얼굴영역 또는 하나의 얼굴영역을 결정하는 것을 특징으로 하는 얼굴영역 추출방법.
14. 삭제
15. 제 1 항에 있어서, 상기 눈의 움직임을 이용하지 않는 얼굴후보 영역과 눈의 움직임을 이용한 얼굴후보 영역을 모두 구한 경우에만 얼굴영역을 정의하는 것을 특징으로 하는 얼굴영역 추출방법.
16. 얼굴을 구성하는 요소중에서, 소정의 시간차를 가지는 두개의 연속된 영상 프레임의 차영상으로부터 눈의 위치를 검색하는 과정과, 상기 검색된 눈의 위치를 미리 구성해둔 템플리트 내의 눈의 위치와 매칭시켜 그 매칭된 템플리트 영역을 얼굴영역으로 결정하는 과정으로 이루어짐을 특징으로 하는 얼굴영역 추출방법.
17. 삭제
18. 소정의 시간차를 가지는 연속된 두 영상 프레임의 차로부터 적어도 2개의 얼굴 구성요소의 움직임을 구하고 이 얼굴 구성요소의 움직임을 기반으로 하여 얼굴 후보 영역을 구하되, 상대적으로 큰 시간차를 가지는 얼굴 구성요소에 대하여 얼굴후보 영역이 구해진 경우에 그 구간내에서 상대적으로 작은 시간차를 가지는 다른 얼굴 구성요소에 대하여 얼굴후보 영역을 구하는 과정과,

    상기 구해진 각각의 얼굴 구성요소의 움직임에 기반하는 얼굴후보 영역에 대하여 그 신뢰도를 측정하여 신뢰도에 따라 최종적인 얼굴영역을 결정하는 것을 특징으로 하는 얼굴영역 추출방법.
19. 삭제