KR100311952B1 - 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법 - Google Patents

Abstract

본 발명은 동영상에 있어 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법에 관한 것이다.

즉, 본 발명은 임의의 알고리즘을 적용하여 한 프레임에 등장하는 얼굴 영역들을 추출하는 초기 얼굴영역 추출모듈과 한번 추출된 얼굴영역을 바탕으로 제한된 유효범위내에서 탬플리트 매칭을 행하는 유효범위 조건 얼굴영역 추출모듈를 사용하므로서, 탬플리트 매칭을 사용하는 구간에서 매칭횟수를 줄이면서 빠른 프로세싱으로 동영상의 얼굴영역을 빠르고 정확하게 추출하고자 하는 것이다.

또한, 본 발명은 이전단계에서 추출되었던 얼굴영역을 기준으로 탬플리트 매칭을 수행한 후 가장 점수가 높은 탬플리트 영역을 얼굴영역으로 정하거나, 이전단계에서 적용했던 탬플리트 매칭 종류를 기준으로 매칭순서를 정하여 그 순서대로 검색하고, 또는 캡쳐된 매 프레임마다 탬플리트 매칭을 행하지 않고 각 얼굴마다 최근의 움직임 속도를 이용하여 탬플리트 매칭할 프레임을 선택하므로서, 한번 찾아낸 얼굴은 시간이 지나더라도 추적할수 있도록 하고, 더불어 얼굴영역을 추출하는 과정에서 새로운 인물이 등장하더라도 새로운 인물의 얼굴영역을 함께 추출할수 있도록 하는 것이다.

Description

유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법{METHOD OF FACE TERRITORY EXTRACTION USING THE TEMPLATES MATCHING WITH SCOPE CONDITION}

본 발명은 동영상에 있어 임의의 알고리즘을 적용하여 한 프레임에 등장하는 얼굴 영역들을 추출하는 초기 얼굴영역 추출모듈과 한번 추출된 얼굴영역을 바탕으로 제한된 유효범위내에서 탬플리트 매칭을 행하는 유효범위 조건 얼굴영역 추출모듈를 사용하여 동영상에서 빠르고 정확하게 얼굴영역을 추출할수 있도록 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법에 관한 것이다.

특히, 한번 찾아낸 얼굴은 시간이 지나더라도 추적할수 있도록 하고, 더불어 얼굴영역을 추출하는 과정에서 새로운 인물이 등장하더라도 새로운 인물의 얼굴영역을 함께 추출할수 있도록 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법에 관한 것이다.

일반적으로, 얼굴인식 문제가 크게 제기되면서 영상에서 얼굴영역을 추출하는 문제가 매우 중요하게 부각되고 있다.

동영상에서 오브젝트 영역을 추출하는 방법에는 크게 하나의 프레임 안에서 정지영상 정보만을 이용한 영역추출방법과 프레임들 사이의 시간적인 정보를 함께 이용하는 영역추출방법으로 나눌수 있는 바, 이의 대표적인 사례는 다음과 같다.

[1]. 'Pedestrian Detection Using Wavelet Templates' CVPR97, JuneJun 17-19, Michael Oren, MIT

이는 일반적인 얼굴영역 추출 알고리즘으로 하나 이상의 사람 얼굴 탬플리트를 사전에 구성하여 이미지 전 영역을 탬플리트 최소 사이즈에서 출발하여 최대 사이즈까지 크기 조절을 해가며 스캔 및 매칭해 나가는 방법이다.

그러나, 상기와 같은 영역추출방법[1]은 탬플리트 매칭횟수가 매우 많아지고더불어 탬플리트 크기가 작아도 프로세싱 시간이 매우 크게 소요되는 단점이 있다.

[2]. 'Automatic Extraction of Face from Color Reversal Film Using Statistical Multistep Filtering Technique' ACCV'95 Second Asian Conf.On Computer Vision. December 5-8

-Extraction of skin color pixels : RGB color 시스템을 HSV color도메인으로 변환한 후 skin-color pixel을 추출한다.

-Segmentation of skin-color region : 추출된 skin-color 영역을 edge detection, hole filling, gap filling operation을 사용하여 Sementation 한다.

-Classification of region : 미리 평가용으로 준비된 패턴을 이용하여 사람 얼굴영역임을 확인한다.

그러나, 상기와 같은 추출영역 방법 [2]는 살색 정보가 인종에 따라 다르고 사람에 따라 상당히 다를수 있을뿐만 아니라 같은 사람이라도 조명등 주위 환경에 따라 매우 달라질수 있고 더불어 정지영상만을 이용하므로, 동영상에 비해 적은 정보만을 사용하여 그만큼 정확성이 떨어질뿐만 아니라 color space를 RGB에서 HVS로 변환하므로 그만큼 많은 프로세스 시간이 요구되는 문제점이 있다.

[3]. Facelt(Visionics Corporation)

카메라 화면에서 사람이 움직이면 자동적으로 사람 얼굴영역을 추출하고 이미 등록된 사람이면 그가 누구인지 확인하는 기능을 갖는 툴킷이다.

그러나, 상기와 같은 영역추출 방법 [3]은 정지영상에서 사람 얼굴을 찾는 방법으로 차영상을 이용한 물체의 전체적인 움직임과 신경망을 이용한 얼굴 확인방법을 사용하는 바,

차영상에 잡힌 움직임은 사람 얼굴 이외의 몸의 움직임과 그 밖의 노이즈가 포함되면서 움직임이 존재하는 영역내에서 다시 얼굴영역을 추출하는 작업을 하여야 어려운 문제점이 있다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 임의의 알고리즘(예; 종래 영역 추출방법 [1][2][3] 중 어느 하나)을 적용하여 한 프레임에 등장하는 얼굴 영역들을 추출하는 초기 얼굴영역 추출모듈과 한번 추출된 얼굴영역을 바탕으로 제한된 유효범위내에서 탬플리트 매칭을 행하는 유효범위 조건 얼굴영역 추출모듈를 사용하므로서, 탬플리트 매칭을 사용하는 구간에서 매칭횟수를 줄이면서 빠른 프로세싱으로 동영상의 얼굴영역을 빠르고 정확하게 추출하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법을 제공함에 있다.

다른 한편으로, 이전단계에서 추출되었던 얼굴영역을 기준으로 탬플리트 매칭을 수행한 후 가장 점수가 높은 탬플리트 영역을 얼굴영역으로 정하거나, 이전단계에서 적용했던 탬플리트 매칭 종류를 기준으로 매칭순서를 정하여 그 순서대로 검색하고, 또는 캡쳐된 매 프레임마다 탬플리트 매칭을 행하지 않고 각 얼굴마다 최근의 움직임 속도를 이용하여 탬플리트 매칭할 프레임을 선택하므로서, 한번 찾아낸 얼굴은 시간이 지나더라도 추적할수 있도록 하고, 더불어 얼굴영역을 추출하는 과정에서 새로운 인물이 등장하더라도 새로운 인물의 얼굴영역을 함께 추출할수 있도록 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법을 제공하는것이다.

도 1은 본 발명 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법의 일실시예를 보인 플로우챠트.

도 2는 본 발명의 일실시예에 있어 제한된 유효범위와 얼굴영역을 추출하기 위한 프레임간의 간격을 통해 오브젝트의 이동속도에 적응적으로 축적하여 탬플리트 매칭을 수행하는 다른 실시예를 보인 플로우챠트.

도 3은 본 발명의 일실시예에 있어 유효범위 값의 결정을 위한 도면.

도 4의 a∼i는 본 발명의 일실시예에 있어 단순 이동 매칭 종류를 보인 상태도.

도 5의 j∼s는 본 발명의 일실시예에 있어 스케일 이동 매칭 종류를 보인 상태도.

도 6은 본 발명의 일실시예에 있어 각 매칭종류와의 유사도 거리를 표시한 도표.

이하, 첨부된 도면에 의거하여 본 발명 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법의 일실시예를 설명하면 다음과 같다.

도 1은 본 발명 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법의 일실시예를 보인 플로우챠트로서 그 진행단계는,

하나의 프레임 안에서 정지영상 정보만을 이용하거나 프레임들 사이의 시간적인 정보를 함께 이용하여 동영상에서 오브젝트 영역을 추출하는 방법에 있어서,

임의의 알고리즘(예; 종래 영역 추출방법 [1][2][3] 중 어느 하나)을 적용하여 현재 입력되는 한 프레임에 등장하는 얼굴영역들을 추출하는 단계와;

상기에 의해 하나 이상의 얼굴영역이 추출되면 추출된 얼굴영역들을 바탕으로 하여 유효범위 조건의 탬플리트 매칭을 수행하는 단계와;

상기 유효범위 조건의 탬플리트 매칭결과 초기 얼굴영역 추출에서 추출된 얼굴영역들 중 하나라도 추출에 성공하지 못하면 지금까지 추출했던 사람의 얼굴이 화면에서 사라질때 발생하는 문제를 해결하도록 다시 초기 얼굴영역 추출을 수행하는 단계와;

상기 유효범위 조건의 탬플리트 매칭결과 초기 얼굴영역 추출에서 추출된 얼굴영역들의 프레임 유효시간(주기)이 지나면 다시 초기 얼굴영역 추출을 수행하는 단계; 로 진행하며,

상기 초기 얼굴영역 추출의 역할이 새로운 사람의 등장 또는 퇴장으로 인해유효범위 조건 탬플리트 매칭으로 추출된 얼굴영역들을 변화시킬 필요가 있을 경우 이미 이전 프레임에서 유효범위 조건 탬플리트 매칭을 통하여 추출된 얼굴영역은 제외시키고 그 나머지 영역만을 대상으로 초기 얼굴영역 추출을 수행하도록 하였다.

그리고, 도 2는 본 발명의 일실시예에 있어 제한된 유효범위와 얼굴영역을 추출하기 위한 프레임간의 간격을 통해 오브젝트의 이동속도에 적응적으로 축적하여 탬플리트 매칭을 수행하는 다른 실시예를 보인 플로우챠트로서 그 진행단계는,

현재 입력되는 프레임의 시간(t)과 이전단계에서 얼굴영역을 추출했던 프레임의 시간(t')+{프레임간의 시간간격(Δt)× n (n은 이전단계에서 처음으로 변화되면서 탬플리트로 매핑된 프레임 간격으로 Δt×n을 지난 프레임에서 이동/스케일이 나타나는 것임)을 비교판단하는 단계와;

상기 비교결과 t＜t'+(Δt×n)이면 현재 입력되는 프레임의 시간(t)에 프레임간의 시간간격(Δt)을 증가시키고, t＜t'+(Δt×n)가 아니면 유효범위 조건 탬플리트 매칭을 한 후 그 성공여부를 판단하는 단계와;

상기의 판단결과 유효범위 조건 탬플리트 매칭이 성공이면 이전단계에서 얼굴영역을 추출했던 프레임의 시간(t')을 현재 입력되는 프레임의 시간(t)으로 세팅하고, 현재 입력되는 프레임의 시간(t)에 프레임간의 시간간격(Δt)을 더하여 증가(t+Δt)시키는 단계와;

상기 판단결과 유효범위 조건 탬플리트 매칭이 성공하지 못하면 탬플리트 매칭을 행할 n번째 캡쳐된 프레임의 시간{t'+(Δt×n)}에서 n≥1을 비교하는 단계와;

상기 비교결과 탬플리트 매칭을 행할 n번째 캡쳐된 프레임(n)과 프레임간의 캡쳐된 프레임이 n≥1이 아니면 실패한 유효범위 조건 탬플리트 매칭 결과를 검출하고, 탬플리트 매칭을 행할 n번째 캡쳐된 프레임(n)과 프레임간의 캡쳐된 프레임이 n≥1이면 탬플리트 매칭을 행할 n번째 캡쳐된 프레임(n)을 감소(n=n-1)시키는 단계와;

상기에 의해 탬플리트 매칭을 행할 n번째 캡쳐된 프레임(n)이 감소되면 현재 프레임의 시간(t)에서 프레임간의 시간간격(Δt)을 감소시켜 탬플리트 매칭을 수행한 후 그 성공여부를 판단하는 단계; 로 진행하는 것이다.

이와같이 진행되는 본 발명의 일실시예로서 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법의 작용을 도 1 내지 도 6를 참조하여 설명하면 다음과 같다.

먼저, 프레임이 입력되면, 상기 입력되는 현재의 한 프레임이 맨 처음으로 입력되었는지를 판단한다.

이때, 상기 입력되는 현재의 한 프레임이 맨 처음 입력이면 임의의 알고리즘을 적용하여 현재 입력되는 한 프레임에서 등장하는 얼굴영역들을 추출한 후 하나 이상의 얼굴영역들을 바탕으로 유효범위 조건의 탬플리트 매칭을 수행한다.

그리고, 상기 유효범위 조건의 탬플리트 매칭결과 초기 얼굴영역 추출에서 추출된 얼굴영역들 중 하나라도 추출에 성공하지 못하면 지금까지 추출했던 사람의 얼굴이 화면에서 사라질때 발생하는 문제를 해결하도록 다시 초기 얼굴영역 추출을 수행한다.

만약, 성공하면 COUNT를 증가(COUNT=COUNT+1)시키고 다음 프레임 입력단계로 간다.

또한, 상기 유효범위 조건의 탬플리트 매칭결과 초기 얼굴영역 추출에서 추출된 얼굴영역들의 프레임 유효시간(주기)이 지나면(COUNT＜주기), 다시 초기 얼굴영역 추출을 수행하는 것이다.

여기서, 초기 얼굴영역 추출과정을 행할때 마다 전체 이미지 영역을 대상으로 행할수도 있으나 이미 이전 프레임에서 유효범위 조건 탬플리트 매칭을 통하여 추출된 얼굴영역은 제외시키고 그 나머지 영역만을 대상으로 초기 얼굴영역 추출을 수행하도록 하였다.

이는 초기 얼굴영역 추출의 역할이 새로운 사람의 등장 또는 퇴장으로 인해 유효범위 조건 탬플리트 매칭으로 추출된 얼굴영역들을 변화시키므로서, 지금까지 추출했던 사람 이외의 다른 사람 얼굴이 등장했을때 그 사람 얼굴도 추가로 함께 추출할수 있도록 하기 위한 것이다.

한편, 상기 초기 얼굴영역 추출은 이전 얼굴영역 추출정보는 이용하지 않고 현재의 프레임만을 이용하고, 상기 초기 얼굴영역 추출 과정에 적용되는 알고리즘은 탬플리트 매칭방법과 차영상 및 살색정보를 이용하도록 하였다.

즉, 상기 탬플리트 매칭방법은 사전에 정의된 탬플리트를 일정크기 범위내에서 크기 변환하면서 이미 전체 영역을 스캔하고 얼굴영역을 추출하는 바,

이는 하나의 프레임만을 가지고도 등장한 사람들의 얼굴영역을 모두 추출할수 있는 장점이 있는 반면 프로세싱 시간이 매우 많이 요구되는 단점이 있다.

또한, 상기 차영상과 살색정보를 이용하는 방법은 시간적으로 다른 연속된 두 프레임에서 차영상을 추출하고, 움직임이 있는 영역중에서 살색범위에 속하는 색을 갖는 영역을 얼굴영역 후보로 결정하는 바,

이는 매우 빠른 프로세싱이 가능하나 두 프레임이 필요하고 얼굴의 움직임이 없을 경우에는 추출실패를 초래하는 단점이 있다.

이에 본 발명은 상기의 알고리즘을 적용하여 현재 입력되는 한 프레임에서 등장하는 얼굴영역만을 추출한 후, 상기 추출된 얼굴영역들을 바탕으로 유효범위 조건의 탬플리트 매칭을 수행하면서 매우 빠른 속도의 프로세싱이 가능하도록 한 것이다.

다시말해, 본 발명의 유효범위 조건 탬플리트 매칭은 사전에 유효범위를 정의하고 그 범위 안에서만 탬플리트 매칭을 수행하는 바,

상기 유효범위는 프레임의 시간 간격내에 얼굴이 움직일수 있는 최대범위로 정의하는데 이는 한 이미지에 등장한 각 얼굴영역마다 정의하게 된다.

또한, 상기 유효범위값의 결정은 도 3에 도시된 바와같이 최대 유효범위는 원래의 얼굴영역에서 사방 이동가능거리(d)만큼 확장된 범위를 말한다.

즉, 원래의 얼굴영역을 d/2만큼 이동하여 탬플리트 매칭하여도 얼굴영역임을 확인하는데 영향을 주지 못하는 최대한의 이동가능거리(d)로 정의하게 되는 바,

상기 이동가능거리(d)가 결정되면 프레임간의 시간간격(Δt)은,

와 같이 된다.

여기서, v는 이동가능속도로 사전 데이타를 이용하여 얼굴영역의 움직임 속도를 조사하여 그 중 최대속도로 정하므로, 두 프레임간에 일어날수 있는 얼굴영역의 이동 가능한 최대 거리는 항상 d보다 작음을 보장하게 된다.

또한, 상기 이동가능거리(d)는 탬플리트 크기와 관계가 없으며, 상기 이동가능거리(d)를 프레임간의 시간간격(Δt)을 현재의 프레임에 적용하고 있는 탬플리트 크기에 따라 다르게 설정할수도 있다.

따라서, 도 4 및 도 5에 도시된 바와같이(가는 실선은 원영상, 굵은 실선은 탬플리트 매칭에 의해 이동한 영상), 실제 유효범위내에서 탬플리트 매칭을 하기 위한 매칭종류는 단순이동매칭과 스케일 이동매칭으로 나눈다.

즉, 상기 단순이동 매칭에 있어 8방향 매칭을 사용할 경우에는 도 3의 a∼i까지 9가지이고, 4방향을 사용할 경우에는 도 3의 b,d,f,h,i 등 5가지이며, 상기 스케일 이동매칭은 확대스케일과 축소스케일로 각각 구분되는 10가지로 구분한다.

이때, 하나의 얼굴영역을 찾기 위한 매칭종류로 8방향 매칭을 수행할 경우에는 모두 19가지이고, 4방향 매칭을 수행할 경우에는 모두 15가지로 구분되는 바,

상기 유효범위 탬플리트 매칭방법은 상기 단순이동매칭과 스케일 이동매칭을 근거로 하여 전체 매칭과, 모션예측 매칭, 모션-속도 예측 매칭으로 나눌수 있다.

상기 전체 매칭은 상기 설명된 19가지의 매칭종류를 순서대로 모두 매칭한 다음 가장 높은 점수를 얻는 매칭영역을 얼굴영역으로 정하므로서 그 정확성을 높일수 있다.

그리고, 상기 모션예측 매칭은 이전 단계에서의 얼굴영역 움직임을 바탕으로현재의 얼굴영역을 예측하는 바,

이는 가능성 높은 매칭종류를 예측하여 그 순서대로 매칭하다가 특정 임계치를 넘는 높은 매칭점수를 얻을때 그 매칭영역을 얼굴영역으로 보고 그 이후에는 더 이상 매칭을 하지 않는 것이다.

즉, 이는 매칭횟수가 적으므로 빠른 속도에 유리하며 매칭종류의 예측은 바로 이전단계에서 매칭된 매칭종류와 유사도 거리가 가까운 순서로 정할수 있게 되는 것이다.

이때, 각 매칭종류는 얼굴의 움직임을 대표하므로 이전단계에서 매칭된 매칭종류는 이전단계에서의 얼굴영역 움직임을 의미하는 바,

얼굴의 움직임이 연속된다고 가정할때 이전단계에서 매칭된 매칭종류가 현 단계에서도 얼굴로 매칭될 확률이 높게 된다.

다시말해, 각 매칭종류와의 유사도 거리는 실험을 통해 얻어진 도 5에 도시되어 있는 바, 같은 매칭종류는 그 거리가 0이므로 예측시 처음 행하는 매칭종류는 바로 이전단계에 행했던 매칭종류가 되며, 이는 바로 이전단계에서 일어났던 움직임이 그 다음 단계에서도 연속될 확률이 높을때 효과적으로 사용할수 있는 것이다.

또한, 상기 모션-속도 예측매칭은 정의된 두 프레임간의 시간간격(Δt)동안 프레임에 등장하는 얼굴 중 어떤 얼굴영역은 최대 이동가능거리(d)만큼 움직이기도 하지만, 어떤 얼굴영역은 그보다 느린 속도로 움직이기도 하는 바,

어떤 얼굴영역이 두 프레임간의 시간간격(Δt)동안 d/n만큼 움직이는 속도를 갖는다면 이 영역은 Δt×(n/2) 이후에 캡쳐된 프레임에서 움직임으로 인한 이동된얼굴영역으로 추출될 것이며 그 이전에는 기존의 얼굴영역으로 추출된다.

그러므로, 캡쳐된 매 프레임마다 얼굴영역을 추출할 필요없이 Δt×n시간이 지나서 캡쳐된 프레임에서 유효범위 탬플리트 매칭을 하면 되며, Δt×n 시간이 지나서 캡쳐된 프레임은 이후 n번째 캡쳐된 프레임이 되는 것이다.

이를 보다 구체적으로 설명하면 다음과 같다.

도 2에 도시된 바와같이, 제한된 유효범위와 얼굴영역을 추출하기 위한 프레임간의 간격은 가장 최근에 매칭된 프레임과 그 이전단계 중 가장 최근에 매칭된 프레임간의 캡쳐된 프레임수로 결정되는 바,

상기 제한된 유효범위와 얼굴영역을 추출하기 위한 프레임간의 간격을 통해 오브젝트의 이동속도에 적응적으로 축적하여 수행하는 탬플리트 매칭은,

먼저, 현재 입력되는 프레임의 시간(t)을 이전단계에서 얼굴영역을 추출했던 프레임의 시간(t')+{프레임간의 시간간격(Δt)× n}을 비교한다.

이때, 상기 비교결과 t＜t'+(Δt×n)이면 현재 입력되는 프레임의 시간(t)에 프레임간의 시간간격(Δt)을 증가시키고, 만약 t＜t'+(Δt×n)가 아니면 유효범위 조건 탬플리트 매칭을 한 후 그 성공여부를 판단하게 된다.

이후, 상기 유효범위 조건 탬플리트 매칭이 성공이면 이전단계에서 얼굴영역을 추출했던 프레임의 시간(t')을 현재 입력되는 프레임의 시간(t)으로 세팅하고, 현재 입력되는 프레임의 시간(t)에 프레임간의 시간간격(Δt)을 증가시킨다.

또한, 상기 유효범위 조건 탬플리트 매칭이 성공하지 못하면 탬플리트 매칭을 행할 n번째 캡쳐된 프레임(n)이 있을때 (n≥1)을 비교하게 되는 바,

상기 비교결과 탬플리트 매칭을 행할 n번째 캡쳐된 프레임(n)과 프레임간의 캡쳐된 프레임이 (n≥1)이 아니면 실패한 유효범위 조건 탬플리트 매칭 결과를 검출하게 되는 것이다.

한편, 상기의 비교결과 탬플리트 매칭을 행할 n번째 캡쳐된 프레임(n)과 프레임간의 캡쳐된 프레임이 (n≥1)이면 탬플리트 매칭을 행할 n번째 캡쳐된 프레임(n)을 감소(n=n-1)시킨 후 현재 프레임의 시간(t)에서 프레임간의 시간간격(Δt)을 감소시켜 탬플리트 매칭을 수행하게 된다.

여기서, 상기 n은 이전단계에서 처음으로 변화되면서 탬플리트로 매핑된 프레임 간격으로 Δt×n을 지난 프레임에서 이동/스케일이 나타난다.

즉, 얼굴의 모션이 연속적이지 않을 경우에는 Δt×n 시간이 지나서 캡쳐된 프레임에서 유효반경을 넘어 얼굴이 나타나는 경우가 생길수 있기 때문이다.

다시말해, 도 4 및 도 5에서와 같이 19가지 매칭종류 모두가 임계치를 넘는 점수를 내지 못하므로 이 경우에는 다시 이미 지나친 Δt×(n-1) 프레임에서 Δt프레임까지 얼굴영역의 추출이 성공할때까지 유효반경 탬플리트 매칭을 수행하는 바,

이는 미리 정의된 몇번의 매칭 종류만큼만 탬플리트 매칭을 하게 되므로서 얼굴영역의 추출과 매우 빠른 프로세싱이 가능하게 되는 것이다.

이상에서 설명한 바와같이 본 발명은 이미지 전체 영역에서 얼굴영역을 추출하는 주기적인 초기 얼굴영역 추출과 유효범위 조건 탬플리트 매칭을 함께 사용하므로서, 탬플리트 매칭을 사용하는 구간에서 매칭횟수를 줄이면서 빠른 프로세싱으로 동영상의 얼굴영역을 빠르고 정확하게 추출할수 있도록 하는 한편, 이전단계에서 추출되었던 얼굴영역을 기준으로 탬플리트 매칭을 수행한 후 가장 점수가 높은 탬플리트 영역을 얼굴영역으로 정하거나, 이전단계에서 적용했던 탬플리트 매칭 종류를 기준으로 매칭순서를 정하여 그 순서대로 검색하고, 또는 캡쳐된 매 프레임마다 탬플리트 매칭을 행하지 않고 각 얼굴마다 최근의 움직임 속도를 이용하여 탬플리트 매칭할 프레임을 선택하므로서, 한번 찾아낸 얼굴은 시간이 지나더라도 추적할수 있도록 하고, 더불어 얼굴영역을 추출하는 과정에서 새로운 인물이 등장하더라도 새로운 인물의 얼굴영역을 함께 추출할수 있는 것이다.

Claims (13)

1. 하나의 프레임 안에서 정지영상 정보만을 이용하거나 프레임들 사이의 시간적인 정보를 함께 이용하여 동영상에서 오브젝트 영역을 추출하는 방법에 있어서,

   임의의 알고리즘을 적용하여 한 프레임에 등장하는 얼굴 영역들을 추출하는 초기 얼굴영역 추출단계와;

   상기 단계에 의해 한번 추출된 얼굴영역을 바탕으로 제한된 유효범위내에서 탬플리트 매칭을 행하는 유효범위 조건 얼굴영역 추출단계; 로 진행함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
2. 제 1 항에 있어서, 상기 초기 얼굴영역 추출은 이전 얼굴영역 추출정보는 이용하지 않고 현재의 프레임만을 이용함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
3. 제 1 항에 있어서, 초기 얼굴영역 추출단계에 의해 하나 이상의 얼굴영역이 추출되면 추출된 얼굴영역들을 이용하여 유효범위 조건의 탬플리트 매칭을 수행하는 단계와;

   상기 유효범위 조건의 탬플리트 매칭 결과 초기 얼굴영역 추출단계에서 추출된 얼굴영역들 중 하나라도 추출에 성공하지 못하면 다시 초기 얼굴영역 추출을 수행하는 단계와;

   초기 얼굴영역 추출에서 캡쳐된 프레임의 유효시간이 지나면 다시 초기 얼굴영역 추출을 수행하는 단계; 를 더 포함하여 진행시킴을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
4. 제 1 항에 있어서, 상기 제한된 유효범위는 사전학습을 통하여 프레임의 시간 간격동안 얼굴이 움직일수 있는 최대범위를 구한 후 그 최대범위를 이용하여 다음 프레임에서 얼굴영역이 나타날 가능성이 있는 범위로 결정함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
5. 제 1 항 또는 제 4 항에 있어서, 상기 제한된 유효범위와 얼굴영역을 추출하기 위한 프레임간의 간격은, 가장 최근에 매칭된 프레임과 그 이전단계 중 가장 최근에 매칭된 프레임간의 캡쳐된 프레임수로 결정함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
6. 제 1 항 또는 제 3 항에 있어서, 상기 초기 얼굴영역 추출에 있어 새로운 사람의 등장이나 퇴장으로 인해 유효범위 조건 탬플리트 매칭으로 추출된 얼굴영역들을 변화시킬 경우 이미 이전 프레임에서 유효범위 조건 탬플리트 매칭을 통하여 추출된 얼굴영역은 제외하고 그 나머지 영역만을 대상으로 초기 얼굴영역 추출을 수행함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
7. 동영상에서 제한된 유효범위와 얼굴영역을 추출하기 위한 프레임간의 간격을 통해 오브젝트의 이동속도에 적응적으로 축적하여 탬플리트 매칭을 수행하는 방법에 있어서,

   현재 입력되는 프레임의 시간과 이전단계에서 얼굴영역을 추출했던 프레임의 시간+프레임간의 시간간격×n을 비교한 후 유효범위 조건의 탬플리트 매칭을 수행하는 단계와;

   상기 유효범위 조건 탬플리트 매칭이 성공이면 이전단계에서 얼굴영역을 추출했던 프레임의 시간을 현재 입력되는 프레임의 시간으로 세팅하고, 현재 입력되는 프레임 시간에 프레임간의 시간간격을 증가시키는 단계와;

   상기 판단결과 유효범위 조건 탬플리트 매칭이 성공하지 못하면 탬플리트 매칭을 행할 n번째 캡쳐된 프레임에서 (n≥1)을 비교하는 단계와;

   상기 비교결과에 따라 실패한 유효범위 조건 탬플리트 매칭결과를 검출하거나 탬플리트 매칭을 행할 n번째 캡쳐된 프레임과 현재 프레임의 시간에서 프레임간의 시간간격을 감소시켜 다시 유효범위 탬플리트 매칭을 수행하는 단계; 로 진행함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
8. 제 7 항에 있어서, 상기 유효범위 조건 내에서의 탬플리트 매칭은 이동방향과 크기조절을 고려하여 8방향 또는 4방향으로 구분되는 단순이동매칭과, 확대스케일/축소스케일로 각각 구분되는 스케일 이동매칭을 사용함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
9. 제 7 항 또는 제 8 항에 있어서, 상기 유효범위 조건에서의 탬플리트 매칭은 정해진 시간간격으로 캡쳐된 매 프레임마다 이전단계에서 추출된 얼굴영역을 기준으로 각 얼굴영역마다 단순이동매칭과 스케일 이동매칭을 모두 수행하되,

   그 중 가장 점수가 높은 탬플리트 영역을 얼굴영역으로 결정함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
10. 제 7 항 또는 제 8 항에 있어서, 상기 유효범위 조건에서의 탬플리트 매칭은 이전단계의 얼굴모션을 이용하여 현재의 얼굴영역을 예측하기 위해 이전단계에 적용되었던 매칭종류를 기준으로 매칭순서를 정하되,

    상기 정해진 순서로 검색하여 탬플리트 영역을 결정함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
11. 제 7 항 또는 제 8 항에 있어서, 상기 유효범위 조건에서의 탬플리트 매칭은 정해진 시간간격으로 캡쳐된 매 프레임마다 모든 얼굴영역을 탬플리트 매칭을 하지 않고, 각 얼굴마다 최근의 움직임 속도를 이용하여 탬플리트 매칭할 프레임을 선택하여 탬플리트 영역을 결정함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
12. 제 7 항에 있어서, 얼굴이 화면에서 사라지거나 탬플리트 매칭 과정에서 얼굴을 놓쳤을 경우 탬플리트 매칭점수를 사용하여 얼굴영역을 재추출하고,

    새로운 사람이 등장했을 경우에는 그 사람의 얼굴영역을 추가하여 함께 추출할수 있도록 초기 얼굴 영역추출을 다시 적용함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.
13. 제 9 항에 있어서, 상기 가장 높은 매칭점수인 탬플리트 영역을 얼굴영역으로 결정함에 있어, 매칭점수가 임계치 이상이면 얼굴영역이라 보고 매칭을 중단함을 특징으로 하는 유효범위 조건 탬플리트 매칭을 이용한 얼굴영역 추출방법.