KR20100015347A

KR20100015347A - 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출

Info

Publication number: KR20100015347A
Application number: KR1020097020655A
Authority: KR
Inventors: 에란 스테인버그; 페트로넬 비지오이; 피터 코코란; 미흐네아 간제아; 스태반 미랠 배트레스쿠; 안드레이 바실리우; 가브리엘 코스타체; 알렉산드루 드림바리안
Original assignee: 포토네이션 비젼 리미티드
Priority date: 2007-03-05
Filing date: 2007-07-23
Publication date: 2010-02-12
Also published as: US8923564B2; US9224034B2; US20140153780A1; JP2010520684A; WO2008107002A1; KR101247147B1; US8649604B2; US20160104032A1; EP2188759A1; JP4970557B2; US20150169941A1; US20100272363A1

Abstract

영상 내에서 얼굴을 검출하는 방법은 제 1 위치에 있는 영상의 제 1 윈도우 내에서 얼굴 검출을 수행하는 단계를 포함한다. 상기 제 1 위치에서 또는 그의 근방에서 얼굴을 포함하는 영상의 가능성을 나타내는 신뢰 수준을 상기 얼굴 검출로부터 얻는다. 그런 후, 제 2 위치에 있는 제 2 윈도우 내에서 얼굴 검출이 수행되는데, 여기서 제 2 위치는 상기 신뢰 수준을 기초로 결정된다.

Description

디지털 영상 획득 장치에서의 얼굴 탐색 및 검출 {Face searching and detection in a digital image acquisition device}

본 발명은 디지털 영상 획득 장치에서의 영상 처리에 대한 향상된 방법 및 장치를 제공한다. 특히, 본 발명은 디지털 영상 획득 장치에서 얼굴 탐색 및 검출의 향상된 성능 및 정확성을 제공한다.

발명자 Jones과 Viola의 US 공개 출원 제2002/0102024호와 같은 몇몇 출원들은 디지털 영상에서의 빠른 얼굴 검출에 관한 것이며 특정한 알고리즘을 기술하고 있다. Jones과 Viola는 획득된 영상 내의 검출 윈도우에 적용되는, 점점 더 세밀화된 직사각형 분류자(classifier)의 캐스케이드 연결을 기초로 하는 알고리즘을 기술한다. 일반적으로, 모든 분류자들이 만족되면, 얼굴이 검출된 것으로 간주되는 반면, 하나의 분류자라도 실패하자마자 윈도우가 얼굴을 포함하지 않는 것으로 결정된다.

얼굴 검출을 위한 그 대안적인 기술은 Froba, B.와 Ernst, A.의 논문 "Face detection with the modified census transform"(IEEE Intl. Conf. on Automatic Face and Gesture Recognition의 회보, 17-19 May 2004, Page: 91-96)에 의해 기술되고 있다. 이는 Violla-Jones와 유사하지만, 캐스케이드 내의 분류자들의 각각은 누적된 가능성을 발생시키며 한 단계의 분류자가 실패하여 얼굴이 거부되지는 않는다. 우리는 단일 캐스케이드 연결 검출기 내에 두 종류의 분류자(즉, Violla-Jones와 modified census)의 결합이 유리하다는 것을 주목한다.

도 1은 Jones과 Viola에 의해 기술된 것을 도시하고 있다. 획득된 영상(12)의 분석을 위하여, 전체 영상에 대해 얼굴(14)을 검출할 때까지 검출 윈도우(10)는 dx 화소씩 횡으로 그리고 dy 화소씩 아래로 점차적으로 이동한다. 점(전부 도시되지는 않음)(16)들의 행(row)은 각각의 얼굴 검출 위치에서 검출 윈도우(10)의 좌상단 모서리의 위치를 나타낸다. 이들 위치들의 각각에서, 얼굴의 존재를 검출하기 위하여 분류자 사슬(classifier chain)이 적용된다.

도 2a 및 도 2b를 참조하면, 현재의 검출 윈도우 주위에서 작은 진동을 수행하고 및/또는 검출 윈도우의 크기를 약간 변화시킴으로써, 현재의 위치를 조사할 뿐만 아니라, 인접한 위치들도 역시 검사될 수 있다. 그러한 진동은 원래의 윈도우와 제 2 윈도우 사이에 어느 정도의 중첩을 갖는 연속적인 윈도우들을 생성하는 정도와 크기로 변화할 수 있다. 제 2 윈도우의 크기에 있어서도 변화가 있을 수도 있다.

탐색은, 영상 해상도와 검출 윈도우 크기의 소정의 함수인 dx, dy 증분으로 선형적인 방식으로 수행될 수 있다. 따라서, 검출 윈도우는 x 및 y 방향으로의 일정한 증분을 갖고 영상을 가로질러 이동할 수 있다.

선형적인 탐색의 문제점은 작은 얼굴들을 검출하려고 할 때와 같이 윈도우 크기가 작아질 때 발생하며, 분석되어야 할 이동 윈도우들의 개수가 윈도우 크기의 감소에 따라 이차 함수적으로 증가한다. 그 결과 복합적인 느린 실행 시간을 가져오며, 그렇지 않으면 "빠른" 얼굴 검출을 실시간 임베디드 구현에 적당하지 않게 만든다.

본 출원의 양수인과 동일한 양수인에게 양수된, 2006년 8월 11일 출원된 US 출원 제11/464,083호는 Jones과 Viola에 의해 기술된 것과 같은 알고리즘에 대한 향상, 그리고 특히 적분 영상(integral image) 또는 가우스 영상(Gaussian image)과 같은 영상 표현에 대응하는 정확한 해상도를 생성하는 데 있어서의 향상을 개시한다.

영상 내에서 얼굴을 검출하는 방법은 제 1 위치에 있는 영상의 제 1 윈도우 내에서 얼굴 검출을 수행하는 단계를 포함한다. 상기 제 1 위치에서 또는 그의 근방에서 얼굴을 포함하는 영상의 가능성을 나타내는 신뢰 수준(confidence level)을 상기 얼굴 검출로부터 얻는다. 상기 신뢰 수준을 기초로 결정된 제 2 위치에 있는 제 2 윈도우 내에서 얼굴 검출이 수행된다.

분석되는 윈도우들의 개수는 유리하게도 동일한 얼굴 검출 품질에 대해 크게 감소하며, 따라서 심지어 작은 얼굴의 경우에 있어서도 더욱 빠른 얼굴 탐색이 제공되고, 따라서 디지털 카메라, 이동 전화, 디지털 비디오 카메라 및 휴대용 컴퓨터들과 같은 실시간 임베디드 구현에서의 얼굴 검출에 허용할 만한 성능을 가능하게 한다.

이제 다음의 첨부된 도면들을 참조하여, 예시의 방식으로 실시예들이 설명될 것이다:

도 1은 종래의 얼굴 검출 프로세스에 의해 처리되는 영상을 개략적으로 도시하고 있으며;

도 2(a)는 초기 위치의 주위에서 대각선 방향으로 진동하는 검출 윈도우를 도시하고 있고;

도 2(b)는 초기 위치의 주위에서 횡방향으로 진동하는 더 작은 크기의 검출 윈도우를 도시하고 있으며;

도 3은 바람직한 실시예에 따른 얼굴 탐색 및 검출의 방법에 대한 흐름도이고;

도 4는 바람직한 실시예에 따라 처리되는 영상을 개략적으로 도시하고 있으며;

도 5는 얼굴 인식 전에 검출된 얼굴 영역의 후처리를 나타내는 흐름도이다.

적응화 방식으로 검출 윈도우의 x 및/또는 y 증분을 계산하는, 디지털 영상 획득 장치에서 얼굴 탐색 및 검출의 향상된 방법이 기술된다.

얼굴 검출 프로세스에서, 검출 윈도우를 분석하는 동안 및/또는 검출 윈도우의 주위에서 진동을 하는 동안, 상기 검출 윈도우의 위치에 존재하고 있는 얼굴의 확률적인 측정값을 제공하는 신뢰 수준이 누적될 수 있다. 신뢰 수준이 검출 윈도우에 대한 미리 설정된 문턱치에 도달할 때, 그 검출 윈도우의 위치에 대해 얼굴이 확정된다.

얼굴 검출 프로세스가 검출 윈도우의 주어진 위치에 대한 그러한 신뢰 수준을 발생시키는 경우에, 바람직한 일 실시예에서, 상기 신뢰 수준은 주어진 위치에 존재하는 얼굴의 가능성에 대한 지표(indicator)로서 획득되고 저장된다. 그러한 가능성은 얼굴이 검출되었던 신뢰, 또는 윈도우 내에서 얼굴이 검출되지 않았던 신뢰를 반영할 수 있다.

대안적으로, 얼굴 검출 프로세스가 "얼굴 있음" 또는 "얼굴 없음"이라는 부울(Boolean) 결과를 각각 제공하는 일련의 테스트를 적용하는 경우에, 위치에 얼굴이 존재하지 않음을 결정하기 전에 상기 일련의 테스트를 통해 얼굴 검출 프로세스가 진행된 정도는 신뢰 수준과 동등한 것으로서 그리고 주어진 위치에 존재하는 얼굴의 가능성을 나타내는 것으로서 취급될 수 있다. 예를 들어, 한 캐스케이드의 분류자들이 32개 중 20번 분류자에 있는 윈도우 위치에서 얼굴을 검출하는데 실패한 경우에, 이 위치는 한 캐스케이드의 분류자들이 32개 중 10번 분류자에 있는 윈도우 위치에서 얼굴을 검출하는데 실패한 경우에서보다 (아마도 크기가 다르거나 약간 이동하여서) 얼굴을 포함할 가능성이 더 크다고 받아들일 수 있다.

이제 도 3을 참조하면, 일 실시예에 따른 얼굴 탐색 및 검출은 단계(30)에서 가장 큰 크기의 검출 윈도우를 선택함으로써 그리고 단계(32)에서 영상의 좌상단 모서리에 상기 윈도우를 위치시킴으로써 시작한다.

대안적으로, 어떠한 전처리(pre-processing)를 통해 영상의 특정한 영역들이 얼굴을 포함할 가능성이 더 큰 것으로 식별되었다면, 검출 윈도우는 그러한 한 영 역의 적당한 모서리에 위치할 수 있으며 본 실시예는 영상의 그러한 각각의 영역에 대해 차례로 또는 병렬적으로 적용될 수 있다. 그러한 전처리의 예들은 후보 얼굴 영역들로서 피부를 포함하는 영상의 영역들을 식별하는 것을 포함한다.

이러한 점에서, 획득된 영상에 대해 피부 맵(skin map)을 형성하는 것이 가능한데, 여기서 피부 맵 내의 한 화소의 값은 피부 화소일 가능성에 의해 결정된다.

피부 맵을 제공하기 위한 많은 가능한 기술들이 있는데, 예를 들어:

(i) 실시간 시스템에서의 얼굴 및 동작의 인식, 분석 및 추적에 관한 ICCV '99 국제 워크샵(ICCV '99 International Workshop of Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time Systems)에서 발표된 Zarit 등의 "Comparison of Five Color Models in Skin Pixel Classification"은 피부 화소들에 대한 검사를 위한 많은 참조를 포함하고 있다;

(ⅱ) Takahashi 등의 US 특허 제4,203,671호는 적, 녹, 청색의 색공간(color space) 내의 타원체에 또는 2차원 색공간 내의 타원 내에 있는 화소들을 식별함으로써 영상 내의 피부색을 검출하는 방법을 개시하고 있다;

(ⅲ) US 특허 제7,103,215호는 포르노 영상을 검출하는 방법을 개시하고 있는데, 여기서 인체의 관련된 부분들을 나타내는 다수의 색들을 정의하는 LAB 색공간 내에 색 참조 데이터베이스(color reference database)가 준비되어 있다. 문제의 영상이 선택되고, 샘플링된 화소들이 상기 색 참조 데이터베이스와 비교된다. 매칭되는 화소를 갖는 영역들은, 가능한 피부를 나타내는 조건인, 상기 화소가 고 립된 색인 지 또는 다른 비교 가능한 화소들이 그 주위에 있는 지를 결정하기 위하여 텍스쳐 분석(texture analysis)을 받게 된다;

(ⅳ) 2007년 1월 18일 출원된 US 11/624,683(Ref: FN185)은 RGB 및 YCC 포맷의 영상들에 대한 실수값(real-valued) 피부 검사를 개시하고 있다. 따라서, 예를 들어, 영상 정보가 RGB 포맷으로 사용 가능한 경우에, 피부인 화소의 가능성은 L이 240을 초과하는 정도의 함수(여기서, L = 0.3*R + 0.59G + 0.11B)이거나 및/또는 R이 G + K를 초과하고 또한 R이 B + K를 초과하는 정도의 함수(여기서, K는 영상 포화(image saturation)의 함수)이다. YCC 포맷에서, 피부인 화소의 가능성은 Y가 240을 초과하는 정도의 함수 및/또는 Cr이 148.8162 - 0.1626*Cb + 0.4726*K를 초과학고 또한 Cr이 1.2639*Cb - 33.7803 + 0.7133*K를 초과하는 정도의 함수(여기서 K는 영상 포화의 함수)이다.

피부인지/피부가 아닌지에 관한 이진법 분류(통상적으로 간단한 문턱치를 기초로 하는)를 제공하기 위한 많은 다른 기술들이 존재한다는 것을 이해할 것이다. 따라서, 어떤 화소들은 한 이진법 기술에서는 피부로서 그리고 제2의 기술에서는 피부가 아닌 것으로 인정될 수도 있다는 것을 이해할 수 있다. 따라서 대안적인 구현예들에서, 다수의 이진법 기술들이 결합될 수 있으며, 그 결과 어떤 특정 화소가 피부일 상대적 가능성을 얻기 위한 많은 수의 기준에 따라 화소들이 순위 매겨질 수 있다. 영상 획득 조건들에 따라 또는 이전의 영상 프레임들로부터 분석된 데이터에 따라 상이한 피부 검출 기술들에 가중치를 부여하는 것이 유리하다.

다수의 피부 분류 기술들이 하나의 병렬 하드웨어 구조에서 구현되는 경우 에, 단일한 분석 단계에서 다수의 피부 분류 기술들의 출력들을 결합하는 것이 가능하게 되어, 영상 센서로부터 입수 가능하게 되는 것과 같은 각각의 영상 화소에 대한 세밀화된 피부 가능성을 빠르게 생성하게 된다. 바람직한 일 실시예에서, 이러한 세밀화된 피부 가능성은 그레이스케일(grayscale) 값 2^N으로 표현되는데, 여기서 N > 1이다(N = 1은 피부인지/피부가 아닌지에 관한 간단한 이진법 마스크를 나타낸다). 어떤 경우에, 영상 화소가 일단 비-이진법(non-binary) 알고리즘에 의해 분류된다면, 피부 가능성의 그레이스케일 표현으로서 그것이 고려될 수도 있다.

영상 내의 윈도우들의 다양한 크기와 위치들이 피부의 부분들을 포함할 수도 있는 지 여부에 대한 평가에 있어서, 영상에 대해 제공된 피부 맵 가능성 값을 갖는, Violla-Jones의 US 2002/0102024에 개시된 적분 영상 기술들을 사용하는 것이 유리할 수 있다.

그러한 적분 영상에 있어서, 각각의 요소는 세기(intensity)들, 즉 영상 내의 점의 왼쪽까지 및 그 위의 모든 점들의 피부 가능성들의 합으로서 계산된다. 그러면 영상 내의 어떤 서브-윈도우(sub-window)의 총 세기는 상기 서브-윈도우의 우하부 점에 대한 적분 영상 값으로부터 상기 서브-윈도우의 좌상부 점에 대한 적분 영상 값을 뺌으로써 유도될 수 있다. 또한 인접한 서브-윈도우들에 대한 세기들은 상기 서브-윈도우들의 점들로부터의 적분 영상 값들의 특정한 조합들을 사용하여 효과적으로 비교될 수 있다.

따라서 최종 영상의 직사각형 부분의 휘도(luminance)를 결정하기 위한 적분 영상을 구성하기 위하여 채용된 기술들은 피부 가능성 적분 영상(skin probability integral image)을 생성하기 위하여 동등하게 사용될 수 있다. 이러한 적분 영상 피부 맵(integral image skin map; IISM)이 일단 생성되면, 영상 내의 어떠한 직사각형 영역의 피부 가능성이, 전체 직사각형에 걸친 피부 값들을 평균 내는 것보다는 상기 직사각형의 네 모서리 점들을 포함하는 간단한 대수적 연산에 의해 빠르게 결정되도록 하는 것이 가능하게 된다.

본 명세서의 나머지 부분에서 기술되는 것과 같은 빠른 얼굴 검출기라는 말에서, 서브-윈도우 내의 평균화된 국소적 피부 화소 가능성의 빠른 계산을 얻는 것이, 국소적인 얼굴 영역을 확인하기 위하여, 또는 통상적인 휘도 기반 하르(Haar) 또는 센서스(census) 분류자를 보완하기 위한 추가적인 색 감지 분류자(color sensitive classifier)로서 사용되기 위하여, 피부 가능성을 유리하게 채용할 수 있게 한다는 점을 이해할 것이다.

대안적으로 또는 피부 영역들의 검출과 결합하여, 획득된 영상이 분석되는 일련의 영상들 중 하나인 경우에, 2006년 8월 11일 출원된 US 출원 제11/464,083호(Ref: FN143)에서 개시된 것과 같이, 후보 얼굴 영역들은 이전의 프레임들에서 검출된 얼굴 영역들일 수도 있다.

도 2(a)는 초기 위치(굵은 선으로 된 윤곽)의 주위에서 대각선 방향으로 진동하는 검출 윈도우를 도시하고 있다. 도 2(b)는 추가적인 얼굴 검출이 수행되기 전에 초기 위치의 주위에서 횡 방향으로 진동하는 보다 작은 크기의 검출 윈도우를 도시하고 있다. 이러한 진동(dox, doy)들 및 크기 변화(ds)는 통상적으로 검출 윈도우의 dx, dy 스텝보다 작다. 진동의 크기에 관한 결정은 초기의 윈도우에 대해 탐색 알고리즘을 적용한 결과들에 의존한다. 통상적으로, XVGA 크기의 영상에서 가능한 얼굴 크기를 커버하는데 약 10-12개의 상이한 크기 범위의 검출 윈도우가 사용될 수 있다.

주 얼굴 검출기(main face detector)의 동작으로 돌아가서, 우리는 얼굴 검출이 단계(34)에서의 검출 윈도우에 적용되며, 이는 상기 검출 윈도우에 대한 신뢰 수준을 반환한다는 것을 알았다. 검출 윈도우가 특정한 위치의 주위에서 진동하는 특정한 방식 및 바람직한 실시예에서의 신뢰 수준의 계산이 이하에서 설명된다.

주어진 검출 윈도우 위치가 얼굴의 존재에 관하여 일단 검사되었으면, 상기 윈도우는 -dox,-doy; +dox,-doy; +dox,+doy; 및 -dox,-doy(도 2(a)에 도시된 바와 같이)씩 순차적으로 이동하며 이들 4개의 위치들의 각각에서 검사된다. 윈도우 위치 및 4개의 이동된 위치들에 대한 신뢰 수준이 누적된다. 그런 후 신뢰 수준은 새로운 윈도우 크기 및 위치를 기초로 각각의 새로운 윈도우에 전달될 수 있다. 만약 목표 얼굴-확인 신뢰 문턱치에 도달하지 않았다면, 검출 윈도우가 (ds로 표시된 바와 같이) 줄어든다. 상기 더 작은 검출 윈도우는 검사되고, 그런 후 (도 2(b)에 도시된 바와 같이) -dox,0; +dox,0; 0,+doy; 및 0,-doy씩 순차적으로 이동하며, 그리고 이들 4개의 위치들의 각각에서 검사된다. 더 작은 크기의 검출 윈도우의 이들 5개의 위치들에 대한 신뢰 수준은, 더 큰 크기의 윈도우로부터의 이전의 신뢰 수준에 더해진다.

상기 검출 윈도우 위치에 대한 신뢰 수준은 단계(36)에서 기록된다.

만약 단계(38)에서 검출 윈도우가 탐색될 전체 영상/영역을 지나가지 않았다 면, 단계(40)에서 위치에 대해 저장된 신뢰 수준의 함수로서 진행이 이루어진다.

바람직한 실시예에서, 현재의 윈도우 크기에서 바로 전의 검출 윈도우에 대한 신뢰 수준이 문턱치를 초과한 경우에, 검출 윈도우에 대한 x 및 y 증분이 감소된다.

바람직한 실시예에서, 위치에 대한 신뢰 수준이 그 위치 근방에서의 얼굴의 가능성에 대한 신호를 보낼 때 이동 스텝이 어떻게 조절되는 지를 보여주는 도 4를 이제 참조한다. 처음 4개의 탐색 행(row)들의 경우에, 검출 윈도우에 대해 x 및 y 방향으로 모두 상대적으로 큰 증분이 사용된다. 그러나, 검출 윈도우(10(a))의 위치의 경우에, 우하 방향으로의 윈도우의 진동은 상기 위치에 있는 얼굴(14)의 요구된 신뢰 수준을 제공할 가능성이 더 높다. 따라서, x 및 y 방향으로의 검출 윈도우에 대한 증분이 감소한다. 이 예에서, 검출 윈도우 위치가 라인(tl2)의 오른쪽으로 지나갈 때까지 신뢰 수준은 결정된 문턱치 위에 남아 있을 것이다. 이때, x 증분은 원래의 큰 증분으로 되돌아간다. y 방향으로 작은 증분씩 증가하면서, 검출 윈도우는 라인(tl1)에 도달할 때까지 큰 x 증분으로 다음의 행으로 진행한다. 이 위치에 대한 신뢰 수준이 요구된 문턱치를 다시 초과할 것이기 때문에 또는 사실은 이전의 행에서 초과하였기 때문에, 검출 윈도우가 라인(tl2)의 오른쪽으로 다시 지나갈 때까지 x 증분이 다시 감소한다. 이 과정은 검출 윈도우가 위치(10(b))에 도착할 때까지 계속된다. 여기서, 증가된 해상도의 얼굴 검출에 대한 신뢰 수준에 도달할 뿐만 아니라, 얼굴(14)이 검출된다. 바람직한 실시예에서, 이는 x 및 y 증분을 원래의 큰 증분으로 되돌리도록 한다.

만약 얼굴과 유사한(그러나 실제 얼굴이 아닌) 위치에서 유발하는 신뢰 수준을 따르는 영역에서 얼굴이 검출되지 않았다면, 전체 행의 범위에 걸쳐서 신뢰 수준이 문턱치 수준 위로 상승하지 않을 때, x 및 y 증분은 원래의 느슨한 값으로 되돌아간다. 따라서, 예를 들어, 검출 윈도우가 위치(10(c))를 지나간 후의 행에서, 어떠한 검출 윈도우도 문턱치 위의 신뢰 수준을 제공하지 않을 것이며 따라서 상기 행 후에는, 위치(10(b))에서 얼굴이 검출되지 않았더라도 y 증분은 느슨한 수준으로 되돌아갈 것이다.

영상 및/또는 그의 영역들을 주어진 크기의 검출 윈도우가 일단 지나간 후에는, 도 3의 단계(42)에서 상기 검출 윈도우가 가장 작은 검출 윈도우가 아니라면, 단계(30)에서 가장 작은 검출 윈도우가 선택되고 영상을 횡단한다.

어떤 실시예들에서, 현재의 윈도우 크기에서 바로 이전의 검출 윈도우에 대한 신뢰 수준이 문턱치를 초과할 때, 검출 윈도우에 대한 dx, dy의 변화가 촉발된다. 그러나, 이러한 변화는 동등하게 또는 추가적으로, 동일한 위치에 또는 그 주위에 있는 더 큰 검출 윈도우 또는 윈도우들에 대한 신뢰 수준의 함수이거나 또는 그 신뢰 수준에 의해 유발될 수 있을 것이다.

어떤 실시예들에서, 검출 윈도우들은 가장 큰 크기로부터 가장 작은 크기로 적용되며, 따라서 주어진 위치는 주어진 크기의 검출 윈도우 전에 보다 큰 크기의 검출 윈도우에 의해 점검되었고, 따라서 상기 보다 큰 크기의 검출 윈도우에 대해 얼굴이 검출되지 않았다면, 보다 작은 크기의 검출 윈도우로 상기 위치 근방에서 얼굴이 발견될 것이라는 것을 나타내는 것으로 가정된다. 대안적으로, 비록 더 큰 크기의 검출 윈도우에 대해 주어진 위치에서 얼굴이 발견되었더라도, 후속하여 적용될 때, 상기 위치의 주위에서 더 작은 크기의 검출 윈도우에 의해 얼굴이 더욱 정확하게 경계지어질 기회가 존재한다는 것을 나타낼 수 있다.

더 큰 얼굴들보다는 더 작은 얼굴들을 찾을 때 더 많은 윈도우들이 사용될 수 있기 때문에, 더 큰 검출 윈도우들로부터의 신뢰 수준들이 더 작은 검출 윈도우들에 대한 증분을 유도하는데 사용되는 경우에, 본 발명의 실시예들에 의해 가능하게 되는 절약은 더 작은 검출 윈도우들이 먼저 적용되는 경우보다 크다.

위에서 기술된 실시예들에 있어서, 주어진 검출 윈도우 크기에 대해, 검출 윈도우 위치의 근방에 얼굴이 있을 것 같은 지 또는 아닌 지에 따라 더 큰 또는 더 작은 x 또는 y 증분이 사용된다. 그러나, 상기 증분은 어떤 다른 적당한 방식으로 변화될 수도 있다. 따라서 예를 들어, 증분은 그 영역에 적용된 이전의 검출 윈도우들의 신뢰 수준에 역비례하여 만들어질 수도 있을 것이다.

대안적으로, 위에서 기술된 바와 같은 준-연속적인(quasi-continuous) 값을 반환하는 대신에, 얼굴 검출 프로세스(34)에 의해 반환된 신뢰 수준은 (i) 얼굴 아님; (ⅱ) 얼굴 가능; 또는 (ⅲ) 얼굴임을 나타내는 이산된 값으로 될 수 있으며, 그 각각은 도 4와 관련하여 설명된 바와 같이 진행 단계(40)이 작용하도록 한다.

검출 윈도우는 하나의 행을 따라 이동하여서는 안된다. 대신에, x 및 y 방향의 각각으로의 검출 윈도우의 진행은 그 영역에 적용된 이전의 검출 윈도우들의 신뢰 수준의 함수로서 한 증분으로부터 다음 증분으로 조절될 수 있다.

위에서 기술된 실시예들은 디지털 스틸 카메라, 디지털 비디오 카메라, 카메 라폰 등과 같은 디지털 영상 처리 장치에서 구현될 수 있다. 계산적인 효율성으로 인해 상기 실시예들은, 예를 들어 획득된 영상 또는 영상열(image stream) 내의 검출된 뷰파인더(viewfinder) 얼굴들에서 각각의 경계(검출 윈도우에 대응하는)에 하이라이트를 주는 장치를 가능하게 하는 실시간 얼굴 검출 기능 내에서 구현될 수 있다.

그 대신에 또는 그에 추가하여, 상기 실시예들은, 더 효율적인 얼굴 검출을 제공하기 위하여, 영상이 전송되는 또는 영상에 접속하는 디지털 영상 처리 장치 또는 연결된 계산 장치 내의 오프-라인 얼굴 검출 기능 내에서 구현될 수 있다.

그 대신에 또는 그에 추가하여, 검출된 얼굴 영역들은 적목(red-eye) 검출 및/또는 보정, 또는 예를 들어 얼굴 표정 검출 및/또는 보정, 또는 얼굴 인식과 같은 영상 후처리 기능(image post-processing function)을 가지며 사용될 수도 있다.

검출된 얼굴 영역들이 안면 인식에서 사용되는 경우에, 많은 안면 인식 시스템들이 안면의 회전 또는 크기의 약간의 변화에도 민감하기 때문에, 안면 인식의 정확도를 최적화하기 위하여 후처리 수단을 적용하는 것이 유리하다. 이는, 정면 얼굴 영역들이 검출되어 저장된 경우에도, 이들 영역들이 얼굴 인식의 목적을 위해 최적으로 정렬되거나 크기 조정되지 않을 수 있기 때문이다. 또한, 획득된 많은 영상들이 소비자 영상들이고 그러한 영상들 내의 피사체들이 영상 획득 시간에 그들의 얼굴을 완전히 정면을 향하는 정면 위치에 거의 유지하지 않을 것이라는 점을 유의해야 한다.

위의 실시예에서, 사용된 얼굴 검출이 얼굴 영역의 존재의 빠르고 정확한 결정을 위해 고도로 최적화된 경우에도, 얼굴 검출은 통상적으로 검출된 얼굴 영역의 정확한 크기, 회전 또는 자세를 정확하게 매칭시키는데 최적화되어 있지 않다.

그러한 정규화를 달성하기 위한 많은 기술들이 종래의 기술에서 알려져 있지만, 디지털 카메라와 같은 임베디드 영상 장치(embedded imaging device)에 있어서, 코드 풋프린트(code footprint)와 효율적인 자원 사용 모두의 관점에서 처리가 간결해야 하는 경우에, 그러한 복잡한 처리의 대부분은 사용하기가 실용적이지 않을 수 있다.

따라서, 일 실시예에서, 영상 획득 장치 내에서 이미 사용할 수 있는 얼굴 검출기는 검출된/추적된 얼굴 영역들의 후처리에 있어서의 사용을 위해 용도 변경될 수 있다. 본 실시예에서, 표준 검출기와 일반적으로 동일하지만, 정면 얼굴만을 검출하기 위한 훈련 단계(training stage)에 고도로 최적화되어 있는 보충적인 정면 얼굴 검출기가 사용된다. 따라서 예를 들어, 상기 정면 얼굴 검출기는 일반적인 얼굴 검출/추적에는 적당하지 않을 것이며, 이하에서 표준 검출기라고 불리는 보다 완화된 검출기가 요구된다.

이제 도 5를 참조하면, 본 실시예에서, 만약 얼굴 인식이 적용될 얼굴 영역이 제 1 문턱치보다 작은 초기 가능성을 가지면서 단계(50)에서 처음으로 검출된다면, 그 영역은 단계(52)에서 둘러싸는 주변 영역을 포함하도록 예컨대 X=20%만큼 확장되고 획득된 영상으로부터 추출된다. 이러한 더 큰 영역은 통상적으로 전체 얼굴을 포함하기에 충분하다.

다음으로 단계(54)에서 상기 확장된 영역에 대해 표준 검출기가 적용되지만, 보다 작은 범위의 최대 및 최소 크기들을 횡단하며, 더 미세한 입자 해상도에서 전체 영상을 횡단하도록 사용될 것이다.

예를 들어, 단계(54)에서, 단계(50)의 최초 검출 프로세스에 의해 결정된 얼굴 영역의 크기를 1.1배로부터 0.9배까지, 0.025의 증분으로, 따라서 0.9, 0.925, 0.95, 0.975, 1.00 등으로 계단적 크기와 유사하게 크기 조정할 수 있다. 얼굴 가능성이 가장 높은 추출된, 확장된 얼굴 영역 내에서 크기 및 정렬이 최적화된 서브-윈도우를 결정하는 것이 목표이다. 이상적으로, 그러한 서브-윈도우는 제 1 문턱치보다 작지 않은 얼굴 검출에 대한 제 2 문턱치 가능성을 초과할 것이다. 그렇지 않다면, 그리고 향상된 그러한 가능성에 대한 시도에서 회전이 적용되지 않는다면, 그 얼굴 영역은 단계(56)에서 인식에 대해 "신뢰할 수 없음"이라고 표시된다.

제 1 또는 제 2 문턱치를 초과하지 않는 경우에, 최초로 검출된 얼굴 영역에 대한 서브-윈도우 또는 단계(54)로부터 최적화된 윈도우는 단계(58)에서 Y=10% < X만큼 확장된다.

그런 후, 단계(60)에서 정면 얼굴 검출기가 상기 확장된 영역에 적용된다. 만약 단계(62)에서 서브-윈도우가 제 3 문턱치(제 1 및 제 2 문턱치의 각각보다 높은 것으로 확인된) 위에 있는 얼굴 검출 가능성을 갖는다면, 그 서브-윈도우는 단계(64)에서 "신뢰할 수 있음"으로 표시되며 인식 프로세스를 통과한다.

정면 얼굴 검출 단계가 단계(62)에서 실패하지만 높은 가능성의 얼굴 영역이 존재한다는 것을 알고 있다면, 얼굴 인식에 적당한 얼굴 영역을 만들기 위하여 작 은 회전 또는 자세 정규화 중 하나 또는 모두가 역시 요구된다.

일 실시예에서, 원래 X% 확장된 얼굴 영역은 다음에 단계(66)에서 많은 각도 변위들 중 하나, 즉 -0.2, -0.15, -0.1, -0.05, 0.0, +0.05, +0.1, +0.15 및 +0.2라디안(radian)만큼 회전되며, 미세 입자 표준 얼굴 검출 및 가능하게는 정면 얼굴 검출 단계들이 그 이전과 마찬가지로 다시 적용된다.

이상적으로, 이들 각도 회전들이 상기 추출된 얼굴 영역에 적용되어 상기 얼굴 영역이 "신뢰할 수 있음"으로 표시될 수 있을 때 얼굴 가능성은 상기 요구된 제 3 문턱치 위로 증가할 것이다. 또한, 얼굴 영역의 회전으로부터 잠재적으로 변화하는 가능성들이 상기 영역의 회전 방향을 안내하는데 사용될 수도 있다는 점을 알 것이다. 예를 들어, 만약 -0.05라디안의 회전이 얼굴 검출 가능성을 증가시키지만 충분하지 않다면, 선택된 다음의 회전은 -0.1라디안일 것이다. 반면에 만약 -0.05라디안의 회전이 얼굴 검출 가능성을 감소시킨다면, 선택된 다음의 회전은 0.05라디안일 것이고 또한 이것이 얼굴 검출 가능성을 증가시키지 않는다면, 얼굴 영역은 단계(56)에서 인식에 대해 "신뢰할 수 없음"으로 표시될 수 있을 것이다.

얼굴 영역의 이러한 평면 내 회전에 대신하여 또는 그에 추가하여, 얼굴 인식에 적당한 얼굴 영역을 만들기 위해 요구된 자세 정규화를 제공하기 위한 시도에서 능동 외관 모델(Active Appearance Model; AAM) 또는 그와 동등한 모듈이 검출된 얼굴 영역에 적용될 수 있다. AAM 모듈들은 잘 알려져 있으며, 본 실시예에 적당한 모듈은 F. Dornaika와 J. Ahlberg의 "Fast and Reliable Active Appearance Model Search for 3-D Face Tracking"(IEEE Transactions on Systems, Man, and Cybernetics-Part B: Cybernetics, Vol 34, No. 4, pg 1838-1853, August 2004)에 개시되어 있지만, TF Cootes 등에 의한 최초의 논문인 "Active Appearance Models"(Proc. European Conf. Computer Vision, 1998, pp484-498)을 기초로 한 다른 모델들도 역시 사용할 수 있지만,

본 실시예에서, AAM 모델은 수평 및 수직 자세 조정을 위해 훈련되는 두 개의 파라미터들을 가지며, 또한 상기 AAM 모델은 얼굴의 대략적인 수평 및 수직 자세를 나타내면서, 검출된 얼굴 영역 내의 얼굴에 집중하여야 한다. 그러면 얼굴 영역은 단계(68)에서 영상의 평면으로부터 회전된 "똑바르게 된" 얼굴 영역을 제공하기 위하여 동등한 AAM 모델을 중첩시킴으로써 조절될 수 있다.

다시, 미세 입자 표준 얼굴 검출과 정면 얼굴 검출 단계들이 재적용되며, 만약 검출된 얼굴 영역(들)에 대한 문턱치가 요구된 가능성 위에 있지 않다면, 이전과 마찬가지로 정면 얼굴 검출기 가능성이 "신뢰할 수 있음"으로 얼굴 영역을 표시하기에 충분하게 증가할 때까지 또는 얼굴 영역이 얼굴 인식 목적에 사용하기에 "신뢰할 수 없는" 것으로 확인될 때까지, 수평 및 수직 자세의 작은 증분 조정들이 진행될 수 있다.

2007년 5월 24일 출원된 미국 특허 출원 제11/752,925호(Ref: FN172)는 미리보기용 영상 흐름(preview stream)으로부터 얼굴 영역들을 획득하는 것과 후속하여 주요 획득 영상에서 안면 영역의 부분들에 대한 정정 템플릿(repair template)을 제공하기 위해 초해상도 기술(super-resolution technique)을 사용하여 이들 영상들을 정렬 및 조합하는 것을 개시하고 있다. 얼굴 인식 전에 얼굴 영역을 실질적으 로 정면 정렬시키기 위하여 상기 얼굴 영역에 대한 후처리 단계의 일부로서 또는 독립적으로, 위의 단계들에 추가하여 또는 그에 대신하여, 이러한 기술들이 유리하게 사용될 수 있다.

검출된 얼굴 영역들에 대한 다른 대안적인 적용에서, 선택된 영역들은 미리보기 영상들, 본후의(post-view) 영상들, 또는 완전 해상도 또는 감소된 해상도 영상들의 비디오 흐름, 또는 이들의 조합들과 같은 일련의 영상들에 연속적으로 적용될 수 있으며, 여기서 윈도우 위치들뿐만 아니라 신뢰 수준은 하나의 미리보기 영상, 본후의 영상 등으로부터 다음의 영상으로 전달된다.

본 발명의 예시적인 도면들 및 특정 실시예들이 기술되고 설명되었지만, 본 발명의 범위는 논의된 특정한 실시예들에 한정되어서는 안된다.

또한, 여기서 바람직한 실시예들에 따라 수행될 수 있으며 위에서 서술되었던 방법들에서, 동작들은 선택된 기재의 순서로 설명되었다. 그러나, 상기 순서들은 기재의 편의상 선택되고 따라서 순서 매겨졌으며, 특정한 순서가 명시적으로 설명될 수 있거나 또는 본 기술 분야의 당업자가 특정한 순서가 필요한 것으로 간주할 수 있는 것을 제외하고는, 동작들을 수행하기 위한 특정한 순서를 암시하도록 의도된 것은 아니다.

Claims

(a) 제 1 위치에 있는 영상의 제 1 윈도우 내에서 얼굴 검출을 수행하는 단계;

(b) 상기 제 1 위치에서 또는 그 부근에서 얼굴을 포함하는 상기 영상의 가능성을 나타내는 신뢰 수준을 상기 얼굴 검출로부터 얻는 단계; 및

(c) 제 2 위치에 있는 제 2 윈도우 내에서 얼굴 검출을 수행하는 단계를 포함하며, 여기서 상기 제 2 위치는 상기 신뢰 수준을 기초로 결정되는, 영상에서 얼굴을 검출하는 방법.
제 1 항에 있어서,

상기 영상 내에서 제 1 위치로부터 제 2 위치로의 변위의 방향 및 크기는 상기 신뢰 수준의 함수를 포함하는 방법.
제 1 항에 있어서,

상기 얼굴 검출을 수행하는 단계가 긍정적인 얼굴 검출 결과를 낳을 때까지 상이한 위치들에 있는 하나 이상의 추가적인 윈도우들에 대해 단계(a) 내지 (c)를 반복하는 단계를 더 포함하는 방법.
제 1 항에 있어서,

관심 있는 전체 영역에 대해 얼굴 검출이 수행될 때까지 상이한 위치들에 있는 하나 이상의 추가적인 윈도우들에 대해 단계(a) 내지 (c)를 반복하는 단계를 더 포함하는 방법.
제 4 항에 있어서,

상기 하나 이상의 추가적인 윈도우들의 크기는 상기 신뢰 수준에 의존하는 방법.
제 1 항에 있어서,

다수의 미리 정해진 크기의 윈도우들에 대한 얼굴 검출이 상기 영상의 관심 있는 전체 영역에 대해 수행될 때까지 단계(a) 내지 (c)를 반복하는 단계를 더 포함하는 방법.
제 1 항에 있어서,

상기 영상에 대해 한 세트의 관심 있는 영역들을 결정하는 단계, 및

상기 관심 있는 모든 영역들에 대해 단계(a) 내지 (c)를 반복하는 단계를 더 포함하는 방법.
제 1 항에 있어서,

얼굴을 포함할 가능성이 있는 상기 영상의 적어도 하나의 영역을 식별하는 단계; 및 실질적으로 상기 적어도 하나의 영역 전체에 대해 얼굴 검출이 수행될 때까지 단계(a) 내지 (c)를 반복하는 단계를 더 포함하는 방법.
제 1 항에 있어서,

얼굴을 포함할 가능성이 있는 상기 영상의 적어도 하나의 영역을 식별하는 단계; 및 상기 적어도 하나의 영역 내에서 얼굴 검출이 집중적으로 수행될 때까지 단계(a) 내지 (c)를 반복하는 단계를 더 포함하는 방법.
제 1 항에 있어서,

상기 얼굴 검출은 상기 영상의 상기 윈도우들에 일련의 분류자들을 적용하는 단계를 포함하며 상기 신뢰 수준은 상기 윈도우들에 성공적으로 적용된 분류자들의 개수의 함수를 포함하는 방법.
제 1 항에 있어서,

상기 얼굴 검출은 상기 제 1 위치의 부근에 얼굴이 존재하지 않음, 상기 제 1 위치의 부근에 얼굴이 존재할 가능성이 있음, 또는 상기 제 1 위치에 얼굴이 존재함을 나타내는 신뢰 수준을 반환하는 방법.
제 1 항에 있어서,

상기 제 2 위치는 제 1 위치로부터 제 1 방향으로 x-량 그리고 대각선 제 2 방향으로 y-량씩 상기 윈도우를 진행시킴으로써 결정되며, 제 1 및 제 2 윈도우들의 어떠한 중첩도 상기 신뢰 수준을 기초로 하는 방법.
제 12 항에 있어서,

상기 제 1 윈도우의 크기에 대한 상기 제 2 윈도우의 크기는 상기 신뢰 수준을 기초로 하는 방법.
제 12 항에 있어서,

영상이 제 1 위치의 부근에서 얼굴을 포함한다는 더 높은 신뢰 수준의 경우에 상기 x-량 또는 y-량, 또는 그 모두가 더 작아지는 방법.
제 12 항에 있어서,

영상이 제 1 위치에서 얼굴을 포함한다는 더 높은 신뢰 수준의 경우에 상기 x-량 또는 y-량, 또는 그 모두가 더 커지는 방법.
제 12 항에 있어서,

영상이 제 1 위치에서 얼굴을 포함하지 않는다는 더 높은 신뢰 수준의 경우에 상기 x-량 또는 y-량, 또는 그 모두가 더 커지는 방법.
제 12 항에 있어서,

상기 x-량 및 y-량은 제 1 및 제 2 방향에서의 얼굴 검출 신뢰 수준들에 각각 개별적으로 의존하는 방법.
제 1 항에 있어서,

상기 제 1 위치의 부근에서 얼굴이 검출되는 문턱치 위에 있는 신뢰 수준이 존재할 때, 제 2 윈도우가 상기 얼굴을 중심으로 상기 제 1 윈도우와 중첩하도록 제 2 위치가 선택되며, 신뢰 수준이 상기 문턱치 아래에 있을 때, 제 2 윈도우가 제 1 윈도우와 중첩하지 않도록 제 2 위치가 선택되는 방법.
제 1 항에 있어서,

얼굴을 포함할 향상된 가능성을 각각 갖는, 상기 영상 내의 하나 이상의 관심 있는 영역들을 미리 결정하는 단계, 각각의 상기 관심 있는 영역의 적당한 모서리에 검출 윈도우를 위치시키는 단계, 및 각각의 상기 관심 있는 영역에 대해 단계(a) 내지 (c)를 적용하는 단계를 더 포함하는 방법.
제 19 항에 있어서,

적어도 일시적인 중첩을 갖는 시간 주기들에서 두 개 이상의 관심 있는 영역들에 대해 단계(a) 내지 (c)가 적용되는 방법.
제 19 항에 있어서,

상기 하나 이상의 관심 있는 영역들은 다수의 피부 화소들을 포함하는 하나 이상의 영역들을 포함하는 방법.
제 19 항에 있어서,

상기 영상은 영상열의 영상들 내에 있는 한 영상이며 상기 관심 있는 영역들은 상기 영상열의 이전의 영상에서 얼굴이 검출된 하나 이상의 영역들을 포함하는 방법.
제 1 항에 있어서,

상기 단계(c)는:

상기 제 1 위치에 또는 그 부근에 있는 얼굴을 나타내는 상기 신뢰 수준에 응답하여, 제 2 위치에 있는 제 2 윈도우 내에서 정면으로 정렬된 얼굴의 검출을 수행하는 단계를 포함하며, 여기서 상기 제 2 위치는 상기 제 1 위치에 또는 그 부근에 있는 상기 얼굴을 포함하는 후보 영역의 가능성을 나타내는 신뢰 수준을 기초로 결정되는 방법.
제 23 항에 있어서,

(d) 어떠한 후보 영역에 있는 정면으로 정렬된 얼굴의 검출에 응답하여, 상기 후보 영역에 대해 얼굴 인식을 선택적으로 적용하는 단계를 포함하는 방법.
제 24 항에 있어서,

문턱치보다 큰 얼굴을 포함할 가능성을 갖는 어떠한 후보 영역에 응답하여 얼굴 인식이 적용되는 방법.
제 23 항에 있어서,

상기 정면으로 정렬된 얼굴의 검출을 수행하는 단계는 제 1 위치에서 또는 그 부근에서 검출된 상기 얼굴을 포함하는 후보 영역 내에서 수행되는 방법.
제 26 항에 있어서,

정면으로 정렬된 얼굴의 검출을 수행하는 단계는 제 1 문턱치보다 큰 얼굴을 포함할 가능성을 갖는 상기 후보 영역에 응답하여 수행되는 방법.
제 26 항에 있어서,

제 1 문턱치보다 작은 얼굴을 포함할 가능성을 갖는 상기 제 1 위치에 응답하여, 상기 영상으로부터 상기 제 1 위치를 포함하는 확장된 영역을 추출하는 단계 및 상기 후보 영역을 제공하기 위하여 상대적으로 미세한 입도를 갖는 상기 확장된 영역에서 얼굴 검출을 수행하는 단계를 포함하는 방법.
제 26 항에 있어서,

제 2 문턱치보다 작은 얼굴을 포함할 가능성을 갖는 후보 영역에 응답하여, 일련의 각도들 중 하나의 각도만큼 상기 얼굴 영역을 포함하는 확장 영역을 회전시키는 단계 및 또 다른 후보 영역을 제공하기 위하여 상대적으로 미세한 입도를 갖는 상기 회전된 확장 영역에서 얼굴 검출을 수행하는 단계를 포함하는 방법.
제 26 항에 있어서,

제 2 문턱치보다 작은 얼굴을 포함할 가능성을 갖는 후보 영역에 응답하여, 일련의 각도들 중 하나의 각도만큼 상기 확장 영역 내의 상기 얼굴을 회전시키는 단계 및 또 다른 후보 영역을 제공하기 위하여 상대적으로 미세한 입도를 갖는 상기 확장 영역에서 얼굴 검출을 수행하는 단계를 포함하는 방법.
(a) 제 1 위치에 있는 획득된 영상의 제 1 윈도우 내에서 얼굴 검출을 수행하는 것;

(b) 상기 제 1 위치에서 또는 그 부근에서 얼굴을 포함하는 상기 영상의 가능성을 나타내는 신뢰 수준을 상기 얼굴 검출로부터 얻는 것; 및

(c) 제 2 위치에 있는 제 2 윈도우 내에서 얼굴 검출을 수행하는 것에 적합화되어 있으며, 상기 제 2 위치는 상기 신뢰 수준을 기초로 결정되는, 디지털 영상 처리 장치.
디지털 영상 처리 장치 내에서 실행될 때,

(a) 제 1 위치에 있는 획득된 영상의 제 1 윈도우 내에서 얼굴 검출을 수행 하는 단계;

(b) 상기 제 1 위치에서 또는 그 부근에서 얼굴을 포함하는 상기 영상의 가능성을 나타내는 신뢰 수준을 상기 얼굴 검출로부터 얻는 단계; 및

(c) 제 2 위치에 있는 제 2 윈도우 내에서 얼굴 검출을 수행하는 단계를 수행하도록 동작할 수 있으며, 상기 제 2 위치는 상기 신뢰 수준을 기초로 결정되는, 컴퓨터 프로그램 제품.