KR20140137014A

KR20140137014A - 얼굴 보정 방법, 시스템 및 컴퓨터 저장 매체

Info

Publication number: KR20140137014A
Application number: KR1020147029988A
Authority: KR
Inventors: 후이 왕; 샤오징 셰
Original assignee: 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date: 2012-03-26
Filing date: 2013-03-13
Publication date: 2014-12-01
Also published as: WO2013143390A1; US9530045B2; KR101683704B1; CN102663354B; SG11201405684WA; PH12014501995B1; EP2833288B1; RU2601185C2; CA2867365A1; ZA201406837B; PH12014501995A1; EP2833288A1; RU2014142591A; EP2833288A4; CN102663354A; MY167554A; AP2014007969A0; CL2014002526A1; CA2867365C; US20150016687A1

Abstract

얼굴 검출 방법에 있어서, 이미지를 사전처리하고, 사전처리된 이미지로부터 코너를 추출한다. 그 다음, 상기 코너를 필터링 및 결합하여 상기 코너의 연결된 요소를 획득한다. 상기 코너의 연결된 요소에서 중심점(centroids)을 추출하고, 얼굴 템플릿(facial template)에 대하여 상기 중심점을 매칭한다. 그 다음, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별한다. 상술한 방법으로서, 얼굴 검출의 정확성 및 효율성이 향상될 수 있다. 또한, 본 발명은 얼굴 검출 시스템 및 컴퓨터 저장 매체를 제공한다.

Description

얼굴 보정 방법, 시스템 및 컴퓨터 저장 매체{FACE CALIBRATION METHOD AND SYSTEM, AND COMPUTER STORAGE MEDIUM}

본 발명은 얼굴 검출 기술, 보다 상세하게는, 얼굴 검출 방법 및 시스템과 그에 대응하는 컴퓨터 저장 매체에 관한 것이다.

얼굴 검출은 다양한 얼굴 인식 기반 장치에 널리 사용되고 있다. 얼굴 검출의 정확성은 얼굴 인식에서 매우 중요하다. 통신 기술의 지속적인 발달과 더불어, 점점 더 많은 휴대용 통신 장치들 또한 얼굴 검출 기능을 구비하는데, 예를 들면, 디지털 카메라의 얼굴 인식 및 스마일 캡쳐(smile capture), 모바일 기기의 페이스 언록킹(face unlocking) 등이 있다.

최근의 얼굴 인식에 있어서는, 얼굴 검출을 위해 수많은 연습용 샘플이 필요하고, 얼굴 검출에는 수많은 연산이 요구되며, 이에 따라 알고리즘이 비효율적으로 되고, 알고리즘의 정확성이 떨어지며, 알고리즘이 대용량 데이터 처리 요구조건에 미치지 못하게 된다.

상술한 내용을 감안할 때, 효율성 및 정확성을 향상시킬 수 있는 얼굴 검출 방법이 제공될 필요가 있다.

얼굴 검출 방법은: 이미지를 사전처리하는(preprocessing) 단계; 상기 사전처리된 이미지에서 코너를 추출하고, 상기 코너를 필터링 및 결합하여, 상기 코너의 연결된 요소를 획득하고; 상기 코너의 연결된 요소에서 중심점(centroids)을 추출하는 단계; 얼굴 템플릿(facial template)에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계를 포함한다.

일 실시예에서, 상기 사전처리는 이미지 레벨 조정(image level adjustment), 오토 화이트 밸런스(auto white balance), 정규화(normalization) 및 이미지 모자이크(image mosaic) 중 적어도 하나를 포함하한다.

일 실시예에서, 상기 사전처리된 이미지에서 코너를 추출하는 것은, 미리 정해진(predefined) 3X3 템플릿에 기반하여 현재 픽셀(current pixel) 및 주변 픽셀들(surrounding pixels) 간의 휘도 차이를 계산하는 단계; 및 제1 문턱값(threshold) 이상의 휘도 차이를 갖는 픽셀을 코너로서 얻는(deriving) 단계를 포함하고, 상기 3X3 템플릿은, 상기 현재 픽셀을 중심으로 한 영역이고, 상기 현재 픽셀의 좌, 우, 상, 하, 좌상, 우상, 좌하 및 우하로의 픽셀을 포함한다.

일 실시예에서, 상기 코너를 필터링하는 것은, 상기 사전처리된 이미지에서의 피부색 지점(skin color points)을 식별하고, 기설정된 주변 범위 내에 피부색 지점을 포함하지 않는 코너를 필터링하는(filtering out) 단계; 피부색 중심으로서 YcgCr 색공간(color space) 및 YcbCr 색공간의 교차 지점의 중심을 추출하고, 상기 코너의 요소 Cb, Cg 및 Cr의 값을 계산하고, 상기 피부색 중심과 상기 코너의 요소 Cb, Cg 및 Cr의 값 간의 거리를 계산하고, 상기 피부색 중심으로부터의 거리가 제2 문턱값보다 큰 코너를 필터링하는 단계를 포함한다.

일 실시예에서, 상기 코너의 연결된 요소에서 중심점을 추출하는 것은, 제3 문턱값 이상의 면적 및/또는 기설정된 범위 내의 종횡비(aspect ratio)를 갖는 연결된 요소를 선택하는 단계; 중심점(centroid)으로서 상기 선택된 연결된 요소의 중심을 추출하는 단계; 상기 추출된 중심점의 방향을 계산하고, 상기 방향의 수직성(perpendicularity)이 정해진 수직 범위 내일 경우 상기 중심점을 제거하는 단계를 포함한다.

일 실시예에서, 상기 얼굴 템플릿은, 왼쪽 눈 정점(vertex), 오른쪽 눈 정점, 및 왼쪽 눈 정점과 오른쪽 눈 정점이 위치하는 선과 평행한 또 다른 선 상에 위치하는 적어도 하나의 제3의 점을 포함하는 직사각형의(rectangular) 템플릿이다.

일 실시예에서, 상기 얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계는, 상기 중심점을 횡단하는(traverse) 단계; 각각의 중심점에 대하여 이하의 과정: 제1 중심점을 상기 얼굴 템플릿의 정점으로 사용하여 상기 오른쪽 눈 정점으로의 거리가 제4 문턱값 이하인 제2 중심점을 탐색하는 과정; 상기 왼쪽 눈 정점 및 상기 오른쪽 눈 정점이 위치한 선에 평행한 다른 선으로부터의 수직 거리가 상기 제4 문턱값 이하인 제3 중심점을 탐색하는 과정; 상기 제2 중심점과 상기 오른쪽 눈 정점 간의 거리, 상기 제3 중심점과 상기 다른 선 간의 수직 거리, 및 상기 제3 중심점과 상기 제3의 점 간의 최단 거리를 기초로 상기 매칭 확률을 계산하는 과정; 및 상기 매칭 확률이 상기 미리 결정된 값 이상인지 여부를 판정하고, 상기 매칭 확률이 상기 미리 결정된 값 이상일 경우에는 상기 제1 중심점, 상기 제2 중심점 및 상기 제3 중심점에 의해 형성되는 영역을 상기 후보 얼굴 영역으로서 식별하는 과정을 실행하는 단계를 포함한다.

일 실시예에서, 상기 방법은, 상기 얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계 이후에, 상기 후보 얼굴 영역을 정해진 수의 그리드(grids)로 분할하고, 상기 그리드 각각의 피부색 비율(skin color proportion)을 계산하는 단계; 및 기설정된 피부색 비율 분포(distribution)를 충족하는 피부색 비율을 가지는 후보 얼굴 영역을 최종 얼굴 영역으로 선택하는 단계를 더 포함한다.

또한, 효율성 및 정확성을 향상시킬 수 있는 얼굴 검출 시스템이 제공될 필요가 있다.

얼굴 검출 시스템은: 이미지를 사전처리하는 데에 사용되는 사전처리 모듈; 상기 사전처리된 이미지에서 코너를 추출하는 데에 사용되는 코너 추출 모듈; 상기 코너를 필터링 및 결합하여 상기 코너의 연결된 요소를 획득하는 데에 사용되는 코너 필터링 및 결합 모듈; 상기 코너의 연결된 요소에서 중심점을 추출하는 데에 사용되는 중심점 추출 모듈; 및 얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 데에 사용되는 후보 얼굴 영역 판정 유닛을 포함한다.

일 실시예에서, 상기 사전처리는 이미지 레벨 조정(image level adjustment), 오토 화이트 밸런스(auto white balance), 정규화(normalization) 및 이미지 모자이크(image mosaic) 중 적어도 하나를 포함한다.

일 실시예에서, 상기 코너 추출 모듈은, 미리 정해진 3X3 템플릿에 기반하여 현재 픽셀 및 주변 픽셀들 간의 휘도 차이를 계산하고, 제1 문턱값 이상의 휘도 차이를 갖는 픽셀을 코너로서 추출하는 데에 사용되고, 상기 3X3 템플릿은, 상기 현재 픽셀을 중심으로 한 영역이고, 상기 현재 픽셀의 좌, 우, 상, 하, 좌상, 우상, 좌하 및 우하로의 픽셀을 포함한다.

일 실시예에서, 상기 코너 필터링 및 결합 모듈은, 상기 사전처리된 이미지에서의 피부색 지점을 식별하고, 기설정된 주변 범위 내에 피부색 지점을 포함하지 않는 코너를 필터링하는(filtering out) 데에 사용되고; 상기 코너 필터링 및 결합 모듈이, 피부색 중심으로서 YcgCr 색공간 및 YcbCr 색공간의 교차 지점의 중심을 추출하고, 상기 코너의 요소 Cb, Cg 및 Cr의 값을 계산하고, 상기 코너의 요소 Cb, Cg 및 Cr의 값과 상기 피부색 중심 간의 거리를 계산하고, 상기 피부색 중심으로부터의 거리가 제2 문턱값보다 큰 코너를 필터링하는 데에 더 사용된다.

일 실시예에서, 상기 중심점 추출 모듈은: 제3 문턱값 이상의 면적 및/또는 기설정된 범위 내의 종횡비(aspect ratio)를 갖는 연결된 요소를 선택하는 데에 사용되는 연결 요소 선택 유닛; 중심점으로서 상기 선택된 연결된 요소의 중심을 추출하는 데에 사용되는 중심점 추출 유닛; 및 상기 추출된 중심점의 방향을 계산하고, 상기 방향의 수직성이 정해진 수직 범위 내일 경우 상기 중심점을 제거하는 데에 사용되는 중심점 제거 유닛을 포함한다.

일 실시예에서, 상기 얼굴 템플릿은, 왼쪽 눈 정점, 오른쪽 눈 정점, 및 왼쪽 눈 정점과 오른쪽 눈 정점이 위치하는 선과 평행한 또 다른 선 상에 위치하는 적어도 하나의 제3의 점을 포함하는 직사각형의 템플릿이다.

일 실시예에서, 상기 후보 얼굴 영역 판정 모듈은: 각각의 중심점에 대하여, 상기 얼굴 템플릿의 정점의 역할을 하는 제1 중심점을 사용하여 상기 오른쪽 눈 정점으로부터의 거리가 제4 문턱값 이하인 제2 중심점을 탐색하고, 상기 왼쪽 눈 정점 및 상기 오른쪽 눈 정점의 선에 평행한 다른 선으로부터의 수직 거리가 상기 제4 문턱값 이하인 제3 중심점을 탐색하는 데에 사용되는 탐색 유닛; 상기 제2 중심점과 상기 오른쪽 눈 정점 간의 거리, 상기 제3 중심점과 상기 다른 선 간의 수직 거리, 및 상기 제3 중심점과 상기 제3의 점 간의 최단 거리를 기초로 상기 매칭 확률을 계산하는 데에 사용되는 매칭 확률 계산 유닛; 및 상기 매칭 확률이 상기 미리 결정된 값 이상인지 여부를 판정하고, 상기 매칭 확률이 상기 미리 결정된 값 이상일 경우에는 상기 제1 중심점, 상기 제2 중심점 및 상기 제3 중심점에 의해 형성되는 영역을 상기 후보 얼굴 영역으로서 위치시키는(locate) 영역 로케이팅(locating) 유닛을 포함한다.

일 실시예에서, 상기 후보 얼굴 영역을 정해진 수의 그리드로 분할하고, 상기 그리드 각각의 피부색 비율을 계산하고, 피부색 비율 분포를 충족하는 피부색 비율을 가지는 후보 얼굴 영역을 최종 얼굴 영역으로 선택하는 데에 사용되는 영역 선택 모듈을 더 포함한다.

또한, 효율성 및 정확성을 향상시킬 수 있는 컴퓨터 저장 매체가 제공될 필요가 있다.

얼굴 검출 방법을 수행하기 위한 컴퓨터 실행 가능 명령(computer executable instruction)을 포함하는 컴퓨터 저장 매체에서의 얼굴 검출 방법은, 이미지를 사전처리하는 단계; 상기 사전처리된 이미지에서 코너를 추출하고, 상기 코너를 필터링 및 결합하여, 상기 코너의 연결된 요소를 획득하는 단계; 상기 코너의 연결된 요소에서 중심점을 추출하는 단계; 얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계를 포함한다.

상술한 얼굴 검출 방법 및 시스템, 그것의 컴퓨터 저장 매체에서는, 얼굴 템플릿에 대한 중심점의 매칭 확률이 계산되고, 미리 결정된 값 이상의 매칭 확률을 갖는 중심점에 의해 형성된 영역을 후보 얼굴 영역으로서 식별된다. 이와 같은 얼굴 견본의 확률 모델은 안정성있게(robustly) 스케일링하고(scale) 및 회전하는 것이 가능하며, 얼굴을 보다 정확하게 매칭하고, 효율적인 알고리즘을 제공한다. 따라서, 얼굴 검출의 효율성 및 정확성을 향상시킬 수 있다.

도 1은 일 실시예에 따른 얼굴 검출 방법의 모식적 흐름도이다.
도 2는 이미지의 R 채널의 막대 그래프이다.
도 3은 일 실시에에 따른 3X3 템플릿(template)의 모식도이다.
도 4는 일 실시예에 따라 코너의 연결된 요소에서 중심점을 추출하는 것의 모식적 흐름도이다.
도 5는 일 실시예에 따른 얼굴 템플릿의 모식도이다.
도 6은 일 실시예에 따라 후보 얼굴 영역을 위치시키는 것의 모식적 흐름도이다.
도 7은 일 실시예에 따라 중심점을 얼굴 템플릿에 매칭하는 것의 모식적 흐름도이다.
도 8은 일 실시예에 따른 피부색 비율 모델(skin color proportion model)의 모식도이다.
도 9는 일 실시예에 따른 얼굴 검출 시스템의 구조 블록도이다.
도 10은 일 실시예에 따른 중심점 추출 모듈의 구조 블록도이다.
도 11은 일 실시예에 따른 후보 얼굴 영역 판정 모듈의 구조 블록도이다.
도 12는 다른 일 실시예에 따른 얼굴 검출 시스템의 구조 블록도이다.

도 1에 도시된 바와 같이, 일 실시예에서는, 얼굴 검출 방법이 이하의 단계를 포함한다.

단계 S102: 이미지를 사전처리(preprocessing)한다.

구체적으로, 일 실시예에서, 이미지 사전처리는, 레벨 조정(level adjustment), 오토 화이트 밸런스(auto white balance), 정규화(normalization) 및 모자이크 생성 중 적어도 하나의 이미지 처리를 포함한다. 이미지 상에 사전처리를 한 후, 그 다음의 계산 부하가 효과적으로 감소될 수 있고, 그에 따라 식별 효율이 증가한다.

단계 S104: 사전처리된 이미지로부터 코너를 추출하고, 그 후에 코너를 필터링하고 결합한다. 이로써 코너의 연결된 요소가 획득된다.

예를 들어, 코너는 휘도가 현격하게 변하는 이미지 주변의 지점을 가리킨다. 추출된 코너에 의해 형성되는 이미지는 윤곽도(profile diagram)로 간주될 수 있다. 그러나, 사전처리된 이미지로부터 추출된 모든 코너가 얼굴 특징의 바람직한 코너는 아니다. 따라서, 코너는 필터링될 수 있으며, 얼굴 특징의 위치를 결정하는데 관련이 없는 것들은 제거된다. 눈 및 입의 코너 등 필터링된 코너가 국부적으로(locally) 모일 수 있기 때문에, 국부적으로 모인 코너가 결합되어 코너의 연결된 요소를 획득할 수 있다.

단계 S106: 코너의 연결된 요소로부터 중심점을 추출한다.

중심점(centroid)은 코너의 연결된 요소의 중심으로서, 눈, 코 및 입 등을 포함한 주요 특징 부분을 효과적으로 특징지을 수 있다. 중심점이 추출된 후에, 중심점은 이후의 얼굴 템플릿 매칭에 사용될 수 있다.

단계 S108: 중심점을 얼굴 템플릿과 매칭하고, 얼굴 템플릿에 대한 중심점의 매칭 확률을 계산하여, 후보 얼굴 영역으로서 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 결정한다.

본 실시예에서, 이와 같은 얼굴 템플릿의 확률 모델은 안정성있게(robustly) 확대 및 회전을 하고, 보다 정확한 얼굴 매칭을 제공하며, 알고리즘을 효율적으로 만든다. 따라서, 얼굴 검출의 효율성 및 정확성이 향상될 수 있다.

바람직한 일 실시예에서는, 이미지 상의 사전처리는 이미지 레벨 조정, 오토 화이트 밸런스, 정규화 및 이미지 모자이크 생성을 포함한다.

이미지 레벨 조정이란 이미지의 레벨을 조정하는 작업을 가리킨다. 레벨은 이미지의 조도(luminous intensity)를 나타내는 지표 표준(index standard)이다. 이미지 색의 풍부함(fullness)과 선예함(finesse)은 레벨에 의해 결정된다. 이미지의 레벨을 조정함으로써, 그림자의 강도 레벨(intensity level), 이미지의 중간톤(midtone) 및 하이라이트(highlights)가 조정될 수 있으며, 이로써 이미지의 시각 효과가 어느 정도까지 강화된다.

일 실시예에서, 이미지의 3 채널 레벨(즉, RGB 채널)이 각각 조정될 수 있다. 도 2는 특정 이미지의 R 채널의 막대 그래프이다. 보다 적은 데이터를 가지는 그림자 영역 및 하이라이트 영역은 제거될 수 있고, 좌측 및 우측 경계는 간격[좌, 우] 범위에 들어가도록 조정된다. 그 후에, R 채널 상의 값은 간격 [0, 255]로 다시 리맵핑된다(remapped). 간격[좌, 우]는 그림자 영역 및 하이라이트 영역이 제거된 후에 남아있는 레벨 정보이다.

특히, 새로운 R/G/B 값은 아래 공식에 따라 계산될 수 있다.

Diff=right-left

newRGB=(oldRGB-left)*255/Diff

위의 공식에서, newRGB는 새로운 R/G/B 값이고, oldRGB는 레벨 조정 전의 R/G/B 값이다.

본 실시예에서, 레벨 조정은 이미지 콘트라스트(contrast)를 향상시키고 에지를 보다 명확하게 할 수 있으며, 이후의 피부색 인식 및 코너 필터링 등을 보다 용이하게 한다.

오토 화이트 밸런스는 컬러 시프트(color shift) 문제를 해결하기 위해 사용된다. 실제 포토그래핑에서는, 모바일 단말과 같은 장치의 촬영 환경 제한과, 카메라 등의 장치 자체에 대한 제한이 부정확한 노출을 야기하기 때문에, 차례로 치명적인 컬러 시프트 또는 컬러 부분의 심각한 결핍을 초래한다. 컬러 시프트 또는 컬러 부분의 심각한 결핍은 이후의 피부색 영역 추출에 영항을 주기 때문에, 오토 화이트 밸런스를 수행할 필요가 있다.

일 실시예에서, 오토 화이트 밸런스는

,

에 따라 수행될 수 있으며, 여기서 R’, G 및 B’은 오토 화이트 밸런스가 수행된 이후의 이미지의 세 가지 요소 값이고, R, G 및 B는 원래 이미지의 세 가지 요소 값이다. 또한, Rave, Gave 및 Vave는 각각 이미지의 R, G 및 B 요소의 평균이다.

서로 다른 사이즈를 가지는 이미지들은 이후의 코너 추출, 입자(particle) 추출, 코너 결합 및 필터링 또는 다른 처리 단계에서 서로 다른 파라미터를 가질 수 있기 때문에, 이미지의 사이즈는 정규화될 수 있다. 즉, 이후의 처리 과정에서 사용될 파라미터를 통일하기 위해 이미지 상에 스캐일링(scaling)이 행해진다.

일 실시예에서, 이미지는 원래 비율(original proportion), 또는 원래 비율이 아닌 비율로 스케일링될 수 있다. 바람직하게는, 이미지는 원래 비율로 스케일링된다. 예를 들어, 400px를 초과하는 높이의 이미지는 원래의 종횡비(aspect ratio)로 400px의 높이를 갖는 이미지로 좁혀질 수 있으며, 400px 미만의 높이를 갖는 이미지는 확대 없이 변경되지 않은 채로 유지된다.

몇몇 이미지들이 하나의 픽셀보다 큰 등의 넓은 에지를 가지기 때문에, 픽셀 레벨 상에서 코너가 바로 추출되면, 많은 바람직한 코너를 놓칠 수 있다. 바람직한 일 실시예에서는, 정규화 이후에 이미지 상에 모자이크 처리가 수행되어 이미지를 모자이크 이미지로 변환할 수 있으며, 이는 보다 정확한 코너 추출을 가능하게 한다. 한편, 모자이크 이미지 상의 코너 추출은 또한 처리 속도를 크게 향상시킬 수 있다. 예를 들어, 400px의 스케일(scale) 상에서, 모자이크 사이즈는 2X2px로 선택될 수 있으며, 새로운 픽셀값은 이러한 네 가지 픽셀들의 평균이 된다.

일 실시예에서, 단계 S104의 사전처리된 이미지로부터의 코너 추출의 구체적인 프로세스는 아래와 같다. 현재 픽셀(current pixel)과 미리 정해진(predefined) 3X3 템플릿에 기반하여 주변 픽셀들 간의 휘도 차이를 계산하고, 휘도 차이가 제1 문턱값(threshold) 이상인 픽셀을 코너로서 추출한다. 여기서, 3X3 템플릿은 현재 픽셀을 중심으로 한 영역이고, 픽셀에 의해 현재 픽셀의 좌, 우, 상, 하, 좌상, 우상, 좌하 및 우하로 형성된다.

도 3에 도시된 바와 같이, 현재 픽셀은 C이고, 현재 픽셀의 좌, 우, 상, 하, 좌상, 우상, 좌하 및 우하로의 픽셀은 각각 A1, A, B, B1, A3, B2, B3 및 A2이다. 이와 같은 9개의 픽셀에 의해 형성되는 영역은 미리 정해진 3X3 템플릿이다. 특히, 일 실시예에서, 사전처리된 이미지의 픽셀 각각(즉, 현재 픽셀)은, 현재 픽셀과 아래의 공식에 따른 현재 픽셀의 주변 픽셀들 간의 휘도 차이를 계산한다.

정의:

rA1=w1*(fA-fC)2+w1*(fA1-fC)2

rB1=w2*(fB-fC)2+w2*(fB1-fC)2

R1=min(rA1, rB1)

rA2=w3*(fA2-fC)2+w3*(fA3-fC)2

rB2=w4*(fB2-fC)2+w4*(fB3-fC)2

R2=min(rA2, rB2)

공식에서, f는 픽셀의 휘도 요소(0~255)를 나타낸다. 예를 들어, fA는 C 지점의 우측 상의 픽셀 A의 휘도를 나타낸다. w1, w2, w3 및 w4는 중량으로서, w1=w2=1 및 w3=w4=1일 수 있다. R1 및 R2가 모두 특정 문턱값 T1(T1=200 등)보다 작을 경우, 지점(즉, 현재 픽셀)은 코너가 아니다. 또는, 아래의 공식에 따라 계산을 수행한다.

B1=w5*(fB-fA)X(fA-fC)+w5*(fB1-fA1)X(fA1-fC)

B2=w6*(fB-fA1)X(fA1-fC)+w6*(fB1-fA)X(fA-fC)

B3=w7*(fB2-fA2)X(fA2-fC)+w7*(fB3-fA3)X(fA3-fC)

B4=w8*(fB2-fA3)X(fA3-fC)+w8*(fB3-fA2)X(fA2-fC)

mB1=min(B1, B2)

mB2=min(B3, B4)

A1=rB1-rA1-2XmB1

A2=rB2-rA2-2XmB2

R1=rA1-mB12/A1, when mB1<0 and A1+mB1>0

R2=rA2-mB22/A2, when mB2<0 and A2+mB2>0

공식에서, W5, W6, W7 및 W8은 중량이고, W5=W6=1 및 W7=W8=1를 취할 수 있다. 최종 계산된 R1 및 R2는 현재 픽셀과 주변 픽셀들 간의 휘도 차이이다. R1 및 R2가 모두 특정 문턱값 T2(T2=700 등)보다 작을 경우, 지점(즉, 현재 픽셀)은 코너가 아니다. 또는, 이는 이미지 내에서 지점 주변에 현격한 휘도 변화가 있고, 지점이 코너임을 의미한다.

일 실시예에서, 단계 S104의 코너 필터링 절차는 아래와 같다. 사전처리된 이미지 내에서 피부색 지점을 식별하고; 기설정된 주변 범위 내에 피부색 지점을 포함하지 않는 코너를 필터링하고(filtering out); 피부색 중심으로서 YCgCr 색공간 및 YCbCr 색공간의 교차 지점의 중심을 추출하고; 코너의 요소 Cb, Cg 및 Cr의 값을 계산하고, 피부색 중심과 코너의 요소 Cb, Cg 및 Cr의 값 간의 거리를 계산하고; 피부색 중심으로부터의 거리가 제2 문턱값보다 큰 코너를 필터링한다. 즉, 본 실시예에서는, 피부색 지점이 존재하는 주변의 코너는 남겨두고, 피부색 지점으로부터 멀리 있는 코너는 제거한다.

피부 검출에는, RGB, HSV, YCbCr, YUV, YCgCr 등 많은 색공간이 이용 가능하다. 바람직한 일 실시예에서는, YCbCr 및 YCgCr 공간으로부터 피부색의 동시 추출이 수행될 수 있고, 그 결과 추출 정확성이 향상된다. YCgCr 색공간에서는, Cg∈[85, 135], Cr∈[-Cg+260, -Cg+280]의 피부색 범위가 존재한다. YCbCr 색공간에서는, Cb∈[77, 127], Cr∈[133, 173]의 색공간 범위가 존재한다. 한편, 두 가지 색공간 모두에서, Y∈[16, 235]이다.

특히, Y, Cb, Cr 및 Cg는 아래 공식에 따른 사전처리된 이미지 내 픽셀의 RGB 값에 기초하여 계산될 수 있다.

계산된 요소 Y, Cb, Cr 및 Cg가 상술한 두 가지 피부색 범위에 충족된다면, 픽셀은 피부색 픽셀(즉, 피부색 지점)이다. 추출된 코너 주변의 기설정 범위 내에 피부색 지점이 없다면, 코너는 필터링된다.

본 실시예에서는, 상술한 이미지의 두 가지 색공간의 교차지점의 중심(Pcr, Pcg, Pcb)을 피부색 중심으로서 취한다. 사전처리된 이미지 내의 픽셀 각각에 대하여, 그 요소 Cb, CR 및 Cg가 계산되고, 픽셀과 피부색 중심 간의 유클리디언 거리(Euclidean distance)가 계산된다. 픽셀의 색과 피부색 간의 유클리디언 거리가 제2 문턱값보다 크다면, 픽셀이 피부색 지점일 가능성이 없다고 간주되어, 코너가 필터링된다.

일 실시예에서, 코너가 필터링된 후에 코너의 2진(binary) 이미지가 획득될 수 있다. 그러나 추출과 관련된 제출(submission) 수가 지나치게 크고, 코너의 2진 이미지에 기초하여 얼굴 템플릿을 직접 매칭하는 것은 많은 양의 계산을 야기하게 된다. 많은 코너가 국부적으로 모임으로 인해, 인접한 코너가 결합되어 이후의 계산 부하를 줄일 수 있다.

특히, 거리 함수가 미리 정해질 수 있다. 인접한 코너 간의 거리가 기설정 조건을 충족하는 경우, 코너가 결합된다. 종래의 픽셀 라벨링(pixel labeling) 알고리즘, 런 길이 연결성(run length connectivity) 알고리즘 및 영역 확장(region growing) 알고리즘이 인접한 코너를 결합하는데 이용될 수 있으며, 이에 관한 구체적인 설명은 생략한다. 코너가 결합한 후에는, 복수의 코너의 연결된 요소가 획득된다.

도 4에 도시된 바와 같이, 일 실시예에서, 단계 S106의 구체적인 프로세스는 아래와 같다.

단계 S116: 제3 문턱값 이상의 면적 및/또는 기설정된 영역 내의 종횡비를 가지는 연결된 요소를 스크리닝한다(screen).

최종적인 코너의 연결된 요소 중 일부는 얼굴의 특징과 연관되지 않을 수 있기 때문에, 코너의 연결된 요소들은 필터링될 필요가 있다. 특히, 제3 문턱값보다 작은 면적 및/또는 기설정 범위의 종횡비를 가지는 연결된 요소는 제거될 수 있다. 예를 들어, 제3 문턱값이 450으로 설정되고, 이후에 450 이상의 면적을 가지는 연결된 요소가 스크리닝된다. 기설정된 범위는 종횡비가 0.5보다는 크고 5보다는 작아야 하는 것으로 할 수 있다. 여기서, 제3 문턱값은 이후의 얼굴 템플릿 매칭을 용이하게 하도록 얼굴 템플릿의 스케일에 기초하여 설정될 수 있다.

단계 S126: 스크리닝된 연결된 요소의 중심을 중심점(centroid)으로서 추출한다.

단계 S136: 추출된 중심점의 방향을 계산하고, 정해진 수직 범위 내에서 수직성(perpendicularity)을 갖는 방향으로 중심점을 제거한다.

특히, 중심점은, 이미지 내에서의 그 위치에 관한 방향의 벡터이다. 중심점의 방향은 중심점이 위치하는 영역의 에지 방향 정보(edge trend information)를 나타낸다. 나아가, 종래의 Sobel operator(에지 추출 오퍼레이터)가 중심점의 방향을 계산하고, 정해진 수직 범위 내에서 수직성을 갖는 방향의 중심점을 제거하는 데에 사용될 수 있다. 즉, 가까운 수직 방향으로 중심점을 제거하는 것으로서, 수직 에지로부터 중심점을 추출하는 것이다.

단계 S136이 수행된 후에, 최종적인 중심점은 얼굴 템플릿 매칭에 사용될 수 있다. 특히, 각각의 중심점은 (P, R, D)로 나타낼 수 있으며, 여기서 P는 결합된 연결된 요소의 중심, R은 연결된 요소의 반지름, D는 연결된 요소의 밀도이다.

일 실시예에서, 얼굴 템플릿은 왼쪽 눈 정점(vertex), 오른쪽 눈 정점 및 왼쪽 눈 정점과 오른쪽 눈 정점이 위치하는 선과 평행한 또 다른 선 상에 위치하는 적어도 하나의 제3의 점을 포함하는 직사각형 템플릿이다.

도 5에 도시된 바와 같이, 얼굴 템플릿은, 적어도 세 개의 점을 포함하는 직사각형 템플릿으로서, 각각의 점은 (P, w, h)를 나타낸다. 여기서, P는 한 점의 이차원 좌표이고, W는 그 점 주변으로의 가능한 한 최대의 측면 범위(lateral extent), h는 그 점의 주변으로의 가능한 한 최대의 길이 범위(longitudinal extent)이다. 도 5에 도시된 바와 같이, 왼쪽 눈 정점은 p0, 오른쪽 눈 정점은 p1이고, p2는 제3의 점이다. 도 5에서, 점선으로 도시된 입자는 p0 및 p1이 결정된 때 p2 점의 가능한 위치를 나타낸다.

도 6에 도시된 바와 같이, 일 실시예에서, 단계 S108의 구체적인 프로세스는 아래와 같다. 중심점을 횡단(traversing)하고 이하의 단계를 각각의 중심점에 대하여 수행한다.

단계 S118: 제1 중심점을 얼굴 템플릿의 정점(vertex)으로 사용하여, 오른쪽 눈 정점으로부터의 거리가 제4 문턱값 이하인 제2 중심점을 탐색한다(search).

구체적으로, 제2 중심점에 도달되지 못할 경우, 이는 얼굴 템플릿이 매칭되지 않음을 가리킨다. 제2 중심점이 발견될 수 있을 경우, 이후에 단계 S128이 수행된다. 도 7에 도시된 “폭” 및 “높이”는 얼굴 템플릿의 폭 및 높이이며, 탐색된 제2 중심점은 c1이다.

단계 S128: 왼쪽 눈 정점과 오른쪽 눈 정점이 위치하는 선과 평행한 다른 선으로부터의 수직 거리가 제4 문턱값 이하인 제3 중심점을 탐색한다.

특히, 제3 중심점이 발견되지 못할 경우, 이는 얼굴 템플릿이 매칭되지 않음을 의미한다. 제3 중심점이 탐색될 수 있을 경우, 단계 S138이 수행된다. 도 7에 도시된 바와 같이, 탐색된 제3 중심점은 c2이다.

단계 S138: 제2 중심점과 오른쪽 눈 정점 간의 거리, 제3 중심점과 다른 선 간의 수직 거리 및 제3 중심점과 복수의 제3의 점들 간의 최단 거리에 기초하여 매칭 확률을 계산한다.

특히, 일 실시예에서, 제1 확률은 제2 중심점이 탐색된 후에 제2 중심점과 오른쪽 눈 정점 간의 거리를 기반으로 계산될 수 있다. 도 7과 함께, 제1 확률은 아래의 공식에 따라 계산될 수 있다.

s1=1-d1/문턱값

이 공식에서, s1은 제1 확률이고, d1은 제2 중심점 c1과 오른쪽 눈 정점 간의 거리이며, ‘문턱값’은 제4 문턱값이다.

제3 중심점이 탐색된 후에, 제2 확률은 제3 중심점과 다른 선 간의 수직 거리에 기반하여 계산될 수 있다. 도 7과 함께, 제2 확률은 아래 공식에 따라 계산될 수 있다.

s2=1-d2/문턱값

이 공식에서, s2는 제2 확률이고, d2는 제3 중심점 c2와 “라인1”이라 명명된 다른 선 간의 수직 거리이며, “문턱값”은 제4 문턱값이다.

제3 중심점 c2가 탐색된 후에는, 최단 거리를 획득하기 위해, 제3 중심점 c2와 얼굴 템플릿의 모든 제3의 점 간의 거리가 계산될 수 있다. 도 7에 도시된 바와 같이, 최단 거리는 제3 중심점 c2와 제3의 점 p4 간의 거리 d3이다. d3이 폭/5보다 클 경우, 이는 매칭되는 얼굴 템플릿이 아님을 의미한다. 또는, 제3 중심점과 제3의 점 간의 최단 거리에 기반하여 제3 확률이 더 계산될 수 있다. 특히, 아래 공식이 제3 확률 계산에 적용될 수 있다.

s3=1-d3/(폭/5)

이 공식에서, s3은 제3 확률이고, d3는 최단 거리이며, “폭”은 얼굴 템플릿의 폭이다.

나아가, 매칭 확률은 상기 세 가지의 계산된 확률에 기반하여 계산될 수 있다. 일 실시예에서, 매칭 확률은 공식: p=3*s1+s2+s3 에 따라 계산될 수 있다.

단계 S148: 매칭 확률이 미리 결정된 값 이상인지 여부를 판정한다. 이상일 경우, 단계 S158로 계속된다. 또는, 프로세스가 종료된다.

예를 들어, 250pxX250px 얼굴 템플릿에 있어서, 제4 문턱값은 50px로 설정될 수 있고, 미리 결정된 값은 0.8이다.

단계 S158: 제1 중심점, 제2 중심점 및 제3 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로 결정한다.

도 7에 도시된 바와 같이, 제1 중심점 c0, 탐색된 제2 중심점 c1 및 탐색된 제3 중심점 c2에 의해 형성되는 영역은 얼굴 템플릿 영역으로서 위치해 있다.

다양한 탐색 접근법이 중심점을 탐색하는데 이용될 수 있음에 유의해야 한다. 예를 들어, 전체적인 탐색이 수행될 수 있다. 즉, 각각의 중심점을 얼굴 템플릿의 정점으로 취급하는 계산을 수행한다. 탐색 효율성을 높이기 위해, 탐색 중에 조건을 충족하지 못하는 몇몇 중심점은 무시하는 부분적인 탐색 또한 사용될 수 있으며, 이로써 전체 탐색 프로세스를 신속하게 처리할 수 있다. 예를 들어, 큰 면적의 어두운 영역으로 둘러싸인 중심점은 확실히 왼쪽 눈의 초기 위치가 아닐 것이고; 수직 또는 수평 배열에서 오버사이즈된(oversized) 중심점은 5감 기관의 중심점에 인접한 영역에 존재하지 않을 것이며; 얼굴 템플릿의 경계에 가까운 영역 내의 중심점은 무시되고; 얼굴 템플릿 사이즈에 가까운 사이즈를 가지고, 타원형 또는 아치형의 배열인 중심점은 무시된다.

일 실시예에서, 단계 S108 이후에, 후보 얼굴 영역 상에서 영역 스크리닝이 더 수행될 수 있으며, 구체적인 프로세스는 아래와 같다. 각각의 후보 얼굴 영역을 정해진 수의 그리드(grid)로 분할하고, 그리드 각각의 피부색 비율(skin color proportion)을 계산하고, 기설정된 피부색 비율 분포(distribution)에 매칭되는 피부색 비율을 가지는 후보 얼굴 영역을 최종 얼굴 영역으로 선택한다.

일부 후보 얼굴 영역은 실제 얼굴 영역이 아닐 수 있기 때문에, 후보 얼굴 영역 상에서의 영역 스크리닝 수행은 얼굴 위치의 정확도를 더 향상시킬 수 있다. 일 실시예에서는, 도 8에 도시된 바와 같이, 얼굴 영역이 9개의 그리드로 분할될 수 있으며, 각각의 그리드 내의 피부색은 개별적으로 계산된다. 피부색 비율은 그리드 내의 모든 픽셀에 연관된 그리드 내에서의 피부색에 대한 픽셀의 비율이다. 상술한 피부색 인식 방법은 피부색과 함께 픽셀을 인식하는 데에 사용될 수 있으며, 이에 대한 상세한 설명은 여기서는 생략한다.

특히, 도 8에 도시된 바와 같이, 그리드 내의 피부색 비율은 각각 p1~p9이며, 문턱값은 T3 및 T4로 설정된다. 피부색 비율이 아래 조건을 만족하면, 후보 얼굴 영역은 최종 얼굴 영역으로 결정될 수 있다.

p1, p3, p4, p7, p8, p9>=T1

|p3-p1|<T2

|p6-p4|<T2

|p9-p7|<T2

(T1은 0.5로 설정될 수 있고, T2는 0.5로 설정될 수 있음.)

최종 얼굴 영역이 획득된 후에, 이미지 내에서의 최종 얼굴 영역의 위치 및 최종 얼굴 영역의 사이즈가 더 획득되고 출력될 수 있다.

도 9에 도시된 바와 같이, 일 실시예에서, 얼굴 검출 시스템은 사전처리 모듈(10), 코너 추출 모듈(20), 코너 필터링 및 결합 모듈(30), 중심점 추출 모듈(40) 및 후보 얼굴 영역 판정 모듈을 포함한다.

사전처리 모듈(10)은 이미지 상에 사전처리를 수행하기 위해 사용된다.

특히, 일 실시예에서, 사전처리 모듈(10)에 의해 수행되는 이미지 상에의 사전처리는 적어도 하나의 이미지 레벨 조정, 오토 화이트 밸런스, 정규화 및 이미지 모자이크를 포함한다. 이미지 사전처리는 이후의 계산 부하를 효과적으로 줄일 수 있으며, 식별 효율을 강화할 수 있다.

코너 추출 모듈(20)은 사전처리된 이미지로부터 코너를 추출하기 위해 사용된다.

코너 필터링 및 결합 모듈(30)은 코너를 필터링 및 결합하여 코너의 연결된 요소를 획득하기 위해 사용된다.

중심점 추출 모듈(40)은 코너의 연결된 요소로부터 중심점을 추출하기 위해 사용된다.

후보 얼굴 영역 판정 모듈(50)은 중심점과 얼굴 템플릿 간의 매칭시키며, 중심점의 얼굴 템플릿에 대한 매칭 확률을 계산하고, 및 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 위치시킨다.

본 실시예에서는, 보다 정확하게 얼굴에 매칭시키기 위하여 얼굴 템플릿의 확률 모델은 안정성있게 확장, 압축 및 회전할 수 있으며, 알고리즘을 효율적이게 한다. 이에 따라, 얼굴 거출의 효율성 및 정확성이 향상될 수 있다.

일 실시예에서, 코너 추출 모듈(20)은 미리 정해진 3X3 템플릿에 기반하여 현재 픽셀과 주변 픽셀 사이의 휘도 차이를 계산하고, 휘도 차이가 제1 문턱값 이상인 픽셀을 코너로서 추출하기 위해 사용된다. 여기서, 3X3 템플릿은 중심으로서 현재 픽셀을 가지는 영역이고, 또한 픽셀에 의해 현재 픽셀의 좌, 우, 상, 하, 좌상, 우상, 좌하 및 우하로 형성된다.

일 실시예에서, 코너 필터링 및 결합 모듈(30)은, 사전처리된 이미지 내의 피부색 지점을 식별하고, 코너 주변의 기설정된 범위 내에 피부색 지점을 포함하지 않는 코너를 필터링하고, 피부색 중심으로서 YCgCr 색공간 및 YCbCr 색공간의 교차 지점의 중심을 추출하고, 코너의 요소 Cb, Cg 및 Cr의 값과, 코너의 요소 Cb, Cg 및 Cr 값과 피부색 중심 간의 거리를 계산하고, 피부색 중심으로의 거리가 제2 문턱값보다 큰 코너를 필터링하기 위해 사용된다. 본 실시예에서, 피부색 지점이 존재하는 주변의 코너는 남겨두고, 피부색 지점으로부터 멀리 있는 코너는 제거한다.

일 실시예에서, 코너를 필터링함으로써 코너의 2진 이미지가 획득될 수 있다. 그러나, 이 단계에서는 추출과 관련된 제출(submission) 수가 지나치게 크고, 코너의 2진 이미지에 기초하여 얼굴 템플릿을 직접 매칭하는 것은 많은 양의 계산을 수반한다. 코너가 국부적으로 모임으로 인해, 인접한 코너가 결합되어 이후의 계산 부하를 줄일 수 있다.

특히, 코너 필터링 및 결합 모듈(30)은 거리 함수를 미리 정하기 위해 사용될 수 있다. 인접한 코너 간의 거리가 기설정 조건을 충족할 경우, 코너가 결합된다. 종래의 픽셀 라벨링 알고리즘, 런 길이 연결성 알고리즘 및 영역 확장 알고리즘이 인접한 코너를 결합하는데 이용될 수 있으며, 이에 관한 구체적인 설명은 생략한다. 코너가 결합한 후에는, 복수의 연결된 요소가 획득된다.

일 실시예에서는, 도 10에 도시된 바와 같이, 중심점 추출 모듈(40)은 연결 요소 선택 유닛(a connected component selecting unit)(410), 중심첨 추출 유닛(420) 및 중심점 제거 유닛(a centroid removing unit)(430)을 포함한다.

연결 요소 선택 유닛(410)은 제3 문턱값 이상의 면적 및/또는 기설정된 범위 내의 종횡비를 가지는 연결된 요소를 선택하기 위해 사용된다.

중심점 추출 유닛(420)은 선택된 연결된 요소로부터 중심점으로서의 중심을 추출하기 위해 사용된다.

중심점 제거 유닛(430)은 추출된 중심점의 방향을 계산하고, 정해진 수직 범위 내에서 수직성을 가지는 방향으로 중심점을 제거하기 위해 사용된다.

특히, 중심점은, 이미지 내에서의 그 위치에 관한 방향의 벡터이다. 중심점의 방향은 중심점이 위치하는 영역의 에지 방향 정보를 나타낸다. 나아가, 종래의 Sobel operator(에지 추출 오퍼레이터)가 중심점 제거 유닛(430)에 의해 중심점의 방향을 계산하는 데에 사용될 수 있다. 정해진 수직 범위 내에서 수직성을 갖는 방향으로 중심점이 제거된다. 즉, 가까운 수직 방향의 중심점으로서, 수직 에지에서 추출된 중심점이 제거될 수 있다.

일 실시예에서, 얼굴 템플릿은 왼쪽 눈 정점, 오른쪽 눈 정점 및 왼쪽 눈 정점과 오른쪽 눈 정점이 위치하는 선과 평행한 또 다른 선 상에 위치하는 적어도 하나의 제3의 점을 포함하는 직사각형 템플릿이다.

도 11에 도시된 바와 같이, 후보 얼굴 영역 판정 모듈(50)은 탐색 유닛(510), 매칭 확률 계산 유닛(520) 및 영역 로케이팅 유닛(region locating unit)(530)을 포함한다.

탐색 유닛(510)은 얼굴 템플릿의 정점으로서의 제1 중심점과 함께 오른쪽 눈 정점으로의 거리가 제4 문턱값 이하인 제2 중심점을 탐색한다. 탐색 유닛(510)은 왼쪽 눈 정점 및 오른쪽 눈 정점의 선과 평행한 다른 선으로부터의 수직 거리가 제4 문턱값 이하인 제3 중심점을 탐색하기 위해 더 사용된다.

매칭 확률 계산 유닛(520)은 제2 중심점과 오른쪽 눈 정점 간의 거리, 제3 중심점과 다른 선 간의 수직 거리, 및 제3 중심점과 제3의 점 간의 최단 거리를 기반으로 매칭 확률을 계산하기 위해 사용된다.

영역 로케이팅 유닛(530)은, 매칭 확률이 미리 결정된 값 이상인지 여부를 판정하고, 매칭 확률이 미리 결정된 값 이상일 경우, 제1 중심점, 제2 중심점 및 제3 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 위치시킨다.

일 실시예에서, 중심점을 탐색하면, 탐색 유닛은 다양한 탐색 접근법을 사용할 수 있다. 예를 들어, 전체적인 탐색이 수행될 수 있으며, 이는, 각각의 중심점을 얼굴 템플릿의 정점으로 취급하는 계산을 수행하는 것이다. 탐색 효율을 향상시키기 위해, 부분적 탐색이 사용될 수도 있으며, 이는, 탐색 프로세스의 조건을 충족하지 않는 일부 중심점을 무시함으로써 전체 탐색 프로세스의 속도를 올리는 것이다. 예를 들어, 큰 면적의 어두운 영역으로 둘러싸인 중심점은 확실히 초기 왼쪽 눈 위치가 아닐 것이고; 수직 및 수평 배열에서 오버사이즈된 중심점은 5감 기관의 중심점에 인접한 영역에 존재하지 않을 것이며; 얼굴 템플릿의 경계에 가까운 영역 내의 중심점은 무시되고; 얼굴 템플릿 사이즈에 가까운 사이즈를 가지고, 타원형 또는 아치형의 배열인 중심점은 무시된다.

도 12에 도시된 바와 같이, 또 다른 실시예에서, 얼굴 검출 시스템은 영역 선택 모듈(60)을 더 포함한다.

영역 선택 모듈(60)은 후보 얼굴 영역을 정해진 수의 그리드로 분할하고, 그리드 각각의 피부색 비율을 계산하고, 기설정된 피부색 비율 분포를 충족하는 피부색 비율을 가지는 후보 얼굴 영역을 최종 얼굴 영역으로 선택한다.

일부 후보 얼굴 영역은 실제 얼굴 영역이 아닐 수 있기 때문에, 후보 얼굴 영역 상에서의 영역 스크리닝 수행은 얼굴 위치의 정확도를 더 향상시킬 수 있다. 일 실시예에서는, 도 8에 도시된 바와 같이, 얼굴 영역이 9개의 그리드로 분할될 수 있으며, 각각의 그리드 내의 피부색은 개별적으로 계산된다. 피부색 비율은 그리드의 모든 픽셀에 연관된 그리드 내에서의 피부색 픽셀의 비율이다. 상술한 피부색 인식 방법은 피부색 픽셀을 인식하는 데에 사용될 수 있으며, 이에 대한 상세한 설명은 여기서는 생략한다.

최종 얼굴 영역이 획득된 후에, 영역 선택 모듈(60)은 이미지 내의 최종 얼굴 영역의 위치와 최종 얼굴 영역의 사이즈를 획득 및 출력하기 위해 사용될 수 있다.

상술한 얼굴 검출 방법 및 시스템은 다양한 얼굴 인식 어플리케이션에 사용될 수 있음에 유의해야 한다. 종래의 검출 알고리즘과 비교할 때, 상술한 얼굴 검출 방법 및 시스템은 얼굴 영역을 보다 정확하게 표시할 수 있고(mark) 더 효율적으로 실현될 수 있으며, 대량 데이터 처리에도 적용될 수 있다.

또한, 본 발명은 얼굴 검출 방법을 수행하기 위한 컴퓨터 실행 가능 명령을 포함하는 하나 이상의 컴퓨터 저장 매체를 더 제공한다. 컴퓨터 저장 매체에 포함된 컴퓨터 실행 가능 명령에 의해 실행되는 얼굴 검출 방법의 구체적인 단계는 상술하였으므로 여기에서는 생략한다.

본 명세서에서는 본 발명의 일부 실시예가 상세하게 설명되었으나, 이는 본 발명의 범위를 제한하기 위한 의도가 아니다. 당업자는 본 발명의 본질을 벗어나지 않으면서 본 발명의 범위에 속하는 다양한 변형 및 개선을 가할 수 있음에 유의해야 한다. 따라서, 본 발명의 범위는 첨부된 청구범위에 의해 결정될 것이다.

Claims

얼굴 검출 방법에 있어서,
이미지를 사전처리하는(preprocessing) 단계;
상기 사전처리된 이미지에서 코너를 추출하고, 상기 코너를 필터링 및 결합하여, 상기 코너의 연결된 요소를 획득하는 단계;
상기 코너의 연결된 요소에서 중심점(centroids)을 추출하는 단계; 및
얼굴 템플릿(facial template)에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계
를 포함하는 얼굴 검출 방법.
제1항에 있어서,
상기 사전처리는 이미지 레벨 조정(image level adjustment), 오토 화이트 밸런스(auto white balance), 정규화(normalization) 및 이미지 모자이크(image mosaic) 중 적어도 하나를 포함하는, 얼굴 검출 방법.
제1항에 있어서,
상기 사전처리된 이미지에서 코너를 추출하는 것은:
미리 정해진(predefined) 3X3 템플릿에 기반하여 현재 픽셀(current pixel) 및 주변 픽셀들(surrounding pixels) 간의 휘도 차이를 계산하는 단계; 및
제1 문턱값(threshold) 이상의 휘도 차이를 갖는 픽셀을 코너로서 얻는(deriving) 단계를 포함하고,
상기 3X3 템플릿은, 상기 현재 픽셀을 중심으로 한 영역이고, 상기 현재 픽셀의 좌, 우, 상, 하, 좌상, 우상, 좌하 및 우하로의 픽셀을 포함하는,
얼굴 검출 방법.
제1항에 있어서,
상기 코너를 필터링하는 것은,
상기 사전처리된 이미지에서의 피부색 지점(skin color points)을 식별하고, 기설정된 주변 범위 내에 피부색 지점을 포함하지 않는 코너를 필터링하는(filtering out) 단계; 및
피부색 중심으로서 YcgCr 색공간(color space) 및 YcbCr 색공간의 교차 지점의 중심을 추출하고, 상기 코너의 요소 Cb, Cg 및 Cr의 값을 계산하고, 상기 피부색 중심과 상기 코너의 요소 Cb, Cg 및 Cr의 값 간의 거리를 계산하고, 상기 피부색 중심으로부터의 거리가 제2 문턱값보다 큰 코너를 필터링하는 단계
를 포함하는, 얼굴 검출 방법.
제1항에 있어서,
상기 코너의 연결된 요소에서 중심점을 추출하는 단계는:
제3 문턱값 이상의 면적 및/또는 기설정된 범위 내의 종횡비(aspect ratio)를 갖는 연결된 요소를 선택하는 단계;
중심점(centroid)으로서 상기 선택된 연결된 요소의 중심을 추출하는 단계; 및
상기 추출된 중심점의 방향을 계산하고, 상기 방향의 수직성(perpendicularity)이 정해진 수직 범위 내일 경우 상기 중심점을 제거하는 단계
를 포함하는, 얼굴 검출 방법.
제1항에 있어서,
상기 얼굴 템플릿은, 왼쪽 눈 정점(vertex), 오른쪽 눈 정점, 및 왼쪽 눈 정점과 오른쪽 눈 정점이 위치하는 선과 평행한 또 다른 선 상에 위치하는 적어도 하나의 제3의 점을 포함하는 직사각형의(rectangular) 템플릿인, 얼굴 검출 방법.
제6항에 있어서,
상기 얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계는:
상기 중심점을 횡단하는(traverse) 단계; 및
각각의 중심점에 대하여 이하의 과정:
제1 중심점을 상기 얼굴 템플릿의 정점으로 사용하여 상기 오른쪽 눈 정점으로의 거리가 제4 문턱값 이하인 제2 중심점을 탐색하는 과정;
상기 왼쪽 눈 정점 및 상기 오른쪽 눈 정점이 위치한 선에 평행한 다른 선으로부터의 수직 거리가 상기 제4 문턱값 이하인 제3 중심점을 탐색하는 과정;
상기 제2 중심점과 상기 오른쪽 눈 정점 간의 거리, 상기 제3 중심점과 상기 다른 선 간의 수직 거리, 및 상기 제3 중심점과 상기 제3의 점 간의 최단 거리를 기초로 상기 매칭 확률을 계산하는 과정; 및
상기 매칭 확률이 상기 미리 결정된 값 이상인지 여부를 판정하고, 상기 매칭 확률이 상기 미리 결정된 값 이상일 경우에는 상기 제1 중심점, 상기 제2 중심점 및 상기 제3 중심점에 의해 형성되는 영역을 상기 후보 얼굴 영역으로서 식별하는 과정
을 실행하는 단계
를 포함하는, 얼굴 검출 방법.
제1항에 있어서,
상기 얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계 이후에,
상기 후보 얼굴 영역을 정해진 수의 그리드(grids)로 분할하고, 상기 그리드 각각의 피부색 비율(skin color proportion)을 계산하는 단계; 및
기설정된 피부색 비율 분포(distribution)를 충족하는 피부색 비율을 가지는 후보 얼굴 영역을 최종 얼굴 영역으로 선택하는 단계
를 더 포함하는, 얼굴 검출 방법.
얼굴 검출 시스템에 있어서,
이미지를 사전처리하는 데에 사용되는 사전처리 모듈;
상기 사전처리된 이미지에서 코너를 추출하는 데에 사용되는 코너 추출 모듈;
상기 코너를 필터링 및 결합하여 상기 코너의 연결된 요소를 획득하는 데에 사용되는 코너 필터링 및 결합 모듈;
상기 코너의 연결된 요소에서 중심점을 추출하는 데에 사용되는 중심점 추출 모듈; 및
얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 데에 사용되는 후보 얼굴 영역 판정 유닛
을 포함하는 얼굴 검출 시스템.
제9항에 있어서,
상기 사전처리는 이미지 레벨 조정(image level adjustment), 오토 화이트 밸런스(auto white balance), 정규화(normalization) 및 이미지 모자이크(image mosaic) 중 적어도 하나를 포함하는, 얼굴 검출 시스템.
제9항에 있어서,
상기 코너 추출 모듈은, 미리 정해진 3X3 템플릿에 기반하여 현재 픽셀 및 주변 픽셀들 간의 휘도 차이를 계산하고, 제1 문턱값 이상의 휘도 차이를 갖는 픽셀을 코너로서 추출하는 데에 사용되고,
상기 3X3 템플릿은, 상기 현재 픽셀을 중심으로 한 영역이고, 상기 현재 픽셀의 좌, 우, 상, 하, 좌상, 우상, 좌하 및 우하로의 픽셀을 포함하는,
얼굴 검출 시스템.
제9항에 있어서,
상기 코너 필터링 및 결합 모듈은, 상기 사전처리된 이미지에서의 피부색 지점을 식별하고, 기설정된 주변 범위 내에 피부색 지점을 포함하지 않는 코너를 필터링하는(filtering out) 데에 사용되고;
상기 코너 필터링 및 결합 모듈이, 피부색 중심으로서 YcgCr 색공간 및 YcbCr 색공간의 교차 지점의 중심을 추출하고, 상기 코너의 요소 Cb, Cg 및 Cr의 값을 계산하고, 상기 코너의 요소 Cb, Cg 및 Cr의 값과 상기 피부색 중심 간의 거리를 계산하고, 상기 피부색 중심으로부터의 거리가 제2 문턱값보다 큰 코너를 필터링하는 데에 더 사용되는,
얼굴 검출 시스템.
제9항에 있어서,
상기 중심점 추출 모듈은:
제3 문턱값 이상의 면적 및/또는 기설정된 범위 내의 종횡비(aspect ratio)를 갖는 연결된 요소를 선택하는 데에 사용되는 연결 요소 선택 유닛;
중심점으로서 상기 선택된 연결된 요소의 중심을 추출하는 데에 사용되는 중심점 추출 유닛; 및
상기 추출된 중심점의 방향을 계산하고, 상기 방향의 수직성이 정해진 수직 범위 내일 경우 상기 중심점을 제거하는 데에 사용되는 중심점 제거 유닛
을 포함하는, 얼굴 검출 시스템.
제9항에 있어서,
상기 얼굴 템플릿은, 왼쪽 눈 정점, 오른쪽 눈 정점, 및 왼쪽 눈 정점과 오른쪽 눈 정점이 위치하는 선과 평행한 또 다른 선 상에 위치하는 적어도 하나의 제3의 점을 포함하는 직사각형의 템플릿인, 얼굴 검출 시스템.
제14항에 있어서,
상기 후보 얼굴 영역 판정 모듈은:
각각의 중심점에 대하여, 상기 얼굴 템플릿의 정점의 역할을 하는 제1 중심점을 사용하여 상기 오른쪽 눈 정점으로부터의 거리가 제4 문턱값 이하인 제2 중심점을 탐색하고, 상기 왼쪽 눈 정점 및 상기 오른쪽 눈 정점의 선에 평행한 다른 선으로부터의 수직 거리가 상기 제4 문턱값 이하인 제3 중심점을 탐색하는 데에 사용되는 탐색 유닛;
상기 제2 중심점과 상기 오른쪽 눈 정점 간의 거리, 상기 제3 중심점과 상기 다른 선 간의 수직 거리, 및 상기 제3 중심점과 상기 제3의 점 간의 최단 거리를 기초로 상기 매칭 확률을 계산하는 데에 사용되는 매칭 확률 계산 유닛; 및
상기 매칭 확률이 상기 미리 결정된 값 이상인지 여부를 판정하고, 상기 매칭 확률이 상기 미리 결정된 값 이상일 경우에는 상기 제1 중심점, 상기 제2 중심점 및 상기 제3 중심점에 의해 형성되는 영역을 상기 후보 얼굴 영역으로서 위치시키는(locate) 영역 로케이팅(locating) 유닛
을 포함하는, 얼굴 검출 시스템.
제9항에 있어서,
상기 후보 얼굴 영역을 정해진 수의 그리드로 분할하고, 상기 그리드 각각의 피부색 비율을 계산하고, 피부색 비율 분포를 충족하는 피부색 비율을 가지는 후보 얼굴 영역을 최종 얼굴 영역으로 선택하는 데에 사용되는 영역 선택 모듈을 더 포함하는 얼굴 검출 시스템.
얼굴 검출 방법을 수행하기 위한 컴퓨터 실행 가능 명령(computer executable instruction)을 포함하는 컴퓨터 저장 매체에 있어서,
상기 얼굴 검출 방법은,
이미지를 사전처리하는 단계;
상기 사전처리된 이미지에서 코너를 추출하고, 상기 코너를 필터링 및 결합하여, 상기 코너의 연결된 요소를 획득하는 단계;
상기 코너의 연결된 요소에서 중심점을 추출하는 단계; 및
얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계
를 포함하는, 컴퓨터 저장 매체.
제17항에 있어서,
상기 이미지를 사전처리하는 것은 이미지 레벨 조정, 오토 화이트 밸런스, 정규화 및 이미지 모자이크 중 적어도 하나를 포함하는, 컴퓨터 저장 매체.
제17항에 있어서,
상기 사전처리된 이미지에서 코너를 추출하는 것은:
미리 정해진 3X3 템플릿에 기반하여 현재 픽셀및 주변 픽셀들 간의 휘도 차이를 계산하고;
제1 문턱값 이상의 휘도 차이를 갖는 픽셀을 코너로서 얻는(deriving) 것을 포함하고,
상기 3X3 템플릿은, 상기 현재 픽셀을 중심으로 한 영역이고, 상기 현재 픽셀의 좌, 우, 상, 하, 좌상, 우상, 좌하 및 우하로의 픽셀을 포함하는,
컴퓨터 저장 매체.
제17항에 있어서,
상기 코너를 필터링하는 것은,
상기 사전처리된 이미지에서의 피부색 지점을 식별하고, 기설정된 주변 범위 내에 피부색 지점을 포함하지 않는 코너를 필터링하는 단계; 및
피부색 중심으로서 YcgCr 색공간 및 YcbCr 색공간의 교차 지점의 중심을 추출하고, 상기 코너의 요소 Cb, Cg 및 Cr의 값을 계산하고, 상기 피부색 중심과 상기 코너의 요소 Cb, Cg 및 Cr의 값 간의 거리를 계산하고, 상기 피부색 중심으로부터의 거리가 제2 문턱값보다 큰 코너를 필터링하는 단계를 포함하는, 컴퓨터 저장 매체.
제17항에 있어서,
상기 코너의 연결된 요소에서 중심점을 추출하는 것은:
제3 문턱값 이상의 면적 및/또는 기설정된 범위 내의 종횡비를 갖는 연결된 요소를 선택하는 단계;
중심점으로서 상기 선택된 연결된 요소의 중심을 추출하는 단계; 및
상기 추출된 중심점의 방향을 계산하고, 상기 방향의 수직성이 정해진 수직 범위 내일 경우 상기 중심점을 제거하는 단계를 포함하는,
컴퓨터 저장 매체.
제17항에 있어서,
상기 얼굴 템플릿은, 왼쪽 눈 정점, 오른쪽 눈 정점, 및 왼쪽 눈 정점과 오른쪽 눈 정점이 위치하는 선과 평행한 또 다른 선 상에 위치하는 적어도 하나의 제3의 점을 포함하는 직사각형의 템플릿인, 컴퓨터 저장 매체.
제17항에 있어서,
상기 얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계는:
상기 중심점을 횡단하는(traverse) 단계; 및
각각의 중심점에 대하여 이하의 과정:
제1 중심점을 상기 얼굴 템플릿의 정점으로 사용하여 상기 오른쪽 눈 정점으로의 거리가 제4 문턱값 이하인 제2 중심점을 탐색하는 과정;
상기 왼쪽 눈 정점 및 상기 오른쪽 눈 정점이 위치한 선에 평행한 다른 선으로부터의 수직 거리가 상기 제4 문턱값 이하인 제3 중심점을 탐색하는 과정;
상기 제2 중심점과 상기 오른쪽 눈 정점 간의 거리, 상기 제3 중심점과 상기 다른 선 간의 수직 거리, 및 상기 제3 중심점과 상기 제3의 점 간의 최단 거리를 기초로 상기 매칭 확률을 계산하는 과정; 및
상기 매칭 확률이 상기 미리 결정된 값 이상인지 여부를 판정하고, 상기 매칭 확률이 상기 미리 결정된 값 이상일 경우에는 상기 제1 중심점, 상기 제2 중심점 및 상기 제3 중심점에 의해 형성되는 영역을 상기 후보 얼굴 영역으로서 식별하는 과정
을 수행하는 단계
를 포함하는, 컴퓨터 기록 매체
제17항에 있어서,
상기 얼굴 템플릿에 대하여 상기 중심점을 매칭하고, 상기 얼굴 템플릿에 대한 상기 중심점의 매칭 확률을 계산하고, 미리 결정된 값 이상의 매칭 확률을 가지는 중심점에 의해 형성되는 영역을 후보 얼굴 영역으로서 식별하는 단계 이후에,
상기 후보 얼굴 영역을 정해진 수의 그리드로 분할하고, 상기 그리드 각각의 피부색 비율을 계산하는 단계; 및
기설정된 피부색 비율 분포를 충족하는 피부색 비율을 가지는 후보 얼굴 영역을 최종 얼굴 영역으로 선택하는 단계
를 더 포함하는, 컴퓨터 기록 매체.