KR100882139B1 - 얼굴 검출 방법 - Google Patents

Abstract

본 발명은 얼굴 검출 방법에 관한 것으로서, 촬상 이미지에서 에지 이미지를 생성하고, 촬상 이미지 내의 대상 인물까지의 거리 정보를 이용하여 에지 이미지에서 대상 인물의 윤곽을 추출하며, 대상 인물의 윤곽을 추출한 이미지에서 다리 부분을 검출한 후, 양쪽 다리의 중간 지점에 해당하는 좌표를 구하며, 촬상 이미지에서 피부색 영역을 검출하여 피부색 영역들의 무게 중심을 구한 후, 양쪽 다리의 중간 지점에 해당하는 좌표와 피부색 영역들의 무게 중심 좌표를 비교함으로써 신속히 얼굴 영역을 검출할 수 있는 얼굴 검출 방법이 개시된다.

얼굴 검출, 피부색, 무게 중심, 에지, 라벨링

Description

얼굴 검출 방법{ Method for face detection }

본 발명은 얼굴 검출 방법에 관한 것이다.

얼굴 검출(Face Detection)이라 함은 사람의 얼굴을 포함하는 화상 이미지 또는 동영상 데이터에서 얼굴이 차지하고 있는 영역을 찾아내는 것을 말한다.

얼굴 검출 기술은 보안이나 검문 시스템, 대형 매장에서의 고객 관리, 신변 보호 시스템 등에서 이용될 수 있고, 얼굴 인식을 위한 전처리 단계(Pre-processing)로서의 의미를 가질 수 있다.

그러나, 얼굴 자체가 다양한 크기를 가지며, 이미지 내에서 얼굴의 위치 및 그 각도와 조명이 다양하기 때문에 얼굴 검출은 어렵다.

예를 들어, 카메라 앵글의 변화로 인한 얼굴 각도의 변화, 얼굴 포즈(정면 얼굴, 45도 기울어진 얼굴, 측면 얼굴)의 변화와 얼굴 가림 현상, 얼굴 표정의 변화 및 빛의 변화 등으로 얼굴 검출은 매우 어려운 작업이다.

얼굴 영역 검출을 위한 기법으로는 영상에서 밝기 정보를 이용하는 방법과, 움직임 정보를 이용하는 방법 및 피부색의 칼라 정보를 이용하는 방법 등이 있다.

종래의 얼굴 영역 검출을 위한 기법에 의하면 촬상 이미지에서 인간의 얼굴을 검출하기 위해 여러 가지 필터를 거쳐야 했고, 통계적 방법을 통해 얻은 데이터와의 비교를 통해 얼굴을 검출함으로써, 많은 데이터 연산을 필요로 하여 처리 속도가 저하되는 문제점이 있다.

따라서, 촬상 이미지에서 얼굴을 신속히 검출하기 위한 알고리즘의 필요가 요구된다.

본 발명의 얼굴 검출 방법의 바람직한 실시예는, 카메라에 의해 촬상된 대상 인물의 촬상 이미지를 기초로 대상 인물의 얼굴을 검출하는 방법에 있어서, 상기 촬상 이미지에서 에지(Edge)를 추출하여 에지 이미지를 생성하는 단계와, 상기 대상 인물까지의 거리 정보를 이용하여 상기 에지 이미지에서 배경을 제거하고 대상 인물의 윤곽을 추출하는 단계와, 상기 촬상 이미지에서 대상 인물의 피부색 영역들을 추출하는 단계와, 상기 대상 인물의 윤곽을 추출한 이미지에서 다리 부분을 검출한 후, 양쪽 다리의 중간 지점에 해당하는 좌표를 구하는 단계와, 상기 피부색 영역들의 무게 중심을 구한 후, 상기 양쪽 다리의 중간 지점에 해당하는 좌표와 비교하여 얼굴 영역을 검출하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

여기서, 상기 촬상 이미지의 에지는 소벨 연산자(Sobel Operator)를 이용하 여 추출하며, 상기 피부색 영역은 상기 촬상 이미지를 피부 가우시안 모델(Skin Gaussian Model)과 비교하여 추출하는 것을 특징으로 한다.

또한, 상기 피부색 영역을 추출한 이후에, 모폴로지 필터(Morphology Filter)를 이용하여 잡음을 제거한 후, 영역 라벨링(Region Labeling)을 수행하는 것을 특징으로 한다.

또한, 상기 얼굴 영역을 검출하는 단계는, 상기 피부색 영역들의 무게 중심의 x좌표가 상기 양쪽 다리의 중간 지점의 x좌표와 가장 가까운 값을 갖는 피부색 영역을 얼굴 영역으로 하는 것을 특징으로 한다.

본 발명에 의하면, 촬상 이미지에서 다리 부분의 중심 좌표를 구하고, 피부색 영역을 검출하여 그 무게 중심을 구한 후, 다리 부분의 중심 좌표와 가까운 값의 무게 중심을 가지는 피부색 영역을 얼굴 영역으로 검출함으로써, 촬상 이미지에서 얼굴 영역을 검출하는데 드는 처리 속도를 향상시킬 수 있다.

이하, 도 1 및 도 2를 참조하여 본 발명의 얼굴 검출 방법에 관해 상세히 설명한다.

도 1은 본 발명의 얼굴 검출 방법의 실시예를 나타낸 순서도이다.

먼저, 스테레오 카메라(Stereo Camera)로 촬상한 이미지 각각의 화소(Pixel)에 대해 스테레오 카메라로부터의 거리를 추출한다(S 100).

즉, 같은 시각에 제1 카메라 및 제2 카메라에서 촬상된 2매의 촬상 이미지의 시차에 근거하여 상기 촬상 이미지의 각 화소에 대해 스테레오 카메라로부터의 거리를 검출한다.

구체적으로는, 기준 카메라인 제1 카메라에서 촬상된 제1 촬상 이미지와, 제2 카메라에서 촬상된 제2 촬상 이미지로부터 블록 상관법을 이용하여 시차를 구하고, 그 시차로부터 삼각법을 이용하여 상기 촬상 이미지의 각 화소에 대해 스테레오 카메라로부터의 거리를 검출한다.

그리고, 상기 검출한 거리를 제1 촬상 이미지의 각 화소에 대응시켜 거리를 화소치로 나타낸 거리 이미지를 생성한다. 여기서, 상기 거리 이미지가 거리 정보가 된다.

한편, 블록 상관법이란 제1 촬상 이미지와 제2 촬상 이미지에서 특정 크기의 동일 블록(예를 들면, 16×16 화소)을 비교하고, 제1 촬상 이미지와 제2 촬상 이미지에서 상기 블록 내의 피사체가 몇 화소만큼 어긋나 있는지를 조사함으로써 시차를 검출하는 방법이다.

다음으로, 기준 카메라인 제1 카메라에서 촬상된 이미지의 각 화소의 농담 정보 또는 색 정보에 근거하여 그 촬상 이미지 내에 존재하는 에지(Edge)를 추출한 에지 이미지(Edge Image)를 생성한다(S 110).

즉, 촬상 이미지의 각 화소의 휘도에 근거하여 휘도가 크게 변화되는 부분을 에지로서 검출하고, 검출한 에지만으로 이루어지는 에지 이미지를 생성한다. 상기 에지 이미지가 에지 정보가 된다.

여기서, 촬상 이미지의 에지는 소벨 에지 검출을 수행함으로써 검출한다. 즉, 소벨 연산자(Sobel Operator)를 이용하여 촬상 이미지의 화소마다 가중치를 부여하고, 화소 값이 행 또는 열 단위로 인접 화소와 소정의 차이가 있는 화소를 에지(수평 에지 또는 수직 에지)로 검출한다.

상기 소벨 연산자는 소정 화소의 인접 영역의 화소에 대해 가중치(무게 계수)를 갖는 계수 행렬을 의미한다.

이어서, 상기 에지 이미지에서 스테레오 카메라로부터 일정 거리(예를 들어, 대상 인물이 존재하는 거리)보다 멀리 떨어진 이미지를 제거한다(S 120).

즉, 상기 에지 이미지에서 배경 이미지를 제거(Background Subtraction)하여 대상 인물의 몸의 윤곽을 추출한다.

구체적으로, 상기 거리 이미지의 거리 정보를 이용하여 에지 이미지에서 대상 인물이 존재한다고 간주되는 대상 거리를 설정하고, 상기 대상 거리 근방에 존재하는 화소를 상기 에지 이미지로부터 추출하여 대상 거리 이미지를 생성하며, 상기 대상 거리 이미지 내에서 대상 영역을 설정한 후, 상기 대상 영역 내에서 대상 인물의 윤곽을 추출한다.

연이어, 상기 기준 카메라에서 촬상된 촬상 이미지로부터 촬상 이미지 내에 존재하는 대상 인물의 피부색 영역을 추출한다(S 130).

상기 촬상 이미지는 R(Red), G(Green), B(Blue) 데이터로 구성되어 있는데, 상기 대상 인물의 피부색 영역은 다음과 같은 다양한 방법에 의해 추출할 수 있다.

i) RGB의 비율을 이용하는 방법으로, 대부분의 사람의 피부는 멜라닌 색소의 영향으로 인해 컬러 성분 중 Red 성분이 유난히 높은 비율을 차지한다. 따라서, R/G, R/B의 비율이 특정 임계치 사이에 존재하면 피부색으로 간주하고 그렇지 않으면 피부색이 아닌 것으로 간주하는 방법을 통하여 대상 인물의 피부색 영역을 검출할 수 있다.

ii) 경험적으로 정의한 피부색 영역을 이용하는 방법으로, 다음의 수학식 1을 만족하면 피부색 영역인 것으로 간주한다.

R 〉220 AND G 〉210 AND B 〉170 AND ｜R-G｜≤ 15 AND R 〉B AND G 〉B

iii) 피부 가우시안 모델(Skin Gaussian Model)을 이용하는 방법으로, 촬상 이미지를 피부 가우시안 모델과 비교하여 피부색 영역을 검출한다.

상기 촬상 이미지의 RGB 데이터에는 색상 정보뿐만 아니라, 휘도 성분도 함께 포함되어 있는데, 피부색 영역을 검출하기 위해서는 계산이 단순하고 얼굴의 크기 및 포즈 변화에 민감하지 않은 색상 정보를 이용하는 것이 바람직하다.

즉, RGB에는 밝기 성분이 따로 분리되어 있지 않고 색상 자체에 섞여 있기 때문에 어두운 곳에서는 피부색 영역을 잘 검출할 수 없는 반면, YCbCr는 Y값이 명 도로 분리됨으로 색상 성분만 가지고 있는 Cb와 Cr을 이용하여 밝기 변화에 덜 민감한 피부색 영역을 검출할 수 있다.

따라서, 상기 촬상 이미지의 RGB 데이터에서 색상 정보만을 획득하기 위해서, RGB 색상 공간을 컬러 공간 변환(Color Space Transform)을 통해 YCbCr 공간으로 변환하고, 이 중에서 Cb와 Cr 공간만을 사용한다.

그 후, 촬상 이미지를 획득한 환경에 따라 적응적으로 임계값을 결정하고, 촬상 이미지의 각 화소 값을 피부 가우시안 모델의 중앙값과 비교한 후, 비교 결과에 따라 각 화소 값이 피부 가우시안 모델의 중앙값에 일치할수록 그레이 레벨(Gray Level)의 255에 가깝게 부여하고, 상기 중앙값에 차이가 날수록 0에 가깝게 부여한다.

그리고 상기 각 화소의 그레이 레벨을 상기 결정된 임계값과 비교하여 각 화소의 그레이 레벨이 임계값 이상이면 '1' 값을 주고, 임계값 미만이면 '0' 값을 부여하는 방법에 의해 이진화함으로써 피부색 영역을 검출할 수 있다.

이때, 촬상 이미지를 획득한 환경에 따라 상기 임계값을 적절하게 가변시킴으로써, 피부색 영역 검출의 정확도를 높일 수 있다.

여기서, 상기 피부 가우시안 모델은 다양한 환경에서의 피부 샘플을 입력으로 하여 YCbCr 공간으로 변환하고, 저역 통과 필터링(Low Pass Filtering)을 통해 잡음을 없앤 후에 가우시안 분포로 나타낸 피부 모델을 말하는 것으로, 도 2에서 피부 가우시안 모델의 일례를 도시하였다.

다음으로, 상기 검출한 피부색 영역들에 대해 모폴로지 필터(Morphology Filter)를 이용하여 잡음(Noise)을 제거한 후, 영역 라벨링(Region Labeling)을 실시한다(S 140).

즉, 상기 촬상 이미지에서 서로 이격되어 있는 피부색 영역이 둘 이상이 있는 경우, 각 피부색 영역에 서로 다른 번호를 부여하여 이를 구분한다.

이어서, 상기 대상 인물의 윤곽을 추출한 이미지에서 대상 인물의 다리 부분을 검출한 후, 양쪽 다리의 최 외각의 서로 대응하는 화소들 사이의 평균 중심 좌표를 구한다(S 150).

일반적으로 사람의 다리 부분은 맨 밑에 위치하는 것으로 그 위치를 쉽게 검출할 수 있으며, 다리 부분을 검출하면 어깨 부분의 위치를 유추해낼 수 있다.

즉, 사람의 양쪽 다리 사이의 거리는 어깨 넓이와 거의 같으므로 양쪽 다리의 최 외각 부분의 x좌표를 통해 양 어깨 부분의 x좌표를 구할 수 있게 된다.

한편, 상기 검출한 대상 인물의 양쪽 다리의 최 외각에서 서로 대응하는 화소들 사이의 중심에 해당하는 좌표를 구한 후, 상기 중심 좌표들의 평균을 구한다.

즉, 상기 양쪽 다리의 최 외각의 동일한 y좌표를 가지는 화소들 사이에서 그 중심에 해당하는 x좌표를 각각 구한 후, 상기 중심에 해당하는 x좌표들의 평균을 구한다. 여기서 구한 x좌표들의 평균값은 양다리의 중간 지점에 해당한다.

연이어, 상기 검출한 피부색 영역들의 무게 중심에 해당하는 좌표를 구하고, 상기 다리 부분의 중간 지점에 해당하는 x좌표 값과 가장 가까운 무게 중심의 x좌표 값을 갖는 피부색 영역을 얼굴 영역으로 검출한다(S 160).

일반적으로 사람이 서 있게 되면 양다리의 중간 지점에 머리가 위치하게 된다. 따라서 본 발명은 이러한 점을 이용하여 얼굴 영역을 신속히 검출할 수 있게 된다.

한편, 이와 같이 대상 인물의 얼굴 영역을 검출하면 왼팔과 오른팔 영역도 쉽게 구분할 수 있게 된다.

즉, 양팔은 상기 영역 라벨링된 이미지에서 얼굴 영역을 제거하고, 얼굴 영역의 무게 중심에서 양쪽에 위치하는 것으로, 특히 영역 라벨링된 이미지에서 각각의 어깨 위치에서 가장 가까운 영역을 검출함으로써 왼팔과 오른팔을 구분할 수 있다.

이때, 상기 양쪽 어깨의 위치는 상기 양쪽 다리의 최 외각 부분의 x좌표를 통해 알 수 있다.

도 2a 내지 도 2f는 본 발명의 얼굴 검출 방법을 설명하기 위한 영상을 예시적으로 나타낸 도면이다.

먼저, 도 2a에서 도시된 촬상 이미지에서 각 화소에 대한 카메라로부터의 거리를 추출한 후, 에지 이미지를 생성한다(도 2b).

다음으로, 상기 에지 이미지에서 배경 이미지를 제거하여 대상 인물의 윤곽을 추출한다(도 2c).

이어서, 촬상 이미지에서 피부색 영역을 추출한 후, 영역 라벨링을 수행한다(도 2d).

연이어, 에지 이미지에서 다리 부분을 추출한 후, 양쪽 다리의 중간 지점에 해당하는 x좌표를 구한다(도 2e).

그 후, 각 피부색 영역의 무게 중심을 구한 후, 무게 중심이 상기 양쪽 다리의 중간 지점에 해당하는 x좌표와 가장 가까운 x좌표 값을 갖는 영역을 얼굴 영역으로 검출한다(도 2f).

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.

그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 얼굴 검출 방법의 실시예를 나타낸 순서도.

도 2a 내지 도 2f는 본 발명의 얼굴 검출 방법을 설명하기 위한 영상을 예시적으로 나타낸 도면.

Claims (6)

1. 카메라에 의해 촬상된 대상 인물의 촬상 이미지를 기초로 대상 인물의 얼굴을 검출하는 방법에 있어서,

   상기 촬상 이미지에서 에지(Edge)를 추출하여 에지 이미지를 생성하는 단계;

   상기 대상 인물까지의 거리 정보를 이용하여 상기 에지 이미지에서 배경을 제거하고 대상 인물의 윤곽을 추출하는 단계;

   상기 촬상 이미지에서 대상 인물의 피부색 영역들을 추출하는 단계;

   상기 대상 인물의 윤곽을 추출한 이미지에서 다리 부분을 검출한 후, 양쪽 다리의 중간 지점에 해당하는 좌표를 구하는 단계; 및

   상기 피부색 영역들의 무게 중심을 구한 후, 상기 양쪽 다리의 중간 지점에 해당하는 좌표와 비교하여 얼굴 영역을 검출하는 단계를 포함하여 이루어지는 얼굴 검출 방법.
2. 제1항에 있어서,

   상기 피부색 영역을 추출한 이후에,

   모폴로지 필터(Morphology Filter)를 이용하여 잡음을 제거한 후, 영역 라벨링(Region Labeling)을 수행하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 검출 방법.
3. 제1항 또는 제2항에 있어서,

   상기 촬상 이미지의 에지는 소벨 연산자(Sobel Operator)를 이용하여 추출하는 것을 특징으로 하는 얼굴 검출 방법.
4. 제1항 또는 제2항에 있어서,

   상기 피부색 영역을 추출하는 단계는,

   상기 촬상 이미지를 피부 가우시안 모델(Skin Gaussian Model)과 비교하여 추출하는 것을 특징으로 하는 얼굴 검출 방법.
5. 제1항 또는 제2항에 있어서,

   상기 피부색 영역을 추출하는 단계는,

   상기 촬상 이미지에서 하기의 수학식을 만족하는 영역을 피부색 영역으로 하는 것을 특징으로 하는 얼굴 검출 방법.

   (수학식)

   R 〉220 AND G 〉210 AND B 〉170 AND ｜R-G｜≤ 15 AND R 〉B AND G 〉B
6. 제1항 또는 제2항에 있어서,

   상기 얼굴 영역을 검출하는 단계는,

   상기 피부색 영역들의 무게 중심의 x좌표가 상기 양쪽 다리의 중간 지점의 x좌표와 가장 가까운 값을 갖는 피부색 영역을 얼굴 영역으로 하는 것을 특징으로 하는 얼굴 검출 방법.

Images