KR100474848B1

KR100474848B1 - 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법

Info

Publication number: KR100474848B1
Application number: KR10-2002-0042485A
Authority: KR
Inventors: 김태균; 이종하
Original assignee: 삼성전자주식회사
Priority date: 2002-07-19
Filing date: 2002-07-19
Publication date: 2005-03-10
Also published as: US7352880B2; JP2004054960A; US20040017930A1; KR20040008791A; JP4216668B2

Abstract

본 발명은 입력영상에서 복수의 얼굴을 실시간으로 검출하고 추적할수 있는 시스템 및 방법을 개시한다.

본 발명의 시스템은 입력영상으로부터 배경영상을 제거하여 움직이는 영역을 추출하는 배경제거부, 얼굴 피부색 모델로부터 생성된 피부색 확률맵(P_skin)과 얼굴이 존재할 확률을 나타내는 전역적 확률맵을 이용하여, 움직이는 영역에서 얼굴이 위치할 수 있는 후보얼굴영역을 추출하는 후보얼굴영역 추출부, 후보얼굴영역에서 ICA(Independent Component Analysis) 특징을 추출하여, 후보얼굴영역이 얼굴영역인지를 판단하는 얼굴 영역 판단부, 및 피부색 확률맵에 기반하여, 다음 프레임에서 얼굴이 위치할 확률을 나타내는 방향 지향성 커널에 따라서 얼굴 영역을 추적하는 얼굴영역 추적부를 포함한다.

Description

영상시각 정보를 결합하여 실시간으로 복수의 얼굴을 검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법{System and method for detecting and tracking a plurality of faces in real-time by integrating the visual ques}

본 발명은 얼굴 검출 및 추적 시스템 및 방법에 관한 것이다. 구체적으로, 실시간으로 복수의 얼굴을 검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법에 관한 것이다. 실시간으로 복수 얼굴을 검출하는 방법이란, 디지털 컬러 동영상을 입력으로 하여, 영상에 나타난 모든 얼굴의 영상 좌표와 크기를 실시간으로 출력하는 방법을 말한다.

기존의 감시 시스템의 자동성 및 감시 성능을 향상시키기 위해, 실시간 복수 얼굴 검출 알고리즘을 적용한 디지털 감시 시스템에 대한 필요성이 증가하고 있다. 특히, 영상에 나타난 모든 인종의 다양한 자세와 크기의 얼굴을 검출할 수 있으며, 일반적으로 열악한 조명의 감시 환경하에서도 강인하게 동작하는 알고리즘이 필요하다.

한편, 감시 시스템을 비롯하여, 얼굴 검출 알고리즘의 효과적인 응용을 위해서는, 다양한 환경에서 다양한 모습의 얼굴을 신뢰성 있게 검출하는 것이 무엇보다 중요하다. 종래의 얼굴을 검출하는 방법 중, 탐색창(search window)를 영상의 모든 좌표에서 스케일을 바꿔가며, 미리 학습된 network(혹은 classifier)을 통해 현재 탐색창에 얼굴이 포함되어 있는지 아닌지를 판단하는 방법이 가장 신뢰성 있는 검출 결과를 제공한다고 알려져 있다. 또한, 감시 시스템에서 이용되는 일반적인 영상에 나타난 얼굴은 그 사이즈가 작은데, 탐색창에 기반한 방법은 이러한 작은 사이즈의 얼굴 검출이 가능한 장점이 있다. 학습 classifier로서는, 신경회로망이나 Support Vector Machine(이하, SVM 이라 약칭함)이 얼굴 검출 및 인식에 널리 적용되고 있다.

그러나, 이러한 기존의 방법들은 연산량 및 연산의 복잡도가 대단히 높아 현재 일반적인 PC 의 계산능력으로는 얼굴 검출을 실시간 적용하기는 불가능하다.

최근에는 얼굴 검출의 고신뢰도와 실시간 구현을 동시에 만족시키기 위해, 비디오로부터 다양한 정보를 결합하는 방법이 많이 연구되고 있다. 이러한 연구로서, 스테레오 카메라로부터 얻을 수 있는 영상과의 거리 정보와 피부색 정보를 결합하여, 후보얼굴영역을 먼저 찾고, 신경 회로망에 기반한 classifier를 적용하는 방법이 있다. 그러나, 이 방법은 스테레오 카메라를 사용해야 한다는 하드웨어적 제한이 있고, 신경 회로망에 기반한 classifier는 학습한 데이터 베이스의 영상에만 잘 동작하여 일반성이 떨어지는 문제가 있다.

다른 방법으로, 피부색 컬러와 얼굴 패턴 정보를 동시에 사용하는 방법이 있으나, 이러한 방법은 움직임 정보는 활용하지 않으며, 피부색 컬러 또한 조명 변화에 민감한 문제가 있다.

또한, SVM에 기반한 얼굴 검출기의 정확성을 높이기 위해, 입력되는 영상을 그대로 사용하지 않고, 독립요소 분석법(ICA; Independent Component Analysis)에 의해서 특징 벡터(feature vector)를 영상으로부터 추출하고, 이를 SVM 에 인가하여 얼굴을 판별하는 방법이 제안되었다. 그러나, 이러한 방법은 영상패턴을 사용하여 신뢰성은 보장되지만, 영상 패턴을 픽셀단위로 이동하면서 패턴을 비교하여 검색을 수행하는 방법을 사용하기 때문에 연산에 많은 시간이 소요되므로, 실시간 구현이 불가능한 문제가 있다.

본 발명의 목적은 영상에 나타난 영상의 움직임, 피부색, 사람의 자세, 얼굴의 눈, 코, 입의 패턴등의 다양한 정보를 효과적으로 결합하여 모든 인종의, 다양한 자세와 크기의 얼굴에 대해서 실시간으로 검출 및 추적을 수행할 수 있으며, 일반적으로 열악한 조명의 감시 환경하에서도 강인하게 동작하는 얼굴 검출 및 추적 시스템 및 방법을 제공하는 것이다.

상술한 목적을 달성하기 위해, 본 발명의 시스템은 입력 영상과 미리 저장된 배경영상간의 밝기차를 이용하여 배경이 아닌 영역을 구하고, 배경이 아닌 영역의 각 중심으로부터 컬러차이가 있는 영역을 추출함으로써 입력 영상으로부터 배경영상을 제거하여 움직임이 있는 영역을 추출하는 배경제거부; 얼굴 피부색 모델로부터 생성된 피부색 확률맵(P_skin)과 얼굴이 존재할 확률을 나타내는 전역적 확률맵을 이용하여, 움직이는 영역에서 얼굴이 위치할 수 있는 후보얼굴영역을 추출하는 후보얼굴영역 추출부; 후보얼굴영역에서 ICA(Independent Component Analysis) 특징을 추출하고, 학습 얼굴 영상들에 ICA를 수행하여 얻어진 특징과 얼굴이 아닌 영상들에 ICA를 수행하여 얻어진 특징들을 학습한 SVM (Support Vector Machine)에 후보얼굴영역의 ICA 특징을 인가하여, 후보얼굴영역이 얼굴영역인지를 판단하는 얼굴 영역 판단부; 및 피부색 확률맵에 기반하여, 다음 프레임에서 얼굴이 위치할 확률을 나타내는 방향 지향성 커널에 따라서 얼굴 영역을 추적하는 얼굴영역 추적부를 포함한다.

상기 시스템의 후보얼굴영역 추출부는 얼굴 피부색 모델을 이용하여 움직임이 있는 영역에 대해서 피부색 확률맵(P_skin)을 생성하는 피부색 확률맵 생성부; 움직임이 있는 영역의 복수의 최상위점을 추출하고, 복수의 최상위점으로부터 소정의 거리에 중심좌표를 설정하며, 중심좌표로부터 소정의 거리에 얼굴이 위치할 확률을 계산하는 전역적 확률맵 생성부; 및 피부색 확률맵과 전역적 확률맵(P_global)을 승산하여, 얼굴이 위치할 다중 스케일 확률맵을 생성하고, 생성된 다중 스케일 확률맵의 확률 값이 소정의 임계값 이상인 영역을 얼굴이 위치할 후보얼굴영역으로 추출하는 다중 스케일 확률맵 생성부를 포함하는 것이 바람직하다.

또한, 상술한 목적을 달성하기 위해, 본 발명의 방법은 입력 영상과 미리 저장된 배경영상간의 밝기차를 이용하여 배경이 아닌 영역을 구하고, 배경이 아닌 영역의 각 중심으로부터 컬러차이가 있는 영역을 추출함으로써 입력 영상으로부터 배경영상을 제거하여 움직임이 있는 영역을 추출하는 단계; 얼굴 피부색 모델로부터 생성된 피부색 확률맵(P_skin)과 얼굴이 존재할 확률을 나타내는 전역적 확률맵을 이용하여, 움직이는 영역에서 얼굴이 위치할 수 있는 후보얼굴영역을 추출하는 단계; 상기 후보얼굴영역에서 ICA(Independent Component Analysis) 특징을 추출하고, 학습 얼굴 영상들에 ICA를 수행하여 얻어진 특징과 얼굴이 아닌 영상들에 ICA를 수행하여 얻어진 특징들을 학습한 SVM (Suppot Vector Machine)에 상기 후보얼굴영역의 ICA 특징을 인가하여, 상기 후보얼굴영역이 얼굴영역인지를 판단하는 단계; 및 상기 피부색 확률맵에 기반하여, 다음 프레임에서 얼굴이 위치할 확률을 나타내는 방향 지향성 커널에 따라서 얼굴 영역을 추적하는 단계를 포함한다.

상기 방법의 후보얼굴영역을 추출하는 단계는 얼굴 피부색 모델을 이용하여 움직이는 영역에 대해서 피부색 확률맵(P_skin)을 생성하는 단계; 움직임이 있는 영역의 복수의 최상위점을 추출하고, 복수의 최상위점으로부터 소정의 거리에 중심좌표를 설정하며, 중심좌표로부터 소정의 거리에 얼굴이 위치할 확률을 계산하여 전역적 확률맵(Pglobal)을 생성하는 단계; 및 피부색 확률맵과 전역적 확률맵을 승산하여, 얼굴이 위치할 다중 스케일 확률맵을 생성하고, 생성된 다중 스케일 확률맵의 값이 일정값 이상인 영역을 얼굴이 위치할 후보얼굴영역으로 추출하는 단계를 포함하는 것이 바람직하다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 1 은 본 발명의 바람직한 실시예에 따른 시스템의 구성을 도시하는 블록도이다.

본 발명의 시스템은 입력영상으로부터 배경영상을 제거하여 움직이는 영역을 추출하는 배경제거부(10), 얼굴 피부색 모델(80)을 이용하여 움직이는 영역에 대해서 피부색 확률맵(P_skin)을 생성하는 피부색 확률맵 생성부(20), 움직이는 영역의 복수의 최상위점을 추출하고, 복수의 최상위점으로부터 소정의 거리에 중심좌표를 설정하며, 중심좌표로부터 소정의 거리에 얼굴이 위치할 확률을 계산하는 전역적 확률맵 생성부(30), 피부색 확률맵과 전역적 확률맵(P_global)을 승산하여, 얼굴이 위치할 다중 스케일 확률맵을 생성하고, 생성된 다중 스케일 확률맵의 확률 값이 소정의 임계값 이상인 영역을 얼굴이 위치할 후보얼굴영역으로 추출하는 다중 스케일 확률맵 생성부(40), 추출된 후보얼굴영역에 대해서 ICA를 수행하여 특징을 추출하는 ICA 특징 추출부(50), 학습 얼굴 영상들에 ICA를 수행하여 얻어진 특징과 얼굴이 아닌 영상들에 ICA를 수행하여 얻어진 특징들을 얼굴 검출 모델(90)로부터 학습한 SVM (Suppot Vector Machine)에, 상기 후보얼굴영역의 ICA 특징을 인가하여, 후보얼굴영역이 얼굴인지를 판단하는 얼굴 판단부(60), 및 피부색 확률맵에 기반하여, 다음 프레임에서 얼굴이 위치할 확률을 나타내는 방향 지향성 커널에 따라서 얼굴 영역을 추적하는 얼굴영역 추적부(70)를 포함한다.

도 2 를 더 참조하여 본 발명의 동작과정을 설명한다.

입력 영상이 본 발명의 시스템의 배경제거부(10)에 입력되면, 배경제거부(10)는 입력영상으로부터 미리 저장된 배경 영상(참조 영상)의 차이를 이용하여, 배경이 아닌 움직이는 물체를 감지하고, 입력영상에서 배경영상을 제외한 영역을 출력한다(S200).

종래에는 두 영상간에 픽셀 밝기의 차이가 고정된 임계치 이상이면, 그 픽셀을 배경이 아닌 움직이는 영역으로 정의하는 방식으로, 모든 영상 픽셀을 조사함으로써, 현재 영상의 움직이는 영역을 검출하였다. 그러나, 이러한 방법은 현재 움직이는 물체가 배경과 동일한 밝기를 지니거나, 점진적인 조명 변화에 의해, 미리 저장한 배경 영상의 밝기가 바뀔 때, 강인하게 배경을 제거할 수 없는 문제가 있다. 또한, 밝기차만을 이용하여 구해진 배경이 아닌 영역은 노이즈에 강한 특성이 있으나, 실제 배경이 아닌 영역도 배경으로 오인식될 확률이 크다.

따라서, 본 발명의 배경제거부(10)는 영상간의 밝기차뿐만 아니라 컬러차이도 동시에 사용하며, 점진적으로 배경 영상을 자동 갱신함으로써 환경 변화에 강인하게 배경 영상을 제거할 수 있다.

본 발명의 바람직한 실시예에 따라서 배경영상을 제거하는 과정을 예시하는 도 3을 참조하면, 배경제거부(10)는 도 3(a) 에 도시된 입력 영상에 대해서 먼저 밝기 차를 이용하여 도 3(b)의 배경이 아닌 영역을 감지한다. 밝기 차에 의해 감지된 배경이 아닌 영역은 몇 개의 영역으로 분리되는데, 도 3(b) 는 크게 두 영역으로 분리된 예를 도시하였다.

한편, 입력영상에 대해서 각 픽셀의 R, G, B 성분 각각의 차이를 계산한 후, 이를 합산함으로써 컬러 차이를 계산하게 되고, 컬러차이가 나타나는 영역을 찾음으로써 컬러차에 따른 배경영상을 분리한 영상을 도 3(c) 와 같이 얻게된다.

그 후, 도 3(b)에서 분리된 각각의 영역의 중심을 seed 로 하여, 상기 seed를 포함하는 도 3(c)의 영역을 배경이 아닌 영역으로 결정함으로써, 노이즈에 강인하게 입력영상으로부터 배경영상을 제거하여 현재 움직이는 영역을 추출할 수 있다.

한편, 배경제거부(10)는 입력영상으로부터 배경영상이 결정되면, 결정된 배경영상으로 기존에 저장되었던 배경영상을 갱신하게 된다.

새로운 배경 영상 R'(x,y)는 기존 배경 영상 R(x,y)와, 현재 영상과의 차이에 의해 얻어지는 이진화 영상 B(x,y)의 조합으로 얻어지며, 새로운 배경영상의 각 픽셀값은 아래의 〔수학식 1〕에 따라서 계산된다.

이 때, 갱신 상수 β를 적절히 선택하여 배경영상을 갱신함으로써 적절히 조명 변화에 대처할 수 있게 되는데, 갱신상수 β는 0 내지 1 범위의 값으로, 바람직하게는 0.2 내지 0.3 범위의 값이 선택된다.

입력영상으로부터 배경영상이 제거된 영상, 즉, 배경이 아닌 영상 및 움직이는 영상은 피부색 확률맵 생성부(20) 및 전역적 확률맵 생성부(30)로 입력되고, 다중 스케일 확률맵 생성부(40)는 피부색 확률맵 생성부(20)에서 생성된 피부색 확률맵과 전역적 확률맵 생성부(30)에서 생성된 전역적 확률맵을 승산하여 멀티 스케일 확률맵(P_total)을 생성함으로써 얼굴이 위치할 수 있는 후보얼굴영역을 추출한다(S210).

본 발명의 바람직한 실시예에 따른 피부색 확률맵 및 전역적 확률맵을 예시하는 도 4를 참조하여 제 S210 단계를 구체적으로 살펴보면, 배경제거부(10)로부터 출력된 배경이 제거된 영상은 피부색 확률맵 생성부(20)로 출력된다. 피부색 확률맵 생성부(20)는 얼굴 피부색 모델(80)에 따라서, 입력된 영상에 대해서 각 픽셀이 피부색일 확률을 나타내는 피부색 확률맵(P_skin)을 생성한다(S212).

확률맵 생성부(20)는 얼굴 피부색 모델(80)에 따라서, 입력된 영상의 각 픽셀의 R,G,B 컬러를 색상(Hue)과 채도(Saturation)로 변환하고, 미리 다양한 피부색으로 학습된 2차원 Gaussian 모델로부터, 각 픽셀 컬러가 피부색을 나타낼 확률을 부여한다. 각 픽셀이 피부색을 나타낼 최종 확률은 찾고자 하는 얼굴 크기 영역내의 픽셀들의 평균 확률로 주어지며, 다음의 〔수학식 2〕에 의해서 계산된다.

상기 식에서 P_skin(x,y,n) 은 얼굴의 크기가 n 일 때, (x,y) 좌표의 픽셀이 얼굴 피부색일 확률을 나타내고, Hue(i,j) 및 Sat(i,j) 는 (i,j) 좌표에서의 색상 및 채도를 각각 나타내며, 및 Σ는 가우시안 분포의 평균 및 분산을 각각 나타낸다.

도 4 에 도시된 바와 같이, 본 발명의 시스템에 입력된 영상이 도 4(a)와 같을 때, 피부색 확률맵은 도 4(b)와 같이 생성된다. 도 4(b)에서 실선으로 표시된 영역은 배경제거부(10)로부터 출력된 배경이 아닌 영역을 나타내며, 그 내부의 흰색으로 나타나는 부분은 피부색일 확률이 높은 부분임을 의미한다.

피부색 2차원 Gaussian 모델, 즉 피부색의 색상과 채도의 평균과 분산값은 최종적으로 얼굴 검출이 성공하면, 검출된 얼굴 영역의 컬러로부터 갱신되어, 본 발명의 시스템은 조명 변화에 강인하게 대응할 수 있게된다.

한편, 배경제거부(10)로부터 출력된 배경이 제거된 영상은 전역적 확률맵 생성부(30)로도 출력되어, 입력된 배경이 아닌 영상 중에서 얼굴이 위치할 확률이 높은 영역을 나타내는 전역적 확률맵(P_global)이 생성된다(S214).

일반적인 감시 환경에서 사람들은 서 있는 자세에서 영상으로 포착되기 때문에, 후보얼굴영역에서 얼굴은 위쪽에 존재할 확률이 높다. 이러한 사실을 반영하여 배경이 제거된 영상 중 상위부분에 얼굴이 검출될 확률을 높게 부여함으로써 보다 정확하고 빠른 얼굴 검출이 가능하다.

도 4(c)를 참조하여 전역적 확률맵 생성과정을 설명하면, 먼저, 실선으로 표시된 배경이 제거된 영상에서 ×로 표시된 최상위점(Mij)을 찾는다.

최상위점(Mij)으로부터 전역적 확률을 Gaussian mixture로 모델링하는데, 전역적 확률맵은 아래의 〔수학식 3〕에 의해서 생성된다.

상기 수식에서 n 은 얼굴 영역의 크기를, (x,y)는 영상의 좌표를, i 는 최상위점의 개수를, _i 는 얼굴이 존재할 후보얼굴영역의 중심 좌표를, Σ 는 분산 매트릭스를 각각 나타내며, 하기의 식들로 표현된다.

한편, 얼굴이 존재할 후보얼굴영역의 중심좌표 _i 는, 먼저, 최상위점에서의 벡터를 구하고, 이에 직교하는 법선벡터를 구한 후, 법선벡터의 방향으로 얼굴의 길이인 n 만큼의 거리에 해당되는 좌표를 나타낸다.

생성된 피부색 확률맵과 전역적 확률맵은 다중 스케일 확률맵 생성부(40)로 출력된다.

다중 스케일 확률맵 생성부(40)는 피부색 확률맵과 전역적 확률맵을 서로 승산하여 다음의 〔수학식 6〕으로 표현되는 다중 스케일 확률맵(P_total)을 생성하고,

생성된 확률맵의 확률값이 소정의 값 이상인 영역을 얼굴이 위치할 후보얼굴영역으로 추출하여 출력한다. 이 때, 소정의 값은 임계값(threshold)으로 정해지며, 이는 〔수학식 4〕의 P_total 의 값이 0.1 이상이 되는 값으로 설정된다(S216).

그 후에, 검출된 후보얼굴영역은 ICA(Independent Component Analysis) 특징 추출부(50)로 제공되고, ICA 특징 추출부(50)는 입력된 후보얼굴영역으로부터 ICA 특징점들을 추출한다(S222).

그리고, ICA 특징 추출부(50) 입력 영상의 후보얼굴영역에 대해서 추출된 ICA 특징들을 얼굴 판단부(60)로 출력하고, 얼굴 판단부(60)는 ICA 특징들을 SVM (Support Vector Machine) 에 인가하여 얼굴 검출 모델(90)에 따라서, 추출된 후보얼굴영역이 얼굴인지 여부를 판단하게 된다(S224).

한편, 얼굴 판단부(60)에서 얼굴 여부 판단에 이용되는 SVM 은 사전에 정규화된 얼굴 영상들을 학습 DB로서 수집하고, 수집된 영상에 대해서 Independent Component Analysis (ICA)를 수행하여 얼굴 영역를 가장 잘 표현할 수 있는 기저 벡터들을 얻는다. ICA 특징이란, 현재 영상과 얻어진 기저 벡터들과의 상관연산(correlation)을 통해 얻어지는 계수들을 의미한다.

즉, 얼굴 판단부(60)는 이러한 학습 얼굴 영상들의 ICA 특징과 얼굴이 아닌 영상들의 ICA 특징을 이용하여 SVM을 사전에 학습시켜두고, 현재 추출된 ICA 특징을 학습된 SVM 에 인가하여 얼굴인지를 판단한후, 얼굴이라고 판단된 영역의 영상을 얼굴영역 추적부(70)로 제공한다.

얼굴이라고 판단된 영역의 영상을 얼굴 판단부(60)로부터 수신한 얼굴 영역 추적부(70)는 상술한 피부색 확률맵 및 방향 지향성 커널(kernel)을 이용하여 얼굴 영역을 추적한다(S230). 얼굴 영역 추적부(70)는 검출된 얼굴 영역의 중심 위치와 크기로부터 추적을 시작하며, 다음 영상의 피부색 확률맵(P_skin)과 칼만 커널을 통해 연속적으로 얼굴의 중심 위치와 크기(분산)를 갱신한다. 구체적인 갱신 방법은 다음과 같다.

도 5를 참조하면, g()는 도 5(a)에 도시된 바와 같은 2차원 가우시안 커널이며, 얼굴의 중심 위치 (μ_x,μ_y )와 분산은 아래의 〔수학식 7〕내지 〔수학식 9〕에 의해 계산된다.

그러나, 고정된 가우시안 커널 g() 로는 빠르게 움직이는 물체를 추적하기 어려우므로, 움직이는 물체의 속도에 따라 커널의 분산을 조정해 줄 필요가 있다. 이러한 사항을 고려하여 움직임 벡터의 크기를 측정하고 분산을 움직임 벡터에 비례하도록 수정한 가우시안 커널이 도 5(b)에 도시되어 있다.

다만, 도 5(b)에 도시된 커널은 움직임 벡터의 방향과 움직임 벡터의 방향이 아닌 부분에 대해서 서로 대칭이고, 움직임 벡터의 방향이 아닌 영역은, 얼굴 영역을 추적하는 다른 커널에 잡음으로 작용할 우려가 있다. 따라서, 본 발명의 바람직한 실시예는 서로 다른 커널에 최소한의 간섭을 주면서, 빠르게 움직이는 물체도 추적하기 위해 방향 지향성이 있는 커널을 이용하여 얼굴 영역을 추적한다.

도 5(c)를 참조하여 방향지향성 커널을 설명한다.

다음 프레임에서 얼굴의 중심이 위치할 좌표와 분산을 각각 (μ_x,μ_y) 및 (σ_x ,σ_y)라 한다. 또한, ,일 때, 얼굴이 위치할 확률을 아래의 〔수학식 10〕과 같이 표현한다.

방향 지향성 커널은 상기 얼굴 영역이 움직이는 방향에서는 f(x, y, σ_x ,σ_y) 로, 상기 얼굴 영역이 움직이는 방향과 반대 방향에서는 f(x, y, ,)로 표현된다. 이렇게 구성된 방향 지향성 커널을 도 5(c)에 도시된 것처럼 움직임 벡터 방향으로 편향되어 있다. 얼굴 영역 추적부(70)는 이러한 방향 지향성 커널을 이용하여 검출된 얼굴영역을 다음 프레임에서도 추적할 수 있게 된다.

또한, 얼굴 영역 추적부(70)는 다음 프레임에서 상술한 바와 같이 얼굴 영역을 추적하면서, 추적중인 얼굴 영역의 컬러 분포로부터 적응적 얼굴 피부색 모델(80)을 갱신할 수 있게된다(S240). 갱신된 피부색 컬러 모델(80)은 후보얼굴영역을 찾기 위해 필요한 피부색 확률맵 생성과 추적에 재사용된다.

상술한 방법을 시험하기 위해서, 다양한 비디오 시퀀스로부터 640*480 크기의 정지 영상 7,000 장을 취득하여 데이터베이스로 저장하고, 저장된 영상들에 대해서 수행시간이 250ms 인 Pentium 1GHz PC 로 복수의 얼굴 검출 및 추적을 수행하였다.

	Detect Rate	False Alarm
Face candidate	97.66%	0
Face pattern	93.42%	7

상기 표에 기재된 바와 같이 테스트 결과 후보얼굴영역을 검출할 확률은 97.66%, 얼굴 패턴을 검출할 확률은 93.42%, 최종 얼굴 검출률은 91.2 % 에 달했다.

또한, 후보얼굴영역이 아닌 영역을 후보얼굴영역으로 검출한 회수는 0, 얼굴 패턴이 아닌 영역을 얼굴 패턴으로 인식한 회수는 7 번이었음을 알 수 있다.

도 6 은 상술한 방법에 의한 복수의 얼굴 검출예를 도시하는 도면이다.

도 7은 기존의 단순 움직임양을 측정함으로써 저장하는 영상의 양과 본 발명에 의해 저장하는 영상의 양 차이를 보여준다. 기존의 감시 시스템에서는 감시 대상이 되는 사람의 얼굴이 화면에 검출되었는지 여부와는 관계없이 움직임이 있는 모든 영상을 저장하였으나, 감시 시스템에서 관심 있는 영상은 보통 사람의 얼굴이 저장된 영상이므로, 본 발명의 얼굴 검출 및 추적 시스템에서는 사람의 얼굴 검출된 영상만을 저장하고, 특히, 얼굴 영역의 영상만을 저장함으로써, 비슷한 감시 효과로 저장 용량을 크게 줄일 수 있다.

도 8 은 검출된 얼굴 영상을 위주로 편리한 검색 인터페이스의 예를 보여준다. 기존에는 오랜 시간동안 감시한 후에 생기는 광대한 영상의 양 때문에, 사람의 얼굴을 검색하기 위해서 저장된 모든 영상을 검색하여야 하므로, 검색하는 작업이 매우 어려웠으나, 본 발명에 따르면 사람의 얼굴이 검출된 영상만을 저장하고, 특히, 얼굴 영역만을 저장하는 것이 가능하므로, 얼굴 검색이 현저히 용이해지는 것을 알 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명에 따르면, 입력되는 영상으로부터 움직임과 컬러등의 다양한 정보를 결합하여 얼굴이 위치할 수 있는 후보얼굴영역을 실시간으로 빠르게 추출할 수 있다.

특히, 추출된 움직이는 영역 중 피부색과 유사하며 상대적으로 위에 나타나는 영역에 확률을 높게 주어, 얼굴이 존재할 후보얼굴영역을 찾아내고, 추출된 후보얼굴영역에 대해 ICA 특징 벡터를 생성하고, 특징 벡터를 학습된 SVM에 인가하여, 현재 영역에 얼굴의 존재 여부를 판단하므로써, 보다 신뢰성있는 얼굴 검출이 가능하다.

또한, 검출된 얼굴에 대해서 피부색 컬러와 방향 지향성 커널을 사용하여 추적을 수행하므로써, 연속된 비디오 시퀀스가 인가될 때, 다음 프레임에서 검출할 후보얼굴영역을 쉽게 찾을 수 있다.

아울러, 후보얼굴영역을 찾기 위해 사용되는 피부색 모델은 얼굴 추적 결과로부터 계속적으로 갱신됨으로써, 조명 변화에 대응할 수 있게된다.

도 1 은 본 발명의 바람직한 실시예에 따른 얼굴 검출 및 추적 시스템의 구성을 도시하는 블록도이다.

도 2 는 본 발명의 바람직한 실시예에 따른 얼굴 검출 및 추적 방법을 설명하는 흐름도이다.

도 3 은 본 발명의 바람직한 실시예에 따라서 배경영상을 제거하는 과정을 예시하는 도면이다.

도 4 는 본 발명의 바람직한 실시예에 따른 피부색 확률맵 및 전역적 확률맵을 예시하는 도면이다.

도 5 는 본 발명의 바람직한 실시예에 따른 방향 지향성 커널을 예시하는 도면이다.

도 6 은 본 발명의 바람직한 실시예에 따른 얼굴 검출예를 도시하는 도면이다.

도 7 은 본 발명의 바람직한 실시예에 따른 얼굴 검출, 추적예 및 이에 따른 얼굴 영상의 저장량의 차이를 도시하는 도면이다.

도 8 은 본 발명의 시스템에 의해서 검출된 얼굴영상을 검색하는 일예를 도시한 도면이다.

Claims

입력 영상으로부터 실시간으로 복수의 얼굴을 검출하고 추적하는 얼굴 검출 및 추적 시스템으로서,

입력영상으로부터 배경영상을 제거하여 움직임이 있는 영역을 추출하는 배경제거부;

얼굴 피부색 모델로부터 생성된 피부색 확률맵(P_skin)과 얼굴이 존재할 확률을 나타내는 전역적 확률맵을 이용하여, 상기 움직임이 있는 영역에서 얼굴이 위치할 수 있는 후보얼굴영역을 추출하는 후보얼굴영역 추출부;

상기 후보얼굴영역에서 ICA(Independent Component Analysis) 특징을 추출하여, 상기 후보얼굴영역이 얼굴영역인지를 판단하는 얼굴 영역 판단부; 및

상기 피부색 확률맵에 기반하여, 다음 프레임에서 얼굴이 위치할 확률을 나타내는 방향 지향성 커널에 따라서 얼굴 영역을 추적하는 얼굴영역 추적부를 포함하는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
제 1 항에 있어서, 상기 후보얼굴영역 추출부는

얼굴 피부색 모델을 이용하여 상기 움직임이 있는 영역에 대해서 피부색 확률맵(P_skin)을 생성하는 피부색 확률맵 생성부;

상기 움직임이 있는 영역의 복수의 최상위점을 추출하고, 상기 복수의 최상위점으로부터 소정의 거리에 중심좌표를 설정하며, 상기 중심좌표로부터 소정의 거리에 얼굴이 위치할 확률을 계산하여 전역적 확률맵(P_global)을 생성하는 전역적 확률맵 생성부; 및

상기 피부색 확률맵과 상기 전역적 확률맵(P_global)을 승산하여, 얼굴이 위치할 다중 스케일 확률맵을 생성하고, 생성된 다중 스케일 확률맵의 확률 값이 소정의 임계값 이상인 영역을 얼굴이 위치할 후보얼굴영역으로 추출하는 다중 스케일 확률맵 생성부를 포함하는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
제 2 항에 있어서, 상기 피부색 확률맵 생성부는

상기 움직임이 있는 영역의 각 픽셀의 컬러를 색상과 채도로 변환하고, 미리 다양한 피부색으로 학습된 2차원 가우시안 모델인 얼굴 피부색 모델에 적용하여, 움직임이 있는 영역의 컬러가 피부색일 확률을 나타내는 피부색 확률맵을 생성하는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
제 3 항에 있어서,

상기 움직임이 있는 영역의 (i,j) 좌표에서의 색상을 Hue(i,j), 채도를 Sat(i,j), 상기 가우시안 분포의 평균을 , 상기 가우시안 분포의 분산을 Σ, 검출하고자 하는 얼굴의 크기를 n 이라고 할 때, 상기 피부색 확률맵 P_skin(x,y,n) 은

에 의해서 생성되는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
제 2 항에 있어서, 상기 전역적 확률맵 생성부는

상기 후보얼굴영역의 중심 좌표를 _i, 분산 매트릭스를 Σ,얼굴 영역의 크기를 n, 각 국소영역(i)의 좌표를 (x_i,y_i)라 할 때, 전역적 확률맵 P_global(x,y,n)은

에 의해서 생성되며, 상기 _i , Σ, x_i, 및 y_i 각각은

을 만족하는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
제 1 항에 있어서, 상기 얼굴 영역 판단부는

상기 추출된 후보얼굴영역에 대해서 ICA를 수행하여 특징을 추출하는 ICA 특징 추출부; 및

학습 얼굴 영상들에 ICA를 수행하여 얻어진 특징과 얼굴이 아닌 영상들에 ICA를 수행하여 얻어진 특징들을 학습한 SVM (Suppot Vector Machine)에 상기 후보 얼굴영역의 ICA 특징을 인가하여, 상기 후보얼굴영역이 얼굴인지를 판단하는 얼굴 판단부를 포함하는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
제 1 항에 있어서,

다음 프레임에서 얼굴의 중심이 위치할 좌표와 분산을 각각 (μ_x,μ_y) 및 (σ_x ,σ_y)라 하고, ,일 때, 얼굴이 위치할 확률을 라 할 때,

상기 방향 지향성 커널은 상기 얼굴 영역이 움직이는 방향에서는 f(x, y, σ_x ,σ_y) 로, 상기 얼굴 영역이 움직이는 방향과 반대 방향에서는 f(x, y, ,)로 표현되는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
제 1 항에 있어서, 상기 배경제거부는

상기 입력 영상과 미리 저장된 배경영상간의 밝기차를 이용한 배경이 아닌 제 1 영역 및 컬러차를 이용한 배경이 아닌 제 2 영역을 구하고, 상기 배경이 아닌 제 2 영역에 포함되는 복수의 부영역 중, 상기 배경이 아닌 제 1 영역에 포함된 각 부영역의 중심을 포함하는 부영역을 배경이 아닌 영역으로 추출함으로써, 입력 영상으로부터 배경영상을 제거하여 움직임이 있는 영역을 추출하는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
제 8 항에 있어서, 상기 배경제거부는

기존의 배경영상을 R(x,y), 상기 입력 영상에서 움직임이 있는 영역이 제거된 이진화된 영상을 B(x,y), β를 갱신상수라고 할 때,

R'(x,y)=βR(x,y)+(1-β)B(x,y)

에 의해서 새로운 배경영상 R'(x,y)을 갱신하는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
입력 영상으로부터 실시간으로 복수의 얼굴을 검출하고 추적하는 시스템으로서,

입력 영상과 미리 저장된 배경영상간의 밝기차를 이용한 배경이 아닌 제 1 영역 및 컬러차를 이용한 배경이 아닌 제 2 영역을 구하고, 상기 배경이 아닌 제 2 영역에 포함되는 복수의 부영역 중, 상기 배경이 아닌 제 1 영역에 포함된 각 부영역의 중심을 포함하는 부영역을 배경이 아닌 영역으로 추출함으로써, 입력 영상으로부터 배경영상을 제거하여 움직임이 있는 영역을 추출하는 배경제거부;

얼굴 피부색 모델을 이용하여 상기 움직임이 있는 영역에 대해서 피부색 확률맵(P_skin)을 생성하는 피부색 확률맵 생성부;

상기 움직임이 있는 영역의 복수의 최상위점을 추출하고, 상기 복수의 최상위점으로부터 소정의 거리에 중심좌표를 설정하며, 상기 중심좌표로부터 소정의 거리에 얼굴이 위치할 확률을 계산하는 전역적 확률맵 생성부;

상기 피부색 확률맵과 상기 전역적 확률맵(P_global)을 승산하여, 얼굴이 위치할 다중 스케일 확률맵을 생성하고, 생성된 다중 스케일 확률맵의 확률 값이 소정의 임계값 이상인 영역을 얼굴이 위치할 후보얼굴영역으로 추출하는 다중 스케일 확률맵 생성부;

상기 후보얼굴영역에서 ICA(Independent Component Analysis) 특징을 추출하고, 학습 얼굴 영상들에 ICA를 수행하여 얻어진 특징과 얼굴이 아닌 영상들에 ICA를 수행하여 얻어진 특징들을 학습한 SVM (Suppot Vector Machine)에 상기 후보얼굴영역의 ICA 특징을 인가하여, 상기 후보얼굴영역이 얼굴영역인지를 판단하는 얼굴 영역 판단부; 및

상기 피부색 확률맵에 기반하여, 다음 프레임에서 얼굴이 위치할 확률을 나타내는 방향 지향성 커널에 따라서 얼굴 영역을 추적하는 얼굴영역 추적부를 포함하는 것을 특징으로 하는 얼굴 검출 및 추적 시스템.
입력영상으로부터 실시간으로 복수의 얼굴을 검출하고 추적하는 얼굴 검출 및 추적 방법으로서,

(a) 입력된 영상으로부터 배경영상을 제거하여 움직임이 있는 영역을 추출하는 단계;

(b) 얼굴 피부색 모델로부터 생성된 피부색 확률맵(P_skin)과 얼굴이 존재할 확률을 나타내는 전역적 확률맵을 이용하여, 상기 움직임이 있는 영역에서 얼굴이 위치할 수 있는 후보얼굴영역을 추출하는 단계;

(c) 추출된 상기 후보얼굴영역에서 ICA (Independent Component Analysis) 특징을 추출하여, 상기 후보얼굴영역에 얼굴이 존재하는지를 판단하는 단계; 및

(d) 상기 피부색 확률맵에 기반해서, 다음 프레임에서 얼굴이 위치할 확률을 나타내는 방향 지향성 커널에 따라서 얼굴이 존재하는 것으로 판단된 얼굴영역을 추적하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
제 11 항에 있어서, 상기 (b) 단계는

(b1) 얼굴 피부색 모델을 이용하여 상기 움직임이 있는 영역에 대해서 피부색 확률맵(P_skin)을 생성하는 단계;

(b2) 상기 움직임이 있는 영역의 복수의 최상위점을 추출하고, 상기 복수의 최상위점으로부터 소정의 거리에 중심좌표를 설정하며, 상기 중심좌표로부터 소정의 거리에 얼굴이 위치할 확률을 계산하여 전역적 확률맵(P_global)을 생성하는 단계; 및

(b3) 상기 피부색 확률맵과 상기 전역적 확률맵을 승산하여, 얼굴이 위치할 다중 스케일 확률맵을 생성하고, 생성된 다중 스케일 확률맵의 값이 일정값 이상인 영역을 얼굴이 위치할 후보얼굴영역으로 추출하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
제 12 항에 있어서, 상기 (b1) 단계는

상기 움직이는 영역의 각 픽셀의 컬러를 색상과 채도로 변환하고, 미리 다양한 피부색으로 학습된 2차원 가우시안 모델인 얼굴 피부색 모델에 적용하여, 움직임이 있는 영역의 컬러가 피부색일 확률을 나타내는 피부색 확률맵을 생성하는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
제 13 항에 있어서,

상기 움직이는 영역의 (i,j) 좌표에서의 색상을 Hue(i,j), 채도를 Sat(i,j), 상기 가우시안 분포의 평균을 , 상기 가우시안 분포의 분산을 Σ, 검출하고자 하는 얼굴의 크기를 n 이라고 할 때, 상기 피부색 확률맵 P_skin(x,y,n) 은

에 의해서 생성되는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
제 12 항에 있어서, 상기 (b2) 단계는

상기 후보얼굴영역의 중심 좌표를 _i, 분산 매트릭스를 Σ,얼굴 영역의 크기를 n, 각 국소영역(i)의 좌표를 (x_i,y_i)라 할 때, 전역적 확률맵 P_global(x,y,n)은

에 의해서 생성되며, 상기 _i , Σ, x_i, 및 y_i 각각은

을 만족하는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
제 11 항에 있어서, 상기 (c) 단계는

상기 추출된 후보얼굴영역에 대해서 ICA를 수행하여 특징을 추출하는 단계; 및

학습 얼굴 영상들에 ICA를 수행하여 얻어진 특징과 얼굴이 아닌 영상들에 ICA를 수행하여 얻어진 특징들을 학습한 SVM (Support Vector Machine) 에 상기 후보얼굴영역의 ICA 특징을 인가하여, 상기 후보얼굴영역이 얼굴인지를 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
제 11 항에 있어서,

다음 프레임에서 얼굴의 중심이 위치할 좌표와 분산을 각각 (μ_x,μ_y) 및 (σ_x ,σ_y)라 하고, ,일 때, 얼굴이 위치할 확률을 라 할 때,

상기 방향 지향성 커널은 상기 얼굴 영역이 움직이는 방향에서는 f(x, y, σ_x ,σ_y) 로, 상기 얼굴 영역이 움직이는 방향과 반대 방향에서는 f(x, y, ,)로 표현되는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
제 11 항에 있어서, 상기 (a) 단계는

상기 입력 영상과 미리 저장된 배경영상간의 밝기차를 이용한 배경이 아닌 제 1 영역 및 컬러차를 이용한 배경이 아닌 제 2 영역을 구하고, 상기 배경이 아닌 제 2 영역에 포함되는 복수의 부영역 중, 상기 배경이 아닌 제 1 영역에 포함된 각 부영역의 중심을 포함하는 부영역을 배경이 아닌 영역으로 추출함으로써, 입력 영상으로부터 배경영상을 제거하여 움직임이 있는 영역을 추출하는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
제 18 항에 있어서, 상기 (a) 단계는

기존의 배경영상을 R(x,y), 상기 입력 영상에서 움직임이 있는 영역이 제거된 이진화된 영상을 B(x,y), β를 갱신상수라고 할 때,

R'(x,y)=βR(x,y)+(1-β)B(x,y)

에 의해서 새로운 배경영상 R'(x,y)을 갱신하는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
영상의 시각 정보를 결합하여 실시간으로 복수의 얼굴을 검출하고 추적하는 방법으로서,

입력 영상과 미리 저장된 배경영상간의 밝기차를 이용한 배경이 아닌 제 1 영역 및 컬러차를 이용한 배경이 아닌 제 2 영역을 구하고, 상기 배경이 아닌 제 2 영역에 포함되는 복수의 부영역 중, 상기 배경이 아닌 제 1 영역에 포함된 각 부영역의 중심을 포함하는 부영역을 배경이 아닌 영역으로 추출함으로써, 입력 영상으로부터 배경영상을 제거하여 움직임이 있는 영역을 추출하는 단계;

얼굴 피부색 모델을 이용하여 상기 움직임이 있는 영역에 대해서 피부색 확률맵(P_skin)을 생성하는 단계;

상기 움직임이 있는 영역의 복수의 최상위점을 추출하고, 상기 복수의 최상위점으로부터 소정의 거리에 중심좌표를 설정하며, 상기 중심좌표로부터 소정의 거리에 얼굴이 위치할 확률을 계산하여 전역적 확률맵(P_global)을 생성하는 단계;

상기 피부색 확률맵과 상기 전역적 확률맵을 승산하여, 얼굴이 위치할 다중 스케일 확률맵을 생성하고, 생성된 다중 스케일 확률맵의 확률 값이 소정의 임계값 이상인 영역을 얼굴이 위치할 후보얼굴영역으로 추출하여 다중 스케일 확률맵을 생성하는 단계;

상기 후보얼굴영역에서 ICA(Independent Component Analysis) 특징을 추출하고, 학습 얼굴 영상들에 ICA를 수행하여 얻어진 특징과 얼굴이 아닌 영상들에 ICA를 수행하여 얻어진 특징들을 학습한 SVM (Suppot Vector Machine)에 상기 후보얼굴영역의 ICA 특징을 인가하여, 상기 후보얼굴영역이 얼굴영역인지를 판단하는 단계; 및

상기 피부색 확률맵에 기반하여, 다음 프레임에서 얼굴이 위치할 확률을 나타내는 방향 지향성 커널에 따라서 얼굴 영역을 추적하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 및 추적 방법.
상기 제 11 항 내지 제 20 항 중 어느 한 항의 방법을 컴퓨터에서 실행가능한 프로그램 코드로 기록한 기록매체.