KR20060012777A

KR20060012777A - 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법

Info

Publication number: KR20060012777A
Application number: KR1020040061417A
Authority: KR
Inventors: 김정배; 문영수; 김지연; 기석철
Original assignee: 삼성전자주식회사
Priority date: 2004-08-04
Filing date: 2004-08-04
Publication date: 2006-02-09
Also published as: KR100668303B1; US20060029265A1

Abstract

피부색 및 패턴매칭을 이용한 얼굴 검출 방법이 개시된다. 본 발명에 따른 얼굴 검출 방법은 영상의 색정보를 이용하여 피부색 픽셀들을 감지하는 단계; 영상의 소정 크기의 윈도우에서 피부색 픽셀의 비율을 계산하는 단계; 피부색 픽셀의 비율이 임계값 이상이면 얼굴 후보로 선택하는 단계; 및 얼굴 후보들에 대해 얼굴인지의 여부를 판별하여 얼굴이면 얼굴 위치를 저장하는 단계를 포함함을 특징으로한다.

Description

피부색 및 패턴 매칭을 이용한 얼굴 검출 방법{Method for detecting face based on skin color and pattern matching}

도 1은 본 발명에 따른 정지 영상에서 얼굴을 검출하는 방법에 대한 흐름도를 도시한 것이다.

도 2a는 입력 영상이다.

도 2b는 도 2a의 영상에 대해 피부색이 감지된 영상을 도시한 것이다.

도 3은 적산 이미지를 이용한 적산 합을 구하는 예를 도시한 것이다.

도 4는 도 2a의 영상에서 얼굴 후보로 판별된 부분을 도시한 것이다.

도 5는 패턴매칭의 한 방법인 아다부스트 알고리즘에 사용되는 특징의 예를 도시한 것이다.

도 6a는 양안과 양안 사이 부분은 휘도 성분이 다르게 나타나는 것에 착안하여 적용한, 패턴 매칭에서 사용되는 특징의 예를 도시한 것이다.

도 6b는 눈과 눈 아래 부분을 다르게하여 적용한, 패턴 매칭에서 사용되는 특징의 예를 도시한 것이다.

도 7a는 도 4에서 선택된 얼굴 후보군의 예를 도시한 것이다.

도 7b는 도 7a의 얼굴 후보군에 패턴 매칭의 한 방법인 아다부스트 알고리즘을 적용한 결과 검출된 얼굴의 위치를 표시한 것이다.

도 8은 동영상에서 얼굴을 검출하는 방법에 대한 흐름도를 도시한 것이다.

도 9a는 연속되는 10개의 프레임에서 움직임이 발생한 영상을 도시한 것이다.

도 9b는 도 9a의 프레임들에 가우시안-라플라시안 필터를 적용하여 템포럴 에지를 검출한 결과를 도시한 것이다.

도 10은 추적 윈도우의 예를 도시한 것이다.

도 11a은 옆모습의 얼굴을 도시한 것이다.

도 11b는 도 11a에 대한 영상에 대해 얻은 피부색 영상을 도시한 것이다.

본 발명은 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법에 관한 것으로, 특히 영상에서 피부색을 이용하여 얼굴 후보를 선택하고 선택된 얼굴 후보들중 패턴 매칭을 통해 얼굴 여부를 판별하여 얼굴을 검출하는 방법에 관한 것이다.

현재까지 알려진 얼굴 검출 기술중에서 가장 성능이 높은 것은 패턴 매칭 기반의 얼굴 검출 기술이다. 그러나 패턴 매칭 기반의 얼굴 검출 기술은 입력 영상의 전체 영역에 대해서 패턴 매칭을 수행하기 때문에, 얼굴을 포함하지않는 영역에 대해서도 패턴 매칭을 수행하게 된다. 따라서 패턴 매칭에 불필요한 시간이 소모되는 문제가 있고, 얼굴이 아닌 영역을 얼굴로 판별하는 오경보(false alarm) 혹은 오수락(false acceptance)과 얼굴 영역인데 얼굴이 아닌 영역으로 판별하는 오거부 (false rejection)가 다수 발생할 확률이 높다. 또한 학습되지않은 얼굴 자세(pose)에 대해서는 검출이 실패할 확률이 높다.

얼굴 검출의 다른 기술로서 피부색을 기반으로하는 얼굴 검출 기술이 있다. 그러나 이 경우에도 영상에 나타난 피부색이 조명에 따라 민감하게 반응하여 나타나는 문제가 있고, 얼굴 이외의 부분, 예를 들어 목 또는 팔 부분도 함께 포함되어 검출된다는 문제점이 있다.

본 발명이 이루고자하는 기술적 과제는 영상에서 피부색의 적산 이미지를 이용하여 얼굴 후보를 선택하고, 선택된 얼굴 후보들에 대해 패턴 매칭의 한 방법인 아다부스트(Adaboost) 알고리즘을 사용하여 얼굴 여부를 판별함으로써 영상내에서 얼굴의 위치를 찾는 얼굴 검출 방법을 제공하는데 있다.

상기 기술적 과제를 이루기위한, 본 발명의 얼굴 검출 방법은 영상의 색정보를 이용하여 피부색 픽셀들을 감지하는 단계; 상기 영상의 소정 크기의 윈도우에서 피부색 픽셀의 비율을 계산하는 단계; 상기 피부색 픽셀의 비율이 임계값 이상이면 얼굴 후보로 선택하는 단계; 및 얼굴 후보들에 대해 얼굴인지의 여부를 판별하여 얼굴이면 얼굴 위치를 저장하는 단계를 포함함을 특징으로한다.

상기 기술적 과제를 이루기위한, 본 발명에 따른 동영상의 현재 프레임에서 얼굴을 검출하는 방법에 있어서, 이전 프레임에서 얼굴이 검출되었다면, 상기 현재 프레임에서 움직임이 있는지를 판별하는 단계; 움직임이 없다면, 이전 프레임에서 검출된 얼굴 위치를 중심으로 설정되는 추적 윈도우에서 얼굴을 검출하는 단계; 및 검출된 얼굴 위치를 저장하는 단계를 포함함을 특징으로한다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세하게 설명하기로한다.

도 1은 본 발명에 따른 정지 영상에서 얼굴을 검출하는 방법에 대한 흐름도를 도시한 것이다. 먼저, 입력된 영상의 RGB의 색좌표를 YCbCr의 색좌표로 변환한다(10단계). 색좌표의 변환은 다음 식과 같이 이루어진다.

변환된 YCbCr값으로부터 다음의 조건을 만족하는 픽셀을 피부색 픽셀로 감지한다(11단계).

여기서,

은 임계값으로 초기에 설정될 수 있다. 이 임계값들은 조명변화에 둔감하도록 그 범위를 넓게 할 수도 있다.

도 2는 입력 영상으로부터 피부색 영상을 감지한 결과를 도시한 것이다. 도 2a는 입력 영상이고, 도 2b는 피부색이 감지된 영상을 도시한 것이다. 도 2b에 따르면, 세 사람의 얼굴과 손부분의 픽셀들이 피부색인 픽셀들로 감지된 것을 알 수 있다.

다음으로, 피부색 영상에서 적산 이미지(integral image) 방식을 이용하여 소정 크기의 서브 윈도우(sub-window) 내에서 피부색 픽셀이 차지하는 P를 계산한다(12단계). 여기서, 적산 이미지란 영상에서의 한 픽셀 기준으로 해당 픽셀의 상측 및 좌측 픽셀들의 개수의 합을 계산하는 방식을 말한다. 예를 들어, 도 3에 도시된 a픽셀에서 적산 이미지 ii(a)는 a 픽셀의 상측 및 좌측 픽셀들을 모두 합한 것을 말한다. 따라서, 다른 예로서, D영역 내의 적산의 합(integral sum)을 계산한다면, ii(d)+ii(a)-ii(b)-ii(c)가 됨을 알 수 있다.

서브 윈도우는 특정 위치, 예를 들어, 영상의 좌측 상단에서부터 최소 크기, 예를 들어, 20x20 픽셀 크기로 영상의 전체 영역을 이동하면서 서치(search)한다. 서치가 완료되면 서브 윈도우의 크기를 일정 정도, 예를 들어, 1.2배 증가시켜서 다시 영상의 전체 영역을 이동하면서 서치한다. 최종적으로 서브 윈도우의 크기는 영상 전체의 크기가 될 수 있다. 서브 윈도우를 이용하여 서치하면서 서브 윈도우내의 피부색 픽셀의 비율이 소정 임계치 이상이면 해당 서브 윈도우를 얼굴 후보로 선택하고, 서브 윈도우에서 피부색 픽셀의 비율이 임계치보다 작다면 해당 서브 윈도우는 얼굴 후보에서 제외된다(13단계).

도 4는 얼굴 후보로 판별된 부분을 도시한 것이다. 도시된 바에 따르면, 얼 굴 후보로 판별된 부분에 여러 크기의 서브 윈도우가 겹쳐있는 것을 알 수 있다.

얼굴 후보로 선택된 서브 윈도우에 대해서는 패턴 매칭을 수행하여 해당 서브 윈도우가 얼굴을 포함하고있는지를 판별한다(14단계). 패턴 매칭의 방법으로는 10단계에서 출력되는 영상의 휘도성분(Y)을 이용하는 아다부스트 방법을 사용한다.

아다부스트 방법에 의한 얼굴 패턴 매칭을 보다 상세하게 설명하면 다음과 같다. 아다부스트 방법은 얼굴 후보 서브 윈도우내의 영상에 대해 관심영역, 예를 들어, 눈, 코, 입 등과 같은 영역에 여러 개의 약한 분류기(weak classifier)를 적용하고, 약한 분류기들의 분류 결과에 대한 가중 합(weighted sum)으로 만들어진 강한 분류기(strong classifier)에 따라 얼굴 여부를 판별한다. 약한 분류기의 분류 결과와 가중치의 선택은 다음 식과 같은 아다부스트 알고리즘을 이용한 학습을 통해 이루어진다.

여기서, H(x)는 강한 분류기, M은 약한 분류기의 개수, c_m은 학습에 의해 결정되는 가중치이고, f_m(x)는 학습에 따른 약한 분류기의 출력값이다.

f_m(x)는 관심영역에 대해 다음 식으로 표현되는 하나의 분류특징과 임계치로 구성된다.

여기서, 1은 얼굴, -1은 얼굴이 아님을 나타낸다.

이러한 분류특징은 도 5와 같은 여러 개의 사각형의 합으로 구성될 수 있다. 분류 결과는 도 5의 참조번호 50의 휘도의 합으로부터 51의 검은색 부분에 대한 휘도의 합을 감산하고, 감산 결과를 소정 임계치와 비교하여 관심영역이 얼굴에 포함되는지의 여부를 판별한다. 참조번호 50 및 51의 크기, 위치, 형태 등은 학습에 의해 얻을 수 있다.

예를 들어, 도 5(d)에서 각 부분에 대한 휘도의 합이 각각 s₁, s₂, s₃라고 하면, 전체 특징값 s는 s=s₁+s₃-s₂와 같고, s가 상술한 임계치보다 크다면 얼굴로 분류하고, 임계치보다 작거나 같다면 얼굴이 아닌 것으로 분류한다.

상술한 분류특징을 관심 영역에 적용한 예가 도 6에 도시되어 있다. 도시된 바에 따르면, 얼굴 후보 영상에서 동일한 관심영역에 대해 서로 다른 분류특징을 적용할 수 있다. 도 6a 및 도 6b의 경우 눈 부분에 서로 다른 분류특징을 갖는 아다부스트 알고리즘을 적용한 것이다.

도 6a의 경우 양안과 양안 사이 부분은 휘도 성분이 다르게 나타나는 것에 착안하여 적용한 특징이고, 도 6b의 경우 눈과 눈 아래 부분을 다르게하여 적용한 특징이다.

얼굴 여부의 판별은 도 6a 및 도 6b의 분류 결과를 포함한 수개 혹은 수백 개의 분류특징에 따른 분류 결과들을 합하여 최종 판별하게된다.

도 7a는 도 4에서 선택된 얼굴 후보군의 예를 도시한 것이다. 도 7b는 도 7a의 얼굴 후보군에 아다부스트 알고리즘을 적용한 결과 검출된 얼굴을 위치를 표시한 것이다. 도시된 바와 같이, 도 7a에 도시된 얼굴 후보군중 손이나 얼굴의 일부만을 포함하는 서브 윈도우는 얼굴이 아닌 것으로 분류되어 제거되었음을 알 수 있다.

동영상의 경우, 먼저, 이전 프레임에서 얼굴이 검출되었는지를 판별한다(80단계). 이전 프레임에서 얼굴이 검출되지않았다면, 도 1에 도시된 얼굴 검출 방법에 따라 현재 프레임의 전체 영상을 서치하여 피부색과 패턴매칭을 이용하여 얼굴을 검출한다(81단계).

이전 프레임에서 얼굴이 검출되었다면, 움직임이 있는지를 판단한다(82단계). 움직임이 존재한다는 것은 장면이 완전히 바뀌었거나 새로운 인물이 나타날 경우 등이 있을 수 있으므로, 이전 프레임의 얼굴 위치 정보를 사용할 수 없다. 움직임 여부는 연속되는 10개의 프레임에 대해 다음 식과 같은 가우시안-라플라시안(Laplacian of Gaussian) 필터를 적용하여 템포럴 에지(temporal edge)를 검출함으로써 이루어진다.

여기서, σ는 분산이다.

검출된 템포럴 에지의 강도가 임계치 이상이면 움직임이 존재한다고 판단한다. 도 9a는 연속되는 10개의 프레임에서 움직임이 발생한 영상을 도시한 것이고, 도 9b는 도 9a의 프레임들에 가우시안-라플라시안 필터를 적용하여 템포럴 에지를 검출한 결과를 도시한 것이다. 도시된 바에 따르면, 고정된 객체(90)는 템포럴 에지의 강도가 작게 나타나고, 움직이는 객체(91)는 템포럴 에지 강도가 크게 나타난 것을 알 수 있다.

움직임이 감지되었다면, 81단계로 진행하여 현재 프레임의 전체 영상을 서치하여 피부색 및 패턴매칭을 이용하여 얼굴을 검출한다.

움직임이 감지되지 않았다면, 얼굴이 이전 프레임과 비슷한 위치에 있다고 간주할 수 있다. 이 경우, 현재 프레임의 추적 윈도우(tracking window)내에서 얼굴을 검출한다(83단계). 추적 윈도우는 이전 프레임에서 검출된 얼굴 위치와 동일한 위치에서 이전 프레임에서 검출된 얼굴 크기의 4배정도 되는 크기의 윈도우를 말한다. 도 10은 추적 윈도우의 예를 도시한 것이다. 참조번호 101은 이전 프레임에서 검출된 얼굴 위치를 말하고, 참조번호 102는 추적 윈도우를 표시한 것이다. 얼굴 검출은 상술한 아다부스트 알고리즘을 추적 윈도우에 적용하여 이루어진다.

추적 윈도우내에서 얼굴이 검출되었다면, 얼굴 위치를 저장한다(87단계).

추적 윈도우내에서 얼굴이 검출되지 않으면, 이전 프레임에서 검출된 얼굴 위치와 동일한 위치에서 피부색을 이용하여 얼굴을 검출한다(85단계). 추적 윈도우내에서 얼굴이 검출되지않은 경우는, 이전 프레임에 비해 얼굴 위치는 변화하지않 았으나 얼굴의 방향 또는 자세가 변화된 경우가 해당될 수 있다. 예를 들어, 도 10과 같은 정면의 얼굴에서 도 11a와 같이 옆모습의 얼굴로 변화되었다면, 아다부스트 알고리즘과 같은 패턴매칭 기반의 얼굴 검출 방법을 적용하여 얼굴을 검출하기가 어렵다. 따라서, 이러한 경우의 얼굴 검출은 피부색을 기반으로하는 얼굴 검출 방법을 적용한다. 즉, 도 11b에 도시된 바와 같은 피부색 영상을 얻은 다음, 적산 이미지 방식으로 윈도우내의 피부색 비율을 계산하여 얼굴을 검출한다.

얼굴이 검출되면 얼굴 위치를 저장한다(87단계). 얼굴이 검출되지않았다면, 81단계로 진행하여 전체 영상을 서치하여 피부색 및 패턴매칭을 이용하여 얼굴 검출을 수행한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명에 따르면, 피부색을 이용하여 얼굴 후보군을 선택하고 얼굴 후보들에 대해서 패턴매칭의 한 방법인 아다부스트 알고리즘을 적용하여 얼굴여부를 판별함으로써, 종래의 패턴기반의 얼굴 검출 방법에 비해 빠르게 얼굴을 검출할 수 있다.

예를 들어, 320x240 픽셀의 정지영상에 대해 패턴기반의 얼굴 검출 방법을 적용하면 펜티엄IV 2.53GHz PC에서 32ms가 소요되나, 본 발명에 의하면 16ms가 소요된다.

320x240 픽셀의 동영상에 대해 패턴기반의 얼굴 검출 방법을 적용하면 32ms가 소요되나, 본 발명에 의하면 10ms가 소요된다.

또한 본 발명에서는 피부색을 이용하여 얼굴 후보를 선택하기 때문에 오경보(false alarm)를 미리 제거할 수 있다.

Claims

영상의 색정보를 이용하여 피부색 픽셀들을 감지하는 단계;

상기 영상의 소정 크기의 서브 윈도우에서 피부색 픽셀의 비율을 계산하는 단계;

상기 피부색 픽셀의 비율이 임계값 이상이면 얼굴 후보로 선택하는 단계; 및

얼굴 후보들에 대해 얼굴 여부를 판별하여 얼굴이면 얼굴 위치를 저장하는 단계를 포함함을 특징으로하는 얼굴 검출 방법.
제1항에 있어서, 상기 영상의 색정보는

영상의 RGB 색좌표에서 YCrCb색좌표로 변환된 색정보임을 특징으로하는 얼굴 검출 방법.
제2항에 있어서, 상기 피부색 픽셀은 다음 식

[수학식]

여기서,
은 설정되는 상수

과 같은 조건을 만족할 때, 상기 피부색 픽셀로 감지되는 것을 특징으로하는 얼굴 검출 방법.
제1항에 있어서, 상기 서브 윈도우는

최소 크기로 상기 영상의 전체 영역을 이동하면서 서치하는 것을 특징으로하는 특징으로하는 얼굴 검출 방법.
제4항에 있어서, 상기 서브 윈도우는

상기 최소 크기로부터 상기 영상의 전체 영역에 해당하는 크기까지 소정 비율로 증가되면서 상기 전체 영역을 서치하는 것을 특징으로하는 얼굴 검출 방법.
제1항에 있어서, 상기 피부색 픽셀의 계산은

적산 이미지를 이용하여 계산됨을 특징으로하는 얼굴 검출 방법.
제1항에 있어서, 상기 얼굴 여부의 판별은

상기 얼굴 후보에 해당하는 영역에 대해 복수의 분류기를 적용하여 상기 분류기들에서 출력되는 분류결과를 가중합하고, 상기 가중합의 결과가 제2임계값보다 크다면 얼굴인 것으로 판별하는 것을 특징으로하는 얼굴 검출 방법.
제7항에 있어서, 상기 분류기는

상기 영역중 관심영역에 대해 소정 분류특징을 적용하고, 적용되는 특징에 따라 상기 관심영역에 대한 휘도성분을 가감하고, 그 결과값이 제3임계치보다 크다면 상기 관심영역을 얼굴에 해당하는 것으로 판별하는 것을 특징으로하는 얼굴 검출 방법.
동영상의 현재 프레임에서 얼굴을 검출하는 방법에 있어서,

이전 프레임에서 얼굴이 검출되었다면, 상기 현재 프레임에서 움직임이 있는지를 판별하는 단계;

움직임이 없다면, 이전 프레임에서 검출된 얼굴 위치를 중심으로 설정되는 추적 윈도우에서 얼굴을 검출하는 단계; 및

검출된 얼굴 위치를 저장하는 단계를 포함함을 특징으로하는 얼굴 검출 방법.
제9항에 있어서, 상기 움직임 검출은

연속되는 소정 개수의 프레임에 대해서 템포럴 에지를 검출하고, 상기 템포럴 에지가 소정 임계치보다 크면 움직임이 있는 것으로 판단하는 것을 특징으로하는 얼굴 검출 방법.
제10항에 있어서, 상기 템포럴 에지의 검출은

상기 프레임들에 가우시안-라플라시안 필터를 적용하여 이루어지는 것을 특징으로하는 얼굴 검출 방법.
제9항에 있어서,

상기 현재 프레임에서 움직임이 있는 것으로 판별되면, 상기 현재 프레임 전체를 서치하여 얼굴을 검출하는 것을 특징으로하는 얼굴 검출 방법.
제9항에 있어서, 상기 추적 윈도우는

상기 이전 프레임에서 검출된 얼굴의 위치에 대응하는 현재 프레임의 위치에 서 상기 검출된 얼굴 크기보다 큰 것을 특징으로하는 얼굴 검출 방법.
제9항에 있어서, 상기 추적 윈도우에서 얼굴이 검출되지 않은 경우,

상기 이전 프레임에서 검출된 얼굴 위치에 대응하는 현재 프레임의 위치에서 상기 현재 프레임의 색정보를 이용하여 피부색 픽셀들을 감지하는 단계;

상기 위치에서 피부색 픽셀의 비율을 계산하는 단계; 및

상기 피부색 픽셀의 비율이 소정 임계값 이상이면, 얼굴인 것으로 판별하여 얼굴 위치를 저장하는 단계를 더 포함함을 특징으로하는 얼굴 검출 방법.
제14항에 있어서,

상기 이전 프레임에서 검출된 얼굴 위치에 대응하는 현재 프레임의 위치에서 얼굴이 검출되지않으면, 상기 현재 프레임 전체를 서치하여 얼굴을 검출하는 것을 특징으로하는 얼굴 검출 방법.
영상의 색정보를 이용하여 피부색 픽셀들을 감지하는 단계;

상기 영상의 소정 크기의 서브 윈도우에서 피부색 픽셀의 비율을 계산하는 단계;

상기 피부색 픽셀의 비율이 임계값 이상이면 얼굴 후보로 선택하는 단계; 및

얼굴 후보들에 대해 얼굴인지의 여부를 판별하여 얼굴이면 얼굴 위치를 저장하는 단계를 포함함을 특징으로하는 얼굴 검출 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
연속되는 영상 프레임중 현재 프레임에서 얼굴을 검출하는 방법에 있어서,

이전 프레임에서 얼굴이 검출되었다면, 상기 현재 프레임에서 움직임이 있는지를 판별하는 단계;

움직임이 없다면, 이전 프레임에서 검출된 얼굴 위치를 중심으로 설정되는 추적 윈도우에서 얼굴을 검출하는 단계; 및

검출된 얼굴 위치를 저장하는 단계를 포함함을 특징으로하는 얼굴 검출 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.