KR20020075960A

KR20020075960A - 신경회로망을 이용한 얼굴 영역 검출 방법

Info

Publication number: KR20020075960A
Application number: KR1020010015672A
Authority: KR
Inventors: 김용성
Original assignee: 주식회사 코난테크놀로지
Priority date: 2002-05-20
Filing date: 2001-03-26
Publication date: 2002-10-09
Also published as: EP1514224A4; US20050276469A1; EP1514224A1; AU2002258283A1; WO2003098536A1

Abstract

본 발명은 신경회로망을 이용한 얼굴 영역 검출 방법에 관한 것으로, 입력 이미지의 픽셀 값이 살색 계통인지를 나타내는 스킨 컬러 마스크를 생성하는 제 1 단계와, 소정 크기의 이미지를 가로, 세로로 한 픽셀씩 건너뛰면서 살색 계통의 픽셀에 대해서만 신경회로망을 통과시켜 얼굴영역 여부를 판단하는 제 2 단계와, 상기 제 2 단계에서 얼굴영역으로 판단된 픽셀에 대해서 주위 픽셀들을 상기 신경회로망에 통과시켜 얼굴영역 여부를 판단하는 제 3 단계를 포함하여 이루어진 것이다. 따라서, 고속으로 얼굴영역을 검출할 수 있다.

Description

신경회로망을 이용한 얼굴 영역 검출 방법{Method for detecting face region using neural network}

본 발명은 멀티미디어 서비스 시스템을 개발하기 위한 것에 관한 것으로, 특히 신경회로망을 이용하여 정지 영상 또는 동영상에서 고속으로 사람의 얼굴 영역을 검출하는 신경회로망을 이용한 얼굴 영역 검출 방법에 관한 것이다.

최근 디지털 비디오의 사용이 급증함에 따라, 비디오 색인에 의한 비디오 검색을 비롯한 다양한 멀티미디어 서비스 시스템의 개발이 이루어지고 있다. 이때, 등장 인물의 얼굴은 비디오를 색인 하는데 매우 중요한 요소로 사용될 수 있다.

따라서, 등장 인물의 얼굴을 이용하여 비디오를 색인 하는 시스템이나 얼굴 인식 시스템에 사용하기 위해서는 정지 영상 또는 동영상에서 사람의 얼굴이 나오는 영역을 자동으로 검출하는 것이 필요하게 된다.

최근 H. A. Rowley, S. Baluja, T. Kanade 가 발표한 논문 Neural Network-Based Face Detection,IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 20, No. 1, January 1998에 신경회로망을 이용한 얼굴 영역 검출 방법이 발표된 바 있다.

일반적으로, 신경회로망은, 특정 입력에 대해 정해진 출력을 내도록 하는 규칙을 저장하고 있는 회로라고 할 수 있다. 입력 데이터는 신경회로망 내의 가중치에 따라 다른 값을 출력하는데, 이 가중치는 미리 준비된 입력 데이터에 대해 정해진 출력을 내도록 조정된다. 이렇게 미리 준비된 입력 데이터에 대해 정해진 출력을 내도록 신경회로망 내의 가중치를 조정하는 과정을 신경회로망을 학습시킨다고 말한다. 신경회로망은 수많은 입력-출력 데이터 쌍을 이용하여 학습시키면, 특정 입력 - 출력 뿐만 아니라 그와 유사한 입력에 대해서도 적절한 출력을 도출하도록 일반화 되어 있다.

도 1은 H.A. Rowley 등이 발표한 종래의 신경회로망을 이용한 얼굴 영역 검출 방법을 나타낸 동작 순서도이고, 도 2는 종래의 신경회로망을 이용한 얼굴 영역 검출 방법에 따른 20 ×20 이미지 크기의 탐색 이동 설명도이다.

먼저, 얼굴 영역 검출에 사용할 신경회로망을 초기화 한다(101S). 이 신경회로망은 20 ×20 크기의 이미지를 입력받아 그 안에 얼굴이 있으면 "FACE", 없으면"NONFACE"를 출력하도록 학습되어 있다.

그리고, 상기 얼굴 영역을 검출하고자 하는 이미지가 입력되면 상기 신경회로망을 이용하여 20 ×20 크기의 얼굴이 있는지 탐색한다(102S-105S).

이 탐색 방법을 구체적으로 설명하면 다음과 같다. 즉, 상기 신경회로망을 통과해서 나온 결과를 저장할 메모리 공간인 Result의 모든 값을 NULL로 초기화한 후(102S), 이미지를 좌측 상단부터 20 ×20 크기의 윈도우로 잘라 신경회로망에 입력하여 그 결과를 Result의 상응하는 각각의 위치에 저장하고, 이 과정을 전체 n ×m 크기의 이미지를 완전히 탐색할 때까지 한 픽셀씩 이동시키면서 반복한다(103S). 다시 말하면, 이미지의 (x, y) 점에서 시작하여 점 (X + 19, Y + 19)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 나온 결과를 (x, y)에 입력한다. 오른쪽으로 한 픽셀 이동하여 점(x + 1, y)에서 시작하여 점 (x + 20, y + 19)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 나온 결과를 (x + 1, y)에 입력한다. 이와 같이, 오른쪽으로 한 픽셀 씩 이동하여 맨 우측영역 점 (x + n - 19, y)에서 시작하여 점 (x + n, y + 19)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 나온 결과를 (x + n - 19, y)에 입력한다. 그리고 아래쪽으로 한 픽셀 이동하여 점 (x, y + 1)에서 시작하여 점(x + 19, Y + 20)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 나온 결과를 (x, y + 1)에 입력한다.

이와 같은 과정을 반복하여 전 화면의 탐색을 진행하여 전 화면의 탐색이 끝났는가를 판단하고 전 화면에 걸쳐 탐색이 끝나면, 검출된 얼굴 영역을저장한다(106S).

즉, 어떤 영역에 20 ×20 정도 크기의 얼굴이 존재하면, 신경회로망의 일반화 특성에 의하여 그 근방의 인접한 몇 픽셀에 대해 신경회로망이 FACE를 출력하게 된다. 따라서, 상기 신경회로망을 통과한 결과가 저장되어 있는 Result를 확인하여 인접한 K개 이상의 픽셀에 대해 FACE가 나타나면, 그 위치에 얼굴이 존재하는 것으로 보고 이 위치를 리스트에 저장해 둔다. 그러나, 인접한 한두 픽셀에 대해 FACE가 출력됐으나 그 개수가 임계치 K를 넘지 못하면 그 부분에 실제 얼굴이 존재한다기 보다는 신경회로망의 오 인식으로 FACE가 출력된 것으로 보고 무시한다. 임계치 K의 값은 신경회로망의 학습 정도에 따라 달리 설정될 수 있으나, 대략 3~6 정도의 값이 적당하다.

여기서, 만약 얼굴의 크기가 20 ×20 크기보다 큰 경우(40 ×40)에는 상기와 같은 과정을 반복하여도 얼굴 영역이 검출되지 않을 경우가 발생한다. 따라서, 이러한 과정을 탐색의 대상이 되는 화면의 크기가 최소 이미지 크기(20×20 보다 작거나 같은 경우)인가를 판단하여(107), 최소 이미지가 아니면 최소 이미지 크기가 될 때까지, 이미지를 조금씩 축소하면서 축소된 각 이미지에 대해 반복한다(108S).

그리고, 모든 크기에 대해 얼굴 영역을 탐색하는 작업이 완료되면 현재까지 검출된 영역 중 서로 겹치는 영역이 있는지 확인하고, 겹치는 영역이 있으면 적절한 휴리스틱을 적용하여 이를 통합한 후 얼굴영역 검출 결과를 출력한다(109S).

그러나, 이와 같은 종래의 신경회로망을 이용한 얼굴 영역 검출 방법에 있어서는 다음과 같은 문제점이 있었다.

종래의 신경회로망을 이용한 얼굴 영역 검출 방법은 신경회로망의 성능에 따라 얼굴영역 검출 성능이 좌우되는데, 신경회로망이 많은 학습 데이터에 의해 제대로 학습만 되면 매우 정확하게 얼굴영역을 검출해 낼 수 있으나, 이미지를 조금씩 축소시켜가면서 각각의 이미지의 전 영역을 매 픽셀마다 신경회로망으로 탐색하기 때문에 계산량이 매우 많고 더불어 검출 시간이 오래 걸린다. 즉, 가로, 세로가 320 ×240 픽셀인 이미지 한 장을 처리하는데 200MHz R440 SGI Indigo 2 워크스테이션에서 383초가 걸린다고 밝히고 있다.

본 발명은 이와 같은 문제점을 해결하기 위하여 안출한 것으로, 상기 알고리즘의 성능을 희생시키지 않으면서, 가장 많은 계산이 집중되어 있는 신경회로망으로 얼굴 영역을 탐색하는 단계의 계산량을 줄여 수행 속도를 향상시킬 수 있는 신경회로망을 이용한 얼굴 영역 검출 방법을 제공하는데 그 목적이 있다.

도 1은 종래의 신경회로망을 이용한 얼굴 영역 검출 방법의 순서도

도 2는 종래의 신경회로망을 이용한 얼굴 영역 검출 방법을 설명하기 위한 탐색 순서 설명도

도 3은 본 발명에 따른 신경회로망으로 얼굴 영역 검출 방법의 순서도

도 4는 본 발명에 따른 1차 루프의 탐색 순서도

도 5는 본 발명에 따른 2차 루프의 탐색 순서도

이와 같은 목적을 달성하기 위한 본 발명에 따른 신경회로망을 이용한 얼굴 영역 검출 방법은, 입력 이미지의 픽셀 값이 살색 계통인지를 나타내는 스킨 컬러 마스크를 생성하는 제 1 단계와, 소정 크기의 이미지를 가로, 세로로 한 픽셀씩 건너뛰면서 살색 계통의 픽셀에 대해서만 신경회로망을 통과시켜 얼굴영역 여부를 판단하는 제 2 단계와, 상기 제 2 단계에서 얼굴영역으로 판단된 픽셀에 대해서 주위 픽셀들을 상기 신경회로망에 통과시켜 얼굴영역 여부를 판단하는 제 3 단계를 포함하여 이루어짐에 그 특징이 있다.

이와 같은 특징을 갖는 본 발명의 신경회로망을 이용한 얼굴 영역 검출 방법을 첨부된 도면을 참조하여 보다 상세히 설명하면 다음과 같다.

도 3은 본 발명에 따른 신경회로망을 이용한 얼굴 영역 검출 방법을 나타낸 동작 순서도이고, 도 4는 본 발명의 신경회로망을 이용한 얼굴 영역 검출 방법에 따른 1차 루프의 탐색 순서도이며, 도 5는 본 발명의 신경회로망을 이용한 얼굴 영역 검출 방법에 따른 2차 루프의 탐색 순서도이다.

본 발명에 따른 신경회로망을 이용한 얼굴 영역 검출 방법은, 상기 도 3의 순서도에 나타낸 바와 같이, 단계(304S, 305S, 311S 및 312S)로 제어되는 1차 루프와 단계(307S, 308S, 309S 및 310S)로 제어되는 2차 루프가 있는 것을 알 수 있다.

상기 1차 루프는 대상 이미지를 좌측 상단부터 20 ×20 크기의 이미지를 신경회로망에 입력하여 그 결과를 상응하는 위치에 저장하는 과정을 가로 세로로 한 픽셀씩 건너 뛰면서 반복한다.

상기 2차 루프는, 상기 1차 루프와 같은 과정에서 얼굴 영역이 검출되면 검출된 영역의 주변을 탐색하여 그 결과를 해당 위치에 저장하는 것이다.

먼저, 종래의 방법과 마찬가지로 신경회로망을 초기화하고(301S), 상기 신경회로망을 통과해서 나온 결과를 저장할 메모리 공간인 Result의 모든 값을 NULL로 초기화한다(302S).

그리고, 입력 이미지와 같은 크기의 메모리 공간인 스킨 컬러 마스크(Skin Color Mask)를 생성하고(303S, 304S), 입력 이미지의 (x, y) 위치의 픽셀 값을 확인하여 살색 계통의 컬러이면 스킨 컬러 마스크의 (x, y) 위치에 TRUE를 살색 계통이 아니면 FALSE를 저장한다(305S). 여기서, 어떤 칼라를 살색 계통의 컬라로 간주할 것인지는 응용에 따라 달라질 수 있으며, 살색 계통의 칼라를 판별하는 방법은 M. J. Jones와 J. M. Rehg 등이 발표한 논문 "Statistical Color Models with Applications to Skin Detection," Technical Report 98-11, Compaq Cambridge Research Laboratory, December, 1998 또는 J. Yang과 A Waibel 등이 발표한 논문 "A Real-Time Face Tracker," Workshop on Applied Computer Vision, pp 142-147, sarasota, FL, 1996을 비록한 많은 논문에 발표된 바 있다.

또한, 얼굴은 당연히 살색 계통의 색을 가지고 있을 것이므로, 스킨 칼라 마스크(Skin Color Mask)가 FALSE 인 경우에 대해서 얼굴 영역인지 확인하는 과정을 생략함으로써 계산량을 상당히 줄일 수 있다. 하지만 응용에 따라서는 살색 계통이 아닌 곳에서도 얼굴영역을 추출해야 할 필요가 있을 수도 있는데, 이러한 경우에는 사용자의 요구에 따라 스킨 칼라 마스크(Skin Color Mask)의 값을 모두 TRUE로 설정함으로써 살색 여부 확인작업을 거치지 않고 전 영역에 대해 얼굴영역을 검출하도록 할 수도 있다.

상기 1차 루프에서 얼굴 영역이 검출되지 않으면(306S), 탐색순서에 따라 종래와 다르게 가로 및 세로 방향으로 한 픽셀씩 건너뛰어 탐색하게 된다(312S). 즉, 도 4에 표시한 바와 같이, 좌측 상단의 점(x, y)에서 시작하여 점(x + 19, y + 19)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 그 결과를 (x, y)위치에 저장한다. 그리고, 대상 이미지를 한 픽셀씩 건너 뛰면서 지나가도록 이동하여, 점(x + 2, Y)에서 시작하여 (x + 21, Y + 19)에 이르는 20 ×20 크기의 이미지를신경회로망에 입력하여 그 결과를 (X + 2, Y) 위치에 저장한다. 이와 같은 방법으로 가로 세로 방향으로 한 픽셀 씩 건너뛰어 20 ×20 크기의 이미지를 처리한다.

상기와 같은 도중에 처리된 20 ×20 크기의 이미지가 얼굴 영역(FACE)으로 판단되면(306S), 그 주변 영역을 탐색하게 된다. 즉, 도 5에 나타낸 바와 같이, 임의의 20 ×20 크기의 이미지가 얼굴 영역으로 판단되어 그 결과가 (x, y)위치에 저장되었다고 가정하고 그 주변 위치를 (u, v)로 가정하면, 상기 주변 영역의 20 ×20 크기의 이미지 결과를 저장할 메모리 공간을 초기화하고(307S), 점 (u, v)에서 시작하여 점(u + 19, v + 19)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 그 결과를 (u, v)에 저장한다(308S). 그리고 u, v 탐색 순서에 따라 다음 위치로 이동한다. 즉 점(u + 1, v)에서 시작하여 점(u + 20, v + 19)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 그 결과를 (u + 1, v)위치에 저장한다. 그 다음은 점(u + 2, v)에서 시작하여 점(u + 21, v + 19)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 그 결과를 (u + 2, v) 위치에 저장하고, 그 다음은 점(u + 2, v + 1)에서 시작하여 점(u + 21, v + 20)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 그 결과를 (u + 2, v + 1) 위치에 저장한다. 그 다음은 점(u + 2, v)에서 시작하여 점(u + 21, v + 19)에 이르는 20 ×20 크기의 이미지를 신경회로망에 입력하여 그 결과를 (u + 2, v) 위치에 저장한다. 이와 같은 과정을 반복하여 얼굴 영역이 검출된 주변영역을 탐색하여 그 결과를 상응하는 위치에 저장한다. 이 때, 시작하는 20 ×20 크기의 윈도우가 아직 신경회로망에 입력된 적이 없는 윈도우인 경우에만 이미지의 (u, v)위치에서 시작하는 20×20 크기의 이미지를 신경회로망에 입력하여 불필요한 중복 탐색을 막는다.

이와 같은 과정을 반복하여 전 화면의 탐색을 진행하여 전 화면의 탐색이 끝났는가를 판단하고 전 화면에 걸쳐 탐색이 끝나면(311S), 검출된 얼굴 영역을 저장한다(313S).

본 발명에서도 마찬가지로, 상기 신경회로망을 통과한 결과가 저장되어 있는 Result를 확인하여 인접한 K개 이상의 픽셀에 대해 FACE가 나타나면, 그 위치에 얼굴이 존재하는 것으로 보고 이 위치를 리스트에 저장해 둔다. 그러나, 인접한 한두 픽셀에 대해 FACE가 출력됐으나 그 개수가 임계치 K를 넘지 못하면 그 부분에 실제 얼굴이 존재한다기 보다는 신경회로망의 오 인식으로 FACE가 출력된 것으로 보고 무시한다.

그리고, 만약 얼굴의 크기가 20 ×20 크기보다 큰 경우(40 ×40)에는 상기와 같은 과정을 반복하여도 얼굴 영역이 검출되지 않을 경우가 발생한다. 따라서, 이러한 과정을 탐색의 대상이 되는 화면의 크기가 최소 이미지 크기(20×20 보다 작거나 같은 경우)인가를 판단하여(314S), 최소 이미지가 아니면 최소 이미지 크기가 될 때까지, 이미지를 조금씩 축소하면서 축소된 각 이미지에 대해 반복한다(315S).

그리고, 모든 크기에 대해 얼굴 영역을 탐색하는 작업이 완료되면 검출된 얼굴 영역을 통합한 후 얼굴영역 검출 결과를 출력한다(316S).

이상에서 설명한 바와 같은 본 발명에 따른 신경회로망을 이용한 얼굴 영역 검출 방법에 있어서는 다음과 같은 효과가 있다.

첫째, 스킨 컬러 마스크를 이용하여 얼굴일 가능성이 있는 부분에 대해서만 신경회로망으로 탐색함으로써 살색 계통이 아닌 컬러가 많은 이미지에 대해서는 그만큼 계산량을 줄일 수 있게 된다.

둘째, 화면 전체가 살색 계통의 컬러로 이루어져 있는 경우에도 화면을 탐색하는 과정을 두 단계로 나누어, 이미지를 한 픽셀씩 건너뛰면서 얼굴영역 여부를 판단하고, 얼굴영역이 아닌 부분에서는 주변 픽셀에 대해 신경회로망에 의한 얼굴영역 여부 확인 작업을 생략함으로써 검출 성능의 희생 없이 신경회로망으로 탐색하는 과정을 약 4분의 1로 줄일 수 있게 된다.

이렇게 가로, 세로로 한 픽셀씩 건너 뛰면서 처리해도 얼굴영역을 검출 성능은 전혀 떨어지지 않는데, 그 이유는 신경회로망으로 탐색하는 단계의 다음 단계에서 신경회로망을 통과한 결과가 저장되어 있는 Result를 확인하여 인접한 K개 이상의 픽셀에 대해 FACE가 나타나야 얼굴영역으로 인식하기 때문에 가로, 세로로 한 픽셀씩은 건너뛰어도 이로 인해 검출되어야 하는 얼굴영역을 아주 놓치는 경우는 발생하지 않는 것이다.

신경회로망을 모두 정수 연산으로 구현한 경우, 가로, 세로가 320 ×240 픽셀인 이미지 한 장을 600MHz Pentium III PC에서 평균 0.5초안에 처리할 수 있다.

Claims

입력 이미지의 픽셀 값이 살색 계통인지를 나타내는 스킨 컬러 마스크를 생성하는 제 1 단계와,

화면을 소정 크기의 이미지로 나누어 가로, 세로로 한 픽셀씩 건너뛰면서 살색 계통의 픽셀에 대해서만 신경회로망을 통과시켜 얼굴영역 여부를 판단하는 제 2 단계와,

상기 제 2 단계에서 얼굴영역으로 판단된 픽셀에 대해서 주위 픽셀들을 상기 신경회로망에 통과시켜 얼굴영역 여부를 판단하는 제 3 단계를 포함하여 이루어짐을 특징으로 하는 신경회로망을 이용한 얼굴 영역 검출 방법.
제 1 항에 있어서,

상기 화면의 크기를 축소하면서 상기 과정을 반복하는 단계를 더 포함함을 특징으로 하는 신경회로망을 이용한 얼굴 영역 검출 방법.
제 1 항에 있어서,

상기 제 1 단계 전에, 소정 크기의 이미지를 입력 받아 그 안에 얼굴이 있는지 없는지를 출력하는 신경회로망을 초기화 하는 단계와,

상기 신경회로망에서 출력된 결과를 저장할 메모리 공간을 초기화하는 단계를 더 포함함을 특징으로 하는 신경회로망을 이용한 얼굴 영역 검출 방법.