KR20000023923A - 표정변화와 주변환경에 독립적인 지능형 얼굴검출방법. - Google Patents

Abstract

영상에서 얼굴의 유.무 및 위치의 탐지는 표정, 연령, 남.여 차이 등으로 인한 얼굴의 다양한 변화와 차이, 크기, 회전 등 시점에 따른 변화, 조명의 변화, 안경의 착용 여부, 잡음, 얼굴의 수 등에 독립적인 강인한 방법이 필요하기 때문에 어려운 문제로 여겨져 왔다. 본 발명은 조명상태의 변화, 얼굴의 수 및 크기, 회전에 무관한 얼굴탐지방법에 관한 것이다.

이를 위하여 본 발명은, 실시간 탐지를 보장하기 위하여 입력 영상을 배경 영상과 각각 밝기와 에지(edge)의 유무를 비교하여 후보영역을 결정하는 단계, 서로 다른 크기의 얼굴을 탐지하기 위하여 후보영역을 피라미드(pyramid) 영상으로 표현하는 단계, 계층화된 영상에서 탐지할 윈도우(window)를 추출하는 단계, 조명의 변화에 무관하도록 히스토그램 평활화(histogram equalization)를 수행하는 단계, 얼굴의 회전을 추정하는 단계, 추정된 회전 각도에 기반하여 얼굴을 복원하는 단계, 복원된 영상에서 얼굴의 유무를 판단하는 단계, 중복된 탐지 및 오탐지를 해결하는 단계를 거쳐서 최종적으로 얼굴의 유.무 및 크기와 위치를 탐지하게 된다.

본 방법의 특징으로서는 첫째, 영상의 계층적인 표현을 통해 얼굴의 크기가 달라도 식별이 가능하다. 둘째, 회전된(rotated) 얼굴도 식별할 수 있다. 셋째, 후보영역을 제한하는 전처리 단계에서 종래의 방법인 밝기차이에 기반한 차영상 만이 아니라, 에지의 차이도 함께 고려함으로써 조명의 변화에 무관하게 배경영상으로부터, 탐색할 후보 영역을 결정한다. 넷째, 학습기능을 갖는 인공신경망을 이용하여 얼굴의 식별을 수행하기 때문에, 학습이 종료된 이후에도 쉽게 추가로 학습하는 기능을 갖출 수 있다. 다섯째, 얼굴의 회전에 대한 추정과, 얼굴의 식별을 두 단계로 분리함으로써, 모든 윈도우에서 회전과 식별을 동시에 수행하는 것보다 빠르고, 정확한 결과를 보장하는 방법이다.

Description

표정변화와 주변환경에 독립적인 지능형 얼굴검출방법.{Scale and Rotation Invariant Intelligent face detection}

영상에서 얼굴의 유.무 및 위치의 탐지는 표정, 연령, 남.여 차이 등으로 인한 얼굴의 다양한 변화와 차이, 크기, 회전 등 시점에 따른 변화, 조명의 변화, 안경의 착용 여부, 잡음, 얼굴의 수 등의 많은 요인 때문에, 복잡하고 어려운 문제이다. 기존의 얼굴 검출 시스템은 크게 특징(feature) 대응에 기반한 방법과, 원형정합(template-matching)에 기반한 방법으로 구분해 볼 수 있다.

특징에 기반한 방법은 얼굴 영상에서 특징들을 추출해 내고, 입력된 영상에서 추출된 특징과 비교하여 얼굴을 식별하는 방법으로서, 본 발명에서 적용하는 신경망을 이용한 방법에 비하여 특징을 추출하는데 소요되는 계산복잡도가 크다는 단점이 있으며, 특히 정확한 검출을 위한 효과적인 특징의 선정이 어렵다는 문제가 있다.

원형정합에 기반한 방법은 영상들을 화소의 밝기로 부호화하고, 단순한 원형, 또는 확률 모형에 근거한 얼굴 영상의 원형과 비교하는 방법을 사용한다. 이 경우 수많은 얼굴들을 잘 대표할 수 있는 모형의 선정이 어렵다는 단점이 있는 반면, 본 발명에서는 인공신경망을 이용하여 가중치를 포함한 파라메터들을 훈련 예제로부터 자동적으로 학습하여 설정하므로, 사전에 확률 모형을 설정할 필요가 없을뿐만 아니라, 실제의 시스템에 적용할 경우 추가적인 학습이 용이한 적응적인 식별방법이다.

또한 단지 바로선(upright) 정면(frontal) 얼굴만을 검출 할 수 있는 기존의 시스템들과는 달리, 본 발명에서 제시하는 방법은 영상평면(image plane)에서 임의로 회전된 정면 얼굴을 검출해 낼 수 있다. 기존의 얼굴검출 방법을 가지고 회전된 얼굴을 식별하기 위해서는, 입력 영상을 정해진 각도마다 회전시켜 분류기의 입력패턴으로 설정해야 하는데, 이러한 방법은 요구되는 계산복잡도가 크기 때문에 실시간 시스템에 적용하는 것이 어렵다. 본 발명에서는 얼굴의 회전에 대한 추정과, 얼굴의 식별을 두 단계로 분리함으로써, 모든 하위 영상에 대해 회전의 추정과 식별을 동시에 수행하는 것보다 빠르고, 정확한 결과를 보장할 수 있다.

실시간에 얼굴을 탐지하기 위해서는 입력 영상으로부터 얼굴이 포함된 탐색영역을 적절히 제한하는 것이 필수적이다. 종래의 대표적인 방법은 영상의 밝기차이를 이용하는 방법인데, 이 경우 움직임이 없는 부분이라 할지라도 조명의 변화가 심할 경우에는 후보영역으로 선정하게 되는 단점이 있다. 본 발명에서는 단지 밝기의 차이만을 이용하는 것이 아니라, 에지의 차이와 밝기의 차이를 동시에 고려하는 방법을 사용함으로서 영상에서 조명의 변화만으로 생긴 밝기의 변화는 무시할 수 있어 효율적인 후보영역을 설정할 수 있다.

영상에서 얼굴의 유·무 및 위치의 탐지는 표정, 연령, 남·여의 차이, 크기, 회전 등 시점에 따른 변화, 조명, 안경의 착용 여부, 잡음, 얼굴의 수 등의 복잡한 조건을 고려해야하는 어려운 문제이다. 얼굴 탐지 시스템에서 중요시 되어야 할 점은 이러한 다양한 변화에 무관하게 얼굴을 탐지하는 것이다.

본 발명에서는 1) 조명, 배경 등의 환경변화 2) 머리 모양, 얼굴 표정 및 안경 착용 등의 얼굴의 변화 3) 얼굴의 크기, 회전 등의 시점의 변화 4) 영상내 사람 수의 변화 등의 요인을 각각 해결하고자 한다.

1) 조명의 변화가 심한 경우, 배경 영상에서 적절한 후보 영역을 설정하는 것이 곤란하며, 얼굴 영상에 대한 정확한 탐지도 어렵게 된다. 이를 해결하기 위하여, 후보 영역의 설정과 관련하여서는 밝기 차이와 에지 차이를 동시에 고려하는 방법을 이용하고, 얼굴 영상에 대한 탐지와 관련하여서는 입력 영상에 히스토그램 평활화(histogram equalization)를 수행하여 조명의 영향을 덜 받게 한다.

2) 패턴을 추출하여 얼굴을 탐지하는 방법의 단점인 얼굴의 변화가 심한 영상에 대한 탐지가 어려운 점을 극복하고 얼굴표정 변화, 안경을 착용한 얼굴 영상 등의 정확한 탐지를 위하여 다양한 패턴의 얼굴 영상을 인공신경망을 통해서 학습시킴으로써 얼굴의 변화가 심한 영상에 대해서도 탐지율을 높인다.

3) 얼굴의 크기 변화를 해결하기 위하여 영상을 계층적으로 표현하며, 기존의 얼굴 탐지 시스템의 단점인 바로 선 얼굴만 검출할 수 있다는 점을 기술적으로 해결하기 위하여, 회전 추정 신경망을 추가함으로써, 기울어진 얼굴에 대하여 회전 각도를 추정하고 추정된 회전 각도에 기반하여 바로 선 얼굴로 복원한 후 얼굴의 유·무를 판단함으로써 기울어진 얼굴도 탐지할 수 있다. 이렇게 얼굴의 회전을 추정하는 모듈과 얼굴의 유·무를 판단하는 모듈을 분리하여 구현함으로써, 모든 윈도우에서 회전과 식별을 동시에 수행하는 것보다 적은 메모리 용량에 빠른 연산을 수행할 수 있다.

4) 계층적인 표현과 윈도우 기법을 통해 사람의 수에 무관하게 얼굴을 탐지하는 것이 가능해지며, 서로 다른 크기, 서로 다른 회전각도로 기울어진 얼굴이 혼재해 있어도 각각을 탐지해 낼 수 있다.

도1은 본 발명에서 제안된 얼굴 검출 방법의 단계들을 표현하는 구성도.

도2는 입력 이미지와 출력 이미지

도3은 본 발명의 시스템 흐름도

도 4는 조명에 무관한 후보영역 검출 알고리즘 흐름도

영상에서 얼굴의 유.무 및 위치의 탐지는 표정, 연령, 남.여 차이 등으로 인한 얼굴의 다양한 변화와 차이, 크기, 회전 등 시점에 따른 변화, 조명의 변화, 안경의 착용 여부, 잡음, 얼굴의 수 등의 많은 요인 때문에 복잡하고 어려운 문제이다. 기존의 얼굴 검출 시스템은 크게 특징(feature) 대응에 기반한 방법과, 원형정합(template-matching)에 기반한 방법으로 구분해 볼 수 있다. 본 발명은 기존 방법의 계산복잡도와 수많은 얼굴들을 잘 대표할 수 있는 모형의 선정의 어려움을 해결하여, 조명상태의 변화, 얼굴의 수 및 크기, 회전에 무관한 얼굴탐지방법에 관한 것이다. 본 발명의 얼굴 탐지 방법은 오프라인으로 이루어지는 학습 방법과 실시간으로 이루어지는 탐지 방법으로 이루어져 있다.

본 발명에서 제시된 학습 방법은 얼굴의 회전에 대한 추정을 하는 회전 추정 신경망과 얼굴을 식별하는 탐지 신경망으로 구성되어있다. 학습 방법에서 회전 추정 신경망은 얼굴이 있다는 가정 하에서 N명의 바로선 얼굴(frontal face)에 대해 각각 랜덤하게 ±45°안에서 회전된 20 × 20 윈도우 50개(총 N × 50개 윈도우)를 생성하고, 각 윈도우에 대해서 히스토그램 평활화(Histogram Equalized)를 적용한 후, 각 윈도우를 400 × 1의 행렬로 생성하여, 열 단위로 통합한, 400 × N의 행렬과 각 윈도우에 대해 공식 (1)의 θ에 회전된 각도를 대입한 후 36 × 1행렬을 생성, 열 단위로 통합한 36 × N개의 목표 각도를 가지고 회전 탐지 신경망에 학습 데이터로서 입력된다.

cos(θ-i＊10°) i= 0,1,...,35 공식(1)

탐지 신경망은 얼굴의 유무를 결정하는 신경망으로서 M개의 얼굴(20 × 20 윈도우)이 있는 윈도우에 대해선 출력 값이 1로, K개의 얼굴(20 × 20 윈도우)이 없는 윈도우에 대해선 출력 값이 -1이 되도록 학습시키고, 잘못된 탐지를 한 윈도우들에 대해선 다시 랜덤하게 추출해서 재학습을 시킨다. 그렇게 하게되면, 실시간에서 처리할 때 오탐지율을 줄일 수 있게 된다.

탐지 방법은 다음과 같은 단계를 거치게 되는데, 도표 4 에서처럼 실시간 탐지를 보장하기 위하여 입력 영상을 배경 영상과 각각 밝기와 에지(edge)의 유무를 비교하여 후보영역을 결정하는 단계, 서로 다른 크기의 얼굴을 탐지하기 위하여 비율을 1.2로 하여 후보영역을 피라미드(pyramid) 영상으로 표현, 각 계층의 피라미드영상에 대해서 20 × 20 픽셀 윈도우를 적용하여 영상에서 탐지할 윈도우(window)를 추출하는 단계, 조명의 변화에 무관하도록 히스토그램 평활화(histogram equalization)를 수행하는 단계, 도표 1 에서의 얼굴 회전 추정 단계는, 추출된 20 × 20 윈도우를 하나의 열(400 × 1행렬)로 만들어서 학습된 Hidden Units 에 입력함으로서 회전된 얼굴의 각도를 추정할 수 있게 된다. 여기서 얼굴의 회전 각도 추정은 15개의 Hidden Units과 36개의 출력 노드로 구성된 회전 추정 신경망을 통해서 얻어지게 되는데 얼굴의 회전 추정 각도는 공식(2)에 의해서 구할 수 있다.

공식(2)

추정된 회전 각도에 기반 하여 똑 바로선 얼굴(upright face)로 복원하는 단계, 복원된 영상에서 얼굴의 유무를 판단하는 탐지 신경망 단계, 중복된 탐지 및 오탐지를 해결하는 후처리 단계를 거쳐서 최종적으로 얼굴의 유.무 및 크기와 위치를 탐지하게 된다.

본 발명에서는 단지 밝기의 차이만을 이용하는 것이 아니라, 에지(Edge)의 차이와 밝기의 차이를 동시에 고려하는 방법을 사용함으로서 영상에서 조명의 변화만으로 생긴 밝기의 변화는 무시할 수 있어 효율적인 후보영역을 설정함으로서 적은 메모리 용량과 빠른 시간 내에 탐지가 가능하다.

제안된 얼굴 탐지 방법을 CMU 데이터베이스와 자체 제작한 SKK 데이터베이스에 대하여 실험하였다. 회전추정신경망을 데이터베이스는 160 사람으로 구성되었으며, 각각의 사람마다 50개의 다른 각도를 가진 얼굴 영상들로 이루어졌다. Detect 네트워크의 데이터베이스는 얼굴 영상 200개와 얼굴을 포함하지 않은 영상 2000개로 이루어졌다. 영상의 크기는 20×20이며, bootstrap 방법으로 학습하였다. 실험결과 조명변화가 심하고 기울어진 얼굴 영상을 제안된 얼굴 탐지 방법에서는 90% 이상 탐지하여 탐지율이 크게 향상된다.

Claims (2)

1. 조명상태의 변화, 얼굴의 수 및 크기, 회전에 무관한 얼굴탐지를 위한 패턴 벡터를 형성하기 위한 학습 방법에 있어서 입력 장치에 의하여 학습영상을 입력하는 단계;

   N명의 바로선 얼굴(frontal face)에 대해 각각 랜덤하게 ±45°안에서 회전된 20 × 20 윈도우 50개(총 N × 50개 윈도우)를 생성하는 단계;

   각 윈도우에 대해서 히스토그램 평활화(Histogram Equalized)를 적용하는 단계;

   각 윈도우를 400 × 1의 행렬로 생성하여, 열 단위로 통합한, 400 × N의 행렬과 각 윈도우에 대해 공식 (1)의 θ에 회전된 각도를 대입한 후 36 × 1행렬을 생성, 열 단위로 통합한 36 × N개의 목표 각도를 가지고 회전 탐지 신경망에 학습 데이터로서 입력하는 단계로 구성된 얼굴 학습 방법

   cos(θ-i*10°) i= 0,1,...,35 공식(1)
2. 크기 와 회전에 무관하게 얼굴을 검출하기 위한 방법에 있어서 입력장치에 의하여 정지 영상을 입력하는 단계;

   조명에 무관하게 배경영상으로부터 얼굴의 후보영역을 설정하기 위한 차영상 적용 단계;

   크기에 무관한 얼굴검출을 위해 영상을 계층적으로 표현하는 단계;

   계층적으로 표현된 영상에 대해 20×20 윈도우를 씌워 스캐닝하는 단계;

   조명의 밝기를 조절해 주기 위한 히스토그램 평활화 수행 단계;

   기울어진 얼굴의 회전 각도를 추정하는 단계;

   추정한 회전각도를 이용하여 바로 선 얼굴로 복원하는 단계;

   상기 단계에서 구해진 영상을 가지고 얼굴의 유·무를 판단하는 단계로 구성된 얼굴 탐지 방법.