KR20040048249A

KR20040048249A - 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의얼굴추출시스템 및 방법

Info

Publication number: KR20040048249A
Application number: KR1020020076045A
Authority: KR
Inventors: 김철민; 추교신
Original assignee: 삼성전자주식회사
Priority date: 2002-12-02
Filing date: 2002-12-02
Publication date: 2004-06-07

Abstract

본 발명은 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템 및 방법을 제공한다. 본 발명의 얼굴추출시스템은 입력 영상으로부터 효과적으로 물체(예:얼굴)를 추출해 내기 위해 기존의 영상 처리에서 논의되어 왔던 방법들의 성능을 대폭 개선하여 영상 추출 효율을 크게 향상시킬 수 있는 새로운 알고리즘을 제안한다. 즉, 본 발명은 CIE-xyz 컬러 공간 상에서 다양한 얼굴 영상으로부터 획득한 '얼굴 색 분포 모델'을 지식기반으로 하는 비선형 퍼지 소속함수 추론 알고리즘과 눈(eye) 특징점에 대하여 학습된 다중의 신경회로망을 통하여 인간의 시각 시스템을 모방하는 방식으로 얼굴 영역을 추출한다. 이로써, 다양한 환경에서도 강인한 인식 특성을 보이는 얼굴 인식 시스템을 구성할 수 있다. 또한 본 발명에서 색상 분포 모델과 신경회로망의 학습 집합을 얼굴 이외의 대상에 대하여 적용하면, 입력 영상에서 얼굴 이외의 다른 대상을 추출해 내는 응용이 가능할 것이기 때문에 공장 자동화나 홈 오토메이션 등의 비전 시스템으로 적용이 가능하다.

Description

퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템 및 방법{Human face detection system and method in an image using fuzzy color information and multi-neural network}

본 발명은 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템 및 방법에 관한 것으로, 보다 상세하게는 CIE-xyz 컬러 공간 상에서 다양한 얼굴 영상으로부터 획득한 '얼굴 색 분포 모델'을 지식기반으로 하는 비선형 퍼지 소속함수 추론 알고리즘과 눈(eye) 특징점에 대하여 학습된 다중의 신경회로망을 통하여 인간의 시각 시스템을 모방하는 방식으로 얼굴 영역을 추출하는 시스템 및 방법에 관한 것이다.

얼굴 인식(Face Recognition) 기술은 영상 인식 및 머신 비전 분야에서 중요한 위치를 차지하고 있으며, 최근 들어 휴먼 인터페이스를 위한 차세대 생체인식 알고리즘으로서 더욱 활발한 연구가 진행되고 있다. 하지만, 완전히 자동화된 얼굴 인식 시스템을 구현하기 위해서는 인식의 전처리 과정으로서 입력 영상으로부터 정확한 얼굴 영역을 추출해 내는 작업이 반드시 선행되어야 한다. 즉, 얼굴 인식 시스템의 전체 성능은 대상 얼굴의 정확한 위치와 크기를 결정하는 얼굴추출(Detection) 과정에 크게 좌우 된다고 할 수 있다.

인공지능 알고리즘을 통하여 얼굴 영역을 추출하는 기존의 방법은 크게 세 가지로 나뉘어진다.

1) 퍼지 알고리즘 : 미리 획득된 색상 모델 지식기반(Knowledge Base)과 선형(Linear) 퍼지 소속함수를 통하여 얼굴의 후보 영역을 추출해 낸 후 기하학적 템플릿에 정합하는 방식으로, 색상 분포 모델, 선형 퍼지 소속함수, 기하학적 템플릿을 구성으로 하고 있다. 퍼지 알고리즘은 선형 퍼지 소속함수를 통해 입력 영상에서 얼굴 색 영역과 머리 색 영역을 분할 한 후 분할된 영역에 대하여 얼굴과 머리 모양의 템플릿을 적용하는 방식으로 얼굴을 찾는다. 그러나, 퍼지 알고리즘은 a) 선형 퍼지 소속함수를 사용했기 때문에 적용하는 임계치에 따라 실제 얼굴 영역이 추출되지 않거나, 비 얼굴 영역의 상당 부분이 추출되는 등의 오차가 심하게 발생하고, b) 얼굴/머리 모양은 개인에 따라 편차가 심하기 때문에 단순한 기하학적 템플릿을 사용해서 추출이 불가능하다. 추출률이 현저히 떨어지는 단점이 있다.

2) 신경회로망 알고리즘 : 입력 영상을 24bit의 그레이 스케일 레벨(Gray Scale Level)로 변환하여 영상 전체를 얼굴/비얼굴에 대하여 학습된 신경 회로망으로 스캔(scan)하는 방식으로, 얼굴 영상 학습집합, 비얼굴 영상 학습집합, 신경회로망을 구성으로 하고 있다. 신경회로망 알고리즘은 입력 영상을 24bit의 그레이 스케일 레벨로 변환한 후 영상의 크기를 일정 비율로 축소해 나가면서, 영상 전체를 20 X 20 크기의 윈도우로 스캔하는 방식으로 얼굴을 찾는다. 그러나, 신경회로망 알고리즘은 a) 신경회로망의 학습 집합이 너무 방대하며 즉, 얼굴에 대한 학습집합은 대략 8000장 정도면 충분하나, 비얼굴 영상은 거의 무한대로 학습하여도 오차를 낼 가능성이 많으며, b) 학습집합이 방대하므로, 신경회로망의 학습 시간이 많이 걸리며, 학습 집합의 추가에 따른 재학습이 필요하고, c) 영상 전체를 스캔하므로 신경회로망의 연산량이 방대하고, d) 영상의 크기를 일정 비율로 축소하며 스캔하므로 시스템에 부하가 많이 걸리며, e) 분해능이 다른 영상에 대하여 적용할 경우 오차 확률이 높아지는 단점이 지적된다.

3) 유전 알고리즘 : 눈, 코, 입 등의 특징점에 대하여 변형가능한 (Deformable) 기하학적 템플릿을 정의한 후 영상 전체를 탐색(Searching) 하며 에너지 함수(Energy Function)가 최소가 되는 위치를 찾아내는 방식으로, 변형 템플레이트(Deformable Template), 에너지 함수, 서칭 알고리즘(유전 알고리즘)을 구성으로 하고 있다. 유전 알고리즘은 특징점에 대하여 변형가능한 기하학적 템플릿을 정의한 후 영상 전체를 탐색하며 에너지 함수가 최소가 되는 위치를 찾아내어 특징점의 위치를 획득한 후 이를 바탕으로 얼굴 영역을 추정해 낸다. 그러나, 유전 알고리즘은 a) 영상 전체를 탐색하며, 에너지 함수를 실시간으로 계산하기 때문에 세 가지 방법 중에서 연산 부하가 가장 크고, b) 에너지 함수의 정의 방법에 따라 추출 결과가 크게 달라질 수 있다는 문제점이 있다.

종래의 선행기술들로서, 한국특허공개 99-26863, 일본 특개평 11-25269, 12-11143, 12-357221, 8-77334가 있으며, 이들도 역시 퍼지 이론과 신경회로망 기법을 이용하여 얼굴영상을 추출하는 기법들이나, 얼굴색 분포에 따른 얼굴색 유사도 및 영상분할 알고리즘을 사용하지 않으므로 영상 추출효율이 작을 수 밖에 없다.

본 발명은 이러한 문제점을 해소하기 위한 것으로, 기존의 영상 처리에서 논의되어 왔던 인공지능 알고리즘을 통한 얼굴 추출 방법들의 성능을 개선하여 영상 추출 효율을 대폭 향상시켜서 자동화된 얼굴 인식 시스템의 전체 성능을 높이기 위한 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템 및 방법을 제공함을 목적으로 한다.

본 발명의 다른 목적은 추출 대상이 얼굴이 아닌 다른 물체인 경우에도 색상 분포 모델 지식 베이스와 신경회로망 학습 집합의 변환만으로도 응용이 가능하도록 하여 산업용 로봇 비전 시스템, 가정용 로봇 비전 시스템과 같이 산업 현장에서 이용할 수 있도록 하는 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템 및 방법을 제공함에 있다.

도 1은 본 발명에 따른 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템을 설명하기 위한 기능블록도이다.

도 2a, 도 2b, 및 도 2c는 각각 CIE-xyz 색상 공간 상에서 정의된 얼굴색 분포 모델과 입력 영상으로부터 실제 얼굴색 유사도를 효과적으로 계산 해 내기 위해 실험적으로 획득한 비선형 퍼지 소속함수 및 파라미터를 보여주는 그래프도이다.

도 3은 얼굴 후보 영역으로부터 순수 얼굴 영역을 추출해 내기 위한 영상 분할 알고리즘을 설명하기 위한 단계블록도이다.

도 4는 얼굴 영역으로부터 다중 분해능과 다중 분할 영상을 이용해 눈 특징점을 찾아내는 신경회로망 기법을 설명하기 위한 흐름도이다.

도 5는 추출된 눈 영역을 통하여 얼굴 영역을 보정하여 최종 영역을 결정하는 과정을 설명하기 위한 도면이다.

<도면의 주요부분에 대한 부호의 설명>

100...CCD,210...지식기반(얼굴색분포모델)

220...입력영상,222...색상변환

224...얼굴색지도 작성,226...퍼지추론

228...얼굴색 유사도230...영상분할

232...특징점추출,234...최종영역 검출

252...특징점 학습집합,254...특징점 추출 신경회로망

300...얼굴인식 엔진

본 발명은 상술한 기술적 과제를 달성하기 위하여, 본 발명의 일 형태에 의한 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템은 입력영상으로부터 비선형 퍼지 소속함수 및 파라미터를 산출하는 산출부; 얼굴 후보 영역으로부터 순수 얼굴 영역을 추출해 내기 위한 영상 분할 알고리즘 처리부; 및 상기 추출된 얼굴 영역으로부터 다중 분해능과 다중 분할 영상을 이용해 특징점을 찾아내는 신경회로망 처리부를 포함한다.

본 발명의 다른 형태에 의하면, 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출방법은 입력영상으로부터 비선형 퍼지 소속함수 및 파라미터를산출하는 단계; 얼굴 후보 영역으로부터 순수 얼굴 영역을 추출해 내기 위한 영상 분할 알고리즘 처리단계; 및 상기 추출된 얼굴 영역으로부터 다중 분해능과 다중 분할 영상을 이용해 눈 특징점을 찾아내는 신경회로망 처리단계를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템 및 방법의 상세한 구성 및 동작에 대하여 설명하기로 한다.

도 1에서, CCD 카메라(100)에서 RGB 영상을 입력받아(220) 얼굴추출부(200)에서 얼굴을 추출한다. 색상변환부(222)는 CIE_xyz 영상으로 색상을 변환하고, RGB 색상 공간을 CIE-xyz 공간으로 변환하여 준다. 얼굴색 분포 모델(210)은 다양한 영상으로부터 매뉴얼(Manual)하게 추출된 순수 얼굴 영역들의 색상 분포 데이터 베이스 모델이다. 얼굴색 지도(224)는 얼굴색 분포 모델을 참조하여 입력 영상에서 얼굴색 영역만을 찾은 영상이다. 퍼지 추론(226)은 실험적으로 획득된 비선형 퍼지 소속함수를 통해 얼굴색 유사도(228)를 계산해 내는 과정이다. 영상 분할(230)은 얼굴색 유사도가 높은 얼굴 후보 영역에서 순수 얼굴 이외의 살색 부분 (목, 팔 다리 노출된 부분)을 제거하는 과정이다. 신경회로망(250)은 얼굴 후보 영역을 다중 분해능과 다중 분할 영상으로 만들어 평가하여(252, 254), 눈 특징점을 추출해낸다(232). 추출된 눈 특징점을 통해 최종 얼굴 영역을 보정한다(234). 그 다음 얼굴 인식 엔진(300)에서 얼굴을 인식한다.

본 발명은 CIE-xyz 색상 공간 상에서 실험에 의하여 획득된 물체(얼굴) 색 분포 모델 지식 기반 데이터 베이스와 비선형 퍼지 소속함수를 통하여 물체와 동일한 색을 지닌 영역을 판별한 후 판별된 영역을 영상 분할하여 물체 후보 영역을 추출해 낸다. 추출된 후보영역 상에서 특징점(예:눈)에 대하여 학습된 다중 분할 및 다중 분해능 신경회로망을 이용하여 최종적인 물체를 추출해 내는 방식을 사용하고 있다.

도 2a 내지 도 2c에 도시된 바와 같이, CIE-xyz 색상 공간 상에서 정의된 얼굴색 분포 모델과 입력 영상으로부터 실제 얼굴색 유사도를 효과적으로 계산해 내기 위해 실험적으로 획득한 비선형 퍼지 소속함수 및 파라미터를 산출하는 것으로, 정의된 얼굴색 분포모델로부터 입력 영상의 실제 얼굴색 유사도를 추출하기 위한 도 2b의 얼굴색 소속함수와 도 2c의 비얼굴색 소속함수를 산출한다.

도 3은 도 1의 영상분할 알고리즘(230)의 상세도로서, 얼굴 후보 영역으로부터 순수 얼굴 영역을 추출해 내기 위한 영상 분할 알고리즘을 처리하는 것으로 추출된 얼굴영역(30)으로부터 그레이레벨(32), 히스토그램 평활화(34), 4X4 모자이크화(36), 128로 이진화(38), 라벨링 및 필터링(40)을 통하여 분할된 영상(42)을 얻는 과정을 도시한 것이다.

도 4는 상기 추출된 얼굴 영역으로부터 다중 분해능과 다중 분할 영상을 이용해 눈 특징점을 찾아내는 신경회로망 처리 과정을 도시하고 있다. 도 4에 도시한 바와 같이, 특징점 학습집합과정과 특징점 추출 신경회로망 처리 과정을 통해 다중 분해능과 다중 분할 영상을 이용해 얼굴 영역 중 눈 특징점을 찾아내고 있다.

도 5에 도시된 최종 영역 결정 과정에 대하여 도 1을 참조하여 설명하기로 한다. 본 발명은 좌측의 전체 얼굴 영상으로부터 CIE-xyz 색상 공간 상에서 실험에 의하여 획득된 물체(얼굴) 색 분포 모델 지식 기반 데이터 베이스(210)와 비선형 퍼지 소속함수(226)를 통하여 얼굴과 동일한 색을 지닌 영역을 판별한 후 판별된 영역을 영상 분할(230)하여 얼굴 후보 영역으로 중앙에 도시한 바와 같이 눈영역을 추출(232)해 낸다. 추출된 후보 영역 상에서 특징점(예:눈)에 대하여 학습된 다중 분할 및 다중 분해능 신경회로망(250)을 이용하여 우측의 도면에서와 같이 최종적인 얼굴을 추출해 낸다.

CCD 카메라(100)에서 RGB 영상을 입력받아(220) CIE_xyz 영상으로 색상을 변환한다(222). 사전에 준비된 얼굴색 분포 모델 지식 기반(210)을 통해 얼굴색 지도를 작성하고(224), 미리 정의 된 비선형 퍼지 소속함수(226)를 통해 얼굴 색 유사도를 계산해 낸다(228). 얼굴색 유사도가 가장 높은 얼굴색 후보 영역을 다시 영상 분할하여(230) 순수 얼굴 이외의 살색 부분을 제거한다. 눈 특징점에 대하여 학습된 신경회로망(250)을 이용하여 얼굴 후보 영역을 다중 분할 방식과 다중 분해능 방식으로 평가하여 눈 영역을 추출해 낸다(232). 추출된 눈 영역을 통해 얼굴영역을 보정하여 최종 영역을 결정한다(234).

따라서 본 발명은 상술한 바와 같이, 다양한 환경에서의 실험에 의해 획득된 비선형 퍼지 소속함수를 사용했기 때문에 단순 임계치를 적용하는 기존의 퍼지 추론에 비해 추출 오차가 현격히 줄어든다. 또한 본 발명에서 눈 특징점은 얼굴/머리 에 비해 형태가 한정되어 있으므로 특징점으로 사용할 경우 추출률이 크게 향상될 수 있다. 또한, 신경회로망의 학습 집합으로서 얼굴 후보 영역상에서의 눈 영역만을 사용하므로, 학습량이 대폭 감소되며, 특히 기존 신경회로망 학습집합의 비얼굴 집합과 같은 애매모호한 데이터를 학습할 필요가 없으므로 오차를 낼 가능성이 적다. 또한, 눈 특징점의 특성상 재학습이 필요 없다. 또한, 분할된 순수 얼굴 후보 영역만을 스캔하므로 신경회로망의 연산량이 크게 감소한다. 또한, 영상을 분할하여 다양한 분해능에 대하여 신경회로망을 학습시키므로 입력 영상의 여러 가지 분해능에도 효과적으로 대처할 수 있다. 또한, 실시간으로 수학 함수를 계산하는 유전자 알고리즘에 비해 속도가 빠르며, 얼굴색 분포 모델 및 퍼지 추론 방법 학습 집합과 학습 방법에 따라 특수한 환경에서도 쉽게 적용할 수 있으며, 성능 개선이 얼마든지 가능하다.

이상 본 발명의 바람직한 실시예에 대해 상세히 기술하였지만, 본 발명이 속하는 기술 분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

Claims

입력영상으로부터 얼굴을 추출하는 얼굴추출시스템에 있어서,

입력영상으로부터 비선형 퍼지 소속함수 및 파라미터를 산출하는 산출부;

상기 산출된 퍼지 소속함수 및 파라미터에 따라서 얼굴후보 영역으로부터 순수 얼굴 영역을 추출해 내기 위한 영상 분할 알고리즘 처리부; 및

상기 얼굴 영역으로부터 다중 분해능과 다중 분할 영상을 이용해 특징점을 찾아내는 신경회로망 처리부를 포함하는 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템.
제1항에 있어서, 상기 비선형 퍼지 소속함수 및 파라미터 산출부는 CIE-xyz 색상 공간 상에서 정의된 얼굴색 분포 모델과 입력 영상으로부터 실제 얼굴색 유사도를 효과적으로 계산해 내기 위해 실험적으로 획득한 비선형 퍼지 소속함수 및 파라미터를 산출함을 특징으로 하는 퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출시스템.
퍼지 색상정보와 다중 신경회로망을 이용한 영상에서의 얼굴추출방법에 있어서,

입력영상으로부터 비선형 퍼지 소속함수 및 파라미터를 산출하는 단계;

얼굴 후보 영역으로부터 순수 얼굴 영역을 추출해 내기 위한 영상 분할 알고리즘 처리단계; 및

상기 추출된 얼굴 영역으로부터 다중 분해능과 다중 분할 영상을 이용해 눈 특징점을 찾아내는 신경회로망 처리단계를 포함하는 얼굴추출방법.
제3항에 있어서, 입력된 RGB 색상 공간을 CIE-xyz 공간으로 변환하는 색상변환단계;

다양한 영상으로부터 매뉴얼(Manual)하게 추출된 순수 얼굴 영역들의 색상 분포 데이터 베이스 모델을 얼굴색 분포모델로 하여, 얼굴색 분포 모델을 참조하여 입력 영상에서 얼굴색 영역만을 찾아 얼굴색 지도를 작성하는 단계;

실험적으로 획득된 비선형 퍼지 소속함수를 통해 얼굴색 유사도를 계산해 내는 단계; 및

얼굴색 유사도가 높은 얼굴 후보 영역에서 순수 얼굴 이외의 살색 부분 (목, 팔 다리 노출된 부분)을 제거하는 단계를 더 포함하는 얼굴색 추출방법.