KR20060080284A

KR20060080284A - 영상의 얼굴검출장치 및 방법

Info

Publication number: KR20060080284A
Application number: KR1020050000557A
Authority: KR
Inventors: 기석철; 진무림
Original assignee: 삼성전자주식회사
Priority date: 2005-01-04
Filing date: 2005-01-04
Publication date: 2006-07-10
Also published as: US7869629B2; US20060147108A1; KR100695136B1

Abstract

본 발명은 영상의 얼굴검출장치 및 방법을 제공한다. 본 발명에 따른 얼굴검출장치는, 복수개의 영상이 학습에 의해 포지티브 얼굴영상 및 네거티브 얼굴영상으로 분류되어 저장되어 있는 학습 DB; 입력영상에 대해 소정의 크기의 서브윈도우를 슬라이딩하면서 특징군을 추출하는 서브윈도우 처리부; 추출된 특징군을 상기 학습 DB에 저장된 샘플들을 참조하여 얼굴후보영역을 분류하는 얼굴후보영역 분류부; 및 분류된 얼굴후보영역중 윤곽선의 연속성을 조사하여 양호한 얼굴후보영역을 얼굴영역으로 판정하는 얼굴후보영역 판정부를 포함하는 것을 특징으로 한다. 본 발명에 따르면, 하나의 영상에 대한 다양한 인스턴스를 생성함으로써 다양한 형태의 얼굴을 검출할 수 있고, 여러 형태의 서브윈도우를 슬라이딩하면서 특징군을 추출하여 입력영상을 분류함으로써 부분적으로 폐색된 얼굴을 검출할 수 있다.

Description

영상의 얼굴검출장치 및 방법{Face detection method and apparatus in image}

도 1은 본 발명에 따른 영상의 얼굴검출장치의 구성을 나타내는 블록도.

도 2는 개별형 학습시스템의 구성을 나타내는 블록도.

도 3은 통합형 학습시스템의 구성을 나타내는 블록도.

도 4a 및 도 4b는 학습시스템에 사용되는 포지티브 샘플 및 네거티브 샘플을 각각 나타내는 도.

도 5는 도 2에 있어서 인스턴스 생성부의 구성을 상세히 나타내는 블록도.

도 6a 내지 도 6g는 인스턴스 생성부에서의 처리과정을 나타내는 도.

도 7은 도 5에 있어서 페이즈 지터의 동작을 나타내는 도.

도 8은 도 5에 있어서 마스킹부에서 사용되는 마스크를 형성하는 마스킹 형성부의 구성을 나타내는 블록도.

도 9는 본 발명에 따른 영상의 얼굴검출방법을 나타내는 흐름도.

도 10a 및 도 10b는 본 발명에 따른 영상의 얼굴검출방법에 따라 검출된 얼굴영역이 표시된 영상을 나타내는 도.

도 11은 도 9에 있어서 서브윈도우 처리과정을 상세히 나타내는 흐름도.

도 12는 도 11에 있어서 생성된 서브윈도우의 예들을 나타내는 도.

도 13은 도 11에 있어서 추출된 특징군의 예들을 나타내는 도.

도 14a 내지 도 14c는 본 발명에 따른 영상의 얼굴검출방법의 성능 및 종래기술에 따른 검출방법의 성능을 각각 나타내는 도.

본 발명은 영상의 얼굴검출에 관한 것으로서, 특히 다양한 형태의 얼굴, 및 부분적으로 폐색된 얼굴 등을 정확히 검출할 수 있는 영상의 얼굴검출방법 및 장치에 관한 것이다.

최근 들어, 사회가 고도의 정보화 사회로 발달해 감에 따라 정보의 보안 및 고객 관리 등과 같은 분야에서 소비자의 욕구가 증대되고, 이에 따라 해당 관리자의 확인 및 방문객의 보안 등에 관한 보다 신뢰성 있는 시스템을 요구하는 추세이다. 이에 따라, 근래에는 상술한 보안시스템 뿐만 아니라, 검문, 대형 매장에서의 고객 관리, 개인신변보호, 무인 자판대 등 이용자의 얼굴 검색분야 및, 컴퓨터의 정보처리능력과 인터넷 등 광범위 통신망을 이용한 다양한 분야에서 사용되고 있는 얼굴인식방법이 각광을 받고 있다.

얼굴검출기술은 얼굴인식을 위한 전단계로서 뿐만 아니라, 최근 휴먼 컴퓨터 인터페이스, 비디오 감시시스템, 얼굴을 이용한 영상검색 등의 다양한 응용분야가 생겨나면서, 그 중요성이 점점 커지고 있다. 최근 얼굴검출기술에 대한 많은 연구가 이루어지고 있으나, 실제 생활에 적용되기에는 아직 알고리즘의 검출신뢰성이 낮고, 검출속도가 만족스럽지 못하다. 이러한 문제를 해결하기 위해서, 얼굴 샘플 패턴으로부터 결정 바운더리(decision boundary)를 학습시켜 얼굴 검출에 이용하는 방법이 연구되고 있다.

종래 학습을 통한 사람을 검출하는 기술에 대한 연구로는 A.M.Baumberg에 의한 "Learing deformable models for tracking human motion" Ph.D 논문, U. Leeds, 1995, Vinod Nair 등에 의한 "An unsupervised, online learning framework for moving object detection" IEEE Int. Conf. CVPR, p317~324, 2004년 6월 등이 있고, 미국 특허번호 제6,421,463호, Tomaso Poggio 등에 의한 "Trainable system to search for objects in images"에는 SVM(Support Vector Machine) 분류기를 이용한 학습 시스템이 개시되어 있다. 상기 논문 및 특허에는 얼굴검출이 아닌 사람검출을 위한 학습방법이 게재되어 있지만, 얼굴검출에도 유사하게 적용될 수 있다.

종래의 연구는 조명, 표정, 및 포즈 등의 요인으로 의한 얼굴영상의 다양한 변화를 고려하지 못하고, 특히 얼굴이 다른 물체로 인한 가려지는 폐색(occlusion)이 발생하는 경우 정확하게 얼굴을 검출하지 못한다.

본 발명이 이루고자 하는 기술적 과제는, 다양한 형태의 얼굴, 및 부분적으로 폐색된 얼굴 등을 정확히 검출하기 위해 입력영상에 대해 복수개의 인스턴스를 생성하고 다양한 형태의 서브윈도우를 슬라이딩하면서 특징을 추출하여 얼굴영상을 분류하는 얼굴검출방법 및 장치를 제공하는데 있다.

상기 기술적 과제를 이루기 위한 본 발명에 따른 얼굴검출장치는, 복수개의 영상이 학습에 의해 포지티브 얼굴영상 및 네거티브 얼굴영상으로 분류되어 저장되어 있는 학습 DB; 입력영상에 대해 소정의 크기의 서브윈도우를 슬라이딩하면서 특징군을 추출하는 서브윈도우 처리부; 상기 추출된 특징군을 상기 학습 DB에 저장된 상기 샘플들을 참조하여 얼굴후보영역을 분류하는 얼굴후보영역 분류부; 및 상기 분류된 얼굴후보영역중 윤곽선의 연속성을 조사하여 양호한 얼굴후보영역을 얼굴영역으로 판정하는 얼굴후보영역 판정부를 포함하는 것을 특징으로 한다. 상기 학습 DB는, 개별형 학습시스템, 통합형 학습시스템중 하나의 학습 시스템에 의해 학습된 영상이 저장되어 있는 것이 바람직하다. 상기 개별형 학습시스템은, 복수개의 샘플영상중 어느 한 샘플영상에 대해 복수개의 인스턴스를 생성하는 인스턴스 생성부; 상기 복수개의 인스턴스에 대해 서브윈도우를 동시에 슬라이딩하여 특징군을 추출하여 분류하는 단일 스테이지 분류기; 상기 분류된 특징군을 기초로 하여 얼굴후보영역을 검출하는 얼굴후보영역 검출부를 포함할 수 있다. 상기 개별형 학습시스템은, 상기 검출된 얼굴후보영상이 소정의 기준치를 만족하지 않으면, 상기 검출된 얼굴후보영상을 상기 인스턴스 생성부에 입력하여 얼굴후보영역을 다시 검출하는 것이 바람직하다.

상기 통합형 학습시스템은, 복수개의 샘플영상중 어느 한 샘플영상에 대해 복수개의 인스턴스를 생성하는 인스턴스 생성부; 복수개의 스테이지를 사용하여 상기 복수개의 인스턴스에 대해 서브윈도우를 동시에 슬라이딩하여 특징군을 추출하여 분류하는 복수 스테이지 분류기; 상기 분류된 특징군을 기초로 하여 얼굴후보영 역을 검출하는 얼굴후보영역 검출부를 포함할 수 있다. 상기 통합형 학습시스템은, 상기 검출된 얼굴후보영상이 소정의 기준치를 만족하지 않으면, 상기 검출된 얼굴후보영상을 상기 인스턴스 생성부에 입력하여 얼굴후보영역을 다시 검출하는 것이 바람직하다.

상기 개별형 학습시스템 또는 상기 통합형 학습시스템의 인스턴스 생성부는, 상기 샘플영상에 대해 그래디언트 영상을 계산하는 그래디언트부; 상기 그래디언트 영상에 대해 회전시키고 영상의 크기를 변화시킴으로써 복수개의 인스턴스를 생성하는 페이즈 지터; 상기 생성된 복수개의 인스턴스에 대해 소정의 방향으로 그래디언트값을 합산하여 히스토그램을 생성하고, 상기 생성된 히스토그램을 양자화하는 양자화부; 상기 양자화된 히스토그램으로부터 인스턴스를 다시 생성하는 분해부; 및 상기 생성된 인스턴스에 대해 타원형 마스크로 마스킹하는 마스킹부를 포함할 수 있다. 상기 타원형 마스크는, 상기 복수개의 인스턴스에 대해 픽셀단위로 명도값을 평균화하는 평균화부; 상기 평균화된 명도값에 대해 소정의 임계치를 기준으로 이진화하는 이진화부; 및 상기 소정의 임계치 이상인 픽셀로 타원형 마스크를 형성하는 마스크모양 형성부를 포함하는 마스크 생성부에 의해 생성될 수 있다.

상기 기술적 과제를 이루기 위한 본 발명에 따른 영상의 얼굴검출방법은, 입력영상에 대해 소정의 크기의 서브윈도우를 슬라이딩하면서 특징군을 추출하는 서브윈도우 처리단계; 상기 추출된 특징군을 학습 DB를 이용하여 얼굴후보영역을 분류하는 얼굴후보영역 분류단계; 및 상기 분류된 얼굴후보영역중 윤곽선의 연속성을 조사하여 양호한 얼굴후보영역을 얼굴영역으로 판정하는 얼굴후보영역 판정단계를 포함하는 것을 특징으로 한다. 상기 서브윈도우 처리단계는, 서로 다른 형태의 서브윈도우들을 생성하는 서브윈도우 생성단계; 상기 서브윈도우들을 상기 입력영상에 동시에 슬라이딩하면서 적분값을 계산하는 서브윈도우 슬라이딩 단계; 및 상기 적분값의 상관관계를 이용하여 특징군을 추출하는 특징군 추출단계를 포함할 수 있다.

이하, 첨부 도면을 참조하여 본 발명에 따른 얼굴검출방법 및 장치의 바람직한 실시예를 설명하기로 한다.

도 1은 본 발명에 따른 얼굴검출장치의 구성을 블록도로 도시한 것으로서, 얼굴검출장치(100)는 영상입력부(110), 서브윈도우 처리부(120), 얼굴후보영역 분류부(130), 얼굴후보영역 판정부(140), 영상출력부(150) 및 학습 DB(database)(160)를 포함하여 이루어진다.

도 1을 참조하면, 영상입력부(110)에는 카메라에 의해 캡쳐된 영상이 입력된다.

서브윈도우 처리부(120)는 입력된 영상에 대해 소정의 크기의 서브윈도우를 슬라이딩하면서 특징군(features population)을 추출한다. 얼굴의 특징들로는 눈, 코, 입등의 얼굴의 주요부분의 형태와 기하학적인 배치, 코의 방향 성분, 눈동자 사이의 길이와 코길이의 비, 코폭의 비 등 기하학적인 배치에 의한 특징들이 있으며, 그래디언트(gradient)를 취해서 특징을 찾거나 탬플릿(template)을 이용한 방법, PCA(Principal Component Analysis)나 LFA(Local Feature Analysis)와 같이 수학적인 변환을 사용하는 방법, 변형 가능한 모델을 변형하여 얼굴에 사상시켜 얼굴 구성요소와 특징을 찾는 방법 등이 이용될 수 있다. 본 발명의 실시예에서는 그래디언트를 취해서 특징을 찾는다. 서브윈도우 처리부(120)의 구체적인 동작은 아래에서 설명하기로 한다.

얼굴후보영역 분류부(130)는 서브윈도우 처리부(120)에서 추출된 특징군을 학습 DB(160)에 저장된 샘플들을 참조하여 얼굴후보영역을 분류한다.

얼굴후보영역 판정부(140)는 얼굴후보영역 분류부(130)에서 분류된 얼굴후보영역중 윤곽선의 연속성을 조사하여 양호한 얼굴후보영역을 얼굴영역으로 판정한다.

영상출력부(150)는 판정된 얼굴영역을 표시한 영상을 출력한다.

학습 DB(160)는 복수개의 영상이 학습에 의해 포지티브 얼굴영상 및 네거티브 얼굴영상으로 분류되어 저장되어 있다. 학습 DB(160)는 개별형 학습시스템, 통합형 학습시스템중 하나의 학습 시스템에 의해 학습된 영상이 저장되어 있다.

도 2는 개별형 학습시스템의 구성을 블록도로 도시한 것으로서, 개별형 학습시스템(200)은 인스턴스 생성부(220), 단일 스테이지 분류기(230) 및 얼굴후보영역 검출부(240)를 포함하여 이루어진다.

도 2를 참조하면, 인스턴스 생성부(220)는 복수개의 샘플영상중 어느 한 샘플영상에 대해 복수개의 인스턴스를 생성한다. 상기 샘플영상의 예는 도 4a 및 도 4b에 도시되어 있다. 도 4a는 얼굴영상으로 분류되는 포지티브 샘플을 나타내고, 도 4b는 비얼굴영상으로 분류되는 네거티브 샘플을 나타낸다. 샘플영상은 한정되어 있으므로, 사람의 다양한 얼굴형태 및 움직임으로 모두 고려하기 위해서 복수개 의 인스턴스를 생성한다.

단일 스테이지 분류기(230)는 상기 복수개의 인스턴스에 대해 서브윈도우를 동시에 슬라이딩하여 특징군을 추출하여 분류한다. 스테이지 분류기(230)의 동작은 서브윈도우 처리부(120)에서의 동작과 유사하므로, 아래에서 상세히 설명하기로 한다.

얼굴후보영역 검출부(240)는 상기 분류된 특징군을 기초로 하여 얼굴후보영역을 검출한다. 얼굴후보영역 검출부(240)에서 검출된 얼굴후보영상이 소정의 기준치를 만족하지 않으면, 상기 검출된 얼굴후보영상을 인스턴스 생성부(220)에 입력하여 얼굴후보영역을 다시 검출한다.

도 3은 통합형 학습시스템의 구성을 블록도로 도시한 것으로서, 통합형 학습시스템(300)은 인스턴스 생성부(320), 복수 스테이지 분류기(330) 및 얼굴후보영역 검출부(340)를 포함하여 이루어진다.

도 3을 참조하면, 인스턴스 생성부(320)는 복수개의 샘플영상중 어느 한 샘플영상에 대해 복수개의 인스턴스를 생성한다.

복수 스테이지 분류기(330)는 복수개의 스테이지를 사용하여 상기 복수개의 인스턴스에 대해 서브윈도우를 동시에 슬라이딩하여 특징군을 추출하여 분류한다. 이는 단일 스테이지 분류기(230)를 단순히 합해놓은 것에 그치지 않고, 스테이지-1(330-1)에서 스테이지-2(330-2)로 진행하면서 특징군의 개수가 증가한다. 각각의 스테이지는 서로 상관관계가 없는 독립적인 특성을 갖는 분류기로써 서브윈도우를 어떻게 구성하는가에 따라 각 스테이지의 특성이 결정된다.

얼굴후보영역 검출부(340)는 상기 분류된 특징군을 기초로 하여 얼굴후보영역을 검출한다. 얼굴후보영역 검출부(340)에서 검출된 얼굴후보영상이 소정의 기준치를 만족하지 않으면, 상기 검출된 얼굴후보영상을 인스턴스 생성부(320)에 입력하여 얼굴후보영역을 다시 검출한다.

도 5는 인스턴스 생성부(220 또는 320)의 구성을 상세히 나타내는 블록도로 도시한 것으로서, 그래디언트부(510), 정규화부(520), 페이즈 지터(530), 양자화부(540), 분해부(550) 및 마스킹부(560)를 포함하여 이루어진다. 도 6a 내지 도 6g는 인스턴스 생성부(220)에서의 처리과정을 나타내는 도이다.

그래디언트부(510)는 샘플영상에 대해 그래디언트 영상을 계산한다. 도 6a의 입력영상에 대한 그래디언트 영상은 도 6b에 도시되어 있다.

정규화부(520)는 그래디언트 영상을 소정의 크기로 정규화시킨다. 정규화된 영상은 도 6c에 도시되어 있다.

페이즈 지터(phase jitter)(530)는 정규화부(520)에서 정규화된 그래디언트 영상에 대해 회전시키고 영상의 크기를 변화시킴으로써 복수개의 인스턴스를 생성한다. 페이즈 지터란 통신 회선에서 잡음, 누화, 중계기의 내부 요인 등으로 신호 위상이 순간적으로 흔들리는 현상을 통상 지칭하지만, 본 발명에서는 그래디언트 영상에 대해 회전시켜 위상을 변화시킴으로써 복수개의 인스턴스를 생성하는 것을 말한다. 페이즈 지터(530)의 동작은 도 7에 도시된 바와 같다. 초점위치를 제1 피봇(pivot)(720)으로 하여 좌우로 회전하여 복수개의 인스턴스(710)를 생성한다. 또한, 초점위치를 제1 피봇(720)에서 제2 피봇(730)으로 변화시키면서 더 많은 인 스턴스를 생성한다. 페이즈 지터(530)에 의해 생성된 복수개의 인스턴스가 도 6d에 도시되어 있다.

양자화부(540)는 상기 생성된 복수개의 인스턴스에 대해 소정의 방향으로 그래디언트값을 합산하여 히스토그램을 생성하고, 상기 생성된 히스토그램을 양자화한다. 복수개의 인스턴스에 대해 세로축을 따라 그래디언트값을 모두 합산하여 히스토그램을 생성한다. 이렇게 생성된 히스토그램에 대해 양자화를 함으로써, 인스턴스에 존재하는 노이즈성분을 제거할 수 있다. 양자화된 히스토그램이 도 6e에 도시되어 있다.

분해부(decomposition unit)(550)는 양자화부(540)에서 노이즈성분이 제거된 히스토그램으로부터 인스턴스를 다시 생성한다. 다시 생성된 인스턴스는 도 6f에 도시되어 있다.

마스킹부(560)는 상기 생성된 인스턴스에 대해 타원형 마스크로 마스킹한다. 타원형 마스크는 도 6g에 도시되어 있다. 타원형 마스크로 마스킹을 함으로써, 얼굴의 윤곽선을 제외한 다른 노이즈성분을 제거할 수 있으므로, 특징군을 추출하기 위해 사용되는 서브윈도우의 수를 감소시킬 수 있다.

도 8은 타원형 마스크를 형성하는 마스크 형성부의 구성을 블록도로 도시한 것으로서, 마스크 형성부(800)는 평균화부(810), 이진화부(820) 및 마스크모양 형성부(830)를 포함하여 이루어진다.

평균화부(810)는 상기 복수개의 인스턴스에 대해 픽셀단위로 명도값을 평균화한다.

이진화부(820)는 상기 평균화된 명도값에 대해 소정의 임계치를 기준으로 이진화한다. 소정의 임계치는 실험에 의해 정하여지며, 모든 인스턴스의 윤곽선을 포함하는 경우 마스크가 커지게 되므로, 본 실시예에서는 1%의 오차범위 내에서 정해진다.

마스크모양 형성부(830)는 상기 이진화부에서 이진화된 픽셀중 상기 소정의 임계치 이상인 픽셀로 타원형 마스크를 형성한다. 이렇게 형성된 마스크는 도 6g에 도시된 바와 같다.

도 9는 본 발명에 따른 얼굴검출방법을 흐름도로 도시한 것으로서, 도 1의 구성요소와 결부시켜 설명하기로 한다.

S900 단계에서는, 영상입력부(110)에 카메라에 의해 캡쳐된 영상이 입력된다.

S910 단계에서는, 서브윈도우 처리부(120)는 입력된 영상에 대해 소정의 크기의 서브윈도우를 슬라이딩하면서 특징군을 추출한다.

도 11은 서브윈도우 처리부(120)의 동작을 상세히 나타내는 흐름도이다.

S1100 단계에서는, 다양한 형태의 서브윈도우를 생성한다. 생성된 서브윈도우의 예들이 도 12에 도시되어 있다. 도 12의 (a)는 단일 서브윈도우 형태를 나타낸 것이고, 도 12의 (b)는 2개의 서브윈도우 형태를 나타낸 것이고, 도 12의 (c) 및 (d)는 3개의 서브윈도우 형태를 나타낸 것이다.

S1110 단계에서는, 생성된 서브윈도우를 입력영상에 대해 동시에 슬라이딩시키면서 적분값을 계산한다. 도 12의 (b) 내지 (d)의 예에서는 입력영상에서 점선 을 따라 상대적으로 슬라이딩시킨다. 도 12에 도시된 각각의 서브윈도우를 슬라이딩하면서 적분값을 계산한다.

S1120 단계에서는, S1100 단계에서 얻은 적분값의 상관관계를 이용하여 특징군을 추출한다. 상관관계는 적분값을 서로 가산, 감산, 승산 및 제산의 수학적인 연산을 통해 조사한다. 도 13은 이렇게 추출된 특징군의 예들을 나타낸다. 도 13의 (a)는 얼굴의 픽셀값을 나타내는 영상으로 그에 해당하는 수직 방향의 히스토그램을 나타낸다. 도 13의 (a)를 기준으로 각각의 서브윈도우를 슬라이딩하면서 각 서브윈도우간의 가산, 감산, 승산 및 제산을 수행하였을 경우에 의미있는 히스토그램 분포를 보이는 것의 예가 도 13의 (b) 내지 도 13의 (g)의 영상 및 그에 해당하는 히스토그램의 bin이다.

도 9로 되돌아가, S920 단계에서는 얼굴후보영역 분류부(130)는 서브윈도우 처리부(120)에서 추출된 특징군을 학습 DB(160)에 저장된 샘플들을 참조하여 얼굴후보영역을 분류한다. 얼굴후보영역의 초기 분류는 부스팅(boosting) 알고리즘을 사용하여 수행한다. 부스팅 알고리즘은 복수의 위크(weak) 분류기로부터의 결과에 대해 가중치를 조정하여 최종적인 스트롱(strong) 분류기로 영상을 분류하는 것이다. 여기서, 개별형 학습시스템(200)의 경우 위크 분류기의 결과는 단일 스테이지 분류기(230)의 결과를 의미하며, 스트롱 분류기는 단일 스테이지 분류기(230)의 반복적인 분류동작의 결과들을 종합한 최종적인 결과를 의미한다. 이 때, 스트롱 분류기는 다음 수학식 1과 같이 '1' 또는 '0'의 값을 출력한다. 여기서, '1'은 서브 윈도우가 얼굴 영상이라는 것을 나타내고, '0'은 서브 윈도우가 얼굴 영상이 아니 라는 것을 나타낸다.

여기서, α_t는 각각의 위크 분류기로부터의 가중치가 고려된 계수(coefficient)를 나타내고, h_t(x)는 각각의 위크 분류기의 분류결과이고, T는 스트롱 분류기에 포함되는 위크 분류기의 총 개수를 나타낸다.

S930 단계에서는 얼굴후보영역 판정부(140)는 얼굴후보영역 분류부(130)에서 분류된 얼굴후보영역중 윤곽선의 연속성을 조사하여 양호한 얼굴후보영역을 얼굴영역으로 판정한다. 윤곽선의 연속성 조사는 학습 단계에서의 부스팅 방법을 통해 수행된다. 각각의 특징 윈도우 안에서 이웃하는 서브윈도우간의 변화(transition)의 정도를 조사하여, 각 서브윈도우의 변화도가 소정치 이상인 것은 연속성이 없는 것으로 하고 변화도가 소정치 미만인 것은 연속성이 있는 것으로 결정한다.

S940 단계에서는 영상출력부(150)는 판정된 얼굴영역을 표시한 영상을 출력한다. 도 10은 본 발명에 따른 얼굴검출방법의 결과를 나타낸 것으로서, 도 10a의 입력영상에 대해 도 10b와 같은 얼굴영역이 검출된 영상을 출력한다.

도 14a 및 도 14b는 본 발명에 따른 얼굴검출방법의 성능 및 종래기술에 따른 사람검출방법의 성능을 비교하기 위한 도이다. 도 14a에서, 검출률은 전체 영상과 얼굴영역으로 검출된 영역의 비를 말하며, 오 검출률은 전체 영상과 얼굴영역 으로 검출되었지만 얼굴이 아닌 영역의 비를 말한다. 도 14a는 본 발명에 따른 얼굴검출방법의 성능을 나타내며, 도 14b는 Vinod Nair 등에 의한 "An unsupervised, online learning framework for moving object detection"에 제안된 방법의 성능을 나타내며, 도 14c는 Tomas Poggio 등에 의한 미국특허 제6,421,463호에 제안된 방법의 성능을 나타낸다. 도 14c에서 실선은 임의의 영상에 대한 검출률을 나타내고, 점선은 비교적 검출이 용이한 영상에 대한 검출률을 나타낸다. 도 14b 및 도 14c의 경우 얼굴이 아닌 사람 몸 전체를 검출하는 것이므로 직접적인 비교는 아니라고 할 수 있지만, 몸 전체를 검출하는 것보다는 얼굴을 검출하는 것이 어려우므로 본 발명이 종래기술에 따른 검출방법보다 훨씬 뛰어난 성능을 가진다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명에 따르면, 하나의 영상에 대한 다양한 인스턴스를 생성함으로써 다양한 형태의 얼굴을 검출할 수 있고, 여러 형태의 서브윈도우를 슬라이딩하면서 특징군을 추출하여 입력영상을 분류함으로써 부분적으로 폐색된 얼굴을 검출할 수 있다.

본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

복수개의 영상이 학습에 의해 포지티브 얼굴영상 및 네거티브 얼굴영상으로 분류되어 저장되어 있는 학습 DB;

입력영상에 대해 소정의 크기의 서브윈도우를 슬라이딩하면서 특징군을 추출하는 서브윈도우 처리부;

상기 추출된 특징군을 상기 학습 DB에 저장된 상기 샘플들을 참조하여 얼굴후보영역을 분류하는 얼굴후보영역 분류부; 및

상기 분류된 얼굴후보영역중 윤곽선의 연속성을 조사하여 양호한 얼굴후보영역을 얼굴영역으로 판정하는 얼굴후보영역 판정부를 포함하는 것을 특징으로 하는 영상의 얼굴검출장치.
제1항에 있어서, 상기 학습 DB는,

개별형 학습시스템, 통합형 학습시스템중 하나의 학습 시스템에 의해 학습된 영상이 저장되어 있는 것을 특징으로 하는 영상의 얼굴검출장치.
제2항에 있어서, 상기 개별형 학습시스템은,

복수개의 샘플영상중 어느 한 샘플영상에 대해 복수개의 인스턴스를 생성하는 인스턴스 생성부;

상기 복수개의 인스턴스에 대해 서브윈도우를 동시에 슬라이딩하여 특징군을 추출하여 분류하는 단일 스테이지 분류기;

상기 분류된 특징군을 기초로 하여 얼굴후보영역을 검출하는 얼굴후보영역 검출부를 포함하는 것을 특징으로 하는 영상의 얼굴검출장치.
제3항에 있어서, 상기 개별형 학습시스템은,

상기 검출된 얼굴후보영상이 소정의 기준치를 만족하지 않으면, 상기 검출된 얼굴후보영상을 상기 인스턴스 생성부에 입력하여 얼굴후보영역을 다시 검출하는 것을 특징으로 하는 영상의 얼굴검출장치.
제2항에 있어서, 상기 통합형 학습시스템은,

복수개의 샘플영상중 어느 한 샘플영상에 대해 복수개의 인스턴스를 생성하 는 인스턴스 생성부;

복수개의 스테이지를 사용하여 상기 복수개의 인스턴스에 대해 서브윈도우를 동시에 슬라이딩하여 특징군을 추출하여 분류하는 복수 스테이지 분류기;

상기 분류된 특징군을 기초로 하여 얼굴후보영역을 검출하는 얼굴후보영역 검출부를 포함하는 것을 특징으로 하는 영상의 얼굴검출장치.
제5항에 있어서, 상기 통합형 학습시스템은,

상기 검출된 얼굴후보영상이 소정의 기준치를 만족하지 않으면, 상기 검출된 얼굴후보영상을 상기 인스턴스 생성부에 입력하여 얼굴후보영역을 다시 검출하는 것을 특징으로 하는 영상의 얼굴검출장치.
제3항 또는 제5항에 있어서, 상기 인스턴스 생성부는,

상기 샘플영상에 대해 그래디언트 영상을 계산하는 그래디언트부;

상기 그래디언트 영상에 대해 회전시키고 영상의 크기를 변화시킴으로써 복수개의 인스턴스를 생성하는 페이즈 지터;

상기 생성된 복수개의 인스턴스에 대해 소정의 방향으로 그래디언트값을 합산하여 히스토그램을 생성하고, 상기 생성된 히스토그램을 양자화하는 양자화부;

상기 양자화된 히스토그램으로부터 인스턴스를 다시 생성하는 분해부; 및

상기 생성된 인스턴스에 대해 타원형 마스크로 마스킹하는 마스킹부를 포함하는 것을 특징으로 하는 영상의 얼굴검출장치.
제7항에 있어서, 상기 타원형 마스크는,

상기 복수개의 인스턴스에 대해 픽셀단위로 명도값을 평균화하는 평균화부;

상기 평균화된 명도값에 대해 소정의 임계치를 기준으로 이진화하는 이진화부; 및

상기 소정의 임계치 이상인 픽셀로 타원형 마스크를 형성하는 마스크모양 형성부를 포함하는 마스크 생성부에 의해 생성되는 것을 특징으로 하는 영상의 얼굴검출장치.
제1항에 있어서, 상기 서브윈도우 처리부는,

서로 다른 형태의 서브윈도우를 생성하고, 상기 서브윈도우를 상기 입력영상에 슬라이딩하면서 특징군을 추출하는 것을 특징으로 하는 영상의 얼굴검출장치.
입력영상에 대해 소정의 크기의 서브윈도우를 슬라이딩하면서 특징군을 추출하는 서브윈도우 처리단계;

상기 추출된 특징군을 학습 DB를 이용하여 얼굴후보영역을 분류하는 얼굴후보영역 분류단계; 및

상기 분류된 얼굴후보영역중 윤곽선의 연속성을 조사하여 양호한 얼굴후보영역을 얼굴영역으로 판정하는 얼굴후보영역 판정단계를 포함하는 것을 특징으로 하는 영상의 얼굴검출방법.
제10항에 있어서, 상기 서브윈도우 처리단계는,

서로 다른 형태의 서브윈도우들을 생성하는 서브윈도우 생성단계;

상기 서브윈도우들을 상기 입력영상에 동시에 슬라이딩하면서 적분값을 계산하는 서브윈도우 슬라이딩 단계; 및

상기 적분값의 상관관계를 이용하여 특징군을 추출하는 특징군 추출단계를 포함하는 것을 특징으로 하는 영상의 얼굴검출방법.
입력영상에 대해 소정의 크기의 서브윈도우를 슬라이딩하면서 특징군을 추출하는 서브윈도우 처리단계;

상기 추출된 특징군을 학습 DB를 이용하여 얼굴후보영역을 분류하는 얼굴후보영역 분류단계; 및

상기 분류된 얼굴후보영역중 윤곽선의 연속성을 조사하여 양호한 얼굴후보영역을 얼굴영역으로 판정하는 얼굴후보영역 판정단계를 포함하는 것을 특징으로 하는 영상의 얼굴검출방법을 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.