KR100621883B1 - 학습에 기반을 둔 적응형 실시간 얼굴검출방법 - Google Patents

학습에 기반을 둔 적응형 실시간 얼굴검출방법 Download PDF

Info

Publication number
KR100621883B1
KR100621883B1 KR1020040113139A KR20040113139A KR100621883B1 KR 100621883 B1 KR100621883 B1 KR 100621883B1 KR 1020040113139 A KR1020040113139 A KR 1020040113139A KR 20040113139 A KR20040113139 A KR 20040113139A KR 100621883 B1 KR100621883 B1 KR 100621883B1
Authority
KR
South Korea
Prior art keywords
face
detection
training image
image
learning
Prior art date
Application number
KR1020040113139A
Other languages
English (en)
Other versions
KR20060074410A (ko
Inventor
김중규
박영경
서해종
민경원
김태완
정찬기
Original Assignee
학교법인 성균관대학
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 성균관대학 filed Critical 학교법인 성균관대학
Priority to KR1020040113139A priority Critical patent/KR100621883B1/ko
Publication of KR20060074410A publication Critical patent/KR20060074410A/ko
Application granted granted Critical
Publication of KR100621883B1 publication Critical patent/KR100621883B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 얼굴데이터베이스 상의 훈련영상들의 수평방향/수직방향 크기투영의 상호상관계수 값들의 특징을 Bayesian학습을 통해 학습하는 단계와, 훈련영상집합을 이용해 직사각형특징에 기반을 둔 약한 분류기들을 구성하고 최적의 강한 분류기를 얻기 위해 약한 분류기들을 학습하여 부스팅(boosting)하는 단계를 구비하여 이루어지되, 영상이 입력되면, 얼굴검출을 위한 입력영상의 품질을 개선하고 조명효과를 최소화하기 위한 히스토그램 평활화하고(전처리 단계), 상기 Bayesian학습된 결과를 이용해 상기 입력영상으로부터 얼굴후보를 검출하며(선검출 단계), 상기 부스팅을 통해 얻어진 강한 분류기를 이용해 상기 입력영상이 얼굴인지 아닌지를 검사하여 최적의 얼굴영역을 검출하고(주검출단계), 실시간 얼굴검출을 위하여 스캐닝 과정에서 동일한 얼굴에 대한 중복 검출을 막고 불필요한 검출 과정을 제거하는(단일 얼굴후보 선정단계) 것을 특징으로 하는 학습에 기반을 둔 적응형 실시간 얼굴검출방법을 제공한다.

Description

학습에 기반을 둔 적응형 실시간 얼굴검출방법{AN ADAPTIVE REALTIME FACE DETECTING METHOD BASED ON TRAINING}
도 1은 본 발명에 따른 학습에 기반을 둔 실시간 적응형 얼굴검출방법의 전처리, 선검출, 주검출의 흐름도,
도 2는 본 발명의 전처리과정으로서 히스토그램 평활화를 보여주는 도면,
도 3은 본 발명에 따른 얼굴 검출의 첫단계로서 크기투영을 보여주는 도면,
도 4는 본 발명에서 얼굴/비얼굴의 크기 투영 특성을 모델링한 가우시안 분포를 보여주는 도면,
도 5는 본 발명의 주검출과정의 직사각형 특징을 보여주는 도면,
도 6은 본 발명의 주검출과정에서 이용되는 인티그럴 영상 표현법을 보여주는 도면,
도 7은 본 발명의 주검출과정의 직사각형 특징 값을 계산하는 과정을 보여주는 도면,
도 8은 본 발명의 주검출과정에서 훈련영상집합에 대한 직사각형특징 값의 가우시안 분포를 보여주는 도면,
도 9는 본 발명에서 AdaBoost알고리즘의 블록다이어그램을 보여주는 도면,
도 10은 본 발명에서 단일 얼굴후보선정방법을 보여주는 도면,
도 11은 본 발명에 따른 얼굴검출방법을 통해 테스트한 검출의 예,
도 12는 본 발명에 따른 얼굴검출방법의 도식도이다.
본 발명은 정지 및 동영상에서 얼굴을 검출하고 표정을 인식하는 표정인식방법의 개발의 첫단계로 영상에서의 얼굴영역을 검출하는 방법에 관한 것으로서, 크기투영의 상호상관계수 값을 이용한 얼굴검출방법과 Viola와 Jones가 제안한 직사각형특징에 기반을 두는 AdaBoost(Adaptive Boosting)알고리즘을 이용한 얼굴검출방법을 이용한 학습에 기반을 둔 실시간 얼굴검출방법에 관한 것이다.
정보통신 기술이 발전함에 따라 인터넷에 연결되어 데이터 송수신이 가능한 정보가전 기기의 등장으로 인한 정보 디지털 사회가 도래하고 있다. 일반 가정에 홈 네트워크가 구축되면서 디지털 도어폰과 같은 디지털가전 기기의 보급과 얼굴표정인식 시스템 및 사용자 인지/적응 HCI시스템구축에 대한 연구가 활발히 진행되고 있다. 표정인지를 위해서는 정확한 얼굴 검출이 전제되어야 한다. 하지만 정지 영상이나 동영상으로부터 정확하게 얼굴을 검출해 낸다는 것은 결코 쉬운 일이 아니다. 이것은 다양한 얼굴크기 그리고 수염, 안경과 같은 구조적요소의 존재 여부, 얼굴자세, 조명의 변화나 카메라 특성, 얼굴표정의 변화등이 얼굴을검출하는데 어 려움으로 작용하기 때문이다.
이러한 영상에서의 얼굴 검출방법은 크게 네 가지로 분류된다. 첫 번째 방법은 지식 기반 방법으로서 전형적인 얼굴에 대한 인간의 일반적인 지식을 기반으로 하는 방법으로 얼굴을 구성하는 눈, 코, 입 간의 위치, 거리등이 이에 해당하며 초기 얼굴 검출에 많이 이용되던 방법이다. 그러나 이 방법은 인간의 다양한 얼굴 자세에 대해서 고정적인 규칙을 적용하기 힘들다는 단점이 있다.
두 번째 방법으로는 불변 특징 접근방법으로서 자세나 조명등의 변화에서도 얼굴 검출에 용이한 구조적 특징을 찾는 방법으로 주로 얼굴 국부화에 이용된다.
세 번째 방법으로는 템플릿 매칭 방법으로서 몇몇 얼굴의 기본 형태를 얼굴의 전체 및 부분에 따라 저장하고 입력영상과의 비교를 통해 일정수준 이상의 상관관계를 가질 경우 얼굴로 판단하는 방법으로 일반적으로 많이 사용되는 방법이다.
마지막으로 외형 기반 방법이 있다. 템플릿 매칭 방법과 달리 얼굴의 대표적인 다양성을 가지고 있는 훈련 영상들로부터 템플릿이나 얼굴모델을 학습하는 방법으로 최근 가장 많은 관심을 불러일으키고 있는 방법이며 검출성능 역시 우수하다.
본 발명은, 기존 얼굴검출방법들이 가진 정확도 및 검출 시간의 한계점을 극복하기 위한 것으로, 정지/동영상에서 크기투영의 상호상관계수 값을 이용한 얼굴검출방법 및 직사각형특징에 기반을 둔 AdaBoost알고리즘을 이용한 얼굴검출방법을 이용해서, 학습에 기반을 둔 적응형 실시간 얼굴검출방법을 제공하는 것을 목적 으로 한다.
본원의 발명자들은, 학습을 위한 훈련얼굴영상을 제작함에 있어서, 피부색이나 얼굴형태, 혹은 얼굴요소들의 다양성을 잘 표현하는 엄선된 얼굴 DB를 획득하는 게 중요하다는 점을 인식하게 되었다. 이에 따라 본 발명은 CMU PIE데이터베이스, BioID데이터베이스 그리고 Slovenian CVL데이터베이스로부터 훈련얼굴영상을 구축함으로써, 학습 알고리즘이 얼굴의 공통적이고 고유한 특성을 발굴해낼 수 있도록 하고, 전처리를 통해 조명이나 카메라의 성능 등 여러 제반환경변화에 무관하게 정확한 얼굴을 검출하도록 하였다.
본 발명에서는 정지/동영상에서 크기투영의 상호상관계수 값을 이용한 판별식과 직사각형특징에 기반을 두는 AdaBoost(Adaptive Boosting)알고리즘을 이용하여 실시간으로 정확하게 얼굴을 검출한다.
본 발명에 따른 얼굴검출방법은 후처리 과정에서의 단일 얼굴후보 선정방법을 이용하여 얼굴에서 중복된 검출결과를 보이는 현상을 막고 불필요한 스캐닝에 따른 검출시간의 증가를 최대한 줄임으로써 실시간 얼굴검출을 가능하게 한다.
본 발명은 입력영상에 대한 전처리 과정과, 크기투영의 상호상관계수 값을 이용한 선검출과정, 직사각형 특징에 기반하고 AdaBoost알고리즘을 이용한 주검출과정을 포함한다.
본 발명에 있어서, 상기 전처리과정은 얼굴영상에서 조명차이에 의한 검출 오류 방지를 위하여 히스토그램 평활화를 수행하는 과정이고, 상기 선검출과정은 전처리된 서브영상을 크기투영평면으로 투영 후 상호상관계수 값을 훈련결과 얻어진 문턱 값과 비교하여 얼굴을 검출하는 과정이며, 상기 주검출과정은 직사각형 특징을 약한 분류기로 구성하고 AdaBoost알고리즘을 통해 조합함으로써 강한 분류기를 구성하여 얼굴을 검출하는 과정이다.
또한 본 발명의 상기 선검출과정은 각 훈련영상집합의 수평/수직방향 크기투영과 평균영상의 수평/수직방향 크기투영간의 상호상관계수 값을 구하고 이 값들의 가우시안모델링을 통해 얼굴검출 판별함수를 구성하므로, AdaBoost를 이용한 주검출과정에서 발생할 수 있는 과도한 검출을 방지함을 특징으로 한다.
또한 본 발명의 상기 주검출과정은 약한 분류기를 조합하여 구성된 강한 분류기를 통해 이루어지는데, 신뢰도 예측을 통해 정확한 분류를 함으로써 98%에 상응하는 높은 검출율을 달성함을 특징으로 한다.
(실시예)
이하, 첨부된 도면을 참조하여 본 발명의 학습에 기반하는 실시간 적응형 얼굴검출방법에 대해서 설명한다.
도 1은 본 발명에 따른 학습에 기반을 둔 실시간 적응형 얼굴검출방법의 흐름도로, 카메라로부터의 입력영상을 탐색윈도우 프로그램으로, 24 x 24픽셀화하고, 히스토그램 평활화하는 전처리과정과, 이 전처리과정에서 처리된 영상을 크기투영평면으로 맵핑하고, 상호상관계수 값을 이용하여 검출하는 선검출단계 및, 24×24 픽셀크기의 훈련영상에서 가능한 직사각형특징의 총 개수를 효율적으로 계산하기 위해 인티그럴영상을 표현하고, 부수팅(Boosting)을 행해 영상을 검출하는 주검출단계가 보여진다.
이하, 각 처리과정에 대해 상세히 설명한다.
1. 전처리과정
도 2는 평활화에 의한 전처리과정을 보여준다. 참조부호 201은 원 영상이고 참조부호 202는 원 영상(201)에 대해서 히스토그램 평활화를 수행한 결과를 보여준다. 얼굴 검출과정에서 하나의 어려움으로 작용하는 것이 조명변화이다. 조명변화에 따라 얼굴은 현저하게 다른 특성을 나타내고 이것은 검출 성능에 직접적으로 영향을 미친다.
본 발명에서는 이러한 조명변화에 의한 영향을 최소화하기 위해 전처리과정으로서 히스토그램 평활화를 적용했고, 이에 따라 도 2에서 알 수 있듯이 원 영상의 빛 상태에 따른 후속 과정에서의 얼굴 검출 오류 요인을 사전에 제거 또는 최소화시킬 수 있게 되었다.
2. 크기투영(Amplitude Projection)을 이용한 선검출과정
본 발명에서는 영상의 수직/수평방향의 크기투영의 상호상관계수 값을 이용하여 Bayseian학습을 하고, 그 결과를 이용하여 얼굴을 선검출하는 방법을 사용한다. 이 방법은 이하의 주검출과정에서 AdaBoost알고리즘의 약한 분류기(weak classifier)를 구성하는 단순한 직사각형특징의 단점을 효율적으로 보완할 수 있는 주검출과정의 전처리과정으로 볼 수 있다. 얼굴 검출 시 크기투영의 상호상관계수 값들을 이용해 판별함수에 적용하여 얼굴인지 아닌지를 미리 검사하게 된다. 이하의 주검출 과정인 AdaBoost알고리즘을 이용한 검출방법보다 정확도면에서는 좋지 않지만 훈련시간과 검출시간이 상대적으로 매우 빠르다. 이러한 점을 이용하여 본 발명에서는 얼굴검출시스템 속도와 정확도를 개선시키기 위해 크기투영의 상호상관계수 값을 주검출과정의 전 단계로 이용한다.
도 3은 얼굴영상의 수평/수직방향으로의 크기 투영을 보여준다. 참조부호 301은 원 영상을 표현하며, 302는 수평방향 크기투영, 303은 수직방향크기투영을 보여준다. 얼굴 영상 자체로는 측정할 수 없었던 특징 즉, 코 부분이 다른 부분보다 그레이레벨 값이 더 크게 나타남을 수평, 수직 방향으로 영상을 투영한 그림을 통해서 알 수 있다.
본 발명에서의 크기투영을 이용한 선검출과정의 훈련은 다음과 같이 이루어진다.
각 훈련영상집합 수평/수직 방향 크기 투영을 구하고 평균 얼굴영상(mean face)의 수평/수직방향 크기투영을 구한다. 그리고 이들 간의 상호계수 값(ρ)들을 식 1과 같이 구한다.
Figure 112004061741041-pat00001
일반적인 얼굴의 크기 투영을 모델링하기 위해 본 발명에서는 상호상관계수 값의 2차원 가우시안 분포를 가정한다. 즉, 수직 방향 및 수평 방향에 대한 상호상관계수가 2차원 벡터를 형성하게 되고 훈련영상집합과 입력영상간의 계산된 상호상관계수를 이용하여 일반적인 얼굴의 크기 투영특성을 가우시안 모델링하는 것이다. 가우시안 모델링은 2차원 가우시안 함수를 구성하는 데 필요한 평균 및 공분산행렬을 구하는 과정으로 얼굴 훈련영상집합과 비얼굴 훈련영상집합에 대해 각각 계산되어 얼굴과 비 얼굴의 크기 투영 특성을 모델링하게 된다. 도 4는 이러한 가우시안 분포를 그림으로 보여준다.
가우시안 모델을 위한 파라미터를 구하게 되면, 입력영상에 대해 수평/수직 크기 투영 값을 구하고 평균 영상과의 상호상관계수 값을 구한다. 상호상관계수 값을 이미 모델링된 얼굴과 비얼굴에 대한 가우시안 함수에 적용시켰을 때 더 높은 값을 가지는 클래스로 분류하게 된다. 이 때 계산을 용이하게 하기 위해 가우시안 함수로부터 유도된 판별함수를 이용한다. 각 클래스에 대한 판별함수는 식 (2)와 같다.
Figure 112004061741041-pat00002
이렇게 판별함수를 적용하여 얼굴이 아닐 것 같은 영상을 미리 제거 하고 얼굴검출의 정확도와 속도 개선을 이루어낸다. 판별함수는 아래와 같이 적용된다.
Figure 112004061741041-pat00003
식 (3)은 얼굴 클래스의 판별함수이다.
Figure 112004061741041-pat00004
식 (4)는 비얼굴 클래스의 판별함수이다.
Figure 112004061741041-pat00005
식 (5)는 얼굴 클래스의 판별함수 값이 비얼굴 클레스의 판별함수 값 보다 큰 것을 나타낸다.
Figure 112004061741041-pat00006
얼굴 클래스의 판별함수 값(gNegative)이 비얼굴 클래스의 판별함수 값(gPositive)보다 크면 얼굴 후보로 판정한다.
그리고 두 식의 차의 크기는 결국 얼굴일 신뢰도(confidence)를 나타내는 것으로 이 값이 크면 클수록 얼굴일 확률이 크고 작으면 얼굴일 확률이 상대적으로 작음을 의미한다. 빠른 검출시간을 바탕으로 주검출단계에서 발생할 수 있는 과 검출을 미리 제거하거나 또는 최소화시키는 역할을 담당한다.
3. 직사각형특징에 기반하고 AdaBoost알고리즘을 이용한 주검출과정
정확한 얼굴검출을 하기 위하여 학습에 기반하는 AdaBoost알고리즘을 사용한다. AdaBoost알고리즘으로의 적용을 위한 약한 분류기는 얼굴의 세부요소 분류기를 이용할 수 있다. 얼굴의 일부분에 대한 분류기들을 AdaBoost알고리즘을 통해 조합함으로써 얼굴 전체에 대한 강한 분류기를 생성할 수 있는 것이다. 본 발명에서 적용한 직사각형은 이러한 요구를 잘 만족시킨다.
직사각형특징은 인접한 직사각형 영역들의 픽셀 값들의 합의 차로 단순하면서도 계산하기에 용이하다. 주검출과정의 얼굴검출 방법에서 적용하고 있는 직사각형 특징들은 도 5와 같이 세 개로서 두 개로 이루어진 직사각형 특징(도 5의 (a))과 세 개로 이루어진 직사각형특징(도 5의 (b))들 모두 같은 모양, 같은 면적을 가진 수평, 수직으로 인접한 직사각형으로 구성되어있다.
본 발명에서는 24×24 픽셀크기의 훈련영상을 사용하는데 24 x 24픽셀크기에서 가능한 직사각형특징의 총 개수는 매우 많으며 이들 각 특징들을 효율적으로 계산하기 위해 인티그럴영상 표현법을 사용하였다. 인티그럴영상은 픽셀 당 소량의 연산을 가지고도 쉽게 구현이 가능하며 인티그럴영상이 얻어지면 빠르게 직사각형특징 값을 계산할 수 있다.
도 3에 나타낸 바와 같이, 본 발명에서 이용한 세 개의 특징은 Viola와 Jones가 제안한 간단한 5가지 직사각형특징 중 단순하면서도 얼굴을 가장 잘 검출하는 두 개(가로, 세로)의 직사각형 특징(도 5의 (a))과 세 개의 직사각형 특징(도 5의 (b))이다. 두 개로 이루어진 직사각형 특징 값은 두 직사각형 이내에 있는 픽셀들의 합의 차이다. 세 개로 이루어진 직사각형 특징 값은 가운데에 위치한 직사각형 이내에 있는 픽셀 값들의 합에서 바깥쪽 직사각형들의 픽셀 값들의 합의 차이다. 여기서 특징 값이 음의 실수를 가지지 않도록 모든 특징 값은 절대 값을 유지 한다. 24 x 24 픽셀크기의 영상에서 직사각형 두 개로 이루어진 특징은 가로 세로 모두 합쳐서 86,400개, 직사각형 세 개로 이루어진 특징은 27,600개로 구성된다.
인티그럴 영상은 원 영상의 원점 픽셀을 기준으로 오른쪽 대각선 방향으로 픽셀 값을 더해가며 얻어지는 영상으로 도 6과 같은 영상으로 보이게 된다. 인티그럴영상은 식 (7)을 통해 구한다. 도 6은 Lena영상의 인티그럴영상의 변환을 표현한 것이고 도 7은 인티그럴영상에서의 직사각형 특징 값의 계산식을 보여준다.
Figure 112004061741041-pat00007
본 발명에서 직사각형특징에 의한 약한 분류기를 AdaBoost알고리즘을 효과적으로 적용함으로써 얼굴내의 복잡한 클래스의 분류를 위해 다양한 형태의 결정 경계가 필요한 요구를 만족시킨다. AdaBoost알고리즘의 입력이 되는 훈련 영상집합은 Sm=(x1,y1),..(xn,yn)으로 표현되며, 각 xi에 대한 yi=1일 경우에 얼굴인 영상을, yi=0일 경우에 얼굴이 아닌 영상을 나타낸다. AdaBoost알고리즘은 t=1,...,T 라운드동안 반복적으로 학습기를 호출하여 약한 분류기를 선정하고 분류성능에 맞 게 가중치(weight)를 부여한다. 본 발명의 얼굴검출방법에서 학습기는 각 라운드(round)에서 훈련영상집합에 대해 가장 적은 에러를 가지는 약한 분류기를 선정하도록 되어 있다. 약한 분류기는 상기 직사각형특징을 이용하여 식(8)과 같이 구성된다.
Figure 112004061741041-pat00008
훈련 영상에 대해 가능한 모든 약한 분류기에 대해 j번째 분류기를 hj(x)라고 하면 임계 값 θj와 극값 pj를 이용해 직사각형특징 값인 fj(x)가 일정 값보다 크거나 작을 경우 얼굴이라고 판단하게 된다. 이때 부호 및 임계 값은 도 8과 같이 훈련영상집합에 대한 직사각형특징의 값의 가우시안 분포를 가정함으로써 구해질 수 있다.
약한 분류기가 훈련영상집합을 이용해 구성되면 AdaBoost알고리즘은 다음과 같이 동작한다. 먼저 훈련영상전체에 걸쳐 일련의 가중치(분포)를 부여한다. t번째 라운드에서 i번째 훈련영상에 대한 가중치는 Wt,i로 정의하며 초기단계에서는 모든 훈련영상들에 대한 가중치가 동등하게 주어진다. 그 값은 얼굴과 얼굴이 아닌 클래스를 구성하는 얼굴 훈련영상집합의 크기 m과 비얼굴 훈련영상집합의 크기 n에 의해 식(9)와 같이 결정된다.
Figure 112004061741041-pat00009
입력된 가중치는 매 라운드마다 식(10)과 같이 정규화 된다.
Figure 112004061741041-pat00010
0)
학습기는 매 라운드마다 가능한 모든 약한 분류기에 대해 에러 ε을 계산한다. 학습기는 임무는 에러 ε를 최소화하는 약한 분류기를 찾고 분류성능에 맞게 가중치를 부여하는 것이다. 에러 ε는 식(11)과 같이 결정된다.
Figure 112004061741041-pat00011
최소의 에러ε를 가진 약한 분류기 h를 선택되면 식(12)와 같이 훈련영상집합에 대한 가중치를 갱신한다.
Figure 112004061741041-pat00012
식(12)에 따르면 i번째 데이터의 새로운 가중치는 약한 분류기가 옳은 판단을 내린 경우 그 값이 줄어들고 잘못된 판단을 내린 경우 동일하게 유지된다. 갱신된 가중치는 다시 정규화되므로 이러한 갱신과정의 효과는 반복 t에서 결정된 분류기가 잘 분류하지 못한 영상들의 가중치를 높임으로써, 분류가 어려웠던 영상들을 가장 잘 분류하는 새로운 약한 분류기를 선택하는 것이다.
아래 표 1은 두 가지의 최종분류기의 가중치 결정 방법을 보여준다.
[표1]
Figure 112004061741041-pat00013
얼굴검출을 위한 강한 분류기 H는 가중치 결정방식에 따라 H의 성능이 달라진다. 가중치 결정법은 표 1과 같이 두 가지의 경우로 나누어 생각해 볼 수 있다. Case 1은 각 훈련영상집합의 모든 분류기에 같은 가중치를 할당하는 경우이다. 훈련영상집합의 특성이 분류기의 구성에 영향을 주지 않기 때문에 각 훈련영상집합간의 성질이 유사한 경우에만 성능을 보장 할 수 있다. Case 2는 해당 훈련영상집합의 분류성능에 따라 가중치를 결정하는 방법이다. 이 방법은 가중치가 해당 훈련 영상집합의 분류성능에만 의존하므로 분류가 용이한 훈련 영상집합으로부터 선택된 Ht가 높은 가중치를 갖는 특징이 있다.
본 발명에서는 case 2와 같은 방법을 채택함으로써, 가중된 메저리티 보팅 (weighted majority voting)방법에 의거하여 분류기들을 결합하고 최종 분류기 H를 생성함으로써 신뢰도에 기반을 두는 정확도 높은 얼굴검출시스템을 구축한다.
아래 표 2는 Schapire와 Freund에 의해 제시된 일반화된 AdaBoost알고리즘을 요약한 것이고 도 9는 AdaBoost알고리즘의 블록다이어그램을 보여준다.
[표 2]
Figure 112004061741041-pat00014
4. 단일 얼굴후보 선정방법
본 발명에서는 크기투영을 이용한 선검출과정과 AdaBoost알고리즘을 통해 생성한 강한 분류기를 사용하는 주검출과정에서 얼굴검출 시 얼굴주변에서 잘못된 검출을 함으로써, 검출기의 정확도를 떨어뜨리고 속도를 지연시키는 문제를 해결하기 위하여 스캐닝 과정에서 단일 얼굴후보 선정방법을 사용한다. 얼굴이라고 최초로 판단되는 지점에서 오른쪽으로 7픽셀 까지, 아래쪽으로 7픽셀까지 1픽셀크기씩 서브윈도우를 이동하면서 각 서브영상의 신뢰도를 조사한다. 조사하는 동안 얼굴이라고 최초로 판별한 지점보다 더 높은 신뢰도를 가진 지점이 존재한다면 그 부분을 얼굴로 분류한다. 그렇지 않다면, 얼굴이라고 최초로 판별된 부분이 얼굴이 될 것이다. 즉 서브윈도우들 중에서 가장 높은 신뢰도를 가진 서브윈도우를 찾음으로써 얼굴주변에서 얼굴이라고 분류되는 서브윈도우중 정확히 얼굴에 해당하는 한 개의 서브윈도우만을 얼굴로 검출하는 것이다. 이후 얼굴이라고 검출된 서브윈도우 영역에 대해서는 스캐닝을 수행하지 않고 넘어간다. 이 후 기존의 스캐닝을 입력 영상의 우측하단까지 계속하면서 또 다른 얼굴이 있는지 없는지를 검색한다. 만약 얼굴이라고 판별되는 부분이 다시 검출된다면 이전의 과정을 다시 한 번 거쳐서 가장 높은 신뢰도를 가진 부분을 얼굴로 검출한다.
본 발명에서는 얼굴 검출 시 단일 얼굴후보 선정방법을 적용하면 테스트 영상 내에 실제로 얼굴이 있는 부분에서 과 검출이 일어나는 것을 방지하므로 얼굴검출방법의 검출 정확도를 향상시키고 얼굴이라고 검출된 영역에 대해서는 스캐닝을 수행하지 않음으로써 모든 픽셀에 걸쳐서 스캐닝을 수행하지 않기 때문에 얼굴검출시스템의 속도를 향상을 가능하게 한다.
도 10은 단일 얼굴후보선정방법을 보여준다.
본 얼굴 발명에서의 얼굴검출 시스템은 크게 네 과정으로 나누어 볼 수 있다.
첫째, 전처리과정으로서, 입력영상집합에 대해 히스토그램 평활화를 수행하는 부분이다. 히스토그램 평활화는 서로 다른 조명조건을 가진 DB로부터 구성된 훈련영상집합과 얼굴검출을 위한 입력 영상의 이미지 질을 개선하고 조명효과를 최소화시키기 위해서 수행된다.
둘째, 얼굴검출의 첫 번째 과정으로서, 훈련영상집합들의 수평방향/수직방향 크기투영의 상호상관계수 값들의 특징을 Bayesian학습을 통해 학습하고 이 특징을 얼굴후보 검출의 요소로써 이용하는 부분이다. 훈련은 오프라인으로 이루어지며 훈련에 의해 산출된 가우시안 파라미터 값들은 파일로 저장된 후 검출기에 의해 호출된다.
셋째, 얼굴검출의 핵심 단계로서, AdaBoost알고리즘을 적용하여 얼굴 검출을 수행한다. 직사각형특징들을 약한 분류기로써 훈련영상집합에 대한 훈련 및 부스팅을 통해 얼굴을 검출할 수 있는 최적의 강한 분류기를 구성하고 얼굴인지 아닌지를 최종적으로 검사하는 부분이다. 크기투영과 마찬가지로 훈련에 의한 부스팅 관련 파라미터 값들은 파일로 저장되고 검출기에 의해 호출된다. AdaBoost알고리즘의 특성상 분류기의 훈련시간이 여타의 얼굴검출알고리즘보다 길지만 훈련이 일단 끝나면 그 결과를 이용하여 실시간 얼굴검출이 가능하다.
넷째, 상기 두 가지의 얼굴검출과정에서 얼굴 검출 시 얼굴주변에서 잘못된 검출을 함으로써, 검출기의 정확도를 떨어뜨리고 속도를 지연시키는 문제를 해결하기 위하여 스캐닝 과정에서 단일 얼굴후보 선정방법을 사용한다. 이는 실시간 얼굴검출을 위한 추가적인 과정으로써 얼굴검출시스템의 속도를 향상을 가능하게 한다.
도 11은 지금까지 설명한 얼굴검출방법을 통해 테스트한 검출의 예이다.
도 12는 본 발명에 따른 얼굴검출방법의 도식도이다.
본 발명에서 제시된 얼굴검출방법을 훈련시키고 테스트하기 위하여, 훈련영상집합은 크게 얼굴 훈련영상집합과 비얼굴 훈련영상집합으로 구성되며 각각 얼굴 데이터베이스와 웹사이트를 통해 획득하였고 테스트영상은 총 300여개의 영상들( 단일 얼굴 + 다중 얼굴 )을 테스트 영상 집합으로 구성하여 실험하였다.
얼굴 훈련영상집합의 경우 정면 얼굴 영상을 기반으로 하여 훈련영상집합을 구성하였는데 CMU PIE 데이터베이스로부터 175장, BioID 데이터베이스로부터 130장, Slovenian CVL 데이터베이스로부터 171장을 선정해 얼굴 훈련영상집합을 제작하였다. 비얼굴 훈련영상집합은 웹사이트로부터 획득한 얼굴이 전혀 포함되지 않고 사이즈가 상당히 큰 자연 이미지들로부터 추출되었다. 30장의 사이즈가 큰 이미지로부터 무작위로 비얼굴영상 10000장을 구성하였으며 이 가운데 얼굴과 유사한 특성을 가지는 2000장을 선정해 비얼굴 훈련영상집합을 구성하였다.
세 가지 얼굴 데이터베이스의 파일크기와 형식이 모두 다르기 때문에 학습 조건에 맞게 얼굴영상집합과 비얼굴영상집합의 크기는 모두 24 x 24 픽셀크기로 제한하고 칼라영상일 경우 흑백영상으로 변환시켰으며 파일은 모두 raw파일로 저장되었다. 실험결과 조명변화가 심하고 부분적으로 가려진 얼굴, 안경 쓴 얼굴, 기울어 진 얼굴을 포함한 영상들을 제안된 얼굴검출시스템에서는 98%이상 검출하여 검출 율이 크게 향상되었음을 알 수 있다.
본 발명은 정지/동영상에서 크기투영의 상호 상관계수 값을 이용하여 Bayesian학습을 한 결과를 이용한 판별식과 직사각형특징에 기반을 두는 AdaBoost(Adaptive Boosting)알고리즘을 이용하여 실시간으로 정확하게 얼굴을 검출한다.
본 발명에서는 첫째, 직사각형특징에 기반을 둔 AdaBoost알고리즘을 통해 약한 분류기들을 결합하고 최종 분류기를 생성함으로써 학습에 기반 하는 정확도 높은 얼굴검출시스템 을 구축한다. 둘째, 학습에 기반을 둔 크기 투영의 상호 상관계수 값을 주검출 과정의 전 단계에 이용함으로써 얼굴검출시스템 속도와 정확도를 개선시킨다. 셋째, 단일 얼굴후보선정방법을 추가적으로 사용함으로써 실시간 얼굴검출을 가능하게 하고 히스토그램 평활 화를 사용해 원 영상의 빛 상태에 따른 후속 과정에서의 얼굴 검출 오류 요인을 사전에 제거 또는 최소화 시킨다.
따라서, 본 발명의 얼굴 검출 방법은 특히 휴대 전화기나 PDA와 같은 이동 통신 단말기 환경에서 잠금 해제 기능과 같은 보안시스템을 구축하거나 사주, 궁합, 점성술, 관상 및 Avatar제공과 같은 엔터테인먼트를 수행하는데 매우 유용하게 쓰일 수 있다.

Claims (11)

  1. 얼굴영상들과 비얼굴영상으로 구성되는 훈련영상집합을 구비하는 데이터베이스 상의 훈련영상집합의 수평방향/수직방향 크기투영의 상호상관계수 값들의 특징을 Bayesian학습을 통해 학습하는 단계와,
    훈련영상집합을 이용해 직사각형특징에 기반을 둔 약한 분류기들을 구성하고 최적의 강한 분류기를 얻기 위해 약한 분류기들을 학습하여 부스팅(boosting)하는 단계를 구비하여 이루어지되,
    영상이 입력되면,
    얼굴검출을 위한 입력영상의 품질을 개선하고 조명효과를 최소화하기 위한 히스토그램 평활화하고(전처리 단계),
    상기 Bayesian학습된 결과를 이용해 상기 입력영상으로부터 얼굴후보를 검출하며(선검출 단계),
    상기 부스팅단계를 통해 얻어진 강한 분류기를 이용해 상기 입력영상이 얼굴인지 아닌지를 검사하여 최적의 얼굴영역을 검출하고(주검출단계),
    실시간 얼굴검출을 위하여 스캐닝 과정에서 동일한 얼굴에 대한 중복 검출을 막고 불필요한 검출 과정을 제거하는(단일 얼굴후보 선정단계) 것을 특징으로 하는 학습에 기반을 둔 적응형 실시간 얼굴검출방법.
  2. 제1항에 있어서,
    상기 선검출단계를 위하여, 각 훈련영상들의 수평 및 수직방향 크기 투영을 구하고,
    평균 얼굴영상(mean face)의 수평 및 수직방향 크기투영을 구하며,
    이들 간의 상호상관계수 값(ρ)들은,
    Figure 112006044137391-pat00015
    로 구해지는 것을 특징으로 하는 얼굴검출방법.
  3. 제2항에 있어서,
    상기 검출된 상호상관계수 값들은 가우시안 모델링되어,
    얼굴 후보를 선검출하기 위한 판별함수를 얻는 것을 특징으로 하는 얼굴검출방법.
  4. 제3항에 있어서,
    상기 판별함수g(x)는,
    Figure 112004061741041-pat00016
    인 것을 특징으로 하는 얼굴검출방법.
  5. 제4항에 있어서,
    상기 판별함수g(x)는,
    Figure 112004061741041-pat00017
    일때를 얼굴인 것으로 판별하고, 여기서 gPositive(x)는 얼굴 클래스의 판별함수이고 gNegative(x)는 비얼굴 클래스의 판별함수이며,
    두 식의 차가 클수록 얼굴 판별의 신뢰도로 큰 것으로 판단되는 것을 특징으로 하는 얼굴 검출 방법.
  6. 제1항에 있어서,
    상기 부스팅하는 단계는, 인티그럴영상 표현법을 이용해 직사각형 특징들을 계산하고,
    상기 훈련영상집합을 이용해 상기 계산된 직사각형 특징으로 약한 분류기를 구성하고,
    상기 구성된 약한 분류기들을 훈련영상집합에 대해 학습하여 얼굴의 특징을 잘 반영하는 약한 분류기 h들을 찾고;
    찾아진 약한 분류기들을 가중된 메저리티 보팅(weighted majority voting)에 따라 결합하고 최적의 강한 분류기 H를 획득하는 것을 특징으로 하는 얼굴검출방법.
  7. 제6항에 있어서, 인티그럴영상에서의 직사각형 특징 값은,
    Figure 112004061741041-pat00018
    로 계산되는 것을 특징으로 하는 얼굴검출방법.
  8. 제6항에 있어서, 상기 직사각형 특징값을 이용하여,
    약한 분류기
    Figure 112004061741041-pat00019
    를 구성하고(여기서, hj(x)는 훈련 영상에 대해 가능한 모든 약한 분류기에 대해 j번째 분류기이고, θj는 임계 값, pj는 극값, fj(x)는 직사각형의 특징값),
    임계 값 θj와 극값 pj를 이용해 직사각형특징 값인 fj(x)가 일정 값보다 크거나 작을 경우 얼굴이라고 판단하는 것을 특징으로 하는 얼굴검출방법.
  9. 제6항에 있어서, 얼굴의 특징을 잘 반영하는 약한 분류기 h를 찾는 단계는,
    이하의 식에 따라 훈련영상전체에 걸쳐 일련의 가중치 부여하고(t번째 라운드에서 i번째 훈련영상에 대한 가중치는 Wt(i)이고, m은 얼굴 훈련영상집함의 크기, n은 비열굴 훈련영상집합의 크기),
    Figure 112004061741041-pat00020
    입력된 가중치를 이하의 식과 같이 매 라운드마다 정규화하고,
    Figure 112004061741041-pat00021
    매 라운드마다 가능한 모든 약한 분류기에 대해 에러 ε를 이하의 식에 따라 계산하며,
    Figure 112004061741041-pat00022
    ε를 최소화하는 약한 분류기 h를 찾고,
    최소의 에러ε를 가진 약한 분류기 h를 선택되면, 이하의 식과 같이훈련영상집합에 대한 가중치를 갱신하며,
    Figure 112004061741041-pat00023
    갱신된 가중치는 다시 정규화하므로 이루어지는 것을 특징으로 하는 얼굴검출방법.
  10. 제6항에 있어서,
    학습 과정에서 약한 분류기를 학습할 때, 얼굴훈련영상집합과 비얼굴 훈련영상집합의 비가 1:2이고 부스팅횟수가 200회인 것을 특징으로 하는 얼굴 검출 방법.
  11. 제1항에 있어서,
    상기 단일 얼굴후보 선정단계는, 상기 실시간 얼굴 검출을 위하여 최초로 얼굴이라고 판단되는 지점에서 오른쪽으로 7픽셀까지, 아래쪽으로 7픽셀까지 1픽셀크기씩 서브윈도우를 이동하면서 각 서브영상의 신뢰도를 조사하고, 신뢰도가 가장 높은 부분을 얼굴로 선정하고 얼굴로 선정된 영역에 대해서는 스캐닝을 수행하지 않음으로써, 검출 속도를 향상시키고 동일한 얼굴에 대한 중복 검출을 막는 것을 특징으로 하는 얼굴검출방법.
KR1020040113139A 2004-12-27 2004-12-27 학습에 기반을 둔 적응형 실시간 얼굴검출방법 KR100621883B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040113139A KR100621883B1 (ko) 2004-12-27 2004-12-27 학습에 기반을 둔 적응형 실시간 얼굴검출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040113139A KR100621883B1 (ko) 2004-12-27 2004-12-27 학습에 기반을 둔 적응형 실시간 얼굴검출방법

Publications (2)

Publication Number Publication Date
KR20060074410A KR20060074410A (ko) 2006-07-03
KR100621883B1 true KR100621883B1 (ko) 2006-09-19

Family

ID=37167173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040113139A KR100621883B1 (ko) 2004-12-27 2004-12-27 학습에 기반을 둔 적응형 실시간 얼굴검출방법

Country Status (1)

Country Link
KR (1) KR100621883B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100886557B1 (ko) 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
KR100981832B1 (ko) * 2008-06-12 2010-09-13 인하대학교 산학협력단 Ｂｏｏｓｔｉｎｇ 알고리즘 및 특징벡터분할 기법을 이용한얼굴특징 선택방법 및 장치
KR101179497B1 (ko) 2008-12-22 2012-09-07 한국전자통신연구원 얼굴 검출 방법 및 장치
KR20140095601A (ko) 2013-01-18 2014-08-04 삼성전자주식회사 자세 분류 장치 및 자세 분류 방법
CN105303193B (zh) * 2015-09-21 2018-08-14 重庆邮电大学 一种基于单帧图像处理的人数统计系统
KR101954103B1 (ko) * 2017-01-31 2019-05-17 한국항공우주연구원 복수의 유사 영상들을 이용한 영상 합성 기술

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020102024A1 (en) 2000-11-29 2002-08-01 Compaq Information Technologies Group, L.P. Method and system for object detection in digital images
US20030108244A1 (en) 2001-12-08 2003-06-12 Li Ziqing System and method for multi-view face detection
KR20050020217A (ko) * 2003-08-21 2005-03-04 대한민국(전남대학교총장) 직렬 분류기를 이용한 실시간 얼굴 검출 및 추적 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020102024A1 (en) 2000-11-29 2002-08-01 Compaq Information Technologies Group, L.P. Method and system for object detection in digital images
US20030108244A1 (en) 2001-12-08 2003-06-12 Li Ziqing System and method for multi-view face detection
KR20050020217A (ko) * 2003-08-21 2005-03-04 대한민국(전남대학교총장) 직렬 분류기를 이용한 실시간 얼굴 검출 및 추적 방법

Also Published As

Publication number Publication date
KR20060074410A (ko) 2006-07-03

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN111339990B (zh) 一种基于人脸特征动态更新的人脸识别系统和方法
CN108460356B (zh) 一种基于监控系统的人脸图像自动处理系统
US8320643B2 (en) Face authentication device
CN108960080B (zh) 基于主动防御图像对抗攻击的人脸识别方法
JP4767595B2 (ja) 対象物検出装置及びその学習装置
CN110543846B (zh) 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN111368683B (zh) 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法
US7925093B2 (en) Image recognition apparatus
US9684850B2 (en) Biological information processor
CN111126482B (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
CN113537099B (zh) 一种公路隧道火灾烟雾动态检测方法
JP5795443B2 (ja) Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して顔特徴点の位置を検出するための方法、装置、およびコンピュータ可読記録媒体
JP2005149506A (ja) 対象物自動認識照合方法および装置
CN113592911B (zh) 表观增强深度目标跟踪方法
CN103150546A (zh) 视频人脸识别方法和装置
CN112364801A (zh) 一种动态阈值人脸识别方法
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
JP2008003749A (ja) 特徴点検出装置および方法並びにプログラム
CN112395901A (zh) 一种改进型复杂环境下人脸检测定位识别方法
KR100621883B1 (ko) 학습에 기반을 둔 적응형 실시간 얼굴검출방법
KR100390569B1 (ko) 크기와 회전에 무관한 지능형 얼굴검출 방법
CN110378414B (zh) 基于进化策略的多模态生物特征融合的身份识别方法
CN111191549A (zh) 一种两级人脸防伪检测方法
CN111553202B (zh) 进行活体检测的神经网络的训练方法、检测方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090713

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee