KR100755800B1 - 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법 - Google Patents

얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법 Download PDF

Info

Publication number
KR100755800B1
KR100755800B1 KR1020060055959A KR20060055959A KR100755800B1 KR 100755800 B1 KR100755800 B1 KR 100755800B1 KR 1020060055959 A KR1020060055959 A KR 1020060055959A KR 20060055959 A KR20060055959 A KR 20060055959A KR 100755800 B1 KR100755800 B1 KR 100755800B1
Authority
KR
South Korea
Prior art keywords
face
color
image
sub
window
Prior art date
Application number
KR1020060055959A
Other languages
English (en)
Inventor
양현승
정지년
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020060055959A priority Critical patent/KR100755800B1/ko
Application granted granted Critical
Publication of KR100755800B1 publication Critical patent/KR100755800B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이 발명은 입력 영상으로부터 얼굴색을 이용하여 얼굴후보 영역을 검출하고, 그 검출된 얼굴부호 영역에 대한 에이다부스트를 이용하여 얼굴을 검출하는 검출기 및 검출방법에 관한 것이다.
이러한 얼굴색과 에이다부스트를 이용한 얼굴 검출기는, 색상별 얼굴색소속함수를 저장한 저장부와; 컬러 영상이 입력되면 상기 저장부에 저장된 색상별 얼굴색소속함수를 이용하여 상기 컬러 영상의 얼굴색상필터영상을 구하고, 상기 컬러 영상의 흑백영상을 구하는 영상전처리부와; 상기 임의의 크기 및 위치의 부윈도우를 설정하고, 상기 설정된 부윈도우에 해당하는 상기 얼굴색상필터영상이 얼굴색인지를 검출하여 필터링하고, 상기 부윈도우에 해당하는 상기 흑백영상을 에이다부스트 얼굴 검출모듈에 적용하여 상기 부윈도우 영역의 얼굴/비얼굴 여부를 검출하는 얼굴검출부와; 상기 얼굴검출부에서 얼굴로 판별된 결과를 검증하는 후처리부를 포함한다.
얼굴색소속함수, 얼굴색상, HSV, 영상전처리, 에이다부스트, 누적영상

Description

얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법 {face detector and detecting method using facial color and adaboost}
도 1은 이 발명에 따른 얼굴색과 에이다부스트를 이용한 얼굴 검출기의 구성 블록도,
도 2는 영상전처리부의 동작을 도시한 동작 흐름도,
도 3은 얼굴검출부의 동작을 도시한 동작 흐름도,
도 4는 입력 영상의 일 예,
도 5는 얼굴 검출 결과의 일 예,
도 6은 입력 영상과, 그 입력영상으로부터 얻어진 얼굴색상필터영상을 도시한 도면,
도 7은 이 발명의 효과를 설명하기 위하여 도시한 도면이다.
< 도면의 주요 부분에 대한 부호의 간단한 설명 >
11 : 영상전처리부 12 : 얼굴검출부
13 : 후처리부 14 : 저장부
15 : 얼굴색소속함수학습부
이 발명은 입력 영상으로부터 얼굴을 검출하는 기술에 관한 것으로서, 보다 상세하게는 얼굴색을 이용한 후보영역 검출 및 후보영역에 대한 에이다부스트를 이용하여 얼굴을 검출하는 검출기 및 검출방법에 관한 것이다.
입력 영상으로부터 얼굴을 검출하는 기술은, 얼굴인식을 이용한 사용자 인증 시스템, 사람의 출입을 기록하는 지능형 비디오 감시 시스템과 같은 보안 관련 분야와, 사람과의 상호교류 수행 능력을 지닌 지능형 로봇, 지능형 가전제품, 영상으로부터 사람을 검색하는 기능을 하는 영상 검색 분야 등 많은 분야에 응용할 수 있다.
종래의 얼굴 검출 기술은, 흑백 영상으로부터 얼굴을 검출하는 것을 목표로 진행되어 왔고, 현재 실용화가 가능한 수준이 되었다. 얼굴을 한정짓는 고유한 특징은 흑백 영상을 통해서도 충분히 얻을 수 있으므로, 굳이 얼굴색 정보를 이용할 필요는 없었으나, 이 발명의 발명자는 얼굴색 정보를 이용하면 보다 적은 계산량으로 보다 정확하고 빠른 얼굴 검출이 가능할 것으로 판단하여, 얼굴 검출 과정에서 얼굴색 정보를 효과적으로 이용하는 방법을 제안한다.
종래에도 얼굴색 정보를 이용한 얼굴 검출 기법이 있었다. 대부분의 색상 정보를 이용한 얼굴 검출 기법들은, 얼굴색 정보를 이용하여 피부색 영역을 필터링하고, 필터링된 피부색 영역에 대해 영역 분할을 거쳐 후보 영역을 미리 결정하고, 후보 영역에서 눈, 코, 입 등의 얼굴 요소의 유무를 검사하는 방식으로 얼굴을 검출한다.
그러나, 영상 내에 피부색은 얼굴에만 존재하는 것이 아니라, 신체의 다른 부위나 배경에도 존재할 수 있다. 또한 조명 변화로 인한 색상 변화로 인하여 피부색 영역에 대한 영역 분할 결과의 신뢰성이 많이 떨어지게 된다. 또한, 영역 분할 과정의 계산량도 적은 수준이 아니므로, 종래의 영역 분할을 이용한 얼굴 검출기법은 복잡한 계산 과정에 비해 그 효과가 높지 않은 문제점이 있다.
상기한 종래기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 얼굴색 정보를 이용하여 피부색 영역을 필터링한 후, 영역 분할 과정없이 에이다부스트(adaboost)를 이용하여, 입력 영상으로부터 빠르고 정확하게 얼굴을 검출하는 검출기 및 검출방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 이 발명에 따른 얼굴색과 에이다부스트를 이용한 얼굴 검출기는, 색상별 얼굴색소속함수를 저장한 저장부와;
컬러 영상이 입력되면 상기 저장부에 저장된 색상별 얼굴색소속함수를 이용하여 상기 컬러 영상의 얼굴색상필터영상을 구하고, 상기 컬러 영상의 흑백영상을 구하는 영상전처리부와;
상기 임의의 크기 및 위치의 부윈도우를 설정하고, 상기 설정된 부윈도우에 해당하는 상기 얼굴색상필터영상이 얼굴색인지를 검출하여 필터링하고, 상기 부윈도우에 해당하는 상기 흑백영상을 에이다부스트 얼굴 검출모듈에 적용하여 상기 부윈도우 영역의 얼굴/비얼굴 여부를 검출하는 얼굴검출부와;
상기 얼굴검출부에서 얼굴로 판별된 결과를 검증하는 후처리부를 포함한 것을 특징으로 한다.
또한, 이 발명에 따른 얼굴색과 에이다부스트를 이용한 얼굴 검출방법은,
컬러 영상이 입력되면 컴퓨터가 저장부에 저장된 색상별 얼굴색소속함수를 이용하여 상기 컬러 영상의 얼굴색상필터영상을 구하고, 상기 컬러 영상의 흑백영상을 구하는 영상전처리단계와;
컴퓨터가 상기 임의의 크기 및 위치의 부윈도우를 설정하고, 상기 설정된 부윈도우에 해당하는 상기 얼굴색상필터영상이 얼굴색인지를 검출하여 필터링하고, 상기 부윈도우에 해당하는 상기 흑백영상을 에이다부스트 얼굴 검출모듈에 적용하여 상기 부윈도우 영역의 얼굴/비얼굴 여부를 검출하는 얼굴검출단계와;
컴퓨터가 상기 얼굴검출단계에서 얼굴로 판별된 결과를 검증하는 후처리단계를 포함한 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 이 발명의 한 실시예에 따른 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법을 보다 상세하게 설명한다.
도 1은 이 발명에 따른 얼굴색과 에이다부스트를 이용한 얼굴 검출기의 구성 블록도이다.
이 발명에 따른 얼굴 검출기는 영상전처리부(11)와, 얼굴검출부(12)와, 후처리부(13)와, 저장부(14)를 구비한다. 또한, 이 발명에 따른 얼굴 검출기는 얼굴색소속함수학습부(15)를 더 구비할 수도 있다. 영상전처리부(11)에 도 4에 도시된 바와 같은 영상이 입력되면, 얼굴검출부(12)에서 얼굴 영역이 검출되고, 후처리부(13)를 통해 도 5에 도시된 바와 같이 얼굴 영역이 검출되어 출력된다.
영상전처리부(11)는 입력영상을 HSV(색상-채도-명도, Hue-Saturation-Value) 체계로 변환하고 HS(색상-채도)값으로부터 피부색 영역이 추출된 얼굴색상필터영상을 얻고, V(명도)값으로부터 흑백영상을 얻어서, 저장부(14)에 저장한다. 도 6은 입력 영상과, 그 입력영상으로부터 얻어진 얼굴색상필터영상을 도시한다.
이 영상전처리부(11)는 위에서 얻어진 얼굴색상필터영상과 흑백영상을 각각 누적하여 얼굴색상필터누적영상과 흑백누적영상을 얻어서, 저장부(14)에 저장하기도 한다. 이 얼굴색상필터누적영상과 흑백누적영상을 이용하면 얼굴검출부(12)의 연산이 보다 빠르게 이루어질 수 있다.
얼굴검출부(12)는 임의의 크기 및 위치의 부윈도우를 설정하고, 그 부윈도우에 해당하는 얼굴색상필터영상과 흑백영상으로부터 해당 부윈도우 영역의 얼굴/비얼굴 여부를 검출한다. 해당 부윈도우 영역이 얼굴로 판별될 경우, 해당 부윈도우의 위치와 크기 정보를 저장부에 저장한다. 얼굴검출부(120)는 최소 크기(예컨대, 20×20픽셀)의 부윈도우를 설정한 후 화면의 좌측 상단부터 우측 하단까지 스캔하 면서 해당 부윈도우의 얼굴/비얼굴 여부를 검출하고, 그 후에는 크기를 변화시키면서 화면 좌측 상단부터 우측 하단까지 스캔하며 해당 부윈도우의 얼굴/비얼굴 여부 검출을 반복한다.
후처리부(13)는 얼굴검출부(120)에서 얼굴로 판별된 결과에 대해 중첩된 위치를 통합하거나, 제약조건으로 검증하는 과정을 수행하고, 검증된 결과를 출력부로 출력하거나 저장부(14)에 저장한다.
얼굴색소속함수학습부(15)는 다수의 샘플 얼굴영상으로부터 색상별 얼굴색소속함수를 학습한다. 이 색상별 얼굴색소속함수는 미리 학습되어 저장부(14)에 저장된 상태로 사용자에게 공급될 수 있으며, 이럴 경우에는 얼굴색소속함수학습부(15)는 생략할 수 있다.
이하, 각 구성요소들의 동작을 보다 상세하게 설명한다.
도 2는 영상전처리부의 동작을 도시한 동작 흐름도이다.
입력 영상이 입력되면(S21), 입력 영상의 RGB 체계를 HSV 체계로 변환한다(S22). 그리고, 저장부에 저장된 색상별 얼굴색소속함수를 이용하여, 각 픽셀의 색상값(h(x,y))과 채도값(s(x,y))에 대한 얼굴색소속함수(M(h(x,y), s(x,y))을 계산하고, 그 결과에 대해 문턱치 연산을 통해 아래의 수학식 1과 같은 얼굴색상필터영상(If(x,y))을 얻는다(S23).
Figure 112006043837083-pat00001
다음, 얼굴색상필터영상(If(x,y))과, 명도값(L(x,y))의 흑백영상에 대해 수학식 2와 같이 누적 연산하여, 얼굴색상필터누적영상(Iif(x,y))과 흑백누적영상(Lint(x,y)) 및 흑백누적자승(Lint 2(x,y))을 계산한다(S24).
Figure 112006043837083-pat00002
또한, 계산된 얼굴색상필터누적영상(Iif(x,y))과 흑백누적영상(Lint(x,y)) 및 흑백누적자승(Lint 2(x,y))을 저장부에 저장한다(S25).
도 3은 얼굴검출부의 동작을 도시한 동작 흐름도이다.
먼저, 얼굴 검출 대상이 되는 부윈도우의 크기와 위치를 초기화한다(S31). 이 부윈도우의 좌측 상단점 좌표가 (xtl, ytl)이고, 우측 하단점 좌표가 (xbr, ybr)일 경우, 아래의 수학식 3과 같이 얼굴색상필터누적영상(Iif(x,y))을 이용하여 얼굴색상필터영상의 밀도(density)를 계산한다(S32).
Figure 112006043837083-pat00003
단계 S32에서 계산된 밀도가 기결정된 문턱값 Φ보다 크면(S33), 얼굴 후보로 간주하여 다음 단계로 진행하여 부윈도우 영역에 대해 흑백누적영상과 흑백누적자승을 에이다부스트에 적용한다(S34). 한편, 단계 S32에서 계산된 밀도가 기결정된 문턱값 Φ보다 크지 않으면(S33), 해당 부윈도우에 대한 더 이상의 얼굴 검증이 필요없다고 판단하고 단계 S37로 진행한다.
단계 S34에서는 단계 S33에서 얼굴 후보로 간주된 부윈도우에 대해 에이다부스트로 학습한 단계별 얼굴 검출모듈에 의해 얼굴 여부를 결정한다. 이 과정에서 흑백누적영상(Lint(x,y))와 흑백누적자승(Lint 2(x,y))을 사용한다.
에이다부스트 얼굴 검출모듈은 여러 단계(stage)로 구성되며, 각 단계는 에이다부스트 알고리즘에 의해 학습된 강한 분류기(strong classifier)이다. 각 강한 분류기는 흑백누적영상(Lint(x,y))와 흑백누적자승(Lint 2(x,y))을 이용하여 해당 부윈도우가 얼굴인지 아닌지를 판단한다. 각 단계의 강한 분류기에 대해 순차적으로 얼굴 여부를 검증하여 해당 부윈도우 영역이 모든 단계의 강한 분류기에 대해 얼굴 패턴으로 판별되면(S35), 해당 부윈도우 영역을 얼굴 영역으로 판단하고 그 부윈도우의 크기와 위치를 저장부에 저장한다(S36). 그러나, 에이다부스트 얼굴 검출모듈의 어느 한 단계에서라도 얼굴이 아닌 것으로 판별되면(S35), 해당 부윈도우에 대한 더 이상의 얼굴 검증이 필요없다고 판단하고 단계 S37로 진행한다.
이러한 에이다부스트 검출 모듈 및 단계별 얼굴 검출 과정은 참조문헌 [P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features." In Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Kauai, Hawaii, 12-14, 2001]에 상세하게 기술되어 있다.
단계 S37에서 해당 크기의 모든 위치에서의 부윈도우 영역에 대해 얼굴 검증을 수행한 것이고, 모든 크기의 부윈도우 영역에 대해 얼굴 검증을 수행한 것이면(S38), 종료한다.
한편, 해당 크기의 모든 위치에서의 부윈도우 영역에 대해 얼굴 검증을 수행한 것이 아니면(S37), 다음 위치로 변환한 후(S39) 단계 S32로 진행한다. 또한, 모든 크기의 부윈도우 영역에 대해 얼굴 검증을 수행한 것이 아니면, 크기를 변환하고 위치를 초기화한 후(S39) 단계 S32로 진행한다.
다음, 후처리부(13)의 동작을 설명한다.
후처리부(13)는 얼굴검출부에서 검출된 얼굴 검출 결과 중 중첩된 부윈도우를 통합시키거나, 적용 분야에 따라 부여될 수 있는 부가적인 제약조건(예컨대, 영상 내의 얼굴 위치 조건, 부윈도우의 최소 중첩 횟수 등)에 따라 특정 부윈도우를 검출 결과에서 제거하기도 한다. 검출된 부윈도우들의 크기와 위치 정보는 사용자에게 직접 제공되거나, 얼굴인식모듈 등 이후에 얼굴의 위치 및 크기를 필요로 하는 후속 모듈에게 제공된다.
다음, 얼굴색소속함수학습부(15)의 동작을 설명한다.
얼굴색상필터영상을 얻기 위해 필요한 색상별 얼굴색소속함수 M(h(x,y),s(x,y))를 구하는 방법은 2가지가 있다.
첫 번째 방법은 얼굴과 비얼굴 영상에서 관찰된 색상의 통계적 분포로부터 유도되는 것으로서, 얼굴색소속함수는 베이지안 규칙(Bayesian rule)에 의해 수학식 4와 같은 얼굴색상 우도(likelihood) p(face|color)로 모델링된다.
Figure 112006043837083-pat00004
여기서, color는 특정 색상값 및 채도값을 의미하며, M(color)는 특정 color의 얼굴색소속함수이고, p(face∩color)는 특정 color가 얼굴에 분포될 확률분포이고, p(color)는 특정 color가 전체 영상에서 관찰될 확률분포이다.
상술한 첫 번째 방법은, 통계적 특성상 특정 얼굴색상값은 유난히 높은 우도를 가지지만, 드물게 관찰되는 얼굴색상은 낮은 우도를 갖게 된다. 따라서, 상대적으로 특이한 피부색(예컨대, 지나치게 검거나 흰 색)을 가진 사람의 경우, 낮은 우도값을 가지게 되어 문턱값을 설정할 때 비얼굴영역으로 필터링되어 버리는 경우가 발생한다.
이 발명에서는 얼굴색소속함수 학습방법을 변형하여, 이러한 문제를 해결한다.
즉, 얼굴색소속함수를 구하는 두 번째 방법은, 아래의 수학식 5와 같이 얼굴색소속함수(face color membership function)를 구한다.
Figure 112006043837083-pat00005
여기서, face는 샘플 얼굴영상들의 집합이고, Ii는 face 집합에 속한 임의의 샘플 얼굴영상이고, M(color)는 특정 color의 얼굴색소속함수이고, p(color)는 특정 color가 전체 영상에서 관찰될 확률분포이고,
Figure 112006043837083-pat00006
는 특정 color가 가장 많이 분포된 샘플 얼굴영상에서의 상기 특정 color의 확률분포이다.
즉, 임의의 한 색상의 얼굴색소속함수는, 해당 색상의 얼굴 및 비얼굴 영상의 전체 샘플 영상에서의 확률분포와, 해당 색상이 가장 많이 분포된 샘플 얼굴영상에서의 해당 색상의 확률분포의 비로써, 구한다.
이 두 번째 방법은 모든 샘플 얼굴영상으로부터 p(face∩color)를 구하지 않고, 각 색상의 각 샘플 얼굴영상에서의 확률분포를 계산하고 그 중 최대값을 취하도록 한다. 이렇게, 전체적인 출현빈도는 적으나, 특정 샘플 얼굴영상에서 특정 얼굴에 지배적으로 나타나는 색상에 대해 높은 소속함수값이 부여되도록 함으로써, 기존의 얼굴색상 우도가 지닌 단점을 보완할 수 있다.
도 7은 이 발명의 효과를 설명하기 위하여 도시한 도면이다. 도 7에서 좌측열은 흑백 영상에 대해 에이다부스트 단계별 얼굴 검출모듈만을 사용하여 검출된 얼굴의 위치를 도시하고, 중간열은 이 발명에 따른 얼굴색과 에이다부스트를 이용 한 얼굴 검출기의 얼굴 검출 결과를 도시하며, 우측열은 각 영상의 얼굴색상필터영상을 도시한다.
이 발명에 따르면 종래의 방법에 비해 검출 속도가 약 2배 정도 향상되었고, 상당수의 오검출도 제거할 수 있었다. 다만,조명 변화의 다양성으로 인해 얼굴색소속함수에 반영되지 않은 얼굴색상이 있을 경우에는 도 7의 4번째 행과 같이 검출하지 못하는 얼굴이 생길 수도 있다. 이 경우 해당 얼굴색상을 학습시켜 보완할 수 있다.
이 발명의 핵심적인 원리는 색상정보를 이용하여 적은 계산으로 얼굴 후보영역을 검출하고, 얼굴 후보영역에 대해서만 에이다부스트의 단계별 얼굴 검출과정을 수행하고, 비얼굴 패턴에 대해서는 에이다부스트의 단계별 얼굴 검출과정을 수행하지 않음으로써, 전체적인 계산 시간을 단축한다. 또한, 얼굴색상을 이용하여 얼굴색과 상이한 부윈도우에 대해서는 얼굴이 아닌 것으로 판별함으로써, 흑백영상으로는 인지하지 못한 부윈도우의 오검출을 줄인다. 이 발명은 이러한 핵심 원리에 착안하여, 에이다부스트 단계별 얼굴 검출기의 앞에 색상정보를 이용한 얼굴/비얼굴 분류기를 적용한다. 이때, 계산속도 향상의 효과를 극대화하기 위해 다양한 얼굴색상을 반영하는 얼굴색소속함수를 사용하여 얼굴색상필터영상을 얻고, 이 얼굴색상필터영상의 누적영상을 계산하여 적은 계산으로 부윈도우의 밀도를 계산할 수 있도록 한다.
이 발명은 RGB 영상을 대상으로 하고 있으므로 입력 영상이 흑백영상인 경우에는 얼굴색을 이용한 얼굴/비얼굴 검출 과정없이 바로 에이다부스트 단계별 얼굴 검출기를 적용하여 얼굴을 검출한다.
이상에서 이 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 이 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 이 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 이 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
이상과 같이 이 발명에 따르면, 전체적인 계산시간을 단축하여 얼굴 검출시간을 증가시킬 수 있으며, 상당수의 오검출을 제거할 수 있다.
이 발명은 얼굴인식응용시스템, 지능형 무인감시시스템, 영상검색시스템, 지능형 로봇 등 얼굴 검출 기술을 필요로 하는 모든 분야에 사용할 수 있으며, 특히 빠른 계산시간을 요구하는 실시간 시스템에 유용하게 활용될 수 있다.

Claims (16)

  1. 다수의 샘플 얼굴영상으로부터 색상별 얼굴색소속함수를 학습하는 얼굴색소속함수학습부와;
    상기 색상별 얼굴색소속함수를 저장한 저장부와;
    컬러 영상이 입력되면 상기 색상별 얼굴색소속함수를 이용하여 상기 컬러 영상의 얼굴색상필터영상을 구하고, 상기 컬러 영상의 흑백영상을 구하는 영상전처리부와;
    임의의 크기 및 위치의 부윈도우를 설정하고, 상기 부윈도우에 해당하는 상기 얼굴색상필터영상이 얼굴색인지를 검출하여 필터링하고, 상기 부윈도우에 해당하는 상기 흑백영상을 에이다부스트 얼굴 검출모듈에 적용하여 상기 부윈도우 영역의 얼굴/비얼굴 여부를 검출하는 얼굴검출부와;
    상기 얼굴검출부에서 얼굴로 판별된 결과를 검증하는 후처리부를 포함한 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출기.
  2. 제 1 항에 있어서, 상기 얼굴검출부가 상기 부윈도우에 해당하는 상기 얼굴색상필터영상이 얼굴색인지를 검출하여 필터링하는 것은,
    상기 얼굴색상필터영상의 얼굴색 밀도를 이용하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출기.
  3. 제 2 항에 있어서, 상기 영상전처리부는,
    상기 얼굴색상필터영상과 흑백영상을 누적연산하여, 얼굴색상필터누적영상과 흑백누적영상을 구하고,
    상기 얼굴검출부는 상기 얼굴색상필터누적영상과 흑백누적영상을 이용하여 얼굴/비얼굴 여부를 검출하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출기.
  4. 제 3 항에 있어서,,
    상기 부윈도우에 해당하는 상기 얼굴색상필터영상의 얼굴색 밀도는 아래의 수식을 이용하여 구하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출기.
    [수식]
    Figure 112006043837083-pat00007
    여기서, density는 얼굴색 밀도이고, (xtl, ytl)는 상기 부윈도우의 왼쪽 상단점의 좌표이고, (xbr, ybr)는 상기 부윈도우의 오른쪽 하단점의 좌표이고, Iif(x,y)는 얼굴색상필터누적영상의 좌표 (x, y) 값이다.
  5. 제 1 항에 있어서, 상기 후처리부는 상기 얼굴검출부에서 얼굴로 판별된 결과 중 중첩된 부윈도우를 통합하거나, 부가적인 조건에 부합되지 않은 부윈도우를 제거하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출기.
  6. 삭제
  7. 제 1 항에 있어서, 상기 얼굴색소속함수학습부는,
    아래의 수식을 이용하여 색상별 얼굴색소속함수를 구하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출기.
    [수식]
    Figure 112007029706814-pat00008
    여기서, M(color)는 특정 color의 얼굴색소속함수이고, p(face∩color)는 특정 color가 얼굴에 분포될 확률분포이고, p(color)는 특정 color가 전체 영상에서 관찰될 확률분포이다.
  8. 제 1 항에 있어서, 상기 얼굴색소속함수학습부는,
    아래의 수식을 이용하여 색상별 얼굴색소속함수를 구하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출기.
    [수식]
    Figure 112007029706814-pat00009
    여기서, face는 샘플 얼굴영상들의 집합이고, Ii는 face 집합에 속한 임의의 샘플 얼굴영상이고, M(color)는 특정 color의 얼굴색소속함수이고, p(color)는 특정 color가 전체 영상에서 관찰될 확률분포이고,
    Figure 112007029706814-pat00010
    는 특정 color가 가장 많이 분포된 샘플 얼굴영상에서의 상기 특정 color의 확률분포이다.
  9. 컴퓨터가 다수의 샘플 얼굴영상으로부터 색상별 얼굴색소속함수를 학습하여 저장부에 저장하는 얼굴색소속함수학습단계와;
    컬러 영상이 입력되면 컴퓨터가 상기 색상별 얼굴색소속함수를 이용하여 상기 컬러 영상의 얼굴색상필터영상을 구하고, 상기 컬러 영상의 흑백영상을 구하는 영상전처리단계와;
    컴퓨터가 임의의 크기 및 위치의 부윈도우를 설정하고, 상기 부윈도우에 해당하는 상기 얼굴색상필터영상이 얼굴색인지를 검출하여 필터링하고, 상기 부윈도우에 해당하는 상기 흑백영상을 에이다부스트 얼굴 검출모듈에 적용하여 상기 부윈도우 영역의 얼굴/비얼굴 여부를 검출하는 얼굴검출단계와;
    컴퓨터가 상기 얼굴검출단계에서 얼굴로 판별된 결과를 검증하는 후처리단계를 포함한 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출방법.
  10. 제 9 항에 있어서,
    상기 얼굴검출단계에서, 상기 부윈도우에 해당하는 상기 얼굴색상필터영상이 얼굴색인지를 검출하여 필터링하는 것은,
    상기 얼굴색상필터영상의 얼굴색 밀도를 이용하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출방법.
  11. 제 10 항에 있어서,
    상기 영상전처리단계에서 상기 얼굴색상필터영상과 흑백영상을 누적연산하여, 얼굴색상필터누적영상과 흑백누적영상을 구하고,
    상기 얼굴검출단계에서 상기 얼굴색상필터누적영상과 흑백누적영상을 이용하여 얼굴/비얼굴 여부를 검출하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출방법.
  12. 제 11 항에 있어서,,
    상기 부윈도우에 해당하는 상기 얼굴색상필터영상의 얼굴색 밀도는 아래의 수식을 이용하여 구하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출방법.
    [수식]
    Figure 112006043837083-pat00011
    여기서, density는 얼굴색 밀도이고, (xtl, ytl)는 상기 부윈도우의 왼쪽 상단점의 좌표이고, (xbr, ybr)는 상기 부윈도우의 오른쪽 하단점의 좌표이고, Iif(x,y)는 얼굴색상필터누적영상의 좌표 (x, y) 값이다.
  13. 제 9 항에 있어서, 상기 후처리단계는 상기 얼굴검출단계에서 얼굴로 판별된 결과 중 중첩된 부윈도우를 통합하거나, 부가적인 조건에 부합되지 않은 부윈도우를 제거하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출방법.
  14. 삭제
  15. 제 9 항에 있어서, 상기 얼굴색소속함수학습단계는,
    아래의 수식을 이용하여 색상별 얼굴색소속함수를 구하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출방법.
    [수식]
    Figure 112007029706814-pat00012
    여기서, M(color)는 특정 color의 얼굴색소속함수이고, p(face∩color)는 특정 color가 얼굴에 분포될 확률분포이고, p(color)는 특정 color가 전체 영상에서 관찰될 확률분포이다.
  16. 제 9 항에 있어서, 상기 얼굴색소속함수학습단계는,
    아래의 수식을 이용하여 색상별 얼굴색소속함수를 구하는 것을 특징으로 하는 얼굴색과 에이다부스트를 이용한 얼굴 검출방법.
    [수식]
    Figure 112007029706814-pat00013
    여기서, face는 샘플 얼굴영상들의 집합이고, Ii는 face 집합에 속한 임의의 샘플 얼굴영상이고, M(color)는 특정 color의 얼굴색소속함수이고, p(color)는 특정 color가 전체 영상에서 관찰될 확률분포이고,
    Figure 112007029706814-pat00014
    는 특정 color가 가장 많이 분포된 샘플 얼굴영상에서의 상기 특정 color의 확률분포이다.
KR1020060055959A 2006-06-21 2006-06-21 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법 KR100755800B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060055959A KR100755800B1 (ko) 2006-06-21 2006-06-21 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060055959A KR100755800B1 (ko) 2006-06-21 2006-06-21 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법

Publications (1)

Publication Number Publication Date
KR100755800B1 true KR100755800B1 (ko) 2007-09-07

Family

ID=38736613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060055959A KR100755800B1 (ko) 2006-06-21 2006-06-21 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법

Country Status (1)

Country Link
KR (1) KR100755800B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899204B1 (ko) 2007-10-15 2009-05-27 주식회사 다음커뮤니케이션 스킨 이미지 검출 장치 및 그 방법과 이를 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
US8285007B2 (en) 2008-02-04 2012-10-09 Korea Advanced Institute Of Science And Technology Subwindow setting method for face detector
KR101252356B1 (ko) 2010-11-03 2013-04-08 중앙대학교 산학협력단 복합 특징 기계 학습을 통한 실시간 축구영상에서 선수 검출기 및 선수 검출 방법
KR101408344B1 (ko) * 2009-09-24 2014-06-17 삼성테크윈 주식회사 얼굴 검출 장치
US9111137B2 (en) 2009-02-09 2015-08-18 Samsung Electronics Co., Ltd Apparatus and method for recognizing hand shape in portable terminal
KR20160068516A (ko) * 2014-12-05 2016-06-15 연세대학교 산학협력단 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법
WO2017092427A1 (zh) * 2015-12-04 2017-06-08 广州视源电子科技股份有限公司 一种电子元件定位方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060012777A (ko) * 2004-08-04 2006-02-09 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
KR20060020998A (ko) * 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 최적 얼굴 영역 추출방법
KR20060057110A (ko) * 2004-11-23 2006-05-26 홍기천 얼굴 검출 및 인증 장치 및 그 방법
KR20060064974A (ko) * 2004-12-09 2006-06-14 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060012777A (ko) * 2004-08-04 2006-02-09 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
KR20060020998A (ko) * 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 최적 얼굴 영역 추출방법
KR20060057110A (ko) * 2004-11-23 2006-05-26 홍기천 얼굴 검출 및 인증 장치 및 그 방법
KR20060064974A (ko) * 2004-12-09 2006-06-14 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899204B1 (ko) 2007-10-15 2009-05-27 주식회사 다음커뮤니케이션 스킨 이미지 검출 장치 및 그 방법과 이를 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
US8285007B2 (en) 2008-02-04 2012-10-09 Korea Advanced Institute Of Science And Technology Subwindow setting method for face detector
US9111137B2 (en) 2009-02-09 2015-08-18 Samsung Electronics Co., Ltd Apparatus and method for recognizing hand shape in portable terminal
KR101408344B1 (ko) * 2009-09-24 2014-06-17 삼성테크윈 주식회사 얼굴 검출 장치
KR101252356B1 (ko) 2010-11-03 2013-04-08 중앙대학교 산학협력단 복합 특징 기계 학습을 통한 실시간 축구영상에서 선수 검출기 및 선수 검출 방법
KR20160068516A (ko) * 2014-12-05 2016-06-15 연세대학교 산학협력단 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법
KR101653812B1 (ko) * 2014-12-05 2016-09-05 연세대학교 산학협력단 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법
WO2017092427A1 (zh) * 2015-12-04 2017-06-08 广州视源电子科技股份有限公司 一种电子元件定位方法及装置

Similar Documents

Publication Publication Date Title
US7957560B2 (en) Unusual action detector and abnormal action detecting method
US7224735B2 (en) Adaptive background image updating
KR100668303B1 (ko) 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
KR100755800B1 (ko) 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
US8103058B2 (en) Detecting and tracking objects in digital images
CN105260731A (zh) 一种基于光脉冲的人脸活体检测系统及方法
US20100074529A1 (en) Image recognition apparatus
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN109145742A (zh) 一种行人识别方法及系统
CN110008793A (zh) 人脸识别方法、装置及设备
CN111368666A (zh) 一种基于新型池化及注意力机制双流网络的活体检测方法
Bhatia et al. Face detection using fuzzy logic and skin color segmentation in images
CN107862298A (zh) 一种基于红外摄像装置下眨眼的活体检测方法
CN103049748A (zh) 行为监测方法及装置
KR100973588B1 (ko) 얼굴검출기의 부윈도우 설정방법
KR20130111021A (ko) 영상처리장치 및 영상처리방법
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
CN111832464A (zh) 一种基于近红外摄像头的活体检测方法及装置
JPH11306348A (ja) 対象物検出装置及び対象物検出方法
EP1418530A1 (en) Adaptive artificial vision method and system
Srisuk et al. A novel approach for robust, fast and accurate face detection
JPH11283036A (ja) 対象物検出装置及び対象物検出方法
Pham-Ngoc et al. Multi-face detection system in video sequence
Liao Facial feature detection in near-infrared images
Chakraborty An illumination invariant face detection based on human shape analysis and skin color information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110729

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee