KR100682906B1 - 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법 - Google Patents

부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법 Download PDF

Info

Publication number
KR100682906B1
KR100682906B1 KR1020040103672A KR20040103672A KR100682906B1 KR 100682906 B1 KR100682906 B1 KR 100682906B1 KR 1020040103672 A KR1020040103672 A KR 1020040103672A KR 20040103672 A KR20040103672 A KR 20040103672A KR 100682906 B1 KR100682906 B1 KR 100682906B1
Authority
KR
South Korea
Prior art keywords
sub
window
windows
image
face
Prior art date
Application number
KR1020040103672A
Other languages
English (en)
Other versions
KR20060064974A (ko
Inventor
이수진
김정배
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040103672A priority Critical patent/KR100682906B1/ko
Priority to US11/171,277 priority patent/US7835541B2/en
Publication of KR20060064974A publication Critical patent/KR20060064974A/ko
Application granted granted Critical
Publication of KR100682906B1 publication Critical patent/KR100682906B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법이 개시된다. 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 이 장치는, 흑백 영상을 서브 윈도우들로 분할하는 영상 분할부와, 분류기들 중 일부인 상위 분류기들을 이용하여, 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 얼굴 영상으로서 검출된 서브 윈도우를 저장하는 서브 윈도우 검출부 및 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 분류기들중 일부인 하위 분류기들을 이용하여, 그룹에 포함된 서브 윈도우들 각각이 얼굴 영상인가의 여부를 검증하고, 검증된 결과에 따라 서브 윈도우들을 통합하고, 통합된 결과를 흑백 영상에 포함된 얼굴 영상으로서 출력하는 후 처리부를 구비하고, 윈도우 개수는 그룹에 포함된 서브 윈도우의 개수에 해당하는 것을 특징으로 한다. 그러므로 오검출율을 감소시키면서도 검출율을 증가시킬 수 있어, 얼굴 검출의 정확도를 향상시킬 수 있는 잇점을 갖는다.

Description

부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법{Apparatus and method for detecting face in image using boost algorithm}
도 1은 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치의 실시예의 블럭도이다.
도 2는 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법의 실시예를 설명하기 위한 플로우차트이다.
도 3은 적분 영상을 설명하기 위한 예시적인 도면이다.
도 4는 영상 분할부의 이해를 돕기 위한 서브 윈도우들의 예시적인 도면이다.
도 5는 도 1에 도시된 서브 윈도우 검출부의 본 발명에 의한 실시예의 블럭도이다.
도 6은 도 2에 도시된 제34 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 7은 도 1에 도시된 후 처리부의 본 발명에 의한 실시예의 블럭도이다.
도 8은 도 2에 도시된 제36 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 9는 그룹핑부와 개수 검사부의 이해를 돕기 위한 예시적인 도면이다.
도 10은 서브 윈도우의 크기와 검출 개수간의 관계를 나타내는 본 발명에 의한 그래프이다.
도 11은 도 7에 도시된 얼굴 검증부의 본 발명에 의한 실시예의 블럭도이다.
도 12는 도 8에 도시된 제150 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 13 (a) ~ (d)들은 제2 피쳐 추출부의 이해를 돕기 위한 도면들이다.
도 14 (a)~ (c)들은 도 13 (a) ~ (d)들에 도시된 피쳐들이 가질 수 있는 예시적인 모습들을 나타낸다.
도 15 (a) 및 (b)들은 도 1에 도시된 서브 윈도우 검출부 및 후 처리부에서 각각 출력되는 영상의 예시적인 도면들이다.
도 16은 본 발명의 성능을 파악하기 위한 실험 환경의 모습을 나타내는 도면이다.
본 발명은 휴대폰, 로봇 또는 출입 장치 등에서 이용 가능한 영상의 검출에 관한 것으로서, 특히, 부스트 알고리즘(boost algorithm)을 이용하여 영상에서 얼굴을 검출할 수 있는 영상의 얼굴 검출 장치 및 방법에 관한 것이다.
예를 들어, 얼굴 검출이 로봇등에 적용될 경우, 화자가 로봇을 호출하면 이를 감지한 로봇은 화자를 포함하는 영상을 촬영하고, 촬영한 영상에서 화자의 얼굴 을 추출하며, 추출된 얼굴을 통해 화자를 인식한다. 이 때, 화자의 얼굴을 인식한다는 것은 화자의 얼굴이 영상에 존재하는가의 여부를 검사하는 것과 더블어 존재하는 얼굴의 위치까지 파악하는 것을 의미할 수도 있다. 이와 같이, 영상에서 얼굴을 인식하기 위해서는, 먼저 영상으로부터 얼굴을 검출하는 것이 선행되어야 한다.
종래의 아다 부스트(AdaBoost:Adaptive Boost) 패턴 학습 기법을 이용한 얼굴 검출 방법이 2002년 8월 1일자로 공개된 미국 특허 공개 번호 US2002/0102024에 개시되어 있다. 이러한 종래의 방법은 검출된 얼굴의 크기가 큰 경우 얼굴로서 검출된 서브 윈도우(sub-window)의 개수가 증가하는 문제점이 있고, 고정된 임계값을 사용하므로 검출 서브 윈도우의 크기가 클 경우 오(吳)검출율이 증가하는 문제점을 갖는다.
종래의 다른 얼굴 검출 방법들로서, 'Yong Ma' 및 'Xiaoqing Ding'에 의해 "Robust Real-Time Face Detection Based on Cost-Sensitive AdaBoost Method"라는 제목으로 2003년도에 Proceedings of 2003 International Conference on Multimedia and Expo, vol.2에 출간된 논문의 페이지 921-924쪽들에 개시된 방법과 'Stan Z. Li' 및 'ZhenQiu Zhang'에 의해 "FloatBoost Learning and Statistical Face Detection"라는 제목으로 2004년 9월에 IEEE Transactions on Pattern and Machine Intelligence. vol. 26, No. 9에 출간된 논문의 페이지 1112-1123쪽들에 개시된 방법이 있다. 이러한 종래의 방법들은 각 스테이지(stage)에서 분류기(classifier)를 새롭게 학습시켜야 하는 문제점을 갖는다.
또한, 얼굴을 검출하는 종래의 다른 방법이, "피부색을 이용한 AdaBoost 얼 굴 검출"이라는 제목으로 출원된 대한민국 특허 출원 번호 2004-0061417에 개시되어 있다. 이러한 종래의 방법은 피부색을 이용하므로 조명에 민감한 문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는, 얼굴 검출의 정확도를 향상시킬 수 있는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 얼굴 검출의 정확도를 향상시킬 수 있는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법을 제공하는 데 있다.
상기 과제를 이루기 위해, 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 본 발명에 의한 영상의 얼굴 검출 장치는, 흑백 영상을 서브 윈도우들로 분할하는 영상 분할부와, 상기 분류기들중 일부인 상위 분류기들을 이용하여, 상기 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 상기 얼굴 영상으로서 검출된 상기 서브 윈도우를 저장하는 서브 윈도우 검출부 및 상기 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 상기 분류기들중 일부인 하위 분류기들을 이용하여, 상기 그룹에 포함된 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 상기 검증된 결과에 따라 상기 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 출력하는 후 처리부로 구성되고, 상기 윈도우 개수는 상기 그룹에 포함된 서브 윈도우의 개수에 해당하는 것이 바람직하다.
상기 다른 과제를 이루기 위해, 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 본 발명에 의한 영상의 얼굴 검출 방법은, 흑백 영상을 서브 윈도우들로 분할하는 단계와, 상기 분류기들중 일부인 상위 분류기들을 이용하여, 상기 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 상기 얼굴 영상으로서 검출된 상기 서브 윈도우를 저장하는 단계 및 상기 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 상기 분류기들중 일부인 하위 분류기들을 이용하여, 상기 그룹에 포함된 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 상기 검증된 결과에 따라 상기 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 결정하는 단계로 이루어지고, 상기 윈도우 개수는 상기 그룹에 포함된 서브 윈도우의 개수에 해당하는 것이 바람직하다.
이하, 본 발명에 의한 부스트 알고리즘(boost algorithm)을 이용한 영상의 얼굴 검출 장치의 구성 및 동작과 그 장치에서 수행되는 본 발명에 의한 얼굴 검출 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치의 실시예의 블럭도로서, 영상 적분부(10), 영상 분할부(12), 서브 윈도우 검출부(14), 후 처리부(16) 및 얼굴 저장부(18)로 구성된다.
도 2는 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법의 실시예를 설명하기 위한 플로우차트로서, 영상을 전처리하는 단계(제30 및 제32 단계들), 얼굴 영상인 서브 윈도우를 검출하고 검증하는 단계(제34 및 제36 단계들) 및 얼굴 영상에 대한 정보를 저장하는 단계(제38 단계)로 이루어진다.
도 1 및 도 2에 도시된 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법은 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출한다. 이하, 얼굴이란 영상에서 검출하고자 하는 의미있는 대상을 의미하며 예를 들면 사람의 얼굴 그 자체를 의미할 수도 있고, 사람의 얼굴과는 달리 비대칭인 의미있는 대상일 수도 있다. 여기서, 부스트 알고리즘에 대해서는 "Experiments with a New Boosting Algorithm," Machine Learning:Proceedings of the Thirteenth International Conference, 1996에 개시되어 있고, 일종의 부스트 알고리즘인 아다 부스트 알고리즘은 "피부색을 이용한 AdaBoost 얼굴 검출"이라는 제목으로 출원된 대한민국 특허 출원 번호 2004-0061417에 개시되어 있다.
도 1에 도시된 영상 적분부(10)는 입력단자 IN1을 통해 흑백 영상을 입력하고, 입력한 흑백 영상의 적분 영상(integral image)을 생성하며, 생성된 적분 영상을 영상 분할부(12)로 출력한다(제30 단계). 예를 들어, 컬러 영상에 포함된 얼굴을 검출하고자 할 경우, 컬러 영상은 흑백 영상으로 변환된 후, 도 1에 도시된 영상 적분부(10)로 입력된다.
이하, 적분 영상에 대해 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 3은 적분 영상을 설명하기 위한 예시적인 도면으로서, 네 개의 영역들(A, B, C 및 D)과 네 개의 점들(a, b, c 및 d)로 이루어진다.
도 3에 도시된 점(a)의 적분 영상이란, 점(a)의 왼쪽 윗 부분에 존재하는 화소값들의 합을 의미한다. 예컨대, 점(a)의 적분 영상이란, 영역(A)에 포함되는 화 소들의 화소값들의 합을 의미한다. 여기서, 화소값이란, 화소의 휘도 레벨이 될 수 있다. 또한, 점(a)의 적분 제곱 영상이란, 점(a)의 왼쪽 윗 부분에 존재하는 화소값들의 제곱들의 합을 의미한다. 즉, 점(a)의 적분 제곱 영상이란, 영역(A)에 포함되는 화소들의 화소값들의 제곱들의 합을 의미한다. 이와 같은 적분 영상이란 개념을 도입할 경우, 영상의 임의의 영역에 대한 화소값들의 합을 구하기 편리하다. 즉, 적분 영상을 이용할 경우, 전술한 분류기의 동작을 빨리 수행할 수 있다. 예를 들어, 영역(D) 내부에 존재하는 화소값들의 합은 다음 수학식 1과 같이 구해질 수 있다.
Figure 112004058080098-pat00001
여기서, S(D)란 영역(D) 내부에 존재하는 화소값들의 합을 의미하고, ii(d)는 점(d)의 적분 영상을 의미하고, ii(b)는 점(b)의 적분 영상을 의미하고, ii(c)는 점(c)의 적분 영상을 의미하고, ii(a)는 점(a)의 적분 영상을 각각 의미한다.
또한, 영역(D) 내부에 포함되는 화소값들의 제곱들의 합은 다음 수학식 2와 같이 구해질 수 있다.
Figure 112004058080098-pat00002
여기서, sqsum(D)는 영역(D) 내부에 포함되는 화소값들의 제곱들의 합을 나타내고, is(d)는 점(d)의 적분 제곱 영상을 의미하고, is(b)는 점(b)의 적분 제곱 영상을 의미하고, is(c)는 점(c)의 적분 제곱 영상을 의미하고, is(a)는 점(a)의 적분 제곱 영상을 각각 의미한다.
제30 단계후에, 영상 분할부(12)는 영상 적분부(10)로부터 입력한 적분 영상을 서브 윈도우들로 분할하고, 분할된 서브 윈도우들을 서브 윈도우 검출부(14)로 출력한다(제32 단계).
본 발명의 다른 실시예에 의하면, 도 1에 도시된 영상의 얼굴 검출 장치는 영상 적분부(10)를 마련하지 않을 수 있다. 이 경우, 도 2에 도시된 영상의 얼굴 검출 방법은 제30 단계를 마련하지 않는다. 이 경우, 영상 분할부(12)는 입력단자 IN1을 통해 입력한 흑백 영상을 서브 윈도우들로 분할하고, 분할된 서브 윈도우들을 서브 윈도우 검출부(14)로 출력한다(제32 단계).
여기서, 영상 분할부(12)에서 적분 또는 흑백 영상을 분할하는 서브 윈도우의 크기는 미리 결정될 수 있으며 일정한 비율로 증가될 수도 있다. 즉, 서브 윈도우는 최초에 소정 크기 예를 들면 20×20 픽셀의 크기로 설정되고, 설정된 크기를 갖는 서브 윈도우에 의해 전체 영상을 분할한다. 그 후, 서브 윈도우의 크기를 예를 들면 1.2배 증가시키고, 증가된 크기를 갖는 서브 윈도우에 의해 전체 영상을 다시 분할한다. 이와 같은 방식으로 서브 윈도우의 크기가 전체 영상의 크기와 동일하게 될 때까지, 서브 윈도우를 증가시키면서 영상을 분할할 수 있다. 영상 분할부(12)에서 분할되는 서브 윈도우들은 서로 중첩될 수도 있다.
도 4는 영상 분할부(12)의 이해를 돕기 위한 서브 윈도우들의 예시적인 도면으로서, 영상(40)과 서브 윈도우들(42)을 나타낸다.
예를 들어, 도 4에 도시된 바와 같이, 영상 분할부(12)는 흑백 영상(40)을 서브 윈도우들(42)로 분할할 수 있다.
제32 단계후에, 서브 윈도우 검출부(14)는 분류기들중 일부인 상위 분류기들을 이용하여, 영상 분할부(12)에서 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 얼굴 영상으로서 검출된 서브 윈도우를 저장한다(제34 단계).
도 5는 도 1에 도시된 서브 윈도우 검출부(14)의 본 발명에 의한 실시예(14A)의 블럭도로서, 제1 윈도우 선택부(50), 분산 계산부(52), 분산 비교부(54), 제1 피쳐(feature) 추출부(56), 제1, 제2, ... 제n1, ... 및 제n2 분류기들(58, 60, ..., 62, ... 및 64) 및 윈도우 저장부(66)로 구성된다. 여기서, n2는 분류기들의 전체 개수(N)보다 적고, n1은 상위 분류기들의 개수(n2)보다 적다.
도 6은 도 2에 도시된 제34 단계에 대한 본 발명에 의한 실시예(34A)를 설명하기 위한 플로우차트로서, 분할된 서브 윈도우들 각각이 얼굴 영상인가를 검사하는 단계(제80 ~ 제92 단계들)로 이루어진다.
도 5에 도시된 제1 윈도우 선택부(50)는 입력단자 IN2를 통해 영상 분할부(12)로부터 입력한 분할된 서브 윈도우들중 하나를 선택하고, 선택한 서브 윈도우를 분산 계산부(52) 및 제1 피쳐 추출부(56)로도 출력한다(제80 단계).
제80 단계후에, 분산 계산부(52)는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우의 분산을 계산하고, 계산된 분산을 분산 비교부(54)로 출력한다(제82 단계). 본 발명에 의하면, 분산 계산부(52)는 다음 수학식 3과 같이 분산을 계산할 수 있다.
Figure 112004058080098-pat00003
여기서, V는 분산을 나타내고, A는 제1 윈도우 선택부(50)에서 선택되어 분산 계산부(52)로 입력된 서브 윈도우의 면적을 나타내고, sqsum은 제1 윈도우 선택부(50)에서 선택되어 분산 계산부(52)로 입력된 서브 윈도우에 포함된 화소값들의 제곱들의 합으로서 전술한 수학식 2와 같이 표현되고, M은 제1 윈도우 선택부(50)에서 선택된 서브 윈도우의 평균으로서 다음 수학식 4와 같다.
Figure 112004058080098-pat00004
여기서, S는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우에 포함된 화소값들의 합으로서 전술한 수학식 1을 이용하여 구해질 수 있다.
제82 단계후에, 분산 비교부(54)는 분산 계산부(52)에서 계산된 분산과 소정값을 비교하고, 비교된 결과를 제1 피쳐 추출부(56)로 출력한다(제84 단계). 예컨대, 분산 비교부(54)는 분산이 소정값보다 큰가를 판단한다. 본 발명에 의하면, 소정값은 '400'이 될 수 있다. 영상에서 배경의 대부분은 단순한 형태로 이루어져 있으며, 사람의 정면 얼굴의 분산은 모두 '400' 보다 크다. 이와 같이, 도 5에 도시된 서브 윈도우 검출부(14A)는 분산 계산부(52) 및 분산 비교부(54)를 마련하여, 서브 윈도우의 분산을 이용하여 얼굴 영상이 아닌 서브 윈도우를 판별하므로, 얼굴 영상인 서브 윈도우가 아닌 서브 윈도우를 배척하는 시간을 단축시킬 수 있다. 즉, 제82 및 제84 단계가 마련되므로써, 얼굴 영상이 아닌 서브 윈도우에 대해서는 제86 ~ 제86 단계들이 불필요하게 수행되지 않을 수 있다.
제1 피쳐 추출부(56)는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우의 피쳐를 분산 비교부(54)에서 비교된 결과를 통해 분산이 소정값보다 큰 것으로 인식되면 추출하고, 추출된 피쳐를 제1 ~ 제n2 분류기들(58 ~ 64)로 출력하는 한편 출력단자 OUT2를 통해 후 처리부(16)로도 출력한다(제86 단계). 그러나, 제1 피쳐 추출부(56)는 분산 비교부(54)에서 비교된 결과를 통해, 분산이 소정값 이하인 것으로 인식되면 피쳐를 추출하지 않는다. 왜냐하면, 분산이 소정값 이하이면 얼굴이 아닐 가능성이 많기 때문이다.
이 때, 제1 윈도우 선택부(50)는 분산 비교부(54)에서 비교된 결과를 통해, 분산이 소정값 이하인 것으로 인식되면, 영상 분할부(12)에서 분할된 서브 윈도우들중 제1 윈도우 선택부(50)에서 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제92 단계). 만일, 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는 것으로 판단되면, 제1 윈도우 선택부(50)는 선택되지 않은 다른 서브 윈도우를 선택한다(제80 단계).
본 발명의 다른 실시예에 의하면, 도 5에 도시된 서브 윈도우 검출부(14A)는 분산 계산부(52)와 분산 비교부(54)를 마련하지 않을 수도 있다. 이 경우, 도 6에 도시된 제34A 단계는 제82 및 제84 단계들을 마련하지 않는다. 이 때, 제1 피쳐 추출부(56)는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우의 피쳐를 추출하고, 추출된 피쳐를 제1 ~ 제n2 분류기들(58 ~ 64)로 출력하는 한편 출력단자 OUT2를 통해 후 처리부(16)로도 출력한다(제86 단계).
제86 단계후에, 상위 분류기들인 제1 ~ 제n2 분류기들(58, 60, ..., 62, ... 및 64) 각각은 제1 윈도우 선택부(50)에서 선택된 서브 윈도우가 얼굴 영상인가를 제1 피쳐 추출부(56)에서 추출된 피쳐를 이용하여 판단한다(제88 단계). 즉, 제x(1≤x≤n2) 분류기(58, 60, ..., 62, ... 또는 64)는 선택된 서브 윈도우가 얼굴 영상인가를 제1 피쳐 추출부(56)에서 추출된 피쳐를 이용하여 검사한다. 예를 들면, 제1 분류기(58)는 제1 피쳐 추출부(56)에서 추출된 피쳐를 입력하고, 선택된 서브 윈도우가 얼굴 영상인가를 입력한 피쳐를 이용하여 검사하고, 검사된 결과를 제2 분류기(60)로 출력한다. 이 때, 제x'(2≤x≤n2) 분류기(60 ~ 64)는 제x'-1 분류기에서 서브 윈도우가 얼굴 영상인 것으로 분류될 때만, 자신의 동작을 수행한다. 예를 들어, 제2 분류기(60)는 제1 분류기(58)에서 서브 윈도우가 얼굴 영상인 것으로 판단될 때만, 자신의 동작을 수행한다. 따라서, 제1 ~ 제n2 분류기들(58 ~64) 모두에서 서브 윈도우가 얼굴 영상인 것으로 인식될 경우에만 즉, 제n2 분류기(64)에서 서브 윈도우가 얼굴 영상인 것으로 인식될 때, 제88 단계에서 서브 윈도우가 얼굴 영상인 것으로 판단된다.
도 5에 도시된 제1 ~ 제n2 분류기들(58, 60, ..., 62, ... 및 64) 각각은 스트롱(strong) 분류기로서, 하나의 스트롱 분류기는 다수개의 위크 분류기(weak classifier)들로 구현된다. 이 때, 하나의 위크 분류기는 제1 피쳐 추출부(56)에서 추출된 피쳐를 이용하여 다음 수학식 5와 같이 '1' 또는 '-1'을 발생한다.
Figure 112004058080098-pat00005
여기서, ft는 제1 피쳐 추출부(56)에서 추출된 피쳐를 나타내고, θt는 임계값을 나타내고, pt는 패러티(parity)를 나타내고, θt와 pt는 미리 결정될 수 있고, 1≤t≤T이고, T는 하나의 스트롱 분류기에 포함되는 위크 분류기의 총 개수를 나타낸다. 이 때, 하나의 스트롱 분류기는 다음 수학식 6과 같이 '1' 또는 '0'의 값을 출력한다. 여기서, '1'은 서브 윈도우가 얼굴 영상이라는 것을 나타내고, '0'은 서브 윈도우가 얼굴 영상이 아니라는 것을 나타낸다.
Figure 112004058080098-pat00006
여기서, α는 계수(coefficient)를 나타낸다.
제1 윈도우 선택부(50)에서 선택된 서브 윈도우가 얼굴 영상인 것으로 제n2 분류기(64)에서 검사된 결과를 통해 인식되면, 윈도우 저장부(66)는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우를 입력하여 저장하고, 저장된 결과를 후 처리부(16)로 출력단자 OUT3을 통해 출력한다(제90 단계).
이 때, 제1 윈도우 선택부(50)는 제1 ~ 제n2 분류기들(58 ~ 64)에서 검사된 결과를 통해 선택된 서브 윈도우가 얼굴 영상이 아닌 것으로 인식되면, 영상 분할부(12)에서 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제92 단계). 즉, 제1 ~ 제n2 분류기들(58 ~ 64)중 하나에서 '0'의 값이 발생되면 즉, 서브 윈도우가 얼굴 영상이 아닌 것으로 인식되면, 제1 윈도우 선택부(50)는 제92 단계를 수행한다. 만일, 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는 것으로 판단되면, 제1 윈도우 선택부(50)는 선택되지 않은 다음 서브 윈도우를 선택한다(제80 단계).
또한, 서브 윈도우의 저장을 완료하였음을 윈도우 저장부(66)가 알릴 때, 즉 제90 단계후에, 제1 윈도우 선택부(50)는 영상 분할부(12)에서 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제92 단계). 만일, 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는 것으로 판단되면, 제1 윈도우 선택부(50)는 선택되지 않은 다른 서브 윈도우를 선택한다(제80 단계).
본 발명의 일 실시예에 의하면, 전술한 n2는 다음 수학식 7과 같은 조건을 만족하도록 결정될 수 있다.
Figure 112004058080098-pat00007
여기서, Dd는 서브 윈도우의 목표 검출율을 나타내고, di는 제1 ~ 제n2 분류기들(58 ~ 64)중 i(1≤i≤n2)번째 분류기의 검출율을 나타낸다.
본 발명의 다른 실시예에 의하면, n2는 다음 수학식 8과 같은 조건을 만족하도록 결정될 수도 있다.
Figure 112004058080098-pat00008
여기서, Fd는 서브 윈도우의 목표 오검출율을 나타내고, R은 오검출의 목표 제거 비율을 나타내고, fi는 상위 분류기인 제1 ~ 제n2 분류기들(58 ~ 64)중 i번째 분류기의 오검출율을 나타낸다.
본 발명의 또 다른 실시예에 의하면, n2는 전술한 수학식들 7 및 8과 같은 조건들을 모두 만족하도록 결정될 수 있다.
한편, 후 처리부(16)는 윈도우 개수 및 분류기들중 일부인 하위 분류기들을 이용하여, 그룹에 포함된 서브 윈도우들 각각이 얼굴 영상인가의 여부를 검증하고, 검증된 결과에 따라 서브 윈도우들을 통합하며, 통합된 결과를 흑백 영상에 포함된 얼굴 영상으로서 출력한다(제36 단계). 여기서, 후 처리부(16)는 서브 윈도우 검출 부(14)에서 검출되어 저장된 서브 윈도우들에 의해 형성된 그룹별로 제36 단계를 수행한다. 이 때, 윈도우 개수란, 각 그룹에 포함된 서브 윈도우의 개수를 의미한다.
도 7은 도 1에 도시된 후 처리부(16)의 본 발명에 의한 실시예(16A)의 블럭도로서, 그룹핑부(110), 제어부(112), 개수 검사부(114), 제1, 제2 및 제3 개수 비교부들(116, 118 및 124), 얼굴 검증부(120), 개수 가산부(122) 및 통합부(126)로 구성된다.
도 8은 도 2에 도시된 제36 단계에 대한 본 발명에 의한 실시예(36A)를 설명하기 위한 플로우차트로서, 서브 윈도우들을 그룹핑하는 단계(제142 단계) 및 각 그룹별로 서브 윈도우들을 검증하여 통합하는 단계(제144 ~ 제160 단계들)로 이루어진다.
그룹핑부(110)는 서브 윈도우 검출부(14)의 예를 들면 윈도우 저장부(66)에 저장된 서브 윈도우들을 입력단자 IN3을 통해 입력하여 그룹핑한다(제142 단계). 이 때, 제어부(112)는 최초에 그룹을 나타내는 인덱스(k)를 '1'로 초기화하고, 초기화된 결과를 제어 신호로서 그룹핑부(110)로 출력한다(제142 단계). 이 때, 그룹핑부(110)는 제어 신호에 응답하여 여러 개의 그룹들중에서 k(=1)번째 그룹을 선택한다. 이와 같이, 그룹핑부(110)는 그룹핑된 그룹들중 하나를 제어부(112)에서 발생된 제어 신호에 응답하여 선택하고, 선택된 그룹을 개수 검사부(114), 얼굴 검증부(120) 및 통합부(126)로 각각 출력한다
제142 단계후에, 개수 검사부(114)는 그룹핑부(110)에서 선택된 그룹의 윈도 우 개수를 검사하고, 검사된 윈도우 개수를 제1 개수 비교부(116)로 출력한다(제144 단계). 윈도우 개수는 그룹마다 달라질 수 있다.
도 9는 그룹핑부(110)와 개수 검사부(114)의 이해를 돕기 위한 예시적인 도면으로서, 두 개의 그룹들(170 및 172)로 구성된다.
영상 분할부(12)에서 도 9에 도시된 영상이 다수개의 서브 윈도우들로 분할된 경우, 서브 윈도우 검출부(14)에서 제1 및 제2 그룹들(170 및 172)의 서브 윈도우들이 얼굴 영상인 것으로 저장되었다고 가정한다. 이 때, 그룹핑부(110)는 도 9에 도시된 바와 같은 서브 윈도우들을 윈도우 저장부(66)로부터 입력하여 제1 및 제2 그룹들(170 및 172)로 그룹핑한다. 이 때, 개수 검사부(114)는 제1 및 제2 그룹들(170 및 172) 각각에 포함된 서브 윈도우의 개수를 구한다.
한편, 제144 단계후에, 제1 개수 비교부(116)는 개수 검사부(114)로부터 입력한 k번째 그룹의 윈도우 개수와 제1 임계값을 비교하고, 비교된 결과를 제2 개수 비교부(118) 및 제어부(112)로 출력한다(제146 단계). 즉, 제1 개수 비교부(116)는 k번째 그룹의 윈도우 개수가 제1 임계값 이상인가를 판단한다.
이 때, 제어부(112)는 제1 개수 비교부(116)에서 비교된 결과를 통해 k번째 그룹의 윈도우 개수가 제1 임계값보다 적은 것으로 인식되면, k가 K인가를 판단한다(제158 단계). 여기서, K는 그룹핑부(110)에서 그룹핑된 그룹들의 총 개수이다. 즉, 제어부(112)는 제1 개수 비교부(116)에서 비교된 결과를 통해 k번째 그룹의 윈도우 개수가 제1 임계값보다 적은 것으로 인식되면, 모든 그룹들이 검증되었는가를 판단한다. 만일, k가 K가 아닌 것으로 판단되면, 제어부(112)는 k를 1만큼 증가시 키고, 증가된 k에 상응하여 제어 신호를 발생하여 그룹핑부(110)로 출력한다(제160 단계). 따라서, 그룹핑부(110)는 1만큼 증가된 k(=2)번째 그룹을 선택하여 개수 검사부(114), 얼굴 검증부(120) 및 통합부(126)로 출력한다.
이와 같은 동작에 의해 모든 그룹들에 대해 도 8에 도시된 방법이 수행될 수 있다.
제2 개수 비교부(118)는 제1 개수 비교부(116)에서 비교된 결과에 응답하여, k번째 그룹의 윈도우 개수와 제2 임계값을 비교하며, 비교된 결과를 얼굴 검증부(120) 및 통합부(112)로 출력한다(제148 단계). 여기서, 제2 임계값은 제1 임계값보다 크다. 만일, 제1 개수 비교부(116)로부터 입력한 비교된 결과를 통해, k 번째 그룹의 윈도우 개수가 제1 임계값 이상인 것으로 인식되면, 제2 개수 비교부(118)는 k번째 그룹의 윈도우 개수가 제2 임계값 이상인가를 판단한다.
본 발명에 의하면, 제1 및 제2 개수 비교부들(116 및 118)에서 각각 사용되는 제1 및 제2 임계값들은 서브 윈도우의 크기에 비례하고, 평균 검출 개수보다 적게 결정될 수 있다. 여기서, 서브 윈도우의 크기란, k번째 그룹에 포함된 서브 윈도우들의 크기들의 평균을 의미한다. 이 때, 평균 검출 개수란 다음 수학식 9와 같이 표현될 수 있다.
Figure 112004058080098-pat00009
여기서, DA는 평균 검출 개수를 나타내고, mk는 K개의 그룹들중 k번째 그룹의 윈도우 개수를 나타낸다.
도 10은 서브 윈도우의 크기와 검출 개수간의 관계를 나타내는 본 발명에 의한 그래프로서, 실험적으로 구해질 수 있다. 여기서, 횡축은 서브 윈도우의 크기로서 화소개라는 단위를 갖고, 종축은 검출된 개수를 나타내며, 실선은 평균 검출 개수를 나타내고, 점선은 회귀(regression)곡선을 나타낸다. 일반적으로 서브 윈도우의 크기가 클 수록 주변에 검출되는 서브 윈도우의 개수가 도 10에 도시된 바와 같이 증가한다. 만일, 제1 및 제2 임계값들을 고정시킬 경우, 서브 윈도우가 크기가 클 때 얼굴 영상인 것으로 검출되는 서브 윈도우의 개수가 증가하여 오 검출율이 증가한다. 그러나, 전술한 바와 같이 서브 윈도우의 크기 및 평균 검출 개수를 고려하여 제1 및 제2 임계값들을 가변시킬 경우, 원하는 목표 검출율을 유지하면서도 오 검출율을 낮출 수 있다.
한편, 얼굴 검증부(120)는 제2 개수 비교부(118)에서 비교된 결과를 통해, k번째 그룹의 윈도우 개수가 제2 임계값 보다 적은 것으로 인식되면, 하위 분류기들을 이용하여, 선택된 k번째 그룹에 포함된 서브 윈도우들 각각이 얼굴 영상인가의 여부를 검증하고, 검증된 결과를 개수 가산부(122)로 출력한다(제150 단계).
도 11은 도 7에 도시된 얼굴 검증부(120)의 본 발명에 의한 실시예(120A)의 블럭도로서, 제2 윈도우 선택부(182), 제2 피쳐 추출부(184), 제n'1, ... 제n'2, ... 및 제N 분류기들(186, ..., 188, ... 및 190) 및 카운터(192)로 구성된다. 여 기서, 제n'1 ~ 제n'2 분류기들(186 ~ 188)에 입력되는 피쳐들과 도 5에 도시된 제n 1 ~ 제n2 분류기들(62 ~ 64)에 입력되는 피쳐들은 다른 것을 제외하면, 제n'1 ~ 제n' 2 분류기들(186 ~ 188)은 제n1 ~ 제n2 분류기들(62 ~ 64)과 동일한 동작을 수행한다. 즉, 종래의 아다 부스트 얼굴 검출 방법은 도 5 및 도 6에 도시된 제1 ~ 제N 분류기들을 모두 사용하여, 얼굴 영상이라고 간주되는 서브 윈도우들을 검출한다.
도 12는 도 8에 도시된 제150 단계에 대한 본 발명에 의한 실시예(150A)를 설명하기 위한 플로우차트로서, k번째 그룹에 속하는 서브 윈도우들 각각이 얼굴 영상인가를 검증하는 단계(제212 ~ 제220 단계들)로 이루어진다.
제2 윈도우 선택부(182)는 입력단자 IN4를 통해 제2 개수 비교부(118)로부터 입력한 비교된 결과를 통해 k번째 그룹의 윈도우 개수가 제2 임계값 보다 적은 것으로 인식되면, 그룹핑부(110)에서 선택된 k번째 그룹에 포함된 서브 윈도우들중 하나를 선택하고, 선택된 서브 윈도우를 제2 피쳐 추출부(184)로 출력한다(제212 단계).
제212 단계후에, 제2 피쳐 추출부(184)는 도 5에 도시된 제1 피쳐 추출부(56)에서 추출된 피쳐를 수직 또는 수평으로 대칭 이동하며, 대칭 이동한 결과를 제2 윈도우 선택부(182)에서 선택된 서브 윈도우의 피쳐로서 제n'1 ~ 제N 분류기들(186 ~ 190)로 출력한다(제214 단계). 이를 위해, 그룹핑부(110)는 제1 피쳐 추출부(56)에서 추출된 피쳐를 입력단자 IN3을 통해 제1 피쳐 추출부(56)로부터 입력하고, 입력한 피쳐를 얼굴 검증부(120)로 출력한다. 이 때, 얼굴 검증부(120A)의 제2 피쳐 추출부(184)는 제1 피쳐 추출부(56)에서 추출된 피쳐를 입력단자 IN5를 통해 입력한다. 만일, 검출하고자 하는 대상이 되는 얼굴이 좌우 대칭일 경우, 제2 피쳐 추출부(184)는 피쳐를 수직으로 대칭 이동시킨다. 그러나, 검출하고자 하는 대상이 되는 얼굴이 상하 대칭일 경우, 제2 피쳐 추출부(184)는 피쳐를 수평으로 대칭 이동시킨다. 이와 같이, 검출하고자 하는 대상이 되는 얼굴이 상하 또는 좌우 대칭일 경우, 도 11에 도시된 n'1은 도 5에 도시된 n1에 해당하고, n'2 는 도 5에 도시된 n2에 해당한다.
도 13 (a) ~ (d)들은 제2 피쳐 추출부(184)의 이해를 돕기 위한 도면들로서, 도 13 (a) 및 (c)들은 제1 피쳐 추출부(56)에서 추출된 피쳐(230 또는 234)를 나타내고, 도 13 (b) 및 (d)들은 제2 피쳐 추출부(184)에서 추출된 피쳐(232 또는 236)를 나타낸다.
예컨대, 제2 피쳐 추출부(184)는 도 13 (a)에 도시된 피쳐(230)를 입력단자 IN5를 통해 그룹핑부(110)를 통해 제1 피쳐 추출부(56)로부터 입력하고, 입력한 피쳐를 도 13 (b)에 도시된 바와 같이 플립(flip)시켜, 플립된 피쳐(232)를 생성한다. 또는, 제2 피쳐 추출부(184)는 도 13 (c)에 도시된 피쳐(234)를 입력단자 IN5를 통해 그룹핑부(110)를 통해 제1 피쳐 추출부(56)로부터 입력하고, 입력한 피쳐를 도 13 (d)에 도시된 바와 같이 플립시켜, 플립된 피쳐(236)을 생성한다.
도 14 (a)~ (c)들은 도 13 (a) ~ (d)들에 도시된 피쳐들(230, 232, 234 및 236)이 가질 수 있는 예시적인 모습들을 나타낸다. 예를 들어, 피쳐는 도 14 (a)에 도시된 바와 같이 수직 방향으로 배열된 두 개의 사각형(retangle)들로 이루어질 수도 있고, 도 14 (b)에 도시된 바와 같이 수평 방향으로 배열된 세 개의 사각형들로 이루어질 수도 있고, 도 14 (c)에 도시된 바와 같이 네 개의 사각형들로 이루어질 수도 있다.
여기서, 본 발명에 의하면, n'1은 다음 수학식 10과 같은 조건을 만족하도록 결정될 수 있다.
Figure 112004058080098-pat00010
여기서, fj는 하위 분류기들인 제n'1 ~ 제N 분류기들(186 ~ 190)중 j(n'1 ≤j≤N)번째 분류기의 오검출율을 나타낸다.
본 발명의 다른 실시예에 의하면, 제1 피쳐 추출부(56)에서 추출된 피쳐를 대칭 이동시켜 피쳐를 구하지 않고, 제2 피쳐 추출부(184)는 제2 윈도우 선택부(182)에서 선택된 서브 윈도우의 피쳐를 추출하고, 추출된 피쳐를 제n'1 ~ 제N 분류기들(186 ~ 190)로 출력할 수도 있다(제214 단계). 이 경우, n'1은 n2+1이 된다.
한편, 제214 단계후에, 하위 분류기들인 제n'1 ~ 제N 분류기들(186 ~ 190)에서, 제2 윈도우 선택부(18)에서 선택된 서브 윈도우가 얼굴 영상인가를 제2 피쳐 추출부(184)에서 추출된 피쳐를 이용하여 판단한다(제216 단계). 여기서, 제y(n'1≤ y≤N) 분류기(186, ..., 188, ... 또는 190)는 제2 윈도우 선택부(182)에서 선택된 서브 윈도우가 얼굴 영상인가를 제2 피쳐 추출부(184)에서 추출된 피쳐를 이용하여 검사한다. 예컨대, 제n'1 분류기(186)는 제2 피쳐 추출부(184)에서 추출된 피쳐를 입력하고, 제2 윈도우 선택부(182)에서 선택된 서브 윈도우가 얼굴 영상인가를 입력한 피쳐를 이용하여 검사하고, 검사된 결과를 제n'1+1 분류기로 출력한다. 이 때, 제y'(n'1+1≤y'≤N) 분류기는 제y'-1 분류기에서 서브 윈도우가 얼굴 영상인 것으로 분류될 때, 자신의 동작을 수행한다. 예를 들어, 제n'1+1 분류기는 제n'1 분류기(186)에서 서브 윈도우가 얼굴 영상인 것으로 판단될 때 인에이블되어 자신의 동작을 수행한다. 따라서, 제n'1 ~ 제N 분류기들(186 ~ 190) 모두에서 서브 윈도우가 얼굴 영상인 것으로 인식될 경우에 즉, 제N 분류기(190)에서 서브 윈도우가 얼굴 영상인 것으로 인식될 때, 제216 단계에서 서브 윈도우가 얼굴 영상인 것으로 판단된다.
이 때, 도 11에 도시된 제n'1 ~ 제N 분류기들(186 ~ 190) 각각은 도 5에 도시된 제1 ~ 제n2 분류기들(58 ~ 64) 각각과 동일한 원리로 동작한다. 즉, 제n'1 ~ 제N 분류기들(186 ~ 190) 각각은 전술한 수학식들 5 및 6을 이용하여 해당하는 값을 생성한다. 이 때, 전술한 수학식들 5 및 6에서 x를 y로 바꾸어져야 한다.
한편, 제2 윈도우 선택부(182)에서 선택된 서브 윈도우가 얼굴 영상인 것으로 제N 분류기(190)에서 검사된 결과를 통해 인식되면, 카운터(192)는 카운팅 동작을 수행한다(제218 단계). 예를 들어, 서브 윈도우가 얼굴 영상인 것으로 인식되면, 카운터(192)는 상향 카운팅 동작 예를 들면 이전에 카운팅된 값을 1만큼 증가시킬 수 있다.
이 때, 제2 윈도우 선택부(182)에서 선택된 윈도우가 얼굴 영상이 아닌 것으로, 제n'1 ~ 제N 분류기들(186 ~ 190)중 하나에서 검사된 결과를 통해 인식되면, 제2 윈도우 선택부(182)는 k번째 그룹에 포함된 서브 윈도우들중 제2 윈도우 선택부(182)에서 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제220 단계). 또는, 카운터(192)에서 카운팅 동작의 수행이 완료되었다고 인식되면 즉, 제218 단계후에, 제2 윈도우 선택부(182)는 k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제220 단계).
만일, k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 서브 윈도우가 존재한다고 판단되면, 제2 윈도우 선택부(182)는 선택되지 않은 다음 윈도우를 선택한다(제212 단계). 그러나, k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 서브 윈도우가 존재하지 않는다고 판단되면, 제2 윈도우 선택부(182)의 제어하에, 카운터(192)는 k번째 그룹에 속하는 서브 윈도우들중에서 얼굴 영상인 것으로 검증된 서브 윈도우의 개수로서 개수 가산부(122)로 카운팅된 결과를 출력한다. 이 때, k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 서브 윈도우가 존재하지 않는다고 판단되면, 제2 윈도우 선택부(182)는 제N 분류기(190)로부터 입력한 검사된 결과에 통해 k번째 그룹에 속하는 서브 윈도우들중에서 얼굴 영상인 것으로 검증된 서브 윈도우들을 출력단자 OUT6을 통해 통합부(126)로 출력한다.
한편, 제150 단계후에, 개수 가산부(122)는 선택된 k번째 그룹에 포함된 서브 윈도우들중에서 얼굴 영상인 것으로 얼굴 검증부(120)에서 검증된 서브 윈도우의 개수 즉, 카운터(192)에서 최종적으로 카운팅된 결과와 윈도우 개수를 가산하고, 가산된 결과를 제3 개수 비교부(124)로 출력한다(제152 단계). 즉, 제152 단계에서, 개수 가산부(122)는 카운팅된 결과를 이용하여 윈도우 개수를 갱신한다.
제152 단계후에, 제3 개수 비교부(124)는 개수 가산부(122)에서 가산된 결과와 제2 임계값을 비교하고, 비교된 결과를 통합부(126) 및 제어부(112)로 출력한다(제154 단계). 즉, 제3 개수 비교부(124)는 개수 가산부(122)에서 가산된 결과가 제2 임계값 이상인가를 판단한다.
통합부(126)는 제2 개수 비교부(118)에서 비교된 결과를 통해 k번째 그룹의 윈도우 개수가 제2 임계값 이상인 것으로 인식되면, 그룹핑부(110)에서 선택된 k번째 그룹에 포함된 서브 윈도우들을 통합하고, 통합된 결과를 흑백 영상에 포함된 k번째 그룹의 얼굴 영상으로서 출력단자 OUT4를 통해 출력한다(제156 단계). 또는, 통합부(126)는 제3 개수 비교부(124)에서 비교된 결과를 통해 가산된 결과가 제2 임계값 이상인 것으로 인식되면, 얼굴 검증부(120)의 예를 들면 제2 윈도우 선택부(182)로부터 입력한 검증된 서브 윈도우들을 통합하고, 통합된 결과를 흑백 영상에 포함된 k번째 그룹의 얼굴 영상으로서 출력단자 OUT4를 통해 출력한다(제156 단계).
이 때, 제어부(112)는 제3 개수 비교부(124)에서 가산된 결과인 갱신된 윈도우 개수가 제2 임계값보다 적은 것으로 인식되면, k가 K인가를 판단한다(제158 단계). 즉, 제어부(112)는 제3 개수 비교부(124)에서 비교된 결과를 통해 갱신된 윈도우 개수가 제2 임계값보다 적은 것으로 인식되면, 모든 그룹들이 검증되었는가를 판단한다. 또한, 제어부(112)는 통합부(126)에서 서브 윈도우들의 통합이 완료되었을 때, k가 K인가를 판단할 수도 있다(제158 단계). 만일, k가 K가 아닌 것으로 판단되면, 제어부(112)는 k를 1만큼 증가시키고, 증가된 k에 상응하여 제어 신호를 발생하여 그룹핑부(110)로 출력한다(제160 단계). 따라서, 그룹핑부(110)는 1만큼 증가된 k번째 그룹을 선택하여 개수 검사부(114), 얼굴 검증부(120) 및 통합부(126)로 각각 출력한다.
도 15 (a) 및 (b)들은 도 1에 도시된 서브 윈도우 검출부(14) 및 후 처리부(16)에서 각각 출력되는 영상의 예시적인 도면들이다.
도 1에 도시된 서브 윈도우 검출부(14)는 서브 윈도우들을 예를 들면 도 15 (a)에 도시된 바와 같이 검출하여 후 처리부(16)로 출력한다. 즉, 서브 윈도우 검출부(14)는 얼굴 영상으로서 검출된 도 15 (a)에 도시된 바와 같은 서브 윈도우들을 저장한다. 이 때, 후 처리부(16)는 도 15 (a)에 도시된 서브 윈도우들의 세 그룹들 각각에 포함된 서브 윈도우들 각각이 얼굴 영상인가의 여부를 검증하고, 검증된 결과에 따라 서브 윈도우들을 통합하며, 예를 들면 도 15 (b)에 도시된 바와 같은 통합된 결과를 흑백 영상에 포함된 얼굴 영상으로서 출력한다. 도 15 (a)에 도시된 세 개의 그룹들중에서 두 개의 그룹들은 후 처리부(16)에서 얼굴 영상이 아닌 것으로 검증되었으며 그 결과, 도 15 (b)에 도시된 바와 같이 서브 윈도우들이 통합된 결과 즉, 하나의 얼굴 영상이 후 처리부(16)로부터 출력됨을 알 수 있다.
본 발명에 의하면, 도 1에 도시된 얼굴 검출 장치는 얼굴 저장부(18)를 더 마련할 수도 있다. 이 경우, 도 2에 도시된 얼굴 검출 방법은 제38 단계를 더 마련할 수도 있다. 제36 단계후에, 얼굴 저장부(18)는 후 처리부(16)로부터 입력한 얼굴 영상의 정보 즉, 얼굴 영상의 위치 및 크기중 적어도 하나를 저장하고, 저장된 결과를 출력단자 OUT1을 통해 출력한다(제38 단계). 여기서, 얼굴 영상의 정보는 얼굴을 인식하는 데 이용될 수 있다.
도 16은 본 발명의 성능을 파악하기 위한 실험 환경의 모습을 나타내는 도면으로서, ① ~ ⑮는 카메라로부터 화자의 위치를 나타낸다.
도 16에 도시된 바와 같이, 본 발명에 의한 얼굴 검출 장치 및 방법을 로봇에 적용되고, 로봇에 장착된 카메라의 촬영 방향을 실험실 정면과 양쪽 측면들(45° 및 270°)의 방향들로 설정하고, 카메라와 화자들간의 간격을 1, 2, 3, 4 및 5미터로 설정하고, 화자들에 대해 촬영한 이미지의 크기를 640×480으로 설정하고, 이미지의 개수를 화자 일 인당 15장씩 14명으로부터 총 210장으로 설정한다.
이 때, 전술한 미국 특허 공개 번호 US2002/0102024에 개시된 종래의 'Viola-Jones'에 의한 얼굴 검출 방법에서 제0 ~ 제24 분류기들이 사용되고, 본 발명에 의한 서브 윈도우 검출부(14A)에서 제0 ~ 제16 분류기들을 사용하고, 후 처리부(16A)의 얼굴 검증부(120A)에서 제10 ~ 제24 분류기들을 사용한다고 가정한다. 이 경우, 본 발명에 의한 얼굴 검출 장치 및 방법과 종래의 방법은 다음 표 1과 같 이 비교된다.
검출 방법 DR(%) FAR(%) PRC(%) F
Viola-Jones(제0~ 제24 분류기들) 95.2 41.4 69.7 0.805
Viola-Jones(제0~ 제16 분류기들) 98.1 77.1 56.0 0.801
본 발명 98.1 6.2 94.1 0.960
여기서, DR은 검출율(Detection Rate)로서 다음 수학식 11과 같이 표현되고, FAR은 오 알람 율(False Alarm Rate)로서 다음 수학식 12와 같이 표현되고, PRC는 정밀도(Precision)로서 다음 수학식 13과 같이 표현되고, F는 동일한 가중치(0~1)를 갖는 PRC와 DR의 조화 평균(harmonic mean)으로서 다음 수학식 14와 같이 표현된다.
Figure 112004058080098-pat00011
여기서, #1은 도 1에 도시된 검출 장치를 이용하여 검출에 성공한 얼굴의 개수를 나타내고, #2는 도 1에 도시된 검출 장치가 검출에 실패한 얼굴의 개수를 나타낸다.
Figure 112004058080098-pat00012
여기서, #3은 도 1에 도시된 검출 장치가 얼굴이라고 검출하였지만 실제로는 얼굴이 아닌 배경에 해당하는 것으로, 검출 장치가 얼굴로 오 검출한 결과를 나타내는 개수이다. #4는 실제 얼굴의 개수이며 도 1에 도시된 검출 장치에서 검출에 성공한 얼굴 개수(#1)와 검출에 실패한 얼굴 개수(#2)의 합을 나타내는 것으로서, 실제 영상 내에 존재하는 얼굴의 개수를 나타낸다.
Figure 112004058080098-pat00013
Figure 112004058080098-pat00014
한편, 본 발명에 의한 얼굴 검출 장치 및 방법의 경우 얼굴 영상이라고 간주되는 서브 윈도우들을 상위 분류기들만을 이용하여 검출하므로, 본 발명에서 얼굴 영상을 검출하는 시간이 종래의 얼굴 검출 방법보다 약간 감소하고, 얼굴과 배경이 모호한 영역에 대해서만 즉, 윈도우 개수가 제1 임계값 이상이고 제2 임계값 보다 적은 그룹에 대해서만 플립 피쳐를 이용하여 서브 윈도우를 검증하므로 검증 시간이 약간 증가한다. 그러나, 검증되는 그룹에 속하는 윈도우의 개수가 보통 50개 미만이므로, 본 발명에서 검출에 소요되는 시간의 감소분과 검증에 소요되는 시간의 증분량을 합하면, 본 발명에 의한 얼굴 검출 방법은 종래의 얼굴 검출 방법과 대략 비슷한 시간을 소요하면서 얼굴을 검출할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법은 상위 분류기들을 이용하여 얼굴 영상인 서브 윈도우를 검출하므로 검출율과 오검출율을 모두 증가시키며 얼굴 영상이라고 간주된 서브 윈도우들이 얼굴 영상인가를 하위 분류기들을 이용하여 검증하므로 오검출율을 감소시키기 때문에 전반적으로 오검출율을 감소시키면서도 검출율을 증가시킬 수 있고, 즉, 계산 속도가 빠른 '아다 부스트를 이용한 얼굴 검출 기술'의 검출율을 유지하면서 오검출을 줄일 수 있고, 얼굴 영상이라고 간주되는 서브 윈도우를 검출한 후 검출된 서브 윈도우들을 검증하기 때문에 얼굴 검출의 정확도를 향상시키고, 플립 피쳐를 이용하여 서브 윈도우를 검증하므로 얼굴 검출의 시간을 증가시키지 않고 두 가지 형태의 분류기들을 사용하는 것과 동일한 효과를 제공하여 얼굴 검출의 정확도를 향상시키고, 서브 윈도우의 크기에 따라 제1 및 제2 임계값들을 가변시키므로 즉, 큰 서브 윈도우에 대해서는 제1 및 제2 임계값을 증가시키므로 오검출을 상당히 줄일 수 있는 잇점을 갖는다.

Claims (23)

  1. 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 영상의 얼굴 검출 장치에 있어서,
    흑백 영상을 서브 윈도우들로 분할하는 영상 분할부(12);
    상기 분류기들중 일부인 상위 분류기들을 이용하여, 상기 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 상기 얼굴 영상으로서 검출된 상기 서브 윈도우를 저장하는 서브 윈도우 검출부(14); 및
    상기 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 상기 분류기들중 일부인 하위 분류기들을 이용하여, 상기 그룹에 포함된 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 상기 검증된 결과에 따라 상기 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 출력하는 후 처리부(16)를 구비하고,
    상기 윈도우 개수는 상기 그룹에 포함된 서브 윈도우의 개수에 해당하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  2. 제1 항에 있어서, 상기 얼굴 영상 검출 장치는,
    상기 흑백 영상의 적분 영상을 생성하고, 생성된 적분 영상을 상기 영상 분할부로 출력하는 영상 적분부(10)를 더 구비하고,
    상기 영상 분할부(12)는 상기 적분 영상을 상기 서브 윈도우들로 분할하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  3. 제1 항에 있어서, 상기 영상의 얼굴 검출 장치는
    상기 후 처리부(16)로부터 입력한 상기 얼굴 영상의 위치 및 크기중 적어도 하나를 저장하는 얼굴 저장부(18)를 더 구비하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  4. 제1 항에 있어서, 상기 서브 윈도우 검출부(14)는
    상기 분할된 서브 윈도우들중 하나를 선택하는 제1 윈도우 선택부(50);
    상기 선택된 서브 윈도우의 피쳐를 추출하는 제1 피쳐 추출부(56);
    상기 상위 분류기들인 제1 ~ 제n2 (여기서, n2는 상기 분류기들의 전체 개수보다 적다.) 분류기들(58,60...62,64); 및
    상기 제n2 분류기(64)에서 검사된 결과에 응답하여 상기 선택된 서브 윈도우를 저장하는 윈도우 저장부(66)를 구비하고,
    제x(1≤x≤n2) 분류기는 상기 제1 피쳐 추출부(56)에서 추출된 피쳐를 이용하여 상기 선택된 서브 윈도우가 상기 얼굴 영상인가를 검사하고,
    상기 제1 윈도우 선택부(50)는 상기 제1 ~ 제n2 분류기들(58,60...62,64)에서 검사된 결과에 응답하여 다음 서브 윈도우를 선택하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  5. 제4 항에 있어서, 상기 서브 윈도우 검출부(14)는
    상기 선택된 서브 윈도우의 분산을 계산하는 분산 계산부(52); 및
    상기 계산된 분산과 소정값을 비교하는 분산 비교부(54)를 더 구비하고,
    상기 제1 피쳐 추출부(56)는 상기 분산 비교부(54)에서 비교된 결과에 응답하여 상기 선택된 서브 윈도우의 피쳐를 추출하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  6. 제5 항에 있어서, 상기 소정값은 400인 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  7. 제5 항에 있어서, 상기 분산 계산부(52)는 아래와 같이 상기 분산을 계산하는 것을 특징으로 하는 영상의 얼굴 검출 장치.
    Figure 112006062378129-pat00015
    (여기서, V는 상기 분산을 나타내고, A는 상기 서브 윈도우의 면적을 나타내고, sqsum은 상기 서브 윈도우에 포함된 화소값들의 제곱들의 합이고, M은 상기 서브 윈도우의 평균으로서 S/A이고, S는 상기 서브 윈도우에 포함된 화소값들의 합을 나타낸다.)
  8. 제4 항에 있어서, 상기 n2는 아래와 같은 조건에 따라 결정되는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
    Figure 112004058080098-pat00016
    (여기서, Dd는 상기 서브 윈도우의 목표 검출율을 나타내고, di는 상기 분류 기들중 i번째 분류기의 검출율을 나타낸다.)
  9. 제4 항 또는 제8 항에 있어서, 상기 n2는 아래와 같은 조건에 따라 결정되는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
    Figure 112004058080098-pat00017
    (여기서, Fd는 상기 서브 윈도우의 목표 오검출율을 나타내고, R은 오검출의 목표 제거 비율을 나타내고, fi는 상기 분류기들중 i(1≤i≤n2)번째 분류기의 오검출율을 나타낸다.)
  10. 제1 항 또는 제4 항에 있어서, 상기 후 처리부(16)는
    상기 저장된 서브 윈도우들을 그룹핑하고, 그룹핑된 그룹들을 제어 신호에 응답하여 하나씩 선택하여 출력하는 그룹핑부(110);
    상기 선택된 그룹의 윈도우 개수를 검사하는 개수 검사부(114);
    상기 윈도우 개수와 제1 임계값을 비교하는 제1 개수 비교부(116);
    상기 제1 개수 비교부에서 비교된 결과에 응답하여, 윈도우 개수와 제2 임계값을 비교하는 제2 개수 비교부(118);
    상기 제2 개수 비교부에서 비교된 결과에 응답하여, 상기 하위 분류기들을 이용하여, 상기 선택된 그룹에 포함된 상기 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 검증된 결과를 출력하는 얼굴 검증부(120);
    상기 선택된 그룹에 포함된 서브 윈도우들중에서 상기 얼굴 영상인 것으로 상기 얼굴 검증부에서 검증된 서브 윈도우의 개수와 상기 윈도우 개수를 가산하는 개수 가산부(122);
    상기 가산된 결과와 상기 제2 임계값을 비교하는 제3 개수 비교부(124);
    상기 제2 또는 상기 제3 개수 비교부에서 비교된 결과에 응답하여, 상기 선택된 그룹에 포함된 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 출력하는 통합부(126); 및
    상기 제어 신호를 발생하는 제어부(112)를 구비하고, 상기 제2 임계값을 상기 제1 임계값보다 큰 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  11. 제10 항에 있어서, 상기 얼굴 검증부(120)는
    상기 제2 개수 비교부에서 비교된 결과에 응답하여, 상기 선택된 그룹에 포함된 서브 윈도우들중 하나를 선택하는 제2 윈도우 선택부(182);
    상기 제2 윈도우 선택부에서 선택된 서브 윈도우의 피쳐를 추출하는 제2 피쳐 추출부(184);
    상기 하위 분류기들인 제n'1 ~ 제N(여기서, N은 상기 분류기들의 전체 개수이다.) 분류기들(186,...190); 및
    상기 제N 분류기에서 검사된 결과에 응답하여 카운팅 동작을 수행하고, 카운팅된 결과를 상기 개수 가산부로 출력하는 카운터(192)를 구비하고,
    제y(n'1≤y≤N) 분류기는 상기 제2 윈도우 선택부(182)에서 선택된 서브 윈도우가 상기 얼굴 영상인가를 상기 제2 피쳐 추출부(184)에서 추출된 피쳐를 이용하여 검증하고,
    상기 제2 윈도우 선택부(182)는 상기 제n'1 ~ 제N 분류기들(186,...190)에서 검사된 결과에 응답하여 다음 서브 윈도우를 선택하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  12. 제10 항에 있어서, 상기 제1 및 상기 제2 임계값들은 상기 서브 윈도우의 크기에 비례하고, 평균 검출 개수보다 적게 결정되고, 상기 평균 검출 개수는 아래와 같은 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
    Figure 112006062378129-pat00018
    (여기서, DA는 상기 평균 검출 개수를 나타내고, K는 상기 그룹의 총 개수를 나타내고, mk는 상기 그룹들중 k번째 그룹의 상기 윈도우 개수를 나타낸다.)
  13. 제11 항에 있어서, 상기 n'1은 아래와 같은 조건에 따라 결정되는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
    Figure 112004058080098-pat00019
    (여기서, R은 오검출의 목표 제거 비율을 나타내고, fj는 상기 하위 분류기들중 j(n'1≤j≤N)번째 분류기의 오검출율을 나타낸다.)
  14. 제11 항에 있어서, 상기 제2 피쳐 추출부(184)
    상기 제1 피쳐 추출부(56)에서 추출된 상기 피쳐를 수직 또는 수평으로 대칭 이동하고, 대칭 이동한 결과를 상기 제2 윈도우 선택부에서 선택된 서브 윈도우의 피쳐로서 출력하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  15. 제14 항에 있어서, 상기 상위 분류기들과 상기 하위 분류기들은 일부 중복되는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
  16. 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 영상의 얼굴 검출 방법에 있어서,
    (a) 흑백 영상을 서브 윈도우들로 분할하는 단계;
    (b) 상기 분류기들중 일부인 상위 분류기들을 이용하여, 상기 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 상기 얼굴 영상으로서 검출된 상기 서브 윈도우를 저장하는 단계; 및
    (c) 상기 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 상기 분류기들중 일부인 하위 분류기들을 이용하여, 상기 그룹에 포함된 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 상기 검증된 결과에 따라 상기 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 결정하는 단계를 구비하고,
    상기 윈도우 개수는 상기 그룹에 포함된 서브 윈도우의 개수에 해당하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
  17. 제16 항에 있어서, 상기 얼굴 영상 검출 방법은,
    상기 흑백 영상의 적분 영상을 생성하는 단계를 더 구비하고,
    상기 (a) 단계에서, 상기 적분 영상을 상기 서브 윈도우로 분할하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
  18. 제16 항에 있어서, 상기 영상의 얼굴 검출 방법은
    상기 통합된 결과인 상기 얼굴 영상의 위치 및 크기중 적어도 하나를 저장하는 단계를 더 구비하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
  19. 제16 항에 있어서, 상기 (b) 단계는
    (b1) 상기 분할된 서브 윈도우들중 하나를 선택하는 단계;
    (b2) 상기 선택된 서브 윈도우의 피쳐를 추출하는 단계;
    (b3) 상기 상위 분류기들인 제1 ~ 제n2 (여기서, n2는 상기 분류기들의 전체 개수보다 적다.) 분류기들에서, 상기 추출된 피쳐를 이용하여 상기 선택된 서브 윈도우가 상기 얼굴 영상인가를 판단하는 단계;
    (b4) 상기 선택된 서브 윈도우가 상기 얼굴 영상인 것으로 판단되면, 상기 선택된 서브 윈도우를 저장하는 단계; 및
    (b5) 상기 분할된 서브 윈도우들중 선택되지 않은 상기 서브 윈도우가 존재하는가를 판단하고, 상기 선택되지 않은 서브 윈도우가 존재한다고 판단되면 상기 (b1) 단계로 진행하고, 상기 선택되지 않은 서브 윈도우가 존재하지 않는다고 판단되면 상기 (c) 단계로 진행하는 단계를 구비하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
  20. 제19 항에 있어서, 상기 (b) 단계는
    상기 선택된 서브 윈도우의 분산을 구하는 단계; 및
    상기 분산이 소정값보다 큰가를 판단하고, 상기 분산이 상기 소정값보다 큰 것으로 판단되면 상기 피쳐를 추출하는 단계로 진행하는 단계를 더 구비하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
  21. 제16 항 또는 제19 항에 있어서, 상기 (c) 단계는
    (c1) 상기 저장된 서브 윈도우들을 그룹핑하고, k를 1로 설정하는 단계;
    (c2) k번째 그룹의 상기 윈도우 개수를 구하는 단계;
    (c3) k번째 그룹의 상기 윈도우 개수가 제1 임계값 이상인가를 판단하는 단계;
    (c4) 상기 k 번째 그룹의 상기 윈도우 개수가 상기 제1 임계값 이상인 것으로 인식되면, 상기 k번째 그룹의 상기 윈도우 개수가 제2 임계값 이상인가를 판단하는 단계;
    (c5) 상기 k번째 그룹의 상기 윈도우 개수가 상기 제2 임계값 보다 적은 것으로 판단되면, 상기 하위 분류기들을 이용하여, 상기 k번째 그룹에 포함된 상기 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하는 단계;
    (c6) 상기 k번째 그룹에 포함된 서브 윈도우들중에서 상기 얼굴 영상인 것으로 검증된 서브 윈도우의 개수와 상기 윈도우 개수를 가산하는 단계;
    (c7) 상기 가산된 결과가 상기 제2 임계값 이상인가를 판단하는 단계;
    (c8) 상기 k번째 그룹의 상기 윈도우 개수가 상기 제2 임계값 이상인 것으로 판단되거나 상기 가산된 결과가 상기 제2 임계값 이상인 것으로 판단되면, 상기 k번째 그룹에 포함된 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 k번째 그룹의 얼굴 영상으로서 결정하는 단계;
    (c9) k가 K(여기서, K는 상기 그룹들의 총 개수이다.)인가를 판단하는 단계; 및
    (c10) 상기 k가 K가 아닌 것으로 판단되면, k를 1만큼 증가시키고 상기 (c3) 단계로 진행하는 단계를 구비하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
  22. 제21 항에 있어서, 상기 (c5) 단계는
    (c51) 상기 k번째 그룹의 상기 윈도우 개수가 상기 제2 임계값 보다 적은 것으로 판단되면, 상기 k번째 그룹에 포함된 서브 윈도우들중 하나를 선택하는 단계;
    (c52) 상기 (c51) 단계에서 선택된 서브 윈도우의 피쳐를 추출하는 단계;
    (c53) 상기 하위 분류기들인 제n'1 ~ 제N(여기서, N은 상기 분류기들의 전체 개수이다.) 분류기들에서, 상기 (c51) 단계에서 선택된 서브 윈도우가 상기 얼굴 영상인가를 상기 (c52) 단계에서 추출된 상기 피쳐를 이용하여 판단하는 단계;
    (c54) 상기 (c51) 단계에서 선택된 서브 윈도우가 상기 얼굴 영상인 것으로 판단되면, 카운팅 동작을 수행하는 단계; 및
    (c55) 상기 k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 상기 서브 윈도우가 존재하는가를 판단하는 단계를 구비하고,
    상기 선택되지 않은 서브 윈도우가 존재한다고 판단되면, 상기 (c51) 단계에서 다음 윈도우를 선택하고,
    상기 선택되지 않은 서브 윈도우가 존재하지 않는다고 판단되면, 상기 카운팅된 결과를 상기 (c6) 단계에서 상기 얼굴 영상인 것으로 검증된 서브 윈도우의 개수로서 이용하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
  23. 제22 항에 있어서, 상기 (c5) 단계는
    상기 (c51) 단계후에, 상기 (b2) 단계에서 추출한 상기 피쳐를 수직 또는 수평으로 대칭 이동하고, 상기 대칭 이동한 결과를 상기 (c51) 단계에서 선택된 서브 윈도우의 상기 피쳐로서 결정하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
KR1020040103672A 2004-12-09 2004-12-09 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법 KR100682906B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040103672A KR100682906B1 (ko) 2004-12-09 2004-12-09 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
US11/171,277 US7835541B2 (en) 2004-12-09 2005-07-01 Apparatus, method, and medium for detecting face in image using boost algorithm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040103672A KR100682906B1 (ko) 2004-12-09 2004-12-09 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060064974A KR20060064974A (ko) 2006-06-14
KR100682906B1 true KR100682906B1 (ko) 2007-02-15

Family

ID=36583929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040103672A KR100682906B1 (ko) 2004-12-09 2004-12-09 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법

Country Status (2)

Country Link
US (1) US7835541B2 (ko)
KR (1) KR100682906B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101175597B1 (ko) * 2011-09-27 2012-08-21 (주)올라웍스 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
JP4383399B2 (ja) * 2004-11-05 2009-12-16 富士フイルム株式会社 検出対象画像検索装置およびその制御方法
KR100764130B1 (ko) * 2005-03-29 2007-10-05 (주)제니텀 엔터테인먼트 컴퓨팅 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템
JP4708909B2 (ja) * 2005-08-09 2011-06-22 富士フイルム株式会社 デジタル画像の対象物検出方法および装置並びにプログラム
KR100755800B1 (ko) * 2006-06-21 2007-09-07 한국과학기술원 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
JP4858832B2 (ja) * 2006-08-17 2012-01-18 富士ゼロックス株式会社 駆動切換え機構及びこれを有する画像形成装置
JP4845755B2 (ja) 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
EP2145288A4 (en) 2007-03-05 2013-09-04 Digitaloptics Corp Europe Ltd FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION
JP4289415B2 (ja) * 2007-03-27 2009-07-01 セイコーエプソン株式会社 画像変形のための画像処理
US7983480B2 (en) * 2007-05-17 2011-07-19 Seiko Epson Corporation Two-level scanning for memory saving in image detection systems
US7890443B2 (en) * 2007-07-13 2011-02-15 Microsoft Corporation Learning classifiers using combined boosting and weight trimming
US8010471B2 (en) * 2007-07-13 2011-08-30 Microsoft Corporation Multiple-instance pruning for learning efficient cascade detectors
US7822696B2 (en) * 2007-07-13 2010-10-26 Microsoft Corporation Histogram-based classifiers having variable bin sizes
US8503818B2 (en) * 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
JP5101993B2 (ja) * 2007-11-01 2012-12-19 キヤノン株式会社 情報処理装置および情報処理方法
KR101362768B1 (ko) * 2007-11-23 2014-02-14 삼성전자주식회사 객체 검출 방법 및 장치
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
JP4539729B2 (ja) * 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US8233676B2 (en) * 2008-03-07 2012-07-31 The Chinese University Of Hong Kong Real-time body segmentation system
US8538171B2 (en) * 2008-03-28 2013-09-17 Honeywell International Inc. Method and system for object detection in images utilizing adaptive scanning
US8634645B2 (en) * 2008-03-28 2014-01-21 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US8244044B2 (en) * 2008-04-25 2012-08-14 Microsoft Corporation Feature selection and extraction
US8015132B2 (en) * 2008-05-16 2011-09-06 Samsung Electronics Co., Ltd. System and method for object detection and classification with multiple threshold adaptive boosting
TWI413003B (zh) * 2008-07-23 2013-10-21 Altek Corp Face recognition of the automatic camera method
US8909572B2 (en) * 2008-10-03 2014-12-09 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for performing classification using a boosted classifier
KR101522985B1 (ko) * 2008-10-31 2015-05-27 삼성전자주식회사 영상처리 장치 및 방법
KR100977756B1 (ko) * 2008-11-18 2010-08-25 한국과학기술원 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법
US8121358B2 (en) * 2009-03-06 2012-02-21 Cyberlink Corp. Method of grouping images by face
US8531478B2 (en) * 2009-03-19 2013-09-10 Cyberlink Corp. Method of browsing photos based on people
CN101853389A (zh) * 2009-04-01 2010-10-06 索尼株式会社 多类目标的检测装置及检测方法
JP5517504B2 (ja) * 2009-06-29 2014-06-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US8170332B2 (en) * 2009-10-07 2012-05-01 Seiko Epson Corporation Automatic red-eye object classification in digital images using a boosting-based framework
WO2011080599A1 (en) * 2009-12-30 2011-07-07 Nokia Corporation Method, device and computer program product for detecting objects in digital images
US8401250B2 (en) * 2010-02-19 2013-03-19 MindTree Limited Detecting objects of interest in still images
US9053681B2 (en) * 2010-07-07 2015-06-09 Fotonation Limited Real-time video frame pre-processing hardware
KR101972356B1 (ko) * 2010-12-21 2019-04-25 한국전자통신연구원 상반신 검출장치 및 검출방법
US8565482B2 (en) * 2011-02-28 2013-10-22 Seiko Epson Corporation Local difference pattern based local background modeling for object detection
US20140314273A1 (en) * 2011-06-07 2014-10-23 Nokia Corporation Method, Apparatus and Computer Program Product for Object Detection
US9092675B2 (en) * 2012-03-29 2015-07-28 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9443137B2 (en) 2012-05-08 2016-09-13 Samsung Electronics Co., Ltd. Apparatus and method for detecting body parts
US10694106B2 (en) 2013-06-14 2020-06-23 Qualcomm Incorporated Computer vision application processing
KR102439938B1 (ko) 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
US11995511B2 (en) 2018-02-08 2024-05-28 Digimarc Corporation Methods and arrangements for localizing machine-readable indicia
US10958807B1 (en) * 2018-02-08 2021-03-23 Digimarc Corporation Methods and arrangements for configuring retail scanning systems
US10880451B2 (en) 2018-06-08 2020-12-29 Digimarc Corporation Aggregating detectability metrics to determine signal robustness
US11700445B2 (en) 2021-10-28 2023-07-11 Microsoft Technology Licensing, Llc Adaptive multi-scale face and body detector

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4577235A (en) * 1984-08-20 1986-03-18 The Mead Corporation Text/continuous tone image decision processor
CN1184542A (zh) * 1995-03-20 1998-06-10 Lau技术公司 识别图象的系统和方法
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US7194134B2 (en) * 2001-01-02 2007-03-20 Microsoft Corporation Hierarchical, probabilistic, localized, semantic image classifier
US7050607B2 (en) * 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
KR100580626B1 (ko) * 2003-10-31 2006-05-16 삼성전자주식회사 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101175597B1 (ko) * 2011-09-27 2012-08-21 (주)올라웍스 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2013048159A1 (ko) * 2011-09-27 2013-04-04 (주)올라웍스 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
US9202109B2 (en) 2011-09-27 2015-12-01 Intel Corporation Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
US9563821B2 (en) 2011-09-27 2017-02-07 Intel Corporation Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm

Also Published As

Publication number Publication date
KR20060064974A (ko) 2006-06-14
US7835541B2 (en) 2010-11-16
US20060126938A1 (en) 2006-06-15

Similar Documents

Publication Publication Date Title
KR100682906B1 (ko) 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN109882019B (zh) 一种基于目标检测和动作识别的汽车电动尾门开启方法
CN110163033B (zh) 正样本获取方法、行人检测模型生成方法和行人检测方法
CN103093212B (zh) 基于人脸检测和跟踪截取人脸图像的方法和装置
US7840037B2 (en) Adaptive scanning for performance enhancement in image detection systems
CN106056079B (zh) 一种图像采集设备及人脸五官的遮挡检测方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN102496001B (zh) 一种视频监控目标自动检测的方法和系统
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
US7643674B2 (en) Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture
CN113658192B (zh) 一种多目标行人的轨迹获取方法、系统、装置及介质
CN109902576B (zh) 一种头肩图像分类器的训练方法及应用
CN107909027A (zh) 一种具有遮挡处理的快速人体目标检测方法
US11532148B2 (en) Image processing system
CN101364263A (zh) 对图像进行皮肤纹理检测的方法及系统
CN101950448B (zh) Atm的伪装与偷窥行为检测的方法和系统
CN106778731B (zh) 一种车牌定位方法及终端
CN102254183A (zh) 一种基于AdaBoost算法的人脸检测方法
CN111950546B (zh) 一种车牌识别方法、装置、计算机设备和存储介质
CN106778800A (zh) 一种AdaBoost级联分类器快速检测方法
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
CN112307894A (zh) 一种社区监控场景下基于皱纹特征和姿态特征的行人年龄识别方法
Borhade et al. Advanced driver assistance system
Phung et al. Detecting people in images: An edge density approach

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130115

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150116

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee