KR100682906B1 - 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법 - Google Patents
부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법 Download PDFInfo
- Publication number
- KR100682906B1 KR100682906B1 KR1020040103672A KR20040103672A KR100682906B1 KR 100682906 B1 KR100682906 B1 KR 100682906B1 KR 1020040103672 A KR1020040103672 A KR 1020040103672A KR 20040103672 A KR20040103672 A KR 20040103672A KR 100682906 B1 KR100682906 B1 KR 100682906B1
- Authority
- KR
- South Korea
- Prior art keywords
- sub
- window
- windows
- image
- face
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 85
- 238000012805 post-processing Methods 0.000 claims abstract description 5
- 230000004044 response Effects 0.000 claims description 13
- 239000006185 dispersion Substances 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 18
- 238000000605 extraction Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법이 개시된다. 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 이 장치는, 흑백 영상을 서브 윈도우들로 분할하는 영상 분할부와, 분류기들 중 일부인 상위 분류기들을 이용하여, 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 얼굴 영상으로서 검출된 서브 윈도우를 저장하는 서브 윈도우 검출부 및 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 분류기들중 일부인 하위 분류기들을 이용하여, 그룹에 포함된 서브 윈도우들 각각이 얼굴 영상인가의 여부를 검증하고, 검증된 결과에 따라 서브 윈도우들을 통합하고, 통합된 결과를 흑백 영상에 포함된 얼굴 영상으로서 출력하는 후 처리부를 구비하고, 윈도우 개수는 그룹에 포함된 서브 윈도우의 개수에 해당하는 것을 특징으로 한다. 그러므로 오검출율을 감소시키면서도 검출율을 증가시킬 수 있어, 얼굴 검출의 정확도를 향상시킬 수 있는 잇점을 갖는다.
Description
도 1은 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치의 실시예의 블럭도이다.
도 2는 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법의 실시예를 설명하기 위한 플로우차트이다.
도 3은 적분 영상을 설명하기 위한 예시적인 도면이다.
도 4는 영상 분할부의 이해를 돕기 위한 서브 윈도우들의 예시적인 도면이다.
도 5는 도 1에 도시된 서브 윈도우 검출부의 본 발명에 의한 실시예의 블럭도이다.
도 6은 도 2에 도시된 제34 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 7은 도 1에 도시된 후 처리부의 본 발명에 의한 실시예의 블럭도이다.
도 8은 도 2에 도시된 제36 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 9는 그룹핑부와 개수 검사부의 이해를 돕기 위한 예시적인 도면이다.
도 10은 서브 윈도우의 크기와 검출 개수간의 관계를 나타내는 본 발명에 의한 그래프이다.
도 11은 도 7에 도시된 얼굴 검증부의 본 발명에 의한 실시예의 블럭도이다.
도 12는 도 8에 도시된 제150 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 13 (a) ~ (d)들은 제2 피쳐 추출부의 이해를 돕기 위한 도면들이다.
도 14 (a)~ (c)들은 도 13 (a) ~ (d)들에 도시된 피쳐들이 가질 수 있는 예시적인 모습들을 나타낸다.
도 15 (a) 및 (b)들은 도 1에 도시된 서브 윈도우 검출부 및 후 처리부에서 각각 출력되는 영상의 예시적인 도면들이다.
도 16은 본 발명의 성능을 파악하기 위한 실험 환경의 모습을 나타내는 도면이다.
본 발명은 휴대폰, 로봇 또는 출입 장치 등에서 이용 가능한 영상의 검출에 관한 것으로서, 특히, 부스트 알고리즘(boost algorithm)을 이용하여 영상에서 얼굴을 검출할 수 있는 영상의 얼굴 검출 장치 및 방법에 관한 것이다.
예를 들어, 얼굴 검출이 로봇등에 적용될 경우, 화자가 로봇을 호출하면 이를 감지한 로봇은 화자를 포함하는 영상을 촬영하고, 촬영한 영상에서 화자의 얼굴 을 추출하며, 추출된 얼굴을 통해 화자를 인식한다. 이 때, 화자의 얼굴을 인식한다는 것은 화자의 얼굴이 영상에 존재하는가의 여부를 검사하는 것과 더블어 존재하는 얼굴의 위치까지 파악하는 것을 의미할 수도 있다. 이와 같이, 영상에서 얼굴을 인식하기 위해서는, 먼저 영상으로부터 얼굴을 검출하는 것이 선행되어야 한다.
종래의 아다 부스트(AdaBoost:Adaptive Boost) 패턴 학습 기법을 이용한 얼굴 검출 방법이 2002년 8월 1일자로 공개된 미국 특허 공개 번호 US2002/0102024에 개시되어 있다. 이러한 종래의 방법은 검출된 얼굴의 크기가 큰 경우 얼굴로서 검출된 서브 윈도우(sub-window)의 개수가 증가하는 문제점이 있고, 고정된 임계값을 사용하므로 검출 서브 윈도우의 크기가 클 경우 오(吳)검출율이 증가하는 문제점을 갖는다.
종래의 다른 얼굴 검출 방법들로서, 'Yong Ma' 및 'Xiaoqing Ding'에 의해 "Robust Real-Time Face Detection Based on Cost-Sensitive AdaBoost Method"라는 제목으로 2003년도에 Proceedings of 2003 International Conference on Multimedia and Expo, vol.2에 출간된 논문의 페이지 921-924쪽들에 개시된 방법과 'Stan Z. Li' 및 'ZhenQiu Zhang'에 의해 "FloatBoost Learning and Statistical Face Detection"라는 제목으로 2004년 9월에 IEEE Transactions on Pattern and Machine Intelligence. vol. 26, No. 9에 출간된 논문의 페이지 1112-1123쪽들에 개시된 방법이 있다. 이러한 종래의 방법들은 각 스테이지(stage)에서 분류기(classifier)를 새롭게 학습시켜야 하는 문제점을 갖는다.
또한, 얼굴을 검출하는 종래의 다른 방법이, "피부색을 이용한 AdaBoost 얼 굴 검출"이라는 제목으로 출원된 대한민국 특허 출원 번호 2004-0061417에 개시되어 있다. 이러한 종래의 방법은 피부색을 이용하므로 조명에 민감한 문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는, 얼굴 검출의 정확도를 향상시킬 수 있는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 얼굴 검출의 정확도를 향상시킬 수 있는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법을 제공하는 데 있다.
상기 과제를 이루기 위해, 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 본 발명에 의한 영상의 얼굴 검출 장치는, 흑백 영상을 서브 윈도우들로 분할하는 영상 분할부와, 상기 분류기들중 일부인 상위 분류기들을 이용하여, 상기 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 상기 얼굴 영상으로서 검출된 상기 서브 윈도우를 저장하는 서브 윈도우 검출부 및 상기 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 상기 분류기들중 일부인 하위 분류기들을 이용하여, 상기 그룹에 포함된 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 상기 검증된 결과에 따라 상기 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 출력하는 후 처리부로 구성되고, 상기 윈도우 개수는 상기 그룹에 포함된 서브 윈도우의 개수에 해당하는 것이 바람직하다.
상기 다른 과제를 이루기 위해, 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 본 발명에 의한 영상의 얼굴 검출 방법은, 흑백 영상을 서브 윈도우들로 분할하는 단계와, 상기 분류기들중 일부인 상위 분류기들을 이용하여, 상기 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 상기 얼굴 영상으로서 검출된 상기 서브 윈도우를 저장하는 단계 및 상기 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 상기 분류기들중 일부인 하위 분류기들을 이용하여, 상기 그룹에 포함된 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 상기 검증된 결과에 따라 상기 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 결정하는 단계로 이루어지고, 상기 윈도우 개수는 상기 그룹에 포함된 서브 윈도우의 개수에 해당하는 것이 바람직하다.
이하, 본 발명에 의한 부스트 알고리즘(boost algorithm)을 이용한 영상의 얼굴 검출 장치의 구성 및 동작과 그 장치에서 수행되는 본 발명에 의한 얼굴 검출 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치의 실시예의 블럭도로서, 영상 적분부(10), 영상 분할부(12), 서브 윈도우 검출부(14), 후 처리부(16) 및 얼굴 저장부(18)로 구성된다.
도 2는 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법의 실시예를 설명하기 위한 플로우차트로서, 영상을 전처리하는 단계(제30 및 제32 단계들), 얼굴 영상인 서브 윈도우를 검출하고 검증하는 단계(제34 및 제36 단계들) 및 얼굴 영상에 대한 정보를 저장하는 단계(제38 단계)로 이루어진다.
도 1 및 도 2에 도시된 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법은 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출한다. 이하, 얼굴이란 영상에서 검출하고자 하는 의미있는 대상을 의미하며 예를 들면 사람의 얼굴 그 자체를 의미할 수도 있고, 사람의 얼굴과는 달리 비대칭인 의미있는 대상일 수도 있다. 여기서, 부스트 알고리즘에 대해서는 "Experiments with a New Boosting Algorithm," Machine Learning:Proceedings of the Thirteenth International Conference, 1996에 개시되어 있고, 일종의 부스트 알고리즘인 아다 부스트 알고리즘은 "피부색을 이용한 AdaBoost 얼굴 검출"이라는 제목으로 출원된 대한민국 특허 출원 번호 2004-0061417에 개시되어 있다.
도 1에 도시된 영상 적분부(10)는 입력단자 IN1을 통해 흑백 영상을 입력하고, 입력한 흑백 영상의 적분 영상(integral image)을 생성하며, 생성된 적분 영상을 영상 분할부(12)로 출력한다(제30 단계). 예를 들어, 컬러 영상에 포함된 얼굴을 검출하고자 할 경우, 컬러 영상은 흑백 영상으로 변환된 후, 도 1에 도시된 영상 적분부(10)로 입력된다.
이하, 적분 영상에 대해 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 3은 적분 영상을 설명하기 위한 예시적인 도면으로서, 네 개의 영역들(A, B, C 및 D)과 네 개의 점들(a, b, c 및 d)로 이루어진다.
도 3에 도시된 점(a)의 적분 영상이란, 점(a)의 왼쪽 윗 부분에 존재하는 화소값들의 합을 의미한다. 예컨대, 점(a)의 적분 영상이란, 영역(A)에 포함되는 화 소들의 화소값들의 합을 의미한다. 여기서, 화소값이란, 화소의 휘도 레벨이 될 수 있다. 또한, 점(a)의 적분 제곱 영상이란, 점(a)의 왼쪽 윗 부분에 존재하는 화소값들의 제곱들의 합을 의미한다. 즉, 점(a)의 적분 제곱 영상이란, 영역(A)에 포함되는 화소들의 화소값들의 제곱들의 합을 의미한다. 이와 같은 적분 영상이란 개념을 도입할 경우, 영상의 임의의 영역에 대한 화소값들의 합을 구하기 편리하다. 즉, 적분 영상을 이용할 경우, 전술한 분류기의 동작을 빨리 수행할 수 있다. 예를 들어, 영역(D) 내부에 존재하는 화소값들의 합은 다음 수학식 1과 같이 구해질 수 있다.
여기서, S(D)란 영역(D) 내부에 존재하는 화소값들의 합을 의미하고, ii(d)는 점(d)의 적분 영상을 의미하고, ii(b)는 점(b)의 적분 영상을 의미하고, ii(c)는 점(c)의 적분 영상을 의미하고, ii(a)는 점(a)의 적분 영상을 각각 의미한다.
또한, 영역(D) 내부에 포함되는 화소값들의 제곱들의 합은 다음 수학식 2와 같이 구해질 수 있다.
여기서, sqsum(D)는 영역(D) 내부에 포함되는 화소값들의 제곱들의 합을 나타내고, is(d)는 점(d)의 적분 제곱 영상을 의미하고, is(b)는 점(b)의 적분 제곱 영상을 의미하고, is(c)는 점(c)의 적분 제곱 영상을 의미하고, is(a)는 점(a)의 적분 제곱 영상을 각각 의미한다.
제30 단계후에, 영상 분할부(12)는 영상 적분부(10)로부터 입력한 적분 영상을 서브 윈도우들로 분할하고, 분할된 서브 윈도우들을 서브 윈도우 검출부(14)로 출력한다(제32 단계).
본 발명의 다른 실시예에 의하면, 도 1에 도시된 영상의 얼굴 검출 장치는 영상 적분부(10)를 마련하지 않을 수 있다. 이 경우, 도 2에 도시된 영상의 얼굴 검출 방법은 제30 단계를 마련하지 않는다. 이 경우, 영상 분할부(12)는 입력단자 IN1을 통해 입력한 흑백 영상을 서브 윈도우들로 분할하고, 분할된 서브 윈도우들을 서브 윈도우 검출부(14)로 출력한다(제32 단계).
여기서, 영상 분할부(12)에서 적분 또는 흑백 영상을 분할하는 서브 윈도우의 크기는 미리 결정될 수 있으며 일정한 비율로 증가될 수도 있다. 즉, 서브 윈도우는 최초에 소정 크기 예를 들면 20×20 픽셀의 크기로 설정되고, 설정된 크기를 갖는 서브 윈도우에 의해 전체 영상을 분할한다. 그 후, 서브 윈도우의 크기를 예를 들면 1.2배 증가시키고, 증가된 크기를 갖는 서브 윈도우에 의해 전체 영상을 다시 분할한다. 이와 같은 방식으로 서브 윈도우의 크기가 전체 영상의 크기와 동일하게 될 때까지, 서브 윈도우를 증가시키면서 영상을 분할할 수 있다. 영상 분할부(12)에서 분할되는 서브 윈도우들은 서로 중첩될 수도 있다.
도 4는 영상 분할부(12)의 이해를 돕기 위한 서브 윈도우들의 예시적인 도면으로서, 영상(40)과 서브 윈도우들(42)을 나타낸다.
예를 들어, 도 4에 도시된 바와 같이, 영상 분할부(12)는 흑백 영상(40)을 서브 윈도우들(42)로 분할할 수 있다.
제32 단계후에, 서브 윈도우 검출부(14)는 분류기들중 일부인 상위 분류기들을 이용하여, 영상 분할부(12)에서 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 얼굴 영상으로서 검출된 서브 윈도우를 저장한다(제34 단계).
도 5는 도 1에 도시된 서브 윈도우 검출부(14)의 본 발명에 의한 실시예(14A)의 블럭도로서, 제1 윈도우 선택부(50), 분산 계산부(52), 분산 비교부(54), 제1 피쳐(feature) 추출부(56), 제1, 제2, ... 제n1, ... 및 제n2 분류기들(58, 60, ..., 62, ... 및 64) 및 윈도우 저장부(66)로 구성된다. 여기서, n2는 분류기들의 전체 개수(N)보다 적고, n1은 상위 분류기들의 개수(n2)보다 적다.
도 6은 도 2에 도시된 제34 단계에 대한 본 발명에 의한 실시예(34A)를 설명하기 위한 플로우차트로서, 분할된 서브 윈도우들 각각이 얼굴 영상인가를 검사하는 단계(제80 ~ 제92 단계들)로 이루어진다.
도 5에 도시된 제1 윈도우 선택부(50)는 입력단자 IN2를 통해 영상 분할부(12)로부터 입력한 분할된 서브 윈도우들중 하나를 선택하고, 선택한 서브 윈도우를 분산 계산부(52) 및 제1 피쳐 추출부(56)로도 출력한다(제80 단계).
제80 단계후에, 분산 계산부(52)는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우의 분산을 계산하고, 계산된 분산을 분산 비교부(54)로 출력한다(제82 단계). 본 발명에 의하면, 분산 계산부(52)는 다음 수학식 3과 같이 분산을 계산할 수 있다.
여기서, V는 분산을 나타내고, A는 제1 윈도우 선택부(50)에서 선택되어 분산 계산부(52)로 입력된 서브 윈도우의 면적을 나타내고, sqsum은 제1 윈도우 선택부(50)에서 선택되어 분산 계산부(52)로 입력된 서브 윈도우에 포함된 화소값들의 제곱들의 합으로서 전술한 수학식 2와 같이 표현되고, M은 제1 윈도우 선택부(50)에서 선택된 서브 윈도우의 평균으로서 다음 수학식 4와 같다.
여기서, S는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우에 포함된 화소값들의 합으로서 전술한 수학식 1을 이용하여 구해질 수 있다.
제82 단계후에, 분산 비교부(54)는 분산 계산부(52)에서 계산된 분산과 소정값을 비교하고, 비교된 결과를 제1 피쳐 추출부(56)로 출력한다(제84 단계). 예컨대, 분산 비교부(54)는 분산이 소정값보다 큰가를 판단한다. 본 발명에 의하면, 소정값은 '400'이 될 수 있다. 영상에서 배경의 대부분은 단순한 형태로 이루어져 있으며, 사람의 정면 얼굴의 분산은 모두 '400' 보다 크다. 이와 같이, 도 5에 도시된 서브 윈도우 검출부(14A)는 분산 계산부(52) 및 분산 비교부(54)를 마련하여, 서브 윈도우의 분산을 이용하여 얼굴 영상이 아닌 서브 윈도우를 판별하므로, 얼굴 영상인 서브 윈도우가 아닌 서브 윈도우를 배척하는 시간을 단축시킬 수 있다. 즉, 제82 및 제84 단계가 마련되므로써, 얼굴 영상이 아닌 서브 윈도우에 대해서는 제86 ~ 제86 단계들이 불필요하게 수행되지 않을 수 있다.
제1 피쳐 추출부(56)는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우의 피쳐를 분산 비교부(54)에서 비교된 결과를 통해 분산이 소정값보다 큰 것으로 인식되면 추출하고, 추출된 피쳐를 제1 ~ 제n2 분류기들(58 ~ 64)로 출력하는 한편 출력단자 OUT2를 통해 후 처리부(16)로도 출력한다(제86 단계). 그러나, 제1 피쳐 추출부(56)는 분산 비교부(54)에서 비교된 결과를 통해, 분산이 소정값 이하인 것으로 인식되면 피쳐를 추출하지 않는다. 왜냐하면, 분산이 소정값 이하이면 얼굴이 아닐 가능성이 많기 때문이다.
이 때, 제1 윈도우 선택부(50)는 분산 비교부(54)에서 비교된 결과를 통해, 분산이 소정값 이하인 것으로 인식되면, 영상 분할부(12)에서 분할된 서브 윈도우들중 제1 윈도우 선택부(50)에서 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제92 단계). 만일, 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는 것으로 판단되면, 제1 윈도우 선택부(50)는 선택되지 않은 다른 서브 윈도우를 선택한다(제80 단계).
본 발명의 다른 실시예에 의하면, 도 5에 도시된 서브 윈도우 검출부(14A)는 분산 계산부(52)와 분산 비교부(54)를 마련하지 않을 수도 있다. 이 경우, 도 6에 도시된 제34A 단계는 제82 및 제84 단계들을 마련하지 않는다. 이 때, 제1 피쳐 추출부(56)는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우의 피쳐를 추출하고, 추출된 피쳐를 제1 ~ 제n2 분류기들(58 ~ 64)로 출력하는 한편 출력단자 OUT2를 통해 후 처리부(16)로도 출력한다(제86 단계).
제86 단계후에, 상위 분류기들인 제1 ~ 제n2 분류기들(58, 60, ..., 62, ... 및 64) 각각은 제1 윈도우 선택부(50)에서 선택된 서브 윈도우가 얼굴 영상인가를 제1 피쳐 추출부(56)에서 추출된 피쳐를 이용하여 판단한다(제88 단계). 즉, 제x(1≤x≤n2) 분류기(58, 60, ..., 62, ... 또는 64)는 선택된 서브 윈도우가 얼굴 영상인가를 제1 피쳐 추출부(56)에서 추출된 피쳐를 이용하여 검사한다. 예를 들면, 제1 분류기(58)는 제1 피쳐 추출부(56)에서 추출된 피쳐를 입력하고, 선택된 서브 윈도우가 얼굴 영상인가를 입력한 피쳐를 이용하여 검사하고, 검사된 결과를 제2 분류기(60)로 출력한다. 이 때, 제x'(2≤x≤n2) 분류기(60 ~ 64)는 제x'-1 분류기에서 서브 윈도우가 얼굴 영상인 것으로 분류될 때만, 자신의 동작을 수행한다. 예를 들어, 제2 분류기(60)는 제1 분류기(58)에서 서브 윈도우가 얼굴 영상인 것으로 판단될 때만, 자신의 동작을 수행한다. 따라서, 제1 ~ 제n2 분류기들(58 ~64) 모두에서 서브 윈도우가 얼굴 영상인 것으로 인식될 경우에만 즉, 제n2 분류기(64)에서 서브 윈도우가 얼굴 영상인 것으로 인식될 때, 제88 단계에서 서브 윈도우가 얼굴 영상인 것으로 판단된다.
도 5에 도시된 제1 ~ 제n2 분류기들(58, 60, ..., 62, ... 및 64) 각각은 스트롱(strong) 분류기로서, 하나의 스트롱 분류기는 다수개의 위크 분류기(weak classifier)들로 구현된다. 이 때, 하나의 위크 분류기는 제1 피쳐 추출부(56)에서 추출된 피쳐를 이용하여 다음 수학식 5와 같이 '1' 또는 '-1'을 발생한다.
여기서, ft는 제1 피쳐 추출부(56)에서 추출된 피쳐를 나타내고, θt는 임계값을 나타내고, pt는 패러티(parity)를 나타내고, θt와 pt는 미리 결정될 수 있고, 1≤t≤T이고, T는 하나의 스트롱 분류기에 포함되는 위크 분류기의 총 개수를 나타낸다. 이 때, 하나의 스트롱 분류기는 다음 수학식 6과 같이 '1' 또는 '0'의 값을 출력한다. 여기서, '1'은 서브 윈도우가 얼굴 영상이라는 것을 나타내고, '0'은 서브 윈도우가 얼굴 영상이 아니라는 것을 나타낸다.
여기서, α는 계수(coefficient)를 나타낸다.
제1 윈도우 선택부(50)에서 선택된 서브 윈도우가 얼굴 영상인 것으로 제n2
분류기(64)에서 검사된 결과를 통해 인식되면, 윈도우 저장부(66)는 제1 윈도우 선택부(50)에서 선택된 서브 윈도우를 입력하여 저장하고, 저장된 결과를 후 처리부(16)로 출력단자 OUT3을 통해 출력한다(제90 단계).
이 때, 제1 윈도우 선택부(50)는 제1 ~ 제n2 분류기들(58 ~ 64)에서 검사된 결과를 통해 선택된 서브 윈도우가 얼굴 영상이 아닌 것으로 인식되면, 영상 분할부(12)에서 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제92 단계). 즉, 제1 ~ 제n2 분류기들(58 ~ 64)중 하나에서 '0'의 값이 발생되면 즉, 서브 윈도우가 얼굴 영상이 아닌 것으로 인식되면, 제1 윈도우 선택부(50)는 제92 단계를 수행한다. 만일, 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는 것으로 판단되면, 제1 윈도우 선택부(50)는 선택되지 않은 다음 서브 윈도우를 선택한다(제80 단계).
또한, 서브 윈도우의 저장을 완료하였음을 윈도우 저장부(66)가 알릴 때, 즉 제90 단계후에, 제1 윈도우 선택부(50)는 영상 분할부(12)에서 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제92 단계). 만일, 분할된 서브 윈도우들중에서 선택되지 않은 서브 윈도우가 존재하는 것으로 판단되면, 제1 윈도우 선택부(50)는 선택되지 않은 다른 서브 윈도우를 선택한다(제80 단계).
본 발명의 일 실시예에 의하면, 전술한 n2는 다음 수학식 7과 같은 조건을 만족하도록 결정될 수 있다.
여기서, Dd는 서브 윈도우의 목표 검출율을 나타내고, di는 제1 ~ 제n2
분류기들(58 ~ 64)중 i(1≤i≤n2)번째 분류기의 검출율을 나타낸다.
본 발명의 다른 실시예에 의하면, n2는 다음 수학식 8과 같은 조건을 만족하도록 결정될 수도 있다.
여기서, Fd는 서브 윈도우의 목표 오검출율을 나타내고, R은 오검출의 목표 제거 비율을 나타내고, fi는 상위 분류기인 제1 ~ 제n2 분류기들(58 ~ 64)중 i번째 분류기의 오검출율을 나타낸다.
본 발명의 또 다른 실시예에 의하면, n2는 전술한 수학식들 7 및 8과 같은 조건들을 모두 만족하도록 결정될 수 있다.
한편, 후 처리부(16)는 윈도우 개수 및 분류기들중 일부인 하위 분류기들을 이용하여, 그룹에 포함된 서브 윈도우들 각각이 얼굴 영상인가의 여부를 검증하고, 검증된 결과에 따라 서브 윈도우들을 통합하며, 통합된 결과를 흑백 영상에 포함된 얼굴 영상으로서 출력한다(제36 단계). 여기서, 후 처리부(16)는 서브 윈도우 검출 부(14)에서 검출되어 저장된 서브 윈도우들에 의해 형성된 그룹별로 제36 단계를 수행한다. 이 때, 윈도우 개수란, 각 그룹에 포함된 서브 윈도우의 개수를 의미한다.
도 7은 도 1에 도시된 후 처리부(16)의 본 발명에 의한 실시예(16A)의 블럭도로서, 그룹핑부(110), 제어부(112), 개수 검사부(114), 제1, 제2 및 제3 개수 비교부들(116, 118 및 124), 얼굴 검증부(120), 개수 가산부(122) 및 통합부(126)로 구성된다.
도 8은 도 2에 도시된 제36 단계에 대한 본 발명에 의한 실시예(36A)를 설명하기 위한 플로우차트로서, 서브 윈도우들을 그룹핑하는 단계(제142 단계) 및 각 그룹별로 서브 윈도우들을 검증하여 통합하는 단계(제144 ~ 제160 단계들)로 이루어진다.
그룹핑부(110)는 서브 윈도우 검출부(14)의 예를 들면 윈도우 저장부(66)에 저장된 서브 윈도우들을 입력단자 IN3을 통해 입력하여 그룹핑한다(제142 단계). 이 때, 제어부(112)는 최초에 그룹을 나타내는 인덱스(k)를 '1'로 초기화하고, 초기화된 결과를 제어 신호로서 그룹핑부(110)로 출력한다(제142 단계). 이 때, 그룹핑부(110)는 제어 신호에 응답하여 여러 개의 그룹들중에서 k(=1)번째 그룹을 선택한다. 이와 같이, 그룹핑부(110)는 그룹핑된 그룹들중 하나를 제어부(112)에서 발생된 제어 신호에 응답하여 선택하고, 선택된 그룹을 개수 검사부(114), 얼굴 검증부(120) 및 통합부(126)로 각각 출력한다
제142 단계후에, 개수 검사부(114)는 그룹핑부(110)에서 선택된 그룹의 윈도 우 개수를 검사하고, 검사된 윈도우 개수를 제1 개수 비교부(116)로 출력한다(제144 단계). 윈도우 개수는 그룹마다 달라질 수 있다.
도 9는 그룹핑부(110)와 개수 검사부(114)의 이해를 돕기 위한 예시적인 도면으로서, 두 개의 그룹들(170 및 172)로 구성된다.
영상 분할부(12)에서 도 9에 도시된 영상이 다수개의 서브 윈도우들로 분할된 경우, 서브 윈도우 검출부(14)에서 제1 및 제2 그룹들(170 및 172)의 서브 윈도우들이 얼굴 영상인 것으로 저장되었다고 가정한다. 이 때, 그룹핑부(110)는 도 9에 도시된 바와 같은 서브 윈도우들을 윈도우 저장부(66)로부터 입력하여 제1 및 제2 그룹들(170 및 172)로 그룹핑한다. 이 때, 개수 검사부(114)는 제1 및 제2 그룹들(170 및 172) 각각에 포함된 서브 윈도우의 개수를 구한다.
한편, 제144 단계후에, 제1 개수 비교부(116)는 개수 검사부(114)로부터 입력한 k번째 그룹의 윈도우 개수와 제1 임계값을 비교하고, 비교된 결과를 제2 개수 비교부(118) 및 제어부(112)로 출력한다(제146 단계). 즉, 제1 개수 비교부(116)는 k번째 그룹의 윈도우 개수가 제1 임계값 이상인가를 판단한다.
이 때, 제어부(112)는 제1 개수 비교부(116)에서 비교된 결과를 통해 k번째 그룹의 윈도우 개수가 제1 임계값보다 적은 것으로 인식되면, k가 K인가를 판단한다(제158 단계). 여기서, K는 그룹핑부(110)에서 그룹핑된 그룹들의 총 개수이다. 즉, 제어부(112)는 제1 개수 비교부(116)에서 비교된 결과를 통해 k번째 그룹의 윈도우 개수가 제1 임계값보다 적은 것으로 인식되면, 모든 그룹들이 검증되었는가를 판단한다. 만일, k가 K가 아닌 것으로 판단되면, 제어부(112)는 k를 1만큼 증가시 키고, 증가된 k에 상응하여 제어 신호를 발생하여 그룹핑부(110)로 출력한다(제160 단계). 따라서, 그룹핑부(110)는 1만큼 증가된 k(=2)번째 그룹을 선택하여 개수 검사부(114), 얼굴 검증부(120) 및 통합부(126)로 출력한다.
이와 같은 동작에 의해 모든 그룹들에 대해 도 8에 도시된 방법이 수행될 수 있다.
제2 개수 비교부(118)는 제1 개수 비교부(116)에서 비교된 결과에 응답하여, k번째 그룹의 윈도우 개수와 제2 임계값을 비교하며, 비교된 결과를 얼굴 검증부(120) 및 통합부(112)로 출력한다(제148 단계). 여기서, 제2 임계값은 제1 임계값보다 크다. 만일, 제1 개수 비교부(116)로부터 입력한 비교된 결과를 통해, k 번째 그룹의 윈도우 개수가 제1 임계값 이상인 것으로 인식되면, 제2 개수 비교부(118)는 k번째 그룹의 윈도우 개수가 제2 임계값 이상인가를 판단한다.
본 발명에 의하면, 제1 및 제2 개수 비교부들(116 및 118)에서 각각 사용되는 제1 및 제2 임계값들은 서브 윈도우의 크기에 비례하고, 평균 검출 개수보다 적게 결정될 수 있다. 여기서, 서브 윈도우의 크기란, k번째 그룹에 포함된 서브 윈도우들의 크기들의 평균을 의미한다. 이 때, 평균 검출 개수란 다음 수학식 9와 같이 표현될 수 있다.
여기서, DA는 평균 검출 개수를 나타내고, mk는 K개의 그룹들중 k번째 그룹의 윈도우 개수를 나타낸다.
도 10은 서브 윈도우의 크기와 검출 개수간의 관계를 나타내는 본 발명에 의한 그래프로서, 실험적으로 구해질 수 있다. 여기서, 횡축은 서브 윈도우의 크기로서 화소개라는 단위를 갖고, 종축은 검출된 개수를 나타내며, 실선은 평균 검출 개수를 나타내고, 점선은 회귀(regression)곡선을 나타낸다. 일반적으로 서브 윈도우의 크기가 클 수록 주변에 검출되는 서브 윈도우의 개수가 도 10에 도시된 바와 같이 증가한다. 만일, 제1 및 제2 임계값들을 고정시킬 경우, 서브 윈도우가 크기가 클 때 얼굴 영상인 것으로 검출되는 서브 윈도우의 개수가 증가하여 오 검출율이 증가한다. 그러나, 전술한 바와 같이 서브 윈도우의 크기 및 평균 검출 개수를 고려하여 제1 및 제2 임계값들을 가변시킬 경우, 원하는 목표 검출율을 유지하면서도 오 검출율을 낮출 수 있다.
한편, 얼굴 검증부(120)는 제2 개수 비교부(118)에서 비교된 결과를 통해, k번째 그룹의 윈도우 개수가 제2 임계값 보다 적은 것으로 인식되면, 하위 분류기들을 이용하여, 선택된 k번째 그룹에 포함된 서브 윈도우들 각각이 얼굴 영상인가의 여부를 검증하고, 검증된 결과를 개수 가산부(122)로 출력한다(제150 단계).
도 11은 도 7에 도시된 얼굴 검증부(120)의 본 발명에 의한 실시예(120A)의 블럭도로서, 제2 윈도우 선택부(182), 제2 피쳐 추출부(184), 제n'1, ... 제n'2, ... 및 제N 분류기들(186, ..., 188, ... 및 190) 및 카운터(192)로 구성된다. 여 기서, 제n'1 ~ 제n'2 분류기들(186 ~ 188)에 입력되는 피쳐들과 도 5에 도시된 제n
1 ~ 제n2 분류기들(62 ~ 64)에 입력되는 피쳐들은 다른 것을 제외하면, 제n'1 ~ 제n'
2 분류기들(186 ~ 188)은 제n1 ~ 제n2 분류기들(62 ~ 64)과 동일한 동작을 수행한다. 즉, 종래의 아다 부스트 얼굴 검출 방법은 도 5 및 도 6에 도시된 제1 ~ 제N 분류기들을 모두 사용하여, 얼굴 영상이라고 간주되는 서브 윈도우들을 검출한다.
도 12는 도 8에 도시된 제150 단계에 대한 본 발명에 의한 실시예(150A)를 설명하기 위한 플로우차트로서, k번째 그룹에 속하는 서브 윈도우들 각각이 얼굴 영상인가를 검증하는 단계(제212 ~ 제220 단계들)로 이루어진다.
제2 윈도우 선택부(182)는 입력단자 IN4를 통해 제2 개수 비교부(118)로부터 입력한 비교된 결과를 통해 k번째 그룹의 윈도우 개수가 제2 임계값 보다 적은 것으로 인식되면, 그룹핑부(110)에서 선택된 k번째 그룹에 포함된 서브 윈도우들중 하나를 선택하고, 선택된 서브 윈도우를 제2 피쳐 추출부(184)로 출력한다(제212 단계).
제212 단계후에, 제2 피쳐 추출부(184)는 도 5에 도시된 제1 피쳐 추출부(56)에서 추출된 피쳐를 수직 또는 수평으로 대칭 이동하며, 대칭 이동한 결과를 제2 윈도우 선택부(182)에서 선택된 서브 윈도우의 피쳐로서 제n'1 ~ 제N 분류기들(186 ~ 190)로 출력한다(제214 단계). 이를 위해, 그룹핑부(110)는 제1 피쳐 추출부(56)에서 추출된 피쳐를 입력단자 IN3을 통해 제1 피쳐 추출부(56)로부터 입력하고, 입력한 피쳐를 얼굴 검증부(120)로 출력한다. 이 때, 얼굴 검증부(120A)의 제2 피쳐 추출부(184)는 제1 피쳐 추출부(56)에서 추출된 피쳐를 입력단자 IN5를 통해 입력한다. 만일, 검출하고자 하는 대상이 되는 얼굴이 좌우 대칭일 경우, 제2 피쳐 추출부(184)는 피쳐를 수직으로 대칭 이동시킨다. 그러나, 검출하고자 하는 대상이 되는 얼굴이 상하 대칭일 경우, 제2 피쳐 추출부(184)는 피쳐를 수평으로 대칭 이동시킨다. 이와 같이, 검출하고자 하는 대상이 되는 얼굴이 상하 또는 좌우 대칭일 경우, 도 11에 도시된 n'1은 도 5에 도시된 n1에 해당하고, n'2
는 도 5에 도시된 n2에 해당한다.
도 13 (a) ~ (d)들은 제2 피쳐 추출부(184)의 이해를 돕기 위한 도면들로서, 도 13 (a) 및 (c)들은 제1 피쳐 추출부(56)에서 추출된 피쳐(230 또는 234)를 나타내고, 도 13 (b) 및 (d)들은 제2 피쳐 추출부(184)에서 추출된 피쳐(232 또는 236)를 나타낸다.
예컨대, 제2 피쳐 추출부(184)는 도 13 (a)에 도시된 피쳐(230)를 입력단자 IN5를 통해 그룹핑부(110)를 통해 제1 피쳐 추출부(56)로부터 입력하고, 입력한 피쳐를 도 13 (b)에 도시된 바와 같이 플립(flip)시켜, 플립된 피쳐(232)를 생성한다. 또는, 제2 피쳐 추출부(184)는 도 13 (c)에 도시된 피쳐(234)를 입력단자 IN5를 통해 그룹핑부(110)를 통해 제1 피쳐 추출부(56)로부터 입력하고, 입력한 피쳐를 도 13 (d)에 도시된 바와 같이 플립시켜, 플립된 피쳐(236)을 생성한다.
도 14 (a)~ (c)들은 도 13 (a) ~ (d)들에 도시된 피쳐들(230, 232, 234 및 236)이 가질 수 있는 예시적인 모습들을 나타낸다. 예를 들어, 피쳐는 도 14 (a)에 도시된 바와 같이 수직 방향으로 배열된 두 개의 사각형(retangle)들로 이루어질 수도 있고, 도 14 (b)에 도시된 바와 같이 수평 방향으로 배열된 세 개의 사각형들로 이루어질 수도 있고, 도 14 (c)에 도시된 바와 같이 네 개의 사각형들로 이루어질 수도 있다.
여기서, 본 발명에 의하면, n'1은 다음 수학식 10과 같은 조건을 만족하도록 결정될 수 있다.
여기서, fj는 하위 분류기들인 제n'1 ~ 제N 분류기들(186 ~ 190)중 j(n'1
≤j≤N)번째 분류기의 오검출율을 나타낸다.
본 발명의 다른 실시예에 의하면, 제1 피쳐 추출부(56)에서 추출된 피쳐를 대칭 이동시켜 피쳐를 구하지 않고, 제2 피쳐 추출부(184)는 제2 윈도우 선택부(182)에서 선택된 서브 윈도우의 피쳐를 추출하고, 추출된 피쳐를 제n'1 ~ 제N 분류기들(186 ~ 190)로 출력할 수도 있다(제214 단계). 이 경우, n'1은 n2+1이 된다.
한편, 제214 단계후에, 하위 분류기들인 제n'1 ~ 제N 분류기들(186 ~ 190)에서, 제2 윈도우 선택부(18)에서 선택된 서브 윈도우가 얼굴 영상인가를 제2 피쳐 추출부(184)에서 추출된 피쳐를 이용하여 판단한다(제216 단계). 여기서, 제y(n'1≤ y≤N) 분류기(186, ..., 188, ... 또는 190)는 제2 윈도우 선택부(182)에서 선택된 서브 윈도우가 얼굴 영상인가를 제2 피쳐 추출부(184)에서 추출된 피쳐를 이용하여 검사한다. 예컨대, 제n'1 분류기(186)는 제2 피쳐 추출부(184)에서 추출된 피쳐를 입력하고, 제2 윈도우 선택부(182)에서 선택된 서브 윈도우가 얼굴 영상인가를 입력한 피쳐를 이용하여 검사하고, 검사된 결과를 제n'1+1 분류기로 출력한다. 이 때, 제y'(n'1+1≤y'≤N) 분류기는 제y'-1 분류기에서 서브 윈도우가 얼굴 영상인 것으로 분류될 때, 자신의 동작을 수행한다. 예를 들어, 제n'1+1 분류기는 제n'1 분류기(186)에서 서브 윈도우가 얼굴 영상인 것으로 판단될 때 인에이블되어 자신의 동작을 수행한다. 따라서, 제n'1 ~ 제N 분류기들(186 ~ 190) 모두에서 서브 윈도우가 얼굴 영상인 것으로 인식될 경우에 즉, 제N 분류기(190)에서 서브 윈도우가 얼굴 영상인 것으로 인식될 때, 제216 단계에서 서브 윈도우가 얼굴 영상인 것으로 판단된다.
이 때, 도 11에 도시된 제n'1 ~ 제N 분류기들(186 ~ 190) 각각은 도 5에 도시된 제1 ~ 제n2 분류기들(58 ~ 64) 각각과 동일한 원리로 동작한다. 즉, 제n'1 ~ 제N 분류기들(186 ~ 190) 각각은 전술한 수학식들 5 및 6을 이용하여 해당하는 값을 생성한다. 이 때, 전술한 수학식들 5 및 6에서 x를 y로 바꾸어져야 한다.
한편, 제2 윈도우 선택부(182)에서 선택된 서브 윈도우가 얼굴 영상인 것으로 제N 분류기(190)에서 검사된 결과를 통해 인식되면, 카운터(192)는 카운팅 동작을 수행한다(제218 단계). 예를 들어, 서브 윈도우가 얼굴 영상인 것으로 인식되면, 카운터(192)는 상향 카운팅 동작 예를 들면 이전에 카운팅된 값을 1만큼 증가시킬 수 있다.
이 때, 제2 윈도우 선택부(182)에서 선택된 윈도우가 얼굴 영상이 아닌 것으로, 제n'1 ~ 제N 분류기들(186 ~ 190)중 하나에서 검사된 결과를 통해 인식되면, 제2 윈도우 선택부(182)는 k번째 그룹에 포함된 서브 윈도우들중 제2 윈도우 선택부(182)에서 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제220 단계). 또는, 카운터(192)에서 카운팅 동작의 수행이 완료되었다고 인식되면 즉, 제218 단계후에, 제2 윈도우 선택부(182)는 k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 서브 윈도우가 존재하는가를 판단한다(제220 단계).
만일, k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 서브 윈도우가 존재한다고 판단되면, 제2 윈도우 선택부(182)는 선택되지 않은 다음 윈도우를 선택한다(제212 단계). 그러나, k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 서브 윈도우가 존재하지 않는다고 판단되면, 제2 윈도우 선택부(182)의 제어하에, 카운터(192)는 k번째 그룹에 속하는 서브 윈도우들중에서 얼굴 영상인 것으로 검증된 서브 윈도우의 개수로서 개수 가산부(122)로 카운팅된 결과를 출력한다. 이 때, k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 서브 윈도우가 존재하지 않는다고 판단되면, 제2 윈도우 선택부(182)는 제N 분류기(190)로부터 입력한 검사된 결과에 통해 k번째 그룹에 속하는 서브 윈도우들중에서 얼굴 영상인 것으로 검증된 서브 윈도우들을 출력단자 OUT6을 통해 통합부(126)로 출력한다.
한편, 제150 단계후에, 개수 가산부(122)는 선택된 k번째 그룹에 포함된 서브 윈도우들중에서 얼굴 영상인 것으로 얼굴 검증부(120)에서 검증된 서브 윈도우의 개수 즉, 카운터(192)에서 최종적으로 카운팅된 결과와 윈도우 개수를 가산하고, 가산된 결과를 제3 개수 비교부(124)로 출력한다(제152 단계). 즉, 제152 단계에서, 개수 가산부(122)는 카운팅된 결과를 이용하여 윈도우 개수를 갱신한다.
제152 단계후에, 제3 개수 비교부(124)는 개수 가산부(122)에서 가산된 결과와 제2 임계값을 비교하고, 비교된 결과를 통합부(126) 및 제어부(112)로 출력한다(제154 단계). 즉, 제3 개수 비교부(124)는 개수 가산부(122)에서 가산된 결과가 제2 임계값 이상인가를 판단한다.
통합부(126)는 제2 개수 비교부(118)에서 비교된 결과를 통해 k번째 그룹의 윈도우 개수가 제2 임계값 이상인 것으로 인식되면, 그룹핑부(110)에서 선택된 k번째 그룹에 포함된 서브 윈도우들을 통합하고, 통합된 결과를 흑백 영상에 포함된 k번째 그룹의 얼굴 영상으로서 출력단자 OUT4를 통해 출력한다(제156 단계). 또는, 통합부(126)는 제3 개수 비교부(124)에서 비교된 결과를 통해 가산된 결과가 제2 임계값 이상인 것으로 인식되면, 얼굴 검증부(120)의 예를 들면 제2 윈도우 선택부(182)로부터 입력한 검증된 서브 윈도우들을 통합하고, 통합된 결과를 흑백 영상에 포함된 k번째 그룹의 얼굴 영상으로서 출력단자 OUT4를 통해 출력한다(제156 단계).
이 때, 제어부(112)는 제3 개수 비교부(124)에서 가산된 결과인 갱신된 윈도우 개수가 제2 임계값보다 적은 것으로 인식되면, k가 K인가를 판단한다(제158 단계). 즉, 제어부(112)는 제3 개수 비교부(124)에서 비교된 결과를 통해 갱신된 윈도우 개수가 제2 임계값보다 적은 것으로 인식되면, 모든 그룹들이 검증되었는가를 판단한다. 또한, 제어부(112)는 통합부(126)에서 서브 윈도우들의 통합이 완료되었을 때, k가 K인가를 판단할 수도 있다(제158 단계). 만일, k가 K가 아닌 것으로 판단되면, 제어부(112)는 k를 1만큼 증가시키고, 증가된 k에 상응하여 제어 신호를 발생하여 그룹핑부(110)로 출력한다(제160 단계). 따라서, 그룹핑부(110)는 1만큼 증가된 k번째 그룹을 선택하여 개수 검사부(114), 얼굴 검증부(120) 및 통합부(126)로 각각 출력한다.
도 15 (a) 및 (b)들은 도 1에 도시된 서브 윈도우 검출부(14) 및 후 처리부(16)에서 각각 출력되는 영상의 예시적인 도면들이다.
도 1에 도시된 서브 윈도우 검출부(14)는 서브 윈도우들을 예를 들면 도 15 (a)에 도시된 바와 같이 검출하여 후 처리부(16)로 출력한다. 즉, 서브 윈도우 검출부(14)는 얼굴 영상으로서 검출된 도 15 (a)에 도시된 바와 같은 서브 윈도우들을 저장한다. 이 때, 후 처리부(16)는 도 15 (a)에 도시된 서브 윈도우들의 세 그룹들 각각에 포함된 서브 윈도우들 각각이 얼굴 영상인가의 여부를 검증하고, 검증된 결과에 따라 서브 윈도우들을 통합하며, 예를 들면 도 15 (b)에 도시된 바와 같은 통합된 결과를 흑백 영상에 포함된 얼굴 영상으로서 출력한다. 도 15 (a)에 도시된 세 개의 그룹들중에서 두 개의 그룹들은 후 처리부(16)에서 얼굴 영상이 아닌 것으로 검증되었으며 그 결과, 도 15 (b)에 도시된 바와 같이 서브 윈도우들이 통합된 결과 즉, 하나의 얼굴 영상이 후 처리부(16)로부터 출력됨을 알 수 있다.
본 발명에 의하면, 도 1에 도시된 얼굴 검출 장치는 얼굴 저장부(18)를 더 마련할 수도 있다. 이 경우, 도 2에 도시된 얼굴 검출 방법은 제38 단계를 더 마련할 수도 있다. 제36 단계후에, 얼굴 저장부(18)는 후 처리부(16)로부터 입력한 얼굴 영상의 정보 즉, 얼굴 영상의 위치 및 크기중 적어도 하나를 저장하고, 저장된 결과를 출력단자 OUT1을 통해 출력한다(제38 단계). 여기서, 얼굴 영상의 정보는 얼굴을 인식하는 데 이용될 수 있다.
도 16은 본 발명의 성능을 파악하기 위한 실험 환경의 모습을 나타내는 도면으로서, ① ~ ⑮는 카메라로부터 화자의 위치를 나타낸다.
도 16에 도시된 바와 같이, 본 발명에 의한 얼굴 검출 장치 및 방법을 로봇에 적용되고, 로봇에 장착된 카메라의 촬영 방향을 실험실 정면과 양쪽 측면들(45° 및 270°)의 방향들로 설정하고, 카메라와 화자들간의 간격을 1, 2, 3, 4 및 5미터로 설정하고, 화자들에 대해 촬영한 이미지의 크기를 640×480으로 설정하고, 이미지의 개수를 화자 일 인당 15장씩 14명으로부터 총 210장으로 설정한다.
이 때, 전술한 미국 특허 공개 번호 US2002/0102024에 개시된 종래의 'Viola-Jones'에 의한 얼굴 검출 방법에서 제0 ~ 제24 분류기들이 사용되고, 본 발명에 의한 서브 윈도우 검출부(14A)에서 제0 ~ 제16 분류기들을 사용하고, 후 처리부(16A)의 얼굴 검증부(120A)에서 제10 ~ 제24 분류기들을 사용한다고 가정한다. 이 경우, 본 발명에 의한 얼굴 검출 장치 및 방법과 종래의 방법은 다음 표 1과 같 이 비교된다.
검출 방법 | DR(%) | FAR(%) | PRC(%) | F |
Viola-Jones(제0~ 제24 분류기들) | 95.2 | 41.4 | 69.7 | 0.805 |
Viola-Jones(제0~ 제16 분류기들) | 98.1 | 77.1 | 56.0 | 0.801 |
본 발명 | 98.1 | 6.2 | 94.1 | 0.960 |
여기서, DR은 검출율(Detection Rate)로서 다음 수학식 11과 같이 표현되고, FAR은 오 알람 율(False Alarm Rate)로서 다음 수학식 12와 같이 표현되고, PRC는 정밀도(Precision)로서 다음 수학식 13과 같이 표현되고, F는 동일한 가중치(0~1)를 갖는 PRC와 DR의 조화 평균(harmonic mean)으로서 다음 수학식 14와 같이 표현된다.
여기서, #1은 도 1에 도시된 검출 장치를 이용하여 검출에 성공한 얼굴의 개수를 나타내고, #2는 도 1에 도시된 검출 장치가 검출에 실패한 얼굴의 개수를 나타낸다.
여기서, #3은 도 1에 도시된 검출 장치가 얼굴이라고 검출하였지만 실제로는 얼굴이 아닌 배경에 해당하는 것으로, 검출 장치가 얼굴로 오 검출한 결과를 나타내는 개수이다. #4는 실제 얼굴의 개수이며 도 1에 도시된 검출 장치에서 검출에 성공한 얼굴 개수(#1)와 검출에 실패한 얼굴 개수(#2)의 합을 나타내는 것으로서, 실제 영상 내에 존재하는 얼굴의 개수를 나타낸다.
한편, 본 발명에 의한 얼굴 검출 장치 및 방법의 경우 얼굴 영상이라고 간주되는 서브 윈도우들을 상위 분류기들만을 이용하여 검출하므로, 본 발명에서 얼굴 영상을 검출하는 시간이 종래의 얼굴 검출 방법보다 약간 감소하고, 얼굴과 배경이 모호한 영역에 대해서만 즉, 윈도우 개수가 제1 임계값 이상이고 제2 임계값 보다 적은 그룹에 대해서만 플립 피쳐를 이용하여 서브 윈도우를 검증하므로 검증 시간이 약간 증가한다. 그러나, 검증되는 그룹에 속하는 윈도우의 개수가 보통 50개 미만이므로, 본 발명에서 검출에 소요되는 시간의 감소분과 검증에 소요되는 시간의 증분량을 합하면, 본 발명에 의한 얼굴 검출 방법은 종래의 얼굴 검출 방법과 대략 비슷한 시간을 소요하면서 얼굴을 검출할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의한 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법은 상위 분류기들을 이용하여 얼굴 영상인 서브 윈도우를 검출하므로 검출율과 오검출율을 모두 증가시키며 얼굴 영상이라고 간주된 서브 윈도우들이 얼굴 영상인가를 하위 분류기들을 이용하여 검증하므로 오검출율을 감소시키기 때문에 전반적으로 오검출율을 감소시키면서도 검출율을 증가시킬 수 있고, 즉, 계산 속도가 빠른 '아다 부스트를 이용한 얼굴 검출 기술'의 검출율을 유지하면서 오검출을 줄일 수 있고, 얼굴 영상이라고 간주되는 서브 윈도우를 검출한 후 검출된 서브 윈도우들을 검증하기 때문에 얼굴 검출의 정확도를 향상시키고, 플립 피쳐를 이용하여 서브 윈도우를 검증하므로 얼굴 검출의 시간을 증가시키지 않고 두 가지 형태의 분류기들을 사용하는 것과 동일한 효과를 제공하여 얼굴 검출의 정확도를 향상시키고, 서브 윈도우의 크기에 따라 제1 및 제2 임계값들을 가변시키므로 즉, 큰 서브 윈도우에 대해서는 제1 및 제2 임계값을 증가시키므로 오검출을 상당히 줄일 수 있는 잇점을 갖는다.
Claims (23)
- 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 영상의 얼굴 검출 장치에 있어서,흑백 영상을 서브 윈도우들로 분할하는 영상 분할부(12);상기 분류기들중 일부인 상위 분류기들을 이용하여, 상기 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 상기 얼굴 영상으로서 검출된 상기 서브 윈도우를 저장하는 서브 윈도우 검출부(14); 및상기 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 상기 분류기들중 일부인 하위 분류기들을 이용하여, 상기 그룹에 포함된 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 상기 검증된 결과에 따라 상기 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 출력하는 후 처리부(16)를 구비하고,상기 윈도우 개수는 상기 그룹에 포함된 서브 윈도우의 개수에 해당하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 제1 항에 있어서, 상기 얼굴 영상 검출 장치는,상기 흑백 영상의 적분 영상을 생성하고, 생성된 적분 영상을 상기 영상 분할부로 출력하는 영상 적분부(10)를 더 구비하고,상기 영상 분할부(12)는 상기 적분 영상을 상기 서브 윈도우들로 분할하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 제1 항에 있어서, 상기 영상의 얼굴 검출 장치는상기 후 처리부(16)로부터 입력한 상기 얼굴 영상의 위치 및 크기중 적어도 하나를 저장하는 얼굴 저장부(18)를 더 구비하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 제1 항에 있어서, 상기 서브 윈도우 검출부(14)는상기 분할된 서브 윈도우들중 하나를 선택하는 제1 윈도우 선택부(50);상기 선택된 서브 윈도우의 피쳐를 추출하는 제1 피쳐 추출부(56);상기 상위 분류기들인 제1 ~ 제n2 (여기서, n2는 상기 분류기들의 전체 개수보다 적다.) 분류기들(58,60...62,64); 및상기 제n2 분류기(64)에서 검사된 결과에 응답하여 상기 선택된 서브 윈도우를 저장하는 윈도우 저장부(66)를 구비하고,제x(1≤x≤n2) 분류기는 상기 제1 피쳐 추출부(56)에서 추출된 피쳐를 이용하여 상기 선택된 서브 윈도우가 상기 얼굴 영상인가를 검사하고,상기 제1 윈도우 선택부(50)는 상기 제1 ~ 제n2 분류기들(58,60...62,64)에서 검사된 결과에 응답하여 다음 서브 윈도우를 선택하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 제4 항에 있어서, 상기 서브 윈도우 검출부(14)는상기 선택된 서브 윈도우의 분산을 계산하는 분산 계산부(52); 및상기 계산된 분산과 소정값을 비교하는 분산 비교부(54)를 더 구비하고,상기 제1 피쳐 추출부(56)는 상기 분산 비교부(54)에서 비교된 결과에 응답하여 상기 선택된 서브 윈도우의 피쳐를 추출하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 제5 항에 있어서, 상기 소정값은 400인 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 제1 항 또는 제4 항에 있어서, 상기 후 처리부(16)는상기 저장된 서브 윈도우들을 그룹핑하고, 그룹핑된 그룹들을 제어 신호에 응답하여 하나씩 선택하여 출력하는 그룹핑부(110);상기 선택된 그룹의 윈도우 개수를 검사하는 개수 검사부(114);상기 윈도우 개수와 제1 임계값을 비교하는 제1 개수 비교부(116);상기 제1 개수 비교부에서 비교된 결과에 응답하여, 윈도우 개수와 제2 임계값을 비교하는 제2 개수 비교부(118);상기 제2 개수 비교부에서 비교된 결과에 응답하여, 상기 하위 분류기들을 이용하여, 상기 선택된 그룹에 포함된 상기 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 검증된 결과를 출력하는 얼굴 검증부(120);상기 선택된 그룹에 포함된 서브 윈도우들중에서 상기 얼굴 영상인 것으로 상기 얼굴 검증부에서 검증된 서브 윈도우의 개수와 상기 윈도우 개수를 가산하는 개수 가산부(122);상기 가산된 결과와 상기 제2 임계값을 비교하는 제3 개수 비교부(124);상기 제2 또는 상기 제3 개수 비교부에서 비교된 결과에 응답하여, 상기 선택된 그룹에 포함된 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 출력하는 통합부(126); 및상기 제어 신호를 발생하는 제어부(112)를 구비하고, 상기 제2 임계값을 상기 제1 임계값보다 큰 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 제10 항에 있어서, 상기 얼굴 검증부(120)는상기 제2 개수 비교부에서 비교된 결과에 응답하여, 상기 선택된 그룹에 포함된 서브 윈도우들중 하나를 선택하는 제2 윈도우 선택부(182);상기 제2 윈도우 선택부에서 선택된 서브 윈도우의 피쳐를 추출하는 제2 피쳐 추출부(184);상기 하위 분류기들인 제n'1 ~ 제N(여기서, N은 상기 분류기들의 전체 개수이다.) 분류기들(186,...190); 및상기 제N 분류기에서 검사된 결과에 응답하여 카운팅 동작을 수행하고, 카운팅된 결과를 상기 개수 가산부로 출력하는 카운터(192)를 구비하고,제y(n'1≤y≤N) 분류기는 상기 제2 윈도우 선택부(182)에서 선택된 서브 윈도우가 상기 얼굴 영상인가를 상기 제2 피쳐 추출부(184)에서 추출된 피쳐를 이용하여 검증하고,상기 제2 윈도우 선택부(182)는 상기 제n'1 ~ 제N 분류기들(186,...190)에서 검사된 결과에 응답하여 다음 서브 윈도우를 선택하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 제11 항에 있어서, 상기 제2 피쳐 추출부(184)상기 제1 피쳐 추출부(56)에서 추출된 상기 피쳐를 수직 또는 수평으로 대칭 이동하고, 대칭 이동한 결과를 상기 제2 윈도우 선택부에서 선택된 서브 윈도우의 피쳐로서 출력하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 제14 항에 있어서, 상기 상위 분류기들과 상기 하위 분류기들은 일부 중복되는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치.
- 부스트 알고리즘에 의해 생성된 분류기들을 이용하여 영상에서 얼굴을 검출하는 영상의 얼굴 검출 방법에 있어서,(a) 흑백 영상을 서브 윈도우들로 분할하는 단계;(b) 상기 분류기들중 일부인 상위 분류기들을 이용하여, 상기 분할된 서브 윈도우들중에서 얼굴 영상인 서브 윈도우를 검출하고, 상기 얼굴 영상으로서 검출된 상기 서브 윈도우를 저장하는 단계; 및(c) 상기 저장된 서브 윈도우들에 의해 형성된 그룹별로, 윈도우 개수 및 상기 분류기들중 일부인 하위 분류기들을 이용하여, 상기 그룹에 포함된 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하고, 상기 검증된 결과에 따라 상기 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 얼굴 영상으로서 결정하는 단계를 구비하고,상기 윈도우 개수는 상기 그룹에 포함된 서브 윈도우의 개수에 해당하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
- 제16 항에 있어서, 상기 얼굴 영상 검출 방법은,상기 흑백 영상의 적분 영상을 생성하는 단계를 더 구비하고,상기 (a) 단계에서, 상기 적분 영상을 상기 서브 윈도우로 분할하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
- 제16 항에 있어서, 상기 영상의 얼굴 검출 방법은상기 통합된 결과인 상기 얼굴 영상의 위치 및 크기중 적어도 하나를 저장하는 단계를 더 구비하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
- 제16 항에 있어서, 상기 (b) 단계는(b1) 상기 분할된 서브 윈도우들중 하나를 선택하는 단계;(b2) 상기 선택된 서브 윈도우의 피쳐를 추출하는 단계;(b3) 상기 상위 분류기들인 제1 ~ 제n2 (여기서, n2는 상기 분류기들의 전체 개수보다 적다.) 분류기들에서, 상기 추출된 피쳐를 이용하여 상기 선택된 서브 윈도우가 상기 얼굴 영상인가를 판단하는 단계;(b4) 상기 선택된 서브 윈도우가 상기 얼굴 영상인 것으로 판단되면, 상기 선택된 서브 윈도우를 저장하는 단계; 및(b5) 상기 분할된 서브 윈도우들중 선택되지 않은 상기 서브 윈도우가 존재하는가를 판단하고, 상기 선택되지 않은 서브 윈도우가 존재한다고 판단되면 상기 (b1) 단계로 진행하고, 상기 선택되지 않은 서브 윈도우가 존재하지 않는다고 판단되면 상기 (c) 단계로 진행하는 단계를 구비하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
- 제19 항에 있어서, 상기 (b) 단계는상기 선택된 서브 윈도우의 분산을 구하는 단계; 및상기 분산이 소정값보다 큰가를 판단하고, 상기 분산이 상기 소정값보다 큰 것으로 판단되면 상기 피쳐를 추출하는 단계로 진행하는 단계를 더 구비하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
- 제16 항 또는 제19 항에 있어서, 상기 (c) 단계는(c1) 상기 저장된 서브 윈도우들을 그룹핑하고, k를 1로 설정하는 단계;(c2) k번째 그룹의 상기 윈도우 개수를 구하는 단계;(c3) k번째 그룹의 상기 윈도우 개수가 제1 임계값 이상인가를 판단하는 단계;(c4) 상기 k 번째 그룹의 상기 윈도우 개수가 상기 제1 임계값 이상인 것으로 인식되면, 상기 k번째 그룹의 상기 윈도우 개수가 제2 임계값 이상인가를 판단하는 단계;(c5) 상기 k번째 그룹의 상기 윈도우 개수가 상기 제2 임계값 보다 적은 것으로 판단되면, 상기 하위 분류기들을 이용하여, 상기 k번째 그룹에 포함된 상기 서브 윈도우들 각각이 상기 얼굴 영상인가의 여부를 검증하는 단계;(c6) 상기 k번째 그룹에 포함된 서브 윈도우들중에서 상기 얼굴 영상인 것으로 검증된 서브 윈도우의 개수와 상기 윈도우 개수를 가산하는 단계;(c7) 상기 가산된 결과가 상기 제2 임계값 이상인가를 판단하는 단계;(c8) 상기 k번째 그룹의 상기 윈도우 개수가 상기 제2 임계값 이상인 것으로 판단되거나 상기 가산된 결과가 상기 제2 임계값 이상인 것으로 판단되면, 상기 k번째 그룹에 포함된 서브 윈도우들을 통합하고, 통합된 결과를 상기 흑백 영상에 포함된 k번째 그룹의 얼굴 영상으로서 결정하는 단계;(c9) k가 K(여기서, K는 상기 그룹들의 총 개수이다.)인가를 판단하는 단계; 및(c10) 상기 k가 K가 아닌 것으로 판단되면, k를 1만큼 증가시키고 상기 (c3) 단계로 진행하는 단계를 구비하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
- 제21 항에 있어서, 상기 (c5) 단계는(c51) 상기 k번째 그룹의 상기 윈도우 개수가 상기 제2 임계값 보다 적은 것으로 판단되면, 상기 k번째 그룹에 포함된 서브 윈도우들중 하나를 선택하는 단계;(c52) 상기 (c51) 단계에서 선택된 서브 윈도우의 피쳐를 추출하는 단계;(c53) 상기 하위 분류기들인 제n'1 ~ 제N(여기서, N은 상기 분류기들의 전체 개수이다.) 분류기들에서, 상기 (c51) 단계에서 선택된 서브 윈도우가 상기 얼굴 영상인가를 상기 (c52) 단계에서 추출된 상기 피쳐를 이용하여 판단하는 단계;(c54) 상기 (c51) 단계에서 선택된 서브 윈도우가 상기 얼굴 영상인 것으로 판단되면, 카운팅 동작을 수행하는 단계; 및(c55) 상기 k번째 그룹에 포함된 서브 윈도우들중 선택되지 않은 상기 서브 윈도우가 존재하는가를 판단하는 단계를 구비하고,상기 선택되지 않은 서브 윈도우가 존재한다고 판단되면, 상기 (c51) 단계에서 다음 윈도우를 선택하고,상기 선택되지 않은 서브 윈도우가 존재하지 않는다고 판단되면, 상기 카운팅된 결과를 상기 (c6) 단계에서 상기 얼굴 영상인 것으로 검증된 서브 윈도우의 개수로서 이용하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
- 제22 항에 있어서, 상기 (c5) 단계는상기 (c51) 단계후에, 상기 (b2) 단계에서 추출한 상기 피쳐를 수직 또는 수평으로 대칭 이동하고, 상기 대칭 이동한 결과를 상기 (c51) 단계에서 선택된 서브 윈도우의 상기 피쳐로서 결정하는 것을 특징으로 하는 부스트 알고리즘을 이용한 영상의 얼굴 검출 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040103672A KR100682906B1 (ko) | 2004-12-09 | 2004-12-09 | 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법 |
US11/171,277 US7835541B2 (en) | 2004-12-09 | 2005-07-01 | Apparatus, method, and medium for detecting face in image using boost algorithm |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040103672A KR100682906B1 (ko) | 2004-12-09 | 2004-12-09 | 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060064974A KR20060064974A (ko) | 2006-06-14 |
KR100682906B1 true KR100682906B1 (ko) | 2007-02-15 |
Family
ID=36583929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040103672A KR100682906B1 (ko) | 2004-12-09 | 2004-12-09 | 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7835541B2 (ko) |
KR (1) | KR100682906B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101175597B1 (ko) * | 2011-09-27 | 2012-08-21 | (주)올라웍스 | 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
US7630006B2 (en) * | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7689009B2 (en) | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
JP4383399B2 (ja) * | 2004-11-05 | 2009-12-16 | 富士フイルム株式会社 | 検出対象画像検索装置およびその制御方法 |
KR100764130B1 (ko) * | 2005-03-29 | 2007-10-05 | (주)제니텀 엔터테인먼트 컴퓨팅 | 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템 |
JP4708909B2 (ja) * | 2005-08-09 | 2011-06-22 | 富士フイルム株式会社 | デジタル画像の対象物検出方法および装置並びにプログラム |
KR100755800B1 (ko) * | 2006-06-21 | 2007-09-07 | 한국과학기술원 | 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법 |
JP4858832B2 (ja) * | 2006-08-17 | 2012-01-18 | 富士ゼロックス株式会社 | 駆動切換え機構及びこれを有する画像形成装置 |
JP4845755B2 (ja) | 2007-01-30 | 2011-12-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
EP2145288A4 (en) | 2007-03-05 | 2013-09-04 | Digitaloptics Corp Europe Ltd | FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION |
JP4289415B2 (ja) * | 2007-03-27 | 2009-07-01 | セイコーエプソン株式会社 | 画像変形のための画像処理 |
US7983480B2 (en) * | 2007-05-17 | 2011-07-19 | Seiko Epson Corporation | Two-level scanning for memory saving in image detection systems |
US7890443B2 (en) * | 2007-07-13 | 2011-02-15 | Microsoft Corporation | Learning classifiers using combined boosting and weight trimming |
US8010471B2 (en) * | 2007-07-13 | 2011-08-30 | Microsoft Corporation | Multiple-instance pruning for learning efficient cascade detectors |
US7822696B2 (en) * | 2007-07-13 | 2010-10-26 | Microsoft Corporation | Histogram-based classifiers having variable bin sizes |
US8503818B2 (en) * | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
JP5101993B2 (ja) * | 2007-11-01 | 2012-12-19 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
KR101362768B1 (ko) * | 2007-11-23 | 2014-02-14 | 삼성전자주식회사 | 객체 검출 방법 및 장치 |
US8212864B2 (en) | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
JP4539729B2 (ja) * | 2008-02-15 | 2010-09-08 | ソニー株式会社 | 画像処理装置、カメラ装置、画像処理方法、およびプログラム |
US8233676B2 (en) * | 2008-03-07 | 2012-07-31 | The Chinese University Of Hong Kong | Real-time body segmentation system |
US8538171B2 (en) * | 2008-03-28 | 2013-09-17 | Honeywell International Inc. | Method and system for object detection in images utilizing adaptive scanning |
US8634645B2 (en) * | 2008-03-28 | 2014-01-21 | Smart Technologies Ulc | Method and tool for recognizing a hand-drawn table |
US8244044B2 (en) * | 2008-04-25 | 2012-08-14 | Microsoft Corporation | Feature selection and extraction |
US8015132B2 (en) * | 2008-05-16 | 2011-09-06 | Samsung Electronics Co., Ltd. | System and method for object detection and classification with multiple threshold adaptive boosting |
TWI413003B (zh) * | 2008-07-23 | 2013-10-21 | Altek Corp | Face recognition of the automatic camera method |
US8909572B2 (en) * | 2008-10-03 | 2014-12-09 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for performing classification using a boosted classifier |
KR101522985B1 (ko) * | 2008-10-31 | 2015-05-27 | 삼성전자주식회사 | 영상처리 장치 및 방법 |
KR100977756B1 (ko) * | 2008-11-18 | 2010-08-25 | 한국과학기술원 | 피부색영역 기반 얼굴검출을 위한 적분영상 생성방법 |
US8121358B2 (en) * | 2009-03-06 | 2012-02-21 | Cyberlink Corp. | Method of grouping images by face |
US8531478B2 (en) * | 2009-03-19 | 2013-09-10 | Cyberlink Corp. | Method of browsing photos based on people |
CN101853389A (zh) * | 2009-04-01 | 2010-10-06 | 索尼株式会社 | 多类目标的检测装置及检测方法 |
JP5517504B2 (ja) * | 2009-06-29 | 2014-06-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US8170332B2 (en) * | 2009-10-07 | 2012-05-01 | Seiko Epson Corporation | Automatic red-eye object classification in digital images using a boosting-based framework |
WO2011080599A1 (en) * | 2009-12-30 | 2011-07-07 | Nokia Corporation | Method, device and computer program product for detecting objects in digital images |
US8401250B2 (en) * | 2010-02-19 | 2013-03-19 | MindTree Limited | Detecting objects of interest in still images |
US9053681B2 (en) * | 2010-07-07 | 2015-06-09 | Fotonation Limited | Real-time video frame pre-processing hardware |
KR101972356B1 (ko) * | 2010-12-21 | 2019-04-25 | 한국전자통신연구원 | 상반신 검출장치 및 검출방법 |
US8565482B2 (en) * | 2011-02-28 | 2013-10-22 | Seiko Epson Corporation | Local difference pattern based local background modeling for object detection |
US20140314273A1 (en) * | 2011-06-07 | 2014-10-23 | Nokia Corporation | Method, Apparatus and Computer Program Product for Object Detection |
US9092675B2 (en) * | 2012-03-29 | 2015-07-28 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
US9443137B2 (en) | 2012-05-08 | 2016-09-13 | Samsung Electronics Co., Ltd. | Apparatus and method for detecting body parts |
US10694106B2 (en) | 2013-06-14 | 2020-06-23 | Qualcomm Incorporated | Computer vision application processing |
KR102439938B1 (ko) | 2015-08-03 | 2022-09-05 | 삼성전자주식회사 | 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법 |
KR102299847B1 (ko) * | 2017-06-26 | 2021-09-08 | 삼성전자주식회사 | 얼굴 인증 방법 및 장치 |
US11995511B2 (en) | 2018-02-08 | 2024-05-28 | Digimarc Corporation | Methods and arrangements for localizing machine-readable indicia |
US10958807B1 (en) * | 2018-02-08 | 2021-03-23 | Digimarc Corporation | Methods and arrangements for configuring retail scanning systems |
US10880451B2 (en) | 2018-06-08 | 2020-12-29 | Digimarc Corporation | Aggregating detectability metrics to determine signal robustness |
US11700445B2 (en) | 2021-10-28 | 2023-07-11 | Microsoft Technology Licensing, Llc | Adaptive multi-scale face and body detector |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4577235A (en) * | 1984-08-20 | 1986-03-18 | The Mead Corporation | Text/continuous tone image decision processor |
CN1184542A (zh) * | 1995-03-20 | 1998-06-10 | Lau技术公司 | 识别图象的系统和方法 |
US7099510B2 (en) * | 2000-11-29 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Method and system for object detection in digital images |
US7194134B2 (en) * | 2001-01-02 | 2007-03-20 | Microsoft Corporation | Hierarchical, probabilistic, localized, semantic image classifier |
US7050607B2 (en) * | 2001-12-08 | 2006-05-23 | Microsoft Corp. | System and method for multi-view face detection |
KR100580626B1 (ko) * | 2003-10-31 | 2006-05-16 | 삼성전자주식회사 | 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템 |
-
2004
- 2004-12-09 KR KR1020040103672A patent/KR100682906B1/ko not_active IP Right Cessation
-
2005
- 2005-07-01 US US11/171,277 patent/US7835541B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101175597B1 (ko) * | 2011-09-27 | 2012-08-21 | (주)올라웍스 | 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 |
WO2013048159A1 (ko) * | 2011-09-27 | 2013-04-04 | (주)올라웍스 | 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 |
US9202109B2 (en) | 2011-09-27 | 2015-12-01 | Intel Corporation | Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm |
US9563821B2 (en) | 2011-09-27 | 2017-02-07 | Intel Corporation | Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm |
Also Published As
Publication number | Publication date |
---|---|
KR20060064974A (ko) | 2006-06-14 |
US7835541B2 (en) | 2010-11-16 |
US20060126938A1 (en) | 2006-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100682906B1 (ko) | 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
CN109882019B (zh) | 一种基于目标检测和动作识别的汽车电动尾门开启方法 | |
CN110163033B (zh) | 正样本获取方法、行人检测模型生成方法和行人检测方法 | |
CN103093212B (zh) | 基于人脸检测和跟踪截取人脸图像的方法和装置 | |
US7840037B2 (en) | Adaptive scanning for performance enhancement in image detection systems | |
CN106056079B (zh) | 一种图像采集设备及人脸五官的遮挡检测方法 | |
CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
CN102496001B (zh) | 一种视频监控目标自动检测的方法和系统 | |
CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
US7643674B2 (en) | Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture | |
CN113658192B (zh) | 一种多目标行人的轨迹获取方法、系统、装置及介质 | |
CN109902576B (zh) | 一种头肩图像分类器的训练方法及应用 | |
CN107909027A (zh) | 一种具有遮挡处理的快速人体目标检测方法 | |
US11532148B2 (en) | Image processing system | |
CN101364263A (zh) | 对图像进行皮肤纹理检测的方法及系统 | |
CN101950448B (zh) | Atm的伪装与偷窥行为检测的方法和系统 | |
CN106778731B (zh) | 一种车牌定位方法及终端 | |
CN102254183A (zh) | 一种基于AdaBoost算法的人脸检测方法 | |
CN111950546B (zh) | 一种车牌识别方法、装置、计算机设备和存储介质 | |
CN106778800A (zh) | 一种AdaBoost级联分类器快速检测方法 | |
CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
CN112307894A (zh) | 一种社区监控场景下基于皱纹特征和姿态特征的行人年龄识别方法 | |
Borhade et al. | Advanced driver assistance system | |
Phung et al. | Detecting people in images: An edge density approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130115 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140124 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150116 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160119 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20170119 Year of fee payment: 11 |
|
LAPS | Lapse due to unpaid annual fee |