KR101449744B1 - Face detection device and method using region-based feature - Google Patents
Face detection device and method using region-based feature Download PDFInfo
- Publication number
- KR101449744B1 KR101449744B1 KR1020130107452A KR20130107452A KR101449744B1 KR 101449744 B1 KR101449744 B1 KR 101449744B1 KR 1020130107452 A KR1020130107452 A KR 1020130107452A KR 20130107452 A KR20130107452 A KR 20130107452A KR 101449744 B1 KR101449744 B1 KR 101449744B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- region
- window
- image
- candidate regions
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
Abstract
Description
본 발명은 얼굴 검출 장치 및 방법에 관한 것으로서, 보다 상세하게는 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법에 관한 것이다.
The present invention relates to a face detection apparatus and method, and more particularly, to a face detection apparatus and method using region-based features.
얼굴 검출은 영상에 존재하는 얼굴의 위치와 크기 등을 검출하는 것으로서 얼굴 검출 알고리즘 자체로서의 중요성뿐만 아니라, 얼굴 인식, 표정 인식 및 졸음 검출 등과 같은 다양한 응용 분야의 필수적인 알고리즘이다. 그러나 영상에 존재하는 사람의 얼굴을 정확하게 검출하는 일은 영상 자체의 다양한 배경, 인물의 포즈, 표정 및 조명 변화와 같은 환경 요소에 민감한 문제점이 있다. 따라서, 다양한 영상으로부터 정확하게 사람의 얼굴을 검출하는 방법에 대한 많은 연구가 현재까지 지속되고 있다.Face detection is an essential algorithm for various application fields such as face recognition, facial expression recognition, and drowsiness detection as well as importance of face detection algorithm itself by detecting the position and size of a face existing in the image. However, the accurate detection of a person's face in the image is problematic because it is sensitive to environmental factors such as various backgrounds of the image, pose of a person, facial expression and illumination change. Therefore, many researches on a method of accurately detecting human faces from various images have been continuing to date.
현재까지 연구되고 있는 얼굴 검출의 방법들을 크게 정리하면 다음과 같은 형태로 구분할 수 있다.The methods of face detection, which have been studied so far, can be broadly classified into the following types.
첫째 얼굴의 특징 성분에 대한 사전 지식 정보에 기반한 방법이다. 이는 사람의 얼굴 에는 얼굴의 형태 및 눈, 코, 입 등의 신체 구성 요소들이 상호간의 일정한 거리 및 위치 관계를 가지고 있다는 가정을 이용하여 얼굴을 검출하는 방법이다. 그러나 이와 같은 방법은 정면과 측면 영상에 대해 서로 다른 형태 모델이 필요하기 때문에 얼굴 검출기의 모델이 복잡해지며, 얼굴의 각도, 기울기, 가려짐 등의 변화에 대해서는 얼굴 검출이 어려운 문제점이 존재한다.First, it is a method based on prior knowledge information about feature components of face. This is a method of detecting a face by using the assumption that the human face has a certain distance and positional relationship between the face components and the body components such as eyes, nose, and mouth. However, such a method requires a different morphological model for the frontal and lateral images, which complicates the model of the face detector. For such a change in face angle, inclination, and obscuration, face detection is difficult.
둘째, 얼굴 특징 모델에 대한 템플릿 매칭을 이용한 방법이다. 템플릿 매칭 기법이란 얼굴 학습 데이터를 이용하여 얼굴 표준 모형에 대한 템플릿을 생성하여 테스트 영상에 대하여 학습한 템플릿과 비교하여 비슷한 특징을 가지는 영역을 얼굴로 검출하는 방법이다. 이와 같은 방법은 다양한 종류의 영상 내 존재하는 얼굴 영역의 크기 변화, 시선 방향에 따른 왜곡에 민감할 뿐만 아니라 다양한 인종, 표정 및 자세를 고려한 표준 얼굴 모델에 대한 템플릿을 생성하기 힘든 문제점이 있다. 또한 템플릿 매칭을 위하여 얼굴 후보 영역의 모든 크기 및 위치 정보를 고려해야 하기 때문에 검출에 많은 소요 시간이 요구된다.Second, it uses template matching for face feature model. The template matching method is a method of generating a template for a face standard model by using face learning data and comparing the template with the template learned for a test image to detect an area having similar characteristics as a face. Such a method is not only susceptible to a change in the size of a face region existing in various kinds of images, distortion according to a direction of the eyes, but also has a problem that it is difficult to generate a template for a standard face model considering various races, facial expressions and postures. Also, since all size and position information of the face candidate region must be considered for template matching, a long time is required for detection.
셋째, 특징기반 분별 학습 모델을 이용한 방법이다. 이는 훈련 데이터로부터 다양한 종류의 특징을 추출하고, 얼굴 영역에서 추출한 특징과 비 얼굴 영역에서 추출한 특징을 분류해 낼 수 있는 분별학습에 따른 구별 모델을 생성하고, 이를 이용하여 영상에서 얼굴 영역을 검출하는 방법이다. 다양한 특징으로부터 얼굴과 비얼굴 영역을 구분하기 위한 SVM, LDA 등의 다양한 기계학습 방법이 존재하며, 이는 앞에서 소개한 방법들의 제약 조건을 극복하고 얼굴 검출에 있어서 좋은 성능을 보인다. 그러나 구별 모델을 학습하기 위하여 많은 훈련데이터가 필요하며, 모델 학습에 많은 시간이 소요될 뿐만 아니라, 구별 모델이 학습 데이터에 영향을 받기 때문에 일반화 성능이 떨어지는 문제점이 있다.
Third, it is a method using feature based learning model. It extracts various kinds of features from training data, generates a discriminant model based on discriminant learning that can classify the features extracted from the face region and the features extracted from the non-face region, and detects the face region from the image Method. There are various machine learning methods such as SVM and LDA for distinguishing face and non-face areas from various features. This overcomes the constraints of the above-mentioned methods and shows good performance in face detection. However, many training data are needed to learn the distinction model, and it takes a lot of time to learn the model. Also, since the distinction model is influenced by the learning data, there is a problem that generalization performance deteriorates.
본 발명이 이루고자 하는 기술적 과제는 영역 기반 특징 훈련 방법을 이용하여 얼굴 검출기 학습 시간을 감소시키는 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법을 제공하는데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an apparatus and method for detecting a face using region-based features that reduce a face detector learning time using a region-based feature training method.
본 발명이 이루고자 하는 다른 기술적 과제는 얼굴 후보 영역에 대한 후처리 필터를 결합하여 오검출율을 낮추면서 정검출율이 향상되는 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법을 제공하는데 있다.According to another aspect of the present invention, there is provided a face detection apparatus and method using a region-based feature in which a false detection rate is improved while a false detection rate is improved by combining a post-processing filter for a face candidate region.
본 발명이 이루고자 하는 또 다른 기술적 과제는 고해상도, 조명, 장신구 및 표정변화의 환경 요인에 영향을 받지 않는 얼굴 검출 장치 및 방법을 제공하는데 있다.
It is another object of the present invention to provide a face detection apparatus and method which are not affected by environmental factors of high resolution, illumination, trinkets and facial expression change.
영역 기반 특징을 이용한 얼굴 검출 장치는 얼굴이 포함된 영상을 수신받는 입력부 및 제어부를 포함하면서, 상기 제어부는, 상기 수신받은 영상을 기초로 얼굴 후보 영역들을 검출하는 윈도우 탐색부, 상기 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 하는 후처리 필터부, 상기 필터링된 얼굴 후보 영역을 기초로 스코어맵을 생성하는 스코어맵부, 상기 생성된 스코어맵을 기초로 얼굴 영역을 검출하는 얼굴 영역 검출부를 포함할 수 있다.A face detection apparatus using an area-based feature includes an input unit and a control unit for receiving an image including a face, wherein the control unit includes a window search unit for detecting face candidate regions based on the received image, A score map unit for generating a score map based on the filtered face candidate region, a face region detection unit for detecting a face region based on the generated score map, . ≪ / RTI >
상기 윈도우 탐색부는, 상기 영상을 기초로 영역 기반의 특징을 추출하고, 상기 추출된 특징을 기초로 윈도우 탐색 기법을 이용하여 상기 얼굴 후보 영역들을 검출할 수 있다.The window search unit may extract an area-based feature based on the image and detect the face candidate areas using a window search technique based on the extracted feature.
상기 윈도우 탐색부는 복수의 강분류기(Strong Classifier)들로 이루어지고, 상기 강분류기는 복수의 약분류기(Weak Classifier)들을 포함할 수 있다.The window search unit may include a plurality of strong classifiers, and the strong classifier may include a plurality of weak classifiers.
상기 복수의 약분류기는 캐스케이드(cascade)의 구조를 이루며 결합될 수 있다.The plurality of weak classifiers may be combined in a cascade structure.
상기 후처리 필터부는, 국부 이진 패턴(Local Binary Pattern, LBP) 특징과 기울기 히스토그램(Histograms of Oriented Gradients, HOG) 특징을 피라미드(pyramid) 형태로 쌓고, 상기 피라미드 형태로 쌓인 특징을 기초로 서포트 벡터 머신(support vector machine)를 이용하여 얼굴 영역을 판단할 수 있다.The post-processing filter unit accumulates features of a local binary pattern (LBP) and histograms of orientated gradients (HOG) in a pyramid shape, and based on features piled up in the pyramid shape, a face vector can be determined using a support vector machine.
상기 얼굴 영역 검출부는 상기 얼굴 후보 영역의 스코어맵이 사전에 설정된 임계값보다 같거나 클 경우에 상기 얼굴 영역으로 검출할 수 있다.The face area detection unit can detect the face area when the score map of the face candidate area is equal to or larger than a preset threshold value.
영역 기반 특징을 이용한 얼굴 검출 방법은 얼굴이 포함된 영상을 수신받는 단계, 상기 수신받은 영상을 기초로 얼굴 후보 영역들을 검출하는 단계, 상기 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 하는 단계, 상기 필터링된 얼굴 후보 영역을 기초로 스코어맵을 생성하는 단계 및 상기 생성된 스코어맵을 기초로 얼굴 영역을 검출하는 단계를 포함할 수 있다.
A method for detecting a face using an area-based feature includes receiving an image including a face, detecting face candidate regions based on the received image, applying a post-processing filter to the detected face candidate regions, Generating a score map based on the filtered face candidate region, and detecting a face region based on the generated score map.
본 발명에 따른 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법은 영역 기반 특징 훈련 방법을 이용하여 얼굴 검출기 학습 시간을 감소시킬 수 있다.The apparatus and method for detecting a face using region-based features according to the present invention can reduce a face detector learning time using a region-based feature training method.
또한 얼굴 후보 영역에 대한 후처리 필터를 결합하여 오검출율을 낮추면서 정검출율이 향상될 수 있다.In addition, combining the post-processing filter with the face candidate region can improve the detection rate while lowering the false detection rate.
또한 고해상도, 조명, 장신구 및 표정변화의 환경 요인에 영향을 받지 않을 수 있다.
It can also be unaffected by high resolution, environmental factors of lighting, trinkets and facial changes.
도 1은 본 발명의 일 실시예에 따른 얼굴 검출 장치의 구성요소를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 검출 장치의 실행과정을 도시한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 제어부를 설명하기 위한 예시도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 윈도우 탐색부를 위한 적응 탐색 스탭 사이즈 체계 방법을 설명하기 위한 예시도를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 강분류기를 설명하기 위한 예시도를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 강분류기를 이용한 윈도우 탐색부를 설명하기 위한 예시도를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 약분류기를 설명하기 위한 예시도를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 약분류기에 사용된 영역 기반 특징을 설명하기 위한 예시도를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스테이지당 AUC 스코어를 설명하기 위한 그래프를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 스테이지당 거부율을 설명하기 위한 그래프를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 Caltech Face DB의 얼굴 검출 성능 비교를 설명하기 위한 표를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 CAS-PEAL Face DB의 얼굴 검출 성능 비교를 설명하기 위한 표를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 얼굴 검출 방법의 수행과정을 도시한 순서도이다.1 is a block diagram illustrating components of a face detection apparatus according to an embodiment of the present invention.
FIG. 2 is an exemplary diagram illustrating an execution process of a face detection apparatus according to an embodiment of the present invention. Referring to FIG.
FIG. 3 is a diagram illustrating an example of a controller according to an embodiment of the present invention. Referring to FIG.
FIG. 4 is a diagram illustrating an exemplary method for an adaptive search step size scheme for a window search unit according to an embodiment of the present invention. Referring to FIG.
FIG. 5 is a diagram illustrating an example of a strong classifier according to an embodiment of the present invention. Referring to FIG.
FIG. 6 is a diagram illustrating an exemplary window searching unit using a strong classifier according to an embodiment of the present invention. Referring to FIG.
FIG. 7 is a diagram illustrating an example of a weak classifier according to an embodiment of the present invention. Referring to FIG.
FIG. 8 is a diagram illustrating an exemplary region-based feature used in a weak classifier according to an embodiment of the present invention.
9 is a graph illustrating an AUC score per stage according to an embodiment of the present invention.
10 is a graph illustrating a rejection rate per stage according to an embodiment of the present invention.
11 is a table illustrating a comparison of face detection performance of the Caltech Face DB according to an embodiment of the present invention.
FIG. 12 is a table illustrating a comparison of face detection performance of a CAS-PEAL Face DB according to an embodiment of the present invention.
13 is a flowchart illustrating a process of performing a face detection method according to an embodiment of the present invention.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명할 수 있다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 할 수 있다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather obvious or understandable to those skilled in the art.
도 1은 본 발명의 일 실시예에 따른 얼굴 검출 장치의 구성요소를 도시한 블록도이다.1 is a block diagram illustrating components of a face detection apparatus according to an embodiment of the present invention.
도 1을 참조하면, 얼굴 검출 장치(1)는 영역 기반 특징을 이용하여 수신된 영상의 얼굴을 검출할 수 있다. 얼굴 검출 장치(1)는 영상내 존재하는 얼굴 후보 영역을 검출하고, 영역 기반 특징을 이용하여 얼굴 영역을 검출할 수 있다. 또한 얼굴 검출 장치(1)는 후처리 필터를 포함하고 있어서 얼굴 검출의 정확도를 높일 수 있다. 얼굴 검출 장치(1)는 입력부(110), 제어부(120), 출력부(130) 및 저장부(140)를 포함할 수 있다.Referring to FIG. 1, the
입력부(110)는 영상을 수신받을 수 있다. 입력부(110)는 적어도 하나의 얼굴이 포함된 영상을 수신받을 수 있다. 상기 영상의 포맷은 BMP, JPG, JPEG, JPE, JFIF, GIF, TIF, TIFF 및 PNG 중 적어도 하나일 수 있다. The
제어부(120)는 입력부(110)에서 수신받은 영상에 포함된 얼굴에 대한 영역을 검출할 수 있다. 제어부(120)는 윈도우 탐색부(122), 후처리 필터부(124), 스코어맵부(126) 및 얼굴 영역 검출부(128)를 포함할 수 있다.The
윈도우 탐색부(122)는 수신된 영상을 기초로 얼굴 후보 영역들을 검출할 수 있다. 후처리 필터부(124)는 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 할 수 있다. 스코어맵부(126)는 필터링된 얼굴 후보 영역들을 기초로 스코어맵을 생성할 수 있다. 얼굴 영역 검출부(128)는 생성된 스코어맵을 기초로 얼굴 영역을 검출할 수 있다. The
제어부(120)는 영역기반 특징의 훈련 방법을 이용하여 얼굴 검출기 학습 시간을 감소시킬 수 있다. 또한 제어부(120)는 얼굴 후보 영역에 대한 후처리 필터를 결합함으로써 오검출율을 낮추면서 정검출율은 향상 시킬 수 있다.The
출력부(130)는 얼굴 영역을 출력할 수 있다. 출력부(130)는 수신된 영상에 포함된 얼굴 영상의 얼굴 영역을 디스플레이할 수 있다. 출력부(130)는 액정, 모니터, 프로젝터, TV 및 프린터 중 적어도 하나를 포함할 수 있다.The
저장부(140)는 입력부(110)에서 수신받은 영상이 저장될 수 있다. 저장부(140)는 제어부(120)에서 검출된 얼굴 후보 영역 및 얼굴 영역이 저장될 수 있다. 또한 저장부(140)는 상기 생성된 스코어맵이 저장될 수 있다.
The
도 2는 본 발명의 일 실시예에 따른 얼굴 검출 장치의 실행과정을 도시한 예시도이다.FIG. 2 is an exemplary diagram illustrating an execution process of a face detection apparatus according to an embodiment of the present invention. Referring to FIG.
도 2를 참조하면, 얼굴 검출 장치(1)는 복수의 얼굴을 포함된 영상의 얼굴 영역을 검출할 수 있다. 얼굴 검출 장치(1)는 영역 기반 특징을 이용하여 얼굴 영역을 검출할 수 있다.Referring to FIG. 2, the
얼굴 검출 장치(1)는 입력부(110)를 통하여 영상(210)을 수신받을 수 있다. 영상(210)은 복수의 얼굴을 포함될 수 있다. 얼굴 검출 장치(1)는 제어부(120)를 통하여 수신받은 영상(210)의 얼굴 검출을 할 수 있다. 얼굴 검출 장치(1)는 출력부(130)을 통하여 상기 검출된 얼굴 영역에 대한 영상(220)을 출력할 수 있다. 얼굴 검출 장치(1)는 상기 얼굴 영역을 원형, 타원형, 삼각형, 사각형 및 다각형 중 적어도 하나를 이용할 수 있다.
The
도 3은 본 발명의 일 실시예에 따른 제어부를 설명하기 위한 예시도를 도시한 도면이다.FIG. 3 is a diagram illustrating an example of a controller according to an embodiment of the present invention. Referring to FIG.
도 3을 참조하면, 제어부(120)는 영역 기반 특징을 이용하여 수신된 영상에 포함된 얼굴 영역을 검출할 수 있다.Referring to FIG. 3, the
윈도우 탐색부(122)는 수신된 영상(310)에서 영역 기반 특징을 추출할 수 있다. 윈도우 탐색부(122)는 추출된 영역 기반 특징을 기초로 윈도우 탐색 기법을 이용하여 얼굴 후보 영역(320)을 검출할 수 있다. 얼굴 후보 영역(320)는 수신된 영상(310) 중에서 얼굴 영역일 가능성이 있는 영역일 수 있다. 또한 얼굴 후보 영역(320)은 적어도 하나의 윈도우를 포함할 수 있다. The
윈도우 탐색부(122)는 영역 기반의 SURF(Speeded Up Robust Feature) 특징을 이용할 수 있다. 기존의 SURF 특징은 일반적으로 특징점 추출 등에 이용되었으나, 얼굴 검출 장치(1)는 40×40의 윈도우 영역내 2×2 셀 영역내 존재하는 픽셀들의 기울기 정보()를 각 셀 영역마다 8차원으로 추출하여 32차원 특징 벡터를 생성할 수 있다. 여기서, 는 수평, 는 수직, , 는 각각 대각 기울기 값을 의미한다. 얼굴 검출 장치(1)는 각 셀의 크기를 최소 12×12 픽셀로부터 가로, 세로 비율을 1:2, 1:3, 2:3 등으로 조절하여 총 358 종류의 영역 기반 특징 추출 윈도우를 이용할 수 있다.The
윈도우 탐색부(122)는 약분류기 학습에서 로지스틱 회귀분석(Logistic regression)과 젠틀-부스트(Gentle-Boost)를 이용할 수 있다. 또한 윈도우 탐색부(122)는 약분류기의 결합을 위한 캐스케이드(cascade) 구조 학습을 곡선하면적(Area Under the Curve, AUC) 스코어를 이용할 수 있다. 윈도우 탐색부(122)는 N개의 학습 데이터()가 주어지면, [수학식 1]을 이용하여 각 약분류기 를 얼굴 영역() 및 비얼굴 영역()을 구분할 수 있다.
The
여기서, 는 SURF 특징을 의미하고, 는 가중치 변수를 의미한다.here, Means the SURF feature, Means a weighting variable.
윈도우 탐색부(122)는 [수학식 2]를 이용하여 강분류기()를 이전 스테이지 의 분류기와 현재 스테이지 의 번째 라운드에 대한 분류기와의 결합을 통해 생성할 수 있다. 상기 강분류기는 캐스케이드 구조 학습이 이용될 수 있다.
The
여기서, 는 캐스케이드의 구조 학습을 위한 목적함수를 의미하고, 는 이전 스테이지를 의미한다. 또한 는 현재 스테이지를 의미하고, 는 현재 스테이지에서의 약분류기를 의미한다.here, Is an objective function for structural learning of cascade, Means the previous stage. Also Means the current stage, Means a weak classifier in the current stage.
윈도우 탐색부(122)는 번째 스테이지에서 의 값이 k를 증가시키며, 약분류기를 결합하더라도 더 이상 변화하지 않고 수렴하면 현재 스테이지에서의 분류기 결합을 종료하고, 다음 스테이지로 넘어갈 수 있다. 또한 윈도우 탐색부(122)는 스테이지의 수가 증가 및 스테이지 내의 라운드 수가 증가할수록 [수학식 2]의 값이 목표 학습 수렴치 값이 도달하며, 최종 목표값에 도달할 때까지 [수학식 2]를 반복할 수 있다.The
후처리 필터부(124)는 상기 방법으로 검출된 얼굴 후보 영역(320)에 후처리 필터(330)를 적용할 수 있다The
후처리 필터부(124)는 상기 방법으로 영상으로부터 얼굴 후보 영역을 검출하고, 최종 얼굴 검출 결과를 얻기 전에 오검출을 줄이기 위하여 후처리 필터(330)를 수행할 수 있다. 후처리 필터부(124)는 후처리 필터(330)에서 오검출하는 패턴들을 올바르게 처리하기 위하여 비얼굴 영상에서 얼굴로 추정된 오검출 영역들과 학습 얼굴 영상을 재이용하여 학습할 수 있다. The
후처리 필터부(124)는 국부 이진 패턴(Local Binary Pattern, LBP) 특징과 기울기 히스토그램(Histograms of Oriented Gradients, HOG) 특징을 피라미드(pyramid) 형태로 쌓고, 상기 피라미드 형태로 쌓인 특징을 기초로 서포트 벡터 머신(support vector machine)를 이용하여 얼굴 영역인지 아닌지에 대한 최종 판단을 할 수 있다. 후처리 필터부(124)는 산출속도를 높이기 위해 선형 커널(linear kernel)을 이용할 수 있다.The
스코어맵부(126)는 검출된 얼굴 후보 영역에 대한 후처리 필터를 수행하여 산출된 응답 값을 이용하여 스코어맵(340)에 매핑할 수 있다. 스코어맵(340)는 얼굴 후보 영역이 얼굴 영역일 확률에 대한 점수에 관한 맵일 수 있다.The
얼굴 영역 검출부(128)는 매핑된 얼굴 후보 영역이 사전에 설정된 임계값보다 같거나 클 경우에 얼굴 영역(350)으로 판단할 수 있다. 상기 임계값은 수신받은 영상의 종류에 따라 설정을 될 수 있다.
The face
도 4는 본 발명의 일 실시예에 따른 윈도우 탐색부를 설명하기 위한 예시도를 도시한 도면이다.4 is a view illustrating an exemplary window for explaining a window search unit according to an embodiment of the present invention.
도 4를 참조하면, 윈도우 탐색부(122)는 얼굴 영역을 효율적으로 탐색하기 위하여 탐색 윈도우를 재설계(rescaling) 방법 및 적응 탐색 스탭 사이즈 체계(Adaptive Searching Stepsize Scheme) 방법을 이용할 수 있다.Referring to FIG. 4, the
도 4(a)는 얼굴 영역 탐색을 하는데 서브 윈도우 사이즈(Sub-window size)를 재설계하는 방법을 설명하는 도면이다.4A is a view for explaining a method of redesigning a sub-window size in searching a face area.
윈도우 탐색부(122)는 탐색 윈도우의 크기를 일정크기의 배수만큼 재설계하는 방법을 이용할 수 있다. 윈도우 탐색부(122)는 재설계 방법을 이용하여 얼굴 영역 특징을 탐색 초기에 한번만 추출할 수 있고, 이후에는 재설계된 탐색 윈도우의 변화된 크기에 따른 좌표값에 의해 해당 좌표값의 특징 정보만 이용할 수 있다. 따라서, 윈도우 탐색부(122)는 추가적인 작업없이 얼굴 영역 특징을 재추출할 수 있다.The
도 4(b)는 얼굴 영역 탐색을 하는데 적응 탐색 스탭 사이즈 체계 방법을 설명하는 도면이다.4 (b) is a view for explaining an adaptive search step size system method for performing face area search.
윈도우 탐색부(122)는 임의의 탐색 윈도우 크기에 대하여 다음번 영역을 검출할 때, 의 크기만큼 x축, y축으로 이동할 수 있다. 윈도우 탐색부(122)는 해당 탐색 윈도우에서 추출된 얼굴 영역 특징(Gradient magnitude)의 값이 보다 작은 경우, 다음번 탐색할 영역을 스탭 사이즈 대신 크기만큼 이동시키는 적응 탐색 스탭 사이즈 체계를 이용할 수 있다. 윈도우 탐색부(122)는 적응 탐색 스탭 사이즈 체계를 이용하여 얼굴 영역이 아닌 영역을 패싱(passing)하여 얼굴 영역 특징을 추출하는 불필요한 처리 과정을 생략할 수 있다. 여기서, 는 탐색 스탭 사이즈(Searching Stepsize)를 부스팅(boosting)하는 크기이고, 는 탐색하지 않고 패싱한 누적 횟수이다. When the
윈도우 탐색부(122)는 을 이용하여 영상에서 배경과 같은 부분에서는 탐색 윈도우의 탐색 스탭 사이즈를 크게 함으로써, 불필한 탐색을 줄일 수 있다. 윈도우 탐색부(122)는 얼굴 영역에서는 값을 초기화하여 기본 탐색 스탭 사이즈 를 이용하여 얼굴 영역을 찾을 수 있다.
The
도 5는 본 발명의 일 실시예에 따른 강분류기를 설명하기 위한 예시도를 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 강분류기를 이용한 윈도우 탐색부를 설명하기 위한 예시도를 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 약분류기를 설명하기 위한 예시도를 도시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 약분류기에 사용된 영역 기반 특징을 설명하기 위한 예시도를 도시한 도면이다.FIG. 5 is a view illustrating an example of a strong classifier according to an embodiment of the present invention. FIG. 6 is an exemplary view for explaining a window search unit using a strong classifier according to an embodiment of the present invention. FIG. 7 is a diagram illustrating an example of a weak classifier according to an embodiment of the present invention. FIG. 8 is a diagram illustrating a region-based feature used in a weak classifier according to an embodiment of the present invention And Fig.
도 5 내지 도 8을 참조하면, 윈도우 탐색부(122)는 복수의 강분류기(strong classifier)들로 이루어지고, 상기 강분류기는 복수의 약분류기(weak classifier)들을 포함할 수 있다. 또한 상기 약분류기는 캐스케이드(cascade)의 구조를 이루며 결합될 수 있다.5 to 8, the
도 5와 같이, 윈도우 탐색부(122)는 입력부(110)를 통해 수신된 영상에서 얼굴 검출을 위한 탐색 윈도우들 중 얼굴 영역이 아니라고 추정되는 윈도우들을 제외할 수 있다. 윈도우 탐색부(122)는 강분류기(520)를 이용하여 얼굴 후보 영역의 모든 후보 윈도우(510) 중 비얼굴 영역으로 추정되는 비얼굴 영역 후보 윈도우(540)를 제외하여, 얼굴 영역으로 추정되는 얼굴 영역 후보 윈도우(530)를 추출할 수 있다.As shown in FIG. 5, the
윈도우 탐색부(122)는 복수의 강분류기(522, 524, 526)들을 포함할 수 있다. 윈도우 탐색부(122)는 스테이지에 따라 강분류기들을 분류할 수 있고 각 스테이지에 따라 강분류기(520)는 얼굴 영역 및 비얼굴 영역을 추정할 수 있다. The
윈도우 탐색부(122)의 제1 스테이지는 제1 강분류기(522)를 포함하고, 제2 스테이지는 제2 강분류기(524)를 포함하며, 제3 스테이지는 제3 강분류기(526)을 포함할 수 있다. 상기 스테이지의 개수는 각각의 상황에 맞게 사전에 설정될 수 있다.The first stage of the
강분류기(520)는 도 7에 도시된 약분류기들이 캐스케이드의 구조로 이루며 결합된 것일 수 있다. 약분류기에 사용되는 특징들은 도 8과 같이 다양한 모양일 수 있다.The
윈도우 탐색부(122)는 도 6과 같이, 스테이지에 따라 강분류기(520)를 통하여 비얼굴 영역이라고 추정되는 비얼굴 영역 후보 윈도우(540)를 제외하고, 얼굴 영역이라고 추정되는 얼굴 영역 후보 윈도우(530)를 추출할 수 있다.The
제1 스테이지에서의 윈도우 영상(610)은 얼굴 영역뿐만 아니라 비얼굴 영역의 많은 부분도 윈도우를 통해 추정되고 있는 것을 보여준다. 하지만 제2 스테이지에서의 윈도우 영상(620) 및 제3 스테이지에서의 윈도우 영상(630)을 통해, 윈도우 탐색부(122)는 스테이지가 증가할수록 비얼굴 영역이라고 추정되는 윈도우를 제외시키고, 얼굴 영역이라고 추정되는 윈도우를 추출하는 것을 확인할 수 있다.The
따라서, 윈도우 탐색부(122)는 스테이지가 증가할수록 입력부(110)에서 수신 받은 영상에서 얼굴 영역이라고 추정되는 윈도우만 추출할 수 있다.
Accordingly, the
도 9는 본 발명의 일 실시예에 따른 스테이지당 AUC 스코어를 설명하기 위한 그래프를 도시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 스테이지당 거부율을 설명하기 위한 그래프를 도시한 도면이다.FIG. 9 is a graph illustrating an AUC score per stage according to an embodiment of the present invention, and FIG. 10 is a graph illustrating a rejection rate per stage according to an embodiment of the present invention .
도 9 및 도 10을 참조하면, 얼굴 검출 장치(1)은 스테이지 증가에 따라 얼굴 영역 검출 정확도에 대한 성능 분석을 할 수 있다.Referring to FIGS. 9 and 10, the
도 9는 스테이지에 따른 AUC 스코어의 값을 나타낸 것으로, AUC는 측정하고자 하는 이분형 변수를 판별하는데 얼마만큼의 정확도가 있는지 평가하는 것이다. 도 9를 보면, 얼굴 검출 장치(1)이 스테이지의 수가 증가 및 스테이지 내의 라운드수가 증가할수록 [수학식 2]의 값이 높은 값에 수렴하고 있는 것을 보여준다. FIG. 9 shows the value of the AUC score according to the stage, and the AUC is to evaluate how much accuracy is required to determine this blob variable to be measured. Referring to FIG. 9, the value of the formula (2) converges to a higher value as the number of stages increases and the number of rounds in the stage increases.
도 10은 스테이지에 따른 캐스케이드 스테이지에 따른 거부율을 나타낸 것이다. 얼굴 검출 장치(1)은 캐스케이드 스테이지가 증가할수록 거부율이 1에 수렴하는 것을 보여준다.10 shows the rejection rate according to the cascade stage according to the stage. The
따라서, 얼굴 검출 장치(1)는 스테이지가 증가할수록 비얼굴 후보 영역을 잘 분류하고, 얼굴 후보 영역을 잘 검출할 수 있다. Therefore, the
도 11은 본 발명의 일 실시예에 따른 Caltech Face DB의 얼굴 검출 성능 비교를 설명하기 위한 표를 도시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 CAS-PEAL Face DB의 얼굴 검출 성능 비교를 설명하기 위한 표를 도시한 도면이다.FIG. 11 is a table for explaining the comparison of face detection performance of Caltech Face DB according to an embodiment of the present invention. FIG. 12 is a diagram illustrating a face detection performance of a CAS-PEAL Face DB according to an embodiment of the present invention. Fig. 6 is a table showing a comparison for explaining the comparison. Fig.
도 11 및 도 12를 참조하면, 얼굴 검출 장치(1)는 성능 평가를 위하여 구현할 수 있다. 얼굴 검출 장치(1)는 Core Quad CPU의 8GB Ram의 하드웨어, Microsoft windows7 운영 체제상에서 Microsoft visual studio 2010, Matlab 2012 및 OpenCV 라이브러리 2.0을 이용하여 알고리즘을 구현할 수 있다. 얼굴 검출 장치(1)는 Caltech 및 CAS-PEAL을 이용할 수 있고, 얼굴 영상은 Feret, Multi-PIE 데이터에서 선별된 15600장의 영상을 이용할 수 있다. 또한 얼굴 검출 장치(1)는 비얼굴 영상을 구글 등에서 20000여장을 수집하여 이용할 수 있다.11 and 12, the
얼굴 검출 장치(1)는 얼굴을 훈련하는 영상을 40×40 사이즈의 영상으로 변환할 수 있고, 비얼굴 영상은 원본 크기에서 특징 윈도우 사이즈 크기 비례에 따라 추출할 수 있다. 얼굴 검출 장치(1)는 목표 정검출율을 스테이지당 99.5%로 설정할 수 있고, 오검출율을 각 스테이지에서 정검출에 따른 AUC 스코어에 해당하는 값을 이용하여 학습 종료에 대한 오검출율 조건을 10-6으로 설정할 수 있다.The
얼굴 검출 장치(1)는 캐스케이드 학습에 약 48시간 정도가 소요할 수 있다. 따라서, 얼굴 검출 장치(1)는 비약적으로 시간을 단축할 수 있다. 또한 얼굴 검출 장치(1)는 얼굴 검출에 소요되는 시간을 320×240 해상도에서는 장당 약 0.15초가 소요할 수 있고, 640×480에서는 약 0.4초가 소요할 수 있다.The
도 11 및 도 12는 제안된 알고리즘, VJ(P.Viola and M.Jones, "Rapid object detection using a boosted cascade of simple features", CVPR, 2001)의 알고리즘 및 J.LI(J.LI, T.Wang, and Y.Zhang, "Face detection using surf cascade." ICCV Workshops, 2011.)의 알고리즘에 대한 성능 비교를 나타낸 도면이다.11 and 12 show an algorithm of the proposed algorithm, VJ (P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features", CVPR, 2001) and J.LI (J. Wang, and Y. Zhang, "Face detection using surf cascade." ICCV Workshops, 2011.).
도 11은 Caltech Face DB에 대한 얼굴 검출 성능에 대한 비교이다. Caltech Face DB는 450장의 896×592 해상도의 남녀 사진으로 구성되어 있다. 따라서, Caltech Face DB를 이용한 성능 비교는 복잡한 배경에서 각각의 얼굴을 정확하게 찾는 것이 목적이 될 수 있다. 11 is a comparison of face detection performance for Caltech Face DB. Caltech Face DB consists of 450 pictures of 896 × 592 man and woman. Therefore, the performance comparison using Caltech Face DB can be aimed to find each face accurately in complex background.
얼굴 검출 장치(1)는 6 스테이지로 구성된 308개의 약분류기를 이용하였고, 24 스테이지의 2900여개에 대한 약분류기 결합으로 이루어진 VJ의 방법에 비하여 낮은 오검출에서 유사한 정검출 성능을 보임을 확인할 수 있다. 여기서, J.LI의 경우 데모용 프로그램만 존재하여 정확한 오검출 수치 비교가 어려워 정검출 결과만 이용한다.The face detector (1) uses 308 weak classifiers composed of 6 stages, and it can be confirmed that similar detection performance is obtained at low erroneous detection compared with the VJ method composed of weak classifiers for about 2900 of 24 stages . In the case of J.LI, there is only a demonstration program, so that it is difficult to accurately compute the erroneous detection value, and only the result of the detection is used.
도 12는 CAS-PEAL Face DB에 대한 얼굴 검출 성능에 대한 비교이다. CAS-PEAL Face DB는 다양한 남녀로 구성되어 있다. 따라서, CAS-PEAL Face DB를 이용한 성능 비교는 영상 크기와 포즈, 장신구 착용, 표정 및 조명등의 환경요소에 강인하게 얼굴을 검출하는 것이 목적이 될 수 있다.12 is a comparison of face detection performance for the CAS-PEAL Face DB. CAS-PEAL Face DB consists of various men and women. Therefore, the performance comparison using the CAS-PEAL Face DB can be aimed to detect the faces robustly against environmental factors such as image size, pose, wearing ornaments, facial expression, and illumination.
얼굴 검출 장치(1)는 기존의 방법(VJ, J.LI) 에 비하여 낮은 오검출을 보이고, 정검출 성능은 기존의 방법과 비슷하거나 더 뛰어난 것을 확인할 수 있다.
The
도 13은 본 발명의 일 실시예에 따른 얼굴 검출 방법의 수행과정을 도시한 순서도이다.13 is a flowchart illustrating a process of performing a face detection method according to an embodiment of the present invention.
도 13을 참조하면, 얼굴 검출 장치(1)는 영역 기반 특징을 이용하여 수신된 영상의 얼굴을 검출할 수 있다. 얼굴 검출 장치(1)는 영상내 존재하는 얼굴 후보 영역을 검출하고, 영역 기반 특징을 이용하여 얼굴 영역을 검출할 수 있다.Referring to FIG. 13, the
얼굴 검출 장치(1)는 영상을 입력받는다(S100). 얼굴 검출 장치(1)는 적어도 하나의 얼굴이 포함된 영상을 수신받을 수 있다. 상기 영상의 포맷은 BMP, JPG, JPEG, JPE, JFIF, GIF, TIF, TIFF 및 PNG 중 적어도 하나일 수 있다. The
얼굴 검출 장치(1)는 윈도우 탐색을 이용하여 얼굴 후보 영역을 검출한다(S110). 얼굴 검출 장치(1)는 수신된 영상에서 영역 기반 특징을 추출할 수 있다. 얼굴 검출 장치(1)는 추출된 영역 기반 특징을 기초로 윈도우 탐색 기법을 이용하여 얼굴 후보 영역(320)을 검출할 수 있다. 얼굴 후보 영역(320)는 수신된 영상(310) 중에서 얼굴 영역일 가능성이 있는 영역일 수 있다. 또한 얼굴 후보 영역(320)은 적어도 하나의 윈도우를 포함할 수 있다. The
얼굴 검출 장치(1)는 후처리 필터를 이용하여 얼굴 후보 영역을 필터링한다(S120). 얼굴 검출 장치(1)는 최종 얼굴 검출 결과를 얻기 전에 얼굴 후보 영역에 대한 오검출을 줄이려고, 후처리 필터(330)를 수행할 수 있다. 얼굴 검출 장치(1)는 후처리 필터(330)에서 오검출하는 패턴들을 올바르게 처리하기 위해 비얼굴 영상에서 얼굴로 추정된 오검출 영역들과 학습 얼굴 영상을 재이용하여 학습할 수 있다. The
얼굴 검출 장치(1)는 얼굴 후보 영역에 대한 스코어맵을 생성한다(S130). 얼굴 검출 장치(1)는 검출된 얼굴 후보 영역을 스코어맵(340)에 매핑할 수 있다. 스코어맵(340)는 얼굴 후보 영역이 얼굴 영역일 확률에 대한 점수에 관한 맵일 수 있다.The
얼굴 검출 장치(1)는 얼굴 영역을 검출한다(S140). 얼굴 검출 장치(1)는 매핑된 얼굴 후보 영역이 사전에 설정된 임계값보다 같거나 클 경우에 얼굴 영역(350)으로 판단할 수 있다. 상기 임계값은 수신받은 영상의 종류에 따라 설정을 할 수 있다.
The
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer apparatus is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer-readable recording medium may also be distributed to networked computer devices so that computer readable code can be stored and executed in a distributed manner.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.
1: 얼굴 검출 장치 110: 입력부
120: 제어부 122: 윈도우 탐색부
124: 후처리 필터부 126: 스코어맵부
128: 얼굴 영역 검출부 130: 출력부
140: 저장부 210: 입력 영상
220: 출력 영상 310: 입력 영상
320: 얼굴 후보 영역 330: 후처리 필터
340: 스코어맵 350: 얼굴 영역
510: 모든 후보 윈도우 520: 강분류기
522: 제1 강분류기 524: 제2 강분류기
526: 제3 강분류기 530: 얼굴 영역 후보 윈도우
540: 비얼굴 영역 후보 윈도우1: face detecting device 110: input part
120: control unit 122: window search unit
124: post-filter section 126: score map section
128: face area detection unit 130: output unit
140: storage unit 210: input image
220: output image 310: input image
320: face candidate region 330: post-processing filter
340: Score map 350: Face area
510: All Candidates Window 520: Strong Classifier
522: first class classifier 524: second class classifier
526:
540: Non-face region candidate window
Claims (7)
제어부를 포함하면서,
상기 제어부는,
상기 수신받은 영상을 기초로 얼굴 후보 영역들을 검출하는 윈도우 탐색부;
상기 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 하는 후처리 필터부;
상기 필터링된 얼굴 후보 영역을 기초로 스코어맵을 생성하는 스코어맵부; 및
상기 생성된 스코어맵을 기초로 얼굴 영역을 검출하는 얼굴 영역 검출부를 포함하고,
상기 윈도우 탐색부는,
상기 영상을 기초로 윈도우 영역내에 포함된 셀 영역내 존재하는 픽셀들의 기울기 정보를 추출하여 특징 벡터를 생성하고, 상기 생성된 특징벡터를 기초로 영역 기반의 특징을 추출하며, 상기 추출된 특징을 이용하여 상기 얼굴 후보 영역들을 검출하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치.
An input unit receiving an image including a face; And
Including a control section,
Wherein,
A window search unit for detecting face candidate regions based on the received image;
A post-processing filter unit for performing filtering by applying a post-processing filter to the detected face candidate regions;
A score map portion for generating a score map based on the filtered face candidate regions; And
And a face area detecting unit for detecting a face area based on the generated score map,
Wherein the window search unit comprises:
Extracting slope information of pixels existing in a cell region included in the window region based on the image to generate a feature vector, extracting region-based features based on the generated feature vector, And the face candidate regions are detected based on the detected face candidate regions.
상기 윈도우 탐색부는,
복수의 강분류기(strong classifier)들로 이루어지고, 상기 강분류기는 복수의 약분류기(weak classifier)들을 포함하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치.
The method according to claim 1,
Wherein the window search unit comprises:
Wherein the strong classifier comprises a plurality of strong classifiers, and the strong classifier includes a plurality of weak classifiers.
상기 윈도우 탐색부는,
하기 수학식을 이용하여 상기 약분류기들을 얼굴영역 및 비얼굴영역으로 구분하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치:
[수학식]
여기서, 는 얼굴영역을 의미하고, 는 비얼굴영역을 의미하며, 는 SURF 특징을 의미하고, 는 가중치 변수를 의미한다.
3. The method of claim 2,
Wherein the window search unit comprises:
Wherein the weak classifier is divided into a face area and a non-face area using the following equation: < EMI ID =
[Mathematical Expression]
here, Means a face area, Means a non-face area, Means the SURF feature, Means a weighting variable.
상기 윈도우 탐색부는,
하기 수학식을 이용하여 상기 강분류기를 이전 스테이지의 분류기와 현재 스테이지의 k번째 라운드에 대한 분류기와의 결합으로 생성하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치:
[수학식]
여기서, 는 강분류기를 의미하고, 는 캐스케이드의 구조 학습을 위한 목적함수를 의미하며, 는 이전 스테이지를 의미하고, 는 현재 스테이지를 의미하며, 는 현재 스테이지에서의 약분류기를 의미한다.
3. The method of claim 2,
Wherein the window search unit comprises:
Wherein the strong classifier is generated by combining a classifier of a previous stage and a classifier for a k-th round of a current stage using the following equation: < EMI ID =
[Mathematical Expression]
here, Means a strong classifier, Is an objective function for structural learning of cascade, Means the previous stage, Means the current stage, Means a weak classifier in the current stage.
상기 후처리 필터부는,
국부 이진 패턴(Local Binary Pattern, LBP) 특징과 기울기 히스토그램(Histograms of Oriented Gradients, HOG) 특징을 피라미드(pyramid) 형태로 쌓고, 상기 피라미드 형태로 쌓인 특징을 기초로 서포트 벡터 머신(support vector machine)를 이용하여 얼굴 영역을 판단하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치.
The method according to claim 1,
The post-
The features of the Local Binary Pattern (LBP) and the Histograms of Oriented Gradients (HOG) are built up in a pyramid form, and a support vector machine based on the pyramid- And the face region is determined using the region-based feature.
상기 얼굴 영역 검출부는 상기 얼굴 후보 영역의 스코어맵이 사전에 설정된 임계값보다 같거나 클 경우에 상기 얼굴 영역으로 검출하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치.
The method according to claim 1,
Wherein the face area detecting unit detects the face area when the score map of the face candidate area is equal to or larger than a predetermined threshold value.
상기 수신받은 영상을 기초로 얼굴 후보 영역들을 검출하는 단계;
상기 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 하는 단계;
상기 필터링된 얼굴 후보 영역을 기초로 스코어맵을 생성하는 단계; 및
상기 생성된 스코어맵을 기초로 얼굴 영역을 검출하는 단계를 포함하고,
상기 얼굴 후보 영역을 검출하는 단계는,
상기 영상을 기초로 윈도우 영역내에 포함된 셀 영역내 존재하는 픽셀들의 기울기 정보를 추출하여 특징 벡터를 생성하고, 상기 생성된 특징 벡터를 기초로 영역 기반의 특징을 추출하며, 상기 추출된 특징을 이용하여 상기 얼굴 후보 영역들을 검출하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 방법.
Receiving an image including a face;
Detecting face candidate regions based on the received image;
Applying a post-processing filter to the detected face candidate regions to perform filtering;
Generating a score map based on the filtered face candidate regions; And
And detecting a face region based on the generated score map,
Wherein the step of detecting the face candidate region comprises:
Extracting slope information of pixels existing in a cell region included in the window region based on the image to generate a feature vector, extracting region-based features based on the generated feature vector, And the face candidate regions are detected based on the face candidate regions.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130107452A KR101449744B1 (en) | 2013-09-06 | 2013-09-06 | Face detection device and method using region-based feature |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130107452A KR101449744B1 (en) | 2013-09-06 | 2013-09-06 | Face detection device and method using region-based feature |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101449744B1 true KR101449744B1 (en) | 2014-10-15 |
Family
ID=51997357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130107452A KR101449744B1 (en) | 2013-09-06 | 2013-09-06 | Face detection device and method using region-based feature |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101449744B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101653278B1 (en) * | 2016-04-01 | 2016-09-01 | 수원대학교산학협력단 | Face tracking system using colar-based face detection method |
CN106548114A (en) * | 2015-09-17 | 2017-03-29 | 腾讯科技(北京)有限公司 | Image processing method and device |
KR20180080081A (en) * | 2017-01-03 | 2018-07-11 | 한국과학기술원 | Method and system for robust face dectection in wild environment based on cnn |
WO2019208869A1 (en) * | 2018-04-27 | 2019-10-31 | 연세대학교 산학협력단 | Method and apparatus for detecting facial features by using learning |
US10592729B2 (en) | 2016-01-21 | 2020-03-17 | Samsung Electronics Co., Ltd. | Face detection method and apparatus |
CN113361307A (en) * | 2020-03-06 | 2021-09-07 | 上海卓繁信息技术股份有限公司 | Facial expression classification method and device and storage equipment |
CN113537993A (en) * | 2020-08-27 | 2021-10-22 | 腾讯科技(深圳)有限公司 | Data detection method and device based on face payment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100474848B1 (en) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | System and method for detecting and tracking a plurality of faces in real-time by integrating the visual ques |
KR101216115B1 (en) * | 2011-08-09 | 2012-12-27 | 이인권 | Method and device for generating personal information of consumer, computer-readable recording medium for the same, and pos system |
-
2013
- 2013-09-06 KR KR1020130107452A patent/KR101449744B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100474848B1 (en) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | System and method for detecting and tracking a plurality of faces in real-time by integrating the visual ques |
KR101216115B1 (en) * | 2011-08-09 | 2012-12-27 | 이인권 | Method and device for generating personal information of consumer, computer-readable recording medium for the same, and pos system |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106548114A (en) * | 2015-09-17 | 2017-03-29 | 腾讯科技(北京)有限公司 | Image processing method and device |
CN106548114B (en) * | 2015-09-17 | 2019-11-12 | 腾讯科技(北京)有限公司 | Image processing method, device and computer-readable medium |
US10592729B2 (en) | 2016-01-21 | 2020-03-17 | Samsung Electronics Co., Ltd. | Face detection method and apparatus |
KR101653278B1 (en) * | 2016-04-01 | 2016-09-01 | 수원대학교산학협력단 | Face tracking system using colar-based face detection method |
KR20180080081A (en) * | 2017-01-03 | 2018-07-11 | 한국과학기술원 | Method and system for robust face dectection in wild environment based on cnn |
KR102036963B1 (en) * | 2017-01-03 | 2019-11-29 | 한국과학기술원 | Method and system for robust face dectection in wild environment based on cnn |
WO2019208869A1 (en) * | 2018-04-27 | 2019-10-31 | 연세대학교 산학협력단 | Method and apparatus for detecting facial features by using learning |
KR20190134865A (en) * | 2018-04-27 | 2019-12-05 | 연세대학교 산학협력단 | Method and Device for Detecting Feature Point of Face Using Learning |
KR102186767B1 (en) * | 2018-04-27 | 2020-12-04 | 연세대학교 산학협력단 | Method and Device for Detecting Feature Point of Face Using Learning |
CN113361307A (en) * | 2020-03-06 | 2021-09-07 | 上海卓繁信息技术股份有限公司 | Facial expression classification method and device and storage equipment |
CN113537993A (en) * | 2020-08-27 | 2021-10-22 | 腾讯科技(深圳)有限公司 | Data detection method and device based on face payment |
CN113537993B (en) * | 2020-08-27 | 2024-02-13 | 腾讯科技(深圳)有限公司 | Data detection method and device based on face payment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101449744B1 (en) | Face detection device and method using region-based feature | |
JP4216668B2 (en) | Face detection / tracking system and method for detecting and tracking multiple faces in real time by combining video visual information | |
JP6050223B2 (en) | Image recognition apparatus, image recognition method, and integrated circuit | |
US20150054824A1 (en) | Object detection method, object detection device, and image pickup device | |
JP5675229B2 (en) | Image processing apparatus and image processing method | |
Boehnen et al. | A fast multi-modal approach to facial feature detection | |
US9489566B2 (en) | Image recognition apparatus and image recognition method for identifying object | |
US7869632B2 (en) | Automatic trimming method, apparatus and program | |
Eweiwi et al. | Temporal key poses for human action recognition | |
CN106384345B (en) | A kind of image detection and flow statistical method based on RCNN | |
JP6351243B2 (en) | Image processing apparatus and image processing method | |
US9082000B2 (en) | Image processing device and image processing method | |
Zhang et al. | Hybrid support vector machines for robust object tracking | |
Mannan et al. | Classification of degraded traffic signs using flexible mixture model and transfer learning | |
US20200034649A1 (en) | Object tracking system, intelligent imaging device, object feature extraction device, and object feature extraction method | |
Swamy et al. | Indian sign language interpreter with android implementation | |
JP2015194927A (en) | target identification device | |
CN109948432A (en) | A kind of pedestrian detection method | |
Hu et al. | Fast face detection based on skin color segmentation using single chrominance Cr | |
Das et al. | Human face detection in color images using HSV color histogram and WLD | |
KR100977259B1 (en) | Method for a human searching and tracking using a multifulscale histogram of oriented gradient | |
Jindal et al. | Sign Language Detection using Convolutional Neural Network (CNN) | |
Kaja et al. | Two stage intelligent automotive system to detect and classify a traffic light | |
CN112347967B (en) | Pedestrian detection method fusing motion information in complex scene | |
Mccullagh | Face detection by using haar cascade classifier |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170928 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190117 Year of fee payment: 5 |