KR101449744B1 - Face detection device and method using region-based feature - Google Patents

Face detection device and method using region-based feature Download PDF

Info

Publication number
KR101449744B1
KR101449744B1 KR1020130107452A KR20130107452A KR101449744B1 KR 101449744 B1 KR101449744 B1 KR 101449744B1 KR 1020130107452 A KR1020130107452 A KR 1020130107452A KR 20130107452 A KR20130107452 A KR 20130107452A KR 101449744 B1 KR101449744 B1 KR 101449744B1
Authority
KR
South Korea
Prior art keywords
face
region
window
image
candidate regions
Prior art date
Application number
KR1020130107452A
Other languages
Korean (ko)
Inventor
유창동
박상혁
정준영
서영주
이동훈
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130107452A priority Critical patent/KR101449744B1/en
Application granted granted Critical
Publication of KR101449744B1 publication Critical patent/KR101449744B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques

Abstract

Disclosed are a face detection device and a method using a region-based feature. The present invention comprises: an input unit and a control unit which receives an image including a face, wherein the control unit may include: a window searching unit to detect face candidate regions based on the received image; a post-processing filter unit to filter by applying a post-processing filter on the detected face candidate regions; a score map unit to generate a score map based on the filtered candidate face regions; and a face region detection unit to detect face regions based on the generated score map.

Description

영역 기반 특징을 이용한 얼굴 검출 장치 및 방법{Face detection device and method using region-based feature}[0001] The present invention relates to a face detection apparatus and method using a region-based feature,

본 발명은 얼굴 검출 장치 및 방법에 관한 것으로서, 보다 상세하게는 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법에 관한 것이다.
The present invention relates to a face detection apparatus and method, and more particularly, to a face detection apparatus and method using region-based features.

얼굴 검출은 영상에 존재하는 얼굴의 위치와 크기 등을 검출하는 것으로서 얼굴 검출 알고리즘 자체로서의 중요성뿐만 아니라, 얼굴 인식, 표정 인식 및 졸음 검출 등과 같은 다양한 응용 분야의 필수적인 알고리즘이다. 그러나 영상에 존재하는 사람의 얼굴을 정확하게 검출하는 일은 영상 자체의 다양한 배경, 인물의 포즈, 표정 및 조명 변화와 같은 환경 요소에 민감한 문제점이 있다. 따라서, 다양한 영상으로부터 정확하게 사람의 얼굴을 검출하는 방법에 대한 많은 연구가 현재까지 지속되고 있다.Face detection is an essential algorithm for various application fields such as face recognition, facial expression recognition, and drowsiness detection as well as importance of face detection algorithm itself by detecting the position and size of a face existing in the image. However, the accurate detection of a person's face in the image is problematic because it is sensitive to environmental factors such as various backgrounds of the image, pose of a person, facial expression and illumination change. Therefore, many researches on a method of accurately detecting human faces from various images have been continuing to date.

현재까지 연구되고 있는 얼굴 검출의 방법들을 크게 정리하면 다음과 같은 형태로 구분할 수 있다.The methods of face detection, which have been studied so far, can be broadly classified into the following types.

첫째 얼굴의 특징 성분에 대한 사전 지식 정보에 기반한 방법이다. 이는 사람의 얼굴 에는 얼굴의 형태 및 눈, 코, 입 등의 신체 구성 요소들이 상호간의 일정한 거리 및 위치 관계를 가지고 있다는 가정을 이용하여 얼굴을 검출하는 방법이다. 그러나 이와 같은 방법은 정면과 측면 영상에 대해 서로 다른 형태 모델이 필요하기 때문에 얼굴 검출기의 모델이 복잡해지며, 얼굴의 각도, 기울기, 가려짐 등의 변화에 대해서는 얼굴 검출이 어려운 문제점이 존재한다.First, it is a method based on prior knowledge information about feature components of face. This is a method of detecting a face by using the assumption that the human face has a certain distance and positional relationship between the face components and the body components such as eyes, nose, and mouth. However, such a method requires a different morphological model for the frontal and lateral images, which complicates the model of the face detector. For such a change in face angle, inclination, and obscuration, face detection is difficult.

둘째, 얼굴 특징 모델에 대한 템플릿 매칭을 이용한 방법이다. 템플릿 매칭 기법이란 얼굴 학습 데이터를 이용하여 얼굴 표준 모형에 대한 템플릿을 생성하여 테스트 영상에 대하여 학습한 템플릿과 비교하여 비슷한 특징을 가지는 영역을 얼굴로 검출하는 방법이다. 이와 같은 방법은 다양한 종류의 영상 내 존재하는 얼굴 영역의 크기 변화, 시선 방향에 따른 왜곡에 민감할 뿐만 아니라 다양한 인종, 표정 및 자세를 고려한 표준 얼굴 모델에 대한 템플릿을 생성하기 힘든 문제점이 있다. 또한 템플릿 매칭을 위하여 얼굴 후보 영역의 모든 크기 및 위치 정보를 고려해야 하기 때문에 검출에 많은 소요 시간이 요구된다.Second, it uses template matching for face feature model. The template matching method is a method of generating a template for a face standard model by using face learning data and comparing the template with the template learned for a test image to detect an area having similar characteristics as a face. Such a method is not only susceptible to a change in the size of a face region existing in various kinds of images, distortion according to a direction of the eyes, but also has a problem that it is difficult to generate a template for a standard face model considering various races, facial expressions and postures. Also, since all size and position information of the face candidate region must be considered for template matching, a long time is required for detection.

셋째, 특징기반 분별 학습 모델을 이용한 방법이다. 이는 훈련 데이터로부터 다양한 종류의 특징을 추출하고, 얼굴 영역에서 추출한 특징과 비 얼굴 영역에서 추출한 특징을 분류해 낼 수 있는 분별학습에 따른 구별 모델을 생성하고, 이를 이용하여 영상에서 얼굴 영역을 검출하는 방법이다. 다양한 특징으로부터 얼굴과 비얼굴 영역을 구분하기 위한 SVM, LDA 등의 다양한 기계학습 방법이 존재하며, 이는 앞에서 소개한 방법들의 제약 조건을 극복하고 얼굴 검출에 있어서 좋은 성능을 보인다. 그러나 구별 모델을 학습하기 위하여 많은 훈련데이터가 필요하며, 모델 학습에 많은 시간이 소요될 뿐만 아니라, 구별 모델이 학습 데이터에 영향을 받기 때문에 일반화 성능이 떨어지는 문제점이 있다.
Third, it is a method using feature based learning model. It extracts various kinds of features from training data, generates a discriminant model based on discriminant learning that can classify the features extracted from the face region and the features extracted from the non-face region, and detects the face region from the image Method. There are various machine learning methods such as SVM and LDA for distinguishing face and non-face areas from various features. This overcomes the constraints of the above-mentioned methods and shows good performance in face detection. However, many training data are needed to learn the distinction model, and it takes a lot of time to learn the model. Also, since the distinction model is influenced by the learning data, there is a problem that generalization performance deteriorates.

본 발명이 이루고자 하는 기술적 과제는 영역 기반 특징 훈련 방법을 이용하여 얼굴 검출기 학습 시간을 감소시키는 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법을 제공하는데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an apparatus and method for detecting a face using region-based features that reduce a face detector learning time using a region-based feature training method.

본 발명이 이루고자 하는 다른 기술적 과제는 얼굴 후보 영역에 대한 후처리 필터를 결합하여 오검출율을 낮추면서 정검출율이 향상되는 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법을 제공하는데 있다.According to another aspect of the present invention, there is provided a face detection apparatus and method using a region-based feature in which a false detection rate is improved while a false detection rate is improved by combining a post-processing filter for a face candidate region.

본 발명이 이루고자 하는 또 다른 기술적 과제는 고해상도, 조명, 장신구 및 표정변화의 환경 요인에 영향을 받지 않는 얼굴 검출 장치 및 방법을 제공하는데 있다.
It is another object of the present invention to provide a face detection apparatus and method which are not affected by environmental factors of high resolution, illumination, trinkets and facial expression change.

영역 기반 특징을 이용한 얼굴 검출 장치는 얼굴이 포함된 영상을 수신받는 입력부 및 제어부를 포함하면서, 상기 제어부는, 상기 수신받은 영상을 기초로 얼굴 후보 영역들을 검출하는 윈도우 탐색부, 상기 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 하는 후처리 필터부, 상기 필터링된 얼굴 후보 영역을 기초로 스코어맵을 생성하는 스코어맵부, 상기 생성된 스코어맵을 기초로 얼굴 영역을 검출하는 얼굴 영역 검출부를 포함할 수 있다.A face detection apparatus using an area-based feature includes an input unit and a control unit for receiving an image including a face, wherein the control unit includes a window search unit for detecting face candidate regions based on the received image, A score map unit for generating a score map based on the filtered face candidate region, a face region detection unit for detecting a face region based on the generated score map, . ≪ / RTI >

상기 윈도우 탐색부는, 상기 영상을 기초로 영역 기반의 특징을 추출하고, 상기 추출된 특징을 기초로 윈도우 탐색 기법을 이용하여 상기 얼굴 후보 영역들을 검출할 수 있다.The window search unit may extract an area-based feature based on the image and detect the face candidate areas using a window search technique based on the extracted feature.

상기 윈도우 탐색부는 복수의 강분류기(Strong Classifier)들로 이루어지고, 상기 강분류기는 복수의 약분류기(Weak Classifier)들을 포함할 수 있다.The window search unit may include a plurality of strong classifiers, and the strong classifier may include a plurality of weak classifiers.

상기 복수의 약분류기는 캐스케이드(cascade)의 구조를 이루며 결합될 수 있다.The plurality of weak classifiers may be combined in a cascade structure.

상기 후처리 필터부는, 국부 이진 패턴(Local Binary Pattern, LBP) 특징과 기울기 히스토그램(Histograms of Oriented Gradients, HOG) 특징을 피라미드(pyramid) 형태로 쌓고, 상기 피라미드 형태로 쌓인 특징을 기초로 서포트 벡터 머신(support vector machine)를 이용하여 얼굴 영역을 판단할 수 있다.The post-processing filter unit accumulates features of a local binary pattern (LBP) and histograms of orientated gradients (HOG) in a pyramid shape, and based on features piled up in the pyramid shape, a face vector can be determined using a support vector machine.

상기 얼굴 영역 검출부는 상기 얼굴 후보 영역의 스코어맵이 사전에 설정된 임계값보다 같거나 클 경우에 상기 얼굴 영역으로 검출할 수 있다.The face area detection unit can detect the face area when the score map of the face candidate area is equal to or larger than a preset threshold value.

영역 기반 특징을 이용한 얼굴 검출 방법은 얼굴이 포함된 영상을 수신받는 단계, 상기 수신받은 영상을 기초로 얼굴 후보 영역들을 검출하는 단계, 상기 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 하는 단계, 상기 필터링된 얼굴 후보 영역을 기초로 스코어맵을 생성하는 단계 및 상기 생성된 스코어맵을 기초로 얼굴 영역을 검출하는 단계를 포함할 수 있다.
A method for detecting a face using an area-based feature includes receiving an image including a face, detecting face candidate regions based on the received image, applying a post-processing filter to the detected face candidate regions, Generating a score map based on the filtered face candidate region, and detecting a face region based on the generated score map.

본 발명에 따른 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법은 영역 기반 특징 훈련 방법을 이용하여 얼굴 검출기 학습 시간을 감소시킬 수 있다.The apparatus and method for detecting a face using region-based features according to the present invention can reduce a face detector learning time using a region-based feature training method.

또한 얼굴 후보 영역에 대한 후처리 필터를 결합하여 오검출율을 낮추면서 정검출율이 향상될 수 있다.In addition, combining the post-processing filter with the face candidate region can improve the detection rate while lowering the false detection rate.

또한 고해상도, 조명, 장신구 및 표정변화의 환경 요인에 영향을 받지 않을 수 있다.
It can also be unaffected by high resolution, environmental factors of lighting, trinkets and facial changes.

도 1은 본 발명의 일 실시예에 따른 얼굴 검출 장치의 구성요소를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 검출 장치의 실행과정을 도시한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 제어부를 설명하기 위한 예시도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 윈도우 탐색부를 위한 적응 탐색 스탭 사이즈 체계 방법을 설명하기 위한 예시도를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 강분류기를 설명하기 위한 예시도를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 강분류기를 이용한 윈도우 탐색부를 설명하기 위한 예시도를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 약분류기를 설명하기 위한 예시도를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 약분류기에 사용된 영역 기반 특징을 설명하기 위한 예시도를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스테이지당 AUC 스코어를 설명하기 위한 그래프를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 스테이지당 거부율을 설명하기 위한 그래프를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 Caltech Face DB의 얼굴 검출 성능 비교를 설명하기 위한 표를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 CAS-PEAL Face DB의 얼굴 검출 성능 비교를 설명하기 위한 표를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 얼굴 검출 방법의 수행과정을 도시한 순서도이다.
1 is a block diagram illustrating components of a face detection apparatus according to an embodiment of the present invention.
FIG. 2 is an exemplary diagram illustrating an execution process of a face detection apparatus according to an embodiment of the present invention. Referring to FIG.
FIG. 3 is a diagram illustrating an example of a controller according to an embodiment of the present invention. Referring to FIG.
FIG. 4 is a diagram illustrating an exemplary method for an adaptive search step size scheme for a window search unit according to an embodiment of the present invention. Referring to FIG.
FIG. 5 is a diagram illustrating an example of a strong classifier according to an embodiment of the present invention. Referring to FIG.
FIG. 6 is a diagram illustrating an exemplary window searching unit using a strong classifier according to an embodiment of the present invention. Referring to FIG.
FIG. 7 is a diagram illustrating an example of a weak classifier according to an embodiment of the present invention. Referring to FIG.
FIG. 8 is a diagram illustrating an exemplary region-based feature used in a weak classifier according to an embodiment of the present invention.
9 is a graph illustrating an AUC score per stage according to an embodiment of the present invention.
10 is a graph illustrating a rejection rate per stage according to an embodiment of the present invention.
11 is a table illustrating a comparison of face detection performance of the Caltech Face DB according to an embodiment of the present invention.
FIG. 12 is a table illustrating a comparison of face detection performance of a CAS-PEAL Face DB according to an embodiment of the present invention.
13 is a flowchart illustrating a process of performing a face detection method according to an embodiment of the present invention.

이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명할 수 있다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 할 수 있다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather obvious or understandable to those skilled in the art.

도 1은 본 발명의 일 실시예에 따른 얼굴 검출 장치의 구성요소를 도시한 블록도이다.1 is a block diagram illustrating components of a face detection apparatus according to an embodiment of the present invention.

도 1을 참조하면, 얼굴 검출 장치(1)는 영역 기반 특징을 이용하여 수신된 영상의 얼굴을 검출할 수 있다. 얼굴 검출 장치(1)는 영상내 존재하는 얼굴 후보 영역을 검출하고, 영역 기반 특징을 이용하여 얼굴 영역을 검출할 수 있다. 또한 얼굴 검출 장치(1)는 후처리 필터를 포함하고 있어서 얼굴 검출의 정확도를 높일 수 있다. 얼굴 검출 장치(1)는 입력부(110), 제어부(120), 출력부(130) 및 저장부(140)를 포함할 수 있다.Referring to FIG. 1, the face detection apparatus 1 can detect a face of a received image using an area-based feature. The face detection apparatus 1 can detect a face candidate region existing in an image and detect a face region using region-based features. In addition, since the face detection apparatus 1 includes a post-processing filter, the accuracy of face detection can be enhanced. The face detection apparatus 1 may include an input unit 110, a control unit 120, an output unit 130, and a storage unit 140.

입력부(110)는 영상을 수신받을 수 있다. 입력부(110)는 적어도 하나의 얼굴이 포함된 영상을 수신받을 수 있다. 상기 영상의 포맷은 BMP, JPG, JPEG, JPE, JFIF, GIF, TIF, TIFF 및 PNG 중 적어도 하나일 수 있다. The input unit 110 can receive an image. The input unit 110 may receive an image including at least one face. The format of the image may be at least one of BMP, JPG, JPEG, JPE, JFIF, GIF, TIF, TIFF and PNG.

제어부(120)는 입력부(110)에서 수신받은 영상에 포함된 얼굴에 대한 영역을 검출할 수 있다. 제어부(120)는 윈도우 탐색부(122), 후처리 필터부(124), 스코어맵부(126) 및 얼굴 영역 검출부(128)를 포함할 수 있다.The control unit 120 may detect an area of a face included in the image received from the input unit 110. [ The control unit 120 may include a window search unit 122, a post-processing filter unit 124, a score map unit 126, and a face area detection unit 128.

윈도우 탐색부(122)는 수신된 영상을 기초로 얼굴 후보 영역들을 검출할 수 있다. 후처리 필터부(124)는 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 할 수 있다. 스코어맵부(126)는 필터링된 얼굴 후보 영역들을 기초로 스코어맵을 생성할 수 있다. 얼굴 영역 검출부(128)는 생성된 스코어맵을 기초로 얼굴 영역을 검출할 수 있다. The window searching unit 122 can detect face candidate regions based on the received image. The post-processing filter unit 124 may perform filtering by applying a post-processing filter to the detected face candidate regions. The score map section 126 may generate a score map based on the filtered face candidate regions. The face area detection unit 128 can detect the face area based on the generated score map.

제어부(120)는 영역기반 특징의 훈련 방법을 이용하여 얼굴 검출기 학습 시간을 감소시킬 수 있다. 또한 제어부(120)는 얼굴 후보 영역에 대한 후처리 필터를 결합함으로써 오검출율을 낮추면서 정검출율은 향상 시킬 수 있다.The controller 120 may reduce the face detector learning time using a training method of region-based features. In addition, the control unit 120 can improve the positive detection rate while lowering the false detection rate by combining the post-processing filter for the face candidate region.

출력부(130)는 얼굴 영역을 출력할 수 있다. 출력부(130)는 수신된 영상에 포함된 얼굴 영상의 얼굴 영역을 디스플레이할 수 있다. 출력부(130)는 액정, 모니터, 프로젝터, TV 및 프린터 중 적어도 하나를 포함할 수 있다.The output unit 130 may output the face region. The output unit 130 may display the face region of the face image included in the received image. The output unit 130 may include at least one of a liquid crystal, a monitor, a projector, a TV, and a printer.

저장부(140)는 입력부(110)에서 수신받은 영상이 저장될 수 있다. 저장부(140)는 제어부(120)에서 검출된 얼굴 후보 영역 및 얼굴 영역이 저장될 수 있다. 또한 저장부(140)는 상기 생성된 스코어맵이 저장될 수 있다.
The storage unit 140 may store an image received from the input unit 110. The storage unit 140 may store the face candidate region and the face region detected by the controller 120. Also, the storage unit 140 may store the generated score map.

도 2는 본 발명의 일 실시예에 따른 얼굴 검출 장치의 실행과정을 도시한 예시도이다.FIG. 2 is an exemplary diagram illustrating an execution process of a face detection apparatus according to an embodiment of the present invention. Referring to FIG.

도 2를 참조하면, 얼굴 검출 장치(1)는 복수의 얼굴을 포함된 영상의 얼굴 영역을 검출할 수 있다. 얼굴 검출 장치(1)는 영역 기반 특징을 이용하여 얼굴 영역을 검출할 수 있다.Referring to FIG. 2, the face detection apparatus 1 can detect a face region of an image including a plurality of faces. The face detection apparatus 1 can detect a face region using region-based features.

얼굴 검출 장치(1)는 입력부(110)를 통하여 영상(210)을 수신받을 수 있다. 영상(210)은 복수의 얼굴을 포함될 수 있다. 얼굴 검출 장치(1)는 제어부(120)를 통하여 수신받은 영상(210)의 얼굴 검출을 할 수 있다. 얼굴 검출 장치(1)는 출력부(130)을 통하여 상기 검출된 얼굴 영역에 대한 영상(220)을 출력할 수 있다. 얼굴 검출 장치(1)는 상기 얼굴 영역을 원형, 타원형, 삼각형, 사각형 및 다각형 중 적어도 하나를 이용할 수 있다.
The face detection apparatus 1 can receive the image 210 through the input unit 110. [ The image 210 may include a plurality of faces. The face detection apparatus 1 can detect the face of the received image 210 through the control unit 120. [ The face detection apparatus 1 can output the image 220 for the detected face region through the output unit 130. [ The face detection apparatus 1 may use at least one of the face region as a circle, an ellipse, a triangle, a square, and a polygon.

도 3은 본 발명의 일 실시예에 따른 제어부를 설명하기 위한 예시도를 도시한 도면이다.FIG. 3 is a diagram illustrating an example of a controller according to an embodiment of the present invention. Referring to FIG.

도 3을 참조하면, 제어부(120)는 영역 기반 특징을 이용하여 수신된 영상에 포함된 얼굴 영역을 검출할 수 있다.Referring to FIG. 3, the controller 120 may detect a face region included in the received image using the region-based feature.

윈도우 탐색부(122)는 수신된 영상(310)에서 영역 기반 특징을 추출할 수 있다. 윈도우 탐색부(122)는 추출된 영역 기반 특징을 기초로 윈도우 탐색 기법을 이용하여 얼굴 후보 영역(320)을 검출할 수 있다. 얼굴 후보 영역(320)는 수신된 영상(310) 중에서 얼굴 영역일 가능성이 있는 영역일 수 있다. 또한 얼굴 후보 영역(320)은 적어도 하나의 윈도우를 포함할 수 있다. The window searching unit 122 may extract an area-based feature from the received image 310. FIG. The window searching unit 122 can detect the face candidate region 320 using the window searching method based on the extracted region-based feature. The face candidate region 320 may be a face region of the received image 310. The face candidate region 320 may also include at least one window.

윈도우 탐색부(122)는 영역 기반의 SURF(Speeded Up Robust Feature) 특징을 이용할 수 있다. 기존의 SURF 특징은 일반적으로 특징점 추출 등에 이용되었으나, 얼굴 검출 장치(1)는 40×40의 윈도우 영역내 2×2 셀 영역내 존재하는 픽셀들의 기울기 정보(

Figure 112013081860225-pat00001
)를 각 셀 영역마다 8차원으로 추출하여 32차원 특징 벡터를 생성할 수 있다. 여기서,
Figure 112013081860225-pat00002
는 수평,
Figure 112013081860225-pat00003
는 수직,
Figure 112013081860225-pat00004
,
Figure 112013081860225-pat00005
는 각각 대각 기울기 값을 의미한다. 얼굴 검출 장치(1)는 각 셀의 크기를 최소 12×12 픽셀로부터 가로, 세로 비율을 1:2, 1:3, 2:3 등으로 조절하여 총 358 종류의 영역 기반 특징 추출 윈도우를 이용할 수 있다.The window search unit 122 may use a region-based SURF (Speeded Up Robust Feature) feature. Conventionally, the SURF feature is generally used for feature point extraction and the like. However, the face detection apparatus 1 can detect the slope information of pixels existing in a 2x2 cell area within a 40x40 window area
Figure 112013081860225-pat00001
) Can be extracted in eight dimensions for each cell region to generate a 32-dimensional feature vector. here,
Figure 112013081860225-pat00002
The horizontal,
Figure 112013081860225-pat00003
Vertical,
Figure 112013081860225-pat00004
,
Figure 112013081860225-pat00005
Respectively denote diagonal slope values. The face detection apparatus 1 can use a total of 358 area-based feature extraction windows by adjusting the size of each cell from at least 12 × 12 pixels to 1: 2, 1: 3, 2: have.

윈도우 탐색부(122)는 약분류기 학습에서 로지스틱 회귀분석(Logistic regression)과 젠틀-부스트(Gentle-Boost)를 이용할 수 있다. 또한 윈도우 탐색부(122)는 약분류기의 결합을 위한 캐스케이드(cascade) 구조 학습을 곡선하면적(Area Under the Curve, AUC) 스코어를 이용할 수 있다. 윈도우 탐색부(122)는 N개의 학습 데이터(

Figure 112013081860225-pat00006
)가 주어지면, [수학식 1]을 이용하여 각 약분류기
Figure 112013081860225-pat00007
를 얼굴 영역(
Figure 112013081860225-pat00008
) 및 비얼굴 영역(
Figure 112013081860225-pat00009
)을 구분할 수 있다.
The window search unit 122 may use logistic regression and gentle-boost in weak classifier learning. In addition, the window search unit 122 may use an Area Under the Curve (AUC) score for cascade structure learning for combining weak classifiers. The window search unit 122 includes N learning data (
Figure 112013081860225-pat00006
), The following equation (1)
Figure 112013081860225-pat00007
Face area (
Figure 112013081860225-pat00008
) And the non-face area (
Figure 112013081860225-pat00009
) Can be distinguished.

Figure 112013081860225-pat00010
Figure 112013081860225-pat00010

여기서,

Figure 112013081860225-pat00011
는 SURF 특징을 의미하고,
Figure 112013081860225-pat00012
는 가중치 변수를 의미한다.here,
Figure 112013081860225-pat00011
Means the SURF feature,
Figure 112013081860225-pat00012
Means a weighting variable.

윈도우 탐색부(122)는 [수학식 2]를 이용하여 강분류기(

Figure 112013081860225-pat00013
)를 이전 스테이지
Figure 112013081860225-pat00014
의 분류기와 현재 스테이지
Figure 112013081860225-pat00015
Figure 112013081860225-pat00016
번째 라운드에 대한 분류기와의 결합을 통해 생성할 수 있다. 상기 강분류기는 캐스케이드 구조 학습이 이용될 수 있다.
The window search unit 122 uses the equation (2)
Figure 112013081860225-pat00013
) To the previous stage
Figure 112013081860225-pat00014
Classifier and current stage
Figure 112013081860225-pat00015
of
Figure 112013081860225-pat00016
Can be generated by combining with the classifier for the second round. The strong classifier can use cascade structure learning.

Figure 112013081860225-pat00017
Figure 112013081860225-pat00017

여기서,

Figure 112013081860225-pat00018
는 캐스케이드의 구조 학습을 위한 목적함수를 의미하고,
Figure 112013081860225-pat00019
는 이전 스테이지를 의미한다. 또한
Figure 112013081860225-pat00020
는 현재 스테이지를 의미하고,
Figure 112013081860225-pat00021
는 현재 스테이지에서의 약분류기를 의미한다.here,
Figure 112013081860225-pat00018
Is an objective function for structural learning of cascade,
Figure 112013081860225-pat00019
Means the previous stage. Also
Figure 112013081860225-pat00020
Means the current stage,
Figure 112013081860225-pat00021
Means a weak classifier in the current stage.

윈도우 탐색부(122)는

Figure 112013081860225-pat00022
번째 스테이지에서
Figure 112013081860225-pat00023
의 값이 k를 증가시키며, 약분류기를 결합하더라도 더 이상 변화하지 않고 수렴하면 현재 스테이지에서의 분류기 결합을 종료하고, 다음 스테이지로 넘어갈 수 있다. 또한 윈도우 탐색부(122)는 스테이지의 수가 증가 및 스테이지 내의 라운드 수가 증가할수록 [수학식 2]의 값이 목표 학습 수렴치 값이 도달하며, 최종 목표값에 도달할 때까지 [수학식 2]를 반복할 수 있다.The window search unit 122
Figure 112013081860225-pat00022
In the second stage
Figure 112013081860225-pat00023
The value of k increases, and even if the weak classifier is combined, the classifier combination at the current stage is terminated and the process can be advanced to the next stage. Further, the window searching unit 122 calculates the following equation (2) until the target learning convergence value reaches the value of the formula (2) and the final target value is reached as the number of stages increases and the number of rounds in the stage increases It can be repeated.

후처리 필터부(124)는 상기 방법으로 검출된 얼굴 후보 영역(320)에 후처리 필터(330)를 적용할 수 있다The post-processing filter unit 124 may apply the post-processing filter 330 to the face candidate region 320 detected in the above manner

후처리 필터부(124)는 상기 방법으로 영상으로부터 얼굴 후보 영역을 검출하고, 최종 얼굴 검출 결과를 얻기 전에 오검출을 줄이기 위하여 후처리 필터(330)를 수행할 수 있다. 후처리 필터부(124)는 후처리 필터(330)에서 오검출하는 패턴들을 올바르게 처리하기 위하여 비얼굴 영상에서 얼굴로 추정된 오검출 영역들과 학습 얼굴 영상을 재이용하여 학습할 수 있다. The post-processing filter unit 124 may detect the face candidate region from the image in the above-described manner and perform a post-processing filter 330 to reduce false detection before obtaining the final face detection result. The post-processing filter unit 124 can learn by reusing the false detection areas estimated from the face in the non-facial image and the learning facial image in order to properly process the patterns that are erroneously detected by the post-processing filter 330.

후처리 필터부(124)는 국부 이진 패턴(Local Binary Pattern, LBP) 특징과 기울기 히스토그램(Histograms of Oriented Gradients, HOG) 특징을 피라미드(pyramid) 형태로 쌓고, 상기 피라미드 형태로 쌓인 특징을 기초로 서포트 벡터 머신(support vector machine)를 이용하여 얼굴 영역인지 아닌지에 대한 최종 판단을 할 수 있다. 후처리 필터부(124)는 산출속도를 높이기 위해 선형 커널(linear kernel)을 이용할 수 있다.The post-processing filter unit 124 accumulates the features of the local binary pattern (LBP) and the histograms of the orientated gradients (HOG) in a pyramid shape, A final decision on whether or not the face region is made can be made using a support vector machine. The post-processing filter unit 124 may use a linear kernel to increase the output speed.

스코어맵부(126)는 검출된 얼굴 후보 영역에 대한 후처리 필터를 수행하여 산출된 응답 값을 이용하여 스코어맵(340)에 매핑할 수 있다. 스코어맵(340)는 얼굴 후보 영역이 얼굴 영역일 확률에 대한 점수에 관한 맵일 수 있다.The score map unit 126 may perform a post-processing filter on the detected face candidate region and map the result to the score map 340 using the calculated response value. The score map 340 may be a map of the score for the probability that the face candidate region is a face region.

얼굴 영역 검출부(128)는 매핑된 얼굴 후보 영역이 사전에 설정된 임계값보다 같거나 클 경우에 얼굴 영역(350)으로 판단할 수 있다. 상기 임계값은 수신받은 영상의 종류에 따라 설정을 될 수 있다.
The face area detection unit 128 may determine the face area 350 if the mapped face candidate area is equal to or greater than a preset threshold value. The threshold may be set according to the type of the received image.

도 4는 본 발명의 일 실시예에 따른 윈도우 탐색부를 설명하기 위한 예시도를 도시한 도면이다.4 is a view illustrating an exemplary window for explaining a window search unit according to an embodiment of the present invention.

도 4를 참조하면, 윈도우 탐색부(122)는 얼굴 영역을 효율적으로 탐색하기 위하여 탐색 윈도우를 재설계(rescaling) 방법 및 적응 탐색 스탭 사이즈 체계(Adaptive Searching Stepsize Scheme) 방법을 이용할 수 있다.Referring to FIG. 4, the window searching unit 122 may use a method of rescaling a search window and an Adaptive Searching Stepsize Scheme to efficiently search for a face region.

도 4(a)는 얼굴 영역 탐색을 하는데 서브 윈도우 사이즈(Sub-window size)를 재설계하는 방법을 설명하는 도면이다.4A is a view for explaining a method of redesigning a sub-window size in searching a face area.

윈도우 탐색부(122)는 탐색 윈도우의 크기를 일정크기의 배수만큼 재설계하는 방법을 이용할 수 있다. 윈도우 탐색부(122)는 재설계 방법을 이용하여 얼굴 영역 특징을 탐색 초기에 한번만 추출할 수 있고, 이후에는 재설계된 탐색 윈도우의 변화된 크기에 따른 좌표값에 의해 해당 좌표값의 특징 정보만 이용할 수 있다. 따라서, 윈도우 탐색부(122)는 추가적인 작업없이 얼굴 영역 특징을 재추출할 수 있다.The window searching unit 122 may use a method of redesigning the size of the search window by a multiple of a certain size. The window searching unit 122 can extract the face region feature only once at the beginning of the search using the redesign method and then use only the feature information of the corresponding coordinate value according to the coordinate value according to the changed size of the redesigned search window have. Accordingly, the window searching unit 122 can re-extract the face region feature without further work.

도 4(b)는 얼굴 영역 탐색을 하는데 적응 탐색 스탭 사이즈 체계 방법을 설명하는 도면이다.4 (b) is a view for explaining an adaptive search step size system method for performing face area search.

윈도우 탐색부(122)는 임의의 탐색 윈도우 크기에 대하여 다음번 영역을 검출할 때,

Figure 112013081860225-pat00024
의 크기만큼 x축, y축으로 이동할 수 있다. 윈도우 탐색부(122)는 해당 탐색 윈도우에서 추출된 얼굴 영역 특징(Gradient magnitude)의 값이
Figure 112013081860225-pat00025
보다 작은 경우, 다음번 탐색할 영역을 스탭 사이즈
Figure 112013081860225-pat00026
대신
Figure 112013081860225-pat00027
크기만큼 이동시키는 적응 탐색 스탭 사이즈 체계를 이용할 수 있다. 윈도우 탐색부(122)는 적응 탐색 스탭 사이즈 체계를 이용하여 얼굴 영역이 아닌 영역을 패싱(passing)하여 얼굴 영역 특징을 추출하는 불필요한 처리 과정을 생략할 수 있다. 여기서,
Figure 112013081860225-pat00028
는 탐색 스탭 사이즈(Searching Stepsize)를 부스팅(boosting)하는 크기이고,
Figure 112013081860225-pat00029
는 탐색하지 않고 패싱한 누적 횟수이다. When the window searching unit 122 detects the next area for an arbitrary search window size,
Figure 112013081860225-pat00024
Axis and y-axis, respectively. The window search unit 122 searches for the value of the face region feature (gradient magnitude)
Figure 112013081860225-pat00025
If the area to be searched next is smaller than the step size
Figure 112013081860225-pat00026
instead
Figure 112013081860225-pat00027
An adaptive search step size system can be used. The window searching unit 122 may skip the unnecessary processing of extracting the face region feature by passing an area other than the face region using the adaptive search step size system. here,
Figure 112013081860225-pat00028
Is a size for boosting the Searching Stepsize,
Figure 112013081860225-pat00029
Is the accumulated number of passes without searching.

윈도우 탐색부(122)는

Figure 112013081860225-pat00030
을 이용하여 영상에서 배경과 같은 부분에서는 탐색 윈도우의 탐색 스탭 사이즈를 크게 함으로써, 불필한 탐색을 줄일 수 있다. 윈도우 탐색부(122)는 얼굴 영역에서는
Figure 112013081860225-pat00031
값을 초기화하여 기본 탐색 스탭 사이즈
Figure 112013081860225-pat00032
를 이용하여 얼굴 영역을 찾을 수 있다.
The window search unit 122
Figure 112013081860225-pat00030
The unnecessary search can be reduced by enlarging the search step size of the search window in the part such as the background in the image. The window search unit 122 searches the face region
Figure 112013081860225-pat00031
Initialize the value so that the default navigation step size
Figure 112013081860225-pat00032
Can be used to find the face area.

도 5는 본 발명의 일 실시예에 따른 강분류기를 설명하기 위한 예시도를 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 강분류기를 이용한 윈도우 탐색부를 설명하기 위한 예시도를 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 약분류기를 설명하기 위한 예시도를 도시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 약분류기에 사용된 영역 기반 특징을 설명하기 위한 예시도를 도시한 도면이다.FIG. 5 is a view illustrating an example of a strong classifier according to an embodiment of the present invention. FIG. 6 is an exemplary view for explaining a window search unit using a strong classifier according to an embodiment of the present invention. FIG. 7 is a diagram illustrating an example of a weak classifier according to an embodiment of the present invention. FIG. 8 is a diagram illustrating a region-based feature used in a weak classifier according to an embodiment of the present invention And Fig.

도 5 내지 도 8을 참조하면, 윈도우 탐색부(122)는 복수의 강분류기(strong classifier)들로 이루어지고, 상기 강분류기는 복수의 약분류기(weak classifier)들을 포함할 수 있다. 또한 상기 약분류기는 캐스케이드(cascade)의 구조를 이루며 결합될 수 있다.5 to 8, the window search unit 122 may include a plurality of strong classifiers, and the strong classifier may include a plurality of weak classifiers. Further, the weak classifier may be combined with a cascade structure.

도 5와 같이, 윈도우 탐색부(122)는 입력부(110)를 통해 수신된 영상에서 얼굴 검출을 위한 탐색 윈도우들 중 얼굴 영역이 아니라고 추정되는 윈도우들을 제외할 수 있다. 윈도우 탐색부(122)는 강분류기(520)를 이용하여 얼굴 후보 영역의 모든 후보 윈도우(510) 중 비얼굴 영역으로 추정되는 비얼굴 영역 후보 윈도우(540)를 제외하여, 얼굴 영역으로 추정되는 얼굴 영역 후보 윈도우(530)를 추출할 수 있다.As shown in FIG. 5, the window searching unit 122 may exclude windows that are estimated to be non-face regions among the search windows for face detection in the image received through the input unit 110. FIG. The window searching unit 122 extracts the non-face region candidate window 540 estimated as the non-face region among all the candidate windows 510 of the face candidate region 510 using the strong classifier 520, The region candidate window 530 can be extracted.

윈도우 탐색부(122)는 복수의 강분류기(522, 524, 526)들을 포함할 수 있다. 윈도우 탐색부(122)는 스테이지에 따라 강분류기들을 분류할 수 있고 각 스테이지에 따라 강분류기(520)는 얼굴 영역 및 비얼굴 영역을 추정할 수 있다. The window searching unit 122 may include a plurality of strong classifiers 522, 524, and 526. The window searching unit 122 can classify the strong classifiers according to the stage, and according to each stage, the strong classifier 520 can estimate the face area and the non-face area.

윈도우 탐색부(122)의 제1 스테이지는 제1 강분류기(522)를 포함하고, 제2 스테이지는 제2 강분류기(524)를 포함하며, 제3 스테이지는 제3 강분류기(526)을 포함할 수 있다. 상기 스테이지의 개수는 각각의 상황에 맞게 사전에 설정될 수 있다.The first stage of the window search unit 122 includes a first classifier 522 and the second stage includes a second classifier 524 and the third stage includes a third classifier 526 can do. The number of the stages can be set in advance according to each situation.

강분류기(520)는 도 7에 도시된 약분류기들이 캐스케이드의 구조로 이루며 결합된 것일 수 있다. 약분류기에 사용되는 특징들은 도 8과 같이 다양한 모양일 수 있다.The strong classifier 520 may be one in which the weak classifiers shown in FIG. 7 are made up of cascade structures. The features used in the weak classifier may be various shapes as shown in FIG.

윈도우 탐색부(122)는 도 6과 같이, 스테이지에 따라 강분류기(520)를 통하여 비얼굴 영역이라고 추정되는 비얼굴 영역 후보 윈도우(540)를 제외하고, 얼굴 영역이라고 추정되는 얼굴 영역 후보 윈도우(530)를 추출할 수 있다.The window searching unit 122 may extract a face region candidate window 540 estimated as a face region excluding the non-face region candidate window 540 estimated as a non-face region through the strong classifier 520 according to the stage, 530) can be extracted.

제1 스테이지에서의 윈도우 영상(610)은 얼굴 영역뿐만 아니라 비얼굴 영역의 많은 부분도 윈도우를 통해 추정되고 있는 것을 보여준다. 하지만 제2 스테이지에서의 윈도우 영상(620) 및 제3 스테이지에서의 윈도우 영상(630)을 통해, 윈도우 탐색부(122)는 스테이지가 증가할수록 비얼굴 영역이라고 추정되는 윈도우를 제외시키고, 얼굴 영역이라고 추정되는 윈도우를 추출하는 것을 확인할 수 있다.The window image 610 in the first stage shows that not only the face region but also a large portion of the non-face region is estimated through the window. However, through the window image 620 in the second stage and the window image 630 in the third stage, the window search unit 122 excludes the window that is estimated to be a non-face region as the stage increases, It can be confirmed that the estimated window is extracted.

따라서, 윈도우 탐색부(122)는 스테이지가 증가할수록 입력부(110)에서 수신 받은 영상에서 얼굴 영역이라고 추정되는 윈도우만 추출할 수 있다.
Accordingly, the window search unit 122 can extract only the window estimated as the face region from the image received by the input unit 110 as the stage increases.

도 9는 본 발명의 일 실시예에 따른 스테이지당 AUC 스코어를 설명하기 위한 그래프를 도시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 스테이지당 거부율을 설명하기 위한 그래프를 도시한 도면이다.FIG. 9 is a graph illustrating an AUC score per stage according to an embodiment of the present invention, and FIG. 10 is a graph illustrating a rejection rate per stage according to an embodiment of the present invention .

도 9 및 도 10을 참조하면, 얼굴 검출 장치(1)은 스테이지 증가에 따라 얼굴 영역 검출 정확도에 대한 성능 분석을 할 수 있다.Referring to FIGS. 9 and 10, the face detection apparatus 1 can analyze the performance of the face area detection accuracy in accordance with the increase in the number of stages.

도 9는 스테이지에 따른 AUC 스코어의 값을 나타낸 것으로, AUC는 측정하고자 하는 이분형 변수를 판별하는데 얼마만큼의 정확도가 있는지 평가하는 것이다. 도 9를 보면, 얼굴 검출 장치(1)이 스테이지의 수가 증가 및 스테이지 내의 라운드수가 증가할수록 [수학식 2]의 값이 높은 값에 수렴하고 있는 것을 보여준다. FIG. 9 shows the value of the AUC score according to the stage, and the AUC is to evaluate how much accuracy is required to determine this blob variable to be measured. Referring to FIG. 9, the value of the formula (2) converges to a higher value as the number of stages increases and the number of rounds in the stage increases.

도 10은 스테이지에 따른 캐스케이드 스테이지에 따른 거부율을 나타낸 것이다. 얼굴 검출 장치(1)은 캐스케이드 스테이지가 증가할수록 거부율이 1에 수렴하는 것을 보여준다.10 shows the rejection rate according to the cascade stage according to the stage. The face detection apparatus 1 shows that the rejection rate converges to 1 as the cascade stage increases.

따라서, 얼굴 검출 장치(1)는 스테이지가 증가할수록 비얼굴 후보 영역을 잘 분류하고, 얼굴 후보 영역을 잘 검출할 수 있다. Therefore, the face detection apparatus 1 can classify the non-face candidate region well as the stage increases, and can detect the face candidate region well.

도 11은 본 발명의 일 실시예에 따른 Caltech Face DB의 얼굴 검출 성능 비교를 설명하기 위한 표를 도시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 CAS-PEAL Face DB의 얼굴 검출 성능 비교를 설명하기 위한 표를 도시한 도면이다.FIG. 11 is a table for explaining the comparison of face detection performance of Caltech Face DB according to an embodiment of the present invention. FIG. 12 is a diagram illustrating a face detection performance of a CAS-PEAL Face DB according to an embodiment of the present invention. Fig. 6 is a table showing a comparison for explaining the comparison. Fig.

도 11 및 도 12를 참조하면, 얼굴 검출 장치(1)는 성능 평가를 위하여 구현할 수 있다. 얼굴 검출 장치(1)는 Core Quad CPU의 8GB Ram의 하드웨어, Microsoft windows7 운영 체제상에서 Microsoft visual studio 2010, Matlab 2012 및 OpenCV 라이브러리 2.0을 이용하여 알고리즘을 구현할 수 있다. 얼굴 검출 장치(1)는 Caltech 및 CAS-PEAL을 이용할 수 있고, 얼굴 영상은 Feret, Multi-PIE 데이터에서 선별된 15600장의 영상을 이용할 수 있다. 또한 얼굴 검출 장치(1)는 비얼굴 영상을 구글 등에서 20000여장을 수집하여 이용할 수 있다.11 and 12, the face detection apparatus 1 can be implemented for performance evaluation. The face detection device (1) can implement the algorithm using hardware of 8GB Ram of Core Quad CPU, Microsoft visual studio 2010, Matlab 2012 and OpenCV library 2.0 on Microsoft windows7 operating system. The face detection apparatus 1 can use Caltech and CAS-PEAL, and the face image can use 15600 images selected from Feret and Multi-PIE data. In addition, the face detection apparatus 1 can collect 20000 non-face images from Google or the like and use them.

얼굴 검출 장치(1)는 얼굴을 훈련하는 영상을 40×40 사이즈의 영상으로 변환할 수 있고, 비얼굴 영상은 원본 크기에서 특징 윈도우 사이즈 크기 비례에 따라 추출할 수 있다. 얼굴 검출 장치(1)는 목표 정검출율을 스테이지당 99.5%로 설정할 수 있고, 오검출율을 각 스테이지에서 정검출에 따른 AUC 스코어에 해당하는 값을 이용하여 학습 종료에 대한 오검출율 조건을 10-6으로 설정할 수 있다.The face detecting apparatus 1 can convert a face training image into a 40x40 size image, and a non-face image can be extracted in accordance with the feature window size ratio in the original size. The face detection apparatus 1 can set the target detection rate to 99.5% per stage. By using the value corresponding to the AUC score according to the positive detection in each stage, the erroneous detection rate condition 10 -6 .

얼굴 검출 장치(1)는 캐스케이드 학습에 약 48시간 정도가 소요할 수 있다. 따라서, 얼굴 검출 장치(1)는 비약적으로 시간을 단축할 수 있다. 또한 얼굴 검출 장치(1)는 얼굴 검출에 소요되는 시간을 320×240 해상도에서는 장당 약 0.15초가 소요할 수 있고, 640×480에서는 약 0.4초가 소요할 수 있다.The face detection apparatus 1 can take about 48 hours to learn cascade. Therefore, the face detecting apparatus 1 can dramatically shorten the time. In addition, the face detection apparatus 1 can take about 0.15 seconds per face for 320 × 240 resolution and 0.4 seconds for 640 × 480.

도 11 및 도 12는 제안된 알고리즘, VJ(P.Viola and M.Jones, "Rapid object detection using a boosted cascade of simple features", CVPR, 2001)의 알고리즘 및 J.LI(J.LI, T.Wang, and Y.Zhang, "Face detection using surf cascade." ICCV Workshops, 2011.)의 알고리즘에 대한 성능 비교를 나타낸 도면이다.11 and 12 show an algorithm of the proposed algorithm, VJ (P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features", CVPR, 2001) and J.LI (J. Wang, and Y. Zhang, "Face detection using surf cascade." ICCV Workshops, 2011.).

도 11은 Caltech Face DB에 대한 얼굴 검출 성능에 대한 비교이다. Caltech Face DB는 450장의 896×592 해상도의 남녀 사진으로 구성되어 있다. 따라서, Caltech Face DB를 이용한 성능 비교는 복잡한 배경에서 각각의 얼굴을 정확하게 찾는 것이 목적이 될 수 있다. 11 is a comparison of face detection performance for Caltech Face DB. Caltech Face DB consists of 450 pictures of 896 × 592 man and woman. Therefore, the performance comparison using Caltech Face DB can be aimed to find each face accurately in complex background.

얼굴 검출 장치(1)는 6 스테이지로 구성된 308개의 약분류기를 이용하였고, 24 스테이지의 2900여개에 대한 약분류기 결합으로 이루어진 VJ의 방법에 비하여 낮은 오검출에서 유사한 정검출 성능을 보임을 확인할 수 있다. 여기서, J.LI의 경우 데모용 프로그램만 존재하여 정확한 오검출 수치 비교가 어려워 정검출 결과만 이용한다.The face detector (1) uses 308 weak classifiers composed of 6 stages, and it can be confirmed that similar detection performance is obtained at low erroneous detection compared with the VJ method composed of weak classifiers for about 2900 of 24 stages . In the case of J.LI, there is only a demonstration program, so that it is difficult to accurately compute the erroneous detection value, and only the result of the detection is used.

도 12는 CAS-PEAL Face DB에 대한 얼굴 검출 성능에 대한 비교이다. CAS-PEAL Face DB는 다양한 남녀로 구성되어 있다. 따라서, CAS-PEAL Face DB를 이용한 성능 비교는 영상 크기와 포즈, 장신구 착용, 표정 및 조명등의 환경요소에 강인하게 얼굴을 검출하는 것이 목적이 될 수 있다.12 is a comparison of face detection performance for the CAS-PEAL Face DB. CAS-PEAL Face DB consists of various men and women. Therefore, the performance comparison using the CAS-PEAL Face DB can be aimed to detect the faces robustly against environmental factors such as image size, pose, wearing ornaments, facial expression, and illumination.

얼굴 검출 장치(1)는 기존의 방법(VJ, J.LI) 에 비하여 낮은 오검출을 보이고, 정검출 성능은 기존의 방법과 비슷하거나 더 뛰어난 것을 확인할 수 있다.
The face detection apparatus 1 has low false detection compared to the conventional methods (VJ, J.LI), and the detection performance is similar or superior to that of the conventional method.

도 13은 본 발명의 일 실시예에 따른 얼굴 검출 방법의 수행과정을 도시한 순서도이다.13 is a flowchart illustrating a process of performing a face detection method according to an embodiment of the present invention.

도 13을 참조하면, 얼굴 검출 장치(1)는 영역 기반 특징을 이용하여 수신된 영상의 얼굴을 검출할 수 있다. 얼굴 검출 장치(1)는 영상내 존재하는 얼굴 후보 영역을 검출하고, 영역 기반 특징을 이용하여 얼굴 영역을 검출할 수 있다.Referring to FIG. 13, the face detection apparatus 1 can detect a face of a received image using an area-based feature. The face detection apparatus 1 can detect a face candidate region existing in an image and detect a face region using region-based features.

얼굴 검출 장치(1)는 영상을 입력받는다(S100). 얼굴 검출 장치(1)는 적어도 하나의 얼굴이 포함된 영상을 수신받을 수 있다. 상기 영상의 포맷은 BMP, JPG, JPEG, JPE, JFIF, GIF, TIF, TIFF 및 PNG 중 적어도 하나일 수 있다. The face detection apparatus 1 receives an image (S100). The face detection apparatus 1 can receive an image including at least one face. The format of the image may be at least one of BMP, JPG, JPEG, JPE, JFIF, GIF, TIF, TIFF and PNG.

얼굴 검출 장치(1)는 윈도우 탐색을 이용하여 얼굴 후보 영역을 검출한다(S110). 얼굴 검출 장치(1)는 수신된 영상에서 영역 기반 특징을 추출할 수 있다. 얼굴 검출 장치(1)는 추출된 영역 기반 특징을 기초로 윈도우 탐색 기법을 이용하여 얼굴 후보 영역(320)을 검출할 수 있다. 얼굴 후보 영역(320)는 수신된 영상(310) 중에서 얼굴 영역일 가능성이 있는 영역일 수 있다. 또한 얼굴 후보 영역(320)은 적어도 하나의 윈도우를 포함할 수 있다. The face detection apparatus 1 detects a face candidate region using window search (S110). The face detection apparatus 1 can extract region-based features from the received image. The face detection apparatus 1 can detect the face candidate region 320 using the window search technique based on the extracted region-based feature. The face candidate region 320 may be a face region of the received image 310. The face candidate region 320 may also include at least one window.

얼굴 검출 장치(1)는 후처리 필터를 이용하여 얼굴 후보 영역을 필터링한다(S120). 얼굴 검출 장치(1)는 최종 얼굴 검출 결과를 얻기 전에 얼굴 후보 영역에 대한 오검출을 줄이려고, 후처리 필터(330)를 수행할 수 있다. 얼굴 검출 장치(1)는 후처리 필터(330)에서 오검출하는 패턴들을 올바르게 처리하기 위해 비얼굴 영상에서 얼굴로 추정된 오검출 영역들과 학습 얼굴 영상을 재이용하여 학습할 수 있다. The face detection apparatus 1 filters the face candidate region using a post-processing filter (S120). The face detection apparatus 1 may perform a post-processing filter 330 to reduce erroneous detection of the face candidate region before obtaining the final face detection result. In order to correctly process the patterns that are erroneously detected by the post-processing filter 330, the face detection apparatus 1 can learn by reusing the erroneous detection areas and the learning face images estimated from the non-face images.

얼굴 검출 장치(1)는 얼굴 후보 영역에 대한 스코어맵을 생성한다(S130). 얼굴 검출 장치(1)는 검출된 얼굴 후보 영역을 스코어맵(340)에 매핑할 수 있다. 스코어맵(340)는 얼굴 후보 영역이 얼굴 영역일 확률에 대한 점수에 관한 맵일 수 있다.The face detection apparatus 1 generates a score map for the face candidate region (S130). The face detection apparatus 1 can map the detected face candidate region to the score map 340. [ The score map 340 may be a map of the score for the probability that the face candidate region is a face region.

얼굴 검출 장치(1)는 얼굴 영역을 검출한다(S140). 얼굴 검출 장치(1)는 매핑된 얼굴 후보 영역이 사전에 설정된 임계값보다 같거나 클 경우에 얼굴 영역(350)으로 판단할 수 있다. 상기 임계값은 수신받은 영상의 종류에 따라 설정을 할 수 있다.
The face detection apparatus 1 detects the face area (S140). The face detection apparatus 1 can determine the face region 350 if the mapped face candidate region is equal to or greater than a preset threshold value. The threshold value can be set according to the type of the received image.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer apparatus is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer-readable recording medium may also be distributed to networked computer devices so that computer readable code can be stored and executed in a distributed manner.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.

1: 얼굴 검출 장치 110: 입력부
120: 제어부 122: 윈도우 탐색부
124: 후처리 필터부 126: 스코어맵부
128: 얼굴 영역 검출부 130: 출력부
140: 저장부 210: 입력 영상
220: 출력 영상 310: 입력 영상
320: 얼굴 후보 영역 330: 후처리 필터
340: 스코어맵 350: 얼굴 영역
510: 모든 후보 윈도우 520: 강분류기
522: 제1 강분류기 524: 제2 강분류기
526: 제3 강분류기 530: 얼굴 영역 후보 윈도우
540: 비얼굴 영역 후보 윈도우
1: face detecting device 110: input part
120: control unit 122: window search unit
124: post-filter section 126: score map section
128: face area detection unit 130: output unit
140: storage unit 210: input image
220: output image 310: input image
320: face candidate region 330: post-processing filter
340: Score map 350: Face area
510: All Candidates Window 520: Strong Classifier
522: first class classifier 524: second class classifier
526: Class 3 classifier 530: Face region candidate window
540: Non-face region candidate window

Claims (7)

얼굴이 포함된 영상을 수신받는 입력부; 및
제어부를 포함하면서,
상기 제어부는,
상기 수신받은 영상을 기초로 얼굴 후보 영역들을 검출하는 윈도우 탐색부;
상기 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 하는 후처리 필터부;
상기 필터링된 얼굴 후보 영역을 기초로 스코어맵을 생성하는 스코어맵부; 및
상기 생성된 스코어맵을 기초로 얼굴 영역을 검출하는 얼굴 영역 검출부를 포함하고,
상기 윈도우 탐색부는,
상기 영상을 기초로 윈도우 영역내에 포함된 셀 영역내 존재하는 픽셀들의 기울기 정보를 추출하여 특징 벡터를 생성하고, 상기 생성된 특징벡터를 기초로 영역 기반의 특징을 추출하며, 상기 추출된 특징을 이용하여 상기 얼굴 후보 영역들을 검출하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치.
An input unit receiving an image including a face; And
Including a control section,
Wherein,
A window search unit for detecting face candidate regions based on the received image;
A post-processing filter unit for performing filtering by applying a post-processing filter to the detected face candidate regions;
A score map portion for generating a score map based on the filtered face candidate regions; And
And a face area detecting unit for detecting a face area based on the generated score map,
Wherein the window search unit comprises:
Extracting slope information of pixels existing in a cell region included in the window region based on the image to generate a feature vector, extracting region-based features based on the generated feature vector, And the face candidate regions are detected based on the detected face candidate regions.
제 1항에 있어서,
상기 윈도우 탐색부는,
복수의 강분류기(strong classifier)들로 이루어지고, 상기 강분류기는 복수의 약분류기(weak classifier)들을 포함하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치.
The method according to claim 1,
Wherein the window search unit comprises:
Wherein the strong classifier comprises a plurality of strong classifiers, and the strong classifier includes a plurality of weak classifiers.
제 2항에 있어서,
상기 윈도우 탐색부는,
하기 수학식을 이용하여 상기 약분류기들을 얼굴영역 및 비얼굴영역으로 구분하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치:
[수학식]
Figure 112014069720632-pat00046

여기서,
Figure 112014069720632-pat00047
는 얼굴영역을 의미하고,
Figure 112014069720632-pat00048
는 비얼굴영역을 의미하며,
Figure 112014069720632-pat00049
는 SURF 특징을 의미하고,
Figure 112014069720632-pat00050
는 가중치 변수를 의미한다.
3. The method of claim 2,
Wherein the window search unit comprises:
Wherein the weak classifier is divided into a face area and a non-face area using the following equation: < EMI ID =
[Mathematical Expression]
Figure 112014069720632-pat00046

here,
Figure 112014069720632-pat00047
Means a face area,
Figure 112014069720632-pat00048
Means a non-face area,
Figure 112014069720632-pat00049
Means the SURF feature,
Figure 112014069720632-pat00050
Means a weighting variable.
제 2항에 있어서,
상기 윈도우 탐색부는,
하기 수학식을 이용하여 상기 강분류기를 이전 스테이지의 분류기와 현재 스테이지의 k번째 라운드에 대한 분류기와의 결합으로 생성하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치:
[수학식]
Figure 112014069720632-pat00051

여기서,
Figure 112014069720632-pat00052
는 강분류기를 의미하고,
Figure 112014069720632-pat00053
는 캐스케이드의 구조 학습을 위한 목적함수를 의미하며,
Figure 112014069720632-pat00054
는 이전 스테이지를 의미하고,
Figure 112014069720632-pat00055
는 현재 스테이지를 의미하며,
Figure 112014069720632-pat00056
는 현재 스테이지에서의 약분류기를 의미한다.
3. The method of claim 2,
Wherein the window search unit comprises:
Wherein the strong classifier is generated by combining a classifier of a previous stage and a classifier for a k-th round of a current stage using the following equation: < EMI ID =
[Mathematical Expression]
Figure 112014069720632-pat00051

here,
Figure 112014069720632-pat00052
Means a strong classifier,
Figure 112014069720632-pat00053
Is an objective function for structural learning of cascade,
Figure 112014069720632-pat00054
Means the previous stage,
Figure 112014069720632-pat00055
Means the current stage,
Figure 112014069720632-pat00056
Means a weak classifier in the current stage.
제 1항에 있어서,
상기 후처리 필터부는,
국부 이진 패턴(Local Binary Pattern, LBP) 특징과 기울기 히스토그램(Histograms of Oriented Gradients, HOG) 특징을 피라미드(pyramid) 형태로 쌓고, 상기 피라미드 형태로 쌓인 특징을 기초로 서포트 벡터 머신(support vector machine)를 이용하여 얼굴 영역을 판단하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치.
The method according to claim 1,
The post-
The features of the Local Binary Pattern (LBP) and the Histograms of Oriented Gradients (HOG) are built up in a pyramid form, and a support vector machine based on the pyramid- And the face region is determined using the region-based feature.
제 1항에 있어서,
상기 얼굴 영역 검출부는 상기 얼굴 후보 영역의 스코어맵이 사전에 설정된 임계값보다 같거나 클 경우에 상기 얼굴 영역으로 검출하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 장치.
The method according to claim 1,
Wherein the face area detecting unit detects the face area when the score map of the face candidate area is equal to or larger than a predetermined threshold value.
얼굴이 포함된 영상을 수신받는 단계;
상기 수신받은 영상을 기초로 얼굴 후보 영역들을 검출하는 단계;
상기 검출된 얼굴 후보 영역들에 후처리 필터를 적용하여 필터링을 하는 단계;
상기 필터링된 얼굴 후보 영역을 기초로 스코어맵을 생성하는 단계; 및
상기 생성된 스코어맵을 기초로 얼굴 영역을 검출하는 단계를 포함하고,
상기 얼굴 후보 영역을 검출하는 단계는,
상기 영상을 기초로 윈도우 영역내에 포함된 셀 영역내 존재하는 픽셀들의 기울기 정보를 추출하여 특징 벡터를 생성하고, 상기 생성된 특징 벡터를 기초로 영역 기반의 특징을 추출하며, 상기 추출된 특징을 이용하여 상기 얼굴 후보 영역들을 검출하는 것을 특징으로 하는 영역 기반 특징을 이용한 얼굴 검출 방법.
Receiving an image including a face;
Detecting face candidate regions based on the received image;
Applying a post-processing filter to the detected face candidate regions to perform filtering;
Generating a score map based on the filtered face candidate regions; And
And detecting a face region based on the generated score map,
Wherein the step of detecting the face candidate region comprises:
Extracting slope information of pixels existing in a cell region included in the window region based on the image to generate a feature vector, extracting region-based features based on the generated feature vector, And the face candidate regions are detected based on the face candidate regions.
KR1020130107452A 2013-09-06 2013-09-06 Face detection device and method using region-based feature KR101449744B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130107452A KR101449744B1 (en) 2013-09-06 2013-09-06 Face detection device and method using region-based feature

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130107452A KR101449744B1 (en) 2013-09-06 2013-09-06 Face detection device and method using region-based feature

Publications (1)

Publication Number Publication Date
KR101449744B1 true KR101449744B1 (en) 2014-10-15

Family

ID=51997357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130107452A KR101449744B1 (en) 2013-09-06 2013-09-06 Face detection device and method using region-based feature

Country Status (1)

Country Link
KR (1) KR101449744B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653278B1 (en) * 2016-04-01 2016-09-01 수원대학교산학협력단 Face tracking system using colar-based face detection method
CN106548114A (en) * 2015-09-17 2017-03-29 腾讯科技(北京)有限公司 Image processing method and device
KR20180080081A (en) * 2017-01-03 2018-07-11 한국과학기술원 Method and system for robust face dectection in wild environment based on cnn
WO2019208869A1 (en) * 2018-04-27 2019-10-31 연세대학교 산학협력단 Method and apparatus for detecting facial features by using learning
US10592729B2 (en) 2016-01-21 2020-03-17 Samsung Electronics Co., Ltd. Face detection method and apparatus
CN113361307A (en) * 2020-03-06 2021-09-07 上海卓繁信息技术股份有限公司 Facial expression classification method and device and storage equipment
CN113537993A (en) * 2020-08-27 2021-10-22 腾讯科技(深圳)有限公司 Data detection method and device based on face payment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100474848B1 (en) * 2002-07-19 2005-03-10 삼성전자주식회사 System and method for detecting and tracking a plurality of faces in real-time by integrating the visual ques
KR101216115B1 (en) * 2011-08-09 2012-12-27 이인권 Method and device for generating personal information of consumer, computer-readable recording medium for the same, and pos system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100474848B1 (en) * 2002-07-19 2005-03-10 삼성전자주식회사 System and method for detecting and tracking a plurality of faces in real-time by integrating the visual ques
KR101216115B1 (en) * 2011-08-09 2012-12-27 이인권 Method and device for generating personal information of consumer, computer-readable recording medium for the same, and pos system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548114A (en) * 2015-09-17 2017-03-29 腾讯科技(北京)有限公司 Image processing method and device
CN106548114B (en) * 2015-09-17 2019-11-12 腾讯科技(北京)有限公司 Image processing method, device and computer-readable medium
US10592729B2 (en) 2016-01-21 2020-03-17 Samsung Electronics Co., Ltd. Face detection method and apparatus
KR101653278B1 (en) * 2016-04-01 2016-09-01 수원대학교산학협력단 Face tracking system using colar-based face detection method
KR20180080081A (en) * 2017-01-03 2018-07-11 한국과학기술원 Method and system for robust face dectection in wild environment based on cnn
KR102036963B1 (en) * 2017-01-03 2019-11-29 한국과학기술원 Method and system for robust face dectection in wild environment based on cnn
WO2019208869A1 (en) * 2018-04-27 2019-10-31 연세대학교 산학협력단 Method and apparatus for detecting facial features by using learning
KR20190134865A (en) * 2018-04-27 2019-12-05 연세대학교 산학협력단 Method and Device for Detecting Feature Point of Face Using Learning
KR102186767B1 (en) * 2018-04-27 2020-12-04 연세대학교 산학협력단 Method and Device for Detecting Feature Point of Face Using Learning
CN113361307A (en) * 2020-03-06 2021-09-07 上海卓繁信息技术股份有限公司 Facial expression classification method and device and storage equipment
CN113537993A (en) * 2020-08-27 2021-10-22 腾讯科技(深圳)有限公司 Data detection method and device based on face payment
CN113537993B (en) * 2020-08-27 2024-02-13 腾讯科技(深圳)有限公司 Data detection method and device based on face payment

Similar Documents

Publication Publication Date Title
KR101449744B1 (en) Face detection device and method using region-based feature
JP4216668B2 (en) Face detection / tracking system and method for detecting and tracking multiple faces in real time by combining video visual information
JP6050223B2 (en) Image recognition apparatus, image recognition method, and integrated circuit
US20150054824A1 (en) Object detection method, object detection device, and image pickup device
JP5675229B2 (en) Image processing apparatus and image processing method
Boehnen et al. A fast multi-modal approach to facial feature detection
US9489566B2 (en) Image recognition apparatus and image recognition method for identifying object
US7869632B2 (en) Automatic trimming method, apparatus and program
Eweiwi et al. Temporal key poses for human action recognition
CN106384345B (en) A kind of image detection and flow statistical method based on RCNN
JP6351243B2 (en) Image processing apparatus and image processing method
US9082000B2 (en) Image processing device and image processing method
Zhang et al. Hybrid support vector machines for robust object tracking
Mannan et al. Classification of degraded traffic signs using flexible mixture model and transfer learning
US20200034649A1 (en) Object tracking system, intelligent imaging device, object feature extraction device, and object feature extraction method
Swamy et al. Indian sign language interpreter with android implementation
JP2015194927A (en) target identification device
CN109948432A (en) A kind of pedestrian detection method
Hu et al. Fast face detection based on skin color segmentation using single chrominance Cr
Das et al. Human face detection in color images using HSV color histogram and WLD
KR100977259B1 (en) Method for a human searching and tracking using a multifulscale histogram of oriented gradient
Jindal et al. Sign Language Detection using Convolutional Neural Network (CNN)
Kaja et al. Two stage intelligent automotive system to detect and classify a traffic light
CN112347967B (en) Pedestrian detection method fusing motion information in complex scene
Mccullagh Face detection by using haar cascade classifier

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190117

Year of fee payment: 5