KR20010050988A - Scale and Rotation Invariant Intelligent Face Detection - Google Patents
Scale and Rotation Invariant Intelligent Face Detection Download PDFInfo
- Publication number
- KR20010050988A KR20010050988A KR1020000060040A KR20000060040A KR20010050988A KR 20010050988 A KR20010050988 A KR 20010050988A KR 1020000060040 A KR1020000060040 A KR 1020000060040A KR 20000060040 A KR20000060040 A KR 20000060040A KR 20010050988 A KR20010050988 A KR 20010050988A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- rotation
- image
- window
- neural network
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims description 43
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000005286 illumination Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000008921 facial expression Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
발명의 분야Field of invention
본 발명은 조명상태의 변화, 표정의 변화, 얼굴의 수, 크기 또는 회전에 무관하게 얼굴을 검출할 수 있는 방법에 관한 것이다. 보다 구체적으로 본 발명은 얼굴을 탐지하기 위한 후보영역을 효율적으로 결정함으로써 조명상태, 얼굴표정이나 얼굴의 회전 위치의 변화에 무관하게 정확하고 신속하게 얼굴을 검출할 수 있는 방법에 관한 것이다.The present invention relates to a method for detecting a face irrespective of a change in illumination state, a change in facial expression, the number, size, or rotation of the face. More specifically, the present invention relates to a method for accurately and quickly detecting a face irrespective of changes in lighting conditions, facial expressions, or rotational positions of faces by efficiently determining candidate regions for detecting a face.
발명의 배경Background of the Invention
얼굴 인식 시스템에서, 영상으로부터 얼굴의 유무와 정확한 얼굴위치를 탐지한다는 것은 표정, 연령, 남녀 등으로 인한 얼굴의 다양한 변화와 차이, 얼굴의 크기나 회전과 같은 시점에 따른 변화, 조명의 변화, 안경의 착용 여부, 잡음, 얼굴(사람)의 수 등의 많은 요인 때문에, 복잡하고 어려운 문제이다. 얼굴 인식 시스템의 핵심은 이러한 얼굴 영상 변화에 영향을 받지 않고 안정적인 얼굴 인식 성능을 구현하는 것이다. 안정된 성능을 갖는 얼굴 인식 시스템의 개발은 회사, 연구소, 은행 등에서의 보안 시스템이나 휴먼 컴퓨터 인터페이스(human-computer interface) 등의 분야에 상당히 중요하게 적용될 수 있다. 종래의 얼굴 검출 시스템은 크게 (1) 특징(feature) 대응에 기초한 방법과, (2) 원형정합(template- matching)에 기초한 방법으로 구분해 볼 수 있다.In the face recognition system, detecting the presence or absence of a face from an image is based on various changes and differences of the face due to facial expressions, age, gender, etc., changes according to viewpoints such as size or rotation of the face, light changes, and glasses. Is a complex and difficult problem, due to many factors such as wearing, noise, the number of faces (persons). The core of the face recognition system is to realize stable face recognition performance without being affected by these face image changes. The development of a face recognition system with stable performance can be applied to a field such as a security system or a human-computer interface in a company, a laboratory, a bank, or the like. Conventional face detection systems can be classified into (1) a method based on feature correspondence and (2) a method based on template matching.
특징 대응에 기초한 방법은 얼굴 영상으로부터 특징들을 추출해 내고, 추출된 특징과 입력된 영상을 서로 비교하여 얼굴을 식별하는 방법으로, 이 방법은 얼굴의 특징을 추출하는데 소요되는 계산이 복잡하여 추출시간이 많이 걸리는 단점이 있으며, 또한 효과적인 특징의 선정이 어렵기 때문에 얼굴을 정확하게 검출할 수 없는 결정적인 문제를 내포하고 있다.The method based on feature correspondence extracts features from a face image and compares the extracted features with the input image to identify faces. There are many disadvantages, and since it is difficult to select effective features, there is a critical problem in that the face cannot be detected accurately.
원형정합에 기초한 방법은 영상들을 화소의 밝기로 부호화하고, 단순한 원형, 또는 확률 모형에 근거한 얼굴 영상의 원형과 비교하는 방법으로, 이 방법은 수많은 얼굴들을 잘 대표할 수 있는 모형의 선정이 어렵다는 단점이 있다.The method based on circular matching is to encode images with the brightness of pixels and to compare them with simple prototypes or prototypes of face images based on probability models, which makes it difficult to select a model that can represent many faces well. There is this.
또한 상기 종래의 얼굴 검출방법은 단지 바로선(upright) 정면(frontal) 얼굴만을 검출할 수 있는 방법으로, 실제상황에서 나타날 수 있는 얼굴의 회전 각도의 변화에 따른 얼굴을 올바로 탐지할 수 없다.In addition, the conventional face detection method can detect only an upright frontal face, and cannot correctly detect a face according to a change in the rotation angle of a face that may appear in an actual situation.
따라서 본 발명자는 얼굴의 특징을 추출하는데 소요되는 계산이 복잡하지 않음으로써 추출시간이 많이 걸리지 않으며, 후보영역을 효율적으로 결정함으로써 얼굴을 정확하게 검출할 수 있고, 바로선(upright) 정면(frontal) 얼굴은 물론 실제상황에서 흔히 나타날 수 있는 얼굴의 회전 각도의 변화에 따른 얼굴도 올바로 탐지할 수 있는 본 발명의 방법을 개발하기에 이른 것이다.Therefore, the present inventors do not take a lot of extraction time because the calculation required to extract the features of the face is not complicated, and by accurately determining the candidate area, the face can be detected accurately, and the frontal face is faced. Of course, it is the development of the method of the present invention that can correctly detect the face according to the change in the rotation angle of the face that can appear in the actual situation.
본 발명의 목적은 영상평면(image plane) 내에서 임의로 회전된 정면 얼굴을 검출할 수 있는 지능형 얼굴검출 방법을 제공하기 위한 것이다.It is an object of the present invention to provide an intelligent face detection method capable of detecting a face that is arbitrarily rotated in an image plane.
본 발명의 또 다른 목적은 얼굴의 회전에 대한 추정과 얼굴의 식별을 분리함으로써, 회전의 추정과 식별을 동시에 수행하는 것보다 빠르고, 정확한 결과를 보장할 수 있는 지능형 얼굴검출 방법을 제공하기 위한 것이다.It is still another object of the present invention to provide an intelligent face detection method capable of guaranteeing accurate and faster results by separating estimation of face rotation and identification of face, rather than simultaneously performing estimation and identification of rotation. .
본 발명의 또 다른 목적은 후보영역을 효율적으로 결정함으로써 얼굴을 정확하게 검출할 수 있는 지능형 얼굴검출 방법을 제공하기 위한 것이다.Still another object of the present invention is to provide an intelligent face detection method capable of accurately detecting a face by efficiently determining a candidate area.
본 발명의 또 다른 목적은 조명이나 배경 등의 환경변화에 무관하게 얼굴을 정확하게 검출할 수 있는 지능형 얼굴검출 방법을 제공하기 위한 것이다.Still another object of the present invention is to provide an intelligent face detection method capable of accurately detecting a face regardless of environmental changes such as lighting or background.
본 발명의 또 다른 목적은 머리 모양, 얼굴 표정, 및 안경이나 모자 착용 등의 얼굴의 변화에 무관하게 얼굴을 정확하게 검출할 수 있는 지능형 얼굴검출 방법을 제공하기 위한 것이다.Still another object of the present invention is to provide an intelligent face detection method capable of accurately detecting a face irrespective of a change in head shape, facial expression, and face such as wearing glasses or a hat.
본 발명의 또 다른 목적은 얼굴의 크기나 회전 등의 시점의 변화에 무관하게 얼굴을 정확하게 검출할 수 있는 지능형 얼굴검출 방법을 제공하기 위한 것이다.Still another object of the present invention is to provide an intelligent face detection method capable of accurately detecting a face irrespective of a change in a viewpoint such as size or rotation of a face.
본 발명의 또 다른 목적은 영상 내 사람 수의 변화에 무관하게 얼굴을 정확하게 검출할 수 있는 지능형 얼굴검출 방법을 제공하기 위한 것이다.Still another object of the present invention is to provide an intelligent face detection method capable of accurately detecting a face regardless of a change in the number of people in an image.
본 발명의 상기 및 기타의 목적들은 하기 상세히 설명되는 본 발명에 의하여 모두 달성될 수 있다.The above and other objects of the present invention can be achieved by the present invention described in detail below.
도1은 본 발명에 따른 크기와 회전에 무관한 지능형 얼굴검출 방법의 단계들을 개략적으로 도식화한 도면이다.1 is a schematic diagram illustrating steps of an intelligent face detection method independent of size and rotation according to the present invention.
도2는 본 발명에 따라 얼굴을 검출하기 위한 영상의 한 예로 (가)는 입력 영상이고 (나)는 출력 영상이다.2 is an example of an image for detecting a face according to the present invention (a) is an input image and (b) is an output image.
도3은 본 발명에 따른 크기와 회전에 무관한 지능형 얼굴검출 방법의 흐름도이다.3 is a flowchart of an intelligent face detection method independent of size and rotation according to the present invention.
도4는 본 발명에 따라 얼굴을 검출하기 위하여 후보영역을 검출하는 알고리즘의 흐름도이다.4 is a flowchart of an algorithm for detecting a candidate region for detecting a face according to the present invention.
발명의 요약Summary of the Invention
본 발명에 따른 크기와 회전에 무관하게 얼굴을 검출하기 위한 방법은 카메라와 같은 입력장치에 의하여 정지 영상을 입력하고, 조명을 포함한 주변환경변화나 얼굴의 회전에 무관하게 차영상을 적용하여 배경영상으로부터 얼굴의 후보영역을 분리하고, 크기에 무관한 얼굴을 검출하기 위하여 계층적으로 피라미드 영상을 표현하고, 계층적으로 표현된 피라미드 영상에 대하여 20×20 윈도우를 적용하여 스캐닝하고, 조명의 밝기를 조절하기 위하여 히스토그램 평활화를 수행하고, 기울어진 얼굴의 회전 각도를 추정하고, 추정한 회전각도를 이용하여 바로 선 얼굴로 복원하고, 그리고 상기에서 복원된 영상을 신경망의 입력으로 하여 얼굴인지를 판단하는 단계로 이루어진다. 조명의 변화가 심한 경우에, 배경 영상에서 적절한 후보 영역을 설정하는 것이 곤란하기 때문에, 얼굴 영상을 정확히 탐지할 수 없게 된다. 이를 해결하기 위하여 영상의 밝기 차이와 에지(edge) 차이를 동시에 고려하여 후보 영역을 설정하고, 히스토그램 평활화(histogram equalization)를 수행하여 조명의 영향을 덜 받을 수 있도록 한다. 이하 첨부된 도면을 참고로 본 발명의 내용을 하기에 상세히 설명한다.The method for detecting a face irrespective of size and rotation according to the present invention is to input a still image by an input device such as a camera, and apply a difference image to a background image irrespective of changes in the surrounding environment including illumination or rotation of the face. The candidate region of the face is separated from the face, hierarchically expressing a pyramid image in order to detect an irrelevant face, scanning by applying a 20 × 20 window to the hierarchically expressed pyramid image, Performs histogram smoothing to estimate, estimates the rotation angle of the inclined face, restores it to the line face using the estimated rotation angle, and determines whether the face is the input of the neural network. Consists of steps. When the lighting change is severe, it is difficult to set an appropriate candidate region in the background image, so that the face image cannot be accurately detected. To solve this problem, the candidate area is set considering the brightness difference and the edge difference of the image at the same time, and histogram equalization is performed to be less affected by illumination. Hereinafter, with reference to the accompanying drawings will be described in detail the contents of the present invention.
발명의 구체 예에 대한 상세한 설명Detailed Description of the Invention
본 발명은 얼굴을 탐지하기 위한 후보영역을 영상의 밝기 차이와 에지(edge) 차이를 동시에 고려하여 효율적으로 결정함으로써 그리고 얼굴의 회전에 대한 추정과 얼굴의 식별을 분리함으로써, 조명상태, 얼굴표정이나 얼굴의 회전 위치의 변화에 무관하게 정확하고 신속하게 얼굴을 검출할 수 있는 방법에 관한 것이다.According to the present invention, the candidate area for detecting a face is determined efficiently by considering the brightness difference and the edge difference of the image at the same time, and by separating the estimation of the face rotation and the identification of the face. The present invention relates to a method for detecting a face accurately and quickly regardless of a change in the rotational position of the face.
실시간에 얼굴을 탐지하기 위해서는 입력 영상으로부터 얼굴이 포함된 탐색영역을 적절히 제한하는 것이 필수적이다. 종래의 대표적인 방법은 영상의 밝기차이를 이용하는 방법인데, 이 경우 움직임이 없는 부분이라 할지라도 조명의 변화가 심할 경우에는 후보영역으로 선정하게 되는 단점이 있다. 본 발명에서는 단지 밝기의 차이만을 이용하는 것이 아니라, 에지의 차이와 밝기의 차이를 동시에 고려하는 방법을 사용함으로서 영상에서 조명의 변화만으로 생긴 밝기의 변화는 무시할 수 있어 효율적인 후보영역을 설정할 수 있다.In order to detect a face in real time, it is essential to appropriately limit a search area including a face from an input image. A typical method of the related art is to use a difference in brightness of an image. In this case, even if there is no motion, there is a disadvantage in that the candidate area is selected when the lighting is severely changed. In the present invention, by using not only the difference in brightness but also a method of considering the difference in edge and the difference in brightness at the same time, the change in brightness caused by the change in illumination in the image can be ignored and thus an efficient candidate area can be set.
종래의 시스템들과는 달리, 본 발명에 따른 방법은 영상평면(image plane)내에서 임의로 회전된 정면 얼굴을 검출해 낼 수 있다. 기존의 얼굴검출 방법을 가지고 회전된 얼굴을 식별하기 위해서는, 입력 영상을 정해진 각도마다 회전시켜 분류기의 입력패턴으로 설정해야 하는데, 이러한 방법은 요구되는 계산복잡도가 크기 때문에 실시간 시스템에 적용하는 것이 어렵다. 본 발명에서는 얼굴의 회전에 대한 추정과 얼굴의 식별을 두 단계로 분리함으로써, 모든 하위 영상에 대해 회전의 추정과 식별을 동시에 수행하는 것보다 빠르고, 정확한 결과를 보장할 수 있다.Unlike conventional systems, the method according to the invention can detect a face that is arbitrarily rotated within the image plane. In order to identify the face rotated using the existing face detection method, it is necessary to rotate the input image at a predetermined angle and set it as the input pattern of the classifier. This method is difficult to apply to a real-time system because the required computational complexity is large. In the present invention, by estimating the face rotation and the identification of the face in two steps, it is possible to guarantee a faster and more accurate result than performing the estimation and identification of the rotation for all sub-images simultaneously.
도1은 본 발명에 따른 크기와 회전에 무관한 지능형 얼굴검출 방법의 단계들을 개략적으로 도식화한 도면이고, 도2는 본 발명에 따라 얼굴을 검출하기 위한 영상의 한 예로 (가)는 입력 영상이고 (나)는 출력 영상이다.1 is a diagram schematically illustrating the steps of an intelligent face detection method independent of size and rotation according to the present invention, and FIG. 2 is an example of an image for detecting a face according to the present invention. (B) is output video.
본 발명에서는 인공신경망을 이용하여 가중치를 포함한 파라메터들을 훈련 예제로부터 자동적으로 학습하여 설정하므로, 사전에 확률 모형을 설정할 필요가 없을 뿐만 아니라, 실제의 시스템에 적용할 경우 추가적인 학습이 용이한 식별방법을 제공한다.In the present invention, since the parameters including weights are automatically learned and set from the training example using an artificial neural network, there is no need to set a probabilistic model in advance, and when applied to an actual system, an additional easy identification method is provided. to provide.
본 발명에서는 신경망을 이용하여 얼굴을 검출하기 때문에 종래의 얼굴 검출 방법에 비하여 얼굴의 특징을 추출하는데 소요되는 계산복잡도가 크지 않으며, 특히 정확한 검출을 위한 효과적인 특징의 선정이 용이하다는 장점이 있다.In the present invention, since the face is detected using a neural network, the computational complexity required to extract the features of the face is not large compared to the conventional face detection method, and it is particularly advantageous to select an effective feature for accurate detection.
본 발명에서는 (1) 조명이나 배경 등의 환경변화, (2) 머리 모양, 얼굴 표정 및 안경 착용 등의 얼굴의 변화, (3) 얼굴의 크기, 회전 등의 시점의 변화, (4) 영상내 사람 수의 변화 등에 무관하게 정확하고 신속하게 얼굴을 검출할 수 있는 방법을 제공하기 위한 것이다.In the present invention, (1) changes in the environment, such as lighting and background, (2) changes in the face, such as the shape of the head, facial expressions and glasses, (3) changes in the viewpoint of the size and rotation of the face, and (4) in the image. An object of the present invention is to provide a method for detecting a face accurately and quickly regardless of a change in the number of people.
본 발명에서는 패턴을 추출하여 얼굴을 탐지하는 방법의 단점인 얼굴의 변화가 심한 영상에 대한 탐지가 어려운 점을 극복하고 얼굴표정 변화, 안경을 착용한 얼굴 영상 등의 정확한 탐지를 위하여 다양한 패턴의 얼굴 영상을 인공신경망을 통해서 학습시킴으로써 얼굴의 변화가 심한 영상에 대해서도 탐지율을 높인다.The present invention overcomes the difficulty of detecting a severely changed image, which is a disadvantage of a method of detecting a face by extracting a pattern, and faces various patterns for accurate detection of facial expression changes, facial images wearing glasses, and the like. By learning the images through the artificial neural network, the detection rate is increased even for the images with severe face changes.
얼굴의 크기 변화를 해결하기 위하여 영상을 계층적으로 표현하며, 기존의 얼굴 탐지 시스템의 단점인 바로 선 얼굴만 검출할 수 있다는 점을 기술적으로 해결하기 위하여, 회전 추정 신경망을 추가함으로써, 기울어진 얼굴에 대하여 회전 각도를 추정하고 추정된 회전 각도에 기반하여 바로 선 얼굴로 복원한 후 얼굴의 유·무를 판단함으로써 기울어진 얼굴도 탐지할 수 있다. 이렇게 얼굴의 회전을 추정하는 모듈과 얼굴의 유·무를 판단하는 모듈을 분리하여 구현함으로써, 모든 윈도우에서 회전과 식별을 동시에 수행하는 것보다 적은 메모리 용량에 빠른 연산을 수행할 수 있다.The image is hierarchically expressed to solve the change in the size of the face, and to solve the technical problem that only the straight face, which is a disadvantage of the conventional face detection system, can be detected, the inclined face is added by adding a rotation estimation neural network. An inclined face can also be detected by estimating the rotation angle with respect to and reconstructing the straight face based on the estimated rotation angle. By separating and implementing the module for estimating the rotation of the face and the module for determining the presence or absence of the face, it is possible to perform a faster operation with less memory capacity than simultaneously performing rotation and identification in all windows.
본 발명에서는 계층적인 표현과 윈도우 기법을 통해 사람의 수에 무관하게 얼굴을 탐지하는 것이 가능해지며, 서로 다른 크기, 서로 다른 회전각도로 기울어진 얼굴이 혼재해 있어도 각각을 탐지해 낼 수 있다.In the present invention, the hierarchical expression and the window technique make it possible to detect a face irrespective of the number of people, and even if a face inclined at different sizes and different rotation angles is mixed, each can be detected.
도3은 본 발명에 따른 크기와 회전에 무관한 지능형 얼굴검출 방법의 흐름도이고, 도4는 본 발명에 따라 얼굴을 검출하기 위하여 후보영역을 검출하는 알고리즘의 흐름도이다.3 is a flowchart of an intelligent face detection method irrespective of size and rotation according to the present invention, and FIG. 4 is a flowchart of an algorithm for detecting a candidate region for detecting a face according to the present invention.
본 발명의 얼굴 탐지 방법은 오프라인으로 이루어지는 학습 방법과 실시간으로 이루어지는 탐지 방법으로 이루어져 있다.The face detection method of the present invention comprises a learning method performed offline and a detection method performed in real time.
본 발명에 따른 학습 방법은 조명상태의 변화, 얼굴의 수 및 크기, 회전에 무관한 얼굴탐지를 위한 패턴 벡터를 형성하기 위한 방법으로, 카메라와 같은 입력 장치에 의하여 학습영상을 입력하고; N명의 바로선 얼굴(frontal face)에 대해 각각 랜덤하게 ±45°안에서 회전된 20 × 20 윈도우 M개(전체 N × M개의 윈도우)를 생성하고; 각 윈도우에 대해서 히스토그램 평활화(Histogram Equalized)를 적용하고; 각 윈도우를 400 × 1 의 행렬로 생성하여, 열 단위로 통합한 400 × N 의 행렬과 각 윈도우에 대해 공식 (1)의 θ에 회전된 각도를 대입한 후 36 × 1 행렬을 생성하여, 열 단위로 통합한 36 × N 개의 목표 각도를 가지고 회전 탐지 신경망에 학습 데이터로서 입력하는 단계로 구성된다:The learning method according to the present invention is a method for forming a pattern vector for face detection irrespective of a change in illumination state, the number and size of faces, and rotation, and inputting a learning image by an input device such as a camera; Generate M 20 × 20 windows (total N × M windows) each rotated within ± 45 ° randomly for N frontal faces; Apply histogram equalization to each window; Each window is created as a matrix of 400 × 1, and a matrix of 400 × N is integrated into columns, and the angles rotated in θ of Formula (1) for each window are generated, and then a 36 × 1 matrix is generated. It consists of inputting training data into the rotational detection neural network with 36 × N target angles integrated as a unit:
cos(θ－i * 10°) 공식(1)cos (θ-i * 10 °) formula (1)
상기식에서 i 는 0부터 35 까지의 정수임.Where i is an integer from 0 to 35.
도1에 도시된 바와 같이, 본 발명에서 제시된 학습 방법은 얼굴의 회전에 대한 추정을 하는 회전 추정 신경망과 얼굴을 식별하는 탐지 신경망으로 구성되어 있다. 학습 방법에서 회전 추정 신경망은 얼굴이 있다는 가정 하에서 N명의 바로선 얼굴(frontal face)에 대해 각각 랜덤하게 ±45°안에서 회전된 20 × 20 윈도우 M개(총 N × M개 윈도우)를 생성하고, 각 윈도우에 대해서 히스토그램 평활화(Histogram Equalized)를 적용한다.As shown in Fig. 1, the learning method presented in the present invention is composed of a rotation estimation neural network for estimating the rotation of the face and a detection neural network for identifying the face. In the learning method, the rotation estimation neural network generates M 20 × 20 windows (total N × M windows), each of which is randomly rotated within ± 45 ° for N frontal faces, assuming that there are faces, Histogram Equalized is applied to each window.
탐지 신경망은 얼굴의 유무를 결정하는 신경망으로서 M개의 얼굴(20 × 20 윈도우)이 있는 윈도우에 대해선 출력값이 1 이 되도록 하고, K개의 얼굴(20 × 20 윈도우)이 없는 윈도우에 대해선 출력값이 -1 이 되도록 학습시키고, 잘못된 탐지를 한 윈도우들에 대해선 다시 랜덤하게 추출해서 재학습을 시킨다. 그렇게 하게 되면, 실시간에서 처리할 때 오탐지율을 줄일 수 있게 된다.The detection neural network is a neural network that determines the presence or absence of a face. The output value is 1 for a window with M faces (20 × 20 windows), and the output value is -1 for a window without K faces (20 × 20 windows). We learn to do this, and then re-learn by randomly extracting the wrong-detected windows. Doing so can reduce false positive rates when dealing in real time.
본 발명에 따른 탐지 방법은 카메라와 같은 입력장치에 의하여 정지 영상을 입력하고, 조명이나 얼굴의 회전과 같은 주변환경변화에 무관하게 차영상을 적용하여 배경영상으로부터 얼굴의 후보영역을 설정하고, 크기에 무관한 얼굴을 검출하기 위하여 계층적으로 피라미드 영상을 표현하고, 계층적으로 표현된 피라미드 영상에 대하여 20×20 윈도우를 적용하여 스캐닝하고, 조명의 밝기를 조절하기 위하여 히스토그램 평활화를 수행하고, 기울어진 얼굴의 회전 각도를 추정하고, 추정한 회전각도를 이용하여 바로 선 얼굴로 복원하고, 그리고 상기에서 구해진 영상과 입력된 영상을 서로 비교하는 단계로 이루어진다.The detection method according to the present invention inputs a still image by an input device such as a camera, sets a candidate region of a face from a background image by applying a difference image regardless of changes in the surrounding environment such as lighting or face rotation, and size. Pyramid image is represented hierarchically to detect irrelevant face, scans hierarchically expressed pyramid image by applying 20 × 20 window, performs histogram smoothing to adjust the brightness of illumination, and tilts Estimating the rotational angle of the true face, restoring to the straight face using the estimated rotational angle, and comparing the obtained image with the input image.
도4에 도시된 바와 같이, 탐지 방법은 다음과 같은 단계를 거치게 된다.As shown in FIG. 4, the detection method goes through the following steps.
우선 실시간 탐지를 보장하기 위하여 입력 영상을 배경 영상과 각각 밝기와 에지(edge)의 유무를 비교하여 후보영역을 결정하고, 서로 다른 크기의 얼굴을 탐지하기 위하여 비율을 1.2로 하여 후보영역을 피라미드(pyramid) 영상으로 표현하고, 각 계층의 피라미드영상에 대해서 20 × 20 픽셀 윈도우를 적용하여 영상에서 탐지할 윈도우(window)를 추출하고, 조명의 변화에 무관하도록 히스토그램 평활화(histogram equalization)를 수행한다.First of all, in order to guarantee real-time detection, candidate areas are determined by comparing input images with background images and brightness and edges, respectively, and the candidate areas are pyramids having a ratio of 1.2 to detect faces of different sizes. Pyramid) is represented, 20 × 20 pixel windows are applied to each layer of pyramid image, and a window to be detected is extracted from the image, and histogram equalization is performed to be independent of the change in illumination.
그 다음 얼굴의 회전을 추정하게 되는데, 이 단계에서는 추출된 20 × 20 윈도우를 하나의 열(400 × 1 행렬)로 만들어서 학습된 Hidden Units 에 입력함으로서 회전된 얼굴의 각도를 추정할 수 있게 된다. 여기서 얼굴의 회전 각도 추정은 15 개의 Hidden Units과 36 개의 출력 노드로 구성된 회전 추정 신경망을 통해서 얻어지게 되는데 얼굴의 회전 추정 각도는 하기 공식(2)에 의해서 구할 수 있다:Next, the rotation of the face is estimated. In this step, the angle of the rotated face can be estimated by inputting the extracted 20 × 20 window into one column (400 × 1 matrix) and inputting them into the hidden units. Here, the rotation angle estimation of the face is obtained through a rotation estimation neural network consisting of 15 hidden units and 36 output nodes. The rotation estimation angle of the face can be obtained by the following formula (2):
공식(2) Formula (2)
상기식에서 i 는 0부터 35 까지의 정수임.Where i is an integer from 0 to 35.
마지막으로 상기 추정된 회전 각도에 기초하여 똑바로선 얼굴(upright face)로 복원하고, 상기에서 복원된 영상과 입력된 영상을 탐지 신경망에서 서로 비교하고, 중복된 탐지 또는 오탐지를 해결하는 후처리 단계를 거쳐서 최종적으로 얼굴의 유무, 크기 및 위치를 탐지하게 된다.Finally, a post-processing step of restoring an upright face based on the estimated rotation angle, comparing the restored image and the input image with each other in a detection neural network, and resolving duplicate detection or false detection. Finally, the presence, size, and position of the face are detected.
본 발명에서 제시된 얼굴 탐지 방법을 CMU 데이터베이스(비교 데이터베이스)와 자체 제작한 SKK 데이터베이스(실시 데이터베이스)에 대하여 실험하였다. 회전추정 신경망의 데이터베이스는 160명으로 구성되었으며, 각각의 사람마다 50 개의 다른 각도를 가진 얼굴 영상들로 이루어졌다. 탐지신경 네트워크의 데이터베이스는 얼굴 영상 200 개와 얼굴을 포함하지 않은 영상 2000 개로 이루어졌다. 실험결과 조명변화가 심하고 기울어진 얼굴 영상을 제안된 얼굴 탐지 방법에서는 90% 이상 탐지하여 탐지율이 크게 향상되었음을 알 수 있다.The face detection method proposed in the present invention was tested on a CMU database (comparative database) and a self-made SKK database (real database). The database of rotation estimation neural networks consisted of 160 people, each consisting of 50 different angled face images for each person. The database of detection network consisted of 200 face images and 2000 images without faces. Experimental results show that the detection rate is greatly improved by detecting more than 90% of the face image with severe lighting changes and the proposed face detection method.
본 발명에서는 단지 밝기의 차이만을 이용하는 것이 아니라, 에지(edge)의 차이와 밝기의 차이를 동시에 고려하는 방법을 사용함으로서 영상에서 조명의 변화만으로 생긴 밝기의 변화는 무시할 수 있어 효율적인 후보영역을 설정함으로서 적은 메모리 용량과 빠른 시간 내에 탐지가 가능하다.In the present invention, by using a method that considers the difference between the edge and the brightness at the same time instead of using only the difference in brightness, it is possible to ignore the change in brightness caused by the change in illumination in the image, thereby setting an effective candidate area. Low memory capacity and fast time to detect.
본 발명은, 첫째, 영상의 계층적인 표현을 통해 얼굴의 크기가 달라도 식별이 가능하고, 둘째, 회전된(rotated) 얼굴도 식별할 수 있으며, 셋째, 후보영역을 제한하는 전처리 단계에서 종래의 방법인 밝기차이에 기반한 차영상 만이 아니라, 에지의 차이도 함께 고려함으로써 조명의 변화에 무관하게 배경영상으로부터, 탐색할 후보 영역을 결정하며, 넷째, 학습기능을 갖는 인공신경망을 이용하여 얼굴의 식별을 수행하기 때문에, 학습이 종료된 이후에도 쉽게 추가로 학습하는 기능을 갖출 수 있고, 다섯째, 얼굴의 회전에 대한 추정과, 얼굴의 식별을 두 단계로 분리함으로써, 모든 윈도우에서 회전과 식별을 동시에 수행하는 것보다 빠르고, 정확한 결과를 보장할 수 있는 발명의 효과를 갖는다.According to the present invention, first, a hierarchical representation of an image enables identification of a different face size, and second, a rotated face can be identified. Third, a conventional method in a preprocessing step of limiting candidate regions. By considering not only the difference image based on the difference in brightness but also the edge difference, the candidate region to be searched is determined from the background image regardless of the lighting change. Fourth, the face recognition is identified using an artificial neural network with learning function. Since learning is completed, it is possible to easily additionally learn even after the learning is finished. Fifth, the rotation and identification are simultaneously performed in all windows by separating the estimation of the rotation of the face and the identification of the face in two steps. It is faster than that and has the effect of the invention that can guarantee accurate results.
본 발명의 단순한 변형 내지 변경은 이 분야의 통상의 지식을 가진 자에 의하여 용이하게 이용될 수 있으며, 이러한 변형이나 변경은 모두 본 발명의 영역에 포함되는 것으로 볼 수 있다.Simple modifications and variations of the present invention can be readily used by those skilled in the art, and all such variations or modifications can be considered to be included within the scope of the present invention.
Claims (8)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990044631 | 1999-10-14 | ||
| KR1019990044631A KR20000023923A (en) | 1999-10-14 | 1999-10-14 | Scale and Rotation Invariant Intelligent face detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010050988A true KR20010050988A (en) | 2001-06-25 |
| KR100390569B1 KR100390569B1 (en) | 2003-07-07 |
Family
ID=19615417
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990044631A KR20000023923A (en) | 1999-10-14 | 1999-10-14 | Scale and Rotation Invariant Intelligent face detection |
| KR10-2000-0060040A KR100390569B1 (en) | 1999-10-14 | 2000-10-12 | Scale and Rotation Invariant Intelligent Face Detection |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990044631A KR20000023923A (en) | 1999-10-14 | 1999-10-14 | Scale and Rotation Invariant Intelligent face detection |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20000023923A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100779171B1 (en) * | 2006-08-18 | 2007-11-26 | 학교법인 포항공과대학교 | Real time robust face detection apparatus and method |
| US7426287B2 (en) | 2003-12-17 | 2008-09-16 | Electronics And Telecommunications Research Institute | Face detecting system and method using symmetric axis |
| KR101702878B1 (en) * | 2016-04-22 | 2017-02-06 | 전남대학교산학협력단 | Head pose estimation with accumulated historgram and random forest |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100372774B1 (en) * | 2000-10-27 | 2003-02-25 | 한국과학기술연구원 | Visual Tracking Method by Color Information |
| EP1217574A3 (en) * | 2000-12-19 | 2004-05-19 | Matsushita Electric Industrial Co., Ltd. | A method for lighting- and view-angle-invariant face description with first- and second-order eigenfeatures |
| KR100445800B1 (en) * | 2001-01-05 | 2004-08-25 | 학교법인 인하학원 | Face-image recognition method of similarity measure using correlation |
| KR20060129821A (en) * | 2005-06-13 | 2006-12-18 | 삼성전자주식회사 | Illumination normalizing apparatus and method and face recognition apparatus and method employing the same |
| KR100971148B1 (en) * | 2008-05-16 | 2010-07-20 | 포항공과대학교 산학협력단 | Parallel structure image processing apparatus and method for image matching with adjusting intensities |
| KR101143555B1 (en) * | 2010-06-28 | 2012-05-09 | 한국과학기술원 | Face Detection System using Skin Color Filtering and Morphology Process and Method Therefor |
| KR102094723B1 (en) * | 2012-07-17 | 2020-04-14 | 삼성전자주식회사 | Feature descriptor for robust facial expression recognition |
| KR101854316B1 (en) * | 2017-12-07 | 2018-06-08 | 전북대학교 산학협력단 | Apparatus for trace of wanted criminal using partial face recognition |
| KR102604016B1 (en) | 2018-10-24 | 2023-11-22 | 삼성전자주식회사 | Electronic apparatus and controlling method thereof |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0877334A (en) * | 1994-09-09 | 1996-03-22 | Konica Corp | Automatic feature point extracting method for face image |
| JP3355068B2 (en) * | 1995-07-14 | 2002-12-09 | 三菱電機株式会社 | Face image processing device |
| JPH09171560A (en) * | 1995-12-20 | 1997-06-30 | Oki Electric Ind Co Ltd | Device for detecting face inclination |
| KR100194583B1 (en) * | 1996-09-11 | 1999-06-15 | 정선종 | Facial component extraction system and its extraction method |
| KR100282618B1 (en) * | 1997-12-01 | 2001-02-15 | 정선종 | The Hand Shaped Recognition System and Method Using Rotation Feature |
-
1999
- 1999-10-14 KR KR1019990044631A patent/KR20000023923A/en active Search and Examination
-
2000
- 2000-10-12 KR KR10-2000-0060040A patent/KR100390569B1/en not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7426287B2 (en) | 2003-12-17 | 2008-09-16 | Electronics And Telecommunications Research Institute | Face detecting system and method using symmetric axis |
| KR100779171B1 (en) * | 2006-08-18 | 2007-11-26 | 학교법인 포항공과대학교 | Real time robust face detection apparatus and method |
| KR101702878B1 (en) * | 2016-04-22 | 2017-02-06 | 전남대학교산학협력단 | Head pose estimation with accumulated historgram and random forest |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20000023923A (en) | 2000-05-06 |
| KR100390569B1 (en) | 2003-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vazquez et al. | Virtual and real world adaptation for pedestrian detection | |
| Ong et al. | A boosted classifier tree for hand shape detection | |
| Garcia et al. | A neural architecture for fast and robust face detection | |
| CN107133569A (en) | The many granularity mask methods of monitor video based on extensive Multi-label learning | |
| Zheng et al. | Attention-based spatial-temporal multi-scale network for face anti-spoofing | |
| JP2000003452A (en) | Method for detecting face surface in digital picture, its detecting device, picture judging method, picture judging device and computer readable record medium | |
| Chetverikov et al. | Dynamic texture as foreground and background | |
| Anila et al. | Simple and fast face detection system based on edges | |
| Phimoltares et al. | Face detection and facial feature localization without considering the appearance of image context | |
| CN112434599B (en) | Pedestrian re-identification method based on random occlusion recovery of noise channel | |
| CN112926522B (en) | Behavior recognition method based on skeleton gesture and space-time diagram convolution network | |
| KR100390569B1 (en) | Scale and Rotation Invariant Intelligent Face Detection | |
| CN112381987A (en) | Intelligent entrance guard epidemic prevention system based on face recognition | |
| Aly et al. | Arabic sign language recognition using spatio-temporal local binary patterns and support vector machine | |
| CN110728238A (en) | Personnel re-detection method of fusion type neural network | |
| Sanalohit et al. | TFS recognition: Investigating MPH]{Thai finger spelling recognition: Investigating MediaPipe Hands potentials | |
| Lal et al. | Face recognition using deep learning xception cnn method | |
| Muthukumar et al. | Vision based hand gesture recognition for Indian sign languages using local binary patterns with support vector machine classifier | |
| Curran et al. | The use of neural networks in real-time face detection | |
| CN113627380B (en) | Cross-vision pedestrian re-identification method and system for intelligent security and early warning | |
| Bojkovic et al. | Face detection approach in neural network based method for video surveillance | |
| Zhu et al. | Enhancing interior and exterior deep facial features for face detection in the wild | |
| Yow et al. | Scale and Orientation Invariance in Human Face Detection. | |
| Vilaplana et al. | Object detection and segmentation on a hierarchical region-based image representation | |
| CN111353353A (en) | Cross-posture face recognition method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20100628 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |