KR20050114817A - Automatic detection method of human facial objects for the digital video surveillance - Google Patents

Automatic detection method of human facial objects for the digital video surveillance Download PDF

Info

Publication number
KR20050114817A
KR20050114817A KR20040039868A KR20040039868A KR20050114817A KR 20050114817 A KR20050114817 A KR 20050114817A KR 20040039868 A KR20040039868 A KR 20040039868A KR 20040039868 A KR20040039868 A KR 20040039868A KR 20050114817 A KR20050114817 A KR 20050114817A
Authority
KR
Grant status
Application
Patent type
Prior art keywords
color
face
object
image
information
Prior art date
Application number
KR20040039868A
Other languages
Korean (ko)
Other versions
KR100572768B1 (en )
Inventor
김상훈
Original Assignee
김상훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • G06K9/00234Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00771Recognising scenes under surveillance, e.g. with Markovian modelling of scene activity
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

본 발명은 실내 감시를 위한 디지탈 영상 보안용 카메라에 적용이 가능한 사람 얼굴객체 검출 시스템에 관한 것이다. The present invention relates to the available human face object detection system applied to digital cameras, video surveillance for indoor surveillance. 본 발명은 사람의 얼굴을 추적의 대상으로 하고, 사람의 얼굴영역 자동 추출과 추적이 가능한 상호작용적인 비전 시스템을 구성한다. The present invention is a human face as an object of tracking, which are configured for interactive vision system automatically extracts the face region and tracking of the person as possible. 종래의 객체 추적시스템은 능동센서를 사용하는 경우가 많으며, 이 경우 센서의 기능이 단순하고 지능적이지 못하며 비용이 많이 드는 단점이 있다. Often using a conventional object tracking systems are active sensors, in which case the mothamyeo not simple and intelligent function of the sensor it has the disadvantage costly. 얼굴영역의 자동추출을 위해서 본 발명은 거리, 색상, 움직임 등 다양한 형식이 상호 융합된 정보를 활용하여, 빛과 주변환경의 변화에 따른 영상의 변형에 대비한 객체중심의 검출 방법을 특징으로 한다. For the automatic extraction of the face region The present invention utilizes the distance, color, various types of mutual convergence information including motion, characterized by a detecting method of object-oriented prepare for image transformation according to the change of light and the surrounding environment . 얼굴객체를 복잡한 배경으로부터 분리하기 위하여 거리정보를 나타내는 변위맵과 변위 히스토그램을 이용하고 MPC(Matching Pixel Count)를 이용하여 정합(matching)의 정확도를 향상시키는 역할을 한다. In order to remove the object's face from a complex background using the displacement map and the histogram showing the displacement distance information by using the MPC (Matching Pixel Count) it serves to enhance the accuracy of matching (matching). 거리정보에 의해 영상분할된 영역으로부터 얼굴영역을 찾아내기 위해 색상변환기술이 사용되었으며, 이는 색상정보를 빛의 세기와 광원의 색상의 두 가지 요인으로 모델링하고 두 가지 성분을 모두 정규화하는 과정을 통해 특징공간내에서의 일반화된 살색분포를 정의한다. Was the color conversion technology used to find the face area from the image dividing the area by the distance information, which through the process of modeling the color information into two factors of the color of the light intensity and the light source and normalize both components It defines a generalized skin color distribution in the feature space. 움직임 검출 기술은 살색의 확률에 따라 임계값이 적응적으로 변화하는 색상변환영역에서 정의되며 관련연산은 입력컬러영상을 색상과 움직임정보의 확률로 표현하기 위한 영역으로 변환해주는 역할을 한다. The motion estimation technique is defined in the color conversion area in which the threshold changes adaptively according to the probability of skin color, which serves the relevant operation is converted into a region to represent the input color image with a probability of color and motion information. 최종적으로는 살색움직임 정보와 거리정보의 융합을 통해 검출된 얼굴영역의 성분분포를 특징공간에서 정의하고, 추적을 위한 모델 데이터로 활용하게 된다. And finally, define a component distribution of the face area detected by the convergence of the distance information and movement information on the skin color characterized in space, is used as a model for data tracing. 새로 입력되는 얼굴이미지(target)는 같은 과정을 통해 특징공간에서의 분포를 만들고 이미 설정된 모델 데이터와의 유사도 측정을 통해 mean shift 기반의 추적을 시행함을 특징으로 한다. Face image (target) to be newly entered is characterized by enforcing a trace of the mean shift-based model through the similarity measurement data and create a distribution in the feature space that has already been set through the same process.

Description

디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법 {Automatic detection method of human facial objects for the digital video surveillance} Who face automatic object detection method for digital video security {Automatic detection method of human facial objects for the digital video surveillance}

본 발명은 실내 감시 카메라 또는 화상회의 카메라에 적용이 가능한 사람 객체 추적 시스템에 관한 것이다. The present invention relates to an object tracking system capable people applying for indoor surveillance camera or video conference camera. 본 발명은 사람의 얼굴을 추적의 대상으로 하고, 사람의 얼굴영역 자동 추출과 자동 추적이 가능한 지능적이고 상호작용적인 비전 시스템을 구성한다. The present invention constitutes a human face to the target track, the human face area automatically extracted and automatically traceable intelligent and interactive vision system. 종래의 객체 추적시스템은 능동센서를 사용하는 경우가 많으며, 이 경우 센서의 기능이 단순하고 지능적이지 못하며 비용이 많이 드는 단점이 있다. Often using a conventional object tracking systems are active sensors, in which case the mothamyeo not simple and intelligent function of the sensor it has the disadvantage costly.

본 발명은 상기 배경의 관점에서 이루어진 것으로, 감시 카메라 또는 화상카메라 구축을 위해 이동하는 사람의 얼굴 영역 검출 및 추적이 가능한 시스템을 제공하는 것을 목적으로 한다. An object of the present invention is to provide that, surveillance camera or video camera built in the person's face area detection and the tracking system is capable of moving to made in the light of the above background.

이러한 목적을 달성하기 위해 본 발명은, 얼굴객체의 검출을 위한 객체-배경 분리부, 얼굴색상과 움직임을 이용해 최종 얼굴영역을 검출하는 얼굴색상 정보 검출부, 얼굴색상 영역과 가중치 적용된 움직임을 동시에 갖는 영역을 추출하기 위한 움직임 색상정보 추출부, 복수의 정보에 의해 검출된 영역을 최종 얼굴객체 영역으로 정의하는 최종얼굴객체 판별부, 검출된 데이터를 타겟으로 움직이는 객체의 추적을 위한 영역 추적부의 크게 5개 부분으로 구성된다. In order to achieve this object the invention, the object for the detection of the face object-area having a background separation unit, the face with color and movement faces for detecting the end-face region color information detecting unit, the face color region and the weighted motion at the same time movement color information extraction unit, the detection zone by a plurality of information big end face region for the final face object determining unit, the tracking of the moving object, the detected data to the target defining the object area tracking unit 5 for extracting a dog It consists of a part.

본 발명에서는 다양한 잡음요소를 갖는 실제환경에서 얼굴영역을 정확히 검출해내기 위해 거리, 살색, 객체의 움직임 정보등 다양한 형식의 정보를 융합하는 멀티모달 방식을 채택하였다. In the present invention, adopting a multi-modal approach to fuse the various types of information such as distance, skin color, movement of the object information in order to accurately detected by the face area in the real world having a variety of noise components. 거리 및 얼굴색에 의해 각각 영상분할된 영역과 움직임이 검출된 영역등이 추출된 후, 이러한 결과영상들의 화소값들이 모두 결합되어 다시 0과 255사이의 흑백영상으로 변환된다. After the complexion, such as the distance and the respective divided image areas and the motion is detected by the extracted region, all these results are combined pixel values ​​of the image are converted back to the black-and-white image between 0 and 255. 이는 얼굴영역의 확률을 표시하게 되고, 여기서 높은 확률값을 갖는 영역은 다시 그룹화되고 영상분할되어 최종의 얼굴영역을 정의하게 된다. This is to show the probability of a face region, where the region having a high probability value are being regrouped image segmentation is defined by end-face region.

도1의 객체-배경 분리부(10)는 스테레오 영상을 이용한 거리정보의 추출을 통해 이루어진다. Object of 1-background separating unit 10 is made through the extraction of the distance information with a stereo image.

도2는 거리정보에 의해 영상분할하는 방법을 좀더 구체적으로 표시하였으며, 이는 복잡한 배경영역과 분리되어 있는 사람객체를 분할하는데 중요하게 작용한다. 2 was shown how the division image by the distance information, in more detail, this action is important to divide the person object which is separate from the complex background area. 거리정보는 스테레오 카메라로부터 복수의 영상을 얻고 변위맵을 구하기 전에 잡음 성분을 최소화하고 정합 확률을 높이기 위해 경계선 강조 처리를 한다(101). Distance information, the plurality of images to obtain a minimized noise component before determining the displacement map and the border emphasis process to increase the probability of matching from the stereo camera 101. 스테레오정합에 의한 변위맵을 구하기위해 MPC(Matching Pixel Count) 유사도 측정방법을 사용하였다(102). In order to find the displacement map by stereo matching MPC (Matching Pixel Count) it was used as a similarity measuring method 102. The

도3은 MPC를 이용하여 복수의 사람을 포함한 입력영상에 대해 변위맵을 구한 결과이다. 3 is a result obtained by the displacement map for the input image including a plurality of people using the MPC. 여기서 사용된 변위 히스토그램(DH)은 변위값들의 분포에 따른 발생횟수로 정의되며(도4) 이는 객체의 카메라로부터의 거리와 객체의 갯수를 얻을수 있는 기초정보가 된다. The displacement histogram used here (DH) is defined as the occurrence frequency of the distribution of the displacement (Fig. 4) which is the basic information obtained in the number of the object distance of the object from the camera. DH를 이용한 거리영상분할과정(103)은 구체적으로 다음과 같이 진행된다. Range Image Segmentation process 103, using the DH is specifically conducted as follows. 첫째, DH 외곽선을 평균적 필터에 의해 곡선화한다. First, the curved screen by the average filter the DH outline. 여기서 정해진 임계값 이하의 발생횟수를 갖는 영역들은 발생횟수가 없는 것으로 간주된다. The area having the number of occurrences of more than predetermined threshold value are considered to have no occurrence count. 정해진 임계값 이상의 발생횟수를 가지며 연속된 변위값들은 카메라로부터의 거리가 동일한 하나의 객체를 표현하는 것으로 인식한다. Have the above defined threshold number of occurrences successive displacement values ​​are recognized as the distance from the camera represent the same single object. 동일한 변위값을 갖는 화소들은 영상으로부터 추출된 후, 서로 연결된 영역 각각에 대해 독립적인 라벨이 부여된다. The pixels having the same displacement are two independent label for each region associated with each other after being extracted from the image is given. 가장 작은 변위값을 갖는 영역은 배경으로 간주한다. Region has the smallest displacement value is considered to be background.

도1의 얼굴색상정보 검출부(20)는 색상정보를 이용하여 1차적인 사람객체의 영역을 예측하기 위한 기술이다. Face color information detecting unit 20 of Fig. 1 is a technique for estimating the area of ​​the primary person object by using the color information. 정규화된 RGB 색상공간은 광원의 세기(intensity)에 의한 영향을 제거하는데 널리 사용되었으나 이것은 밝기가 고정되어 있고 조명의 단일한 색상, 단순한 배경화면 등을 가정하고 있다는데서 한계를 갖는다. A normalized RGB color space has a limitation deseo that the home and the like, but is widely used to remove the influence of the intensity (intensity) of the light source brightness, and this is fixed to one single color, a simple background screen of the light. 본 발명에서는 광원의 세기와 색상에 의한 영향을 제거하기 위하여 개선된 색상정규화 방법인 CSN(Color Synthetic Normalization) 방법을 제안한다. The present invention proposes a method of color normalized CSN (Synthetic Color Normalization) method improved in order to eliminate the influence of the strength and color of the light source. 카메라의 응답이 선형적일 때, 영상은 S배만큼의 공통적인 인자로 표현할 수 있다. When jeokil the camera linear response, the image can be expressed by a common factor of as much as S-fold. 이러한 간단한 모델을 이용하여 많은 연구에서 순수한 색상성분을 얻기위한 RGB 정규화 과정이 시도되었으며 이는 빛의 세기변화에 따른 영향을 최소화 할 수 있는 방법이 된다. RGB This normalization process was trying to get a pure color component in many studies using this simple model, which is a way to minimize the impact of changes in light intensity. CSN 정규화는 이러한 빛의 세기에 대한 정규화 과정에 추가로, 광원의 다양한 색상에 의한 종속성을 제거하기 위해 성분별 정규화를 적용한다. CSN Normalization In addition to the normalization of the intensity of this light will be applied to component-specific normalized to remove the dependency of the different colors of the light source. 위의 2가지 색상 변화요인을 고려하면 결과적인 색상성분들의 표현은 원 색상성분으로부터 다음과 같은 식으로 표현할 수 있으며, 색상성분에 관한 일반적 표현모델로 정의할 수 있다. Considering the two-color change factors of the above expression of the resultant color component can be expressed by the following equation from the original color components, it can be defined as a general model for representing color components.

식 1 Formula 1

위 식의 우변 마지막 항은 비선형잡음등을 포함하는 카메라 환경에 기인한 초기변수로 정의되며 본 발명에서는 0으로 가정한다. The right side end, wherein the above formula is defined as the initial variable due to the environment containing the camera, such as a non-linear noise, assumed to be zero in the present invention.

도5는 본 발명에서 제안된 CSN 정규화의 과정을 설명하며 다음의 간단한 방법을 따른다. Figure 5 describes the process of the proposed CSN normalization in the present invention and subject to the following simple method. 즉 먼저 광원의 세기에 대해 입력영상을 정규화(201) 한 후, 색상성분에 의한 정규화(202)를 취한다. That is, first take the normalization unit 202 by the after normalization 201, the input image to the intensity of the light source, a color component. 이러한 연속된 2가지 연산은 정규화된 색상성분이 작은 영역으로 수렴될때까지 계속 반복된다. These two kinds of successive operation is repeated until it converges to a small normalized color component area. 정규화된 색상공간에서의 화소값들을 색상 히스토그램상에서 보면 유사한 색상을 갖는 화소값들이 작은 영역에 집중되는데 그 분포는 Gaussian분포와 유사(203)하다. When the pixel values ​​in the normalized color space on the color histogram, a pixel value having a similar color to that there is concentrated in a small area that is similar to the distribution 203 and the Gaussian distribution. 따라서 본 발명에서는 2차원의 Gaussian분포를 적용하여 표현된 일반살색분포를 정의하며 이러한 정의를 파라미터로 하여 입력영상을 이미 정의된 얼굴색상성분 분포의 영역으로 변환시킨다. Therefore, the present invention is converted to the area of ​​the two-dimensional Gaussian distribution applied to define the normal skin color distribution represented by an input image and an already defined by this definition as a parameter face color component distribution.

도6은 도5에서의 변환과정(301)에서 영상내의 움직임 성분을 가중치로 반영하여, 얼굴 객체성분의 분포확율을 신뢰성이 높은 파라미터로 정의하여 최종 얼굴객체 추출의 신뢰성을 높이기 위하 단계이다. 6 is a step in order to increase the reliability of a conversion process 301 to reflect the weights of the components in the motion image in, the end face an object extracted by defining a probability distribution of a facial component object to a high reliability of the parameters in FIG. 상호작용적인 통신을 위한 영상데이터에서 중요한 정보중의 하나는 얼굴의 움직임 정보이며 이는 관심영역의 대부분이 움직임을 가지고 있기 때문이다. One of the important information in the video data for the interactive communication is the motion information of the face, because the majority of the region of interest has a motion. 객체의 움직임 정보를 찾아내기 위해 UPC(Unmatched Pixel Count) 움직임 검출 측정법이 이용되었다(302). UPC (Unmatched Pixel Count) motion detection assay was used to find the motion information of the object (302). UPC는 블록단위의 간단한 연산형태를 갖는다. UPC has a simple calculation in the form of blocks. 본 발명에서 제안하는 AWUPC (Adaptive Weighted Unmatched Pixel Count) 연산은(303) 식2, 식3, 식4와 같이 정의되며 Z(x,y,t)는 일반적 얼굴색상분포로 변환된 결과영상이고 U(i,j,t)는 UPC 움직임 검출결과이다. (Adaptive Weighted Unmatched Pixel Count) AWUPC operation proposed in the present invention is 303, formula 2, formula 3, is defined as Equation 4 Z (x, y, t) is converted to generally face the color distribution of the resultant image, and U (i, j, t) is a result of the motion estimation UPC. AWUPC연산은 살색변환된 영역안에서 움직임이 있는 성분을 강조하는 결과를 보여준다. AWUPC operation shows the result which emphasizes the component in the motion in the skin color transformed area.

식 2 Equation 2

식 3 Expression 3

식 4 Equation 4

한편 식4에서의 임계값은 입력 색상영상의 살색유사도에 따라 적응적으로 결정될수 있도록 도7에서와 같은 sigmoid함수를 사용하였으며 그 자세한 연산방법은 식4와 같다. The expression threshold at 4 was done using sigmoid function as shown in FIG. 7 to be determined adaptively according to the skin color similarity of the input color image that additional computing method is shown in equation (4). 여기서 Z(x,y,t)는 시간 t에서의 입력 화소값이며, Q는 sigmoid함수의 곡선의 기울기를 결정하는 계수이다. Where an input pixel value at the time t Z (x, y, t), Q is a coefficient that determines the slope of the curve of the sigmoid function. 적응적인 임계값을 사용하는 이유는 다음과 같다. The reason for using an adaptive threshold is as follows: 입력영상의 화소값은 얼굴색상의 확률을 의미한다. The pixel values ​​of the input image refers to the probability of face color. 그러므로 이미 높은 얼굴영역의 확률을 가지고 있는 화소는 작은 움직임에도 얼굴객체로 검출되도록 하기 위해 낮은 임계값을 갖을 필요가 있으며, 반대로 색상변환을 통해 얼굴일 확률이 낮게 나온 영역은 대체로 얼굴등의 관심영역이 아닌 경우이므로 큰 움직임이 있는 경우에만 검출이 될 수있도록 높은 임계값을 사용한다. Therefore, the pixel already has a probability of a high face region may need gateul the low threshold value to be detected as a face object, even a small movement, whereas the area from the face probability low through the color conversion is generally of interest, such as the face Since this is not to use a higher threshold value to be detected only when there is a large movement.

도 8은 복수의 정보를 활용하여 최종적인 얼굴객체 성분을 정의하기 위한 방법을 묘사한 그림이다. 8 is a diagram depicting a method for defining the final face object component by utilizing a plurality of information. 1단계에서 가장 많은 잡음이 포함된 배경영역과 관심의 대상인 타겟영역을 분리하기 위해 변위맵에 의한 영상분할을 취한 영역과, 2단계에서 얼굴색상을 강조한 영역과 움직임색상정보를 반영한 영역을 각각 독립적으로 추출한다. To reflect the most noise taking the image segmentation according to the displacement map in order to separate the background region and the subject target area of ​​interest containing the region and a region emphasizing the face color in step 2 and move color region in step 1, each independently and extracted with. 3단계에서 화소단위의 변환과정을 통해 위의 모든 성분을 포함하는 공간에서의 확률분포를 구성하고, 가장 확률이 높은 영역에서의 성분을 Gaussian분포의 중심에 오도록 특징공간을 구성하고 얼굴객체 영역으로 정의한다(401). In step 3, all components constituting the probability distribution in a space, so that the component in the highest probability zone in the center of the Gaussian distribution configure the feature space, and faces an object region including the above, through the conversion of a pixel unit It defines 401. The

도 1의 영역추적부는 최종얼굴객체 성분 정의단계(401)에서의 화소단위 성분분포를 모델 영상의 확율밀도함수로 정의하고, 새로 입력되는 영상에 대해서 특징공간을 구성하고 확율밀도함수를 정의하여 모델 영상과 타겟 영상의 분포간의 유사도 측정을 통해 새로 입력된 영상안에서 관심영역을 추적한다. Area tracking of Figure 1 unit model, for the image, which is defined for each pixel component distribution in the final face object component definition phase 401 in the probability density function of the model image, and the new input constituting the feature space defines a probability density function, through the similarity measurement between the distribution of an image to a target image to track the region of interest in the new input image. 모델 영사의 성분 분포는 Mean shift기반의 가중치 적응방법에 의해 관심영역 추적을 위한 중심점을 개선해 나간다. Component distribution of the model is projected out improve the center for tracking a region of interest by the weighted adjustment of how Mean shift based.

본 발명은 거리, 색상, 움직임등 다양한 형식이 상호 융합된 정보를 활용한, 객체중심의 얼굴영역 검출 기술을 제시한다. The present invention proposes a distance, color, motion, etc. One, object-oriented face detection techniques take advantage of the various types of mutual convergence information. 얼굴객체를 복잡한 배경으로부터 분리하기 위하여 거리정보를 나타내는 스테레오 변위 히스토그램을 이용하였으며 MPC를 이용한 변위측정방법은 정합의 정확도를 향상시키는 역할을 하고 거리정보에 의해 영상분할된 영역으로부터 얼굴영역을 찾아내기 위해 색상변환기술이 사용되었다. In order to separate the face object from a complex background, we used the stereo displacement histogram that represents the information displacement measurement method using the MPC is to locate the face region from the functions to improve the accuracy of the matching, and image divided by the distance-information area the color conversion technology was used. 빛의 색상요인을 제거한 CSN의 정규화 방법에 의해 고유색상의 분포를 안정화시키며 색상공간내에서 2차원 Gaussian 함수를 이용하여 일반화된 얼굴객체 영역분포를 정의한다. Sikimyeo by the normalization method of the removal of the color factors of light CSN stabilize the distribution of the specific color defines a face object area distribution generalized by using a two-dimensional Gaussian function in color space. AWUPC 움직임 검출 기술은 살색의 확률에 따라 임계값이 적응적으로 변화하는 색상변환영역을 정의하며 AWUPC연산은 입력컬러영상을 색상과 움직임정보 모두를 가질 확률값으로 재변환한다. AWUPC motion estimation techniques to define a color conversion area in which the threshold changes adaptively according to the probability of a skin color and AWUPC operation is re-converted to an input color image into a probability to have both color and motion information.

이상에서 설명한 바와 같이 본 발명에 의한 사람 얼굴객체 자동검출 방법은 복수의 정보를 서로 융합하여 얼굴객체를 복잡한 배경과 효과적으로 분리하고, 얼굴영역일 확율을 증가시키는 기술로서, 영상내 정보검출을 통해 사람-컴퓨터간 상호작용을 필요로 하는 디지탈 영상감시장치와 화상통신등의 기술분야에서 응용가능하다. As a technique of a face object automatic detection program according to the present invention and to fuse with each other a plurality of information separating face object complicated background and effectively increases the probability a facial area as described above, a person over the image within the information detected - it is applicable in the technical field, such as a digital video surveillance system and video communications that require interaction between computers.

도1은 본 발명의 전체 처리과정을 묘사한 전체 흐름도이다. Figure 1 is a flow diagram depicting the overall process of the present invention.

도2는 본 발명의 전체 처리과정중 객체-배경 분리부를 위한 상세 흐름도이다. Figure 2 is an object of the total process of the present invention a detailed flow chart for background separating unit.

도3은 도 2의 객체-배경 분리부중 102 단계의 변위 맵 생성예이다. 3 is an object of the 2-background separating the displacement map generation example of bujung 102 steps.

도4는 도 2의 객체-배경 분리부중 103 단계의 거리정보 영상분할을 설명하기 위한 변위 히스토그램(Disparity Histogram)의 생성예이다. 4 is an object of 2 - an example of generation of a displacement histogram (Histogram Disparity) for explaining the distance information of the image segmentation step 103 bujung background separation.

도5는 도1의 얼굴색상정보 검출부의 상세 흐름도이다. Figure 5 is a detailed flow chart of the face color information detector of FIG.

도6은 도1의 움직임색상정보 검출부의 상세 흐름도이다. Figure 6 is a detailed flowchart of the color motion information detector of FIG.

도7은 도6의 움직임색상정보 검출부중 프레임간 움직임 검출시의 적응적 임계치를 적용하기 위한(303) 함수를 보여준다. Figure 7 shows the 303 functions to apply an adaptive threshold value during the inter-frame motion detection of the motion detecting color information of FIG.

도8은 최종 얼굴 객체 영역을 판별하기 위한 상세과정을 보여주는 흐름도이다. 8 is a flow chart showing the detailed process for determining the final face object regions.

Claims (7)

  1. 디지탈 영상 보안등을 위한 입력 영상의 관심영역 검출 방법중, 스테레오 카메라에 의한 거리 정보 추출을 통해 객체-배경을 분리하는 객체-배경 분리부(10)와 상기 입력영상을 얼굴객체의 색상 정규화를 통한 얼굴색상 영역을 정의하고 추출하는 얼굴색상정보검출부(20)와 동일한 입력 영상을 움직임 정보와 얼굴색상 영역을 가중치에 의해 강조하는 움직임색상정보 추출부(30)와 최종 얼굴객체 판별부(40)와 관심영역 추적부(50)를 포함하는 영상처리/감시시스템. Of the type of interest the detecting method of the image for a digital image boandeung stereo camera object through the distance information extracted by - the object to remove the background - background separating unit 10 and faces the input image through color normalization of the face object, defining a color region is extracted face color information detecting unit 20 and the motion highlighted by the same input image to the motion information and the face areas of color on the weight color extraction unit 30 and the end face object determination section 40 and the interest region image processing / monitoring system that includes a tracking unit (50).
  2. 제 1항에 있어서, 얼굴색상정보 검출부는 정규화 과정에 있어 광원의 세기정규화부(201)와 광원의 색상정규화부(202)를 동시에 취한 특징공간에서 정의되며 가우시안 분포에 의해 관심영역을 변환하는 영상처리/감시시스템. The method of claim 1, wherein the face color information detecting unit is defined in the feature space in the normalization process of taking the intensity normalization unit 201 and the color normalizer 202 of the light source of the light source at the same time the image to convert the region of interest by a Gaussian distribution processing / monitoring system.
  3. 제 1항에 있어서, 움직임색상정보 추출부는 화소단위의 움직임을 추측하는 과정에서 AWUPC (Adaptive Weighted Unmatched Pixel Count) 형태의 연산을 통해, 관심영역의 얼굴색상 성분 분포와 영상 프레임간 움직임 값을 동시에 반영한 특징공간을 사용하는 영상처리/감시시스템. The method of claim 1, wherein the movement color information extraction unit through the process operations of the type (Adaptive Weighted Unmatched Pixel Count) AWUPC from assuming the pixel unit movement, reflecting the movement value between the face color component distribution and the image frame of the region of interest at the same time imaging / surveillance system that uses the feature space.
  4. 제 3항에 있어서, 영상 프레임간의 움직임 차를 구하는 차연산에 사용되는 임계값에 있어, 임계값의 결정이 비교하는 입력 영상의 화소값에 따라 가변적으로 변하도록 별도의 함수를 적용하는 방식의 영상처리/감시시스템. 4. The method of claim 3, in the threshold value used in the difference operation to obtain a motion difference between the image frame, variably imaging the method of applying separate functions to vary in accordance with the pixel value of the input image to compare the threshold value decision processing / monitoring system.
  5. 제 3항에 있어, 영상 프레임간의 움직임 차를 구하는 차연산에 사용되는 임계값을 결정하기 위하여 도 7과 같은 Sigmoid함수를 변환함수로 사용하는 영상처리/감시시스템. The imaging / surveillance system that uses a Sigmoid function, such as 7, to determine the threshold used in the difference operation to obtain a motion difference between, image frames in 3 as a transform function.
  6. 제 1항에 있어, 객체-배경 분리부(10)에서 이미 분리된 근거리 객체만을 포함하는 관심영역을 대상으로 얼굴색상정보검출부(20)의 처리와 움직임색상정보 추출부(30)의 처리를 수행하는 영상처리/감시시스템. In claim 1, wherein the object-performing processing with motion color processing of the extracting section 30 of the target region of interest which includes only the already separated near object in the background separating portion (10) face the color information detecting unit 20 image processing / monitoring system.
  7. 제 1항에 있어, 사람 얼굴객체를 검출하기 위한 과정(10,20,30,40)은 초기 입력 영상에 대해서만 수행되며, mean shift algorithm기반의 영역추적부(50)를 통해 관심 영역이 추적되는 과정에서는 관심 객체 검출과정(10,20,30,40)을 중복해서 수행하지 않는 영상처리/감시시스템. In claim 1, wherein the step (10,20,30,40) for detecting a face object is performed only for the initial input image, that is of interest tracked in the area of ​​the mean shift algorithm based tracking unit 50 image processing / monitoring system that does not perform the process of duplicating the object of interest detection process (10,20,30,40).
KR20040039868A 2004-06-02 2004-06-02 Automatic detection method of human facial objects for the digital video surveillance KR100572768B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20040039868A KR100572768B1 (en) 2004-06-02 2004-06-02 Automatic detection method of human facial objects for the digital video surveillance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20040039868A KR100572768B1 (en) 2004-06-02 2004-06-02 Automatic detection method of human facial objects for the digital video surveillance

Publications (2)

Publication Number Publication Date
KR20050114817A true true KR20050114817A (en) 2005-12-07
KR100572768B1 KR100572768B1 (en) 2006-04-24

Family

ID=37288934

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040039868A KR100572768B1 (en) 2004-06-02 2004-06-02 Automatic detection method of human facial objects for the digital video surveillance

Country Status (1)

Country Link
KR (1) KR100572768B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100691348B1 (en) * 2005-12-21 2007-02-28 고정환 Method for tracking moving target with using stereo camera based on pan/tilt contol and system implementing thereof
KR100739473B1 (en) * 2005-11-30 2007-07-13 이현철 Extracting method for feature points in moving pictures and computer readable record medium on which a program there for is recorded
KR100813167B1 (en) * 2006-06-09 2008-03-17 삼성전자주식회사 Method and system for fast and accurate face detection and face detection learning
KR100853267B1 (en) * 2007-02-02 2008-08-20 전남대학교산학협력단 Multiple People Tracking Method Using Stereo Vision and System Thereof
WO2008154314A1 (en) * 2007-06-06 2008-12-18 Microsoft Corporation Salient object detection
KR100896949B1 (en) * 2006-08-30 2009-05-14 (주)로직아이텍 Image Monitoring System for Object Identification
KR100904995B1 (en) * 2006-12-04 2009-06-26 한국전자통신연구원 Imazge processing apparatus and method of stereo vision
KR101018299B1 (en) * 2009-04-28 2011-03-04 한국과학기술원 Apparatus and method for detecting a plurality of objects in an image
US8411964B2 (en) 2009-12-07 2013-04-02 Electronics And Telecommunications Research Institute Method and apparatus for analyzing nudity of image using body part detection model, and method and apparatus for managing image database based on nudity and body parts
KR101329138B1 (en) * 2007-09-28 2013-11-14 삼성전자주식회사 Imaging system, apparatus and method of discriminative color features extraction thereof
US8620091B2 (en) 2009-11-23 2013-12-31 Electronics And Telecommunications Research Institute Method and apparatus for detecting specific external human body parts from texture energy maps of images by performing convolution
US8780197B2 (en) 2009-09-07 2014-07-15 Samsung Electronics Co., Ltd. Apparatus and method for detecting face

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695174B1 (en) 2006-03-28 2007-03-08 삼성전자주식회사 Method and apparatus for tracking listener's head position for virtual acoustics
KR100994418B1 (en) 2008-05-16 2010-11-15 주식회사 윈포넷 System For Processing Imaging For Detecting the Invasion Of Building and Method Thereof
KR101133908B1 (en) 2009-01-30 2012-04-12 주식회사 코아로직 Method and apparatus for selectively storing image including specific shape

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1163927A (en) 1997-08-27 1999-03-05 Mitsubishi Heavy Ind Ltd Head position and posture measuring device, and operation monitoring device
KR100372774B1 (en) 2000-10-27 2003-02-25 한국과학기술연구원 Visual Tracking Method by Color Information
KR20030093464A (en) * 2002-06-03 2003-12-11 (주)아이엠에이테크놀로지 Security Certifying Method of Mobile Telecommunication Devices using Face-Recognition

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100739473B1 (en) * 2005-11-30 2007-07-13 이현철 Extracting method for feature points in moving pictures and computer readable record medium on which a program there for is recorded
KR100691348B1 (en) * 2005-12-21 2007-02-28 고정환 Method for tracking moving target with using stereo camera based on pan/tilt contol and system implementing thereof
KR100813167B1 (en) * 2006-06-09 2008-03-17 삼성전자주식회사 Method and system for fast and accurate face detection and face detection learning
KR100896949B1 (en) * 2006-08-30 2009-05-14 (주)로직아이텍 Image Monitoring System for Object Identification
KR100904995B1 (en) * 2006-12-04 2009-06-26 한국전자통신연구원 Imazge processing apparatus and method of stereo vision
KR100853267B1 (en) * 2007-02-02 2008-08-20 전남대학교산학협력단 Multiple People Tracking Method Using Stereo Vision and System Thereof
WO2008154314A1 (en) * 2007-06-06 2008-12-18 Microsoft Corporation Salient object detection
US7940985B2 (en) 2007-06-06 2011-05-10 Microsoft Corporation Salient object detection
KR101329138B1 (en) * 2007-09-28 2013-11-14 삼성전자주식회사 Imaging system, apparatus and method of discriminative color features extraction thereof
KR101018299B1 (en) * 2009-04-28 2011-03-04 한국과학기술원 Apparatus and method for detecting a plurality of objects in an image
US8780197B2 (en) 2009-09-07 2014-07-15 Samsung Electronics Co., Ltd. Apparatus and method for detecting face
US8620091B2 (en) 2009-11-23 2013-12-31 Electronics And Telecommunications Research Institute Method and apparatus for detecting specific external human body parts from texture energy maps of images by performing convolution
US8411964B2 (en) 2009-12-07 2013-04-02 Electronics And Telecommunications Research Institute Method and apparatus for analyzing nudity of image using body part detection model, and method and apparatus for managing image database based on nudity and body parts

Also Published As

Publication number Publication date Type
KR100572768B1 (en) 2006-04-24 grant

Similar Documents

Publication Publication Date Title
Raja et al. Tracking and segmenting people in varying lighting conditions using colour
Bray et al. Posecut: Simultaneous segmentation and 3d pose estimation of humans using dynamic graph-cuts
Fischer et al. Flownet: Learning optical flow with convolutional networks
US5912980A (en) Target acquisition and tracking
Prati et al. Detecting moving shadows: algorithms and evaluation
Huang An advanced motion detection algorithm with video quality analysis for video surveillance systems
Jabri et al. Detection and location of people in video images using adaptive fusion of color and edge information
Xiao et al. Fast image dehazing using guided joint bilateral filter
US6697502B2 (en) Image processing method for detecting human figures in a digital image
US7123745B1 (en) Method and apparatus for detecting moving objects in video conferencing and other applications
US6404900B1 (en) Method for robust human face tracking in presence of multiple persons
Senior et al. Appearance models for occlusion handling
Dosovitskiy et al. Flownet: Learning optical flow with convolutional networks
US20120069168A1 (en) Gesture recognition system for tv control
Harville et al. Foreground segmentation using adaptive mixture models in color and depth
Ahmad et al. Human action recognition using shape and CLG-motion flow from multi-view image sequences
Lao et al. Automatic video-based human motion analyzer for consumer surveillance system
Smith et al. A review of image fusion technology in 2005
Baskan et al. Projection based method for segmentation of human face and its evaluation
Pérez et al. Color-based probabilistic tracking
US20090226044A1 (en) Real-time body segmentation system
Yang et al. Tracking human faces in real-time
Nouar et al. Improved object tracking with camshift algorithm
Leung et al. Human body motion segmentation in a complex scene
Jeyakar et al. Robust object tracking with background-weighted local kernels

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130415

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140414

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150817

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee