KR101524516B1 - Frequency based Face location tracking - Google Patents
Frequency based Face location tracking Download PDFInfo
- Publication number
- KR101524516B1 KR101524516B1 KR1020130146913A KR20130146913A KR101524516B1 KR 101524516 B1 KR101524516 B1 KR 101524516B1 KR 1020130146913 A KR1020130146913 A KR 1020130146913A KR 20130146913 A KR20130146913 A KR 20130146913A KR 101524516 B1 KR101524516 B1 KR 101524516B1
- Authority
- KR
- South Korea
- Prior art keywords
- face object
- face
- tracking
- image
- previous
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상 내 얼굴객체 추적방법에 관한 것으로, 보다 구체적으로는 입력되는 영상의 얼굴객체와 이전 영상의 얼굴객체 간의 동일성을 판단하여 이전 영상의 얼굴객체의 정보를 갱신함으로써 얼굴객체를 추적하고, 추적 중인 얼굴객체에 추적 빈도수 확률을 부여하여 추적 빈도수 확률이 낮은 얼굴객체에 대해서는 추적을 종료함으로써 얼굴객체 추적의 정확도를 향상시킬 수 있는 빈도수 기반의 영상 내 얼굴객체 추적방법에 관한 것이다.
The present invention relates to a method of tracking a face object in an image, and more particularly, to a method of tracking a face object by updating the information of a face object of a previous image by determining the identity between a face object of an input image and a face object of a previous image, And more particularly, to a frequency-based intra-image face object tracking method capable of improving the accuracy of face object tracking by ending tracing for a face object having a low tracking frequency probability by assigning a tracking frequency probability to the face object being tracked.
동적인 영상에서 사람들을 탐색하고 추적하는 시스템은 보안, 인간의 행동분석, 로봇비전 및 인간과 컴퓨터 간의 상호작용 분야의 비전 어플리케이션 시스템들 중 가장 중요한 시스템 중의 하나이다.A system for locating and tracking people in dynamic images is one of the most important systems of vision application systems in the areas of security, human behavior analysis, robot vision, and human-computer interaction.
또한, 사람들을 탐색하고 추적하는 시스템이 원격 보안시스템, 수화 및 제스처 인식 시스템, 원격 교육시스템, 자동 기록 시스템 등에 활용되기 위해서는 카메라를 이용하여 취득한 영상을 분석하여 사람의 얼굴영역을 분리하고 그 얼굴영역의 움직임 등을 인식하는 기술이 필요하다.In addition, in order to utilize a system for searching and tracking people, such as a remote security system, a hydration and gesture recognition system, a remote education system, and an automatic recording system, the image obtained using a camera is analyzed to separate a human face region, And the like.
얼굴객체 추적이란 현재 프레임 영상에서 검출된 얼굴영역이 이전 프레임 영상에서도 검출되었는지 판단하여 이전 프레임 영상의 얼굴객체를 현재 영상의 얼굴객체 정보로 갱신함으로써 연속적으로 추적하는 것을 의미한다.The face object tracking means that the face region detected from the current frame image is detected in the previous frame image and the face object of the previous frame image is continuously updated by updating the face object information of the current image.
종래의 얼굴객체 추적의 한 방법으로 현재 프레임 영상의 얼굴영역과 이전 프레인 영상의 얼굴영역이 서로 겹칠 경우 서로 동일한 객체로 판단하는 방법이 있다.As a method of tracking a conventional face object, there is a method of determining that the face region of the current frame image and the face region of the previous plane image are the same object when they overlap each other.
그러나 이러한 종래의 얼굴객체 추적방법은 실제로 동일한 얼굴객체의 영역이 이전 영상의 얼굴객체의 영역과 겹치지 않을 경우 서로 다른 객체로 판단하여 추적에 실패하는 문제점이 있다.
However, the conventional face object tracking method has a problem in that if the area of the same face object does not overlap with the area of the face object of the previous image, it is judged to be a different object and fails to be tracked.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로 본 발명의 목적은 이전 프레임 영상의 얼굴 영역과 현재 프레임 영상의 얼굴 영역이 겹쳐지는 것을 기준으로 동일성을 판단하지 않으므로 겹쳐지지 않는 얼굴 영역 간에도 객체 추적을 수행할 수 있는 영상 내 얼굴객체 추적방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an image processing apparatus and method, And a method for tracking a face object in an image.
또한, 본 발명은 추적 중인 얼굴객체의 추적 빈도수 확률을 계산하여 현재 프레임 영상의 얼굴 객체가 일시적으로 사라지더라도 추적리스트에 유지하여 추적의 정확도를 향상시킬 수 있는 영상 내 얼굴객체 추적방법을 제공하는 것이다.In addition, the present invention provides a method of tracking a face object in an image, which can improve the accuracy of tracking by calculating the tracking frequency probability of a face object being tracked and keeping it in a tracking list even if the face object of the current frame image temporarily disappears .
또한, 본 발명은 추적리스트에 동일한 얼굴 객체가 존재할 경우 어느 하나의 얼굴 객체를 삭제하여 추적을 위한 데이터 계산 시간을 단축할 수 있는 영상 내 얼굴객체 추적방법을 제공하는 것이다.
Another object of the present invention is to provide a method for tracking a face object in an image, which can shorten data calculation time for tracking by deleting any one of the face objects when the same face object exists in the tracking list.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
상기의 목적을 달성하기 위하여 본 발명은 컴퓨터가 카메라로부터 프레임 영상을 순차적으로 입력받아 입력되는 영상 내의 얼굴객체를 검출하고 검출된 얼굴객체가 이전 프레임 영상 내의 얼굴객체와 동일한 객체인지 판단하여 얼굴객체 위치를 추적하는 영상 내 얼굴객체 추적방법으로서, 컴퓨터가 현재 프레임 영상을 입력받는 단계; 입력된 영상 내에서 얼굴객체(이하 '현재 얼굴객체'라 함)를 검출하는 단계; 상기 현재 얼굴객체의 영상좌표와 영역을 추출하는 단계; 및 이전 프레임 영상에서 검출된 얼굴객체(이하 '이전 얼굴객체'라 함)들 중, 상기 현재 얼굴객체와 일정한 거리 내에 위치하는 얼굴객체(이하 '추적 얼굴객체'라 함)가 존재하는지 판단하는 단계; 상기 이전 얼굴객체들 중, 상기 추적 얼굴객체가 존재할 경우 상기 추적 얼굴객체의 영상좌표와 영역을 상기 현재 얼굴객체의 영상좌표와 영역으로 갱신하고, 존재하지 않을 경우 상기 현재 얼굴객체를 새로운 얼굴객체로 간주하여 추적리스트에 추가하는 단계;를 포함하는 것을 특징으로 하는 영상 내 얼굴객체 추적방법을 제공한다.According to another aspect of the present invention, there is provided a computer-readable storage medium storing a computer program for causing a computer to sequentially receive a frame image from a camera, detect a face object in an input image, determine whether the detected face object is the same object as a face object in the previous frame image, A method for tracking a face object in an image, the method comprising: receiving a current frame image by a computer; Detecting a face object (hereinafter referred to as 'current face object') in the input image; Extracting image coordinates and an area of the current face object; And a step of determining whether a face object (hereinafter referred to as a 'tracking face object') located within a predetermined distance from the current face object among the face objects detected in the previous frame image (hereinafter referred to as 'previous face objects') exists ; Updating the image coordinates and the area of the tracked face object to the image coordinates and the area of the current face object when the tracked face object exists among the previous face objects and updating the current face object to a new face object And adding it to the tracking list by considering the face object in the image.
바람직한 실시예에 있어서, 상기 이전 얼굴객체는 얼굴객체의 아이디, 영상좌표, 영역, 입력된 영상들의 총 프레임 수, 상기 이전 얼굴객체가 검출된 검출 프레임 수의 정보로 이루어진다.In a preferred embodiment, the previous face object is composed of the ID of the face object, the image coordinates, the area, the total number of frames of the input images, and the number of detected frames in which the previous face object is detected.
바람직한 실시예에 있어서, 상기 추적 얼굴객체가 존재하는지 판단하는 단계에서, 상기 추적 얼굴객체는 상기 이전 얼굴객체들 중, 영역의 중심좌표가 상기 현재 얼굴객체의 영역의 중심좌표로부터 서로 일정한 거리 내에 위치하는 얼굴객체이다.In a preferred embodiment of the present invention, in the step of determining whether the tracked face object exists, the tracked face object determines whether the center coordinates of the area in the previous face objects are within a predetermined distance from each other from the center coordinates of the area of the current face object. .
바람직한 실시예에 있어서, 상기 추적 얼굴객체가 존재하는지 판단하는 단계 이후에, 상기 추적 얼굴객체가 존재할 경우, 상기 추적 얼굴객체의 추적 빈도수 확률을 계산하는 단계를 더 포함한다.In a preferred embodiment, the method further comprises calculating a tracking frequency probability of the tracked face object if the tracked face object exists, after determining whether the tracked face object exists.
바람직한 실시예에 있어서, 상기 추적 빈도수 확률은 아래의 수학식에 의해 계산된다.In a preferred embodiment, the tracking frequency probability is calculated by the following equation.
[수학식][Mathematical Expression]
여기서, yi는 추적 얼굴객체, nd는 총 프레임 수, n은 검출 프레임 수이다.Here, y i is the tracked face object, nd is the total number of frames, and n is the number of detected frames.
바람직한 실시예에 있어서, 상기 추적 빈도수 확률을 계산하는 단계 이후에, 상기 추적리스트의 얼굴객체들 중, 추적 빈도수 확률이 임계확률 이하인 얼굴객체들을 상기 추적리스트에서 삭제하는 단계를 더 포함한다.In a preferred embodiment, the step of calculating the tracking frequency probability further includes deleting, from the tracking list, the face objects whose tracking frequency probability is lower than the threshold probability, among the face objects of the tracking list.
바람직한 실시예에 있어서, 상기 추적리스트에서 삭제하는 단계 이후에, 상기 추적리스트에 동일한 얼굴객체가 존재할 경우 어느 하나의 얼굴객체를 상기 추적리스트에서 삭제하는 단계를 더 포함한다.In a preferred embodiment, the method further comprises, after the step of deleting from the trace list, deleting one of the face objects from the trace list if the same face object exists in the trace list.
바람직한 실시예에 있어서, 상기 아이디 정보가 동일한 얼굴객체들 중 총 프레임 수 정보가 더 낮은 얼굴객체가 상기 추적리스트에서 삭제된다.In a preferred embodiment, a face object having a lower total frame number information among the face objects having the same ID information is deleted from the tracking list.
또한, 본 발명은 컴퓨터를 기능시켜 상기 영상 내 얼굴객체 추적방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체를 더 제공한다.
In addition, the present invention further provides a computer-readable recording medium having stored thereon a program for performing a method of tracking a face object in an image by functioning as a computer.
본 발명은 다음과 같은 우수한 효과를 가진다.The present invention has the following excellent effects.
먼저, 본 발명의 영상 내 얼굴객체 추적방법에 의하면, 얼굴객체 영역이 중첩되는 여부가 아닌 얼굴객체의 위치에 기반하여 동일성을 판단하므로 얼굴객체 추적의 정확도를 높일 수 있다.First, according to the method of tracking a face object in an image according to the present invention, accuracy of face object tracking can be improved by determining the identity based on the position of the face object instead of whether the face object area is overlapped.
또한, 본 발명의 영상 내 얼굴객체 추적방법에 의하면, 추적 빈도수 확률이 임계확률을 초과하는 객체는 추적리스트에 유지하고, 임계확률 이하의 얼굴객체는 추적리스트에서 삭제함으로써 일시적으로 사라진 얼굴객체의 경우 재추적이 가능하고 추적이 필요없는 얼굴객체는 삭제하여 계산량을 줄일 수 있는 장점이 있다.According to the method of tracking a face object in an image according to the present invention, an object whose tracking frequency probability exceeds a threshold probability is kept in a tracking list, and a face object of a threshold probability or less is deleted from a tracking list, It is advantageous to reduce the calculation amount by deleting the face object which can be retraced and does not need to be traced.
또한, 본 발명의 영상 내 얼굴객체 추적방법에 의하면, 추적리스트에 동일한 얼굴 객체가 존재할 경우 어느 하나의 얼굴 객체를 삭제하여 계산 시간을 단축할 수 있으므로 신속한 추적이 가능하다.
In addition, according to the method of tracking a face object in an image according to the present invention, when the same face object exists in the tracking list, it is possible to shorten the calculation time by deleting any one of the face objects.
도 1은 본 발명의 일 실시예에 따른 영상 내 얼굴객체 추적방법의 흐름도,
도 2는 본 발명의 일 실시예에 따른 영상 내 얼굴객체 추적방법의 얼굴객체를 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른 영상 내 얼굴객체 추적방법에서 현재 얼굴객체와 이전 얼굴객체의 동일성을 판단하는 과정을 설명하기 위한 도면이다.1 is a flowchart of a method for tracking a face object in an image according to an embodiment of the present invention;
2 is a view for explaining a face object of a method for tracking a face object in an image according to an embodiment of the present invention;
3 is a diagram for explaining a process of determining the identity between a current face object and a previous face object in a method of tracking a face object in an image according to an embodiment of the present invention.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.Although the terms used in the present invention have been selected as general terms that are widely used at present, there are some terms selected arbitrarily by the applicant in a specific case. In this case, the meaning described or used in the detailed description part of the invention The meaning must be grasped.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.Hereinafter, the technical structure of the present invention will be described in detail with reference to preferred embodiments shown in the accompanying drawings.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
However, the present invention is not limited to the embodiments described herein but may be embodied in other forms. Like reference numerals designate like elements throughout the specification.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 내 얼굴객체 추적방법은 컴퓨터에 의해 수행되며, 먼저, 상기 컴퓨터가 카메라로부터 프레임 영상을 순차적으로 입력받아 입력되는 영상 내의 얼굴 객체를 검출하고, 다음, 검출된 얼굴객체가 이전 프레임 영상 내에서 검출된 얼굴객체들과 비교하여 동일한 객체가 존재할 경우 이전 프레임 영상의 얼굴객체의 정보를 현재 프레임 영상에서 검출된 얼굴객체의 정보로 갱신함으로써 얼굴객체를 연속적으로 추적하는 방법이다.Referring to FIG. 1, a method for tracking a face object in an image according to an embodiment of the present invention is performed by a computer. First, the computer sequentially receives a frame image from a camera and detects a face object in the input image If the detected face object is compared with the face objects detected in the previous frame image and the same object exists, the information of the face object of the previous frame image is updated to the information of the detected face object in the current frame image, Is continuously tracked.
또한, 본 발명의 일 실시예에 따른 영상 내 얼굴객체 추적방법은 실질적으로 얼굴객체 추적프로그램이 설치된 컴퓨터에서 수행되며, 상기 얼굴객체 추적프로그램은 CD, USB, SD카드 등과 같은 컴퓨터로 읽을 수 있는 저장매체에 저장되어 상기 컴퓨터에 읽혀짐으로써 컴퓨터를 기능시킨다.In addition, the method for tracking a face object in an image according to an embodiment of the present invention is practiced in a computer having a face object tracking program installed therein, and the face object tracking program is stored in a computer readable storage such as a CD, a USB, Stored in the medium and read by the computer, thereby functioning the computer.
또한, 상기 컴퓨터는 퍼스널 컴퓨터 이외에 스마트 폰, 테블릿 피시와 같이 컴퓨터의 기능을 수행할 수 있는 스마트기기일 수 있으며, CCTV 카메라나 블랙박스와 같은 감시장치에 임베디드될 수 있도록 특별히 제작된 하드웨어일 수 있다.
In addition, the computer may be a smart device capable of performing computer functions such as a smart phone and a tablet PC in addition to a personal computer, and may be a hardware specially designed to be embedded in a surveillance device such as a CCTV camera or a black box have.
이하에서는 본 발명의 일 실시예에 따른 영상 내 얼굴객체 추적방법의 과정을 상세히 설명한다.Hereinafter, a process of a method for tracking a face object in an image according to an embodiment of the present invention will be described in detail.
본 발명의 일 실시예에 따른 영상 내 얼굴객체 추적방법은 먼저, 컴퓨터가 프레임 영상을 입력받는다(S1000).In the method of tracking a face object in an image according to an embodiment of the present invention, a computer receives a frame image (S1000).
여기서 상기 컴퓨터는 카메라와 같은 영상 획득장치로부터 프레임 영상을 직접 입력받을 수 있고, 카메라로부터 영상을 입력받아 저장하고 있는 별도의 영상처리장치로부터 상기 프레임 영상을 입력받을 수도 있다.Here, the computer may receive a frame image directly from an image acquisition device such as a camera, and may receive the frame image from a separate image processing device that receives and stores the image from the camera.
다음, 입력받은 프레임 영상의 전처리를 수행한다.Next, the preprocessing of the received frame image is performed.
또한, 상기 전처리란 계산량을 줄이기 위한 영상의 크기 축소, 조도 개선 등을 과정을 수행하는 것을 의미한다.In addition, the pre-processing means performing the process of reducing the image size and improving the illumination to reduce the calculation amount.
다음, 입력된 영상 내에서 얼굴객체를 검출한다(S2000).Next, the face object is detected in the input image (S2000).
또한, 상기 얼굴객체는 현재 프레임 영상의 얼굴객체이므로 '현재 얼굴객체'로 정의한다.Also, since the face object is a face object of the current frame image, it is defined as a 'current face object'.
또한, 얼굴객체의 검출방법은 종래의 다양한 얼굴객체 검출방법을 사용할 수 있으며, 본 발명에서는 현존하는 얼굴검출 기술 중, 가장 속도가 빠르고 신뢰할 수 있는 방법인 Adaboost(Adaptive Boosting) 얼굴 검출 방법을 이용하였다.The method of detecting a face object can use various conventional face object detection methods. In the present invention, Adaboost (Adaptive Boosting) face detection method, which is the fastest and reliable method among existing face detection techniques, is used .
다음, 상기 현재 얼굴객체의 영상좌표와 영역을 검출하여 상기 현재 얼굴객체의 정보로 저장하며, 상기 현재 얼굴객체의 정보는 아래의 수학식1과 같이 구성된다.Next, the image coordinates and the area of the current face object are detected and stored as the information of the current face object, and the information of the current face object is expressed by Equation (1) below.
[수학식1][Equation 1]
여기서, xi는 상기 현재 얼굴객체, x 및 y는 얼굴 영역을 이루는 픽셀들의 좌표, w는 얼굴영역의 높이, h는 얼굴영역의 폭을 의미한다.Here, x i is the current face object, x and y are the coordinates of the pixels constituting the face region, w is the height of the face region, and h is the width of the face region.
또한, 상기 얼굴객체의 좌표는 얼굴 영역의 중심좌표일 수 있고, 얼굴 영역 전체의 평균좌표일 수 있으며, 얼굴 영역 전체의 좌표 집합일 수도 있다.The coordinates of the face object may be a center coordinate of the face region, an average coordinate of the entire face region, or a coordinate set of the entire face region.
도 2를 참조하면, 현재 프레임 영상(10)에서 현재 얼굴 객체(100)를 보여주는 것으로 상기 현재 얼굴 객체(100)는 픽셀의 좌표, 높이(w) 및 폭(h) 정보를 포함한다.Referring to FIG. 2, the
다음, 이전 프레임 영상 내에서 검출된 얼굴객체(이하 '이전 얼굴객체'라 함)들 중, 상기 현재 얼굴객체와 동일성 범위 내에 있는 이전 얼굴객체가 존재하는지 판단한다(S3000).Next, in step S3000, it is determined whether there is a previous face object within the same extent as the current face object, among the detected face objects (hereinafter, referred to as 'previous face objects') in the previous frame image.
여기서 동일성 범위의 판단기준은 상기 현재 얼굴객체와 상기 이전 얼굴객체의 위치이다.Here, the criterion of the identity range is the position of the current face object and the previous face object.
더욱 상세하게는 도 3에 도시한 바와 같이 제1 현재 얼굴객체(100)의 영역 중심 좌표와 이전 얼굴객체(100t-1)의 영역 중심 좌표의 거리(a)가 일정한 임계 거리 이내일 때 상기 제1 현재 얼굴객체(100)와 상기 이전 얼굴객체(100t-1)를 동일한 얼굴 객체로 판단하여 상기 제1 현재 얼굴객체(100)를 추적 중인 얼굴객체로 판단한다.3, when the distance a between the area center coordinate of the first
또한, 본 발명에서는 아래의 수학식2를 이용하여 정규화된 거리값을 계산하게 되는데, 여기서 정규화된 거리 '0.7'을 상기 임계 거리로 설정하였다.Further, in the present invention, a normalized distance value is calculated using the following Equation 2, where the normalized distance '0.7' is set as the critical distance.
즉, 상기 제1 현재 얼굴객체(100)와 상기 이전 얼굴객체(100t-1) 간의 정규화된 거리가 '0.7'미만일 경우 두 객체의 거리가 임계거리 내에 위치하는 것으로 판단하였다.That is, when the normalized distance between the first
[수학식2]&Quot; (2) "
여기서, d는 임계거리 cxi는 현재 영상객체의 영역 중심 좌표, cyi는 이전 영상객체의 영역 중심 좌표, wxi는 현재 영상객체의 폭, wyi는 이전 영상객체의 폭이다.Here, d is the critical distance c xi is the area center coordinates of the current image object, c yi are the coordinates of the center of the region prior to image the object, w xi is the current video object width, w yi is the width of the previous video object.
한편, 본 발명에서는 현재 영상객체의 얼굴영역과 이전 영상객체의 얼굴영역이 서로 중첩되는지의 여부는 고려하지 않는다.In the present invention, it is not considered whether or not the face region of the current image object overlaps with the face region of the previous image object.
예를 들어, 현재 프레임 영상에 상기 제1 현재 얼굴객체(100)보다 상기 이전 얼굴객체(100t-1)에 더 멀리 떨어져 있으나 서로 영역이 중첩되는 제2 현재 얼굴객체(100a)가 존재할 때, 종래의 영역 중첩의 방법으로 동일성을 판단할 경우, 상기 제2 현재 얼굴객체(100a)가 상기 이전 얼굴객체(100t-1)와 동일한 객체로 판단되는 문제점이 있다.For example, when there is a second
즉, 본 발명은 얼굴 객체의 영역 중첩이 아닌 영역의 중심 거리가 가까운 얼굴객체를 서로 동일한 객체로 간주하기 때문에 추적의 정확도를 향상시킬 수 있다.That is, the present invention can improve the accuracy of the tracking because the face objects that are close to the center distance of the area other than the area overlap of the face object are regarded as the same objects.
또한, 상기 이전 얼굴객체(100t-1)는 아래의 수학식3과 같이 얼굴객체의 좌표(x,y), 영역의 높이(h) 및 폭(w) 이외에 식별을 위한 아이디(id), 총 프레임 수(nd) 및 검출 프레임 수(n)을 더 포함한다.In addition to the coordinates (x, y) of the face object, the height h and the width w of the face object, the
[수학식3]&Quot; (3) "
또한, 상기 총 프레임 수(nd)는 얼굴객체가 최초 검출된 후 현재까지 입력된 프레임의 총 개수이고, 상기 검출 프레임 수(n)는 상기 총 프레임에서 상기 이전 얼굴객체(100t-1)와 동일한 얼굴객체가 검출된 프레임의 개수이다.The total number of frames (nd) is the total number of frames input to the present since the first detection of the face object, and the number of detected frames (n) is the number of the previous face objects (100 t-1 ) The number of frames in which the same face object is detected.
여기서, 상기 총 프레임 중, 상기 검출 프레임 이외에 프레임은 상기 이전 얼굴객체(100t-1)와 동일한 얼굴객체가 검출되지 않았으나 검출된 것으로 간주된 프레임으로서 아래에서 설명할 추적 빈도수 확률에 기반하여 판단된다.Here, among the total frames, a frame other than the detection frame is determined based on the tracking frequency probability, which will be described below, as a frame in which the same face object as the
다음, 상기 현재 얼굴객체가 추적중인 얼굴객체가 아닐 경우(동일성 범위내의 이전 얼굴객체가 존재하지 않을 경우) 추적리스트에 새롭게 추가한다(S4000).Next, when the current face object is not a face object being tracked (if there is no previous face object in the sameity range), it is newly added to the tracking list (S4000).
만약, 상기 현재 얼굴객체가 추적중인 얼굴객체일 경우 상기 추적리스트의 등록된 이전 얼굴객체(100t-1)의 좌표(x,y), 높이(h) 및 폭(w)을 상기 현재 얼굴객체의 좌표(x,y), 높이(h) 및 폭(w)으로 갱신하고, 상기 총 프레임 수(nd)와 상기 검출 프레임 수(n)를 '+1'카운팅하여 증가시킨다(S3100).(X, y), height (h), and width (w) of the registered previous face object (100 t-1 ) of the tracking list to the current face object (X, y), height (h), and width (w) of the detected frame number (n) and incrementing the total frame number nd and the detected frame number n by +1.
또한, 여기서 현재 추적된 이전 얼굴객체(100t-1)는 '추적 얼굴객체'로 정의하기로 한다.Here, the current tracked previous face object 100t-1 is defined as a 'tracked face object'.
다음, 추적 빈도수 확률을 계산한다(S3200).Next, the tracking frequency probability is calculated (S3200).
여기서 추적 빈도수 확률이란 영상 내에서 일시적으로 추적중인 얼굴객체가 사라질 경우(예를 들어 다른 사물 뒤로 숨는다든지 영상의 외부로 일시 이탈한 경우) 추적리스트에 그대로 유지하거나 추적빈도가 낮은 얼굴객체를 제거하기 위한 지표로서 아래의 수학식 4에 의해 계산된다.Here, the probability of tracking frequency is the probability that a face object that is being tracked temporarily disappears from the image (for example, when it is hidden behind another object or temporarily exited to the outside of the image), it remains in the tracking list or the face object with low tracking frequency is removed And is calculated by the following equation (4).
[수학식 4]&Quot; (4) "
즉, 상기 추적 빈도수 확률을 총 프레임에서 추적 중인 얼굴객체가 모두 검출되었을 때 '1'의 확률을 갖고, 얼굴객체가 존재하지 않으나 존재하는 것으로 간주되는 프레임이 증가할 경우 '0'에 가까워진다.That is, there is a probability of '1' when all the facial objects tracking the tracking frequency probability are detected in the total frame, and when the frames regarded as having no facial object are increased, it approaches '0'.
또한, 본 발명에서는 상기 총 프레임 수(nd)와 상기 검출 프레임 수(n)가 지속적으로 누적될 경우 상기 총 프레임 수(nd)가 변화에 대해 상기 추적 빈도수 확률이 민감하게 반응할 수 없으므로 10 프레임마다 30%의 값으로 축소되게 하여 상기 총 프레임 수(nd)의 증가에 따른 확률의 변화를 민감하게 하였다.Also, in the present invention, when the total number of frames (nd) and the number of detected frames (n) are continuously accumulated, the tracking frequency probability can not be sensitive to the change in the total frame number (nd) To 30% of the total number of frames (nd) to sensitize the change of the probability with the increase of the total frame number (nd).
다음, 상기 추적 리스트의 얼굴객체들 중, 상기 추적 빈도수 확률이 임계 확률 이하인 얼굴객체를 삭제한다(S5000).Next, among the face objects in the tracking list, the face object whose tracking frequency probability is equal to or less than the threshold probability is deleted (S5000).
이는 추적 빈도가 낮아 추적하지 않아도 되는 얼굴객체를 제거하기 위한 과정으로 본 발명에서는 추적 빈도수 확률이 임계 확률 '0.5'이하인 얼굴객체를 모두 삭제하였다.This is a process for removing a face object which is not required to be tracked due to a low tracking frequency. In the present invention, all face objects whose tracking frequency probability is equal to or less than a threshold probability of 0.5 are deleted.
다음, 상기 추적리스트에 동일한 적어도 두 개의 얼굴객체가 존재할 경우 어느 하나의 얼굴객체를 삭제한다(S6000).Next, if there are at least two face objects identical to the trace list, any one of the face objects is deleted (S6000).
또한, 상기 추적리스트에 동일한 얼굴객체들이 존재하는 현상은 추적리스트에서 제거되기 전에 다른 얼굴객체가 접근하여 동일한 객체에 동시에 추적이 진행될 때 주로 발생하며, 이는 추적의 정확도를 낮게 하고, 계산량을 증가시키는 원인이 된다.In addition, the phenomenon that the same face objects exist in the tracking list occurs mainly when the other face objects are approached and tracked simultaneously to the same object before the tracking object is removed from the tracking list. This reduces the accuracy of tracking and increases the amount of calculation It causes.
따라서, 어느 두 개의 얼굴 객체가 서로 정규화 거리(d) '0.1'이하인 위치에 존재할 경우, 상기 검출 프레임 수(n)가 더 낮은 얼굴객체를 제거하여 추적의 정확도를 향상시킨다.Accordingly, when two face objects exist at a position where the normalized distance d is equal to or less than '0.1', the face object having the lower detection frame number n is removed to improve the tracking accuracy.
다음, 상기 추적리스트의 모든 얼굴객체에 대해 Good 또는 Bad 플래그를 부여한다(S7000).Next, Good or Bad flag is given to all the face objects of the trace list (S7000).
또한, 상기 Good 플래그는 상기 검출 프레임 수(n)가 일정한 수 이상이고, 상기 추적 빈도수 확률이 일정한 확률 이상인 얼굴객체에 대해 부여되며, 상기 Bad 플래그는 상기 Good 플래그가 부여되지 않은 얼굴객체에 대해 부여된다.Further, the Good flag is given to a face object whose number of detection frames (n) is equal to or greater than a predetermined number and whose probability of tracing frequency is equal to or higher than a certain probability, and the Bad flag is assigned to a face object do.
이는 검출의 정확도가 높은 얼굴 객체와 그렇지 않은 객체를 구분하기 위한 지표로 사용되며 순간적으로 잘못 등록된 얼굴객체를 선별할 수 있게 한다.This is used as an index to distinguish between a face object having a high detection accuracy and an object having a high detection accuracy, and can instantaneously select a face object that is registered incorrectly.
다음, 다음 프레임의 영상이 입력되면, 리턴하고 입력되지 않으면 종료한다(S8000).
Next, if the next frame of video is input, it returns. If not, the process ends (S8000).
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, Various changes and modifications will be possible.
10:현재 프레임 영상 100:현재 얼굴객체
100t-1:이전 얼굴객체10: current frame image 100: current face object
100 t-1 : previous face object
Claims (9)
컴퓨터가 현재 프레임 영상을 입력받는 단계;
입력된 영상 내에서 얼굴객체(이하 '현재 얼굴객체'라 함)를 검출하는 단계;
상기 현재 얼굴객체의 영상좌표와 영역을 추출하는 단계; 및
이전 프레임 영상에서 검출된 얼굴객체(이하 '이전 얼굴객체'라 함)들 중, 상기 현재 얼굴객체와 일정한 거리 내에 위치하는 얼굴객체(이하 '추적 얼굴객체'라 함)가 존재하는지 판단하는 단계;
상기 이전 얼굴객체들 중, 상기 추적 얼굴객체가 존재할 경우 상기 추적 얼굴객체의 영상좌표와 영역을 상기 현재 얼굴객체의 영상좌표와 영역으로 갱신하고, 존재하지 않을 경우 상기 현재 얼굴객체를 새로운 얼굴객체로 간주하여 추적리스트에 추가하는 단계;를 포함하고,
상기 추적 얼굴객체가 존재하는지 판단하는 단계 이후에,
상기 추적 얼굴객체가 존재할 경우, 상기 추적 얼굴객체의 추적 빈도수 확률을 계산하는 단계를 더 포함하는 것을 특징으로 하는 영상 내 얼굴객체 추적방법.
There is provided a method of tracking a face object in an image in which a computer receives a frame image sequentially from a camera and detects a face object in the input image and determines whether the detected face object is the same object as the face object in the previous frame image ,
The computer receiving the current frame image;
Detecting a face object (hereinafter referred to as 'current face object') in the input image;
Extracting image coordinates and an area of the current face object; And
Determining whether a face object (hereinafter, referred to as a 'tracking face object') located within a predetermined distance from the current face object among the face objects detected in the previous frame image (hereinafter referred to as 'previous face objects') exists;
Updating the image coordinates and the area of the tracked face object to the image coordinates and the area of the current face object when the tracked face object exists among the previous face objects and updating the current face object to a new face object And adding it to the tracking list,
After determining whether the tracked face object exists,
Further comprising calculating a tracking frequency probability of the tracked face object if the tracked face object exists.
상기 이전 얼굴객체는 얼굴객체의 아이디, 영상좌표, 영역, 입력된 영상들의 총 프레임 수, 상기 이전 얼굴객체가 검출된 검출 프레임 수의 정보로 이루어지는 것을 특징으로 하는 영상 내 얼굴객체 추적방법.
The method according to claim 1,
Wherein the previous face object comprises information of the ID of the face object, the image coordinates, the area, the total number of frames of the input images, and the number of detected frames in which the previous face object is detected.
상기 추적 얼굴객체가 존재하는지 판단하는 단계에서,
상기 추적 얼굴객체는 상기 이전 얼굴객체들 중, 영역의 중심좌표가 상기 현재 얼굴객체의 영역의 중심좌표로부터 서로 일정한 거리 내에 위치하는 얼굴객체인 것을 특징으로 하는 영상 내 얼굴객체 추적방법.
3. The method of claim 2,
In the step of determining whether the tracked face object exists,
Wherein the tracking face object is a face object whose center coordinates of the previous face objects are located within a certain distance from each other from the center coordinates of the area of the current face object.
상기 추적 빈도수 확률은 아래의 수학식 1에 의해 계산되는 것을 특징으로 하는 영상 내 얼굴객체 추적방법.
[수학식]
여기서, yi는 추적 얼굴객체, nd는 총 프레임 수, n은 검출 프레임 수이다.
The method according to claim 1,
Wherein the tracking frequency probability is calculated by the following equation (1).
[Mathematical Expression]
Here, y i is the tracked face object, nd is the total number of frames, and n is the number of detected frames.
상기 추적 빈도수 확률을 계산하는 단계 이후에,
상기 추적리스트의 얼굴객체들 중, 추적 빈도수 확률이 임계확률 이하인 얼굴객체들을 상기 추적리스트에서 삭제하는 단계를 더 포함하는 것을 특징으로 하는 영상 내 얼굴객체 추적방법.
6. The method of claim 5,
After calculating the tracking frequency probability,
Further comprising the step of deleting, from the tracking list, the face objects whose tracking frequency probability is lower than a threshold probability among the face objects of the tracking list.
상기 추적리스트에서 삭제하는 단계 이후에,
상기 추적리스트에 동일한 얼굴객체가 존재할 경우 어느 하나의 얼굴객체를 상기 추적리스트에서 삭제하는 단계를 더 포함하는 것을 특징으로 하는 영상 내 얼굴객체 추적방법.
The method according to claim 6,
After the step of deleting from the trace list,
And deleting any one of the face objects from the tracking list when the same face object exists in the tracking list.
상기 이전 얼굴객체는 얼굴객체의 아이디, 영상좌표, 영역, 입력된 영상들의 총 프레임 수, 상기 이전 얼굴객체가 검출된 검출 프레임 수의 정보로 이루어지고,
상기 아이디 정보가 동일한 얼굴객체들 중 총 프레임 수 정보가 더 낮은 얼굴객체가 상기 추적리스트에서 삭제되는 것을 특징으로 하는 영상 내 얼굴객체 추적방법.
8. The method of claim 7,
Wherein the previous face object comprises information on the ID of the face object, the image coordinates, the area, the total number of frames of the input images, and the number of detected frames in which the previous face object is detected,
Wherein a face object having a lower total frame number information among the face objects having the same ID information is deleted from the tracking list.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130146913A KR101524516B1 (en) | 2013-11-29 | 2013-11-29 | Frequency based Face location tracking |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130146913A KR101524516B1 (en) | 2013-11-29 | 2013-11-29 | Frequency based Face location tracking |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101524516B1 true KR101524516B1 (en) | 2015-06-02 |
Family
ID=53490863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130146913A KR101524516B1 (en) | 2013-11-29 | 2013-11-29 | Frequency based Face location tracking |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101524516B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101860562B1 (en) | 2015-09-11 | 2018-05-23 | 한국전자통신연구원 | Device and method for recognizing main user |
| KR20200046152A (en) * | 2018-10-16 | 2020-05-07 | 서울시립대학교 산학협력단 | Face recognition method and face recognition apparatus |
| KR102717607B1 (en) * | 2020-03-20 | 2024-10-16 | 한국전자통신연구원 | Method for abnormal behavior detection based on cctv images, and apparatus for the same |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006025185A1 (en) * | 2004-08-31 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | Monitoring recorder and its method |
| KR20100007535A (en) * | 2008-07-14 | 2010-01-22 | 한국산업기술대학교산학협력단 | Method for tracking moving objects using characteristics of moving objects in image camera system |
| KR20100105591A (en) * | 2007-11-16 | 2010-09-29 | 시리얼 테크놀로지즈 에스.에이. | Method and device for finding and tracking pairs of eyes |
| KR20130095095A (en) * | 2012-02-17 | 2013-08-27 | 경북대학교 산학협력단 | Apparatus and method for object tracking |
-
2013
- 2013-11-29 KR KR1020130146913A patent/KR101524516B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006025185A1 (en) * | 2004-08-31 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | Monitoring recorder and its method |
| KR20100105591A (en) * | 2007-11-16 | 2010-09-29 | 시리얼 테크놀로지즈 에스.에이. | Method and device for finding and tracking pairs of eyes |
| KR20100007535A (en) * | 2008-07-14 | 2010-01-22 | 한국산업기술대학교산학협력단 | Method for tracking moving objects using characteristics of moving objects in image camera system |
| KR20130095095A (en) * | 2012-02-17 | 2013-08-27 | 경북대학교 산학협력단 | Apparatus and method for object tracking |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101860562B1 (en) | 2015-09-11 | 2018-05-23 | 한국전자통신연구원 | Device and method for recognizing main user |
| KR20200046152A (en) * | 2018-10-16 | 2020-05-07 | 서울시립대학교 산학협력단 | Face recognition method and face recognition apparatus |
| KR102177453B1 (en) | 2018-10-16 | 2020-11-11 | 서울시립대학교 산학협력단 | Face recognition method and face recognition apparatus |
| KR102717607B1 (en) * | 2020-03-20 | 2024-10-16 | 한국전자통신연구원 | Method for abnormal behavior detection based on cctv images, and apparatus for the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427905B (en) | Pedestrian tracking method, device and terminal | |
| CN109325964B (en) | Face tracking method and device and terminal | |
| KR101557376B1 (en) | Method for Counting People and Apparatus Therefor | |
| CN111242977A (en) | Target tracking method of panoramic video, readable storage medium and computer equipment | |
| US9311533B2 (en) | Device and method for detecting the presence of a logo in a picture | |
| US10769454B2 (en) | Camera blockage detection for autonomous driving systems | |
| US20160140399A1 (en) | Object detection apparatus and method therefor, and image recognition apparatus and method therefor | |
| US9953240B2 (en) | Image processing system, image processing method, and recording medium for detecting a static object | |
| CN109727275B (en) | Object detection method, device, system and computer readable storage medium | |
| US9152856B2 (en) | Pedestrian detection system and method | |
| US20210124928A1 (en) | Object tracking methods and apparatuses, electronic devices and storage media | |
| US9934576B2 (en) | Image processing system, image processing method, and recording medium | |
| CN109492576B (en) | Image recognition method and device and electronic equipment | |
| US20180047271A1 (en) | Fire detection method, fire detection apparatus and electronic equipment | |
| Tripathi et al. | A framework for abandoned object detection from video surveillance | |
| US8693740B1 (en) | System and method for face detection in digital images | |
| KR102022971B1 (en) | Method for object of image and apparatus for the same | |
| CN113420682A (en) | Target detection method and device in vehicle-road cooperation and road side equipment | |
| CN109145752B (en) | Method, apparatus, device and medium for evaluating object detection and tracking algorithms | |
| CN115049954A (en) | Target identification method, device, electronic equipment and medium | |
| US11250269B2 (en) | Recognition method and apparatus for false detection of an abandoned object and image processing device | |
| US20170091944A1 (en) | Position estimating device and position estimating method | |
| US20200211202A1 (en) | Fall detection method, fall detection apparatus and electronic device | |
| KR101524516B1 (en) | Frequency based Face location tracking | |
| CN112836682B (en) | Method, device, computer equipment and storage medium for identifying object in video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180427 Year of fee payment: 4 |