KR101899318B1 - Hierarchical face object search method and face recognition method using the same, hierarchical face object search system and face recognition system using the same - Google Patents

Hierarchical face object search method and face recognition method using the same, hierarchical face object search system and face recognition system using the same Download PDF

Info

Publication number
KR101899318B1
KR101899318B1 KR1020170052371A KR20170052371A KR101899318B1 KR 101899318 B1 KR101899318 B1 KR 101899318B1 KR 1020170052371 A KR1020170052371 A KR 1020170052371A KR 20170052371 A KR20170052371 A KR 20170052371A KR 101899318 B1 KR101899318 B1 KR 101899318B1
Authority
KR
South Korea
Prior art keywords
zoom level
ptz camera
image
face
detected
Prior art date
Application number
KR1020170052371A
Other languages
Korean (ko)
Inventor
성원모
이창용
고일주
Original Assignee
주식회사 이엠따블유
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이엠따블유 filed Critical 주식회사 이엠따블유
Priority to KR1020170052371A priority Critical patent/KR101899318B1/en
Application granted granted Critical
Publication of KR101899318B1 publication Critical patent/KR101899318B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G06K9/00234—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23216—
    • H04N5/23296—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

A hierarchical face object search method is disclosed. The hierarchical face object search method includes the steps of: a) dividing a wide angle image acquired through a wide angle camera into one or more divided regions based on a zoom level of a PTZ camera; b) detecting an object in the divided region; c) searching for the object by the PTZ camera using the zoom level in which the object is detected and obtaining an object image about the object; and d) performing a face search using the object image. Accordingly, the present invention can improve an object search speed.

Description

계층적 얼굴객체 탐색 방법과 이를 이용한 얼굴 인식 방법 및 계층적 얼굴객체 탐색 시스템과 이를 이용한 얼굴 인식 시스템{HIERARCHICAL FACE OBJECT SEARCH METHOD AND FACE RECOGNITION METHOD USING THE SAME, HIERARCHICAL FACE OBJECT SEARCH SYSTEM AND FACE RECOGNITION SYSTEM USING THE SAME}HIERARCHICAL FACE OBJECT SEARCH METHOD AND FACE RECOGNITION METHOD USING THE SAME, HIERARCHICAL FACE OBJECT SEARCH SYSTEM AND FACE RECOGNITION SYSTEM USING THE SAME SAME}

본 발명은 계층적 얼굴객체 탐색과 이를 이용한 얼굴 인식에 관한 것으로서, 보다 상세하게는 광각 카메라와 PTZ 카메라를 사용하여 객체를 계속 추적함과 동시에 PTZ 카메라로 거리상 멀리 있는 객체까지 추적하여 모든 객체를 같은 크기의 객체영상으로 확인할 수 있고, 객체영상을 이용하여 얼굴을 인식할 수 있는 방법 및 시스템에 관한 것이다. The present invention relates to a hierarchical face object search and a face recognition using the same, and more particularly, to a method for continuously tracking an object using a wide-angle camera and a PTZ camera, Dimensional object image, and a method and system for recognizing a face using an object image.

현재까지 객체를 검출하고 추적하는 다양한 방법들이 연구되어 왔으며, 비디오 감시, 교통사고 예방, 범죄 예방 등과 같은 통상적인 보안이나 모니터링 등 다양한 분야에 응용되기 위한 연구가 이루어지고 있는 실정이다. 이 중에서도 보안을 위한 비디오 감시의 경우에는 감시의 대상이 되는 공간이 넓은 경우가 많고 카메라 시각의 한계 때문에 전체 공간을 감시하기 위해 다중 카메라를 사용하고 있다. Various methods for detecting and tracking objects have been studied so far, and researches have been conducted to apply them to various fields such as video surveillance, traffic accident prevention, crime prevention, and other conventional security and monitoring. Among these, video surveillance for security is often used as a surveillance target, and multiple cameras are used to monitor the entire space due to limitations of the camera viewpoint.

보통의 경우 보안 요원에 의해 비디오 감시가 이루어지는데, 보안 요원들은 장시간에 걸쳐 많은 스크린을 동시에 감시하기 때문에 객체를 모두 놓치지 않고 추적하는데 어려움이 있다는 문제점이 있다. 이런 경우 팬틸트줌(pan-tiltzoom: PTZ) 카메라를 사용하여 객체를 추적하는 방법이 있는데, PTZ 카메라는 팬, 틸트 줌 기능을 이용하여 원거리 시야를 확보하고 객체를 고해상도로 확대할 수 있는 기능을 제공하기 때문에 감시 대상 공간에 있는 모든 객체를 검출하고 추적하는데 새로운 기회를 제공할 수 있다. In general, video surveillance is performed by security personnel. Security personnel monitor many screens simultaneously over a long period of time, which makes it difficult to track all the objects without missing them. In such a case, there is a method of tracking an object using a pan-tiltzoom (PTZ) camera. The PTZ camera uses a pan and tilt zoom function to secure a distance view and magnify the object at a high resolution , Which can provide new opportunities to detect and track all objects in the monitored space.

객체를 검출하는 기술에 대한 접근은 크게 두 가지로 나눌 수 있고, 움직이는 객체 검출과 객체의 형상을 기반으로 검출하는 것이 있다.There are two main approaches to object detection: moving object detection and object shape detection.

움직이는 객체를 검출하는 기술은 형상에 관계없이 움직이는 객체를 검출하고, 많은 영상 처리 시간이나 고성능의 컴퓨터를 요구하지 않는다. 형상을 기반으로 객체를 검출하는 기술은 공간 정보를 사용하기 때문에 움직임과 조명 변화에 민감하고, 많은 영상 처리시간을 요구한다. 실시간 영상에서 움직임이 있는 객체를 인식하거나 검출하기 위한 방법은 차영상을 이용한 방법, 블록정합기법 등이 주로 사용된다. A moving object detection technique detects moving objects regardless of the shape, and does not require a lot of image processing time or a high performance computer. The technique of detecting an object based on a shape is sensitive to motion and illumination changes because it uses spatial information and requires a lot of image processing time. A method for recognizing or detecting a moving object in a real-time image is a method using a difference image, a block matching method, and the like.

고성능의 컴퓨터, 카메라와 자동 비디오 감시 시스템에 대한 필요성으로 인해 객체 추적 알고리즘에 관심이 많아지고 있으며, 객체 추적 알고리즘에는 움직이는 객체를 검출하는 단계와 각 프레임마다 해당 객체 추적하는 단계와 같은 주요 단계가 있다. 이런 단계를 거치는 객체 추적 알고리즘은 객체를 자동으로 탐지하면서 의심스러운 활동이나 비정상적인 이벤트를 탐지하기 위한 모니터링과 같은 작업과 관련이 있다. Due to the need for high performance computers, cameras, and automatic video surveillance systems, object tracking algorithms are becoming more and more popular, and the object tracking algorithm has major steps such as detecting moving objects and tracking each object in each frame . The object tracking algorithm that goes through these stages is associated with tasks such as automatic monitoring of objects and monitoring to detect suspicious activity or abnormal events.

한 대의 광각 카메라를 사용하여 객체를 검출하고 추적하는 방법은 저해상도 광각 카메라를 사용하면 거리상 멀리 있는 사람을 검출하는 작업에 어려움이 있고, 고해상도 광각 카메라를 사용하면 멀리 있는 사람을 검출하고 추적하는 것이 가능하지만 해상도가 높아짐에 따라 함께 증가하는 이미지 파일의 크기 때문에 처리 속도가 늦어질 뿐만 아니라 저장되는 객체 이미지의 크기 또한 커지므로 효율적이지 못하다. A method of detecting and tracking an object using a single wide-angle camera is difficult to detect a distant person using a low-resolution wide-angle camera, and it is possible to detect and track a person who is distant by using a high-resolution wide- However, as the resolution increases, the processing speed is slowed due to the size of the image file which increases together, and the size of the object image to be stored is also large, which is not efficient.

반대로 PTZ 카메라 한 대를 사용하여 객체를 추적하면 하나의 움직이는 객체를 추적하고 다음 움직이는 객체를 추적할 때 다음 추적할 객체의 위치로 이동했을 때 객체가 해당 위치에 없을 수 있다. Conversely, if you track an object using a single PTZ camera, when tracking a single moving object and tracking the next moving object, the object may not be in that position when you move to the location of the next tracked object.

따라서, 광각 카메라와 PTZ 카메라를 함께 사용하여 사람을 추적해 이미지를 저장하면 고해상도의 광각 카메라에서 추출한 이미지 파일보다 크기가 작은 이미지를 획득할 수 있고, 광각 카메라의 원거리 영상에서 얻는 객체의 정보에 따라 PTZ 카메라가 탐색하여 객체를 놓치지 않을 수 있다.Therefore, it is possible to acquire an image smaller than the image file extracted from the high-resolution wide-angle camera by storing the image by tracking the person using the wide-angle camera and the PTZ camera together. According to the information of the object obtained from the wide- The PTZ camera can search and not miss an object.

본 발명이 해결하고자 하는 기술적 과제는, 광각 카메라로 객체를 검출하는 동시에 PTZ 카메라가 검출된 각 객체의 위치로 이동하여 모든 객체들을 비슷한 크기로 확인할 수 있는 계층적 얼굴객체 탐색 방법 및 시스템을 제공하는 것이다. SUMMARY OF THE INVENTION It is an object of the present invention to provide a hierarchical face object searching method and system capable of detecting an object with a wide angle camera while simultaneously moving to a position of each object detected by the PTZ camera, will be.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 계층적 얼굴객체 탐색 방법을 이용한 얼굴 인식 방법 및 얼굴 인식 시스템을 제공하는 것이다. Another object of the present invention is to provide a face recognition method and a face recognition system using a hierarchical face object search method.

상기한 본 발명의 목적을 실현하기 위한 본 발명의 실시예에 따른 계층적 얼굴객체 탐색 방법은 a) 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 단계; b) 상기 분할 영역 내에 존재하는 객체를 검출하는 단계; c) 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 단계; 및 d) 상기 객체영상을 이용하여 얼굴탐색을 수행하는 단계를 포함할 수 있다. According to another aspect of the present invention, there is provided a method of searching for a hierarchical face object, the method comprising the steps of: (a) extracting a wide-angle image acquired through a wide-angle camera from at least one segmentation based on a zoom level of the PTZ camera; Dividing into regions; b) detecting an object in the partition; c) searching the object by the PTZ camera using the zoom level detected by the object and obtaining an object image of the object; And d) performing a face search using the object image.

여기에서, '객체'는 움직이는 모든 대상을 의미할 수 있으며, 사람을 포함할 수 있다. 일 예로 광각 카메라는 광역 IP CCTV 등을 포함할 수 있으나 영상을 촬영할 수 있는 카메라라면 광각 카메라의 종류가 제한되는 것은 아니다. Here, 'object' can mean all moving objects and can include people. For example, a wide-angle camera may include a wide-area IP CCTV, but the type of the wide-angle camera is not limited to a camera capable of capturing an image.

하나의 실시예로 상기 줌레벨은 상기 PTZ 카메라의 최대 줌레벨에서 획득되는 영상에 나타난 특정 객체의 크기에 기초하여 조절될 수 있다. In one embodiment, the zoom level may be adjusted based on the size of a particular object displayed in an image obtained at a maximum zoom level of the PTZ camera.

하나의 실시예로 상기 b) 단계는 일정 수준 이상의 움직임이 감지되는 영역을 레이블링하여 객체로 설정하는 단계를 포함할 수 있다. In one embodiment, the step b) may include labeling an area where a motion of a predetermined level or more is detected and setting the object as an object.

하나의 실시예로 상기 c) 단계는 상기 객체의 위치정보를 이용하여 상기 객체가 검출된 줌레벨 및 프리셋 정보를 획득하는 단계; 및 상기 객체가 검출된 줌레벨 및 상기 프리셋 정보를 이용하여 상기 객체영상을 획득하는 단계를 포함할 수 있다. In one embodiment, the step c) includes: obtaining the zoom level and the preset information at which the object is detected using the position information of the object; And obtaining the object image using the zoom level at which the object is detected and the preset information.

하나의 실시예로 상기 프리셋 정보는 상기 줌레벨에 따른 분할 영역의 위치 정보, 상기 PTZ 카메라의 줌레벨 및 상기 PTZ 카메라의 위치 정보를 포함할 수 있다. In one embodiment, the preset information may include position information of a divided region according to the zoom level, a zoom level of the PTZ camera, and position information of the PTZ camera.

하나의 실시예로 상기 객체가 복수개인 경우, 상기 c) 단계는 상기 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일한 경우에는 상기 PTZ 카메라의 줌레벨과 동일한 줌레벨을 가지는 분할 영역 중 상기 PTZ 카메라의 위치와 근접한 분할 영역부터 상기 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득하는 단계를 포함할 수 있다. 다른 하나의 실시예로 상기 c) 단계는 상기 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일하지 않은 경우에는 상기 PTZ 카메라의 줌레벨과 다른 줌레벨을 가지는 분할 영역 중 상기 PTZ 카메라의 위치와 근접한 분할 영역부터 상기 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득하는 단계를 포함할 수 있다. If the zoom level of the PTZ camera is equal to the zoom level detected by the object, the step c) may include a step of, when the zoom level of the PTZ camera is the same as the zoom level of the PTZ camera, And obtaining the object image of the object by searching the object by the PTZ camera from a divided area close to the position of the PTZ camera. If the zoom level of the PTZ camera is not the same as the zoom level detected by the object, the step (c) may further include the step of, if the zoom level of the PTZ camera is not equal to the zoom level of the PTZ camera, And obtaining the object image of the object by searching the object by the PTZ camera from the divided region close to the object.

하나의 실시예로 탐색된 얼굴영상 부분만 저장할 수 있다. It is possible to store only the detected face image part in one embodiment.

본 발명의 실시예에 따른 계층적 얼굴객체 탐색 방법은 상기 분할 영역 내에서 객체가 검출되지 않는 경우에는, 상기 PTZ 카메라를 최대 줌 아웃 상태가 되도록 하는 단계를 더 포함할 수 있다. The method of searching a hierarchical face object according to an embodiment of the present invention may further include a step of causing the PTZ camera to be in a maximum zoom-out state when an object is not detected in the divided area.

본 발명의 실시예에 따른 계층적 얼굴객체 인식 방법은 a) 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 단계; b) 상기 분할 영역 내에 존재하는 객체를 검출하는 단계; c) 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 단계; d) 상기 객체영상을 이용하여 얼굴탐색을 수행하는 단계; 및 e) 탐색된 얼굴영상을 이용하여 얼굴인식을 수행하는 단계를 포함할 수 있다. According to an embodiment of the present invention, there is provided a hierarchical face object recognition method comprising: a) dividing a wide-angle image acquired through a wide-angle camera into at least one divided region based on a zoom level of the PTZ camera; b) detecting an object in the partition; c) searching the object by the PTZ camera using the zoom level detected by the object and obtaining an object image of the object; d) performing a face search using the object image; And e) performing face recognition using the searched face image.

본 발명의 실시예에 따른 계층적 얼굴객체 탐색 시스템은 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 분할 영역부; 상기 분할 영역 내에 존재하는 객체를 검출하는 객체 검출부; 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 객체영상 획득부; 및 상기 객체영상을 이용하여 얼굴탐색을 수행하는 얼굴탐색부를 포함할 수 있다. A hierarchical face object searching system according to an exemplary embodiment of the present invention includes a division area unit that divides a wide angle image acquired through a wide angle camera into at least one divided area based on a zoom level of the PTZ camera; An object detecting unit detecting an object existing in the divided area; An object image acquiring unit for acquiring an object image of the object by the PTZ camera using the zoom level detected by the object; And a face searching unit for performing face searching using the object image.

하나의 실시예로 상기 줌레벨은 상기 PTZ 카메라의 최대 줌레벨에서 획득되는 영상에 나타난 특정 객체의 크기에 기초하여 조절될 수 있다. In one embodiment, the zoom level may be adjusted based on the size of a particular object displayed in an image obtained at a maximum zoom level of the PTZ camera.

하나의 실시예로 상기 객체 검출부는 일정 수준 이상의 움직임이 감지되는 영역을 레이블링하여 객체로 설정할 수 있다. In one embodiment, the object detection unit may label an area in which a motion of a predetermined level or more is detected and set the object as an object.

하나의 실시예로 상기 객체영상 획득부는 상기 객체의 위치정보를 이용하여 상기 객체가 검출된 줌레벨 및 프리셋 정보를 획득하고, 상기 객체가 검출된 줌레벨 및 상기 프리셋 정보를 이용하여 상기 객체영상을 획득할 수 있다. In one embodiment, the object image acquiring unit acquires the zoom level and the preset information at which the object is detected using the position information of the object, and displays the object image using the detected zoom level and the preset information Can be obtained.

하나의 실시예로 상기 프리셋 정보는 상기 줌레벨에 따른 분할 영역의 위치 정보, 상기 PTZ 카메라의 줌레벨 및 상기 PTZ 카메라의 위치 정보를 포함할 수 있다. In one embodiment, the preset information may include position information of a divided region according to the zoom level, a zoom level of the PTZ camera, and position information of the PTZ camera.

하나의 실시예로 상기 객체가 복수개인 경우, 상기 객체영상 획득부는 상기 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일한 경우에는 상기 PTZ 카메라의 줌레벨과 동일한 줌레벨을 가지는 분할 영역 중 상기 PTZ 카메라의 위치와 근접한 분할 영역부터 상기 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득할 수 있다. 다른 하나의 실시예로 상기 객체영상 획득부는 상기 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일하지 않은 경우에는 상기 PTZ 카메라의 줌레벨과 다른 줌레벨을 가지는 분할 영역 중 상기 PTZ 카메라의 위치와 근접한 분할 영역부터 상기 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득할 수 있다. In one embodiment, when there are a plurality of the objects, the object image acquiring unit may acquire the object level of the PTZ camera when the zoom level of the PTZ camera is equal to the zoom level detected by the object, The PTZ camera can search for the object from the divided region close to the position of the PTZ camera to acquire the object image for the object. In another embodiment, when the zoom level of the PTZ camera is not equal to the zoom level detected by the object, the object image acquiring unit may acquire the zoom level of the PTZ camera, The PTZ camera can search for the object and acquire an object image of the object from the divided region close to the position.

본 발명의 실시예에 따른 계층적 얼굴객체 인식 시스템은 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 분할 영역부; 상기 분할 영역 내에 존재하는 객체를 검출하는 객체 검출부; 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 객체영상 획득부; 상기 객체영상을 이용하여 얼굴탐색을 수행하는 얼굴탐색부; 및 탐색된 얼굴영상을 이용하여 얼굴인식을 수행하는 얼굴인식부를 포함할 수 있다. A hierarchical face object recognition system according to an exemplary embodiment of the present invention includes a division area unit for dividing a wide angle image acquired through a wide angle camera into at least one divided area based on a zoom level of the PTZ camera; An object detecting unit detecting an object existing in the divided area; An object image acquiring unit for acquiring an object image of the object by the PTZ camera using the zoom level detected by the object; A face searching unit for performing face searching using the object image; And a face recognition unit that performs face recognition using the searched face image.

본 발명은 광각 카메라로 객체를 검출하는 동시에 PTZ 카메라가 검출된 각 객체의 위치로 이동하여 객체를 탐색하기 때문에 객체 탐색 속도를 향상시킬 수 있다. The present invention can improve the object searching speed because the object is detected by the wide angle camera and the PTZ camera moves to the position of each detected object to search for the object.

본 발명은 PTZ 카메라의 줌레벨(zoom level)에 기초한 분할 영역에 기초하여 객체를 탐색하고, PTZ 카메라의 줌레벨과 같은 줌레벨에 위치한 객체를 탐색하는 경우에는 PTZ 카메라가 줌인, 줌아웃할 필요가 없으며, 팬, 틸트 기능만으로 객체를 탐색이 가능하므로 영상 블러 현상을 최소화시킬 수 있다. The present invention requires that the PTZ camera zoom in and zoom out when searching for an object based on a divided area based on the zoom level of the PTZ camera and searching for an object located at the same zoom level as the zoom level of the PTZ camera Since the object can be searched only by the pan and tilt function, the image blur phenomenon can be minimized.

본 발명은 PTZ 카메라의 줌레벨이 상이하더라도 객체의 크기가 서로 같은 객체영상 획득이 가능하다.The present invention can acquire an object image having the same object size even if the zoom level of the PTZ camera is different.

본 발명은 광각 카메라와 PTZ 카메라를 사용하여 객체를 계속 추적함과 동시에 PTZ 카메라로 거리상 멀리 있는 객체까지 추적하여 모든 객체를 같은 크기의 영상으로 확인할 수 있다. The present invention can continuously track an object using a wide-angle camera and a PTZ camera, and simultaneously track all the objects in a distance by using a PTZ camera.

도 1 및 도 2는 본 발명의 실시예에 따른 계층적 얼굴객체 탐색 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시예에 따른 PTZ 카메라의 줌레벨(zoom level)에 기초한 분할 영역을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 광각영상 및 객체영상을 설명하기 위한 사진이다.
도 5는 본 발명의 실시예에 따른 계층적 얼굴객체 인식 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 실시예에 따른 계층적 얼굴객체 탐색 시스템을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 계층적 얼굴객체 인식 시스템을 설명하기 위한 도면이다. FIG. 1 and FIG. 2 are flowcharts for explaining a hierarchical face object searching method according to an embodiment of the present invention.
3 is a diagram for explaining a divided area based on a zoom level of a PTZ camera according to an embodiment of the present invention.
4 is a photograph illustrating a wide-angle image and an object image according to an embodiment of the present invention.
5 is a flowchart illustrating a hierarchical face object recognition method according to an embodiment of the present invention.
6 is a diagram for explaining a hierarchical face object searching system according to an embodiment of the present invention.
7 is a diagram for explaining a hierarchical face object recognition system according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terms are used only for the purpose of distinguishing one component from another. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In the present application, the term "comprises" or "comprising ", etc. is intended to specify that there is a stated feature, figure, step, operation, component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1 및 도 2는 본 발명의 실시예에 따른 계층적 얼굴객체 탐색 방법을 설명하기 위한 순서도이고, 도 3은 본 발명의 실시예에 따른 PTZ 카메라의 줌레벨(zoom level)에 기초한 분할 영역을 설명하기 위한 도면이고, 도 4는 본 발명의 실시예에 따른 광각영상 및 객체영상을 설명하기 위한 사진이다. 1 and 2 are flowcharts for explaining a hierarchical face object searching method according to an embodiment of the present invention. FIG. 3 is a diagram illustrating a divided area based on a zoom level of a PTZ camera according to an embodiment of the present invention. FIG. 4 is a photograph for explaining a wide-angle image and an object image according to an embodiment of the present invention.

도 1 내지 도 4를 참조하면, 본 발명의 실시예에 따른 계층적 얼굴객체 탐색 방법은 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 단계(S100), 상기 분할 영역 내에 존재하는 객체를 검출하는 단계(S200), 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 단계(S300) 및 상기 객체영상을 이용하여 얼굴탐색을 수행하는 단계를 포함할 수 있다. 1 to 4, a hierarchical face object searching method according to an exemplary embodiment of the present invention divides a wide-angle image acquired through a wide-angle camera into one or more divided regions based on a zoom level of the PTZ camera (S200) of detecting an object existing in the divided area (S200); searching the object by the PTZ camera using the zoom level detected by the object and obtaining an object image of the object (S300) and performing a face search using the object image.

얼굴객체 탐색을 위하여, 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분한다(S100). In order to search for a face object, the wide angle image obtained through the wide angle camera is divided into one or more divided regions based on the zoom level of the PTZ camera (S100).

광각 영상에 대한 PTZ 카메라의 줌레벨은 PTZ 카메라의 최대 줌레벨에서 획득되는 영상에 나타난 특정 객체의 크기에 기초하여 조절될 수 있다. 일 예로 PTZ 카메라의 최대 줌레벨에서 나타나는 사람의 크기가 PTZ 카메라의 줌레벨에 따라 모두 비슷하게 나타날 수 있도록 설정될 수 있다. 광각 카메라를 통하여 나타나는 영상에서 나타나는 사람의 크기는 광각 카메라와의 거리가 멀어질수록 작아지지만 PTZ 카메라는 줌인 기능을 지원하기 때문에 사람이 PTZ 카메라와 거리가 먼 곳에 위치하더라도 가까운 곳에 있는 것과 같이 사람의 크기를 확대하는 것이 가능하다. 따라서, PTZ 카메라의 최대 줌레벨에서 나타나는 사람의 크기가 PTZ의 카메라의 줌레벨을 달리하더라도 같거나 비슷하게 나타날 수 있도록 PTZ 카메라의 줌레벨 조절이 가능하다. 따라서 PTZ 카메라의 줌레벨이 상이하더라도 객체의 크기가 서로 같은 객체영상 획득이 가능하다. The zoom level of the PTZ camera with respect to the wide-angle image can be adjusted based on the size of the specific object displayed on the image obtained at the maximum zoom level of the PTZ camera. For example, the size of a person appearing at the maximum zoom level of the PTZ camera may be set to be similar to the zoom level of the PTZ camera. Although the size of a person appearing through a wide-angle camera becomes smaller as the distance from the wide-angle camera becomes larger, the PTZ camera supports a zoom-in function, so even if a person is located at a distance from the PTZ camera, It is possible to enlarge the size. Therefore, it is possible to adjust the zoom level of the PTZ camera so that the size of the person appearing at the maximum zoom level of the PTZ camera may be the same or similar even if the zoom level of the PTZ camera is different. Therefore, even if the zoom level of the PTZ camera is different, it is possible to acquire the object image having the same size.

도 3을 참조하면, 분할 영역은 PTZ 카메라의 줌레벨(zoom level)에 따라 하나 이상의 분할 영역으로 구분될 수 있다. 일 예로 광각 카메라로부터 객체와의 거리가 각각 1, 5, 10, 15m 떨어진 경우, 거리 간격이 1m인 경우에는 광각 카메라를 통하여 획득되는 광각영상을 하나의 분할 영역(1x1)으로 구분하고, 거리 간격이 5m인 경우에는 광각 카메라를 통하여 획득되는 광각영상을 15개의 분할 영역(5x3)으로 구분하며, 거리 간격이 10m인 경우에는 광각 카메라를 통하여 획득되는 광각영상을 60개의 분할 영역(10x6)으로 구분하고, 거리 간격이 15m인 경우에는 광각 카메라를 통하여 획득되는 광각영상을 240(20x12)개의 분할 영역으로 구분할 수 있다. 이와 같이 분할 영역을 구분하는 것은 PTZ 카메라가 객체가 검출된 분할 영역으로 바로 이동하여 객체를 탐색함으로써 객체 탐색 속도를 획기적으로 향상시키기 위함이다. Referring to FIG. 3, the divided area may be divided into one or more divided areas according to the zoom level of the PTZ camera. For example, when the distance from the wide-angle camera is 1, 5, 10, 15 m, and the distance is 1 m, the wide-angle image obtained through the wide-angle camera is divided into one divided area (1x1) In the case of 5 m, the wide angle image obtained through the wide angle camera is divided into 15 divided areas (5 x 3). When the distance interval is 10 m, the wide angle image obtained through the wide angle camera is divided into 60 divided areas And if the distance is 15 m, the wide angle image obtained through the wide angle camera can be divided into 240 (20 x 12) divided areas. In order to distinguish the divided regions, the PTZ camera moves directly to the divided region where the object is detected to search for the object, thereby greatly improving the object searching speed.

광각 카메라로부터 출력되는 영상의 해상도는 PTZ 카메라의 영상 해상도와 다를 수 있고, 광각 카메라로부터 전달받는 객체의 위치 정보를 PTZ 카메라에서 공유하기 위하여는 같은 해상도로 영상을 처리하는 것이 속도면에서 유리하기 때문에 광각 카메라와 PTZ 카메라의 해상도를 서로 동일하게 맞추는 것이 바람직하다. The resolution of the image output from the wide-angle camera may be different from the resolution of the PTZ camera, and in order to share the position information of the object received from the wide-angle camera in the PTZ camera, It is preferable to set the resolutions of the wide-angle camera and the PTZ camera equal to each other.

다음으로, 상기 분할 영역 내에 존재하는 객체를 검출한다(S200). 객체는 일정 수준 이상의 움직임이 감지되는 영역을 레이블링하여 객체로 설정함으로써 검출될 수 있다. 일 예로 광각 카메라를 통한 객체 검출은 배경 이미지를 이용한 차영상 알고리즘이 사용될 수 있다. Next, an object existing in the divided area is detected (S200). An object can be detected by labeling an area where a certain level of motion is detected and setting it as an object. For example, a differential image algorithm using a background image may be used for object detection through a wide-angle camera.

광각 카메라를 이용한 객체 검출은 객체가 없는 상태에서 배경을 등록하고, 배경이 등록된 다음부터 움직이는 객체가 등장하면 객체를 검출하고 해당 객체가 새로운 객체라면 레이블링된다. 레이블링된 객체는 광각 카메라 영상에서 추적이 진행되고 동시에 해당 객체의 위치 정보는 PTZ 카메라로 전달될 수 있다. 전달된 위치 정보에 따라 PTZ 카메라 해당 위치로 이동하여 객체를 탐색하게 되며 이에 대하여는 아래에서 상세히 설명하기로 한다. Object detection using a wide-angle camera registers the background in the absence of an object, detects an object if a moving object appears after the background is registered, and is labeled if the object is a new object. The labeled object is tracked in the wide angle camera image and the position information of the object can be transmitted to the PTZ camera at the same time. And moves to the corresponding position of the PTZ camera according to the transmitted position information to search for the object, which will be described in detail below.

다음으로, 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득한다(S300). Next, the PTZ camera searches for the object using the zoom level detected by the object, and acquires an object image for the object (S300).

일 예로 객체영상의 획득은 상기 객체의 위치정보를 이용하여 상기 객체가 검출된 줌레벨 및 프리셋 정보를 획득하는 단계(S320) 및 상기 객체가 검출된 줌레벨 및 상기 프리셋 정보를 이용하여 상기 객체영상을 획득하는 단계(S340)를 포함할 수 있다. For example, acquisition of an object image may include acquiring the zoom level and the preset information at which the object is detected using the position information of the object (S320), and acquiring the zoom level and the preset information using the zoom level and the preset information (Step S340).

프리셋 정보는 줌레벨에 따른 분할 영역의 위치 정보, PTZ 카메라의 줌레벨 및 PTZ 카메라의 위치 정보를 포함할 수 있다. 줌레벨에 따른 분할 영역의 위치 정보는 해당 분할 영역을 촬영하기 위한 PTZ 카메라의 줌레벨, 해당 분할 영역의 위치에 대한 정보를 포함할 수 있다. PTZ 카메라의 줌레벨은 현재 PTZ 카메라에 설정되어 있는 줌레벨을 포함할 수 있다. PTZ 카메라의 위치 정보는 PTZ 카메라의 렌즈가 향하는 방향에 대한 정보를 포함할 수 있다. The preset information may include position information of the divided area according to the zoom level, zoom level of the PTZ camera, and position information of the PTZ camera. The position information of the divided region according to the zoom level may include information about the zoom level of the PTZ camera for photographing the corresponding divided region and the position of the corresponding divided region. The zoom level of the PTZ camera may include the zoom level currently set in the PTZ camera. The position information of the PTZ camera may include information on the direction of the lens of the PTZ camera.

다른 일 예로 상기 객체가 복수개인 경우에는 복수 개의 객체를 탐색하는데 우선 순위를 두고 우선 순위에 따라 객체를 탐색할 수 있다. 이는 객체를 탐색하는 효율과 탐색 속도를 향상시키기 위함이다. In another example, when there are a plurality of objects, a plurality of objects may be searched for priorities and the objects may be searched according to the priorities. This is to improve the search efficiency and search speed of objects.

일 예로 PTZ 카메라의 줌레벨과 객체가 검출된 줌레벨이 동일한 경우에는 PTZ 카메라의 줌레벨과 동일한 줌레벨을 가지는 분할 영역 중 PTZ 카메라의 위치와 근접한 분할 영역부터 PTZ 카메라가 객체를 탐색하여 객체에 대한 객체영상을 획득할 수 있다. 즉, PTZ 카메라의 현재 줌레벨에서 바로 탐색할 수 있는 객체가 있는 경우에 PTZ 카메라의 위치와 가장 가까운 객체부터 탐색하여 PTZ 카메라의 줌인 또는 줌 아웃 없이 빠른 속도로 객체를 탐색하는 것이다. For example, if the zoom level of the PTZ camera is the same as the detected zoom level, the PTZ camera searches for the object from the divided area close to the PTZ camera position among the divided areas having the same zoom level as the zoom level of the PTZ camera, It is possible to acquire an object image for the object. That is, if there is an object that can be directly detected at the current zoom level of the PTZ camera, the object is searched from the closest object to the position of the PTZ camera, and the object is searched at high speed without zooming in or zooming out of the PTZ camera.

또 다른 일 예로 PTZ 카메라의 줌레벨과 객체가 검출된 줌레벨이 동일하지 않은 경우에는 PTZ 카메라의 줌레벨과 다른 줌레벨을 가지는 분할 영역 중 PTZ 카메라의 위치와 근접한 분할 영역부터 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득할 수 있다. 즉, PTZ 카메라의 현재 줌레벨에서 바로 탐색할 수 있는 객체가 없는 경우에 PTZ 카메라의 현재 줌레벨과 가장 가까운 줌레벨에 해당하는 분할 영역을 대상으로 하여 PTZ 카메라의 위치와 가장 가까운 객체부터 탐색함으로써 PTZ 카메라가 빠른 속도로 객체를 탐색하는 것이다. If the zoom level of the PTZ camera is not the same as the detected zoom level, the PTZ camera may detect the zoom level of the object, which is closer to the position of the PTZ camera than the zoom level of the PTZ camera, And obtain an object image of the object. That is, if there is no object that can directly search at the current zoom level of the PTZ camera, the object nearest to the position of the PTZ camera is searched for the divided area corresponding to the zoom level closest to the current zoom level of the PTZ camera The PTZ camera searches for objects at high speed.

다음으로, 상기 객체영상을 이용하여 얼굴탐색을 수행한다(S400). 일 예로 탐색된 얼굴영상 부분만 레이블링되어 있을 수 있고, 레이블링된 얼굴영상 부분만 저장될 수 있다. 이는 얼굴인식에 필요한 데이터만을 선별하여 저장하여 저장 용량의 낭비를 막고, 얼굴인식 속도를 향상시키기 위함이다. Next, face searching is performed using the object image (S400). For example, only the detected face image portion may be labeled, and only the labeled face image portion may be stored. This is to selectively save only the data required for face recognition to prevent waste of storage capacity and to improve the speed of face recognition.

도 4를 참조하면, 광각 카메라에서 두명의 움직이는 객체를 검출하고(좌측 사진) 검출한 객체의 위치 정보(거리 간격이 5m)를 이용하여 PTZ 카메라가 두 사람을 탐색하여 인식한 결과(우측 사진)를 확인할 수 있다. 두 사람은 같은 분할 영역 내에 있기 때문에 두 사람을 따로 탐색하지 않으며 PTZ 카메라는 2번 이동할 필요 없이 동시에 인식하여 사람의 얼굴영상 부분만 레이블링될 수 있다.4, when two moving objects are detected in the wide-angle camera (left image) and the PTZ camera searches for two persons using the position information of the detected object (distance interval is 5 m) . Since the two persons are in the same segment, they do not search the two persons separately, and the PTZ camera recognizes the PTZ camera at the same time without moving twice, and only the face image portion of the person can be labeled.

본 발명의 실시예에 따른 계층적 얼굴객체 탐색 방법은 상기 분할 영역 내에서 객체가 검출되지 않는 경우에는, PTZ 카메라를 최대 줌 아웃 상태가 되도록 하는 단계(S500)를 더 포함할 수 있다. 이는 PTZ 카메라가 줌 인 상태에서는 PTZ 카메라와 가까이에 움직이는 객체가 등장하면 PTZ 카메라가 객체를 탐색하기 전에 객체가 카메라를 지나치는 것을 방지하기 위함이다.The method of searching a hierarchical face object according to an embodiment of the present invention may further include a step S500 of causing the PTZ camera to be in the maximum zoom-out state when an object is not detected in the divided region. This is to prevent the PTZ camera from passing over the camera before the PTZ camera searches for the object when the PTZ camera moves closer to the PTZ camera in the zoom state.

도 5는 본 발명의 실시예에 따른 계층적 얼굴객체 인식 방법을 설명하기 위한 순서도이다. 5 is a flowchart illustrating a hierarchical face object recognition method according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 실시예에 따른 계층적 얼굴객체 인식 방법은 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 단계(S100), 상기 분할 영역 내에 존재하는 객체를 검출하는 단계(S200), 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 단계(S300), 상기 객체영상을 이용하여 얼굴탐색을 수행하는 단계(S400) 및 탐색된 얼굴영상을 이용하여 얼굴인식을 수행하는 단계(S600)를 포함할 수 있다. 5, a method for recognizing a hierarchical face object according to an exemplary embodiment of the present invention includes dividing a wide-angle image acquired through a wide-angle camera into at least one divided region based on a zoom level of the PTZ camera (S300) of searching for the object by the PTZ camera using the zoom level detected by the object and obtaining an object image of the object, , Performing a face search using the object image (S400), and performing face recognition using the searched face image (S600).

상기 S100 내지 S400 단계는 위에서 설명한 것과 동일하므로 자세한 설명은 생략하기로 한다. Since steps S100 to S400 are the same as those described above, a detailed description will be omitted.

얼굴탐색이 수행된 후에는, 탐색된 얼굴영상을 이용하여 얼굴인식을 수행한다(S600). 일 예로 일굴인식은 탐색된 얼굴영상과 미리 저장되어 있는 얼굴영상의 매칭 비율에 따라 탐색된 얼굴영상이 미리 저장되어 있는 얼굴 영상과의 일치 여부를 판단함으로써 이루어질 수 있다. 예를 들면, 탐색된 얼굴영상과 미리 저장되어 있는 얼굴영상을 서로 비교하여 매칭 비율이 80% 이상인 경우에 일치한다고 판단할 수 있고, 이러한 일치 여부에 대한 결과는 디스플레이 장치 등을 통하여 표시될 수 있다. 일치 여부를 판단하는 방법은 공지된 얼굴 인식 기술을 통하여 수행될 수 있으므로 자세한 설명은 생략하기로 한다. After the face search is performed, face recognition is performed using the searched face image (S600). For example, the recognition accuracy can be determined by matching the detected face image with the previously stored face image according to the matching ratio of the detected face image and the previously stored face image. For example, it is possible to compare the searched facial image with a previously stored facial image to determine that they match when the matching ratio is 80% or more, and the result of the matching can be displayed through a display device or the like . The method of determining coincidence may be performed through a known face recognition technology, and thus a detailed description thereof will be omitted.

일 예로 보안 장치에 본 발명의 실시예에 따른 계층적 얼굴객체 인식 방법이 적용되는 경우에는 특정인에 해당하는지 여부를 판단하고 해당되는 경우에만 출입이 가능하도록 적용될 수 있다. 다른 일 예로 보안 시설 내에 본 발명의 실시예에 따른 계층적 얼굴객체 인식 방법이 적용되는 경우에는 출입이 허가된 사람을 제외한 불특정인이 카메라(광각 카메라 또는 PTZ 카메라)로부터 멀리 떨어져 보안 시설 내를 돌아다니는 경우에 불특정인을 빠르게 인식하여 퇴장, 검문 등의 조치가 가능한 장점이 있다. For example, when the hierarchical face object recognition method according to the embodiment of the present invention is applied to the security device, it can be determined whether or not it corresponds to a specific person, and can be applied so as to be able to access only if it is applicable. For example, when a hierarchical face object recognition method according to an embodiment of the present invention is applied to a security facility, the user may move away from the unspecified camera (wide angle camera or PTZ camera) In the case of going out, it is possible to take measures such as exit, check, etc. by quickly recognizing an unspecified person.

도 6은 본 발명의 실시예에 따른 계층적 얼굴객체 탐색 시스템을 설명하기 위한 도면이고, 도 7은 본 발명의 실시예에 따른 계층적 얼굴객체 인식 시스템을 설명하기 위한 도면이다. FIG. 6 is a diagram for explaining a hierarchical face object search system according to an embodiment of the present invention, and FIG. 7 is a diagram for explaining a hierarchical face object recognition system according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 실시예에 따른 계층적 얼굴객체 탐색 시스템(1000)은 분할 영역부(100), 객체 검출부(200), 객체영상 획득부(300) 및 얼굴탐색부(400)를 포함할 수 있다. 6, a hierarchical face object search system 1000 according to an exemplary embodiment of the present invention includes a division region unit 100, an object detection unit 200, an object image acquisition unit 300, and a face search unit 400, . ≪ / RTI >

분할 영역부(100)는 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분할 수 있다. 일 예로 상기 줌레벨은 PTZ 카메라의 최대 줌레벨에서 획득되는 영상에 나타난 특정 객체의 크기에 기초하여 조절될 수 있다. The divided area unit 100 may divide the wide angle image acquired through the wide angle camera into one or more divided areas based on the zoom level of the PTZ camera. For example, the zoom level can be adjusted based on the size of a specific object displayed on the image obtained at the maximum zoom level of the PTZ camera.

일 예로 광각 카메라는 PTZ 카메라 위에 위치하도록 구성될 수 있다. For example, the wide angle camera may be configured to be positioned above the PTZ camera.

객체 검출부(200)는 상기 분할 영역 내에 존재하는 객체를 검출할 수 있다. 일 예로 객체 검출부(200)는 일정 수준 이상의 움직임이 감지되는 영역을 레이블링하여 객체로 설정함으로써 객체를 검출할 수 있다. The object detecting unit 200 can detect an object existing in the divided area. For example, the object detection unit 200 can detect an object by labeling an area where a motion of a predetermined level or higher is detected and setting the object as an object.

객체영상 획득부(300)는 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득할 수 있다. 일 예로 객체영상 획득부(300)는 상기 객체의 위치정보를 이용하여 상기 객체가 검출된 줌레벨 및 프리셋 정보를 획득하고, 상기 객체가 검출된 줌레벨 및 상기 프리셋 정보를 이용하여 상기 객체영상을 획득할 수 있다. The object image obtaining unit 300 may search the object by the PTZ camera using the zoom level detected by the object and obtain an object image of the object. For example, the object image acquisition unit 300 acquires the zoom level and the preset information at which the object is detected using the position information of the object, and outputs the object image using the detected zoom level and the preset information Can be obtained.

일 예로 상기 프리셋 정보는 상기 줌레벨에 따른 분할 영역의 위치 정보, 상기 PTZ 카메라의 줌레벨 및 상기 PTZ 카메라의 위치 정보를 포함할 수 있다. For example, the preset information may include position information of a divided region according to the zoom level, a zoom level of the PTZ camera, and position information of the PTZ camera.

다른 일 예로 상기 객체가 복수개인 경우, 객체영상 획득부(300)는 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일한 경우에는 PTZ 카메라의 줌레벨과 동일한 줌레벨을 가지는 분할 영역 중 PTZ 카메라의 위치와 근접한 분할 영역부터 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득하도록 할 수 있다. If the zoom level of the PTZ camera is equal to the zoom level of the detected object, the object image acquiring unit 300 acquires the PTZ zoom level of the PTZ camera, The PTZ camera can search for the object and acquire the object image for the object from the divided area close to the camera position.

또 다른 일 예로 상기 객체가 복수개인 경우, 객체영상 획득부(300)는 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일하지 않은 경우에는 PTZ 카메라의 줌레벨과 다른 줌레벨을 가지는 분할 영역 중 PTZ 카메라의 위치와 근접한 분할 영역부터 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득할 수 있다. If the zoom level of the PTZ camera is not equal to the zoom level detected by the object, the object image acquiring unit 300 acquires the zoom level of the PTZ camera, which is different from the zoom level of the PTZ camera, The PTZ camera can search the object from the divided region close to the position of the PTZ camera to acquire the object image for the object.

얼굴탐색부(400)는 상기 객체영상을 이용하여 얼굴탐색을 수행할 수 있다. 분할 영역부(100), 객체 검출부(200), 객체영상 획득부(300) 및 얼굴탐색부(400)는 도 1 내지 도 4를 참조하여 설명한 방법과 동일한 방식을 이용하므로 자세한 설명은 생략하기로 한다. The face searching unit 400 may perform a face search using the object image. 1 to 4, a detailed description thereof will be omitted herein. [0030] In the present embodiment, the object region detecting unit 200, the object image obtaining unit 300, and the face searching unit 400 are similar to the method described with reference to FIGS. do.

도 7을 참조하면, 본 발명의 실시예에 따른 계층적 얼굴객체 인식 시스템(2000)은 분할 영역부(100), 객체 검출부(200), 객체영상 획득부(300), 얼굴탐색부(400) 및 얼굴인식부(500)를 포함할 수 있다. 7, a hierarchical face object recognition system 2000 according to an exemplary embodiment of the present invention includes a division area unit 100, an object detection unit 200, an object image acquisition unit 300, a face search unit 400, And a face recognizing unit 500. [0031] FIG.

분할 영역부(100), 객체 검출부(200), 객체영상 획득부(300) 및 얼굴탐색부(400)는 도 6을 참조하여 설명한 것과 동일하므로 자세한 설명은 생략하기로 한다. The division area unit 100, the object detection unit 200, the object image acquisition unit 300, and the face search unit 400 are the same as those described with reference to FIG. 6, and thus a detailed description thereof will be omitted.

얼굴인식부(500)는 탐색된 얼굴영상을 이용하여 얼굴인식을 수행할 수 있고, 얼굴인식부(500)는 도 5를 참조하여 설명한 방법과 동일한 방식을 이용하므로 자세한 설명은 생략하기로 한다. 일 예로 얼굴 인식은 실시간으로 저장되는 사람의 얼굴영상 데이터베이스 또는 얼굴 크기별로 분류되어 저장되어 있는 얼굴영상 데이터베이스 등에 저장되어 있는 얼굴영상과 비교하는 방법을 통하여 수행될 수 있다. The face recognizing unit 500 can perform face recognition using the searched face image, and the face recognizing unit 500 uses the same method as that described with reference to Fig. 5, so a detailed description will be omitted. For example, face recognition can be performed through a method of comparing with a face image database stored in a face image database of a person stored in real time or a face image database stored by being classified according to face size.

얼굴인식부(500)를 통하여 수행된 얼굴인식 결과와 광각 영상은 출력장치(디스플레이 장치 등)을 통하여 출력될 수 있고 사용자 또는 운영자는 얼굴인식 결과 및 광각 영상을 확인하여 적절한 조치를 취할 수 있다. The face recognition result and the wide angle image performed through the face recognition unit 500 can be output through an output device (a display device or the like), and the user or the operator can check the face recognition result and the wide angle image and take appropriate measures.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 통상의 기술자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be understood.

1000: 계층적 얼굴객체 탐색 시스템 2000: 계층적 얼굴객체 인식 시스템
100: 분할 영역부 200: 객체 검출부
300: 객체영상 획득부 400: 얼굴탐색부
500: 얼굴인식부 1000: Hierarchical face object search system 2000: Hierarchical face object recognition system
100: division area unit 200: object detection unit
300: object image obtaining unit 400: face searching unit
500: Face Recognition Unit

Claims (18)

a) 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 단계;
b) 상기 분할 영역 내에 존재하는 객체를 검출하는 단계;
c) 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 단계; 및
d) 상기 객체영상을 이용하여 얼굴탐색을 수행하는 단계를 포함하고,
상기 줌레벨은 상기 PTZ 카메라의 최대 줌레벨에서 획득되는 영상에 나타난 특정 객체의 크기에 기초하여 조절되며, 상기 획득되는 객체영상에 나타나는 서로 다른 특정 객체의 크기가 서로 비슷하게 나타나도록 조절되고,
상기 객체영상은 상기 PTZ 카메라의 줌레벨이 상이하더라도 상기 객체의 크기가 서로 비슷하고,
상기 b) 단계는 일정 수준 이상의 움직임이 감지되는 영역을 레이블링하여 객체로 설정하는 단계; 및
상기 분할 영역 내에서 객체가 검출되지 않는 경우 상기 PTZ 카메라가 최대 줌 아웃 상태가 되어 상기 줌레벨이 초기화되는 단계를 포함하고,
상기 d) 단계는 얼굴영상 부분만 레이블링 하는 단계;
상기 레이블링된 얼굴영상 부분만 저장하는 단계; 및
상기 레이블링된 객체 또는 상기 레이블링된 얼굴영상을 추적하고, 그 위치 정보를 생성하는 단계를 포함하고,
상기 레이블링하여 객체로 설정하는 단계에서는 새로운 객체에만 레이블링하여 객체로 설정하고,
상기 얼굴영상 부분만 레이블링 하는 단계에서는 같은 상기 분할 영역내의 하나 이상의 서로 다른 얼굴영상 부분에 각각 다른 레이블링을 하는 계층적 얼굴객체 탐색 방법.

a) dividing the wide angle image obtained through the wide angle camera into at least one divided area based on a zoom level of the PTZ camera;
b) detecting an object in the partition;
c) searching the object by the PTZ camera using the zoom level detected by the object and obtaining an object image of the object; And
d) performing a face search using the object image,
Wherein the zoom level is adjusted based on a size of a specific object displayed on an image obtained at a maximum zoom level of the PTZ camera and is adjusted such that sizes of different specific objects appearing in the acquired object image are similar to each other,
The object images are similar in size to each other even if the zoom level of the PTZ camera is different,
Wherein the step b) comprises: labeling an area where a motion of a predetermined level or more is detected and setting the object as an object; And
And when the object is not detected in the divided area, the PTZ camera is in the maximum zoom-out state and the zoom level is initialized,
D) labeling only the facial image portion;
Storing only the labeled face image portion; And
Tracking the labeled object or the labeled face image and generating position information thereof,
In the step of setting as an object by labeling, only a new object is set as an object by labeling,
Wherein the step of labeling only the facial image part labels different faces of at least one different facial image part in the same divided area.

삭제delete 삭제delete 제1항에 있어서,
상기 c) 단계는,
상기 객체의 위치정보를 이용하여 상기 객체가 검출된 줌레벨 및 프리셋 정보를 획득하는 단계; 및
상기 객체가 검출된 줌레벨 및 상기 프리셋 정보를 이용하여 상기 객체영상을 획득하는 단계를 포함하는, 계층적 얼굴객체 탐색 방법.
The method according to claim 1,
The step c)
Obtaining a zoom level and preset information in which the object is detected using position information of the object; And
And acquiring the object image using the zoom level at which the object is detected and the preset information.
제4항에 있어서,
상기 프리셋 정보는,
상기 줌레벨에 따른 분할 영역의 위치 정보, 상기 PTZ 카메라의 줌레벨 및 상기 PTZ 카메라의 위치 정보를 포함하는, 계층적 얼굴객체 탐색 방법.
5. The method of claim 4,
The preset information includes:
A zoom level of the PTZ camera, and position information of the PTZ camera according to the zoom level.
제5항에 있어서,
상기 객체가 복수개인 경우,
상기 c) 단계는,
상기 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일한 경우에는 상기 PTZ 카메라의 줌레벨과 동일한 줌레벨을 가지는 분할 영역 중 상기 PTZ 카메라의 위치와 근접한 분할 영역부터 상기 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득하는 단계를 포함하는, 계층적 얼굴객체 탐색 방법.
6. The method of claim 5,
When there are a plurality of the objects,
The step c)
When the zoom level of the PTZ camera is equal to the zoom level detected by the object, the PTZ camera notifies the PTZ camera of the object in a divided region close to the position of the PTZ camera among the divided regions having the same zoom level as the zoom level of the PTZ camera And acquiring an object image for the object by searching the hierarchical object.
제6항에 있어서,
상기 c) 단계는,
상기 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일하지 않은 경우에는 상기 PTZ 카메라의 줌레벨과 다른 줌레벨을 가지는 분할 영역 중 상기 PTZ 카메라의 위치와 근접한 분할 영역부터 상기 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득하는 단계를 포함하는, 계층적 얼굴객체 탐색 방법.
The method according to claim 6,
The step c)
When the zoom level of the PTZ camera is not the same as the zoom level detected by the object, the PTZ camera determines whether the zoom level of the PTZ camera is smaller than the zoom level of the PTZ camera, Searching for an object to obtain an object image for the object.
삭제delete 삭제delete a) 광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 단계;
b) 상기 분할 영역 내에 존재하는 객체를 검출하는 단계;
c) 상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 단계;
d) 상기 객체영상을 이용하여 얼굴탐색을 수행하는 단계; 및
e) 탐색된 얼굴영상을 이용하여 얼굴인식을 수행하는 단계를 포함하고,
상기 줌레벨은 상기 PTZ 카메라의 최대 줌레벨에서 획득되는 영상에 나타난 특정 객체의 크기에 기초하여 조절되며, 상기 획득되는 객체영상에 나타나는 서로 다른 특정 객체의 크기가 서로 비슷하게 나타나도록 조절되고,
상기 객체영상은 상기 PTZ 카메라의 줌레벨이 상이하더라도 상기 객체의 크기가 서로 비슷하고,
상기 b) 단계는 일정 수준 이상의 움직임이 감지되는 영역을 레이블링하여 객체로 설정하는 단계; 및
상기 분할 영역 내에서 객체가 검출되지 않는 경우 상기 PTZ 카메라가 최대 줌 아웃 상태가 되어 상기 줌레벨이 초기화되는 단계를 포함하고,
상기 d) 단계는 상기 얼굴영상 부분만 레이블링 하는 단계;
상기 레이블링된 얼굴영상 부분만 저장하는 단계; 및
상기 레이블링된 객체 또는 상기 레이블링된 얼굴영상을 추적하고, 그 위치 정보를 생성하는 단계를 포함하고,
상기 레이블링하여 객체로 설정하는 단계에서는 새로운 객체에만 레이블링하여 객체로 설정하고,
상기 얼굴영상 부분만 레이블링 하는 단계에서는 같은 상기 분할 영역내의 하나 이상의 서로 다른 얼굴영상 부분에 각각 다른 레이블링을 하는 계층적 얼굴객체 인식 방법.
a) dividing the wide angle image obtained through the wide angle camera into at least one divided area based on a zoom level of the PTZ camera;
b) detecting an object in the partition;
c) searching the object by the PTZ camera using the zoom level detected by the object and obtaining an object image of the object;
d) performing a face search using the object image; And
e) performing face recognition using the searched face image,
Wherein the zoom level is adjusted based on a size of a specific object displayed on an image obtained at a maximum zoom level of the PTZ camera and is adjusted such that sizes of different specific objects appearing in the acquired object image are similar to each other,
The object images are similar in size to each other even if the zoom level of the PTZ camera is different,
Wherein the step b) comprises: labeling an area where a motion of a predetermined level or more is detected and setting the object as an object; And
And when the object is not detected in the divided area, the PTZ camera is in the maximum zoom-out state and the zoom level is initialized,
D) labeling only the face image portion;
Storing only the labeled face image portion; And
Tracking the labeled object or the labeled face image and generating position information thereof,
In the step of setting as an object by labeling, only a new object is set as an object by labeling,
Wherein the step of labeling only the facial image part labels different portions of one or more different facial image parts in the same divided area.
광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 분할 영역부;
상기 분할 영역 내에 존재하는 객체를 검출하는 객체 검출부;
상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 객체영상 획득부; 및
상기 객체영상을 이용하여 얼굴탐색을 수행하는 얼굴탐색부를 포함하고,
상기 줌레벨은 상기 PTZ 카메라의 최대 줌레벨에서 획득되는 영상에 나타난 특정 객체의 크기에 기초하여 조절되며, 상기 획득되는 객체영상에 나타나는 서로 다른 특정 객체의 크기가 서로 비슷하게 나타나도록 조절되고,
상기 객체영상은 상기 PTZ 카메라의 줌레벨이 상이하더라도 상기 객체의 크기가 서로 비슷하고,
상기 객체 검출부는 일정 수준 이상의 움직임이 감지되는 영역을 레이블링하여 객체로 설정하고, 상기 분할 영역 내에서 객체가 검출되지 않는 경우 상기 PTZ 카메라를 최대 줌 아웃 상태로 하여 상기 줌레벨을 초기화하고,
상기 얼굴탐색부는 탐색된 얼굴영상 부분만 저장하고, 상기 얼굴영상 부분만 레이블링 하며, 상기 레이블링된 객체 또는 상기 레이블링된 얼굴영상을 추적하고, 그 위치 정보를 생성하고,
상기 객체 검출부는 새로운 객체에만 레이블링하여 객체로 설정하고,
상기 얼굴탐색부는 같은 상기 분할 영역내의 하나 이상의 서로 다른 얼굴영상 부분에 각각 다른 레이블링을 하는 계층적 얼굴객체 탐색 시스템.

A division area unit that divides the wide angle image acquired through the wide angle camera into at least one divided area based on a zoom level of the PTZ camera;
An object detecting unit detecting an object existing in the divided area;
An object image acquiring unit for acquiring an object image of the object by the PTZ camera using the zoom level detected by the object; And
And a face searching unit for performing face searching using the object image,
Wherein the zoom level is adjusted based on a size of a specific object displayed on an image obtained at a maximum zoom level of the PTZ camera and is adjusted such that sizes of different specific objects appearing in the acquired object image are similar to each other,
The object images are similar in size to each other even if the zoom level of the PTZ camera is different,
Wherein the object detector is configured to label an area in which a motion of a predetermined level or higher is detected to set as an object, to initialize the zoom level when the object is not detected in the divided area,
Wherein the face searching unit stores only the detected face image portion, labels only the face image portion, tracks the labeled object or the labeled face image, generates position information thereof,
Wherein the object detecting unit labels only a new object and sets the object as an object,
Wherein the face searching unit performs different labeling on one or more different face image parts in the same divided area.

삭제delete 삭제delete 제11항에 있어서,
상기 객체영상 획득부는,
상기 객체의 위치정보를 이용하여 상기 객체가 검출된 줌레벨 및 프리셋 정보를 획득하고, 상기 객체가 검출된 줌레벨 및 상기 프리셋 정보를 이용하여 상기 객체영상을 획득하는, 계층적 얼굴객체 탐색 시스템.
12. The method of claim 11,
Wherein the object image obtaining unit comprises:
Acquiring the zoom level and the preset information at which the object is detected using the position information of the object, and acquiring the object image using the zoom level and the preset information at which the object is detected.
제14항에 있어서,
상기 프리셋 정보는,
상기 줌레벨에 따른 분할 영역의 위치 정보, 상기 PTZ 카메라의 줌레벨 및 상기 PTZ 카메라의 위치 정보를 포함하는, 계층적 얼굴객체 탐색 시스템.
15. The method of claim 14,
The preset information includes:
A zoom level of the PTZ camera, and position information of the PTZ camera according to the zoom level.
제15항에 있어서,
상기 객체가 복수개인 경우,
상기 객체영상 획득부는,
상기 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일한 경우에는 상기 PTZ 카메라의 줌레벨과 동일한 줌레벨을 가지는 분할 영역 중 상기 PTZ 카메라의 위치와 근접한 분할 영역부터 상기 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득하는, 계층적 얼굴객체 탐색 시스템.
16. The method of claim 15,
When there are a plurality of the objects,
The object image obtaining unit obtains,
When the zoom level of the PTZ camera is equal to the zoom level detected by the object, the PTZ camera notifies the PTZ camera of the object in a divided region close to the position of the PTZ camera among the divided regions having the same zoom level as the zoom level of the PTZ camera And acquiring an object image for the object by searching the hierarchical face object searching system.
제16항에 있어서,
상기 객체영상 획득부는,
상기 PTZ 카메라의 줌레벨과 상기 객체가 검출된 줌레벨이 동일하지 않은 경우에는 상기 PTZ 카메라의 줌레벨과 다른 줌레벨을 가지는 분할 영역 중 상기 PTZ 카메라의 위치와 근접한 분할 영역부터 상기 PTZ 카메라가 상기 객체를 탐색하여 상기 객체에 대한 객체영상을 획득하는, 계층적 얼굴객체 탐색 시스템.
17. The method of claim 16,
The object image obtaining unit obtains,
When the zoom level of the PTZ camera is not the same as the zoom level detected by the object, the PTZ camera determines whether the zoom level of the PTZ camera is smaller than the zoom level of the PTZ camera, And retrieving an object image for the object by searching for the object.
광각 카메라를 통하여 획득되는 광각영상을 PTZ 카메라의 줌레벨(zoom level)에 기초하여 하나 이상의 분할 영역으로 구분하는 분할 영역부;
상기 분할 영역 내에 존재하는 객체를 검출하는 객체 검출부;
상기 객체가 검출된 줌레벨을 이용하여 상기 PTZ 카메라가 상기 객체를 탐색하고 상기 객체에 대한 객체영상을 획득하는 객체영상 획득부;
상기 객체영상을 이용하여 얼굴탐색을 수행하는 얼굴탐색부; 및
탐색된 얼굴영상을 이용하여 얼굴인식을 수행하는 얼굴인식부를 포함하고,
상기 줌레벨은 상기 PTZ 카메라의 최대 줌레벨에서 획득되는 영상에 나타난 특정 객체의 크기에 기초하여 조절되며, 상기 획득되는 객체영상에 나타나는 서로 다른 특정 객체의 크기가 서로 비슷하게 나타나도록 조절되고,
상기 객체영상은 상기 PTZ 카메라의 줌레벨이 상이하더라도 상기 객체의 크기가 서로 비슷하고,
상기 객체 검출부는 일정 수준 이상의 움직임이 감지되는 영역을 레이블링하여 객체로 설정하고, 상기 분할 영역 내에서 객체가 검출되지 않는 경우 상기 PTZ 카메라를 최대 줌 아웃 상태로 하여 상기 줌레벨을 초기화하고,
상기 얼굴탐색부는 탐색된 얼굴영상 부분만 저장하고, 상기 얼굴영상 부분만 레이블링 하며, 상기 레이블링된 객체 또는 상기 레이블링된 얼굴영상을 추적하고, 그 위치 정보를 생성하고,
상기 객체 검출부는 새로운 객체에만 레이블링하여 객체로 설정하고,
상기 얼굴탐색부는 같은 상기 분할 영역내의 하나 이상의 서로 다른 얼굴영상 부분에 각각 다른 레이블링을 하는 계층적 얼굴객체 인식 시스템.
A division area unit that divides the wide angle image acquired through the wide angle camera into at least one divided area based on a zoom level of the PTZ camera;
An object detecting unit detecting an object existing in the divided area;
An object image acquiring unit for acquiring an object image of the object by the PTZ camera using the zoom level detected by the object;
A face searching unit for performing face searching using the object image; And
And a face recognition unit for performing face recognition using the searched face image,
Wherein the zoom level is adjusted based on a size of a specific object displayed on an image obtained at a maximum zoom level of the PTZ camera and is adjusted such that sizes of different specific objects appearing in the acquired object image are similar to each other,
The object images are similar in size to each other even if the zoom level of the PTZ camera is different,
Wherein the object detector is configured to label an area in which a motion of a predetermined level or higher is detected to set as an object, to initialize the zoom level when the object is not detected in the divided area,
Wherein the face searching unit stores only the detected face image portion, labels only the face image portion, tracks the labeled object or the labeled face image, generates position information thereof,
Wherein the object detecting unit labels only a new object and sets the object as an object,
Wherein the face searching unit performs different labeling on one or more different face image parts in the same division area.
KR1020170052371A 2017-04-24 2017-04-24 Hierarchical face object search method and face recognition method using the same, hierarchical face object search system and face recognition system using the same KR101899318B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170052371A KR101899318B1 (en) 2017-04-24 2017-04-24 Hierarchical face object search method and face recognition method using the same, hierarchical face object search system and face recognition system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170052371A KR101899318B1 (en) 2017-04-24 2017-04-24 Hierarchical face object search method and face recognition method using the same, hierarchical face object search system and face recognition system using the same

Publications (1)

Publication Number Publication Date
KR101899318B1 true KR101899318B1 (en) 2018-10-29

Family

ID=64101408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170052371A KR101899318B1 (en) 2017-04-24 2017-04-24 Hierarchical face object search method and face recognition method using the same, hierarchical face object search system and face recognition system using the same

Country Status (1)

Country Link
KR (1) KR101899318B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112073613A (en) * 2020-09-10 2020-12-11 广州视源电子科技股份有限公司 Conference portrait shooting method, interactive tablet, computer equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012786A (en) * 2014-06-27 2016-01-21 富士フイルム株式会社 Imaging apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012786A (en) * 2014-06-27 2016-01-21 富士フイルム株式会社 Imaging apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112073613A (en) * 2020-09-10 2020-12-11 广州视源电子科技股份有限公司 Conference portrait shooting method, interactive tablet, computer equipment and storage medium
CN112073613B (en) * 2020-09-10 2021-11-23 广州视源电子科技股份有限公司 Conference portrait shooting method, interactive tablet, computer equipment and storage medium

Similar Documents

Publication Publication Date Title
US11157778B2 (en) Image analysis system, image analysis method, and storage medium
CN107292240B (en) Person finding method and system based on face and body recognition
US9210336B2 (en) Automatic extraction of secondary video streams
JP5688456B2 (en) Security camera tracking and monitoring system and method using thermal image coordinates
US9363487B2 (en) Scanning camera-based video surveillance system
US7336297B2 (en) Camera-linked surveillance system
Nam et al. Intelligent video surveillance system: 3-tier context-aware surveillance system with metadata
KR101530255B1 (en) Cctv system having auto tracking function of moving target
JP3801137B2 (en) Intruder detection device
KR101472077B1 (en) Surveillance system and method based on accumulated feature of object
US20150116487A1 (en) Method for Video-Data Indexing Using a Map
CN105144705B (en) Object monitoring system, object monitoring method, and program for extracting object to be monitored
JP6013923B2 (en) System and method for browsing and searching for video episodes
US20060239506A1 (en) Line textured target detection and tracking with applications to "Basket-run" detection
WO2001069931A1 (en) Method and apparatus for video surveillance with defined zones
KR101062225B1 (en) Intelligent video retrieval method and system using surveillance camera
KR20140058192A (en) Control image relocation method and apparatus according to the direction of movement of the object of interest
KR101324221B1 (en) System for tracking object using capturing and method thereof
JP2002374521A (en) Method and device for monitoring mobile object
KR101899318B1 (en) Hierarchical face object search method and face recognition method using the same, hierarchical face object search system and face recognition system using the same
KR20160093253A (en) Video based abnormal flow detection method and system
KR102046591B1 (en) Image Monitoring System and Method for Monitoring Image
KR100536747B1 (en) The video storing system using a ptz camera and the method there of
EP3905116A1 (en) Image processing system for identifying and tracking objects
KR100382792B1 (en) Intelligent robotic camera and distributed control apparatus thereof

Legal Events

Date Code Title Description
GRNT Written decision to grant