KR101941994B1 - System for pedestrian detection and attribute extraction based on a joint deep network - Google Patents
System for pedestrian detection and attribute extraction based on a joint deep network Download PDFInfo
- Publication number
- KR101941994B1 KR101941994B1 KR1020180099359A KR20180099359A KR101941994B1 KR 101941994 B1 KR101941994 B1 KR 101941994B1 KR 1020180099359 A KR1020180099359 A KR 1020180099359A KR 20180099359 A KR20180099359 A KR 20180099359A KR 101941994 B1 KR101941994 B1 KR 101941994B1
- Authority
- KR
- South Korea
- Prior art keywords
- pedestrian
- extraction
- feature map
- attribute
- attribute information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G06K9/00362—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06K2017/0045—
Abstract
Description
본 발명은 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템에 관한 것으로, 더욱 상세하게는 인공지능 기법을 통해 감시카메라로부터 입력되는 영상을 학습하여, 보행자 얼굴을 포함하는 신체 각 부분에 대한 부분특징과 의복, 성별, 체형, 소지물건 등과 같은 보행자 속성을 추출하고, 상기 추출한 부분특징과 보행자 속성을 활용하여, 상기 영상에 포함된 보행자와 특정 보행자 간의 동일인 여부를 정확하게 파악함으로써, 상기 특정 보행자에 대한 이동경로를 효과적으로 추적할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템에 관한 것이다.The present invention relates to a pedestrian recognition and attribute extraction system based on a combined deep layer network, and more particularly, to a pedestrian recognition and attribute extraction system using an artificial intelligence technique, which learns an image input from a surveillance camera, The method includes extracting a pedestrian attribute such as clothes, sex, body shape, possessed object, and the like, and accurately grasping whether the pedestrian included in the image is the same as the specific pedestrian by utilizing the extracted partial characteristic and pedestrian attribute, And more particularly, to a pedestrian recognition and attribute extraction system based on a combined deep network that enables efficient tracking of paths.
최근 거리, 공공건물, 공원 등과 같은 공공장소에서의 안전을 위한 감시카메라 네트워크의 보급 및 확대로 인해 보행자를 인식하거나, 재인식하여 특정 보행자에 대한 이동경로를 추적할 수 있도록 하는 보행자 인식 시스템에 대한 대중의 관심이 급격하게 증가하고 있다.Recently, public awareness of pedestrian recognition systems that enable pedestrians to recognize or re-understand pedestrians' trajectories for specific pedestrians due to the spread and expansion of surveillance camera networks for safety in public places such as streets, public buildings and parks Has been growing rapidly.
일반적으로 보행자 인식 시스템은, 감시카메라 네트워크를 통해 입력되는 영상으로부터 특정 보행자를 인식 및 재인식하는 것으로, 감시카메라(예: CCTV)를 활용한 무인 방범 시스템, 무인 자동화 시스템, 또는 지능형 자율 주행 자동차를 위한 능동 안전 시스템 등과 같이 다양한 분야에서 적용되어 상용화되고 있다.In general, the pedestrian recognition system recognizes and re-recognizes a specific pedestrian from a video input through a surveillance camera network. It can be used for an unmanned security system using a surveillance camera (e.g. CCTV), an unmanned automation system, or an intelligent autonomous vehicle Active safety systems and so on.
종래의 보행자 인식 시스템은, 지역이진패턴(local binary pattern)이나 경사지향 히스토그램(histogram of oriented gradient)과 같은 영상의 텍스처나 형태소를 중점으로 특정 보행자를 인식하였다.Conventional pedestrian recognition systems recognize specific pedestrians with emphasis on texture or morphology of images such as local binary pattern or histogram of oriented gradient.
그러나 종래의 보행자 인식 시스템은 보행자의 얼굴영역을 기준으로 보행자를 인식하기 때문에 해당 보행자를 추적하는데 그 한계가 있다.However, since the conventional pedestrian recognition system recognizes the pedestrian based on the face area of the pedestrian, there is a limitation in tracking the pedestrian.
즉, 종래의 보행자 인식 시스템은, 장애물 또는 다른 보행자에 의해 상기 보행자의 얼굴영역이 대한 전체 또는 일부분이 가려지는 경우, 동일인임에도 불구하고 해당 보행자를 인식하지 못하는 문제점이 있었다.That is, in the conventional pedestrian recognition system, when all or a part of the face region of the pedestrian is covered by an obstacle or another pedestrian, the pedestrian can not be recognized even though it is the same person.
보행자 인식 시스템을 지능적이고 효과적으로 운형하기 위해서는 보행자를 정확하게 인식하고, 실시간 검색이 가능하여야 한다. 즉, 네트워크로 연결된 CCTV가 24시간 구동되는 환경에서 단지 얼굴영역에 대한 정보만을 이용하여 특정 인물의 출현을 인식하거나, 동일인물의 이동경로를 파악하는데 그 한계가 있는 것이다.In order to carry the pedestrian recognition system intelligently and effectively, the pedestrian should be accurately recognized and real-time retrieval should be possible. That is, in an environment in which CCTV connected to the network is operated for 24 hours, there is a limitation in recognizing the appearance of a specific person using only the information of the face area or grasping the movement path of the same person.
이에 본 발명은 보행자의 얼굴인식과 속성을 각각 파악하기 위한 인공지능 네트워크를 연결한 결합심층네트워크에 기반한 새로운 인공지능 기법을 제안한다. 즉, 의복정보, 성별, 소지물건 및 착용물건을 포함하는 보행자의 속성정보와 상기 보행자의 얼굴, 팔 및 다리 영역을 포함하는 보행자의 각 신체부분에 대한 부분특징값을 추출하여, 상기 추출한 보행자의 속성정보 및 신체부분에 대한 부분특징값을 토대로 감시카메라로 촬영된 영상에서 동일 보행자를 인식 및 재인식함으로써, 이동경로를 신속하고 정확하게 추적할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 제공하고자 한다.Accordingly, the present invention proposes a new artificial intelligence technique based on a combined deep network connecting an artificial intelligence network for grasping facial recognition and attributes of a pedestrian, respectively. That is, a partial feature value is extracted for each body part of the pedestrian including the pedestrian's attribute information, the pedestrian's face, the arm and the leg area including the clothing information, the sex, the possessed object and the wearing object, A pedestrian recognition and attribute extraction system based on a combined deep network that enables fast and accurate tracing of a moving route by recognizing and re-recognizing the same pedestrian in an image captured by a surveillance camera based on attribute information and partial feature values of the body part .
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, a brief description will be given of the prior arts that exist in the technical field of the present invention, and technical matters which the present invention intends to differentiate from the prior arts will be described.
먼저 한국공개특허 제2011-0131727호(2011.12.07.)는 영상 처리 시스템에서의 객체 인식 방법 및 시스템에 관한 것으로, 입력영상에 포함된 객체의 후보 영역으로부터 전역 특징 정보과 지역 특징 정보를 추출하고, 상기 추출한 전역 특징 정보와 지역 특징 정보를 이용하여 상기 객체를 인식하거나 재인식하는 영상 처리 시스템에서의 객체 인식 방법 및 시스템에 관한 것이다.Korean Patent Laid-Open Publication No. 2011-0131727 (December 24, 2011) relates to a method and system for recognizing an object in an image processing system, which extracts global feature information and local feature information from a candidate region of an object included in an input image, And recognizing or re-recognizing the object using the extracted global feature information and local feature information.
여기서, 상기 선행기술의 전역 특징 정보는, 상기 객체 후보영역의 윤곽선에 대한 방향 정보를 포함하며, 상기 지역 특징 정보는, 상기 객체 후보영역에 대한 복수의 돌출영역에 대한 명암 및 방향 정보를 포함한다.Here, the global feature information of the prior art includes direction information on an outline of the object candidate region, and the local feature information includes contrast and direction information on a plurality of protruding regions with respect to the object candidate region .
즉, 상기 선행기술은 입력영상으로부터 객체 후보영역에 대한 방향 정보를 추출하여, 상기 추출한 방향 정보를 토대로 객체를 인식하거나, 재인식하도록 하는 것이다.That is, the prior art extracts direction information for an object candidate region from an input image, and recognizes or re-recognizes the object based on the extracted direction information.
반면에 본원발명은 보행자의 속성정보와 얼굴, 팔 및 다리에 대한 부분특징값을 추출하기 위한 결합심층네트워크를 구성하여, 보행자의 신체적인 특징뿐만 아니라 보행자가 착용하고 있는 복장이나 장식품 혹은 소지품까지 고려함으로써, 전면에서 획득되지 않은 영상이라도 해당 보행자를 정확하게 인식하거나 재인식할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사하고 있지 않다.On the other hand, the present invention constitutes a combined in-depth network for extracting pedestrian attribute information and partial feature values for faces, arms, and legs to consider physical characteristics of pedestrians as well as dresses, ornaments or belongings worn by pedestrians Thus, even if an image is not acquired from the front side, the pedestrian can be accurately recognized or re-recognized. The prior art does not describe or suggest the technical feature of the present invention.
또한 한국등록특허 제13806285호(2014.03.27.)는 복수의 카메라를 사용한 객체 추적 방법 및 장치에 관한 것으로, 동일 공간을 감시하는 복수의 카메라를 통해 얻어지는 객체별 특징 정보를 산출하고, 기존에 저장된 객체별 특징 정보와 상기 산출한 특징 정보를 상호 비교하여 추적 객체를 식별하는 복수의 카메라를 사용한 객체 추적 방법 및 장치에 관한 것이다.Korean Patent No. 13806285 (Mar. 23, 2014) discloses a method and apparatus for tracking an object using a plurality of cameras. The method includes the steps of: calculating characteristic information for each object obtained through a plurality of cameras monitoring the same space; And more particularly, to a method and an apparatus for tracking an object using a plurality of cameras that compare object-specific feature information and the calculated feature information to identify a tracking object.
즉, 상기 선행기술은 카메라 영상에서 객체에 대한 각 픽셀의 x, y축 그레디언트(gradient)를 각각 계산하여, 그레디언트의 크기와 방향을 포함하는 HOG(histogram of oriented gradient) 특징 벡터를 산출하고, 상기 산출한 HOG 특징 벡터를 토대로 객체를 인식하여 추적하도록 하는 것이다. That is, the prior art calculates a histogram of oriented gradient (HOG) feature vector including a magnitude and a direction of a gradient by calculating x and y axis gradients of each pixel with respect to an object in a camera image, The object is recognized and tracked based on the calculated HOG feature vector.
이에 반하여 본 발명은 보행자의 머리, 얼굴, 몸체, 다리, 팔 등과 같은 각 신체부분에 대한 특징값과 보행자의 의복, 성별, 체형, 소지물건, 착용물건 등을 포함하는 보행자의 속성정보를 추출하여, 상기 추출한 부분특징값 및 속성정보를 모두 고려하여 보행자를 인식 및 재인식할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징에 대해서는 아무런 기재가 없어, 본 발명과 목적, 구성, 효과에 있어서 명확한 차이점이 있다.On the contrary, the present invention extracts the characteristic values of each body part such as the head, face, body, leg, and arm of the pedestrian and the attribute information of the pedestrian including the clothes, sex, body shape, , The pedestrian can be recognized and re-recognized in consideration of the extracted partial feature value and the attribute information. The prior art has no description about the technical features of the present invention, There is a clear difference.
이상에서 선행기술들을 검토한 결과 대부분의 선행기술들은 단순히 방향정보 또는 그레디언트 값을 포함하는 특징정보를 이용하여 객체를 인식 또는 재인식하는 개념만을 기재하고 있을 뿐, 보행자의 각 신체에 대한 특징과 보행자의 속성에 대한 특징을 모두 고려하여 상기 보행자를 정확하고 효과적으로 인식하거나, 재인식하도록 하는 본 발명의 기술적 특징에 대해서는 아무런 기재나 시사 또는 암시도 없다.As a result of examining the prior art, most of the prior arts only describe the concept of recognizing or re-recognizing the object using the feature information including the direction information or the gradient value. However, only the concept of the pedestrian's body and the pedestrian There is no description, suggestion or suggestion as to the technical features of the present invention that the pedestrians are accurately and effectively recognized or re-
본 발명은 상기와 같은 문제점을 해결하기 위해 창작 된 것으로서, 인공지능 기법을 이용하여 실시간으로 입력되는 영상으로부터 보행자의 각 신체에 대한 특징맵을 추출하고, 상기 추출한 특징맵을 토대로 보행자를 인식하거나, 재인식할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 제공하는 것을 그 목적으로 한다.The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to extract a feature map for each body of a pedestrian from an image input in real time using an artificial intelligence technique, recognize a pedestrian based on the extracted feature map, And to provide a pedestrian recognition and attribute extraction system based on a combined deep layer network that allows the user to re-recognize the pedestrian.
또한 본 발명은 상기 추출한 부분 특징맵을 학습하여, 보행자의 각 신체에 대한 부분특징값 및 보행자의 의복, 성별, 체형, 소지물건, 착용물건 등을 포함하는 보행자의 속성정보를 추출함으로서, 상기 영상에서 장애물에 의해 보행자의 일부가 가려지거나, 정면영상이 아닌 경우에도 특정 보행자를 정확하고 신속하게 인식 및 재인식할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 제공하는 것을 또 다른 목적으로 한다. Further, the present invention extracts the attribute information of the pedestrian including the partial characteristic value for each body of the pedestrian and the clothes, sex, body shape, possessed object, wearing object, etc. of the pedestrian by learning the extracted partial characteristic map, Another object of the present invention is to provide a pedestrian recognition and attribute extraction system based on a combined deep network that allows a specific pedestrian to be accurately and quickly recognized and re-recognized even when a part of the pedestrian is obstructed by an obstacle, do.
또한 본 발명은 상기 부분특징값 및 속성정보에 대한 시간적 특징을 고려하여, 기존에 학습된 영상에 대한 부분특징값 및 속성정보간의 유사도 계산을 통해, 유사도가 높은 영상들의 순위를 결정하여 사용자에게 제공함으로써, 특정 보행자에 대한 이동경로를 실시간으로 추적할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 제공하는 것을 또 다른 목적으로 한다. In addition, the present invention considers temporal characteristics of the partial feature value and the attribute information, calculates the similarity between the partial feature value and the attribute information of the previously learned image, determines the ranking of the images having high similarity, It is another object of the present invention to provide a pedestrian recognition and attribute extraction system based on a combined deep network which enables a moving route to a specific pedestrian to be tracked in real time.
본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템은 복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력부, 상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성부, 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성부 및 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성부를 포함하며, 상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 연결되어, 상기 부분특징값과 속성정보를 결합할 수 있도록 하기 위한 결합심층네트워크를 구성하는 것을 특징으로 한다.A pedestrian recognition and attribute extraction system based on a combined deep layer network according to an embodiment of the present invention includes an image data input unit for receiving image data from a plurality of surveillance cameras, A feature map extracting learning model generating unit for generating a feature model extracting learning model for extracting a feature map for each body part of the pedestrian of the pedestrian recognition unit, A pedestrian recognition learning model generation unit for generating a pedestrian recognition learning model for extracting partial characteristic values for each body part of a plurality of pedestrians according to the passage of time, The feature map extracted through the model is learned through the pedestrian attribute extraction network, Wherein the pedestrian recognition network and the pedestrian property extraction network are connected to the feature map extraction network, and wherein the pedestrian recognition network and the pedestrian property extraction network are connected to the feature map extraction network The combined deep layer network is configured to be able to combine the partial feature value and the attribute information.
또한 상기 특징맵 추출 네트워크는, 독립적으로 구성되는 복수의 컨볼루션 레이어를 포함하며, 각 컨볼루션 레이어를 통해 상기 영상데이터로부터 보행자의 각 신체부분을 개별적으로 분류하여, 상기 각 신체부분에 대한 특징맵을 각각 추출하도록 구성되며, 상기 보행자 인식 네트워크는, 상기 특징맵을 복수의 파티션으로 분할하고, 상기 분할한 각각의 파티션에 대한 차원을 최소화하여 상기 보행자의 부분특징값을 추출하도록 구성되고, 상기 보행자 속성추출 네트워크는, 서로 다른 스케일(scale)을 가지는 복수의 피라미드 레벨을 이용하여 상기 특징맵을 복수개의 하위영역으로 분리하고, 상기 각 하위영역에 대한 에버리지 풀링을 수행하여 적어도 하나 이상의 속성정보를 추출하도록 구성되는 것을 특징으로 한다.The feature map extracting network may further include a plurality of independently arranged convolution layers, and each of the body parts of the pedestrian may be classified individually from the image data through each convolution layer, and a feature map Wherein the pedestrian recognition network is configured to divide the feature map into a plurality of partitions and to extract a partial feature value of the pedestrian by minimizing a dimension for each divided partition, The attribute extraction network separates the feature map into a plurality of sub-regions using a plurality of pyramid levels having different scales and performs at least one property information extraction .
또한 상기 부분특징값은, 상기 보행자의 얼굴, 몸체, 팔, 다리 또는 이들의 조합에 대한 특징값을 포함하며, 상기 속성정보는, 보행자의 성별, 나이, 보행자가 입고 있는 의복의 종류, 상기 보행자가 소지한 소지물건, 상기 보행자가 착용하고 있는 착용물건 또는 이들의 조합을 포함하는 것을 특징으로 한다.The partial feature value may include a feature value for a face, a body, an arm, a leg, or a combination of the pedestrians, and the attribute information may include at least one of a sex of a pedestrian, , A worn article worn by the pedestrian, or a combination thereof.
또한 상기 보행자 인식 및 속성추출 시스템은, 특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 생성한 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적부를 더 포함하는 것을 특징으로 한다.In addition, the pedestrian recognition and attribute extraction system may be configured such that, when a query image for a specific pedestrian is input, the pedestrian recognition and attribute extraction system uses the generated learning image for feature map extraction, the pedestrian recognition learning model, And a pedestrian tracking unit for extracting the partial feature value and the attribute information of the specific pedestrian with respect to the pedestrian tracing unit.
또한 상기 보행자 추적부는, 상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산부 및 상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함하는 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공부를 더 포함하는 것을 특징으로 한다.The pedestrian tracking unit may further include a similarity calculation unit for calculating the similarity between the partial feature value and the attribute information of the extracted specific pedestrian and the partial feature value and the attribution information of the previously stored image data and the degree of similarity And a tracking result providing unit for outputting a tracking result for the specific pedestrian including at least one image data.
또한 상기 보행자 추적부는, 상기 추출한 특정 보행자의 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 결합하는 시공간적 특징 결합부를 더 포함하는 것을 특징으로 한다.The pedestrian tracking unit may further include a spatiotemporal feature combining unit for extracting spatio-temporal features from the partial feature value and the attribute information of the extracted specific pedestrian, and analyzing and combining the extracted spatiotemporal features.
아울러 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 방법은, 복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력 단계, 상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성 단계, 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성 단계 및 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성 단계를 포함하며, 상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 각각 연결되어, 상기 부분특징값과 속성정보를 결합할 수 있도록 하기 위한 결합심층네트워크를 구성하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a pedestrian recognition and attribute extraction method based on a combined deep layer network, comprising: inputting image data from a plurality of surveillance cameras; A feature map extraction learning model for generating a feature map extraction learning model for extracting a feature map for each body part of a plurality of pedestrians, a feature map extraction step for extracting a feature map extracted through the generated feature map extraction learning model A pedestrian recognition learning model for pedestrian recognition for learning a pedestrian recognition learning model for extracting a partial feature value for each body part of a plurality of pedestrians according to the passage of time, The feature map extracted through the extraction learning model is learned through the pedestrian attribute extraction network And a pedestrian attribute extraction learning model generating step for generating a pedestrian attribute extraction learning model for extracting the pedestrian attribute information in accordance with the passage of time, And a combined depth network connected to the map extracting network for combining the partial feature value and the attribute information.
또한 상기 보행자 인식 및 속성추출 방법은, 특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 생성한 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적 단계를 더 포함하는 것을 특징으로 한다.Further, the pedestrian recognition and attribute extraction method may further include a step of, when a query image for a specific pedestrian is input, using the generated learning image for feature map extraction, the pedestrian recognition learning model and the pedestrian attribute extraction learning model, And a pedestrian tracking step of extracting the partial feature value and the attribute information of the specific pedestrian for the pedestrian.
또한 상기 보행자 추적 단계는, 상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산 단계 및 상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함하는 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공 단계를 더 포함하는 것을 특징으로 한다.The step of tracking the pedestrian may further include a step of calculating a degree of similarity between the partial feature value and the attribute information of the extracted specific pedestrian and the partial feature value of the stored image data and the attribution information and the degree of similarity based on the result of calculating the degree of similarity And outputting a tracking result for the specific pedestrian including at least one image data having a high image quality.
또한 상기 보행자 추적 단계는, 상기 추출한 특정 보행자의 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 결합하는 시공간적 특징 결합 단계를 더 포함하는 것을 특징으로 한다.The step of tracing the pedestrian may further include a spatiotemporal feature combining step of extracting a spatiotemporal feature from the partial feature value and the attribute information of the extracted specific pedestrian and analyzing and combining the extracted spatiotemporal feature.
이상에서와 같이 본 발명의 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템은, 결합심층네트워크를 통해 복수의 감시카메라로부터 입력되는 영상을 실시간으로 학습하여 보행자의 부분특징정보와 속성정보를 추출함으로써, 보행자의 각 신체부분에 대한 특징뿐만 아니라 보행자가 착용하고 있는 복장, 장식물 또는 소지품까지 고려하여 상기 영상에서 보행자의 일부가 장애물 등에 의해 가려진 경우에도 정확하게 인식 또는 재인식할 수 있도록 하는 효과가 있다.As described above, the pedestrian recognition and property extraction system based on the combined deep layer network of the present invention extracts partial feature information and attribute information of a pedestrian by learning images input from a plurality of surveillance cameras through a combined deep layer network in real time, It is possible to accurately recognize or re-recognize even when a part of the pedestrian is obstructed by an obstacle or the like in consideration of not only the characteristics of each body part of the pedestrian but also the clothes, ornaments or belongings worn by the pedestrian.
즉, 본원발명은 상기와 같은 효과로 인해 스마트비디오 감식장치, 무인 방범장치 등과 같은 다양한 시스템뿐만 아니라, CCTV 망이 설치되어 있는 경우 동일인의 이동경로까지 추정할 수 있어 경찰의 정보기술력의 향상을 가져오는 범죄수사에 유용하게 활용될 수 있다.That is, according to the present invention, not only various systems such as a smart video detection device, an unmanned security device, and the like can estimate the movement path of the same person when the CCTV network is installed owing to the above-mentioned effect, thereby improving the information technology of the police It can be useful for criminal investigation.
도 1은 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 보행자 추적부의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 결합심층네트워크, 보행자 인식 네트워크 및 속성추출 네트워크의 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 복수의 감시카메라로부터 입력되는 영상데이터를 학습하는 절차를 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 특정 보행자를 추적하는 절차를 나타낸 흐름도이다.1 is a conceptual diagram schematically illustrating a pedestrian recognition and attribute extraction system based on a combined deep layer network according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of a pedestrian recognition and attribute extraction system based on a combined deep layer network according to an embodiment of the present invention.
3 is a block diagram illustrating a configuration of a pedestrian tracking unit according to an embodiment of the present invention.
4 is a diagram illustrating a structure of a combined deep layer network, a pedestrian recognition network, and an attribute extraction network according to an embodiment of the present invention.
5 is a flowchart illustrating a procedure for learning image data input from a plurality of surveillance cameras according to an exemplary embodiment of the present invention.
6 is a flowchart illustrating a procedure for tracking a specific pedestrian according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예를 상세히 설명하기로 한다. 본 발명의 명세서 또는 출원에 개시되어 있는 일 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의 되어 있지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 아니한다.Various embodiments of the present invention will be described in detail with reference to the accompanying drawings. Specific structural and functional descriptions of one embodiment disclosed in the specification or application are set forth merely for the purpose of describing embodiments of the invention and are not to be interpreted as limiting the scope of the invention, All terms used herein, including the terminology, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein No.
도 1은 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 개략적으로 설명하기 위해 나타낸 개념도이다.1 is a conceptual diagram schematically illustrating a pedestrian recognition and attribute extraction system based on a combined deep layer network according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템(100)(이하, 보행자 인식 및 속성 추출 시스템이라 칭함)은 복수의 감시카메라(200)(예: CCTV)로부터 입력되는 영상데이터를 학습하여, 해당 영상데이터로부터 특정 보행자를 인식 또는 재인식하고, 이에 대한 결과를 사용자 단말(300)로 제공한다.1, a pedestrian recognition and attribute extraction system 100 (hereinafter referred to as a pedestrian recognition and attribute extraction system) based on a combined deep layer network according to an embodiment of the present invention includes a plurality of surveillance cameras 200, (E.g., CCTV), recognizes or re-recognizes a specific pedestrian from the video data, and provides the result to the user terminal 300. [
복수의 감시카메라(200)는 학교, 거리, 공원, 건물 등의 공공장소와 같은 다양한 장소에 설치되어 일정영역을 촬영하는 CCTV와 같은 다양한 촬영 장치를 의미한다. The plurality of surveillance cameras 200 refers to various photographing apparatuses such as a CCTV installed in various places such as schools, streets, parks, buildings, and the like, and photographing a certain area.
또한 상기 복수의 감시카메라(200)는 카메라 네트워크(예: CCTV 망)를 형성하며, 24시간 구동되어 상기 일정영역을 촬영한 영상데이터를 실시간으로 보행자 인식 및 속성 추출 시스템(100)으로 전송하는 기능을 수행한다.In addition, the plurality of surveillance cameras 200 form a camera network (e.g., a CCTV network) and transmit video data photographed in the predetermined area for 24 hours to the pedestrian recognition and
또한 보행자 인식 및 속성 추출 시스템(100)은 상기 입력되는 영상데이터를 CNN 기반의 인공지능 기법을 통해 기계학습을 수행하여, 상기 영상데이터로부터 보행자의 부분특징값과 속성정보를 각각 추출하는 학습모델을 생성한다.In addition, the pedestrian recognition and
즉, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 영상데이터를 구성하는 각각의 이미지를 학습하여, 상기 영상데이터에 존재하는 복수의 보행자에 대한 부분특징값과 속성정보를 추출하는 학습모델을 생성하는 것이다.That is, the pedestrian recognition and
한편 상기 영상데이터는 24시간 구동되는 감시카메라(200)에 의해 전송되어 수집되므로, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 영상데이터를 학습함으로써, 생성되는 상기 학습모델을 지속적으로 업데이트한다.Meanwhile, since the image data is transmitted and collected by the surveillance camera 200 driven for 24 hours, the pedestrian recognition and
이때, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 영상데이터의 인식률을 향상시키기 위해 상기 영상데이터의 잡음제거 및 영상보정을 수행하며, 보행자에 대한 관심영역을 설정한 후, 상기 학습에 적합한 크기로 리사이징(resizing)한다.At this time, the pedestrian recognition and
또한 잡음제거 및 영상보정은 메디안 필터(standard median filter, SMF)를 이용한 방법 또는 중심 가중치 메디안 필터(center weighted median filter, CWMF) 이용한 방법을 통해 수행될 수 있다. 다만, 본 발명에서의 전처리 과정은 상기 영상데이터의 품질을 향상시키기 위해 수행되는 것으로, 상기에서 열거한 방법 이외에 다양한 방법을 통해 상기 잡음제거 및 영상보정에 대한 전처리 과정을 수행할 수 있음은 당연하다.In addition, noise cancellation and image correction can be performed by a method using a standard median filter (SMF) or a method using a center weighted median filter (CWMF). However, the preprocessing process according to the present invention is performed to improve the quality of the image data. It is of course possible to perform the preprocessing process for the noise reduction and the image correction through various methods other than the methods listed above .
또한 상기 관심영역은, 상기 영상데이터에 나타나는 적어도 하나 이상의 보행자에 대한 영역을 의미한다.The area of interest refers to at least one or more pedestrian areas indicated by the image data.
또한 보행자 인식 및 속성 추출 시스템(100)은 특징맵 추출 네트워크를 통해 상기 전처리한 영상데이터를 학습하여, 보행자의 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성한다.Also, the pedestrian recognition and
즉, 보행자 인식 및 속성 추출 시스템(100)은 상기 전처리한 영상데이터로부터 적어도 하나 이상의 보행자 신체부분을 각각 분류하고, 상기 분류한 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 것이다.That is, the pedestrian recognition and
또한 보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출 네트워크의 출력단에 연결되어 보행자의 각 신체부분에 대한 부분특징과 상기 보행자의 속성정보를 파악하기 위한 결합심층네트워크를 포함한다.Also, the pedestrian recognition and
이때, 상기 결합심층네트워크는 상기 보행자의 각 신체부분에 대한 부분특징값을 추출함으로서, 상기 보행자를 인식하기 위한 보행자 인식 네트워크 및 상기 보행자에 대한 적어도 하나 이상의 속성정보를 추출함으로써, 상기 보행자의 속성정보를 인식하기 위한 보행자 속성추출 네트워크를 포함한다.At this time, the combined deep layer network extracts partial characteristic values for each body part of the pedestrian, extracting at least one attribute information for the pedestrian recognition network for recognizing the pedestrian and the pedestrian, And a pedestrian attribute extraction network for recognizing the pedestrian.
보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출 네트워크의 출력단에 연결되고, 분기되는 보행자 인식 네트워크를 통해 상기 특징맵 추출 네트워크에서 추출한 특징맵을 학습하여, 보행자의 각 신체부분에 대한 부분특징값을 추출하기 위한 보행자 인식용 학습모델을 생성하고, 상기 생성한 보행자 인식용 학습모델을 학습모델 데이터베이스(420)에 저장한다.The pedestrian recognition and
즉, 보행자 인식 및 속성 추출 시스템(100)은 상기 보행자 인식 네트워크를 통해 상기 영상데이터로부터 보행자의 각 신체부분에 대한 부분특징값을 추출함으로써, 해당 영상데이터에 포함된 보행자를 인식하게 되는 것이다.That is, the pedestrian recognition and
상기 보행자의 부분특징값은, 상기 보행자의 머리, 몸체, 다리, 팔 등과 같이 각 신체부분에 대한 특징정보를 의미하는 것이다. 따라서, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 보행자 인식 네트워크를 통해 상기 특징맵을 학습하여, 상기 보행자의 머리, 몸체, 다리, 팔 또는 이들의 조합을 포함하는 상기 보행자의 각 신체부분에 대한 특징값을 추출한다.The partial characteristic value of the pedestrian means characteristic information about each body part such as the head, the body, the leg, and the arm of the pedestrian. Accordingly, the pedestrian recognition and
또한 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출 네트워크의 출력단에 연결되고, 분기되는 보행자 속성추출 네트워크를 통해 상기 특징맵 추출 네트워크에서 추출한 특징맵을 학습하여, 보행자의 속성정보를 추출하기 위한 보행자 속성추출용 학습모델을 생성한 후, 상기 생성한 학습모델을 학습모델 데이터베이스(420)에 저장한다.In addition, the pedestrian recognition and
상기 보행자의 속성정보는 나이, 의복의 종류(예: 긴팔, 반팔, 반바지, 긴 바지, 캐주얼, 정장 등), 상기 의복의 색깔, 신발의 종류(슬리퍼, 운동화, 구두 등), 머리의 길이, 소지물건(가방, 핸드백 등), 착용물건(안경, 모자, 귀걸이 등), 성별 또는 이들의 조합을 포함한다.The attribute information of the pedestrian may include at least one of age, type of clothing (e.g., long sleeve, short sleeve, shorts, long pants, casual wear, suit, etc.), color of clothes, type of shoes (slippers, shoes, shoes, (Bag, handbag, etc.), items to be worn (glasses, hats, earrings, etc.), gender, or a combination thereof.
따라서, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 속성추출 네트워크를 통해 상기 특징맵을 학습하여, 상기 보행자의 나이, 의복, 소지품, 착용품 또는 이들의 조합을 포함하는 상기 보행자의 속성정보를 추출하기 위한 학습모델을 생성한다.Therefore, the pedestrian recognition and
또한 상기 보행자 인식 및 속성 추출 시스템(100)은 영상데이터로부터 추출한 보행자의 부분특징값과 속성정보를 해당 영상데이터와 매핑하여 저장한다.The pedestrian recognition and
한편 상기 심층결합 네트워크를 구성하는 보행자 인식 네트워크 및 보행자 속성추출 네트워크는 도 4를 참조하여 상세히 설명하도록 한다.The pedestrian recognition network and the pedestrian property extraction network constituting the deep layer combined network will be described in detail with reference to FIG.
한편 상기 학습에 사용되는 전처리된 영상데이터는 감시카메라(200)로 통해 촬영되는 동적영상으로써, 복수의 이미지로 구성되므로 결국 상기 보행자 인식 및 속성 추출 시스템(100)은 시간의 흐름에 따라 상기 보행자에 대한 부분특징값과, 속성정보를 추출하게 되는 것이다.Meanwhile, since the preprocessed image data used for the learning is a dynamic image photographed by the surveillance camera 200, the pedestrian recognition and
이후, 특정 보행자를 추적하기 위한 질의 이미지가 입력되는 경우, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 질의 이미지를 상기의 전처리과정을 통해 전처리한 후, 상기 특징맵 추출 네트워크, 보행자 인식 네트워크 및 보행자 속성추출 네트워크를 통해 생성한 각각의 학습모델을 이용하여 상기 특정 보행자에 대한 부분특징값과 속성정보를 추출함으로써, 상기 특정 보행자를 인식하고, 상기 인식한 특정 보행자의 속성정보를 인식한다.Thereafter, when a query image for tracking a specific pedestrian is input, the pedestrian recognition and
이때, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 추출한 특정 보행자에 대해 부분특징값과 속성정보로부터 시공간적 특징을 추출하고, 이를 분석하여 상기 부분특징값 및 속성정보를 시공간적으로 결합함으로써, 상기 인식한 특정 보행자가 어떠한 속성정보를 가지고 있는지를 명확하고 정확하게 인식할 수 있도록 한다.At this time, the pedestrian recognition and
또한 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 추출한 특정 보행자에 대한 부분특징값 및 속성정보를 상기 학습을 통해 기 저장된 영상데이터에 대한 부분특징값 및 속성정보에 대한 유사도를 계산하여 높은 적어도 하나 이상의 영상데이터들의 순위를 결정하여 데이터베이스(400)로부터 추출함으로써, 상기 특정 보행자를 인식하거나 재인식을 수행한다.The pedestrian recognition and
상기에서 설명한 것과 같이, 본 발명의 보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출 네트워크의 출력단에 결합되고, 보행자의 부분특징값과 속성정보를 각각 추출하여 결합할 수 있도록 하는 결합심층네트워크를 통해 보행자를 신속하고 정확하게 인식할 수 있도록 한다. As described above, the pedestrian recognition and
즉, 본 발명은 얼굴특징만을 가지고 보행자를 인식하거나 재인식하는 것이 아니라, 결합심층네트워크를 통해 보행자가 포함된 영상데이터로부터 보행자의 각 신체에 대한 부분특징과 해당 보행자가 착용하거나 소지하고 있는 물건에 대한 속성정보까지 모두 고려하여 해당 보행자를 인식하도록 함으로써, 상기 영상데이터가 장애물에 의해 일부분이 가려진 경우에도 특정 보행자를 신속하고 정확하게 재인식하고 추적할 수 있도록 한다.That is, the present invention is not limited to recognizing or re-recognizing pedestrians only with facial features, but can also be applied to a partial characteristic of each body of the pedestrian from the image data including the pedestrian through the combined deep network, And attribute information of the pedestrian, so that the pedestrian can be quickly and accurately recognized and tracked even when a part of the image data is obscured by an obstacle.
이하에서는 도 2를 참조하여 보행자 인식 및 속성 추출 시스템(100)을 상세히 설명하도록 한다.Hereinafter, the pedestrian recognition and
도 2는 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템의 구성을 나타낸 블록도이다.2 is a block diagram illustrating a configuration of a pedestrian recognition and attribute extraction system based on a combined deep layer network according to an embodiment of the present invention.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템(100)은 복수의 감시카메라(200)로부터 영상데이터를 입력받는 영상데이터 입력부(110), 상기 입력받은 영상데이터와 질의 이미지 입력부(130)를 통해 입력되는 질의 이미지를 전처리하는 전처리부(120), 특정 보행자를 인식 또는 재인식하기 위한 질의 이미지를 입력받는 질의 이미지 입력부(130), 상기 입력받은 질의 이미지를 토대로 상기 특정 보행자를 추적하는 보행자 추적부(170), 상기 전처리한 영상데이터를 학습하여 보행자의 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성부(140), 상기 생성한 특징맵 추출용 학습모델을 통해 추출한 특징맵을 학습하여, 보행자 신체부분에 대한 부분특징값을 추출함으로서, 보행자를 인식하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성부(150) 및 상기 특징맵 추출용 학습모델을 통해 추출한 특징맵을 학습하여, 보행자의 속성정보를 추출함으로써, 보행자의 속성정보를 인식하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성부(160)를 포함하여 구성된다.2, a pedestrian recognition and
영상데이터 입력부(110)는 복수의 감시카메라(200)로부터 각각 촬영된 영상데이터를 실시간으로 입력받아 수집하는 기능을 수행한다.The video
상기 감시카메라(200)는 복수의 장소에서 설치되어 24시간 구동되면서 일정 범위를 촬영하는 CCTV 등과 같은 촬영 장치를 의미한다.The surveillance camera 200 refers to a photographing device such as CCTV that is installed at a plurality of places and photographs a certain range while being driven for 24 hours.
또한 전처리부(120)는 상기 수집한 영상데이터에서 발생한 잡음을 제거하고, 보정하며, 해당 영상데이터의 관심영역(즉, 보행자 영역)을 설정하여, 상기 특징맵 추출용 학습모델 생성부(150)로 제공한다.The
이때, 상기 전처리부(120)는 상기 수집한 영상데이터를 상기 특징맵 추출용 학습모델 생성부(150)의 특징맵 추출 네트워크에 적합한 크기(예: 384 x 128)로 정규화하여 상기 특징맵 추출용 학습모델 생성부(140)로 제공하고, 상기 전처리한 영상데이터를 영상데이터 데이터베이스(410)에 저장한다.At this time, the
특징맵 추출용 학습모델 생성부(140)는 특징맵 추출 네트워크를 통해 상기 전처리된 영상데이터를 학습하여, 상기 보행자 인식용 학습모델 생성부(150)와 상기 보행자 속성추출용 학습모델 생성부(160)에서 학습의 대상이 되는 보행자의 각 신체부분에 대한 특징맵을 추출하는 특징맵 추출용 학습모델을 생성하고, 상기 생성한 특징맵 추출용 학습모델을 학습모델 데이터베이스(420)에 저장한다.The feature map extracting learning model generating unit 140 learns the preprocessed image data through the feature map extracting network to generate the pedestrian recognition learning
즉, 특징맵 추출용 학습모델은 상기 전처리한 영상데이터로부터 보행자의 신체부분을 개별적으로 분류하고, 이에 대한 특징맵을 추출한다.That is, the learning model for feature map extraction individually classifies the body parts of the pedestrian from the preprocessed image data, and extracts feature maps therefrom.
보행자 인식용 학습모델 생성부(150)는 보행자 인식 네트워크를 통해 상기 특징맵 추출용 학습모델을 통해 추출한 특징맵을 학습하여, 보행자를 인식하기 위한 보행자 인식용 학습모델을 생성하며, 상기 생성한 보행자 인식용 학습모델을 학습모델 데이터베이스(420)에 저장한다.The pedestrian recognition learning
즉, 상기 보행자 인식용 학습모델 생성부(150)는 상기 특징맵을 학습하여, 시간의 흐름에 따라 복수의 보행자를 인식 또는 재인식할 수 있도록, 복수의 보행자의 각 신체부분에 대한 부분특징값을 추출하기 위한 보행자 인식용 학습모델을 생성한다.That is, the pedestrian recognition learning
한편 상기 부분특징값은 보행자의 머리, 몸체, 다리, 팔 등과 같이 보행자의 각 신체부분에 대한 특징값을 의미하며, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 부분특징값을 추출함으로써, 해당 영상데이터에 포함된 적어도 하나 이상의 보행자를 인식하게 된다. The pedestrian recognition and
보행자 속성추출용 학습모델 생성부(160)는 상기 생성한 특징맵 추출용 학습모델을 통해 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성한다.The pedestrian attribute extraction learning
상기 속성정보는 보행자의 의복 종류, 성별, 나이, 소지물건, 착용물건 또는 이들의 조합을 포함하는 것으로, 상기 보행자 속성추출용 학습모델의 출력값은 미리 설정한 각 속성정보에 대한 확률값이며, 상기 보행자 인식 및 속성추출 시스템(100)은 미리 설정한 값 이상의 확률값을 가지는 속성정보를 선택함으로써, 상기 선택한 속성정보를 상기 보행자에 대한 유효한 속정정보로 판정하게 된다.Wherein the attribute information includes a type of clothes of a pedestrian, a sex, an age, a thing to be possessed, a thing to wear, or a combination thereof, the output value of the learning model for pedestrian attribute extraction is a probability value for each property information set in advance, The recognition and
또한 상기 보행자 인식 네트워크와 보행자 속성추출 네트워크는 상기 특징맵 추출용 네트워크의 출력단에 각각 연결되어 분기됨으로써, 결합심층네트워크를 구성함은 상술한 바와 같다.In addition, the pedestrian recognition network and the pedestrian attribute extraction network are connected to the output terminal of the feature map extraction network, respectively, so that the combined deep layer network is configured as described above.
또한 질의 이미지 입력부(130)는 특정 보행자를 추적하기 위한 질의 이미지를 입력받는다.The query
질의 이미지는, 영상데이터 데이터베이스(410)로부터 직접적 추출되거나, 사용자 단말(300)로부터 제공될 수 있다.The query image may be extracted directly from the
이때, 상기 질의 이미지는 상기 전처리부(120)에서 수행하는 전처리 과정을 통해 전처리된다.At this time, the query image is preprocessed through a preprocessing process performed by the
보행자 추적부(170)는 상기 입력된 특정 보행자에 대한 질의 이미지를 이용하여 상기 영상데이터로부터 상기 특정 보행자를 인식 또는 재인식하여 해당 보행자에 대한 이동경로를 추적하는 기능을 수행한다.The
또한 상기 보행자 추적부(170)는 상기 추적을 수행하기 위해 우선적으로, 특징맵 추출용 학습모델을 학습모델 데이터베이스(420)로부터 로딩하여, 상기 전처리한 질의 이미지를 입력하여, 상기 특정 보행자에 대한 특징맵을 추출한다.In order to perform the tracking, the
다음으로 보행자 추적부(170)는 상기 학습모델 데이터베이스(420)로부터 보행자 인식용 학습모델과 보행자 속성 추출용 학습모델을 로딩하여, 상기 추출한 특징맵을 각각 입력함으로써, 상기 특정 보행자에 대한 부분특징값을 추출하고, 이와 동시에 상기 특정 보행자에 대한 속성정보를 추출한다. 이를 통해 상기 보행자 추적부(140)는 상기 특정 보행자를 인식하고, 상기 인식한 특정 보행자의 속성정보를 각각 인식할 수 있다.Next, the
이때, 보행자 추적부(170)는 상기 추출한 특정 보행자에 대한 부분특징값과 속성정보를 분석하고, 상기 분석한 부분특징값과 속성정보를 시공간적으로 결합함으로써, 상기 인식한 특정 보행자가 가지는 속성정보를 보다 정확하게 인식할 수 있도록 구성될 수 있다.At this time, the
이후, 상기 보행자 추적부(170)는 상기 추출한 특정 보행자에 대한 부분특징값 및 상기 인식한 속성정보와 상기 영상데이터 데이터베이스(410)에 저장된 기존의 보행자에 대한 부분특징값 및 속성정보에 대한 유사도를 계산하여 유사도가 높은 영상데이터를 선택하여 출력한다. 이를 통해 상기 보행자 추적부(170)는 감시카메라(200)로부터 촬영된 복수의 보행자 중, 상기 특정 보행자와 동일한 인물을 인식 또는 재인식하여 상기 특정 보행자에 대한 이동경로를 정확하고 신속하게 추적할 수 있도록 한다.The
한편 상기 보행자 추적부(170)는 도 3을 참조하여 상세히 설명하도록 한다.The
도 3은 본 발명의 일 실시예에 따른 보행자 추적부의 구성을 나타낸 블록도이다.3 is a block diagram illustrating a configuration of a pedestrian tracking unit according to an embodiment of the present invention.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 보행자 추적부(170)는 특정 보행자를 인식 및 재인식함으로써, 상기 감시카메라(200) 네트워크상에서 특정 보행자의 이동경로를 추적하는 기능을 수행하게 된다.3, the
한편 보행자 인식 및 속성 추출 시스템(100)은 특정 보행자를 인식하기 위한 질의 이미지가 입력되는 경우, 상기 입력되는 질의 이미지를 전처리하여 상기 보행자 추적부(170)로 제공한다.The pedestrian recognition and
상기 보행자 추적부(170)는 상기 전처리된 질의 이미지로부터 특징맵을 추출하는 보행자 특징맵 추출부(171), 상기 추출한 특징맵을 토대로 상기 특정 보행자를 인식하는 보행자 인식부(172), 상기 추출한 특징맵을 토대로 상기 인식한 특정 보행자에 대한 속성정보를 인식하는 보행자 속성정보 인식부(173), 시공간적 결합부(174), 유사도 계산부(175) 및 추적결과 제공부(176)를 포함하여 구성된다.The
상기 보행자 특징맵 추출부(171)는 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 것으로, 상기 추출은 학습모델 데이터베이스(420)로부터 특징맵 추출용 학습모델을 로딩하고, 상기 전처리된 질의 이미지를 입력함으로써, 수행된다.The pedestrian characteristic
즉, 상기 보행자 특징맵 추출부(171)는 상기 특징맵 추출용 학습모델을 통해, 특정 보행자의 얼굴, 몸체, 다리 및 팔에 대한 특징맵을 추출하게 된다.That is, the pedestrian characteristic
또한 보행자 인식부(172)는 학습모델 데이터베이스(420)로부터 보행자 인식용 학습모델을 로딩하고, 상기 로딩한 보행자 인식용 학습모델에 상기 추출한 특징맵을 입력하여, 상기 특정 보행자의 부분특징값을 추출한다.The
상기 부분특징값은 얼굴, 몸체, 다리 및 팔을 포함하는 상기 특정 보행자의 각 신체부분에 대한 특징값을 의미하며, 상기 보행자 인식부(172)는 상기 특정 보행자의 부분특징값을 추출함으로서, 해당 보행자를 인식하는 기능을 수행하게 된다.The partial feature value is a feature value for each body part of the specific pedestrian including the face, the body, the legs, and the arms. The
또한 보행자 속성정보 인식부(173)는 상기 인식한 특정 보행자에 대한 속성정보를 인식하기 위한 것으로, 상기 보행자 속성정보는 학습모델 데이터베이스(420)로부터 보행자 속성추출용 학습모델을 로딩하여, 상기 로딩한 보행자 속성 추출용 학습모델에 상기 특징값을 입력함으로써, 추출된다.The pedestrian attribute
이때, 상기 보행자 속성추출용 학습모델을 통해 출력되는 출력결과는 각 속성정보에 대한 확률값이며, 상기 보행자 속성정보 인식부(173)는 미리 설정한 값 이상의 확률값을 선택함으로서, 상기 특정 보행자에 대한 적어도 하나 이상의 속성정보를 인식하게 된다.At this time, the output result output through the learning model for pedestrian attribute extraction is a probability value for each attribute information, and the pedestrian attribute
또한 시공간적 특징자 결합부(174)는 상기 추출한 특정 보행자의 부분특징값과 속성정보로부터 시간적 특징 및 공간적 특징을 포함하는 시공간적 특징을 추출하여 분석하고, 상기 분석한 결과를 토대로 부분특징값과 속성정보를 시공간적으로 결합한다.Also, the temporal / spatial
즉, 상기 시공간적 특징자 결합부(174)는 특정 보행자에 대한 부분특징값과 상기 특정 보행자의 속성정보를 시공간적으로 결합함으로써, 상기 질의 이미지에 포함된 특정 보행자를 보다 정확하게 인식하기 위해 수행되는 것이다.That is, the temporal / spatial
또한 유사도 계산부(175)는, 상기 추출한 보행자 부분특징값과 속성정보(또는 상기 결합한 부분특징값과 속성정보)를 기 저장된 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 기능을 수행한다.Also, the
상기 유사도는 유클리드 거리(euclidean distance), 해밍 거리(hamming distance) 등과 같은 다양한 유사도 계산 방법을 통해 수행될 수 있다. 즉, 본 발명의 유사도 계산은 상기 추출한 보행자의 부분특징값과 속성정보 및 기 저장된 영상데이터의 부분특징값과 속성정보 간의 유사 매칭사이의 거리를 계산하여 유사도가 높은 영상데이터를 추출하기 위한 것으로, 상기 유사도를 계산하는 방법에 대해서는 그 제한을 두지 아니한다.The degree of similarity may be performed through various similarity calculation methods such as an euclidean distance, a hamming distance, and the like. That is, the similarity calculation of the present invention is for extracting image data having high similarity by calculating the distance between the partial feature value and the attribute information of the extracted pedestrian and the similar matching between the partial feature value of the stored image data and the attribute information, There is no limitation on the method of calculating the degree of similarity.
또한 상기 추적결과 제공부(176)는 상기 유사도 계산부(175)의 계산 결과에 따라 미리 설정한 값 이상의 유사도를 가지는 적어도 하나 이상의 영상데이터를 선택하여, 상기 영상데이터 데이터베이스(410)로부터 추출하며, 상기 추출한 영상데이터를 포함한 추적결과를 디스플레이(미도시)에 출력하거나, 사용자 단말(300)로 제공한다.Also, the tracking
이때, 상기 추적결과는 유사도가 높은 적어도 하나 이상의 영상데이터, 상기 추출한 측정 보행자에 대한 부분특징값 및 속성정보, 상기 영상데이터가 촬영된 촬영시간 및 촬영장소 또는 이들의 조합을 포함한다.At this time, the tracking result includes at least one piece of image data having a high degree of similarity, a partial characteristic value and attribute information for the extracted measured pedestrian, a photographing time and a photographing place where the image data is photographed, or a combination thereof.
상기에서 설명한 것과 같이, 보행자 추적부(170)는 질의 이미지로부터 특정 보행자에 대한 부분특징값과 속성정보를 추출하고, 상기 추출한 부분특징값과 속성정보를 이용하여 상기 감시카메라(200)를 통해 실시간으로 촬영되는 영상데이터로부터 상기 특정 보행자를 정확하고 효과적으로 추적할 수 있다. As described above, the
도 4는 본 발명의 일 실시예에 따른 특징맵 추출 네트워크, 보행자 인식 네트워크 및 속성추출 네트워크의 구조를 나타낸 도면이다.4 is a diagram illustrating a structure of a feature map extraction network, a pedestrian recognition network, and an attribute extraction network according to an embodiment of the present invention.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 특징맵 추출용 학습모델 생성부(140)에서 특징맵 추출용 학습모델의 생성하기 위한 기계학습 구조인 특징맵 추출 네트워크는 복수의 컨볼루션 레이어로 구성된 CNN 기반의 백본 네트워크를 포함한다.4, the feature map extraction network, which is a machine learning structure for generating a feature model map extraction model in the feature model map extraction model generation unit 140 according to an embodiment of the present invention, And a CNN-based backbone network composed of a routing layer.
또한 상기 특징맵 추출 네트워크는 전처리된 영상데이터로부터 보행자의 각 신체부분에 대한 특징맵을 추출하여 출력하는 것으로, 보행자 인식 네트워크 및 보행자 속성추출 네트워크를 포함하는 결합심층네트워크과 결합되어, 상기 출력한 특징맵을 통해 보행자 부분특징값 및 보행자 속성정보를 추출할 수 있도록 한다.The feature map extraction network extracts feature maps for each body part of the pedestrian from the preprocessed image data and outputs the feature maps. The feature map extraction network is coupled to a combined deep layer network including a pedestrian recognition network and a pedestrian attribute extraction network, So that the pedestrian portion feature value and the pedestrian attribute information can be extracted.
또한 상기 복수의 컨볼루션 레이어는 전처리된 영상데이터를 학습하여, 해당 영상데이터에 포함된 보행자의 각 신체부분을 분류하고, 상기 분류한 각 신체부분의 부분특징에 대한 특징맵을 생성한다.Further, the plurality of convolution layers classify the body parts of the pedestrian included in the image data by learning the preprocessed image data, and generate feature maps of partial features of the classified body parts.
이때, 본 발명에서의 특징맵 추출 네트워크는 단일 공유 컨볼루션 레이어로 구성되는 일반적인 CNN 모델과는 달리 복수의 개별적인 컨볼루션 레이어로 구축되어 상기 부분특징에 대한 차원을 획기적으로 감소시킬 수 있도록 구성된다.At this time, the feature map extracting network according to the present invention is configured to be constructed as a plurality of individual convolution layers, which can drastically reduce the dimension of the partial feature, unlike the general CNN model composed of a single shared convolution layer.
즉, 특징맵 추출 네트워크는 상기 각 컨볼루션 레이어가 가지고 있는 미리 설정된 가중치에 따른 컨볼루션 연산과 서브샘플링 및 ReLU 함수를 통해 상기 영상데이터의 차원을 줄여가며, 상기 각 컨볼루션 레이어를 통해 영상데이터에 존재하는 보행자의 각 신체부분에 대한 활성화맵(activation map)인 특징맵을 추출한다.That is, the feature map extracting network reduces the dimension of the image data through the convolution operation, the sub-sampling, and the ReLU function according to a preset weight value held by each convolution layer, and transmits the image data through each convolution layer And extracts a feature map that is an activation map for each body part of an existing pedestrian.
또한 보행자 인식 네트워크는 상기 특징맵 추출 네트워크에서 추출되는 특징맵으로부터, 보행자의 각 신체에 대한 부분특징값을 추출한다.Further, the pedestrian recognition network extracts partial feature values for each body of the pedestrian from the feature maps extracted from the feature map extraction network.
상기 추출은 상기 특징맵의 차원 감축을 거친 후, 완전 연결된 레이어(fully connected layer)와 소프트 맥스(soft max) 함수에 의해 수행된다.The extraction is performed by a fully connected layer and a soft max function after reducing the dimension of the feature map.
상기 입력되는 영상데이터가 상기 특징맵 추출 네트워크를 통해 얻어지는 특징맵(즉, 활성화 3D 텐서(tensor) T)이 상기 보행자 인식 네트워크에 입력되면, 채널 축을 따라 열벡터로 간주되는 활성화 벡터를 정의할 수 있다.When the input image data is input to the pedestrian recognition network through the characteristic map extracting network (i.e., the activated 3D tensor T), an activation vector, which is regarded as a column vector along the channel axis, can be defined have.
즉, 보행자 인식 네트워크는 평균 풀링(average pooling)을 이용하여 상기 특징맵을 복수 개의 수평 스트라이프(horizontal stripes)로 분할(즉, 파티션)한 다음, 상기 스트라이프의 모든 열벡터를 부분 열벡터 gi(i= 1,2, 3,...p)로 평균화한다.That is, the pedestrian recognition network divides (i.e., partitions) the feature map into a plurality of horizontal stripes using average pooling, and then divides all the column vectors of the stripes into partial column vectors g i ( i = 1, 2, 3, ... p).
또한 보행자 인식 네트워크는 컨볼루션 레이어를 이용하여 스트라이프의 차원을 줄이며, 완전 연결된 레이어와 각 스트라이프에 대한 소프트 맥스 함수를 사용하여 최종적으로 보행자의 각 신체에 대한 부분특징값을 추출하게 된다.In addition, the pedestrian recognition network uses the convolution layer to reduce the dimension of the stripe, and finally, using the soft-max function for the completely connected layer and each stripe, extracts partial feature values for each body of the pedestrian.
학습과정에서, 상기 보행자 인식 네트워크는 복수 개의 스트라이프에 대해 교차 엔트로피(cross entropy) 손실에 대한 합이 최소화되도록 최적화되며, 차원 감소 후 복수 개의 조각을 연결하여 최종적인 부분특징값을 추출하게 된다.In the course of learning, the pedestrian recognition network is optimized to minimize the sum of cross entropy losses for a plurality of stripes, and the final partial feature value is extracted by connecting a plurality of pieces after the dimension reduction.
보행자 속성추출 네트워크는 상기 입력된 특징맵의 픽셀 레벨에서 보행자의 다양한 속성정보을 구별하여, 적어도 하나 이상의 속성정보를 추출할 수 있도록 하는 기능을 수행한다.The pedestrian attribute extraction network distinguishes the various property information of the pedestrian at the pixel level of the inputted feature map, and extracts at least one property information.
즉, 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크의 출력단과 결합되어, 상기 보행자의 속성정보를 추출하게 된다. 이때, 상기 속성정보는 각 속성정보에 대한 확률값으로 출력됨은 상술한 바와 같다.That is, the pedestrian attribute extraction network is combined with the output terminal of the feature map extraction network to extract the property information of the pedestrian. At this time, the attribute information is output as a probability value for each attribute information as described above.
또한 상기 보행자 속성추출 네트워크는 공간 피라미드 풀링(spatial pyramid pooling)을 적용하여, 상이한 스케일(scale)을 가지는 복수의 피라미드 레벨을 통해 상기 특징맵을 복수개의 하위 영역(즉, 빈(bin))으로 분리한다. 다음으로, 상기 속성추출 네트워크는 분리한 하위 영역에 대한 에버리지 풀링을 수행하여, 고정된 길이의 특징 벡터를 추출하고, 상기 추출한 특징 벡터를 완전연결 레이어 및 소프트 맥스 함수를 통해 최종적으로 적어도 하나 이상의 보행자 속성정보에 대한 확률값을 출력하게 된다.The pedestrian attribute extraction network also applies spatial pyramid pooling to separate the feature map into a plurality of sub-regions (i.e., bins) through a plurality of pyramid levels having different scales do. Next, the attribute extracting network extracts a feature vector having a fixed length by carrying out averaging pooling for the separated sub-region, and finally extracts the extracted feature vector through at least one or more pedestrian And outputs a probability value for the attribute information.
한편 상기 피라미드 레벨은 상기 특징맵을 특정 크기의 하위 영역으로 분리하기 위한 빈 사이즈를 의미하는 것으로, 상기 빈 사이즈는 1x1, 2x2, 3x3 또는 6x6의 크기를 가질 수 있다.On the other hand, the pyramid level means a bin size for separating the feature map into sub-regions of a specific size, and the bin size may have a size of 1x1, 2x2, 3x3, or 6x6.
상기에서 설명한 것과 같이, 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템(100)은 상기 영상데이터로부터 특징맵을 추출한 후, 두 가지의 학습스트림으로 구성된다.As described above, the pedestrian recognition and
즉, 하나의 스트림은 보행자 인식 네트워크를 통해 파티션 전략으로 보행자의 부분특징값을 추출하기 위해 상기 특징맵을 학습하며, 또 다른 하나의 스트림은 보행자의 속성정보를 추출하기 위해 상기 특징맵을 학습한다.That is, one stream learns the feature map to extract a partial feature value of a pedestrian through a pedestrian recognition network, and another stream learns the feature map to extract pedestrian attribute information .
이러한 과정을 통해 본 발명의 보행자 인식 및 속성 추출 시스템(100)은 보행자의 신체적 특징뿐만 아니라 해당 보행자가 착용하고 있는 복장이나 소지품까지 고려하여 학습함으로써, 특정 보행자를 인식 및 재인식할 수 있도록 함으로써, 상기 특정 보행자의 이동경로를 정확하고 신속하게 추적할 수 있도록 한다.Through the above process, the pedestrian recognition and
도 5는 본 발명의 일 실시예에 따른 복수의 감시카메라로부터 입력되는 영상데이터를 학습하는 절차를 나타낸 흐름도이다.5 is a flowchart illustrating a procedure for learning image data input from a plurality of surveillance cameras according to an exemplary embodiment of the present invention.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 복수의 감시카메라로부터 입력되는 영상데이터를 학습하는 절차는 우선, 보행자 인식 및 속성 추출 시스템(100)은 복수의 감시카메라(200)로부터 실시간으로 입력되는 영상데이터를 전처리한다(S110).5, in the procedure for learning image data input from a plurality of surveillance cameras according to an embodiment of the present invention, the pedestrian recognition and
상기 전처리는 상기 입력되는 영상데이터를 상기 학습에 적합한 크기로 정규화하기 위한 것으로, 상기 영상데이터에 포함된 노이즈를 제거하는 것을 포함한다.The pre-processing is for normalizing the input image data to a size suitable for the learning, and includes removing noise included in the image data.
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 전처리한 영상데이터를 학습하여, 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성한다(S120).Next, the pedestrian recognition and
상기 학습은 독립적으로 구성되는 각각의 컨볼루션 레이어를 포함하여 구성되는 특징맵 추출 네트워크를 통해 수행되며, 상기 특징맵은 상기 각각의 컨볼루션 레이어에서 수행되는 컨볼루션 연산과 상기 컨볼루션 연산 후 수행되는 서브 샘플링을 통해 상기 입력되는 영상데이터의 차원을 감소시킴으로써, 추출된다.Wherein the learning is performed through a feature map extraction network comprising a plurality of independently configured convolution layers, wherein the feature maps are generated by a convolution operation performed in each convolution layer and a convolution operation performed after the convolution operation And is extracted by reducing the dimension of the input image data through subsampling.
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 생성한 특징맵 추출용 학습모델을 통해 추출되는 특징맵을 학습하여, 보행자의 각 신체부분에 대한 부분특징값을 추출하기 위한 보행자 인식용 학습모델을 생성한다(S130).Next, the pedestrian recognition and
상기 부분특징값은 보행자의 머리, 몸체, 다리, 팔 등에 대한 특징값을 의미하며, 시간의 흐름에 따라 추출됨은 상술한 바와 같다.The partial feature value is a feature value for a head, a body, a leg, an arm, and the like of a pedestrian, and is extracted as the time passes.
이와 동시에, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출용 학습모델을 통해 추출한 특징맵을 학습하여, 보행자의 속성정보에 대한 특징값을 추출하는 보행자 속성추출용 학습모델을 생성한다(S131).At the same time, the pedestrian recognition and
상기 보행자의 속성정보는 상기 보행자가 착용하고 있는 의복의 종류, 상기 보행자의 성별과 나이, 상기 보행자가 소지하고 있는 소지물건(가방, 핸드백 등),상기 보행자가 착용하고 있는 착용물건(안경, 모자, 신발의 종류 등) 또는 이들의 조합을 포함한다.The attribute information of the pedestrian may include at least one of the type of clothes worn by the pedestrian, the sex and age of the pedestrian, the belongings (bag, handbag, etc.) held by the pedestrian, the worn article worn by the pedestrian , Type of shoes, etc.), or a combination thereof.
다음으로 상기 추출한 부분특징값과 속성정보를 결합하여, 상기 부분특징값과 속성정보를 추출한 해당 영상데이터와 상호 매칭하여 저장한다(S140).Next, the extracted partial feature value and attribute information are combined, and the partial feature value and the attribute information are matched with each other and stored (S140).
한편 상기 영상데이터는 24시간 구동되는 감시카메라(200)로부터 입력되는 것으로, 본 발명의 보행자 인식 및 속성 추출 시스템(100)은 상기 실시간으로 입력되는 영상데이터를 학습하여, 상기 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델, 보행자 속성추출용 학습모델을 지속적으로 업데이트하게 된다.The pedestrian recognition and
즉, 도 4에 도시한 것과 같이, S120 단계 내지 S131 단계로 나누어 상기 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델, 보행자 속성추출용 학습모델을 생성하는 것으로 되어 있으나, 상기 각 학습모델을 업데이트하는 것은 지속적으로 수행됨은 당연하다.That is, as shown in FIG. 4, the learning model for extracting the feature map, the learning model for pedestrian recognition, and the learning model for pedestrian attribute extraction are generated by dividing the steps S120 to S131. However, It is natural that the update is performed continuously.
이하에서는 질의 이미지가 입력되는 경우, 특정 보행자를 추적하는 과정에 대해서 상세히 설명하도록 한다.Hereinafter, the process of tracking a specific pedestrian when a query image is input will be described in detail.
도 6은 본 발명의 일 실시예에 따른 특정 보행자를 추적하는 절차를 나타낸 흐름도이다.6 is a flowchart illustrating a procedure for tracking a specific pedestrian according to an embodiment of the present invention.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 특정 보행자를 추적하는 절차는 우선, 특정 보행자를 추적하기 위해 상기 특정 보행자에 대한 질의 이미지가 입력되는 경우, 우선적으로 보행자 인식 및 속성 추출 시스템(100)은 상기 입력되는 질의 이미지를 전처리한다(S210).As shown in FIG. 6, in the procedure for tracking a specific pedestrian according to an embodiment of the present invention, when a query image for the specific pedestrian is input to track a specific pedestrian, The
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 학습모델 데이터베이스(420)로부터 특징맵 추출용 학습모델을 로딩하여, 상기 로딩한 특징맵 추출용 학습모델에 상기 전처리한 질의 이미지를 입력함으로써, 해당 질의 이미지에 대한 특징맵을 추출한다(S220).Next, the pedestrian recognition and
한편 상기 추출되는 질의 이미지에 대한 특징맵은 상기 질의 이미지에 대한 특정 보행자의 각 신체부분에 대한 특징맵을 의미한다.On the other hand, the feature map for the extracted query image means a feature map for each body part of the specific pedestrian with respect to the query image.
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 학습모델 데이터베이스(420)로부터 보행자 인식용 학습모델 및 보행자 속성추출용 학습모델에 상기 추출한 특징맵을 각각 입력하여, 상기 특정 보행자에 대한 부분특징값과 속성정보를 추출한다(S230).Next, the pedestrian recognition and
즉, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 보행자 인식용 학습모델과 상기 보행자 속성추출용 학습모델을 이용하여, 상기 특정 보행자에 대한 부분특징값과 보행자 속성정보를 추출함으로써, 해당 보행자를 인식하고 해당 보행자의 속성정보를 인식하게 된다.That is, the pedestrian recognition and
이때, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 추출한 부분특징값과 속성정보를 시공간적으로 결합함으로서, 상기 질의 이미지에 포함된 특정 보행자를 보다 정확하게 인식할 수 있으며, 상기 추출한 특정 보행자에 대한 부분특징값과 보행자의 속성정보를 디스플레이를 통해, 상기 질의 이미지를 입력한 사용자에게 제공할 수 있다.At this time, the pedestrian recognition and
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 기 저장된 영상데이터에 대한 부분특징값과 속성정보에 대한 유사도 계산을 수행하여(S240), 상기 유사도 계산 결과 유사도가 높은 적어도 하나 이상의 영상데이터를 추출하여 상기 디스플레이로 출력하거나, 사용자 단말(300)로 제공함으로써, 특정 보행자를 추적한 추적결과를 상기 사용자에게 제공하게 된다(S250).Next, the pedestrian recognition and
상기 추적결과는 상기 미리 설정한 값 이상의 유사도를 가지는 적어도 하나 이상의 영상데이터와, 해당 영상데이터에 대한 부분특징값 및 속성정보, 해당 영상데이터의 촬영시간 및 촬영장소 또는 이들의 조합을 포함한다.The tracking result includes at least one piece of image data having a degree of similarity equal to or greater than the predetermined value, a partial feature value and attribute information for the image data, a photographing time and photographing location of the corresponding image data, or a combination thereof.
이상에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템은 결합심층네트워크를 기반으로 시간의 흐름에 따른 보행자의 각 신체부분에 대한 부분특징값과 보행자의 속성정보를 동시에 인식함으로써, 특정 보행자를 정확하고 신속하게 인식 및 재인식하여, 상기 특정 보행자에 대한 이동경로를 효과적으로 추적할 수 있도록 하는 효과가 있다. As described above, the pedestrian recognition and attribute extraction system based on the combined deep layer network according to an embodiment of the present invention is based on the combined deep network, and the partial feature values of each body part of the pedestrian according to the passage of time, It is possible to accurately and quickly identify and re-recognize a specific pedestrian by effectively recognizing the attribute information, thereby effectively tracking the movement route to the specific pedestrian.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. .
아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.
100: 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
110: 영상데이터 입력부 120: 전처리부
130: 질의 이미지 입력부 140: 특징맵 추출용 학습모델 생성부
150: 보행자 인식용 학습모델 생성부
160: 보행자 속성추출용 학습모델 생성부 170: 보행자 추적부
171: 보행자 특징맵 추출부 172: 보행자 인식부
173: 보행자 속성정보 인식부 174: 시공간적 특징자 결합부
175: 유사도 계산부 176: 추적결과 제공부
200: 감시카메라 300: 사용자 단말
400: 데이터베이스 410: 영상데이터 데이터베이스
420: 학습모델 데이터베이스100: Pedestrian recognition and attribute extraction system based on coupled deep network
110: video data input unit 120: preprocessing unit
130: query image input unit 140:
150: Pedestrian recognition learning model generation unit
160: Pedestrian attribute extraction learning model generation unit 170: Pedestrian tracking unit
171: Pedestrian feature map extracting unit 172: Pedestrian recognition unit
173: Pedestrian attribute information recognition unit 174: Spatio-temporal characteristic character combination unit
175: Similarity calculation unit 176:
200: surveillance camera 300: user terminal
400: database 410: image data database
420: Learning model database
Claims (12)
상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성부;
상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성부; 및
상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성부;를 포함하며,
상기 특징맵 추출 네트워크는,
독립적으로 구성되는 복수의 컨볼루션 레이어를 포함하며, 각 컨볼루션 레이어를 통해 상기 영상데이터로부터 보행자의 각 신체부분을 개별적으로 분류하여, 상기 각 신체부분에 대한 특징맵을 각각 추출하도록 구성되며,
상기 보행자 인식 네트워크는,
상기 특징맵을 복수의 파티션으로 분할하고, 상기 분할한 각각의 파티션에 대한 차원을 최소화하여 상기 보행자의 부분특징값을 추출하도록 구성되고, 상기 부분특징값은, 상기 보행자의 얼굴, 몸체, 팔, 다리를 포함하는 보행자의 각 신체부분에 대한 특징값이며,
상기 보행자 속성추출 네트워크는,
서로 다른 스케일(scale)을 가지는 복수의 피라미드 레벨을 이용하여 상기 특징맵을 복수개의 하위영역으로 분리하고, 상기 각 하위영역에 대한 에버리지 풀링을 수행하여 적어도 하나 이상의 속성정보를 추출하도록 구성되며, 상기 속성정보는 보행자의 성별, 나이, 보행자가 입고 있는 의복의 종류, 상기 보행자가 소지한 소지물건, 상기 보행자가 착용하고 있는 착용물건 또는 이들의 조합을 포함하며,
상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 각각 연결되어 분기됨으로써, 상기 추출한 부분특징값으로 영상 데이터에 포함된 적어도 하나 이상의 보행자를 인식하고, 미리 설정한 값 이상의 확률값을 가지는 상기 속성정보를 선택하여 상기 선택한 속성정보를 상기 인식한 보행자에 대한 유효한 속성정보로 판정하도록 결합하는 결합심층네트워크를 구성하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.A video data input unit receiving video data from a plurality of surveillance cameras;
A feature map extraction learning model generation unit for generating a feature map extraction learning model for extracting a feature map for each body part of a plurality of pedestrians by learning the input image data through a feature map extraction network;
A learning model for pedestrian recognition for extracting a partial feature value for each body part of a plurality of pedestrians according to the passage of time by learning the feature map extracted through the generated learning pattern for feature map through the pedestrian recognition network A pedestrian recognition learning model generating unit for generating a pedestrian; And
A pedestrian attribute extraction network that learns the feature map extracted through the generated learning pattern for feature map extraction, and a pedestrian attribute extraction process for generating a pedestrian property extraction learning model for extracting the pedestrian property information according to the passage of time And a learning model generating unit
Wherein the feature map extraction network comprises:
A plurality of convolutional layers that are independently configured and each of the body parts of the pedestrian is separately classified from the image data through each convolution layer to extract a feature map for each of the body parts,
The pedestrian recognition network comprising:
The feature map is divided into a plurality of partitions and a dimension of each divided partition is minimized to extract a partial feature value of the pedestrian, A characteristic value for each body part of a pedestrian including a leg,
Wherein the pedestrian attribute extraction network comprises:
Wherein the feature map is divided into a plurality of sub-regions using a plurality of pyramid levels having different scales and at least one attribute information is extracted by performing an average pooling for each sub-region, The attribute information includes the sex and age of the pedestrian, the type of clothes the pedestrian wears, the object possessed by the pedestrian, the object worn by the pedestrian, or a combination thereof,
Wherein the pedestrian recognition network and the pedestrian property extraction network are connected to the feature map extraction network and are connected to each other to recognize at least one or more pedestrians included in the image data with the extracted partial feature value, And the attribute information is selected and the selected attribute information is determined to be valid attribute information for the recognized pedestrian.
상기 보행자 인식 및 속성추출 시스템은,
특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 상기 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적부;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.The method according to claim 1,
The pedestrian recognition and attribute extraction system comprises:
When a query image for a specific pedestrian is input, a partial feature value and attribute information of a specific pedestrian with respect to the query image using the learning model for extracting the feature map, the learning model for pedestrian recognition, And a pedestrian tracking unit for extracting the pedestrian recognition and attribute extraction system.
상기 보행자 추적부는,
상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산부; 및
상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함한 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공부;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.The method of claim 4,
The pedestrian-
A similarity calculation unit for calculating a similarity between partial feature value and attribute information of the extracted specific pedestrian and partial feature value of the previously stored image data and attribute information; And
And outputting a tracking result for the specific pedestrian including at least one image data having a high degree of similarity according to a result of the calculation of the degree of similarity.
상기 보행자 추적부는,
상기 추출한 특정 보행자에 대한 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 상기 부분특징값 및 속성정보를 시공간적으로 결합하는 시공간적 특징자 결합부;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.The method of claim 5,
The pedestrian-
And a spatiotemporal feature combining unit for extracting a spatiotemporal feature from the partial feature value and the attribute information of the extracted specific pedestrian and analyzing the extracted spatiotemporal feature and combining the partial feature value and the attribute information spatiotemporally Pedestrian recognition and attribute extraction system.
상기 보행자 인식 및 속성추출 시스템에서, 상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성 단계;
상기 보행자 인식 및 속성추출 시스템에서, 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성 단계; 및
상기 보행자 인식 및 속성추출 시스템에서, 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성 단계;를 포함하며,
상기 특징맵 추출 네트워크는,
독립적으로 구성되는 복수의 컨볼루션 레이어를 포함하며, 각 컨볼루션 레이어를 통해 상기 영상데이터로부터 보행자의 각 신체부분을 개별적으로 분류하여, 상기 각 신체부분에 대한 특징맵을 각각 추출하도록 구성되며,
상기 보행자 인식 네트워크는,
상기 특징맵을 복수의 파티션으로 분할하고, 상기 분할한 각각의 파티션에 대한 차원을 최소화하여 상기 보행자의 부분특징값을 추출하도록 구성되고, 상기 부분특징값은, 상기 보행자의 얼굴, 몸체, 팔, 다리를 포함하는 보행자의 각 신체부분에 대한 특징값이며,
상기 보행자 속성추출 네트워크는,
서로 다른 스케일(scale)을 가지는 복수의 피라미드 레벨을 이용하여 상기 특징맵을 복수개의 하위영역으로 분리하고, 상기 각 하위영역에 대한 에버리지 풀링을 수행하여 적어도 하나 이상의 속성정보를 추출하도록 구성되며, 상기 속성정보는 보행자의 성별, 나이, 보행자가 입고 있는 의복의 종류, 상기 보행자가 소지한 소지물건, 상기 보행자가 착용하고 있는 착용물건 또는 이들의 조합을 포함하며,
상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 각각 연결되어 분기됨으로써, 상기 추출한 부분특징값으로 영상 데이터에 포함된 적어도 하나 이상의 보행자를 인식하고, 미리 설정한 값 이상의 확률값을 가지는 상기 속성정보를 선택하여 상기 선택한 속성정보를 상기 인식한 보행자에 대한 유효한 속성정보로 판정하도록 결합하는 결합심층네트워크를 구성하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.An image data input step of receiving image data from a plurality of surveillance cameras in a pedestrian recognition and attribute extraction system;
And a characteristic map extracting system for extracting a feature map for each body part of a plurality of pedestrians by learning the input image data through the feature map extracting network in the pedestrian recognition and attribute extraction system, An extraction learning model generation step;
In the pedestrian recognition and attribute extraction system, a feature map extracted through the generated learning pattern for feature map extraction is learned through a pedestrian recognition network, and a partial feature value for each body part of a plurality of pedestrians is calculated according to the flow of time A pedestrian recognition learning model generation step of generating a pedestrian recognition learning model for extraction; And
A pedestrian attribute extraction network for extracting a feature map extracted through the generated feature map extraction learning model in the pedestrian recognition and attribute extraction system and extracting pedestrian attribute information for extracting the pedestrian attribute information according to the passage of time; And a pedestrian attribute extraction learning model generation step for generating a pedestrian attribute learning model,
Wherein the feature map extraction network comprises:
A plurality of convolutional layers that are independently configured and each of the body parts of the pedestrian is separately classified from the image data through each convolution layer to extract a feature map for each of the body parts,
The pedestrian recognition network comprising:
The feature map is divided into a plurality of partitions and a dimension of each divided partition is minimized to extract a partial feature value of the pedestrian, A characteristic value for each body part of a pedestrian including a leg,
Wherein the pedestrian attribute extraction network comprises:
Wherein the feature map is divided into a plurality of sub-regions using a plurality of pyramid levels having different scales and at least one attribute information is extracted by performing an average pooling for each sub-region, The attribute information includes the sex and age of the pedestrian, the type of clothes the pedestrian wears, the object possessed by the pedestrian, the object worn by the pedestrian, or a combination thereof,
Wherein the pedestrian recognition network and the pedestrian property extraction network are connected to the feature map extraction network and are connected to each other to recognize at least one or more pedestrians included in the image data with the extracted partial feature value, And selecting the attribute information and combining the selected attribute information to determine valid attribute information for the recognized pedestrian.
상기 보행자 인식 및 속성추출 방법은,
상기 보행자 인식 및 속성추출 시스템에서, 특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 생성한 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 상기 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.The method of claim 7,
In the pedestrian recognition and attribute extraction method,
Wherein when the query image for a specific pedestrian is input in the pedestrian recognition and attribute extraction system, the query image is extracted using the generated feature map extraction learning model, the pedestrian recognition learning model, and the pedestrian attribute extraction learning model, And extracting the partial feature value and the attribute information of the specific pedestrian for the pedestrian recognition and attribute extraction step.
상기 보행자 추적 단계는,
상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산 단계; 및
상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함한 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.The method of claim 10,
In the pedestrian tracking step,
A similarity calculation step of calculating a similarity between partial feature value and attribute information of the extracted specific pedestrian and partial feature value and attribute information of previously stored image data; And
And outputting a tracking result for the specific pedestrian including at least one image data having a high degree of similarity according to a result of calculating the degree of similarity.
상기 보행자 추적 단계는,
상기 추출한 특정 보행자에 대한 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 상기 부분특징값 및 속성정보를 시공간적으로 결합하는 시공간적 특징자 결합 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.The method of claim 11,
In the pedestrian tracking step,
Extracting a spatiotemporal feature from the partial feature value and attribute information of the extracted specific pedestrian and analyzing the extracted spatiotemporal feature to combine the partial feature value and the attribute information spatiotemporally Pedestrian recognition and attribute extraction method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180099359A KR101941994B1 (en) | 2018-08-24 | 2018-08-24 | System for pedestrian detection and attribute extraction based on a joint deep network |
| PCT/KR2019/002995 WO2020040391A1 (en) | 2018-08-24 | 2019-03-15 | Combined deep layer network-based system for pedestrian recognition and attribute extraction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180099359A KR101941994B1 (en) | 2018-08-24 | 2018-08-24 | System for pedestrian detection and attribute extraction based on a joint deep network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101941994B1 true KR101941994B1 (en) | 2019-01-24 |
Family
ID=65277370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180099359A KR101941994B1 (en) | 2018-08-24 | 2018-08-24 | System for pedestrian detection and attribute extraction based on a joint deep network |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101941994B1 (en) |
| WO (1) | WO2020040391A1 (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222636A (en) * | 2019-05-31 | 2019-09-10 | 中国民航大学 | The pedestrian's attribute recognition approach inhibited based on background |
| CN111178251A (en) * | 2019-12-27 | 2020-05-19 | 汇纳科技股份有限公司 | Pedestrian attribute identification method and system, storage medium and terminal |
| CN111339812A (en) * | 2019-06-29 | 2020-06-26 | 北京澎思科技有限公司 | Pedestrian identification and re-identification method based on whole or partial human body structural feature set, electronic equipment and storage medium |
| CN111461169A (en) * | 2020-03-04 | 2020-07-28 | 浙江工商大学 | Pedestrian attribute identification method based on forward and reverse convolution and multilayer branch depth network |
| CN111507272A (en) * | 2020-04-20 | 2020-08-07 | 中国科学院自动化研究所 | Method and system for identifying pedestrian attributes in monitoring scene |
| KR102187302B1 (en) * | 2020-01-13 | 2020-12-04 | 서강대학교 산학협력단 | System and method for searching for pedestrian using by pedestrian fashion information |
| KR102194313B1 (en) * | 2019-07-22 | 2020-12-22 | 단국대학교 산학협력단 | Apparatus and method for identifying individuals by performing neural network analysis for various detection information |
| KR20210031334A (en) * | 2019-09-11 | 2021-03-19 | (주)이앤제너텍 | Safety control service system unsing artifical intelligence |
| KR20210046121A (en) * | 2019-10-17 | 2021-04-28 | 단국대학교 산학협력단 | Apparatus and method for identify patients with parkinson's disease and patients with podarthritis by performing neural network analysis by various detection information |
| CN114067356A (en) * | 2021-10-21 | 2022-02-18 | 电子科技大学 | Pedestrian re-identification method based on joint local guidance and attribute clustering |
| KR20220056279A (en) * | 2020-10-27 | 2022-05-06 | 선문대학교 산학협력단 | Ai based vision monitoring system |
| KR20220056280A (en) * | 2020-10-27 | 2022-05-06 | 선문대학교 산학협력단 | Ai based image processing system |
| KR20220068373A (en) | 2020-11-19 | 2022-05-26 | 연세대학교 산학협력단 | Apparatus And Method For Tracking Pedestrians In CCTV Environment |
| JP2022082493A (en) * | 2020-11-23 | 2022-06-02 | 同▲済▼大学 | Pedestrian re-identification method for random shielding recovery based on noise channel |
| KR20220074044A (en) | 2020-11-27 | 2022-06-03 | 연세대학교 산학협력단 | Stereo Matching Confidence Estimation Apparatus And Method Using Generative Adversarial Network |
| CN114694171A (en) * | 2022-02-22 | 2022-07-01 | 电子科技大学 | Pedestrian attribute identification method based on self-supervision mode feature enhancement |
| KR20230032712A (en) * | 2021-08-31 | 2023-03-07 | 광주과학기술원 | Apparatus and method for recognizing gait using noise reduction network |
| KR20230064003A (en) | 2021-11-01 | 2023-05-10 | (주)엠더블유스토리 | Remote management system for the elderly with dementia using Smart Insol Geofence technology |
| WO2024029880A1 (en) * | 2022-08-03 | 2024-02-08 | 주식회사 딥핑소스 | Learning method and learning apparatus for training deep learning-based gaze detection model for detecting gaze, and test method and test apparatus using same |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111611846A (en) * | 2020-03-31 | 2020-09-01 | 北京迈格威科技有限公司 | Pedestrian re-identification method and device, electronic equipment and storage medium |
| CN112001353B (en) * | 2020-09-03 | 2023-02-17 | 杭州云栖智慧视通科技有限公司 | Pedestrian re-identification method based on multi-task joint supervised learning |
| CN112926427A (en) * | 2021-02-18 | 2021-06-08 | 浙江智慧视频安防创新中心有限公司 | Target user dressing attribute identification method and device |
| CN113065568A (en) * | 2021-04-09 | 2021-07-02 | 神思电子技术股份有限公司 | Target detection, attribute identification and tracking method and system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101215948B1 (en) * | 2012-04-02 | 2012-12-27 | 주식회사 뉴인테크 | Image information masking method of monitoring system based on face recognition and body information |
| KR20180062423A (en) * | 2016-11-30 | 2018-06-08 | 알텀뷰 시스템즈 인크. | Face Detection using small-scale Convolutional Neural Network (CNN) modules for Embedded Systems |
| JP2018110023A (en) * | 2018-03-02 | 2018-07-12 | 株式会社東芝 | Target detection method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5795979B2 (en) * | 2012-03-15 | 2015-10-14 | 株式会社東芝 | Person image processing apparatus and person image processing method |
| KR20180092453A (en) * | 2017-02-09 | 2018-08-20 | 한국기술교육대학교 산학협력단 | Face recognition method Using convolutional neural network and stereo image |
-
2018
- 2018-08-24 KR KR1020180099359A patent/KR101941994B1/en active IP Right Grant
-
2019
- 2019-03-15 WO PCT/KR2019/002995 patent/WO2020040391A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101215948B1 (en) * | 2012-04-02 | 2012-12-27 | 주식회사 뉴인테크 | Image information masking method of monitoring system based on face recognition and body information |
| KR20180062423A (en) * | 2016-11-30 | 2018-06-08 | 알텀뷰 시스템즈 인크. | Face Detection using small-scale Convolutional Neural Network (CNN) modules for Embedded Systems |
| JP2018110023A (en) * | 2018-03-02 | 2018-07-12 | 株式会社東芝 | Target detection method |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222636A (en) * | 2019-05-31 | 2019-09-10 | 中国民航大学 | The pedestrian's attribute recognition approach inhibited based on background |
| CN111339812A (en) * | 2019-06-29 | 2020-06-26 | 北京澎思科技有限公司 | Pedestrian identification and re-identification method based on whole or partial human body structural feature set, electronic equipment and storage medium |
| KR102194313B1 (en) * | 2019-07-22 | 2020-12-22 | 단국대학교 산학협력단 | Apparatus and method for identifying individuals by performing neural network analysis for various detection information |
| KR102344435B1 (en) | 2019-09-11 | 2021-12-29 | (주)이앤제너텍 | Safety control service system unsing artifical intelligence |
| KR20210031334A (en) * | 2019-09-11 | 2021-03-19 | (주)이앤제너텍 | Safety control service system unsing artifical intelligence |
| KR102280291B1 (en) * | 2019-10-17 | 2021-07-22 | 단국대학교 산학협력단 | Apparatus and method for identify patients with parkinson's disease and patients with podarthritis by performing neural network analysis by various detection information |
| KR20210046121A (en) * | 2019-10-17 | 2021-04-28 | 단국대학교 산학협력단 | Apparatus and method for identify patients with parkinson's disease and patients with podarthritis by performing neural network analysis by various detection information |
| CN111178251A (en) * | 2019-12-27 | 2020-05-19 | 汇纳科技股份有限公司 | Pedestrian attribute identification method and system, storage medium and terminal |
| KR102187302B1 (en) * | 2020-01-13 | 2020-12-04 | 서강대학교 산학협력단 | System and method for searching for pedestrian using by pedestrian fashion information |
| CN111461169A (en) * | 2020-03-04 | 2020-07-28 | 浙江工商大学 | Pedestrian attribute identification method based on forward and reverse convolution and multilayer branch depth network |
| CN111461169B (en) * | 2020-03-04 | 2023-04-07 | 浙江工商大学 | Pedestrian attribute identification method based on forward and reverse convolution and multilayer branch depth network |
| CN111507272A (en) * | 2020-04-20 | 2020-08-07 | 中国科学院自动化研究所 | Method and system for identifying pedestrian attributes in monitoring scene |
| CN111507272B (en) * | 2020-04-20 | 2023-09-26 | 中国科学院自动化研究所 | Pedestrian attribute identification method and system in monitoring scene |
| KR102511084B1 (en) * | 2020-10-27 | 2023-03-17 | 선문대학교 산학협력단 | Ai based vision monitoring system |
| KR102487033B1 (en) * | 2020-10-27 | 2023-01-12 | 주식회사 미르메이트 | Ai based image processing system |
| KR20220056280A (en) * | 2020-10-27 | 2022-05-06 | 선문대학교 산학협력단 | Ai based image processing system |
| KR20220056279A (en) * | 2020-10-27 | 2022-05-06 | 선문대학교 산학협력단 | Ai based vision monitoring system |
| KR20220068373A (en) | 2020-11-19 | 2022-05-26 | 연세대학교 산학협력단 | Apparatus And Method For Tracking Pedestrians In CCTV Environment |
| JP2022082493A (en) * | 2020-11-23 | 2022-06-02 | 同▲済▼大学 | Pedestrian re-identification method for random shielding recovery based on noise channel |
| JP7136500B2 (en) | 2020-11-23 | 2022-09-13 | 同▲済▼大学 | Pedestrian Re-identification Method for Random Occlusion Recovery Based on Noise Channel |
| KR20220074044A (en) | 2020-11-27 | 2022-06-03 | 연세대학교 산학협력단 | Stereo Matching Confidence Estimation Apparatus And Method Using Generative Adversarial Network |
| KR102636549B1 (en) * | 2021-08-31 | 2024-02-14 | 광주과학기술원 | Apparatus and method for recognizing gait using noise reduction network |
| KR20230032712A (en) * | 2021-08-31 | 2023-03-07 | 광주과학기술원 | Apparatus and method for recognizing gait using noise reduction network |
| CN114067356A (en) * | 2021-10-21 | 2022-02-18 | 电子科技大学 | Pedestrian re-identification method based on joint local guidance and attribute clustering |
| KR20230064003A (en) | 2021-11-01 | 2023-05-10 | (주)엠더블유스토리 | Remote management system for the elderly with dementia using Smart Insol Geofence technology |
| CN114694171B (en) * | 2022-02-22 | 2023-10-10 | 电子科技大学 | Pedestrian attribute identification method based on self-supervision mode feature enhancement |
| CN114694171A (en) * | 2022-02-22 | 2022-07-01 | 电子科技大学 | Pedestrian attribute identification method based on self-supervision mode feature enhancement |
| WO2024029880A1 (en) * | 2022-08-03 | 2024-02-08 | 주식회사 딥핑소스 | Learning method and learning apparatus for training deep learning-based gaze detection model for detecting gaze, and test method and test apparatus using same |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020040391A1 (en) | 2020-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101941994B1 (en) | System for pedestrian detection and attribute extraction based on a joint deep network | |
| JP7375101B2 (en) | Information processing device, information processing method and program | |
| Ojha et al. | Image processing techniques for object tracking in video surveillance-A survey | |
| CN110717414A (en) | Target detection tracking method, device and equipment | |
| US6188777B1 (en) | Method and apparatus for personnel detection and tracking | |
| CN114220176A (en) | Human behavior recognition method based on deep learning | |
| Zin et al. | Fusion of infrared and visible images for robust person detection | |
| JP2017182437A (en) | Image recognition device, mobile device, and image recognition program | |
| Colantonio et al. | Object tracking in a stereo and infrared vision system | |
| CN113420697B (en) | Reloading video pedestrian re-identification method and system based on appearance and shape characteristics | |
| Oliver et al. | 3D descriptor for people re-identification | |
| Galiyawala et al. | Visual appearance based person retrieval in unconstrained environment videos | |
| Aadi et al. | Proposed real-time obstacle detection system for visually impaired assistance based on deep learning | |
| CN115830712B (en) | Gait recognition method, device, equipment and storage medium | |
| Chan et al. | Autonomous person-specific following robot | |
| Lingaswamy et al. | An efficient moving object detection and tracking system based on fractional derivative | |
| Victoria Priscilla et al. | Pedestrian detection-a survey | |
| Muddamsetty et al. | Spatio-temporal saliency detection in dynamic scenes using local binary patterns | |
| CN112257617B (en) | Multi-modal target recognition method and system | |
| Mukherjee et al. | Gait recognition using segmented motion flow energy image | |
| Bhaumik et al. | Analysis and detection of human faces by using minimum distance classifier for surveillance | |
| Del Bimbo et al. | Person detection using temporal and geometric context with a pan tilt zoom camera | |
| Khalili et al. | Elderly Fall Detection Using CCTV Cameras under Partial Occlusion of the Subjects Body | |
| Anusiya et al. | Density map based estimation of crowd counting using vgg-16 neural network | |
| Hajari et al. | Robust Pedestrian Detection and Path Prediction using Improved YOLOv5 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |