WO2020040391A1 - 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템 - Google Patents

결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템 Download PDF

Info

Publication number
WO2020040391A1
WO2020040391A1 PCT/KR2019/002995 KR2019002995W WO2020040391A1 WO 2020040391 A1 WO2020040391 A1 WO 2020040391A1 KR 2019002995 W KR2019002995 W KR 2019002995W WO 2020040391 A1 WO2020040391 A1 WO 2020040391A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
extraction
learning model
feature map
feature
Prior art date
Application number
PCT/KR2019/002995
Other languages
English (en)
French (fr)
Inventor
이효종
Original Assignee
전북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단 filed Critical 전북대학교산학협력단
Publication of WO2020040391A1 publication Critical patent/WO2020040391A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a pedestrian recognition and attribute extraction system based on a combined deep network. More particularly, the present invention relates to a pedestrian recognition and attribute extraction system. By extracting pedestrian attributes such as clothing, gender, body type, and possessions, and using the extracted partial features and pedestrian attributes, accurately identifying whether the pedestrian and the specific pedestrian included in the image are the same, and moving to the specific pedestrian.
  • the present invention relates to a pedestrian recognition and attribute extraction system based on a combined deep network that can effectively track a route.
  • the public on the pedestrian recognition system that enables the pedestrian recognition system to recognize the pedestrians or re-recognize the movement paths for specific pedestrians due to the recent spread and expansion of the surveillance camera network for safety in public places such as streets, public buildings, and parks. Interest is increasing rapidly.
  • a pedestrian recognition system recognizes and recognizes a specific pedestrian from an image input through a network of surveillance cameras, and is used for an unmanned security system using an surveillance camera (for example, CCTV), an unmanned automation system, or an intelligent autonomous vehicle. It is applied and commercialized in various fields such as active safety system.
  • the conventional pedestrian recognition system recognizes a specific pedestrian by focusing on textures or morphemes of an image such as a local binary pattern or a histogram of oriented gradient.
  • the conventional pedestrian recognition system has a limitation in tracking the pedestrian because it recognizes the pedestrian based on the face area of the pedestrian.
  • the pedestrian recognition system when all or part of the face area of the pedestrian is covered by an obstacle or another pedestrian, the pedestrian recognition system may not recognize the pedestrian even though they are the same person.
  • the present invention proposes a new artificial intelligence technique based on a combined deep network connecting artificial intelligence networks for identifying pedestrian's face recognition and attributes. That is, the attribute information of the pedestrian including clothing information, gender, belongings, and wearing items is extracted, and partial feature values of each body part of the pedestrian including the pedestrian's face, arms, and leg areas are extracted, and the extracted pedestrians are extracted.
  • Pedestrian Recognition and Attribute Extraction System based on combined deep network that can quickly and accurately track the movement route by recognizing and re-recognizing the same pedestrian in the images captured by surveillance camera based on attribute information and partial feature values for body parts. To provide.
  • Korean Patent Application Publication No. 2011-0131727 (December 7, 2011) relates to an object recognition method and system in an image processing system, and extracts global feature information and local feature information from candidate regions of an object included in an input image.
  • the global feature information of the prior art includes direction information on an outline of the object candidate area, and the local feature information includes contrast and direction information on a plurality of protrusion areas of the object candidate area.
  • the prior art is to extract the direction information for the object candidate region from the input image to recognize or re-recognize the object based on the extracted direction information.
  • the present invention forms a combined deep network for extracting pedestrian attribute information and partial feature values for face, arms and legs, taking into account not only the physical characteristics of pedestrians but also the clothes, ornaments or belongings worn by pedestrians. By doing so, even if the image is not obtained from the front to accurately recognize or recognize the pedestrian, the prior art does not describe or suggest such technical features of the present invention.
  • Korean Patent No. 13806285 (2014.03.27.) Relates to a method and apparatus for tracking an object using a plurality of cameras, and calculates feature information for each object obtained through a plurality of cameras monitoring the same space, and stores the information.
  • the prior art calculates a histogram of oriented gradient (HOG) feature vector including the magnitude and direction of the gradient by calculating the x and y axis gradients of each pixel of the object in the camera image, respectively.
  • the object is recognized and tracked based on the calculated HOG feature vector.
  • HOG histogram of oriented gradient
  • the present invention extracts feature values for each body part such as the pedestrian's head, face, body, legs, arms, etc., and attribute information of the pedestrian, including the pedestrian's clothing, sex, body type, belongings, and wearing items.
  • attribute information of the pedestrian including the pedestrian's clothing, sex, body type, belongings, and wearing items.
  • the present invention was created to solve the above problems, and extracts a feature map for each body of the pedestrian from the image input in real time using an artificial intelligence technique, and recognize the pedestrian based on the extracted feature map,
  • the purpose of the present invention is to provide a pedestrian recognition and attribute extraction system based on a combined deep network that enables re-recognition.
  • the present invention by learning the extracted partial feature map, by extracting the partial feature value for each body of the pedestrian and the attribute information of the pedestrian including the pedestrian's clothing, sex, body type, possession, wearing, etc., the image
  • Another object is to provide a pedestrian recognition and attribute extraction system based on a combined deep network that can accurately and quickly recognize a particular pedestrian even when some of the pedestrians are blocked by obstacles or not in front view. do.
  • the present invention determines the ranking of images having high similarity and provides them to the user by calculating the similarity between the partial feature values and the attribute information of the previously learned image in consideration of the temporal characteristics of the partial feature values and the attribute information. Therefore, another object of the present invention is to provide a pedestrian recognition and attribute extraction system based on a combined deep network that enables to track a movement path for a specific pedestrian in real time.
  • the image data input unit for receiving the image data from a plurality of surveillance cameras, by learning the received image data through a feature map extraction network,
  • a feature map extraction learning model generator for generating a feature map extraction learning model for extracting feature maps for each body part of a pedestrian of the pedestrian, and a feature map extracted through the generated feature map extraction learning model.
  • Pedestrian attribution extraction learning model generation unit for generating a pedestrian attribution extraction learning model for extracting the attribution information of the lapse of time, the pedestrian recognition network and the pedestrian attribution extraction network is connected to the feature map extraction network And to form a combined deep network for combining the partial feature values and attribute information.
  • the feature map extraction network may include a plurality of convolution layers that are independently configured, and separately classify each body part of the pedestrian from the image data through each convolution layer, and thus feature map for each body part.
  • the pedestrian recognition network is configured to extract the partial feature value of the pedestrian by dividing the feature map into a plurality of partitions and minimizing the dimension of each partitioned partition.
  • the attribute extraction network separates the feature map into a plurality of subregions by using a plurality of pyramid levels having different scales, and performs at least one attribute information by performing average pooling on each subregion. It is characterized in that configured to.
  • the partial feature value may include feature values for the pedestrian's face, body, arms, legs, or a combination thereof.
  • the attribute information may include a pedestrian's gender, age, type of clothing worn by the pedestrian, and the pedestrian. It is characterized in that it comprises the possession of possession, the wearing of the pedestrian is wearing or a combination thereof.
  • the pedestrian recognition and attribute extraction system when a query image for a specific pedestrian is input, the query image using the generated feature map extraction learning model, the pedestrian recognition learning model and the pedestrian attribute extraction learning model. It characterized in that it further comprises a pedestrian tracking unit for extracting the partial feature value and attribute information of a particular pedestrian for.
  • the apparatus may further include a tracking result providing unit configured to output a tracking result for the specific pedestrian including at least one image data.
  • the pedestrian tracker may further include a spatiotemporal feature combiner for extracting a spatiotemporal feature from the extracted partial feature value and attribute information of the specific pedestrian, and analyzing and combining the extracted spatiotemporal feature.
  • a spatiotemporal feature combiner for extracting a spatiotemporal feature from the extracted partial feature value and attribute information of the specific pedestrian, and analyzing and combining the extracted spatiotemporal feature.
  • the pedestrian recognition and attribute extraction method based on the combined depth network the image data input step of receiving image data from a plurality of surveillance cameras, learning the received image data through a feature map extraction network To generate a feature map extraction learning model for extracting a feature map for extracting the feature map for each body part of a plurality of pedestrians, the step of generating a feature map extraction, the feature map extracted through the generated feature map extraction learning model
  • the feature map extracted through the learning model for extraction is learned through the pedestrian attribute extraction network.
  • the method may include generating a pedestrian attribute extraction learning model for generating a pedestrian attribute extraction learning model for extracting the attribute information of the pedestrian over time, wherein the pedestrian recognition network and the pedestrian attribute extraction network are characterized by the above-mentioned characteristics. It is characterized in that it is connected to a map extraction network, respectively, to form a combined deep network for combining the partial feature value and attribute information.
  • the pedestrian recognition and attribute extraction method when a query image for a specific pedestrian is input, the query image using the generated feature map extraction learning model, the pedestrian recognition learning model and the pedestrian attribute extraction learning model. It further comprises a pedestrian tracking step of extracting the partial feature value and attribute information of the specific pedestrian for.
  • the pedestrian tracking step may further include a similarity calculation step of calculating a similarity between the extracted partial feature value and attribute information of the specific pedestrian and the previously stored partial feature value and attribute information, and the similarity degree according to the result of calculating the similarity.
  • the method may further include a tracking result providing step of outputting a tracking result for the specific pedestrian including at least one or more image data.
  • the pedestrian tracking may further include a spatiotemporal feature combining step of extracting a spatiotemporal feature from the extracted partial feature value and attribute information of the specific pedestrian and analyzing and combining the extracted spatiotemporal feature.
  • the pedestrian recognition and attribute extraction system based on the combined deep network of the present invention extracts partial feature information and attribute information of pedestrians by learning images input from a plurality of surveillance cameras through the combined deep network in real time. Considering not only the characteristics of each body part of the pedestrian but also the clothes, ornaments or belongings worn by the pedestrian, there is an effect of accurately recognizing or recognizing even when a part of the pedestrian is covered by an obstacle or the like in the image.
  • the present invention can improve the police's information technology ability by estimating the movement route of the same person when CCTV network is installed as well as various systems such as smart video identification device and unmanned crime prevention device due to the above effects. It can be useful for the coming crime investigation.
  • FIG. 1 is a conceptual diagram illustrating a pedestrian recognition and attribute extraction system based on a combined deep network according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a pedestrian recognition and attribute extraction system based on a combined deep network according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of a pedestrian tracking unit according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating the structure of a combined deep network, a pedestrian recognition network and an attribute extraction network according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a procedure of learning image data input from a plurality of surveillance cameras according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a procedure for tracking a specific pedestrian according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram illustrating a pedestrian recognition and attribute extraction system based on a combined deep network according to an embodiment of the present invention.
  • a pedestrian recognition and attribute extraction system 100 (hereinafter, referred to as a pedestrian recognition and attribute extraction system) based on a combined deep network according to an embodiment of the present invention may include a plurality of surveillance cameras 200.
  • a pedestrian recognition and attribute extraction system based on a combined deep network according to an embodiment of the present invention may include a plurality of surveillance cameras 200.
  • image data input from for example, CCTV
  • a specific pedestrian is recognized or re-recognized from the image data, and the result is provided to the user terminal 300.
  • the plurality of surveillance cameras 200 may be installed in various places such as public places such as schools, streets, parks, buildings, and the like, and refer to various photographing apparatuses such as CCTVs that photograph certain areas.
  • the plurality of surveillance cameras 200 forms a camera network (eg, CCTV network), and is driven for 24 hours to transmit image data photographing the predetermined area to the pedestrian recognition and property extraction system 100 in real time. Do this.
  • a camera network eg, CCTV network
  • the pedestrian recognition and attribute extraction system 100 performs a machine learning on the input image data through a CNN-based artificial intelligence technique, and generates a learning model for extracting partial feature values and attribute information of pedestrians from the image data, respectively.
  • the pedestrian recognition and attribute extraction system 100 learns each image constituting the image data, and generates a learning model for extracting partial feature values and attribute information of a plurality of pedestrians existing in the image data. It is.
  • the pedestrian recognition and attribute extraction system 100 continuously updates the learning model generated by learning the image data.
  • the pedestrian recognition and attribute extraction system 100 performs noise reduction and image correction of the image data to improve the recognition rate of the image data, sets a region of interest for the pedestrian, and then sizes appropriate for the learning. Resizing to.
  • noise reduction and image correction may be performed through a method using a median filter (SMF) or a method using a center weighted median filter (CWMF).
  • SMF median filter
  • CWMF center weighted median filter
  • the preprocessing process in the present invention is performed to improve the quality of the image data, and it is natural that the preprocessing process for the noise removal and image correction may be performed through various methods in addition to the methods listed above. .
  • the ROI means an area for at least one pedestrian appearing in the image data.
  • the pedestrian recognition and attribute extraction system 100 learns the preprocessed image data through the feature map extraction network, and generates a feature map extraction model for extracting feature maps for body parts of pedestrians.
  • the pedestrian recognition and attribute extraction system 100 classifies at least one or more pedestrian body parts from the preprocessed image data, and extracts a learning model for feature map extraction for extracting feature maps for each of the classified body parts. To generate.
  • the pedestrian recognition and attribute extraction system 100 is connected to the output terminal of the feature map extraction network includes a combined deep network for grasping the partial characteristics of each body part of the pedestrian and the attribute information of the pedestrian.
  • the combined deep network extracts partial feature values for each body part of the pedestrian, thereby extracting a pedestrian recognition network for recognizing the pedestrian and at least one attribute information of the pedestrian, thereby extracting the attribute information of the pedestrian.
  • Pedestrian attribution extraction network for recognizing the.
  • the pedestrian recognition and attribute extraction system 100 is connected to an output terminal of the feature map extraction network, and learns a feature map extracted from the feature map extraction network through a branched pedestrian recognition network, thereby partially characterizing each body part of the pedestrian.
  • a pedestrian recognition learning model for extracting a value is generated, and the generated pedestrian recognition learning model is stored in the learning model database 420.
  • the pedestrian recognition and attribute extraction system 100 extracts a partial feature value for each body part of the pedestrian from the image data through the pedestrian recognition network, thereby recognizing the pedestrian included in the corresponding image data.
  • the partial feature value of the pedestrian means feature information about each body part, such as the pedestrian's head, body, legs, and arms. Accordingly, the pedestrian recognition and attribute extraction system 100 learns the feature map through the pedestrian recognition network, and applies the pedestrian recognition and attribute extraction system to each body part of the pedestrian including the head, body, leg, arm, or a combination thereof. Extract feature values for.
  • the pedestrian recognition and attribute extraction system 100 is connected to the output terminal of the feature map extraction network, and learning the feature map extracted from the feature map extraction network through the branched pedestrian attribute extraction network, to extract the attribute information of the pedestrian After generating a pedestrian attribute extraction learning model for storing, the generated learning model is stored in the learning model database 420.
  • Attribute information of the pedestrian may include age, type of clothing (e.g., long sleeves, short sleeves, shorts, long pants, casual, formal, etc.), color of the clothing, type of shoes (slippers, sneakers, shoes, etc.), length of hair, Belongings (bags, handbags, etc.), worn items (glasses, hats, earrings, etc.), sex, or a combination thereof.
  • type of clothing e.g., long sleeves, short sleeves, shorts, long pants, casual, formal, etc.
  • color of the clothing e.g., type of shoes (slippers, sneakers, shoes, etc.), length of hair, Belongings (bags, handbags, etc.), worn items (glasses, hats, earrings, etc.), sex, or a combination thereof.
  • type of clothing e.g., long sleeves, short sleeves, shorts, long pants, casual, formal, etc.
  • color of the clothing e.g., type of shoes (slippers
  • the pedestrian recognition and attribute extraction system 100 learns the feature map through the attribute extraction network to retrieve attribute information of the pedestrian including the pedestrian's age, clothing, belongings, wear, or a combination thereof. Create a learning model to extract.
  • the pedestrian recognition and attribute extraction system 100 maps and stores the partial feature values and attribute information of the pedestrian extracted from the image data with the corresponding image data.
  • the pre-processed image data used for the learning is a dynamic image captured by the surveillance camera 200, and consists of a plurality of images, so the pedestrian recognition and attribute extraction system 100 eventually receives the pedestrian over time. Partial feature values and attribute information.
  • the pedestrian recognition and attribute extraction system 100 preprocesses the query image through the preprocessing process, and then the feature map extraction network, the pedestrian recognition network, and the like. By extracting partial feature values and attribute information of the specific pedestrian using each learning model generated through the pedestrian attribute extraction network, the specific pedestrian is recognized and the recognized pedestrian attribute information is recognized.
  • the pedestrian recognition and attribute extraction system 100 extracts the spatiotemporal feature from the partial feature value and the attribute information on the extracted specific pedestrian, analyzes it, and combines the partial feature value and the attribute information in time and space, thereby recognizing the recognition. It is possible to clearly and accurately recognize what attribution information a particular pedestrian has.
  • the pedestrian recognition and attribute extraction system 100 calculates the similarity of the partial feature value and the attribute information for the pre-stored image data through the learning of the partial feature value and the attribute information of the extracted specific pedestrian.
  • the ranking of the image data is determined and extracted from the database 400, thereby recognizing or recognizing the specific pedestrian.
  • the pedestrian recognition and attribute extraction system 100 of the present invention is coupled to the output terminal of the feature map extraction network, and combined deep network for extracting and combining partial feature values and attribute information of pedestrians, respectively. This allows the pedestrians to be recognized quickly and accurately.
  • the present invention does not recognize or re-recognize the pedestrian with only the facial features, but the partial features of each body of the pedestrian from the image data including the pedestrian through the combined deep network and the object worn or possessed by the pedestrian.
  • the pedestrian in consideration of all the attribution information, even if a portion of the image data is obscured by obstacles, it is possible to quickly and accurately recognize and track a specific pedestrian.
  • FIG. 2 is a block diagram illustrating a configuration of a pedestrian recognition and attribute extraction system based on a combined deep network according to an embodiment of the present invention.
  • the pedestrian recognition and attribute extraction system 100 based on the combined deep network according to an embodiment of the present invention includes an image data input unit 110 that receives image data from a plurality of surveillance cameras 200.
  • Pre-processing unit 120 for preprocessing the input image data and the query image input through the query image input unit 130, the query image input unit 130 for receiving a query image for recognizing or re-recognizing a specific pedestrian, the input Feature map extraction for generating a feature map extraction model for extracting feature maps for body parts of pedestrians by learning the pedestrian tracking unit 170 and the preprocessed image data based on the received query image.
  • Learning model generation unit 140 learns the feature map extracted through the generated learning model for feature map extraction, By extracting a partial feature value, the pedestrian recognition learning model generation unit 150 for generating a pedestrian recognition learning model for recognizing pedestrians and the feature map extracted through the feature map extraction learning model are trained, By extracting the attribution information, the pedestrian attribution extraction learning model generation unit 160 for generating a pedestrian attribution extraction learning model for recognizing the attribution information of the pedestrian is configured.
  • the image data input unit 110 performs a function of receiving and collecting image data captured by each of the plurality of surveillance cameras 200 in real time.
  • the surveillance camera 200 refers to a photographing apparatus such as a CCTV, which is installed in a plurality of places and driven for 24 hours to photograph a certain range.
  • the preprocessing unit 120 removes and corrects noise generated in the collected image data, sets a region of interest (that is, a pedestrian region) of the image data, and extracts the learning model generator 150 for feature map extraction. To provide.
  • the preprocessor 120 normalizes the collected image data to a size (eg, 384 x 128) suitable for a feature map extraction network of the feature model extraction unit 150 for feature map extraction.
  • a size eg, 384 x 1228
  • the learning model generation unit 140 Provided to the learning model generation unit 140, and stores the pre-processed image data in the image data database (410).
  • the learning model generator 140 for extracting the feature map learns the preprocessed image data through the feature map extraction network, and the learning model generator 150 for recognition of the pedestrian and the learning model generator 160 for extracting the pedestrian attributes.
  • step 1) a feature map extraction learning model for extracting feature maps for each body part of a pedestrian to be learned is generated, and the generated feature map extraction learning model is stored in the learning model database 420.
  • the learning model for feature map extraction classifies body parts of pedestrians separately from the preprocessed image data and extracts feature maps.
  • the pedestrian recognition learning model generation unit 150 learns a feature map extracted through the feature map extraction learning model through a pedestrian recognition network, generates a pedestrian recognition learning model for recognizing pedestrians, and generates the generated pedestrian.
  • the learning model for recognition is stored in the learning model database 420.
  • the pedestrian recognition learning model generation unit 150 learns the feature map, and calculates partial feature values for each body part of the plurality of pedestrians so as to recognize or re-recognize a plurality of pedestrians over time. Create a learning model for pedestrian recognition to extract.
  • the partial feature value refers to a feature value for each body part of the pedestrian such as a pedestrian's head, body, leg, arm, and the like.
  • the pedestrian recognition and attribute extraction system 100 extracts the partial feature value. At least one pedestrian included in the image data is recognized.
  • the pedestrian attribute extraction learning model generation unit 160 learns the feature map extracted through the generated feature map extraction learning model through the pedestrian attribute extraction network and extracts the attribute information of the pedestrian over time. Create a learning model for pedestrian attribute extraction.
  • the attribution information includes a pedestrian's clothing type, gender, age, possession, wearing, or a combination thereof.
  • the output value of the learning model for pedestrian attribution extraction is a probability value for each attribution information that is set in advance.
  • the recognition and attribute extraction system 100 selects attribute information having a probability value equal to or greater than a preset value, thereby determining the selected attribute information as valid speed information for the pedestrian.
  • the pedestrian recognition network and the pedestrian attribute extraction network are connected to the output terminal of the feature map extraction network, respectively, and branched, thereby forming a combined deep network.
  • the query image input unit 130 receives a query image for tracking a specific pedestrian.
  • the query image may be directly extracted from the image data database 410 or provided from the user terminal 300.
  • the query image is preprocessed through a preprocessing process performed by the preprocessor 120.
  • the pedestrian tracking unit 170 performs a function of tracking a movement route for the corresponding pedestrian by recognizing or re-recognizing the specific pedestrian from the image data using the input query image for the specific pedestrian.
  • the pedestrian tracking unit 170 first loads the learning model for feature map extraction from the learning model database 420 to input the pre-processed query image to perform the tracking. Extract the map.
  • the pedestrian tracking unit 170 loads the pedestrian recognition learning model and the pedestrian attribute extraction learning model from the learning model database 420, and inputs the extracted feature maps, respectively, to provide partial feature values for the specific pedestrian. And simultaneously extracts attribute information on the specific pedestrian. Through this, the pedestrian tracking unit 140 may recognize the specific pedestrian and recognize the attribute information of the recognized specific pedestrian, respectively.
  • the pedestrian tracking unit 170 analyzes the partial feature value and the attribute information of the extracted specific pedestrian and combines the analyzed partial feature value and the attribute information in time and space, thereby obtaining attribute information of the recognized specific pedestrian. It can be configured to recognize more accurately.
  • the pedestrian tracking unit 170 calculates a similarity between the partial feature value of the extracted specific pedestrian, the recognized attribute information, and the partial feature value and attribute information of the existing pedestrian stored in the image data database 410. Calculate and select image data with high similarity and output it. Through this, the pedestrian tracking unit 170 recognizes or re-recognizes the same person as the specific pedestrian among the plurality of pedestrians photographed from the surveillance camera 200 so that the movement path for the specific pedestrian can be accurately and quickly tracked. do.
  • the pedestrian tracking unit 170 will be described in detail with reference to FIG. 3.
  • FIG. 3 is a block diagram showing the configuration of a pedestrian tracking unit according to an embodiment of the present invention.
  • the pedestrian tracking unit 170 recognizes and re-recognizes a specific pedestrian and performs a function of tracking a movement path of a specific pedestrian on the surveillance camera 200 network. Done.
  • the pedestrian recognition and attribute extraction system 100 preprocesses the input query image and provides the pedestrian tracking unit 170.
  • the pedestrian tracker 170 may include a pedestrian feature map extractor 171 which extracts a feature map from the preprocessed query image, a pedestrian recognition unit 172 that recognizes the specific pedestrian based on the extracted feature map, and the extracted feature. It includes a pedestrian attribution information recognition unit 173, a spatiotemporal coupling unit 174, a similarity calculation unit 175 and a tracking result providing unit 176 to recognize the attribution information on the recognized specific pedestrian based on the map. .
  • the pedestrian feature map extractor 171 extracts a feature map for each body part of the pedestrian, and the extraction loads the learning model for feature map extraction from the learning model database 420, and the preprocessed query image. By typing.
  • the pedestrian feature map extractor 171 extracts a feature map for a face, body, leg, and arm of a specific pedestrian through the learning model for extracting the feature map.
  • the pedestrian recognition unit 172 loads the pedestrian recognition learning model from the learning model database 420, inputs the extracted feature map to the loaded pedestrian recognition learning model, and extracts partial feature values of the specific pedestrian. do.
  • the partial feature value means a feature value for each body part of the specific pedestrian including a face, a body, a leg, and an arm, and the pedestrian recognition unit 172 extracts the partial feature value of the specific pedestrian. It will perform the function of recognizing pedestrians.
  • the pedestrian attribution information recognizing unit 173 is for recognizing the attribution information on the recognized specific pedestrian, and the pedestrian attribution information is loaded by loading the learning model for pedestrian attribution extraction from the learning model database 420. The feature value is inputted to the learning model for pedestrian attribute extraction.
  • an output result output through the pedestrian attribute extraction learning model is a probability value for each attribute information
  • the pedestrian attribute information recognizing unit 173 selects a probability value equal to or greater than a preset value and at least for the specific pedestrian. Recognize one or more attribute information.
  • the spatiotemporal feature combiner 174 extracts and analyzes a spatiotemporal feature including a temporal feature and a spatial feature from the extracted partial feature value and attribute information of the specific pedestrian, and based on the analysis result, the partial feature value and the attribute information. Combines time and space.
  • the spatiotemporal feature combiner 174 is performed to more accurately recognize a specific pedestrian included in the query image by spatiotemporally combining the partial feature value of the specific pedestrian and the attribute information of the specific pedestrian.
  • the similarity calculator 175 calculates a similarity between the extracted pedestrian partial feature value and attribute information (or the combined partial feature value and attribute information) between the partial feature value of the image data and the attribute information. .
  • the similarity may be performed through various similarity calculation methods such as euclidean distance, hamming distance, and the like. That is, the similarity calculation of the present invention is to extract the image data having high similarity by calculating the distance between the partial feature value and attribute information of the extracted pedestrian and similar matching between the partial feature value and attribute information of the pre-stored image data. There is no limitation on the method of calculating the similarity.
  • the tracking result providing unit 176 selects at least one or more image data having a similarity or more than a predetermined value according to the calculation result of the similarity calculation unit 175, and extracts from the image data database 410, The tracking result including the extracted image data is output on a display (not shown) or provided to the user terminal 300.
  • the tracking result includes at least one or more image data having high similarity, partial feature values and attribute information of the extracted measurement pedestrian, a shooting time and a location where the image data is captured, or a combination thereof.
  • the pedestrian tracking unit 170 extracts the partial feature value and the attribute information of the specific pedestrian from the query image and uses the extracted partial feature value and the attribute information in real time through the surveillance camera 200.
  • the specific pedestrian can be accurately and effectively tracked from the image data photographed as
  • FIG. 4 is a diagram illustrating the structure of a feature map extraction network, a pedestrian recognition network, and an attribute extraction network according to an embodiment of the present invention.
  • the feature map extraction network which is a machine learning structure for generating the feature map extraction learning model in the feature map extraction learning model generator 140 according to an embodiment of the present invention, includes a plurality of convoluts. It includes a CNN-based backbone network composed of a solution layer.
  • the feature map extraction network extracts and outputs a feature map for each body part of the pedestrian from the preprocessed image data.
  • the feature map extraction network is combined with a combined depth network including a pedestrian recognition network and a pedestrian attribute extraction network. Through pedestrian partial feature value and pedestrian attribute information can be extracted.
  • the plurality of convolution layers learn preprocessed image data, classify each body part of the pedestrian included in the corresponding image data, and generate a feature map for the partial features of the classified body parts.
  • the feature map extraction network in the present invention is constructed as a plurality of individual convolution layers, unlike the general CNN model consisting of a single shared convolution layer is configured to significantly reduce the dimension of the partial features.
  • the feature map extraction network reduces the dimension of the image data through the convolution operation, the subsampling and the ReLU function according to the preset weights of each convolution layer, and the image data through the convolution layer.
  • a feature map which is an activation map for each body part of an existing pedestrian, is extracted.
  • the pedestrian recognition network extracts a partial feature value for each body of the pedestrian from the feature map extracted from the feature map extraction network.
  • the extraction is performed by a fully connected layer and a soft max function after the dimension reduction of the feature map.
  • the input image data may define an activation vector that is regarded as a column vector along a channel axis. have.
  • the pedestrian recognition network reduces the dimension of the stripe using the convolutional layer, and finally extracts the partial feature values for each body of the pedestrian by using the fully connected layer and the soft max function for each stripe.
  • the pedestrian recognition network is optimized to minimize the sum of cross entropy loss for a plurality of stripes, and after the dimension reduction, a plurality of pieces are connected to extract final partial feature values.
  • the pedestrian attribute extraction network distinguishes various attribute information of pedestrians at the pixel level of the input feature map, and performs at least one attribute information.
  • the pedestrian attribute extraction network is combined with the output terminal of the feature map extraction network to extract the attribute information of the pedestrian.
  • the attribute information is output as a probability value for each attribute information as described above.
  • the pedestrian attribute extraction network applies spatial pyramid pooling to separate the feature map into a plurality of sub-regions (ie, bins) through a plurality of pyramid levels having different scales. do.
  • the attribute extraction network performs average pooling on the separated subregions, extracts a feature vector having a fixed length, and finally extracts the extracted feature vectors through a fully connected layer and a soft max function. The probability value for attribute information is output.
  • the pyramid level means a bin size for dividing the feature map into sub-regions having a specific size, and the bin size may have a size of 1x1, 2x2, 3x3, or 6x6.
  • the pedestrian recognition and attribute extraction system 100 based on the combined deep network is composed of two learning streams after extracting the feature map from the image data.
  • one stream learns the feature map to extract the partial feature value of the pedestrian through partition strategy through the pedestrian recognition network, and the other stream learns the feature map to extract the attribute information of the pedestrian. .
  • the pedestrian recognition and property extraction system 100 of the present invention learns by considering not only the physical characteristics of the pedestrian but also the clothes or belongings worn by the pedestrian, so that the specific pedestrian can be recognized and recognized again. Allows you to track the path of a particular pedestrian accurately and quickly.
  • FIG. 5 is a flowchart illustrating a procedure of learning image data input from a plurality of surveillance cameras according to an embodiment of the present invention.
  • a procedure of learning image data input from a plurality of surveillance cameras is first performed by the pedestrian recognition and attribute extraction system 100 from a plurality of surveillance cameras 200.
  • the video data input in real time is preprocessed (S110).
  • the preprocessing is for normalizing the input image data to a size suitable for the learning, and includes removing noise included in the image data.
  • the pedestrian recognition and attribute extraction system 100 learns the preprocessed image data and generates a learning model for extracting feature maps for extracting feature maps for each body part of the pedestrian (S120).
  • the learning is performed through a feature map extraction network including each convolution layer configured independently, and the feature map is performed after the convolution operation and the convolution operation performed in each convolution layer. It is extracted by reducing the dimension of the input image data through subsampling.
  • the pedestrian recognition and property extraction system 100 learns a feature map extracted through the generated feature map extraction learning model, and extracts a pedestrian recognition for extracting partial feature values for each body part of the pedestrian. Create a model (S130).
  • the partial feature value means a feature value for the head, body, leg, arm, etc. of the pedestrian, and is extracted as time passes.
  • the pedestrian recognition and attribute extraction system 100 learns a feature map extracted through the feature map extraction learning model, and generates a pedestrian attribute extraction learning model for extracting feature values for attribute information of pedestrians. (S131).
  • Attribute information of the pedestrian may include the type of clothing worn by the pedestrian, the gender and age of the pedestrian, the belongings possessed by the pedestrian (bags, handbags, etc.), and the items worn by the pedestrian (glasses, hats). , Types of shoes, etc.) or combinations thereof.
  • the image data is input from the surveillance camera 200 which is driven for 24 hours, and the pedestrian recognition and property extraction system 100 of the present invention learns the image data input in real time and extracts the feature map.
  • the pedestrian recognition learning model and the pedestrian attribute extraction learning model are continuously updated.
  • the learning model for extracting the feature map, the learning model for pedestrian recognition, and the learning model for pedestrian attribute extraction are generated by dividing into steps S120 to S131. Naturally, updating is a constant process.
  • FIG. 6 is a flowchart illustrating a procedure for tracking a specific pedestrian according to an embodiment of the present invention.
  • the procedure for tracking a specific pedestrian firstly, when a query image for the specific pedestrian is input to track a specific pedestrian, firstly recognizes a pedestrian and extracts attributes.
  • the system 100 preprocesses the input query image (S210).
  • the pedestrian recognition and property extraction system 100 loads the learning model for feature map extraction from the learning model database 420 and inputs the preprocessed query image into the loaded feature map extraction learning model.
  • the feature map for the query image is extracted (S220).
  • the feature map of the extracted query image means a feature map of each body part of a specific pedestrian with respect to the query image.
  • the pedestrian recognition and attribute extraction system 100 inputs the extracted feature maps to the pedestrian recognition learning model and the pedestrian attribute extraction learning model from the learning model database 420, respectively, and the partial feature value for the specific pedestrian. And attribute information is extracted (S230).
  • the pedestrian recognition and attribute extraction system 100 extracts the partial feature value and pedestrian attribute information for the specific pedestrian by using the pedestrian recognition learning model and the pedestrian attribute extraction learning model, thereby extracting the corresponding pedestrian. It recognizes the property information of the pedestrian.
  • the pedestrian recognition and attribute extraction system 100 can recognize the specific pedestrian included in the query image more accurately by combining the extracted partial feature value and the attribute information in time and space, and the part of the extracted specific pedestrian.
  • the feature value and the attribute information of the pedestrian may be provided to the user who inputs the query image through the display.
  • the pedestrian recognition and attribute extraction system 100 performs a similarity calculation on partial feature values and attribute information on pre-stored image data (S240), and extracts at least one or more image data having high similarity as a result of the similarity calculation.
  • the tracking result of tracking a specific pedestrian is provided to the user (S250).
  • the tracking result includes at least one or more image data having a similarity or more than the preset value, partial feature values and attribute information of the image data, a shooting time and a location of the image data, or a combination thereof.
  • the present invention recognizes and recognizes a particular pedestrian accurately and quickly by simultaneously recognizing partial feature values and pedestrian attribute information for each body part of the pedestrian over time based on the combined deep network.
  • the movement route for the specific pedestrian can be effectively tracked.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템에 관한 것으로, 인공지능 기법을 통해 감시카메라로부터 입력되는 영상을 학습하여, 보행자 얼굴을 포함하는 신체 각 부분에 대한 부분특징과 의복, 성별, 체형, 소지물건 등과 같은 보행자 속성을 추출하고, 상기 추출한 부분특징과 보행자 속성을 활용하여, 상기 영상에 포함된 보행자와 특정 보행자 간의 동일인 여부를 정확하게 파악함으로써, 상기 특정 보행자에 대한 이동경로를 효과적으로 추적할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템에 관한 것이다.

Description

결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
본 발명은 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템에 관한 것으로, 더욱 상세하게는 인공지능 기법을 통해 감시카메라로부터 입력되는 영상을 학습하여, 보행자 얼굴을 포함하는 신체 각 부분에 대한 부분특징과 의복, 성별, 체형, 소지물건 등과 같은 보행자 속성을 추출하고, 상기 추출한 부분특징과 보행자 속성을 활용하여, 상기 영상에 포함된 보행자와 특정 보행자 간의 동일인 여부를 정확하게 파악함으로써, 상기 특정 보행자에 대한 이동경로를 효과적으로 추적할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템에 관한 것이다.
최근 거리, 공공건물, 공원 등과 같은 공공장소에서의 안전을 위한 감시카메라 네트워크의 보급 및 확대로 인해 보행자를 인식하거나, 재인식하여 특정 보행자에 대한 이동경로를 추적할 수 있도록 하는 보행자 인식 시스템에 대한 대중의 관심이 급격하게 증가하고 있다.
일반적으로 보행자 인식 시스템은, 감시카메라 네트워크를 통해 입력되는 영상으로부터 특정 보행자를 인식 및 재인식하는 것으로, 감시카메라(예: CCTV)를 활용한 무인 방범 시스템, 무인 자동화 시스템, 또는 지능형 자율 주행 자동차를 위한 능동 안전 시스템 등과 같이 다양한 분야에서 적용되어 상용화되고 있다.
종래의 보행자 인식 시스템은, 지역이진패턴(local binary pattern)이나 경사지향 히스토그램(histogram of oriented gradient)과 같은 영상의 텍스처나 형태소를 중점으로 특정 보행자를 인식하였다.
그러나 종래의 보행자 인식 시스템은 보행자의 얼굴영역을 기준으로 보행자를 인식하기 때문에 해당 보행자를 추적하는데 그 한계가 있다.
즉, 종래의 보행자 인식 시스템은, 장애물 또는 다른 보행자에 의해 상기 보행자의 얼굴영역이 대한 전체 또는 일부분이 가려지는 경우, 동일인임에도 불구하고 해당 보행자를 인식하지 못하는 문제점이 있었다.
보행자 인식 시스템을 지능적이고 효과적으로 운형하기 위해서는 보행자를 정확하게 인식하고, 실시간 검색이 가능하여야 한다. 즉, 네트워크로 연결된 CCTV가 24시간 구동되는 환경에서 단지 얼굴영역에 대한 정보만을 이용하여 특정 인물의 출현을 인식하거나, 동일인물의 이동경로를 파악하는데 그 한계가 있는 것이다.
이에 본 발명은 보행자의 얼굴인식과 속성을 각각 파악하기 위한 인공지능 네트워크를 연결한 결합심층네트워크에 기반한 새로운 인공지능 기법을 제안한다. 즉, 의복정보, 성별, 소지물건 및 착용물건을 포함하는 보행자의 속성정보와 상기 보행자의 얼굴, 팔 및 다리 영역을 포함하는 보행자의 각 신체부분에 대한 부분특징값을 추출하여, 상기 추출한 보행자의 속성정보 및 신체부분에 대한 부분특징값을 토대로 감시카메라로 촬영된 영상에서 동일 보행자를 인식 및 재인식함으로써, 이동경로를 신속하고 정확하게 추적할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 제공하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국공개특허 제2011-0131727호(2011.12.07.)는 영상 처리 시스템에서의 객체 인식 방법 및 시스템에 관한 것으로, 입력영상에 포함된 객체의 후보 영역으로부터 전역 특징 정보과 지역 특징 정보를 추출하고, 상기 추출한 전역 특징 정보와 지역 특징 정보를 이용하여 상기 객체를 인식하거나 재인식하는 영상 처리 시스템에서의 객체 인식 방법 및 시스템에 관한 것이다.
여기서, 상기 선행기술의 전역 특징 정보는, 상기 객체 후보영역의 윤곽선에 대한 방향 정보를 포함하며, 상기 지역 특징 정보는, 상기 객체 후보영역에 대한 복수의 돌출영역에 대한 명암 및 방향 정보를 포함한다.
즉, 상기 선행기술은 입력영상으로부터 객체 후보영역에 대한 방향 정보를 추출하여, 상기 추출한 방향 정보를 토대로 객체를 인식하거나, 재인식하도록 하는 것이다.
반면에 본원발명은 보행자의 속성정보와 얼굴, 팔 및 다리에 대한 부분특징값을 추출하기 위한 결합심층네트워크를 구성하여, 보행자의 신체적인 특징뿐만 아니라 보행자가 착용하고 있는 복장이나 장식품 혹은 소지품까지 고려함으로써, 전면에서 획득되지 않은 영상이라도 해당 보행자를 정확하게 인식하거나 재인식할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사하고 있지 않다.
또한 한국등록특허 제13806285호(2014.03.27.)는 복수의 카메라를 사용한 객체 추적 방법 및 장치에 관한 것으로, 동일 공간을 감시하는 복수의 카메라를 통해 얻어지는 객체별 특징 정보를 산출하고, 기존에 저장된 객체별 특징 정보와 상기 산출한 특징 정보를 상호 비교하여 추적 객체를 식별하는 복수의 카메라를 사용한 객체 추적 방법 및 장치에 관한 것이다.
즉, 상기 선행기술은 카메라 영상에서 객체에 대한 각 픽셀의 x, y축 그레디언트(gradient)를 각각 계산하여, 그레디언트의 크기와 방향을 포함하는 HOG(histogram of oriented gradient) 특징 벡터를 산출하고, 상기 산출한 HOG 특징 벡터를 토대로 객체를 인식하여 추적하도록 하는 것이다.
이에 반하여 본 발명은 보행자의 머리, 얼굴, 몸체, 다리, 팔 등과 같은 각 신체부분에 대한 특징값과 보행자의 의복, 성별, 체형, 소지물건, 착용물건 등을 포함하는 보행자의 속성정보를 추출하여, 상기 추출한 부분특징값 및 속성정보를 모두 고려하여 보행자를 인식 및 재인식할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징에 대해서는 아무런 기재가 없어, 본 발명과 목적, 구성, 효과에 있어서 명확한 차이점이 있다.
이상에서 선행기술들을 검토한 결과 대부분의 선행기술들은 단순히 방향정보 또는 그레디언트 값을 포함하는 특징정보를 이용하여 객체를 인식 또는 재인식하는 개념만을 기재하고 있을 뿐, 보행자의 각 신체에 대한 특징과 보행자의 속성에 대한 특징을 모두 고려하여 상기 보행자를 정확하고 효과적으로 인식하거나, 재인식하도록 하는 본 발명의 기술적 특징에 대해서는 아무런 기재나 시사 또는 암시도 없다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작 된 것으로서, 인공지능 기법을 이용하여 실시간으로 입력되는 영상으로부터 보행자의 각 신체에 대한 특징맵을 추출하고, 상기 추출한 특징맵을 토대로 보행자를 인식하거나, 재인식할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 상기 추출한 부분 특징맵을 학습하여, 보행자의 각 신체에 대한 부분특징값 및 보행자의 의복, 성별, 체형, 소지물건, 착용물건 등을 포함하는 보행자의 속성정보를 추출함으로서, 상기 영상에서 장애물에 의해 보행자의 일부가 가려지거나, 정면영상이 아닌 경우에도 특정 보행자를 정확하고 신속하게 인식 및 재인식할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 상기 부분특징값 및 속성정보에 대한 시간적 특징을 고려하여, 기존에 학습된 영상에 대한 부분특징값 및 속성정보간의 유사도 계산을 통해, 유사도가 높은 영상들의 순위를 결정하여 사용자에게 제공함으로써, 특정 보행자에 대한 이동경로를 실시간으로 추적할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템은 복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력부, 상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성부, 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성부 및 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성부를 포함하며, 상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 연결되어, 상기 부분특징값과 속성정보를 결합할 수 있도록 하기 위한 결합심층네트워크를 구성하는 것을 특징으로 한다.
또한 상기 특징맵 추출 네트워크는, 독립적으로 구성되는 복수의 컨볼루션 레이어를 포함하며, 각 컨볼루션 레이어를 통해 상기 영상데이터로부터 보행자의 각 신체부분을 개별적으로 분류하여, 상기 각 신체부분에 대한 특징맵을 각각 추출하도록 구성되며, 상기 보행자 인식 네트워크는, 상기 특징맵을 복수의 파티션으로 분할하고, 상기 분할한 각각의 파티션에 대한 차원을 최소화하여 상기 보행자의 부분특징값을 추출하도록 구성되고, 상기 보행자 속성추출 네트워크는, 서로 다른 스케일(scale)을 가지는 복수의 피라미드 레벨을 이용하여 상기 특징맵을 복수개의 하위영역으로 분리하고, 상기 각 하위영역에 대한 에버리지 풀링을 수행하여 적어도 하나 이상의 속성정보를 추출하도록 구성되는 것을 특징으로 한다.
또한 상기 부분특징값은, 상기 보행자의 얼굴, 몸체, 팔, 다리 또는 이들의 조합에 대한 특징값을 포함하며, 상기 속성정보는, 보행자의 성별, 나이, 보행자가 입고 있는 의복의 종류, 상기 보행자가 소지한 소지물건, 상기 보행자가 착용하고 있는 착용물건 또는 이들의 조합을 포함하는 것을 특징으로 한다.
또한 상기 보행자 인식 및 속성추출 시스템은, 특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 생성한 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적부를 더 포함하는 것을 특징으로 한다.
또한 상기 보행자 추적부는, 상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산부 및 상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함하는 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공부를 더 포함하는 것을 특징으로 한다.
또한 상기 보행자 추적부는, 상기 추출한 특정 보행자의 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 결합하는 시공간적 특징 결합부를 더 포함하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 방법은, 복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력 단계, 상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성 단계, 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성 단계 및 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성 단계를 포함하며, 상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 각각 연결되어, 상기 부분특징값과 속성정보를 결합할 수 있도록 하기 위한 결합심층네트워크를 구성하는 것을 특징으로 한다.
또한 상기 보행자 인식 및 속성추출 방법은, 특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 생성한 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 보행자 추적 단계는, 상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산 단계 및 상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함하는 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 보행자 추적 단계는, 상기 추출한 특정 보행자의 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 결합하는 시공간적 특징 결합 단계를 더 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템은, 결합심층네트워크를 통해 복수의 감시카메라로부터 입력되는 영상을 실시간으로 학습하여 보행자의 부분특징정보와 속성정보를 추출함으로써, 보행자의 각 신체부분에 대한 특징뿐만 아니라 보행자가 착용하고 있는 복장, 장식물 또는 소지품까지 고려하여 상기 영상에서 보행자의 일부가 장애물 등에 의해 가려진 경우에도 정확하게 인식 또는 재인식할 수 있도록 하는 효과가 있다.
즉, 본원발명은 상기와 같은 효과로 인해 스마트비디오 감식장치, 무인 방범장치 등과 같은 다양한 시스템뿐만 아니라, CCTV 망이 설치되어 있는 경우 동일인의 이동경로까지 추정할 수 있어 경찰의 정보기술력의 향상을 가져오는 범죄수사에 유용하게 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 보행자 추적부의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 결합심층네트워크, 보행자 인식 네트워크 및 속성추출 네트워크의 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 복수의 감시카메라로부터 입력되는 영상데이터를 학습하는 절차를 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 특정 보행자를 추적하는 절차를 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예를 상세히 설명하기로 한다. 본 발명의 명세서 또는 출원에 개시되어 있는 일 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의 되어 있지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 아니한다.
도 1은 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템(100)(이하, 보행자 인식 및 속성 추출 시스템이라 칭함)은 복수의 감시카메라(200)(예: CCTV)로부터 입력되는 영상데이터를 학습하여, 해당 영상데이터로부터 특정 보행자를 인식 또는 재인식하고, 이에 대한 결과를 사용자 단말(300)로 제공한다.
복수의 감시카메라(200)는 학교, 거리, 공원, 건물 등의 공공장소와 같은 다양한 장소에 설치되어 일정영역을 촬영하는 CCTV와 같은 다양한 촬영 장치를 의미한다.
또한 상기 복수의 감시카메라(200)는 카메라 네트워크(예: CCTV 망)를 형성하며, 24시간 구동되어 상기 일정영역을 촬영한 영상데이터를 실시간으로 보행자 인식 및 속성 추출 시스템(100)으로 전송하는 기능을 수행한다.
또한 보행자 인식 및 속성 추출 시스템(100)은 상기 입력되는 영상데이터를 CNN 기반의 인공지능 기법을 통해 기계학습을 수행하여, 상기 영상데이터로부터 보행자의 부분특징값과 속성정보를 각각 추출하는 학습모델을 생성한다.
즉, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 영상데이터를 구성하는 각각의 이미지를 학습하여, 상기 영상데이터에 존재하는 복수의 보행자에 대한 부분특징값과 속성정보를 추출하는 학습모델을 생성하는 것이다.
한편 상기 영상데이터는 24시간 구동되는 감시카메라(200)에 의해 전송되어 수집되므로, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 영상데이터를 학습함으로써, 생성되는 상기 학습모델을 지속적으로 업데이트한다.
이때, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 영상데이터의 인식률을 향상시키기 위해 상기 영상데이터의 잡음제거 및 영상보정을 수행하며, 보행자에 대한 관심영역을 설정한 후, 상기 학습에 적합한 크기로 리사이징(resizing)한다.
또한 잡음제거 및 영상보정은 메디안 필터(standard median filter, SMF)를 이용한 방법 또는 중심 가중치 메디안 필터(center weighted median filter, CWMF) 이용한 방법을 통해 수행될 수 있다. 다만, 본 발명에서의 전처리 과정은 상기 영상데이터의 품질을 향상시키기 위해 수행되는 것으로, 상기에서 열거한 방법 이외에 다양한 방법을 통해 상기 잡음제거 및 영상보정에 대한 전처리 과정을 수행할 수 있음은 당연하다.
또한 상기 관심영역은, 상기 영상데이터에 나타나는 적어도 하나 이상의 보행자에 대한 영역을 의미한다.
또한 보행자 인식 및 속성 추출 시스템(100)은 특징맵 추출 네트워크를 통해 상기 전처리한 영상데이터를 학습하여, 보행자의 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성한다.
즉, 보행자 인식 및 속성 추출 시스템(100)은 상기 전처리한 영상데이터로부터 적어도 하나 이상의 보행자 신체부분을 각각 분류하고, 상기 분류한 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 것이다.
또한 보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출 네트워크의 출력단에 연결되어 보행자의 각 신체부분에 대한 부분특징과 상기 보행자의 속성정보를 파악하기 위한 결합심층네트워크를 포함한다.
이때, 상기 결합심층네트워크는 상기 보행자의 각 신체부분에 대한 부분특징값을 추출함으로서, 상기 보행자를 인식하기 위한 보행자 인식 네트워크 및 상기 보행자에 대한 적어도 하나 이상의 속성정보를 추출함으로써, 상기 보행자의 속성정보를 인식하기 위한 보행자 속성추출 네트워크를 포함한다.
보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출 네트워크의 출력단에 연결되고, 분기되는 보행자 인식 네트워크를 통해 상기 특징맵 추출 네트워크에서 추출한 특징맵을 학습하여, 보행자의 각 신체부분에 대한 부분특징값을 추출하기 위한 보행자 인식용 학습모델을 생성하고, 상기 생성한 보행자 인식용 학습모델을 학습모델 데이터베이스(420)에 저장한다.
즉, 보행자 인식 및 속성 추출 시스템(100)은 상기 보행자 인식 네트워크를 통해 상기 영상데이터로부터 보행자의 각 신체부분에 대한 부분특징값을 추출함으로써, 해당 영상데이터에 포함된 보행자를 인식하게 되는 것이다.
상기 보행자의 부분특징값은, 상기 보행자의 머리, 몸체, 다리, 팔 등과 같이 각 신체부분에 대한 특징정보를 의미하는 것이다. 따라서, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 보행자 인식 네트워크를 통해 상기 특징맵을 학습하여, 상기 보행자의 머리, 몸체, 다리, 팔 또는 이들의 조합을 포함하는 상기 보행자의 각 신체부분에 대한 특징값을 추출한다.
또한 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출 네트워크의 출력단에 연결되고, 분기되는 보행자 속성추출 네트워크를 통해 상기 특징맵 추출 네트워크에서 추출한 특징맵을 학습하여, 보행자의 속성정보를 추출하기 위한 보행자 속성추출용 학습모델을 생성한 후, 상기 생성한 학습모델을 학습모델 데이터베이스(420)에 저장한다.
상기 보행자의 속성정보는 나이, 의복의 종류(예: 긴팔, 반팔, 반바지, 긴 바지, 캐주얼, 정장 등), 상기 의복의 색깔, 신발의 종류(슬리퍼, 운동화, 구두 등), 머리의 길이, 소지물건(가방, 핸드백 등), 착용물건(안경, 모자, 귀걸이 등), 성별 또는 이들의 조합을 포함한다.
따라서, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 속성추출 네트워크를 통해 상기 특징맵을 학습하여, 상기 보행자의 나이, 의복, 소지품, 착용품 또는 이들의 조합을 포함하는 상기 보행자의 속성정보를 추출하기 위한 학습모델을 생성한다.
또한 상기 보행자 인식 및 속성 추출 시스템(100)은 영상데이터로부터 추출한 보행자의 부분특징값과 속성정보를 해당 영상데이터와 매핑하여 저장한다.
한편 상기 심층결합 네트워크를 구성하는 보행자 인식 네트워크 및 보행자 속성추출 네트워크는 도 4를 참조하여 상세히 설명하도록 한다.
한편 상기 학습에 사용되는 전처리된 영상데이터는 감시카메라(200)로 통해 촬영되는 동적영상으로써, 복수의 이미지로 구성되므로 결국 상기 보행자 인식 및 속성 추출 시스템(100)은 시간의 흐름에 따라 상기 보행자에 대한 부분특징값과, 속성정보를 추출하게 되는 것이다.
이후, 특정 보행자를 추적하기 위한 질의 이미지가 입력되는 경우, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 질의 이미지를 상기의 전처리과정을 통해 전처리한 후, 상기 특징맵 추출 네트워크, 보행자 인식 네트워크 및 보행자 속성추출 네트워크를 통해 생성한 각각의 학습모델을 이용하여 상기 특정 보행자에 대한 부분특징값과 속성정보를 추출함으로써, 상기 특정 보행자를 인식하고, 상기 인식한 특정 보행자의 속성정보를 인식한다.
이때, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 추출한 특정 보행자에 대해 부분특징값과 속성정보로부터 시공간적 특징을 추출하고, 이를 분석하여 상기 부분특징값 및 속성정보를 시공간적으로 결합함으로써, 상기 인식한 특정 보행자가 어떠한 속성정보를 가지고 있는지를 명확하고 정확하게 인식할 수 있도록 한다.
또한 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 추출한 특정 보행자에 대한 부분특징값 및 속성정보를 상기 학습을 통해 기 저장된 영상데이터에 대한 부분특징값 및 속성정보에 대한 유사도를 계산하여 높은 적어도 하나 이상의 영상데이터들의 순위를 결정하여 데이터베이스(400)로부터 추출함으로써, 상기 특정 보행자를 인식하거나 재인식을 수행한다.
상기에서 설명한 것과 같이, 본 발명의 보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출 네트워크의 출력단에 결합되고, 보행자의 부분특징값과 속성정보를 각각 추출하여 결합할 수 있도록 하는 결합심층네트워크를 통해 보행자를 신속하고 정확하게 인식할 수 있도록 한다.
즉, 본 발명은 얼굴특징만을 가지고 보행자를 인식하거나 재인식하는 것이 아니라, 결합심층네트워크를 통해 보행자가 포함된 영상데이터로부터 보행자의 각 신체에 대한 부분특징과 해당 보행자가 착용하거나 소지하고 있는 물건에 대한 속성정보까지 모두 고려하여 해당 보행자를 인식하도록 함으로써, 상기 영상데이터가 장애물에 의해 일부분이 가려진 경우에도 특정 보행자를 신속하고 정확하게 재인식하고 추적할 수 있도록 한다.
이하에서는 도 2를 참조하여 보행자 인식 및 속성 추출 시스템(100)을 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템의 구성을 나타낸 블록도이다.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템(100)은 복수의 감시카메라(200)로부터 영상데이터를 입력받는 영상데이터 입력부(110), 상기 입력받은 영상데이터와 질의 이미지 입력부(130)를 통해 입력되는 질의 이미지를 전처리하는 전처리부(120), 특정 보행자를 인식 또는 재인식하기 위한 질의 이미지를 입력받는 질의 이미지 입력부(130), 상기 입력받은 질의 이미지를 토대로 상기 특정 보행자를 추적하는 보행자 추적부(170), 상기 전처리한 영상데이터를 학습하여 보행자의 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성부(140), 상기 생성한 특징맵 추출용 학습모델을 통해 추출한 특징맵을 학습하여, 보행자 신체부분에 대한 부분특징값을 추출함으로서, 보행자를 인식하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성부(150) 및 상기 특징맵 추출용 학습모델을 통해 추출한 특징맵을 학습하여, 보행자의 속성정보를 추출함으로써, 보행자의 속성정보를 인식하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성부(160)를 포함하여 구성된다.
영상데이터 입력부(110)는 복수의 감시카메라(200)로부터 각각 촬영된 영상데이터를 실시간으로 입력받아 수집하는 기능을 수행한다.
상기 감시카메라(200)는 복수의 장소에서 설치되어 24시간 구동되면서 일정 범위를 촬영하는 CCTV 등과 같은 촬영 장치를 의미한다.
또한 전처리부(120)는 상기 수집한 영상데이터에서 발생한 잡음을 제거하고, 보정하며, 해당 영상데이터의 관심영역(즉, 보행자 영역)을 설정하여, 상기 특징맵 추출용 학습모델 생성부(150)로 제공한다.
이때, 상기 전처리부(120)는 상기 수집한 영상데이터를 상기 특징맵 추출용 학습모델 생성부(150)의 특징맵 추출 네트워크에 적합한 크기(예: 384 x 128)로 정규화하여 상기 특징맵 추출용 학습모델 생성부(140)로 제공하고, 상기 전처리한 영상데이터를 영상데이터 데이터베이스(410)에 저장한다.
특징맵 추출용 학습모델 생성부(140)는 특징맵 추출 네트워크를 통해 상기 전처리된 영상데이터를 학습하여, 상기 보행자 인식용 학습모델 생성부(150)와 상기 보행자 속성추출용 학습모델 생성부(160)에서 학습의 대상이 되는 보행자의 각 신체부분에 대한 특징맵을 추출하는 특징맵 추출용 학습모델을 생성하고, 상기 생성한 특징맵 추출용 학습모델을 학습모델 데이터베이스(420)에 저장한다.
즉, 특징맵 추출용 학습모델은 상기 전처리한 영상데이터로부터 보행자의 신체부분을 개별적으로 분류하고, 이에 대한 특징맵을 추출한다.
보행자 인식용 학습모델 생성부(150)는 보행자 인식 네트워크를 통해 상기 특징맵 추출용 학습모델을 통해 추출한 특징맵을 학습하여, 보행자를 인식하기 위한 보행자 인식용 학습모델을 생성하며, 상기 생성한 보행자 인식용 학습모델을 학습모델 데이터베이스(420)에 저장한다.
즉, 상기 보행자 인식용 학습모델 생성부(150)는 상기 특징맵을 학습하여, 시간의 흐름에 따라 복수의 보행자를 인식 또는 재인식할 수 있도록, 복수의 보행자의 각 신체부분에 대한 부분특징값을 추출하기 위한 보행자 인식용 학습모델을 생성한다.
한편 상기 부분특징값은 보행자의 머리, 몸체, 다리, 팔 등과 같이 보행자의 각 신체부분에 대한 특징값을 의미하며, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 부분특징값을 추출함으로써, 해당 영상데이터에 포함된 적어도 하나 이상의 보행자를 인식하게 된다.
보행자 속성추출용 학습모델 생성부(160)는 상기 생성한 특징맵 추출용 학습모델을 통해 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성한다.
상기 속성정보는 보행자의 의복 종류, 성별, 나이, 소지물건, 착용물건 또는 이들의 조합을 포함하는 것으로, 상기 보행자 속성추출용 학습모델의 출력값은 미리 설정한 각 속성정보에 대한 확률값이며, 상기 보행자 인식 및 속성추출 시스템(100)은 미리 설정한 값 이상의 확률값을 가지는 속성정보를 선택함으로써, 상기 선택한 속성정보를 상기 보행자에 대한 유효한 속정정보로 판정하게 된다.
또한 상기 보행자 인식 네트워크와 보행자 속성추출 네트워크는 상기 특징맵 추출용 네트워크의 출력단에 각각 연결되어 분기됨으로써, 결합심층네트워크를 구성함은 상술한 바와 같다.
또한 질의 이미지 입력부(130)는 특정 보행자를 추적하기 위한 질의 이미지를 입력받는다.
질의 이미지는, 영상데이터 데이터베이스(410)로부터 직접적 추출되거나, 사용자 단말(300)로부터 제공될 수 있다.
이때, 상기 질의 이미지는 상기 전처리부(120)에서 수행하는 전처리 과정을 통해 전처리된다.
보행자 추적부(170)는 상기 입력된 특정 보행자에 대한 질의 이미지를 이용하여 상기 영상데이터로부터 상기 특정 보행자를 인식 또는 재인식하여 해당 보행자에 대한 이동경로를 추적하는 기능을 수행한다.
또한 상기 보행자 추적부(170)는 상기 추적을 수행하기 위해 우선적으로, 특징맵 추출용 학습모델을 학습모델 데이터베이스(420)로부터 로딩하여, 상기 전처리한 질의 이미지를 입력하여, 상기 특정 보행자에 대한 특징맵을 추출한다.
다음으로 보행자 추적부(170)는 상기 학습모델 데이터베이스(420)로부터 보행자 인식용 학습모델과 보행자 속성 추출용 학습모델을 로딩하여, 상기 추출한 특징맵을 각각 입력함으로써, 상기 특정 보행자에 대한 부분특징값을 추출하고, 이와 동시에 상기 특정 보행자에 대한 속성정보를 추출한다. 이를 통해 상기 보행자 추적부(140)는 상기 특정 보행자를 인식하고, 상기 인식한 특정 보행자의 속성정보를 각각 인식할 수 있다.
이때, 보행자 추적부(170)는 상기 추출한 특정 보행자에 대한 부분특징값과 속성정보를 분석하고, 상기 분석한 부분특징값과 속성정보를 시공간적으로 결합함으로써, 상기 인식한 특정 보행자가 가지는 속성정보를 보다 정확하게 인식할 수 있도록 구성될 수 있다.
이후, 상기 보행자 추적부(170)는 상기 추출한 특정 보행자에 대한 부분특징값 및 상기 인식한 속성정보와 상기 영상데이터 데이터베이스(410)에 저장된 기존의 보행자에 대한 부분특징값 및 속성정보에 대한 유사도를 계산하여 유사도가 높은 영상데이터를 선택하여 출력한다. 이를 통해 상기 보행자 추적부(170)는 감시카메라(200)로부터 촬영된 복수의 보행자 중, 상기 특정 보행자와 동일한 인물을 인식 또는 재인식하여 상기 특정 보행자에 대한 이동경로를 정확하고 신속하게 추적할 수 있도록 한다.
한편 상기 보행자 추적부(170)는 도 3을 참조하여 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 보행자 추적부의 구성을 나타낸 블록도이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 보행자 추적부(170)는 특정 보행자를 인식 및 재인식함으로써, 상기 감시카메라(200) 네트워크상에서 특정 보행자의 이동경로를 추적하는 기능을 수행하게 된다.
한편 보행자 인식 및 속성 추출 시스템(100)은 특정 보행자를 인식하기 위한 질의 이미지가 입력되는 경우, 상기 입력되는 질의 이미지를 전처리하여 상기 보행자 추적부(170)로 제공한다.
상기 보행자 추적부(170)는 상기 전처리된 질의 이미지로부터 특징맵을 추출하는 보행자 특징맵 추출부(171), 상기 추출한 특징맵을 토대로 상기 특정 보행자를 인식하는 보행자 인식부(172), 상기 추출한 특징맵을 토대로 상기 인식한 특정 보행자에 대한 속성정보를 인식하는 보행자 속성정보 인식부(173), 시공간적 결합부(174), 유사도 계산부(175) 및 추적결과 제공부(176)를 포함하여 구성된다.
상기 보행자 특징맵 추출부(171)는 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 것으로, 상기 추출은 학습모델 데이터베이스(420)로부터 특징맵 추출용 학습모델을 로딩하고, 상기 전처리된 질의 이미지를 입력함으로써, 수행된다.
즉, 상기 보행자 특징맵 추출부(171)는 상기 특징맵 추출용 학습모델을 통해, 특정 보행자의 얼굴, 몸체, 다리 및 팔에 대한 특징맵을 추출하게 된다.
또한 보행자 인식부(172)는 학습모델 데이터베이스(420)로부터 보행자 인식용 학습모델을 로딩하고, 상기 로딩한 보행자 인식용 학습모델에 상기 추출한 특징맵을 입력하여, 상기 특정 보행자의 부분특징값을 추출한다.
상기 부분특징값은 얼굴, 몸체, 다리 및 팔을 포함하는 상기 특정 보행자의 각 신체부분에 대한 특징값을 의미하며, 상기 보행자 인식부(172)는 상기 특정 보행자의 부분특징값을 추출함으로서, 해당 보행자를 인식하는 기능을 수행하게 된다.
또한 보행자 속성정보 인식부(173)는 상기 인식한 특정 보행자에 대한 속성정보를 인식하기 위한 것으로, 상기 보행자 속성정보는 학습모델 데이터베이스(420)로부터 보행자 속성추출용 학습모델을 로딩하여, 상기 로딩한 보행자 속성 추출용 학습모델에 상기 특징값을 입력함으로써, 추출된다.
이때, 상기 보행자 속성추출용 학습모델을 통해 출력되는 출력결과는 각 속성정보에 대한 확률값이며, 상기 보행자 속성정보 인식부(173)는 미리 설정한 값 이상의 확률값을 선택함으로서, 상기 특정 보행자에 대한 적어도 하나 이상의 속성정보를 인식하게 된다.
또한 시공간적 특징자 결합부(174)는 상기 추출한 특정 보행자의 부분특징값과 속성정보로부터 시간적 특징 및 공간적 특징을 포함하는 시공간적 특징을 추출하여 분석하고, 상기 분석한 결과를 토대로 부분특징값과 속성정보를 시공간적으로 결합한다.
즉, 상기 시공간적 특징자 결합부(174)는 특정 보행자에 대한 부분특징값과 상기 특정 보행자의 속성정보를 시공간적으로 결합함으로써, 상기 질의 이미지에 포함된 특정 보행자를 보다 정확하게 인식하기 위해 수행되는 것이다.
또한 유사도 계산부(175)는, 상기 추출한 보행자 부분특징값과 속성정보(또는 상기 결합한 부분특징값과 속성정보)를 기 저장된 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 기능을 수행한다.
상기 유사도는 유클리드 거리(euclidean distance), 해밍 거리(hamming distance) 등과 같은 다양한 유사도 계산 방법을 통해 수행될 수 있다. 즉, 본 발명의 유사도 계산은 상기 추출한 보행자의 부분특징값과 속성정보 및 기 저장된 영상데이터의 부분특징값과 속성정보 간의 유사 매칭사이의 거리를 계산하여 유사도가 높은 영상데이터를 추출하기 위한 것으로, 상기 유사도를 계산하는 방법에 대해서는 그 제한을 두지 아니한다.
또한 상기 추적결과 제공부(176)는 상기 유사도 계산부(175)의 계산 결과에 따라 미리 설정한 값 이상의 유사도를 가지는 적어도 하나 이상의 영상데이터를 선택하여, 상기 영상데이터 데이터베이스(410)로부터 추출하며, 상기 추출한 영상데이터를 포함한 추적결과를 디스플레이(미도시)에 출력하거나, 사용자 단말(300)로 제공한다.
이때, 상기 추적결과는 유사도가 높은 적어도 하나 이상의 영상데이터, 상기 추출한 측정 보행자에 대한 부분특징값 및 속성정보, 상기 영상데이터가 촬영된 촬영시간 및 촬영장소 또는 이들의 조합을 포함한다.
상기에서 설명한 것과 같이, 보행자 추적부(170)는 질의 이미지로부터 특정 보행자에 대한 부분특징값과 속성정보를 추출하고, 상기 추출한 부분특징값과 속성정보를 이용하여 상기 감시카메라(200)를 통해 실시간으로 촬영되는 영상데이터로부터 상기 특정 보행자를 정확하고 효과적으로 추적할 수 있다.
도 4는 본 발명의 일 실시예에 따른 특징맵 추출 네트워크, 보행자 인식 네트워크 및 속성추출 네트워크의 구조를 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 특징맵 추출용 학습모델 생성부(140)에서 특징맵 추출용 학습모델의 생성하기 위한 기계학습 구조인 특징맵 추출 네트워크는 복수의 컨볼루션 레이어로 구성된 CNN 기반의 백본 네트워크를 포함한다.
또한 상기 특징맵 추출 네트워크는 전처리된 영상데이터로부터 보행자의 각 신체부분에 대한 특징맵을 추출하여 출력하는 것으로, 보행자 인식 네트워크 및 보행자 속성추출 네트워크를 포함하는 결합심층네트워크과 결합되어, 상기 출력한 특징맵을 통해 보행자 부분특징값 및 보행자 속성정보를 추출할 수 있도록 한다.
또한 상기 복수의 컨볼루션 레이어는 전처리된 영상데이터를 학습하여, 해당 영상데이터에 포함된 보행자의 각 신체부분을 분류하고, 상기 분류한 각 신체부분의 부분특징에 대한 특징맵을 생성한다.
이때, 본 발명에서의 특징맵 추출 네트워크는 단일 공유 컨볼루션 레이어로 구성되는 일반적인 CNN 모델과는 달리 복수의 개별적인 컨볼루션 레이어로 구축되어 상기 부분특징에 대한 차원을 획기적으로 감소시킬 수 있도록 구성된다.
즉, 특징맵 추출 네트워크는 상기 각 컨볼루션 레이어가 가지고 있는 미리 설정된 가중치에 따른 컨볼루션 연산과 서브샘플링 및 ReLU 함수를 통해 상기 영상데이터의 차원을 줄여가며, 상기 각 컨볼루션 레이어를 통해 영상데이터에 존재하는 보행자의 각 신체부분에 대한 활성화맵(activation map)인 특징맵을 추출한다.
또한 보행자 인식 네트워크는 상기 특징맵 추출 네트워크에서 추출되는 특징맵으로부터, 보행자의 각 신체에 대한 부분특징값을 추출한다.
상기 추출은 상기 특징맵의 차원 감축을 거친 후, 완전 연결된 레이어(fully connected layer)와 소프트 맥스(soft max) 함수에 의해 수행된다.
상기 입력되는 영상데이터가 상기 특징맵 추출 네트워크를 통해 얻어지는 특징맵(즉, 활성화 3D 텐서(tensor) T)이 상기 보행자 인식 네트워크에 입력되면, 채널 축을 따라 열벡터로 간주되는 활성화 벡터를 정의할 수 있다.
즉, 보행자 인식 네트워크는 평균 풀링(average pooling)을 이용하여 상기 특징맵을 복수 개의 수평 스트라이프(horizontal stripes)로 분할(즉, 파티션)한 다음, 상기 스트라이프의 모든 열벡터를 부분 열벡터 gi(i= 1,2, 3,...p)로 평균화한다.
또한 보행자 인식 네트워크는 컨볼루션 레이어를 이용하여 스트라이프의 차원을 줄이며, 완전 연결된 레이어와 각 스트라이프에 대한 소프트 맥스 함수를 사용하여 최종적으로 보행자의 각 신체에 대한 부분특징값을 추출하게 된다.
학습과정에서, 상기 보행자 인식 네트워크는 복수 개의 스트라이프에 대해 교차 엔트로피(cross entropy) 손실에 대한 합이 최소화되도록 최적화되며, 차원 감소 후 복수 개의 조각을 연결하여 최종적인 부분특징값을 추출하게 된다.
보행자 속성추출 네트워크는 상기 입력된 특징맵의 픽셀 레벨에서 보행자의 다양한 속성정보을 구별하여, 적어도 하나 이상의 속성정보를 추출할 수 있도록 하는 기능을 수행한다.
즉, 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크의 출력단과 결합되어, 상기 보행자의 속성정보를 추출하게 된다. 이때, 상기 속성정보는 각 속성정보에 대한 확률값으로 출력됨은 상술한 바와 같다.
또한 상기 보행자 속성추출 네트워크는 공간 피라미드 풀링(spatial pyramid pooling)을 적용하여, 상이한 스케일(scale)을 가지는 복수의 피라미드 레벨을 통해 상기 특징맵을 복수개의 하위 영역(즉, 빈(bin))으로 분리한다. 다음으로, 상기 속성추출 네트워크는 분리한 하위 영역에 대한 에버리지 풀링을 수행하여, 고정된 길이의 특징 벡터를 추출하고, 상기 추출한 특징 벡터를 완전연결 레이어 및 소프트 맥스 함수를 통해 최종적으로 적어도 하나 이상의 보행자 속성정보에 대한 확률값을 출력하게 된다.
한편 상기 피라미드 레벨은 상기 특징맵을 특정 크기의 하위 영역으로 분리하기 위한 빈 사이즈를 의미하는 것으로, 상기 빈 사이즈는 1x1, 2x2, 3x3 또는 6x6의 크기를 가질 수 있다.
상기에서 설명한 것과 같이, 본 발명의 일 실시예에 따른 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템(100)은 상기 영상데이터로부터 특징맵을 추출한 후, 두 가지의 학습스트림으로 구성된다.
즉, 하나의 스트림은 보행자 인식 네트워크를 통해 파티션 전략으로 보행자의 부분특징값을 추출하기 위해 상기 특징맵을 학습하며, 또 다른 하나의 스트림은 보행자의 속성정보를 추출하기 위해 상기 특징맵을 학습한다.
이러한 과정을 통해 본 발명의 보행자 인식 및 속성 추출 시스템(100)은 보행자의 신체적 특징뿐만 아니라 해당 보행자가 착용하고 있는 복장이나 소지품까지 고려하여 학습함으로써, 특정 보행자를 인식 및 재인식할 수 있도록 함으로써, 상기 특정 보행자의 이동경로를 정확하고 신속하게 추적할 수 있도록 한다.
도 5는 본 발명의 일 실시예에 따른 복수의 감시카메라로부터 입력되는 영상데이터를 학습하는 절차를 나타낸 흐름도이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 복수의 감시카메라로부터 입력되는 영상데이터를 학습하는 절차는 우선, 보행자 인식 및 속성 추출 시스템(100)은 복수의 감시카메라(200)로부터 실시간으로 입력되는 영상데이터를 전처리한다(S110).
상기 전처리는 상기 입력되는 영상데이터를 상기 학습에 적합한 크기로 정규화하기 위한 것으로, 상기 영상데이터에 포함된 노이즈를 제거하는 것을 포함한다.
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 전처리한 영상데이터를 학습하여, 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성한다(S120).
상기 학습은 독립적으로 구성되는 각각의 컨볼루션 레이어를 포함하여 구성되는 특징맵 추출 네트워크를 통해 수행되며, 상기 특징맵은 상기 각각의 컨볼루션 레이어에서 수행되는 컨볼루션 연산과 상기 컨볼루션 연산 후 수행되는 서브 샘플링을 통해 상기 입력되는 영상데이터의 차원을 감소시킴으로써, 추출된다.
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 생성한 특징맵 추출용 학습모델을 통해 추출되는 특징맵을 학습하여, 보행자의 각 신체부분에 대한 부분특징값을 추출하기 위한 보행자 인식용 학습모델을 생성한다(S130).
상기 부분특징값은 보행자의 머리, 몸체, 다리, 팔 등에 대한 특징값을 의미하며, 시간의 흐름에 따라 추출됨은 상술한 바와 같다.
이와 동시에, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 특징맵 추출용 학습모델을 통해 추출한 특징맵을 학습하여, 보행자의 속성정보에 대한 특징값을 추출하는 보행자 속성추출용 학습모델을 생성한다(S131).
상기 보행자의 속성정보는 상기 보행자가 착용하고 있는 의복의 종류, 상기 보행자의 성별과 나이, 상기 보행자가 소지하고 있는 소지물건(가방, 핸드백 등),상기 보행자가 착용하고 있는 착용물건(안경, 모자, 신발의 종류 등) 또는 이들의 조합을 포함한다.
다음으로 상기 추출한 부분특징값과 속성정보를 결합하여, 상기 부분특징값과 속성정보를 추출한 해당 영상데이터와 상호 매칭하여 저장한다(S140).
한편 상기 영상데이터는 24시간 구동되는 감시카메라(200)로부터 입력되는 것으로, 본 발명의 보행자 인식 및 속성 추출 시스템(100)은 상기 실시간으로 입력되는 영상데이터를 학습하여, 상기 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델, 보행자 속성추출용 학습모델을 지속적으로 업데이트하게 된다.
즉, 도 4에 도시한 것과 같이, S120 단계 내지 S131 단계로 나누어 상기 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델, 보행자 속성추출용 학습모델을 생성하는 것으로 되어 있으나, 상기 각 학습모델을 업데이트하는 것은 지속적으로 수행됨은 당연하다.
이하에서는 질의 이미지가 입력되는 경우, 특정 보행자를 추적하는 과정에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 특정 보행자를 추적하는 절차를 나타낸 흐름도이다.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 특정 보행자를 추적하는 절차는 우선, 특정 보행자를 추적하기 위해 상기 특정 보행자에 대한 질의 이미지가 입력되는 경우, 우선적으로 보행자 인식 및 속성 추출 시스템(100)은 상기 입력되는 질의 이미지를 전처리한다(S210).
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 학습모델 데이터베이스(420)로부터 특징맵 추출용 학습모델을 로딩하여, 상기 로딩한 특징맵 추출용 학습모델에 상기 전처리한 질의 이미지를 입력함으로써, 해당 질의 이미지에 대한 특징맵을 추출한다(S220).
한편 상기 추출되는 질의 이미지에 대한 특징맵은 상기 질의 이미지에 대한 특정 보행자의 각 신체부분에 대한 특징맵을 의미한다.
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 학습모델 데이터베이스(420)로부터 보행자 인식용 학습모델 및 보행자 속성추출용 학습모델에 상기 추출한 특징맵을 각각 입력하여, 상기 특정 보행자에 대한 부분특징값과 속성정보를 추출한다(S230).
즉, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 보행자 인식용 학습모델과 상기 보행자 속성추출용 학습모델을 이용하여, 상기 특정 보행자에 대한 부분특징값과 보행자 속성정보를 추출함으로써, 해당 보행자를 인식하고 해당 보행자의 속성정보를 인식하게 된다.
이때, 상기 보행자 인식 및 속성 추출 시스템(100)은 상기 추출한 부분특징값과 속성정보를 시공간적으로 결합함으로서, 상기 질의 이미지에 포함된 특정 보행자를 보다 정확하게 인식할 수 있으며, 상기 추출한 특정 보행자에 대한 부분특징값과 보행자의 속성정보를 디스플레이를 통해, 상기 질의 이미지를 입력한 사용자에게 제공할 수 있다.
다음으로 상기 보행자 인식 및 속성 추출 시스템(100)은 기 저장된 영상데이터에 대한 부분특징값과 속성정보에 대한 유사도 계산을 수행하여(S240), 상기 유사도 계산 결과 유사도가 높은 적어도 하나 이상의 영상데이터를 추출하여 상기 디스플레이로 출력하거나, 사용자 단말(300)로 제공함으로써, 특정 보행자를 추적한 추적결과를 상기 사용자에게 제공하게 된다(S250).
상기 추적결과는 상기 미리 설정한 값 이상의 유사도를 가지는 적어도 하나 이상의 영상데이터와, 해당 영상데이터에 대한 부분특징값 및 속성정보, 해당 영상데이터의 촬영시간 및 촬영장소 또는 이들의 조합을 포함한다.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
이상에서 설명한 바와 같이, 본 발명은 결합심층네트워크를 기반으로 시간의 흐름에 따른 보행자의 각 신체부분에 대한 부분특징값과 보행자의 속성정보를 동시에 인식함으로써, 특정 보행자를 정확하고 신속하게 인식 및 재인식하여, 상기 특정 보행자에 대한 이동경로를 효과적으로 추적할 수 있다.

Claims (12)

  1. 복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력부;
    상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성부;
    상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성부; 및
    상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성부;를 포함하며,
    상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 각각 연결되어, 상기 부분특징값과 속성정보를 결합할 수 있도록 하기 위한 결합심층네트워크를 구성하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.
  2. 청구항 1에 있어서,
    상기 특징맵 추출 네트워크는,
    독립적으로 구성되는 복수의 컨볼루션 레이어를 포함하며, 각 컨볼루션 레이어를 통해 상기 영상데이터로부터 보행자의 각 신체부분을 개별적으로 분류하여, 상기 각 신체부분에 대한 특징맵을 각각 추출하도록 구성되며,
    상기 보행자 인식 네트워크는, 상기 특징맵을 복수의 파티션으로 분할하고, 상기 분할한 각각의 파티션에 대한 차원을 최소화하여 상기 보행자의 부분특징값을 추출하도록 구성되고,
    상기 보행자 속성추출 네트워크는, 서로 다른 스케일(scale)을 가지는 복수의 피라미드 레벨을 이용하여 상기 특징맵을 복수개의 하위영역으로 분리하고, 상기 각 하위영역에 대한 에버리지 풀링을 수행하여 적어도 하나 이상의 속성정보를 추출하도록 구성되는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.
  3. 청구항 1에 있어서,
    상기 부분특징값은, 상기 보행자의 얼굴, 몸체, 팔, 다리 또는 이들의 조합에 대한 특징값을 포함하며,
    상기 속성정보는, 보행자의 성별, 나이, 보행자가 입고 있는 의복의 종류, 상기 보행자가 소지한 소지물건, 상기 보행자가 착용하고 있는 착용물건 또는 이들의 조합을 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.
  4. 청구항 1에 있어서,
    상기 보행자 인식 및 속성추출 시스템은,
    특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적부;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.
  5. 청구항 4에 있어서,
    상기 보행자 추적부는,
    상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산부; 및
    상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함하는 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공부;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.
  6. 청구항 5에 있어서,
    상기 보행자 추적부는,
    상기 추출한 특정 보행자의 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 상기 부분특징값 및 속성정보를 시공간적으로 결합하는 시공간적 특징자 결합부;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템.
  7. 복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력 단계;
    상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성 단계;
    상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성 단계; 및
    상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성 단계;를 포함하며,
    상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 각각 연결되어, 상기 부분특징값과 속성정보를 결합할 수 있도록 하기 위한 결합심층네트워크를 구성하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.
  8. 청구항 7에 있어서,
    상기 특징맵 추출 네트워크는,
    독립적으로 구성되는 복수의 컨볼루션 레이어를 포함하며, 각 컨볼루션 레이어를 통해 상기 영상데이터로부터 보행자의 각 신체부분을 개별적으로 분류하여, 상기 각 신체부분에 대한 특징맵을 각각 추출하도록 구성되며,
    상기 보행자 인식 네트워크는, 상기 특징맵을 복수의 파티션으로 분할하고, 상기 분할한 각각의 파티션에 대한 차원을 최소화하여 상기 보행자의 부분특징값을 추출하도록 구성되고,
    상기 보행자 속성추출 네트워크는, 서로 다른 스케일(scale)을 가지는 복수의 피라미드 레벨을 이용하여 상기 특징맵을 복수개의 하위영역으로 분리하고, 상기 각 하위영역에 대한 에버리지 풀링을 수행하여 적어도 하나 이상의 속성정보를 추출하도록 구성되는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.
  9. 청구항 7에 있어서,
    상기 부분특징값은, 상기 보행자의 얼굴, 몸체, 팔, 다리 또는 이들의 조합에 대한 특징값을 포함하며,
    상기 속성정보는, 보행자의 성별, 나이, 보행자가 입고 있는 의복의 종류, 상기 보행자가 소지한 소지물건, 상기 보행자가 착용하고 있는 착용물건 또는 이들의 조합을 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.
  10. 청구항 7에 있어서,
    상기 보행자 인식 및 속성추출 방법은,
    특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 생성한 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.
  11. 청구항 10에 있어서,
    상기 보행자 추적 단계는,
    상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산 단계; 및
    상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함하는 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.
  12. 청구항 11에 있어서,
    상기 보행자 추적 단계는,
    상기 추출한 특정 보행자의 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 상기 부분특징값 및 속성정보를 시공간적으로 결합하는 시공간적 특징자 결합 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법.
PCT/KR2019/002995 2018-08-24 2019-03-15 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템 WO2020040391A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0099359 2018-08-24
KR1020180099359A KR101941994B1 (ko) 2018-08-24 2018-08-24 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템

Publications (1)

Publication Number Publication Date
WO2020040391A1 true WO2020040391A1 (ko) 2020-02-27

Family

ID=65277370

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002995 WO2020040391A1 (ko) 2018-08-24 2019-03-15 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템

Country Status (2)

Country Link
KR (1) KR101941994B1 (ko)
WO (1) WO2020040391A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611846A (zh) * 2020-03-31 2020-09-01 北京迈格威科技有限公司 行人再识别方法、装置、电子设备及存储介质
CN112001353A (zh) * 2020-09-03 2020-11-27 杭州云栖智慧视通科技有限公司 一种基于多任务联合监督学习的行人再识别方法
CN112926427A (zh) * 2021-02-18 2021-06-08 浙江智慧视频安防创新中心有限公司 一种目标用户着装属性识别方法及装置
CN113065568A (zh) * 2021-04-09 2021-07-02 神思电子技术股份有限公司 目标检测、属性识别与跟踪方法及系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222636B (zh) * 2019-05-31 2023-04-07 中国民航大学 基于背景抑制的行人属性识别方法
SG10201906090PA (en) * 2019-06-29 2021-01-28 Pensees Pte Ltd Methods and Apparatus for Person Identification and Person Re-Identification with full or partially available parts in a structured feature set
KR102194313B1 (ko) * 2019-07-22 2020-12-22 단국대학교 산학협력단 검출정보별 신경망 분석을 실시하여 개인을 식별하는 장치 및 방법
KR102344435B1 (ko) * 2019-09-11 2021-12-29 (주)이앤제너텍 인공 지능을 이용한 관제 서비스 시스템
KR102280291B1 (ko) * 2019-10-17 2021-07-22 단국대학교 산학협력단 검출정보별 신경망 분석을 실시하여 파킨슨 환자 및 족관절염 환자를 식별하는 장치 및 방법
CN111178251B (zh) * 2019-12-27 2023-07-28 汇纳科技股份有限公司 一种行人属性识别方法及系统、存储介质及终端
KR102187302B1 (ko) * 2020-01-13 2020-12-04 서강대학교 산학협력단 보행자 패션 정보를 이용한 보행자 검색 시스템 및 보행자 검색 방법
CN111461169B (zh) * 2020-03-04 2023-04-07 浙江工商大学 基于正反卷积和多层分支深度网络的行人属性识别方法
CN111507272B (zh) * 2020-04-20 2023-09-26 中国科学院自动化研究所 监控场景中行人属性识别方法及系统
KR102487033B1 (ko) * 2020-10-27 2023-01-12 주식회사 미르메이트 인공 지능 기반 영상 처리 장치
KR102511084B1 (ko) * 2020-10-27 2023-03-17 선문대학교 산학협력단 인공 지능 기반 비전 감시 장치
KR102519367B1 (ko) 2020-11-19 2023-04-06 연세대학교 산학협력단 Cctv 환경에서의 보행자 추적 장치 및 방법
CN112434599B (zh) * 2020-11-23 2022-11-18 同济大学 一种基于噪声通道的随机遮挡恢复的行人重识别方法
KR102609829B1 (ko) 2020-11-27 2023-12-04 연세대학교 산학협력단 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법
KR102636549B1 (ko) * 2021-08-31 2024-02-14 광주과학기술원 노이즈 개선 네트워크 기반 보행 인식 장치 및 방법
CN114067356B (zh) * 2021-10-21 2023-05-09 电子科技大学 基于联合局部引导与属性聚类的行人重识别方法
KR20230064003A (ko) 2021-11-01 2023-05-10 (주)엠더블유스토리 스마트인솔 지오펜스 기술을 이용한 치매노인 원격 관리 시스템
CN114694171B (zh) * 2022-02-22 2023-10-10 电子科技大学 一种基于自监督模式特征增强的行人属性识别方法
WO2024029880A1 (ko) * 2022-08-03 2024-02-08 주식회사 딥핑소스 시선 방향을 검출하는 딥러닝 기반의 시선 방향 검출 모델을 학습하는 학습방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101215948B1 (ko) * 2012-04-02 2012-12-27 주식회사 뉴인테크 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
KR20130105515A (ko) * 2012-03-15 2013-09-25 가부시끼가이샤 도시바 인물 화상 처리 장치 및 인물 화상 처리 방법
KR20180062423A (ko) * 2016-11-30 2018-06-08 알텀뷰 시스템즈 인크. 임베디드 시스템용 소규모 컨볼루션 뉴트럴 네트워크(cnn) 모듈을 이용한 얼굴 인식
JP2018110023A (ja) * 2018-03-02 2018-07-12 株式会社東芝 対象検出方法
KR20180092453A (ko) * 2017-02-09 2018-08-20 한국기술교육대학교 산학협력단 Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130105515A (ko) * 2012-03-15 2013-09-25 가부시끼가이샤 도시바 인물 화상 처리 장치 및 인물 화상 처리 방법
KR101215948B1 (ko) * 2012-04-02 2012-12-27 주식회사 뉴인테크 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
KR20180062423A (ko) * 2016-11-30 2018-06-08 알텀뷰 시스템즈 인크. 임베디드 시스템용 소규모 컨볼루션 뉴트럴 네트워크(cnn) 모듈을 이용한 얼굴 인식
KR20180092453A (ko) * 2017-02-09 2018-08-20 한국기술교육대학교 산학협력단 Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
JP2018110023A (ja) * 2018-03-02 2018-07-12 株式会社東芝 対象検出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611846A (zh) * 2020-03-31 2020-09-01 北京迈格威科技有限公司 行人再识别方法、装置、电子设备及存储介质
CN112001353A (zh) * 2020-09-03 2020-11-27 杭州云栖智慧视通科技有限公司 一种基于多任务联合监督学习的行人再识别方法
CN112001353B (zh) * 2020-09-03 2023-02-17 杭州云栖智慧视通科技有限公司 一种基于多任务联合监督学习的行人再识别方法
CN112926427A (zh) * 2021-02-18 2021-06-08 浙江智慧视频安防创新中心有限公司 一种目标用户着装属性识别方法及装置
CN113065568A (zh) * 2021-04-09 2021-07-02 神思电子技术股份有限公司 目标检测、属性识别与跟踪方法及系统

Also Published As

Publication number Publication date
KR101941994B1 (ko) 2019-01-24

Similar Documents

Publication Publication Date Title
WO2020040391A1 (ko) 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
CN108933925B (zh) 信息处理装置、信息处理方法以及存储介质
CN111291633B (zh) 一种实时行人重识别方法及装置
US10242266B2 (en) Method and system for detecting actions in videos
KR100474848B1 (ko) 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
KR101972918B1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
Torresan et al. Advanced surveillance systems: combining video and thermal imagery for pedestrian detection
RU2600540C2 (ru) Устройство и способ обработки информации, и программа
CN109614882A (zh) 一种基于人体姿态估计的暴力行为检测系统及方法
Chen et al. Object tracking across non-overlapping views by learning inter-camera transfer models
WO2021091021A1 (ko) 화재 검출 시스템
CN111832457A (zh) 基于云边协同的陌生人入侵检测方法
CN110796074B (zh) 一种基于时空数据融合的行人再识别方法
WO2008070206A2 (en) A seamless tracking framework using hierarchical tracklet association
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
JP7422456B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111126223A (zh) 基于光流引导特征的视频行人再识别方法
CN113486697B (zh) 基于空基多模态图像融合的森林烟火监测方法
US20220366570A1 (en) Object tracking device and object tracking method
CN116311377A (zh) 基于图像内与图像间关系的换衣行人重识别方法和系统
CN113420697B (zh) 基于表观和形状特征的换装视频行人重识别方法及系统
KR20230081016A (ko) 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램
CN112487926A (zh) 一种基于时空图卷积网络的景区投喂行为识别方法
WO2023113105A1 (ko) Cgam을 이용한 스포츠 동영상 내 활동 인식 장치 및 그 방법
Maddalena et al. Object motion detection and tracking by an artificial intelligence approach

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19851832

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19851832

Country of ref document: EP

Kind code of ref document: A1