WO2019237516A1 - 目标跟踪方法、装置、计算机设备及存储介质 - Google Patents

目标跟踪方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2019237516A1
WO2019237516A1 PCT/CN2018/103516 CN2018103516W WO2019237516A1 WO 2019237516 A1 WO2019237516 A1 WO 2019237516A1 CN 2018103516 W CN2018103516 W CN 2018103516W WO 2019237516 A1 WO2019237516 A1 WO 2019237516A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
detected
feature vector
similarity
detection frame
Prior art date
Application number
PCT/CN2018/103516
Other languages
English (en)
French (fr)
Inventor
马潜
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019237516A1 publication Critical patent/WO2019237516A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present application relates to the field of image processing technologies, and in particular, to a method, an apparatus, a computer device, and a storage medium for tracking an object.
  • Target tracking is an important branch of research in the field of computer vision. It has a wide range of applications in military guidance, video surveillance, intelligent transportation, robotics, and artificial intelligence.
  • the target images acquired at different positions will differ in terms of angle, size, and color, so that the target images acquired at each position will be processed separately, and the error will be different. Will be further expanded, which leads to a high probability of target detection errors and low detection accuracy.
  • a target tracking method includes:
  • each of the detection windows includes a target to be detected
  • For each of the objects to be detected perform regional segmentation on the target region image of the object to be detected according to a preset segmentation method to obtain N sub-regions, and extract the feature values of each of the sub-regions to form a sub-feature vector. , Forming N feature vectors of the sub-feature vectors corresponding to the feature window of the target to be detected, where N is a positive integer;
  • a start frame and a detection frame are determined from the frame image after the video data is framed, and the K to-be-detected targets in the start frame are used as tracking targets, and K is
  • the reference feature vectors corresponding to each of the tracking targets constitute a reference vector set, where K is a positive integer;
  • the feature vector of the object to be detected in the detection frame and the K reference feature vectors in the reference vector set are subjected to similarity calculation one by one, where:
  • Each of the objects to be detected in the detection frame corresponds to K similarities, and the maximum similarity is obtained from the K similarities as the maximum similarity corresponding to each of the objects in the detection frame;
  • the maximum similarity corresponding to the target to be detected in the detection frame is greater than or equal to a preset first similarity threshold, it is determined that the feature vector corresponding to the maximum similarity and the reference feature vector corresponding to the maximum similarity belong to the same A tracking target, and the change trajectory of the tracking target is recorded according to the feature vector.
  • An object tracking device includes:
  • Video data acquisition module for receiving video data collected by multi-camera cameras
  • a detection window acquisition module is configured to perform target detection on each frame image obtained by performing frame processing on the video data, and obtain a detection window when each frame image is subjected to target detection, wherein each of the detection windows includes a target to be detected ;
  • a normalization processing module configured to perform normalization processing on each of the detection windows according to a preset size to obtain a target area image corresponding to the detection window, so that the image sizes of each of the target area images are consistent;
  • a region segmentation calculation module configured to perform regional segmentation on the target region image of the target to be detected according to a preset segmentation method for each of the target to be detected, to obtain N sub-regions, and extract the sub-regions of each of the sub-regions;
  • the feature value constitutes a sub-feature vector
  • N said sub-feature vectors form a feature vector of a target to be detected corresponding to the detection window, where N is a positive integer
  • a reference vector set setting module configured to determine a start frame and a detection frame from the frame image after the video data is framed according to a preset selection method, and use the K
  • the detection target is used as a tracking target, and the reference feature vectors corresponding to the K tracking targets constitute a reference vector set, where K is a positive integer;
  • a similarity calculation module configured to perform, for each of the objects to be detected in the detection frame, a feature vector of the object to be detected in the detection frame and K reference feature vectors in the reference vector set. Calculate the similarity one by one, wherein each of the objects to be detected in the detection frame corresponds to K similarities, and the maximum similarity is obtained from the K similarities as each of the to-be-detected frames in the detection frame. The maximum similarity corresponding to the target;
  • a tracking target judgment processing module configured to determine a feature vector corresponding to the maximum similarity and the maximum similarity if the maximum similarity corresponding to the target to be detected in the detection frame is greater than or equal to a preset first similarity threshold.
  • the reference feature vector corresponding to the degree belongs to the same tracking target, and the change trajectory of the tracking target is recorded according to the feature vector.
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and executable on the processor. When the processor executes the computer-readable instructions, the steps of the target tracking method are implemented.
  • One or more non-volatile readable storage media storing computer-readable instructions, which when executed by one or more processors, cause the one or more processors to execute the above-mentioned target tracking method A step of.
  • FIG. 1 is a schematic diagram of an application environment of a target tracking method according to an embodiment of the present application
  • FIG. 2 is a flowchart of a target tracking method according to an embodiment of the present application.
  • FIG. 3 is a schematic diagram of target detection in an embodiment of the present application.
  • step S6 is a flowchart of a specific implementation of step S6 in an embodiment of the present application.
  • FIG. 6 is a flowchart of a specific implementation of updating a reference feature vector in an embodiment of the present application.
  • FIG. 7 is a schematic diagram of a target tracking device in an embodiment of the present application.
  • FIG. 8 is a schematic diagram of a computer device according to an embodiment of the present application.
  • the target tracking method provided in this application can be applied to an application environment that uses multiple cameras to track and track a target.
  • the application environment includes a background server and a front-end acquisition device.
  • the background server and the The front-end acquisition equipment is connected to a network.
  • the network can be a wired network or a wireless network.
  • the front-end acquisition equipment specifically includes, but is not limited to, camera equipment at different positions.
  • the front-end acquisition equipment sends video data to the background and sends video data to the background.
  • the server and the back-end server can track the target by processing the video data.
  • the back-end server can be implemented by an independent server or a server cluster composed of multiple servers.
  • the target tracking method provided in the embodiment of the present application is applied to a background server.
  • a target tracking method is provided, and the implementation process includes the following steps:
  • S1 Receive video data collected by a multi-camera camera.
  • a plurality of cameras are installed at different positions in the same video surveillance area, and each camera works independently. By combining the video data collected by them, it is possible to avoid monitoring dead ends and accurate response. The trajectory of the target movement.
  • the background server receives video data collected by cameras at different positions in the video monitoring area.
  • S2 Perform object detection on each frame of image obtained by performing frame processing on video data, and obtain a detection window when each frame of image is subjected to object detection, where each detection window includes an object to be detected.
  • the background server receives the video data and performs frame processing on each video data according to the sequence of the video data acquisition time.
  • Each frame of image is called a detection image.
  • the detection images can come from different locations.
  • Target detection on the detection image that is, identification of the detection image, also called target extraction, is an image segmentation based on the geometric and statistical characteristics of the target. It can detect the target to be detected in the image.
  • the target to be monitored can be a pedestrian or Animals and other objects.
  • a detection window corresponding to the target to be detected is acquired. The number of detection windows is consistent with the number of objects to be detected. If there are no objects to be detected in the detection image, the number of detection windows in the detection image is zero.
  • the video data obtained in step S1 is subjected to framing processing using a framing function provided by OpenCV to obtain a single-frame image.
  • OpenCV is a cross-platform computer vision library based on the Berkeley Software Distribution (BSD) license. It can run on Linux, Windows, Android, and Mac OS.
  • BSD Berkeley Software Distribution
  • a target detection algorithm is used to perform target detection on the single-frame image after frame processing, to detect the target to be detected included in each frame image, and to obtain a detection window where each target to be detected is located.
  • target detection algorithms include, but are not limited to, YOLO, SSD, R-CNN, SPP-NET, and Fast R-CNN.
  • OpenCV can be used in combination with the above-mentioned one or more target detection algorithms to achieve target detection on the detected image.
  • FIG. 3 is a schematic diagram showing a result of performing target detection on a frame of detected images.
  • a detection window of an object to be detected is obtained, and the detection window is a rectangular window, in which the detection window A, the detection window B, and the detection window C are all Is a person, and the object to be detected in the detection window D is a vehicle.
  • S3 Normalize each detection window according to a preset size to obtain a target area image corresponding to the detection window, so that the image sizes of each target area image are consistent.
  • src is the input parameter, which indicates the size of the detection window
  • dst is the output parameter, which indicates the target area image after normalization
  • dsize is the size of the target area image
  • fx is the horizontal scaling factor
  • fy is the vertical direction Scale.
  • the detection window size obtained by camera 1 is 10 * 35dpi (Dots Per Inch, dots per inch), and the detection window size obtained by camera 2 is 15 * 10dpi
  • the normalization process converts the detection window size obtained by camera 2 to 10 * 35dpi, or the detection window size obtained by camera 1 to 15 * 10dpi, or both to a predetermined size.
  • preset size may be specifically set according to actual application requirements, and is not limited here.
  • S4 For each target to be detected, perform regional segmentation on the target area image of the target to be detected according to a preset segmentation method to obtain N sub-regions, and extract the feature values of each sub-region to form a sub-feature vector.
  • the sub-feature vectors form the feature vector of the target to be detected corresponding to the detection window, where N is a positive integer.
  • the color of pixels may be unevenly distributed.
  • the color of the background may be large and continuous, and the color of the tracking target is basically fixed. Therefore, based on the complexity of image color, it is more accurate and stable to divide the image into smaller areas and reflect the feature information of a frame of image with finer granularity than the feature processing of the entire frame of image.
  • the target region image of the target to be detected is area-divided according to a preset segmentation method to obtain N sub-regions.
  • the preset segmentation method may be to divide the target area image in the horizontal direction or the vertical direction according to a preset number of divisions, or to perform horizontal or vertical division according to a fixed pixel value. It can be other division methods, which can be set according to the needs of practical applications, and there is no limitation here.
  • the target area image is subjected to vertical average area division according to a preset number of divisions to obtain a plurality of sub-areas.
  • a preset number of divisions is 10
  • the target area image with a size of 240 * 120dpi is vertically averaged and divided into 10 sub-areas, and the image size of each sub-area is 24 * 120dpi.
  • N sub-areas are obtained, and feature extraction is performed on each sub-area to obtain the feature value of each sub-area.
  • This feature value is used to form a sub-feature vector, and N sub-areas
  • the feature vector composes the feature vector of the target to be detected, so that the feature vector of each target to be detected is converted into the sum of the feature vectors of each sub-region.
  • the feature extraction of each sub-region may specifically adopt a discrete Fourier transform, a discrete cosine transform, and the like.
  • a discrete wavelet transform may be performed to obtain feature values that can stably reflect image features of the sub-region.
  • S5 According to a preset selection method, determine a start frame and a detection frame from a frame image after the video data is framed, and use the K to-be-detected targets in the start frame as tracking targets, and set K tracking targets.
  • the corresponding reference feature vector constitutes a reference vector set, where K is a positive integer.
  • the reference feature vector refers to a feature vector corresponding to a tracking target used for tracking.
  • the preset selection method includes a selection method of a start frame and a detection frame.
  • the starting frame is used to determine the tracking target and the reference feature vector
  • the detection frame is used to determine the change trajectory of the tracking target.
  • the selection method of the starting frame may be selecting the first frame image after framing the video data as the starting frame, or selecting the ith frame image after framing the video data as the starting frame, where i is greater than 1
  • the selection method of the detection frame it can be every frame image after the start frame, or it can be a frame image every predetermined number of frames from the start frame.
  • the preset selection method can be specifically set according to actual application requirements, and there is no limitation here.
  • the K to-be-detected targets in the initial frame are obtained, the K to-be-detected targets are used as tracking targets, and the feature vector corresponding to each tracking target is used as the reference feature vector and K reference feature vectors of the tracking target.
  • FIG. 3 Assuming that the image of FIG. 3 is used as the starting frame, according to the four detection windows in FIG. 3, they are detection window A, detection window B, detection window C, and detection window D. 4 reference feature vectors are obtained, and the 4 reference feature vectors form a reference vector set.
  • each to-be-detected object in the detection frame For each to-be-detected object in the detection frame, the feature vector of the to-be-detected object in the detection frame and the K reference feature vectors in the reference vector set are calculated one by one, wherein each to-be-detected in the detection frame is The target corresponds to K similarities, and the maximum similarity is obtained from the K similarities as the maximum similarity corresponding to each target to be detected in the detection frame.
  • the similarity is defined by calculating the distance between two vectors. The closer the distance is, the greater the similarity between the two vectors, and conversely, the longer the distance, the smaller the similarity between the two vectors.
  • Euclidean distance algorithm Manhattan distance algorithm, or cosine similarity algorithm can be used to implement the calculation of similarity.
  • FIG. 3 assuming that frame images selected every 10 frames from the start frame are used as detection frames, the feature vector of the 4 target objects to be detected in the detection frame and each reference feature vector in the reference vector set are calculated. The similarity between the objects, for each target to be detected, a similarity set containing 4 similarities is obtained, and the maximum similarity value obtained from the similarity set is the maximum similarity corresponding to the target in the detection frame So that each target to be detected corresponds to a maximum similarity.
  • step S6 determining a feature vector corresponding to the maximum similarity and a reference feature corresponding to the maximum similarity The vectors belong to the same tracking target, and the change trajectory of the tracking target is recorded according to the feature vector.
  • the recording method of the change trajectory may be directly recording the feature vector, or analyzing and recording the distinguishing features between the feature vector and the reference feature vector, or other recording methods that can reflect the change track of the tracking target.
  • the preset first similarity threshold can be dynamically adjusted according to the type of the tracking target. For example, when the type of the tracking target is a person, the first similarity threshold may be set to 80%, that is, when the maximum similarity corresponding to the target to be detected in the detection frame is greater than or equal to 80%, the feature corresponding to the maximum similarity is determined.
  • the vector and the reference feature vector corresponding to the maximum similarity belong to the same person; when the type of the tracking target is a vehicle, since the vehicle color is more single than the person and the error is smaller, the first similarity threshold can be set to 70% That is, when the maximum similarity corresponding to the target to be detected in the detection frame is greater than or equal to 70%, it is determined that the feature vector corresponding to the maximum similarity and the reference feature vector corresponding to the maximum similarity belong to the same vehicle.
  • a monitoring window for each frame image for target detection is obtained, and normalization processing is performed on the detection window to make the normalization
  • the feature vectors obtained from cameras at different positions can be calculated at the same order of magnitude, thereby improving the accuracy of the calculation result.
  • Segment the target area image to obtain multiple sub-areas, and extract the sub-feature vectors of each sub-area as the feature vectors of the target to be detected.
  • the multiple sub-feature vectors can more accurately reflect the features of the target to be detected.
  • the target tracking method further includes the following steps:
  • the maximum similarity corresponding to the target to be detected in the detection frame obtained in step S6 is less than a preset second similarity threshold, it means that the feature vector corresponding to the maximum similarity is equal to each of the reference feature vectors in the reference vector set. Are not similar, that is, the feature vector corresponding to the maximum similarity belongs to the new target.
  • the preset second similarity threshold can also be dynamically adjusted according to the type of tracking target, but the second similarity threshold is different from the first similarity threshold in that the first similarity threshold is used to determine the Whether the feature vector corresponding to the maximum similarity corresponding to the detection target and the reference feature vector corresponding to the maximum similarity belong to the same tracking target, and the second similarity threshold is used to determine the maximum similarity corresponding to the target to be detected in the detection frame. Whether the target to be detected belongs to a newly emerging tracking target.
  • the preset second similarity threshold is 20%. If the maximum similarity corresponding to the target to be detected in the detection frame is less than 20%, it is determined that the feature vector corresponding to the maximum similarity belongs to A new target that is not a person type; when the type of the tracking target is a vehicle, the preset second similarity threshold is 40%. If the maximum similarity corresponding to the target in the detection frame is less than 40%, the maximum similarity is determined The corresponding feature vector belongs to a new target of a non-vehicle type.
  • step S81 For the new target determined in step S81, its feature vector is recorded into the reference vector set, so as to perform similarity calculation in the subsequent tracking process.
  • the feature vector is saved to the reference vector set so that the newly emerging tracking targets can be tracked subsequently.
  • step S6 for each target to be detected in the detection frame, the feature vector of the target to be detected in the detection frame and the K reference feature vectors in the reference vector set are set.
  • each target to be detected in the detection frame when calculating the similarity between the feature vector of the target to be detected and each reference feature vector in the reference vector set, each of the feature vectors of the target to be detected is calculated.
  • the sub-feature vectors are compared in the same position with each sub-feature vector in the reference feature vector to obtain the similarity of the N sub-vectors.
  • the feature vector and the reference feature vector of the target to be detected are composed of N sub-feature vectors obtained by performing feature extraction on N sub-regions.
  • the sub-feature vector of each sub-region in the feature vector of the target to be detected is compared with the sub-feature vector of the sub-region at the same position in the reference feature vector to obtain N sub-vector similarities. For example, if there are 10 sub-feature vectors for the feature vector and the reference feature vector of the target to be detected, that is, N is equal to 10, the sub-feature vectors of the sub-regions at the same position are compared and calculated to obtain the similarity of the 10 sub-vectors.
  • Euclidean distance algorithm may be used to implement the calculation of the similarity of the sub-vectors.
  • S62 Perform weighted calculation on the similarity of the N sub-vectors according to a preset weight allocation method to obtain the similarity.
  • the pixel information contained in different sub-regions is different. Generally speaking, the closer the pixel information to the position of the middle region is, the more representative the feature of the target to be detected, and the farther away it is.
  • the pixel information of the middle area may represent the characteristics of the image background. Therefore, in the preset weight allocation method, different weights are set for different sub-regions. The weight of the sub-region near the middle region is greater than the weight of the sub-region far from the middle region, and the weight between different sub-regions. The value can vary linearly.
  • the similarity of the sub-vector corresponding to each sub-region is weighted and summed according to formula (1), and then averaged to obtain the feature vector and the reference feature vector of the two targets to be detected.
  • Vector similarity between SIM is weighted and summed according to formula (1), and then averaged to obtain the feature vector and the reference feature vector of the two targets to be detected.
  • N is the number of sub-regions
  • a i is the weight of the i-th sub-region
  • s i is the similarity of the sub-feature vector corresponding to the i-th sub-region.
  • Formula (1) performs similarity calculation, which can filter out the influence of unimportant information on the edge of the image on the feature vector, and can more accurately reflect the features of the target to be detected, thereby accurately identifying the tracking target.
  • the reference feature vector may be further updated.
  • the target tracking method further includes the following steps:
  • the tracking target since the reference feature vector represents the initial state of the tracking target, the tracking target will change in shape, angle, distance, etc. over time.
  • the feature vector corresponding to the maximum similarity corresponding to the target to be detected obtained in the detection frame is more able to represent the current state of the tracking target.
  • the reference feature vector of the tracking target is replaced with the feature vector corresponding to the maximum similarity corresponding to the target to be detected in the detection frame, thereby effectively improving the accuracy of subsequent detection of the tracking target through similarity calculation.
  • the reference feature vector may be updated in another manner.
  • the target tracking method further includes the following steps:
  • S71 Calculate an average value between the feature vector corresponding to the maximum similarity corresponding to the target to be detected in the detection frame and the reference feature vector corresponding to the maximum similarity corresponding to the target to be detected in the detection frame.
  • an average value between the feature vector and the reference feature vector is calculated according to the feature vector and the reference feature vector determined in step S7.
  • the reference feature vector of the tracking target is updated to an average value obtained in step S71.
  • the average value between the feature vector corresponding to the maximum similarity corresponding to the target to be detected in the detection frame and the reference feature vector corresponding to the maximum similarity corresponding to the target to be detected in the detection frame is used to replace the average value in the detection frame.
  • the reference feature vector corresponding to the maximum similarity corresponding to the target to be detected can avoid errors caused by excessive changes in the similarity value, thereby more accurately describing the change in the feature value of the tracking target, and effectively improving the target detection accuracy.
  • a target tracking device is provided, and the target tracking device corresponds to the target tracking method in the above embodiment in a one-to-one correspondence.
  • the target tracking device includes: a video data acquisition module 71, a detection window acquisition module 72, a normalization processing module 73, a region division calculation module 74, a reference vector set setting module 75, and a similarity calculation module 76.
  • Tracking target judgment processing module 77 The detailed description of each function module is as follows:
  • Video data acquisition module 71 for receiving video data collected by a multi-camera camera
  • Detection window acquisition module 72 used to perform target detection on each frame of image obtained by performing frame processing on video data, and obtain a detection window when each frame of image is subjected to target detection, wherein each detection window includes a target to be detected;
  • a normalization processing module 73 configured to perform normalization processing on each detection window according to a preset size to obtain a target area image corresponding to the detection window, so that the image sizes of each target area image are consistent;
  • Region segmentation calculation module 74 for each target to be detected, perform regional segmentation on the target region image of the target to be detected according to a preset segmentation method, obtain N sub-regions, and extract feature values of each sub-region to form Sub-feature vector, which consists of N sub-feature vectors to form the feature vector of the target to be detected corresponding to the detection window, where N is a positive integer;
  • Reference vector set setting module 75 used to determine a start frame and a detection frame from a frame image after frame processing of video data according to a preset selection method, and use K to-be-detected targets in the start frame as tracking targets ,
  • the reference feature vectors corresponding to the K tracking targets are formed into a reference vector set, where K is a positive integer;
  • Similarity calculation module 76 for each target to be detected in the detection frame, calculate the similarity one by one between the feature vector of the target to be detected in the detection frame and the K reference feature vectors in the reference vector set, where the detection frame Each target to be detected corresponds to K similarities, and the maximum similarity is obtained from the K similarities as the maximum similarity corresponding to each target to be detected in the detection frame;
  • Tracking target judgment processing module 77 for determining if the maximum similarity corresponding to the target to be detected in the detection frame is greater than or equal to a preset first similarity threshold, determining the feature vector corresponding to the maximum similarity and the maximum similarity corresponding to the maximum similarity The reference feature vector belongs to the same tracking target, and the change trajectory of the tracking target is recorded according to the feature vector.
  • the target tracking device further includes:
  • New target judgment module 781 for determining that the feature vector corresponding to the maximum similarity belongs to the new target if the maximum similarity corresponding to the target to be detected in the detection frame is less than a preset second similarity threshold, where the second similarity The threshold is less than the first similarity threshold;
  • New target acquisition module 782 used to add the feature vector of the new target to the reference vector set.
  • the similarity calculation module 76 includes:
  • Sub-feature vector comparison sub-module 761 for each target to be detected in the detection frame, when calculating the similarity between the feature vector of the target to be detected and each reference feature vector in the reference vector set, the target feature Compare each sub-feature vector in the feature vector of the detection target with each sub-feature vector in the reference feature vector to obtain the similarity of the N sub-vectors;
  • the weighting calculation sub-module 762 is configured to perform weighting calculation on the similarity of the N sub-vectors according to a preset weight allocation method to obtain the similarity.
  • the target tracking device further includes:
  • the first updating module 79 is configured to update the reference feature vector corresponding to the maximum similarity corresponding to the target to be detected in the detection frame to the feature vector corresponding to the maximum similarity corresponding to the target to be detected in the detection frame;
  • the average value calculation module 710 is configured to calculate an average value between a feature vector corresponding to a maximum similarity corresponding to an object to be detected in a detection frame and a reference feature vector corresponding to a maximum similarity corresponding to the object to be detected in a detection frame;
  • the second updating module 711 is configured to update the reference feature vector corresponding to the maximum similarity corresponding to the target to be detected in the detection frame to an average value.
  • Each module in the above target tracking device may be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules may be embedded in the hardware in or independent of the processor in the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor can call and execute the operations corresponding to the above modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 8.
  • the computer device includes a processor, a memory, a network interface, and a database connected through a system bus.
  • the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile readable storage medium and an internal memory.
  • the non-volatile readable storage medium stores an operating system, computer-readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in a non-volatile readable storage medium.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer-readable instructions are executed by a processor to implement a method of target tracking.
  • a computer device including a memory, a processor, and computer-readable instructions stored on the memory and executable on the processor.
  • the processor executes the computer-readable instructions, the objectives in the foregoing embodiments are achieved.
  • the steps of the tracking method are, for example, steps S1 to S7 shown in FIG. 2.
  • the processor executes the computer-readable instructions, the functions of each module / unit of the multi-camera target tracking device in the foregoing embodiment are implemented, for example, the functions of modules 71 to 77 shown in FIG. 7. To avoid repetition, we will not repeat them here.
  • one or more non-volatile readable storage media are provided, and computer-readable instructions are stored thereon.
  • the target tracking in the foregoing method embodiment is implemented.
  • Method, or, when the computer-readable instructions are executed by one or more processors the functions of each module / unit in the target tracking device in the above device embodiment are implemented. To avoid repetition, we will not repeat them here.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in various forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), dual data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种目标跟踪方法、装置、计算机设备及存储介质，所述方法包括：获取每帧图像中的检测窗口；根据预设尺寸对每个检测窗口进行归一化处理和区域分割，提取每个子区域的特征值，组成待检测目标的特征向量；按照预设的选取方式确定起始帧、检测帧和基准向量集；计算待检测目标的特征向量与基准向量集中的每个基准特征向量之间的相似度，并获取最大相似度；若最大相似度大于或等于第一相似度阈值，则确定该最大相似度对应的特征向量和基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。能有效降低多机位跟踪目标时待检测目标的误判率，提高目标检测精度。

Description

目标跟踪方法、装置、计算机设备及存储介质
本申请以2018年06月11日提交的申请号为201810593793.0，名称为“目标跟踪方法、装置、计算机设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及图像处理技术领域，尤其涉及一种目标跟踪方法、装置、计算机设备及存储介质。
背景技术
目标跟踪是计算机视觉领域中一个重要的研究分支，其在军事制导、视频监控、智能交通、机器人以及人工智能等领域有着广泛的应用。
目前，采用多机位摄像头对目标进行摄像跟踪时，不同机位获取到的目标图像在角度、尺寸以及色彩等方面会有所差异，使得对每个机位获取的目标图像分别处理后，误差将进一步扩大，这导致了目标检测出错的几率大，检测精度不高。
发明内容
基于此，有必要针对上述技术问题，提供一种在多机位目标跟踪时提高目标检测精度的目标跟踪方法、装置、计算机设备及存储介质。
一种目标跟踪方法，包括：
接收多机位摄像头采集的视频数据；
对所述视频数据进行分帧处理得到的每帧图像进行目标检测，获取每帧图像进行目标检测时的检测窗口，其中，每个所述检测窗口包含一个待检测目标；
根据预设尺寸对每个所述检测窗口进行归一化处理，得到该检测窗口对应的目标区域图像，使得每个所述目标区域图像的图像尺寸均一致；
针对每个所述待检测目标，根据预设的切分方式对该待检测目标的目标区域图像进行区域分割，得到N个子区域，并提取每个所述子区域的特征值，构成子特征向量，将N个 所述子特征向量组成该检测窗口所对应的待检测目标的特征向量，其中，N为正整数；
按照预设的选取方式，从所述视频数据分帧处理后的帧图像中确定起始帧和检测帧，并以所述起始帧中的K个所述待检测目标作为跟踪目标，将K个所述跟踪目标对应的基准特征向量构成基准向量集，其中，K为正整数；
针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算，其中，所述检测帧中的每个所述待检测目标对应K个相似度，从K个所述相似度中获取最大相似度作为所述检测帧中每个所述待检测目标对应的最大相似度；
若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。
一种目标跟踪装置，包括：
视频数据采集模块，用于接收多机位摄像头采集的视频数据；
检测窗口获取模块，用于对所述视频数据进行分帧处理得到的每帧图像进行目标检测，获取每帧图像进行目标检测时的检测窗口，其中，每个所述检测窗口包含一个待检测目标；
归一化处理模块，用于根据预设尺寸对每个所述检测窗口进行归一化处理，得到该检测窗口对应的目标区域图像，使得每个所述目标区域图像的图像尺寸均一致；
区域分割计算模块，用于针对每个所述待检测目标，根据预设的切分方式对该待检测目标的目标区域图像进行区域分割，得到N个子区域，并提取每个所述子区域的特征值，构成子特征向量，将N个所述子特征向量组成该检测窗口所对应的待检测目标的特征向量，其中，N为正整数；
基准向量集设置模块，用于按照预设的选取方式，从所述视频数据分帧处理后的帧图像中确定起始帧和检测帧，并以所述起始帧中的K个所述待检测目标作为跟踪目标，将K个所述跟踪目标对应的基准特征向量构成基准向量集，其中，K为正整数；
相似度计算模块，用于针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算，其中，所述检测帧中的每个所述待检测目标对应K个相似度，从K个所述相似度中获取最大相似度作为所述检测帧中每个所述待检测目标对应的最大相似度；
跟踪目标判断处理模块，用于若所述检测帧中所述待检测目标对应的最大相似度大于 或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。
一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述目标跟踪方法的步骤。
一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行上述目标跟踪方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中目标跟踪方法的一应用环境示意图；
图2是本申请一实施例中目标跟踪方法的流程图；
图3是本申请一实施例中目标检测的示意图；
图4是本申请一实施例中确定新目标的流程图；
图5是本申请一实施例中步骤S6的具体实现流程图；
图6是本申请一实施例中更新基准特征向量的具体实现流程图；
图7是本申请一实施例中目标跟踪装置的示意图；
图8是本申请一实施例中计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的目标跟踪方法，可应用在采用多机位摄像头对目标进行摄像跟踪的应用环境中，如图1所示，该应用环境包括后台服务端和前端采集设备，其中，后台服务端和 前端采集设备之间网络进行连接，该网络可以是有线网络或者无线网络，前端采集设备具体包括但不限于不同机位的摄像机设备，前端采集设备对目标进行视频摄像后，将视频数据发送到后台服务端，后台服务端对通过对视频数据进行处理，实现对目标的跟踪，后台服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。本申请实施例提供的目标跟踪方法应用于后台服务端。
在一实施例中，如图2所示，提供了一种目标跟踪方法，其实现流程包括如下步骤：
S1：接收多机位摄像头采集的视频数据。
在本申请实施例中，在同一个视频监控区域内的不同位置安装多个摄像头，每个摄像头都是独立工作的，将它们采集到的视频数据进行结合，可以避免监控死角，以及准确的反应目标移动的轨迹。
具体地，后台服务端接收视频监控区域内的不同位置的摄像头采集到的视频数据。
S2：对视频数据进行分帧处理得到的每帧图像进行目标检测，获取每帧图像进行目标检测时的检测窗口，其中，每个检测窗口包含一个待检测目标。
在本申请实施例中，由于不同机位摄像头采集视频数据的时间不同，因此，后台服务端接收到视频数据后，按照视频数据的采集时间的先后顺序对每个视频数据进行分帧处理，得到的每一帧图像，称为检测图像。检测图像可以是来自于不同机位。对检测图像进行目标检测，即对检测图像进行识别，也叫目标提取，是一种基于目标几何和统计特征的图像分割，能检测出图像中的待检测目标，该待监测目标可以是行人或者动物等物体。在检测到检测图像中的待监测目标之后，获取该待检测目标对应的检测窗口。其中，检测窗口的数量是和待检测目标的数量一致，若检测图像中不存在待检测目标，则检测图像中检测窗口的数量为0。
具体地，对步骤S1得到的视频数据，用OpenCV提供的分帧功能进行分帧处理，得到单帧图像。OpenCV是一个基于伯克利软件发行版(Berkeley Software Distribution，BSD)许可发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS等操作系统上。
采用目标检测算法对分帧处理后的单帧图像进行目标检测，检测每帧图像中包含的待检测目标，并获取每个待检测目标所在的检测窗口。常用的目标检测算法包括但不限于YOLO、SSD、R-CNN、SPP-NET和Fast R-CNN等。可以采用OpenCV结合上述一个或多个目标检测算法实现对检测图像的目标检测。
请参阅图3，图3示出了对一帧检测图像进行目标检测的结果的示意图。如图3所示， 通过对该检测图像进行目标检测，获取待检测目标的检测窗口，该检测窗口为一矩形窗，其中，检测窗口A、检测窗口B和检测窗口C中的待检测目标均为人物，检测窗口D中的待检测目标为车辆。
S3：根据预设尺寸对每个检测窗口进行归一化处理，得到该检测窗口对应的目标区域图像，使得每个目标区域图像的图像尺寸均一致。
在本申请实施例中，由于多个摄像头分布在不同的位置，并且拍摄的角度各不相同，因此对同一跟踪目标获取到的检测窗口的尺寸不一。通过对每个检测窗口的尺寸进行归一化处理，使得各个检测窗口的尺寸统一，有利于在相同的水平基础上评估检测窗口中待检测目标的特征，从而使得后续进行特征相似度计算时，能够使得从不同机位的摄像机得到的特征向量在同一数量级进行计算，从而提高计算结果的准确性。
具体地，利用OpenCV中的图形图像转换函数对每个检测窗口进行归一化处理
下面，以OpenCV中的图形图像转换函数resize()为例进行说明，resize()函数的定义及其参数的具体含义详述如下：
void resize(InputArray src,OutputArray dst,Size dsize,double fx＝0,double fy＝0)
其中，src为输入参数，表示检测窗口的尺寸，dst为输出参数，表示归一化处理之后的目标区域图像，dsize为目标区域图像的尺寸大小，fx为横向方向的缩放比例，fy为纵向方向的缩放比例。
以图3中的检测窗口A为例，假设1号摄像头获取的检测窗口大小是10*35dpi(Dots Per Inch，每英寸点数)，2号摄像头获取的检测窗口大小是15*10dpi，则通过归一化处理，将2号摄像头获取的检测窗口大小转化为10*35dpi，或者将1号摄像头获取的检测窗口大小转化为15*10dpi，或者将两者转化为某一预定尺寸的大小。
需要说明的是，预设尺寸具体可以根据实际应用的需要进行设置，此处不做限制。
S4：针对每个待检测目标，根据预设的切分方式对该待检测目标的目标区域图像进行区域分割，得到N个子区域，并提取每个子区域的特征值，构成子特征向量，将N个子特征向量组成该检测窗口所对应的待检测目标的特征向量，其中，N为正整数。
可以理解的，在一帧图像中，像素的色彩可能分布不均的，例如，背景的色彩可能是大块且连续的，而跟踪目标的色彩基本是固定的。因此，基于图像色彩的复杂性，将图像分割成更小的区域，用更细的粒度来反应一帧图像的特征信息比单纯对整帧图像进行特征处理要更加准确和稳定。
具体地，针对每个待检测目标，根据预设的切分方式对该待检测目标的目标区域图像 进行区域分割，得到N个子区域。
需要说明的是，预设的切分方式可以是沿水平方向或者垂直方向对目标区域图像按照预设的分割数量进行平均分割，也可以是按照固定的像素值进行水平方向或者垂直方向分割，还可以是其他的切分方式，其具体可以根据实际应用的需要进行设置，此处不做限制。
优选地，按照预设的分割数量对目标区域图像进行纵向平均区域分割，得到多个子区域。例如，预设的分割数量为10，将尺寸为240*120dpi的目标区域图像进行纵向平均区域分割，得到10个子区域，则每个子区域的图像尺寸为24*120dpi。
在对每个待检测目标的目标区域图像进行区域分割后，得到N个子区域，对每个子区域进行特征提取，得到每个子区域的特征值，将该特征值构成子特征向量，并将N个子特征向量组成待检测目标的特征向量，使得每个待检测目标的特征向量转化为各个子区域的特征向量的总和。
其中，对每个子区域的特征提取具体可以采用离散傅里叶变换、离散余弦变换等方式，优选地，可以进行离散小波变换，得到能稳定的反应该子区域的图像特征的特征值。
S5：按照预设的选取方式，从视频数据分帧处理后的帧图像中确定起始帧和检测帧，并以该起始帧中的K个待检测目标作为跟踪目标，将K个跟踪目标对应的基准特征向量构成基准向量集，其中，K为正整数。
在本申请实施例中，基准特征向量是指用于跟踪的跟踪目标对应的特征向量。
需要说明的是，预设的选取方式包括对起始帧和检测帧的选取方式。其中，起始帧用于确定跟踪目标和基准特征向量，检测帧用于判断跟踪目标的变化轨迹。对于起始帧的选取方式，可以是选取视频数据分帧处理后的第一帧图像作为起始帧，或者选取视频数据分帧处理后的第i帧图像作为起始帧，其中，i大于1；对于检测帧的选取方式，可以是起始帧之后的每一帧图像，也可以是从起始帧开始每隔预定帧数的帧图像。预设的选取方式具体可以根据实际应用的需要进行设置，此处不做限制。
具体地，获取起始帧中的K个待检测目标，将该K个待检测目标作为跟踪目标，并将每个跟踪目标对应的特征向量作为该跟踪目标的基准特征向量，K个基准特征向量构成了一个基准向量集。
继续以图3为例，假设以图3的这一帧图像作为起始帧，则根据图3中的4个检测窗口，分别是检测窗口A、检测窗口B、检测窗口C和检测窗口D，得到4个基准特征向量，这4个基准特征向量组成一个基准向量集。
可以理解的是，针对每个跟踪目标，通过比对该跟踪目标在起始帧图像中的位置与检 测帧图像中的位置之间的关系，能够得到该跟踪目标的运动轨迹或者变化状态。
S6：针对检测帧中的每个待检测目标，将检测帧中的待检测目标的特征向量与基准向量集中的K个基准特征向量进行逐个相似度计算，其中，检测帧中的每个待检测目标对应K个相似度，从K个相似度中获取最大相似度作为检测帧中每个待检测目标对应的最大相似度。
具体地，通过计算两个向量之间的距离定义相似度，距离越近则两个向量之间的相似度越大，反之，距离越远则两个向量之间的相似度越小。
可选地，可以采用欧几里得距离算法、曼哈顿距离算法或者余弦相似度算法等实现对相似度的计算。继续以图3为例，假设从起始帧开始每隔10帧选取的帧图像作为检测帧，则计算检测帧中的4个待检测目标的特征向量与基准向量集中的每个基准特征向量之间的相似度，对每个待检测目标均得到1个包含4个相似度的相似度集合，并从该相似度集合中获取值最大的相似度为检测帧中待检测目标对应的最大相似度，从而每个待检测目标均对应一个最大相似度。
S7：若检测帧中待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。
具体地，若步骤S6得到的检测帧中待检测目标对应的最大相似度大于或者等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。
其中，变化轨迹的记录方式可以是直接记录该特征向量，也可以是分析并记录特征向量与基准特征向量之间的区别特征，还可以是其他能够体现跟踪目标变化轨迹的记录方式，其具体可以根据实际应用的需要进行设置，此处不做限制。
需要说明的是，预设的第一相似度阈值可以根据跟踪目标的类型进行动态调整。例如，当跟踪目标的类型是人物时，第一相似度阈值可以设置为80％，即当检测帧中待检测目标对应的最大相似度大于或等于80％时，确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个人；当跟踪目标的类型是车辆时，由于车辆色彩相对人物更加单一，判断起来误差更小，因此可以将第一相似度阈值设置为70％，即当检测帧中待检测目标对应的最大相似度大于或等于70％时，确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一辆车辆。
在本实施例中，对接收到的多机位摄像头采集的视频数据进行分帧处理后，获取每帧 图像进行目标检测时的监测窗口，通过对检测窗口进行归一化处理，使得对归一化后的目标区域图像进行特征相似度计算时，能够使得从不同机位的摄像机得到的特征向量在同一数量级进行计算，从而提高计算结果的准确性；在对目标区域图像进行特征提取时，通过对目标区域图像进行区域分割，得到多个子区域，分别提取每个子区域的子特征向量，作为待检测目标的特征向量，通过多个子特征向量的方式能够更加准确的反应待检测目标的特征，进而通过计算待检测目标的特征向量与基准向量集中的每个基准特征向量之间的相似度，并根据检测帧中待检测目标对应的最大相似度与预设的第一相似度阈值的比较结果，能够准确判断该最大相似度对应的特征向量和基准特征向量是否属于同一个跟踪目标，从而有效降低多机位跟踪目标时待检测目标的误判率，提高目标检测精度。
还可以进一步判断待检测目标是否为新出现的目标，并保存其特征向量在一实施例中，如图4所示，在步骤S6之后，还可以进一步判断待检测目标是否为新出现的目标，并保存其特征向量，该目标跟踪方法还包括如下步骤：
S81：若检测帧中待检测目标对应的最大相似度小于预设的第二相似度阈值，则确定该最大相似度对应的特征向量属于新目标，其中，第二相似度阈值小于第一相似度阈值。
具体地，若步骤S6得到的检测帧中待检测目标对应的最大相似度小于预设的第二相似度阈值，则说明该最大相似度对应的特征向量与基准向量集中的每个基准特征向量之间均不相似，即该最大相似度对应的特征向量属于新目标。
其中，预设的第二相似度阈值也可以根据跟踪目标的类型进行动态调整，但第二相似度阈值与第一相似度阈值的不同之处在于，第一相似度阈值是判断检测帧中待检测目标对应的最大相似度对应的特征向量和该最大相似度对应的基准特征向量是否属于同一个跟踪目标，而第二相似度阈值是用来判断检测帧中待检测目标对应的最大相似度对应的特征向量所属的待检测目标是否是一个新出现的跟踪目标。
例如，当跟踪目标的类型是人物时，预设的第二相似度阈值为20％，若检测帧中待检测目标对应的最大相似度小于20％，则确定该最大相似度对应的特征向量属于非人物类型的新目标；当跟踪目标的类型是车辆时，预设的第二相似度阈值为40％，若检测帧中待检测目标对应的最大相似度小于40％，则确定该最大相似度对应的特征向量属于非车辆类型的新目标。
S82：将新目标的特征向量添加到基准向量集中。
具体地，对于步骤S81确定的新目标，将其特征向量记录到基准向量集中，以便在后续的跟踪过程中进行相似度计算。
在本实施例中，确定待检测目标是否属于新出现的跟踪目标。对于新出现的跟踪目标，将其特征向量保存到基准向量集中去，以便后续对新出现的跟踪目标进行跟踪。
在一实施例中，如图5所示，在步骤S6中，即针对检测帧中的每个待检测目标，将检测帧中的待检测目标的特征向量与基准向量集中的K个基准特征向量进行逐个相似度计算，其中，检测帧中的每个待检测目标对应K个相似度，从K个相似度中获取最大相似度作为检测帧中每个待检测目标对应的最大相似度，具体包括如下步骤：
S61：针对检测帧中的每个待检测目标，在计算该待检测目标的特征向量与基准向量集中的每个基准特征向量之间的相似度时，将该待检测目标的特征向量中的每个子特征向量与该基准特征向量中的每个子特征向量进行同位置比较，得到N个子向量相似度。
在本申请实施例中，待检测目标的特征向量和基准特征向量都是对N个子区域进行特征提取得到的N个子特征向量组成的。在向量相似度比较过程中，将待检测目标的特征向量中每个子区域的子特征向量分别与基准特征向量中相同位置的子区域的子特征向量进行比较，得到N个子向量相似度。例如，若待检测目标的特征向量和基准特征向量都存在10个子特征向量，即N等于10，则将相同位置的子区域的子特征向量进行比较计算，得到10个子向量相似度。
可选地，可以采用欧几里得距离算法、曼哈顿距离算法或者余弦相似度算法等来实现对子向量相似度的计算。
S62：根据预设的权重分配方式，对N个子向量相似度进行加权计算，得到相似度。
需要说明的是，在一个目标区域图像中，不同子区域中包含的像素点信息是不同的，一般来说，越接近中间区域位置的像素点信息就越能代表待检测目标的特征，而远离中间区域位置的像素点信息可能代表的是图像背景的特征。因此，在预设的权重分配方式中为不同子区域设置不同的权值，接近中间区域位置的子区域的权值大于远离中间区域位置的子区域的权值，并且不同子区域之间的权值可以按线性变化。
具体地，根据预设的每个子区域的权重，按照公式(1)将每个子区域对应的子向量相似度进行加权求和再取平均值，得到两个待检测目标的特征向量与基准特征向量之间的向量相似度SIM：
Figure PCTCN2018103516-appb-000001
其中，N为子区域的个数，a i为第i个子区域的权值，s i为第i个子区域对应的子特征向量相似度。
在本实施例中，通过将待检测目标的特征向量中各个子特征向量与基准特征向量中的各个子特征向量进行同位置比较，得到N个子向量相似度，并按照预设的权重分配方式使用公式(1)进行相似度计算，可以过滤掉图像边缘的不重要的信息对特征向量产生的影响，能够更加准确的反应待检测目标的特征，从而准确识别跟踪目标。
在一实施例中，在步骤S7之后，还可以进一步对基准特征向量进行更新，该目标跟踪方法还包括如下步骤：
S8：将检测帧中待检测目标对应的最大相似度对应的基准特征向量更新为检测帧中待检测目标对应的最大相似度对应的特征向量。
具体地，由于基准特征向量代表的是跟踪目标的起始状态，而跟踪目标随着时间的推移会在形体、角度、距离等方面发生变化。在检测帧中获取到的待检测目标对应的最大相似度对应的特征向量更能够代表跟踪目标当前的状态。
在本实施例中，将跟踪目标的基准特征向量替换为检测帧中待检测目标对应的最大相似度对应的特征向量，从而有效提高了后续通过相似度计算检测跟踪目标的准确性。
在一实施例中，如图6所示，在步骤S7之后，还可以通过另一种方式对基准特征向量进行更新，该目标跟踪方法还包括如下步骤：
S71：计算检测帧中待检测目标对应的最大相似度对应的特征向量和检测帧中待检测目标对应的最大相似度对应的基准特征向量之间的平均值。
具体地，根据步骤S7确定的特征向量和基准特征向量，计算该特征向量和该基准特征向量之间的平均值。
S72：将检测帧中待检测目标对应的最大相似度对应的基准特征向量更新为平均值。
具体地，将跟踪目标的基准特征向量更新为步骤S71得到的平均值。
在本实施例中，通过用检测帧中待检测目标对应的最大相似度对应的特征向量和检测帧中待检测目标对应的最大相似度对应的基准特征向量之间的平均值来代替检测帧中待检测目标对应的最大相似度对应的基准特征向量，能够避免相似度数值变化过大而引起的误差，从而能够更加精准的描述跟踪目标的特征值变化，有效提高目标检测精度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种目标跟踪装置，该目标跟踪装置与上述实施例中目标跟踪方法一一对应。如图7所示，该目标跟踪装置包括：视频数据采集模块71，检测窗口获取模块72，归一化处理模块73，区域分割计算模块74，基准向量集设置模块75，相似度计算 模块76，跟踪目标判断处理模块77。各功能模块详细说明如下：
视频数据采集模块71：用于接收多机位摄像头采集的视频数据；
检测窗口获取模块72：用于对视频数据进行分帧处理得到的每帧图像进行目标检测，获取每帧图像进行目标检测时的检测窗口，其中，每个检测窗口包含一个待检测目标；
归一化处理模块73：用于根据预设尺寸对每个检测窗口进行归一化处理，得到该检测窗口对应的目标区域图像，使得每个目标区域图像的图像尺寸均一致；
区域分割计算模块74：用于针对每个待检测目标，根据预设的切分方式对该待检测目标的目标区域图像进行区域分割，得到N个子区域，并提取每个子区域的特征值，构成子特征向量，将N个子特征向量组成该检测窗口所对应的待检测目标的特征向量，其中，N为正整数；
基准向量集设置模块75：用于按照预设的选取方式，从视频数据分帧处理后的帧图像中确定起始帧和检测帧，并以起始帧中的K个待检测目标作为跟踪目标，将K个跟踪目标对应的基准特征向量构成基准向量集，其中，K为正整数；
相似度计算模块76：用于针对检测帧中的每个待检测目标，将检测帧中的待检测目标的特征向量与基准向量集中的K个基准特征向量进行逐个相似度计算，其中，检测帧中的每个待检测目标对应K个相似度，从K个相似度中获取最大相似度作为检测帧中每个待检测目标对应的最大相似度；
跟踪目标判断处理模块77：用于若检测帧中待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。
进一步地，该目标跟踪装置还包括：
新目标判断模块781：用于若检测帧中待检测目标对应的最大相似度小于预设的第二相似度阈值，则确定该最大相似度对应的特征向量属于新目标，其中，第二相似度阈值小于第一相似度阈值；
新目标采集模块782：用于将新目标的特征向量添加到基准向量集中。
进一步地，相似度计算模块76包括：
子特征向量比较子模块761：用于针对检测帧中的每个待检测目标，在计算该待检测目标的特征向量与基准向量集中的每个基准特征向量之间的相似度时，将该待检测目标的特征向量中的每个子特征向量与该基准特征向量中的每个子特征向量进行同位置比较，得到N个子向量相似度；
加权计算子模块762：用于根据预设的权重分配方式，对N个子向量相似度进行加权计算，得到相似度。
进一步地，该目标跟踪装置还包括：
第一更新模块79：用于将检测帧中待检测目标对应的最大相似度对应的基准特征向量更新为检测帧中待检测目标对应的最大相似度对应的特征向量；
平均值计算模块710：用于计算检测帧中待检测目标对应的最大相似度对应的特征向量和检测帧中待检测目标对应的最大相似度对应的基准特征向量之间的平均值；
第二更新模块711：用于将检测帧中待检测目标对应的最大相似度对应的基准特征向量更新为平均值。
关于目标跟踪装置的具体限定可以参见上文中对于目标跟踪方法的限定，在此不再赘述。上述目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性可读存储介质、内存储器。该非易失性可读存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性可读存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种目标跟踪方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述实施例中目标跟踪方法的步骤，例如图2所示的步骤S1至步骤S7。或者，处理器执行计算机可读指令时实现上述实施例中多机位目标跟踪装置的各模块/单元的功能，例如图7所示模块71至模块77的功能。为避免重复，这里不再赘述。
在一实施例中，提供一个或多个非易失性可读存储介质，其上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现上述方法实施例中目标跟踪方法，或者，该计算机可读指令被一个或多个处理器执行时实现上述装置实施例中目标跟踪装置中各模块/单元的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过 计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种目标跟踪方法，其特征在于，所述目标跟踪方法包括：
    接收多机位摄像头采集的视频数据；
    对所述视频数据进行分帧处理得到的每帧图像进行目标检测，获取每帧图像进行目标检测时的检测窗口，其中，每个所述检测窗口包含一个待检测目标；
    根据预设尺寸对每个所述检测窗口进行归一化处理，得到该检测窗口对应的目标区域图像，使得每个所述目标区域图像的图像尺寸均一致；
    针对每个所述待检测目标，根据预设的切分方式对该待检测目标的目标区域图像进行区域分割，得到N个子区域，并提取每个所述子区域的特征值，构成子特征向量，将N个所述子特征向量组成该检测窗口所对应的待检测目标的特征向量，其中，N为正整数；
    按照预设的选取方式，从所述视频数据分帧处理后的帧图像中确定起始帧和检测帧，并以所述起始帧中的K个所述待检测目标作为跟踪目标，将K个所述跟踪目标对应的基准特征向量构成基准向量集，其中，K为正整数；
    针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算，其中，所述检测帧中的每个所述待检测目标对应K个相似度，从K个所述相似度中获取最大相似度作为所述检测帧中每个所述待检测目标对应的最大相似度；
    若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。
  2. 如权利要求1所述的目标跟踪方法，其特征在于，所述针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算，其中，所述检测帧中的每个所述待检测目标对应K个相似度，从K个所述相似度中获取最大相似度作为所述检测帧中每个所述待检测目标对应的最大相似度之后，所述目标跟踪方法还包括：
    若所述检测帧中所述待检测目标对应的最大相似度小于预设的第二相似度阈值，则确定该最大相似度对应的特征向量属于新目标，其中，所述第二相似度阈值小于所述第一相似度阈值；
    将所述新目标的特征向量添加到所述基准向量集中。
  3. 如权利要求1所述的目标跟踪方法，其特征在于，所述针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算包括：
    针对所述检测帧中的每个所述待检测目标，在计算该待检测目标的特征向量与所述基准向量集中的每个所述基准特征向量之间的相似度时，将该待检测目标的特征向量中的每个子特征向量与该基准特征向量中的每个子特征向量进行同位置比较，得到N个子向量相似度；
    根据预设的权重分配方式，对所述N个子向量相似度进行加权计算，得到所述相似度。
  4. 如权利要求1至3任一项所述的目标跟踪方法，其特征在于，所述若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹之后，所述目标跟踪方法还包括：
    将所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量更新为所述检测帧中所述待检测目标对应的最大相似度对应的特征向量。
  5. 如权利要求1至3任一项所述的目标跟踪方法，其特征在于，所述若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹之后，所述目标跟踪方法还包括：
    计算所述检测帧中所述待检测目标对应的最大相似度对应的特征向量和所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量之间的平均值；
    将所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量更新为所述平均值。
  6. 一种目标跟踪装置，其特征在于，所述目标跟踪装置包括：
    视频数据采集模块，用于接收多机位摄像头采集的视频数据；
    检测窗口获取模块，用于对所述视频数据进行分帧处理得到的每帧图像进行目标检测，获取每帧图像进行目标检测时的检测窗口，其中，每个所述检测窗口包含一个待检测目标；
    归一化处理模块，用于根据预设尺寸对每个所述检测窗口进行归一化处理，得到该检测窗口对应的目标区域图像，使得每个所述目标区域图像的图像尺寸均一致；
    区域分割计算模块，用于针对每个所述待检测目标，根据预设的切分方式对该待检测 目标的目标区域图像进行区域分割，得到N个子区域，并提取每个所述子区域的特征值，构成子特征向量，将N个所述子特征向量组成该检测窗口所对应的待检测目标的特征向量，其中，N为正整数；
    基准向量集设置模块，用于按照预设的选取方式，从所述视频数据分帧处理后的帧图像中确定起始帧和检测帧，并以所述起始帧中的K个所述待检测目标作为跟踪目标，将K个所述跟踪目标对应的基准特征向量构成基准向量集，其中，K为正整数；
    相似度计算模块，用于针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算，其中，所述检测帧中的每个所述待检测目标对应K个相似度，从K个所述相似度中获取最大相似度作为所述检测帧中每个所述待检测目标对应的最大相似度；
    跟踪目标判断处理模块，用于若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。
  7. 如权利要求6所述的目标跟踪装置，其特征在于，所述目标跟踪装置还包括：
    新目标判断模块，用于若所述检测帧中所述待检测目标对应的最大相似度小于预设的第二相似度阈值，则确定该最大相似度对应的特征向量属于新目标，其中，所述第二相似度阈值小于所述第一相似度阈值；
    新目标采集模块，用于将所述新目标的特征向量添加到所述基准向量集中。
  8. 如权利要求6所述的目标跟踪装置，其特征在于，所述相似度计算模块包括：
    子特征向量比较子模块，用于针对所述检测帧中的每个所述待检测目标，在计算该待检测目标的特征向量与所述基准向量集中的每个所述基准特征向量之间的相似度时，将该待检测目标的特征向量中的每个子特征向量与该基准特征向量中的每个子特征向量进行同位置比较，得到N个子向量相似度；
    加权计算子模块，用于根据预设的权重分配方式，对所述N个子向量相似度进行加权计算，得到所述相似度。
  9. 如权利要求6至8任一项所述的目标跟踪装置，其特征在于，所述目标跟踪装置还包括：
    第一更新模块，用于将所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量更新为所述检测帧中所述待检测目标对应的最大相似度对应的特征向量。
  10. 如权利要求6至8任一项所述的目标跟踪装置，其特征在于，所述目标跟踪装置 还包括：
    平均值计算模块，用于计算所述检测帧中所述待检测目标对应的最大相似度对应的特征向量和所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量之间的平均值；
    第二更新模块，用于将所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量更新为所述平均值。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    接收多机位摄像头采集的视频数据；
    对所述视频数据进行分帧处理得到的每帧图像进行目标检测，获取每帧图像进行目标检测时的检测窗口，其中，每个所述检测窗口包含一个待检测目标；
    根据预设尺寸对每个所述检测窗口进行归一化处理，得到该检测窗口对应的目标区域图像，使得每个所述目标区域图像的图像尺寸均一致；
    针对每个所述待检测目标，根据预设的切分方式对该待检测目标的目标区域图像进行区域分割，得到N个子区域，并提取每个所述子区域的特征值，构成子特征向量，将N个所述子特征向量组成该检测窗口所对应的待检测目标的特征向量，其中，N为正整数；
    按照预设的选取方式，从所述视频数据分帧处理后的帧图像中确定起始帧和检测帧，并以所述起始帧中的K个所述待检测目标作为跟踪目标，将K个所述跟踪目标对应的基准特征向量构成基准向量集，其中，K为正整数；
    针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算，其中，所述检测帧中的每个所述待检测目标对应K个相似度，从K个所述相似度中获取最大相似度作为所述检测帧中每个所述待检测目标对应的最大相似度；
    若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。
  12. 如权利要求11所述的计算机设备，其特征在于，所述针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算，其中，所述检测帧中的每个所述待检测目标对应K个 相似度，从K个所述相似度中获取最大相似度作为所述检测帧中每个所述待检测目标对应的最大相似度之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    若所述检测帧中所述待检测目标对应的最大相似度小于预设的第二相似度阈值，则确定该最大相似度对应的特征向量属于新目标，其中，所述第二相似度阈值小于所述第一相似度阈值；
    将所述新目标的特征向量添加到所述基准向量集中。
  13. 如权利要求11所述的计算机设备，其特征在于，所述针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算包括：
    针对所述检测帧中的每个所述待检测目标，在计算该待检测目标的特征向量与所述基准向量集中的每个所述基准特征向量之间的相似度时，将该待检测目标的特征向量中的每个子特征向量与该基准特征向量中的每个子特征向量进行同位置比较，得到N个子向量相似度；
    根据预设的权重分配方式，对所述N个子向量相似度进行加权计算，得到所述相似度。
  14. 如权利要求11至13任一项所述的计算机设备，其特征在于，所述若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    将所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量更新为所述检测帧中所述待检测目标对应的最大相似度对应的特征向量。
  15. 如权利要求11至13任一项所述的计算机设备，其特征在于，所述若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    计算所述检测帧中所述待检测目标对应的最大相似度对应的特征向量和所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量之间的平均值；
    将所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量更新为所述平均值。
  16. 一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    接收多机位摄像头采集的视频数据；
    对所述视频数据进行分帧处理得到的每帧图像进行目标检测，获取每帧图像进行目标检测时的检测窗口，其中，每个所述检测窗口包含一个待检测目标；
    根据预设尺寸对每个所述检测窗口进行归一化处理，得到该检测窗口对应的目标区域图像，使得每个所述目标区域图像的图像尺寸均一致；
    针对每个所述待检测目标，根据预设的切分方式对该待检测目标的目标区域图像进行区域分割，得到N个子区域，并提取每个所述子区域的特征值，构成子特征向量，将N个所述子特征向量组成该检测窗口所对应的待检测目标的特征向量，其中，N为正整数；
    按照预设的选取方式，从所述视频数据分帧处理后的帧图像中确定起始帧和检测帧，并以所述起始帧中的K个所述待检测目标作为跟踪目标，将K个所述跟踪目标对应的基准特征向量构成基准向量集，其中，K为正整数；
    针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算，其中，所述检测帧中的每个所述待检测目标对应K个相似度，从K个所述相似度中获取最大相似度作为所述检测帧中每个所述待检测目标对应的最大相似度；
    若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹。
  17. 如权利要求16所述的非易失性可读存储介质，其特征在于，所述针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算，其中，所述检测帧中的每个所述待检测目标对应K个相似度，从K个所述相似度中获取最大相似度作为所述检测帧中每个所述待检测目标对应的最大相似度之后，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器还执行如下步骤：
    若所述检测帧中所述待检测目标对应的最大相似度小于预设的第二相似度阈值，则确定该最大相似度对应的特征向量属于新目标，其中，所述第二相似度阈值小于所述第一相似度阈值；
    将所述新目标的特征向量添加到所述基准向量集中。
  18. 如权利要求16所述的非易失性可读存储介质，其特征在于，所述针对所述检测帧中的每个所述待检测目标，将所述检测帧中的待检测目标的特征向量与所述基准向量集中的K个所述基准特征向量进行逐个相似度计算包括：
    针对所述检测帧中的每个所述待检测目标，在计算该待检测目标的特征向量与所述基准向量集中的每个所述基准特征向量之间的相似度时，将该待检测目标的特征向量中的每个子特征向量与该基准特征向量中的每个子特征向量进行同位置比较，得到N个子向量相似度；
    根据预设的权重分配方式，对所述N个子向量相似度进行加权计算，得到所述相似度。
  19. 如权利要求16至18任一项所述的非易失性可读存储介质，其特征在于，所述若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹之后，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器还执行如下步骤：
    将所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量更新为所述检测帧中所述待检测目标对应的最大相似度对应的特征向量。
  20. 如权利要求16至18任一项所述的非易失性可读存储介质，其特征在于，所述若所述检测帧中所述待检测目标对应的最大相似度大于或等于预设的第一相似度阈值，则确定该最大相似度对应的特征向量和该最大相似度对应的基准特征向量属于同一个跟踪目标，并根据该特征向量记录该跟踪目标的变化轨迹之后，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器还执行如下步骤：
    计算所述检测帧中所述待检测目标对应的最大相似度对应的特征向量和所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量之间的平均值；
    将所述检测帧中所述待检测目标对应的最大相似度对应的基准特征向量更新为所述平均值。
PCT/CN2018/103516 2018-06-11 2018-08-31 目标跟踪方法、装置、计算机设备及存储介质 WO2019237516A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810593793.0 2018-06-11
CN201810593793.0A CN109035299B (zh) 2018-06-11 2018-06-11 目标跟踪方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2019237516A1 true WO2019237516A1 (zh) 2019-12-19

Family

ID=64612582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/103516 WO2019237516A1 (zh) 2018-06-11 2018-08-31 目标跟踪方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN109035299B (zh)
WO (1) WO2019237516A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462059A (zh) * 2020-03-24 2020-07-28 湖南大学 胎儿超声图像智能目标检测的并行处理方法和装置
CN111767839A (zh) * 2020-06-28 2020-10-13 平安科技（深圳）有限公司 一种车辆行驶轨迹确定方法、装置、设备及介质
CN111832549A (zh) * 2020-06-29 2020-10-27 深圳市优必选科技股份有限公司 数据标注方法及装置
CN111967403A (zh) * 2020-08-19 2020-11-20 北京达佳互联信息技术有限公司 视频移动区域确定方法、装置及电子设备
CN112016440A (zh) * 2020-08-26 2020-12-01 杭州云栖智慧视通科技有限公司 一种基于多目标跟踪的目标推送方法
CN112070036A (zh) * 2020-09-11 2020-12-11 联通物联网有限责任公司 基于多帧图片的目标检测方法、装置及存储介质
CN113033281A (zh) * 2020-12-16 2021-06-25 浙江大华技术股份有限公司 一种对象重识别的方法、装置及设备
CN113468141A (zh) * 2021-06-30 2021-10-01 杭州云深科技有限公司 用于生成apk主键的数据处理系统
CN113657155A (zh) * 2021-07-09 2021-11-16 浙江大华技术股份有限公司 一种行为检测方法、装置、计算机设备和存储介质
CN114463217A (zh) * 2022-02-08 2022-05-10 口碑(上海)信息技术有限公司 一种图像处理方法以及装置
CN114547145A (zh) * 2022-02-21 2022-05-27 苏州浪潮智能科技有限公司 一种时序数据异常检测方法、系统、存储介质及设备
CN116453062A (zh) * 2023-06-12 2023-07-18 青岛义龙包装机械有限公司 基于机器人高精度柔顺装配的包装机装配风险监控方法
CN117218422A (zh) * 2023-09-12 2023-12-12 北京国科恒通科技股份有限公司 一种基于机器学习的电网图像识别方法及系统
CN111767839B (zh) * 2020-06-28 2024-05-31 平安科技（深圳）有限公司 一种车辆行驶轨迹确定方法、装置、设备及介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547845B (zh) * 2018-12-24 2021-10-01 武汉烽火众智智慧之星科技有限公司 一种视频标记方法及装置
CN111507999B (zh) * 2019-01-30 2023-07-18 北京四维图新科技股份有限公司 一种基于fdsst算法的目标追踪方法及装置
US11062460B2 (en) * 2019-02-13 2021-07-13 Adobe Inc. Representation learning using joint semantic vectors
CN110059661B (zh) * 2019-04-26 2022-11-22 腾讯科技（深圳）有限公司 动作识别方法、人机交互方法、装置及存储介质
CN110517289A (zh) * 2019-08-05 2019-11-29 深兰科技（上海）有限公司 一种物品追踪方法、装置、计算机设备及存储介质
CN110418114B (zh) 2019-08-20 2021-11-16 京东方科技集团股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN110634153A (zh) * 2019-09-19 2019-12-31 上海眼控科技股份有限公司 目标跟踪模板更新方法、装置、计算机设备和存储介质
CN112861565B (zh) * 2019-11-12 2023-05-23 上海高德威智能交通系统有限公司 确定轨迹相似度的方法、装置、计算机设备和存储介质
CN113032498B (zh) * 2019-12-24 2024-05-07 深圳云天励飞技术有限公司 一种轨迹相似的判断方法、装置、电子设备及存储介质
CN111275741B (zh) * 2020-01-19 2023-09-08 北京迈格威科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN111654668B (zh) * 2020-05-26 2021-08-13 山东摄云信息技术有限公司 监控设备同步方法、装置及计算机终端
CN113808158A (zh) * 2020-06-15 2021-12-17 中移(苏州)软件技术有限公司 视频中群体对象运动的分析方法、装置、设备及存储介质
CN111724412A (zh) * 2020-06-17 2020-09-29 杭州海康威视数字技术股份有限公司 确定运动轨迹的方法、装置及计算机存储介质
CN111738349B (zh) * 2020-06-29 2023-05-02 重庆紫光华山智安科技有限公司 目标检测算法的检测效果评估方法、装置、存储介质及设备
CN111862161A (zh) * 2020-07-30 2020-10-30 浙江大华技术股份有限公司 一种目标跟踪处理方法及装置
CN111914769B (zh) * 2020-08-06 2024-01-26 腾讯科技（深圳）有限公司 用户合法性判定方法、装置、计算机可读存储介质及设备
CN113706586B (zh) * 2021-10-29 2022-03-18 深圳市城市交通规划设计研究中心股份有限公司 基于多点位感知的目标跟踪方法及装置、存储介质
CN114996536B (zh) * 2022-08-08 2022-11-15 深圳市信润富联数字科技有限公司 维修方案查询方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157070A1 (en) * 2008-12-22 2010-06-24 Honeywell International Inc. Video stabilization in real-time using computationally efficient corner detection and correspondence
CN102609729A (zh) * 2012-02-14 2012-07-25 中国船舶重工集团公司第七二六研究所 多机位人脸识别方法及系统
CN202443476U (zh) * 2012-02-20 2012-09-19 华焦宝 多机位人脸识别系统
CN103150740A (zh) * 2013-03-29 2013-06-12 上海理工大学 一种基于视频的运动目标跟踪方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157070A1 (en) * 2008-12-22 2010-06-24 Honeywell International Inc. Video stabilization in real-time using computationally efficient corner detection and correspondence
CN102609729A (zh) * 2012-02-14 2012-07-25 中国船舶重工集团公司第七二六研究所 多机位人脸识别方法及系统
CN202443476U (zh) * 2012-02-20 2012-09-19 华焦宝 多机位人脸识别系统
CN103150740A (zh) * 2013-03-29 2013-06-12 上海理工大学 一种基于视频的运动目标跟踪方法和系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462059A (zh) * 2020-03-24 2020-07-28 湖南大学 胎儿超声图像智能目标检测的并行处理方法和装置
CN111462059B (zh) * 2020-03-24 2023-09-29 湖南大学 胎儿超声图像智能目标检测的并行处理方法和装置
CN111767839A (zh) * 2020-06-28 2020-10-13 平安科技（深圳）有限公司 一种车辆行驶轨迹确定方法、装置、设备及介质
CN111767839B (zh) * 2020-06-28 2024-05-31 平安科技（深圳）有限公司 一种车辆行驶轨迹确定方法、装置、设备及介质
CN111832549A (zh) * 2020-06-29 2020-10-27 深圳市优必选科技股份有限公司 数据标注方法及装置
CN111832549B (zh) * 2020-06-29 2024-04-23 深圳市优必选科技股份有限公司 数据标注方法及装置
CN111967403A (zh) * 2020-08-19 2020-11-20 北京达佳互联信息技术有限公司 视频移动区域确定方法、装置及电子设备
CN111967403B (zh) * 2020-08-19 2024-03-12 北京达佳互联信息技术有限公司 视频移动区域确定方法、装置及电子设备
CN112016440A (zh) * 2020-08-26 2020-12-01 杭州云栖智慧视通科技有限公司 一种基于多目标跟踪的目标推送方法
CN112016440B (zh) * 2020-08-26 2024-02-20 杭州云栖智慧视通科技有限公司 一种基于多目标跟踪的目标推送方法
CN112070036A (zh) * 2020-09-11 2020-12-11 联通物联网有限责任公司 基于多帧图片的目标检测方法、装置及存储介质
CN113033281A (zh) * 2020-12-16 2021-06-25 浙江大华技术股份有限公司 一种对象重识别的方法、装置及设备
CN113033281B (zh) * 2020-12-16 2024-04-09 浙江大华技术股份有限公司 一种对象重识别的方法、装置及设备
CN113468141A (zh) * 2021-06-30 2021-10-01 杭州云深科技有限公司 用于生成apk主键的数据处理系统
CN113468141B (zh) * 2021-06-30 2023-09-22 杭州云深科技有限公司 用于生成apk主键的数据处理系统
CN113657155A (zh) * 2021-07-09 2021-11-16 浙江大华技术股份有限公司 一种行为检测方法、装置、计算机设备和存储介质
CN114463217A (zh) * 2022-02-08 2022-05-10 口碑(上海)信息技术有限公司 一种图像处理方法以及装置
CN114547145A (zh) * 2022-02-21 2022-05-27 苏州浪潮智能科技有限公司 一种时序数据异常检测方法、系统、存储介质及设备
CN114547145B (zh) * 2022-02-21 2024-01-26 苏州浪潮智能科技有限公司 一种时序数据异常检测方法、系统、存储介质及设备
CN116453062B (zh) * 2023-06-12 2023-08-22 青岛义龙包装机械有限公司 基于机器人高精度柔顺装配的包装机装配风险监控方法
CN116453062A (zh) * 2023-06-12 2023-07-18 青岛义龙包装机械有限公司 基于机器人高精度柔顺装配的包装机装配风险监控方法
CN117218422A (zh) * 2023-09-12 2023-12-12 北京国科恒通科技股份有限公司 一种基于机器学习的电网图像识别方法及系统
CN117218422B (zh) * 2023-09-12 2024-04-16 北京国科恒通科技股份有限公司 一种基于机器学习的电网图像识别方法及系统

Also Published As

Publication number Publication date
CN109035299B (zh) 2023-03-31
CN109035299A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
WO2019237516A1 (zh) 目标跟踪方法、装置、计算机设备及存储介质
CN111242977B (zh) 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN108985162B (zh) 目标实时跟踪方法、装置、计算机设备及存储介质
US10192107B2 (en) Object detection method and object detection apparatus
KR102175491B1 (ko) 상관 필터 기반 객체 추적 방법
CN109325964B (zh) 一种人脸追踪方法、装置及终端
US9928405B2 (en) System and method for detecting and tracking facial features in images
CN109325412B (zh) 行人识别方法、装置、计算机设备及存储介质
WO2019232862A1 (zh) 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
CN111860670A (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
CN111178245A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN106683073B (zh) 一种车牌的检测方法及摄像机和服务器
CN110059700B (zh) 图像摩尔纹识别方法、装置、计算机设备及存储介质
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN112989962B (zh) 轨迹生成方法、装置、电子设备及存储介质
CN112417988A (zh) 一种基于深度学习的视频多目标跟踪方法、装置及设备
CN111126208A (zh) 行人归档方法、装置、计算机设备及存储介质
US11250269B2 (en) Recognition method and apparatus for false detection of an abandoned object and image processing device
CN112836682B (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN113256683A (zh) 目标跟踪方法及相关设备
CN111681266A (zh) 船舶跟踪方法、系统、设备及存储介质
CN116091781B (zh) 一种用于图像识别的数据处理方法及装置
CN110781710B (zh) 一种目标对象聚类方法及装置
CN112884804A (zh) 行动对象追踪方法及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18922662

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18922662

Country of ref document: EP

Kind code of ref document: A1