WO2020147348A1 - 一种目标跟踪方法及装置、存储介质 - Google Patents

一种目标跟踪方法及装置、存储介质 Download PDF

Info

Publication number
WO2020147348A1
WO2020147348A1 PCT/CN2019/111038 CN2019111038W WO2020147348A1 WO 2020147348 A1 WO2020147348 A1 WO 2020147348A1 CN 2019111038 W CN2019111038 W CN 2019111038W WO 2020147348 A1 WO2020147348 A1 WO 2020147348A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
similarity
occlusion
information
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/111038
Other languages
English (en)
French (fr)
Inventor
冯炜韬
胡智昊
武伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to JP2020533117A priority Critical patent/JP6944598B2/ja
Priority to KR1020207021162A priority patent/KR102444769B1/ko
Priority to SG11202007604XA priority patent/SG11202007604XA/en
Publication of WO2020147348A1 publication Critical patent/WO2020147348A1/zh
Priority to US16/986,740 priority patent/US20200364882A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present disclosure relates to the field of image processing, but is not limited to the field of image processing, and in particular to a target tracking method and device, and a storage medium.
  • Multi-Object-Tracking is an important part of video analysis systems, such as video surveillance systems and self-driving cars.
  • the existing multi-target tracking algorithms are mainly divided into two types. One is to directly use multiple features to directly process the trajectory relationship; the other is to perform single-target tracking first, and then process the trajectory correlation relationship, but the above two types of tracking None of the algorithms can accurately track the target.
  • This embodiment provides a target tracking method, device, and storage medium.
  • This embodiment provides a target tracking method, and the method includes:
  • the first target object and the second target are determined according to the predicted target location information, the historical target appearance feature sequence, the current target location information, and the current target appearance feature Target similarity information between objects, including:
  • the target position similarity and the target appearance similarity sequence are determined as the target similarity information.
  • the determining the similarity information of the occlusion object according to the predicted occlusion object position information, the historical occlusion object appearance feature sequence, the current target position information, and the current target appearance feature includes:
  • the position similarity of the occlusion object and the appearance similarity of the occlusion object are determined as the occlusion object similarity information.
  • the determining the predicted target location information corresponding to the first target object and the predicted occlusion object location information corresponding to the occlusion object includes:
  • a neural network that can realize single target tracking is used to determine the predicted target position information and the predicted occluded object position information.
  • the determining the historical target appearance characteristic sequence corresponding to the first target object and the historical occlusion object appearance characteristic sequence corresponding to the occlusion object includes:
  • a neural network capable of recognizing pedestrians is used to determine the historical target appearance feature sequence and the historical occlusion object appearance feature sequence.
  • the determining the tracking trajectory of the first target object according to the target similarity information and the occluded object similarity information includes:
  • the determining the target trajectory association relationship between the first target object and the second target object according to the target similarity information and the occluded object similarity information includes:
  • multiple decision scores for multiple trajectory association relationships are determined, and the multiple trajectory association relationships are trajectory associations between the first target object and the second target object to obtain Trajectory relationship;
  • the trajectory correlation with the highest decision score is determined from the multiple trajectory correlations as the target trajectory correlation.
  • the method After the target trajectory association relationship between the first target object and the second target object is determined according to the target similarity information and the occluded object similarity information, the method also includes:
  • the tracking trajectory of the first target object is determined.
  • the method After the target trajectory association relationship between the first target object and the second target object is determined according to the target similarity information and the occluded object similarity information, the method also includes:
  • the fourth target object is added to the next round of association relationship, so
  • the next round of association relationship is an association relationship generated using the current image frame as a historical image frame.
  • the method further includes:
  • the confidence value corresponding to the first target object is determined.
  • the acquiring the predicted target location information according to the confidence value of the third target object includes:
  • the number of the first target object and the number of the second target object are both multiple.
  • This embodiment provides a target tracking device, and the target tracking device includes:
  • the first determining module is configured to determine the predicted target position information corresponding to the first target object and the predicted occlusion object position information corresponding to the occlusion object according to historical image frames adjacent to the current image frame, where the occlusion object is the same as the first A target object closest to the target object; determine the historical target appearance feature sequence corresponding to the first target object and the historical occlusion object appearance characteristic sequence corresponding to the occlusion object according to the historical image frame sequence before the current image frame; For the current image frame, determine current target position information and current target appearance characteristics corresponding to the second target object;
  • the second determining module is configured to determine the first target object and the second target according to the predicted target location information, the historical target appearance feature sequence, the current target location information, and the current target appearance feature Target similarity information between objects; determine the occlusion object similarity information according to the predicted occlusion object position information, the historical occlusion object appearance feature sequence, the current target position information, and the current target appearance feature;
  • the trajectory tracking module is configured to determine the tracking trajectory of the first target object according to the target similarity information and the occluded object similarity information.
  • the first determining module is further configured to determine the target position similarity according to the predicted target position information and the current target position information; and according to the historical target appearance feature sequence and the current target position information;
  • the current target appearance feature is used to determine the target appearance similarity sequence; the target position similarity and the target appearance similarity sequence are determined as the target similarity information.
  • the first determination module is further configured to determine the position similarity of the occlusion object according to the predicted occlusion object position information and the current target position information; and according to the historical occlusion object appearance feature sequence Determine the appearance similarity of the occlusion object with the current target appearance feature; determine the position similarity of the occlusion object and the appearance similarity of the occlusion object as the occlusion object similarity information.
  • the first determining module is further configured to determine the predicted target position information and the predicted occluded object position information by using a neural network that can realize single target tracking.
  • the first determining module is further configured to determine the appearance feature sequence of the historical target and the appearance feature sequence of the historical occlusion object by using a neural network capable of recognizing pedestrians.
  • the trajectory tracking module is further configured to determine the target trajectory between the first target object and the second target object according to the target similarity information and the occluded object similarity information Association relationship; using the target trajectory association relationship to search for a target associated with the first target object in the second target object to determine the tracking trajectory of the first target object.
  • the trajectory tracking module includes: an input submodule and a third determination submodule;
  • the input submodule is configured to input the target similarity information and the occluded object similarity information into a preset classifier
  • the third determining sub-module is further configured to use the preset classifier to determine multiple decision scores of multiple trajectory association relationships, where the multiple trajectory association relationships are related to the first target object and the The trajectory association relationship between the second target objects is obtained, and the trajectory association relationship with the highest decision score is determined from the multiple trajectory association relationships as the target trajectory association relationship.
  • the trajectory tracking module further includes: an acquisition sub-module;
  • the acquiring submodule is further configured to, when a third target object not associated with the second target object is determined in the first target object of the target association relationship, according to the A confidence value to obtain the predicted target location information;
  • the third determining submodule is further configured to determine the tracking trajectory of the first target object by using the target association relationship and the predicted target position information.
  • the device further includes: an adding module;
  • the adding module is further configured to add the fourth target object to the second target object in the target association relationship when a fourth target object that is not associated with the first target object is determined
  • the next round of association relationships is an association relationship generated using the current image frame as a historical image frame.
  • the second determining module is further configured to use the neural network capable of realizing single target tracking to determine the confidence value corresponding to the first target object.
  • the acquiring submodule is further configured to acquire the predicted target location information when the confidence value of the third target object meets a preset confidence value.
  • the number of the first target object and the number of the second target object are both multiple.
  • the target tracking device includes a processor, a memory, and a communication bus.
  • the processor executes a running program stored in the memory, the target tracking as described in any of the above is implemented method.
  • This embodiment provides a computer-readable storage medium on which a computer program is stored, which is applied to a target tracking device, and when the computer program is executed by a processor, the target tracking method as described in any of the above is implemented.
  • This embodiment also provides a computer program product, which can implement the aforementioned target tracking method when the computer program product is executed by a processor.
  • the method may include: determining the predicted target position information corresponding to the first target object and the predicted occlusion corresponding to the occluded object according to historical image frames adjacent to the current image frame Object position information; according to the historical image frame sequence before the current image frame, determine the historical target appearance feature sequence corresponding to the first target object and the historical occlusion object appearance characteristic sequence corresponding to the occluded object; determine the second target object corresponding to the current image frame
  • the current target location information and the current target appearance features according to the predicted target location information, the historical target appearance feature sequence, the current target location information and the current target appearance characteristics, determine the target similarity information between the first target object and the second target object ; According to the predicted occlusion object position information, historical occlusion object appearance feature sequence, current target position information and current target appearance characteristics, determine the occlusion object similarity information; according to the target similarity information and occlusion object similarity information, determine the first target object Track the trajectory.
  • the target tracking device determines the predicted occlusion object position information of the occlusion object according to the historical image frame adjacent to the current image frame, and determines the historical occlusion object appearance of the occlusion object according to the historical image frame sequence before the current image frame
  • the feature sequence is combined with the predicted occlusion object position information of the occlusion object and the historical occlusion object appearance feature sequence to determine the tracking trajectory of the first target object in the historical image frame, so that the prediction of the occlusion object is used when tracking the target.
  • the position information of the occluded object and the appearance feature sequence of the historical occluded object thereby reducing the influence of the occluded object on target tracking, and improving the accuracy of target tracking.
  • FIG. 1 is a flowchart of a target tracking method provided by this embodiment
  • FIG. 2 is a schematic flowchart of an exemplary target tracking method provided by this embodiment
  • FIG. 3 is a first structural diagram of a target tracking device provided by this embodiment
  • FIG. 4 is a second structural diagram of a target tracking device provided by this embodiment.
  • This embodiment discloses a target tracking method. As shown in FIG. 1, the method can be applied to various tracking devices and may include:
  • the tracking device may include a tracking terminal and/or a tracking server.
  • the tracking device may include an image processing device capable of image processing.
  • the image processing device may include an image acquisition module (for example, a monocular or multi-lens camera), which can acquire image frames, and use a processor to process the image frames to perform target tracking.
  • the image processing device may not collect images by itself but receive image frames from the image acquisition device, and perform image processing on the image frames received from the image acquisition device, thereby achieving target tracking.
  • the tracking server may be located on the network side, the image acquisition device may upload the acquired image device to the tracking server, and the tracking server performs target tracking after receiving the image frame.
  • the target tracking method may be applied to different application scenarios.
  • the tracking device may be a security device.
  • Various security control devices are usually installed at the gates of factories, commercial buildings or communities to monitor people and/or vehicles entering the factory or community, the tracking device will analyze the images contained in the video according to the collected video Frame, so as to realize the tracking of people and/or vehicles.
  • the target tracking method can also be applied to the field of road traffic.
  • Image capture devices that capture the image frames are provided on both sides of the road. After the tracking device obtains these image frames, image analysis is performed to achieve target tracking; The act of statutes of people or vehicles are tracked.
  • the current image frame is an image frame being processed at the current moment; the historical image frame is an image frame collected before the current image frame. For example, assuming that the current image frame is an image frame collected at a first time, and the historical image frame is an image frame collected at a second time, the second time is earlier than the first time.
  • the target tracking method provided in this embodiment is applicable to a scene where multiple targets are tracked in a video.
  • the first target object is a target to be tracked.
  • the target in the historical image frame may be a pedestrian, a vehicle, etc., which are specifically selected according to actual conditions, and this embodiment does not make specific limitations.
  • the first target object may be one target among multiple targets to be tracked.
  • the target tracking device determines the first target object and the occlusion object closest to the first target object in the historical image frame, and then uses a neural network that can achieve single target tracking to determine the predicted target of the first target object Position information and predicted position information of the occluded object.
  • the neural network that can realize single-target tracking may use a network composed of single-target tracking algorithms.
  • the target tracking device frames the target circumscribed rectangle that includes the first target object in the historical image frame. After that, the target tracking device divides the intersection area obtained by the intersection of any two target circumscribed rectangles by the corresponding two target circumscribed rectangles. The additional target object with the largest value of the combined area obtained by the rectangle union is determined as the occlusion object closest to the first target object.
  • the target tracking device obtains an adjacent image before the current image frame as a historical image frame, and uses a single target tracking algorithm to determine the predicted target position information and the occluded object of the first target object in the current image frame Position information of the predicted occlusion object in the current image frame.
  • single target tracking algorithms include Siamese Region Proposal Network (Siamese Region Proposal Network) methods, Siamese Fully Convolutional Networks (Siamese Fully Convolutional) methods, etc., which can be specifically selected according to actual conditions, and this embodiment does not do it. Specific restrictions.
  • the location information may include coordinate information or latitude and longitude information, which is specifically selected according to actual conditions, and this embodiment does not make specific limitations.
  • S102 Determine the historical target appearance feature sequence corresponding to the first target object and the historical occlusion object appearance feature sequence corresponding to the occlusion object according to the historical image frame sequence before the current image frame.
  • the target tracking device determines the first target object and the occlusion object closest to the first target object according to the historical image frame sequence before the current image frame, and then uses the pedestrian re-recognition algorithm to determine the first target object Historical target appearance feature sequence and historical occlusion object appearance feature sequence of occlusion object.
  • the target tracking device obtains consecutive multiple frames of images before the current image frame as a sequence of historical image frames, and uses a neural network capable of recognizing pedestrians to determine the historical target appearance feature sequence and the occluded object of the first target object Sequence of appearance characteristics of historical occlusion objects.
  • the number of features in the historical target appearance feature sequence and the number of features in the historical occlusion object appearance feature sequence correspond one-to-one with the frame number of the historical image frame sequence.
  • the specific selection is made according to the actual situation. The examples do not make specific restrictions.
  • the neural network that can realize pedestrian re-identification may use a network composed of pedestrian re-identification algorithms.
  • the pedestrian re-identification algorithm includes the Inception-v4 model.
  • the number of first target objects is multiple.
  • S101 and S102 are two parallel steps before S103, and there is no absolute timing relationship between S101 and S102, and the selection is specifically based on actual conditions. This embodiment does not limit the execution order of the two.
  • the target tracking device After the target tracking device determines the predicted target location information and historical target appearance feature sequence corresponding to the first target object, and the predicted occlusion object location information and historical occlusion object appearance feature sequence corresponding to the occluded object, the target tracking device according to the current image frame, Determine the current target location information and the current target appearance feature corresponding to the second target object.
  • the target tracking device determines the second target object and the current target location information and current target appearance characteristics corresponding to the second target object according to the current image frame.
  • the first target object and the second target object are at least partially matched, that is, at least part of the targets in the first target object matches at least part of the targets in the second target object.
  • S104 Determine target similarity information between the first target object and the second target object according to the predicted target location information, the historical target appearance feature sequence, the current target location information, and the current target appearance feature.
  • the target tracking device After the target tracking device determines the current target location information and current target appearance characteristics corresponding to the second target object in the current image frame, the target tracking device predicts target location information, historical target appearance feature sequences, current target location information, and current target location information.
  • the target appearance feature determines the target similarity information between the first target object and the second target object.
  • the target tracking device determines the target location similarity according to the predicted target location information and the current target location information; the target tracking device determines the target appearance similarity sequence according to the historical target appearance feature sequence and the current target appearance feature; then, the target The tracking device determines the target position similarity and the target appearance similarity sequence as the target similarity information between the first target object and the second target object.
  • the target tracking device calculates the similarity between the predicted target location information and the current target location information to obtain the target location similarity; the target tracking device calculates the similarity between the historical target appearance feature sequence and the current target appearance feature to obtain the target Appearance similarity sequence.
  • S105 Determine the similarity information of the occluded object according to the predicted occluded object position information, the historical occluded object appearance feature sequence, the current target position information, and the current target appearance feature.
  • the target tracking device After the target tracking device determines the current target location information and the current target appearance feature corresponding to the second target object in the current image frame, the target tracking device predicts the occluded object location information, the historical occluded object appearance feature sequence, and the current target location information Determine the similarity information of the occluded object based on the appearance characteristics of the current target.
  • the target tracking device determines the position similarity of the occluded object according to the predicted occluded object position information and the current target position information; the target tracking device determines the appearance similarity of the occluded object according to the historical occluded object appearance feature sequence and the current target appearance feature; After that, the target tracking device determines the position similarity of the occlusion object and the appearance similarity of the occlusion object as the information of the occlusion object similarity.
  • the target tracking device calculates the similarity between the predicted occluded object position information and the current target position information to obtain the occluded object position similarity; the target tracking device calculates the similarity between the historical occluded object appearance feature sequence and the current target appearance feature , Get the similarity of the appearance of the occluded object.
  • the target position similarity is the value of the intersection area of the target circumscribed rectangle divided by the combined area
  • the target appearance similarity sequence is the cosine included angle of the appearance feature
  • the calculation process of the position similarity of the occlusion object is the same as the calculation process of the target position similarity, and the calculation process of the appearance similarity of the occlusion object and the sequence of the target appearance similarity are the same, and will not be repeated here.
  • S104 and S105 are two parallel steps after S103 and before S106. There is no absolute timing relationship between S104 and S105. The specific selection is based on actual conditions. This embodiment does not limit the execution of both order.
  • S106 Determine the tracking trajectory of the first target object according to the target similarity information and the occluded object similarity information.
  • the target tracking device determines the tracking trajectory of the first target object according to the target similarity information and the occluded object similarity information.
  • the target tracking device determines the target trajectory association relationship between the first target object and the second target object according to the target similarity information and the occluded object similarity information; the target tracking device uses the target trajectory association relationship in the second Find the target associated with the first target object in the target object to determine the tracking trajectory of the first target object.
  • the target tracking device inputs the target similarity information and the occluded object similarity information into a preset classifier; then, the preset classifier is used to determine multiple decision scores for multiple trajectory association relationships, among which multiple trajectories
  • the association relationship is the trajectory association relationship obtained by the trajectory association between the first target object and the second target object; the target tracking device determines the trajectory association relationship with the highest decision score from the multiple trajectory association relationships, as the target trajectory association relationship .
  • the preset classifier outputs the decision scores between each associated target in the multiple trajectory association relationships, and then superimposes the decision scores in each trajectory association relationship to obtain the corresponding trajectory association relationship Decision scores, so far, multiple decision scores with multiple trajectory relationships have been obtained.
  • the target tracking device uses a preset trajectory correlation algorithm to perform trajectory correlation between the first target object in the historical image frame and the second target object in the current image frame to obtain the difference between the first target object and the second target object.
  • a preset trajectory correlation algorithm to perform trajectory correlation between the first target object in the historical image frame and the second target object in the current image frame to obtain the difference between the first target object and the second target object.
  • the classifier adopts a gradient enhancement decision tree model.
  • the preset trajectory correlation algorithm is the weighted maximum matching algorithm of the bipartite graph, that is, the minimum cost maximum flow algorithm.
  • the target tracking device determines the target associated with the second target object in the first target object in the target association relationship.
  • the target tracking device determines the target associated with the second target object in the first target object in the target association relationship.
  • the target tracking device obtains predicted target position information according to the confidence value of the third target object, and then the target tracking device uses the target association The relationship and predicted target location information determine the tracking trajectory of the first target object.
  • the target tracking device determines a third target object that is not associated with the second target object in the first target object
  • the target tracking device determines that the third target object in the historical image frame is not in the current image frame. Appearing in.
  • the reason why the target tracking device determines that the third target object does not appear in the current image frame is that the confidence value of the third target object does not meet the preset confidence threshold.
  • the target tracking device predicts the position of the third target object in the current image frame according to the predicted target position information corresponding to the third target object.
  • the target tracking device determines the target associated with the first target object in the second target object in the target association relationship.
  • the target tracking device determines the target associated with the first target object in the second target object in the target association relationship.
  • the target tracking device adds the fourth target object to the next round of association relationship, where the next round of association relationship is an association relationship generated using the current image frame as the historical image frame.
  • the target tracking device determines a fourth target object that is not associated with the first target object in the second target object, it represents that the fourth target object is a newly-added target object.
  • the target tracking device Four target objects for target tracking.
  • the matched target objects in the first target object and the second target object form a two-tuple
  • the unmatched target objects in the first target object and the second target object form a one-tuple
  • the target tracking device searches for the target object in the second target object from the tuple as a fourth target object that is not associated with the first target object; the target tracking device searches for the target object in the first target object from the tuple as A third target object not associated with the second target object.
  • the target tracking device uses a single target tracking algorithm to separately calculate the confidence value corresponding to the first target object and the predicted target location information.
  • the target tracking device compares the confidence value corresponding to the third target object with a preset confidence value, and when the confidence value corresponding to the third target object meets the preset confidence value, the target tracking device obtains the prediction Target location information.
  • the single-target tracking algorithm, pedestrian re-recognition algorithm, preset classifier, and preset trajectory association algorithm in this embodiment are all replaceable algorithms, and the specific selection is based on actual conditions, and this embodiment does not specifically The limit.
  • the target tracking device determines the action trajectories of different target objects in the video from the target association relationship, and can then track the target objects.
  • the target tracking device determines the predicted occlusion object position information of the occlusion object according to the historical image frames adjacent to the current image frame, and determines the historical occlusion object appearance characteristics of the occlusion object according to the historical image frame sequence before the current image frame Sequence, and fused the predicted occluded object position information of the occluded object and the historical occluded object appearance feature sequence to determine the tracking trajectory of the first target object in the historical image frame, so that during target tracking, the predicted occlusion of the occluded object is used Object position information and historical occluded object appearance feature sequences, thereby reducing the impact of occluded objects on target tracking, and improving the accuracy of target tracking.
  • This embodiment provides a target tracking device 1.
  • the device may include:
  • the first determining module 10 is configured to determine the predicted target position information corresponding to the first target object and the predicted occlusion object position information corresponding to the occlusion object according to the historical image frames adjacent to the current image frame, and the occlusion object is The first target object is the closest target; according to the historical image frame sequence before the current image frame, the historical target appearance feature sequence corresponding to the first target object and the historical occlusion object appearance characteristic sequence corresponding to the occlusion object are determined; Describe the current image frame, determine the current target position information and the current target appearance characteristics corresponding to the second target object;
  • the second determining module 11 is configured to determine the first target object and the second target object according to the predicted target location information, the historical target appearance feature sequence, the current target location information, and the current target appearance feature Target similarity information between target objects; determine the occlusion object similarity information according to the predicted occlusion object position information, the historical occlusion object appearance feature sequence, the current target position information, and the current target appearance feature;
  • the trajectory tracking module 12 is configured to determine the tracking trajectory of the first target object according to the target similarity information and the occluded object similarity information.
  • the first determining module 10 is further configured to determine the target position similarity according to the predicted target position information and the current target position information; according to the historical target appearance feature sequence and The current target appearance feature determines the target appearance similarity sequence; the target position similarity and the target appearance similarity sequence are determined as the target similarity information.
  • the first determining module 10 is further configured to determine the position similarity of the occlusion object according to the predicted occlusion object position information and the current target position information; and according to the historical appearance of the occlusion object
  • the feature sequence and the current target appearance feature determine the appearance similarity of the occlusion object; determine the position similarity of the occlusion object and the appearance similarity of the occlusion object as the occlusion object similarity information.
  • the first determining module 10 is further configured to determine the predicted target position information and the predicted occluded object position information by using a neural network that can realize single target tracking.
  • the first determining module 10 is further configured to determine the historical target appearance feature sequence and the historical occlusion object appearance feature sequence using a neural network that can realize pedestrian re-recognition.
  • the trajectory tracking module 12 is further configured to determine the difference between the first target object and the second target object according to the target similarity information and the occluded object similarity information.
  • Target trajectory association relationship using the target trajectory association relationship to search for a target associated with the first target object in the second target object to determine the tracking trajectory of the first target object.
  • the trajectory tracking module 12 includes: an input sub-module 120 and a third determination sub-module 121;
  • the input submodule 120 is configured to input the target similarity information and the occluded object similarity information into a preset classifier
  • the third determining sub-module 121 is further configured to use the preset classifier to determine multiple decision scores for multiple trajectory association relationships, where the multiple trajectory association relationships are related to the first target object and the The trajectory association relationship between the second target objects is obtained, and the trajectory association relationship with the highest decision score is determined from the multiple trajectory association relationships as the target trajectory association relationship.
  • the trajectory tracking module 12 further includes: an acquisition sub-module 122;
  • the acquiring submodule 122 is further configured to, when a third target object not associated with the second target object is determined in the first target object of the target association relationship, according to the third target object Obtain the predicted target location information;
  • the third determining submodule 121 is further configured to determine the tracking trajectory of the first target object by using the target association relationship and the predicted target position information.
  • the device further includes: an adding module 13;
  • the adding module 13 is further configured to add the fourth target object when a fourth target object not associated with the first target object is determined in the second target object of the target association relationship
  • the next round of association relationships is an association relationship generated by using the current image frame as a historical image frame.
  • the second determining module 11 is further configured to use the neural network that can realize single target tracking to determine the confidence value corresponding to the first target object.
  • the obtaining submodule 122 is further configured to obtain the predicted target location information when the confidence value of the third target object meets a preset confidence value.
  • the number of the first target object and the number of the second target object are both multiple.
  • Fig. 4 is a schematic diagram 1 of the composition structure of the target tracking device 1 proposed in this embodiment.
  • the target tracking device 1 of this embodiment includes: ⁇ 14, memory 15, and communication bus 16.
  • the first determining module 10, the second determining module 11, the trajectory tracking module 12, the input sub-module 120, the third determining sub-module 121, the acquiring sub-module 122, and the adding module 13 are composed of a processor 1 realize.
  • the above-mentioned processor 14 may be an application specific integrated circuit (ASIC, Application Specific Integrated Circuit), a digital signal processor (DSP, Digital Signal Processor), or a digital signal processing image display device (DSPD, Digital Signal Processor). At least one of Signal Processing Device, Programmable Logic Device (PLD), Field Programmable Gate Array (FPGA, Field Programmable Gate Array), CPU, controller, microcontroller, and microprocessor . It can be understood that for different devices, the electronic devices used to implement the above-mentioned processor functions may also be other, which is not specifically limited in this embodiment.
  • ASIC Application Specific Integrated Circuit
  • DSP Digital Signal Processor
  • DSPD Digital Signal Processing image display device
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • CPU controller
  • microcontroller microcontroller
  • microprocessor microprocessor
  • the above-mentioned communication bus 16 is used to realize the connection and communication between the processor 14 and the memory 15; the above-mentioned processor 14 is used to execute the operating program stored in the memory 15 to implement the method as in the above-mentioned embodiment .
  • This embodiment provides a computer-readable storage medium.
  • the above-mentioned computer-readable storage medium stores one or more programs, and the above-mentioned one or more programs can be executed by one or more processors and applied to a target tracking device.
  • the program is executed by the processor, the method as in the above embodiment is realized.
  • This embodiment also provides a computer program product, which can realize the target tracking method of any of the foregoing technical solutions when the computer program product is executed by a processor.
  • the methods in the above embodiments can be implemented by means of software plus a necessary general hardware platform, and of course, can also be implemented by hardware, but in many cases the former is better Implementation.
  • the technical solution of the present disclosure essentially or the part that contributes to the related technology can be embodied in the form of a software product.
  • the computer software product is stored in a storage medium (such as ROM/RAM, magnetic disk, optical disk). ) Includes several instructions to make an image display device (which can be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) execute the methods described in the various embodiments of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本实施例公开一种目标跟踪方法及装置、存储介质，该方法可以包括：根据历史图像帧，确定第一目标对象的预测目标位置信息和遮挡对象的预测遮挡对象位置信息；根据历史图像帧序列，确定第一目标对象的历史目标外观特征序列和遮挡对象的历史遮挡对象外观特征序列；根据当前图像帧，确定第二目标对象的当前目标位置信息和当前目标外观特征；根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征，确定目标相似度信息；根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征，确定遮挡对象相似度信息；根据目标相似度信息和遮挡对象相似度信息，确定第一目标对象的跟踪轨迹。

Description

一种目标跟踪方法及装置、存储介质
相关申请的交叉引用
本申请基于申请号为201910045247.8、申请日为2019年01月17日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本公开涉及图像处理领域但不限于图像处理领域，尤其涉及一种目标跟踪方法及装置、存储介质。
背景技术
多目标跟踪(MOT，Multi-Object-Tracking)是视频分析系统中的一个重要组成部分，如视频监控系统和自驾汽车。现有的多目标跟踪算法主要分为两种类型，一种是直接利用多种特征直接处理轨迹关系；另一种是先进行单目标跟踪，之后处理轨迹关联关系，但以上两种类型的跟踪算法均无法对目标进行较准确的跟踪。
发明内容
本实施例提供一种目标跟踪方法及装置、存储介质。
本公开的技术方案是这样实现的：
本实施例提供一种目标跟踪方法，所述方法包括：
根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；
根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；
根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前 目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；
根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象的跟踪轨迹。
在上述方法中，所述根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息，包括：
根据所述预测目标位置信息和所述当前目标位置信息，确定所述目标位置相似度；
根据所述历史目标外观特征序列和所述当前目标外观特征，确定所述目标外观相似度序列；
将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
在上述方法中，所述根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息，包括：
根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定所述遮挡对象位置相似度；
根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定所述遮挡对象外观相似度；
将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
在上述方法中，所述确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，包括：
利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
在上述方法中，所述确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列，包括：
利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
在上述方法中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象的跟踪轨迹，包括：
根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；
利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定所述第一目标对象的跟踪轨迹。
在上述方法中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系，包括：
将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；
从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
在上述方法中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后，所述方法还包括：
当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
利用所述目标关联关系和所述预测目标位置信息，确定出所述第一目标对象的跟踪轨迹。
在上述方法中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后，所述方法还包括：
当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
在上述方法中，所述方法还包括：
利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
在上述方法中，所述根据所述第三目标对象的置信度值，获取所述预测目标位置信息，包括：
当所述第三目标对象的置信度值满足预设置信度值时，获取所述预测目标位置信息。
在上述方法中，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
本实施例提供一种目标跟踪装置，所述目标跟踪装置包括：
第一确定模块，配置为根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
第二确定模块，配置为根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
轨迹跟踪模块，配置为根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象的跟踪轨迹。
在上述装置中，所述第一确定模块，还配置为于根据所述预测目标位置信息和所述当前目标位置信息，确定出所述目标位置相似度；根据所述历史目标外观特征序列和所述当前目标外观特征，确定出所述目标外观相似度序列；将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
在上述装置中，所述第一确定模块，还配置为根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定出所述遮挡对象位置相似度；根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定出所述遮挡对象外观相似度；将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
在上述装置中，所述第一确定模块，还配置为利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
在上述装置中，所述第一确定模块，还配置为利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
在上述装置中，所述轨迹跟踪模块，还配置为根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定出所述第一目标 对象的跟踪轨迹。
在上述装置中，所述轨迹跟踪模块包括：输入子模块和第三确定子模块；
所述输入子模块，配置为将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
所述第三确定子模块，还配置为利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
在上述装置中，所述轨迹跟踪模块还包括：获取子模块；
所述获取子模块，还配置为当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
所述第三确定子模块，还配置为利用所述目标关联关系和所述预测目标位置信息，确定出所述第一目标对象的跟踪轨迹。
在上述装置中，所述装置还包括：添加模块；
所述添加模块，还配置为当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
在上述装置中，所述第二确定模块，还配置为利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
在上述装置中，所述获取子模块，还配置为当所述第三目标对象的置信度值满足预设置信度值时，获取所述预测目标位置信息。
在上述装置中，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
本实施例提供一种目标跟踪装置，所述目标跟踪装置包括：处理器、存储器及通信总线，所述处理器执行所述存储器中存储的运行程序时实现如上述任一项所述的目标跟踪方法。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，应用于目标跟踪装置，该计算机程序被处理器执行时实现如上述任一项所述的目标跟踪方法。
本实施例还提供一种计算机程序产品，所述计算机程序产品被处理器执行时，够实现前述的目标跟踪方法。
本实施例公开一种目标跟踪方法及装置、存储介质，该方法可以包括：根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息；根据当前图像帧之前的历史图像帧序列，确定第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；根据当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征，确定第一目标对象和第二目标对象之间的目标相似度信息；根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征，确定遮挡对象相似度信息；根据目标相似度信息和遮挡对象相似度信息，确定第一目标对象的跟踪轨迹。采用上述方法实现方案，目标跟踪装置根据与当前图像帧相邻的历史图像帧，确定遮挡对象的预测遮挡对象位置信息、根据当前图像帧之前的历史图像帧序列，确定遮挡对象的历史遮挡对象外观特征序列，并融合遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列，确定出历史图像帧中的第一目标对象的跟踪轨迹，使得在进行目标跟踪时，由于利用了遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列，进而降低了遮挡对象对目标跟踪造成的影响，提高了目标跟踪的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本实施例提供的一种目标跟踪方法的流程图；
图2为本实施例提供的一种示例性的目标跟踪方法的流程示意图；
图3为本实施例提供的一种目标跟踪装置的结构示意图一；
图4为本实施例提供的一种目标跟踪装置的结构示意图二。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本公开。并不用于限定本公开。
本实施例公开一种目标跟踪方法，如图1所示，该方法可应用于各种跟踪设备中，可以包括：
S101、根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，遮挡对象 为与第一目标对象最接近的目标。
所述跟踪设备可包括：跟踪终端和/或跟踪服务器。
所述跟踪设备可包括能够进行图像处理的图像处理设备。例如，该图像处理设备可包括图像采集模组(例如，单目或多目摄像头)，能够采集图像帧，并利用处理器对图像帧进行处理，进行目标跟踪。再例如，该图像处理设备可能自行并不采集图像而是从图像采集设备接收图像帧，对从图像采集设备接收的图像帧进行图像处理，从而实现目标跟踪。
所述跟踪服务器可位于在网络侧，图像采集设备可以将采集的图像设备上传给所述跟踪服务器，跟踪服务器在接收到图像帧之后进行目标跟踪。
所述目标跟踪方法可应用于不同的应用场景，例如，在所述目标跟踪方法可应用于安防领域时，所述跟踪设备可为安防设备。在工厂、商厦或者小区门口通常会设置各种用于安防控制的设备，以监控进入到厂区或小区内的人员和/或车辆时，所述跟踪设备会根据采集的视频分析视频所包含的图像帧，从而实现人员和/或车辆的跟踪。
所述目标跟踪方法还可应用于道路交通领域，在道路两旁设置有采集包含所述图像帧的图像采集设备，跟踪设备获取到这些图像帧之后进行图像分析，实现目标跟踪；从而对违反道路交通法规的行为的人或车辆进行跟踪。
在一些实施例中，所述当前图像帧为当前时刻正在处理的图像帧；所述历史图像帧为在当前图像帧之前采集的图像帧。例如，假定当前图像帧为第一时刻采集的图像帧，所述历史图像帧为第二时刻采集的图像帧，则所述第二时刻早于所述第一时刻。
本实施例提供的一种目标跟踪方法适用于在视频中对多个目标进行跟踪的场景下。
本实施例中，所述第一目标对象为跟踪的目标，例如，历史图像帧中的目标可以为行人、车辆等，具体的根据实际情况进行选择，本实施例不做具体的限定。所述第一目标对象可为跟踪的多个目标中的一个目标。
本实施例中，目标跟踪装置在历史图像帧中确定出第一目标对象和与第一目标对象最接近的遮挡对象，之后利用可实现单目标跟踪的神经网络，确定第一目标对象的预测目标位置信息和遮挡对象的预测遮挡对象位置信息。
本实施例中，可实现单目标跟踪的神经网络可以利用单目标跟踪算法组成的网络。
本实施例中，目标跟踪装置在历史图像帧中框定包括第一目标对象的目标外接矩形，之后，目标跟踪装置将任意两个目标外接矩形求交集得到 的交面积除以，对应两个目标外接矩形求并集得到并面积的值最大的一个额外的目标对象，确定为与第一目标对象最接近的遮挡对象。
本实施例中，目标跟踪装置获取当前图像帧之前的一帧相邻图像，作为历史图像帧，并利用单目标跟踪算法，确定第一目标对象在当前图像帧中的预测目标位置信息和遮挡对象在当前图像帧中的预测遮挡对象位置信息。
在一些实施例中，单目标跟踪算法包括孪生区域提议网络(Siamese Region Proposal Network)方法、孪生全卷积网络(Siamese Fully Convolutional)方法等，具体的可以根据实际情况进行选择，本实施例不做具体的限定。
本实施例中，位置信息可以包括坐标信息或经纬度信息，具体的根据实际情况进行选择，本实施例不做具体的限定。
S102、根据当前图像帧之前的历史图像帧序列，确定第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列。
本实施例中，目标跟踪装置根据当前图像帧之前的历史图像帧序列，确定出第一目标对象和与第一目标对象最接近的遮挡对象，之后利用行人重识别算法，确定第一目标对象的历史目标外观特征序列和遮挡对象的历史遮挡对象外观特征序列。
本实施例中，目标跟踪装置获取当前图像帧之前的连续多帧图像，作为历史图像帧序列，并利用可实现行人重识别的神经网络，确定第一目标对象的历史目标外观特征序列和遮挡对象的历史遮挡对象外观特征序列。
本实施例中，历史目标外观特征序列中的特征个数和历史遮挡对象外观特征序列中的特征个数，与历史图像帧序列的帧数一一对应，具体的根据实际情况进行选择，本实施例不做具体的限定。
本实施例中，可实现行人重识别的神经网络可以利用行人重识别算法组成的网络。
本实施例中，行人重识别算法包括Inception-v4模型。
本实施例中，第一目标对象的个数为多个。
需要说明的是，S101和S102为S103之前的两个并列的步骤，S101和S102之间并没有绝对的时序关系，具体的根据实际情况进行选择，本实施例不限定两者的执行顺序。
S103、根据当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征。
当目标跟踪装置确定出第一目标对象对应的预测目标位置信息和历史 目标外观特征序列，以及遮挡对象对应的预测遮挡对象位置信息和历史遮挡对象外观特征序列之后，目标跟踪装置根据当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征。
本实施例中，目标跟踪装置根据当前图像帧，确定出第二目标对象以及第二目标对象对应的当前目标位置信息和当前目标外观特征。
本实施例中，第一目标对象和第二目标对象至少部分匹配，即第一目标对象中的至少部分目标与第二目标对象中的至少部分目标匹配。
本实施例中，第二目标对象的对象为多个。
S104、根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征，确定第一目标对象和第二目标对象之间的目标相似度信息。
当目标跟踪装置在当前图像帧中，确定出第二目标对象对应的当前目标位置信息和当前目标外观特征之后，目标跟踪装置根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征，确定第一目标对象和第二目标对象之间的目标相似度信息。
本实施例中，目标跟踪装置根据预测目标位置信息和当前目标位置信息，确定目标位置相似度；目标跟踪装置根据历史目标外观特征序列和当前目标外观特征，确定目标外观相似度序列；之后，目标跟踪装置将目标位置相似度和目标外观相似度序列确定为第一目标对象和第二目标对象之间的目标相似度信息。
本实施例中，目标跟踪装置将预测目标位置信息和当前目标位置信息进行相似度计算，得到目标位置相似度；目标跟踪装置对历史目标外观特征序列和当前目标外观特征进行相似度计算，得到目标外观相似度序列。
S105、根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征，确定遮挡对象相似度信息。
当目标跟踪装置在当前图像帧中，确定出第二目标对象对应的当前目标位置信息和当前目标外观特征之后，目标跟踪装置根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征，确定遮挡对象相似度信息。
本实施例中，目标跟踪装置根据预测遮挡对象位置信息和当前目标位置信息，确定遮挡对象位置相似度；目标跟踪装置根据历史遮挡对象外观特征序列和当前目标外观特征，确定遮挡对象外观相似度；之后，目标跟踪装置将遮挡对象位置相似度和遮挡对象外观相似度确定为遮挡对象相似度信息。
本实施例中，目标跟踪装置对预测遮挡对象位置信息和当前目标位置 信息进行相似度计算，得到遮挡对象位置相似度；目标跟踪装置对历史遮挡对象外观特征序列和当前目标外观特征进行相似度计算，得到遮挡对象外观相似度。
本实施例中，目标位置相似度为目标外接矩形的交面积除以并面积的值，目标外观相似度序列为外观特征余弦夹角。
需要说明的是，遮挡对象位置相似度的计算过程与目标位置相似度的计算过程相同，遮挡对象外观相似度和目标外观相似度序列的计算过程相同，在此不再赘述。
需要说明的是，S104和S105为S103之后、S106之前的两个并列的步骤，S104和S105之间并没有绝对的时序关系，具体的根据实际情况进行选择，本实施例不限定两者的执行顺序。
S106、根据目标相似度信息和遮挡对象相似度信息，确定第一目标对象的跟踪轨迹。
当目标跟踪装置确定出目标相似度信息和遮挡对象相似度信息之后，目标追踪装置根据目标相似度信息和遮挡对象相似度信息，确定出第一目标对象的跟踪轨迹。
本实施例中，目标跟踪装置根据目标相似度信息和遮挡对象相似度信息，确定第一目标对象和第二目标对象之间的目标轨迹关联关系；目标跟踪装置利用目标轨迹关联关系，在第二目标对象中查找与第一目标对象关联的目标，以确定第一目标对象的跟踪轨迹。
本实施例中，目标跟踪装置将目标相似度信息和遮挡对象相似度信息，输入预设分类器；之后利用预设分类器，确定出多种轨迹关联关系的多个决策分数，其中多种轨迹关联关系为对第一目标对象和第二目标对象之间进行轨迹关联，得到的轨迹关联关系；目标跟踪装置从多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为目标轨迹关联关系。
本实施例中，预设分类器输出多种轨迹关联关系中每个关联目标之间的决策分数，之后，将每一种轨迹关联关系中的决策分数进行叠加，得到该种轨迹关联关系对应的决策分数，至此，就得到了多种轨迹关联关系的多个决策分数。
本实施例中，目标跟踪装置利用预设轨迹关联算法，对历史图像帧中的第一目标对象和当前图像帧中的第二目标对象进行轨迹关联，得到第一目标对象和第二目标对象之间的多种轨迹关联关系。
本实施例中，分类器采用梯度增强决策树模型。
本实施例中，预设轨迹关联算法为二分图的加权最大匹配算法，即最小费用最大流算法。
在一些实施例中，当目标跟踪装置确定出目标轨迹关联关系之后，目标跟踪装置在目标关联关系中的第一目标对象中确定与第二目标对象关联的目标，当目标跟踪装置在目标关联关系中的第一目标对象中确定出与第二目标对象不关联的第三目标对象时，目标跟踪装置根据第三目标对象的置信度值，获取预测目标位置信息，之后，目标跟踪装置利用目标关联关系和预测目标位置信息，确定出第一目标对象的跟踪轨迹。
示例性的，当目标跟踪装置在第一目标对象中确定出与第二目标对象不关联的第三目标对象时，目标跟踪装置判断出历史图像帧中的第三目标对象并未在当前图像帧中显现。此时，目标跟踪装置确定第三目标对象并未在当前图像帧中显现的原因是：第三目标对象的置信度值不满足预设置信度阈值。当第三目标对象的置信度值满足预设置信度阈值时，确定第三目标对象在当前图像帧中被遮挡对象遮挡。此时，目标跟踪装置根据第三目标对象对应的预测目标位置信息，预测第三目标对象在当前图像帧中的位置。
在一些实施例中，目标跟踪装置在目标关联关系中的第二目标对象中确定与第一目标对象关联的目标，当目标跟踪装置在目标关联关系中的第二目标对象中确定出与第一目标对象不关联的第四目标对象时，目标跟踪装置将第四目标对象添加至下一轮关联关系中，其中，下一轮关联关系为以当前图像帧为历史图像帧生成的关联关系。
示例性的，当目标跟踪装置在第二目标对象中确定出与第一目标对象不关联的第四目标对象时，表征第四目标对象为新增的目标对象，此时，目标跟踪装置对第四目标对象进行目标跟踪。
本实施例中，在目标关联关系中，第一目标对象和第二目标对象中匹配的目标对象组成了二元组，第一目标对象和第二目标对象中未匹配的目标对象组成了一元组，目标跟踪装置从一元组中查找第二目标对象中的目标对象，作为与第一目标对象不关联的第四目标对象；目标跟踪装置从一元组中查找第一目标对象中的目标对象，作为与第二目标对象不关联的第三目标对象。
本实施例中，目标跟踪装置利用单目标跟踪算法，分别计算第一目标对象对应的置信度值和预测目标位置信息。
本实施例中，目标跟踪装置将第三目标对象对应的置信度值和预设置信度值进行比较，当第三目标对象对应的置信度值满足预设置信度值时，目标跟踪装置获取预测目标位置信息。
需要说明的是，本实施例中的单目标跟踪算法、行人重识别算法、预设分类器和预设轨迹关联算法均为可替换算法，具体的根据实际情况进行 选择，本实施例不做具体的限定。
本实施例中，目标跟踪装置从目标关联关系，确定出在视频中的不同目标对象的行动轨迹，进而能够对目标对象进行跟踪。
示例性的，如图2所示，在短期线索中，输入Ex模板至单目标跟踪算法(SOT，Single Object Tracking)子网中，得到在t+1时刻的预测目标位置信息D track和置信度(Score map)，之后将检测到的t+1时刻的当前目标位置信息D det和D track进行相似度计算，得到目标位置相似度f s(D track,D det)；在长期线索中，输入D det对应的当前图像区域I t+1,D det至行人重识别(ReID，Person Re-identification)子网中，得到当前目标外观特征A det，并获取当前目标在历史图像帧中的历史图像区域
Figure PCTCN2019111038-appb-000001
并将历史图像区域输入至ReID子网中，得到历史目标外观特征序列
Figure PCTCN2019111038-appb-000002
之后，依次计算当前目标外观特征与历史目标外观特征序列之间的相似度，得到目标外观相似度序列
Figure PCTCN2019111038-appb-000003
之后，将目标位置相似度和目标外观相似度序列输入遮挡对象敏感的分类器(SAC，Switcher-Aware Classifier)中，得到多种轨迹关联关系的多个决策分数，之后，从多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为目标轨迹关联关系。
可以理解的是，目标跟踪装置根据与当前图像帧相邻的历史图像帧，确定遮挡对象的预测遮挡对象位置信息、根据当前图像帧之前的历史图像帧序列，确定遮挡对象的历史遮挡对象外观特征序列，并融合遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列，确定出历史图像帧中的第一目标对象的跟踪轨迹，使得在进行目标跟踪时，由于利用了遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列，进而降低了遮挡对象对目标跟踪造成的影响，提高了目标跟踪的准确性。
本实施例提供一种目标跟踪装置1，如图3所示，该装置可以包括：
第一确定模块10，配置为根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
第二确定模块11，配置为根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；根据所述预 测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
轨迹跟踪模块12，配置为根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象的跟踪轨迹。
在一些实施例中，所述第一确定模块10，还配置为根据所述预测目标位置信息和所述当前目标位置信息，确定出所述目标位置相似度；根据所述历史目标外观特征序列和所述当前目标外观特征，确定出所述目标外观相似度序列；将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
在一些实施例中，所述第一确定模块10，还配置为根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定出所述遮挡对象位置相似度；根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定出所述遮挡对象外观相似度；将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
在一些实施例中，所述第一确定模块10，还配置为利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
在一些实施例中，所述第一确定模块10，还配置为利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
在一些实施例中，所述轨迹跟踪模块12，还配置为根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定出所述第一目标对象的跟踪轨迹。
在一些实施例中，所述轨迹跟踪模块12包括：输入子模块120和第三确定子模块121；
所述输入子模块120，配置为将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
所述第三确定子模块121，还配置为利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
在一些实施例中，所述轨迹跟踪模块12还包括：获取子模块122；
所述获取子模块122，还配置为当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
所述第三确定子模块121，还配置为利用所述目标关联关系和所述预测目标位置信息，确定出所述第一目标对象的跟踪轨迹。
在一些实施例中，所述装置还包括：添加模块13；
所述添加模块13，还配置为当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
在一些实施例中，所述第二确定模块11，还配置为利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
在一些实施例中，所述获取子模块122，还配置为当所述第三目标对象的置信度值满足预设置信度值时，获取所述预测目标位置信息。
在一些实施例中，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
图4为本实施例提出的目标跟踪装置1的组成结构示意图一，在实际应用中，基于上述实施例的同一公开构思下，如图4所示，本实施例的目标跟踪装置1包括：处理器14、存储器15、及通信总线16。所述第一确定模块10、所述第二确定模块11、所述轨迹跟踪模块12、所述输入子模块120、所述第三确定子模块121、获取子模块122和添加模块13由处理器1实现。
在具体的实施例的过程中，上述处理器14可以为特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理图像显示设备(DSPD，Digital Signal Processing Device)、可编程逻辑图像显示设备(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本公开的实施例中，上述通信总线16用于实现处理器14和存储器15之间的连接通信；上述处理器14用于执行存储器15中存储的运行程序，以实现如上述实施例的方法。
本实施例提供一种计算机可读存储介质，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器 执行，应用于目标跟踪装置中，该程序被处理器执行时实现如上述实施例的方法。
本实施例还提供一种计算机程序产品，所述计算机程序产品被处理器执行时，够实现前述任意技术方案的目标跟踪方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (27)

  1. 一种目标跟踪方法，其中，所述方法包括：
    根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；
    根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；
    根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
    根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；
    根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
    根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象的跟踪轨迹。
  2. 根据权利要求1所述的方法，其中，所述根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息，包括：
    根据所述预测目标位置信息和所述当前目标位置信息，确定所述目标位置相似度；
    根据所述历史目标外观特征序列和所述当前目标外观特征，确定所述目标外观相似度序列；
    将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
  3. 根据权利要求1所述的方法，其中，所述根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息，包括：
    根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定所述遮挡对象位置相似度；
    根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定所述遮挡对象外观相似度；
    将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
  4. 根据权利要求1所述的方法，其中，所述确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，包括：
    利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
  5. 根据权利要求1所述的方法，其中，所述确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列，包括：
    利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
  6. 根据权利要求1所述的方法，其中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象的跟踪轨迹，包括：
    根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；
    利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定所述第一目标对象的跟踪轨迹。
  7. 根据权利要求6所述的方法，其中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系，包括：
    将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
    利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；
    从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
  8. 根据权利要求6所述的方法，其中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后，所述方法还包括：
    当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象的情况下，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
    利用所述目标关联关系和所述预测目标位置信息，确定出所述第一目 标对象的跟踪轨迹。
  9. 根据权利要求6所述的方法，其中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后，所述方法还包括：
    当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象的情况下，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
  10. 根据权利要求4所述的方法，其中，所述方法还包括：
    利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
  11. 根据权利要求8所述的方法，其中，所述根据所述第三目标对象的置信度值，获取所述预测目标位置信息，包括：
    在所述第三目标对象的置信度值满足预设置信度值的情况，获取所述预测目标位置信息。
  12. 根据权利要求1-11任一项所述的方法，其中，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
  13. 一种目标跟踪装置，其中，所述目标跟踪装置包括：
    第一确定模块，配置为根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
    第二确定模块，用于根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
    轨迹跟踪模块，用于根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象的跟踪轨迹。
  14. 根据权利要求13所述的装置，其中，
    所述第一确定模块，还用于根据所述预测目标位置信息和所述当前目标位置信息，确定出所述目标位置相似度；根据所述历史目标外观特征序列和所述当前目标外观特征，确定出所述目标外观相似度序列；将所述目 标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
  15. 根据权利要求13所述的装置，其中，
    所述第一确定模块，还用于根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定出所述遮挡对象位置相似度；根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定出所述遮挡对象外观相似度；将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
  16. 根据权利要求13所述的装置，其中，
    所述第一确定模块，还用于利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
  17. 根据权利要求13所述的装置，其中，
    所述第一确定模块，还用于利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
  18. 根据权利要求13所述的装置，其中，
    所述轨迹跟踪模块，还用于根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定出所述第一目标对象的跟踪轨迹。
  19. 根据权利要求18所述的装置，其中，所述轨迹跟踪模块包括：输入子模块和第三确定子模块；
    所述输入子模块，用于将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
    所述第三确定子模块，还用于利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
  20. 根据权利要求19所述的装置，其中，所述轨迹跟踪模块还包括：获取子模块；
    所述获取子模块，还用于当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
    所述第三确定子模块，还用于利用所述目标关联关系和所述预测目标位置信息，确定出所述第一目标对象的跟踪轨迹。
  21. 根据权利要求18所述的装置，其中，所述装置还包括：添加模块；
    所述添加模块，还用于当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
  22. 根据权利要求16所述的装置，其中，
    所述第二确定模块，还用于利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
  23. 根据权利要求20所述的装置，其中，
    所述获取子模块，还用于当所述第三目标对象的置信度值满足预设置信度值时，获取所述预测目标位置信息。
  24. 根据权利要求13-23任一项所述的装置，其中，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
  25. 一种目标跟踪装置，其中，所述目标跟踪装置包括：处理器、存储器及通信总线，所述处理器执行所述存储器中存储的运行程序时实现如权利要求1-12任一项所述的方法。
  26. 一种计算机可读存储介质，其上存储有计算机程序，应用于目标跟踪装置，其中，该计算机程序被处理器执行时实现如权利要求1-12任一项所述的方法。
  27. 一种计算机程序产品，所述计算机程序产品被处理器执行时，够实现权利要求1-12中任意一项所述的方法。
PCT/CN2019/111038 2019-01-17 2019-10-14 一种目标跟踪方法及装置、存储介质 Ceased WO2020147348A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020533117A JP6944598B2 (ja) 2019-01-17 2019-10-14 目標追跡方法及び装置、記憶媒体
KR1020207021162A KR102444769B1 (ko) 2019-01-17 2019-10-14 목표 추적 방법 및 장치, 저장 매체
SG11202007604XA SG11202007604XA (en) 2019-01-17 2019-10-14 Method and apparatuses for target tracking, and storage medium
US16/986,740 US20200364882A1 (en) 2019-01-17 2020-08-06 Method and apparatuses for target tracking, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910045247.8 2019-01-17
CN201910045247.8A CN109816701B (zh) 2019-01-17 2019-01-17 一种目标跟踪方法及装置、存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/986,740 Continuation US20200364882A1 (en) 2019-01-17 2020-08-06 Method and apparatuses for target tracking, and storage medium

Publications (1)

Publication Number Publication Date
WO2020147348A1 true WO2020147348A1 (zh) 2020-07-23

Family

ID=66604404

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/111038 Ceased WO2020147348A1 (zh) 2019-01-17 2019-10-14 一种目标跟踪方法及装置、存储介质

Country Status (7)

Country Link
US (1) US20200364882A1 (zh)
JP (1) JP6944598B2 (zh)
KR (1) KR102444769B1 (zh)
CN (1) CN109816701B (zh)
SG (1) SG11202007604XA (zh)
TW (1) TWI715320B (zh)
WO (1) WO2020147348A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507949A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 目标跟踪方法、装置、路侧设备以及云控平台
CN112528932A (zh) * 2020-12-22 2021-03-19 北京百度网讯科技有限公司 用于优化位置信息的方法、装置、路侧设备和云控平台
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN113793031A (zh) * 2021-09-15 2021-12-14 中海油安全技术服务有限公司 海底管线风险预测方法及装置
CN113808162A (zh) * 2021-08-26 2021-12-17 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN110197502B (zh) * 2019-06-06 2021-01-22 山东工商学院 一种基于身份再识别的多目标跟踪方法及系统
US11679764B2 (en) * 2019-06-28 2023-06-20 Baidu Usa Llc Method for autonomously driving a vehicle based on moving trails of obstacles surrounding the vehicle
CN110414443A (zh) * 2019-07-31 2019-11-05 苏州市科远软件技术开发有限公司 一种目标跟踪方法、装置及枪球联动跟踪方法
CN110647818A (zh) * 2019-08-27 2020-01-03 北京易华录信息技术股份有限公司 一种遮挡目标物体的识别方法及装置
CN110517293A (zh) * 2019-08-29 2019-11-29 京东方科技集团股份有限公司 目标跟踪方法、装置、系统和计算机可读存储介质
CN110533685B (zh) * 2019-08-30 2023-10-24 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110751205A (zh) * 2019-10-17 2020-02-04 北京百度网讯科技有限公司 物体关联方法、装置、设备和介质
US11043003B2 (en) * 2019-11-18 2021-06-22 Waymo Llc Interacted object detection neural network
KR102311798B1 (ko) * 2019-12-12 2021-10-08 포항공과대학교 산학협력단 다중 객체 추적 방법 및 장치
CN111402293B (zh) * 2020-03-10 2023-11-14 北京邮电大学 面向智能交通的一种车辆跟踪方法及装置
CN112084914B (zh) * 2020-08-31 2024-04-26 的卢技术有限公司 一种融合空间运动和表观特征学习的多目标跟踪方法
KR102872212B1 (ko) * 2020-09-25 2025-10-16 현대자동차주식회사 라이다 센서를 이용한 객체 추적 방법 및 장치, 이 장치를 포함하는 차량 및 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN112288775B (zh) * 2020-10-23 2022-04-15 武汉大学 一种基于长短期预测模型的多目标遮挡跟踪方法
KR102405955B1 (ko) * 2020-12-29 2022-06-08 현대위아 주식회사 다수의 모바일 로봇 경로 분석 시스템 및 방법
CN112734802B (zh) * 2020-12-31 2024-02-09 杭州海康威视系统技术有限公司 一种轨迹获取方法及装置
TWI758162B (zh) * 2021-04-15 2022-03-11 和碩聯合科技股份有限公司 生物形體的追蹤系統及方法
CN113205072A (zh) * 2021-05-28 2021-08-03 上海高德威智能交通系统有限公司 一种对象关联方法、装置及电子设备
CN113420697B (zh) * 2021-07-01 2022-12-09 中科人工智能创新技术研究院(青岛)有限公司 基于表观和形状特征的换装视频行人重识别方法及系统
CN113689465B (zh) * 2021-07-16 2024-08-02 地平线(上海)人工智能技术有限公司 对目标对象进行预测的方法及装置、存储介质及电子设备
CN113674317B (zh) * 2021-08-10 2024-04-26 深圳市捷顺科技实业股份有限公司 一种高位视频的车辆跟踪方法及装置
CN113870312B (zh) * 2021-09-30 2023-09-22 四川大学 基于孪生网络的单目标跟踪方法
CN114359773B (zh) * 2021-11-10 2025-03-14 中国矿业大学 复杂地下空间轨迹融合的视频人员重识别方法
CN114529584B (zh) * 2022-02-21 2025-07-25 沈阳理工大学 一种基于无人机航拍的单目标车辆跟踪方法
CN114740855A (zh) * 2022-04-11 2022-07-12 沛远智能科技（厦门）有限公司 一种人物跟随识别确定方法及设备
CN115035158B (zh) * 2022-06-05 2023-11-17 东北石油大学 目标跟踪的方法及装置、电子设备和存储介质
CN114882425B (zh) * 2022-06-13 2024-09-10 湖南快乐阳光互动娱乐传媒有限公司 一种图像处理方法及装置
CN115240130B (zh) * 2022-06-15 2026-02-13 首都师范大学 一种行人多目标跟踪方法、装置和计算机可读存储介质
US20240005664A1 (en) * 2022-07-01 2024-01-04 Robert Bosch Gmbh Reducing false alarms in video surveillance systems
CN115641359B (zh) * 2022-10-17 2023-10-31 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN115965649A (zh) * 2022-12-30 2023-04-14 天翼交通科技有限公司 车路协同的目标跟踪状态优化方法、服务器及存储介质
CN117314965B (zh) * 2023-10-07 2026-01-02 中国人民解放军国防科技大学 一种时空融合的多目标跟踪方法、装置、设备和介质
CN117409044B (zh) * 2023-12-14 2024-06-14 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置
CN119810153B (zh) * 2025-03-05 2025-06-20 杭州骅羲智能科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090059007A1 (en) * 2007-09-05 2009-03-05 Sony Corporation Apparatus and method of object tracking
CN107346538A (zh) * 2016-05-06 2017-11-14 株式会社理光 对象跟踪方法及设备
CN108573496A (zh) * 2018-03-29 2018-09-25 淮阴工学院 基于lstm网络和深度增强学习的多目标跟踪方法
CN108986138A (zh) * 2018-05-24 2018-12-11 北京飞搜科技有限公司 目标跟踪方法及设备
CN109816701A (zh) * 2019-01-17 2019-05-28 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181453A1 (en) * 2005-03-17 2008-07-31 Li-Qun Xu Method of Tracking Objects in a Video Sequence
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
US20110115909A1 (en) * 2009-11-13 2011-05-19 Sternberg Stanley R Method for tracking an object through an environment across multiple cameras
US8600106B1 (en) * 2010-08-31 2013-12-03 Adobe Systems Incorporated Method and apparatus for tracking objects within a video frame sequence
JP2015198592A (ja) * 2014-04-07 2015-11-12 コニカミノルタ株式会社 細胞配列チップおよび細胞の配列方法
US9390328B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Static occlusion handling using directional pixel replication in regularized motion environments
JP6474126B2 (ja) * 2015-02-27 2019-02-27 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム
CN105631896B (zh) * 2015-12-18 2018-03-02 武汉大学 一种基于混合分类器决策的压缩感知跟踪方法
CN105678808A (zh) * 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
JP6614611B2 (ja) * 2016-02-29 2019-12-04 Ｋｄｄｉ株式会社 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法
JP6504711B2 (ja) * 2016-03-29 2019-04-24 Kddi株式会社 画像処理装置
JP6465068B2 (ja) * 2016-04-28 2019-02-06 株式会社村田製作所 コイル部品
JP6439757B2 (ja) * 2016-07-08 2018-12-19 オムロン株式会社 画像処理装置および画像処理方法
CN106355604B (zh) * 2016-08-22 2019-10-18 杭州保新科技有限公司 图像目标跟踪方法与系统
US10860863B2 (en) * 2016-10-25 2020-12-08 Deepnorth Inc. Vision based target tracking using tracklets
CN106846373B (zh) * 2016-11-16 2019-07-05 浙江工业大学 一种融合目标外观模型和博弈论的视频目标互遮挡处理方法
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
KR101866338B1 (ko) * 2017-01-23 2018-06-11 광주과학기술원 상대적 외형 특징 및 모션 패턴을 통한 다중 객체 추적 방법 및 이에 관한 컴퓨터 판독가능 저장 매체
US10373369B2 (en) * 2017-03-16 2019-08-06 Qualcomm Technologies, Inc. Three-dimensional pose estimation of symmetrical objects
CN108875465B (zh) * 2017-05-26 2020-12-11 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN108470353A (zh) * 2018-03-01 2018-08-31 腾讯科技（深圳）有限公司 一种目标跟踪方法、装置和存储介质
US10977827B2 (en) * 2018-03-27 2021-04-13 J. William Mauchly Multiview estimation of 6D pose
US11749124B2 (en) * 2018-06-12 2023-09-05 Skydio, Inc. User interaction with an autonomous unmanned aerial vehicle
CN109145781B (zh) * 2018-08-03 2021-05-04 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
JP7196999B2 (ja) * 2019-04-17 2022-12-27 日本電気株式会社 オブジェクト検出・追跡装置、方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090059007A1 (en) * 2007-09-05 2009-03-05 Sony Corporation Apparatus and method of object tracking
CN107346538A (zh) * 2016-05-06 2017-11-14 株式会社理光 对象跟踪方法及设备
CN108573496A (zh) * 2018-03-29 2018-09-25 淮阴工学院 基于lstm网络和深度增强学习的多目标跟踪方法
CN108986138A (zh) * 2018-05-24 2018-12-11 北京飞搜科技有限公司 目标跟踪方法及设备
CN109816701A (zh) * 2019-01-17 2019-05-28 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507949A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 目标跟踪方法、装置、路侧设备以及云控平台
CN112528932A (zh) * 2020-12-22 2021-03-19 北京百度网讯科技有限公司 用于优化位置信息的方法、装置、路侧设备和云控平台
CN112528932B (zh) * 2020-12-22 2023-12-08 阿波罗智联(北京)科技有限公司 用于优化位置信息的方法、装置、路侧设备和云控平台
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN113808162A (zh) * 2021-08-26 2021-12-17 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN113808162B (zh) * 2021-08-26 2024-01-23 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN113793031A (zh) * 2021-09-15 2021-12-14 中海油安全技术服务有限公司 海底管线风险预测方法及装置
CN113793031B (zh) * 2021-09-15 2023-09-29 中海油安全技术服务有限公司 海底管线风险预测方法及装置

Also Published As

Publication number Publication date
KR20200100792A (ko) 2020-08-26
CN109816701A (zh) 2019-05-28
SG11202007604XA (en) 2020-09-29
US20200364882A1 (en) 2020-11-19
TW202029129A (zh) 2020-08-01
JP6944598B2 (ja) 2021-10-06
TWI715320B (zh) 2021-01-01
KR102444769B1 (ko) 2022-09-19
CN109816701B (zh) 2021-07-27
JP2021514498A (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
TWI715320B (zh) 一種目標跟蹤方法及裝置、儲存介質
CN107818573B (zh) 一种目标跟踪方法及装置
WO2021170030A1 (zh) 一种用于目标追踪的方法、设备及系统
CN111400550A (zh) 一种目标运动轨迹构建方法、设备以及计算机存储介质
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
WO2023197232A1 (zh) 目标跟踪方法及装置、电子设备、计算机可读介质
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
WO2013053159A1 (zh) 一种车辆跟踪的方法及装置
WO2018153211A1 (zh) 获取交通路况信息的方法及装置、计算机存储介质
WO2022142417A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113343985A (zh) 车牌识别方法和装置
CN112733719A (zh) 一种融合人脸及人体特征的跨境行人轨迹检测方法
CN113256683B (zh) 目标跟踪方法及相关设备
CN111275737A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN111862145A (zh) 一种基于多尺度行人检测的目标跟踪方法
CN104636724A (zh) 一种基于目标一致性的车载相机快速行人车辆检测方法
CN114387296A (zh) 目标轨迹追踪方法、装置、计算机设备及存储介质
CN116452629A (zh) 一种基于Siamese网络的牧场中无人机对牛目标跟踪方法及系统
TW202504327A (zh) 偵測場景之一或多個遮蔽區域之方法及非暫態電腦可讀儲存媒體
CN120339329A (zh) 一种高速公路跨摄像头多车辆的跟踪方法、装置及设备
CN114445787A (zh) 非机动车重识别方法及相关设备
JP2002342762A (ja) 物体追跡方法
CN111783618A (zh) 一种基于视频内容分析的园区大脑感知方法和系统
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020533117

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207021162

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19909696

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19909696

Country of ref document: EP

Kind code of ref document: A1