WO2020098076A1 - 跟踪目标的定位方法、装置、设备及存储介质 - Google Patents

跟踪目标的定位方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2020098076A1
WO2020098076A1 PCT/CN2018/123080 CN2018123080W WO2020098076A1 WO 2020098076 A1 WO2020098076 A1 WO 2020098076A1 CN 2018123080 W CN2018123080 W CN 2018123080W WO 2020098076 A1 WO2020098076 A1 WO 2020098076A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
position information
original
tracking
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/123080
Other languages
English (en)
French (fr)
Inventor
杨国青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to SG11202101806QA priority Critical patent/SG11202101806QA/en
Priority to US17/266,187 priority patent/US11798174B2/en
Priority to JP2021504201A priority patent/JP7060758B2/ja
Publication of WO2020098076A1 publication Critical patent/WO2020098076A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Definitions

  • the present application relates to the field of image processing technology, and in particular, to a tracking target positioning method, device, equipment, and storage medium.
  • Positioning long-distance tracking targets has always been one of the most challenging tasks in video surveillance.
  • some are by writing the coordinate information of the target to be tracked in the image to a file, and the tracking is started.
  • the initial target information is obtained by reading the file.
  • the operation cycle of this method is long, and the efficiency of obtaining the initial target information is not high, or the target to be tracked is drawn in the image by manually drawing the picture by pausing the video screen.
  • Position, and after tracking is started, the tracking target is initialized based on the manually drawn position information.
  • a positioning method for tracking targets including:
  • the original position information of the original target point selected by the user included in the positioning request is obtained, where the original position information includes the original target point in the currently playing video data The current frame image and the original coordinates of the original target point in the current frame image;
  • the target prediction model is a convolutional neural network model including two convolutional layers and two fully connected layers,
  • the target prediction result includes N target areas and target position information corresponding to each of the target areas, N is a positive integer, and each of the target areas contains a target to be tracked;
  • a positioning device for tracking targets including:
  • the request receiving module is configured to obtain the original position information of the original target point selected by the user contained in the positioning request if the positioning request tracking the target is received, wherein the original position information includes the original target point The current frame image in the currently playing video data and the original coordinates of the original target point in the current frame image;
  • the target prediction module is used to perform target prediction on the current frame image according to a preset target prediction model to obtain a target prediction result, wherein the target prediction model is composed of two convolutional layers and two fully connected layers Convolutional neural network model, the target prediction result includes N target areas and target position information corresponding to each of the target areas, N is a positive integer, and each of the target areas contains a target to be tracked;
  • a distance calculation module configured to calculate the Euclidean distance between each target to be tracked and the original target point according to the target position information and the original coordinates of each target area, to obtain N distances;
  • the target confirmation module is used to select the distance with the smallest value from the N distances as the target distance, acquire the target position information corresponding to the target distance, and the target to be tracked in the target area corresponding to the acquired target position information The tracking target corresponding to the original target point is determined.
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and executable on the processor, and the processor implements the computer-readable instructions to implement the positioning of the tracking target method.
  • One or more non-volatile readable storage media storing computer-readable instructions, when the computer-readable instructions are executed by one or more processors, so that the one or more processors execute the above tracking when executed Target positioning method.
  • FIG. 1 is a schematic diagram of an application environment of a tracking target positioning method in an embodiment of the present application
  • FIG. 2 is a flowchart of a method for locating a tracking target in an embodiment of the present application
  • FIG. 3 is a flowchart of step S3 in the method for locating a tracking target according to an embodiment of the present application
  • FIG. 4 is a flowchart of building a target prediction model in a method for tracking target positioning in an embodiment of the present application
  • FIG. 5 is an implementation flowchart of a structure for constructing a convolutional neural network target detection algorithm in a tracking target positioning method according to an embodiment of the present application
  • FIG. 6 is an implementation flowchart of confirming the tracking target in the tracking target positioning method in an embodiment of the present application
  • FIG. 7 is a schematic diagram of a positioning device for tracking targets in an embodiment of the present application.
  • FIG. 8 is a schematic diagram of a computer device in an embodiment of the present application.
  • FIG. 1 shows an application environment provided by an embodiment of the present application.
  • the application environment includes a server and a client.
  • the server and the client are connected through a network.
  • the client is used to detect a user ’s touch operation.
  • the touch operation generates a positioning request, and sends the positioning request to the server.
  • the client can specifically but not limited to various personal computers, laptops, smartphones, tablets, and portable wearable devices; the server is used to process video data, services
  • the terminal can be realized by an independent server or a server cluster composed of multiple servers.
  • the positioning method for tracking targets provided in the embodiments of the present application is applied to the server.
  • FIG. 2 illustrates an implementation process of the tracking target positioning method provided by this embodiment.
  • the details are as follows:
  • the original target point is a point on the location area where the target selected by the user in the video picture being played is located.
  • the client detects the user's touch operation, click operation or other operations, generates a tracking target positioning request, and sends the positioning request to the server for processing.
  • the touch operation refers to an operation realized by touching the screen with a human hand on the display device.
  • the display device can locate the selection information input according to the icon or menu position touched by the human hand, or detect the touched position according to the position touched by the human hand coordinate.
  • the click operation refers to an operation realized by a cursor click on the display device.
  • the display device can locate the selection information input according to the icon or menu position clicked by the cursor, or detect the coordinates of the cursor click according to the position clicked by the cursor.
  • the display device used to obtain the original position information of the original target point in the video data may specifically be a touch screen or other devices, and no specific limitation is made here.
  • the current frame image refers to the currently playing picture where the original target point is located, and can be locked by the components in the display device.
  • the display device of the touch screen is used in this embodiment to obtain the original position information of the original target point in the video data
  • the touch screen is composed of a touch detection component and a touch screen controller, that is, the touch detection component and the touch screen controller Installed in the display device, the touch detection part is used to detect the position touched by the user and lock the current frame image of the currently playing video data, generate touch information, and then send the touch information to the touch screen controller, and the main touch screen controller
  • the function is to receive touch information from the touch point detection device, and convert the position touched by the user in the touch information into contact coordinates, which are the original coordinates of the original target point.
  • a touch operation can be performed on the display device playing the video
  • the client detects the user's touch operation on the display device
  • You can determine the current frame image of the currently playing video data and the original coordinates of the original target point selected by the user in the current frame image according to the touch operation, and generate a positioning request containing the current frame image and the original coordinates.
  • the server sends the positioning request to the server.
  • the server receives the positioning request and reads the original position information of the original target point carried in the positioning request.
  • target prediction is performed on the current frame image to obtain the target prediction result.
  • the target prediction model is a convolutional neural network model including two convolutional layers and two fully connected layers.
  • the target prediction The result includes N target areas and target position information corresponding to each target area, N is a positive integer, and each target area contains a target to be tracked.
  • the preset target prediction model is obtained by training according to actual business needs, and is used to predict the candidate target area in the current frame image where the original target point is located, where the candidate target area is the current frame image Contains the area of movable objects.
  • Each movable object corresponds to a target area.
  • the target area is displayed in the form of a rectangular frame.
  • the movable object in the target area is the target to be tracked.
  • the target position information of the target area includes the area The upper left corner of the coordinates, the width and height of the area.
  • the convolutional layer of the target prediction model is used to extract image features of the current frame image.
  • the fully connected layer outputs the target area corresponding to the image feature and the target position information corresponding to the target area according to the extracted image features.
  • the current frame image is input into a preset target prediction model, the image features of the current frame image are extracted through the convolution layer in the model, and then the image features are passed through the model's fully connected layer to output the target corresponding to the image features The area and the target position information corresponding to the target area are used as the target prediction result.
  • a frame of image into a preset target prediction model, extract image features of this frame of image through the convolutional layer in the model, and then pass the extracted image features through the fully connected layer of the model, which will not belong to the image
  • the movable objects in the background are displayed in the form of a rectangular frame. Assuming that 6 movable objects are predicted, the target prediction result is 6 target regions and the target position information corresponding to the 6 target regions.
  • the target prediction of the current frame image through the trained target prediction model, and the image feature extraction of the current frame image through the convolutional layer in the target prediction model can accurately distinguish the movable objects in the current frame image And the background, to avoid the situation that the position information of the predicted target manually drawn is inaccurate, and the predicted target is easily blocked by the background, thereby improving the accuracy of forecasting the tracking target.
  • S3 Calculate the Euclidean distance between each target to be tracked and the original target point according to the target position information of each target area and the original coordinates, and obtain N distances.
  • Euclidean distance is a commonly used distance definition, it can be used to express the true distance between multiple points in m-dimensional space, or the natural length of the vector, and the two points in two-dimensional space.
  • the Euclidean distance between the two points is the actual distance between two points. Therefore, by calculating the Euclidean distance between each target to be tracked and the original target point, each target to be tracked and the original target can be reflected most quickly and intuitively The positional relationship between points.
  • the target position information of each target area obtained in step S2 and the original coordinates of the original target point obtained in step S1 are substituted into the Euclidean distance formula. After calculation, each target to be tracked in the target area and N Euclidean distances between the original target points.
  • step S2 if six target areas and target position information corresponding to the six target areas are predicted through the target prediction model, the target position information and original coordinates of the six target areas are substituted into Europe
  • the Euclidean distance between the target to be tracked and the original target point can be calculated to obtain 6 distances.
  • S4 Select the distance with the smallest value from the N distances as the target distance, acquire the target position information corresponding to the target distance, and determine the target to be tracked in the target area corresponding to the acquired target position information as the tracking corresponding to the original target point aims.
  • N Euclidean distances are calculated in step S3, it can intuitively reflect the positional relationship between each target to be tracked and the original target point, so under normal circumstances, it can be understood as to be tracked If the position of the target is closest to the original target point, the target to be tracked is the tracking target corresponding to the original target point.
  • the target distance is the distance between the original target point position and the closest target to be tracked.
  • any two of the N distances obtained in step S3 are compared, the distance with the smaller value is compared, and then the distance with the smaller value is compared with other distances, and so on, until the N distances are compared
  • the distance with the smallest value use the distance with the smallest value as the target distance, and use the target to be tracked in the target area corresponding to the distance with the smallest value as the tracking target corresponding to the original target point.
  • step S3 continue to use the example in step S3, assuming that the calculated six distances are 45.63, 56.03, 78.24, 34.33, 40.55, and 63.06, and compare any two of the six distances, such as 45.63 and 56.03 , If 45.63 is less than 56.03, 45.63 is selected, and then 45.63 is compared with other distances. If 45.63 is compared with 40.55 and 45.63 is greater than 40.55, then 40.55 is selected, and so on, until the distance with the smallest value is obtained by comparison Is 34.33, then the target to be tracked in the target area corresponding to the distance 34.33 is used as the tracking target corresponding to the original target point.
  • the target to be tracked in the target area corresponding to the distance 34.33 is used as the tracking target corresponding to the original target point.
  • the image predicts the target and obtains the target prediction result, which can accurately distinguish the target and the background in the current frame image, to avoid the inaccurate location information of the artificially drawn predicted target, and the predicted target is easily blocked by the background, thereby improving the tracking target The accuracy of prediction.
  • the Euclidean distance between each target to be tracked and the original target point is calculated according to the target position information of each target area and the original coordinates, and then the distance with the smallest value is selected as the target distance to obtain the target
  • the target position information corresponding to the distance, and the target to be tracked in the target area corresponding to the acquired target position information is determined as the tracking target corresponding to the original target point, which ensures that the predicted target area in the current frame image is more accurate
  • calculate the minimum distance between the target to be tracked and the original target point to determine the tracking target method which can ensure the accuracy of positioning the tracking target.
  • This method has a small amount of calculation and is easy to operate, and the user does not need to pause The video being played shortens the operation cycle, thereby improving the positioning efficiency of the tracking target.
  • the target position information corresponding to the target area includes the coordinates of the upper left corner of the target area, the width and height of the target area, that is, according to the target position information of each target area and the original
  • the coordinates calculate the Euclidean distance between each target to be tracked and the original target point, and obtaining N distances includes the following steps:
  • x i is the horizontal coordinate of the upper left corner of the target area corresponding to the i-th target position information
  • y i is the vertical coordinate of the upper left corner of the coordinate
  • w i is the i
  • the width and h i of the target area corresponding to the target position information are the height of the target area corresponding to the ith target position information.
  • the position information of the target area includes the coordinates of the upper left corner of the rectangular frame, the width and height of the rectangular frame, in order to accurately reflect the to-be-tracked in each target area
  • the position information of the target area needs to be substituted into the center point coordinate formula to calculate the center point coordinate of each target area. Therefore, N target areas are predicted on the current frame image, according to the center
  • the point coordinate formula calculates the center point coordinates of the first to Nth target areas respectively to obtain N center point coordinates, which is convenient for quickly calculating each target to be tracked based on the obtained center point coordinates of the N target areas Euclidean distance from the original target point.
  • the position information of the target area is substituted into the central coordinate formula Perform calculations to obtain the coordinates of the center point of the target area as (70, 80).
  • step S301 the coordinates of each center point and the original coordinates obtained in step S301 are substituted into the Euclidean distance formula for calculation, and the Euclidean between the target to be tracked and the original target point in each target area can be quickly calculated distance.
  • the center point coordinate of a target area obtained is (90, 80), assuming the origin coordinate is (110, 130), the center point coordinate and the origin coordinate are substituted into the Euclidean distance formula Perform calculations to find that the Euclidean distance d 1 is approximately equal to 53.85. If the other two center point coordinates are (60, 90) and (100, 70), the two center point coordinates and origin coordinates are substituted into Europe respectively.
  • the Euclidean distance d 2 corresponding to the center point coordinate (60, 90) is approximately 64.03
  • the Euclidean distance d 3 corresponding to the center point coordinate (100, 70) is approximately 60.83.
  • the central point coordinate formula is used to calculate the central point coordinates of the target area, and then each of the obtained central point coordinates and origin coordinates are substituted into Europe
  • the Euclidean distance formula can quickly calculate the Euclidean distance between the target to be tracked and the original target point in each target area.
  • the tracking target positioning method further includes the following steps:
  • the sample training image data includes the MsCoCo data set and the CalTech data set.
  • the MsCoCo data set is a public data set shared by the network.
  • the data set includes 328,000 images, 2.5 million tags, and images containing 91 types of targets.
  • This data set aims at scene understanding (scene understanding).
  • the target is calibrated by precise segmentation and intercepted from complex daily scenes.
  • the Caltech data set is a public data set shared by the network. It mainly includes 2 types.
  • One type is Caltech-101, which contains 101 types of images. Each type has about 40 to 800 images, and most of them are 50 images / type. Each image The size is about 300x200; the other is Caltech-256, which is similar to Caltech-101 and contains 30607 images.
  • the method of acquiring the sample training image data may specifically include, but not limited to, receiving the sample training image data uploaded by the user, or automatically acquiring the sample training image data from a third-party video image database, etc., or other acquisition methods.
  • the third-party video image database may specifically be a database of a network video platform.
  • S6 Construct the structure of the target detection algorithm of the convolutional neural network based on the deep learning framework.
  • the deep learning framework includes caffe or caffe2, etc.
  • caffe2 is a lightweight, modular and extensible framework, including storage interface (blob), layer structure (layer) and structure link (net) .
  • blob is the standard array structure and unified storage interface of the entire framework.
  • the layer serves as the basis of the layer structure for modeling and calculation, and the net serves as the collection and link of the layer.
  • the details of blobs describe how information is stored and exchanged between layers and nets.
  • Caffe2 specifically defines the network layer by layer using its own modeling method, that is, the network is defined from the input data to the loss layer to define the entire model from the bottom up. Information such as data and partial derivatives flow forward and backward in the network, and caffe2 uses blobs to store, exchange, and manipulate this information.
  • this embodiment adopts the structure of a convolutional neural network target detection algorithm (Faster-RCNN) based on the caffe2 framework.
  • the structure of the convolutional neural network target detection algorithm can be carried out by the layer in the caffe2 framework for each layer structure Define, and then link each layer structure defined through the structure link (net). Secondly, store the linked layer structure through the blob in the caffe2 framework to obtain the structure of the built Faster-RCNN.
  • the structure of the Faster-RCNN constructed by the framework has a clear logical structure and clear parameter definitions. It can quickly define the position of the parameters in the structure according to the parameters, which is convenient for the modification and improvement of the structure of the Faster-RCNN.
  • the structure of the constructed convolutional neural network target detection algorithm is composed of two convolutional layers and two fully connected layers.
  • the first layer is the first convolution layer, respectively
  • the second layer is the second convolutional layer
  • the third layer is the first fully connected layer
  • the fourth layer is the second fully connected layer.
  • the first convolution layer can be used to convolve the input image data and perform preliminary feature extraction on the image data.
  • the convolution kernel window size of the convolution layer can be set to 11 * 11, adjacent local
  • the center distance of the receiving domain is set to 4, and 96 feature maps corresponding to the input image data can be extracted.
  • the first convolution layer is connected with a downsampling layer, and each feature map can be downgraded through a downsampling layer.
  • the core window size of the down-sampling layer is usually set to 3 * 3, the center distance of the adjacent local acceptance domain is 2, and finally, the down-sampling layer can be reduced
  • the dimensioned feature map is input to the second convolutional layer.
  • the second convolutional layer can be used to convolve the feature map obtained from the first convolutional layer. It is to perform further feature extraction on the feature map obtained from the first convolutional layer, improve the feature extraction accuracy, and condense the second
  • the size of the convolution kernel window of the layer is set to 5 * 5, the center distance of the adjacent local acceptance domain is set to 2, and 256 feature maps can be output.
  • the second convolution layer is connected to a downsampling layer, and each feature map is passed through A down-sampling layer performs dimensionality reduction to compress the feature map to ensure the integrity and accuracy of the extracted features.
  • the core window size of the down-sampling layer is set to 3 * 3, and the center distance between adjacent local acceptance domains is 2.
  • the dimensionality-reduced feature map obtained by the down-sampling layer is input to the first fully connected layer.
  • the third layer is the first fully connected layer.
  • This layer has 1000 neurons, which can be used to transform the feature map obtained in the second convolutional layer into an n-dimensional column vector.
  • the weight matrix and offset of the connection layer are nonlinearly transformed to obtain a 1000-dimensional column vector and input to the second fully connected layer;
  • the fourth layer is the second fully connected layer, which has m neurons, and can be used to nonlinearly divide the 1000-dimensional column vector obtained in the first fully connected layer with the weight matrix and offset of the second fully connected layer Transform to obtain an m-dimensional feature vector, where the value of m is based on the number of targets on the image, which can be determined by updating the weight matrix and offset of the second fully connected layer, that is, m targets are correspondingly set with m Neurons.
  • the sample training image data is used to train the structure of the target detection algorithm of the convolutional neural network to obtain the target prediction model.
  • the sample training image data is used to train the structure of the convolutional neural network target detection algorithm, which is to use the shared feature alternate training method on the MsCoCo dataset and the CalTech dataset, that is, the same in the two datasets.
  • the target prediction model consists of two files, one file is the structure of the convolutional neural network target detection algorithm, and the other file is the weight and bias of each layer in the structure of the convolutional neural network target detection algorithm Bias, the weight is the weight value in the weight matrix, and the offset is the offset corresponding to the weight matrix.
  • the training process is to extract the features of the sample training image data in the structure of the convolutional neural network target detection algorithm, and through the traditional stochastic gradient descent algorithm, each layer of the structure of the convolutional neural network target detection algorithm In the cost function included in the layer structure, the cost function value corresponding to each layer is calculated according to the direction of the layer structure from the front to the back.
  • This cost function value can be used for the subsequent calculation of the error sensitivity in each layer, and then, through the traditional inversion Propagation algorithm, each layer of the structure of the convolutional neural network target detection algorithm, according to the direction of the layer structure from back to front, calculate the error sensitivity in each layer, and finally, the calculated error sensitivity of each layer
  • the included weight value and offset are used to update the original weight value and offset in the layer structure to obtain the target prediction model.
  • the structure of the target detection algorithm of the convolutional neural network is constructed based on the caffe2 framework.
  • the slideable convolution kernel window is used to convolve the input sample training image data to realize the feature extraction of the sample training image data, which can ensure the feature extraction of the sample training image data Completeness, and in the process of extracting image features, it has a high degree of invariance to geometric transformations such as image deformation and translation, which can ensure the integrity of the target features of the image predicted by the trained target prediction model, and can ensure the subsequent The accuracy of identifying target information in the image.
  • step S6 the structure of constructing a convolutional neural network target detection algorithm based on the deep learning framework specifically includes the following steps:
  • S601 Obtain the definition information of the structure of the target detection algorithm of the convolutional neural network.
  • the configuration parameters required by different network structures may be different, and the structure definition of the network structure may also be different.
  • the parameter names included in the layer structure corresponding to each network structure are preset And the specific parameter data corresponding to the parameter name, so that the parameter data required for the configuration of the network structure to be constructed can be quickly obtained from the definition information according to the parameter name of the network structure to be constructed, so that the subsequent process of building the network structure can be filled quickly Into the layer structure.
  • the parameter name in the layer structure is the name of the layer, the type of the layer or the definition of the type of output data, etc.
  • the specific parameter data corresponding to the parameter name such as the specific parameter corresponding to the "layer name” is "conv2 (second convolutional layer ) "," Layer type “corresponds to the specific parameter” convolution (convolution) "or” output data type definition "corresponds to the specific parameter” data (data) "and so on.
  • S602 Fill in the definition information into the layer structure of the corresponding convolutional layer and the fully connected layer in the deep learning framework according to the layer structure defined by the preset network to generate the structure of the convolutional neural network target detection algorithm.
  • the preset network definition structure includes the name of the layer, the type of the layer, the layer parameters corresponding to the type of the layer, the type definition of the output data, the learning rate of the filtering in the filtering parameters and the filtering in the filtering parameters Decay rate, etc.
  • a layer structure of the preset network definition structure includes the name of the layer, the layer type, the learning rate of filtering in the filtering parameters, and the attenuation rate of filtering in the filtering parameters, etc.
  • the layer structure of the model definition structure may be set as:
  • the specific parameter data corresponding to the same parameter name in the layer structure of the preset network definition in the definition information is added to the pre
  • the structure of the convolutional neural network target detection algorithm can be quickly generated in the layer structure of the convolutional layer and the fully connected layer corresponding to the definition information.
  • the operation is simple and fast. It is not easy to make mistakes, and the specific parameter data can be quickly modified through the parameter name, which is convenient to improve the structure of the target detection algorithm of the convolutional neural network.
  • the tracking target positioning method further includes the following steps:
  • the tracking target in order to further improve the accuracy of positioning the tracking target, it is possible to increase the target tracking by setting a distance threshold and sending the target to be tracked in the target area corresponding to the distance smaller than the distance threshold to the user for confirmation The accuracy of positioning.
  • S9 Receive the confirmation result returned by the user, and according to the confirmation result, use the tracking target confirmed by the user as the tracking target corresponding to the original target point.
  • the user when the user receives the target to be tracked in the target area corresponding to the distance less than the preset threshold obtained in step S8, the user can select a tracking target from these target to be tracked according to the original target point of the current frame image , As a confirmation result and return, in order to accurately locate the tracking target.
  • the target to be tracked in the target area corresponding to the distance smaller than the threshold is sent to the user for confirmation, so that the user selects one of the target to be tracked according to the original target point of the current frame image
  • the target as a confirmation result and returned, can accurately determine the positioning of the tracking target, thereby improving the accuracy of positioning the tracking target.
  • a tracking target positioning device is provided, and the tracking target positioning device corresponds to the tracking target positioning method in the above embodiment in one-to-one correspondence.
  • the tracking target positioning device includes a request receiving module 701, a target prediction module 702, a distance calculation module 703, and a target confirmation module 704.
  • the detailed description of each functional module is as follows:
  • the request receiving module 701 is used to obtain the original position information of the original target point selected by the user contained in the positioning request if the positioning request of the tracking target is received, wherein the original position information includes the currently playing video data of the original target point The original coordinates of the current frame image and the original target point in the current frame image;
  • the target prediction module 702 is used to perform target prediction on the current frame image according to a preset target prediction model to obtain a target prediction result, wherein the target prediction model is a convolutional nerve including two convolutional layers and two fully connected layers Network model, target prediction results include N target areas and target position information corresponding to each target area, N is a positive integer, and each target area contains a target to be tracked;
  • the target prediction model is a convolutional nerve including two convolutional layers and two fully connected layers Network model
  • target prediction results include N target areas and target position information corresponding to each target area, N is a positive integer, and each target area contains a target to be tracked;
  • the distance calculation module 703 is used to calculate the Euclidean distance between each target to be tracked and the original target point according to the target position information and the original coordinates of each target area to obtain N distances;
  • the target confirmation module 704 is used to select the distance with the smallest value from the N distances as the target distance, acquire the target position information corresponding to the target distance, and determine the target to be tracked in the target area corresponding to the acquired target position information as the original The tracking target corresponding to the target point.
  • the distance calculation module 703 includes:
  • the coordinate calculation unit 7031 is used to calculate the center point coordinates of the target area corresponding to the i-th target position information according to the center point coordinate formula as follows
  • x i is the horizontal coordinate of the upper left corner of the target area corresponding to the i-th target position information
  • y i is the vertical coordinate of the upper left corner of the coordinate
  • w i is the i
  • the width of the target area corresponding to the target position information and h i are the height of the target area corresponding to the ith target position information;
  • the distance calculation unit 7032 is used to calculate the coordinate of the i-th center point for each center point coordinate Euclidean distance d i from the original coordinates ( ⁇ x, ⁇ y):
  • the tracking target positioning device further includes:
  • the data acquisition module 705 is used to acquire sample training image data
  • the model training module 707 is used to train the structure of the convolutional neural network target detection algorithm using sample training image data in the structure of the convolutional neural network target detection algorithm to obtain a target prediction model.
  • the structure building module 706 includes:
  • Definition obtaining unit 7061 used to obtain definition information of the structure of the convolutional neural network target detection algorithm
  • the structure generating unit 7062 is used to fill the definition information into the layer structure of the corresponding convolutional layer and the fully connected layer in the deep learning framework according to the layer structure defined by the preset network to generate the target detection algorithm of the convolutional neural network. structure.
  • the tracking target positioning device further includes:
  • the target feedback module 708 is used to feed back the target to be tracked in the target area corresponding to the target position information of the distances of the N distances that are less than the preset threshold to the user for confirmation;
  • the result receiving module 709 is used to receive the confirmation result returned by the user, and according to the confirmation result, use the tracking target confirmed by the user as the tracking target corresponding to the original target point.
  • Each module in the above positioning device for tracking a target may be implemented in whole or in part by software, hardware, or a combination thereof.
  • the above modules may be embedded in the hardware or independent of the processor in the computer device, or may be stored in the memory in the computer device in the form of software, so that the processor can call and execute the operations corresponding to the above modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure may be as shown in FIG. 8.
  • the computer device includes a processor, memory, network interface, and database connected by a system bus. Among them, the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer-readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in the non-volatile storage medium.
  • the database of the computer device is used to store video data.
  • the network interface of the computer device is used to communicate with external terminals through a network connection. When the computer readable instructions are executed by the processor, a positioning method for tracking the target is realized.
  • a computer device which includes a memory, a processor, and computer-readable instructions stored on the memory and executable on the processor.
  • the processor executes the computer-readable instructions
  • the tracking target of the foregoing embodiment is implemented
  • the steps of the localization method are, for example, steps S1 to S4 shown in FIG. 2.
  • the processor executes the computer-readable instructions
  • the functions of each module / unit of the positioning device for tracking the target in the above embodiments are implemented, for example, the functions of modules 701 to 704 shown in FIG. 7. To avoid repetition, I will not repeat them here.
  • a non-volatile storage medium on which computer readable instructions are stored, and when the computer readable instructions are executed by a processor, the method for locating a tracking target in the above method embodiment is implemented, or When the computer-readable instructions are executed by the processor, the functions of each module / unit in the positioning device of the tracking target in the foregoing device embodiments are realized. To avoid repetition, I will not repeat them here.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM random access memory
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM double data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM synchronous chain (Synchlink)
  • SLDRAM memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域，提供了一种跟踪目标的定位方法、装置、设备及存储介质，该方法包括：若接收到跟踪目标的定位请求，则获取定位请求中包含的用户选定的原始目标点的原始位置信息；根据预设的目标预测模型，对当前帧图像进行目标预测，得到目标预测结果；根据每个目标区域的目标位置信息和原始坐标计算每个待跟踪目标和原始目标点之间的欧氏距离，得到N个距离；从N个距离中选取数值最小的距离作为目标距离，获取目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为原始目标点对应的跟踪目标。本申请能够保证对跟踪目标的定位的准确率和提高对跟踪目标的定位效率。

Description

跟踪目标的定位方法、装置、设备及存储介质
本申请以2018年11月12日提交的申请号为201811339121.3，名称为“跟踪目标的定位方法、装置、设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及图像处理技术领域，尤其涉及一种跟踪目标的定位方法、装置、设备及存储介质。
背景技术
进行长距离的跟踪目标的定位一直是视频监控中最具挑战性的任务之一，传统的跟踪目标的定位方法中，有的是通过将图像中需要跟踪的目标的坐标信息写入文件，在跟踪启动时通过读取文件获取初始化的目标信息，这种方法的操作周期长，获取初始化的目标信息的效率不高，或者是通过暂停视频画面，采用人工画图的方式在图像中画出需跟踪的目标的位置，并在跟踪启动后，根据人工画出的位置信息，进行跟踪目标的初始化，由于人工画出的位置信息的准确率不高，且容易包含大量背景信息，以及造成跟踪的目标被背景截断或遮挡，导致跟踪目标的难度增大，获取初始化的跟踪目标的定位信息的效率不高。
发明内容
基于此，有必要针对上述技术问题，提供一种跟踪目标的定位方法、装置、设备及存储介质，以解决跟踪目标的定位效率和准确率均不高的问题。
一种跟踪目标的定位方法，包括：
若接收到跟踪目标的定位请求，则获取所述定位请求中包含的用户选定的原始目标点的原始位置信息，其中，所述原始位置信息包括所述原始目标点在当前播放的视频数据中的当前帧图像和所述原始目标点在所述当前帧图像中的原始坐标；
根据预设的目标预测模型，对所述当前帧图像进行目标预测，得到目标预测结果，其中，所述目标预测模型为包括两层卷积层和两层全连接层的卷积神经网络模型，所述目标预测结果包括N个目标区域和每个所述目标区域对应的目标位置信息，N为正整数，每个所述目标区域包含一个待跟踪目标；
根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离；
从所述N个距离中选取数值最小的距离作为目标距离，获取所述目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为所述原始目标点对应的跟踪目标。
一种跟踪目标的定位装置，包括：
请求接收模块，用于若接收到跟踪目标的定位请求，则获取所述定位请求中包含的用户选定的原始目标点的原始位置信息，其中，所述原始位置信息包括所述原始目标点在当前播放的视频数据中的当前帧图像和所述原始目标点在所述当前帧图像中的原始坐标；
目标预测模块，用于根据预设的目标预测模型，对所述当前帧图像进行目标预测，得到目标预测结果，其中，所述目标预测模型为包括两层卷积层和两层全连接层的卷积神经网络模型，所述目标预测结果包括N个目标区域和每个所述目标区域对应的目标位置信息，N为正整数，每个所述目标区域包含一个待跟踪目标；
距离计算模块，用于根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离；
目标确认模块，用于从所述N个距离中选取数值最小的距离作为目标距离，获取所述目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为所述原始目标点对应的跟踪目标。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述跟踪目标的定位方法。
一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行时实现上述跟踪目标的定位方法。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中跟踪目标的定位方法的一应用环境示意图；
图2是本申请一实施例中跟踪目标的定位方法的一流程图；
图3是本申请一实施例中跟踪目标的定位方法中步骤S3的实现流程图；
图4是本申请一实施例中跟踪目标的定位方法中构建目标预测模型的一流程图；
图5是本申请一实施例中跟踪目标的定位方法中构建卷积神经网络目标检测算法的结构的一实现流程图；
图6是本申请一实施例中跟踪目标的定位方法中确认跟踪目标的一实现流程图；
图7是本申请一实施例中跟踪目标的定位装置的一示意图；
图8是本申请一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1示出了本申请实施例提供的应用环境，该应用环境包括服务端和客户端，其中，服务端和客户端之间通过网络进行连接，客户端用于检测用户的触摸操作，根据该触摸操作生成定位请求，并将定位请求发送到服务端，客户端具体可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备；服务端用于处理视频数据，服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。本申请实施例提供的跟踪目标的定位方法应用于服务端。
请参阅图2，图2示出本实施例提供的跟踪目标的定位方法的实现流程。详述如下：
S1：若接收到跟踪目标的定位请求，则获取定位请求中包含的用户选定的原始目标点的原始位置信息，其中，原始位置信息包括原始目标点在当前播放的视频数据中的当前帧图像和原始目标点在当前帧图像中的原始坐标。
在本实施例中，原始目标点是用户在正在播放的视频画面中，选定的一个想要跟踪的目标所在的位置区域上的一个点。客户端通过检测到用户的触摸操作、点击操作或者其他操作，生成跟踪目标的定位请求，并将定位请求发送到服务端进行处理。
其中，触摸操作是指在显示设备上通过人手触摸屏幕的方式来实现的操作，显示设备能够根据人手触摸的图标或菜单位置来定位选择信息输入，或者根据人手触摸的位置，检测触摸的位置的坐标。点击操作是指在显示设备通过光标点击的方式来实现的操作，显示设备能够根据光标点击的图标或菜单位置来定位选择信息输入，或者根据光标点击的位置，检测光标点击的坐标。
需要说明的是，用于获取原始目标点在视频数据中的原始位置信息的显示设备具体可以是触摸屏，也可以是其他设备，此处不做具体限制。当前帧图像是指原始目标点所在的当前正在播放的画面，可以通过显示设备中的部件进行锁定。
优选地，本实施例中采用的是触摸屏的显示设备用于获取原始目标点在视频数据中的原始位置信息，其中，触摸屏由触摸检测部件和触摸屏控制器组成，即触摸检测部件和触摸屏控制器安装在显示设备中，触摸检测部件用于检测用户触摸的位置和锁定当前正在播放的视频数据的当前帧图像，生成触摸信息，然后，将触摸信息发送至触摸屏控制器，而触摸屏控制器的主要作用是从触摸点检测装置上接收触摸信息，并将触摸信息中的用户触摸的位置转换成触点坐标，该触点坐标即为原始目标点的原始坐标。
具体地，在实时播放的视频中，由于用户想要选定视频画面中的某一目标，则可以对播放视频的显示设备进行触摸操作，当客户端检测到用户在显示设备上的触摸操作时，则可以根据该触摸操作确定当前正在播放的视频数据的当前帧图像，以及用户选定的原始目标点在当前帧图像中的原始坐标，并生成包含当前帧图像和原始坐标的定位请求，客户端将该定位请求发送给服务端。
服务端接收到该定位请求，读取该定位请求中携带的原始目标点的原始位置信息。
S2：根据预设的目标预测模型，对当前帧图像进行目标预测，得到目标预测结果，其中，目标预测模型为包括两层卷积层和两层全连接层的卷积神经网络模型，目标预测结果包括N个目标区域和每个目标区域对应的目标位置信息，N为正整数，每个目标区域包含一个待跟踪目标。
在本实施例中，预设的目标预测模型是根据实际业务需求进行训练得到的，用于预测原始目标点所在的当前帧图像中候选的目标区域，其中，候选的目标区域是在当前帧图像中包含了可移动对象的区域，每个可移动对象对应一个目标区域，该目标区域以矩形框的形式显示，目标区域中的可移动对象即为待跟踪目标，目标区域的目标位置信息包括区域的左上角坐标、区域的宽和高。目标预测模型的卷积层用于对当前帧图像进行图像特征提取，全连接层根据提取到的图像特征，输出图像特征对应的目标区域，以及目标区域对应的目标位置信息。
具体地，将当前帧图像输入预设的目标预测模型中，通过模型中的卷积层对当前帧图像进行图像特征提取，然后，将图像特征通过模型的全连接层，输出图像特征对应的目标区域，以及目标区域对应的目标位置信息，作为目标预测结果。
例如，将一帧图像输入预设的目标预测模型中，通过模型中的卷积层对这帧图像进行图像特征提取，然后，将提取到的图像特征通过模型的全连接层，将不属于图像背景的可移动对象在以矩形框的形式显示出来，假设得到预测得到6个可移动对象，则目标预测结果为6个目标区域，以及该6个目标区域对应的目标位置信息。
需要说明的是，通过训练好的目标预测模型对当前帧图像进行目标预测，通过目标预测模型中的卷积层对当前帧图像进行图像特征提取，能够准确区分出当前帧图像中的可移动对象和背景，避免人工画出的预测目标的位置信息不准确，预测目标易被背景遮挡的情况，从而提高对跟踪目标预测的准确率。
S3：根据每个目标区域的目标位置信息和原始坐标计算每个待跟踪目标和原始目标点之间的欧氏距离，得到N个距离。
在本实施例中，由于欧氏距离是一个常用的距离定义，可用于表示在m维空间中多个 点之间的真实距离，或者向量的自然长度，以及在二维空间中的两点之间的欧氏距离就是两点之间的实际距离，因此，通过计算每个待跟踪目标和原始目标点之间的欧氏距离，能够最快速、直观地反映出每个待跟踪目标和原始目标点之间的位置关系。
具体地，将步骤S2中得到的每个目标区域的目标位置信息和步骤S1中得到的原始目标点的原始坐标，代入欧氏距离公式中，经过计算可以得到目标区域中每个待跟踪目标和原始目标点之间的N个欧氏距离。
例如，继续使用步骤S2中的例子，若通过目标预测模型预测得到6个目标区域和该6个目标区域对应的目标位置信息，则将这6个目标区域的目标位置信息和原始坐标，代入欧氏距离公式中，能够计算出6个待跟踪目标和原始目标点之间的欧氏距离，得到6个距离。
S4：从N个距离中选取数值最小的距离作为目标距离，获取目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为原始目标点对应的跟踪目标。
在本实施例中，由于在步骤S3中计算得到N个欧氏距离，能够直观地反映出每个待跟踪目标和原始目标点之间的位置关系，所以在通常情况下，可以理解为待跟踪目标的位置最接近原始目标点，则该待跟踪目标就是原始目标点对应的跟踪目标。目标距离即原始目标点位置与最接近的待跟踪目标之间的距离。
具体地，将步骤S3中得到的N个距离中任意两个距离进行比较，取数值小的距离，再将该数值小的距离与其他距离进行比较，以此类推，直至比较出N个距离中数值最小的距离，将该数值最小的距离作为目标距离，并将该数值最小的距离对应的目标区域中的待跟踪目标作为原始目标点对应的跟踪目标。
例如，继续使用步骤S3中的例子，假设计算得到的6个距离，分别为45.63、56.03、78.24、34.33、40.55和63.06，将6个距离中任意两个距离进行比较，如取45.63与56.03比较，得到45.63小于56.03，则选出45.63，然后再将45.63与其他距离进行比较，如将45.63与40.55比较，得到45.63大于40.55，则选出40.55，以此类推，直到比较得出数值最小的距离为34.33，则将距离34.33对应的目标区域中的待跟踪目标作为原始目标点对应的跟踪目标。
在本实施例中，通过从接收到的跟踪目标的定位请求中获取用户选定的原始目标点的原始位置信息，并根据预设的目标预测模型，对原始位置信息中的视频数据的当前帧图像进行目标预测，得到目标预测结果，能够准确区分出当前帧图像中的目标和背景，避免人工画出的预测目标的位置信息不准确，预测目标易被背景遮挡的情况，从而提高对跟踪目标预测的准确率，同时，根据每个目标区域的目标位置信息和原始坐标计算每个待跟踪目标和原始目标点之间的欧氏距离，然后，选取数值最小的距离作为目标距离，获取该目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为原始目标点对应的跟踪目标，这种在保证当前帧图像中的预测出的目标区域较为准确的基础上，计算待跟踪目标和原始目标点之间最小距离，来确定跟踪目标的方法，能够保证对跟踪目标的定位的准确率，该方法运算量小，操作简便，并且用户不需要暂停当前正在播放的视频，缩短了操作周期，从而提高对跟踪目标的定位效率。
在一实施例中，如图3所示，步骤S3中，目标区域对应的目标位置信息包括目标区域的左上角坐标、目标区域的宽和高，即根据每个目标区域的目标位置信息和原始坐标计算每个待跟踪目标和原始目标点之间的欧氏距离，得到N个距离具体包括如下步骤：
S301：针对每个目标位置信息，按照如下中心点坐标公式，计算第i个目标位置信息对应的目标区域的中心点坐标
Figure PCTCN2018123080-appb-000001
Figure PCTCN2018123080-appb-000002
其中，i为正整数，且0＜i≤N，x i为第i个目标位置信息对应的目标区域的左上角坐标的横坐标，y i为左上角坐标的纵坐标，w i为第i个目标位置信息对应的目标区域的宽和h i为第i个目标位置信息对应的目标区域的高。
具体地，由于目标区域是以矩形框的形式显示的，且目标区域的位置信息包括矩形框的左上角的坐标、矩形框的宽和高，为了能准确反映出每个目标区域中的待跟踪目标与原始目标点之间的位置关系，需要将目标区域的位置信息代入中心点坐标公式，计算出每个目标区域的中心点坐标，因此，当前帧图像上预测出N个目标区域，按照中心点坐标公式，分别计算第一个至第N个目标区域的中心点坐标，得到N个中心点坐标，方便后续能够根据得到的N个目标区域的中心点坐标，快速计算出每个待跟踪目标和原始目标点之间的欧氏距离。
例如，假设当前帧图像上预测出的一个目标区域，该目标区域的左上角坐标为(50，50)，目标区域的宽为80，高为60，那么将目标区域的位置信息代入中心坐标公式进行计算，得到该目标区域的中心点坐标为(70，80)。
S302：针对每个中心点坐标，计算第i个中心点坐标
Figure PCTCN2018123080-appb-000003
与原始坐标(Δx,Δy)之间的欧氏距离d i：
Figure PCTCN2018123080-appb-000004
具体地，将步骤S301中得到的每个中心点坐标和原始坐标，分别代入欧氏距离公式中进行计算，能够快速计算出每个目标区域中的待跟踪目标和原始目标点之间的欧氏距离。
例如，继续使用步骤S301中的例子，得到的一个目标区域的中心点坐标为(90，80)，假设原点坐标为(110，130)，将中心点坐标和原点坐标，代入欧氏距离公式中进行计算，得到欧氏距离d 1约等于53.85，假如计算得到另外两个中心点坐标分别为(60，90)和(100，70)，将这两个中心点坐标和原点坐标，分别代入欧氏距离公式中进行计算，中心点坐标(60，90)对应的欧氏距离d 2约等于64.03，中心点坐标(100，70)对应的欧氏距离d 3约等于60.83。
在本实施例中，对步骤S2中得到的目标区域的目标位置信息，采用中心点坐标公式来计算目标区域的中心点坐标，然后，将得到的每个中心点坐标和原点坐标，分别代入欧氏距离公式中进行计算，能够快速计算出每个目标区域中的待跟踪目标和原始目标点之间的欧氏距离。
在一实施例中，如图4所示，在步骤S2之前，该跟踪目标的定位方法还包括如下步骤：
S5：获取样本训练图像数据。
在本实施例中，样本训练图像数据包括MsCoCo数据集和CalTech数据集。其中，MsCoCo数据集为网络共享的公有数据集，在该数据集中包括了328000个影像、2500000 个标签和包含了91类目标的图像，这个数据集以场景理解(scene understanding)为目标，图像中的目标通过精确的分割进行位置的标定，从复杂的日常场景中截取。Caltech数据集为网络共享的公有数据集主要包括2类，一类是Caltech-101，包含了101类的图像，每类大约有40～800张图像，大部分是50张/类，每张图像的大小大约是300x200；另一类是Caltech-256，和Caltech-101相似，包含了30607张图像。
具体地，获取样本训练图像数据的方式具体可以包括但不限于接收用户上传的样本训练图像数据，或者是自动定时从第三方视频图像数据库获取样本训练图像数据等，还可以是其他获取方式，此处不做限制，其中，第三方视频图像数据库具体可以是网络视频平台的数据库。
S6：基于深度学习框架构建卷积神经网络目标检测算法的结构。
在本实施例中，深度学习框架包括caffe或caffe2等，其中，caffe2是轻量级、模块化和可扩展的一个框架，包括存储接口(blob)、层结构(layer)和结构链接(net)。其中，blob是整个框架的标准的数组结构和统一存储接口。layer作为建模和计算的层结构基础，net作为layer的集合和链接。blob的细节描述了信息是怎样在layers和nets间存储和交换的。caffe2具体是通过使用自己的建模方法将网络一层一层定义出来的，即将网络由输入数据到损失层把整个模型自底向上的定义出来。数据和偏导数等信息在网络中前向、后向流动，而caffe2使用blob存储、交换和操纵这些信息。
优选地，本实施例采用基于caffe2框架构建卷积神经网络目标检测算法(Faster-RCNN)的结构，具体可以通过caffe2框架中的layer对卷积神经网络目标检测算法的结构进行每一个层结构的定义，然后，通过结构链接(net)将定义好的每一个层结构进行链接，其次，通过caffe2框架中的blob将链接好的层结构进行存储，得到搭建好的Faster-RCNN的结构，在caffe2框架构建的Faster-RCNN的结构，逻辑结构层次分明，参数定义清晰，能够根据参数定义快速锁定结构中的参数位置，便于Faster-RCNN的结构的修改和完善。
在本实施例中，构建的卷积神经网络目标检测算法的结构是由两层卷积层和两层全连接层构成，按照从前至后的顺序，分别是第一层为第一卷积层，第二层为第二卷积层，第三层为第一全连接层和第四层为第二全连接层。
其中，第一卷积层能够用于对输入的图像数据进行卷积，对图像数据进行初步特征提取，具体可以通过将该卷积层的卷积核窗口大小设为11*11，相邻局部接受域的中心距离设为4，能够提取出输入的图像数据对应的96个特征图，然后，第一卷积层连接有一个下采样层，能够将每个特征图经过一个下采样层进行降维，以压缩特征图，保证提取的特征的完整性，下采样层的核窗口大小通常设为3*3，相邻局部接受域的中心距离为2，最后，能够将经下采样层得到降维后的特征图输入到第二层卷积层。
第二卷积层，能够用于对第一卷积层中得到特征图进行卷积，是对第一卷积层得到特征图进行进一步地特征提取，提高特征的提取精度，将第二卷积层的卷积核窗口大小设为5*5，相邻局部接受域的中心距离设为2，能够输出256个特征图，第二卷积层连接有一个下采样层，将每个特征图经过一个下采样层进行降维，以压缩特征图，保证提取的特征的完整性和精度，下采样层的核窗口大小设为3*3，相邻局部接受域的中心距离为2，能够将经下采样层得到降维后的特征图输入到第一全连接层。
第三层是第一全连接层，该层有1000个神经元，能够用于将第二卷积层中得到的特征图变换成一个n维列向量，能够将n维列向量与第一全连接层的权值矩阵和偏置进行非线性变换得到一个1000维列向量输入到第二全连接层；
第四层是第二全连接层，该层有m个神经元，能够用于将第一全连接层中得到的1000维列向量与第二全连接层的权值矩阵和偏置进行非线性变换得到一个m维特征向量，其中，m的数值是根据图像上的目标个数，具体可以通过更新第二全连接层的权值矩阵和偏置进行确定，即m个目标对应设置有m个神经元。
S7：在卷积神经网络目标检测算法的结构中，使用样本训练图像数据对卷积神经网络目标检测算法的结构进行训练，得到目标预测模型。
在本实施例中，使用样本训练图像数据对卷积神经网络目标检测算法的结构进行训练，是在MsCoCo数据集和CalTech数据集上通过使用共享特征交替训练的方式，即对两个数据集中相同的图片进行特征提取和对卷积神经网络目标检测算法的结构中的权值矩阵和偏置进行更新，直到得到相同的目标数，则可以确定目标预测模型中应该使用的权值和偏置，得到一个目标预测模型。其中，目标预测模型包括两个文件构成，一个文件是卷积神经网络目标检测算法的结构，另外一个文件是卷积神经网络目标检测算法的结构中各个每个层的权值(weight)和偏置(bias)，权值即权值矩阵中的权重值，偏置即权值矩阵所对应的偏移量。
具体地，训练的过程是将样本训练图像数据在卷积神经网络目标检测算法的结构中提取到的特征，通过传统的随机梯度下降算法，将卷积神经网络目标检测算法的结构的每个层中包含的代价函数，按照层结构从前至后的方向，计算每个层对应的代价函数值，该代价函数值可以用于后续每个层中的误差灵敏度的计算，然后，通过传统的反向传播算法，将卷积神经网络目标检测算法的结构的每个层，按照层结构从后至前的方向，计算每个层中的误差灵敏度，最后，将计算得到的每个层的误差灵敏度中包含的权重值和偏移量，用于更新层结构中的原始的权重值和偏移量，得到目标预测模型。
在本实施例中，由于目标检测算法的结构对样本训练图像数据具有很好的拟合性，因此，基于caffe2框架构建卷积神经网络目标检测算法的结构，在构建好的卷积神经网络目标检测算法的结构中利用设置好的可滑动的卷积核窗口对输入的样本训练图像数据进行卷积的操作来实现对样本训练图像数据的特征提取，能够保证对该样本训练图像数据的特征提取完整性，且在提取图像特征的过程中，对图像形变以及平移等几何变换具有高度不变性，从而能够保证训练得到的目标预测模型预测到的图像的目标的特征的完整性，能够保证了后续对图像中的目标信息识别的准确率。
在一实施例中，如图5所示，步骤S6中，即基于深度学习框架构建卷积神经网络目标检测算法的结构具体包括如下步骤：
S601：获取卷积神经网络目标检测算法的结构的定义信息。
在本实施例中，不同的网络结构所需的配置参数的可能不同，网络结构的结构定义也可能不同，针对不同网络结构的构建需求，预先设置每个网络结构对应的层结构包含的参数名及参数名对应的具体参数数据，从而根据待构建网络结构的参数名能够快速从定义信息中获取该待构建网络结构所需配置的参数数据，以使得后续在构建网络结构的过程中能够快速填入层结构中。
例如，层结构中参数名为层的名字、层的类型或输出数据的类型定义等，参数名对应的具体参数数据，如“层的名字”对应的具体参数为“conv2(第二卷积层)”、“层的类型”对应的具体参数为“convolution(卷积)”或“输出数据的类型定义”对应的具体参数为“data(数据)”等。
S602：在深度学习框架中按照预设的网络定义的层结构，将定义信息填入对应的卷积层和全连接层的层结构中，生成卷积神经网络目标检测算法的结构。
在本实施例中，预设的网络定义结构包括层的名字、层的类型、与层的类型相对应的层参数、输出数据的类型定义、滤波参数中滤波的学习率和滤波参数中滤波的衰减率等。
例如，若预设的网络定义结构的一个层结构包括层的名字、层的类型、滤波参数中滤波的学习率和滤波参数中滤波的衰减率等，则模型定义结构的层结构可以设置为：
layer{
name:" "
type:" "
param{
lr_mult:" "
decay_mult:" "
}
}
当层的名字为“conv1(第一卷积层)”、层的类型为“convolution(卷积)”、滤波参数中滤波的学习率为“1”和滤波参数中滤波的衰减率为“1”时，生成的结构描述为：
layer{
name:"conv1"
type:"convolution"
param{
lr_mult:"1"
decay_mult:"1"
}
}
在本实施例中，通过获取到的卷积神经网络目标检测算法的结构的定义信息，将定义信息中与预设的网络定义的层结构中有相同参数名对应的具体参数数据，添加到预设的网络定义的层结构中，即能够在深度学习框架中快速生成与定义信息对应的卷积层和全连接层的层结构中，生成卷积神经网络目标检测算法的结构，操作简便快捷，不易出错，还可以通过参数名实现对具体参数数据的快速修改，便于完善卷积神经网络目标检测算法的结构。
在一实施例中，如图6所示，在步骤S3之后，该跟踪目标的定位方法还包括如下步骤：
S8：将N个距离中小于预设阈值的距离的目标位置信息对应的目标区域中的待跟踪目标反馈给用户进行确认。
具体地，为了进一步地提高对跟踪目标的定位的准确性，能够通过设定一个距离阈值，将小于该距离阈值的距离对应的目标区域中的待跟踪目标发给用户进行确认，以增加目标跟踪定位的准确率。
S9：接收用户返回的确认结果，并根据确认结果，将用户确认的跟踪目标作为原始目标点对应的跟踪目标。
具体地，当用户接收到步骤S8中得到的小于预设阈值的距离对应的目标区域中的待跟踪目标，用户可以根据当前帧图像的原始目标点，从这些待跟踪目标中选定一个跟踪目标，作为确认结果并返回，以实现准确地定位出跟踪目标。
在本实施例中，通过将小于该阈值的距离对应的目标区域中的待跟踪目标发给用户进行确认，以使用户根据当前帧图像的原始目标点，从这些待跟踪目标中选定一个跟踪目标，作为确认结果并返回，能够实现准确地确定跟踪目标的定位，从而提高了对跟踪目标的定位的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种跟踪目标的定位装置，该跟踪目标的定位装置与上述实施例中跟踪目标的定位方法一一对应。如图7所示，该跟踪目标的定位装置包括请求接收模块701、目标预测模块702、距离计算模块703和目标确认模块704。各功能模块详细说明如下：
请求接收模块701，用于若接收到跟踪目标的定位请求，则获取定位请求中包含的用户选定的原始目标点的原始位置信息，其中，原始位置信息包括原始目标点在当前播放的 视频数据中的当前帧图像和原始目标点在当前帧图像中的原始坐标；
目标预测模块702，用于根据预设的目标预测模型，对当前帧图像进行目标预测，得到目标预测结果，其中，目标预测模型为包括两层卷积层和两层全连接层的卷积神经网络模型，目标预测结果包括N个目标区域和每个目标区域对应的目标位置信息，N为正整数，每个目标区域包含一个待跟踪目标；
距离计算模块703，用于根据每个目标区域的目标位置信息和原始坐标计算每个待跟踪目标和原始目标点之间的欧氏距离，得到N个距离；
目标确认模块704，用于从N个距离中选取数值最小的距离作为目标距离，获取目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为原始目标点对应的跟踪目标。
进一步地，距离计算模块703包括：
坐标计算单元7031，用于针对每个目标位置信息，按照如下中心点坐标公式，计算第i个目标位置信息对应的目标区域的中心点坐标
Figure PCTCN2018123080-appb-000005
Figure PCTCN2018123080-appb-000006
其中，i为正整数，且0＜i≤N，x i为第i个目标位置信息对应的目标区域的左上角坐标的横坐标，y i为左上角坐标的纵坐标，w i为第i个目标位置信息对应的目标区域的宽和h i为第i个目标位置信息对应的目标区域的高；
距离计算单元7032，用于针对每个中心点坐标，计算第i个中心点坐标
Figure PCTCN2018123080-appb-000007
与原始坐标(Δx,Δy)之间的欧氏距离d i：
Figure PCTCN2018123080-appb-000008
进一步地，该跟踪目标的定位装置还包括：
数据获取模块705，用于获取样本训练图像数据；
结构构建模块706，用于基于深度学习框架构建卷积神经网络目标检测算法的结构；
模型训练模块707，用于在卷积神经网络目标检测算法的结构中，使用样本训练图像数据对卷积神经网络目标检测算法的结构进行训练，得到目标预测模型。
进一步地，结构构建模块706包括：
定义获取单元7061，用于获取卷积神经网络目标检测算法的结构的定义信息；
结构生成单元7062，用于在深度学习框架中按照预设的网络定义的层结构，将定义信息填入对应的卷积层和全连接层的层结构中，生成卷积神经网络目标检测算法的结构。
进一步地，该跟踪目标的定位装置还包括：
目标反馈模块708，用于将N个距离中小于预设阈值的距离的目标位置信息对应的目标区域中的待跟踪目标反馈给用户进行确认；
结果接收模块709，用于接收用户返回的确认结果，并根据确认结果，将用户确认的跟踪目标作为原始目标点对应的跟踪目标。
关于跟踪目标的定位装置的具体限定可以参见上文中对于跟踪目标的定位方法的限定，在此不再赘述。上述跟踪目标的定位装置中的各个模块可全部或部分通过软件、硬件 及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于保存视频数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种跟踪目标的定位方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述实施例跟踪目标的定位方法的步骤，例如图2所示的步骤S1至步骤S4。或者，处理器执行计算机可读指令时实现上述实施例中跟踪目标的定位装置的各模块/单元的功能，例如图7所示模块701至模块704的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种非易失性存储介质，其上存储有计算机可读指令，计算机可读指令被处理器执行时实现上述方法实施例中跟踪目标的定位方法，或者，该计算机可读指令被处理器执行时实现上述装置实施例中跟踪目标的定位装置中各模块/单元的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)、DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种跟踪目标的定位方法，其特征在于，所述跟踪目标的定位方法包括：
    若接收到跟踪目标的定位请求，则获取所述定位请求中包含的用户选定的原始目标点的原始位置信息，其中，所述原始位置信息包括所述原始目标点在当前播放的视频数据中的当前帧图像和所述原始目标点在所述当前帧图像中的原始坐标；
    根据预设的目标预测模型，对所述当前帧图像进行目标预测，得到目标预测结果，其中，所述目标预测模型为包括两层卷积层和两层全连接层的卷积神经网络模型，所述目标预测结果包括N个目标区域和每个所述目标区域对应的目标位置信息，N为正整数，每个所述目标区域包含一个待跟踪目标；
    根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离；
    从所述N个距离中选取数值最小的距离作为目标距离，获取所述目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为所述原始目标点对应的跟踪目标。
  2. 如权利要求1所述的跟踪目标的定位方法，其特征在于，所述目标区域对应的目标位置信息包括目标区域的左上角坐标、所述目标区域的宽和高，所述根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离包括：
    针对每个所述目标位置信息，按照如下中心点坐标公式，计算第i个所述目标位置信息对应的目标区域的中心点坐标
    Figure PCTCN2018123080-appb-100001
    Figure PCTCN2018123080-appb-100002
    其中，i为正整数，且0＜i≤N，x i为第i个所述目标位置信息对应的所述目标区域的左上角坐标的横坐标，y i为所述左上角坐标的纵坐标，w i为所述第i个所述目标位置信息对应的目标区域的宽和h i为所述第i个所述目标位置信息对应的目标区域的高；
    针对每个所述中心点坐标，计算第i个所述中心点坐标
    Figure PCTCN2018123080-appb-100003
    与所述原始坐标(Δx,Δy)之间的欧氏距离d i：
    Figure PCTCN2018123080-appb-100004
  3. 如权利要求1所述的跟踪目标的定位方法，其特征在于，所述根据预设的目标预测模型，对所述当前帧图像进行目标预测，得到目标预测结果之前，所述跟踪目标的定位方法还包括：
    获取样本训练图像数据；
    基于深度学习框架构建卷积神经网络目标检测算法的结构；
    在所述卷积神经网络目标检测算法的结构中，使用所述样本训练图像数据对所述卷积神经网络目标检测算法的结构进行训练，得到所述目标预测模型。
  4. 如权利要求3所述的跟踪目标的定位方法，其特征在于，所述基于深度学习框架构 建卷积神经网络目标检测算法的结构包括：
    获取所述卷积神经网络目标检测算法的结构的定义信息；
    在所述深度学习框架中按照预设的网络定义的层结构，将所述定义信息填入对应的所述卷积层和所述全连接层的层结构中，生成所述卷积神经网络目标检测算法的结构。
  5. 如权利要求1所述的跟踪目标的定位方法，其特征在于，在所述根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离之后，所述跟踪目标的定位方法还包括：
    将所述N个距离中小于预设阈值的所述距离的目标位置信息对应的目标区域中的待跟踪目标反馈给用户进行确认；
    接收所述用户返回的确认结果，并根据所述确认结果，将所述用户确认的跟踪目标作为所述原始目标点对应的跟踪目标。
  6. 一种跟踪目标的定位装置，其特征在于，所述跟踪目标的定位装置包括：
    请求接收模块，用于若接收到跟踪目标的定位请求，则获取所述定位请求中包含的用户选定的原始目标点的原始位置信息，其中，所述原始位置信息包括所述原始目标点在当前播放的视频数据中的当前帧图像和所述原始目标点在所述当前帧图像中的原始坐标；
    目标预测模块，用于根据预设的目标预测模型，对所述当前帧图像进行目标预测，得到目标预测结果，其中，所述目标预测模型为包括两层卷积层和两层全连接层的卷积神经网络模型，所述目标预测结果包括N个目标区域和每个所述目标区域对应的目标位置信息，N为正整数，每个所述目标区域包含一个待跟踪目标；
    距离计算模块，用于根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离；
    目标确认模块，用于从所述N个距离中选取数值最小的距离作为目标距离，获取所述目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为所述原始目标点对应的跟踪目标。
  7. 如权利要求6所述的跟踪目标的定位装置，其特征在于，所述距离计算模块包括：
    坐标计算单元，用于针对每个所述目标位置信息，按照如下中心点坐标公式，计算第i个所述目标位置信息对应的目标区域的中心点坐标
    Figure PCTCN2018123080-appb-100005
    Figure PCTCN2018123080-appb-100006
    其中，i为正整数，且0＜i≤N，x i为第i个所述目标位置信息对应的所述目标区域的左上角坐标的横坐标，y i为所述左上角坐标的纵坐标，w i为所述第i个所述目标位置信息对应的目标区域的宽和h i为所述第i个所述目标位置信息对应的目标区域的高；
    距离计算单元，用于针对每个所述中心点坐标，计算第i个所述中心点坐标
    Figure PCTCN2018123080-appb-100007
    与所述原始坐标(Δx,Δy)之间的欧氏距离d i：
    Figure PCTCN2018123080-appb-100008
  8. 如权利要求6所述的跟踪目标的定位装置，其特征在于，所述跟踪目标的定位装置还包括：
    数据获取模块，用于获取样本训练图像数据；
    结构构建模块，用于基于深度学习框架构建卷积神经网络目标检测算法的结构；
    模型训练模块，用于在所述卷积神经网络目标检测算法的结构中，使用所述样本训练图像数据对所述卷积神经网络目标检测算法的结构进行训练，得到所述目标预测模型。
  9. 如权利要求7所述的跟踪目标的定位装置，其特征在于，所述结构构建模块包括：
    定义获取单元，用于获取卷积神经网络目标检测算法的结构的定义信息；
    结构生成单元，用于在深度学习框架中按照预设的网络定义的层结构，将定义信息填入对应的卷积层和全连接层的层结构中，生成卷积神经网络目标检测算法的结构。
  10. 如权利要求6所述的跟踪目标的定位装置，其特征在于，所述跟踪目标的定位装置还包括：
    目标反馈模块，用于将N个距离中小于预设阈值的距离的目标位置信息对应的目标区域中的待跟踪目标反馈给用户进行确认；
    结果接收模块，用于接收用户返回的确认结果，并根据确认结果，将用户确认的跟踪目标作为原始目标点对应的跟踪目标。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    若接收到跟踪目标的定位请求，则获取所述定位请求中包含的用户选定的原始目标点的原始位置信息，其中，所述原始位置信息包括所述原始目标点在当前播放的视频数据中的当前帧图像和所述原始目标点在所述当前帧图像中的原始坐标；
    根据预设的目标预测模型，对所述当前帧图像进行目标预测，得到目标预测结果，其中，所述目标预测模型为包括两层卷积层和两层全连接层的卷积神经网络模型，所述目标预测结果包括N个目标区域和每个所述目标区域对应的目标位置信息，N为正整数，每个所述目标区域包含一个待跟踪目标；
    根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离；
    从所述N个距离中选取数值最小的距离作为目标距离，获取所述目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为所述原始目标点对应的跟踪目标。
  12. 如权利要求11所述的计算机设备，其特征在于，所述目标区域对应的目标位置信息包括目标区域的左上角坐标、所述目标区域的宽和高，所述根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离包括：
    针对每个所述目标位置信息，按照如下中心点坐标公式，计算第i个所述目标位置信息对应的目标区域的中心点坐标
    Figure PCTCN2018123080-appb-100009
    Figure PCTCN2018123080-appb-100010
    其中，i为正整数，且0＜i≤N，x i为第i个所述目标位置信息对应的所述目标区域的左上角坐标的横坐标，y i为所述左上角坐标的纵坐标，w i为所述第i个所述目标位置信息对应的目标区域的宽和h i为所述第i个所述目标位置信息对应的目标区域的高；
    针对每个所述中心点坐标，计算第i个所述中心点坐标
    Figure PCTCN2018123080-appb-100011
    与所述原始坐标(Δx,Δy)之间的欧氏距离d i：
    Figure PCTCN2018123080-appb-100012
  13. 如权利要求11所述的计算机设备，其特征在于，所述根据预设的目标预测模型，对所述当前帧图像进行目标预测，得到目标预测结果之前，所述跟踪目标的定位方法还包括：
    获取样本训练图像数据；
    基于深度学习框架构建卷积神经网络目标检测算法的结构；
    在所述卷积神经网络目标检测算法的结构中，使用所述样本训练图像数据对所述卷积神经网络目标检测算法的结构进行训练，得到所述目标预测模型。
  14. 如权利要求13所述的计算机设备，其特征在于，所述基于深度学习框架构建卷积神经网络目标检测算法的结构包括：
    获取所述卷积神经网络目标检测算法的结构的定义信息；
    在所述深度学习框架中按照预设的网络定义的层结构，将所述定义信息填入对应的所述卷积层和所述全连接层的层结构中，生成所述卷积神经网络目标检测算法的结构。
  15. 如权利要求11所述的计算机设备，其特征在于，在所述根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离之后，所述跟踪目标的定位方法还包括：
    将所述N个距离中小于预设阈值的所述距离的目标位置信息对应的目标区域中的待跟踪目标反馈给用户进行确认；
    接收所述用户返回的确认结果，并根据所述确认结果，将所述用户确认的跟踪目标作为所述原始目标点对应的跟踪目标。
  16. 一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    若接收到跟踪目标的定位请求，则获取所述定位请求中包含的用户选定的原始目标点的原始位置信息，其中，所述原始位置信息包括所述原始目标点在当前播放的视频数据中的当前帧图像和所述原始目标点在所述当前帧图像中的原始坐标；
    根据预设的目标预测模型，对所述当前帧图像进行目标预测，得到目标预测结果，其中，所述目标预测模型为包括两层卷积层和两层全连接层的卷积神经网络模型，所述目标预测结果包括N个目标区域和每个所述目标区域对应的目标位置信息，N为正整数，每个所述目标区域包含一个待跟踪目标；
    根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离；
    从所述N个距离中选取数值最小的距离作为目标距离，获取所述目标距离对应的目标位置信息，并将获取到的目标位置信息对应的目标区域中的待跟踪目标确定为所述原始目标点对应的跟踪目标。
  17. 如权利要求16所述的非易失性可读存储介质，其特征在于，所述目标区域对应的目标位置信息包括目标区域的左上角坐标、所述目标区域的宽和高，所述根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离包括：
    针对每个所述目标位置信息，按照如下中心点坐标公式，计算第i个所述目标位置信息对应的目标区域的中心点坐标
    Figure PCTCN2018123080-appb-100013
    Figure PCTCN2018123080-appb-100014
    其中，i为正整数，且0＜i≤N，x i为第i个所述目标位置信息对应的所述目标区域的左上角坐标的横坐标，y i为所述左上角坐标的纵坐标，w i为所述第i个所述目标位置信息对应的目标区域的宽和h i为所述第i个所述目标位置信息对应的目标区域的高；
    针对每个所述中心点坐标，计算第i个所述中心点坐标
    Figure PCTCN2018123080-appb-100015
    与所述原始坐标(Δx,Δy)之间的欧氏距离d i：
    Figure PCTCN2018123080-appb-100016
  18. 如权利要求16所述的非易失性可读存储介质，其特征在于，所述根据预设的目标预测模型，对所述当前帧图像进行目标预测，得到目标预测结果之前，所述跟踪目标的定位方法还包括：
    获取样本训练图像数据；
    基于深度学习框架构建卷积神经网络目标检测算法的结构；
    在所述卷积神经网络目标检测算法的结构中，使用所述样本训练图像数据对所述卷积神经网络目标检测算法的结构进行训练，得到所述目标预测模型。
  19. 如权利要求18所述的非易失性可读存储介质，其特征在于，所述基于深度学习框架构建卷积神经网络目标检测算法的结构包括：
    获取所述卷积神经网络目标检测算法的结构的定义信息；
    在所述深度学习框架中按照预设的网络定义的层结构，将所述定义信息填入对应的所述卷积层和所述全连接层的层结构中，生成所述卷积神经网络目标检测算法的结构。
  20. 如权利要求16所述的非易失性可读存储介质，其特征在于，在所述根据每个所述目标区域的所述目标位置信息和所述原始坐标计算每个待跟踪目标和所述原始目标点之间的欧氏距离，得到N个距离之后，所述跟踪目标的定位方法还包括：
    将所述N个距离中小于预设阈值的所述距离的目标位置信息对应的目标区域中的待跟踪目标反馈给用户进行确认；
    接收所述用户返回的确认结果，并根据所述确认结果，将所述用户确认的跟踪目标作为所述原始目标点对应的跟踪目标。
PCT/CN2018/123080 2018-11-12 2018-12-24 跟踪目标的定位方法、装置、设备及存储介质 Ceased WO2020098076A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
SG11202101806QA SG11202101806QA (en) 2018-11-12 2018-12-24 Method, device, equipment and storage medium for locating tracked targets
US17/266,187 US11798174B2 (en) 2018-11-12 2018-12-24 Method, device, equipment and storage medium for locating tracked targets
JP2021504201A JP7060758B2 (ja) 2018-11-12 2018-12-24 追跡ターゲットの位置決め方法、装置、機器及び記憶媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811339121.3A CN109635657B (zh) 2018-11-12 2018-11-12 目标跟踪方法、装置、设备及存储介质
CN201811339121.3 2018-11-12

Publications (1)

Publication Number Publication Date
WO2020098076A1 true WO2020098076A1 (zh) 2020-05-22

Family

ID=66067729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/123080 Ceased WO2020098076A1 (zh) 2018-11-12 2018-12-24 跟踪目标的定位方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US11798174B2 (zh)
JP (1) JP7060758B2 (zh)
CN (1) CN109635657B (zh)
SG (1) SG11202101806QA (zh)
WO (1) WO2020098076A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967323A (zh) * 2020-07-16 2020-11-20 电子科技大学 一种基于深度学习算法的电力带电作业安全检测方法
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112866773A (zh) * 2020-08-21 2021-05-28 海信视像科技股份有限公司 一种显示设备及多人场景下摄像头追踪方法
CN113824880A (zh) * 2021-08-26 2021-12-21 国网浙江省电力有限公司双创中心 一种基于目标检测和uwb定位的车辆跟踪方法
CN113888604A (zh) * 2021-09-27 2022-01-04 安徽清新互联信息科技有限公司 一种基于深度光流的目标跟踪方法
CN114266806A (zh) * 2021-11-17 2022-04-01 国网河南省电力公司电力科学研究院 基于目标感知深度特征压缩的电力智能巡检跟踪方法
CN114339603A (zh) * 2021-12-24 2022-04-12 珠海优特电力科技股份有限公司 定位区域的切换方法、装置、设备和存储介质
CN114549926A (zh) * 2022-01-24 2022-05-27 北京百度网讯科技有限公司 目标检测与目标检测模型的训练方法、装置
CN114972421A (zh) * 2022-04-27 2022-08-30 中南大学 车间物料识别追踪与定位方法、系统
CN117197247A (zh) * 2023-11-08 2023-12-08 湖南才道半导体科技有限公司 基于人工智能的晶圆切割道视觉定位方法
CN117274310A (zh) * 2023-09-27 2023-12-22 东风商用车有限公司 多目标跟踪方法、装置、设备及计算机可读存储介质
CN112822450B (zh) * 2021-01-08 2024-03-19 鹏城实验室 一种大规模视觉计算系统中有效节点动态遴选方法
CN118230428A (zh) * 2024-05-24 2024-06-21 浪潮软件科技有限公司 一种异常行为检测方法、系统及计算机可读介质

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740620B2 (en) * 2017-10-12 2020-08-11 Google Llc Generating a video segment of an action from a video
CN110110787A (zh) * 2019-05-06 2019-08-09 腾讯科技（深圳）有限公司 目标的位置获取方法、装置、计算机设备及存储介质
CN110363799B (zh) * 2019-05-27 2021-04-06 浙江工业大学 人机共存环境下基于视觉的多运动人体目标跟踪方法
CN110176027B (zh) * 2019-05-27 2023-03-14 腾讯科技（深圳）有限公司 视频目标跟踪方法、装置、设备及存储介质
CN112052856A (zh) * 2019-06-05 2020-12-08 邓毅华 一种基于图像特征编码的目标检测方法
CN110378515A (zh) * 2019-06-14 2019-10-25 平安科技（深圳）有限公司 一种突发事件的预测方法、装置、存储介质和服务器
CN112215762A (zh) * 2019-07-12 2021-01-12 阿里巴巴集团控股有限公司 视频图像处理方法、装置及电子设备
CN110490910A (zh) * 2019-08-13 2019-11-22 顺丰科技有限公司 目标检测方法、装置、电子设备及存储介质
CN111798487B (zh) * 2019-08-27 2024-07-16 北京京东尚科信息技术有限公司 目标跟踪方法、装置和计算机可读存储介质
CN110517292A (zh) * 2019-08-29 2019-11-29 京东方科技集团股份有限公司 目标跟踪方法、装置、系统和计算机可读存储介质
CN110634153A (zh) * 2019-09-19 2019-12-31 上海眼控科技股份有限公司 目标跟踪模板更新方法、装置、计算机设备和存储介质
CN110796012B (zh) * 2019-09-29 2022-12-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及可读存储介质
CN112154444B (zh) * 2019-10-17 2021-12-17 深圳市大疆创新科技有限公司 目标检测与跟踪方法、系统、可移动平台、相机及介质
CN112686925A (zh) * 2019-10-18 2021-04-20 西安光启未来技术研究院 一种目标追踪方法和装置
CN111079525B (zh) * 2019-11-05 2023-05-30 阿里巴巴集团控股有限公司 图像处理方法、设备、系统及存储介质
KR20210067442A (ko) * 2019-11-29 2021-06-08 엘지전자 주식회사 객체 인식을 위한 자동 레이블링 장치 및 방법
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN113066101B (zh) * 2019-12-30 2024-11-29 阿里巴巴集团控股有限公司 数据处理方法及装置、图像处理方法及装置
CN111210457B (zh) * 2020-01-08 2021-04-13 北京天睿空间科技股份有限公司 一种视频分析与定位信息结合的航空器挂牌方法
CN111292352B (zh) * 2020-01-20 2023-08-25 杭州电子科技大学 多目标跟踪方法、装置、设备及存储介质
CN113450387B (zh) * 2020-03-26 2024-06-28 京东方科技集团股份有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN115516899A (zh) * 2020-05-05 2022-12-23 瑞典爱立信有限公司 对用于无线设备寻呼的跟踪区域列表的优化
CN111640140B (zh) * 2020-05-22 2022-11-25 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN112257595A (zh) * 2020-10-22 2021-01-22 广州市百果园网络科技有限公司 视频匹配方法、装置、设备及存储介质
CN112857746A (zh) * 2020-12-29 2021-05-28 上海眼控科技股份有限公司 一种灯光检测仪的追踪方法、装置、电子设备及存储介质
CN112887793B (zh) * 2021-01-25 2023-06-13 脸萌有限公司 视频处理方法、显示设备和存储介质
CN113159032B (zh) * 2021-04-22 2023-06-30 平安科技（深圳）有限公司 基于目标检测网络的目标跟踪方法、装置、设备及介质
CN114089675B (zh) * 2021-11-23 2023-06-09 长春工业大学 一种基于人机距离的机器控制方法及控制系统
CN114310940B (zh) * 2021-12-20 2024-02-06 三一建筑机器人(西安)研究院有限公司 工件定位方法、装置、介质及作业机械
CN114358182A (zh) * 2021-12-31 2022-04-15 浙江大华技术股份有限公司 跟踪对象的确定方法及装置、存储介质、电子装置
CN114581796B (zh) * 2022-01-19 2024-04-02 上海土蜂科技有限公司 目标物跟踪系统、方法及其计算机装置
CN114510044A (zh) * 2022-01-25 2022-05-17 北京圣威特科技有限公司 Agv导航船导航方法、装置、电子设备及存储介质
CN114612986B (zh) * 2022-03-17 2025-10-28 北京市商汤科技开发有限公司 检测方法、装置、电子设备及存储介质
CN114815877A (zh) * 2022-03-28 2022-07-29 上海赫千电子科技有限公司 一种基于无人机母车的无人机目标跟踪方法
CN115937247B (zh) * 2022-08-12 2024-02-06 北京小米移动软件有限公司 对象跟踪的方法、装置和存储介质
CN115221981B (zh) * 2022-09-20 2022-12-02 毫末智行科技有限公司 一种目标跟踪方法、装置、终端设备及存储介质
CN116168799A (zh) * 2022-09-30 2023-05-26 海信视像科技股份有限公司 一种运动评分方法、装置和电子设备
CN115830063A (zh) * 2022-10-21 2023-03-21 中国运载火箭技术研究院 一种低功耗无人机自主目标跟踪方法
CN115546729B (zh) * 2022-10-24 2026-01-16 深圳市万物云科技有限公司 基于深度学习的遛狗违规行为检测方法、装置及设备
CN115719511B (zh) * 2022-11-08 2026-04-03 中科海微(北京)科技有限公司 立定跳远距离的确定方法、装置
CN116434156A (zh) * 2023-03-30 2023-07-14 大陆软件系统开发中心(重庆)有限公司 目标检测方法、存储介质、路侧设备及自动驾驶系统
CN117036773B (zh) * 2023-06-28 2025-10-28 华南农业大学 一种基于深度学习的猪只跛行检测方法和系统
CN116933648B (zh) * 2023-07-26 2024-12-31 北京航天晨信科技有限责任公司 一种无动力空投目标点优化方法、装置、电子设备及介质
CN117274300A (zh) * 2023-08-14 2023-12-22 四川中科友成科技有限公司 一种基于kcf目标跟踪算法的优化方法、装置及设备
CN117854011B (zh) * 2024-03-07 2024-05-03 福建南亿智能科技有限公司 一种智能ai摄像头识别对比方法及系统
CN118838132B (zh) * 2024-09-20 2025-03-18 青岛天仁微纳科技有限责任公司 一种纳米压印过程中模具与基底对准监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679455A (zh) * 2017-08-29 2018-02-09 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN108230353A (zh) * 2017-03-03 2018-06-29 北京市商汤科技开发有限公司 目标跟踪方法、系统及电子设备
CN108268823A (zh) * 2016-12-30 2018-07-10 纳恩博（北京）科技有限公司 目标再识别方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
JP6614611B2 (ja) 2016-02-29 2019-12-04 Ｋｄｄｉ株式会社 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法
CN106803263A (zh) * 2016-11-29 2017-06-06 深圳云天励飞技术有限公司 一种目标跟踪方法及装置
EP3545466A4 (en) * 2016-12-29 2019-11-27 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHOD FOR DETECTING OBJECTS IN PICTURES
CN107292911B (zh) * 2017-05-23 2021-03-30 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
US10679428B1 (en) * 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
US20190130189A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Suppressing duplicated bounding boxes from object detection in a video analytics system
CN108363997A (zh) * 2018-03-20 2018-08-03 南京云思创智信息科技有限公司 一种在视频中对特定人的实时跟踪方法
CN108765455B (zh) * 2018-05-24 2021-09-21 中国科学院光电技术研究所 一种基于tld算法的目标稳定跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268823A (zh) * 2016-12-30 2018-07-10 纳恩博（北京）科技有限公司 目标再识别方法和装置
CN108230353A (zh) * 2017-03-03 2018-06-29 北京市商汤科技开发有限公司 目标跟踪方法、系统及电子设备
CN107679455A (zh) * 2017-08-29 2018-02-09 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967323B (zh) * 2020-07-16 2022-07-26 电子科技大学 一种基于深度学习算法的电力带电作业安全检测方法
CN111967323A (zh) * 2020-07-16 2020-11-20 电子科技大学 一种基于深度学习算法的电力带电作业安全检测方法
CN112866773A (zh) * 2020-08-21 2021-05-28 海信视像科技股份有限公司 一种显示设备及多人场景下摄像头追踪方法
CN112866773B (zh) * 2020-08-21 2023-09-26 海信视像科技股份有限公司 一种显示设备及多人场景下摄像头追踪方法
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112822450B (zh) * 2021-01-08 2024-03-19 鹏城实验室 一种大规模视觉计算系统中有效节点动态遴选方法
CN113824880A (zh) * 2021-08-26 2021-12-21 国网浙江省电力有限公司双创中心 一种基于目标检测和uwb定位的车辆跟踪方法
CN113888604A (zh) * 2021-09-27 2022-01-04 安徽清新互联信息科技有限公司 一种基于深度光流的目标跟踪方法
CN114266806A (zh) * 2021-11-17 2022-04-01 国网河南省电力公司电力科学研究院 基于目标感知深度特征压缩的电力智能巡检跟踪方法
CN114266806B (zh) * 2021-11-17 2025-10-17 国网河南省电力公司电力科学研究院 基于目标感知深度特征压缩的电力智能巡检跟踪方法
CN114339603B (zh) * 2021-12-24 2023-08-25 珠海优特电力科技股份有限公司 定位区域的切换方法、装置、设备和存储介质
CN114339603A (zh) * 2021-12-24 2022-04-12 珠海优特电力科技股份有限公司 定位区域的切换方法、装置、设备和存储介质
CN114549926A (zh) * 2022-01-24 2022-05-27 北京百度网讯科技有限公司 目标检测与目标检测模型的训练方法、装置
CN114972421A (zh) * 2022-04-27 2022-08-30 中南大学 车间物料识别追踪与定位方法、系统
CN117274310A (zh) * 2023-09-27 2023-12-22 东风商用车有限公司 多目标跟踪方法、装置、设备及计算机可读存储介质
CN117197247A (zh) * 2023-11-08 2023-12-08 湖南才道半导体科技有限公司 基于人工智能的晶圆切割道视觉定位方法
CN117197247B (zh) * 2023-11-08 2024-03-29 湖南才道半导体科技有限公司 基于人工智能的晶圆切割道视觉定位方法
CN118230428A (zh) * 2024-05-24 2024-06-21 浪潮软件科技有限公司 一种异常行为检测方法、系统及计算机可读介质

Also Published As

Publication number Publication date
CN109635657A (zh) 2019-04-16
JP7060758B2 (ja) 2022-04-26
CN109635657B (zh) 2023-01-06
JP2021531592A (ja) 2021-11-18
US20210295536A1 (en) 2021-09-23
US11798174B2 (en) 2023-10-24
SG11202101806QA (en) 2021-03-30

Similar Documents

Publication Publication Date Title
WO2020098076A1 (zh) 跟踪目标的定位方法、装置、设备及存储介质
CN112150551B (zh) 物体位姿的获取方法、装置和电子设备
WO2022170742A1 (zh) 目标检测方法、装置、电子设备和存储介质
CN107430686B (zh) 用于移动设备定位的区域描述文件的众包创建和更新
CN109448018B (zh) 跟踪目标的定位方法、装置、设备及存储介质
WO2020143323A1 (zh) 遥感影像分割方法、装置及存储介质、服务器
CN112528978B (zh) 人脸关键点的检测方法、装置、电子设备及存储介质
US12073507B2 (en) Point-based neural radiance field for three dimensional scene representation
WO2020103647A1 (zh) 物体关键点的定位方法、图像处理方法、装置及存储介质
WO2022089391A1 (zh) 模型训练方法、人体姿态检测方法、装置、设备及存储介质
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
WO2021249114A1 (zh) 目标跟踪方法和目标跟踪装置
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
JP7488846B2 (ja) 連合学習機構を利用した画像ＩｏＴプラットフォーム
CN115359092B (zh) 一种注视点预测模型的训练方法、装置及电子设备
WO2021103945A1 (zh) 地图融合方法及装置、设备、存储介质
CN113284237A (zh) 一种三维重建方法、系统、电子设备及存储介质
JP2022020588A (ja) アクティブインタラクションの方法、装置、電子デバイス及び可読記憶媒体
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN114565916A (zh) 目标检测模型训练方法、目标检测方法以及电子设备
CN120014209B (zh) 智能体三维虚拟场景的生成优化方法、装置、设备及介质
WO2022063321A1 (zh) 图像处理方法、装置、设备及存储介质
CN110517221A (zh) 基于现实坐标的缝隙定位方法、装置和存储介质
CN115063473A (zh) 物体高度的检测方法、装置、计算机设备、存储介质
US20240029427A1 (en) Method for determining unmanned aerial vehicle acquisition viewpoints, computer apparatus, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18940118

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021504201

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 20.08.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18940118

Country of ref document: EP

Kind code of ref document: A1