WO2021017283A1 - 基于离线型的在线跟踪方法、装置、计算机设备及存储介质 - Google Patents

基于离线型的在线跟踪方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2021017283A1
WO2021017283A1 PCT/CN2019/117538 CN2019117538W WO2021017283A1 WO 2021017283 A1 WO2021017283 A1 WO 2021017283A1 CN 2019117538 W CN2019117538 W CN 2019117538W WO 2021017283 A1 WO2021017283 A1 WO 2021017283A1
Authority
WO
WIPO (PCT)
Prior art keywords
offline
tracking
tracked
target
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/117538
Other languages
English (en)
French (fr)
Inventor
苏智辉
陈思静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2021017283A1 publication Critical patent/WO2021017283A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • This application relates to the field of computer technology, and in particular to an offline-based online tracking method, device, computer equipment and storage medium.
  • Target tracking also a kind of visual target tracking, is an important research direction in the field of machine vision.
  • target tracking detects the target of interest in the image sequence for extraction, recognition and tracking, so as to obtain the motion state parameters of the target to be tracked (such as position, velocity, acceleration, and motion trajectory, etc.), which can be further processed And analysis, in order to realize the behavioral understanding of moving targets, and provide reference data for other technical fields (such as visual navigation, pose estimation and motion analysis, etc.).
  • Target tracking has a wide range of fields such as intelligent monitoring, human-computer interaction, and robot navigation. application. In these applications, target tracking is the basis for robots to perceive and react to the external environment, and is the key to understanding images.
  • the offline type is also called the batch type.
  • the central idea of the offline method is to connect the detection results of objects in each frame into small tracking fragments, and then use more reliable features to merge the fragments, which is more representative
  • the offline methods mainly include the minimum cost network flow algorithm, the energy minimization method, and the minimum complete graph algorithm and other offline algorithms; it is precisely because the offline method uses more information in the previous and next frames, you can go back and modify the previous As a result, better accuracy is finally obtained, but it is also limited by this.
  • Offline methods can only process offline videos, not real-time video streams.
  • the online method starts with the matching of the target in the current frame and the next frame, that is, when the current frame appears, the result needs to be given immediately. It can process both real-time video streams and offline videos.
  • the linear method can do better Therefore, it has a place in practical applications.
  • the more traditional online methods mostly apply Kalman filtering, particle filtering, or Markov decision-making processes; but the accuracy of online methods is often lower than that of offline methods.
  • This application provides an offline-based online tracking method, device, computer equipment, and non-volatile readable storage medium, the main purpose of which is to improve the accuracy of processing real-time online video streams.
  • an offline-based online tracking method which includes:
  • this application also provides an offline-based online tracking device, the device includes: a video acquisition module for real-time acquisition of online video;
  • Frame image acquisition module used to acquire each frame of image containing the target to be tracked from online video
  • the preprocessing module is configured to perform denoising and normalization processing on each frame of image based on the video capture device parameters and the current scene environment parameters to generate the initial result of the target to be tracked;
  • the offline tracking module is used to recalculate the similarity metric value between every two targets to be tracked by using the pre-trained offline tracking model on the generated initial results every preset number of frames, when the current similarity metric is recalculated If the value is smaller than the previous similarity metric value, correct the initial result through the offline tracking model;
  • the result generation module is used to generate the final result of the target to be tracked.
  • the present application also provides a computer device that includes a processor and a memory, the memory is used to store computer-readable instructions, and the processor executes the at least one computer-readable instruction to implement the above-mentioned offline-based Online tracking method.
  • the present application also provides a non-volatile computer-readable storage medium having computer-readable instructions stored thereon, and the at least one computer-readable instruction It is executed by one or more processors to implement the steps of the offline-based online tracking method as described above.
  • the offline-based online tracking method, device, computer equipment and non-volatile computer-readable storage medium proposed in this application first collect online video in real time, and obtain each frame of image containing the target to be tracked from the online video, based on the video Collect device parameters and current scene environment parameters, perform denoising and normalization processing for each frame of image, generate the initial result of the target to be tracked, and use the pre-trained initial result every preset number of frames
  • the offline tracking model recalculates the similarity measurement value between every two targets to be tracked. When the recalculated current similarity measurement value is smaller than the last similarity measurement value, the initial result is corrected by the offline tracking model To produce the final result of the target to be tracked.
  • This case combines the offline tracking method and the online tracking method.
  • the offline tracking method is used to realize forward and backward modification of the previous results, thereby improving the accuracy of processing real-time online video streams; on the other hand, the online tracking method is used to process real-time Online video streaming.
  • FIG. 1 is a schematic flowchart of an offline-based online tracking method provided by an embodiment of the application
  • FIG. 2 is a schematic flowchart of step C in FIG. 1;
  • FIG. 3 is a schematic flowchart of step D in FIG. 1;
  • FIG. 4 is an internal structure diagram of an offline-based online tracking device provided by an embodiment of the application.
  • Fig. 5 is a schematic diagram of modules of an offline-based online tracking program provided by an embodiment of the application.
  • This application provides an offline-based online tracking method.
  • FIG. 1 it is a schematic flowchart of an offline-based online tracking method provided by an embodiment of this application.
  • the method can be executed by a device, and the device can be implemented by software and/or hardware.
  • the offline-based online tracking method includes:
  • Step A Collect online video in real time
  • Step B Obtain each frame of image containing the target to be tracked from the online video
  • Step C Preprocessing each frame of the acquired image to generate the initial result of the target to be tracked
  • Step D Correct the initial result through the pre-trained offline tracking model
  • Step E Generate the final result of the target to be tracked.
  • the source of the online video in step A is a video image collected by a video collection device.
  • the pre-processing in step C may include, but is not limited to, including: combining preset video capture device parameters and environmental parameters of the current scene, eliminating light in different scenes through processing methods such as denoising and normalization, The influence of environmental tone, noise, etc.
  • step C includes:
  • Step C1 Pre-set video capture device parameters
  • Step C2 Collect environmental parameters of the current scene; wherein, the environmental parameters may include, but are not limited to: lighting, hue, noise, etc.;
  • Step C3 Perform denoising and normalization processing for each frame of image based on the video capture device parameters and the current scene environment parameters;
  • Step C4 Generate the initial result of the target to be tracked.
  • step C further includes:
  • Step C5 Set a tracking area for each frame of image that has undergone denoising and normalization processing.
  • the tracking area may be a polygon of any shape, and the tracking area is a detection area including a target to be tracked.
  • the target to be tracked in step C may be a person, animal, plant, object, etc.
  • the person may be, but is not limited to, a pedestrian, a person in a working state, a person in a car, a person driving a car, or a person on a preset transportation.
  • the animal can be, but is not limited to cats, dogs, pigs, birds, fish and other animals.
  • the plant can be, but is not limited to, flowers, grasses, trees and other objects.
  • the object may be, but is not limited to, a computer, a code scanning device, a balloon, and other objects with a certain shape.
  • the target to be tracked is described by taking a pedestrian as an example.
  • the online tracking method based on the offline tracking algorithm further includes: pre-training an offline tracking model.
  • the pre-trained offline tracking model includes an offline tracking algorithm.
  • the principle of the offline tracking algorithm is:
  • the tracking object in each frame of the video is regarded as a node, and then the similarity measure between every two objects to be tracked is obtained by fusing the pedestrian re-identification (ReID) model and the motion model. Among them, the smaller the similarity measure value is, the more similar the two tracked objects are.
  • ReID pedestrian re-identification
  • intersection ratio is the overlap ratio between the candidate frame (candidate bound) and the original marked frame (ground truth bound), that is, the ratio of their intersection and union; the ideal situation is complete overlap, that is, the ratio is 1. .
  • Tracking object B and to-be-tracked object C are also the same object.
  • the tracking problem is transformed into a binary programming problem.
  • Gurob is used to solve the binary programming problem.
  • Gurob is a large-scale mathematical programming optimizer. The binary planning is applied in the inter-frame difference method. Because the target in the scene is moving, the position of the target image in different image frames is different.
  • the inter-frame difference method performs difference operations on two or three consecutive frames in time, and subtracts the pixels corresponding to different frames to determine the absolute value of the gray difference.
  • the absolute value exceeds a certain threshold, it can be judged as a moving target , So as to achieve the target detection function.
  • the specific principle is: denote the image of the nth frame and the n-1th frame as fn and fn-1 respectively, and the gray values of the corresponding pixels in the two frames are respectively denoted as fn(x,y) and fn-1(x,y) ), subtract the gray values of the corresponding pixels of the two frames of images according to the following formula, and take the absolute value to obtain the difference image Dn:
  • the threshold T and perform binarization processing on the pixels one by one according to the following formula to obtain a binarized image Rn'.
  • the point with a gray value of 255 is the foreground (target to be tracked) point
  • the point with a gray value of 0 is the background point
  • the connectivity of the image Rn' is analyzed, and finally the image Rn containing the complete moving target can be obtained.
  • the step D includes:
  • Step D1 Input the initial result into the pre-trained offline tracking model
  • Step D2 Determine whether the initial result needs to be revised; if it is judged that the initial result needs to be revised, then execute step D3; if it is judged that the initial result does not need to be revised, then execute step D4.
  • Step D3 Correct the initial result through the pre-trained offline tracking model
  • Step D4 Do not modify the initial result.
  • the final result of the target to be tracked is generated.
  • the principle of the step D is: every predetermined number of frames (considering the amount of calculation and real-time performance, not every frame, for example, every four frames), the generated initial result is calculated,
  • the offline tracking algorithm of the offline tracking model is used for recalculation, and then the tracking calculation is continued on the current result to obtain the final result. More specifically, when the current similarity metric value recalculated using the offline tracking algorithm is smaller than the last similarity metric value, it is determined that the initial result needs to be corrected.
  • the offline tracking algorithm is an offline tracking algorithm in the prior art, and the embodiment of the present application does not specifically limit the offline tracking algorithm.
  • the final result of the target to be tracked generated in the step E includes the position and number of the pedestrian.
  • the offline-based online tracking method provided by this application first collects online videos in real time, then obtains each frame of the online video containing the target to be tracked, and preprocesses each obtained frame to generate the to-be-tracked
  • the initial result of the target is modified by the pre-trained offline tracking model to produce the final result.
  • This case combines the offline tracking method and the online tracking method.
  • the offline tracking method is used to realize forward and backward modification of the previous results, thereby improving the accuracy of processing real-time online video streams; on the other hand, the online tracking method is used to process real-time Online video streaming.
  • This application also provides an offline-based online tracking device.
  • FIG. 4 it is an internal structure diagram of an offline-based online tracking device provided by an embodiment of this application.
  • the offline-based online tracking device may be a PC (Personal Computer, personal computer), or a terminal device such as a smart phone, a tablet computer, and a portable computer.
  • the offline-based online tracking device includes at least a memory 11, a processor 12, a network interface 13, and a communication bus 14.
  • the memory 11 includes at least one type of readable storage medium, and the readable storage medium includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), magnetic memory, magnetic disk, and optical disk. Wait.
  • the memory 11 may be an internal storage unit based on an offline online tracking device in some embodiments, such as a hard disk of the offline online tracking device.
  • the memory 11 may also be an external storage device based on an offline online tracking device, for example, a plug-in hard disk equipped on an offline online tracking device, a smart memory card (Smart Media Card, SMC). ), Secure Digital (SD) card, Flash Card, etc.
  • the memory 11 may also include both an internal storage unit based on an offline online tracking device and an external storage device.
  • the memory 11 can be used not only to store application software and various data installed in offline-based online tracking devices, such as codes based on offline-based online tracking programs, etc., but also to temporarily store what has been output or will be output. The data.
  • the processor 12 may be a central processing unit (CPU), controller, microcontroller, microprocessor, or other data processing chip, which is used to run data stored in the memory 11 Program code or processing data, such as executing offline-based online tracking programs.
  • CPU central processing unit
  • controller microcontroller
  • microprocessor microprocessor
  • other data processing chip which is used to run data stored in the memory 11 Program code or processing data, such as executing offline-based online tracking programs.
  • the network interface 13 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface), and is usually used to establish a communication connection between the reading comprehension-based marketing lead extraction device and other electronic devices.
  • a standard wired interface and a wireless interface such as a WI-FI interface
  • the communication bus 14 is used to realize the connection and communication between these components.
  • FIG. 4 only shows an offline-based online tracking device with components 11 to 14 and an offline-based online tracking program. Those skilled in the art will understand that the structure shown in FIG. 4 does not constitute an offline-based online tracking device.
  • the definition of the online tracking device may include fewer or more components than shown, or a combination of certain components, or a different component arrangement.
  • the memory 11 stores an offline-based online tracking program
  • the processor 12 executes the offline-based online tracking program stored in the memory 11
  • the following steps are implemented when tracking the program:
  • Step A Collect online video in real time
  • Step B Obtain each frame of image containing the target to be tracked from the online video
  • Step C Preprocessing each frame of the acquired image to generate the initial result of the target to be tracked
  • Step D Correct the initial result through the pre-trained offline tracking model
  • Step E Generate the final result of the target to be tracked.
  • the offline-based online tracking program can be divided into one or more functional modules according to its different functions.
  • One or more modules are stored in the memory 11 and executed by one or more processors (processor 12 in this embodiment) to complete the present application.
  • the modules referred to in the present application refer to specific functions A series of computer-readable instruction segments used to describe the execution process of an offline-based online tracking program in an offline-based online tracking device.
  • FIG. 5 is a schematic diagram of the program modules of the offline-based online tracking program in an embodiment of the offline-based online tracking device of this application.
  • the offline-based online tracking program can be divided It is a video acquisition module 31, a frame image acquisition module 32, a preprocessing module 33, an offline tracking module 34, and a result generation module 35.
  • a video acquisition module 31 a frame image acquisition module 32
  • a preprocessing module 33 a preprocessing module 33
  • an offline tracking module 34 e.g., a preprocessing module 35
  • a result generation module 35 e.g., a result generation module 35.
  • the video acquisition module 31 is used to collect online video in real time
  • the frame image acquisition module 32 is used to acquire each frame image containing the target to be tracked from the online video;
  • the preprocessing module 33 is used to preprocess each frame of the acquired image to generate the initial result of the target to be tracked;
  • the offline tracking module 34 is used to correct the initial result through the pre-trained offline tracking model
  • the result generation module 35 is used to generate the final result of the target to be tracked.
  • FIG. 5 only shows an offline-based online tracking device with modules 31-35 and an offline-based online tracking program.
  • the definition of the offline online tracking device may include fewer or more modules than shown in the figure, or a combination of some modules, or a different module arrangement.
  • the functional modules in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above integration can be implemented in the form of hardware, or in the form of hardware plus software functional modules.
  • the embodiment of the present application also proposes a non-volatile computer-readable storage medium, the non-volatile computer-readable storage medium stores computer-readable instructions, and the at least one computer-readable instruction is controlled by one or Multiple processors execute to achieve the following operations:
  • Step A Collect online video in real time
  • Step B Obtain each frame of image containing the target to be tracked from the online video
  • Step C Preprocessing each frame of the acquired image to generate the initial result of the target to be tracked
  • Step D Correct the initial result through the pre-trained offline tracking model
  • Step E Generate the final result of the target to be tracked.
  • non-volatile computer-readable storage medium of the present application is basically the same as the above-mentioned offline-based online tracking device and method, and will not be repeated here.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于离线型的在线跟踪方法、装置、计算机设备及存储介质，该方法包括：实时采集在线视频，获取在线视频中包含待跟踪目标的每一帧图像，并对获取到的每一帧图像进行预处理，以生成待跟踪目标的初始结果，通过预先训练好的离线跟踪模型对所述初始结果进行修正处理，以产生最终结果。该方法通过结合离线型跟踪方法和在线型跟踪方法，一方面通过离线型跟踪方法实现向前回溯修改之前结果，从而提升了处理实时的在线视频流的精度；另一方面通过在线型跟踪方法处理实时的在线视频流。

Description

基于离线型的在线跟踪方法、装置、计算机设备及存储介质
本申请要求于2019年07月30日提交中国专利局，申请号为201910695584.1发明名称为“应用离线跟踪算法对在线跟踪算法进行改进”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于离线型的在线跟踪方法、装置、计算机设备及存储介质。
背景技术
目标跟踪，也是一种视觉目标跟踪，是目前机器视觉领域的一个重要的研究方向。一般地，目标跟踪对图像序列中的感兴趣目标进行检测，以进行提取、识别和跟踪，从而获取待跟踪目标的运动状态参数(例如位置，速度，加速度以及运动轨迹等)，从而可以进一步处理与分析，以便实现对运动目标的行为理解，为其他技术领域(例如视觉导航，位姿估计与运动分析等)提供参考数据，目标跟踪在智能监控、人机交互、机器人导航等领域有着广泛的应用。在这些应用中，目标跟踪是机器人感知外界环境并作出反应的基础，是理解图像的关键。
当前目标跟踪技术主要分为离线型和在线型两大类。其中离线型又称之为批处理型，离线型方法的中心思想就是把每一帧中物体的检测结果连接成小的跟踪片段，然后再用更加可靠的特征来进行片段的合并，比较有代表性的离线型方法主要有最小代价网络流算法，能量最小化方法，以及最小完全图算法等等离线算法；正是由于离线型方法使用了更多的前后帧中的信息，可以回溯去修改之前的结果，从而最终获得了更好地精度，但也受限于此，离线型方法只能对离线视频进行处理，不能处理实时的视频流。而在线型方法着手于当 前帧和下一帧中目标的匹配，即在当前帧出现时就需要立马给出结果，既可以处理实时视频流也可以处理离线视频，线型方法能够做到比较好的实时性，从而在实际应用中有着一席之地；目前比较传统的在线型方法大多应用了卡尔曼滤波，粒子滤波，或者马尔科夫决策过程；但是在线型方法的精度往往比离线型方法要低。
发明内容
本申请提供一种基于离线型的在线跟踪方法、装置、计算机设备及非易失性可读存储介质，其主要目的在于提升处理实时的在线视频流的精度。
为实现上述目的，本申请提供一种基于离线型的在线跟踪方法，该方法包括：
实时采集在线视频；
从在线视频中获取含有待跟踪目标的每一帧图像；
基于视频采集设备参数和当前场景环境参数，对于所述每一帧图像进行去噪和归一化处理，生成待跟踪目标的初始结果；
每隔预设数量帧对已产生的初始结果利用预先训练好的离线跟踪模型进行重新计算每两个待跟踪目标之间的相似度量值；
当重新计算出的当前相似度量值比上一相似度量值小时，通过所述离线跟踪模型对所述初始结果进行修正处理；及
产生待跟踪目标的最终结果。
为实现上述目的，本申请还提供一种基于离线型的在线跟踪装置，所述装置包括：视频采集模块，用于实时采集在线视频；
帧图像获取模块，用于从在线视频中获取含有待跟踪目标的每一帧图像；
预处理模块，用于基于视频采集设备参数和当前场景环境参数，对于所述每一帧图像进行去噪和归一化处理，以生成待跟踪目标的初始结果；
离线追踪模块，用于每隔预设数量帧对已产生的初始结果利用预先训练 好的离线跟踪模型进行重新计算每两个待跟踪目标之间的相似度量值，当重新计算出的当前相似度量值比上一相似度量值小时，通过所述离线跟踪模型对所述初始结果进行修正处理；及
结果产生模块，用于产生待跟踪目标的最终结果。
本申请还提供一种计算机设备，所述计算机设备包括处理器及存储器，所述存储器用于存储计算机可读指令，所述处理器执行所述至少一个计算机可读指令以实现上述的基于离线型的在线跟踪方法。
此外，为实现上述目的，本申请还提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质上存储有计算机可读指令，所述至少一个计算机可读指令被一个或者多个处理器执行，以实现如上所述的基于离线型的在线跟踪方法的步骤。
本申请提出的基于离线型的在线跟踪方法、装置、计算机设备及非易失性计算机可读存储介质，首先实时采集在线视频，从在线视频中获取含有待跟踪目标的每一帧图像，基于视频采集设备参数和当前场景环境参数，对于所述每一帧图像进行去噪和归一化处理，生成待跟踪目标的初始结果，每隔预设数量帧对已产生的初始结果利用预先训练好的离线跟踪模型进行重新计算每两个待跟踪目标之间的相似度量值，当重新计算出的当前相似度量值比上一相似度量值小时，通过所述离线跟踪模型对所述初始结果进行修正处理以产生待跟踪目标的最终结果。本案通过结合离线型跟踪方法和在线型跟踪方法，一方面通过离线型跟踪方法实现向前回溯修改之前结果，从而提升了处理实时的在线视频流的精度；另一方面通过在线型跟踪方法处理实时的在线视频流。
附图说明
图1为本申请一实施例提供的基于离线型的在线跟踪方法的流程示意图；
图2为图1中的步骤C的流程示意图；
图3为图1中的步骤D的流程示意图；
图4为本申请一实施例提供的基于离线型的在线跟踪装置的内部结构图；
图5为本申请一实施例提供的基于离线型的在线跟踪程序的模块示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种基于离线型的在线跟踪方法。参照图1所示，为本申请一实施例提供的基于离线型的在线跟踪方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，所述基于离线型的在线跟踪方法包括：
步骤A：实时采集在线视频；
步骤B：从在线视频中获取含有待跟踪目标的每一帧图像；
步骤C：对获取到的每一帧图像进行预处理，以生成待跟踪目标的初始结果；
步骤D：通过预先训练好的离线跟踪模型对所述初始结果进行修正处理；及
步骤E：产生待跟踪目标的最终结果。
进一步地，所述步骤A中的在线视频的来源是视频采集设备采集的视频图像。
进一步地，所述步骤C中的预处理可以包括，但不限于包括：结合预先设置的视频采集设备参数及当前场景的环境参数，通过去噪、归一化等处理方法消除不同场景中光照、环境色调、噪声等的影响。
请参阅图2，更详细地，所述步骤C包括：
步骤C1：预设置视频采集设备参数；
步骤C2：采集当前场景的环境参数；其中，所述环境参数可以包括，但不限于包括：光照、色调、噪声等；
步骤C3：基于所述视频采集设备参数和所述当前场景环境参数，对于所述每一帧图像进行去噪和归一化处理；
步骤C4：生成待跟踪目标的初始结果。
进一步地，所述步骤C还包括：
步骤C5：对所述经过去噪和归一化处理的每一帧图像设置跟踪区域。其中，所述跟踪区域可以是任意形状的多边形，所述跟踪区域是包括有待跟踪目标的检测区域。
进一步地，所述步骤C中的待跟踪目标可以是人物、动物、植物、物体等。所述人物可以是，但不限于是行人、工作状态的人、乘车的人、开车的人或者在预设交通工具上的人等。所述动物可以是，但不限于猫、狗、猪、鸟、鱼等动物。所述植物可以是，但不限于是花、草、树木等对象。所述物体可以是，但不限于是计算机、扫码设备、气球等具有一定形态的物体。
在本实施例中，所述待跟踪目标以行人为例进行说明。
进一步地，在执行所述步骤D之前，所述基于离线型跟踪算法的在线跟踪方法还包括：预先训练离线跟踪模型。所述预先训练好的离线跟踪模型包括离线跟踪算法。
具体地，所述离线跟踪算法的原理为：
将视频的每一帧中的跟踪对象当作一个节点，然后通过行人重识别(Person Re-identification，简称为ReID)模型和运动模型融合得到每两个待跟踪对象之间的相似性度量。其中，相似度量值越小表示两个跟踪对象越相似。
关于目前目标检测领域的两个概念，交并比(Intersection-over-Union，IoU)和选择性搜索(Selective Search)，做简单说明：
一、交并比，是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值；最理想情况是完全重叠，即 比值为1。
二、在选择性搜索(Selective Search)中，有三种策略，分别是：
通过使用具有不同不变性质的各种颜色空间；
通过使用不同的相似性度量；及
通过使用不同的初始化区域。
其中，在一实施例中，关于相似性度量，有不同的结合方式，例如有下列四种度量算法：
1)颜色相似度：S(color)，其中，S(color)表示颜色相似度的度量算法；
2)纹理相似度：S(texture)，其中，S(texture)表示颜色相似度的度量算法；
3)大小相似度：S(size)，其中，S(size)表示颜色相似度的度量算法；
4)吻合相似度：S(fit)，其中，S(fit)表示颜色相似度的度量算法；
将上述四种度量算法通过一定的方式合并成一种策略：S＝a*S(color)+b*S(texture)+c*S(size)+d*S(fit)。
在实际应用中，由于同一帧中的待跟踪对象不可能关联，并且，如果一个待跟踪对象A与待跟踪对象B是同一对象，同时待跟踪对象A与待跟踪对象C是同一对象，那么待跟踪对象B跟待跟踪对象C也是同一对象。在这些约束下，将跟踪问题转换成了一个二值规划问题。在本实施例中，采用Gurob求解二值规划问题。Gurob是一种大规模数学规划优化器。所述二值规划应用在帧间差分法中，由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同。帧间差分法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。其具体原理为：记第n帧和第n-1帧图像分别为fn和fn-1，两帧对应像素点的灰度值分别记为fn(x,y)和fn-1(x，y)，按照以下公式将两帧图像对应像素点的灰度值进行相减，并取其绝对值， 得到差分图像Dn：
其中，Dn(x，y)＝|fn(x,y)-fn-1(x，y)|
设定阈值T，按照以下公式逐个对像素点进行二值化处理，得到二值化图像Rn’。其中，灰度值为255的点即为前景(待跟踪目标)点，灰度值为0的点即为背景点；对图像Rn’进行连通性分析，最终可得到含有完整运动目标的图像Rn。
当Dn(x，y)>T时，Rn’(x，y)＝255；
否则，Rn’(x，y)＝0。
进一步地，请参阅图3所示，所述步骤D包括：
步骤D1：将所述初始结果输入预先训练好的离线跟踪模型中；
步骤D2：判断所述初始结果是否需要修正；如果判断所述初始结果需要修正，则执行步骤D3；如果判断所述初始结果不需要修正，则执行步骤D4。
步骤D3：通过预先训练好的离线跟踪模型对所述初始结果进行修正；
步骤D4：不对所述初始结果进行修正。
在本实施中，当通过预先训练好的离线跟踪模型对所述初始结果进行修正后，产生待跟踪目标的最终结果。
具体地，在一实施例中，所述步骤D的原理为：每隔预设数量帧(考虑到计算量和实时性，不对每帧，例如每隔四帧)就对已产生的初始结果，利用所述离线跟踪模型的离线跟踪算法进行重新计算，然后在当前结果上进行继续跟踪计算，以获得最终结果。更具体地，当利用离线跟踪算法进行重新计算出的当前相似度量值比上一相似度量值小时，则判断所述初始结果需要修正。可以理解地是，在本实施例中，所述离线跟踪算法是现有技术中的离线跟踪算法，本申请实施例对离线跟踪算法不作具体限制。
进一步地，在本实施例中，以行人为例进行说明，在所述步骤E中产生的待跟踪目标的最终结果包括行人的位置和数量。
本申请提供的基于离线型的在线跟踪方法，首先实时采集在线视频，然后 获取在线视频中包含待跟踪目标的每一帧图像，并对获取到的每一帧图像进行预处理，以生成待跟踪目标的初始结果，再通过预先训练好的离线跟踪模型对所述初始结果进行修正处理，以产生最终结果。本案通过结合离线型跟踪方法和在线型跟踪方法，一方面通过离线型跟踪方法实现向前回溯修改之前结果，从而提升了处理实时的在线视频流的精度；另一方面通过在线型跟踪方法处理实时的在线视频流。
本申请还提供一种基于离线型的在线跟踪装置。参照图4所示，为本申请一实施例提供的基于离线型的在线跟踪装置的内部结构图。所述基于离线型的在线跟踪装置可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该基于离线型的在线跟踪装置至少包括存储器11、处理器12、网络接口13以及通信总线14。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是基于离线型的在线跟踪装置的内部存储单元，例如该基于离线型的在线跟踪装置的硬盘。所述存储器11在另一些实施例中也可以是基于离线型的在线跟踪装置的外部存储设备，例如基于离线型的在线跟踪装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括基于离线型的在线跟踪装置的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于基于离线型的在线跟踪装置的应用软件及各类数据，例如基于离线型的在线跟踪程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行所述存储器11中存储的程序代码或处理数据，例如执行基于离线型的在线跟踪 程序等。
所述网络接口13可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该基于阅读理解的营销线索提取装置与其他电子设备之间建立通信连接。
所述通信总线14用于实现这些组件之间的连接通信。
图4仅示出了具有组件11至14以及基于离线型的在线跟踪程序的基于离线型的在线跟踪装置，本领域技术人员可以理解的是，图4示出的结构并不构成对基于离线型的在线跟踪装置的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图4所示的基于离线型的在线跟踪装置实施例中，所述存储器11中存储有基于离线型的在线跟踪程序；所述处理器12执行所述存储器11中存储的基于离线型的在线跟踪程序时实现如下步骤：
步骤A：实时采集在线视频；
步骤B：从在线视频中获取含有待跟踪目标的每一帧图像；
步骤C：对获取到的每一帧图像进行预处理，以生成待跟踪目标的初始结果；
步骤D：通过预先训练好的离线跟踪模型对所述初始结果进行修正处理；及
步骤E：产生待跟踪目标的最终结果。
所述基于离线型的在线跟踪程序根据其不同的功能，可以划分为一个或多个功能模块。一个或者多个模块被存储于所述存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本申请，本申请所称的模块是指能够完成特定功能的一系列计算机可读指令段，用于描述基于离线型的在线跟踪程序在基于离线型的在线跟踪装置中的执行过程。
例如，参照图5所示，为本申请基于离线型的在线跟踪装置一实施例中的基于离线型的在线跟踪程序的程序模块示意图，该实施例中，基于离线型的 在线跟踪程序可以被分割为视频采集模块31、帧图像获取模块32、预处理模块33、离线追踪模块34及结果产生模块35，示例性地：
视频采集模块31，用于实时采集在线视频；
帧图像获取模块32，用于从在线视频中获取含有待跟踪目标的每一帧图像；
预处理模块33，用于对获取到的每一帧图像进行预处理，以生成待跟踪目标的初始结果；
离线追踪模块34，用于通过预先训练好的离线跟踪模型对所述初始结果进行修正处理；
结果产生模块35，用于产生待跟踪目标的最终结果。
上述视频采集模块31、帧图像获取模块32、预处理模块33、离线追踪模块34及结果产生模块35等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
图5仅示出了具有模块31-35以及基于离线型的在线跟踪程序的基于离线型的在线跟踪装置，本领域技术人员可以理解的是，图5示出的结构并不构成对所述基于离线型的在线跟踪装置的限定，可以包括比图示更少或者更多的模块，或者组合某些模块，或者不同的模块布置。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
此外，本申请实施例还提出一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质上存储有计算机可读指令，所述至少一个计算机可读指令被一个或多个处理器执行，以实现如下操作：
步骤A：实时采集在线视频；
步骤B：从在线视频中获取含有待跟踪目标的每一帧图像；
步骤C：对获取到的每一帧图像进行预处理，以生成待跟踪目标的初始结果；
步骤D：通过预先训练好的离线跟踪模型对所述初始结果进行修正处理；及
步骤E：产生待跟踪目标的最终结果。
本申请非易失性计算机可读存储介质具体实施方式与上述基于离线型的在线跟踪装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种基于离线型的在线跟踪方法，其特征在于，所述基于离线型的在线跟踪方法包括：
    实时采集在线视频；
    从在线视频中获取含有待跟踪目标的每一帧图像；
    基于视频采集设备参数和当前场景环境参数，对于所述每一帧图像进行去噪和归一化处理，生成待跟踪目标的初始结果；
    每隔预设数量帧对已产生的初始结果利用预先训练好的离线跟踪模型进行重新计算每两个待跟踪目标之间的相似度量值；
    当重新计算出的当前相似度量值比上一相似度量值小时，通过所述离线跟踪模型对所述初始结果进行修正处理；及
    产生待跟踪目标的最终结果。
  2. 如权利要求1所述的基于离线型的在线跟踪方法，其特征在于，在所述对于所述每一帧图像进行去噪和归一化处理之前，还包括：
    预设置视频采集设备参数；
    采集当前场景的环境参数。
  3. 如权利要求2所述的基于离线型的在线跟踪方法，其特征在于，在所述生成待跟踪目标的初始结果之后，还包括：
    对所述经过去噪和归一化处理的每一帧图像设置跟踪区域，其中，所述跟踪区域是多边形，所述跟踪区域是包括有待跟踪目标的检测区域。
  4. 如权利要求2所述的基于离线型的在线跟踪方法，其特征在于，所述环境参数包括光照、色调或噪声。
  5. 如权利要求1所述的基于离线型的在线跟踪方法，其特征在于，在所述生成待跟踪目标的初始结果之后，还包括：
    将所述初始结果输入预先训练好的离线跟踪模型中。
  6. 如权利要求1所述的基于离线型的在线跟踪方法，其特征在于，所述产生的最终结果包括行人的位置和数量。
  7. 如权利要求1所述的基于离线型的在线跟踪方法，其特征在于，所述方法还包括：
    预先训练离线跟踪模型，所述预先训练好的离线跟踪模型包括离线跟踪算法。
  8. 如权利要求7所述的基于离线型的在线跟踪方法，其特征在于，所述离线跟踪算法的原理为：
    将视频的每一帧中的跟踪对象当作一个节点；
    通过行人重识别模型和运动模型融合得到每两个待跟踪对象之间的相似性度量；
    其中，相似度量值越小表示两个跟踪对象越相似。
  9. 一种基于离线型的在线跟踪装置，其特征在于，所述装置包括：
    视频采集模块，用于实时采集在线视频；
    帧图像获取模块，用于从在线视频中获取含有待跟踪目标的每一帧图像；
    预处理模块，用于基于视频采集设备参数和当前场景环境参数，对于所述每一帧图像进行去噪和归一化处理，以生成待跟踪目标的初始结果；
    离线追踪模块，用于每隔预设数量帧对已产生的初始结果利用预先训练好的离线跟踪模型进行重新计算每两个待跟踪目标之间的相似度量值，当重新计算出的当前相似度量值比上一相似度量值小时，通过所述离线跟踪模型对所述初始结果进行修正处理；及
    结果产生模块，用于产生待跟踪目标的最终结果。
  10. 一种计算机设备，所述计算机设备包括处理器及存储器，所述存储器用于存储计算机可读指令，其特征在于，所述处理器执行所述至少一个计算机可读指令以实现以下步骤：
    实时采集在线视频；
    从在线视频中获取含有待跟踪目标的每一帧图像；
    基于视频采集设备参数和当前场景环境参数，对于所述每一帧图像进行去噪和归一化处理，生成待跟踪目标的初始结果；
    每隔预设数量帧对已产生的初始结果利用预先训练好的离线跟踪模型进行重新计算每两个待跟踪目标之间的相似度量值；
    当重新计算出的当前相似度量值比上一相似度量值小时，通过所述离线跟踪模型对所述初始结果进行修正处理；
    产生待跟踪目标的最终结果。
  11. 如权利要10所述的计算机设备，其特征在于，在所述对于所述每一帧图像进行去噪和归一化处理之前，所述处理器执行至少一个计算机可读指令还用以实现以下步骤：
    预设置视频采集设备参数；
    采集当前场景的环境参数。
  12. 如权利要求11所述的计算机设备，其特征在于，在所述生成待跟踪目标的初始结果之后，所述处理器执行至少一个计算机可读指令还用以实现以下步骤：
    对所述经过去噪和归一化处理的每一帧图像设置跟踪区域，其中，所述跟踪区域是多边形，所述跟踪区域是包括有待跟踪目标的检测区域。
  13. 如权利要求10所述的计算机设备，其特征在于，在所述生成待跟踪目标的初始结果之后，所述处理器执行至少一个计算机可读指令还用以实现以下步骤：
    将所述初始结果输入预先训练好的离线跟踪模型中。
  14. 如权利要求10所述的计算机设备，其特征在于，所述处理器执行所述至少一个计算机可读指令还用以实现以下步骤：
    预先训练离线跟踪模型，所述预先训练好的离线跟踪模型包括离线跟踪算法，所述离线跟踪算法的原理为：
    将视频的每一帧中的跟踪对象当作一个节点；
    通过行人重识别模型和运动模型融合得到每两个待跟踪对象之间的相似性度量；
    其中，相似度量值越小表示两个跟踪对象越相似。
  15. 一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质上存储有计算机可读指令，所述至少一个计算机可读指令被一个或者多个处理器执行，以实现以下步骤：
    实时采集在线视频；
    从在线视频中获取含有待跟踪目标的每一帧图像；
    基于视频采集设备参数和当前场景环境参数，对于所述每一帧图像进行去噪和归一化处理；以生成待跟踪目标的初始结果；
    每隔预设数量帧对已产生的初始结果利用预先训练好的离线跟踪模型进行重新计算每两个待跟踪目标之间的相似度量值；
    当重新计算出的当前相似度量值比上一相似度量值小时，通过所述离线跟踪模型对所述初始结果进行修正处理；及
    产生待跟踪目标的最终结果。
  16. 如权利要15所述的存储介质，其特征在于，在所述对于所述每一帧图像进行去噪和归一化处理之前，所述至少一个计算机可读指令被处理器执行还用以实现以下步骤：
    预设置视频采集设备参数；
    采集当前场景的环境参数。
  17. 如权利要求16所述的存储介质，其特征在于，在所述生成待跟踪目标的初始结果之后，所述至少一个计算机可读指令被处理器执行还用以实现以下步骤：
    对所述经过去噪和归一化处理的每一帧图像设置跟踪区域，其中，所述跟踪区域是多边形，所述跟踪区域是包括有待跟踪目标的检测区域。
  18. 如权利要求15所述的存储介质，其特征在于，在所述生成待跟踪目标的初始结果之后，所述至少一个计算机可读指令被处理器执行还用以实现以下步骤：
    将所述初始结果输入预先训练好的离线跟踪模型中。
  19. 如权利要求15所述的存储介质，其特征在于，所述产生的最终结果包括行人的位置和数量。
  20. 如权利要求15所述的存储介质，其特征在于，所述至少一个计算机可读指令被处理器执行还用以实现以下步骤:
    预先训练离线跟踪模型，所述预先训练好的离线跟踪模型包括离线跟踪算法，所述离线跟踪算法的原理为：
    将视频的每一帧中的跟踪对象当作一个节点；
    通过行人重识别模型和运动模型融合得到每两个待跟踪对象之间的相似性度量；
    其中，相似度量值越小表示两个跟踪对象越相似。
PCT/CN2019/117538 2019-07-30 2019-11-12 基于离线型的在线跟踪方法、装置、计算机设备及存储介质 Ceased WO2021017283A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910695584.1A CN110532883B (zh) 2019-07-30 2019-07-30 应用离线跟踪算法对在线跟踪算法进行改进
CN201910695584.1 2019-07-30

Publications (1)

Publication Number Publication Date
WO2021017283A1 true WO2021017283A1 (zh) 2021-02-04

Family

ID=68661109

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117538 Ceased WO2021017283A1 (zh) 2019-07-30 2019-11-12 基于离线型的在线跟踪方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110532883B (zh)
WO (1) WO2021017283A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861971A (zh) * 2021-02-07 2021-05-28 启迪云控(上海)汽车科技有限公司 一种跨点位的路侧感知目标跟踪方法及系统
CN113744299A (zh) * 2021-09-02 2021-12-03 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质
CN114092516A (zh) * 2021-11-08 2022-02-25 国汽智控(北京)科技有限公司 一种多目标跟踪检测方法、装置、设备及介质
CN114495612A (zh) * 2021-12-15 2022-05-13 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种面向红外跟踪警戒设备的在线模拟训练装置
CN116958651A (zh) * 2023-06-21 2023-10-27 国网山东省电力公司淄博供电公司 一种电网通信光缆实时预警方法、装置、设备及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814725A (zh) * 2020-07-20 2020-10-23 北京华正明天信息技术股份有限公司 一种基于cnn+lstm+mlp组合神经网络判断监控视频着火的预警方法
CN112131966A (zh) * 2020-09-01 2020-12-25 深圳中兴网信科技有限公司 泥头车监控方法、系统和存储介质
CN112612768B (zh) * 2020-12-11 2022-09-16 上海哔哩哔哩科技有限公司 模型训练方法和装置
CN113658210A (zh) * 2021-09-02 2021-11-16 西安中科西光航天科技有限公司 基于Jetson NX平台的前端实时目标跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325691A (zh) * 2007-06-14 2008-12-17 清华大学 融合不同生存期的多个观测模型的跟踪方法和跟踪装置
CN103218816A (zh) * 2013-04-18 2013-07-24 中山大学 一种基于视频分析的人群密度估计方法与人流量统计方法
CN104134078A (zh) * 2014-07-22 2014-11-05 华中科技大学 一种人流量统计系统中分类器的自动选择方法
US20150371102A1 (en) * 2014-06-18 2015-12-24 Delta Electronics, Inc. Method for recognizing and locating object
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679455A (zh) * 2017-08-29 2018-02-09 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN109447121B (zh) * 2018-09-27 2020-11-06 清华大学 一种视觉传感器网络多目标跟踪方法、装置及系统
CN109636829B (zh) * 2018-11-24 2021-01-01 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325691A (zh) * 2007-06-14 2008-12-17 清华大学 融合不同生存期的多个观测模型的跟踪方法和跟踪装置
CN103218816A (zh) * 2013-04-18 2013-07-24 中山大学 一种基于视频分析的人群密度估计方法与人流量统计方法
US20150371102A1 (en) * 2014-06-18 2015-12-24 Delta Electronics, Inc. Method for recognizing and locating object
CN104134078A (zh) * 2014-07-22 2014-11-05 华中科技大学 一种人流量统计系统中分类器的自动选择方法
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861971A (zh) * 2021-02-07 2021-05-28 启迪云控(上海)汽车科技有限公司 一种跨点位的路侧感知目标跟踪方法及系统
CN113744299A (zh) * 2021-09-02 2021-12-03 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质
CN113744299B (zh) * 2021-09-02 2022-07-12 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质
CN114092516A (zh) * 2021-11-08 2022-02-25 国汽智控(北京)科技有限公司 一种多目标跟踪检测方法、装置、设备及介质
CN114092516B (zh) * 2021-11-08 2024-05-14 国汽智控(北京)科技有限公司 一种多目标跟踪检测方法、装置、设备及介质
CN114495612A (zh) * 2021-12-15 2022-05-13 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种面向红外跟踪警戒设备的在线模拟训练装置
CN114495612B (zh) * 2021-12-15 2023-12-26 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种面向红外跟踪警戒设备的在线模拟训练装置
CN116958651A (zh) * 2023-06-21 2023-10-27 国网山东省电力公司淄博供电公司 一种电网通信光缆实时预警方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110532883B (zh) 2023-09-01
CN110532883A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
WO2021017283A1 (zh) 基于离线型的在线跟踪方法、装置、计算机设备及存储介质
Ling et al. Optimization of autonomous driving image detection based on RFAConv and triplet attention
Zhang et al. Synthetic data generation for end-to-end thermal infrared tracking
Laradji et al. Where are the masks: Instance segmentation with image-level supervision
US9865042B2 (en) Image semantic segmentation
Munir et al. LDNet: End-to-end lane marking detection approach using a dynamic vision sensor
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
Choi et al. Mask2map: Vectorized hd map construction using bird’s eye view segmentation masks
CN117036417A (zh) 基于时空模板更新的多尺度Transformer目标跟踪方法
WO2023010758A1 (zh) 一种动作检测方法、装置、终端设备和存储介质
Getahun et al. A deep learning approach for lane detection
Yu et al. Shallow detail and semantic segmentation combined bilateral network model for lane detection
CN113269821B (zh) 消失点提取装置、提取消失点的方法及自动驾驶装置
CN115272992B (zh) 一种车辆姿态估计方法
CN120318499B (zh) 基于跨空间频域的无人机目标检测方法及电子设备
Zhou et al. Exploiting low-level representations for ultra-fast road segmentation
CN114445787A (zh) 非机动车重识别方法及相关设备
Hassan et al. PathFormer: A transformer-based framework for vision-centric autonomous navigation in off-road environments
CN111738074B (zh) 基于弱监督学习的行人属性识别方法、系统及装置
Jia LRD‐SLAM: A Lightweight Robust Dynamic SLAM Method by Semantic Segmentation Network
CN119693996A (zh) 一种基于特征点检测的生猪行为识别方法
WO2020237674A1 (zh) 目标跟踪方法、目标跟踪装置和无人机
Gu et al. AirEyeSeg: Teacher-Student Insights into Robust Fisheye UAV Detection.
Fan et al. PT-ResNet: Perspective transformation-based residual network for semantic road image segmentation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19939453

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19939453

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19939453

Country of ref document: EP

Kind code of ref document: A1