WO2017000466A1 - 一种基于光流法的运动目标跟踪方法及系统 - Google Patents

一种基于光流法的运动目标跟踪方法及系统 Download PDF

Info

Publication number
WO2017000466A1
WO2017000466A1 PCT/CN2015/094146 CN2015094146W WO2017000466A1 WO 2017000466 A1 WO2017000466 A1 WO 2017000466A1 CN 2015094146 W CN2015094146 W CN 2015094146W WO 2017000466 A1 WO2017000466 A1 WO 2017000466A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
optical flow
template
flow method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2015/094146
Other languages
English (en)
French (fr)
Inventor
程德强
李雷达
刘海
张国鹏
陈伟
刘送永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to US15/739,779 priority Critical patent/US10217229B2/en
Publication of WO2017000466A1 publication Critical patent/WO2017000466A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the invention relates to the field of video image processing, in particular to a moving object tracking method and system based on an optical flow method.
  • the captured image of the coal mine has low illumination, large change, large background noise and uneven noise distribution.
  • some underground coal mine videos contain both video images captured by fixed cameras and car cameras (cameras). Move) video images recorded.
  • the prior art estimates the next frame image through the current frame by the optical flow method, but due to the presence of noise, an erroneous match occurs, causing a target extraction error, and finally the target tracking fails.
  • the present invention provides a moving object tracking method and system based on optical flow method, which utilizes edge detection and uses an optical flow method to extract target information from a preprocessed image and creates a template image and performs template image matching on the target. Tracking is performed to enable accurate and stable tracking of moving targets.
  • the invention provides a moving target tracking method based on an optical flow method, comprising the steps of:
  • the moving target is estimated and analyzed by the optical flow method, and the forward-backward error algorithm based on the feature point trajectory is used to eliminate the wrong matching point generated by the illumination;
  • the SUSAN corner detection algorithm is used to perform corner detection on the image and calculate the optical flow at multiple scales.
  • the step of generating the complete moving target by the fusion further comprises the steps of:
  • the step of generating a complete moving target further comprises:
  • the edge information and the target information are merged by an AND operation, and the calculation formula is:
  • F th (i, j) represents the image after data fusion
  • P th (i, j) represents the information after binarization of the moving target edge
  • L th (i, j) represents the optical flow class of the moving target.
  • (i, j) represents the pixel coordinates of the image.
  • the step of creating a template image and performing template image matching to track the target comprises:
  • the template is updated with variable coefficients.
  • the invention also provides a moving target tracking system based on the optical flow method, comprising:
  • An image preprocessing module configured to provide a video image and preprocess the image to generate a preprocessed image
  • the target extraction module is configured to perform edge detection on the preprocessed image and extract the target information by using the optical flow method, and generate a complete moving target according to the edge detection information and the extracted target information;
  • a target estimation module configured to perform an estimation analysis on the moving target by using an optical flow method, and adopt a forward-backward error algorithm based on a feature point trajectory to eliminate a false matching point generated by illumination;
  • a target tracking module for creating a template image and performing template image matching on the target Line tracking.
  • the target extraction module uses the optical flow method to extract the target information from the preprocessed image
  • the SUSAN corner detection algorithm is used to perform corner detection on the image and calculate the optical flow at multiple scales.
  • the target extraction module further includes:
  • the binarization processing module is configured to perform binarization processing on the image after the edge detection and the image calculated by the optical flow method.
  • the target extraction module further includes:
  • the data fusion module is configured to fuse the edge information and the target information by an AND operation, and the calculation formula for the fusion is:
  • F th (i, j) represents the image after data fusion
  • P th (i, j) represents the information after binarization of the moving target edge
  • L th (i, j) represents the optical flow class of the moving target.
  • (i, j) represents the pixel coordinates of the image.
  • the target tracking module comprises:
  • a template matching module configured to determine a degree of similarity of each point in the template to each point in the image
  • a template update module for updating a template with variable coefficients.
  • the moving object tracking method and system based on the optical flow method in the embodiment of the present invention performs edge detection on the preprocessed image and extracts the target information by using the optical flow method, and according to the edge detection.
  • Information and extracted target information The fusion generates a complete moving target to accurately and completely extract the moving target, and can realize the stable tracking of the moving target for a long time by creating a template image and performing template image matching to track the moving target.
  • the moving object tracking method based on the optical flow method of the embodiment of the invention has the advantages that the moving target extraction is accurate and complete, and the stable tracking can be realized for a long time.
  • FIG. 1 is a block diagram of a moving object tracking method based on an optical flow method according to a preferred embodiment of the present invention
  • FIG. 2 is a schematic diagram of a forward-backward error algorithm based on feature point trajectories
  • FIG. 3 is a block schematic diagram of a moving object tracking system based on optical flow method in accordance with a preferred embodiment of the present invention.
  • FIG. 1 is a block diagram of a moving object tracking method based on an optical flow method according to a preferred embodiment of the present invention.
  • the moving object tracking method based on the optical flow method of the present invention comprises the steps of:
  • S1 providing a video image and preprocessing the image to generate a preprocessed image
  • the method mainly includes low illumination image enhancement based on Retinex and image denoising based on wavelet threshold.
  • S2 Perform edge detection on the preprocessed image and use the optical flow method to process the preprocessed image Extracting target information, and fusing the edge detection information and the extracted target information to generate a complete moving target;
  • the SUSAN corner detection algorithm is first used to perform corner detection on the preprocessed image and calculate the optical flow at multiple scales. Since the optical flow method estimates the motion vector for each pixel of the preprocessed image to achieve the purpose of extracting the target, the calculation amount is large.
  • the invention first uses the SUSAN corner detection algorithm to perform corner detection on the preprocessed image, and only estimates the optical flow for the corner point, thereby reducing the calculation amount.
  • the present invention uses the idea of pyramid top to calculate the optical flow at multiple scales, thereby improving the accuracy of optical flow calculation. .
  • an incorrect optical flow vector may be obtained when calculating by the optical flow method.
  • the present invention uses the forward-backward error based on the feature point trajectory to evaluate the optical flow estimation credibility, and rejects the unreliable optical flow estimation point.
  • the algorithm is shown in Figure 2.
  • I (I t , I t+1 ..., I t+k ) is a sequence of images
  • x t is the position of a point at time t
  • x t+k is x t .
  • the matching point of the k frame is estimated backward for x t+k .
  • the trajectory error distance of the front and rear feature points is estimated as the initial point x t of the forward feature point estimation and the trajectory end point of the backward feature point.
  • the edge of the moving target is detected by the Prewitt operator. deal with.
  • the step further includes performing binarization processing on the image after the edge detection and the image calculated by the optical flow method.
  • the OTSU method for the maximum inter-class variance method has wider adaptability, and the effect of segmenting the image is also better. Therefore, the present invention uses the OTSU algorithm to binarize the image.
  • the binary image refers to an image in which only black (gray value is 0) white (gray value is 1) binary value in the image.
  • the binary image not only has a small amount of information, but also can be used in subsequent geometrics. The concept analyzes and characterizes it, which is much more convenient than grayscale images.
  • the present invention fuses the edge information and the target information by an AND operation, and the calculation formula is:
  • F th (i, j) represents the image after data fusion
  • P th (i, j) represents the information after binarization of the moving target edge
  • L th (i, j) represents the optical flow class of the moving target.
  • (i, j) represents the pixel coordinates of the image.
  • the edge information and the target information are merged by the AND operation, the small holes in the image after the data fusion are filled and the small area of the non-moving object may be removed due to the influence of external environmental factors, and the most basic one is adopted. Open the operation to achieve.
  • S3 estimating and analyzing the moving target by using an optical flow method, and adopting a forward-backward error algorithm based on a feature point trajectory to eliminate false matching points due to illumination;
  • the method of S2 is used to extract the motion target by acquiring the motion field by using the optical flow method.
  • the target is also estimated at the position of the next frame, and the forward-backward error algorithm based on the feature point trajectory is used to eliminate the mismatched points due to illumination and more accurately determine the position of the target.
  • the optical flow method can achieve the purpose of tracking the moving target, considering the actual environment, due to factors such as occlusion and target overlap, it is easy to cause the moving target to be continuously tracked for a long time.
  • the present invention solves the problem by combining template updating and moving object tracking algorithm based on feature optical flow.
  • the initial template is determined by comparing the gray variance of the image, the template matching is determined according to the Hausdorff distance, and the template is updated by using the adaptive weighted template updating method for the template with large deviation.
  • the template is updated with variable coefficients.
  • the quality of the template used for tracking the moving targets plays a decisive role in the accuracy and stability of the matching tracking.
  • the template selection is appropriate and the target proportion is appropriate, a good matching effect can be obtained.
  • the template position is not properly selected, for example, the foreground pixel or the target has a small proportion, the background element will have a great influence on the matching result. It weakens the influence of the target on the matching, and it is easy to produce tracking drift phenomenon.
  • the variance of the image can reflect the complexity of an image content. When the gray level of the selected image region is the same, the variance is 0, and the selected region may be uniform. Background or target surface.
  • the present invention adopts this method when determining the initial template. First, the processed centroid of the extracted moving object is used as the template center, and the region with the different size is selected to calculate the variance is the template.
  • the Hausdorff distance is used to determine the similarity between the template and the current frame image.
  • the feature point extraction has been performed on the image in the above S2. At this time, it is only necessary to match the template with the feature points in the current frame image, which greatly reduces the amount of calculation.
  • H(A,B) max[h(A,B),h(B,A)]
  • the embodiment of the present invention proposes the number of effective matching points of the template and the current frame search area as the matching criterion, and assumes that the motion region estimated by the optical flow is c. Due to the problem of occlusion, the search area of 1.2*c is used for matching to ensure Tracking of occluded objects:
  • the traditional adaptive template update method uses a fixed coefficient ⁇ to update the template and cannot adapt to changes in the environment.
  • the embodiment of the invention uses a variable coefficient to update the template.
  • the invention sets ⁇ to Haurdorff distance (where n is the number of feature points in template B) to implement an adaptive template update.
  • n is the number of feature points in template B
  • T k represents the currently used template
  • I k represents the optimal matching subgraph found in the current frame
  • T k+1 represents the template used for the update
  • S(x) and T s correspond to the effective matching points in the previous step, respectively.
  • Quantity and quantity and threshold In this way, compared with the traditional ⁇ update mode, the present invention can perform template update according to the actual offset of the feature points, and improves the adaptive anti-occlusion capability of the target while retaining the real information of the image moving target.
  • the moving object tracking method based on the optical flow method of the embodiment of the present invention
  • the method performs edge detection on the preprocessed image and extracts the target information by using the optical flow method, and combines the edge detection information and the extracted target information to generate a complete moving target to accurately and completely extract the moving target, and By creating a template image and performing template image matching to track moving targets, it is possible to achieve stable tracking of moving targets for a long time.
  • the moving object tracking method based on the optical flow method of the embodiment of the invention has accurate and complete moving target extraction, and can realize stable tracking for a long time.
  • FIG. 3 is a block diagram of a moving object tracking system based on an optical flow method according to a preferred embodiment of the present invention.
  • the present invention also provides a system using the above-described optical flow method based moving object tracking method, the optical flow method based moving target tracking system comprising an image preprocessing module 11, a target extraction module 13, a target estimation module 15, and a target tracking Module 17.
  • the image preprocessing module 11 is configured to provide a video image and preprocess the image to generate a preprocessed image. ;
  • the target extraction module 13 is configured to perform edge detection on the preprocessed image and extract the target information from the preprocessed image by using the optical flow method, and generate a complete moving target according to the edge detected information and the extracted target information.
  • the target estimation module 15 is configured to perform an estimation analysis on the moving target by using an optical flow method, and adopt a forward-backward error algorithm based on a feature point trajectory to eliminate a false matching point generated by illumination;
  • the target tracking module 17 is used to create a template image and perform template image matching to track the target.
  • the edge detection is performed on the image by using a Prewitt operator.
  • the SUSAN corner detection algorithm performs corner detection on the image and calculates the optical flow at multiple scales.
  • the target extraction module further includes:
  • the binarization processing module 131 is configured to perform binarization processing on the image after the edge detection and the image calculated by the optical flow method.
  • the data fusion module 133 is configured to fuse the edge information and the target information by an AND operation, and the calculation formula for the fusion is:
  • F th (i, j) represents the image after data fusion
  • P th (i, j) represents the information after binarization of the moving target edge
  • L th (i, j) represents the optical flow class of the moving target.
  • (i, j) represents the pixel coordinates of the image.
  • the target tracking module 17 includes:
  • the template matching module 173 is configured to determine a degree of similarity of each point in the template to each point in the image;
  • the template update module 175 is configured to update the template with variable coefficients.
  • the moving object tracking system based on the optical flow method of the embodiment of the present invention performs edge detection on the preprocessed image by the target extraction module 13 and extracts the target information by using the optical flow method, and according to the edge Detected information and extracted
  • the target information fusion generates a complete moving target, and can accurately and completely extract the moving target
  • the template image is created by the target tracking module 17 and the template image matching is performed to track the moving target, so that the long-term stable tracking of the moving target can be realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于光流法的运动目标跟踪方法及系统，所述方法包括提供视频图像并对所述图像进行预处理生成预处理图像；对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点；创建模板图像并进行模板图像匹配对运动目标进行跟踪。本发明实施例的基于光流法的运动目标跟踪方法及系统具有运动目标提取准确完整，并且能够实现长时间的稳定跟踪的优点。

Description

一种基于光流法的运动目标跟踪方法及系统 技术领域
本发明涉及视频图像处理领域，特别是一种基于光流法的运动目标跟踪方法及系统。
背景技术
煤炭安全高效开采中，发展以实现无人化开采为目标的智能技术与装备对我国煤炭开采产业的发展具有重要意义。其中，随着煤矿视频监控系统的大量应用，重大事故的发生次数随之减少。但是，传统的煤矿视频监控系统一般只简单地记录监控场景的视频录像,再借助操作人员来观察场景中潜在的危险。这种视频监控系统需要耗费巨大的人力和物力资源,才能实现对海量数据的观察和处理,而实际应用中急需一种能够实现全天候的实时智能监控系统。检测和实时跟踪井下人员，一方面可以及时准确掌握井下人员的分布情况，另一方面对于煤矿的安全生产、报警及联动处理和事故后的报布情况都有重要意义，因此矿井运动目标跟踪是煤矿视频监控中一个十分重要的问题。
煤矿井下视频图像在特殊的工矿环境下，采集到的图像照度低、变化大，背景噪声大且噪声分布不均匀，此外，部分煤矿井下视频既包含固定摄像机拍摄的视频图像也包括车载摄像机(摄像机移动)摄录的视频图像。
现有的设计大多采用光流法进行目标提取，虽然也能够提取运动目标，但是目标轮廓并不完整。
同时，现有技术通过光流法通过当前帧估计出下一帧图像，但是由于噪声的存在，会出现错误的匹配，造成目标提取错误，最终使得目标跟踪失败。
因此，如何设计出一种目标提取效果好且目标跟踪稳定的运动目标跟踪方法是业界亟需解决的课题。
发明内容
为了解决上述现有的技术问题，本发明提供基于光流法的运动目标跟踪方法及系统利用边缘检测以及利用光流法对预处理图像进行提取目标信息且创建模板图像并进行模板图像匹配对目标进行跟踪以使得对运动目标进行准确稳定的跟踪。
本发明提供一种基于光流法的运动目标跟踪方法，包括步骤：
提供视频图像并对所述图像进行预处理生成预处理图像；
对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点；
创建模板图像并进行模板图像匹配对运动目标进行跟踪。
优选地，所述利用光流法对预处理图像进行提取目标信息时，先采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算光流。
优选地，所述融合生成完整的运动目标的步骤中还包括步骤：
对边缘检测后的图像和利用光流法计算生成的图像进行二值化
处理。优选地，所述生成完整的运动目标的步骤还包括：
将边缘信息与目标信息通过“与”运算进行融合，计算公式为：
Figure PCTCN2015094146-appb-000001
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流类二值化后的信息，(i,j)表示图像的像素点坐标。
优选地，所述创建模板图像并进行模板图像匹配对目标进行跟踪的步骤包括：
创建用于目标跟踪时的初始模板；
判断模板中的每一点到图像中的每一点的相似性程度；
采用可变系数对模板进行更新。
本发明还提供一种基于光流法的运动目标跟踪系统，包括：
图像预处理模块，用于提供视频图像并对所述图像进行预处理生成预处理图像；
目标提取模块，用于对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
目标估计模块，用于利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点；
目标跟踪模块，用于创建模板图像并进行模板图像匹配对目标进 行跟踪。
优选地，所述目标提取模块利用光流法对预处理图像进行提取目标信息时，采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算光流。
优选地，所述目标提取模块还包括：
二值化处理模块，用于对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理。
优选地，所述目标提取模块还包括：
数据融合模块，用于将边缘信息与目标信息通过“与”运算进行融合，用于融合的计算公式为：
Figure PCTCN2015094146-appb-000002
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流类二值化后的信息，(i,j)表示图像的像素点坐标。
优选地，所述目标跟踪模块包括：
初始模板创建模块，用于创建用于目标跟踪时的初始模板；
模板匹配模块，用于判断模板中的每一点到图像中的每一点的相似性程度；
模板更新模块，用于采用可变系数对模板进行更新。
相较于现有技术，本发明实施例的基于光流法的运动目标跟踪方法及系统通过对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息 融合生成完整的运动目标能够准确完整的提取运动目标，并通过创建模板图像并进行模板图像匹配对运动目标进行跟踪能够实现长时间的对运动目标稳定的跟踪。
因此，本发明实施例的基于光流法的运动目标跟踪方法具有运动目标提取准确完整，并且能够实现长时间的稳定跟踪的优点。
附图说明
图1为本发明优选实施例的基于光流法的运动目标跟踪方法的方框图；
图2为基于特征点轨迹的向前向后误差算法示意图；
图3为本发明优选实施例的基于光流法的运动目标跟踪系统的方框示意图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进进一步说明。
请参阅图1，图1为本发明优选实施例的基于光流法的运动目标跟踪方法的方框图。本发明基于光流法的运动目标跟踪方法包括步骤：
S1:提供视频图像并对所述图像进行预处理生成预处理图像；
本步骤用于去除外部场景对图像的影响，主要采用包括基于Retinex的低照度图像增强和基于小波阈值的图像降噪的方法。
S2:对预处理图像进行边缘检测以及利用光流法对预处理图像进 行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
本步骤中，首先采用SUSAN角点检测算法对预处理图像进行角点检测且在多尺度下计算光流。由于光流法对预处理图像的每一个像素点进行估计获取运动矢量从而达到提取目标的目的，这样就使得计算量很大。本发明首先采用SUSAN角点检测算法对预处理图像进行角点检测，只针对角点进行光流估计，从而减小了计算量。
而当预处理图像中运动目标运动位移较大时，传统的光流法无法获取准确的光流估计，本发明采用金字塔顶的思想在多尺度下计算光流，从而提高光流计算的准确性。本发明设定金字塔层数N＝5，最顶层初始光流估计向量为0。
由于场景的光照可能实时变化的，而且光照对光流法的准确性有一定的影响，所以在运用光流法计算时可能获取到错误的光流矢量。
然后，本发明采用基于特征点轨迹的向前向后误差(Forward-Backward Error)对光流估计进行可信度评估，剔除不可靠的光流估计点。该算法如图2所示。图2中I＝(It，It+1...,It+k)为图像序列，xt为t时刻某点的位置，xt+k为xt向前估计k帧的匹配点，
Figure PCTCN2015094146-appb-000003
为xt+k向后估计k帧的匹配点。同时为了计算简单，前后特征点光流估计轨迹误差距离为向前特征点估计轨迹初始点xt与向后特征点估计轨迹终点
Figure PCTCN2015094146-appb-000004
之间的欧式距离：
Figure PCTCN2015094146-appb-000005
另外，在对运动目标进行边缘检测采用Prewitt算子对图像进行 处理。
本步骤还包括对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理。具体地，最大类间方差法简称OTSU法具有较广泛的适应性，对图像进行分割的效果也较好，所以本发明采用OTSU算法对图像进行二值化处理。二值图像是指图像中只有黑(灰度值为0)白(灰度值为1)二值的图像，二值图像不仅信息量小计算速度快，而且可以进行后续的使用几何学中的概念对其进行分析与特征描述，相比较灰度图像来说方便得多。
最后，本发明通过将边缘信息与目标信息通过“与”运算进行融合，计算公式为：
Figure PCTCN2015094146-appb-000006
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流类二值化后的信息，(i,j)表示图像的像素点坐标。
在完成将边缘信息与目标信息通过“与”运算进行融合后，填充数据融合后图像中小的空洞和去除由于受外界环境因素的影响可能存在一些非运动物体小面积的区域，具体采用最基本的开运算即可实现。
S3:利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点；
本步骤中，结合S2的方法利用光流法在获取运动场提取运动目 标的同时，也估计出了目标在下一帧的位置，同时采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点，更加准确的确定目标的位置。
S4:创建模板图像并进行模板图像匹配对运动目标进行跟踪。
本步骤中，虽然采用光流法便可以实现跟踪运动目标的目的，但是考虑到实际环境，由于存在遮挡与目标重叠等因素，容易导致运动目标长时间连续被跟踪的可能性变小。为了克服遮挡等因素，本发明采用结合模板更新与基于特征光流的运动目标跟踪算法进行解决。
对运动目标跟踪首先利用上述S2中提取的运动目标通过比较图像灰度方差确定初始模板，根据Hausdorff距离判断模板相似度进行模板匹配，对于偏差较大的模板采用自适应加权模板更新法进行模板更新。具体步骤如下：
创建用于对运动目标跟踪时的初始模板；
判断模板中的每一点到图像中的每一点的相似性程度；
采用可变系数对模板进行更新。
首先，创建目标跟踪时的初始模板。对运动目标跟踪所使用的模板质量对匹配跟踪的精度和稳定性有着决定性的作用。当模板选择合适、目标所占比例恰当时可以取得很好的匹配效果，而当模板位置选取不恰当，比如前景像素即目标所占比例较小时，背景元素就会对匹配结果造成很大的影响，削弱了目标对匹配的影响，这时就易产生跟踪漂移现象。图像方差可以体现出一个图像内容的复杂程度，当选取图像区域的灰度一样时，方差则为0，此时选择的区域可能是均匀的 背景或者目标表面。当选取区域目标和背景都存在时，这时该区域的方差能够达到最大值，所以选择区域方差的大小可以体现该区域目标和背景是否选择合适。因此本发明在确定初始模板时就是采用的这种方法，首先将提取的运动目标经处理后的质心作为模板中心，选择大小不同的区域计算方差最大者即为模板。
判断模板中的每一点到图像中的每一点的相似性程度。本发明实施例采用Hausdorff距离对模板与当前帧图像进行相似度判断。上述S2中已经对图像进行了特征点提取，此时只需对模板与当前帧图像中的特征点进行匹配即可，这样就大大减少了计算量。
对于有限点集A＝{a1,a2,...,am}和B＝{b1,b2,...,bn}，则A、B之间的Hausdorff距离定义如下：
H(A,B)＝max[h(A,B),h(B,A)]
其中，
Figure PCTCN2015094146-appb-000007
Figure PCTCN2015094146-appb-000008
式中，||·||表示点集A,B之间的某种距离范数。函数h(A,B)称为点集A到B的有向Hausdorff距离，函数h(B,A)称为点集B到A的有向Hausdorff距离。
本发明实施例提出模板与当前帧搜索区域的有效匹配点数量和作为匹配准则，假设光流估计出的运动区域为c，由于存在遮挡等问题，采用1.2*c的搜索区域进行匹配来确保被遮挡物体的跟踪情况：
Figure PCTCN2015094146-appb-000010
其中，i的取值范围为(1，L)，L为模板内特征点个数。当模板与当前帧图像中相应区域内的对应特征点的Haurdorff距离小于门限d0时，该匹配点为有效匹配点并将S(x)累计；反之则为无效匹配点。最后判断S(x)大小，当S(x)小于有效匹配点数量和即阈值Ts时，如果继续使用原来的模板将会导致跟踪目标丢失，因此考虑使用模板更新策略，本发明取d0＝3，Ts＝45。
最后，采用可变系数对模板进行更新。传统自适应模板更新的方法采用固定系数α对模板进行更新，不能适应环境的变化。本发明实施例采用可变系数对模板进行更新。本发明将α设置为Haurdorff距离
Figure PCTCN2015094146-appb-000011
(其中n为模板B中特征点个数)，以实现自适应的模板更新。具体实现如下：
Figure PCTCN2015094146-appb-000012
其中，Tk表示当前所用模板，Ik表示在当前帧中找到的最优匹配子图，Tk+1表示更新后所用模板，S(x)和Ts分别对应上一步骤中有效匹配点数量和及数量和阈值。这样，相比于传统的α更新方式，本发明可以根据特征点的实际偏移量进行模板更新，在保留了图像运动目标真实信息的同时提高了目标的自适应抗遮挡能力。
相较于现有技术，本发明实施例的基于光流法的运动目标跟踪方 法通过对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标能够准确完整的提取运动目标，并通过创建模板图像并进行模板图像匹配对运动目标进行跟踪能够实现长时间的对运动目标稳定的跟踪。
因此，本发明实施例的基于光流法的运动目标跟踪方法具有运动目标提取准确完整，并且能够实现长时间的稳定跟踪。
请参阅图3，图3是本发明优选实施例的基于光流法的运动目标跟踪系统的方框示意图。本发明还提供一种使用上述基于光流法的运动目标跟踪方法的系统，所述基于光流法的运动目标跟踪系统包括图像预处理模块11、目标提取模块13、目标估计模块15和目标跟踪模块17。
图像预处理模块11用于提供视频图像并对所述图像进行预处理生成预处理图像。；
目标提取模块13用于对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标。
目标估计模块15用于利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点；
目标跟踪模块17用于创建模板图像并进行模板图像匹配对目标进行跟踪。
进一步的，所述边缘检测采用Prewitt算子对图像进行。
进一步的，目标提取模块13利用光流法对预处理图像进行提取目标信息时，采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算光流。
进一步，所述目标提取模块还包括：
二值化处理模块131，用于对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理。
数据融合模块133，用于将边缘信息与目标信息通过“与”运算进行融合，用于融合的计算公式为：
Figure PCTCN2015094146-appb-000013
其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流类二值化后的信息，(i,j)表示图像的像素点坐标。
进一步的，所述目标跟踪模块17包括：
初始模板创建模块171，用于创建用于目标跟踪时的初始模板；
模板匹配模块173，用于判断模板中的每一点到图像中的每一点的相似性程度；
模板更新模块175，用于采用可变系数对模板进行更新。
相较于现有技术，本发明实施例的基于光流法的运动目标跟踪系统通过目标提取模块13对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的 目标信息融合生成完整的运动目标能够准确完整的提取运动目标，并通过标跟踪模块17创建模板图像并进行模板图像匹配对运动目标进行跟踪能够实现长时间的对运动目标稳定的跟踪。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

  1. 一种基于光流法的运动目标跟踪方法，其特征在于，包括步骤：
    提供视频图像并对所述图像进行预处理生成预处理图像；
    对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
    利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点；
    创建模板图像并进行模板图像匹配对运动目标进行跟踪。
  2. 根据权利要求1所述基于光流法的运动目标跟踪方法，其特征在于，
    所述利用光流法对预处理图像进行提取目标信息时，先采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算光流。
  3. 根据权利要求1所述基于光流法的运动目标跟踪方法，其特征在于，所述融合生成完整的运动目标的步骤中还包括步骤：
    对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理。
  4. 根据权利要求1所述基于光流法的运动目标跟踪方法，其特征在于，所述生成完整的运动目标的步骤还包括：
    将边缘信息与目标信息通过“与”运算进行融合，计算公式为：
    Figure PCTCN2015094146-appb-100001
    其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示 运动目标的光流类二值化后的信息，(i,j)表示图像的像素点坐标。
  5. 根据权利要求1所述基于光流法的运动目标跟踪方法，其特征在于，所述创建模板图像并进行模板图像匹配对目标进行跟踪的步骤包括：
    创建用于目标跟踪时的初始模板；
    判断模板中的每一点到图像中的每一点的相似性程度；
    采用可变系数对模板进行更新。
  6. 一种基于光流法的运动目标跟踪系统，其特征在于，包括：
    图像预处理模块，用于提供视频图像并对所述图像进行预处理生成预处理图像；
    目标提取模块，用于对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；
    目标估计模块，用于利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点；
    目标跟踪模块，用于创建模板图像并进行模板图像匹配对目标进行跟踪。
  7. 根据权利要求6所述基于光流法的运动目标跟踪系统，其特征在于，
    所述目标提取模块利用光流法对预处理图像进行提取目标信息时，采用SUSAN角点检测算法对图像进行角点检测且在多尺度下计算 光流。
  8. 根据权利要求6所述基于光流法的运动目标跟踪系统，其特征在于，所述目标提取模块还包括：
    二值化处理模块，用于对边缘检测后的图像和利用光流法计算生成的图像进行二值化处理。
  9. 根据权利要求6所述基于光流法的运动目标跟踪系统，其特征在于，所述目标提取模块还包括：
    数据融合模块，用于将边缘信息与目标信息通过“与”运算进行融合，用于融合的计算公式为：
    Figure PCTCN2015094146-appb-100002
    其中，Fth(i,j)表示数据融合后的图像，Pth(i,j)表示运动目标边缘二值化后的信息，Lth(i,j)表示运动目标的光流类二值化后的信息，(i,j)表示图像的像素点坐标。
  10. 根据权利要求6所述基于光流法的运动目标跟踪方法，其特征在于，所述目标跟踪模块包括：
    初始模板创建模块，用于创建用于目标跟踪时的初始模板；
    模板匹配模块，用于判断模板中的每一点到图像中的每一点的相似性程度；
    模板更新模块，用于采用可变系数对模板进行更新。
PCT/CN2015/094146 2015-07-01 2015-11-09 一种基于光流法的运动目标跟踪方法及系统 Ceased WO2017000466A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/739,779 US10217229B2 (en) 2015-07-01 2015-11-09 Method and system for tracking moving objects based on optical flow method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510378628.XA CN105023278B (zh) 2015-07-01 2015-07-01 一种基于光流法的运动目标跟踪方法及系统
CN201510378628.X 2015-07-01

Publications (1)

Publication Number Publication Date
WO2017000466A1 true WO2017000466A1 (zh) 2017-01-05

Family

ID=54413219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/094146 Ceased WO2017000466A1 (zh) 2015-07-01 2015-11-09 一种基于光流法的运动目标跟踪方法及系统

Country Status (3)

Country Link
US (1) US10217229B2 (zh)
CN (1) CN105023278B (zh)
WO (1) WO2017000466A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389072A (zh) * 2018-09-29 2019-02-26 北京字节跳动网络技术有限公司 数据处理方法和装置
US10430671B2 (en) 2017-04-22 2019-10-01 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN110570360A (zh) * 2019-05-30 2019-12-13 昆明理工大学 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
CN110853074A (zh) * 2019-10-09 2020-02-28 天津大学 一种利用光流增强目标的视频目标检测网络系统
CN111209798A (zh) * 2019-12-23 2020-05-29 广州网文三维数字技术有限公司 一种基于神经网络的特种承压设备仪表识别方法
CN112233252A (zh) * 2020-10-23 2021-01-15 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统
CN112507757A (zh) * 2019-08-26 2021-03-16 西门子（中国）有限公司 车辆行为检测方法、装置和计算机可读介质
CN113487646A (zh) * 2021-07-22 2021-10-08 合肥英睿系统技术有限公司 一种运动目标检测方法、装置、设备及存储介质
CN114445460A (zh) * 2022-01-20 2022-05-06 重庆邮电大学 基于水流检测的船舶航迹预测方法
CN114743125A (zh) * 2022-03-02 2022-07-12 上海应用技术大学 基于yolo和改进模板匹配的杠铃识别与跟踪控制方法
CN115035446A (zh) * 2022-06-08 2022-09-09 湖北工业大学 一种基于局部msr和目标匹配的厨房老鼠检测识别方法
CN115409721A (zh) * 2022-04-26 2022-11-29 中国科学院自动化研究所 暗光视频增强方法及装置
CN115410097A (zh) * 2022-06-27 2022-11-29 北京理工雷科电子信息技术有限公司 一种低空无人机视频跟踪方法
CN115937263A (zh) * 2023-02-27 2023-04-07 南昌理工学院 基于视觉的目标跟踪方法、系统、电子设备及存储介质
CN118552881A (zh) * 2024-07-26 2024-08-27 湖南丰汇银佳科技股份有限公司 一种视觉行为分析的金融安防预警方法与系统
CN119540657A (zh) * 2025-01-17 2025-02-28 湖南快乐阳光互动娱乐传媒有限公司 一种运镜类型的检测方法及系统
CN120071250A (zh) * 2025-02-10 2025-05-30 河北世纪金属结构有限公司 一种具有图像识别装置的通信铁塔

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023278B (zh) * 2015-07-01 2019-03-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统
CN106803899B (zh) * 2015-11-26 2019-10-01 华为技术有限公司 合并图像的方法和装置
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
CN106210449B (zh) * 2016-08-11 2020-01-07 上海交通大学 一种多信息融合的帧率上变换运动估计方法及系统
CN108871291A (zh) * 2017-05-12 2018-11-23 北京中天易观信息技术有限公司 一种空中三角测量中大数据匹配点智能压缩方法
CN109214245B (zh) * 2017-07-03 2022-02-18 株式会社理光 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN108257149A (zh) * 2017-12-25 2018-07-06 翟玉婷 一种基于光流场的舰船目标实时跟踪检测方法
US10789728B2 (en) * 2018-11-15 2020-09-29 Denso International America, Inc. Machine learning framework for visual tracking
CN109741387A (zh) * 2018-12-29 2019-05-10 北京旷视科技有限公司 立体匹配方法、装置、电子设备及存储介质
CN109727273B (zh) * 2018-12-29 2020-12-04 北京茵沃汽车科技有限公司 一种基于车载鱼眼相机的移动目标检测方法
US11037303B2 (en) 2019-01-31 2021-06-15 Sony Corporation Optical flow based detection and tracking of multiple moving objects in successive frames
CN110191324B (zh) * 2019-06-28 2021-09-14 Oppo广东移动通信有限公司 图像处理方法、装置、服务器及存储介质
CN111325135B (zh) * 2020-02-17 2022-11-29 天津中科智能识别产业技术研究院有限公司 一种基于深度学习特征模板匹配的在线实时行人跟踪新方法
CN111524094A (zh) * 2020-03-24 2020-08-11 西安交通大学 一种用尺度直方图匹配方法获取目标检测模型的方法
CN112492196B (zh) * 2020-10-29 2022-01-07 贝壳技术有限公司 一种直播进行中主播跟踪方法、装置及系统
CN112288767A (zh) * 2020-11-04 2021-01-29 成都寰蓉光电科技有限公司 一种基于目标自适应投影的自动检测与跟踪方法
CN112614153A (zh) * 2020-11-26 2021-04-06 北京理工大学 一种基于差分前后向光流的地面运动目标跟踪方法
CN112634331B (zh) * 2020-12-04 2025-01-14 北京迈格威科技有限公司 一种光流预测方法及装置
CN113066104B (zh) 2021-03-25 2024-04-19 三星（中国）半导体有限公司 角点检测方法和角点检测装置
CN113112460A (zh) * 2021-03-29 2021-07-13 湖南千盟工业智能系统股份有限公司 一种基于图像处理的捣固焦炉煤饼高度检测方法
CN113158904B (zh) * 2021-04-23 2022-07-29 天津大学 一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置
CN114973175B (zh) * 2022-05-24 2024-06-25 深圳市航盛电子股份有限公司 运动物体检测方法、装置、终端设备以及存储介质
CN114913194B (zh) * 2022-06-01 2025-07-01 齐鲁工业大学(山东省科学院) 一种基于cuda的并行光流法运动目标检测方法及系统
CN115690150B (zh) * 2022-09-30 2023-11-03 浙江大学 一种基于视频的多目标位移跟踪监测方法及装置
CN115527154A (zh) * 2022-10-21 2022-12-27 西安科技大学 基于煤矸动态化识别的顶煤放煤口精准闭合控制方法
CN116051608A (zh) * 2023-02-09 2023-05-02 上海模数时空技术有限公司 基于红外图像轮廓刻画的视觉目标快速跟踪方法
CN116501082A (zh) * 2023-03-31 2023-07-28 深圳市正浩创新科技股份有限公司 自移动设备的航向角调整方法、装置、自移动设备及介质
CN116188533B (zh) * 2023-04-23 2023-08-08 深圳时识科技有限公司 特征点跟踪方法与装置、电子设备
CN116205940B (zh) * 2023-05-05 2023-08-01 武汉大学人民医院（湖北省人民医院） 基于医学检验的数字图像目标检测方法及系统
CN117474959B (zh) * 2023-12-19 2024-03-08 北京智汇云舟科技有限公司 基于视频数据的目标对象运动轨迹处理方法及系统
CN117854011B (zh) * 2024-03-07 2024-05-03 福建南亿智能科技有限公司 一种智能ai摄像头识别对比方法及系统
CN118413637B (zh) * 2024-07-02 2024-09-06 安徽协创物联网技术有限公司 基于视频监控摄像头的远程实时监控控制系统及控制方法
CN119456445A (zh) * 2024-10-29 2025-02-18 武汉博立达汽车饰件有限公司 基于视觉跟踪的注塑件表面处理质检工艺及装置
CN119359689A (zh) * 2024-10-30 2025-01-24 山东浪潮智能生产技术有限公司 一种传送带电子围栏检测方法、装置、设备及存储介质
CN120355754B (zh) * 2025-04-08 2026-01-16 淮安方极科技有限公司 一种动态多目标跟踪与轨迹预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074017A (zh) * 2009-11-23 2011-05-25 北京工业大学 一种杠铃中心点检测及跟踪的方法和装置
CN103426184A (zh) * 2013-08-01 2013-12-04 华为技术有限公司 一种光流跟踪方法和装置
US20140210857A1 (en) * 2013-01-28 2014-07-31 Tencent Technology (Shenzhen) Company Limited Realization method and device for two-dimensional code augmented reality
CN104574435A (zh) * 2014-09-24 2015-04-29 中国人民解放军国防科学技术大学 基于块聚类的运动相机前景分割方法
CN105023278A (zh) * 2015-07-01 2015-11-04 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526156B1 (en) * 1997-01-10 2003-02-25 Xerox Corporation Apparatus and method for identifying and tracking objects with view-based representations
US7136507B2 (en) * 2003-11-17 2006-11-14 Vidient Systems, Inc. Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
US8175412B2 (en) * 2004-02-17 2012-05-08 Yeda Research & Development Co. Ltd. Method and apparatus for matching portions of input images
US20060245500A1 (en) * 2004-12-15 2006-11-02 David Yonovitz Tunable wavelet target extraction preprocessor system
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
CN101493944A (zh) * 2009-03-06 2009-07-29 北京中星微电子有限公司 一种运动目标检测与跟踪的方法和系统
US8818024B2 (en) * 2009-03-12 2014-08-26 Nokia Corporation Method, apparatus, and computer program product for object tracking
JP5469899B2 (ja) * 2009-03-31 2014-04-16 株式会社トプコン 自動追尾方法及び測量装置
CN101673404B (zh) * 2009-10-19 2015-03-04 北京中星微电子有限公司 一种目标检测的方法和装置
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
TWI530913B (zh) * 2012-04-25 2016-04-21 鴻海精密工業股份有限公司 移動物體偵測系統及方法
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
WO2014205769A1 (en) * 2013-06-28 2014-12-31 Hulu Llc Local binary pattern-based optical flow
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US10719727B2 (en) * 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
US9373174B2 (en) * 2014-10-21 2016-06-21 The United States Of America As Represented By The Secretary Of The Air Force Cloud based video detection and tracking system
CN105574894B (zh) * 2015-12-21 2018-10-16 天津远度科技有限公司 一种运动物体特征点跟踪结果的筛选方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074017A (zh) * 2009-11-23 2011-05-25 北京工业大学 一种杠铃中心点检测及跟踪的方法和装置
US20140210857A1 (en) * 2013-01-28 2014-07-31 Tencent Technology (Shenzhen) Company Limited Realization method and device for two-dimensional code augmented reality
CN103426184A (zh) * 2013-08-01 2013-12-04 华为技术有限公司 一种光流跟踪方法和装置
CN104574435A (zh) * 2014-09-24 2015-04-29 中国人民解放军国防科学技术大学 基于块聚类的运动相机前景分割方法
CN105023278A (zh) * 2015-07-01 2015-11-04 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430671B2 (en) 2017-04-22 2019-10-01 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
US10970563B2 (en) 2017-04-22 2021-04-06 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN110400332B (zh) * 2018-04-25 2021-11-05 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN109389072A (zh) * 2018-09-29 2019-02-26 北京字节跳动网络技术有限公司 数据处理方法和装置
CN110570360B (zh) * 2019-05-30 2022-07-19 昆明理工大学 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
CN110570360A (zh) * 2019-05-30 2019-12-13 昆明理工大学 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
CN112507757A (zh) * 2019-08-26 2021-03-16 西门子（中国）有限公司 车辆行为检测方法、装置和计算机可读介质
CN110853074A (zh) * 2019-10-09 2020-02-28 天津大学 一种利用光流增强目标的视频目标检测网络系统
CN110853074B (zh) * 2019-10-09 2023-06-27 天津大学 一种利用光流增强目标的视频目标检测网络系统
CN111209798A (zh) * 2019-12-23 2020-05-29 广州网文三维数字技术有限公司 一种基于神经网络的特种承压设备仪表识别方法
CN111209798B (zh) * 2019-12-23 2023-05-23 广州网文三维数字技术有限公司 一种基于神经网络的特种承压设备仪表识别方法
CN112233252A (zh) * 2020-10-23 2021-01-15 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统
CN112233252B (zh) * 2020-10-23 2024-02-13 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统
CN113487646A (zh) * 2021-07-22 2021-10-08 合肥英睿系统技术有限公司 一种运动目标检测方法、装置、设备及存储介质
CN114445460A (zh) * 2022-01-20 2022-05-06 重庆邮电大学 基于水流检测的船舶航迹预测方法
CN114743125A (zh) * 2022-03-02 2022-07-12 上海应用技术大学 基于yolo和改进模板匹配的杠铃识别与跟踪控制方法
CN114743125B (zh) * 2022-03-02 2024-02-27 上海应用技术大学 基于yolo和改进模板匹配的杠铃识别与跟踪控制方法
CN115409721A (zh) * 2022-04-26 2022-11-29 中国科学院自动化研究所 暗光视频增强方法及装置
CN115035446B (zh) * 2022-06-08 2024-08-09 湖北工业大学 一种基于局部msr和目标匹配的厨房老鼠检测识别方法
CN115035446A (zh) * 2022-06-08 2022-09-09 湖北工业大学 一种基于局部msr和目标匹配的厨房老鼠检测识别方法
CN115410097A (zh) * 2022-06-27 2022-11-29 北京理工雷科电子信息技术有限公司 一种低空无人机视频跟踪方法
CN115937263A (zh) * 2023-02-27 2023-04-07 南昌理工学院 基于视觉的目标跟踪方法、系统、电子设备及存储介质
CN118552881A (zh) * 2024-07-26 2024-08-27 湖南丰汇银佳科技股份有限公司 一种视觉行为分析的金融安防预警方法与系统
CN119540657A (zh) * 2025-01-17 2025-02-28 湖南快乐阳光互动娱乐传媒有限公司 一种运镜类型的检测方法及系统
CN120071250A (zh) * 2025-02-10 2025-05-30 河北世纪金属结构有限公司 一种具有图像识别装置的通信铁塔

Also Published As

Publication number Publication date
US10217229B2 (en) 2019-02-26
CN105023278B (zh) 2019-03-05
US20180365843A1 (en) 2018-12-20
CN105023278A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
CN105023278B (zh) 一种基于光流法的运动目标跟踪方法及系统
Li et al. Real-time moving vehicle detection, tracking, and counting system implemented with OpenCV
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
Yuan et al. Robust lane detection for complicated road environment based on normal map
CN102289948B (zh) 高速公路场景下一种多特征融合的多车辆视频跟踪方法
CN104992453B (zh) 基于极限学习机的复杂背景下目标跟踪方法
CN105809715B (zh) 一种基于帧间累计变化矩阵的视觉运动目标检测方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN112364865A (zh) 一种复杂场景中运动小目标的检测方法
CN107452015A (zh) 一种具有重检测机制的目标跟踪系统
CN103093198A (zh) 一种人群密度监测方法及装置
CN106952312B (zh) 一种基于线特征描述的无标识增强现实注册方法
CN104537688A (zh) 一种基于背景差分和hog特征的运动目标检测方法
CN103985142A (zh) 联合数据关联的Mean Shift多目标跟踪方法
CN107507223A (zh) 动态环境下基于多特征聚类匹配的目标跟踪方法
De Carvalho et al. Anomaly detection with a moving camera using multiscale video analysis
Zhang et al. A coarse-to-fine leaf detection approach based on leaf skeleton identification and joint segmentation
Fazl-Ersi et al. Region classification for robust floor detection in indoor environments
Nie et al. Multiple person tracking by spatiotemporal tracklet association
CN113658089B (zh) 一种基于深度相机的双数据流融合物体识别方法
CN106447685A (zh) 一种红外跟踪方法
CN104537690B (zh) 一种基于最大值‑时间索引联合的运动点目标检测方法
JP7207479B2 (ja) 建築限界判定方法
Malavika et al. Moving object detection and velocity estimation using MATLAB
CN108022214A (zh) 一种适用于无人机雾天飞行的地平线检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15896994

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15896994

Country of ref document: EP

Kind code of ref document: A1