WO2020253618A1 - 一种视频抖动的检测方法及装置 - Google Patents

一种视频抖动的检测方法及装置 Download PDF

Info

Publication number
WO2020253618A1
WO2020253618A1 PCT/CN2020/095667 CN2020095667W WO2020253618A1 WO 2020253618 A1 WO2020253618 A1 WO 2020253618A1 CN 2020095667 W CN2020095667 W CN 2020095667W WO 2020253618 A1 WO2020253618 A1 WO 2020253618A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
motion vector
feature point
video
sequence
Prior art date
Application number
PCT/CN2020/095667
Other languages
English (en)
French (fr)
Inventor
穆翀
周旭阳
刘二龙
郭文哲
Original Assignee
苏宁云计算有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 苏宁云计算有限公司 filed Critical 苏宁云计算有限公司
Priority to CA3172605A priority Critical patent/CA3172605C/en
Publication of WO2020253618A1 publication Critical patent/WO2020253618A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Definitions

  • the present invention relates to the technical field of computer vision, in particular to a method and device for detecting video jitter.
  • video jitter detection is the basis of video post-adjustment and processing
  • researchers have conducted a lot of research based on video analysis in the fields of video processing, video image stabilization, and computer vision.
  • video shake detection methods the existing detection algorithms are not very accurate. Some are not sensitive to videos shot under the condition of large lens displacement and strong shaking in a short time, and some are not suitable for rotation. Motion detection, and some are not suitable for scenes where the camera moves slowly.
  • the following commonly used video jitter detection methods have more or less defects:
  • Block matching method currently the most commonly used algorithm in video image stabilization systems. This method divides the current frame into blocks, each pixel in the block has the same motion vector, and then searches for the best match in a specific range of the reference frame for each block, thereby estimating the global motion vector of the video sequence.
  • the block matching method usually needs to be divided into blocks, and the global motion vector is estimated according to the motion vector in each block. Then the effect is not good when detecting the video jitter problem of some specific scenes. For example, in a picture, the picture is divided into 4 cells, of which 3 cells do not move.
  • the object in 1 grid is moving; in addition, the block matching method usually requires Kalman filtering to process the calculated motion vector, which has a large computational cost and poor real-time performance, and cannot adapt to the scene of large lens displacement and strong jitter in a short time.
  • Gray projection method Based on the principle of consistency of gray distribution in overlapping similar areas in the image, the local gray information of adjacent video frames is used to obtain the vector motion relationship.
  • the algorithm mainly consists of gray levels in two directions in different areas. Projection related calculation composition.
  • the gray projection method is effective for scenes with only translational jitter, and cannot estimate the rotational motion vector.
  • the embodiments of the present invention provide a method and device for detecting video jitter to overcome the low accuracy of the existing detection algorithm in the prior art, and the condition of large displacement and strong jitter of the lens in a short time.
  • the video shot below is not sensitive and other issues.
  • the technical solution adopted by the present invention is:
  • a method for detecting video jitter includes the following steps:
  • the feature value of the video to be detected is used as the input signal of the detection model to obtain an output signal by calculation, and it is determined whether the video to be detected shakes according to the output signal.
  • the method further includes the step of preprocessing the frame sequence:
  • the performing feature point detection frame by frame on the frame sequence is performing feature point detection frame by frame on the preprocessed frame sequence.
  • the performing feature point detection on the frame sequence frame by frame, and acquiring the feature points of each frame includes:
  • feature point detection is performed on the frame sequence frame by frame, and feature points of each frame are obtained.
  • the calculation of the frame feature point sequence matrix based on the optical flow tracking algorithm to obtain the motion vector of each frame includes:
  • the initial motion vector of each frame is adjusted to obtain the motion vector of each frame.
  • the obtaining the feature value of the video to be detected according to the motion vector of each frame includes:
  • the unbiased standard deviation of each element and the weighted value are used as the feature value of the video to be detected.
  • a device for detecting video jitter includes:
  • the framing processing module is used to perform framing processing on the video to be detected to obtain a frame sequence
  • the feature point detection module is used to perform feature point detection on the frame sequence frame by frame, obtain feature points of each frame, and generate a frame feature point sequence matrix;
  • a vector calculation module configured to perform an operation on the frame feature point sequence matrix based on an optical flow tracking algorithm to obtain a motion vector of each frame;
  • the feature value extraction module is configured to obtain the feature value of the video to be detected according to the motion vector of each frame;
  • the jitter detection module is configured to use the feature value of the video to be detected as the input signal of the detection model to obtain an output signal through calculation, and determine whether the video to be detected jitters according to the output signal.
  • the device further includes:
  • the data preprocessing module includes:
  • a grayscale processing unit configured to perform grayscale processing on the sub-frame sequence to obtain a grayscale frame sequence
  • a denoising processing unit configured to perform denoising processing on the grayscale frame sequence
  • the feature point detection module is used to perform feature point detection on the preprocessed frame sequence frame by frame.
  • the feature point detection module is also used for:
  • feature point detection is performed on the frame sequence frame by frame, and feature points of each frame are obtained.
  • the vector calculation module includes:
  • the optical flow tracking unit is configured to perform optical flow tracking calculation on the frame feature point sequence matrix of each frame to obtain the initial motion vector of each frame;
  • a cumulative calculation unit configured to obtain a corresponding cumulative motion vector according to the initial motion vector
  • a smoothing processing unit configured to perform smoothing processing on the cumulative motion vector to obtain a smoothed motion vector
  • the vector adjustment unit is configured to use the accumulated motion vector and the smoothed motion vector to adjust the initial motion vector of each frame to obtain the motion vector of each frame.
  • the feature value extraction module includes:
  • a matrix conversion unit configured to merge and convert the motion vectors of all frames into a matrix
  • a standard deviation calculation unit for calculating the unbiased standard deviation of each element in the matrix
  • the weighted fusion unit is used to perform weighted fusion processing on the unbiased standard deviation of each element to obtain a weighted value.
  • the video jitter detection method and device obtained the motion vector of each frame according to the frame feature point sequence matrix based on the optical flow tracking algorithm, which effectively solves the problem of excessive changes between two adjacent frames.
  • the problem of tracking failure when the camera shake detection is performed under the condition of slow lens movement, it has good tolerance and adaptability, and it has good tolerance and adaptability.
  • the camera shake detection is performed under the conditions of sudden large displacement, strong shaking, large rotation, etc. When, it has good sensitivity and robustness;
  • the video jitter detection method and device use a feature point detection algorithm based on the fusion of FAST features and SURF features, that is, the feature point extraction algorithm is optimized, which takes into account the global features of the image, and is sufficient It retains its local features, and has low computational overhead, and is robust to blurred images and poor lighting conditions, which further improves the real-time and accuracy of detection;
  • the video jitter detection method and device provided by the embodiment of the present invention extract at least four dimensional features from the video to be detected, and use the SVM model as the detection model, so that the video jitter detection method provided by the embodiment of the present invention is more general
  • the chemistry is more advantageous, which further improves the accuracy of detection.
  • Fig. 1 is a flow chart showing a method for detecting video jitter according to an exemplary embodiment
  • Fig. 2 is a flow chart showing preprocessing the frame sequence according to an exemplary embodiment
  • Fig. 3 is a flow chart of obtaining a motion vector of each frame by calculating a frame feature point sequence matrix based on an optical flow tracking algorithm according to an exemplary embodiment
  • Fig. 4 is a flow chart of obtaining the feature value of the video to be detected according to the motion vector of each frame according to an exemplary embodiment
  • Fig. 5 is a schematic structural diagram of a device for detecting video jitter according to an exemplary embodiment.
  • Fig. 1 is a flowchart showing a method for detecting video jitter according to an exemplary embodiment. Referring to Fig. 1, the method includes the following steps:
  • S1 Perform framing processing on the video to be detected to obtain a frame sequence.
  • S2 Perform feature point detection on the frame sequence frame by frame, acquire feature points of each frame, and generate a frame feature point sequence matrix.
  • the optical flow tracking algorithm is used to perform optical flow tracking calculation on the frame feature point sequence matrix, that is, the transformation from the feature point in the current frame to the next frame is tracked.
  • the tracking frame feature point i the Z i sequence matrix transform to the i + 1
  • the motion vector acquired Motion vector The expression is:
  • dx i represents the Euclidean column offset from the i-th frame to the i+1-th frame
  • dy i represents the Euclidean row offset from the i-th frame to the i+1-th frame
  • dr i represents the Euclidean column offset from the i-th frame to the i+1-th frame Angular offset
  • the extracted feature values include at least feature values of four dimensions.
  • one feature value dimension is added, which makes the method for detecting video jitter provided by the embodiment of the present invention more generalizable, and further improves the accuracy of detection.
  • S5 Use the feature value of the video to be detected as an input signal of the detection model to obtain an output signal through calculation, and determine whether the video to be detected shakes according to the output signal.
  • the feature value of the video to be detected obtained in the above steps is input as an input signal into the detection model to perform calculations, to obtain an output signal, and to determine whether the video to be detected shakes according to the output signal.
  • the detection model in the embodiment of the present invention is pre-trained.
  • the method in the embodiment of the present invention can be used to perform corresponding processing on the sample video data in the selected training data set to obtain the feature value of the sample video data.
  • the detection model is trained until the model training is completed, and the final detection model is obtained.
  • the m-th video sample in a jittered video data set with annotations is processed through the above steps to extract the feature value of the m-th video sample. That is, first perform framing processing on the m-th video sample to obtain the frame sequence, and then perform feature point detection on the frame sequence frame by frame, obtain the feature points of each frame, and generate the frame feature point sequence matrix, and then perform the analysis based on the optical flow tracking algorithm
  • the frame feature point sequence matrix is operated to obtain the motion vector of each frame, and finally the feature value of the m-th video sample is obtained according to the motion vector of each frame.
  • the detection model may be an SVM model, that is, the feature values of the video to be detected obtained through the above steps are input into the trained SVM model to obtain the output result. If the output result is 0, it means that the video to be detected does not shake. If the output result is 1, it means that the video to be detected shakes.
  • the trainable SVM model is used as the video jitter judger, which can perform jitter detection for videos in different scenes, and after adopting this model, the generalization is better and the detection accuracy is higher.
  • Fig. 2 is a flow chart showing the preprocessing of the frame sequence according to an exemplary embodiment.
  • the method further includes the step of preprocessing the frame sequence:
  • S102 Perform denoising processing on the grayscale frame sequence.
  • the denoising method can be arbitrarily selected, and there is no restriction on this here.
  • the performing feature point detection on the frame sequence frame by frame is performing feature point detection frame by frame on the preprocessed frame sequence.
  • the performing feature point detection on the frame sequence frame by frame, and acquiring the feature points of each frame includes:
  • feature point detection is performed on the frame sequence frame by frame, and feature points of each frame are obtained.
  • the embodiment of the present invention Optimize the feature point extraction algorithm.
  • a feature point detection algorithm based on the fusion of FAST features and SURF features is adopted.
  • the SURF algorithm is based on the improvement of the SIFT algorithm.
  • SIFT is a feature description method with good robustness and constant scale. While the SURF algorithm maintains its advantages, it improves the SIFT algorithm with large calculation data and high time complexity. The algorithm takes a long time.
  • FAST feature detection is a corner detection method.
  • the most prominent advantage of this algorithm is its computational efficiency and can describe the global features of the image well. Therefore, the feature point detection algorithm based on the fusion of FAST feature and SURF feature is used for feature point extraction, which not only takes into account the global features of the image, but also fully retains its local features, and has low computational overhead, blurs the image, and poor lighting conditions. The robustness further improves the real-time and accuracy of detection.
  • Fig. 3 is a flow chart showing the operation of the frame feature point sequence matrix based on the optical flow tracking algorithm to obtain the motion vector of each frame according to an exemplary embodiment.
  • the calculation of the frame feature point sequence matrix based on the optical flow tracking algorithm to obtain the motion vector of each frame includes:
  • S301 Perform optical flow tracking calculation on the frame feature point sequence matrix of each frame, and obtain an initial motion vector of each frame.
  • the pyramid optical flow tracking Lucas-Kanade (LK) algorithm can be used.
  • the tracking frame feature point i the Z i sequence matrix transform to the i + 1, the motion vector acquired Where the motion vector
  • LK Lucas-Kanade
  • dx i represents the Euclidean column offset from the i-th frame to the i+1-th frame
  • dy i represents the Euclidean row offset from the i-th frame to the i+1-th frame
  • dr i represents the Euclidean column offset from the i-th frame to the i+1-th frame Angle offset.
  • LK Lucas-Kanade
  • the initial motion vector of each frame obtained in step S301 Perform cumulative integral transformation to obtain the cumulative motion vector of each frame, denoted as Among them, the cumulative motion vector
  • the expression is:
  • a moving average window is used to convert the motion vector obtained in step S302 Perform smoothing to get the smoothed motion vector Its expression is:
  • n the total number of frames of the video
  • r the radius of the smoothing window
  • a moving average window with a very small computational cost is used to smooth the motion vector, instead of using complex calculations such as Kalman filtering, the computational cost can be further reduced without loss of accuracy. Improve real-time.
  • S304 Use the cumulative motion vector and the smoothed motion vector to adjust the initial motion vector of each frame to obtain the motion vector of each frame.
  • the adjusted motion vector obtained Participate in subsequent calculations as the motion vector of each frame, making the calculation result more accurate, even if the detection result of video jitter is more accurate.
  • Fig. 4 is a flow chart of obtaining the feature value of the video to be detected according to the motion vector of each frame according to an exemplary embodiment.
  • the obtaining the feature value of the video to be detected according to the motion vector of each frame includes:
  • S401 Combine the motion vectors of all frames into a matrix, and calculate the unbiased standard deviation of each element in the matrix.
  • the motion vectors of all frames obtained through the above steps are combined and converted into a matrix, for example, for the motion vector Convert to matrix
  • the specific calculation formula is as follows:
  • the unbiased standard deviation of each element in the matrix can be obtained by the above formula, denoted as ⁇ [ ⁇ (dx)], ⁇ [ ⁇ (dy)] and ⁇ [ ⁇ (dr)], where A represents the sample mean.
  • weights are set for the unbiased standard deviations of the above elements, and the unbiased standard deviations of each element are weighted and fused according to the weights.
  • the weights of the unbiased standard deviations of each element can be dynamically adjusted according to actual needs. . For example, if the weight of ⁇ [ ⁇ (dx)] is set to 3, the weight of ⁇ [ ⁇ (dy)] is 3, and the weight of ⁇ [ ⁇ (dr)] is set to 10, the fusion formula is as follows:
  • the characteristic value of the video S to be detected is the unbiased standard deviation of each element obtained in the above step and its weighted value, which is recorded as:
  • Fig. 5 is a schematic structural diagram of a device for detecting video jitter according to an exemplary embodiment. Referring to Fig. 5, the device includes:
  • the framing processing module is used to perform framing processing on the video to be detected to obtain a frame sequence
  • the feature point detection module is used to perform feature point detection on the frame sequence frame by frame, obtain feature points of each frame, and generate a frame feature point sequence matrix;
  • a vector calculation module configured to perform an operation on the frame feature point sequence matrix based on an optical flow tracking algorithm to obtain a motion vector of each frame;
  • the feature value extraction module is configured to obtain the feature value of the video to be detected according to the motion vector of each frame;
  • the jitter detection module is configured to use the feature value of the video to be detected as the input signal of the detection model to obtain an output signal through calculation, and determine whether the video to be detected jitters according to the output signal.
  • the device further includes:
  • the data preprocessing module includes:
  • a grayscale processing unit configured to perform grayscale processing on the sub-frame sequence to obtain a grayscale frame sequence
  • a denoising processing unit configured to perform denoising processing on the grayscale frame sequence
  • the feature point detection module is used to perform feature point detection on the preprocessed frame sequence frame by frame.
  • the feature point detection module is also used for:
  • feature point detection is performed on the frame sequence frame by frame, and feature points of each frame are obtained.
  • the vector calculation module includes:
  • the optical flow tracking unit is configured to perform optical flow tracking calculation on the frame feature point sequence matrix of each frame to obtain the initial motion vector of each frame;
  • a cumulative calculation unit configured to obtain a corresponding cumulative motion vector according to the initial motion vector
  • a smoothing processing unit configured to perform smoothing processing on the cumulative motion vector to obtain a smoothed motion vector
  • the vector adjustment unit is configured to use the accumulated motion vector and the smoothed motion vector to adjust the initial motion vector of each frame to obtain the motion vector of each frame.
  • the feature value extraction module includes:
  • a matrix conversion unit configured to merge and convert the motion vectors of all frames into a matrix
  • a standard deviation calculation unit for calculating the unbiased standard deviation of each element in the matrix
  • the weighted fusion unit is used to perform weighted fusion processing on the unbiased standard deviation of each element to obtain a weighted value.
  • the video jitter detection method and device obtained the motion vector of each frame according to the frame feature point sequence matrix based on the optical flow tracking algorithm, which effectively solves the problem of excessive changes between two adjacent frames.
  • the problem of tracking failure when the camera shake detection is performed under the condition of slow lens movement, it has good tolerance and adaptability, and it has good tolerance and adaptability.
  • the camera shake detection is performed under the conditions of sudden large displacement, strong shaking, large rotation, etc. When, it has good sensitivity and robustness;
  • the video jitter detection method and device use a feature point detection algorithm based on the fusion of FAST features and SURF features, that is, the feature point extraction algorithm is optimized, which takes into account the global features of the image, and is sufficient It retains its local features, and has low computational overhead, and is robust to blurred images and poor lighting conditions, which further improves the real-time and accuracy of detection;
  • the video jitter detection method and device provided by the embodiment of the present invention extract at least four dimensional features from the video to be detected, and use the SVM model as the detection model, so that the video jitter detection method provided by the embodiment of the present invention is more general
  • the chemistry is more advantageous, which further improves the accuracy of detection.
  • any solution of the present application does not necessarily need to achieve all the advantages described above at the same time.
  • the video jitter detection device provided in the above embodiment triggers the detection service
  • only the division of the above functional modules is used as an example for illustration.
  • the above functions can be allocated to different functional modules according to needs. Complete, that is, divide the internal structure of the device into different functional modules to complete all or part of the functions described above.
  • the video jitter detection device provided in the above embodiment and the video jitter detection method embodiment belong to the same concept, that is, the device is based on the video jitter detection method.
  • the specific implementation process please refer to the method embodiment. Repeat.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种视频抖动的检测方法及装置，该方法包括：对待检测视频进行分帧处理得到帧序列；对帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；基于光流跟踪算法对帧特征点序列矩阵进行运算得到每一帧的运动向量；根据每一帧的运动向量，获取待检测视频的特征值；将待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据输出信号判断所述待检测视频是否发生抖动。本发明通过特征点检测并对特征点采用光流跟踪算法，有效解决了相邻两帧之间变化过大导致的跟踪不上的问题，检测镜头突发大位移、强抖动、大旋转等情况下拍摄的视频时，具有很好的灵敏度和鲁棒性。

Description

一种视频抖动的检测方法及装置 技术领域
本发明涉及计算机视觉技术领域，特别涉及一种视频抖动的检测方法及装置。
背景技术
科技浪潮极大的改变了每一个人的生活，尺寸不断缩小，价格不断降低的诸如智能手机、数码摄像机、微单相机、单反相机等手持视频捕获设备，已经成为大多数人的生活必需品，全民摄像时代已经悄然来临。当人们享受使用手持视频捕获设备记录有趣和令人兴奋的时刻时，由于拍摄者的移动或无意识的晃动而导致镜头的不稳定运动，会使视频产生不规则抖动，从而导致记录的精彩片段的效果大打折扣，同时严重影响视频的后续处理。因此，视频抖动检测已经成为视频处理技术不可或缺的重要组成部分。
基于视频抖动检测是视频后期调整和处理的基础，研究人员在视频处理、视频稳像、计算机视觉等领域已经进行了大量基于视频分析的研究。尽管已有研究人员提出了若干种视频抖动检测方法，但是现有的检测算法准确度不高，有的对短时间内镜头大位移强抖动的条件下拍摄的视频不敏感，有的不适合旋转运动检测，有的不适合镜头缓慢移动的场景。例如，以下几种常用的视频抖动检测方法或多或少都存在一些缺陷：
1.块匹配法：目前视频稳像系统中最常用的一种算法。该方法将当前帧分成块，块内的每个像素都具有同一运动矢量，然后对每一块都在参考帧的特定范围内搜索最佳匹配，从而估计出视频序列的全局运动矢量。块匹配法通常需要分块，根据每块内的运动矢量估计全局运动矢量，那么检测某些特定场景视频抖动问题时效果不好，如一个画面中，画面分成4格，其中3格不动，1格中物 体在运动；另外块匹配法通常需要卡尔曼滤波对计算出的运动矢量进行处理，其计算开销大，实时性不好，无法适应短时间内镜头大位移强抖动的情景。
2.灰度投影法：基于图像中重合相似区域灰度分布一致性原理，利用相邻视频帧的局部灰度信息来求取矢量运动关系，该算法主要由不同区域行列两个方向的灰度投影相关计算组成。灰度投影法对只存在平移抖动的场景有效，无法估计旋转运动矢量。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种视频抖动的检测方法及装置，以克服现有技术中现有的检测算法准确度低，对短时间内镜头大位移强抖动的条件下拍摄的视频不敏感等问题。
为解决上述一个或多个技术问题，本发明采用的技术方案是：
一方面，提供了一种视频抖动的检测方法，该方法包括如下步骤：
对待检测视频进行分帧处理得到帧序列；
对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；
基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量；
根据所述每一帧的运动向量，获取所述待检测视频的特征值；
将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
进一步的，在进行特征点检测之前，所述方法还包括对所述帧序列进行预处理的步骤：
对所述帧序列进行灰度化处理，获取灰度化帧序列；
对所述灰度化帧序列进行去噪处理；
所述对所述帧序列逐帧进行特征点检测为对预处理后的帧序列逐帧进行特 征点检测。
进一步的，所述对所述帧序列逐帧进行特征点检测，获取每一帧的特征点包括：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
进一步的，所述基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量包括：
对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；
根据所述初始运动向量获取对应的累积运动向量；
对所述累积运动向量进行平滑处理，获取平滑后的运动向量；
利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
进一步的，所述根据所述每一帧的运动向量，获取所述待检测视频的特征值包括：
将所有帧的所述运动向量合并转化成矩阵，并计算所述矩阵中各元素的无偏标准差；
对所述各元素的无偏标准差进行加权融合处理，获取加权值；
将所述各元素的无偏标准差以及所述加权值作为所述待检测视频的特征值。
另一方面，提供了一种视频抖动的检测装置，所述装置包括：
分帧处理模块，用于对待检测视频进行分帧处理得到帧序列；
特征点检测模块，用于对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；
向量计算模块，用于基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量；
特征值提取模块，用于根据所述每一帧的运动向量，获取所述待检测视频 的特征值；
抖动检测模块，用于将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
进一步的，所述装置还包括：
数据预处理模块，用于对所述帧序列进行预处理的步骤；
所述数据预处理模块包括：
灰度处理单元，用于对所述分帧序列进行灰度化处理，获取灰度化帧序列；
去噪处理单元，用于对所述灰度化帧序列进行去噪处理；
所述特征点检测模块用于对预处理后的帧序列逐帧进行特征点检测。
进一步的，所述特征点检测模块还用于：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
进一步的，所述向量计算模块包括：
光流跟踪单元，用于对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；
累积计算单元，用于根据所述初始运动向量获取对应的累积运动向量；
平滑处理单元，用于对所述累积运动向量进行平滑处理，获取平滑后的运动向量；
向量调整单元，用于利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
进一步的，所述特征值提取模块包括：
矩阵转化单元，用于将所有帧的所述运动向量合并转化成矩阵；
标准差计算单元，用于计算所述矩阵中各元素的无偏标准差；
加权融合单元，用于对所述各元素的无偏标准差进行加权融合处理，获取加权值。
本发明实施例提供的技术方案带来的有益效果是：
1、本发明实施例提供的视频抖动的检测方法及装置，通过基于光流跟踪算法根据帧特征点序列矩阵获取每一帧的运动向量，有效解决了相邻两帧之间变化过大导致的跟踪不上的问题，对镜头缓慢移动条件下拍摄的视频进行抖动检测时，具有良好的宽容度和适应性，对镜头突发大位移、强抖动、大旋转等情况下拍摄的视频进行抖动检测时，具有很好的灵敏度和鲁棒性；
2、本发明实施例提供的视频抖动的检测方法及装置，采用基于FAST特征和SURF特征相融合的特征点检测算法，即对特征点提取算法进行了优化，既兼顾了图像全局特征，又充分保留了其局部特征，并且计算开销小，对图像模糊，光照条件不佳的鲁棒性强，进一步提升了检测的实时性和准确性；
3、本发明实施例提供的视频抖动的检测方法及装置，从待检测视频中至少提取4种维度特征，以及采用SVM模型作为检测模型，使得本发明实施例提供的视频抖动的检测方法的泛化性更具优势，进一步提高了检测的准确性。
当然，实施本申请的任一方案并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的视频抖动的检测方法的流程图；
图2是根据一示例性实施例示出的对所述帧序列进行预处理的流程图；
图3是根据一示例性实施例示出的基于光流跟踪算法对帧特征点序列矩阵进行运算得到每一帧的运动向量的流程图；
图4是根据一示例性实施例示出的根据每一帧的运动向量，获取待检测视频的特征值的流程图；
图5是根据一示例性实施例示出的视频抖动的检测装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据一示例性实施例示出的视频抖动的检测方法的流程图，参照图1所示，该方法包括如下步骤：
S1：对待检测视频进行分帧处理得到帧序列。
具体的，为了方便后续进行计算从而对待检测视频进行检测，获取到待检测视频(表示为S)后，首先需要先对待检测视频S进行分帧提取处理，获取与对待检测视频对应的帧序列，记为L i(i＝1，2，3，…，n)，其中，L i表示视频第i帧，n表示视频的总帧数。
S2：对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵。
具体的，在视频抖动检测中，需要在视频中选取当前帧，以及相邻的下一帧(或间隔N帧抽取下一帧)，并且在这两帧图像中需要获取相应的特征点，然后根据两帧的特征点进行相应的匹配，进而判断两帧之间是否发生偏移(抖动)。
具体实施时，使用特征点检测算法对处理后的帧序列L i(i＝1，2，3，…，n)逐帧进行特征点检测，获取每一帧的特征点(即提取每一帧图像的特征点)，生成帧特征点序列矩阵，假设用Z i(i＝1，2，…，n)表示，帧特征点序列矩阵可以具体表示如下：
Figure PCTCN2020095667-appb-000001
其中，
Figure PCTCN2020095667-appb-000002
表示第i帧矩阵第p行第q列的特征点检测结果，1为特征点，0为非特征点，p表示矩阵行数，q表示矩阵列数。
S3：基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量。
具体的，采用光流跟踪算法对帧特征点序列矩阵进行光流跟踪计算，即跟踪当前帧中的特征点到下一帧的变换。例如，跟踪第i帧中的特征点序列矩阵Z i到第i+1帧的变换，获取运动向量
Figure PCTCN2020095667-appb-000003
运动向量
Figure PCTCN2020095667-appb-000004
的表达式为：
Figure PCTCN2020095667-appb-000005
其中，dx i表示第i到第i+1帧的欧氏列偏移；dy i表示第i到第i+1帧的欧氏行偏移；dr i表示第i到第i+1帧的角度偏移
S4：根据所述每一帧的运动向量，获取所述待检测视频的特征值。
具体的，现有技术中通常采用3种维度的特征值，而本发明实施例中，提取的特征值至少包括4种维度的特征值。相对现有技术增加了1种特征值维度，使得本发明实施例提供的视频抖动的检测方法的泛化性更具优势，进一步提升检测的准确性。
S5：将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
具体的，将上述步骤获取到的待检测视频的特征值作为输入信号输入到检测 模型中进行运算，获取输出信号，并根据输出信号判断待检测视频是否发生抖动。这里需要说明的是，本发明实施例中的检测模型是预先训练好的。具体训练时，可以采用本发明实施例中的方法对选取的训练数据集中的样本视频数据进行相应处理，获取样本视频数据的特征值。根据样本视频数据的特征值以及样本视频数据对应的标注结果，对检测模型进行训练，直到模型训练完成，获取最终的检测模型。
例如，假设将带有标注的抖动视频数据集中的第m个视频样本，经过上述步骤的处理，提取得到第m个视频样本的特征值。即先对第m个视频样本进行分帧处理得到帧序列，然后对帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵，接着基于光流跟踪算法对帧特征点序列矩阵进行运算得到每一帧的运动向量，最后根据每一帧的运动向量，获取第m个视频样本的特征值。将运动向量进行维度转化后计算得到的各元素的无偏标准差以及其加权融合值，分别表示为σ[λ(dx)] m、σ[λ(dy)] m、σ[λ(dr)] m和κ m，并提取第m个视频样本的标注结果y m(若y m＝0表示视频样本不发生抖动，若y m＝1表示视频样本发生抖动)，得到第m个视频样本的训练样本，其可以表示如下：
{σ[λ(dx)] m σ[λ(dy)] m σ[λ(dr)] m κ m y m} (m)
视频样本采用至少5种维度特征，与现有技术中通常采用的3种维度特征(通常采用相邻帧平移量的平均值、方差、平移向量夹角的平均值)相比，泛化性更具优势，进一步提高了检测的准确性。另外，作为一种较优的实施方式，本发明实施例中，检测模型可以选取SVM模型，即将通过上述步骤获取的待检测视频的特征值输入到训练好的SVM模型中，获取输出结果。若输出结果为0，则表示待检测视频不发生抖动，若输出结果为1，则表示待检测视频发生抖动。采用可训练的SVM模型作为视频抖动判决器，能够对于不同场景的视频进行抖动检测，且采用该模型后，泛化性更好，检测的准确率更高。
图2是根据一示例性实施例示出的对所述帧序列进行预处理的流程图，参 照图2所示，作为一种较优的实施方式，本发明实施例中，在进行特征点检测之前，所述方法还包括对所述帧序列进行预处理的步骤：
S101：对所述帧序列进行灰度化处理，获取灰度化帧序列；
具体的，由于灰度空间只包含亮度信息，不含彩色信息，灰度化之后图像信息量大幅减少，因此，为了减少后续参与计算的信息量，方便后续计算，本发明实施例中，还对上述步骤得到的帧序列L i(i＝1，2，3，…，n)进行灰度化处理，得到灰度化帧序列，记为G i(i＝1，2，3，…，n)，其中，灰度转换公式如下：
G＝R×0.299+G×0.587+B×0.114
S102：对所述灰度化帧序列进行去噪处理。
具体的，为了有效抑制噪点(即非特征点)对后续步骤产生影响，提高检测的准确度，还需对灰度化帧序列进行去噪处理，具体实施时，可以采用基于全变分模型的TV去噪方法，对灰度化帧序列G i(i＝1，2，3，…，n)进行去噪处理，得到去噪后的帧序列，即待检测视频对应的预处理后的帧序列，记为T i(i＝1，2，3，…，n)。这里需要说明的是，本发明实施例中，去噪方法可以任意选取，这里对此不做限制。
所述对所述帧序列逐帧进行特征点检测为对预处理后的帧序列逐帧进行特征点检测。
作为一种较优的实施方式，本发明实施例中，所述对所述帧序列逐帧进行特征点检测，获取每一帧的特征点包括：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
具体的，由于视频抖动的检测算法的准确性会受到特征点提取以及匹配技术的影响，也就是说，特征点提取算法的性能会直接影响视频抖动的检测算法的准确性，因此本发明实施例中，对特征点提取算法进行优化。作为一种较优的实施方式，采用基于FAST特征和SURF特征相融合的特征点检测算法。其中， SURF算法是基于SIFT算法的改进，SIFT是一种鲁棒性好、尺度不变的特征描述方法，SURF算法保持其优点的同时，改善了SIFT算法计算数据量大、时间复杂度高、算法耗时长的问题。并且SURF在光照变化和视角变化不变性方面的性能更良好，尤其对图像严重模糊和旋转处理得非常好，且其描述图像局部特征性能良好。FAST特征检测是一种角点检测方法，该算法最突出的优点是它的计算效率，并且可以很好的描述图像全局特征。因此，采用基于FAST特征和SURF特征相融合的特征点检测算法进行特征点提取，既兼顾了图像全局特征，又充分保留了其局部特征，并且计算开销小，对图像模糊，光照条件不佳的鲁棒性强，进一步提升了检测的实时性和准确性。
图3是根据一示例性实施例示出的基于光流跟踪算法对帧特征点序列矩阵进行运算得到每一帧的运动向量的流程图，参照图3所示，作为一种较优的实施方式，本发明实施例中，所述基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量包括：
S301：对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量。
具体的，在对帧特征点序列矩阵进行光流跟踪计算时，可以利用金字塔光流跟踪Lucas-Kanade(LK)算法。例如，跟踪第i帧中的特征点序列矩阵Z i到第i+1帧的变换，获取运动向量
Figure PCTCN2020095667-appb-000006
其中，运动向量
Figure PCTCN2020095667-appb-000007
的表达式为：
Figure PCTCN2020095667-appb-000008
其中，dx i表示第i到第i+1帧的欧氏列偏移；dy i表示第i到第i+1帧的欧氏行偏移；dr i表示第i到第i+1帧的角度偏移。
利用金字塔光流跟踪Lucas-Kanade(LK)算法利用金字塔迭代结构，可以有效的解决由于A帧(假设为当前帧)特征点到B帧(假设为下一帧)特征点 变化过大导致跟踪不上的问题，为本发明实施例提供的视频抖动的检测方法处理在镜头突发大位移、强抖动、大旋转情况下拍摄的视频时，提高其抖动检测的灵敏度和鲁棒性奠定了基础。
S302：根据所述初始运动向量获取对应的累积运动向量。
具体的，对步骤S301中获取到的每一帧的初始运动向量
Figure PCTCN2020095667-appb-000009
进行累积积分变换，获取每一帧的累积运动向量，记为
Figure PCTCN2020095667-appb-000010
其中，累积运动向量
Figure PCTCN2020095667-appb-000011
的表达式为：
Figure PCTCN2020095667-appb-000012
S303：对所述累积运动向量进行平滑处理，获取平滑后的运动向量。
具体的，使用滑动平均窗口将步骤S302中得到的运动向量
Figure PCTCN2020095667-appb-000013
进行平滑处理，得到平滑后的运动向量
Figure PCTCN2020095667-appb-000014
其表达式为：
Figure PCTCN2020095667-appb-000015
其中，n表示视频的总帧数；平滑窗口半径为r，其表达式为：
Figure PCTCN2020095667-appb-000016
其中，μ指的是滑动窗口的参数，且μ的值为正数，μ的具体数值可以根据实际需求动态调整，例如，作为一种较优的实施方式，可以设置μ＝30。
本发明实施例中，使用计算开销非常小的滑动平均窗口对运动向量进行平滑处理，而没有采用具有复杂计算的卡尔曼滤波等处理，可以在不损失准确性的前提下，进一步减少计算开销，提升实时性。
S304：利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
具体的，利用上述步骤S302、S303中得到的
Figure PCTCN2020095667-appb-000017
对步骤S301中的
Figure PCTCN2020095667-appb-000018
进行调整，得到调整后的运动向量
Figure PCTCN2020095667-appb-000019
其表达式为：
Figure PCTCN2020095667-appb-000020
将获取到的调整后的运动向量
Figure PCTCN2020095667-appb-000021
作为每一帧的运动向量参与后续计算，使得计算结果更准确，即使视频抖动的检测结果更准确。
图4是根据一示例性实施例示出的根据每一帧的运动向量，获取待检测视频的特征值的流程图，参照图4所示，作为一种较优的实施方式，本发明实施例中，所述根据所述每一帧的运动向量，获取所述待检测视频的特征值包括：
S401：将所有帧的所述运动向量合并转化成矩阵，并计算所述矩阵中各元素的无偏标准差。
具体的，首先将通过上述步骤获取到的所有帧的运动向量合并转化成矩阵，例如，对于运动向量
Figure PCTCN2020095667-appb-000022
转化成矩阵
Figure PCTCN2020095667-appb-000023
的形式，并按行计算其元素的无偏标准差，具体计算公式如下：
Figure PCTCN2020095667-appb-000024
通过以上公式可以得到矩阵中各元素无偏标准差，分别记为σ[λ(dx)]、σ[λ(dy)]和σ[λ(dr)]，其中A表示样本均值。
S402：对所述各元素的无偏标准差进行加权融合处理，获取加权值。
具体的，根据实际需求，给上述各元素的无偏标准差设置权重，根据权重对各元素的无偏标准差进行加权融合处理，其中各元素的无偏标准差的权重可以根据实际需求动态调整。例如，设置σ[λ(dx)]的权重为3、σ[λ(dy)]的权重为3、σ[λ(dr)]的权重为10，则融合公式如下：
κ＝3σ[λ(dx)]+3σ[λ(dy)]+10σ[λ(dr)]
S403：将所述各元素的无偏标准差以及所述加权值作为所述待检测视频的特征值。
具体的，本发明实施例中，待检测视频S的特征值为上述步骤获取到的各元素的无偏标准差以及其加权值，记为：
{σ[λ(dx)] s σ[λ(dy)] s σ[λ(dr)] s κ s} (s)|
图5是根据一示例性实施例示出的视频抖动的检测装置的结构示意图，参照图5所示，该装置包括：
分帧处理模块，用于对待检测视频进行分帧处理得到帧序列；
特征点检测模块，用于对所述帧序列逐帧进行特征点检测，获取每一帧的 特征点，并生成帧特征点序列矩阵；
向量计算模块，用于基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量；
特征值提取模块，用于根据所述每一帧的运动向量，获取所述待检测视频的特征值；
抖动检测模块，用于将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
作为一种较优的实施方式，本发明实施例中，所述装置还包括：
数据预处理模块，用于对所述帧序列进行预处理的步骤；
所述数据预处理模块包括：
灰度处理单元，用于对所述分帧序列进行灰度化处理，获取灰度化帧序列；
去噪处理单元，用于对所述灰度化帧序列进行去噪处理；
所述特征点检测模块用于对预处理后的帧序列逐帧进行特征点检测。
作为一种较优的实施方式，本发明实施例中，所述特征点检测模块还用于：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
作为一种较优的实施方式，本发明实施例中，所述向量计算模块包括：
光流跟踪单元，用于对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；
累积计算单元，用于根据所述初始运动向量获取对应的累积运动向量；
平滑处理单元，用于对所述累积运动向量进行平滑处理，获取平滑后的运动向量；
向量调整单元，用于利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
作为一种较优的实施方式，本发明实施例中，所述特征值提取模块包括：
矩阵转化单元，用于将所有帧的所述运动向量合并转化成矩阵；
标准差计算单元，用于计算所述矩阵中各元素的无偏标准差；
加权融合单元，用于对所述各元素的无偏标准差进行加权融合处理，获取加权值。
综上所述，本发明实施例提供的技术方案带来的有益效果是：
1、本发明实施例提供的视频抖动的检测方法及装置，通过基于光流跟踪算法根据帧特征点序列矩阵获取每一帧的运动向量，有效解决了相邻两帧之间变化过大导致的跟踪不上的问题，对镜头缓慢移动条件下拍摄的视频进行抖动检测时，具有良好的宽容度和适应性，对镜头突发大位移、强抖动、大旋转等情况下拍摄的视频进行抖动检测时，具有很好的灵敏度和鲁棒性；
2、本发明实施例提供的视频抖动的检测方法及装置，采用基于FAST特征和SURF特征相融合的特征点检测算法，即对特征点提取算法进行了优化，既兼顾了图像全局特征，又充分保留了其局部特征，并且计算开销小，对图像模糊，光照条件不佳的鲁棒性强，进一步提升了检测的实时性和准确性；
3、本发明实施例提供的视频抖动的检测方法及装置，从待检测视频中至少提取4种维度特征，以及采用SVM模型作为检测模型，使得本发明实施例提供的视频抖动的检测方法的泛化性更具优势，进一步提高了检测的准确性。
当然，实施本申请的任一方案并不一定需要同时达到以上所述的所有优点。需要说明的是：上述实施例提供的视频抖动的检测装置在触发检测业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频抖动的检测装置与视频抖动的检测方法实施例属于同一构思，即该装置是基于该视频抖动的检测方法的，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或 光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种视频抖动的检测方法，其特征在于，所述方法包括如下步骤：
    对待检测视频进行分帧处理得到帧序列；
    对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；
    基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量；
    根据所述每一帧的运动向量，获取所述待检测视频的特征值；
    将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
  2. 根据权利要求1所述的视频抖动的检测方法，其特征在于，在进行特征点检测之前，所述方法还包括对所述帧序列进行预处理的步骤：
    对所述帧序列进行灰度化处理，获取灰度化帧序列；
    对所述灰度化帧序列进行去噪处理；
    所述对所述帧序列逐帧进行特征点检测为对预处理后的帧序列逐帧进行特征点检测。
  3. 根据权利要求1或2所述的视频抖动的检测方法，其特征在于，所述对所述帧序列逐帧进行特征点检测，获取每一帧的特征点包括：
    采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
  4. 根据权利要求1或2所述的视频抖动的检测方法，其特征在于，所述基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量包括：
    对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；
    根据所述初始运动向量获取对应的累积运动向量；
    对所述累积运动向量进行平滑处理，获取平滑后的运动向量；
    利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
  5. 根据权利要求1或2所述的视频抖动的检测方法，其特征在于，所述根据所述每一帧的运动向量，获取所述待检测视频的特征值包括：
    将所有帧的所述运动向量合并转化成矩阵，并计算所述矩阵中各元素的无偏标准差；
    对所述各元素的无偏标准差进行加权融合处理，获取加权值；
    将所述各元素的无偏标准差以及所述加权值作为所述待检测视频的特征值。
  6. 一种视频抖动的检测装置，其特征在于，所述装置包括：
    分帧处理模块，用于对待检测视频进行分帧处理得到帧序列；
    特征点检测模块，用于对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；
    向量计算模块，用于基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量；
    特征值提取模块，用于根据所述每一帧的运动向量，获取所述待检测视频的特征值；
    抖动检测模块，用于将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
  7. 根据权利要求6所述的视频抖动的检测装置，其特征在于，所述装置还包括：
    数据预处理模块，用于对所述帧序列进行预处理的步骤；
    所述数据预处理模块包括：
    灰度处理单元，用于对所述分帧序列进行灰度化处理，获取灰度化帧序列；
    去噪处理单元，用于对所述灰度化帧序列进行去噪处理；
    所述特征点检测模块用于对预处理后的帧序列逐帧进行特征点检测。
  8. 根据权利要求6或7所述的视频抖动的检测装置，其特征在于，所述特征点检测模块还用于：
    采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
  9. 根据权利要求6或7所述的视频抖动的检测装置，其特征在于，所述向量计算模块包括：
    光流跟踪单元，用于对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；
    累积计算单元，用于根据所述初始运动向量获取对应的累积运动向量；
    平滑处理单元，用于对所述累积运动向量进行平滑处理，获取平滑后的运动向量；
    向量调整单元，用于利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
  10. 根据权利要求6或7所述的视频抖动的检测装置，其特征在于，所述特征值提取模块包括：
    矩阵转化单元，用于将所有帧的所述运动向量合并转化成矩阵；
    标准差计算单元，用于计算所述矩阵中各元素的无偏标准差；
    加权融合单元，用于对所述各元素的无偏标准差进行加权融合处理，获取加权值。
PCT/CN2020/095667 2019-06-21 2020-06-11 一种视频抖动的检测方法及装置 WO2020253618A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CA3172605A CA3172605C (en) 2019-06-21 2020-06-11 Video jitter detection method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910546465.XA CN110248048B (zh) 2019-06-21 2019-06-21 一种视频抖动的检测方法及装置
CN201910546465.X 2019-06-21

Publications (1)

Publication Number Publication Date
WO2020253618A1 true WO2020253618A1 (zh) 2020-12-24

Family

ID=67888794

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/095667 WO2020253618A1 (zh) 2019-06-21 2020-06-11 一种视频抖动的检测方法及装置

Country Status (3)

Country Link
CN (1) CN110248048B (zh)
CA (1) CA3172605C (zh)
WO (1) WO2020253618A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155254A (zh) * 2021-12-09 2022-03-08 成都智元汇信息技术股份有限公司 基于图像校正的切图方法、电子设备及介质
CN115103084A (zh) * 2022-06-27 2022-09-23 北京华录新媒信息技术有限公司 一种基于光流的vr视频稳定方法
CN117152214A (zh) * 2023-08-30 2023-12-01 哈尔滨工业大学 一种基于改进光流检测的缺陷识别方法
CN117576692A (zh) * 2024-01-17 2024-02-20 大连云智信科技发展有限公司 基于图像识别的畜牧业水源污染检测方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248048B (zh) * 2019-06-21 2021-11-09 苏宁云计算有限公司 一种视频抖动的检测方法及装置
CN110971895B (zh) 2019-12-18 2022-07-08 北京百度网讯科技有限公司 视频抖动检测方法和装置
CN111614895B (zh) * 2020-04-30 2021-10-29 惠州华阳通用电子有限公司 一种图像成像抖动补偿方法、系统及设备
CN112887708A (zh) * 2021-01-22 2021-06-01 北京锐马视讯科技有限公司 视频抖动检测方法和装置、设备及存储介质
CN113115109B (zh) * 2021-04-16 2023-07-28 深圳市帧彩影视科技有限公司 视频处理方法、装置、电子设备及存储介质
CN116193257B (zh) * 2023-04-21 2023-09-22 成都华域天府数字科技有限公司 一种消除手术视频图像画面抖动的方法
CN117969554B (zh) * 2024-01-25 2024-09-03 陕西科技大学 一种管道缺陷检测机器人及检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826032A (zh) * 2013-11-05 2014-05-28 四川长虹电器股份有限公司 深度图后期处理方法
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN104301712A (zh) * 2014-08-25 2015-01-21 浙江工业大学 一种基于视频分析的监控摄像头抖动检测方法
CN108292362A (zh) * 2016-01-05 2018-07-17 英特尔公司 用于光标控制的手势识别
JP2019020839A (ja) * 2017-07-12 2019-02-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN110248048A (zh) * 2019-06-21 2019-09-17 苏宁云计算有限公司 一种视频抖动的检测方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101511024A (zh) * 2009-04-01 2009-08-19 北京航空航天大学 实时电子稳像中基于运动状态识别的运动补偿方法
US9055223B2 (en) * 2013-03-15 2015-06-09 Samsung Electronics Co., Ltd. Digital image stabilization method and imaging device using the same
CN104144283B (zh) * 2014-08-10 2017-07-21 大连理工大学 一种基于改进的卡尔曼滤波的实时数字视频稳像方法
CN105681663B (zh) * 2016-02-26 2018-06-22 北京理工大学 一种基于帧间运动几何平滑性的视频抖动检测方法
JP6823469B2 (ja) * 2017-01-20 2021-02-03 キヤノン株式会社 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
US10491832B2 (en) * 2017-08-16 2019-11-26 Qualcomm Incorporated Image capture device with stabilized exposure or white balance
CN108366201B (zh) * 2018-02-12 2020-11-06 天津天地伟业信息系统集成有限公司 一种基于陀螺仪的电子防抖方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826032A (zh) * 2013-11-05 2014-05-28 四川长虹电器股份有限公司 深度图后期处理方法
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN104301712A (zh) * 2014-08-25 2015-01-21 浙江工业大学 一种基于视频分析的监控摄像头抖动检测方法
CN108292362A (zh) * 2016-01-05 2018-07-17 英特尔公司 用于光标控制的手势识别
JP2019020839A (ja) * 2017-07-12 2019-02-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN110248048A (zh) * 2019-06-21 2019-09-17 苏宁云计算有限公司 一种视频抖动的检测方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155254A (zh) * 2021-12-09 2022-03-08 成都智元汇信息技术股份有限公司 基于图像校正的切图方法、电子设备及介质
CN114155254B (zh) * 2021-12-09 2022-11-08 成都智元汇信息技术股份有限公司 基于图像校正的切图方法、电子设备及介质
CN115103084A (zh) * 2022-06-27 2022-09-23 北京华录新媒信息技术有限公司 一种基于光流的vr视频稳定方法
CN117152214A (zh) * 2023-08-30 2023-12-01 哈尔滨工业大学 一种基于改进光流检测的缺陷识别方法
CN117576692A (zh) * 2024-01-17 2024-02-20 大连云智信科技发展有限公司 基于图像识别的畜牧业水源污染检测方法
CN117576692B (zh) * 2024-01-17 2024-03-29 大连云智信科技发展有限公司 基于图像识别的畜牧业水源污染检测方法

Also Published As

Publication number Publication date
CN110248048A (zh) 2019-09-17
CN110248048B (zh) 2021-11-09
CA3172605A1 (en) 2020-12-24
CA3172605C (en) 2024-01-02

Similar Documents

Publication Publication Date Title
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
WO2020192483A1 (zh) 图像显示方法和设备
US10121229B2 (en) Self-portrait enhancement techniques
US9615039B2 (en) Systems and methods for reducing noise in video streams
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
WO2020199831A1 (zh) 图像处理模型的训练方法、图像处理方法、网络设备及存储介质
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
WO2020259474A1 (zh) 追焦方法、装置、终端设备、计算机可读存储介质
US9307148B1 (en) Video enhancement techniques
US11303793B2 (en) System and method for high-resolution, high-speed, and noise-robust imaging
WO2021057294A1 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
WO2021082883A1 (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN111798485B (zh) 一种利用imu增强的事件相机光流估计方法及系统
WO2020171379A1 (en) Capturing a photo using a mobile device
WO2023169281A1 (zh) 图像配准方法、装置、存储介质及电子设备
CN108111760B (zh) 一种电子稳像方法及系统
CN116486250A (zh) 一种基于嵌入式的多路图像采集与处理方法及系统
KR101202642B1 (ko) 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
CN114429191A (zh) 基于深度学习的电子防抖方法、系统及存储介质
TW201523516A (zh) 移動攝影機之畫面穩定方法
JP2022099120A (ja) 被写体追尾装置およびその制御方法
WO2023185096A1 (zh) 图像模糊度的确定方法及其相关设备
CN117575966B (zh) 一种用于无人机高空悬停拍摄场景的视频稳像方法
TW202338734A (zh) 用於處理影像資料的方法及影像處理器單元

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20826293

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20826293

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3172605

Country of ref document: CA

122 Ep: pct application non-entry in european phase

Ref document number: 20826293

Country of ref document: EP

Kind code of ref document: A1