WO2017000465A1 - 矿井无线分布式视频编码中的关键帧实时选取方法 - Google Patents

矿井无线分布式视频编码中的关键帧实时选取方法 Download PDF

Info

Publication number
WO2017000465A1
WO2017000465A1 PCT/CN2015/094145 CN2015094145W WO2017000465A1 WO 2017000465 A1 WO2017000465 A1 WO 2017000465A1 CN 2015094145 W CN2015094145 W CN 2015094145W WO 2017000465 A1 WO2017000465 A1 WO 2017000465A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
frame
image
frames
similarity
Prior art date
Application number
PCT/CN2015/094145
Other languages
English (en)
French (fr)
Inventor
程德强
李雷达
刘海
张国鹏
陈伟
郭星歌
Original Assignee
中国矿业大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国矿业大学 filed Critical 中国矿业大学
Publication of WO2017000465A1 publication Critical patent/WO2017000465A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Definitions

  • the invention relates to a real-time selection method of key frames, in particular to a real-time selection method of key frames in a mine wireless distributed video coding.
  • the wireless video sensor network utilizes a large number of energy-constrained micro-nodes to collect, transmit and process real-time image information of the mine environment, so that ground experts and decision-makers can understand the rescue scene in real time and make scientific decision-making and command.
  • the distributed video coding adopts the "intra-frame coding + inter-frame decoding” technology, and the "inter-frame prediction decoding” is performed by exploiting the correlation of the video signal at the decoding end, thereby removing the complicated frame at the encoding end. Inter-prediction, with low complexity coding, can better meet the needs of terminal video coding and communication.
  • distributed video coding has inherent resistance to channel errors compared to conventional video coding for wireless transmission environments filled with noise and electromagnetic interference in mines.
  • the prediction accuracy of decoding side information is an important factor affecting the rate distortion performance of distributed video coding.
  • the selection of decoding key frames in distributed video coding will greatly affect the quality of side information generation. Affects the decoding effect of distributed video coding.
  • the existing key frame selection method is challenged in the high noise and packet loss channel of mine roadway. The performance is as follows: In the distributed video coding of mine, the selection of key frames not only reflects the change of the main information content of the video in the surveillance area. It is also necessary to avoid extracting too many redundant key frames to bring additional network load to the mine bandwidth-limited wireless network during the encoding transmission; in addition, considering the explosive industrial environment of the mine, it must also have lower computational complexity. Meet the real-time processing of mine low-power hardware in a flammable and explosive environment.
  • Key frame selection is mainly applied to video content retrieval and distributed video coding.
  • the main methods are: lens segmentation based method, image content analysis based method, motion analysis based method, and clustering based method.
  • lens segmentation based method based on the method of lens segmentation, for video content with large content changes and intense motion, a single image frame cannot fully describe the content of the lens, and some important content in the video will be lost; the method based on image content analysis will be selected. More key frames cause redundancy.
  • the selection of the screening threshold of key frames and the selection of the underlying features also have an impact on the selection performance of key frames.
  • the method based on motion analysis requires a very large amount of computation when calculating the amount of motion in the video.
  • the robustness is not strong; based on the clustering method, the image frames are assigned to different classes according to a certain similarity, so that the selected key frames are not retained in time series.
  • the order leads to the inability to understand the dynamic information of the video by observing key frames, and its application in distributed video coding is limited. This shows that the current score
  • the key frame selection method is mainly used in the key frame selection, and the inter-frame correlation is not considered, which is not conducive to efficient video in the mine limited bandwidth and high noise environment.
  • Coding mainly as follows: For the relatively flat part of the video sequence, too many key frames are selected, which consumes a large amount of mine wireless network resources and imposes a great processing burden on the transmission node; In the case of mutation, the periodic selection of key frames is not enough to generate high-quality edge information frames, which reduces the image reconstruction quality at the decoding end.
  • an object of the present invention is to provide a real-time selection method for key frames in mine wireless distributed video coding, which can realize dynamic and low-complexity reflection of dynamic changes of monitoring image content, and effectively solve mine wireless distributed. Key frame selection problems in video coding in real time.
  • a key frame real-time selection method in mine wireless distributed video coding characterized in that the method comprises the following steps: 1) constructing an incremental variation curve of inter-frame characteristics :1.1) Acquire the video sequence and extract the global features and local features of the image; wherein the color features of the image are used as indicators to measure the global features of the image; the feature points are used as local features of the image; 1.2) According to the global and local features of the image Calculate the comprehensive feature similarity of the image; 1.3) Construct the incremental variation curve of the inter-frame feature difference according to the image comprehensive feature similarity: take the frame number I as the abscissa and the cumulative value D of the comprehensive feature similarity between the image frames as the ordinate. The incremental curve of the difference between the image frames is drawn. 2) After the incremental curve of the feature difference between frames is obtained, the key frame real-time selection algorithm in the mine wireless distributed video coding is used to realize the fast adaptive selection of key frames.
  • the global features of the image are preferably described using a color histogram, and the simplified SURF feature describes the local features of the image.
  • L represents the number of bits of the one-dimensional histogram vector, with Representing the number of occurrences of a certain level in the HSV histogram of the kth frame and the k-1th frame image in the sequence, Indicates the number of two histograms shared in the same level, and d' is the normalized color feature similarity.
  • the local feature commensuration calculation method is as follows: (i) determining the corresponding transformed image by approximating the Hessian matrix determinant of each pixel in the original image, and searching for the feature point on the transformed image, which will be found The position of the feature points is inversely mapped into the original image; (ii) the feature points are initially determined by the non-maximum value suppression method; (iii) the three-dimensional linear interpolation method is used to interpolate the known discrete space points to obtain the pole of the continuous space.
  • the key frame real-time selection algorithm comprises the following steps: 2.1) initializing the first frame as a key frame in the initial stage of encoding, and selecting a sliding window width according to the initial key frame, that is, what can be accommodated The maximum number of video frames N max ; 2.2) sequentially send the subsequent video frames into the sliding window, calculate the cumulative average change increment of the image frames, and select the key frames according to the incremental similarity relationship between the adjacent frames. And output.
  • the inter-frame feature cumulative average change increment d ave (k) is:
  • d i,i-1 is the inter-frame comprehensive similarity between the ith frame and its previous frame
  • d ave (k) is the current key frame to the subsequent k - th frame
  • the cumulative average change of the inter-frame features of all frames increases. the amount.
  • d k,k-1 ⁇ d ave (k) it means that the comprehensive similarity between the frame of the kth frame and the previous frame is high, and it is necessary to continue to perform key frame determination backward, and the sliding window width is increased by 1, And return to step 2.2); if the sliding window width maximum value N max , d k, k-1 ⁇ d ave (k) is still true, the video image content is slowly changed or still, according to the inter-frame comprehensive similarity The variation law of the incremental variation curve of the feature difference between frames.
  • the present invention has the following advantages due to the above technical solution: 1.
  • the present invention uses the global features and local features of the image to jointly describe the similarity between adjacent frames in the video frame sequence, thereby reflecting the change of the main information content of the video in the monitoring area. At the same time, avoiding the extraction of too many redundant keyframes brings additional network load to the mine bandwidth-limited wireless network during the encoding transmission.
  • the invention constructs an incremental variation curve of inter-frame feature difference based on the difference of similar feature similarity of adjacent frames, and satisfies the key frame selection strategy of real-time processing requirements of the mine.
  • the key frame selection window can be adaptively adjusted to satisfy the image.
  • the invention overcomes the application limitation of the existing key frame selection method in the high noise and packet loss channel of the mine roadway, and provides a solution for real-time selection of key frames in the mine wireless distributed video coding.
  • the present invention utilizes the comprehensive feature similarity to construct an incremental variation curve of the feature difference between frames, which not only can reflect the intensity of image content variation between frames, but also has the function of traditional inter-frame feature difference curve, and can also reflect the characteristics of inter-frame. Cumulative changes.
  • Figure 1 is a schematic overall flow chart of the present invention
  • FIG. 2 is a schematic diagram of an incremental variation curve of inter-frame feature difference according to the present invention.
  • FIG. 3 is a schematic diagram showing a variation rule of an incremental variation curve of inter-frame feature difference when the video image content of the present invention changes slowly;
  • FIG. 4 is a schematic diagram showing changes in the variation curve of the feature difference between frames when the content of the video image is greatly changed.
  • the present invention provides a real-time selection method for key frames in mine wireless distributed video coding, which comprises the following steps: for a low-illumination, severe electromagnetic interference, flammable and explosive physical environment.
  • the key frame real-time selection algorithm in mine wireless distributed video coding is used to realize the fast adaptive selection of key frames: according to the image change content, adjust the key frame to extract the sliding window size and The key frame selection threshold is used to achieve fast adaptive selection of key frames.
  • the incremental variation curve of the inter-frame characteristics is constructed as follows:
  • image features are: color features, texture features, shape features, and spatial relationship features. Since the color feature of the image is not sensitive to the size, rotation, translation, etc. of the image itself, the robustness is high.
  • the invention adopts the color feature of the image as an index to measure the global feature of the image, thereby realizing a fast and effective description of the downhole video image.
  • the color features are: grayscale features, color histogram features, color moment features, color sets, and color space vectors.
  • the present invention adopts the feature point as the local feature of the image.
  • Local features represent some important locations in the image and reflect the local information of the image very well.
  • the image feature point extraction operator has Moravec operator, SUSAN operator and Harris operator, SIFT feature point and SURF feature point.
  • the present invention uses the color histogram and the simplified SURF feature to describe the global features and local features of the image respectively, and through the subsequent comprehensive feature similarity calculation, provides real-time and fast data support for the incremental variation curve of the inter-frame characteristics.
  • the RGB color space mathematical model can not directly reflect the human visual perception, while the visual perception-oriented color space model is more intuitive to explain the color and conforms to the human visual perception characteristics. Therefore, the present invention selects HSV color model for visual perception.
  • the hue H space is divided into 8 parts, and the saturation S and the brightness V space are respectively divided into 3 parts, as shown in the following formula.
  • Q s represents the number of quantization steps of saturation S
  • Q v represents the number of quantization steps of luminance V.
  • L represents the number of bits of the one-dimensional histogram vector, with Representing the number of occurrences of a certain level in the HSV histogram of the kth frame and the k-1th frame image in the sequence, Indicates the number of two histograms shared in the same level, and d' is the normalized color feature similarity.
  • the Hessian matrix is used for SIFT feature points and SURF feature point extraction.
  • (iv) Construct a feature point description operator, centering on the feature point, dividing the area of size 20 ⁇ ( ⁇ is the scale at which the feature point is located) into 4*4 sub-areas, and counting 25 pixels in each sub-area
  • the horizontal and vertical Haar wavelets respond to dx, dy (horizontal and vertical directions are relative to the main direction of the feature points determined in step (iii)), resulting in a 4-dimensional vector ( ⁇ d x , ⁇ d y , ⁇
  • ), due to a total of 16 sub-regions, a 16*4 64-dimensional vector is finally formed, and this vector is used as a feature point feature description.
  • the global feature similarity and the local feature similarity weight can be selected according to the image color condition. If the image is rich in color, the global feature similarity weight d' can be increased, and vice versa.
  • the inter-frame feature difference incremental curve has the following advantages:
  • the key frame real-time selection algorithm includes the following steps:
  • the subsequent video frames are sequentially sent to the sliding window, and the cumulative average change increments of the image frames are calculated, and the key frames are selected and output according to the integrated similarity relationship between the adjacent two frames.
  • the inter-frame feature cumulative average change increment d ave (k) is:
  • d i,i-1 is the inter-frame comprehensive similarity of the ith frame and its previous frame (ie i-1 frame);
  • d ave (k) is the current key frame to the subsequent kth frame, all frames Inter-frame feature cumulative average change increment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种矿井无线分布式视频编码中的关键帧实时选取方法，其步骤：构建帧间特性的增量变化曲线：获取视频序列，并提取图像的全局特征和局部特征；采用图像的颜色特征作为衡量图像全局特征的指标；采用特征点作为图像局部特征；根据图像的全局特征和局部特征计算图像综合特征相似度；根据图像综合特征相似度构建帧间特征差增量变化曲线：以帧号为横坐标，以图像帧间的综合特征相似度的累加值为纵坐标，绘制图像帧间特征差增量变化曲线；得到帧间特征差增量变化曲线后，利用关键帧实时选取算法，实现关键帧快速的自适应选取。本发明能实现快速、低复杂度的反映监控图像内容动态变化，有效解决了矿井无线分布式视频编码中的关键帧实时选取问题。

Description

矿井无线分布式视频编码中的关键帧实时选取方法 技术领域
本发明涉及一种关键帧实时选取方法，特别是关于一种矿井无线分布式视频编码中的关键帧实时选取方法。
背景技术
随着矿井采深增加，煤矿灾害日趋严重，对煤矿安全保障水平和应急处置能力提出新的要求。无线视频传感网络利用大量能量受限的微型节点，采集、传输与处理矿井环境实时图像信息，使地面专家和决策人员实时了解救援现场情况，进行科学决策和指挥。在无线视频传感网络中，分布式视频编码采用“帧内编码+帧间解码”技术，通过在解码端发掘视频信号的相关性进行“帧间预测解码”，从而去掉了编码端复杂的帧间预测，具有低复杂度编码的特性，能较好地满足终端视频编码与通信的需求。尤其，针对矿井下充满噪声和电磁干扰的无线传输环境，分布式视频编码与传统的视频编码相比，具有与生俱来的抗信道误码的特性。
解码端边信息的预测精度是影响分布式视频编码的率失真性能的重要因素，在Wyner-Ziv编码框架下，分布式视频编码中解码关键帧的选取，会极大影响边信息生成质量，从而影响分布式视频编码的解码效果。现有的关键帧选取方法在在矿井巷道高噪声、丢包信道下的应用受到挑战，表现为：在矿井分布式视频编码中，关键帧的选取不仅要反映监控区域视频的主要信息内容变化，也要避免提取过多的冗余关键帧在编码传输过程中对矿井带宽受限无线网络带来额外的网络负荷；此外，考虑到矿井爆炸性的工矿环境，还必须具有较低的计算复杂度，满足矿井低功耗硬件在易燃易爆环境中的实时处理。
关键帧选取主要应用视频内容检索和分布式视频编码中，主要方法有：基于镜头分割的方法、基于图像内容分析的方法、基于运动分析的方法、基于聚类的方法。其中，基于镜头分割的方法对于内容变化大，运动较剧烈的视频内容，单一的图像帧不能全面有效的描述镜头的内容，会丢失视频中一些重要的内容；基于图像内容分析的方法会选择过多的关键帧，造成冗余，此外，关键帧的筛选阈值的选择以及底层特征的选择也对关键帧的选择性能有影响；基于运动分析的方法需要计算视频中运动量时需要非常大的计算量，此外，依据局部信息来选取关键帧，鲁棒性不强；基于聚类的方法，将图像帧按照某一相似度分到不同的类中，使得选择的关键帧没有保留在时间上的先后顺序，导致通过观察关键帧无法了解视频的动态信息，并在分布式视频编码中的应用受到限制。由此可知，在当前分 布式视频编码中，为提高编码的实时性，在关键帧选取中主要通过周期选取关键帧的方法，没有考虑帧间的相关性，不利于在矿井带宽受限、高噪声环境中的高效视频编码，主要表现为：对于视频序列中运动相对平缓的部分，选取过多的关键帧，消耗了大量的矿井无线网络资源，并对传输节点带来极大的处理负担；而对于运动剧烈或者画面突变的情况，周期选取关键帧又不足以生成高质量的边信息帧，降低了解码端的图像重建质量。
发明内容
针对上述问题，本发明的目的是提供一种矿井无线分布式视频编码中的关键帧实时选取方法，该方法能实现快速、低复杂度的反映监控图像内容动态变化，有效解决了矿井无线分布式视频编码中的关键帧实时选取问题。
为实现上述目的，本发明采取以下技术方案：一种矿井无线分布式视频编码中的关键帧实时选取方法，其特征在于，所述方法包括以下步骤：1)构建帧间特性的增量变化曲线：1.1)获取视频序列，并提取图像的全局特征和局部特征；其中，采用图像的颜色特征作为衡量图像全局特征的指标；采用特征点作为图像局部特征；1.2)根据图像的全局特征和局部特征计算图像综合特征相似度；1.3)根据图像综合特征相似度构建帧间特征差增量变化曲线：以帧号I为横坐标，以图像帧间的综合特征相似度的累加值D为纵坐标，绘制图像帧间特征差增量变化曲线；2)得到帧间特征差增量变化曲线后，利用矿井无线分布式视频编码中的关键帧实时选取算法，实现关键帧快速的自适应选取。
所述步骤1.1)中，优选采用颜色直方图描述图像的全局特征，简化的SURF特征描述图像的局部特征。
所述步骤1.2)中，全局特征相识度计算方法如下：(ⅰ)采用面向视觉感知的HSV颜色模型，在分布式视频编码中，图像经过HSV颜色空间变换后，将色调H、饱和度S和亮度V非等间隔量化；(ⅱ)将非等间隔量化后的色调H、饱和度S和亮度V，再将HSV三个颜色分量合成一维特征矢量G：G＝QsQvH+QvS+V，式中，Qs表示饱和度S的量化级数；Qv表示亮度V的量化级数；(ⅲ)利用归一化直方图相交法，求解两帧图像的HSV颜色空间的相似度，来描述两幅图像的全局特征相似度：
Figure PCTCN2015094145-appb-000001
其中，L表示一维直方图矢量的位数，
Figure PCTCN2015094145-appb-000002
和
Figure PCTCN2015094145-appb-000003
分别表示序列中第k帧和第k-1帧图像的HSV直方图中某等级出现的个数，
Figure PCTCN2015094145-appb-000004
表示两个直方图在同等级共有的个数，d'为归一化的颜色特征相似度。
所述步骤1.2)中，局部特征相识度计算方法如下：(ⅰ)通过原来图像中每个像素的Hessian矩阵行列式的近似值确定对应的变换图像，并在这个变换图像上寻找特征点，将找到的特征点的位置反映射到原来的图像中；(ⅱ)利用非极大值抑制方法初步确定特征点；(ⅲ)利用三维线性插值法对已知的离散空间点进行插值得到连续空间的极值点，并利用Harr小波特性来选取特征点的主方向；(ⅳ)构造特征点描述算子，以特征点为中心，把大小为20σ的区域划分为4*4个子区域，统计每个子区域中的25个像素的水平和垂直方向的Haar小波响应dx、dy，从而得到一个4维向量(∑dx,∑dy,∑|dx|,∑|dy|)，由于一共16个子区域，所以最终形成16*4＝64维向量，用此向量作为特征点特征描述；其中σ是特征点所在的尺度；(ⅴ)利用简化的SURF特征点及其特征描述，计算当前帧图像与前一帧图像能匹配的特征点数目占当前帧图像特征点总数的比例d”，进而度量两帧图像局部特征相似度。
所述步骤1.2)中，所述图像综合特征相似度d求解如下：将全局特征与局部特征融合，将图像的全局相似度和局部相似度加权求取图像综合特征相似度d＝0.6d'+0.4d”；式中，0.6为全局特征相似度权重，0.4为局部特征相似度权重。
所述步骤2)中，所述关键帧实时选取算法包括以下步骤：2.1)在编码起始阶段，初始化第一帧作为关键帧，并根据初始的关键帧选择滑动窗口宽度，即所能容纳的最大视频帧数Nmax；2.2)依次把随后视频帧送入滑动窗口，计算其图像帧间特征累积平均变化增量，根据该增量与相邻两帧的帧间综合相似度关系选取关键帧并输出。
所述帧间特征累积平均变化增量dave(k)为：
Figure PCTCN2015094145-appb-000005
其中，di,i-1为第i帧和其前一帧的帧间综合相似度，dave(k)为当前关键帧到随后的第k帧，所有帧的帧间特征累积平均变化增量。
进一步，若dk,k-1<dave(k)，则说明第k帧和其前一帧的帧间综合相似度较高，需要继续向后进行关键帧判断，滑动窗口宽度增加1，并返回步骤2.2)；如果达 到滑动窗口宽度最大值Nmax，dk,k-1<dave(k)依然成立，则说明视频图像内容缓慢变化或者静止的画面，根据帧间综合相似度得其帧间特征差增量变化曲线的变化规律。
进一步，若dk,k-1>dave(k)，则说明在当前图像内容发送较大变化，其帧间特征差增量变化曲线的变化规律；选择当前处理的第k帧为关键帧，并初始化滑动窗口宽度N＝1，返回步骤2.2)。
本发明由于采取以上技术方案，其具有以下优点：1、本发明利用图像的全局特征和局部特征共同描述视频帧序列中相邻帧之间相似度，从而在反映监控区域视频的主要信息内容变化的同时，避免提取过多的冗余关键帧在编码传输过程中对矿井带宽受限无线网络带来额外的网络负荷。2、本发明基于相邻帧的综合特征相似度差值，构建帧间特征差增量变化曲线，满足矿井实时处理要求的关键帧选取策略，一方面可自适应调节关键帧选择窗口，满足图像内容变化，避免图像内容变化剧烈时的关键帧漏选和变化平缓时的关键帧冗余问题；另一方面，根据视频内容自适应调整关键帧选择阈值，提高了关键帧的选择质量。3、本发明克服现有关键帧选取方法在矿井巷道高噪声、丢包信道下的应用限制，为矿井无线分布式视频编码中的关键帧实时选取提供解决方案。4、本发明利用综合特征相似度，构建帧间特征差增量变化曲线，不仅能够反映帧间的图像内容变化剧烈程度，具有传统帧间特征差变化曲线的功能，还能够反映帧间特征的累积变化。
附图说明
图1是本发明的整体流程示意图；
图2是本发明的帧间特征差增量变化曲线示意图；
图3是本发明视频图像内容缓慢变化时的帧间特征差增量变化曲线的变化规律示意图；
图4是本发明视频图像内容发送较大变化时的帧间特征差增量变化曲线的变化规律示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，针对矿井低照度、电磁干扰严重、易燃易爆的物理环境，本发明提供一种矿井无线分布式视频编码中的关键帧实时选取方法，其包括以下步骤：
1)构建帧间特性的增量变化曲线，描述视频图像帧之间的差异程度，为关键帧的选取提供计算模型：计算视频序列中相邻帧的综合特性相似度量，进而构建帧间特性增量变化曲线。
2)得到帧间特征差增量变化曲线后，利用矿井无线分布式视频编码中的关键帧实时选取算法，实现关键帧快速的自适应选取：根据图像变化内容，调节关键帧提取滑动窗口大小和关键帧选择阈值，实现关键帧快速的自适应选取。
上述步骤1)中，帧间特性的增量变化曲线构建方法如下：
1.1)获取视频序列，并提取图像的全局特征和局部特征；
常用的图像特征有：颜色特征、纹理特征、形状特征和空间关系特征。由于图像的颜色特征对图像本身的尺寸大小、旋转、平移等都不敏感，其鲁棒性高，本发明采用图像的颜色特征作为衡量图像全局特征的指标，来实现快速有效的描述井下视频图像内容；其中，颜色特征有：灰度特征、颜色直方图特征、颜色矩特征、颜色集和颜色空间矢量。
但是，考虑到矿井图像在光照、噪声干扰的图像降质引起的图像颜色特征误差问题，为精确描述图像内容，也需要考虑图像局部特征，本发明采用特征点作为图像局部特征。局部特征代表了图像中一些重要的位置，可以很好的反映图像的局部信息。其中，图像特征点提取算子有Moravec算子、SUSAN算子和Harris算子、SIFT特征点和SURF特征点等。
经仿真实验，本发明利用颜色直方图和简化的SURF特征分别描述图像的全局特征和局部特征，通过随后的综合特性相似度计算，为帧间特性的增量变化曲线提供实时快速的数据支持。
1.2)根据图像的全局特征和局部特征计算图像综合特征相似度：
1.2.1)计算全局特征相识度：
(ⅰ)采用面向视觉感知的HSV颜色模型，在分布式视频编码中，图像经过HSV颜色空间变换后，将色调H、饱和度S和亮度V非等间隔量化；
对图像颜色的空间模型，由于RGB颜色空间数学模型不能够直观的反映人的视觉感知，而面向视觉感知的颜色空间模型对颜色的解释更直观，符合人的视觉感知特性，因此，本发明选用面向视觉感知的HSV颜色模型。
在一个优选的实施例中，为使量化的标准符合人眼的颜色感知，将色调H空间分成8份，饱和度S和亮度V空间分别分成3份，如下式所示。
Figure PCTCN2015094145-appb-000006
Figure PCTCN2015094145-appb-000007
Figure PCTCN2015094145-appb-000008
(ⅱ)将非等间隔量化后的色调H、饱和度S和亮度V，再将HSV三个颜色分量合成一维特征矢量G：
G＝QsQvH+QvS+V，            (4)
式中，Qs表示饱和度S的量化级数；Qv表示亮度V的量化级数。
(ⅲ)利用归一化直方图相交法，求解两帧图像的HSV颜色空间的相似度，来描述两幅图像的全局特征相似度：
Figure PCTCN2015094145-appb-000009
其中，L表示一维直方图矢量的位数，
Figure PCTCN2015094145-appb-000010
和
Figure PCTCN2015094145-appb-000011
分别表示序列中第k帧和第k-1帧图像的HSV直方图中某等级出现的个数，
Figure PCTCN2015094145-appb-000012
表示两个直方图在同等级共有的个数，d'为归一化的颜色特征相似度。
1.2.2)计算局部特征相识度：
(ⅰ)通过原来图像中每个像素的Hessian矩阵行列式的近似值确定对应的变换图像，并在这个变换图像上寻找特征点，将找到的特征点的位置反映射到原来的图像中；
其中，Hessian矩阵用于SIFT特征点和SURF特征点提取。
(ⅱ)利用非极大值抑制方法初步确定特征点：为了找到感兴趣的特征点，在3*3*3的邻域内，将经过每个像素点与其立体邻域的26个(包括和中间检测点 同尺度的8个相邻点以及和中间检测点上下相邻尺度的18个点)点进行比较。判断待检测点与这些相邻点的大小，如果待检测点是这些点中的最大值或者最小值，就将它作为初步的特征点保留下来。
(ⅲ)利用三维线性插值法对已知的离散空间点进行插值得到连续空间的极值点，从而使定位的特征点更加准确、稳定，具有代表性，并利用Harr小波特性来选取特征点的主方向。
(ⅳ)构造特征点描述算子，以特征点为中心，把大小为20σ(σ是该特征点所在的尺度)的区域划分为4*4个子区域，统计每个子区域中的25个像素的水平和垂直方向的Haar小波响应dx、dy(水平方向和垂直方向都是相对于步骤(ⅲ)中确定的特征点的主方向)，从而得到一个4维向量(∑dx,∑dy,∑|dx|,∑|dy|)，由于一共16个子区域，所以最终形成16*4＝64维向量，用此向量作为特征点特征描述。
(ⅴ)利用简化的SURF特征点及其特征描述，计算当前帧图像与前一帧图像能匹配的特征点数目占当前帧图像特征点总数的比例d”，进而度量两帧图像局部特征相似度。
1.2.3)将全局特征与局部特征融合，将图像的全局相似度和局部相似度加权求取图像综合特征相似度d：
d＝0.6d'+0.4d”，                 (6)
式中，0.6为全局特征相似度权重，0.4为局部特征相似度权重。全局特征相似度和局部特征相似度权重可根据图像色彩情况选择，如果图像色彩丰富，可提高其全局特征相似度权重d'，反之减低。
1.3)根据图像综合特征相似度构建帧间特征差增量变化曲线：
以帧号I为横坐标，以图像帧间的综合特征相似度的累加值D为纵坐标，绘制图像帧间特征差增量变化曲线，如图2所示。其中，累加值D为：
Figure PCTCN2015094145-appb-000013
与传统的帧间特征差变化曲线相比，帧间特征差增量变化曲线具有以下有优点：
1)不仅能够反映帧间的图像内容变化剧烈程度，具有传统帧间特征差变化曲线的功能；还能够反映帧间特征的累积变化。因为图像综合特征相似度d仅能相邻两帧之间的相似度变化，而反应不出来多帧之间的累积变化，因此，对于缓慢变化的图像内容，虽然相邻两帧之间的相似度很大，但是，在多帧之后的图像内 容也可能有很大的变化。
2)传统的帧间特征差变化曲线呈现的是不规则变化特点，而帧间特征差增量变化曲线呈现的是正增长规律，便于使用简单方法进行快速的曲线分析。
上述步骤2)中，关键帧实时选取算法包括以下步骤：
2.1)在编码起始阶段，初始化第一帧作为关键帧，并根据初始的关键帧选择滑动窗口宽度，即所能容纳的最大视频帧数Nmax；本实施例中优选最大视频帧数Nmax＝50。
2.2)依次把随后视频帧送入滑动窗口，计算其图像帧间特征累积平均变化增量，根据该增量与相邻两帧的帧间综合相似度关系选取关键帧并输出。帧间特征累积平均变化增量dave(k)为：
Figure PCTCN2015094145-appb-000014
其中，di,i-1为第i帧和其前一帧(即i-1帧)的帧间综合相似度；dave(k)为当前关键帧到随后的第k帧，所有帧的帧间特征累积平均变化增量。
2.2.1)若dk,k-1<dave(k)，则说明第k帧和其前一帧(即k-1帧)的帧间综合相似度较高，需要继续向后进行关键帧判断，滑动窗口宽度增加1，并返回步骤2.2)。如果达到滑动窗口宽度最大值Nmax，dk,k-1<dave(k)依然成立，则说明视频图像内容缓慢变化或者静止的画面，根据帧间综合相似度可得其帧间特征差增量变化曲线的变化规律，如图3所示。
但考虑到图像缓慢变化时的累积效应，达到最大滑动窗口宽度时，选择下一帧为关键帧进行分布式编码，并初始化滑动窗口宽度N＝1，返回步骤2.2)。
2.2.2)若dk,k-1>dave(k)，则说明在当前图像内容发送较大变化，其帧间特征差增量变化曲线的变化规律，如图4所示。为提高编码质量，最大限度反映图像内容变化，选择当前处理的第k帧为关键帧，并初始化滑动窗口宽度N＝1，返回步骤2.2)。
上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (9)

  1. 一种矿井无线分布式视频编码中的关键帧实时选取方法，其特征在于，所述方法包括以下步骤：
    1)构建帧间特性的增量变化曲线：
    1.1)获取视频序列，并提取图像的全局特征和局部特征；其中，采用图像的颜色特征作为衡量图像全局特征的指标；采用特征点作为图像局部特征；
    1.2)根据图像的全局特征和局部特征计算图像综合特征相似度；
    1.3)根据图像综合特征相似度构建帧间特征差增量变化曲线：以帧号I为横坐标，以图像帧间的综合特征相似度的累加值D为纵坐标，绘制图像帧间特征差增量变化曲线；
    2)得到帧间特征差增量变化曲线后，利用矿井无线分布式视频编码中的关键帧实时选取算法，实现关键帧快速的自适应选取。
  2. 如权利要求1所述的矿井无线分布式视频编码中的关键帧实时选取方法，其特征在于：所述步骤1.1)中，优选采用颜色直方图描述图像的全局特征，简化的SURF特征描述图像的局部特征。
  3. 如权利要求1或2所述的矿井无线分布式视频编码中的关键帧实时选取方法，其特征在于：所述步骤1.2)中，全局特征相识度计算方法如下：
    (ⅰ)采用面向视觉感知的HSV颜色模型，在分布式视频编码中，图像经过HSV颜色空间变换后，将色调H、饱和度S和亮度V非等间隔量化；
    (ⅱ)将非等间隔量化后的色调H、饱和度S和亮度V，再将HSV三个颜色分量合成一维特征矢量G：
    G＝QsQvH+QvS+V，
    式中，Qs表示饱和度S的量化级数；Qv表示亮度V的量化级数；
    (ⅲ)利用归一化直方图相交法，求解两帧图像的HSV颜色空间的相似度，来描述两幅图像的全局特征相似度：
    Figure PCTCN2015094145-appb-100001
    其中，L表示一维直方图矢量的位数，
    Figure PCTCN2015094145-appb-100002
    和分别表示序列中第k帧和第k-1帧图像的HSV直方图中某等级出现的个数，
    Figure PCTCN2015094145-appb-100004
    表示两个直方图在同等级共有的个数，d'为归一化的颜色特征相似度。
  4. 如权利要求1或2所述的矿井无线分布式视频编码中的关键帧实时选取方 法，其特征在于：所述步骤1.2)中，局部特征相识度计算方法如下：
    (ⅰ)通过原来图像中每个像素的Hessian矩阵行列式的近似值确定对应的变换图像，并在这个变换图像上寻找特征点，将找到的特征点的位置反映射到原来的图像中；
    (ⅱ)利用非极大值抑制方法初步确定特征点；
    (ⅲ)利用三维线性插值法对已知的离散空间点进行插值得到连续空间的极值点，并利用Harr小波特性来选取特征点的主方向；
    (ⅳ)构造特征点描述算子，以特征点为中心，把大小为20σ的区域划分为4*4个子区域，统计每个子区域中的25个像素的水平和垂直方向的Haar小波响应dx、dy，从而得到一个4维向量(∑dx,∑dy,∑|dx|,∑|dy|)，由于一共16个子区域，所以最终形成16*4＝64维向量，用此向量作为特征点特征描述；其中σ是特征点所在的尺度；
    (ⅴ)利用简化的SURF特征点及其特征描述，计算当前帧图像与前一帧图像能匹配的特征点数目占当前帧图像特征点总数的比例d”，进而度量两帧图像局部特征相似度。
  5. 如权利要求1或2所述的矿井无线分布式视频编码中的关键帧实时选取方法，其特征在于：所述步骤1.2)中，所述图像综合特征相似度d求解如下：将全局特征与局部特征融合，将图像的全局相似度和局部相似度加权求取图像综合特征相似度d＝0.6d'+0.4d”；式中，0.6为全局特征相似度权重，0.4为局部特征相似度权重。
  6. 如权利要求1或2所述的矿井无线分布式视频编码中的关键帧实时选取方法，其特征在于：所述步骤2)中，所述关键帧实时选取算法包括以下步骤：
    2.1)在编码起始阶段，初始化第一帧作为关键帧，并根据初始的关键帧选择滑动窗口宽度，即所能容纳的最大视频帧数Nmax；
    2.2)依次把随后视频帧送入滑动窗口，计算其图像帧间特征累积平均变化增量，根据该增量与相邻两帧的帧间综合相似度关系选取关键帧并输出。
  7. 如权利要求6所述的矿井无线分布式视频编码中的关键帧实时选取方法，其特征在于：所述帧间特征累积平均变化增量dave(k)为：
    Figure PCTCN2015094145-appb-100005
    其中，di,i-1为第i帧和其前一帧的帧间综合相似度，dave(k)为当前关键帧到随 后的第k帧，所有帧的帧间特征累积平均变化增量。
  8. 如权利要求7所述的矿井无线分布式视频编码中的关键帧实时选取方法，其特征在于：若dk,k-1<dave(k)，则说明第k帧和其前一帧的帧间综合相似度较高，需要继续向后进行关键帧判断，滑动窗口宽度增加1，并返回步骤2.2)；如果达到滑动窗口宽度最大值Nmax，dk,k-1<dave(k)依然成立，则说明视频图像内容缓慢变化或者静止的画面，根据帧间综合相似度得其帧间特征差增量变化曲线的变化规律。
  9. 如权利要求7所述的矿井无线分布式视频编码中的关键帧实时选取方法，其特征在于：若dk,k-1>dave(k)，则说明在当前图像内容发送较大变化，其帧间特征差增量变化曲线的变化规律；选择当前处理的第k帧为关键帧，并初始化滑动窗口宽度N＝1，返回步骤2.2)。
PCT/CN2015/094145 2015-07-01 2015-11-09 矿井无线分布式视频编码中的关键帧实时选取方法 WO2017000465A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510378629.4A CN104954791B (zh) 2015-07-01 2015-07-01 矿井无线分布式视频编码中的关键帧实时选取方法
CN201510378629.4 2015-07-01

Publications (1)

Publication Number Publication Date
WO2017000465A1 true WO2017000465A1 (zh) 2017-01-05

Family

ID=54169087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/094145 WO2017000465A1 (zh) 2015-07-01 2015-11-09 矿井无线分布式视频编码中的关键帧实时选取方法

Country Status (2)

Country Link
CN (1) CN104954791B (zh)
WO (1) WO2017000465A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543735A (zh) * 2018-11-14 2019-03-29 北京工商大学 视频拷贝检测方法及其系统
CN109919033A (zh) * 2019-01-31 2019-06-21 中山大学 一种基于边缘计算的自适应城市寻人方法
CN110555406A (zh) * 2019-08-31 2019-12-10 武汉理工大学 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统
CN111563531A (zh) * 2020-04-03 2020-08-21 延安市公安局 视频篡改检测方法、系统、存储介质、计算机程序、终端
CN111597911A (zh) * 2020-04-22 2020-08-28 成都运达科技股份有限公司 一种基于图像特征快速提取关键帧的方法和系统
CN111723713A (zh) * 2020-06-09 2020-09-29 上海合合信息科技股份有限公司 一种基于光流法的视频关键帧提取方法及系统
CN112686153A (zh) * 2020-12-30 2021-04-20 西安邮电大学 一种用于人体行为识别的三维骨架关键帧选择方法
CN113095295A (zh) * 2021-05-08 2021-07-09 广东工业大学 一种基于改进关键帧提取的跌倒检测方法
CN113112519A (zh) * 2021-04-23 2021-07-13 电子科技大学 基于感兴趣目标分布的关键帧筛选方法
CN113221674A (zh) * 2021-04-25 2021-08-06 广东电网有限责任公司东莞供电局 基于粗糙集约简和sift的视频流关键帧提取系统及方法
CN113379693A (zh) * 2021-06-01 2021-09-10 大连东软教育科技集团有限公司 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN114005069A (zh) * 2021-11-09 2022-02-01 山东浪潮云缦智能科技有限公司 一种视频特征提取和检索方法
CN115396622A (zh) * 2022-10-28 2022-11-25 广东电网有限责任公司中山供电局 一种低码率视频重构的电子设备
CN116524417A (zh) * 2023-06-30 2023-08-01 深圳市华曦达科技股份有限公司 一种基于Flink的分布式实时视频关键帧的提取方法和装置
CN117440162A (zh) * 2023-12-19 2024-01-23 齐齐哈尔医学院 一种多媒体互动教学方法及系统
CN118334383A (zh) * 2024-06-13 2024-07-12 山东智航智能装备有限公司 一种变化检测样本更新方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954791B (zh) * 2015-07-01 2018-01-30 中国矿业大学 矿井无线分布式视频编码中的关键帧实时选取方法
CN108107462B (zh) * 2017-12-12 2022-02-25 中国矿业大学 Rtk与高速相机组合的交通标志杆姿态监测装置及方法
CN108921130B (zh) * 2018-07-26 2022-03-01 聊城大学 基于显著性区域的视频关键帧提取方法
CN109741380B (zh) * 2018-12-27 2021-09-14 广州华迅网络科技有限公司 纺织品图片快速匹配方法和装置
CN109740499B (zh) * 2018-12-28 2021-06-11 北京旷视科技有限公司 视频分割方法、视频动作识别方法、装置、设备及介质
CN110020093A (zh) * 2019-04-08 2019-07-16 深圳市网心科技有限公司 视频检索方法、边缘设备、视频检索装置及存储介质
CN110120012B (zh) * 2019-05-13 2022-07-08 广西师范大学 基于双目摄像头的同步关键帧提取的视频拼接方法
CN110309335B (zh) * 2019-07-03 2023-01-06 腾讯科技（深圳）有限公司 一种图片匹配方法、装置、设备及存储介质
CN110853124B (zh) * 2019-09-17 2023-09-08 Oppo广东移动通信有限公司 生成gif动态图的方法、装置、电子设备及介质
CN111047558A (zh) * 2019-11-20 2020-04-21 深圳市康冠智能科技有限公司 图像检测方法、装置、计算机设备以及存储介质
CN114820774A (zh) * 2021-01-21 2022-07-29 中国科学院微电子研究所 一种相机的位姿确定方法及设备
CN117640988B (zh) * 2023-12-04 2024-09-24 书行科技(北京)有限公司 一种视频处理方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720006A (zh) * 2009-11-20 2010-06-02 张立军 一种适用于视频关键帧提取的代表帧定位方法
WO2012005946A1 (en) * 2010-07-08 2012-01-12 Spinella Ip Holdings, Inc. System and method for shot change detection in a video sequence
CN102695056A (zh) * 2012-05-23 2012-09-26 中山大学 一种提取压缩视频关键帧的方法
CN103118220A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于多维特征向量的关键帧提取算法
CN104954791A (zh) * 2015-07-01 2015-09-30 中国矿业大学 矿井无线分布式视频编码中的关键帧实时选取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720006A (zh) * 2009-11-20 2010-06-02 张立军 一种适用于视频关键帧提取的代表帧定位方法
WO2012005946A1 (en) * 2010-07-08 2012-01-12 Spinella Ip Holdings, Inc. System and method for shot change detection in a video sequence
CN102695056A (zh) * 2012-05-23 2012-09-26 中山大学 一种提取压缩视频关键帧的方法
CN103118220A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于多维特征向量的关键帧提取算法
CN104954791A (zh) * 2015-07-01 2015-09-30 中国矿业大学 矿井无线分布式视频编码中的关键帧实时选取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENG, DEQIANG ET AL.: "Side Information Generation Algorithm of Coal Mine Underground Video Sequence Based on Full Search", INDUSTRY AND MINE AUTOMATION, vol. 40, no. 10, 31 October 2014 (2014-10-31), pages 19 - 21, ISSN: 1671-251X *
ZHANG, JIANMING ET AL.: "Key Frame Extraction Based on Swarm Intelligence and K-means", APPLICATION RESEARCH OF COMPUTERS, vol. 28, no. 1, 31 January 2011 (2011-01-31), pages 360 - 362, ISSN: 1001-3695 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543735A (zh) * 2018-11-14 2019-03-29 北京工商大学 视频拷贝检测方法及其系统
CN109919033B (zh) * 2019-01-31 2022-09-20 中山大学 一种基于边缘计算的自适应城市寻人方法
CN109919033A (zh) * 2019-01-31 2019-06-21 中山大学 一种基于边缘计算的自适应城市寻人方法
CN110555406A (zh) * 2019-08-31 2019-12-10 武汉理工大学 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
CN110555406B (zh) * 2019-08-31 2023-03-24 武汉理工大学 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统
CN111563531A (zh) * 2020-04-03 2020-08-21 延安市公安局 视频篡改检测方法、系统、存储介质、计算机程序、终端
CN111597911A (zh) * 2020-04-22 2020-08-28 成都运达科技股份有限公司 一种基于图像特征快速提取关键帧的方法和系统
CN111597911B (zh) * 2020-04-22 2023-08-29 成都运达科技股份有限公司 一种基于图像特征快速提取关键帧的方法和系统
CN111723713A (zh) * 2020-06-09 2020-09-29 上海合合信息科技股份有限公司 一种基于光流法的视频关键帧提取方法及系统
CN111723713B (zh) * 2020-06-09 2022-10-28 上海合合信息科技股份有限公司 一种基于光流法的视频关键帧提取方法及系统
CN112686153B (zh) * 2020-12-30 2023-04-18 西安邮电大学 一种用于人体行为识别的三维骨架关键帧选择方法
CN112686153A (zh) * 2020-12-30 2021-04-20 西安邮电大学 一种用于人体行为识别的三维骨架关键帧选择方法
CN113112519A (zh) * 2021-04-23 2021-07-13 电子科技大学 基于感兴趣目标分布的关键帧筛选方法
CN113221674A (zh) * 2021-04-25 2021-08-06 广东电网有限责任公司东莞供电局 基于粗糙集约简和sift的视频流关键帧提取系统及方法
CN113095295A (zh) * 2021-05-08 2021-07-09 广东工业大学 一种基于改进关键帧提取的跌倒检测方法
CN113095295B (zh) * 2021-05-08 2023-08-18 广东工业大学 一种基于改进关键帧提取的跌倒检测方法
CN113379693A (zh) * 2021-06-01 2021-09-10 大连东软教育科技集团有限公司 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN113379693B (zh) * 2021-06-01 2024-02-06 东软教育科技集团有限公司 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN114005069A (zh) * 2021-11-09 2022-02-01 山东浪潮云缦智能科技有限公司 一种视频特征提取和检索方法
CN115396622A (zh) * 2022-10-28 2022-11-25 广东电网有限责任公司中山供电局 一种低码率视频重构的电子设备
CN115396622B (zh) * 2022-10-28 2023-03-24 广东电网有限责任公司中山供电局 一种低码率视频重构的电子设备
CN116524417A (zh) * 2023-06-30 2023-08-01 深圳市华曦达科技股份有限公司 一种基于Flink的分布式实时视频关键帧的提取方法和装置
CN116524417B (zh) * 2023-06-30 2023-10-20 深圳市华曦达科技股份有限公司 一种基于Flink的分布式实时视频关键帧的提取方法和装置
CN117440162A (zh) * 2023-12-19 2024-01-23 齐齐哈尔医学院 一种多媒体互动教学方法及系统
CN117440162B (zh) * 2023-12-19 2024-02-23 齐齐哈尔医学院 一种多媒体互动教学方法及系统
CN118334383A (zh) * 2024-06-13 2024-07-12 山东智航智能装备有限公司 一种变化检测样本更新方法及装置

Also Published As

Publication number Publication date
CN104954791A (zh) 2015-09-30
CN104954791B (zh) 2018-01-30

Similar Documents

Publication Publication Date Title
WO2017000465A1 (zh) 矿井无线分布式视频编码中的关键帧实时选取方法
WO2020173226A1 (zh) 一种时空行为检测方法
CN112949508B (zh) 模型训练方法、行人检测方法、电子设备及可读存储介质
CN113011329B (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
KR100660725B1 (ko) 얼굴 추적 장치를 가지는 휴대용 단말기
CN104599290B (zh) 一种面向视频感知节点的目标检测方法
CN110852964A (zh) 一种基于深度学习的图像比特增强方法
CN109547803B (zh) 一种时空域显著性检测及融合方法
CN104079925A (zh) 基于视觉感知特性的超高清视频图像质量客观评价方法
CN112104869B (zh) 一种视频大数据存储及转码优化系统
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN111242878A (zh) 基于布谷鸟搜索的矿井下图像增强方法
CN115063326B (zh) 基于图像压缩的红外夜视图像高效通讯方法
CN109448019B (zh) 一种变分光流模型平滑参数的自适应方法
CN110992414A (zh) 一种基于卷积神经网络的室内单目场景深度估计的方法
CN114241511A (zh) 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN112070691B (zh) 一种基于U-Net的图像去雾方法
CN111931671A (zh) 一种用于煤矿井下逆光环境中光照补偿的人脸识别方法
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
Ye et al. SNR-Prior Guided Trajectory-Aware Transformer for Low-Light Video Enhancement
CN102510437A (zh) 基于rgb分量分布的视频图像背景检测方法
CN112862876A (zh) 一种用于水下机器人的实时深海视频图像增强方法
CN105740819A (zh) 一种基于整数规划的人群密度估计方法
CN102509076B (zh) 基于主成分分析的视频图像背景检测方法
CN117058569A (zh) 非接触式心率测量方法、系统、装置和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15896993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15896993

Country of ref document: EP

Kind code of ref document: A1