WO2018086231A1 - 视频序列对齐方法和系统 - Google Patents

视频序列对齐方法和系统 Download PDF

Info

Publication number
WO2018086231A1
WO2018086231A1 PCT/CN2016/113542 CN2016113542W WO2018086231A1 WO 2018086231 A1 WO2018086231 A1 WO 2018086231A1 CN 2016113542 W CN2016113542 W CN 2016113542W WO 2018086231 A1 WO2018086231 A1 WO 2018086231A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
sequence
scene
sub
scene category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/113542
Other languages
English (en)
French (fr)
Inventor
雷延强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Publication of WO2018086231A1 publication Critical patent/WO2018086231A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Definitions

  • the present invention relates to the field of signal detection technologies, and in particular, to a video sequence alignment method and system.
  • a display device is a device that can output images or touch information. In order to ensure the normal operation of the display device, it is usually necessary to detect some performance parameters of the display device. Taking the TV as an example, the sensitivity of the motherboard of the TV is an important performance parameter of the TV.
  • the existing scheme for detecting the sensitivity of the TV motherboard is: using the original video signal as a reference, aligning the video signal to be detected with the original video signal, and adjusting the signal strength of the aligned video signal to be output by the display device.
  • the critical signal strength between the mosaic effect and the mosaic effect occurs, and the performance parameters of the display device are determined according to the signal strength.
  • a video sequence alignment method includes the following steps:
  • each video frame in the video segment into a plurality of sub-blocks, and generating a video segment sequence according to the sub-blocks of the respective video frames;
  • a video sequence alignment system comprising:
  • a video capture module configured to capture a video clip without scene switching from a video sequence to be aligned
  • a sequence generating module configured to separately divide each video frame in the video segment into a plurality of sub-blocks, and generate a video segment sequence according to the sub-blocks of each video frame;
  • a calculation module configured to input the sequence of the video segments into a pre-trained scene classifier, calculate a probability value of the video segment sequence belonging to each scene category, and set a scene category with the highest probability value as the video segment belongs to First scene category;
  • an aligning module configured to align the video segment with a video segment belonging to the first scene category in a pre-stored original video sequence.
  • the video sequence alignment method and system the video segment without scene switching is captured from the video sequence to be aligned, and each video frame in the video segment is divided into several sub-blocks, and a video is generated according to the sub-blocks of each video frame.
  • a segment sequence respectively calculating a probability value of the video segment sequence belonging to each scene category, setting a scene category having the largest probability value to a first scene category to which the video segment belongs, and the video segment and the pre-stored original video sequence
  • the video segments belonging to the first scene category are aligned, and the video segments belonging to the first scene category in the original video sequence are found by first performing coarse alignment, and then the video sequence to be aligned and the video of the first scene category are
  • the fine alignment of the segments can effectively reduce the time of video alignment and improve the efficiency of video alignment.
  • 1 is a flow chart of a video sequence alignment method of an embodiment
  • FIG. 2 is a schematic diagram of classification of an original video sequence by scene according to an embodiment
  • FIG. 3 is a schematic structural diagram of a deep convolution network of an embodiment
  • FIG. 4 is a schematic structural diagram of a video sequence alignment system of an embodiment.
  • the present invention provides a video sequence alignment method, which may include the following steps:
  • the length of the video sequence should satisfy a certain time cost constraint, and the time cost constraint is used to characterize the time taken for the video sequence alignment operation.
  • the longer the length of the video sequence the longer the alignment process takes.
  • a short video segment is generally captured (for example, 1 second in length) Video clip).
  • the basic principle of judgment is: try to keep the acquired video clips small before and after, without scene switching.
  • the accumulated interframe error can be used as the criterion for evaluation.
  • the accumulated interframe error is:
  • f(z i ) is the feature of the ith video frame (eg, the color histogram of the sub-region)
  • f(z i-1 ) is the feature of the i-1th video frame
  • a distance metric function eg, an L 2 distance metric function
  • T is a preset distance threshold
  • n is the total number of video segments in the video sequence to be aligned.
  • the sequence of video segments is input to a pre-trained scene classifier, and the probability values of the video segment sequence belonging to each scene category are respectively calculated, and the scene category with the highest probability value is set as the first of the video segments.
  • Scene category
  • the probability value can be calculated according to the following formula:
  • the scene category classifier can be pre-trained prior to performing the alignment operation.
  • the way to train the scene classifier can be packaged. Including the following steps:
  • Step 1 Obtain a video sequence sample, and divide the video sequence sample into multiple scene categories according to a scene;
  • the video sequence samples can be divided into coarser categories according to the scene, and the time-sequence relationship is maintained. In coarse positioning, just determine which category of the current video clip is most similar. The specific classification is described as follows:
  • Y [y 1 , y 2 ,...y m ], where m is the total number of video frames in the video sequence sample. Divided into multiple categories by scene, as shown in Figure 2.
  • Y l is the first video segment in the video sequence sample, and each video segment includes several video frames.
  • the accumulated interframe error is:
  • f(y i ) represents a feature representation of the i-th video frame (eg, a color histogram of the sub-region), and
  • Step 2 The video sequence samples of each scene category are respectively divided into a plurality of sample sub-blocks; wherein the video sequence samples include non-overlapping sample sub-blocks;
  • non-overlapping sub-block partitioning may also be overlapped, but should include special cases of non-overlapping partitioning
  • a finer thumbnail eg 256*256, if not
  • each original sample image y i after sub-block division, can obtain K+1 sub-block images
  • Step 3 Train the deep convolution network according to the sample sub-block and its associated scene category to obtain a scene classifier.
  • the deep convolution network is trained to obtain a classifier, as shown in FIG. 3 .
  • the deep convolutional network used in the present invention comprises five Convolutional Layers, and the output of each convolutional layer is nonlinearly transformed by a ReLU (Rectified Linear Units) activation function, and then passes through a Pooling Layer. Pooling, then connecting two Fully-Connected Layers, and finally outputting the classification probability through the Softmax function (the probability that the input sub-block image belongs to a certain scene category)
  • ReLU Rectified Linear Units
  • Q represents the best alignment position of the video segment with the original video sequence
  • d( ⁇ ) is the distance metric function
  • Z is the video segment
  • z i is the ith video frame in Z
  • Y j [y u , y u+1 , .y v ] represents a video segment belonging to the jth scene category in the original video sequence
  • y i is the i-th video frame in Y j
  • n is a positive integer
  • the above video sequence alignment method uses a coarse-to-fine search strategy to find a video segment belonging to the first scene category in the original video sequence by first performing coarse alignment, and then the video sequence to be aligned and the first scene category.
  • the video clips are finely aligned, which effectively reduces the time for video alignment and improves the efficiency of video alignment.
  • the present invention provides a video sequence alignment system, which may include:
  • the video capture module 10 is configured to capture a video clip without scene switching from the video sequence to be aligned
  • the length of the video sequence should satisfy a certain time cost constraint, and the time cost constraint is used to characterize the time taken for the video sequence alignment operation.
  • the longer the length of the video sequence the longer the alignment process takes.
  • a short video segment for example, a video segment of 1 second in length
  • the real-time performance of the alignment result can be improved, and the waiting time of the user can be shortened. Improve the user experience.
  • the basic principle of judgment is: try to keep the acquired video clips small before and after, without scene switching.
  • a decision module can be set, and the accumulated interframe error is used as a criterion for judging, and the accumulated interframe error is:
  • f(z i ) is the feature of the ith video frame (eg, the color histogram of the sub-region)
  • f(z i-1 ) is the feature of the i-1th video frame
  • a distance metric function eg, an L 2 distance metric function
  • T is a preset distance threshold
  • n is the total number of video segments in the video sequence to be aligned. No scene switching means that the video content is basically the same, which is good for classification.
  • the sequence generating module 20 is configured to separately divide each video frame in the video segment into a plurality of sub-blocks, and generate a video segment sequence according to the sub-blocks of the respective video frames;
  • a sequence of video segments may be generated as follows:
  • the calculating module 30 is configured to input the video segment sequence into a pre-trained scene class classifier, calculate a probability value of the video segment sequence belonging to each scene category, and set a scene category with the highest probability value as the video segment.
  • the probability value can be calculated according to the following formula:
  • the scene category classifier can be pre-trained prior to performing the alignment operation.
  • the video sequence alignment system can also include:
  • a classification module configured to acquire a video sequence sample, and divide the video sequence sample into multiple scene categories according to a scene
  • the video sequence samples can be divided into coarser categories according to the scene, and the time-sequence relationship is maintained. In coarse positioning, just determine which category of the current video clip is most similar. The specific classification is described as follows:
  • Y [y 1 , y 2 ,...y m ], where m is the total number of video frames in the video sequence sample. Divided into multiple categories by scene, as shown in Figure 2.
  • Y l is the first video segment in the video sequence sample, and each video segment includes several video frames.
  • the accumulated interframe error is:
  • f(y i ) represents a feature representation of the i-th video frame (eg, a color histogram of the sub-region), and
  • a sub-block division module configured to separately divide a video sequence sample of each scene category into a plurality of sample sub-blocks; wherein the video sequence samples include non-overlapping sample sub-blocks;
  • non-overlapping sub-block partitioning may also be overlapped, but should include special cases of non-overlapping partitioning
  • a finer thumbnail eg 256*256, if not
  • each original sample image y i after sub-block division, can obtain K+1 sub-block images
  • a training module configured to train the deep convolution network according to the sample sub-block and its associated scene category, Go to the scene category classifier.
  • the deep convolution network is trained to obtain a classifier, as shown in FIG. 3 .
  • the deep convolutional network used in the present invention comprises five Convolutional Layers, and the output of each convolutional layer is nonlinearly transformed by a ReLU (Rectified Linear Units) activation function, and then passes through a Pooling Layer. Pooling, then connecting two Fully-Connected Layers, and finally outputting the classification probability through the Softmax function (the probability that the input sub-block image belongs to a certain scene category)
  • ReLU Rectified Linear Units
  • the aligning module 40 is configured to align the video segment with a video segment belonging to the first scene category in a pre-stored original video sequence.
  • the alignment module 40 is about to accurately locate the location of the current video clip in it.
  • Q represents the best alignment position of the video segment with the original video sequence
  • d( ⁇ ) is the distance metric function
  • Z is the video segment
  • z i is the ith video frame in Z
  • Y j [y u , y u+1 , .y v ] represents a video segment belonging to the jth scene category in the original video sequence
  • y i is the i-th video frame in Y j
  • n is a positive integer
  • the video sequence alignment system uses a coarse-to-fine search strategy to find a video segment belonging to the first scene category in the original video sequence by first performing coarse alignment, and then the video sequence to be aligned and the first scene category.
  • the video clips are finely aligned, which effectively reduces the time for video alignment and improves the efficiency of video alignment.
  • the video sequence alignment system of the present invention has a one-to-one correspondence with the video sequence alignment method of the present invention, and the technical features and the beneficial effects described in the embodiments of the video sequence alignment method are applicable to the embodiment of the video sequence alignment system, and hereby declare .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种视频序列对齐方法和系统，方法包括以下步骤：从待对齐的视频序列中抓取无场景切换的视频片段；分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。

Description

视频序列对齐方法和系统 技术领域
本发明涉及信号检测技术领域，特别是涉及一种视频序列对齐方法和系统。
背景技术
显示设备是一种可输出图像或感触信息的设备。为了保证显示设备正常工作，通常需要对显示设备的一些性能参数进行检测。以电视机为例，电视机的主板灵敏度是电视机的一个重要性能性能参数。
现有的检测电视机主板灵敏度的方案是：利用原始的视频信号作为参考，将待检测的视频信号与原始视频信号进行对齐，将对齐后的视频信号的信号强度调整为经所述显示设备输出后无马赛克效应与出现马赛克效应之间的临界信号强度，并根据该信号强度确定所述显示设备的性能参数。
然而，这种方式需要花费较多的时间进行视频信号对齐，导致信号处理效率较低。
发明内容
基于此，有必要针对信号处理效率较低的问题，提供一种视频序列对齐方法和系统。
一种视频序列对齐方法，包括以下步骤：
从待对齐的视频序列中抓取无场景切换的视频片段；
分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；
将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；
将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。
一种视频序列对齐系统，包括：
视频抓取模块，用于从待对齐的视频序列中抓取无场景切换的视频片段；
序列生成模块，用于分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；
计算模块，用于将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；
对齐模块，用于将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。
上述视频序列对齐方法和系统，从待对齐的视频序列中抓取无场景切换的视频片段，分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别，将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐，通过先进行粗对齐找到原始视频序列中属于所述第一场景类别的视频片段，再将待对齐的视频序列与所述第一场景类别的视频片段进行精对齐，能够有效减少视频对齐的时间，提高视频对齐的效率。
附图说明
图1为一个实施例的视频序列对齐方法流程图；
图2为一个实施例的原始视频序列按场景分类示意图；
图3为一个实施例的深度卷积网络结构示意图；
图4为一个实施例的视频序列对齐系统的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案进行说明。
如图1所示，本发明提供一种视频序列对齐方法，可包括以下步骤：
S1，从待对齐的视频序列中抓取无场景切换的视频片段；
其中，所述视频序列的长度应满足一定的时间代价约束条件，所述时间代价约束条件用于表征视频序列对齐操作花费的时间。一般来说，视频序列的长度越长，对齐过程花费的时间越长。为了满足上述约束条件，一般抓取一段较短的视频片段(例如长度为1秒的 视频片段)。通过设置时间代价约束条件，能够提高对齐结果的实时性，缩短用户等待时间，提高用户体验。
抓取视频片段后，需要对抓取的视频片段进行判断，若不符合条件，则重新抓取。判断的基本原理是：尽量保持获取的视频片段前后变化小，无场景切换等。可采用累积的帧间误差作为评判标准，累积的帧间误差为：
Figure PCTCN2016113542-appb-000001
式中，f(zi)为第i个视频帧的特征(例如分区域的颜色直方图)，f(zi-1)为第i-1个视频帧的特征，||·||为距离度量函数(例如，L2距离度量函数)，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。
若不满足上述条件，则需要重新抓取视频片段。一般来说，1秒内的视频片段很容易满足上述条件，因此不会过多地重复采集。无场景切换表示视频内容基本一致，有利于分类。
S2，分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；
假设步骤S1中抓取到的视频片段为Z＝[z0,z1,...zn]，其中，zi(i＝1,2,...,n)为第i个视频帧，若每个视频帧中包括K个子块，在本步骤中，可以生成如下视频片段序列：
Figure PCTCN2016113542-appb-000002
S3，将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；
其中，所述概率值可以根据如下公式计算：
Figure PCTCN2016113542-appb-000003
式中，
Figure PCTCN2016113542-appb-000004
表示所述视频片段序列的第i个视频帧中的第k个子块，Yj表示所述原始视频序列中属于第j场景类别的视频片段，
Figure PCTCN2016113542-appb-000005
为所述视频片段序列中的子块
Figure PCTCN2016113542-appb-000006
属于第j场景类别的概率值，p(Yj/Z)为所述视频片段序列属于第j场景类别的概率值，K为所述视频片段序列的一个视频帧中子块的总数，∏表示乘法操作。
所述场景类别分类器可以在执行对齐操作之前预先训练。训练场景分类器的方式可包 括以下步骤：
步骤1，获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别；
视频序列中，若场景不进行切换，则相邻图像相似度极高。因此可以将视频序列样本按场景划分为较粗的类别，并保持时间先后关系。在粗定位时，只需确定当前视频片段与哪一个类别最为相似即可。具体分类描述如下：
设视频序列样本为Y＝[y1,y2,...ym]，m为视频序列样本中的视频帧的总数。按场景划分为多个类别，如图2所示。图2中，Yl为视频序列样本中的第l个视频片段，每个视频片段包括若干个视频帧。
可以预先在场景边界做标注，根据该标注信息进行场景划分(一般原始视频序列20-30分钟，标注量不大，并且是一次性工作)，也可以采用典型的帧间累积误差自动进行场景分类：累积的帧间误差为：
Figure PCTCN2016113542-appb-000007
其中，f(yi)表示第i个视频帧的特征表示(例如分区域的颜色直方图)，||·||是距离度量函数。若d(Y)小于设置的阈值，则将当前相邻图像划分为同一个类别；后续未划分的序列则重复上述划分过程即可。
步骤2，分别将各个场景类别的视频序列样本划分为若干个样本子块；其中，所述视频序列样本中包括非重叠的样本子块；
针对每个场景类别中每个图像样本，进行非重叠的子块划分(也可以带重叠，但应包括非重叠划分的特例)，构建立出更为精细的小图(例如256*256，若非重叠划分不能整除256时，可以在最右侧划分时采用重叠划分)，进行训练深度卷积网络。一般学习策略，用的样本越多越好，非重叠下，采用的样本是最少的，不能再少了，并且它们之间没有重叠。而有重叠的划分，需要包括非重叠的特例，否则失去了一般性。这样做的好处有：1)样本数量增多，有利于深度卷积网络训练；2)样本图像尺寸变小，可以有效地减少深度神经网络中全连接层的数量，复杂度降低。例如：每个原始样本图像yi，经过子块划分后，可以得到K+1个子块图像
Figure PCTCN2016113542-appb-000008
步骤3，根据所述样本子块及其所属的场景类别对深度卷积网络进行训练，得到场景类别分类器。
利用收集的场景类别样本图(即子块图像)及其标注(子块图像对应的场景类别)，对深度卷积网络进行训练，得到分类器，如图3所示。本发明采用的深度卷积网络包括五个卷积层(Convolutional Layer)，每个卷积层的输出都经过ReLU(Rectified Linear Units)激活函数进行非线性变换，再经过池化层(Pooling Layer)进行池化，再接两个全连接层(Fully-Connected Layer)，最后通过Softmax函数输出分类概率(输入子块图像属于某个场景类别的概率
Figure PCTCN2016113542-appb-000009
S4，将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。
步骤S3已经粗略定位当前视频片段Z＝[z0,z1,...zn]属于哪个类别YJ＝[yu,yu+1,...yv]。本步骤即将在中精确地定位当前视频片段所属位置。为了防止边界问题，可以将YJ进行左右扩展为YJ＝[yu-n,yu-n+1,...yv+n]，则精确对齐的计算方式为：
Figure PCTCN2016113542-appb-000010
其中，YJ＝[yu-n,yu-n+1,...yv+n]；
式中，Q表示所述视频片段与原始视频序列的最佳对齐位置，d(·)为距离度量函数，Z为所述视频片段，zi为Z中的第i个视频帧，Yj＝[yu,yu+1,...yv]表示所述原始视频序列中属于第j场景类别的视频片段，yi为Yj中的第i个视频帧，yu-i(i＝1,2,...,n)为y0前i时刻的视频帧，yv+i(i＝1,2,...,n)为yn后i时刻的视频帧，n为正整数，q∈[u-n,v]。
上述视频序列对齐方法，采用由粗到精的搜索策略，通过先进行粗对齐找到原始视频序列中属于所述第一场景类别的视频片段，再将待对齐的视频序列与所述第一场景类别的视频片段进行精对齐，有效减少了视频对齐的时间，提高了视频对齐的效率。
如图2所示，本发明提供一种视频序列对齐系统，可包括：
视频抓取模块10，用于从待对齐的视频序列中抓取无场景切换的视频片段；
其中，所述视频序列的长度应满足一定的时间代价约束条件，所述时间代价约束条件用于表征视频序列对齐操作花费的时间。一般来说，视频序列的长度越长，对齐过程花费的时间越长。为了满足上述约束条件，一般抓取一段较短的视频片段(例如长度为1秒的视频片段)。通过设置时间代价约束条件，能够提高对齐结果的实时性，缩短用户等待时间， 提高用户体验。
抓取视频片段后，需要对抓取的视频片段进行判断，若不符合条件，则重新抓取。判断的基本原理是：尽量保持获取的视频片段前后变化小，无场景切换等。可设置一判定模块，采用累积的帧间误差作为评判标准进行判断，累积的帧间误差为：
Figure PCTCN2016113542-appb-000011
式中，f(zi)为第i个视频帧的特征(例如分区域的颜色直方图)，f(zi-1)为第i-1个视频帧的特征，||·||为距离度量函数(例如，L2距离度量函数)，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。无场景切换表示视频内容基本一致，有利于分类。
若不满足上述条件，则需要重新抓取视频片段。一般来说，1秒内的视频片段很容易满足上述条件，因此不会过多地重复采集。
序列生成模块20，用于分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；
假设视频抓取模块10中抓取到的视频片段为Z＝[z0,z1,...zn]，其中，zi(i＝1,2,...,n)为第i个视频帧，若每个视频帧中包括K个子块，在序列生成模块20中，可以生成如下视频片段序列：
Figure PCTCN2016113542-appb-000012
计算模块30，用于将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；
其中，所述概率值可以根据如下公式计算：
Figure PCTCN2016113542-appb-000013
式中，
Figure PCTCN2016113542-appb-000014
表示所述视频片段序列的第i个视频帧中的第k个子块，Yj表示所述原始视频序列中属于第j场景类别的视频片段，
Figure PCTCN2016113542-appb-000015
为所述视频片段序列中的子块
Figure PCTCN2016113542-appb-000016
属于第j场景类别的概率值，p(Yj/Z)为所述视频片段序列属于第j场景类别的概率值，K为所述视频片段序列的一个视频帧中子块的总数，∏表示乘法操作。
所述场景类别分类器可以在执行对齐操作之前预先训练。所述视频序列对齐系统还可包括：
分类模块，用于获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别；
视频序列中，若场景不进行切换，则相邻图像相似度极高。因此可以将视频序列样本按场景划分为较粗的类别，并保持时间先后关系。在粗定位时，只需确定当前视频片段与哪一个类别最为相似即可。具体分类描述如下：
设视频序列样本为Y＝[y1,y2,...ym]，m为视频序列样本中的视频帧的总数。按场景划分为多个类别，如图2所示。图2中，Yl为视频序列样本中的第l个视频片段，每个视频片段包括若干个视频帧。
可以预先在场景边界做标注，根据该标注信息进行场景划分(一般原始视频序列20-30分钟，标注量不大，并且是一次性工作)，也可以采用典型的帧间累积误差自动进行场景分类：累积的帧间误差为：
Figure PCTCN2016113542-appb-000017
其中，f(yi)表示第i个视频帧的特征表示(例如分区域的颜色直方图)，||·||是距离度量函数。若d(Y)小于设置的阈值，则将当前相邻图像划分为同一个类别；后续未划分的序列则重复上述划分过程即可。
子块划分模块，用于分别将各个场景类别的视频序列样本划分为若干个样本子块；其中，所述视频序列样本中包括非重叠的样本子块；
针对每个场景类别中每个图像样本，进行非重叠的子块划分(也可以带重叠，但应包括非重叠划分的特例)，构建立出更为精细的小图(例如256*256，若非重叠划分不能整除256时，可以在最右侧划分时采用重叠划分)，进行训练深度卷积网络。一般学习策略，用的样本越多越好，非重叠下，采用的样本是最少的，不能再少了，并且它们之间没有重叠。而有重叠的划分，需要包括非重叠的特例，否则失去了一般性。这样做的好处有：1)样本数量增多，有利于深度卷积网络训练；2)样本图像尺寸变小，可以有效地减少深度神经网络中全连接层的数量，复杂度降低。例如：每个原始样本图像yi，经过子块划分后，可以得到K+1个子块图像
Figure PCTCN2016113542-appb-000018
训练模块，用于根据所述样本子块及其所属的场景类别对深度卷积网络进行训练，得 到场景类别分类器。
利用收集的场景类别样本图(即子块图像)及其标注(子块图像对应的场景类别)，对深度卷积网络进行训练，得到分类器，如图3所示。本发明采用的深度卷积网络包括五个卷积层(Convolutional Layer)，每个卷积层的输出都经过ReLU(Rectified Linear Units)激活函数进行非线性变换，再经过池化层(Pooling Layer)进行池化，再接两个全连接层(Fully-Connected Layer)，最后通过Softmax函数输出分类概率(输入子块图像属于某个场景类别的概率
Figure PCTCN2016113542-appb-000019
对齐模块40，用于将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。
计算模块30已经粗略定位当前视频片段Z＝[z0,z1,...zn]属于哪个类别YJ＝[yu,yu+1,...yv]。对齐模块40即将在中精确地定位当前视频片段所属位置。为了防止边界问题，可以将YJ进行左右扩展为YJ＝[yu-n,yu-n+1,...yv+n]，则精确对齐的计算方式为：
Figure PCTCN2016113542-appb-000020
其中，YJ＝[yu-n,yu-n+1,...yv+n]；
式中，Q表示所述视频片段与原始视频序列的最佳对齐位置，d(·)为距离度量函数，Z为所述视频片段，zi为Z中的第i个视频帧，Yj＝[yu,yu+1,...yv]表示所述原始视频序列中属于第j场景类别的视频片段，yi为Yj中的第i个视频帧，yu-i(i＝1,2,...,n)为y0前i时刻的视频帧，yv+i(i＝1,2,...,n)为yn后i时刻的视频帧，n为正整数，q∈[u-n,v]。
上述视频序列对齐系统，采用由粗到精的搜索策略，通过先进行粗对齐找到原始视频序列中属于所述第一场景类别的视频片段，再将待对齐的视频序列与所述第一场景类别的视频片段进行精对齐，有效减少了视频对齐的时间，提高了视频对齐的效率。
本发明的视频序列对齐系统与本发明的视频序列对齐方法一一对应，在上述视频序列对齐方法的实施例阐述的技术特征及其有益效果均适用于视频序列对齐系统的实施例中，特此声明。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛 盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

  1. 一种视频序列对齐方法，其特征在于，包括以下步骤：
    从待对齐的视频序列中抓取无场景切换的视频片段；
    分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；
    将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；
    将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。
  2. 根据权利要求1所述的视频序列对齐方法，其特征在于，在将所述视频序列输入至预先训练的场景类别分类器之前，还包括以下步骤：
    获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别；
    分别将各个场景类别的视频序列样本划分为若干个样本子块；其中，所述视频序列样本中包括非重叠的样本子块；
    根据所述样本子块及其所属的场景类别对深度卷积网络进行训练，得到场景类别分类器。
  3. 根据权利要求1所述的视频序列对齐方法，其特征在于，还包括以下步骤：
    若所述视频片段满足如下条件，判定所述视频片段无场景切换：
    Figure PCTCN2016113542-appb-100001
    式中，f(zi)为第i个视频帧的特征，f(zi-1)为第i-1个视频帧的特征，||·||为距离度量函数，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。
  4. 根据权利要求1所述的视频序列对齐方法，其特征在于，分别计算所述视频片段序列属于各个场景类别的概率值的步骤包括：
    根据如下公式计算所述视频片段序列属于各个场景类别的概率值：
    Figure PCTCN2016113542-appb-100002
    式中，
    Figure PCTCN2016113542-appb-100003
    表示所述视频片段序列的第i个视频帧中的第k个子块，Yj表示所述原始视频序列中属于第j场景类别的视频片段，
    Figure PCTCN2016113542-appb-100004
    为所述视频片段序列中的子块
    Figure PCTCN2016113542-appb-100005
    属于第j场景类别的概率值，p(Yj/Z)为所述视频片段序列属于第j场景类别的概率值，K为所述视频片段序列的一个视频帧中子块的总数。
  5. 根据权利要求1所述的视频序列对齐方法，其特征在于，将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐的步骤包括：
    根据如下公式将所述视频片段与原始视频序列中属于所述第一场景类别的视频片段进行对齐：
    Figure PCTCN2016113542-appb-100006
    其中，YJ＝[yu-n,yu-n+1,...yv+n]；
    式中，Q表示所述视频片段与原始视频序列的最佳对齐位置，d(·)为距离度量函数，Z为所述视频片段，zi为Z中的第i个视频帧，Yj＝[yu,yu+1,...yv]表示所述原始视频序列中属于第j场景类别的视频片段，yi为Yj中的第i个视频帧，yu-i(i＝1,2,…,n)为y0前i时刻的视频帧，yv+i(i＝1,2,…,n)为yn后i时刻的视频帧，n为正整数，q∈[u-n,v]。
  6. 一种视频序列对齐系统，其特征在于，包括：
    视频抓取模块，用于从待对齐的视频序列中抓取无场景切换的视频片段；
    序列生成模块，用于分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；
    计算模块，用于将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；
    对齐模块，用于将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。
  7. 根据权利要求6所述的视频序列对齐系统，其特征在于，还包括：
    分类模块，用于获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别；
    子块划分模块，用于分别将各个场景类别的视频序列样本划分为若干个样本子块；其 中，所述视频序列样本中包括非重叠的样本子块；
    训练模块，用于根据所述样本子块及其所属的场景类别对深度卷积网络进行训练，得到场景类别分类器。
  8. 根据权利要求6所述的视频序列对齐系统，其特征在于，还包括：
    判定模块，用于若所述视频片段满足如下条件，判定所述视频片段无场景切换：
    Figure PCTCN2016113542-appb-100007
    式中，f(zi)为第i个视频帧的特征，f(zi-1)为第i-1个视频帧的特征，||·||为距离度量函数，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。
  9. 根据权利要求6所述的视频序列对齐系统，其特征在于，所述计算模块进一步根据如下公式计算所述视频片段序列属于各个场景类别的概率值：
    Figure PCTCN2016113542-appb-100008
    式中，
    Figure PCTCN2016113542-appb-100009
    表示所述视频片段序列的第i个视频帧中的第k个子块，Yj表示所述原始视频序列中属于第j场景类别的视频片段，
    Figure PCTCN2016113542-appb-100010
    为所述视频片段序列中的子块
    Figure PCTCN2016113542-appb-100011
    属于第j场景类别的概率值，p(Yj/Z)为所述视频片段序列属于第j场景类别的概率值，K为所述视频片段序列的一个视频帧中子块的总数。
  10. 根据权利要求6所述的视频序列对齐系统，其特征在于，所述对齐模块进一步根据如下公式将所述视频片段与原始视频序列中属于所述第一场景类别的视频片段进行对齐：
    Figure PCTCN2016113542-appb-100012
    其中，YJ＝[yu-n,yu-n+1,...yv+n]；
    式中，Q表示所述视频片段与原始视频序列的最佳对齐位置，d(·)为距离度量函数，Z为所述视频片段，zi为Z中的第i个视频帧，Yj＝[yu,yu+1,...yv]表示所述原始视频序列中属于第j场景类别的视频片段，yi为Yj中的第i个视频帧，yu-i(i＝1,2,…,n)为y0前i时刻的视频帧，yv+i(i＝1,2,…,n)为yn后i时刻的视频帧，n为正整数，q∈[u-n,v]。
PCT/CN2016/113542 2016-11-09 2016-12-30 视频序列对齐方法和系统 Ceased WO2018086231A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610986953.9 2016-11-09
CN201610986953.9A CN106612457B (zh) 2016-11-09 2016-11-09 视频序列对齐方法和系统

Publications (1)

Publication Number Publication Date
WO2018086231A1 true WO2018086231A1 (zh) 2018-05-17

Family

ID=58614979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/113542 Ceased WO2018086231A1 (zh) 2016-11-09 2016-12-30 视频序列对齐方法和系统

Country Status (2)

Country Link
CN (1) CN106612457B (zh)
WO (1) WO2018086231A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640852A (zh) * 2022-03-21 2022-06-17 湖南快乐阳光互动娱乐传媒有限公司 视频帧对齐方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194419A (zh) * 2017-05-10 2017-09-22 百度在线网络技术（北京）有限公司 视频分类方法及装置、计算机设备与可读介质
CN108537134B (zh) * 2018-03-16 2020-06-30 北京交通大学 一种视频语义场景分割及标注方法
CN108682436B (zh) * 2018-05-11 2020-06-23 北京海天瑞声科技股份有限公司 语音对齐方法及装置
CN110147700B (zh) * 2018-05-18 2023-06-27 腾讯科技（深圳）有限公司 视频分类方法、装置、存储介质以及设备
CN111723617B (zh) * 2019-03-20 2023-10-27 顺丰科技有限公司 动作识别的方法、装置、设备及存储介质
CN110347875B (zh) * 2019-07-08 2022-04-15 北京字节跳动网络技术有限公司 一种视频场景分类方法、装置、移动终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310734A1 (en) * 2007-06-18 2008-12-18 The Regents Of The University Of California High speed video action recognition and localization
CN101692269A (zh) * 2009-10-16 2010-04-07 北京中星微电子有限公司 一种处理视频节目的方法和装置
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105704485A (zh) * 2016-02-02 2016-06-22 广州视源电子科技股份有限公司 显示设备的性能参数检测方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
JP2008234623A (ja) * 2007-02-19 2008-10-02 Seiko Epson Corp カテゴリー識別装置、カテゴリー識別方法、及び、プログラム
CN101814147B (zh) * 2010-04-12 2012-04-25 中国科学院自动化研究所 一种实现场景图像的分类方法
CN103366181A (zh) * 2013-06-28 2013-10-23 安科智慧城市技术（中国）有限公司 多特征视觉码本融合的场景识别方法和装置
CN104881675A (zh) * 2015-05-04 2015-09-02 北京奇艺世纪科技有限公司 一种视频场景的识别方法和装置
CN105227907B (zh) * 2015-08-31 2018-07-27 电子科技大学 基于视频的无监督异常事件实时检测方法
CN105550699B (zh) * 2015-12-08 2019-02-12 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
CN105847964A (zh) * 2016-03-28 2016-08-10 乐视控股（北京）有限公司 一种影视节目处理方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310734A1 (en) * 2007-06-18 2008-12-18 The Regents Of The University Of California High speed video action recognition and localization
CN101692269A (zh) * 2009-10-16 2010-04-07 北京中星微电子有限公司 一种处理视频节目的方法和装置
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105704485A (zh) * 2016-02-02 2016-06-22 广州视源电子科技股份有限公司 显示设备的性能参数检测方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640852A (zh) * 2022-03-21 2022-06-17 湖南快乐阳光互动娱乐传媒有限公司 视频帧对齐方法及装置

Also Published As

Publication number Publication date
CN106612457B (zh) 2019-09-03
CN106612457A (zh) 2017-05-03

Similar Documents

Publication Publication Date Title
WO2018086231A1 (zh) 视频序列对齐方法和系统
CN107316007B (zh) 一种基于深度学习的监控图像多类物体检测与识别方法
CN106934346B (zh) 一种目标检测性能优化的方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN103530600B (zh) 复杂光照下的车牌识别方法及系统
CN110363140A (zh) 一种基于红外图像的人体动作实时识别方法
CN103871077B (zh) 一种道路车辆监控视频中的关键帧提取方法
CN102609720B (zh) 一种基于位置校正模型的行人检测方法
CN105956632B (zh) 一种检测目标的方法和装置
CN106778736B (zh) 一种鲁棒的车牌识别方法及其系统
CN111401308A (zh) 一种基于光流效应的鱼类行为视频识别方法
CN104778474A (zh) 一种用于目标检测的分类器构建方法及目标检测方法
CN109859164A (zh) 一种通过快速型卷积神经网络对pcba外观检验的方法
CN107766791A (zh) 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置
CN104715244A (zh) 一种基于肤色分割和机器学习的多视角人脸检测方法
CN110378233A (zh) 一种基于人群行为先验知识的双分支异常检测方法
CN106572387B (zh) 视频序列对齐方法和系统
CN104318208A (zh) 一种基于图分割和实例学习的视频场景检测方法
Wang et al. SDDet: An enhanced encoder–decoder network with hierarchical supervision for surface defect detection
CN108960124A (zh) 用于行人再识别的图像处理方法及装置
CN111160374A (zh) 一种基于机器学习的颜色识别方法及系统、装置
CN111241987B (zh) 基于代价敏感的三支决策的多目标模型视觉追踪方法
CN110349119A (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN103106400B (zh) 一种人脸检测方法与装置
CN115311529B (zh) 一种基于改进YOLOv5的夜间车辆识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16921379

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08.10.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16921379

Country of ref document: EP

Kind code of ref document: A1