WO2017032245A1 - 一种视频文件索引信息的生成方法和设备 - Google Patents
一种视频文件索引信息的生成方法和设备 Download PDFInfo
- Publication number
- WO2017032245A1 WO2017032245A1 PCT/CN2016/095526 CN2016095526W WO2017032245A1 WO 2017032245 A1 WO2017032245 A1 WO 2017032245A1 CN 2016095526 W CN2016095526 W CN 2016095526W WO 2017032245 A1 WO2017032245 A1 WO 2017032245A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video file
- video
- key frame
- server
- frames
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims description 31
- 108091026890 Coding region Proteins 0.000 claims description 8
- 230000006399 behavior Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
Definitions
- the server acquires feature information of the foreground target of all video frames under the same key frame
- the index information further includes:
- the specific acquisition manner of the key frame generation time, the storage location of the key frame in the video file, and the interval frame number between adjacent key frames includes the following steps:
- a first acquiring module configured to acquire a foreground target of the video file according to a code sequence generated after decoding the video file
- the first acquiring module is specifically configured to:
- the plurality of sub-modules having the decoding function in the first acquiring module decode different sub-video files according to a load balancing manner, and acquire a foreground target of the video file according to the encoding sequence generated after decoding the different sub-video files.
- the index information further includes:
- a method for generating video file index information includes the following steps:
- the name of the video file The name of the video file, the generation time of the key frame, the storage location of the key frame in the video file, and the number of interval frames between adjacent key frames.
- the index information includes a detailed description of each key frame in the video file, that is, a detailed description of each part of the video file, and a specific video file can be found according to the name of the video file in the index information, according to the key frame.
- the behavior information of the foreground target can determine the key performance content of different key frames. According to the generation time of the key frame, the storage location of the key frame in the video file, and the interval frame number between adjacent key frames, a video file needs to be found.
- the sub-video file corresponding to the target key frame for example, the user wants to find a video file in which a certain foreground target disappears in the video generated at a certain time, and the server generates the time according to the monitored number and the video.
- the storage cluster Starting from the first key frame of the video file, the storage cluster divides the video file into a plurality of small sub-video files according to GOP size, that is, starting from the first key frame, according to the view
- a key frame in the frequency file divides the video file into a plurality of sub-video files, each of which contains a plurality of video frames.
- a second obtaining module 22 configured to acquire feature information of the foreground target of all video frames under the same key frame
- a first generating module 23 configured to perform, according to the feature information, matching the foreground target in two adjacent video frames under the same key frame to generate behavior information of the foreground target in the key frame;
- a second generating module configured to generate index information of the video file according to behavior information of the foreground target in the key frame
- the feature information includes: physical features, texture features, structural features, and mathematical features.
- the first generating module is specifically configured to:
- the application generates index information corresponding to the key frame by using behavior information of the foreground target obtained by analyzing the foreground target in the key frame, and the server performs a structured description of the video file by generating behavior information of the foreground target in the key frame, so that the server
- These video files can be truly utilized, and the server can find the target video file as quickly as possible based on the index information of the key frames with the structured description.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种视频文件索引信息的生成方法，包括：根据对所述视频文件解码后生成的编码序列获取所述视频文件的前景目标；获取在同一关键帧下的所有视频帧的所述前景目标的特征信息；根据所述特征信息对在同一关键帧下两两相邻的视频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息；根据所述关键帧下所述前景目标的行为信息生成所述视频文件的索引信息，本申请中的索引信息具有结构化描述，可以根据所述索引因袭尽快找到目标视频文件。
Description
本申请涉及计算机技术领域，特别是涉及一种视频文件索引信息的生成方法和设备。
视频数据是互联网上所占比例最大的数据，视频数据中包含了极其丰富的内容信息，可以说是一个“数据金矿”。每天产生的视频数据的数量级巨大，但这些数据保存到存储系统后很大一部分未做进一步的分析利用，只是到期删除或者存储归档，典型的比如视频监控的数据在经过很短的时间后就会被删除。
针对上述问题，在现有技术中通过视频采集设备将视频码流推送到存储服务器后对视频数据进行分析，视频分析服务器对视频进行分析，输出分析结果。
在实现本申请的过程中，申请人发现现有技术至少存在以下问题：
在对视频数据进行分析时无结构化的描述，不能更好的利用这些视频数据，并且由于视频数据存储量非常大，无法准确找到需要的视频信息。
发明内容
本申请的目的在于提供一种视频文件索引信息的生成方法和设备，通过对关键帧中前景目标的分析得到的前景目标的行为信息生成所述视频文件的索引信息，服务器在生成的关键帧中前景目标的行为信息对视频文件进行了结构化的描述，以使服务器可以更好的利用这些视频文件，并且所述服务器根据具有结构化描述的索引信息可以尽快找到目标视频文件。
本申请的技术方案如下：
一种视频文件索引信息的生成方法，所述方法包括：
服务器根据对视频文件解码后生成的编码序列获取所述视频文件的前景
目标；
所述服务器获取在同一关键帧下的所有视频帧的所述前景目标的特征信息；
所述服务器根据所述特征信息对在同一关键帧下两两相邻的视频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息；
所述服务器根据所述关键帧下所述前景目标的行为信息生成所述视频文件的索引信息。
所述服务器根据对所述视频文件解码后生成的编码序列获取所述视频文件的前景目标，具体为：
所述服务器确定所述视频文件中包含的所有关键帧；
所述服务器根据所述视频文件中包含的所有关键帧将所述视频文件拆分为不同的子视频文件；
所述服务器中具有解码功能的多个子模块按照负载均衡的方式对不同的子视频文件进行解码，根据对不同子视频文件解码后生成的编码序列获取所述视频文件的前景目标。
所述索引信息还包括：
视频文件的名称、关键帧的产生时间、关键帧在视频文件中的存储位置、相邻关键帧之间的间隔帧数；
其中，所述视频文件的名称是所述服务器根据采集视频文件的视频采集设备的设备编号和视频文件的采集时间生成的；
所述关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数是根据所述服务器对视频文件进行分析获取的；
所述关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数的具体获取方式包括以下步骤：
所述服务器中具有视频分析功能的多个子模块按照负载均衡的分配方式对不同的子视频文件进行分析，以使所述服务器获取所述视频文件中关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数。
所述特征信息包括：物理特征、纹理特征、结构特征和数学特征。
所述服务器根据所述特征信息对在同一关键帧下两两相邻的视频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息，具体为：
所述服务器根据所述物理特征、纹理特征、结构特征判断同一关键帧下所有视频帧中的同一前景目标；
所述服务器根据所述数学特征对同一关键帧下两两相邻的视频帧中同一个前景目标进行匹配生成所述前景目标的行为信息。
一种服务器，所述服务器包括：
第一获取模块，用于根据对所述视频文件解码后生成的编码序列获取所述视频文件的前景目标；
第二获取模块，用于获取在同一关键帧下的所有视频帧的所述前景目标的特征信息；
第一生成模块，用于根据所述特征信息对在同一关键帧下两两相邻的视频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息；
第二生成模块，用于根据所述关键帧下所述前景目标的行为信息生成所述视频文件的索引信息。
所述第一获取模块，具体用于：
确定所述视频文件中包含的所有关键帧；
根据所述视频文件中包含的所有关键帧将所述视频文件拆分为不同的子视频文件；
所述第一获取模块中具有解码功能的多个子模块按照负载均衡的方式对不同的子视频文件进行解码，根据对不同子视频文件解码后生成的编码序列获取所述视频文件的前景目标。
所述索引信息还包括：
视频文件的名称、关键帧的产生时间、关键帧在视频文件中的存储位置、相邻关键帧之间的间隔帧数；
其中，所述视频文件的名称是所述服务器根据采集视频文件的视频采集设备的设备编号和视频文件的采集时间生成的；
所述关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数是根据所述服务器中的分析模块对视频文件进行分析获取的；
所述分析模块，具体用于：
所述分析模块中具有视频分析功能的多个子模块按照负载均衡的分配方式对不同的子视频文件进行分析，以使所述服务器获取所述视频文件中关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数。
所述特征信息包括：物理特征、纹理特征、结构特征和数学特征。
所述第一生成模块，具体用于：
根据所述物理特征、纹理特征、结构特征判断同一关键帧下所有视频帧中的同一前景目标；
根据所述数学特征对同一关键帧下两两相邻的视频帧中同一个前景目标进行匹配生成所述前景目标的行为信息。
本申请通过对关键帧中前景目标的分析得到的前景目标的行为信息生成所述视频文件的索引信息，服务器在生成的关键帧中前景目标的行为信息对视频文件进行了结构化的描述，以使服务器可以更好的利用这些视频文件，并且所述服务器根据具有结构化描述的索引信息可以尽快找到目标视频文件。
为了更清楚地说明本申请或现有技术中的技术方案，下面将对本申请或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的一种视频文件索引信息的生成方法流程图；
图2为本申请实施例中的一种服务器的结构示意图。
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的其他实施例，都属于本申请保护的范围。
一种视频文件索引信息的生成方法，如图1所示，所述方法包括以下步骤：
步骤101，服务器根据对视频文件解码后生成的编码序列获取所述视频文件的前景目标。
所述服务器根据对所述视频文件解码后生成的编码序列获取所述视频文件的前景目标，具体为：
所述服务器确定所述视频文件中包含的所有关键帧；
所述服务器根据所述视频文件中包含的所有关键帧将所述视频文件拆分为不同的子视频文件；
所述服务器中具有解码功能的多个子模块按照负载均衡的方式对不同的子视频文件进行解码，根据对不同子视频文件解码后生成的编码序列获取所述视频文件的前景目标。
具体的，为了达到快速处理视频文件的目的，需要将所述视频文件拆分成多个子视频文件，所述服务器可以对多个子视频文件同时处理。由于视频文件是由视频帧组成的，其中视频帧中包含多个关键帧，关键帧下有多个子帧(非关键帧)，其中，关键帧是角色或者物体运动或变化中的关键动作所处的那一帧，在确定关键帧时是根据视频帧的帧头进行确定，视频帧的帧头有一个标识数值，可以根据所述标识数值判断视频帧是否为关键帧，而一个关键帧下的子帧是对所述关键帧内容的延续，用于控制所述关键帧的延续时间，即子帧越多延续时间越长。一个视频中不同的关键帧表现的内容可能是不同的，即一个视频由多个部分组成，可以根据关键帧区分一个视频文件中不同部分的内容，进而达到快速查找一个视频文件中具体子视频文件的目的，所述服务器在确定出视频文件中的关键帧之后对所述视频文件进行拆分，具体
的拆分方法可以是将一个视频文件从第1个关键帧开始，按照GOP(Group of Pictures，画面组，一个GOP就是一组连续的画面)size大小将所述视频文件拆分成多个子视频文件。
所述服务器中具有解码功能的多个子模块，所述多个子模块可以按照负载均衡的方式对不同的子视频文件进行解码，根据对不同子视频文件解码后生成的编码序列获取所述视频文件的前景目标，这样可以达到快速对视频文件处理的目的，对视频文件解码后生成的所述编码序列是可以在显示设备(电视、电脑)可以显示的，具体的，所述编码序列可以为YUV(Luma and Chroma，一种颜色编码方法，用于优化彩色视频信号的传输)格式或RGB(Red Green Blue，一种颜色编码的方法，用于在显示设备上显示彩色图形)格式的编码序列，在对子视频文件进行解码后生成编码序列，通过背景建模算法提取编码序列中子视频文件的背景部分，然后过滤掉前景目标中的干扰部分，其中，所述前景目标可以包括：人、车和其他，即：视频中重点表现的事物。
步骤102，所述服务器获取在同一关键帧下的所有视频帧的所述前景目标的特征信息。
所述特征信息包括：物理特征、纹理特征、结构特征和数学特征。
所述物理特征描述的是前景目标在画面中的大小，所述纹理特征描述的是前景目标的色彩，所述结构特征描述的是前景目标各个部分的形状和构造，所述数学特征描述的是前景目标的移动向量，以及物理特征、纹理特征、结构特征的个数。
一个视频文件中重点表现的是前景目标，通过对前景目标的分析就能得到所述视频文件的具体描述，在对视频文件中的前景目标进行分析是需要获取在一个视频文件的同一关键帧下的子视频文件中不同视频帧的同一前景目标的特征信息，通过对不同视频帧的同一前景目标的特征信息的分析就能完成所述子视频文件中前景目标的分析，具体的特征信息可以为：角点特征信息、sift(Scale-invariant feature transform，尺度不变特征转换)特征信息，以及自定义的其他特征信息。
步骤103，所述服务器根据所述特征信息对在同一关键帧下两两相邻的视
频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息。
所述服务器根据所述特征信息对在同一关键帧下两两相邻的视频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息，具体为：
所述服务器根据所述物理特征、纹理特征、结构特征判断同一关键帧下所有视频帧中的同一前景目标；
所述服务器根据所述数学特征对同一关键帧下两两相邻的视频帧中同一个前景目标进行匹配生成所述前景目标的行为信息。
具体的，在同一个关键帧下不同视频帧中的同一前景目标的物理特征、纹理特征和结构特征是相同的，所述服务器可以根据前景目标的物理特征、纹理特征、结构特征判断出同一关键帧下不同视频帧中的同一前景目标，在判断出同一前景目标后，通过对比所述前景目标在同一关键帧下的两两相邻的视频帧中的数学特征就能确定出所述前景目标的行为信息，所述行为信息具体可以为：前景目标的移动向量(包括移动距离和移动方向)、前景目标是否消失或前景目标是否是新增加的等，所述前景目标的行为信息可以当成所述视频文件中关键帧的结构化描述。
步骤104，所述服务器根据所述关键帧下所述前景目标的行为信息生成所述视频文件的索引信息。
所述索引信息还包括：
视频文件的名称、关键帧的产生时间、关键帧在视频文件中的存储位置、相邻关键帧之间的间隔帧数。
其中，所述视频文件的名称是所述服务器根据采集视频文件的视频采集设备的设备编号和视频文件的采集时间生成的。
所述关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数是根据所述服务器对视频文件进行分析获取的。
所述关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数的具体获取方式包括以下步骤：
在所述服务器根据所述视频文件中包含的所有关键帧将所述视频文件拆
分为不同的子视频文件之后，所述服务器中具有视频分析功能的多个子模块按照负载均衡的分配方式对所述服务器不同的子视频文件进行分析，以使所述服务器获取所述视频文件中关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数。
具体的，根据视频采集设备的设备编号和视频文件的采集时间对采集的视频文件命名不仅可以区分不同的视频文件，还可以查找具体的视频采集设备在具体的时间采集到的视频文件，例如：用户在查看监控视频时往往需要查找具体监控设备在具体的时间采集到的视频文件，用户可以根据视频文件的名称就可以找到自己需要的视频文件。在获取子视频文件的关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数时是采用多个具有视频分析功能的多个子模块共同处理多个子视频文件的方法，这样可以减少获取整个视频文件中关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数的时间。
所述索引信息中包含了所述视频文件中各个关键帧的结详细描述，即所述视频文件各个部分的详细描述，根据索引信息中的视频文件的名称可以找到具体的视频文件，根据关键帧中前景目标的行为信息可以确定不同关键帧重点表现内容，根据关键帧的产生时间、关键帧在视频文件中的存储位置、相邻关键帧之间的间隔帧数可以找到一个视频文件中需要查找的目标关键帧对应的子视频文件，例如：用户想要查找某一监控在某一时间产生的视频中某个前景目标消失的视频文件，所述服务器根据所述监控的编号和视频产生的时间找到具体的视频文件，再根据前景目标的行为信息确定对应的关键帧，在根据所述关键帧的产生时间、关键帧在视频文件中的存储位置、相邻关键帧之间的间隔帧数就能确定出用户需要查找的具体的内容，即可以根据所述索引信息确定出所述视频文件的具体部分的表现内容，从而避免了在查找到具体的视频文件后一点一点查找自己想要查找的内容。
在确定出视频文件的索引信息后，将所述索引信息生成表单结构，以使所述服务器为大数据查询和分析做数据准备，当所述服务器在为用户提供检索服务时，将所述服务器收到检索指令时，按照用户指令查找表单内容进行
查找，若此时没有查找到需要的视频文件，所述服务器使用机器学习算法，利用前景目标保存的特征信息进行分类识别，若有对应的视频文件则输出指定的视频文件，否则检索服务失败；当所述服务器提供统计服务时，所述服务器先调用检索服务，查找要统计的视频文件，若无对应的视频文件，则通过聚类算法进行某类视频文件的聚类，若聚类出视频文件则输出指定的视频文件。否则统计服务失败；当所述服务器提供预测服务时，先调用检索服务和统计服务，根据历史视频文件做趋势算法分析，提供预测结果。
在确定出所述索引信息后，所述方法还包括：
所述服务器获取所述视频文件的视频编码类型；
所述服务器将所述视频编码类型存储在所述视频文件的索引信息中，以使所述服务器在查找到目标视频所在的具体位置后根据所述视频编码类型选择对应的播放器。
本申请通过对关键帧中前景目标的分析得到的前景目标的行为信息生成对应关键帧的索引信息，服务器在生成关键帧中前景目标的行为信息对视频文件进行了结构化的描述，以使服务器可以真正利用这些视频文件，并且所述服务器根据具有结构化描述的关键帧的索引信息可以尽快找到目标视频文件。
下面结合具体的应用场景的本申请实施例提供的技术方案的设计方式进行详细描述。在本申请实施例中，应用于云计算的场景下，所述服务器包括云计算中的存储集群和计算集群，具体如下：
所述存储集群在接收到视频文件后根据视频采集设备的设备编号和所述视频文件的采集时间对视频文件进行命名，同时按照采集设备的不同存储在不同的目录下，即同一采集设备采集的视频文件存储在同一目录下。
所述存储集群对保存的视频文件进行视频编码类型分析，获取所述视频文件的视频编码类型，所述视频编码类型用于为所述视频文件确定相应的播放器。
所述存储集群从所述视频文件第1个关键帧开始，按照GOP size将所述视频文件分割成多个小的子视频文件，即从第一个关键帧开始，根据所述视
频文件中的关键帧将所述视频文件分割成多个子视频文件，每个子视频文件中包含多个视频帧。
所述存储集群将分割后的自视频文件按照负载均衡的方法推送给计算集群中的不同计算设备上，以使计算集群中的不同计算设备对子视频文件进行视频帧分析和解码。
所述计算集群中的不同计算设备对子视频文件进行视频帧类型分析，获取所述视频文件中关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数。
所述计算集群中的不同计算设备对解码后的子视频文件进行前背景分离，具体的，通过背景建模算法分离出视频画面的背景，并过滤掉前景目标中的干扰部分。
如果所述视频文件中有3个关键帧，分别为关键帧1、关键帧2和关键帧3，分别对应子视频文件1、子视频文件2和子视频文件3，所述计算集群中的计算设备1处理子视频文件1，所述计算集群中的计算设备2处理子视频文件2，所述计算集群中的计算设备3处理子视频文件3。
所述计算集群中的计算设备1获取子视频文件1中所有视频帧前景目标的特征信息，并根据所述特征信息中的物理特征、纹理特征和结构特征确定出子视频文件1中所有视频帧中的同一前景目标，然后再根据所述特征信息中的数学特征确定出所有前景目标的行为信息，例如：第N个视频帧有3个前景目标，第N+1个视频帧中有4个前景目标，根据前景目标的特征信息将第N个视频帧中的前景目标与第N+1个视频帧中的前景目标对应起来，其中有一个前景目标的行为信息为新增的，并且还可以确定出其他3个前景目标的行为信息，并将各个前景目标的所述行为信息发送给所述存储集群，其中，每个目标前景的行为信息的特征描述不少于5个，每个特征描述的特征向量不少于128维。子视频文件2和3同样根据上述方法确定出前景目标的行为信息。
所述存储集群根据所述视频文件的名称、视频编码类型、视频文件中关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔
帧数和前景目标的行为信息生成所述视频文件的索引信息，具体的，所述索引信息中不仅包含所述视频文件的名称，还包括子视频文件1、2、3对应的关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数，以及所述子视频文件1、2、3中所有前景目标的行为信息和所述视频文件的编码信息，所述存储集群不仅可以根据所述索引信息查找用户指定内容的目标视频文件，还可以查找到用户指定内容在目标视频文件中的具体位置。
其中，所述索引信息中不仅记录了所述视频文件中所有前景目标，还记录了所有前景目标的位置、在视频画面中的绝对大小和运动方向。
所述云计算还包括：数据导入与转化模块用于将保存在存储集群的视频文件索引信息格式化导入到大数据分析集群，转化成表单结构，方便大数据查询和分析。
机器学习模块：对视频数据进行学习、分析和挖掘，主要用于提供有监督学习和无监督学习等算法，为对外服务模块提供分析引擎。
对外服务模块：对外接口，用于对用户提供视频文件数据的检索、视频文件内容统计以及基于视频文件内容的趋势分析等服务。
具体的，在确定出视频文件的索引信息后，将所述索引信息生成表单结构，以使云计算为大数据查询和分析做数据准备，当所述云计算在为用户提供检索服务时，将所述云计算收到检索指令时，按照用户指令查找表单内容进行查找，若此时没有查找到需要的视频文件，所述云计算使用机器学习算法，利用前景目标保存的特征信息进行分类识别，若有对应的视频文件则输出指定的视频文件，否则检索服务失败；当所述云计算提供统计服务时，所述云计算先调用检索服务，查找要统计的视频文件，若无对应的视频文件，则通过聚类算法进行某类视频文件的聚类，若聚类出视频文件则输出指定的视频文件。否则统计服务失败；当所述云计算提供预测服务时，先调用检索服务和统计服务，根据历史视频文件做趋势算法分析，提供预测结果。
基于与上述方法同样的申请构思，本申请还提出了一种服务器，如图2所述，所述服务器包括：
第一获取模块21，用于根据对视频文件解码后生成的编码序列获取所述视频文件的前景目标；
第二获取模块22，用于获取在同一关键帧下的所有视频帧的所述前景目标的特征信息；
第一生成模块23，用于根据所述特征信息对在同一关键帧下两两相邻的视频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息；
第二生成模块24，用于根据所述关键帧下所述前景目标的行为信息生成所述视频文件的索引信息；
所述第一获取模块，具体用于：
确定所述视频文件中包含的所有关键帧；
根据所述视频文件中包含的所有关键帧将所述视频文件拆分为不同的子视频文件；
所述第一获取模块中具有解码功能的多个子模块按照负载均衡的方式对不同的子视频文件进行解码，根据对不同子视频文件解码后生成的编码序列获取所述视频文件的前景目标。
所述索引信息还包括：
视频文件的名称、关键帧的产生时间、关键帧在视频文件中的存储位置、相邻关键帧之间的间隔帧数；
其中，所述视频文件的名称是所述服务器根据采集视频文件的视频采集设备的设备编号和视频文件的采集时间生成的；
所述关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数是根据所述服务器中的分析模块对视频文件进行分析获取的；
所述分析模块，具体用于：
所述分析模块中具有视频分析功能的多个子模块按照负载均衡的分配方式对不同的子视频文件进行分析，以使所述服务器获取所述视频文件中关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧
数。
所述特征信息包括：物理特征、纹理特征、结构特征和数学特征。
所述第一生成模块，具体用于：
根据所述物理特征、纹理特征、结构特征判断同一关键帧下所有视频帧中的同一前景目标；
根据所述数学特征对同一关键帧下两两相邻的视频帧中同一个前景目标进行匹配生成所述前景目标的行为信息。
本申请通过对关键帧中前景目标的分析得到的前景目标的行为信息生成对应关键帧的索引信息，服务器在生成关键帧中前景目标的行为信息对视频文件进行了结构化的描述，以使服务器可以真正利用这些视频文件，并且所述服务器根据具有结构化描述的关键帧的索引信息可以尽快找到目标视频文件。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本申请的保护范围。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以集成于一体，也可以分离部署；可以合并为一个模块，也可以进一步拆分成多个子模块。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
以上公开的仅为本申请的几个具体实施例，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
- 一种视频文件索引信息的生成方法，其特征在于，所述方法包括：服务器根据对视频文件解码后生成的编码序列获取所述视频文件的前景目标；所述服务器获取在同一关键帧下的所有视频帧的所述前景目标的特征信息；所述服务器根据所述特征信息对在同一关键帧下两两相邻的视频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息；所述服务器根据所述关键帧下所述前景目标的行为信息生成所述视频文件的索引信息。
- 如权利要求1所述方法，其特征在于，所述服务器根据对所述视频文件解码后生成的编码序列获取所述视频文件的前景目标，具体为：所述服务器确定所述视频文件中包含的所有关键帧；所述服务器根据所述视频文件中包含的所有关键帧将所述视频文件拆分为不同的子视频文件；所述服务器中具有解码功能的多个子模块按照负载均衡的方式对不同的子视频文件进行解码，根据对不同子视频文件解码后生成的编码序列获取所述视频文件的前景目标。
- 如权利要求2所述方法，其特征在于，所述索引信息还包括：视频文件的名称、关键帧的产生时间、关键帧在视频文件中的存储位置、相邻关键帧之间的间隔帧数；其中，所述视频文件的名称是所述服务器根据采集视频文件的视频采集设备的设备编号和视频文件的采集时间生成的；所述关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数是根据所述服务器对视频文件进行分析获取的；所述关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数的具体获取方式包括以下步骤：所述服务器中具有视频分析功能的多个子模块按照负载均衡的分配方式对不同的子视频文件进行分析，以使所述服务器获取所述视频文件中关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数。
- 如权利要求1所述方法，其特征在于，所述特征信息包括：物理特征、纹理特征、结构特征和数学特征。
- 如权利要求4所述方法，其特征在于，所述服务器根据所述特征信息对在同一关键帧下两两相邻的视频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息，具体为：所述服务器根据所述物理特征、纹理特征、结构特征判断同一关键帧下所有视频帧中的同一前景目标；所述服务器根据所述数学特征对同一关键帧下两两相邻的视频帧中同一个前景目标进行匹配生成所述前景目标的行为信息。
- 一种服务器，其特征在于，所述服务器包括：第一获取模块，用于根据对视频文件解码后生成的编码序列获取所述视频文件的前景目标；第二获取模块，用于获取在同一关键帧下的所有视频帧的所述前景目标的特征信息；第一生成模块，用于根据所述特征信息对在同一关键帧下两两相邻的视频帧中的所述前景目标进行匹配生成所述关键帧下所述前景目标的行为信息；第二生成模块，用于根据所述关键帧下所述前景目标的行为信息生成所述视频文件的索引信息。
- 如权利要求6所述服务器，其特征在于，所述第一获取模块，具体用于：确定所述视频文件中包含的所有关键帧；根据所述视频文件中包含的所有关键帧将所述视频文件拆分为不同的子视频文件；所述第一获取模块中具有解码功能的多个子模块按照负载均衡的方式对 不同的子视频文件进行解码，根据对不同子视频文件解码后生成的编码序列获取所述视频文件的前景目标。
- 如权利要求7所述服务器，其特征在于，所述索引信息还包括：视频文件的名称、关键帧的产生时间、关键帧在视频文件中的存储位置、相邻关键帧之间的间隔帧数；其中，所述视频文件的名称是所述服务器根据采集视频文件的视频采集设备的设备编号和视频文件的采集时间生成的；所述关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数是根据所述服务器中的分析模块对视频文件进行分析获取的；所述分析模块，具体用于：所述分析模块中具有视频分析功能的多个子模块按照负载均衡的分配方式对不同的子视频文件进行分析，以使所述服务器获取所述视频文件中关键帧的产生时间、关键帧在视频文件中的存储位置和相邻关键帧之间的间隔帧数。
- 如权利要求6所述服务器，其特征在于，所述特征信息包括：物理特征、纹理特征、结构特征和数学特征。
- 如权利要求9所述服务器，其特征在于，所述第一生成模块，具体用于：根据所述物理特征、纹理特征、结构特征判断同一关键帧下所有视频帧中的同一前景目标；根据所述数学特征对同一关键帧下两两相邻的视频帧中同一个前景目标进行匹配生成所述前景目标的行为信息。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510537180.1 | 2015-08-27 | ||
| CN201510537180.1A CN106488257A (zh) | 2015-08-27 | 2015-08-27 | 一种视频文件索引信息的生成方法和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017032245A1 true WO2017032245A1 (zh) | 2017-03-02 |
Family
ID=58099606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2016/095526 WO2017032245A1 (zh) | 2015-08-27 | 2016-08-16 | 一种视频文件索引信息的生成方法和设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106488257A (zh) |
| WO (1) | WO2017032245A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110572691A (zh) * | 2019-08-01 | 2019-12-13 | 浙江大华技术股份有限公司 | 视频读取方法、装置、设备和存储介质 |
| CN110765321A (zh) * | 2019-10-28 | 2020-02-07 | 北京明略软件系统有限公司 | 一种数据存储路径的生成方法、生成装置及可读存储介质 |
| CN112637634A (zh) * | 2020-12-24 | 2021-04-09 | 北京睿芯高通量科技有限公司 | 一种多进程共享数据的高并发视频处理方法及系统 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107301245B (zh) * | 2017-07-14 | 2020-03-06 | 国网山东省电力公司淄博供电公司 | 一种电力信息视频搜索系统 |
| CN109543511B (zh) * | 2018-10-09 | 2022-04-08 | 广州市诚毅科技软件开发有限公司 | 基于图纹突变帧和特征计算的视频识别方法、系统及装置 |
| CN110377794B (zh) * | 2019-06-12 | 2022-04-01 | 杭州当虹科技股份有限公司 | 一种视频特征描述与去重检索处理方法 |
| CN112541390B (zh) * | 2020-10-30 | 2023-04-25 | 四川天翼网络股份有限公司 | 一种用于考试视频违规分析的抽帧动态调度方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470809A (zh) * | 2007-12-26 | 2009-07-01 | 中国科学院自动化研究所 | 一种基于扩展混合高斯模型的运动目标检测方法 |
| CN102129474A (zh) * | 2011-04-20 | 2011-07-20 | 杭州华三通信技术有限公司 | 一种视频数据检索方法及其装置和系统 |
| CN103226701A (zh) * | 2013-04-24 | 2013-07-31 | 天津大学 | 一种视频语义事件建模方法 |
| CN104090885A (zh) * | 2013-12-09 | 2014-10-08 | 武汉飞凌视讯科技有限公司 | 一种基于局部拷贝检测的多视角视频对象检索系统及方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030101104A1 (en) * | 2001-11-28 | 2003-05-29 | Koninklijke Philips Electronics N.V. | System and method for retrieving information related to targeted subjects |
| CN101295322B (zh) * | 2008-06-30 | 2011-05-04 | 腾讯科技（深圳）有限公司 | 一种视频索引建立方法和装置 |
| CN102685551A (zh) * | 2012-05-09 | 2012-09-19 | 浙江宇视科技有限公司 | 一种从录像数据中查看关键事件的方法和系统 |
-
2015
- 2015-08-27 CN CN201510537180.1A patent/CN106488257A/zh active Pending
-
2016
- 2016-08-16 WO PCT/CN2016/095526 patent/WO2017032245A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470809A (zh) * | 2007-12-26 | 2009-07-01 | 中国科学院自动化研究所 | 一种基于扩展混合高斯模型的运动目标检测方法 |
| CN102129474A (zh) * | 2011-04-20 | 2011-07-20 | 杭州华三通信技术有限公司 | 一种视频数据检索方法及其装置和系统 |
| CN103226701A (zh) * | 2013-04-24 | 2013-07-31 | 天津大学 | 一种视频语义事件建模方法 |
| CN104090885A (zh) * | 2013-12-09 | 2014-10-08 | 武汉飞凌视讯科技有限公司 | 一种基于局部拷贝检测的多视角视频对象检索系统及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110572691A (zh) * | 2019-08-01 | 2019-12-13 | 浙江大华技术股份有限公司 | 视频读取方法、装置、设备和存储介质 |
| CN110572691B (zh) * | 2019-08-01 | 2022-05-20 | 浙江大华技术股份有限公司 | 视频读取方法、装置、设备和存储介质 |
| CN110765321A (zh) * | 2019-10-28 | 2020-02-07 | 北京明略软件系统有限公司 | 一种数据存储路径的生成方法、生成装置及可读存储介质 |
| CN110765321B (zh) * | 2019-10-28 | 2022-10-25 | 北京明略软件系统有限公司 | 一种数据存储路径的生成方法、生成装置及可读存储介质 |
| CN112637634A (zh) * | 2020-12-24 | 2021-04-09 | 北京睿芯高通量科技有限公司 | 一种多进程共享数据的高并发视频处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106488257A (zh) | 2017-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017032245A1 (zh) | 一种视频文件索引信息的生成方法和设备 | |
| US11281712B2 (en) | System, apparatus, method, program and recording medium for processing image | |
| US11080331B2 (en) | Systems and methods for addressing a media database using distance associative hashing | |
| US11132555B2 (en) | Video detection method, server and storage medium | |
| EP3147817A1 (en) | Method and apparatus for video and image match searching | |
| US8135239B2 (en) | Display control apparatus, display control method, computer program, and recording medium | |
| CA2906199C (en) | Systems and methods for addressing a media database using distance associative hashing | |
| CN104994426B (zh) | 节目视频识别方法及系统 | |
| US8787692B1 (en) | Image compression using exemplar dictionary based on hierarchical clustering | |
| US20070195344A1 (en) | System, apparatus, method, program and recording medium for processing image | |
| WO2010000163A1 (zh) | 提取视频摘要的方法、系统及设备 | |
| KR20180030865A (ko) | 시스템 리소스 활용을 향상시키기 위한 미디어 핑거프린트 보유의 최적화 | |
| EP3001871B1 (en) | Systems and methods for addressing a media database using distance associative hashing | |
| EP2345978B1 (en) | Detection of flash illuminated scenes in video clips and related ranking of video clips | |
| Fernando et al. | Fade-in and fade-out detection in video sequences using histograms | |
| WO2023088029A1 (zh) | 一种封面生成方法、装置、设备及介质 | |
| CN105989063A (zh) | 视频检索方法和装置 | |
| Nagar et al. | Low complexity image matching using color based SIFT | |
| WO2022141683A1 (en) | Scalable feature stream | |
| Dimitrovski et al. | Video Content-Based Retrieval System | |
| Pereira et al. | Evaluation of a practical video fingerprinting system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16838504 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16838504 Country of ref document: EP Kind code of ref document: A1 |