WO2017096836A1 - 视频文件的缓存方法和系统 - Google Patents

Abstract

本发明实施例提供一种视频文件的缓存方法和系统，通过获取视频文件信息，至少包括元数据，生成视频文件相应的辅助转码数据，所述辅助转码数据至少包括将所述视频文件转码成TS流文件时所需的索引文件，并将获取的视频文件信息和相应的辅助转码数据进行缓存。通过将获取的视频文件信息和相应的辅助转码数据进行缓存，一方面，当用户请求访问视频文件时，会先去内存中查找，如果有直接在内存中进行读取，比以往从磁盘读写文件相比，解析速度更快；另一方面，由于预先将辅助转码数据缓存到内存中，使用时不用再转换，虽然消耗掉了一部分存储空间，但却加快了转码时间，虽然以空间换时间，但是有效提升了用户使用体验。

Description

视频文件的缓存方法和系统 技术领域

本发明实施例涉及网络技术领域，尤其涉及一种视频文件的缓存方法和系统。

背景技术

随着互联网技术的发展，通过互联网获得的丰富的综合性的网络视频资源已变得十分普遍。对于提供视频资源的视频网站来讲，不仅要存储大量的视频资源，而且每天要同时接受数量巨大的视频访问请求。因此，如何高效的存储视频资源以便为用户更好的提供视频服务是十分重要的。目前很多视频网站的在线视频文件采用MP4文件格式。由于Flash插件可以播放MP4视频文件，浏览器只要支持Flash就可以播放高清的MP4视频，所以MP4视频成为了目前主流的视频格式。同视频码率情况下，MP4文件清晰度比较高，压缩质量很好。标准的MP4文件一般包括索引区以及数据内容区两部分。

鉴于对MP4视频文件数据需求一般比较大，视频提供网站一般会对其缓存。发明人在实现本发明的过程中发现，目前视频提供网站实现缓存的一般作法是对整个视频文件同等对待，所以缓存效果不十分理想。当用户请求视频文件时，都是基于文件系统进行操作，即首先打开文件头，把文件的一部分读到磁盘由服务器进行解析并将解析结果，如视频文件的MD5值，视频段的开始位置和结束位置等信息返回用户。由于解析操作在磁盘上完成，解析速度较慢，对用户使用体验不友好。此外，由于用户客户端很多，根据用户使用请求，一般会对MP4文件进行相应的转码，即将MP4文件转换成flv，ts等格式视频文件，转码时非常消耗CPU资源，一般CPU消耗都在99％以上，造成转码耗时较长，用户等待时间较长。

发明内容

针对上述现有技术存在的例如缓存效果不理想、使用体验不友好、资源 消耗等问题，本发明实施例提供一种视频文件的缓存方法和系统。

本发明实施例一方面提供一种视频文件的缓存方法，包括：

获取待缓存视频文件的视频文件信息，所述视频文件信息至少包括元数据；

生成与所述待缓存视频文件相应的辅助转码数据，所述辅助转码数据至少包括将所述待缓存视频文件转码成TS流文件所需的索引文件；

根据所述视频文件信息和所述辅助转码数据生成视频缓存文件；

将所述视频缓存文件写入内存。

本发明实施例另一方面提供一种视频文件的缓存系统，包括：

视频文件信息获取单元，用于获取待缓存视频文件的视频文件信息，所述视频文件信息至少包括元数据；

辅助转码数据生成单元，用于生成与所述待缓存视频文件相应的辅助转码数据，所述辅助转码数据至少包括将所述待缓存视频文件转码成TS流文件所需的索引文件；

视频缓存文件生成单元，用于根据所述视频文件信息和所述辅助转码数据生成视频缓存文件；

写入单元，用于将所述视频缓存文件写入内存；

本发明实施例提供的一种视频文件的缓存方法及系统，通过将视频文件信息、视频辅助转码用的数据存储在内存中，一方面，当用户请求访问视频文件时，会先去内存中查找，如果有直接在内存中进行读取，比以往从磁盘读写文件相比，解析速度更快；另一方面，由于预先将辅助转码数据缓存到内存中，使用时不用再转换，虽然消耗掉了一部分存储空间，但却加快了转码时间，虽然以空间换时间，但是有效提升了用户使用体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明视频文件的缓存方法实施例流程图；

图2为本发明视频文件的缓存系统实施例结构示意图；

图3为可以应用于实现本发明实施例的视频文件的缓存方法的电子设备的计算机系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，在本发明的一个实施例中，提供的视频文件的缓存方法包括：

S101，缓存服务器获取待缓存视频文件的视频文件信息，所述视频文件信息至少包括元数据；

传统对视频文件一般都会分段处理，这样会使得文件数量很多，很难管理，由于某种原因容易造成部分数据丢失，所以本实施例中所指的视频文件是指整个完整的视频文件，不进行分段处理。

S102，缓存服务器生成与待缓存视频文件相应的辅助转码数据，所述辅助转码数据至少包括将所述视频文件转码成TS流文件时所需的索引文件；

在本实施例中，视频服务器只存储mp4文件格式的视频文件，这样大大降低了存储，有利于其加载和传输，尤其对P2P十分有利。由于视频服务器只存储MP4格式的视频文件，鉴于客户端的多样性，使用时根据用户的请求要进行实时转码操作，即将mp4文件转换标准的flv、ts等视频文件格式，其它请求会根据用户特征做一些改变通过适配器适配，这就需要一些辅助转码数据支持。如通常使用时会事先将mp4文件进行一些预处理，生成辅助转码数据。这里，辅助转码数据包括将mp4文件转换为ts流文件、flv等格式视频文件时生成的辅助文件，如mp4文件转码成ts流文件时所需的索引文件m3u8，其大小一般几十K，不超过1MB，这样使用时不用再转换，虽然消耗掉了一部分存储空间，但却加快了转码时间，虽然以空间换时间，但是有效提升了用户使用体验。

S103，缓存服务器根据视频文件信息和辅助转码数据生成视频缓存文件；

S104，缓存服务器将视频缓存文件写入内存。

进一步地，步骤S101中视频文件信息包括元数据和部分帧数据。

通过将视频文件的部分帧数据到进行缓存，用户请求访问视频文件时，就可以有效的进行预览。

其中，所述视频文件的部分帧数据为视频文件首位置的至少一个关键帧，一般为视频文件播放前三分钟的视频内容即所所谓的片头。正常情况下，获取的视频文件的部分帧数据都不会太大。这样，用户就可以方便的观看所请求视频文件的片头。

一般情况下，缓存服务器会对获取待缓存视频文件的视频文件信息和待缓存视频文件相应的辅助转码数据进行优先级设置，其中视频文件信息中的元数据以及所述辅助转码数据优先级最高，其次为视频文件的部分帧数据。

进一步地，步骤S101中在缓存服务器获取待缓存视频文件的视频文件信息前，根据内存的当前容量和待缓存视频文件的部分帧数据的大小情况，确定所获取的所述视频文件信息包含元数据或包含元数据和部分帧数据。

在使用时，内存的容量为一系统配置的固定大小，如metadataMem＝10G，依据内存的容量大小及使用情况，优先写入优先级最高的视频文件元数据以及相应的辅助转码数据，如果内存足够的话，再写入视频文件的部分帧数据。此外，视频文件元数据的写入位置在视频文件相应的辅助转码数据之前。通过判断机制，可以有效的利用现有内存，使内存使用达到一个合适的利用率。

更进一步地，步骤S104中在缓存服务器将所述视频缓存文件写入内存后，统计所述内存中的各个视频缓存文件的访问记录，根据所述访问记录确定是否将所述各个视频缓存文件中的其中一个或多个视频缓存文件删除。

通常可使用本领域技术人员已知的缓存淘汰策略或算法，如LRU算法进行缓存内容的更新。这样只能通过定期缓存更新才能使有限的内存资源进行合理的分配和使用，有效保证缓存资源的合理利用。

需要注意的是，所述缓存的视频文件一般会根据视频文件使用的热点情况进行排序，按顺序写入内存。放在内存中的数据一般具有两个特点，一是 经常被访问，二是需要经常做一些应用处理。通过视频文件元数据和部分帧数据以及辅助转码用的数据存储在内存中，当用户请求访问视频文件时，会先去内存中查找，如果有直接在内存中进行读取，比以往从磁盘读写文件相比，解析速度更快。

据统计，经过事先将转码需要的文件适当缓存后，CPU消耗不超过30％，大部分情况下都在10％上下，相比不进行缓存时实时转码CPU消耗一般在90％以上。

通过本实施例的方法实现了将视频文件信息、视频辅助转码用的数据存储在内存中，这样，一方面，当用户请求访问视频文件时，会先去内存中查找，比以往从磁盘读写文件相比，解析速度更快；另一方面，由于预先将辅助转码数据缓存到内存中，使用时不用再转换，虽然消耗掉了一部分存储空间，但却加快了转码时间，使经过缓存的视频文件播放更快更流畅，虽然以空间换时间，但是有效提升了用户使用体验。

上述与图1所示的实施例有关的方法，参照图2，可以根据本发明的装置予以实施。本发明实施例提供了一种视频文件的缓存系统，所述系统包括：

视频文件信息获取单元，用于获取待缓存视频文件的视频文件信息，所述视频文件信息至少包括元数据；

辅助转码数据生成单元，用于生成与所述视频文件信息获取单元获取的待缓存视频文件相应的辅助转码数据，所述辅助转码数据至少包括将所述待缓存视频文件转码成TS流文件所需的索引文件；

视频缓存文件生成单元，用于根据所述视频文件信息获取单元获取的视频文件信息和所述辅助转码数据生成单元生成的辅助转码数据生成视频缓存文件；

写入单元，用于将所述视频缓存文件生成单元生成的视频缓存文件写入内存。

在本发明的实施例中，所述视频文件信息包括元数据和部分帧数据。

进一步地，所述部分帧数据为所述待缓存视频文件首位置的至少一个关键帧。

本实施例中的缓存服务器为一个服务器或者服务器集群，其中每个单元/模块可以是单独的服务器或者服务器集群，此时，上述单元/模块之间的交互 表现为各单元/模块所对应的服务器或者服务器集群之间的交互，所述多个服务器或服务器集群共同构成本发明的视频文件缓存系统。

具体地，所述多个服务器或服务器集群共同构成本发明的视频文件缓存系统包括：

视频文件信息获取服务器或者服务器集群，用于获取待缓存视频文件的视频文件信息，所述视频文件信息至少包括元数据；

辅助转码数据生成服务器或者服务器集群，用于生成与所述视频文件信息获取服务器或者服务器集群获取的待缓存视频文件相应的辅助转码数据，所述辅助转码数据至少包括将所述待缓存视频文件转码成TS流文件所需的索引文件；

视频缓存文件生成服务器或者服务器集群，用于根据所述视频文件信息获取服务器或者服务器集群获取的视频文件信息和所述辅助转码数据生成单元生成的辅助转码数据生成视频缓存文件；

写入服务器或者服务器集群，用于将所述视频缓存文件生成服务器或者服务器集群生成的视频缓存文件写入内存。

在一种替代实施例中，可以是上述多个单元/模块中的几个单元/模块共同组成一个服务器或者服务器集群。例如：视频文件信息获取单元和辅助转码数据生成单元共同组成第一服务器或者第一服务器集群，视频缓存文件生成单元和写入单元共同构成第二服务器或者第二服务器集群。

此时，上述单元/模块之间的交互表现为第一服务器与第二服务器之间的交互或者第一服务器集群与第二服务器集群之间的交互，所述第一服务器与第二服务器或第一服务器集群与第二服务器集群共同构成本发明的视频文件缓存系统。

在本发明的实施例中，所述系统还包括视频文件信息判断单元，用于在所述视频文件信息获取单元获取待缓存视频文件的视频文件信息前，根据内存的当前容量和所述待缓存视频文件的部分帧数据的预设阈值的大小，确定所获取的所述视频文件信息包含元数据或包含元数据和部分帧数据。

在本发明的实施例中，所述系统还包括缓存文件更新单元，用于在所述写入单元将所述视频缓存文件写入内存后，统计所述内存中的各个视频缓存文件的访问记录，根据所述访问记录确定是否将所述各个视频缓存文件中的 其中一个或多个视频缓存文件删除。

在本实施例中视频文件信息判断单元和缓存文件更新单元可以为一个服务器或者服务器集群，其中视频文件信息判断单元和缓存文件更新单元可以是单独的服务器或者服务器集群，此时，上述单元之间的交互表现为各单元所对应的服务器之间的交互。

进一步地，本发明还提供一种非瞬时性的计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被带有控制界面的电子设备执行，以用于执行上述方法实施例中的相关步骤，例如：

获取待缓存视频文件的视频文件信息，视频文件信息至少包括元数据；

生成与待缓存视频文件相应的辅助转码数据，辅助转码数据至少包括将待缓存视频文件转码成TS流文件所需的索引文件；

根据视频文件信息和辅助转码数据生成视频缓存文件；

将视频缓存文件写入内存。

图3为可以应用于本发明实施例的电子设备的计算机系统的结构示意图，本发明具体实施例并不对电子设备300的具体实现做限定。如图3所示，该电子设备300可以包括：

处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330、以及通信总线340。其中：

处理器310、通信接口320、以及存储器330通过通信总线340完成相互间的通信。

通信接口320，用于与比如客户端等的网元通信。

处理器310，用于执行存储器330中的程序332，以执行上述方法实施例中的相关步骤。

具体地，程序332可以包括程序代码，所述程序代码包括计算机操作指令。

处理器310可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。

存储器330，用于存放程序332。存储器330可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存 储器。程序332具体可以用于使得所述电子设备300执行以下操作：

视频文件信息获取步骤，获取待缓存视频文件的视频文件信息，视频文件信息至少包括元数据；

辅助转码数据生成步骤，生成与待缓存视频文件相应的辅助转码数据，辅助转码数据至少包括将待缓存视频文件转码成TS流文件所需的索引文件；

视频缓存文件生成步骤，根据视频文件信息和辅助转码数据生成视频缓存文件；

视频缓存文件写入步骤，将视频缓存文件写入内存。

程序332中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1. 一种视频文件的缓存方法，包括以下步骤：

   获取待缓存视频文件的视频文件信息，所述视频文件信息至少包括元数据；

   生成与所述待缓存视频文件相应的辅助转码数据，所述辅助转码数据至少包括将所述待缓存视频文件转码成TS流文件所需的索引文件；

   根据所述视频文件信息和所述辅助转码数据生成视频缓存文件；

   将所述视频缓存文件写入内存。
2. 根据权利要求1所述的方法，其特征在于，所述视频文件信息包括元数据和部分帧数据。
3. 根据权利要求2所述的方法，其特征在于，所述部分帧数据为所述待缓存视频文件首位置的至少一个关键帧。
4. 根据权利要求2或3所述的方法，其特征在于，在获取待缓存视频文件的视频文件信息前，根据内存的当前容量和所述待缓存视频文件的部分帧数据的预设阈值的大小，确定所获取的所述视频文件信息包含元数据或包含元数据和部分帧数据。
5. 根据权利要求1-3中任一项所述的方法，其特征在于，在将所述视频缓存文件写入内存后，统计所述内存中的各个视频缓存文件的访问记录，根据所述访问记录确定是否将所述各个视频缓存文件中的其中一个或多个视频缓存文件删除。
6. 一种视频文件的缓存系统，其特征在于，包括：

   视频文件信息获取单元，用于获取待缓存视频文件的视频文件信息，所述视频文件信息至少包括元数据；

   辅助转码数据生成单元，用于生成与所述待缓存视频文件相应的辅助转码数据，所述辅助转码数据至少包括将所述待缓存视频文件转码成TS流文件所需的索引文件；

   视频缓存文件生成单元，用于根据所述视频文件信息和所述辅助转码数据生成视频缓存文件；

   写入单元，用于将所述视频缓存文件写入内存。
7. 根据权利要求6所述的系统，其特征在于，所述视频文件信息包括元数据和部分帧数据。
8. 根据权利要求7所述的系统，其特征在于，所述部分帧数据为所述待缓存视频文件首位置的至少一个关键帧。
9. 根据权利要求7或8所述的系统，其特征在于，所述系统还包括视频文件信息判断单元，用于在所述视频文件信息获取单元获取待缓存视频文件的视频文件信息前，根据内存的当前容量和所述待缓存视频文件的部分帧数据的预设阈值的大小，确定所获取的所述视频文件信息包含元数据或包含元数据和部分帧数据。
10. 根据权利要求6-8中任一项所述的系统，其特征在于，所述系统还包括缓存文件更新单元，用于在所述写入单元将所述视频缓存文件写入内存后，统计所述内存中的各个视频缓存文件的访问记录，根据所述访问记录确定是否将所述各个视频缓存文件中的其中一个或多个视频缓存文件删除。

Images