WO2021196890A1 - 多媒体处理方法、装置、电子设备、存储介质 - Google Patents

Abstract

本申请的实施例揭示了一种多媒体处理方法、装置、电子设备、计算机可读存储介质。该多媒体处理方法包括: 获取待生成多媒体特效的原始多媒体; 对所述原始多媒体进行媒体内容识别，并获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效; 根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效。

Description

多媒体处理方法、装置、电子设备、存储介质

本申请要求于2020年4月2日提交中国专利局、申请号为202010255390.2、名称为“视频及图像处理方法、装置、电子设备、存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及图像应用技术领域，具体涉及一种多媒体处理方法和装置，以及一种电子设备和一种计算机可读存储介质。

背景

随着互联网技术的迅猛发展，各类视频应用程序层出不穷。这些视频应用程序通常具有特效添加功能，通过在用户视频中生成视频特效，以为用户提供更佳的用户体验。但是，如何提升视频特效生成过程中的便捷性是有待解决的技术问题。

技术内容

本申请的实施例基于多个方面提供了多媒体处理方法和装置，以及一种电子设备和一种计算机可读存储介质。

其中，本申请的实施例采用的技术方案为：

一种多媒体处理方法，该方法包括：获取待生成多媒体特效的原始多媒体；对所述原始多媒体进行多媒体内容识别，并获得与所述原始多媒体的多媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效；根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效。

基于本申请的另一方面，还提供了一种多媒体处理方法，该方法包括：获取待生成多媒体特效的原始多媒体；对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效；将所述特效模板发送至指定设备，使得所述指定设备根据选中的特效模 板中含有的目标特效组件，在所述原始多媒体中生成所述特效组件描述的多媒体特效。

基于本申请的另一方面，还提供了一种视频处理方法，该方法包括：显示待生成多媒体特效的原始多媒体；显示与所述原始多媒体的多媒体内容相匹配的至少一个特效模板，所述特效模板是根据与所述原始多媒体的媒体内容相匹配的特效组件生成的，所述特效组件用于描述多媒体特效；检测从所述至少一个特效模板中选取的目标特效模板，所述目标特效模板包含有目标特效组件；在显示的所述原始多媒体中呈现所述目标特效组件所描述的多媒体特效。

一种视频处理装置，包括：原始多媒体获取模块，用于获取待生成多媒体特效的原始多媒体；特效模板获取模块，用于对所述原始多媒体进行媒体内容识别，并获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效；多媒体特效生成模块，用于根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效。

一种多媒体处理装置，包括：第二原始多媒体获取模块，用于获取待生成多媒体特效的原始多媒体；第二特效模板获取模块，用于对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效；特效模板发送模块，用于将所述特效模板发送至指定设备，使得所述指定设备根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述特效组件描述的多媒体特效。

一种多媒体处理装置，包括：原始多媒体显示模块，用于显示待生成视频特效的原始多媒体；特效模板显示模块，用于显示与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板是根据与所述原始多媒体的媒体内容相匹配的特效组件生成的，所述特效组件用于描述多媒体特效；模板选中检测模块，用于检测从所述至少一个特效模板中选取的目标特效模板，所述目标特效模板包含有目标特效组件；多媒体特效呈现模块，用于在显示的所述原始多媒体中呈现所述目标特效组件所描述的多媒体特效。

一种电子设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的多媒体处理方法。

一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的多媒体处理方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请涉及的实施环境的示意图；

图2A是根据一示例性实施例示出的一种多媒体处理方法的流程图；

图2B是根据一示例性实施例示出的一种多媒体处理方法的流程图；

图3是图2B所示实施例中步骤130在一个实施例的流程图；

图4是图3所示实施例中步骤133在一个实施例的流程图；

图5是图2B所示实施例中步骤150在一个实施例的流程图；

图6是一示例性实施例中示出的一种特效模板的示意图；

图7是图2B所示实施例中步骤130在另一个实施例的流程图；

图8是根据另一示例性实施例示出的一种多媒体处理方法的流程图；

图9是根据另一示例性实施例示出的一种多媒体处理方法的流程图；

图10是根据一示例性实施例示出的一种多媒体特效生成过程的示意图；

图11是根据另一示例性实施例示出的一种多媒体处理方法的流程图；

图12是根据一示例性实施例示出的一种终端设备的界面示意图；

图13是根据一示例性实施例示出的一种多媒体处理装置的框图；

图14是根据另一示例性实施例示出的一种多媒体处理装置的框图；

图15是根据另一示例性实施例示出的一种多媒体处理装置的框图；

图16是根据一示例性实施例示出的一种多媒体处理设备的结构示意图。

实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

请参阅图1，图1是本申请所涉及的一种实施环境的示意图，该实施环境包括终端100 和服务器200。

其中，终端100与服务器200之间预先建立有线或者无线的通信连接，使得终端100与服务器200之间可以进行数据传输。

终端100中运行有多媒体应用程序，例如视频应用程序，该视频应用程序具有用户交互界面，并通过该用户交互界面为用户提供视频特效的生成、发布等视频交互功能，服务器200则用于为多媒体应用程序的正常运行提供数据服务。

需要说明的是，在本实施环境中，终端100可以是智能手机、平板电脑、计算机、笔记本电脑等任意能够运行该多媒体应用程序的电子设备，终端100所运行多媒体应用程序可以是客户端应用程序或者网页应用程序，服务器200可以是一单独的服务器，也可以是由若干服务器构成的服务器集群，本处均不进行限定。

首先需要说明的是，在现有的多媒体特效生成方案中，需要用户从预先设置的特效模板中选择目标特效模板，并对待生成视频特效的用户视频进行编辑处理，使用户视频满足目标特效模板的要求，从而能够在编辑处理后的用户多媒体中生成目标特效目标所含有的视频特效。可见，现有的多媒体特效生成方案对于用户多媒体具有很大限制，基于预先设置的特效模板并不能方便地在用户多媒体中生成视频特效。

为解决此技术问题，本实施例中提出一种多媒体处理方法，在此多媒体处理方法中，针对用户多媒体生成多媒体特效的特效模板可以自适应于用户多媒体中包含的媒体内容，无需用户预先对用户多媒体进行编辑处理，完全消除了多媒体特效生成过程中对于用户多媒体的限制。

图2A是根据一示例性实施例示出的一种多媒体处理方法的流程图，该方法由电子设备执行，该电子设备可以是图1所示实施环境中的终端100，也可以是服务器200。

如图2A所示，在一示例性实施例中，该多媒体处理方法至少包括如下步骤：

步骤S101，获取待生成多媒体特效的原始多媒体。

需要说明的是，在本实施例中，原始多媒体即是指待生成多媒体特效的用户多媒体，包括视频和图像等该原始多媒体可以是用户触发摄像头拍摄获得的，也可以是用户从存储模块(例如相册)中选取获得，本处不进行限制。

步骤S102，对所述原始多媒体进行媒体内容识别，并获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效。

在一些实施例中，对所述原始多媒体进行媒体内容识别，并获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板时，对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相对应的多媒体标签；根据所述多媒体标签，从预设的特效组件集合中获取与所述多媒体标签相匹配的至少一个特效组件；根据与所述多媒体标签相匹配的至少一 个特效组件，生成至少一个所述特效模板。

在一些实施例中，所述原始多媒体包括原始视频；在对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相对应的多媒体标签时，根据所述原始视频的视频时长，从所述原始视频中截取至少一帧视频图像；对所述至少一帧视频图像进行内容识别，得到所述至少一帧视频图像的内容标签，将所述至少一帧视频图像的内容标签作为与所述原始视频的视频内容相对应的视频标签。

在一些实施例中，根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效，包括：解析所述选中的特效模板含有的各个特效组件的特效参数，所述特效参数包括时间参数，所述时间参数用于描述所述特效组件在所述原始视频中进行显示的相对位置和显示时长；根据所述各个特效组件的时间参数，在所述原始视频的相对位置上生成各个特效组件对应的视频特效内容，并使所述视频特效内容持续显示所述显示时长。

在一些实施例中，所述原始视频包括至少两个视频片段；对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，包括：分别对每个所述视频片段进行视频内容识别；根据识别得到的每个所述视频片段的视频内容，分别获取与每个所述视频片段的视频内容相匹配的特效模板。

在一些实施例中，根据所述多媒体标签，从预设的特效组件集合中获取与所述多媒体标签相匹配的至少一个特效组件，包括：根据预设的标签权重判定规则，确定所述特效组件集合中各个特效组件的特效标签相对所述多媒体标签的权重；根据所述各个特效组件的特效标签相对所述多媒体标签的权重，从所述特效组件集合中选取特效标签与所述多媒体标签相匹配的至少一个特效组件。

在一些实施例中，所述原始多媒体包括原始图像；所述根据预设的标签权重判定规则，确定所述特效组件集合中各个特效组件的特效标签相对所述多媒体标签的权重，包括：降低不适用于所述原始图像生成特效的特效组件的特效标签相对于所述原始多媒体标签的权重至预设值。

在一些实施例中，根据所述各个特效组件的特效标签相对所述多媒体标签的权重，从所述特效组件集合中选取特效标签与所述多媒体标签相匹配的至少一个特效组件，包括：将所述特效组件集合中权重大于预设权重阈值的特效组件作为与所述多媒体标签相匹配的特效组件，或者，根据所述各个特效组件的特效标签，确定所述特效组件集合中隶属于同一特效类型的特效组件，并按照所述各个特效组件的特效标签相对多媒体标签的权重由大到小的顺序，分别从各个特效类型下的特效组件中选取特效组件，所选取各个类型下的特效组件的数量与预设的特效模板的数量相同。

在一些实施例中，根据与所述多媒体标签相匹配的特效组件，生成至少一个所述特效模 板，包括：将与所述多媒体标签相匹配的特效组件按照不同的特效类型进行随机组合，获得至少一个所述特效模板，或者，根据不同特效类型的所述特效组件分别关于所述多媒体标签的匹配程度的排序，将所述不同特效类型下排序相同的特效组件组合形成一个特效模板，获得至少一个所述特效模板。

步骤S103，根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效。

在一些实施例中，在根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效之后，所述方法还包括；根据特效编辑指令，调取特效多媒体中包含的各项特效组件，所述特效多媒体由所述原始多媒体和所述目标特效组件描述的多媒体特效的组合形成；根据组件更新指令，对所述特效多媒体中包含的各项特效组件进行更新。

通过本申请实施例提供的多媒体处理方法，通过特效模板对原始多媒体进行特效处理，不需要用户从大量特效素材中选择添加特效，极大地提升了多媒体特效生成过程中的便捷性。

并且，待生成多媒体特效的原始多媒体所对应的特效模板是对待生成多媒体特效的原始多媒体进行媒体内容识别，并根据原始多媒体的媒体内容自动匹配获得的，因此特效模板是主动适应于待生成多媒体特效的原始多媒体，然后根据选中的特效模板中含有的目标特效组件，在原始视频中生成目标特效组件描述的多媒体特效，使得本申请在对原始多媒体生成多媒体特效之前无需对原始多媒体进行编辑处理，多媒体特效的生成效率得到了极大提升，并且在生成多媒体特效过程中对于原始多媒体没有任何限制。

在本申请的一些实施例中，所述多媒体包括视频和图像等。下面以多媒体为视频为例来描述本申请实施例所述的多媒体处理方法。图2B是根据一示例性实施例示出的一种多媒体处理方法的流程图，该方法可以适用于图1所示实施环境中的终端100，并由终端100中运行的多媒体应用程序具体执行。

如图2B所示，在一示例性实施例中，该多媒体(视频)处理方法至少包括如下步骤：

步骤110，获取待生成视频特效的原始视频。

步骤130，对原始视频进行视频内容识别，并获得与原始视频的视频内容相匹配的至少一个特效模板，该特效模板中含有至少一个特效组件，该特效组件用于描述视频特效。

其中，对原始视频进行的视频内容识别，是对原始视频中包含的视频对象进行识别的过程。原始视频中包含的视频对象可以是原始视频中出现的人物、物体或者其它对象，本实施例不进行限制。通过对原始视频进行的视频内容识别，即可以获得原始视频的视频内容。

特效模板是组合有至少一个特效组件的特效组件集合，这些特效组件是预先设置的，并且一个特效组件可以描述一种或者多种视频特效，因此特效模板可以理解为是视频特效集合。

在本实施例中，根据识别得到的原始视频的视频内容，获得与原始视频的视频内容相匹 配至少一个特效模板的过程，也即是根据原始视频的视频内容，自适应地为原始视频生成至少一个特效模板的过程，其中每个特效模板是由与原始视频的视频内容相匹配的至少一个特效组件组合形成。

步骤150，根据选中的特效模板中含有的目标特效组件，在原始视频中生成目标特效组件描述的视频特效。

其中，在所获得的与原始视频的视频内容相匹配的至少一个特效模板中，特效模板的选中操作可以是用户通过单击、双击、长按等交互方式所触发实现的，本实施例不进行限制。

针对选中的特效模板中含有的目标特效组件，根据各个目标特效组件所分别描述的视频特效，即可实现在原始视频中相应生成这些视频特效。

由此，本实施例中根据原始视频的视频内容，从预先设置的特效组件中选取与原始视频的视频内容相匹配的特效组件组合形成至少一个特效模板，这些特效模板可以自适应于原始视频，然后根据选中的特效模板，即可在原始视频中生成所选中的特效模板中含有的目标特效组件所描述的视频特效，整个视频特效生成过程中无需对原始视频进行编辑处理，避免了现有的视频特效生成方案中预先设置特效模板对于原始视频产生的限制。

并且本实施例以特效模板的形式为原始视频添加视频特效，省去了需要用户从大量的特效素材中进行特效素材挑选的过程，使得视频特效的生成过程更加地便捷化，采用本实施例的方法能够快速地在原始视频中生成高质量的视频特效。

图3是图2B所示实施例中步骤130在一个实施例的流程图。如图3所示，在一示例性实施例中，对原始视频进行视频内容识别，并获得与原始视频的视频内容相匹配的至少一个特效模板，至少包括如下步骤：

步骤131，对原始视频进行视频内容识别，获得与原始视频的视频内容相对应的视频标签。

如前所述，对原始视频进行的视频内容识别，是对原始视频中包含的视频对象进行识别的过程，因此与原始视频的视频内容相对应的视频标签即是原始视频中包含的视频对象所对应的标签。例如识别到原始视频中含有小孩的画面，则可以相应获取视频标签“萌娃”。

应当说明的是，由于原始视频通常含有不同类型的视频对象，因此对原始视频进行视频内容识别所获得的视频标签也应当是多个维度的。

在一个实施例中，视频标签可以是原始视频中的视频图像所含有的视频对象所对应的标签。示例性的，可根据原始视频的视频时长从原始视频中截取至少一帧视频图像例如若干帧，然后对截取的视频图像进行内容识别，得到这些视频图像的内容标签，该内容标签即标识了视频图像中含有的视频对象，从而将这些视频图像的内容标签作为与原始视频的视频内容相对应的视频标签。

需要说明的是，从原始视频中截取的视频图像的帧数可以根据具体需求相应设置。如果原始视频的视频时长较长，为使得获取的视频标签可以准确地标识原始视频的视频内容，则可以截取较多帧数的视频图像进行内容识别。同理，即使原始视频的视频时长较短，也可以截取较多帧数的视频图像进行内容，以使得所获得的视频标签能够准确地反映原始视频的视频内容。

步骤133，根据视频标签，从预设的特效组件集合中获取与视频标签相匹配的至少一个特效组件。

其中，特效组件集合中包含有所有预先设置的特效组件，这些特效组件分别描述不同的视频特效。根据原始视频的视频标签，从特效组件集合中选取于视频标签相匹配的至少一个特效组件，即可保证获取的特效组件可以和原始视频的视频内容相匹配。

由于不同原始视频所对应视频标签也应该不同，因此本实施例针对不同的视频内容，能够选取不同的特效组件进行视频特效生成，进而形成多样化的视频特效生成方案。

步骤135，根据与视频标签相匹配的特效组件，生成至少一个特效模板。

如前所述，由于步骤133中根据视频标签从特效组件集合中获取的至少一个特效组件与原始视频的视频内容相匹配，因此根据这些特效组件生成的特效模板也能与原始视频的视频内容相匹配。

由此，本实施例根据对原始视频进行视频内容识别所获得的视频标签，从预设的特效组件集合中获取与原始视频的视频标签相匹配的特效组件，并通过这些特效组件组合形成与原始视频的视频内容相匹配的至少一个特效模板，使得本实施例可以通过预先设置的特效素材组合生成丰富的特效模板，并且所生成的特效模板能够与原始视频的视频内容相适应，使得本实施例提供的视频特效生成方案具有极大的自适应性。

图4是图3所示实施例中步骤133在一个实施例的流程图。如图4所示，根据视频标签，从预设的特效组件集合中获取与视频标签相匹配的至少一个特效组件，至少包括如下步骤：

步骤1331，根据预设的标签权重判定规则，确定特效组件集合中各个特效组件的特效标签相对视频标签的权重。

首先需要说明，特效组件集合中各个特效组件的特效标签是用于标识特效组件的特效风格，例如特效标签可以是“欧美复古风”、“中国风”等，每个特效组件可以具有至少一个特效标签，不同的特效组件所具有的至少一个标签可以相同。

预设的标签权重判定规则是指预先设置的、且用于判断特效标签相对原始视频的视频标签的权重的规则。在一个实施例中，由于针对任意原始视频进行视频内容识别所获得的视频标签、以及特效组件对应的特效标签均是预先设置的，也即是说，所有的视频标签和特效标签均是已知的，由此可以预先判定各个特效标签分别相对每个视频标签的权重，并将所得权 重以及对应的判定条件进行关联存储，例如可以以列表形式进行存储，由此即可获得标签权重判定规则。

由此，根据标签权重判定规则，可以确定特效组件集合中各个特效组件的特效标签相对步骤131所识别获得的原始视频的视频标签的权重。特效标签相对视频标签的权重，反映了相应特效组件与原始视频的视频内容之间的匹配程度。

步骤1333，根据各个特效组件的特效标签相对视频标签的权重，从特效组件集合中选取特效标签与视频标签相匹配的至少一个特效组件。

如前所述，特效组件与原始视频的视频内容之间的匹配程度通过该特效组件的特效标签相对原始视频的视频标签的权重具体体现，因此根据特效组件集合中各个特效组件的特效标签相对原始视频的视频标签的权重，可以确定与原始视频的视频内容相匹配的至少一个特效组件，并由所选取的特效组件生成与原始视频的视频内容相匹配的至少一个特效模板。

在一个实施例中，可以将特效组件集合中权重大于预设权重阈值的特效组件作为与原始视频的视频标签相匹配的特效组件，以按照不同的特效类型对这些特效组件进行随机组合，从而获得至少一个与原始视频的视频内容相匹配的特效模板。

特效组件对应的特效类型用于表示特效组件所描述的视频特效的类型，例如特效组件可包括片头片尾、时间特效、贴纸、氛围、滤镜、转场等多种特效类型，并且不同的特效类型下可以含有多个特效组件。

还需要说明的是，一个特效组件可以对应一种视频特效，并且多个特效组件也可以组成一个特效组件，以使得一个特效组件能够对应多种视频特效。例如，片头片尾类型下的特效组件是由片头特效组件和片尾特效组件组成，定格特效组件和变色特效组件可以组成定点变色特效组件，使得该定点变色组件具有定格特效和变色特效。

单个特效组件至少包括三种特效参数，分别为类型参数、组件参数和时间参数。其中类型参数用于描述特效组件对应的特效类型，例如贴纸类型、滤镜类型等。组件参数用于描述具体的视频特效内容，根据组件参数可以绘制特效组件所描述的视频特效内容。对于包含由特效素材的特效组件，根据其组件参数即可绘制相应的特效素材；对于不包含特效素材的特效组件，例如时间特效，根据其组件参数即可具体绘制该时间特效。时间参数用于描述特效组件在原始视频中进行显示的相对位置和显示的时长，所述相对位置是特效组件在原始视频中进行显示时，在该原始视频中的时间上的位置。

由此，根据特效组件的类型参数，即可以确定特效组件对应的特效类型。通过将权重大于预设权重阈值的特效组件按照不同的特效类型进行随机组合，即可保证每个特效模板中含有不同特效类型的特效组件，从而确保通过每个特效模板在原始视频中生成丰富的视频特效。

在另一个实施例中，还可以根据各个特效组件的特效标签，确定特效组件集合中隶属于同一类型的特效组件，并按照各个特效组件的特效标签相对视频标签的权重由大到小的顺序， 分别从各个类型下的特效组件中选取特效组件，所选取各个类型下的特效组件的数量与预设的特效模板的数量相同。然后根据不同特效类型的特效组件分别关于视频标签的匹配程度的排序，将不同特效类型下排序相同的特效组件组合形成一个特效模板，由此获得至少一个特效模板。

对于与原始视频的视频标签相匹配的特效组件，将这些特效组件按照不同的特效类型进行分类，并针对隶属于同一特效类型下的特效组件，按照特效标签相对原始视频的视频标签的权重由大到小进行排序，然后根据预先设置有特效模板的数量，从不同特效类型下的特效组件中依次选取此数量的特效组件，即可将排序相同的特效组件组合形成一个特效模板。其中，预先设置的特效模板的数量对应于视频应用界面中所显示的特效模板的数量。

示例性的，如果假设预先设置的特效模板的数量为8，则可以选取片头片尾类型下的权重由大到小排序的特效组件A ₁～A ₈，滤镜类型下的权重由大到小排序的特效组件B ₁～B ₈，贴纸类型下的权重由大到小排序的特效组件C ₁～C ₈。通过将特效组件A ₁、B ₁和C ₁组合形成一个特效模板，将特效组件A ₂、B ₂和C ₂组合形成另一个特效模板，其它特效模板的组合方式同理，由此即可相应获得8个特效模板。

针对特效模板在视频应用界面中的显示，还可以按照特效模板中的特效组件对应的权重顺序进行排列，从而能够将特效模板按照与原始视频的视频内容之间的匹配程度进行由大到小地排序，便于实现特效模板的选中。

需要说明的是，以上两种实施例仅是对与原始视频的视频内容相匹配的特效组件的选取方式的示例，在实际应用中，可以根据实际的需求对特效组件的选取方式进行设置。

由此，以上通过对特效组件进行标签化，并根据特效组件的特效标签相对原始视频的视频标签的权重来反映特效组件与原始视频的视频内容之间的匹配程度，保证了所获得的特效模板与原始视频的视频内容是相匹配的。

图5是图2B所示实施例中步骤150在一个实施例的流程图。如图5所示，在一示例性实施例中，根据选中的特效模板中含有的目标特效组件，在原始视频中生成目标特效组件描述的视频特效，以获得原始视频对应的特效视频，至少包括如下步骤：

步骤151，解析选中的特效模板含有的各个特效组件的特效参数，特效参数包括时间参数。

如前所述的，特效组件的特效参数至少包括类型参数、组件参数和时间参数，时间参数用于描述特效组件所描述的视频特效在原始视频中进行显示的相对位置和显示时长。

示例性的，时间参数包括特效组件相对原始视频显示的起始位置(以下表示为startOffset)、特效组件相对原始视频显示的结束位置(以下表示为endOffse)和持续时长(以下表示为duration)。

图6是一示例性实施例中示出的一种选中的特效模板的示意图。如图6所示，在该示例性的特效模板中，片头片尾组件包含片头特效和片尾特效，片头特效从原始视频的第0ms的位置开始显示，显示时长为2000ms，片尾特效从原始视频的第8000ms的位置开始显示，显示时长为2000ms。氛围组件包含的光斑氛围特效从原始视频的第2000ms开始显示，显示时长为8000ms。应当理解，特效组件相对原始视频显示的结束位置可以由起始位置和持续时长共同得出。

图6所示的片头特效可以详细描述为：{"effectType":"Pag","startOffset":0,"duration":2000,"parameter":{"filePath":"片头.pag","type":"filter"}}；片尾特效详细描述为：{"effectType":"Pag","endOffset":0,"duration":2000,"parameter":{"filePath":"片尾.pag","type":"filter"}}；光斑氛围特效可以详细描述为：{"effectType":"Pag","startOffset":2000,"endOffset":0,"parameter":{"filePath":"氛围.pag","type":"filter"}}。

步骤153，根据各个特效组件的时间参数，在原始视频的相对位置上生成各个特效组件对应的视频特效内容，并使视频特效内容持续显示时间所包含的显示时长。

根据解析选中的特效模板含有的各个特效组件所得到的时间参数，即可根据时间参数所描述的相对位置和显示时长，在原始视频的相对位置上生成各个特效组件对应的视频特效内容，并使所生成的视频特效内容持续显示时间参数所包含的显示时长，从而将选中的特效模板所对应的多种视频特效显示在原始视频中，实现原始视频中视频特效的生成，获得原始视频对应的特效视频。

如图6所示，所获得的特效视频由原始视频以及选中的特效模板中含有的各个特效组件描述的视频特效组合形成。

由此，本实施例基于特效组件所含有的时间参数，将选中的特效模板所对应的视频特效自动生成在原始视频中，对用户来说，实现视频特效生成的过程十分简便，并不需要用户进行额外的操作。

在另一示例性的实施例中，上述视频处理方法还包括如下步骤：

根据对原始视频进行视频内容识别的识别结果，从预设的背景音乐集合中选取与原始视频的视频内容相匹配的背景音乐，并将背景音乐融合至特效视频中。

在本实施例中，预先对背景音乐集合中的各个背景音乐进行标签化处理，根据背景音乐的曲风等维度，为各个背景音乐设置有音乐标签，例如可设置“儿歌”、“可爱”、“萌趣”等音乐标签。

根据对原始视频进行视频内容识别所获得的视频标签，即可从预设的背景音乐集合中选取音乐标签与视频标签相匹配的背景音乐，例如选取匹配程度最高的音乐标签对应的背景音乐，并将所选取的背景音乐融合至原始视频中，以使获得的特效视频中含有背景音乐。

因此在本实施例中，将背景音乐与特效模板进行区分，根据原始视频的视频内容确定与 相匹配的背景音乐后，针对与原始视频的视频内容相匹配的至少一个特效模板，无论选中任意一个特效模板，最终所获得的特效视频中的背景音乐将保持一致。

在另外的实施例中，背景音乐可作为一种特效类型，背景音乐组件可与其它类型的特效组件组合形成特效模板。具体来说，背景音乐集合为特效组件集合中包含的背景音乐组件集合，步骤133中根据原始视频的视频标签，从特效组件集合中获取与原始视频的视频标签相匹配的特效组件包括背景音乐组件和其它特效组件，根据所获得的各个背景音乐组件的音乐标签相对视频标签的权重，以及各个特效组件的特效标签相对视频标签的权重，形成与原始视频的视频内容相匹配的至少一个特效模板。

由此在本实施例中，至少一个与原始视频相匹配的特效模板中含有的背景音乐可以不同，从而进一步增加了特效模板的多样性，以为用户提供更加丰富的视频特效体验。

在另一示例性的实施例中，待生成视频特效的原始视频包括至少两个视频片段，以进一步提升视频特效的。在现有的视频特效生成方案中，需预先为每个视频片段分别选定特效模板，然后对每个视频片段进行编辑处理，使每个视频片段分别满足对应的特效模板的要求。

可以看出，在对至少两个视频片段生成视频特效的情况下，需要用户进行更多的额外操作，使得视频特效生成的过程更加繁杂，本实施例即是针对此情况提出解决方案。如图7所示，在本实施例中，对原始视频进行视频内容识别，获得与原始视频的视频内容相匹配的至少一个特效模板，至少包括以下步骤：

步骤132，分别对每个视频片段进行内容识别；

步骤134，根据识别到的每个视频片段的视频内容，分别获取与每个视频片段的视频内容相匹配的特效模板。

与前述实施例描述的内容相同，本实施例对每个视频片段进行内容识别的过程，即是对每个视频片段中包含的视频对象进行识别的过程，能够获得与每个视频片段的视频内容相匹配的视频标签。

根据各个视频片段分别对应的视频标签，即可按照前述实施例描述的方法分别获取与各个视频片段的视频内容相匹配的特效模板。在具体执行视频特效的生成过程时，分别为每个视频片段选中的特效模板，进而根据选中的特效模板中含有的目标特效组件，在每个视频片段中生成目标特效组件描述的视频特效。

由此，在多个视频片段的情况下，本实施例提供的方法根据不同视频片段的视频内容，自适应地为不同的视频片段分别获取特效模板，用户只需为不同的视频片段选择待生成的视频特效的特效模板，即可使得不同的视频片段中能够生成与其视频内容相匹配的视频特效，整个过程仍无需用户分别对每个视频片段进行编辑处理，因此对于待生成视频特效的多个视频片段没有任何限制。

在另一示例性实施例中，如图8所示，在步骤150之后，上述多媒体(视频)处理方法 还包括如下步骤：

步骤210，根据特效编辑指令，调取特效视频中包含的各项特效组件，特效视频由原始视频和目标特效组件描述的视频特效的组合形成。

其中，在根据选中的特效模板为原始视频生成视频特效，获得原始视频对应的特效视频之后，本实施例还提供针对特效视频的编辑操作，以进一步提升用户体验。

特效编辑指令用于指示对特效视频含有的视频特效进行编辑处理，因此需要调取特效视频中包含的各项特效组件。应当说明的是，特效视频中包含的特效组件即是步骤150中所选中的特效模板中含有的目标特效组件，特效编辑指令可以是检测视频应用界面中的指定按钮被触发所获得的。

步骤230，根据组件更新指令，对特效视频中包含的各项特效组件进行更新。

组件更新指令用于指示对特效视频中包含的特效组件进行更新，其中特效组件的更新操作包括但不限于特效组件的新增、删除和更换。组件更新指令也可以是检测视频应用界面中的相应按钮被触发所获得的。

示例性的，假设特效视频中含有特效组件A ₁、B ₁和C ₁，如果组件更新指令指示将滤镜类型下的特效组件B ₁更换为滤镜类型下的特效组件B ₁，则根据组件更新指令的指示执行特效组件的替换。

应当理解，在原始视频对应的特效视频中，特效组件的更新则表示原始视频中生成的视频特效也相应进行了更新。

图9是根据另一示例性实施例示出的一种多媒体处理方法的流程图，该多媒体处理方法可以应用于图1所示实施环境中的服务器200。以该多媒体为视频为例，描述该多媒体处理方法，如图9所示，在一示例性实施例中，该多媒体(视频)处理方法至少包括如下步骤：

步骤310，获取待生成视频特效的原始视频；

步骤330，对原始视频进行视频内容识别，获得与原始视频的视频内容相匹配的至少一个特效模板，特效模板中含有至少一个特效组件，特效组件用于描述视频特效；

步骤350，将特效模板发送至指定设备，使得指定设备根据选中的特效模板中含有的目标特效组件，在原始视频中生成特效组件描述的视频特效。

在本实施例中，指定设备是运行视频应用程序的电子设备，例如是图1所示实施环境中的终端100，指定设备用于根据选中的特效模板在原始视频中生成相应的视频特效。

待生成视频特效的原始内容是指定设备所发送的，指定设备通过将原始视频发送至服务器，以从服务器中获取与原始视频的视频内容相匹配的至少一个特效模板。

需要说明的是，对原始视频进行视频内容识别，获得与原始视频的视频内容相匹配的特效模板的过程请参见前述实施例中描述的特效模板获取的相应内容，本实施例不进行赘述。

服务器获取与原始视频的视频内容相匹配的特效模板后，即将获取的特效模板发送至指 定设备，使得指定设备根据选中的特效模板在原始视频中生成相应的视频特效。

如图10所示，指定设备将原始视频发送至服务器，服务器通过对原始视频进行视频内容识别，获得原始视频对应的视频标签，然后根据背景音乐的音乐标签选取与原始视频相匹配的背景音乐，根据其它特效组件的特效标签选取与原始视频相匹配的特效组件，并由选取的背景音乐和其它类型的特效组件组合形成与原始视频相匹配的特效模板，然后将特效模板下发至指定设备。指定设备通过选中的解析特效模板，进而将特效模板中含有的视频特效生成至原始视频中。

图11是根据另一示例性实施例示出的一种多媒体处理方法的流程图，该方法适用于图1所示实施环境中的终端100和图10所示实施例中的指定设备。如图11所示，在一示例性实施例中，该多媒体处理方法至少包括如下步骤：

步骤410，显示待生成视频特效的原始多媒体；

需要说明的是，本申请实施例中的多媒体可以包括视频和图像等。

步骤430，显示与原始多媒体的媒体内容相匹配的至少一个特效模板，特效模板是根据与原始多媒体的媒体内容相匹配的特效组件生成的，特效组件用于描述多媒体特效；

步骤450，检测从至少一个特效模板中选取的目标特效模板，目标特效模板包含有目标特效组件；

步骤470，在显示的原始多媒体中呈现目标特效组件所描述的多媒体特效。

在本实施例中，针对待生成视频特效的原始多媒体进行显示，并显示与原始多媒体的媒体内容相匹配的至少一个特效模板，当检测到从至少一个特效模板中选中目标特效模板后，在显示的原始多媒体中呈现目标特效模板含有的目标特效组件所描述的多媒体特效。

由此，本实施例通过对原始多媒体生成多媒体特效的过程进行可视化显示，可以得出在多媒体特效的生成过程中，用户只需执行原始多媒体的选取操作以及特效模板的选取操作，而无需执行原始多媒体的编辑处理等额外操作，使得本实施例提供的多媒体特效生成方案具有极佳的用户体验。

为便于理解本实施例揭示的多媒体处理方法，下面将以一个对视频进行处理的具体应用场景为示例对此多媒体处理方法进行详细描述。

在该示例性的应用场景中，该多媒体(视频)处理方法应用于运行有视频应用程序的终端设备，该终端设备具体可以是图1所示实施环境中的终端100，或者是图10所示实施例中的指定设备，图12为该终端设备的界面示意图。

如图12所示，在用户使用终端设备的摄像头拍摄得到待生成视频特效的原始视频，或者从终端设备的相册中选取待生成视频特效的原始视频之后，终端设备相应显示该原始视频。

当检测到设备界面中的“一键出片”按钮被触发时，终端设备显示与原始视频的视频内容相匹配的至少一个特效模板。如图12所示，终端设备以特效模板列表的形式显示于原始 视频相匹配的特效模板。

其中，特效模板是通过对原始视频的视频内容进行识别，获得原始视频对应的视频标签，并根据视频标签选取与原始视频的视频内容相匹配的特效组件，由这些特效组件组合形成的。还应当理解，对于用户选取的不同的原始视频，特效模板列表中含有的特效模板也不同。

如果用户选中特效模板列表中的其中一个特效模板，则视为检测到选中的目标特效模板，进而在显示的原始视频中呈现目标特效模板所含有的目标特效组件描述的视频特效，即显示所形成的特效视频。如图12所示，如果检测到选中了特效模板4，原始视频中相应显示特效模板4所含有的视频特效，即实现在原始视频中预览所选中的特效模板。当用户确定选中目标特效模板后，则显示所获得的特效视频，例如图12所显示的特效视频中含有相应显示的文字贴纸。

在获得特效视频之后，用户还可以通过触发界面中显示“背景音乐”、“调整素材”、“滤镜”等按钮，对特效视频中的视频特效执行更新操作，最终获得用户满意的特效视频。然后，用户点击界面中显示的“做好了”按钮，即可将最终获得的特效视频进行本地存储，或者将特效视频上传至服务器进行存储，或者将特效视频发布至互联网，本处不进行限制。

因此在实际应用过程中，用户选择一段或者多段用户视频后，通过本申请实施例提供的方法，可以自适应地为用户视频匹配至少一个特效模板，每个特效模板具有各自的特效风格并且包含至少一个种视频特效，使得最终获得的特效视频具有多样性，并且对于用户视频没有任何限制。

如前所示，本申请实施例中多媒体包括视频和图像等。下面以多媒体为图像为例，描述以上实施例提供的多媒体处理方法应用至图像特效生成过程，因此基于本申请的另一方面，还提供了一种多媒体处理方法，以方便地针对用户图像进行特效生成。该多媒体(图像)处理方法也可以适用于图1所示实施环境中的终端100，并由终端100中运行的多媒体应用程序具体执行。

在一示例性的实施例中，该多媒体(图像)处理方法至少包括如下步骤：

获取待生成特效的原始图像；

对原始图像进行图像内容识别，并获取与原始图像的图像内容相匹配的至少一个特效模板，特效模板中含有至少一个特效组件，特效组件用于描述图像特效；

根据选中的特效模板中含有的目标特效组件，在原始图像中生成目标特效组件描述的图像特效。

首先需要说明的是，与前述原始视频的获取方式相似，原始图像可以是用户触发摄像头拍摄获得的，或者是用户从存储模块(例如相册)中选取获得的，本处不进行限制。

对原始图像进行图像内容识别的过程，也即是对原始图像中包含的人物、物体或者其它对象进行识别的过程，本处也不进行限制。

获取与原始图像的图像内容相匹配的至少一个特效模板的过程，也即是根据原始图像的图像内容自适应地为原始图像生成至少一个特效模板的内容，其中的每个特效模板是均由与原始图像的图像内容相匹配的至少一个特效组件组合形成的。

用户从这些与原始图像的图像内容相匹配的特效模板中选中一个心仪的特效模板，即可在原始图像中生成所选中的特效模板所含有的各个目标特效组件分别描述的图像特效。

由此，以特效模板的形式为原始图像添加图像特效，无需用户从大量的特效素材中进行特效素材挑选，使得图像特效的生成过程更加地便捷化，并且本实施例生成的特效模板均是与原始图像的图像内容相匹配的，因此采用本实施例的方法能够快速地在原始图像中生成高质量的视频特效。

还需要说明的是，本实施例对于与原始图像的图像内容进行的特效模板匹配也可以是基于原始图像的图像标签所实现的。其中，原始图像的图像标签是通过对原始图像进行图像内容识别得到的，以基于图像标签，从预设的特效组件集合中获取与图像标签相匹配的至少一个特效组件，从而组合形成至少一个特效模板。

在一个实施例中，可以根据特效组件的特效标签相对图像标签的权重，从特效组件集合中选取特效标签与视频标签相匹配的至少一个特效组件，以进行特效模板的组合。需提及的是，特效组件集合可能存在某些特效组件不适用于图像特效生成，例如背景音乐组件，因此这些特效组件的特效标签相对图像标签的权重应当较低。

特效模板的组合方式可以是将与图像标签相匹配的特效组件按照不同的特效类型进行随机组合，或者根据不同特效类型的特效组件分别关于图像标签的匹配程度的排序，将不同特效类型下排序相同的特效组件组合形成一个特效模板，由此获得至少一个特效模板。

在根据选中的特效模板中含有的目标特效组件，在原始图像中生成目标特效组件描述的图像特效之后，也可以对特效图像中含有的各项特效组件进行更新。

需要说明的是，以上过程的具体实施细节可以参考前述实施例中对于视频特效生成过程的描述，本处不再进行赘述。

在另外的实施例中，还可以配置待生成特效的原始图像的显示时长为设定时长，例如配置原始图像的显示时长为2秒，则可获得基于原始图像生成的视频，然后即可按照前述实施中的视频处理方法对此视频生成相匹配的特效模板，并根据选中的特效模板在此视频中生成视频特效。

需要说明的是，在基于原始图像所生成的视频中，由于视频中的每帧图像均为原始图像，因此对视频内容进行的识别相当于是对原始图像进行的内容识别。

如果待生成特效的原始图像有多张，仍可以将多张原始图像组合形成一个视频，并基于前述实施例描述的视频处理方法为该视频生成相匹配的特效模板。其中，可配置每张原始图 像在视频中的显示时长为固定时长的或者任意时长，本实施例不进行限制。对视频内容进行的识别即是对至少一张原始图像的内容识别。

还需要说明的是，在生成的与视频内容相匹配的特效模板中，可以含有特定的特效组件，例如用于描述转场特效的特效组件，该转场组件在视频中进行显示的相对位置为相邻原始图像之间的显示位置。例如视频由4张原始图像组成，每张原始图像的显示时长为2000ms，视频的总显示时长为8000ms，转场组件在视频中进行显示的相对位置即包括视频的第2000ms、第4000ms和第6000ms。转场组件的显示时长可以是预设的。

在其它的实施例中，转场特效组件也可以作为一种普通的特效组件，即与前述实施例中的其它特效组件类似，通过视频标签与特效标签之间进行的匹配操作而获得的，本实施例不进行限制。基于由原始图像组合形成视频对于转场特效的需求较大，例如在不同原始图像之间添加转场特效之后能够极大地减少图像切换带来的视觉差异，因此转场特效组件的特效标签相对视频标签的权重应当较大。并且，转场特效组件在视频中进行显示的相对位置仍与视频中切换显示原始图像的位置有关。

由此，本实施例将待生成特效的一张或者多张原始图像形成视频，并将针对图像进行的特效生成操作转换为针对视频进行的特效生成操作，使得适用于视频的特效组件同时适用于针对图像进行的特效处理，因此原始图像对应的特效模板中能够包含更加丰富的特效内容，用户体验能够得到极大提升。

图13是根据一示例性实施例示出的一种多媒体处理装置的框图。如图13所示，该多媒体处理装置包括原始多媒体获取模块510、特效模板获取模块530和多媒体特效生成模块550。

原始多媒体获取模块510，用于获取待生成多媒体特效的原始多媒体。特效模板获取模块530用于对原始多媒体进行媒体内容识别，并获得与原始多媒体的媒体内容相匹配的至少一个特效模板，特效模板中含有至少一个特效组件，特效组件用于描述多媒体特效。多媒体特效生成模块550用于根据选中的特效模板中含有的目标特效组件，在原始多媒体中生成目标特效组件描述的多媒体特效。需要说明的是，多媒体包括视频和图像等。

在另一示例性实施例中，特效模板获取模块530包括视频标签获取单元、特效组件获取单元和特效组件匹配单元。视频标签获取单元用于对原始多媒体进行媒体内容识别，获得与原始多媒体的媒体内容相对应的多媒体标签。特效组件获取单元用于根据多媒体标签，从预设的特效组件集合中获取与多媒体标签相匹配的至少一个特效组件。特效组件匹配单元用于根据与多媒体标签相匹配的至少一个特效组件，生成至少一个特效模板。

在另一示例性实施例中，所述原始多媒体包括原始视频；多媒体标签获取单元包括视频图像截取子单元和视频图像识别子单元。视频图像截取子单元用于根据原始视频的视频时长，从原始视频中截取至少一帧视频图像。视频图像识别子单元用于对至少一帧视频图像进 行内容识别，得到至少一帧视频图像的内容标签，将至少一帧视频图像的内容标签作为与原始视频的视频内容相对应的视频标签。

在另一示例性实施例中，特效组件获取单元包括权重确定子单元和权重匹配子单元。权重确定子单元用于根据预设的标签权重判定规则，确定特效组件集合中各个特效组件的特效标签相对多媒体标签的权重。权重匹配子单元用于根据各个特效组件的特效标签相对多媒体标签的权重，从特效组件集合中选取特效标签与多媒体标签相匹配的至少一个特效组件。

在另一示例性实施例中，权重匹配子单元用于将特效组件集合中权重大于预设权重阈值的特效组件作为与多媒体标签相匹配的特效组件；或者根据各个特效组件的特效标签，确定特效组件集合中隶属于同一特效类型的特效组件，并按照各个特效组件的特效标签相对多媒体标签的权重由大到小的顺序，分别从各个特效类型下的特效组件中选取特效组件，所选取各个类型下的特效组件的数量与预设的特效模板的数量相同。

在另一示例性实施例中，特效组件匹配单元用于将与多媒体标签相匹配的特效组件按照不同的特效类型进行随机组合，获得至少一个特效模板；或者根据不同特效类型的特效组件分别关于多媒体标签的匹配程度的排序，将不同特效类型下排序相同的特效组件组合形成一个特效模板，获得至少一个特效模板。

在另一示例性实施例中，视频特效生成模块550包括特效参数解析单元和特效内容生成单元。特效参数解析单元用于解析所述选中的特效模板含有的各个特效组件的特效参数，所述特效参数包括时间参数，所述时间参数用于描述所述特效组件在所述原始视频中进行显示的相对位置和显示时长。特效内容生成单元用于根据所述各个特效组件的时间参数，在所述原始视频的相对位置上生成各个特效组件对应的视频特效内容，并使所述视频特效内容持续显示所述显示时长。

在另一示例性实施例中，该多媒体处理装置还包括背景音乐选取模块，该背景音乐选取模块用于根据对原始视频进行视频内容识别的识别结果，从预设的背景音乐集合中选取与原始视频的视频内容相匹配的背景音乐，并将背景音乐融合至特效视频中。

在另一示例性实施例中，原始视频包括至少两个视频片段，特效模板获取模块530包括视频片段识别单元和片段模板获取单元。视频片段识别单元用于分别对每个视频片段进行视频内容识别。片段模板获取单元用于根据识别得到的每个视频片段的视频内容，分别获取与每个视频片段的视频内容相匹配的特效模板。

在另一示例性实施例中，该视频处理装置还包括特效组件调取模块和特效组件更新模块。特效组件调取模块用于根据特效编辑指令，调取特效多媒体中包含的各项特效组件，特效多媒体由原始多媒体和目标特效组件描述的多媒体特效的组合形成。特效组件更新模块用于根据组件更新指令，对特效多媒体中包含的各项特效组件进行更新。

图14是根据另一示例性实施例示出的一种多媒体处理装置的框图。如图14所示，该多 媒体处理装置包括第二原始多媒体获取模块610、第二特效模板获取模块630和特效模板发送模块650。

第二原始多媒体获取模块610用于获取待生成多媒体特效的原始多媒体。第二特效模板获取模块630用于对原始多媒体进行媒体内容识别，获得与原始多媒体的媒体内容相匹配的至少一个特效模板，特效模板中含有至少一个特效组件，特效组件用于描述多媒体特效。特效模板发送模块650用于将特效模板发送至指定设备，使得指定设备根据选中的特效模板中含有的目标特效组件，在原始多媒体中生成特效组件描述的多媒体特效。

图15是根据另一示例性实施例示出的一种多媒体处理装置的框图。如图15所示，该多媒体处理装置包括原始多媒体显示模块710、特效模板显示模块730、模板选中检测模块750和多媒体特效呈现模块770。

原始多媒体显示模块710用于显示待生成视频特效的原始多媒体。特效模板显示模块730用于显示与原始多媒体的媒体内容相匹配的至少一个特效模板，特效模板是根据与原始多媒体的媒体内容相匹配的特效组件生成的，特效组件用于描述多媒体特效。模板选中检测模块750用于检测从至少一个特效模板中选取的目标特效模板，目标特效模板包含有目标特效组件。多媒体特效呈现模块770用于在显示的原始多媒体中呈现目标特效组件所描述的多媒体特效。

如前所述，所述多媒体包括视频和图像等。当多媒体为图像时，本申请还提供一种多媒体处理装置，包括：原始图像获取模块，用于获取待生成特效的原始图像；模板获取模块，用于对原始图像进行图像内容识别，并获取与原始图像的图像内容相匹配的至少一个特效模板，特效模板中含有至少一个特效组件，特效组件用于描述图像特效；图像特效生成模块，用于根据选中的特效模板中含有的目标特效组件，在原始图像中生成目标特效组件描述的图像特效。

需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

本申请的实施例还提供了一种电子设备，包括处理器和存储器，其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现如前所述的视频处理方法或者图像处理方法。

图16是根据一示例性实施例示出的一种电子设备的结构示意图。

需要说明的是，该电子设备只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图16中示出的示例性的电子设备中的一个或者多个组件。

如图16所示，在一示例性实施例中，电子设备包括处理组件801、存储器802、电源组 件803、多媒体组件804、音频组件805、传感器组件807和通信组件808。其中，上述组件并不全是必须的，电子设备可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件801通常控制电子设备的整体操作，诸如与显示、数据通信以及日志数据处理相关联的操作等。处理组件801可以包括一个或多个处理器809来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件801可以包括一个或多个模块，便于处理组件801和其他组件之间的交互。例如，处理组件801可以包括多媒体模块，以方便多媒体组件804和处理组件801之间的交互。

存储器802被配置为存储各种类型的数据以支持在电子设备的操作，这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器802中存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器809执行，以完成上述实施例中所描述的视频处理方法或者图像处理方法中的全部或者部分步骤。

电源组件803为电子设备的各种组件提供电力。电源组件803可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

多媒体组件804包括在电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括TP(Touch Panel，触摸面板)和LCD(Liquid Crystal Display，液晶显示器)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件805被配置为输出和/或输入音频信号。例如，音频组件805包括一个麦克风，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。在一些实施例中，音频组件805还包括一个扬声器，用于输出音频信号。

传感器组件807包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，传感器组件807可以检测到电子设备的打开/关闭状态，还可以检测电子设备的温度变化。

通信组件808被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，例如Wi-Fi(Wireless-Fidelity，无线网络)。

可以理解，图16所示的结构仅为示意，该电子设备可以包括比图16中所示更多或更少的组件，或者具有与图16所示不同的组件。图16中所示的各组件均可以采用硬件、软件或者其组合来实现。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算 机程序被处理器执行时实现如前所述的视频处理方法或者图像处理方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims (19)

1. 一种多媒体处理方法，由电子设备执行，包括：

   获取待生成多媒体特效的原始多媒体；

   对所述原始多媒体进行媒体内容识别，并获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效；

   根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效。
2. 根据权利要求1所述的方法，其中对所述原始多媒体进行媒体内容识别，并获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，包括：

   对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相对应的多媒体标签；

   根据所述多媒体标签，从预设的特效组件集合中获取与所述多媒体标签相匹配的至少一个特效组件；

   根据与所述多媒体标签相匹配的至少一个特效组件，生成至少一个所述特效模板。
3. 根据权利要求2所述的方法，其中，所述原始多媒体包括原始视频；

   所述对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相对应的多媒体标签，包括：

   根据所述原始视频的视频时长，从所述原始视频中截取至少一帧视频图像；

   对所述至少一帧视频图像进行内容识别，得到所述至少一帧视频图像的内容标签，将所述至少一帧视频图像的内容标签作为与所述原始视频的视频内容相对应的视频标签。
4. 根据权利要求3所述的方法，其中，根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效，包括：

   解析所述选中的特效模板含有的各个特效组件的特效参数，所述特效参数包括时间参数，所述时间参数用于描述所述特效组件在所述原始视频中进行显示的相对位置和显示时长；

   根据所述各个特效组件的时间参数，在所述原始视频的相对位置上生成各个特效组件对应的视频特效内容，并使所述视频特效内容持续显示所述显示时长。
5. 根据权利要求3所述的方法，其中，所述原始视频包括至少两个视频片段；对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，包括：

   分别对每个所述视频片段进行视频内容识别；

   根据识别得到的每个所述视频片段的视频内容，分别获取与每个所述视频片段的视频内容相匹配的特效模板。
6. 根据权利要求2所述的方法，其中，根据所述多媒体标签，从预设的特效组件集合中获取与所述多媒体标签相匹配的至少一个特效组件，包括：

   根据预设的标签权重判定规则，确定所述特效组件集合中各个特效组件的特效标签相对所述多媒体标签的权重；

   根据所述各个特效组件的特效标签相对所述多媒体标签的权重，从所述特效组件集合中选取特效标签与所述多媒体标签相匹配的至少一个特效组件。
7. 根据权利要求6所述的方法，其中，所述原始多媒体包括原始图像；

   所述根据预设的标签权重判定规则，确定所述特效组件集合中各个特效组件的特效标签相对所述多媒体标签的权重，包括：

   降低不适用于所述原始图像生成特效的特效组件的特效标签相对于所述原始多媒体标签的权重至预设值。
8. 根据权利要求6所述的方法，根据所述各个特效组件的特效标签相对所述多媒体标签的权重，从所述特效组件集合中选取特效标签与所述多媒体标签相匹配的至少一个特效组件，包括：

   将所述特效组件集合中权重大于预设权重阈值的特效组件作为与所述多媒体标签相匹配的特效组件。
9. 根据权利要求6所述的方法，其中，根据所述各个特效组件的特效标签相对所述多媒体标签的权重，从所述特效组件集合中选取特效标签与所述多媒体标签相匹配的至少一个特效组件，包括：

   根据所述各个特效组件的特效标签，确定所述特效组件集合中隶属于同一特效类型的特效组件，并按照所述各个特效组件的特效标签相对多媒体标签的权重由大到小的顺序，分别从各个特效类型下的特效组件中选取特效组件，所选取各个类型下的特效组件的数量与预设的特效模板的数量相同。
10. 根据权利要求2所述的方法，根据与所述多媒体标签相匹配的特效组件，生成至少一个所述特效模板，包括：

    将与所述多媒体标签相匹配的特效组件按照不同的特效类型进行随机组合，获得至少一个所述特效模板。
11. 根据权利要求2所述的方法，其中，根据与所述多媒体标签相匹配的特效组件，生成至少一个所述特效模板，包括：

    根据不同特效类型的所述特效组件分别关于所述多媒体标签的匹配程度的排序，将所述不同特效类型下排序相同的特效组件组合形成一个特效模板，获得至少一个所述特效模板。
12. 根据权利要求1所述的方法，其中，在根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效之后，所述方法还包括：

    根据特效编辑指令，调取特效多媒体中包含的各项特效组件，所述特效多媒体由所述原始多媒体和所述目标特效组件描述的多媒体特效的组合形成；

    根据组件更新指令，对所述特效多媒体中包含的各项特效组件进行更新。
13. 一种多媒体处理方法，其特征在于，包括：

    获取待生成多媒体特效的原始多媒体；

    对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效；

    将所述特效模板发送至指定设备，使得所述指定设备根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述特效组件描述的多媒体特效。
14. 一种多媒体处理方法，包括：

    显示待生成视频特效的原始多媒体；

    显示与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板是根据与所述原始多媒体的媒体内容相匹配的特效组件生成的，所述特效组件用于描述多媒体特效；

    检测从所述至少一个特效模板中选取的目标特效模板，所述目标特效模板包含有目标特效组件；

    在显示的所述原始多媒体中呈现所述目标特效组件所描述的多媒体特效。
15. 一种多媒体处理装置，包括：

    原始多媒体获取模块，用于获取待生成多媒体特效的原始多媒体；

    特效模板获取模块，用于对所述原始多媒体进行媒体内容识别，并获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效；

    多媒体特效生成模块，用于根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述目标特效组件描述的多媒体特效。
16. 一种多媒体处理装置，包括：

    第二原始多媒体获取模块，用于获取待生成多媒体特效的原始多媒体；

    第二特效模板获取模块，用于对所述原始多媒体进行媒体内容识别，获得与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板中含有至少一个特效组件，所述特效组件用于描述多媒体特效；

    特效模板发送模块，用于将所述特效模板发送至指定设备，使得所述指定设备根据选中的特效模板中含有的目标特效组件，在所述原始多媒体中生成所述特效组件描述的多媒体特效。
17. 一种多媒体处理装置，包括：

    原始多媒体显示模块，用于显示待生成视频特效的原始多媒体；

    特效模板显示模块，用于显示与所述原始多媒体的媒体内容相匹配的至少一个特效模板，所述特效模板是根据与所述原始多媒体的媒体内容相匹配的特效组件生成的，所述特效组件用于描述多媒体特效；

    模板选中检测模块，用于检测从所述至少一个特效模板中选取的目标特效模板，所述目标特效模板包含有目标特效组件；

    多媒体特效呈现模块，用于在显示的所述原始多媒体中呈现所述目标特效组件所描述的多媒体特效。
18. 一种电子设备，包括：

    存储器，存储有计算机可读指令；

    处理器，读取存储器存储的计算机可读指令，以执行权利要求1-14中的任一项所述的方法。
19. 一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-14中的任一项所述的方法。

Images