WO2022161202A1

WO2022161202A1 - 多媒体资源分类模型训练方法和多媒体资源推荐方法

Info

Publication number: WO2022161202A1
Application number: PCT/CN2022/072341
Authority: WO
Inventors: 朱灵子; 马连洋
Original assignee: 腾讯科技（深圳）有限公司
Priority date: 2021-01-27
Filing date: 2022-01-17
Publication date: 2022-08-04
Also published as: US20230084466A1; CN113590849A

Abstract

一种多媒体资源分类模型训练方法、多媒体资源推荐方法、装置、计算机设备和存储介质，所述方法包括：获取训练多媒体资源的目标属性信息集合和训练标签集合；所述目标属性信息集合包括多个维度的目标属性信息，所述训练标签集合包括多个任务对应的训练标签（S202）；将所述训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型；所述多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络（S204）；通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量（S206）；将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签（S208）；基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型，多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类（S210）。

Description

多媒体资源分类模型训练方法和多媒体资源推荐方法

本申请要求于2021年01月27日提交中国专利局，申请号为2021101137707，申请名称为“多媒体资源分类模型训练方法和多媒体资源推荐方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及计算机技术领域，特别是涉及一种多媒体资源分类模型训练方法、多媒体资源推荐方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了丰富多彩的网络应用。人们可以在网络应用上发布多媒体资源，也可以在网络应用上浏览多媒体资源。

传统技术中，通常是随机向用户推荐多媒体资源，容易向用户推荐质量较低的多媒体资源，容易导致推荐给用户的多媒体资源往往不是用户关注的、感兴趣的，并且，质量较低的多媒体资源不仅会占用存储资源，还会导致用户重复搜索和重复刷新界面，占用大量的计算机资源，最终导致多媒体资源推荐的有效性较低。

发明内容

根据本申请的各种实施例，提供一种多媒体资源分类模型训练方法、装置、计算机设备和存储介质以及一种多媒体资源推荐方法、装置、计算机设备和存储介质。

一种多媒体资源分类模型训练方法，由计算机设备执行，所述方法包括：

获取训练多媒体资源的目标属性信息集合和训练标签集合；目标属性信息集合包括多个维度的目标属性信息，训练标签集合包括多个任务对应的训练标签；

将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络；

通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签；

基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型；多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。

一种多媒体资源分类模型训练装置，所述装置包括：

信息获取模块，用于获取训练多媒体资源的目标属性信息集合和训练标签集合；目标属性信息集合包括多个维度的目标属性信息，训练标签集合包括多个任务对应的训练标签；

属性信息输入模块，用于将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络；

属性信息处理模块，用于通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

标签预测模块，用于将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签；

模型调整模块，用于基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型；多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。

一种计算机设备，包括存储器和一个或多个处理器，所述存储器存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述多媒体资源分类模型训练方法的步骤。

一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行上述多媒体资源分类模型训练方法的步骤。

一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机可读指令，所述计算机可读指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机可读指令，所述处理器执行所述计算机可读指令，使得所述计算机设备执行上述多媒体资源分类模型训练方法的步骤。

一种多媒体资源推荐方法，由计算机设备执行，所述方法包括：

获取待推荐多媒体资源的目标属性信息集合；目标属性信息集合包括多个维度的目标属性信息；

将目标属性信息集合输入已训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和多个任务子网络；

将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签；

基于各个预测标签得到待推荐多媒体资源对应的质量分类结果；

基于质量分类结果推荐待推荐多媒体资源。

一种多媒体资源推荐装置，所述装置包括：

属性信息获取模块，用于获取待推荐多媒体资源的目标属性信息集合；目标属性信息集合包括多个维度的目标属性信息；

属性信息输入模块，用于将目标属性信息集合输入已训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和多个任务子网络；

标签预测模块，用于将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签；

质量分类模块，用于基于各个预测标签得到待推荐多媒体资源对应的质量分类结果；

资源推荐模块，用于基于质量分类结果推荐待推荐多媒体资源。

一种计算机设备，包括存储器和一个或多个处理器，所述存储器存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述多媒体资源推荐方法的步骤。

一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行上述多媒体资源推荐方法的步骤。

一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机可读指令，所述计算机可读指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机可读指令，所述处理器执行所述计算机可读指令，使得所述计算机设备执行上述多媒体资源推荐方法的步骤。

本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中多媒体资源分类模型训练方法和多媒体资源推荐方法的应用环境图；

图2为一个实施例中多媒体资源分类模型训练方法的流程示意图；

图3为一个实施例中获取训练多媒体资源的训练标签的流程示意图；

图4为一个实施例中基于推荐互动信息和对应的参考互动信息确定历史多媒体资源的质量标签的流程示意图；

图5为一个实施例中文本特征子网络的结构示意图；

图6为一个实施例中原子特征子网络的结构示意图；

图7为一个实施例中图文融合特征子网络的结构示意图；

图8为一个实施例中样式特征子网络的结构示意图；

图9A为一个实施例中任务子网络的结构示意图；

图9B为另一个实施例中任务子网络的结构示意图；

图9C为又一个实施例中任务子网络的结构示意图；

图10为一个实施例中更新多媒体资源分类模型的流程示意图；

图11为一个实施例中训练和更新多媒体资源分类模型的流程示意图；

图12为一个实施例中多媒体资源推荐方法的流程示意图；

图13A为一个实施例中推荐优质内容的流程示意图；

图13B为一个实施例中图文内容分类模型的结构示意图；

图13C为一个实施例中图文内容推荐界面的界面示意图；

图14为一个实施例中多媒体资源分类模型训练装置的结构框图；

图15为另一个实施例中多媒体资源分类模型训练装置的结构框图；

图16为一个实施例中多媒体资源推荐装置的结构框图；

图17为一个实施例中计算机设备的内部结构图；

图18为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供的方案涉及人工智能的计算机视觉、自然语言处理、机器学习等技术，具体通过如下实施例进行说明：

本申请提供的多媒体资源分类模型训练方法和多媒体资源推荐方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等，便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云服务器来实现。

终端102和服务器104均可单独用于执行本申请实施例中提供的多媒体资源分类模型训练方法和多媒体资源推荐方法。

例如，服务器104获取训练多媒体资源的目标属性信息集合和训练标签集合，目标属性信息集合包括多个维度的目标属性信息，训练标签集合包括多个任务对应的训练标签，将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型，多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签。服务器104可以基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型，多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。

终端102获取待推荐多媒体资源的目标属性信息集合，目标属性信息集合包括多个维度的目标属性信息，将目标属性信息集合输入已训练的多媒体资源分类模型，多媒体资源分类模型包括多个特征子网络和多个任务子网络。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签，基于各个预测标签得到待推荐多媒体资源对应的质量分类结果。终端102可以基于质量分类结果推荐待推荐多媒体资源。

终端102和服务器104也可协同用于执行本申请实施例中提供的多媒体资源分类模型训练方法和多媒体资源推荐方法。

例如，服务器104从终端102获取训练多媒体资源的目标属性信息集合和训练标签集合，服务器104基于训练多媒体资源的目标属性信息集合和训练标签集合对多媒体资源分类模型进行模型训练，得到训练完成的多媒体资源分类模型。

终端102从服务器104获取已训练的多媒体资源分类模型。终端102通过已训练的多媒体资源分类模型对待推荐多媒体资源的质量进行分类，得到待推荐多媒体资源的质量分类结果，从而基于质量分类结果推荐待推荐多媒体资源。

上述多媒体资源分类模型训练方法中，基于训练多媒体资源的目标属性信息集合和训练标签集合可以对多媒体资源分类模型进行有监督训练，得到能够对待推荐多媒体资源的质量进行准确分类的多媒体资源分类模型。其中，多媒体资源的目标属性信息集合包括多个维度的目标属性信息，不同维度的目标属性信息可以从不同角度反映多媒体资源的内容质量，将目标属性信息集合输入多媒体资源分类模型，通过综合考虑各个维度的目标属性信息可以对多媒体资源的质量进行准确分类，得到能够准确体现多媒体资源质量的预测标签。此外，多媒体资源分类模型包括多个任务子网络，是多任务模型，能够预测多媒体资源在各个任务上的表现，在模型训练时，多个相关任务同时并行学习，梯度同时反向传播，学习不同任务的联系和差异，从而提高每个任务的学习效率和质量。最终，训练完成的多媒体资源分类模型可以用于对待推荐多媒体资源的质量进行分类，从而能够向用户推荐质量较优的多媒体资源，提高多媒体资源推荐的有效性。有效的多媒体资源推荐可以避免由于低质的、无效的多媒体资源推荐导致用户重复搜索或重复刷新界面，重复搜索或重复刷新界面会占用大量的计算机设备资源，因此，在提高资源推荐的有效性的基础上，还可以减少终端或服务器的资源浪费。

上述多媒体资源推荐方法中，多媒体资源的目标属性信息集合包括多个维度的目标属性信息，不同维度的目标属性信息可以从不同角度反映多媒体资源的内容质量，将目标属性信息集合输入多媒体资源分类模型，通过综合考虑各个维度的目标属性信息可以对多媒体资源的质量进行准确分类，得到准确的质量分类结果。此外，多媒体资源分类模型包括多个任务子网络，是多任务模型，能够预测多媒体资源在各个任务上的表现，综合多媒体资源在各个任务上的表现得到多媒体资源的质量分类结果，能够进一步提高多媒体资源质量分类的准确性。最终，通过多媒体资源分类模型可以识别出质量较优的多媒体资源，从而能够向用户推荐质量较优的多媒体资源，提高多媒体资源推荐的有效性。有效的多媒体资源推荐可以避免由于低质的、无效的多媒体资源推荐导致用户重复搜索或重复刷新界面，重复搜索或重复刷新界面会占用大量的计算机设备资源，因此，在提高资源推荐的有效性的基础上，还可以减少终端或服务器的资源浪费。

在一个实施例中，如图2所示，提供了一种多媒体资源分类模型训练方法，以该方法应用于图1中的计算机设备为例进行说明，计算机设备可以是上述图1中的终端102或服务器104。参考图2，多媒体资源分类模型训练方法包括以下步骤：

步骤S202，获取训练多媒体资源的目标属性信息集合和训练标签集合；目标属性信息集合包括多个维度的目标属性信息，训练标签集合包括多个任务对应的训练标签。

其中，多媒体资源是指包含至少两种媒体的资源，例如，包含图片的文章，包含文字的图片，包含字幕的视频，包含音频的视频等。用户可以在各种资源服务平台上发布多媒体资源，例如，在社交应用上发布生活短视频，在资讯应用上发布新闻资讯。训练多媒体资源是指用于模型训练的多媒体资源。目标属性信息是用于描述多媒体资源的属性、特性、功能的信息。目标属性信息具体可以是多媒体资源中的文字相关信息、图像相关信息、样式相关信息、多媒体资源的发布用户的用户相关信息等。

训练标签是指训练多媒体资源的质量标签，质量标签用于衡量多媒体资源的质量，例如，质量标签可以包括正标签和负标签，正标签表示多媒体资源在对应任务上的表现较优，为该任务上的优质多媒体资源，负标签表示多媒体资源在对应任务上的表现一般或较差，不是该任务上的优质多媒体资源。质量标签还可以包括第一标签、第二标签、第三标签等。不同的标签代表不同的质量等级，质量等级可以反映多媒体资源的质量优质程度，例如，多媒体资源在对应任务上的表现越优，在该任务上对应的质量等级越高。一个任务对应于多媒体资源和用户之间的一种互动行为，例如与点击行为相关的任务，与浏览行为相关的任务，与评论行为相关的任务。那么，训练标签集合可以包括点击率任务对应的质量标签，浏览时长任务对应的质量标签，点评率任务对应的质量标签。

可以理解，多个维度的目标属性信息可以是指至少两个维度的目标属性信息，多个任务对应的训练标签可以是指至少两个任务分别对应的训练标签。

具体地，计算机设备可以从多媒体资源数据库中获取训练多媒体资源，确定训练多媒体资源对应的训练标签集合。进一步的，计算机设备可以对训练多媒体资源进行内容分析，得到训练多媒体资源的目标属性信息集合。例如，将多媒体资源的文本标题、文本正文、图像质量、内容排版分别作为目标属性信息，组成目标属性信息集合。

在一个实施例中，训练多媒体资源可以是已经发布、已经推荐的多媒体资源。那么，可以从用户反馈的角度出发，构造多媒体资源质量的合理评价体系，基于该评价体系确定训练多媒体资源的训练标签集合。例如，训练多媒体资源的训练标签可以是基于大量用户对多媒体资源的反馈信息、评价信息确定的。例如，基于多媒体资源的点击率、浏览时长、评论率确定多媒体资源的质量标签集合。进一步的，也可以结合内容本身和用户反馈来构造多媒体资源质量的合理评价体系。当然，训练多媒体资源也可以是还未发布、还未推荐的多媒体资源。那么，可以从内容本身的角度出发，构造多媒体资源质量的合理评价体系，基于评价体系确定训练多媒体资源的训练标签集合。例如，训练多媒体资源的训练标签可以是根据专家的专家知识人为确定的质量标签。训练多媒体资源的训练标签也可以是根据内容相似的已发布多媒体资源的质量标签确定。例如，在点击率任务上，已知多媒体资源1的质量标签为正标签，当多媒体资源1和多媒体资源2的内容相似度大于预设阈值，即多媒体资源1和多媒体资源2的内容较为相似时，确定多媒体资源2在点击率任务上的质量标签也为正标签。

步骤S204，将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络。

其中，多媒体资源分类模型是机器学习模型，用于对多媒体资源的质量进行分类，也就是，用于识别优质多媒体资源。多媒体资源分类模型包括多个特征子网络和多个任务子网络。特征子网络用于将目标属性信息转化成属性特征向量，不同的特征子网络用于处理不同的目标属性信息。任务子网络用于基于属性特征向量预测多媒体资源在特定任务上的表现，不同的任务子网络对应不同的任务。

步骤S206，通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量。

具体地，计算机设备可以将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型，多媒体资源分类模型中各个特征子网络可以接收相应的目标属性信息，各个特征子网络分别对与自身关联的目标属性信息进行向量化处理，从而输出对应的属性特征向量。其中，向量化是指将目标属性信息用稠密向量表示，从而有助于模型更充分学习到相关信息、相关知识。各个特征子网络对目标属性信息的向量化处理方式可以相同可以不同。

在一个实施例中，计算机设备可以先将目标属性信息转化为原始特征向量，再将原始特征向量输入特征子网络，通过特征子网络对原始特征向量进行稠密化表示，得到属性特征向量。将目标属性信息转化为原始特征向量具体可以是通过One Hot编码方式。

在一个实施例中，多媒体资源分类模型包括文本特征子网络、原子特征子网络、图文融合特征子网络和样式特征子网络中的至少两种。文本特征子网络用于处理多媒体资源对应的与文本相关的目标属性信息。原子特征子网络用于处理多媒体资源对应的原子特征，原子特征是指最小的，不可分割的特征。图文融合特征子网络用于处理多媒体资源对应的与文本相关的目标属性信息和与图像相关的目标属性信息，将两种目标属性信息进行融合。样式特征子网络用于处理多媒体资源对应的与内容样式相关的目标属性信息。各个特征子网络用于处理不同维度的目标属性信息，最终得到的各个属性特征向量可以代表多媒体资源不同角度的、高度提炼的内容信息。

步骤S208，将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签。

具体地，当得到各个特征子网络分别输出的属性特征向量后，计算机设备可以将各个属性特征向量一起输入到各个任务子网络中，各个任务子网络对输入数据进行数据处理后，得到对应的预测标签。例如，多媒体资源分类模型包括三个特征子网络和两个任务子网络，特征子网络1输出属性特征向量1，特征子网络2输出属性特征向量2，特征子网络3输出属性特征向量3，可以将属性特征向量1至3输入任务子网络1，得到预测标签1，将属性特征向量1至3输入任务子网络2，得到预测标签2。当然，为了提高学习效率，计算机设备也可以将各个属性特征向量输入对应的任务子网络，各个任务子网络对输入数据进行数据处理后，得到对应的任务预测结果。例如，可以将属性特征向量1和属性特征向量2输入任务子网络1，得到预测标签1，将属性特征向量2和属性特征向量3输入任务子网络2，得到预测标签2。

在一个实施例中，各个任务子网络用于预测用户对多媒体资源不同类别的反馈信息。例如，用于预测多媒体资源的点击率的任务子网络，用于预测多媒体资源的浏览时长的任务子网络，用于预测多媒体资源的点评率的任务子网络，用于预测多媒体资源转发率的任务子网络等。

步骤S210，基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型，多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。

具体地，计算机设备可以基于同一任务对应的训练标签和预测标签计算训练损失值，得到各个任务分别对应的训练损失值，基于各个训练损失值同时进行反向传播，调整多媒体资源分类模型的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型。在调整模型参数时，基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数。例如，多媒体资源分类模型包括点击率任务对应的任务子网络和浏览时长任务对应的任务子网络。基于点击率任务对应的训练标签和预测标签调整点击率任务对应的任务子网络的模型参数，基于浏览时长任务对应的训练标签和预测标签调整浏览时长任务对应的任务子网络的模型参数，基于点击率任务对应的训练标签和预测标签、浏览时长任务对应的训练标签和预测标签调整各个特征子网络的模型参数。其中，收敛条件可以是模型的迭代次数达到迭代阈值，各个任务子网络对应的训练损失值均小于预设阈值等中的至少一种。

在一个实施例中，多媒体资源分类模型是多任务模型。多任务模型是一个基于多任务学习的机器学习模型。多任务学习是基于共享表示(shared representation)，把多个相关的任务放在一起学习的机器学习方法。多任务学习也是一种推导迁移学习方法，主任务(main tasks)使用相关任务(related tasks)的训练信号所拥有的领域相关信息作为一直推导偏差(inductive bias)来提升主任务(main tasks)泛化效果(generalization performance)。多任务学习涉及多个相关的任务同时并行学习，梯度同时反向传播，多个任务通过底层的共享表示(shared representation)来互相帮助学习，以提升泛化效果。多任务学习的本质是一种归纳迁移机制，利用额外的信息来源来提高当前任务的学习性能，包括提高泛化准确率、学习速率和已学习模型的可理解性。多任务模型可以是hard参数共享模型(Hard-parameter sharing)、MOE模型(Mixture-of-Experts)、MMOE模型(Multi-gate Mixture-of-Experts)等。多媒体资源分类模型的主任务为多媒体资源的质量分类，也就是，得到多媒体资源的质量分类结果。多媒体资源分类模型的主任务的相关任务为各个任务子网络对应的任务，例如，预测多媒体资源的点击率、预测多媒体资源的浏览时长等。

训练好的多媒体资源分类模型可以用于对待推荐多媒体资源的质量进行分类，识别优质多媒体资源。在进行多媒体资源推荐时，可以先过滤掉明显的低质多媒体资源，再通过多媒体资源分类模型进行优质多媒体资源识别，将识别出来的优质多媒体资源优先推荐给用户，从而提高多媒体资源推荐的有效性。通过多媒体资源分类模型进行优质多媒体资源识别时，将待推荐多媒体资源的目标属性信息集合输入多媒体资源分类模型，多媒体资源分类模型中各个任务子网络可以输出对应的预测标签，多媒体资源分类模型基于各个预测标签输出最终的质量分类结果。例如，可以是所有的预测标签都为正标签时，输出质量分类结果为正标签。也可以是大多数的预测标签都为正标签时，输出质量分类结果为正标签，例如，超过一半的预测标签都为正标签时，输出质量分类结果为正标签。

在一个实施例中，如图3所示，获取训练多媒体资源的训练标签集合，包括：

步骤S302，获取多个历史多媒体资源分别对应的推荐互动信息集合；推荐互动信息集合包括各个任务对应的推荐互动信息。

其中，历史多媒体资源是指已经发布、已经推荐的多媒体资源。推荐互动信息是指多媒体资源发布后，普通用户与多媒体资源的发布用户通过互动行为所产生的信息，也就是，普通用户对多媒体资源的反馈信息。互动行为具体可以是普通用户对发布用户发布的多媒体资源进行浏览、点赞、点评、转发等操作。推荐互动信息具体可以包括多媒体资源的点击率、浏览时长、点评率、点赞率、点踩率、转发率等信息，可以理解，前述推荐互动信息两两之间可以认为是不同任务对应的推荐互动信息。

具体地，计算机设备可以获取多个历史多媒体资源，获取各个历史多媒体资源在同一时间段内分别对应的推荐互动信息集合。各个推荐互动信息集合均包括多个任务对应的推荐互动信息。

步骤S304，统计同一任务对应的各个推荐互动信息，得到各个任务分别对应的参考互动信息。

其中，参考互动信息是指同一任务对应的多个推荐互动信息的统计结果，可以反映同一任务对应的多个推荐互动信息的平均水平。例如，参考互动信息可以是同一任务对应的各个推荐互动信息的平均值，也可以是同一任务对应的各个推荐互动信息的中位值等。

具体地，计算机设备可以从各个推荐互动信息集合中获取同一任务对应的推荐互动信息，对同一任务对应的推荐互动信息进行统计，得到各个任务分别对应的参考互动信息。例如，计算机设备获取各个历史多媒体资源的点击率，计算点击率均值作为点击率任务对应的参考互动信息，获取各个多媒体资源的浏览时长，计算浏览时长均值作为浏览时长任务对应的参考互动信息。

步骤S306，基于推荐互动信息和对应的参考互动信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集合。

具体地，在同一历史多媒体资源对应的推荐互动信息集合中，计算机设备可以基于同一任务对应的推荐互动信息和参考互动信息的比较结果对任意一个历史多媒体资源的质量在各个任务下进行分类，得到当前历史多媒体资源对应的质量标签集合，进而得到各个历史多媒体资源分别对应的质量标签集合。例如，推荐互动信息集合包括点击率和浏览时长。当历史多媒体资源1的点击率大于点击率均值时，确定历史多媒体资源1在点击率任务对应的质量标签为正标签。当历史多媒体资源1的浏览时长大于浏览时长均值时，确定历史多媒体资源1在浏览时长任务对应的质量标签为正标签。历史多媒体资源1的质量标签集合包括点击率任务对应的正标签，浏览时长任务对应的正标签。

步骤S308，基于历史多媒体资源和对应的质量标签集合得到训练多媒体资源和对应的训练标签集合。

具体地，计算机设备基于大量的历史多媒体资源分别对应的推荐互动信息集合可以确定大量的历史多媒体资源分别对应的质量标签集合。计算机设备可以从大量的历史多媒体资源中选取一部分历史多媒体资源作为训练多媒体资源，利用训练多媒体资源和对应的训练标签集合训练多媒体资源分类模型。进一步的，计算机设备还可以选取另一部分历史多媒体资源作为验证多媒体资源，利用验证多媒体资源验证训练后的多媒体资源分类模型的分类准确率。若分类准确率较低时，计算机设备可以基于最新的多媒体资源(即发布时间距离当前时间最近的多媒体资源)的相关信息对多媒体资源分类模型进行更新。

本实施例中，对大量历史多媒体资源的推荐互动信息集合进行统计分析，根据统计分析结果确定历史多媒体资源的质量标签集合，从而得到多媒体资源分类模型的训练数据。这样，基于用户对多媒体资源的反馈信息对多媒体资源的质量进行分类，将用户感兴趣、比较关注的多媒体资源确定为优质多媒体资源，从而最终训练得到的多媒体资源分类模型可以预测出用户会感兴趣、会比较关注的多媒体资源，将该多媒体资源推荐给用户，可以提高资源推荐的有效性。

在一个实施例中，如图4所示，基于推荐互动信息和对应的参考互动信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集合，包括：

步骤S402，在同一历史多媒体资源对应的推荐互动信息集合中，比较同一任务的推荐互动信息对应的推荐互动度和参考互动信息对应的参考互动度。

其中，互动度是指将相关互动信息转化到正向维度的归一化数据，以便进行数据比较。互动度具体可以用互动分数来表示，互动分数越大，表明用户与多媒体资源的正向互动越频繁，多媒体资源的质量越好。推荐互动度是指由推荐互动信息转化得到的互动度，可以对推荐互动信息进行归一化处理得到。参考互动度是指由参考互动信息转化得到的互动度，可以对参考互动信息进行归一化处理得到。

具体地，可以通过自定义公式将各个任务对应的推荐互动信息转化为推荐互动度，通过自定义公式将各个任务对应的参考互动信息转化为参考互动度。例如，当推荐互动信息为点击率时，可以理解，多媒体资源的点击率越高，多媒体资源的质量越好，用户对该多媒体资源越感兴趣，那么，可以直接将点击率转化为百分制的点击得分。这样，多媒体资源的点击得分越高，多媒体资源的质量越好，用户对该多媒体资源越感兴趣。同理，可以将点击率均值为转化为百分制的点击平均得分。当推荐互动信息为点踩率时，可以理解，多媒体资源的点踩率越高，多媒体资源的质量越低，用户对该多媒体资源越不感兴趣，那么，可以先将点踩率转化为百分制的初始得分，将100和初始得分的差值作为点踩得分。这样，多媒体资源的点踩得分越高，多媒体资源的质量越好，用户对该多媒体资源越感兴趣。进而，在同一历史多媒体资源对应的推荐互动信息集合中，计算机设备可以直接比较同一任务的推荐互动信息对应的推荐互动度和参考互动信息对应的参考互动度，得到各个任务对应的质量标签。

步骤S404，将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确定为正标签。

步骤S406，将推荐互动度小于或等于参考互动度的推荐互动信息对应的任务的质量标签确定为负标签。

具体地，计算机设备可以将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确定为正标签，将推荐互动度小于或等于参考互动度的推荐互动信息对应的任务的质量标签确定为负标签。例如，历史多媒体资源的推荐互动信息集合包括点击率、浏览时长、转发率。当历史多媒体资源1的点击互动度大于参考点击互动度时，确定历史多媒体资源1在点击率任务对应的质量标签为正标签。当历史多媒体资源1的浏览时长互动度大于参考浏览时长互动度时，确定历史多媒体资源1在浏览时长任务对应的质量标签为正标签。当历史多媒体资源1的转发率互动度小于参考转发率互动度时，确定历史多媒体资源1在转发率任务对应的质量标签为负标签。历史多媒体资源1的质量标签集合包括点击率任务对应的正标签、浏览时长任务对应的正标签和转发率任务对应的负标签。

可以理解，也可以基于参考互动度设置各个质量等级的标签对应的统计区间。在某一个任务中，将历史多媒体资源的推荐互动度落入的目标统计区间对应的标签作为历史多媒体资源在该任务下对应的质量标签。

本实施例中，通过比较同一任务的推荐互动信息对应的推荐互动度和参考互动信息对应的参考互动度，可快速确定历史多媒体资源在各个任务下对应的质量标签。

在一个实施例中，特征子网络包括文本特征子网络，与文本特征子网络关联的目标属性信息包括多个文本属性信息，文本特征子网络包括各个文本属性信息分别对应的数据处理通道。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：通过文本特征子网络中各个数据处理通道，分别对对应的文本属性信息进行向量化处理，得到各个数据处理通道输出的文本特征向量；基于各个文本特征向量得到文本特征子网络输出的属性特征向量。

其中，文本属性信息是指与多媒体资源中文本相关的属性信息，例如，文本标题、文本标签、文本正文等。文本标签可以是文本的主题、类别、关键词等。与文本特征子网络关联的目标属性信息包括多个文本属性信息是指包括至少两个文本属性信息。

具体地，多媒体资源分类模型包括文本特征子网络，文本特征子网络用于处理文本属性信息。将目标属性信息集合输入多媒体资源分类模型后，目标属性信息集合中的文本属性信息会输入到文本特征子网络。文本特征子网络包括各个文本属性信息分别对应的数据处理通道，文本特征子网络可以通过各个数据处理通道，分别对相应的文本属性信息进行向量化处理，得到文本特征向量。进而，基于各个文本特征向量可以得到文本特征子网络输出的属性特征向量，具体可以是将各个文本特征向量进行拼接得到对应的属性特征向量。

参考图5，与文本特征子网络关联的目标属性信息包括文本标题、文本标签和文本正文。文本特征子网络可以通过数据处理通道一对文本标题进行向量化处理，得到文本特征向量一，通过数据处理通道二对文本标签进行向量化处理，得到文本特征向量二，通过数据处理通道三对文本正文进行向量化处理，得到文本特征向量三，再将文本特征向量一、文本特征向量二和文本特征向量三进行拼接得到属性特征向量。

本实施例中，通过不同的数据处理通道处理不同的文本属性信息，可以提高数据处理的专一性和准确性，从而基于各个准确的文本特征向量得到的属性特征向量可以既全面又准确地表征多媒体资源的文本信息。

在一个实施例中，特征子网络包括原子特征子网络；通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：通过原子特征子网络，对与原子特征子网络关联的目标属性信息进行特征交叉处理，得到至少一个交叉特征向量；基于各个交叉特征向量得到原子特征子网络输出的属性特征向量。

具体地，多媒体资源分类模型包括原子特征子网络，原子特征子网络用于处理原子特征类的目标属性信息。将目标属性信息集合输入多媒体资源分类模型后，目标属性信息集合中的原子特征类的目标属性信息会输入到原子特征子网络。原子特征子网络可以将各个目标属性信息进行特征交叉处理，得到至少一个交叉特征向量。具体可以将各个目标属性信息两两之间进行特征交叉处理，得到交叉特征向量。交叉特征向量可以反映目标属性信息之间的相关性。

在一个实施例中，与原子特征子网络关联的目标属性信息包括用户属性信息、图像属性信息、语言属性信息和文本统计属性信息中的至少两种。

具体地，与原子特征子网络关联的目标属性信息包括多媒体资源的各种原子特征，具体包括用户属性信息、图像属性信息、语言属性信息和文本统计属性信息中的至少两种。用户属性信息是指多媒体资源的发布用户的用户属性信息，具体可以是发布用户的账号相关信息，例如，账号等级、账号垂直度、账号权威度等。图像属性信息是指多媒体资源中图像相关信息，例如，图像数量、图像清晰美观度等。语言属性信息是指多媒体资源中文本语言、用词相关的信息，例如，文章修辞手法(例如排比句、比喻句数量)、古诗词引用情况、整体词法多样性、句法多样性等。文本统计属性信息是指对多媒体资源中文本内容进行统计得到的信息，例如，文本长度与高度、文章标题优质程度、文章标题与正文的匹配程度、文本排版分等。部分原子特征可以直接获取得到，部分原子特征可以通过相应的软件工具统计得到。可以理解，高级账号的用户发布的多媒体资源往往是比较吸引人、比较优质的。配图丰富精致的多媒体资源往往是比较吸引人、比较优质的。词藻华丽的多媒体资源往往是比较吸引人、比较优质的。各种原子特征除了可以单独表征多媒体资源的质量，还可以协同作用来最大化表征多媒体资源的质量。

参考图6，与原子特征子网络关联的目标属性信息包括用户属性信息、图像属性信息、语言属性信息和文本统计属性信息。原子特征子网络可以将各个目标属性信息两两之间进行特征交叉处理，得到多个交叉特征向量，将各个交叉特征向量进行拼接得到属性特征向量。

本实施例中，通过对目标属性信息两两之间进行特征交叉处理，可以有效学习到目标属性信息之间的组合特征，从而基于各个交叉特征向量得到的属性特征向量可以既全面又准确地表征多媒体资源的原子特征。

在一个实施例中，特征子网络包括图文融合特征子网络，与图文融合特征子网络关联的目标属性信息包括文本属性信息和图像属性信息，图文融合特征子网络包括文本属性信息对应的文本数据处理通道和图像属性信息对应的图像数据处理通道。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：通过文本数据处理通道对文本属性信息进行编码处理，得到中间特征向量；通过图像数据处理通道对图像属性信息进行编码处理，得到图像特征向量；基于图像特征向量对中间特征向量进行注意力分配处理，得到第一图文融合特征向量；基于中间特征向量对图像特征向量进行注意力分配处理，得到第二图文融合特征向量；基于第一图文融合特征向量和第二图文融合特征向量得到图文融合特征子网络输出的属性特征向量。

具体地，多媒体资源分类模型包括图文融合特征子网络，图文融合特征子网络用于处理文本属性信息和图像属性信息。文本属性信息包括至少一个语句，图像属性信息包括至少一个图像。将目标属性信息集合输入多媒体资源分类模型后，目标属性信息集合中的文本属性信息和图像属性信息会输入到图文融合特征子网络。图文融合特征子网络包括文本属性信息对应的文本数据处理通道和图像属性信息对应的图像数据处理通道。文本数据处理通道可以对文本属性信息进行编码处理，得到中间特征向量。图像数据处理通道可以对图像属性信息进行编码处理，得到图像特征向量。

进一步的，图像可以影响文本。因此，计算机设备可以基于图像特征向量对中间特征向量进行注意力分配处理，得到第一图文融合特征向量。对中间特征向量进行注意力分配处理用于为文本属性信息中各个语句分配不同的注意力权重，语句的注意力权重可以反映语句在多媒体资源中的重要性，注意力权重越大，重要性越高。例如，为与图像对应的特征向量越相似的语句分配越大的注意力权重。第一图文融合特征向量是基于语句对应的注意力权重将各个语句对应的特征向量进行加权求和得到的特征向量。

当然，文本也可以影响图像。计算机设备可以基于中间特征向量对图像特征向量进行注意力分配处理，得到第二图文融合特征向量。对图像特征向量进行注意力分配处理用于为图像属性信息中各个图像分配不同的注意力权重，图像的注意力权重可以反映图像在多媒体资源中的重要性，注意力权重越大，重要性越高。例如，为与语句对应的特征向量越相似的图像分配越大的注意力权重。第二图文融合特征向量是基于图像对应的注意力权重将各个图像对应的特征向量进行加权求和得到的特征向量。

最后，计算机设备基于第一图文融合特征向量和第二图文融合特征向量可以得到图文融合特征子网络输出的属性特征向量，具体可以是将第一图文融合特征向量和第二图文融合特征向量进行拼接，得到对应的属性特征向量。

图文融合子网络是基于图文多模态机器学习的网络。多模态机器学习是指通过机器学习的方法实现处理和理解多源模态信息的能力。单模态表示学习负责将信息表示为计算机可以处理的数值向量或者进一步抽象为更高层的特征向量，而多模态表示学习是指通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。因此，图文融合子网络可以利用图像和文本之间的互补性，剔除图像和文本之间的冗余性，从而学习到更好的特征表示。

在一个实施例中，通过文本数据处理通道对文本属性信息进行编码处理，得到中间特征向量，包括：对文本属性信息进行词编码处理，得到词特征向量；对词特征向量进行句编码处理，得到中间特征向量。

具体地，文本数据处理通道接收到文本属性信息后，先对文本属性信息进行词编码处理，得到词特征向量，也就是，以词语为单位，依次对多媒体资源文本正文中各个词语进行编码处理，得到词特征向量。词特征向量包括各个词语分别对应的特征向量。再对句特征向量进行句编码处理，得到中间特征向量，也就是，以语句为单位，依次对各个词语分别对应的特征向量进行编码处理，得到中间特征向量。这样，通过词编码处理可以得到语句表达，通过句编码处理可以得到文本表达。

在一个实施例中，对词特征向量进行句编码处理，得到中间特征向量，包括：对词特征向量进行注意力分配处理，得到句特征向量，对句特征向量进行句编码处理，得到中间特征向量。具体地，对于一个语句来说，语句中每个词语的作用和重要性是不同的。因此，可以对词特征向量进行注意力分配处理，得到句特征向量。对词特征向量进行注意力分配处理用于为一个语句中各个词语分配不同的注意力权重，词语的注意力权重可以反映词语在语句中的重要性。具体可以是基于目标向量对词特征向量进行注意力分配处理，模型训练时，不断调整目标向量的参数，得到最合适的目标向量。句特征向量包括各个语句分别对应的特征向量。再对句特征向量进行句编码处理，得到中间特征向量，也就是，以语句为单位，依次对各个词语分别对应的特征向量进行编码处理，得到中间特征向量。

在一个实施例中，可以通过transformer(变换)模型对文本属性信息进行编码处理，得到中间特征向量。可以通过CNN模型(卷积神经网络)对图像属性信息进行编码处理，得到图像特征向量。

参考图7，与图文融合特征子网络关联的目标属性信息包括文本属性信息和图像属性信息。图文融合特征子网络通过transformer模型对文本属性信息进行词编码处理、句编码处理，得到中间特征向量。图文融合特征子网络通过CNN模型对图像属性信息进行编码处理，得到图像特征向量。接着，基于图像特征向量对中间特征向量进行注意力分配处理，得到第一图文融合特征向量，基于中间特征向量对图像特征向量进行注意力分配处理，得到第二图文融合特征向量，将第一图文融合特征向量和第二图文融合特征向量进行拼接得到属性特征向量。

本实施例中，通过图文融合特征子网络可以将文本属性信息和图像属性信息有机融合在一起，利用文本和图像之间的互补性，剔除文本和图像之间的冗余性，从而学习到更好表征多媒体资源的图文信息的特征表示。

在一个实施例中，特征子网络包括样式特征子网络，与样式特征子网络关联的目标属性信息包括样式属性信息；样式特征子网络包括第一数据处理通道和第二数据处理通道。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：通过第一数据处理通道对样式属性信息进行编码处理，得到初始特征向量，对初始特征向量进行注意力分配处理，得到第一特征向量；通过第二数据处理通道对样式属性信息进行卷积处理，得到第二特征向量；基于第一特征向量和第二特征向量得到样式特征子网络输出的属性特征向量。

其中，样式属性信息是指与多媒体资源中信息排版相关的属性信息，也就是，多媒体资源的图文的排版信息。例如，当多媒体资源为包含图片的文章时，样式属性信息可以是将段落和图片按照出现顺序依次排列组成样式属性信息。

具体地，多媒体资源分类模型包括样式特征子网络，样式特征子网络用于处理样式属性信息。将目标属性信息集合输入多媒体资源分类模型后，目标属性信息集合中的样式属性信息会输入到样式特征子网络。样式特征子网络包括第一数据处理通道和第二数据处理通道，第一数据处理通道和第二数据处理通道用于对样式属性信息进行不同方式的数据处理。

样式特征子网络可以通过第一数据处理通道对样式属性信息进行编码处理，得到初始特征向量，对初始特征向量进行注意力分配处理，得到第一特征向量。具体可以以样式属性信息中各个样式子信息为单位，依次对各个样式子信息进行编码处理，得到初始特征向量。初始特征向量包括各个样式子信息分别对应的特征向量。再对初始特征向量进行注意力分配，得到第一特征向量。对初始特征向量进行注意力分配处理用于为各个样式子信息分配不同的注意力权重，样式子信息的注意力权重可以反映样式子信息在多媒体资源中的重要性。例如，样式属性信息包括段落1、段落2、图片1和段落3。对样式属性信息进行编码处理，得到由段落1对应的特征向量、段落2对应的特征向量、图片1对应的特征向量和段落3对应的特征向量组成的初始特征向量。再对各个特征向量进行注意力分配处理，为各个特征向量分配注意力权重，将各个特征向量和对应的注意力权重进行加权求和得到第一特征向量。第一数据处理通道主要用于学习样式属性信息中各个样式子信息之间的特征。

样式特征子网络可以通过第二数据处理通道对样式属性信息进行卷积处理，得到第三特征向量。第二数据处理通道主要用于学习样式属性信息的整体特征。

最后，基于第一特征向量和第二特征向量得到样式特征子网络输出的属性特征向量。具体可以是将第一特征向量和第二特征向量进行拼接得到属性特征向量。

参考图8，与样式特征子网络关联的目标属性信息包括样式属性信息。样式特征子网络通过LSTM(Long Short-Term Memory，长短期记忆网络)模型对样式属性信息进行编码处理，得到初始特征向量，通过attention层对初始特征向量进行注意力分配处理，得到第一特征向量，通过CNN模型对样式属性信息进行卷积处理，得到第二特征向量，将第一特征向量和第二特征向量进行拼接得到属性特性向量。

可以理解，也可以采用其他模型对样式属性信息进行编码处理，例如，GRU(Gate Recurrent Unit，循环神经网络)。对样式属性信息进行编码处理可以使用除卷积模型之外的其他机器学习模型。

本实施例中，通过不同的数据处理通道对样式属性信息进行不同的数据处理，可以得到从不同角度表征样式属性信息的特征向量，从而有助于模型学习到与样式有关的知识。

在一个实施例中，各个任务子网络均包括专家层、门控层和融合层；各个任务子网络共享专家层。将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签，包括：在当前任务子网络中，通过专家层对各个属性特征向量进行特征处理，得到特征处理结果，通过门控层对特征处理结果进行加权处理，得到中间处理结果，通过融合层对中间处理结果进行融合处理，得到当前任务子网络对应的任务的预测标签。

具体地，多媒体资源分类模型包括多个任务子网络，各个任务子网络均包括专家层、门控层和融合层。当各个特征子网络输出属性特征向量后，各个属性特征向量一起输入到各个任务子网络中。在当前任务子网络中，通过专家层对各个属性特征向量进行特征处理，得到特征处理结果，通过门控层对特征处理结果进行加权处理，得到中间处理结果，通过融合层对中间处理结果进行融合处理，得到当前任务子网络对应的任务的预测标签。各个任务子网络都可以输出预测标签。

在一个实施例中，各个任务子网络不仅共享专家层，还共享门控层。参考图9A，可以将专家层进一步划分为多个专家子层。这样的做法更多是参考了集成学习中的思想，即同等规模下单个网络无法有效学习到所有任务之间通用的表达但通过划分得到多个子网络后每个子网络总能学到某个任务中一些相关独特的表达，再通过门控层的输出加权各个专家子层(Expert)输出，送入各个任务子网络各自的多层全连接就能将特定任务学习地较好。也就是底层多个专家子层学习不同的知识，同时不同专家子层对不同的任务区分侧重，有的专家学习共性的知识模式pattern，有的专家学习独立的知识模式pattern。

在一个实施例中，各个任务子网络只共享专家层。参考图9B，针对不同任务均设置了对应的门控层，这样的好处是在不添加大量的新参数的情况下学习任务特定的函数去平衡共享的表达，从而对任务之间的关系进行更明确地建模。可以在不明显增加模型参数的要求下，捕捉任务的不同。一方面，门控层是轻量级的，而且专家层是所有任务共用，所以在计算量和参数量上具有优势。另一方面，相对于所有任务共享门控层，每个任务使用单独的门控层。每个任务的门控层通过最终输出权重不同实现对专家子层的选择性利用。不同任务的门控层可以学习到不同的组合特征处理结果的模式，从而模型考虑到捕捉不同任务的相关性和区别。

任务预测结果可以表示为：y ^k＝h ^k(f ^k(x))，

g ^k(x)＝softmax(W _gkx)。其中，y ^k表示第k个任务的任务预测结果。h ^k(x)表示第k个任务的融合层的数据处理。f ^k(x)表示第k个任务的专家层和门控层的数据处理。g ^k(x)表示第k个任务的门控层的数据处理。i表示第i个专家子层。n表示有n个专家子层。f _i(x)表示第i个专家子层的数据处理。g ^k(x) _i表示针对第k个任务，第i个专家子层的数据处理结果对应的权重。

其中，专家层是指多任务模型中的expert网络，门控层是指多任务模型中的gate网络，融合层是指多任务模型中的输出层。

参考图9C，多资源分类模型具体可以包括点击率任务对应的任务子网络和浏览时长任务对应的任务子网络。两个任务子网络共享专家层，两个任务子网络分别包括各自的门控层和融合层。两个任务子网络对输入数据进行处理后，可以分别输出点击率任务对应的预测标签和浏览时长任务对应的预测标签。

在一个实施例中，如图10所示，多媒体资源分类模型训练方法还包括：

步骤S1002，获取验证多媒体资源的目标属性信息集合和验证标签集合；验证多媒体资源是更新推荐的多媒体资源。

步骤S1004，将验证多媒体资源的目标属性信息集合输入训练完成的多媒体资源分类模型，得到验证多媒体资源对应的预测标签集合。

步骤S1006，基于验证多媒体资源对应的预测标签集合和验证标签集合计算分类准确率。

步骤S1008，当分类准确率小于准确率阈值时，基于验证多媒体资源对应的预测标签集合和训练标签集合对训练完成的多媒体资源分类模型进行更新，得到更新后的多媒体资源分类模型。

其中，验证多媒体资源是用于验证多媒体资源分类模型的准确性的多媒体资源。验证标签是指验证多媒体资源的质量标签。验证多媒体资源和训练多媒体资源是不同的多媒体资源，验证多媒体资源是更新推荐的多媒体资源，验证多媒体资源是比训练多媒体资源发布时间更晚的多媒体资源，也就是，验证多媒体资源是在发布训练多媒体资源后，新发布、新推荐的多媒体资源。

具体地，用户对多媒体资源的反馈评价存在主观性，并且用户对多媒体资源的主观喜好会随用户群体及多媒体资源的热度而实时变化，因此，需要对多媒体资源分类模型进行更新，来保持多媒体资源分类模型的准确性和适应性。计算机设备可以获取近期发布的历史多媒体资源作为验证多媒体资源，基于最新的推荐互动信息集合确定验证多媒体资源的验证标签集合，进而基于验证多媒体资源对资源分类模型进行模型测试，若测试通过，则无需更新多媒体资源分类模型，若测试不通过，则基于验证多媒体资源对多媒体资源分类模型进行更新。在进行模型测试时，计算机设备可以获取验证多媒体资源的目标属性信息集合，将验证多媒体资源的目标属性信息集合输入训练完成的多媒体资源分类模型，多媒体资源分类模型中各个任务子网络分别输出各个任务对应的预测标签，从而得到预测标签集合。计算机设备再基于验证多媒体资源对应的预测标签集合和验证标签集合计算多媒体资源分类模型的分类准确率。当分类准确率大于或等于准确率阈值时，表明多媒体资源分类模型依旧保持较高的准确性，模型测试通过。当分类准确率小于准确率阈值时，表明多媒体资源分类模型的准确性偏低，需要进行模型更新。计算机设备就可以基于验证多媒体资源对应的预测标签集合和训练标签集合计算训练损失值，基于训练损失值进行反向传播，对训练完成的多媒体资源分类模型的模型参数进行更新，直至满足收敛条件，得到更新后的多媒体资源分类模型。更新后的多媒体资源分类模型适用于当前推荐环境，可以识别出用户当前比较感兴趣的多媒体资源。

多媒体资源在发布后，多媒体资源的后验消费数据都存储在各个资源服务平台的数据库中。后验消费数据就是指推荐互动信息，后验消费数据记录了多媒体资源与用户之间的互动行为，例如，多媒体资源的点击率、点赞率等。参考图11，计算机设备可以从各个数据库中获取历史多媒体资源的后验消费数据，基于后验消费数据筛选出正负样本构建训练集和验证集。正样本是指历史多媒体资源在某一任务对应的质量标签为正标签，负样本是指历史多媒体资源在某一任务对应的质量标签为负标签。计算机设备可以选取一部分历史多媒体资源作为训练集，基于训练集训练多媒体资源分类模型，得到训练完成的多媒体资源分类模型。计算机设备可以获取另一部分历史多媒体资源作为验证集，基于验证集验证已训练的多媒体资源分类模型，基于验证集计算已训练的多媒体资源分类模型的分类准确率。当分类准确率小于准确率阈值时，可以基于验证集更新已训练的多媒体资源分类模型。此外，在确定多媒体资源的质量标签时，计算机设备可以基于训练集的后验消费数据确定训练集中各个历史多媒体资源的质量标签，基于验证集的后验消费数据确定验证集中各个历史多媒体资源的质量标签，避免训练集和验证集之间互相干扰。可以理解，计算机设备可以定时对最新的多媒体资源分类模型进行更新，以保障多媒体资源分类模型始终适应当前推荐环境。

在一个实施例中，当一个多媒体资源的预测标签集合和验证标签集合的重合度大于重合度阈值时，确定多媒体资源分类模型对该多媒体资源的质量分类是准确的，模型预测准确。那么，可以统计验证集中预测准确的多媒体资源的比例，得到多媒体资源分类模型的分类准确率。

在一个实施例中，如图12所示，提供了一种多媒体资源推荐方法，以该方法应用于图1中的计算机设备为例进行说明，计算机设备可以是上述图1中的终端102或服务器104。参考图12，多媒体资源推荐方法包括以下步骤：

步骤S1202，获取待推荐多媒体资源的目标属性信息集合；目标属性信息集合包括多个维度的目标属性信息。

步骤S1204，将目标属性信息集合输入已训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和多个任务子网络。

步骤S1206，通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量。

步骤S1208，将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签。

步骤S1210，基于各个预测标签得到待推荐多媒体资源对应的质量分类结果。

步骤S1212，基于质量分类结果推荐待推荐多媒体资源。

具体地，为了给用户推荐更优质的多媒体资源，提高资源推荐的有效性，在进行多媒体资源推荐之前，计算机设备可以利用已训练的多媒体资源分类模型从海量的待推荐多媒体资源中识别出优质的多媒体资源，再将优质的多媒体资源推荐给用户。

计算机设备可以对待推荐多媒体资源进行内容分析，得到待推荐多媒体资源的目标属性信息集合，将待推荐多媒体资源的目标属性信息集合输入已训练的多媒体资源分类模型，得到待推荐多媒体资源对应的质量分类结果。

已训练的多媒体资源分类模型包括多个特征子网络和多个任务子网络。特征子网络用于将目标属性信息转化成属性特征向量，不同的特征子网络用于处理不同的目标属性信息。通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，可以得到各个特征子网络输出的属性特征向量。

任务子网络用于基于属性特征向量预测多媒体资源在特定任务上的表现，不同的任务子网络对应不同的任务。当得到各个特征子网络分别输出的属性特征向量后，计算机设备可以将各个属性特征向量输入到各个任务子网络中，各个任务子网络对输入数据进行数据处理后，得到对应的预测标签。

计算机设备基于各个任务预测结果可以预测待推荐多媒体资源对应的质量分类结果。具体可以是当任务预测结果都为正标签的数量大于预设阈值时，确定质量分类结果为正标签。例如，当所有的任务预测结果均为正标签时，确定质量分类结果为正标签。当超过半数的任务预测结果为正标签时，确定质量分类结果为正标签。多媒体资源分类模型最终输出待推荐多媒体资源对应的质量分类结果。可以理解，也可以是多媒体资源分类模型输出各个预测标签，在模型外基于各个预测标签确定质量分类结果。也可以是多媒体资源分类模型输出各个预测标签和质量分类结果。

当得到待推荐多媒体资源的质量分类结果后，计算机设备可以对识别出来的优质多媒体资源进行推荐加权，对低质多媒体资源进行推荐降权，这一推荐方法可以有效将调性高且有吸引力的优质多媒体资源优先推荐给用户，提高资源推荐的有效性。

可以理解，训练多媒体资源分类模型的训练和更新的具体过程可以参照前述多媒体资源分类模型训练方法的各个相关实施例所述的方法，多媒体资源分类模型的模型结构和数据处理过程也可以参照前述多媒体资源分类模型训练方法的各个相关实施例所述的方法，此处不再赘述。

上述多媒体资源推荐方法，通过获取待推荐多媒体资源的目标属性信息集合，目标属性信息集合包括多个维度的目标属性信息，将目标属性信息集合输入已训练的多媒体资源分类模型，多媒体资源分类模型包括多个特征子网络和多个任务子网络，通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签，基于各个预测标签得到待推荐多媒体资源对应的质量分类结果，基于质量分类结果推荐待推荐多媒体资源。这样，多媒体资源的目标属性信息集合包括多个维度的目标属性信息，不同维度的目标属性信息可以从不同角度反映多媒体资源的内容质量，将目标属性信息集合输入多媒体资源分类模型，通过综合考虑各个维度的目标属性信息可以对多媒体资源的质量进行准确分类，得到准确的质量分类结果。此外，多媒体资源分类模型包括多个任务子网络，是多任务模型，能够预测多媒体资源在各个任务上的表现，综合多媒体资源在各个任务上的表现得到多媒体资源的质量分类结果，能够进一步提高多媒体资源质量分类的准确性。最终，通过多媒体资源分类模型可以识别出质量较优的多媒体资源，从而能够向用户推荐质量较优的多媒体资源，提高多媒体资源推荐的有效性。有效的多媒体资源推荐可以避免由于低质的、无效的多媒体资源推荐导致用户重复搜索或重复刷新界面，重复搜索或重复刷新界面会占用大量的计算机设备资源，因此，在提高资源推荐的有效性的基础上，还可以减少终端或服务器的资源浪费。

本申请还提供一种应用场景，该应用场景应用了上述的多媒体资源分类模型训练和多媒体资源推荐方法。具体地，上述方法在图文内容推荐应用场景的应用如下：

参考图13A，资源服务平台在推荐图文内容时，可以先将低质内容过滤，再进行优质内容识别，在优质内容出库后会对优质内容进行加权推荐，从而有效地将调性高且有吸引力的优质内容优先推荐给用户，提高推荐有效性。

1、过滤低质内容

低质内容具体包括包含低俗内容、谣言、标题党、广告营销的图文内容。次低质内容具体包括包含无营养的图文内容、套路文、八卦党、宣发文、拼接文、负面影响文、口水文、广告软文等图文内容。服务器可以优先将上述低质内容过滤。

2、识别优质内容

优质内容识别方法包括先验优质和后验优质。先验优质是指从图文内容出发，从文本质量、图片质量、图文排版等客观角度识别出优质内容。后验优质是指不仅从图文内容出发，还进一步考虑用户对图文内容的评价，从客观和主观角度综合识别出优质内容。

服务器可以训练用于图文后验优质识别的模型。首先，从图文多模态、文章排版、账号、语言学等各个内容维度构建特征完成深度网络建模，建立基于多任务的图文内容分类模型。图文内容分类模型的模型结构可以参考图13B。模型包括文本特征子网络、原子特征子网络、图文融合特征子网络和样式特征子网络，各个特征子网络输出的数据再输出到各个任务子网络，各个任务子网络输出任务预测结果，基于各个任务预测结果得到输入数据对应的质量分类结果。各个特征子网络和任务子网络之间可以通过MLP层(Multi-Layer Perceptron，多层神经网络)进行连接。图13B的模型包括预测点击率的任务子网络和预测浏览时长的任务子网络，即点击率任务对应的任务子网络和浏览时长任务对应的任务子网络。

接着，利用用户的后验消费数据驱动对优质内容的理解，也就是，使用后验消费数据筛选出图文优质正负样本，建立训练集和验证集。参考图13C，用户在资讯看点小程序浏览资讯时，可以对资讯文章进行点赞、点踩、评论、点击浏览正文等操作，后台会对这些操作数据进行统计得到后验消费数据，例如，点击率、点赞率、浏览时长等。

进一步的，基于训练集对模型进行训练，得到训练完成的图文内容分类模型。已训练的图文内容分类模型可以用于对待推荐图文内容的质量进行分类，将待推荐图文内容的目标属性信息集合输入图文内容分类模型，即可得到待推荐图文内容对应的质量分类结果。

3、推荐优质内容

当质量分类结果表明待推荐图文内容为优质内容时，对优质内容进行加权推荐。

经过测试，该模型上线后准确率达到95％。在浏览器侧对识别出来图文优质内容进行推荐加权实验后，实现了将阅读体验佳且有吸引力的优质内容优先推荐给用户，并在业务侧取得了良好的业务效果。浏览器侧整体图文点击提升0.946％，图文浏览总时长提升1.007％，图文CTR提升0.729％，同时互动指标数据中人均评论提升0.416％。

进一步的，模型训练好后，可以不定时基于验证集对模型进行测试，若测试结果表明模型的准确性偏低，则对模型进行更新，以保障模型的准确性。此外，我们也对模型更新时间进行了测试分析，测试结果如表1所示。根据测试结果可以将模型的自动更新周期设置为5天，以维持模型较高的准确性。

衰减时间	优质占比衰减	AUC衰减
5天	0.452％	0.031％
7天	0.831％	0.126％
10天	1.856％	0.705％

表1

本实施例中，基于多任务及图文多模态、文章排版、账号、语言学等进行图文后验优质识别的模型自动更新方案，是一种基于具体业务场景的算法以及模型结构上的创新。使用用户的后验消费数据驱动对优质内容的理解，即使用后验消费数据筛选图文优质正负样本，并从图文多模态、文章排版、账号、语言学等各个内容维度构建特征完成深度网络建模，并采用模型自动更新方案不断捕获最新消费内容规律，一定程度优化用户群体的主观消费喜好随时间而实时变化的问题，最终提高了资源推荐的有效性。

应该理解的是，虽然图2-13B的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-13B中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图14所示，提供了一种多媒体资源分类模型训练装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：信息获取模块1402、属性信息输入模块1404、属性信息处理模块1406、标签预测模块1408和模型调整模块1410，其中：

信息获取模块1402，用于获取训练多媒体资源的目标属性信息集合和训练标签集合；目标属性信息集合包括多个维度的目标属性信息，训练标签集合包括多个任务对应的训练标签；

属性信息输入模块1404，用于将训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络；

属性信息处理模块1406，用于通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

标签预测模块1408，用于将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签；

模型调整模块1410，用于基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型；多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。

上述多媒体资源分类模型训练装置，基于训练多媒体资源的目标属性信息集合和训练标签集合可以对多媒体资源分类模型进行有监督训练，得到能够对待推荐多媒体资源的质量进行准确分类的多媒体资源分类模型。其中，多媒体资源的目标属性信息集合包括多个维度的目标属性信息，不同维度的目标属性信息可以从不同角度反映多媒体资源的内容质量，将目标属性信息集合输入多媒体资源分类模型，通过综合考虑各个维度的目标属性信息可以对多媒体资源的质量进行准确分类，得到能够准确体现多媒体资源质量的预测标签。此外，多媒体资源分类模型包括多个任务子网络，是多任务模型，能够预测多媒体资源在各个任务上的表现，在模型训练时，多个相关任务同时并行学习，梯度同时反向传播，学习不同任务的联系和差异，从而提高每个任务的学习效率和质量。最终，训练完成的多媒体资源分类模型可以用于对待推荐多媒体资源的质量进行分类，从而能够向用户推荐质量较优的多媒体资源，提高多媒体资源推荐的有效性。有效的多媒体资源推荐可以避免由于低质的、无效的多媒体资源推荐导致用户重复搜索或重复刷新界面，重复搜索或重复刷新界面会占用大量的计算机设备资源，因此，在提高资源推荐的有效性的基础上，还可以减少终端或服务器的资源浪费。

在一个实施例中，信息获取模块还用于获取多个历史多媒体资源分别对应的推荐互动信息集合；推荐互动信息集合包括各个任务对应的推荐互动信息；统计同一任务对应的各个推荐互动信息，得到各个任务分别对应的参考互动信息；基于推荐互动信息和对应的参考互动信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集合；基于历史多媒体资源和对应的质量标签集合得到训练多媒体资源和对应的训练标签集合。

在一个实施例中，信息获取模块还用于在同一历史多媒体资源对应的推荐互动信息集合中，比较同一任务的推荐互动信息对应的推荐互动度和参考互动信息对应的参考互动度；推荐互动度是对推荐互动信息进行归一化处理得到的，参考互动度是对参考互动信息进行归一化处理得到的；将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确定为正标签；将推荐互动度小于或等于参考互动度的推荐互动信息对应的任务的质量标签确定为负标签。

在一个实施例中，特征子网络包括文本特征子网络，与文本特征子网络关联的目标属性信息包括多个文本属性信息，文本特征子网络包括各个文本属性信息分别对应的数据处理通道。属性信息处理模块还用于通过文本特征子网络中各个数据处理通道，分别对对应的文本属性信息进行向量化处理，得到各个数据处理通道输出的文本特征向量；基于各个文本特征向量得到文本特征子网络输出的属性特征向量。

在一个实施例中，特征子网络包括原子特征子网络。属性信息处理模块还用于通过原子特征子网络，对与原子特征子网络关联的目标属性信息进行特征交叉处理，得到至少一个交叉特征向量；基于各个交叉特征向量得到原子特征子网络输出的属性特征向量。

在一个实施例中，特征子网络包括图文融合特征子网络，与图文融合特征子网络关联的目标属性信息包括文本属性信息和图像属性信息，图文融合特征子网络包括文本属性信息对应的文本数据处理通道和图像属性信息对应的图像数据处理通道。属性信息处理模块还用于通过文本数据处理通道对文本属性信息进行编码处理，得到中间特征向量；通过图像数据处理通道对图像属性信息进行编码处理，得到图像特征向量；基于图像特征向量对中间特征向量进行注意力分配处理，得到第一图文融合特征向量；基于中间特征向量对图像特征向量进行注意力分配处理，得到第二图文融合特征向量；基于第一图文融合特征向量和第二图文融合特征向量得到图文融合特征子网络输出的属性特征向量。

在一个实施例中，属性信息处理模块还用于对文本属性信息进行词编码处理，得到词特征向量；对词特征向量进行句编码处理，得到中间特征向量。

在一个实施例中，特征子网络包括样式特征子网络，与样式特征子网络关联的目标属性信息包括样式属性信息；样式特征子网络包括第一数据处理通道和第二数据处理通道。属性信息处理模块还用于通过第一数据处理通道对样式属性信息进行编码处理，得到初始特征向量，对初始特征向量进行注意力分配处理，得到第一特征向量；通过第二数据处理通道对样式属性信息进行卷积处理，得到第二特征向量；基于第一特征向量和第二特征向量得到样式特征子网络输出的属性特征向量。

在一个实施例中，各个任务子网络均包括专家层、门控层和融合层；所述各个任务子网络共享专家层。标签预测模块还用于在当前任务子网络中，通过专家层对各个属性特征向量进行特征处理，得到特征处理结果，通过门控层对特征处理结果进行加权处理，得到中间处理结果，通过融合层对中间处理结果进行融合处理，得到当前任务子网络对应的任务的预测标签。

在一个实施例中，如图15所示，所述装置还包括：

模型更新模块1412，用于获取验证多媒体资源的目标属性信息集合和验证标签集合；验证多媒体资源是更新推荐的多媒体资源；将验证多媒体资源的目标属性信息集合输入训练完成的多媒体资源分类模型，得到验证多媒体资源对应的预测标签集合；基于验证多媒体资源对应的预测标签集合和验证标签集合计算分类准确率；当分类准确率小于准确率阈值时，基于验证多媒体资源对应的预测标签集合和训练标签集合对训练完成的多媒体资源分类模型进行更新，得到更新后的多媒体资源分类模型。

在一个实施例中，如图16所示，提供了一种多媒体资源推荐装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：属性信息获取模块1602、属性信息输入模块1604、属性信息处理模块1606、标签预测模块1608、质量分类模块1610和资源推荐模块1612，其中：

属性信息获取模块1602，用于获取待推荐多媒体资源的目标属性信息集合；目标属性信息集合包括多个维度的目标属性信息；

属性信息输入模块1604，用于将目标属性信息集合输入已训练的多媒体资源分类模型；多媒体资源分类模型包括多个特征子网络和多个任务子网络；

属性信息处理模块1606，用于通过多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

标签预测模块1608，用于将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签；

质量分类模块1610，用于基于各个预测标签得到待推荐多媒体资源对应的质量分类结果；

资源推荐模块1612，用于基于质量分类结果推荐待推荐多媒体资源。

上述多媒体资源推荐装置，多媒体资源的目标属性信息集合包括多个维度的目标属性信息，不同维度的目标属性信息可以从不同角度反映多媒体资源的内容质量，将目标属性信息集合输入多媒体资源分类模型，通过综合考虑各个维度的目标属性信息可以对多媒体资源的质量进行准确分类，得到准确的质量分类结果。此外，多媒体资源分类模型包括多个任务子网络，是多任务模型，能够预测多媒体资源在各个任务上的表现，综合多媒体资源在各个任务上的表现得到多媒体资源的质量分类结果，能够进一步提高多媒体资源质量分类的准确性。最终，通过多媒体资源分类模型可以识别出质量较优的多媒体资源，从而能够向用户推荐质量较优的多媒体资源，提高多媒体资源推荐的有效性。有效的多媒体资源推荐可以避免由于低质的、无效的多媒体资源推荐导致用户重复搜索或重复刷新界面，重复搜索或重复刷新界面会占用大量的计算机设备资源，因此，在提高资源推荐的有效性的基础上，还可以减少终端或服务器的资源浪费。

关于多媒体资源分类模型训练装置和多媒体资源推荐装置的具体限定可以参见上文中对于多媒体资源分类模型训练方法和多媒体资源推荐方法的限定，在此不再赘述。上述多媒体资源分类模型训练装置和多媒体资源推荐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储多媒体资源的推荐互动信息集合、目标属性信息集合、质量标签、多媒体资源分类模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种多媒体资源分类模型训练方法和多媒体资源推荐方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机可读指令被处理器执行时以实现一种多媒体资源分类模型训练方法和多媒体资源推荐方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图17、18中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和一个或多个处理器，存储器中存储有计算机可读指令，该一个或多个处理器执行计算机可读指令时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，存储有计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机可读指令，该计算机可读指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机可读指令，处理器执行该计算机可读指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

一种多媒体资源分类模型训练方法，其特征在于，由计算机设备执行，所述方法包括：

获取训练多媒体资源的目标属性信息集合和训练标签集合；所述目标属性信息集合包括多个维度的目标属性信息，所述训练标签集合包括多个任务对应的训练标签；

将所述训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型；所述多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络；

通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签；及

基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型；所述多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。
根据权利要求1所述的方法，其特征在于，所述获取训练多媒体资源的训练标签集合，包括：

获取多个历史多媒体资源分别对应的推荐互动信息集合；所述推荐互动信息集合包括各个任务对应的推荐互动信息；

统计同一任务对应的各个推荐互动信息，得到各个任务分别对应的参考互动信息；

基于推荐互动信息和对应的参考互动信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集合；及

基于所述历史多媒体资源和对应的质量标签集合得到所述训练多媒体资源和对应的训练标签集合。
根据权利要求2所述的方法，其特征在于，所述基于推荐互动信息和对应的参考互动信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集合，包括：

在同一历史多媒体资源对应的推荐互动信息集合中，比较同一任务的推荐互动信息对应的推荐互动度和参考互动信息对应的参考互动度；所述推荐互动度是对推荐互动信息进行归一化处理得到的，所述参考互动度是对参考互动信息进行归一化处理得到的；

将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确定为正标签；及

将推荐互动度小于或等于参考互动度的推荐互动信息对应的任务的质量标签确定为负标签。
根据权利要求1所述的方法，其特征在于，所述特征子网络包括文本特征子网络，与所述文本特征子网络关联的目标属性信息包括多个文本属性信息，所述文本特征子网络包括各个文本属性信息分别对应的数据处理通道；

所述通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：

通过所述文本特征子网络中各个数据处理通道，分别对对应的文本属性信息进行向量化处理，得到各个数据处理通道输出的文本特征向量；及

基于各个文本特征向量得到所述文本特征子网络输出的属性特征向量。
根据权利要求1所述的方法，其特征在于，所述特征子网络包括原子特征子网络；

所述通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：

通过所述原子特征子网络，对与所述原子特征子网络关联的目标属性信息进行特征交叉处理，得到至少一个交叉特征向量；及

基于各个交叉特征向量得到所述原子特征子网络输出的属性特征向量。
根据权利要求5所述的方法，其特征在于，所述与所述原子特征子网络关联的目标属性信息包括用户属性信息、图像属性信息、语言属性信息和文本统计属性信息中的至少两种。
根据权利要求1所述的方法，其特征在于，所述特征子网络包括图文融合特征子网络，与所述图文融合特征子网络关联的目标属性信息包括文本属性信息和图像属性信息，所述图文融合特征子网络包括所述文本属性信息对应的文本数据处理通道和所述图像属性信息对应的图像数据处理通道；

所述通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：

通过所述文本数据处理通道对所述文本属性信息进行编码处理，得到中间特征向量；

通过所述图像数据处理通道对所述图像属性信息进行编码处理，得到图像特征向量；

基于所述图像特征向量对所述中间特征向量进行注意力分配处理，得到第一图文融合特征向量；

基于所述中间特征向量对所述图像特征向量进行注意力分配处理，得到第二图文融合特征向量；及

基于所述第一图文融合特征向量和所述第二图文融合特征向量得到所述图文融合特征子网络输出的属性特征向量。
根据权利要求7所述的方法，其特征在于，所述通过所述文本数据处理通道对所述文本属性信息进行编码处理，得到中间特征向量，包括：

对所述文本属性信息进行词编码处理，得到词特征向量；及

对所述词特征向量进行句编码处理，得到所述中间特征向量。
根据权利要求1所述的方法，其特征在于，所述特征子网络包括样式特征子网络，与所述样式特征子网络关联的目标属性信息包括样式属性信息；所述样式特征子网络包括第一数据处理通道和第二数据处理通道；

所述通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量，包括：

通过所述第一数据处理通道对所述样式属性信息进行编码处理，得到初始特征向量，对所述初始特征向量进行注意力分配处理，得到第一特征向量；

通过所述第二数据处理通道对所述样式属性信息进行卷积处理，得到第二特征向量；及

基于所述第一特征向量和所述第二特征向量得到所述样式特征子网络输出的属性特征向量。
根据权利要求1所述的方法，其特征在于，所述各个任务子网络均包括专家层、门控层和融合层；所述各个任务子网络共享专家层；

所述将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签，包括：

在当前任务子网络中，通过所述专家层对所述各个属性特征向量进行特征处理，得到特征处理结果，通过所述门控层对所述特征处理结果进行加权处理，得到中间处理结果，通过所述融合层对所述中间处理结果进行融合处理，得到所述当前任务子网络对应的任务的预测标签。
根据权利要求1至10任意一项所述的方法，其特征在于，所述方法还包括：

获取验证多媒体资源的目标属性信息集合和验证标签集合；所述验证多媒体资源是更新推荐的多媒体资源；

将所述验证多媒体资源的目标属性信息集合输入所述训练完成的多媒体资源分类模型，得到所述验证多媒体资源对应的预测标签集合；

基于所述验证多媒体资源对应的预测标签集合和验证标签集合计算分类准确率；及

当所述分类准确率小于准确率阈值时，基于所述验证多媒体资源对应的预测标签集合和训练标签集合对所述训练完成的多媒体资源分类模型进行更新，得到更新后的多媒体资源分类模型。
一种多媒体资源推荐方法，其特征在于，由计算机设备执行，所述方法包括：

获取待推荐多媒体资源的目标属性信息集合；所述目标属性信息集合包括多个维度的目标属性信息；

将所述目标属性信息集合输入已训练的多媒体资源分类模型；所述多媒体资源分类模型包括多个特征子网络和多个任务子网络；

通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签；

基于各个预测标签得到所述待推荐多媒体资源对应的质量分类结果；及

基于所述质量分类结果推荐所述待推荐多媒体资源。
一种多媒体资源分类模型训练装置，其特征在于，所述装置包括：

信息获取模块，用于获取训练多媒体资源的目标属性信息集合和训练标签集合；所述目标属性信息集合包括多个维度的目标属性信息，所述训练标签集合包括多个任务对应的训练标签；

属性信息输入模块，用于将所述训练多媒体资源的目标属性信息集合输入待训练的多媒体资源分类模型；所述多媒体资源分类模型包括多个特征子网络和各个任务分别对应的任务子网络；

属性信息处理模块，用于通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

标签预测模块，用于将各个属性特征向量输入各个任务子网络，得到各个任务对应的预测标签；及

模型调整模块，用于基于同一任务对应的训练标签和预测标签调整对应的任务子网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，得到训练完成的多媒体资源分类模型；所述多媒体资源分类模型用于对待推荐多媒体资源的质量进行分类。
一种多媒体资源推荐装置，其特征在于，所述装置包括：

属性信息获取模块，用于获取待推荐多媒体资源的目标属性信息集合；所述目标属性信息集合包括多个维度的目标属性信息；

属性信息输入模块，用于将所述目标属性信息集合输入已训练的多媒体资源分类模型；所述多媒体资源分类模型包括多个特征子网络和多个任务子网络；

属性信息处理模块，用于通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向量；

标签预测模块，用于将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标签；

质量分类模块，用于基于各个预测标签得到所述待推荐多媒体资源对应的质量分类结果；及

资源推荐模块，用于基于所述质量分类结果推荐所述待推荐多媒体资源。
一种计算机设备，包括存储器和一个或多个处理器，所述存储器存储有计算机可读指令，其特征在于，所述一个或多个处理器执行所述计算机可读指令时实现权利要求1至11或12中任一项所述的方法的步骤。
一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，存储有计算机可读指令，其特征在于，所述计算机可读指令被一个或多个处理器执行时实现权利要求1至11或12中任一项所述的方法的步骤。
一种计算机程序产品，包括计算机可读指令，其特征在于，所述计算机可读指令被一个或多个处理器执行时实现权利要求1至11或12中任一项所述的方法的步骤。