WO2016192013A1

WO2016192013A1 - 多媒体处理方法及装置

Info

Publication number: WO2016192013A1
Application number: PCT/CN2015/080518
Authority: WO
Inventors: 刘洁
Original assignee: 华为技术有限公司
Priority date: 2015-06-01
Filing date: 2015-06-01
Publication date: 2016-12-08
Also published as: EP3306463A1; US20180160174A1; CN107615236A; EP3306463A4

Abstract

本发明实施例提供一种多媒体处理方法及装置，通过监测多媒体观看者的行为变化，根据多媒体观看者的行为变化识别多媒体的特定内容，对多媒体的特定内容进行处理，能根据多媒体观看者的行为变化对多媒体的特定内容进行相应的处理，从而，提供多种观看方式，提高了人机交互的智能化。

Description

多媒体处理方法及装置

技术领域

本发明实施例涉及通信技术，尤其涉及一种多媒体处理方法及装置。

背景技术

随着计算机网络技术的飞速发展，人们越来越习惯于通过网络观看多媒体，在观看视频的场景中，例如：直接在线观看直播、在线观看重播或者通过网络下载视频资源到本地观看等。

现有技术中，视频网站为用户提供的视频观看方式单一，例如：在线观看直播，已播放的视频无法回看，用户可能因某事离开而错过某些精彩片段；在线观看重播或通过网络下载视频资源到本地，在观看过程中，用户如果想选择性观看，例如：只观看精彩片段，只能通过快进，或者拖动播放条等方式观看，无法直接定位精彩片段等。

因此，现有技术的多媒体处理方法，提供的观看方式单一，人机交互不够智能化。

发明内容

本发明实施例提供一种多媒体处理方法及装置，以提高人机交互的智能化。

本发明实施例第一方面提供一种多媒体处理方法，包括：

监测多媒体观看者的行为变化；

根据所述多媒体观看者的行为变化识别多媒体的特定内容；

对所述多媒体的特定内容进行处理。

结合第一方面，在第一方面的第一种可能的实现方式中，所述特定内容为第一部分内容或第二部分内容；所述对所述多媒体的特定内容进行处理，包括：

根据所述多媒体观看者的行为变化对多媒体的所述第一部分内容进行存储；或者，

根据所述多媒体观看者的行为变化对多媒体的所述第二部分内容进行标记。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述根据所述多媒体观看者的行为变化对多媒体的所述第一部分内容进行存储，包括：

若在第一时间监测到所述多媒体观看者从观看多媒体行为变化为未观看多媒体行为；在第二时间监测到所述多媒体观看者从未观看多媒体行为变化为观看多媒体行为；若所述第一时间与第二时间的时间间隔大于第一预设阈值，则存储所述第一时间到所述第二时间段内多媒体的播放内容。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，当所述多媒体观看者为一人时：

所述监测到所述多媒体观看者从观看多媒体行为变化为未观看多媒体行为，包括：

若监测到所述多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

若监测到所述多媒体观看者的面部图像与所述多媒体播放器的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

若监测到所述多媒体观看者的视线从位于所述屏幕的显示区域内变化到位于所述屏幕的显示区域外，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

所述监测到所述多媒体观看者从未观看多媒体行为变化为观看多媒体行为，包括：

若监测到所述多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

若监测到所述多媒体观看者的面部图像与所述多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

若监测到所述多媒体观看者的视线从位于所述屏幕的显示区域外变化到位于所述屏幕的显示区域内，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述在第二时间监测到所述多媒体观看者从未观看多媒体行为变化为观看多媒体行为之前，还包括：

确定第二时间监测到所述多媒体观看者与所述第一时间监测到所述多媒体观看者为同一观看者。

结合第一方面的第二种可能的实现方式，在第一方面的第五种可能的实现方式中，当所述多媒体观看者为至少两人时，

若监测到所述多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度的人数大于预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

若监测到所述多媒体观看者中的面部图像与所述多媒体播放器的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离的人数大于所述预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

若监测到所述多媒体观看者中的视线从位于所述屏幕的显示区域内变化到位于所述屏幕的显示区域外的人数大于所述预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

若监测到所述多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

若监测到所述多媒体观看者中的面部图像与所述多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离的人数大于所述预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

若监测到所述多媒体观看者中的视线从位于所述屏幕的显示区域外变化到位于所述屏幕的显示区域内的人数大于所述预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

结合第一方面的第一种可能的实现方式，在第一方面的第六种可能的实现方式中，所述根据所述多媒体观看者的行为变化对多媒体的第二部分内容进行标记，包括：

若在第三时间监测到所述多媒体观看者从表情平静变化到表情不平静；在第四时间监测到所述多媒体观看者从表情不平静变化到表情平静，则标记所述第三时间到所述第四时间段内多媒体的播放内容为候选精彩内容；

若所述第三时间到所述第四时间段内多媒体的播放内容被标记为候选精彩内容的次数大于等于第二预设阈值，则标记所述候选精彩内容为精彩内容。

结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述标记所述候选精彩内容为精彩内容，包括：

根据所述精彩内容在所述多媒体的播放进度中的时间区间，生成所述多媒体的播放热度曲线；或者，

在所述精彩内容在所述多媒体的播放进度中的时间区间，生成所述时间区间内的多媒体的缩略图。

本发明实施例第二方面提供一种多媒体处理装置，包括：

监测模块，用于监测多媒体观看者的行为变化；

识别模块，用于根据所述多媒体观看者的行为变化识别多媒体的特定内容；

处理模块，用于对所述多媒体的特定内容进行处理。

结合第二方面，在第二方面的第一种可能的实现方式中，所述特定内容为第一部分内容或第二部分内容；所述处理模块包括：

存储单元，用于根据所述多媒体观看者的行为变化对多媒体的所述第一部分内容进行存储；或者，

标记单元，用于根据所述多媒体观看者的行为变化对多媒体的所述第二部分内容进行标记。

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述存储单元具体用于若所述监测模块在第一时间监测到所述多媒体观看者从观看多媒体行为变化为未观看多媒体行为；在第二时间监测到所述多媒体观看者从未观看多媒体行为变化为观看多媒体行为；若所述第一时间与第二时间的时间间隔大于第一预设阈值，则存储所述第一时间到所述第二时间段内多媒体的播放内容。

结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，当所述多媒体观看者为一人时：

所述监测模块具体用于若监测到所述多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者的面部图像与所述多媒体播放器的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者的视线从位于所述屏幕的显示区域内变化到位于所述屏幕的显示区域外，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

所述监测模块具体用于若监测到所述多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者的面部图像与所述多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者的视线从位于所述屏幕的显示区域外变化到位于所述屏幕的显示区域内，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述监测模块还用于确定第二时间监测到所述多媒体观看者与所述第一时间监测到所述多媒体观看者为同一观看者。

结合第二方面的第二种可能的实现方式，在第二方面的第五种可能的实现方式中，当所述多媒体观看者为至少两人时，

所述监测模块具体用于若监测到所述多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度的人数大于预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者中的面部图像与所述多媒体播放器的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离的人数大于所述预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者中的视线从位于所述屏幕的显示区域内变化到位于所述屏幕的显示区域外的人数大于所述预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

所述监测模块具体用于若监测到所述多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者中的面部图像与所述多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离的人数大于所述预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者中的视线从位于所述屏幕的显示区域外变化到位于所述屏幕的显示区域内的人数大于所述预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

结合第二方面的第一种可能的实现方式，在第二方面的第六种可能的实现方式中，所述标记单元具体用于若所述监测模块在第三时间监测到所述多媒体观看者从表情平静变化到表情不平静；在第四时间监测到所述多媒体观看者从表情不平静变化到表情平静，则标记所述第三时间到所述第四时间段内多媒体的播放内容为候选精彩内容；若所述第三时间到所述第四时间段内多媒体的播放内容被标记为候选精彩内容的次数大于等于第二预设阈值，则标记所述候选精彩内容为精彩内容。

结合第二方面的第六种可能的实现方式，在第二方面的第七种可能的实现方式中，所述标记单元具体用于根据所述精彩内容在所述多媒体的播放进度中的时间区间，生成所述多媒体的播放热度曲线；或者，

所述标记单元具体用于在所述精彩内容在所述多媒体的播放进度中的时间区间，生成所述时间区间内的多媒体的缩略图。

本发明实施例提供的多媒体处理方法及装置，通过监测多媒体观看者的行为变化，根据多媒体观看者的行为变化识别多媒体的特定内容，对多媒体的特定内容进行处理，能根据多媒体观看者的行为变化对多媒体的特定内容进行相应的处理，从而，提供多种观看方式，提高了人机交互的智能化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明多媒体处理方法实施例一的流程示意图；

图2为本发明多媒体处理方法实施例二的流程示意图；

图3为本发明多媒体处理方法实施例三的流程示意图；

图4为本发明多媒体处理装置实施例一的结构示意图；

图5为本发明多媒体处理装置实施例二的结构示意图；

图6为本发明多媒体处理装置实施例三的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中的多媒体可以为文字、图片/照片，或视频等。本发明以视频为例进行实施例的描述，其他多媒体形式与视频场景类似，不再赘述。本发明的视频观看场景中，例如，可应用在在线观看直播、在线观看重播或观看本地视频的场景中等，为了解决视频网站提供的视频观看方式单一的问题，通过监测视频观看者的行为变化，根据视频观看者的行为变化识别视频的特定内容，对该特定内容进行处理，能根据视频观看者的行为变化对视频的特定内容进行相应的处理，例如：根据视频观看者的行为变化对视频的内容进行存储；或者，根据视频观看者的行为变化对视频的内容进行标记，从而，提供多种观看方式，提高了人机交互的智能化。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明多媒体处理方法实施例一的流程示意图。如图1所示，本实施例的视频处理方法包括：

S101：监测多媒体观看者的行为变化。

具体地，本实施例中的多媒体通过多媒体播放器播放，多媒体播放器可以是具有多媒体播放功能的用户终端，例如，手机、平板电脑和车载电脑等。

可选的，可以通过多媒体播放器的前置摄像头监测多媒体观看者的行为变化。

多媒体观看者的行为变化是多媒体观看者在观看多媒体过程中做出的行为变化，可以是多媒体观看者从观看多媒体行为变化为未观看多媒体行为或从未观看多媒体行为变化为观看多媒体行为，或者，多媒体观看者在观看多媒体的过程中从表情平静变化到表情不平静或从表情不平静变化为表情平静等。

S102：根据多媒体观看者的行为变化识别多媒体的特定内容。

具体地，多媒体播放器能根据多媒体观看者的行为变化确定多媒体的特定内容。多媒体的特定内容可以是多媒体观看者错过的内容或精彩内容。例如，若监测到多媒体观看者从表情平静变化到表情不平静，又从表情不平静变化为表情平静，则识别该时间段内的多媒体内容为特定内容。

S103：对多媒体的特定内容进行处理。

具体地，多媒体播放器对多媒体的特定内容进行处理，例如，将确定出的多媒体的特定内容进行存储或者标记。

本实施例提供的多媒体处理方法，通过监测多媒体观看者的行为变化，根据多媒体观看者的行为变化识别多媒体的特定内容，对多媒体的特定内容进行处理，能根据多媒体观看者的行为变化对多媒体的特定内容进行相应的处理，从而，提供多种观看方式，提高了人机交互的智能化。

进一步地，在上述实施例的基础上，S103具体包括：根据多媒体观看者的行为变化对多媒体的特定内容进行存储；或者，根据多媒体观看者的行为变化对多媒体的特定内容进行标记。

根据多媒体观看者的行为变化对多媒体的特定内容进行存储可以应用在在线观看直播多媒体的场景中，例如，可以应用在观看直播视频的场景中，当多媒体观看者从观看多媒体行为变化为未观看多媒体行为，再从未观看多媒体行为变化为观看多媒体行为时，则存储多媒体观看者离开时间内的多媒体，在多媒体观看者变化为观看多媒体行为时，提醒多媒体观看者是否需要对存储的多媒体进行观看，解决了在线观看直播节目过程中，因视频观看者离开而错过视频的问题。具体的实现方式如图2所示。

图2为本发明多媒体处理方法实施例二的流程示意图。本实施例的多媒体处理方法包括：

S201：若在第一时间监测到多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

当多媒体观看者为一人时，可以通过监测多媒体观看者的面部图像与多媒体播放器屏幕的夹角的变化、多媒体观看者的面部图像与屏幕距离的变化或多媒体观看者的视线的变化来监测多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

具体地，若监测到多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。多媒体观看者的面部图像与多媒体播放器的屏幕的夹角是多媒体观看者的面部图像所在的平面和多媒体播放器的屏幕所在的平面之间的夹角。第一预设角度是预先设置在多媒体播放器中的，小于等于第一预设角度表示多媒体观看者能看清多媒体播放器的屏幕上播放的多媒体，大于第一预设角度表示多媒体观看者不能看清多媒体。第一预设角度可以通过经验数据获得，也可以通过试验的方式获得，例如，可以让多媒体观看者在多媒体播放器的屏幕前调整面部图像与屏幕的夹角，当多媒体观看者刚好能从看到多媒体变化为看不到多媒体时面部图像与屏幕的夹角为第一预设角度。

或者，若监测到多媒体观看者的面部图像与多媒体播放器的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。第一预设距离是预先设置在多媒体播放器中的，小于等于第一预设距离表示多媒体观看者能看清多媒体播放器的屏幕上播放的多媒体，大于第一预设距离表示多媒体观看者不能看清多媒体。多媒体观看者的面部图像与屏幕的距离可以通过距离感应器来测量。

或者，若监测到多媒体观看者的视线从位于多媒体播放器的屏幕的显示区域内变化到位于屏幕的显示区域外，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。多媒体观看者的视线位于多媒体播放器的屏幕的显示区域内表示多媒体观看者能看行屏幕上播放的多媒体，多媒体观看者的视线位于屏幕的显示区域外表示多媒体观看者不能看清多媒体。监测多媒体观看者的实现可以通过跟踪多媒体观看者的眼动轨迹来实现，

上述三种情况满足任一种即认为多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

当多媒体观看者为至少两人时，可以通过监测多媒体观看者的面部图像与屏幕的夹角发生变化的人数、面部图像与屏幕的距离发生变化的人数或者多媒体观看者的视线发生变化的人数来监测多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

具体地，若监测到多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度的人数大于预定人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

或者，若监测到多媒体观看者中的面部图像与多媒体播放器的屏幕距离从小于等于第一预设距离变化到大于第一预设距离的人数大于预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

或者，若监测到多媒体观看者中的视线从位于屏幕的显示区域内变化到位于屏幕的显示区域外的人数大于预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

需要说明的是，预设人数可以是多媒体播放器设置的一个固定的人数，也可以是最开始观看多媒体的多媒体观看者的人数，还可以是根据最开始观看多媒体的人数的一个比值设置的人数。当预设人数为1时，表示多媒体观看者中如果有两人以上的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化为大于第一预设角度时，即认为多媒体观看者从观看多媒体行为变化为未观看多媒体行为。当预设人数为0时，表示多媒体观看者中如果有一人以上的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化为大于第一预设角度时，即认为多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

举例来说，当最开始观看的多媒体人数为21人时，预设人数可以为7人，这表示在21个多媒体观看者中只有监测到当大于7个人的面部图像与屏幕的夹角从小于等于第一预设角度变化为大于第一预设角度、面部图像与屏幕的距离从小于等于第一预设距离变化为大于第一预设距离或者视线从位于屏幕的显示区域内变化到位于屏幕的显示区域外时，才认为多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

监测至少两个多媒体观看者中每个多媒体观看者的面部图像与屏幕的夹角、每个面部图像与屏幕的距离或者每个多媒体观看者的视线。

S202：在第二时间监测到多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

当多媒体观看者为一人时，具体地，若监测到多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

需要说明的是，若未监测到多媒体观看者，则默认为多媒体观看者与屏幕的夹角大于第一预设角度。

或者，若监测到多媒体观看者的面部图像与多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

需要说明的是，若未监测到多媒体观看者，则默认为多媒体观看者与屏幕的距离大于第一预设距离。

或者，若监测到多媒体观看者的视线从位于屏幕的显示区域外变化到位于屏幕的显示区域内，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

需要说明的是，若未监测到多媒体观看者，则默认为多媒体观看者的视线落在屏幕的显示区域外。

当多媒体观看者为至少两人时，具体地，若监测到多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

或者，若监测到多媒体观看者中的面部图像与多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

或者，若监测到多媒体观看者中的视线从位于屏幕的显示区域外变化到位于屏幕的显示区域内的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

需要说明的是，本步骤中的预设人数与S201中的预设人数可以相同也可以不相同。

S203：若第一时间与第二时间的时间间隔大于第一预设阈值，则存储第一时间到第二时间段内多媒体的播放内容。

具体地，当第一时间与第二时间的时间间隔大于第一预设阈值时，认为多媒体观看者错过了一段多媒体，则存储第一时间到第二时间段内多媒体的播放内容。多媒体播放器可以通过从多媒体网站服务器下载第一时间到第二时间的多媒体来进行存储。

若第一时间与第二时间的时间间隔小于第一预设阈值，当多媒体观看者为一人时，认为在第一时间与第二时间的时间间隔内，根据多媒体的上下情景，多媒体观看者可以推断出错过的多媒体的内容；当多媒体观看者为至少两人时，认为在第一时间与第二时间的时间间隔内，多媒体观看者可以根据其他多媒体观看者的讲解而获知错过的多媒体的内容。

需要说明的是，也可以从第一时间即开始存储多媒体的播放内容，若第一时间与第二时间的时间间隔小于第一预设阈值时，则删除从第一时间开始存储的多媒体的播放内容。

存储的第一时间到第二时间段内的多媒体的播放内容在监测到多媒体观看者从未观看多媒体行为变化为观看多媒体行为后播放给多媒体观看者。具体地，可以提醒多媒体观看者是否需要观看第一时间到第二时间的时间段内存储的多媒体的播放内容。当多媒体观看者选择需要观看第一时间到第二时间的时间段内存储的多媒体的播放内容时，播放存储的多媒体内容。播放时，可以采用独立窗口的形式，以不影响正常的多媒体的观看。

本实施例提供的多媒体处理方法可以运用在在线观看直播多媒体的场景中，当在第一时间监测到多媒体观看者从观看多媒体行为变化为未观看多媒体行为，在第二时间监测到多媒体观看者从未观看多媒体行为变化为观看多媒体行为，第一时间与第二时间的时间间隔大于第一预设阈值，则存储第一时间到第二时间段内多媒体的播放内容，从而，解决了在观看在线直播多媒体的过程中，因为多媒体观看者离开一段时间而错过多媒体的问题，提高了人机交互的智能化。

进一步地，在实施例二的基础上，当多媒体观看者为一人时，在S202之前，还包括：确定第二时间监测到多媒体观看者与第一时间监测到的多媒体观看者为同一观看者。当多媒体观看者为至少两人时，在S202之前，还包括：确定第二时间监测到的从未观看多媒体行为变化为观看多媒体行为的多媒体观看者与第一时间监测到的从观看多媒体行为变化为未观看多媒体行为的多媒体观看者为同一批观看者。具体地，可以通过对比第二时间监测到的多媒体观看者和第一时间监测到的多媒体观看者的五官的吻合度来确定是否同一或同一批观看者。

根据多媒体观看者的行为变化对多媒体的特定内容进行标记可以应用在在线观看重播多媒体或观看本地多媒体的场景中，多媒体观看者在观看多媒体内容的过程中，会因为多媒体的内容而做出不同的行为，例如，如果多媒体内容比较精彩，多媒体观看者面部表情会比较丰富，根据多媒体观看者的行为，对相应多媒体的内容进行标记，在后来的多媒体观看者在观看多媒体的过程中，可以根据标记的结果选择多媒体进行观看，解决了多媒体观看者无法直接定位精彩片段的问题。如图3所示，图3为本发明多媒体处理方法实施例三的流程示意图。本实施例的多媒体处理方法包括：

S301：若在第三时间监测到多媒体观看者从表情平静变化到表情不平静。

具体地，监测多媒体观看者从表情平静变化到表情不平静可以通过监测多媒体观看者的面部充血情况是否超过第三预设阈值，或者通过监测多媒体观看者的眼动轨迹的变化程度是否超过第四预设阈值来实现。当多媒体观看者的面部充血情况从小于等于第三预设阈值变化为大于第三预设阈值，或者监测到多媒体观看者的眼动轨迹的变化程度从小于等于第四预设阈值变化为大于第四预设阈值，则确定多媒体观看者从表情平静变化到表情不平静。

S302：在第四时间监测到多媒体观看者从表情不平静变化到表情平静，则标记第三时间到第四时间段内多媒体的播放内容为候选精彩内容。

具体地，当监测到多媒体观看者的面部充血情况从大于第三预设阈值变化为小于等于第三预设阈值，或者监测到多媒体观看者的眼动轨迹的变化程度从大于第四预设阈值变化为小于等于第四预设阈值，则确定多媒体观看者从表情不平静变化到表情平静。标记第三时间到第四时间段内多媒体的播放内容为候选精彩内容：当多媒体观看者为一人时，对第三时间到第四时间段内多媒体的播放内容标记一次；当多媒体观看者为至少两人时，当监测到有几个多媒体观看者在第三时间从表情平静变化到表情不平静，在第四时间从表情不平静变化到表情平静，则对第三时间到第四时间段内多媒体的播放内容标记几次。

S303：若第三时间到第四时间段内多媒体的播放内容被标记为候选精彩内容的次数大于等于第二预设阈值，则标记候选精彩内容为精彩内容。

具体地，第二预设阈值可以根据多媒体被播放的总次数来确定，例如，第二预设阈值可以是多媒体被播放总次数的二分之一，也就是说，若在第三时间到第四时间段内多媒体的播放内容被标记为候选精彩内容的次数大于多媒体被播放的总次数的二分之一时，则标记候选精彩内容为精彩内容。

可以根据精彩内容在多媒体的播放进度中的时间区间，生成多媒体的播放热度曲线，或者在精彩内容在多媒体的播放进度中的时间区间，生成时间区间内的多媒体的缩略图来标记候选精彩内容为精彩内容。

具体地，多媒体的播放热度曲线可以通过以多媒体的播放进度为横坐标、以多媒体被标记为候选精彩内容的次数为纵坐标生成多媒体的热度曲线。也可以通过以多媒体的播放进度为横坐标、以被标记为精彩内容为纵坐标，根据精彩内容在多媒体的播放进度中的时间区间，生成多媒体的播放热度曲线。

或者，在精彩内容在多媒体的播放进度中的时间区间，生成时间区间内的多媒体的缩略图，即生成精彩内容的缩略图。

本实施例提供的多媒体处理方法具体可以运用在在线观看重播多媒体或者在观看本地多媒体的场景中。当运用在在线观看重播多媒体的场景中时，多媒体播放器根据监测到的多媒体观看者的行为标记第三时间到第四时间段内多媒体的播放内容为候选精彩内容，将标记的数据发送给多媒体网站服务器，网站服务器根据多媒体播放器发送的数据与第二预设阈值通过生成多媒体的播放热度曲线或者通过生成时间区间内的多媒体的缩略图的方式标记候选精彩内容为精彩内容。当多媒体被播放的次数越多，基于统计的规律，对精彩内容的标记就越精确。

本实施例提供的多媒体处理方法通过当在第三时间监测到多媒体观看者从表情平静变化为表情不平静，在第四时间监测到多媒体观看者从表情不平静变化为表情平静，则标记第三时间到第四时间内多媒体的播放内容为候选精彩内容，若第三时间到第四时间段内的多媒体的播放内容被标记为候选精彩内容的次数大于等于第二预设阈值，则标记候选精彩内容为精彩内容，从而，使多媒体观看者可以快速定位多媒体的精彩内容，提高了人机交互的智能化。

图4为本发明多媒体处理装置实施例一的结构示意图。如图4所示，本实施例提供的多媒体处理装置包括：监测模块41，用于监测多媒体观看者的行为变化，识别模块42，用于根据多媒体观看者的行为变化识别多媒体的特定内容，处理模块43，用于对多媒体的特定内容进行处理。

具体地，本实施例提供的装置对应地可用于执行图1所示方法实施例的技术方案，其实现原理类似，此处不再赘述。

本实施例提供的多媒体处理装置，通过监测模块监测多媒体观看者的行为变化，识别模块确定多媒体的特定内容，处理模块对多媒体的特定内容进行处理，能根据多媒体观看者的行为变化对多媒体的特定内容进行相应的处理，从而，提供多种观看方式，提高了人机交互的智能化。

图5为本发明多媒体处理装置实施例二的结构示意图。如图5所示，在实施例一的基础上，处理模块43包括：存储单元501，用于根据所述多媒体观看者的行为变化对多媒体的特定内容进行存储。

具体地，存储单元501具体用于若监测模块41在第一时间监测到多媒体观看者从观看多媒体行为变化为未观看多媒体行为；在第二时间监测到多媒体观看者从未观看多媒体行为变化为观看多媒体行为；若第一时间与第二时间的时间间隔大于第一预设阈值，则存储第一时间到第二时间段内多媒体的播放内容。

当所述多媒体观看者为一人时：监测模块41具体用于若监测到多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

或者，监测模块41具体用于若监测到多媒体观看者的面部图像与多媒体播放器的屏幕的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

或者，监测模块41具体用于若监测到所述多媒体观看者的视线从位于屏幕的显示区域内变化到位于屏幕的显示区域外，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

监测模块41具体用于若监测到多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

或者，监测模块41具体用于若监测到多媒体观看者的面部图像与多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

或者，监测模块41具体用于若监测到多媒体观看者的视线从位于屏幕的显示区域外变化到位于屏幕的显示区域内，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

监测模块41还用于确定第二时间监测到多媒体观看者与第一时间监测到多媒体观看者为同一观看者。

当多媒体观看者为至少两人时，监测模块41具体用于若监测到多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度的人数大于预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

或者，监测模块41具体用于若监测到多媒体观看者中的面部图像与多媒体播放器的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离的人数大于预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

或者，监测模块41具体用于若监测到多媒体观看者中的视线从位于屏幕的显示区域内变化到位于屏幕的显示区域外的人数大于预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为。

监测模块41具体用于若监测到多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

或者，监测模块41具体用于若监测到多媒体观看者中的面部图像与多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

或者，监测模块41具体用于若监测到多媒体观看者中的视线从位于屏幕的显示区域外变化到位于屏幕的显示区域内的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。

具体地，本实施例提供的装置对应地可用于执行图2所示方法实施例的技术方案，其实现原理类似，此处不再赘述。

本实施例提供的多媒体处理装置，可以运用在在线观看直播多媒体的场景中，通过存储单元具体用于若监测模块在第一时间监测到多媒体观看者从观看多媒体行为变化为未观看多媒体行为，在第二时间监测到多媒体观看者从未观看多媒体行为变化为观看多媒体行为，若第一时间与第二时间的时间间隔大于第一预设阈值，则存储第一时间到第二时间段内多媒体的播放内容，从而，解决了在观看在线直播多媒体的过程中，因为多媒体观看者离开一段时间而错过多媒体的问题，提高了人机交互的智能化。

图6为本发明多媒体处理装置实施例三的结构示意图。如图6所示，在实施例一的基础上，处理模块43包括：标记单元601，用于根据多媒体观看者的行为变化对多媒体的特定内容进行标记。

具体地，标记单元601具体用于若监测模块41在第三时间监测到多媒体观看者从表情平静变化到表情不平静；在第四时间监测到所述多媒体观看者从表情不平静变化到表情平静，则标记第三时间到第四时间段内多媒体的播放内容为候选精彩内容；若第三时间到第四时间段内多媒体的播放内容被标记为候选精彩内容的次数大于等于第二预设阈值，则标记候选精彩内容为精彩内容。

标记单元601具体用于根据精彩内容在多媒体的播放进度中的时间区间，生成多媒体的播放热度曲线。

或者，标记单元具体用于在精彩内容在多媒体的播放进度中的时间区间，生成时间区间内的多媒体的缩略图。

本实施例提供的装置对应地可用于执行图3所示方法实施例的技术方案，其实现原理类似，此处不再赘述。

本实施例提供的多媒体处理装置，通过标记单元具体用于若监测模块在第三时间监测到多媒体观看者从表情平静变化为表情不平静，在第四时间监测到多媒体观看者从表情不平静变化为表情平静，则标记第三时间到第四时间内多媒体的播放内容为候选精彩内容，若第三时间到第四时间段内的多媒体的播放内容被标记为候选精彩内容的次数大于等于第二预设阈值，则标记候选精彩内容为精彩内容，从而，使多媒体观看者可以快速定位多媒体的精彩内容，提高了人机交互的智能化。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

一种多媒体处理方法，其特征在于，包括：

监测多媒体观看者的行为变化；

根据所述多媒体观看者的行为变化识别多媒体的特定内容；

对所述多媒体的特定内容进行处理。
根据权利要求1所述的方法，其特征在于，所述对所述多媒体的特定内容进行处理，包括：

根据所述多媒体观看者的行为变化对多媒体的所述特定内容进行存储；或者，

根据所述多媒体观看者的行为变化对多媒体的所述特定内容进行标记。
根据权利要求2所述的方法，其特征在于，所述根据所述多媒体观看者的行为变化对多媒体的所述特定内容进行存储，包括：

若在第一时间监测到所述多媒体观看者从观看多媒体行为变化为未观看多媒体行为；在第二时间监测到所述多媒体观看者从未观看多媒体行为变化为观看多媒体行为；若所述第一时间与第二时间的时间间隔大于第一预设阈值，则存储所述第一时间到所述第二时间段内的多媒体内容。
根据权利要求3所述的方法，其特征在于，当所述多媒体观看者为一人时：

所述监测到所述多媒体观看者从观看多媒体行为变化为未观看多媒体行为，包括：

若监测到所述多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

若监测到所述多媒体观看者的面部图像与所述多媒体播放器的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

若监测到所述多媒体观看者的视线从位于所述屏幕的显示区域内变化到位于所述屏幕的显示区域外，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

所述监测到所述多媒体观看者从未观看多媒体行为变化为观看多媒体行为，包括：

若监测到所述多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

若监测到所述多媒体观看者的面部图像与所述多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

若监测到所述多媒体观看者的视线从位于所述屏幕的显示区域外变化到位于所述屏幕的显示区域内，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。
根据权利要求4所述的方法，其特征在于，所述在第二时间监测到所述多媒体观看者从未观看多媒体行为变化为观看多媒体行为之前，还包括：

确定第二时间监测到所述多媒体观看者与所述第一时间监测到所述多媒体观看者为同一观看者。
根据权利要求3所述的方法，其特征在于，当所述多媒体观看者为至少两人时，

所述监测到所述多媒体观看者从观看多媒体行为变化为未观看多媒体行为，包括：

若监测到所述多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度的人数大于预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

若监测到所述多媒体观看者中的面部图像与所述多媒体播放器的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离的人数大于所述预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

若监测到所述多媒体观看者中的视线从位于所述屏幕的显示区域内变化到位于所述屏幕的显示区域外的人数大于所述预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

所述监测到所述多媒体观看者从未观看多媒体行为变化为观看多媒体行为，包括：

若监测到所述多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

若监测到所述多媒体观看者中的面部图像与所述多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离的人数大于所述预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

若监测到所述多媒体观看者中的视线从位于所述屏幕的显示区域外变化到位于所述屏幕的显示区域内的人数大于所述预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。
根据权利要求2所述的方法，其特征在于，所述根据所述多媒体观看者的行为变化对多媒体的所述特定内容进行标记，包括：

若在第三时间监测到所述多媒体观看者从表情平静变化到表情不平静；在第四时间监测到所述多媒体观看者从表情不平静变化到表情平静，则标记所述第三时间到所述第四时间段内的多媒体内容为候选精彩内容；

若所述第三时间到所述第四时间段内的多媒体内容被标记为候选精彩内容的次数大于等于第二预设阈值，则标记所述候选精彩内容为精彩内容。
根据权利要求7所述的方法，其特征在于，所述标记所述候选精彩内容为精彩内容，包括：

根据所述精彩内容在所述多媒体的播放进度中的时间区间，生成所述多媒体的播放热度曲线；或者，

在所述精彩内容在所述多媒体的播放进度中的时间区间，生成所述时间区间内的多媒体的缩略图。
一种多媒体处理装置，其特征在于，包括：

监测模块，用于监测多媒体观看者的行为变化；

识别模块，用于根据所述多媒体观看者的行为变化识别多媒体的特定内容；

处理模块，用于对所述多媒体的特定内容进行处理。
根据权利要求9所述的装置，其特征在于，所述处理模块包括：

存储单元，用于根据所述多媒体观看者的行为变化对多媒体的特定内容进行存储；或者，

标记单元，用于根据所述多媒体观看者的行为变化对多媒体的特定内容进行标记。
根据权利要求10所述的装置，其特征在于，所述存储单元具体用于若所述监测模块在第一时间监测到所述多媒体观看者从观看多媒体行为变化为未观看多媒体行为；在第二时间监测到所述多媒体观看者从未观看多媒体行为变化为观看多媒体行为；若所述第一时间与第二时间的时间间隔大于第一预设阈值，则存储所述第一时间到所述第二时间段内的多媒体内容。
根据权利要求11所述的装置，其特征在于，当所述多媒体观看者为一人时：

所述监测模块具体用于若监测到所述多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者的面部图像与所述多媒体播放器的屏幕的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者的视线从位于所述屏幕的显示区域内变化到位于所述屏幕的显示区域外，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

所述监测模块具体用于若监测到所述多媒体观看者的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者的面部图像与所述多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者的视线从位于所述屏幕的显示区域外变化到位于所述屏幕的显示区域内，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。
根据权利要求12所述的装置，其特征在于，所述监测模块还用于确定第二时间监测到所述多媒体观看者与所述第一时间监测到所述多媒体观看者为同一观看者。
根据权利要求11所述的装置，其特征在于，当所述多媒体观看者为至少两人时，

所述监测模块具体用于若监测到所述多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从小于等于第一预设角度变化到大于第一预设角度的人数大于预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者中的面部图像与所述多媒体播放器的屏幕的距离从小于等于第一预设距离变化到大于第一预设距离的人数大于所述预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者中的视线从位于所述屏幕的显示区域内变化到位于所述屏幕的显示区域外的人数大于所述预设人数，则确定多媒体观看者从观看多媒体行为变化为未观看多媒体行为；

所述监测模块具体用于若监测到所述多媒体观看者中的面部图像与多媒体播放器的屏幕的夹角从大于第一预设角度变化到小于等于第一预设角度的人数大于预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者中的面部图像与所述多媒体播放器的屏幕的距离从大于第一预设距离变化到小于等于第一预设距离的人数大于所述预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为；

或者，

所述监测模块具体用于若监测到所述多媒体观看者中的视线从位于所述屏幕的显示区域外变化到位于所述屏幕的显示区域内的人数大于所述预设人数，则确定多媒体观看者从未观看多媒体行为变化为观看多媒体行为。
根据权利要求10所述的装置，其特征在于，所述标记单元具体用于若所述监测模块第三时间监测到所述多媒体观看者从表情平静变化到表情不平静；在第四时间监测到所述多媒体观看者从表情不平静变化到表情平静，则标记所述第三时间到所述第四时间段内的多媒体内容为候选精彩内容；若所述第三时间到所述第四时间段内的多媒体内容被标记为候选精彩内容的次数大于等于第二预设阈值，则标记所述候选精彩内容为精彩内容。
根据权利要求15所述的装置，其特征在于，所述标记单元具体用于根据所述精彩内容在所述多媒体的播放进度中的时间区间，生成所述多媒体的播放热度曲线；或者，

所述标记单元具体用于在所述精彩内容在所述多媒体的播放进度中的时间区间，生成所述时间区间内的多媒体的缩略图。