WO2020207413A1

WO2020207413A1 - 一种内容推送方法、装置与设备

Info

Publication number: WO2020207413A1
Application number: PCT/CN2020/083771
Authority: WO
Inventors: 张英强; 熊元峰; 宋星光; 王提政; 黄茂胜
Original assignee: 华为技术有限公司
Priority date: 2019-04-09
Filing date: 2020-04-08
Publication date: 2020-10-15
Also published as: CN111797249A; US20220021742A1; KR20210145815A; EP3944099A1; EP3944099A4; US11809479B2

Abstract

一种内容推送方法，该方法应用于终端，终端包括第一组摄像头，第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，该方法包括：当终端处于屏幕锁定状态且息屏被唤醒时，利用第一组摄像头采集用户的第一组人脸图像（步骤41）；判断第一组人脸图像是否匹配已注册用户（步骤42）；若第一组人脸图像匹配已注册用户，则终端执行解锁操作（步骤43），并根据第一组人脸图像确定用户的人脸属性（步骤44）；其中人脸属性至少包括年龄、性别、情绪、或健康状态中的一个；根据人脸属性确定要推送的媒体资源（步骤45）；在终端解锁后的现实界面中推送所述媒体资源（步骤46）。

Description

一种内容推送方法、装置与设备

技术领域

本发明涉及终端技术领域，尤其涉及一种内容推送方法、装置与设备。

背景技术

人脸面部图像中包含着丰富的信息，通过面部图像不仅可以识别人的身份，而且可以识别人的面部表情，通过人脸信息可以识别人的健康状态等等。通过人脸识别可以识别出人的身份信息，已经被广泛应用于基于身份的安全授权等应用，例如人脸识别用于移动终端设备的解锁，用于支付应用的身份认证等。人脸图像中提取能反映情绪类别的主要特征，并在此基础上进行表情类型识别，识别出用户的表情类型，例如高兴、悲伤、惊奇、生气、厌恶、害怕、中性等等，表情类型应用于移动终端的内容智能推荐和推送。

一种现有技术，如专利CN201710969400.7揭示了一种内容推荐方法及移动终端，方法如下，

步骤201、在移动终端解锁后，检测用户的触控操作。触控操作可以是一次点击操作、一次双击操作、一次长按操作或者一次滑动操作等。

步骤202、当所述触控操作满足第一预设条件时，根据人脸特征信息，确定所述用户的用户属性。人脸特征信息，可以是移动终端的前置摄像头采集的特征信息，或者也可以是移动终端的后置摄像头采集的人脸特征信息。人脸信息，可以是用户的鼻子、嘴巴、眼睛、皱纹、头发或者一些脸部的其他特征信息等等。用户的属性可以是用户的性别、年龄或者表情等等。通过识别人脸特征信息，识别出了胡须或者短发这些特征，就可以确定用户的性别为男性；或者通过识别人脸特征信息，识别出了长发、假睫毛或者纹眉这些特征，就可以确定用户的性别为女性；识别用户的皮肤的粗糙程度、皮肤老化程度、皱纹的深度或者皱纹的长度等特征来确定用户的年龄等等；

步骤203、查找与所述用户属性关联的推荐内容。用户属性包括年龄、性别、表情和造型中的至少一项。表情可以是快乐、悲伤、微笑或者哭泣等等表情；用户属性可以是用户的性别，当用户的性别为男性时，可以推荐一些男性使用的物品等等；当用户的性别为女性时，就可以推荐一些女性使用的物品。用户属性可以是用户的年龄，当年龄为12岁时，就可以推荐一些年轻人使用的物品；当年龄为40时，就可以推荐一些中年人使用的物品。用户属性可以表情，例如，当用户表情为开心的时候，就可以推荐一些开心的广告；或者当用户的表情为悲伤或者哭泣的时候，就可以推荐一些安慰的广告等。通过表情可以确定用户当前的状态。当用户的表情表现为疲惫时，就可以查找到一些休息的建议消息，并显示该消息来提示用户；

步骤204、显示所述推荐内容。

该现有技术具有如下缺陷：

现有技术一的内容推荐方法虽然可以通过解锁时获取的人脸图像来识别用户属性信息，但需要用户的触控触发才启动用户属性识别操作，交互不够友好。

发明内容

本发明提出了一种内容推送方法，在终端“人脸识别”进行解锁的应用场景下，通过人脸识别的成功进一步触发人脸属性的分析，确定出用户当前可参考的人脸属性，并根据该人脸属性(情绪健康状态)确定强相关的媒体资源，在终端解锁后的界面中推送媒体资源；有针对性地根据用户的情绪健康状态推送给用户一些契合的媒体资源，提升用户使用终端的主观体验；同时分析人脸属性可以与人脸识别解锁时的图像进行复用，终端资源利用更加高效，节约能耗。

本发明实施例提供的具体技术方案如下：

第一方面，本发明实施例提供一种内容推送方法，所述方法应用于终端，终端包括第一组摄像头，第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，所述方法包括：

当终端处于屏幕锁定状态且息屏被唤醒时，利用上述第一组摄像头采集用户的第一组人脸图像；判断上述第一组人脸图像是否匹配已注册用户；若第一组人脸图像匹配已注册用户，则终端执行解锁操作，并根据第一组人脸图像确定用户的人脸属性；其中人脸属性至少包括年龄、性别、情绪、或健康状态中的一个；根据人脸属性确定要推送的媒体资源；在终端解锁后的显示界面中推送所述媒体资源。

第二方面，本发明实施例提供一种内容推送装置，该装置应用于终端，所述终端包括第一组摄像头，所述第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，所述装置包括：

采集模块，用于当终端处于屏幕锁定状态且息屏被唤醒时，利用所述第一组摄像头采集用户的第一组人脸图像；

判断模块，用于判断第一组人脸图像是否匹配已注册用户；

解锁模块，用于若第一组人脸图像匹配已注册用户时执行解锁操作；

人脸属性确定模块，用于若第一组人脸图像匹配已注册用户，根据第一组人脸图像确定用户的人脸属性；其中所述人脸属性至少包括年龄、性别、情绪、或健康状态中的一个；

媒体资源确定模块，用于根据所述人脸属性确定要推送的媒体资源；

推送模块，在终端解锁后的显示界面中推送所述媒体资源。

根据本发明实施例提供的上述方法和装置的技术方案，可以在人脸解锁成功时，进一步分析人脸属性，并根据人脸属性即时推送媒体资源，更人性化地为用户提供个性化的体验，增强用户粘性。

根据第一方面或者第二方面，在一种可能的设计中，上述根据第一组人脸图像确定用户的人脸属性包括：仅根据第一组人脸图像确定用户的人脸属性。该步骤可以由人脸属性确定模块来执行或协助执行。

根据第一方面或者第二方面，在一种可能的设计中，终端还包括第二组摄像头，所述第二组摄像头包括所述终端中除了所述第一组摄像头之外的其他摄像头的子集；上述方法还包括：当终端处于屏幕锁定状态且息屏被唤醒时，利用所述第二组摄像头采集用户的第二组人脸图像；上述根据第一组人脸图像确定用户的人脸属性包括：根据第一组人脸图像和第二组人脸图像确定用户的人脸属性。该步骤可以由采集模块和人脸属性确定模块来执行或协助执行。

可选的，第一组人脸图像和第二组人脸图像的采集时刻可以是相同的，也可以是不同的，例如第一组人脸图像的拍摄时间早于第二组人脸图像。一种可能的实现形式是，第一组人脸图像在验证用户身份成功后，触发了系统调用第二组摄像头去采集第二组人脸图像，为分析人脸属性提供更丰富的图像数据输入。

根据第一方面或者第二方面，在一种可能的设计中，上述根据第一组人脸图像确定用户的人脸属性包括：根据第一组人脸图像以及预设历史时段内分析得到的人脸属性结果确定用户当下的人脸属性；即根据第一组人脸图像得到的人脸属性的分析结果以及历史时段内的人脸属性的分析结果共同确定一个综合性的人脸属性结果。可选的，综合性的结果可以通过统计学手段或系统自定义或用户自定义等规则来确定。该步骤可以由人脸属性确定模块来执行或协助执行。

根据第一方面或者第二方面，在一种可能的设计中，上述根据第一组人脸图像确定用户的人脸属性包括：根据所述第一组人脸图像确定第一人脸属性结果；获取当前用户在预设历史时段内的人脸属性结果；根据所述第一人脸属性结果以及当前用户在预设历史时段内的人脸属性结果确定用户的人脸属性。

根据第一方面或者第二方面，在一种可能的设计中，上述根据第一组人脸图像确定用户的人脸属性包括：根据上述第一组人脸图像、上述第二组人脸图像以及预设历史时段内分析得到的人脸属性结果确定用户当下的人脸属性；即根据第一组人脸图像和第二组人脸图像得到的人脸属性的分析结果以及历史时段内的人脸属性的分析结果共同确定一个综合性的人脸属性结果。可选的，综合性的结果可以通过统计学手段或系统自定义或用户自定义等规则来确定。该步骤可以由采集模块和人脸属性确定模块来执行或协助执行。

可选的，第一组人脸图像和第二组人脸图像的采集时刻可以是相同的，也可以是不同的，例如第一组人脸图像的拍摄时间早于第二组人脸图像的拍摄时间。一种可能的实现形式是，第一组人脸图像在验证用户身份成功后，触发了系统调用第二组摄像头去采集第二组人脸图像，为分析人脸属性提供更丰富的图像数据输入。

根据第一方面或者第二方面，在一种可能的设计中，息屏被唤醒包括：机身抬起、数据线插拔、耳机插拔、充电插拔、触屏、触发开关键、来电、消息提示或声控引起的息屏唤醒。

根据第一方面或者第二方面，在一种可能的设计中，根据所述人脸属性确定要推送的媒体资源包括：根据健康、年龄、性别或情绪的不同程度，或者预先设置的人脸属性类别的优先级，或者预先设置的媒体资源类型的优先级确定要推送的媒体资源；其中，媒体资源包括：购物链接、文学读物、旅游项目、影视作品、小视频、微博、健身信息、音乐、健康报告、提示信息(例如但不限于针对当前健康状态或情绪状态的建议或提示，例如喝水时间，不良情绪的危害，不良情绪如何调节等)、应用程序链接或图标(例如但不限于微信、头条、支付、抖音)或新闻等。该步骤可以由媒体资源确定模块来执行或协助执行。可选的，确定要推送的媒体资源可以是一个或者是多个。

根据第一方面或者第二方面，在一种可能的设计中，所述在终端解锁后的显示界面中推送所述媒体资源包括：在终端解锁后的显示界面中推送所述媒体资源的通知栏或悬浮窗口。该步骤可以由推送模块来执行或协助执行。可选的，显示的推送的媒体资源可以是一个或者是多个。

根据第一方面或者第二方面，在一种可能的设计中，在终端解锁后的显示界面中推送所述媒体资源时，所述方法还包括：显示是否接收推送媒体资源的指令选项，当接收到用户的确认推送指令时，则跳转到媒体资源的推送链接，或播放或浏览推送的媒体文件，其中，跳转到推送链接包括但不限于跳转到相关的app、网页链接或小程序等方式；当接收到用户不接收推送的指令时，则放弃媒体资源推送，显示系统当前默认进入的界面。

根据第一方面或者第二方面，在一种可能的设计中，可以是系统在终端解锁后的显示界面中推送所述媒体资源，或者也可以是应用程序在终端解锁后的显示界面中推送所述媒体资源。

根据第一方面或者第二方面，在一种可能的设计中，系统或应用程序在终端解锁后的显示界面中推送媒体资源时，媒体资源推送时间可以保持预设时长t ₀₀，t ₀₀的取值可以由系统或由用户设置，例如但不限于2s、3s、5s……，媒体资源推送显示维持t ₀₀时长之后，可以自动在显示界面中消失，或者隐藏到后台运行，或者可以给用户提供更多的功能选项以供后续操作。

根据第一方面或者第二方面，在一种可能的设计中，系统或应用程序在终端解锁后的显示界面中推送媒体资源时，可以以悬浮窗口的方式显示，可以以全屏的方式显示，可以在当前解锁后的界面中确定出“空置”区域(即不包含任何应用图标或功能图标)，并在“空置”中确定合适的位置进行布局显示；另外，布局显示的推送窗口包括但不限于方形、圆形、三角形或不规则图形等形态。

根据第一方面或者第二方面，在一种可能的设计中，已注册用户可以有一个或者多个。当已注册用户有且仅有一个时，人脸的身份验证与人脸属性的分析都是围绕这唯一的用户来进行的。当已注册用户为多个时，人脸的身份验证与人脸属性的分析对于任何一个已注册用户来说都是独立进行的，互不影响；尤其是结合“历史数据”进行分析时，各个用户之间的数据分析都是互相隔离的。

更具体地，上述可能的技术实现可以由处理器调用存储器中的程序与指令进行相应的处理，如算法实现，信号获取等。

第三方面，本发明实施例提供一种内容推送方法，所述方法应用于终端，终端包括第一组摄像头，第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，所述方法包括：

当终端处于屏幕锁定状态且息屏被唤醒时，利用上述第一组摄像头采集用户的第一组人脸图像；根据第一组人脸图像确定用户的人脸属性；其中人脸属性至少包括年龄、性别、情绪、或健康状态中的一个；根据人脸属性确定要推送的媒体资源；在终端的显示界面中推送所述媒体资源。在一些场景中，有时人脸解锁可能会需要一些时间，息屏唤醒可以直接触发采集人脸图像并进行人脸情绪的分析，可以更早地推送媒体资源。

第四方面，本发明实施例提供一种内容推送装置，所述装置应用于终端，终端包括第一组摄像头，第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，所述装置包括：采集模块，用于当终端处于屏幕锁定状态且息屏被唤醒时，利用所述第一组摄像头采集用户的第一组人脸图像；人脸属性确定模块，用于若所述第一组人脸图像匹配已注册用户，根据所述第一组人脸图像确定用户的人脸属性；其中所述人脸属性至少包括年龄、性别、情绪、或健康状态中的一个；媒体资源确定模块，用于根据所述人脸属性确定要推送的媒体资源；推送模块，在终端的显示界面中推送所述媒体资源。

根据第三方面或第四方面，在一种可能的设计中，息屏被唤醒包括：机身抬起、数据线插拔、耳机插拔、充电插拔、触屏、触发开关键、来电、消息提示或声控引起的息屏唤醒。

根据第三方面或第四方面，在一种可能的设计中，根据健康、年龄、性别或情绪的不同程度，或者预先设置的人脸属性类别的优先级，或者预先设置的媒体资源类型的优先级确定要推送的媒体资源；其中，媒体资源包括：购物链接、文学读物、旅游项目、影视作品、小视频、微博、健身信息、音乐、健康报告、提示信息、应用程序或新闻。

根据第三方面或第四方面，在一种可能的设计中，在终端解锁后的显示界面中推送所述媒体资源的通知栏或悬浮窗口。

根据第三方面或第四方面，在一种可能的设计中，推送的时机可以在解锁后也可以在解锁的过程中。例如，人脸解锁过程中，就可以在解锁界面显示契合用户当下人脸属性的媒体资源，如图片、动画、新闻或者小文章等。进一步地，用户人脸解锁成功后，可以正常使用终端所有程序，可选的，解锁画面可以平滑过渡，或解锁成功提示并不对用户可见；例如用户当前正在阅读一篇小文章，如果阅读的过程中，人脸解锁成功，终端的显示界面可以依旧停留在这篇小文章中；待用户阅读完后，可以通过可执行的任意操作指令继续正常使用终端；如果用户人脸解锁失败后，则终端的显示界面中仅能显示上述媒体资源，无法使用更多功能(应急功能除外)。

根据第三方面或第四方面，在一种可能的设计中，终端检测到息屏被唤醒，在终端的显示界面中推送所述媒体资源时，如果人脸解锁成功，可以在当前媒体资源或显示界面中显示更多的功能操作；如果人脸解锁不成功，可以依旧只显示媒体资源。这种方式中，可以通过界面的变化来通知用户是否已经解锁成功。

根据第三方面或第四方面，在一种可能的设计中，在终端解锁后的显示界面中推送所述媒体资源达到预设时长后在界面中消失。

用户拿起终端的那一刻，就可以得到跟自己身心状态相匹配的内容推送，提升了用户的使用体验。

第五方面，本发明实施例提供一种终端设备，包括摄像头、存储器、处理器、总线；摄像头、存储器、以及处理器通过总线相连；存储器用于存储计算机程序和指令；摄像头用于采集图像；处理器用于调用存储器中存储的计算机程序和指令，控制摄像头采集图像，还具体用于使终端设备执行如上述任何一种可能的设计方法。

根据第五方面，在一种可能的设计中，终端设备还包括天线系统、天线系统在处理器的控制下，收发无线通信信号实现与移动通信网络的无线通信；移动通信网络包括以下的一种或多种：GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。

对于上述任何一种可能的设计中的技术方案，在不违背自然规律的前提下，可以进行方案之间的组合。

本发明可以在用户“人脸解锁”成功时，“第一时间”向用户推送适应于用户当下情绪状态或健康状态或与年龄或性别相符合的媒体资源，“投其所好”能够更人性化地增强用户使用终端的体验。

附图说明

图1为本发明实施例中一种终端结构示意图；

图2为本发明实施例中一种终端系统的示例性操作环境示意图；

图3为本发明实施例中一种终端操作系统示意图；

图4为本发明实施例中一种内容推送方法流程图；

图5为本发明实施例中一种图像处理的信号流图；

图6为本发明实施例中一种人脸属性分析网络示意图；

图7为本发明实施例中一种预设时段人脸属性分析方法示意图；

图8为本发明实施例中另一种预设时段人脸属性分析方法示意图；

图9为本发明实施例中一种内容推送装置示意图；

图10为本发明实施例中一种内容推送方法流程图；

图11为本发明实施例中另一种内容推送方法流程图；

图12为本发明实施例中一种用户属性简档管理装置示意图；

图13为本发明实施例中一种用户属性简档管理系统侧方法示意图；

图14为本发明实施例中一种用户属性简档管理应用程序侧方法示意图；

图15为本发明实施例中另一种用户属性简档管理方法示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，终端，可以是向用户提供拍摄视频和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备，比如：数码相机、单反相机、移动电话(或称为“蜂窝”电话)、智能手机，可以是便携式、袖珍式、手持式、可穿戴设备(如智能手表等)、平板电脑、个人电脑(PC，Personal Computer)、PDA(Personal Digital Assistant，个人数字助理)、车载电脑、无人机、航拍器等。

图1示出了终端100的一种可选的硬件结构示意图。

参考图1所示，终端100可以包括射频单元110、存储器120、输入单元130、显示单元140、摄像头150、音频电路160(包括扬声器161、麦克风162)、处理器170、外部接口180、电源190等部件。本领域技术人员可以理解，图1仅仅是智能终端或多功能设备的举例，并不构成对智能终端或多功能设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。如，至少存在存储器120、处理器170、摄像头150。

摄像头150用于采集图像或视频，可以通过应用程序指令触发开启，实现拍照或者摄像功能，如拍摄获取任意场景的图片或视频。摄像头可以包括成像镜头，滤光片，图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、待拍摄对象、目标场景或目标对象，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入到处理器170进行后续处理。其中，摄像头可以位于终端设备的前面，也可以位于终端设备的背面，摄像头具体个数以及排布方式可以根据设计者或厂商策略的需求灵活确定，本申请不做限定。

输入单元130可用于接收输入的数字或字符信息，以及产生与所述便携式多功能装置的用户设置以及功能控制有关的键信号输入。具体地，输入单元130可包括触摸屏131和/或其他输入设备132。所述触摸屏131可收集用户在其上或附近的触摸操作(比如用户使用手指、关节、触笔等任何适合的物体在触摸屏上或在触摸屏附近的操作)，并根据预先设定的程序驱动相应的连接装置。触摸屏可以检测用户对触摸屏的触摸动作，将所述触摸动作转换为触摸信号发送给所述处理器170，并能接收所述处理器170发来的命令并加以执行；所述触摸信号至少包括触点坐标信息。所述触摸屏131可以提供所述终端100和用户之间的输入界面和输出界面。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏。除了触摸屏131，输入单元130还可以包括其他输入设备。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键132、开关按键133等)、轨迹球、鼠标、操作杆等中的一种或多种。可选的，所述触摸屏131可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给所述处理器170，并能接收所述处理器170发来的命令并加以执行。

所述显示单元140可用于显示由用户输入的信息或提供给用户的信息、终端100的各种菜单、交互界面、文件显示和/或任意一种多媒体文件的播放，也可用于呈现界面，实现人机交互。在本发明实施例中，显示单元还用于显示设备利用摄像头150获取到的图像/视频，可以包括某些拍摄模式下的预览图像/视频、拍摄的初始图像/视频以及拍摄后经过一定算法处理后的目标图像/视频。

进一步的，触摸屏131可覆盖显示面板141，当触摸屏131检测到在其上或附近的触摸操作后，传送给处理器170以确定触摸事件的类型，随后处理器170根据触摸事件的类型在显示面板141上提供相应的视觉输出。在本实施例中，触摸屏与显示单元可以集成为一个部件而实现终端100的输入、输出、显示功能；为便于描述，本发明实施例以触摸显示屏代表触摸屏和显示单元的功能集合；在某些实施例中，触摸屏与显示单元也可以作为两个独立的部件。可选的，所述显示面板141可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置。进一步的，所述触摸屏131可覆盖所述显示面板141，当所述触摸屏131检测到在其上或附近的触摸操作后，传送给所述处理器170以确定触摸事件的类型，随后所述处理器170根据触摸事件的类型在所述显示面板141上提供相应的视觉输出。

所述存储器120可用于存储指令和数据，存储器120可主要包括存储指令区和存储数据区，存储数据区可存储各种数据，如多媒体文件、文本等；存储指令区可存储操作系统、应用、至少一个功能所需的指令等软件单元，或者他们的子集、扩展集。还可以包括非易失性随机存储器；向处理器170提供包括管理计算处理设备中的硬件、软件以及数据资源，支持控制软件和应用。还用于多媒体文件的存储，以及运行程序和应用的存储。可选的，所述存储器120可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序(比如通信应用)以及人脸识别模块、表情识别模块、健康识别模块、用户简档等等；存储数据区可存储根据所述终端设备的使用所创建的数据(比如各种图片、视频文件等多媒体文件，以及人脸信息模板)等。所述存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器170是终端100的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的指令以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据，从而对手机进行整体控制。可选的，处理器170可包括一个或多个处理单元；优选的，处理器170可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器170中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，他们也可以在独立的芯片上分别实现。处理器170还可以用于产生相应的操作控制信号，发给计算处理设备相应的部件，读取以及处理软件中的数据，尤其是读取和处理存储器120中的数据和程序，以使其中的各个功能模块执行相应的功能，从而控制相应的部件按指令的要求进行动作。

所述射频单元110可用于收发信息或通话过程中信号的接收和发送，例如，将基站的下行信息接收后，给处理器170处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，射频单元110还可以通过无线通信与网络设备和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换为电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，麦克风162用于收集声音信号，还可以将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器170处理后，经射频单元110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理，音频电路也可以包括耳机插孔163，用于提供音频电路和耳机之间的连接接口。扬声器、麦克风的具体个数以及排布方式可以根据设计者或厂商策略的需求灵活确定，本申请不做限定。

终端100还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器170逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

终端100还包括外部接口180，所述外部接口可以是标准的Micro USB接口，也可以是多针连接器等通信接口，可以用于连接终端100与其他装置进行物理连接以及通信，也可以用于连接充电器为终端100充电。可选的，所述外部接口180与所述其他设备的通信接口通过电缆连接，实现所述终端设备100和其他设备之间的数据传输。

尽管未示出，终端100还可以包括闪光灯、无线保真(wireless fidelity，WiFi)模块、蓝牙模块、不同功能的传感器等，其中WiFi技术属于短距离无线传输技术，所述终端设备100通过WiFi模块可以连接接入点(Access Point，AP)，从而实现数据网络的访问，所述WiFi模块190可用于通信过程中，数据的接收和发送。例如，当所述终端设备100为手机时，所述终端设备100可以包括所述射频电路110，还可以包括WiFi模块；当所述终端设备100为计算机时，所述终端设备100可以包括所述外部接口180，还可以包括所述WiFi模块；当所述终端设备100为平板电脑时，所述终端设备100可以包括WiFi模块。其他模块在此不再赘述。下文中描述的部分或全部方法都可以应用在如图1所示的终端中。

图2示出本发明终端系统的一种示例性操作环境。操作环境200可以包括一个服务器202(server)、网关204(gateway)、一个公共交换电话网络(“PSTN”)206和/或其他网络，如因特网208(internet)、蜂窝网络、卫星网络和/或类似物。终端设备100可在操作环境200使用一个以上所描述的硬件和/或软件组件的一个或多个操作。终端设备100可以与服务器202经由无线和/或有线网络进行通信，例如，服务器202可以有线连接和/或通过无线蜂窝网络连接到终端设备100进行通信。此外，服务器202可连接终端设备100到PSTN206上，该连接可以使终端设备100能够发起和/或接收电话呼叫。服务器202还可以连接终端设备100在网关204上，该连接可以使终端设备100访问一个广域网，例如因特网208。上述图1从硬件组成角度的终端设备的结构框架，下图3以操作系统为移动终端上的Android系统为例，介绍本发明实施例的方法所涉及的软件操作系统的系统框架。需要说明的是，本发明实施例涉及的方法，可以适用于安卓(Android)系统、OS系统、Darwin系统、RTXC系统、Linux系统、Unix系统、Windows系统、嵌入式操作系统例如VxWorks等操作系统。

具体的，Android是一种开源的移动操作系统，作为一个移动设备平台，其层次结构包括了一个操作系统，中间件(Middle Ware)和应用程序(Application)，如图3所示，Android操作系统分为如下几个层次：

(1)应用程序层(Application)

开发人员可以基于安卓软件开发工具包(Software Development Kit，简称SDK)开发应用程序，同时操作系统本身也包括了一些基础应用，例如短信、电话、图片查看器、网页(Web)浏览器等系统级应用。

(2)应用程序框架层(Application Framework)

Android的应用程序框架层为应用层提供各种应用编程接口(Application Programming Interface，简称API)，它包括了用户界面(User Interface，简称UI)程序中所需的各种控件，例如：Views(视图组件)包括TextView(文本控件)、ListView(列表)、Buttons(按钮)、WebView(网页浏览器控件)。

(3)系统库和运行时环境层(Libraries &Android Runtime)

这一层包括各种库和运行时环境两部分，各种库主要是C库、多媒体库、图形处理引擎等；运行时环境主要是Dalvik虚拟机，它和标准的JAVA虚拟机不同，它执行的是.dex文件，是针对移动设备进行过裁剪和优化的虚拟机。

(4)Linux内核层(Kernel)

Android是基于Linux内核开发，其核心系统服务、内存管理、进程管理、网络协议及驱动都依赖于Linux内核。该Linux内核层的下方即就是图2介绍的手机的硬件层。

本发明可应用于具有拍摄(至少包括拍照或摄像中的一个)功能的终端设备，落地产品形态可以是智能终端，如手机、平板、DV、摄像机、照相机、便携电脑、笔记本电脑、智能机器人、电视、安防系统、无人机等安装有摄像头的产品。具体地，本发明的功能模块可以部署在相关设备的DSP芯片上，具体的可以是其中的应用程序或软件；本发明部署在终端设备上，通过软件安装或升级，通过硬件的调用配合，提供图像处理功能。

本发明可以应用人脸识别的场景，例如人脸识别解锁、人脸识别浏览私密文件等交互操作。本发明可以在用户使用人脸解锁时获取并检测到用户的人脸图像，通过人脸属性识别网络来获取用户的人脸属性。该特性可用于云、终端中精准用户画像的构建，主题、铃声、音乐、心情头像等的设置和推荐，身体监测和提醒等。

本发明基于人脸解锁时人脸属性识别系统框架的设计。用户在使用终端设备进行人脸解锁时，搭载摄像头的终端设备采集带有人脸的图像，然后将采集得到的人脸图像经过相关预处理操作；输入人脸识别网络进行用户身份ID的识别，此为人脸身份识别流程；人脸解锁过程中的预处理操作包括人脸检测、关键点定位、人脸对齐等。将其中间预处理后的人脸图像输入人脸属性识别网络，进行人脸属性的判别。进一步地，可以将人脸得到的用户ID身份信息与人脸属性结果进行关联，建立系统级的用户人脸属性管理数据库。在这一过程中可通过预设时间段，将一段时间内的人脸解锁信息用于人脸属性的判别和管理。

下面以示例的方式对本发明进行详细说明。

示例1-“人脸识别”触发内容推送

具体地，请参阅图4，图4为本发明实施例中一种内容推送方法流程图。该方法可以发生在人脸识别的过程中，在具体实现过程中，终端可以预先配置某一种人脸识别模式或场景；例如人脸识别解锁或者浏览私密文件、支付等其它人脸鉴权的场景。

下面以人脸识别解锁的场景为例，内容推送方法可以包括以下步骤：

步骤41：当终端处于屏幕锁定状态且息屏被唤醒时，终端利用摄像头采集到用户的人脸图像。

其中，系统中可以集成相应的功能用于检测终端息屏是否被唤醒。终端息屏被唤醒包括但不限于：机身抬起、触摸机身壳体、触屏、触发开关键等、来电、消息提示、数据线插拔、耳机插拔、充电插拔、声控(如声纹识别等)、无线遥控或应用提示等引起的息屏唤醒。

一种可能的实现方式中，只要息屏被唤醒无论任何环境(无论是否存在用户、无论任何位置、无论任何时间等)都可以启动摄像头采集图像。如果终端事先设置了应用人脸识别功能，当终端息屏被唤醒时，则利用终端的摄像头进行采集图像。若有用户触发了息屏唤醒，则终端的前置摄像头就可以采集用户的人脸图像。如果终端息屏没有被唤醒，可以保持当前终端运行状态，本发明并不对终端锁屏时运行状态的具体情形以及可能出现的其他状态或功能触发做出任何限定。

可选的，现有技术中终端通常是利用前置摄像头采集图像进行人脸识别；本发明可以采用这种传统的前置摄像头。同时本发明中的摄像头并不限定为“位置上的前置”，也包括一些奇巧的设计，如位置上在后方的摄像头在使用过程中可以通过折叠或变形变成位于前方，包括但不限于折叠屏手机，或者还可以包括通过外围图像采集设备进行采集用户的人脸图像，当终端与外部摄像头连接时，外部摄像头也可以理解为被终端所包括。

具体地，摄像头可以包括：RGB摄像头、深度摄像头、NIR(Near infrared)近红外摄像头、高光谱摄像头或热成像摄像头中的一个或者多个。其中，通过RGB摄像头可以采集到红绿蓝三通道的图像；NIR摄像头用于在暗光下红外图像的采集，适应某些低照度的环境，提供更多的图像细节信息；深度摄像头可以增加人脸的深度信息，增加的图像深度信息细节能够满足更加精细的分析，如防伪需求，3D人脸分析；高光谱摄像头或热成像摄像头可以增加人脸反应出来的体征信息。

上述各种摄像头采集的图像既可以作为身份识别也可以作为人脸属性的分析数据；但体现的图像信息各有不同之处。进而，本发明中就会存在多种图像获取的方式，这也是本发明的创新点之一。

例如，识别用户身份可以根据RGB摄像头采集到的RGB人脸图像进行分析；作为信息分析辅助，还可以根据深度摄像头采集到的人脸深度图像、NIR摄像头采集到的NIR人脸图像、高光谱摄像头采集到的人脸高光谱图像或热成像摄像头采集到的人脸热成像图像中的一类或多类图像进行身份识别或者人脸属性分析，被用到的每一类人脸图像可以至少有一个，分析的具体图像数量可以根据网络结构或系统设置，本发明中不予以限定。为了方便后面的表述，采集用于分析用户身份的图像的摄像头可以理解为第一组摄像头，第一组摄像头在任意一次屏幕唤醒时采集到的人脸图像可以理解为第一组人脸图像。应理解，第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个；各类摄像头的具体个数、排布方式以及获取图像的方式可以有多种方式，本发明中不予以限定。

再如，分析用户的人脸属性可以根据RGB摄像头采集到的RGB人脸图像进行分析；作为信息分析辅助，还可以根据深度摄像头采集到的人脸深度图像、NIR摄像头采集到的NIR人脸图像、高光谱摄像头采集到的人脸高光谱图像或热成像摄像头采集到的人脸热成像图像中的一类或多类图像进行人脸属性分析，每一类人脸图像至少有一个，分析的具体图像数量可以根据网络结构或系统设置，本发明中不予以限定。可见，上述第一组摄像头采集的图像可以在分析用户的人脸属性时进行复用，分析人脸属性可以比身份识别用到更多或更少的图像，本实施例中不予以穷举；为了方便后面的表述，采集用于分析人脸属性的图像的摄像头中除去上述第一组摄像头的其他摄像头集合可以理解为第二组摄像头，即第二组摄像头可以理解为包括所述终端所有摄像头中除了所述第一组摄像头之外的其他摄像头的子集。第二组摄像头在任意一次屏幕唤醒时采集到的人脸图像可以理解为第二组人脸图像。应理解，第二组摄像头中类别和具体个数以及获取图像的方式可以有多种方式，本发明中不予以限定。可选的，分析用户人脸属性可以比识别用户身份用到的图像更丰富。

该步骤在执行采集人脸图像的操作时，可以根据时间因素、地理位置因素、环境光因素的差异采用不同的摄像头配置进行采集图像。例如，可以只采用常规的RGB摄像头采集图像；也可以采用RGB摄像头和深度摄像头采集图像，其中深度摄像头可以包括结构光或TOF器件等；也可以采用RGB摄像头和近红外摄像头；也可以采用RGB摄像头和高光谱摄像头；也可以采用NIR摄像头……以上仅为可能的实现举例，这与终端的摄像头具体的排布方式和调用的设置方式有关，本发明中在此不予以穷举，也不做任何限定。

该步骤在执行采集人脸图像的操作时，还可以根据用户或系统的预先设置方式采用不同的摄像头配置进行采集图像。

在具体实现过程中，可以由终端进行环境检测，根据检测结果决定调用哪些摄像头；如终端的感光系统检测到周围环境为暗光条件，则可以只启用近红外摄像头或者同时启用RGB摄像头和近红外摄像头进行图像的获取；例如根据时间，检测到时间为早晨或傍晚，则可以调用RGB摄像头、深度、近红外、高光谱、热成像摄像头中一种或多种摄像头采集图像分析用户的健康状态等。

可选的，不同的环境，不同的时段可以触发不同的摄像头组合采集用户的人脸图像，这与预先定义的图像分析的方法以及摄像头的功能配置有关。

在具体实现过程中，还可以由用户或者终端预先设置人脸解锁以及后续的人脸属性分析时调用哪些摄像头；如终端可以提前设置人脸解锁时只启用RGB摄像头，或者只启用近红外，或者同时启用RGB摄像头和近红外摄像头进行图像的获取，本实施例中不予以穷举。

此外，如果没有检测到人脸，可以保持当前终端运行状态，本发明并不对终端未检测到人脸时运行状态的具体情形以及可能出现的其他状态或功能触发做出任何限定。具体地，当用户进行人脸解锁时，屏幕中可以不显示人脸的预览流，也可以显示人脸相应的预览流，该项可以根据需求进行设置。

步骤42：判断所述人脸图像是否对应目标用户。

将步骤42采集得到的用于身份识别的人脸图像(如第一组人脸图像)，经过人脸检测、关键点定位、人脸校正(对齐)、活体检测、特征提取比对等步骤，判断用户的身份信息。其中，人脸检测、关键点定位、特征提取比对可以采取深度神经网络或现有技术中的其他类型的算法等方式来实现；而人脸校正(对齐)、活体检测可以用深度神经网络或其他传统算法来实现。其中，特征提取可以通过训练好的人脸识别网络来获取，并将提取到的特征与已注册的用户人脸特征作比对，判断检测到的人脸图像是否匹配已注册的目标用户；人脸识别网络可为任意的分类网络，如残差网络等。

请参阅图5，在具体实现过程中，终端在人脸解锁时采集到的人脸图像可以包括RGB图像、近红外图像、深度图像、高光谱图像或热成像图像中的一种或多种。将采集到的人脸图像输入到训练好的人脸检测网络N1可以得到人脸的位置，然后基于检测得到的人脸框位置输入到训练好的关键点定位网络N2获取人脸关键点位置信息，根据人脸关键点的位置信息，经人脸校正方法(例如但不限于仿射变换)得到校正后的人脸图像，最后对校正后的图像进行人脸的裁剪并调整大小。经过以上处理(预处理)得到的人脸图像，既可作为人脸识别网络N3的输入，也可作为人脸属性识别网络N4的输入。

其中，图像质量增强功能单元用于进行传统的图像质量增强处理，如去燥、去模糊、提高分辨率等操作；

人脸检测网络N1：可基于某常用的检测网络如Cascade CNN，YOLO等，获取人脸在采集图像中的位置信息；

关键点定位网络N2：可基于某回归神经网络，获取人脸预设关键点在人脸中的位置信息；

人脸校正功能单元用于基于人脸检测和关键点定位，利用仿射变换等方法对人脸图像进行校正；

活体检测功能单元用于通过活体检测，判断用户是否为真实活体操作，可有效抵御照片、面具、雕塑等常见的非活体欺诈手段；

特征提取比对网络N3：基于特征提取网络对经过以上预处理的人脸图像进行特征提取，并与注册用户的人脸特征进行比对，以判断是否为注册用户本人；如果判断结果是用户本人，会触发将预处理后的图像输入到N4网络进行人脸属性识别；这也是本发明的另一个创新点之一。

人脸属性分析网络N4：基于人脸属性分析网络对经过预处理的人脸图像进行属性分析，得到各个属性或者某属性下不同程度的概率，进而判断用户的情绪、健康等属性。人脸属性分析的详细描述见步骤44。

在具体实现过程中，已注册的用户可以包括多个人物，对应地，已注册的用户人脸也可以有多个，可以识别的人物身份也有多个。

如果所述人脸图像对应目标用户，则执行步骤43和步骤44；

如果所述人脸图像不对应目标用户，则可以保持原本的终端运行状态，本发明并不对可能出现的其他状态或功能触发做出任何限定。

可选的，步骤42的识别结果会对步骤43和步骤44产生控制作用，即是否解锁以及是否要进行人脸属性的分析，进而决定了后续是否会对当前用户推送内容。

步骤43：终端执行解锁操作。

应理解，当触发了终端的人脸身份识别功能时，终端可以采集人脸图像，若采集到的人脸图像匹配终端中的已注册用户，则终端可以执行解锁操作，即“人脸解锁”。在现有技术中，人脸解锁可以有着时间或次数的限制约束，例如解锁10s或5次以上不成功则锁定终端或者延时解锁或切换其他方式如密码解锁。

可选的，已注册用户可以是多个，只要匹配当中的一个即可人脸解锁成功。

应理解，人脸识别成功时对应的人脸图像已经预处理完毕，还可以进行缓存在终端中，可以在终端的后续使用中被读取或调用。

步骤44：根据第一组人脸图像确定用户的人脸属性；其中所述用户属性至少包括年龄、性别、情绪、或健康状态中的一个，其中，情绪和健康可以是比较常用的属性。

可以理解，步骤43中的解锁成功，触发了人脸图像的属性分析。如果步骤43解锁失败，则可以不对解锁失败时对应的人脸图像进行属性分析，节约资源和处理能耗。作为拓展的，如果解锁失败，可以缓存人脸图像留下记录，作为后续的监控数据分析基础。

在具体实现过程中，若所述第一组人脸图像通过了“身份验证”(匹配终端中的注册用户)，则将经过人脸检测、关键点定位、人脸校正等预处理操作后的第一组人脸图像输入到训练好的人脸属性识别网络。人脸属性识别网络可以是一个多任务的深度神经网络(如图6所示，对输入的预处理人脸图像分析可以得到性别判断、年龄估计、表情估计、健康估计等)，基础网络结构可选择任意的分类网络实现，如残差网络等。用户的人脸属性包括但不限于表情(情绪)、健康、年龄、性别等。更具体的，预设的表情或情绪的类别包括但不限于：中性、生气、厌恶、害怕、高兴、悲伤、好奇、微笑、幽默、惊奇、兴奋、惊讶、皱眉、失望、困惑、嫉妒、冷漠、无聊、愤怒、抑郁或痛苦等等；预设的健康的类别包括但不限于：疲劳程度、营养程度、缺水程度和心火程度等，每一健康类别的程度还可以进一步划分为正常、低、中、高等多个不同的程度；预设的年龄可以通过具体数字或者年龄段区间或“老、中、青、少、幼”等类别进行表示；性别可以用男女来表示…预设的健康属性类别也可包括身体质量指数BMI(Body Mass Index)、体脂肪和血压值等，它们可以通过人脸图像信息来分析得到；人脸属性的类别和程度此处不予以穷举和赘述。

可选的，识别出来的人脸属性可以通过应用编程接口(API application programming interface)单元进行访问获取；存储时间可以是临时存储，也可以长期存储或者永久存储，存储时间长短可以由系统设置或由用户进行自由选择。

可选的，某时刻人脸属性识别的基本网络结构可以采用resnet残差网络。该网络一般由输入层，卷积层、全连接层和输出层来组成，可以参照图7的一个分支。设解锁成功时的时刻为Tn，对应采集到的用户人脸解锁图像(或图像集)为Xn，经过以上定义的深度卷积网络可得到该时刻的人脸属性识别结果Yn。

可选的，步骤44的具体实现形式可以包括：仅根据本次人脸解锁成功时步骤42采集到的人脸图像确定人脸属性，方便单次识别，易用性好。例如，第一组摄像头采集到的第一组人脸图像通过人脸身份验证，此时第一组人脸图像已经经过了预处理，则“通过人脸身份验证”这一结果触发将预处理后的第一组人脸图像输入到预设的人脸属性分析网络，并得到人脸属性的分析结果。

可选的，步骤44的实现的方法可以参照后文中的S1205。

可选的，步骤44的具体实现形式可以包括：不仅根据本次人脸解锁成功时步骤42采集到的人脸图像确定人脸属性，还可以利用本次人脸解锁成功时采集到的含有更多图像细节的图像进行更加准确的人脸属性分析。例如，在第一组摄像头采集到第一组人脸图像的同时，终端的第二组摄像头也会相应采集到第二组人脸图像；第一组图像与第二组图像几乎对应于同一人脸姿态或具有同一采集时刻；第一组摄像头采集到的第一组人脸图像通过人脸身份验证，应理解，此时第一组人脸图像和第二组图像均已经经过了预处理(第一组人脸图像和第二组图像可以在输入人脸识别网络N3之前一同进行预处理)，则第一组人脸图像“通过人脸身份验证”这一结果触发将预处理后的第一组人脸图像和第二组图像输入到预设的人脸属性分析网络，并得到人脸属性的分析结果。

可选的，步骤44的具体实现形式可以包括：不仅根据本次人脸解锁成功时对应的步骤41采集到的人脸图像确定人脸属性，还可以根据预设历史时段内采集到的人脸图像确定用户的人脸属性。应理解，历史时段内采集到的人脸图像指的是历史时段内人脸解锁成功时对应采集的人脸图像；且当终端存在多个已注册用户时，历史时段内采集到的人脸图像需要与本次人脸解锁成功时的人脸图像对应同一个已注册用户；当终端仅存在一个已注册用户时，历史时段内采集到的人脸图像包括该已注册用户解锁成功时采集的一类或多类图像。第一组人脸图像“通过人脸身份验证”这一结果触发将预处理后的第一组人脸图像和预处理后的预设历史时段内采集到的人脸图像(可以是预设历史时段内解锁成功时的人脸图像的全集或者子集)输入到预设的人脸属性分析网络，并得到人脸属性的分析结果。应理解，预设历史时段内采集到的人脸图像的预处理可以与第一组人脸图像的预处理同时进行，也可以发生在第一组人脸图像的预处理之前，且经预处理的图像可以缓存在终端中。

可选的，步骤44的具体实现形式可以包括：不仅根据本次人脸解锁成功时对应的步骤41采集到的人脸图像确定人脸属性，还可以利用本次人脸解锁成功时采集到的含有更多图像细节的图像以及预设历史时段内采集到的人脸图像确定用户的人脸属性。例如，第一组人脸图像“通过人脸身份验证”这一结果触发将预处理后的第一组人脸图像、预处理后的第二组图像以及预处理后的预设历史时段内采集到的人脸图像(可以是预设历史时段内解锁成功时的人脸图像的全集或者子集)输入到预设的人脸属性分析网络，并得到人脸属性的分析结果。

可选的，步骤44的具体实现形式还可以包括：根据所述第一组人脸图像确定第一人脸属性结果；获取当前用户在预设历史时段内的人脸属性结果；根据所述第一人脸属性结果以及当前用户在预设历史时段内的人脸属性结果确定用户的人脸属性。

可选的，步骤44的具体实现形式还可以包括：根据预设时间段内通过步骤41采集到的人脸图像(可以包括本次采集到的人脸图像)的图像全集或者图像子集一同进行人脸属性的分析。例如，根据预设时间t内所有通过人脸解锁操作成功时对应的人脸图像一同进行人脸属性的确定，t可以为一小时或半小时等预设时长；t也可以是按照早、中、晚对应的预设时间段或者用户自定义的其他时间段。这种方式可以提高人脸属性识别的精度，即根据包括当前时刻在内的之前一段预设时间内采集的用户解锁图像，综合判断当前时刻的人脸属性，将用户历史一段时间内的整体属性情况纳入分析可以使后面的推送内容更加契合用户需求。

应理解，历史时段中的通过步骤41采集到的人脸图像(可以包括本次采集到的人脸图像)的图像全集或者图像子集可以包括RGB图像、近红外图像、深度图像、高光谱图像、热成像图像中的一种或多种。本实施例中不对历史人脸图像的类别和个数做任何限定。

人脸属性识别在具体实现过程中，至少有以下两种人脸属性识别方案可供选用，其网络结构分别对应卷积神经网络CNN(Convolutional Neural Network)和循环神经网络RNN(Recurrent Neural Network)。

方案1：设定预设时间段t，在由时刻Tn向前的预设时间段t内，综合不同时刻的用户人脸属性识别的结果Y1,Y2,...,Yn，经过一个统计分析模块，得到预设时间段t内的统计性人脸属性识别结果，即一个综合性的人脸属性结果。可参阅图7所示。

方案2：采用的基本网络结构为RNN。RNN是现有技术中一种专门处理时间序列信息的深度神经网络，也即处理有前后顺序和依赖的数据。在RNN中，每一个神经元除了依赖当前信息的输入外，还会依赖前一时刻的输入。如图8所示，在不同时刻的卷积层和全连接层之间会有反馈连接。通过输入预设时间段t内的人脸解锁图像X1，...，Xn，经过训练好的RNN网络，得到时刻Tn的人脸属性识别结果Yn。此处将Yn作为预设时间段t内人脸属性识别的结果。

步骤45：根据所述用户的人脸属性确定推送的媒体资源。

在具体实现过程中，识别出用户的情绪后，可以根据情绪的类别确定需要推送相关的媒体资源，例如与当前情绪相关的音乐、电影、电视剧、文章、旅游信息、小视频、动图、微博、新闻、提醒信息等。举例说明：如识别到用户情绪恐惧，可以推送匪警拨号界面，或者推送其他紧急状态的须知。

在具体实现过程中，识别出用户的健康情况后，可以根据健康情况有针对性地确定需要推荐的药品、保健品的说明或者购物链接，或者推荐一些相关的养生文章、健身信息等进行健康状况的提醒和建议。举例说明：如识别到用户面色苍白，可以提示喝水吃水果等提示或者给出改善当前健康状况的建议或食谱，或者给出急救常识等。

在具体实现过程中，识别出用户的年龄后，可以根据年龄段有针对性地确定需要推荐的购物链接、文学读物、旅游项目、影视作品、小视频、微博、健身信息、新闻等。

在具体实现过程中，识别出用户的性别后，可以根据性别有针对性地确定需要推荐的购物链接、文学读物、旅游项目、影视作品、小视频、微博、新闻等。

在具体实现过程中，当根据采集到的人脸图像确定用户属性具有一个或多个结果或等级时，要推送的媒体资源可以是一个或者是多个；进一步的，可以根据它们推荐内容的交集确定出更精准的推荐。

在具体实现过程中，当根据采集到的人脸图像确定用户属性具有一个或多个结果或等级时，要推送的媒体资源可以是一个或者是多个；进一步的，可以根据它们的属性的优先级进行相关内容推荐；例如情绪的优先级大于性别，大于年龄，则优先推送根据情绪确定的媒体资源。

在具体实现过程中，当根据采集到的人脸图像确定用户属性具有一个或多个结果或等级时，要推送的媒体资源可以是一个或者是多个；进一步的，可以根据用户已订阅的属性对应的媒体资源进行相关内容推荐；例如情绪对应的媒体资源中，用户订阅的是“名人名言”或“旅行故事”，则优先推荐这两种类型的文章。

在具体实现过程中，当根据采集到的人脸图像确定用户属性具有一个或多个结果或等级时，要推送的媒体资源可以是一个或者是多个；进一步的，，还可以根据应用类型、主题类型等属性进行合理的聚类，确定出要推送某一类别的媒体资源。

在具体实现过程中，当根据采集到的人脸图像确定用户属性具有一个或多个结果或等级时，要推送的媒体资源可以是一个或者是多个；进一步的，可以根据屏幕显示的大小确定合适的媒体资源来推送。

在具体实现过程中，当根据采集到的人脸图像确定用户属性具有一个或多个结果或等级时，要推送的媒体资源可以是一个或者是多个；进一步的，可以根据媒体资源的展示方式(如大小、形状、显示时长等)确定合适的媒体资源来推送。

在具体实现过程中，当根据采集到的人脸图像确定用户属性具有一个或多个结果或等级时，要推送的媒体资源可以是一个或者是多个；进一步的，可以根据媒体资源的存储空间大小确定合适的媒体资源来推送。

在具体实现过程中，终端可以将本地媒体资源与情绪、健康的类别或等级设置一个预设的对应关系，当终端分析出人脸属性后，便可以得到相应的媒体资源，并按照一些规则从中进行选择；一些规则包括但不限于上文中提到的规则。

可选的，媒体资源可以是本地的媒体资源，也可以是终端根据人脸属性结果能够搜索到的网络上或云端的媒体资源。应理解，与某一个人脸属性结果相对应的媒体资源可以是多个，待推送的媒体资源可以理解为当中的至少一个。

可选的，终端中的应用程序可以通过API获取到人脸属性，并可以将识别出的人脸属性(可以是本次单次识别出来的，也可以是根据历史时段的数据总体分析出来的) 与当前正在显示的内容或最近已经显示的内容或者通过即时可以搜索到的内容相关联，该关联可以存储在用户简档中。应用维护一个基于用户的用户简档，用户简档可建立用户表情与显示内容的关系，例如，用户简档可以记录了用户查看了五种不同的内容项：照片、文章、状态更新、视频和广告，每个内容项包括唯一标识、内容类型、内容发布者信息、以及与检测到的用户表情类型。以这种方式，用户简档收集用户对内容的情绪或健康响应，并将其用于在将来向用户推荐新的内容。

步骤46：在终端解锁后的显示界面推送所述媒体资源。

应理解，现有技术中终端解锁后显示的是桌面或终端最近一次的停留界面；而采用本发明，解锁的同时，触发了人脸图像的属性分析，进而确定了要推送的媒体资源，并在人脸图像解锁时第一时间将推送的媒体资源或媒体资源的推送窗口显示在解锁后的显示界面上。

在具体实现过程中，推送的媒体资源或媒体资源的推送窗口可以覆盖在解锁后的显示界面上；推送的媒体资源或媒体资源的推送窗口可以悬浮在解锁后的显示界面上，即显示在解锁后的显示界面的局部区域中。

可选的，媒体资源可以是随机推送，也可以是根据内容类别的优先级的高低进行优先推送，例如优先推送新闻，其次推送小视频，再次推荐购物链接；则优先推送某用户属性对应的新闻。

可选的，在终端解锁后的显示界面中推送媒体资源时，还可以显示是否接收推送媒体资源的指令选项，当接收到用户的确认推送指令时，则跳转到媒体资源的推送链接，或播放或浏览推送的媒体文件，其中，跳转到推送链接包括但不限于跳转到相关的app、网页链接或小程序等方式；当接收到用户不接收推送的指令时，则放弃媒体资源推送。

可选的，解锁后的界面可以是主系统界面，则推送的媒体资源或媒体资源的推送窗口可以出现在主系统界面中或悬浮在主系统界面上。

可选的，解锁后的界面直接就是被推送的媒体资源或媒体资源的推送窗口；例如直接播放一个视频、显示新闻、显示提醒、显示建议、购物界面或者进入某APP的界面……此处不予以穷举和赘述。

可选的，解锁后的界面可以直接跳转到负一屏，负一屏中的各个类别的推荐栏可以系统地推送上述确定的媒体资源，以供用户浏览或进一步进行选择。

可选的，解锁后的界面中可以根据默认设置或预先设置跳转到某一应用，该应用的显示界面中推送上述确定的媒体资源。

可选的，媒体资源推送时间可以保持预设时长t ₀₀，t ₀₀的取值可以由系统或由用户设置，例如但不限于2s、3s、5s……，媒体资源推送显示维持t时长之后，可以自动消失，或者隐藏到后台运行，或者可以给用户提供更多的功能选项以供后续操作。

可选的，系统或应用程序在终端解锁后的显示界面中推送媒体资源时，可以以悬浮窗口的方式显示，可以以全屏的方式显示，可以在当前解锁后的界面中确定出“空置”区域(即不包含任何应用图标或功能图标)，并在“空置”中确定合适的位置进行布局显示；另外，布局显示的推送窗口包括但不限于方形、圆形、三角形或不规则图形等形态。

此外，在具体实现过程中，终端解锁后的显示界面还可以显示用户属性的分析结果。

一种实现过程中，在所述终端执行解锁操作后，在终端的解锁后的界面显示所述推送内容之后，在预设时间段内不再根据所述用户属性确定推送内容。

此外，在具体实现过程中，上述方法一方面通过人脸识别获取当前解锁用户的身份(ID)信息；另一方面基于人脸识别时获取的人脸图像还可以得到人脸属性识别的结果。终端还可以进一步地将用户身份与人脸属性识别结果相关联，建立系统级用户人脸属性的管理。由于人脸属性识别结果有了“身份”，对同一个终端设备，可同时建立多个用户的人脸属性管理。同时也可通过云端在不同终端设备之间建立统一的系统级用户人脸属性的管理。基于系统级人脸属性的建立，进行实时或长时间内的人脸属性的统计性分析，调用相应的系统或第三方API，可进行个性化推荐、相关事项提醒等。

本发明提供了一种内容推送方法，在终端“人脸识别”进行解锁的应用场景下，通过人脸识别的成功进一步触发人脸属性的分析，确定出用户当前可参考的人脸属性，并根据该人脸属性(情绪、健康状态或年龄、性别等)确定强相关的媒体资源，在终端解锁后的界面中推送媒体资源；在用户使用终端的第一时间，便有针对性地根据用户的情绪健康状态推送给用户一些契合的媒体资源，提升用户使用终端的主观体验；同时分析人脸属性可以与人脸识别解锁时的图像进行复用，终端资源利用更加高效，节约能耗。

基于上述实施例提供的内容推送方法，本发明实施例提供一种内容推送装置900；所述装置可以应用于多种终端设备，可以如终端100的任意一种实现形式，如包括摄像功能的终端。

可选的，终端可以包括第一组摄像头，第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，包括请参阅图9，该装置包括：

采集模块901，用于获取图像，可以是拍摄照片。具体用于当终端处于屏幕锁定状态且息屏被唤醒时，利用所述第一组摄像头采集用户的第一组人脸图像。该模块具体用于执行上述示例中步骤41中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令控制摄像头采集图像。

判断模块902，用于判断第一组人脸图像是否匹配已注册用户。该模块具体用于执行上述示例中步骤42中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令，实现相应的算法来实现。

解锁模块903，用于若第一组人脸图像匹配已注册用户时执行解锁操作。该模块具体用于执行上述示例中步骤43中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令来实现。

人脸属性确定模块904，用于若所述第一组人脸图像匹配已注册用户，根据所述第一组人脸图像确定用户的人脸属性；其中所述人脸属性至少包括年龄、性别、情绪、或健康状态中的一个。该模块具体用于执行上述示例中步骤44中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令来实现。

媒体资源确定模块905，用于根据所述人脸属性确定要推送的媒体资源。该模块具体用于执行上述示例中步骤45中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令来实现。

推送模块906，在终端解锁后的显示界面中推送所述媒体资源。该模块具体用于执行上述示例中步骤46中所提到的方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令以及网络外部数据来实现。

其中，上述具体的方法示例以及实施例中技术特征的解释、表述、以及多种实现形式的扩展也适用于装置中的方法执行，装置实施例中不予以赘述。

示例2—锁屏唤醒触发人脸属性分析

在一些场景中，有时人脸解锁可能会需要一些时间，息屏唤醒可以直接触发采集人脸图像并进行人脸情绪的分析，可以更早地推送媒体资源。本发明提供一种实施方式，应用于终端，终端包括第一组摄像头，第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，请参阅图10，该方法包括以下步骤：

步骤51，当终端处于屏幕锁定状态且息屏被唤醒时，利用上述第一组摄像头采集用户的第一组人脸图像；该方法的具体实现可以参照步骤41中的相关方法实现。

步骤52，根据第一组人脸图像确定用户的人脸属性；其中人脸属性至少包括年龄、性别、情绪、或健康状态中的一个。确定用户人脸属性的方法可以参照步骤44中的相关方法实现。如可以不仅仅根据第一组人脸图像来确定用户的人脸属性。

步骤53，根据人脸属性确定要推送的媒体资源。根据用户人脸属性确定媒体资源的方法可以参照步骤45中的相关方法实现。

步骤54，在终端的显示界面中推送所述媒体资源。推送的时机可以在解锁后也可以在解锁的过程中。例如，人脸解锁过程中，就可以在解锁界面显示契合用户当下人脸属性的媒体资源，如图片、动画、新闻或者小文章等。进一步地，用户人脸解锁成功后，可以正常使用终端所有程序，可选的，解锁画面可以平滑过渡，或解锁成功提示并不对用户可见；例如用户当前正在阅读一篇小文章，如果阅读的过程中，人脸解锁成功，终端的显示界面可以依旧停留在这篇小文章中；待用户阅读完后，可以通过可执行的任意操作指令继续正常使用终端；如果用户人脸解锁失败后，则终端的显示界面中仅能显示上述媒体资源，无法使用更多功能(应急功能除外)。推送媒体资源的方法可以参照步骤46中的相关方法实现。

其中，上述示例1中具体的方法以及实施例中相关技术特征的解释、表述以及多种实现形式以及扩展方式也可以适用于示例2中的方法执行，示例2的实施例中不再予以赘述。

基于上述实施例提供的内容推送方法，本发明实施例提供的内容推送装置900中各个模块的功能还可以如下：

采集模块904，用于获取图像，可以是拍摄照片。具体用于当终端处于屏幕锁定状态且息屏被唤醒时，利用所述第一组摄像头采集用户的第一组人脸图像。该模块具体用于执行上述示例中步骤41或步骤51中所提到的相关方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令控制摄像头采集图像。

人脸属性确定模块904，用于若所述第一组人脸图像匹配已注册用户，根据所述第一组人脸图像确定用户的人脸属性；其中所述人脸属性至少包括年龄、性别、情绪、或健康状态中的一个。该模块具体用于执行上述示例中步骤44或步骤52中所提到的相关方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令来实现。

媒体资源确定模块905，用于根据所述人脸属性确定要推送的媒体资源。该模块具体用于执行上述示例中步骤45或步骤53中所提到的相关方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令来实现。

推送模块906，在终端解锁后的显示界面中推送所述媒体资源。该模块具体用于执行上述示例中步骤46或步骤54中所提到的相关方法以及可以等同替换的方法；该模块可以由处理器调用存储器中相应的程序指令以及网络外部数据来实现。

本发明提供了一种图像处理装置，在终端“人脸识别”进行解锁的应用场景下，通过人脸识别的成功进一步触发人脸属性的分析，确定出用户当前可参考的人脸属性，并根据该人脸属性(情绪健康状态)确定强相关的媒体资源，在终端解锁后的界面中推送媒体资源；有针对性地根据用户的情绪健康状态推送给用户一些契合的媒体资源，提升用户使用终端的主观体验；同时分析人脸属性可以与人脸识别解锁时的图像进行复用，终端资源利用更加高效，节约能耗。

示例3---内容推荐管理(解锁后的推送)

在一些场景中，用户解锁成功后，可以不进行立即的资源推送，可以等待用户在使用一些应用程序时再进行媒体资源的推送。本发明提供一种实施方式，应用于终端，终端包括摄像头，请参阅图11，该方法包括以下步骤：

步骤61：利用摄像头获取人脸图像。

可选的，终端可以包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，获取到的人脸图像可以对应地包括一个或多个类型。

可选的，摄像头可以在人脸解锁时进行获取人脸图像，如当终端处于屏幕锁定状态且息屏被唤醒时获取人脸图像。这种场景下，上述方法还可以包括步骤62和63。

可选的，摄像头可以在用户使用终端的过程中，接收到用户输入的触发拍照的指令或者是达到了触发拍照的条件进行获取人脸图像。

可选的，摄像头可以在终端息屏被唤醒的情况下，获取人脸图像。应理解，息屏状态不一定是锁定状态。

进一步的，摄像单元可以在终端使用过程中以固定的时间周期T00采集人脸图像；摄像单元还可以在用户使用某一个应用时采集人脸图像，这个时机可以但不限于由应用程序触发。

一些可选的实现可以参见步骤41中的方法以及可以替代的其它方法。

这一步骤可以由采集模块901来执行。

步骤62：判断采集到的人脸图像是否匹配已注册用户。

可选的，终端具有多个注册用户，多个注册用户可以共用一个人脸属性简档，或者每一个注册用户对应一个人脸属性简档，人脸属性简档用于存储人脸图像或者人脸属性分析结果，人脸属性简档可以对不同注册用户在不同时刻的人脸属性进行记录和管理。

一些可选的实现可以参见步骤42中的方法以及可以替代的其它方法。

这一步骤可以由判断模块902来执行。

步骤63：若采集到的人脸图像匹配已注册用户，执行解锁操作。

一些可选的实现可以参见步骤43中的方法以及可以替代的其它方法。

这一步骤可以由解锁模块903来执行。

步骤64：根据人脸图像确定用户的人脸属性。

可选的，人脸属性可以即时发送给终端中的至少一个应用程序；或者可以保存在终端中，待应用程序后续使用的过程中进行调用。

可选的，可以根据人脸图像以及当前用户在预设历史时段内采集到的人脸图像确定用户的人脸属性。

可选的，根据人脸图像确定第一人脸属性结果；获取当前用户在预设历史时段内的人脸属性结果；根据所述第一人脸属性结果以及预设历史时段内的人脸属性结果确定用户的人脸属性。

一些可选的实现可以参见步骤44中的方法以及可以替代的其它方法。

这一步骤可以由人脸属性确定模块904来执行。

步骤65：根据当前用户人脸属性确定要推送的媒体资源。

终端可以将人脸属性关联到应用程序，可以如负一屏应用程序或其他应用程序，包括用户常用的应用程序，或者带有内容推送的应用程序，或者当前正在打开使用的应用程序。

可选的，应用程序可以在打开或使用的过程中，调取终端最近一次得到的人脸属性结果或者是统计性的人脸属性结果。进而，应用程序在其能够搜索到或调取到的资源中确定出最契合当前用户人脸属性的媒体资源。

根据人脸属性确定要推送的媒体资源的方法可以参照步骤45中的方法以及可以替代的其它方法。

这一步骤可以由媒体资源确定模块905执行。

步骤66：当终端中的第一应用程序被使用时，在所述第一应用程序的显示界面中推送所述媒体资源。

可选的，可以根据所述最契合当前用户人脸属性的媒体资源对应用程序的显示界面进行排版或调整。可选的，可以使得最契合当前用户人脸属性的媒体资源对于用户显示更加突出。

可选的，例如，负一屏重新排版。负一屏可以是主页再往左滑动出现的一个界面，负一屏集合了应用建议、运动健康、生活服务、新闻、视频、音乐等应用快捷显示页面，可以自动生成情景智能的各项提醒卡片。具体地，负一屏获取到用户的人脸属性后(如通过API进行获取)，可以将契合当前人脸属性的媒体资源，如应用建议、运动健康、生活服务、新闻、视频、音乐等应用快捷进行排版，在显示界面中呈现。例如，当检测到用户健康状况不太好时，可以在负一屏中展示健康建议，或者将运动或健康app应用推送到显示栏中；例如当检测到用户情绪不太好时，可以在负一屏中展示幽默动态图，或者展示推荐一则笑话，或者推荐搞笑视频或在应用栏中推荐展示搞笑类应用。

可选的，用户正在使用的app获取到人脸属性后(如通过API进行获取)，可以将契合当前用户人脸属性的媒体资源排布在应用程序的显示界面中。

可选的，没有被使用的应用程序获取到人脸属性后(如通过API进行获取)，确定好契合当前用户人脸属性的媒体资源排布在应用程序的显示界面中，待用户打开该应用时，可以直接呈现。

可选的，第一应用程序可以根据所述要推送的媒体资源对第一应用程序的显示界面进行排版；例如在功能栏或者内容列表或聚类中显示要推送的媒体资源，或者直接显示，或者可以滚动显示；由于不同的应用程序之间界面设计和功能千差万别，本发明中不对界面的具体呈现进行赘述，该步骤中可以涵盖现有技术中所有内容展示方式或内容交互界面。

一些可选的推送方法可以参照步骤45中的部分方法以及可以替代的其它方法。

这一步骤可以由推送模块906执行。

现有技术中的负一屏通常是默认模式或者是显示最近应用或者是随机模式，各种应用程序也是按照默认方式进行页面布局，因此版面的方式和内容推送方式没有针对用户的情绪和健康状况进行设计。本发明无需用户触发，针对用户的人脸属性进行推荐，使得应用程序的呈现更加友好智能。

其中，上述示例1和示例2中具体的方法以及实施例中相关技术特征的解释、表述以及多种实现形式以及扩展方式也可以适用于示例3中的方法执行，示例3的实施例中不再予以赘述。

其中，上述具体的方法示例以及实施例中技术特征的解释、表述、以及多种实现形式的扩展也适用于装置中各模块的方法执行，装置实施例不再予以赘述。

示例4-人脸属性简档管理

现有技术中的人脸属性识别方法仅根据单次获取的图像，无法准确反映用户的真实健康或情绪状态，进一步据此推荐的内容也就无法切合用户的实际需要，内容推荐可靠性不高。下面以人脸属性中的表情(情绪)作为示例进行说明。应理解，下列实现方法并不限定于表情，而是可以包括人脸属性的各种情形。本示例可以发生在用户进行人脸解锁的过程中，也可以发生在某程序的使用过程中，本示例可以包括用户使用终端的任意可能场景。

本发明中一个可选实施例可以参见图12，图12为一种用户属性简档管理装置1100，该装置包括：

摄像单元1101，用于获取人脸图像；具体实现可以参照采集模块901的相关功能。

身份识别单元1102，用于根据摄像单元获取的人脸图像，提取人脸特征，获取人脸的身份信息；可选的，具体实现可以参照判断模块902的相关功能以及现有技术中其他未列举的拍照功能。

表情识别单元1103，用于根据摄像单元获得的人脸图像，提取表情特征，识别获取表情类型，还可以根据用户简档单元存储的用户多个表情类型，获取用户综合表情类型。表情识别单元1103还可以通过用户简档存储单元存储的用户的不同时刻的多个人脸图像，通过神经网络一次性获得用户一定时间段内综合表情类型。可选的，具体实现可以参照人脸属性确定模块904的相关功能或可以等同替代的功能。

用户简档存储单元1104，用于存储用户简档，可以是一个用户一个简档，也可以是多个用户共用一个简档，不同用户通过身份信息(如ID号，注册名等等)进行区别。用户简档记录身份识别单元。表情识别单元识别的所述用户的所述表情类型，以及识别时间；用户简档还用于存储表情识别单元根据所述用户多个表情类型识别而得的所述用户的综合表情类型。用户简档存储单元1104也可以用于存储摄像单元获取的人脸图像，存储不同用户在不同时刻的人脸解锁图像。

健康识别单元1105(可选)：用于根据摄像单元获得的人脸图像，提取健康特征，识别获取健康类型，根据用户简档单元存储的用户多个健康类型，获取用户综合健康类型。健康识别单元1005还可以通过用户简档存储单元存储的用户的不同时刻的多个人脸图像，通过神经网络一次性获得用户一定时间段内综合健康类型。可选的，具体实现可以参照人脸属性确定模块904的相关功能或可以等同替代的功能。

推荐内容确定单元1006，用户根据获取的用户综合表情类型，确定与综合表情类型相匹配的展示内容。可选的，具体实现可以参照媒体资源确定模块905的相关功能或可以等同替代的功能。

推荐内容展示单元1007，用于展示推荐内容确定单元确定的展示内容。可选的，具体实现可以参照推送模块906的相关功能或可以等同替代的功能。

本示例概述：终端获取用户人脸图像；人脸识别解锁模块/单元识别人脸信息，获取用户的身份信息；表情识别模块/单元根据人脸图像识别用户人脸属性；在系统用户简档中存储当前登录用户的当前人脸属性，用户简档可以包括但不限于用户ID、人脸属性(如情绪等)、时间等信息；基于用户简档中记录的当前时间至预设时间段以来的多次识别出来的人脸属性结果或者人脸图像结果，获取所述时间段内用户的综合性人脸属性结果(可以通过概率论来分析，也可以通过神经网络来分析，此处不予以限定)，作为用户当下时刻的可参考的人脸属性。进一步，终端系统接收应用程序通过API发起的人脸属性申请；终端系统通过API向应用程序返回前述识别的时间段内的综合性人脸属性结果；进一步可以根据该综合性人脸属性结果有针对性地推送内容。

一种可能的具体实现方法可以参照图13以及图14；其中图13为一种终端系统侧的用户属性简档管理方法，如S1201-S1207；图14为相应的应用程序侧的用户属性简档管理方法，如S1211-S1214。

对于终端系统侧：

S1201：摄像单元获取人脸图像；

S1202：身份识别单元根据所述人脸图像识别用户身份；

S1203：表情识别单元(或健康识别单元)根据所述人脸图像识别获取用户当前表情类型(或健康类型)

S1204：在用户简档中存储所述用户当前表情类型(或健康类型)，可以是一个用户一个简档，也可以是多个用户共用一个简档，不同用户通过身份信息(如ID号，注册名等等)进行区别。用户简档存储的内容可以包括当前用户ID、表情类型(或健康类型)、时间等，一种用户简档的一种示例如下表：

表1：用户简档示例1

用户标识(ID)	表情类型	健康类型(可选)	时间
用户A	高兴		2019年1月1日14时5分45秒
用户B	快乐		2019年1月1日14时10分20秒
用户A	痛苦		2019年1月1日14时20分5秒
用户A	微笑		2019年1月1日15时15分40秒
用户B	悲伤		2019年1月1日15时25分30秒(当前时刻)
用户A	痛苦		2019年1月1日15时30分30秒(当前时刻)
用户B	悲伤		2019年1月1日15时25分30秒(当前时刻)
…	…	…	…

S1205：根据用户简档存储的用户多个表情类型(或健康类型)识别预设时间段内的所述用户的综合表情类型(或综合健康类型)。

综合表情类型的识别一种方法可以是加权法，权重与当前时间距离成反比，距离越远权重越低，用户简档记录当前时刻之前用户A的多个表情类型，计算当前时刻预设时间段(例如2小时)内的用户A综合表情类型，据当前时刻大于预设时间点(例如当前时刻2小时前)的表情类型不参与，权重为0，以当前时刻权重为1，时间段起始时间为权重为0，可以按距离当前时间越近权重越高赋予各时刻表情一个权重，权重可以从起始时刻到当前时刻线性递增，也可以指数递增，累计时间段内同类表情的累计权重，累计权重排在第一的就是用户A当前时刻2小时内的综合表情类型。例如，T1时刻表情类型的权重可以按下面公式计算：

T1时刻的权重＝1-(当前时刻-T1时刻)/预设时间。

以表2为例，用户A当前时刻2小时内的各类型表情累计权重为：

表情类型1：高兴0.29；

表情类型2：痛苦0.38+0.88＝1.26

表情类型3：微笑1

简单排序累计权重最高的表情类型是“痛苦”，故用户A当前时刻2小时内综合表情类型为“痛苦”。

表2：用户A时间段内的各时刻权重示例

用户标识(ID)	表情类型	健康类型(可选)	时刻	权重
用户A	高兴		2019年1月1日9时5分30秒	0
用户A	高兴		2019年1月1日14时5分30秒	0.29
用户A	痛苦		2019年1月1日14时20分30秒	0.38
用户A	痛苦		2019年1月1日15时15分30秒	0.88
用户A	微笑		2019年1月1日15时30分30秒(当前时刻)	1

通过以上方法，可以看到，当前时刻的表情微笑并不能代表用户A在2小时内的综合表情，也就是用户A在2小时内的综合情绪“痛苦”的可能性是最大的。以这个综合表情类型反馈了用户A的当前时段情绪是比较可信，而当前时刻的“微笑”表情，可能是一种误判或者用户A不经意的强颜欢笑。而已本方法获得的当前时段(2小时)用户A的表情(情绪)向用户推荐相关内容更准确，更贴合用户A的需要。预设时间可以是系统根据各类不同表情的统计持续的时长业界分析在系统中进行预设。例如微笑的持续时间统计持续时间可能是10分钟，痛苦的持续时间可能是4小时，悲伤的持续时间可能是8小时等等。不同表情的预设时间也可以因人而异，系统通过对用户简档同一用户同一表情类型持续出现时间进行聚类分析，获得该用户某类型表情的持续时间，例如用户A比较快从“痛苦”中解脱出来，用户A对“痛苦”的持续时间比普通人持续时间4小时还要短，预设时间就可以根据用户A的实际统计时间设为2小时，等等。

预设时间也可以通过终端设备的用户界面，由用户主动设置等等。

(综合健康类型获取方法可以等同综合表情类型获取方法，不再赘述)

另外可选的，用户简档中的表情结果可以通过步骤44或步骤52中的一些方法来获得。

S1206：接收应用程序通过API提出的当前用户综合表情类型(或综合健康类别)请求；

S1207：通过API向所述应用程序返回所述当前用户所述综合表情类型(或综合健康类型)。

对于应用程序侧：

S1211：应用程序通过API提出的当前用户综合表情类型(或综合健康类别)请求；

S1212：接收系统通过API返回的用户所述综合表情类型(或综合健康类型)，(API返回的用户综合表情类型进一步可以包括表情类型的置信度……)；

S1213：内容推荐单元根据所述综合表情类型(或综合健康类型)，确定推荐内容；

S1214：获取推荐内容并向用户展示所述推荐内容。

该实施例通过用户的一定时间段内多个表情类型获取用户的综合表情类型，比现有技术单次获取表情类型用于内容推荐，更加可靠与准确。同时该实施例还给出了同一终端多个用户的人脸属性简档管理方法，身份识别可以识别出不同用户，并可以根据当前用户的历史表情进行综合性的分析，得到更加可靠的情绪结果有利于更精准地推送媒体资源。

示例5---历史时段的综合性人脸属性获得

图15示意了终端系统侧的另一种可能的用户人脸属性简档管理方法，如S1301-1306。

对于终端系统侧：

S1301：摄像单元获取人脸图像；获取的时机不做限定。

S1302：身份识别单元根据所述人脸图像识别用户身份；

S1303：在用户简档中存储所述用户当前人脸图像；

具体的，如果存在多个用户，则每一个用户都会对应有一个人脸属性简档。

当识别到用户身份时，将获取到的人脸图像对应存储到该用户对应的人脸属性简档中。

S1304：表情识别单元(或健康识别单元)根据所述用户的当前人脸图像以及一定时间段内的多个人脸图像通过神经网络识别获取用户一定时间段的综合表情类型(或综合健康类型)；具体可以参照步骤44当中的相关方法，包括但不限于图7或图8对应的方法。

可选的，对于当前用户，调用该用户对应的历史人脸图像或历史人脸属性结果即可。

S1305：接收应用程序通过API提出的当前用户综合表情类型(或综合健康类别)请求；

S1306：通过API向所述应用程序返回所述当前用户所述综合表情类型(或综合健康类型)。

对于应用程序侧：同S1211-S1214。

该实施例存储一段时间内的用户的多个不同时刻的人脸图像，通过神经网络综合识别出用户该时间段内的综合表情类型(或综合健康类型等信息)，比现有技术单次获取表情类型用于内容推荐，更加可靠与准确。

应理解，上述所有实施例中的步骤之间有类似或交叉或可选，本发明的实施方式和应用场景多种多样，无法通过穷举的方式进行一一陈述，各实施例中可能的实现方式以及可能的场景在不违背自然规律的前提下可以实现任意组合。

应理解本发明实施例的装置中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个模块可以为单独设立的处理元件，也可以集成在终端的某一个芯片中实现，此外，也可以以程序代码的形式存储于控制器的存储元件中，由处理器的某一个处理元件调用并执行以上各个模块的功能。此外各个模块可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：central processing unit，简称：CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specific integrated circuit，简称：ASIC)，或，一个或多个微处理器(英文：digital signal processor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmable gate array，简称：FPGA)等。

应理解本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的部分实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括已列举实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims

一种内容推送方法，其特征在于，所述方法应用于终端，所述终端包括第一组摄像头，所述第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，所述方法包括：

当终端处于屏幕锁定状态且息屏被唤醒时，利用所述第一组摄像头采集用户的第一组人脸图像；

判断所述第一组人脸图像是否匹配已注册用户；

若所述第一组人脸图像匹配已注册用户，则终端执行解锁操作，并根据所述第一组人脸图像确定用户的人脸属性；其中所述人脸属性包括情绪或健康状态；

根据所述人脸属性确定要推送的媒体资源；

在终端解锁后的显示界面中推送所述媒体资源。
如权利要求1所述方法，其特征在于，所述终端还包括第二组摄像头，所述第二组摄像头包括所述终端中除了所述第一组摄像头之外的其他摄像头的子集；所述方法还包括：

当终端处于屏幕锁定状态且息屏被唤醒时，利用所述第二组摄像头采集的当前用户的第二组人脸图像；

所述根据所述第一组人脸图像确定用户的人脸属性包括：

根据所述第一组人脸图像和所述第二组人脸图像确定用户的人脸属性。
如权利要求1所述方法，其特征在于，所述根据所述第一组人脸图像确定用户的人脸属性包括：

根据所述第一组人脸图像以及预设历史时段内采集到的当前用户的人脸图像确定用户的人脸属性。
如权利要求1所述方法，其特征在于，所述根据所述第一组人脸图像确定用户的人脸属性包括：

根据所述第一组人脸图像确定第一人脸属性结果；

获取当前用户在预设历史时段内的人脸属性结果；

根据所述第一人脸属性结果以及当前用户在预设历史时段内的人脸属性结果确定用户的人脸属性。
如权利要求1-3任一项所述方法，其特征在于，所述息屏被唤醒包括：机身抬起、触屏、触发开关键、来电、消息提示、数据线插拔、耳机插拔、充电插拔或声控引起的息屏唤醒。
如权利要求1-5任一项所述方法，其特征在于，所述根据所述人脸属性确定要推送的媒体资源包括：根据健康或情绪的不同程度，或者预先设置的人脸属性类别的优先级，或者预先设置的媒体资源类型的优先级确定要推送的媒体资源；其中，媒体资源包括：购物链接、文学读物、旅游项目、影视作品、小视频、微博、健身信息、音乐、健康报告、提示信息、应用程序、快捷方式或新闻。
如权利要求1-6任一项所述方法，其特征在于，所述在终端解锁后的显示界面中推送所述媒体资源包括：在终端解锁后的显示界面中推送所述媒体资源的通知栏或悬浮窗口。
如权利要求1-7任一项所述方法，其特征在于，在终端解锁后的显示界面中推送所述媒体资源时，所述方法还包括：显示是否接收推送媒体资源的指令选项，当接收到用户的确认推送指令时，则跳转到媒体资源的推送链接，或播放或浏览推送的媒体文件；当接收到用户不接收推送的指令时，则终止所述媒体资源推送。
如权利要求1-7中任意一项所述方法，其特征在于，所述方法还包括：在终端解锁后的显示界面中，所述媒体资源在推送预设时长后在界面中消失。
一种内容推送装置，其特征在于，所述装置应用于终端，所述终端包括第一组摄像头，所述第一组摄像头包括RGB摄像头、深度摄像头、近红外摄像头、高光谱摄像头或热成像摄像头中的一个或多个，所述装置包括：

采集模块，用于当终端处于屏幕锁定状态且息屏被唤醒时，利用所述第一组摄像头采集用户的第一组人脸图像；

判断模块，用于判断所述第一组人脸图像是否匹配已注册用户；

解锁模块，用于若所述第一组人脸图像匹配已注册用户时执行解锁操作；

人脸属性确定模块，用于若所述第一组人脸图像匹配已注册用户，根据所述第一组人脸图像确定用户的人脸属性；其中所述人脸属性至少包括情绪或健康状态

媒体资源确定模块，用于根据所述人脸属性确定要推送的媒体资源；

推送模块，在终端解锁后的显示界面中推送所述媒体资源。
如权利要求10所述装置，其特征在于，所述终端还包括第二组摄像头，所述第二组摄像头包括所述终端中除了所述第一组摄像头之外的其他摄像头的子集；

所述采集模块还用于当终端息屏被唤醒时，利用所述第二组摄像头采集的当前用户的第二组人脸图像；

所述人脸属性确定模块具体用于根据所述第一组人脸图像和所述第二组人脸图像确定用户的人脸属性。
如权利要求10所述装置，其特征在于，所述人脸属性确定模块具体用于，

根据所述第一组人脸图像以及预设历史时段内采集到的当前用户的人脸图像确定用户的人脸属性。
如权利要求10所述装置，其特征在于，所述人脸属性确定模块具体用于，

根据所述第一组人脸图像确定第一人脸属性结果；

获取当前用户在预设历史时段内的人脸属性结果；

根据所述第一人脸属性结果以及当前用户在预设历史时段内的人脸属性结果确定用户的人脸属性
如权利要求10-13任一项所述装置，其特征在于，所述息屏被唤醒包括：机身抬起、数据线插拔、耳机插拔、充电插拔、触屏、触发开关键、来电、消息提示或声控引起的息屏唤醒。
如权利要求10-14任一项所述装置，其特征在于，所述媒体资源确定模块具体用于根据健康或情绪的不同程度，或者预先设置的人脸属性类别的优先级，或者预先设置的媒体资源类型的优先级确定要推送的媒体资源；其中，媒体资源包括：购物链接、文学读物、旅游项目、影视作品、小视频、微博、健身信息、音乐、健康报告、提示信息、应用程序、快捷方式或新闻。
如权利要求10-15任一项所述装置，其特征在于，所述推送模块具体用于，

在终端解锁后的显示界面中推送所述媒体资源的通知栏或悬浮窗口。
如权利要求10-16任一项所述装置，其特征在于，所述推送模块还用于，

在终端解锁后的显示界面中推送所述媒体资源时，显示是否接收推送媒体资源的指令选项，当接收到用户的确认推送指令时，则跳转到媒体资源的推送链接，或播放或浏览推送的媒体文件；当接收到用户不接收推送的指令时，则放弃媒体资源推送。
如权利要求10-16中任意一项所述装置，其特征在于，所述推送模块还用于：在终端解锁后的显示界面中，所述媒体资源在推送预设时长后在界面中消失。
一种终端设备，其特征在于，所述终端设备包括存储器、处理器、总线、摄像头；

所述存储器、所述处理器和所述摄像头通过所述总线相连；

所述存储器用于存储计算机程序和指令；

所述摄像头用于采集图像；

所述处理器用于控制所述摄像头采集图像，还用于调用所述存储器中存储的所述计算机程序和指令，并用于执行如权利要求1～9中任一项所述方法。
如权利要求17所述的终端设备，所述终端设备还包括天线系统、所述天线系统在处理器的控制下，收发无线通信信号实现与移动通信网络的无线通信；所述移动通信网络包括以下的一种或多种：GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
一种内容推送方法，其特征在于，所述方法应用于终端，所述终端包括摄像头，所述方法包括：

当终端处于屏幕锁定状态且息屏被唤醒时，利用摄像头采集用户的第一组人脸图像；

根据所述第一组人脸图像确定用户的人脸属性；其中所述人脸属性至少包括情绪或健康状态；

根据所述人脸属性确定要推送的媒体资源；

在终端的显示界面中推送所述媒体资源。
一种内容推送装置，其特征在于，所述装置应用于终端，所述终端包括摄像头，所述方法包括：

采集模块，用于当终端处于屏幕锁定状态且息屏被唤醒时，利用摄像头采集用户的第一组人脸图像；

人脸属性确定模块，根据所述第一组人脸图像确定用户的人脸属性；其中所述人脸属性至少包括情绪或健康状态；

媒体资源确定模块，用于根据所述人脸属性确定要推送的媒体资源；

推送模块，用于在终端的显示界面中推送或显示所述媒体资源。