WO2023198073A1

WO2023198073A1 - 面部特征检测方法、可读介质和电子设备

Info

Publication number: WO2023198073A1
Application number: PCT/CN2023/087675
Authority: WO
Inventors: 丁欣; 胡宏伟; 周一丹; 赵琳; 郜文美
Original assignee: 华为技术有限公司
Priority date: 2022-04-15
Filing date: 2023-04-11
Publication date: 2023-10-19
Also published as: CN116959052A

Abstract

本申请涉及图像处理技术领域，特别涉及一种面部特征检测方法、可读介质和电子设备。该方法包括：检测到对用户的面部特征进行检测的检测指令；获取通过第一摄像头采集的多张包括用户面部的紫外图像；获取通过第二摄像头采集的包括用户面部的第一预览图像，其中第一预览图像为彩色图像；根据各紫外图像中用户的面部特征确定出第一预览图像中用户的面部特征；根据第一预览图像中用户的面部特征对第一预览图像中用户面部区域的像素点的像素值进行调整得到目标图像，通过第一屏幕显示目标图像。本申请技术方案可以满足用户对面部特征检测的实时性需求，最大化显示彩色的检测结果，有助于提升用户体验。

Description

面部特征检测方法、可读介质和电子设备

本申请要求于2022年04月15日提交国家知识产权局、申请号为202210400185.X、申请名称为“面部特征检测方法、可读介质和电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及图像处理技术领域，特别涉及一种面部特征检测方法、可读介质和电子设备。

背景技术

皮肤老化与损伤与长期接受日光照射关系密切。日光中紫外线是对皮肤伤害最大的成分，其中，长波紫外线(Ultraviolet-A，UVA)主要引起光老化和皮肤肿瘤，中波紫外线(Ultraviolet-B，UVB)主要引起日晒伤，短波紫外线(Ultraviolet-C，UVC)大多会被大气层阻断可忽略。由于防晒霜可以吸收紫外线，因此，越爱越多的人会选择涂抹防晒霜来减少紫外线对皮肤的伤害。通常人们在涂抹防晒霜时，只是凭感觉涂抹，很多情况下防晒霜的涂抹状况是肉眼不可见的，例如，涂抹区域是否完全覆盖，涂抹量是否足够，涂抹是否均匀，什么时候需要补涂，这些均是人们非常关注却难以直观感知的。

发明内容

有鉴于此，本申请实施例提供了一种面部特征检测方法、可读介质和电子设备。本申请的技术方案应用于电子设备，电子设备包括位于电子设备不同侧的第一摄像头和第二摄像头，以及位于所述第二摄像头同一侧的第一屏幕。本申请技术方案通过第一摄像头采集的多张包括用户面部的紫外图像中的面部特征，确定出第二摄像头采集的第一预览图像中用户的面部特征，并根据第一预览图像中用户的面部特征，对第一预览图像中用户面部区域的像素点的像素值进行调整，得到目标图像，然后通过第一屏幕显示目标图像。由于电子设备通过响应对用户的面部特征进行检测的检测指令，实时获取到紫外图像，并且根据实时获取到的紫外图像所对应的用户的面部特征确定出第二摄像头采集到的第一预览图像中用户的面部特征，并且最终将得到的目标图像在面积较大的屏幕上显示。因此，本申请技术方案不仅可以满足用户对面部特征检测的实时性需求，还可以最大化显示彩色的检测结果，有助于提升用户体验。

第一方面，本申请实施例提供了一种面部特征检测方法，应用于电子设备，电子设备包括位于电子设备不同侧的第一摄像头和第二摄像头，以及位于所述第二摄像头同一侧的第一屏幕。该面部特征检测方法包括：检测到对用户的面部特征进行检测的检测指令；响应于检测指令，获取通过第一摄像头采集的多张包括用户面部的紫外图像；获取通过第二摄像头采集的包括用户面部的第一预览图像，其中第一预览图像为彩色图像；根据各紫外图像中用户的面部特征，确定出第一预览图像中用户的面部特征；根据确定出的第一预览图像中用户的面部特征，对第一预览图像中用户面部区域的像素点的像素值进行调整，得到目标图像；通过第一屏幕显示目标图像。

由于电子设备通过响应对用户的面部特征进行检测的检测指令，实时获取到紫外图像，并且根据实时获取到的紫外图像所对应的用户的面部特征确定出第二摄像头采集到的第一预览图像中用户的面部特征，并且最终将得到的目标图像在面积较大的第一屏幕上显示。因此，本申请技术方案不仅可以满足用户对面部特征检测的实时性需求，还可以最大化显示彩色的检测结果，有助于提升用户体验。

在上述第一方面的一种可能的实现中，紫外图像用于进行对用户面部的防晒霜涂抹情况的检测。例如，利用紫外图像进行对用户面部的防晒霜涂抹情况的检测，第一屏幕为内屏，内屏面积较大，应理解，在利用紫外图像进行对用户面部的防晒霜涂抹情况的检测时，由于上述目标图像是RGB图像，且是基于实时拍摄的前置第一预览图像得到的，因此最终通过内屏显示目标图像，不仅可以满足用户对防晒霜检测的实时性需求，呈现给用户的防晒霜检测结果更加美观，还可以使检测结果最大化显示，方便用户查看，有助于提升用户体验。

在上述第一方面的一种可能的实现中，上述方法中的响应于检测指令，获取通过第一摄像头采集的多张包括用户面部的紫外图像，包括：响应于检测指令，在确定出需要重新采集多张包括用户面部的紫外图像时，提示用户面对第一摄像头，并且通过第一摄像头采集到多张包括用户面部的紫外图像。

在上述第一方面的一种可能的实现中，获取通过第二摄像头采集的包括用户面部的第一预览图像，包括：在确定出已完成对多张包括用户面部的紫外图像的重新采集，或者在确定出无需重新采集多张包括用户面部的紫外图像时，提示用户面对第二摄像头，并且通过第二摄像头采集包括用户面部的第一预览图像。

例如，电子设备保存的有预设时间段内，例如5分钟内，拍摄的用户各个角度的面部的紫外图像，则可以无需再重新采集用户面部的紫外图像。又如，在确定出需要重新采集用户面部的紫外图像，并且已经重新采集完位置、大小等均满足条件的用户各个角度的面部的紫外图像之后，提示用户面对第二摄像头，并且通过第二摄像头采集包括用户面部的第一预览图像。

在上述第一方面的一种可能的实现中，上述方法还包括：确定出各紫外图中用户面部的防晒霜检测结果、各紫外图像的关键点信息以及第一预览图像的关键点信息。

由于紫外图像可以为灰度图像，或者为对灰度图像进行二值化处理后的黑白图像，紫外图像中对应于用户面部防晒霜涂抹情况不同的区域，有较为明显的像素值的差异，可以很快速的根据上述紫外图像确定出用户面部的防晒霜涂抹情况。

在上述第一方面的一种可能的实现中，用户的面部特征包括用户面部的防晒霜检测结果，根据各紫外图像中用户的面部特征，确定出第一预览图像中用户的面部特征，包括：根据确定出的各紫外图中用户面部的防晒霜检测结果，以及各紫外图像的关键点信息和第一预览图像的关键点信息，确定出第一预览图像中面部的防晒霜检测结果。

由于紫外图像可以为灰度图像，或者为对灰度图像进行二值化处理后的黑白图像，紫外图像中对应于用户面部防晒霜涂抹情况不同的区域，有较为明显的像素值的差异，可以很快速的根据上述紫外图像确定出用户面部的防晒霜涂抹情况。从而可以快速第根据各紫外图像的关键点信息和第一预览图像的关键点信息，确定出第一预览图像中面部的防晒霜检测结果，可以提升防晒霜检测效率，且检测手段简单。

在上述第一方面的一种可能的实现中，根据确定出的各紫外图中用户面部的防晒霜检测结果，以及各紫外图像的关键点信息和第一预览图像的关键点信息，确定出第一预览图像中面部的防晒霜检测结果，包括：根据各紫外图像的关键点信息、第一预览图像的关键点信息，确定出多张用户面部的紫外图像中和第一预览图像匹配的目标紫外图像；根据目标紫外图像的关键点信息、第一预览图像的关键点信息，确定出目标紫外图像和第一预览图像之间的变换关系；根据变换关系以及目标紫外图像对应的防晒霜检测结果，确定出第一预览图像中用户面部的防晒霜检测结果。

由于目标紫外图像的关键点信息、第一预览图像的关键点信息均可以简单快速得到，利用目标紫外图像的关键点信息、第一预览图像的关键点信息可以准确地确定出目标紫外图像和第一预览图像之间的变换关系，从而可以准确、快速地，根据该变换关系以及目标紫外图像对应的防晒霜检测结果，确定出第一预览图像中用户面部的防晒霜检测结果。使得检测过程快速，检测结果准确。

在上述第一方面的一种可能的实现中，根据各紫外图像的关键点信息、第一预览图像的关键点信息，确定出多张用户面部的紫外图像中和第一预览图像匹配的目标紫外图像，包括：根据各紫外图像的关键点信息分别计算出各紫外图像中的人脸位置、人脸大小以及人脸角度，并且根据第一预览图像的关键点信息计算出预览图中的人脸位置、人脸大小以及人脸角度；从多张用户面部的紫外图像中确定出人脸位置、人脸大小以及人脸角度和第一预览图像接近的紫外图像作为目标紫外图像。

在上述第一方面的一种可能的实现中，电子设备还包括位于第一摄像头同一侧的第二屏幕，在确定出第一预览图像中面部的防晒霜检测结果之前，方法还包括：根据各紫外图像的关键点信息分别计算出各紫外图像中的人脸位置、人脸大小以及人脸角度；根据计算出的各紫外图像中的人脸位置、人脸大小以及人脸角度，生成第一提示信息；通过第二屏幕显示第一提示信息，以提示用户调整面部位置和/或面部姿态。

在上述第一方面的一种可能的实现中，电子设备还包括位于第一摄像头同一侧的第三摄像头，方法还包括：响应于检测指令，获取通过第三摄像头采集的多张包括用户面部的第二预览图像；确定出各第二预览图像的关键点信息；根据各第二预览图像的关键点信息分别计算出各第二预览图像中的人脸位置、人脸大小以及人脸角度；根据计算出的各第二预览图像中的人脸位置、人脸大小以及人脸角度，生成第二提示信息；通过第二屏幕显示第二提示信息，以提示用户调整面部位置和/或面部姿态。

在上述第一方面的一种可能的实现中，根据目标紫外图像的关键点信息、第一预览图像的关键点信息，确定出目标紫外图像和第一预览图像之间的变换关系，包括：根据目标紫外图像的关键点信息对目标紫外图像的关键点进行三角化处理，并且根据第一预览图像的关键点信息对第一预览图像的关键点进行三角化处理；对目标紫外图像中三角化处理后得到的各人脸三角，和第一预览图像中对应的人脸三角之间进行仿射变换，计算出目标紫外图像中的各人脸三角和第一预览图像中对应的人脸三角之间的变换关系；将目标紫外图像中的各人脸三角和第一预览图像中对应的人脸三角之间的变换关系的构成的集合，确定为目标紫外图像和第一预览图像之间的变换关系。

在上述第一方面的一种可能的实现中，根据变换关系以及目标紫外图像对应的防晒霜检测结果，确定出第一预览图像中用户面部的防晒霜检测结果，包括：基于目标紫外图像和第一预览图像之间的变换关系，对目标紫外图像对应的防晒霜检测结果进行变换，得到对应于目标紫外图像的变换后的防晒霜检测结果；将变换后的防晒霜检测结果，确定为第一预览图像中用户面部的防晒霜检测结果。

在上述第一方面的一种可能的实现中，根据确定出的各紫外图中用户面部的防晒霜检测结果，以及各紫外图像的关键点信息和第一预览图像的关键点信息，确定出第一预览图像中面部的防晒霜检测结果，包括：根据各紫外图像的关键点信息，进行三维人脸重建，得到未着色的三维人脸以及三维人脸的关键点信息；根据各紫外图中用户面部的防晒霜检测结果，对未着色的三维人脸进行着色，得到着色后的三维人脸；根据着色后的三维人脸、三维人脸的关键点信息、第一预览图像的关键点信息，确定出第一预览图像中用户面部的防晒霜检测结果。

在上述第一方面的一种可能的实现中，根据着色后的三维人脸、三维人脸的关键点信息、第一预览图像的关键点信息，确定出第一预览图像中用户面部的防晒霜检测结果，包括：在三维空间中旋转着色后的三维人脸，得到多角度的三维人脸；将多角度的三维人脸进行二维投影，得到多角度的投影人脸，并基于三维人脸的关键点信息确定出各角度的投影人脸对应的人脸关键点信息；基于各角度的投影人脸对应的人脸关键点信息、第一预览图像的关键点信息，从多角度的投影人脸中筛选出和第一预览图像匹配的投影人脸，将匹配的投影人脸确定为第一预览图像中用户面部的防晒霜检测结果。

在上述第一方面的一种可能的实现中，基于各角度的投影人脸对应的人脸关键点信息、第一预览图像的关键点信息，从多角度的投影人脸中筛选出和第一预览图像匹配的投影人脸，包括：分别计算出各角度的投影人脸中的人脸关键点和第一预览图像的对应的人脸关键点的位置差，并且分别对各角度的投影人脸中所有的位置差进行加权求和；将加权求和的结果满足条件的投影人脸确定为和第一预览图像匹配的投影人脸。

在上述第一方面的一种可能的实现中，还包括：检测到对用户面部的防晒霜涂抹情况和历史防晒霜检测记录进行对比的指令；响应于检测指令，确定出历史防晒霜检测记录对应的多张包括用户面部的历史紫外图像，以及各历史紫外图像的关键点信息和各历史紫外图像中用户面部的防晒霜检测结果；根据各历史紫外图像的关键点信息、各历史紫外图像中用户面部的防晒霜检测结果以及第一预览图像的关键点信息，确定出第一预览图像中用户面部的历史防晒霜检测结果；根据确定出的第一预览图像中用户面部的历史防晒霜检测结果，对第一预览图像中用户面部区域的像素点的像素值进行调整，得到待叠加图像，其中，在待叠加图像的用户面部区域中，防晒霜涂抹程度不同的子区域的像素点的像素值不同；将目标图像和待叠加图像作为不同图层进行叠加，得到叠加图像；通过第一屏幕显示叠加图像。

通过第一预览图像中用户面部的实时防晒霜检测结果，与历史防晒霜检测结果进行叠加显示，可以方便用户进行对比查看，从而分析出用户较容易漏涂，或者少涂的区域。

在上述第一方面的一种可能的实现中，确定出各紫外图中用户面部的防晒霜检测结果、各紫外图像的关键点信息以及第一预览图像的关键点信息，包括：利用深度学习的方法或者级联形状回归的方法，分别对各紫外图像、第一预览图像进行关键点检测，得到各紫外图像的关键点信息以及第一预览图像的关键点信息；利用预设的防晒霜检测模型对各紫外图像分别进行用户面部防晒霜涂抹情况检测，得到各紫外图中用户面部的防晒霜检测结果。

在上述第一方面的一种可能的实现中，各紫外图像的采集时间和第一预览图像的采集时间之间的差值小于时间阈值。

从而保证紫外图像和第一预览图像中用户面部的防晒霜涂抹情况相差较小，使得最终显示出的防晒霜检测结果较为准确。

在上述第一方面的一种可能的实现中，第一屏幕为内屏，第二屏幕为外屏，或者第一屏幕为折叠屏，第二屏幕为外屏。

在上述第一方面的一种可能的实现中，第一屏幕的面积大于第二屏幕的面积。通过面积较大的第一屏幕显示目标图像，有助于提升用户体验。

在上述第一方面的一种可能的实现中，第一摄像头为紫外摄像头，第二摄像头为前置摄像头，第三摄像头为后置摄像头。

在上述第一方面的一种可能的实现中，还包括：在目标图像的用户面部区域中，防晒霜涂抹程度不同的子区域的显示色彩不同。

由于待显示的目标图像中防晒霜涂抹程度不同的子区域的显示色彩不同，从而可以使得用户直观地查看到用户面部不同区域的防晒霜涂抹情况，有助于提升用户体验。

第二方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有指令，该指令在电子设备上执行时使电子设备执行如上述第一方面以及第一方面的任意一种可能的实现中的面部特征检测方法。

第三方面，本申请实施例提供了一种计算机程序产品，计算机程序产品包括指令，指令当被一个或多个处理器执行时用于实现如上述第一方面以及第一方面的任意一种可能的实现中的面部特征检测方法。

第四方面，本申请实施例提供了一种电子设备，包括：

存储器，用于存储指令，以及

一个或多个处理器，当指令被一个或多个处理器执行时，处理器执行如上述第一方面以及第一方面的任意一种可能的实现中的面部特征检测方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种用户使用手机来查看面部防晒霜涂抹状况的应用场景；

图2A为本申请实施例提供的一种手机的正面和背景结构示意图；

图2B至图2K为本申请实施例提供的一些UI界面示意图；

图3为本申请实施例提供的一种手机的硬件结构示意图；

图4为本申请实施例提供的一种防晒霜检测方法中预拍摄阶段的UI流程和算法流程示意图；

图5A为本申请实施例提供的一种已被标注过关键点的人脸图像示意图；

图5B为本申请实施例提供的一种将UV图像输入训练好的防晒霜检测模型进行防晒霜涂抹情况检测的过程示意图；

图6为本申请实施例提供的一种防晒霜检测方法中实时查看阶段的UI流程和算法流程示意图；

图7为本申请实施例提供的另一种防晒霜检测方法中预拍摄阶段的UI流程和算法流程示意图；

图8A为本申请实施例提供的一种三维人脸的示意图；

图8B为本申请实施例提供的一种mask图像的示意图；

图8C为本申请实施例提供的一种将图8A所示的三维人脸根据图8B所示的mask图像进行面片着色后的三维人脸示意图；

图8D为本申请实施例提供的一种利用不同角度的mask图像分别对图8A所示的三维人脸进行着色后的三维人脸示意图；

图9为本申请实施例提供的另一种防晒霜检测方法中实时查看阶段的UI流程和算法流程示意图；

图10A为本申请实施例提供的一种旋转后的三维人脸示意图；

图10B为将图10A所示的三维人脸进行二维投影得到的投影图像；

图11为本申请实施例提供的一种将历史防晒霜涂抹状况和当前涂抹状况进行比对的流程示意图；

图12A至图12D为本申请实施例提供的一些UI界面示意图。

具体实施方式

本申请的说明性实施例包括但不限于一种面部特征检测方法、可读介质和电子设备。

本申请提供的面部特征检测方法可以应用于一些对终端设备的成像与查看不同步、但对实时显示效果有需求的应用场景，例如应用于对用户面部的成像，以及对用户面部的防晒霜涂抹情况的检测、对用户面部皮肤状况(例如：皱纹、色斑、毛孔等)的检测，并可以供用户实时查看检测结果。为了便于说明，下面将以对用户面部的防晒霜涂抹情况的检测为例，在进一步详细介绍本申请的技术方案。

由于智能终端设备具有体积小、重量轻、便携等优点，智能终端设备被赋予越来越多的功能。例如，智能终端可以用于对用户皮肤涂抹的防晒霜等化学物品的涂抹情况进行检测，然后将检测结果直观呈现给用户，有助于用户了解防晒霜的涂抹区域、涂抹量，进而供用户确认是否需要补涂。

本申请技术方案可以应用于任意一种具有显示屏和摄像头的智能终端设备中，包括但不限于手机、平板计算机、膝上型计算机、可穿戴设备、头戴式显示器、便携式游戏机、便携式音乐播放器、阅读器设备，等等。为了便于说明，下面继续以智能终端为手机100为例进行说明。

图1示出了一种用户使用手机100来查看面部防晒霜涂抹状况的应用场景。手机100外接有紫外(Ultraviolet，UV)配件200，例如手机100通过USB接口与UV配件连接，UV配件200集成有紫外补光灯及紫外摄像头。手机100可以通过运行防晒霜检测应用的可执行程序，实现防晒霜检测功能。在手机100开启防晒霜检测功能之后，手机100通过前置摄像头101采集人脸预览图像P0并以RGB图像(具有红、绿、蓝这3个颜色通道的彩色图像)的形式显示出来，以供用户实时查看预览图像从而调整面部姿态。手机100通过外接的UV配件200采集用户的面部图像，并通过外接的UV配件200采集到的面部图像(即灰度图像)直接作为检测图像呈现给用户。由于涂抹了防晒霜的皮肤区域，例如图1中手机100显示的检测图像P1中的区域Z1，吸收了紫外线，呈现为较暗的颜色，例如黑色；而未涂抹防晒霜或者防晒霜涂抹较少的皮肤区域未能吸收掉紫外线，在图像中呈现为较浅的颜色，例如白色或灰色。用户通过查看检测图像P1来了解面部的防晒霜涂抹状况。

然而，在图1所示的实施例中，由于手机100是将通过外接的UV配件200采集到的灰度图像直接作为检测图像呈现给用户，用户通过查看灰度图像来了解面部的防晒霜涂抹状况。然而，这种呈现方式呈现出来的灰度图像中未涂抹防晒霜的皮肤区域颜色较暗，会给用户带来图像不美观的视觉体验，会导致用户体验不佳。另外，用户需要随身携带UV配件，给用户带来不便。

为了改善用户使用手机100进行防晒霜检测的体验，在一些实施例中，可以在手机100上集成包含紫外补光灯及紫外摄像头的UV配件，并且将防晒霜检测结果以彩色图像进行实时显示。从而使得用户在使用手机100进行防晒霜检测时，无需再外接UV配件，并且用户可以实时查看到彩色的防晒霜检测结果。然而为了不影响手机100的屏占比，可以将上述UV配件设置在手机100的背面(也即手机100中主屏幕的相反面)。并且为了保证防晒霜检测结果的实时显示，可以在手机100的背景设置一较小的屏幕(以下简称为外屏)，用户在使用手机100进行防晒霜涂抹检测时，可以通过外屏进行图像预览以及查看检测结果。

例如，在图2A示出的手机100的正面和背面结构示意图中，手机100正面设置有大屏(也即内屏)103以及前置摄像头101；手机100背面设置有紫外补光灯104、紫外摄像头102、后置摄像头105以及外屏106。用户首先通过点击图2B所示的防晒检测控件1001，使手机100开启图2C所示的防晒检测的页面，其中有“拍自己”控件1002和“拍别人”控件1003。当用户点击“拍自己”控件1002时，进入图2D所示的界面，弹出“请翻转至外屏”的提醒信息1004，提示用户翻转手机100。用户将手机100进行翻转，使手机100的外屏106正对用户面部，由后置摄像头105采集人脸的后置预览图像，在外屏106上以RGB彩色图像的形式显示有图2E所示的后置预览画面P2，以及用于提示用户调整面部姿态的相关提示信息。当手机100确定用户将面部调整至预览画面的中心位置时，手机100通过后置摄像头105采集位于预览画面中心位置的RGB后置预览图像，并且采用紫外摄像头102采集用户面部的灰度图像(以下简称为UV图像)。然后将UV图像通过设定的防晒霜检测算法，得到用户面部的防晒霜涂抹检测结果，例如检测出未涂抹防晒霜和防晒霜涂抹不足量的区域。将该检测结果转换为不同颜色的标记，然后将不同颜色的标记添加至RGB后置预览图像上，以如图2F所示的画面P3的形式呈现给用户。例如，参考图2F，将涂抹不足量的区域Z2以红绿蓝(RGB)色相环中的颜色1进行显示，将未涂抹防晒霜的区域Z3以红绿蓝(RGB)色相环中的颜色2进行显示。

然而在上述图2A至图2F所示的实施例中，当用户通过手机100对用户自己的面部进行防晒霜涂抹情况的检测时，由于紫外摄像头102设置在手机100的外屏侧，为了保证防晒霜检测结果的实时显示，手机100只能通过外屏106来实时显示彩色的检测结果。由于外屏106的尺寸较小，会导致外屏106显示的具有不同颜色标记的结果图像中的标记看不清楚，从而导致用户体验不佳。

为了在手机100能够实时显示防晒霜检测结果的前提下，在手机100的内屏以RGB图像的形式显示防晒霜检测结果，从而使检测结果最大化显示，方便用户查看。

本申请提供了一种防晒霜检测方法，手机100首先通过后置的紫外摄像头102拍摄用户面部的各个角度的UV图像，得到UV图像序列。对各UV图像进行关键点检测，得到各UV图像的关键点信息。其中UV图像的关键点是指利用深度学习的方法、级联形状回归的方法等关键点检测方法确定出来的，用于表征UV图像中用户的面部五官(包括眉毛、眼睛、鼻子、嘴巴)以及面部轮廓等关键面部特征的关键像素点。

然后，对UV图像序列中各UV图像进行防晒霜涂抹情况检测，得到各UV图像对应的防晒霜检测结果，例如将UV图像序列中各UV图像分别输入预设的防晒霜检测模型，得到各UV图像对应的mask图像(也即防晒霜检测结果)，各UV图像对应的mask图像为灰度图像或者黑白图像，并且各mask图像中的像素点与对应的UV图像中的像素点一一对应。各mask图像中，显示出了对应的UV图像中防晒霜涂抹情况不同的各个区域对应的色块，各色块的颜色可以为黑色、白色或者灰色，例如某UV图像对应的mask图像中的区域Z0，吸收了紫外线，呈现为较暗的颜色，例如黑色；而未涂抹防晒霜或者防晒霜涂抹较少的皮肤区域未能吸收掉紫外线，在图像中呈现为较浅的颜色，例如白色或灰色。

然后，再通过前置摄像头101拍摄用户面部的前置预览图像，该前置预览图像为用户可以通过手机100的内屏(面积较大的屏幕)实时查看到的包含该用户的面部的RGB图像。并且对该前置预览图像进行关键点检测，得到该前置预览图像的关键点信息。

然后，根据上述得到的各UV图像对应的防晒霜检测结果、各UV图像的关键点信息以及前置预览图像的关键点信息，确定出前置摄像头在拍摄前置预览图像时用户面部的防晒霜涂抹情况。从而根据确定出的前置预览图像对应的用户面部的防晒霜涂抹情况，对前置预览图像中面部区域多个像素点的像素值进行调整，得到目标图像，例如，用户额头区域防晒霜涂抹不足，则调整前置预览图像中额头区域的像素值，从而将前置预览图像中额头区域的颜色调整为紫色。最后通过内屏(面积较大的屏幕)显示该目标图像。

由于该目标图像是RGB图像，且是基于实时拍摄的前置预览图像得到的，因此最终通过内屏显示目标图像，不仅可以满足用户对防晒霜检测的实时性需求，呈现给用户的防晒霜检测结果更加美观，还可以使检测结果最大化显示，方便用户查看，有助于提升用户体验。

例如，在一些实施例中，手机100将整个防晒霜检测过程分为两个阶段：预拍摄阶段以及实时查看阶段。在预拍摄阶段，手机100存储上述得到的UV图像序列、各UV图像对应的mask图像以及各UV图像的关键点信息。在实时查看阶段，手机100对前置摄像头101采集到的前置预览图像进行关键点检测，得到前置预览图像的关键点信息，然后根据前置预览图像的关键点信息以及各UV图像的关键点信息，从UV图像序列中确定出和前置预览图像匹配的UV图像，并且确定出这个匹配的UV图像和前置预览图像之间的变换关系T，将这个匹配的UV图像对应的mask图像基于该变换关系T进行变换，得到和前置预览图像对应的待融合mask图像，从而将待融合mask图像和前置预览图像融合处理后通过内屏103进行显示。

又如，在另一些实施例中，在预拍摄阶段，手机100根据上述得到的UV图像序列、各UV图像的关键点信息进行三维人脸重建，得到重建的三维人脸，并且利用上述得到的各UV图像对应的mask图像对该三维人脸进行着色，得到着色后的三维人脸，存储该三维人脸的相关数据。在实时查看阶段，手机100对前置摄像头101采集到的前置预览图像进行关键点检测，得到前置预览图像的关键点信息，然后将着色后的三维人脸进行不同角度的旋转并进行二维投影，得到不同角度的投影图像，然后根据前置预览图像的关键点信息以及各投影图像的关键点信息，从各投影图像中确定出和前置预览图像匹配的投影图像，将这个匹配的投影图像作为和前置预览图像对应的待融合mask图像，从而将待融合mask图像和前置预览图像融合处理后通过内屏103进行显示。

例如，在预拍摄阶段，用户通过点击图2B所示的防晒检测控件1001(该控件可以是防晒霜检测应用程序中的控件，还可以是集成有防晒霜检测功能的其他应用程序中的控件)，使手机100开启图2C所示的防晒检测的页面，然后用户点击拍自己控件1002，进入图2D所示的界面，弹出“请翻转至外屏”的提醒信息1004，提示用户翻转手机100。用户将手机100进行翻转，使手机100的外屏106正对用户面部，由后置摄像头105采集人脸的后置预览图像，在外屏106上以RGB彩色图像的形式显示有图2E所示的后置预览画面P2，以及用于提示用户调整面部姿态的相关提示信息。当确定用户将面部调整至后置预览画面的中心位置时，手机100通过紫外摄像头102采集用户各角度的面部UV图像。在手机100已采集完用户各角度的面部UV图像(UV图像序列)，并且计算得到各UV图像对应的mask图像以及各UV图像的关键点信息之后，进入图2G所示的界面，弹出“请翻转至内屏”的提醒信息1005，或者通过语音提示用户再次翻转手机100，以使用户面部正对手机100的前置摄像头101，进入实时查看阶段。

在实时查看阶段，由手机100的前置摄像头101采集人脸的前置预览图像，在内屏103上以 RGB彩色图像的形式显示有图2H所示的前置预览画面P3，以及用于提示用户调整面部姿态的相关提示信息。在手机100确定出用户面部处于合适位置时，例如确定出用户已将面部调整至前置预览画面的中心位置时，手机100采集并显示如图2I所示的前置预览图像P4。并且根据预拍摄阶段计算得到的UV图像序列、各UV图像对应的mask图像以及各UV图像的关键点信息，确定出和前置预览图像对应的待融合mask图像。将待融合mask图像和前置预览图像P4进行融合后，将需要补涂防晒霜的区域Z4、Z5填充彩色的形式实时显示在图2I所示的前置预览图像P4上呈现给用户。

下面将结合图3对本申请实施例提供的一种手机100的硬件结构进行详细介绍。手机100通过执行可执行程序，实现本申请实施例提供的防晒霜检测方法。具体地，如图3所示，手机100可以包括处理器110、电源模块140、存储器180、移动通信模块150、无线通信模块160、接口模块190、音频模块170、内屏103、外屏106、前置摄像头101、后置摄像头105、紫外摄像头102、紫外补光灯104等。

处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)、数字信号处理器(Digital Signal Processor，DSP)、微处理器(Micro-programmed Control Unit，MCU)、人工智能(Artificial Intelligence，AI)处理器或可编程逻辑器件(Field Programmable Gate Array，FPGA)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，在本申请的一些实例中，处理器110可以用来对紫外摄像头102采集的UV图像进行关键点检测以及防晒霜检测。在一些实施例中，处理器110可以用来对前置摄像头101采集的前置预览图像进行人脸检测以及关键点检测。在一些实施例中，处理器110可以用来对UV图像和前置预览图像进行人脸对齐，确定出UV图像到前置预览图像的变换关系，并且根据该变换关系，将UV图像的防晒霜检测结果所对应的关键点在前置预览图像中对应的关键点。

存储器180可用于存储数据、软件程序以及模块，可以是易失性存储器(Volatile Memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(Non-Volatile Memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(Flash Memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，或者也可以是可移动存储介质，例如安全数字(Secure Digital，SD)存储卡。具体的，存储器180可以包括程序存储区(未图示)和数据存储区(未图示)。程序存储区内可存储程序代码，该程序代码用于使处理器110通过执行该程序代码，执行本申请实施例提供的防晒霜检测方法。在申请实施例中，数据存储区可以用于存储处理器110对UV图像检测得到的人脸关键点、UV图像的防晒霜检测结果，以及UV图像的防晒霜检测结果对应的人脸关键点。在申请实施例中，数据存储区还可以用于存储处理器110对前置预览图像检测得到的人脸关键点。在申请实施例中，数据存储区还可以用于存储处理器110确定出来的UV图像和前置预览图像之间的映射关系。

电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。充电管理模块用于从充电器接收充电输入；电源管理模块用于连接电源，充电管理模块与处理器110。

移动通信模块150可以包括但不限于天线、功率放大器、滤波器、低噪声放大器(Low Noise Amplify，LNA)等。移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以包括天线，并经由天线实现对电磁波的收发。无线通信模块160可以提供应用在手机100上的包括无线局域网络(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)，蓝牙(Bluetooth，BT)，全球导航卫星系统(Global Navigation Satellite System，GNSS)，调频(Frequency Modulation，FM)，近距离无线通信技术(Near Field Communication，NFC)，红外技术(Infrared，IR)等无线通信的解决方案。手机100可以通过无线通信技术与网络以及其他设备进行通信。

在一些实施例中，手机100的移动通信模块150和无线通信模块160也可以位于同一模块中。

前置摄像头101和后置摄像头105分别用于拍摄前置预览图像以及后置预览图像。紫外摄像头102用于采集UV图像。紫外补光灯104用于在紫外摄像头102采集UV图像时进行紫外补光。

内屏103通常为手机100的大屏。可以用于实时显示前置摄像头101采集的前置预览图像，还可以用于显示添加有防晒霜检测结果的前置预览图像。外屏106通常为手机100中面积较小的屏幕，通常和内屏103不在手机100的同一侧。外屏106可以用于实时显示后置摄像头105采集的后置预览图像。

音频模块170可以将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。在一些实施例中，音频模块170可以包括扬声器170A、受话器170B、麦克风170C以及耳机接口170D。例如，在本申请的一些实施例中，手机100可以通过扬声器170A语音提示用户调整面部姿态和面部位置，以能够采集到用户各个角度的面部图像，并且能够拍全用户的五官。

接口模块190包括外部存储器接口、通用串行总线(Universal Serial Bus，USB)接口及用户标识模块(Subscriber Identification Module，SIM)卡接口等。其中外部存储器接口可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口与处理器110通信，实现数据存储功能。通用串行总线接口用于手机100和其他手机进行通信。用户标识模块卡接口用于与安装至手机100的SIM卡进行通信，例如读取SIM卡中存储的电话号码，或将电话号码写入SIM卡中。

在一些实施例中，手机100还包括按键、马达以及指示器等。其中，按键可以包括音量键、开/关机键等。马达用于使手机100产生振动效果。指示器可以包括激光指示器、射频指示器、LED指示器等。

可以理解的是，以上图3所示的硬件结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图3所示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。

下面将继续以手机100为例，对手机100执行本申请实施例提供的一种防晒霜检测的具体过程进行详细介绍。如上所述，本申请实施例将整个防晒霜检测分为预拍摄阶段和实时查看阶段。下面将分别对预拍摄阶段和实时查看阶段的具体过程进行详细介绍。

预拍摄阶段

如图4所示的预拍摄阶段的处理过程包括预拍摄阶段的UI流程以及预拍摄阶段的算法流程，图4所示的流程图中各步骤的执行主体可以是图3所示的手机100。首先介绍图4所示的预拍摄阶段的UI流程，具体地，参考图4，本申请实施例提供的一种防晒霜检测方法中预拍摄阶段的UI流程包括以下各步骤：

S401：启动预拍摄，提示用户翻转手机100。这里的启动预拍摄，是指启动手机100的预拍摄功能。例如，在一些实施例中，在用户使用手机100的内屏103时，手机100通过内屏103显示有图2B所示的防晒检测控件1001，用户通过点击图2B所示的防晒检测控件1001，使手机100开启图2C所示的防晒检测的页面。然后用户点击“拍自己”控件1002，启动手机100的预拍摄功能，使手机100进入图2D所示的界面，弹出“请翻转至外屏”的提醒信息1004，提示用户翻转手机100。在一些实施例中，手机100还可以通过语音来提示用户翻转手机100，本申请对于手机100如何向用户呈现提示信息不做限定。以使手机100的后置摄像头105、紫外摄像头102、紫外补光灯104以及手机100的外屏106正对用户的面部，从而可以利用后置摄像头105和/或紫外摄像头102拍摄用户涂有防晒霜的面部图像，并且可以使用户看到外屏106上显示的内容。

S402：开启UV模组，启动预拍摄算法流程。

在一些实施例中，手机100检测到用户点击“拍自己”控件1002，启动预拍摄功能，并且在检测到用户翻转手机100之后，开启由紫外摄像头102以及紫外补光灯104构成的UV模组(未图示)。在一些实施例中，手机100还可以在提示用户将手机100翻转至外屏106一侧，并且通过传感器检测到手机100被翻转之后，开启UV模组。

在一些实施例中，手机100还可以通过外屏106显示上述防晒霜检测控件1001，用户通过点击防晒检测控件1001，使手机100开启防晒检测的页面。然后用户点击上述“拍自己”控件1002，手机100开启UV模组，从而开始采集UV图像。

在一些实施例中，在手机100开启UV模组之后，开始通过紫外摄像头102连续采集多帧用户面部的UV图像，得到UV图像序列，并且启动预拍摄算法流程，对采集到的UV图像序列进行处理，以产生提示信息提示用户调整面部姿态。并且在确定出用户将面部姿态调整好之后通过紫外摄像头102采集用户各角度的面部UV图像，根据采集到的用户各角度的面部UV图像进行防晒霜检测，以得到防晒霜检测结果和对应的人脸关键点。

在一些实施例中，手机100还可以在开启由紫外摄像头102以及紫外补光灯104构成的UV模组(未图示)的同时，开启后置摄像头105。由后置摄像头105采集人脸的后置预览图像，在外屏106上以RGB彩色图像的形式显示有图2E所示的后置预览画面P2，以及基于预拍摄算法对后置预览图像的处理结果产生的用于提示用户调整面部姿态的相关提示信息。并且在确定出用户将面部姿态调整好之后通过紫外摄像头102采集用户各角度的面部UV图像，根据采集到的用户各角度的面部UV图像进行防晒霜检测，以得到防晒霜检测结果和对应的人脸关键点。由于利用后置摄像头105采集的后置预览图像是彩色图像，彩色图像包括的特征相对于UV图像来说更加丰富，因此，基于后置摄像头105采集的后置预览图像产生的提示信息更加准确，可以使用户快速调整好姿态，提高防晒霜检测效率。

其中，具体的预拍摄算法流程将在下文结合S4021至S4029进行详细介绍，在此先不展开描述。

S403：根据算法的人脸检测输出，提示用户移动手机100或移动面部，使得人脸在合适的位置范围内。

例如，在一些实施例中，手机100通过紫外摄像头102连续采集多帧用户面部的UV图像，得到UV图像序列，并且根据预拍摄算法，对采集到的UV图像序列进行处理，并根据处理结果通过如图2H所示的文字提示的方式提醒用户移动手机100或移动面部，使得人脸在合适的位置范围内，例如，使人脸处于紫外摄像头102镜头下视场角的中心位置处。在一些实施例中，手机100还可以通过语音提示用户移动手机100或移动面部。

又如，在一些实施例中，手机100通过后置摄像头105采集人脸的后置预览图像序列，并且根据预拍摄算法，对采集到的后置预览图像序列进行处理，并根据处理结果通过UI或语音提示用户移动手机100或移动面部，使得人脸在合适的位置范围内，例如，使人脸处于后置摄像头105镜头下视场角的中心位置处。

S404：根据算法的人脸检测输出，提示用户向左转头、向右转头、抬头、低头，完成全角度的预拍摄。从而使手机100可以完成对用户面部各角度UV图像的拍摄。

例如，在一些实施例中，在手机100确定出用户已将面部调整至合适的位置范围内之后，采集用户正面的UV图像，然后通过如图2J所示的UI界面或者通过语音提示用户将面部进行左转、右转、抬头、低头，从而采集用户不同角度的面部UV图像。以使手机100根据预拍摄算法对用户不同角度的面部UV图像进行防晒霜检测，得到不同角度UV图像对应的防晒霜检测结果，以及不同角度UV图像的防晒霜检测结果对应的不同角度UV图像中的人脸关键点。

S405：提示用户预拍摄完成。

在一些实施例中，在手机100已采集完用户面部的UV图像，例如已完成对用户面部各角度的UV图像拍摄之后，进入图2G所示的界面，弹出“请翻转至内屏”的提醒信息1005，提示用户预拍摄完成，以使用户再次翻转手机100，以使用户面部正对手机100的前置摄像头101，进入实时查看阶段。

在一些实施例中，在手机100已采集完用户面部的UV图像，例如已完成对用户面部各角度的UV图像拍摄之后，手机100还可以以语音提示的方式提示用户已完成预拍摄，以提示用户将手机100再次翻转，以使手机100的内屏103正对用户的面部。

下面将对上述S402中手机100启动预拍摄算法流程后，预拍摄算法的具体处理过程进行详细介绍。

可以理解，上述步骤S401至步骤S405的执行顺序只是一种示例，在另一些实施例中，也可以采用其他执行顺序，还可以拆分或合并部分步骤，在此不做限定。

继续参考图4，本申请实施例提供的一种防晒霜检测方法中对应于S402的一种预拍摄阶段的算法流程包括以下各步骤：

S4021：输入UV模组采集到的UV图像序列。

由于UV模组包括紫外摄像头102以及紫外补光灯104，因此，UV模组采集的UV图像序列也即紫外摄像头102采集的图像序列。

在一些实施例中，手机100还可以通过后置摄像头105采集人脸的后置预览图像序列，输入手机100的处理器110。

S4022：进行人脸检测及关键点检测。

例如，手机100通过处理器110将输入的UV图像序列或者后置预览图像序列通过人脸检测模型进行人脸检测，从而再根据检测出的人脸区域，对人脸区域的面部五官(包括眉毛、眼睛、鼻子、嘴巴)以及面部轮廓等关键区域进行关键点检测。其中，人脸关键点检测是指给定人脸图像，通过深度学习的方法、级联形状回归的方法等关键点检测方法，检测出人脸面部的关键区域位置并对这些关键区域进行关键点标注，例如对图5A所示的人脸图像中的面部五官以面部轮廓，以68点、98点、106点、186点中的其中一种标注方式进行关键点标注。

又如，手机100在确认人脸位置、距离合适之后，通过紫外摄像头102采集用户不同角度的面部UV图像，则手机100需要将这些用户不同角度的面部UV图像均进行人脸检测及关键点检测。

需要说明的是，紫外摄像头102在开启之后，会一直连续采集用户面部的UV图像，因此，本申请实施例会对紫外摄像头102采集到的每一帧UV图像进行人脸检测以及关键点检测。

S4023：计算人脸位置及大小，判断采集的UV图像是否符合条件。如果是，则表明采集的UV图像符合条件，人脸的位置、距离在合适的范围内，进入S4025；如果否，则表明采集的UV图像不符合条件，例如人脸距离手机100较远，拍摄的UV图像中人脸的面部区域较小，又如人脸的部分区域未拍摄到，则进入S4024，生成相应的提示信息以提示用户调整人脸位置，直至人脸在合适的位置范围内。

例如，手机100对UV图像序列或者后置预览图像序列进行人脸检测以及关键点检测，得到人脸检测结果以及关键点检测结果，根据人脸检测结果以及关键点检测结果确定出UV图像序列或者后置预览图像序列中的人脸几何中心和图像中的画面几何中心的距离，以及人脸大小占图像大小的比例。则手机100可以基于UV图像序列或者后置预览图像序列中的人脸几何中心和图像中的画面几何中心的距离是否小于预设的距离阈值，以及人脸大小占图像大小的比例是否在某预设范围内，通过UI界面或者输出语音提示指导用户移动手机100，或者移动用户的面部，直至人脸在合适的位置范围内。

S4024：生成提示信息，以提示用户调整人脸位置，直至UV图像符合条件。

也就是说，在手机100确定出采集的UV图像不符合条件时，可以生成提示信息，例如向左移动、向右移动、近一点、远一点等，并以文字、语音等形式提示用户移动手机100或者移动面部，直至人脸在合适的位置范围内。不难理解，如果采集的UV图像大小、距离合适，则检测出来的防晒霜涂抹情况较为准确。

S4025：计算人脸角度，生成提示信息以提示用户调整人脸姿态，并根据关键点截取人脸区域UV图像。

也即在手机100确定出人脸位置、距离已调整至合适的位置范围内之后，手机100根据例如图5A所示的实施例中标注的多个人脸关键点计算表征人脸角度的特征，例如，以图5A所示的人脸关键点为例：表征左右角度的特征：LR＝(p90.x-p103.x)/(p103.x-p71.x)；表征俯仰角度的特征：RB＝(p105.x-p103.x)/(p130.x-p108.x)。其中，p90为如图5A所示的人脸中右眼最左侧关键点，p103为鼻梁中央关键点，p71为左眼最右侧关键点，p105为鼻尖关键点，p130为嘴唇下边缘中央关键点，p108为鼻子底部中央关键点，x、y分别表示关键点的横、纵坐标。手机100通过UI提示或者语音提示，使得用户依次完成左右转头、抬低头的动作，以通过紫外摄像头102采集用户不同角度的面部图像。

针对每个角度的UV图像，可以根据各UV图像中的关键点，截取各UV图像中的面部区域，得到各角度UV图像对应的人脸区域UV图像。例如，根据如图5A所示标注的人脸图像的多个关键点，将用户在合适的位置范围内时手机100通过紫外摄像头102采集用户不同角度的面部UV图像进行截取，获得各角度面部UV图像对应的人脸区域UV图像。

S4026：对所获取的人脸区域UV图像进行防晒霜检测。

在一些实施例中，手机100将通过S4026获得的各角度面部UV图像对应的人脸区域UV图像输入训练好的防晒霜检测模型(例如U-Net模型)，进行防晒霜检测，得到用户面部的防晒霜涂抹区域的二值化黑白图像(以下将该图像简称为mask图像)。其中，防晒霜检测模型则是由大量的UV图像以及对应的二值化黑白图像训练得到的。例如，如图5B所示，将UV图像输入训练好的防晒霜检测模型进行防晒霜涂抹情况检测，得到如图5B所示的黑白的mask图像，该mask图像中涂抹足量的区域为黑色，涂抹不足量的区域为白色的区域z6。

在一些实施例中，为了使检测结果更加精细，防晒霜检测模型还可以是由大量的UV图像以及表征UV图像中防晒霜涂抹情况的灰度图像训练得到的。例如，将待检测的UV图像输入该防晒霜检测模型，则该模型输出对应的灰度图像，该灰度图像中黑色的区域为防晒霜涂抹足量的区域，白色的区域为未涂抹防晒霜的区域，灰色的区域为涂抹不足量的区域。

S4027：记录检测结果以及对应的人脸关键点。

例如，手机100将通过S4027获得的对应用户各角度面部UV图像的mask图像，以及用户各角度面部UV图像的人脸关键点进行记录(也即保存)。

在一些实施例中，手机100还可以对通过S4026获得的各角度面部UV图像进行人脸位置、大小、角度计算，保存各角度面部UV图像对应的人脸位置、大小、角度数据。

S4028：判断是否完成全角度拍摄。

如果是，则表明已完成对用户各角度的面部UV图像的拍摄，从而可以通过语音提示或者通过UI界面提示用户预拍摄完成，则手机100可以进入实时查看阶段。如果否，则进入S4025，直至拍摄完用户各角度的面部UV图像。

可以理解，上述步骤S4021至步骤S4028的执行顺序只是一种示例，在另一些实施例中，也可以采用其他执行顺序，还可以拆分或合并部分步骤，在此不做限定。例如，在一些实施例中，S4028还可以和S4025合并成一个步骤，例如，合并后的步骤为：计算人脸角度，判断是否完成全角度拍摄，如果未完成全角度拍摄，则生成提示信息以提示用户调整人脸姿态；如果已完成全角度拍摄，则根据关键点截取人脸区域UV图像，然后进入S4026进行人脸区域UV图像的防晒霜检测。

实时查看阶段

下面将对与上述图4所示的手机100的预拍摄阶段处理过程对应的实时查看阶段的处理过程进行详细介绍。

如图6所示的实时查看阶段的处理过程包括实时查看阶段的UI流程以及异步变换算法流程，图6所示的流程图中各步骤的执行主体也可以是图3所示的手机100。首先介绍图6所示的实时查看阶段的UI流程，具体地，参考图6，本申请实施例提供的一种防晒霜检测方法中实时查看阶段的UI流程包括以下各步骤：

S601：确定进入实时查看阶段。

例如，在一些实施例中，当手机100在确定已完成全角度拍摄，并通过语音或者UI提示用户预拍摄完成之后，手机100即可确定进入实时查看阶段。从而启动实时查看阶段的UI流程。

S602：判断预设时间段内是否有预拍摄记录。如果有，则表明预设时间段内有预拍摄记录，则可以进入S603确认用户是否需要重新进行预拍摄；否则表明预设时间段内没有预拍摄记录，则可以进入S604，启动预拍摄UI及算法流程。其中预设时间段例如可以是

距离上次预拍摄的时间在半个小时以内等预先设定的时间段。

S603：判断用户是否选择重新进行预拍摄。如果是，则表明需要重新进行预拍摄，进入S604，否则表明不需要重新进行预拍摄，进入S605。

例如，在一些实施例中，即使手机100确定在预设时间段内有预拍摄记录，但是由于有可能在上一次预拍摄结束之后，用户有补涂、重涂防晒霜，或有用户出现大量流汗、洗脸等情况，使得用户的防晒霜涂抹情况和上一次预拍摄时的防晒霜涂抹情况发生了变化，因此，用户可以在如图2K所示的手机100界面中弹出的“是否重新预拍摄”通知1006，决定是否触发手机100重新进行预拍摄。

S604：启动预拍摄UI以及算法流程。也就是重新拍摄UV图像，并基于拍摄的UV图像确定出这些UV图像的防晒霜检测结果。预拍摄UI以及算法流程具体可参考前述关于图4所示的预拍摄阶段的UI以及算法流程的相关描述，在此不再赘述。

S605：开启前置摄像头101并在内屏103显示预览画面。

在一些实施例中，在手机100确定有预设时间段内的预拍摄记录，并且无需重新进行预拍摄，或者手机100已经完成新的预拍摄UI流程以及UI算法流程之后，可以开启前置摄像头101采集用户的前置预览图像(RGB图像)，并在内屏103实时显示预览画面。

需要说明的是，手机100在开启前置摄像头101之后，会一直连续采集用户的前置预览图像。

S606：确定出前置预览图像对应的防晒霜检测结果。

也即在手机100通过前置摄像头101采集到用户的前置预览图像之后，手机100可以采用异步变换算法确定出与前置预览图像对应的防晒霜检测结果。例如，手机100运行图6所示的异步变换算法，从图4所示的预拍摄阶段采集的用户各角度面部UV图像中选择和当前帧(前置预览图像)最近的UV图像，并且将该UV图像对应的mask和当前帧进行融合。其中，具体的异步变换算法可以包括基于人脸对齐的异步变换算法，以及基于人脸三维重建的异步变换算法。对应于图4所示的预拍摄阶段的处理过程，图6采用基于人脸对齐的异步变换算法，将在下文结合S6061至S6066进行详细介绍，在此先不展开描述。而基于人脸三维重建的异步变换算法将在后文中结合另一实施例进行详细介绍。

S607：实时显示添加有防晒霜检测结果的预览画面。

也就是说通过运行异步变换算法从图4所示的预拍摄阶段采集的用户各角度面部UV图像中选择和当前帧(前置预览图像)最近的UV图像，并且将该UV图像对应的mask图像和当前帧作为不同的图层进行融合，得到融合后的图像，在融合后的图像中针对mask图像的不同区域填充RGB颜色空间中的不同颜色，将填充颜色后的图像作为预览画面进行实时显示。

例如，手机100最终通过如图2I所示的内屏103实时显示出RGB预览画面P4，其中P4中包括通过不同颜色标记出的未涂抹防晒霜的区域Z4和Z5，以供用户查看。

可以理解，上述步骤S601至步骤S607的执行顺序只是一种示例，在另一些实施例中，也可以采用其他执行顺序，还可以拆分或合并部分步骤，在此不做限定。

由于图6所示的实施例最终可以实现通过手机100的内屏103，也即面积较大的屏幕，实时显示用特定颜色标记出的需要补涂防晒霜的面部区域的前置预览图像，由于前置预览图像是RGB图像，也即是彩色的图像，可以在保证实时显示防晒霜检测结果的前提下，使检测结果以用户观感较好的彩色图像最大化显示，方便用户查看，有助于提升用户体验。

下面继续参考图6，对上述S606涉及的一种基于人脸对齐的异步变换算法进行详细介绍。具体地，如图6所示，本申请实施例提供的一种基于人脸对齐的异步变换算法包括以下各步骤：

S6061：输入前置摄像头101采集到的图像序列。

例如，手机100通过前置摄像头101连续采集到N张前置预览图像f1至fn，将f1至fn构成的图像序列输入手机100的处理器110。

S6062：进行人脸检测及关键点检测。

例如，手机100通过处理器110将输入的前置预览图像f1至fn通过人脸检测模型进行人脸检测，从而再根据检测出的人脸区域，对人脸区域的面部五官(包括眉毛、眼睛、鼻子、嘴巴)以及面部轮廓等关键区域进行关键点检测。并且采用和上述图4中S4022所选择的同一种关键点标注方法进行人脸关键点标注。

S6063：计算人脸位置、大小及角度。

例如，手机100将通过S6062得到的针对前置预览图像f1至fn的人脸检测以及关键点检测结果，计算出前置预览图像中人脸的位置、大小以及角度等特征。以根据前置预览图像中人脸的位置、大小、角度等特征，从预拍摄阶段拍摄的UV图像序列中确定出和前置预览图像中人脸的位置、大小、角度最接近的UV图像。

S6064：搜索预拍摄阶段所保存的所有图像序列，查找与当前帧f的人脸位置、大小及角度最接近的预拍摄帧fs。其中，当前帧f可以为前置预览图像f1至fn中的其中一帧图像。

例如，在一些实施例中，手机100搜索在图4所示的预拍摄阶段保存的针对S4026获取的各角度面部UV图像的人脸位置、大小、角度数据，从而查找出与当前帧f的人脸位置、大小及角度最接近的预拍摄帧fs(UV图像)。

S6065：将f与fs进行人脸对齐，计算得到fs到f的变换关系T。其中，fs到f的变换关系T是指：fs中的各关键点和f中对应关键点之间的位置变换关系。

例如，手机100可以将当前帧f与预拍摄帧fs根据人脸关键点进行三角化处理，然后将前置预览图像f与预拍摄帧fs中的每对人脸三角计算仿射变换，使得预拍摄帧fs中的每个三角经过变换后与预览图像f中对应的三角对齐，这些变换的集合即构成了变换关系T。

S6066：根据变换关系T将fs的防晒霜检测结果(mask图像)进行变换，得到f中对应区域的防晒霜检测结果。

也就是说，在确定出fs到f的变换关系T之后，将fs的防晒霜检测结果(mask图像)基于变换关系T进行变换，得到变换后的mask图像，则变换后的mask图像则为f的防晒

霜检测结果。以使手机100将f和变换后的mask图像进行融合，得到融合后的图像，从而将融合后的图像作为预览画面进行显示。

可以理解，上述步骤S6061至步骤S6066的执行顺序只是一种示例，在另一些实施例中，也可以采用其他执行顺序，还可以拆分或合并部分步骤，在此不做限定。

下面将继续以手机100为例，对手机100执行本申请实施例提供的另一种防晒霜检测的具体过程进行详细介绍。同样是将整个防晒霜检测分为预拍摄阶段和实时查看阶段，预拍摄阶段的具体处理过程如图7所示。

预拍摄阶段

图7所示的预拍摄阶段的处理过程包括预拍摄阶段UI流程以及预拍摄阶段的算法流程。图7所示的各步骤的执行主体可以为手机100。其中，图7所示的上述预拍摄阶段的UI流程S701至S705与图4所示的预拍摄阶段的UI流程S401至S405完全相同，以下将不再详述。下面仅对图7 所示的流程图中与图4所示的流程图不同的部分“预拍摄阶段算法流程”的内容进行详细介绍。图7和图4中涉及的“预拍摄阶段算法流程”区别在于：图7和图4最终获得的用以表征UV图像的防晒霜检测结果的数据表示的形式不同。

图7涉及的“预拍摄阶段算法流程”是：手机100根据UV图像序列、各UV图像的关键点信息进行三维人脸重建，得到重建的三维人脸，并且利用上述得到的各UV图像对应的mask图像对该三维人脸进行着色，得到着色后的三维人脸，并记录着色后的三维人脸的相关数据。以根据着色后的三维人脸，确定出前置预览图像中人脸区域的防晒霜涂抹情况。

图4涉及的“预拍摄阶段算法流程”是：手机100确定出满足条件的，各角度的UV图像对应的mask图像以及各UV图像的关键点信息。以根据各角度的UV图像对应的mask图像以及各UV图像的关键点信息，确定出前置预览图像中人脸区域的防晒霜涂抹情况。

具体地，图7所示的预拍摄阶段算法流程包括以下内容:

S7021：输入UV模组采集到的图片序列。由于UV模组包括紫外摄像头102以及紫外补光灯104，因此，UV模组采集的UV图像序列也即紫外摄像头102采集的图像序列。

S7022：进行人脸检测及关键点检测。

例如，手机100通过处理器110将输入的UV图像序列或者后置预览图像序列通过人脸检测模型进行人脸检测，从而再根据检测出的人脸区域，对人脸区域的面部五官(包括眉毛、眼睛、鼻子、嘴巴)以及面部轮廓等关键区域进行关键点检测。

S7023：计算人脸位置及大小，判断采集的UV图像是否符合条件。如果是，则表明采集的UV图像符合条件，人脸的位置、距离在合适的范围内，进入S7025；如果否，则表明采集的UV图像不符合条件，例如人脸距离手机100较远，拍摄的UV图像中人脸的面部区域较小，又如人脸的部分区域未拍摄到，则进入S7024，生成相应的提示信息以提示用户调整人脸位置，直至人脸在合适的位置范围内。

在一些实施例中，手机100还可以基于UV图像序列或者后置预览图像序列中的人脸几何中心和图像中的画面几何中心的距离是否小在预设的距离阈值，以及人脸大小占图像大小的比例是否在某预设范围内，输出语音提示指导用户移动手机100，或者移动用户的面部，直至人脸在合适的位置范围内。

S7024：生成提示信息，以提示用户调整人脸位置，直至UV图像符合条件。

S7025：计算人脸角度，生成提示信息以提示用户调整人脸姿态，并根据关键点截取人脸区域UV图像。具体可参考以上关于图4中S4025的相关描述，在此不再赘述。

S7026：对所获取的人脸区域UV图像进行防晒霜检测。具体可参考以上关于图4中S4026的相关描述，在此不再赘述。

S7027：基于当前帧的关键点重建三维人脸模型。

这里的当前帧是指手机100在预拍摄阶段，在确定用户的人脸位置、距离合适之后，通过紫外摄像头102采集到的各角度面部UV图像对应的人脸区域UV图像。

应理解，在手机100启动紫外摄像头102之后，紫外摄像头102在持续采集各角度面部UV图像。因此，前述各角度面部UV图像中的每一帧都可以被称为当前帧。

例如，手机100根据紫外摄像头102持续采集到的各角度面部UV图像的关键点，采用三维可变形人脸模型(3D Morphable Face Model，3DMM)实现三维人脸重建，得到如图8A所示的三维人脸。

S7028：将当前帧的防晒霜检测结果与三维人脸建立映射关系。

其中，当前帧的防晒霜检测结果也即上述各角度面部UV图像的防晒霜检测结果，为例如图5B所示的黑白图像，或者是灰度图像。

示例性地，将三维人脸进行不同角度的二维投影，则投影得到的二维图像和不同角度的UV图像对应的防晒霜检测结果(mask图像)一一对应。三维人脸中各个人脸区域为“面片”，则上述投影得到的二维图像则是由三维人脸中的对应的三维面片投影得到的。

例如，在一些实施例中，针对图8A所示的三维人脸，其中对应于图8B所示的mask图像中涂抹不足的区域Z7的面片为图8C所示的Z8。

S7029：利用当前帧的防晒霜检测结果对三维人脸的面片进行着色。

例如，对于mask图像中通过不同颜色所表征的涂抹足量、不足量的区域，分别将其在三维人脸中对应的面片用不同的颜色进行着色。而对于mask图像中未涂抹的区域，将其在三维人脸中对应的面片不着色。也可以对mask图像中未涂抹的区域利用和上述涂抹足量、不足量的区域所对应的面片不同的颜色，对三维人脸中相应的面片进行着色。

在一些实施例中，由于用户更想关注涂抹不足量的区域以及未涂抹的区域，因此，还可以将于mask图像中涂抹不足量以及未涂抹的区域在三维人脸中对应的面片用不同的颜色进行着色。具体着色方式可以根据需要来确定，本申请对此不作限定。

在一些实施例中，由于针对用户各角度的UV图像都有相应的mask图像(也即防晒霜检测结果)，因此需要利用不同角度的UV图像对应的mask图像对三维人脸进行着色。不同角度UV图像对应的mask图像对三维人脸分别进行着色的结果可以为如图8D所示。

S7030：判断是否完成全角度拍摄。是则表明已完成全角度拍摄，进入S7031，记录已着色完毕的三维人脸；否则表明仍未完成全角度拍摄，返回S7025，直至拍摄完用户各角度的面部UV图像。

S7031：记录着色完毕的三维人脸供UI提示预拍摄完毕。

也即在手机100确定已完成全角度的UV图像拍摄之后，保存着色完毕的三维人脸，并且可以通过UI提示用户预拍摄完毕。例如，手机100确定预拍摄完毕之后，在外屏106中弹出如图2G所示的“请翻转至内屏”的提示1005，以提示用户预拍摄完毕，并翻转手机100进行前置预览图像的拍摄。

可以理解，上述图7所示的流程图中的执行顺序只是一种示例，在另一些实施例中，也可以采用其他执行顺序，还可以拆分或合并部分步骤，在此不做限定。

实时查看阶段

下面将对与上述图7所示的手机100的预拍摄阶段处理过程对应的实时查看阶段的处理过程进行详细介绍。

如图9所示的实时查看阶段的处理过程包括实时查看阶段的UI流程以及异步变换算法流程，图9所示的流程图中各步骤的执行主体也可以是图3所示的手机100。图9所示的流程图中的实时查看阶段的UI流程中的S901至S907和图6所示的实时查看阶段的UI流程中的S601至S607 完全相同，以下只简单说明，不再详述，如图9所示的实时查看阶段的UI流程包括以下内容：

S901：确定进入实时查看阶段。

S902：判断预设时间段内是否有预拍摄记录。如果有，则表明预设时间段内有预拍摄记录，则可以进入S903确认用户是否需要重新进行预拍摄；否则表明预设时间段内没有预拍摄记录，则可以进入S904，启动预拍摄UI及算法流程。其中预设时间段例如可以是

S903：判断用户是否选择重新进行预拍摄。如果是，则表明需要重新进行预拍摄，进入S904，否则表明不需要重新进行预拍摄，进入S905。

S904：启动预拍摄UI以及算法流程。预拍摄UI以及算法流程具体可参考前述关于图7所示的预拍摄阶段的UI以及算法流程的相关描述，在此不再赘述。

S905：开启前置摄像头101并在内屏103显示预览画面。在一些实施例中，在手机100确定有预设时间段内的预拍摄记录，并且无需重新进行预拍摄，或者手机100已经完成新的预拍摄UI流程以及UI算法流程之后，可以开启前置摄像头101采集用户的前置预览图像(RGB图像)，并在内屏103实时显示预览画面。

S906：确定出前置预览图像对应的防晒霜检测结果。

也即在手机100通过前置摄像头101采集到用户的前置预览图像之后，手机100可以采用异步变换算法确定出与前置预览图像对应的防晒霜检测结果。具体的异步变换算法将在下文中结合S9061至S9065进行详细介绍，在此不再展开描述。

S907：实时显示添加有防晒霜检测结果的预览画面。

也就是将通过运行异步变换算法确定出的mask图像和当前帧作为不同的图层进行融合，得到融合后的图像，在融合后的图像中针对mask图像的不同区域填充RGB颜色空间中的不同颜色，将填充颜色后的图像作为预览画面进行实时显示。下面对图9所示的流程图中的实时查看阶段的异步变换算法进行详细介绍。其中填充有“灰色背景”的S9061、S9062和图6所示的实时查看阶段异步变换算法中的S6061、S6062完全相同，以下将简单描述，不再重复赘述。对图9所示的异步变换算法流程中的S9063至S9065进行详细介绍。图9所示的异步变换算法包括以下内容：

S9061：输入前置摄像头采集到的图片序列。

S9062：进行人脸检测及关键点检测。

例如，手机100通过处理器110将输入的前置预览图像f1至fn通过人脸检测模型进行人脸检测，从而再根据检测出的人脸区域，对人脸区域的面部五官(包括眉毛、眼睛、鼻子、嘴巴)以及面部轮廓等关键区域进行关键点检测。并且采用和上述图7中S7022所选择的同一种关键点标注方法进行人脸关键点标注。

S9063：读取预拍摄阶段记录的三维人脸。

也即读取图7所示的预拍摄阶段在S7032记录的着色完毕的三维人脸。其中包含采用

不同角度的UV图像对应的防晒霜检测结果(mask图像)着色后的面片。

S9064：旋转三维人脸，使其与当前帧人脸的角度一致。

可以通过改变三维人脸的角度，并将其进行二维投影，计算投影后的二维图像中人脸关键点与当前帧(通过前置摄像头101拍摄的前置预览图像)人脸关键点的距离。例如将着色完毕的三维人脸旋转为图10A所示的状态，将图10A所示的三维人脸投影成图10B所示的二维图像，对图10B所示的二维图像中各个人脸关键点与当前帧中对应的各关键点的位置差进行加权求和，确定出加权求和的结果趋近于0或尽可能小时，则确定图10A所示的三维人脸当前的旋转角度与当前帧一致。

S9065：将旋转后的三维人脸进行二维投影，根据面片颜色得到当前帧的检测结果(mask图像)。

在一些实施例中，可以将旋转后的三维人脸进行二维投影得到的图像确定为当前帧(前置预览图像)对应的mask图像。并且将该UV图像对应的mask和当前帧作为不同的图层进行融合，得到融合后的图像，在融合后的图像中针对mask图像的不同区域填充RGB颜色空间中的不同颜色，将填充颜色后的图像作为预览画面进行实时显示。

此外，本申请实施例还可以实现将历史防晒霜涂抹状况和当前涂抹状况进行比对的功能。图11示出了本申请实施例提供的一种将历史防晒霜涂抹状况和当前涂抹状况进行比对的流程，其中各步骤的执行主体也可以为手机100，具体地，图11所示的流程图包括以下各步骤：

S1101：确定用户点选“与历史对比”功能。

例如，在图12A所示的实施例中，用户点击“与历史对比”控件1007，手机100检测到用户的这一点击操作，确定出用户点选了“与历史对比”功能。可以理解的是，这里“与历史对比”控件1007的名称只是一种示例，在实际应用中，可以以其他名称来表示与历史对比功能对应的控件，本申请对此不作限定。

S1102：判断是否有保存的预拍摄记录。如果是，则表明有保存的预拍摄记录，进入S1104，显示保存的预拍摄记录供用户选择；否则表明没有保存的预拍摄记录，则进入S1103，提示用户没有可对比的历史记录。

S1103：提示用户没有可对比的历史记录。

例如，用户点击图12A所示的“与历史对比”控件1007，手机100判断出没有保存的预拍摄记录，则弹出如图12B所示的“没有历史记录”控件1008，以提示用户没有可对比的历史记录。

S1104：显示所有保存的预拍摄记录的时间供用户选择。

例如，用户点击图12A所示的“与历史对比”控件1007，手机100判断出有保存的预拍摄记录，则进入如图12C所示的界面，显示出保存的预拍摄记录的时间等信息，供用户选择。

S1105：获取用户选择的预拍摄记录。

在一些实施例中，用户可以选择一条预拍摄记录。在一些实施例中，用户还可以同时选择多条预拍摄记录。例如，用户在图12C所示的界面中点击控件1009，则手机100获取用户选择的预拍摄记录2。

S1106：开启前置摄像头101并在内屏103显示预览画面。

例如，手机100确定用户选择某一条或多条预拍摄记录之后，开启前置摄像头101采集用户的前置预览图像，并在内屏103显示预览图像。

S1107：将前置摄像头101采集的图片序列及用户选择的预拍摄记录作为输入，运行异步变换算法，获取该预拍摄时间的历史检测结果在当前预览图片序列上的对应结果。

也即通过运行异步变换算法，确定出预拍摄记录所对应的预拍摄时间的历史检测结果(mask 图像)和前置摄像头101实时采集的前置预览图像之间的映射关系，从而根据该映射关系，确定出预拍摄记录所对应的预拍摄时间的历史检测结果(mask图像)映射得到的映射检测结果。也就是说，将该预拍摄记录所对应的历史检测结果，经过异步变换算法，变换为与当前预览界面的人脸各区域位置相对应的显示结果。

其中异步变换变换算法可以为图6或者图9所示的实施例中的任意一种异步变换算法。

S1108：执行实时查看阶段流程，获得当前实时检测结果。

也就是说针对当前防晒霜涂抹状况，执行实时查看阶段流程，获取当前实时检测结果。

S1109：将历史结果与实时检测结果以不同图层叠加显示在预览画面上。以供用户可以直观地对比查看到用户所选取的历史记录对应的历史检测结果，和当前实时检测结果。

例如，在如图12D所示的实施例中，手机100将历史结果与实时检测结果，以及当前帧(前置预览图像)进行融合，使得用户可以直观地查看到历史记录的未涂抹防晒霜的区域为Z9，而当前未涂抹防晒霜的区域为Z4和Z5。其中，历史结果与实时检测结果可以以不同的颜色进行区别显示。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例还提供了一种电子设备，该电子设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(Digital Signal Processor，DSP)、微控制器、专用集成电路(Application Specific Integrated Circuit，ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims

一种面部特征检测方法，应用于电子设备，所述电子设备包括位于所述电子设备不同侧的第一摄像头和第二摄像头，以及位于所述第二摄像头同一侧的第一屏幕，其特征在于，所述方法包括：

检测到对用户的面部特征进行检测的检测指令；

响应于所述检测指令，获取通过所述第一摄像头采集的多张包括用户面部的紫外图像；

获取通过所述第二摄像头采集的包括用户面部的第一预览图像，其中所述第一预览图像为彩色图像；

根据各紫外图像中用户的面部特征，确定出所述预览图像中用户的面部特征；

根据确定出的所述第一预览图像中用户的面部特征，对所述第一预览图像中用户面部区域的像素点的像素值进行调整，得到目标图像；

通过所述第一屏幕显示所述目标图像。
根据权利要求1所述的方法，其特征在于，所述紫外图像用于进行对用户面部的防晒霜涂抹情况的检测。
根据权利要求2所述的方法，其特征在于，

所述响应于所述检测指令，获取通过所述第一摄像头采集的多张包括用户面部的紫外图像，包括：

响应于所述检测指令，在确定出需要重新采集多张包括用户面部的紫外图像时，提示用户面对所述第一摄像头，并且通过所述第一摄像头采集到多张包括用户面部的紫外图像。
根据权利要求3所述的方法，其特征在于，所述获取通过所述第二摄像头采集的包括用户面部的第一预览图像，包括：

在确定出已完成对所述多张包括用户面部的紫外图像的重新采集，或者在确定出无需重新采集多张包括用户面部的紫外图像时，提示用户面对所述第二摄像头，并且通过所述第二摄像头采集包括用户面部的第一预览图像。
根据权利要求2至4中任一项所述的方法，其特征在于，还包括：

确定出各紫外图中用户面部的防晒霜检测结果、各紫外图像的关键点信息以及第一预览图像的关键点信息。
根据权利要求5所述的方法，其特征在于，所述用户的面部特征包括用户面部的防晒霜检测结果，

所述根据各紫外图像中用户的面部特征，确定出所述第一预览图像中用户的面部特征，包括：

根据确定出的所述各紫外图中用户面部的防晒霜检测结果，以及所述各紫外图像的关键点信息和所述第一预览图像的关键点信息，确定出所述第一预览图像中面部的防晒霜检测结果。
根据权利要求6所述的方法，其特征在于，

所述根据确定出的所述各紫外图中用户面部的防晒霜检测结果，以及所述各紫外图像的关键点信息和所述第一预览图像的关键点信息，确定出所述第一预览图像中面部的防晒霜检测结果，包括：

根据所述各紫外图像的关键点信息、所述第一预览图像的关键点信息，确定出所述多张用户面部的紫外图像中和所述第一预览图像匹配的目标紫外图像；

根据所述目标紫外图像的关键点信息、所述第一预览图像的关键点信息，确定出所述目标紫外图像和所述第一预览图像之间的变换关系；

根据所述变换关系以及所述目标紫外图像对应的防晒霜检测结果，确定出所述第一预览图像中用户面部的防晒霜检测结果。
根据权利要求7所述的方法，其特征在于，

所述根据所述各紫外图像的关键点信息、所述第一预览图像的关键点信息，确定出所述多张用户面部的紫外图像中和所述第一预览图像匹配的目标紫外图像，包括：

根据各紫外图像的关键点信息分别计算出各紫外图像中的人脸位置、人脸大小以及人脸角度，并且根据所述第一预览图像的关键点信息计算出所述预览图中的人脸位置、人脸大小以及人脸角度；

从所述多张用户面部的紫外图像中确定出人脸位置、人脸大小以及人脸角度和所述第一预览图像接近的紫外图像作为所述目标紫外图像。
根据权利要求5所述的方法，其特征在于，所述电子设备还包括位于所述第一摄像头同一侧的第二屏幕，在确定出所述第一预览图像中面部的防晒霜检测结果之前，所述方法还包括：

根据各紫外图像的关键点信息分别计算出各紫外图像中的人脸位置、人脸大小以及人脸角度；

根据计算出的各紫外图像中的人脸位置、人脸大小以及人脸角度，生成第一提示信息；

通过所述第二屏幕显示所述第一提示信息，以提示用户调整面部位置和/或面部姿态。
根据权利要求9所述的方法，其特征在于，所述电子设备还包括位于所述第一摄像头同一侧的第三摄像头，所述方法还包括：

响应于所述检测指令，获取通过所述第三摄像头采集的多张包括用户面部的第二预览图像；

确定出各第二预览图像的关键点信息；

根据各第二预览图像的关键点信息分别计算出各第二预览图像中的人脸位置、人脸大小以及人脸角度；

根据计算出的各第二预览图像中的人脸位置、人脸大小以及人脸角度，生成第二提示信息；

通过所述第二屏幕显示所述第二提示信息，以提示用户调整面部位置和/或面部姿态。
根据权利要求7所述的方法，其特征在于，

所述根据所述目标紫外图像的关键点信息、所述第一预览图像的关键点信息，确定出所述目标紫外图像和所述第一预览图像之间的变换关系，包括：

根据所述目标紫外图像的关键点信息对所述目标紫外图像的关键点进行三角化处理，并且根据所述第一预览图像的关键点信息对所述第一预览图像的关键点进行三角化处理；

对所述目标紫外图像中三角化处理后得到的各人脸三角，和所述第一预览图像中对应的人脸三角之间进行仿射变换，计算出所述目标紫外图像中的各人脸三角和所述第一预览图像中对应的人脸三角之间的变换关系；

将所述目标紫外图像中的各人脸三角和所述第一预览图像中对应的人脸三角之间的变换关系的构成的集合，确定为所述目标紫外图像和所述第一预览图像之间的变换关系。
根据权利要求7所述的方法，其特征在于，

所述根据所述变换关系以及所述目标紫外图像对应的防晒霜检测结果，确定出所述第一预览图像中用户面部的防晒霜检测结果，包括：

基于所述目标紫外图像和所述第一预览图像之间的变换关系，对所述目标紫外图像对应的防晒霜检测结果进行变换，得到对应于所述目标紫外图像的变换后的防晒霜检测结果；

将所述变换后的防晒霜检测结果，确定为所述第一预览图像中用户面部的防晒霜检测结果。
根据权利要求6所述的方法，其特征在于，

所述根据确定出的所述各紫外图中用户面部的防晒霜检测结果，以及所述各紫外图像的关键点信息和所述第一预览图像的关键点信息，确定出所述第一预览图像中面部的防晒霜检测结果，包括：

根据所述各紫外图像的关键点信息，进行三维人脸重建，得到未着色的三维人脸以及所述三维人脸的关键点信息；

根据所述各紫外图中用户面部的防晒霜检测结果，对所述未着色的三维人脸进行着色，得到着色后的三维人脸；

根据所述着色后的三维人脸、所述三维人脸的关键点信息、所述第一预览图像的关键点信息，确定出所述第一预览图像中用户面部的防晒霜检测结果。
根据权利要求13所述的方法，其特征在于，

所述根据所述着色后的三维人脸、所述三维人脸的关键点信息、所述第一预览图像的关键点信息，确定出所述第一预览图像中用户面部的防晒霜检测结果，包括：

在三维空间中旋转所述着色后的三维人脸，得到多角度的三维人脸；

将所述多角度的三维人脸进行二维投影，得到多角度的投影人脸，并基于所述三维人脸的关键点信息确定出各角度的投影人脸对应的人脸关键点信息；

基于所述各角度的投影人脸对应的人脸关键点信息、所述第一预览图像的关键点信息，从所述多角度的投影人脸中筛选出和所述第一预览图像匹配的投影人脸，将所述匹配的投影人脸确定为所述第一预览图像中用户面部的防晒霜检测结果。
根据权利要求14所述的方法，其特征在于，

所述基于所述各角度的投影人脸对应的人脸关键点信息、所述第一预览图像的关键点信息，从所述多角度的投影人脸中筛选出和所述第一预览图像匹配的投影人脸，包括：

分别计算出各角度的投影人脸中的人脸关键点和所述第一预览图像的对应的人脸关键点的位置差，并且分别对各角度的投影人脸中所有的位置差进行加权求和；

将加权求和的结果满足条件的投影人脸确定为和所述第一预览图像匹配的投影人脸。
根据权利要求1至15中任一项所述的方法，其特征在于，还包括：

检测到对用户面部的防晒霜涂抹情况和历史防晒霜检测记录进行对比的指令；

响应于所述检测指令，确定出所述历史防晒霜检测记录对应的多张包括用户面部的历史紫外图像，以及各历史紫外图像的关键点信息和各历史紫外图像中用户面部的防晒霜检测结果；

根据所述各历史紫外图像的关键点信息、所述各历史紫外图像中用户面部的防晒霜检测结果以及所述第一预览图像的关键点信息，确定出第一预览图像中用户面部的历史防晒霜检测结果；

根据确定出的第一预览图像中用户面部的历史防晒霜检测结果，对所述第一预览图像中用户面部区域的像素点的像素值进行调整，得到待叠加图像，其中，在所述待叠加图像的用户面部区域中，防晒霜涂抹程度不同的子区域的像素点的像素值不同；

将所述目标图像和所述待叠加图像作为不同图层进行叠加，得到叠加图像；通过所述第一屏幕显示所述叠加图像。
根据权利要求5所述的方法，其特征在于，所述确定出各紫外图中用户面部的防晒霜检测结果、各紫外图像的关键点信息以及第一预览图像的关键点信息，包括：

利用深度学习的方法或者级联形状回归的方法，分别对所述各紫外图像、所述第一预览图像进行关键点检测，得到所述各紫外图像的关键点信息以及所述第一预览图像的关键点信息；

利用预设的防晒霜检测模型对所述各紫外图像分别进行用户面部防晒霜涂抹情况检测，得到所述各紫外图中用户面部的防晒霜检测结果。
根据权利要求1至17中任一项所述的方法，其特征在于，

所述各紫外图像的采集时间和所述第一预览图像的采集时间之间的差值小于时间阈值。
根据权利要求9所述的方法，其特征在于，

所述第一屏幕为内屏，所述第二屏幕为外屏，或者

所述第一屏幕为折叠屏，所述第二屏幕为外屏。
根据权利要求18所述的方法，其特征在于，所述第一屏幕的面积大于所述第二屏幕的面积。
根据权利要求10所述的方法，其特征在于，

所述第一摄像头为紫外摄像头，所述第二摄像头为前置摄像头，所述第三摄像头为后置摄像头。
根据权利要求1至21中任一项所述的方法，其特征在于，还包括：

在所述目标图像的用户面部区域中，防晒霜涂抹程度不同的子区域的显示色彩不同。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，该指令在电子设备上执行时使电子设备执行权利要求1-22中任一项所述的面部特征检测方法。
一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，所述指令当被一个或多个处理器执行时用于实现如权利要求1-22中任一项所述的面部特征检测方法。
一种电子设备，其特征在于，包括：

存储器，用于存储指令，以及

一个或多个处理器，当所述指令被所述一个或多个处理器执行时，所述处理器执行如权利要求1-22中任一项所述的面部特征检测方法。