WO2019105285A1 - 人脸属性识别方法、电子设备及存储介质 - Google Patents

人脸属性识别方法、电子设备及存储介质 Download PDF

Info

Publication number
WO2019105285A1
WO2019105285A1 PCT/CN2018/117013 CN2018117013W WO2019105285A1 WO 2019105285 A1 WO2019105285 A1 WO 2019105285A1 CN 2018117013 W CN2018117013 W CN 2018117013W WO 2019105285 A1 WO2019105285 A1 WO 2019105285A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
attributes
face
face image
values
Prior art date
Application number
PCT/CN2018/117013
Other languages
English (en)
French (fr)
Inventor
葛彦昊
李季檩
汪铖杰
Original Assignee
腾讯科技(深圳)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技(深圳)有限公司 filed Critical 腾讯科技(深圳)有限公司
Publication of WO2019105285A1 publication Critical patent/WO2019105285A1/zh
Priority to US16/665,060 priority Critical patent/US11151360B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

人脸属性识别方法可以调用属性识别模型,将待识别的人脸图像输入属性识别模型,由属性识别模型对人脸图像进行前向计算,按照属性的不同类型获取属性值,输出多个属性值,也即是人脸图像的多个属性的识别结果。该方法考虑到了当属性分别为连续变量和定性变量的情况,提高了对连续变量的识别精度。

Description

人脸属性识别方法、电子设备及存储介质
本申请要求于2017年11月28日提交的申请号为2017112144676、发明名称为“人脸属性识别方法及装置、电子设备及存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及模式识别技术领域,特别涉及一种人脸属性识别方法、电子设备及存储介质。
背景技术
随着模式识别技术的发展,人脸识别技术在各个领域应用广泛。为了提供更有针对性的服务,还可以对图像中的人脸属性进行识别。人脸属性识别方法是根据给定的输入图像,利用模式识别技术判断图像中人脸属性的过程。其中,人脸属性包括:年龄、性别、表情、发型、是否配戴眼镜等。
目前的人脸属性识别方法为:首先对图像进行人脸检测,得到人脸的坐标框,然后,对坐标框内的人脸图像进行人脸配准,进行归一化处理,最后将归一化后的人脸图像输入至属性识别模型中,属性识别模型可以对归一化后的人脸图像进行特征提取,并基于提取到的特征,对人脸属性进行分类,获取多个人脸属性,以实现人脸属性识别过程。
发明内容
本申请实施例提供了一种人脸属性识别方法、电子设备及存储介质,解决了相关技术中人脸属性识别精度低的问题。所述技术方案如下:
一方面,提供了一种人脸属性识别方法,应用于电子设备上,所述方法包括:
获取待识别的人脸图像;
调用属性识别模型,将所述人脸图像输入所述属性识别模型,由所述属性识别模型对所述人脸图像进行前向计算,按照属性的不同类型获取属性值,输出所述人脸图像的多个属性值,所述多个属性值用于指示所述人脸图像的多个属性的识别结果;
其中,所述属性识别模型基于多个样本人脸图像以及所述多个样本人脸图像的多个已知属性识别结果按照属性的不同类型进行训练得到。
一方面,提供了一种人脸属性识别装置,应用于电子设备上,所述装置包括:
获取模块,用于获取待识别的人脸图像;
输入输出模块,用于调用属性识别模型,将所述人脸图像输入所述属性识别模型,由所述属性识别模型对所述人脸图像进行前向计算,按照属性的不同类型获取属性值,输出所述人脸图像的多个属性值,所述多个属性值用于指示所述人脸图像的多个属性的识别结果;
其中,所述属性识别模型基于多个样本人脸图像以及所述多个样本人脸图像的多个已知属性识别结果按照属性的不同类型进行训练得到。
一方面,提供了一种电子设备,所述电子设备包括:处理器;用于存放计算机程序的存储器;其中,所述处理器用于执行存储器上所存放的计算机程序,实现所述人脸属性识别方法的方法步骤。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现所述人脸属性识别方法的方法步骤。
本申请实施例通过电子设备对获取到的图像进行人脸检测、人脸配准、归一化处理等处理后,将处理后的图像输入到属性识别模型中,由属性识别模型对该处理后的图像进行人脸属性识别,且,在识别过程中,该属性识别模型可以按照属性的不用类型采用不同的处理方式,也即是考虑到了当属性分别为连续变量和定性变量的情况,提高了人脸属性识别中对连续变量的识别精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种人脸识别系统示意图;
图2是本申请实施例提供的一种属性识别模型训练方法流程图;
图3是本申请实施例提供的一种属性识别模型训练方法的示意图;
图4是本申请实施例提供的一种人脸属性识别方法流程图;
图5是本申请实施例提供的一种人脸属性识别装置的结构示意图;
图6是本申请实施例提供的一种人脸属性识别装置的结构示意图;
图7是本申请实施例提供的一种人脸属性识别装置的结构示意图;
图8是本申请实施例提供的一种人脸属性识别装置的结构示意图;
图9是本申请实施例提供的一种电子设备900的结构框图;
图10是本申请实施例提供的一种人脸属性识别装置1000的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请 实施方式作进一步地详细描述。
图1是本申请实施例提供的一种人脸识别系统示意图,如图1所示,该人脸识别系统包括终端和服务器:该终端和该服务器之间通过网络连接,可以进行数据交互。该终端可以作为图像采集设备,可以对图像进行采集,并将采集到的图像转换为计算机可读的形式,该终端还可以作为识别设备,对其采集到的图像进行人脸识别,得到该图像的有效信息。该服务器也可以作为识别设备,对终端采集到的图像进行人脸识别。该服务器还可以基于识别结果提供针对性的服务,例如,可以通过人脸识别进行身份验证,完成支付、门禁管理等。
该人脸识别系统具有人脸捕获与跟踪功能、人脸建模与检索功能、真人鉴别功能和图像质量检测功能,在此不多做赘述。该人脸识别系统还可以识别人脸图像的人脸属性,人脸属性包括:年龄、性别、表情、发型、是否配戴眼镜等,下述通过图2、图3和图4所示实施例,针对人脸属性识别方法和属性识别模型训练方法进行说明。
图2是本申请实施例提供的一种属性识别模型训练方法流程图,该属性识别模型训练方法可以应用于电子设备上,该电子设备可以被提供为服务器或终端,本申请实施例对此不作限定。参见图2,该方法包括以下步骤:
201、电子设备获取多个样本人脸数据,将该多个样本人脸数据输入初始模型。
多个样本人脸数据包括多个样本人脸图像和每个样本人脸图像的多个属性对应的属性值。人脸图像的多个属性可以分为不同的类型,当属性为连续变量时,可以将该类型的属性称为回归属性,例如年龄。当属性为定性变量时,该属性不是回归属性,例如性别。其中,定性变量能够反映现象的属性特点,而不能具体说明量的大小,也即是,定性变量只有分类特征,而没有量的特征。
由于属性的类型不同,用于指示属性的属性值也可以具有不同的表示形式,属性的属性值可以是数值形式,也可以是向量形式。
例如,该多个属性可以是年龄、性别、表情。该多个属性中年龄是回归属性,性别和表情不是回归属性,在一个具体的可能实施例中,可以采用数值形式来表示各个属性。例如,性别有两种,可以用0代表男,用1代表女。表情可以有6种:快乐、伤心、恐惧、愤怒、惊讶和厌恶。可以为6种表情进行编号,分别是0、1、2、3、4、5。电子设备获取的多个样本人脸图像中的两个人脸图像的属性可以分别是20、女、快乐和30、男、愤怒。则这两个人脸图像的多个属性的属性值可以是20、1、0和30、0、3。当电子设备获取到这两个样本人脸数据后,为了降低模型计算的难度,可以分别对这两个样本人脸数据中的人脸图像的多个属性的属性值进行归一化处理,得到数值形式的属性值和向量形式的属性值,该属性值的取值范围为[0,1]。年龄是回归属性,采用数值形式表示,而性别和表情不是回归属性,可以采用向量形式表示,则上述两个人脸图像的多个属性的属性值转换为0.2、(0,1)、(1,0,0,0,0,0)和0.3、(1,0)、(0,0,0,1,0,0)。当然,该样本人脸数据中的多个属性对 应的属性值也可以是归一化处理后的属性值,本申请实施例对此不作限定。
电子设备可以在人脸数据库中获取多个样本人脸数据,并基于该多个样本人脸数据训练模型,得到属性识别模型。该人脸数据库中可以包括大量的人脸图像以及每个人脸图像的多个属性的属性值,或该人脸数据库中可以包括大量的人脸图像,由电子设备为该大量的人脸图像标注属性值,本申请实施例对此不作限定。电子设备获取该多个样本人脸数据后,可以将该多个样本人脸数据输入初始模型中,开始模型训练过程。
需要说明的是,该初始模型可以包括多个子模型,每个子模型用于识别多个属性中的一个属性,需要识别多少个属性就可以初始化多少个子模型,当然该初始模型中的子模型个数也可以大于属性个数,本申请实施例对此不作限定。
202、电子设备通过初始模型中的不同属性对应的子模型提取每个样本人脸图像的人脸特征,对每个样本人脸图像的人脸特征进行前向计算,得到每个样本人脸图像的多个属性的预测值。
该初始模型中的不同属性对应的子模型需要识别的属性不同,则需要提取的人脸特征也不同,例如,识别发型属性,只需要提取人脸的轮廓和头发的位置坐标即可。电子设备通过初始模型中的不同属性对应的子模型可以对每个样本人脸图像提取相应属性对应的人脸特征,对人脸特征进行前向计算,得到每个样本人脸图像的多个属性的预测值。
在初始模型中不同属性对应的子模型中,可以设置有初始的参数,对于多个子模型中任一个子模型,该子模型可以利用参数和提取到的特征进行前向计算,输出计算得到的该子模型对应属性的预测值。
在一种可能实现方式中,该前向计算的过程可以为:该初始模型可以为卷积神经网络模型(Convolutional Neural Network,CNN),在该初始模型中每个子模型中,对人脸特征计算的过程可以有多层计算,上一层对输入的特征进行计算,得到的输出作为下一层的输入,依次类推,得到最后一层的输出,基于该最后一层的输出,获取每个子模型对应属性的预测值。
在一种可能实现方式中,上述多层计算的过程中,每层中可以先计算输入和权值的乘积,再计算乘积与偏置值的和值,将该和值作为输出,该输入也为下一层的输入。当然,该多层计算仅以该计算方式为例进行说明,在计算过程中可能还包括卷积计算,本申请实施例对此不多做赘述。
上述基于最后一层的输出获取每个子模型对应属性的预测值的过程按照属性的不同类型也可以不同,下面将针对不同类型的属性对获取预测值的过程进行说明:
当子模型对应属性为回归属性时,该最后一层的输出即为该子模型对应属性的预测值;
当子模型对应属性不是回归属性时,利用柔性最大值(SoftMax)函数对该最后一层的输出进行归一化计算,得到该子模型对应属性的预测向量,该预测向量中每一位对应于一个识别结果所对应的预测值,且,经过该SoftMax函 数计算得到的预测值的取值范围为[0,1],也可以用来表示该识别结果的概率。该SoftMax函数可以针对该属性的多个识别结果进行分析,将最终识别结果进行归一化处理,能够有效地提高最终识别结果的准确性。
该SoftMax函数可表示为:
Figure PCTCN2018117013-appb-000001
其中,j表示属性的识别结果的标识,d表示属性的识别结果的数目,h表示求和过程中属性的识别结果的标识,∑为求和符号,z表示属性识别模型计算得到的输出,σ表示属性的预测值,取值范围为[0,1]。
203、电子设备根据初始模型输出的每个样本人脸图像的多个属性的预测值与属性值,按照属性的不同类型计算得到该多个属性的损失值。
属性识别模型训练的目的是使得属性识别模型能够对人脸图像进行识别得到人脸图像的属性值,所以需要对属性识别模型进行训练,使得属性识别模型对人脸图像进行计算得到的预测值与属性值相等或相近,具体地,需要计算初始模型输出的多个属性的预测值与对应属性的属性值之间的差异,该差异即为损失值,后续可以对初始模型中的参数进行调整,使得该损失值减小,以达到属性识别模型训练的目的。
电子设备可以根据每个样本人脸图像的多个属性的预测值与属性值,计算得到多个属性的损失值,该计算过程可以通过损失函数计算每个属性对应的损失值。由于该多个属性可以有不同的类型,在计算该多个属性的损失值时,也可以按照属性的不同类型采用不同的损失函数计算每个属性对应的损失值。具体地,按照属性的不同类型计算多个属性的损失值时,可以采用以下方式:
对于该多个属性中每一个属性,当该属性为回归属性时,利用第一目标函数对该属性的预测值和属性值进行计算,得到该属性对应的损失值,该第一目标函数用于计算连续变量的损失值;
当该属性不是回归属性时,利用第二目标函数对该属性的预测向量和属性向量进行计算,得到该属性对应的损失值,该第二目标函数用于计算定性变量的损失值。
在一种可能实现方式中,第一目标函数和第二目标函数可以根据属性的不同类型进行选择,下面通过具体示例对该两种目标函数进行说明。
第一目标函数可以为欧式距离损失函数(Euclidean Loss):
Figure PCTCN2018117013-appb-000002
其中,k表示当前属性在多个属性中的编号,用于标识该属性为哪个属性,
Figure PCTCN2018117013-appb-000003
表示属性识别模型计算得到的预测值,
Figure PCTCN2018117013-appb-000004
表示属性的属性值,i表示回归维度,j表示回归维度的标识,∑为求和符号,L表示该属性对应的损失值。
例如,需要训练属性识别模型来识别三个属性,该三个属性分别为年龄、 性别和表情,为该三个属性进行编号,分别为1,2,3。其中,年龄为回归属性,可以利用第一目标函数来计算年龄属性的损失值,该年龄属性的编号为1,则k=1,又年龄为一维变量,则计算年龄属性的损失值L 1时,i=1,公式如下:
Figure PCTCN2018117013-appb-000005
其中,
Figure PCTCN2018117013-appb-000006
为当前人脸图像的年龄属性的属性值,
Figure PCTCN2018117013-appb-000007
为属性识别模型计算得到的当前人脸图像的年龄属性的预测值,例如,当前人脸图像的年龄属性的属性值为0.2,而属性识别模型计算得到的当前人脸图像的年龄属性的属性值为0.3,则该人脸图像的年龄属性的损失值L 1=0.005。
第二目标函数可以为交叉熵损失函数(Cross Entropy Loss):
Figure PCTCN2018117013-appb-000008
其中,k表示当前属性在多个属性中的编号,用于标识该属性为哪个属性,x表示属性的属性值,z表示属性识别模型计算得到的预测值,d表示当前属性的识别结果数目,h表示当前属性的识别结果的标识,∑为求和符号,log()为对数函数,L表示该属性对应的损失值。
例如,性别为定性变量,可以利用第二目标函数来计算性别属性的损失值。性别有两个识别结果,分别为男和女,因而d=2,h有两个取值,分别为1和2。在上述举例中,性别属性的编号为2,则k=2,如果当前人脸图像的性别为女,可以用(0,1)作为该人脸图像的性别属性的属性值,属性识别模型计算得到的预测值为(0.2,0.8)当计算该人脸图像的性别属性的损失值L 2时,可以根据该公式进行计算得到L 2,该L 2大概为0.19382,计算公式如下:
L 2=-log(1-0.2)-log(0.8)
204、电子设备将多个属性的损失值加权求和,得到多个属性的总损失值。
电子设备可以将多个属性的损失值加权求和,得到多个属性的总损失值。加权求和的公式可以为:
L_all=a 1*L 1+a 2*L 2+...+a n*L n
其中,L 1,L 2,…,L n为上述利用第一目标函数和第二目标函数计算得到的各个属性的损失值,a 1,a 2,...,a n为损失函数权重系数,取值范围为(0,1],n表示识别人脸图像的属性个数,L_all为多个属性的总损失值。
在一种可能实现方式中,该损失函数权重系数一般为1,表示各个属性在该属性识别模型中的权重相等,在这时,L_all=L 1+L 2+...+L n
该多个属性的总损失值可以表示当前初始模型识别得到的预测值与属性值之间的差异大小,当该总损失值较大时,可以表示当前初始模型的识别结果不准确。当该总损失值很小时,可以表示当前初始模型的识别结果比较准确。
205、电子设备对该初始模型中的不同属性对应的子模型的参数进行调整,直到调整后的参数使得该多个属性的总损失值小于或等于目标阈值时,停止调整。
当根据初始模型计算的预测值与输入的属性值计算得到的总损失值较大时,电子设备可以对初始模型中的不同属性对应的子模型的参数进行调整,再基于调整后的参数计算人脸图像的多个属性的预测值,根据每个子模型对应的预测值与属性值,计算每个属性的损失值,将多个属性的损失值加权求和,得到多个属性的总损失值,判断该总损失值的大小是否符合目标条件,当该总损失值符合目标条件时,电子设备可以停止上述调整参数再计算的过程,则属性识别模型训练完成,最后一次调整后的不同属性对应的子模型的参数即作为最终训练完成的属性识别模型中的不同属性对应的子模型的参数。
该目标条件可以为多个属性的总损失值小于或等于目标阈值。该目标阈值可以根据人脸属性识别需求设置,该目标阈值的大小决定该属性识别模型的识别精度。该目标阈值通常被设置为一个非常小的数值,因而属性识别模型训练的目的是为了能够使用该属性识别模型识别出人脸图像的多个属性的属性值,需要该总损失值趋近于0,从而使得属性识别模型计算得到的预测值与属性值非常相近或相等。
在一种可能实现方式中,上述调整模型中不同属性对应的子模型的参数,对该属性识别模型进行训练时,可以采用随机梯度下降法。该随机梯度下降法作为一种最优化算法,比较适用于变量较多,从而无法建立准确的数学模型的最优化过程。
通过上述步骤,可以训练得到用于识别人脸属性的属性识别模型,图3是本申请实施例提供的一种属性识别模型训练方法的示意图,如图3所示,该属性识别模型训练过程中,将训练所需的图像输入初始模型中,该图像携带有该图像的多个属性的属性值,初始模型计算每个属性的预测值,然后根据每个属性的属性值和预测值计算得到每个属性的损失值,将多个属性的损失值进行加权求和,并输入初始模型中,对该初始模型进行多个属性的联合训练,最终可以得到识别精确度较高的属性识别模型。
本申请实施例通过并行对人脸图像的多个属性进行计算,按照属性的不同类型采用不同的计算方式,计算得到该多个属性的计算结果与真实值之间的差异,并通过调整该初始模型中的每个属性对应的子模型的参数,使得该差异减小到预期的识别精度,从而完成属性识别模型训练过程,考虑到了属性的不同类型,并采用其相应的计算方式,可以提高该训练得到的属性识别模型的识别精度。
需要说明的是,上述属性识别模型训练过程可以电子设备上完成,该电子设备可以被提供为一终端,也可以被提供为一服务器,本申请实施例对此不作限定。当电子设备有人脸属性识别需求时,可以获取上述训练完成的属性识别模型,对待识别的图像进行识别,得到该图像的人脸属性,下面将通过图4所示实施例对电子设备使用属性识别模型进行人脸属性识别的过程进行说明。
图4是本申请实施例提供的一种人脸属性识别方法流程图。参见图4,该方法包括以下步骤:
401、电子设备获取图像。
电子设备具有人脸属性识别的功能,它可以对获取到的图像进行预处理,当该图像中包括人脸时,还可以通过调用属性识别模型,对该图像进行人脸属性识别,得到该图像中人脸的多个属性的属性值。电子设备还可以将识别得到的人脸的多个属性的属性值进行显示,使得用户可以更直观地了解图像。
电子设备获取图像可以有多种途径,例如,电子设备可以通过照相机、录像机等拍摄设备拍摄得到图像;电子设备可以通过网络连接从网站上下载得到图像;电子设备可以通过与其他电子设备进行数据交互接收到该图像。当然电子设备还可以通过其他途径获取图像,在此不多做赘述。
402、电子设备对图像进行人脸检测,得到人脸的坐标框和对应的人脸图像。
电子设备获取到图像,可以对该图像进行人脸检测,来获知该图像中是否包括人脸,当该图像中包括人脸时,还可以得到该人脸的坐标框和对应的人脸图像。其中,人脸检测是指假设在图像中存在一个或者多个人脸的情况下,获取图像中全部人脸的位置、大小和姿势的过程。
电子设备在对图像进行人脸检测时,可以采用人脸检测算法,提取图像中目标数目的特征,根据提取的特征获取人脸的位置、大小和姿势,得到图像中包括的所有人脸的信息。
在一个具体的可能实施例中,电子设备可以采用基于几何特征的人脸检测算法、基于局部特征分析的人脸检测算法、特征脸方法、基于统计的人脸检测算法等人脸检测算法中任一种,也可以采用神经网络、隐马尔可夫模型等其他检测模型对图像进行人脸检测。当然,电子设备还可以基于人脸检测数据库中的样本图像与样本图像的已知人脸信息进行模型训练,得到人脸检测模型,并通过该人脸检测模型来实现上述人脸检测过程。该电子设备采用哪种人脸检测方式来对图像进行人脸检测,本申请实施例对此不作限定。
在一种可能实现方式中,上述电子设备对图像进行人脸检测的过程可以为:
图像在电子设备中的存在形态为矩阵,电子设备可以将该矩阵中的数值以及该矩阵中的不同像素之间的关系,与已知的人脸特征参数进行比较、判断,并获取人脸各器官轮廓以及人脸外轮廓的信息,该信息可以包括大小、位置和距离等,从而可以根据获取的人脸信息进行计算得到该图像中人脸的坐标框和对应的图像。
403、电子设备对人脸图像进行人脸配准,进行归一化处理,得到待识别的人脸图像。
电子设备可以对人脸检测后的人脸图像进行人脸配准,根据配准得到的数据对该人脸图像进行归一化处理,得到待识别的图像。该待识别的图像是指经过对图像进行预处理后得到的图像,电子设备可以将该待识别的图像输入属性识别模型中进行人脸属性识别。
人脸配准是指在人脸检测的基础上,进一步获取人脸特征部位的位置的过 程,该人脸特征部位包括眼睛、眉毛、鼻子、嘴巴、人脸外轮廓。归一化处理是指将人脸图像进行旋转、缩放和裁剪等操作,使得人脸图像的横向比例和纵向比例与人脸的标准结构一致,从而可以提高人脸识别的精确度。
下面分别针对人脸配准和归一化处理两个步骤进行说明:
对于人脸配准,电子设备可以采用人脸配准算法对人脸图像进行人脸配准。目前应用较为广泛的人脸配准算法主要有主动表观模型(Active Appearance Model,AAM)和主动形状模型(Active Shape Model,ASM)等。
在一个具体的可能实施例中,电子设备对人脸图像进行人脸配准时可以采用上述人脸配准算法中任一种,当然,电子设备也可以基于样本人脸图像与样本人脸图像的已知人脸特征部位的坐标进行模型训练,得到人脸配准模型,并通过该人脸配准模型来实现上述人脸配准过程。该样本人脸图像的已知人脸特征部位的坐标可以在获取该样本人脸图像时获得,也可以获取到样本人脸图像后,手动为样本人脸图像标记人脸特征部位得到。该电子设备采用哪种人脸配准方法来对人脸图像进行人脸配准,本申请实施例对此不作限定。
对于归一化处理,电子设备可以根据人脸配准步骤得到的人脸特征部位的坐标对人脸图像进行尺度和旋转等操作,使得人脸图像的各项参数符合人脸标准结构。
在一个具体的可能实施例中,电子设备可以从人脸配准得到的人脸特征部位的坐标中获取左右两个眼睛的中心位置的坐标,计算左右两个眼睛的中心连线与水平线之间的夹角,以该夹角为旋转角度,对该人脸图像进行旋转操作,使得左右两个眼睛的中心连线与水平线平行;电子设备还可以计算左右两个眼睛的中心连线的长度,对人脸图像进行缩放,使得左右两个眼睛的中心连线的长度等于目标长度,该目标长度为人脸标准结构中定义的左右两个眼睛的中心连线的长度。
上述步骤401至403是获取待识别的人脸图像的过程,电子设备可以对获取到的图像进行人脸检测、人脸配准、归一化处理,得到待识别的人脸图像的过程,从而电子设备可以后续将该待识别的人脸图像输入属性识别模型中进行识别。当然,上述步骤是一种可能场景,在一个具体的可能实施例中,还有另一种可能场景:该电子设备也可以直接获取到的待识别的人脸图像,并对待识别的人脸图像进行后续识别过程。
404、电子设备调用属性识别模型,将待识别的人脸图像输入属性识别模型。
该属性识别模型可以为采用上述属性识别模型训练方法得到的属性识别模型,它可以并行识别输入的人脸图像的多个属性,并输出人脸图像的多个属性的属性值。该属性识别模型可以预置于该电子设备中,电子设备在有对人脸图像进行人脸属性识别的需求时,可以调用该属性识别模型,并将待识别的人脸图像输入属性识别模型。当然,当该电子设备被提供为一终端时,该终端可以从本地调用预置的属性识别模型,也可以从服务器中获取已训练完成的属性识别模型,本申请实施例对此不做限定。
405、电子设备通过属性识别模型中的不同属性对应的子模型对人脸图像进行特征提取,对提取的特征进行前向计算,得到人脸图像的多个属性对应的特征值。
属性识别模型中不同属性对应的子模型需要识别不同的属性,则它需要获取的人脸特征可能也不同,每个子模型可以从输入的人脸图像中提取其识别过程中所需的特征,对提取的特征进行前向计算,得到人脸图像的多个属性对应的特征值,该前向计算的过程与步骤202中同理,在每个子模型中,可以对特征进行多层计算,得到每个子模型对应属性对应的特征值,该特征值即为步骤202中最后一层的输出。
406、电子设备通过属性识别模型中的不同属性对应的子模型,根据多个属性的特征值,按照属性的不同类型获取多个属性对应的属性值。
电子设备通过属性识别模型中的不同属性对应的子模型可以根据多个属性对应的特征值,由于属性具有不同类型,导致最后输出的特征值也是具有数值形式和向量形式的区别,电子设备可以按照属性的不同类型获取多个属性对应的属性值。
对于多个属性中每一个属性,当该属性为回归属性时,该属性对应的特征值为数值形式,可以将该子模型输出的该属性对应的特征值获取为该属性对应的属性值;
当该属性不是回归属性时,该属性对应的特征值为向量形式,可以对该属性对应的特征值进行归一化计算,得到该属性所对应的预测向量,该预测向量中的每一位预测值为该属性是该每一位所指示识别结果的概率,将概率最大的识别结果所对应的预测值作为该属性所对应的属性值。
407、电子设备中的属性识别模型输出人脸图像的多个属性的属性值。
属性识别模型中每个子模型输出对应属性的属性值,因而电子设备中的属性识别模型可以输出人脸图像对应的多个属性的属性值,每个属性的属性值用于指示该人脸图像的多个属性的识别结果。
上述步骤404至407是调用属性识别模型,将该人脸图像输入该属性识别模型,由该属性识别模型对该人脸图像进行前向计算,按照属性的不同类型获取属性值,输出该人脸图像的多个属性值的过程。在一个具体的可能实施例中,当该电子设备被提供为一终端,且该终端处于联网状态时,该终端还可以将待识别的人脸图像发送至服务器,该服务器上存储有经过图2或图3所示实施例提供的属性识别模型训练方法训练得到的属性识别模型。该服务器接收到待识别的人脸图像,可以将该人脸图像输入属性识别模型,由属性识别模型对该人脸图像进行后续属性识别过程,当该属性识别模型输出多个人脸属性的属性值后,该服务器可以将该多个属性值发送至该终端,从而实现人脸属性识别过程。当然,该终端也可以调用自身存储的属性识别模型,对人脸图像进行属性识别。当然,该电子设备也可以为服务器,本申请实施例对此不作限定。
在完成上述识别过程之后,电子设备可能还需要显示该人脸图像的多个属性,在一种可能实现方式中,属性识别模型输出的人脸图像的多个属性值可能 均为取值范围为[0,1]的一个数值,为经过归一化处理的属性值,因而当电子设备需要显示该人脸图像的多个属性值时,该属性识别模型输出的属性值并不能很直观地让用户了解当前人脸图像的多个属性,则电子设备在显示该多个属性值前,可以将该多个属性值进行反归一化处理,反归一化处理的过程可以如下:
对于多个属性中每一个属性,当该属性为回归属性时,可以将该属性的属性值与对应的因数进行乘法计算,得到能够真实表达该属性的属性值;
当该属性不是回归属性时,可以将该属性的属性值所对应的编号获取为该属性的属性值。
例如,某一个人脸图像中的人脸的年龄属性为20岁,表情属性为恐惧,恐惧对应的编号为2,经过属性识别模型识别过程后,得到该人脸图像的多个属性的属性值,该人脸图像的年龄属性的属性值可以是0.2,表情属性的属性值为0.99,该0.99在向量中的位数对应的编号为2,电子设备在对该人脸图像的年龄属性和表情属性进行显示时,可以将该年龄属性的属性值0.2经过反归一化处理,得到20,并将年龄属性显示为20,可以将该表情属性的属性值0.99对应的编号2获取为表情属性的属性值,并将表情属性显示为2。当然,电子设备还可以将编号与表情属性的文字表达相关联,将该表情属性显示为“恐惧”。
本申请实施例通过电子设备对获取到的图像进行人脸检测、人脸配准、归一化处理等处理后,将处理后的图像输入到属性识别模型中,由属性识别模型对该处理后的图像进行人脸属性识别,且,在识别过程中,该属性识别模型可以按照属性的不用类型采用不同的处理方式,也即是考虑到了当属性分别为连续变量和定性变量的情况,提高了人脸属性识别中对连续变量的识别精度。进一步地,对图像进行预处理,且,输入模型中的数据为归一化处理后的数据,降低了模型计算过程的难度,提高了人脸属性识别的精确度。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图5是本申请实施例提供的一种人脸属性识别装置的结构示意图。参见图5,该装置包括:
获取模块501,用于获取待识别的人脸图像;
输入输出模块502,用于调用属性识别模型,将该人脸图像输入该属性识别模型,由该属性识别模型对该人脸图像进行前向计算,按照属性的不同类型获取属性值,输出该人脸图像的多个属性值,该多个属性的属性值用于指示该人脸图像的多个属性的识别结果;
其中,该属性识别模型基于多个样本人脸图像以及该多个样本人脸图像的多个已知属性识别结果按照属性的不同类型进行训练得到。
在一个实施例中,如图6所示,该装置还包括:
第一提取模块503,用于提取该人脸图像的人脸特征;
第一计算模块504,用于根据该属性识别模型中的不同属性对应的子模型对该人脸特征进行前向计算,得到该人脸图像的多个属性对应的特征值;
确定模块505,用于对于该多个属性中每一个属性,当该属性为回归属性时,将该属性对应的特征值作为该属性所对应的属性值;
该确定模块505,用于当该属性不是回归属性时,对该属性对应的特征值中的每一位进行归一化计算,得到该属性所对应的预测向量,该预测向量中的每一位预测值为该属性是该每一位所指示识别结果的概率;
该确定模块505,还用于将概率最大的识别结果所对应的预测值作为该属性所对应的属性值。
在一个实施例中,如图7所示,
该获取模块501,还用于获取多个样本人脸数据,该多个样本人脸数据包括多个样本人脸图像和每个样本人脸图像的多个属性对应的属性值;
该装置还包括:
第二提取模块506,用于提取该每个样本人脸图像的人脸特征;
第二计算模块507,用于根据初始模型中的不同属性对应的子模型对该每个样本人脸图像的人脸特征进行前向计算,得到该每个样本人脸图像的多个属性的预测值;
该第二计算模块507,还用于根据该每个样本人脸图像的多个属性的预测值与属性值,按照属性的不同类型计算得到该多个属性的损失值;
该第二计算模块507,还用于将该多个属性的损失值加权求和,得到该多个属性的总损失值;
调整模块508,用于对该初始模型中的不同属性对应的子模型的参数进行调整,直到调整后的参数使得该多个属性的总损失值小于或等于目标阈值时,停止调整。
在一个实施例中,该第二计算模块507用于:
对于该多个属性中每一个属性,当该属性为回归属性时,利用第一目标函数对该属性的预测值和属性值进行计算,得到该属性对应的损失值,该第一目标函数用于计算连续变量的损失值;
当该属性不是回归属性时,利用第二目标函数对该属性的预测向量和属性向量进行计算,得到该属性对应的损失值,该第二目标函数用于计算定性变量的损失值。
在一个实施例中,该第一目标函数为欧氏距离损失函数;或,该第二目标函数为交叉熵损失函数。
在一个实施例中,如图8所示,该装置还包括:
处理模块509,用于对图像进行人脸检测,对检测到的人脸图像进行人脸配准,对该人脸图像进行归一化处理,得到待识别的人脸图像。
需要说明的是:上述实施例提供的人脸属性识别装置在实现人脸属性识别时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功 能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的人脸属性识别装置和人脸属性识别方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图9是本申请实施例提供的一种电子设备900的结构框图。该电子设备900可以被提供为一终端,该电子设备900可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,电子设备900包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器901所执行以实现下述人脸属性识别方法的方法步骤:
获取待识别的人脸图像;
调用属性识别模型,将人脸图像输入属性识别模型,由属性识别模型对人脸图像进行前向计算,按照属性的不同类型获取属性值,输出人脸图像的多个属性值,多个属性值用于指示人脸图像的多个属性的识别结果;
其中,属性识别模型基于多个样本人脸图像以及多个样本人脸图像的多个已知属性识别结果按照属性的不同类型进行训练得到。
在一种可能实现方式中,处理器901用于执行:
提取人脸图像的人脸特征;
根据属性识别模型中的不同属性对应的子模型对人脸特征进行前向计算,得到人脸图像的多个属性对应的特征值;
对于多个属性中每一个属性,当属性为回归属性时,将属性对应的特征值作为属性所对应的属性值;
当属性不是回归属性时,对属性对应的特征值中的每一位进行归一化计算,得到属性所对应的预测向量,预测向量中的每一位预测值为属性是每一位所指示识别结果的概率;
将概率最大的识别结果所对应的预测值作为属性所对应的属性值。
在一种可能实现方式中,处理器901还用于执行:
获取多个样本人脸数据,多个样本人脸数据包括多个样本人脸图像和每个样本人脸图像的多个属性对应的属性值;
提取每个样本人脸图像的人脸特征;
根据初始模型中的不同属性对应的子模型对每个样本人脸图像的人脸特征进行前向计算,得到每个样本人脸图像的多个属性的预测值;
根据每个样本人脸图像的多个属性的预测值与属性值,按照属性的不同类型计算得到多个属性的损失值;
将多个属性的损失值加权求和,得到多个属性的总损失值;
对初始模型中的不同属性对应的子模型的参数进行调整,直到调整后的参数使得多个属性的总损失值小于或等于目标阈值时,停止调整。
在一种可能实现方式中,处理器901还用于执行:
对于多个属性中每一个属性,当属性为回归属性时,利用第一目标函数对属性的预测值和属性值进行计算,得到属性对应的损失值,第一目标函数用于计算连续变量的损失值;
当属性不是回归属性时,利用第二目标函数对属性的预测向量和属性向量进行计算,得到属性对应的损失值,第二目标函数用于计算定性变量的损失值。
在一种可能实现方式中,第一目标函数为欧氏距离损失函数;或,第二目标函数为交叉熵损失函数。
在一种可能实现方式中,处理器901用于执行对图像进行人脸检测,对检测到的人脸图像进行人脸配准,对人脸图像进行归一化处理,得到待识别的人脸图像。
在一些实施例中,电子设备900还可选包括有:外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号 转换为电信号。可选地,射频电路904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请实施例对此不加以限定。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置电子设备900的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在电子设备900的不同表面或呈折叠设计;在再一些实施例中,显示屏905可以是柔性显示屏,设置在电子设备900的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图形,也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
定位组件908用于定位电子设备900的当前地理位置,以实现导航或LBS (Location Based Service,基于位置的服务)。定位组件908可以是基于美国的GPS(Global Positioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源909用于为电子设备900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,电子设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以电子设备900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测电子设备900的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对电子设备900的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在电子设备900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在电子设备900的侧边框时,可以检测用户对电子设备900的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时,由处理器901根据用户对触摸显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹,由处理器901根据指纹传感器914采集到的指纹识别用户的身份,或者,由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器901授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置电子设备900的正面、背面或侧面。当电子设备900上设置有物理按键或厂商Logo时,指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制触摸显示屏905的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏905的显示亮度;当环境光强度较低时,调低触摸显示屏905的显示亮度。在另一个实施例中,处理器901还 可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在电子设备900的前面板。接近传感器916用于采集用户与电子设备900的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与电子设备900的正面之间的距离逐渐变小时,由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与电子设备900的正面之间的距离逐渐变大时,由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图9中示出的结构并不构成对电子设备900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图10是本申请实施例提供的一种人脸属性识别装置1000的框图,例如,人脸属性识别装置1000可以被提供为一服务器。参照图10,该人脸属性识别装置1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)1001和一个或一个以上的存储器1002,其中,该存储器1002中存储有至少一条指令,该至少一条指令由该处理器1001加载并执行以实现上述电子设备实施例所示的人脸属性识别方法的任一方法步骤。当然,该人脸属性识别装置1000还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该人脸属性识别装置1000还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种存储有计算机程序的计算机可读存储介质,例如存储有计算机程序的存储器,上述计算机程序被处理执行时实现上述实施例图2、图3所示的属性识别模型训练方法或图4中所示的人脸属性识别方法的方法步骤,具体方法步骤可以如下:
获取待识别的人脸图像;
调用属性识别模型,将人脸图像输入属性识别模型,由属性识别模型对人脸图像进行前向计算,按照属性的不同类型获取属性值,输出人脸图像的多个属性值,多个属性值用于指示人脸图像的多个属性的识别结果;
其中,属性识别模型基于多个样本人脸图像以及多个样本人脸图像的多个已知属性识别结果按照属性的不同类型进行训练得到。
在一种可能实现方式中,处理器用于执行:
提取人脸图像的人脸特征;
根据属性识别模型中的不同属性对应的子模型对人脸特征进行前向计算,得到人脸图像的多个属性对应的特征值;
对于多个属性中每一个属性,当属性为回归属性时,将属性对应的特征值作为属性所对应的属性值;
当属性不是回归属性时,对属性对应的特征值中的每一位进行归一化计算,得到属性所对应的预测向量,预测向量中的每一位预测值为属性是每一位 所指示识别结果的概率;
将概率最大的识别结果所对应的预测值作为属性所对应的属性值。
在一种可能实现方式中,处理器还用于:
获取多个样本人脸数据,多个样本人脸数据包括多个样本人脸图像和每个样本人脸图像的多个属性对应的属性值;
提取每个样本人脸图像的人脸特征;
根据初始模型中的不同属性对应的子模型对每个样本人脸图像的人脸特征进行前向计算,得到每个样本人脸图像的多个属性的预测值;
根据每个样本人脸图像的多个属性的预测值与属性值,按照属性的不同类型计算得到多个属性的损失值;
将多个属性的损失值加权求和,得到多个属性的总损失值;
对初始模型中的不同属性对应的子模型的参数进行调整,直到调整后的参数使得多个属性的总损失值小于或等于目标阈值时,停止调整。
在一种可能实现方式中,处理器还用于:
对于多个属性中每一个属性,当属性为回归属性时,利用第一目标函数对属性的预测值和属性值进行计算,得到属性对应的损失值,第一目标函数用于计算连续变量的损失值;
当属性不是回归属性时,利用第二目标函数对属性的预测向量和属性向量进行计算,得到属性对应的损失值,第二目标函数用于计算定性变量的损失值。
在一种可能实现方式中,第一目标函数为欧氏距离损失函数;或,第二目标函数为交叉熵损失函数。
在一种可能实现方式中,处理器用于:
对图像进行人脸检测,对检测到的人脸图像进行人脸配准,对人脸图像进行归一化处理,得到待识别的人脸图像。
例如,上述计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (18)

  1. 一种人脸属性识别方法,其特征在于,应用于电子设备上,所述方法包括:
    获取待识别的人脸图像;
    调用属性识别模型,将所述人脸图像输入所述属性识别模型,由所述属性识别模型对所述人脸图像进行前向计算,按照属性的不同类型获取属性值,输出所述人脸图像的多个属性值,所述多个属性值用于指示所述人脸图像的多个属性的识别结果;
    其中,所述属性识别模型基于多个样本人脸图像以及所述多个样本人脸图像的多个已知属性识别结果按照属性的不同类型进行训练得到。
  2. 根据权利要求1所述的方法,其特征在于,所述由所述属性识别模型对所述人脸图像进行前向计算,按照属性的不同类型获取属性值,包括:
    提取所述人脸图像的人脸特征;
    根据所述属性识别模型中的不同属性对应的子模型对所述人脸特征进行前向计算,得到所述人脸图像的多个属性对应的特征值;
    对于所述多个属性中每一个属性,当所述属性为回归属性时,将所述属性对应的特征值作为所述属性所对应的属性值;
    当所述属性不是回归属性时,对所述属性对应的特征值中的每一位进行归一化计算,得到所述属性所对应的预测向量,所述预测向量中的每一位预测值为所述属性是所述每一位所指示识别结果的概率;
    将概率最大的识别结果所对应的预测值作为所述属性所对应的属性值。
  3. 根据权利要求1所述的方法,其特征在于,所述属性识别模型通过以下方法训练得到,包括:
    获取多个样本人脸数据,所述多个样本人脸数据包括多个样本人脸图像和每个样本人脸图像的多个属性对应的属性值;
    提取所述每个样本人脸图像的人脸特征;
    根据初始模型中的不同属性对应的子模型对所述每个样本人脸图像的人脸特征进行前向计算,得到所述每个样本人脸图像的多个属性的预测值;
    根据所述每个样本人脸图像的多个属性的预测值与属性值,按照属性的不同类型计算得到所述多个属性的损失值;
    将所述多个属性的损失值加权求和,得到所述多个属性的总损失值;
    对所述初始模型中的不同属性对应的子模型的参数进行调整,直到调整后的参数使得所述多个属性的总损失值小于或等于目标阈值时,停止调整。
  4. 根据权利要求3所述的方法,其特征在于,所述根据所述每个样本人脸图像的多个属性的预测值与属性值,按照属性的不同类型计算得到所述多个属 性的损失值,包括:
    对于所述多个属性中每一个属性,当所述属性为回归属性时,利用第一目标函数对所述属性的预测值和属性值进行计算,得到所述属性对应的损失值,所述第一目标函数用于计算连续变量的损失值;
    当所述属性不是回归属性时,利用第二目标函数对所述属性的预测向量和属性向量进行计算,得到所述属性对应的损失值,所述第二目标函数用于计算定性变量的损失值。
  5. 根据权利要求4所述的方法,其特征在于,所述第一目标函数为欧氏距离损失函数;或,所述第二目标函数为交叉熵损失函数。
  6. 根据权利要求1所述的方法,其特征在于,所述获取待识别的人脸图像,包括:
    对图像进行人脸检测,对检测到的人脸图像进行人脸配准,对所述人脸图像进行归一化处理,得到待识别的人脸图像。
  7. 一种电子设备,其特征在于,包括:
    处理器;
    用于存放计算机程序的存储器;
    其中,所述处理器用于执行存储器上所存放的计算机程序,实现以下方法步骤:
    获取待识别的人脸图像;
    调用属性识别模型,将所述人脸图像输入所述属性识别模型,由所述属性识别模型对所述人脸图像进行前向计算,按照属性的不同类型获取属性值,输出所述人脸图像的多个属性值,所述多个属性值用于指示所述人脸图像的多个属性的识别结果;
    其中,所述属性识别模型基于多个样本人脸图像以及所述多个样本人脸图像的多个已知属性识别结果按照属性的不同类型进行训练得到。
  8. 根据权利要求7所述的电子设备,其特征在于,所述处理器用于执行:
    提取所述人脸图像的人脸特征;
    根据所述属性识别模型中的不同属性对应的子模型对所述人脸特征进行前向计算,得到所述人脸图像的多个属性对应的特征值;
    对于所述多个属性中每一个属性,当所述属性为回归属性时,将所述属性对应的特征值作为所述属性所对应的属性值;
    当所述属性不是回归属性时,对所述属性对应的特征值中的每一位进行归一化计算,得到所述属性所对应的预测向量,所述预测向量中的每一位预测值为所述属性是所述每一位所指示识别结果的概率;
    将概率最大的识别结果所对应的预测值作为所述属性所对应的属性值。
  9. 根据权利要求7所述的电子设备,其特征在于,所述处理器还用于:
    获取多个样本人脸数据,所述多个样本人脸数据包括多个样本人脸图像和每个样本人脸图像的多个属性对应的属性值;
    提取所述每个样本人脸图像的人脸特征;
    根据初始模型中的不同属性对应的子模型对所述每个样本人脸图像的人脸特征进行前向计算,得到所述每个样本人脸图像的多个属性的预测值;
    根据所述每个样本人脸图像的多个属性的预测值与属性值,按照属性的不同类型计算得到所述多个属性的损失值;
    将所述多个属性的损失值加权求和,得到所述多个属性的总损失值;
    对所述初始模型中的不同属性对应的子模型的参数进行调整,直到调整后的参数使得所述多个属性的总损失值小于或等于目标阈值时,停止调整。
  10. 根据权利要求9所述的电子设备,其特征在于,所述处理器还用于:
    对于所述多个属性中每一个属性,当所述属性为回归属性时,利用第一目标函数对所述属性的预测值和属性值进行计算,得到所述属性对应的损失值,所述第一目标函数用于计算连续变量的损失值;
    当所述属性不是回归属性时,利用第二目标函数对所述属性的预测向量和属性向量进行计算,得到所述属性对应的损失值,所述第二目标函数用于计算定性变量的损失值。
  11. 根据权利要求10所述的电子设备,其特征在于,所述第一目标函数为欧氏距离损失函数;或,所述第二目标函数为交叉熵损失函数。
  12. 根据权利要求7所述的电子设备,其特征在于,所述处理器用于:
    对图像进行人脸检测,对检测到的人脸图像进行人脸配准,对所述人脸图像进行归一化处理,得到待识别的人脸图像。
  13. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现以下方法步骤:
    获取待识别的人脸图像;
    调用属性识别模型,将所述人脸图像输入所述属性识别模型,由所述属性识别模型对所述人脸图像进行前向计算,按照属性的不同类型获取属性值,输出所述人脸图像的多个属性值,所述多个属性值用于指示所述人脸图像的多个属性的识别结果;
    其中,所述属性识别模型基于多个样本人脸图像以及所述多个样本人脸图像的多个已知属性识别结果按照属性的不同类型进行训练得到。
  14. 根据权利要求13所述的计算机可读存储介质,其特征在于,所述处理 器用于执行:
    提取所述人脸图像的人脸特征;
    根据所述属性识别模型中的不同属性对应的子模型对所述人脸特征进行前向计算,得到所述人脸图像的多个属性对应的特征值;
    对于所述多个属性中每一个属性,当所述属性为回归属性时,将所述属性对应的特征值作为所述属性所对应的属性值;
    当所述属性不是回归属性时,对所述属性对应的特征值中的每一位进行归一化计算,得到所述属性所对应的预测向量,所述预测向量中的每一位预测值为所述属性是所述每一位所指示识别结果的概率;
    将概率最大的识别结果所对应的预测值作为所述属性所对应的属性值。
  15. 根据权利要求13所述的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现:
    获取多个样本人脸数据,所述多个样本人脸数据包括多个样本人脸图像和每个样本人脸图像的多个属性对应的属性值;
    提取所述每个样本人脸图像的人脸特征;
    根据初始模型中的不同属性对应的子模型对所述每个样本人脸图像的人脸特征进行前向计算,得到所述每个样本人脸图像的多个属性的预测值;
    根据所述每个样本人脸图像的多个属性的预测值与属性值,按照属性的不同类型计算得到所述多个属性的损失值;
    将所述多个属性的损失值加权求和,得到所述多个属性的总损失值;
    对所述初始模型中的不同属性对应的子模型的参数进行调整,直到调整后的参数使得所述多个属性的总损失值小于或等于目标阈值时,停止调整。
  16. 根据权利要求15所述的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现:
    对于所述多个属性中每一个属性,当所述属性为回归属性时,利用第一目标函数对所述属性的预测值和属性值进行计算,得到所述属性对应的损失值,所述第一目标函数用于计算连续变量的损失值;
    当所述属性不是回归属性时,利用第二目标函数对所述属性的预测向量和属性向量进行计算,得到所述属性对应的损失值,所述第二目标函数用于计算定性变量的损失值。
  17. 根据权利要求16所述的计算机可读存储介质,其特征在于,所述第一目标函数为欧氏距离损失函数;或,所述第二目标函数为交叉熵损失函数。
  18. 根据权利要求13所述的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现:
    对图像进行人脸检测,对检测到的人脸图像进行人脸配准,对所述人脸图 像进行归一化处理,得到待识别的人脸图像。
PCT/CN2018/117013 2017-11-28 2018-11-22 人脸属性识别方法、电子设备及存储介质 WO2019105285A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/665,060 US11151360B2 (en) 2017-11-28 2019-10-28 Facial attribute recognition method, electronic device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711214467.6A CN107844781A (zh) 2017-11-28 2017-11-28 人脸属性识别方法及装置、电子设备及存储介质
CN201711214467.6 2017-11-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/665,060 Continuation US11151360B2 (en) 2017-11-28 2019-10-28 Facial attribute recognition method, electronic device, and storage medium

Publications (1)

Publication Number Publication Date
WO2019105285A1 true WO2019105285A1 (zh) 2019-06-06

Family

ID=61680666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/117013 WO2019105285A1 (zh) 2017-11-28 2018-11-22 人脸属性识别方法、电子设备及存储介质

Country Status (3)

Country Link
US (1) US11151360B2 (zh)
CN (1) CN107844781A (zh)
WO (1) WO2019105285A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技(深圳)有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
CN114863540A (zh) * 2022-07-05 2022-08-05 杭州魔点科技有限公司 基于人脸属性分析的人脸识别在线辅助方法及装置

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844781A (zh) 2017-11-28 2018-03-27 腾讯科技(深圳)有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN108197618B (zh) * 2018-04-08 2021-10-22 百度在线网络技术(北京)有限公司 用于生成人脸检测模型的方法和装置
CN108508804B (zh) * 2018-04-18 2019-11-26 陈禄壮 基于步频触发的梯子管理系统
CN108629661B (zh) * 2018-04-28 2021-12-28 东莞市华睿电子科技有限公司 一种应用于无人服饰店的产品推荐方法
CN108508774A (zh) * 2018-04-28 2018-09-07 东莞市华睿电子科技有限公司 一种人像识别与压力感应相结合的控制方法
CN108615219A (zh) * 2018-04-28 2018-10-02 东莞市华睿电子科技有限公司 一种智能终端的图像美化处理方法
CN108550059B (zh) * 2018-04-28 2022-01-14 广东省顺客隆商业连锁有限公司 一种基于人像识别的产品推荐方法
CN108615288B (zh) * 2018-04-28 2020-12-01 东莞市华睿电子科技有限公司 一种基于人像识别的开锁控制方法
CN108647608A (zh) * 2018-04-28 2018-10-12 东莞市华睿电子科技有限公司 一种基于人像识别的智能家居防盗系统的实现方法
CN108568821A (zh) * 2018-04-28 2018-09-25 东莞市华睿电子科技有限公司 一种基于人像识别的展厅机器人手臂的控制方法
CN108648047B (zh) * 2018-04-28 2020-10-02 东莞市华睿电子科技有限公司 一种云平台与酒店相结合的网络互动方法
CN108401186B (zh) * 2018-04-28 2020-06-23 浙江云澎科技有限公司 一种基于人脸识别的智能电视显示控制方法
CN108596263A (zh) * 2018-04-28 2018-09-28 东莞市华睿电子科技有限公司 一种相册图片归类方法
CN108696639A (zh) * 2018-05-10 2018-10-23 Oppo广东移动通信有限公司 熄屏显示方法、移动终端以及存储介质
CN108776787B (zh) * 2018-06-04 2020-09-29 京东数字科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN108734227A (zh) * 2018-06-13 2018-11-02 北京宏岸图升网络技术有限公司 一种图片的分类方法及装置
CN108985228A (zh) * 2018-07-16 2018-12-11 百度在线网络技术(北京)有限公司 应用于终端设备的信息生成方法和装置
CN110147805B (zh) 2018-07-23 2023-04-07 腾讯科技(深圳)有限公司 图像处理方法、装置、终端及存储介质
CN109036331B (zh) * 2018-08-24 2020-04-24 京东方科技集团股份有限公司 显示屏的亮度调节方法及装置、显示屏
CN109214333A (zh) * 2018-08-31 2019-01-15 厦门中控智慧信息技术有限公司 卷积神经网络结构、人脸属性识别方法、装置及终端设备
CN109522824A (zh) * 2018-10-30 2019-03-26 平安科技(深圳)有限公司 人脸属性识别方法、装置、计算机装置及存储介质
CN109327685B (zh) * 2018-11-28 2024-03-19 深圳市看见智能科技有限公司 智能眼镜电路、眼镜及移动监控系统
CN113196279B (zh) * 2018-12-18 2024-02-09 华为技术有限公司 一种面部属性的识别方法及电子设备
CN109635775B (zh) * 2018-12-21 2023-05-16 上海创功通讯技术有限公司 一种人脸拓展属性的显示方法、装置及存储介质
CN109815988B (zh) * 2018-12-27 2021-08-20 北京奇艺世纪科技有限公司 模型生成方法、分类方法、装置及计算机可读存储介质
CN111382642A (zh) * 2018-12-29 2020-07-07 北京市商汤科技开发有限公司 人脸属性识别方法及装置、电子设备和存储介质
CN111400532A (zh) * 2019-01-03 2020-07-10 福建天泉教育科技有限公司 一种照片推荐方法及终端
CN109711386B (zh) * 2019-01-10 2020-10-09 北京达佳互联信息技术有限公司 获取识别模型的方法、装置、电子设备及存储介质
CN109993125B (zh) * 2019-04-03 2022-12-23 腾讯科技(深圳)有限公司 模型训练方法、人脸识别方法、装置、设备及存储介质
CN110321778B (zh) * 2019-04-26 2022-04-05 北京市商汤科技开发有限公司 一种人脸图像处理方法、装置和存储介质
CN110222566A (zh) * 2019-04-30 2019-09-10 北京迈格威科技有限公司 一种人脸特征的获取方法、装置、终端及存储介质
CN110287767A (zh) * 2019-05-06 2019-09-27 深圳市华付信息技术有限公司 可防攻击的活体检测方法、装置、计算机设备及存储介质
CN110189340B (zh) * 2019-06-03 2022-01-21 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN110442484B (zh) * 2019-07-23 2023-10-13 深圳云天励飞技术有限公司 一种测试方法和相关装置
CN110472611A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 人物属性识别的方法、装置、电子设备及可读存储介质
CN110866466B (zh) * 2019-10-30 2023-12-26 平安科技(深圳)有限公司 一种人脸识别方法、装置、存储介质和服务器
CN111160095B (zh) * 2019-11-26 2023-04-25 华东师范大学 基于深度自编码器网络的无偏人脸特征提取分类方法及系统
CN111274945B (zh) * 2020-01-19 2023-08-08 北京百度网讯科技有限公司 一种行人属性的识别方法、装置、电子设备和存储介质
CN111339931B (zh) * 2020-02-25 2023-04-28 四川翼飞视科技有限公司 一种联合性别属性训练的人脸识别网络模型构建方法
CN111428671A (zh) * 2020-03-31 2020-07-17 杭州博雅鸿图视频技术有限公司 人脸结构化信息识别方法、系统、装置及存储介质
CN111626098B (zh) * 2020-04-09 2023-04-18 北京迈格威科技有限公司 模型的参数值更新方法、装置、设备及介质
US11599742B2 (en) * 2020-04-22 2023-03-07 Dell Products L.P. Dynamic image recognition and training using data center resources and data
CN111783574B (zh) * 2020-06-17 2024-02-23 李利明 膳食图像识别方法、装置以及存储介质
CN111723762B (zh) * 2020-06-28 2023-05-12 湖南国科微电子股份有限公司 人脸属性识别方法、装置、电子设备及存储介质
CN111901636A (zh) * 2020-07-09 2020-11-06 深圳康佳电子科技有限公司 一种电视游戏的推荐方法、智能电视及存储介质
CN112084904A (zh) * 2020-08-26 2020-12-15 武汉普利商用机器有限公司 人脸搜索方法、装置及存储介质
CN113486694A (zh) * 2020-10-26 2021-10-08 青岛海信电子产业控股股份有限公司 一种人脸图像处理方法及终端设备
CN112541963B (zh) * 2020-11-09 2023-12-26 北京百度网讯科技有限公司 三维虚拟形象生成方法、装置、电子设备和存储介质
CN112329693B (zh) * 2020-11-17 2024-01-19 汇纳科技股份有限公司 性别年龄识别模型的训练方法、识别方法、介质及设备
CN112464842A (zh) * 2020-12-04 2021-03-09 北京华捷艾米科技有限公司 年龄显示方法及装置、存储介质及电子设备
CN112508135B (zh) * 2021-02-03 2021-04-30 电子科技大学中山学院 模型训练方法、行人属性预测方法、装置及设备
CN113408265B (zh) * 2021-06-22 2023-01-17 平安科技(深圳)有限公司 基于人机交互的语义解析方法、装置、设备及存储介质
CN115019350B (zh) * 2022-08-09 2022-12-06 中科视语(北京)科技有限公司 人体属性识别方法、装置及电子设备
CN116302294B (zh) * 2023-05-18 2023-09-01 安元科技股份有限公司 一种界面化自动识别组件属性的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706872A (zh) * 2009-11-26 2010-05-12 上海交通大学 通用的开放式人脸识别系统
CN103258186A (zh) * 2013-03-17 2013-08-21 北京工业大学 基于图像分割的集成人脸识别方法
CN103824053A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种人脸图像的性别标注方法及人脸性别检测方法
CN104143079A (zh) * 2013-05-10 2014-11-12 腾讯科技(深圳)有限公司 人脸属性识别的方法和系统
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技(深圳)有限公司 人脸属性识别方法及装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5202037B2 (ja) * 2008-02-29 2013-06-05 キヤノン株式会社 特徴点位置決定方法及び装置
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
JP5649425B2 (ja) * 2010-12-06 2015-01-07 株式会社東芝 映像検索装置
US9225876B2 (en) * 2013-09-25 2015-12-29 Abbyy Development Llc Method and apparatus for using an enlargement operation to reduce visually detected defects in an image
CN106529402B (zh) * 2016-09-27 2019-05-28 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN106815566B (zh) * 2016-12-29 2021-04-16 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107247947B (zh) * 2017-07-07 2021-02-09 智慧眼科技股份有限公司 人脸属性识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706872A (zh) * 2009-11-26 2010-05-12 上海交通大学 通用的开放式人脸识别系统
CN103258186A (zh) * 2013-03-17 2013-08-21 北京工业大学 基于图像分割的集成人脸识别方法
CN104143079A (zh) * 2013-05-10 2014-11-12 腾讯科技(深圳)有限公司 人脸属性识别的方法和系统
CN103824053A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种人脸图像的性别标注方法及人脸性别检测方法
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技(深圳)有限公司 人脸属性识别方法及装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技(深圳)有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
CN110414432B (zh) * 2019-07-29 2023-05-16 腾讯科技(深圳)有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
CN114863540A (zh) * 2022-07-05 2022-08-05 杭州魔点科技有限公司 基于人脸属性分析的人脸识别在线辅助方法及装置
CN114863540B (zh) * 2022-07-05 2022-12-16 杭州魔点科技有限公司 基于人脸属性分析的人脸识别在线辅助方法及装置

Also Published As

Publication number Publication date
CN107844781A (zh) 2018-03-27
US20200057883A1 (en) 2020-02-20
US11151360B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
WO2019105285A1 (zh) 人脸属性识别方法、电子设备及存储介质
US20210349940A1 (en) Video clip positioning method and apparatus, computer device, and storage medium
US20220076000A1 (en) Image Processing Method And Apparatus
WO2019101021A1 (zh) 图像识别方法、装置及电子设备
CN110647865B (zh) 人脸姿态的识别方法、装置、设备及存储介质
US11798278B2 (en) Method, apparatus, and storage medium for classifying multimedia resource
CN108960209B (zh) 身份识别方法、装置及计算机可读存储介质
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN111079576B (zh) 活体检测方法、装置、设备及存储介质
US20220309836A1 (en) Ai-based face recognition method and apparatus, device, and medium
US11488293B1 (en) Method for processing images and electronic device
JP2021524957A (ja) 画像処理方法およびその、装置、端末並びにコンピュータプログラム
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110047468B (zh) 语音识别方法、装置及存储介质
CN111027490B (zh) 人脸属性识别方法及装置、存储介质
CN112036331A (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN111368127A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111080747B (zh) 一种人脸图像处理方法及电子设备
CN110991445B (zh) 竖排文字识别方法、装置、设备及介质
CN110503160B (zh) 图像识别方法、装置、电子设备及存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN111982293B (zh) 体温测量方法、装置、电子设备及存储介质
CN112001442B (zh) 特征检测方法、装置、计算机设备及存储介质
CN113516665A (zh) 图像分割模型的训练方法、图像分割方法、装置、设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18883664

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18883664

Country of ref document: EP

Kind code of ref document: A1