WO2022161397A1 - 人脸图像的验证方法、装置、电子设备和存储介质 - Google Patents

人脸图像的验证方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
WO2022161397A1
WO2022161397A1 PCT/CN2022/073999 CN2022073999W WO2022161397A1 WO 2022161397 A1 WO2022161397 A1 WO 2022161397A1 CN 2022073999 W CN2022073999 W CN 2022073999W WO 2022161397 A1 WO2022161397 A1 WO 2022161397A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face image
verified
fingerprint information
fingerprint
Prior art date
Application number
PCT/CN2022/073999
Other languages
English (en)
French (fr)
Inventor
陈昱
于旸
马卓
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2022161397A1 publication Critical patent/WO2022161397A1/zh
Priority to US18/071,460 priority Critical patent/US20230091865A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2115—Third party

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供一种人脸图像的验证方法、装置、计算机可读存储介质、电子设备和计算机程序产品。该方法由电子设备执行，包括：接收目标设备发送的待验证人脸图像；对待验证人脸图像进行残差指纹提取，得到待验证人脸图像的残差指纹信息；从指纹信息库中获取目标设备对应的设备指纹信息，指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，设备指纹信息为已通过验证的设备采集的样本图像中包含的该已通过验证的设备的指纹信息；根据待验证人脸图像的位置指示信息，从设备指纹信息中获取残差指纹信息对应的设备指纹分量，并计算残差指纹信息和设备指纹分量的相关度，其中，待验证人脸图像的位置指示信息用于指示待验证人脸图像在拍摄成像范围内的位置；当相关度大于或者等于预设阈值，则确定待验证人脸图像验证通过。

Description

人脸图像的验证方法、装置、电子设备和存储介质
本申请要求于2021年2月1日提交中国专利局、申请号为202110138138.8、名称为“人脸图像的合法性验证方法、装置、电子设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，具体涉及一种人脸图像的验证方法、装置、电子设备和存储介质。
背景
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着计算机技术的快速发展，人脸识别技术不断地完善，人脸识别得到了更广泛的应用。然而，在人脸识别的应用中，经常会遭到假脸注入攻击。其中，假脸注入攻击是指攻击者在人脸图像采集、存储、处理、传输等过程中对人脸图像进行篡改注入，从而突破人脸识别系统的活体检测，达到伪装他人身份进行生物认证的目的。
技术内容
本申请实施例提供一种人脸图像的验证方法，包括：
接收目标设备发送的待验证人脸图像；
对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；
从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的指纹信息；
根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；
当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。
相应的，本申请实施例还提供一种人脸图像的验证装置，包括：
接收单元，用于接收目标设备发送的待验证人脸图像；
提取单元，用于对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；
获取单元，用于从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的指纹信息；
计算单元，用于根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；
确定单元，用于当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。
在一些实施例中，所述提取单元可以包括去噪子单元和提取子单元，如下：
所述去噪子单元，用于对所述待验证人脸图像进行低通滤波处理，去除所述待验证人脸图像的噪声，得到去噪后人脸图像；
所述提取子单元，用于将所述待验证人脸图像和所述去噪后人脸图像进行逐个像素相减，得到所述待验证人脸图像和所述去噪后人脸图像的像素差值；根据所述待验证人脸图像和所述去噪后人脸图像的像素差值，确定所述待验证人脸图像的残差指纹信息。
在一些实施例中，所述去噪子单元，具体可以用于利用小波变换对所述待验证人脸图像进行多 尺度分解，得到多尺度子图像；对所述多尺度子图像的小波系数进行去噪，得到去噪后子图像；利用小波逆变换对所述去噪后子图像进行重构，得到去噪后人脸图像。
在一些实施例中，所述获取单元，具体可以用于获取所述目标设备的设备标识；根据所述设备标识确定所述目标设备是否为已通过验证的设备；若所述目标设备为已通过验证的设备，则从指纹信息库中查找所述设备标识对应的设备指纹信息。
在一些实施例中，所述人脸图像的验证装置还可以包括建立单元，所述建立单元可以包括采集子单元、确定子单元和存储子单元，如下：
所述采集子单元，用于利用已通过验证的设备的图像采集模块采集多张样本图像；
所述确定子单元，用于对每张样本图像进行残差指纹提取，得到每张样本图像的样本图像指纹信息，并根据每张样本图像的样本图像指纹信息确定所述已通过验证的设备对应的设备指纹信息；
所述存储子单元，用于将所述已通过验证的设备对应的设备指纹信息存储于指纹信息库中。
在一些实施例中，所述采集子单元，用于获取参考图像，所述参考图像为纯色均匀的图像；设置已通过验证的设备的图像采集模块的采集参数，并基于所述采集参数，利用所述图像采集模块对所述参考图像进行多次拍摄，得到多张训练图像；若所述图像采集模块为多通道输出，则对每张训练图像进行通道分离，得到所述多张训练图像对应的多张样本图像；若所述图像采集模块为单通道输出，则将所述训练图像作为样本图像进行输出。
在一些实施例中，所述确定子单元，用于对每张样本图像进行低通滤波处理，去除每张样本图像的噪声，得到每张样本图像对应的去噪后样本图像；将每张样本图像和每张样本图像对应的去噪后样本图像进行逐个像素相减，得到每张样本图像和每张样本图像对应的去噪后样本图像的像素差值；根据每张样本图像和每张样本图像对应的去噪后样本图像的像素差值，确定每张样本图像的样本图像指纹信息；根据每张样本图像的权重对每张样本图像的样本图像指纹信息进行加权平均，得到所述已通过验证的设备对应的设备指纹信息。
在一些实施例中，所述残差指纹信息包括残差指纹图，所述设备指纹信息包括设备指纹图，所述计算单元，具体可以用于根据所述待验证人脸图像的位置指示信息，从所述设备指纹图中确定与所述待验证人脸图像的所述残差指纹图所对应的感兴趣区域；从所述设备指纹图中截取所确定的感兴趣区域，得到设备指纹子图；计算所述残差指纹图和所述设备指纹子图的相关度。
此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种人脸图像的验证方法中的步骤。
此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种人脸图像的验证方法中的步骤。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述人脸图像的验证方面的各种实现方式中提供的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的人脸图像的验证方法的场景示意图；
图1b是本申请实施例提供的人脸图像的验证方法的流程图；
图1c为本申请实施例中存储已通过验证的设备对应的设备指纹信息的流程图
图2a是本申请实施例提供的人脸图像的验证系统架构图；
图2b是本申请实施例提供的提取待注册摄像头的残差指纹的流程图；
图2c是本申请实施例提供的采集样本图像的流程图；
图2d是本申请实施例提供的人脸图像的验证方法的流程图；
图2e是本申请实施例提供的人脸图像的残差指纹提取示意图；
图2f是本申请实施例提供的人脸图像的验证方法的流程图；
图2g是本申请实施例提供的人脸图像的验证方法的流程图；
图3是本申请实施例提供的人脸图像的验证装置的结构示意图；
图4是本申请实施例提供的电子设备的结构示意图。
实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的原理是以实施在一适当的运算环境中来举例说明。在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下该的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“单元”可看做为在该运算系统上执行的软件对象。本文该的不同组件、单元、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法可以以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是某些实施例还包括没有列出的步骤或单元，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
相关的人脸识别方案，安全防护能力比较薄弱，不能有效地防御假脸注入攻击。因此，本申请实施例提供一种人脸图像的验证方法、装置、电子设备和存储介质，可以有效地提高了人脸图像的验证的准确性。其中，该人脸图像的验证装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
例如，图1a示出了本申请实施例提供的人脸图像的验证方法的场景示意图。如图1a所示，该场景示意图包括目标设备101和电子设备102。
在一些实施例中，目标设备101可以是包括用于采集人脸图像的图像采集装置的终端设备，图像采集装置可以为摄像头、摄像机、相机、扫描仪、以及其他带有拍照功能的零部件。当采集人脸图像的图像采集装置为摄像头时，该摄像头可以是RGB(R代表Red红色，G代表Green绿色，B代表Blue蓝色)摄像头、红外摄像头或者深度摄像头。在一些实施例中，目标设备101可以作为人脸采集终端。
电子设备102，可以是服务器，也可以是终端等设备；其中，该终端可以包括手机、平板电脑、笔记本电脑、以及个人计算机(Personal Computer，PC)等设备。在一些实施例中，电子设备101可以作为人脸认证云端。
在一些实施例中，该集成了人脸图像的验证装置的电子设备可以首先接收目标设备发送的待验证人脸图像；然后，对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；接着，从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的指纹信息；再根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所 述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；再然后，根据所述相关度确定所述待验证人脸图像是否为合法人脸图像，比如，当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像为合法人脸图像。由于该方案可以通过对所述待验证人脸图像进行残差指纹提取，并将待验证人脸图像的残差指纹信息与目标设备对应的设备指纹信息进行匹配，从而实现对待验证人脸图像是否为合法摄像头拍摄进行验证，使得人脸识别系统具备检测假脸注入攻击的能力，解决了电子设备被克隆或入侵后恶意注入的图像难以被检测的问题，有效地提高了人脸图像的验证的准确性和安全性，进而提高了人脸识别的安全性，且无需增加额外硬件，成本低，安全性高。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例顺序的限定。
本实施例将从人脸图像的验证装置的角度进行描述，该人脸图像的验证装置具体可以集成在电子设备中。
如图1b所示，该人脸图像的验证方法的具体流程可以如下：
S101、接收目标设备发送的待验证人脸图像。
其中，如前所述，人脸图像的验证装置集成在电子设备中，该电子设备可以是终端设备，也可以是人脸认证云端设备，比如，人脸图像的验证装置集成在终端设备时，可以接收自己设备发送的待验证人脸图像。人脸图像的验证装置集成在人脸认证云端设备时，可以接收人脸采集终端发送的待验证人脸图像。例如，具体可以为，目标设备接收目标设备发送的待验证人脸图像，或者人脸认证云端设备接收目标设备发送的待验证人脸图像。
其中，待验证人脸图像可以指的是需要进行图像来源验证，验证通过后可用于进行人脸识别的图像。由于在人脸识别过程中，攻击者可以在人脸图像采集、存储、处理、传输等过程中对人脸图像进行篡改注入，从而突破人脸识别系统的活体检测，达到伪装他人身份进行生物认证，因此，需要对即将进行人脸识别的人脸图像进行验证，确定该人脸图像是否拍摄自合法摄像头进行验证，从而使得人脸识别系统具备检测假脸注入攻击的能力。
S102、对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息。
其中，残差指纹是指对摄像头所采集到的一帧图像进行特定滤波算法来过滤掉高层语义以及低频噪声信息后所残留的信息，该残留的信息来源于感光芯片生产制造时所引入的唯一且不变的原生特征，可看作一种特殊的水印信息。例如，常用于取证的光响应不均匀性(Photo Response Non-Uniformity，PRNU)水印就是残差指纹的一种。
PRNU光响应不均匀性，是数码相机固定模式噪声的一种来源。它是指由于在传感器制造过程中，由感光元件(CMOS/CCD)的硅的薄厚不同所造成的，在相同的光照条件下感光元件的每个像素的光响应灵敏度并不完全相同的一种物理现象。也就是说，PRNU光响应不均匀性是在传感器制造过程中，由感光元件(CMOS/CCD)上的硅的薄厚不同造成的。可以这么理解：在相同的光条件下，感光元件的每个像素块的表现并不是完全相同的。通常来说，每个不同的相机的PRNU都是不同的，就像人类的指纹一样。由于PRNU的特性，PRNU可以应用到很多方向上。主要的应用方向是两种：第一种是图像来源检测(Image Origin Identification)，这一领域中主要的应用是图像来源检测和源相机验证。图像来源检测的主要目标是，通过一张或者一组图片，在可疑的相机中检测出照片的源相机。源相机验证的目标是检测图片是否由特定的相机拍摄。第二种PRNU的应用方向是图像伪造检测(Image Forgery Detection)，PRNU可以被当做一种用来检测图像伪造的水印。因为一些伪造的图像例如复制或者移动等方法会改变图像的特征PRNU，可以利用这一特性来检测图像是否经过伪造。
其中，对所述待验证人脸图像进行残差指纹提取的方式可以有很多种。在一些实施例中，可以利用保低频去高频的滤波方法对待验证人脸图像进行滤波后，将滤波后的图像与滤波前的图像逐个像素进行相减，将相减的结果作为该待验证人脸图像的残差指纹。例如，可以对所述待验证人脸图像进行低通滤波处理，去除所述待验证人脸图像的噪声，得到去噪后人脸图像；将所述待验证人脸图像和所述去噪后人脸图像逐个像素进行相减，得到所述待验证人脸图像和所述去噪后人脸图像的像素差值；根据所述待验证人脸图像和所述去噪后人脸图像的像素差值，确定所述待验证人脸图像的残差指纹信息。
在一些实施例中，对所述待验证人脸图像进行低通滤波的方式可以有很多种，比如，可以利用小波变换滤波、维纳滤波、均值滤波、傅里叶低通滤波等等。例如，具体可以利用小波变换对所述待验证人脸图像进行多尺度分解，得到多尺度子图像；对所述多尺度子图像的小波系数进行去噪， 得到去噪后子图像；利用小波逆变换对所述去噪后子图像进行重构，得到去噪后人脸图像。
S103、从指纹信息库中获取所述目标设备对应的设备指纹信息。
其中，所述指纹信息库中可以包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的该已通过验证的设备的指纹信息。比如，为了提高验证效率，可以先利用已通过验证的设备采集样本图像，进而从样本图像中提取出已通过验证的设备的指纹信息，并将已通过验证的设备的指纹信息存储到指纹信息库中，以方便快速地从指纹信息库中查找设备对应的指纹信息。
在一些实施例中，指纹信息库中的已通过验证的设备带有预设的标识符，该预设的标识符用于指示该设备是已通过验证的，且该设备的设备指纹信息可以用于验证待验证图像。在一些实施例中，已通过验证的设备还可以称为合法设备。
图1c为本申请实施例中存储已通过验证的设备对应的设备指纹信息的流程图。如图1c所示，包括以下步骤：
步骤S1031，利用已通过验证的设备的图像采集模块采集多张样本图像；步骤S1032，对每张样本图像进行残差指纹提取，得到每张样本图像的样本图像指纹信息，并根据每张样本图像的样本图像指纹信息确定所述已通过验证的设备对应的设备指纹信息；步骤S1033，将所述已通过验证的设备对应的设备指纹信息存储于指纹信息库中。
在一些实施例中，利用已通过验证的设备的图像采集模块采集多张样本图像的方式可以有很多种，例如，具体可以获取参考图像，所述参考图像为纯色均匀的图像；设置已通过验证的设备的图像采集模块的采集参数，并基于所述采集参数，利用所述图像采集模块对所述参考图像进行多次拍摄，得到多张训练图像；若所述图像采集模块为多通道输出，则对每张训练图像进行通道分离，也即分别将多通道的每张训练图像拆分成单通道的多张图像，得到所述多张训练图像对应的多张样本图像；若所述图像采集模块为单通道输出，则将所述训练图像作为样本图像进行输出。
其中，图像采集模块可以指的是可以进行图像采集的模块，比如，可以为摄像头、摄像机、相机、扫描仪、以及其他带有拍照功能的零部件，等等。
在一些实施例中，为了提高人脸图像的验证的准确性，可以对多张样本图像进行残差指纹提取后加权平均，进而得到已通过验证的设备对应的设备指纹信息。例如，具体可以对每张样本图像进行低通滤波处理，去除每张样本图像的噪声，得到每张样本图像对应的去噪后样本图像；将每张样本图像和每张样本图像对应的去噪后样本图像进行逐像素相减，得到每张样本图像和每张样本图像对应的去噪后样本图像的像素差值；根据每张样本图像和每张样本图像对应的去噪后样本图像的像素差值，确定每张样本图像的样本图像指纹信息；根据每张样本图像的权重对每张样本图像的样本图像指纹信息进行加权平均，得到所述已通过验证的设备对应的设备指纹信息。
其中，对样本图像进行低通滤波的方式也可以有很多种，比如，可以利用小波变换滤波、维纳滤波、均值滤波、傅里叶低通滤波等等。例如，具体可以利用小波变换对所述样本图像进行多尺度分解，得到多尺度样本子图像；对所述多尺度样本子图像的小波系数进行去噪，得到去噪后样本子图像；利用小波逆变换对所述去噪后样本子图像进行重构，得到去噪后样本图像。
在一些实施例中，将所述已通过验证的设备对应的设备指纹信息存储于指纹信息库中的方式可以有很多种，比如，可以将已通过验证的设备的设备标识和已通过验证的设备对应的设备指纹信息进行绑定或者一一映射的形式存储到指纹信息库，这样，后续就可以根据设备标识从指纹信息库中查找该设备标识对应的指纹信息。例如，具体可以将已通过验证的设备的设备标识和所述已通过验证的设备对应的设备指纹信息存储于指纹信息库中。
则在一些实施例中，从指纹信息库中获取所述目标设备对应的设备指纹信息，可以通过设备标识在指纹信息库中查找设备标识对应的指纹信息。例如，具体可以获取所述目标设备的设备标识；根据所述设备标识确定所述目标设备是否为已通过验证的设备；若所述目标设备为已通过验证的设备，则从指纹信息库中查找所述设备标识对应的设备指纹信息。若所述目标设备不为已通过验证的设备(即所述目标设备为非法设备)，则可以确定所述待验证人脸图像为非法人脸图像。
S104、根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度。
其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置，可以是待验证人脸图像的感兴趣区域(region of interest，ROI)所指示的位置信息，包括待验证人脸图像的起始坐标以及宽(W)高(H)等信息。所述待验证人脸图像可以包括位置指示信息，所述残差指纹信息可以包括残差指纹图，所述设备指纹信息可以包括设备指纹图。
其中，根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量的方法可以有很多种，比如，可以根据待验证人脸图像的位置指示信息确定待验证人脸图像在拍摄成像范围内的位置，然后在残差指纹信息中获取该位置对应的设备指纹分量。计算所述残差指纹信息和所述设备指纹分量的相关度的方法可以有很多种，比如，可以包括相关峰相似性(peak-to-correlation energy，PCE)、归一化互相关性(Normalized Cross Correlation，NCC)等等。
在一些实施例中，可以根据待验证人脸图像的残差指纹图以及待验证人脸图像对应的设备指纹图，来计算根据待验证人脸图像和设备指纹分量的相关度。例如，具体可以根据所述待验证人脸图像的位置指示信息，从所述设备指纹图中确定与所述待验证人脸图像的所述残差指纹图所对应的感兴趣区域；从所述设备指纹图中截取所确定的感兴趣区域，得到设备指纹子图；计算所述残差指纹图和所述设备指纹子图的相关度。比如，位置指示信息可以包含起始坐标以及长宽信息，根据位置指示信息包含的待验证人脸图像的起始坐标以及宽(W)高(H)等信息，从设备指纹图中截取出设备指纹子图。
S105、当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。
例如，具体可以根据所述相关度确定所述待验证人脸图像是否通过验证，如果所述待验证人脸图像验证通过，还可以将其称为合法人脸图像当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过，当所述相关度小于预设阈值，则确定所述待验证人脸图像没有验证通过，如果所述待验证人脸图像没有通过验证，还可以将其称为非法人脸图像。
其中，预设阈值的设定方式可以有很多种，比如，可以根据实际应用的需求灵活设置，也可以预先设置好存储在电子设备中。此外，预设阈值可以内置于终端中，或者，也可以保存在存储器中并发送给电子设备，等等。比如，预设阈值可以为90％，等等。比如，当所述相关度大于或者等于90％，则确定所述待验证人脸图像为合法人脸图像，可以执行后续的人脸识别业务逻辑等。当所述相关度小于90％，则确定所述待验证人脸图像为非法人脸图像，可以执行相关的风险控制策略。其中，风险控制可以指的是风险管理者采取各种措施和方法消灭或减少风险事件发生的各种可能性或者减少风险事件发生时造成的损失。
由上可知，本实施例可以接收目标设备发送的待验证人脸图像；然后，对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；接着，从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的指纹信息；再根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像为合法人脸图像。由于该方案可以通过对所述待验证人脸图像进行残差指纹提取，并将待验证人脸图像的残差指纹信息与目标设备对应的设备指纹信息进行匹配，从而实现对待验证人脸图像是否为合法摄像头拍摄进行验证，使得人脸识别系统具备检测假脸注入攻击的能力，解决了电子设备被克隆或入侵后恶意注入的图像难以被检测的问题，有效地提高了人脸图像的验证的准确性和安全性，进而提高了人脸识别的安全性，且无需增加额外硬件，成本低，安全性高。
根据上一个实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该人脸图像的验证装置具体集成在电子设备，电子设备具体可以为人脸认证云端，目标设备具体可以为人脸采集终端，图像采集模块具体可以为人脸采集终端的摄像头，为例进行说明。
其中，人脸采集终端可以指的是人脸识别系统中负责人脸采集、预处理、活体检测并最终将人脸图像上传至云端进行认证的设备，例如刷脸支付机、自助式刷脸售货机、手机等。人脸认证云端可以指的是人脸识别系统中负责接收终端上传的人脸图像，并对图像进行活体检测，并最终完成人脸识别认证的云端服务器。线上人脸识别可以指的是由人脸采集终端采集人脸图像并上传人脸至人脸认证云端进行识别认证的人脸识别方案。假脸注入攻击可以指的是攻击者在人脸图像采集、存储、处理、传输等过程中对人脸图像进行篡改注入，从而突破人脸识别系统的活体检测，达到伪装他人身份进行生物认证的目的。
(一)首先，可以先利用已通过验证的设备采集样本图像，进而从样本图像中提取出已通过验证的设备的指纹信息，并将已通过验证的设备的指纹信息存储到指纹信息库中，具体可以如下：
该所涉及的人脸图像的验证系统的架构可以如图2a所示。整个系统由人脸采集终端201和人 脸认证云端202两部分组成。其典型特征是人脸采集终端通过摄像头采集人脸图像，并将人脸图像和其他相关信息通过网络发送给人脸认证云端进行身份认证和防伪识别。
比如，人脸采集终端201既可以是部署在大型商超的刷脸支付机，也可以是手机类的便携式设备。人脸采集终端上用于采集人脸图像的摄像头可以是RGB(R代表Red红色，G代表Green绿色，B代表Blue蓝色)摄像头、红外摄像头或者深度摄像头，等等。摄像头的输出可以是多通道或者单通道。在一些实施例中，为了提高验证效率，通过摄像头采集的用于认证的人脸图像不能进行旋转变换、美颜处理、以及进行高压缩比的有损压缩。
其中，RGB摄像头可以指的是接收可见光照射，输出为红绿蓝三通道图像的彩色摄像头。红外摄像头可以指的是接收红外光照射，输出为单通道图像的摄像头。深度摄像头可以指的是利用结构光、TOF等原理获得被测物体3D信息的摄像头。
比如，人脸认证云端202至少包括人脸数据库、设备ID(Identity document，标识)库、设备残差指纹信息库(简称指纹信息库)、残差指纹提取模块、残差指纹比对模块等组件。其中，设备残差指纹信息库、残差指纹提取模块和残差指纹比对模块这三个组件与假脸注入检测功能相关。
比如，如图2b所示，可以利用待注册摄像头(即已通过验证的设备的图像采集模块)采集到一组用于训练的样本图像后，经过一个滤波模块进行滤波得到滤波去噪后样本图像，然后，将滤波前后的图像逐个像素相减，得到一组残差指纹图，最后，可以以原图的像素值或者像素值的平方为权重对这一组残差指纹图进行加权平均，得到一个最终的待注册摄像头的残差指纹图。例如，电子设备具体可以利用已通过验证的设备的图像采集模块采集多张样本图像；对每张样本图像进行残差指纹提取，得到每张样本图像的样本图像指纹信息，并根据每张样本图像的样本图像指纹信息确定所述已通过验证的设备对应的设备指纹信息；将所述已通过验证的设备对应的设备指纹信息存储于指纹信息库中。
其中，利用待注册摄像头采集训练图像的步骤可以如图2c所示。首先，可以先打印一张纯色均匀的照片(即参考图像)；然后，将摄像头的焦距调整为无限远，曝光模式设置为自动曝光；再将打印的纯色均匀照片放置在摄像头前方10-30cm处，保证画面充满整个摄像头的画幅；接着在标准的室内工作场所的照明条件下，连续拍摄20至50张照片；最后，如果摄像头输出是多通道的，可以将多通道的一张照片拆分成单通道的多张照片，如果摄像头输出是单通道的，则可以直接输出拍摄的照片。
在一些实施例中，电子设备具体可以获取参考图像，所述参考图像为纯色均匀的图像；设置已通过验证的设备的图像采集模块的采集参数，并基于所述采集参数，利用所述图像采集模块对所述参考图像进行多次拍摄，得到多张训练图像；若所述图像采集模块为多通道输出，则对每张训练图像进行通道分离，得到多张样本图像；若所述图像采集模块为单通道输出，则将所述训练图像作为样本图像进行输出。
为了提高人脸图像的验证的准确性，可以对多张样本图像进行残差指纹提取后加权平均，进而得到已通过验证的设备对应的设备指纹信息。例如，电子设备具体可以对每张样本图像进行低通滤波处理，去除每张样本图像的噪声，得到每张样本图像对应的去噪后样本图像；将每张样本图像和每张样本图像对应的去噪后样本图像进行逐个像素相减，得到每张样本图像和每张样本图像对应的去噪后的样本图像的像素差值；根据每张样本图像和每张样本图像对应的去噪后的样本图像的像素差值，确定每张样本图像的样本图像指纹信息；根据每张样本图像的权重对每张样本图像的样本图像指纹信息进行加权平均，得到所述已通过验证的设备对应的设备指纹信息。
其中，图2b中的滤波模块可以采用包括但不限于小波变换滤波、维纳滤波、均值滤波、傅里叶低通滤波等保低频去高频的滤波方法。然后，将滤波后的所有图像与滤波前的对应图像进行逐像素相减得到一组残差指纹；再将所有残差指纹按照像素位置进行加权平均，权重为对应原图的像素值或者像素值的平方。加权平均后得到的结果作为该注册摄像头的残差指纹全图(即已通过验证的设备对应的设备指纹图)。
比如，可以将残差指纹全图与对应的待注册摄像头所属的设备ID进行绑定，并将所有已通过验证的设备的ID和残差指纹以设备ID库和设备残差指纹信息库的形式存储于人脸认证云端，这样，后续就可以根据设备标识从设备残差指纹信息库中查找该设备标识对应的指纹信息。例如，电子设备具体可以将已通过验证的设备的设备标识和所述已通过验证的设备对应的设备指纹信息存储于指纹信息库中。
通过上述步骤对已通过验证的设备的指纹信息进行收集，进而可以利用指纹信息库中收集到的设备指纹信息对人脸图像进行验证。
(二)其次，利用指纹信息库中收集到的设备指纹信息，可以实现对待验证人脸图像进行验证，具体可以参见图2d。
如图2d所示，一种人脸图像的验证方法，由电子设备执行，具体流程可以如下：
201、电子设备接收目标设备发送的待验证人脸图像。
例如，具体可以为，人脸认证云端接收人脸采集终端发送的待验证人脸图像。其中，待验证人脸图像可以指的是需要进行图像来源验证，验证通过后可用于进行人脸识别的图像。由于在人脸识别过程中，攻击者可以在人脸图像采集、存储、处理、传输等过程中对人脸图像进行篡改注入，从而突破人脸识别系统的活体检测，达到伪装他人身份进行生物认证的目的。因此，需要对即将进行人脸识别的人脸图像进行验证，确定该人脸图像是否拍摄自合法摄像头，从而使得人脸识别系统具备检测假脸注入攻击的能力。
202、电子设备对所述待验证人脸图像进行低通滤波处理，去除所述待验证人脸图像的噪声，得到去噪后人脸图像。
例如，人脸认证云端收到人脸采集终端上传的待验证人脸图像后，对该待验证人脸图像提取残差指纹，提取过程如图2e所示。待验证人脸图像首先需要经过一个与图2b中滤波模块完全相同的滤波模块进行低通滤波，对待验证人脸图像进行去噪，得到滤波去噪后人脸图像。例如，电子设备具体可以对所述待验证人脸图像进行低通滤波处理，去除所述待验证人脸图像的噪声，得到去噪后人脸图像；将所述待验证人脸图像和所述去噪后人脸图像逐个像素相减，得到所述待验证人脸图像和所述去噪后人脸图像的像素差值；根据所述待验证人脸图像和所述去噪后人脸图像的像素差值，确定所述待验证人脸图像的残差指纹信息。
例如，电子设备具体可以利用小波变换对所述待验证人脸图像进行多尺度分解，得到多尺度子图像；对所述多尺度子图像的小波系数进行去噪，得到去噪后子图像；利用小波逆变换对所述去噪后子图像进行重构，得到去噪后人脸图像。
203、电子设备根据所述待验证人脸图像和所述去噪后人脸图像的像素差值，确定所述待验证人脸图像的残差指纹信息。
例如，电子设备可以将所述待验证人脸图像和所述去噪后人脸图像进行逐个像素相减，得到所述待验证人脸图像和所述去噪后人脸图像的像素差值；根据所述待验证人脸图像和所述去噪后人脸图像的像素差值，确定所述待验证人脸图像的残差指纹信息。电子设备具体可以将去噪后人脸图像与待验证人脸图像进行逐个像素相减，得到所述待验证人脸图像和所述去噪后人脸图像的像素差值，然后将相减的结果(即像素差值)作为该待验证人脸图像的残差指纹图。
204、电子设备从指纹信息库中获取所述目标设备对应的设备指纹信息。
其中，所述指纹信息库中可以包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的该已通过验证的设备的指纹信息。比如，可以通过设备标识在指纹信息库中查找设备标识对应的指纹信息。例如，电子设备具体可以获取所述目标设备的设备标识；根据所述设备标识确定所述目标设备是否为已通过验证的设备；若所述目标设备为已通过验证的设备，则从指纹信息库中查找所述设备标识对应的设备指纹信息。
205、电子设备根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度。
其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置，可以是待验证人脸图像的感兴趣区域(region of interest，ROI)所指示的位置信息，包括待验证人脸图像的起始坐标以及宽(W)高(H)等信息。其中，所述残差指纹信息可以包括残差指纹图，所述设备指纹信息可以包括设备指纹图。其中，感兴趣区域(region of interest，ROI)可以指的是在机器视觉、图像处理中，从被处理的图像以矩形、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。
例如，如图2f所示，人脸认证云端收到人脸采集终端上传的待验证人脸图像的位置指示信息后，根据位置指示信息包含的待验证人脸图像的起始坐标(x，y)以及宽(W)高(H)等信息，从残差指纹全图中截取出残差指纹子图。
例如，电子设备具体可以根据所述待验证人脸图像的位置指示信息，从所述设备指纹图中确定与所述待验证人脸图像的所述残差指纹图所对应的感兴趣区域；从所述设备指纹图中截取所确定的感兴趣区域，得到设备指纹子图；计算所述残差指纹图和所述设备指纹子图的相关度。通过计算所述残差指纹图和所述设备指纹子图的相关度来进行待验证人脸图像与人脸采集终端的残差指纹对比。其中，计算所述残差指纹图和所述设备指纹子图的相关度的方法可以包括相关峰相似性、归一 化互相关性等等。
206、当所述相关度大于或者等于预设阈值，电子设备确定所述待验证人脸图像验证通过。
例如，电子设备具体可以根据所述相关度确定所述待验证人脸图像是否验证通过，当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过，并称其为合法人脸图像(即该待验证人脸图像来源合法)，当所述相关度小于预设阈值，则确定所述待验证人脸图像没有通过验证，并称其为非法人脸图像(即该待验证人脸图像来源非法，疑似假脸注入攻击)。
其中，预设阈值的设定方式可以有很多种，比如，可以根据实际应用的需求灵活设置，也可以预先设置好存储在电子设备中。此外，预设阈值可以内置于终端中，或者，也可以保存在存储器中并发送给电子设备，等等。比如，预设阈值可以为90％，等等。比如，当所述相关度大于或者等于90％，则确定所述待验证人脸图像为合法人脸图像，可以执行后续的人脸识别业务逻辑等。当所述相关度小于90％，则确定所述待验证人脸图像为非法人脸图像，可以执行相关的风险控制策略。
综上，如图2g所示，该人脸图像的验证的简要步骤可以如下：
S1，提取摄像头的设备指纹全图(比如，可以包括摄像头的拍摄成像范围内的残差指纹)，并将该残差指纹全图与摄像头所在的设备ID进行绑定；
S2，获取待验证人脸图像及待验证人脸图像的位置指示信息，并从该待验证人脸图像中提取待验证人脸图像的残差指纹图；
S3，根据设备ID选取与该设备绑定的设备指纹全图；
S4，根据待验证人脸图像的位置指示信息从设备指纹全图中截取待验证人脸图像的残差指纹图对应的设备指纹子图；
S5，将S2获得的待验证人脸图像的残差指纹图与S4获得的设备指纹子图进行相关性比对；
S6，将S5相关性比对的结果与预设阈值进行比较，若高于或等于预设阈值则判定为正常人脸图像，可以继续执行下一步的人脸识别操作，否则判定为假脸注入攻击，停止对该待验证人脸图像进行人脸识别。
由上可知，本实施例可以接收目标设备发送的待验证人脸图像；然后，对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；接着，从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的指纹信息；再根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。由于该方案可以提供了一种防御假脸注入攻击的线上人脸识别风控方法。该方法通过对摄像头残差指纹的提取，并将输入的人脸图像的残差指纹与合法摄像头的残差指纹进行配准并匹配，可以对输入的人脸图像是否拍摄自合法摄像头进行验证，从而使得人脸识别系统具备检测假脸注入攻击的能力。由于本方案解决了终端被克隆或入侵后恶意注入的图像难以被检测的问题，安全性高，且无需增加额外硬件，不需要对硬件进行改造升级，具有部署成本低，虚警率低等优点。而且由于该方案可以在云端进行，且认证的唯一凭证是人脸图像中是否包含合法摄像头的残差指纹，因此即使人脸采集终端被攻击而导致不可信，只要注入图像中没有对应设备的残差指纹存在，便会被本方案所拦截。并且由于摄像头的残差指纹来源于感光芯片的原生特征，不需要本地通过计算来添加，因此，攻击者无法通过逆向终端软件得知风控机制的存在。而且即使攻击者知道存在该类型的风控机制，想要生成针对某个摄像头的残差指纹除了需要获得大量该摄像头的原始照片外还需要很高的技术门槛，进而防止攻击者进行盗刷从而避免受害者的财产遭受损失。
为了更好地实施以上方法，相应的，本申请实施例还提供一种人脸图像的验证装置，该人脸图像的验证装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
例如，如图3所示，该人脸图像的验证装置可以包括接收单元301、提取单元302、获取单元303、计算单元304和确定单元305，如下：
接收单元301，用于接收目标设备发送的待验证人脸图像；
提取单元302，用于对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；
获取单元303，用于从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采 集的样本图像中包含的该已通过验证的设备的指纹信息；
计算单元304，用于根据所述待验证人脸图像的位置指示信息，从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；
确定单元305，用于当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。
在一些实施例中，所述提取单元302可以包括去噪子单元和提取子单元，如下：
所述去噪子单元，用于对所述待验证人脸图像进行低通滤波处理，去除所述待验证人脸图像的噪声，得到去噪后人脸图像；
所述提取子单元，用于将所述待验证人脸图像和所述去噪后人脸图像进行逐像素相减，得到所述待验证人脸图像和所述去噪后人脸图像的像素差值；根据所述待验证人脸图像和所述去噪后人脸图像的像素差值，确定所述待验证人脸图像的残差指纹信息。
在一些实施例中，所述去噪子单元，具体可以用于利用小波变换对所述待验证人脸图像进行多尺度分解，得到多尺度子图像；对所述多尺度子图像的小波系数进行去噪，得到去噪后子图像；利用小波逆变换对所述去噪后子图像进行重构，得到去噪后人脸图像。
在一些实施例中，所述获取单元303，具体可以用于获取所述目标设备的设备标识；根据所述设备标识确定所述目标设备是否为已通过验证的设备；若所述目标设备为已通过验证的设备，则从指纹信息库中查找所述设备标识对应的设备指纹信息。
在一些实施例中，所述人脸图像的验证装置还可以包括建立单元，所述建立单元可以包括采集子单元、确定子单元和存储子单元，如下：
所述采集子单元，用于利用已通过验证的设备的图像采集模块采集多张样本图像；
所述确定子单元，用于对每张样本图像进行残差指纹提取，得到每张样本图像的样本图像指纹信息，并根据每张样本图像的样本图像指纹信息确定所述已通过验证的设备对应的设备指纹信息；
所述存储子单元，用于将所述已通过验证的设备对应的设备指纹信息存储于指纹信息库中。
在一些实施例中，所述采集子单元，用于获取参考图像，所述参考图像为纯色均匀的图像；设置已通过验证的设备的图像采集模块的采集参数，并基于所述采集参数，利用所述图像采集模块对所述参考图像进行多次拍摄，得到多张训练图像；若所述图像采集模块为多通道输出，则对每张训练图像进行通道分离，得到所述多张训练图像对应的多张样本图像；若所述图像采集模块为单通道输出，则将所述训练图像作为样本图像进行输出。
在一些实施例中，所述确定子单元，用于对每张样本图像进行低通滤波处理，去除每张样本图像的噪声，得到每张样本图像对应的去噪后样本图像；将每张样本图像和每张样本图像对应的去噪后样本图像进行逐像素相减，得到每张样本图像和每张样本图像对应的去噪后样本图像的像素差值；根据每张样本图像和每张样本图像对应的去噪后样本图像的像素差值，确定每张样本图像的样本图像指纹信息；根据每张样本图像的权重对每张样本图像的样本图像指纹信息进行加权平均，得到所述已通过验证的设备对应的设备指纹信息。
在一些实施例中，所述残差指纹信息包括残差指纹图，所述设备指纹信息包括设备指纹图，所述计算单元304，具体可以用于根据所述待验证人脸图像的位置指示信息，从所述设备指纹图中确定与所述待验证人脸图像的所述残差指纹图所对应的感兴趣区域；从所述设备指纹图中截取所确定的感兴趣区域，得到设备指纹子图；计算所述残差指纹图和所述设备指纹子图的相关度。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例可以由接收单元301接收目标设备发送的待验证人脸图像；然后，由提取单元302对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；接着，由获取单元303从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的指纹信息；再由计算单元304根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；由确定单元305当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。由于该方案可以通过对所述待验证人脸图像进行残差指纹提取，并将待验证人脸图像的残差指纹信息与目标设备对应的设备指纹信息进行匹配，从而实现对待验证人脸图像是否为合法摄 像头拍摄进行验证，使得人脸识别系统具备检测假脸注入攻击的能力，解决了电子设备被克隆或入侵后恶意注入的图像难以被检测的问题，有效地提高了人脸图像的验证的准确性和安全性，进而提高了人脸识别的安全性，且无需增加额外硬件，成本低，安全性高。
此外，本申请实施例还提供一种电子设备，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
接收目标设备发送的待验证人脸图像；然后，对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；接着，从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的指纹信息；再根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例可以接收目标设备发送的待验证人脸图像；然后，对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；接着，从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的指纹信息；再根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。由于该方案可以通过对所述待验证人脸图像进行残差指纹提取，并将待验证人脸图像的残差指纹信息与目标设备对应的设备指纹信息进行匹配，从而实现对待验证人脸图像是否为合法摄像头拍摄进行验证，使得人脸识别系统具备检测假脸注入攻击的能力，解决了电子设备被克隆或入侵后恶意注入的图像难以被检测的问题，有效地提高了人脸图像的验证的准确性 和安全性，进而提高了人脸识别的安全性，且无需增加额外硬件，成本低，安全性高。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种人脸图像的验证方法中的步骤。例如，该指令可以执行如下步骤：
接收目标设备发送的待验证人脸图像；然后，对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；接着，从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的指纹信息；再根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息指示所述待验证人脸图像在拍摄成像范围内的位置；当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种人脸图像的验证方法中的步骤，因此，可以实现本申请实施例所提供的任一种人脸图像的验证方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种人脸图像的验证方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

  1. 一种人脸图像的验证方法，由电子设备执行，包括：
    接收目标设备发送的待验证人脸图像；
    对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；
    从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的该已通过验证的设备的指纹信息；
    根据所述待验证人脸图像的位置指示信息，从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息用于指示所述待验证人脸图像在拍摄成像范围内的位置；
    当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像验证通过。
  2. 根据权利要求1所述的方法，其中，所述对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息，包括：
    对所述待验证人脸图像进行低通滤波处理，去除所述待验证人脸图像的噪声，得到去噪后人脸图像；
    将所述待验证人脸图像和所述去噪后人脸图像进行逐个像素相减，得到所述待验证人脸图像和所述去噪后人脸图像的像素差值；
    根据所述待验证人脸图像和所述去噪后人脸图像的像素差值，确定所述待验证人脸图像的残差指纹信息。
  3. 根据权利要求2所述的方法，其中，所述对所述待验证人脸图像进行低通滤波处理，去除所述待验证人脸图像的噪声，得到去噪后人脸图像，包括：
    利用小波变换对所述待验证人脸图像进行多尺度分解，得到多尺度子图像；
    对所述多尺度子图像的小波系数进行去噪，得到去噪后子图像；
    利用小波逆变换对所述去噪后子图像进行重构，得到去噪后人脸图像。
  4. 根据权利要求1所述的方法，其中，所述从指纹信息库中获取所述目标设备对应的设备指纹信息，包括：
    获取所述目标设备的设备标识；
    根据所述设备标识确定所述目标设备是否为已通过验证的设备；
    若所述目标设备为已通过验证的设备，则从指纹信息库中查找所述设备标识对应的设备指纹信息。
  5. 根据权利要求1所述的方法，其中，所述从指纹信息库中获取所述目标设备对应的设备指纹信息之前，还包括：
    利用已通过验证的设备的图像采集模块采集多张样本图像；
    对每张样本图像进行残差指纹提取，得到每张样本图像的样本图像指纹信息，并根据每张样本图像的样本图像指纹信息确定所述已通过验证的设备对应的设备指纹信息；
    将所述已通过验证的设备对应的设备指纹信息存储于指纹信息库中。
  6. 根据权利要求5所述的方法，其中，所述利用已通过验证的设备的图像采集模块采集多张样本图像，包括：
    获取参考图像，所述参考图像为纯色均匀的图像；
    设置所述已通过验证的设备的图像采集模块的采集参数；
    基于所述采集参数，利用所述图像采集模块对所述参考图像进行多次拍摄，得到多张训练图像；
    若所述图像采集模块为多通道输出，则对每张训练图像进行通道分离，得到所述多张训练图像对应的多张样本图像。
  7. 根据权利要求5所述的方法，其中，所述对每张样本图像进行残差指纹提取，得到每张样本图像的样本图像指纹信息，并根据每张样本图像的样本图像指纹信息确定所述已通过验证的设备对应的设备指纹信息，包括：
    对每张样本图像进行低通滤波处理，去除每张样本图像的噪声，得到每张样本图像对应的去噪后样本图像；
    将每张样本图像和每张样本图像对应的去噪后样本图像进行逐个像素相减，得到每张样本图像 和每张样本图像对应的去噪后样本图像的像素差值；
    根据每张样本图像和每张样本图像对应的去噪后样本图像的像素差值，确定每张样本图像的样本图像指纹信息；
    根据每张样本图像的权重对每张样本图像的样本图像指纹信息进行加权平均，得到所述已通过验证的设备对应的设备指纹信息。
  8. 根据权利要求1所述的方法，其中，所述残差指纹信息包括残差指纹图，所述设备指纹信息包括设备指纹图，所述根据所述待验证人脸图像的位置指示信息，从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，包括：
    根据所述待验证人脸图像的位置指示信息，从所述设备指纹图中确定与所述待验证人脸图像的所述残差指纹图所对应的感兴趣区域；
    从所述设备指纹图中截取所确定的感兴趣区域，得到设备指纹子图；
    计算所述残差指纹图和所述设备指纹子图的相关度。
  9. 一种人脸图像的验证装置，包括：
    接收单元，用于接收目标设备发送的待验证人脸图像；
    提取单元，用于对所述待验证人脸图像进行残差指纹提取，得到所述待验证人脸图像的残差指纹信息；
    获取单元，用于从指纹信息库中获取所述目标设备对应的设备指纹信息，所述指纹信息库中包括至少一个已通过验证的设备对应的设备指纹信息，所述设备指纹信息为已通过验证的设备采集的样本图像中包含的该已通过验证的设备的指纹信息；
    计算单元，用于根据所述待验证人脸图像的位置指示信息从所述设备指纹信息中获取所述残差指纹信息对应的设备指纹分量，并计算所述残差指纹信息和所述设备指纹分量的相关度，其中，所述待验证人脸图像的位置指示信息用于指示所述待验证人脸图像在拍摄成像范围内的位置；
    确定单元，用于当所述相关度大于或者等于预设阈值，则确定所述待验证人脸图像为合法人脸图像。
  10. 根据权利要求9所述的装置，其中，所述提取单元包括去噪子单元和提取子单元；
    所述去噪子单元，用于对所述待验证人脸图像进行低通滤波处理，去除所述待验证人脸图像的噪声，得到去噪后人脸图像；
    所述提取子单元，用于将所述待验证人脸图像和所述去噪后人脸图像进行逐个像素相减，得到所述待验证人脸图像和所述去噪后人脸图像的像素差值；根据所述待验证人脸图像和所述去噪后人脸图像的像素差值，确定所述待验证人脸图像的残差指纹信息。
  11. 根据权利要求9所述的装置，其中，所述获取单元，具体用于获取所述目标设备的设备标识；根据所述设备标识确定所述目标设备是否为已通过验证的设备；若所述目标设备为已通过验证的设备，则从指纹信息库中查找所述设备标识对应的设备指纹信息。
  12. 根据权利要求9所述的装置，其中，还包括建立单元，所述建立单元包括采集子单元、确定子单元和存储子单元；
    所述采集子单元，用于利用已通过验证的设备的图像采集模块采集多张样本图像；
    所述确定子单元，用于对每张样本图像进行残差指纹提取，得到每张样本图像的样本图像指纹信息，并根据每张样本图像的样本图像指纹信息确定所述已通过验证的设备对应的设备指纹信息；
    所述存储子单元，用于将所述已通过验证的设备对应的设备指纹信息存储于指纹信息库中。
  13. 根据权利要求9所述的装置，其中，所述残差指纹信息包括残差指纹图，所述设备指纹信息包括设备指纹图，所述计算单元，具体用于根据所述待验证人脸图像的位置指示信息，从所述设备指纹图中确定与所述待验证人脸图像的所述残差指纹图所对应的感兴趣区域；从所述设备指纹图中截取所确定的感兴趣区域，得到设备指纹子图；计算所述残差指纹图和所述设备指纹子图的相关度。
  14. 一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8中任一项所述的人脸图像的验证方法中的步骤。
  15. 一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。
  16. 一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算 机指令，使得该计算机设备执行如权利要求1至8任一项所述的人脸图像的验证方法。
PCT/CN2022/073999 2021-02-01 2022-01-26 人脸图像的验证方法、装置、电子设备和存储介质 WO2022161397A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/071,460 US20230091865A1 (en) 2021-02-01 2022-11-29 Face image verification method and apparatus, electronic device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110138138.8 2021-02-01
CN202110138138.8A CN114840831A (zh) 2021-02-01 2021-02-01 人脸图像的合法性验证方法、装置、电子设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/071,460 Continuation US20230091865A1 (en) 2021-02-01 2022-11-29 Face image verification method and apparatus, electronic device, and storage medium

Publications (1)

Publication Number Publication Date
WO2022161397A1 true WO2022161397A1 (zh) 2022-08-04

Family

ID=82560783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/073999 WO2022161397A1 (zh) 2021-02-01 2022-01-26 人脸图像的验证方法、装置、电子设备和存储介质

Country Status (3)

Country Link
US (1) US20230091865A1 (zh)
CN (1) CN114840831A (zh)
WO (1) WO2022161397A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11967184B2 (en) 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
US20220374641A1 (en) * 2021-05-21 2022-11-24 Ford Global Technologies, Llc Camera tampering detection
CN116563174B (zh) * 2023-07-11 2023-09-29 江西师范大学 一种图像的重建方法、装置和计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303449A (zh) * 2015-11-09 2016-02-03 北京交通大学 基于相机指纹特征的社交网络用户的识别方法和系统
US9525866B1 (en) * 2016-04-18 2016-12-20 The United States Of America As Represented By The Director, National Security Agency Building a digital camera fingerprint from cropped or corrupted images
CN108154080A (zh) * 2017-11-27 2018-06-12 北京交通大学 一种视频设备快速溯源的方法
CN111241345A (zh) * 2020-02-18 2020-06-05 腾讯科技（深圳）有限公司 一种视频检索方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303449A (zh) * 2015-11-09 2016-02-03 北京交通大学 基于相机指纹特征的社交网络用户的识别方法和系统
US9525866B1 (en) * 2016-04-18 2016-12-20 The United States Of America As Represented By The Director, National Security Agency Building a digital camera fingerprint from cropped or corrupted images
CN108154080A (zh) * 2017-11-27 2018-06-12 北京交通大学 一种视频设备快速溯源的方法
CN111241345A (zh) * 2020-02-18 2020-06-05 腾讯科技（深圳）有限公司 一种视频检索方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US20230091865A1 (en) 2023-03-23
CN114840831A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
WO2022161397A1 (zh) 人脸图像的验证方法、装置、电子设备和存储介质
KR102324706B1 (ko) 얼굴인식 잠금해제 방법 및 장치, 기기, 매체
Boulkenafet et al. Oulu-npu: A mobile face presentation attack database with real-world variations
Verdoliva Extracting camera-based fingerprints for video forensics
TWI686774B (zh) 人臉活體檢測方法和裝置
Lin et al. Preprocessing reference sensor pattern noise via spectrum equalization
Rocha et al. Vision of the unseen: Current trends and challenges in digital image and video forensics
WO2019134536A1 (zh) 基于神经网络模型的人脸活体检测
WO2019137178A1 (zh) 人脸活体检测
Fayyaz et al. An improved surveillance video forgery detection technique using sensor pattern noise and correlation of noise residues
CN110532746B (zh) 人脸校验方法、装置、服务器及可读存储介质
CA3147418A1 (en) Living body detection method and system for human face by using two long-baseline cameras
Goodwin et al. Blind video tamper detection based on fusion of source features
CN110674800A (zh) 一种人脸活体检测方法、装置、电子设备及存储介质
CN111079687A (zh) 证件伪装识别方法、装置、设备及存储介质
CN107832598B (zh) 解锁控制方法及相关产品
CN114387548A (zh) 视频及活体检测方法、系统、设备、存储介质及程序产品
Jaiswal et al. Forensic image analysis using inconsistent noise pattern
Chen et al. Detecting anti-forensic attacks on demosaicing-based camera model identification
Chetty et al. Nonintrusive image tamper detection based on fuzzy fusion
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
Tiwari et al. Efficient prnu extraction using joint edge-preserving filtering for source camera identification and verification
CN106402717B (zh) 一种ar播放控制方法及智能台灯
Unnikrishnan et al. Face spoof detection using image distortion analysis and image quality assessment
KR20200083188A (ko) 라이브니스 검출 방법 및 장치, 이를 이용한 객체 인식 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22745270

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08.12.2023)