WO2021078145A1

WO2021078145A1 - 基于活体感应运动趋势检测的无线传感人脸识别装置

Info

Publication number: WO2021078145A1
Application number: PCT/CN2020/122460
Authority: WO
Inventors: 黄薇; 高翠芬; 王钰童; 黄晶晶; 柳亚东; 潘蜜
Original assignee: 武昌理工学院
Priority date: 2019-10-23
Filing date: 2020-10-21
Publication date: 2021-04-29
Also published as: CN210605740U

Abstract

本发明涉及一种基于活体感应运动趋势检测的无线传感人脸识别装置，包括图像采集终端；STM32处理模块，与所述的图像采集终端相连接；Wifi通信模块，与所述的STM32处理模块相连接；驱动电路，与所述的图像采集终端、STM32处理模块和Wifi通信模块均相连接。采用了本发明的基于活体感应运动趋势检测的无线传感人脸识别装置，能自动进行红外活体人脸检测，避免了直接拿照片进行识别情况的发生；能够向系统录入人脸图像；当设备识别到有效图像后，通过无线Wifi方式传入到客户处理端指定文件夹；保证摄像头在弱光环境下正常工作，具有广泛的应用范围。

Description

基于活体感应运动趋势检测的无线传感人脸识别装置

相关申请的交叉引用

本申请主张2019年10月23日提交的申请号为201921783116.1的中国实用新型专利申请的优先权，其内容通过引用的方式并入本申请中。

技术领域

本发明涉及图像领域，尤其涉及人脸识别领域，具体是指一种基于活体感应运动趋势检测的无线传感人脸识别装置。

背景技术

早期人脸信息采用的是传统拍摄设备进行拍取，并人工进行图像有效性的鉴别，然后将有效人脸图像通过存储设备转移到软件输入文件夹，再使用人脸识别算法进行人脸鉴别。随着技术的发展，尤其是各种嵌入式硬件开发设备的成熟，可以实现全自动化的人像拍摄以及光线辅助设备在各种场景下的实施运用。因此，可以将各种有效的硬件设备根据场景需求定制到人脸识别平台上。

目前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国麻省理工大学媒体实验室和人工智能实验室、美国卡耐基梅隆大学的机器人研究所、法国INRIA研究院、美国伊利诺斯大学Beckman研究所和Microsoft Research Asia Face Group。美国国家标准技术局通过大规模的人脸数据测试表明，当今世界上人脸识别精度已经超过人类的平均水平。

我国在人脸识别领域的研究虽然起步相对较晚，但是进展迅速，很多研究机构、高等院校及多家公司都成立了人脸识别技术的研究小组，如华中科技大学、国防科学技术大学、武汉大学、北京交通大学等等，都取得了一定的成果。由中科院自动化所的科研人员历时近一年研发的人脸识别信息比对系统，开创性地将国际先进的人脸识别技术引入奥运安保，实现了奥运会开闭幕式对门票持有者进行实名制查验和人员身份识别的功能，为奥运安保大系统提供了决策支持依据。我国的人脸识别技术正处在高速发展时期，在识别率和识别速度上也达到了举世瞩目的水平。

常规的人脸识别装置硬件部分主控应当具有结合传感器实时控制摄像头并传输图像数据到PC端，且功耗低，成本低廉等要求。常见的有三种主控可以选型，Arduino，树莓派和单片机。树莓派功能丰富，但功耗太高，价格昂贵，相较其他两种不够底层，使用起来并不灵活；Arduino上手简单，价格低廉，但是常见的型号是16位CPU，带宽太低，传输图像数据太勉强。单片机种类繁多，价格低廉，容易购买，可以兼容此项目所使用的各类传感器，接近底层，开发灵活。因此，本装置基于同类技术状况进行分析后，使用带有DCMI接口的单片机STM32F407ZGT6作为主控，用摄像头，热释电传感器和超声波等模块组成外设电路，达到整个过程全自动化的效果。本装置硬件部分选型主要使用到的是一个高清摄像头，一个红外传感模块，一个数据传输模块，一个供电模块，一个液晶显示屏模块，一个语音播报模块，现分别进行说明：

高清摄像头：考虑到人脸识别对像素的要求，需要快速完成数据解码和传输，于是采用OV2640进行图像采集，OV2640是具有FIFO的CMOS类型摄像头。该传感器支持最大为200万像素的图像(1600X1200分辨率)，输出图像的数据格式支持YUY，YCbCr422，RGB565和JEPG格式。

热释电红外传感器：释电红外传感器是一种能检测人或动物发射的红外线而输出电信号的传感器。热释电效应同压电效应类似，是指由于温度的变化而引起晶体表面荷电的现象。热释电传感器是对温度敏感的传感器。本装置采用HC-SR501传感器，简单易用，无需通信协议，自动检测，价格低廉。

数据传输模块：有线传输，单片机是TTL电平标准，PC端是RS232电平标准，采用有线方式，直接使用转口芯片可以完成电平转换，无需复杂的通讯协议，且传输稳定，不依赖网络，不会发生丢包，但传输距离有所限制，后期可改为Wifi传输。其电路图如图1所示。

电源电路设计：考虑到摄像头模块，液晶屏，灯珠等模块工作功率都偏大，所以采用两块3S航模电池来供电，一块供电给主路单片机，一块供电给补光电路单片机，都使用稳压模块来保证各模块的正常工作电压。

液晶显示屏选型：为了能良好展现摄像头拍摄的效果，考虑到单片机核心板预留的34个引脚支持最大4.3寸彩屏，工作环境在室外，电容屏精度不如电阻屏，但是抗干扰能力更强，故采用4.3寸电容屏来显示，

语音播报电路设计：由于液晶实时显示摄像头采集的图像数据，另需要一个状态机来直观的描述。考虑流水灯等视觉效应不直观，且采集图像时，人的双眼更会关注液晶屏的实时图像，故采用语音播报。语音播报部分可独立工作，且能作为从机被PC端直接控制。本装置采用MH-M3蓝牙模块自带功放电路，价格低廉，只需要一个小喇叭器件就将数字信号转换为模拟信号发声。

一些同类常规的人脸图像采集方案通常对静态图片能确保有较好的采集比对效果，但是针对自然环境变化及室内外不同光线条件下，运动状态的人体面部图像的拍摄和录入性能并不良好。故在常规人脸采集基础上，本装置还针对性的增加了活体运动状态的瞬时图像捕捉功能和补光功能。

运动趋势检测模块选型：为了更有效的抑制误触发，通过代码实现运动趋势检测功能。使用超声波模块模拟运动趋势检测，范围可调，使用灵活，但常规的超声波判断运动的完成需要时间，故本装置从算法上进行优化实现迅速响应。

测距模块选型：热释电感应的范围是3米内，角度大于80度，为了限制误触发，需要使用测距模块进行限制。红外测距，无封锁时间且响应时间高于方案1，精度10cm到1.2米，价格低廉，容易购买。

补光电路设计：补光电路应该具有实时采集光照，针对不同光环境，对摄像头有不同的补光措施，保证主电路采集图像数据不失真。综合考虑，补光电路应当独立于主电路进行测量，故采用STM32F1C8T6作为主控，传感器使用嵌有BH1750光感芯片的模块GY302，将测量的光照度分级，用PWM调制技术控制一个1W功率的灯珠模拟补光光源。灯珠驱动电流在50～350mA之间，考虑到单片机引脚输出电流为20ma，采用三极管S8050放大电流，集电极多个电阻并联分流减少热量。补光电路硬件框图如图2所示。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足效率高、准确度高、适用范围广泛的基于活体感应运动趋势检测的无线传感人脸识别装置。

为了实现上述目的，本发明的基于活体感应运动趋势检测的无线传感人脸识别装置如下：

该基于活体感应运动趋势检测的无线传感人脸识别装置，其主要特点是，所述的装置包括图像采集终端；STM32处理模块，与所述的图像采集终端相连接；Wifi通信模块，与所述的STM32处理模块相连接；驱动电路，与所述的图像采集终端、STM32处理模块和Wifi通信模块均相连接。

较佳地，所述的图像采集终端包括摄像头，与所述的STM32处理模块相连接；补光电路，与所述的摄像头相连接。

较佳地，所述的图像采集终端还包括热释电传感器与红外测距单元，均与所述的STM32处理模块相连接。

较佳地，所述的图像采集终端还包括超声波单元，与所述的STM32处理模块相连接。

较佳地，所述的装置还包括图像识别模块，与所述的STM32处理模块相连接。

较佳地，所述的装置还包括语音播报电路，与所述的图像识别模块相连接。

较佳地，所述的装置还包括液晶屏和电池，均与所述的STM32处理模块相连接。

较佳地，所述的Wifi通信模块为SOC电子元件ESP8266。

采用了本发明的基于活体感应运动趋势检测的无线传感人脸识别装置，通过装置的硬件人像采集模块，光感识别模块，运动趋势检测模块等硬件模块进行人脸的采集，定位，传输等功能，自动在运动图像中检测和跟踪人脸，并实现采集的人脸图像信息无线传输到客户端。本装置能自动进行红外活体人脸检测，避免了直接拿照片进行识别情况的发生；能够向系统录入人脸图像；当设备识别到有效图像后，通过无线Wifi方式传入到客户处理端指定文件夹；保证摄像头在弱光环境下正常工作，具有广泛的应用范围。

附图说明

图1为现有技术的TTL转USB电路结构图。

图2为现有技术的补光电路硬件框图。

图3为本发明的基于活体感应运动趋势检测的无线传感人脸识别装置的硬件框图。

图4为本发明的基于活体感应运动趋势检测的无线传感人脸识别装置的卷积层连接示意图。

图5为本发明的基于活体感应运动趋势检测的无线传感人脸识别装置的拟合一元二次函数示意图。

图6为本发明的基于活体感应运动趋势检测的无线传感人脸识别装置外观图。

图7为本发明的基于活体感应运动趋势检测的无线传感人脸识别装置外观图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该基于活体感应运动趋势检测的无线传感人脸识别装置，其中包括图像采集终端；STM32处理模块，与所述的图像采集终端相连接；Wifi通信模块，与所述的STM32处理模块相连接；驱动电路，与所述的图像采集终端、STM32处理模块和Wifi通信模块均相连接。

作为本发明的优选实施方式，所述的图像采集终端包括摄像头，与所述的STM32处理模块相连接；补光电路，与所述的摄像头相连接。

作为本发明的优选实施方式，所述的图像采集终端还包括热释电传感器与红外测距单元，均与所述的STM32处理模块相连接。

作为本发明的优选实施方式，所述的图像采集终端还包括超声波单元，与所述的STM32处理模块相连接。

作为本发明的优选实施方式，所述的装置还包括图像识别模块，与所述的STM32处理模块相连接。

作为本发明的优选实施方式，所述的装置还包括语音播报电路，与所述的图像识别模块相连接。

作为本发明的优选实施方式，，所述的装置还包括液晶屏和电池，均与所述的STM32处理模块相连接。

作为本发明的优选实施方式，所述的Wifi通信模块为SOC电子元件ESP8266。

本发明的具体实施方式中，随着现代信息技术的快速发展，身份认证技术转到了生物特征层面。人脸是一个包含着丰富信息的模式的集合，是人类互相辩证与识别的标志之一，也是图像和视频中视觉感兴趣的对象之一。与指纹、虹膜、语音等其他人体生物特征相比，人脸识别更直接、友好，无需干扰人们的正常行为就能较好地达到识别效果。在身份识别、访问控制、视频会议、档案管理、电子相册、基于对象的图像和视频检索等方面有着广泛应用。

人脸识别是当前模式识别和人工智能领域的研究热点。其设备可以随意安放，且隐蔽性非常好，能远距离非接触快速锁定目标识别对象，因此人脸识别技术被国外广泛应用于安防系统中，应用规模庞大。本装置平台作为一种广泛的应用，其使用场景可以广泛应用到需要用户身份标识的特定环境。本装置作为一种广泛的应用，其使用场景可以广泛应用到需要核验用户身份标识的特定环境，人脸识别系统装置为出入口人员管理、考场管理、小区门禁管理、重大事件管理等多个场景提出了硬件解决的方式。

可用于一定区域内活体人物面部图像的采集应用系统，具有一个图像采集终端、一个STM32处理模块、一个发送无线数据信号的Wifi通信模组，图像采集终端与STM32处理模块以及Wifi通信模组搭载在一个模块上，与驱动电路相连，通过Wifi通信模组向PC客户终端发送无线信号。

图像采集终端为电子元件热释电传感器、红外测距模块、超声波模块、液晶屏、摄像头与补光电路，Wifi通信模组为SOC电子元件ESP8266。

活体感应装置能识别是静态人像图片还是活体人像，并能在活体对象运动趋势状态下捕捉到瞬间有效图像。

根据设备工具图像采集终端与STM32处理模块以及Wifi通信传输的有效图像信号，结合人脸识别算法，产生一种人脸卷积数值化特征图，并生成识别结论信息。

产生的人脸卷积数值化特征图和人脸识别结论信息以图形化形式显示到客户终端PC机软件界面中。信息呈现的主要载体通过桌面应用程序方式呈现。

1、硬件系统实现方案：

实现装置的系统方案一共采用两块主控单片机进行控制，如图3所示，其中第一块单片机STM32F407ZT6控制摄像头实时采集，在液晶屏上以BMP格式显示画面，用数据线公头连接单片机预留的OTG接口，母头连接PC端的USB端口，将摄像头采集的图像压缩成JPEG格式后，串口或通过无线网络Wifi输出至PC端处理。

触发拍照的条件为：

①装置正前方15°圆锥形角，距离60cm内的目标，由红外测距模块完成。

②装置周围运动的物体温度是符合人体的，由热释电传感器完成。

③目标运动趋势是向前运动突然停止的，算有效，忽略向后运动的，由超声波模块完成。

第二块单片机STM32F103C8T6控制补光电路，将采集到的光照强度分级为太阳，阴天，黑夜三档，用定时器配置PWM方波调制驱动灯珠，其中太阳级PWM占空比0，阴天占空比10％，黑夜占空比100％。

PC端处理完单片机传输的图像数据后，控制语音播报电路播报结论语音。

本装置平台利用单片机作为主控，各类传感器辅助控制摄像头采集图像信息，然后经过一根嵌入CH340芯片的数据线实现TTL电平转USB接口，实现单片机与PC端的数据交换，通过半径50cm圆锥范围活体人脸检测、利用热释电效应、运动趋势检测、转码数据格式传输、蓝牙音频播报以及光线自动识别技术完成硬件部分设计；计算机对图片进行采集与检测识别，采用匹配度动态阈值识别、人脸7次卷积生成2048维向量算法以及深度神经网络图像特征提取算法，核心是瞬时静态人脸识别毫秒级响应。

2、单片机工作过程：

主路STM32F407ZGT6控制摄像头采集图像发送至PC端，首先初始化，检查每个外设是否正常工作，若没有，则LCD提示需要检查电路。外设正常工作后，单片机控制摄像头捕捉画面，并实时显示在LCD上，各个传感器开始工作。当测距模块和热释电模块同时触发时，用与门芯片处理成一个外部上升沿信号，单片机检查到这个外部中断，标记a＝1，超声波模块检测运动趋势，当运动趋势为向前，然后突然静止的时候，标记flag＝0，flag_last＝1。触发条件满足，蜂鸣器开始长鸣；LCD连续截屏三次，丢弃前两帧，保留第三帧，压缩成JPEG格式发送至PC端，蜂鸣器停止鸣叫，LCD提示传输成功，然后重新显示实时画面，等待下一次触发拍照。

支路STM32F103C8T6控制灯珠对摄像头进行补光。首先初始化，每0.5秒读取一次光感数据，对测量到的数据进行分级，输出不同的PWM占空比，调节灯珠的亮度。

(1)半径50cm圆锥范围活体人脸检测：

本装置可利用近红外成像原理，实现夜间或无自然光条件下的活体判断。可有效防止屏幕二次翻拍等作弊攻击。

(2)热释电效应：

提高探测器的探测灵敏度以增大探测距离，在探测器的前方装设一个菲涅尔透镜。

(3)运动趋势检测：

设置一个触发条件：当目标运动趋势为不断向前靠近，且距离高于20cm，小于50cm内突然静止，中断信号在单片机软件内部进行与操作，拍照条件全部具备，可以拍照。

(4)转码数据格式传输：

为保证数据传输速率，采取压缩编码处理，将BMP有损压缩成JPEG格式，使用串口转USB电路传输至PC端，波特率设置为固定的230400串口输出至PC端处理。

(5)蓝牙音频播报：

MH-M3蓝牙模块自带功放电路，价格低廉，体积小巧，只需要一个小喇叭器件就将PC端传入的数字信号转换为模拟信号实时发声。

(6)光线自动识别模式：

考虑光照环境的时变性，为了提高拍照的清晰度，设置补光电路对摄像头进行补光操作，保证摄像头在弱光环境下正常工作。

(7)匹配度动态阈值识别：

动态调节阈值，当阈值为70％的误通率为千分之一，阈值为80％的误通率是万分之一。将阈值设置越高，越难识别，安全性也就越高。

(8)卷积神经网络的设计：

卷积层通过定义神经元之间的位置信息较之全连接层得到了更多的特征，但是却比全连接层使用更少的参数。另外权值共享的机制使卷积的操作对图像的位移和缩放有拥有非常好的鲁棒性，如图4所示。

(9)非线性拟合深度神经网络图像特征：

虽然使用两层网络就能拟合任意的N元一次函数，但是局限性很大，因为这些函数都是线性函数，而现实中大多数问题都是非线性问题。

对于非线性问题可以通过使用多层线性进行拟合，例如拟合公式(2-1)这样一个一元二次函数，先定义一个三层的神经网络，除了输入层和输出层之外的新添加的神经元层称为隐藏层。

它们的神经元个数分别为1个，10个，1个。输入数据为随机生成的101个范围在-2至2的数据。

在进行1000轮训练后，结果如图5所示，其中蓝色曲线是公式(2-1)，红色散点是对应的input经过神经网络计算出的output。由图可得此时这个三层神经网络已经很好的拟合了公式(2-1)。

一般情况下，在衡量空间内两个点的距离时，会使用欧式距离，但在本文当中，衡量两个人脸的差异使用由人脸提取出来的特征计算余弦距离。余弦距离与欧式距离不同的是它对于数值并不敏感，只有不同维度之间的数值的差别才会使它变化较大。这种特殊性使它可以有效避免个体中在相同维度的数值发生一些较小的偏差对于识别效果的影响。

在使用深度神经网络的进行计算后，任意一张人脸都会变为一个2048维向量表示，在录入人脸的时候，需要将人脸计算之后将特征保存下来。在识别人脸的时候，计算出来特征之后，与已录入的人脸库进行一一对比，即可实现1：1模式人脸验证。

本发明的具体实施例如下所示，在硬件部分中，启动该系统时，首先需要启动硬件装置，主电路3S电池输出接一个自锁开关，开关连接稳压模块，按下后，电压经过稳压模块被稳定在5V给单片机与片外外设供电，由于热释电传感器的特殊性，上电后需要一分钟左右稳定下来，这期间会有0到3次误报，取决于光环境，稳定后开始自动化工作，不断处理摄像头捕捉的图像数据。补光支电路也由3S电池输出接一个自锁开关，开关连接单片机和片外外设，按下开关后，补光电路开始工作，根据不同光照度采取不同的补光措施。进入自动拍照状态下，可以根据拍摄者有效的瞬时人脸姿势获得有效鉴定图像，图像通过转码传输模块向软件平台实时传输。本装置采用的计算机的操作系统为windows7以上操作系统或Linux嵌入式操作系统，软件的安装是通过直接点击Face.exe完成；数据库使用mySql 5.6.40版本。第一次录入原始图片信息时，可将合乎鉴定像素要求的原始图片存放入指定录入文件夹，点击添加按钮，程序将自动逐一添加指定录入文件夹中的所有图片信息，并将该信息存入到数据库文件中。本发明还可通过软硬件协同工作，可随时点击停止添加按钮停止录入图片信息还未被录入的图片名会显示在待添加图片栏中，录入完毕后点击识别按钮可开启自动识别模式状态下无需任何人工操作，程序将自动逐一识别摄像头传送过来的图像并移动至保存地，可随时点击停止识别按钮停止识别图像，待识别的图像将会显示在待识别图片栏中，当待识别栏中没有需要识别的图像信息时，识别模式将会停止并自动进入扫描模式，直到有图片通过摄像头传送至文件夹才会停止，之后又将自动开启识别模式，循环往复直至点击停止识别按钮或者关闭程序。最后根据采集的信息可生成数据统计界面。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims

一种基于活体感应运动趋势检测的无线传感人脸识别装置，其特征在于，所述的装置包括图像采集终端；STM32处理模块，与所述的图像采集终端相连接；Wifi通信模块，与所述的STM32处理模块相连接；驱动电路，与所述的图像采集终端、STM32处理模块和Wifi通信模块均相连接。
根据权利要求1所述的基于活体感应运动趋势检测的无线传感人脸识别装置，其特征在于，所述的图像采集终端包括摄像头，与所述的STM32处理模块相连接；补光电路，与所述的摄像头相连接。
根据权利要求1所述的基于活体感应运动趋势检测的无线传感人脸识别装置，其特征在于，所述的图像采集终端还包括热释电传感器与红外测距单元，均与所述的STM32处理模块相连接。
根据权利要求1所述的基于活体感应运动趋势检测的无线传感人脸识别装置，其特征在于，所述的图像采集终端还包括超声波单元，与所述的STM32处理模块相连接。
根据权利要求1所述的基于活体感应运动趋势检测的无线传感人脸识别装置，其特征在于，所述的装置还包括图像识别模块，与所述的STM32处理模块相连接。
根据权利要求5所述的基于活体感应运动趋势检测的无线传感人脸识别装置，其特征在于，所述的装置还包括语音播报电路，与所述的图像识别模块相连接。
根据权利要求5所述的基于活体感应运动趋势检测的无线传感人脸识别装置，其特征在于，所述的装置还包括液晶屏和电池，均与所述的STM32处理模块相连接。
根据权利要求1所述的基于活体感应运动趋势检测的无线传感人脸识别装置，其特征在于，所述的Wifi通信模块为SOC电子元件ESP8266。