WO2016112630A1 - 一种影像识别系统及方法 - Google Patents

一种影像识别系统及方法 Download PDF

Info

Publication number
WO2016112630A1
WO2016112630A1 PCT/CN2015/081403 CN2015081403W WO2016112630A1 WO 2016112630 A1 WO2016112630 A1 WO 2016112630A1 CN 2015081403 W CN2015081403 W CN 2015081403W WO 2016112630 A1 WO2016112630 A1 WO 2016112630A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
module
recognition
acquisition module
Prior art date
Application number
PCT/CN2015/081403
Other languages
English (en)
French (fr)
Inventor
梁宁清
陈明修
张宏鑫
Original Assignee
芋头科技（杭州）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 芋头科技（杭州）有限公司 filed Critical 芋头科技（杭州）有限公司
Priority to EP15877546.0A priority Critical patent/EP3246848A4/en
Priority to JP2017537987A priority patent/JP6538856B2/ja
Priority to CA2973393A priority patent/CA2973393C/en
Priority to NZ734556A priority patent/NZ734556B2/en
Priority to KR1020177022432A priority patent/KR20170103931A/ko
Priority to US14/763,715 priority patent/US9875391B2/en
Priority to SG11201705712RA priority patent/SG11201705712RA/en
Publication of WO2016112630A1 publication Critical patent/WO2016112630A1/zh
Priority to ZA2017/05418A priority patent/ZA201705418B/en
Priority to AU2017101096A priority patent/AU2017101096A4/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present invention relates to the field of security, and in particular to an image recognition system and method for a robot system.
  • Non-mandatory the user does not need to cooperate with the face collection device, and the face image can be obtained almost in an unconscious state. Such sampling method is not “mandatory”;
  • Non-contact Users can obtain facial images without direct contact with the device
  • the face recognition system usually includes a camera for capturing a face image, a light source for light compensation, an auxiliary positioning device or a mark for prompting the face collection position.
  • a computer for face recognition software (which may be an embedded computer) that processes or displays means for identifying results, such as a reminder light, a door open relay, and a database table that records the results of the recognition.
  • the face recognition system used in the security system usually has the following problems that are difficult to use in our scene: 1.
  • the posture requirements for face acquisition are very fixed; 2.
  • the light source condition is fixed by the compensation light source, which is very sensitive to light; Since the calculation requirements are one-time, the calculation speed is not high.
  • an image recognition system which includes:
  • the robot has an image acquisition module, and the image acquisition module is driven by an image acquisition drive module to collect images in the field of view of the robot;
  • a light source that fills light when the image acquisition module acquires an image
  • the face detection module locates the face image appearing in the image according to the image acquired by the image acquisition module
  • the face recognition module preprocesses the positioned face image, and then compares with the image feature information of the known identity in a database to determine the identity information and the confidence rate of the current face image.
  • the image acquisition module is a high-definition camera, and the high-definition camera has a static image and a video capture capability of at least 30 frames per second;
  • the high definition camera is coupled to the robot via a MIPI or USB interface.
  • the light source comprises an ambient light source and infrared Light source
  • the ambient light source When the ambient light source is filled with light and the image is acquired according to the image acquisition module, if the acquired image cannot meet the recognition requirement, the infrared light source is used to fill the light.
  • preprocessing comprises:
  • Angle correction processing and light processing (including brightness normalization and polarization correction) of the face image appearing in the image.
  • the database comprises a local data storage module and a network server data storage module.
  • the robot further has a sounding device connected to the database, and the sounding device emits different types of prompt sounds according to the comparison result of the face recognition module.
  • system further comprises a record feedback device for recording and/or feeding back the comparison result of the face recognition module.
  • the face recognition module performs an alignment using an SVM algorithm.
  • Step S1 collecting an image in a field of view by using an image acquisition module of the robot, and using a light source to fill light while acquiring the image;
  • Step S2 performing positioning processing on the face image appearing in the image collected by the image acquisition module by using the face detection module;
  • Step S3 using the face recognition module to preprocess the positioned face image, and then comparing with the image feature information of the known identity in a database to determine The identity information and confidence rate of the current face image.
  • FIG. 1 is a structural diagram and an operation example of an identity recognition system provided by the present invention.
  • the present invention realizes the function of face recognition as a part of the robot vision system, it is necessary to solve the problems encountered by the robot in the application. Including: 1. Faces of various postures appearing anywhere in the robot's field of view; 2. Various lighting conditions, including partial Light or uncompensated light source; 3. Real-time recognition of the face appearing in the robot's field of view requires high response speed, and real-time feedback is required through continuous recognition when the face identity changes.
  • an image recognition system including:
  • the robot has an image acquisition module, and the image acquisition module is driven by an image acquisition drive module to collect images in the field of view of the robot;
  • the light source is filled with light when the image acquisition module collects an image
  • the face detection module locates the face image appearing in the image according to the image acquired by the image acquisition module
  • the face recognition module preprocesses the positioned face image, and then compares with the image feature information of the known identity in a database to determine the identity information and the confidence rate of the current face image.
  • the image acquisition module of the robot is a high-definition camera.
  • the high-definition camera should have a static image and a video capture capability of at least 30 frames per second, thereby satisfying high-speed images.
  • the demand for collection For example, the object moves too fast in the field of view of the robot, and the present invention can also collect clear images.
  • the HD camera is connected to the robot via MIPI or USB interface.
  • the robot can also adjust the range and angle of the image capturing module in real time through a motor. For example, when it is detected that someone in the visible range passes, the image capturing module can be driven by the motor.
  • the moving object performs real-time tracking shooting, for example, moving in synchronization with moving objects and performing enlarged shooting to improve the sharpness of the captured image.
  • the light source described above includes an ambient light source and an infrared light source.
  • the ambient light source is the light source of the robot.
  • the advantage is that the brightness is uniform.
  • the disadvantage is that the brightness is not too high, there is no directionality, and the brightness may be controlled by other high-priority applications, sometimes even turned off, so it cannot satisfy the complete complement.
  • the infrared light-emitting device added by the invention is mainly used for image fill light, so the light-emitting power is limitedly controlled by the image recognition system, and can achieve relatively stable fill light in various scenes. For example, when the ambient light source is used to fill light, and the image is collected according to the image acquisition module, if the collected image cannot meet the recognition requirement, the infrared light source is used to fill the light, thereby obtaining a clear image.
  • the face detection module is used for positioning, that is, the location of the face is located in the full-view image acquired by the robot, and the position is fixed in the existing security system, usually not This step is required. Then, the face recognition module is used to preprocess the positioned face image, and then compared with the image feature information of the known identity in a database to determine the identity information and the confidence rate of the current face image.
  • the face recognition module can perform angle correction processing and light processing on the face image appearing in the image, including brightness normalization and polarization correction.
  • the present invention uses the face recognition module to perform angle correction processing on the face image collected and positioned by the face detection module, and the embedded recognition technology also performs image light processing, thereby facilitating comparison and improving the correct rate.
  • the database includes a local data storage module and a web server data storage module.
  • the local data storage module is a robot-based embedded system, which adopts face recognition technology based on feature matching. Firstly, the feature database of the known identity face image is constructed, and then the same type of feature is extracted from the face image collected in real time. The mathematical distance function is used to compare the feature distance between the current face and the database face, and then the most likely Identity and give a confidence rate.
  • the network server data storage module because of more computing resources and more flexible application architecture, we use the face recognition technology based on deep learning model to train the multi-layer neural network model for face recognition through deep learning technology.
  • the model will be used to generate facial features in the database, construct the database face categories using the SVM algorithm (Support Vector Machine, support vector machine, is a trainable machine learning method) or other standard classifiers, and then The model features are calculated for the face images acquired in real time, and the identity and confidence rate of the face images are determined by the classifier.
  • the embedded feature matching recognition technology supports the recognition of 20-50 people. Within a certain range of light and angle variation, the recognition accuracy of 20 people is over 90%, and the accuracy rate of 50 people is over 80%.
  • the recognition technology based on deep learning on the server Supporting the identification of more than 50 people to at least a few hundred people, the recognition accuracy is above 97%.
  • the robot further has a sounding device connected to the database, and the sounding device emits different types of prompt sounds according to the comparison result of the face recognition module. For example, if the face recognition module is correct, the sounding device will retrieve the prompt sound corresponding to the current face image in the database, such as "Hello, Mr. Chen.” If the recognition still fails after repeated verification, then the greeting application can still make a general greeting without identity information, such as issuing a simple "hello" through the sound device.
  • the present invention can be connected to the access control system, allowing the current person to pass if the recognition is passed, and prohibiting the current person from passing if the identification is not passed.
  • the image recognition system provided by the present invention further includes a record feedback device for recording and/or feeding back the comparison result of the face recognition module.
  • a record feedback device for recording and/or feeding back the comparison result of the face recognition module.
  • the present invention also provides a method for identifying by using the above image recognition system, which specifically includes the following steps:
  • Step S1 using an image acquisition module of the robot to collect an image in a field of view, and using a light source to fill light while acquiring the image;
  • Step S2 performing a positioning process on the face image appearing in the image collected by the image acquisition module by using the face detection module;
  • Step S3 The face recognition module is used to preprocess the positioned face image, and then compared with the image feature information of the known identity in a database to determine the identity information and the confidence rate of the current face image.
  • an identification request can be initiated to the image acquisition driver module by means of a robot greeting application.
  • the image acquisition driver module accepts the request and transmits the image transmitted by the camera to the face detection module.
  • the detection software intercepts and pre-processes the captured face image, and then sends it to the face recognition module, and the face recognition module transmits the recognition result to the result confirmation module, and the system performs the corresponding operation according to the difference of the judgment result. If correct, the result is sent to the greeted application, which uses the vocal device to say hello to the user in the camera image based on the identified identity. If it is wrong, it will re-send the identification request to the image acquisition driver and re-enter the recognition process.
  • the main basis for the recognition of the recognition result confirmation module is the confidence rate in the transmission result of the face recognition software.
  • the number of times the request is resent when the error is identified in the worst case is controlled by the hello application according to a request timeout period to control whether the module continues to resend the request. If the correct timeout is not obtained after the recognition timeout, the recognition is considered to be a failure, and then the hello application is called. You can still make a general greeting without identity information, such as the simple "hello".
  • the present invention can perform recognition when a face recognition is performed without a fixed face pose, and can be recognized based on local or network server data, and improved.
  • the accuracy of the identification in addition, through the use of appropriate cameras, computing hardware modules and computing frameworks, the face recognition process can meet the real-time needs.

Abstract

本发明公开了一种影像识别系统，包括：机器人，具有一图像采集模块，通过一影像采集驱动模块驱动该图像采集模块来采集机器人视野范围内的图像；光源，在所述图像采集模块采集图像时进行补光；人脸检测模块，根据所述图像采集模块采集得到的图像，对图像中出现的人脸影像进行定位；人脸识别模块，对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。本发明在进行人脸识别时，不需要固定的人脸姿势即可进行识别，同时可基于本地或者网络的服务器数据来进行识别，提高了识别的准确性，并且能够达到提供实时服务的速度。

Description

一种影像识别系统及方法 技术领域
本发明涉及安全领域，具体涉及一种机器人系统的影像识别系统及方法。
背景技术
目前，随着人们对安全指数的重视，越来越多的安防系统采用了密码验证、口令验证进行识别，但是这种识别方式安全性仍然较差，很容易被他人获悉解密方式，无法满足更高层次的安全要求。因此，依据指纹、虹膜、人脸进行识别的验证模式越来越受到高安全性安保系统的青睐。人脸与人体的其它生物特征(指纹、虹膜等)一样与生俱来，它的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提，与其它类型的生物识别比较，人脸识别具有如下特点：
非强制性：用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像，这样的取样方式没有“强制性”；
非接触性：用户不需要和设备直接接触就能获取人脸图像；
并发性：在实际应用场景下可以进行多个人脸的分拣、判断及识别；
除此之外，还符合视觉特性：“以貌识人”的特性，以及操作简单、结果直观、隐蔽性好等特点。
目前，人脸识别系统通常包括一个用于采集人脸图像的摄像头，进行光线补偿的光源，提示人脸采集位置的辅助定位装置或标记，运 行人脸识别软件的计算机(可以是嵌入式计算机)，处理或显示识别结果的装置，比如提示灯、开门继电器和纪录识别结果的数据库表。
安防系统使用的人脸识别系统通常有以下难以使用在我们场景中的问题：1、对人脸采集的姿势要求很固定；2、需要通过补偿光源来固定光线条件，对光线非常敏感；3、由于计算需求是一次性的，所以对计算速度要求不高。
发明内容
根据现有技术中的不足，本发明提供了一种影像识别系统，其中，包括：
机器人，具有一图像采集模块，通过一影像采集驱动模块驱动该图像采集模块来采集机器人视野范围内的图像；
光源，在所述图像采集模块采集图像时进行补光；
人脸检测模块，根据所述图像采集模块采集得到的图像，对图像中出现的人脸影像进行定位；
人脸识别模块，对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。
上述的影像识别系统，其中，所述图像采集模块为高清摄像头，所述高清摄像头具备静态图像和每秒至少30帧的视频采集能力；
所述高清摄像头通过MIPI或USB接口与所述机器人连接。
上述的影像识别系统，其中，所述光源包括氛围光光源以及红外 光光源；
当在氛围光光源进行补光，依据图像采集模块采集图像时，若采集的图像无法满足识别需求，通过所述红外光光源进行补光。
上述的影像识别系统，其中，所述预处理包括：
对图像中出现的人脸影像进行角度矫正处理和光线处理(包括亮度归一化和偏光修正)。
上述的影像识别系统，其中，所述数据库包括本地数据存储模块和和网络服务器数据存储模块。
上述的影像识别系统，其中，所述机器人还具有一发声装置，连接所述数据库，所述发声装置根据所述人脸识别模块的比对结果来发出不同类型的提示音。
上述的影像识别系统，其中，所述系统还包括一记录反馈装置，用于记录和/或反馈所述人脸识别模块的比对结果。
上述的影像识别系统，其中，所述人脸识别模块利用SVM算法来进行比对。
一种使用上述系统的影像识别方法，其中，包括如下步骤：
步骤S1：利用所述机器人的图像采集模块来采集视野范围内的图像，并在采集图像的同时，利用一光源进行补光；
步骤S2：利用所述人脸检测模块对所述图像采集模块采集得到的图像中出现的人脸影像进行定位处理；
步骤S3：利用所述人脸识别模块对对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断 出当前人脸影像的身份信息和置信率。
上述的影像识别方法，其中，若当前人脸影像的身份信息不符合数据库中已知身份的影像特征信息，继续进行所述步骤S1～步骤S3。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本发明的主旨。
图1为本发明提供的身份识别系统结构和运行案例。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
由于本发明是作为机器人视觉系统的一部分，实现人脸识别的功能，所以需要解决机器人在应用中遇到的问题。包括：1、在机器人视野中任意位置出现的各种姿势的人脸；2、各种光照条件，包括偏 光或者无补偿光源的情况；3、实时识别出现在机器人视野中的人脸，对响应速度要求较高，而且在人脸身份变化时需要通过连续识别实现实时反馈。
为了解决上述问题，本实施例提供了一种影像识别系统，包括：
机器人，具有一图像采集模块，通过一影像采集驱动模块驱动该图像采集模块来采集机器人视野范围内的图像；
光源，在图像采集模块采集图像时进行补光；
人脸检测模块，根据图像采集模块采集得到的图像，对图像中出现的人脸影像进行定位；
人脸识别模块，对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。
在本发明的该实施例中，可选但非限制，机器人的图像采集模块为高清摄像头，进一步优选的，该高清摄像头应当具备静态图像和每秒至少30帧的视频采集能力，进而满足高速影像采集的需求。例如机器人的视野范围内对象移动速度过快，本发明亦可采集到清晰的图像。可选但非限制，高清摄像头通过MIPI或USB接口与机器人连接。在一些可选的实施例中，该机器人还可通过一马达对图像采集模块的取景范围及角度进行实时调整，例如当检测到可视范围内有人经过时，可通过该马达驱动图像采集模块对移动的对象进行实时跟踪拍摄，例如与移动对象同步进行移动并进行放大拍摄，以提高采集图像的清晰度。
在本发明的该实施例中，可选但非限制，上述的光源包括氛围光光源以及红外光光源。其中，氛围光光源为机器人自带的光源，优点是亮度均匀，缺点是亮度不太高，没有定向性，另外亮度可能被其他高优先级应用控制，有时甚至被关闭，所以不能满足完全的补光需求。本发明添加的一套红外发光装置由于主要用于影像补光，所以发光功率由影像识别系统有限控制，能够实现各种场景下的较稳定的补光。例如当在氛围光光源进行补光，依据图像采集模块采集图像时，若采集的图像无法满足识别需求，则通过红外光光源进行补光，进而获得较为清晰的图像。
在本发明的该实施例中，可选但非限制，利用人脸检测模块进行定位，即在机器人采集的全视野影像中定位人脸位置，在现有的安防系统中由于位置固定，通常不需要这一步骤。之后利用人脸识别模块对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。其中，人脸识别模块可对图像中出现的人脸影像进行角度矫正处理和光线处理包括亮度归一化和偏光修正)，由于人脸采集的环境和角度变化很大，为提高识别率，本发明通过人脸识别模块对人脸检测模块采集并定位的人脸影像进行角度矫正处理，同时嵌入式的识别技术还会做影像光线的处理，进而便于比对并提高正确率。
在本发明的该实施例中，可选但非限制，上述数据库包括本地数据存储模块和和网络服务器数据存储模块。其中，本地数据存储模块是基于机器人的嵌入式系统中，采用基于特征匹配的人脸识别技术， 首先构造已知身份人脸图像的特征数据库，然后对实时采集到的人脸图像提取同种类型的特征，用一种数学距离函数比较当前人脸与数据库人脸的特征距离，然后判断最可能的身份，并给出置信率。而基于网络服务器数据存储模块，由于有更多的计算资源和更灵活的应用架构，我们采用基于深度学习模型的人脸识别技术，通过深度学习技术训练用于人脸识别的多层神经网络模型，该模型会用于生成数据库中的人脸特征，用SVM算法(Support Vector Machine，支持向量机，是一种可训练的机器学习方法)或其他的标准分类器构造数据库的人脸类别，然后对实时采集的人脸影像计算模型特征，并通过分类器判断人脸影像的身份和置信率。嵌入式特征匹配的识别技术支持20～50个人的识别，在一定的光线和角度变化范围内，20人识别准确率90％以上，50人准确率80％以上；服务器上基于深度学习的识别技术支持50人以上到至少几百人的识别，识别准确率在97％以上。
在本发明的该实施例中，可选但非限制，机器人还具有一发声装置，连接上述数据库，该发声装置根据人脸识别模块的比对结果来发出不同类型的提示音。例如，如果经人脸识别模块比对正确的话，那么发声装置会调取数据库中对应当前人脸影像的提示音，比如“你好，陈先生”。而如果经过反复核对后仍然认为识别失败，这时打招呼应用仍然可以做一个不带身份信息的通用打招呼，比如通过发声装置发出简单的“你好”。在一些可选的实施例中，可将本发明与门禁系统相连接，若识别通过则允许当前人通过，若无法通过识别，则禁止当前人通过。
在本发明的该实施例中，可选但非限制，本发明所提供的影像识别系统还包括一记录反馈装置，用于记录和/或反馈人脸识别模块的比对结果。这个是可选部件，两者不一定都要有或同时工作。在某些场景下，只需要记录或只需要反馈。
同时本发明还提供了一种利用上述影像识别系统进行识别的方法，具体包括如下步骤：
步骤S1：利用机器人的图像采集模块来采集视野范围内的图像，并在采集图像的同时，利用一光源进行补光；
步骤S2：利用人脸检测模块对图像采集模块采集得到的图像中出现的人脸影像进行定位处理；
步骤S3：利用人脸识别模块对对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。
其中，若当前人脸影像的身份信息不符合数据库中已知身份的影像特征信息，继续进行步骤S1～步骤S3。
身份识别系统整体的运行流程如图1所示：首先可借助一机器人的打招呼应用发起一个识别请求到影像采集驱动模块，影像采集驱动模块接受请求，将摄像头传送过来的影像传送给人脸检测模块，检测软件将定位到的人脸影像截取并作预处理，之后发送给人脸识别模块，人脸识别模块将识别结果传送到结果确认模块，依据判断结果的不同，系统执行对应的操作。如果正确，结果传送到打招呼的应用，该应用根据识别到的身份使用发声装置向摄像头影像中的用户问好， 如果错误，则重新向影像采集驱动发送识别请求，重新进入识别流程。识别结果确认模块判断的主要依据是人脸识别软件传送结果中的置信率。而在最坏情况下识别错误时重新发送请求的次数由打招呼应用根据一个请求超时时间来控制确认模块是否继续重发请求，如果识别超时仍未得到正确结果，则认为识别失败，这时打招呼应用仍然可以做一个不带身份信息的通用打招呼，比如简单的“你好”。
综上所述，由于本发明采用了如上技术方案，本发明在进行人脸识别时，不需要固定的人脸姿势即可进行识别，同时可基于本地或者网络的服务器数据来进行识别，提高了识别的准确性，另外，通过采用合适的摄像头、运算硬件模块和运算框架，可以使人脸识别过程满足实时性需要。
以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

  1. 一种影像识别系统，其特征在于，包括：
    机器人，具有一图像采集模块，通过一影像采集驱动模块驱动该图像采集模块来采集机器人视野范围内的图像；
    光源，在所述图像采集模块采集图像时进行补光；
    人脸检测模块，根据所述图像采集模块采集得到的图像，对图像中出现的人脸影像进行定位；
    人脸识别模块，对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。
  2. 如权利要求1所述的影像识别系统，其特征在于，所述图像采集模块为高清摄像头，所述高清摄像头具备静态图像和每秒至少30帧的视频采集能力；
    所述高清摄像头通过MIPI或USB接口与所述机器人连接。
  3. 如权利要求1所述的影像识别系统，其特征在于，所述光源包括氛围光光源以及红外光光源；
    当在氛围光光源进行补光，依据图像采集模块采集图像时，若采集的图像无法满足识别需求，通过所述红外光光源进行补光。
  4. 如权利要求1所述的影像识别系统，其特征在于，所述预处理包括：
    对图像中出现的人脸影像进行角度矫正处理和光线处理。
  5. 如权利要求1所述的影像识别系统，其特征在于，所述数据库包括本地数据存储模块和和网络服务器数据存储模块。
  6. 如权利要求1所述的影像识别系统，其特征在于，所述机器人还具有一发声装置，连接所述数据库，所述发声装置根据所述人脸识别模块的比对结果来发出不同类型的提示音。
  7. 如权利要求1所述的影像识别系统，其特征在于，所述系统还包括一记录反馈装置，用于记录和/或反馈所述人脸识别模块的比对结果。
  8. 如权利要求1所述的影像识别系统，其特征在于，所述人脸识别模块利用SVM算法来进行比对。
  9. 一种使用权利要求1-8任意一项所述系统的影像识别方法，其特征在于，包括如下步骤：
    步骤S1：利用所述机器人的图像采集模块来采集视野范围内的图像，并在采集图像的同时，利用一光源进行补光；
    步骤S2：利用所述人脸检测模块对所述图像采集模块采集得到的图像中出现的人脸影像进行定位处理；
    步骤S3：利用所述人脸识别模块对对定位后的人脸影像进行预处理，之后和一数据库中已知身份的影像特征信息进行比对，以判断出当前人脸影像的身份信息和置信率。
  10. 如权利要求9所述的影像识别方法，其特征在于，在步骤S3中，若当前人脸影像的身份信息不符合数据库中已知身份的影像特征信息，继续进行所述步骤S1～步骤S3。
PCT/CN2015/081403 2015-01-12 2015-06-12 一种影像识别系统及方法 WO2016112630A1 (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP15877546.0A EP3246848A4 (en) 2015-01-12 2015-06-12 Image recognition system and method
JP2017537987A JP6538856B2 (ja) 2015-01-12 2015-06-12 影像識別システムと方法
CA2973393A CA2973393C (en) 2015-01-12 2015-06-12 A system and a method for image recognition
NZ734556A NZ734556B2 (en) 2015-01-12 2015-06-12 Image recognition system and method
KR1020177022432A KR20170103931A (ko) 2015-01-12 2015-06-12 영상식별 시스템 및 식별방법
US14/763,715 US9875391B2 (en) 2015-01-12 2015-06-12 System and a method for image recognition
SG11201705712RA SG11201705712RA (en) 2015-01-12 2015-06-12 Image recognition system and method
ZA2017/05418A ZA201705418B (en) 2015-01-12 2017-08-10 Image recognition system and method
AU2017101096A AU2017101096A4 (en) 2015-01-12 2017-08-11 A system and a method for image recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510014262.8A CN105844202A (zh) 2015-01-12 2015-01-12 一种影像识别系统及方法
CN201510014262.8 2015-01-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
AU2017101096A Division AU2017101096A4 (en) 2015-01-12 2017-08-11 A system and a method for image recognition

Publications (1)

Publication Number Publication Date
WO2016112630A1 true WO2016112630A1 (zh) 2016-07-21

Family

ID=56405175

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/081403 WO2016112630A1 (zh) 2015-01-12 2015-06-12 一种影像识别系统及方法

Country Status (11)

Country Link
US (1) US9875391B2 (zh)
EP (1) EP3246848A4 (zh)
JP (1) JP6538856B2 (zh)
KR (1) KR20170103931A (zh)
CN (1) CN105844202A (zh)
CA (1) CA2973393C (zh)
HK (1) HK1222247A1 (zh)
SG (1) SG11201705712RA (zh)
TW (1) TW201629851A (zh)
WO (1) WO2016112630A1 (zh)
ZA (1) ZA201705418B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250877A (zh) * 2016-08-19 2016-12-21 深圳市赛为智能股份有限公司 近红外人脸识别方法及装置
CN107423700A (zh) * 2017-07-17 2017-12-01 广州广电卓识智能科技有限公司 人证核实的方法及装置
CN108513706A (zh) * 2018-04-12 2018-09-07 深圳阜时科技有限公司 电子设备及其面部识别方法
CN109062942A (zh) * 2018-06-21 2018-12-21 北京陌上花科技有限公司 数据查询方法和装置
CN109977645A (zh) * 2019-03-18 2019-07-05 咪付（广西）网络技术有限公司 一种身份识别系统
CN110675584A (zh) * 2019-08-23 2020-01-10 林道焜 云端红外安防系统及方法
CN111368622A (zh) * 2019-10-18 2020-07-03 杭州海康威视系统技术有限公司 人员识别方法及装置、存储介质
CN111401103A (zh) * 2019-01-02 2020-07-10 西安鼎顺物联网科技有限公司 一种个人饮食营养摄入实时收集系统和方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811718B2 (en) * 2014-04-11 2017-11-07 Beijing Sensetime Technology Development Co., Ltd Method and a system for face verification
US10275684B2 (en) * 2015-11-04 2019-04-30 Samsung Electronics Co., Ltd. Authentication method and apparatus, and method and apparatus for training a recognizer
CN106407950A (zh) * 2016-09-30 2017-02-15 维沃移动通信有限公司 一种人脸信息识别方法及移动终端
JP6731370B2 (ja) * 2017-03-27 2020-07-29 株式会社日立ハイテク 画像処理システム及び画像処理を行うためのコンピュータープログラム
CN113095124B (zh) * 2017-06-07 2024-02-06 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
TWI647624B (zh) * 2017-06-08 2019-01-11 財團法人資訊工業策進會 辨識系統、辨識方法及非暫態電腦可讀取媒體
CN107358079A (zh) * 2017-06-16 2017-11-17 微梦创科网络科技（中国）有限公司 实时人脸识别登录验证方法及系统
CN108875331B (zh) * 2017-08-01 2022-08-19 北京旷视科技有限公司 人脸解锁方法、装置和系统及存储介质
CN107729534A (zh) * 2017-10-30 2018-02-23 中原工学院 基于大数据云服务器的昆虫种类识别系统及方法
CN108038468A (zh) * 2017-12-26 2018-05-15 北斗七星（重庆）物联网技术有限公司 一种基于人脸识别的安防终端
CN108288046B (zh) * 2018-01-31 2021-02-09 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN108710842A (zh) * 2018-05-11 2018-10-26 星络科技有限公司 一种图像识别系统和方法
CN108710857B (zh) * 2018-05-22 2022-05-17 深圳前海华夏智信数据科技有限公司 基于红外补光的人车识别方法及装置
CN110609562B (zh) * 2018-06-15 2021-07-16 华为技术有限公司 一种图像信息采集方法和装置
CN108574804A (zh) * 2018-07-04 2018-09-25 珠海市微半导体有限公司 一种用于视觉机器人的光源补偿系统及方法
US11151362B2 (en) * 2018-08-30 2021-10-19 FaceValue B.V. System and method for first impression analysis and face morphing by adjusting facial landmarks using faces scored for plural perceptive traits
CN109508685A (zh) * 2018-11-23 2019-03-22 赵雷 基于人脸识别技术的电力通信调度方法
US11295113B2 (en) 2019-04-25 2022-04-05 ID Lynx Ltd. 3D biometric identification system for identifying animals
WO2021115797A1 (en) 2019-12-11 2021-06-17 QuantiFace GmbH Generating videos, which include modified facial images
EP4072403A1 (en) 2019-12-11 2022-10-19 QuantiFace GmbH Method and system to provide a computer-modified visualization of the desired face of a person
CN111343433A (zh) * 2020-03-17 2020-06-26 南通感创电子科技有限公司 一种基于物联网的安全性智慧楼宇视频监控系统
CN111579083B (zh) * 2020-05-13 2022-06-07 芋头科技（杭州）有限公司 基于红外图像人脸检测的体温测量的方法和装置
CN111911760A (zh) * 2020-08-10 2020-11-10 厦门软件职业技术学院 一种面部识别装置多方向扫描设备
TWI764425B (zh) * 2020-12-10 2022-05-11 鴻海精密工業股份有限公司 基於人臉識別的即時行人統計方法以及裝置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN103106393A (zh) * 2012-12-12 2013-05-15 袁培江 一种基于机器人平台的嵌入式人脸识别智能身份认证系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236585A (ja) * 2000-02-21 2001-08-31 Sony Corp 移動ロボット及び移動ロボットのための盗難防止方法
JP2002150288A (ja) * 2000-10-24 2002-05-24 Symtron Technology Inc 顔の即時認識システム
JP4143305B2 (ja) * 2001-01-30 2008-09-03 日本電気株式会社 ロボット装置、照合環境判定方法、及び照合環境判定プログラム
US6507773B2 (en) * 2001-06-14 2003-01-14 Sharper Image Corporation Multi-functional robot with remote and video system
WO2003019475A1 (fr) * 2001-08-23 2003-03-06 Sony Corporation Appareil robotique, procede de reconnaissance faciale, et appareil de reconnaissance faciale
JP2004302645A (ja) * 2003-03-28 2004-10-28 Sony Corp 顔登録装置、顔登録方法、記録媒体、及びロボット装置
KR100556856B1 (ko) * 2003-06-14 2006-03-10 엘지전자 주식회사 이동통신 단말기에서 화면 제어 방법 및 장치
JP2005078376A (ja) * 2003-08-29 2005-03-24 Sony Corp 対象物検出装置、対象物方法、及びロボット装置
JP4460528B2 (ja) * 2004-12-14 2010-05-12 本田技研工業株式会社 識別対象識別装置およびそれを備えたロボット
JP2007219899A (ja) * 2006-02-17 2007-08-30 Seiko Epson Corp 個人識別装置、個人識別方法および個人識別プログラム
JP2008065651A (ja) * 2006-09-08 2008-03-21 Ntt Data Corp 顔画像認証方法、顔画像認証装置、および、プログラム
JP5055905B2 (ja) * 2006-09-11 2012-10-24 富士通株式会社 入退室管理システム、入退室管理ロボット装置、および入退室管理プログラム
DE102006045828B4 (de) * 2006-09-22 2010-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erkennen eines Gesichts sowie ein Gesichtserkennungsmodul
WO2009047366A2 (en) * 2007-10-12 2009-04-16 Toyota Motor Europe Nv Methods and systems for processing of video data
US8780199B2 (en) * 2009-09-20 2014-07-15 Tibet MIMAR Networked security camera with local storage and continuous recording loop
CA2742468C (en) * 2010-06-08 2018-04-24 Aastra Technologies Limited Method and system for video communication
JP2012034128A (ja) * 2010-07-29 2012-02-16 Sanyo Electric Co Ltd 画像処理装置およびそれを用いた撮像装置
CA2767023C (en) * 2011-02-09 2014-09-09 Research In Motion Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US8634601B2 (en) * 2011-05-11 2014-01-21 Honeywell International Inc. Surveillance-based high-resolution facial recognition
US8761933B2 (en) * 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
WO2013025477A1 (en) * 2011-08-12 2013-02-21 Edh Holdings (South Africa) (Pty) Ltd. Ball trajectory and bounce position detection
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
CN103870502A (zh) * 2012-12-17 2014-06-18 镇江京江软件园有限公司 基于人脸识别的企业移动社交网络系统
CN103996181B (zh) * 2014-05-12 2017-06-23 上海大学 一种基于仿生双眼的大视场图像拼接系统和方法
CN104021397A (zh) * 2014-06-13 2014-09-03 中国民航信息网络股份有限公司 人脸识别比对方法及装置
CN104143086B (zh) * 2014-07-18 2018-03-06 广东金杭科技有限公司 人像比对在移动终端操作系统上的应用方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN103106393A (zh) * 2012-12-12 2013-05-15 袁培江 一种基于机器人平台的嵌入式人脸识别智能身份认证系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3246848A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250877A (zh) * 2016-08-19 2016-12-21 深圳市赛为智能股份有限公司 近红外人脸识别方法及装置
CN106250877B (zh) * 2016-08-19 2019-05-21 深圳市赛为智能股份有限公司 近红外人脸识别方法及装置
CN107423700A (zh) * 2017-07-17 2017-12-01 广州广电卓识智能科技有限公司 人证核实的方法及装置
CN108513706A (zh) * 2018-04-12 2018-09-07 深圳阜时科技有限公司 电子设备及其面部识别方法
CN109062942A (zh) * 2018-06-21 2018-12-21 北京陌上花科技有限公司 数据查询方法和装置
CN111401103A (zh) * 2019-01-02 2020-07-10 西安鼎顺物联网科技有限公司 一种个人饮食营养摄入实时收集系统和方法
CN111401103B (zh) * 2019-01-02 2023-05-09 西安鼎顺物联网科技有限公司 一种个人饮食营养摄入实时收集系统和方法
CN109977645A (zh) * 2019-03-18 2019-07-05 咪付（广西）网络技术有限公司 一种身份识别系统
CN110675584A (zh) * 2019-08-23 2020-01-10 林道焜 云端红外安防系统及方法
CN110675584B (zh) * 2019-08-23 2021-09-17 深圳市宝瑞明科技有限公司 云端红外安防系统及方法
CN111368622A (zh) * 2019-10-18 2020-07-03 杭州海康威视系统技术有限公司 人员识别方法及装置、存储介质
CN111368622B (zh) * 2019-10-18 2024-01-12 杭州海康威视系统技术有限公司 人员识别方法及装置、存储介质

Also Published As

Publication number Publication date
US20160307027A1 (en) 2016-10-20
JP6538856B2 (ja) 2019-07-03
KR20170103931A (ko) 2017-09-13
TW201629851A (zh) 2016-08-16
NZ734556A (en) 2020-09-25
CN105844202A (zh) 2016-08-10
ZA201705418B (en) 2019-01-30
JP2018501586A (ja) 2018-01-18
US9875391B2 (en) 2018-01-23
SG11201705712RA (en) 2017-08-30
EP3246848A1 (en) 2017-11-22
CA2973393C (en) 2024-04-02
CA2973393A1 (en) 2016-07-21
EP3246848A4 (en) 2018-09-12
HK1222247A1 (zh) 2017-06-23

Similar Documents

Publication Publication Date Title
WO2016112630A1 (zh) 一种影像识别系统及方法
US11443559B2 (en) Facial liveness detection with a mobile device
US20170032182A1 (en) System for adaptive real-time facial recognition using fixed video and still cameras
CN109359548A (zh) 多人脸识别监控方法及装置、电子设备及存储介质
CN109508690B (zh) 一种基于人脸识别的非主动配合考勤系统
US9892315B2 (en) Systems and methods for detection of behavior correlated with outside distractions in examinations
WO2020223937A1 (zh) 一种人脸识别方法、人脸识别装置和计算机可读存储介质
CN104143086A (zh) 人像比对在移动终端操作系统上的应用技术
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN105975938A (zh) 一种智能动态人脸识别社区管家服务系统
US20210027080A1 (en) Spoof detection by generating 3d point clouds from captured image frames
CN112507889A (zh) 一种校验证件与持证人的方法及系统
Shrivastava et al. Conceptual model for proficient automated attendance system based on face recognition and gender classification using Haar-Cascade, LBPH algorithm along with LDA model
Nguyen et al. Smart desk in hybrid classroom: Automatic attendance system based on face recognition using mtcnn and arcface
KR20200119425A (ko) 도메인 적응 기반 객체 인식 장치 및 그 방법
US11386707B2 (en) Techniques for detecting a three-dimensional face in facial recognition
CN114093007A (zh) 双目摄像头人脸图像异常监测的方法及系统
KR101718244B1 (ko) 얼굴 인식을 위한 광각 영상 처리 장치 및 방법
AU2017101096A4 (en) A system and a method for image recognition
TWI524277B (zh) Dynamic Image Identity Identification System and Method with Shape Characteristic Matching
KR20140087062A (ko) 하이브리드 인식 기술을 이용한 전사적 인적자원 관리 시스템 및 방법
US20230350996A1 (en) Face biometric recognition with anti-spoofing
RU2798179C1 (ru) Способ, терминал и система для биометрической идентификации
Satpute et al. A Review on Online Classroom Attendance Marking System Using Face Recognition, Python, Computer Vision, and Digital Image Processing
KR20070097629A (ko) 얼굴 인식을 위한 임베디드 시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14763715

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15877546

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2973393

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2017537987

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11201705712R

Country of ref document: SG

REEP Request for entry into the european phase

Ref document number: 2015877546

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20177022432

Country of ref document: KR

Kind code of ref document: A