JPWO2009107237A1 - Biometric authentication device - Google Patents
Biometric authentication device Download PDFInfo
- Publication number
- JPWO2009107237A1 JPWO2009107237A1 JP2010500509A JP2010500509A JPWO2009107237A1 JP WO2009107237 A1 JPWO2009107237 A1 JP WO2009107237A1 JP 2010500509 A JP2010500509 A JP 2010500509A JP 2010500509 A JP2010500509 A JP 2010500509A JP WO2009107237 A1 JPWO2009107237 A1 JP WO2009107237A1
- Authority
- JP
- Japan
- Prior art keywords
- reflected
- biometric
- infrared light
- image
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Collating Specific Patterns (AREA)
Abstract
照明が、可視光および赤外光を対象物へ照射し、可視カメラが、可視光が対象物によって反射された反射可視光を撮像し、赤外カメラが、赤外光が対象物によって反射された反射赤外光を撮像し、顔照合部が、撮像された反射可視光画像に基づいて顔照合を行い、生体判別部が、撮像された反射赤外光画像に基づいて生体判別を行うように生体認証装置を構成する。The illumination illuminates the object with visible light and infrared light, the visible camera captures reflected visible light reflected by the object, and the infrared camera reflects the infrared light by the object. The reflected infrared light is imaged, the face matching unit performs face matching based on the captured reflected visible light image, and the biological determination unit performs biological determination based on the captured reflected infrared light image. A biometric authentication device is configured.
Description
本発明は、撮像された生体画像と登録された登録生体情報とを照合することによって生体認証を行う生体認証装置に関し、特に、写真等の非生体物を用いた不正行為を防止することができる生体認証装置に関するものである。 The present invention relates to a biometric authentication device that performs biometric authentication by comparing a captured biometric image with registered biometric information, and in particular, can prevent fraud using a non-biological object such as a photograph. The present invention relates to a biometric authentication device.
従来から、生体認証装置として、認証対象者の顔をCCD(Charge Coupled Devices)カメラ等で撮像した入力画像とあらかじめ登録されている登録画像とを照合し、本人であることを認証する顔認証装置が知られている。 2. Description of the Related Art Conventionally, as a biometric authentication device, a face authentication device that verifies an identity by comparing an input image obtained by capturing the face of an authentication target with a CCD (Charge Coupled Devices) camera or the like and a registered image registered in advance. It has been known.
しかし、このような顔認証装置は、本人の顔写真をカメラにかざす不正行為を排除する機能を備えたものが少なく、セキュリティ性に問題があることが指摘されている。このため、顔認証装置の実用性を高めるべく、顔写真を排除する機能を備えた顔認証手法が提案されている。 However, it has been pointed out that there are few such face authentication devices having a function of eliminating an illegal act of holding a person's face photograph over a camera, and there is a problem in security. For this reason, in order to improve the practicality of the face authentication apparatus, a face authentication method having a function of eliminating a face photograph has been proposed.
たとえば、特許文献1には、写真などの印刷物が赤外光を吸収しない性質を利用し、可視光を撮像する可視カメラと、赤外光を撮像する赤外カメラとを併用することで顔写真を排除する顔認証手法が開示されている。
For example,
具体的には、通常の印画紙にプリントした顔写真や、インクジェットカラープリンタ、染料系プリンタで印刷した顔写真に赤外光を照射した場合、赤外光が一様に反射されるので赤外カメラで撮像すると写真上の顔は写らない。したがって、このような場合には、顔写真であると判定することができる。 Specifically, when infrared light is irradiated to a face photograph printed on ordinary photographic paper, or a face photograph printed with an ink-jet color printer or dye-based printer, the infrared light is reflected uniformly. When taking a picture with the camera, the face on the photo is not shown. Therefore, in such a case, it can be determined that the photograph is a face photo.
しかしながら、赤外光を吸収する成分で印刷された写真(たとえば、レーザプリンタや顔料系プリンタで印刷された写真)の場合には、赤外カメラで撮像しても生体部位(たとえば、顔、指、掌など)が写ってしまう。このため、生体部位の有無に基づいて写真を識別することはできない。したがって、特許文献1の技術を用いたとしても写真を完全には排除することができないという問題があった。
However, in the case of a photograph printed with a component that absorbs infrared light (for example, a photograph printed with a laser printer or a pigment-based printer), the body part (for example, face, finger) , Palm, etc.). For this reason, a photograph cannot be identified based on the presence or absence of a living body part. Therefore, even if the technique of
これらのことから、写真等の非生体物を用いた不正行為を防止することができる生体認証装置をいかにして実現するかが大きな課題となっている。 For these reasons, how to realize a biometric authentication device that can prevent an illegal act using a non-biological object such as a photograph has become a big issue.
本発明は、上述した従来技術の課題を解決するためになされたものであり、写真等の非生体物を用いた不正行為を防止することができる生体認証装置を提供することを目的とする。 The present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to provide a biometric authentication apparatus that can prevent an illegal act using a non-living object such as a photograph.
上述した課題を解決し、目的を達成するために、本発明は、撮像された生体画像と登録された登録生体情報とを照合することによって生体認証を行う生体認証装置であって、可視光および赤外光を対象物へ照射する照射手段と、前記可視光が前記対象物によって反射された反射可視光を撮像する反射可視光撮像手段と、前記赤外光が前記対象物によって反射された反射赤外光を撮像する反射赤外光撮像手段と、前記反射可視光撮像手段によって撮像された反射可視光画像に基づいて本人照合を行う本人照合手段と、前記反射赤外光撮像手段によって撮像された反射赤外光画像に基づいて生体判別を行う生体判別手段とを備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention provides a biometric authentication device that performs biometric authentication by comparing a captured biometric image with registered registered biometric information. Irradiation means for irradiating an object with infrared light, reflected visible light imaging means for imaging reflected visible light in which the visible light is reflected by the object, and reflection in which the infrared light is reflected by the object Reflected infrared light imaging means for imaging infrared light, personal verification means for performing personal verification based on the reflected visible light image captured by the reflected visible light imaging means, and captured by the reflected infrared light imaging means And biometric discrimination means for performing biometric discrimination based on the reflected infrared light image.
また、本発明は、撮像された生体画像と登録された登録生体情報とを照合することによって生体認証を行う生体認証装置であって、赤外光を対象物へ照射する照射手段と、前記赤外光が前記対象物によって反射された反射赤外光を撮像する反射赤外光撮像手段と、前記反射赤外光撮像手段によって撮像された反射赤外光画像に基づいて本人照合を行う本人照合手段と、前記反射赤外光画像に基づいて生体判別を行う生体判別手段とを備えたことを特徴とする。 The present invention is also a biometric authentication apparatus that performs biometric authentication by comparing a captured biometric image with registered registered biometric information, an irradiation unit that irradiates an object with infrared light, and the red Reflected infrared light imaging means for picking up reflected infrared light reflected by the object from outside light, and identity verification for performing person verification based on the reflected infrared light image picked up by the reflected infrared light imaging means And biometric discrimination means for performing biometric discrimination based on the reflected infrared light image.
また、本発明は、上記の発明において、前記生体判別手段は、前記対象物が生体であるか非生体であるかの判別分析に用いる判別式の各係数として予め記憶部に登録された学習データを読み出し、前記反射赤外光撮像手段によって撮像された前記反射赤外光画像に基づく判別用特徴量データおよび前記学習データを用いて前記判別式から算出された算出値に基づいて前記生体判別を行うことを特徴とする。 Further, in the present invention according to the above invention, the living body discriminating means is a learning data previously registered in the storage unit as each coefficient of a discriminant used for discriminant analysis of whether the object is a living body or a non-living body. And the biometric discrimination based on the calculated feature value calculated from the discriminant using the feature data for discrimination based on the reflected infrared light image captured by the reflected infrared light imaging means and the learning data. It is characterized by performing.
また、本発明は、上記の発明において、前記生体判別手段は、前記対象物が生体である場合および非生体である場合についてそれぞれ記憶部に登録された前記反射赤外光画像または該反射赤外光画像を照合用に加工した照合用特徴量データと、前記反射赤外光撮像手段によって撮像された前記反射赤外光画像または該反射赤外光画像を照合用に加工した照合用特徴量データとをそれぞれ対比することで前記生体判別を行うことを特徴とする。 Further, according to the present invention, in the above-described invention, the living body discriminating unit is configured to detect the reflected infrared light image or the reflected infrared light registered in the storage unit when the object is a living body and a non-living body, respectively. Feature data for verification obtained by processing an optical image for verification and feature data for verification obtained by processing the reflected infrared light image captured by the reflected infrared light imaging unit or the reflected infrared light image for verification The biometric discrimination is performed by comparing the above and each.
また、本発明は、上記の発明において、前記本人照合手段による本人照合に成功し、かつ、前記生体判別手段によって生体と判定されたことを条件として最終的な生体認証に成功したものと判定する判定手段をさらに備えたことを特徴とする。 Further, according to the present invention, in the above invention, it is determined that the final biometric authentication is successful on the condition that the personal verification by the personal verification unit is successful and the biometric determination unit determines that it is a biometric. It further comprises a determination means.
また、本発明は、上記の発明において、前記反射可視光撮像手段によって撮像された前記反射可視光画像に係る色分布の分散値に基づいて前記対象物のうち白黒の非生体物を識別する白黒対象物識別手段をさらに備えたことを特徴とする。 Further, the present invention provides the black-and-white non-living object for identifying the black and white non-living object among the objects based on a dispersion value of a color distribution related to the reflected visible light image captured by the reflected visible light imaging unit. It further comprises an object identifying means.
また、本発明は、上記の発明において、前記照射手段は、可視光を対象物へさらに照射するものであって、前記可視光が前記対象物によって反射された反射可視光を撮像する反射可視光撮像手段をさらに備え、前記反射可視光撮像手段によって撮像された前記反射可視光画像に係る色分布の分散値に基づいて前記対象物のうち白黒の非生体物を識別することを特徴とする。 Further, the present invention is the above-described invention, wherein the irradiating unit further irradiates an object with visible light, and the reflected visible light images the reflected visible light reflected by the object. An imaging unit is further provided, and a black and white non-living object among the objects is identified based on a dispersion value of a color distribution relating to the reflected visible light image captured by the reflected visible light imaging unit.
また、本発明は、上記の発明において、前記反射可視光撮像手段および前記反射赤外光撮像手段は、前記対象物を同時に撮像することを特徴とする。 Moreover, the present invention is characterized in that, in the above-mentioned invention, the reflected visible light imaging means and the reflected infrared light imaging means simultaneously image the object.
本発明によれば、可視光および赤外光を対象物へ照射し、可視光が対象物によって反射された反射可視光を撮像し、赤外光が前記対象物によって反射された反射赤外光を撮像し、撮像された反射可視光画像に基づいて本人照合を行い、撮像された反射赤外光画像に基づいて生体判別を行うこととしたので、赤外光を吸収する成分で印刷された生体写真を用いた不正行為を防止することができるという効果を奏する。 According to the present invention, visible light and infrared light are irradiated to an object, reflected visible light reflected by the object is imaged, and infrared light reflected by the object is reflected infrared light. The person was verified based on the captured reflected visible light image, and the living body was determined based on the captured reflected infrared light image, so it was printed with a component that absorbs infrared light. There is an effect that it is possible to prevent fraud using biophotographs.
また、本発明によれば、赤外光を対象物へ照射し、赤外光が対象物によって反射された反射赤外光を撮像し、撮像された反射赤外光画像に基づいて本人照合を行い、反射赤外光画像に基づいて生体判別を行うこととしたので、赤外光を吸収する成分で印刷された生体写真を用いた不正行為を防止することができるという効果を奏する。 Further, according to the present invention, infrared light is irradiated onto an object, reflected infrared light reflected by the object is imaged, and personal verification is performed based on the captured reflected infrared light image. Since the living body determination is performed based on the reflected infrared light image, it is possible to prevent an illegal act using a living body photograph printed with a component that absorbs infrared light.
また、本発明によれば、対象物が生体であるか非生体であるかの判別分析に用いる判別式の各係数として予め記憶部に登録された学習データを読み出し、撮像された反射赤外光画像に基づく判別用特徴量データおよび学習データを用いて判別式から算出された算出値に基づいて生体判別を行うこととしたので、反射赤外光画像に対象物が写っている場合であっても、生体と写真等の非生体物とを判別することができるという効果を奏する。 Further, according to the present invention, the reflected infrared light imaged by reading the learning data registered in advance in the storage unit as each coefficient of the discriminant used for discriminant analysis used to determine whether the object is a living body or a non-living body Since the biometric discrimination is performed based on the calculated value calculated from the discriminant using the feature data for discrimination based on the image and the learning data, the object is reflected in the reflected infrared light image. In addition, there is an effect that it is possible to distinguish between a living body and a non-living object such as a photograph.
また、本発明によれば、対象物が生体である場合および非生体である場合についてそれぞれ記憶部に登録された反射赤外光画像またはこの反射赤外光画像を照合用に加工した照合用特徴量データと、撮像された反射赤外光画像またはこの反射赤外光画像を照合用に加工した照合用特徴量データとをそれぞれ対比することとしたので、反射赤外光画像に対象物が写っている場合であっても、生体と写真等の非生体物とを判別することができるという効果を奏する。 According to the present invention, the reflected infrared light image registered in the storage unit for the case where the object is a living body and the non-living body, or the matching feature obtained by processing the reflected infrared light image for matching Since the amount data and the captured reflected infrared light image or the matching feature data obtained by processing the reflected infrared light image for comparison are respectively compared, the object is reflected in the reflected infrared light image. Even if it is a case, there exists an effect that a living body and non-living things, such as a photograph, can be distinguished.
また、本発明によれば、本人照合に成功し、かつ、生体と判定されたことを条件として最終的な生体認証に成功したものと判定することとしたので、生体写真を排除しつつ生体認証を行うことができるという効果を奏する。 In addition, according to the present invention, since it is determined that the final biometric authentication has been successful on the condition that the identity verification has been successful and the biometric determination has been made, the biometric authentication is performed while excluding the biophotograph. There is an effect that can be performed.
また、本発明によれば、撮像された前記反射可視光に係る色分布の分散値に基づいて対象物のうち白黒の非生体物を識別することとしたので、白黒写真等の白黒の非生体物を確実に識別することができるという効果を奏する。 In addition, according to the present invention, since black and white non-biological objects are identified among the objects based on the dispersion value of the color distribution relating to the reflected visible light that has been imaged, black and white non-biological objects such as black and white photographs There is an effect that an object can be reliably identified.
また、本発明によれば、可視光を対象物へさらに照射し、可視光が対象物によって反射された反射可視光を撮像し、撮像された反射可視光画像に係る色分布の分散値に基づいて対象物のうち白黒の非生体物を識別することとしたので、白黒写真等の白黒の非生体物を確実に識別することができるという効果を奏する。 Further, according to the present invention, visible light is further irradiated onto the object, reflected visible light reflected by the object is imaged, and based on a dispersion value of a color distribution relating to the captured reflected visible light image. Thus, since black and white non-living objects are identified among the objects, there is an effect that black and white non-living objects such as black and white photographs can be reliably identified.
また、本発明によれば、反射可視光および反射赤外光を用いて対象物を同時に撮像することとしたので、生体認証に要する認証時間を短縮することができるという効果を奏する。 Further, according to the present invention, since the object is simultaneously imaged using the reflected visible light and the reflected infrared light, there is an effect that the authentication time required for biometric authentication can be shortened.
10 顔認証装置
11 照明
12 可視カメラ
13 赤外カメラ
14 制御部
14a 可視画像取得部
14b 顔検出部
14c 顔照合部(本人照合手段)
14d カラー判別部(白黒対象物識別手段)
14e 赤外画像取得部
14f 生体判別部
14g 最終判定部
15 記憶部
15a 学習データ
15b 登録画像
31 カメラ間隔
41、42 色分布
43 色分布中心位置DESCRIPTION OF
14d Color discriminating section (monochrome object identifying means)
14e Infrared
以下に、添付図面を参照して、本発明に係る生体認証手法の好適な実施例を詳細に説明する。なお、以下では、本発明に係る生体認証手法の一例である顔認証手法の概要について説明した後に、本発明に係る生体認証手法を適用した生体認証装置の一例である顔認証装置についての実施例を説明することとする。なお、本発明に係る生体認証手法および生体認証装置の認証対象は顔に限られるものではなく、指、掌など生体部位全般に適用可能である。また、以下では、非生体物の一例として写真等の印刷物を用いて説明するが、非生体物は平面的なものに限らず、お面や彫像等の立体的な造形物も含むものとする。 Hereinafter, preferred embodiments of a biometric authentication method according to the present invention will be described in detail with reference to the accompanying drawings. In the following, after describing the outline of the face authentication method that is an example of the biometric authentication method according to the present invention, an embodiment of the face authentication device that is an example of the biometric authentication device to which the biometric authentication method according to the present invention is applied. Will be explained. Note that the authentication target of the biometric authentication method and the biometric authentication apparatus according to the present invention is not limited to the face, and can be applied to general biological parts such as fingers and palms. In the following description, a printed matter such as a photograph is used as an example of a non-living object. However, the non-living object is not limited to a planar object, and includes a three-dimensional shaped object such as a mask or a statue.
まず、本発明に係る顔認証手法の概要について図1を用いて説明する。図1は、本発明に係る顔認証手法の概要を示す図である。なお、同図の(A)には赤外光を吸収する成分を含んだ印刷物(たとえば、レーザプリンタによる印刷物)である白黒写真を、同図の(B)には赤外光を吸収しない印刷物(たとえば、インクジェットプリンタによる印刷物)であるカラー写真を、同図の(C)には赤外光を吸収する成分を含んだ印刷物(たとえば、レーザプリンタによる印刷物)であるカラー写真を、それぞれかざした場合について示している。 First, an outline of the face authentication method according to the present invention will be described with reference to FIG. FIG. 1 is a diagram showing an outline of a face authentication method according to the present invention. Note that (A) in the figure shows a black-and-white photograph that is a printed matter (for example, a printed matter by a laser printer) containing a component that absorbs infrared light, and (B) in the figure shows a printed matter that does not absorb infrared light. A color photograph (for example, a printed matter by an ink jet printer) is held over, and (C) in the figure is a color photograph that is a printed matter (for example, a printed matter by a laser printer) containing a component that absorbs infrared light. Shows about the case.
本発明に係る顔認証手法は、上記した特許文献1に係る従来技術と同様に、認証の対象物となりうる(A)〜(C)の写真を、可視カメラおよび赤外カメラで撮像する。そして、(A)の白黒写真を可視カメラで撮像すると白黒の画像となり、(B)のカラー写真を可視カメラで撮像するとカラーの画像となり、(C)のカラー写真を可視カメラで撮像するとカラーの画像となる。一方、(A)および(C)の写真を赤外カメラで撮像すると赤外光を吸収する成分によって顔が写るが、(B)の写真を赤外カメラで撮像すると顔が写らない。これは、赤外光を吸収する成分を含んだ印刷物では、その濃淡や色によって赤外光を吸収する量が異なるので反射赤外光の強さに差が生じるが、赤外光を吸収しない印刷物では、その濃淡や色にかかわらず赤外光が一様に反射されるためである。
The face authentication method according to the present invention captures the photographs (A) to (C), which can be authentication objects, with a visible camera and an infrared camera, as in the conventional technique according to
上記した特許文献1に係る従来技術では、白黒写真である(A)を可視カメラで撮像した場合に、可視カメラ画像が白黒となることを利用して(A)が白黒写真であると判定していた。また、赤外光を吸収しないカラー写真である(B)を赤外カメラで撮像した場合に、赤外カメラ画像に顔が写らないことを利用して(B)がカラー写真であると判定していた。しかし、赤外光を吸収する成分を含んだカラー写真である(C)については、人の顔を区別することができず顔と判定してしまうことになる。
In the prior art according to
そこで、本発明に係る顔認証手法では、従来技術が識別することができなかった(C)の写真(赤外光を吸収する成分を含んだカラー写真)を、後述する生体判別を行うことによってカラー写真と判定することとした(同図の(1)参照)。 Therefore, in the face authentication method according to the present invention, the photo of (C) (color photo including a component that absorbs infrared light) that cannot be identified by the prior art is performed by performing biometric discrimination described later. It was decided to be a color photograph (see (1) in the figure).
なお、本発明に係る顔認証手法では、可視カメラ画像が白黒であるかカラーであるかを判別する際に、色分布の分散値に基づいて判別処理を行うことで、白黒/カラー判別の精度を向上させているが、この点については、図4を用いて後述することとする。 In the face authentication method according to the present invention, when determining whether a visible camera image is black and white or color, the determination processing is performed based on the dispersion value of the color distribution, so that the accuracy of black / white / color determination is increased. However, this point will be described later with reference to FIG.
以下では、図1に示した本発明に係る顔認証手法を適用した顔認証装置に係る実施例を図2〜図9を用いて説明する。 Below, the Example which concerns on the face authentication apparatus to which the face authentication method based on this invention shown in FIG. 1 is applied is described using FIGS.
まず、本実施例に係る顔認証装置10の構成について図2を用いて説明する。図2は、本実施例に係る顔認証装置10の構成を示すブロック図である。なお、同図においては、顔認証装置10の特徴を説明するために必要な構成要素のみを示しており、顔認証結果を出力する出力部や表示部等の一般的な構成要素についての記載を省略している。
First, the configuration of the
同図に示すように、顔認証装置10は、照射手段である照明11と、反射可視光撮像手段である可視カメラ12と、反射赤外光撮像手段である赤外カメラ13と、制御部14と、記憶部15とを備えている。また、制御部14は、可視画像取得部14aと、顔検出部14bと、本人照合手段である顔照合部14cと、白黒対象物識別手段であるカラー判別部14dと、赤外画像取得部14eと、生体判別部14fと、最終判定部14gとをさらに備えており、記憶部15は、学習データ15aと、登録された人の顔の画像である登録画像15bとを記憶する。
As shown in the figure, the
照明11は、可視光および赤外光を認証対象物に対して照射するデバイスであり、ハロゲンランプやLED(Light Emitting Diode)などの発光体から構成される。なお、この照明11は、可視光を発する発光体と赤外光を発する発光体との組み合わせで構成することしてもよく、可視光および赤外光を発する単一の発光体(たとえば、ハロゲンランプ)としてもよい。
The
可視カメラ12は、CCD(Charge Coupled Devices)カメラ等のカメラであり、照明11が照射した可視光が認証対象物によって反射された反射光である反射可視光を検知し、可視画像として制御部14の可視画像取得部14aへ渡す。なお、可視カメラ12が認証対象物を撮像するタイミングは、赤外カメラ13が認証対象物を撮像するタイミングと略同一となるように制御される。
The
赤外カメラ13は、たとえば、CCD(Charge Coupled Devices)カメラ等のカメラであって赤外波長に感度をもつカメラに、可視光線をカットするフィルタを装着することによって構成される。この赤外カメラ13は、照明11が照射した赤外光が認証対象物によって反射された反射光である反射赤外光を検知し、赤外画像として制御部14の赤外画像取得部14eへ渡す。なお、赤外カメラ13が認証対象物を撮像するタイミングは、可視カメラ12が認証対象物を撮像するタイミングと略同一となるように制御される。
The
ここで、照明11、可視カメラ12および赤外カメラ13の配置について図3を用いて説明しておく。図3は、顔認証装置10の側面図である。図3に示すように、照明11は、たとえば、顔認証装置10の上方に設けられ、認証対象物(人の顔など)に対して可視光および赤外光を照射する。また、可視カメラ12および赤外カメラ13は、たとえば、顔認証装置10の前方に上下に所定間隔(同図の31参照)をおいて設けられる。
Here, the arrangement of the
ここで、カメラ間隔31は、たとえば、50mm程度である。なお、2つのカメラのステレオ視によって平面写真を排除する手法では、カメラ間隔は100mm〜200mm程度とる必要があるが、本実施例に係る顔認証装置10は、ステレオ視を行う必要がないので、カメラ間隔を小さくすることができ、顔認証装置10自体のサイズをコンパクトにすることが可能となる。
Here, the
図2の説明に戻り、制御部14について説明する。制御部14は、可視画像に基づく顔照合処理およびカラー判別処理を行うとともに、赤外画像に基づく生体判別処理を行い、顔照合処理結果、カラー判別処理結果および生体判別処理結果に基づいて最終的な判定(人の顔と写真とを切り分ける判定)を行う処理部である。 Returning to the description of FIG. 2, the control unit 14 will be described. The control unit 14 performs face matching processing and color discrimination processing based on a visible image, and performs biometric discrimination processing based on an infrared image, and finally performs a face matching processing result, a color discrimination processing result, and a biometric discrimination processing result. This is a processing unit that performs a simple determination (determination for separating a human face and a photograph).
可視画像取得部14aは、可視カメラ12から可視画像を受け取り、受け取った可視画像を顔検出部14bへ渡す処理を行う処理部である。また、顔検出部14bは、可視画像取得部14aから受け取った可視画像について顔サーチを行い、検出した顔部分を顔照合部14cおよびカラー判別部14dへ渡す処理を行う処理部である。なお、この顔検出部14bは、赤外画像取得部14eから受け取った赤外画像についても顔サーチを行い、検出した顔部分を生体判別部14fへ渡す処理を行う。
The visible image acquisition unit 14a is a processing unit that performs a process of receiving a visible image from the
顔照合部14cは、記憶部15に記憶された登録画像15bと、顔検出部14bから受け取った可視画像の顔部分とを対比することで撮像された人が登録された本人であるか否かを判定する処理部である。たとえば、この顔照合部14cは、可視画像の顔部分と各登録画像15bとを対比して両画像がどの程度類似しているかを表す値である類似度を算出し、算出した特徴点の類似度が所定値以上である登録画像15bが存在する場合には本人と、存在しない場合には本人ではないと判定する。なお、可視画像の顔部分と指定された登録画像15bとの1対1の照合を行うこととしてもよい。そして、顔照合部14cは、照合結果を最終判定部14gへ渡す。なお、登録画像15bとしては、通常、可視画像が用いられる。
Whether the face collation unit 14c is a registered person or not by comparing the registered image 15b stored in the
なお、本実施例では、登録画像15bと可視画像とを対比する場合について示したが、登録画像15bのかわりに登録画像15bから算出した照合用特徴量を記憶部15へ登録しておき、顔照合部14cが可視画像から照合用特徴量を算出したうえで、算出した特徴量と、記憶部15に登録された特徴量とを対比することとしてもよい。すなわち、登録生体情報としては、生体画像または生体画像に基づいた特徴量(照合用特徴量データ)を用いることができる。
In this embodiment, the registered image 15b is compared with the visible image. However, instead of the registered image 15b, the matching feature amount calculated from the registered image 15b is registered in the
カラー判定部14dは、顔検出部14bから受け取った可視画像の顔部分について色分布の分散値を算出し、算出した分散値と所定の閾値とを比較することで、可視画像の顔部分がカラーであるか白黒であるかを判定し、撮像された対象物が白黒の非生体物であるか否かを識別する処理部である。ここで、このカラー判定部14dが行うカラー判定処理の内容について図4および図5を用いて説明しておく。
The
図4は、カラー判別部14dによるカラー判別処理の概要を示す図である。なお、同図には、カラーを取り扱う基本軸としてHS平面を用いる場合について示している。ここで、「H」とは色合いをあらわす値である色相であり、図4の(1)に示したように、円周方向の色変化のことを指す。
FIG. 4 is a diagram showing an outline of color discrimination processing by the
また、「S」とは色の鮮やかさをあらわす値である彩度であり、図4の(1)に示したように、中心点からの距離のことを指す。また、HS平面に展開された色分布はHSヒストグラムと呼ばれる。なお、本実施例では、カラーを取り扱う基本軸としてHS平面を用いる場合について示したが、他の基本軸を用いることとしてもよい。 “S” is saturation, which is a value representing the vividness of the color, and indicates the distance from the center point as shown in (1) of FIG. The color distribution developed on the HS plane is called an HS histogram. In this embodiment, the case where the HS plane is used as the basic axis for handling the color has been described. However, other basic axes may be used.
図4の(2)に示したのは、従来のカラー判別手法である。また、同図の41は、白黒写真である場合の色分布であり、同図の42は、カラー写真あるいは人の顔である場合の色分布である。従来は、各分布が中心点に近いか否かを判定基準として用いていたので、中心点に近い41については白黒、中心点から遠い42についてはカラーと判定していた。 FIG. 4B shows a conventional color discrimination method. Further, 41 in the figure is a color distribution in the case of a black and white photograph, and 42 in the figure is a color distribution in the case of a color photograph or a human face. Conventionally, whether or not each distribution is close to the center point is used as a determination criterion, so that 41 near the center point is determined to be black and white and 42 far from the center point is determined to be color.
しかし、カメラのホワイトバランス設定のずれや、外光などの環境光の影響によって、同図の42に示した色分布が同図の43に示した位置にずれると、42の色分布を白黒と誤判定してしまうことになる。 However, if the color distribution shown in FIG. 42 shifts to the position shown in FIG. 43 due to the camera white balance setting shift or the influence of ambient light such as outside light, the color distribution of 42 is changed to black and white. It will be misjudged.
そこで、本実施例に係るカラー判別部14dは、各色分布における中心位置からの分散値に基づいて白黒/カラーの判定を行うこととした。たとえば、図4の(3)に示したように、カラーの色分布42について、色分布中心位置44を算出する。そして、カラーの色分布42について色分布中心位置44からの分散値を求め、求めた分散値が所定の閾値より大きいか否かで白黒/カラーの判定を行う。
Therefore, the
ここで、カラーの色分布42は、白黒の色分布41に比べて拡がりをもった分布となる傾向があるため、色分布についての中心位置からの分散値を用いると白黒/カラーの判定を高精度に行うことができる。このようにすることで、肌の色が白い人や黒い人など、一見、白黒に近いと思われる生体と、白黒の非生体とを判別することができる。白黒に近い生体であれば、純粋に白黒の濃淡で表現される白黒の非生体と比べ、分散値が大きくなるためである。
Here, since the
図5は、カラー判別処理の処理手順を示すフローチャートである。同図に示すように、カラー判別部14dは、顔部分のHSヒストグラムを生成し(ステップS101)、色分布の重心位置(すなわち、中心位置)を算出する(ステップS102)。つづいて、重心位置からの分散値を算出し(ステップS103)、算出した分散値が所定の閾値以上であるか否かを判定する(ステップS104)。
FIG. 5 is a flowchart showing the processing procedure of the color discrimination process. As shown in the figure, the
そして、分散値が所定の閾値以上である場合には(ステップS104,Yes)、カラーと判定して(ステップS105)処理を終了する。一方、分散値が所定の閾値未満である場合には(ステップS104,No)、白黒と判定して(ステップS106)処理を終了する。このように、白黒の非生体が撮像された場合には白黒と判定されるので、白黒の非生体であると識別することができる。 If the variance value is equal to or greater than the predetermined threshold (Yes at Step S104), the color is determined (Step S105) and the process is terminated. On the other hand, when the variance value is less than the predetermined threshold value (No at Step S104), it is determined that it is black and white (Step S106), and the process is terminated. As described above, when a black and white non-living body is imaged, it is determined to be black and white, so that it can be identified as a black and white non-living body.
図2の説明に戻り、赤外画像取得部14eについて説明する。赤外画像取得部14eは、赤外カメラ13から赤外画像を受け取り、受け取った赤外画像を顔検出部14bへ渡す処理を行う処理部である。また、生体判別部14fは、記憶部15に記憶された学習データ15aを用い、顔検出部14bから受け取った赤外画像の顔部分について線形判別分析などの判別分析を行うことで生体判別を行う処理部である。なお、生体判別とは、赤外画像に含まれる顔部分が、人の顔であるか写真などの非生体物であるかを判別することを指す。
Returning to the description of FIG. 2, the infrared
ここで、生体判別部14fが用いる学習データ15aの登録手順について図6を用いて説明しておく。図6は、学習データ15aの登録手順を示すフローチャートである。同図に示すように、生体(顔)画像あるいは非生体(写真)画像を入力し(ステップS201)、平均顔との対応付けを行い(ステップS202)、ステップS201で入力された顔画像の位置補正を実行する(ステップS203)。ここで、平均顔とは、多数の人の顔の平均を指し、たとえば、多数の人の顔画像を重ね合わせて平均をとることで得られる。
Here, the registration procedure of the learning data 15a used by the
そして、位置補正済みの顔画像について画像サイズの正規化を行う(ステップS204)。ここで、この正規化は、顔画像を16画素×16画素に縮小することで行われる。つづいて、各画素の値(濃淡を示す値)を16×16=256次元の特徴量へ変換し(ステップS205)、学習処理(ステップS206)を実行する。なお、ステップS205に示した特徴量は、判別やその学習のために正規化されたデータである判別用特徴量データのことを指す。 Then, normalization of the image size is performed on the position-corrected face image (step S204). Here, this normalization is performed by reducing the face image to 16 pixels × 16 pixels. Subsequently, the value of each pixel (value indicating shading) is converted into a 16 × 16 = 256-dimensional feature amount (step S205), and learning processing (step S206) is executed. Note that the feature amount shown in step S205 indicates discrimination feature value data that is data normalized for discrimination and learning.
ここで、ステップS206の学習処理とは、線形判別処理に用いられる判別式の各係数を顔と写真とを判別するために適した値として求めることを指す。たとえば、かかる判別式は、
なお、特徴量(判別用特徴量データ)は、上記したように256次元の値をとるため、式(1)のiは、1〜256の値をとる。また、式(1)のxiには、256次元の各特徴量が代入される。そして、式(1)の左辺であるzの値について、顔の場合と写真の場合とを所定の閾値で区切ることができるように、係数であるaiおよびa0の値が学習される。Since the feature amount (determination feature amount data) takes a 256-dimensional value as described above, i in Equation (1) takes a value of 1 to 256. Also, 256-dimensional feature values are substituted for x i in equation (1). Then, the values of a i and a 0 that are coefficients are learned so that the case of the face and the case of the photograph can be separated by a predetermined threshold with respect to the value of z that is the left side of Equation (1).
なお、図6では、ステップS206の学習処理において線形判別分析を用いる場合について説明したが、その他の統計手法を用いることとしてもよい。たとえば、非線形判別分析やSupport Vector Machine(SVM)法、ニューラルネットワーク法、部分空間法等を用いることができる。 In addition, although FIG. 6 demonstrated the case where linear discriminant analysis was used in the learning process of step S206, it is good also as using another statistical method. For example, a nonlinear discriminant analysis, a support vector machine (SVM) method, a neural network method, a subspace method, or the like can be used.
また、本実施例では、学習データ15aとして式(1)の各係数あるいは式(1)自体を記憶部15へ登録し、生体判別部14fが、学習データ15aを用いた線形判別分析によって生体判別を行う場合について説明する。しかし、これに限らず、別の方法によって生体判別を行うことも可能である。たとえば、生体(顔)画像を代表する生体判別用照合データ(赤外画像または照合用特徴量データ)と、非生体(写真)画像を代表する生体判別用照合データとをそれぞれ対比して照合を行い、類似度を比較して生体か非生体かを判別することとしてもよい。
Further, in this embodiment, each coefficient of equation (1) or equation (1) itself is registered in the
具体的には、顔部分と生体を代表する生体判別用照合データとの類似度が、顔部分と非生体を代表する生体判別用照合データとの類似度よりも大きい場合には生体と、それ以外は非生体と判別する。この場合、両類似度の差が所定値以上であることを生体と判別する際の条件として付加することとしてもよい。なお、あらかじめ登録しておく生体判別用照合データは、生体(顔)画像を代表するものと非生体(写真)画像を代表するものとの少なくとも2つが必要であるが、さらに数を増やすことしてもよい。また、これらの生体判別用照合データは、単一の人物の生体画像および非生体画像(写真や当該人物を模した造形物の画像等)から作成してもよく、複数の人物の生体画像および非生体画像を平均化した平均画像から作成してもよい。さらに、登録された人物ごとに専用の生体判別用照合データをもつようにしてもよい。 Specifically, when the similarity between the face part and the biometric discrimination matching data representing the living body is larger than the similarity between the face part and the biometric discrimination matching data representing the non-living body, Anything other than is determined as non-living. In this case, it may be added as a condition for discriminating that the difference between the two similarities is a predetermined value or more from a living body. It should be noted that at least two types of biometric identification verification data that are registered in advance are required to represent biometric (face) images and non-biological (photo) images. Also good. The biometric discrimination collation data may be created from a single person's biological image and non-biological image (such as a photograph or an image of a model imitating the person). You may create from the average image which averaged the non-biological image. Furthermore, each registered person may have dedicated biometric discrimination collation data.
なお、図6では、顔画像を16画素×16画素に縮小して256次元の特徴量(判別用特徴量データ)へ変換する場合について示したが、顔画像を縮小しないこととしてもよい。また、縮小する場合の画素数を他の画素数とすることとしてもよい。これらの場合には、図6のステップS204で正規化された画素数と、図7におけるステップS303で正規化された画素数とが同一となるようにする。なお、顔画像を縮小しない場合には、顔画像を、顔画像の画素数分の次元をもつ特徴量(判別用特徴量データ)として用いることになる。 Although FIG. 6 shows a case where the face image is reduced to 16 pixels × 16 pixels and converted into 256-dimensional feature amounts (determination feature amount data), the face image may not be reduced. In addition, the number of pixels in the case of reduction may be set to another number of pixels. In these cases, the number of pixels normalized in step S204 in FIG. 6 is made equal to the number of pixels normalized in step S303 in FIG. If the face image is not reduced, the face image is used as a feature amount (determination feature amount data) having dimensions corresponding to the number of pixels of the face image.
つづいて、生体判別部14fによる生体判別処理の処理手順について図7を用いて説明しておく。図7は、生体判別部14fによる生体判別処理の処理手順を示すフローチャートである。同図に示すように、生体判別部14fは、赤外顔画像と平均顔との対応付けを行い(ステップS301)、赤外顔画像の顔位置を補正する(ステップS302)。そして、赤外顔画像を16画素×16画素に縮小することで、赤外顔画像のサイズを正規化する(ステップS303)。
Subsequently, the processing procedure of the biometric determination process by the
つづいて、16画素×16画素に縮小された赤外顔画像について、各画素の値(濃淡を示す値)を16×16=256次元の特徴量(判別用特徴量データ)へ変換する(ステップS304)。そして、記憶部15の学習データ15aを用いた判別分析が行われる(ステップS305)。
Subsequently, with respect to the infrared face image reduced to 16 pixels × 16 pixels, the value of each pixel (value indicating shading) is converted into 16 × 16 = 256-dimensional feature amount (determination feature amount data) (step) S304). Then, discriminant analysis using the learning data 15a in the
この判別分析は以下に示す手順で行われる。すなわち、学習データ15aとして記憶部15に記憶されている上記した式(1)の各係数(aiおよびa0)を用い、ステップS304で算出された256次元の各特徴量を式(1)のxiへそれぞれ代入する。そして、式(1)のzの値が所定の閾値以上であるか未満であるかに基づき、赤外顔画像が、生体(顔)カテゴリに属するか、非生体(写真)カテゴリに属するかが判別される。This discriminant analysis is performed according to the following procedure. That is, using the coefficients (a i and a 0 ) of the above equation (1) stored in the
そして、生体(顔)カテゴリに属すると判定された場合には(ステップS306,Yes)、赤外顔画像を生体(顔)と判定する(ステップS307)。一方、ステップS306の判定条件を満たさなかった場合には(ステップS306,No)、赤外顔画像を非生体(写真)と判定する(ステップS308)。 And when it determines with belonging to a biological body (face) category (step S306, Yes), an infrared face image is determined to be a biological body (face) (step S307). On the other hand, when the determination condition of step S306 is not satisfied (step S306, No), the infrared face image is determined to be a non-living body (photograph) (step S308).
なお、図7では、赤外顔画像を16画素×16画素に縮小して256次元の特徴量(判別用特徴量データ)へ変換する場合について示したが、赤外顔画像を縮小しないこととしてもよい。また、縮小する場合の画素数を他の画素数とすることとしてよい。これらの場合には、図7におけるステップS303で正規化された画素数と、図6のステップS204で正規化された画素数とが同一となるようにする。なお、赤外顔画像を縮小しない場合には、赤外顔画像を、赤外顔画像の画素数分の次元をもつ特徴量(判別用特徴量データ)として用いることになる。 Note that FIG. 7 shows a case where the infrared face image is reduced to 16 pixels × 16 pixels and converted into 256-dimensional feature amounts (determination feature amount data), but the infrared face image is not reduced. Also good. Further, the number of pixels in the case of reduction may be set to another number of pixels. In these cases, the number of pixels normalized in step S303 in FIG. 7 is set equal to the number of pixels normalized in step S204 in FIG. When the infrared face image is not reduced, the infrared face image is used as a feature amount (determination feature amount data) having dimensions corresponding to the number of pixels of the infrared face image.
図2の説明に戻り、最終判定部14gについて説明する。最終判定部14gは、顔照合部14cから受け取った顔照合結果、カラー判別部14dから受け取ったカラー判別結果および生体判別部14fから受け取った生体判別結果に基づいて最終的な認証成否を判定する処理を行う処理部である。
Returning to the description of FIG. 2, the final determination unit 14g will be described. The final determination unit 14g determines the final authentication success / failure based on the face verification result received from the face verification unit 14c, the color determination result received from the
たとえば、この最終判定部14gは、顔照合結果が照合成功であり、カラー判別結果がカラーであり、生体判別結果が生体(顔)である場合には、認証対象物は人の顔であるとして、最終的な認証に成功したと判定する。また、顔照合結果が照合成功であり、カラー判別結果がカラーであるが、生体判別結果が非生体(写真)である場合には、認証対象物はカラー写真であるとして、最終的な認証に失敗したと判定する。なお、カラー判別結果が白黒であれば、他の判定結果にかかわらず、認証対象物が白黒写真であるとして、最終的な認証に失敗したと判定する。 For example, the final determination unit 14g determines that the authentication target is a human face when the face verification result is a successful verification, the color determination result is color, and the biometric determination result is a living body (face). It is determined that the final authentication is successful. Further, when the face matching result is a successful matching and the color discrimination result is color, but the biometric discrimination result is a non-living body (photograph), the authentication target is a color photo and the final authentication is performed. Judge that it failed. If the color determination result is black and white, it is determined that the final authentication has failed, assuming that the authentication target is a black and white photograph, regardless of other determination results.
記憶部15は、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリで構成される記憶部であり、学習データ15aおよび登録画像15bを記憶する。学習データ15aは、既に説明した図6の手順に従って登録されるデータであり、生体判別部14fによって用いられる。
The
登録画像15bは、あらかじめ登録された認証対象者の顔画像であり、顔照合部14cによって用いられる。なお、顔照合部14cが可視画像の照合用特徴量を算出する場合には、登録画像15bのかわりに登録画像15bの照合用特徴量を記憶部15へ登録することとしてもよい。
The registered image 15b is a face image of the person to be authenticated registered in advance, and is used by the face matching unit 14c. When the face matching unit 14c calculates the matching feature amount of the visible image, the matching feature amount of the registered image 15b may be registered in the
次に、顔認証装置10が実行する処理手順について図8を用いて説明する。図8は、顔認証装置10が実行する処理手順を示すフローチャートである。同図に示すように、可視画像取得部14aおよび赤外画像取得部14eが、可視画像および赤外画像をそれぞれ取得すると(ステップS401)、顔検出部14bは、可視画像について顔検出処理を行う(ステップS402)。
Next, a processing procedure executed by the
そして、ステップS402の顔検出処理に成功した場合には(ステップS403,Yes)、顔照合部14cが、可視画像について顔照合処理を行う(ステップS404)。なお、顔検出に失敗した場合には(ステップS403,No)、ステップS401以降の処理を繰り返す。 If the face detection process in step S402 is successful (step S403, Yes), the face matching unit 14c performs a face matching process on the visible image (step S404). If face detection fails (step S403, No), the processing after step S401 is repeated.
つづいて、ステップS404の顔照合に成功したか否かが判定され(ステップS405)、顔照合に成功した場合には(ステップS405,Yes)、カラー判別部14dが、可視画像についてカラー判別処理を行う(ステップS406)。なお、顔照合に失敗した場合には(ステップS405,No)、認証に失敗したものとして、ただちに、処理を終了する。
Subsequently, it is determined whether or not the face matching in step S404 is successful (step S405). If the face matching is successful (step S405, Yes), the
そして、可視画像についてのカラー判別結果がカラーであるか否かが判定され(ステップS407)、カラーである場合には(ステップS407,Yes)、顔検出部14bは、赤外画像について顔検出処理を行う(ステップS408)。なお、カラーではない場合には(ステップS407,No)、認証対象物を写真と判定して(ステップS413)処理を終了する。 Then, it is determined whether or not the color discrimination result for the visible image is color (step S407). If the color discrimination result is color (step S407, Yes), the face detection unit 14b performs face detection processing for the infrared image. Is performed (step S408). If it is not a color (step S407, No), the authentication object is determined to be a photograph (step S413), and the process is terminated.
つづいて、ステップS408の顔検出処理に成功したか否かが判定され(ステップS409)、顔検出に成功した場合には(ステップS409,Yes)、生体判別部14fが、赤外画像について生体判別処理を行う(ステップS410)。なお、顔検出に失敗した場合には(ステップS409,No)、認証対象物を写真と判定して(ステップS413)処理を終了する。
Subsequently, it is determined whether or not the face detection process in step S408 is successful (step S409). If the face detection is successful (step S409, Yes), the
そして、ステップS410の生体判別処理において生体と判別されたか否かが判定され(ステップS411)、生体と判定された場合には(ステップS411,Yes)、認証成功と判定して(ステップS412)処理を終了する。一方、ステップS411において非生体と判定された場合には(ステップS411,No)、認証対象物を写真と判定して(ステップS413)処理を終了する。 Then, it is determined whether or not it is determined as a living body in the living body determination process in step S410 (step S411). If it is determined as a living body (step S411, Yes), it is determined that authentication is successful (step S412). Exit. On the other hand, if it is determined in step S411 that it is a non-living body (step S411, No), the authentication object is determined to be a photograph (step S413), and the process ends.
なお、図8では、可視画像顔検出処理(ステップS402)、可視画像顔照合処理(ステップS404)、可視画像カラー判別処理(ステップS406)、赤外画像顔検出処理(ステップS408)および赤外画像生体判別処理(ステップS410)を、これらの順序で処理する場合について示したが、これらの順序以外で処理することとしてもよい。たとえば、ステップS406の可視画像カラー判別処理は、ステップS403以降であればどの段階で実行しても構わない。同じく、ステップ410の赤外画像生体判別処理は、ステップS409以降であればどの段階で実行しても構わない。また、ステップS408の赤外画像顔検出処理とステップS402の可視画像顔検出処理の実行順序を入れ替えることとしてもよい。 In FIG. 8, a visible image face detection process (step S402), a visible image face collation process (step S404), a visible image color discrimination process (step S406), an infrared image face detection process (step S408), and an infrared image Although the biometric determination processing (step S410) has been described for processing in these orders, the processing may be performed in a sequence other than these orders. For example, the visible image color discrimination process in step S406 may be executed at any stage after step S403. Similarly, the infrared image biometric determination process in step 410 may be executed at any stage after step S409. The execution order of the infrared image face detection process in step S408 and the visible image face detection process in step S402 may be switched.
また、図8では、可視画像顔検出処理(ステップS402)、可視画像顔照合処理(ステップS404)、可視画像カラー判別処理(ステップS406)、赤外画像顔検出処理(ステップS408)および赤外画像生体判別処理(ステップS410)を、これらの順序で直列に処理する場合について示したが、これらの処理を並列で行うこととしてもよい。 Further, in FIG. 8, a visible image face detection process (step S402), a visible image face matching process (step S404), a visible image color discrimination process (step S406), an infrared image face detection process (step S408), and an infrared image Although the biometric determination processing (step S410) has been described for processing in series in these orders, these processing may be performed in parallel.
図9は、並列処理の一例を示す図である。なお、同図に示す矢印は、処理が実行される順序をあらわしている。同図に示すように、認証処理が開始されたならば、顔検出部14bは、可視画像顔検出処理と赤外画像顔検出処理とを並列で行い、つづいて、顔照合部14cによる可視画像顔照合処理と、カラー判別部14dによる可視画像カラー判別処理と、生体判別部14fによる赤外画像判別処理を並列で行う。そして、最終判定部14gによって最終的な処理結果判定が行われる。このように、各処理を並列で行うことで、認証処理に要する時間を短縮することが可能となる。
FIG. 9 is a diagram illustrating an example of parallel processing. In addition, the arrow shown to the figure represents the order in which a process is performed. As shown in the figure, when the authentication process is started, the face detection unit 14b performs the visible image face detection process and the infrared image face detection process in parallel, and then the visible image by the face matching unit 14c. The face matching process, the visible image color discrimination process by the
上述してきたように、本実施例によれば、照明が、可視光および赤外光を対象物へ照射し、可視カメラが、可視光が対象物によって反射された反射可視光を撮像し、赤外カメラが、赤外光が前記対象物によって反射された反射赤外光を撮像し、顔照合部が、撮像された反射可視光画像に基づいて顔照合を行い、生体判別部が、撮像された反射赤外光画像に基づいて生体判別を行うように顔認証装置を構成したので、赤外光を吸収する成分で印刷された顔写真を用いた不正行為を防止することができる。 As described above, according to this embodiment, the illumination irradiates the object with visible light and infrared light, the visible camera captures the reflected visible light reflected by the object, and the red light The outside camera images reflected infrared light reflected by the object, the face matching unit performs face matching based on the captured reflected visible light image, and the living body discrimination unit is imaged. Since the face authentication apparatus is configured to perform biometric discrimination based on the reflected infrared light image, it is possible to prevent fraud using a face photograph printed with a component that absorbs infrared light.
なお、上述した実施例では、顔照合部は反射可視光画像に基づいて顔照合を行う場合について説明したが、顔照合を反射赤外光画像に基づいて行うことも可能である。この場合、登録画像として通常は赤外光画像が用いられる。また、生体判別を生体および非生体の生体情報を用いた照合によって行う場合には、生体判別部が顔照合部の機能を兼ねることとしてもよい。この場合、登録画像または照合用特徴量データと、生体判別用データ(生体画像または照合用特徴量データ)とが同一のものであってもよい。 In the above-described embodiment, the case where the face matching unit performs face matching based on the reflected visible light image has been described, but face matching can also be performed based on the reflected infrared light image. In this case, an infrared light image is usually used as the registered image. Further, in the case where the biometric discrimination is performed by collation using biological and non-biological biometric information, the biometric discrimination unit may also function as the face collation unit. In this case, the registered image or the matching feature data may be the same as the biometric data (biological image or matching feature data).
なお、上述した実施例では、顔認証装置を例としたが、本発明は、たとえば、指、掌など顔以外の対象にも有効であり、生体認証全般に適用可能である。 In the above-described embodiments, the face authentication apparatus is taken as an example, but the present invention is also effective for subjects other than the face such as fingers and palms, and can be applied to biometric authentication in general.
以上のように、本発明に係る生体認証装置は、写真を用いた不正行為の防止に有用であり、特に、赤外線を吸収する成分を含んだ写真を確実に排除したい場合に適している。 As described above, the biometric authentication device according to the present invention is useful for preventing illegal acts using photographs, and is particularly suitable for a case where it is desired to reliably exclude photographs containing components that absorb infrared rays.
Claims (8)
可視光および赤外光を対象物へ照射する照射手段と、
前記可視光が前記対象物によって反射された反射可視光を撮像する反射可視光撮像手段と、
前記赤外光が前記対象物によって反射された反射赤外光を撮像する反射赤外光撮像手段と、
前記反射可視光撮像手段によって撮像された反射可視光画像に基づいて本人照合を行う本人照合手段と、
前記反射赤外光撮像手段によって撮像された反射赤外光画像に基づいて生体判別を行う生体判別手段と
を備えたことを特徴とする生体認証装置。A biometric authentication device that performs biometric authentication by comparing a captured biometric image with registered registered biometric information,
Irradiation means for irradiating the object with visible light and infrared light;
Reflected visible light imaging means for imaging reflected visible light in which the visible light is reflected by the object;
Reflected infrared light imaging means for imaging reflected infrared light reflected by the object;
Identity verification means for performing identity verification based on the reflected visible light image captured by the reflected visible light imaging means;
A biometric authentication device comprising: a biometric discrimination unit that performs biometric discrimination based on a reflected infrared light image captured by the reflected infrared light imaging unit.
赤外光を対象物へ照射する照射手段と、
前記赤外光が前記対象物によって反射された反射赤外光を撮像する反射赤外光撮像手段と、
前記反射赤外光撮像手段によって撮像された反射赤外光画像に基づいて本人照合を行う本人照合手段と、
前記反射赤外光画像に基づいて生体判別を行う生体判別手段と
を備えたことを特徴とする生体認証装置。A biometric authentication device that performs biometric authentication by comparing a captured biometric image with registered registered biometric information,
Irradiation means for irradiating the object with infrared light;
Reflected infrared light imaging means for imaging reflected infrared light reflected by the object;
Identity verification means for performing identity verification based on the reflected infrared light image captured by the reflected infrared light imaging means;
A biometric authentication device comprising: a biometric discrimination unit that performs biometric discrimination based on the reflected infrared light image.
前記対象物が生体であるか非生体であるかの判別分析に用いる判別式の各係数として予め記憶部に登録された学習データを読み出し、前記反射赤外光撮像手段によって撮像された前記反射赤外光画像に基づく判別用特徴量データおよび前記学習データを用いて前記判別式から算出された算出値に基づいて前記生体判別を行うことを特徴とする請求項1または2に記載の生体認証装置。The living body discrimination means includes
The reflected red image picked up by the reflected infrared light imaging means is read out from the learning data registered in the storage unit in advance as each coefficient of the discriminant used for discriminant analysis of whether the object is a living body or a non-living body. The biometric authentication device according to claim 1, wherein the biometric discrimination is performed based on a calculated value calculated from the discriminant using the discrimination feature value data based on an external light image and the learning data. .
前記対象物が生体である場合および非生体である場合についてそれぞれ記憶部に登録された前記反射赤外光画像または該反射赤外光画像を照合用に加工した照合用特徴量データと、前記反射赤外光撮像手段によって撮像された前記反射赤外光画像または該反射赤外光画像を照合用に加工した照合用特徴量データとをそれぞれ対比することで前記生体判別を行うことを特徴とする請求項1または2に記載の生体認証装置。The living body discrimination means includes
When the object is a living body and a non-living body, the reflected infrared light image registered in the storage unit or the matching feature data obtained by processing the reflected infrared light image for matching, and the reflection The biometric discrimination is performed by comparing the reflected infrared light image captured by the infrared light imaging unit or the matching feature data obtained by processing the reflected infrared light image for matching. The biometric authentication device according to claim 1.
をさらに備えたことを特徴とする請求項1または2に記載の生体認証装置。The apparatus further comprises a determination unit that determines that the final biometric authentication has succeeded on the condition that the personal verification by the personal verification unit has been successful and the biometric determination unit has determined that the biometric has been determined. The biometric authentication device according to claim 1.
をさらに備えたことを特徴とする請求項1に記載の生体認証装置。The apparatus further comprises a black and white object identifying means for identifying a black and white non-living object among the objects based on a dispersion value of a color distribution relating to the reflected visible light image captured by the reflected visible light imaging means. The biometric authentication device according to claim 1.
可視光を対象物へさらに照射するものであって、
前記可視光が前記対象物によって反射された反射可視光を撮像する反射可視光撮像手段
をさらに備え、
前記反射可視光撮像手段によって撮像された前記反射可視光画像に係る色分布の分散値に基づいて前記対象物のうち白黒の非生体物を識別することを特徴とする請求項2に記載の生体認証装置。The irradiation means includes
Further irradiates the object with visible light,
Reflected visible light imaging means for imaging reflected visible light in which the visible light is reflected by the object,
The living body according to claim 2, wherein black and white non-living objects are identified among the objects based on a dispersion value of a color distribution relating to the reflected visible light image captured by the reflected visible light imaging unit. Authentication device.
前記対象物を同時に撮像することを特徴とする請求項1または7に記載の生体認証装置。The reflected visible light imaging means and the reflected infrared light imaging means are:
The biometric authentication device according to claim 1, wherein the object is imaged simultaneously.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/053667 WO2009107237A1 (en) | 2008-02-29 | 2008-02-29 | Biometrics device |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2009107237A1 true JPWO2009107237A1 (en) | 2011-06-30 |
Family
ID=41015650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010500509A Pending JPWO2009107237A1 (en) | 2008-02-29 | 2008-02-29 | Biometric authentication device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2009107237A1 (en) |
WO (1) | WO2009107237A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105488486B (en) * | 2015-12-07 | 2018-10-30 | 清华大学 | The face identification method and device for preventing photo from attacking |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2013035150A1 (en) * | 2011-09-05 | 2015-03-23 | 株式会社モルフォ | Face authentication system, face authentication method, and face authentication program |
WO2013035150A1 (en) | 2011-09-05 | 2013-03-14 | 株式会社モルフォ | Facial authentication system, facial authentication method, and facial authentication program |
CN103077382A (en) * | 2013-01-08 | 2013-05-01 | 紫光股份有限公司 | Human identification device used for face recognition system |
JP6707906B2 (en) * | 2015-03-16 | 2020-06-10 | 株式会社リコー | Information processing apparatus, information processing system, authentication method, and program |
JP6747112B2 (en) * | 2016-07-08 | 2020-08-26 | 株式会社リコー | Information processing system, image processing device, information processing device, and program |
US10289822B2 (en) * | 2016-07-22 | 2019-05-14 | Nec Corporation | Liveness detection for antispoof face recognition |
US11423693B2 (en) | 2016-10-31 | 2022-08-23 | Nec Corporation | Image processing device, image processing method, face recognition system, program, and storage medium |
CN108229120B (en) * | 2017-09-07 | 2020-07-24 | 北京市商汤科技开发有限公司 | Face unlocking method, face unlocking information registration device, face unlocking information registration equipment, face unlocking program and face unlocking information registration medium |
CN109299692A (en) * | 2018-09-26 | 2019-02-01 | 深圳壹账通智能科技有限公司 | A kind of personal identification method, computer readable storage medium and terminal device |
CN110503023A (en) * | 2019-08-19 | 2019-11-26 | 深圳市商汤科技有限公司 | Biopsy method and device, electronic equipment and storage medium |
JP7381014B2 (en) | 2019-12-04 | 2023-11-15 | 株式会社デジタル・ナレッジ | test system |
CN111862030B (en) | 2020-07-15 | 2024-02-09 | 北京百度网讯科技有限公司 | Face synthetic image detection method and device, electronic equipment and storage medium |
WO2022172430A1 (en) | 2021-02-15 | 2022-08-18 | 富士通株式会社 | Determination method, determination program, and information processing device |
WO2023084667A1 (en) | 2021-11-11 | 2023-05-19 | 日本電気株式会社 | Authentication device, engine generation device, authentication method, engine generation method, and recording medium |
WO2023223376A1 (en) * | 2022-05-16 | 2023-11-23 | 三菱電機株式会社 | Human detection device, human detection system, human detection method, and human detection program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11339048A (en) * | 1998-05-29 | 1999-12-10 | Omron Corp | Individual identifying device and method and recording medium for recording individual identification program |
JP2005260657A (en) * | 2004-03-12 | 2005-09-22 | Casio Comput Co Ltd | Photographing apparatus, image processing method and program therefor |
JP2006109424A (en) * | 2004-09-10 | 2006-04-20 | Fuji Xerox Co Ltd | Image processing method and image processor |
JP2007004612A (en) * | 2005-06-24 | 2007-01-11 | Glory Ltd | Face authentication device and face authenticating method |
-
2008
- 2008-02-29 WO PCT/JP2008/053667 patent/WO2009107237A1/en active Application Filing
- 2008-02-29 JP JP2010500509A patent/JPWO2009107237A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11339048A (en) * | 1998-05-29 | 1999-12-10 | Omron Corp | Individual identifying device and method and recording medium for recording individual identification program |
JP2005260657A (en) * | 2004-03-12 | 2005-09-22 | Casio Comput Co Ltd | Photographing apparatus, image processing method and program therefor |
JP2006109424A (en) * | 2004-09-10 | 2006-04-20 | Fuji Xerox Co Ltd | Image processing method and image processor |
JP2007004612A (en) * | 2005-06-24 | 2007-01-11 | Glory Ltd | Face authentication device and face authenticating method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105488486B (en) * | 2015-12-07 | 2018-10-30 | 清华大学 | The face identification method and device for preventing photo from attacking |
Also Published As
Publication number | Publication date |
---|---|
WO2009107237A1 (en) | 2009-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2009107237A1 (en) | Biometrics device | |
US11294996B2 (en) | Systems and methods for using machine learning for image-based spoof detection | |
US8055067B2 (en) | Color segmentation | |
US20170243075A1 (en) | Method and system for biometric recognition | |
US8953849B2 (en) | Method and system for biometric recognition | |
JP5076563B2 (en) | Face matching device | |
WO2011058836A1 (en) | Fake-finger determination device, fake-finger determination method and fake-finger determination program | |
KR102317180B1 (en) | Apparatus and method of face recognition verifying liveness based on 3d depth information and ir information | |
IES20070820A2 (en) | Method for improved red eye detection in ISO images | |
JP2003178306A (en) | Personal identification device and personal identification method | |
US11227170B2 (en) | Collation device and collation method | |
US20080304716A1 (en) | Face recognition device | |
Kose et al. | Shape and texture based countermeasure to protect face recognition systems against mask attacks | |
KR101919090B1 (en) | Apparatus and method of face recognition verifying liveness based on 3d depth information and ir information | |
CN109661668A (en) | Image processing method and system for iris recognition | |
CN113111806A (en) | Method and system for object recognition | |
US8855381B2 (en) | Fake-finger determination device, fake-finger determination method and fake-finger determination program | |
JP2007312206A (en) | Imaging apparatus and image reproducing apparatus | |
Scherhag et al. | Face morphing attack detection methods | |
EP3885982A2 (en) | Hand biometrics system and method using digital fingerprints | |
WO2021166289A1 (en) | Data registration device, biometric authentication device, and recording medium | |
JP4675636B2 (en) | Fingerprint verification device | |
JPH11306348A (en) | Method and device for object detection | |
JP4883987B2 (en) | Face image collation device and collation face image registration method | |
JP6878826B2 (en) | Shooting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130419 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130924 |