JP4883987B2 - Face image collation device and collation face image registration method - Google Patents
Face image collation device and collation face image registration method Download PDFInfo
- Publication number
- JP4883987B2 JP4883987B2 JP2005334385A JP2005334385A JP4883987B2 JP 4883987 B2 JP4883987 B2 JP 4883987B2 JP 2005334385 A JP2005334385 A JP 2005334385A JP 2005334385 A JP2005334385 A JP 2005334385A JP 4883987 B2 JP4883987 B2 JP 4883987B2
- Authority
- JP
- Japan
- Prior art keywords
- face image
- color
- unit
- person
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
本発明は、被照合者を撮影した顔画像と、予め取得されている顔画像を照合して同一人物か否かを判定する顔画像照合装置及びその照合に用いる照合用顔画像の登録方法に関するものであり、より詳しくは、被照合者を撮影した入力顔画像と、予め取得され、入力顔画像と特性の異なる顔画像に基づいて照合を行う顔画像照合装置及びその照合に用いる照合用顔画像の登録方法に関する。 The present invention relates to a face image collation device that collates a face image obtained by photographing a person to be collated with a face image acquired in advance and determines whether or not they are the same person, and a collation face image registration method used for the collation. More specifically, a face image collation device that performs collation based on an input face image obtained by photographing a person to be collated, and a face image acquired in advance and having different characteristics from the input face image, and a collation face used for the collation The present invention relates to an image registration method.
近年、顔を撮影した画像情報を用いて個人認証を行う照合装置が提案されている。例えば、個人識別(ID)カードに印刷された顔画像を読み取り、同時にカード使用者の像を入力装置で読み取ってカードの所有者と使用者の顔画像の一致をとるようにした顔画像識別カード照合処理方法が提案されている(特許文献1参照)。 In recent years, collation devices that perform personal authentication using image information obtained by photographing a face have been proposed. For example, a face image identification card that reads a face image printed on a personal identification (ID) card and simultaneously reads the image of the card user with an input device so as to match the face image of the card owner and the user. A collation processing method has been proposed (see Patent Document 1).
また、人の顔は、顔の輪郭、目、口など特徴的な部位の位置、目の形状などに個々人の特徴が表されるという知見が得られている。そこで、そのような照合装置では、撮影された顔画像から、目、口の位置、形状などを特徴量として抽出し、事前に登録された参照用画像(以下、登録顔画像という)の各特徴量との類似度を算出し、その類似度が所定の基準を満たすか否かで照合を行う。 In addition, it has been found that a person's face is characterized by individual features such as facial contours, positions of characteristic parts such as eyes and mouth, and eye shapes. Therefore, in such a collation device, each feature of a reference image (hereinafter referred to as a registered face image) registered in advance is extracted from the captured face image as a feature amount such as the position and shape of the eyes and mouth. The degree of similarity with the quantity is calculated, and collation is performed based on whether the degree of similarity satisfies a predetermined criterion.
また、照合に用いる顔画像としては、多くの場合、可視光(波長約400nm〜約700nm)又は近赤外光(波長約700nm〜約850nm)を照明光として撮影されたものが使用されている。 In many cases, a face image used for collation is taken using visible light (wavelength of about 400 nm to about 700 nm) or near infrared light (wavelength of about 700 nm to about 850 nm) as illumination light. .
照明光源に可視光のものを用いて撮影する場合、特殊な撮影機材が不要であり、また色情報も照合の特徴量として使用することができるというメリットがある。しかし、周囲の照明環境の影響により、取得される画像の明るさ及び色調が変動するおそれがある。そのような悪影響を避けるために、人の顔に当たる照明光の照度を高くすると、被撮影者に眩しさを感じさせるなど、不快感を生じさせるため、望ましくない。 When photographing using a visible light source as an illumination light source, there is an advantage that no special photographing equipment is required and color information can also be used as a feature amount for collation. However, the brightness and color tone of the acquired image may vary due to the influence of the surrounding lighting environment. In order to avoid such an adverse effect, increasing the illuminance of the illumination light that strikes the face of the person is undesirable because it causes the subject to feel uncomfortable, such as dazzling.
一方、照明光源に近赤外光のものを用いて撮影する場合、比較的高い照度となるように設定しても、被撮影者が眩しいと感じることは少ないため、安定した照明条件を確保し易く、それ故取得される画像の質も安定するため、高い照合精度が得易いというメリットがあり、可視光を照明光源として用いるものよりも広く使用されている。 On the other hand, when shooting with a near-infrared light source as the illumination light source, even if it is set to have a relatively high illuminance, the subject will rarely feel dazzling, ensuring stable lighting conditions. It is easy and therefore the quality of the acquired image is stable, and there is a merit that it is easy to obtain high collation accuracy, and it is used more widely than that using visible light as an illumination light source.
照明光が近赤外光の場合、色情報を得ることは困難であり、明るさに関する情報のみが含まれるため、撮影画像はモノクロ画像となる。これに対して、照合に使用する登録顔画像が可視光下で撮影されたカラー画像である場合、両者に含まれる情報及びコントラストの違いにより、高い照合精度を得ることができない。そのため、近赤外光を照明に用いて撮影された顔画像を入力(以下入力顔画像という)として用いる場合、登録顔画像も近赤外光を照明に用いて撮影された画像であることが望ましい。 When the illumination light is near-infrared light, it is difficult to obtain color information, and since only the information related to brightness is included, the captured image is a monochrome image. On the other hand, when the registered face image used for collation is a color image taken under visible light, high collation accuracy cannot be obtained due to the difference in information and contrast contained in both. Therefore, when using a face image captured using near-infrared light for illumination as input (hereinafter referred to as an input face image), the registered face image may also be an image captured using near-infrared light for illumination. desirable.
しかし、近赤外光を照明光として撮影するためには、近赤外照明装置及び近赤外領域に感度を有するカメラなどの撮影機材が必要となるが、一般的に入手が容易なものではない。したがって、登録顔画像を用意するために、被撮影者が実際に照合装置に赴いて撮影してもらうなどの特別な作業が必要となる。登録者数が数百人、数千人などの規模となると、この作業に要する工数及び時間は膨大なものとなる。そこで、一般的に入手が容易な、可視光による撮影機材を用いて撮影されたカラー画像を利用して、上記の作業に要する工数を減らすことが望ましい。またカラー画像であれば、社員証などの身分証明書用に別途撮影された顔画像など、既存の画像を利用可能な場合もある。 However, in order to photograph near infrared light as illumination light, a photographing device such as a near infrared illumination device and a camera having sensitivity in the near infrared region is required. Absent. Therefore, in order to prepare a registered face image, a special work is required such that the person to be photographed actually visits the collation device and takes a picture. If the number of registrants reaches several hundreds or thousands, the man-hours and time required for this work become enormous. Therefore, it is desirable to reduce the man-hours required for the above-described work by using a color image that is generally captured with a visible light photographing device. In the case of a color image, an existing image such as a face image taken separately for an identification card such as an employee ID card may be used.
一方、登録顔画像がカラー画像である場合に、モノクロ画像に変換して顔の照合を行う方法及び装置が提案されている(特許文献2参照)。特許文献1に記載された方法及び装置では、カラー画像をモノクロ化することで、化粧や照明の変化に応じて顔の色情報に生じる変化の悪影響を避け、照合の認識精度を高めるようにしている。また同様に、半導体チップの実装において、ICの位置認識を正確に行うために、カラー画像をモノクロ化した画像を用いて、認識対象を認識する認識装置が知られている(特許文献3参照)。 On the other hand, when a registered face image is a color image, a method and an apparatus for matching a face by converting it to a monochrome image have been proposed (see Patent Document 2). In the method and apparatus described in Patent Document 1, the color image is converted to monochrome so as to avoid the adverse effect of changes in face color information caused by changes in makeup and lighting, and to improve the recognition accuracy of collation. Yes. Similarly, a recognition device that recognizes a recognition target using a monochrome image of a color image is known in order to accurately recognize an IC position in mounting a semiconductor chip (see Patent Document 3). .
しかし、単にカラー画像をモノクロ化した画像は、近赤外光で照明して撮影した顔画像とコントラストが異なる。そのため、登録顔画像に単なるモノクロ画像を用い、入力顔画像に近赤外画像を用いて照合を行うと、必ずしも良好な認識結果を得ることができるわけではなかった。 However, an image obtained by simply converting a color image into a monochrome image has a contrast different from that of a face image taken by illuminating with near infrared light. Therefore, if a simple monochrome image is used for the registered face image and a near-infrared image is used for the input face image, it is not always possible to obtain a good recognition result.
そこで、入手が容易なカラー顔画像に基づいて照合に適した顔画像を登録し、その登録された顔画像を用いて照合を行う顔画像照合装置、及び顔画像の登録方法の開発が望まれている。 Therefore, it is desired to develop a face image collation apparatus that registers face images suitable for collation based on color face images that can be easily obtained, and performs collation using the registered face images, and a method for registering face images. ing.
上記の問題点に鑑み、本発明の目的は、カラー顔画像を用いて照合に適する顔画像を登録することができる顔画像照合装置及び顔画像登録方法を提供することにある。 In view of the above problems, an object of the present invention is to provide a face image collation apparatus and a face image registration method capable of registering a face image suitable for collation using a color face image.
また、本発明の別の目的は、照合用の顔画像の登録が容易な顔画像照合装置及び顔画像登録方法を提供することにある。 Another object of the present invention is to provide a face image collation device and a face image registration method that facilitate registration of face images for collation.
かかる課題を解決するための第一の発明は、被照合者の入力された顔画像と登録顔画像とを照合する顔画像照合装置であって、所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力部と、被照合者のカラー顔画像を取得するカラー顔画像取得部と、カラー顔画像に基づき所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定部と、顔画像入力部にて取得した入力顔画像と推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合部と、登録顔画像を記憶する登録画像記憶部と、照合部にて同一人物と判定すると推定顔画像を登録顔画像として登録画像記憶部に登録し、照合部にて同一人物と判定しないと登録しない顔画像登録部と、を具備する顔画像照合装置を提供する。 A first invention for solving such a problem is a face image collation device that collates a face image inputted by a person to be collated with a registered face image by photographing the person to be collated under a predetermined environment. A face image input unit that inputs a face image, a color face image acquisition unit that acquires a color face image of a person to be verified, and an estimated face image that can be compared with a face image shot under a predetermined environment based on the color face image An estimation unit to be calculated, a collation unit that collates the input face image acquired by the face image input unit with the estimated face image and determines whether or not both face images belong to the same person, and a registration that stores the registered face image An image storage unit, and a face image registration unit that registers an estimated face image in the registered image storage unit as a registered face image when the collation unit determines that the person is the same person, and does not register unless the collation unit determines that the person is the same person Provided is a face image collating device.
かかる顔画像照合装置によれば、一般に取得が容易であり、モノクロ画像に比して情報量が多いカラー顔画像を取得する。取得したカラー顔画像から顔画像照合に適した推定顔画像を作成する。所定環境下にて撮影した顔画像と、推定顔画像とを照合して同一人物であれば推定顔画像を以降の顔画像照合に使用する登録顔画像として登録する。 According to such a face image matching device, a color face image that is generally easy to acquire and has a larger amount of information than a monochrome image is acquired. An estimated face image suitable for face image matching is created from the acquired color face image. If the face image photographed under a predetermined environment and the estimated face image are collated, and the person is the same person, the estimated face image is registered as a registered face image used for subsequent face image collation.
すなわち、何らかの原因で照合にとって不適切な推定顔画像がカラー顔画像から作成された場合に、この照合に不適な推定顔画像を登録顔画像として登録するのを防止できる。なお、カラー顔画像取得部、推定部、顔画像入力部、及び登録画像記憶部は、必ずしも照合部と同じ機器内に設けておく必要はなく、例えばネットワークを介して所定の情報を送受信可能な別機器内に設けてもよい。また、所定環境下とは、被照合者が顔画像を照合する際の顔画像の撮影環境をいい、照明の種類、撮像素子の種類、フィルタの種類などによって異なってくる環境をいう。 That is, when an estimated face image inappropriate for collation is created from a color face image for some reason, registration of an estimated face image unsuitable for collation as a registered face image can be prevented. Note that the color face image acquisition unit, the estimation unit, the face image input unit, and the registered image storage unit are not necessarily provided in the same device as the collation unit, and can transmit and receive predetermined information via a network, for example. You may provide in another apparatus. In addition, the predetermined environment refers to a face image shooting environment when the person to be verified matches the face image, and differs depending on the type of illumination, the type of image sensor, the type of filter, and the like.
かかる課題を解決するための第二の発明は、被照合者の入力された顔画像と登録顔画像とを照合する顔画像照合装置であって、所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力部と、被照合者のカラー顔画像を取得するカラー顔画像取得部と、カラー顔画像に基づき所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定部と、顔画像入力部にて取得した入力顔画像と推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合部と、登録顔画像を記憶する登録画像記憶部と、照合部にて同一人物と判定すると入力顔画像を登録顔画像として登録画像記憶部に登録し、照合部にて同一人物と判定しないと登録しない顔画像登録部と、を具備する顔画像照合装置を提供する。 A second invention for solving such a problem is a face image collation device that collates a face image input by a person to be collated with a registered face image by photographing the person to be collated under a predetermined environment. A face image input unit that inputs a face image, a color face image acquisition unit that acquires a color face image of a person to be verified, and an estimated face image that can be compared with a face image shot under a predetermined environment based on the color face image An estimation unit to be calculated, a collation unit that collates the input face image acquired by the face image input unit with the estimated face image and determines whether or not both face images belong to the same person, and a registration that stores the registered face image An image storage unit, and a face image registration unit that registers an input face image as a registered face image in the registered image storage unit when the collation unit determines that the person is the same person, and that does not register unless the collation unit determines the same person. Provided is a face image collating device.
かかる顔画像照合装置によれば、一般に取得が容易であり、モノクロ画像に比して情報量が多いカラー顔画像を取得する。取得したカラー顔画像から顔画像照合に適した推定顔画像を作成する。所定環境下にて撮影した顔画像と、推定顔画像とを照合して同一人物であれば所定環境下にて撮影された入力顔画像を以降の顔画像照合に使用する登録顔画像として登録する。 According to such a face image matching device, a color face image that is generally easy to acquire and has a larger amount of information than a monochrome image is acquired. An estimated face image suitable for face image matching is created from the acquired color face image. If a face image shot under a predetermined environment is collated with an estimated face image and the same person is registered, the input face image shot under the predetermined environment is registered as a registered face image used for subsequent face image matching. .
すなわち、カラー顔画像から人為的に作成した推定顔画像を登録顔画像に使用せず、所定環境下にて撮影された入力顔画像を登録するので、より適切な顔画像の登録が可能になる。なお、カラー顔画像取得部及び推定部は、第一の発明と同様に、必ずしも照合部と同じ機器内に設けておく必要はない。また、所定環境下とは、被照合者が顔画像を照合する際の顔画像の撮影環境をいい、照明の種類、撮像素子の種類、フィルタの種類などによって異なってくる環境をいう。 That is, an estimated face image artificially created from a color face image is not used as a registered face image, but an input face image photographed under a predetermined environment is registered, so that a more appropriate face image can be registered. . Note that the color face image acquisition unit and the estimation unit are not necessarily provided in the same device as the verification unit, as in the first invention. In addition, the predetermined environment refers to a face image shooting environment when the person to be verified matches the face image, and differs depending on the type of illumination, the type of image sensor, the type of filter, and the like.
また、第一の発明及び第二の発明において、顔画像登録部が、照合部にて同一人物と判定すると推定顔画像又は入力顔画像を登録顔画像として情報記憶媒体に登録し、照合部にて同一人物と判定しないと登録しないようにすることが好適である。
かかる構成によれば、情報記憶媒体に、登録顔画像を記憶するので顔画像照合装置に顔画像を記憶させる必要がなくなる。また、複数の顔画像照合装置を使用する被照合者にとっては、照合に使用する顔画像を自己が所有する情報記憶媒体に登録するだけで、複数の機器にて使用できるようになる。
In the first invention and the second invention, when the face image registration unit determines that the matching person is the same person, the face image registration unit registers the estimated face image or the input face image as a registered face image in the information storage medium, and It is preferable not to register unless it is determined as the same person.
According to such a configuration, since the registered face image is stored in the information storage medium, it is not necessary to store the face image in the face image matching device. Further, for a person to be collated using a plurality of face image collation devices, the face image used for collation can be used in a plurality of devices simply by registering the face image used in the self-owned information storage medium.
また、第一の発明及び第二の発明において、カラー顔画像取得部は、ネットワーク通信手段を更に備え、前記ネットワーク通信手段を介して被照合者のカラー顔画像を取得することが好適である。
かかる構成によれば、カラー顔画像が予め集中管理装置によって集中管理されている場合等において、集中管理装置とネットワークにて接続することで、カラー顔画像を取得することが可能になる。このため、顔画像の登録を省力化することができる。
In the first invention and the second invention, it is preferable that the color face image acquisition unit further includes a network communication unit, and acquires the color face image of the person to be verified through the network communication unit.
According to this configuration, when the color face image is centrally managed by the central management device in advance, the color face image can be acquired by connecting to the central management device via the network. For this reason, the registration of the face image can be saved.
また、第一の発明及び第二の発明において、カラー顔画像取得部は、情報記憶媒体からのデータ読取手段を更に備え、情報記憶媒体から被照合者のカラー顔画像を取得することが好適である。
かかる構成によれば、携帯可能な情報記憶媒体に予めカラー顔画像が記憶されている場合に、ネットワーク接続などの手間をかける必要なく、顔画像の登録が可能になる。
In the first and second inventions, it is preferable that the color face image acquisition unit further includes a data reading unit from the information storage medium, and acquires the color face image of the person to be verified from the information storage medium. is there.
According to such a configuration, when a color face image is stored in advance in a portable information storage medium, the face image can be registered without the need for troublesome network connection or the like.
また、第一の発明及び第二の発明において、推定部は、カラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、画素値抽出部にて抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する推定手段と、推定手段にて推定された推定画素値を有する画素から推定顔画像を構成する推定画像作成手段を有することが好適である。
かかる構成によれば、所定環境として近赤外線顔画像を使用する場合に、カラー顔画像の色階調情報を用いて、肌色反射特性に基づいて近赤外線顔画像を推定するので、より照合に適した推定顔画像を作成することができる。
In the first invention and the second invention, the estimation unit includes a pixel value extraction unit that extracts, for each pixel, color gradation information included in the pixel value of the pixel of the color face image, and a skin color reflection characteristic for each pixel. Based on the correlation between the color gradation information based on the pixel value of the near infrared region and the color gradation information extracted by the pixel value extraction unit, the estimation means for calculating the estimated pixel value at the wavelength of the near infrared region, It is preferable to have estimated image creating means for constructing an estimated face image from pixels having estimated pixel values estimated by the estimating means.
According to such a configuration, when a near-infrared face image is used as the predetermined environment, the near-infrared face image is estimated based on the skin color reflection characteristics using the color gradation information of the color face image, so that it is more suitable for collation. An estimated face image can be created.
また、上記課題を解決するための第三の発明は、被照合者のカラー顔画像を取得するカラー顔画像取得工程と、カラー顔画像に基づき所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定工程と、所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力工程と、顔画像入力工程にて取得した入力顔画像と推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合工程と、照合工程にて同一人物と判定すると推定顔画像を登録顔画像として登録し、同一人物と判定しないと登録しない顔画像登録工程と、を有する照合用の顔画像登録方法を提供する。 Further, the third invention for solving the above-described problem is a color face image acquisition step for acquiring a color face image of a person to be verified, and a face image photographed under a predetermined environment based on the color face image. An estimation step for calculating an estimated face image, a face image input step for photographing a person to be verified under a predetermined environment and inputting a face image, and an input face image and an estimated face image acquired in the face image input step A collation process for collating and determining whether both face images belong to the same person, and a face image that is registered if it is determined that the face is the same person in the collation process and is not registered unless it is determined to be the same person And a face image registration method for collation including the registration step.
本発明によれば、カラー顔画像を用いて照合に適する顔画像を登録することができる顔画像照合装置及び顔画像登録方法を提供することが可能となった。 ADVANTAGE OF THE INVENTION According to this invention, it became possible to provide the face image collation apparatus and the face image registration method which can register the face image suitable for collation using a color face image.
また、照合用の顔画像の登録が容易な顔画像照合装置及び顔画像登録方法を提供することが可能となった。 In addition, it is possible to provide a face image collation apparatus and a face image registration method that facilitate the registration of collation face images.
以下、本発明を顔画像照合装置に適用した第一の実施の形態を図を参照しつつ説明する。
図1は、本発明を適用した顔画像照合装置1を出入口の電気錠制御に使用した例の全体システム構成を示す図である。同図において、システムは、被照合者の顔画像を撮影し、登録顔画像と照合を行い、本人確認できれば出入口扉の電気錠4を解錠させる複数の顔画像照合装置1と、顔画像照合装置1に照合用顔画像として登録するための元になるカラー顔画像をデータベースとして集中管理している集中管理装置2と、顔画像照合装置1と集中管理装置2とを接続可能なネットワーク3から構成される。
Hereinafter, a first embodiment in which the present invention is applied to a face image matching apparatus will be described with reference to the drawings.
FIG. 1 is a diagram showing an overall system configuration of an example in which a face image matching device 1 to which the present invention is applied is used for electric lock control at an entrance. In the figure, the system captures a face image of a person to be verified, compares the face image with a registered face image, and if a person can be identified, a plurality of face image verification devices 1 that unlock the
集中管理装置2は、サーバにて構成されており、被照合者のカラー顔画像がデータベース21に記憶されている。図5は、データベース21に記憶されている内容を示しており、被照合者の社員番号、ID番号及びカラー顔画像を対応付けて記憶している。
The
ここで、カラー顔画像について説明する。カラー顔画像とは、人間の顔を被写体として含むデジタル画像であって、画素ごとにカラー表現が可能な情報を持つ画像をいう。カラー画像の表色系には、RGBカラー表色系、YUVカラー表色系、YIQカラー表色系、CMYカラー表色系などがあり、相互に表色系を変換することができる。かかるカラー表色系の識別情報は、画像ファイルのヘッダーに記憶されており、この識別情報をコンピュータにて読み取り、参照することで、ディスプレイやプリンターにおいてカラー画像を適切な色階調で表現することができる。ここでいうカラー顔画像は、各画素ごとに、RGB表色系でいうR(赤)成分、G(緑)成分、B(青)成分などの成分ごとに色階調の情報を含む画素値を持っている。 Here, a color face image will be described. A color face image is a digital image that includes a human face as a subject and has information that can be expressed in color for each pixel. The color image color system includes an RGB color color system, a YUV color color system, a YIQ color color system, a CMY color color system, and the like, and the color system can be mutually converted. Such color color system identification information is stored in the header of an image file. By reading and referring to this identification information by a computer, a color image can be expressed with an appropriate color gradation on a display or printer. Can do. The color face image here is a pixel value including color gradation information for each component such as R (red), G (green), and B (blue) components in the RGB color system for each pixel. have.
図2は、本発明の第一の実施形態にかかる顔画像照合装置1の機能ブロック図である。顔画像照合装置1は、人の操作入力及び各種ガイダンスを表示するタッチパネル付液晶ディスプレイ(LCD)の操作表示部101と、ネットワーク3に接続され集中管理装置2からカラー顔画像を取得する、カラー顔画像取得部として機能する通信部102と、被照合者に対して近赤外光を照射して、被照合者の顔を撮影し、入力顔画像である近赤外線顔画像を取得する近赤外線顔画像入力部103と、予め出入口の通行を許可されている被照合者の顔画像である登録顔画像を記憶する登録画像記憶部105と、電気錠4に対して解錠又は施錠信号を出力する出力部106と、顔画像照合装置1の各種制御を行う制御部104から構成されている。
FIG. 2 is a functional block diagram of the face image matching device 1 according to the first embodiment of the present invention. The face image matching device 1 is a color face that acquires a color face image from a
操作表示部101は、LCDタッチパネルにて構成されており、タッチパネル上に被照合者が照合指示する場合やカラー顔画像を取得指示する場合などに、ID番号の入力・動作の選択など各種信号の操作入力を行う。また、操作表示部101は、操作者に対して、照合中の旨・照合結果・操作ガイドなどを適宜に表示する。本実施の形態では、操作表示部101は、LCDタッチパネルにて説明するが、各種キースイッチとLEDなどを採用してもよい。
The
カラー顔画像取得部たる通信部102は、ネットワーク3を介して集中管理装置2に接続され、所定の通信プロトコルにて通信を行う通信インターフェース及びドライバから構成される。本実施の形態では、集中管理装置1からネットワーク3を介してカラー顔画像を取得するようにしているが、図3に示すように、通信部102をRFID(Radio Frequency IDentification)のリーダライターであるカードR/W112で構成し、ICカードに記憶されているカラー顔画像を非接触のカードR/W112から取得するようにしてもよい。なお、カードR/W112として、接触式を用いても良いことは言うまでもない。
The
近赤外線顔画像入力部103は、図示しない近赤外光を照明する近赤外線照明光源と、近赤外線領域の光に感度を持つCCD素子又はC−MOS素子などの撮像素子と、撮像素子の前面に設けられ、近赤外線領域に十分な透過特性を有し可視光を遮断する可視光カットフィルタと、撮像された近赤外線顔画像を取り込む入力回路から構成されている。本実施の形態では、顔画像の照合用に、被照合者の眩しさ等を考慮して近赤外線顔画像を取得するようにしているが、これに拘らず、近赤外線顔画像を用いない照合処理に適用する場合は当該照合に適した顔画像を取得すればよい。
The near-infrared face
登録画像記憶部105は、フラッシュメモリやEEPROMなどの書き換え自在な不揮発性メモリにて構成され、被照合者ごとのID番号と登録顔画像を記憶する。
The registered
出力部106は、照合結果がOKの場合、出入口扉に設置されている、図示しない電気錠制御装置を介して電気錠4へ解錠又は施錠の信号を出力する。
When the collation result is OK, the
制御部104は、CPU、ROM、RAMなどから構成され、顔画像照合装置1の制御全般についてプログラムにしたがって処理を行う。特に、カラー顔画像から推定顔画像を作成する画像推定の処理を行う画像推定部104aと、取得した顔画像に基づいて被照合者が同一人か否かを照合・判定する照合部104bと、登録画像記憶部105へ照合OKとなった推定顔画像を登録させる顔画像登録部104cとを少なくとも有している。また、画像推定部104aは、カラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、画素値抽出部にて抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する推定手段と、推定手段にて推定された推定画素値を有する画素から推定顔画像を構成する推定画像作成手段を有する。なお、表示制御や通信制御などその他の処理については、通常に実施されている技術を用いているので、詳細な説明は省略する。
The
次に、図4を参照して、顔画像照合装置1の処理フローについて説明する。
まず、顔画像照合装置1は、電源がONにされており、集中管理装置2と通信可能な状態にセットされているとする。また、集中管理装置2には、予め、出入口通行の許可を受けている人のカラー顔画像がデータベース21に記憶されている。
Next, a processing flow of the face image matching device 1 will be described with reference to FIG.
First, it is assumed that the face image matching device 1 is turned on and set in a state in which communication with the
この状態において、制御部104は、操作表示部101から被照合者のID番号が入力されると(ステップS401)、登録画像記憶部105にID番号に対応する登録顔画像が存在するか否かを判定する(ステップS402)。ステップS402にて登録顔画像が存在していれば、ステップS404へ進み登録画像記憶部105から該当する登録顔画像を読み出し、ステップS406へ進む(ステップS404)。ステップS402にて、登録顔画像が存在していなければ、カラー顔画像取得処理を実行する(ステップS403)。カラー顔画像取得処理S403は、通信部102(カラー顔画像取得部)からネットワーク3を介して集中管理装置2のデータベース21にアクセスし、入力されたID番号をキーとして、図5に示したデータベースからID番号に対応するカラー顔画像をダウンロードする。なお、本フローには、集中管理装置2のデータベース21において、ID番号に対応する顔画像が存在しなかった場合についての記載を省略しているが、存在しなかった場合には、その旨を操作表示部101に表示させて処理を終了する。
In this state, when the ID number of the person to be verified is input from the operation display unit 101 (step S401), the
ステップS403にて取得したカラー顔画像から近赤外線顔画像である推定画像構成処理に進む(ステップS405)。
ここで、図7及び図8を参照して、カラー顔画像から近赤外線顔画像を推定する処理について詳細に説明する。図8は、推定画像構成処理S405の具体的な処理を示している。
The process proceeds from the color face image acquired in step S403 to an estimated image construction process that is a near-infrared face image (step S405).
Here, with reference to FIG.7 and FIG.8, the process which estimates a near-infrared face image from a color face image is demonstrated in detail. FIG. 8 shows a specific process of the estimated image configuration process S405.
ステップS403にて取得したカラー顔画像ファイルのヘッダにある表色系の識別情報を読み出し、表色系がRGB表色系か否か判定する(ステップS801)。
表色系がRGB表色系でなければステップS802に進み、RGB表色系に変換し、ステップS803に進む。
表色系がRGB表色系であれば、そのままステップS803に進む。
The color system identification information in the header of the color face image file acquired in step S403 is read, and it is determined whether or not the color system is an RGB color system (step S801).
If the color system is not the RGB color system, the process proceeds to step S802, where the color system is converted to the RGB color system, and the process proceeds to step S803.
If the color system is an RGB color system, the process proceeds directly to step S803.
ステップS803では、画像推定部104aの画素値抽出手段において、顔画像を構成している画素を順次特定する。特定されたカラー顔画像を構成する各画素は、R(赤)、G(緑)、B(青)の各色成分を、それぞれ8bit(画素値0−255の256階調)で表現された色階調の情報を含む画素値を有している。R、G、Bの各成分は、例えばそれぞれ波長660nm、550nm、440nmを中心としたカラーフィルタで単色化した光を、CCDセンサ、C−MOSセンサなどの光電変換素子で受光した受光量を8bitでデジタル化したものである。
かかる対象画素の画素値であるIr、Ig、IbをステップS804にて抽出し、ステップS805に進む。
In step S803, the pixel value extraction unit of the
In step S804, I r , I g , and I b that are pixel values of the target pixel are extracted, and the process proceeds to step S805.
ステップS805では、画像推定部104aの推定手段において、抽出した画素値Ir、Ig、Ibを後述する数式(1)に代入し、推定画素値Iirを算出する。
ここで、数式(1)について説明する。まず、数式(1)の説明に先立って、人の肌の反射特性について、図7を参照して説明する。
In step S805, the estimation unit of the
Here, Formula (1) will be described. First, prior to the description of Equation (1), the reflection characteristics of human skin will be described with reference to FIG.
人の肌の反射特性のグラフを図7に示す。図7において横軸は波長を表し、縦軸は、各波長に対する反射率を表す。実線で示したグラフ61は、人の肌の反射特性を表す。グラフを参照して明らかなように、人の顔の大半を占める肌の反射特性は、おおよそB(青)、G(緑)、R(赤)の順に反射率が高くなることが分かる。また、更に波長400nm〜約750nmの範囲では、肌の反射率は、波長が長くなるにつれて比例的に増加していることが見てとれる。
A graph of the reflection characteristics of human skin is shown in FIG. In FIG. 7, the horizontal axis represents the wavelength, and the vertical axis represents the reflectance for each wavelength. A
そのため、近赤外光の反射率を、図7の点線で示すグラフ62のように、例えば波長440nm、550nm、660nmの反射率から、最小二乗法などを用いて求めた直線による近似で求めることができる。
すなわち、肌色反射特性に基づく色階調たるB、G、Rの反射率と近赤外領域の反射率との相関関係がグラフ62に表される。
Therefore, the reflectance of near-infrared light is obtained by approximation with a straight line obtained using, for example, the least square method from the reflectances of wavelengths 440 nm, 550 nm, and 660 nm, as shown by the
That is, the correlation between the reflectances of B, G, and R, which are color gradations based on the skin color reflection characteristics, and the reflectance in the near infrared region is shown in the
このことから、複数の波長の可視光を含む照明光、好ましくは、互いに数10nm程度離れた3波長の可視光を含む照明光で顔を撮影した画像に基づき、照明光の各波長成分の強度及び各照明波長に対応する肌からの反射光強度から、近赤外光(例えば、波長760nm)で照明した場合の肌の反射による光強度を近似的に推定することができ、擬似的に近赤外線顔画像を作成することができる。 From this, the intensity of each wavelength component of the illumination light based on an image obtained by photographing a face with illumination light containing visible light of a plurality of wavelengths, preferably illumination light containing three wavelengths of visible light separated from each other by several tens of nanometers In addition, from the reflected light intensity from the skin corresponding to each illumination wavelength, it is possible to approximately estimate the light intensity due to skin reflection when illuminated with near infrared light (for example, wavelength 760 nm). An infrared face image can be created.
Rの波長をwr、Gの波長をwg、Bの波長をwbとし、R、G、Bの画素値Ir、Ig、Ibとすると、近赤外領域の推定画素値Iirとの関係は以下の式となる。
ステップS805では、数式(1)に波長wir、Wr、Wg、Wbの各値及び、対象画素のR、G、Bの画素値Ir、Ig、Ibを入力し、推定画素値Iirを算出する。
ステップS806では、画像推定部104aの推定画像作成手段において、ステップS805にて算出された推定画素値Iirを予め記憶している推定画像フレームの対応する画素の画素値として記憶する。そして、全対象画素の画素値が記憶されることにより、近赤外線顔画像の推定画像の構成が完了することになる。
In step S805, the values of the wavelengths w ir , W r , W g , and W b and the pixel values I r , I g , and I b of the target pixel are input to Equation (1) and estimated. A pixel value I ir is calculated.
In step S806, the estimated image creating means of the
次に、ステップS807に進み、全対象画素について処理がされたか否かを判断し、未処理の対象画素があれば、前述のステップS803からステップS806の処理を繰り返し実行し、ステップS808にて推定顔画像をバッファに記憶する。 In step S807, it is determined whether or not all target pixels have been processed. If there is an unprocessed target pixel, the processes in steps S803 to S806 described above are repeatedly executed, and estimation is performed in step S808. The face image is stored in the buffer.
図4に戻って、推定顔画像をバッファすると、近赤外線顔画像取得処理をステップS406にて実行する。
近赤外線顔画像取得処理S406は、近赤外線顔画像入力部103にて、近赤外光照明を使用して撮影した被照合者の近赤外線顔画像を取得する(ステップS406)。
Returning to FIG. 4, when the estimated face image is buffered, near-infrared face image acquisition processing is executed in step S406.
In the near-infrared face image acquisition process S406, the near-infrared face
次に、ステップS404又はステップS405にて取得した推定顔画像又は登録顔画像と、ステップS406にて取得した近赤外線顔画像とを照合部104bにて照合する(ステップS407)。
すなわち、照合部104bは、推定顔画像及び近赤外線顔画像を処理して、目尻、目頭、唇端点の位置、目・鼻・口それぞれの外接矩形領域、顔領域の形状などの特徴量を抽出する。
Next, the
That is, the
特徴量を抽出するために、まず画像の中から顔の位置を検出する。顔の位置の検出は、例えば顔全体のテンプレートを予め複数用意し、それらテンプレートを用いて画像中を走査させながらテンプレートマッチングを行い、最も一致度が高い場所を検出することにより行うことができる。テンプレートは、複数の顔サイズ、画像に対する傾き、及び肌部分のコントラスト又は画素値についてバリエーションを持たせたものを記憶しておく。また、テンプレートとして、顔全体のものを用意する代わりに、目、鼻、口などの特定部位のテンプレートを用意しておき、それら特定部位のテンプレート同士の位置関係を保持したまま顔画像を走査してもよい。 In order to extract feature amounts, the position of the face is first detected from the image. The face position can be detected, for example, by preparing a plurality of templates for the entire face in advance, performing template matching while scanning the image using these templates, and detecting a place with the highest degree of matching. The template stores a plurality of face sizes, inclinations with respect to the image, and skin part contrast or pixel values with variations. Also, instead of preparing a template for the entire face, prepare templates for specific parts such as eyes, nose, and mouth, and scan the face image while maintaining the positional relationship between the templates of the specific parts. May be.
画像に占める顔の位置を検出すると、1乃至複数の特徴量を抽出する。その際、例えば特徴量の一つとして目尻の位置を検出するために、目の標準的なテンプレートを用いて顔の範囲内を走査してテンプレートマッチングを行い、最も一致度の高い場合のテンプレート及びテンプレートの位置を求める。そして、そのテンプレート及びテンプレートの位置と、テンプレート中における目尻の位置に基づいて、目尻の位置を求めることができる。 When the position of the face in the image is detected, one or more feature amounts are extracted. At that time, for example, in order to detect the position of the corner of the eye as one of the feature amounts, template matching is performed by scanning the face range using a standard eye template, Determine the position of the template. Then, based on the template and the position of the template and the position of the corner of the eye in the template, the position of the corner of the corner can be obtained.
推定顔画像及び近赤外線顔画像の特徴量がそれぞれ抽出されると、それら特徴量に基づいて、両画像の類似度を算出する。抽出した特徴量が目尻、目頭、唇端点などの位置である場合は、それぞれの位置から重心の位置を求める。そして、入力顔画像である近赤外顔画像と、推定顔画像若しくは登録顔画像との間で、求めた重心の位置が一致するように、何れか一方の画像の各特徴量の位置を平行移動する。そして、各特徴量の位置を比較し、それぞれの位置ずれ量を求める。各特徴量についての位置ずれ量の平均値を類似度として算出する。また、求めた位置ずれ量に、目、口などの部位によって重み付けを行って加重平均した値を類似度としてもよい。 When the feature amounts of the estimated face image and the near-infrared face image are extracted, the similarity between both images is calculated based on the feature amounts. In the case where the extracted feature amount is a position such as the corner of the eye, the head of the eye, or the lip end point, the position of the center of gravity is obtained from each position. Then, the positions of the feature amounts of either one of the images are arranged in parallel so that the calculated positions of the center of gravity coincide between the near-infrared face image as the input face image and the estimated face image or the registered face image. Moving. And the position of each feature-value is compared and each positional offset amount is calculated | required. An average value of positional deviation amounts for each feature amount is calculated as a similarity. Further, the obtained degree of displacement may be weighted by a part such as an eye or a mouth and a weighted average may be used as the similarity.
次に、ステップS408では、ステップS407にて求めた類似度に基づいて、入力顔画像である近赤外顔画像と、推定顔画像若しくは登録顔画像とが、同一人物の顔画像か否か判定する。すなわち、類似度が、実験・経験により決められる本人であると認定可能な所定の閾値以上であれば本人なので照合OKとし、当該閾値未満であれば本人でないので照合NGと判定する。ここで、照合NGの場合は、本人と認証できない旨を操作表示部101に表示し、処理を終了する。なお、ステップS402において登録顔画像が登録画像記憶部105に登録されなかった場合、すなわち推定顔画像との照合がNGだった場合は、操作表示部101に、照合に失敗した旨及び/又は顔画像の登録が出来ない旨を表示する。
Next, in step S408, based on the similarity obtained in step S407, it is determined whether the near-infrared face image that is the input face image and the estimated face image or the registered face image are face images of the same person. To do. That is, if the degree of similarity is equal to or higher than a predetermined threshold that can be determined to be a person determined by experiment / experience, the person is a collation OK, and if the degree of similarity is less than the threshold, the person is not a person, so a collation NG is determined. Here, in the case of collation NG, the fact that the person cannot be authenticated is displayed on the
ステップS408にて、照合OKであれば、その被照合者のID番号に対応する登録顔画像が登録画像記憶部105に登録されているか否かを調べ、登録されていなければ、推定顔画像をそのID番号と対応付けて登録画像記憶部105に登録し、ステップS411に進む。他方、既に登録済みの場合は、顔画像を登録せずに、そのままステップS411に進む。なお、登録顔画像を順次更新したい場合は、既登録の有無にかかわらず、推定顔画像の代わりに、入力近赤外線顔画像を更新登録させてもよい。
If verification is OK in step S408, it is checked whether or not a registered face image corresponding to the ID number of the person to be verified is registered in the registered
ステップS411では、出力部106から接続されている電気錠4に解錠信号を出力し、本処理を終了する。かかる解錠信号に基づいて、電気錠4は一定時間解錠し、被照合者が出入口から入室することが可能となる。
In step S411, an unlock signal is output to the
以上説明してきたように、本発明の第一の実施形態では、ステップS410において、推定顔画像を登録画像記憶部105に記憶させたが、近赤外線顔画像入力部103から入力された入力顔画像を登録するようにしてもよい。かかる場合は、カラー顔画像から推定した推定顔画像よりも、実際に照合する際の環境において取得した顔画像を登録顔画像とできるので、登録以降の照合において、より精度の高い顔画像照合を行うことができる。
As described above, in the first embodiment of the present invention, the estimated face image is stored in the registered
また、第一の実施形態では、照合処理であるステップS407の類似度の判定において、登録画像記憶部105に記憶されている登録顔画像とステップS406にて取得した近赤外線顔画像について照合する場合と、ステップS405にて構成した推定顔画像とステップS406にて取得した近赤外線顔画像について照合する場合とで、同一の閾値を使用しているが、それぞれについて異なる閾値を使用してもよい。
In the first embodiment, in the similarity determination in step S407, which is a collation process, the registered face image stored in the registered
さらに、第一の実施形態では、近赤外線顔画像を用いた顔画像照合装置について説明したが、これに限られるものではなく、例えばカラー顔画像からモノクロ顔画像を作成して、モノクロ顔画像にて照合するようにしてもよい。この場合は、画像推定部104aの推定方法では、モノクロ顔画像を推定することになる。かかる推定の方法は、発明の実施の形態にあわせて適宜採用されてもよい。
Furthermore, in the first embodiment, the face image matching device using the near-infrared face image has been described. However, the present invention is not limited to this. For example, a monochrome face image is created from a color face image and is converted into a monochrome face image. You may make it collate. In this case, the estimation method of the
次に、ICカード5を用いた第二の実施形態について、図3及び図6を参照して説明する。図3は、ICカード5を用いた第二の実施形態における顔画像照合装置11のブロック図である。基本的な構成は、第一の実施形態と同様であるので、第一の実施形態と同様な機能のブロックについては、同一符号にて示している。
Next, a second embodiment using the
ここでは、第一の実施形態と異なる点についてのみ説明する。すなわち、カラー顔画像取得部であるカードR/W112は、アンテナ、無線送受信インターフェース、ドライバ等で構成され、ICカードと非接触にて通信を行い、ICカードに記憶されているID番号、カラー顔画像を読み出し、ICカードに対して登録顔画像を書き込む。また、制御部104において、第一の実施形態における顔画像登録部104cが登録画像記憶部105へ顔画像を登録させていたが、第二の実施形態においては、顔画像登録部104dがカードR/W112から、後述するICカード5のメモリ領域53の登録顔画像領域533に登録顔画像を記憶させる。
Here, only differences from the first embodiment will be described. That is, the card R /
図6は、ICカード5の機能ブロック図である。ICカード5は、CPU・ROM・RAMなどで構成され、各種処理を制御する制御部51と、アンテナ・通信インターフェースなどからなり顔画像照合装置11と通信する通信部52と、EEPROMから構成されメモリ領域として少なくともID番号領域531、カラー顔画像領域532、登録顔画像領域533を有するメモリ53から構成されている。
FIG. 6 is a functional block diagram of the
次に、第一の実施形態における図4の説明と異なる点について説明する。
まず、図4の処理を開始する際には、ICカード5のメモリ領域に少なくともID番号領域531にID番号が、カラー顔画像領域532にカラー顔画像が記憶されており、そのICカード5が顔画像照合装置11のカードR/W112に挿入されているとする。
Next, differences from the description of FIG. 4 in the first embodiment will be described.
First, when starting the processing of FIG. 4, at least an ID number is stored in the
ステップS401では、ID番号の入力を操作表示部101で行うと、ICカード5に対してカードR/W112からID番号を送信する。ICカード5では、メモリ領域53を参照し、ID番号が一致するか否かを判定するとともに、一致していれば登録顔画像領域533に、登録顔画像が記憶されているか否かを判定する。ICカード5は、その結果を通信部52から顔画像照合装置11に返信する。顔画像照合装置11は、カードR/W112からの返信によって、ステップS402において、顔画像が登録済みか否かの判定を行う。
In step S 401, when an ID number is input on the
また、ステップS409においては、ステップS401にて取得した返信信号を記憶しておくことで、顔画像の登録が済んでいるか否かを判定する。
さらに、ステップS410において、顔画像登録部104dでは、カードR/W112からICカード5のメモリ領域53の登録顔画像領域533に登録顔画像を記憶させる。
In step S409, it is determined whether or not the facial image has been registered by storing the reply signal acquired in step S401.
In step S410, the face
なお、これらの点以外は、第一の実施形態と同様であるので、説明を省略する。
また、本発明の第三の実施形態にかかる顔画像照合装置では、カラー顔画像がICカードに予め記憶されている場合に、ICカードではなく、顔画像照合装置に登録顔画像を登録する。
Since these points are the same as those in the first embodiment, description thereof is omitted.
In the face image collation device according to the third embodiment of the present invention, when a color face image is stored in advance in the IC card, the registered face image is registered not in the IC card but in the face image collation device.
本発明の第三の実施形態にかかる顔画像照合装置は、第二の実施形態の顔画像照合装置11に第一の実施形態の顔画像照合装置1における登録画像記憶部105を追加し、顔画像登録部104dを第一の実施形態の顔画像登録部104cに置き換えることで実現する。この場合は、カードR/W112の機能として、読み込み機能が少なくとも存在し、ICカードにもカラー顔画像が読み出し可能なように記憶されていればよい。
The face image matching device according to the third embodiment of the present invention is obtained by adding a registered
本発明の第四の実施形態にかかる顔画像照合装置は、カラー顔画像は、集中管理装置2にて記憶・管理しておき、登録顔画像をICカードに登録する形態である。
第四の実施形態では、第二の実施形態の顔画像照合装置11に第一の実施形態における通信部102を追加し、図4におけるステップS401、S402、S409の処理を第一の実施形態を用いることによって実現できる。この場合は、カードR/W112の機能として、書き込み機能が少なくとも存在し、ICカードにも登録顔画像が書き込み可能であればよい。
The face image collation apparatus according to the fourth embodiment of the present invention is a form in which a color face image is stored and managed by the
In the fourth embodiment, the
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, various modifications can be made within the scope of the present invention according to the embodiment to be implemented.
1、11 顔画像照合装置
101 操作表示部
102 通信部
103 近赤外線顔画像入力部
104 制御部
104a 画像推定部
104b 照合部
104c、104d 顔画像登録部
105 登録画像記憶部
106 出力部
112 カードR/W
2 集中管理装置
21 データベース
3 ネットワーク
4 電気錠
5 ICカード
51 制御部
52 通信部
53 メモリ領域
531 ID番号領域
532 カラー顔画像領域
533 登録顔画像領域
DESCRIPTION OF
2
Claims (7)
所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力部と、
被照合者のカラー顔画像を取得するカラー顔画像取得部と、
前記カラー顔画像に基づき前記所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定部と、
前記顔画像入力部にて取得した入力顔画像と前記推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合部と、
前記登録顔画像を記憶する登録画像記憶部と、
前記照合部にて同一人物と判定すると前記推定顔画像を登録顔画像として前記登録画像記憶部に登録し、前記照合部にて同一人物と判定しないと登録しない顔画像登録部と、
を具備することを特徴とした顔画像照合装置。 A face image matching device for matching a face image inputted by a person to be verified with a registered face image,
A face image input unit for photographing a person to be verified under a predetermined environment and inputting a face image;
A color face image acquisition unit for acquiring a color face image of the person to be verified;
An estimation unit that calculates an estimated face image that can be collated with a face image captured under the predetermined environment based on the color face image;
A collation unit that collates the input face image acquired by the face image input unit and the estimated face image to determine whether both face images are of the same person;
A registered image storage unit for storing the registered face image;
If the collation unit determines that the person is the same, the estimated face image is registered as a registered face image in the registered image storage unit, and if the collation unit does not determine that the person is the same, a face image registration unit that is not registered;
A face image collating apparatus comprising:
所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力部と、
被照合者のカラー顔画像を取得するカラー顔画像取得部と、
前記カラー顔画像に基づき前記所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定部と、
前記顔画像入力部にて取得した入力顔画像と前記推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合部と、
前記登録顔画像を記憶する登録画像記憶部と、
前記照合部にて同一人物と判定すると前記入力顔画像を登録顔画像として前記登録画像記憶部に登録し、前記照合部にて同一人物と判定しないと登録しない顔画像登録部と、
を具備することを特徴とした顔画像照合装置。 A face image matching device for matching a face image inputted by a person to be verified with a registered face image,
A face image input unit for photographing a person to be verified under a predetermined environment and inputting a face image;
A color face image acquisition unit for acquiring a color face image of the person to be verified;
An estimation unit that calculates an estimated face image that can be collated with a face image captured under the predetermined environment based on the color face image;
A collation unit that collates the input face image acquired by the face image input unit and the estimated face image to determine whether both face images are of the same person;
A registered image storage unit for storing the registered face image;
A face image registration unit that registers the input face image as a registered face image in the registered image storage unit when the collation unit determines that the person is the same person, and does not register unless the collation unit determines the same person;
A face image collating apparatus comprising:
前記顔画像登録部は、前記照合部にて同一人物と判定すると前記推定顔画像又は前記入力顔画像を登録顔画像として前記情報記憶媒体に登録し、前記照合部にて同一人物と判定しないと登録しない、請求項1又は2に記載の顔画像照合装置。 The registered image storage unit is provided in a portable information storage medium,
If the face image registration unit determines that the matching person is the same person, the face image registration unit registers the estimated face image or the input face image as a registered face image in the information storage medium, and the matching unit does not determine the same person. The face image collation apparatus according to claim 1 or 2, wherein registration is not performed.
前記カラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、
前記画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、前記画素値抽出部にて抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する推定手段と、
前記推定手段にて推定された推定画素値を有する画素から前記推定顔画像を構成する推定画像作成手段を有する、請求項1〜5の何れか一項に記載の顔画像照合装置。 The estimation unit includes
Pixel value extraction means for extracting, for each pixel, color gradation information possessed by pixel values of the pixels of the color face image;
For each pixel, based on the correlation between the color gradation information based on the skin color reflection characteristics and the pixel value in the near infrared region, and the color gradation information extracted by the pixel value extraction unit, the estimation in the wavelength of the near infrared region An estimation means for calculating a pixel value;
The face image collation apparatus according to claim 1, further comprising an estimated image creating unit that configures the estimated face image from pixels having estimated pixel values estimated by the estimating unit.
前記カラー顔画像に基づき所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定工程と、
所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力工程と、
前記顔画像入力工程にて取得した入力顔画像と前記推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合工程と、
前記照合工程にて同一人物と判定すると前記推定顔画像を登録顔画像として登録し、同一人物と判定しないと登録しない顔画像登録工程と、
を有することを特徴とした照合用の顔画像登録方法。 A color face image acquisition step of acquiring a color face image of the person to be verified;
An estimation step of calculating an estimated face image that can be collated with a face image shot under a predetermined environment based on the color face image;
A face image input step of photographing a person to be verified under a predetermined environment and inputting a face image;
A collation step of collating the input face image acquired in the face image input step with the estimated face image to determine whether both face images are of the same person;
Registering the estimated face image as a registered face image when determined as the same person in the matching step, and a face image registration step not registering unless determined as the same person;
A face image registration method for collation characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005334385A JP4883987B2 (en) | 2005-11-18 | 2005-11-18 | Face image collation device and collation face image registration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005334385A JP4883987B2 (en) | 2005-11-18 | 2005-11-18 | Face image collation device and collation face image registration method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007140946A JP2007140946A (en) | 2007-06-07 |
JP4883987B2 true JP4883987B2 (en) | 2012-02-22 |
Family
ID=38203716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005334385A Expired - Fee Related JP4883987B2 (en) | 2005-11-18 | 2005-11-18 | Face image collation device and collation face image registration method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4883987B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190070179A (en) * | 2017-12-12 | 2019-06-20 | 삼성전자주식회사 | Device and method to register user |
US10860700B2 (en) | 2017-06-20 | 2020-12-08 | Samsung Electronics Co., Ltd. | User authentication method and apparatus with adaptively updated enrollment database (DB) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014071610A (en) * | 2012-09-28 | 2014-04-21 | Keyware Solutions Inc | Data processing apparatus, name identification processing method, and computer program |
US10706266B2 (en) * | 2015-09-09 | 2020-07-07 | Nec Corporation | Guidance acquisition device, guidance acquisition method, and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0879771A (en) * | 1994-08-31 | 1996-03-22 | Nippon Telegr & Teleph Corp <Ntt> | Image pickup device |
JP2000331167A (en) * | 1999-05-25 | 2000-11-30 | Medeikku Engineering:Kk | Method and device for collating facial image |
JP2001338295A (en) * | 2000-05-26 | 2001-12-07 | Wens Network Kk | Identity authenticating system based on biological information |
JP2002026075A (en) * | 2000-07-05 | 2002-01-25 | Matsushita Electric Ind Co Ltd | Method and device for recognition |
JP2004282452A (en) * | 2003-03-17 | 2004-10-07 | Hitachi Kokusai Electric Inc | Television camera device |
JP2005107588A (en) * | 2003-09-26 | 2005-04-21 | Toshiba Corp | Personal verification system and ingress/egress management system |
JP4606304B2 (en) * | 2005-11-09 | 2011-01-05 | セコム株式会社 | Near-infrared face image creation device, near-infrared face image creation method, and face image collation device |
-
2005
- 2005-11-18 JP JP2005334385A patent/JP4883987B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10860700B2 (en) | 2017-06-20 | 2020-12-08 | Samsung Electronics Co., Ltd. | User authentication method and apparatus with adaptively updated enrollment database (DB) |
US11455384B2 (en) | 2017-06-20 | 2022-09-27 | Samsung Electronics Co., Ltd. | User authentication method and apparatus with adaptively updated enrollment database (DB) |
KR20190070179A (en) * | 2017-12-12 | 2019-06-20 | 삼성전자주식회사 | Device and method to register user |
US10860875B2 (en) | 2017-12-12 | 2020-12-08 | Samsung Electronics Co., Ltd. | Device and method to register user |
Also Published As
Publication number | Publication date |
---|---|
JP2007140946A (en) | 2007-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220165087A1 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
US9361507B1 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
JP6089872B2 (en) | Image correction apparatus, image correction method, and biometric authentication apparatus | |
KR20190094352A (en) | System and method for performing fingerprint based user authentication using a captured image using a mobile device | |
US20140212008A1 (en) | Touchless fingerprinting acquisition and processing application for mobile devices | |
US20040062423A1 (en) | Personal authentication apparatus and personal authentication method | |
JP6532642B2 (en) | Biometric information authentication apparatus and biometric information processing method | |
US11341348B2 (en) | Hand biometrics system and method using digital fingerprints | |
WO2009107237A1 (en) | Biometrics device | |
US7460705B2 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
JP2002507035A (en) | How to authenticate the validity of an image recorded for personal identification | |
KR101640014B1 (en) | Iris recognition apparatus for detecting false face image | |
JP4883987B2 (en) | Face image collation device and collation face image registration method | |
KR20220052828A (en) | Biometric authentication apparatus and biometric authentication method | |
CN114821695A (en) | Material spectrometry | |
JP4606304B2 (en) | Near-infrared face image creation device, near-infrared face image creation method, and face image collation device | |
JP2017104947A (en) | Individual confirmation system and robot | |
JP2005259049A (en) | Face collation device | |
CN114821696A (en) | Material spectrometry | |
WO2021166289A1 (en) | Data registration device, biometric authentication device, and recording medium | |
WO2018185574A1 (en) | Apparatus and method for documents and/or personal identities recognition and validation | |
JPH11306348A (en) | Method and device for object detection | |
KR19990079823A (en) | Face Recognition Method Considering Lighting Change | |
KR100776880B1 (en) | System for estimating attitude at specific part, methode for estimating attitude at specific part, and program for estimating attitude at specific part | |
JP2005141678A (en) | Facial image collating system and ic card |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111108 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4883987 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |