WO2010058514A1 - 認証システム、装置、認証方法及びプログラムが格納された記憶媒体 - Google Patents

認証システム、装置、認証方法及びプログラムが格納された記憶媒体 Download PDF

Info

Publication number
WO2010058514A1
WO2010058514A1 PCT/JP2009/005164 JP2009005164W WO2010058514A1 WO 2010058514 A1 WO2010058514 A1 WO 2010058514A1 JP 2009005164 W JP2009005164 W JP 2009005164W WO 2010058514 A1 WO2010058514 A1 WO 2010058514A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
pattern
registration
concealed
biometric
Prior art date
Application number
PCT/JP2009/005164
Other languages
English (en)
French (fr)
Inventor
細井利憲
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010539119A priority Critical patent/JP5531963B2/ja
Priority to US13/129,523 priority patent/US8660321B2/en
Publication of WO2010058514A1 publication Critical patent/WO2010058514A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present invention relates to an authentication system, an apparatus, an authentication method, and a storage medium storing a program, and in particular, an authentication system for determining success or failure of authentication by comparing an input image with a pre-registered authentication image,
  • the present invention relates to an apparatus, an authentication method, and a storage medium storing a program.
  • Patent Document 1 An example of a technique related to a person authentication system using a face image is described in Patent Document 1.
  • Japanese Patent Application Laid-Open No. 2004-133620 collates human face images, and performs collation using eigenvectors of Fourier spectrum patterns obtained by Fourier analysis of the entire image. This makes it possible to determine whether the input image is a specific person, and can be used for person authentication.
  • Patent Document 1 a feature amount extracted from each person's face image or face image is registered in advance, and the input face image is compared with the feature amount extracted from the registered face image or face image. By doing so, it can be determined whether or not the input face image is a registered person, so that the person can be authenticated.
  • Patent Document 2 describes an example of an image recognition system that can correctly classify even when an input image is hidden due to concealment or the like.
  • Patent Document 2 obtains a result of matching of the entire image after performing matching processing for each partial image of the input image, and in particular, tends to remove the influence of the portion where the matching target is concealed. Since the verification score can be output, it can be said that the verification technique uses a portion other than the concealed portion.
  • this technique can be used for a person authentication using a face image.
  • the face image authentication system as described above can generally use a non-contact type sensor such as a video camera as an image input device, there is an advantage that the person to be authenticated does not need to touch the sensor. is there.
  • Patent Document 3 discloses a hybrid personal authentication device that combines face authentication, voiceprint authentication, a password, and an IC card.
  • Patent Document 4 discloses a concealment processing unit that conceals all or part of an identification target and an image in which all or part of the identification target is concealed in order to prevent leakage of a pattern of the identification target.
  • a registration device and a collation device are disclosed that include a control unit and do not display the entire captured image on the screen.
  • authentication system what is called an “authentication system” is that person information is registered in advance, and when performing authentication, the input person information is compared with the person information registered in advance. A system that outputs authentication results.
  • registration pattern is used to mean registration data (a feature amount converted or extracted from an authentication image or an authentication image) when a person is registered in the authentication system.
  • collation pattern is used to mean data for collation with a registered pattern input as an authentication target. For this reason, the word “pattern” is not only used as the meaning of an image but also used as feature amount data generated by converting an image by a specific method.
  • Patent Document 4 can reduce the occurrence of forgery by others, but if it is leaked, the possibility of unauthorized use due to the leaked data cannot be excluded.
  • the present invention has been made based on the above-described considerations, and provides an authentication system that can make it difficult to illegally use a registered biometric pattern.
  • additional information relating to a change that can be reproduced by a user having an authentication biometric pattern is retained for a pre-registered biometric pattern for authentication, and the additional information is used.
  • An authentication device for determining success or failure of authentication and a program to be executed by a computer constituting the authentication device are provided using the consistency between the biometric pattern for authentication reproduced in this way and the pattern input at the time of authentication as a determination element.
  • an input unit that inputs an authentication biometric pattern
  • a reception unit that receives information about a change that can be reproduced by the user with respect to the authentication biometric pattern from the user.
  • the above-described authentication apparatus is provided with a registration apparatus that provides information related to a biometric pattern for authentication and a concealed portion during registration, and a program that is executed by a computer that constitutes the registration apparatus.
  • an authentication system including the authentication device described above and the registration device described above.
  • the fourth aspect of the present invention with respect to a pre-registered biometric pattern for authentication, additional information regarding changes that can be reproduced by a user having the biometric pattern for authentication is held, and the additional information is used.
  • An authentication method for determining success or failure of authentication is provided using the consistency between the biometric pattern for authentication reproduced in this way and the pattern input at the time of authentication as a determination factor.
  • the biometric pattern registered in the authentication system can be changed, and the possibility that authentication is performed illegally can be reduced.
  • the reason is that the success or failure of the authentication is determined by using the consistency between the change to be added to the authentic biometric pattern registered correctly and the pattern input at the time of authentication as a determination factor. For example, by changing the concealed portion of the authentication biometric pattern, it is possible to prevent at least authentication of the leaked data as it is.
  • the authentication system accepts the setting of the concealment part (see the registration pattern (concealment part) in FIG. 1) from the user in the pre-registered biometric pattern for authentication (see the registration pattern (overall) in FIG. 1). , And stored in the storage device as additional information.
  • the authentication system uses the concealment of the concealed portion of the biometric pattern for authentication and the portion corresponding to the concealed portion of the pattern input during authentication as a determination element. Determine success or failure of authentication.
  • the matching pattern between the concealed part of the registered pattern and the part corresponding to the concealed part of the collation pattern is used as a determination element. The possibility can be detected.
  • data in which an arbitrary concealment is intentionally generated in the face is registered as a registered pattern in advance, and when authenticating a person, authentication is performed only in the same concealment state as the registered pattern. Success.
  • Two types of registration patterns are registered: a pattern with concealment on the face and a pattern without concealment.
  • FIG. 2 is a block diagram showing the configuration of the person authentication system according to the first embodiment of the present invention.
  • the object recognition system of the present embodiment includes a data processing device (central processing device; processor; computer) 10 that operates by program control and a storage device 20.
  • the data processing apparatus 10 includes a concealed part extracting unit 11 that extracts a part in which a face is concealed in the input registration pattern, a feature extracting unit 12 that extracts a feature amount used for matching the pattern, and a concealment in the registered pattern.
  • a non-hidden part matching unit 13 that evaluates the matching of a part that has not been performed, a hidden part mismatching matching unit 14 that evaluates a mismatch between a non-hidden pattern and a matching pattern for a hidden part in the registered pattern,
  • the concealed part matching unit 15 that evaluates the coincidence of the concealed part and the authentication determination unit 16 function as an authentication apparatus.
  • the storage device 20 includes a face feature amount storage unit 21 that holds the feature amount of the face pattern extracted by the feature extraction unit 12, and a concealment portion feature amount storage unit 22 that holds the feature amount of the concealment portion.
  • the above-described processing units of the data processing apparatus 10 operate as follows.
  • the concealed part extracting unit 11 compares the pattern with concealment on the face with the pattern without concealment on the face, and extracts the part with concealed face (see FIG. 5).
  • the feature extraction unit 12 extracts a feature amount used for matching patterns.
  • feature amounts are extracted from the input registration pattern or concealed portion pattern, the face feature amounts are stored in the face feature amount storage unit 21, and the concealed portion feature amounts are concealed. Store in the object feature amount storage unit 22.
  • the feature extraction unit 12 receives a collation pattern and extracts a feature amount of the collation pattern when collating a person.
  • Such feature extraction processing corresponds to, for example, processing for extracting a Fourier spectrum if the technique of Patent Document 1 is used.
  • the non-hidden part matching unit 13 evaluates the coincidence between the registered pattern and the matching pattern for the part that is not concealed in the registered pattern.
  • the concealment part inconsistency collation unit 14 evaluates the inconsistency between the non-concealment pattern and the collation pattern at the time of registration for the concealed part in the registration pattern.
  • the concealed part collation unit 15 evaluates the coincidence between the concealment pattern at the time of registration and the collation pattern for the concealed part in the registration pattern.
  • the concealment part inconsistency matching unit 14 and the concealment part matching unit 15 are both processing units for verifying the concealment part at the time of registration, and thus one of the processing units may be omitted. However, since both processing units are present, a more accurate authentication result can be obtained.
  • FIG. 3 is a flowchart showing the flow of registration processing by the data processing apparatus 10.
  • a face pattern without concealment is input to the data processing apparatus 10 (step S101).
  • the data processing apparatus 10 uses the feature extraction unit 12 to extract feature amounts for the input face pattern (step S102).
  • the feature amount extracted in step S102 is stored in the face feature amount storage unit 21.
  • a face pattern with concealment is input to the data processing apparatus 10 (step S103).
  • the data processing apparatus 10 extracts the concealed part by comparing the input concealed face pattern with the face pattern input in step S101 by the concealed part extracting unit 11 (step S104).
  • the data processing apparatus 10 causes the feature extraction unit 12 to extract feature amounts for the concealment portion extracted in step S104 (step S105).
  • the feature amount extracted in step S105 is stored in the concealed object feature amount storage unit 22.
  • FIG. 4 is a flowchart showing the flow of collation processing by the data processing apparatus 10.
  • step S201 when a collation pattern is input (step S201), the data processing apparatus 10 extracts a feature amount for the input collation pattern by the feature extraction unit 12 (step S202).
  • the data processing apparatus 10 collates the extracted collation pattern (feature amount) with the registered pattern (feature amount) extracted in step S102 of FIG. 3 for the non-hidden portion (step S203).
  • step S203 the coincidence between the registration pattern (feature amount) corresponding to the portion that is not the concealment portion extracted in step S104 of FIG. 3, that is, the portion that is not concealed at the time of registration, and the matching pattern (feature amount).
  • a verification process is performed to evaluate.
  • step S204 the data processing apparatus 10 collates the collation pattern (feature amount) extracted in step S202 with the registered pattern (feature amount) extracted in step S105 of FIG. 3 (step S204).
  • step S204 the concealed part extracted in step S104 of FIG. 3, that is, the pattern (feature amount) of the part where the face is concealed at the time of registration matches the matching pattern (feature amount) corresponding to the concealed part.
  • a matching process for evaluating the sex is performed.
  • the data processing apparatus 10 collates inconsistency between the collation pattern (feature amount) extracted in step S202 and the registration pattern (feature amount) extracted in step S102 of FIG. 3 for the concealed portion (step S205). ).
  • the registration pattern (feature amount) corresponding to the concealment part extracted in step S104 of FIG. 3, that is, the part where the face is concealed during registration does not match the verification pattern (feature amount).
  • a matching process for evaluating the sex is performed.
  • the data processing apparatus 10 determines whether or not the personal authentication is successful by determining whether or not the verification pattern is a registered person pattern based on the verification results of the above steps S203, S204, and S205. (Step S206). As this determination, it is good also as totaling each determination score, and what is necessary is just to take AND (logical product) of each processing result of step S203, step S204, and step S205 more simply.
  • the user who wants to authenticate cannot accurately reproduce the concealed part, and the concealed part is slightly shifted at the time of registration and verification. More preferably, in the concealed part collating step in step S204, authentication is improved by searching for the vicinity where concealment occurred during registration by using template matching or the like using the registration pattern of the concealed part. be able to.
  • each step is described in order, but the feature amount of the entire face without concealment and the feature amount of the portion with concealment are extracted. Therefore, the order of the steps may be changed, the steps may be operated in parallel, or the pattern input may be divided into a plurality of times. Further, when the registration data is only to be changed rather than newly registered, it is not always necessary to change the face pattern without concealment. Therefore, step S101 corresponding to face input and feature extraction without concealment is performed. S102 may be omitted.
  • each step is described in order for easy understanding in one flowchart.
  • step S203 the order of processing is described. The same result can be obtained even if they are replaced, or they may be executed in parallel.
  • the feature amount extracted by the feature extraction unit 12 may be any feature amount as long as the feature extraction method at the time of registration and the feature extraction method at the time of matching are the same. If the feature extraction method at the time of registration and the feature extraction method at the time of matching are the same, for example, the feature extraction method for the face and the feature extraction method for the concealment unit may be different.
  • both the processes in steps S204 and S205 verify the concealment part at the time of registration, so that even if one of the steps is omitted, the authentication result can be finally output. it can.
  • a more accurate authentication result can be obtained by executing both steps.
  • authentication is performed by considering not only the concealment position but also the concealment part itself as a feature, but this concealment may be created by an arbitrary object. It may be the person's own hand or finger, or an object such as a decoration or a card.
  • a device or a light source device capable of displaying a specific pattern is used as the concealment, it is possible to easily prepare different concealment states, so that an authentication system in which the registered pattern can be easily changed is obtained.
  • a change from a normal face in a part of the face image it can be used for authentication instead of “concealment”.
  • a shadow may be created on a part of the face image by irradiating the face with light or a pattern of an arbitrary wavelength.
  • making a change in a part of the face can also be realized by changing the state of the organ on the face. For example, the difference between the state where both eyes of the face are closed and the state where the mouth is wide open is used as additional information.
  • An authentication system that is held and used for authentication can also be used.
  • the present embodiment is configured to hold the feature amount of the entire face without concealment and the feature amount of the concealed portion, and to check the portion without concealment and the portion with concealment, respectively.
  • the concealment state at the time and the concealment state at the time of collation can be correctly compared for any concealment. From this, it is possible to easily change the registration pattern of the authentication system by changing the concealment state at the time of registration.
  • the present embodiment is configured to evaluate the inconsistency between a registration pattern (feature amount) that does not have a concealment corresponding to a concealment portion at the time of registration and a collation pattern (feature amount), and thus the position of concealment Even when there is a deviation at the time of collation, it is possible to correctly evaluate the concealed portion (examples are middle and lower in FIG. 7).
  • the data processing apparatus 10 operates only by inputting a registration pattern (image) and a collation pattern (image). Therefore, it is not necessary to provide a plurality of input units as in Patent Document 3, and the camera Thus, it is possible to perform highly accurate authentication using an image input from a general input data acquisition processing unit. Therefore, it is not necessary to increase the number of processing units that acquire input data, and the advantage of non-contact property is not impaired when the input data acquisition processing unit is a non-contact sensor such as a camera.
  • FIG. 5 is a block diagram showing the configuration of the person authentication system according to the second embodiment of the present invention.
  • the person recognition system according to the present embodiment includes a registration device 300 that performs registration processing and a verification device 400 that performs verification processing.
  • the registration device 300 includes a data processing device 310 and a storage device 320.
  • the data processing device 310 includes a concealment extraction unit 311 and a feature extraction unit 312.
  • the storage device 320 includes a face feature amount storage unit 321 and a concealment portion feature.
  • the matching device 400 includes a data processing device 410 and a storage device 420.
  • the data processing device 410 includes a feature extraction unit 412, a non-hidden part matching unit 413, a hidden part mismatch matching unit 414, a hidden part matching unit 415, and an authentication.
  • the storage device 420 includes a face feature amount storage unit 421 and a concealed part feature amount storage unit 422.
  • Each processing unit described above performs the same operation as the processing unit having the same name in the first embodiment, and each storage unit holds the same type of data as the storage unit having the same name in the first embodiment.
  • the feature extraction unit 12 of the first embodiment processes both the registered pattern and the matching pattern
  • the feature extraction unit 312 of the second embodiment performs the feature extraction process of the registered pattern
  • the feature extraction unit 412 according to the second embodiment performs a feature extraction process of a matching pattern.
  • the registration pattern obtained by the operation of the registration device 300 is held in the face feature amount storage unit 321 and the concealed portion feature amount storage unit 322 of the storage device 320, but this data is held in the storage device 420 of the collation device 400. It is the same as the data that should be.
  • the storage device 320 and the storage device 420 in FIG. 5 may be the same device when actually configuring the system.
  • the present embodiment also has two types of processing, registration processing and collation processing, which are executed by the registration device and the collation device, respectively.
  • the registration process is the same as the registration process of the first embodiment shown in FIG. 3, and the verification process is the same as the verification process of the first embodiment shown in FIG.
  • the registration device and the verification device are configured as separate devices.
  • a method of using only the authentication device is possible.
  • the registration process In situations where the person authentication system is actually used, the registration process only needs to be used when a pattern is registered or changed. On the other hand, since the verification process is used in all scenes that require authentication, the registration device In many cases, the number may be smaller than that of the verification device. Therefore, if the registration device and the verification device are separated, the number of registration devices can be reduced, and a cost reduction effect can be obtained.
  • the data processing device 10 is a personal computer
  • the storage device 20 is a semiconductor memory or a hard disk drive.
  • the concealed part extracting unit 11, the feature extracting unit 12, the non-concealed part collating unit 13, the concealing part inconsistency collating unit 14, the concealing part collating unit 15 and the authentication determining unit 16 are computers that allow a personal computer to function as each processing unit described above. It can be realized by a program.
  • a face image without concealment is input as a registered pattern (corresponding to the upper left in FIG. 6). At this time, if the face image is aligned according to the positions of both eyes, the accuracy of the subsequent processing is increased.
  • feature quantities for collating facial images are calculated.
  • feature amounts generally used in the field of image pattern recognition may be used.
  • the luminance value of the image may be used, or data obtained by extracting an edge from the image may be used as the feature amount.
  • a difference may be taken between an image with concealment on the face and an image with no concealment (corresponding to the right in FIG. 6).
  • a luminance value difference is calculated in pixel units, and a region where the difference value is equal to or greater than a certain value is labeled.
  • the labeling process is a kind of image processing, and is a process for attaching a unique label to a group of pixels. As a result of the labeling process, if there is a partial area having a certain area or more, the partial area is extracted as a concealment part.
  • the concealed portion may be handled as a circumscribed rectangle having a concealed shape.
  • features are extracted for the partial region determined to have concealment. For example, data obtained by extracting an edge can be used as a feature amount.
  • step S102 the feature amount extraction method of a face image without a defect
  • step S105 the feature amount extraction method of a concealed face image
  • a feature amount for collating face images is calculated.
  • the feature amount calculated here is selected so that the type of feature amount to be directly compared between the registration side and the collation side is the same in steps S203, S204, and S205 of the collation processing.
  • the data may be used as the feature amount even on the collation side.
  • the non-hidden part matching step S203 described with reference to FIG. 4 it is checked whether or not the registered pattern (feature amount) matches the matching pattern (feature amount) for the part that is not determined to be a hidden part at the time of registration (FIG. 7). See the top). That is, the matching is evaluated using only a part of the extracted feature quantity.
  • the degree of similarity can be obtained by calculating a normalized correlation, and this value can be used as a score of the collation result (evaluation value of coincidence).
  • the concealed registration pattern (feature amount) and collation pattern (feature amount) are collated with respect to the part determined to be the concealment part at the time of registration (FIG. 4). 7 middle). That is, the matching is evaluated using only a part of the extracted feature quantity.
  • this collation processing for example, if the normalized correlation is calculated, the similarity can be obtained, so this value may be used as the score of the collation result.
  • the concealment part inconsistency collation step S205 described with reference to FIG. 4 it is collated whether or not the registration pattern (feature amount) that is not concealed and the collation pattern (feature amount) are inconsistent with respect to the portion determined to be the concealment portion at the time of registration. (Refer to the lower part of FIG. 7). That is, the inconsistency is evaluated using only a part of the extracted feature quantity. As this inconsistency collation processing, for example, if a normalized correlation is calculated, the similarity can be obtained. Therefore, a value obtained by inverting the magnitude of the similarity may be used as the score of the inconsistency collation result.
  • the concealed portion when a person actually uses the present invention, it is expected that the concealed portion will be shifted at the time of registration and at the time of verification (see FIG. 8).
  • the collation accuracy in concealed part collation step S204 can be improved. Therefore, the authentication accuracy can be improved in actual use (see the middle part of FIG. 8).
  • step S206 whether the registered person and the person to be collated are the same person and the same concealment occurs by integrating the above three collation results of steps S203, S204, and S205. Determine. For example, the score obtained in each of the three matching steps is determined as a threshold value, and if all the results of each step are determined to be successful (inconsistency for step S205), the authentication is successful, and if not, the authentication is successful. It can be a failure.
  • the threshold value of the collation score in the concealed part collation step S206 is lowered, that is, the matching is not high to some extent. However, it may be set so that it is determined that the same concealment occurs.
  • other biological patterns such as a fingerprint or a vein pattern are used, As described above, it is difficult to cover with a hand or change an expression, but concealment or change can be set by sticking a seal or the like that can cover a part of the pattern to the fingertip or back of the hand.
  • the registration apparatus may be provided with an additional information input processing unit that receives a part to be concealed, a type of concealment pattern, a part to be changed, an image effect to be given a change, or the like, realized by image processing software or the like. Good.
  • an additional information input processing unit that receives a part to be concealed, a type of concealment pattern, a part to be changed, an image effect to be given a change, or the like, realized by image processing software or the like.
  • the present invention has been described as a hardware configuration, but the present invention is not limited to this.
  • the present invention can also realize an arbitrary process, for example, the processing procedure described in the flowcharts of FIGS. 3 and 4 by causing a CPU (Central Processing Unit) to execute a computer program.
  • the computer program can be provided by being stored in a storage medium, or can be provided by being transmitted via the Internet or another communication medium.
  • the storage medium includes, for example, a flexible disk, a hard disk, a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD, a ROM cartridge, a battery-backed RAM memory cartridge, a flash memory cartridge, and a nonvolatile RAM cartridge.
  • the communication medium includes a wired communication medium such as a telephone line, a wireless communication medium such as a microwave line, and the like.
  • the present invention is open to the biometrics authentication field used in an authentication system such as an ATM (Automated Teller Machine) such as a bank. Moreover, it has the possibility of being used in various other systems that require authentication.
  • an authentication system such as an ATM (Automated Teller Machine) such as a bank.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

　顔画像認証システムに登録された生体パターンの不正行使を困難化する。予め登録された認証用生体パターンに対して、該認証用生体パターンを有するユーザが再現可能な変化に関する付加情報を保持しておき、前記付加情報を用いて再現した前記認証用生体パターンと、認証時に入力されたパターンとの一致性を判定要素として、認証の成否を判定する。必要に応じて、前記付加情報を変更することで、生体パターンデータ等の不正行使を困難化する。

Description

認証システム、装置、認証方法及びプログラムが格納された記憶媒体
　本発明は、認証システム、装置、認証方法及びプログラムが格納された記憶媒体に関し、特に、入力された画像と、予め登録された認証用画像と比較することに認証の成否を判定する認証システム、装置、認証方法及びプログラムが格納された記憶媒体に関する。
　顔画像を使った人物認証システムに関する技術の一例が、特許文献１に記載されている。特許文献１は、人間の顔画像を照合するものであり、画像全体をフーリエ解析したフーリエスペクトルパターンの固有ベクトルを用いて照合を行う。これによって、入力された画像が特定の人物であるかどうか判断できるので人物認証に利用できる。
　特許文献１では、各人物の顔画像または顔画像から抽出された特徴量を事前に登録しておき、入力された顔画像と登録された顔画像または顔画像から抽出された特徴量と比較照合することで、入力された顔画像が登録された人物であるか否かを判断できるので、人物を認証することが可能である。
　他の従来技術としては、特に入力画像に隠蔽などによる隠れがある場合にも正しく分類できる画像認識システムの一例が、特許文献２に記載されている。特許文献２は、入力された画像の部分画像毎に照合処理を行ったうえで、画像全体の照合結果を求めており、特に、照合対象物に隠蔽がある部分の影響を除去する傾向がある照合スコアを出力できるため、隠蔽部分以外の部分を用いた照合技術ともいえる。この技術は、もちろん、顔画像による人物認証用途に利用できる。
　上記のような顔画像認証システムは、一般に、画像の入力装置としてビデオカメラのような非接触型のセンサーを利用することが可能なため、被認証者にとってセンサーに接触する必要がないというメリットがある。
　一方、顔認証システムを含む生体認証システムは、一般に、どのような認証方式でも誤り率を完全にゼロにすることができない。そのため、認証システムの精度を高めるために、生体認証だけでなくパスワードやＩＣカードなどによる非生体認証を組み合わせて利用されることもある。例えば、特許文献３に、顔認証と、声紋認証やパスワードやＩＣカードを組み合わせるハイブリッド個人認証装置が開示されている。
　また、特許文献４には、識別対象のパターンの漏洩を防ぐために、識別対象の全部又は一部を隠蔽する隠蔽処理部と、前記識別対象の全部又は一部が隠蔽された画像を表示する表示制御部と、を備え、撮影画像の全体を画面に表示しないようにした登録装置及び照合装置が開示されている。
特開平５－０２０４４２号公報 特開２００３－３２３６２２号公報 ＷＯ２００２／０２５４５７号公報 特開２００８－１２３２０６号公報
　まず、本明細書における用語の定義をする。本明細書において「認証システム」と呼称するものは、人物の情報をあらかじめ登録しておき、認証を行う際には入力された人物の情報とあらかじめ登録されている人物の情報とを照合して認証結果を出力するシステムを指す。
　さらに、本明細書では「登録パターン」という用語を、人物を認証システムに登録する際の登録データ（認証用画像または認証用画像から変換もしくは抽出された特徴量）という意味で用いる。また、「照合パターン」という用語を、認証対象として入力された登録パターンと照合するためのデータという意味で用いる。このため、パターンという単語は、単純に画像という意味として使われるだけでなく、画像を特定の方式で変換して生成された特徴量データとしても使われる。
　上記特許文献１、２に記載した各認証システムの問題点は、システムに登録されたパターン（例えば、「顔」、「指紋」、「虹彩」等の持って生まれた生体パターン）を本質的に変更できないという点である。その理由は、顔は生体パターンの一種であって、経年による変化はあるが人物が生まれつき持っている固有のパターンであるため、人為的に変更することが非常に困難だからである。
　このため、登録パターンに相当するデータを一度でも他人に偽造されてしまうと、偽造したデータによる誤認証の危険性が永久に維持されてしまう。これは、パスワードやＩＣカードに記録された個人情報と生体パターンとの大きな相違点である。
　このような問題点は、特許文献３のようなハイブリッド認証方式では、全く解決できない。同様に、特許文献４は、他人に偽造されてしまう事態の発生を低減できるが、漏洩してしまった場合には、当該漏洩したデータによる不正使用の可能性を排除することはできない。
　本発明は、上記した考察に基づいてなされたものであって、登録された生体パターンの不正行使を困難化することのできる認証システムを提供することにある。
　本発明の第１の視点によれば、予め登録された認証用生体パターンに対して、該認証用生体パターンを有するユーザが再現可能な変化に関する付加情報を保持しておき、前記付加情報を用いて再現した前記認証用生体パターンと、認証時に入力されたパターンとの一致性を判定要素として、認証の成否を判定する認証装置及び該認証装置を構成するコンピュータに実行させるプログラムが提供される。
　本発明の第２の視点によれば、認証用生体パターンを入力する入力部と、ユーザから、該認証用生体パターンに対して該ユーザが再現可能な変化に関する情報を受け付ける受け付け部と、を備え、上記した認証装置に、登録時の認証用生体パターンと、隠蔽部分に関する情報を提供する登録装置及び該登録装置を構成するコンピュータに実行させるプログラムが提供される。
　本発明の第３の視点によれば、上記した認証装置と、上記した登録装置と、を含む認証システムが提供される。
　本発明の第４の視点によれば、予め登録された認証用生体パターンに対して、該認証用生体パターンを有するユーザが再現可能な変化に関する付加情報を保持しておき、前記付加情報を用いて再現した前記認証用生体パターンと、認証時に入力されたパターンとの一致性を判定要素として、認証の成否を判定する認証方法が提供される。
　本発明によれば、認証システムに登録された生体パターンの変更が可能になり、不正に認証が行われてしまう可能性を低減することが可能となる。その理由は、正当に登録された認証用生体パターンに加えられるべき変化と、認証時に入力されたパターンとの一致性を判定要素として、認証の成否を判定するよう構成したことにある。例えば、認証用生体パターンのうち隠蔽した部分を変更することにより、少なくとも漏洩したデータをそのまま用いただけでは認証を受けることができないようにすることができる。
本発明の概要を説明するための図である。 本発明の第１の実施形態の人物認証システムの構成を示すブロック図である。 本発明の第１の実施形態のデータ処理装置による登録処理の流れを表したフローチャートである。 本発明の第１の実施形態のデータ処理装置による照合処理の流れを表したフローチャートである。 本発明の第２実施形態の人物認証システムの構成を示すブロック図である。 本発明の第１の実施形態のデータ処理装置による登録処理の具体例を説明するための図である。 本発明の第１の実施形態のデータ処理装置による照合処理の具体例を説明するための図である。 本発明の第１の実施形態のデータ処理装置による照合処理の具体例を説明するための図である。
　はじめに、本発明の概要を説明する。本発明に係る認証システムは、予め登録された認証用生体パターンに（図１の登録パターン（全体）参照）、ユーザから隠蔽部分（図１の登録パターン（隠蔽部分）参照）の設定を受け付けて、付加情報として記憶装置に保持する。認証時には、上記認証システムは、認証用生体パターン全体の比較のほか、認証用生体パターンの隠蔽部分と、認証時に入力されたパターンの前記隠蔽部分に対応する部分との一致性を判定要素として、認証の成否を判定する。
　以上のような本発明に係る認証システムによれば、例えば、図１の上段に示すように、登録パターン全体との一致性において、一致性が高いと判断してしまった場合であっても、図１の下段に示すように、登録パターンの隠蔽部分と、照合パターンの前記隠蔽部分に対応する部分との一致性を判定要素としているため、より高確率で、偽造等された照合パターンである可能性を検出することができる。
　更に、本発明に係る認証システムによれば、仮に、図１の右側に示した登録パターン自体が漏洩してしまった場合であっても、隠蔽部分（付加情報）を変えることで、偽造データの行使を極めて難しくすることが可能になる。
［第１の実施形態］
　次に、本発明を顔画像による認証を行う人物認証システムに適用した第１の実施形態について図面を参照して詳細に説明する。
　以下、本実施形態では、予め顔に任意の隠蔽を意図的に発生させたデータを登録パターンとして登録しておき、人物を認証する際には、登録パターンと同じ隠蔽状態の場合に限って認証成功とする。登録パターンとしては、顔に隠蔽があるパターンと隠蔽がないパターンの２種類を登録することになる。
　図２は、本発明の第１の実施形態の人物認証システムの構成を示すブロック図である。本実施形態の物体認識システムは、図２に示すように、プログラム制御により動作するデータ処理装置（中央処理装置；プロセッサ；コンピュータ）１０と記憶装置２０とから構成される。
　データ処理装置１０は、入力された登録パターンにおいて顔が隠蔽された部分を抽出する隠蔽部分抽出部１１と、パターンを照合するために用いる特徴量を抽出する特徴抽出部１２と、登録パターンにおける隠蔽されていない部分の一致性を評価する非隠蔽部分照合部１３と、登録パターンにおける隠蔽された部分について非隠蔽パターンと照合パターンの不一致性を評価する隠蔽部分不一致性照合部１４と、登録パターンにおける隠蔽された部分の一致性を評価する隠蔽部分照合部１５と、認証判定部１６とを含み、認証装置として機能する。
　記憶装置２０は、特徴抽出手段１２によって抽出された顔のパターンの特徴量を保持する顔特徴量記憶部２１と、隠蔽部分の特徴量を保持する隠蔽部分特徴量記憶部２２とを含む。
　データ処理装置１０の上述した処理部はそれぞれ概略つぎ以下のように動作する。
　隠蔽部分抽出部１１は、顔に隠蔽があるパターンと、顔に隠蔽がないパターンを比較して、顔が隠蔽された部分を抽出する（図５参照）。
　特徴抽出部１２は、パターンを照合するために用いる特徴量を抽出する。人物を登録する際には、入力された登録パターンあるいは隠蔽部分のパターンからそれぞれ特徴量を抽出し、顔の特徴量については顔特徴量記憶部２１に記憶し、隠蔽部分の特徴量については隠蔽物特徴量記憶部２２に記憶する。
　特徴抽出部１２は、人物を照合する際には、照合パターンが入力され、照合パターンの特徴量を抽出する。このような特徴抽出処理は、例えば、特許文献１の技術を用いるのであればフーリエスペクトルを抽出する処理に相当する。
　非隠蔽部分照合部１３は、登録パターンにおける隠蔽されていない部分について、登録パターンと照合パターンとの一致性を評価する。
　隠蔽部分不一致性照合部１４は、登録パターンにおける隠蔽された部分について、登録時の非隠蔽パターンと照合パターンの不一致性を評価する。
　隠蔽部分照合部１５は、登録パターンにおける隠蔽された部分について、登録時の隠蔽パターンと、照合パターンの一致性を評価する。
　尚、隠蔽部分不一致性照合部１４と隠蔽部分照合部１５は、どちらも登録時の隠蔽部分を検証するための処理部なので、片方の処理部を省略しても構わない。しかし、両方の処理部があることで、より正確な認証結果を得られる。
　次に、本実施形態の全体の動作について図面を参照して詳細に説明する。始めに、登録処理について説明し、次に照合処理について説明する。
　図３は、上記データ処理装置１０による登録処理の流れを表したフローチャートである。
　図３を参照すると、まず、データ処理装置１０に、隠蔽が無い顔パターンが入力される（ステップＳ１０１）。
　次に、データ処理装置１０は、特徴抽出部１２により、入力された顔パターンについて特徴量を抽出する（ステップＳ１０２）。このステップＳ１０２で抽出された特徴量は、顔特徴量記憶部２１に記憶される。
　次に、データ処理装置１０に、隠蔽がある顔パターンが入力される（ステップＳ１０３）。
　次に、データ処理装置１０は、隠蔽部分抽出部１１により、上記入力された隠蔽がある顔パターンと、ステップＳ１０１で入力された顔パターンとを比較して隠蔽部分を抽出する（ステップＳ１０４）。
　次に、データ処理装置１０は、特徴抽出部１２により、ステップＳ１０４で抽出された隠蔽部分について特徴量を抽出する（ステップＳ１０５）。このステップＳ１０５で抽出された特徴量は、隠蔽物特徴量記憶部２２に記憶される。
　図４は、上記データ処理装置１０による照合処理の流れを表したフローチャートである。
　図４を参照すると、まず、照合パターンが入力されると（ステップＳ２０１）、データ処理装置１０は、特徴抽出部１２により、入力された照合パターンについて特徴量を抽出する（ステップＳ２０２）。
　次に、データ処理装置１０は、抽出された照合パターン（特徴量）と、図３のステップＳ１０２で抽出しておいた登録パターン（特徴量）とを非隠蔽部分について照合する（ステップＳ２０３）。このステップＳ２０３では、図３のステップＳ１０４で抽出された隠蔽部分でない部分、つまり登録時に顔に隠蔽がなかった部分、に相当する登録パターン（特徴量）と照合パターン（特徴量）との一致性を評価する照合処理が行われる。
　次に、データ処理装置１０は、ステップＳ２０２で抽出された照合パターン（特徴量）と図３のステップＳ１０５で抽出しておいた登録パターン（特徴量）とを照合する（ステップＳ２０４）。このステップＳ２０４では、図３のステップＳ１０４で抽出された隠蔽部分、つまり登録時に顔に隠蔽があった部分のパターン（特徴量）と、前記隠蔽部分に対応する照合パターン（特徴量）との一致性を評価する照合処理が行われる。
　次に、データ処理装置１０は、ステップＳ２０２で抽出された照合パターン（特徴量）と図３のステップＳ１０２で抽出された登録パターン（特徴量）とを隠蔽部分について不一致性を照合する（ステップＳ２０５）。このステップＳ２０５では、図３のステップＳ１０４で抽出された隠蔽部分、つまり登録時に顔に隠蔽があった部分、に相当する隠蔽がない登録パターン（特徴量）と照合パターン（特徴量）との不一致性を評価する照合処理が行われる。
　最後に、データ処理装置１０は、上記ステップＳ２０３、ステップＳ２０４、ステップＳ２０５の各照合結果に基づいて、照合パターンが登録人物のパターンであるか否かを判断して、人物認証の成否判定を行う（ステップＳ２０６）。この判断としては、個々の判定スコアを集計することとしてもよいし、より簡単には、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５それぞれの処理結果のＡＮＤ（論理積）をとればよい。
　本実施形態の場合、認証を受けたいユーザが正確に隠蔽部分を再現できずに、隠蔽部分が登録時と照合時で多少ずれてしまうことが考えられる。より望ましくは、ステップＳ２０４の隠蔽部分照合ステップでは単純に照合するのではなく、隠蔽部分の登録パターンを使って、登録時に隠蔽があった付近をテンプレートマッチングなどによって探索すれば、認証精度を向上させることができる。
　また、図３の例では、１つのフローチャートでわかりやすく説明するために、各ステップを順に処理するよう記載してあるが、隠蔽が無い顔全体の特徴量と隠蔽がある部分の特徴量が抽出されさえすれば構わないので、ステップの順番を変更しても良いし、並列に動作させても良いし、パターンの入力を複数回に分けても良い。さらに、登録データを新規に登録するのではなく変更するだけの場合には、隠蔽がない顔のパターンを変更する必要が必ずしもないので、隠蔽がない顔の入力と特徴抽出に相当するステップＳ１０１とＳ１０２を省略しても良い。
　また、図４の例でも、１つのフローチャートでわかりやすく説明するために、各ステップを順に処理するよう記載してあるが、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５の３つのステップについては、処理の順番を入れ替えても同じ結果を得られるし、並列に実行しても良い。
　一方、特徴抽出部１２が抽出する特徴量については、登録時の特徴抽出方式と照合時の特徴抽出方式が同じならば、どのような特徴量でも構わない。登録時の特徴抽出方式と照合時の特徴抽出方式が同じであれば、例えば、顔との特徴抽出の仕方と隠蔽部の特徴抽出の仕方が異なっていても良い。
　尚、上述したように、ステップＳ２０４とＳ２０５の処理は、どちらも登録時の隠蔽部分を検証していることになるので、片方のステップを省略しても最終的に認証結果を出力することができる。本実施形態では、両方のステップを実行することで、より正確な認証結果を得られるようにしている。
　本実施形態では、隠蔽位置のみならず、隠蔽部分そのものを特徴とみなして認証するが、この隠蔽については任意の物で作り出して構わない。人物本人の手や指でも構わないし、装飾具やカードなどの物体でもよい。特に、隠蔽物として特定の模様を表示できる装置や光源装置を利用すれば、簡単に異なる隠蔽状態を用意することが可能なので、登録パターンの変更が容易な認証システムが得られる。
　また、顔画像の一部分について通常状態の顔から変化があればそれを「隠蔽」に代えて認証に用いることもできる。例えば、顔の一部分の変化を作るのに物理的な隠蔽ではなく、任意の波長の光や模様を顔面に照射することで、顔画像の顔面上の一部分に影を作り出しても良い。さらに、顔の一部分の変化を作ることは、顔面上の器官の状態を変化させることでも実現できるので、例えば、顔の両目を閉じた状態や口を大きく空けた状態との相違を付加情報として保持して、認証に用いる認証システムとすることもできる。
　以上のように、本実施形態では、隠蔽がない顔全体の特徴量と隠蔽部分の特徴量を保持し、隠蔽が無い部分と隠蔽がある部分をそれぞれ照合するように構成されているため、登録時の隠蔽状態と照合時の隠蔽状態とを、任意の隠蔽について正しく比較することができる。このことから、登録時の隠蔽状態を変更することで、認証システムの登録パターンを容易に変更することが可能である。
　特に、本実施形態では、登録時の隠蔽部分、に相当する隠蔽がない登録パターン（特徴量）と照合パターン（特徴量）との不一致性も評価するように構成されているため、隠蔽の位置が照合時にズレている場合でも、隠蔽部分の評価を正しく行うことが可能である（事例は図７中段、下段）。
　また、本実施形態では、データ処理装置１０には登録パターン（画像）、照合パターン（画像）を入力するだけで動作するため、特許文献３のように複数の入力部を設ける必要が無く、カメラのような一般的な入力データ取得処理部から入力される画像を用いて精度の高い認証を行うことが可能である。このことから、入力データを取得する処理部の個数を増やさずに済み、しかも入力データ取得処理部がカメラといった非接触センサーの場合には、その非接触性という利点を損なわない。
　さらに、本実施形態では、一人の人物が複数の異なるパターンを登録パターンとして利用できるため、次のような効果も得られる。
　人物が複数の本発明に係る人物認証システムを利用する場合に、認証システム別に異なるパターンを登録しておけば、ある一つのシステムの登録パターンが偽造されても、他のシステムの認証に影響が及ばないというメリットが生じる。また、複数の登録パターンと人物認証を利用する複数のシステムとを１対１に対応づけておけば、認証に使われた登録パターンに応じて、複数のシステムから１つを自動的に選択できるというメリットが生じる。
［第２の実施形態］
　次に、上記第１の実施形態の人物認証システムのデータ処理装置を、登録装置と照合装置に分離した第２の実施形態について図面を参照して詳細に説明する。
　図５は、本発明の第２実施形態の人物認証システムの構成を示すブロック図である。本実施形態の人物認識システムは、登録時の処理を行う登録装置３００と、照合時の処理を行う照合装置４００とから構成される。
　登録装置３００は、データ処理装置３１０と記憶装置３２０とで構成され、データ処理装置３１０は隠蔽部分抽出部３１１と特徴抽出部３１２を含み、記憶装置３２０は顔特徴量記憶部３２１と隠蔽部分特徴量記憶部３２２とを含む。
　照合装置４００は、データ処理装置４１０と記憶装置４２０とで構成され、データ処理装置４１０は特徴抽出部４１２と非隠蔽部分照合部４１３と隠蔽部分不一致性照合部４１４と隠蔽部分照合部４１５と認証判定部４１６とを含み、記憶装置４２０は顔特徴量記憶部４２１と隠蔽部分特徴量記憶部４２２とを含む。
　上記した各処理部は、第１の実施形態の同一名の処理部と同じ動作をし、各記憶部は、第１の実施形態の同一名の記憶部と、同じ種類のデータを保持する。
　ただし、第１の実施形態の特徴抽出部１２が登録パターンと照合パターンの両方を処理するのに対して、第２の実施形態の特徴抽出部３１２は、登録パターンの特徴抽出処理を行い、第２の実施形態の特徴抽出部４１２は照合パターンの特徴抽出処理を行う。
　また、登録装置３００の動作により得られる登録パターンは記憶装置３２０の顔特徴量記憶部３２１と隠蔽部分特徴量記憶部３２２に保持されるが、このデータは照合装置４００の記憶装置４２０に保持されるべきデータと同一である。
　このため、図５の記憶装置３２０と記憶装置４２０については、実際にシステムを構成する際には、同一の装置であっても構わない。
　次に、本実施形態の全体の動作について図面を参照して詳細に説明する。本実施形態も第１実施形態と同様に、登録処理と照合処理の２種類の処理があり、それぞれが、登録装置と照合装置で実行される。
　登録処理は、図３に示した第１の実施形態の登録処理と同一であり、照合処理は、図３に示した第１の実施形態の照合処理と同一である。
　以上のように、本発明の第２の実施形態では、第１の実施形態と同様の効果に加えて、登録装置と照合装置が別の装置として構成されているため、登録のみ行う場合には登録装置のみ、照合のみ行う場合には認証装置のみを使うという利用方法が可能である。
　実際に人物認証システムを利用する場面においては、登録処理はパターンを登録又は変更する場合等のみ利用すれば良く、その一方で照合処理は認証が必要な場面すべてにおいて利用されるため、登録装置は照合装置より少ない個数でも良いことが多い。したがって、登録装置と照合装置を分離しておくと、登録装置の個数を削減でき、コスト削減効果を得られる。
［具体例］
　次に、上記した各実施形態の人物認証システムの動作をより具体的に説明すべく、図６～図８の模式図を用いて説明する。
　なお、以下の説明では、第１の実施形態の構成の人物認証システムを用いるものとし、データ処理装置１０はパーソナルコンピュータであり、記憶装置２０は、半導体メモリ又はハードディスクドライブであるものとする。隠蔽部分抽出部１１、特徴抽出部１２、非隠蔽部分照合部１３、隠蔽部分不一致性照合部１４、隠蔽部分照合部１５及び認証判定部１６は、上記した各処理部としてパーソナルコンピュータを機能させるコンピュータプログラムにより実現することができる。
　はじめに、図６を参照して、図３に示した登録処理の具体的動作を説明する。図３で説明した顔パターン入力ステップＳ１０１では、登録パターンとして隠蔽がない顔の画像が入力される（図６左上に相当）。この際、顔の画像が両目の位置などに応じて位置合わせされていると、この後の処理の精度が高くなる。
　図３で説明した顔特徴抽出ステップＳ１０２では、顔画像を照合するための特徴量を計算する。特徴量の種類については、画像のパターン認識の分野で一般的に使われている特徴量を利用すればよい。例えば、画像の輝度値を使っても良いし、画像からエッジを抽出したデータを特徴量としてもよい。
　図３で説明した隠蔽ありパターン入力ステップＳ１０３では、登録パターンとして顔に隠蔽がある画像が入力される（図６左下に相当）。この際、先の隠蔽がない顔の画像と同様に、顔の画像の位置合わせがなされていると、この後の処理の精度が高くなる。
　図３で説明した隠蔽部分抽出ステップＳ１０４では、顔に隠蔽がある画像と隠蔽がない画像について差分をとればよい（図６右に相当）。例えば、画素単位で輝度値の差分を計算し、差分値が一定値以上となる領域をラベリング処理する。ラベリング処理とは画像処理の一種で、画素まとまりに固有のラベルをつける処理である。ラベリング処理した結果として、一定以上の面積を持つ部分領域があれば、その部分領域を隠蔽部分として抽出する。尚、処理を簡略化するために、隠蔽部分の扱いについては、隠蔽形状の外接矩形として処理しても構わない。
　図３で説明した隠蔽部分特徴抽出ステップＳ１０５では、隠蔽があると判断された部分領域について特徴抽出する。例えば、エッジを抽出したデータを特徴量とすることができる。
　なお、特徴量の種類については、図４で説明した照合処理のステップＳ２０３、Ｓ２０４、Ｓ２０５において、登録側と照合側で直接比較する特徴量の種類が同じであれば問題ないので、必ずしも上記隠蔽がない顔の画像の特徴量抽出方法（ステップＳ１０２）と上記隠蔽のある顔の画像の特徴量抽出方法（ステップＳ１０５）とが同一である必要はない。
　次に、図７、図８を参照して、図４に示した照合処理の具体的動作を説明する。図４で説明した照合パターン入力ステップＳ２０１では、照合する対象のパターンとして画像が入力される。この際、顔の画像を両目の位置などに応じて位置合わせされていると、この後の処理の精度が高くなる。
　図４で説明した特徴量抽出ステップＳ２０２では、顔画像を照合するための特徴量を計算する。ここで計算する特徴量は、先述の通り、照合処理のステップＳ２０３、Ｓ２０４、Ｓ２０５において、登録側と照合側とで直接比較する特徴量の種類が同じになるように選択される。例えば、登録パターンの特徴量を、画像からエッジを抽出したデータで統一した場合は、照合側においても、そのデータを特徴量とすればよい。
　図４で説明した非隠蔽部分照合ステップＳ２０３では、登録時に隠蔽部分と判断されなかった部分について、登録パターン（特徴量）と照合パターン（特徴量）とが一致しているかどうか照合する（図７の上段を参照）。つまり、抽出された特徴量の一部分のみを使って一致性を評価する。この照合処理としては、例えば、正規化相関を計算すれば類似度が求まり、この値を照合結果のスコア（一致性の評価値）とすればよい。
　ここでは登録時に隠蔽されていなかった場所に相当する部分を除いたデータについて計算をしているが、特許文献２にあるように、任意の隠蔽がある場合にも画像照合ができる手法によって照合する場合には、登録時に隠蔽されていた部分も含んだ画像同士で一致性を計算することも可能である。
　図４で説明した隠蔽部分照合ステップＳ２０４では、登録時に隠蔽部分と判断された部分について、隠蔽がある登録パターン（特徴量）と照合パターン（特徴量）とが一致しているかどうか照合する（図７の中段を参照）。つまり、抽出された特徴量の一部分のみを使って一致性を評価する。この照合処理としては、例えば、正規化相関を計算すれば類似度が求まるので、この値を照合結果のスコアとすればよい。
　図４で説明した隠蔽部分不一致性照合ステップＳ２０５では、登録時に隠蔽部分と判断された部分について、隠蔽がない登録パターン（特徴量）と照合パターン（特徴量）とが不一致であるかどうか照合する（図７の下段を参照）。つまり、抽出された特徴量の一部分のみを使って不一致性を評価する。この不一致性照合処理としては、例えば、正規化相関を計算すれば類似度が求まるので、この類似度の大小を反転した値を不一致性照合結果のスコアとすればよい。
　なお、第１の実施形態で説明したとおり、実際に本発明を人間が利用する際には、隠蔽部分が登録時と照合時でずれてしまうことが予想される（図８参照）。この場合、図８に示すように、隠蔽がある登録パターン（特徴量）と照合パターン（特徴量）との一致性が低いと判断されてしまうことが考えられる。このような現象を回避するためには、隠蔽がある登録パターンをテンプレートとして使って、登録時の隠蔽部分付近をテンプレートマッチング処理によって探索すれば、隠蔽部分照合ステップＳ２０４の照合精度を高めることができるので、実利用においては認証精度を向上できる（図８中段を参照）。
　図４で説明した認証判定ステップＳ２０６では、上記したステップＳ２０３、Ｓ２０４、Ｓ２０５の３つの照合結果を統合して、登録された人物と照合対象の人物が同一人物かつ、同一の隠蔽が生じているかを判定する。例えば、３つの照合ステップで得られたスコアをそれぞれ閾値判定し、各ステップの結果全てが照合成功（ステップＳ２０５については不一致性あり）と判定された場合に認証成功とし、そうではない場合に認証失敗とすればよい。
　但し、図８に示したように、隠蔽部分が登録時度照合時でずれてしまうことが予想されるなら、隠蔽部分照合ステップＳ２０６による照合スコアの閾値を低くする、つまり一致性がある程度高くなくても、同一の隠蔽が生じていると判断するように設定すると良い。
　以上、本発明の好適な実施形態及びその具体例を説明したが、本発明は、上記した実施形態やその具体例に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、上記した実施形態では、顔認証を行うものとして説明したが、その他の生体パターン、例えば、指紋、虹彩、静脈パターン等により、個人認証を行うシステムにも同様に、付加情報の設定受け付け、保持することで実現することが可能である。
　また例えば、上記した実施形態では、顔の隠蔽や表情の変化を、付加情報として保持するものとして説明したが、その他の生体パターン、例えば、指紋、静脈パターン等を用いる場合には、顔画像のように、手で覆ったり、表情を変化させることは困難になるが、パターンの一部を覆うことのできるシール等を指先や手の甲に貼り付けることにより、隠蔽や変化を設定することができる。
　あるいは、登録装置側に、画像加工ソフトウェア等により実現される、ユーザから、隠蔽する箇所や隠蔽パターンの種類、変化を与える箇所や変化を与える画像エフェクト等を受け付ける付加情報入力処理部を設けてもよい。認証装置側にも同等の付加情報入力部を設けることで、上記した顔認証システムと同様の偽造データの行使が困難な認証システムを得ることができる。
　上述の実施の形態および具体例では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理、たとえば図３および図４のフローチャートに記載の処理手順を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記憶媒体に記憶して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。また、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。
　この出願は、２００８年１１月１９日に出願された日本出願特願２００８－２９５９５７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、たとえば、銀行等のＡＴＭ（Automated Teller Machine）等の認証システムにおいて用いられる、バイオメトリクス認証分野に利用開能である。また、その他認証を要する様々なシステムで利用可能性を有するものである。
　１０、３１０、４１０　　データ処理装置
　２０、３２０、４２０　　記憶装置
　３００　　登録装置
　４００　　照合装置
　１１、３１１　　隠蔽部分抽出部
　１２、３１２、４１２　　特徴抽出部
　１３、４１３　　非隠蔽部分照合部
　１４、４１４　　隠蔽部分不一致性照合部
　１５、４１５　　隠蔽部分照合部
　１６、４１６　　認証判定部
　２１、３２１、４２１　　顔特徴量記憶部
　２２、３２２、４２２　　隠蔽部分特徴量記憶部
　Ｓ１０１　　顔パターン入力ステップ
　Ｓ１０２　　顔特徴抽出ステップ
　Ｓ１０３　　隠蔽ありパターン入力ステップ
　Ｓ１０４　　隠蔽部分抽出ステップ
　Ｓ１０５　　隠蔽部分特徴抽出ステップ
　Ｓ２０１　　照合パターン入力ステップ
　Ｓ２０２　　特徴量抽出ステップ
　Ｓ２０３　　非隠蔽部分照合ステップ
　Ｓ２０４　　隠蔽部分照合ステップ
　Ｓ２０５　　隠蔽部分不一致性照合ステップ
　Ｓ２０６　　認証判定ステップ

Claims (18)

  1. 　予め登録された認証用生体パターンに対して、該認証用生体パターンを有するユーザが再現可能な変化に関する付加情報を保持しておき、
    　前記付加情報を用いて再現した前記認証用生体パターンと、認証時に入力されたパターンとの一致性を判定要素として、認証の成否を判定する認証装置。
  2. 　前記付加情報として、前記認証用生体パターンのうちユーザにより指定された隠蔽部分を保持する請求項１に記載の認証装置。
  3. 　前記認証用生体パターンの非隠蔽部分と、前記認証時に入力されたパターンの前記非隠蔽部分に対応する部分の一致性を評価する非隠蔽部分照合手段と、
    　前記認証用生体パターンの隠蔽部分と、前記認証時に入力されたパターンの前記隠蔽部分に対応する部分の一致性を評価する隠蔽部分照合手段と、
    　前記各手段の結果に基づいて認証の成否を判定する認証判定手段と、
    　を備えた請求項２に記載の認証装置。
  4. 　前記認証用生体パターンの非隠蔽部分と、前記認証時に入力されたパターンの前記非隠蔽部分に対応する部分の一致性を評価する非隠蔽部分照合手段と、
    　前記認証用生体パターンの隠蔽部分を非隠蔽にしたパターンと、前記認証時に入力されたパターンの前記隠蔽部分に対応する部分の不一致性を評価する隠蔽部分不一致性照合手段と、
    　前記各手段の結果に基づいて認証の成否を判定する認証判定手段と、
    　を備えた請求項２に記載の認証装置。
  5. 　更に、入力されたパターンの特徴量を抽出する特徴抽出手段を備え、
    　前記特徴量に基づいて、前記一致性又は不一致性の評価を行う請求項１ないし４いずれか一に記載の認証装置。
  6. 　更に、入力された２以上の認証用生体パターンから、前記付加情報として保持すべき変化を抽出する差分抽出手段を備えた請求項１ないし５いずれか一に記載の認証装置。
  7. 　前記隠蔽部分照合手段は、前記認証時に入力されたパターンから、前記登録時の認証用生体パターンの隠蔽部分のパターンと類似する箇所を探索し、前記登録時の認証用生体パターンの隠蔽部分のパターンと前記探索した箇所との一致性を評価する請求項３、５、６いずれか一に記載の認証装置。
  8. 　認証用生体パターンを入力する手段と、
    　ユーザから、該認証用生体パターンに対して該ユーザが再現可能な変化に関する情報を受け付ける手段と、を備え、
    　請求項１ないし７いずれか一に記載の認証装置に、登録時の認証用生体パターンと、前記ユーザが再現可能な変化に関する情報を提供する登録装置。
  9. 　更に、入力された２つの認証用生体パターンを比較して、前記付加情報として保持すべき変化を抽出する差分抽出手段を備える請求項８に記載の登録装置。
  10. 　更に、入力されたパターンの特徴量を抽出する特徴抽出手段を備え、
    　前記認証装置に、前記登録時の認証用生体パターンと、隠蔽部分に関する情報を、特徴量に変換して提供する請求項８又は９に記載の登録装置。
  11. 　前記認証用生体パターンの変更条件に対し、前記付加情報の変更条件が緩和されている請求項８ないし１０いずれか一に記載の登録装置。
  12. 　請求項１ないし７いずれか一に記載の認証装置と、
    　請求項８ないし１１いずれか一に記載の登録装置と、を含む認証システム。
  13. 　予め登録された認証用生体パターンに対して、該認証用生体パターンを有するユーザが再現可能な変化に関する付加情報を保持しておき、
    　前記付加情報を用いて再現した前記認証用生体パターンと、認証時に入力されたパターンとの一致性を判定要素として、認証の成否を判定する認証方法。
  14. 　前記付加情報として、前記認証用生体パターンのうちユーザにより指定された隠蔽部分を保持する請求項１３に記載の認証方法。
  15. 　前記登録時の認証用生体パターンの非隠蔽部分と、前記認証時に入力されたパターンの前記非隠蔽部分に対応する部分の一致性を評価する非隠蔽部分照合ステップと、
    　前記登録時の認証用生体パターンの隠蔽部分と、前記認証時に入力されたパターンの前記隠蔽部分に対応する部分の一致性を評価する隠蔽部分照合ステップと、を含み、
    　前記各ステップの結果に基づいて認証の成否を判定する請求項１４に記載の認証方法。
  16. 　前記登録時の認証用生体パターンの非隠蔽部分と、前記認証時に入力されたパターンの前記非隠蔽部分に対応する部分の一致性を評価する非隠蔽部分照合ステップと、
    　前記登録時の認証用生体パターンの隠蔽部分を非隠蔽にしたパターンと、前記認証時に入力されたパターンの前記隠蔽部分に対応する部分の不一致性を評価する隠蔽部分不一致性照合ステップと、を含み、
    　前記各ステップの結果に基づいて認証の成否を判定する請求項１４に記載の認証方法。
  17. 　予め登録された認証用生体パターンに対して、該認証用生体パターンを有するユーザが再現可能な変化に関する付加情報の入力を受け付ける処理と、
    　前記付加情報を用いて再現した前記認証用生体パターンと、認証時に入力されたパターンとの一致性を判定要素として、認証の成否を判定する処理と、をコンピュータに実行させるプログラムが格納された記憶媒体。
  18. 　請求項１ないし７いずれか一に記載の認証装置に、登録時の認証用生体パターンと、該認証用生体パターンに対して該ユーザが再現可能な変化に関する情報を提供する登録装置を構成するコンピュータに実行させるプログラムであって、
    　所定の入力装置から、認証用生体パターンを入力する処理と、
    　前記該認証用生体パターンに対してユーザが再現する変化に関する情報の入力を受け付ける処理と、を前記コンピュータに実行させるプログラムが格納された記憶媒体。
PCT/JP2009/005164 2008-11-19 2009-10-05 認証システム、装置、認証方法及びプログラムが格納された記憶媒体 WO2010058514A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010539119A JP5531963B2 (ja) 2008-11-19 2009-10-05 認証システム、装置、認証方法及びプログラム
US13/129,523 US8660321B2 (en) 2008-11-19 2009-10-05 Authentication system, apparatus, authentication method, and storage medium with program stored therein

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008295957 2008-11-19
JP2008-295957 2008-11-19

Publications (1)

Publication Number Publication Date
WO2010058514A1 true WO2010058514A1 (ja) 2010-05-27

Family

ID=42197958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/005164 WO2010058514A1 (ja) 2008-11-19 2009-10-05 認証システム、装置、認証方法及びプログラムが格納された記憶媒体

Country Status (3)

Country Link
US (1) US8660321B2 (ja)
JP (1) JP5531963B2 (ja)
WO (1) WO2010058514A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971157A (zh) * 2017-03-22 2017-07-21 重庆科技学院 基于多元线性回归联想记忆模型的指纹和人脸耦合识别方法
WO2017183543A1 (ja) * 2016-04-21 2017-10-26 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、及びプログラム
US9977949B2 (en) 2015-10-27 2018-05-22 Kabushiki Kaisha Toshiba Impersonation detector
JP2022130594A (ja) * 2020-07-09 2022-09-06 日本電気株式会社 装置、方法、プログラム、および生体情報変更プログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI539386B (zh) * 2011-11-21 2016-06-21 Pixart Imaging Inc The use of a variety of physiological information mixed identification of the identity of the system and methods
US9195900B2 (en) * 2011-11-21 2015-11-24 Pixart Imaging Inc. System and method based on hybrid biometric detection
US9721086B2 (en) 2013-03-15 2017-08-01 Advanced Elemental Technologies, Inc. Methods and systems for secure and reliable identity-based computing
US9378065B2 (en) 2013-03-15 2016-06-28 Advanced Elemental Technologies, Inc. Purposeful computing
JP6311237B2 (ja) * 2013-08-23 2018-04-18 日本電気株式会社 照合装置及び照合方法、照合システム、並びにコンピュータ・プログラム
KR101956071B1 (ko) 2015-01-13 2019-03-08 삼성전자주식회사 사용자 인증 방법 및 장치
CN105139039B (zh) * 2015-09-29 2018-05-29 河北工业大学 视频序列中人脸微表情的识别方法
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN110175594B (zh) * 2019-05-31 2021-07-30 Oppo广东移动通信有限公司 静脉识别方法及相关产品
JP6707702B1 (ja) 2019-09-18 2020-06-10 株式会社ソリトンシステムズ ユーザ認証装置及びプログラム
US11068702B1 (en) * 2020-07-29 2021-07-20 Motorola Solutions, Inc. Device, system, and method for performance monitoring and feedback for facial recognition systems
CN115050149B (zh) * 2022-06-17 2023-08-04 郑州铁路职业技术学院 基于人脸识别的自助取款机及其取款方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240941A (ja) * 1997-03-03 1998-09-11 Canon Inc 入力データ認識装置と入力データの認識方法
JP2003233816A (ja) * 2002-02-13 2003-08-22 Nippon Signal Co Ltd:The アクセスコントロールシステム
JP2007026330A (ja) * 2005-07-20 2007-02-01 Olympus Imaging Corp 本人認証装置及び本人認証方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520442A (ja) 1991-07-17 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 顔画像照合装置
WO2002025457A1 (fr) 2000-09-20 2002-03-28 Cai Co., Ltd. Dispositif et procede d'authentification personnelle hybride et support enregistre
JP4153691B2 (ja) * 2001-11-06 2008-09-24 株式会社東芝 顔画像照合装置及び顔画像照合方法
JP4161659B2 (ja) 2002-02-27 2008-10-08 日本電気株式会社 画像認識システム及びその認識方法並びにプログラム
JP4639033B2 (ja) * 2003-01-29 2011-02-23 キヤノン株式会社 認証装置及び認証方法と認証プログラム
US20070098303A1 (en) * 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
WO2007059105A2 (en) * 2005-11-14 2007-05-24 Kin Kwok Lee Systems and methods for anti-counterfeit authentication
JP2007148872A (ja) 2005-11-29 2007-06-14 Mitsubishi Electric Corp 画像認証装置
JP2008123206A (ja) 2006-11-10 2008-05-29 Sony Corp 登録装置、照合装置、登録方法、照合方法及びプログラム
WO2008080414A1 (en) * 2006-12-28 2008-07-10 Telecom Italia S.P.A. Method and system for biometric authentication and encryption

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240941A (ja) * 1997-03-03 1998-09-11 Canon Inc 入力データ認識装置と入力データの認識方法
JP2003233816A (ja) * 2002-02-13 2003-08-22 Nippon Signal Co Ltd:The アクセスコントロールシステム
JP2007026330A (ja) * 2005-07-20 2007-02-01 Olympus Imaging Corp 本人認証装置及び本人認証方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977949B2 (en) 2015-10-27 2018-05-22 Kabushiki Kaisha Toshiba Impersonation detector
WO2017183543A1 (ja) * 2016-04-21 2017-10-26 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2017183543A1 (ja) * 2016-04-21 2019-02-28 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、及びプログラム
JP7075703B2 (ja) 2016-04-21 2022-05-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11810399B2 (en) 2016-04-21 2023-11-07 Sony Corporation Information processing device, information processing method, and program
CN106971157A (zh) * 2017-03-22 2017-07-21 重庆科技学院 基于多元线性回归联想记忆模型的指纹和人脸耦合识别方法
JP2022130594A (ja) * 2020-07-09 2022-09-06 日本電気株式会社 装置、方法、プログラム、および生体情報変更プログラム

Also Published As

Publication number Publication date
US20110216947A1 (en) 2011-09-08
JPWO2010058514A1 (ja) 2012-04-19
US8660321B2 (en) 2014-02-25
JP5531963B2 (ja) 2014-06-25

Similar Documents

Publication Publication Date Title
JP5531963B2 (ja) 認証システム、装置、認証方法及びプログラム
KR102455633B1 (ko) 라이브니스 검사 방법 및 장치
Jain et al. Biometric identification
Ross et al. Handbook of multibiometrics
Ortega-Garcia et al. Authentication gets personal with biometrics
Schouten et al. Biometrics and their use in e-passports
Dharavath et al. Study on biometric authentication systems, challenges and future trends: A review
JP2020074174A (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
Ko Multimodal biometric identification for large user population using fingerprint, face and iris recognition
KR100745002B1 (ko) 대조 시스템 및 대조 시스템의 프로그램 체크 방법
JP4546168B2 (ja) 生体認証システムの登録方法、生体認証システム及びそのプログラム
US20060056662A1 (en) Method of multiple algorithm processing of biometric data
WO2019130670A1 (ja) 生体認証システム
Poh et al. Addressing missing values in kernel-based multimodal biometric fusion using neutral point substitution
CN109657528A (zh) 指纹识别方法以及使用指纹识别方法的电子装置
Deriche Trends and challenges in mono and multi biometrics
KR101972800B1 (ko) 수기 서명 인증 방법 및 장치
Jacob et al. Feature level fusion using multiple fingerprints
KR102144289B1 (ko) 다중 인증 알고리즘을 기반으로 한 수기서명 인증 방법 및 장치
KR20040038553A (ko) 지문 영상의 전역적 정보 및 지역적 특성 정보의 조합을이용한 지문 인증방법
Beukes Hand vein-based biometric authentication with limited training samples
JP6346359B1 (ja) 署名照合システム
Pankanti et al. Biometrics: Promising frontiers for emerging identification market
Sharma et al. Proposed Algorithm for Secured Transaction using 3-Tier Architecture
Yang et al. Biometrics education with hands-on labs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09827296

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010539119

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13129523

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09827296

Country of ref document: EP

Kind code of ref document: A1