WO2020065954A1 - 認証装置、認証方法および記憶媒体 - Google Patents

認証装置、認証方法および記憶媒体 Download PDF

Info

Publication number
WO2020065954A1
WO2020065954A1 PCT/JP2018/036424 JP2018036424W WO2020065954A1 WO 2020065954 A1 WO2020065954 A1 WO 2020065954A1 JP 2018036424 W JP2018036424 W JP 2018036424W WO 2020065954 A1 WO2020065954 A1 WO 2020065954A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
image
target
information
calculated
Prior art date
Application number
PCT/JP2018/036424
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
尚司 谷内田
知里 舟山
塚田　正人
有加 荻野
慶一 蝶野
恵美 北川
吉田　康彦
祐輔 森
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to SG11202103136VA priority Critical patent/SG11202103136VA/en
Priority to JP2020547826A priority patent/JP7188446B2/ja
Priority to US17/279,237 priority patent/US11837030B2/en
Priority to PCT/JP2018/036424 priority patent/WO2020065954A1/ja
Priority to EP18934956.6A priority patent/EP3859662A4/en
Publication of WO2020065954A1 publication Critical patent/WO2020065954A1/ja
Priority to US17/681,995 priority patent/US20220189212A1/en
Priority to US17/682,000 priority patent/US11756338B2/en
Priority to US18/221,309 priority patent/US20230368582A1/en
Priority to US18/221,319 priority patent/US20230368583A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an authentication device for authenticating an object.
  • Biometrics-based authentication which is based on individual differences in the living body, has a lower risk of leakage and theft than passwords created by users. For this reason, examples of introducing personal authentication based on individual differences between living organisms for the purpose of identifying individuals and confirming rights and for the purpose of security protection are increasing.
  • a personal authentication technology based on individual differences between living bodies there is known a personal authentication technology that uses a fingerprint (Fingerprint), vein (Vein), face (Face), iris (Iris), voice (Voice), or the like as biometric information. .
  • walk-through authentication For companies and organizations that operate commercial facilities and large event venues, we want to use walk-through authentication in the entrance management system for the purpose of strengthening security measures for entrance and exit management of many users and achieving convenience for users at the same time.
  • a living body (user) to be authenticated only walks in a predetermined section without stopping in front of the authentication camera. This makes it possible to execute the authentication process at the highest speed for most users to be authenticated and without making the user aware of the authentication process.
  • face authentication and iris authentication in combination with the walk-through authentication as the multimodal authentication because authentication data can be collected only by photographing a camera without touching the user.
  • the time required for authentication is limited because the user is moving. Specifically, the time from when the user enters the authentication gate to capture an image for authentication (authentication start time) to when the user finishes authentication and passes through the authentication gate exit (authentication completion time) is about several seconds. Is limited to For this reason, when the positions of the authentication areas are close to each other as in the combination of face authentication and iris authentication, two types of authentication processing must be executed at high speed at almost the same timing, and a plurality of cameras and many hardware resources are required. I do.
  • the present disclosure has been made in view of the above-described problems, and has as its object to provide an authentication device or the like that can perform highly accurate authentication within a predetermined time with a small amount of hardware resources for an authentication target that is moving.
  • an authentication device includes: Detecting means for detecting an authentication target moving in a predetermined direction in a video of a predetermined area; First image input means for inputting a first image of the detected whole body of the target, First storage means for storing whole-body characteristic information relating to one or more authentication targets; Calculating feature information from an image of the whole body of the subject captured in the first image; comparing the calculated feature information with the feature information of the whole body stored in the first storage unit; First authentication means for extracting candidate information of one or more targets from the first storage means, Second image input means for inputting a second image of the iris of at least one of the right eye and the left eye of the object moving in the predetermined direction detected by the detection means, Second storage means for storing the iris characteristic information of the right eye and the left eye according to the one or more authentication targets; For each target included in the candidate information, the matching score is calculated by comparing the iris feature information calculated from the second image with one or more iris feature information
  • An authentication method includes: Detecting an authentication target moving in a predetermined direction in a video of a predetermined area, Inputting a first image of the detected whole body of the subject, Calculating characteristic information from an image of the whole body of the object captured in the first image, and storing the calculated characteristic information and first and second whole body characteristic information relating to one or more authentication targets in a first storage unit
  • the first authentication is performed by comparing the obtained information with the characteristic information of the whole body, and candidate information of one or more of the objects is extracted from the first storage unit based on a result of the first authentication, Inputting a second image of the iris of at least one of the right eye and the left eye of the object moving in the detected direction detected, For each object included in the candidate information, one or more iris feature information stored in a second storage unit that stores the iris feature information of the right eye and the left eye relating to the one or more authentication targets; A comparison score is calculated by comparing the feature information of the iris calculated from the second image, and a
  • An authentication program includes: Detecting an authentication target moving in a predetermined direction in a video of a predetermined area, Inputting a first image of the detected whole body of the subject, Calculating characteristic information from an image of the whole body of the object captured in the first image, and storing the calculated characteristic information and first and second whole body characteristic information relating to one or more authentication targets in a first storage unit
  • the first authentication is performed by comparing the obtained information with the characteristic information of the whole body, and candidate information of one or more of the objects is extracted from the first storage unit based on a result of the first authentication, Inputting a second image of the iris of at least one of the right eye and the left eye of the object moving in the detected direction detected, For each object included in the candidate information, one or more iris feature information stored in a second storage unit that stores the iris feature information of the right eye and the left eye relating to the one or more authentication targets; A comparison score is calculated by comparing the feature information of the iris calculated from the second image, and a
  • the authentication program may be stored in a storage medium.
  • an authentication device or the like that can perform highly accurate authentication within a predetermined time with a small amount of hardware resources for a moving authentication target.
  • FIG. 1 is an example diagram of a configuration of a biometric authentication device according to a first embodiment of the present disclosure. It is an example figure of the image of the target user who moves to a specific direction.
  • FIG. 7 is an example diagram of a first image acquired from an image of a target user moving in a specific direction.
  • FIG. 9 is an example diagram of a second image acquired from an image of a target user moving in a specific direction.
  • 5 is a flowchart illustrating an operation example of the biometric authentication device according to the first embodiment of the present disclosure. It is an example figure of composition of a biometrics authentication device concerning a 2nd embodiment of this indication.
  • FIG. 6 is a diagram illustrating a configuration example of data stored in a second storage unit.
  • FIG. 11 is a flowchart illustrating an operation example of the biometric authentication device according to the second embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating a configuration example of a biometric authentication device according to a third embodiment of the present disclosure. 13 is a flowchart illustrating an operation example of the biometric authentication device according to the third embodiment of the present disclosure.
  • FIG. 4 is an example of a configuration of an information processing device that can be used in the first to third embodiments.
  • Authentication in each embodiment is mainly biometric authentication.
  • the authentication target is mainly a living body, and includes a person (user), an animal, and the like.
  • the object of authentication may include something other than a living body, for example, a mannequin.
  • an authentication target is also referred to as a “target user”.
  • biometric authentication there are a plurality of pieces of information such as an ultrasonic graph, an image of a living body, and audio data.
  • an example will be mainly described using an image (specifically, an iris image), but this is not intended to limit each embodiment.
  • Gait authentication, humanoid authentication, face authentication, iris authentication, and the like are suitable for performing multimodal authentication without contacting the user to be authenticated.
  • the humanoid authentication refers to authentication performed based on physical characteristics (for example, height, body width, limb length, face contour, and the like, or a combination thereof) of the person to be authenticated.
  • Gait authentication refers to the characteristics of the walking pattern of the person to be authenticated (for example, the posture during walking, the stride length, the way the arms are swung, the left-right asymmetry of the customary movement (whether or not you have a shoulder bag, etc. on a fixed side, etc.). ), Or a combination thereof).
  • gait authentication and humanoid authentication are easy to authenticate from an image of the whole body of the user to be authenticated that can be taken from a distance. If the right and left eyes can be accurately photographed in the vicinity of the user to be authenticated, the most accurate authentication result can be expected in iris authentication.
  • the target user moves from the entrance to the exit of the authentication gate over several seconds to several tens of seconds, although there are individual differences. For this reason, gait authentication or humanoid authentication using the whole body image is performed as the first authentication for the target user near the entrance of the distant authentication gate, and based on the result of the first authentication, the exit of the authentication gate is performed. Perform iris authentication using the left and right eye images for the target user who has moved closer.
  • the candidates of the target user are narrowed down by the first authentication, the number of the target user candidates to be subjected to the iris authentication is considerably small. As a result, a highly accurate authentication result can be obtained quickly.
  • a biometric authentication device for performing the walk-through authentication as described above will be described in detail.
  • the biometric authentication device 100 includes a detection unit 11, a first image input unit 12, a second image input unit 13, a first authentication unit 14, a first storage unit 15, a second authentication unit 16, 2 storage unit 17 is provided.
  • the detection unit 11 detects an authentication target user who is moving in a predetermined direction in an image of a predetermined area from an entrance gate to an exit gate of the authentication execution area.
  • the detection unit 11 is connected to an external camera 10 as shown in FIG.
  • the camera 10 is a camera for photographing a user to be authenticated.
  • One or a plurality of cameras 10 may be provided.
  • the detection unit 11 detects a user who moves in a specific direction in an image (including a moving image and a still image; the same applies to the following) captured by the camera 10.
  • the movement in the specific direction means that, for example, in the case of walk-through authentication, the user walks from the entrance gate to the exit gate of the authentication execution area.
  • the specific direction means a direction from the entrance gate to the exit gate.
  • the camera 10 first photographs the user at a position 1 near the entrance gate.
  • an entrance gate is arranged on the back side, and an exit gate is arranged on the near side.
  • the camera 10 is fixed to a position (a wall, a gate, or the like) at which an image as shown in FIG. 2 can be taken.
  • the detecting unit 11 determines that the user has been authenticated. , As the target user.
  • the detected image data of the region including the whole body of the target user is input to the first image input unit 12 as a first image (see FIG. 3).
  • detection unit 11 determines that user as an authentication target again.
  • the user is determined and detected as the target user.
  • the detected image data of the region including the left and right eyes of the target user is input to the second image input unit 13 as a second image (see FIG. 4).
  • the selection process of the image region including the body of the user is performed by the detection unit 11 and then the first image input unit 12 or the second image input unit. 13, or may be performed by the first image input unit 12 or the second image input unit 13 that receives an image captured by the camera 10.
  • the above processing may be performed by the camera 10.
  • the detection unit 11 may stop outputting the images to the first image input unit 12 and the second image input unit 13. That is, the first image input unit 12 and the second image input unit 13 stop inputting an image of the target user who has started moving in a direction other than the predetermined direction. This is because even if a user is mistakenly identified as a target user, he or she may be a monitor or maintenance person in the authentication execution area, or the authentication may be stopped halfway because the target user has left something behind. is there.
  • the first image input unit 12 inputs, from the detection unit 11, a first image (see FIG. 3) of an area including the whole body of the user moving in a specific direction.
  • the first storage unit 15 stores the whole-body characteristic information of one or more users to be authenticated.
  • the whole-body characteristic information includes human-shaped characteristic information used for human-type authentication, gait characteristic information used for gait authentication, and the like.
  • the humanoid feature information is, for example, a pattern such as height and body width extracted from a silhouette of the whole body image.
  • the silhouette of the whole body image is extracted using, for example, a background difference between the image of the color camera and the image of the infrared camera.
  • Gait feature information is, for example, STHOG (Spatio-Temporal / Histograms / of / Oriented / Gradient) feature information, which is a gait feature based on spatiotemporal luminance gradient, and frequency domain feature information using gait silhouette volume (Gait / Silhouette / Volume). And so on.
  • STHOG Session-Temporal / Histograms / of / Oriented / Gradient
  • Gait silhouette volume Gait / Silhouette / Volume
  • the first authentication unit 14 calculates feature information from an image of the whole body of the target user captured in the first image, and compares the calculated feature information with the whole body feature information stored in the first storage unit 15. Then, candidate information of one or more target users is extracted from the first storage unit 15 based on the comparison result.
  • the candidate information is information that can specify a candidate of the target user, for example, an ID (IDentifier) of the target user.
  • the first authentication has a function as a pre-filter of the second authentication.
  • the first authentication unit 14 outputs the extracted candidate information of the target user to the second authentication unit 16.
  • the second image input unit 13 inputs a second image (see FIG. 4) of the target user moving in the predetermined direction detected by the detection unit 11 and at least one of the iris of the right eye and the left eye. It should be noted that which of the left and right eyes can be determined from the shape of the inner corner of each eye.
  • the second image input unit 13 preferably inputs images for both eyes. However, when the camera 10 cannot acquire an image of one eye (for example, cannot take an image due to bangs, cannot take an image due to reflection of eyeglasses, etc.), an image of the other eye that can be taken is taken.
  • the second storage unit 17 stores the feature information of the iris of the right eye and the left eye of one or more users to be authenticated.
  • the iris feature information is, for example, an iris code (see feature information in FIG. 7) generated based on the Dogman algorithm.
  • the second authentication unit 16 inputs candidate information from the first authentication unit 14.
  • the second authentication unit 16 compares the iris feature information calculated from the second image with one or more iris feature information stored in the second storage unit 17 for each target user included in the candidate information.
  • a matching score is calculated based on the calculated matching score, the target user photographed in the first image and the second image is authenticated based on the calculated matching score, and an authentication result is output.
  • the collation score is a value obtained by calculating the number of different bits (calculating the Hamming distance) between the iris code of the target user and the iris code registered in the second storage unit 17.
  • the second authentication unit 16 calculates the iris feature information from the second image linked to the left and right information for each target user included in the candidate information.
  • the second image linked to the left and right information refers to the iris image of the right eye tagged as “right eye” or the iris image of the left eye tagged as “left eye” (FIG. 4 (see second image). It should be noted that any of the left and right eyes may be a tagged iris code. An example in which an iris code is used as iris feature information will be described.
  • the second authentication unit 16 specifies an iris boundary line from the iris image received from the second image input unit 13 and extracts an iris portion. Further, the second authentication unit 16 encodes an iris pattern by applying a two-dimensional Gabor filter to the extracted information of the iris portion, and generates an iris code.
  • the iris code is, for example, a digitally encoded code of 2048 bits.
  • the second authentication unit 16 compares the calculated feature information with the feature information of a plurality of users related to the left and right information stored in the second storage unit 17. Specifically, in the case of the iris image tagged with the right eye, the second authentication unit 16 compares the iris image with the feature information of only the right eye stored in the second storage unit 17 and tags the iris image with the left eye. In the case of an iris image, it is compared with the feature information of only the left eye stored in the second storage unit 17. The second authentication unit 16 obtains a collation score as a result of the comparison.
  • the second authentication unit 16 authenticates that the user captured in the second image is a registered user (authorized user), and If the value is less than the threshold value, it is authenticated that the user photographed in the second image is not a registered user.
  • the second authentication unit 16 outputs the authentication result to the external display unit 20.
  • the display unit 20 is a liquid crystal display or the like, and can display the authentication result so that the target user or the administrator of the authentication execution area can view the authentication result.
  • the user photographed in the second image is the user photographed in the first image.
  • the authentication result may be publicized by voice notification using a speaker or a buzzer, lighting of a lamp, or the like.
  • the operation of the biometric authentication device 100 according to the first embodiment will be described with reference to the flowchart in FIG. It is assumed that the first storage unit 15 stores in advance the whole-body characteristic information of a plurality of users who can be an authentication target. It is assumed that the second storage unit 17 stores in advance the iris characteristic information of the right eye and the left eye for a plurality of users who can be an authentication target.
  • step S101 the detection unit 11 detects a user in the image of the authentication execution area captured by the camera 10 (see FIG. 2).
  • step S102 the detection unit 11 detects whether the user is moving in a direction from the entrance to the exit of the authentication gate (see FIG. 3). As a result of the detection, if the user is moving in the direction from the entrance to the exit, the detection unit 11 sets this user as a target user for authentication, obtains an image of the whole body of the target user from the camera 10, and obtains a first image input unit 12 is output. As a result of the detection, if it is not moving in the direction from the entrance to the exit, the process returns to step S101.
  • step S103 a first image of the entirety of the target user is input to the first image input unit 12.
  • step S104 the first authentication unit 14 calculates feature information from the whole body image of the target user captured in the first image, and calculates the calculated feature information and the whole body feature information stored in the first storage unit 15. And extracts candidate information of one or more target users from the first storage unit 15 based on the comparison result.
  • step S105 the first authentication unit 14 temporarily holds the extracted candidate information of the target user.
  • step S106 the detection unit 11 detects whether the target user is continuously moving in the direction from the entrance to the exit of the authentication gate (see FIG. 4). As a result of the detection, if the detection unit 11 is moving in the direction from the entrance to the exit, the detection unit 11 acquires images of the left and right eyes of the target user from the camera 10 and outputs the acquired images to the second image input unit 13. As a result of the detection, if it is not moving in the direction from the entrance to the exit, the detection unit 11 instructs to discard the candidate information of the target user held by the first authentication unit 14 (Step S120). The first authentication unit 14 accordingly discards the candidate information, and the process returns to step S101.
  • step S ⁇ b> 107 the second image input unit 13 receives the second image of the iris of at least one of the right eye and the left eye of the target user captured by the camera 10.
  • the second authentication unit 16 receives the candidate information from the first authentication unit 14, and stores the iris feature information calculated from the second image and the second storage unit 17 for each target user included in the candidate information.
  • the comparison score is calculated by comparing the stored feature information with one or more stored iris feature information.
  • the second authentication unit 16 authenticates the target user photographed in the first image and the second image based on the calculated collation score, and outputs an authentication result to the display unit 20.
  • step S109 the display unit 20 displays the input authentication result.
  • the display unit 20 displays the input authentication result.
  • the first embodiment highly accurate biometric authentication can be performed within a predetermined time with a small number of hardware resources for an authentication target user who is moving.
  • the reason is that the first authentication unit 14 narrows down the candidates of the target user based on the image of the whole body of the target user, and the second authentication unit 16 selects the image of the iris of the target user from the candidates of the target user.
  • it is determined whether the target user is a registered user (authorized user).
  • gait authentication or humanoid authentication is performed as first authentication for the target user near the entrance of the distant authentication gate, and then, based on the result of the first authentication, near the exit of the nearby authentication gate. Perform iris authentication for the target user who has moved to.
  • the detecting unit 11 detects only a user who moves in a predetermined direction in the authentication execution area, and excludes the user who stops moving in the predetermined direction as a detection target.
  • the second authentication unit 16 can execute an authentication process only for the target user. This can also contribute to quick and accurate authentication that does not require many hardware resources.
  • ⁇ Second embodiment> As the features of the iris, even the same person has different colors and shapes of the left and right irises, so the features are also different. Therefore, even if the persons are the same, there are eyes that are easy to identify and eyes that are difficult to identify. Since the eyes that are easy to identify have a short time required for the authentication processing and have high identification accuracy, performing the authentication processing using the eyes that are easy to identify even on the left and right can perform the authentication with higher accuracy in a shorter time.
  • a biometric authentication device or the like that performs authentication processing by weighting easily-identified eyes.
  • the biometric authentication device 200 includes a detecting unit 11, a first image input unit 12, a second image input unit 13, a first authentication unit 14, a first storage unit 15, a second authentication unit 16a, It includes a second storage unit 17a, a determination unit 21, and an adjustment unit 22.
  • the detection unit 11 is connected to an external camera 10.
  • the second authentication unit 16a is connected to an external display unit 20.
  • the second storage unit 17a stores, for each identifiable ID associated with the user to be authenticated, right-eye characteristic information and reliability score and left-eye characteristic information and reliability score of each user. (See FIG. 7).
  • the reliability is a value indicating the ease of discriminating the target user from other users
  • the reliability score is a value indicating the reliability as a value of 0 to 100%. An example of a method for calculating a reliability score will be described.
  • the feature information (feature vector) of the iris image is X right (i)
  • the feature information (feature vector) of the iris image of the right eye of the current target user (the person to be collated) is Y right
  • the correlation with right is calculated for all registered users i.
  • the largest correlation value that is, the correlation value between the persons themselves (when the target user hits as a registered user)
  • the second correlation value the registered user who is the other person with the highest correlation value with the person
  • the calculated value is set as the reliability S right .
  • the same processing is performed for the left eye, and the calculated value is set as the reliability Sleft .
  • reliability score (%) 100 ⁇ (S ⁇ 1) / (M ⁇ 1) (where 1 ⁇ S ⁇ M; S is S right , S left , and M represents the maximum value of the reliability.
  • the maximum value is set in advance by a designer or the like, and the reliability when M ⁇ S is 100.)
  • the method of calculating the reliability score is not limited to the above.
  • the value of the reliability score is higher, the characteristic information of the target user is easier to identify (a rare iris code) than the characteristic information of other users.
  • the reliability score of the right eye is 80% and the reliability score of the left eye is 20%, so that the iris of the right eye of this user is characteristic and similar.
  • the biometric authentication device 200 can also request the user to retake the iris image.
  • the biometric authentication device 200 requests the user to move from the entrance gate to the exit gate again for authentication via the display unit 20 or the like.
  • the second authentication unit 16a prompts the user on the display unit 20 so that the camera with the higher reliability score can be clearly photographed by the camera 10.
  • a text requesting cooperation may be presented.
  • the second authentication unit 16a performs authentication using a value obtained by adding the reliability score to the collation score in addition to the operation of the second authentication unit 16 in FIG.
  • the second authentication unit 16a compares the iris feature information calculated from the second image linked to the left and right information with one or more feature information stored in the second storage unit 17a corresponding to the left and right information. Is calculated. Further, the second authentication unit 16a specifies the target user based on the collation score, acquires the reliability score corresponding to the target user from the second storage unit 17a, and reflects the reliability score in the calculated collation score. Is calculated. For example, if the user in FIG. 7 has the ID “1”, the reliability score for the right eye is 80% and the reliability score for the left eye is 20%.
  • the second authentication unit 16a determines that the matching score of the right eye is the reliability score of the right eye and the matching score of the left eye is the reliability score of the left eye. Weight with degree score. At this time, the second authentication unit 16a may increase the priority of the eye with higher reliability and weight only the verification score of the right eye with the reliability score of the right eye. As a result, a higher reliability score can be obtained.
  • the weighting refers to, for example, multiplying and adding both scores, or obtaining a calculation result by substituting into a predetermined mathematical expression. The second authentication unit 16a performs an authentication process using the weighted score.
  • the determination unit 21 determines whether the second image is for the left eye or the right eye of the user based on the information including the first image, and outputs left and right information indicating the determination result in association with the second image. I do. As will be described later, the determination unit 21 outputs an image of the iris portion as shown in FIG. In the present embodiment, one of the following two methods is used for the determination of the left and right eyes, for example. As a first method, the determination unit 21 performs a matching process by applying a predetermined template for detecting a positional relationship between a face outline and both eyes to a region of the user's face in the first image. It is determined whether the two images are the left eye or the right eye of the user.
  • the determination unit 21 compares the pixels of the user's right and left eyes in the first image with the pixels of the user's right and left eyes in the second image, It is determined whether the two images correspond to the left eye or the right eye of the user. In this case, the determination unit 21 extracts the pixels of the respective regions of the right eye and the left eye of the user in the first image which is the whole body image, and extracts the extracted pixels from the region of the eye captured in the second image.
  • the eye photographed in the second image is the right or left eye according to the similarity to the compared pixel.
  • a contour tracking algorithm using a chain code, a principal component analysis method, a three-dimensional phase-only correlation method, or the like may be used. Note that the method of determining the left and right eyes is not limited to the above.
  • first image and the second image may be captured by one camera 10, but in that case, the camera 10 switches the magnification of the telephoto function for capturing the first image and the second image of the subject. It is preferable to be able to carry out quickly.
  • the adjustment unit 22 adjusts the shooting time.
  • the adjustment unit 22 is configured such that the second authentication unit 16 performs the second authentication after the first authentication by the first authentication unit 14, and the first authentication and the second authentication move in a predetermined direction in the image of the authentication execution area.
  • the target user in the middle is adjusted so as to be completed within the time that the detection unit 11 can detect. That is, each of the target users individually takes several seconds to several tens of seconds to pass from the entrance to the exit of the authentication gate, but if the first authentication and the second authentication are not completed during that time, the relevant user The target user cannot exit the exit after completing the authentication.
  • the adjustment unit 22 adjusts the timing of the first authentication in the first authentication unit 14 and the timing of the second authentication in the second authentication unit 16a while considering the moving speed of the target user. Make sure these authentication processes can be completed smoothly before you leave.
  • the operation of the biometric authentication device 200 according to the second embodiment will be described with reference to the flowchart in FIG. It is assumed that the first storage unit 15 stores in advance the whole-body characteristic information of a plurality of users who can be an authentication target. It is assumed that the second storage unit 17a stores in advance the iris feature information and the reliability score (see FIG. 7) of the right and left eyes for a plurality of users who can be the authentication target.
  • Steps S201 to S207 and S220 are the same as steps S101 to S107 and S120 in FIG.
  • step S208 the determination unit 21 determines whether the second image is for the left eye or the right eye of the target user based on the information including the first image, and uses the determination result as left / right information in the second image.
  • the data is output to the second authentication unit 16a in a linked manner.
  • the second authentication unit 16a receives the candidate information of the target user from the first authentication unit 14. Further, the second authentication unit 16a receives the second image linked to the left and right information from the determination unit 21. The second authentication unit 16a compares the iris feature information calculated from the received second image with the target user feature information included in the candidate information stored in the second storage unit 17 corresponding to the left and right information. The comparison score is calculated by comparison. The second authentication unit 16a specifies the target user based on the calculated collation score, acquires the reliability score corresponding to the target user from the second storage unit 17a, and weights the calculated collation score with the reliability score. (Hereinafter referred to as a weight matching score).
  • the second authentication unit 16a may give priority to the eye with higher reliability and weight the collation score of the eye with higher priority by the reliability score of the eye.
  • the second authentication unit 16a authenticates a target user to be captured in the first image and the second image based on the weighted score. Specifically, if the weight matching score is equal to or greater than a predetermined threshold, the second authentication unit 16a authenticates that the user photographed in the first image and the second image is a registered user (authorized user), If the weight matching score is equal to or less than the predetermined threshold, the user photographed in the first image and the second image is authenticated as not a registered user.
  • step S210 the second authentication unit 16a outputs the authentication result to the external display unit 20.
  • the display unit 20 displays the input authentication result.
  • the second authentication unit 16a specifies the target user from the second storage unit 17a based on the calculated collation score, acquires the reliability score corresponding to the target user from the second storage unit 17a, and calculates This is because the matching score is weighted by the reliability score. Further, the second authentication unit 16a gives priority to the eye with higher reliability and weights the collation score of the eye with higher priority by the reliability score of the eye.
  • first and second embodiments only full-body authentication (person-type authentication or gait authentication) and iris authentication are performed, but multi-modal authentication combining a third authentication different from the first authentication and the second authentication May be performed.
  • the whole body image of the moving user and the images of the right and left eyes are used, so that the first authentication (whole body) and the second authentication (eye) It can be said that it is preferable to perform face authentication between the steps (1) and (2).
  • a biometric authentication device that combines three types of biometric authentication will be described.
  • the biometric authentication device 300 includes a detection unit 11, a first image input unit 12, a second image input unit 13, a first authentication unit 14, a first storage unit 15, a second authentication unit 16b, It includes a second storage unit 17a, a determination unit 21, an adjustment unit 22a, a third image input unit 31, a third storage unit 32, and a third authentication unit 33.
  • the detection unit 11 is connected to an external camera 10.
  • the second authentication unit 16b is connected to the external display unit 20.
  • the third image input unit 31 detects the face of the target user moving in the predetermined direction detected by the detection unit 11 between the input of the image by the first image input unit 12 and the input of the image by the second image input unit 13. Is input.
  • the third storage unit 32 stores the facial feature information of one or more users to be authenticated.
  • the face feature information is obtained by extracting feature points indicating a characteristic shape, a positional relationship, and the like, such as eyes, a nose, and a mouth end, in the face as a face feature amount.
  • the third authentication unit 33 includes, for each target user included in the candidate information output in the first authentication, the feature information of the face calculated from the third image and the one or more faces stored in the third storage unit.
  • a second matching score is calculated by comparing with the feature information, and candidate information of one or more target users is extracted from the third storage unit based on the calculated second matching score.
  • the third authentication unit 33 outputs the extracted candidate information to the second authentication unit 16b.
  • the second authentication unit 16b has the same function as the above-described second authentication unit 16 (see FIG. 1) and second authentication unit 16a (see FIG. 6), but based on the candidate information input from the third authentication unit 33. Next, iris authentication of the target user is performed.
  • the adjustment unit 22a performs the third authentication after the first authentication, performs the second authentication after the third authentication, and determines that the first authentication, the third authentication, and the second authentication are in the image of the authentication execution area.
  • the authentication timing is adjusted so that the target user moving in the predetermined direction is completed within a time that can be detected.
  • the operation of the biometric authentication device 300 according to the third embodiment will be described with reference to the flowchart in FIG. It is assumed that the first storage unit 15 stores in advance the whole-body characteristic information of a plurality of users who can be an authentication target. It is assumed that the second storage unit 17a stores in advance the iris characteristic information of the right eye and the left eye for a plurality of users who can be the authentication target. Information obtained by adding a reliability score to the feature information of the iris (see FIG. 7) may be stored. It is assumed that facial feature information on a plurality of users who can be an authentication target is stored in the third storage unit 32 in advance.
  • Steps S301 to S305 and S320 are the same as steps S201 to S205 and S220 in FIG.
  • step S306 the detection unit 11 detects whether the user is moving in a direction from the entrance to the exit of the authentication gate. As a result of the detection, if the user is moving in the direction from the entrance to the exit, the detection unit 11 acquires an image of the face of the target user from the camera 10 and outputs the image to the third image input unit 31. As a result of the detection, if it is not moving in the direction from the entrance to the exit, the process proceeds to step S320, where the image and the candidate information temporarily held by the first authentication unit 14 are deleted, and then the process returns to step S301.
  • step S307 the third image input unit 31 inputs a third image of the face of the target user.
  • the third image input unit 31 may select a face area from the image of the target user and input the selected area as the third image.
  • step S308 the third authentication unit 33 calculates the feature information from the image of the target user's face area captured in the third image, and calculates the calculated feature information and the face information stored in the third storage unit 32. By comparing with the feature information, candidate information of one or more target users is extracted from the third storage unit 32 based on the comparison result.
  • step S309 the third authentication unit 33 temporarily holds the extracted target user candidate information.
  • Steps S310 to S314 are the same as steps S206 to S210 in FIG.
  • the third embodiment in addition to the effects of the first and second embodiments, it is possible to provide a biometric authentication device 300 with higher authentication accuracy than the biometric authentication devices described in the first and second embodiments. .
  • face authentication is combined as the third authentication between the first authentication (whole body) and the second authentication (eye).
  • gait authentication whole body
  • face authentication face
  • iris authentication left and right eyes
  • authentication arrangement that is the easiest to shoot according to the movement of the target user are combined.
  • the adjustment unit 22a can detect the target user moving in a predetermined direction in the image of the authentication execution area in the first to third authentications in the order of the first authentication, the third authentication, and the second authentication. This is because the authentication timing is adjusted so that the authentication is completed within the time.
  • the information processing device 500 includes, for example, the following configuration.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a storage device 505 for storing the program 504 and other data
  • a drive device 507 for reading and writing the recording medium 506
  • a communication interface 508 connected to the communication network 509
  • An input / output interface 510 for inputting / outputting data
  • a bus 511 for connecting each component
  • the program 504 for realizing the function of each component of the biometric authentication device is stored in advance in, for example, the storage device 505 or the RAM 503, and is read by the CPU 501 as necessary.
  • the program 504 may be supplied to the CPU 501 via the communication network 509, or may be stored in the recording medium 506 in advance, and the drive device 507 may read the program and supply the program to the CPU 501.
  • the biometric authentication device may be realized by an arbitrary combination of a separate information processing device and a program for each component.
  • a plurality of components included in the biometric authentication device may be realized by an arbitrary combination of one information processing device 500 and a program.
  • Part or all of the components of the biometric authentication device are realized by other general-purpose or dedicated circuits, processors, and the like, and combinations thereof. These may be configured by a single chip, or may be configured by a plurality of chips connected via a bus.
  • Part or all of the components of the biometric authentication device may be implemented by a combination of the above-described circuit and the like and a program.
  • the plurality of information processing devices or circuits may be centrally arranged or distributed. You may.
  • the information processing device, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system or a cloud computing system.
  • Detecting means for detecting an authentication target moving in a predetermined direction in a video of a predetermined area; First image input means for inputting a first image of the detected whole body of the target, First storage means for storing whole-body characteristic information relating to one or more authentication targets; Calculating feature information from an image of the whole body of the subject captured in the first image; comparing the calculated feature information with the feature information of the whole body stored in the first storage unit; First authentication means for extracting candidate information of one or more targets from the first storage means, Second image input means for inputting a second image of the iris of at least one of the right eye and the left eye of the object moving in the predetermined direction detected by the detection means, Second storage means for storing the iris characteristic information of the right eye and the left eye according to the one or more authentication targets; For each target included in the candidate information, the matching score is calculated by comparing the iris feature information calculated from the
  • a second authentication unit that authenticates the target captured in the second image based on the calculated matching score and outputs an authentication result.
  • Appendix 2 The authentication device according to claim 1, wherein the first image input unit and the second image input unit stop inputting an image of the target when the detection unit detects movement of the target in a direction other than the predetermined direction.
  • Appendix 3 Determining whether the second image is for the left eye or the right eye of the target based on information including the first image, and outputting the determination result as left / right information in association with the second image; Further comprising means,
  • the second authentication unit includes: iris feature information calculated from the second image associated with the left and right information; and one or more feature information stored in the second storage unit corresponding to the left and right information. 3.
  • the authentication device according to Supplementary Note 1 or 2, wherein the comparison score is compared to calculate the matching score.
  • the second storage means stores the iris characteristic information of the right eye and the left eye relating to the one or more authenticated objects, and the reliability score of the right eye and the left eye relating to the one or more authenticated objects.
  • the second authentication unit specifies the target based on the collation score, acquires the reliability score corresponding to the target from the second storage unit, and weights the reliability score with the reliability score.
  • Calculate collation score The authentication device according to supplementary note 1.
  • the authentication device according to any one of supplementary notes 1, 3, and 4, wherein the second authentication unit calculates the weight matching score by giving priority to an eye having a higher value indicating the reliability score.
  • [Appendix 8] A third image in which the face of the target moving in the predetermined direction detected by the detection means is photographed between the input of the image by the first image input means and the input of the image by the second image input means.
  • Third image input means for inputting an image
  • Third storage means for storing facial feature information relating to the one or more authentication targets; For each target included in the candidate information output by the first authentication unit, the feature information of the face calculated from the third image and the feature information of one or more faces stored in the third storage unit are 3.
  • the authentication device further comprising: third authentication means for comparing and extracting one or more candidate information of the target from the third storage means based on the comparison result.
  • [Appendix 10] Detecting an authentication target moving in a predetermined direction in a video of a predetermined area, Inputting a first image of the detected whole body of the subject, Calculating characteristic information from an image of the whole body of the object captured in the first image, and storing the calculated characteristic information and first and second whole body characteristic information relating to one or more authentication targets in a first storage unit
  • the first authentication is performed by comparing the obtained information with the characteristic information of the whole body, and candidate information of one or more of the objects is extracted from the first storage unit based on a result of the first authentication, Inputting a second image of the iris of at least one of the right eye and the left eye of the object moving in the detected direction detected, For each object included in the candidate information, one or more iris feature information stored in a second storage unit that stores the iris feature information of the right eye and the left eye relating to the one or more authentication targets; A comparison score is calculated by comparing the feature information of the iris calculated from the second image, and a second authentication of the object captured
  • An authentication method comprising outputting a result.
  • Appendix 11 11. The authentication method according to claim 10, wherein, in the detection, when the movement of the object in a direction other than the predetermined direction is detected, the input of the first image and the second image of the object is stopped.
  • Subsupplementary Note 12 Based on the information including the first image, determine whether the second image is for the left eye or the right eye of the target, and output the determination result as left / right information in association with the second image. Further comprising In the second authentication, the iris feature information calculated from the second image linked to the left and right information and one or more feature information stored in the second storage unit corresponding to the left and right information 12.
  • the second storage means stores the iris characteristic information of the right eye and the left eye relating to the one or more authenticated objects, and the reliability score of the right eye and the left eye relating to the one or more authenticated objects.
  • the object is specified based on the collation score
  • the reliability score corresponding to the object is obtained from the second storage unit, and the collation score is weighted by the reliability score.
  • Calculate collation score The authentication method according to supplementary note 10.
  • [Appendix 14] 14 14. The authentication method according to any one of supplementary notes 10, 12, and 13, wherein in the second authentication, the weight matching score is calculated by giving priority to an eye having a higher value indicating the reliability score.
  • a predetermined template is applied to a region of the target face in the first image to determine whether the two images correspond to the left eye or the right eye of the target.
  • Authentication method [Appendix 16] A time when the second authentication is performed after the first authentication, and the first authentication and the second authentication allow the detection of the target moving in the predetermined direction in the image of the predetermined area. 11. The authentication method according to claim 10, further comprising adjusting to complete within.
  • the third authentication is performed after the first authentication
  • the second authentication is performed after the third authentication
  • the first authentication, the third authentication, and the second authentication are performed.
  • the target moving in the predetermined direction in the video of the predetermined area is adjusted so as to be completed within a time in which the detection is possible.
  • a storage medium that stores an authentication program that causes a computer to output a result [Appendix 20] 20. The storage medium according to claim 19, wherein, in the detection, when the movement of the object in a direction other than the predetermined direction is detected, the input of the first image and the second image of the object is stopped. [Appendix 21] Based on the information including the first image, determine whether the second image is for the left eye or the right eye of the target, and output the determination result as left / right information in association with the second image. Further comprising In the second authentication, the iris feature information calculated from the second image linked to the left and right information and one or more feature information stored in the second storage unit corresponding to the left and right information 21.
  • the second storage means stores the iris characteristic information of the right eye and the left eye relating to the one or more authenticated objects, and the reliability score of the right eye and the left eye relating to the one or more authenticated objects.
  • the object is specified based on the collation score, the reliability score corresponding to the object is obtained from the second storage unit, and the collation score is weighted by the reliability score.

Abstract

移動中の認証対象に対して少ないハードウェアリソースで所定時間内に高精度な生体認証を行える認証装置等を提供する。生体認証装置１００は、所定方向に移動中の認証の対象を検出する検出部１１と、対象の全身を撮影した第１画像を入力する第１画像入力部１２と、認証される対象の全身の特徴情報を格納する第１記憶部１５と、第１画像から算出される特徴情報と第１記憶部１５に格納される特徴情報とを比較して、第１記憶部１５から候補情報を抽出する第１認証部１４と、移動中の対象の左右眼の少なくとも片方の虹彩を撮影した第２画像を入力する第２画像入力部１３と、認証される対象の左右眼の虹彩の特徴情報を格納する第２記憶部１７と、候補情報に含まれる対象毎に、第２画像の虹彩の特徴情報と第２記憶部１７に格納される特徴情報とを比較して、第２画像の対象を認証する第２認証部１６を備える。

Description

認証装置、認証方法および記憶媒体
　本発明は、対象を認証するための認証装置等に関する。
　生体の個人差に基づいた個人認証（Biometrics-based authentication）は、ユーザが作成するパスワード等に比べ漏えいや盗難の危険性が低い。この為、個人を特定し権利を確認する目的や、セキュリティ保護の目的で生体の個人差に基づいた個人認証を導入する例が増えている。生体の個人差に基づいた個人認証技術には、生体情報として、指紋（Fingerprint）、静脈（Vein）、顔（Face）、虹彩（Iris）、音声（Voice）などを用いるものが知られている。
　このうち、顔認証および虹彩認証は、認証対象の位置（顔および目）がほぼ同じであることもあり、これらを組み合わせたマルチモーダル認証が開発されている（引用文献１および２参照）。
特開２０００－１０２５２４号公報 特開２００５－２４２６７７号公報
　商業施設や大型イベント会場などを運営する企業や団体において、多くのユーザの入退場管理におけるセキュリティ対策の強化とユーザ側の利便性の両立を目的として、入退場管理システムにウォークスルー認証を活用したいというニーズがある。ウォークスルー認証では、認証の対象である生体（ユーザ）は、認証用カメラの前で立ち止まることなく所定の区間を歩くのみである。これにより、認証対象であるユーザが多くとも高速に、且つ、認証処理をユーザ側に意識させること無く、認証処理を実行することができる。このウォークスルー認証に上記のマルチモーダル認証として顔認証および虹彩認証を組合せて適用すると、ユーザに接触することなくカメラ撮影のみで認証データを採取できるため好適である。
　しかし、ウォークスルー認証では、ユーザが移動しているため、認証にかけられる時間は限られている。具体的には、ユーザが認証ゲート入口に入って認証のための画像を撮影する時間（認証開始時刻）からユーザが認証を終えて認証ゲート出口を通るまでの時間（認証完了時刻）は数秒程度に限られている。このため顔認証と虹彩認証の組合せのように認証領域の位置が近いと、ほぼ同じタイミングで２種類の認証処理を高速で実行せねばならず、複数のカメラおよび多くのハードウェアリソースを必要とする。
　本開示は上記の問題点を鑑みてなされたものであり、移動中の認証対象に対して、少ないハードウェアリソースで所定時間内に高精度な認証を行える認証装置等を提供することを目的の１つとする。
　上記問題点を鑑みて、本開示の第１の観点である認証装置は、
　所定エリアの映像内において所定方向に移動中の認証の対象を検出する検出手段と、
　検出された前記対象の全身が撮影された第１画像を入力する第１画像入力手段と、
　一人以上の認証される対象にかかる全身の特徴情報を格納する第１記憶手段と、
　前記第１画像に撮影される前記対象の全身の画像から特徴情報を算出し、算出された特徴情報と第１記憶手段に格納される前記全身の特徴情報とを比較し、比較結果を基に、前記第１記憶手段から一人以上の前記対象の候補情報を抽出する第１認証手段と、
　前記検出手段に検出された前記所定方向に移動中の前記対象の右眼および左眼の少なくとも片方の虹彩を撮影した第２画像を入力する第２画像入力手段と、
　前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報を格納する第２記憶手段と、
　前記候補情報に含まれる対象毎に、前記第２画像から算出される虹彩の特徴情報と前記第２記憶手段に格納される１つ以上の虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に、前記第２画像に撮影される前記対象を認証し、認証結果を出力する第２認証手段
を備える。
　本開示の第２の観点である認証方法は、
　所定エリアの映像内において所定方向に移動中の認証の対象を検出し、
　検出された前記対象の全身が撮影された第１画像を入力し、
　前記第１画像に撮影される前記対象の全身の画像から特徴情報を算出し、算出された特徴情報と、一人以上の認証される対象にかかる全身の特徴情報を格納する第１記憶手段に格納される前記全身の特徴情報とを比較して第１認証を行い、当該第１認証の結果を基に、前記第１記憶手段から一人以上の前記対象の候補情報を抽出し、
　前記検出された前記所定方向に移動中の前記対象の右眼および左眼の少なくとも片方の虹彩を撮影した第２画像を入力し、
　前記候補情報に含まれる対象毎に、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報を格納する第２記憶手段に格納される１つ以上の虹彩の特徴情報と前記第２画像から算出される虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に、前記第２画像に撮影される前記対象の第２認証を行い、認証結果を出力する。
　本開示の第３の観点である認証プログラムは、
　所定エリアの映像内において所定方向に移動中の認証の対象を検出し、
　検出された前記対象の全身が撮影された第１画像を入力し、
　前記第１画像に撮影される前記対象の全身の画像から特徴情報を算出し、算出された特徴情報と、一人以上の認証される対象にかかる全身の特徴情報を格納する第１記憶手段に格納される前記全身の特徴情報とを比較して第１認証を行い、当該第１認証の結果を基に、前記第１記憶手段から一人以上の前記対象の候補情報を抽出し、
　前記検出された前記所定方向に移動中の前記対象の右眼および左眼の少なくとも片方の虹彩を撮影した第２画像を入力し、
　前記候補情報に含まれる対象毎に、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報を格納する第２記憶手段に格納される１つ以上の虹彩の特徴情報と前記第２画像から算出される虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に、前記第２画像に撮影される前記対象の第２認証を行い、認証結果を出力する
ことをコンピュータに実現させる。
　尚、認証プログラムは記憶媒体に格納されていてもよい。
　本開示によれば、移動中の認証対象に対して、少ないハードウェアリソースで所定時間内に高精度な認証を行える認証装置等を提供することができる。
本開示の第１実施形態に係る生体認証装置の構成の例図である。 特定方向へ移動する対象ユーザの画像の例図である。 特定方向へ移動する対象ユーザの画像から取得される第１画像の例図である。 特定方向へ移動する対象ユーザの画像から取得される第２画像の例図である。 本開示の第１実施形態に係る生体認証装置の動作例を示すフローチャートである。 本開示の第２実施形態に係る生体認証装置の構成の例図である。 第２記憶部に格納されるデータの構成例を示す図である。 本開示の第２実施形態に係る生体認証装置の動作例を示すフローチャートである。 本開示の第３実施形態に係る生体認証装置の構成例を示す図である。 本開示の第３実施形態に係る生体認証装置の動作例を示すフローチャートである。 第１乃至第３実施形態にて使用可能な情報処理装置の構成の例図である。
　以下、各実施形態について図面を参照して詳細に説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は本発明の実施形態における構成を概略的に表している。更に以下に記載される本発明の実施形態は一例であり、その本質を同一とする範囲において適宜変更可能である。
　各実施形態における認証は主に生体認証である。認証の対象は、主に生体であり、人（ユーザ）、動物等を含む。認証の対象には、生体以外のもの、例えば、マネキンを含めてもよい。虹彩認証を行う際には、当該対象の左右眼（なりすましを目的とした義眼も含む）を認証する。以下の各実施形態の説明において、認証の対象は、「対象ユーザ」とも称呼される。
　生体認証のための情報としては、超音波グラフ、生体の画像、又は、音声データなど、複数の情報がある。以下の説明では、一例として、主に画像（具体的には、虹彩画像）を用いて説明するが、これは、各実施形態の限定を意図するものではない。
　＜第１実施形態＞
　マルチモーダル認証を認証の対象であるユーザと非接触で行うには、歩容認証、人型認証、顔認証、虹彩認証等が好適である。尚、人型認証とは、認証の対象者の身体の特徴（例えば、身長、体の幅、手足の長さ、顔の輪郭など、またはこれらの組み合わせ）を基に行う認証を指す。歩容認証とは、認証の対象者の歩行パターンの特徴（例えば、歩き時の姿勢、歩幅、腕の振り方、習慣付いた動きの左右非対称性（肩掛け鞄などを決まった側で持つか等）など、またはこれらの組み合わせ）を基に行う認証を指す。このうち、遠方からでも撮影できる認証対象ユーザの全身の画像から認証が容易なのは歩容認証、人型認証である。また、認証対象ユーザの近傍にて左右眼の撮影が正確にできるのであれば、最も高精度な認証結果が期待できるのは虹彩認証である。ウォークスルー認証の場合、対象ユーザは、個人差はあるが、数秒から数十秒をかけて認証ゲートの入口から出口まで移動してくる。このため、遠方の認証ゲートの入口近くにいる対象ユーザに対して全身画像を用いた歩容認証または人型認証を第１認証として行い、さらに第１認証の結果を踏まえて、認証ゲートの出口近くまで移動してきた対象ユーザに対して左右眼の画像を用いた虹彩認証を行う。第１認証により対象ユーザの候補は絞り込まれるため、虹彩認証を行うべき対象ユーザ候補の数はかなり少ないものとなる。これにより素早く精度の良い認証結果を得ることができる。以下、上述したようなウォークスルー認証を行うための生体認証装置について詳細に説明する。
　（生体認証装置）
　生体認証装置１００は、図１に示すように、検出部１１、第１画像入力部１２、第２画像入力部１３、第１認証部１４、第１記憶部１５、第２認証部１６および第２記憶部１７を備える。
　検出部１１は、認証実行エリアの入口ゲートから出口ゲートまでの所定エリアの映像内において、所定方向に移動中の認証の対象ユーザを検出する。
　検出部１１は、図１に示すように外部のカメラ１０に接続されている。カメラ１０は認証の対象であるユーザを撮影するためのカメラである。カメラ１０は１つであっても複数存在しても良い。検出部１１は、カメラ１０が撮影する画像（動画、静画を含む。以下同様。）中において特定方向に移動するユーザを検出する。特定方向への移動とは、例えばウォークスルー認証の場合に、ユーザが認証実行エリアの入口ゲートから出口ゲートまで歩行することを意味する。特定方向とは、当該入口ゲートから当該出口ゲートへの方向を意味する。図２に示す認証実行エリアの場合、カメラ１０は、まず、ユーザを入口ゲート付近の位置１において撮影する。図２の認証実行エリアにおいては、奥側に入口ゲート、手前側に出口ゲートが配置される。カメラ１０は図２に示すような画像を撮影できる位置（壁、ゲート等）に固定されている。
　検出部１１は、カメラ１０が撮影するユーザの画像のうち、位置１から特定方向に所定距離進んだ位置２（図３参照）まで移動したユーザがいれば、それを認証の対象ユーザと判断し、当該対象ユーザとして検出する。検出された対象ユーザの全身を含む領域の画像データは第１画像（図３参照）として第１画像入力部１２に入力される。更に、検出部１１は、カメラ１０が撮影するユーザの画像のうち、位置２から特定方向に所定距離進んだ位置３（図４参照）まで移動したユーザがいれば、そのユーザを再び認証の対象ユーザと判断し、当該対象ユーザとして検出する。検出された対象ユーザの左右眼を含む領域の画像データは第２画像（図４参照）として第２画像入力部１３に入力される。
　これらのユーザの体を含む画像領域（対象ユーザの全身を含む領域および左右眼を含む領域）の選択の処理は、検出部１１で行われてから第１画像入力部１２または第２画像入力部１３に引き渡されても良いし、カメラ１０が撮影する画像を受け取った第１画像入力部１２または第２画像入力部１３が行ってもよい。尚、上記の処理はカメラ１０が行ってもよい。
　検出部１１は、対象ユーザの所定方向以外への移動を検出すると、第１画像入力部１２および第２画像入力部１３に対する画像の出力を中止してもよい。即ち、第１画像入力部１２および第２画像入力部１３は所定方向以外への移動を始めた対象ユーザにかかる画像の入力を中止する。これは、一度は対象ユーザと誤って判断されても、認証実行エリアの監視員、保守員である場合や、対象ユーザが忘れ物をした等の理由で、途中で認証を止める場合があるからである。
　第１画像入力部１２は、特定方向に移動するユーザの全身を含む領域を撮影した第１画像（図３参照）を検出部１１から入力する。
　第１記憶部１５は、一人以上の認証の対象となるユーザにかかる全身の特徴情報を格納する。ここで、全身の特徴情報とは、人型認証に用いられる人型の特徴情報、歩容認証に用いられる歩容の特徴情報等である。人型の特徴情報とは、例えば、全身画像のシルエットから抽出される身長、体の幅等のパターンである。全身画像のシルエットは、例えば、カラーカメラの画像と赤外線カメラの画像による背景差分を用いて抽出される。歩容の特徴情報とは、例えば、時空間輝度勾配に基づく歩容特徴であるＳＴＨＯＧ（Spatio-Temporal Histograms of Oriented Gradient）特徴情報、歩容シルエットボリューム（Gait Silhouette Volume）を用いた周波数領域特徴情報などである。このように第１認証においては、遠方で光の加減が分かりづらい、更に、光の制御がしづらいということもあり、対象ユーザのシルエットを用いて確実に且つ容易に特徴情報を抽出できるようにすることが望ましい。
　第１認証部１４は、第１画像に撮影される対象ユーザの全身の画像から特徴情報を算出し、算出された特徴情報と第１記憶部１５に格納される全身の特徴情報とを比較して、比較結果を基に、第１記憶部１５から一人以上の対象ユーザの候補情報を抽出する。候補情報とは、対象ユーザの候補を特定可能な情報、例えば対象ユーザのＩＤ（IDentifier）である。第１認証は、第２認証のプレフィルターとしての機能を備えている。
　第１認証部１４は、抽出された対象ユーザの候補情報を第２認証部１６へ出力する。
　第２画像入力部１３は、検出部１１に検出された所定方向に移動中の対象ユーザの右眼および左眼の少なくとも片方の虹彩を撮影した第２画像（図４参照）を入力する。尚、左右眼のいずれであるかは、各眼の目頭の形状などから判定することができる。第２画像入力部１３は、両目分の画像を入力することが好ましい。しかし、カメラ１０が片目の画像を取得できない（例えば、前髪がかかって撮影できない、眼鏡の反射で撮影できない等）場合、撮影可能なもう片方の目の画像を撮影するようにする。
　第２記憶部１７は、一人以上の認証の対象となるユーザにかかる右眼および左眼の虹彩の特徴情報を格納する。尚、虹彩の特徴情報とは、例えば、ドーグマンアルゴリズムを基に生成される虹彩コード（図７の特徴情報参照）である。
　第２認証部１６は、第１認証部１４から候補情報を入力する。第２認証部１６は、候補情報に含まれる対象ユーザ毎に、第２画像から算出される虹彩の特徴情報と第２記憶部１７に格納される１つ以上の虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に第１画像および第２画像に撮影される対象ユーザを認証し、認証結果を出力する。照合スコアとは、対象ユーザの虹彩コードと第２記憶部１７に登録済みの虹彩コードとにおいて異なるビットの数を算出（ハミング距離の算出）した結果の値である。
　第２認証部１６は、候補情報に含まれる対象ユーザ毎に、左右情報に紐付けされた第２画像から虹彩の特徴情報を算出する。左右情報に紐付けされた第２画像とは、「右眼」とタグ付けされた右眼の虹彩画像、または、「左眼」とタグ付けされた左眼の虹彩画像のことを指す（図４の第２画像を参照）。尚、左右眼のいずれかがタグ付けされた虹彩コードであってもよい。虹彩の特徴情報として、一例として虹彩コードを使用する場合について説明する。第２認証部１６は、第２画像入力部１３から受け取る虹彩の画像から虹彩の境界線を特定して虹彩部分を抽出する。更に第２認証部１６は、抽出された虹彩部分の情報に、２次元ガボールフィルタを適用して虹彩模様を符号化し、虹彩コードを生成する。虹彩コードは、例えば2048ビットのデジタル符号化コードである。
　第２認証部１６は、算出された特徴情報と第２記憶部１７に格納される左右情報に関連する複数のユーザの特徴情報とを比較する。具体的に、第２認証部１６は、右眼とタグ付けされた虹彩画像の場合は、第２記憶部１７に格納される右眼のみの特徴情報と比較し、左眼とタグ付けされた虹彩画像の場合は、第２記憶部１７に格納される左眼のみの特徴情報と比較する。第２認証部１６は、比較の結果、照合スコアを得る。第２認証部１６は、例えば、算出した照合スコアが所定の閾値以上であれば、第２画像に撮影されたユーザは登録済みのユーザ（正当ユーザ）であると認証し、照合スコアが所定の閾値未満であれば、第２画像に撮影されたユーザは登録済みのユーザではないと認証する。第２認証部１６は、認証結果を外部の表示部２０に出力する。表示部２０は液晶ディスプレイなどであり、対象ユーザや認証実行エリアの管理者が認証結果を閲覧可能に表示できるものとする。尚、第２画像に撮影されたユーザは、第１画像に撮影されたユーザである。この他、スピーカやブザーによる音声通知、ランプ点灯等により、認証結果を周知させても良い。
　（生体認証装置の動作）
　第１実施形態に係る生体認証装置１００の動作について図５のフローチャートを参照して説明する。尚、第１記憶部１５には、認証対象となりえる複数のユーザにかかる全身の特徴情報が予め格納されているものとする。第２記憶部１７には、認証対象となりえる複数のユーザにかかる右眼および左眼の虹彩の特徴情報が予め格納されているものとする。
　ステップＳ１０１において、検出部１１は、カメラ１０が撮影する認証実行エリアの映像内においてユーザを検出する（図２参照）。
　ステップＳ１０２において、検出部１１は、ユーザが認証ゲートの入口から出口へ向かう方向に移動中であるか否かを検出する（図３参照）。検出の結果、当該入口から出口へ向かう方向に移動中であれば、検出部１１はこのユーザを認証の対象ユーザとし、当該対象ユーザの全身の画像をカメラ１０から取得して第１画像入力部１２に出力する。検出の結果、当該入口から出口へ向かう方向に移動中でなければ、処理はステップＳ１０１へ戻される。
　ステップＳ１０３において、第１画像入力部１２に、対象ユーザの全身を撮影した第１画像が入力される。
　ステップＳ１０４において、第１認証部１４は、第１画像に撮影される対象ユーザの全身の画像から特徴情報を算出し、算出された特徴情報と第１記憶部１５に格納される全身の特徴情報とを比較して、比較結果を基に、第１記憶部１５から一人以上の対象ユーザの候補情報を抽出する。
　ステップＳ１０５において、第１認証部１４は、抽出された対象ユーザの候補情報を一時保持する。
　ステップＳ１０６において、検出部１１は、対象ユーザが認証ゲートの入口から出口へ向かう方向に継続して移動中であるか否かを検出する（図４参照）。検出の結果、当該入口から出口へ向かう方向に移動中であれば、検出部１１はこの対象ユーザの左右眼の領域の画像をカメラ１０から取得して第２画像入力部１３に出力する。検出の結果、当該入口から出口へ向かう方向に移動中でなければ、検出部１１は、第１認証部１４が保持する対象ユーザの候補情報を破棄するよう指示する（ステップＳ１２０）。第１認証部１４はこれに従い当該候補情報を破棄し、処理はステップＳ１０１へ戻される。
　ステップＳ１０７において、第２画像入力部１３には、カメラ１０が撮影した対象ユーザの右眼および左眼の少なくとも片方の虹彩を撮影した第２画像が入力される。
　ステップＳ１０８において、第２認証部１６は第１認証部１４から候補情報を受け取り、当該候補情報に含まれる対象ユーザ毎に、第２画像から算出される虹彩の特徴情報と第２記憶部１７に格納される１つ以上の虹彩の特徴情報とを比較して照合スコアを算出する。第２認証部１６は、算出された照合スコアを基に、第１画像および第２画像に撮影される対象ユーザを認証し、認証結果を表示部２０へ出力する。
　ステップＳ１０９において、表示部２０は入力された認証結果を表示する。表示部２０は入力された認証結果を表示する。
　以上で、生体認証装置１００の動作を終了する。
　（第１実施形態の効果）
　第１実施形態によると、移動中の認証対象ユーザに対して、少ないハードウェアリソースで所定時間内に高精度な生体認証を行うことができる。この理由は、第１認証部１４が対象ユーザの全身の画像を基に、対象ユーザの候補を絞り、第２認証部１６が、対象ユーザの候補の中から、対象ユーザの虹彩の画像を基に、対象ユーザが登録済みのユーザ（正当ユーザ）かを判断するからである。最初に、遠方の認証ゲートの入口近くにいる対象ユーザに対して歩容認証または人型認証を第１認証として行い、次に、第１認証の結果を踏まえて、近傍の認証ゲートの出口近くまで移動してきた対象ユーザに対して虹彩認証を行う。第１認証により対象ユーザの候補は絞り込まれるため、虹彩認証を行うべき対象ユーザ候補の数はかなり少ないものとなる。これにより素早く精度の良い認証結果を得ることができる。また、第１認証と第２認証とは時間差をつけて別々に実行されるため、多くのハードウェアリソースを使用せずとも、２つの認証を行うことができる。また検出部１１は、認証実行エリア内の所定方向に移動するユーザのみを検知し、当該ユーザが所定方向へ移動することを止めた場合には検出の対象として除外するので、第１認証部１４および第２認証部１６は、対象ユーザのみに対して認証処理を実行することができる。このことも、多くのハードウェアリソースを必要としない素早い精度の良い認証に寄与することができる。
　＜第２実施形態＞
　虹彩の特徴として、同一人物であっても左右の虹彩の色や形状は異なるため、その特徴も異なる。よって、同一人物であっても、識別し易い眼と識別しづらい眼がある。識別し易い目は認証処理に要する時間も短く識別精度も高いため、左右でも識別し易い眼を用いて認証処理を行う方が、短時間でより高精度の認証を行うことができる。第２の実施形態においては、識別し易い眼に重み付けして認証処理を行う生体認証装置等について説明する。
　（生体認証装置）
　生体認証装置２００は、図６に示すように、検出部１１、第１画像入力部１２、第２画像入力部１３、第１認証部１４、第１記憶部１５、第２認証部１６ａ、第２記憶部１７ａ、判定部２１および調整部２２を備える。尚、検出部１１は、外部のカメラ１０に接続されている。第２認証部１６ａは外部の表示部２０に接続されている。
　第２記憶部１７ａは、認証の対象となるユーザに紐付けられた識別可能なＩＤ毎に、各ユーザの右眼の特徴情報および信頼度スコアと、左眼の特徴情報および信頼度スコアを格納する（図７参照）。信頼度とは、対象ユーザと他のユーザとの識別しやすさを表わす値であり、信頼度スコアとは信頼度を０－１００％の値で表わしたものである。信頼度スコアの算出方法の一例について述べる。第２記憶部１７ａに格納される登録済みユーザのＩＤの各々をi（i={1,2,3,…,N}；Nは登録済みユーザの総数）、各登録済みユーザの右眼の虹彩画像の特徴情報（特徴ベクトル）をXright(i)、現在の対象ユーザ（照合したい人）の右眼の虹彩画像の特徴情報（特徴ベクトル）をYrightとし、Xright (i)とYrightとの相関（例えば、正規化相互相関）を全ての登録済みユーザiについて算出する。算出後、最も大きかった相関値（すなわち、本人同士（対象ユーザが登録済みユーザとしてヒットした場合）の相関値）と二番目の相関値（本人と最も相関値が高い他人である登録済みユーザとの相関値）との比率（＝一番高い相関値/二番目の相関値）を算出し、算出された値を信頼度Srightとする。同様に、左眼についても同様の処理を行い、算出された値を信頼度をSleftとする。これらの信頼度Sright、Sleftを正規化し、０％～１００％の値に変換することで、信頼度スコア（例えば、左眼２０％、右眼８０％）を得る。信頼度の正規化には様々な手法があるが、例えば、信頼度スコア（％）＝１００×（Ｓ－１）／（Ｍ－１）（このとき、１≦Ｓ≦Ｍ；ＳはSright、Sleftのいずれかを、Ｍは信頼度の最大値を表わす。最大値は予め設計者等により設定されるものとし、Ｍ＜Ｓの場合の信頼度は１００とする。）と算出する。尚、信頼度スコアの算出方法は上記に限定されるものではない。信頼度スコアの値が高いほど、対象ユーザの特徴情報は他のユーザの特徴情報と比して識別し易い（レアな虹彩コードである）。例えば、図７に示すユーザＩＤ「１」の場合、右眼の信頼度スコア８０％、左眼の信頼度スコア２０％であるため、このユーザの右眼の虹彩は特徴的であり、似た特徴情報を有するユーザが比較的存在しないことを示す。逆にこのユーザの左眼の虹彩はあまり特徴が無く、似た特徴情報を有するユーザが多く存在することを示す。このような場合、認証処理には右眼を用いた方が効率的であるため、両眼の第２画像が撮影できた場合であっても、右眼の第２画像を用いて認証処理を行うことが望ましいといえる。逆に、何らかの事情により左眼の第２画像のみしか撮影できなかった場合、認証の照合スコアが低いとしても、それは左眼の信頼度スコアが低いためでないかとの推測が可能であり、この場合生体認証装置２００は、当該ユーザに虹彩画像の取り直しを依頼することもできる。具体的には、生体認証装置２００は、表示部２０等を介して、当該ユーザに再度認証のための入口ゲートから出口ゲートまでの移動を依頼する。信頼度スコアが高い方の眼が髪の毛等で隠れている場合、第２認証部１６ａは、表示部２０に、当該信頼度スコアが高い方の眼が明確にカメラ１０で撮影できるようにユーザに協力を依頼する文面等を提示しても良い。
　第２認証部１６ａは、図１の第２認証部１６の動作に付け加えて、照合スコアに信頼度スコアを加味した値を用いて認証をおこなう。第２認証部１６ａは、左右情報に紐付けされた第２画像から算出される虹彩の特徴情報と当該左右情報に対応する第２記憶部１７ａに格納される１つ以上の特徴情報とを比較して得られる照合スコアを算出する。更に第２認証部１６ａは、照合スコアを基に対象ユーザを特定し、第２記憶部１７ａから対象ユーザに対応する信頼度スコアを取得し、算出した照合スコアに信頼度スコアを反映させたスコアを算出する。例えば、図７中のＩＤが「１」のユーザだとすると、右眼の信頼度スコア８０％、左眼の信頼度スコア２０％である。このため、第２認証部１６ａは、両眼の第２画像の照合スコアが算出されている場合、右眼の照合スコアを右眼の信頼度スコアで、左眼の照合スコアを左眼の信頼度スコアで重み付けする。このとき第２認証部１６ａは、より信頼度が高い眼の優先度を高くし、右眼の照合スコアのみを右眼の信頼度スコアで重み付けしてもよい。これにより、更に高い信頼度のスコアを得ることができる。重み付けとは、例えば双方のスコアを乗算、加算したり、所定の数式に代入して算出結果を得ることを指す。第２認証部１６ａは、重み付けされたスコアを用いて、認証処理を行う。
　判定部２１は、第１画像を含む情報を基に、第２画像がユーザの左眼のものか右眼のものかを判定し、判定結果を示す左右情報を第２画像に紐付けて出力する。後述するように、判定部２１は、図４に示すような虹彩の部分の画像を出力する。本実施形態では、左右眼の判定に、例として、以下の２つの手法のいずれかを用いる。第１の手法として、判定部２１は、第１画像におけるユーザの顔の領域に、顔の輪郭および両眼等の位置関係を検出するための所定のテンプレートを適用してマッチング処理を行い、第２画像がユーザの左眼または右眼のいずれのものであるかを判定する。両眼の位置関係を検出するには、ユーザの顔はカメラ１０に対して正面を向いていることが必要となるが、所定の進行方向に向かって移動中のユーザを撮影可能な位置にカメラ１０を設定しておくことにより、必然的にカメラ１０に対して正面を向いているユーザを判定の対象とすることができる。第２の手法として、判定部２１は、第１画像におけるユーザの右眼および左眼の領域の画素と、第２画像におけるユーザの右眼または左眼の領域の画素とを比較して、第２画像がユーザの左眼または右眼のいずれに対応するかを判定する。この場合、判定部２１は、全身の画像である第１画像内のユーザの右眼および左眼のそれぞれの領域の画素を抽出し、抽出された画素を第２画像に撮影された眼の領域の画素と比較して、比較された画素に類似度に応じて第２画像に撮影された眼が左右いずれのものであるか判定する。画素の比較には、チェインコードを用いた輪郭追跡アルゴリズム、主成分分析法、三次元位相限定相関法等を用いても良い。尚、左右眼の判定の手法は上記のものに限定されない。
　尚、第１画像と第２画像は、１つのカメラ１０から撮影されても良いが、その場合、カメラ１０は、被写体の第１画像および第２画像を撮影するための望遠機能の倍率の切り替えを素早く実行できるものが好ましい。
　調整部２２は、撮影時間の調整を行う。調整部２２は第１認証部１４による第１認証の後に第２認証部１６が第２認証を実行し、かつ、第１認証および第２認証が、認証実行エリアの映像内における所定方向に移動中の対象ユーザを検出部１１が検出可能な時間内において完了するように調整する。即ち、対象ユーザの各々は、個々に数秒から数十秒をかけて認証ゲートの入口から出口までを通過するわけであるが、その間に第１認証および第２認証が完了していなければ、当該対象ユーザは認証を終えて出口から退出していくことができない。調整部２２は、対象ユーザの移動速度を鑑みつつ、第１認証部１４における第１認証のタイミング、第２認証部１６ａにおける第２認証のタイミングの調整を行い、対象ユーザが認証ゲートの出口を出るまでにこれらの認証処理をスムーズに完了できるようにする。
　他の部の動作は第１実施形態と同様である。
　（生体認証装置の動作）
　第２実施形態に係る生体認証装置２００の動作について図８のフローチャートを参照して説明する。尚、第１記憶部１５には、認証対象となりえる複数のユーザにかかる全身の特徴情報が予め格納されているものとする。第２記憶部１７ａには、認証対象となりえる複数のユーザにかかる右眼および左眼の虹彩の特徴情報および信頼度スコア（図７参照）が予め格納されているものとする。
　ステップＳ２０１～Ｓ２０７、Ｓ２２０は図５のステップＳ１０１～Ｓ１０７、Ｓ１２０と同様である。
　ステップＳ２０８において、判定部２１は、第１画像を含む情報を基に、第２画像が対象ユーザの左眼のものか右眼のものかを判定し、判定結果を左右情報として第２画像に紐付けて第２認証部１６ａへ出力する。
　ステップＳ２０９において、第２認証部１６ａは、第１認証部１４から対象ユーザの候補情報を受け取る。更に第２認証部１６ａは、判定部２１から左右情報に紐付けされた第２画像を受け取る。第２認証部１６ａは、受け取った第２画像から算出される虹彩の特徴情報と、当該左右情報に対応する第２記憶部１７に格納される当該候補情報に含まれる対象ユーザの特徴情報とを比較して、照合スコアを算出する。第２認証部１６ａは、算出された照合スコアを基に対象ユーザを特定し、第２記憶部１７ａから対象ユーザに対応する信頼度スコアを取得し、算出した照合スコアを信頼度スコアで重み付けする（以下、重み照合スコアと記載）。このとき第２認証部１６ａは、より信頼度が高い眼を優先して、当該優先度の高い眼の照合スコアを、当該眼の信頼度スコアで重み付けしてもよい。第２認証部１６ａは、重み付けされたスコアを基に、第１画像および第２画像に撮影される対象ユーザを認証する。具体的に、第２認証部１６ａは、重み照合スコアが所定の閾値以上であれば、第１画像および第２画像に撮影されたユーザは登録済みのユーザ（正当ユーザ）であると認証し、重み照合スコアが所定の閾値以下であれば、第１画像および第２画像に撮影されたユーザは登録済みのユーザではないと認証する。
　ステップＳ２１０において、第２認証部１６ａは認証結果を外部の表示部２０に出力する。表示部２０は入力された認証結果を表示する。
　以上で、生体認証装置２００の動作を終了する。
　（第２実施形態の効果）
　第２実施形態によると、第１実施形態の効果に加え、より高い精度の認証処理を行うことができる。この理由は、第２認証部１６ａが、算出した照合スコアを基に第２記憶部１７ａから対象ユーザを特定し、第２記憶部１７ａから対象ユーザに対応する信頼度スコアを取得し、算出した照合スコアを信頼度スコアで重み付けするからである。更に、第２認証部１６ａは、より信頼度が高い眼を優先して、当該優先度の高い眼の照合スコアを、当該眼の信頼度スコアで重み付けするからである。
　＜第３実施形態＞
　第１～２実施形態においては、全身の認証（人型認証または歩容認証）および虹彩認証のみを行ったが、第１認証および第２認証とは異なる第３の認証を組み合わせたマルチモーダル認証を行っても良い。例えば、第１～２実施形態においては、移動するユーザの全身画像および左右眼の画像を使用しているので、認証対象検出のタイミングの観点から、第１認証（全身）と第２認証（眼）との間に顔認証を行うことが好適といえる。第３の実施形態においては、３種類の生体認証を組み合わせた生体認証装置等について説明する。
　（生体認証装置）
　生体認証装置３００は、図９に示すように、検出部１１、第１画像入力部１２、第２画像入力部１３、第１認証部１４、第１記憶部１５、第２認証部１６ｂ、第２記憶部１７ａ、判定部２１、調整部２２ａ、第３画像入力部３１、第３記憶部３２、第３認証部３３を備える。尚、検出部１１は外部のカメラ１０に接続されている。第２認証部１６ｂは外部の表示部２０に接続されている。
　第３画像入力部３１は、第１画像入力部１２による画像の入力と第２画像入力部１３による画像の入力との間に、検出部１１が検出した所定方向に移動中の対象ユーザの顔の領域が撮影された第３画像を入力する。
　第３記憶部３２は、一人以上の認証の対象となるユーザにかかる顔の特徴情報を格納する。顔の特徴情報とは、例えば、顔の中における目、鼻、口端などの特徴的な形状、位置関係等を示す特徴点を、顔特徴量として抽出したものである。
　第３認証部３３は、第１認証において出力された候補情報に含まれる対象ユーザ毎に、第３画像から算出される顔の特徴情報と第３記憶部に格納される１つ以上の顔の特徴情報とを比較して第２照合スコアを算出し、算出された第２照合スコアを基に、第３記憶部から一人以上の対象ユーザの候補情報を抽出する。第３認証部３３は、抽出された候補情報を、第２認証部１６ｂへ出力する。
　第２認証部１６ｂは、上述する第２認証部１６（図１参照）、第２認証部１６ａ（図６参照）と同様の機能を有するが、第３認証部３３から入力した候補情報を基に、対象ユーザの虹彩認証を行う。
　調整部２２ａは、第１認証の後に第３認証を実行し、第３認証の後に第２認証を実行し、かつ、第１認証、第３認証および第２認証が、認証実行エリアの映像内における所定方向に移動中の対象ユーザを検出が可能な時間内において完了するように認証のタイミングを調整する。
　他の部の動作は第１～２実施形態と同様である。
　（生体認証装置の動作）
　第３実施形態に係る生体認証装置３００の動作について図１０のフローチャートを参照して説明する。尚、第１記憶部１５には、認証対象となりえる複数のユーザにかかる全身の特徴情報が予め格納されているものとする。第２記憶部１７ａには、認証対象となりえる複数のユーザにかかる右眼および左眼の虹彩の特徴情報が予め格納されているものとする。虹彩の特徴情報に信頼度スコアを付加した情報（図７参照）が格納されていてもよい。第３記憶部３２には、認証の対象となりえる複数のユーザにかかる顔の特徴情報が予め格納されているものとする。
　ステップＳ３０１～Ｓ３０５、Ｓ３２０は、図８のステップＳ２０１～Ｓ２０５、Ｓ２２０と同様である。
　ステップＳ３０６において、検出部１１は、ユーザが認証ゲートの入口から出口へ向かう方向に移動中であるか否かを検出する。検出の結果、当該入口から出口へ向かう方向に移動中であれば、検出部１１は当該対象ユーザの顔の画像をカメラ１０から取得して第３画像入力部３１に出力する。検出の結果、当該入口から出口へ向かう方向に移動中でなければ、処理はステップＳ３２０へ進められ、第１認証部１４が一時保持する画像および候補情報を消去後、ステップＳ３０１へ戻される。
　ステップＳ３０７において、第３画像入力部３１は、対象ユーザの顔を撮影した第３画像を入力する。このとき、第３画像入力部３１は、対象ユーザの画像から顔の領域を選択して、第３画像として入力してもよい。
　ステップＳ３０８において、第３認証部３３は、第３画像に撮影される対象ユーザの顔の領域の画像から特徴情報を算出し、算出された特徴情報と第３記憶部３２に格納される顔の特徴情報とを比較して、比較結果を基に、第３記憶部３２から一人以上の対象ユーザの候補情報を抽出する。
　ステップＳ３０９において、第３認証部３３は、抽出された対象ユーザの候補情報を一時保持する。
　ステップＳ３１０～Ｓ３１４は図８のステップＳ２０６～Ｓ２１０と同様である。
　以上で、生体認証装置３００の動作を終了する。
　（第３実施形態の効果）
　第３実施形態によると、第１～第２実施形態の効果に加え、第１～第２実施形態に記載の生体認証装置よりも、さらに認証精度の高い生体認証装置３００を提供することができる。この理由は、第１認証（全身）と第２認証（眼）との間に第３の認証として顔認証を組み合わせるからである。更に、認証実行エリアの入口から出口までにおいて、歩容認証等（全身）、顔認証（顔）、虹彩認証（左右眼）と、対象ユーザの移動に応じて最も撮影し易い認証の配置を組み合わせた上で、調整部２２ａが、第１認証、第３認証、第２認証の順に、第１～３認証が、認証実行エリアの映像内における所定方向に移動中の対象ユーザを検出が可能な時間内において完了するように認証のタイミングを調整するからである。
　なお、各実施形態は、組み合わせて用いられてもよい。
　（情報処理装置）
　上述した本発明の各実施形態において、図１、６、９等に示す生体認証装置における各構成要素の一部又は全部は、例えば図１１に示すような情報処理装置５００とプログラムとの任意の組み合わせを用いて実現することも可能である。情報処理装置５００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３
　　・プログラム５０４および他のデータを格納する記憶装置５０５
　　・記録媒体５０６の読み書きを行うドライブ装置５０７
　　・通信ネットワーク５０９と接続する通信インターフェース５０８
　　・データの入出力を行う入出力インターフェース５１０
　　・各構成要素を接続するバス５１１
　本願の各実施形態における生体認証装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。生体認証装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。
　各装置の実現方法には、様々な変形例がある。例えば、生体認証装置は、構成要素毎にそれぞれ別個の情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。また、生体認証装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。
　また、生体認証装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　生体認証装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　生体認証装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
　所定エリアの映像内において所定方向に移動中の認証の対象を検出する検出手段と、
　検出された前記対象の全身が撮影された第１画像を入力する第１画像入力手段と、
　一人以上の認証される対象にかかる全身の特徴情報を格納する第１記憶手段と、
　前記第１画像に撮影される前記対象の全身の画像から特徴情報を算出し、算出された特徴情報と第１記憶手段に格納される前記全身の特徴情報とを比較し、比較結果を基に、前記第１記憶手段から一人以上の前記対象の候補情報を抽出する第１認証手段と、
　前記検出手段に検出された前記所定方向に移動中の前記対象の右眼および左眼の少なくとも片方の虹彩を撮影した第２画像を入力する第２画像入力手段と、
　前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報を格納する第２記憶手段と、
　前記候補情報に含まれる対象毎に、前記第２画像から算出される虹彩の特徴情報と前記第２記憶手段に格納される１つ以上の虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に、前記第２画像に撮影される前記対象を認証し、認証結果を出力する第２認証手段
とを備える認証装置。
［付記２］
　前記検出手段が前記対象による前記所定方向以外への移動を検出すると、前記第１画像入力手段および第２画像入力手段は前記対象にかかる画像の入力を中止する
付記１に記載の認証装置。
［付記３］
　前記第１画像を含む情報を基に、前記第２画像が前記対象の左眼のものか右眼のものかを判定し、判定結果を左右情報として前記第２画像に紐付けて出力する判定手段
を更に備え、
　前記第２認証手段は、前記左右情報に紐付けされた前記第２画像から算出される虹彩の特徴情報と当該左右情報に対応する前記第２記憶手段に格納される１つ以上の特徴情報とを比較して前記照合スコアを算出する
付記１または付記２に記載の認証装置。
［付記４］
　前記第２記憶手段は、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報、および、当該一人以上の認証される対象にかかる右眼および左眼の信頼度スコアを格納し、
　前記第２認証手段は、前記照合スコアを基に前記対象を特定し、前記第２記憶手段から前記対象に対応する前記信頼度スコアを取得し、前記照合スコアに前記信頼度スコアを重み付けした重み照合スコアを算出する 
付記１に記載の認証装置。
［付記５］
　前記第２認証手段は、前記信頼度スコアを示す値が高い方の目を優先して、前記重み照合スコアを算出する
付記１、付記３、付記４のいずれかに記載の認証装置。
［付記６］
　前記判定手段は、前記第１画像における前記対象の顔の領域に所定のテンプレートを適用して、前記２画像が前記対象の左眼または右眼のいずれに対応するかを判定する
付記３に記載の認証装置。
［付記７］
　前記第１認証手段による第１認証の後に前記第２認証手段が第２認証を実行し、かつ、前記第１認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象を前記検出手段が検出可能な時間内において完了するように調整する調整手段
を更に備える付記１に記載の認証装置。
［付記８］
　前記第１画像入力手段による画像の入力と前記第２画像入力手段による画像の入力との間に、前記検出手段に検出された前記所定方向に移動中の前記対象の顔が撮影された第３画像を入力する第３画像入力手段と、
　前記一人以上の認証される対象にかかる顔の特徴情報を格納する第３記憶手段と、
　前記第１認証手段が出力する前記候補情報に含まれる対象毎に、前記第３画像から算出される顔の特徴情報と前記第３記憶手段に格納される１つ以上の顔の特徴情報とを比較し、比較結果を基に、前記第３記憶手段から一人以上の前記対象の候補情報を抽出する第３認証手段
とを更に備える付記１に記載の認証装置。
［付記９］
　前記調整手段は、前記第１認証手段による第１認証の後に前記第３認証手段が第３認証を実行し、前記第３認証の後に前記第２認証手段が第２認証を実行し、かつ、前記第１認証、前記第３認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象を前記検出手段が検出可能な時間内において完了するように調整する
付記７に記載の認証装置。
［付記１０］
　所定エリアの映像内において所定方向に移動中の認証の対象を検出し、
　検出された前記対象の全身が撮影された第１画像を入力し、
　前記第１画像に撮影される前記対象の全身の画像から特徴情報を算出し、算出された特徴情報と、一人以上の認証される対象にかかる全身の特徴情報を格納する第１記憶手段に格納される前記全身の特徴情報とを比較して第１認証を行い、当該第１認証の結果を基に、前記第１記憶手段から一人以上の前記対象の候補情報を抽出し、
　前記検出された前記所定方向に移動中の前記対象の右眼および左眼の少なくとも片方の虹彩を撮影した第２画像を入力し、
　前記候補情報に含まれる対象毎に、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報を格納する第２記憶手段に格納される１つ以上の虹彩の特徴情報と前記第２画像から算出される虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に、前記第２画像に撮影される前記対象の第２認証を行い、認証結果を出力する
ことを備える認証方法。
［付記１１］
　前記検出において、前記対象による前記所定方向以外への移動を検出すると、前記対象にかかる第１画像および第２画像の入力を中止する
付記１０に記載の認証方法。
［付記１２］
　前記第１画像を含む情報を基に、前記第２画像が前記対象の左眼のものか右眼のものかを判定し、判定結果を左右情報として前記第２画像に紐付けて出力すること
を更に備え、
　前記第２認証においては、前記左右情報に紐付けされた前記第２画像から算出される虹彩の特徴情報と当該左右情報に対応する前記第２記憶手段に格納される１つ以上の特徴情報とを比較して前記照合スコアを算出する
付記１０または付記１１に記載の認証方法。
［付記１３］
　前記第２記憶手段は、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報、および、当該一人以上の認証される対象にかかる右眼および左眼の信頼度スコアを格納し、
　前記第２認証においては、前記照合スコアを基に前記対象を特定し、前記第２記憶手段から前記対象に対応する前記信頼度スコアを取得し、前記照合スコアに前記信頼度スコアを重み付けした重み照合スコアを算出する 
付記１０に記載の認証方法。
［付記１４］
　前記第２認証においては、前記信頼度スコアを示す値が高い方の目を優先して、前記重み照合スコアを算出する
付記１０、付記１２、付記１３のいずれかに記載の認証方法。
［付記１５］
　前記判定においては、前記第１画像における前記対象の顔の領域に所定のテンプレートを適用して、前記２画像が前記対象の左眼または右眼のいずれに対応するかを判定する
付記１２に記載の認証方法。
［付記１６］
　前記第１認証の後に前記第２認証が実行され、かつ、前記第１認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象の前記検出が可能な時間内において完了するように調整する
ことを更に備える付記１０に記載の認証方法。
［付記１７］
　前記第１画像の入力と前記第２画像の入力との間に、前記検出された前記所定方向に移動中の前記対象の顔が撮影された第３画像を入力し、
　前記第１認証において出力された前記候補情報に含まれる対象毎に、前記第３画像から算出される顔の特徴情報と前記一人以上の認証される対象にかかる顔の特徴情報を格納する第３記憶手段に格納される１つ以上の顔の特徴情報とを比較して第２照合スコアを算出し、算出された前記第２照合スコアを基に、前記第３記憶手段から一人以上の前記対象の候補情報を抽出する
ことを更に備える付記１０に記載の認証方法。
［付記１８］
　前記調整においては、前記第１認証の後に前記第３認証を実行し、前記第３認証の後に前記第２認証を実行し、かつ、前記第１認証、前記第３認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象を前記検出が可能な時間内において完了するように調整する
付記１６に記載の認証方法。
［付記１９］
　所定エリアの映像内において所定方向に移動中の認証の対象を検出し、
　検出された前記対象の全身が撮影された第１画像を入力し、
　前記第１画像に撮影される前記対象の全身の画像から特徴情報を算出し、算出された特徴情報と、一人以上の認証される対象にかかる全身の特徴情報を格納する第１記憶手段に格納される前記全身の特徴情報とを比較して第１認証を行い、当該第１認証の結果を基に、前記第１記憶手段から一人以上の前記対象の候補情報を抽出し、
　前記検出された前記所定方向に移動中の前記対象の右眼および左眼の少なくとも片方の虹彩を撮影した第２画像を入力し、
　前記候補情報に含まれる対象毎に、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報を格納する第２記憶手段に格納される１つ以上の虹彩の特徴情報と前記第２画像から算出される虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に、前記第２画像に撮影される前記対象の第２認証を行い、認証結果を出力する
ことをコンピュータに実現させる認証プログラムを格納する記憶媒体。
［付記２０］
　前記検出において、前記対象による前記所定方向以外への移動を検出すると、前記対象にかかる第１画像および第２画像の入力を中止する
付記１９に記載の記憶媒体。
［付記２１］
　前記第１画像を含む情報を基に、前記第２画像が前記対象の左眼のものか右眼のものかを判定し、判定結果を左右情報として前記第２画像に紐付けて出力すること
を更に備え、
　前記第２認証においては、前記左右情報に紐付けされた前記第２画像から算出される虹彩の特徴情報と当該左右情報に対応する前記第２記憶手段に格納される１つ以上の特徴情報とを比較して前記照合スコアを算出する
付記１９または付記２０に記載の記憶媒体。
［付記２２］
　前記第２記憶手段は、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報、および、当該一人以上の認証される対象にかかる右眼および左眼の信頼度スコアを格納し、
　前記第２認証においては、前記照合スコアを基に前記対象を特定し、前記第２記憶手段から前記対象に対応する前記信頼度スコアを取得し、前記照合スコアに前記信頼度スコアを重み付けした重み照合スコアを算出する 
付記１９に記載の記憶媒体。
［付記２３］
　前記第２認証においては、前記信頼度スコアを示す値が高い方の目を優先して、前記重み照合スコアを算出する
付記１９、付記２１、付記２２のいずれかに記載の記憶媒体。
［付記２４］
　前記判定においては、前記第１画像における前記対象の顔の領域に所定のテンプレートを適用して、前記２画像が前記対象の左眼または右眼のいずれに対応するかを判定する
付記２１に記載の記憶媒体。
［付記２５］
　前記第１認証の後に前記第２認証が実行され、かつ、前記第１認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象の前記検出が可能な時間内において完了するように調整する
ことを更に備える付記１９に記載の記憶媒体。
［付記２６］
　前記第１画像の入力と前記第２画像の入力との間に、前記検出された前記所定方向に移動中の前記対象の顔が撮影された第３画像を入力し、
　前記第１認証において出力された前記候補情報に含まれる対象毎に、前記第３画像から算出される顔の特徴情報と前記一人以上の認証される対象にかかる顔の特徴情報を格納する第３記憶手段に格納される１つ以上の顔の特徴情報とを比較して第２照合スコアを算出し、算出された前記第２照合スコアを基に、前記第３記憶手段から一人以上の前記対象の候補情報を抽出する
ことを更に備える付記１９に記載の記憶媒体。
［付記２７］
　前記調整においては、前記第１認証の後に前記第３認証を実行し、前記第３認証の後に前記第２認証を実行し、かつ、前記第１認証、前記第３認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象を前記検出が可能な時間内において完了するように調整する
付記２５に記載の記憶媒体。
　以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１０　カメラ
１１　検出部
１２　第１画像入力部
１３　第２画像入力部
１４　第１認証部
１５　第１記憶部
１６　第２認証部
１６ａ　第２認証部
１６ｂ　第２認証部
１７　第２記憶部
１７ａ　第２記憶部
２０　表示部
２１　判定部
２２　調整部
２２ａ　調整部
３１　第３画像入力部
３２　第３記憶部
３３　第３認証部
１００　生体認証装置
２００　生体認証装置
３００　生体認証装置
５００　情報処理装置
５０１　ＣＰＵ
５０３　ＲＡＭ
５０４　プログラム
５０５　記憶装置
５０６　記録媒体
５０７　ドライブ装置
５０８　通信インターフェース
５０９　通信ネットワーク
５１０　入出力インターフェース
５１１　バス
５０７　ドライブ装置
５０８　通信インターフェース
５０９　通信ネットワーク
５１０　入出力インターフェース
５１１　バス

Claims (27)

  1. 　所定エリアの映像内において所定方向に移動中の認証の対象を検出する検出手段と、
    　検出された前記対象の全身が撮影された第１画像を入力する第１画像入力手段と、
    　一人以上の認証される対象にかかる全身の特徴情報を格納する第１記憶手段と、
    　前記第１画像に撮影される前記対象の全身の画像から特徴情報を算出し、算出された特徴情報と第１記憶手段に格納される前記全身の特徴情報とを比較し、比較結果を基に、前記第１記憶手段から一人以上の前記対象の候補情報を抽出する第１認証手段と、
    　前記検出手段に検出された前記所定方向に移動中の前記対象の右眼および左眼の少なくとも片方の虹彩を撮影した第２画像を入力する第２画像入力手段と、
    　前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報を格納する第２記憶手段と、
    　前記候補情報に含まれる対象毎に、前記第２画像から算出される虹彩の特徴情報と前記第２記憶手段に格納される１つ以上の虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に、前記第２画像に撮影される前記対象を認証し、認証結果を出力する第２認証手段
    とを備える認証装置。
  2. 　前記検出手段が前記対象による前記所定方向以外への移動を検出すると、前記第１画像入力手段および第２画像入力手段は前記対象にかかる画像の入力を中止する
    請求項１に記載の認証装置。
  3. 　前記第１画像を含む情報を基に、前記第２画像が前記対象の左眼のものか右眼のものかを判定し、判定結果を左右情報として前記第２画像に紐付けて出力する判定手段
    を更に備え、
    　前記第２認証手段は、前記左右情報に紐付けされた前記第２画像から算出される虹彩の特徴情報と当該左右情報に対応する前記第２記憶手段に格納される１つ以上の特徴情報とを比較して前記照合スコアを算出する
    請求項１または請求項２に記載の認証装置。
  4. 　前記第２記憶手段は、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報、および、当該一人以上の認証される対象にかかる右眼および左眼の信頼度スコアを格納し、
    　前記第２認証手段は、前記照合スコアを基に前記対象を特定し、前記第２記憶手段から前記対象に対応する前記信頼度スコアを取得し、前記照合スコアに前記信頼度スコアを重み付けした重み照合スコアを算出する 
    請求項１に記載の認証装置。
  5. 　前記第２認証手段は、前記信頼度スコアを示す値が高い方の目を優先して、前記重み照合スコアを算出する
    請求項１、請求項３、請求項４のいずれかに記載の認証装置。
  6. 　前記判定手段は、前記第１画像における前記対象の顔の領域に所定のテンプレートを適用して、前記２画像が前記対象の左眼または右眼のいずれに対応するかを判定する
    請求項３に記載の認証装置。
  7. 　前記第１認証手段による第１認証の後に前記第２認証手段が第２認証を実行し、かつ、前記第１認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象を前記検出手段が検出可能な時間内において完了するように調整する調整手段
    を更に備える請求項１に記載の認証装置。
  8. 　前記第１画像入力手段による画像の入力と前記第２画像入力手段による画像の入力との間に、前記検出手段に検出された前記所定方向に移動中の前記対象の顔が撮影された第３画像を入力する第３画像入力手段と、
    　前記一人以上の認証される対象にかかる顔の特徴情報を格納する第３記憶手段と、
    　前記第１認証手段が出力する前記候補情報に含まれる対象毎に、前記第３画像から算出される顔の特徴情報と前記第３記憶手段に格納される１つ以上の顔の特徴情報とを比較し、比較結果を基に、前記第３記憶手段から一人以上の前記対象の候補情報を抽出する第３認証手段
    とを更に備える請求項１に記載の認証装置。
  9. 　前記調整手段は、前記第１認証手段による第１認証の後に前記第３認証手段が第３認証を実行し、前記第３認証の後に前記第２認証手段が第２認証を実行し、かつ、前記第１認証、前記第３認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象を前記検出手段が検出可能な時間内において完了するように調整する
    請求項７に記載の認証装置。
  10. 　所定エリアの映像内において所定方向に移動中の認証の対象を検出し、
    　検出された前記対象の全身が撮影された第１画像を入力し、
    　前記第１画像に撮影される前記対象の全身の画像から特徴情報を算出し、算出された特徴情報と、一人以上の認証される対象にかかる全身の特徴情報を格納する第１記憶手段に格納される前記全身の特徴情報とを比較して第１認証を行い、当該第１認証の結果を基に、前記第１記憶手段から一人以上の前記対象の候補情報を抽出し、
    　前記検出された前記所定方向に移動中の前記対象の右眼および左眼の少なくとも片方の虹彩を撮影した第２画像を入力し、
    　前記候補情報に含まれる対象毎に、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報を格納する第２記憶手段に格納される１つ以上の虹彩の特徴情報と前記第２画像から算出される虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に、前記第２画像に撮影される前記対象の第２認証を行い、認証結果を出力する
    ことを備える認証方法。
  11. 　前記検出において、前記対象による前記所定方向以外への移動を検出すると、前記対象にかかる第１画像および第２画像の入力を中止する
    請求項１０に記載の認証方法。
  12. 　前記第１画像を含む情報を基に、前記第２画像が前記対象の左眼のものか右眼のものかを判定し、判定結果を左右情報として前記第２画像に紐付けて出力すること
    を更に備え、
    　前記第２認証においては、前記左右情報に紐付けされた前記第２画像から算出される虹彩の特徴情報と当該左右情報に対応する前記第２記憶手段に格納される１つ以上の特徴情報とを比較して前記照合スコアを算出する
    請求項１０または請求項１１に記載の認証方法。
  13. 　前記第２記憶手段は、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報、および、当該一人以上の認証される対象にかかる右眼および左眼の信頼度スコアを格納し、
    　前記第２認証においては、前記照合スコアを基に前記対象を特定し、前記第２記憶手段から前記対象に対応する前記信頼度スコアを取得し、前記照合スコアに前記信頼度スコアを重み付けした重み照合スコアを算出する 
    請求項１０に記載の認証方法。
  14. 　前記第２認証においては、前記信頼度スコアを示す値が高い方の目を優先して、前記重み照合スコアを算出する
    請求項１０、請求項１２、請求項１３のいずれかに記載の認証方法。
  15. 　前記判定においては、前記第１画像における前記対象の顔の領域に所定のテンプレートを適用して、前記２画像が前記対象の左眼または右眼のいずれに対応するかを判定する
    請求項１２に記載の認証方法。
  16. 　前記第１認証の後に前記第２認証が実行され、かつ、前記第１認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象の前記検出が可能な時間内において完了するように調整する
    ことを更に備える請求項１０に記載の認証方法。
  17. 　前記第１画像の入力と前記第２画像の入力との間に、前記検出された前記所定方向に移動中の前記対象の顔が撮影された第３画像を入力し、
    　前記第１認証において出力された前記候補情報に含まれる対象毎に、前記第３画像から算出される顔の特徴情報と前記一人以上の認証される対象にかかる顔の特徴情報を格納する第３記憶手段に格納される１つ以上の顔の特徴情報とを比較して第２照合スコアを算出し、算出された前記第２照合スコアを基に、前記第３記憶手段から一人以上の前記対象の候補情報を抽出する
    ことを更に備える請求項１０に記載の認証方法。
  18. 　前記調整においては、前記第１認証の後に前記第３認証を実行し、前記第３認証の後に前記第２認証を実行し、かつ、前記第１認証、前記第３認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象を前記検出が可能な時間内において完了するように調整する
    請求項１６に記載の認証方法。
  19. 　所定エリアの映像内において所定方向に移動中の認証の対象を検出し、
    　検出された前記対象の全身が撮影された第１画像を入力し、
    　前記第１画像に撮影される前記対象の全身の画像から特徴情報を算出し、算出された特徴情報と、一人以上の認証される対象にかかる全身の特徴情報を格納する第１記憶手段に格納される前記全身の特徴情報とを比較して第１認証を行い、当該第１認証の結果を基に、前記第１記憶手段から一人以上の前記対象の候補情報を抽出し、
    　前記検出された前記所定方向に移動中の前記対象の右眼および左眼の少なくとも片方の虹彩を撮影した第２画像を入力し、
    　前記候補情報に含まれる対象毎に、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報を格納する第２記憶手段に格納される１つ以上の虹彩の特徴情報と前記第２画像から算出される虹彩の特徴情報とを比較して照合スコアを算出し、算出された照合スコアを基に、前記第２画像に撮影される前記対象の第２認証を行い、認証結果を出力する
    ことをコンピュータに実現させる認証プログラムを格納する記憶媒体。
  20. 　前記検出において、前記対象による前記所定方向以外への移動を検出すると、前記対象にかかる第１画像および第２画像の入力を中止する
    請求項１９に記載の記憶媒体。
  21. 　前記第１画像を含む情報を基に、前記第２画像が前記対象の左眼のものか右眼のものかを判定し、判定結果を左右情報として前記第２画像に紐付けて出力すること
    を更に備え、
    　前記第２認証においては、前記左右情報に紐付けされた前記第２画像から算出される虹彩の特徴情報と当該左右情報に対応する前記第２記憶手段に格納される１つ以上の特徴情報とを比較して前記照合スコアを算出する
    請求項１９または請求項２０に記載の記憶媒体。
  22. 　前記第２記憶手段は、前記一人以上の認証される対象にかかる右眼および左眼の虹彩の特徴情報、および、当該一人以上の認証される対象にかかる右眼および左眼の信頼度スコアを格納し、
    　前記第２認証においては、前記照合スコアを基に前記対象を特定し、前記第２記憶手段から前記対象に対応する前記信頼度スコアを取得し、前記照合スコアに前記信頼度スコアを重み付けした重み照合スコアを算出する 
    請求項１９に記載の記憶媒体。
  23. 　前記第２認証においては、前記信頼度スコアを示す値が高い方の目を優先して、前記重み照合スコアを算出する
    請求項１９、請求項２１、請求項２２のいずれかに記載の記憶媒体。
  24. 　前記判定においては、前記第１画像における前記対象の顔の領域に所定のテンプレートを適用して、前記２画像が前記対象の左眼または右眼のいずれに対応するかを判定する
    請求項２１に記載の記憶媒体。
  25. 　前記第１認証の後に前記第２認証が実行され、かつ、前記第１認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象の前記検出が可能な時間内において完了するように調整する
    ことを更に備える請求項１９に記載の記憶媒体。
  26. 　前記第１画像の入力と前記第２画像の入力との間に、前記検出された前記所定方向に移動中の前記対象の顔が撮影された第３画像を入力し、
    　前記第１認証において出力された前記候補情報に含まれる対象毎に、前記第３画像から算出される顔の特徴情報と前記一人以上の認証される対象にかかる顔の特徴情報を格納する第３記憶手段に格納される１つ以上の顔の特徴情報とを比較して第２照合スコアを算出し、算出された前記第２照合スコアを基に、前記第３記憶手段から一人以上の前記対象の候補情報を抽出する
    ことを更に備える請求項１９に記載の記憶媒体。
  27. 　前記調整においては、前記第１認証の後に前記第３認証を実行し、前記第３認証の後に前記第２認証を実行し、かつ、前記第１認証、前記第３認証および前記第２認証が、前記所定エリアの映像内における前記所定方向に移動中の前記対象を前記検出が可能な時間内において完了するように調整する
    請求項２５に記載の記憶媒体。
PCT/JP2018/036424 2018-09-28 2018-09-28 認証装置、認証方法および記憶媒体 WO2020065954A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
SG11202103136VA SG11202103136VA (en) 2018-09-28 2018-09-28 Authentication device, authentication method, and storage medium
JP2020547826A JP7188446B2 (ja) 2018-09-28 2018-09-28 認証装置、認証方法、認証プログラムおよび記録媒体
US17/279,237 US11837030B2 (en) 2018-09-28 2018-09-28 Authentication device, authentication method, and recording medium
PCT/JP2018/036424 WO2020065954A1 (ja) 2018-09-28 2018-09-28 認証装置、認証方法および記憶媒体
EP18934956.6A EP3859662A4 (en) 2018-09-28 2018-09-28 AUTHENTICATION DEVICE, AUTHENTICATION METHOD AND STORAGE MEDIA
US17/681,995 US20220189212A1 (en) 2018-09-28 2022-02-28 Authentication device, authentication method, and recording medium
US17/682,000 US11756338B2 (en) 2018-09-28 2022-02-28 Authentication device, authentication method, and recording medium
US18/221,309 US20230368582A1 (en) 2018-09-28 2023-07-12 Authentication device, authentication method, and recording medium
US18/221,319 US20230368583A1 (en) 2018-09-28 2023-07-12 Authentication device, authentication method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/036424 WO2020065954A1 (ja) 2018-09-28 2018-09-28 認証装置、認証方法および記憶媒体

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US17/279,237 A-371-Of-International US11837030B2 (en) 2018-09-28 2018-09-28 Authentication device, authentication method, and recording medium
US17/682,000 Continuation US11756338B2 (en) 2018-09-28 2022-02-28 Authentication device, authentication method, and recording medium
US17/681,995 Continuation US20220189212A1 (en) 2018-09-28 2022-02-28 Authentication device, authentication method, and recording medium

Publications (1)

Publication Number Publication Date
WO2020065954A1 true WO2020065954A1 (ja) 2020-04-02

Family

ID=69953055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036424 WO2020065954A1 (ja) 2018-09-28 2018-09-28 認証装置、認証方法および記憶媒体

Country Status (5)

Country Link
US (5) US11837030B2 (ja)
EP (1) EP3859662A4 (ja)
JP (1) JP7188446B2 (ja)
SG (1) SG11202103136VA (ja)
WO (1) WO2020065954A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261267A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム、および、情報処理システム
WO2022230204A1 (ja) * 2021-04-30 2022-11-03 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体
WO2022244357A1 (ja) * 2021-05-18 2022-11-24 株式会社日立製作所 生体の認証システムおよび認証方法
EP4152183A4 (en) * 2020-05-14 2023-06-21 Fujitsu Limited AUTHENTICATION PROCESS, AUTHENTICATION PROGRAM AND AUTHENTICATION DEVICE

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198531A (ja) * 1996-01-17 1997-07-31 Oki Electric Ind Co Ltd カードレス施設利用システム
JP2000102524A (ja) 1998-09-29 2000-04-11 Oki Electric Ind Co Ltd 個体識別装置
JP2000148985A (ja) * 1998-11-17 2000-05-30 Hitachi Ltd 個人認証システム
JP2003058888A (ja) * 2001-08-15 2003-02-28 Secom Co Ltd 個人照合装置
JP2005227933A (ja) * 2004-02-12 2005-08-25 Oki Electric Ind Co Ltd バイオメトリクス照合高速化方法
JP2005242677A (ja) 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP2007334623A (ja) * 2006-06-15 2007-12-27 Toshiba Corp 顔認証装置、顔認証方法、および入退場管理装置
JP2009015518A (ja) * 2007-07-03 2009-01-22 Panasonic Corp 眼画像撮影装置及び認証装置
JP2011150497A (ja) * 2010-01-21 2011-08-04 Mitsubishi Electric Corp 人物認証装置、人物認証方法、およびそのソフトウェアプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171241A (ja) * 2002-11-20 2004-06-17 Casio Comput Co Ltd 不正監視システムおよびプログラム
US20060165264A1 (en) * 2005-01-26 2006-07-27 Hirofumi Saitoh Method and apparatus for acquiring images, and verification method and verification apparatus
EP2987098A4 (en) 2013-04-16 2017-05-03 ImageWare Systems, Inc. Multi-modal biometric database searching methods
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
KR20180084397A (ko) 2017-01-17 2018-07-25 삼성전자주식회사 홍채를 인식하기 위한 전자 장치 및 그의 동작 방법
US11568681B2 (en) * 2018-09-27 2023-01-31 Nec Corporation Iris authentication device, iris authentication method and recording medium
US11348370B2 (en) * 2018-10-16 2022-05-31 Nec Corporation Iris authentication device, iris authentication method, and recording medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198531A (ja) * 1996-01-17 1997-07-31 Oki Electric Ind Co Ltd カードレス施設利用システム
JP2000102524A (ja) 1998-09-29 2000-04-11 Oki Electric Ind Co Ltd 個体識別装置
JP2000148985A (ja) * 1998-11-17 2000-05-30 Hitachi Ltd 個人認証システム
JP2003058888A (ja) * 2001-08-15 2003-02-28 Secom Co Ltd 個人照合装置
JP2005227933A (ja) * 2004-02-12 2005-08-25 Oki Electric Ind Co Ltd バイオメトリクス照合高速化方法
JP2005242677A (ja) 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP2007334623A (ja) * 2006-06-15 2007-12-27 Toshiba Corp 顔認証装置、顔認証方法、および入退場管理装置
JP2009015518A (ja) * 2007-07-03 2009-01-22 Panasonic Corp 眼画像撮影装置及び認証装置
JP2011150497A (ja) * 2010-01-21 2011-08-04 Mitsubishi Electric Corp 人物認証装置、人物認証方法、およびそのソフトウェアプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4152183A4 (en) * 2020-05-14 2023-06-21 Fujitsu Limited AUTHENTICATION PROCESS, AUTHENTICATION PROGRAM AND AUTHENTICATION DEVICE
WO2021261267A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム、および、情報処理システム
EP4174688A4 (en) * 2020-06-26 2023-11-29 Sony Group Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM AND INFORMATION PROCESSING SYSTEM
WO2022230204A1 (ja) * 2021-04-30 2022-11-03 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体
WO2022244357A1 (ja) * 2021-05-18 2022-11-24 株式会社日立製作所 生体の認証システムおよび認証方法

Also Published As

Publication number Publication date
US20210406567A1 (en) 2021-12-30
US20220189213A1 (en) 2022-06-16
SG11202103136VA (en) 2021-04-29
JP7188446B2 (ja) 2022-12-13
US20230368582A1 (en) 2023-11-16
JPWO2020065954A1 (ja) 2021-09-24
US11756338B2 (en) 2023-09-12
EP3859662A4 (en) 2022-01-19
US11837030B2 (en) 2023-12-05
US20230368583A1 (en) 2023-11-16
EP3859662A1 (en) 2021-08-04
US20220189212A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
US11023757B2 (en) Method and apparatus with liveness verification
WO2020065954A1 (ja) 認証装置、認証方法および記憶媒体
US11682236B2 (en) Iris authentication device, iris authentication method and recording medium
US11651624B2 (en) Iris authentication device, iris authentication method, and recording medium
Dospinescu et al. Face detection and face recognition in android mobile applications
KR102215535B1 (ko) 신경망을 이용한 안면 부분 이미지 기반 신분 인증 방법 및 이를 수행하는 시스템
JP2017044778A (ja) 認証装置
JP7302680B2 (ja) 情報処理装置、方法およびプログラム
JP7248348B2 (ja) 顔認証装置、顔認証方法、及びプログラム
KR102439216B1 (ko) 인공지능 딥러닝 모델을 이용한 마스크 착용 얼굴 인식 방법 및 서버
Hemalatha et al. A study of liveness detection in face biometric systems
Dixit et al. SIFRS: Spoof Invariant Facial Recognition System (A Helping Hand for Visual Impaired People)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18934956

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020547826

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018934956

Country of ref document: EP

Effective date: 20210428