WO2023053359A1 - 情報処理システム、情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理システム、情報処理装置、情報処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2023053359A1
WO2023053359A1 PCT/JP2021/036180 JP2021036180W WO2023053359A1 WO 2023053359 A1 WO2023053359 A1 WO 2023053359A1 JP 2021036180 W JP2021036180 W JP 2021036180W WO 2023053359 A1 WO2023053359 A1 WO 2023053359A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
iris
authentication
information processing
processing system
Prior art date
Application number
PCT/JP2021/036180
Other languages
English (en)
French (fr)
Inventor
宏和 秋葉
真二 大湊
一峰 周
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/036180 priority Critical patent/WO2023053359A1/ja
Priority to JP2023550924A priority patent/JPWO2023053359A1/ja
Priority to US17/776,338 priority patent/US20240153263A1/en
Publication of WO2023053359A1 publication Critical patent/WO2023053359A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees

Definitions

  • This disclosure relates to the technical fields of information processing systems, information processing apparatuses, information processing methods, and recording media.
  • Patent Literature 1 discloses that, among a plurality of eye images, an eye image evaluated as the best by an eye image evaluation unit is stored as registration authentication information.
  • Japanese Patent Application Laid-Open No. 2002-201000 if the face and eye regions cannot be extracted from the image, False is returned as the shooting quality, and if both the face region and the eye region are successfully extracted, True is returned as the shooting quality. is disclosed.
  • Japanese Patent Application Laid-Open No. 2002-200003 discloses repeatedly taking images including at least the eyes of the person to be authenticated, and outputting an image judged to have good image quality by an image quality judging unit.
  • the purpose of this disclosure is to improve the technology disclosed in prior art documents.
  • One aspect of the information processing system disclosed herein includes image acquisition means for acquiring a face image and an iris image to be registered, score calculation means for calculating a quality score indicating the quality of the face image and the iris image, and selection means for selecting the face image and the iris image to be registered based on the quality score.
  • One aspect of the information processing apparatus disclosed herein includes image acquisition means for acquiring a face image and an iris image to be registered, score calculation means for calculating a quality score indicating quality of the face image and the iris image, and selection means for selecting the face image and the iris image to be registered based on the quality score.
  • One aspect of the information processing method of this disclosure is an information processing method executed by at least one computer, in which a face image and an iris image to be registered are acquired, and a quality indicating the quality of the face image and the iris image is obtained. A score is calculated, and the face image and the iris image to be registered are selected based on the quality score.
  • At least one computer obtains a face image and an iris image to be registered, calculates a quality score indicating the quality of the face image and the iris image, and calculates the quality score.
  • a computer program for executing an information processing method for selecting the face image and the iris image to be registered is recorded.
  • FIG. 2 is a block diagram showing the hardware configuration of the information processing system according to the first embodiment;
  • FIG. FIG. 2 is a perspective view showing the configuration of an authentication terminal included in the information processing system according to the first embodiment;
  • 1 is a block diagram showing a functional configuration of an information processing system according to a first embodiment;
  • FIG. It is a block diagram which shows the functional structure of the modification of the information processing system which concerns on 1st Embodiment.
  • 4 is a flow chart showing the flow of registration operation by the information processing system according to the first embodiment;
  • 4 is a flowchart showing the flow of imaging operation by the information processing system according to the first embodiment;
  • It is a block diagram which shows the functional structure of the information processing system which concerns on 2nd Embodiment.
  • FIG. 9 is a flow chart showing the flow of registration operation by the information processing system according to the second embodiment
  • FIG. 11 is a block diagram showing a functional configuration of an information processing system according to a third embodiment
  • FIG. 14 is a flow chart showing the flow of authentication operation by the information processing system according to the third embodiment
  • It is a top view showing an example of order display by an information processing system concerning a 3rd embodiment.
  • FIG. 12 is a block diagram showing a functional configuration of an information processing system according to a fourth embodiment
  • FIG. FIG. 16 is a flow chart showing the flow of iris imaging operation by the information processing system according to the fourth embodiment
  • FIG. FIG. 12 is a block diagram showing a functional configuration of an information processing system according to a fifth embodiment
  • FIG. 16 is a flow chart showing the flow of an authentication operation by the information processing system according to the fifth embodiment
  • FIG. FIG. 12 is a block diagram showing a functional configuration of an information processing system according to a sixth embodiment
  • FIG. FIG. 14 is a flow chart showing the flow of authentication operation by the information processing system according to the sixth embodiment
  • FIG. FIG. 22 is a block diagram showing a functional configuration of an information processing system according to a seventh embodiment
  • FIG. 22 is a plan view showing a specific example of authentication operation by the information processing system according to the eighth embodiment
  • FIG. 22 is a block diagram showing a functional configuration of an information processing system according to a ninth embodiment
  • FIG. FIG. 21 is a plan view (No. 1) showing a display example in the information processing system according to the ninth embodiment
  • FIG. 21 is a plan view (part 2) showing a display example in the information processing system according to the ninth embodiment;
  • FIG. 22 is a block diagram showing a functional configuration of an information processing system according to a tenth embodiment;
  • FIG. FIG. 22 is a flow chart showing the flow of operations by the first registration control unit of the information processing system according to the tenth embodiment;
  • FIG. 16 is a flow chart showing the flow of operations by the second registration control unit of the information processing system according to the tenth embodiment;
  • FIG. FIG. 21 is a block diagram showing the functional configuration of an information processing system according to an eleventh embodiment;
  • FIG. 21 is a plan view showing an example of a spoofing detection operation by an information processing system according to an eleventh embodiment;
  • FIG. 22 is a block diagram showing a functional configuration of an information processing system according to a twelfth embodiment
  • FIG. FIG. 22 is a flow chart showing the flow of authentication method determination operation by the information processing system according to the twelfth embodiment
  • FIG. FIG. 22 is a block diagram showing a functional configuration of an information processing system according to a thirteenth embodiment
  • FIG. 22 is a block diagram showing a functional configuration of an information processing system according to a fourteenth embodiment
  • FIG. 1 An information processing system according to the first embodiment will be described with reference to FIGS. 1 to 6.
  • FIG. 1 An information processing system according to the first embodiment will be described with reference to FIGS. 1 to 6.
  • FIG. 1 is a block diagram showing the hardware configuration of an information processing system according to the first embodiment.
  • an information processing system 10 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, and a storage device .
  • Information processing system 10 may further include an input device 15 and an output device 16 .
  • the information processing system 10 may also include a first camera 18 and a second camera 19 .
  • the above-described processor 11, RAM 12, ROM 13, storage device 14, input device 15, output device 16, first camera 18, and second camera 19 are connected via a data bus 17. .
  • the processor 11 reads a computer program.
  • processor 11 is configured to read a computer program stored in at least one of RAM 12, ROM 13 and storage device .
  • the processor 11 may read a computer program stored in a computer-readable recording medium using a recording medium reader (not shown).
  • the processor 11 may acquire (that is, read) a computer program from a device (not shown) arranged outside the information processing system 10 via a network interface.
  • the processor 11 controls the RAM 12, the storage device 14, the input device 15 and the output device 16 by executing the read computer program.
  • the processor 11 implements a functional block that executes processing for registering the target image. That is, the processor 11 may function as a controller that executes each control in the information processing device 10 .
  • the processor 11 may be configured as, for example, a CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (Field-Programmable Gate Array), DSP (Demand-Side Platform), and ASIC (Application Specific Integrate).
  • the processor 11 may be configured with one of these, or may be configured to use a plurality of them in parallel.
  • the RAM 12 temporarily stores computer programs executed by the processor 11.
  • the RAM 12 temporarily stores data temporarily used by the processor 11 while the processor 11 is executing the computer program.
  • the RAM 12 may be, for example, a D-RAM (Dynamic RAM).
  • the ROM 13 stores computer programs executed by the processor 11 .
  • the ROM 13 may also store other fixed data.
  • the ROM 13 may be, for example, a P-ROM (Programmable ROM).
  • the storage device 14 stores data that the information processing system 10 saves for a long period of time.
  • Storage device 14 may act as a temporary storage device for processor 11 .
  • the storage device 14 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 15 is a device that receives input instructions from the user of the information processing system 10 .
  • Input device 15 may include, for example, at least one of a keyboard, mouse, and touch panel.
  • the input device 15 may be configured as a mobile terminal such as a smart phone or a tablet.
  • the output device 16 is a device that outputs information about the information processing system 10 to the outside.
  • the output device 16 may be a display device (eg, display) capable of displaying information regarding the information processing system 10 .
  • the output device 16 may be a speaker or the like capable of outputting information about the information processing system 10 by voice.
  • the output device 16 may be configured as a mobile terminal such as a smart phone or a tablet.
  • the first camera 18 and the second camera 19 are cameras installed at locations where the target image can be captured.
  • the target here is not limited to humans, and may include animals such as dogs and snakes, robots, and the like.
  • the first camera 18 and the second camera 19 may be configured as cameras that respectively capture different parts of the object.
  • the first camera 18 captures an image including the target's face (hereinafter referred to as a "face image")
  • the second camera 19 captures an image including the target's iris (hereinafter referred to as an "iris image").
  • iris image may be configured to image.
  • the first camera 18 and the second camera 19 may be cameras that capture still images, or may be cameras that capture moving images.
  • the first camera 18 and the second camera 19 may be configured as visible light cameras or may be configured as near-infrared cameras.
  • the first camera 18 and the second camera 19 may be configured as depth cameras or as thermal cameras.
  • a plurality of first cameras 18 and second cameras 19 may be provided.
  • the first camera 18 and the second camera 19 may be configured as one common camera.
  • the first camera 18 and the second camera 19 may be cameras mounted on a terminal (for example, a smart phone) owned by the target.
  • the first camera 18 and the second camera 19 may have a function of automatically turning off the power when not capturing an image, for example. In this case, for example, the liquid lens, the motor, or the like having a short life may be preferentially turned off.
  • the first camera 18 is configured as a face camera that captures a face image and the second camera 19 is configured as an iris camera that captures an iris image
  • the iris camera which is an example of the second camera 19
  • common reference numerals such as "face camera 18" and "iris camera 19"
  • FIG. 1 illustrates an example of the information processing system 10 including a plurality of devices, but all or part of these functions may be realized by one device (information processing device).
  • This information processing apparatus comprises, for example, only the processor 11, the RAM 12, and the ROM 13 described above, and other components (that is, the storage device 14, the input device 15, the output device 16, the face camera 18, and the iris camera 19). ) may be provided in, for example, an external device connected to the information processing device.
  • the information processing device may implement a part of the arithmetic function by an external device (for example, an external server, a cloud, etc.).
  • FIG. 2 is a perspective view showing the configuration of an authentication terminal included in the information processing system according to the first embodiment
  • the information processing system 10 includes an authentication terminal 30 including the above-described face camera 18 (ie, first camera 18) and iris camera 19 (ie, second camera 19). configured with.
  • the housing of the authentication terminal 30 is made of resin, metal, or the like, for example.
  • a display 40 is provided on the front portion of the authentication terminal. This display may display various information about the authentication terminal, messages for the user, and images and videos captured by the face camera 18 and the iris camera 19 .
  • a face camera 18 and an iris camera 19 are installed inside a camera installation portion 35 (the portion enclosed by the dashed line in the drawing) located below the display 40 .
  • the camera 18 and the iris camera 19 may be provided so as to be visible from the outside of the housing, or may be provided so as to be invisible from the outside.
  • the visible light cameras may be exposed to the outside in order to capture external visible light (for example, visible light cameras An opening may be provided in the vicinity.)
  • the near-infrared cameras may be provided so as not to be exposed to the outside (for example, , may be covered with a visible light cut film or the like).
  • the first camera 18 is configured as a visible light camera and the second camera 19 is configured as a near-infrared camera
  • the first camera 18 is exposed to the outside (for example, an opening is provided near the first camera 18)
  • the second camera 19 may be provided so as not to be exposed to the outside (for example, it may be covered with a visible light cut film or the like).
  • FIG. 3 is a block diagram showing the functional configuration of the information processing system according to the first embodiment.
  • the information processing system 10 is configured as a system capable of executing processing related to biometric authentication (in particular, face authentication and iris authentication).
  • the information processing system 10 may be configured, for example, as a system for registering a registered image used for biometric authentication (that is, an image of a registered user registered in advance). Further, the information processing system 10 may be configured as a system that executes authentication processing.
  • the information processing system 10 may be installed, for example, in a facility that performs biometric authentication.
  • the information processing system 10 may be installed in residential facilities such as condominiums, store facilities such as retail stores, corporate offices, airports, bus terminals, event spaces, and the like. The facilities are not limited to indoor facilities, and include outdoor facilities.
  • the information processing system 10 includes a face camera 18 and a second camera 19, which are examples of the first camera 18 already described, as components for realizing its functions. It includes an iris camera 19, which is an example, an image acquisition unit 110, a score calculation unit 120, and a selection unit .
  • Each of the image acquisition unit 110, the score calculation unit 120, and the selection unit 130 may be a processing block realized by, for example, the above-described processor 11 (see FIG. 1).
  • the image acquisition unit 110 is configured to be able to acquire a face image captured by the face camera 18 and an iris image captured by the iris camera 19 .
  • the image acquisition unit 110 may be configured to be able to acquire a face image and an iris image as registered image candidates used for biometric authentication.
  • the image acquisition unit 110 can acquire the face image and the iris image of a user (hereafter referred to as a “registration target” as appropriate) whose biometric information (here, face information and iris information) is to be registered. may be configured.
  • the image acquisition unit 110 may be configured to be capable of acquiring a face image and an iris image as authentication images used for biometric authentication (that is, images acquired during authentication).
  • the image acquisition unit 110 can acquire the face image and the iris image of a user (hereinafter referred to as “authentication target” as appropriate) who is about to perform biometric authentication (here, face authentication and iris authentication). may be configured.
  • the score calculation unit 120 is configured to be able to calculate a quality score indicating the quality of the face image and the iris image that are registered image candidates acquired by the image acquisition unit 110 .
  • the score calculation unit 120 may calculate the quality score considering multiple factors that may affect biometric authentication. For example, the score calculation unit 120 calculates the quality score based on the degree of blurring of the image, the orientation of the eyes, the orientation of the face, the degree of opening of the eyes, the degree of hiding of the iris, the brightness value, the presence or absence of shadows, the degree of illumination, and the like. You can When the image acquisition section 110 acquires a plurality of images, the score calculation section 120 may calculate a quality score for each of the plurality of images.
  • the score calculation unit 120 may calculate quality scores by comparing a plurality of images with each other. That is, the score calculator 120 may be configured to calculate a score that indicates relative quality. Note that when comparing a plurality of images, the score calculation unit 120 does not calculate a quality score. ) may be selected. For example, when comparing three images, the score calculation unit 120 first compares the first and second images, selects the image with the higher quality, and then selects the selected image and the three images. The image of the eye may be compared and the image with the highest quality may be selected. The quality score calculated by the score calculator 120 is configured to be output to the selector 130 .
  • the selection unit 130 selects a face image and an iris image to be registered as registered images based on the quality score calculated by the score calculation unit 120 .
  • the selection unit 130 may select, for example, the image with the highest quality score from the plurality of images for which scores have been calculated. Alternatively, the selection unit 130 may select those whose quality score is equal to or higher than a preset threshold.
  • the selection unit 130 may output an instruction to the image acquisition unit 110 so as not to acquire any more images.
  • the selection unit 130 may output an instruction to the face camera 18 or the iris camera 19 not to capture any more images.
  • FIG. 4 is a block diagram showing a functional configuration of a modification of the information processing system according to the first embodiment.
  • symbol is attached
  • the modified example of the information processing system 10 according to the first embodiment includes a face camera 18, an iris camera 19, an image acquisition unit 110, a target position It includes a detection unit 115 , a rotation control unit 116 , a score calculation unit 120 and a selection unit 130 . That is, the information processing system 10 according to the modification further includes an object detection unit 115 and a rotation control unit 116 in addition to the configuration of the first embodiment (see FIG. 3).
  • Each of the target position detection unit 115 and the rotation control unit 116 may be a processing block realized by, for example, the above-described processor 11 (see FIG. 1).
  • the target position detection unit 115 acquires images captured by the face camera 18 and the iris camera 19, and is configured to be able to detect the position of the user captured from at least one of these images (hereinafter referred to as "target position" as appropriate). It is
  • the position of the target may be, for example, the position where the target's face exists or the position where the target's eyes exist. Further, the position of the target may be not only the position in the height direction, but also the position in the depth direction corresponding to the distance to the camera, or the position in the left-right direction.
  • the rotation control unit 116 is configured to be able to perform rotation control of the face camera 18 and the iris camera 19 based on the target position detected by the target position detection unit 115 .
  • Rotation control of the face camera 18 and the iris camera 19 may be realized by, for example, motors.
  • the face camera 18 and the iris camera 19 may be rotationally controlled around a common rotational axis.
  • the rotation control unit 116 is configured, for example, to determine the direction and amount of rotation of the face camera 18 and the iris camera 19, and execute control according to the determined parameters.
  • the rotation control unit 116 allows each of the face camera 18 and the iris camera 19 to capture an image of the user's face and iris (in other words, the image capturing range of each of the face camera 18 and the iris camera 19). control the rotation operations of the face camera 18 and the iris camera 19 so that the face and iris of the face can be accommodated.
  • the face camera 18 and the iris camera 19 may have different imaging ranges (for example, the face camera has a wider imaging range). In such a case, the rotation may be controlled so that the target position is first detected by the face camera 18 with a wide imaging range, and the iris is captured by the iris camera 19 with a narrow imaging range.
  • the position detection by the target position detection unit 115 and the rotation operation by the rotation control unit 116 may be executed in parallel.
  • the target position may be detected while the face camera 18 and the iris camera 19 are capturing images, and a rotation operation may be performed based on the detected position at the same time.
  • FIG. 5 is a flow chart showing the flow of registration operation by the information processing system according to the first embodiment.
  • the image acquisition unit 110 acquires a face image and an iris image to be registered (step S110).
  • the face image and the iris image may be taken at the same time or may be taken at different timings.
  • the score calculation unit 120 calculates quality scores of the face image and the iris image acquired by the image acquisition unit 110 (step S102). Then, the selection unit 130 selects a face image and an iris image to be registered based on the quality score calculated by the score calculation unit 120 (step S103).
  • FIG. 6 is a flow chart showing the flow of imaging operation by the information processing system according to the first embodiment.
  • the face camera 18 first takes an image of the target (step S151).
  • the image of the target may be, for example, an image including the whole body of the target or an image including the upper half of the body.
  • the face detection unit identifies the position of the target face from the target image (step S152).
  • the face detection unit is capable of detecting the position of the target face (for example, the position of the area containing the target face), and is provided, for example, by the image acquisition unit 110 (that is, one function of the image acquisition unit 110). you can After that, the face camera 18 captures a face image of the target based on the specified position of the face of the target (step S153).
  • the face camera 18 may capture the face image at the timing when the position of the target face is included in the imaging range, for example.
  • the iris detection unit identifies the target position from the target face image (step S154).
  • the iris detection unit is capable of detecting the position of the target iris (for example, the position of the region containing the target iris), and is configured, for example, as a component of the image acquisition unit 110 (that is, one function of the image acquisition unit 110). you can After that, the iris camera 19 takes an iris image of the target based on the identified position of the iris of the target (step S155).
  • the iris camera 19 may take an iris image, for example, at the timing when the iris position is included in the imaging range, or at the timing when the iris overlaps the palm-to-palm position.
  • face images and iris images to be registered are selected based on quality scores. By doing so, it is possible to register high-quality face images and iris images. As a result, for example, it is possible to improve the authentication accuracy of face authentication and iris authentication.
  • FIG. 7 An information processing system 10 according to the second embodiment will be described with reference to FIGS. 7 and 8.
  • FIG. The second embodiment may differ from the above-described first embodiment only in a part of configuration and operation, and the other parts may be the same as those of the first embodiment. Therefore, in the following, portions different from the already described first embodiment will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 7 is a block diagram showing the functional configuration of the information processing system according to the second embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130, a mode switching unit 140, and a threshold change unit 150. That is, the information processing system 10 according to the second embodiment further includes a mode switching section 140 and a threshold changing section 150 in addition to the configuration of the first embodiment (see FIG. 3).
  • Each of the mode switching unit 140 and the threshold changing unit 150 may be a processing block realized by the above-described processor 11 (see FIG. 1), for example.
  • the mode switching unit 140 is configured to be able to switch the mode of the registration operation. Specifically, the mode switching unit 140 performs the first mode in which the face image and the iris image are captured and the quality score calculation is performed in parallel, and the quality score calculation is performed after the face image and the iris image are captured. and a second mode to be switched. The mode switching unit 140 switches between the first mode and the second mode based on the eye size to be registered. Alternatively, the mode switching unit 140 switches between the first mode and the second mode based on how the iris is captured (for example, whether the iris is hidden behind the eyelids, whether the iris is hidden due to reflected lighting, etc.). You can switch.
  • the mode switching unit 140 may switch to the first mode when the eyes to be registered are relatively small, and may switch to the second mode when the eyes to be registered are relatively large.
  • the mode switching section 140 may switch between the first mode and the second mode using a preset threshold for the eye size.
  • the threshold changing unit 150 is configured to be able to change the threshold used when the selecting unit 230 selects the registered face image and iris image.
  • the threshold change unit 150 may be configured, for example, to increase the threshold as the eyes to be registered are larger. In this case, since the threshold is high when the eye of the registration target is large, it becomes difficult to select the face image and the iris image to be registered for the registration target of the large eye. On the other hand, since the threshold is low when the eyes of the registration target are small, the face image and the iris image to be registered are likely to be selected for the registration target with small eyes. Further, the threshold change unit 150 may be configured to lower the threshold as the eyes to be registered are larger, for example. In this case, the threshold is low when the eyes of the target to be registered are large.
  • the threshold changing unit 150 may be configured to change the threshold based on the degree of iris shift. For example, the threshold changing unit 150 may increase the threshold as the iris is captured better. Alternatively, the threshold changing unit 150 may lower the threshold as the iris is captured better. Also, the threshold change unit 150 may have a function of detecting eyeglasses or colored contacts, and change the threshold according to the detection result. For example, when eyeglasses or colored contact lenses are detected, the threshold is set higher than when they are not detected (for example, images with eyeglasses are taken more times than without eyeglasses). can be
  • FIG. 8 is a flow chart showing the flow of registration operation by the information processing system according to the second embodiment.
  • the same reference numerals are assigned to the same processes as those described in FIG.
  • the eye size to be registered is acquired (step S201).
  • the eye size may be obtained, for example, from an image to be registered (for example, a face image or an iris image).
  • mode switching unit 140 determines whether or not the eye size is smaller than a predetermined value (step S202).
  • step S202 If the eye size is smaller than the predetermined value (step S202: YES), the mode switching unit 140 switches to the first mode (step S203). That is, the mode is switched to a mode in which the imaging of the face image and the iris image and the calculation of the quality score are executed in parallel.
  • step S202: NO if the eye size is larger than the predetermined value (step S202: NO), the mode switching unit 140 switches to the second mode (step S204). That is, the mode is switched to the mode in which the quality score is calculated after the face image and the iris image are captured.
  • the threshold change unit 150 changes the threshold used by the selection unit 130 according to the eye size to be registered (step S205). Then, the selection unit 130 selects a face image and an iris image to be registered using the changed threshold (step S206).
  • the registration operation mode is switched and the threshold value is changed based on the size of the eyes.
  • an image with a high quality score can be obtained by repeating imaging until an image with a high quality score is obtained.
  • by lowering the threshold even if it is difficult to obtain an image with a high quality score, it becomes easier to select a face image and an iris image to be registered.
  • the registration operation can be performed more efficiently. For example, by capturing the face image and the iris image in advance, it is possible to shorten the time required for capturing (that is, the time the registration target waits in front of the camera). Also, for registration targets with large eyes, it is possible to select face images and iris images of higher quality by increasing the threshold.
  • FIG. 9 An information processing system 10 according to the third embodiment will be described with reference to FIGS. 9 to 11.
  • FIG. 9 An information processing system 10 according to the third embodiment will be described with reference to FIGS. 9 to 11.
  • FIG. 9 It should be noted that the third embodiment may partially differ from the first and second embodiments described above in configuration and operation, and the rest may be the same as those in the first and second embodiments. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 9 is a block diagram showing the functional configuration of an information processing system according to the third embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130 , a registration information database (DB) 210 , an order output unit 220 and an authentication unit 230 . That is, the information processing system 10 according to the third embodiment further includes a registration information database 210, an order output unit 220, and an authentication unit 230 in addition to the configuration of the first embodiment (see FIG. 3). there is
  • the registration information database 210 may be implemented, for example, by the storage device 14 described above.
  • each of the order output unit 220 and the authentication unit 230 may be a processing block realized by the above-described processor 11 (see FIG. 1), for example.
  • the registration information database 210 is a database configured to be able to store registration images used for authentication. Registration information database 210 stores the face image and iris image selected by selection unit 130 . Alternatively, the registration information database 210 may store feature amounts extracted from the face image and iris image selected by the selection unit 130 . The registration information database 210 may be configured to store face images and iris images in association with each other. However, registration information database 210 may be configured to be able to store only one of the face image and the iris image. An expiration date may be set for the information stored in the registration information database 210 . For example, information about temporary guests may be automatically deleted after a predetermined period of time (eg, one week) from registration.
  • a predetermined period of time eg, one week
  • the information stored in the registration information database 210 may be configured so that it can be checked by a user having predetermined authority (for example, system administrator, registered user, etc.).
  • the face image and iris image stored in the registration information database 210 can be appropriately read by the authentication unit 230, which will be described later.
  • the order output unit 220 outputs information regarding the order of authentication (hereinafter referred to as "order information" as appropriate) when at least one of the face image and the iris image acquired at the time of authentication includes a plurality of authentication targets. configured as possible. More specifically, the order output unit 220 is configured to be able to output the order information so as to be superimposed on a screen showing a plurality of authentication targets.
  • the order of authentication may be determined, for example, based on the size of the authentication target in the image. For example, it may be determined so that the order of the authentication object that appears the largest in the image is early, and the order of the authentication object that appears small in the image is the latter.
  • the distance between the eyes or the image of the depth camera may be used for authentication in order of proximity to the camera.
  • the order of authentication may be randomly determined.
  • the order information may be output toward multiple authentication targets.
  • the order information may be displayed as an image using a display or the like, or may be output as audio using a speaker or the like. A specific output example of the order information will be described in detail later.
  • the authentication unit 230 performs authentication processing (that is, face authentication and iris authentication).
  • the authentication unit 230 may be configured to be able to perform authentication processing using a face feature amount extracted from a face image and an iris feature amount extracted from an iris image.
  • the authentication unit 230 may perform face authentication and iris authentication separately and output an authentication result in which the results are integrated. For example, the authentication unit 230 outputs that the authentication result is successful when both the iris authentication and the iris authentication are successful, and the authentication result is the failure when at least one of the iris authentication and the iris authentication fails.
  • the authentication unit 230 can be output as Alternatively, if at least one of the iris authentication and the iris authentication succeeds, the authentication unit 230 outputs that the authentication result is successful, and if both the iris authentication and the iris authentication fail, the authentication result is the failure. can be output as
  • the authentication unit 230 performs authentication according to the order information output by the order output 220 in particular. For example, when the order output unit 220 outputs the order information that the order of the target A is "1" and the order of the target B is "2", the authentication unit 230 first performs the authentication process of the target A, and then , the target B is authenticated.
  • the order here indicates the order in which the target is authenticated. For example, "1" indicates that the target is authenticated first, and the order "2" indicates that the target is authenticated first. Indicates to authenticate second.
  • FIG. 10 is a flow chart showing the flow of authentication operation by the information processing system according to the third embodiment.
  • the image acquiring unit 110 acquires a face image and an iris image to be authenticated (step S301).
  • the order output unit 220 determines whether or not a plurality of authentication targets exist in at least one of the face image and the iris image acquired by the image acquisition unit 110 (that is, whether or not they appear in the image) (step S302).
  • step S302 If there are multiple authentication targets (step S302: YES), the order output unit 220 determines the authentication order for the multiple authentication targets and outputs the order information (step S304). In this case, the authentication unit 230 executes authentication processing in the order according to the order information (step S305).
  • step S302 if a plurality of authentication targets do not exist (step S302: NO), the order output unit 220 does not output order information (that is, the process of step S303 is omitted). In this case, the authentication unit 230 performs authentication processing as usual for the authentication target in the image (step S305).
  • FIG. 11 is a plan view showing an example of order display by the information processing system according to the third embodiment.
  • the order information may be output as information in which, for example, numbers indicating the order of authentication are superimposed on the image. In this case, a number indicating the order of authentication may be displayed above each face of a plurality of authentication targets.
  • the order information may be output as information that blurs and displays faces other than those to be authenticated, which is the order to be authenticated. For example, if the order of target A is "1", the order of target B is "2", and the order of target C is "3", first the face of target A is displayed normally, and the faces of other targets are displayed as usual. appear blurred. After that, when the authentication processing for the target A ends, the face of the target B is displayed normally, and the faces of the other targets are displayed blurred.
  • the face of the target C is displayed normally, and the faces of the other targets are displayed blurred. Note that if the target whose turn comes is not located in the center of the screen (that is, the appropriate authentication position), but is located at the edge of the screen, for example, in addition to the information indicating the order described above, the target is placed in the appropriate position. Information for guiding to may be output.
  • target A is authenticated and then target B is authenticated
  • target B exists at the edge of the screen, while blurring the faces other than target B, for target B, "a little more to the left
  • This message may be displayed on the screen, or may be audibly output from a speaker or the like.
  • order information is output when a plurality of authentication targets are captured.
  • it is possible to inform the authentication target of the order of authentication so that even when there are a plurality of authentication targets, the authentication process can be executed appropriately.
  • each of a plurality of authentication targets can be guided to an appropriate location at an appropriate timing, and highly accurate authentication processing can be performed.
  • FIG. 12 An information processing system 10 according to the fourth embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 It should be noted that the fourth embodiment may differ from the above-described first to third embodiments only in a part of configuration and operation, and other parts may be the same as those of the first to third embodiments. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 12 is a block diagram showing the functional configuration of an information processing system according to the fourth embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing the functions thereof. , a selection unit 130 , a registration information database 210 , an authentication unit 230 , an iris position prediction unit 310 , and an iris camera adjustment unit 320 . That is, in addition to the configuration of the first embodiment (see FIG. 3), the information processing system 10 according to the third embodiment includes a registration information database 210, an authentication unit 230, an iris position prediction unit 310, and an iris camera adjustment unit. a portion 320; Note that the registration information database 210 and the authentication unit 230 may be the same as those in the above-described third embodiment.
  • Each of the iris position prediction unit 310 and the iris camera adjustment unit 320 may be a processing block implemented by, for example, the above-described processor 11 (see FIG. 1).
  • the iris position prediction unit 310 is configured to be capable of predicting the position of the iris of the authentication target when capturing the iris image, based on the distance from the authentication target to the iris camera 19 and the speed of the authentication target. ing. Alternatively, the iris position prediction section 310 may be configured to be able to predict the position of the iris of the authentication target when the iris image is captured, based on the current position of the authentication target. For example, the iris position prediction unit 310 may be configured to be able to predict how tall the iris of the authentication target is at the focal point of the iris camera 19 . Note that the distance from the authentication target to the iris camera 19 and the speed of the authentication target may be obtained using various sensors, or may be obtained from the image of the authentication target. The position of the iris predicted by the iris position prediction section 310 is configured to be output to the iris camera adjustment section 320 .
  • the iris camera adjustment unit 320 is configured to be able to adjust the angle of view of the iris camera 19 based on the iris position predicted by the iris position prediction unit 310 .
  • the angle of view of the iris camera 19 may be adjusted, for example, by changing the height, lateral position, angle, etc. of the iris camera.
  • the iris camera adjustment section 320 may adjust the height of the iris camera 19 so that the iris of interest is included in the iris image captured at the in-focus point.
  • the iris camera adjustment section 320 may adjust the height by moving the iris camera 19 itself, for example.
  • the iris camera adjustment section 320 may adjust the height by selecting one iris camera 19 to be used for imaging from a plurality of iris cameras 19 having different heights. Similarly, the iris camera adjustment section 320 may adjust the horizontal position of the iris camera 19 so that the target iris is included in the iris image captured at the in-focus point. In this case, the iris camera adjustment section 320 may adjust the horizontal position by moving the iris camera 19 itself, for example. Alternatively, the iris camera adjustment section 320 may adjust the horizontal position by selecting one iris camera 19 to be used for imaging from a plurality of iris cameras 19 with different horizontal positions.
  • the iris camera adjustment unit 320 may adjust the angle of the iris camera 19 so that the iris image captured at the in-focus point includes the target iris.
  • the iris camera adjustment unit 320 may adjust the angle by moving the iris camera 19 itself, for example.
  • the iris camera adjustment section 320 may adjust the angle by selecting one iris camera 19 to be used for imaging from a plurality of iris cameras 19 with different angles.
  • the iris camera adjustment unit 320 may change any one parameter of the height, left/right position, and angle of the iris camera 19, or may change a plurality of parameters.
  • FIG. 13 is a flow chart showing the flow of iris imaging operation by the information processing system according to the fourth embodiment.
  • the iris position prediction unit 310 acquires the distance between the object and the iris camera 19 (step S401). . Also, the iris position prediction unit 310 acquires the speed of the target (step S402). Note that the processes of steps S401 and S402 may be executed in parallel, or may be executed one behind the other.
  • the iris position prediction unit 310 predicts the iris position at the imaging point based on the acquired distance between the target and the iris camera 19 and the speed of the target (step S403). Then, the iris camera adjustment unit 320 adjusts the angle of view of the iris camera 19 based on the iris position predicted by the iris position prediction unit 310 (step S404). After that, the iris image of the target is captured by the iris camera 19 (step S405).
  • the angle of view of the iris camera 19 is adjusted based on the predicted iris position. Therefore, it is possible to acquire an iris image more appropriately. For example, since the angle of view of the iris camera 19 can be adjusted before the object reaches the imaging point, the time required for authentication and the time required for acquiring an iris image can be shortened.
  • FIG. 14 and 15 An information processing system 10 according to the fifth embodiment will be described with reference to FIGS. 14 and 15.
  • FIG. 14 It should be noted that the fifth embodiment may differ from the above-described first to fourth embodiments only in a part of configuration and operation, and other parts may be the same as those of the first to fourth embodiments. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 14 is a block diagram showing the functional configuration of an information processing system according to the fifth embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130 , a registration information database 210 , an authentication unit 230 , and an iris image identification unit 240 . That is, the information processing system 10 according to the fifth embodiment further includes a registration information database 210, an authentication unit 230, and an iris image identification unit 240 in addition to the configuration of the first embodiment (see FIG. 3). ing. Note that the registration information database 210 and the authentication unit 230 may be the same as those in each embodiment described above.
  • the iris image identification unit 240 may be a processing block implemented by, for example, the above-described processor 11 (see FIG. 1).
  • the iris image specifying unit 240 is configured to be able to specify an iris image in which eyelashes do not overlap the iris from among a plurality of iris images. Existing techniques can be appropriately adopted as a method for determining whether the eyelashes are not covering the iris.
  • the iris image specifying unit 240 further outputs an image in which eyelashes do not overlap the iris as an iris image used for authentication. In other words, iris image identifying section 240 does not output an image in which the eyelashes overlap the iris as the iris image used for authentication. If there are a plurality of images in which eyelashes do not cover the iris, the iris image identifying section 240 may select and output one of them.
  • the iris image specifying unit 240 may select and output the image with the highest quality among the images in which the eyelashes are not covering the iris. Also, if there is no image in which the eyelashes are not covered with the iris (that is, all the images have the eyelashes covered with the iris), the iris image specifying unit 240 instructs the image acquisition unit 110 to further acquire an image. You may make it output instructions to.
  • FIG. 15 is a flow chart showing the flow of authentication operation by the information processing system according to the fifth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the image acquiring unit 110 acquires a face image and an iris image to be authenticated (step S301). Note that, particularly in the fifth embodiment, a plurality of images are acquired for at least the iris image.
  • the iris image specifying unit 240 specifies an image in which eyelashes do not overlap the iris from among the plurality of iris images, and outputs it as an image used for authentication (step S501).
  • Authentication section 230 then executes authentication processing using the iris image output from iris image identification section 240 (step S303).
  • an iris image in which eyelashes do not overlap the iris is specified from among a plurality of iris images and used for authentication. By doing so, it is possible to suppress deterioration in authentication accuracy due to eyelashes.
  • FIG. 16 and 17 An information processing system 10 according to the sixth embodiment will be described with reference to FIGS. 16 and 17.
  • FIG. The sixth embodiment may differ from the above-described fifth embodiment only in a part of configuration and operation, and the other parts may be the same as those of the first to fifth embodiments. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 16 is a block diagram showing the functional configuration of an information processing system according to the sixth embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130 , a registration information database 210 , an authentication unit 230 , and an iris image complementation unit 245 . That is, the information processing system 10 according to the sixth embodiment includes an iris image complementing section 245 instead of the iris image specifying section 240 in the configuration of the fifth embodiment (see FIG. 14).
  • the iris image complementing unit 245 may be a processing block realized by, for example, the above-described processor 11 (see FIG. 1).
  • the iris image complementing unit 245 is configured to be able to synthesize a plurality of iris images with eyelashes and complement the area with the eyelashes. For example, if there are a plurality of images in which the eyelashes overlap the iris, the area covered by the eyelashes (that is, the iris area that is hidden by the eyelashes) is different for each image. Therefore, by synthesizing a plurality of iris images, it is possible to mutually compensate for the eyelash-covered regions of the respective images. When synthesizing a plurality of iris images, for example, the eyelashes may be masked and the images added together.
  • the iris image complementing section 245 may output the iris image complemented by synthesis as the iris image used for authentication.
  • the iris image complementing section 245 may omit the process of synthesizing the iris image. Also, if the eyelash region cannot be complemented by synthesizing a plurality of images (i.e., information for complementation is insufficient), the iris image complementing unit 245 further obtains an image. An instruction may be output to the image acquisition unit 110 so as to do so.
  • FIG. 17 is a flow chart showing the flow of authentication operation by the information processing system according to the sixth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the image acquisition unit 110 acquires a face image and an iris image to be authenticated (step S301). Note that, particularly in the fifth embodiment, a plurality of images are acquired for at least the iris image.
  • the iris image complementing unit 245 synthesizes a plurality of iris images and complements the area where the eyelashes overlap the iris (step S601).
  • Authentication unit 230 then performs authentication processing using the iris image synthesized by iris image complementing unit 245 (step S303).
  • a plurality of iris images are synthesized to complement the eyelash-covered area. By doing so, it is possible to suppress deterioration in authentication accuracy due to eyelashes.
  • FIG. 18 is a block diagram showing the functional configuration of an information processing system according to the seventh embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130 , a registration information database 210 , and an authentication unit 230 .
  • the authentication unit 230 according to the seventh embodiment includes a first authentication application 231 and a second authentication application 232.
  • the first authentication application 231 and the second authentication application 232 are each configured as an application capable of executing authentication processing.
  • the first authentication application 231 and the second authentication application 232 are configured to be able to perform authentication processing for different authentication targets.
  • the first authentication application 231 is configured to be able to perform authentication processing for a first authentication target
  • the second authentication application 232 is configured to be able to perform authentication processing for a second authentication target.
  • the first authentication application 231 and the second authentication application perform authentication such as, for example, a process of detecting a face or an iris, a process of extracting a feature amount from a face image or an iris image, and a process of performing authentication using the extracted feature amount.
  • Each has the necessary functions.
  • the first authentication application 231 and the second authentication application 232 are configured to be able to operate in parallel.
  • the second authentication 232 can execute the target B authentication process.
  • authentication unit 230 may be configured to include, for example, three or more authentication applications. In this case, it may be configured such that three or more applications can operate in parallel.
  • a plurality of applications including the first authentication application 231 and the second authentication application 232 may be configured to operate on one terminal.
  • the first authentication application 231 and the second authentication application 232 can operate in parallel. In this way, authentication processing for a plurality of authentication targets can be executed in parallel at the same time, so authentication can be performed more efficiently. In addition, by running multiple applications on one terminal, it is possible to perform authentication using each of the faces and irises of multiple targets with one terminal (that is, without using multiple terminals). .
  • FIG. 19 is a plan view showing a specific example of authentication operation by the information processing system according to the eighth embodiment.
  • the authentication unit 230 can perform authentication processing using a face image to be authenticated and a one-eye image to be authenticated.
  • the face image shown in FIG. 19A includes the target A, and the iris image shown in FIG. It is done using This authentication process may be executed, for example, by the first authentication application 231 (see FIG. 18).
  • the authentication process for the target B includes a portion including the target B in the face image shown in FIG. It is done using This authentication process may be executed, for example, by the second authentication application 231 (see FIG. 18).
  • authentication processing is executed for a plurality of authentication targets using face images and one-eye images. In this way, even when a plurality of authentication targets are reflected in one image, it is possible to appropriately perform authentication processing.
  • by running multiple applications on a single terminal it is possible to perform authentication using the faces and irises of multiple targets at the same time on a single terminal (that is, without using multiple terminals). be.
  • FIG. 10 An information processing system 10 according to the ninth embodiment will be described with reference to FIGS. 20 to 22.
  • FIG. The ninth embodiment may differ from the first to eighth embodiments described above only in part in configuration and operation, and may be the same as the first to eighth embodiments in other respects. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 20 is a block diagram showing the functional configuration of an information processing system according to the ninth embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130 , a superimposed display unit 330 , and an imaging control unit 340 . That is, the information processing system 10 according to the ninth embodiment further includes a superimposed display section 330 and an imaging control section 340 in addition to the configuration of the first embodiment (see FIG. 3).
  • Each of the superimposed display unit 330 and the imaging control unit 340 may be a processing block realized by, for example, the above-described processor 11 (see FIG. 1).
  • the superimposed display unit 330 is configured to be able to superimpose and display the first mark around the eye of the registration target after capturing the face image of the registration target.
  • the first mark may be displayed, for example, as a frame surrounding the eyes of the registration target.
  • the first mark is displayed so as to follow the eye when the position of the eye in the image changes, for example.
  • the superimposed display unit 330 is configured to be able to superimpose a second mark indicating the size of the eye periphery suitable for capturing an iris image.
  • the second mark is displayed, for example, as a mark that overlaps the first mark.
  • the second mark may also have a frame shape.
  • the size of the second mark may be set in advance.
  • the second mark may be set to a size such that an iris image with a sufficient number of pixels for iris authentication can be captured.
  • the imaging control unit 340 is configured to be able to control the iris camera 19 . Specifically, the imaging control section 340 controls the iris camera 19 to capture an iris image when the first mark overlaps the second mark.
  • FIG. 21 is a plan view (No. 1) showing a display example in the information processing system according to the ninth embodiment.
  • FIG. 22 is a plan view (No. 2) showing a display example in the information processing system according to the ninth embodiment.
  • the face camera 18 and the iris camera 19 are one common camera (for example, a camera mounted on a smart phone) will be described.
  • a face image to be registered is captured.
  • the superimposed display unit 330 displays a first mark (a frame surrounding the eyes) around the eye to be registered.
  • the superimposed display unit 220 further superimposes a second mark (a frame indicated by a dashed line in the drawing) that indicates the size of the eye periphery suitable for capturing an iris image.
  • a message "Please bring your face closer so that the frames overlap.” may be output to prompt the target to take action. This message may, for example, be displayed in an image or may be audibly output.
  • the imaged face of the registration target will be displayed larger in the display area.
  • the first mark superimposed and displayed around the eye also becomes larger.
  • the size of the second mark does not change. After that, when the first mark overlaps the second mark (that is, when the first mark and the second mark have the same size), an iris image to be registered is captured.
  • a message may be output to successfully capture the iris image for the registration target. For example, as shown in FIG. 22, when the eye position is shifted downward, a message may be output that reads, "Please point the terminal (camera) downward so that the frames overlap.” This message may, for example, be displayed in an image or may be audibly output.
  • the first mark and the second mark guide the user so that the positional relationship between the registration target and the camera is appropriate. be.
  • the iris image can be properly captured after the face image is captured. For example, it is possible to image an iris of an appropriate size while keeping the iris within the imaging range.
  • the distance to an appropriate camera and the imaging range are different between the face image and the iris image, it is possible to obtain an image of an appropriate size.
  • FIG. The tenth embodiment may differ from the above-described first to ninth embodiments only in a part of configuration and operation, and may be the same as the first to ninth embodiments in other respects. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 23 is a block diagram showing the functional configuration of the information processing system according to the tenth embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130 , a registration information database 210 , an authentication unit 230 , a first registration control unit 250 and a second registration control unit 260 . That is, in addition to the configuration of the first embodiment (see FIG. 3), the information processing system 10 according to the tenth embodiment includes a registration information database 210, an authentication unit 230, a first registration control unit 250, a second A registration control unit 260 is further provided. Note that the registration information database 210 and the authentication unit 230 may be the same as those in each embodiment described above. Each of the first registration control unit 250 and the second registration control unit 260 may be a processing block realized by, for example, the above-described processor 11 (see FIG. 1).
  • the first registration control unit 250 When the quality score of the iris image captured by the first terminal is equal to or less than a predetermined threshold value (for example, the performance of the camera mounted on the first terminal is low and an appropriate iris image is captured), the first registration control unit 250 is not possible), it is configured to be controllable so that only the face image captured by the first terminal is registered. In addition, when the first terminal cannot capture an iris image (for example, when the first terminal does not have a camera capable of capturing an iris image), the first registration control unit 250 It is configured to be able to execute control for registering only the face image captured in (that is, storing it in the registration information database 210).
  • An example of the first terminal is a terminal such as a smartphone that has a relatively low camera performance or that does not have a camera capable of capturing an iris image.
  • the second registration control unit 260 performs authentication using a face image on the second terminal, and if the iris image to be authenticated is not registered (that is, the first registration control unit 250 detects only the face image is registered), the second terminal is configured to be capable of performing control of taking an iris image to be authenticated and registering it (that is, storing it in the registration information database 210).
  • An example of the second terminal is a terminal having relatively high camera performance, such as an authentication dedicated terminal.
  • FIG. 24 is a flow chart showing the flow of operations by the first registration control unit of the information processing system according to the tenth embodiment.
  • the image acquisition unit 110 acquires a face image and an iris image captured by the first terminal (step S1001). . Note that if the first terminal cannot capture an iris image, the image acquisition unit 110 may acquire only the face image.
  • the score calculation unit 120 calculates the scores of the face image and the iris image acquired by the image acquisition unit 110 (step S1002). Then, the first registration control unit 250 determines whether or not there is an iris image with a quality score equal to or higher than a predetermined threshold (step S1003). If the iris image cannot be acquired, it may be determined that there is no iris image having a value equal to or greater than the predetermined threshold.
  • step S1003 If there is an iris image whose quality score is equal to or higher than the predetermined threshold (step S1003: YES), the first registration control unit 250 selects and registers face images and iris images whose quality score is equal to or higher than the predetermined threshold. An instruction is output to the unit 130 (step S1004). On the other hand, if there is no iris image whose quality score is equal to or greater than the predetermined threshold (step S1003: NO), the first registration control unit 250 selects and registers only face images whose quality score is equal to or greater than the predetermined threshold. An instruction is output to the unit 130 (step S1005). That is, in this case, the iris image is not registered.
  • FIG. 25 is a flow chart showing the flow of operations by the second registration control unit of the information processing system according to the tenth embodiment.
  • the image acquisition unit 110 acquires a face image captured by the second terminal (step S1101).
  • a face image should be acquired, but an iris image may be acquired.
  • the authentication unit 230 performs face authentication using the face image acquired by the image acquisition unit 110 (step S1012).
  • the second registration control unit 260 determines whether or not the authenticated iris image to be authenticated is unregistered (that is, whether or not it is stored in the registration information database 210) (step S1013). ).
  • step S1013 If the iris image is not registered (step S1013: YES), the second registration control unit 260 shifts to the phase of registering the iris image to be authenticated (step S1014). That is, a process of acquiring an iris image, calculating its quality score, and selecting an iris image to be registered based on the calculated quality score is performed. Note that the iris authentication may be performed after the iris image is registered.
  • second registration control section 260 outputs an instruction to authentication section 230 to acquire the iris image and perform iris authentication (step S1015). . Note that if an iris image is also acquired when a face image is acquired, an instruction may be given to execute iris authentication using the iris image acquired at that time.
  • the information processing system 10 in the information processing system 10 according to the tenth embodiment, only face images are registered in the first terminal, and iris images are registered in the second terminal. In this way, even if both a face image and an iris image cannot be registered on one terminal, the iris image can be registered when authentication is performed on another terminal. Since the iris image is registered after authentication using the already registered face image, the identity of the target is also ensured.
  • FIG. 11th embodiment may differ from the first to tenth embodiments described above only partially in configuration and operation, and may be the same as the first to tenth embodiments in other respects. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 26 is a block diagram showing the functional configuration of an information processing system according to the eleventh embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130 , a registration information database 210 , an authentication unit 230 , and a spoofing detection unit 270 . That is, the information processing system 10 according to the eleventh embodiment further includes a registration information database 210, an authentication unit 230, and a spoofing detection unit 270 in addition to the configuration of the first embodiment (see FIG. 3). there is Note that the registration information database 210 and the authentication unit 230 may be the same as those in each embodiment described above.
  • the spoofing detection unit 270 may be, for example, a processing block implemented by the above-described processor 11 (see FIG. 1).
  • the spoofing detection unit 270 is configured to detect spoofing of a target (for example, spoofing using an image, video, mask, etc.).
  • the spoofing detection unit 270 may perform spoofing detection during the registration operation, for example. That is, spoofing detection may be performed using a face image and an iris image to be registered. Also, the spoofing detection unit 270 may perform spoofing detection during the authentication operation. That is, spoofing detection may be performed using a face image and an iris image to be authenticated. A more specific operation of the spoofing detection unit 270 will be described in detail below.
  • FIG. 27 is a plan view showing an example of a spoofing detection operation by the information processing system according to the eleventh embodiment.
  • the spoofing detection unit 270 compares an iris area included in the face image (that is, an area in which the iris is shown) with the iris image, and if a difference of a predetermined value or more is detected, , to detect spoofing.
  • the "difference greater than or equal to a predetermined value" here is a threshold value set in advance for detecting spoofing. good too. Differences between the iris region and the iris image may be detected using, for example, eye color, eyelash length, wrinkles around the eyes, and the like. In this case, there is a possibility that the subject whose face image is captured and the subject whose iris image is captured are different persons (that is, one of them is impersonating).
  • the spoofing detection unit 270 may stop the registration operation and the authentication operation when spoofing is detected. Alternatively, the spoofing detection unit 270 may output an alert when spoofing is detected.
  • a facial image (specifically, an iris area included in the facial image) and an iris image are used to appropriately Spoofing can be detected.
  • FIG. 28 and 29 An information processing system 10 according to the twelfth embodiment will be described with reference to FIGS. 28 and 29.
  • FIG. The twelfth embodiment may differ from the above-described first to eleventh embodiments only in a part of configuration and operation, and other parts may be the same as those of the first to eleventh embodiments. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 28 is a block diagram showing the functional configuration of an information processing system according to the twelfth embodiment.
  • the same reference numerals are given to the same elements as those shown in FIG.
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130 , a registration information database 210 , an authentication unit 230 , an information provision unit 280 , and an authentication method determination unit 290 . That is, the information processing system 10 according to the twelfth embodiment includes a registration information database 210, an authentication unit 230, an information providing unit 280, and an authentication method determination unit in addition to the configuration of the first embodiment (see FIG. 3). 290 and . Note that the registration information database 210 and the authentication unit 230 may be the same as those in each embodiment described above. Each of the information providing unit 280 and the authentication method determining unit 290 may be a processing block implemented by, for example, the above-described processor 11 (see FIG. 1).
  • the information providing unit 280 is configured to be able to provide (that is, output to the outside of the system) information related to the authentication target based on the authentication result of the authentication unit 230 .
  • Information about the authentication target may include information such as name, address, phone number, age, occupation, title, account number, and the like.
  • the information regarding the authentication object may include passport information as described in other embodiments described later.
  • Passport information may contain multiple pieces of information. A plurality of layers may be set for each of various types of information (eg, name, address, age, etc.) included in the passport information, depending on, for example, importance and confidentiality.
  • the information about the authentication target may include ticket numbers, vaccination information, information about whether PCR tests are performed, and the like.
  • Pieces of information may be collectively stored in, for example, a terminal (for example, a smartphone) owned by the target.
  • the information provider 280 may be configured to provide multiple pieces of information.
  • the information provided by the information providing unit 280 may be set in advance, or may be set by the user who is to be authenticated or provided.
  • the authentication method determination unit 290 is configured to be able to determine the authentication method in the authentication unit 230 based on the type of information provided by the information provision unit 280. Specifically, authentication method determination unit 290 performs authentication using only the face image (face authentication), authentication using only the iris image (iris authentication), or using both the face image and the iris image. It is configured to be able to decide whether to authenticate (face authentication + iris authentication). It should be noted that which image is to be used for authentication may be set in advance for each type of information. For example, a first group for authentication using only the face image, a second group for authentication using only the iris image, and a third group for authentication using both the face image and the iris image are set in advance. good.
  • a group may be set for each layer.
  • the "name" included in the passport information may be divided into separate groups such as the first group, the second group for the "age”, and the third group for the "address".
  • FIG. 29 is a plan view showing an example of the authentication method determination operation by the information processing system according to the twelfth embodiment.
  • the authentication method determination unit 290 first acquires the type of information to be provided (step S1201). Authentication method determination unit 290 then determines the group to which the type of information to be provided belongs (step S1202).
  • the authentication method determination unit 290 sets the authentication method to "face authentication” (step S1203). In this case, if the face authentication is successful (regardless of the result of iris authentication), the information providing unit 280 will provide information about the authentication target.
  • authentication method determination unit 290 sets the authentication method to "iris authentication” (step S1204). In this case, if the iris authentication is successful (regardless of the result of face authentication), the information providing unit 280 will provide information about the authentication target.
  • the authentication method determination unit 290 sets the authentication method to "face authentication + iris authentication” (step S1205). In this case, if both iris authentication and iris authentication succeed, the information providing unit 280 will provide information on the authentication target.
  • the authentication method is determined based on the type of information to be provided. In this way, it is possible to perform appropriate authentication processing according to the quality and content of the information and provide the information.
  • the thirteenth embodiment may differ from the above-described twelfth embodiment only in a part of configuration and operation, and the other parts may be the same as those of the first to twelfth embodiments. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 30 is a block diagram showing the functional configuration of an information processing system according to the thirteenth embodiment.
  • symbol is attached
  • the information processing system 10 includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing its functions. , a selection unit 130 , a registration information database 210 , an authentication unit 230 , and a passport information provision unit 285 . That is, the information processing system 10 according to the thirteenth embodiment includes a passport information providing section 285 instead of the information providing section 280 and authentication method determining section 290 in the configuration of the twelfth embodiment (see FIG. 28).
  • the passport information providing unit 285 may be, for example, a processing block implemented by the above-described processor 11 (see FIG. 1).
  • the passport information providing unit 285 may be configured as part of the information providing unit 280 (see FIG. 28) in the twelfth embodiment.
  • the information processing system 10 according to the thirteenth embodiment may also be provided with the authentication method determination unit 290 (see FIG. 28) described in the twelfth embodiment.
  • the passport information providing unit 285 is configured to be able to provide (that is, output to the outside of the system) information on the passport to be authenticated based on the authentication result of the authenticating unit 230 .
  • the passport information providing unit 285 further provides information on the issuance certificate of the passport issuer (for example, information certifying that the passport is issued by the Ministry of Foreign Affairs of Japan) and information on the face to be authenticated. (for example, facial images, feature amounts extracted from facial images, etc.) can be provided.
  • the passport information providing unit 285 may be configured to be able to provide information regarding the expiration date of the passport.
  • the information processing system 10 in addition to passport information, information regarding the issuance certificate and information regarding the face to be authenticated are provided. In this way, it is possible to appropriately provide information on the passport and information that may be used incidentally.
  • the fourteenth embodiment may differ from the above-described thirteenth embodiment only in a part of configuration and operation, and other parts may be the same as those of the first to thirteenth embodiments. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 31 is a block diagram showing the functional configuration of an information processing system according to the fourteenth embodiment.
  • symbol is attached
  • the information processing system 10 according to the fourteenth embodiment includes a face camera 18, an iris camera 19, an image acquisition unit 110, and a score calculation unit 120 as components for realizing the functions thereof. , a selection unit 130 , an illumination 51 , a display 52 , and an illumination control unit 350 . That is, the information processing system 10 according to the fourteenth embodiment further includes a lighting 51, a display 52, and a lighting control section 350 in addition to the configuration of the first embodiment (see FIG. 3). Note that the illumination 51 and the display 52 do not necessarily have to be both, and at least one of them may be provided.
  • the illumination control unit 350 may be a processing block implemented by, for example, the above-described processor 11 (see FIG. 1).
  • the illumination 51 is configured to be able to emit illumination light when the face camera 18 and the iris camera 19 take images.
  • the lighting 51 may be provided in a terminal in which at least one of the face camera 18 and the iris camera 19 is mounted, or may be configured as an independent lighting device. It should be noted that the illumination 51 according to the present embodiment can be controlled in brightness (light amount) and direction.
  • the display 52 displays an image (for example, an image being captured) to the subject when the face camera 18 and the iris camera 19 capture images.
  • the display 52 may be, for example, a display provided in a terminal in which at least one of the face camera 18 and the iris camera 19 is mounted, or may be configured as an independent display device.
  • the display 52 according to the present embodiment is capable of controlling the amount of light emitted from the screen to the target.
  • the display 52 may be capable of controlling the amount of light for each area, for example.
  • the lighting control unit 350 is configured to be able to control at least one of the lighting 51 and the display 52 .
  • the illumination control unit 350 is configured to be able to control at least one of the illumination 51 and the display 52 so that the light applied to the area around the eye of the subject changes.
  • the certification control unit 350 according to the present embodiment, according to the distance from the target's eyes (specifically, the distance between the terminal equipped with the face camera 18 and the iris camera 19 and the target's eyes), It is configured so as to be able to control the light that is applied to the periphery of the eye.
  • the illumination control unit 350 may perform control so that the light around the eye of the target is reduced when the distance to the eye of the target is short.
  • the illumination control unit 350 performs control to reduce the light intensity of the illumination 51, control to change the orientation of the illumination 51 in a direction away from the subject's eyes, control to reduce the overall light intensity of the display 52, and control to reduce the light intensity of the display 52. At least one control for reducing the amount of light in a region near the eyes of the eye may be executed. Further, the illumination control section 350 may perform control so that when the distance from the target's eye is long, more light is applied to the area around the target's eye.
  • the illumination control unit 350 performs control to increase the light amount of the illumination 51, control to change the direction of the illumination 51 in a direction to bring it closer to the eyes of the object, control to increase the overall light amount of the display 52, and control to increase the light amount of the display 52. At least one of control for increasing the amount of light in a region near the eyes of the eye may be executed. Note that the lighting control unit 350 may control at least one of the lighting 51 and the display 52 in consideration of the direction and speed of movement of the target, or the direction and speed of moving the terminal, in addition to the distance from the eyes of the target. good.
  • the lighting control unit 350 controls the lighting control unit 350 so that the light around the eyes of the target is increased. can be controlled to
  • the illumination control unit 350 may perform control so that the light around the target's eyes is reduced.
  • the lighting control unit 350 is configured so that the light emitted around the target's eyes changes more quickly. can be controlled to
  • the illumination control unit 350 controls the light emitted to the vicinity of the target's eyes to gradually change. can be controlled to
  • the light emitted around the eye of the target is controlled according to the distance between the eye and the target. By doing so, it is possible to reduce glare felt when capturing an image (especially when capturing an iris image).
  • a processing method of recording a program for operating the configuration of each embodiment so as to realize the functions of each embodiment described above on a recording medium, reading the program recorded on the recording medium as a code, and executing it on a computer is also implemented. Included in the category of form. That is, a computer-readable recording medium is also included in the scope of each embodiment. In addition to the recording medium on which the above program is recorded, the program itself is also included in each embodiment.
  • a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, magnetic tape, non-volatile memory card, and ROM can be used as recording media.
  • the program recorded on the recording medium alone executes the process, but also the one that operates on the OS and executes the process in cooperation with other software and functions of the expansion board. included in the category of Furthermore, the program itself may be stored on the server, and part or all of the program may be downloaded from the server to the user terminal.
  • the information processing system includes image acquisition means for acquiring a face image and an iris image to be registered, score calculation means for calculating a quality score indicating the quality of the face image and the iris image, and the quality score. and selecting means for selecting the face image and the iris image to be registered based on the information processing system.
  • the information processing system includes a first mode in which imaging of the face image and the iris image and calculation of the quality score are executed in parallel based on the eye size of the registration target; mode switching means for switching between a second mode for calculating the quality score after capturing the face image and the iris image; and the face registered by the selecting means based on the eye size of the registration target.
  • Appendix 3 In the information processing system according to appendix 3, when at least one of a face image and an iris image used for authentication includes a plurality of authentication targets, the information indicating the order in which the authentication targets are authenticated is transmitted to the plurality of authentication targets. 3.
  • the information processing system described in appendix 4 includes prediction means for predicting the position of the iris of the authentication target when the iris image is captured based on the distance from the authentication target to the iris camera and the speed of the authentication target. and iris camera adjustment means for adjusting the angle of view of the iris camera based on the predicted position of the iris.
  • the information processing system according to appendix 5 further comprises iris image identifying means for identifying the iris image in which eyelashes do not overlap the iris from among the plurality of iris images and outputting the iris image as the iris image used for authentication. 5.
  • the information processing system according to appendix 6 is an iris image interpolation that synthesizes a plurality of the iris images with the eyelashes, complements the region with the eyelashes, and outputs the complemented image as an image used for authentication. 6.
  • the image acquiring means acquires a face image and an iris image of a first authentication target and a face image and an iris image of a second authentication target, A first application that performs authentication using the face image and the iris image of a second authentication target, a second application that performs authentication using the face image and the iris image of the second authentication target, the first application and the 7.
  • the parallel authentication means authenticates the first authentication target using the face image and the one-eye image of the first authentication target, and authenticates the face image and the one-eye image of the second authentication target.
  • appendix 9 The information processing system according to appendix 9, after capturing the face image of the registration target, superimposes a first mark around the eye of the registration target, and displays the eye suitable for capturing the iris image.
  • superimposition display means for superimposing and displaying a second mark indicating the size of the periphery; and imaging control for performing control such that the iris image to be registered is imaged when the first mark overlaps the second mark.
  • Appendix 10 In the information processing system according to appendix 10, when the quality score of the iris image captured by the first terminal is equal to or less than a predetermined threshold, or when the iris image cannot be captured, the image is captured by the first terminal. a first registration control means for controlling to register only a face image; 10. The information processing system according to any one of appendices 1 to 9, further comprising second registration control means for controlling the second terminal to pick up and register the iris image.
  • the information processing system according to appendix 11 further comprises spoofing detection means for detecting spoofing when a difference greater than or equal to a predetermined value is detected by comparing the iris area included in the face image with the iris image. 11.
  • the information processing system according to any one of 1 to 10.
  • the information processing system includes information providing means for providing information about an authentication target based on a result of authentication using the face image and the iris image; and determining means for determining whether to use only the face image, only the iris image, or both the face image and the iris image for authentication.
  • information processing system described in includes information providing means for providing information about an authentication target based on a result of authentication using the face image and the iris image; and determining means for determining whether to use only the face image, only the iris image, or both the face image and the iris image for authentication.
  • the information processing system according to appendix 13 further comprises passport information providing means for providing information about a passport to be authenticated based on the result of authentication using the face image and the iris image, wherein the passport information providing means 13.
  • the information processing system according to any one of appendices 1 to 12, wherein the information on the passport is provided together with information on the issuance certificate of the passport and information on the face to be authenticated.
  • Appendix 14 In the information processing system according to appendix 14, when capturing the face image and the iris image with the terminal, 14.
  • the information processing apparatus includes image acquisition means for acquiring a face image and an iris image to be registered, score calculation means for calculating a quality score indicating the quality of the face image and the iris image, and the quality score. selection means for selecting the face image and the iris image to be registered based on the information processing apparatus.
  • the information processing method according to appendix 16 is an information processing method executed by at least one computer, wherein a face image and an iris image to be registered are acquired, and a quality score indicating the quality of the face image and the iris image is calculated. and selecting the face image and the iris image to be registered based on the quality score.
  • At least one computer obtains a face image and an iris image to be registered, calculates a quality score indicating the quality of the face image and the iris image, and calculates the quality score based on the quality score. and a recording medium storing a computer program for executing an information processing method for selecting the face image and the iris image to be registered.
  • Appendix 18 The computer program according to Appendix 18 acquires a face image and an iris image to be registered in at least one computer, calculates a quality score indicating the quality of the face image and the iris image, and calculates the quality score based on the quality score. , a computer program for executing an information processing method for selecting the face image and the iris image to be registered.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

情報処理システム(10)は、登録対象の顔画像及び虹彩画像を取得する画像取得手段(110)と、顔画像及び虹彩画像の品質を示す品質スコアを算出するスコア算出手段(120)と、品質スコアに基づいて、登録する顔画像及び虹彩画像を選択する選択手段(130)と、を備える。このような情報処理システムによれば、品質の高い顔画像及び虹彩画像を登録することが可能となる。

Description

情報処理システム、情報処理装置、情報処理方法、及び記録媒体
 この開示は、情報処理システム、情報処理装置、情報処理方法、及び記録媒体の技術分野に関する。
 この種のシステムとして、生体認証に用いる画像の品質を評価するものが知られている。例えば特許文献1では、複数の眼画像のうち、眼画像評価部において最もよいと評価された眼画像を登録認証情報として記憶させることが開示されている。特許文献2では、画像から顔や目の領域を抽出できなかった場合には、撮影品質としてFalseを返し、顔領域と眼の領域の両方を抽出できた場合には、撮影品質としてTrueを返すことが開示されている。特許文献3では、被認証者の少なくとも眼を含む画像の撮影を繰り返して行い、画質判定部で画質が良いと判定された画像を出力することが開示されている。
特開2007-159610号公報 特開2019-191898号公報 特開2006-163683号公報
 この開示は、先行技術文献に開示された技術を改善することを目的とする。
 この開示の情報処理システムの一の態様は、登録対象の顔画像及び虹彩画像を取得する画像取得手段と、前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出するスコア算出手段と、前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する選択手段と、を備える。
 この開示の情報処理装置の一の態様は、登録対象の顔画像及び虹彩画像を取得する画像取得手段と、前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出するスコア算出手段と、前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する選択手段と、を備える。
 この開示の情報処理方法の一の態様は、少なくとも1つのコンピュータが実行する情報処理方法であって、登録対象の顔画像及び虹彩画像を取得し、前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出し、前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する。
 この開示の記録媒体の一の態様は、少なくとも1つのコンピュータに、登録対象の顔画像及び虹彩画像を取得し、前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出し、前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する、情報処理方法を実行させるコンピュータプログラムが記録されている。
第1実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。 第1実施形態に係る情報処理システムが備える認証端末の構成を示す斜視図である。 第1実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第1実施形態に係る情報処理システムの変形例の機能的構成を示すブロック図である。 第1実施形態に係る情報処理システムによる登録動作の流れを示すフローチャートである。 第1実施形態に係る情報処理システムによる撮像動作の流れを示すフローチャートである。 第2実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第2実施形態に係る情報処理システムによる登録動作の流れを示すフローチャートである。 第3実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第3実施形態に係る情報処理システムによる認証動作の流れを示すフローチャートである。 第3実施形態に係る情報処理システムによる順番表示の一例を示す平面図である。 第4実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第4実施形態に係る情報処理システムによる虹彩撮像動作の流れを示すフローチャートである。 第5実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第5実施形態に係る情報処理システムによる認証動作の流れを示すフローチャートである。 第6実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第6実施形態に係る情報処理システムによる認証動作の流れを示すフローチャートである。 第7実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第8実施形態に係る情報処理システムによる認証動作の具体例を示す平面図である。 第9実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第9実施形態に係る情報処理システムにおける表示例を示す平面図(その1)である。 第9実施形態に係る情報処理システムにおける表示例を示す平面図(その2)である。 第10実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第10実施形態に係る情報処理システムの第1登録制御部による動作の流れを示すフローチャートである。 第10実施形態に係る情報処理システムの第2登録制御部による動作の流れを示すフローチャートである。 第11実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第11実施形態に係る情報処理システムによるなりすまし検知動作の一例を示す平面図である。 第12実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第12実施形態に係る情報処理システムによる認証方法決定動作の流れを示すフローチャートである。 第13実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第14実施形態に係る情報処理システムの機能的構成を示すブロック図である。
 以下、図面を参照しながら、情報処理システム、情報処理装置、情報処理方法、及び記録媒体の実施形態について説明する。
 <第1実施形態>
 第1実施形態に係る情報処理システムについて、図1から図6を参照して説明する。
 (ハードウェア構成)
 まず、図1を参照しながら、第1実施形態に係る情報処理システムのハードウェア構成について説明する。図1は、第1実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
 図1に示すように、第1実施形態に係る情報処理システム10は、プロセッサ11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、記憶装置14とを備えている。情報処理システム10は更に、入力装置15と、出力装置16と、を備えていてもよい。また、情報法処理システム10は、第1カメラ18と、第2カメラ19と、を備えていてもよい。上述したプロセッサ11と、RAM12と、ROM13と、記憶装置14と、入力装置15と、出力装置16と、第1カメラ18と、第2カメラ19とは、データバス17を介して接続されている。
 プロセッサ11は、コンピュータプログラムを読み込む。例えば、プロセッサ11は、RAM12、ROM13及び記憶装置14のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ11は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ11は、ネットワークインタフェースを介して、情報処理システム10の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。プロセッサ11は、読み込んだコンピュータプログラムを実行することで、RAM12、記憶装置14、入力装置15及び出力装置16を制御する。本実施形態では特に、プロセッサ11が読み込んだコンピュータプログラムを実行すると、プロセッサ11内には、対象の画像を登録する際の処理を実行する機能ブロックが実現される。即ち、プロセッサ11は、情報処理装置10における各制御を実行するコントローラとして機能してよい。
 プロセッサ11は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(Demand-Side Platform)、ASIC(Application Specific Integrated Circuit)として構成されてよい。プロセッサ11は、これらのうち一つで構成されてもよいし、複数を並列で用いるように構成されてもよい。
 RAM12は、プロセッサ11が実行するコンピュータプログラムを一時的に記憶する。RAM12は、プロセッサ11がコンピュータプログラムを実行している際にプロセッサ11が一時的に使用するデータを一時的に記憶する。RAM12は、例えば、D-RAM(Dynamic RAM)であってもよい。
 ROM13は、プロセッサ11が実行するコンピュータプログラムを記憶する。ROM13は、その他に固定的なデータを記憶していてもよい。ROM13は、例えば、P-ROM(Programmable ROM)であってもよい。
 記憶装置14は、情報処理システム10が長期的に保存するデータを記憶する。記憶装置14は、プロセッサ11の一時記憶装置として動作してもよい。記憶装置14は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
 入力装置15は、情報処理システム10のユーザからの入力指示を受け取る装置である。入力装置15は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置15は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。
 出力装置16は、情報処理システム10に関する情報を外部に対して出力する装置である。例えば、出力装置16は、情報処理システム10に関する情報を表示可能な表示装置(例えば、ディスプレイ)であってもよい。また、出力装置16は、情報処理システム10に関する情報を音声出力可能なスピーカ等であってもよい。出力装置16は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。
 第1カメラ18及び第2カメラ19は、対象の画像を撮像可能な箇所に設置されたカメラである。なお、ここでの対象は、人間だけに限られず、犬や蛇等の動物、ロボット等を含むものであってよい。第1カメラ18及び第2カメラ19は、それぞれ対象の異なる部分を撮像するカメラとして構成されてよい。例えば、第1カメラ18が対象の顔を含む画像(以下、適宜「顔画像」と称する)を撮像する一方で、第2カメラ19は対象の虹彩を含む画像(以下、適宜「虹彩画像」と称する)を撮像するように構成されてよい。第1カメラ18及び第2カメラ19は、静止画を撮像するカメラであってもよいし、動画を撮像するカメラであってもよい。第1カメラ18及び第2カメラ19は、可視光カメラとして構成されてもよいし、近赤外線カメラとして構成されてよい。第1カメラ18及び第2カメラ19は、深度カメラとして構成されてもよいし、サーマルカメラとして構成されてよい。第1カメラ18及び第2カメラ19は、それぞれ複数台設けられていてもよい。また、第1カメラ18及び第2カメラ19は共通する1つのカメラとして構成されてもよい。第1カメラ18及び第2カメラ19は、対象が有する端末(例えば、スマートフォン)に搭載されたカメラであってもよい。第1カメラ18及び第2カメラ19は、例えば画像を撮像しない場合には、自動的に電源オフとなる機能を備えていてもよい。この場合、例えば液体レンズやモータ等の寿命が短いものを優先して電源オフにするようにしてもよい。なお、以下では、第1カメラ18が顔画像を撮像する顔カメラとして構成され、第2カメラ19が虹彩画像を撮像する虹彩カメラとして構成される例を挙げて説明する(以下では、第1カメラ18の一例である顔カメラに「顔カメラ18」、第2カメラ19の一例である虹彩カメラに「虹彩カメラ19」のように共通する符号を付して説明する)。
 なお、図1では、複数の装置を含んで構成される情報処理システム10の例を挙げたが、これらの全部又は一部の機能を、1つの装置(情報処理装置)で実現してもよい。この情報処理装置は、例えば、上述したプロセッサ11、RAM12、ROM13のみを備えて構成され、その他の構成要素(即ち、記憶装置14、入力装置15、出力装置16、顔カメラ18、及び虹彩カメラ19)については、例えば情報処理装置に接続される外部の装置が備えるようにしてもよい。また、情報処理装置は、一部の演算機能を外部の装置(例えば、外部サーバやクラウド等)によって実現するものであってもよい。
 (認証端末の構成)
 次に、第1実施形態に係る情報処理システム10が備える認証端末の構成について、図2を参照して説明する。図2は、第1実施形態に係る情報処理システムが備える認証端末の構成を示す斜視図である。
 図2に示すように、第1実施形態に係る情報処理システム10は、上述した顔カメラ18(即ち、第1カメラ18)及び虹彩カメラ19(即ち、第2カメラ19)を含む認証端末30を備えて構成されている。認証端末30の筐体は、例えば樹脂や金属等により構成されている。認証端末の前面部分には、ディスプレイ40が設けられている。このディスプレイは、認証端末に関する各種情報や、ユーザに対するメッセージ、顔カメラ18及び虹彩カメラ19で撮像された画像や映像が表示されてよい。ディスプレイ40の下部にあるカメラ設置部分35(図中の破線で囲われている部分)には、その内部に顔カメラ18及び虹彩カメラ19が設置されている。なお、カメラ18及び虹彩カメラ19は、筐体の外部から見えるように設けられてもよいし、外部から見えないように設けられてもよい。例えば、第1カメラ18及び第2カメラ19が可視光カメラとして構成される場合、可視光カメラは外部の可視光を取り込むために、外部に露出して設けられてもよい(例えば、可視光カメラ付近に開口部が設けられてもよい。)また、第1カメラ18及び第2カメラ19が近赤外線カメラとして構成される場合、近赤外線カメラは外部に露出しないように設けられてもよい(例えば、可視光カットフィルム等でカバーされてよい)。更に、第1カメラ18が可視光カメラ、第2カメラ19が近赤外線カメラとして構成される場合、第1カメラ18を外部に露出し(例えば第1カメラ18付近に開口部を設ける等)、第2カメラ19は外部に露出しないように設けられてもよい(例えば、可視光カットフィルム等でカバーされてよい)。
 (機能的構成)
 次に、図3を参照しながら、第1実施形態に係る情報処理システム10の機能的構成について説明する。図3は、第1実施形態に係る情報処理システムの機能的構成を示すブロック図である。
 第1実施形態に係る情報処理システム10は、生体認証(特に、顔認証及び虹彩認証)に関する処理を実行可能なシステムとして構成される。情報処理システム10は、例えば生体認証に用いる登録画像(即ち、予め登録しておく登録ユーザの画像)を登録するシステムとして構成されてよい。また、情報処理システム10は、認証処理を実行するシステムとして構成されてもよい。情報処理システム10は、例えば生体認証を行う施設等に設置されるものであってよい。例えば、情報処理システム10は、マンション等の住宅施設、小売店等の店舗施設、企業のオフィス、空港、バスターミナル、イベントスペース等に設置されるものであってよい。なお、施設は屋内だけに限られず、屋外施設を含むものとする。
 図3に示すように、第1実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、すでに説明した第1カメラ18の一例である顔カメラ18及び第2カメラ19の一例である虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、を備えて構成されている。画像取得部110、スコア算出部120、及び選択部130の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 画像取得部110は、顔カメラ18で撮像した顔画像、及び虹彩カメラ19で撮像した虹彩画像を取得可能に構成されている。画像取得部110は、生体認証に用いる登録画像の候補として、顔画像及び虹彩画像を取得可能に構成されてよい。具体的には、画像取得部110は、生体情報(ここでは、顔情報及び虹彩情報)を登録しようとしているユーザ(以下、適宜「登録対象」と称する)の顔画像及び虹彩画像を取得可能に構成されてよい。また、画像取得部110は、生体認証に用いる認証用画像(即ち、認証する際に取得される画像)として、顔画像及び虹彩画像を取得可能に構成されてよい。具体的には、画像取得部110は、生体認証(ここでは、顔認証及び虹彩認証)を実行しようとしているユーザ(以下、適宜「認証対象」と称する)の顔画像及び虹彩画像を取得可能に構成されてよい。
 スコア算出部120は、画像取得部110で取得された登録画像の候補である顔画像及び虹彩画像について、その品質を示す品質スコアを算出可能に構成されている。スコア算出部120は、生体認証に影響し得る複数の要素を考慮して品質スコアを算出してよい。例えば、スコア算出部120は、画像のボケ具合、目の向き、顔の向き、目の開き具合、虹彩の隠れ具合、輝度値、影の有無、照明の当たり具合等に基づいて品質スコアを算出してよい。スコア算出部120は、画像取得部110で複数の画像が取得された場合に、複数の画像の各々について品質スコアを算出してよい。この場合、スコア算出部120は、複数の画像を互いに比較して品質スコアを算出してよい。即ち、スコア算出部120は、相対的な品質を示すスコアを算出するように構成されてもよい。なお、スコア算出部120は、複数の画像を比較する場合に、品質スコアを算出せず、複数の画像の中で最も品質がよい画像(例えば、最もブレが少なく、虹彩がよく写っている画像)を選択するようにしてもよい。例えば、3枚の画像を比較する場合、スコア算出部120は、まず1枚目と2枚目の画像を比較して、品質が高い方の画像を選択し、その後、選択した画像と3枚目の画像とを比較して、最も品質が高い画像を選択してよい。スコア算出部120で算出された品質スコアは、選択部130に出力される構成となっている。
 選択部130は、スコア算出部120で算出された品質スコアに基づいて、登録画像として登録する顔画像及び虹彩画像を選択する。選択部130は、例えばスコアが算出された複数の画像のうち、最も品質スコアの高いものを選択するようにしてもよい。或いは、選択部130は、品質スコアが予め設定された閾値以上であるものを選択するようにしてもよい。選択部130は、登録する画像を選択した場合に、それ以上の画像を取得しないように画像取得部110に指示を出力してもよい。或いは、選択部130は、登録する画像を選択した場合に、それ以上の画像を撮像しないように顔カメラ18や虹彩カメラ19に指示を出力してもよい。
 (変形例)
 ここで、図4を参照しながら、第1実施形態に係る情報処理システム10の変形例について説明する。図4は、第1実施形態に係る情報処理システムの変形例の機能的構成を示すブロック図である。なお、図4では、図3で示した構成要素と同様の要素に同一の符号を付している。
 図4に示すように、第1実施形態に係る情報処理システム10の変形例は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、対象位置検出部115と、回転制御部116と、スコア算出部120と、選択部130と、を備えて構成されている。即ち、変形例に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、対象検出部115と、回転制御部116と、を更に備えて構成されている。対象位置検出部115及び回転制御部116の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 対象位置検出部115は、顔カメラ18及び虹彩カメラ19で撮像した画像を取得し、それらの画像の少なくとも一方から撮像したユーザの位置(以下、適宜「対象位置」と称する)を検出可能に構成されている。対象の位置は、例えば、対象の顔が存在する位置であってもよいし、対象の目が存在する位置であってもよい。また、対象の位置は、高さ方向の位置だけでなく、カメラのまでの距離に対応する奥行き方向の位置や、左右方向の位置であってもよい。
 回転制御部116は、対象位置検出部115で検出された対象の位置に基づいて、顔カメラ18及び虹彩カメラ19の回転制御を行うことが可能に構成されている。顔カメラ18及び虹彩カメラ19の回転制御は、例えばモータ等によって実現されてよい。また、顔カメラ18及び虹彩カメラ19は、共通する回転軸を中心に回転制御されてよい。回転制御部116は、例えば、顔カメラ18及び虹彩カメラ19の回転方向及び回転量を決定して、決定したパラメータに応じた制御を実行可能に構成されている。具体的には、回転制御部116は、顔カメラ18及び虹彩カメラ19の各々でユーザの顔及び虹彩を撮像できるように(言い換えれば、顔カメラ18及び虹彩カメラ19の各々の撮像範囲に、ユーザの顔及び虹彩が収まるように)、顔カメラ18及び虹彩カメラ19の回転動作を制御する。
なお、顔カメラ18及び虹彩カメラ19では、それぞれのカメラで撮像範囲が異なる場合がある(例えば、顔カメラの撮像範囲が広くなる)。このような場合、最初に撮像範囲が広い顔カメラ18で対象位置を検出し、撮像範囲が狭い虹彩カメラ19で虹彩を撮像できるように回転を制御してもよい。
 なお、対象位置検出部115による位置検出と、回転制御部116による回転動作は、同時に並行して実行されてよい。この場合、顔カメラ18及び虹彩カメラ19で撮像しながら、対象位置が検出され、同時に検出された位置に基づく回転動作が行われてよい。
 (登録動作)
 次に、図5を参照しながら、第1実施形態に係る情報処理システム10による認証に用いる画像を登録する動作(以下、適宜「登録動作」と称する)の流れについて説明する。図5は、第1実施形態に係る情報処理システムによる登録動作の流れを示すフローチャートである。
 図5に示すように、第1実施形態に係る情報処理システム10による登録動作が開始されると、まず画像取得部110が、登録対象の顔画像及び虹彩画像を取得する(ステップS110)。顔画像及び虹彩画像は、同時に撮像されたものであってもよいし、別々のタイミングで撮像されたものであってもよい。
 続いて、スコア算出部120が、画像取得部110で取得された顔画像及び虹彩画像の品質スコアを算出する(ステップS102)。そして、選択部130が、スコア算出部120で算出された品質スコアに基づいて、登録する顔画像及び虹彩画像を選択する(ステップS103)。
 なお、上述した例では、顔画像及び虹彩画像を同時に登録する構成を挙げたが、顔画像及び虹彩画像は、それぞれ別々に登録されてもよい。例えば、顔画像を取得して、登録する顔画像を選択してから、虹彩画像を取得して、登録する虹彩画像を選択するようにしてもよい。以下では、顔画像及び虹彩画像を撮像する際の動作(以下、「適宜撮像動作」と称する)の一例について、図6を参照しながら説明する。図6は、第1実施形態に係る情報処理システムによる撮像動作の流れを示すフローチャートである。
 図6に示すように、第1実施形態に係る情報処理システム10による撮像動作が開始されると、まず顔カメラ18が対象の画像を撮像する(ステップS151)。対象の画像は、例えば、対象の全身を含む画像や、上半身を含む画像であってよい。そして、顔検出部が、対象の画像から対象の顔の位置を特定する(ステップS152)。顔検出部は、対象の顔の位置(例えば、対象の顔を含む領域の位置)を検出可能であり、例えば画像取得部110が備えるもの(即ち、画像取得部110の一機能)として構成されてよい。その後、顔カメラ18は、特定した対象の顔の位置に基づいて、対象の顔画像を撮像する(ステップS153)。顔カメラ18は、例えば対象の顔の位置が撮像範囲に含まれるタイミングで顔画像を撮像するようにしてよい。
 続いて、虹彩検出部が、対象の顔画像から対象の位置を特定する(ステップS154)。虹彩検出部は、対象の虹彩の位置(例えば、対象の虹彩を含む領域の位置)を検出可能であり、例えば画像取得部110が備えるもの(即ち、画像取得部110の一機能)として構成されてよい。その後、虹彩カメラ19が、特定した対象の虹彩の位置に基づいて、対象の虹彩画像を撮像する(ステップS155)。虹彩カメラ19は、例えば虹彩位置が撮像範囲に含まれるタイミング、或いは虹彩が合掌位置に重なるタイミングで虹彩画像を撮像するようにしてよい。
 (技術的効果)
 次に、第1実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図1から図6で説明したように、第1実施形態に係る情報処理システム10では、品質スコアに基づいて、登録する顔画像及び虹彩画像が選択される。このようにすれば、品質の高い顔画像及び虹彩画像を登録することが可能となる。その結果、例えば顔認証及び虹彩認証の認証精度を向上させることができる。
 <第2実施形態>
 第2実施形態に係る情報処理システム10について、図7及び図8を参照して説明する。なお、第2実施形態は、上述した第1実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1実施形態と同一であってよい。このため、以下では、すでに説明した第1実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図7を参照しながら、第2実施形態に係る情報処理システム10の機能的構成について説明する。図7は、第2実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図7では、図3で示した構成要素と同様の要素に同一の符号を付している。
 図7に示すように、第2実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、モード切替部140と、閾値変更部150と、を備えて構成されている。即ち、第2実施形態に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、モード切替部140と、閾値変更部150と、を更に備えている。モード切替部140、及び閾値変更部150の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 モード切替部140は、登録動作のモードを切替可能に構成されている。具体的には、モード切替部140は、顔画像及び虹彩画像の撮像と品質スコアの算出とを並行して実行する第1モードと、顔画像及び虹彩画像の撮像の後に品質スコアの算出を実行する第2モードと、を切替可能に構成されている。モード切替部140は、登録対象の目の大きさに基づいて、第1モードと第2モードとを切り替える。或いは、モード切替部140は、虹彩の写り具合(例えば、虹彩がまぶたに隠れていないか、照明が反射して虹彩が隠れていないか等)に基づいて、第1モードと第2モードとを切り替えてもよい。例えば、モード切替部140は、登録対象の目が比較的小さい場合に第1モードに切り替え、登録対象の目が比較的大きい場合に第2モードに切り替えるようにしてよい。この場合、モード切替部140は、目の大きさに対して予め設定された閾値を用いて、第1モードと第2モードとを切り替えてよい。
 閾値変更部150は、選択部230が登録する顔画像及び虹彩画像を選択する際に用いる閾値を変更可能に構成されている。閾値変更部150は、例えば登録対象の目が大きいほど閾値を高くするように構成されてよい。この場合、登録対象の目が大きい場合に閾値が高くなるため、目が大きい登録対象については、登録する顔画像及び虹彩画像が選択されにくくなる。一方で、登録対象の目が小さい場合に閾値が低くなるため、目が小さい登録対象については、登録する顔画像及び虹彩画像が選択されやすくなる。また、閾値変更部150は、例えば登録対象の目が大きいほど閾値を低くするように構成されてよい。この場合、登録対象の目が大きい場合に閾値が低くなるが、目が大きい登録対象については品質の高い画像を取得できる可能性が高いため、閾値を下げても(言い換えれば、多少のブレがあったり、虹彩に照明が写っていたりしたとしても)、適切な画像を登録することができる。一方で、登録対象の目が小さい場合には閾値が高くなるため、目が小さい登録対象については、より品質の高い画像を取得できる(例えば、何度も撮り直してもらうことで、品質の高い画像を取得できる)。閾値変更部150は、虹彩の移り具合に基づいて閾値を変更するように構成されてもよい。例えば、閾値変更部150は、虹彩の写り具合がよいほど閾値を高くしてよい。或いは、閾値変更部150は、虹彩の写り具合がよいほど閾値を低くしてもよい。また、閾値変更部150は、眼鏡やカラーコンタクトを検知する機能を有し、検知結果に応じて閾値を変更するようにしてもよい。例えば、眼鏡やカラーコンタクトを検知した場合には、検知しない場合と比べて閾値を高く設定する(例えば、眼鏡有りの場合には、眼鏡無しの場合に比べて何度も画像を撮影する)ようにしてもよい。
 (登録動作)
 次に、図8を参照しながら、第2実施形態に係る情報処理システム10による登録動作の流れについて説明する。図8は、第2実施形態に係る情報処理システムによる登録動作の流れを示すフローチャートである。なお、図8では、図5で説明した処理と同様の処理に同一の符号を付している。
 図8に示すように、第2実施形態に係る情報処理システム10による登録動作が開始されると、まず登録対象の目の大きさが取得される(ステップS201)。目の大きさは、例えば登録対象の画像(例えば、顔画像や虹彩画像)から取得されてよい。その後、モード切替部140が、目の大きさが所定値より小さいか否かを判定する(ステップS202)。
 目の大きさが所定値より小さい場合(ステップS202:YES)、モード切替部140は、第1モードへの切り替えを行う(ステップS203)。即ち、顔画像及び虹彩画像の撮像と品質スコアの算出とを並行して実行するモードに切り替える。一方、目の大きさが所定値より大きい場合(ステップS202:NO)、モード切替部140は、第2モードへの切り替えを行う(ステップS204)。即ち、顔画像及び虹彩画像の撮像の後に品質スコアの算出を実行するモードに切り替える。
 続いて、閾値変更部150が、登録対象の目の大きさに応じて選択部130が用いる閾値を変更する(ステップS205)。そして、選択部130は、変更後の閾値を用いて、登録する顔画像及び虹彩画像を選択する(ステップS206)。
 (技術的効果)
 次に、第2実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図7及び図8で説明したように、第2実施形態に係る情報処理システム10では、目の大きさに基づいて、登録動作のモードの切替及び閾値の変更が行われる。ここで特に、目の小さい登録対象については、品質スコアの高い画像を取得しにくい。このため、第1モードで登録動作を行うことで、より適切に品質スコアの高い画像を取得することができる。例えば、品質スコアの高い画像が取得できるまで撮像を繰り返して、品質スコアの高い画像を取得することができる。また、目の小さい登録対象については、閾値を低く変更することで、品質スコアの高い画像が取得されにくくても、登録する顔画像及び虹彩画像が選択されやすくなる。一方、目の大きい登録対象については、品質スコアの高い画像を取得しやすい。このため、第2モードで登録動作を行うことで、より効率的に登録動作を行うことができる。例えば、先に顔画像及び虹彩画像の撮像を済ませておくことで、撮像に要する時間(即ち、登録対象をカメラの前で待機させる時間)を短くすることができる。また、目の大きい登録対象については、閾値を高く変更することで、より品質の高い顔画像及び虹彩画像を選択することが可能となる。
 <第3実施形態>
 第3実施形態に係る情報処理システム10について、図9から図11を参照して説明する。なお、第3実施形態は、上述した第1及び第2実施形態と一部の構成及び動作が異なるものであり、その他の部分については第1及び第2実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図9を参照しながら、第3実施形態に係る情報処理システム10の機能的構成について説明する。図9は、第3実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図9では、図3で示した構成要素と同様の要素に同一の符号を付している。
 図9に示すように、第3実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、登録情報データベース(DB)210と、順番出力部220と、認証部230と、を備えて構成されている。即ち、第3実施形態に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、登録情報データベース210と、順番出力部220と、認証部230と、を更に備えている。登録情報データベース210は、例えば上述した記憶装置14によって実現されるものであってよい。また、順番出力部220、及び認証部230の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 登録情報データベース210は、認証に用いる登録画像を記憶可能に構成されたデータベースである。登録情報データベース210は、選択部130で選択された顔画像及び虹彩画像を記憶する。或いは、登録情報データベース210は、選択部130で選択された顔画像及び虹彩画像から抽出される特徴量を記憶してもよい。登録情報データベース210は、顔画像及び虹彩画像を互いに紐付けて記憶可能に構成されてよい。ただし、登録情報データベース210は、顔画像及び虹彩画像の一方のみを記憶可能に構成されてよい。登録情報データベース210に記憶されている情報には有効期限が設定されてよい。例えば、一時的なゲストに関する情報は、登録から所定期間経過後(例えば1週間後)に自動的に削除されてよい。登録情報データベース210に記憶された情報は、所定の権限を有するユーザ(例えば、システム管理者や登録ユーザ等)によって確認可能に構成されてよい。登録情報データベース210に記憶された顔画像及び虹彩画像は、後述する認証部230によって適宜読み出し可能とされている。
 順番出力部220は、認証する際に取得された顔画像及び虹彩画像の少なくとも一方に認証対象が複数含まれている場合、認証する順番に関する情報(以下、適宜「順番情報」と称する)を出力可能に構成されている。より具体的には、順番出力部220は、順番情報を、複数の認証対象が写る画面上に重畳表示するように出力可能に構成されている。認証する順番は、例えば画像における認証対象の大きさに基づいて決定されてよい。例えば、最も大きく写り込んでいる認証対象の順番が早く、小さく写り込んでいる認証対象の順番が遅くなるように決定されてよい。或いは、目間距離や深度カメラの画像を用いて、カメラに近い順番で認証するようにしてもよい。ただし、認証する順番は、ランダムで決定されてもよい。順番情報は、複数の認証対象に向けて出力されてよい。順番情報は、例えばディスプレイ等を用いて画像表示されてもよいし、スピーカ等を用いて音声出力されてもよい。順番情報の具体的な出力例については後に詳しく説明する。
 認証部230は、認証する際に取得された認証対象の顔画像及び虹彩画像と、登録情報データベース210に登録された登録対象の顔画像及び虹彩画像と、を比較することで認証処理(即ち、顔認証及び虹彩認証)を実行可能に構成されている。なお、認証部230は、顔画像から抽出される顔特徴量と、虹彩画像から抽出される虹彩特徴量と、を用いて認証処理を実行可能に構成されてもよい。認証部230は、顔認証及び虹彩認証を別々に実行し、それらの結果を統合した認証結果を出力するようにしてもよい。例えば、認証部230は、虹彩認証及び虹彩認証の両方が成功した場合に、認証結果が成功であると出力し、虹彩認証及び虹彩認証の少なくとも一方が失敗した場合に、認証結果が失敗であると出力してよい。或いは、認証部230は、虹彩認証及び虹彩認証の少なくとも一方が成功した場合に、認証結果が成功であると出力し、虹彩認証及び虹彩認証の両方が失敗した場合に、認証結果が失敗であると出力してもよい。
 また、第3実施形態に係る認証部230は特に、順番出力220が出力した順番情報どおりに認証を行う。例えば、順番出力部220から、対象Aの順番が「1」、対象Bの順番が「2」という順番情報が出力されている場合、認証部230は、まず対象Aの認証処理を行い、その後に対象Bの認証処理を行う。なお、ここでの順番は、その対象が何番目に認証するかを示すものであり、例えば「1」は、その対象を1番目に認証することを示し、順番「2」は、その対象を2番目に認証することを示す。
 (認証動作)
 次に、図10を参照しながら、第3実施形態に係る情報処理システム10による顔画像及び虹彩画像を用いた認証を行う際の動作(以下、適宜「認証動作」と称する)の流れについて説明する。図10は、第3実施形態に係る情報処理システムによる認証動作の流れを示すフローチャートである。
 図10に示すように、第3実施形態に係る情報処理システム10による認証動作が開始されると、まず画像取得部110が、認証対象の顔画像及び虹彩画像を取得する(ステップS301)。その後、順番出力部220が、画像取得部110で取得された顔画像及び虹彩画像の少なくとも一方に複数の認証対象が存在しているか否か(即ち、写り込んでいるか否か)を判定する(ステップS302)。
 複数の認証対象が存在する場合(ステップS302:YES)、順番出力部220は、複数の認証対象について認証する順番を決定して順番情報を出力する(ステップS304)。この場合、認証部230は、順番情報に応じた順番で認証処理を実行する(ステップS305)。
 一方、複数の認証対象が存在しない場合(ステップS302:NO)、順番出力部220は、順番情報を出力しない(即ち、ステップS303の処理が省略される)。この場合、認証部230は、画像内の認証対象について通常通り認証処理を実行する(ステップS305)。
 (順番の表示例)
 次に、図11を参照しながら、第3実施形態に係る情報処理システム10における順番の表示例(即ち、順番出力部220による順番に関する情報の出力例)について説明する。図11は、第3実施形態に係る情報処理システムによる順番表示の一例を示す平面図である。
 図11に示すように、順番情報は、例えば認証する順番を示す数字を画像に重畳表示する情報として出力されてよい。この場合、認証する順番を示す数字が、複数の認証対象の各々の顔の上に表示されてよい。或いは、順番情報は、認証する順番である認証対象以外の顔をぼかして表示する情報として出力されてもよい。例えば、対象Aの順番が「1」、対象Bの順番が「2」、対象Cの順番が「3」である場合、まずは対象Aの顔が通常通り表示され、それ以外の対象の顔はぼかして表示される。その後、対象Aの認証処理が終了すると、対象Bの顔が通常通り表示され、それ以外の対象の顔はぼかして表示される。その後、対象Bの認証処理が終了すると、対象Cの顔が通常通り表示され、それ以外の対象の顔はぼかして表示される。なお、順番が回ってきた対象が、画面中央(即ち、適切な認証位置)に存在せず、例えば画面の端側に存在する場合、上述した順番を示す情報に加えて、対象を適切な位置に誘導するための情報が出力されてよい。例えば、対象Aの認証が終わり、その後の対象Bの認証を行う際に、対象Bが画面の端側に存在する場合、対象B以外の顔をぼかしつつ、対象Bに対して、「もう少し左にずれてください」や「画面内の矢印(対象を移動させたい方向を向いた矢印を表示)の向きに移動してください」等のメッセージを出力してよい。このメッセージは、画面上に表示されてもよいし、スピーカ等で音声出力されてもよい。
 (技術的効果)
 次に、第3実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図9から図11で説明したように、第3実施形態に係る情報処理システム10では、複数の認証対象が写り込んでいる場合に順番情報が出力される。このようにすれば、認証対象に認証する順番を知らせることができるため、複数の認証対象が存在する場合であっても適切に認証処理を実行することができる。例えば、複数の認証対象の各々を適切なタイミングで適切な場所に誘導して、精度の高い認証処理を実行することができる。
 <第4実施形態>
 第4実施形態に係る情報処理システム10について、図12及び図13を参照して説明する。なお、第4実施形態は、上述した第1から第3実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第3実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図12を参照しながら、第4実施形態に係る情報処理システム10の機能的構成について説明する。図12は、第4実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図12では、図9で示した構成要素と同様の要素に同一の符号を付している。
 図12に示すように、第4実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、登録情報データベース210と、認証部230と、虹彩位置予測部310と、虹彩カメラ調整部320と、を備えて構成されている。即ち、第3実施形態に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、登録情報データベース210と、認証部230と、虹彩位置予測部310と、虹彩カメラ調整部320と、を更に備えている。なお、登録情報データベース210及び認証部230については、上述した第3実施形態と同様のものであってよい。虹彩位置予測部310及び虹彩カメラ調整部320の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 虹彩位置予測部310は、認証対象から虹彩カメラ19までの距離と、認証対象の速度と、に基づいて、虹彩画像を撮像する際の認証対象の虹彩の位置を予測することが可能に構成されている。或いは、虹彩位置予測部310は、現在の認証対象の位置に基づいて、虹彩画像を撮像する際の認証対象の虹彩の位置を予測することが可能に構成されてもよい。例えば、虹彩位置予測部310は、虹彩カメラ19の合焦地点において、認証対象の虹彩がどのくらいの高さとなっているかを予測可能に構成されてよい。なお、認証対象から虹彩カメラ19までの距離、及び認証対象の速度は、各種センサを用いて取得されてもよいし、認証対象の画像から取得されてもよい。虹彩位置予測部310で予測された虹彩の位置は、虹彩カメラ調整部320に出力される構成となっている。
 虹彩カメラ調整部320は、虹彩位置予測部310で予測された虹彩の位置に基づいて、虹彩カメラ19の画角を調整可能に構成されている。虹彩カメラ19の画角は、例えば虹彩カメラの高さ、左右の位置、角度等を変化させることで調整されてよい。例えば、虹彩カメラ調整部320は、合焦地点で撮像される虹彩画像に対象の虹彩が含まれるように、虹彩カメラ19の高さを調整するようにしてよい。この場合、虹彩カメラ調整部320は、例えば虹彩カメラ19自身を移動させることで高さを調整してよい。或いは、虹彩カメラ調整部320は、高さの異なる複数の虹彩カメラ19の中から、撮像に用いる1つの虹彩カメラ19を選択することで高さを調整してよい。同様に、虹彩カメラ調整部320は、合焦地点で撮像される虹彩画像に対象の虹彩が含まれるように、虹彩カメラ19の左右位置を調整するようにしてよい。この場合、虹彩カメラ調整部320は、例えば虹彩カメラ19自身を移動させることで左右位置を調整してよい。或いは、虹彩カメラ調整部320は、左右位置の異なる複数の虹彩カメラ19の中から、撮像に用いる1つの虹彩カメラ19を選択することで左右位置を調整してよい。同様に、虹彩カメラ調整部320は、合焦地点で撮像される虹彩画像に対象の虹彩が含まれるように、虹彩カメラ19の角度を調整するようにしてよい。この場合、虹彩カメラ調整部320は、例えば虹彩カメラ19自身を動かすことで角度を調整してよい。或いは、虹彩カメラ調整部320は、角度の異なる複数の虹彩カメラ19の中から、撮像に用いる1つの虹彩カメラ19を選択することで角度を調整してよい。なお、虹彩カメラ調整部320は、虹彩カメラ19の高さ、左右の位置、角度のいずれか1つのパラメータを変化させてもよいし、複数のパラメータを変化させてもよい。
 (虹彩撮像動作)
 次に、図13を参照しながら、第4実施形態に係る情報処理システム10による虹彩画像を撮像する際の動作(以下、適宜「虹彩撮像動作」と称する)の流れについて説明する。図13は、第4実施形態に係る情報処理システムによる虹彩撮像動作の流れを示すフローチャートである。
 図13に示すように、第4実施形態に係る情報処理システム10による虹彩撮像動作が開始されると、まず虹彩位置予測部310が、対象と虹彩カメラ19との距離を取得する(ステップS401)。また、虹彩位置予測部310は、対象の速度を取得する(ステップS402)。なお、ステップS401及びS402の処理は、並行して同時に実行されてもよいし、相前後して実行されてもよい。
 続いて、虹彩位置予測部310は、取得した対象と虹彩カメラ19との距離、及び対象の速度に基づいて、撮像地点での虹彩位置を予測する(ステップS403)。そして、虹彩カメラ調整部320は、虹彩位置予測部310で予測された虹彩位置に基づいて、虹彩カメラ19の画角を調整する(ステップS404)。その後、虹彩カメラ19によって対象の虹彩画像が撮像される(ステップS405)。
 (技術的効果)
 次に、第4実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図12及び図13で説明したように、第4実施形態に係る情報処理システム10では、予測した虹彩位置に基づいて虹彩カメラ19の画角が調整される。よって、より適切に虹彩画像を取得することが可能である。例えば、対象が撮像地点に到達する前に虹彩カメラ19の画角を調整することができるため、認証に要する時間及び虹彩画像を取得する時間を短縮することができる。
 <第5実施形態>
 第5実施形態に係る情報処理システム10について、図14及び図15を参照して説明する。なお、第5実施形態は、上述した第1から第4実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第4実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図14を参照しながら、第5実施形態に係る情報処理システム10の機能的構成について説明する。図14は、第5実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図14では、図9で示した構成要素と同様の要素に同一の符号を付している。
 図14に示すように、第5実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、登録情報データベース210と、認証部230と、虹彩画像特定部240と、を備えて構成されている。即ち、第5実施形態に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、登録情報データベース210と、認証部230と、虹彩画像特定部240と、を更に備えている。なお、登録情報データベース210及び認証部230については、上述した各実施形態と同様のものであってよい。虹彩画像特定部240は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 虹彩画像特定部240は、複数の虹彩画像の中から、まつ毛が虹彩に掛かっていない虹彩画像を特定可能に構成されている。なお、まつ毛が虹彩に掛かっていないことを判定する手法には、既存の技術を適宜採用することが可能である。虹彩画像特定部240は更に、まつ毛が虹彩に掛かっていない画像を、認証に用いる虹彩画像として出力する。言い換えれば、虹彩画像特定部240は、まつ毛が虹彩に掛かっている画像については、認証に用いる虹彩画像として出力しない。なお、まつ毛が虹彩に掛かっていない画像が複数ある場合、虹彩画像特定部240は、その中の1つを選択して出力するようにしてもよい。例えば、虹彩画像特定部240は、まつげが虹彩に掛かっていない画像のうち、最も品質が高い画像を選択して出力するようにしてもよい。また、まつ毛が虹彩に掛かっていない画像が存在しない(即ち、すべての画像でまつ毛が虹彩に掛かっている)場合には、虹彩画像特定部240は、更に画像を取得するように画像取得部110に指示を出力するようにしてもよい。
 (認証動作)
 次に、図15を参照しながら、第5実施形態に係る情報処理システム10による認証動作の流れについて説明する。図15は、第5実施形態に係る情報処理システムによる認証動作の流れを示すフローチャートである。なお、図15では、図10で示した処理と同様の処理に同一の符号を付している。
 図15に示すように、第5実施形態に係る情報処理システム10による認証動作が開始されると、まず画像取得部110が認証対象の顔画像及び虹彩画像を取得する(ステップS301)。なお、第5実施形態では特に、少なくとも虹彩画像について複数枚の画像が取得される。
 続いて、虹彩画像特定部240が、複数の虹彩画像の中から、まつ毛が虹彩に掛かっていない画像を特定し、認証に用いる画像として出力する(ステップS501)。そして、認証部230は、虹彩画像特定部240から出力された虹彩画像を用いて、認証処理を実行する(ステップS303)。
 (技術的効果)
 次に、第5実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図14及び図15で説明したように、第5実施形態に係る情報処理システム10では、複数の虹彩画像の中から、まつ毛が虹彩に掛かっていない虹彩画像が特定されて認証に用いられる。このようにすれば、まつ毛に起因する認証精度の低下を抑制することができる。
 <第6実施形態>
 第6実施形態に係る情報処理システム10について、図16及び図17を参照して説明する。なお、第6実施形態は、上述した第5実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第5実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図16を参照しながら、第6実施形態に係る情報処理システム10の機能的構成について説明する。図16は、第6実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図16では、図14で示した構成要素と同様の要素に同一の符号を付している。
 図16に示すように、第6実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、登録情報データベース210と、認証部230と、虹彩画像補完部245と、を備えて構成されている。即ち、第6実施形態に係る情報処理システム10は、第5実施形態の構成(図14参照)における虹彩画像特定部240に代えて、虹彩画像補完部245を備えている。虹彩画像補完部245は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 虹彩画像補完部245は、まつ毛が掛かっている複数の虹彩画像を合成して、まつ毛が掛かっている領域を補完することが可能に構成されている。例えば、まつ毛が虹彩に掛かっている画像が複数ある場合、画像ごとにまつ毛が掛かっている領域(即ち、まつ毛で見えなくなっている虹彩領域)は異なる。よって、複数の虹彩画像を合成すれば、それぞれの画像のまつ毛が掛かっている領域を互いに補うことができる。複数の虹彩画像を合成する際には、例えばまつ毛部分をマスクして、画像を足し合わせる処理を行ってよい。虹彩画像補完部245は、合成によって補完された虹彩画像を、認証に用いる虹彩画像として出力してよい。なお、まつ毛が虹彩に掛かっていない画像がある場合、虹彩画像補完部245は、虹彩画像を合成する処理を省略してもよい。また、複数の画像を合成しても、まつ毛が掛かっている領域を補完できない場合(即ち、補完するための情報が不足している)場合には、虹彩画像補完部245は、更に画像を取得するように画像取得部110に指示を出力するようにしてもよい。
 (認証動作)
 次に、図17を参照しながら、第6実施形態に係る情報処理システム10による認証動作の流れについて説明する。図17は、第6実施形態に係る情報処理システムによる認証動作の流れを示すフローチャートである。なお、図17では、図15で示した処理と同様の処理に同一の符号を付している。
 図17に示すように、第6実施形態に係る情報処理システム10による認証動作が開始されると、まず画像取得部110が認証対象の顔画像及び虹彩画像を取得する(ステップS301)。なお、第5実施形態では特に、少なくとも虹彩画像について複数枚の画像が取得される。
 続いて、虹彩画像補完部245が、複数の虹彩画像を合成して、まつ毛が虹彩に掛かっている領域を補完する(ステップS601)。そして、認証部230は、虹彩画像補完部245で合成された虹彩画像を用いて、認証処理を実行する(ステップS303)。
 (技術的効果)
 次に、第6実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図16及び図17で説明したように、第6実施形態に係る情報処理システム10では、複数の虹彩画像が合成されることで、まつ毛が掛かっている領域が補完される。このようにすれば、まつ毛に起因する認証精度の低下を抑制することができる。
 <第7実施形態>
 第7実施形態に係る情報処理システム10について、図18を参照して説明する。なお、第7実施形態は、上述した第1から第6実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第6実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図18を参照しながら、第7実施形態に係る情報処理システム10の機能的構成について説明する。図18は、第7実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図18では、図9で示した構成要素と同様の要素に同一の符号を付している。
 図18に示すように、第7実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、登録情報データベース210と、認証部230と、を備えて構成されている。そして特に、第7実施形態に係る認証部230は、第1認証アプリ231と、第2認証アプリ232と、を備えている。
 第1認証アプリ231及び第2認証アプリ232は、それぞれ認証処理を実行可能なアプリケーションとして構成されている。第1認証アプリ231及び第2認証アプリ232は、別々の認証対象について認証処理を実行可能に構成されている。例えば、第1認証アプリ231は、第1の認証対象の認証処理を実行可能に構成されており、第2認証アプリ232は、第2の認証対象の認証処理を実行可能に構成されている。第1認証アプリ231及び第2認証アプリは、例えば顔や虹彩を検出する処理や、顔画像や虹彩画像から特徴量を抽出する処理、抽出した特徴量を用いて認証を行う処理等、認証に必要な機能をそれぞれ有している。そして特に、第1認証アプリ231及び第2認証アプリ232は、並列稼働することが可能に構成されている。例えば、第1認証アプリ231が対象Aの認証処理を実行している際に、第2認証232が対象Bの認証処理を実行することが可能とされている。なお、ここでは認証部230が2つの認証アプリを備える例を説明しているが、認証部230は、例えば3つ以上の認証アプリを備えるように構成されてよい。この場合、3つ以上のアプリがそれぞれ並列稼働できるように構成されてよい。第1認証アプリ231及び第2認証アプリ232を含む複数のアプリは、1台の端末で動作するように構成されてよい。
 (技術的効果)
 次に、第7実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図18で説明したように、第7実施形態に係る情報処理システム10では、第1認証アプリ231及び第2認証アプリ232が並列稼働可能とされている。このようにすれば、複数の認証対象に対する認証処理を同時に並行して実行することができるため、より効率的に認証を行うことが可能となる。また、複数のアプリを1台の端末で動作させることで、1台の端末で(即ち、複数台の端末を用いずとも)複数の対象の顔及び虹彩をそれぞれ用いた認証を実行可能である。
 <第8実施形態>
 第8実施形態に係る情報処理システム10について、図19を参照して説明する。なお、第8実施形態は、上述した第7実施形態と一部の動作が異なるのみであり、その他の部分については第1から第7実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (認証動作)
 まず、図19を参照しながら、第8実施形態に係る情報処理システム10による認証動作について説明する。図19は、第8実施形態に係る情報処理システムによる認証動作の具体例を示す平面図である。
 図19に示すように、第8実施形態に係る情報処理システム10による認証動作では、複数の認証対象が写り込んだ顔画像及び虹彩画像を用いた認証処理が実行される。具体的には、第8実施形態に係る認証部230は、認証対象の顔画像と、認証対象の片目画像と、を用いて認証処理を実行可能とされている。
 例えば、対象Aに関する認証処理は、図19(a)に示す顔画像のうち、対象Aが含まれている部分と、図19(b)に示す虹彩画像のうち、対象Aの左目が含まれている部分と、を用いて行われる。この認証処理は、例えば第1認証アプリ231(図18参照)で実行されるものであってよい。また、対象Bに関する認証処理は、図19(a)に示す顔画像のうち、対象Bが含まれている部分と、図19(b)に示す虹彩画像のうち、対象Bの右目が含まれている部分と、を用いて行われる。この認証処理は、例えば第2認証アプリ231(図18参照)で実行されるものであってよい。
 (技術的効果)
 次に、第8実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図19で説明したように、第8実施形態に係る情報処理システム10では、複数の認証対象について、顔画像と片目画像とを用いて認証処理が実行される。このようにすれば、1枚の画像に複数の認証対象が写り込んでいる場合であっても、適切に認証処理を実行することが可能となる。また、複数のアプリを1台の端末で動作させることで、1台の端末で(即ち、複数台の端末を用いずとも)同時に複数の対象の顔及び虹彩をそれぞれ用いた認証を実行可能である。
 <第9実施形態>
 第9実施形態に係る情報処理システム10について、図20から図22を参照して説明する。なお、第9実施形態は、上述した第1から第8実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第8実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図20を参照しながら、第9実施形態に係る情報処理システム10の機能的構成について説明する。図20は、第9実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図20では、図3で示した構成要素と同様の要素に同一の符号を付している。
 図20に示すように、第9実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、重畳表示部330と、撮像制御部340と、を備えて構成されている。即ち、第9実施形態に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、重畳表示部330と、撮像制御部340と、を更に備えている。重畳表示部330及び撮像制御部340の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 重畳表示部330は、登録対象の顔画像を撮像した後、登録対象の目周辺に第1マークを重畳表示可能に構成されている。第1マークは、例えば登録対象の目周辺を囲う枠として表示されてよい。第1マークは、例えば画像における目の位置が変化した場合、目を追従するように表示される。また、重畳表示部330は、虹彩画像を撮像するのに適した目周辺の大きさを示す第2マークを重畳表示可能に構成されている。第2マークは、例えば第1マークと重なる形状のマークとして表示される。例えば、上述したように第1マークが目周辺を囲う枠の形状とされる場合、第2マークも枠の形状とされてよい。第2マークの大きさは、予め設定されていればよい。例えば、第2マークは、虹彩認証を行うのに十分な画素数の虹彩画像を撮像できるような大きさに設定されてよい。
 撮像制御部340は、虹彩カメラ19を制御可能に構成されている。具体的には、撮像制御部340は、第1マークが第2マークと重なった場合に、虹彩画像を撮像するように虹彩カメラ19を制御する。
 (表示例)
 次に、図21及び図22を参照しながら、第9実施形態に係る情報処理システム10による表示例について説明する。図21は、第9実施形態に係る情報処理システムにおける表示例を示す平面図(その1)である。図22は、第9実施形態に係る情報処理システムにおける表示例を示す平面図(その2)である。なお、以下では、顔カメラ18及び虹彩カメラ19が共通する1つのカメラ(例えば、スマートフォンに搭載されるカメラ)である例を挙げて説明する。
 図21に示すように、第6実施形態に係る情報処理システム10が動作する際には、まず登録対象の顔画像が撮像される。その後、重畳表示部330は、登録対象の目周辺に第1マーク(目周辺を囲う枠)を表示する。そして、重畳表示部220は更に、虹彩画像を撮像するのに適した目周辺の大きさを示す第2マーク(図中の破線で示す枠)を重畳表示する。この際、対象の動作を促すために「枠が重なるように顔を近づけてください。」というメッセージが出力されてよい。このメッセージは、例えば画像中に表示されてもよいし、音声出力されてもよい。
 登録対象が顔を近づけていくと、撮像される登録対象の顔は表示領域において大きく表示されるようになる。これに伴い、目周辺に重畳表示されている第1マークも大きくなっていく。一方、第2マークの大きさは変化しない。その後、第1マークが第2マークに重なった場合に(即ち、第1マークと第2マークとが同じ大きさになった場合に)、登録対象の虹彩画像が撮像される。
 図22に示すように、第1マークと第2マークとが重ならない場合には、登録対象に上手く虹彩画像を撮像するためのメッセージを出力してもよい。例えば、図22に示すように、目の位置が下方向にずれている場合には、「枠が重なるように端末(カメラ)を下に向けてください。」というメッセージが出力されてよい。このメッセージは、例えば画像中に表示されてもよいし、音声出力されてもよい。
 (技術的効果)
 次に、第9実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図20から図22で説明したように、第9実施形態に係る情報処理システム10では、第1マーク及び第2マークによって、登録対象とカメラとの位置関係が適切なものとなるように誘導される。このようにすれば、顔画像を撮像した後、適切に虹彩画像を撮像することができる。例えば、虹彩を撮像範囲に収めた状態で、適切な大きさの虹彩を撮像することが可能となる。また、顔画像と虹彩画像とで、それぞれ適切なカメラまでの距離や撮像範囲が異なる場合に、それぞれ適切な大きさの画像を取得することが可能である。
 <第10実施形態>
 第10実施形態に係る情報処理システム10について、図23から図25を参照して説明する。なお、第10実施形態は、上述した第1から第9実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第9実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図23を参照しながら、第10実施形態に係る情報処理システム10の機能的構成について説明する。図23は、第10実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図23では、図9で示した構成要素と同様の要素に同一の符号を付している。
 図23に示すように、第10実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、登録情報データベース210と、認証部230と、第1登録制御部250と、第2登録制御部260と、を備えて構成されている。即ち、第10実施形態に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、登録情報データベース210と、認証部230と、第1登録制御部250と、第2登録制御部260と、を更に備えている。なお、登録情報データベース210及び認証部230については、上述した各実施形態と同様のものであってよい。第1登録制御部250及び第2登録制御部260の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 第1登録制御部250は、第1の端末で撮像した虹彩画像の品質スコアが所定閾値以下である場合(例えば、第1の端末に搭載されたカメラの性能が低く、適切な虹彩画像を撮像できない場合等)に、第1の端末で撮像した顔画像のみを登録するように制御可能に構成されている。また、第1登録制御部250は、第1の端末で虹彩画像が撮像できない場合(例えば、第1の端末に虹彩画像を撮像可能なカメラが搭載されていない場合等)に、第1の端末で撮像した顔画像のみを登録する(即ち、登録情報データベース210に記憶する)制御を実行可能に構成されている。なお、第1端末の一例としては、スマートフォン等の比較的カメラの性能が低い、或いは、虹彩画像を撮像可能なカメラを備えていない端末が挙げられる。
 第2登録制御部260は、第2の端末で顔画像を用いた認証を行った際に、認証対象の虹彩画像が登録されていない場合(即ち、第1登録制御部250によって、顔画像のみが登録されている場合)には、第2の端末で認証対象の虹彩画像を撮像して登録する(即ち、塘登録情報データベース210に記憶する)制御を実行可能に構成されている。なお、第2端末の一例としては、認証専用端末等の比較的カメラ性能が高い端末が挙げられる。
 (第1登録制御部の動作)
 次に、図24を参照しながら、第10実施形態に係る情報処理システム10における第1登録制御部250の動作について説明する。図24は、第10実施形態に係る情報処理システムの第1登録制御部による動作の流れを示すフローチャートである。
 図24に示すように、第10実施形態に係る情報処理システム10による登録動作が開始されると、まず画像取得部110が第1端末で撮像した顔画像及び虹彩画像を取得する(ステップS1001)。なお、第1端末で虹彩画像を撮像できない場合、画像取得部110は顔画像のみを取得してよい。
 続いて、スコア算出部120が、画像取得部110で取得された顔画像及び虹彩画像のスコアを算出する(ステップS1002)。そして、第1登録制御部250は、品質スコアが所定閾値以上である虹彩画像があるか否かを判定する(ステップS1003)。なお、虹彩画像が取得できていない場合は、所定閾値以上である虹彩画像がないと判定すればよい。
 品質スコアが所定閾値以上である虹彩画像がある場合(ステップS1003:YES)、第1登録制御部250は、品質スコアが所定閾値以上である顔画像及び虹彩画像を選択して登録するように選択部130に指示を出力する(ステップS1004)。一方、品質スコアが所定閾値以上である虹彩画像がない場合(ステップS1003:NO)、第1登録制御部250は、品質スコアが所定閾値以上である顔画像のみを選択して登録するように選択部130に指示を出力する(ステップS1005)。即ち、この場合、虹彩画像は登録されない。
 (第2登録制御部の動作)
 次に、図25を参照しながら、第10実施形態に係る情報処理システム10における第2登録制御部260の動作について説明する。図25は、第10実施形態に係る情報処理システムの第2登録制御部による動作の流れを示すフローチャートである。
 図25に示すように、第10実施形態に係る情報処理システム10による認証動作が開始されると、まず画像取得部110が、第2端末によって撮像された顔画像を取得する(ステップS1101)。なお、ここでは少なくとも顔画像を取得すればよいが、虹彩画像を取得するようにしてもよい。
 続いて、認証部230が画像取得部110で取得された顔画像を用いて顔認証を行う(ステップS1012)。ここで、第2登録制御部260は、認証された認証対象の虹彩画像が、未登録であるか否か(即ち、登録情報データベース210に記憶されてないか否か)を判定する(ステップS1013)。
 虹彩画像が登録されていない場合(ステップS1013:YES)、第2登録制御部260は、認証対象の虹彩画像を登録するフェーズに移行する(ステップS1014)。即ち、虹彩画像を取得して、その品質スコアを算出し、算出した品質スコアに基づいて登録する虹彩画像を選択する処理が行われる。なお、虹彩画像を登録した後で、虹彩認証を実行するようにしてもよい。
 一方、虹彩画像が登録されている場合(ステップS1013:NO)、第2登録制御部260は、虹彩画像を取得して虹彩認証を実行するように認証部230に指示を出力する(ステップS1015)。なお、顔画像を取得する際に虹彩画像も取得している場合には、その際に取得した虹彩画像を用いて虹彩認証を実行するように指示してもよい。
 (技術的効果)
 次に、第10実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図23から図25で説明したように、第10実施形態に係る情報処理システム10では、第1端末では顔画像のみが登録され、第2端末で虹彩画像が登録される。このようにすれば、1つの端末で顔画像及び虹彩画像の両方を登録できない場合であっても、他の端末で認証を行った際に虹彩画像を登録することができる。なお、虹彩画像の登録は、すでに登録済みの顔画像を用いた認証後に行われるため、対象の同一性も担保される。
 <第11実施形態>
 第11実施形態に係る情報処理システム10について、図26及び図27を参照して説明する。なお、第11実施形態は、上述した第1から第10実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第10実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図26を参照しながら、第11実施形態に係る情報処理システム10の機能的構成について説明する。図26は、第11実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図26では、図9で示した構成要素と同様の要素に同一の符号を付している。
 図26に示すように、第11実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、登録情報データベース210と、認証部230と、なりすまし検知部270と、を備えて構成されている。即ち、第11実施形態に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、登録情報データベース210と、認証部230と、なりすまし検知部270と、を更に備えている。なお、登録情報データベース210及び認証部230については、上述した各実施形態と同様のものであってよい。なりすまし検知部270は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 なりすまし検知部270は、対象のなりすまし(例えば、画像、動画、マスク等を用いたなりすまし)を検知可能に構成されている。なりすまし検知部270は、例えば登録動作の際になりすまし検知を行ってよい。即ち、登録対象の顔画像及び虹彩画像を用いてなりすまし検知を行ってよい。また、なりすまし検知部270は、認証動作の際になりすまし検知を行ってよい。即ち、認証対象の顔画像及び虹彩画像を用いてなりすまし検知を行ってよい。なりすまし検知部270のより具体的な動作については、以下で詳しく説明する。
 (なりすまし検知動作)
 次に、図27を参照しながら、第11実施形態に係る情報処理システム10(具体的には、なりすまし検知部270)によるなりすましを検知する動作(以下、「なりすまし検知動作」と称する)について具体的に説明する。図27は、第11実施形態に係る情報処理システムによるなりすまし検知動作の一例を示す平面図である。
 図27に示すように、なりすまし検知部270は、顔画像に含まれる虹彩領域(即ち、虹彩が写っている領域)と、虹彩画像とを比較して、所定以上の差異が検出された場合に、なりすましを検知する。ここでの「所定以上の差異」は、なりすましを検知するための閾値として予め設定されているものであり、例えば、虹彩の特徴量の差異の他、虹彩の色や模様の差異を含んでいてもよい。虹彩領域と虹彩画像との差異は、例えば、目の色、まつげの長さ、目元周辺のシワ等を用いて検出してもよい。この場合、顔画像を撮像した対象と、虹彩画像を撮像した対象が違う人物(即ち、いずれか一方がなりすましを行っている状態)である可能性がある。例えば、顔画像を撮像する際にマスク(例えば、他人の顔の特徴を表現した3Dマスク等)をかぶってなりすましを行い、その後マスクを外した状態で虹彩画像を撮像しているような状況が想定される。なお、なりすまし検知部270は、なりすましを検知した場合、登録動作や認証動作を中止してよい。或いは、なりすまし検知部270は、なりすましを検知した場合、アラートを出力するようにしてもよい。
 (技術的効果)
 次に、第11実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図26及び図27で説明したように、第11実施形態に係る情報処理システム10によれば、顔画像(具体的には、顔画像に含まれる虹彩領域)及び虹彩画像を用いて、適切になりすましを検知することができる。
 <第12実施形態>
 第12実施形態に係る情報処理システム10について、図28及び図29を参照して説明する。なお、第12実施形態は、上述した第1から第11実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第11実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図28を参照しながら、第12実施形態に係る情報処理システム10の機能的構成について説明する。図28は、第12実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図28では、図9で示した構成要素と同様の要素に同一の符号を付している。
 図28に示すように、第12実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、登録情報データベース210と、認証部230と、情報提供部280と、認証方法決定部290と、を備えて構成されている。即ち、第12実施形態に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、登録情報データベース210と、認証部230と、情報提供部280と、認証方法決定部290と、を更に備えている。なお、登録情報データベース210及び認証部230については、上述した各実施形態と同様のものであってよい。情報提供部280及び認証方法決定部290の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 情報提供部280は、認証部230の認証結果に基づいて、認証対象に関する情報を提供(即ち、システム外部に出力)可能に構成されている。認証対象に関する情報は、例えば氏名、住所、電話番号、年齢、職業、役職、口座番号等の情報を含んでいてよい。また、認証対象に関する情報は、後述する他の実施形態でも説明するように、パスポート情報を含んでいてよい。パスポート情報は、複数の情報を含んでいてよい。パスポート情報に含まれる各種情報(例えば、氏名、住所、年齢等)の各々には、例えば重要度や秘匿度に応じた複数のレイヤーが設定されていてよい。その他、認証対象に関する情報は、チケット番号、ワクチン接種情報、PCR検査の実施有無に関する情報等を含んでいてよい。これらの情報は、例えば対象が保有する端末(例えば、スマートフォン)等にまとめて記憶されていてよい。情報提供部280は、複数の情報を提供するように構成されてよい。情報提供部280が提供する情報は、予め設定されていてもよいし、認証対象や提供される側のユーザ等によって設定されるものであってもよい。
 認証方法決定部290は、情報提供部280で提供される情報の種別に基づいて、認証部230における認証方法を決定可能に構成されている。具体的には、認証方法決定部290は、顔画像のみを用いて認証する(顔認証)か、虹彩画像のみを用いて認証する(虹彩認証)か、顔画像及び虹彩画像の両方を用いて認証する(顔認証+虹彩認証)か、を決定可能に構成されている。なお、どの画像を用いて認証するかは、情報の種別ごとに予め設定されていればよい。例えば、顔画像のみを用いて認証する第1グループと、虹彩画像のみを用いて認証する第2グループと、顔画像及び虹彩画像の両方を用いて認証する第3グループとが予め設定されていてよい。なお、上述したパスポート情報のように、複数のレイヤーが設定された情報については、レイヤー毎にグループが設定されてよい。例えば、パスポート情報に含まれる「氏名」は第1グループ、「年齢」は第2グループ、「住所」は第3グループのように、別々のグループに分けられてよい。
 (認証方法決定動作)
 次に、図29を参照しながら、第12実施形態に係る情報処理システム10(具体的には、認証方法決定部290)よる認証方法を決定する動作(以下、「認証方法決定動作」と称する)について具体的に説明する。図29は、第12実施形態に係る情報処理システムによる認証方法決定動作の一例を示す平面図である。
 図29に示すように、第12実施形態に係る情報処理システム10による認証方法決定動作が開始されると、まず認証方法決定部290は、提供する情報の種別を取得する(ステップS1201)。そして、認証方法決定部290は、提供する情報の種別が属するグループを判定する(ステップS1202)。
 提供する情報の種別が第1グループである場合、認証方法決定部290は、認証方法を「顔認証」に設定する(ステップS1203)。この場合、顔認証が成功すれば(虹彩認証の結果によらず)、認証対象に関する情報が情報提供部280によって提供されることになる。提供する情報の種別が第2グループである場合、認証方法決定部290は、認証方法を「虹彩認証」に設定する(ステップS1204)。この場合、虹彩認証が成功すれば(顔認証の結果によらず)、認証対象に関する情報が情報提供部280によって提供されることになる。提供する情報の種別が第3グループである場合、認証方法決定部290は、認証方法を「顔認証+虹彩認証」に設定する(ステップS1205)。この場合、虹彩認証及び虹彩認証の両方が成功すれば、認証対象に関する情報が情報提供部280によって提供されることになる。
 (技術的効果)
 次に、第12実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図28及び図29で説明したように、第12実施形態に係る情報処理システム10では、提供する情報の種別に基づいて認証方法が決定される。このようにすれば、情報の質や内容に応じた適切な認証処理を行って情報を提供することが可能となる。
 <第13実施形態>
 第13実施形態に係る情報処理システム10について、図30を参照して説明する。なお、第13実施形態は、上述した第12実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第12実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図30を参照しながら、第13実施形態に係る情報処理システム10の機能的構成について説明する。図30は、第13実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図30では、図28で示した構成要素と同様の要素に同一の符号を付している。
 図30に示すように、第13実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、登録情報データベース210と、認証部230と、パスポート情報提供部285と、を備えて構成されている。即ち、第13実施形態に係る情報処理システム10は、第12実施形態の構成(図28参照)における情報提供部280及び認証方法決定部290に代えて、パスポート情報提供部285を備えている。パスポート情報提供部285は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。また、パスポート情報提供部285は、第12実施形態における情報提供部280(図28参照)の一部として構成されていてもよい。なお、第13実施形態に係る情報処理システム10にも、第12実施形態で説明した認証方法決定部290(図28参照)が備えられていてもよい。
 パスポート情報提供部285は、認証部230の認証結果に基づいて、認証対象のパスポートに関する情報を提供(即ち、システム外部に出力)可能に構成されている。パスポート情報提供部285は更に、パスポート情報に加えて、パスポートの発行元の発行証明に関する情報(例えば、日本の外務省が発行したパスポートであることを証明する情報)と、認証対象の顔に関する情報(例えば、顔画像や顔画像から抽出した特徴量等)とを提供可能に構成されている。その他、パスポート情報提供部285は、パスポートの有効期限に関する情報等を提供可能に構成されてよい。
 (技術的効果)
 次に、第13実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図30で説明したように、第13実施形態に係る情報処理システム10では、パスポート情報に加えて、発行証明に関する情報及び認証対象の顔に関する情報が提供される。このようにすれば、パスポートに関する情報と、それに付随して用いられる可能性がある情報を適切に提供することが可能である。
 <第14実施形態>
 第14実施形態に係る情報処理システム10について、図31を参照して説明する。なお、第14実施形態は、上述した第13実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第13実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図31を参照しながら、第14実施形態に係る情報処理システム10の機能的構成について説明する。図31は、第14実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図31では、図3で示した構成要素と同様の要素に同一の符号を付している。
 図31に示すように、第14実施形態に係る情報処理システム10は、その機能を実現するための構成要素として、顔カメラ18及び虹彩カメラ19と、画像取得部110と、スコア算出部120と、選択部130と、照明51と、ディスプレイ52と、照明制御部350と、を備えて構成されている。即ち、第14実施形態に係る情報処理システム10は、第1実施形態の構成(図3参照)に加えて、照明51と、ディスプレイ52と、照明制御部350と、を更に備えている。なお、照明51及びディスプレイ52については、必ずしも両方を備えずともよく、少なくとも一方が備えられていればよい。照明制御部350は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 照明51は、顔カメラ18及び虹彩カメラ19による撮像に際して、照明光を照射可能に構成されている。照明51は、例えば顔カメラ18及び虹彩カメラ19の少なくとも一方が搭載される端末に備えられていてもよいし、独立した照明装置として構成されていてもよい。なお、本実施形態に係る照明51は、明るさ(光量)や向きを制御可能とされている。
 ディスプレイ52は、顔カメラ18及び虹彩カメラ19による撮像に際して、対象に画像(例えば、撮像中の画像)を表示するものである。ディスプレイ52は、例えば顔カメラ18及び虹彩カメラ19の少なくとも一方が搭載される端末に備えられるディスプレイであってもよいし、独立した表示装置として構成されていてもよい。なお、本実施形態に係るディスプレイ52は、画面から対象に照射されることになる光量を制御可能とされている。ディスプレイ52は、例えば領域ごとに光量を制御可能なものであってもよい。
 照明制御部350は、照明51及びディスプレイ52の少なくとも一方を制御可能に構成されている。具体的には、照明制御部350は、対象の目周辺に対して照射される光が変化するように、照明51及びディスプレイ52の少なくとも一方を制御可能に構成されている。本実施形態に係る証明制御部350は特に、対象の目との距離(具体的には、顔カメラ18及び虹彩カメラ19が搭載される端末と、対象の目との距離)に応じて、対象の目周辺に対して照射される光を制御可能に構成されている。例えば、照明制御部350は、対象の目との距離が近い場合に、対象の目周辺に対して照射される光が少なくなるように制御してよい。この場合、照明制御部350は、照明51の光量を小さくする制御、照明51の向きを対象の目から遠ざける方向に変化させる制御、ディスプレイ52の光量を全体的に小さくする制御、及び、ディスプレイ52の目周辺に近い領域の光量を小さくする制御の少なくとも1つを実行してよい。また、照明制御部350は、対象の目との距離が遠い場合に、対象の目周辺に対して照射される光が多くなるように制御してよい。この場合、照明制御部350は、照明51の光量を大きくする制御、照明51の向きを対象の目に近づける方向に変化させる制御、ディスプレイ52の光量を全体的に大きくする制御、及び、ディスプレイ52の目周辺に近い領域の光量を大きくする制御の少なくとも1つを実行してよい。なお、照明制御部350は、対象の目との距離に加えて、対象の進行方向や速度、又は端末を移動させる方向や速度を考慮して照明51及びディスプレイ52の少なくとも一方を制御してもよい。例えば、対象又は端末の移動によって、対象の目と端末との距離が遠ざかる方向に変化している場合には、照明制御部350は、対象の目周辺に対して照射される光が多くなるように制御してよい。一方で、対象の目と端末との距離が近づく方向に変化している場合には、照明制御部350は、対象の目周辺に対して照射される光が少なくなるように制御してよい。また、対象又は端末の速度が早く、対象の目と端末との距離が急激に変化する場合には、照明制御部350は、対象の目周辺に対して照射される光がより素早く変化するように制御してよい。一方、対象又は端末の速度が遅く、対象の目と端末との距離が徐々に変化する場合には、照明制御部350は、対象の目周辺に対して照射される光がじっくりと変化するように制御してよい。
 (技術的効果)
 次に、第14実施形態に係る情報処理システム10によって得られる技術的効果について説明する。
 図31で説明したように、第14実施形態に係る情報処理システム10では、対象との目の距離に応じて、対象の目周辺に照射される光が制御される。このようにすれば、画像を撮像する際(特に、虹彩画像を撮像する際)に感じる眩しさを低減することができる。
 上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
 記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS上で動作して処理を実行するものも各実施形態の範疇に含まれる。更に、プログラム自体がサーバに記憶され、ユーザ端末にサーバからプログラムの一部または全てをダウンロード可能なようにしてもよい。
 <付記>
 以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
 (付記1)
 付記1に記載の情報処理システムは、登録対象の顔画像及び虹彩画像を取得する画像取得手段と、前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出するスコア算出手段と、前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する選択手段と、を備える情報処理システムである。
 (付記2)
 付記2に記載の情報処理システムは、前記登録対象の目の大きさに基づいて、前記顔画像及び前記虹彩画像の撮像と前記品質スコアの算出とを並行して実行する第1モードと、前記顔画像及び前記虹彩画像の撮像の後に前記品質スコアの算出を実行する第2モードと、を切り替えるモード切替手段と、前記登録対象の目の大きさに基づいて、前記選択手段が登録する前記顔画像及び前記虹彩画像を選択する際に用いる前記品質スコアの閾値を変更する閾値変更手段と、を更に備える付記1に記載の情報処理システムである。
 (付記3)
 付記3に記載の情報処理システムは、認証に用いる顔画像及び虹彩画像の少なくとも一方に複数の認証対象が含まれる場合に、前記認証対象を認証する順番を示す情報を、前記複数の認証対象が写る画面上に重畳表示するように出力する順番出力手段を更に備える付記1又は2に記載の情報処理システムである。
 (付記4)
 付記4に記載の情報処理システムは、認証対象から虹彩カメラまでの距離と、前記認証対象の速度と、に基づいて前記虹彩画像を撮像する際の前記認証対象の虹彩の位置を予測する予測手段と、予測した前記虹彩の位置に基づいて、前記虹彩カメラの画角を調整する虹彩カメラ調整手段と、を更に備える付記1から3のいずれか一項に記載の情報処理システムである。
 (付記5)
 付記5に記載の情報処理システムは、複数の前記虹彩画像の中から、まつ毛が虹彩に掛かっていない前記虹彩画像を特定して、認証に用いる前記虹彩画像として出力する虹彩画像特定手段を更に備える付記1から4のいずれか一項に記載の情報処理システムである。
 (付記6)
 付記6に記載の情報処理システムは、まつ毛が掛かっている複数の前記虹彩画像を合成して、まつ毛が掛かっている領域を補完し、該補完した画像を認証に用いる画像として出力する虹彩画像補完手段を更に備える付記1から5のいずれか一項に記載の情報処理システムである。
 (付記7)
 付記7に記載の情報処理システムは、前記画像取得手段は、第1の認証対象の顔画像及び虹彩画像と、第2の認証対象の顔画像及び虹彩画像とを取得し、第1の認証対象の顔画像及び虹彩画像を用いて、認証を行う第1のアプリケーションと、第2の認証対象の顔画像及び虹彩画像を用いて、認証を行う第2のアプリケーションと、前記第1のアプリケーション及び前記第2のアプリケーションを並列で稼働し、第1の認証対象及び第2の認証対象の認証をそれぞれ制御する並列認証手段と、を更に備える請求項1から6のいずれか一項に記載の情報処理システムである。
 (付記8)
 付記8に記載の情報処理システムは、前記並列認証手段は、第1認証対象の顔画像及び片目画像を用いて前記第1認証対象の認証を行い、第2認証対象の顔画像及び片目画像を用いて前記第2認証対象の認証を行う、付記7に記載の情報処理システムである。
 (付記9)
 付記9に記載の情報処理システムは、前記登録対象の前記顔画像を撮像した後、前記登録対象の目周辺に第1マークを重畳表示すると共に、前記虹彩画像を撮像するのに適した前記目周辺の大きさを示す第2マークを重畳表示する重畳表示手段と、前記第1マークが、前記第2マークに重なった場合に、前記登録対象の前記虹彩画像を撮像するように制御する撮像制御手段と、を更に備える付記1から8に記載の情報処理システムである。
 (付記10)
 付記10に記載の情報処理システムは、第1の端末で撮像した前記虹彩画像の前記品質スコアが所定閾値以下である場合、又は前記虹彩画像が撮像できない場合に、前記第1の端末で撮像した顔画像のみを登録するように制御する第1登録制御手段と、第2の端末で前記顔画像を用いた認証を行った際に、認証対象の前記虹彩画像が登録されていない場合には、前記第2の端末で前記虹彩画像を撮像して登録するように制御する第2登録制御手段と、を更に備える付記1から9のいずれか一項に記載の情報処理システムである。
 (付記11)
 付記11に記載の情報処理システムは、前記顔画像に含まれる虹彩領域と、前記虹彩画像と、を比較して、所定以上の差異を検出した場合になりすましを検知するなりすまし検知手段を更に備える付記1から10のいずれか一項に記載の情報処理システムである。
 (付記12)
 付記12に記載の情報処理システムは、前記顔画像及び前記虹彩画像を用いた認証の結果に基づいて、認証対象に関する情報を提供する情報提供手段と、提供する前記情報の種別に基づいて、前記認証に前記顔画像のみを用いるか、前記虹彩画像のみを用いるか、又は前記顔画像及び前記虹彩画像の両方を用いるかを決定する決定手段と、を更に備える付記1から11のいずれか一項に記載の情報処理システムである。
 (付記13)
 付記13に記載の情報処理システムは、前記顔画像及び前記虹彩画像を用いた認証の結果に基づいて、認証対象のパスポートに関する情報を提供するパスポート情報提供手段を更に備え、前記パスポート情報提供手段は、前記パスポートに関する情報に、前記パスポートの発行証明に関する情報と、前記認証対象の顔に関する情報とを合わせて提供する、付記1から12のいずれか一項に記載の情報処理システムである。
 (付記14)
 付記14に記載の情報処理システムは、端末で前記顔画像及び前記虹彩画像を撮像する際に、前記端末と目との距離、及び前記登録対象、前記認証対象又は前記端末の移動速度に応じて、前記端末の照明及びディスプレイの少なくとも一方を制御する照明制御手段を更に備える、付記1から13のいずれか一項に記載の情報処理システムである。
 (付記15)
 付記15に記載の情報処理装置は、登録対象の顔画像及び虹彩画像を取得する画像取得手段と、前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出するスコア算出手段と、前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する選択手段と、を備える情報処理装置である。
 (付記16)
 付記16に記載の情報処理方法は、少なくとも1つのコンピュータが実行する情報処理方法であって、登録対象の顔画像及び虹彩画像を取得し、前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出し、前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する、情報処理方法である。
 (付記17)
 付記17に記載の記録媒体は、少なくとも1つのコンピュータに、登録対象の顔画像及び虹彩画像を取得し、前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出し、前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する、情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
 (付記18)
 付記18に記載のコンピュータプログラムは、少なくとも1つのコンピュータに、登録対象の顔画像及び虹彩画像を取得し、前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出し、前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する、情報処理方法を実行させるコンピュータプログラムである。
 この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理システム、情報処理装置、情報処理方法、及び記録媒体もまたこの開示の技術思想に含まれる。
 10 情報処理システム
 11 プロセッサ
 18 顔カメラ
 19 虹彩カメラ
 30 認証端末
 35 カメラ設置部
 40 ディスプレイ
 51 照明
 52 ディスプレイ
 110 画像取得部
 115 対象位置検出部
 116 回転制御部
 120 スコア算出
 130 選択部
 140 モード切替部
 150 閾値変更部
 210 登録情報データベース
 220 順番出力部
 230 認証部
 231 第1認証アプリ
 232 第2認証アプリ
 240 虹彩画像特定部
 245 虹彩画像補完部
 250 第1登録制御部
 260 第2登録制御部
 270 なりすまし検知部
 280 情報提供部
 285 パスポート情報提供部
 290 認証方法決定部
 310 虹彩位置予測部
 320 虹彩カメラ調整部
 330 重畳表示部
 340 撮像制御部
 350 照明制御部

Claims (17)

  1.  登録対象の顔画像及び虹彩画像を取得する画像取得手段と、
     前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出するスコア算出手段と、
     前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する選択手段と、
     を備える情報処理システム。
  2.  前記登録対象の目の大きさに基づいて、前記顔画像及び前記虹彩画像の撮像と前記品質スコアの算出とを並行して実行する第1モードと、前記顔画像及び前記虹彩画像の撮像の後に前記品質スコアの算出を実行する第2モードと、を切り替えるモード切替手段と、
     前記登録対象の目の大きさに基づいて、前記選択手段が登録する前記顔画像及び前記虹彩画像を選択する際に用いる前記品質スコアの閾値を変更する閾値変更手段と、
     を更に備える請求項1に記載の情報処理システム。
  3.  認証に用いる顔画像及び虹彩画像の少なくとも一方に複数の認証対象が含まれる場合に、前記認証対象を認証する順番を示す情報を、前記複数の認証対象が写る画面上に重畳表示するように出力する順番出力手段を更に備える請求項1又は2に記載の情報処理システム。
  4.  認証対象から虹彩カメラまでの距離と、前記認証対象の速度と、に基づいて前記虹彩画像を撮像する際の前記認証対象の虹彩の位置を予測する予測手段と、
     予測した前記虹彩の位置に基づいて、前記虹彩カメラの画角を調整する虹彩カメラ調整手段と、
     を更に備える請求項1から3のいずれか一項に記載の情報処理システム。
  5.  複数の前記虹彩画像の中から、まつ毛が虹彩に掛かっていない前記虹彩画像を特定して、認証に用いる前記虹彩画像として出力する虹彩画像特定手段を更に備える請求項1から4のいずれか一項に記載の情報処理システム。
  6.  まつ毛が掛かっている複数の前記虹彩画像を合成して、まつ毛が掛かっている領域を補完し、該補完した画像を認証に用いる画像として出力する虹彩画像補完手段を更に備える請求項1から5のいずれか一項に記載の情報処理システム。
  7.  前記画像取得手段は、第1の認証対象の顔画像及び虹彩画像と、第2の認証対象の顔画像及び虹彩画像とを取得し、
     第1の認証対象の顔画像及び虹彩画像を用いて、認証を行う第1のアプリケーションと、
     第2の認証対象の顔画像及び虹彩画像を用いて、認証を行う第2のアプリケーションと、
     前記第1のアプリケーション及び前記第2のアプリケーションを並列で稼働し、第1の認証対象及び第2の認証対象の認証をそれぞれ制御する並列認証手段と、
     を更に備える請求項1から6のいずれか一項に記載の情報処理システム。
  8.  前記並列認証手段は、第1認証対象の顔画像及び片目画像を用いて前記第1認証対象の認証を行い、第2認証対象の顔画像及び片目画像を用いて前記第2認証対象の認証を行う、請求項7に記載の情報処理システム。
  9.  前記登録対象の前記顔画像を撮像した後、前記登録対象の目周辺に第1マークを重畳表示すると共に、前記虹彩画像を撮像するのに適した前記目周辺の大きさを示す第2マークを重畳表示する重畳表示手段と、
     前記第1マークが、前記第2マークに重なった場合に、前記登録対象の前記虹彩画像を撮像するように制御する撮像制御手段と、
     を更に備える請求項1から8に記載の情報処理システム。
  10.  第1の端末で撮像した前記虹彩画像の前記品質スコアが所定閾値以下である場合、又は前記虹彩画像が撮像できない場合に、前記第1の端末で撮像した顔画像のみを登録するように制御する第1登録制御手段と、
     第2の端末で前記顔画像を用いた認証を行った際に、認証対象の前記虹彩画像が登録されていない場合には、前記第2の端末で前記虹彩画像を撮像して登録するように制御する第2登録制御手段と、
     を更に備える請求項1から9のいずれか一項に記載の情報処理システム。
  11.  前記顔画像に含まれる虹彩領域と、前記虹彩画像と、を比較して、所定以上の差異を検出した場合になりすましを検知するなりすまし検知手段を更に備える請求項1から10のいずれか一項に記載の情報処理システム。
  12.  前記顔画像及び前記虹彩画像を用いた認証の結果に基づいて、認証対象に関する情報を提供する情報提供手段と、
     提供する前記情報の種別に基づいて、前記認証に前記顔画像のみを用いるか、前記虹彩画像のみを用いるか、又は前記顔画像及び前記虹彩画像の両方を用いるかを決定する決定手段と、
     を更に備える請求項1から11のいずれか一項に記載の情報処理システム。
  13.  前記顔画像及び前記虹彩画像を用いた認証の結果に基づいて、認証対象のパスポートに関する情報を提供するパスポート情報提供手段を更に備え、
     前記パスポート情報提供手段は、前記パスポートに関する情報に、前記パスポートの発行証明に関する情報と、前記認証対象の顔に関する情報とを合わせて提供する、
     請求項1から12のいずれか一項に記載の情報処理システム。
  14.  端末で前記顔画像及び前記虹彩画像を撮像する際に、前記端末と目との距離、及び前記登録対象、前記認証対象又は前記端末の移動速度に応じて、前記端末の照明及びディスプレイの少なくとも一方を制御する照明制御手段を更に備える、請求項1から13のいずれか一項に記載の情報処理システム。
  15.  登録対象の顔画像及び虹彩画像を取得する画像取得手段と、
     前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出するスコア算出手段と、
     前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する選択手段と、
     を備える情報処理装置。
  16.  少なくとも1つのコンピュータが実行する情報処理方法であって、
     登録対象の顔画像及び虹彩画像を取得し、
     前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出し、
     前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する、
     情報処理方法。
  17.  少なくとも1つのコンピュータに、
     登録対象の顔画像及び虹彩画像を取得し、
     前記顔画像及び前記虹彩画像の品質を示す品質スコアを算出し、
     前記品質スコアに基づいて、登録する前記顔画像及び前記虹彩画像を選択する、
     情報処理方法を実行させるコンピュータプログラムが記録された記録媒体。
PCT/JP2021/036180 2021-09-30 2021-09-30 情報処理システム、情報処理装置、情報処理方法、及び記録媒体 WO2023053359A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/036180 WO2023053359A1 (ja) 2021-09-30 2021-09-30 情報処理システム、情報処理装置、情報処理方法、及び記録媒体
JP2023550924A JPWO2023053359A1 (ja) 2021-09-30 2021-09-30
US17/776,338 US20240153263A1 (en) 2021-09-30 2021-09-30 Information processing system, information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/036180 WO2023053359A1 (ja) 2021-09-30 2021-09-30 情報処理システム、情報処理装置、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2023053359A1 true WO2023053359A1 (ja) 2023-04-06

Family

ID=85781998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036180 WO2023053359A1 (ja) 2021-09-30 2021-09-30 情報処理システム、情報処理装置、情報処理方法、及び記録媒体

Country Status (3)

Country Link
US (1) US20240153263A1 (ja)
JP (1) JPWO2023053359A1 (ja)
WO (1) WO2023053359A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102524A (ja) * 1998-09-29 2000-04-11 Oki Electric Ind Co Ltd 個体識別装置
JP2005062231A (ja) * 2003-08-11 2005-03-10 Kyocera Mita Corp 画像形成装置
JP2006126899A (ja) * 2004-10-26 2006-05-18 Matsushita Electric Ind Co Ltd 生体判別装置、生体判別方法、およびそれを用いた認証システム
JP2008158678A (ja) * 2006-12-21 2008-07-10 Toshiba Corp 人物認証装置および人物認証方法および入退場管理システム
JP2009015518A (ja) * 2007-07-03 2009-01-22 Panasonic Corp 眼画像撮影装置及び認証装置
JP2012519927A (ja) * 2009-03-11 2012-08-30 ハリス コーポレイション 新規なインペインティング技術及び部分的収集のモザイク処理を介し虹彩スキャンを再構成する方法
JP2013077067A (ja) * 2011-09-29 2013-04-25 Sogo Keibi Hosho Co Ltd 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム
JP2017142772A (ja) * 2016-02-05 2017-08-17 富士通株式会社 虹彩認証装置及び虹彩認証プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102524A (ja) * 1998-09-29 2000-04-11 Oki Electric Ind Co Ltd 個体識別装置
JP2005062231A (ja) * 2003-08-11 2005-03-10 Kyocera Mita Corp 画像形成装置
JP2006126899A (ja) * 2004-10-26 2006-05-18 Matsushita Electric Ind Co Ltd 生体判別装置、生体判別方法、およびそれを用いた認証システム
JP2008158678A (ja) * 2006-12-21 2008-07-10 Toshiba Corp 人物認証装置および人物認証方法および入退場管理システム
JP2009015518A (ja) * 2007-07-03 2009-01-22 Panasonic Corp 眼画像撮影装置及び認証装置
JP2012519927A (ja) * 2009-03-11 2012-08-30 ハリス コーポレイション 新規なインペインティング技術及び部分的収集のモザイク処理を介し虹彩スキャンを再構成する方法
JP2013077067A (ja) * 2011-09-29 2013-04-25 Sogo Keibi Hosho Co Ltd 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム
JP2017142772A (ja) * 2016-02-05 2017-08-17 富士通株式会社 虹彩認証装置及び虹彩認証プログラム

Also Published As

Publication number Publication date
JPWO2023053359A1 (ja) 2023-04-06
US20240153263A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
US11194388B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10628670B2 (en) User terminal apparatus and iris recognition method thereof
CN109996051B (zh) 一种投影区域自适应的动向投影方法、装置及系统
EP3567535A1 (en) Virtual reality scene-based business verification method and device
CN116348918A (zh) 对扩展现实系统的推荐
JP5776323B2 (ja) 角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法
EP2842075A1 (en) Three-dimensional face recognition for mobile devices
US11461986B2 (en) Context-aware extended reality systems
WO2018038158A1 (ja) 虹彩撮像装置、虹彩撮像方法および記録媒体
RU2729601C1 (ru) Способ и система для визуализации объекта на виртуальном виде
KR20160052309A (ko) 전자 장치 및 전자 장치에서 얼굴 정보를 분석하는 방법
KR20160051496A (ko) 이미지 식별 방법 및 이미지 식별 장치
EP3236336A1 (en) Virtual reality causal summary content
US10389947B2 (en) Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program
WO2023053359A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び記録媒体
CN110933314B (zh) 追焦拍摄方法及相关产品
US11210528B2 (en) Information processing apparatus, information processing method, system, and storage medium to determine staying time of a person in predetermined region
CN107430841B (zh) 信息处理设备、信息处理方法、程序以及图像显示系统
JP2023029941A (ja) 撮像システム、撮像方法、コンピュータプログラム及び記録媒体
EP2831702B1 (en) Information processing device, information processing method and program
AU2015258346A1 (en) Method and system of transitioning between images
US10742937B2 (en) Watching apparatus, watching method, and recording medium
CN115698923A (zh) 信息处理装置、信息处理方法和程序
JP7211511B2 (ja) 認証システム、認証方法、制御装置、コンピュータプログラム及び記録媒体
US20240161547A1 (en) Information processing system, information processing apparatus, information processing method and recording medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17776338

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959397

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023550924

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE