WO2022138064A1 - 生体認証システムおよび生体認証方法 - Google Patents

生体認証システムおよび生体認証方法 Download PDF

Info

Publication number
WO2022138064A1
WO2022138064A1 PCT/JP2021/044433 JP2021044433W WO2022138064A1 WO 2022138064 A1 WO2022138064 A1 WO 2022138064A1 JP 2021044433 W JP2021044433 W JP 2021044433W WO 2022138064 A1 WO2022138064 A1 WO 2022138064A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
visible light
infrared
unit
wavelength
Prior art date
Application number
PCT/JP2021/044433
Other languages
English (en)
French (fr)
Inventor
三四郎 宍戸
真一 町田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202180082033.3A priority Critical patent/CN116547691A/zh
Priority to JP2022572058A priority patent/JPWO2022138064A1/ja
Publication of WO2022138064A1 publication Critical patent/WO2022138064A1/ja
Priority to US18/327,931 priority patent/US20230326253A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • This disclosure relates to a biometric authentication system and a biometric authentication method.
  • Patent Document 1 discloses a detection device that detects an article for disguise for spoofing.
  • biometric authentication it is required to improve the authentication accuracy corresponding to spoofing and to reduce the size of the device for biometric authentication.
  • This disclosure provides a biometric authentication system, etc. that has high authentication accuracy and can reduce the size of the device.
  • the biometric authentication system acquires a visible light image obtained by imaging the first reflected light generated by the reflection of visible light applied to the skin portion of the subject by the skin portion.
  • 1 Image acquisition unit and A first infrared image obtained by imaging a second reflected light having a wavelength range including a first wavelength generated by reflection of the first infrared ray applied to the skin portion by the skin portion is acquired.
  • 2 Image acquisition section and A determination unit is provided that determines whether or not the subject is a living body based on a comparison between the visible light image and the first infrared image, and outputs the determination result.
  • the biometric authentication method is to acquire a visible light image obtained by imaging the first reflected light generated by the reflection of visible light applied to the skin portion of the subject by the skin portion.
  • a first infrared image obtained by imaging a second reflected light having a wavelength range including a first wavelength generated by reflection of infrared rays irradiated to the skin portion by the skin portion. It includes determining whether or not the subject is a living body based on the comparison between the visible light image and the first infrared image, and outputting the determination result.
  • the authentication accuracy is high and the device can be miniaturized.
  • FIG. 1 is a diagram showing an outline of spoofing determination by the biometric authentication system according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the biometric authentication system according to the first embodiment.
  • FIG. 3 is a diagram showing an example of a visible light image and a first infrared image to be compared in the determination unit according to the first embodiment.
  • FIG. 4 is a diagram schematically showing the light reflection characteristics in a living body.
  • FIG. 5 is a diagram showing an example of the reflection ratio of visible light incident on human skin.
  • FIG. 6 is a diagram showing an nk spectrum of liquid water.
  • FIG. 7 is a diagram showing images of human faces taken at different wavelengths.
  • FIG. 8 is a diagram showing the wavelength dependence of the reflectance of light for each skin color.
  • FIG. 9 is a diagram showing a solar spectrum on the ground.
  • FIG. 10 is an enlarged view of a part of the solar spectrum of FIG.
  • FIG. 11 is an enlarged view of another part of the solar spectrum of FIG.
  • FIG. 12 is a flowchart showing an operation example of the biometric authentication system according to the first embodiment.
  • FIG. 13 is a diagram for explaining spoofing determination by the biometric authentication system according to the first embodiment in the case of non-spoofing.
  • FIG. 14 is a block diagram showing a functional configuration of a biometric authentication system according to a modified example of the first embodiment.
  • FIG. 15 is a diagram showing an exemplary configuration of a third image pickup apparatus according to a modified example of the first embodiment.
  • FIG. 16 is a schematic cross-sectional view showing the cross-sectional structure of the pixels of the third image pickup apparatus according to the modified example of the first embodiment.
  • FIG. 17 is a schematic diagram showing an example of the spectral sensitivity curve of the pixel according to the modified example of the first embodiment.
  • FIG. 18 is a schematic cross-sectional view showing a cross-sectional structure of another pixel of the third image pickup apparatus according to the modified example of the first embodiment.
  • FIG. 19 is a schematic cross-sectional view showing a cross-sectional structure of still another pixel of the third image pickup apparatus according to the modified example of the first embodiment.
  • FIG. 20 is a schematic diagram showing an example of a spectral sensitivity curve of yet another pixel according to the modified example of the first embodiment.
  • FIG. 21 is a block diagram showing a functional configuration of the biometric authentication system according to the second embodiment.
  • FIG. 22 is a flowchart showing an operation example of the biometric authentication system according to the second embodiment.
  • FIG. 23 is a block diagram showing a functional configuration of the biometric authentication system according to the modified example of the second embodiment.
  • FIG. 24 is a schematic cross-sectional view showing the cross-sectional structure of the pixels of the fifth image pickup apparatus according to the modified example of the second embodiment.
  • FIG. 25 is a schematic diagram showing an example of the spectral sensitivity curve of the pixel according to the modified example of the second embodiment.
  • Patent Document 1 a method of detecting spoofing by using a plurality of infrared images in which a subject is imaged by infrared rays having different wavelength ranges has been proposed.
  • the first problem is that when infrared images are used, the authentication rate in personal authentication due to the above-mentioned lack of database or the like is lowered.
  • the second problem is that the use of a plurality of infrared wavelength ranges causes an increase in image pickup devices, an addition of a spectroscopic system and a light source, and an increase in the amount of image data to be processed.
  • the present inventors suppress the increase of the apparatus and reduce the size by performing spoofing determination as to whether or not the subject is a living body by using a visible light image and an infrared image.
  • biometric authentication such as spoofing judgment and personal authentication can be realized with high accuracy.
  • the biometric authentication system acquires a visible light image obtained by imaging the first reflected light generated by the reflection of visible light applied to the skin portion of the subject by the skin portion.
  • 1 Image acquisition unit and A first infrared image obtained by imaging a second reflected light having a wavelength range including a first wavelength generated by reflection of the first infrared ray applied to the skin portion by the skin portion is acquired.
  • 2 Image acquisition section and A determination unit is provided that determines whether or not the subject is a living body based on a comparison between the visible light image and the first infrared image, and outputs the determination result.
  • the biometric authentication system can be miniaturized.
  • the biometric authentication system According to the biometric authentication system according to this aspect, the authentication accuracy is high and the device can be miniaturized.
  • the biometric authentication system may include a first authentication unit that performs first personal authentication of the subject based on the visible light image and outputs the result of the first personal authentication.
  • the first authentication unit authenticates the subject personally based on the visible light image, so that a rich database of visible light images can be used. Therefore, the biometric authentication system can perform highly accurate personal authentication. can.
  • the first authentication unit may not perform the first individual authentication of the subject.
  • the biometric authentication system may further include a second authentication unit that performs a second personal authentication of the subject based on the first infrared image and outputs the result of the second personal authentication.
  • the ratio of the surface reflection component to the diffuse reflection component in the infrared rays irradiated to the living body and reflected by the living body is higher than the ratio of the surface reflection component to the diffuse reflection component in the visible light irradiated to the living body and reflected by the living body. Therefore, the first infrared image has a higher spatial resolution than the visible light image. Therefore, in addition to the personal authentication by the first authentication unit, the second authentication unit can perform high-precision personal authentication by performing biometric authentication based on the first infrared image having a high spatial resolution.
  • the biometric authentication system includes a storage device in which information for performing the first personal authentication and the second personal authentication is stored, information on the result of the first personal authentication, and the second individual.
  • An information construction unit that stores information related to the result of authentication in the storage device may be further provided.
  • the determination unit may determine whether or not the subject is a living body by comparing the contrast value based on the visible light image and the contrast value based on the first infrared image. ..
  • the biometric authentication system can perform spoofing determination using a contrast value that can be easily calculated.
  • the biometric authentication system further includes an image pickup unit including a first image pickup device for capturing the visible light image and a second image pickup device for capturing the first infrared image, and obtains the first image.
  • the unit may acquire the visible light image from the first image pickup device, and the second image acquisition unit may acquire the first infrared image from the second image pickup device.
  • the visible light image and the first infrared image are imaged by the first image pickup device and the second image pickup device, respectively. Therefore, a camera having a simple configuration is used for the first image pickup device and the second image pickup device, respectively.
  • An authentication system can be realized.
  • the biometric authentication system further includes an imaging unit including a third imaging device that captures the visible light image and the first infrared image, and the first image acquisition unit is from the third imaging device.
  • the visible light image may be acquired, and the second image acquisition unit may acquire the first infrared image from the third image pickup apparatus.
  • both the visible light image and the first infrared image are captured by one third imaging device, so that the biometric authentication system can be further miniaturized.
  • the third image pickup apparatus may include a first photoelectric conversion layer having spectral sensitivity in the wavelength range of visible light and the first wavelength.
  • the third imaging device may include a second photoelectric conversion layer having spectral sensitivity over the entire wavelength range of visible light.
  • the image quality of the visible light image can be improved, and the accuracy of biometric authentication using the visible light image can be improved.
  • the biometric authentication system may further include a lighting device that irradiates the subject with the first infrared rays.
  • the subject is irradiated with infrared rays from the active lighting device, so that the image quality of the first infrared image captured by the second image pickup device can be improved and the authentication accuracy in the biometric authentication system can be improved.
  • the biometric authentication system may further include a timing control unit that controls the timing of imaging by the imaging unit and the timing of irradiation by the lighting device.
  • the subject can be irradiated with infrared rays only during the time period required for biometric authentication, so that power consumption can be reduced.
  • the biometric authentication system emits a third reflected light having a wavelength range including a second wavelength different from the first wavelength, which is generated by the reflection of the second infrared ray applied to the skin portion by the skin portion.
  • a third image acquisition unit for acquiring a second infrared image obtained by imaging is further provided, and the determination unit is based on the visible light image, the first infrared image, and the second infrared image. It may be determined whether or not the subject is a living body.
  • the determination unit determines whether or not the living body is a living body by using a second infrared image obtained by capturing infrared rays having a wavelength different from that of the first infrared image, so that the accuracy of the determination by the determination unit can be improved.
  • the determination unit generates a difference infrared image from the first infrared image and the second infrared image, and the subject is based on the difference infrared image and the visible light image. It may be determined whether or not it is a living body.
  • the first wavelength may be 1100 nm or less.
  • the first wavelength may be 1200 nm or more.
  • the first wavelength may be 1350 nm or more and 1450 nm or less.
  • the wavelength range of 1350 nm or more and 1450 nm or less is the missing wavelength of sunlight and has a high absorbance coefficient of water, the influence of ambient light is small and the contrast is clearly attached to the first infrared image. Can be imaged. Therefore, the authentication accuracy by the biometric authentication system can be improved.
  • the subject may be a human face.
  • the biometric authentication method is to acquire a visible light image obtained by imaging the first reflected light generated by the reflection of visible light applied to the skin portion of the subject by the skin portion.
  • a first infrared image obtained by imaging a second reflected light having a wavelength range including a first wavelength generated by reflection of infrared rays irradiated to the skin portion by the skin portion. It includes determining whether or not the subject is a living body based on the comparison between the visible light image and the first infrared image, and outputting the determination result.
  • the biometric authentication method according to this aspect makes it possible to easily and accurately perform spoofing determination simply by comparing two types of images, a visible light image and a first infrared image, as in the biometric authentication system. Therefore, according to the biometric authentication method according to this aspect, the authentication accuracy is high, and the device for biometric authentication using the biometric authentication method according to this aspect can be miniaturized.
  • the biometric authentication system is With memory At the time of operation A visible light image obtained by imaging the first reflected light generated by the reflection of the visible light applied to the skin portion of the subject by the skin portion is acquired from the memory. The first infrared image obtained by imaging the second reflected light having a wavelength range including the first wavelength generated by the reflection of the first infrared ray applied to the skin portion by the skin portion is taken from the memory. Acquired, Based on the comparison between the visible light image and the first infrared image, it is determined whether or not the subject is a living body. A circuit that outputs the determined result, and To prepare for.
  • the circuit may further perform the first personal authentication of the subject based on the visible light image at the time of operation, and output the result of the first personal authentication.
  • the circuit determines that the subject is not a living body, the circuit does not have to perform the first personal authentication of the subject.
  • the circuit may further perform a second personal authentication of the subject based on the first infrared image during operation, and output the result of the second personal authentication.
  • the biometric authentication system further includes a storage device for storing information for performing the first personal authentication and the second personal authentication.
  • the circuit may store the information regarding the result of the first personal authentication and the information regarding the result of the second personal authentication in the storage device in association with each other.
  • the circuit may determine whether or not the subject is a living body by comparing the contrast value based on the visible light image and the contrast value based on the first infrared image.
  • the circuit may further control the timing of imaging by the imaging unit and the timing of irradiation by the lighting device during operation.
  • the biometric authentication system captures a third reflected light having a wavelength range including a second wavelength different from the first wavelength, which is generated by the reflection of the second infrared ray applied to the skin portion by the skin portion.
  • a third image acquisition unit for acquiring the obtained second infrared image is further provided.
  • the circuit may determine whether or not the subject is a living body based on the visible light image, the first infrared image, and the second infrared image.
  • the circuit generates a differential infrared image from the first infrared image and the second infrared image, and based on the differential infrared image and the visible light image, whether or not the subject is a living body. May be determined.
  • all or part of a circuit, unit, device, member or part, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (lage scale integration). ) Can be performed by one or more electronic circuits.
  • the LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the storage element may be integrated on one chip.
  • it is called LSI or IC, but the name changes depending on the degree of integration, and it may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • Field Programmable Gate Array (FPGA) which is programmed after the LSI is manufactured, or reconfigurable logistic device, which can reconfigure the connection relationship inside the LSI or set up the circuit partition inside the LSI, can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • all or part of the function or operation of a circuit, unit, device, member or part can be executed by software processing.
  • the software is recorded on a non-temporary recording medium such as one or more ROMs, optical disks, hard disk drives, etc., and when the software is executed by a processor, the functions identified by the software It is executed by a processor and peripheral devices.
  • the system or device may include one or more non-temporary recording media on which the software is recorded, a processor, and the required hardware device, such as an interface.
  • the terms “upper” and “lower” do not refer to the upward direction (vertically upward) and the downward direction (vertically downward) in absolute spatial recognition, but are based on the stacking order in the laminated configuration. It is used as a term defined by the relative positional relationship. Specifically, the light receiving side of the image pickup device is referred to as “upper”, and the side opposite to the light receiving side is referred to as “lower”. The terms “upper” and “lower” are used only to specify the mutual arrangement between the members, and are not intended to limit the posture when the image pickup device is used.
  • the terms “upper” and “lower” are used not only when the two components are spaced apart from each other and another component exists between the two components, but also when the two components are present. It also applies when the two components are placed in close contact with each other and touch each other.
  • FIG. 1 is a diagram showing an outline of spoofing determination by the biometric authentication system according to the present embodiment.
  • the biometric authentication system compares, for example, a visible light image captured with visible light and a first infrared image captured with infrared rays. By this comparison, the biometric authentication system determines whether (i) the subject is a living body and is not spoofing, and (ii) the subject is not a living body but an artificial object imitating a living body and is spoofing.
  • the wavelength range of visible light is, for example, 380 nm or more and less than 780 nm.
  • the wavelength range of infrared rays is, for example, 780 nm or more and 4000 nm or less.
  • an infrared ray of 900 nm or more and 2500 nm or less which is called SWIR (Shortwave infrared)
  • SWIR Shortwave infrared
  • electromagnetic waves in general including visible light and infrared light are referred to as "light" for convenience.
  • the subject subject to biometric authentication is, for example, a human face.
  • the subject is not limited to a human face, but may be a part of a living body other than the face, such as a human hand for biometric authentication using a fingerprint or a palm print.
  • the subject may be the entire living body.
  • FIG. 2 is a block diagram showing a functional configuration of the biometric authentication system 1 according to the present embodiment.
  • the biometric authentication system 1 includes a processing unit 100, a storage unit 200, an imaging unit 300, a first lighting unit 410, and a timing control unit 500.
  • the first lighting unit 410 is an example of a lighting device.
  • the processing unit 100 is a processing device that performs information processing such as spoofing determination and personal authentication in the biometric authentication system 1.
  • the processing unit 100 includes a memory 600 including a first image acquisition unit 111 and a second image acquisition unit 112, a determination unit 120, a first authentication unit 131, a second authentication unit 132, and an information construction unit 140. Be prepared.
  • the processing unit 100 is realized by, for example, a microcontroller including one or more processors having a built-in program.
  • the function of the processing unit 100 may be realized by a combination of a general-purpose processing circuit and software, or may be realized by hardware specialized for processing of the processing unit 100.
  • the first image acquisition unit 111 acquires a visible light image of the subject.
  • the first image acquisition unit 111 temporarily stores a visible light image of the subject.
  • the visible light image is obtained by capturing the reflected light generated by the reflection of the visible light applied to the subject by the subject.
  • the first image acquisition unit 111 acquires a visible light image from, for example, the image pickup unit 300, specifically, the first image pickup device 311 of the image pickup unit 300.
  • the visible light image is, for example, a color image including information on the luminance values of each of red (R), green (G), and blue (B), but may be a gray scale image.
  • the second image acquisition unit 112 acquires the first infrared image of the subject.
  • the second image acquisition unit 112 temporarily stores the first infrared image of the subject.
  • the first infrared image is obtained by capturing the reflected light having a wavelength range including the first wavelength, which is generated by the reflection of infrared rays radiated to the subject by the subject.
  • the second image acquisition unit 112 acquires a first infrared image from, for example, an image pickup unit 300, specifically, a second image pickup device 312 of the image pickup unit 300.
  • the determination unit 120 determines whether or not the subject is a living body based on the visible light image acquired by the first image acquisition unit 111 and the first infrared image acquired by the second image acquisition unit 112. do.
  • the determination unit 120 determines whether or not the subject is a living body by comparing, for example, the contrast value based on the visible light image and the contrast value based on the first infrared image. Detailed processing by the determination unit 120 will be described later.
  • the determination unit 120 outputs, for example, the determination result to the outside as a determination signal. Further, the determination unit 120 may output the determination result as a determination signal to the first authentication unit 131 and the second authentication unit 132.
  • the first authentication unit 131 performs personal authentication of the subject based on the visible light image acquired by the first image acquisition unit 111. For example, when the determination unit 120 determines that the subject is not a living body, the first authentication unit 131 does not perform personal authentication of the subject. The first authentication unit 131 outputs the result of personal authentication to the outside.
  • the second authentication unit 132 performs personal authentication of the subject based on the first infrared image acquired by the second image acquisition unit 112.
  • the second authentication unit 132 outputs the result of personal authentication to the outside.
  • the information construction unit 140 stores the information regarding the result of the personal authentication performed by the first authentication unit 131 and the information regarding the result of the personal authentication performed by the second authentication unit 132 in the storage unit 200 in association with each other.
  • the information construction unit 140 stores, for example, the visible light image and the first infrared image used for personal authentication, and the result of personal authentication in the storage unit 200.
  • the storage unit 200 is a storage device that stores information for performing personal authentication.
  • the storage unit 200 stores, for example, a personal authentication database in which personal information of a subject and an image depicting the subject are associated with each other.
  • the storage unit 200 is realized by, for example, an HDD (Hard Disk Drive) or the like.
  • the storage unit 200 may be realized by a semiconductor memory.
  • the image pickup unit 300 captures an image used in the biometric authentication system 1.
  • the image pickup unit 300 includes a first image pickup device 311 and a second image pickup device 312.
  • the first image pickup device 311 captures a visible light image depicting a subject.
  • the first image pickup apparatus 311 is incident with reflected light, which is visible light that is applied to the subject and reflected by the subject.
  • the first image pickup apparatus 311 captures the incident reflected light and generates a visible light image.
  • the first image pickup apparatus 311 outputs the captured visible light image.
  • the first image pickup apparatus 311 is, for example, an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Sensor), and is composed of an image sensor having spectral sensitivity to visible light, a control circuit, a lens, and the like.
  • a known camera for visible light imaging can be used.
  • the first image pickup device 311 may be an image pickup device that operates in a global shutter system in which all exposure periods of a plurality of pixels are unified.
  • the second image pickup apparatus 312 captures a first infrared image in which the subject is depicted.
  • the second image pickup apparatus 312 is incident with reflected light having a wavelength range including the first wavelength, which is infrared rays emitted from the subject and reflected by the subject.
  • the second image pickup apparatus 312 captures the incident reflected light and generates a first infrared image.
  • the second image pickup apparatus 312 outputs the captured first infrared image.
  • the second image pickup apparatus 312 includes, for example, an image sensor such as a CCD or CMOS, which has spectral sensitivity to infrared rays, a control circuit, a lens, and the like.
  • a known camera for infrared imaging can be used.
  • the second image pickup device 312 may be an image pickup device that operates in a global shutter system in which all exposure periods of a plurality of pixels are unified.
  • the first lighting unit 410 is a lighting device that irradiates a subject with infrared rays in a wavelength range including the first wavelength as irradiation light.
  • the reflected light which is infrared rays emitted by the first illumination unit 410 and reflected by the subject, is imaged by the second image pickup apparatus 312.
  • the first illumination unit 410 irradiates, for example, infrared rays having an emission peak in the vicinity of the first wavelength.
  • the first lighting unit 410 is composed of, for example, a light source, a lighting circuit, a control circuit, and the like.
  • the light source used for the first lighting unit 410 is not particularly limited and is selected according to the purpose of use.
  • Examples of the light source used in the first lighting unit 410 include a halogen light source, an LED (Light Emitting Diode) light source, a laser diode light source, and the like.
  • a halogen light source is used as the light source.
  • an LED light source is used as the light source.
  • a laser diode light source is used as a light source. Will be.
  • the first illumination unit 410 may be a light source that irradiates light including the wavelength range of visible light in addition to the wavelength range including the first wavelength. Further, the biometric authentication system 1 may further include a lighting device that irradiates visible light.
  • the timing control unit 500 controls the timing of imaging by the imaging unit 300 and the timing of irradiation by the first lighting unit 410.
  • the timing control unit 500 outputs a first synchronization signal to, for example, the second image pickup apparatus 312 and the first illumination unit 410.
  • the second image pickup apparatus 312 captures the first infrared image at the timing based on the first synchronization signal.
  • the first illumination unit 410 irradiates infrared rays at a timing based on the first synchronization signal.
  • the second image pickup apparatus 312 is made to take an image while the first illumination unit 410 is irradiating the subject with infrared rays. Therefore, since the subject is irradiated with infrared rays only during the time period required for biometric authentication, power consumption can be reduced.
  • the second image pickup apparatus 312 may perform a global shutter operation at a timing based on, for example, the first synchronization signal. As a result, it is possible to acquire an image in which the movement of the subject irradiated with light is suppressed, and the authentication accuracy by the biometric authentication system 1 can be improved.
  • the timing control unit 500 is realized by, for example, a microcontroller including one or more processors having a built-in program.
  • the function of the timing control unit 500 may be realized by a combination of a general-purpose processing circuit and software, or may be realized by hardware specialized for the processing of the timing control unit 500.
  • the timing control unit 500 may have an input reception unit composed of a touch panel, a physical button, or the like, which receives an instruction for output of the first synchronization signal from the user.
  • the biometric authentication system 1 does not have to include the timing control unit 500.
  • the user may directly operate the image pickup unit 300 and the first illumination unit 410.
  • the first lighting unit 410 may be constantly lit when the biometric authentication system 1 is in operation.
  • the determination unit 120 can determine whether or not the subject is a living body based on the visible light image and the first infrared image will be described.
  • FIG. 3 is a diagram showing an example of a visible light image and a first infrared image to be compared in the determination unit 120.
  • Part (a) of FIG. 3 is an image of a human face directly captured by a camera for visible light imaging. That is, the part (a) in FIG. 3 shows a visible light image when the subject is a living body.
  • Part (b) of FIG. 3 is an image of a display displaying an image of the person's face captured by a camera for infrared imaging. That is, the part (b) in FIG.
  • Part (c) of FIG. 3 is an image of the person's face directly captured by a camera for infrared imaging. That is, the part (c) in FIG. 3 shows a first infrared image when the subject is a living body.
  • a camera for infrared imaging a camera having a spectral sensitivity of 1450 nm was used.
  • the camera for infrared imaging is equipped with a bandpass filter that transmits a wavelength range near 1450 nm, and the human face is irradiated with light by a lighting device including an LED light source having a central wavelength of 1450 nm for imaging. Was done.
  • the image of the part (a) in FIG. 3 is actually a color image, but for convenience of illustration, a monochrome image is shown.
  • the skin is darkly sunk due to water absorption, and the subject shown in the part (a) of FIG. 3 is a living body.
  • the contrast and brightness are significantly different.
  • the difference in brightness and contrast is different. small.
  • the contrast value of the first infrared image is larger than that when the subject is an artificial object. Therefore, by comparing these images, it is possible to easily determine whether or not the subject is a living body, in other words, whether it is a living body or an artificial object.
  • FIG. 4 is a diagram schematically showing the light reflection characteristics in a living body.
  • FIG. 4 shows a case where light is incident on human skin.
  • FIG. 5 is a diagram showing an example of the reflection ratio of visible light incident on human skin.
  • FIG. 6 is a diagram showing an nk spectrum of liquid water.
  • FIG. 6 shows the wavelength dependence of light on the refractive index (n) and the absorbance coefficient (k) of liquid water.
  • the reflected light of the incident light on the human skin is divided into a surface reflection component from the skin surface and a diffuse reflection component that is incident on the subcutaneous tissue and scattered to the outside.
  • a surface reflection component from the skin surface
  • a diffuse reflection component that is incident on the subcutaneous tissue and scattered to the outside.
  • the surface reflective component when 100% of the light is incident on the living body, the surface reflective component is about 5%.
  • the diffuse reflection component is about 55%.
  • the remaining 40% of the incident light is thermally absorbed by the human dermis and is not reflected. Therefore, when imaging in the wavelength range of visible light, about 60% of the incident light, which is the sum of the surface reflection component and the diffuse reflection component, is observed as reflected light.
  • the point of interest in this embodiment is the change in the reflection characteristics of the light of the living body, which is different between visible light and infrared rays, and in particular, the change in the ratio of the surface reflection component and the diffuse reflection component between visible light and infrared rays. Since displays, paper or silicone rubber, which are artificial objects for spoofing, contain almost no water, the ratio of surface reflection component and diffuse reflection component changes due to such a difference in wavelength between visible light and infrared light. Does not occur. Therefore, a visible light image and a first infrared image as shown in FIG. 3 can be acquired, and the visible light image and the first infrared image can be compared to easily determine spoofing.
  • the specular reflected light that is, the surface reflected light described above
  • the diffusely reflected light at 1450 nm is about about the diffuse reflected light at 550 nm. It will be 10-3 times.
  • the normal reflectance at 1450 nm and the normal reflectance at 550 nm are 0.0189 and 0. It is 0.0206, which is almost the same. Therefore, at 1450 nm, the specular reflected light is about 100 times as large as the diffuse reflected light. As described above, in the infrared rays in the SWIR region such as 1450 nm, the specular reflected light, that is, the surface reflected light is dominant, and the diffuse reflection component that lowers the image contrast, which is the spatial resolution, is significantly reduced. Spatial resolution is improved.
  • the wavelength range of infrared rays used for capturing the first infrared image that is, the wavelength range of the first wavelength will be described.
  • this wavelength is not strictly required in 1 nm increments, and a difference of about 50 nm or less from this wavelength, for example, is not required. It is described by the recognition of the wavelength of. This is because the wavelength characteristics of the living body, the light source, and the image pickup device do not make a sharp response at the level of several nm.
  • FIG. 7 is a diagram showing images of human faces taken at 850 nm, 940 nm, 1050 nm, 1200 nm, 1300 nm, 1450 nm, and 1550 nm.
  • FIG. 8 is a diagram showing the wavelength dependence of the reflectance of light for each skin color. In FIG. 8, the data described in Non-Patent Document 1 is used. In FIG. 8, a graph in which the type of line is changed for each skin color is shown.
  • the first wavelength is, for example, 1100 nm or less. This makes it possible to take an image with an image pickup device including an inexpensive silicon sensor. Further, since the wavelengths of 850 nm and 940 nm are widely used in a range-finding system such as ToF (Time of Flight) in recent years, a configuration including a light source can be realized at low cost.
  • ToF Time of Flight
  • wavelengths such as 850 nm, 940 nm, and 1050 nm are wavelengths at which subcutaneous blood vessels and the like can be clearly seen. Therefore, by comparing the visible light image with the first infrared image, it can be determined whether the image is a living body or an artificial object imitated by paper, silicone rubber, or the like.
  • the first wavelength is, for example, 1100 nm or more. As shown in FIG. 8, at wavelengths of 1100 nm and above, the reflectance of light is almost the same regardless of the color of the skin. Therefore, since the influence of skin and hair color and the like due to race and the like is unlikely to occur, a robust biometric authentication system 1 can be constructed when considering a biometric authentication system on a global scale.
  • the first wavelength is, for example, 1200 nm or more.
  • the absorption of infrared rays by the moisture of the living body becomes large, and as shown in FIG. 7, the contrast of the first infrared image is clearly attached, so that spoofing determination can be realized with higher accuracy.
  • the ratio of the surface reflection component to the diffuse reflection component of the reflected light of the light incident on the living body is high, and the spatial resolution of the first infrared image is high, so that the accuracy of personal authentication using the first infrared image is high. Can also be enhanced.
  • the first wavelength may be determined from the viewpoint of the missing wavelength of sunlight.
  • FIG. 9 is a diagram showing a solar spectrum on the ground.
  • FIG. 10 is an enlarged view of a part of the solar spectrum of FIG.
  • FIG. 11 is an enlarged view of another part of the solar spectrum of FIG.
  • this missing wavelength it is possible to avoid imaging of unintended ambient light other than the irradiation light from the active lighting device, such as when imaging at a narrow band wavelength using an arbitrary active lighting device such as the first lighting unit 410. be able to.
  • the biometric authentication system 1 can improve the accuracy of spoofing determination and personal authentication. Can be improved.
  • the first wavelength is, for example, near 940 nm, specifically, 920 nm or more and 980 nm or less.
  • the wavelength range near 940 nm is a wavelength range in which the wavelength component of sunlight on the ground is small. Therefore, since the influence of sunlight is smaller than that of other wavelengths, it is difficult to be disturbed by sunlight, and a robust biometric authentication system 1 can be constructed.
  • the amount of radiation to the ground is higher than that of the wavelength range described later, but since the absorption of light in the atmosphere is small, the dimming of the active lighting device such as the first lighting unit 410 is also small. .. Further, since it is 1100 nm or less, an inexpensive configuration can be realized as described above.
  • the first wavelength is, for example, in the vicinity of 1400 nm, specifically, 1350 nm or more and 1450 nm or less.
  • the wavelength range of 1350 nm or more and 1450 nm or less, particularly 1350 nm or more and 1400 nm or less the degree of lack of sunlight is remarkable as compared with the wavelength near 940 nm, and the environment.
  • the effect of optical noise is small.
  • the water absorption of the living body becomes large and the contrast is clearly attached, so that the spoofing determination can be realized with higher accuracy.
  • the accuracy in personal authentication is also improved.
  • the skin color appears to be darkened by the absorption of water, so that the visible light image and the first infrared image are used. It can be easily determined whether or not the subject is a living body by comparing the contrast values of the images or the brightness of the images.
  • the irradiation light absorbed by the active lighting device such as the first lighting unit 410 in the atmosphere is also large. Therefore, the shortest wavelength in the emission spectrum of the first illumination unit 410 is shifted to the shorter wavelength side than 1350 nm, or the longest wavelength is shifted to the longer wavelength side than 1400 nm, while reducing the ambient light noise. It is possible to realize imaging in which the absorption of the irradiation light in the atmosphere is suppressed.
  • the half width of the spectral sensitivity peak in the second image pickup apparatus 312 is set to 200 nm or less, or 10% of the maximum spectral sensitivity of the spectral sensitivity peak.
  • the width is set to be 200 nm or less, it is possible to perform imaging at a narrow band wavelength using a desired sunlight missing wavelength.
  • the missing wavelength of sunlight is an example, and as shown in FIG. 9, the first wavelength is a wavelength in a wavelength range including 850 nm, 1900 nm or 2700 nm, or a wavelength on the longer wavelength side. May be good.
  • FIG. 12 is a flowchart showing an operation example of the biometric authentication system 1 according to the present embodiment.
  • the operation example shown in FIG. 12 is specifically a processing method executed by the processing unit 100 in the biometric authentication system 1.
  • the first image acquisition unit 111 acquires a visible light image (step S1).
  • the first image pickup apparatus 311 captures a visible light image by capturing the reflected light of the visible light radiated to the subject and reflected by the subject. Then, the first image acquisition unit 111 acquires the visible light image captured by the first image pickup apparatus 311.
  • the second image acquisition unit 112 acquires the first infrared image (step S2).
  • the first illumination unit 410 irradiates the subject with infrared rays in a wavelength range including the first wavelength.
  • the second image pickup apparatus 312 captures a first infrared image by irradiating the subject from the first illumination unit 410 and capturing the infrared reflected light in the wavelength range including the first wavelength reflected by the subject. ..
  • the timing control unit 500 outputs the first synchronization signal to the second image pickup device 312 and the first illumination unit 410, and the second image pickup device 312 synchronizes with the infrared irradiation by the first illumination unit 410.
  • the first infrared image is taken.
  • the second image acquisition unit 112 acquires the first infrared image captured by the second image pickup apparatus 312.
  • the second image pickup apparatus 312 may capture a plurality of first infrared images.
  • the second image pickup apparatus 312 has two second images, one is when the first illumination unit 410 is irradiating infrared rays under the control of the timing control unit 500, and the other is when the first illumination unit 410 is not irradiating infrared rays. 1 Take an infrared image. From the two first infrared images captured in this way, the determination unit 120 or the like takes a difference to generate an image in which the ambient light is offset, and the generated image can be used for spoofing determination and personal authentication.
  • the determination unit 120 is a region in which the subject is depicted for each of the visible light image acquired by the first image acquisition unit 111 and the first infrared image acquired by the second image acquisition unit 112.
  • the authentication area is extracted (step S3).
  • the determination unit 120 performs face detection for each of the visible light image and the first infrared image, and forms a rectangular area in which the detected face is described as an authentication area. Extract.
  • a method for face detection a known method such as face detection based on the characteristics of an image can be used.
  • the area to be extracted does not have to be the area where the entire face is drawn, and the area where at least one of the representative parts in the face, for example, the eyebrows, eyes, cheeks and forehead is drawn is extracted. You may. Further, the process of step S3 may not be performed, and the next process may be performed without extracting the authentication area.
  • the determination unit 120 grayscales the visible light image extracted from the authentication area in step S3 (step S4).
  • the determination unit 120 may also grayscale the first infrared image from which the authentication region is extracted.
  • both the visible light image from which the authentication area is extracted and the first infrared image from which the authentication area is extracted are grayscaled with the same tone (for example, 16 tones).
  • the luminance scales of both images are aligned, so that the load of subsequent processing can be reduced.
  • the visible light image and the first infrared image processed up to step S4 are referred to as a determination visible light image and a determination first infrared image, respectively.
  • step S4 is not performed when the visible light image is a grayscale image, and the visible light image and the first infrared image are used as they are for the judgment visible light image and the judgment first infrared image. May be used as.
  • the determination unit 120 calculates the contrast value from each of the determination visible light image and the determination first infrared image (step S5). Specifically, the determination unit 120 multiplies the luminance value (in other words, the pixel value) of the visible light image for determination by the coefficient a, and multiplies the luminance value of the first infrared image for determination by the coefficient b.
  • the coefficients a and b are coefficients set according to the imaging environment, the first wavelength, and the like in order to match the brightness of the visible light image for determination and the first infrared image for determination.
  • the coefficient a is set to a value smaller than, for example, the coefficient b.
  • the determination unit 120 calculates the contrast value of each image using the luminance values of the visible light image for determination and the first infrared image for determination obtained by multiplying the coefficients in this way.
  • the contrast value is calculated as (Pmax-Pmin) / (Pmax + Pmin).
  • the determination unit 120 determines whether or not the difference between the contrast value of the visible light image for determination calculated in step S5 and the contrast value of the first infrared image for determination is equal to or greater than the threshold value (step S6). ..
  • the threshold value in step S6 is set according to the imaging environment, the first wavelength, the desired purpose of spoofing determination, and the like.
  • the determination unit 120 determines that the subject is a living body, and determines that the subject is a living body.
  • the determination result is output to the first authentication unit 131, the second authentication unit 132, and the outside (step S7).
  • the determination unit 120 determines that the living body is a living body when the contrast value of the determination first infrared image is larger than the contrast value of the determination visible light image by a threshold value or more, in other words, it is not spoofing.
  • the determination unit 120 determines that the subject is not a living body.
  • the first authentication unit 131, the second authentication unit 132, and the external determination result are output (step S11).
  • the contrast value of the first infrared image for determination does not show a large value as compared with the case where the subject is a living body.
  • the determination unit 120 determines that the image is not a living body, in other words, is spoofing.
  • FIG. 13 is a diagram for explaining spoofing determination by the biometric authentication system 1 in the case of non-spoofing.
  • the biometric authentication system 1 acquires a visible light image and a first infrared image having significantly different contrast values. Then, as described above, the luminance value of the visible light image is multiplied by a coefficient a, the luminance value of the first infrared image is multiplied by a coefficient b, and the contrast values are compared to determine whether or not the image is spoofing.
  • a coefficient a the luminance value of the first infrared image is multiplied by a coefficient b
  • the contrast values are compared to determine whether or not the image is spoofing.
  • the difference in contrast value is larger than the threshold value, and a determination result of being a living body, that is, not spoofing is output.
  • the biometric authentication system 1 it is possible to perform a highly accurate spoofing determination by using a contrast value that can be easily calculated.
  • the first authentication unit 131 when the first authentication unit 131 acquires the determination result that the subject is determined to be a living body by the determination unit 120 in step S7, the first authentication unit 131 performs personal authentication of the subject based on the visible light image. The result of personal authentication is output to the outside (step S8).
  • the first authentication unit 131 performs personal authentication as to whether or not to authenticate by, for example, collating the image of the subject registered in the personal authentication database of the storage unit 200 with the visible light image.
  • a method of personal authentication a known method for extracting and classifying feature points by using machine learning or the like can be used.
  • the first authentication unit 131 performs personal authentication of the subject based on the visible light image, so that a rich database of visible light images and the like can be used. Therefore, the biometric authentication system 1 performs highly accurate personal authentication. It can be carried out.
  • the second authentication unit 132 when the second authentication unit 132 acquires the determination result that the subject is determined to be a living body by the determination unit 120 in step S7, the second authentication unit 132 performs personal authentication of the subject based on the first infrared image, and performs personal authentication.
  • the result is output to the outside (step S9).
  • the method of personal authentication performed by the second authentication unit 132 for example, the same method as that of the first authentication unit 131 is used.
  • the first infrared image has a spatial resolution higher than that of the visible light image. It gets higher. Therefore, by performing biometric authentication based on the first infrared image having a high spatial resolution, it is possible to perform highly accurate personal authentication.
  • the information construction unit 140 associates the information regarding the result of personal authentication performed by the first authentication unit 131 with the information regarding the result of personal authentication performed by the second authentication unit 132, and stores the storage unit 200. It is stored in (step S10).
  • the information construction unit 140 for example, associates a visible light image authenticated by personal authentication with a first infrared image and registers it in the personal authentication database of the storage unit 200.
  • the information stored by the information construction unit 140 is information regarding the result of highly reliable personal authentication that is not spoofing. As a result, it is possible to expand the database containing infrared images, which have higher spatial resolution than visible light images but have less information, and by performing machine learning using this information, individuals with higher accuracy can be expanded.
  • a biometric authentication system 1 capable of authentication can be constructed. After step S10, the processing unit 100 of the biometric authentication system 1 ends the processing.
  • the processing unit 100 of the biometric authentication system 1 ends the processing. That is, when the determination unit 120 determines that the subject is not a living body, the first authentication unit 131 and the second authentication unit 132 do not perform personal authentication of the subject. As described above, when the subject is not spoofed, personal authentication is performed, but when the subject is spoofed, personal authentication is not performed, so that the processing load in the processing unit 100 is reduced.
  • the first authentication unit 131 and the second authentication unit 132 may perform personal authentication regardless of the determination result by the determination unit 120. In this case, personal authentication can be performed without waiting for the determination result by the determination unit 120. Therefore, it becomes possible to perform spoofing determination and personal authentication in parallel, and the processing speed in the processing unit 100 is improved.
  • the biometric authentication system 1 determines whether or not the subject is a living body based on the visible light image and the first infrared image. This makes it possible to determine spoofing with only two types of images. Therefore, the biometric authentication system 1 can be miniaturized. Further, in the case of spoofing, regardless of whether the subject has a planar shape or a three-dimensional shape, spoofing can be easily determined by the difference in contrast between the visible light image and the first infrared image, so that spoofing can be accurately determined. It can be carried out. Therefore, according to the biometric authentication system 1, the authentication accuracy is high and the device can be miniaturized.
  • FIG. 14 is a block diagram showing a functional configuration of the biometric authentication system 2 according to this modification.
  • the biometric authentication system 2 according to the present modification is different from the biometric authentication system 1 according to the first embodiment in that it includes an imaging unit 301 instead of the imaging unit 300.
  • the image pickup unit 301 has a third image pickup device 313 that captures a visible light image and a first infrared image.
  • the third image pickup device 313 is realized by, for example, an image pickup device having a photoelectric conversion layer having spectral sensitivity to visible light and infrared light, which will be described later. Further, the third image pickup apparatus 313 may be a camera having spectral sensitivity for both visible light and infrared rays, such as an InGaAs camera. Since the image pickup unit 301 has the third image pickup device 313, both the visible light image and the first infrared image are captured by one image pickup device, so that the biometric authentication system 2 can be miniaturized.
  • the third image pickup apparatus 313 can capture both the visible light image and the first infrared image coaxially, the influence of the difference between the visible light image and the first infrared image can be suppressed, and the authentication in the biometric authentication system 2 can be performed. The accuracy can be improved.
  • the first image acquisition unit 111 acquires a visible light image from the third image pickup device 313, and the second image acquisition unit 112 acquires the first infrared image from the third image pickup device 313.
  • the timing control unit 500 controls the timing of imaging by the imaging unit 301 and the timing of irradiation by the first lighting unit 410.
  • the timing control unit 500 outputs a first synchronization signal to, for example, the third image pickup apparatus 313 and the first illumination unit 410.
  • the third image pickup apparatus 313 captures the first infrared image at the timing based on the first synchronization signal.
  • the first illumination unit 410 irradiates infrared rays at a timing based on the first synchronization signal.
  • the timing control unit 500 causes the third image pickup apparatus 313 to take a first infrared image while the first illumination unit 410 irradiates the subject with infrared rays.
  • the biometric authentication system 2 is the above-mentioned biometric authentication system except that, for example, the first image acquisition unit 111 and the second image acquisition unit 112 acquire a visible light image and a first infrared image from the third image pickup device 313, respectively. The same operation as the operation of 1 is performed.
  • FIG. 15 is a diagram showing an exemplary configuration of the third image pickup apparatus 313 according to the present modification.
  • the third image pickup apparatus 313 shown in FIG. 15 has a plurality of pixels 10 formed on the semiconductor substrate 60 and peripheral circuits.
  • the third image pickup device 313 is, for example, a laminated type image pickup device in which a photoelectric conversion layer, electrodes, and the like are laminated.
  • Each pixel 10 includes, for example, a first photoelectric conversion layer 12 to be described later, which is arranged above the semiconductor substrate 60.
  • the first photoelectric conversion layer 12 is a photoelectric conversion unit that generates positive and negative charges, for example, hole-electron pairs, in response to light incident.
  • each pixel 10 is shown to be spatially separated from each other, but this is for convenience of explanation only, and the plurality of pixels 10 are not spaced from each other on the semiconductor substrate 60. It may be arranged continuously in. Further, each pixel 10 may include a photodiode formed on the semiconductor substrate 60 as a photoelectric conversion unit.
  • the plurality of pixels 10 are arranged in a plurality of rows and columns of m rows and n columns.
  • m and n independently represent integers of 1 or more.
  • the pixels 10 are arranged on the semiconductor substrate 60, for example, in two dimensions to form an imaging region R1.
  • the imaging region R1 for example, pixels 10 for infrared rays, blue light, green light, and red light having optical filters 22 having different transmission wavelength ranges, which will be described later, are arranged.
  • the image signals based on the infrared rays, the blue light, the green light, and the red light in the wavelength range including the first wavelength are separately read out.
  • the third image pickup apparatus 313 uses these image signals to generate a visible light image and a first infrared image.
  • the number and arrangement of the plurality of pixels 10 are not limited to the illustrated example.
  • the center of each pixel 10 is located on a grid point of a square grid, but for example, a plurality of pixels so that the center of each pixel 10 is located on a grid point such as a triangular grid or a hexagonal grid. 10 may be arranged.
  • Peripheral circuits include, for example, a vertical scanning circuit 42, a horizontal signal readout circuit 44, a control circuit 46, a signal processing circuit 48, and an output circuit 50. Further, the peripheral circuit may further include, for example, a voltage supply circuit that supplies a predetermined voltage to the pixels 10 and the like.
  • the vertical scanning circuit 42 also called a row scanning circuit, has a connection with an address signal line 34 provided corresponding to each row of the plurality of pixels 10.
  • the signal line provided corresponding to each line of the plurality of pixels 10 is not limited to the address signal line 34, and a plurality of types of signal lines are connected to the vertical scanning circuit 42 for each line of the plurality of pixels 10. May be good.
  • the vertical scanning circuit 42 selects the pixels 10 in line units by applying a predetermined voltage to the address signal line 34, and performs, for example, reading out the signal voltage and resetting operation.
  • the horizontal signal reading circuit 44 is also called a row scanning circuit, and has a connection with a vertical signal line 35 provided corresponding to each row of the plurality of pixels 10.
  • the output signal from the pixel 10 selected row by row by the vertical scanning circuit 42 is read out to the horizontal signal reading circuit 44 via the vertical signal line 35.
  • the horizontal signal reading circuit 44 performs noise suppression signal processing represented by correlated double sampling, analog-to-digital conversion (AD conversion), and the like on the output signal read from the pixel 10.
  • the control circuit 46 receives command data, a clock, or the like given from the outside of the third image pickup apparatus 313 and controls the entire third image pickup apparatus 313.
  • the control circuit 46 has, for example, a timing generator and supplies a drive signal to a vertical scanning circuit 42, a horizontal signal readout circuit 44, a voltage supply circuit, and the like.
  • the control circuit 46 is implemented, for example, by a microcontroller including one or more processors with a built-in program.
  • the function of the control circuit 46 may be realized by a combination of a general-purpose processing circuit and software, or may be realized by hardware specialized for such processing.
  • the signal processing circuit 48 performs various processing on the image signal acquired from the pixel 10.
  • the "image signal” refers to an output signal used for forming an image among the signals read out via the vertical signal line 35.
  • the signal processing circuit 48 generates an image based on, for example, an image signal read by the horizontal signal reading circuit 44. Specifically, the signal processing circuit 48 generates a visible light image based on an image signal from a plurality of pixels 10 that photoelectrically convert visible light, and is based on an image signal from a plurality of pixels 10 that photoelectrically convert infrared rays. To generate a first infrared image. The output of the signal processing circuit 48 is read out to the outside of the third image pickup apparatus 313 via the output circuit 50.
  • the signal processing circuit 48 is realized, for example, by a microcontroller including one or more processors having a built-in program.
  • the function of the signal processing circuit 48 may be realized by a combination of a general-purpose processing circuit and software, or may be realized by hardware specialized for such processing.
  • FIG. 16 is a schematic cross-sectional view showing the cross-sectional structure of the pixel 10 of the third image pickup apparatus 313 according to the present modification.
  • Each of the plurality of pixels 10 has the same structure except that the transmission wavelength in the optical filter 22 may be different.
  • pixels 10 having different structures may exist in addition to the optical filter 22.
  • the pixel 10 is located above the semiconductor substrate 60 and the semiconductor substrate 60, and is located above the pixel electrode 11 and the pixel electrode 11, which are electrically connected to the semiconductor substrate 60, respectively.
  • the counter electrode 13 is electrically connected to the first photoelectric conversion layer 12 located between the pixel electrode 11 and the counter electrode 13, the optical filter 22 located above the counter electrode 13, and the pixel electrode 11.
  • a charge storage node 32 for accumulating the signal charge generated by the first photoelectric conversion layer 12 is provided.
  • the pixel 10 may include a sealing layer 21 located between the counter electrode 13 and the optical filter 22, and an auxiliary electrode 14 facing the counter electrode 13 with the first photoelectric conversion layer 12 interposed therebetween. .. Light is incident on the pixel 10 from above the semiconductor substrate 60.
  • the semiconductor substrate 60 is a substrate made of silicon, for example, a p-type silicon substrate.
  • the semiconductor substrate 60 is not limited to a substrate whose entire structure is a semiconductor.
  • the semiconductor substrate 60 is provided with a signal detection circuit such as a transistor for detecting the signal charge generated by the first photoelectric conversion layer 12.
  • the charge storage node 32 is, for example, a part of a signal detection circuit, and a signal voltage corresponding to the amount of signal charge stored in the charge storage node 32 is read out.
  • An interlayer insulating layer 70 is arranged on the semiconductor substrate 60.
  • the interlayer insulating layer 70 is formed of an insulating material such as silicon dioxide.
  • the interlayer insulating layer 70 may include a signal line such as the above-mentioned vertical signal line 35 or a power supply line as a part thereof.
  • a plug 31 is provided in the interlayer insulating layer 70. The plug 31 is formed using a conductive material.
  • the pixel electrode 11 is an electrode for collecting the signal charge generated by the first photoelectric conversion layer 12. There is at least one pixel electrode 11 for each pixel 10. The pixel electrode 11 is electrically connected to the charge storage node 32 via the plug 31. The signal charge collected by the pixel electrode 11 is stored in the charge storage node 32.
  • the pixel electrode 11 is formed by using a conductive material.
  • the conductive material is, for example, a metal such as aluminum or copper, metal nitride, or polysilicon to which conductivity is imparted by doping with impurities.
  • the first photoelectric conversion layer 12 is a layer that absorbs visible light and infrared rays in a wavelength range including the first wavelength and generates a light charge. That is, the first photoelectric conversion layer 12 has spectral sensitivity in the wavelength range of the first wavelength and visible light. Specifically, the first photoelectric conversion layer 12 receives the incident light to generate a hole-electron pair. The signal charge is either a hole or an electron. The signal charge is collected by the pixel electrode 11. Charges of opposite polarity of the signal charge are collected by the counter electrode 13. In the present specification, having spectral sensitivity at a certain wavelength means that the external quantum efficiency of the wavelength is 1% or more.
  • the third image pickup apparatus 313 can capture the visible light image and the first infrared image.
  • the first photoelectric conversion layer 12 has, for example, a spectral sensitivity peak at the first wavelength.
  • the first photoelectric conversion layer 12 contains a donor material that absorbs light in the wavelength range including the first wavelength and the wavelength range of visible light to generate a hole-electron pair.
  • the donor material contained in the first photoelectric conversion layer 12 is, for example, a semiconductor inorganic material or a semiconductor organic material.
  • examples of the donor material contained in the first photoelectric conversion layer 12 include semiconductor quantum dots, semiconductor-type carbon nanotubes, and organic semiconductor materials.
  • the first photoelectric conversion layer 12 may contain one kind of donor material, or may contain a plurality of kinds of donor materials. When the first photoelectric conversion layer 12 contains a plurality of types of donor materials, for example, a donor material that absorbs infrared rays in a wavelength range including the first wavelength and a donor material that absorbs visible light are mixed and used.
  • the first photoelectric conversion layer 12 contains, for example, semiconductor quantum dots as a donor material.
  • Semiconductor quantum dots are materials that exhibit a three-dimensional quantum confinement effect.
  • a semiconductor quantum dot is a nanocrystal having a diameter of about 2 nm to 10 nm, and is composed of about several tens of atoms.
  • the material of the semiconductor quantum dot is, for example, an IV group semiconductor such as Si or Ge, an IV-VI group semiconductor such as PbS, PbSe or PbTe, a III-V group semiconductor such as InAs or InSb, or a 3 such as HgCdTe or PbSnTe. It is a former mixed crystal.
  • the semiconductor quantum dots used in the first photoelectric conversion layer 12 have, for example, the property of absorbing light in the wavelength range of infrared rays and the wavelength range of visible light.
  • the absorption peak wavelength of the semiconductor quantum dots is derived from the energy gap of the semiconductor quantum dots and can be controlled by the material and particle size of the semiconductor quantum dots. Therefore, by using the semiconductor quantum dots, the wavelength at which the first photoelectric conversion layer 12 has spectral sensitivity can be easily adjusted.
  • the absorption peak in the infrared wavelength range of semiconductor quantum dots is a steep peak with a half-value width of 200 nm or less, and by using semiconductor quantum dots, it is possible to image in a narrow band wavelength in the infrared wavelength range. Become.
  • the absorption peak in the infrared wavelength range is steep as in the case of semiconductor quantum dots.
  • a material that exhibits a quantum confinement effect it is possible to take an image at a narrow band wavelength in the infrared wavelength range.
  • Examples of materials for semiconductor quantum dots showing an absorption peak in the infrared wavelength range include PbS, PbSe, PbTe, InAs, InSb, Ag2S , Ag2Se , Ag2Te, CuS, CuInS2 , CuInSe2 , and AgInS . 2 , AgInSe 2 , AgInTe 2 , ZnSnAs 2 , ZnSnSb 2 , CdGeAs 2 , CdSnAs 2 , HgCdTe, InGaAs and the like.
  • the semiconductor quantum dots used in the first photoelectric conversion layer 12 have, for example, an absorption peak at the first wavelength.
  • FIG. 17 is a schematic diagram showing an example of the spectral sensitivity curve of the pixel 10.
  • FIG. 17 shows the relationship between the external quantum efficiency of the first photoelectric conversion layer 12 including the semiconductor quantum dots and the wavelength of light.
  • the first photoelectric conversion layer 12 has spectral sensitivity in the wavelength range of visible light and the wavelength range of infrared rays corresponding to the absorption wavelength of the semiconductor quantum dots.
  • the third imaging apparatus 313 has one layer as the photoelectric conversion layer. A visible light image and a first infrared image can be captured only by providing the first photoelectric conversion layer 12 of the above.
  • the first photoelectric conversion layer 12 may contain a plurality of types of semiconductor quantum dots having different particle sizes and / or a plurality of types of semiconductor quantum dots having different materials.
  • the first photoelectric conversion layer 12 may further contain an acceptor material that receives electrons from the donor material.
  • acceptor material include, for example, C60 derivatives such as C60 (fullerene) and PCBM (phenyl C 61 butyrate methyl ester), ICBA (inden C 60 bis adduct), and oxide semiconductors such as TiO 2 , ZnO and SnO 2 . Is used.
  • the counter electrode 13 is, for example, a transparent electrode formed of a transparent conductive material.
  • the counter electrode 13 is arranged on the side of the first photoelectric conversion layer 12 on which light is incident. Therefore, the light transmitted through the counter electrode 13 is incident on the first photoelectric conversion layer 12.
  • "transparency" in the present specification means that at least a part of light in the wavelength range to be detected is transmitted, and it is not essential to transmit light over the entire wavelength range of visible light and infrared light.
  • the counter electrode 13 is formed by using, for example, a transparent conductive oxide (TCO: Transient Conducting Oxide) such as ITO, IZO, AZO, FTO, SnO 2 , TIO 2 , and ZnO.
  • TCO Transient Conducting Oxide
  • a voltage is applied to the counter electrode 13 from, for example, a voltage supply circuit. By adjusting the voltage applied to the counter electrode 13 by the voltage supply circuit, the potential difference between the counter electrode 13 and the pixel electrode 11 can be set and maintained at a desired potential difference.
  • the counter electrode 13 is formed, for example, across a plurality of pixels 10. Therefore, it is possible to collectively apply a control voltage of a desired magnitude between the plurality of pixels 10 from the voltage supply circuit.
  • the counter electrode 13 may be provided separately for each pixel 10 as long as a control voltage of a desired magnitude can be applied from the voltage supply circuit.
  • the auxiliary electrode 14 is an electrode that is electrically connected to an external circuit or the like (not shown in FIG. 16) and collects a part of the signal charge generated by the first photoelectric conversion layer 12. For example, by collecting the signal charges generated by the first photoelectric conversion layer 12 between the adjacent pixels 10, it is possible to suppress the color mixing between the adjacent pixels 10. As a result, the image quality of the visible light image and the first infrared image captured by the third image pickup apparatus 313 is improved, so that the authentication accuracy in the biometric authentication system 2 is improved.
  • the auxiliary electrode 14 is formed, for example, by using the conductive material exemplified in the description of the pixel electrode 11.
  • the optical filter 22 is provided for each pixel 10 corresponding to each pixel 10, for example.
  • an optical filter 22 having a transmission wavelength range corresponding to each pixel 10 is provided in each pixel 10.
  • the transmission wavelength range of the optical filter 22 is a wavelength range corresponding to each light color.
  • the transmission wavelength range of the optical filter 22 is a wavelength range including the first wavelength of infrared rays.
  • the optical filter 22 may be, for example, a long-pass filter that blocks light having a wavelength shorter than a certain wavelength and transmits light having a wavelength longer than the wavelength, and transmits only light in a specific wavelength range. It may be a bandpass filter that blocks light having a wavelength shorter than the wavelength range and light having a wavelength longer than the wavelength range. Further, the optical filter 22 may be an absorption type filter using colored glass or the like, or may be a reflection type filter in which a dielectric multilayer film is laminated.
  • the third image pickup apparatus 313 as described above can be manufactured, for example, by using a general semiconductor manufacturing process.
  • a silicon substrate is used as the semiconductor substrate 60, it can be manufactured by using various silicon semiconductor processes.
  • the pixel structure in the third image pickup apparatus 313 is not limited to the above-mentioned pixel 10 as long as it can capture a visible light image and a first infrared image.
  • FIG. 18 is a schematic cross-sectional view showing a cross-sectional structure of another pixel 10a of the third image pickup apparatus 313 according to the present modification.
  • the third image pickup apparatus 313 may include a plurality of pixels 10a instead of the plurality of pixels 10.
  • the pixel 10a includes a hole transport layer 15 and a hole blocking layer 16 in addition to the configuration of the pixel 10 described above.
  • the hole transport layer 15 is located between the pixel electrode 11 and the first photoelectric conversion layer 12.
  • the hole transport layer 15 has a function of transporting holes, which are signal charges generated by the first photoelectric conversion layer 12, to the pixel electrode 11. Further, the hole transport layer 15 may suppress the injection of electrons from the pixel electrode 11 into the first photoelectric conversion layer 12.
  • the hole blocking layer 16 is located between the counter electrode 13 and the first photoelectric conversion layer 12.
  • the hole blocking layer 16 has a function of suppressing the injection of holes from the counter electrode 13 into the first photoelectric conversion layer 12. Further, the hole blocking layer 16 transports electrons having a charge opposite to the signal charge generated by the first photoelectric conversion layer 12 to the counter electrode 13.
  • the materials of the hole transport layer 15 and the hole blocking layer 16 are selected from known materials in consideration of, for example, the difference in bonding strength, the difference in ionization potential, the difference in electron affinity, etc. between the adjacent layers. ..
  • the pixel 10a includes the hole transport layer 15 and the hole blocking layer 16, the generation of dark current can be suppressed, so that the image quality of the visible light image and the first infrared image captured by the third image pickup apparatus 313 is improved. do. Therefore, the authentication accuracy in the biometric authentication system 2 can be improved.
  • an electron transport layer and an electron blocking layer are used instead of the hole transport layer 15 and the hole blocking layer 16.
  • the pixel structure in the third image pickup apparatus 313 may be a structure including a plurality of photoelectric conversion layers.
  • FIG. 19 is a schematic cross-sectional view showing a cross-sectional structure of still another pixel 10b of the third image pickup apparatus 313 according to the present modification.
  • the third image pickup apparatus 313 may include a plurality of pixels 10b instead of the plurality of pixels 10.
  • the pixel 10b includes a second photoelectric conversion layer 17 in addition to the configuration of the pixel 10 described above.
  • the second photoelectric conversion layer 17 is located between the first photoelectric conversion layer 12 and the pixel electrode 11.
  • the second photoelectric conversion layer 17 is a layer that absorbs visible light and generates a light charge.
  • the second photoelectric conversion layer 17 has spectral sensitivity over the entire wavelength range of visible light, for example.
  • the whole wavelength range of visible light may be a substantially whole wavelength range of visible light. Specifically, wavelengths that are not necessary for capturing a visible light image, for example, wavelengths shorter than the wavelength for outputting the blue brightness value and wavelength longer than the wavelength for outputting the red brightness value, are , It does not have to be included in the wavelength range.
  • the second photoelectric conversion layer 17 contains a donor material that absorbs light in the entire wavelength range of visible light to generate a hole-electron pair.
  • a donor material contained in the second photoelectric conversion layer 17 for example, a p-type semiconductor material having a high absorbance coefficient in the wavelength range of visible light is used.
  • 2- ⁇ [7- (5-N, N-Ditolylaminothiophen-2-yl) -2,1,3-benzothiazol-4-yl] methylene ⁇ malononirile (DTDCTB) has an absorption peak near the wavelength of 700 nm.
  • copper phthalocyanine and subphthalocyanine have an absorption peak near a wavelength of 620 nm and a wavelength of 580 nm, respectively, rubrene has an absorption peak near a wavelength of 530 nm, and ⁇ -sexthiophene has an absorption peak near a wavelength of 440 nm.
  • the first photoelectric conversion layer 12 is located on the incident side of light with respect to the second photoelectric conversion layer 17, so that the first photoelectric conversion layer 12 can be used. Since the visible light of the portion is also absorbed, deterioration of the organic material is suppressed, and the durability of the second photoelectric conversion layer 17 is enhanced.
  • FIG. 20 is a schematic diagram showing an example of the spectral sensitivity curve of the pixel 10b.
  • the bu portion (a) of FIG. 20 shows the relationship between the external quantum efficiency of the first photoelectric conversion layer 12 and the wavelength of light.
  • the portion (b) of FIG. 20 shows the relationship between the external quantum efficiency of the second photoelectric conversion layer 17 and the wavelength of light.
  • the part (c) of FIG. 20 when the sensitivities of the first photoelectric conversion layer 12 and the second photoelectric conversion layer 17 are combined, that is, the relationship between the external quantum efficiency of the entire pixel 10b and the wavelength of light is shown. It is shown.
  • the first photoelectric conversion layer 12 has spectral sensitivity in the wavelength range of visible light and infrared light
  • the second photoelectric conversion layer 12 has spectral sensitivity.
  • the photoelectric conversion layer 17 has spectral sensitivity in a wavelength range of visible light wider than the wavelength range of visible light in which the first photoelectric conversion layer 12 has spectral sensitivity. Therefore, as shown in the portion (c) of FIG. 20, the pixel 10b as a whole has spectral sensitivity in the wavelength range of infrared rays and the entire wavelength range of visible light.
  • the spectral sensitivity is increased in a wide wavelength range, and the image quality of the visible light image and the first infrared image is improved. Further, as compared with the case where the materials of the first photoelectric conversion layer 12 and the second photoelectric conversion layer 17 are included in one photoelectric conversion layer, the sensitivity is lowered due to the interference between the materials and the color is mixed between the adjacent pixels 10b. Etc. can be suppressed.
  • the second photoelectric conversion layer 17 may be located between the first photoelectric conversion layer 12 and the counter electrode 13. In this case, since the visible light is absorbed by the second photoelectric conversion layer 17, the influence of the visible light on the photoelectric conversion of the first photoelectric conversion layer 12 can be reduced, so that the image quality of the first infrared image to be captured is improved. .. Further, since the pixel 10b includes the second photoelectric conversion layer 17 having spectral sensitivity to visible light, the first photoelectric conversion layer 12 does not have to have spectral sensitivity to visible light. Further, the pixel 10b may include the hole transport layer 15 and the hole blocking layer 16 similar to the pixel 10a.
  • FIG. 21 is a block diagram showing a functional configuration of the biometric authentication system 3 according to the present embodiment.
  • the biometric authentication system 3 has a processing unit 102 and an image pickup unit 300 instead of the processing unit 100 and the imaging unit 300 as compared with the biometric authentication system 1 according to the first embodiment.
  • the difference is that the image pickup unit 302 is provided and the second illumination unit 420 is further provided.
  • the processing unit 102 has a third image acquisition unit 113 included in the memory 600 in addition to the configuration of the processing unit 100 described above.
  • the third image acquisition unit 113 acquires a second infrared image of the subject.
  • the third image acquisition unit 113 temporarily stores the second infrared image of the subject.
  • the second infrared image is obtained by capturing the reflected light having a wavelength range including a second wavelength different from the first wavelength, which is generated by the reflection of the infrared rays applied to the subject by the subject.
  • the third image acquisition unit 113 acquires a second infrared image from, for example, an image pickup unit 302, specifically, a fourth image pickup device 314 of the image pickup unit 302.
  • the determination unit 120 includes a visible light image acquired by the first image acquisition unit 111, a first infrared image acquired by the second image acquisition unit 112, and a third image acquisition unit 113. Based on the second infrared image acquired by the above, it is determined whether or not the subject is a living body.
  • the image pickup unit 302 has a fourth image pickup device 314 in addition to the configuration of the image pickup unit 300 described above.
  • the fourth image pickup apparatus 314 captures a second infrared image in which the subject is depicted.
  • the fourth image pickup apparatus 314 is incident with reflected light having a wavelength range including a second wavelength, which is infrared rays reflected by the subject and irradiated to the subject.
  • the fourth image pickup apparatus 314 captures the incident reflected light and generates a second infrared image.
  • the fourth image pickup apparatus 314 outputs the captured second infrared image.
  • the fourth image pickup apparatus 314 has, for example, the same configuration as the second image pickup apparatus 312 except that the wavelengths having spectral sensitivities are different.
  • the idea of selecting the second wavelength is the same as the idea of selecting the first wavelength described above.
  • the fourth image pickup device 314 may be an image pickup device that operates in a global shutter system in which all exposure periods of a plurality of pixels are unified.
  • the second lighting unit 420 is a lighting device that irradiates the subject with infrared rays in a wavelength range including the second wavelength as irradiation light.
  • the reflected light which is infrared rays emitted by the second illumination unit 420 and reflected by the subject, is imaged by the fourth image pickup apparatus 314.
  • the second illumination unit 420 irradiates, for example, infrared rays having an emission peak in the vicinity of the second wavelength.
  • the second illumination unit 420 has the same configuration as the first illumination unit 410 except that, for example, the wavelength of the irradiation light is different.
  • the biometric authentication system 3 may include one lighting device in which the functions of the first lighting unit 410 and the second lighting unit 420 are integrated.
  • the lighting device irradiates the subject with infrared rays in a wavelength range including the first wavelength and the second wavelength.
  • the lighting device in this case includes, for example, a first light emitting element such as an LED having a light emitting peak in the vicinity of the first wavelength and a second light emitting element such as an LED having a light emitting peak in the vicinity of the second wavelength.
  • the configuration may be such that the first light emitting element and the second light emitting element are switched to emit light.
  • the first light emitting element and the second light emitting element are arranged in a staggered pattern, for example.
  • the lighting device in this case may be configured to include a halogen light source having a broad emission spectrum in the wavelength range of infrared rays.
  • a halogen light source having a broad emission spectrum in the wavelength range of infrared rays.
  • the timing control unit 500 controls the timing of imaging by the imaging unit 302, the timing of irradiation by the first lighting unit 410, and the timing of irradiation by the second lighting unit 420.
  • the timing control unit 500 outputs, for example, a first synchronization signal to the second image pickup apparatus 312 and the first illumination unit 410, and what is the first synchronization signal to the fourth image pickup apparatus 314 and the second illumination unit 420? Output another second sync signal.
  • the second image pickup apparatus 312 captures the first infrared image at the timing based on the first synchronization signal.
  • the first illumination unit 410 irradiates infrared rays at a timing based on the first synchronization signal.
  • the fourth image pickup apparatus 314 captures a second infrared image at a timing based on the second synchronization signal.
  • the second illumination unit 420 irradiates infrared rays at a timing based on the second synchronization signal.
  • the timing control unit 500 causes the second image pickup apparatus 312 to capture the first infrared image while the first illumination unit 410 irradiates the subject with infrared rays, and the second illumination unit 420 emits infrared rays to the subject.
  • the fourth infrared image is imaged by the fourth image pickup apparatus 314 while the image is being irradiated.
  • the timing control unit 500 for example, the timing at which the first synchronization signal and the second synchronization signal are different, specifically, the time during which the first illumination unit 410 and the second illumination unit 420 irradiate infrared rays. Output at a timing that does not overlap. As a result, a first infrared image and a second infrared image in which the influence of infrared rays having a wavelength different from the target are reduced are captured.
  • FIG. 22 is a flowchart showing an operation example of the biometric authentication system 3 according to the present embodiment.
  • the operation example shown in FIG. 22 is specifically a processing method executed by the processing unit 102 in the biometric authentication system 3.
  • the first image acquisition unit 111 acquires a visible light image (step S21).
  • the second image acquisition unit 112 acquires the first infrared image (step S22).
  • step S21 and step S22 the same operation as in step S1 and step S2 described above is performed.
  • the third image acquisition unit 113 acquires the second infrared image (step S23).
  • the second illumination unit 420 irradiates the subject with infrared rays in a wavelength range including the second wavelength.
  • the fourth image pickup apparatus 314 captures a second infrared image by imaging the reflected light having a wavelength range including the second wavelength, which is infrared rays reflected by the subject after being irradiated to the subject from the second illumination unit 420. Take an image.
  • the timing control unit 500 outputs the second synchronization signal to the fourth imaging device 314 and the second lighting unit 420, and the fourth imaging device 314 synchronizes with the infrared irradiation by the second lighting unit 420.
  • a second infrared image is taken.
  • the third image acquisition unit 113 acquires the second infrared image captured by the fourth image pickup apparatus 314.
  • the fourth image pickup apparatus 314 may capture a plurality of second infrared images.
  • the fourth image pickup apparatus 314 there are two cases where the second illumination unit 420 is irradiating infrared rays and the second illumination unit 420 is not irradiating infrared rays under the control of the timing control unit 500. 2 Take an infrared image. From the two second infrared images captured in this way, the determination unit 120 or the like takes a difference to generate an image in which the ambient light is offset, and the generated image can be used for spoofing determination and personal authentication.
  • the determination unit 120 generates a difference infrared image from the first infrared image and the second infrared image (step S24).
  • the determination unit 120 generates a difference infrared image by, for example, calculating the difference between the luminance values of the first infrared image and the second infrared image, or calculating the ratio of the luminance values.
  • the first infrared image of the subject is absorbed by water. It may be difficult to determine whether the image is dark or the image is dark because it is a shadow of the irradiation light. Therefore, by generating a difference infrared image between the first infrared image and the second infrared image, it is possible to eliminate the influence when the cause of the dark image is the shadow of the irradiation light, and the principle of absorption by water. It is possible to improve the accuracy of spoofing determination using.
  • the determination unit 120 extracts an authentication region, which is a region in which the subject is depicted, for each of the visible light image acquired by the first image acquisition unit 111 and the generated differential infrared image (). Step S25). In the extraction of the authentication area, the same process as in step S3 described above is performed.
  • the determination unit 120 grayscales the visible light image extracted from the authentication area in step S25 (step S26).
  • the determination unit 120 may also grayscale the difference infrared image from which the authentication region is extracted.
  • both the visible light image from which the authentication area is extracted and the differential infrared image from which the authentication area is extracted are grayscaled in the same tone (for example, 16 tones).
  • the visible light image and the differential infrared image processed up to step S26 will be referred to as a determination visible light image and a determination differential infrared image, respectively.
  • the determination unit 120 calculates the contrast value from each of the determination visible light image and the determination difference infrared image (step S27).
  • the calculation of the contrast value by the determination unit 120 is performed by the same method as in step S5 described above, except that the first infrared image for determination is changed to the difference infrared image for determination.
  • the determination unit 120 determines whether or not the difference between the contrast value of the determination visible light image calculated in step S27 and the contrast value of the determination difference infrared image is equal to or greater than the threshold value (step S28).
  • the determination unit 120 determines that the subject is a living body, and the determination result. Is output to the first authentication unit 131, the second authentication unit 132, and the outside (step S29).
  • the determination unit 120 determines that the subject is not a living body.
  • the determination result is output to the first authentication unit 131, the second authentication unit 132, and the outside (step S33).
  • steps S28, S29 and S33 the same processing as in steps S6, S7 and S11 described above is performed except that the first infrared image for determination is changed to the difference infrared image for determination.
  • the processing unit 102 ends the processing in the same manner as in step S11.
  • the first authentication unit 131 When the first authentication unit 131 acquires the determination result that the subject is determined to be a living body by the determination unit 120 in step S29, the first authentication unit 131 performs personal authentication of the subject based on the visible light image and outputs the personal authentication result to the outside. (Step S30).
  • the second authentication unit 132 acquires the determination result that the subject is determined to be a living body by the determination unit 120 in step S29, the second authentication unit 132 performs personal authentication of the subject based on the difference infrared image, and the result of the personal authentication. Is output to the outside (step S31).
  • the second authentication unit 132 acquires, for example, a difference infrared image from the determination unit 120.
  • steps S30 and S31 the same processing as in steps S8 and S9 described above is performed except that the first infrared image is changed to a differential infrared image.
  • the information construction unit 140 associates the information regarding the result of personal authentication performed by the first authentication unit 131 with the information regarding the result of personal authentication performed by the second authentication unit 132, and stores the storage unit 200. It is stored in (step S32).
  • the information construction unit 140 for example, associates a visible light image authenticated by personal authentication with a differential infrared image and registers the visible light image and the difference infrared image in the personal authentication database of the storage unit 200. Further, the information construction unit 140 stores the first infrared image and the second infrared image before generating the differential infrared image used for personal authentication in association with the visible light image authenticated by personal authentication. It may be registered in the personal authentication database of the unit 200.
  • the processing unit 102 of the biometric authentication system 3 ends the processing.
  • the first authentication unit 131 and the second authentication unit 132 may perform personal authentication regardless of the determination result by the determination unit 120. Further, the determination unit 120 may perform spoofing determination without generating a difference infrared image. The determination unit 120 determines whether or not the subject is a living body by comparing the contrast values calculated based on each of the visible light image, the first infrared image, and the second infrared image, for example.
  • FIG. 23 is a block diagram showing a functional configuration of the biometric authentication system 4 according to this modification.
  • the biometric authentication system 4 according to the present modification is different from the biometric authentication system 3 according to the second embodiment in that it includes an image pickup unit 303 instead of the image pickup unit 302.
  • the image pickup unit 303 has a fifth image pickup device 315 that captures a visible light image, a first infrared image, and a second infrared image.
  • the fifth image pickup device 315 is realized by, for example, an image pickup device having a photoelectric conversion layer having spectral sensitivity to visible light and infrared rays in two wavelength regions, which will be described later. Further, the fifth image pickup apparatus 315 may be a camera having spectral sensitivity for both visible light and infrared rays, such as an InGaAs camera.
  • the image pickup unit 303 has the fifth image pickup device 315, all of the visible light image, the first infrared image, and the second infrared image are captured by one image pickup device, so that the biometric authentication system 4 can be miniaturized. .. Further, since the fifth image pickup apparatus 315 can capture all of the visible light image, the first infrared image, and the second infrared image coaxially, the difference between the visible light image, the first infrared image, and the second infrared image is different. Since the influence can be suppressed, the authentication accuracy in the biometric authentication system 4 can be improved. Further, the fifth image pickup device 315 may be an image pickup device that operates in a global shutter system in which all exposure periods of a plurality of pixels are unified.
  • the first image acquisition unit 111 acquires a visible light image from the fifth image pickup device 315
  • the second image acquisition unit 112 acquires the first infrared image from the fifth image pickup device 315
  • the third image acquisition unit 113 acquires a second infrared image from the fifth image pickup device 315.
  • the timing control unit 500 controls the timing of imaging by the imaging unit 303, the timing of irradiation by the first lighting unit 410, and the timing of irradiation by the second lighting unit 420.
  • the timing control unit 500 outputs, for example, a first synchronization signal to the fifth image pickup apparatus 315 and the first illumination unit 410, and outputs a second synchronization signal to the fifth image pickup apparatus 315 and the second illumination unit 420. do.
  • the fifth image pickup apparatus 315 captures the first infrared image at the timing based on the first synchronization signal, and captures the second infrared image at the timing based on the second synchronization signal.
  • the timing control unit 500 causes the fifth image pickup apparatus 315 to capture the first infrared image and the second illumination unit 420 to capture the infrared rays while the first illumination unit 410 irradiates the subject with infrared rays.
  • the fifth infrared image is imaged by the fifth image pickup apparatus 315 while the image is being irradiated to the second infrared image.
  • the first image acquisition unit 111, the second image acquisition unit 112, and the third image acquisition unit 113 have a visible light image, a first infrared image, and a second image from the fifth image pickup device 315, respectively. Except for acquiring an infrared image, the same operation as that of the above-mentioned biometric authentication system 3 is performed.
  • the fifth image pickup apparatus 315 has, for example, a configuration in which the plurality of pixels 10 of the third image pickup apparatus 313 shown in FIG. 15 are replaced with the plurality of pixels 10c described below.
  • the imaging region R1 includes, for example, optical filters 22 having different transmission wavelength ranges, for infrared rays in a wavelength range including the first wavelength, for infrared rays in a wavelength range including the second wavelength, for blue light, for green light, and Each pixel 10c for red light is arranged.
  • the image signals based on the infrared rays in the wavelength range including the first wavelength, the infrared rays in the wavelength range including the second wavelength, the blue light, the green light, and the red light are separately read out.
  • the fifth image pickup apparatus 315 uses these image signals to generate a visible light image, a first infrared image, and a second infrared image.
  • FIG. 24 is a schematic cross-sectional view showing the cross-sectional structure of the pixel 10c of the fifth image pickup apparatus 315 according to the present modification.
  • Each of the plurality of pixels 10c has the same structure except that the transmission wavelength in the optical filter 22 may be different.
  • pixels 10c having a different structure may exist in addition to the optical filter 22.
  • the pixel 10c includes a third photoelectric conversion layer 18 in addition to the configuration of the pixel 10b. That is, the pixel 10c includes a second photoelectric conversion layer 17 and a third photoelectric conversion layer 18 in addition to the configuration of the pixel 10.
  • the second photoelectric conversion layer 17 is located between the first photoelectric conversion layer 12 and the counter electrode 13. Further, the third photoelectric conversion layer 18 is located between the first photoelectric conversion layer 12 and the pixel electrode 11. If the first photoelectric conversion layer 12, the second photoelectric conversion layer 17, and the third photoelectric conversion layer 18 are located between the pixel electrode 11 and the counter electrode 13, the first photoelectric conversion layer 12 and the third photoelectric conversion layer 12 are located.
  • the stacking order of the two photoelectric conversion layers 17 and the third photoelectric conversion layer 18 is not particularly limited, and may be laminated in any order.
  • the third photoelectric conversion layer 18 is a layer that absorbs visible light and infrared rays in a wavelength range including a second wavelength and generates a light charge. That is, the third photoelectric conversion layer 18 has spectral sensitivity in the second wavelength of infrared rays and the wavelength range of visible light. The third photoelectric conversion layer 18 has, for example, a peak of spectral sensitivity at the second wavelength.
  • the third photoelectric conversion layer 18 contains a donor material that absorbs light in the wavelength range including the second wavelength in infrared rays and the wavelength range of visible light to generate a hole-electron pair.
  • the donor material contained in the third photoelectric conversion layer 18 can be selected from the materials listed as the donor material contained in the first photoelectric conversion layer 12.
  • the third photoelectric conversion layer 18 includes, for example, semiconductor quantum dots as a donor material.
  • FIG. 25 is a schematic diagram showing an example of the spectral sensitivity curve of the pixel 10c.
  • Part (a) of FIG. 25 shows the relationship between the external quantum efficiency of the first photoelectric conversion layer 12 and the wavelength of light.
  • the portion (b) of FIG. 25 shows the relationship between the external quantum efficiency of the third photoelectric conversion layer 18 and the wavelength of light.
  • the portion (c) of FIG. 25 shows the relationship between the external quantum efficiency of the second photoelectric conversion layer 17 and the wavelength of light.
  • the part (d) in FIG. 25 shows the case where the sensitivities of the first photoelectric conversion layer 12, the second photoelectric conversion layer 17 and the third photoelectric conversion layer 18 are combined, that is, the external quantum efficiency of the entire pixel 10c. The relationship with the wavelength of light is shown.
  • the first photoelectric conversion layer 12 and the third photoelectric conversion layer 18 have spectral sensitivity in the wavelength range of visible light and infrared light. Further, in the wavelength range of infrared rays, the spectral sensitivity peak of the first photoelectric conversion layer 12 and the spectral sensitivity peak of the third photoelectric conversion layer 18 are different wavelengths. Further, as shown in the portion (c) of FIG. 25, the second photoelectric conversion layer 17 is visible in a range wider than the wavelength range of visible light in which the first photoelectric conversion layer 12 and the third photoelectric conversion layer 18 have spectral sensitivity. It has spectral sensitivity in the wavelength range of light. Therefore, as shown in the portion (d) of FIG.
  • the pixel 10c as a whole has two spectral sensitivity peaks in the wavelength range of infrared rays and has spectral sensitivity in the entire wavelength range of visible light. Since the pixel 10c has such a spectral sensitivity characteristic, the fifth image pickup apparatus 315 can capture all of the visible light image, the first infrared image, and the second infrared image.
  • the pixel 10c includes a second photoelectric conversion layer 17 having spectral sensitivity to visible light, at least one of the first photoelectric conversion layer 12 and the third photoelectric conversion layer 18 has spectral sensitivity to visible light. It does not have to be. Further, as long as the pixel 10c has a spectral sensitivity curve as shown in the portion (d) of FIG. 25, the pixel 10c does not have to be configured to include three photoelectric conversion layers, and the material used for the photoelectric conversion layer may be selected. It may be realized by the configuration including one or two photoelectric conversion layers. Further, the pixel 10c may include the hole transport layer 15 and the hole blocking layer 16 similar to the pixel 10a.
  • the determination unit compares the contrast values to determine whether or not the organism is a living body, but the present invention is not limited to this.
  • the determination unit may determine whether or not it is a living body by performing a comparison based on, for example, a difference in the luminance values of adjacent pixels or a difference in the balance of the luminance values such as a histogram of the luminance values.
  • the biometric authentication system is realized by a plurality of devices, but may be realized as a single device. Further, when the biometric authentication system is realized by a plurality of devices, the components included in the biometric authentication system described in the above-described embodiments and modifications may be distributed to the plurality of devices.
  • the biometric authentication system may not include all of the components described in the above-described embodiments and modifications, and may be composed of only the components for performing the desired operation.
  • the biometric authentication system may be realized by a biometric authentication device having the functions of a first image acquisition unit, a second image acquisition unit, and a determination unit of the processing unit.
  • the biometric authentication system includes a communication unit, and at least one of a storage unit, an imaging unit, a first lighting unit, a second lighting unit, and a timing control unit is a user's smartphone or a dedicated device brought into the user.
  • the biometric authentication system may perform spoofing determination and personal authentication by communicating with the external device using the communication unit.
  • the biometric authentication system may not include the first lighting unit and the second lighting unit, and may use sunlight or ambient light as the irradiation light.
  • another processing unit may execute the processing executed by the specific processing unit. Further, the order of the plurality of processes may be changed, or the plurality of processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each component may be realized by hardware.
  • Each component may be a circuit (or an integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits from each other. Further, each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • the general or specific aspects of the present disclosure may be realized by a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM. Further, it may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program and a recording medium.
  • the present disclosure may be realized as a biometric authentication system according to the above embodiment, or may be realized as a program for causing a computer to execute a biometric authentication method performed by a processing unit, and such a program may be realized. It may be realized as a non-temporary recording medium that can be read by a computer on which it is recorded.
  • the biometric authentication system according to this disclosure can be applied to various biometric authentication systems such as mobile, medical, surveillance, in-vehicle, robot, financial, and electronic payment.

Abstract

生体認証システムは、被写体の皮膚部に照射された可視光の皮膚部による反射によって生じた第１反射光を撮像することにより得られた可視光画像を取得する第１画像取得部と、皮膚部に照射された赤外線の皮膚部による反射によって生じた、第１波長を含む波長域を有する第２反射光を撮像することにより得られた第１赤外画像を取得する第２画像取得部と、可視光画像と第１赤外画像との比較に基づいて、被写体が生体であるか否かを判定し、判定した結果を出力する判定部と、を備える。

Description

生体認証システムおよび生体認証方法
　本開示は、生体認証システムおよび生体認証方法に関する。
　オフィスへの入退室、入管管理、金融機関もしくはスマートフォンでの決済、または、公共の監視カメラなど、近年、生体認証を用いた個人認証の重要性が増している。個人認証における認証精度も機械学習を用いることで、大量のデータベース蓄積とアルゴリズム改変とにより向上している。一方で、生体認証を用いた個人認証においては、本人以外によるなりすましも課題となっている。例えば、特許文献１には、なりすましのための変装用の物品を検出する検知装置が開示されている。
　生体認証においては、なりすまし等に対応した認証精度の向上、および、生体認証のための装置の小型化が求められている。
特開２０１７－２２８３１６号公報
Ｈｏｌｇｅｒ　Ｓｔｅｉｎｅｒ，　"Ａｃｔｉｖｅ　Ｍｕｌｔｉｓｐｅｃｔｒａｌ　ＳＷＩＲ　Ｉｍａｇｉｎｇ　ｆｏｒ　Ｒｅｌｉａｂｌｅ　Ｓｋｉｎ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｆａｃｅ　Ｖｅｒｉｆｉｃａｔｉｏｎ"，　Ｃｕｖｉｌｌｉｅｒ　Ｖｅｒｌａｇ，　２０１７年１月１０日，　ｐｐ．１３－１４
　本開示では、認証精度が高く、装置を小型化できる生体認証システム等を提供する。
　本開示の一態様に係る生体認証システムは、被写体の皮膚部に照射された可視光の前記皮膚部による反射によって生じた第１反射光を撮像することにより得られた可視光画像を取得する第１画像取得部と、
　前記皮膚部に照射された第１赤外線の前記皮膚部による反射によって生じた、第１波長を含む波長域を有する第２反射光を撮像することにより得られた第１赤外画像を取得する第２画像取得部と、
　前記可視光画像と前記第１赤外画像との比較に基づいて、前記被写体が生体であるか否かを判定し、判定した結果を出力する判定部と、を備える。
　本開示の一態様に係る生体認証方法は、被写体の皮膚部に照射された可視光の前記皮膚部による反射によって生じた第１反射光を撮像することにより得られた可視光画像を取得することと、
　前記皮膚部に照射された赤外線の前記皮膚部による反射によって生じた、第１波長を含む波長域を有する第２反射光を撮像することにより得られた第１赤外画像を取得することと、
　前記可視光画像と前記第１赤外画像との比較に基づいて、前記被写体が生体であるか否かを判定し、判定した結果を出力することと、を含む。
　本開示の一態様に係る生体認証システム等によれば、認証精度が高く、装置の小型化が可能である。
図１は、実施の形態１に係る生体認証システムによるなりすまし判定の概要を示す図である。 図２は、実施の形態１に係る生体認証システムの機能構成を示すブロック図である。 図３は、実施の形態１に係る判定部における比較の対象となる可視光画像および第１赤外画像の例を示す図である。 図４は、生体での光の反射特性を模式的に示す図である。 図５は、人の皮膚へ入射した可視光の反射比率の例を示す図である。 図６は、液体の水のｎｋスペクトルを示す図である。 図７は、異なる波長において人の顔を撮像した画像を示す図である。 図８は、肌の色ごとの光の反射率の波長依存性を示す図である。 図９は、地上における太陽光スペクトルを示す図である。 図１０は、図９の太陽光スペクトルの一部を拡大した図である。 図１１は、図９の太陽光スペクトルの別の一部を拡大した図である。 図１２は、実施の形態１に係る生体認証システムの動作例を示すフローチャートである。 図１３は、なりすましではない場合の実施の形態１に係る生体認証システムによるなりすまし判定を説明するための図である。 図１４は、実施の形態１の変形例に係る生体認証システムの機能構成を示すブロック図である。 図１５は、実施の形態１の変形例に係る第３撮像装置の例示的な構成を示す図である。 図１６は、実施の形態１の変形例に係る第３撮像装置の画素の断面構造を示す概略断面図である。 図１７は、実施の形態１の変形例に係る画素の分光感度曲線の例を示す模式図である。 図１８は、実施の形態１の変形例に係る第３撮像装置の別の画素の断面構造を示す概略断面図である。 図１９は、実施の形態１の変形例に係る第３撮像装置のさらに別の画素の断面構造を示す概略断面図である。 図２０は、実施の形態１の変形例に係るさらに別の画素の分光感度曲線の例を示す模式図である。 図２１は、実施の形態２に係る生体認証システムの機能構成を示すブロック図である。 図２２は、実施の形態２に係る生体認証システムの動作例を示すフローチャートである。 図２３は、実施の形態２の変形例に係る生体認証システムの機能構成を示すブロック図である。 図２４は、実施の形態２の変形例に係る第５撮像装置の画素の断面構造を示す概略断面図である。 図２５は、実施の形態２の変形例に係る画素の分光感度曲線の例を示す模式図である。
　（本開示の一態様に至った知見）
　近年、可視光画像を用いた顔認証等の生体認証においては、世界中で提供されているもしくは独自に取得される大量の画像のデータベースと機械学習アルゴリズムとの進化により、認証率が向上している。
　一方で、被写体を撮像した画像を用いる生体認証では、本人ではない第三者による本人へのなりすましによる不正認証、例えば、印刷された本人画像、スマートフォンまたはタブレット等の端末の画面に表示された本人画像、および、紙またはシリコーンゴム等で作製された３Ｄマスク等による第三者による不正認証が課題である。
　この課題に対して、例えば、特許文献１のように、互いに異なる波長域の赤外線によって被写体を撮像した赤外画像を複数用いることでのなりすましを検知する方法が提案されているが、この方法では以下の２つの課題がある。１つ目の課題は、赤外画像を用いると、前述したデータベース不足等による個人認証における認証率が低下してしまうことである。２つ目の課題は、複数の赤外線の波長域を用いることによる、撮像装置の増加、分光システムおよび光源の追加、ならびに、処理する画像データ量の増大などが生じてしまうことである。
　本発明者らは、このような課題を解決するため、可視光画像と赤外画像とを用いて、被写体が生体であるか否かのなりすまし判定を行うことで、装置の増大を抑えて小型化しつつ、なりすまし判定および個人認証等の生体認証を高い精度で実現できることを見出した。以下、詳細に説明する。
　（本開示の概要）
　本開示の一様態の概要は以下の通りである。
　本開示の一態様に係る生体認証システムは、被写体の皮膚部に照射された可視光の前記皮膚部による反射によって生じた第１反射光を撮像することにより得られた可視光画像を取得する第１画像取得部と、
　前記皮膚部に照射された第１赤外線の前記皮膚部による反射によって生じた、第１波長を含む波長域を有する第２反射光を撮像することにより得られた第１赤外画像を取得する第２画像取得部と、
　前記可視光画像と前記第１赤外画像との比較に基づいて、前記被写体が生体であるか否かを判定し、判定した結果を出力する判定部と、を備える。
　これにより、被写体が生体である場合、生体表面付近の水分により、生体に入射する赤外線が吸収されるために、第１赤外画像は、可視光画像よりも暗い部分が生じた画像となる。そのため、可視光画像および第１赤外画像の２種類の画像を比較するだけで、容易に被写体が生体であるか、端末の画面、紙またはシリコーンゴム等のなりすましのための人工物であるかを判定できる。そのため、生体認証システムを小型化できる。また、なりすましの場合の被写体が平面形状であっても立体形状であっても、形状に関わらず可視光画像と第１赤外画像とで画像の暗さに差が生じるため、なりすまし判定を精度よく行うことができる。よって、本態様に係る生体認証システムによれば、認証精度が高く、装置の小型化が可能である。
　また、例えば、前記生体認証システムは、前記可視光画像に基づいて前記被写体の第１個人認証を行い、前記第１個人認証の結果を出力する第１認証部を備えてもよい。
　これにより、第１認証部が可視光画像に基づいて被写体の個人認証を行うことで、充実した可視光画像のデータベース等を利用できるため、生体認証システムは、高い精度の個人認証を行うことができる。
　また、例えば、前記判定部が、前記被写体が生体ではないと判定した場合は、前記第１認証部は、前記被写体の前記第１個人認証を行わなくてもよい。
　これにより、生体認証システムにおける処理負荷を低減できる。
　また、例えば、前記生体認証システムは、前記第１赤外画像に基づいて前記被写体の第２個人認証を行い、前記第２個人認証の結果を出力する第２認証部をさらに備えてもよい。
　生体に照射され、生体により反射された赤外線における、拡散反射成分に対する表面反射成分の比率は、生体に照射され、生体により反射された可視光における、拡散反射成分に対する表面反射成分の比率よりも高いため、第１赤外画像は、可視光画像よりも空間解像度が高くなる。そのため、第１認証部による個人認証に加えて、第２認証部が、空間解像度の高い第１赤外画像に基づいて生体認証を行うことで、高い精度の個人認証を行うことができる。
　また、例えば、前記生体認証システムは、前記第１個人認証及び前記第２個人認証を行うための情報が格納される記憶装置と、前記第１個人認証の前記結果に関する情報と、前記第２個人認証の前記結果に関する情報とを紐づけて前記記憶装置に格納する情報構築部と、をさらに備えてもよい。
　これにより、可視光画像よりも空間解像度が高いものの、情報量の少ない第１赤外画像を含むデータベースを拡充することができ、これらの情報を用いて機械学習等を行うことで、より精度の高い個人認証が可能な生体認証システムを構築できる。
　また、例えば、前記判定部は、前記可視光画像に基づくコントラスト値と前記第１赤外画像に基づくコントラスト値とを比較することにより、前記被写体が生体であるか否かを判定してもよい。
　これにより、生体認証システムは、簡易に算出することのできるコントラスト値を用いて、なりすまし判定を行うことができる。
　また、例えば、前記生体認証システムは、前記可視光画像を撮像する第１撮像装置と、前記第１赤外画像を撮像する第２撮像装置とを含む撮像部をさらに備え、前記第１画像取得部は、前記第１撮像装置から前記可視光画像を取得し、前記第２画像取得部は、前記第２撮像装置から前記第１赤外画像を取得してもよい。
　これにより、可視光画像および第１赤外画像が、それぞれ第１撮像装置および第２撮像装置によって撮像されるため、簡易な構成のカメラを第１撮像装置および第２撮像装置に用いて、生体認証システムを実現できる。
　また、例えば、前記生体認証システムは、前記可視光画像および前記第１赤外画像を撮像する第３撮像装置を含む撮像部をさらに備え、前記第１画像取得部は、前記第３撮像装置から前記可視光画像を取得し、前記第２画像取得部は、前記第３撮像装置から前記第１赤外画像を取得してもよい。
　これにより、１つの第３撮像装置で、可視光画像および第１赤外画像の両方の画像が撮像されるため、生体認証システムをさらに小型化できる。
　また、例えば、前記第３撮像装置は、前記可視光の波長範囲および前記第１波長に分光感度を有する第１光電変換層を含んでいてもよい。
　これにより、１層の光電変換層でも可視光画像および第１赤外画像を撮像できる第３撮像装置を実現できるため、第３撮像装置の製造を簡素化できる。
　また、例えば、前記第３撮像装置は、可視光の全波長範囲にわたって分光感度を有する第２光電変換層を含んでいてもよい。
　これにより、可視光画像の画質が向上し、可視光画像を用いた生体認証の精度を向上できる。
　また、例えば、前記生体認証システムは、前記第１赤外線を前記被写体に照射する照明装置をさらに備えてもよい。
　これにより、被写体にアクティブな照明装置による赤外線が照射されるため、第２撮像装置が撮像する第１赤外画像の画質が向上し、生体認証システムにおける認証精度を向上できる。
　また、例えば、前記生体認証システムは、前記撮像部による撮像のタイミングと、前記照明装置による照射のタイミングとを制御するタイミング制御部をさらに備えてもよい。
　これにより、生体認証に必要な時間帯だけ、被写体に赤外線を照射することができるため、消費電力が削減できる。
　また、例えば、前記生体認証システムは、前記皮膚部に照射された第２赤外線の前記皮膚部による反射によって生じた、前記第１波長と異なる第２波長を含む波長域を有する第３反射光を撮像することにより得られた第２赤外画像を取得する第３画像取得部をさらに備え、前記判定部は、前記可視光画像と前記第１赤外画像と前記第２赤外画像とに基づいて、前記被写体が生体であるか否かを判定してもよい。
　これにより、判定部は、第１赤外画像とは異なる波長の赤外線を撮像した第２赤外画像も用いて生体であるか否かを判定するため、判定部による判定の精度を向上できる。
　また、例えば、前記判定部は、前記第１赤外画像と前記第２赤外画像とから差分赤外画像を生成し、前記差分赤外画像と前記可視光画像とに基づいて、前記被写体が生体であるか否かを判定してもよい。
　赤外線を撮像した画像では、水による吸収のために暗く撮像されているのか、照射光の影となっているために暗く撮像されているのか等、判定が困難な場合が生じる。そのため、異なる波長の赤外線を撮像した第１赤外画像と第２赤外画像との差分赤外画像を生成することで、暗く撮像されている原因が照射光の影である場合の影響を除去でき、生体認証システムによる認証精度を向上させることができる。
　また、例えば、前記第１波長は、１１００ｎｍ以下であってもよい。
　これにより、安価なシリコンセンサを含む撮像装置を利用した生体認証システムを実現できる。
　また、例えば、前記第１波長は、１２００ｎｍ以上であってもよい。
　これにより、生体の水分による赤外線の吸収が大きくなり、第１赤外画像のコントラストが明瞭に付くため、生体認証システムによる認証精度を向上させることができる。
　また、例えば、前記第１波長は、１３５０ｎｍ以上１４５０ｎｍ以下であってもよい。
　１３５０ｎｍ以上１４５０ｎｍ以下の波長範囲は、太陽光の欠落波長であり、かつ、水の吸光度係数の高い波長範囲であるため、環境光の影響が小さく、かつ、コントラストが明瞭についた第１赤外画像を撮像できる。よって、生体認証システムによる認証精度を向上させることができる。
　また、例えば、前記被写体は、人の顔であってもよい。
　これにより、認証精度が高く、装置を小型化できる、顔認証を行う生体認証システムを実現できる。
　本開示の一態様に係る生体認証方法は、被写体の皮膚部に照射された可視光の前記皮膚部による反射によって生じた第１反射光を撮像することにより得られた可視光画像を取得することと、
　前記皮膚部に照射された赤外線の前記皮膚部による反射によって生じた、第１波長を含む波長域を有する第２反射光を撮像することにより得られた第１赤外画像を取得することと、
　前記可視光画像と前記第１赤外画像との比較に基づいて、前記被写体が生体であるか否かを判定し、判定した結果を出力することと、を含む。
　これにより、上記生体認証システムと同様に、可視光画像および第１赤外画像の２種類の画像を比較するだけで、容易に、かつ、精度よくなりすまし判定を行うことができる。よって、本態様に係る生体認証方法によれば、認証精度が高く、本態様に係る生体認証方法を用いた生体認証のための装置の小型化が可能である。
　本開示の一態様に係る生体認証システムは、
　メモリと、
　動作時に、
　　被写体の皮膚部に照射された可視光の前記皮膚部による反射によって生じた第１反射光を撮像することにより得られた可視光画像を前記メモリから取得し、
　　前記皮膚部に照射された第１赤外線の前記皮膚部による反射によって生じた、第１波長を含む波長域を有する第２反射光を撮像することにより得られた第１赤外画像を前記メモリから取得し、
　　前記可視光画像と前記第１赤外画像との比較に基づいて、前記被写体が生体であるか否かを判定し、
　　判定した結果を出力する回路（ｃｉｒｃｕｉｔｒｙ）と、
を備える。
　前記回路は、動作時にさらに、前記可視光画像に基づいて前記被写体の第１個人認証を行い、前記第１個人認証の結果を出力してもよい。
　前記回路が、前記被写体が生体ではないと判定した場合、前記回路は、前記被写体の前記第１個人認証を行わなくてもよい。
　前記回路は、動作時にさらに、前記第１赤外画像に基づいて前記被写体の第２個人認証を行い、前記第２個人認証の結果を出力してもよい。
　前記生体認証システムは、前記第１個人認証及び前記第２個人認証を行うための情報が格納される記憶装置をさらに備え、
　前記回路は、前記第１個人認証の前記結果に関する情報と、前記第２個人認証の前記結果に関する情報とを紐づけて前記記憶装置に格納してもよい。
　前記回路は、前記可視光画像に基づくコントラスト値と前記第１赤外画像に基づくコントラスト値とを比較することにより、前記被写体が生体であるか否かを判定してもよい。
　前記回路は、動作時にさらに、前記撮像部による撮像のタイミングと、前記照明装置による照射のタイミングとを制御してもよい。
　前記生体認証システムは、前記皮膚部に照射された第２赤外線の前記皮膚部による反射によって生じた、前記第１波長と異なる第２波長を含む波長域を有する第３反射光を撮像することにより得られた第２赤外画像を取得する第３画像取得部をさらに備え、
　前記回路は、前記可視光画像と前記第１赤外画像と前記第２赤外画像とに基づいて、前記被写体が生体であるか否かを判定してもよい。
　前記回路は、前記第１赤外画像と前記第２赤外画像とから差分赤外画像を生成し、前記差分赤外画像と前記可視光画像とに基づいて、前記被写体が生体であるか否かを判定してもよい。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　以下、実施の形態について、図面を参照しながら説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の本実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略または簡略化することがある。
　また、本明細書において、要素間の関係性を示す用語、および、要素の形状を示す用語、ならびに、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
　また、本明細書において、「上方」および「下方」という用語は、絶対的な空間認識における上方向（鉛直上方）および下方向（鉛直下方）を指すものではなく、積層構成における積層順を基に相対的な位置関係により規定される用語として用いる。具体的には、撮像装置の受光側を「上方」とし、受光側と反対側を「下方」とする。なお、「上方」よび「下方」などの用語は、あくまでも部材間の相互の配置を指定するために用いており、撮像装置の使用時における姿勢を限定する意図ではない。また、「上方」および「下方」という用語は、２つの構成要素が互いに間隔を空けて配置されて２つの構成要素の間に別の構成要素が存在する場合のみならず、２つの構成要素が互いに密着して配置されて２つの構成要素が接する場合にも適用される。
　（実施の形態１）
　［概要］
　まず、本実施の形態に係る生体認証システムによる生体認証処理の概要について説明する。本実施の形態に係る生体認証システムは、例えば、生体認証として、被写体のなりすまし判定、および、被写体の個人認証を行う。本明細書においては、なりすまし判定を行うこと、および、個人認証を行うことのいずれも生体認証を行うことの一例であるとして説明する。図１は、本実施の形態に係る生体認証システムによるなりすまし判定の概要を示す図である。
　図１に示されるように、本実施の形態に係る生体認証システムは、例えば、可視光を撮像した可視光画像と赤外線を撮像した第１赤外画像とを比較する。この比較により、生体認証システムは、（ｉ）被写体が生体であり、なりすましではないか、（ｉｉ）被写体が生体ではなく生体を模した人工物であり、なりすましであるかを判定する。本明細書において、可視光の波長範囲は、例えば、３８０ｎｍ以上７８０ｎｍ未満である。また、赤外線の波長範囲は、例えば、７８０ｎｍ以上４０００ｎｍ以下である。特に、赤外線としては、ＳＷＩＲ（短波赤外：Ｓｈｏｒｔｗａｖｅ　ｉｎｆｒａｒｅｄ）と呼ばれる９００ｎｍ以上２５００ｎｍ以下の赤外線が用いられうる。また、本明細書では、可視光および赤外線を含めた電磁波全般を、便宜上「光」と表現する。
　生体認証の対象となる被写体は、例えば、人の顔である。被写体は、人の顔に限らず、指紋または掌紋で生体認証するための人の手など、顔以外の生体の一部であってもよい。被写体は、生体の全体であってもよい。
　従来の赤外線を用いるなりすまし判定の方法としては、複数の赤外波長を取得することによる分光法、および、測距による三次元データ取得による認証法があるが、前者はシステム規模が増大し、後者は紙またはシリコーンゴムなどで作製された三次元構造物によるなりすましは判別できない。特に、顔ならびに手の指紋および掌紋等による生体認証に対しては、近年、３Ｄプリンタ性能も向上しており、形状認識だけではなりすまし判定が難しい。これに対して、本実施の形態におけるなりすまし判定は、図１に示されるように、生体と人工物とで可視光画像と第１赤外画像との違いが変化することに基づいて行われるため、２つの画像を取得するだけでよく、装置を増大させることなく、高精度の生体認証が可能となる。
　［構成］
　次に、本実施の形態に係る生体認証システムの構成について説明する。図２は、本実施の形態に係る生体認証システム１の機能構成を示すブロック図である。
　図２に示されるように、生体認証システム１は、処理部１００と、記憶部２００と、撮像部３００と、第１照明部４１０と、タイミング制御部５００と、を備える。第１照明部４１０は、照明装置の一例である。
　まず、処理部１００の詳細について説明する。処理部１００は、生体認証システム１におけるなりすまし判定および個人認証等の情報処理を行う処理装置である。処理部１００は、第１画像取得部１１１及び第２画像取得部１１２を含むメモリ６００と、判定部１２０と、第１認証部１３１と、第２認証部１３２と、情報構築部１４０と、を備える。処理部１００は、例えば、プログラムを内蔵する１以上のプロセッサを含むマイクロコントローラによって実現される。処理部１００の機能は、汎用の処理回路とソフトウェアとの組み合わせによって実現されてもよいし、処理部１００の処理に特化したハードウェアによって実現されてもよい。
　第１画像取得部１１１は、被写体の可視光画像を取得する。第１画像取得部１１１は、被写体の可視光画像を一時的に保存する。可視光画像は、被写体に照射された可視光の被写体による反射によって生じた反射光を撮像することにより得られる。第１画像取得部１１１は、例えば、撮像部３００、具体的には撮像部３００の第１撮像装置３１１から、可視光画像を取得する。可視光画像は、例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの輝度値の情報を含むカラー画像であるが、グレースケール画像であってもよい。
　第２画像取得部１１２は、被写体の第１赤外画像を取得する。第２画像取得部１１２は、被写体の第１赤外画像を一時的に保存する。第１赤外画像は、被写体に照射された赤外線の被写体による反射によって生じた、第１波長を含む波長域を有する反射光を撮像することにより得られる。第２画像取得部１１２は、例えば、撮像部３００、具体的には撮像部３００の第２撮像装置３１２から、第１赤外画像を取得する。
　判定部１２０は、第１画像取得部１１１によって取得された可視光画像と、第２画像取得部１１２によって取得された第１赤外画像とに基づいて、被写体が生体であるか否かを判定する。判定部１２０は、例えば、可視光画像に基づくコントラスト値と、第１赤外画像に基づくコントラスト値とを比較することにより、被写体が生体であるか否かを判定する。判定部１２０による詳細な処理については後述する。
　また、判定部１２０は、例えば、判定した結果を判定信号として、外部に出力する。また、判定部１２０は、判定した結果を判定信号として、第１認証部１３１および第２認証部１３２に出力してもよい。
　第１認証部１３１は、第１画像取得部１１１によって取得された可視光画像に基づいて被写体の個人認証を行う。第１認証部１３１は、例えば、判定部１２０が、被写体が生体ではないと判定した場合には、被写体の個人認証を行わない。第１認証部１３１は、個人認証を行った結果を外部に出力する。
　第２認証部１３２は、第２画像取得部１１２によって取得された第１赤外画像に基づいて被写体の個人認証を行う。第２認証部１３２は、個人認証を行った結果を外部に出力する。
　情報構築部１４０は、第１認証部１３１によって行われた個人認証の結果に関する情報と、第２認証部１３２によって行われた個人認証の結果に関する情報とを紐づけて記憶部２００に格納する。情報構築部１４０は、例えば、個人認証に用いられた可視光画像および第１赤外画像、ならびに、個人認証の結果を記憶部２００に格納する。
　記憶部２００は、個人認証を行うための情報が格納される記憶装置である。記憶部２００には、例えば、被写体の個人情報と被写体の描写された画像とが紐づけられた個人認証データベースが格納されている。記憶部２００は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）などによって実現される。記憶部２００は、半導体メモリによって実現されてもよい。
　撮像部３００は、生体認証システム１で用いられる画像を撮像する。撮像部３００は、第１撮像装置３１１と第２撮像装置３１２とを有する。
　第１撮像装置３１１は、被写体の描写された可視光画像を撮像する。第１撮像装置３１１には、被写体に照射され、被写体により反射された可視光である反射光が入射する。第１撮像装置３１１は、入射した当該反射光を撮像して可視光画像を生成する。第１撮像装置３１１は、撮像した可視光画像を出力する。第１撮像装置３１１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサであって可視光に分光感度を有するイメージセンサ、制御回路およびレンズ等で構成される。第１撮像装置３１１には、例えば、公知の可視光撮像用のカメラが用いられうる。第１撮像装置３１１は、複数の画素の全ての露光期間が統一されるグローバルシャッタ方式で動作する撮像装置であってもよい。
　第２撮像装置３１２は、被写体の描写された第１赤外画像を撮像する。第２撮像装置３１２には、被写体に照射され、被写体により反射された赤外線である、第１波長を含む波長域を有する反射光が入射する。第２撮像装置３１２は、入射した当該反射光を撮像して第１赤外画像を生成する。第２撮像装置３１２は、撮像した第１赤外画像を出力する。第２撮像装置３１２は、例えば、ＣＣＤまたはＣＭＯＳ等のイメージセンサであって赤外線に分光感度を有するイメージセンサ、制御回路およびレンズ等で構成される。第２撮像装置３１２には、例えば、公知の赤外線撮像用のカメラが用いられうる。第２撮像装置３１２は、複数の画素の全ての露光期間が統一されるグローバルシャッタ方式で動作する撮像装置であってもよい。
　第１照明部４１０は、照射光として、第１波長を含む波長範囲の赤外線を被写体に照射する照明装置である。第１照明部４１０によって照射され、被写体により反射された赤外線である反射光が、第２撮像装置３１２によって撮像される。第１照明部４１０は、例えば、第１波長近傍に発光ピークを有する赤外線を照射する。このような第１照明部４１０が備えられることで、第２撮像装置３１２が撮像する第１赤外画像の画質が向上し、生体認証システム１における認証精度を向上できる。
　第１照明部４１０は、例えば、光源、点灯回路および制御回路等で構成される。第１照明部４１０に用いられる光源は、特に制限されず、使用目的に応じて選択される。第１照明部４１０に用いられる光源としては、例えば、ハロゲン光源、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）光源およびレーザーダイオード光源等が挙げられる。例えば、幅広い波長範囲の赤外線を照射する場合には、ハロゲン光源が光源に用いられる。また、例えば、消費電力および発熱を抑えるためには、ＬＥＤ光源が光源に用いられる。また、例えば、後述する太陽光欠落波長の狭帯域を用いる場合、または、生体認証システム１に測距システムを併用してさらに認証率の向上を図る場合などには、レーザーダイオード光源が光源に用いられる。
　なお、第１照明部４１０は、第１波長を含む波長範囲に加えて、可視光の波長範囲を含む光を照射する光源であってもよい。また、生体認証システム１は、可視光を照射する照明装置をさらに備えていてもよい。
　タイミング制御部５００は、撮像部３００による撮像のタイミングと、第１照明部４１０による照射のタイミングとを制御する。タイミング制御部５００は、例えば、第２撮像装置３１２および第１照明部４１０に対して第１同期信号を出力する。第２撮像装置３１２は、第１同期信号に基づいたタイミングで第１赤外画像を撮像する。第１照明部４１０は、第１同期信号に基づいたタイミングで赤外線を照射する。これにより、第１照明部４１０に赤外線を被写体に照射させている間に、第２撮像装置３１２に撮像させる。そのため、生体認証に必要な時間帯だけ、被写体に赤外線が照射されるため、消費電力が削減できる。
　また、第２撮像装置３１２は、例えば、第１同期信号に基づいたタイミングで、グローバルシャッタ動作を行ってもよい。これにより、光が照射されている被写体の動きのブレを抑制した画像が取得でき、生体認証システム１による認証精度を高めることができる。
　タイミング制御部５００は、例えば、プログラムを内蔵する１以上のプロセッサを含むマイクロコントローラによって実現される。タイミング制御部５００の機能は、汎用の処理回路とソフトウェアとの組み合わせによって実現されてもよいし、タイミング制御部５００の処理に特化したハードウェアによって実現されてもよい。
　また、タイミング制御部５００は、ユーザからの第１同期信号の出力の指示等を受け付ける、タッチパネルまたは物理ボタン等で構成される入力受付部を有していてもよい。
　なお、生体認証システム１は、タイミング制御部５００を備えていなくてもよい。例えば、ユーザが直接、撮像部３００および第１照明部４１０を操作してもよい。また、第１照明部４１０は、生体認証システム１の稼働時には、常時点灯していてもよい。
　［原理］
　次に、判定部１２０が可視光画像と第１赤外画像とに基づいて、被写体が生体であるか否かを判定できる原理について説明する。
　まず、判定部１２０における比較の対象となる可視光画像および第１赤外画像について説明する。図３は、判定部１２０における比較の対象となる可視光画像および第１赤外画像の例を示す図である。図３の部分（ａ）は、人の顔を、直接、可視光撮像用のカメラで撮像した画像である。つまり、図３の部分（ａ）には、被写体が生体である場合の可視光画像が示されている。図３の部分（ｂ）は、当該人の顔の画像が表示されたディスプレイを、赤外線撮像用のカメラで撮像した画像である。つまり、図３の部分（ｂ）には、被写体が人工物であり、なりすましが行われている場合の第１赤外画像が示されている。図３の部分（ｃ）は、当該人の顔を、直接、赤外線撮像用のカメラで撮像した画像である。つまり、図３の部分（ｃ）には、被写体が生体である場合の第１赤外画像が示されている。赤外線撮像用のカメラとしては、１４５０ｎｍに分光感度を有するカメラを用いた。また、赤外線撮像用のカメラには、１４５０ｎｍ近傍の波長範囲を透過するバンドパスフィルタを装着し、人の顔には、１４５０ｎｍが中心波長のＬＥＤ光源を含む照明装置で光を照射して、撮像を行った。なお、図３の部分（ａ）の画像は、実際にはカラー画像であるが、図示の都合上、モノクローム化した画像が示されている。
　図３の部分（ｃ）に示される、被写体が生体である場合の第１赤外画像は、肌が水分吸収により暗く沈んでおり、図３の部分（ａ）に示される被写体が生体である場合の可視光画像と比較すると、コントラストおよび輝度が大きく変わっている。一方、図３の部分（ｂ）に示される、なりすましが行われている場合の第１赤外画像と、図３の部分（ａ）に示される画像との比較では、輝度およびコントラストの差が小さい。例えば、被写体が生体である場合には、被写体が人工物である場合と比べて、第１赤外画像のコントラスト値が大きくなる。そのため、これらの画像を比較することで、被写体が生体であるか否か、言い換えると、生体であるか人工物であるかというなりすまし判定を容易に行うことができる。
　次に、図３に示されるようなコントラスト等の差が、可視光画像と第１赤外画像とに発現する原理について、詳細に説明する。
　図４は、生体での光の反射特性を模式的に示す図である。図４には、人の皮膚に光が入射する場合が示されている。図５は、人の皮膚へ入射した可視光の反射比率の例を示す図である。図６は、液体の水のｎｋスペクトルを示す図である。図６には、液体の水の屈折率（ｎ）および吸光度係数（ｋ）の光の波長依存性が示されている。
　図４に示されるように、人の皮膚への入射光の反射光は、皮膚表面からの表面反射成分と、皮下組織に入射し散乱されて外部に出てくる拡散反射成分とに分けられる。このような反射成分等の比率を簡単な数値で表すと、例えば、図５に示されるように、生体に１００％の光が入射された際には、表面反射成分が５％程度であり、拡散反射成分が５５％程度である。入射光のうち残りの４０％程度は、人の真皮などで熱的に吸収され、反射しない。そのため、可視光の波長域で撮像する場合、表面反射成分と拡散反射成分との合算である入射光のうちの約６０％の光が反射光として観察される。
　一方、図６に示されるように、可視光に比べて１４００ｎｍ近傍の波長などのＳＷＩＲ領域の赤外線では、吸光度係数が高く、水による吸収が顕著になる。そのため、赤外線では、図４に示される拡散反射成分は、皮膚中の水に吸収されて少なくなり、表面反射が支配的になる。図５で示される比率で説明すると、拡散反射成分が少なくなり、入射光の５％である表面反射成分が主に反射光として観察される。そのため、赤外線の、生体による反射光を撮像すると、被写体が暗く見える画像が撮像される。よって、可視光画像と第１赤外画像との比較により、簡単に生体であるか人工物であるかが判別可能となる。つまり、本実施の形態において着目した点は、可視光と赤外線とで異なる生体の光の反射特性、特に可視光と赤外線とにおける、表面反射成分と拡散反射成分との比率の変化である。なりすましのための人工物であるディスプレイ、紙またはシリコーンゴムは、水分をほとんど含まないため、可視光と赤外線とで、このような波長の違いによる表面反射成分と拡散反射成分との比率の変化が生じない。そのため、図３に示されるような可視光画像および第１赤外画像を取得することができ、可視光画像と第１赤外画像とを比較して、容易になりすまし判定が可能になる。
　また、図６に示されるｎｋスペクトルのデータを用いて、以下の比率等を算出した。５５０ｎｍにおいて、正反射光（つまり、上述の表面反射光）は、拡散反射光の約１／１０倍である。また、生体内の拡散反射光の平均光路長さと、５５０ｎｍおよび１４５０ｎｍのｋ値と、を用いて拡散反射光の比率を概算すると、１４５０ｎｍでの拡散反射光は、５５０ｎｍでの拡散反射光の約１０－３倍となる。また、水の屈折率と空気の屈折率とから５５０ｎｍおよび１４５０ｎｍのｎ値を用いて正反射率を概算すると、１４５０ｎｍでの正反射率と５５０ｎｍでの正反射率とは、０．０１８９と０．０２０６とであり、ほぼ同じである。従って、１４５０ｎｍでは、正反射光は、拡散反射光の約１００倍となる。このように、１４５０ｎｍなどのＳＷＩＲ領域の赤外線では、正反射光、つまり、表面反射光が支配的であり、空間解像度であるイメージコントラストを低下させてしまう拡散反射成分が大幅に少なくなることで、空間解像度が向上する。
　このように、可視光での撮像では、特に水に吸収されにくい青色光が拡散反射し、形状の輪郭がぼやけた画像が撮像されやすい。一方、赤外線の波長域を撮像することにより、肌および皺の表面形状が特徴点として検出しやすくなり、特徴点情報を増やすことで、なりすまし判定および個人認証の精度を向上させることができる。このような空間解像度の向上は、水の吸光度係数ｋが高い波長ほど拡散反射光が減少するため、水の吸光度係数が特に高くなる１２００ｎｍ以上の波長の赤外線で顕著になる。また、このように空間解像度が向上することにより、人の顔の認証精度を向上させることができる。
　［赤外線の波長範囲］
　次に、第１赤外画像の撮像に用いる赤外線の波長範囲、つまり、第１波長の波長範囲について説明する。なお、以下では第１波長について具体的な数値を説明するが、以下の説明では、１ｎｍ刻みで厳密にこの波長が必要という訳ではなく、この波長近傍、例えば、この波長から５０ｎｍ以下程度の差の波長という認識で記載する。これは、生体、光源および撮像装置の波長特性が数ｎｍレベルで急峻な応答をするわけでは無いためである。
　図７は、８５０ｎｍ、９４０ｎｍ、１０５０ｎｍ、１２００ｎｍ、１３００ｎｍ、１４５０ｎｍ、及び１５５０ｎｍにおいて人の顔を撮像した画像を示す図である。図８は、肌の色ごとの光の反射率の波長依存性を示す図である。図８には、非特許文献１に記載のデータが用いられている。図８において、肌の色ごとに線の種類を変えたグラフが示されている。
　第１波長は、例えば、１１００ｎｍ以下である。これにより、安価なシリコンセンサを含む撮像装置で撮像可能になる。また、８５０ｎｍおよび９４０ｎｍの波長は、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）等の測距システムに近年多く用いられているため、光源を含めた構成も安価に実現可能である。
　また、図７に示されるように、８５０ｎｍ、９４０ｎｍおよび１０５０ｎｍなどの波長は、皮下血管などが明瞭に見える波長である。このため、可視光画像と第１赤外画像との比較により、生体であるか、紙またはシリコーンゴム等で模倣された人工物であるかが判別できる。
　また、第１波長は、例えば、１１００ｎｍ以上である。図８に示されるように、１１００ｎｍ以上の波長では、肌の色に関わらず光の反射率がほぼ同じである。そのため、人種等による肌および髪の毛の色等の影響が出にくいため、世界規模での生体認証システムを考えた際に、堅牢な生体認証システム１を構築できる。
　また、第１波長は、例えば、１２００ｎｍ以上である。１２００ｎｍ以上の波長では、生体の水分による赤外線の吸収が大きくなり、図７に示されるように、第１赤外画像のコントラストが明瞭に付くため、なりすまし判定をより高精度に実現できる。また、生体に入射した光の反射光の、拡散反射成分に対する表面反射成分の比率が高くなり、第１赤外画像の空間解像度が高くなるため、第１赤外画像を用いた個人認証の精度も高めることができる。これらの原理については、図４から図６を用いて上述した通りである。
　また、太陽光の欠落波長の観点から第１波長を決定してもよい。図９は、地上における太陽光スペクトルを示す図である。図１０は、図９の太陽光スペクトルの一部を拡大した図である。図１１は、図９の太陽光スペクトルの別の一部を拡大した図である。図９に示されるように、地上においては、大気層および大気中の水分の光吸収により、一部の波長で太陽光の欠落波長が存在する。この欠落波長を用いることで、第１照明部４１０などの任意のアクティブ照明装置を用いた狭帯域波長での撮像時など、アクティブ照明装置からの照射光以外の意図しない環境光の撮像を回避することができる。つまり、環境光ノイズの影響の少ない、または、無い撮像が実現できる。そのため、このような第１波長を含む波長域の反射光の狭帯域波長での撮像により得られた第１赤外画像を用いることで、生体認証システム１は、なりすまし判定および個人認証の精度を向上させることができる。
　太陽光の欠落波長の観点から、第１波長は、例えば、９４０ｎｍ近傍、具体的には、９２０ｎｍ以上９８０ｎｍ以下である。図９および図１０に示されるように、９４０ｎｍ近傍の波長範囲は、地上における太陽光の波長成分が少ない波長範囲である。そのため、太陽光による影響が他の波長に比べて小さいため、太陽光による外乱を受けにくく、堅牢な生体認証システム１を構築できる。また、９２０ｎｍ以上９８０ｎｍ以下の波長範囲は、後述する波長範囲より地上への放射量は高くなるが、大気中の光の吸収も少ないため第１照明部４１０等のアクティブ照明装置の減光も少ない。また、１１００ｎｍ以下であるため、上述のように安価な構成が実現可能である。
　また、太陽光の欠落波長の観点から、第１波長は、例えば、１４００ｎｍ近傍、具体的には、１３５０ｎｍ以上１４５０ｎｍ以下である。図９および図１１に示されるように、太陽光のうち、１３５０ｎｍ以上１４５０ｎｍ以下、特に、１３５０ｎｍ以上１４００ｎｍ以下の波長範囲は、太陽光の欠落度合いが９４０ｎｍ近傍の波長と比べて顕著であり、環境光ノイズの影響が小さい。また、上述したように、１４００ｎｍ近傍の波長は、生体の水分吸収が大きくなり、コントラストが明瞭に付くため、なりすまし判定をより高精度に実現できる。また、空間解像度も向上するため、個人認証における精度も向上する。例えば、図３を用いて説明したように、１４５０ｎｍの赤外線を撮像することにより得られた画像は、水の吸収により肌の色が黒く沈んで見えるため、可視光画像と第１赤外画像とのコントラスト値の比較または輝度の比較などを行うことで被写体が生体であるか否かを容易に判定できる。
　一方、１４００ｎｍ近傍の波長では、第１照明部４１０などのアクティブ照明装置による照射光の大気中での吸収も大きい。そのため、第１照明部４１０の発光スペクトルにおける、最も短い波長を１３５０ｎｍより短波長側にシフトさせる、または、最も長い波長を１４００ｎｍより長波長側にシフトさせることにより、環境光ノイズを低減しながらも照射光の大気中での吸収を抑制した撮像を実現できる。
　また、９４０ｎｍ近傍または１４００ｎｍ近傍の太陽光の欠落波長を用いる場合、例えば、第２撮像装置３１２における分光感度ピークの半値幅を２００ｎｍ以下とする、または、当該分光感度ピークの最大分光感度の１０％となる幅を２００ｎｍ以下とすることで、所望の太陽光欠落波長を用いた狭帯域波長での撮像が可能となる。
　なお、上記の太陽光の欠落波長は一例であり、図９に示されるように、第１波長は、８５０ｎｍ、１９００ｎｍまたは２７００ｎｍを含む波長域の波長、もしくは、さらに長波長側の波長であってもよい。
　［動作］
　次に、生体認証システム１の動作について説明する。図１２は、本実施の形態に係る生体認証システム１の動作例を示すフローチャートである。図１２に示される動作例は、具体的には、生体認証システム１における処理部１００が実行する処理方法である。
　まず、第１画像取得部１１１は、可視光画像を取得する（ステップＳ１）。例えば、第１撮像装置３１１は、被写体に照射された可視光の、被写体により反射された反射光を撮像することで、可視光画像を撮像する。そして、第１画像取得部１１１は、第１撮像装置３１１によって撮像された可視光画像を取得する。
　次に、第２画像取得部１１２は、第１赤外画像を取得する（ステップＳ２）。例えば、第１照明部４１０は、被写体に対して、第１波長を含む波長範囲の赤外線を照射する。第２撮像装置３１２は、第１照明部４１０から被写体に照射され、被写体によって反射された、第１波長を含む波長域の赤外線の反射光を撮像することで、第１赤外画像を撮像する。この際、例えば、タイミング制御部５００は、第２撮像装置３１２および第１照明部４１０に第１同期信号を出力し、第２撮像装置３１２は、第１照明部４１０による赤外線の照射と同期して、第１赤外画像を撮像する。そして、第２画像取得部１１２は、第２撮像装置３１２によって撮像された第１赤外画像を取得する。
　なお、第２撮像装置３１２は、複数の第１赤外画像を撮像してもよい。例えば、第２撮像装置３１２は、タイミング制御部５００の制御によって、第１照明部４１０が赤外線を照射している場合、および、第１照明部４１０が赤外線を照射していない場合で２つの第１赤外画像を撮像する。このように撮像された２つの第１赤外画像から、判定部１２０等が差分をとることで環境光をオフセットした画像を生成し、生成した画像をなりすまし判定および個人認証に用いることができる。
　次に、判定部１２０は、第１画像取得部１１１によって取得された可視光画像、および、第２画像取得部１１２によって取得された第１赤外画像のそれぞれについて、被写体が描写されている領域である認証用領域を抽出する（ステップＳ３）。被写体が人の顔である場合、判定部１２０は、例えば、可視光画像および第１赤外画像のそれぞれについて顔検出を行い、検出された顔が描写されている領域を認証用領域として矩形に抽出する。顔検出の方法には、画像の特徴に基づいた顔検出等の公知の手法を用いることができる。
　なお、抽出する領域は、顔全体が描写された領域でなくてもよく、顔の中での代表的な部位、例えば、眉、目、頬および額のうち少なくとも１つが描写された領域を抽出してもよい。また、ステップＳ３の処理が行われず、認証用領域を抽出せずに、次の処理が行われてもよい。
　次に、判定部１２０は、ステップＳ３で認証用領域を抽出した可視光画像をグレースケール化する（ステップＳ４）。判定部１２０は、認証用領域を抽出した第１赤外画像についてもグレースケール化してもよい。この場合、例えば、認証用領域を抽出した可視光画像、および、認証用領域を抽出した第１赤外画像の両方を同じ諧調（例えば、１６諧調）にそろえてグレースケール化する。このことで、両画像の輝度スケールが揃うため、この後の処理の負荷を軽減できる。以下では、ステップＳ４までの処理が行われた可視光画像および第１赤外画像を、それぞれ、判定用可視光画像および判定用第１赤外画像と称する。
　なお、ステップＳ４の処理は、可視光画像がグレースケール画像である等の場合には、行われず、可視光画像および第１赤外画像がそのまま判定用可視光画像および判定用第１赤外画像として用いられてもよい。
　次に、判定部１２０は、判定用可視光画像および判定用第１赤外画像それぞれからコントラスト値を算出する（ステップＳ５）。具体的には、判定部１２０は、判定用可視光画像の輝度値（言い換えると画素値）に係数ａを乗算し、判定用第１赤外画像の輝度値に係数ｂを乗算する。係数ａおよび係数ｂは、判定用可視光画像と判定用第１赤外画像との明るさ等を合わせるため、撮像環境および第１波長等に応じて設定される係数である。係数ａは、例えば、係数ｂよりも小さい値に設定される。判定部１２０は、このようにして係数が乗算された判定用可視光画像および判定用第１赤外画像の輝度値を用いて、それぞれの画像のコントラスト値を算出する。画像中の最大の輝度値をＰｍａｘ、最小の輝度値をＰｍｉｎとした場合、コントラスト値＝（Ｐｍａｘ－Ｐｍｉｎ）／（Ｐｍａｘ＋Ｐｍｉｎ）で算出される。
　次に、判定部１２０は、ステップＳ５で算出した判定用可視光画像のコントラスト値と判定用第１赤外画像のコントラスト値との差が閾値以上であるか否かを判定する（ステップＳ６）。ステップＳ６での閾値は、撮像環境、第１波長および求められるなりすまし判定の目的等に応じて設定される。
　判定用可視光画像のコントラスト値と判定用第１赤外画像のコントラスト値との差が閾値以上である場合（ステップＳ６でＹｅｓ）、判定部１２０は、被写体が生体であると判定し、第１認証部１３１、第２認証部１３２および外部に判定した結果を出力する（ステップＳ７）。上述のように、被写体が生体である場合、水分による吸収等の影響で判定用第１赤外画像のコントラスト値が大きくなる。そのため、判定部１２０は、判定用第１赤外画像のコントラスト値が判定用可視光画像のコントラスト値よりも閾値以上大きい場合に生体である、言い換えると、なりすましではないと判定する。
　一方、判定用可視光画像のコントラスト値と判定用第１赤外画像のコントラスト値との差が閾値以上ではない場合（ステップＳ６でＮｏ）、判定部１２０は、被写体が生体ではないと判定し、第１認証部１３１、第２認証部１３２および外部に判定した結果を出力する（ステップＳ１１）。上述のように、被写体が人工物である場合、被写体が生体である場合と比べると、判定用第１赤外画像のコントラスト値は大きな値を示さない。そのため、判定部１２０は、判定用第１赤外画像のコントラスト値が判定用可視光画像のコントラスト値よりも閾値以上大きくない場合に生体ではない、言い換える、なりすましであると判定する。
　図１３は、なりすましではない場合の生体認証システム１によるなりすまし判定を説明するための図である。図１３に示されるように、生体認証システム１は、被写体が生体である場合、コントラスト値の大きく異なる可視光画像と第１赤外画像とを取得する。そして、上述のように、可視光画像の輝度値を係数ａ倍、第１赤外画像の輝度値を係数ｂ倍し、コントラスト値を比較することで、なりすましであるか否かを判定する。図１３に示される場合には、被写体が生体であるため、コントラスト値の差が閾値以上に大きく、生体である、つまり、なりすましではない判定結果が出力される。このように、生体認証システム１では、簡易に算出することのできるコントラスト値を用いて、精度の高いなりすまし判定を行うことができる。
　再び、図１２を参照し、第１認証部１３１は、ステップＳ７で判定部１２０によって被写体が生体であると判定された判定結果を取得すると、可視光画像に基づいて被写体の個人認証を行い、個人認証を行った結果を外部に出力する（ステップＳ８）。第１認証部１３１は、例えば、記憶部２００の個人認証データベースに登録されている被写体の描写された画像と可視光画像とを照合することで、認証するか否かの個人認証を行う。個人認証の方法としては、機械学習等を利用し、特徴点の抽出および分類等を行う公知の方法を用いることができる。被写体が人の顔である場合、例えば、目、鼻および口などの顔の特徴点を抽出し、これらの位置および大きさ等に基づいて照合を行うことで、個人認証を行う。このように、第１認証部１３１が可視光画像に基づいて被写体の個人認証を行うことで、充実した可視光画像のデータベース等を利用できるため、生体認証システム１は、高い精度の個人認証を行うことができる。
　次に、第２認証部１３２は、ステップＳ７で判定部１２０によって被写体が生体であると判定された判定結果を取得すると、第１赤外画像に基づいて被写体の個人認証を行い、個人認証を行った結果を外部に出力する（ステップＳ９）。第２認証部１３２が行う個人認証の方法には、例えば、第１認証部１３１と同じ方法が用いられる。上述のように、赤外線は、可視光よりも生体に入射した光の反射光の、拡散反射成分に対する表面反射成分の比率が高いため、第１赤外画像は、可視光画像よりも空間解像度が高くなる。そのため、高い空間解像度の第１赤外画像に基づいて生体認証を行うことで、高い精度の個人認証を行うことができる。
　次に、情報構築部１４０は、第１認証部１３１によって個人認証が行われた結果に関する情報と、第２認証部１３２によって個人認証が行われた結果に関する情報とを紐づけて、記憶部２００に格納する（ステップＳ１０）。情報構築部１４０は、例えば、個人認証によって認証された可視光画像と第１赤外画像とを紐づけて、記憶部２００の個人認証データベースに登録する。情報構築部１４０によって格納される情報は、なりすましではない信頼性の高い個人認証が行われた結果に関する情報である。これにより、可視光画像よりも空間解像度が高いものの、情報量の少ない赤外画像を含むデータベースを拡充することができ、これらの情報を用いて機械学習等を行うことで、より精度の高い個人認証が可能な生体認証システム１を構築できる。ステップＳ１０の後、生体認証システム１の処理部１００は、処理を終了する。
　一方、ステップＳ１１で判定部１２０によって被写体が生体ではないと判定されると、生体認証システム１の処理部１００は、処理を終了する。つまり、第１認証部１３１および第２認証部１３２は、判定部１２０が、被写体が生体ではないと判定した場合には、被写体の個人認証を行わない。このように、被写体がなりすましでない場合には個人認証を行うが、被写体がなりすましである場合には個人認証を行わないため、処理部１００における処理負荷が軽減される。
　なお、第１認証部１３１および第２認証部１３２は、判定部１２０による判定結果に関わらず、個人認証を行ってもよい。この場合、判定部１２０による判定結果を待つことなく個人認証を行うことが可能である。そのため、なりすまし判定と個人認証とを並列化して行うことが可能になり、処理部１００における処理速度が向上する。
　以上のように、生体認証システム１は、可視光画像と第１赤外画像とに基づいて、被写体が生体であるか否かを判定する。これにより、２種類の画像のみでなりすましの判定が可能である。そのため、生体認証システム１を小型化できる。また、なりすましの場合の被写体が平面形状であっても立体形状であっても、可視光画像と第１赤外画像とのコントラスト等の違いによってなりすまし判定が容易にできるため、なりすまし判定を精度よく行うことができる。よって、生体認証システム１によれば、認証精度が高く、装置の小型化が可能である。
　［変形例］
　次に、実施の形態１の変形例に係る生体認証システムについて説明する。以下の本変形例の説明において、実施の形態１との相違点を中心に説明し、共通点の説明を省略または簡素化する。
　図１４は、本変形例に係る生体認証システム２の機能構成を示すブロック図である。
　図１４に示されるように、本変形例に係る生体認証システム２は、実施の形態１に係る生体認証システム１と比較して、撮像部３００の代わりに撮像部３０１を備える点が異なる。
　撮像部３０１は、可視光画像および第１赤外画像を撮像する第３撮像装置３１３を有する。第３撮像装置３１３は、例えば、後述する、可視光と赤外線とに分光感度を有する光電変換層を有する撮像装置によって実現される。また、第３撮像装置３１３は、ＩｎＧａＡｓカメラ等の可視光と赤外線との両方に分光感度を有するカメラであってもよい。撮像部３０１が第３撮像装置３１３を有することで、１つの撮像装置で可視光画像および第１赤外画像の両方が撮像されるため、生体認証システム２を小型化できる。また、第３撮像装置３１３が可視光画像および第１赤外画像の両方を同軸で撮像できるため、可視光画像と第１赤外画像とで視差の影響を抑制でき、生体認証システム２における認証精度を向上できる。
　また、生体認証システム２において、第１画像取得部１１１は第３撮像装置３１３から可視光画像を取得し、第２画像取得部１１２は第３撮像装置３１３から第１赤外画像を取得する。
　また、生体認証システム２において、タイミング制御部５００は、撮像部３０１による撮像のタイミングと、第１照明部４１０による照射のタイミングとを制御する。タイミング制御部５００は、例えば、第３撮像装置３１３および第１照明部４１０に対して第１同期信号を出力する。第３撮像装置３１３は、第１同期信号に基づいたタイミングで第１赤外画像を撮像する。第１照明部４１０は、第１同期信号に基づいたタイミングで赤外線を照射する。これにより、タイミング制御部５００は、第１照明部４１０に赤外線を被写体に照射させている間に、第３撮像装置３１３に第１赤外画像を撮像させる。
　生体認証システム２は、例えば、第１画像取得部１１１および第２画像取得部１１２が、それぞれ、第３撮像装置３１３から可視光画像および第１赤外画像を取得する以外、上述の生体認証システム１の動作と同様の動作を行う。
　次に、第３撮像装置３１３の具体的な構成例について説明する。
　図１５は、本変形例に係る第３撮像装置３１３の例示的な構成を示す図である。図１５に示される第３撮像装置３１３は、半導体基板６０に形成された複数の画素１０および周辺回路を有する。本変形例において、第３撮像装置３１３は、例えば、光電変換層および電極等が積層された積層型の撮像装置である。
　各画素１０は、例えば、半導体基板６０の上方に配置された後述する第１光電変換層１２を含む。第１光電変換層１２は、光の入射を受けて正および負の電荷、例えば、正孔－電子対を発生させる光電変換部である。なお、図１５では、各画素１０が空間的に互いに分離されているように図示されているが、これは説明の便宜に過ぎず、複数の画素１０が互いに間隔をあけずに半導体基板６０上に連続的に配置されることもあり得る。また、各画素１０には、光電変換部として半導体基板６０に形成されたフォトダイオードが含まれていてもよい。
　図１５に示す例では、複数の画素１０は、ｍ行ｎ列の複数の行および列に配列されている。ここで、ｍ、ｎは、独立して１以上の整数を表す。画素１０は、半導体基板６０に例えば２次元に配列されることにより、撮像領域Ｒ１を形成する。撮像領域Ｒ１には、例えば、透過波長範囲が互いに異なる後述する光学フィルタ２２を有する、第１波長を含む波長範囲の赤外線用、青色光用、緑色光用および赤色光用それぞれの画素１０が配列されている。これによって、第１波長を含む波長範囲の赤外線、青色光、緑色光および赤色光それぞれに基づく画像信号が、分離して読み出される。第３撮像装置３１３は、これらの画像信号を用いて、可視光画像および第１赤外画像を生成する。
　複数の画素１０の数および配置は、図示する例に限定されない。この例では、各画素１０の中心が正方格子の格子点上に位置しているが、例えば、各画素１０の中心が、三角格子、六角格子などの格子点上に位置するように複数の画素１０を配置してもよい。
　周辺回路は、例えば、垂直走査回路４２、水平信号読み出し回路４４、制御回路４６、信号処理回路４８および出力回路５０を含む。また、周辺回路は、例えば、画素１０などに対して所定の電圧を供給する電圧供給回路をさらに含んでいてもよい。
　垂直走査回路４２は、行走査回路とも呼ばれ、複数の画素１０の各行に対応して設けられたアドレス信号線３４との接続を有する。複数の画素１０の各行に対応して設けられる信号線は、アドレス信号線３４に限定されず、垂直走査回路４２には、複数の画素１０の行ごとに複数の種類の信号線が接続されてもよい。垂直走査回路４２は、アドレス信号線３４に所定の電圧を印加することにより、画素１０を行単位で選択し、例えば、信号電圧の読み出し、および、リセット動作を行う。
　水平信号読み出し回路４４は、列走査回路とも呼ばれ、複数の画素１０の各列に対応して設けられた垂直信号線３５との接続を有する。垂直走査回路４２によって行単位で選択された画素１０からの出力信号は、垂直信号線３５を介して水平信号読み出し回路４４に読み出される。水平信号読み出し回路４４は、画素１０から読み出された出力信号に対し、相関二重サンプリングに代表される雑音抑圧信号処理およびアナログ－デジタル変換（ＡＤ変換）などを行う。
　制御回路４６は、第３撮像装置３１３の例えば外部から与えられる指令データ、クロックなどを受け取って第３撮像装置３１３の全体を制御する。制御回路４６は、例えば、タイミングジェネレータを有し、垂直走査回路４２、水平信号読み出し回路４４および電圧供給回路などに駆動信号を供給する。制御回路４６は、例えば、プログラムを内蔵する１以上のプロセッサを含むマイクロコントローラによって実現される。制御回路４６の機能は、汎用の処理回路とソフトウェアとの組み合わせによって実現されてもよいし、このような処理に特化したハードウェアによって実現されてもよい。
　信号処理回路４８は、画素１０から取得された画像信号に各種の処理を施す。本明細書において、「画像信号」は、垂直信号線３５を介して読み出される信号のうち、画像の形成に用いられる出力信号を指す。信号処理回路４８は、例えば、水平信号読み出し回路４４によって読み出された画像信号に基づき、画像を生成する。具体的には、信号処理回路４８は、可視光を光電変換する複数の画素１０からの画像信号に基づいて可視光画像を生成し、赤外線を光電変換する複数の画素１０からの画像信号に基づいて第１赤外画像を生成する。信号処理回路４８の出力は、出力回路５０を介して第３撮像装置３１３の外部に読み出される。信号処理回路４８は、例えば、プログラムを内蔵する１以上のプロセッサを含むマイクロコントローラによって実現される。信号処理回路４８の機能は、汎用の処理回路とソフトウェアとの組み合わせによって実現されてもよいし、このような処理に特化したハードウェアによって実現されてもよい。
　次に、第３撮像装置３１３の画素１０の断面構造について説明する。図１６は、本変形例に係る第３撮像装置３１３の画素１０の断面構造を示す概略断面図である。複数の画素１０のそれぞれは、光学フィルタ２２における透過波長が異なる場合がある以外は同じ構造である。なお、複数の画素１０のうち、光学フィルタ２２以外にも異なる構造を有する画素１０が存在していてもよい。
　図１６に示されるように、画素１０は、半導体基板６０と、半導体基板６０の上方に位置し、それぞれが半導体基板６０に電気的に接続される画素電極１１と、画素電極１１の上方に位置する対向電極１３と、画素電極１１と対向電極１３との間に位置する第１光電変換層１２と、対向電極１３の上方に位置する光学フィルタ２２と、画素電極１１に電気的に接続され、第１光電変換層１２で生成した信号電荷を蓄積する電荷蓄積ノード３２と、を備える。また、画素１０は、対向電極１３と光学フィルタ２２との間に位置する封止層２１と、第１光電変換層１２を挟んで対向電極１３と対向する補助電極１４とを備えていてもよい。画素１０には、半導体基板６０の上方から光が入射する。
　半導体基板６０は、例えば、ｐ型シリコン基板等のシリコンで構成される基板である。半導体基板６０は、その全体が半導体である基板に限定されない。半導体基板６０には、図１６においては図示が省略されているが、第１光電変換層１２によって生成された信号電荷を検出するためのトランジスタ等の信号検出回路が設けられる。電荷蓄積ノード３２は、例えば、信号検出回路の一部であり、電荷蓄積ノード３２に蓄積された信号電荷の量に対応した信号電圧が読み出される。
　半導体基板６０上には、層間絶縁層７０が配置されている。層間絶縁層７０は、例えば、二酸化シリコンなどの絶縁性材料から形成される。図示は省略されているが、層間絶縁層７０中には、例えば上述の垂直信号線３５などの信号線または電源線をその一部に含みうる。また、層間絶縁層７０中には、プラグ３１が設けられている。プラグ３１は、導電性材料を用いて形成されている。
　画素電極１１は、第１光電変換層１２で生成された信号電荷を捕集するための電極である。画素電極１１は、画素１０ごとに少なくとも１つ存在する。画素電極１１は、プラグ３１を介して電荷蓄積ノード３２に電気的に接続されている。画素電極１１で捕集された信号電荷は、電荷蓄積ノード３２に蓄積される。画素電極１１は、導電性材料を用いて形成されている。導電性材料は、例えば、アルミニウム、銅などの金属、金属窒化物、または、不純物がドープされることにより導電性が付与されたポリシリコンである。
　第１光電変換層１２は、可視光および第１波長を含む波長範囲の赤外線を吸収し、光電荷を発生させる層である。つまり、第１光電変換層１２は、第１波長および可視光の波長範囲に分光感度を有する。具体的には、第１光電変換層１２は、入射する光を受けて正孔－電子対を発生させる。信号電荷は、正孔および電子のいずれか一方である。信号電荷が画素電極１１によって捕集される。信号電荷の逆極性の電荷が対向電極１３によって捕集される。なお、本明細書において、ある波長に分光感度を有するとは、当該波長の外部量子効率が１％以上であることを示す。
　このように、第１光電変換層１２が第１波長および可視光の波長範囲に分光感度を有することで、第３撮像装置３１３は、可視光画像および第１赤外画像を撮像できる。第１光電変換層１２は、例えば、第１波長に分光感度ピークを有する。
　第１光電変換層１２は、第１波長を含む波長範囲および可視光の波長範囲の光を吸収し、正孔－電子対を発生させるドナー材料を含む。第１光電変換層１２に含まれるドナー材料は、例えば、半導体性の無機材料、または、半導体性の有機材料である。具体的に、第１光電変換層１２に含まれるドナー材料としては、例えば、半導体量子ドット、半導体型カーボンナノチューブおよび有機半導体材料等が挙げられる。第１光電変換層１２には、１種類のドナー材料が含まれていてもよく、複数種のドナー材料が含まれていてもよい。第１光電変換層１２に複数種のドナー材料が含まれる場合、例えば、第１波長を含む波長範囲の赤外線を吸収するドナー材料と可視光を吸収するドナー材料とが混合して用いられる。
　第１光電変換層１２は、例えば、ドナー材料として半導体量子ドットを含む。半導体量子ドットは、三次元的な量子閉じ込め効果を示す材料である。半導体量子ドットは、２ｎｍから１０ｎｍ程度の直径を有するナノクリスタルであり、数十個程度の原子で構成される。半導体量子ドットの材料は、例えば、ＳｉもしくはＧｅなどのＩＶ族半導体、ＰｂＳ、ＰｂＳｅもしくはＰｂＴｅなどのＩＶ－ＶＩ族半導体、ＩｎＡｓもしくはＩｎＳｂなどのＩＩＩ－Ｖ族半導体、または、ＨｇＣｄＴｅもしくはＰｂＳｎＴｅなどの３元混晶体である。
　第１光電変換層１２に用いられる半導体量子ドットは、例えば、赤外線の波長範囲および可視光の波長範囲の光を吸収する特性を有する。半導体量子ドットの吸光ピーク波長は、半導体量子ドットのエネルギーギャップに由来するものであり、半導体量子ドットの材料および粒径で制御可能である。そのため、半導体量子ドットが用いられることで、第１光電変換層１２が分光感度を有する波長を容易に調整できる。また、半導体量子ドットにおける赤外線の波長範囲の吸光ピークは、半値幅が２００ｎｍ以下の急峻なピークであり、半導体量子ドットが用いられることで、赤外線の波長範囲における狭帯域波長での撮像が可能となる。なお、半導体型カーボンナノチューブ等の材料も、量子閉じ込め効果を示すため、半導体量子ドットと同様に赤外線の波長範囲の吸光ピークが急峻である。量子閉じ込め効果を示す材料を用いることで、赤外線の波長範囲における狭帯域波長での撮像が可能である。
　赤外線の波長範囲に吸光ピークを示す半導体量子ドットの材料としては、例えば、ＰｂＳ、ＰｂＳｅ、ＰｂＴｅ、ＩｎＡｓ、ＩｎＳｂ、Ａｇ２Ｓ、Ａｇ２Ｓｅ、Ａｇ２Ｔｅ、ＣｕＳ、ＣｕＩｎＳ２、ＣｕＩｎＳｅ２、ＡｇＩｎＳ２、ＡｇＩｎＳｅ２、ＡｇＩｎＴｅ２、ＺｎＳｎＡｓ２、ＺｎＳｎＳｂ２、ＣｄＧｅＡｓ２、ＣｄＳｎＡｓ２、ＨｇＣｄＴｅおよびＩｎＧａＡｓ等が挙げられる。第１光電変換層１２に用いられる半導体量子ドットは、例えば、第１波長に吸光ピークを有する。
　図１７は、画素１０の分光感度曲線の例を示す模式図である。図１７には、半導体量子ドットが含まれる第１光電変換層１２の外部量子効率と光の波長との関係が示されている。図１７に示されるように、第１光電変換層１２は、半導体量子ドットにおける吸光波長に対応した、可視光の波長範囲と赤外線の波長範囲とに分光感度を有する。このように、第１光電変換層１２が、半導体量子ドットを含むことで、赤外線の波長範囲および可視光の波長範囲に分光感度を有するため、第３撮像装置３１３は、光電変換層として１層の第１光電変換層１２を備えるだけで、可視光画像および第１赤外画像を撮像できる。
　なお、第１光電変換層１２には、粒径の異なる複数種の半導体量子ドットおよび／または材料の異なる複数種の半導体量子ドットが含まれていてもよい。
　また、第１光電変換層１２は、ドナー材料から電子を受容するアクセプタ材料をさらに含んでいてもよい。これにより、ドナー材料で発生した正孔－電子対から、電子がアクセプタ材料に移動するため、正孔－電子対の再結合が抑制され、第１光電変換層１２の外部量子効率が向上する。アクセプタ材料としては、例えば、Ｃ６０（フラーレン）およびＰＣＢＭ（フェニルＣ６１酪酸メチルエステル）、ＩＣＢＡ（インデンＣ６０ビス付加体）等のＣ６０誘導体、ならびに、ＴｉＯ２、ＺｎＯおよびＳｎＯ２などの酸化物半導体が用いられる。
　対向電極１３は、例えば、透明な導電性材料から形成される透明電極である。対向電極１３は、第１光電変換層１２において光が入射される側に配置される。したがって、第１光電変換層１２には、対向電極１３を透過した光が入射する。なお、本明細書における「透明」は、検出しようとする波長範囲の光の少なくとも一部を透過することを意味し、可視光および赤外線の波長範囲全体にわたって光を透過することは必須ではない。
　対向電極１３は、例えば、ＩＴＯ、ＩＺＯ、ＡＺＯ、ＦＴＯ、ＳｎＯ２、ＴｉＯ２、ＺｎＯなどの透明導電性酸化物（ＴＣＯ：Ｔｒａｎｓｐａｒｅｎｔ　Ｃｏｎｄｕｃｔｉｎｇ　Ｏｘｉｄｅ）を用いて形成される。対向電極１３には、例えば電圧供給回路から電圧が印加される。電圧供給回路が対向電極１３に印加する電圧を調整することにより、対向電極１３と画素電極１１との電位差を所望の電位差に設定および維持することができる。
　また、対向電極１３は、例えば、複数の画素１０にまたがって形成されている。したがって、電圧供給回路から所望の大きさの制御電圧を複数の画素１０の間に一括して印加することが可能である。なお、電圧供給回路から所望の大きさの制御電圧を印加することができれば、対向電極１３は、画素１０ごとに分離して設けられていてもよい。
　このように、画素電極１１の電位に対する対向電極１３の電位が制御されることにより、光電変換によって第１光電変換層１２内に生じた正孔－電子対のうち正孔および電子のいずれか一方を、信号電荷として画素電極１１によって捕集することができる。例えば信号電荷として正孔を利用する場合、画素電極１１よりも対向電極１３の電位を高くすることにより、画素電極１１によって正孔を選択的に捕集することが可能である。以下では、信号電荷として正孔を利用する場合について説明する。なお、信号電荷として電子を利用することも可能であり、この場合、画素電極１１よりも対向電極１３の電位を低くすればよい。
　補助電極１４は、図１６において図示が省略されている外部の回路等に電気的に接続され、第１光電変換層１２で生成された信号電荷の一部を捕集する電極である。例えば、隣接する画素１０間の第１光電変換層１２で生成された信号電荷を捕集することで、隣接する画素１０間の混色を抑制できる。これにより、第３撮像装置３１３によって撮像される可視光画像および第１赤外画像の画質が向上するため、生体認証システム２における認証精度が向上する。補助電極１４は、例えば、画素電極１１の説明で例示した導電性材料を用いて形成される。
　光学フィルタ２２は、例えば、各画素１０に対応して、画素１０毎に設けられている。例えば、各画素１０に対応する透過波長範囲を有する光学フィルタ２２が、各画素１０に設けられる。可視光画像生成のための青色光用、緑色光用および赤色光用の画素１０において、光学フィルタ２２の透過波長範囲は、それぞれの光色に対応する波長範囲である。第１赤外画像生成のための画素１０において、光学フィルタ２２の透過波長範囲は、赤外線のうち第１波長を含む波長範囲である。
　光学フィルタ２２は、例えば、ある波長よりも短い波長の光を遮断し、当該波長よりも長い波長の光を透過させるロングパスフィルタであってもよく、特定の波長範囲の光のみを透過させ、当該波長範囲よりも短い波長の光および長い波長の光を遮断するバンドパスフィルタであってもよい。また、光学フィルタ２２は、色つきガラス等を用いた吸光式のフィルタであってもよく、誘電体多層膜を積層した反射式のフィルタであってもよい。
　以上のような第３撮像装置３１３は、例えば、一般的な半導体製造プロセスを用いて製造することができる。特に、半導体基板６０としてシリコン基板を用いる場合には、種々のシリコン半導体プロセスを利用することによって製造することができる。
　なお、第３撮像装置３１３における画素構造は、可視光画像および第１赤外画像を撮像できる構成であれば、上述の画素１０に限らない。図１８は、本変形例に係る第３撮像装置３１３の別の画素１０ａの断面構造を示す概略断面図である。第３撮像装置３１３は、複数の画素１０の代わりに複数の画素１０ａを備えていてもよい。
　図１８に示されるように、画素１０ａは、上述の画素１０の構成に加えて、正孔輸送層１５および正孔ブロッキング層１６を備える。
　正孔輸送層１５は、画素電極１１と第１光電変換層１２との間に位置する。正孔輸送層１５は、第１光電変換層１２で生成した信号電荷である正孔を画素電極１１へ輸送する機能を有する。また、正孔輸送層１５は、画素電極１１から第１光電変換層１２への電子の注入を抑制してもよい。
　正孔ブロッキング層１６は、対向電極１３と第１光電変換層１２との間に位置する。正孔ブロッキング層１６は、対向電極１３から第１光電変換層１２への正孔の注入を抑制する機能を有する。また、正孔ブロッキング層１６は、第１光電変換層１２で生成した信号電荷とは逆の電荷である電子を対向電極１３へ輸送する。
　正孔輸送層１５および正孔ブロッキング層１６それぞれの材料は、例えば、隣接する層との間の、接合強度、イオン化ポテンシャルの差および電子親和力の差等を考慮して公知の材料から選択される。
　画素１０ａが正孔輸送層１５および正孔ブロッキング層１６を備えることにより、暗電流の発生を抑制できるため、第３撮像装置３１３によって撮像される可視光画像および第１赤外画像の画質が向上する。よって、生体認証システム２における認証精度を向上できる。
　なお、信号電荷として電子を利用する場合には、例えば、正孔輸送層１５および正孔ブロッキング層１６の代わりに、電子輸送層および電子ブロッキング層が用いられる。
　また、第３撮像装置３１３における画素構造は、複数の光電変換層を備える構造であってもよい。図１９は、本変形例に係る第３撮像装置３１３のさらに別の画素１０ｂの断面構造を示す概略断面図である。第３撮像装置３１３は、複数の画素１０の代わりに複数の画素１０ｂを備えていてもよい。
　図１９に示されるように、画素１０ｂは、上述の画素１０の構成に加えて、第２光電変換層１７を備える。
　第２光電変換層１７は、第１光電変換層１２と画素電極１１との間に位置する。第２光電変換層１７は、可視光を吸収し、光電荷を発生させる層である。第２光電変換層１７は、例えば、可視光の全波長範囲にわたって分光感度を有する。なお、本明細書において、可視光の全波長範囲とは、可視光の実質的な全波長範囲であればよい。具体的には、可視光画像の撮像に必要のない波長、例えば、青色の輝度値を出力するための波長よりも短い波長、および、赤色の輝度値を出力するための波長よりも長い波長は、当該波長範囲に含まれなくてもよい。
　第２光電変換層１７は、可視光の全波長範囲の光を吸収して正孔－電子対を発生させるドナー材料を含む。第２光電変換層１７に含まれるドナー材料としては、例えば、可視光の波長範囲に高い吸光度係数を有するｐ型半導体材料が用いられる。例えば、２－｛［７－（５－Ｎ，Ｎ－Ｄｉｔｏｌｙｌａｍｉｎｏｔｈｉｏｐｈｅｎ－２－ｙｌ）－２，１，３－ｂｅｎｚｏｔｈｉａｄｉａｚｏｌ－４－ｙｌ］ｍｅｔｈｙｌｅｎｅ｝ｍａｌｏｎｏｎｉｔｒｉｌｅ（ＤＴＤＣＴＢ）は、波長７００ｎｍ近傍に吸光ピークを有し、銅フタロシアニンおよびサブフタロシアニンは、それぞれ、波長６２０ｎｍ近傍および波長５８０ｎｍ近傍に吸光ピークを有し、ルブレンは、波長５３０ｎｍ近傍に吸光ピークを有し、α－セキシチオフェンは、波長４４０ｎｍ近傍に吸光ピークを有する。すなわち、これらの有機ｐ型半導体材料の吸光ピークは、可視光の波長範囲にあり、例えばこれらを第２光電変換層１７のドナー材料として用いることができる。また、有機ｐ型半導体材料等の有機材料が用いられる場合、第２光電変換層１７よりも光の入射側に第１光電変換層１２が位置することで、第１光電変換層１２によって、一部の可視光も吸収されるため、有機材料の劣化が抑制され、第２光電変換層１７の耐久性が高められる。
　図２０は、画素１０ｂの分光感度曲線の例を示す模式図である。図２０のbu部分（ａ）には、第１光電変換層１２の外部量子効率と光の波長との関係が示されている。また、図２０の部分（ｂ）には、第２光電変換層１７の外部量子効率と光の波長との関係が示されている。また、図２０の部分（ｃ）には、第１光電変換層１２と第２光電変換層１７との感度を合成した場合、つまり、画素１０ｂ全体の外部量子効率と光の波長との関係が示されている。
　図２０の部分（ａ）に示されるように、第１光電変換層１２は、可視光および赤外線の波長範囲に分光感度を有し、図２０の部分（ｂ）に示されるように、第２光電変換層１７は、第１光電変換層１２が分光感度を有する可視光の波長範囲よりも広い可視光の波長範囲に分光感度を有する。そのため、図２０の部分（ｃ）に示されるように、画素１０ｂ全体としては、赤外線の波長範囲および可視光の全波長範囲に分光感度を有する。このように、画素１０ｂが第１光電変換層１２および第２光電変換層１７を備えることで、幅広い波長範囲で分光感度が高くなり、可視光画像および第１赤外画像の画質が向上する。また、第１光電変換層１２および第２光電変換層１７それぞれの材料が１つの光電変換層に含まれる場合と比べて、材料同士の干渉による感度低下、および、隣接する画素１０ｂ間での混色等を抑制できる。
　なお、第２光電変換層１７は、第１光電変換層１２と対向電極１３との間に位置していてもよい。この場合、第２光電変換層１７によって可視光が吸収されるため、第１光電変換層１２の光電変換における可視光の影響が低減できるため、撮像される第１赤外画像の画質が向上する。また、画素１０ｂは、可視光に分光感度を有する第２光電変換層１７を備えるため、第１光電変換層１２は、可視光に分光感度を有していなくてもよい。また、画素１０ｂは、画素１０ａと同様の正孔輸送層１５および正孔ブロッキング層１６を備えていてもよい。
　（実施の形態２）
　次に、実施の形態２の変形例に係る生体認証システムについて説明する。以下の実施の形態２の説明において、実施の形態１および実施の形態１の変形例との相違点を中心に説明し、共通点の説明を省略または簡略化する。
　［構成］
　本実施の形態に係る生体認証システムの構成について説明する。図２１は、本実施の形態に係る生体認証システム３の機能構成を示すブロック図である。
　図２１に示されるように、本実施の形態に係る生体認証システム３は、実施の形態１に係る生体認証システム１と比較して、処理部１００および撮像部３００の代わりに、処理部１０２および撮像部３０２を備える点、ならびに、第２照明部４２０をさらに備える点で相違する。
　処理部１０２は、上述の処理部１００の構成に加えて、メモリ６００に含まれる第３画像取得部１１３を有する。
　第３画像取得部１１３は、被写体の第２赤外画像を取得する。第３画像取得部１１３は、被写体の第２赤外画像を一時的に保存する。第２赤外画像は、被写体に照射された赤外線の被写体による反射によって生じた、第１波長とは異なる第２波長を含む波長域を有する反射光を撮像することにより得られる。第３画像取得部１１３は、例えば、撮像部３０２、具体的には撮像部３０２の第４撮像装置３１４から、第２赤外画像を取得する。
　生体認証システム３においては、判定部１２０は、第１画像取得部１１１によって取得された可視光画像と、第２画像取得部１１２によって取得された第１赤外画像と、第３画像取得部１１３によって取得された第２赤外画像とに基づいて、被写体が生体であるか否かを判定する。
　撮像部３０２は、上述の撮像部３００の構成に加えて、第４撮像装置３１４を有する。
　第４撮像装置３１４は、被写体の描写された第２赤外画像を撮像する。第４撮像装置３１４には、被写体に照射され、被写体により反射された赤外線である、第２波長を含む波長域を有する反射光が入射する。第４撮像装置３１４は、入射した当該反射光を撮像して第２赤外画像を生成する。第４撮像装置３１４は、撮像した第２赤外画像を出力する。第４撮像装置３１４は、例えば、分光感度を有する波長が異なる以外は、第２撮像装置３１２と同様の構成である。第２波長を選択する考え方は、上述した第１波長を選択する場合と同様の考え方である。第２波長には、例えば、第１波長を選択する場合と同様の考え方に基づいた上で、第１波長とは水の吸光度係数が異なる波長が選択される。また、第４撮像装置３１４は、複数の画素の全ての露光期間が統一されるグローバルシャッタ方式で動作する撮像装置であってもよい。
　第２照明部４２０は、照射光として、第２波長を含む波長範囲の赤外線を被写体に照射する照明装置である。第２照明部４２０によって照射され、被写体により反射された赤外線である反射光が、第４撮像装置３１４によって撮像される。第２照明部４２０は、例えば、第２波長近傍に発光ピークを有する赤外線を照射する。第２照明部４２０は、例えば、照射光の波長が異なる以外は、第１照明部４１０と同様の構成である。
　なお、生体認証システム３は、第１照明部４１０および第２照明部４２０の機能が一体化された１つの照明装置を備えていてもよい。この場合、照明装置は、第１波長および第２波長を含む波長範囲の赤外線を被写体に照射する。また、この場合の照明装置は、例えば、第１波長近傍に発光ピークを有するＬＥＤ等の第１発光素子、および、第２波長近傍に発光ピークを有するＬＥＤ等の第２発光素子を含み、第１発光素子と第２発光素子とを切り替えて発光させる構成であってもよい。第１発光素子と第２発光素子とは、例えば、千鳥状に配置される。また、この場合の照明装置は、赤外線の波長範囲にブロードな発光スペクトルを有するハロゲン光源を含む構成であってもよい。このような一体化された照明装置が備えられる場合には、第１波長を含む波長範囲の赤外線と第２波長を含む波長範囲の赤外線とが同軸で被写体に照射されるため、照射光による影の出方等の差を低減できる。
　生体認証システム３においては、タイミング制御部５００は、撮像部３０２による撮像のタイミングと、第１照明部４１０による照射のタイミングと、第２照明部４２０による照射のタイミングとを制御する。タイミング制御部５００は、例えば、第２撮像装置３１２および第１照明部４１０に対して第１同期信号を出力し、第４撮像装置３１４および第２照明部４２０に対して第１同期信号とは別の第２同期信号を出力する。第２撮像装置３１２は、第１同期信号に基づいたタイミングで第１赤外画像を撮像する。第１照明部４１０は、第１同期信号に基づいたタイミングで赤外線を照射する。第４撮像装置３１４は、第２同期信号に基づいたタイミングで第２赤外画像を撮像する。第２照明部４２０は、第２同期信号に基づいたタイミングで赤外線を照射する。これにより、タイミング制御部５００は、第１照明部４１０に赤外線を被写体に照射させている間に、第２撮像装置３１２に第１赤外画像を撮像させ、第２照明部４２０に赤外線を被写体に照射させている間に、第４撮像装置３１４に第２赤外画像を撮像させる。また、タイミング制御部５００は、例えば、第１同期信号と第２同期信号とを異なるタイミング、具体的には、第１照明部４１０と第２照明部４２０とが赤外線を照射している時間が重ならないようなタイミングで出力する。これにより、目的とは異なる波長の赤外線の影響が低減された第１赤外画像と第２赤外画像とが撮像される。
　［動作］
　次に、生体認証システム３の動作について説明する。図２２は、本実施の形態に係る生体認証システム３の動作例を示すフローチャートである。図２２に示される動作例は、具体的には、生体認証システム３における処理部１０２が実行する処理方法である。
　まず、第１画像取得部１１１は、可視光画像を取得する（ステップＳ２１）。次に、第２画像取得部１１２は、第１赤外画像を取得する（ステップＳ２２）。ステップＳ２１およびステップＳ２２では、上述のステップＳ１およびステップＳ２と同様の動作が行われる。
　次に、第３画像取得部１１３は、第２赤外画像を取得する（ステップＳ２３）。例えば、第２照明部４２０は、被写体に対して、第２波長を含む波長範囲の赤外線を照射する。第４撮像装置３１４は、第２照明部４２０から被写体に照射され、被写体により反射された赤外線である、第２波長を含む波長域を有する反射光を撮像することで、第２赤外画像を撮像する。この際、例えば、タイミング制御部５００は、第４撮像装置３１４および第２照明部４２０に第２同期信号を出力し、第４撮像装置３１４は、第２照明部４２０による赤外線の照射と同期して、第２赤外画像を撮像する。そして、第３画像取得部１１３は、第４撮像装置３１４によって撮像された第２赤外画像を取得する。
　なお、第４撮像装置３１４は、複数の第２赤外画像を撮像してもよい。例えば、第４撮像装置３１４は、タイミング制御部５００の制御によって、第２照明部４２０が赤外線を照射している場合、および、第２照明部４２０が赤外線を照射していない場合で２つの第２赤外画像を撮像する。このように撮像された２つの第２赤外画像から、判定部１２０等が差分をとることで環境光をオフセットした画像を生成し、生成した画像をなりすまし判定および個人認証に用いることができる。
　次に、判定部１２０は、第１赤外画像と第２赤外画像とから差分赤外画像を生成する（ステップＳ２４）。判定部１２０は、例えば、第１赤外画像と第２赤外画像との輝度値の差分を算出する、または、輝度値の比を算出する等によって、差分赤外画像を生成する。
　第１波長が太陽光の欠落波長であり、かつ、水に吸光されやすい１４００ｎｍであり、第２波長が１５５０ｎｍであるとした場合、被写体を撮像した第１赤外画像が水による吸収のために暗く撮像されているのか、照射光の影となっているために暗く撮像されているのか等、判定が困難な場合が生じる。そのため、第１赤外画像と第２赤外画像との差分赤外画像を生成することで、暗く撮像されている原因が照射光の影である場合の影響を除去でき、水による吸収の原理を用いたなりすまし判定の精度を向上させることができる。
　次に、判定部１２０は、第１画像取得部１１１によって取得された可視光画像、および、生成した差分赤外画像のそれぞれについて、被写体が描写されている領域である認証用領域を抽出する（ステップＳ２５）。認証用領域の抽出では、上述のステップＳ３と同様の処理が行われる。
　次に、判定部１２０は、ステップＳ２５で認証用領域を抽出した可視光画像をグレースケール化する（ステップＳ２６）。判定部１２０は、認証用領域を抽出した差分赤外画像についてもグレースケール化してもよい。この場合、例えば、認証用領域を抽出した可視光画像、および、認証用領域を抽出した差分赤外画像の両方を同じ諧調（例えば、１６諧調）にそろえてグレースケール化する。以下では、ステップＳ２６までの処理が行われた可視光画像および差分赤外画像を、それぞれ、判定用可視光画像および判定用差分赤外画像と称する。
　次に、判定部１２０は、判定用可視光画像および判定用差分赤外画像それぞれからコントラスト値を算出する（ステップＳ２７）。判定部１２０によるコントラスト値の算出は、判定用第１赤外画像が判定用差分赤外画像に変わる以外は、上述のステップＳ５と同様の方法で行われる。
　次に、判定部１２０は、ステップＳ２７で算出した判定用可視光画像のコントラスト値と判定用差分赤外画像のコントラスト値との差が閾値以上であるか否かを判定する（ステップＳ２８）。判定用可視光画像のコントラスト値と判定用差分赤外画像のコントラスト値との差が閾値以上である場合（ステップＳ２８でＹｅｓ）、判定部１２０は、被写体が生体であると判定し、判定結果を第１認証部１３１、第２認証部１３２および外部に判定した結果を出力する（ステップＳ２９）。また、判定用可視光画像のコントラスト値と判定用差分赤外画像のコントラスト値との差が閾値以上ではない場合（ステップＳ２８でＮｏ）、判定部１２０は、被写体が生体ではないと判定し、判定結果を第１認証部１３１、第２認証部１３２および外部に判定した結果を出力する（ステップＳ３３）。ステップＳ２８、ステップＳ２９およびステップＳ３３では、判定用第１赤外画像が判定用差分赤外画像に変わる以外は、上述のステップＳ６、ステップＳ７およびステップＳ１１と同様の処理が行われる。また、ステップＳ３３の後、ステップＳ１１と同様に、処理部１０２は、処理を終了する。
　第１認証部１３１は、ステップＳ２９で判定部１２０によって被写体が生体であると判定された判定結果を取得すると、可視光画像に基づいて被写体の個人認証を行い、個人認証の結果を外部に出力する（ステップＳ３０）。次に、第２認証部１３２は、ステップＳ２９で判定部１２０によって被写体が生体であると判定された判定結果を取得すると、差分赤外画像に基づいて被写体の個人認証を行い、個人認証の結果を外部に出力する（ステップＳ３１）。第２認証部１３２は、例えば、判定部１２０から差分赤外画像を取得する。ステップＳ３０およびステップＳ３１では、第１赤外画像が差分赤外画像に変わる以外は、上述のステップＳ８およびステップＳ９と同様の処理が行われる。
　次に、情報構築部１４０は、第１認証部１３１によって個人認証が行われた結果に関する情報と、第２認証部１３２によって個人認証が行われた結果に関する情報とを紐づけて、記憶部２００に格納する（ステップＳ３２）。情報構築部１４０は、例えば、個人認証によって認証された可視光画像と差分赤外画像とを紐づけて、記憶部２００の個人認証データベースに登録する。また、情報構築部１４０は、個人認証に用いられた差分赤外画像を生成する前の第１赤外画像および第２赤外画像を、個人認証によって認証された可視光画像と紐づけて記憶部２００の個人認証データベースに登録してもよい。ステップＳ３２の後、生体認証システム３の処理部１０２は、処理を終了する。
　なお、実施の形態１と同様に、第１認証部１３１および第２認証部１３２は、判定部１２０による判定結果に関わらず、個人認証を行ってもよい。また、判定部１２０は、差分赤外画像を生成せずに、なりすまし判定を行ってもよい。判定部１２０は、例えば、可視光画像、第１赤外画像および第２赤外画像それぞれに基づいて算出されたコントラスト値を比較することで、被写体が生体であるか否かを判定する。
　［変形例］
　次に、実施の形態２の変形例に係る生体認証システムについて説明する。以下の本変形例の説明において、実施の形態１、実施の形態１の変形例および実施の形態２との相違点を中心に説明し、共通点の説明を省略または簡素化する。
　図２３は、本変形例に係る生体認証システム４の機能構成を示すブロック図である。
　図２３に示されるように、本変形例に係る生体認証システム４は、実施の形態２に係る生体認証システム３と比較して、撮像部３０２の代わりに撮像部３０３を備える点が異なる。
　撮像部３０３は、可視光画像、第１赤外画像および第２赤外画像を撮像する第５撮像装置３１５を有する。第５撮像装置３１５は、例えば、後述する、可視光と２つの波長域の赤外線とに分光感度を有する光電変換層を有する撮像装置によって実現される。また、第５撮像装置３１５は、ＩｎＧａＡｓカメラ等の可視光と赤外線との両方に分光感度を有するカメラであってもよい。撮像部３０３が第５撮像装置３１５を有することで、１つの撮像装置で可視光画像、第１赤外画像および第２赤外画像のすべてが撮像されるため、生体認証システム４を小型化できる。また、第５撮像装置３１５が可視光画像、第１赤外画像および第２赤外画像のすべてを同軸で撮像できるため、可視光画像と第１赤外画像と第２赤外画像で視差の影響を抑制できるため、生体認証システム４における認証精度を向上できる。また、第５撮像装置３１５は、複数の画素の全ての露光期間が統一されるグローバルシャッタ方式で動作する撮像装置であってもよい。
　また、生体認証システム４において、第１画像取得部１１１は第５撮像装置３１５から可視光画像を取得し、第２画像取得部１１２は第５撮像装置３１５から第１赤外画像を取得し、第３画像取得部１１３は第５撮像装置３１５から第２赤外画像を取得する。
　また、生体認証システム４において、タイミング制御部５００は、撮像部３０３による撮像のタイミングと、第１照明部４１０による照射のタイミングと、第２照明部４２０による照射のタイミングとを制御する。タイミング制御部５００は、例えば、第５撮像装置３１５および第１照明部４１０に対して第１同期信号を出力し、第５撮像装置３１５および第２照明部４２０に対して第２同期信号を出力する。第５撮像装置３１５は、第１同期信号に基づいたタイミングで第１赤外画像を撮像し、第２同期信号に基づいたタイミングで第２赤外画像を撮像する。これにより、タイミング制御部５００は、第１照明部４１０に赤外線を被写体に照射させている間に、第５撮像装置３１５に第１赤外画像を撮像させ、第２照明部４２０に赤外線を被写体に照射させている間に、第５撮像装置３１５に第２赤外画像を撮像させる。
　生体認証システム４は、例えば、第１画像取得部１１１、第２画像取得部１１２および第３画像取得部１１３が、それぞれ、第５撮像装置３１５から可視光画像、第１赤外画像および第２赤外画像を取得する以外、上述の生体認証システム３の動作と同様の動作を行う。
　次に、第５撮像装置３１５の具体的な構成例について説明する。
　第５撮像装置３１５は、例えば、図１５に示される第３撮像装置３１３の複数の画素１０を、以下で説明する複数の画素１０ｃに置き換えた構成を有する。撮像領域Ｒ１には、例えば、透過波長範囲が互いに異なる光学フィルタ２２を含む、第１波長を含む波長範囲の赤外線用、第２波長を含む波長範囲の赤外線用、青色光用、緑色光用および赤色光用それぞれの画素１０ｃが配列されている。これによって、第１波長を含む波長範囲の赤外線、第２波長を含む波長範囲の赤外線、青色光、緑色光及び赤色光それぞれに基づく画像信号が、分離して読み出される。第５撮像装置３１５は、これらの画像信号を用いて、可視光画像、第１赤外画像および第２赤外画像を生成する。
　図２４は、本変形例に係る第５撮像装置３１５の画素１０ｃの断面構造を示す概略断面図である。複数の画素１０ｃのそれぞれは、光学フィルタ２２における透過波長が異なる場合がある以外は同じ構造である。なお、複数の画素１０ｃのうち、光学フィルタ２２以外にも異なる構造を有する画素１０ｃが存在していてもよい。
　図２４に示されるように、画素１０ｃは、画素１０ｂの構成に加えて、第３光電変換層１８を備える。つまり、画素１０ｃは、画素１０の構成に加えて、第２光電変換層１７および第３光電変換層１８を備える。
　画素１０ｃにおいて、第２光電変換層１７は、第１光電変換層１２と対向電極１３との間に位置する。また、第３光電変換層１８は、第１光電変換層１２と画素電極１１との間に位置する。なお、第１光電変換層１２と第２光電変換層１７と第３光電変換層１８とは、画素電極１１と対向電極１３との間に位置していれば、第１光電変換層１２と第２光電変換層１７と第３光電変換層１８との積層順は特に制限されず、どのような順序で積層されていてもよい。
　第３光電変換層１８は、可視光および第２波長を含む波長範囲の赤外線を吸収し、光電荷を発生させる層である。つまり、第３光電変換層１８は、赤外線における第２波長および可視光の波長範囲に分光感度を有する。第３光電変換層１８は、例えば、第２波長に分光感度のピークを有する。
　第３光電変換層１８は、赤外線における第２波長を含む波長範囲および可視光の波長範囲の光を吸収し、正孔－電子対を発生させるドナー材料を含む。第３光電変換層１８に含まれるドナー材料は、第１光電変換層１２に含まれるドナー材料として挙げられた材料から選択されうる。第３光電変換層１８は、例えば、ドナー材料として半導体量子ドットを含む。
　図２５は、画素１０ｃの分光感度曲線の例を示す模式図である。図２５の部分（ａ）には、第１光電変換層１２の外部量子効率と光の波長との関係が示されている。また、図２５の部分（ｂ）には、第３光電変換層１８の外部量子効率と光の波長との関係が示されている。また、図２５の部分（ｃ）には、第２光電変換層１７の外部量子効率と光の波長との関係が示されている。また、図２５の部分（ｄ）には、第１光電変換層１２と第２光電変換層１７と第３光電変換層１８との感度を合成した場合、つまり、画素１０ｃ全体の外部量子効率と光の波長との関係が示されている。
　図２５の部分（ａ）および部分（ｂ）に示されるように、第１光電変換層１２および第３光電変換層１８は、可視光および赤外線の波長範囲に分光感度を有する。また、赤外線の波長範囲において、第１光電変換層１２の分光感度ピークと第３光電変換層１８の分光感度ピークとは、異なる波長である。また、図２５の部分（ｃ）に示されるように、第２光電変換層１７は、第１光電変換層１２および第３光電変換層１８が分光感度を有する可視光の波長範囲よりも広い可視光の波長範囲に分光感度を有する。そのため、図２５の部分（ｄ）に示されるように、画素１０ｃ全体としては、赤外線の波長範囲に２つの分光感度ピークを有し、かつ、可視光の全波長範囲に分光感度を有する。画素１０ｃがこのような分光感度特性を有することで、第５撮像装置３１５は、可視光画像、第１赤外画像および第２赤外画像を全て撮像することができる。
　なお、画素１０ｃは、可視光に分光感度を有する第２光電変換層１７を備えるため、第１光電変換層１２および第３光電変換層１８の少なくとも一方は、可視光に分光感度を有していなくてもよい。また、画素１０ｃは、図２５の部分（ｄ）に示されるような分光感度曲線を有していれば、３つの光電変換層を備える構成でなくてもよく、光電変換層に用いる材料の選択によって、１つまたは２つの光電変換層を備える構成で実現されてもよい。また、画素１０ｃは、画素１０ａと同様の正孔輸送層１５および正孔ブロッキング層１６を備えていてもよい。
　（その他の実施の形態）
　以上、本開示に係る生体認証システムについて、実施の形態および変形例に基づいて説明したが、本開示は、これらの実施の形態および変形例に限定されるものではない。
　例えば、上記実施の形態および変形例では、判定部は、コントラスト値を比較して生体であるか否かを判定したがこれに限らない。判定部は、例えば、隣接画素の輝度値の差または輝度値のヒストグラム等の輝度値のバランスの違いに基づいた比較を行うことで、生体であるか否かを判定してもよい。
　また、例えば、上記実施の形態および変形例では、生体認証システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。また、生体認証システムが複数の装置によって実現される場合、上記実施の形態および変形例で説明された生体認証システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。
　また、生体認証システムは、上記実施の形態および変形例で説明した各構成要素を全て備えていなくてもよく、目的の動作をさせるための構成要素のみで構成されていてもよい。例えば、生体認証システムは、処理部の第１画像取得部、第２画像取得部および判定部の機能を有する生体認証装置によって実現されてもよい。
　また、例えば、生体認証システムが通信部を備え、記憶部、撮像部、第１照明部、第２照明部およびタイミング制御部のすくなくとも１つはユーザのスマートフォンまたはユーザにもって持ち込まれた専用機器等の外部の機器であり、生体認証システムが通信部を用いて外部の機器と通信することでなりすまし判定および個人認証が行われてもよい。
　また、例えば、生体認証システムは、第１照明部および第２照明部を備えず、太陽光または環境光を照射光として利用してもよい。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本開示は、上記実施の形態の生体認証システムとして実現されてもよいし、処理部が行う生体認証方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　その他、本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態および実施例に施したもの、ならびに、実施の形態および実施例における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲に含まれる。
　本開示に係る生体認証システムは、モバイル用、医療用、監視用、車載用、ロボット用、金融用、電子決済用など、様々な生体認証システムに適用できる。
１、２、３、４　生体認証システム
１０、１０ａ、１０ｂ、１０ｃ　画素
１１　画素電極
１２　第１光電変換層
１３　対向電極
１４　補助電極
１５　正孔輸送層
１６　正孔ブロッキング層
１７　第２光電変換層
１８　第３光電変換層
２１　封止層
２２　光学フィルタ
３１　プラグ
３２　電荷蓄積ノード
３４　アドレス信号線
３５　垂直信号線
４２　垂直走査回路
４４　水平信号読み出し回路
４６　制御回路
４８　信号処理回路
５０　出力回路
６０　半導体基板
７０　層間絶縁層
１００、１０２　処理部
１１１　第１画像取得部
１１２　第２画像取得部
１１３　第３画像取得部
１２０　判定部
１３１　第１認証部
１３２　第２認証部
１４０　情報構築部
２００　記憶部
３００、３０１、３０２、３０３　撮像部
３１１　第１撮像装置
３１２　第２撮像装置
３１３　第３撮像装置
３１４　第４撮像装置
３１５　第５撮像装置
４１０　第１照明部
４２０　第２照明部
５００　タイミング制御部
６００　メモリ

Claims (19)

  1. 　被写体の皮膚部に照射された可視光の前記皮膚部による反射によって生じた第１反射光を撮像することにより得られた可視光画像を取得する第１画像取得部と、
    　前記皮膚部に照射された第１赤外線の前記皮膚部による反射によって生じた、第１波長を含む波長域を有する第２反射光を撮像することにより得られた第１赤外画像を取得する第２画像取得部と、
    　前記可視光画像と前記第１赤外画像との比較に基づいて、前記被写体が生体であるか否かを判定し、判定した結果を出力する判定部と、を備える、
    　生体認証システム。
  2. 　前記可視光画像に基づいて前記被写体の第１個人認証を行い、前記第１個人認証の結果を出力する第１認証部をさらに備える、
    　請求項１に記載の生体認証システム。
  3. 　前記判定部が、前記被写体が生体ではないと判定した場合、前記第１認証部は、前記被写体の前記第１個人認証を行わない、
    　請求項２に記載の生体認証システム。
  4. 　前記第１赤外画像に基づいて前記被写体の第２個人認証を行い、前記第２個人認証の結果を出力する第２認証部をさらに備える、
    　請求項２または３に記載の生体認証システム。
  5. 　前記第１個人認証及び前記第２個人認証を行うための情報が格納される記憶装置と、
    　前記第１個人認証の前記結果に関する情報と、前記第２個人認証の前記結果に関する情報とを紐づけて前記記憶装置に格納する情報構築部と、をさらに備える、
    　請求項４に記載の生体認証システム。
  6. 　前記判定部は、前記可視光画像に基づくコントラスト値と前記第１赤外画像に基づくコントラスト値とを比較することにより、前記被写体が生体であるか否かを判定する、
    　請求項１から５のいずれか１項に記載の生体認証システム。
  7. 　前記可視光画像を撮像する第１撮像装置と、前記第１赤外画像を撮像する第２撮像装置とを含む撮像部をさらに備え、
    　前記第１画像取得部は、前記第１撮像装置から前記可視光画像を取得し、
    　前記第２画像取得部は、前記第２撮像装置から前記第１赤外画像を取得する、
    　請求項１から６のいずれか１項に記載の生体認証システム。
  8. 　前記可視光画像および前記第１赤外画像を撮像する第３撮像装置を含む撮像部をさらに備え、
    　前記第１画像取得部は、前記第３撮像装置から前記可視光画像を取得し、
    　前記第２画像取得部は、前記第３撮像装置から前記第１赤外画像を取得する、
    　請求項１から６のいずれか１項に記載の生体認証システム。
  9. 　前記第３撮像装置は、前記可視光の波長範囲および前記第１波長に分光感度を有する第１光電変換層を含む、
    　請求項８に記載の生体認証システム。
  10. 　前記第３撮像装置は、可視光の全波長範囲にわたって分光感度を有する第２光電変換層を含む、
    　請求項９に記載の生体認証システム。
  11. 　前記第１赤外線を前記被写体に照射する照明装置をさらに備える、
    　請求項７から１０のいずれか１項に記載の生体認証システム。
  12. 　前記撮像部による撮像のタイミングと、前記照明装置による照射のタイミングとを制御するタイミング制御部をさらに備える、
    　請求項１１に記載の生体認証システム。
  13. 　前記皮膚部に照射された第２赤外線の前記皮膚部による反射によって生じた、前記第１波長と異なる第２波長を含む波長域を有する第３反射光を撮像することにより得られた第２赤外画像を取得する第３画像取得部をさらに備え、
    　前記判定部は、前記可視光画像と前記第１赤外画像と前記第２赤外画像とに基づいて、前記被写体が生体であるか否かを判定する、
    　請求項１から１２のいずれか１項に記載の生体認証システム。
  14. 　前記判定部は、前記第１赤外画像と前記第２赤外画像とから差分赤外画像を生成し、前記差分赤外画像と前記可視光画像とに基づいて、前記被写体が生体であるか否かを判定する、
    　請求項１３に記載の生体認証システム。
  15. 　前記第１波長は、１１００ｎｍ以下である、
    　請求項１から１４のいずれか１項に記載の生体認証システム。
  16. 　前記第１波長は、１２００ｎｍ以上である、
    　請求項１から１４のいずれか１項に記載の生体認証システム。
  17. 　前記第１波長は、１３５０ｎｍ以上１４５０ｎｍ以下である、
    　請求項１から１４のいずれか１項に記載の生体認証システム。
  18. 　前記被写体は、人の顔である、
    　請求項１から１７のいずれか１項に記載の生体認証システム。
  19. 　被写体の皮膚部に照射された可視光の前記皮膚部による反射によって生じた第１反射光を撮像することにより得られた可視光画像を取得することと、
    　前記皮膚部に照射された赤外線の前記皮膚部による反射によって生じた、第１波長を含む波長域を有する第２反射光を撮像することにより得られた第１赤外画像を取得することと、
    　前記可視光画像と前記第１赤外画像との比較に基づいて、前記被写体が生体であるか否かを判定し、判定した結果を出力することと、を含む、
    　生体認証方法。
PCT/JP2021/044433 2020-12-23 2021-12-03 生体認証システムおよび生体認証方法 WO2022138064A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180082033.3A CN116547691A (zh) 2020-12-23 2021-12-03 生物体认证系统及生物体认证方法
JP2022572058A JPWO2022138064A1 (ja) 2020-12-23 2021-12-03
US18/327,931 US20230326253A1 (en) 2020-12-23 2023-06-02 Biometric authentication system and biometric authentication method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020214155 2020-12-23
JP2020-214155 2020-12-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/327,931 Continuation US20230326253A1 (en) 2020-12-23 2023-06-02 Biometric authentication system and biometric authentication method

Publications (1)

Publication Number Publication Date
WO2022138064A1 true WO2022138064A1 (ja) 2022-06-30

Family

ID=82159529

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044433 WO2022138064A1 (ja) 2020-12-23 2021-12-03 生体認証システムおよび生体認証方法

Country Status (4)

Country Link
US (1) US20230326253A1 (ja)
JP (1) JPWO2022138064A1 (ja)
CN (1) CN116547691A (ja)
WO (1) WO2022138064A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230292013A1 (en) * 2022-03-08 2023-09-14 Nec Corporation Of America Solar blind imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158597A (ja) * 2006-12-21 2008-07-10 Smart Wireless Kk 顔認証装置、その方法および顔認証装置を有する携帯端末器
JP2017191374A (ja) * 2016-04-11 2017-10-19 シャープ株式会社 生体判定装置、端末装置、生体判定装置の制御方法、制御プログラム
JP2017208616A (ja) * 2016-05-16 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2018079031A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
JP2018125495A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 光電変換素子および撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158597A (ja) * 2006-12-21 2008-07-10 Smart Wireless Kk 顔認証装置、その方法および顔認証装置を有する携帯端末器
JP2017191374A (ja) * 2016-04-11 2017-10-19 シャープ株式会社 生体判定装置、端末装置、生体判定装置の制御方法、制御プログラム
JP2017208616A (ja) * 2016-05-16 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2018079031A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
JP2018125495A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 光電変換素子および撮像装置

Also Published As

Publication number Publication date
CN116547691A (zh) 2023-08-04
JPWO2022138064A1 (ja) 2022-06-30
US20230326253A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
US9979886B2 (en) Multi-mode power-efficient light and gesture sensing in image sensors
US10924703B2 (en) Sensors and systems for the capture of scenes and events in space and time
JP6261151B2 (ja) 空間および時間内のイベントのキャプチャ
US10685999B2 (en) Multi-terminal optoelectronic devices for light detection
CN108334204B (zh) 成像装置
JP2014525091A (ja) 生体撮像装置および関連方法
US20170264836A1 (en) Image sensors with electronic shutter
US10529769B2 (en) Method of manufacturing a color image sensor having an optically sensitive material with multiple thicknesses
JP2016510467A (ja) 生体撮像装置および関連方法
US11922715B2 (en) Imaging device
JP2012014668A (ja) 画像処理装置、画像処理方法、プログラム、および電子装置
US20160037093A1 (en) Image sensors with electronic shutter
CN116547693A (zh) 识别多重免疫荧光图像中的自体荧光伪影
US20230326253A1 (en) Biometric authentication system and biometric authentication method
Zheng et al. A dual-mode polarization image sensor design based on in-pixel dual-band metal wire grid for trustworthy sensing
Pralle et al. Infrared enhanced detection for laser imaging and biometrics

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21910216

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180082033.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022572058

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21910216

Country of ref document: EP

Kind code of ref document: A1