WO2019131303A1 - 虹彩認証装置 - Google Patents

虹彩認証装置 Download PDF

Info

Publication number
WO2019131303A1
WO2019131303A1 PCT/JP2018/046457 JP2018046457W WO2019131303A1 WO 2019131303 A1 WO2019131303 A1 WO 2019131303A1 JP 2018046457 W JP2018046457 W JP 2018046457W WO 2019131303 A1 WO2019131303 A1 WO 2019131303A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
normal
polarization
image
Prior art date
Application number
PCT/JP2018/046457
Other languages
English (en)
French (fr)
Inventor
信夫 山崎
大輔 本田
貴司 中野
幸夫 玉井
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2019131303A1 publication Critical patent/WO2019131303A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the following disclosure relates to an iris authentication device.
  • Patent Document 1 discloses a technology for processing an image captured by a pixel provided with a polarization filter.
  • Patent Document 1 discloses that the variation of the output (pixel value) according to the angle of the transmission axis of the polarizing element is fitted by a trigonometric function (more specifically, a cosine function).
  • a polarization filter is provided in each pixel of the imaging unit.
  • Patent Document 2 uses both (i) a pixel provided with a polarization filter (polarization pixel) and (ii) a pixel not provided with a polarization filter (non-polarization pixel). , A technique for capturing an image is disclosed. In the technique of Patent Document 2, both the output of the polarization pixel and the output of the non-polarization pixel are obtained.
  • iris authentication technology is used as a method of personal authentication technology.
  • a polarization filter be provided in an imaging unit that picks up an iris of a user (subject) in order to improve authentication accuracy.
  • An iris authentication device aims to improve authentication accuracy as compared to the related art.
  • an iris authentication device concerning one mode of this indication is an image pick-up device which picturizes the 1st picture which is an image containing an iris of a subject's eyeball, and an image of an object reflected in the eyeball By performing a reflection removal process of removing the first image from the first image, a reflection image removal unit that generates a second image, and an authentication unit that performs iris authentication of the subject by analyzing the second image.
  • the image pickup apparatus includes a plurality of pixel units each including a plurality of pixels, and the pixel unit includes the image pickup element with the pixel including the image pickup element and the polarization element as a normal pixel, and One pixel unit is constituted by a plurality of the normal pixels and at least one non-polarization pixel, where the pixel which does not include the polarization element is a non-polarization pixel.
  • the polarization elements of the plurality of normal pixels have directions of transmission axes different from each other, and the outputs of the plurality of normal pixels are a superposition of a DC component and an AC component.
  • the iris authentication apparatus is expressed by (i) a DC component parameter indicating the magnitude of the DC component based on the output of at least one of the non-polarization pixels in one of the pixel units. While calculating, (ii) an AC component parameter indicating the magnitude of the AC component is calculated based on the outputs of the plurality of normal pixels in one pixel unit and the DC component parameter, parameter calculation
  • the reflected image removing unit is further provided with the DC component parameter and the AC component parameter. , The removal processing glare above.
  • the iris authentication device According to the iris authentication device according to one aspect of the present disclosure, it is possible to improve the authentication accuracy more than in the past.
  • FIG. 2 is a functional block diagram showing the configuration of the main part of the iris authentication device according to the first embodiment.
  • (A) And (b) is a figure for demonstrating the structure of the pixel in the imaging device of FIG. 1, respectively. It is a graph which shows I theta .
  • FIG. 6 is a diagram for describing an output of each pixel in the pixel unit of Embodiment 1. It is a figure which shows the structure of the pixel unit as a comparative example of the pixel unit of FIG.
  • FIG. 10 is a diagram for describing a modification of the first embodiment.
  • (A) And (b) is a figure for demonstrating the structure of the iris authentication apparatus based on Embodiment 2, respectively.
  • FIG. 16 is a diagram for describing the output of each pixel in the pixel unit of Embodiment 2. It is a figure which shows the structure of the pixel unit as a comparative example of the pixel unit of FIG.
  • Embodiment 1 Hereinafter, the iris authentication device 1 of the first embodiment will be described.
  • the same reference numerals will be appended to members having the same functions as the members described in the first embodiment, and the description thereof will not be repeated.
  • FIG. 1 is a functional block diagram showing the configuration of the main part of the iris authentication device 1.
  • the iris authentication device 1 may be, for example, a portable electronic device (information processing device) such as a smartphone.
  • the iris authentication device 1 may be a stationary electronic device such as a desktop PC (Personal Computer).
  • the iris authentication apparatus 1 authenticates the user U (subject) using iris authentication technology.
  • a subject to be an object of authentication (verification) by the iris authentication device 1 is a living body including the eyeball HE.
  • Embodiment 1 exemplifies the case where the living body is a human.
  • Authentication by the iris authentication device 1 is performed based on the result of image analysis on at least one of the two eyeballs HE of the user U (at least one of the left eye and the right eye).
  • the first embodiment exemplifies a case where one of the one eye HE is used to authenticate the user U.
  • the user U may be authenticated using both of the two eyeballs HE.
  • the iris authentication device 1 includes an image processing unit 10, an imaging device 20, and a display unit 30.
  • the image processing unit 10 includes a fitting parameter calculation unit 11 (parameter calculation unit), a reflection image removal unit 12, and an authentication unit 13.
  • the fitting parameter calculation unit 11 includes a direct current component calculation unit 110 and an alternating current component calculation unit 111. The specific operation of each part of the image processing unit 10 will be described later.
  • the image processing unit 10 may also have a role as a control unit that controls each part of the iris authentication device 1 in an integrated manner.
  • the imaging device 20 includes a plurality of pixels 200 (see FIG. 2).
  • the pixel 200 includes a known light receiving element 250 (imaging element).
  • the pixel 200 may further include a plurality of wavelength selection elements (wavelength filters) (eg, RGB filters) having wavelength selectivity of different wavelengths.
  • Wavelength filters wavelength selection elements
  • Pixel 200 generically refers to the different types of pixels described below (usually pixels and white pixels). The specific configuration of the imaging device 20 will be described later.
  • the imaging device 20 captures a user U and generates an image of the user U. Specifically, the imaging device 20 receives reflected light (light in which external light is reflected by the user U).
  • the ambient light is, for example, sunlight or room light.
  • An image of the user U can be generated by each pixel (a pixel 200 described later) of the imaging device 20 receiving the reflected light.
  • the imaging device 20 captures the eyeball HE of the user U and acquires an image of the eyeball HE.
  • the image of the eyeball HE captured by the imaging device 20 is referred to as a first image. It is assumed that the first image includes an image of the iris of the eyeball HE.
  • the first image includes an image of the iris of the eyeball HE.
  • the iris authentication apparatus 1 is provided with a reflection image removal unit 12 in order to improve the accuracy of iris authentication.
  • the reflection image removal unit 12 performs processing for removing the reflection image from the first image (hereinafter, reflection removal processing).
  • the reflection image removal unit 12 generates a second image by performing reflection removal on the first image.
  • the calculation result of the fitting parameter calculation unit 11 (the DC component calculation unit 110 and the AC component calculation unit 111) is used for the reflection removal in the reflection image removal unit 12.
  • the authentication unit 13 performs authentication (identification) of the user U by analyzing the second image. For analysis of the second image by the authentication unit 13, a known iris authentication algorithm may be used.
  • the display unit 30 plays a role as a notification unit that notifies the authentication result of the authentication unit 13. Specifically, the display unit 30 visually notifies the authentication result of the authentication unit 13.
  • the display unit 30 displays an image indicating various information. For example, when the authentication of the user U in the authentication unit 13 is successful, the display unit 30 displays information (authentication success information) indicating that. On the other hand, when the authentication of the user U fails (is unsuccessful) in the authentication unit 13, the display unit 30 displays information (authentication failure information) indicating that.
  • the notification unit is not limited to the display unit 30.
  • the notification unit may be a speaker (voice output unit) that aurally notifies authentication success information and authentication failure information.
  • the notification unit may be a vibrator (vibration unit) that tactilely notifies authentication success information and authentication failure information.
  • FIG. 2 is a diagram for describing a configuration of the pixel 200 in the imaging device 20.
  • the pixels 200 are regularly arranged in the vertical direction (longitudinal direction) and the horizontal direction (horizontal direction). That is, the pixels 200 are arranged in a matrix.
  • a plurality of (eg, four) pixels 200 constitute one pixel unit PU.
  • the imaging device 20 includes a plurality of pixel units PU.
  • the pixel units PU are also regularly arranged in the vertical direction and the horizontal direction (arranged in a matrix). The following description will be focused on one pixel unit PU.
  • FIG. 2 more specifically shows the configuration of four pixels 200 that constitute one pixel unit PU.
  • Upper left pixel 200 normal pixel 200P1
  • Upper right pixel 200 white pixel 200 W1
  • Lower right pixel 200 normal pixel 200P2
  • Lower left pixel 200 white pixel 200 W2; It is called.
  • a pixel provided with a polarization filter is referred to as a "normal pixel”.
  • the normal pixel 200P1 first normal pixel
  • the normal pixel 200P2 second normal pixel
  • the normal pixel 200P1 has a light receiving element 250 and a polarization filter FIL1 (first polarization element).
  • the normal pixel 200P2 has a light receiving element 250 and a polarization filter FIL2 (second polarization element).
  • the normal pixel may be referred to as a "polarization pixel" (or a "first pixel”).
  • the polarization filter FIL1 and the polarization filter FIL2 are polarization filters whose principal axis directions (directions of transmission axes) are different from each other. That is, the polarization filter FIL1 and the polarization filter FIL2 have different polarization characteristics.
  • the polarizing filter of Embodiment 1 has a rectangular light receiving surface (light incident surface).
  • a pixel not provided with a polarization filter is referred to as a "white pixel”.
  • the white pixel 200W1 and the white pixel 200W2 are examples of white pixels.
  • Each of the white pixel 200W1 and the white pixel 200W2 has a light receiving element 250.
  • white pixels eg, white pixels 200W1 and 200W2 are generically referred to as white pixels 200W.
  • white is a term meaning "the pixel is not provided with a polarization filter”. Therefore, it should be noted that “white pixel” does not mean “white pixel”. It should be noted that “white” in the present specification is a term focusing on the presence or absence of polarization in a pixel.
  • a white pixel may be referred to as a "non-polarization pixel” from the viewpoint of contrast to the term “polarization pixel” (normal pixel). Also, the white pixel may be referred to as a "special pixel” (or a "second pixel”).
  • the pixel unit PU is configured of two normal pixels and two white pixels.
  • the pixel unit PU may be configured by a plurality (two or more) of normal pixels and at least one white pixel.
  • the respective polarization elements of the plurality of normal pixels have mutually different principal axis directions.
  • the number of normal pixels and white pixels constituting one pixel unit may not necessarily be equal (see Embodiment 2).
  • Each pixel in the pixel unit PU outputs a signal indicating the intensity (light reception intensity) of light received by itself as a pixel value.
  • the output (pixel value) of any one normal pixel can be expressed using a predetermined mathematical expression (eg, a predetermined approximate expression).
  • the output I ⁇ of the normal pixel is expressed as the sum (overlapping) of the AC component and the DC component.
  • the AC component of I ⁇ is represented by a trigonometric function (more specifically, a cosine function).
  • the respective outputs (Ip1 and Ip2 described later) of the normal pixels 200P1 and 200P2 in the pixel unit PU can be approximated (interpolated) by the equation (1-1).
  • Each of A to C is also referred to as a fitting parameter (approximation parameter, interpolation parameter).
  • is the angle of the transmission axis of the polarization filter.
  • 0 °.
  • I ⁇ is expressed as a function dependent on ⁇ (more specifically, a periodic function of ⁇ ).
  • A is (among the components of the I theta, component size which depends on theta) AC component of I theta is the amplitude of the.
  • the alternating current component of I ⁇ will be simply referred to as an alternating current component.
  • A is a parameter indicating the magnitude of the alternating current component.
  • A is also referred to as an AC component fitting parameter (AC component parameter).
  • A is a parameter related to polarization. From this, A may be referred to as the fitting parameter of the polarization component.
  • C is (among the components of the I theta, component size that does not depend on theta) DC component of the I theta is.
  • the direct current component of I ⁇ will be simply referred to as a direct current component.
  • C is also referred to as a DC component fitting parameter (DC component parameter).
  • C is a parameter indicating the magnitude of the DC component of I ⁇ .
  • C is a parameter in which the influence of diffuse reflection light is taken into consideration.
  • FIG. 3 is a graph showing I ⁇ represented by equation (1-1).
  • theta 1 is an angle of the transmission axis of the polarizing filter FIL1, the theta 2 the angle of the transmission axis of the polarizing filter FIL2, representing respectively.
  • ⁇ 1 ⁇ 2 ⁇ 1 ⁇ 2 .
  • ⁇ 1 and ⁇ 2 shown in FIG. 3 are merely examples for the convenience of description.
  • ⁇ 1 and ⁇ 2 shown in FIG. 3 do not necessarily indicate preferred examples of ⁇ 1 and ⁇ 2 in a pixel unit according to an aspect of the present disclosure.
  • FIG. 4 is a diagram for describing the output (pixel value) of each pixel in the pixel unit PU.
  • the output of the normal pixel 200P1 is represented as Ip1
  • the output of the normal pixel 200P2 is represented as Ip2.
  • Ip1 A cos (2 ⁇ 1 + B) + C (1-2)
  • Ip2 A cos (2 ⁇ 2 + B) + C (1-3) It is expressed as
  • ⁇ 1 and ⁇ 2 are preferably set to satisfy ⁇ 2 ⁇ 1 ⁇ 90 °.
  • an ideal polarizing filter transmits a total of 50% of non-polarized light incident thereon. That is, an ideal polarization filter has a light transmittance of 50%.
  • the actual polarization filter only transmits 70% to 80% of light of an angular component equal to the transmission axis. For this reason, an actual polarizing filter generally has a light transmittance of about 30% to 40%. Based on this point, in the first embodiment, the light transmittance of the polarization filters FIL1 to FIL2 is 40% or less. The same applies to the polarization filters FIL1A to FIL3A of the second embodiment.
  • the sum of the outputs of two normal pixels respectively provided with polarization filters whose ⁇ is deviated from each other by 90 ° corresponds to the size (energy) of light (incident light) immediately before passing through the polarization filters.
  • light can be separated into components orthogonal to one another.
  • the sum of the outputs of the two normal pixels corresponds to the magnitude of light incident on the white pixel.
  • K is a constant (correction coefficient) calculated from the light transmittance in the transmission axis direction of the polarizing filter.
  • the value of k is preset by the designer of the iris authentication apparatus 1.
  • k 1.25. Since t ⁇ 1 in an actual polarization filter, the relationship of k> 1 is established.
  • C can be calculated based on the output of the white pixel.
  • C can be calculated based on the outputs of the white pixel 200W1 and the white pixel 200W2.
  • A can be further calculated using C calculated in advance.
  • the deviation between the angle of the transmission axis of the first polarizing element and the angle of the transmission axis of the second polarizing element is set smaller than 90 °.
  • A can be calculated by this equation (5-9). Specifically, which sign (+ or ⁇ ) is adopted among ⁇ of the right side of the equation (5-9) is determined by the positive / negative of the right side of the equation (5-7). If the right side of the equation (5-7) is positive, the + sign may be adopted on the right side of the equation (5-9). On the other hand, when the right side of the equation (5-7) is negative, the-sign may be adopted on the right side of the equation (5-9).
  • B can be further calculated by substituting A calculated by equation (5-9) into equation (5-4). However, B is not used in the execution of the reflection removal process. Therefore, in the iris authentication apparatus 1, A and C may be calculated.
  • the fitting parameter calculation unit 11 acquires, from the imaging device 20, the outputs (Ip1, Ip2, Iw1, and Iw2) of each pixel in the pixel unit PU.
  • the fitting parameter calculation unit 11 calculates A and C using these outputs. That is, the fitting parameter calculation unit 11 approximates the output of each of the normal pixels 200P1 and 200P2 in the pixel unit PU by the above-mentioned equation (1-1) (an example of a predetermined equation).
  • the DC component calculation unit 110 obtains the outputs (Iw1 and Iw2) of the white pixels 200W1 and 200W2.
  • the direct current component calculation unit 110 calculates C using the above equation (4).
  • the AC component calculation unit 111 acquires the outputs (Ip1 and Ip2) of the normal pixels 200P1 and 200P2. AC component calculation unit 111 further acquires the value of C from DC component calculation unit 110. First, the alternating current component calculation unit 111 calculates Ip1 'and Ip2' using the above equations (5-1) and (5-2).
  • the alternating current component calculation unit 111 calculates A using the above equation (5-9).
  • theta 1 and theta 2 value is assumed to be set in advance. Therefore, AC component calculation unit 111 calculates sin ⁇ and cos ⁇ using the values of ⁇ 1 and ⁇ 2 set in advance.
  • the reflection image removal unit 12 obtains the calculation result (values of A and C) of the fitting parameter calculation unit 11.
  • the mirrored image removal unit 12 uses the values of A and C to calculate the maximum value (Imax) and the minimum value (Imin) of I ⁇ in the above equation (1-1).
  • Imax A + C
  • the reflection image removal unit 12 performs reflection removal processing on the area of the first image IMG1 corresponding to one pixel unit PU by a known method using Imax and Imin.
  • the reflection image removal unit 12 performs reflection removal processing by the method disclosed in Japanese Patent Application Laid-Open No. 2017-201303. As described above, the reflection image removal unit 12 performs the reflection removal processing based on the calculation result of the fitting parameter calculation unit 11.
  • the imaging device 20 includes N pixel units PU (first to Nth pixel units).
  • N is an integer of 2 or more.
  • the reflection image removal unit 12 performs reflection removal processing on the area (first area) of the first image IMG1 corresponding to the first pixel unit.
  • the reflection image removal unit 12 performs reflection removal processing on the area (second area) of the first image IMG1 corresponding to the second pixel unit. The same applies to the (N ⁇ 1) th pixel unit and thereafter. Finally, the reflection image removal unit 12 performs reflection removal processing on the area (Nth area) of the first image IMG1 corresponding to the Nth pixel unit. As described above, the reflection image removal unit 12 performs the reflection removal process on the entire first image IMG1.
  • the reflection image removal unit 12 According to the reflection removal process of the reflection image removal unit 12, at least a part of the specular reflection light component of the eyeball HE can be removed from the first image IMG1. That is, the reflection image removal unit 12 removes reflection of ambient light to the eyeball HE from the first image IMG1. As described above, the reflection image removal unit 12 can execute the reflection removal processing (can generate the second image) using the calculation result of the fitting parameter calculation unit 11. As described above, the authentication unit 13 analyzes the second image and performs authentication (identity authentication) of the user U.
  • FIG. 5 is a diagram showing a configuration of a pixel unit PUr as a comparative example of the pixel unit PU.
  • the pixel unit PUr mimics the pixel unit of Patent Document 1.
  • the pixel unit PUr differs from the pixel unit PU in that it is configured by only four normal pixels (that is, it does not have white pixels).
  • Upper left pixel 200 normal pixel 200F1; Upper right pixel 200: normal pixel 200F2; Lower right pixel 200: normal pixel 200F3; Lower left pixel 200: normal pixel 200F4; It is called.
  • the polarization filters included in each of the normal pixels 200F1 to 200F4 are referred to as polarization filters FIL1r to FIL4r.
  • the polarization filters FIL1r to FIL4r are polarization filters having different principal axis directions. As an example, the angle of the transmission axis of FIL1r is 0 °, the angle of the transmission axis of FIL2r is 45 °, the angle of the transmission axis of FIL3r is 90 °, and the angle of the transmission axis of FIL4r is 135 °.
  • the angles of the transmission axes are shifted by 90 °.
  • the angles of the transmission axes are shifted by 90 °.
  • the output of the normal pixel 200F1 is represented as If1, the output of the normal pixel 200F2 as If2, the output of the normal pixel 200F3 as If3, and the output of the normal pixel 200F4 as If4. It is assumed that If1 to If4 are also expressed by the above equation (1-1).
  • Light shot noise is known as one of the main noise for the output (signal component) of a general imaging device (pixel unit). It is known that the light shot noise is proportional to the square root of the amount of signal (the magnitude of the signal) generated as light is incident on the pixel unit. Therefore, the signal-to-noise ratio (value of the ratio of signal amount to noise) in the pixel unit is approximately represented by the square root of the signal amount.
  • C direct current component
  • If0 (If1 + If2 + If3 + If4) / 4. If0 is the average value of the outputs of the four normal pixels (average value of the outputs of the normal pixels in one pixel unit).
  • Iw0 (Iw1 + Iw2) / 2.
  • Iw0 is an average value of outputs of two white pixels (average value of outputs of white pixels in one pixel unit).
  • the angles of the transmission axes are shifted by 90 °. Therefore, the sum of If1 and If3 is ideally equal to the output of one white pixel.
  • the angles of the transmission axes are shifted by 90 °. Therefore, the sum of If2 and If4 is also ideally equal to the output of one white pixel.
  • Patent Document 1 describes that the light transmittance of the polarizing filter is about 35% to 40%.
  • (i) the sum of If1 and If3 and (ii) the sum of If2 and If4 are smaller than the output of one white pixel. From this, (If1 + If3) + (If2 + If4) ⁇ Iw1 + Iw2 (8-1) Is established.
  • Equation (8-1) the left side is equal to 4 ⁇ If0, and the right side is equal to 2 ⁇ Iw0. 4 ⁇ If0 ⁇ 2 ⁇ Iw0 (8-2) It becomes.
  • the pixel unit PU it is possible to improve the SN ratio as compared to the pixel unit PUr of the comparative example. Therefore, according to the iris authentication device 1, it is possible to execute the reflected image removal process with higher accuracy than in the prior art. As a result, it is possible to improve the authentication accuracy more than in the past.
  • the configuration of the pixel unit PU can be suitably applied to an actual imaging device.
  • the iris authentication apparatus is not an ideal polarizing element (50% light transmittance), but rather an actual polarizing element (eg, 40% light transmittance or less) is used. Particularly useful.
  • Patent Document 1 the technology of Patent Document 1 is premised on application to an endoscope. Therefore, in the technique of Patent Document 1, it is considered that the outputs (eg, If1 to If4) of each normal pixel are all small. Therefore, when calculating C, the influence of noise (eg, light shot noise) is large. That is, C can not be calculated with high accuracy.
  • the outputs eg, If1 to If4
  • C can be calculated using only the output of white pixels (example: Iw1 to Iw2). That is, in the iris authentication apparatus 1, C can be calculated without using the output of a normal pixel. Therefore, compared to the technique of Patent Document 1, the influence of noise when calculating C can be reduced. As a result, C can be calculated with high accuracy. In addition, since A can be calculated using C, A can also be calculated with high accuracy. That is, each fitting parameter can be calculated more accurately than in the prior art.
  • the SN ratio can be improved as compared with the case where the technology of Patent Document 1 (reference: pixel unit PUr) is applied.
  • the iris authentication device 1 it is possible to improve the accuracy of iris authentication.
  • the iris authentication apparatus 1 can normally obtain a high SN ratio without increasing the number of pixels (without increasing the area of one pixel unit). Also from this point, according to the iris authentication device 1, the accuracy of iris authentication can be effectively improved.
  • Patent Document 2 discloses a pixel unit having both a normal pixel (polarization pixel) and a white pixel (non-polarization pixel). However, even if the technology of Patent Document 2 is applied, the effect of the iris authentication device 1 can not be exhibited.
  • Patent Document 2 does not teach at all the point of calculating each fitting parameter using the output of each pixel in the pixel unit. In addition, even if calculation of each fitting parameter is tried using the output of each pixel in the pixel unit of Patent Document 2, each fitting parameter can not be calculated appropriately. This is because the pixel unit of Patent Document 2 can not uniquely determine A (AC component).
  • Patent Document 2 two types of polarization filters, “polarization filter in the vertical direction” and “polarization filter in the horizontal direction”, are used. That is, in Patent Document 2, the shift of the transmission axis angle between two types of polarization filters provided in each normal pixel is set to 90 °. Therefore, as described above, A can not be uniquely determined (see the description of the above equation (5-9)).
  • the configuration of “setting the shift of the transmission axis between two types of polarization filters smaller than 90 °” is a specific configuration for “calculating fitting parameters appropriately”. This is newly conceived by the inventors of the present application.
  • the first embodiment exemplifies the configuration in which one pixel 200 included in the imaging device 20 belongs to only one pixel unit PU (is included in only one pixel unit PU). However, one pixel 200 may belong to a plurality of pixel units.
  • FIG. 6 is a diagram for describing an imaging device 20V as a modification of the first embodiment.
  • one pixel 200Z belongs to four different pixel units PUA, PUB, PUC, and PUD, respectively. That is, the pixel 200Z is shared between the pixel units PUA and PUD.
  • Each of the pixel units PUA to PUD is composed of two normal pixels and two white pixels.
  • the configuration of the imaging device 20V since the total number of pixel units can be increased, the apparent resolution of the first image (and the second image) can be increased. Therefore, the accuracy of iris recognition can be further improved. However, since the amount of data processing in the image processing unit 10 increases, the calculation time of the image processing unit 10 increases. It is preferable that the configuration of the imaging device 20V be adopted when the processing performance of the image processing unit 10 is high.
  • FIG. 7 is a diagram for explaining the configuration of the iris authentication device 2 of the second embodiment.
  • An imaging device provided in the iris authentication device 2 is referred to as an imaging device 20A.
  • a pixel unit included in the imaging device 20A is referred to as a pixel unit PU2.
  • FIG. 7 is a diagram (plan view) showing a configuration of four pixels 200 that configure one pixel unit PU2.
  • Upper left pixel 200 white pixel 200W0
  • Upper right pixel 200 normal pixel 200Q1
  • Lower right pixel 200 normal pixel 200Q2
  • Lower left pixel 200 normal pixel 200Q3
  • the pixel unit PU2 differs from the pixel unit PU in that it has only one white pixel.
  • the pixel unit PU2 is configured of three normal pixels and one white pixel.
  • the polarization filters provided in each of the normal pixels 200Q1 to 200Q3 are referred to as polarization filters FIL1A to FIL3A.
  • the polarization filters FIL1A to FIL3A are polarization filters having different principal axis directions.
  • the angle of the transmission axis of the polarizing filter FIL1A is represented as ⁇ 1
  • the angle of the transmission axis of the polarizing filter FIL 2A as ⁇ 2
  • the angle of the transmission axis of the polarizing filter FIL 3A as ⁇ 3 .
  • ⁇ 1 0 °
  • ⁇ 2 60 °
  • ⁇ 3 120 °.
  • ⁇ 1 ⁇ 2 ⁇ 3 120 °.
  • the shift of the transmission axis between the polarization filters adjacent to each other is set to be smaller than 90 °.
  • the polarization filter FIL2A is adjacent to each of the polarization filter FIL1A and the polarization filter FIL3A.
  • the deviation of ⁇ between polarization filter FIL2A and polarization filter FIL1A ie,
  • the deviation of ⁇ between polarization filter FIL2A and polarization filter FIL3A ie,
  • the polarizing filter of Embodiment 2 differs from the polarizing filter of Embodiment 1 in that it has a circular light receiving surface. By making the shape of the polarizing filter circular, it is possible to reduce the possibility that the characteristics of the polarizing filters may differ due to, for example, the manufacturing process of the polarizing filter.
  • the shape of the light receiving surface of the polarization filter may be octagonal, for example. That is, the shape of the light receiving surface of the polarizing filter may be a polygon that can be regarded as substantially circular.
  • the normal pixels 200Q1 to 200Q3 are different from the normal pixels (normal pixels 200P1 and 200P2) of the first embodiment in that the normal pixels 200Q1 to 200Q3 have a light shielding member 290 (light shielding region).
  • FIG. 7B is a diagram for describing the configuration of the pixel unit PU2. In (b) of FIG. 7, the normal pixels 200Q2 and 200Q3 and the vicinity thereof are illustrated.
  • the light receivable regions of the normal pixels 200Q1 to 200Q3 are smaller than the light receivable regions of the normal pixels in the first embodiment.
  • the light receivable area is an area where the light receiving element 250 included in one normal pixel can receive light.
  • the light blocking member 290 plays a role of limiting the light receivable area of the light receiving element 250 included in each normal pixel.
  • a margin is defined between the light receivable region of the normal pixel 200Q2 and the light receivable region of the normal pixel 200Q3.
  • the distance dm is a distance between FIL2A and FIL3A on the light receiving surface of the pixel unit PU2.
  • the light receiving element 250 included in the normal pixel 200Q2 is referred to as a light receiving element 252
  • the light receiving element 250 included in the normal pixel 200Q3 is referred to as a light receiving element 253.
  • the distance dm is larger, crosstalk between adjacent normal pixels can be reduced.
  • the possibility that the light transmitted through the polarization filter FIL2A of the normal pixel 200Q2 is incident on the light receiving element 253 can be reduced.
  • the possibility of the light transmitted through the polarization filter FIL3A of the normal pixel 200Q3 being incident on the light receiving element 252 can be reduced. Therefore, the influence of noise when calculating each fitting parameter (especially A) can be reduced more effectively.
  • the overall light transmittance of each normal pixel is reduced.
  • the extinction ratio of each polarizing filter is improved, it is estimated that the overall light transmittance of each normal pixel is further reduced.
  • the extinction ratio is an index showing the ratio of the polarization component to be transmitted to the polarization component to be blocked. It can be said that the higher the extinction ratio, the better the polarization performance of the polarization filter.
  • the overall light transmittance of each normal pixel is considered to be less than about 25%. The configuration of the pixel unit PU2 can be effectively applied to such low light transmittance.
  • FIG. 8 is a diagram for explaining the output of each pixel in the pixel unit PU2.
  • the output of the normal pixel 200Q1 is represented as Ip1, the output of the normal pixel 200Q2 as Ip2, and the output of the normal pixel 200Q3 as Ip3.
  • the output of the white pixel 200W0 is represented as Iw0 (average value of outputs of white pixels in one pixel unit).
  • the fitting parameter calculation unit 11 acquires the outputs (Ip1, Ip2, Ip3, and Iw0) of each pixel in the pixel unit PU2 from the imaging device 20A.
  • the fitting parameter calculation unit 11 calculates A and C using these outputs.
  • the AC component calculation unit 111 acquires the outputs (Ip1 to Ip3) of the normal pixels 200Q1 to 200Q3. AC component calculation unit 111 further acquires the value of C from DC component calculation unit 110. AC component calculation unit 111 calculates A using Ip1 to Ip3 and C.
  • the alternating current component calculation unit 111 may substitute the values of Ip1 to Ip3 and C into the equation (1-1), and determine A using, for example, the least squares method.
  • the AC component calculation unit 111 can calculate A by fitting using the least squares method.
  • the alternating current component calculation unit 111 may calculate A using a known fitting method other than the least squares method.
  • a calculation formula indicating the relationship between Ip1 to Ip3 and C and A may be preset in the AC component calculation unit 111.
  • the alternating current component calculation unit 111 can calculate A using the calculation formula.
  • FIG. 9 is a diagram showing a configuration of a pixel unit PU2r as a comparative example of the pixel unit PU2.
  • the pixel unit PU2r simulates the pixel unit of Patent Document 1.
  • the pixel unit PU2 r differs from the pixel unit PU2 in that it is configured by only four normal pixels (that is, it does not have a white pixel).
  • Upper left pixel 200 normal pixel 200G1; Upper right pixel 200: normal pixel 200G2; Lower right pixel 200: normal pixel 200G3; Lower left pixel 200: normal pixel 200G4; It is called.
  • the polarization filters included in each of the normal pixels 200G1 to 200G4 are referred to as polarization filters FIL1Ar to FIL4Ar.
  • the polarization filters FIL1Ar to FIL4Ar like the polarization filters FIL1A to FIL3A, have circular shapes.
  • the polarization filters FIL1Ar to FIL4Ar are polarization filters having different principal axis directions. The angular deviation of the transmission axes between the polarization filters adjacent to each other is set smaller than 90 °.
  • the angle of the transmission axis is shifted by 90 °.
  • the angles of the transmission axes are shifted by 90 °.
  • the output of the normal pixel 200G1 is represented as If1, the output of the normal pixel 200G2 as If2, the output of the normal pixel 200G3 as If3, and the output of the normal pixel 200G4 as If4.
  • C is calculated by the method of Patent Document 1
  • the SN ratio (SNr) of the pixel unit PU2r is expressed by the above-mentioned equation (6).
  • C can be calculated using only the output of the white pixel.
  • the SN ratio (hereinafter, SN2) in the pixel unit PU2 is represented by the following equation (11).
  • (If1 + If3) and (If2 + If4) are each ideally equal to the output (Iw0) of one white pixel.
  • the overall light transmittance of each normal pixel is less than about 25%. From this, If1 + If3 ⁇ 0.5 ⁇ Iw0 (12-1) If2 + If4 ⁇ 0.5 ⁇ Iw0 (12-2) It is. Therefore, (If1 + If3) + (If2 + If4) ⁇ Iw0 (12-3) It becomes.
  • the pixel unit PU2 can also improve the SN ratio as compared with the pixel unit PU2r of the comparative example. Therefore, the same effect as that of the first embodiment can be achieved by the iris authentication device 2.
  • the control block (especially the image processing unit 10) of the iris authentication device 1 or 2 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software .
  • the iris authentication devices 1 and 2 include a computer that executes instructions of a program that is software that implements each function.
  • the computer includes, for example, at least one processor (control device) and at least one computer readable storage medium storing the program. Then, in the computer, the processor reads the program from the recording medium and executes the program to achieve the object of one aspect of the present disclosure.
  • a CPU Central Processing Unit
  • the processor reads the program from the recording medium and executes the program to achieve the object of one aspect of the present disclosure.
  • a CPU Central Processing Unit
  • the recording medium a tape, a disk, a card, a semiconductor memory, a programmable logic circuit or the like can be used besides “a non-temporary tangible medium”, for example, a ROM (Read Only Memory).
  • a RAM Random Access Memory
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present disclosure may also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Abstract

虹彩認証装置の認証精度を従来よりも向上させる。虹彩認証装置(1)において、撮像装置(20)の1つの画素ユニットは、少なくとも1つの無偏光画素と複数の通常画素とによって構成される。フィッティングパラメータ算出部(11)は、少なくとも1つの無偏光画素の出力に基づいて、直流成分パラメータを算出する。続いて、フィッティングパラメータ算出部(11)は、複数の通常画素のそれぞれの出力、および、直流成分パラメータに基づいて、交流成分パラメータを算出する。

Description

虹彩認証装置
 以下の開示は、虹彩認証装置に関する。
 近年の撮像素子(撮像部)には、必要に応じて、偏光フィルタ(偏光素子)が設けられる。例えば、特許文献1には、偏光フィルタを備えた画素によって撮像された画像を処理する技術が開示されている。特許文献1には、偏光素子の透過軸の角度に応じた出力(画素値)の変動を、三角関数(より具体的には、余弦関数)によってフィッティングすることが開示されている。特許文献1の技術では、撮像部の各画素に偏光フィルタが設けられている。
 これに対して、特許文献2には、(i)偏光フィルタが設けられている画素(偏光画素)と、(ii)偏光フィルタが設けられていない画素(無偏光画素)との両方を用いて、画像を撮像する技術が開示されている。特許文献2の技術では、偏光画素の出力と無偏光画素の出力との両方が取得される。
日本国再公表特許公報「WO2013/175686号公報」 日本国公開特許公報「特開2016-127333号公報」
 近年、個人認証技術の一手法として、虹彩認証技術が用いられている。虹彩認証を行う装置(虹彩認証装置)では、認証精度の向上のために、ユーザ(被写体)の虹彩を撮像する撮像部に、偏光フィルタが設けられることが提案されている。しかし、虹彩認証装置における認証精度をさらに向上させるための構成については、なお改善の余地がある。本開示の一態様に係る虹彩認証装置は、従来よりも認証精度を向上させることを目的とする。
 上記の課題を解決するために、本開示の一態様に係る虹彩認証装置は、被写体の眼球の虹彩を含む画像である第1画像を撮像する撮像装置と、上記眼球に映り込んだ物体の像を上記第1画像から除去する映り込み除去処理を行うことにより、第2画像を生成する映り込み像除去部と、上記第2画像を解析することにより、上記被写体の虹彩認証を行う認証部と、を備え、上記撮像装置は、複数の画素によって構成される画素ユニットを複数備え、上記画素ユニットにおいて、撮像素子および偏光素子を含む上記画素を通常画素として、上記撮像素子を含み、かつ、上記偏光素子を含まない上記画素を無偏光画素として、1つの上記画素ユニットは、複数の上記通常画素と少なくとも1つの上記無偏光画素とによって構成されており、1つの上記画素ユニットにおいて、複数の上記通常画素のそれぞれの上記偏光素子は、互いに異なる透過軸の方向を有しており、複数の上記通常画素のそれぞれの出力は、直流成分と交流成分との重ね合わせとして所定の数式で表現されており、上記虹彩認証装置は、(i)上記直流成分の大きさを示す直流成分パラメータを、1つの上記画素ユニットにおける少なくとも1つの上記無偏光画素の出力に基づいて算出するとともに、(ii)上記交流成分の大きさを示す交流成分パラメータを、1つの上記画素ユニットにおける複数の上記通常画素のそれぞれの出力、および、上記直流成分パラメータに基づいて算出する、パラメータ算出部をさらに備え、上記映り込み像除去部は、上記直流成分パラメータおよび上記交流成分パラメータに基づいて、上記映り込み除去処理を行う。
 本開示の一態様に係る虹彩認証装置によれば、従来よりも認証精度を向上させることが可能となる。
実施形態1に係る虹彩認証装置の要部の構成を示す機能ブロック図である。 (a)および(b)はそれぞれ、図1の撮像装置における画素の構成について説明するための図である。 θを示すグラフである。 実施形態1の画素ユニット内の各画素の出力について説明するための図である。 図4の画素ユニットの比較例としての画素ユニットの構成を示す図である。 実施形態1の一変形例について説明するための図である。 (a)および(b)はそれぞれ、実施形態2に係る虹彩認証装置の構成について説明するための図である。 実施形態2の画素ユニット内の各画素の出力について説明するための図である。 図8の画素ユニットの比較例としての画素ユニットの構成を示す図である。
 〔実施形態1〕
 以下、実施形態1の虹彩認証装置1について述べる。説明の便宜上、以降の各実施形態では、実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
 (虹彩認証装置1の概要)
 図1は、虹彩認証装置1の要部の構成を示す機能ブロック図である。虹彩認証装置1は、例えばスマートフォン等の可搬型の電子機器(情報処理装置)であってよい。あるいは、虹彩認証装置1は、例えばデスクトップPC(Personal Computer)等の据え置き型の電子機器であってもよい。
 以下に述べるように、虹彩認証装置1は、虹彩認証技術を用いてユーザU(被写体)を認証する。虹彩認証装置1による認証(照合)の対象となる被写体は、眼球HEを含む生体である。実施形態1では、生体が人である場合を例示する。虹彩認証装置1による認証は、ユーザUの2つの眼球HEのうちの少なくとも一方(左目および右目の少なくともいずれか)に対する画像解析の結果に基づいて行われる。実施形態1では、1つの眼球HEの一方を用いてユーザUを認証する場合を例示する。但し、2つの眼球HEの両方を用いてユーザUを認証してもよい。
 虹彩認証装置1は、画像処理部10、撮像装置20、および表示部30を備える。画像処理部10は、フィッティングパラメータ算出部11(パラメータ算出部)、映り込み像除去部12、および認証部13を備える。フィッティングパラメータ算出部11は、直流成分算出部110および交流成分算出部111を備える。画像処理部10の各部の具体的な動作については後述する。画像処理部10は、虹彩認証装置1の各部を統括的に制御する制御部としての役割を併有してもよい。
 撮像装置20は、複数の画素200(図2を参照)を備える。画素200は、公知の受光素子250(撮像素子)を含む。画素200は、異なる波長の波長選択性を有する複数の波長選択素子(波長フィルタ)(例:RGBフィルタ)をさらに含んでいてもよい。画素200は、以下に述べる異なる種類の画素(通常画素およびホワイト画素)を総称的に指す。撮像装置20の具体的な構成については後述する。
 撮像装置20は、ユーザUを撮像し、当該ユーザUの画像を生成する。具体的には、撮像装置20は、反射光(外光がユーザUによって反射された光)を受光する。外光は、例えば太陽光または室内光である。撮像装置20の各画素(後述の画素200)が反射光を受光することにより、ユーザUの画像を生成できる。
 実施形態1では、撮像装置20は、ユーザUの眼球HEを撮影して、当該眼球HEの画像を取得する。以下、撮像装置20が撮像した眼球HEの画像を、第1画像と称する。第1画像には、眼球HEの虹彩の像が含まれているものとする。眼球HEに外光が照射された場合、眼球Eの表面において反射された光が、反射光となる。
 ところで、ユーザUの視界に物体が存在する場合、外光の影響により、当該物体が眼球HEに映り込む。つまり、眼球HEには、映り込み像(物体が眼球HEに映り込んだ像)が形成される。このため、第1画像には、映り込み像が含まれてしまう。この点を踏まえ、虹彩認証装置1では、虹彩認証の精度を向上させるために、映り込み像除去部12が設けられている。映り込み像除去部12は、第1画像から映り込み像を除去する処理(以下、映り込み除去処理)を行う。
 以下、第1画像に対して映り込み除去が施された画像を、第2画像と称する。映り込み像除去部12は、第1画像に対して映り込み除去を施すことにより、第2画像を生成する。映り込み像除去部12における映り込み除去には、フィッティングパラメータ算出部11(直流成分算出部110および交流成分算出部111)の演算結果が使用される。認証部13は、第2画像を解析することにより、ユーザUの認証(本人認証)を行う。認証部13による第2画像の解析には、公知の虹彩認証アルゴリズムが使用されてよい。
 表示部30は、認証部13の認証結果を報知する報知部としての役割を担う。具体的には、表示部30は、認証部13の認証結果を視覚的に報知する。表示部30は、各種の情報を示す画像を表示する。例えば、認証部13においてユーザUの本人認証が成功した場合には、表示部30は、その旨を示す情報(認証成功情報)を表示する。他方、認証部13においてユーザUの本人認証が失敗した(成功しなかった)場合には、表示部30は、その旨を示す情報(認証失敗情報)を表示する。
 但し、虹彩認証装置1において、報知部は表示部30に限定されない。例えば、報知部は、認証成功情報および認証失敗情報を聴覚的に報知するスピーカ(音声出力部)であってもよい。報知部は、認証成功情報および認証失敗情報を触覚的に報知するバイブレータ(振動部)であってもよい。
 (撮像装置20)
 図2は、撮像装置20における画素200の構成について説明するための図である。図2の(a)に示されるように、画素200は、垂直方向(縦方向)および水平方向(横方向)に規則的に配列されている。つまり、画素200は、マトリクス状に配列されている。
 撮像装置20では、複数の(例:4つの)画素200によって1つの画素ユニットPUが構成されている。撮像装置20は、複数の画素ユニットPUを含む。画素ユニットPUも、垂直方向および水平方向に規則的に配列されている(マトリクス状に配列されている)。以下、1つの画素ユニットPUに着目して説明を行う。
 図2の(b)は、1つの画素ユニットPUを構成する4つの画素200の構成をより具体的に示す。以下、説明の便宜上、図2の(b)の紙面において、
  ・左上の画素200:通常画素200P1;
  ・右上の画素200:ホワイト画素200W1;
  ・右下の画素200:通常画素200P2;
  ・左下の画素200:ホワイト画素200W2;
と称する。
 本明細書では、偏光フィルタ(偏光素子)が設けられた画素を、「通常画素」と称する。通常画素200P1(第1通常画素)および通常画素200P2(第2通常画素)は、通常画素の一例である。通常画素200P1は、受光素子250と偏光フィルタFIL1(第1偏光素子)とを有する。通常画素200P2は、受光素子250と偏光フィルタFIL2(第2偏光素子)とを有する。なお、通常画素は、「偏光画素」(あるいは、「第1画素」)と称されてもよい。
 偏光フィルタFIL1および偏光フィルタFIL2は、主軸方向(透過軸の方向)が互いに異なる偏光フィルタである。つまり、偏光フィルタFIL1および偏光フィルタFIL2は、互いに異なる偏光特性を有する。一例として、実施形態1の偏光フィルタは、矩形の受光面(光入射面)を有している。
 これに対して、本明細書では、偏光フィルタが設けられていない画素を、「ホワイト画素」と称する。ホワイト画素200W1およびホワイト画素200W2は、ホワイト画素の一例である。ホワイト画素200W1およびホワイト画素200W2はそれぞれ、受光素子250を有する。また、ホワイト画素(例:ホワイト画素200W1・200W2)を総称的に、ホワイト画素200Wとも称する。
 なお、本明細書における「ホワイト」とは、「画素に偏光フィルタが設けられていない」ことを意味する文言である。このため、「ホワイト画素」とは、「白色の画素」を意味するのではないことに留意されたい。本明細書における「ホワイト」とは、画素における偏光の有無に着目した文言であることに留意されたい。「偏光画素」(通常画素)という文言に対する対比の観点からは、ホワイト画素は、「無偏光画素」と称されてもよい。また、ホワイト画素は、「特殊画素」(あるいは、「第2画素」)と称されてもよい。
 実施形態1では、画素ユニットPUは、2つの通常画素と2つのホワイト画素とによって構成されている。但し、画素ユニットPUは、複数(2つ以上)の通常画素と少なくとも1つのホワイト画素とによって構成されていればよい。但し、複数の通常画素のそれぞれの偏光素子は、互いに異なる主軸方向を有しているものとする。また、1つの画素ユニットを構成する通常画素とホワイト画素の個数とは、必ずとも等しくなくともよい(実施形態2を参照)。
 (画素ユニットPU内の各画素の出力)
 画素ユニットPU内の各画素は、自身が受光した光の強度(受光強度)を示す信号を、画素値として出力する。実施形態1では、任意の1つの通常画素の出力(画素値)は、所定の数式(例:所定の近似式)を用いて表現可能であるとする。一例として、当該所定の数式において、通常画素の出力Iθは、交流成分と直流成分との和(重ね合わせ)として表現される。
 実施形態1では、Iθは、
  Iθ=Acos(2θ+B)+C…(1-1)
として表されるものとする。式(1-1)では、Iθの交流成分が三角関数(より具体的には、余弦関数)によって表されている。実施形態1では、画素ユニットPUにおける通常画素200P1・200P2のそれぞれの出力(後述のIp1およびIp2)を、式(1-1)によって近似(補間)できる。
 A~Cはそれぞれ、フィッティングパラメータ(近似パラメータ,補間パラメータ)とも称される。θは、偏光フィルタの透過軸の角度である。偏光フィルタの透過軸の方向が、所定の基準軸の方向と一致する場合に、θ=0°とする。このように、Iθは、θに依存する関数(より具体的には、θの周期関数)として表される。
 Aは、Iθの交流成分(Iθの成分のうち、θに依存する大きさの成分)の振幅である。以下、Iθの交流成分を、単に交流成分と称する。Aは、交流成分の大きさを示すパラメータである。Aは、交流成分のフィッティングパラメータ(交流成分パラメータ)とも称される。なお、Aは、偏光に関係するパラメータである。このことから、Aは、偏光成分のフィッティングパラメータと称されてもよい。
 Bは、偏光フィルタに入射する光の偏光角である。上記基準軸の方向と偏光角の方向とが一致する場合に、B=0°であるとする。
 Cは、Iθの直流成分(Iθの成分のうち、θに依存しない大きさの成分)である。以下、Iθの直流成分を、単に直流成分と称する。Cは、直流成分のフィッティングパラメータ(直流成分パラメータ)とも称される。Cは、Iθの直流成分の大きさを示すパラメータである。Cは、拡散反射光の影響が考慮されたパラメータである。
 図3は、式(1-1)によって表されるIθを示すグラフである。図3において、θは偏光フィルタFIL1の透過軸の角度を、θは偏光フィルタFIL2の透過軸の角度を、それぞれ表す。以下の例では、θ<θとする。なお、図3に示されているθおよびθは、説明の便宜上の単なる一例である。従って、図3に示されているθおよびθは、本開示の一態様に係る画素ユニットにおけるθおよびθの好適な例を必ずしも示しているわけではないことに留意されたい。
 図4は、画素ユニットPU内の各画素の出力(画素値)について説明するための図である。以下、通常画素200P1の出力をIp1、通常画素200P2の出力をIp2として表す。上述の式(1-1)から、
    Ip1=Acos(2θ+B)+C…(1-2)
    Ip2=Acos(2θ+B)+C…(1-3)
と表される。一例として、画素ユニットPUでは、θ=0°、θ=45°(π/4[rad])である。後述するように、画素ユニットPUでは、θおよびθは、θ-θ<90°であるように設定されることが好ましい。
 ところで、光は互いに直交する成分(例:偏光角0°の成分および偏光角90°の成分)に分離できる。このため、理想的な偏光フィルタは、自身に入射した無偏光な光を全体で50%透過する。つまり、理想的な偏光フィルタは、50%の光透過率を有する。
 これに対して、実際の偏光フィルタは、透過軸に等しい角度成分の光を70%~80%透過するに留まる。このため、実際の偏光フィルタは、30%~40%程度の光透過率を有することが一般的である。この点を踏まえ、実施形態1では、偏光フィルタFIL1~FIL2の光透過率は、40%以下であるものとする。この点は、実施形態2の偏光フィルタFIL1A~FIL3Aにおいても同様である。
 また、θが互いに90°ずれている偏光フィルタをそれぞれ備えた2つの通常画素の出力の和は、当該偏光フィルタを通過する直前の光(入射光)の大きさ(エネルギー)に対応する。上述のように、光は互いに直交する成分に分離できるためである。従って、上記2つの通常画素の出力の和は、ホワイト画素に入射する光の大きさに対応する。
 このことから、例えば、θ=0°、θ=90°(π/2[rad])とすると、ホワイト画素の出力Iwは、理想的には、
  Iw=Ip1+Ip2
    ={Acos(B)+C}+{Acos(π+B)+C}
    ={Acos(B)+C}+{-Acos(B)+C}
    =2C  …(2-1)
と表される。
 しかしながら、上述したように、一般的な偏光フィルタは透過軸方向の光(透過軸に等しい角度成分の光)をすべて透過させることはできない。このため、実際のホワイト画素の出力は、
  Iw=k×2C  …(2-2)
と表される。
 kは、偏光フィルタの透過軸方向の光透過率から算出される定数(補正係数)である。kの値は、虹彩認証装置1の設計者によって予め設定されている。なお、偏光フィルタの透過軸方向の光透過率をtとすると、k=1/tとして表される。一例として、t=0.8である場合、k=1.25である。実際の偏光フィルタではt<1であるため、k>1の関係が成立する。
 (直流成分Cの算出)
 ホワイト画素200W1の出力をIw1、ホワイト画素200W2の出力をIw2として表す。上述の式(2-2)の通り、Iw1=Iw2=Iw=2kCである。このように、ホワイト画素の出力には、直流成分(C)が含まれているが、交流成分(A)は含まれていない。
 それゆえ、ホワイト画素の出力に基づいて、Cを算出できる。実施形態1では、ホワイト画素200W1およびホワイト画素200W2の出力に基づいて、Cを算出できる。具体的には、
  Iw1+Iw2=4kC  …(3)
であることから、
  C=(Iw1+Iw2)/(4k)  …(4)
として、Cを算出できる。
 (交流成分Aの算出)
 実施形態1では、予め算出されたCを用いて、Aをさらに算出できる。まず、上述の式(1-2)および式(1-3)を変形し、
  Ip1’=Ip1-C=Acos(2θ+B)  …(5-1)
  Ip2’=Ip2-C=Acos(2θ+B)  …(5-2)
を得る。
 式(5-1)を変形すると、
  cos(2θ+B)=Ip1’/A  …(5-3)
である。従って、
  B=-2θ+cos-1(Ip1’/A)…(5-4)
として、Bを表すことができる。cos-1は、逆余弦関数(arccosine)を示す。
 続いて、式(5-2)に式(5-4)を代入すれば、
  Ip2’=Acos{2θ-2θ+cos-1(Ip1’/A)}
      =Acos(γ+β)  …(5-5)
を得る。γ=2θ-2θである。β=cos-1(Ip1’/A)である。従って、cosβ=Ip1’/Aの関係が成立する。
 式(5-5)を変形すると、
  Ip2’= A(cosγcosβ-sinγsinβ)
      =Acosγcosβ-Asinγsinβ
      =Acosγ(Ip1’/A)-Asinγsinβ
      =Ip1’cosγ-Asinγsinβ  …(5-6)
を得る。
 式(5-6)を変形すると、
  Asinβ=(Ip1’cosγ-Ip2’)/sinγ  …(5-7)
を得る。
 式(5-7)において、Aが解を有する(Aの値が一義的に決定される)ためには、sinγ≠0であることが必要である。つまり、「2θ-2θ≠π」であることが必要となる。このため、Aが解を有するための条件は、「θ-θ≠π/2」と表される。この点を踏まえ、虹彩認証装置1では、θ-θ<90°(換言すれば、|θ-θ|<90°)として設定されている。このようにθおよびθを設定することにより、各フィッティングパラメータを適切に算出することが可能となる。
 これに対して、「θ-θ=π/2」の場合(換言すれば、|θ-θ|=90°)の場合には、sinγ=0となる。このため、式(5-7)において、Aは解を有しない。このことから、後述するように、特許文献2の構成では、各フィッティングパラメータ(特にA)を、一義的に決定できない。
 なお、θ-θ=π/2の場合に、各フィッティングパラメータを一義的に決定できない理由は、以下の通り説明することもできる。θ-θ=π/2の場合、2θ=2θ+πである。このため、
  Ip2’=Acos{(2θ+B)+π}
      =-Acos(2θ+B)=-Ip1’
の関係が成立する。
 しかしながら、位相がπずれた2つの点において、Ip1’と-Ip1’との2通りの値を取る余弦関数は、無数に存在する。このように、θ-θ=π/2の場合には、AおよびBを一義的に決定することはできない。それゆえ、画素ユニットPUでは、第1偏光素子の透過軸の角度と第2偏光素子の透過軸の角度とのずれは、90°よりも小さく設定されている。
 以下では、sinγ≠0である場合を前提に、式(5-7)をさらに変形する。式(5-7)の両辺を2乗し、かつ、sinβ=1-cosβの関係を考慮すると、以下の式(5-8)を得る。
Figure JPOXMLDOC01-appb-M000001
 式(5-8)に、cosβ=Ip1’/Aを代入し、さらに式変形を施すと、以下の式(5-9)を得る。
Figure JPOXMLDOC01-appb-M000002
 この式(5-9)によって、Aを算出できる。具体的には、式(5-9)の右辺の±のうち、いずれの符号(+または-)を採用するかは、式(5-7)の右辺の正負によって決定される。式(5-7)の右辺が正の場合、式(5-9)の右辺において、+符号を採用すればよい。これに対して、式(5-7)の右辺が負の場合、式(5-9)の右辺において、-符号を採用すればよい。
 なお、式(5-9)によって算出されたAを、式(5-4)に代入することにより、Bをさらに算出できる。但し、映り込み除去処理の実行においては、Bは使用されない。このため、虹彩認証装置1においては、AおよびCが算出されればよい。
 (画像処理部10の処理の流れ)
 フィッティングパラメータ算出部11は、撮像装置20から、画素ユニットPU内の各画素の出力(Ip1、Ip2、Iw1、およびIw2)を取得する。フィッティングパラメータ算出部11は、これらの出力を用いて、AおよびCを算出する。つまり、フィッティングパラメータ算出部11は、画素ユニットPUにおける通常画素200P1・200P2のそれぞれの出力を、上述の式(1-1)(所定の数式の一例)によって近似する。
 まず、直流成分算出部110は、ホワイト画素200W1・200W2の出力(Iw1およびIw2)を取得する。直流成分算出部110は、上述の式(4)を用いて、Cを算出する。
 交流成分算出部111は、通常画素200P1・200P2の出力(Ip1およびIp2)を取得する。交流成分算出部111は、Cの値を直流成分算出部110からさらに取得する。まず、交流成分算出部111は、上述の式(5-1)および式(5-2)を用いて、Ip1’およびIp2’を算出する。
 続いて、交流成分算出部111は、上述の式(5-9)を用いて、Aを算出する。なお、交流成分算出部111での演算において、θおよびθの値は、予め設定されているものとする。従って、交流成分算出部111は、予め設定されたθおよびθの値を用いて、sinγおよびcosγを算出する。
 映り込み像除去部12は、フィッティングパラメータ算出部11の演算結果(AおよびCの値)を取得する。映り込み像除去部12は、AおよびCの値を用いて、上述の式(1-1)におけるIθの最大値(Imax)および最小値(Imin)を算出する。一例として、A>0かつC>0である場合を考える。この場合、映り込み像除去部12は、Imax=A+Cとして、Imaxを算出する。また、映り込み像除去部12は、Imin=-A+Cとして、Iminを算出する。
 続いて、映り込み像除去部12は、ImaxおよびIminを用いて、公知の手法により、1つの画素ユニットPUに対応する第1画像IMG1の領域に対して、映り込み除去処理を行う。一例として、映り込み像除去部12は、日本国公開特許公報「特開2017-201303号公報」に開示された手法により、映り込み除去処理を行う。このように、映り込み像除去部12は、フィッティングパラメータ算出部11の演算結果に基づいて、映り込み除去処理を行う。
 一例として、撮像装置20がN個の画素ユニットPU(第1画素ユニット~第N画素ユニット)を有する場合を考える。Nは2以上の整数とする。まず、映り込み像除去部12は、第1画素ユニットに対応する第1画像IMG1の領域(第1領域)に対して、映り込み除去処理を行う。
 続いて、映り込み像除去部12は、第2画素ユニットに対応する第1画像IMG1の領域(第2領域)に対して、映り込み除去処理を行う。以降、第N-1画素ユニットまでについても同様である。最終的に、映り込み像除去部12は、第N画素ユニットに対応する第1画像IMG1の領域(第N領域)に対して、映り込み除去処理を行う。以上のように、映り込み像除去部12は、第1画像IMG1の全体に対して映り込み除去処理を行う。
 映り込み像除去部12の映り込み除去処理によれば、第1画像IMG1から、眼球HEの正反射光成分の少なくとも一部を除去できる。つまり、映り込み像除去部12は、第1画像IMG1から、眼球HEへの環境光の映り込みを除去する。このように、映り込み像除去部12は、フィッティングパラメータ算出部11の演算結果を用いて、映り込み除去処理を実行できる(第2画像を生成できる)。認証部13は、上述の通り、第2画像を解析し、ユーザUの認証(本人認証)を行う。
 (比較例の画素ユニットPUrにおけるSN比)
 図5は、画素ユニットPUの比較例としての画素ユニットPUrの構成を示す図である。画素ユニットPUrは、特許文献1の画素ユニットを模している。画素ユニットPUrは、4つの通常画素のみによって構成されている(つまり、ホワイト画素を有しない)という点において、画素ユニットPUとは異なる。
 以下、説明の便宜上、図5の紙面において、
  ・左上の画素200:通常画素200F1;
  ・右上の画素200:通常画素200F2;
  ・右下の画素200:通常画素200F3;
  ・左下の画素200:通常画素200F4;
と称する。
 通常画素200F1~200F4のそれぞれが備える偏光フィルタを、偏光フィルタFIL1r~FIL4rと称する。偏光フィルタFIL1r~FIL4rは、主軸方向が互いに異なる偏光フィルタである。一例として、FIL1rの透過軸の角度は0°であり、FIL2rの透過軸の角度は45°であり、FIL3rの透過軸の角度は90°でありFIL4rの透過軸の角度は135°である。
 このように、偏光フィルタFIL1rと偏光フィルタFIL3rとでは、透過軸の角度が90°ずれている。同様に、光フィルタFIL2rと偏光フィルタFIL4rとでは、透過軸の角度が90°ずれている。
 以下、通常画素200F1の出力をIf1、通常画素200F2の出力をIf2、通常画素200F3の出力をIf3、通常画素200F4の出力をIf4として表す。If1~If4も、上述の式(1-1)によって表現されるものとする。
 一般的な撮像装置(画素ユニット)の出力(信号成分)に対する主要なノイズの1つとしては、光ショットノイズが知られている。光ショットノイズは、画素ユニットへの光の入射に伴って生じた信号量(信号の大きさ)の平方根に比例することが知られている。従って、画素ユニットにおけるSN比(Signal to Noise Ratio)(ノイズに対する信号量の比の値)は、近似的に、信号量の平方根によって表される。
 特許文献1の方法では、C(直流成分)は、4つの通常画素の出力の平均値として算出される。従って、特許文献1の方法によってCを算出した場合、画素ユニットPUrのSN比(以下、SNr)は、以下の式(6)によって表される。
Figure JPOXMLDOC01-appb-M000003
 なお、If0=(If1+If2+If3+If4)/4である。If0は、4つの通常画素の出力の平均値(1つの画素ユニット内の通常画素の出力の平均値)である。
 (実施形態1の画素ユニットPUにおけるSN比)
 これに対して、実施形態1の方法では、ホワイト画素の出力のみを用いて、Cを算出できる。従って、実施形態1の方法によってCを算出した場合、画素ユニットPUにおけるSN比(以下、SN1)は、以下の式(7)によって表される。
Figure JPOXMLDOC01-appb-M000004
 なお、Iw0=(Iw1+Iw2)/2である。Iw0は、2つのホワイト画素の出力の平均値(1つの画素ユニット内のホワイト画素の出力の平均値)である。
 上述のように、偏光フィルタFIL1rと偏光フィルタFIL3rとでは、透過軸の角度が90°ずれている。このため、If1とIf3との和は、理想的には1つのホワイト画素の出力と等しくなる。同様に、光フィルタFIL2rと偏光フィルタFIL4rとでは、透過軸の角度が90°ずれている。このため、If2とIf4との和も、理想的には1つのホワイト画素の出力と等しくなる。
 しかしながら、特許文献1には、偏光フィルタの光透過率が35%~40%程度であることが記載されている。この場合、上述の通り、(i)If1とIf3との和、および、(ii)If2とIf4との和は、いずれも1つのホワイト画素の出力よりも小さくなる。このことから、
  (If1+If3)+(If2+If4)<Iw1+Iw2  …(8-1)
が成立する。
 式(8-1)において、左辺は4×If0に等しく、右辺は2×Iw0に等しいので、
  4×If0<2×Iw0  …(8-2)
となる。
 従って、
  Iw0>2×If0  …(8-3)
が成立する。式(8-3)の両辺の平方根を取り、さらに式(6)および式(7)を適用すると、
  SN1>SNr  …(9)
の関係が導かれる。
 このように、画素ユニットPUによれば、比較例の画素ユニットPUrに比べて、SN比を向上させることが可能となる。それゆえ、虹彩認証装置1によれば、従来よりも高精度に映り込み像除去処理を実行できる。その結果、従来よりも認証精度を向上させることが可能となる。
 (補足)
 仮に、偏光フィルタFIL1r~FIL4rが理想的な偏光フィルタ(光透過率50%の偏光フィルタ)である場合、SN1=SNrの関係が成立する。但し、実際には、50%に十分に近い光透過率を有する偏光フィルタを実現することは困難である。
 特に、小型の偏光フィルタ(例:受光素子に直接取り付け可能な偏光フィルタ)の場合、偏光フィルタの光透過率を高くすることは容易ではない。実際の撮像装置に設けられる偏光フィルタの光透過率は、30%~40%であることが一般的である。このため、画素ユニットPUの構成は、実際の撮像装置に好適に適用できる。
 このように、本開示の一態様に係る虹彩認証装置は、理想的な偏光素子(光透過率50%)ではなく、むしろ、実際の偏光素子(例:光透過率40%以下)が使用された場合に、特に有益であると言える。
 (効果)
 虹彩認証装置1によれば、画素ユニットPU内の通常画素の出力のみならず、ホワイト画素の出力をさらに用いて、各フィッティングパラメータを算出できる。具体的には、ホワイト画素の出力のみを用いて、C(直流成分)を算出できる。
 これに対して、特許文献1の技術は、内視鏡への応用を前提としている。このため、特許文献1の技術では、各通常画素の出力(例:If1~If4)は、いずれも小さいと考えられる。それゆえ、Cを算出する場合、ノイズ(例:光ショットノイズ)の影響が大きい。すなわち、Cを高精度に算出できない。
 他方、虹彩認証装置1では、ホワイト画素の出力(例:Iw1~Iw2)のみを用いて、Cを算出できる。つまり、虹彩認証装置1では、通常画素の出力を用いることなく、Cを算出できる。従って、特許文献1の技術に比べて、Cを算出する場合のノイズの影響を低減できる。その結果、Cを高精度に算出できる。また、Cを用いてAを算出できるので、Aを高精度に算出することもできる。すなわち、各フィッティングパラメータを従来よりも高精度に算出できる。
 加えて、虹彩認証装置1によれば、上述のように、特許文献1の技術(参照:画素ユニットPUr)を適用した場合に比べて、SN比を向上させることができる。このように、虹彩認証装置1によれば、虹彩認証の精度を向上させることが可能となる。
 なお、特許文献1の技術においてSN比を向上させるための一手法としては、1つの画素ユニット内の通常画素の数を増加させることが考えられる。しかしながら、通常画素の数を増加させた場合、1つの画素ユニットの面積が大きくなる。映り込み除去処理において、1つの画素ユニットには、同一の場所(同一の光源)から発せられた光(信号)を受光させることが望ましい。しかしながら、画素ユニットの面積が大きくなると、このような好ましい受光態様を維持することが困難となる。その結果、映り込み除去処理の性能が劣化することが懸念される。このように、通常画素の数を増加させる手法には、限界がある。
 これに対して、虹彩認証装置1では、通常画素の数を増加させることなく(1つの画素ユニットの面積を増加させることなく)、高いSN比を得ることができる。この点からも、虹彩認証装置1によれば、虹彩認証の精度を効果的に向上させることができる。
 ところで、特許文献2には、通常画素(偏光画素)とホワイト画素(無偏光画素)との両方を有する画素ユニットが開示されている。しかしながら、特許文献2の技術を適用したとしても、虹彩認証装置1の効果を奏することはできない。
 まず、特許文献2には、画素ユニット内の各画素の出力を用いて各フィッティングパラメータを算出する点について、何ら教示されていない。加えて、特許文献2の画素ユニット内の各画素の出力を用いて各フィッティングパラメータの算出を試みたとしても、各フィッティングパラメータを適切に算出できない。特許文献2の画素ユニットでは、A(交流成分)を、一義的に決定できないためである。
 具体的には、特許文献2では、「鉛直方向の偏光フィルタ」と「水平方向の偏光フィルタ」との2種類の偏光フィルタが用いられている。つまり、特許文献2では、各通常画素に設けられる2種類の偏光フィルタ間の透過軸の角度のずれが、90°に設定されている。それゆえ、上述のように、Aを一義的に決定できない(上述の式(5-9)についての説明を参照)。
 以上のように、「2種類の偏光フィルタ間の透過軸の角度のずれを、90°よりも小さく設定する」という構成は、「フィッティングパラメータの算出を適切に行う」ための具体的な構成として、本願の発明者らによって新たに想到されたものである。
 〔変形例〕
 実施形態1では、撮像装置20が有する1つの画素200が、1つの画素ユニットPUのみに属する(1つの画素ユニットPUのみに含まれる)構成を例示した。但し、1つの画素200は、複数の画素ユニットに属していてもよい。
 図6は、実施形態1の一変形例としての撮像装置20Vについて説明するための図である。図6に示されるように、1つの画素200Zは、4つの異なる画素ユニットPUA、PUB、PUC、およびPUDにそれぞれ属している。つまり、画素200Zは、画素ユニットPUA~PUD間において共有されている。画素ユニットPUA~PUDはそれぞれ、2つの通常画素と2つのホワイト画素とによって構成されている。
 撮像装置20Vの構成によれば、画素ユニットの総数を増加させることができるので、第1画像(および第2画像)の見かけ上の解像度を増加させることができる。それゆえ、虹彩認証の精度をさらに向上させることができる。但し、画像処理部10におけるデータ処理の量が増加するため、画像処理部10の演算時間が増加する。撮像装置20Vの構成は、画像処理部10の処理性能が高い場合に採用されることが好ましい。
 〔実施形態2〕
 図7は、実施形態2の虹彩認証装置2の構成について説明するための図である。虹彩認証装置2が備える撮像装置を、撮像装置20Aと称する。また、撮像装置20Aに含まれる画素ユニットを、画素ユニットPU2と称する。
 図7の(a)は、1つの画素ユニットPU2を構成する4つの画素200の構成を示す図(平面図)である。以下、説明の便宜上、図7の(a)の紙面において、
  ・左上の画素200:ホワイト画素200W0;
  ・右上の画素200:通常画素200Q1;
  ・右下の画素200:通常画素200Q2;
  ・左下の画素200:通常画素200Q3;
と称する。画素ユニットPU2は、1つのホワイト画素のみを有しているという点において、画素ユニットPUとは異なる。このように、画素ユニットPU2は、3つの通常画素と1つのホワイト画素とによって構成されている。
 通常画素200Q1~200Q3のそれぞれが備える偏光フィルタを、偏光フィルタFIL1A~FIL3Aと称する。偏光フィルタFIL1A~FIL3Aは、主軸方向が互いに異なる偏光フィルタである。
 以下、偏光フィルタFIL1Aの透過軸の角度をθ、偏光フィルタFIL2Aの透過軸の角度をθ、偏光フィルタFIL3Aの透過軸の角度をθとして、それぞれ表す。一例として、虹彩認証装置2では、θ=0°、θ=60°、θ=120°である。以下の例では、θ<θ<θとする。
 画素ユニットPU2では、互いに隣接する偏光フィルタ間の透過軸の角度のずれは、90°よりも小さく設定されている。図7の(a)に示されるように、偏光フィルタFIL2Aは、偏光フィルタFIL1Aおよび偏光フィルタFIL3Aのそれぞれと隣接している。偏光フィルタFIL2Aと偏光フィルタFIL1Aとの間のθのずれ(つまり、|θ-θ|)、および、偏光フィルタFIL2Aと偏光フィルタFIL3Aとの間のθのずれ(つまり、|θ-θ|)は、いずれも60°である。
 実施形態2の偏光フィルタは、円形の受光面を有しているという点において、実施形態1の偏光フィルタとは異なる。偏光フィルタの形状を円形とすることにより、例えば偏光フィルタの製造プロセスに起因して、偏光フィルタ間の特性に差異が生じる可能性を低減できる。
 なお、偏光フィルタの受光面の形状は、例えば八角形であってもよい。つまり、偏光フィルタの受光面の形状は、略円形と見なすことができる多角形であってもよい。
 通常画素200Q1~200Q3は、遮光部材290(遮光領域)を有しているという点において、実施形態1の通常画素(通常画素200P1・200P2)とは異なる。図7の(b)は、画素ユニットPU2の構成について説明するための図である。図7の(b)には、通常画素200Q2・200Q3およびその近傍が図示されている。
 図7に示されるように、遮光部材290が設けられることにより、通常画素200Q1~200Q3の受光可能領域は、実施形態1の通常画素の受光可能領域に比べて小さくなる。受光可能領域とは、1つの通常画素に含まれる受光素子250に光を受光させることが可能な領域である。このように、遮光部材290は、各通常画素に含まれる受光素子250の受光可能領域を制限する役割を果たす。
 特に、遮光部材290が設けられることにより、通常画素200Q2の受光可能領域と通常画素200Q3の受光可能領域との間には、マージンが規定される。距離dmは、画素ユニットPU2の受光面におけるFIL2AとFIL3Aとの間の距離である。各通常画素の面積が一定である場合、距離dmが大きくなるにつれて、1つの通常画素に含まれる偏光フィルタの面積は小さくなる。従って、距離dmが大きくなるにつれて、上記マージンが大きくなる。
 図7の(b)では、説明の便宜上、通常画素200Q2に含まれる受光素子250を受光素子252、通常画素200Q3に含まれる受光素子250を受光素子253とそれぞれ称する。図7の(b)から理解されるように、距離dmを大きくするほど、隣接する通常画素間のクロストークを低減できる。
 つまり、通常画素200Q2の偏光フィルタFIL2Aを透過した光が、受光素子253に入射される可能性を低減できる。同様に、通常画素200Q3の偏光フィルタFIL3Aを透過した光が、受光素子252に入射される可能性を低減できる。それゆえ、各フィッティングパラメータ(特にA)を算出する場合のノイズの影響を、より効果的に低減できる。
 距離dmを大きくした場合、各通常画素の全体的な光透過率が低下すると推定される。加えて、各偏光フィルタの消光比を向上させた場合、各通常画素の全体的な光透過率がさらに低下すると推定される。消光比は、遮断すべき偏光成分に対する、透過すべき偏光成分の割合を示す指標である。消光比が高いほど、偏光フィルタの偏光性能が優れていると言える。画素ユニットPU2では、各通常画素の全体的な光透過率は25%未満程度になると考えられる。画素ユニットPU2の構成は、このような低い光透過率に対して有効に適用できる。
 図8は、画素ユニットPU2内の各画素の出力について説明するための図である。実施形態2では、通常画素200Q1の出力をIp1、通常画素200Q2の出力をIp2、通常画素200Q3の出力をIp3として表す。また、画素ユニットPU2では、1つのホワイト画素200W0のみが設けられているため、当該ホワイト画素200W0の出力をIw0(1つの画素ユニット内のホワイト画素の出力の平均値)として表す。
 フィッティングパラメータ算出部11は、撮像装置20Aから、画素ユニットPU2内の各画素の出力(Ip1、Ip2、Ip3、およびIw0)を取得する。フィッティングパラメータ算出部11は、これらの出力を用いて、AおよびCを算出する。
 (直流成分Cの算出)
 直流成分算出部110は、1つのホワイト画素(ホワイト画素200W0)の出力(Iw0)を取得する。上述の式(2-2)の通り、Iw0=2kCである。このことから、実施形態2では、直流成分算出部110は、
  C=Iw0/(2k)  …(10)
として、Cを算出する。
 (交流成分Aの算出)
 交流成分算出部111は、通常画素200Q1~200Q3の出力(Ip1~Ip3)を取得する。交流成分算出部111は、Cの値を直流成分算出部110からさらに取得する。交流成分算出部111は、Ip1~Ip3およびCを用いて、Aを算出する。
 実施形態2では、交流成分算出部111は、Ip1~Ip3およびCの値を式(1-1)に代入し、例えば最小二乗法を用いてAを決定してもよい。このように、交流成分算出部111は、最小二乗法を用いたフィッティングによって、Aを算出できる。なお、交流成分算出部111は、最小二乗法以外の公知のフィッティング手法を用いて、Aを算出してもよい。
 あるいは、Ip1~Ip3およびCとAとの関係を示す計算式が、交流成分算出部111に予め設定されていてもよい。この場合、交流成分算出部111は、当該計算式を用いてAを算出できる。
 (比較例の画素ユニットPU2rにおけるSN比)
 図9は、画素ユニットPU2の比較例としての画素ユニットPU2rの構成を示す図である。画素ユニットPU2rは、特許文献1の画素ユニットを模している。画素ユニットPU2rは、4つの通常画素のみによって構成されている(つまり、ホワイト画素を有しない)という点において、画素ユニットPU2とは異なる。
 以下、説明の便宜上、図9の紙面において、
  ・左上の画素200:通常画素200G1;
  ・右上の画素200:通常画素200G2;
  ・右下の画素200:通常画素200G3;
  ・左下の画素200:通常画素200G4;
と称する。
 通常画素200G1~200G4のそれぞれが備える偏光フィルタを、偏光フィルタFIL1Ar~FIL4Arと称する。偏光フィルタFIL1Ar~FIL4Arは、偏光フィルタFIL1A~FIL3Aと同様に、円形の形状を有している。偏光フィルタFIL1Ar~FIL4Arは、主軸方向が互いに異なる偏光フィルタである。互いに隣接する偏光フィルタ間の透過軸の角度のずれは、90°よりも小さく設定されている。
 但し、偏光フィルタFIL1Arと偏光フィルタFIL3Arとでは、透過軸の角度が90°ずれている。同様に、光フィルタFIL2Arと偏光フィルタFIL4Arとでは、透過軸の角度が90°ずれている。
 実施形態2では、通常画素200G1の出力をIf1、通常画素200G2の出力をIf2、通常画素200G3の出力をIf3、通常画素200G4の出力をIf4として表す。特許文献1の方法によってCを算出した場合、画素ユニットPU2rのSN比(SNr)は、上述の式(6)によって表される。
 (実施形態2の画素ユニットPU2におけるSN比)
 実施形態2の方法においても、ホワイト画素の出力のみを用いて、Cを算出できる。実施形態2の方法によってCを算出した場合、画素ユニットPU2におけるSN比(以下、SN2)は、以下の式(11)によって表される。
Figure JPOXMLDOC01-appb-M000005
 実施形態1と同様に、(If1+If3)および(If2+If4)はそれぞれ、理想的には1つのホワイト画素の出力(Iw0)と等しい。しかしながら、上述のように、実施形態2では、各通常画素の全体的な光透過率は25%未満程度である。このことから、
  If1+If3<0.5×Iw0  …(12-1)
  If2+If4<0.5×Iw0  …(12-2)
である。従って、
  (If1+If3)+(If2+If4)<Iw0  …(12-3)
となる。
 式(12-3)において、左辺は4×If0に等しいので、
  Iw0>4×If0  …(12-4)
という関係が成立する。式(12-4)の両辺の平方根を取り、さらに式(6)および式(11)を適用すると、
  SN2>SNr  …(13)
の関係が導かれる。
 このように、画素ユニットPU2によっても、比較例の画素ユニットPU2rに比べて、SN比を向上させることが可能となる。それゆえ、虹彩認証装置2によっても、実施形態1と同様の効果を奏する。
 〔ソフトウェアによる実現例〕
 虹彩認証装置1~2の制御ブロック(特に画像処理部10)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
 後者の場合、虹彩認証装置1~2は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の一態様の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
 〔付記事項〕
 本開示の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。
 (関連出願の相互参照)
 本出願は、2017年12月28日に出願された日本国特許出願:特願2017-253986に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
 1、2 虹彩認証装置
 11 フィッティングパラメータ算出部(パラメータ算出部)
 12 映り込み像除去部
 13 認証部
 20、20A、20V 撮像装置
 110 直流成分算出部
 111 交流成分算出部
 200、200Z 画素
 200P1~200P2、200Q1~200Q3 通常画素
 200P1 通常画素(第1通常画素)
 200P2 通常画素(第2通常画素)
 200W、200W0、200W1~200W2 ホワイト画素(無偏光画素)
 250、252、253 受光素子(撮像素子)
 290 遮光領域(遮光部材)
 FIL1~FIL2、FIL1A~FIL3A 偏光フィルタ(偏光素子)
 FIL1 偏光フィルタ(第1偏光素子)
 FIL2 偏光フィルタ(第2偏光素子)
 PU、PU2、PUA~PUD 画素ユニット
 U ユーザ(被写体)
 HE 眼球
 A 交流成分(交流成分パラメータ)
 C 直流成分(直流成分パラメータ)
 θ 角度(偏光素子の透過軸の角度)
 Iw0、Iw1~Iw2 ホワイト画素の出力(無偏光画素の出力)
 Ip1~Ip3 通常画素の出力

Claims (5)

  1.  虹彩認証装置であって、
     被写体の眼球の虹彩を含む画像である第1画像を撮像する撮像装置と、
     上記眼球に映り込んだ物体の像を上記第1画像から除去する映り込み除去処理を行うことにより、第2画像を生成する映り込み像除去部と、
     上記第2画像を解析することにより、上記被写体の虹彩認証を行う認証部と、を備え、
     上記撮像装置は、複数の画素によって構成される画素ユニットを複数備え、
     上記画素ユニットにおいて、
      撮像素子および偏光素子を含む上記画素を通常画素として、
      上記撮像素子を含み、かつ、上記偏光素子を含まない上記画素を無偏光画素として、
     1つの上記画素ユニットは、複数の上記通常画素と少なくとも1つの上記無偏光画素とによって構成されており、
     1つの上記画素ユニットにおいて、
      複数の上記通常画素のそれぞれの上記偏光素子は、互いに異なる透過軸の方向を有しており、
      複数の上記通常画素のそれぞれの出力は、直流成分と交流成分との重ね合わせとして所定の数式で表現されており、
     上記虹彩認証装置は、
      (i)上記直流成分の大きさを示す直流成分パラメータを、1つの上記画素ユニットにおける少なくとも1つの上記無偏光画素の出力に基づいて算出するとともに、
      (ii)上記交流成分の大きさを示す交流成分パラメータを、1つの上記画素ユニットにおける複数の上記通常画素のそれぞれの出力、および、上記直流成分パラメータに基づいて算出する、パラメータ算出部をさらに備え、
     上記映り込み像除去部は、上記直流成分パラメータおよび上記交流成分パラメータに基づいて、上記映り込み除去処理を行うことを特徴とする虹彩認証装置。
  2.  1つの上記画素ユニットは、2つの上記通常画素と少なくとも1つの上記無偏光画素とによって構成されており、
     1つの上記画素ユニットにおいて、
      2つの上記通常画素の一方を第1通常画素、他方を第2通常画素として、
      上記第1通常画素の上記偏光素子を第1偏光素子として、
      上記第2通常画素の上記偏光素子を第2偏光素子として、
      上記第1偏光素子の透過軸の角度と上記第2偏光素子の透過軸の角度とのずれは、90°よりも小さいことを特徴とする請求項1に記載の虹彩認証装置。
  3.  上記撮像装置に含まれる1つの上記通常画素は、複数の上記画素ユニット間において共有されていることを特徴とする請求項1または2に記載の虹彩認証装置。
  4.  上記1つの上記画素ユニットにおける複数の上記通常画素のそれぞれには、上記撮像素子の受光可能領域を制限する遮光領域が設けられていることを特徴とする請求項1から3のいずれか1項に記載の虹彩認証装置。
  5.  1つの上記画素ユニットにおける複数の上記通常画素のそれぞれの上記偏光素子は、円形の受光面を有していることを特徴とする請求項1から4のいずれか1項に記載の虹彩認証装置。
PCT/JP2018/046457 2017-12-28 2018-12-18 虹彩認証装置 WO2019131303A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-253986 2017-12-28
JP2017253986 2017-12-28

Publications (1)

Publication Number Publication Date
WO2019131303A1 true WO2019131303A1 (ja) 2019-07-04

Family

ID=67066479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/046457 WO2019131303A1 (ja) 2017-12-28 2018-12-18 虹彩認証装置

Country Status (1)

Country Link
WO (1) WO2019131303A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015025676A1 (ja) * 2013-08-20 2015-02-26 オリンパス株式会社 撮像装置
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
WO2017013913A1 (ja) * 2015-07-17 2017-01-26 ソニー株式会社 視線検出装置、アイウェア端末、視線検出方法及びプログラム
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015025676A1 (ja) * 2013-08-20 2015-02-26 オリンパス株式会社 撮像装置
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
WO2017013913A1 (ja) * 2015-07-17 2017-01-26 ソニー株式会社 視線検出装置、アイウェア端末、視線検出方法及びプログラム
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法

Similar Documents

Publication Publication Date Title
CN108027881B (zh) 使用多种捕捉技术的用户认证
US11693938B2 (en) Facial recognition authentication system including path parameters
CN107341771B (zh) 图像处理方法和图像处理装置
US7884327B2 (en) Vein imaging apparatus, vein imaging method and vein authentication apparatus
US11580203B2 (en) Method and apparatus for authenticating a user of a computing device
WO2017013913A1 (ja) 視線検出装置、アイウェア端末、視線検出方法及びプログラム
CN108474956A (zh) 具有可变聚焦的增强现实显示系统
JP2007011667A (ja) 虹彩認証装置および虹彩認証方法
WO2016088418A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2013035150A1 (ja) 顔認証システム、顔認証方法、および顔認証プログラム
US20100226545A1 (en) Vein pattern management system, vein pattern registration apparatus, vein pattern authentication apparatus, vein pattern registration method, vein pattern authentication method, program, and vein data configuration
CN108697308A (zh) 图像处理装置、图像处理方法和记录介质
EP3763119B1 (en) Method for generating depth information and electronic device supporting the same
CN105144704B (zh) 显示设备和显示方法
JP4924114B2 (ja) 画像処理プログラムおよび画像処理方法
JP2009140076A (ja) 認証装置及び認証方法
JP6818444B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP4918924B2 (ja) 調整装置、眼鏡、調整方法及びプログラム。
WO2017163516A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Diamant et al. Overcoming visual reverberations
WO2019131303A1 (ja) 虹彩認証装置
EP2148302A1 (en) Vein pattern management system, vein pattern registration device, vein pattern authentication device, vein pattern registration method, vein pattern authentication method, program, and vein data structure
US20210165144A1 (en) Image pickup apparatus and image processing apparatus
KR102011195B1 (ko) 화상 처리 방법 및 화상 처리 장치
CN103616998A (zh) 用户信息获取方法及用户信息获取装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18896126

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18896126

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP