WO2018185992A1 - 生体認証装置、及び方法 - Google Patents

生体認証装置、及び方法 Download PDF

Info

Publication number
WO2018185992A1
WO2018185992A1 PCT/JP2018/000829 JP2018000829W WO2018185992A1 WO 2018185992 A1 WO2018185992 A1 WO 2018185992A1 JP 2018000829 W JP2018000829 W JP 2018000829W WO 2018185992 A1 WO2018185992 A1 WO 2018185992A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
biometric
authentication
biological
biometric authentication
Prior art date
Application number
PCT/JP2018/000829
Other languages
English (en)
French (fr)
Inventor
渓一郎 中崎
友輔 松田
三浦　直人
洋 野々村
長坂　晃朗
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2018185992A1 publication Critical patent/WO2018185992A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a biometric authentication apparatus and method for authenticating an individual using a biometric.
  • finger vein authentication is known as a technology that can realize highly accurate authentication. Finger vein authentication achieves excellent authentication accuracy using a blood vessel pattern inside the finger. Since finger vein authentication is more difficult to counterfeit and tamper than fingerprint authentication, a high level of security can be realized.
  • Personal authentication can be performed using a general-purpose sensor under ambient light in the space where the living body exists, without using a specific light source or dedicated sensor. It is expected to be used on various devices such as smartphones and public tablets. Furthermore, mutual biometric authentication between different imaging devices, such as registration with a smartphone and authentication with a tablet, is also expected.
  • Patent Literature 1 finger veins and the like are extracted from an image obtained by photographing a finger with an image pickup device including a color camera sensitive to visible light and a light emitting diode (LED) light source that emits light in blue, green, and red, and personal authentication is performed.
  • the technology to be implemented is disclosed.
  • Patent Document 2 the degree of similarity between finger vein images acquired in a moving image at the time of authentication is calculated, and only finger vein images having a high degree of similarity are used for authentication, thereby capturing finger misalignment, lighting shadows, and the like.
  • a technique for avoiding fluctuations in conditions is disclosed.
  • Patent Document 1 the influence of external light is reduced by covering the entire angle of view of the camera with fingers or using a roof. For this reason, the apparatus configuration is based on the premise that the light source is arranged in accordance with the position of the camera. Therefore, authentication with a portable terminal in which the positional relationship between the camera and the light source differs depending on the device or where there is no light source is not considered. In addition, a case in which authentication is performed mutually with a plurality of devices having individual differences between cameras is not considered.
  • Patent Document 2 it is possible to avoid fluctuations in photographing conditions during authentication such as finger misalignment and changes in the degree of shadow caused by illumination. On the other hand, there are photographing conditions such as ambient illumination and individual differences between imaging devices during registration and authentication. Different cases are not considered.
  • an object of the present invention is to provide a biometric authentication apparatus and method that can perform authentication with high accuracy even when the shooting environment such as the illumination environment and the imaging apparatus is different at the time of registration and at the time of authentication.
  • an image input unit that captures a living body image by capturing a living body
  • an authentication processing unit that processes the biological image
  • registration information related to biological features obtained from the living body are stored.
  • a storage unit, and the authentication processing unit uses the registration information to perform color conversion that minimizes a color difference between the biometric images at the time of registration and at the time of authentication, and performs biometric authentication using the biometric image after color conversion.
  • a biometric authentication device is provided.
  • a biometric authentication method by an authentication processing unit wherein the authentication processing unit processes a biometric image obtained by photographing a biometric and is obtained from the biometric feature.
  • a biometric authentication method for performing color conversion that minimizes a color difference between biometric images at the time of registration and at the time of authentication using the registration information relating to biometric authentication and performing biometric authentication using the biometric image after color conversion is provided.
  • authentication is performed with high accuracy by minimizing the color difference between each biological image obtained by photographing a living body at the time of registration and at the time of authentication, thereby reducing the influence of lighting fluctuations and individual differences between devices. be able to.
  • FIG. 6 is a diagram illustrating an example of a color conversion processing flow at the time of registering a biological image according to the first exemplary embodiment.
  • FIG. 6 is a diagram illustrating an example of a color conversion processing flow at the time of biometric image authentication according to the first exemplary embodiment.
  • It is a figure which shows the modification of the example of a processing flow at the time of registration of the biometric image of Example 1.
  • FIG. It is a figure which shows the table example of a data set based on Example 1.
  • FIG. 3 is a schematic diagram illustrating an example of a biological image of Example 1.
  • FIG. 1 It is a schematic diagram which shows the structure which image
  • FIG. It is explanatory drawing of the removal method of the environmental light component of the biological image of Example 2.
  • FIG. It is a figure which shows the example of an authentication processing flow of the biometric authentication system of Example 3.
  • FIG. It is a schematic diagram of the mechanism which acquires the camera position in the back surface of a housing based on Example 3.
  • FIG. It is a schematic diagram which shows the structure which image
  • the first embodiment includes an image input unit that captures a biological image by acquiring a biological image, an authentication processing unit that processes the biological image, and a storage unit that stores registration information regarding biological features obtained from the biological body.
  • the processing unit uses the registration information, performs color conversion that minimizes the color difference between the biometric images at the time of registration and authentication, and performs biometric authentication using the biometric image after color conversion. is there.
  • the authentication processing unit uses the registration information to generate a color conversion matrix that minimizes the color difference between the biometric images at the time of registration and authentication, and generates a conversion image from the generated color conversion matrix and the biometric image, It is an Example of the structure which calculates by calculating the similarity degree of a conversion image and registration information, and authenticates.
  • this embodiment may be configured not as a system, but as a device in which all or a part of the configuration is mounted on a housing.
  • the device may be a biometric authentication device including an authentication processing unit, or the authentication processing unit may be an external device, and the device is a blood vessel image acquisition device or blood vessel image extraction device specialized for acquiring blood vessel images. Also good. Therefore, the various functions described below may be configured by a plurality of devices existing on the network.
  • the apparatus may be implemented as a mobile terminal such as a mobile phone, a notebook PC, a smartphone, or a tablet.
  • FIG. 1 is a diagram illustrating an entire biometric authentication system using a finger blood vessel and a configuration of an authentication processing unit according to the first embodiment.
  • the biometric authentication system shown in FIG. 1A includes an image input unit 1, an authentication processing unit 2, a storage unit 3, a display unit 4, and an input unit 5.
  • the image input unit 1 acquires an image including a biometric feature from the authentication subject's living body, and inputs the acquired image to the authentication processing unit 2.
  • the authentication processing unit 2 performs image processing on the image input from the image input unit 1 and executes authentication processing. In other words, the authentication processing unit 2 has an image authentication processing function.
  • the authentication processing unit 2 includes a CPU (Central Processing Unit) 6, a memory 7, and various IFs (Interface) 8.
  • the CPU 6 performs various processes by executing programs stored in the memory 7.
  • the memory 7 stores a program executed by the CPU 6.
  • the memory 7 temporarily stores the image input from the image input unit 1.
  • FIG. 1B shows a functional block diagram of the authentication processing unit 2.
  • the authentication processing unit 2 having an image authentication processing function includes an authentication unit 9 and a registration unit 10.
  • the authentication unit 9 performs image processing on the biometric image that is input data input from the image input unit 1 at the time of authentication, and compares it with registration information registered in the storage unit 3 to authenticate the user.
  • the registration unit 10 creates biometric image registration information acquired by the image input unit 1 at the time of registration and stores it in the storage unit 3.
  • Each process of the above-described authentication processing unit 2 can be realized by various programs.
  • various programs stored in the storage unit 3 are expanded in the memory 7.
  • the CPU 6 executes processing and calculation of the authentication processing unit 2 described below by executing a program loaded in the memory 7.
  • IF8 connects the authentication processing unit 2 and an external device. Specifically, the IF 8 is connected to the storage unit 3, the display unit 4, the input unit 5, the image input unit 1, and the like.
  • the storage unit 3 stores user registration information in advance.
  • the registration information is information related to biological features for collating users, and is, for example, image information of biological tissues such as finger vein patterns and fatprint patterns.
  • a finger vein pattern image is an image obtained by capturing a finger vein, which is a blood vessel mainly distributed under the skin on the palm side of a finger, as a dark shadow pattern.
  • the display unit 4 is, for example, a liquid crystal display, and is an output device that displays information received from the authentication processing unit 2.
  • a voice output unit such as a speaker (not shown) can be connected as an output device, and information received from the authentication processing unit 2 can be transmitted as an acoustic signal, for example, voice.
  • the input unit is, for example, a touch panel, and transmits information input from the user to the authentication processing unit 2.
  • the image input unit 1 includes a color camera and has a plurality of light receiving sensors having sensitivity in the visible light wavelength band.
  • the color camera has, for example, three types of CMOS or CCD elements having sensitivity to blue (B), green (G), and red (R), and these are arranged in a grid for each pixel of the image. That is, the color camera has three light receiving sensors with different peak wavelengths of light receiving sensitivity.
  • the light receiving sensitivity of each light receiving sensor has, for example, peaks in the vicinity of 480 nm for blue, 550 nm for green, and 620 nm for red, and the spatial color distribution of light emitted from the living body can be acquired by the sensitivity of each wavelength.
  • the image input unit 1 can acquire a plurality of biological features of a living body by measuring light emitted from the living body with light receiving sensors having peaks at different light receiving sensitivities.
  • a method for acquiring biometric feature information used for personal authentication from an image obtained by photographing a living body with a color camera will be described in detail.
  • Skin images taken in color by transmitting or reflecting white light or other visible light include shadows due to irregularities on the skin surface, white or tan of melanin in the epidermis, red blood in the capillaries of the dermis, and It is observed in a state in which colors exhibited by various biological tissues existing inside and outside the skin, such as vein blue or gray existing in the subcutaneous tissue, are superimposed.
  • the portion where blood is largely distributed is red, and the other portion is white or yellow because the melanin pigment is dominant.
  • each biological tissue pattern differs from person to person, personal authentication can be performed using the difference.
  • differences in color or shape characteristics between living tissues are used for pattern extraction of living tissues.
  • One of the living tissues is a finger.
  • a finger can simultaneously measure a plurality of living tissues, and a living tissue such as a vein, fingerprint, joint pattern, or fat pattern can be measured from each of the plurality of fingers. Therefore, abundant biometric information used for personal authentication can be obtained. In other words, abundant biometric information can be obtained by using a plurality of biometric finger images as the biometric image processed by the authentication processing unit.
  • the vein is a pattern that flows in the direction of a blue or gray fingertip, and the fat crest is a mottled pattern of white or tan.
  • the fat crest is a mottled pattern of white or tan.
  • ICA independent component analysis
  • the joint pattern is a low-frequency pattern that flows in a direction orthogonal to the direction of the fingertip that exhibits redness.
  • the joint pattern is extracted from an image acquired by a light-receiving sensor having sensitivity to blue or green by a direction enhancement process such as a two-dimensional Gabor filter. be able to.
  • the fingerprint on the fingertip is a relatively high-frequency spiral pattern, and a fingerprint pattern can be obtained by, for example, high-frequency component enhancement processing.
  • the color camera constituting the image input unit 1 in the present embodiment is standardly mounted on a mobile terminal such as a smartphone or a tablet, personal authentication using an image obtained by photographing a living body with the color camera. Is expected to be implemented between multiple devices. For example, it is expected that biometric information is registered with a personal smartphone at home and biometric authentication is performed with a shared tablet in a public place.
  • biometric information is registered with a personal smartphone at home and biometric authentication is performed with a shared tablet in a public place.
  • the optical characteristics of the lens, the spectral sensitivity characteristics of the light receiving sensor, the characteristics of internal signal processing, and the like differ depending on the device that images the living body.
  • various light sources such as a white LED, a fluorescent lamp, and an incandescent lamp are assumed as illumination light at the time of photographing.
  • the whole or local color of the living body changes based on differences in imaging conditions due to individual differences in spectral sensitivity and internal signal processing characteristics, illumination fluctuations, and the like.
  • a common color chart is photographed in each device as a method for obtaining a constant color from an image obtained by photographing the same subject under different devices and illumination.
  • This method is a typical method for acquiring an image of a certain color even with a combination of different devices and lighting, but it is necessary to photograph a color chart for each combination of the device and lighting. It is not suitable for performing biometric authentication regardless of the place such as assumed home or public place.
  • color calibration between different devices and lighting is performed based on color information of a plurality of parts of at least one biological image at the time of registration and at the time of authentication instead of a color chart. That is, the authentication processing unit uses the registration information stored in the storage unit to generate a color conversion matrix that minimizes the color difference between the biometric images at the time of registration and authentication, and converts the generated color conversion matrix and the biometric image. Color calibration is performed by generating an image, that is, a converted biological image.
  • both the color of the biometric image at the time of registration and the color of the biometric image at the time of authentication are converted to be the same as the color of the reference biometric image.
  • the biometric image serving as a reference is stored in the storage unit 3 as registration information related to biometric features.
  • a general biological image set in advance can be used as the reference biological image.
  • a living body image obtained by photographing a living body with a combination of a plurality of devices and illumination can be used as a reference living body image.
  • either a biometric image at the time of registration or authentication may be selected and used as a reference biometric image.
  • the color calibration method of the present embodiment using a general biological image as a reference biological image will be described in detail.
  • FIG. 2A, FIG. 2B, and FIG. 2C show an example of color conversion processing flow at the time of registration and authentication of a biometric image using a finger as a living body, as one of the processing flow of the color calibration method of this embodiment, and its modification example. Is shown.
  • Each of these color conversion processing flows is processed mainly by the CPU 6 of the authentication processing unit 2.
  • the color conversion processing flow in FIGS. 2A and 2B will be described in order.
  • an image obtained by photographing a living body used for registration or authentication is obtained by removing a region other than the living body region such as a background as a biological image (S100, S107).
  • the detected biological image is divided into a plurality of regions (S101, S108).
  • the region is divided into a plurality of finger regions using joint patterns of the finger 17 which is biometric information that can be extracted relatively robustly to variations in illumination and individual differences between devices. Good. Since the fingers other than the thumb generally have two joint prints, the finger may be divided into four finger areas 12 and joint areas 11 divided by the joint prints.
  • a representative color of each of the four regions obtained by dividing the biological image that is, a representative color is acquired (S102, S109).
  • the representative color may be, for example, an average value of colors in each region, or may be a median value, and is determined so as to minimize the influence of image noise due to backlight or the like, specular reflection on the biological surface due to illumination, and shadow. .
  • a representative color may be further regenerated from the representative color of the same part between the fingers.
  • the average value of the representative colors of each region of the fingertips of four fingers is used as the representative color.
  • the representative color of the reference biological image for example, an average value of representative colors obtained from an image obtained by photographing a living body with a combination of a plurality of devices and illumination can be used.
  • a representative color is acquired for each of a plurality of areas, and a color conversion matrix is generated using the acquired representative color.
  • a color conversion matrix of a biometric image at the time of registration or authentication is generated from the obtained data set, and color conversion is performed on each biometric image (S104, S111).
  • the authentication processing unit generates a color conversion matrix using the reference biological image and the biological image. That is, the color conversion matrix is generated by, for example, the square of the representative color vector (x rn ) of the region r of the finger n that is a biological image at the time of registration or authentication and the color vector of the representative color of the reference biological image.
  • the error can be determined to be small and preferably minimized.
  • An example of the color conversion matrix is shown in Equations 1 and 2.
  • a in Expression 1 represents a uniform color conversion matrix that does not depend on the living body part
  • M rn in Expression 2 represents a different color conversion matrix for each living body part.
  • x rn en is a representative color vector (length B) of the region n of the finger n of the biological image at the time of registration
  • x rn in is a representative color of the region r of the finger n of the biological image at the time of authentication.
  • the vector (length B), x 1rn , ..., X Brn indicates the elements of the representative color vector of the area r of the finger n (B exists per vector).
  • the generation of the color conversion matrix may be performed for each divided area. Further, when the pixel that performs color conversion belongs to the region between the first joint and the second joint of the finger, the data set of the region between the first joint and the second joint of the finger and its neighboring region is weighted.
  • a color conversion matrix may be obtained. And the signal value of each pixel of the biometric image at the time of authentication is converted using the obtained color conversion matrix. Then, the feature amount extraction is performed using the color-converted raw image (S105, S112). At the time of registration, the extracted feature amount is registered in the storage unit 3 (S106), and the process ends. On the other hand, at the time of authentication, the extracted feature quantity is collated with the registered feature quantity (S113), the result is output, and the process ends.
  • the authentication processing unit preferably divides the finger image into a plurality of regions for each finger, and generates and converts a color conversion matrix for each of the divided regions.
  • An image is generated, and authentication is performed by calculating the similarity between the converted image, which is a biometric image after conversion, and the registered information.
  • color conversion is performed on a biometric image at the time of registration and authentication using a biometric image that is created in advance as a reference.
  • the biometric image at the time of registration may be used, and color conversion may be performed only on the biometric image at the time of authentication.
  • the registration information includes a biometric image at the time of registration as a biometric image serving as a reference
  • the authentication processing unit generates a color conversion matrix using the biometric image serving as a reference and the biometric image at the time of authentication.
  • FIG. 2C shows an example of the registration processing flow in that case. As apparent from FIG. 2C, the creation of the reference-registered color data set (S110) and the color conversion of the biological image (S111) are omitted, and the creation of the registered color data (S117) is added. Since it is the same as that, description is abbreviate
  • the biometric image serving as a reference may be a biometric image at the time of authentication, and color conversion may be performed only on the biometric image at the time of registration.
  • the color conversion that minimizes the color difference between the biometric images at the time of registration and at the time of authentication is used in this case as well.
  • the color difference between the biometric image at the time of registration and the biometric image at the time of authentication is made as small as possible, and photographing of fluctuations in illumination and errors between devices is taken. It is possible to extract a stable feature amount that does not depend on a difference in conditions, and to realize high accuracy of authentication.
  • Example 2 is an example of a biometric authentication device further including an auxiliary light source that generates light different from ambient light in addition to a color camera. That is, the apparatus further includes an auxiliary light source that can be turned on / off, the image input unit obtains biological images when the auxiliary light source is turned on and off, and the authentication processing unit uses the biological images that are turned on and off.
  • auxiliary light source that can be turned on / off
  • the image input unit obtains biological images when the auxiliary light source is turned on and off
  • the authentication processing unit uses the biological images that are turned on and off.
  • This is an embodiment of a biometric authentication apparatus capable of removing ambient light components.
  • FIG. 5 is a schematic diagram illustrating biometric authentication by the apparatus according to the second embodiment.
  • the portable terminal 15 having the color camera 13 and the auxiliary light source 14 is used to perform biometric authentication that is robust against illumination fluctuations during photographing.
  • the portable terminal 15 what has the color camera 13 and the auxiliary light source 14 like a mobile phone, a smart phone, etc. can be utilized.
  • FIG. 6 shows an example of a processing flowchart of the apparatus according to the second embodiment. It should be noted that the processing flow in the figure is mainly processed by the CPU of the authentication processing unit 2 as in the processing flows in FIGS. 2A to 2C.
  • a finger is photographed with the auxiliary light source 14 turned off, and a living body region such as a finger is detected from the obtained image (S200).
  • a rule-based extraction process using a feature amount such as a skin-specific color or a shape such as a skeleton may be performed.
  • an image obtained by photographing a sufficient number of living bodies may be prepared, and a living body region may be extracted from the images using deep learning such as a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the obtained biological image is divided into one or more areas (S201), the representative colors of each area are acquired (S202), and temporarily stored in the memory 7.
  • the details of the biometric image region segmentation and the acquisition of the representative color are further obtained from the representative color of the same part between the fingers when each finger of a plurality of fingers such as four is segmented.
  • the representative color may be regenerated. For example, an average value of the representative colors of the fingertip areas of four fingers is set as the representative color of the area.
  • an average value of representative colors obtained from an image obtained by photographing a living body with a combination of a plurality of devices and lighting may be used. .
  • the pixel values belonging to the respective regions obtained by dividing the biological image obtained by photographing the living body with the auxiliary light source 14 turned on and the auxiliary light source 14 are turned off.
  • the ambient light component is removed by obtaining the difference in the representative color value of each region obtained by dividing the living body image obtained by photographing (S205).
  • An image obtained by performing this removal process on each pixel can be regarded approximately as an image obtained by photographing a living body in an environment where only the auxiliary light source is lit.
  • the representative color of the biological image obtained by removing the ambient light component in this way is acquired, and a data set including color vector pairs with the representative color of the reference biological image is generated as in the first embodiment.
  • a color conversion matrix is generated from the obtained data set, and color conversion of each pixel of the biological image at the time of registration or authentication is performed (S207).
  • feature values are extracted using the biometric image after color conversion, and registration or verification is performed.
  • the auxiliary light source on / off process of the present embodiment as described above, it is possible to acquire a biological image in which shooting is performed under a certain illumination even when the ambient light is different between, for example, registration and authentication. .
  • FIG. 7 shows an example of a color space in which pixel values of a living body image obtained by photographing the living body 16 under different illumination in the configuration of the present embodiment.
  • a two-dimensional space having an X axis and a Y axis is shown.
  • environmental light at the time of registration is environmental light A
  • environmental light at the time of authentication is environmental light B.
  • the color space 23 of the living body image obtained by photographing the living body under the auxiliary light source 14 can be generated in a pseudo manner.
  • the color space 22 of the living body image obtained by turning on the auxiliary light source 14 and photographing the living body and the image obtained by photographing the living body while turning off the auxiliary light source 14 are combined so that the influence of the environment light B is affected.
  • a living body image 23 obtained by photographing a living body under an auxiliary light source can be generated in a pseudo manner.
  • the biometric authentication apparatus capable of performing biometric authentication without being affected by the environmental light A at the time of registration and the environmental light B at the time of authentication by the configuration of the present embodiment that performs on / off switching of the auxiliary light source described above. It becomes possible to provide.
  • the third embodiment displays a guidance display as a guidance mechanism for generating a color conversion matrix stably and with high accuracy when using devices having different structures such as the size of the casing and the position of the camera at the time of registration and authentication. It is an Example of the biometrics apparatus of the structure to perform. That is, the authentication processing unit controls the image input unit to display guidance for acquiring a biometric image on the display unit.
  • the mobile terminal When using a plurality of fingers as an example of a living body used for authentication, if the mobile terminal is a relatively small device such as a mobile phone or a smartphone, a hand different from the hand holding the device is used as shown in FIG. By holding it over the back of the device, it is possible to photograph a plurality of fingers with an out-camera that is standardly mounted on the back of the device.
  • Mobile terminals such as mobile phones and smartphones are relatively small compared to notebook PCs and tablets, and are generally designed so that users do not interfere with the position where the user holds the chassis and the out camera. It is placed at the top of the box. Therefore, as shown in FIG. 5, the user can photograph a plurality of fingers almost uniformly by holding his / her hand over the back of the casing of the mobile terminal 15.
  • in-camera shooting often takes a backlighting condition, and the quality of the biological image tends to deteriorate, such as an increase in image noise.
  • an object having a color similar to that of a finger such as a face often appears as a background, making it difficult to detect only the finger from an image obtained by shooting.
  • FIG. 8 shows an example of an authentication processing flow of the biometric authentication apparatus of the present embodiment provided with a guiding mechanism for holding a hand over a relatively large casing, for example, an out camera of a tablet.
  • This processing flow can also be realized by the CPU 6 of the authentication processing unit 2 mainly controlling the screen display of the display unit 4.
  • an out-camera position is acquired (S300)
  • a guide screen at the time of authentication is set and displayed on the display unit 4 of the apparatus based on the acquired out-camera position (S301), and biometric authentication is performed ( S302).
  • the position of the out-camera of the tablet which is a relatively large casing as compared with a mobile phone or a smartphone, is acquired.
  • a software developer or an operation manager may investigate the camera position for each chassis in advance and store it in the memory in the tablet.
  • a method for automatically acquiring the out-camera position using a touch operation on the back of the housing will be described.
  • FIG. 9 shows an example of a guidance display that prompts the user 20 to touch the back of the tablet housing 19 in order to acquire the out-camera position.
  • the user is prompted to touch the lower left side of the back surface of the tablet housing 19 to the user 20, and the user 20 touches the lower left side of the back surface of the tablet housing 19 to the out camera.
  • the guidance screen shown in FIG. 9 is an example that prompts the user 20 to touch a specific part of the housing 19, and the figures and characters in the figure are examples of guidance display as a guidance mechanism for the guidance. If there is an out camera at the position touched by the user 20, an image in which part or all of the angle of view is blocked by a hand or the like can be obtained, and if there is no out camera at the touched position, an image with little blocking is obtained.
  • a method of detecting that the back of the tablet casing 19 is touched using the obtained image for example, if the tablet is fixed, a plurality of frames of a moving image shot by an out-camera are used. Then, a background subtraction method or the like may be applied to detect moving objects. If the tablet is not fixed, it is assumed that the living body as the user 20 touches the tablet, and the ratio of the skin color and red pixels in the image taken by the out-camera is obtained, and the frame having the higher ratio of the pixels is used. It may be an image obtained by photographing the person 20 while touching the tablet.
  • FIG. 10 shows a screen display example for guiding the user to present the living body 16 during authentication based on the position of the out camera acquired using the guidance screen display of FIG. 9 in the configuration of the present embodiment.
  • the position of the out camera 24 of the tablet is in the area 25 on the lower left side of the back surface of the housing 19.
  • the living body 16 can be presented.
  • the screen display example for obtaining the position of the out-camera 24 and guiding the living body 16 to be presented on the back surface of the housing 19 is not limited to the housing having the horizontally long screen illustrated in FIGS. 9 and 10.
  • the portable terminal 15 such as a tablet can be used upright, or can be used for a mobile phone or a smartphone.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • an image obtained by photographing the living body with the auxiliary light source turned on is an image obtained after removing the ambient light component May be considered.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment.
  • the structure of another Example can also be added to the structure of a certain Example.
  • another configuration can be added, deleted, or replaced.
  • the above components, functions, processing units, and the like may be realized by hardware by designing a part or all of them, for example, with an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate what is considered necessary for explanation, and not all the control lines and information lines on the product are necessarily shown. All the components may be connected to each other.
  • the present invention is useful as a personal authentication technique because biometric authentication using a general-purpose color camera can be performed mutually with different lighting devices.

Abstract

登録時と認証時とで照明環境や撮像装置が異なっていても高精度に認証を行うことができる生体認証装置を提供する。環境光の下で指を撮影して少なくとも１つの生体画像を取得する画像入力部と、生体画像を処理する認証処理部と、指から得られる複数の生体特徴のうち少なくとも１つに関する登録情報を記憶する記憶部と、を備える。認証処理部は、記憶部にある登録情報を用い、基準となる生体画像と認証時の生体画像の代表色の色差を最小化する色変換行列を生成し、生成した色変換行列を用いて色変換した生体画像を生成し（Ｓ１０５）、特徴量抽出（Ｓ１０５）して登録情報との類似度を算出して照合を行う（Ｓ１０６）。

Description

生体認証装置、及び方法
　本発明は、生体を用いて個人を認証する生体認証装置、及び方法に関する。
　様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用して優れた認証精度を実現する。指静脈認証は、指紋認証に比べて偽造及び改ざんが困難であるため、高度なセキュリティを実現できる。
　近年では、携帯電話機やノート型ＰＣ(Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ)、スマートフォン、タブレットなどの携帯端末に標準搭載されたカラーカメラで生体を撮影して生体認証を実施する事例が増加している。
　特定の光源や専用のセンサを用いず、生体が存在する空間にある環境光の下で汎用のセンサを用いて個人認証を実施することができるため、自宅や外出先など場所を選ばず、個人のスマートフォンや公共のタブレットなど様々な機器での利用が期待される。さらに、スマートフォンで登録してタブレットで認証するなど、異なる撮像機器間の相互的な生体認証の実現も期待される。
　特許文献１では、可視光に感度をもつカラーカメラと青・緑・赤色に発光する発光ダイオード（ＬＥＤ）光源からなる撮像装置で指を撮影した画像から指の静脈などを抽出し、個人認証を実施する技術を開示している。特許文献２では、認証時に動画的に取得した指静脈画像間の類似度を計算し、互いに類似度の高い指静脈画像のみを認証に用いることで、指の位置ずれや照明の影などの撮影条件の変動を回避する技術を開示している。
特開２０１６－０９６９８７公報 特開２０１０－２７７３１５公報
　携帯電話機やノート型ＰＣ、スマートフォンやタブレットなどの携帯端末に標準搭載されたカラーカメラを利用し、高精度な生体認証を実施するためには、撮影時の照明変動や撮像装置の特性の変動に頑健な特徴量抽出技術が必要である。
　特許文献１では、カメラの画角全体を指で覆う、もしくは屋根を用いることで外光の影響を低減している。そのため、カメラの位置に合わせて光源を配置することを前提とする装置構成となっている。よって、機器によってカメラと光源の位置関係が異なる、もしくは光源の存在しない携帯端末での認証が考慮されていない。また、カメラに個体差のある複数の機器で相互的に認証を実施する場合が考慮されていない。
　特許文献２では、指の位置ずれや照明による影の度合いの変化といった認証中の撮影条件の変動を回避できる一方、登録時と認証時で周囲の照明や撮像装置の個体差などの撮影条件が異なる場合が考慮されていない。
　そこで、本発明の目的は、登録時と認証時で照明環境や撮像装置などの撮影条件が異なっていても高精度に認証を行うことができる生体認証装置、及び方法を提供することにある。
　上記の目的を達成するため、本発明においては、生体を撮影して生体画像を取得する画像入力部と、生体画像を処理する認証処理部と、生体から得られる生体特徴に関する登録情報を記憶する記憶部と、を備え、認証処理部は、登録情報を用い、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて生体の認証を行う生体認証装置を提供する。
　また、上記の目的を達成するため、本発明においては、認証処理部による生体認証方法であって、認証処理部は、生体を撮影して取得した生体画像を処理し、生体から得られる生体特徴に関する登録情報を用いて、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて生体の認証を行う生体認証方法を提供する。
　本発明によれば、登録時と認証時に生体を撮影して得られる各生体画像の色差を最小化することで、照明変動や機器間の個体差の影響を低減して高精度に認証を行うことができる。
実施例１の生体認証システム全体とその認証処理部の構成を示す図である。 実施例１の生体画像の登録時の色変換処理フロー例を示す図である。 実施例１の生体画像の認証時の色変換処理フロー例を示す図である。 実施例１の生体画像の登録時の処理フロー例の変形例を示す図である。 実施例１に係る、データセットのテーブル例を示す図である。 実施例１の生体画像の例を示す模式図である。 実施例１に係る、携帯端末のカラーカメラを用いて生体を撮影し、個人認証を実施する構成を示す模式図である。 実施例２の生体認証システムの色変換処理例を示す図である。 実施例２の生体画像の環境光成分の除去方法の説明図である。 実施例３の生体認証システムの認証処理フロー例を示す図である。 実施例３に係る、筺体の背面にあるカメラ位置を取得する機構の模式図である。 実施例３に係る、表示画面の裏側のカラーカメラを用いて生体を撮影し、個人認証を実施する構成を示す模式図である。
　以下、添付図面を参照して本発明の種々の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、本発明を限定的に解釈されるために用いられるものではない。各図において共通の構成については、原則同一の参照番号が付されている。
　実施例１は、生体を撮影して生体画像を取得する画像入力部と、生体画像を処理する認証処理部と、生体から得られる生体特徴に関する登録情報を記憶する記憶部と、を備え、認証処理部は、登録情報を用い、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて生体の認証を行う生体認証システムの実施例である。特に、認証処理部は、登録情報を用いて、登録時と認証時の生体画像間の色差を最小化する色変換行列を生成し、生成した色変換行列と生体画像から変換画像を生成し、変換画像と登録情報との類似度を算出して認証を行う構成の実施例である。
　なお、本実施例はシステムとしてではなく、全てまたは一部の構成を筺体に搭載した装置としての構成であっても良い。装置は、認証処理部を含めた生体認証装置としてもよいし、認証処理部は外部の装置で行ってもよく、装置は血管画像の取得に特化した血管画像取得装置又は血管画像抽出装置としてもよい。したがって、以下で説明する種々の機能はネットワーク上に存在する複数の装置で構成されてもよい。また、装置は携帯電話機やノート型ＰＣ、スマートフォンやタブレットなどの携帯端末として実施されてもよい。
　図１は、実施例１の指の血管を用いた生体認証システムの全体とその認証処理部の一構成を示す図である。図１の（Ａ）に示す生体認証システムは、画像入力部１と、認証処理部２と、記憶部３と、表示部４と、入力部５とを含む。画像入力部１は被認証者の生体から生体特徴を含む画像を取得し、取得した画像を認証処理部２へ入力する。認証処理部２は画像入力部１から入力された画像に対して画像処理して認証処理を実行する。言い換えるなら、認証処理部２は画像認証処理機能を備える。
　図１の（Ａ）に示すように、認証処理部２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６、メモリ７及び種々のＩＦ（Ｉｎｔｅｒｆａｃｅ）８を含む。ＣＰＵ６は、メモリ７に記憶されているプログラムを実行することによって各種処理を行う。
メモリ７は、ＣＰＵ６によって実行されるプログラムを記憶する。また、メモリ７は画像入力部１から入力された画像を一時的に記憶する。
　図１の（Ｂ）は、認証処理部２の機能ブロック図を示す。画像認証処理機能を備える認証処理部２は、認証部９と、登録部１０とを備える。認証部９は、認証時に画像入力部１から入力された入力データである生体画像を画像処理し、記憶部３に登録されている登録情報と照合し、利用者の認証を行う。登録部１０は、登録時に画像入力部１によって取得された生体画像の登録情報を作成し、記憶部３内に格納する。
　上述の認証処理部２の各処理は、各種プログラムにより実現することができる。メモリ７には、例えば記憶部３に格納されている各種プログラムが展開される。ＣＰＵ６は、メモリ７にロードされたプログラムを実行することにより、以下で説明する認証処理部２の処理及び演算を実行する。
　ＩＦ８は、認証処理部２と外部の装置とを接続する。具体的には、ＩＦ８は、記憶部３、表示部４、入力部５及び画像入力部１などと接続される。記憶部３は、利用者の登録情報を予め記憶している。登録情報は、利用者を照合するための生体特徴に関する情報であり、例えば、指静脈パターンや脂肪紋パターンなどといった生体組織の画像情報などである。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管である指静脈を暗い影のパターンとして撮像した画像である。
　表示部４は、例えば液晶ディスプレイであり、認証処理部２から受信した情報を表示する出力装置である。なお、表示部４に加え、図示を省略したスピーカーなどの音声出力部を出力装置として接続し、認証処理部２から受信した情報を音響信号、例えば音声で発信することもできる。入力部は、例えばタッチパネルであり、利用者から入力された情報を認証処理部２に送信する。
　画像入力部１はカラーカメラを含み、可視光の波長帯に感度を持つ複数の受光センサを有する。カラーカメラは、例えば青（Ｂ）、緑（Ｇ）、赤（Ｒ）に感度を持つ三種類のＣＭＯＳ又はＣＣＤ素子を有し、これらが画像の画素ごとに格子状に配置されている。すなわち、カラーカメラは受光感度のピーク波長が異なる三つの受光センサを持つ。各受光センサの受光感度は、例えば青で４８０ｎｍ付近、緑で５５０ｎｍ付近、赤で６２０ｎｍ付近にピークを持ち、それぞれの波長の感度により生体から放射された光の空間的な色分布を取得できる。
　以上の構成により、画像入力部１は異なる複数の受光感度にピークをもつ受光センサで生体から放射された光を計測することで、生体の複数の生体特徴を取得することができる。ここで、カラーカメラで生体を撮影して得られた画像から、個人認証に用いる生体特徴の情報を取得する方法について詳述する。
　白色光などの可視光を透過または反射させてカラー撮影した皮膚の映像には、皮膚表面の凹凸による陰影や、表皮内のメラニンの白色あるいは黄褐色、真皮の毛細血管内の血液の赤、そして皮下組織に存在する静脈の青あるいは灰色など、皮膚内外に存在する様々な生体組織が呈する色彩が重畳された状態で観測される。特に表皮から真皮にかけての浅い皮膚層の色彩としては、血液が多く分布している部分は赤色を呈し、そうでない部分はメラニンの色素が支配的となって白あるいは黄色を呈する。
　これらの生体組織のパターンは個人によって異なるため、その差異を利用して個人認証を実施することができる。そのためには、それぞれの生体組織のパターンを生体特徴の情報として独立に抽出する必要がある。一般に、生体組織のパターン抽出には生体組織間の色もしくは形状特徴の違いを利用する。この生体組織の一つとして指がある。指は複数の生体組織を同時に計測でき、複数の指各々からは静脈や指紋、関節紋、脂肪紋などといった生体組織が計測できる。そのため、個人認証に利用する生体情報を豊富に得ることができる。言い換えるなら、認証処理部が処理する生体画像として、生体の複数の指画像を用いることにより、豊富な生体情報を得ることができる。
　静脈は青もしくは灰色の指先方向に流れるパターンであり、脂肪紋は白あるいは黄褐色のまだら模様である。静脈などの血管と脂肪紋のパターンの分離には、生体組織を構成するメラニンとヘモグロビンの色素濃度が静脈と脂肪紋で異なることに着目する。画像の色情報とメラニン、ヘモグロビン濃度の関係を独立成分分析（ＩＣＡ）などにより解くことにより、血管と脂肪紋のパターンを分離できる。
　また、関節紋は赤みを呈する指先方向と直交する方向に流れる低周波のパターンであり、例えば青や緑に感度をもつ受光センサで取得した画像から二次元ガボールフィルタなどの方向強調処理により抽出することができる。なお、指先にある指紋は比較的高周波の渦状のパターンであり、例えば高周波成分強調処理などにより指紋パターンを得ることができる。
　ここで、本実施例における画像入力部１を構成するカラーカメラは、スマートフォンやタブレットなどの携帯端末に標準的に搭載されているため、カラーカメラで生体を撮影して得られた画像による個人認証は、複数の機器間で相互的に実施されることが期待される。例えば、自宅で個人のスマートフォンで生体情報を登録し、公共の場で共用のタブレットで生体認証するといったことが期待される。このとき、生体を撮影する機器によってレンズの光学特性や受光センサの分光感度特性、内部信号処理の特性などが異なる。また、撮影時の照明光として、白色ＬＥＤ、蛍光灯、白熱灯など様々な光源が想定される。これらの分光感度と内部信号処理の特性の機器個体差、照明変動等による撮影条件の違いに基づき、生体の全体もしくは局所的な色合いが変化する。
　このように撮影時の照明や撮像装置などの撮影条件の変動により生体を撮影して得られた生体画像の色合いが変動すると、上述の静脈や脂肪紋などの色情報に基づいた各生体組織のパターン抽出を精度よく行うことが困難となる。
　この課題を解決するため、異なる機器や照明の下で同一の被写体を撮影して得られた画像を一定の色合いとする方法として、各機器で共通のカラーチャートを撮影し、得られた画像におけるカラーチャート内の各色に対応する画像信号値に基づき色変換行列を生成する方法がある。この方法は異なる機器や照明の組み合わせであっても一定な色味の画像を取得する代表的な方法であるが、機器と照明の組み合わせごとにカラーチャートを撮影する必要があり、本実施例で想定しているような自宅や公共の場など場所を問わずに生体認証を実施する場合には不適である。
　そこで、本実施例では、異なる機器間・照明間の色校正をカラーチャートではなく、登録時と認証時のうち少なくとも一方の生体画像の複数部位の色情報に基づき色校正を実施する。すなわち、認証処理部において、記憶部に記憶した登録情報を用いて、登録時と認証時の生体画像間の色差を最小化する色変換行列を生成し、生成した色変換行列と生体画像から変換画像、すなわち変換後の生体画像を生成することで色校正を行う。
　本実施例の生体画像の色校正では、登録時における生体画像の色と認証時の生体画像の色の両方を、基準となる生体画像の色と同様になるように変換する。基準となる生体画像は、生体特徴に関する登録情報として記憶部３に記憶されている。この基準となる生体画像としては、予め設定した一般的な生体画像を用いることができる。例えば、複数の機器や照明の組み合わせで生体を撮影して得られた生体画像を、基準となる生体画像とすることができる。あるいは登録時もしくは認証時の生体画像のどちらか一方を選択して、基準となる生体画像として用いてもよい。以下、基準となる生体画像として、一般的な生体画像を用いた本実施例の色校正法について詳述する。
　図２Ａ、図２Ｂ、図２Ｃは本実施例の色校正法の処理の流れの一つとして、生体として指を用いた生体画像の登録時と認証時の色変換処理フロー例と、その変形例を示している。これらの色変換処理フローはそれぞれ認証処理部２のＣＰＵ６が主体として処理する。
以下、図２Ａ、図２Ｂの色変換処理フローを使って順次説明する。まず、登録時或いは認証時に用いる生体を撮影して得られた画像から、背景などの生体領域以外の領域を除去したものを生体画像とする（Ｓ１００、Ｓ１０７）。
　次に、検出した生体画像を複数の領域に領域分割する（Ｓ１０１、Ｓ１０８）。この領域の分割方法としては、図４に示すように、照明の変動や機器の個体差に比較的頑健に抽出できる生体情報である指１７の関節紋で、複数の指領域に分割してもよい。親指を除く指には一般に二つの関節紋があるので、それらの関節紋によって区切られる三つの指領域１２と、関節領域１１の計四つの領域に分割してもよい。
　次に、生体画像を分割して得られた四つの領域各々の代表となる色、つまり代表色を獲得する（Ｓ１０２、Ｓ１０９）。代表色は、例えば各領域内の色の平均値としても良いし、中央値などとしてもよく、逆光などによる画像ノイズや照明による生体表面における鏡面反射、影の影響が極力小さくなるように決定する。
　次に、基準となる生体画像と、登録時、或いは認証時の生体画像それぞれの領域ごとの代表色データをベクトル対にしたデータセットを作成する（Ｓ１０３、Ｓ１１０）。図３に、カラー撮影によりＲＧＢの３バンドで表わされる手の画像を取得し、この手の画像から４本の指を検出し、各指Ｎを４つの領域Ｒに分割した場合のデータセットの一例を示す。同図のテーブル１８に例示するように、Ｎ×Ｒ（＝１６）組の長さＢ（＝３）の色ベクトルを、基準となる生体画像と、登録時或いは認証時の生体画像とで対にしたデータセットを定義できる。
　上述したように、複数の指の各指で初めに領域分割した場合、各指間の同一部位の代表色から更に代表色を再生成してもよい。例えば、４本の指の指先の各領域の代表色の平均値を代表色とするなどである。このとき、基準となる生体画像の代表色としては、例えば、複数の機器や照明の組み合わせで生体を撮影して得られた画像から求めた代表色の平均値などを用いることができる。いずれにしても、複数の領域毎に代表色を獲得し、獲得した代表色を用いて色変換行列を生成する。
　求めたデータセットから登録時、あるいは認証時の生体画像の色変換行列を生成し、各生体画像に対して色変換を実施する（Ｓ１０４、Ｓ１１１）。言い換えるなら、認証処理部は、基準となる生体画像と生体画像とを用いて色変換行列を生成する。すなわち、色変換行列の生成は、例えば、登録時、あるいは認証時の生体画像である指ｎの領域ｒの代表色ベクトル（ｘｒｎ）と、基準となる生体画像の代表色の色ベクトルの二乗誤差を小さく、好適には最小化するように求めることができる。色変換行列の一例を式１、式２に示した。ここで式１のＡは生体部位に依らない一様な色変換行列を示し、式２のＭｒｎは、生体部位ごとに異なる色変換行列を示す。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　式１、式２において、ｘｒｎ ｅｎは登録時の生体画像の指ｎの領域ｒの代表色ベクトル（長さＢ）、ｘｒｎ iｎは認証時の生体画像の指ｎの領域ｒの代表色ベクトル（長さＢ）、ｘ１ｒｎ，，，，，ｘＢｒｎは、指ｎの領域ｒの代表色ベクトルの要素（ベクトルあたりＢ個存在する）をそれぞれ示している。
また、色変換行列の生成は、分割した領域ごとに実施してもよい。更に、色変換を実施するピクセルが指の第一関節と第二関節の間の領域に属するとき、指の第一関節と第二関節の間の領域と、その近傍領域のデータセットに重み付けをして、色変換行列を求めてもよい。そして、求めた色変換行列を用い、認証時の生体画像の各ピクセルの信号値を変換する。そして、色変換された生画像を用いて、その特徴量抽出を行い（Ｓ１０５、Ｓ１１２）、登録時おいては抽出した特徴量を記憶部３に登録し（Ｓ１０６）、終了する。一方、認証時には抽出した特徴量と登録されている特徴量の照合を行い（Ｓ１１３）、その結果の出力等を行って終了する。
　このように、本実施例の構成おいては、認証処理部は、好適には指画像を指毎に複数の領域に分割し、分割した複数の領域毎に、色変換行列を生成して変換画像を生成し、この変換後の生体画像である変換画像と登録情報との類似度を算出して認証を行う。なお、以上説明した本実施例の色校正法では、予め作成した基準となる生体画像を使って登録時並びに認証時の生体画像に色変換を実施したが、上述したように基準となる生体画像として登録時の生体画像を用い、認証時の生体画像にのみ色変換を実施しても良い。すなわち、登録情報は、基準となる生体画像として、登録時の生体画像を含み、認証処理部は、この基準となる生体画像と、認証時の生体画像を用いて色変換行列を生成する。図２Ｃは、その場合の登録処理フローの一例を示している。図２Ｃに明らかなように、基準-登録色データセットの作成（Ｓ１１０）と生体画像の色変換（Ｓ１１１）が省略され、登録色データの作成（Ｓ１１７）が追加される点以外は、図２Ｂと同様であるので説明を省略する。
逆に、基準となる生体画像を認証時の生体画像をとし、登録時の生体画像にのみ色変換を実施してもよい。本明細書においては、この場合も登録時と認証時の生体画像間の色差を最小化する色変換とする。
　上述した本実施例の色変換行列を用いた色校正を実施する構成により、登録時の生体画像と認証時の生体画像の色差をできる限り小さくし、照明の変動や機器間の誤差などの撮影条件の違いに依らない安定な特徴量を抽出し、認証の高精度化を実現することができる。
　実施例２は、カラーカメラに加えて、環境光と異なる光を発生する補助光源を更に備えた生体認証装置の実施例である。すなわち、装置はオン・オフ可能な補助光源を更に備え、画像入力部は補助光源のオン時とオフ時の生体画像をそれぞれ取得し、認証処理部は、オン時とオフ時の生体画像を用いて、環境光成分の除去を行うことができる生体認証装置の実施例である。
　図５は、実施例２の装置による生体認証を示す模式図である。本実施例では、カラーカメラ１３と補助光源１４をもつ携帯端末１５を利用し、撮影時の照明変動に頑強な生体認証を実施する。なお、携帯端末１５として、携帯電話機やスマートフォンなどのような、カラーカメラ１３と補助光源１４を合わせ持つものを利用することができる。
　図６に実施例２の装置の処理フローチャートの一例を示す。なお、同図の処理フローは図２Ａ－図２Ｃの処理フロー同様、認証処理部２のＣＰＵが主に処理する。まず、補助光源１４を消灯した状態で指を撮影し、得られた画像から指などの生体領域を検出する（Ｓ２００）。生体領域の検出には、肌特有の色や骨格などの形状などの特徴量を利用したルールベースの抽出処理を実施してもよい。あるいは、十分な数の生体を撮影した画像を用意し、畳み込みニューラルネットワーク（ＣＮＮ:Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ）に代表されるような深層学習などを利用して画像から生体領域を抽出してもよい。
　次に、実施例１同様、得られた生体画像を一つ以上の領域に分割し（Ｓ２０１）、各領域の代表色を獲得して（Ｓ２０２）、メモリ７上に一時的に保存する。生体画像の領域分割と代表色の獲得の詳細については、実施例１で述べたように、４本など複数の指の各指を領域分割した場合、各指間の同一部位の代表色から更に代表色を再生成してもよい。例えば、４本の指の指先の領域の代表色の平均値を当該領域の代表色とするなどである。このとき、基準となる生体画像の代表色としては、実施例１同様、複数の機器や照明の組み合わせで生体を撮影して得られた画像から求めた代表色の平均値などを用いてもよい。
　次に、補助光源１４がオン・オフした状態それぞれで撮影が完了しているかを確認する（Ｓ２０３）。どちらか一方の撮影が済んでいない場合は、補助光源１４の点灯状態を切り替え（Ｓ２０４）、再度撮影から代表色の獲得（Ｓ２０２）までの処理を実施し、再度、補助光源１４がオン・オフした状態それぞれで撮影が完了しているかを確認する（Ｓ２０３）。
　両撮影が終了（ＹＥＳ）したら、補助光源１４を点灯した状態で生体を撮影して得られる生体画像を上述のように分割した各領域に属する画素値と、補助光源１４を消灯した状態で生体を撮影して得られた生体画像を分割した各領域の代表色の値の差を求めることにより、環境光成分の除去を行う（Ｓ２０５）。この除去処理を各画素で実施して得られる画像は、補助光源のみが点灯されている環境下で生体を撮影して得られた画像と近似的にみなすことができる。
　次に、このようにして環境光成分の除去により得られた生体画像の代表色を獲得し、実施例１同様、基準となる生体画像の代表色との色ベクトル対からなるデータセットを生成する（Ｓ２０６）。求めたデータセットより色変換行列を生成し、登録時、或いは認証時の生体画像の各ピクセルの色変換を実施する（Ｓ２０７）。
　そして色変換後の生体画像を用いて特徴量抽出し、登録或いは照合を実施する。　上記のような本実施例の補助光源オン・オフ処理により、例えば登録時と認証時で環境光が異なる場合でも一定の照明下で撮影を実施しているような生体画像を取得することができる。
　図７に本実施例の構成において、異なる照明下で生体１６を撮影して得られた生体画像の画素値が張る色空間の一例を示す。便宜上、Ｘ軸、Ｙ軸を備えた２次元空間で示したが、実際はＸ軸、Ｙ軸、Ｚ軸を備えた三次元空間となる。この色空間で、例えば登録時の環境光を環境光Ａとし、認証時の環境光を環境光Ｂとする。上述した本実施例の撮影処理により、登録時、環境光Ａの下で補助光源１４を点灯して生体を撮影して得られた生体画像の色空間２１と、環境光Ａの下で補助光源１４を消灯して生体を撮影して得られた生体画像を合成することで、補助光源１４の下で生体を撮影した生体画像の色空間２３を疑似的に生成することができる。同様に、認証時も、補助光源１４を点灯して生体を撮影した生体画像の色空間２２と、補助光源１４を消灯して生体を撮影した画像を合成することで、環境光Ｂの影響のない、補助光源の下で生体を撮影した生体画像２３を疑似的に生成することができる。
　以上説明した補助光源オン・オフ切替を行う本実施例の構成により、登録時の環境光Ａと認証時の環境光Ｂの影響を受けることなく、生体認証を実施することが可能な生体認証装置を提供することが可能になる。
　実施例３は、登録時と認証時で筺体の大きさやカメラの位置などの構造が異なる装置を利用したときに、色変換行列を安定かつ高精度に生成するための誘導機構として、ガイダンス表示を行う構成の生体認証装置の実施例である。すなわち、認証処理部は、画像入力部が生体画像を取得するためのガイダンスを表示部に表示するよう制御する。
　個人が所有する携帯電話機やスマートフォンなどの携帯端末では、利用者はそれらの端末のカメラの位置を熟知していることが多く、カメラに容易に生体を呈示することができると考えられる。しかし、ＰＯＳ（Ｐｏｉｎｔ　ｏｆ　Ｓａｌｅｓ）端末などの公共の場に設置してある共用のタブレットなどでは、利用者はその端末のカメラの位置が分からず、カメラに生体を呈示するのに苦労し、利便性が低下する可能性がある。
　認証に用いる生体の例として複数の指を利用する場合、比較的小型な装置である携帯電話機やスマートフォンなどの携帯端末であれば、図５に示すように、装置を持つ手とは異なる手を装置の背面にかざすことで、装置の背面に標準的に搭載されているアウトカメラで複数の指を撮影することができる。携帯電話機やスマートフォンなどの携帯端末はノートＰＣやタブレットと比べると比較的小型であり、一般に利用者が筺体を手で持つ位置とアウトカメラが干渉しないように設計されているため、アウトカメラはほとんどの筺体でその上部に配置されている。よって、利用者は図５に示すように手を携帯端末１５の筺体の背面にかざすことでほぼ一様に複数の指を撮影することができる。
　次に、ノートＰＣやタブレットなどの比較的大型な端末で指を撮影する場合を考える。
利用者は、表示画面と同じ側に配置されているインカメラが見えているため、手を画面に向けてかざすことで直観的に複数の指を呈示することができる。しかし、実際には最初にかざした手が小さく映っているもしくは大きく映りすぎている、手をかざす位置がずれているといった理由で手をかざす位置や向きの修正が必要となる。このとき、例えば画面に表示されている手の画像に従い、かざす手の位置や向きを修正しようとしても、表示画面とかざしている手が重なっているため、手の位置や向きの修正が難しい。また、インカメラでの撮影は逆光状態になることが多く、画像ノイズが増すなど生体画像の品質が低下しがちである。さらに、顔などの指と似た色の物体が背景として映り込むことが多く、撮影して得られた画像から指のみを検出することが難しくなる。
　一方、タブレットなどの背面にあるアウトカメラを利用して指を撮影する場合、逆光状態になることや背景に手以外の生体が映ることは少なくなり、携帯電話機やスマートフォンなどの小型な装置で指を撮影する場合と似たような条件で撮影を実施することが可能である。しかし、公共の場に設置してあるタブレットなどのアウトカメラに手をかざす場合、利用者はタブレットの背面にあるアウトカメラの位置が分からず、どのように手をかざせばよいか分からないといった問題が発生すると考えられる。よって、タブレットなどの大型の装置にて携帯電話機やスマートフォンなどの小型な装置と同様の撮影条件で生体認証を実施するためには、利用者がタブレットの背面カメラであるアウトカメラに簡単に生体をかざせるような誘導機構を設計することが重要となる。
　図８は、比較的大型な筺体、例えばタブレットのアウトカメラに手をかざすための誘導機構を備える本実施例の生体認証装置の認証処理フロー例を示している。本処理フローも認証処理部２のＣＰＵ６が主として表示部４の画面表示の制御を行うことにより実現可能である。本実施例では、まずアウトカメラ位置を取得し（Ｓ３００）、取得したアウトカメラ位置に基づき認証時のガイド画面を装置の表示部４に設定・表示し（Ｓ３０１）し、生体認証を実施する（Ｓ３０２）。
　すなわち、本実施例の生体認証装置では、携帯電話機やスマートフォンと比べると比較的大型な筺体であるタブレットのアウトカメラの位置を取得する。このアウトカメラ位置の取得方法としては、例えば、ソフト開発者や運用管理者が筺体ごとのカメラ位置を事前に調査し、タブレット内のメモリに保存しておいてもよいが、本実施例では、筺体背面へのタッチ動作を利用してアウトカメラ位置を自動的に取得する方法を説明する。
　図９は、アウトカメラ位置の取得のため、利用者２０にてタブレットの筺体１９の背面に触れるよう促すガイダンス表示の一例を示している。図９の例では、タブレットの筐体１９の背面の下段左を利用者２０に触れるように促しており、利用者２０がタブレットの筐体１９の背面の下段左を触れた状態でアウトカメラにて撮影する。図９に示すガイダンス画面は、筺体１９の特定部位を利用者２０に触れるように促す一例であり、図中の図や文字はその誘導のための誘導機構としてのガイダンスの表示例である。利用者２０が触れた位置にアウトカメラがあれば画角の一部もしくは全体が手などで遮られる画像が得られ、触れた位置にアウトカメラが無ければ、遮りの少ない画像が得られる。
　タブレットの筐体１９の背面に触れられていることを、得られた画像を使って検知する方法としては、例えば、タブレットが固定されているのであればアウトカメラで撮影した動画の複数フレームを用いて背景差分法などを適用し、動体を検出してもよい。タブレットが固定されていないのであれば利用者２０である生体がタブレットを触れると仮定し、アウトカメラで撮影した画像に占める肌色や赤色の画素の割合を求め、その画素の割合の多いフレームを利用者２０がタブレットに触れている状態に撮影して得られた画像としてもよい。
　利用者２０に触れてもらう位置を、例えばタブレットの筐体１９の背面の下段中央、下段右、上段左、上段中央、上段右と変更しながら撮影を繰り返し、各場合で得られた画像を比較することで、アウトカメラの大まかな位置を取得することができる。
　図１０に、本実施例の構成において、図９のガイダンス画面表示を使って取得したアウトカメラの位置に基づき、認証時に利用者に生体１６を呈示するように誘導する画面表示例を示す。この例は、タブレットのアウトカメラ２４の位置が筐体１９の背面の下段左のエリア２５にあった場合の例である。
　撮影して得られる画像をタブレットの撮影画面のアウトカメラ２４のある位置と同じ位置に表示することにより、利用者が生体１６をかざした位置と撮影画面で表示されている位置のずれが小さくなり、直観的に生体１６を呈示することが可能になる。
　上述したアウトカメラ２４の位置を取得し、生体１６を筺体１９の背面に呈示するように誘導する画面表示例は、図９、図１０に示した横長の画面をもつ筺体に限定するものではなく、図５に示したように、タブレットなどの携帯端末１５を立てて利用した場合や携帯電話機やスマートフォンなどにも利用できる。
　本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定するものではない。例えば、実施例２の構成で、環境光の照度が補助光源の照度に比べて十分小さいとみなせるとき、補助光源を点灯して生体を撮影した画像を、環境光成分の除去後に得られる画像とみなしてもよい。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。
　上記各構成、機能、処理部等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
　上述の実施例の構成において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
　本発明は、汎用のカラーカメラを用いた生体認証を異なる照明・機器で相互的に実施することができ、個人認証技術として有用である。
　１　画像入力部，　２　認証処理部，　３　記憶部，　４　表示部，　５　入力部，　６　ＣＰＵ，　７　メモリ，　８　ＩＦ，　９　認証部，　１０　登録部，　１１　関節領域，　１２　関節領域以外の指領域，　１３　カラーカメラ，　１４　補助光源，　１５　携帯端末，　１６　生体，　１７　指，　１８　テーブル，　１９　筐体，　２０　利用者，　２１、２２、２３　色空間，　２４　アウトカメラ，　２５　エリア

Claims (15)

  1. 生体を撮影して生体画像を取得する画像入力部と、
    前記生体画像を処理する認証処理部と、
    前記生体から得られる生体特徴に関する登録情報を記憶する記憶部と、を備え、前記認証処理部は、
    前記登録情報を用い、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて前記生体の認証を行う、
    ことを特徴とする生体認証装置。
  2. 請求項１に記載の生体認証装置であって、
    前記認証処理部は、
    前記登録情報を用いて、登録時と認証時の前記生体画像間の色差を最小化する色変換行列を生成し、生成した前記色変換行列と前記生体画像から変換画像を生成し、前記変換画像と前記登録情報との類似度を算出して認証を行う、
    ことを特徴とする生体認証装置。
  3. 請求項１に記載の生体認証装置であって、
    前記画像入力部が取得する前記生体画像は、前記生体の指画像である、
    ことを特徴とする生体認証装置。
  4. 請求項２に記載の生体認証装置であって、
    前記画像入力部が取得する前記生体画像は、前記生体の複数の指の画像であり、
    前記認証処理部は、
    前記指画像を指毎に複数の領域に分割し、
    分割した複数の領域毎に、前記色変換行列を生成して前記変換画像を生成する、
    ことを特徴とする生体認証装置。
  5. 請求項４に記載の生体認証装置であって、
    前記認証処理部は、
    前記複数の領域毎に代表色を獲得し、前記代表色を用いて前記色変換行列を生成する、
    ことを特徴とする生体認証装置。
  6. 請求項４に記載の生体認証装置であって、
    前記複数の領域は、指領域と指関節領域を含む、
    ことを特徴とする生体認証装置。
  7. 請求項２に記載の生体認証装置であって、
    前記記憶部に記憶する前記登録情報は、基準となる生体画像を含み、
    前記認証処理部は、
    前記基準となる生体画像と前記生体画像とを用いて前記色変換行列を生成する、
    ことを特徴とする生体認証装置。
  8. 請求項２に記載の生体認証装置であって、
    前記記憶部に記憶する前記登録情報は、基準となる生体画像として、登録時の前記生体画像を含み、
    前記認証処理部は、
    前記基準となる生体画像と、認証時の前記生体画像を用いて前記色変換行列を生成する、ことを特徴とする生体認証装置。
  9. 請求項１に記載の生体認証装置であって、
    環境光とは異なる光を発生する、オン・オフ可能な補助光源を備え、
    前記画像入力部は前記補助光源のオン時とオフ時に前記生体画像を取得し、
    前記認証処理部は、
    オン時とオフ時の前記生体画像を用いて、環境光成分の除去を行う、
    ことを特徴とする生体認証装置。
  10. 請求項１に記載の生体認証装置であって、
    前記画像入力部が取得する前記生体画像を表示可能な表示部を備え、
    前記認証処理部は、
    前記画像入力部が前記生体画像を取得するためのガイダンスを前記表示部に表示するよう制御する、
    ことを特徴とする生体認証装置。
  11. 認証処理部による生体認証方法であって、
    前記認証処理部は、
    生体を撮影して取得した生体画像を処理し、前記生体から得られる生体特徴に関する登録情報を用いて、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて前記生体の認証を行う、
    ことを特徴とする生体認証方法。
  12. 請求項１１に記載の生体認証方法であって、
    前記認証処理部は、
    前記登録情報を用いて、登録時と認証時の前記生体画像間の色差を最小化する色変換行列を生成し、生成した前記色変換行列と前記生体画像から変換画像を生成し、前記変換画像と前記登録情報との類似度を算出して認証を行う、
    ことを特徴とする生体認証方法。
  13. 請求項１２に記載の生体認証方法であって、
    前記認証処理部は、
    前記生体画像として、前記生体の複数の指画像を用い、
    前記指画像を指毎に複数の領域に分割し、
    分割した複数の領域毎に代表色を獲得して、前記代表色を用いて前記色変換行列を生成する、
    ことを特徴とする生体認証方法。
  14. 請求項１１に記載の生体認証方法であって、
    前記認証処理部は、
    環境光とは異なる光を発生する補助光源をオン・オフ切替して取得された前記生体画像を用いて、環境光成分の除去を行う、
    ことを特徴とする生体認証方法。
  15. 請求項１１に記載の生体認証方法であって、
    前記認証処理部は、前記生体画像を取得するためのガイダンスを表示部に表示するよう制御する、
    ことを特徴とする生体認証方法。
PCT/JP2018/000829 2017-04-05 2018-01-15 生体認証装置、及び方法 WO2018185992A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017074983A JP6759142B2 (ja) 2017-04-05 2017-04-05 生体認証装置、及び方法
JP2017-074983 2017-04-05

Publications (1)

Publication Number Publication Date
WO2018185992A1 true WO2018185992A1 (ja) 2018-10-11

Family

ID=63712454

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000829 WO2018185992A1 (ja) 2017-04-05 2018-01-15 生体認証装置、及び方法

Country Status (2)

Country Link
JP (1) JP6759142B2 (ja)
WO (1) WO2018185992A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7335651B1 (ja) * 2022-08-05 2023-08-30 株式会社Interior Haraguchi 顔認証決済システムおよび顔認証決済方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087253A (ja) * 2005-09-26 2007-04-05 Fujifilm Corp 画像補正方法および装置
WO2012014300A1 (ja) * 2010-07-29 2012-02-02 ユニバーサルロボット株式会社 個人認証装置及び個人認証方法
JP2013207721A (ja) * 2012-03-29 2013-10-07 Fujifilm Corp 撮像装置、並びにそのホワイトバランス補正方法及びホワイトバランス補正プログラム
JP2013210845A (ja) * 2012-03-30 2013-10-10 Secom Co Ltd 移動物体照合装置
JP2016096987A (ja) * 2014-11-20 2016-05-30 株式会社日立製作所 生体認証装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087253A (ja) * 2005-09-26 2007-04-05 Fujifilm Corp 画像補正方法および装置
WO2012014300A1 (ja) * 2010-07-29 2012-02-02 ユニバーサルロボット株式会社 個人認証装置及び個人認証方法
JP2013207721A (ja) * 2012-03-29 2013-10-07 Fujifilm Corp 撮像装置、並びにそのホワイトバランス補正方法及びホワイトバランス補正プログラム
JP2013210845A (ja) * 2012-03-30 2013-10-10 Secom Co Ltd 移動物体照合装置
JP2016096987A (ja) * 2014-11-20 2016-05-30 株式会社日立製作所 生体認証装置

Also Published As

Publication number Publication date
JP6759142B2 (ja) 2020-09-23
JP2018180660A (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
CN109426305B (zh) 获得生物特征信息的方法及其电子装置
CN109643379B (zh) 指纹识别方法、装置和电子设备
CN107949863B (zh) 使用生物体信息的认证装置以及认证方法
CN111448570B (zh) 利用集成到显示屏的光学检测器对显示屏上或接近显示屏的指纹或其他图案进行光学感测
KR102587193B1 (ko) 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
WO2020124511A1 (zh) 指纹识别方法、指纹识别装置和电子设备
US20180046837A1 (en) Electronic device including pin hole array mask above optical image sensor and related methods
JP6089872B2 (ja) 画像補正装置、画像補正方法及び生体認証装置
WO2020108225A1 (zh) 指纹采集方法及相关装置
US11176347B2 (en) Fingerprint-on-display recognition
US11074467B2 (en) Anti-spoofing of transparent fake object overlays with optical sensing modules
US11093595B2 (en) Anti-spoofing of two-dimensional fake objects with bright-dark reversal imaging in optical sensing modules
WO2020216091A1 (zh) 图像处理方法及相关装置
US11837029B2 (en) Biometric authentication device and biometric authentication method
WO2018185992A1 (ja) 生体認証装置、及び方法
WO2022180890A1 (ja) 生体認証システム、認証端末、および認証方法
JP2019128630A (ja) 生体認証装置
CN215219712U (zh) 采用具有部分光谱感测面积的感测像素的感测装置
WO2021111684A1 (ja) 撮影装置および認証装置
JP2023128557A (ja) 撮影装置および認証装置
CN111444888A (zh) 生物特征检测装置、电子设备及生物特征检测方法
CN115995101A (zh) 虚拟指纹的生成方法、系统、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18781201

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18781201

Country of ref document: EP

Kind code of ref document: A1