WO2018061786A1 - 生体認証装置 - Google Patents

生体認証装置 Download PDF

Info

Publication number
WO2018061786A1
WO2018061786A1 PCT/JP2017/033177 JP2017033177W WO2018061786A1 WO 2018061786 A1 WO2018061786 A1 WO 2018061786A1 JP 2017033177 W JP2017033177 W JP 2017033177W WO 2018061786 A1 WO2018061786 A1 WO 2018061786A1
Authority
WO
WIPO (PCT)
Prior art keywords
living body
feature
biometric
finger
authentication device
Prior art date
Application number
PCT/JP2017/033177
Other languages
English (en)
French (fr)
Inventor
三浦　直人
友輔 松田
渓一郎 中崎
洋 野々村
長坂　晃朗
宮武　孝文
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2018061786A1 publication Critical patent/WO2018061786A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an authentication system that authenticates an individual using biometric information, and more particularly to a high-speed and high-precision authentication technique that is excellent in forgery resistance and confidentiality of biometric information.
  • finger vein authentication is known as a technology that can realize highly accurate authentication. Since finger vein authentication uses a blood vessel pattern inside the finger, it achieves excellent authentication accuracy, and it is difficult to forge and falsify compared to fingerprint authentication, so that high security can be realized.
  • biometric authentication devices have been installed in devices such as mobile phones, notebook PCs (Personal Computers), mobile devices such as smartphones and tablet devices, lockers, safes, and printers, and there has been an increase in cases of securing the security of each device. ing.
  • the fields to which biometric authentication is applied include entrance / exit management, attendance management, login to a computer, etc.
  • biometric authentication systems have also been introduced for payments and identity verification at event venues. In the future, for example, there may be a case where biometric authentication is performed when an event ticket is purchased at home, registration data is transferred to a server via the Internet, and identity verification is performed at the venue.
  • biometric registration work cannot be performed by the administrator of the authentication system. It is necessary to perform registration work by the user himself. At this time, it is necessary to prevent a user from illegally registering a foreign object or a forged biological body, or an outsider from illegally intercepting or falsifying registered data.
  • a technique for determining that the presented living body is a true living body and a technique for realizing registration management of biological information with high confidentiality and tamper resistance are desired.
  • many authentication terminals access the registration data in the authentication server. Therefore, it is essential to apply a data protection technique that converts registered data into information that can be safely disclosed.
  • Non-patent document 1 as a technique for determining whether or not a presented face image is counterfeit is a technique for safely publishing registered biometric information as prior art of attack avoidance and data protection against a biometric authentication system.
  • patent document 2 There exists patent document 2.
  • Non-Patent Document 1 In the biometric authentication technique described in Non-Patent Document 1, in order to determine whether the face photographed by the camera is a real face or a printed face, LBP (Local Binary) which is a local texture feature of the face image is used. Pattern) features are extracted and this histogram is learned by SVM (Support Vector Machine) to determine whether it is a real face or a printed face image.
  • SVM Small Vector Machine
  • the attack target is limited to printing on paper, and there is no suggestion that it can respond to other threats.
  • An object of the present invention is to realize a biometric authentication device that can collate biometric information with high speed and high accuracy.
  • an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and authenticates the living body are provided.
  • a living body that acquires a temporal change in the brightness value of a living body that is reflected, extracts a texture feature of the living body captured in the image, and determines that the living body is a true living body based on the temporal change in the brightness value and the texture feature
  • a biometric authentication apparatus having a determination unit is provided.
  • an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication
  • the authentication processing unit includes: A plurality of biological determination units with different determination criteria, a feature extraction unit that extracts biological features of a biological from an image, and a matching unit that compares the similarities of biological features
  • the feature extraction unit extracts the biometric feature of the biometric and the collation unit extracts the biometric feature extracted and the registration data
  • a biometric authentication apparatus configured to compare similarities is provided.
  • the present invention includes an imaging unit that images a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication.
  • a feature extraction unit that extracts a biometric feature of a living body from an image, and the extracted biometric feature is divided into a position correction feature amount and a collation feature amount composed of mutually independent biometric feature amounts.
  • a biometric authentication device configured to include a collation unit that obtains a deviation amount and compares the similarity between a biometric feature and registered data using a collation feature amount using the positional deviation amount.
  • the living body input to the biometric authentication device is an actual living body.
  • FIG. 1 is a diagram illustrating an overall configuration of a biometric authentication system according to Embodiment 1.
  • FIG. It is a figure explaining the apparatus structure of the biometrics authentication system based on Example 1.
  • FIG. It is a figure which shows an example of the processing flow of a pulse detection based on Example 1.
  • FIG. It is explanatory drawing of one method which detects a fingertip area
  • FIG. It is explanatory drawing of one method which detects a pulse from a pulsation signal based on Example 1.
  • FIG. It is a figure which shows an example of the schematic processing flow which performs foreign material determination based on Example 1.
  • FIG. It is explanatory drawing of one method which extracts the local texture characteristic of the image based on Example 1.
  • FIG. It is a figure explaining the apparatus structure of the biometrics authentication system based on Example 1.
  • FIG. It is a figure which shows an example of the processing flow of a pulse detection based on Example 1.
  • FIG. It is ex
  • Example 1 It is explanatory drawing of one method based on Example 1 which acquires the histogram of a texture feature from the local texture feature of an image. It is a figure which shows an example of the processing flow of the learning of machine learning and the determination for performing a foreign material determination from the histogram of the texture characteristic based on Example 1.
  • FIG. It is explanatory drawing of one method based on Example 1 which extracts the local color feature-value for classifying a finger area
  • FIG. It is a figure which shows an example of the processing flow of the authentication process using the biometric feature which can be disclosed safely based on Example 2.
  • FIG. It is a figure which shows an example of the apparatus structure of the finger vein authentication apparatus based on infrared transmission imaging
  • biometric features are anatomically different biometric features such as finger veins, fingerprints, joint patterns, skin patterns, finger outlines, fat prints, finger length ratios, finger widths, etc. Means.
  • Example 1 is an example of a biometric authentication system using a finger blood vessel. That is, the image processing apparatus includes an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication, and the authentication processing unit obtains a temporal change in the luminance value of the living body that appears in the image.
  • the biometric authentication system having a biometric determination unit that extracts a texture feature of a living body photographed in an image and determines that the living body is a true living body based on a temporal change in luminance value and a texture feature It is an example.
  • FIG. 1 is a diagram illustrating an example of the entire configuration of a biometric authentication system using a finger blood vessel according to the present embodiment.
  • the apparatus may be a personal authentication apparatus including an authentication process, or the authentication process may be performed outside the apparatus, and may be a blood vessel image acquisition apparatus or a blood vessel image extraction apparatus specialized for acquiring a blood vessel image.
  • this configuration may be regarded as a blood vessel image acquisition device using a general-purpose color camera mounted on a smartphone or tablet.
  • the embodiment as a terminal may be used as described later.
  • a configuration including at least an imaging unit that captures a biometric image and an authentication processing unit that processes the captured image and performs biometric authentication is referred to as a biometric authentication device.
  • the biometric authentication system of the present embodiment illustrated in FIG. 1 includes an input device 2 that is an imaging unit, an authentication processing unit 10, a storage device 14, a display unit 15, an input unit 16, a speaker 17, and an image input unit 18.
  • the input device 2 includes a light source 3 installed in the housing and an imaging device 9 installed in the housing.
  • the authentication processing unit 10 has an image processing function.
  • the light source 3 is a light emitting element such as an LED (Light Emitting Diode), for example, and irradiates light on the finger 1 presented on the upper part of the input device 2.
  • the light source 3 may be capable of irradiating various wavelengths depending on the embodiment, or may be installed on the upper part of the finger 1 to irradiate the transmitted light of the living body. Moreover, it is good also as a structure by which the light source 3 is not mounted.
  • the imaging device 9 captures an image of the finger 1 presented on the input device 2.
  • the imaging device 9 may be a color camera or an infrared camera. A distance camera that can measure the distance of the subject may be separately installed. Furthermore, a plurality of fingers 1 may be used.
  • the image input unit 18 acquires an image captured by the imaging device 9 of the input device 2 and inputs the acquired image to the authentication processing unit 10.
  • the authentication processing unit 10 includes a central processing unit (CPU: Central Processing Unit) 11, a memory 12, and various interfaces (IF) 13.
  • the CPU 11 extracts biometric features during image processing on an input image by executing a program stored in the memory 12, biometric determination for determining that the living body is a true living body, registration processing, and authentication processing. Various processing such as feature extraction to be performed and collation for comparing similarities of biometric features. These various processes will be described in detail later.
  • the function memory 12 stores a program executed by the CPU 11.
  • the memory 12 temporarily stores an image input from the image input unit 18.
  • the interface 13 connects the authentication processing unit 10 and an external device. Specifically, the interface 13 is connected to the input device 2, the storage device 14, the display unit 15, the input unit 16, the speaker 17, the image input unit 18, and the like.
  • the registration data is information for collating users obtained during the registration process, and is image data such as a finger vein pattern, for example.
  • a finger vein pattern image is an image obtained by capturing a finger vein, which is a blood vessel mainly distributed under the skin on the palm side of a finger, as a dark shadow pattern.
  • the display unit 15 is, for example, a liquid crystal display, and is an output device that displays information received from the authentication processing unit 10.
  • the input unit 16 is, for example, a keyboard, and transmits information input from the user to the authentication processing unit 10.
  • the speaker 17 is an output device that transmits information received from the authentication processing unit 10 as an acoustic signal such as voice.
  • FIG. 2 is a diagram showing an example of a schematic flow of biometric authentication technology registration processing and authentication processing using a finger blood vessel described in the present embodiment.
  • the registration process and the authentication process are realized by a program executed by the CPU 11 of the authentication processing unit 10 described above, for example.
  • the authentication processing unit 10 displays a guide for prompting the user to present a finger on the display unit 15, and the user holds the finger according to the guide (S201). If the smart device is used as an authentication device, the user holds his / her finger in the air, and if the device is equipped with a finger rest, the user places the finger rest on the finger rest.
  • the authentication processing unit 10 performs a biological determination process in which the biological determination unit determines that the biological is a true biological.
  • pulse detection is performed on a finger that is a living body (S202).
  • the flow rate of blood flowing inside the fingers varies with the heartbeat.
  • Hemoglobin which is a tissue in blood, has the property of absorbing light, and when the blood flow varies, the light reflectance and absorption rate of the entire finger changes. Therefore, when a finger that is a living body is photographed, the luminance value of the infrared image or the luminance value of each color of the color image changes in synchronization with the pulse, and the magnitude of the change varies depending on each color.
  • the biometric determination unit determines a real finger (real finger), a foreign object, and a forged finger using the texture feature of the subject (S203).
  • a real living body such as a real finger and a non-living foreign body, a forged living body, a living body photographed with a moving image, and the like have different characteristics of captured images, particularly fine texture features. Therefore, a large number of fingers taken with real fingers, foreign objects, forged living bodies and videos are pre-photographed, and machine learning is used to learn what kind of differences are in the texture characteristics of the images. It is determined whether or not it is a real living body. That is, the texture feature of the photographed living body is extracted, and it is determined based on this texture feature that the living body is a true living body.
  • a determination process that combines the pulse detection and the foreign object determination based on the texture feature is performed (S204).
  • the input subject is determined to be a real living body.
  • the authentication processing unit 10 performs a feature extraction process for extracting a biological feature from the captured biological image (S205), and the acquired biological feature is displayed. Registration data is registered in the database (S206). If not, registration fails and the process ends (S207).
  • the authentication processing unit 10 displays a guide for prompting the user to present a finger on the display unit 15, and the user holds the finger according to the guide (S211).
  • a living body determination process for determining that the living body is a true living body, determination of a real finger and a foreign object / fake finger based on the texture characteristics of the image is performed (S212). Then, from this result, it is determined whether or not the finger is a real finger (S213). If it is determined to be a real finger, a feature extraction process for extracting a biometric feature is performed (S214). The verification process with the registered data is performed (S215), and finally the authentication result is determined (S216). If the actual finger determination is unsuccessful, the authentication process is terminated as an authentication failure (S217).
  • pulse detection is not performed. This is because, as will be described later, in pulse detection, it is necessary to measure a change in luminance value for a certain period of time, for example, about 5 seconds, and in general, it takes a long calculation time. Therefore, in the authentication process of the biometric authentication system of the present embodiment, forgery resistance is not reduced by performing only the foreign object determination based on the texture characteristic of the subject as the biometric determination for determining that the living body is a true living body. An effect of shortening the authentication processing time can be obtained.
  • the biometric authentication system of the present embodiment at the time of registration, guide display for prompting a finger, pulse detection, and foreign object detection based on texture features are performed, so that the user can perform registration work himself / herself. At the same time, unauthorized registration can be rejected. As a result, the registrant can perform the registration process without supervising and supporting the registration work as an operator, thereby improving the operability of the authentication system.
  • FIG. 3 is an example of a processing flow for detecting a pulse of a living body held over in the pulse detection (S202) during the registration process of FIG.
  • S202 pulse detection
  • a finger area for a held finger is detected (S301).
  • attention is paid to each pixel in the image, and a luminance difference from the surrounding pixels is calculated for each color to obtain a feature amount. Based on this, it is determined whether each pixel in the image is a finger region or a background. In addition, the boundary between the finger and the background is acquired as the contour line of the finger region.
  • the fingertip area for finding the fingertip area portion in the detected finger area is detected (S302).
  • the change in luminance due to the pulse is particularly observed at the fingertip portion that is physically at the end, and a signal with a high S / N can be obtained. Therefore, in this embodiment, a fingertip region is detected from the input finger image, and the pulse of the presented finger is detected with higher accuracy by observing the luminance change.
  • the fingertip position of the finger outline 60 is detected. Since the fingertip 61 is a portion where the contour line 60 of the finger bends greatly, the region on the curved direction side is the finger internal region 62, and the curvature of the contour line 60 exceeds a certain value, and A position where the curvature is large, that is, a position where the bending is the most is determined as the fingertip 61.
  • a plurality of straight lines 63 that are orthogonal to the contour line near the fingertip are detected, and the number of straight lines passing through the finger inner region 62 is the largest. Many positions are detected to obtain an initial position 64 at the center of the fingertip region.
  • a plurality of distances between each pixel constituting the finger outline 60 closer to the fingertip 61 than the initial position 64 at the center of the fingertip region and the initial position 64 at the center of the fingertip region are set.
  • Calculation is performed to calculate the variance of the distance from each point, and the center 65 of the fingertip region having the smallest variance is detected.
  • This method can be implemented by repeatedly searching by the steepest descent method based on the amount of change in dispersion when the center initial position 64 is slightly moved in the horizontal and vertical directions. Thereby, the center 65 of the fingertip region can be set at a substantially uniform position from the contour line near the finger contour.
  • a circle having the maximum radius that does not protrude from the finger area is obtained with the center 65 of the acquired fingertip area as a center point, and this is defined as the fingertip area 66.
  • the fingertip region can be obtained by the above processing.
  • the center axis of the finger is acquired so as to pass through the fingertip, and the finger located between the fingertip and a certain distance on the finger central axis is obtained.
  • An area may be acquired as a fingertip area, or a finger joint pattern may be detected, and an area surrounded by the finger joint pattern from the fingertip may be defined as a fingertip area.
  • the method for obtaining the center of the fingertip area of the above-described embodiment determines one point of the contour line because the fingertip area is determined based on not only the fingertip position detection result but also information on a number of orthogonal lines.
  • detection with high stability is possible as compared with fingertip detection for obtaining.
  • a region having the same position and the same area can always be detected even if a temporal variation occurs in the magnification rate of the finger.
  • the pulsation signal of the fingertip region is detected based on the detected luminance value inside the fingertip region (S303).
  • the method for detecting the pulsation signal of this embodiment will be described.
  • the imaging device 9 is a color camera
  • the average value inside the fingertip region obtained above is obtained.
  • RB and RG values are obtained as the difference between the respective average values and the average values of the respective colors.
  • a result obtained by summing the average luminance of R and the difference signals of RB and RG is obtained.
  • the pulsation component remains, but since the noise component is removed by the difference, only the pulsation component can be acquired. For example, since the amount of change in luminance of red (R) accompanying the change in blood volume is larger than the amount of change in blue (B), pulsation is also seen in the RB differential signal. At this time, for example, if noise similar to red (R) and blue (B) is applied simultaneously due to the influence of external light, only the noise component is canceled by the difference calculation. In this way, it is possible to acquire a pulsation signal resistant to noise by using the differential signal.
  • the recognition processing unit 10 detects finger movement using the output signal of the imaging device 9 such as a color camera, and controls to not start pulse detection or interrupt pulse detection while the finger is moving. be able to.
  • the pulsation signal may be acquired as follows. First, for each pixel in the fingertip region, a difference in luminance value between pixels at the same position in two temporally continuous frames is calculated. Next, it is determined whether the luminance difference of each pixel is positive or negative. Next, the difference between the number of pixels determined to be positive and the number of pixels determined to be negative is divided by the total number of pixels that have changed positively and negatively, and this is obtained as a pulsation signal. According to this method, the number of pixels that have changed from light to dark or simultaneously from dark to light is extracted as a signal, so when there is no change in blood flow, the change to positive and negative is affected by image noise. Since the number of generated pixels is almost the same, the pulsation signal changes near zero, but when blood flows instantaneously, the luminance difference of many pixels changes to a positive value. This has the effect of increasing the S / N of the pulsation signal.
  • the periodicity of the detected pulsation signal is determined (S304). As shown in FIG. 5, when an actual finger is presented, a peak appears periodically in the pulsation signal 50 indicating the pulse signal intensity. In order to detect this, first, a time derivative 51 is calculated for the pulsation signal 50. If it is defined that the pulsation signal increases in the positive direction when the blood volume increases, the time differential value increases in the positive direction in the portion where the inflow of blood flow occurs, and in the negative direction in the outflow state of the blood flow It changes to zero and becomes zero in a portion where there is no change in blood flow. Here, it is determined that the value of the time derivative 51 has exceeded a certain threshold value, and is set as pulsation. If the threshold is not exceeded, it is considered as noise and the period is not counted.
  • the pulseiness of the pulsation signal is determined (S305).
  • the validity of the period of the pulsation signal is determined. Here, it is determined whether the period of the currently detected pulsation signal is within a preset time range, and if it is within the range, the count value of the number of pulsations is incremented by one. It is determined that the pulsation is not caused and the count value of the number of pulsations is reduced by one. However, the initial value of this count value is assumed to be zero. The count value is shown at the bottom of FIG.
  • the range of the preset time regarding the period of the pulsation signal described above is a normal range of a normal human pulse, for example, when a range of 40 to 120 times per minute is defined as normal, the time range. Can be determined to be between 0.5 seconds and 1.5 seconds.
  • the number of pulsations is continuously measured to determine whether it is a pulse.
  • this pulsation signal can be regarded as a highly reliable pulsation due to the living body.
  • the cycle deviates from the normal range on the way, so the count value is decreased at the corresponding location.
  • the pulse detection fails (S308).
  • the periodicity of the peak value of the pulsation signal may be detected based on frequency analysis such as FFT (First Fourier Transform) or MUSIC method (Multiple Signal Classification).
  • an R / G / B color image is regarded as three images, and independently by a method such as Independent Component Analysis (ICA). It is also possible to acquire a pulsation signal from the changed signal component.
  • ICA Independent Component Analysis
  • FIG. 6 shows an example of a processing flow for determining a real finger, a foreign object, and a forged finger based on the texture feature of the image described in S203 and S212 of FIG.
  • the photographed image is not necessarily a real living body. Therefore, in the registration process of the configuration of the present embodiment, in order to further improve the accuracy of foreign object detection, a process for determining whether the finger is a real finger, a foreign object, or a fake finger is used together with the texture characteristics of the image.
  • the LBP feature amount in the finger internal region obtained by the above-described method is obtained as the texture feature of the image (S601).
  • the region from which the LBP feature value is extracted may be the entire finger inner region, or may be limited to the region from which the authentication feature value is extracted in order to speed up and stabilize the processing.
  • a texture feature amount based on LBP which is generally known as a texture feature, is used.
  • the LBP is information obtained by coding the magnitude of the luminance value of the pixel of interest and the neighboring pixels.
  • the most basic LBP acquisition method is to encode the magnitude of the luminance value of the pixel of interest and its eight neighboring pixels 120. Specifically, the following method is used. To win. First, the luminance values of the pixel of interest and the neighboring pixel at the upper left thereof are compared, and 0 is given if the luminance value of the pixel of interest is larger, and 1 is given if it is the same or smaller. Next, the target pixel is compared with the neighboring pixel immediately above it, and 0 or 1 is similarly given. Next, the pixel of interest is compared with the neighboring pixel on the upper right side, and 0 or 1 is similarly given.
  • a value of (01010011) 2 in binary notation and 83 in decimal notation are obtained.
  • LBP value is acquired, it is possible to roughly estimate what kind of texture is in the vicinity of the target pixel. For example, if LBP is 0, i.e., consisting of binary representation and (00000000) 2, the pixel of interest represents the higher luminance value than its 8 neighboring all pixels, i.e. bright bright spot to the position of the pixel of interest is observed Means that Similarly, a maximum of 256 patterns of texture information can be expressed when the luminance value decreases from left to right or when the luminance value decreases from diagonally upper right to diagonally lower left.
  • the rotation-invariant LBP is obtained by performing 8 types of clockwise coding from all the pixels in the vicinity of 8 and obtaining an LBP code that has the minimum value.
  • the upper and lower pixel values 120 illustrated in FIG. 7B are obtained by rotating the lower image 90 degrees clockwise with respect to the upper image. Since the basic LBP is coded in order from the upper left position, the result for the rotated image is different in the upper and lower stages, but on the other hand, if coding is performed from the position where the coded result is the smallest, The same code. This is the rotation invariant LBP 122.
  • the encoding result differs if the magnification of the subject is different. Therefore, as shown in FIG. 7 (c), not only the comparison with eight neighboring pixels (distance 1, pixel indicated by P1 in the figure) with respect to the target pixel, but also eight points on the circumference at positions separated by distance 2 ( Comparison is also made for P2) in the figure and 8 points (not shown) on the circumference at a distance of 4 to obtain three 8-bit codes.
  • the LBP obtained in this way is referred to as an enlarged rotation invariant LBP here. In the present embodiment, it is assumed that this enlarged rotation invariant LBP is acquired and used for foreign object determination.
  • the distance value and the number of codes to be acquired are 8 points (P3 in the figure) on the circumference at a position separated by a distance 3 that was not used in the above, and the discrimination accuracy is maximized. It can be arbitrarily set such as setting or setting the processing speed to be high.
  • an LBP histogram is acquired (S602).
  • the enlarged rotation invariant LBP extracted as described above is calculated for one pixel of interest, but since the finger region portion shown in the image is composed of a large number of pixels, a large number of LBPs are obtained from one finger image. Can be extracted. A highly reliable feature quantity can be obtained by using a plurality of LBPs for determination.
  • a normalized histogram of LBP is created as one technique.
  • Normalized histogram is a frequency distribution that holds how many times the number of pixels calculated for the acquired LBP value is calculated, and since the number of pixels for calculating LBP differs depending on the area of the finger inner region, When the number of pixels is normalized to 1, it is converted into a value indicating how much ratio of each LBP appears in the whole.
  • the expanded rotation invariant LBP in the present embodiment is composed of three 8-bit codes, there are 256 possible values for each code, from 0 to 255. As shown in FIG. 8, the histogram for the value of each code is 256. It becomes a dimension.
  • LBP 1 , LBP 2 , and LBP 4 are obtained for three distances from the target pixel, a 256-dimensional histogram can be obtained for each of the three distances.
  • the histogram of the enlarged rotation invariant LBP acquired from the distance i is represented as HLBP i .
  • the histograms of HLBP 1 , HLBP 2, and HLBP 4 are arranged in order to form a 768-dimensional histogram. In FIG. 8, this LBP histogram is shown as HLBP 1,2,4 .
  • real finger / foreign / fake finger determination is performed from the above histogram (S603).
  • characteristics such as a high frequency of a specific dimension can be seen according to the presence or absence of fine sesame salt noise or smooth luminance change. That is, it is possible to determine whether the object is a foreign object or an actual finger from the histogram.
  • An example of a method for determining whether a finger is a real finger or a foreign object / fake finger from a histogram feature is to collect a large number of real finger images and a foreign object / fake finger image, and use the histogram feature value to determine whether the finger is a real finger.
  • a method based on a random forest that is one of machine learning will be described as an example.
  • FIG. 9 is an example of a learning process flow for performing parameter learning based on an enlarged rotation-invariant LBP and a random forest, and a determination process flow.
  • the learning process flow shown in the upper part of FIG. 9 will be described.
  • an image database in which various foreign objects are photographed and an image database in which many real fingers are photographed are prepared (S901).
  • a label for identifying whether the subject is a foreign object or a real finger is attached to all images.
  • a finger region is detected from all the prepared image data, and a histogram feature amount that is the above-described texture feature in the finger region is extracted (S902).
  • the enlarged rotation invariant LBP is extracted for the pixel determined to be the finger region, and the information of all the pixels is converted into a 768-dimensional histogram.
  • the random forest is a classifier for classifying an input into a specific class by a plurality of decision trees, and obtains a final classification result by a majority vote or a weighted evaluation value for the classification result obtained by each decision tree.
  • the input data is distributed to either the left or right node of the binary tree according to the magnitude of the value of a specific dimension among the feature values extracted from the image and moved to its child nodes. Depending on the size of the value of a specific dimension, it is divided into left and right, and the classification result when it finally reaches the leaf node is regarded as the classification result of that input.
  • the correctness rate of the classification result is the highest for which dimension is selected and which threshold value is assigned to the left and right according to the value of that dimension. Need to be determined. In the random forest learning phase, these parameters are determined by random numbers, but this is a general technique and will not be described in detail.
  • the learning is repeatedly performed, and it is determined whether the number of times satisfies the predetermined number (S904).
  • the parameter obtained as the learning result is determined as the final result of the random forest for the determination process (S905), and the learning process is terminated.
  • a finger region is detected from the input unknown image, and an enlarged rotation-invariant LBP histogram, which is a histogram feature amount of the texture in the finger region, is extracted (S911). Subsequently, the histogram feature quantity of the texture of the unknown input image is input to each decision tree of the determination random forest (S912), and the determination result is obtained (S913). If the texture feature is similar to a real finger, it is determined to be a real finger, and if it is similar to a foreign object, it is determined to be a foreign object. As described above, it is possible to determine whether the finger is a real finger based on the texture feature.
  • the biometric authentication system includes an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication.
  • a plurality of biological determination units having different determination criteria, a feature extraction unit that extracts biological features of the biological from the image, and a matching unit that compares the similarities of the biological features.
  • the feature extraction unit extracts the biological feature of the biological body, and compares the similarity between the extracted biological feature and the registered data. And authenticate.
  • a biometric determination unit that performs determination by acquiring a determination parameter by machine learning from a histogram feature amount of a texture feature uses a random forest connected in multiple stages to machine learning. If a pulse is detected, learning is performed specifically for a data set including foreign objects and forged fingers that can be correctly discarded.
  • the random forest outputs a determination result close to pulse detection, that is, one stage of the random forest, which is a multistage biometric determination unit, functions as an alternative to pulse detection. Accordingly, foreign object acceptance errors can be reduced even in the authentication process in which pulse detection is not performed. Furthermore, by constructing a random forest that specializes in rejecting foreign objects that cannot be rejected correctly by pulse detection, foreign objects that could not be rejected by pulse detection can be correctly rejected in this random forest. It is also possible to further improve the overall foreign matter detection accuracy.
  • the random forest that is the biometric determination unit is configured in multiple stages such as three stages will be described.
  • a first-stage random forest is learned using an image database of many foreign objects that tend to be determined as real fingers by pulse detection and an image database of many real fingers. In the present specification, this is called a pulsating foreign object check random forest. Since this random forest for checking pulsating foreign matter can discriminate between a foreign matter that tends to be erroneously determined to be a real finger in pulse detection and a real finger with high accuracy, it is possible to complement a pulse detection error.
  • a second-stage random forest is learned using a general many foreign object image databases and many real finger image databases. In the present specification, this is usually called a random forest for foreign matter check. This normal foreign matter checking random forest can discriminate widely general foreign matter and real fingers with average accuracy.
  • the third-stage random forest is learned using a large number of finger image databases and a large number of real finger image databases captured in the video.
  • this is called a moving image finger check random forest.
  • This moving finger check random forest can be rejected with high accuracy against an attack in which an image of a finger taken with a moving image is presented. In this way, a three-stage random forest is created.
  • an LBP histogram in the finger region of the input subject is acquired, and first, it is determined whether or not it is a foreign object by a first-stage pulsating foreign object check random forest. If it is determined that the finger is a real finger, it is next determined whether or not it is a foreign object by the second-stage normal foreign object check random forest. Similarly, when it is determined that the finger is a real finger, it is finally determined whether or not it is a foreign object by the third-stage moving image finger checking random forest.
  • it is determined as a real finger it is determined as a real finger in all the determinations of the multistage random forest, and it is truly regarded as a real finger. If any random forest is determined to be a foreign object, the input is regarded as a foreign object, and the authentication process fails.
  • the random forest is artificially formed in multiple stages.
  • the boosting technique represented by AdaBoost which is known as a machine learning technique, is combined with a random forest to automatically perform multistage learning. Also good. Specifically, learning is performed in the first-stage random forest so that the classification accuracy of a large number of real fingers and foreign object image data is improved. As a result, in order to correctly classify the actual fingers and foreign objects in error, the next random forest learns them mainly. This is repeated in multiple stages, and finally the determination is made by weighting the results of all random forests. As a result, a large number of random forests function in a complementary manner, and the overall error rate can be reduced.
  • LBP is selected as an image feature amount.
  • feature amount extraction and foreign matter determination may be performed by machine learning.
  • a foreign object can be determined by a convolutional neural network (Convolutional Neural Network, CNN) generally known as deep learning.
  • CNN convolutional Neural Network
  • the authentication processing unit 10 controls the reflected light source attached to the biometric authentication device to blink. At this time, if an actual living body is presented, only the finger region blinks and the background region does not blink. However, when printing on paper or presenting a moving image, since the paper or screen is flat, the finger area and the background area blink simultaneously. By blinking the light source using this texture feature, it is possible to determine that the moving image is presented. If the authentication device is a smart device, an attached flash light or a liquid crystal display may be blinked instead of the reflected light source.
  • the irradiation direction of the light source can be controlled, it is also possible to irradiate the subject sequentially from a plurality of directions and detect a change in shadow at that time as a texture feature. If there is no change in shadow, it is considered a foreign object.
  • the color of the light source can be controlled, it may be determined whether or not the finger is unique by determining whether or not the reflectance for each color is unique to the finger.
  • the authentication processing unit 10 may request a specific finger bending / extension or finger gesture before the registration and authentication operations using the speaker 17 or the like, and may determine that the object is a foreign object if it cannot be performed.
  • the detection of the finger region is an important process for performing the authentication process with high accuracy.
  • a living body photographed with a general-purpose color camera of a smart device needs a highly accurate background separation technique because various subjects are reflected in the background.
  • a method for detecting a finger region using a feature amount obtained by calculating a luminance difference between each pixel and its surrounding pixels for each color and a random forest will be described.
  • the difference between the target pixel 180 on the red plane and the neighboring pixel 183 on the green plane is P0r-PDg, and since there are eight PDg, eight P0r-PDg are obtained. Thus, a value of 72 is obtained.
  • the distance D by changing the distance D to N ways, it becomes a 72N-dimensional feature. If the luminance values of the three colors R / G / B of the target pixel are included as a three-dimensional feature, 72N + three-dimensional features are obtained for each pixel. Similar to the method of analyzing texture features in the random forest described above, prepare many finger images labeled with correct answers between the finger area and the background area, and correctly correct the background pixels and the pixels without the finger area. Learn random forest parameters so that you can. As a result, when an arbitrary finger image is input, the above-described color feature is obtained for each pixel, and if it is determined for each pixel whether it is the background or the finger region, only the portion of the finger region can be extracted.
  • an unnatural finger region portion may appear due to a determination error, it may be processed into a smooth region by expansion / contraction processing in morphology. Further, it is possible to speed up the processing by performing learning and determination of the finger region in a state where the original image is reduced to a small size and enlarging the final result to the original size.
  • a label may be assigned to each type of finger such as the index finger and middle finger, and joint parts such as the base, middle, and last clauses, and each may be determined in detail.
  • learning data is prepared for each pose of various fingers such as Janken Goo, Choki, and Par, and as a result, the posture of the finger can be learned.
  • finger gesture determination can be realized, for example, to detect foreign objects or counterfeiting, or to use as authentication information to improve authentication accuracy, or to narrow down user data from a large amount of registration data By utilizing it, it is possible to speed up the matching process.
  • the configuration of the present embodiment enables the switching of various functions of various business systems and the identity verification at the same time, the identity verification can be surely performed without performing complicated operations as in the past. It is possible to use various services after being performed. Note that as the number of fingers held up increases, more biological features can be observed.For services that require stronger security, assigning more gestures to hold up the fingers to increase the security strength. It becomes possible to raise.
  • the authentication system can determine the finger gesture at random and request the user to hold the finger according to the instruction, so that the foreign material / counterfeit check of the held finger can be performed.
  • a general foreign object / counterfeit organism is known to hold daily items or a living body printed on paper, but when such a foreign object or counterfeit finger is held over, it is specified on the spot. It is not easy to imitate finger gestures. Therefore, the act of performing the designated gesture itself becomes evidence that the hand of the living body is held up, and the possibility of eliminating foreign objects and forgery can be increased.
  • a plurality of gestures may be presented, or the temporal change of the gestures at that time may be confirmed in a moving image. As a result, it is possible to improve the accuracy of foreign object / counterfeiting determination against an attack particularly when a stationary subject is held over.
  • N authentication in which only biometric information is authenticated without inputting personal IDs
  • a finger gesture is used.
  • the authentication process is speeded up and the acceptance rate of others can be improved by reducing the number of verification targets.
  • Example 2 is an example of an authentication system using biometric information that can be disclosed safely.
  • FIG. 11 shows a configuration example of the authentication system according to the second embodiment.
  • the smartphone 201 owned by the user 200 performs purchase of a ticket and photographing and registration of biometric information
  • a key already purchased from the smartphone to the authentication server 202 is shown.
  • the encrypted biometric registration data 204 is transferred via the network 205.
  • the registration data 204 is stored in the database 206 in the server.
  • the authentication terminal 207 At the time of authentication at the event venue, when the user holds the finger 1 over the authentication terminal 207 installed at the venue, encrypted input data 208 generated from the presented biometric information is generated, and the authentication server 202 Forwarded to In the authentication server 202, the encrypted registration data 204 is disclosed, and this is compared with the encrypted input data 208 to perform personal authentication. If it is determined that the authentication has succeeded, a signal indicating the success of the authentication is sent to the authentication terminal 207 at the event venue, and the user can enter the venue by opening the gate door, for example. Note that the authentication terminal 207 may download registration data from the authentication server 202 in advance, and the authentication terminal 207 may perform authentication processing by verification.
  • the registration data is divided into biological position correction information and collation information, and information for which no collation information is estimated is selected from the position correction information. Collation is performed in an encrypted state, and the amount of misalignment obtained from the result is used, and collation information is collated at high speed in an encrypted state, thereby realizing safe and high-speed collation.
  • the biometric authentication system includes an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication.
  • a feature extraction unit that extracts biometric features and the extracted biometric features are divided into position correction feature amounts and collation feature amounts that are composed of biometric features that are independent of each other.
  • a collation unit that compares the similarity between the biometric feature and the registered data by using the collation feature amount by using the positional deviation amount.
  • FIG. 12 is a diagram illustrating an example of an authentication processing flow according to the second embodiment in which a registration template corresponding to PBI is collated at high speed and with high accuracy.
  • a registration template corresponding to PBI is collated at high speed and with high accuracy.
  • guidance for prompting the presentation of a living body is displayed (S1201), and when the user holds a plurality of fingers over the smartphone, the foreign object detection detailed in the above-described embodiment is performed (S1202).
  • the pulse detection mentioned above is good to implement here, it is good also as a structure which does not implement a pulse detection for shortening processing time according to the condition to authenticate.
  • biometric features such as finger veins, fingerprints, and joint patterns are extracted from a plurality of fingers, and all the biometric features of all fingers are converted into binarized or multivalued feature values. The patterns are merged at the level and extracted as information to be collated by template matching.
  • any biometric information that realizes PBI can be similarly applied to any feature extraction method and data format.
  • the extracted feature quantity is decomposed into a linear sum of base feature quantities determined in advance (S1205).
  • the basis feature amount determined in advance is a feature amount in which each basis is independent, and is determined by the following method in this embodiment.
  • PCA principal component analysis
  • the feature quantity f before PCA conversion is expressed as a linear sum as shown in Equation 1 below.
  • x i is arranged in ascending order of i in descending order of contribution obtained when PCA is performed, and in particular, x 0 is an average value of a large number of biometric features prepared in advance.
  • M ICA bases s j a mixing matrix A are obtained by independent component analysis (ICA).
  • ICA independent component analysis
  • Equation 3 Since the ICA basis s i is a highly independent component selected from a large number of biometric features, the coefficient b j (j ⁇ i) of the other ICA basis is estimated from the coefficient b i of the i-th ICA basis. Will be difficult.
  • the feature quantity f is separated into a position correction feature quantity and a collation feature quantity (S1206).
  • an arbitrary K bases among the M bases are combined to form a matching feature amount, and a position correction feature amount is generated by the remaining (M ⁇ K) bases.
  • the value of K ranges from 1 to M-1. That is, the number of bases M, the base number K of collation feature values, and the combination of extracting K bases from the M bases are adjustment parameters.
  • f p b p0 s p0 + b p1 s p1 +... + b p (MK) s p (MK) (Formula 4)
  • f m bm 0 s m0 + b m1 s m1 +... + b mK s mK (Formula 5)
  • the matching feature quantity f m is estimated even if the position correction feature quantity f p is disclosed. It is not possible.
  • the position correction feature value f p of the input feature value and the registered feature value is collated at high speed in the non-encrypted state to obtain the pattern displacement amount, and the matching feature value is similarly obtained using the result. If collation is performed in an encrypted state, safe and high-speed collation is possible. Even if the position correction feature value is misused, the data can be invalidated by changing the combination of the ICA bases described above to another combination. This means that the ICA base combination itself can be used as a key for data protection.
  • the matching feature value f m needs to be encrypted, it is encrypted by an arbitrary encryption method and kept safe even if it is disclosed.
  • the base feature can be defined.
  • the position correction feature and the matching feature are converted into a collable format (S1207).
  • the original biometric information f is vein template image ternary
  • it is converted into as described above and the position correction feature value f p and matching feature amount f m, they are converted to multi-value image by the quantum error
  • re-transformation into a ternary pattern is performed again by threshold processing, and correction is performed so that a ternary template image is obtained. Even if it is in another format, convert it to the original format.
  • registration and input position correction feature values are collated (S1208).
  • Templates of position correction feature amounts are collated by a conventional method, and a position shift amount is obtained by searching for a position having the highest similarity.
  • the similarity between position correction features is also used for authentication judgment. By doing so, the authentication accuracy can be improved.
  • the amount of information used for position correction features and matching features can be finely adjusted. For example, if the biometric feature to be used is not likely to be displaced, it is possible to adjust the balance according to the characteristics of the biometric feature, such as adjusting K to a large value and increasing the amount of information distributed to the matching feature. .
  • the simplest method is to extract multiple anatomically different biological features such as veins, fingerprints, and joint patterns from an image and divide them into position correction features and matching features for each biological feature.
  • the problem with this method is that there are at most several variations of biometric features that can be extracted, and there are few biometric feature options used for position correction features. Because it is necessary to divide it into features for position correction and features for collation, there is a problem that if any biological feature is over-spec to be used only for position correction, excess information cannot be used as collation information. is there. Furthermore, there is no guarantee that each biometric feature is necessarily independent information, and a collation feature may be inferred from the position correction feature.
  • biometric features are further increased, and veins, finger joint patterns, fingerprints and skin patterns, finger outlines, fat prints, finger length ratios, finger widths, etc. are extracted and independent from these biometric features.
  • biometric features with high characteristics can be classified and some of them can be used for registration and the rest can be used as matching features, safety and The accuracy can be improved.
  • ICA may be applied to the three RGB color images to extract independent image features. In this case, anatomically meaningful biological features may not be acquired, but independent components are acquired based on ICA even if independence cannot be guaranteed between multiple anatomical biological features. As a result, independence is ensured mathematically, and safer biometric feature separation can be realized.
  • an input living body is an actual living body, and it is possible to perform high-speed and high-accuracy collation while keeping biological information confidential, and high data confidentiality and high speed can be achieved.
  • An accurate biometric authentication system can be provided.
  • Example 3 is an example of another configuration of a biometric authentication system using a blood vessel of a finger.
  • FIG. 13 is a diagram illustrating an overall configuration of a system according to the third embodiment.
  • the user presents the finger 1 with the position of the finger aligned on the finger rest 240 provided in the input device 2.
  • the light source 3 installed on the ceiling portion 242 is an infrared light source and irradiates infrared light toward the finger 1.
  • the infrared light transmitted through the finger 1 reaches the imaging device 9 via the opening 241.
  • the imaging device 9 is an infrared camera and captures infrared transmitted light from the finger 1.
  • a finger vein pattern is photographed in this video, and biometric authentication based on the photographed finger vein pattern is performed by the authentication processing unit and the authentication terminal.
  • the ceiling portion 242 can shield external ambient light from entering the imaging device 9.
  • the reliability of the input biological information can be enhanced by applying the pulse detection and foreign object detection described in the first and second embodiments.
  • the processing procedure the method shown in FIGS. 2 and 3 can be applied.
  • the ceiling portion 242 is installed on the input device 2, the influence of external light can be reduced, and finger vein pattern imaging is based on infrared transmitted light. Since it is a method, it is possible to capture a clear image, so that it is possible to improve detection accuracy particularly in pulse detection.
  • the amount of movement of the finger in the image is measured so that the finger 1 does not move, and if movement is detected, guidance is displayed to the user so as not to move the finger.
  • the light amount of the light source 3 is continuously irradiated with a fixed value while the brightness value of the image of the fingertip region is adjusted to a brightness that does not cause whiteout (saturation).
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for better understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • the above-described configuration, function, authentication processing unit, and the like have been described as an example of creating a program that realizes a part or all of them. Needless to say, it may be realized by hardware. That is, all or part of the functions of the authentication processing unit may be realized by an integrated circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array) instead of the program.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the present invention can provide an authentication system with high operability by which a user can perform registration work and a biometric authentication device with high speed and high accuracy, and is useful as a personal authentication device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

システム運用性が高く、高速で高精度の生体認証装置を実現する。生体１の特徴を用いて個人を認証する生体認証装置であって、生体を撮影する撮像装置９と、撮像装置９によって撮影された画像を処理して生体の生体特徴を抽出し、生体特徴の類似度を比較して認証を行う認証処理部１０を備え、認証処理部１０は、画像に映る生体の輝度値の時間的変化を獲得し、かつ画像に撮影された生体のテクスチャ特徴を抽出し、これら輝度値の時間的変化およびテクスチャ特徴に基づき生体が真の生体であることを判定する生体判定部を有する。

Description

生体認証装置
本発明は、生体情報を用いて個人を認証する認証システムに関し、特に生体情報の偽造耐性と秘匿性とに優れ、高速で高精度な認証技術に関する。
　様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用するため優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。
　近年では、携帯電話機、ノート型ＰＣ（Personal Computer）、スマートフォンやタブレット端末などの携帯端末、ロッカー、金庫、プリンターなどの機器に生体認証装置を搭載し、各機器のセキュリティを確保する事例が増加している。また、生体認証が適用される分野として、入退室管理、勤怠管理、コンピュータへのログインなどがあるが、近年では決済やイベント会場での本人確認などにも生体認証システムが導入されてきている。将来的には、たとえば自宅でイベントのチケット購入を行う際に生体認証を実施し、インターネットを介して登録データをサーバに転送し、会場で手ぶらのまま本人確認を行う場面も想定される。
　このように、生体認証装置の利用シーンが多様化すると、認証システムの信頼性を高く維持すること、特に登録データの安全な管理や正しいデータの登録を保証することが従来以上に重要になると考えられる。たとえば個人のスマートデバイスを利用して本人確認を行う場面においては、一般的なオフィス向けの入退室管理システムとは異なり、生体の登録作業を認証システムの管理者が実施することはできず、代わりに利用者自身で登録作業を行う必要がある。このとき、利用者が異物あるいは偽造された生体を不正に登録したり、部外者が不正に登録データを傍受・改ざんしたりすることを防止する必要がある。そのため、提示された生体が真の生体であることを判定する技術、そして秘匿性・耐改ざん性の高い生体情報の登録管理を実現する技術が望まれている。また、登録端末と認証端末とがネットを介して連携したり、異なる認証システム同士が連携したりする場合は、多数の認証端末が認証サーバ内の登録データにアクセスすることになる。そのため、登録データを安全に公開可能な情報に変換するデータ保護技術の適用が必須となる。
　生体認証システムに対する攻撃回避およびデータ保護の先行技術には、提示された顔画像が偽造であるか否かを判定する技術として非特許文献１が、また登録した生体情報を安全に公開する技術として特許文献２がある。
特許公開2015-226323号公報
　入力される生体情報の信頼性を高め、かつ生体情報の秘匿性を維持しながら実用性の高い認証処理を実施するためには、提示された被写体が真の生体であることを判定する技術と、暗号化された生体情報を高速かつ高精度に照合する技術とが必要となる。
　非特許文献１に記載の生体認証技術では、カメラで撮影された顔が実物の顔であるか印刷された顔であるかを判別するために、顔画像の局所テクスチャ特徴であるLBP (Local Binary Pattern) 特徴量を抽出し、このヒストグラムをSVM (Support Vector Machine) で学習することで、実物の顔か印刷された顔画像かを判別している。しかしながら、攻撃対象を紙への印刷に限定しており、それ以外の脅威への対応が可能かどうかの示唆はなされていない。また、指先を用いた生体認証の偽造検知に特化した技術開示はなされていない。
　特許文献２に記載の生体認証技術では、誤り訂正符号に基づいたプライバシーを保護する生体認証に関する技術の記載があるが、秘匿された生体の特徴量を高速かつ高精度に照合するための技術開示はない。
　そこで本発明では、様々な場面で利用できる信頼性の高い認証システムと、高速かつ高精度な生体認証を実現するべく、提示された被写体が真の生体であることを高精度に判別すると共に、生体情報を秘匿しながらも高速かつ高精度に照合することが可能な生体認証装置を実現することを目的とする。
　上記の目的を達成するため、本発明においては、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像に映る生体の輝度値の時間的変化を獲得し、画像に撮影された生体のテクスチャ特徴を抽出し、輝度値の時間的変化およびテクスチャ特徴に基づき、生体が真の生体であることを判定する生体判定部を有する構成の生体認証装置を提供する。
　また、上記の目的を達成するため、本発明においては、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像に映る生体が真の生体であることを判定する、判定基準の異なる複数の生体判定部と、画像から生体の生体特徴を抽出する特徴抽出部と、生体特徴の類似度を比較する照合部と、を有し、複数の生体判定部が、生体が真の生体であることを判定した場合、特徴抽出部は生体の生体特徴を抽出し、照合部が抽出された生体特徴と登録データの類似度を比較する構成の生体認証装置を提供する。
　更に、上記の目的を達成するため、本発明においては、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像から生体の生体特徴を抽出する特徴抽出部と、抽出した生体特徴を、互いに独立な生体特徴量で構成された位置補正特徴量と照合特徴量に分割し、位置補正特徴量によって生体の位置ずれ量を得、位置ずれ量を用いて照合特徴量によって生体特徴と登録データとの類似度を比較する照合部とを備える構成の生体認証装置を提供する。
　本発明によれば、生体認証装置に入力される生体が実際の生体であることを検知できる。
実施例１に係る、生体認証システムの全体の構成を示す図である。 実施例１に係る、生体認証システムの装置構成を説明する図である。 実施例１に係る、脈拍検出の処理フローの一例を示す図である。 実施例１に係る、指先領域を検出する一手法の説明図である。 実施例１に係る、脈動信号から脈拍検出を行う一手法の説明図である。 実施例１に係る、異物判定を行う概略処理フローの一例を示す図である。 実施例１に係る、画像の局所テクスチャ特徴を抽出する一手法の説明図である。 実施例１に係る、画像の局所テクスチャ特徴からテクスチャ特徴のヒストグラムを獲得する一手法の説明図である。 実施例１に係る、テクスチャ特徴のヒストグラムから異物判定を行うための機械学習の学習と判定の処理フローの一例を示す図である。 実施例１に係る、手指領域と背景領域とを分類するための局所的な色特徴量を抽出する一手法の説明図である。 実施例２に係る、サーバで公開された登録データを用いた認証システムの説明図である。 実施例２に係る、安全に公開可能な生体特徴を用いた認証処理の処理フローの一例を示す図である。 実施例３に係る、赤外透過撮影に基づく指静脈認証装置の装置構成の一例を示す図である。
　本発明を実施するための形態である各種の実施例を図面に従い説明する。なお、本明細書において、生体特徴とは、指静脈や指紋、関節模様、更には皮膚模様、指輪郭、脂肪紋、指の長さの比率、指幅などの解剖学的に異なる生体の特徴を意味する。
　実施例１は、指の血管を用いた生体認証システムの実施例である。すなわち、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を含み、認証処理部は、画像に映る生体の輝度値の時間的変化を獲得し、画像に撮影された生体のテクスチャ特徴を抽出し、輝度値の時間的変化およびテクスチャ特徴に基づき、生体が真の生体であることを判定する生体判定部を有する構成の生体認証システムの実施例である。
　図１は、本実施例の指の血管を用いた生体認証システムの全体の構成の一例を示す図である。尚、本実施例の構成はシステムとしてではなく、全てまたは一部の構成を筐体に搭載した装置としての構成としてもよいことは言うまでも無い。装置は、認証処理を含めた個人認証装置としても良いし、認証処理は装置外部で行い、血管画像の取得に特化した血管画像取得装置、血管画像抽出装置としてもよい。また、本構成はスマートフォンやタブレットに搭載の汎用カラーカメラを用いた血管画像取得装置とみなしてもよい。また、後述のように端末としての実施形態であってもよい。少なくとも、生体を撮影する撮像部と、撮影された画像を処理し、生体の認証を行う認証処理部を備える構成を生体認証装置と呼ぶ。
　図１に示す本実施例の生体認証システムは、撮像部である入力装置２、認証処理部１０、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８を含む。入力装置２は、その筐体に設置された光源３及び筐体内部に設置された撮像装置９を含む。
認証処理部１０は画像処理機能を備える。
　光源３は、例えば、ＬＥＤ（Light Emitting Diode）などの発光素子であり、入力装置２の上部に提示された指１に光を照射する。光源３は実施形態によって様々な波長が照射できるものであっても良く、また指１の上部に設置し、生体の透過光を照射できるものであっても良い。また、光源３が搭載されていない構成としても良い。撮像装置９は、入力装置２に提示された指１の画像を撮影する。撮像装置９はカラーカメラであってもよく、赤外カメラであってもよい。また被写体の距離が計測できる距離カメラを別途搭載してもよい。さらに、指１は複数本であっても良い。
  画像入力部１８は、入力装置２の撮像装置９で撮影された画像を取得し、取得した画像を認証処理部１０へ入力する。
　認証処理部１０は、中央処理部（ＣＰＵ：Central Processing Unit）１１、メモリ１２及び種々のインターフェイス（ＩＦ）１３を含む。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することによって入力された画像に対する画像処理、生体が真の生体であることを判定する生体判定、登録処理や認証処理の際に生体特徴を抽出する特徴抽出、生体特徴の類似度を比較する照合等の各種処理を行う。これらの各種処理については後で詳述する。機能メモリ１２は、ＣＰＵ１１によって実行されるプログラムを記憶する。また、メモリ１２は、画像入力部１８から入力された画像などを一時的に記憶する。
　インターフェイス１３は、認証処理部１０と外部の装置とを接続する。具体的には、インターフェイス１３は、入力装置２、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８などと接続する。
　記憶装置１４は、利用者の登録データなどを記憶する。登録データは、登録処理時に得られる利用者を照合するための情報であり、例えば、指静脈パターンなどの画像データである。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管である指静脈を暗い影のパターンとして撮像した画像である。
　表示部１５は、例えば、液晶ディスプレイであり、認証処理部１０から受信した情報を表示する出力装置である。入力部１６は、例えば、キーボードであり、利用者から入力された情報を認証処理部１０に送信する。スピーカ１７は、認証処理部１０から受信した情報を、例えば音声などの音響信号で発信する出力装置である。
　図２は、本実施例で説明する指の血管を用いた生体認証技術の登録処理と認証処理の概略フローの一例を示す図である。この登録処理と認証処理は、例えば上述した認証処理部１０のＣＰＵ１１が実行するプログラムによって実現される。
　初めに図２上段の登録処理の流れについて説明する。まず、認証処理部１０は利用者に指の提示を促すガイドを表示部１５に表示し、これに従って利用者が指をかざす（Ｓ２０１）。スマートデバイスを認証装置として利用する場合であれば利用者は空中に手指をかざし、指置き台が具備される装置であれば指置き台にかざすことになる。
　次に、認証処理部１０は、生体判定部で生体が真の生体であることを判定する生体判定処理を実行する。まず、かざされた生体である手指に対して脈拍検出を行う（Ｓ２０２）。手指の内部を流れる血液は、心拍に合せてその流量が変動する。血液中の組織であるヘモグロビンは光を吸収する特性があり、血流量が変動すると指全体の光の反射率および吸収率が変化する。そのため、生体である指を撮影すると脈拍と同期して赤外画像の輝度値あるいはカラー画像の各色における輝度値が変化し、その変化の大きさは各色によって異なる。一方、異物もしくは偽造指をかざした場合は脈拍に伴う輝度値の変化は見られない。すなわち、生体の輝度値の時間変化を獲得し、この時間的変化に基づき脈拍が検出できるかどうかによって、提示された被写体が本物の指であるか異物であるかを判別することができる。
　次に、生体判定部は、生体判定処理の続きとして、被写体のテクスチャ特徴を用いた本物の指（実指）、異物、偽造指の判定を行う（Ｓ２０３）。実指などの本物の生体と、生体ではない異物、偽造された生体、動画で撮影された生体などとは、撮影された画像の特性、特に細かいテクスチャの特徴が異なる。そこで実指や異物、偽造された生体や動画で撮影された指を予め大量に撮影しておき、画像のテクスチャ特徴にどのような差異があるかを機械学習によって学習させ、その情報に基づいて実物の生体か否かを判定する。すなわち、撮影された生体のテクスチャ特徴を抽出し、このテクスチャ特徴に基づき生体が真の生体であることを判定する。
　生体判定処理の最後に、上記の脈拍検出とテクスチャ特徴による異物判定とを総合した判定処理を行う（Ｓ２０４）。ここでは脈拍検出とテクスチャ特徴による異物判定の結果が共に本物の生体であると判定された場合に、入力された被写体が本物の生体であると判定する。入力された生体が真の生体であると判定された場合、認証処理部１０は、撮影された生体の画像に対して生体特徴を抽出する特徴抽出処理を行い（Ｓ２０５）、獲得した生体特徴を登録データとしてデータベースに登録する（Ｓ２０６）。そうでない場合は、登録に失敗して終了する（Ｓ２０７）。
　続いて図２下段の認証処理の流れについて説明する。まず、認証処理部１０は、表示部１５に利用者に指の提示を促すガイドを表示し、これに従って利用者が指をかざす（Ｓ２１１）。次に、生体が真の生体であることを判定する生体判定処理として、画像のテクスチャ特徴に基づく実指と異物・偽造指の判定を行う（Ｓ２１２）。そして、この結果から実指か否かを判定し（Ｓ２１３）、本物であると判定された場合は生体特徴を抽出する特徴抽出処理を実施し（Ｓ２１４）、類似度を比較する照合処理として、登録データとの照合処理を行い（Ｓ２１５）、最後に認証結果の判定を行う（Ｓ２１６）。もし実指判定で失敗した場合は、認証失敗（Ｓ２１７）として認証処理を終了する。
　上述の通り認証処理では、登録処理とは異なり脈拍検出は実施しない。これは、後述の通り脈拍検出は、輝度値変化を例えば５秒程度の一定時間計測する必要があり、一般的に計算時間が長く掛かるためである。そのため、本実施例の生体認証システムの認証処理では、生体が真の生体であることを判定する生体判定として、被写体のテクスチャ特徴による異物判定のみを実施することで、偽造耐性を低下させることなく認証処理時間を短縮する効果が得られる。
　本実施例の生体認証システムによると、登録の際には、指の提示を促すガイド表示と、脈拍検出と、テクスチャ特徴による異物検出とが実施されるため、利用者自身で登録作業が実施できると共に、不正な登録を棄却することができる。これにより登録者がオペレータとして登録作業を監督およびサポートすることなく登録処理が実施できるため、認証システムの運用性が高められる。
　図３は、図２の登録処理時の脈拍検出（Ｓ２０２）において、かざされた生体の脈拍を検出する処理フローの一実施例である。上述の通り、本実施例の登録処理では脈拍が正しく検出できることが、真の生体であるかどうかを判定するための必要条件のひとつとなる。図３に従って脈拍を検出する処理手順を説明する。
　まず、かざされた手指に対する手指領域を検出する（Ｓ３０１）。手指領域の検出方法は様々あるが、本実施例では、後で説明する方法で、画像中の各画素に注目し、その周辺画素との輝度差を色ごとに計算して獲得した特徴量に基づいて、画像中の各画素が手指領域か背景かを決定する。また、手指と背景の境界を手指領域の輪郭線として獲得しておく。
　次に、検出した指領域における指先領域部分を見つける指先領域の検出を行う（Ｓ３０２）。脈拍による輝度変化は、特に物理的に末端である指先部分で大きく観測され、S/Nの高い信号を獲得できる。そこで本実施例では、入力された手指画像から指先領域を検出し、その輝度変化を観測することで提示された指の脈拍をより高精度に検出する。
　ここで、Ｓ３０２における指先領域の検出方法の一実施例について述べる。まず、図４の（ａ）に示す通り、手指輪郭線６０の指先位置を検出する。指先６１は指の輪郭線６０が大きく曲がる部分であるため、曲線の屈曲している方向側の領域が手指内部領域６２であり、かつ輪郭線６０の曲率が一定値を超えており、かつ最も曲率が大きい位置、すなわち最も屈曲している位置を指先６１と判定する。
　続いて、同図の（ｂ）の指先６１の拡大図に示される通り、指先付近の輪郭線に対して直交する直線６３を複数本検出し、その直線が指内部領域６２を通る数の最も多い位置を検出して指先領域の中心の初期位置６４を獲得する。輪郭線に直交する多数の直線６３の交点を用いることで、曲率の高い指輪郭付近のおおよその中心位置を安定して検出できる。
　その後、同図の（ｃ）に示す通り、指先領域の中心の初期位置６４よりも指先６１に近い指輪郭線６０を構成する各画素と、指先領域の中心の初期位置６４との距離を複数算出し、各点からの距離の分散を算出し、最も分散が小さくなる指先領域の中心６５を検出する。その方法は、中心の初期位置６４の左右上下方向に微小に移動したときの分散の変化量に基づき、最急降下法によって反復的に探索するなどで実施できる。これにより、指先領域の中心６５を、指輪郭付近の輪郭線から概ね均等な位置に設定することができる。続いて、獲得した指先領域の中心６５を中心点とし、指領域からはみ出さない最大半径の円を求め、これを指先領域６６と定義する。以上の処理により、指先領域を得ることができる。
　なお、指先領域の他の決定方法として、上述の手法で指先を検出した後、指先を通るように指の中心軸を獲得し、指先から指の中心軸上の一定距離までの間にある指領域を指先領域として獲得しても良く、また指関節模様を検出し、指先から指関節模様に囲まれる領域を指先領域と定義しても良い。本手法によると、輪郭線が最も屈曲している位置を指先として検出した際の結果には複数の候補が出やすいため安定検出が難しい。
　それに対し、上述した本実施例の指先領域の中心を求める方法は、指先位置の検出結果だけでなく、多数の直交する線の情報を手掛かりに指先領域が決定されるため、輪郭線の１点を求める指先検出に比べて安定性の高い検出が可能となる利点がある。また、上記の円領域の定義によって、指の拡大率に時間的な変動が生じても常に同じ位置、同じ面積の領域を検出できる。
　次に、図３のフローにおいて、検出した指先領域内部の輝度値により、指先領域の脈動信号を検出する（Ｓ３０３）。ここで、本実施例の脈動信号の検出方法について述べる。ここでは、撮像装置９がカラーカメラである場合の実施例について説明する。まず、赤（Ｒ）／緑（Ｇ）／青（Ｂ）の３色の輝度値について、それぞれ上記で求めた指先領域内部の平均値を求める。次に、それぞれの平均値と、各色の平均値の差分として、Ｒ－ＢとＲ－Ｇの値を獲得する。最後に、Ｒの平均輝度と、Ｒ－ＢおよびＲ－Ｇの差分信号を合計した結果を獲得する。この手法は、血流量が変動する際の輝度値の変化量は色によって異なること、そして外乱光などによる画像ノイズ成分は各色で同時に影響を受ける傾向にあるという事実を利用している。
　すなわち、差分信号を算出すると脈動成分が残されるが、ノイズ成分は差分によって除去されるため、脈動成分のみが獲得できる。たとえば、血液量の変動に伴う赤（Ｒ）の輝度の変化量は青（Ｂ）の変化量よりも大きいため、Ｒ－Ｂの差分信号にも脈動が見られる。このとき、たとえば外光の影響によって赤（Ｒ）と青（Ｂ）に同時に類似するノイズが乗ると、差分計算によりノイズ成分のみがキャンセルされる。このように、差分信号を利用することでノイズに強い脈動信号を獲得することが可能となる。
　なお、指が移動している場合は上述の脈動信号の検出が不安定になるため、指を静止するようにガイダンスしたり、指の移動中は脈拍検出そのものをスキップするなどの対応を行ってもよい。すなわち、認識処理部１０は、カラーカメラなどの撮像装置９の出力信号を用いて指の移動の検出を行い、指の移動中は、脈拍検出を開始しない、或いは脈拍検出を中断するよう制御することができる。
　また、指が完全に静止していることを前提にできる場合、脈動信号は次のように獲得しても良い。まず、指先領域の各画素について、時間的に連続する２つのフレームでの同一位置にある画素の輝度値の差分を算出する。次に、各画素の輝度差分が正か負かを求める。次に、正と判定された画素数と負と判定された画素数との差を、正負に変動した画素数の合計で除算し、これを脈動信号として獲得する。この手法によると、明から暗、もしくは暗から明へと同時に変化した画素数を信号として取り出しているため、血流量の変化がない状態では画像ノイズの影響を受けて正および負への変化を生じる画素数はほぼ同数となるため、当該脈動信号はゼロ付近を推移するが、血液が瞬時的に流れたときに多くの画素の輝度差分は正の値へ変化する。これにより、脈動信号のＳ／Ｎを高める効果がある。
　次に、図３のフローにおいて、検出した脈動信号の周期性を判定する（Ｓ３０４）。図５に示すように、実際の指を提示すると脈拍信号強度を示す脈動信号５０には周期的にピークが出現する。これを検出するために、まず、脈動信号５０に対して時間微分５１を算出する。血液量が増大したときに脈動信号が正の方向に大きくなると定義した場合、血流量の流入が生じる部分では時間微分の値が正の方向に大きくなり、血流の流出の状態では負の方向に変化し、また血流の変化がない部分ではゼロとなる。ここで、時間微分５１の値がある閾値を超えたことを判定して脈動とする。閾値を超えていない場合はノイズとみなして周期のカウントを実施しない。
　図５の例示においては、脈動#5と#6との間にも僅かな脈動信号が見られるが、時間微分５１が閾値を超えていないため脈動としてカウントされていない。最後に、これを時系列に実施し、前回周期的なピークを検出した時間と今回のピーク検出との時間間隔を獲得し、これを現時点での脈動信号の周期とする。
　最後に、脈動信号の脈拍らしさの判定を行う（Ｓ３０５）。まず、脈動信号の周期の妥当性を判定する。ここでは、現在検出されている脈動信号の周期が、予め設定した時間の範囲内にあるかを判定し、範囲内であれば脈動回数のカウント値を一つ増やし、範囲内でない場合は生体に起因する脈動ではないものと判断し、脈動回数のカウント値を一つ減らす。ただしこのカウント値の初期値はゼロであるとする。図５の最下段にカウント値を示した。なお、上述した脈動信号の周期に関する予め設定した時間の範囲は、一般的な人間の脈拍の正常範囲、たとえば脈拍が１分間で４０回から１２０回の範囲が正常と定義した時、その時間範囲は０．５秒から１．５秒の間、と決定することができる。
　次に、脈動回数を連続して計測し、脈拍であるかどうかを判定する。連続的に脈動回数のカウントを行い、その値がたとえば５回となったとき、この脈動信号が生体に起因する信頼性の高い脈拍であるとみなせる。図５の例では、途中で周期が上記の正常範囲から外れるため、該当箇所でカウント値が減らされている。続いて、脈動のカウント値が一定の閾値を超えたかどうか、すなわち脈拍らしさが高いかを判定し（Ｓ３０６）、そうであれば脈拍検出成功とする（Ｓ３０７）。一方、一定時間以内に脈拍検出が成功しない、すなわちあらかじめ設定したタイムアウト時間を過ぎた場合、脈拍検出失敗となる（Ｓ３０８）。なお、脈動信号のピーク値の周期性の検出は、FFT (First Fourier Transform) やMUSIC法 (Multiple Signal Classification) などの周波数解析に基づいて実施しても良い。
　また、外光などの瞬きが脈拍と誤って判定されないよう、たとえばＲ／Ｇ／Ｂのカラー画像を３枚の画像とみなし、独立成分分析（Independent Component Analysis, ICA) などの手法によって独立的に変動した信号成分から脈動信号を獲得することも可能である。
　図６は、図２のＳ２０３、Ｓ２１２で説明した画像のテクスチャ特徴に基づく実指、異物、偽造指判定の処理フローの一例を示す。上述の手法の登録処理で脈拍が観測できた場合であっても、必ずしも撮影されているものが本物の生体であるという訳ではない。そこで、本実施例の構成の登録処理においては、異物検出の精度をより高めるため、画像のテクスチャ特徴により実指、異物、偽造指かどうかを判定する処理を併用する。
　はじめに、画像のテクスチャ特徴として、上述の手法で獲得した手指内部領域におけるLBP特徴量を獲得する（Ｓ６０１）。なお、LBP特徴量を抽出する領域は、手指内部領域全体であってもよく、処理の高速化および安定化のため、認証用の特徴量を抽出する領域に限定してもよい。本実施例では、テクスチャ特徴として一般的に知られているLBP (Local Binary Pattern) に基づくテクスチャ特徴量を用いる。LBPとは、注目している画素とその近傍の画素の輝度値の大小をコード化した情報である。
　最も基本的なLBPの獲得方法は、図７の（ａ）に示す通り、注目画素とその8近傍画素１２０との輝度値の大小をコード化するものであり、具体的には以下の方法で獲得する。まず、注目画素とその左上の近傍画素の輝度値を比較し、注目画素の輝度値の方が大きい場合は０、同じか小さい場合は１を与える。次に注目画素とその真上の近傍画素とを比較して同様に０または１を与える。次に注目画素とその右上の近傍画素とを比較して同様に０または１を与える。このように、左上の近傍画素から開始して時計回りに注目画素との比較を行うと、８個の０または１の値が得られる。０または１のコードを得られた順に上位ビットから下位ビットへ並べると、１つの注目画素に対して8ビットの数値が得られる。これが注目画素に対する基本的なLBPコード１２１である。
　図７の（ａ）の例では、２進数表示で(01010011)2、１０進数では８３という値が得られている。LBPの値を獲得すると、注目画素の近傍がどのようなテクスチャであるかを大まかに推定できる。たとえばLBPが０、すなわち2進数表示で(00000000)2となる場合、注目画素はその8近傍すべての画素よりも輝度値が高いことを表しており、すなわち注目画素の位置に明るい輝点が観測されていることを意味する。同様に、左から右に向かって輝度値が低下する場合や斜め右上から斜め左下に向かって輝度値が低下する場合など、最大で256パターンのテクスチャ情報を表現することができる。
　上述の基本的なLBPは、左上の画素から時計回りにコード化したものであるため、画像が回転した場合は異なる結果となる。これを解決するため、上述のLBPを拡張し、回転不変LBPを獲得することもできる。回転不変LBPは、8近傍すべての画素から時計回りに8通りのコード化を行い、これが最小値となるLBPコードを獲得したものである。図７の（ｂ）に例示した上段と下段の画素値１２０は、下段の画像が上段に対して右回りに９０度回転したものである。基本的なLBPは左上の位置から順にコード化するため、回転した画像に対する結果は上下段で異なるが、一方でコード化した結果が最小となる位置からコード化を行うと、回転した画像に対して同じコードが得られる。これが回転不変LBP１２２である。
　しかしながら、回転不変LBPであっても被写体の拡大率が異なるとコード化の結果も異なる。そこで図７の（ｃ）に示す通り、注目画素に対する８近傍画素（距離１、図中P1と記載の画素）との比較だけではなく、距離２だけ離れた位置の円周上の８点（図中P2）、および距離４だけ離れた位置の円周上の８点（図示省略）についても比較を行い、８ビットのコードを３通り獲得する。このように得たLBPをここでは拡大回転不変LBPと呼ぶ。本実施例では、この拡大回転不変LBPを獲得し、異物判定に利用するものとする。なお、上述の距離の値と獲得するコード数は、上記では利用しなかった距離３だけ離れた位置の円周上の８点（図中P3）を使ったり、判別精度が最大になるように設定したり、処理速度が高速になるように設定したりするなど、任意に設定することができる。
　次に、図６のフローにおいて、LBPヒストグラムを獲得する（Ｓ６０２）。上述の通り抽出した拡大回転不変LBPは、注目したある１画素に対して計算されるが、画像に映る指領域部分は多数の画素で構成されるため、１枚の指画像から多数のLBPを抽出することができる。複数のLBPを判定に用いることで信頼性の高い特徴量を獲得できるが、その１手法として本実施例ではLBPの正規化ヒストグラムを作成する。正規化ヒストグラムとは、獲得したLBPの値が算出した画素数のうち何回発生したかを保持する頻度分布であり、また指内部領域の面積によってLBPを算出する画素数が異なることから、全画素数を1に正規化したとき、各LBPの値が全体のどれだけの比率で出現したかという値に換算したものである。
　本実施例における拡大回転不変LBPは３つの８ビットコードで構成されるため、各コードの取り得る値は０から２５５の２５６通りであり、図８に示す通り、各コードの値に対するヒストグラムは２５６次元となる。ここでは、注目画素からの３通りの距離についてLBP1、LBP2、LBP4を求めているため、３つそれぞれに対して２５６次元のヒストグラムが獲得できる。ここでは距離iから獲得した拡大回転不変LBPのヒストグラムを、HLBPiと表している。本実施例では、HLBP1とHLBP2とHLBP4をそれぞれヒストグラム化したものを順番に並べて７６８次元のヒストグラムとする。図８ではこのLBPヒストグラムをHLBP1,2,4と示している。
　図６のフローの最後に、上述のヒストグラムより実指・異物・偽造指判定を行う（Ｓ６０３）。獲得したヒストグラムの分布には、細かいごま塩ノイズや滑らかな輝度変化の有無などに応じて、特定の次元の頻度が高いなどの特徴が見られる。すなわち、ヒストグラムによって異物か実際の指であるかを判定することができる。ヒストグラム特徴より本物の指か異物・偽造指であるかの判定方法の一例としては、多数の本物の指画像と異物・偽造指画像とを集め、ヒストグラム特徴量から本物の指か否かを高精度に判定するため、機械学習によって判別用のパラメータを獲得し、得られた判定用パラメータを用いて判定する方法がある。本実施例では、機械学習の一つであるランダムフォレストに基づく手法を例示して説明する。
　図９は、拡大回転不変LBPとランダムフォレストに基づくパラメータ学習を行う学習処理フローと、判定処理フローの一実施例である。初めに図９上段に示す学習処理フローについて説明する。まず、様々な異物を撮影した画像データベースと、多数の実物の指を撮影した画像データベースとを用意する（Ｓ９０１）。このとき、すべての画像に対してその被写体が異物であるか実物の指であるかを識別するためのラベルを付与しておく。
　次に、用意された全画像データより、指領域を検出し、指領域内の上述したテクスチャ特徴であるヒストグラム特徴量を抽出する（Ｓ９０２）。すなわち、指の領域であると判定された画素に対し、上述の通り拡大回転不変LBPを抽出し、全画素の情報を７６８次元のヒストグラムに変換する。
　次に、画像より抽出したテクスチャのヒストグラム特徴量を学習データとしてランダムフォレストに入力して学習する（Ｓ９０３）。ランダムフォレストは、複数の決定木によって入力を特定のクラスに分類するための分類器であり、各決定木で得られた分類結果に対する多数決あるいは重み付け評価値によって最終的な分類結果を獲得する。各決定木においては、画像から抽出された特徴量のうち特定の次元の値の大きさにより入力データを２分木の左右のノードどちらかに振り分けてその子ノードに移動し、同様にまた別の特定の次元の値の大きさに応じて左右に振り分けていき、最終的に葉ノードに到達した時の分類結果をその入力の分類結果とみなす。このとき、木の各ノードに対しては、どの次元を選択するか、そしてその次元の値に応じて左右に振り分ける閾値をどの値にするか、について、最も分類結果の正解率が高くなるように決定する必要がある。ランダムフォレストの学習フェーズではこれらのパラメータが乱数によって決定されるが、一般的な手法であるため詳細は割愛する。
　その後、学習結果を十分に収束させるため反復して学習を行わせるが、その回数が所定回数を満たしているかを判定する（Ｓ９０４）。所定回数だけ学習を反復させ終えた場合は、学習結果として得られたパラメータを判定処理向けのランダムフォレストの最終結果として確定し（Ｓ９０５）、学習処理を終了する。
　次に、図９下段に示す判定処理フローについて説明する。まず、入力された未知の画像より指の領域を検出し、指領域内のテクスチャのヒストグラム特徴量である拡大回転不変LBPヒストグラムを抽出する（Ｓ９１１）。続いて判定用ランダムフォレストの各決定木に、上述の未知の入力画像のテクスチャのヒストグラム特徴量を入力し（Ｓ９１２）、その判定結果を獲得する（Ｓ９１３）。テクスチャ特徴が実物の指に類似する場合は実物の指であると判定され、異物に類似する場合は異物と判定される。以上の判定処理フローの通り、テクスチャ特徴に基づいて本物の指かどうかを判定できる。
　また、本実施例のランダムフォレストを使った実指判定において、ランダムフォレストを多段に構成して異物判定を実施することで、さらに高精度な実指判定が実現できる。すなわち、本実施例の生体認証システムを、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像に映る生体が真の生体であることを判定する、判定基準の異なる複数の生体判定部と、画像から生体の生体特徴を抽出する特徴抽出部と、生体特徴の類似度を比較する照合部と、を有し、複数の生体判定部が、生体が真の生体であることを判定した場合、特徴抽出部は生体の生体特徴を抽出し、照合部が抽出された生体特徴と登録データの類似度を比較して認証する構成とする。
　図２を用いて説明したように、本実施例における認証処理では脈拍検出を実施せず、テクスチャ特徴による異物・偽造検知だけを実施している。そのため、脈拍検出があれば正しく棄却できたはずの異物や偽造指が誤って入力されてしまう頻度が高まる可能性がある。そこで、認証処理における実指判定において、テクスチャ特徴のヒストグラム特徴量から機械学習により判定用パラメータを獲得して判定を行う生体判定部は、機械学習に多段に接続したランダムフォレストを用い、その１つを脈拍検出であれば正しく棄却できる異物や偽造指を含むデータセットに特化して学習させる。
　これにより、そのランダムフォレストが脈拍検出に近い判定結果を出力する、すなわち、多段構成の生体判定部であるランダムフォレストの１段が脈拍検出の代替として機能することになる。従って、脈拍検出を実施しない認証処理においても、異物の受理エラーを低減することができる。さらには、脈拍検出で正しく棄却できない異物を棄却することに特化したランダムフォレストを構築することで、脈拍検出で棄却できなかった異物等がこのランダムフォレストで正しく棄却できるようになり、登録の際の全体的な異物検知精度を更に向上することも可能となる。以下、生体判定部であるランダムフォレストを例えば３段などの多段にする構成の一具体例について説明する。
　まず、脈拍検出で実物の指と判定されてしまう傾向のある多数の異物の画像データベースと、多数の実物の指の画像データベースを用いて、１段目のランダムフォレストを学習しておく。本明細書では、これを脈動異物チェック用ランダムフォレストと呼ぶ。この脈動異物チェック用ランダムフォレストは、脈拍検出で実物の指と誤判定される傾向のある異物と、実物の指とを高精度に判別することができるため、脈拍検出のエラーを補完できる。次に、一般的な多数の異物の画像データベースと多数の実物の指の画像データベースとを用いて、２段目のランダムフォレストを学習する。本明細書では、これを通常異物チェック用ランダムフォレストと呼ぶ。この通常異物チェック用ランダムフォレストは、広く一般的な異物と実物の指とを平均的な精度で判別することができる。
　最後に、動画で撮影された多数の指の画像データベースと多数の実物の指の画像データベースとを用いて、３段目のランダムフォレストを学習する。ここでは、これを動画指チェック用ランダムフォレストと呼ぶ。この動画指チェック用ランダムフォレストでは、動画で撮影された指の映像が提示されるという攻撃に対して高精度に棄却することができる。このように３段のランダムフォレストを作成しておく。
　判定処理においては、まず入力された被写体の手指領域内のLBPヒストグラムを獲得し、まず１段目の脈動異物チェック用ランダムフォレストによって異物かどうかを判定する。ここで実物の指と判定されると、次に２段目の通常異物チェック用ランダムフォレストによって異物かどうかを判定する。同様に、ここでも実物の指と判定されると、最後に３段目の動画指チェック用ランダムフォレストによって異物かどうかを判定する。ここで実物の指と判定されると、多段ランダムフォレストのすべての判定で実物の指と判定されることになり、真に実物の指とみなす。いずれかのランダムフォレストで異物と判定された場合はその入力が異物であるとみなされ、認証処理が失敗する。
　以上の通り、元々の異物や偽造の特徴が把握できる場合は、複数の学習データによって複数のランダムフォレストを構築することで、異物の特徴に特化した、統合的に高精度な異物判定が実現できる。
　なお、上述の実施例では人為的にランダムフォレストを多段構成したが、機械学習の手法として知られているAdaBoostを代表するブースティング手法とランダムフォレストとを組み合わせて、自動的に多段学習をさせても良い。具体的には、多数の実指および異物の画像データの分類精度が高まるように、１段目のランダムフォレストで学習を行う。その結果、エラーとなった実指および異物が正しく分類できるよう、次段のランダムフォレストではそれらを重点的に学習する。これを多段に繰り返し、最終的にはすべてのランダムフォレストの結果を重み付けして判定を行う。これにより、多数のランダムフォレストが相補的に機能し、全体的なエラー率を低減できるようになる。
　また、上述の実施例では、LBPを画像の特徴量として選択したが、特徴量の抽出および異物の判定を機械学習によって実施しても良い。たとえば、深層学習として一般的に知られている畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）によって異物を判定することができる。この場合においても、上述の通り指の領域の内側に対して複数のフィルタを畳み込みながら、正解率が高まるようにフィルタの値とニューラルネットの結合係数とを反復的に学習させていく。これにより、異物と実物の指とを高精度に判別できる。
　また、テクスチャ特徴に基づく実指、異物、偽造指判定において、かざした生体が紙への印刷もしくは動画像の映像であるかどうかの判定は、以下の方法で実施できる。まず、手指領域を任意の方法で検出し、次に認証処理部１０は、生体認証装置に付属している反射光源を点滅させるよう制御する。このとき、実際の生体を提示したものであれば、手指領域内だけが点滅し、背景領域は点滅しない。しかしながら、紙への印刷もしくは動画を提示した場合は紙もしくはスクリーンが平坦であることから、手指領域と背景領域とが同時に点滅する。このテクスチャ特徴を利用し光源を点滅することで、動画像の提示であることは判別可能となる。なお、認証装置がスマートデバイスであれば、反射光源の代わりに付属のフラッシュライト、もしくは液晶ディスプレイの点滅でもよい。
　また、光源の照射方向が制御できるのであれば、複数の方向から順次被写体を照射し、そのときの影の変化をテクスチャ特徴として検出することでも実施可能である。影の変化が見られない場合は異物であるとみなす。また、光源の色が制御できるのであれば、色ごとの反射率が指特有のものであるかどうかを判定して実指かどうかを判定しても良い。また、認証処理部１０は、スピーカ１７などを使用して、登録および認証の操作の前に特定の指の曲げ伸ばしや指のジェスチャーを要求し、実施できない場合は異物と判定しても良い。
　なお、上述の脈拍検出処理およびテクスチャ特徴による異物検知処理では、手指の内部領域と外部領域とを正確に分離することが必要となる。さらには、この手指領域の検出は、認証処理を高精度に実施するためにも重要な処理である。特に、スマートデバイスの汎用カラーカメラで撮影した生体は、その背景に様々な被写体が映り込むため、高精度な背景分離技術が必要となる。ここではその実施例として、各画素とその周辺画素との輝度差を色ごとに計算して獲得した特徴量と、ランダムフォレストとを用いた手指領域の検出手法について説明する。
　まず、ある注目画素から距離Ｄ画素の８近傍について、赤プレーンの注目画素１８０、プレーンの注目画素１８２、青プレーンの注目画素１８４の３色に対し、赤プレーンの近傍画素１８１、緑プレーンの近傍画素１８３、青プレーンの近傍画素１８５の３色の組み合わせで差分を求める。これにより、９×８＝７２次元の特徴が得られる。図１０に示すP0r、P0g、P0b、はそれぞれＲ、Ｇ、Ｂの３色の注目画素であり、同様に、PDr、PDg、PDbはそれぞれＲ、Ｇ、Ｂの３色の距離Ｄの近傍画素である。色差分の例としては、たとえば赤プレーンの注目画素１８０と緑プレーンの近傍画素１８３との差はP0r-PDgであり、またPDgは８通りあるため、８通りのP0r-PDgが得られ、合計で７２の値が得られることになる。
　さらに距離ＤをＮ通りに変えることで、７２Ｎ次元の特徴となる。かつ注目画素のＲ／Ｇ／Ｂの３色の輝度値そのものを３次元の特徴として含めると、１画素につき７２Ｎ＋３次元の特徴が得られる。これを上述のランダムフォレストでテクスチャ特徴の解析を行った手法と同様に、手指領域と背景領域との正解がラベリングされた多数の手指画像を用意し、背景画素と手指領域ない画素とを正しく正解できるようにランダムフォレストのパラメータを学習する。これにより、任意の手指画像が入力された際に、各画素で上述の色特徴を獲得し、画素ごとに背景か手指領域かを判定すると、手指領域の部分のみを取り出すことができる。なお、判定エラーによって不自然な手指領域部分が現れることがあるが、これはモルフォロジーにおける膨張収縮処理などで滑らかな領域に加工しても良い。また、元画像を小さく縮小した状態で手指領域の学習と判定を行い、最終結果を元のサイズに拡大することで処理を高速化することができる。
　また、学習データのラベリングとして、人差指や中指などの指の種類や、基節、中節、末節などの関節部位ごとにラベルを付与しておき、それぞれを詳細に判定してもよい。さらには、じゃんけんのグーやチョキやパーなどの様々な手指のポーズごとに学習データを用意し、その結果、指の姿勢を学習することもできる。これにより、指のジェスチャー判定が実現でき、たとえば異物・偽造検知に利用したり、あるいは認証情報として活用し、認証精度を向上させたり、大量の登録データの中から利用者のデータを絞り込むために活用することで照合処理を高速化することも可能となる。
　上述した指のジェスチャー判定を利用した認証システムの実施例を以下に示す。たとえばスマートフォンを用いてインターネットバンキングの各種サービスを利用する場合、従来では口座番号や契約者番号などの個人IDに加え、暗証番号あるいはワンタイムパスワード等を用いてログインした後、「残高照会」や「振込み」などの各種サービスを示すボタンを押下するなど、目的のサービスを利用するまでの操作が煩雑であった。一方、指のジェスチャー判定と指に基づく生体認証とを組み合わせた場合、たとえば「残高照会」を実施する場合には、指によるじゃんけんのチョキのポーズを、「振込み」の場合はパーのポーズをスマホのカメラにかざすことを予め決めておき、もし観測されたジェスチャーがチョキであれば、ジェスチャーの形状とその指の生体特徴とを利用することで、ログインおよび「残高照会」へのモード遷移とを同時かつ自動的に実施する。同様に、利用者がパーを提示した場合は、ログインおよび「振込み」へのモード遷移を実施する。
　このように、本実施例の構成によって、様々な業務システムの各種機能の切り替えと本人確認を同時に実施することができるため、従来のような煩雑な操作を行うことなく、かつ確実に本人確認が行われた上で各種サービスを利用することが可能となる。なお、指を伸ばしてかざす本数が多いほど生体特徴がより多く観察できることから、より強固なセキュリティが必要となるサービスに対しては指を伸ばしてかざす本数の多いジェスチャーを割り当てることで、セキュリティ強度を高めることが可能となる。
　また、認証システムがランダムに指のジェスチャーを決定し、その指示通りに指をかざすことを利用者に要求することで、かざされた指の異物・偽造チェックを行うことができる。一般的な異物・偽造生体としては、たとえば日用品をかざしたり紙に印刷された生体をかざしたりするものが知られているが、このような異物や偽造指をかざす場合、その場で指定された指のジェスチャーを模倣することは容易ではない。そのため、指定されたジェスチャーを行うという行為そのものが生体の手指をかざしている証拠となり、異物や偽造を排除する可能性を高められる。さらには複数のジェスチャーを提示させたり、あるいはそのときのジェスチャーの時間的変化を動画的に確認したりしてもよい。これにより、特に静止している被写体をかざした場合の攻撃に対して異物・偽造の判定精度を高められる。
　また、多数の利用者の生体情報が登録されているサーバ認証装置において、個人IDを入力せずに生体情報だけで認証を行ういわゆる１：Ｎ認証を実施する場合、指のジェスチャーを利用することで多数の生体データベースの中からそのジェスチャーを行って登録されたデータに限定することが可能となる。そのため、認証処理が高速化されると共に、照合対象数の低減によって他人受入率も改善できる。また、複数のジェスチャーを連続的に示すことで登録データを更に限定してもよい。この場合、生体情報が複数回提示されるため登録データとの一致率が高まると共に、提示するジェスチャーの形状と順序そのものがパスワードとして機能することになるため、パスワードと生体の多要素認証が手指の動作だけで実現できる。よって利便性も高まり、かつ認証精度を飛躍的に向上させることができる。
　本実施例によれば、入力される生体が実際の生体であることを検知でき、また利用者自身で登録作業ができる運用性の高い、高精度の認証システムを提供することができる。
　実施例２は、安全に公開することのできる生体情報を用いた認証システムの実施例である。図１１は、実施例２の認証システムの一構成例を示し、利用者２００の所有するスマートフォン２０１によってチケットの購入および生体情報の撮影と登録を実施すると、スマートフォンから認証サーバ２０２に購入済みのキーと共に暗号化された生体の登録データ２０４がネット回線２０５を介して転送される。このとき登録データ２０４はサーバ内のデータベース２０６に蓄積される。
　イベント会場での認証の際は、会場に設置された認証端末２０７に利用者が指１をかざすと、提示された生体情報から生成された暗号化された入力データ２０８が生成され、認証サーバ２０２に転送される。そして認証サーバ２０２では、暗号化された登録データ２０４が公開されており、これと暗号化された入力データ２０８との照合が行われ本人認証が実施される。認証が成功したと判定された場合は、イベント会場の認証端末２０７に認証成功の信号が届き、これに応じてたとえばゲートの扉が開くことで、利用者は会場内に入ることができる。なお、認証端末２０７は認証サーバ２０２から予め登録データをダウンロードしておき、認証端末２０７で照合による認証処理を実施しても良い。
　以上のように本実施例の構成ではネットワークを介して登録データを通信する必要があるが、データの漏えいを防止するためにはデータの保護が必須となる。このとき、テンプレートを公開しても安全であることを保証することで、データの漏えいや改ざんなどの脅威を無効化することが有効であり、たとえばPBI (Public Biometric Infrastructure) 技術によって安全にテンプレートを公開する。一般的なPBI技術では、暗号化したまま照合処理を実施するが、暗号化した状態での照合処理は通常の非暗号状態での照合処理に比べて処理時間が掛かる。特に、照合処理を位置不変ではない特徴量に基づくテンプレートマッチングによって実施する場合、比較するパターン同士の位置ずれを補正しながらパターンを比較するため、大きな位置ずれが想定される場合は位置の探索範囲が大きくなり、多くの比較回数が必要となる。
　そこで、本実施例の好適な構成の照合処理では、登録データを生体の位置補正情報と照合情報とに分け、位置補正情報から照合情報が推測されない情報を選択した上で、位置補正情報を非暗号状態で照合し、その結果から得られる位置ずれ量を利用し、照合情報を暗号化状態で高速に照合することにより、安全かつ高速な照合を実現する。すなわち、本実施例の生体認証システムでは、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像から生体の生体特徴を抽出する特徴抽出部と、抽出した生体特徴を、互いに独立な生体特徴量で構成された位置補正特徴量と照合特徴量に分割し、位置補正特徴量によって生体の位置ずれ量を得、位置ずれ量を用いて照合特徴量によって生体特徴と登録データとの類似度を比較する照合部とを備える。
　図１２は、PBIに対応する登録テンプレートを高速かつ高精度に照合する実施例２の認証処理フローの一例を示す図である。まず、生体の提示を促すガイダンスの表示を行い（Ｓ１２０１）、利用者がスマートフォンに複数の手指をかざすと、上述の実施例で詳述した異物検知を実施する（Ｓ１２０２）。なお、ここで上述した脈拍検出は実施すると良いが、認証する状況に応じて処理時間短縮のために脈拍検出は実施しない構成としても良い。
　異物検知処理でかざされた手指が真の生体かどうか判定し（Ｓ１２０３）、真の生体でない場合は手指をかざすよう促すガイダンスを改めて表示するが、真の生体と判定された場合は生体の特徴抽出を行う（Ｓ１２０４）。本実施例では、複数の手指から指静脈や指紋、関節模様などの生体特徴を抽出し、すべての指のすべての生体特徴を２値化あるいは多値化された特徴量に変換して特徴量レベルでパターンを融合し、テンプレートマッチングによって照合される情報として抽出する。ただし、PBIを実現する生体情報であれば、任意の特徴抽出手法およびデータ形式においても同様に実施可能である。
　次に、抽出した特徴量を事前に決定した基底特徴量の線形和に分解する（Ｓ１２０５）。ここで事前に決定した基底特徴量とは、各基底同士が独立した特徴量であり、本実施例では以下の方法により決定する。まず、事前に用意した多数の手指画像から生体の特徴量を抽出しておき、これらのデータに対して主成分分析 (Principle Component Analysis, PCA) を施してPCA基底特徴量(PCA基底)を抽出する。このとき、寄与率の高い上位M位の基底をM個獲得する。
　元の生体特徴量をf、PCA基底をxi、i番目のPCA基底に対する重みをaiとすると、PCA変換前の特徴量fは以下の式１の通りに線形和で表現される。なお、xiはPCAを行った際に得られる寄与率の高い順にiの昇順に並べられおり、特にx0は事前に用意した多数の生体特徴量の平均値となる。
　f = a0x0 + a1x1 + a2x2 + … + aKxK + aK+1xK+1 + … + aMxM　　　　（式１）

　続いて、M個のPCA基底xiに対し、独立成分分析 (Independent component analysis, ICA) によってM個のICA基底sjと混合行列Aとを獲得する。ここでM個のICA基底siを並べた行列をs、混合行列Aの第i行の行ベクトルをAiとすると、生体特徴量は次のように変換される。
　f = a0(A0s) + a1(A1s) + a2(A2s) + … + aM(AMs)　　　　　　　　（式２）

　定数項をbiとし、ICA基底siを用いて特徴量fを纏めると以下の通りとなる。なお式中のiはICA基底番号である。
　f = b0s0 + b1s1 + b2s2 + … + bisi + … + bMsM　　　　　　　　　（式３）

　ICA基底siは多数の生体特徴量から選ばれた独立性の高い成分であるため、i番目のICA基底の係数biから他のICA基底の係数bj(j≠i)を推測することは困難となる。
　次に、特徴量fを位置補正特徴量と照合特徴量とに分離する（Ｓ１２０６）。本実施例においては、M個の基底のうち任意のK個の基底を組み合わせて照合特徴量を構成し、残りの(M-K)個の基底によって位置補正特徴量を生成する。このとき、Kの値は1からM-1までを取る。すなわち、基底個数M、照合特徴量の基底個数K、そしてM個の基底からK個の基底を取り出す組み合わせ、が調整パラメータとなる。
　その後、多数の被験者から撮影した手指画像（同一被験者の画像も多数含む）を事前に用意し、これらの画像から特徴抽出を行い、上述の位置補正特徴と照合特徴とに分割し、後述する照合処理を全画像の総当たりで実施し、その結果で最も認証精度が高まるM、K、そしてM個からK個の基底を取り出す組み合わせ、を探す。そして、その結果から得られるICA基底の組み合わせで照合特徴量と位置特徴量とを構成する。定式化すると、次の式４および式５に示されるように元の特徴量fを位置補正特徴量fpと照合特徴量fmとに分割する。なお、添え字のpiとmiとはそれぞれ位置補正特徴量と照合特徴量におけるICA基底番号である。
　fp = bp0sp0 + bp1sp1 + … + bp(M-K)sp(M-K)　　　　　　　　　　　　（式４）
　fm = bm0sm0 + bm1sm1 + … + bmKsmK　　　　　　　　　　　　　　（式５）

　上述のように、位置補正特徴量fpと照合特徴量fmとはそれぞれ独立な基底から構成されているため、仮に位置補正特徴量fpを公開しても照合特徴量fmを推測することはできない。そのため、入力された特徴量と登録された特徴量の位置補正特徴量fpを、非暗号状態で高速に照合してパターンの位置ずれ量を獲得し、その結果を用いて同様に照合特徴量同士を暗号化した状態で照合すれば、安全かつ高速な照合が可能となる。また、仮に位置補正特徴量が悪用される場合があったとしても、上述のICA基底の組み合わせそのものを別の組み合わせに変更することでデータを無効化することもできる。これは、ICA基底の組み合わせそのものがデータ保護の鍵として利用できることを意味する。ただし、照合用特徴量fmは暗号化する必要があるため、任意の暗号方式によって暗号化し、公開しても安全な状態にしておく。
　以上説明した手順により、予めICA基底を基底特徴量として獲得しておけば、基底特徴量を定義することが可能となる。
　ここで、元の特徴量fを上述の通り算出したICA基底の線形和で表すための、重みbiの獲得方法について述べる。まず、上述の式１について、PCA基底xiは直交しているため、元の特徴量fとxiとの内積を取ることで変数aiが獲得できる。これをM個のiに対して実施すると、すべての変数aiが得られる。また、xi、sj、混合行列Aも事前に得られているため、aiとAよりbiを獲得することができる。よって、任意の生体情報fをfpおよびfmに変換すること、すなわち、任意の生体情報fに対する係数bpiおよびbmiを獲得することができる。
　次に、位置補正特徴および照合用特徴を照合可能な形式に変換する（Ｓ１２０７）。たとえば、元の生体情報fが3値の静脈テンプレート画像である場合、上記の通りに位置補正特徴量fpと照合特徴量fmとに変換すると、量子誤差によってこれらは多値画像に変換される。その場合は改めて閾値処理によって3値化パターンへの再変換を実施し、3値テンプレート画像になるよう補正する。他の形式であった場合でも、元の形式となるよう変換しておく。
　次に、登録と入力の位置補正特徴量を照合する（Ｓ１２０８）。位置補正特徴量同士のテンプレートを従来手法によって照合し、最も類似性が高くなる位置を探して位置ずれ量を得る。
　続いて、この位置ずれ量を利用して暗号化された照合用特徴量同士の照合を実施し、両特徴量の類似度を算出する（Ｓ１２０９）。基本的には復号することなく両特徴量の類似度を算出するが、明らかに安全である場合には復号して照合することもできる。最後に、両特徴量の類似度が認証閾値を超えて類似しているかどうかに基づき認証の可否を判定する（Ｓ１２１０）。閾値を超えて類似している場合は認証成功、それ以外で認証失敗と判定し、認証処理を終える。
　なお、データ保護の観点から位置補正特徴量同士の類似性を認証の判定に使うことは望ましくないが、実用上問題ないと判断できる場合は、位置補正特徴量同士の類似性も認証判定に利用することで、認証精度を向上することができる。
　以上説明した本実施例の手法により、PCAおよびICAを用いて獲得した基底の個数Mおよび位置補正特徴に利用する基底の個数Kを調整することで、位置補正特徴および照合特徴に使用する情報量をきめ細かく調整することができる。たとえば利用する生体特徴が元々位置ずれの生じにくいものであれば、Kを大きな値に調整して照合特徴に配分する情報量を大きくするなど、生体特徴の特性に合わせたバランス調整が可能となる。
　一般的には、静脈や指紋、関節模様など、解剖学的に異なる複数の生体特徴を画像から抽出し、生体特徴ごとに位置補正特徴と照合特徴とに分ける方法が最も簡単であると考えられる。しかしながらこの方式の課題は、通常抽出できる生体特徴のバリエーションは高々数個であり、位置補正特徴に用いる生体特徴の選択肢が少ないため十分な位置補正ができない可能性が生じる問題や、生体特徴の単位で位置補正用および照合用特徴に分ける必要があるため、どの生体特徴も位置補正だけに活用するにはオーバースペックとなる場合は余剰の情報量を照合情報として活用することができないなどの問題がある。さらには、各生体特徴が必ずしも独立な情報であるという保証がなく、位置補正特徴から照合特徴が推測される可能性もある。
　これらの課題に対し、本実施例の構成によれば、複数の生体特徴の全情報から、ICAに基づいて独立成分を獲得することにより、互いに独立した生体特徴で構成された位置補正特徴および照合特徴を柔軟に抽出してバランスを調整できる点、さらには数学的に独立な情報であることを前提としているため非暗号の位置補正特徴から照合用特徴を推測することが困難である点、があることにより前述の課題を解決でき、従来よりも安全で高精度な認証が実現できる。
　なお、上述した複数の生体特徴を更に増やし、静脈、指関節模様、指紋および皮膚模様、指輪郭、脂肪紋、指の長さの比率、指幅などを取り出し、これらの生体特徴の中から独立性の高い生体特徴を分類し、そのうちの一部を位置合わせに、残りを照合特徴として利用することができれば、生体特徴ごとに位置補正特徴と照合特徴に分ける方法を適用しても安全性および精度を向上することが可能となる。また、RGBの3枚のカラー画像に対してICAを施し、それぞれ独立な画像特徴を抽出しても良い。この場合、解剖学的に意味のある生体特徴が獲得できるとは限らないが、仮に解剖学的な複数の生体特徴の間に独立性が保障できないとしても、ICAに基づいて独立成分を獲得することにより数学的に独立性が保障されるため、より安全な生体特徴の分離が実現できる。
　本実施例によれば、入力される生体が実際の生体であることを検知でき、また生体情報を秘匿しながらも高速かつ高精度に照合することができ、データ秘匿性が高く、高速で高精度な生体認証システムを提供することができる。
　実施例３は、指の血管を用いた生体認証システムの他の構成の実施例である。図１３は、実施例３のシステムの全体の構成を示す図である。利用者は指１を入力装置２に具備された指置き台２４０に指の位置を合わせて提示する。天井部２４２に設置された光源３は赤外光源であり、指１に向けて赤外光を照射する。指１を透過した赤外光は開口部２４１を介して撮像装置９に到達する。撮像装置９は赤外カメラであり、指１の赤外透過光を撮影する。この映像には指静脈パターンが撮影されており、認証処理部や認証端末によって、この撮影された指静脈パターンに基づく生体認証が実施される。天井部２４２は外部の環境光が撮像装置９に入らないように遮光することができる。
　本装置構成において、実施例１および実施例２で説明した脈拍検出、異物検知を適用することにより、入力される生体情報の信頼性を高めることができる。その処理手順は図２および図３に示した方法が適用できる。
　本実施例の生体認証システムの構成においては、入力装置２の上部には天井部２４２が設置されているため、外光の影響が少なくでき、また指静脈パターンの撮影は赤外透過光に基づく方式であるため鮮明な映像を撮影できるため、特に脈拍検出における検出精度を高めることができる。
　脈拍検出を実施する際は、指１が移動しないよう、画像中の指の移動量を測定し、移動が検出された場合は指を動かさないように利用者にガイダンスを表示する。指１が静止されている間、光源３の光量は、上述の指先領域の画像の輝度値が白飛び（飽和）しない程度の明るさに調整したまま固定値で照射し続ける。これにより、血流量の変動に起因する画像の輝度変化をよりロバストに観測することが可能となる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　更に、上述した各構成、機能、認証処理部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。すなわち、認証処理部の全部または一部の機能は、プログラムに代え、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などの集積回路などにより実現してもよい。
　本発明は、利用者自身が登録作業を実施することのできる運用性の高い認証システムと、高速で高精度な生体認証装置とを提供することができ、個人認証装置として有用である。
１　指
２　入力装置
３　光源
９　カメラ
１０　認証処理部
１１　中央処理部
１２　メモリ
１３　インターフェイス
１４　記憶装置
１５　表示部
１６　入力部
１７　スピーカ
１８　画像入力部
５０　脈動信号
５１　時間微分
６０　手指輪郭線
６１　指先
６２　指内部領域
６３　指輪郭線に直交する直線
６４　指先領域の中心の初期位置
６５　指先領域の中心
６６　指先領域
１２０　注目画素とその８近傍画素
１２１　基本的なLBPコード
１８０　赤プレーンの注目画素
１８１　赤プレーンの近傍画素
１８２　緑プレーンの注目画素
１８３　緑プレーンの近傍画素
１８４　青プレーンの注目画素
１８５　青プレーンの近傍画素
２００　利用者
２０１　スマートフォン
２０２　認証サーバ
２０４　暗号化された生体の登録データ
２０５　ネット回線
２０６　認証サーバのデータベース
２０７　会場の認証端末
２０８　暗号化された入力データ
２４０　指置き台
２４１　開口部
２４２　天井部

Claims (15)

  1. 生体を撮影する撮像部と、
    前記撮像部によって撮影された画像を処理し、前記生体の認証を行う認証処理部を備え、
    前記認証処理部は、
    前記画像に映る前記生体の輝度値の時間的変化を獲得し、前記画像に撮影された前記生体のテクスチャ特徴を抽出し、前記輝度値の時間的変化および前記テクスチャ特徴に基づき、前記生体が真の生体であることを判定する生体判定部を有する、
    ことを特徴とする生体認証装置。
  2. 請求項１記載の生体認証装置であって、
    前記生体の輝度値の時間的変化は、前記生体の指先領域の輝度値の変化である、
    ことを特徴とする生体認証装置。
  3. 請求項２記載の生体認証装置であって、
    前記認証処理部は、
    前記生体の指先の輪郭線に対して直交する複数の直線が通る数に基づき、前記生体の指先領域の中心を検出する、
    ことを特徴とする生体認証装置。
  4. 請求項２記載の生体認証装置であって、
    前記認証処理部は、
    前記生体の指先領域の輝度値の変化により脈動信号を検出し、前記脈動信号を時間微分して、前記生体の脈拍検出を行う、
    ことを特徴とする生体認証装置。
  5. 請求項４記載の生体認証装置であって、
    前記認証処理部は、
    前記生体の指先が移動している場合は、前記生体の脈拍検出を行わない、
    ことを特徴とする生体認識装置。
  6. 請求項１記載の生体認証装置であって、
    前記生体に光を照射する光源を備え、
    前記認証処理部は、
    前記テクスチャ特徴を抽出する際に、前記光源を点滅させるよう制御する、
    ことを特徴とする生体認証装置。
  7. 請求項１記載の生体認証装置であって、
    前記認証処理部は、
    前記テクスチャ特徴を抽出する際に、前記生体の指のジェスチャーを検出する、
    ことを特徴とする生体認証装置。
  8. 請求項１記載の生体認証装置であって、
    前記生体判定部は、
    前記テクスチャ特徴のヒストグラム特徴量から機械学習により判定用パラメータを獲得して判定を行う、
    ことを特徴とする生体認証装置。
  9. 請求項８記載の生体認証装置であって、
    前記生体判定部は、
    前記機械学習に多段に接続したランダムフォレストを用いる、
    ことを特徴とする生体認証装置。
  10. 請求項９記載の生体認証装置であって、
    前記多段に接続したランダムフォレストは、脈動異物チェック用ランダムフォレストと、
    通常異物チェック用ランダムフォレストを含む、
    ことを特徴とする生体認証装置。
  11. 生体を撮影する撮像部と、
    前記撮像部によって撮影された画像を処理し、前記生体の認証を行う認証処理部を備え、
    前記認証処理部は、
    前記画像に映る前記生体が真の生体であることを判定する、判定基準の異なる複数の生体判定部と、
    前記画像から前記生体の生体特徴を抽出する特徴抽出部と、
    前記生体特徴の類似度を比較する照合部と、を有し、
    前記複数の生体判定部が、前記生体が真の生体であることを判定した場合、前記特徴抽出部は前記生体の生体特徴を抽出し、前記照合部が抽出された前記生体特徴と登録データの類似度を比較する、
    ことを特徴とする生体認証装置。
  12. 請求項１１記載の生体認証装置であって、
    前記複数の生体判定部は、
    前記画像に撮影された前記生体のテクスチャ特徴を抽出し、前記テクスチャ特徴に基づき、前記生体が真の生体であることを判定する、
    ことを特徴とする生体認証装置。
  13. 請求項１２記載の生体認証装置であって、
    前記複数の生体判定部は、
    前記テクスチャ特徴のヒストグラム特徴量からランダムフォレストにより判定用パラメータを獲得して判定を行い、
    前記ランダムフォレストは、多段に接続された脈動異物チェック用ランダムフォレストと通常異物チェック用ランダムフォレストを含む、
    ことを特徴とする生体認証装置。
  14. 生体を撮影する撮像部と、
    前記撮像部によって撮影された画像を処理し、前記生体の認証を行う認証処理部を備え、
    前記認証処理部は、
    前記画像から前記生体の生体特徴を抽出する特徴抽出部と、
    抽出した前記生体特徴を、互いに独立な生体特徴量で構成された位置補正特徴量と照合特徴量に分割し、前記位置補正特徴量によって前記生体の位置ずれ量を得、前記位置ずれ量を用いて前記照合特徴量によって前記生体特徴と登録データの類似度を比較する照合部と、を備える、
    ことを特徴とする生体認証装置。
  15. 請求項１４記載の生体認証装置であって、
    前記認証処理部は、
    前記生体が真の生体であることを判定する生体判定部を有し、前記生体判定部で前記生体が真の生体であることを判定した場合、前記照合部で前記生体特徴と前記登録データの類似度を比較する、
    ことを特徴とする生体認識装置。
PCT/JP2017/033177 2016-09-27 2017-09-14 生体認証装置 WO2018061786A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016187990A JP6792986B2 (ja) 2016-09-27 2016-09-27 生体認証装置
JP2016-187990 2016-09-27

Publications (1)

Publication Number Publication Date
WO2018061786A1 true WO2018061786A1 (ja) 2018-04-05

Family

ID=61759583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033177 WO2018061786A1 (ja) 2016-09-27 2017-09-14 生体認証装置

Country Status (2)

Country Link
JP (1) JP6792986B2 (ja)
WO (1) WO2018061786A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183156A (zh) * 2019-07-02 2021-01-05 杭州海康威视数字技术股份有限公司 一种活体检测方法和设备
CN113420582A (zh) * 2020-11-04 2021-09-21 中国银联股份有限公司 用于掌静脉识别的防伪检测方法及其系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064541A (ja) * 2018-10-19 2020-04-23 富士通株式会社 本人確認プログラム、本人確認方法および情報処理装置
JP7347019B2 (ja) * 2019-08-30 2023-09-20 日本電気株式会社 通信ノード、マルチホップネットワーク、機器の正当性確認方法及びプログラム
WO2023090429A1 (ja) * 2021-11-19 2023-05-25 国立大学法人電気通信大学 生体検出システム、生体検出方法及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042117A (ja) * 2000-07-25 2002-02-08 Nec Corp 指紋認証装置
JP2002074345A (ja) * 2000-09-01 2002-03-15 Glory Ltd 不正検知装置、不正検知方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003051012A (ja) * 2001-08-03 2003-02-21 Nec Corp ユーザ認証方法及びユーザ認証装置
JP2003144420A (ja) * 2001-11-09 2003-05-20 Nec Corp 指紋画像入力装置及びそれを用いた電子機器
JP2004070949A (ja) * 1998-04-07 2004-03-04 Omron Corp 画像処理装置および方法，画像処理のためのプログラムを記憶した媒体，ならびに検査装置
JP2009545822A (ja) * 2006-07-31 2009-12-24 ルミダイム インコーポレイテッド 空間−スペクトル的指紋スプーフの検出
JP2010108365A (ja) * 2008-10-31 2010-05-13 Hitachi Ltd 生体認証方法およびシステム
JP2011013710A (ja) * 2009-06-30 2011-01-20 Nec Corp 生体パターン撮像装置
US20160070967A1 (en) * 2014-09-05 2016-03-10 Qualcomm Incorporated Multi-Stage Liveness Determination
JP2016106661A (ja) * 2014-12-02 2016-06-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 生体識別システムおよび電子機器

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070949A (ja) * 1998-04-07 2004-03-04 Omron Corp 画像処理装置および方法，画像処理のためのプログラムを記憶した媒体，ならびに検査装置
JP2002042117A (ja) * 2000-07-25 2002-02-08 Nec Corp 指紋認証装置
JP2002074345A (ja) * 2000-09-01 2002-03-15 Glory Ltd 不正検知装置、不正検知方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003051012A (ja) * 2001-08-03 2003-02-21 Nec Corp ユーザ認証方法及びユーザ認証装置
JP2003144420A (ja) * 2001-11-09 2003-05-20 Nec Corp 指紋画像入力装置及びそれを用いた電子機器
JP2009545822A (ja) * 2006-07-31 2009-12-24 ルミダイム インコーポレイテッド 空間−スペクトル的指紋スプーフの検出
JP2010108365A (ja) * 2008-10-31 2010-05-13 Hitachi Ltd 生体認証方法およびシステム
JP2011013710A (ja) * 2009-06-30 2011-01-20 Nec Corp 生体パターン撮像装置
US20160070967A1 (en) * 2014-09-05 2016-03-10 Qualcomm Incorporated Multi-Stage Liveness Determination
JP2016106661A (ja) * 2014-12-02 2016-06-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 生体識別システムおよび電子機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183156A (zh) * 2019-07-02 2021-01-05 杭州海康威视数字技术股份有限公司 一种活体检测方法和设备
CN112183156B (zh) * 2019-07-02 2023-08-11 杭州海康威视数字技术股份有限公司 一种活体检测方法和设备
CN113420582A (zh) * 2020-11-04 2021-09-21 中国银联股份有限公司 用于掌静脉识别的防伪检测方法及其系统
CN113420582B (zh) * 2020-11-04 2023-09-05 中国银联股份有限公司 用于掌静脉识别的防伪检测方法及其系统

Also Published As

Publication number Publication date
JP6792986B2 (ja) 2020-12-02
JP2018055231A (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
US11188734B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US9361507B1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN110326001B (zh) 使用利用移动设备捕捉的图像执行基于指纹的用户认证的系统和方法
US9064145B2 (en) Identity recognition based on multiple feature fusion for an eye image
WO2018061786A1 (ja) 生体認証装置
Zhang et al. 3D Biometrics
Zhang et al. Advanced biometrics
Yadav et al. Fingerprint recognition based on minutiae information
Shawkat et al. The new hand geometry system and automatic identification
Chan et al. A study of distinctiveness of skin texture for forensic applications through comparison with blood vessels
Tee et al. Facial recognition using enhanced facial features k-nearest neighbor (k-NN) for attendance system
Dewangan Human authentication using biometric recognition
Gururaj et al. Threats, consequences and issues of various attacks on online social networks
Chowdhury et al. Biometric authentication using facial recognition
Agarwal et al. Human identification and verification based on signature, fingerprint and iris integration
Boonkrong et al. Biometric Authentication
Das et al. An introduction to biometric authentication systems
Kumar et al. A brief review of image quality enhancement techniques based multi-modal biometric fusion systems
Garg et al. Performance Analysis of Uni-modal and Multimodal Biometric System
Purohit et al. Contemporary biometric system design
Kolda et al. Contactless identification system based on visual analysis of examined element
Reddy et al. Profile Identification through Face Recognition
Kumar et al. Introduction to Multimodal Biometrics using OpenCV
Al-Rashid Biometrics Authentication: Issues and Solutions
Oladele et al. SECURITY AND PERSONAL IDENTIFICATION AUTOMATIC BI-MODAL HUMAN IMAGE RECOGNITION SYSTEM.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855742

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17855742

Country of ref document: EP

Kind code of ref document: A1