WO2011052036A1 - 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム - Google Patents

生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム Download PDF

Info

Publication number
WO2011052036A1
WO2011052036A1 PCT/JP2009/068390 JP2009068390W WO2011052036A1 WO 2011052036 A1 WO2011052036 A1 WO 2011052036A1 JP 2009068390 W JP2009068390 W JP 2009068390W WO 2011052036 A1 WO2011052036 A1 WO 2011052036A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
singular point
intermediate image
input
biometric information
Prior art date
Application number
PCT/JP2009/068390
Other languages
English (en)
French (fr)
Inventor
幸弘 安孫子
登樹 安部
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP09850816.1A priority Critical patent/EP2495698B1/en
Priority to PCT/JP2009/068390 priority patent/WO2011052036A1/ja
Priority to JP2011538137A priority patent/JP5304901B2/ja
Publication of WO2011052036A1 publication Critical patent/WO2011052036A1/ja
Priority to US13/440,522 priority patent/US8472679B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • G06V40/1359Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern

Definitions

  • Embodiments disclosed herein relate to a biometric information processing apparatus, a biometric information processing method, and a biometric information processing computer program that use biometric information represented in a biometric image for biometric authentication.
  • biometric authentication technology for authenticating a user of an apparatus or system based on a biometric image representing biometric information such as a hand or finger vein pattern, a fingerprint, or a palm print has been developed.
  • a biometric authentication device using such a biometric authentication technology acquires, for example, a biometric image representing biometric information of a user who intends to use the biometric authentication device as an input biometric image. Then, the biometric authentication device collates the user's input biometric information represented in the input biometric image with registered biometric information that is biometric information represented in the registered user's biometric image.
  • the biometric authentication device determines that the input biometric information and the registered biometric information match based on the result of the verification process, the biometric authentication device authenticates the user as a registered user having a legitimate authority.
  • the biometric authentication device permits an authenticated user to use a device in which the biometric authentication device is incorporated or another device connected to the biometric authentication device.
  • the biometric information represented in the registered biometric image and the biometric information represented in the input biometric image do not necessarily match.
  • the reason for this is that the positioning of the part including the biological information with respect to the sensor is different or the state of the part including the biological information is different between the registration time and the verification time. If the state of the part is different at the time of registration and at the time of matching, for example, the feature value extracted from the biological image acquired at the time of matching is different from the feature value extracted from the biological image acquired at the time of registration. Sometimes.
  • the degree of finger skin roughness or dryness differs between registration and verification, and the degree of wetness of the finger surface due to sweat, water, hand cream, etc. differs.
  • a part of the fingerprint image acquired at the time of collation becomes unclear, and the feature amount extracted from the fingerprint image is the feature amount extracted from the fingerprint image acquired at the time of registration. May be different. In such a case, since the feature quantities extracted from both images do not completely match, there is a risk that collation accuracy will be reduced.
  • the apparatus determines whether or not a fingerprint composed of ridges and valleys exists in each segmented input fingerprint image, and the skin surface in the segmented region. By determining this state, it is determined whether or not the input fingerprint image is a fingerprint image suitable for authentication. For determining whether or not there is a fingerprint and the state of the skin surface, the connection degree or ratio of bright pixels / dark pixels is used.
  • the fingerprint collation device calculates the gray level from the image data read by the fingerprint sensor, and determines the image quality in the image data based on the calculated gray level.
  • the fingerprint collation device generates edge extracted image data in which the ridges of the collected fingerprint are emphasized from the collected fingerprint image data of the subject, or gradation direction extracted image data indicating the direction of change in density for each pixel. . And this fingerprint collation device is based on the total number of each direction pattern calculated from the amount of deviation between the center of gravity of the edge image and the center of the image or the direction pattern of the shade change for each partial area in the gradation direction extracted image data. Decide whether to register data.
  • the biological information detection device determines the state of the collected image based on the average value and the standard deviation of the pixel values of the region where the biological information exists in the collected image.
  • the biometric authentication device measures the quality of the biometric information represented in the biometric image, and if the quality is poor, the biometric image is regenerated by re-reading the biometric information to reduce the authentication accuracy. Can be prevented. However, even if a part of the region on the biometric image is unclear, if the unclear region does not include a feature useful for the matching process, the biometric authentication device uses the biometric image, Input biometric information and registered biometric information can be accurately verified. However, in the related art, the biometric authentication device determines whether or not an image on which biometric information is represented is appropriate based on the same reference regardless of features useful in the matching process.
  • the biometric authentication device determines that the image is inappropriate for use in the matching process even if the information necessary for accurately performing the matching process is included in the biological image. There was a case. In such a case, the user is required to re-enter the biometric information even though it is not necessary to read the biometric information again, and as a result, extra time is required for the biometric authentication process. There was a risk of hanging.
  • the present specification provides a biological information processing apparatus, a biological information processing method, and a biological information processing computer program that can acquire biological information suitable for collation and prevent unnecessary reacquisition of biological information. Objective.
  • a biological information processing apparatus includes a biometric information acquisition unit that acquires biometric information of a user and generates an input biometric image representing the biometric information, and a processing unit.
  • the processing unit performs first image processing on the input biological image, thereby generating a first intermediate image generation function for generating a first intermediate image, and a second image different from the first image processing for the input biological image.
  • a second intermediate image generation function for generating a second intermediate image by performing processing, and an input that is the user's biological information represented in the input biological image from the first intermediate image and the second intermediate image Detected from a first intermediate image corresponding to the same singular point in the input biometric information and a singular point detecting function for detecting each point corresponding to a singular point that is a characteristic point of the biological information as a singular point candidate
  • a singular point candidate a distance calculation function between singular point candidates for calculating the distance between the singular point candidates detected from the second intermediate image, and an input biological image so that the smaller the distance between the singular point candidates, the higher the value.
  • a pass / fail judgment function that determines whether or not the threshold is higher than a predetermined threshold
  • a guidance function that prompts the user to cause the biometric information acquisition unit to reacquire the biometric information of the user when the quality index is equal to or less than the threshold Realize.
  • a biological information processing method obtains a user's biometric information, generates an input biometric image representing the biometric information, and generates a first intermediate image by performing first image processing on the input biometric image. Then, by performing second image processing different from the first image processing on the input biological image, a second intermediate image is generated and displayed on the input biological image from the first intermediate image and the second intermediate image.
  • a point corresponding to a singular point that is a characteristic point of the input biometric information that is the biometric information of the user is detected as a singular point candidate, and corresponds to the same singular point in the input biometric information.
  • a computer program that causes a computer to process biological information.
  • the computer program generates a first intermediate image by performing first image processing on the input biometric image representing the biometric information of the user generated by the biometric information acquisition unit, and the first biometric image is input to the input biometric image.
  • the second image processing different from the image processing is performed to generate a second intermediate image, and from the first intermediate image and the second intermediate image, the user's biological information represented in the input biological image Points corresponding to singular points that are characteristic points of certain input biometric information are detected as singular point candidates, respectively, and singular point candidates detected from the first intermediate image corresponding to the same singular point in the input biometric information And calculating the distance between the singular point candidates detected from the second intermediate image, calculating the quality index of the input biological image so that the smaller the distance between the singular point candidates, the higher the value, Higher than a given threshold Whether determined, if the quality indicator is below the threshold, having instructions prompting the to reacquire the biometric information of the user in the biological information acquisition unit to the user, it causes the computer to execute the.
  • the biological information processing apparatus, biological information processing method, and biological information processing computer program disclosed in this specification can acquire biological information suitable for collation and prevent unnecessary reacquisition of biological information.
  • FIG. 1 is a schematic configuration diagram of a biological information processing apparatus according to the first embodiment.
  • FIG. 2 is a functional block diagram of a processing unit included in the biometric information processing apparatus showing functions realized for executing biometric authentication processing for a user according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of singular points existing on a fingerprint.
  • FIGS. 4A to 4C are diagrams showing examples of the input biological image, the first intermediate image, and the second intermediate image, respectively.
  • FIG. 5 is a diagram showing an operation flowchart of biometric authentication processing controlled by a computer program executed on the processing unit.
  • FIG. 6 is a diagram showing an operation flowchart of biometric authentication processing controlled by a computer program executed on the processing unit.
  • FIG. 7 is a functional block diagram of a processing unit included in the biometric information processing apparatus showing functions realized for executing biometric authentication processing for a user according to the second embodiment.
  • FIG. 8 is a diagram showing an operation flowchart of an input biometric image quality determination process controlled by a computer program executed on the processing unit.
  • FIG. 9 is a functional block diagram of a processing unit included in the biological information processing apparatus showing functions realized for registering user biological information according to the third embodiment.
  • FIG. 10 is a diagram showing an operation flowchart of an input biometric image registration process controlled by a computer program executed on the processing unit.
  • FIG. 11 is a functional block diagram of a processing unit having a function of generating three intermediate images.
  • This biometric information processing apparatus acquires an input biometric image, which is an image representing the biometric information of the user, in order to perform biometric authentication processing for the user.
  • This biometric information processing apparatus executes two types of different image processing on an input biometric image, and each of two types of intermediate images obtained as a result of the image processing is characterized by the user's biometric information. Extract singularities that are points.
  • This biological information processing apparatus determines the quality of the input biological image based on the degree of coincidence of the singular points extracted from the two types of intermediate images.
  • the biometric information processing apparatus uses a fingerprint of a finger as biometric information that is a target for biometric authentication.
  • the biometric information to be subjected to biometric authentication may be other biometric information represented in a still image such as a palm print, a nose print, a vein pattern, a palm shape, a facial appearance, an auricle, or a retina pattern.
  • the term “collation process” is used to indicate a process of calculating a similarity indicating the degree of similarity between input biometric information and registered biometric information.
  • biometric authentication process indicates not only the verification process but also the entire authentication process including the process of determining whether to authenticate the user using the similarity obtained by the verification process. Used for.
  • FIG. 1 shows a schematic configuration diagram of a biological information processing apparatus.
  • the biological information processing apparatus 1 includes a display unit 2, a biological information acquisition unit 3, an input unit 4, a storage unit 5, and a processing unit 6.
  • the biometric information processing device 1 generates an input biometric image representing a fingerprint of a user's finger by the biometric information acquisition unit 3 and executes biometric authentication processing using the input biometric image.
  • the biometric information processing apparatus 1 authenticates the user as one of the registered users as a result of the biometric authentication process
  • the biometric information processing apparatus 1 permits the user to use the apparatus in which the biometric information processing apparatus 1 is mounted.
  • the biological information processing apparatus 1 transmits a signal indicating that the user has been authenticated to another device (not shown), and permits the user to use the other device.
  • the display unit 2 includes a display device such as a liquid crystal display or a CRT monitor. And the display part 2 displays the guidance message for arrange
  • the display unit 2 displays various information related to the application executed by the processing unit 6.
  • the biometric information acquisition unit 3 generates an input biometric image representing the user's fingerprint. Therefore, the biometric information acquisition unit 3 includes, for example, a sweep type fingerprint sensor. This fingerprint sensor can be, for example, a sensor that employs any one of an optical type, a capacitance type, an electric field type, and a thermal type. The biometric information acquisition unit 3 may have any fingerprint sensor that uses an area sensor. Then, the biometric information acquisition unit 3 passes the generated input biometric image to the processing unit 6.
  • the biometric information acquisition unit 3 may be formed integrally with the display unit 2 or the input unit 4.
  • the input unit 4 has a user interface such as a keyboard, a mouse, or a touch pad, for example.
  • the command, data, or user identification information input by the user via the input unit 4 is passed to the processing unit 6.
  • the input unit 4 may be omitted.
  • the storage unit 5 includes, for example, at least one of a semiconductor memory, a magnetic disk device, and an optical disk device. And the memory
  • the storage unit 5 stores a program for executing biometric authentication processing. Further, the storage unit 5 stores, for each registered user, data related to a fingerprint of a specific finger, which is registered biometric information of the registered user.
  • the data relating to the registered biometric information can be, for example, a registered biometric image that is an image obtained by photographing a fingerprint of a specific finger of a registered user.
  • the data related to the registered biometric information may be a registered biometric image itself or a feature amount for collation processing extracted from the partial region.
  • the storage unit 5 stores a guidance message for placing a finger at a position where the biometric information acquisition unit 3 can acquire an appropriate input biometric image.
  • the processing unit 6 includes one or a plurality of processors and their peripheral circuits. And the process part 6 performs the biometrics authentication process using the input biometric image by which the input biometric information which is the user's fingerprint acquired from the biometric information acquisition part 3 was represented.
  • FIG. 2 is a functional block diagram of the processing unit 6 showing functions realized for executing the biometric authentication process.
  • the processing unit 6 includes a first intermediate image generation unit 11, a second intermediate image generation unit 12, a singular point candidate detection unit 13, a singular point candidate distance calculation unit 14, and pass / fail.
  • the determination unit 15, the guidance processing unit 16, the verification unit 17, and the authentication determination unit 18 are included.
  • Each of these units included in the processing unit 6 is a functional module implemented by a computer program executed on a processor included in the processing unit 6. Or these each part which the process part 6 has may be mounted in the biometric information processing apparatus 1 as firmware.
  • the 1st intermediate image generation part 11 produces
  • image processing for example, contrast correction processing or frequency enhancement processing is used.
  • the first intermediate image generation unit 11 has, for example, a maximum value and a minimum value of pixel values in a living body region in which input biological information in an input biological image is captured. The input biological image is subjected to gradation conversion so that the value is 255 and the minimum value is 0). Then, the first intermediate image generation unit 11 sets the input biometric image subjected to gradation conversion as the first intermediate image.
  • the biological area can be detected by binarizing the entire input biological image with a predetermined threshold, for example.
  • a predetermined threshold for example, the pixel value in the background region, which is a portion where the finger is not touching, on the input biological image is generally a very low value or a very high value. Therefore, the distribution of pixel values in the background area is different from the distribution of pixel values in the living body area. Therefore, the first intermediate image generation unit 11 can determine a predetermined threshold value by discriminant analysis with respect to a histogram of pixel values of the entire input biological image.
  • the first intermediate image generation unit 11 performs, for example, a fast Fourier transform on the input biological image as the frequency enhancement process.
  • the first intermediate image generation unit 11 emphasizes the frequency component corresponding to the ridge interval with respect to the frequency image obtained by the fast Fourier transform.
  • the first intermediate image generation unit 11 generates a first intermediate image by performing inverse fast Fourier transform on the frequency-enhanced frequency image.
  • the first intermediate image generation unit 11 may use wavelet transform instead of fast Fourier transform.
  • the first intermediate image generation unit 11 may generate the first intermediate image by executing contrast correction processing and frequency enhancement processing on the input biological image, respectively.
  • the first intermediate image generation unit 11 passes the first intermediate image to the singular point candidate detection unit 13.
  • the second intermediate image generation unit 12 generates a second intermediate image by performing image processing for removing noise in the input biological image on the input biological image.
  • image processing for example, mask processing using a Gaussian filter or a median filter is used.
  • the second intermediate image generation unit 12 may perform a morphological opening operation or a closing operation on the input biological image.
  • the second intermediate image generation unit 12 may use the input biological image as it is as the second intermediate image.
  • the second intermediate image generation unit 12 passes the second intermediate image to the singular point candidate detection unit 13. Note that the image processing performed by the first intermediate image generation unit 11 and the second intermediate image generation unit 12 is relative to each end point of the ridge, each branch point, or a singular point described later included in the input biological information. It is preferable that the process does not change the positional relationship.
  • the singular point candidate detection unit 13 detects points corresponding to singular points that are characteristic points in the input biometric information from the first intermediate image and the second intermediate image, respectively. If such a singular point can be detected accurately, it is considered that this input biometric image includes a characteristic portion of the user's input biometric information. Therefore, it is considered that the quality of the input biometric image is good enough to be used for the collation process.
  • the input biometric information is a fingerprint. Thus, typical singularities that characterize fingerprints are exemplified.
  • FIG. 3 is a diagram illustrating an example of singular points existing on a fingerprint.
  • black lines represent ridges and white lines represent valleys.
  • the upper side of the fingerprint image 300 is the tip side of the finger.
  • the ridge is formed in a vortex shape, and the center of the vortex becomes a singular point.
  • the center 301 of the upwardly protruding ridge vortex is called the upwardly convex core.
  • a ridge center 302 of a downwardly convex ridge is formed. This downwardly convex ridge vortex center 302 is called the downwardly convex core.
  • the ridge is formed in a triangular shape.
  • Such points 303 and 304 are usually only two or less in one fingerprint. Therefore, the points 303 and 304 in which the ridges are formed in a triangular shape are called delta singularities. Therefore, the singular point candidate detection unit 13 detects, as singular point candidates, the upper and lower convex cores and points corresponding to the delta singular points.
  • the singular point candidate detection unit 13 calculates a Poincare index of each pixel from each intermediate image, and detects a pixel satisfying a predetermined condition as a Poincare index as a candidate for an upward convex core, a downward convex core, or a delta singular point. To do.
  • the method for detecting singular points using the Poincare index is, for example, D. Maltoni et al., “Fingerprint Recognition Handbook”, Springer Science, p. 100, or Kawagoe et al., “Fingerprint Pattern Classification”, Pattern Recognition, 1984. Year, Vol.17, no.3, pp.295-303.
  • the singular point candidate detection unit 13 may detect a singular point candidate according to the following procedure.
  • the singular point candidate detection unit 13 binarizes each intermediate image using the local threshold method, whereby a binary intermediate image in which pixels corresponding to ridges and pixels corresponding to valleys have different values is used. Create Next, the singular point candidate detection unit 13 performs thinning processing on the binarized intermediate image so that the ridge is represented by the width of one pixel. Thereafter, the singularity candidate detection unit 13 obtains a correlation value by executing template matching between at least one template corresponding to the upward convex core and the thinned binary intermediate image. At that time, the singular point candidate detection unit 13 changes the relative position of the template with respect to the thinned binarized intermediate image, while correlating each position on the thinned binarized intermediate image with the template. Find the value.
  • the singular point candidate detection unit 13 determines that the correlation value obtained when the obtained correlation value is equal to or greater than a predetermined value (for example, 0.9) on the thinned binary intermediate image. It is determined that there is an upward-convex core candidate at a position corresponding to.
  • a predetermined value for example, 0.9
  • the singular point candidate detection unit 13 performs template matching between the thinned binarized intermediate image and a template corresponding to the downward convex core or the delta singular point, so that the downward convex core and Delta singularity candidates are extracted. However, if the maximum correlation value between the thinned binarized intermediate image and the template corresponding to the upward convex core is less than the predetermined value, the singular point candidate detection unit 13 does not detect the upward convex core candidate. .
  • the singularity candidate detection unit 13 determines that the downward convex core Or the candidate of a delta singularity is not detected.
  • Each template has a size that includes, for example, a plurality of ridges.
  • a binary pattern corresponding to the upwardly convex core for example, a plurality of arcs convex upward in a substantially concentric circle shape is represented.
  • the template corresponding to the downwardly convex core represents a binary pattern corresponding to the downwardly convex core, for example, a plurality of circular arcs that protrude downward in a substantially concentric circle shape.
  • the template corresponding to the delta singularity shows a pattern in which ridges extend from one pixel to three directions.
  • the singularity candidate detection unit 13 exists below the upward convex core around the position where the upward convex core is detected on the thinned binary intermediate image when the upward convex core candidate is detected.
  • the directions of a plurality of ridges included in the area to be performed may be obtained.
  • Such a region has, for example, a width in which a plurality of ridges are included with the position where the upward convex core is detected in the horizontal direction as the center in the horizontal direction, and an upward convex core is detected in the vertical direction.
  • the width is such that a plurality of ridges are included with the position as the upper end.
  • the singular point candidate detection unit 13 sets the average value of the directions of the plurality of ridges in the region as the direction of the ridges that form the upwardly convex core. Similarly, when a candidate for a downward convex core is detected, the singular point candidate detection unit 13 includes a plurality of ridges included in an area existing above the downward convex core around the position where the downward convex core is detected. You may ask for the direction. Further, the singular point candidate detection unit 13 may determine the directions of ridges from three directions that merge with the delta singular point. The singularity candidate detection unit 13 extracts those singularity candidates from each intermediate image by using other known methods for detecting singularities such as an upward convex core, a downward convex core, and a delta singularity. Also good. Further, the singular point candidate detection unit 13 can use any known method for obtaining the ridge direction in order to obtain the direction of the ridge around the singular point candidate.
  • the singular point candidate detection unit 13 has information for identifying the type of singular point (that is, an upward convex core, a downward convex core, or a delta singular point) and the singular point candidate for the singular point candidate detected from each intermediate image.
  • the detected position on the intermediate image is passed to the singular point candidate distance calculation unit 14.
  • the singular point candidate detection unit 13 also passes the ridge direction around the singular point candidate to the inter-single point candidate distance calculation unit 14.
  • both singular point candidates of the upward convex core and the downward convex core are detected, the singular point candidate detection unit 13 moves from the upward convex core to the downward convex core together with information on the singular point candidate for the upward convex core.
  • the singular point candidate detection unit 13 passes the direction vector from the lower convex core to the upper convex core to the singular point candidate distance calculation unit 14 together with information on the singular point candidate for the lower convex core as the direction of the lower convex core. May be. Furthermore, the singular point candidate calculation unit 13 notifies the pass / fail determination unit 15 of the number of singular point candidates detected from each intermediate image for each type of singular point.
  • the singular point candidate distance calculation unit 14 singularly calculates the distance between the singular point candidate detected from the first intermediate image and the singular point candidate detected from the second intermediate image corresponding to the singular point of the input biological information. Calculated as the distance between point candidates. Since both the first intermediate image and the second intermediate image are generated from the input biological image, if the input biological image is a sufficiently clear image, the first intermediate image and the second intermediate image are located at the same position. There is a high probability that the same kind of singularity candidates will be detected. However, when part or all of the input biometric image is unclear, the characteristics of the unclear region are different due to the difference between the image processing used for generating the first intermediate image and the image processing used for generating the second intermediate image. May be different.
  • FIGS. 4A to 4C are diagrams showing examples of the input biological image, the first intermediate image, and the second intermediate image, respectively.
  • the region 402 including the upwardly convex core 401 is unclear.
  • the ridges in the blurred area 402 look the same as the ridges in the blurred area 402 in the input biological image 400. Therefore, the upward convex core candidate 403 is detected at the same position as the upward convex core 401 in the input biological image 400.
  • the ridge structure in the unclear area 402 is different from the ridge structure in the unclear area 402 of the input biological image 400 as a result of image processing. Therefore, the upward convex core candidate 404 is detected at a position different from the upward convex core 401 in the input biological image 400.
  • the position or type of the singular point candidate detected from each intermediate image may be different from any singular point of the input biological information.
  • a singular point candidate corresponding to the singular point may not be detected from one intermediate image. Therefore, the singular point candidate distance is useful information for measuring the quality of the input biological image.
  • the inter-single-point candidate distance calculation unit 14 includes the specific point candidate to be noticed among the specific point candidates detected from the first intermediate image and the specific point candidate among the specific point candidates detected from the second intermediate image.
  • a singular point candidate closest to the point candidate is paired.
  • the singular point candidate distance calculation unit 14 determines the singular point candidate of one intermediate image that has already been paired with any of the singular point candidates detected from the other intermediate image. You may make it not form a pair with another singular point candidate. Further, the singular point candidate distance calculation unit 14 may not pair singular point candidates of different types.
  • the singular point candidate distance calculation unit 14 sets the Euclidean distance between the paired singular point candidates as the singular point candidate distance. Further, the singular point candidate distance calculation unit 14 uses the horizontal and vertical position differences between the two singular point candidates forming the pair, the difference in direction, and the difference in the direction of the surrounding ridges as elements. The distance between the multidimensional vectors may be the distance between singular point candidates.
  • the singular point candidate distance calculation unit 14 counts the number of singular point candidates that could not form a pair for each type of singular point.
  • the singular point candidate distance calculation unit 14 passes to the pass / fail determination unit 15 the singular point candidate distance calculated for each pair and the number of singular point candidates that could not form a pair.
  • the quality determination unit 15 determines whether or not the input biometric image generated by the biometric information acquisition unit 3 is appropriate for use in the matching process. Therefore, the pass / fail judgment unit 15 determines the quality of the input biometric image based on the candidate distance between singular points, the number of detected singular point candidates for each type, and the number of singular point candidates that could not form a pair of singular point candidates. An index representing is calculated. For example, the quality determination unit 15 calculates the quality index Q of the input biological image according to the following equation.
  • N is the number of singular point candidate pairs
  • ⁇ max is a normalization reference value of the distance between singular point candidates, and is set to the maximum value of the distance between singular point candidates experimentally obtained for one singular point on the input biological image, for example.
  • N 1 and N 2 are the number of singular point candidates detected from the first intermediate image and the number of singular point candidates detected from the second intermediate image, respectively.
  • the function max (N 1 , N 2 ) is a function that outputs the larger value of N 1 and N 2 .
  • A is a coefficient determined according to the number of singular point candidates that have not been paired or the number of singular point candidates that are considered to be detected in error.
  • the maximum of both images corresponding to the search range when searching for the position where the input biometric image and the registered biometric image are the best match is performed.
  • a positional deviation amount may be used.
  • the horizontal maximum displacement amount is Lx and the vertical maximum displacement amount is Ly
  • the larger value of Lx or Ly can be used instead of ⁇ max .
  • the coefficient A is set to a smaller value as the number of singular point candidates of a specific type detected from each intermediate image becomes larger than the maximum number of singular points of that type that generally exist. For example, there is generally only one upwardly convex core in a fingerprint. Each of the downwardly convex core and the delta singularity generally has no more than two in the fingerprint. Therefore, the pass / fail judgment unit 15 generally has the larger number of singular point candidates for each singularity type detected from the first intermediate image and the second intermediate image for each singularity type. Compare with the maximum number to do.
  • the quality judgment unit 15 for example, each of the singular point type, the product of the total number N e and 0.1 singularity candidates exceeds the maximum number minus 1 value (1-0.1 ⁇ N e), the reference A value obtained by multiplying the value A 0 (for example, 1) is defined as a coefficient A.
  • the reference value A 0 for example, 1
  • the pass / fail judgment unit 15 is obtained by multiplying the reference value A 0 by a value (1 ⁇ 0.1 ⁇ N f ) obtained by subtracting the product of the number N f and the number of singular point candidates N f and 0.1 that are not formed from 1 from 1.
  • the value may be used as the coefficient A.
  • the pass / fail judgment unit 15 subtracts the product of 0.1 and the sum of the total number Ne of the singular point candidates exceeding the maximum number Ne and the number N f of singular point candidates that have not been paired from 1 (1 A value obtained by multiplying ⁇ 0.1 ⁇ (N e + N f )) by the reference value A 0 may be used as the coefficient A.
  • the pass / fail judgment unit 15 compares the calculated quality index Q with a predetermined threshold T. If the quality index Q is equal to or greater than the threshold value T, the pass / fail determination unit 15 determines that the input biological image is suitable for use in the matching process. On the other hand, if the quality index Q is less than the threshold value T, the quality determination unit 15 determines that the input biometric image is not suitable for use in the matching process.
  • the predetermined threshold T is experimentally determined, for example, as a limit value of the quality index Q with respect to the biological image in which the rejection rate when the biological image is used for the collation processing is within an allowable range.
  • the pass / fail judgment unit 15 passes information indicating the pass / fail judgment result to the processing unit 6.
  • the guidance processing unit 16 stores a guidance message that prompts the user to re-input the input biometric information when notified by the processing unit 6 that the input biometric image is inappropriate for use in the matching process. Read from unit 5. Then, the guidance processing unit 16 displays the read guidance message on the display unit 2. Note that when the biological information processing apparatus 1 has a speaker, the guidance processing unit 16 may notify the user of a guidance message by voice through the speaker. Further, the guidance processing unit 16 may cause the display unit 2 to display an input biometric image determined to be inappropriate or any intermediate image so as to be a reference for positioning the part at the time of re-reading for the user. .
  • the collation unit 17 When the collation unit 17 receives the input biometric image and the user identification information from the processing unit 6, the collation unit 17 reads data related to the registered biometric information corresponding to the user identification information from the storage unit 5. And the collation part 17 collates input biometric information and the registration biometric information represented by the read data. And the collation part 17 calculates
  • the collation unit 17 can use, for example, minutia matching or pattern matching as the collation processing.
  • the collation unit 17 extracts a feature point for collation from the input biometric image when collating the input biometric information and the registered biometric information by minutia matching. And the collation part 17 uses the feature point extracted from the input biometric image, and the some feature point extracted from the registration biometric image memorize
  • the matching unit 17 extracts, for example, ridge end points and branch points as matching feature points (maneuvers). Therefore, the collation unit 17 generates a binarized image in which the ridges are thinned from the input biological image in order to extract the branch points and end points of the ridges from the input biological image. And the collation part 17 detects the position on an input biometric image when it matches with any mask pattern by scanning the input biometric image thinned using the some mask pattern. And the collation part 17 extracts the center pixel of the detected position as a feature point.
  • the mask pattern is represented by 3 ⁇ 3 pixels, for example, and has a binary pattern corresponding to a branch point or an end point of a ridge.
  • the matching unit 17 obtains the position of the extracted feature point and the ridge direction in the vicinity of the feature point as information representing the feature point.
  • the collating unit 17 can use any known method for obtaining the ridge direction in order to obtain the ridge direction in the vicinity of the feature point.
  • processing similar to that performed on the input biometric image is performed, and feature points are extracted from the registered biometric image, and the position of the extracted feature points and the ridge direction in the vicinity of the feature points are determined. It is stored in the storage unit 5.
  • the collation part 17 may extract a feature point from an input biometric image using the other well-known method of calculating
  • the matching unit 17 selects, as a first reference feature point, a feature point located in the vicinity of the center of the region where the registered biometric information is captured from the registered biometric image.
  • the collation unit 17 selects one of the feature points extracted from the input biometric image as the second reference feature point. Then, the matching unit 17 translates the input biometric image so that the second reference feature point matches the first reference feature point.
  • the collation part 17 is good also considering singular points, such as an upward convex core and a downward convex core, as a 1st reference
  • the matching unit 17 repeats the above processing while changing the combination of the first reference feature point and the second reference feature point, and the maximum number of feature points of the input biometric image that matches the feature points of the registered biometric image. Find the value. Finally, the matching unit 17 obtains a value obtained by dividing the maximum value of the number by the total number of feature points extracted from the input biological image as the similarity. Therefore, in this case, the similarity has a value of 0 to 1, and the higher the similarity between the input biometric information and the registered biometric information, the closer the similarity is to 1.
  • the matching unit 17 determines that the feature point of the registered biometric information is within a predetermined range from the position of the target feature point of the input biometric information. Check if it exists.
  • the predetermined range can be a value corresponding to an average interval between two adjacent ridges, for example.
  • the matching unit 17 determines that the feature point of the registered biometric information matches the feature point of interest of the input biometric information.
  • the predetermined angle range is a value corresponding to an allowable limit that can be considered that the ridge direction in the vicinity of the feature point of interest and the ridge direction in the vicinity of the corresponding feature point of the registered biometric information match, for example, 10 degrees. can do.
  • the matching unit 17 registers the input biometric information corresponding to the feature point of interest only when the feature point of the registered biometric information of the same type as the feature feature point exists within a predetermined range from the position of the feature feature point of interest. You may determine with the feature point of biometric information existing.
  • the matching unit 17 may use another known method for obtaining the number of feature points of the registered biometric information that matches the feature points of the input biometric information.
  • the collation unit 17 uses the input biometric image and the registered biometric image stored as data related to the registered biometric information in the storage unit 5. Then, the matching unit 17 calculates the correlation value c (i, j) between the input biometric image and the registered biometric image using the following equation while changing the relative positions of the input biometric image and the registered biometric image.
  • I (x, y) represents the pixel value of the pixel of the horizontal coordinate x and the vertical coordinate y included in the input biological image.
  • T (xi, yj) represents the pixel value of the pixel of the horizontal coordinate (xi) and the vertical coordinate (yj) included in the registered biometric image.
  • I av is an average pixel value of pixels included in the input biological image
  • T av is an average pixel value of pixels included in the registered biological image.
  • i and j represent the horizontal and vertical shift amounts of the input biometric image and the registered biometric image, respectively.
  • c (i, j) represents a correlation value when the input biological image is shifted by i pixels in the horizontal direction and j pixels in the vertical direction with respect to the registered biological image.
  • the correlation value c (i, j) can take a value included between ⁇ 1 and 1.
  • the correlation value c (i, j) is 1.
  • the correlation value c (i, j) is -1.
  • the collation unit 17 passes the calculated similarity to the authentication determination unit 18 together with the identification information of the registered user.
  • the authentication determination unit 18 determines that the input biometric information and the registered biometric information match when the similarity is equal to or greater than the authentication determination threshold.
  • the authentication determination unit 18 authenticates the user as a registered user corresponding to the identification information input via the input unit 4.
  • the authentication determination unit 18 notifies the processing unit 6 of the authentication result. Then, the processing unit 6 permits an authenticated user to use a device in which the biometric information processing device 1 is mounted or a device to which the biometric information processing device 1 is connected.
  • the authentication determination unit 18 determines that the input biometric information does not match the registered biometric information. In this case, the authentication determination unit 18 does not authenticate the user.
  • the authentication determination unit 18 notifies the processing unit 6 of an authentication result indicating that the user authentication has failed. And the process part 6 refuses that the user who was not authenticated uses the apparatus by which the biometric information processing apparatus 1 was mounted, or the apparatus to which the biometric information processing apparatus 1 was connected. Further, the processing unit 6 causes the display unit 2 to display a message indicating that the authentication has failed.
  • the authentication determination threshold is preferably set to a value such that the authentication determination unit 18 succeeds in authentication only when the registered user is a user.
  • the authentication determination threshold is preferably set to a value that causes the authentication determination unit 18 to fail authentication when another person different from the registered user is the user.
  • the authentication determination threshold value may be a value obtained by multiplying the difference between the maximum value and the minimum value that the similarity can take by 0.7 and the minimum value of the similarity.
  • the processing unit 6 acquires an input biometric image representing the user's input biometric information from the biometric information acquisition unit 3 (step S ⁇ b> 101). Then, the processing unit 6 passes the input biological image to the first intermediate image generation unit 11 and the second intermediate image generation unit 12 of the processing unit 6.
  • the first intermediate image generation unit 11 generates a first intermediate image by executing image processing for correcting a blurred region in the input biological image on the input biological image (step S102).
  • the second intermediate image generation unit 12 generates a second intermediate image by performing image processing for removing noise in the input biological image on the input biological image (step S103).
  • the first intermediate image generation unit 11 and the second intermediate image generation unit 12 each pass the generated intermediate image to the singular point candidate detection unit 13 of the processing unit 6.
  • the singular point candidate detection unit 13 detects singular point candidates from the first intermediate image and the second intermediate image, respectively (step S104). Then, the singular point candidate detection unit 13 uses the information about the singular point candidates detected from each intermediate image (for example, the position, type, direction of the singular point candidates and the ridge direction around the singular point candidates) It passes to the point candidate distance calculation part 14. Further, the singular point candidate detection unit 13 passes the number of singular point candidates for each type of singular point to the pass / fail determination unit 15 of the processing unit 6.
  • the singular point candidate inter-distance calculation unit 14 singular points corresponding to the same singular point on the input biological image among the singular point candidates detected from the first intermediate image and the singular point candidates detected from the second intermediate image. Pair candidates. Then, the singular point candidate distance calculation unit 14 calculates the distance between singular point candidates included in one pair as the singular point candidate distance (step S105). Then, the singular point candidate distance calculation unit 14 passes the singular point candidate distance calculated for each pair and the number of singular point candidates that could not form a pair to the pass / fail determination unit 15.
  • the quality determination unit 15 determines the quality of the input biometric image based on the distance between singular point candidates calculated for each pair, the number of singular point candidates for each type of singular point, and the number of singular point candidates that could not form a pair.
  • the index Q is calculated (step S106). And the quality determination part 15 determines whether the quality parameter
  • the quality determination unit 15 determines that the input biometric image is inappropriate for use in the matching process. Then, the quality determination unit 15 returns a quality determination result to the processing unit 6.
  • the processing unit 6 notifies the guidance processing unit 16 that the input biometric image has been determined to be inappropriate for use in the matching process.
  • the guidance processing unit 16 reads from the storage unit 5 a guide message indicating that the input biometric image is inappropriate.
  • the guidance processing unit 16 displays the guide message on the display unit 2 (step S108). Thereafter, the processing unit 6 returns the control to step S101, and acquires the regenerated biometric input image from the biometric information acquisition unit 3 by re-reading the user's part. And the process part 6 repeatedly performs the process after step S101.
  • step S107 when the quality index Q is equal to or greater than the predetermined threshold T (step S107—Yes), the pass / fail determination unit 15 determines that the input biological image is appropriate for use in the matching process. Then, the quality determination unit 15 returns a quality determination result to the processing unit 6.
  • the processing unit 6 passes the input biometric image and the user identification information to the matching unit 17.
  • the collation unit 17 receives the input biometric image and the user identification information
  • the collation unit 17 reads data related to the registered biometric information corresponding to the user identification information from the storage unit 5.
  • the collation part 17 collates the input biometric information represented by the input biometric image with the registration biometric information represented by the read data.
  • the collation part 17 calculates the similarity of input biometric information and registration biometric information (step S109).
  • the collation unit 17 passes the calculated similarity to the authentication determination unit 18 of the processing unit 6 together with the user identification information.
  • the authentication determination unit 18 determines whether or not the similarity is equal to or higher than an authentication determination threshold value (step S110).
  • step S110 When the similarity is equal to or greater than the threshold for authentication determination (step S110—Yes), the authentication determination unit 18 authenticates the user as a registered user corresponding to the input identification information (step S111). On the other hand, when the similarity is less than the threshold for authentication determination (step S110—No), the authentication determination unit 18 does not authenticate the user (step S112). After step S111 or S112, the processing unit 6 ends the biometric authentication process.
  • process part 6 may perform the process of step S102 and S103 simultaneously. Or the order of the process of step S102 and the process of S103 may be switched.
  • the biological information processing apparatus has characteristic characteristics of biological information from two types of intermediate images obtained by performing different image processing on the input biological image.
  • a singular point candidate that is a point is detected.
  • the biometric information processing apparatus determines that the input biometric image is not suitable for use in the matching process if the distance between singularity candidates that are considered to correspond to the same singularity of the input biometric information is large. Therefore, this biological information processing apparatus can know whether or not a portion useful for the collation processing on the input biometric information is clearly visible, so that it can acquire biometric information suitable for the collation processing, Unnecessary reacquisition can be prevented.
  • the biological information processing apparatus according to the second embodiment extracts a blurred region from the first intermediate image.
  • This biological information processing apparatus improves the accuracy of determining the quality of the input biological image by reducing the reliability of the singular point candidate detected from the unclear area or by not detecting the singular point candidate from the unclear area.
  • the biological information processing apparatus according to the second embodiment differs from the information processing apparatus according to the first embodiment only in part of the functions of the processing unit. Therefore, in the following, a description will be given of points that differ from the functions of the processing unit of the information processing apparatus according to the first embodiment, among the functions of the processing unit of the biological information processing apparatus according to the second embodiment.
  • FIG. 7 is a functional block diagram of a processing unit included in the biological information processing apparatus according to the second embodiment.
  • the processing unit 6 includes a first intermediate image generation unit 11, a second intermediate image generation unit 12, a singular point candidate detection unit 13, a singular point candidate distance calculation unit 14, and pass / fail.
  • the determination unit 15, the guidance processing unit 16, the matching unit 17, the authentication determination unit 18, the unclear area extraction unit 19, and the unclear area interpolation unit 20 are included.
  • each functional block of the processing unit 6 is assigned the same reference number as the corresponding functional block of the processing unit 6 illustrated in FIG. 2.
  • the unclear area extracting unit 19 extracts an unclear area from the area where the input biological information is shown.
  • the biological information is a fingerprint. Therefore, for example, if the finger is excessively pressed against the sensor, the surface of the finger's skin is faint, or if sweat is attached to the surface of the finger, the unevenness on the surface of the finger will be reduced.
  • the area where is shown may be blurred. That is, in such a blurred region, the difference between the pixel value of the pixel corresponding to the ridge and the pixel value of the pixel corresponding to the valley line is small.
  • the unclear area extracting unit 19 divides the first intermediate image into a plurality of small areas, and determines whether or not the small areas are unclear based on the statistic of the pixel value in each small area.
  • the size of the small region is preferably a size including several to several tens of ridges, for example.
  • a statistic an average pixel value, a variance, a difference between a maximum pixel value and a minimum pixel value in a small area is calculated. For example, when the variance in the target small region is less than the low dispersion threshold indicating that the pixel values are distributed in a narrow range, the unclear region extraction unit 19 determines that the target small region is the unclear region. If the variance is greater than or equal to the low variance threshold, the small region of interest may be determined as a clear region. Then, the unclear area extraction unit 19 assigns a unclear flag indicating whether the area is unclear for each small area of interest.
  • the unclear region extraction unit 19 determines the small region of interest when the average pixel value in the small region of interest is higher than the bright threshold indicating that the average pixel value is biased toward the brighter side and the variance is less than the low variance threshold. May be determined to be a bright and blurred region. Further, the unclear area extraction unit 19 is less than the dark threshold indicating that the average pixel value in the small area of interest is biased toward the dark side, and the variance is less than the low dispersion threshold. The area may be determined to be a dark and blurred area. In this case, the unclear area extracting unit 19 may distinguish between the unclear area and the dark unclear area and assign different unclear flag values to the unclear area and the dark unsharp area.
  • the unclear area extracting unit 19 distinguishes the small area whose variance is less than the low dispersion threshold and the average pixel value is equal to or greater than the dark threshold and equal to or less than the bright threshold from the bright and unclear area and the dark unclear area. Also good. Also in this case, the unclear area extracting unit 19 assigns unclear flags having different values to the clear area, the unclear area, the dark unclear area, and the medium unclear area. Each threshold is optimized experimentally, for example.
  • the unclear area extracting unit 19 may distinguish an area where biometric information is not captured on the first intermediate image as a background area from other areas.
  • the unclear area extraction unit 19 sets, for example, an area composed of pixels that are not less than the maximum value and not more than the minimum value of the pixels of the living body area in the first intermediate image as the background area.
  • the unclear area extracting unit 19 may determine whether the area is clear or unclear for each pixel. In this case, the unclear area extracting unit 19 calculates the statistic of the pixel value for the small area including the pixel of interest in the same manner as described above, and the determination for considering the statistic as any one of the above unclear areas. When the criterion is satisfied, it is determined that the pixel of interest is included in the unclear area.
  • the unclear area extraction unit 19 performs a labeling process to connect adjacent small areas or pixels to which the unclear flag having the same value is assigned. Then, the unclear area extracting unit 19 attaches a different label to each unclear area created by connecting unclear small areas or pixels.
  • the unclear area extraction unit 19 calculates the unsharpness for each unclear area labeled with the same value.
  • the unclearness AL is calculated according to the following equation.
  • B max is the maximum pixel value in the unclear area
  • B min is the minimum pixel value in the unclear area
  • L max is the maximum value of the pixels in the living body area in the entire first intermediate image
  • L min is the minimum value of the pixels in the living body area in the entire first intermediate image.
  • This blurring degree AL is the highest value (1) when B max and B min are equal, i.e., when the pixel values in the blurred area are uniform, while when the difference between B max and B min is the largest, That is, when the contrast in the unclear region is equal to the contrast of the entire first intermediate image, the lowest value (0) is obtained.
  • B max is an average pixel of the pixels corresponding to the ridge in the equation (3).
  • B min may be an average pixel value or a median value of pixels corresponding to valley lines.
  • the unclear area extraction unit 19 sets a pixel having a pixel value higher than a threshold obtained by discriminating and analyzing a histogram of pixel values in the unclear area as a pixel corresponding to a ridge, and is equal to or lower than the threshold.
  • a pixel having a pixel value is a pixel corresponding to a valley line.
  • the unclear area extracting unit 19 may calculate the unclearness AL according to the following expression instead of the expression (3).
  • ⁇ B is a standard deviation of pixel values in the unclear region of interest
  • is a coefficient.
  • is set to 2.
  • the unclear area extraction unit 19 may set the unclearness AL to 0. In this way, by determining the unclearness AL using the standard deviation, the unclear area extraction unit 19 can reduce the influence on the unclearness AL due to noise included in the unclear area.
  • the unclear area extracting unit 19 may use a variance value instead of the standard deviation.
  • the unclear area extraction unit 19 may calculate the unclearness AL based on the reliability of the direction of the ridge in the unclear area of interest.
  • the unclear area extracting unit 19 is defined by the following equation, and the horizontal differential value and the vertical direction in each pixel in the unclear area of interest:
  • f (x, y) represents the pixel value of the first intermediate image at the coordinate value x in the horizontal direction and the coordinate value y in the vertical direction.
  • F x (x, y) represents a horizontal differential value with respect to a horizontal coordinate value x and a vertical coordinate value y.
  • f y (x, y) represents a differential value in the vertical direction with respect to the coordinate value x in the horizontal direction and the coordinate value y in the vertical direction.
  • f xav (x, y) and f yav (x, y) are average values of f x (x, y) and f y (x, y) in the blurred region C of interest .
  • N total is the number of pixels in the unclear area C of interest.
  • the unclear area extraction unit 19 may calculate the unclearness AL based on the reliability of the local ridge direction of the unclear area of interest according to the following equation. Furthermore, the blur region extraction unit 19 calculates the blur level based on the reliability of the global ridge direction in the vicinity of the target blur region, and the ridge direction in the target blur region and the surrounding regions.
  • the blur level may be calculated so that the larger the square sum of the ridge direction differences, the larger the value.
  • the unclear area extraction unit 19 may use a value obtained by weighted averaging the unsharpness calculated according to the expressions (3), (4), and (7) for the target area as the unclearness for the unclear area of interest.
  • the unclear area extraction unit 19 may use the maximum value of the unsharpness calculated according to the equations (3), (4), and (7) for the unfocused area of interest as the unsharpness for the unfocused area of interest. Good.
  • the unclear area extracting unit 19 includes an unclearness AL 1 based on contrast, an unclearness AL 2 based on the reliability of the local ridge direction, and an unclearness AL 3 based on the reliability of the global ridge direction.
  • a weighted average value may be used as the unclearness for the region of interest.
  • the blurring degree AL 1 based on the contrast is calculated according to the equation (3) or (4).
  • the blurring degree AL 2 based on the reliability of the local ridge direction is calculated according to the equation (7).
  • the unclear area extracting unit 19 may use the maximum value among AL 1 , AL 2 , and AL 3 as the unsharpness for the unclear area.
  • the unclear area extracting unit 19 can set the unsharpness AL to a value normalized so as to be between 0 and 1.
  • the unclear area extracting unit 19 may calculate the unclearness AL for each small area or pixel obtained by dividing the first intermediate image into a plurality of areas. Then, the unclear area extraction unit 19 performs a labeling process on the small area or pixel in which the unclearness AL is equal to or greater than a predetermined threshold value, so that the absolute value of the difference between the unclearness ALs in the adjacent small areas or pixels. Are connected within a predetermined range. The unclear area extracting unit 19 sets a group of connected small areas or pixels as one unclear area by the labeling process. Then, the unclear area extraction unit 19 sets the unsharpness of each unsharp area to a value obtained by averaging the unsharpness calculated for each small area or pixel included in the unsharp area.
  • the predetermined threshold is experimentally determined, for example, as a value corresponding to the unclearness at which the probability of failure to detect a singular point exceeds an allowable limit.
  • the predetermined range is a range in which the degree of blur in the two areas can be regarded as the same, and is set to, for example, 1/10 of the maximum value of the blur.
  • the unclear area extraction unit 19 passes information representing each unclear area and the unclearness of each unclear area to the unclear area interpolation unit 20, the singular point candidate detection unit 13, and the pass / fail determination unit 15.
  • the information representing the unclear area can be, for example, an image having the same size as the first intermediate image and an image having a label number corresponding to the unclear area corresponding to each pixel as the pixel value.
  • the unclear area interpolation unit 20 interpolates an area that satisfies a predetermined condition among unclear areas on the first intermediate image using information on the surrounding area. For example, the unclear area interpolation unit 20 sets an unclear area having an unclearness equal to or greater than a predetermined threshold as an interpolation candidate area that is a candidate area to be interpolated.
  • a predetermined threshold is experimentally determined as a value corresponding to the unclearness in which the probability of failure to detect a singular point exceeds the allowable limit, for example, 1 of the maximum unclearness value. Set to / 2.
  • the unclear region interpolation unit 20 sets a threshold value for unclearness for extracting an interpolation candidate region so that a region with high unsharpness is an interpolation target.
  • the unclear area interpolation unit 20 uses the Otsu threshold automatic determination method, and the unsharpness dispersion in the interpolation candidate area and the unsharpness dispersion in the other areas are small, and the interpolation candidate area and the other areas The threshold value is determined so that the variance in blurring between the two becomes large. Then, the unclear area interpolation unit 20 sets unclear areas having unclearness higher than the determined threshold as interpolation candidate areas.
  • the unclear area interpolation unit 20 sets the interpolation candidate area as an interpolation target area.
  • the predetermined value of the area is, for example, that the maximum value of the position difference between the ridge simulated by interpolation in the interpolation target region and the actual ridge is 2 to 3 times the pitch of the ridge. Determined experimentally to be:
  • the entire circumference of the interpolation candidate area may not be surrounded by the clear area.
  • the interpolation candidate region has a fingerprint. It becomes an elongate area
  • the unclear area interpolation unit 20 sets a small area or pixel of interest in the interpolation candidate area. Then, the unclear area interpolation unit 20 may set the interpolation candidate area as an interpolation target area as long as the distance between the small areas of interest or the two clear areas facing each other across the pixel is equal to or less than a predetermined distance. In this case, the predetermined distance is set to about several times the pitch of the ridges, for example.
  • the unclear region interpolation unit 20 causes the interpolation target region so that the ridges or valleys in the interpolation target region are continuous with the ridges or valleys in the region around the interpolation target region. Is interpolated.
  • the unclear area interpolation unit 20 calculates the position and direction of each ridge in the area around the interpolation target area.
  • the unclear area interpolation unit 20 binarizes the area around the interpolation target area into a pixel having a pixel value corresponding to a ridge and a pixel having a pixel value corresponding to a valley line.
  • the unclear area interpolation unit 20 examines the position of the pixel corresponding to the ridge and the direction in which the pixels corresponding to the ridge are continuous at the boundary with the interpolation target area, thereby surrounding the interpolation target area. The position and direction of each ridge in can be calculated.
  • the unclear area interpolation unit 20 determines the ridges in the area surrounding the interpolation target area in the interpolation target area by determining a multidimensional polynomial corresponding to each ridge using spline interpolation, for example. To decide.
  • the unclear region interpolation unit 20 may determine the position and direction of the ridges in the interpolation target region by repeatedly performing interpolation processing from the periphery of the interpolation target region toward the inside.
  • the unclear area interpolation unit 20 may obtain the positions and directions of a plurality of ridges from a sufficiently wide area around the interpolation target area so that the interpolated ridges do not overlap each other. Then, the unclear area interpolation unit 20 may determine the positions and directions of the ridges in the interpolation target area by applying the positions and directions of the plurality of ridges to the multidimensional polynomial.
  • the unclear region interpolation unit 20 may use the ridge direction in the interpolation target region to determine the ridge direction to be interpolated.
  • the unclear region interpolation unit 20 may determine the ridge direction of the region of interest in the interpolation target region according to the following equation.
  • represents the direction of the ridge line interpolated in the region of interest.
  • ⁇ i represents the direction of the ridge calculated from the region of interest, while
  • ⁇ e represents the region in the region of interest estimated using spline interpolation as described above from the clear region around the region of interest.
  • AL is the unclearness of the region of interest. This AL is normalized so as to have a value in the range of 0 to 1. Note that in equation (8), in place of the AL, may be used minus the blur of clear areas sought phi e from blur AL of the focused region.
  • the unclear area interpolation unit 20 determines the direction of the ridge so that the ridge direction estimated from the interpolation target area is reflected as the unsharpness is lower. Can be interpolated. In particular, when the interpolation target area is wide and the direction of the ridge can be determined to some extent even within the interpolation target area, the interpolation target area is accurately interpolated. In addition, the unclear area interpolation unit 20 may interpolate the interpolation target area based on the valley line instead of interpolating the interpolation target area based on the ridge. The unclear area interpolation unit 20 passes the first intermediate image subjected to the interpolation process to the singular point candidate detection unit 13. In addition, the unclear area interpolation unit 20 may pass information indicating unclear areas that have not been interpolated to the singular point candidate detection unit 13.
  • the singular point candidate detection unit 13 detects singular points from the first intermediate image and the second intermediate image on which interpolation processing has been performed. However, the singular point candidate detection unit 13 does not have to detect a singular point from a blurred region where the blur level is higher than a predetermined threshold or a blurred region that has not been interpolated. Note that the predetermined threshold is experimentally determined as a value corresponding to the unclearness at which the detection accuracy of the singular point is less than the allowable limit, for example.
  • the singular point candidate distance calculation unit 14 also corresponds to the same singular point, the singular point candidate detected from the first intermediate image, and the singular point detected from the second intermediate image. The distance between candidates is calculated as the distance between singular point candidates. Then, the singular point candidate distance calculation unit 14 passes the singular point candidate distance calculated for each pair and the number of singular point candidates that could not form a pair to the pass / fail determination unit 15.
  • the quality determination unit 15 calculates a quality index Q for the input biological image, and determines the quality of the input biological image based on the quality index Q.
  • the quality determination unit 15 calculates the quality index Q so that the higher the unsharpness of the region where the singularity is detected, the lower the quality index Q value.
  • the quality determination unit 15 calculates the quality index Q according to the following equation instead of the equation (1).
  • N is the number of singular point candidate pairs
  • ⁇ max is a normalization reference value of the distance between singular point candidates, and is set to the maximum value of the distance between singular point candidates experimentally obtained for one singular point on the input biological image, for example.
  • AL i represents the unclearness of the region including the singular point detected from the first intermediate image for the singular point candidate pair i.
  • the pass / fail judgment unit 15 sets the unsharpness of the area to 0.
  • N 1 and N 2 are the number of singular point candidates detected from the first intermediate image and the number of singular point candidates detected from the second intermediate image, respectively.
  • the function max (N 1 , N 2 ) is a function that outputs the larger value of N 1 and N 2 .
  • A is a coefficient determined according to the number of singular point candidates that have not been paired or the number of singular point candidates that are considered to have been detected in error, and is determined in the same manner as the coefficient A in equation (1).
  • ⁇ max instead of ⁇ max , for example, at the time of collation, both images corresponding to the search range when searching for the position where the input biometric image and the registered biometric image are the best match are searched. The maximum amount of misalignment may be used.
  • the pass / fail judgment unit 15 compares the calculated quality index Q with a predetermined threshold value T as in the first embodiment. If the quality index Q is equal to or greater than the threshold value T, the pass / fail determination unit 15 determines that the input biological image is suitable for use in the matching process. On the other hand, if the quality index Q is less than the threshold value T, the quality determination unit 15 determines that the input biometric image is not suitable for use in the matching process. Then, the quality determination unit 15 passes information indicating the quality determination result to the processing unit 6.
  • the guidance processing unit 16 stores a guidance message that prompts the user to re-input the input biometric information when notified by the processing unit 6 that the input biometric image is inappropriate for use in the matching process. Read from unit 5. Then, the guidance processing unit 16 causes the display unit 2 to display a guidance message.
  • FIG. 8 shows an operational flowchart of the pass / fail determination process for the input biometric image, which is controlled by a computer program executed on the processing unit 6.
  • the processing unit 6 acquires an input biometric image representing the user's input biometric information from the biometric information acquisition unit 3 (step S201). Then, the processing unit 6 passes the input biological image to the first intermediate image generation unit 11 and the second intermediate image generation unit 12 of the processing unit 6.
  • the first intermediate image generation unit 11 generates a first intermediate image by performing image processing for correcting an unclear region in the input biological image on the input biological image (step S202). Then, the first intermediate image generation unit 11 passes the first intermediate image to the unclear area extraction unit 19 of the processing unit 6.
  • the unclear area extracting unit 19 detects the unclear area from the first intermediate image, and calculates the unsharpness of each unclear area (step S203). Then, the unclear area extraction unit 19 passes the information representing each unclear area and the unsharpness of each unclear area to the unclear area interpolation unit 20, the singular point candidate detection unit 13, and the pass / fail determination unit 15 of the processing unit 6.
  • the unclear area interpolation unit 20 interpolates an area that satisfies a predetermined condition in the unclear area (step S204). The predetermined condition is as described in detail above regarding the unclear area interpolation unit 20.
  • the unclear area interpolation unit 20 passes the first intermediate image subjected to the interpolation process to the singular point candidate detection unit 13.
  • the second intermediate image generation unit 12 generates a second intermediate image by performing image processing for removing noise in the input biological image on the input biological image (step S205).
  • the second intermediate image generation unit 12 passes the second intermediate image to the singular point candidate detection unit 13.
  • the singular point candidate detection unit 13 detects singular point candidates from the first intermediate image and the second intermediate image, respectively (step S206). Then, the singular point candidate detection unit 13 uses the information about the singular point candidates detected from each intermediate image (for example, the position, type, direction of the singular point candidates and the ridge direction around the singular point candidates) It passes to the point candidate distance calculation part 14. Further, the singular point candidate detection unit 13 passes the number of singular point candidates for each type of singular point to the pass / fail determination unit 15 of the processing unit 6.
  • the singular point candidate distance calculation unit 14 is assumed to correspond to the same singular point on the input biological image among the singular point candidate detected from the first intermediate image and the singular point candidate detected from the second intermediate image. Pair singularity candidates. Then, the singular point candidate distance calculation unit 14 calculates the distance between the singular point candidates included in one pair as the singular point candidate distance (step S207). Then, the singular point candidate distance calculation unit 14 passes the singular point candidate distance calculated for each pair and the number of singular point candidates that could not form a pair for each type of singular point to the pass / fail determination unit 15. .
  • the pass / fail judgment unit 15 blurs the area to which the singular point candidates belong together with the distance between singular point candidates calculated for each pair, the number of singular point candidates for each type of singular point, and the number of singular point candidates that could not form a pair. Based on the degree, a quality index Q for the input biological image is calculated (step S208). And the quality determination part 15 determines whether the quality parameter
  • the quality determination unit 15 determines that the input biometric image is inappropriate for use in the matching process. Then, the quality determination unit 15 returns a quality determination result to the processing unit 6.
  • the processing unit 6 notifies the guidance processing unit 16 that the input biometric image has been determined to be inappropriate for use in the matching process.
  • the guidance processing unit 16 reads from the storage unit 5 a guide message indicating that the input biometric image is inappropriate. Then, the guidance processing unit 16 displays the guide message on the display unit 2 (step S210). Thereafter, the processing unit 6 returns the control to step S201, and acquires the regenerated biometric input image from the biometric information acquisition unit 3 by reading the user's part again. And the process part 6 repeatedly performs the process after step S201.
  • step S210 when the quality index Q is equal to or greater than the predetermined threshold T (step S210—Yes), the quality determination unit 15 determines that the input biological image is appropriate for use in the matching process. Then, the quality determination unit 15 returns a quality determination result to the processing unit 6. Thereafter, the processing unit 6 executes the process of steps S109 to S112 shown in FIG. 6 to execute the biometric authentication process of the user using the input biometric image. At this time, in step S109, the matching unit 17 may use the first intermediate image in which the unclear region is interpolated instead of the input biological image.
  • steps S202 to S204 and the process of step S205 may be interchanged, or the processes of steps S202 to S204 and the process of step S205 may be executed in parallel.
  • the biological information processing apparatus has one local blur in two types of intermediate images obtained by performing different image processing on the input biological image.
  • the degree is used as one index for evaluating the quality of the input biological image. For this reason, the biological information processing apparatus can more accurately evaluate the quality of the input biological image, and thus can more accurately determine whether or not the acquisition of the input biological image is necessary. Furthermore, since this biometric information processing apparatus can use an image obtained by interpolating an unclear area with a surrounding clear area for the matching process, it can improve the authentication accuracy.
  • the biological information processing apparatus does not have to interpolate the unclear area extracted from the first intermediate image.
  • the function of the unclear area interpolation unit 20 is omitted.
  • the biometric information processing apparatus generates a registered biometric image representing registered biometric information of a registered user, and creates data related to the registered biometric information to be used for matching processing from the registered biometric image.
  • the biological information processing apparatus according to the third embodiment differs from the information processing apparatus according to the second embodiment only in part of the functions of the processing unit. Therefore, in the following, a description will be given of differences among the functions of the processing unit of the biological information processing apparatus according to the third embodiment from the functions of the processing unit of the information processing apparatus according to the second embodiment.
  • FIG. 9 is a functional block diagram of a processing unit included in the biological information processing apparatus according to the third embodiment.
  • the processing unit 6 includes a first intermediate image generation unit 11, a second intermediate image generation unit 12, a singular point candidate detection unit 13, a singular point candidate distance calculation unit 14, and pass / fail.
  • the determination unit 15, the guidance processing unit 16, the unclear area extraction unit 19, the unclear area interpolation unit 20, and the registration unit 21 are included.
  • each functional block of the processing unit 6 is assigned the same reference number as the corresponding functional block of the processing unit 6 shown in FIG.
  • the registration unit 21 receives from the processing unit 6 the input biometric image determined by the pass / fail determination unit 15 that the input biometric image is appropriate for use in the matching process. Then, the registration unit 21 sets the input biometric image determined to be appropriate for use in the matching process as the registered biometric image, and sets the biometric information represented in the registered biometric image as the registered biometric information.
  • FIG. 10 shows an operation flowchart of an input biometric image registration process controlled by a computer program executed on the processing unit 6. This process is executed after the pass / fail determination unit 15 determines in step S210 of the pass / fail determination process shown in FIG. 8 that the input biological image is appropriate for use in the matching process.
  • the registration unit 21 creates data related to the registered biometric information that is used for the matching process from the registered biometric image (step S301).
  • the data related to the registered biometric information can be, for example, a registered biometric image itself. Alternatively, the data related to the registered biometric information may be a registered biometric image itself or a feature value for collation processing extracted from the partial region.
  • the registration part 21 is the same as the registration biometric image itself, for example similarly to the collation part 17 of the biometric information processing apparatus 1 by 1st Embodiment.
  • a feature value for collation processing is extracted from the partial area.
  • the registration unit 21 acquires identification information of the registered user via the input unit 6 (step S302).
  • the registered user identification information may be acquired at the time of acquiring the input biometric image or before that.
  • the registration unit 21 stores the data related to the registered biometric information in the storage unit 5 in association with the identification information of the registered user (step S303).
  • the biometric information processing apparatus can acquire biometric information suitable for collation processing when registering biometric information of a registered user, and useless re-use of biometric information. Acquisition can be prevented and an increase in processing time can be prevented.
  • FIG. 11 is a functional block diagram of a processing unit having a function of generating three intermediate images.
  • the processing unit 6 includes a first intermediate image generation unit 11, a second intermediate image generation unit 12, a third intermediate image generation unit 22, a singular point candidate detection unit 13, and a singular point. It includes an inter-candidate distance calculation unit 14, a quality determination unit 15, a guidance processing unit 16, a matching unit 17, an authentication determination unit 18, a blurred region extraction unit 19, and a blurred region interpolation unit 20.
  • each functional block of the processing unit 6 is assigned the same reference number as the corresponding functional block of the processing unit 6 illustrated in FIG. 2. Below, only a different point from the function of the processing part of the living body information processor by a 1st embodiment is explained.
  • the third intermediate image generation unit 22 creates an intermediate image different from the first intermediate image and the second intermediate image.
  • the third intermediate image generating unit 22 may use the input biological image itself as the third intermediate image.
  • the 3rd intermediate image generation part 22 is good also as what performed the noise removal process different from the noise removal process utilized for the production
  • the third intermediate image generation unit 22 may use an image obtained by performing frequency enhancement processing on the input biological image as the third intermediate image. .
  • the singular point candidate detection unit 13 detects a singular point candidate from each intermediate image.
  • the singular point candidate distance calculation unit 14 calculates the singular point candidate distance between the singular point candidates detected from the intermediate images corresponding to the same singular point. Then, the singular point candidate detection unit 14 sets the average value, median value, or maximum value of the distances between the singular point candidates calculated for the singular point of interest as the singular point candidate distance for the singular point of interest. .
  • this biological information processing apparatus can statistically evaluate the distance between singular point candidates due to differences in image processing, so that the quality index based on the distance between singular point candidates can vary due to differences in image processing. Can be eliminated. Therefore, this biological information processing apparatus can stably evaluate the quality of the input biological image.
  • the processing unit determines the quality of the input biological image based on the unclearness of the region to which the singular point candidate detected from the first intermediate image belongs. May be evaluated.
  • the quality determination unit of the processing unit calculates the quality index Q so that the value of the quality index Q becomes higher as the unclearness of the region to which the singularity candidate belongs is lower.
  • the quality determination unit can calculate the quality index Q according to the following equation.
  • N 1 is the number of singular point candidates detected from the first intermediate image.
  • the pass / fail judgment unit sets the unsharpness of the area to 0.
  • A is a coefficient determined according to the number of singular point candidates that are considered to be detected in error. For example, coefficient A for each of the singular point type, the total number N e and minus from 1 the product of 0.1 singularities candidates exceeds the reference number (1-0.1 ⁇ N e), further reference value A The value obtained by multiplying 0 (for example, 1). Incidentally, if the total number N e of singularities candidates exceeds the reference number is 0, the nondefective determination unit 15, the reference value A 0 itself and the coefficient A. In this case, the functions of the second intermediate image generation unit and the singular point candidate distance calculation unit are omitted in the processing unit.
  • the processing unit of the biological information processing apparatus may have the function of the registration unit illustrated in FIG. 9 in addition to the function illustrated in FIG. 2 or FIG.
  • the biometric information processing apparatus can register biometric information used for collation processing in advance, and execute biometric authentication processing using the registered biometric information.
  • the quality determination unit of the processing unit may make the threshold value T to be compared with the quality index Q of the input biometric image different at the time of matching and at the time of registration.
  • the threshold value T r at the time of registration may be higher than the threshold value T i of the time of verification.
  • the biometric information processing apparatus can improve the accuracy of the biometric authentication process by accepting only a high-quality biometric image when creating data related to registered biometric information that is a criterion of the biometric authentication process.
  • the biometric information processing apparatus accepts a biometric image having a level of quality sufficient for use in collation processing, thereby preventing unnecessary repeated reading of biometric information.
  • the above-described biometric information processing apparatus may perform so-called 1-to-N collation in which registered biometric information to be collated with input biometric information is not specified in advance.
  • the collation unit of the processing unit collates the input biometric information with the registered biometric information for each of all registered users stored in the storage unit.
  • a collation part specifies the identification information of the registration user corresponding to the highest similarity and the highest similarity among the similarities calculated about each registration biometric information. If the maximum similarity is higher than the authentication determination threshold, the authentication determination unit authenticates the user as a registered user corresponding to the highest similarity. On the other hand, if the maximum similarity is not more than the authentication determination threshold, the authentication determination unit does not authenticate the user.
  • the biometric information processing apparatus and the biometric information processing method disclosed in this specification execute biometric authentication processing between a user's biometric information and pre-registered biometric information in order for the user to perform some operation. It can be applied to various devices or systems.
  • an apparatus or system includes a computer system in which one or more terminals and a server are connected via a communication network.
  • each terminal is provided with a biological information acquisition unit, and the biological image acquired by the biological information acquisition unit is transmitted to the server.
  • a server performs the registration process or biometrics authentication process of a biometric image by performing the function of the process part of said embodiment.
  • the processor of each terminal functions as an intermediate image generation unit, a singular point candidate detection unit, a singular point candidate distance calculation unit, a pass / fail determination unit, and a guidance processing unit.
  • the server processor may perform the remaining functions. Thereby, the processing load on the server processor can be reduced.
  • the processing unit of the portable memory device in which the biometric information acquisition unit, the storage unit, the processing unit, and the data transmission interface conforming to a standard such as Universal Serial Bus are integrally formed in the above embodiment. You may have each function of the process part of a computer.
  • a computer program having instructions for causing a computer to realize the functions of the processing units according to the above embodiments may be provided in a form recorded on a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

 生体情報処理装置は、利用者の生体情報を取得して、その生体情報を表す入力生体画像を生成する生体情報取得部と、処理部とを有する。その処理部は、入力生体画像に第1の画像処理を行うことにより、第1の中間画像を生成し、入力生体画像に第1の画像処理と異なる第2の画像処理を行うことにより、第2の中間画像を生成し、第1の中間画像及び第2の中間画像から、生体情報の特徴的な点である特異点に対応する点をそれぞれ特異点候補として検出し、生体情報における同一の特異点に対応する、第1の中間画像から検出された特異点候補と、第2の中間画像から検出された特異点候補間の距離を算出し、特異点候補間の距離が小さいほど高い値となるように入力生体画像の品質指標を算出し、その品質指標が所定の閾値よりも高いか否か判定し、品質指標が閾値以下である場合、生体情報取得部に利用者の生体情報を再取得させることを利用者に促す機能を実現する。

Description

生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
 ここに開示される実施形態は、生体画像に表された生体情報を生体認証に利用する生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラムに関する。
 近年、手または指の静脈のパターン、指紋または掌紋などの生体情報を表した生体画像に基づいて、装置またはシステムの利用者を認証する生体認証技術が開発されている。そのような生体認証技術を利用した生体認証装置は、例えば、生体認証装置を使用しようとする利用者の生体情報を表す生体画像を入力生体画像として取得する。そして生体認証装置は、入力生体画像に表された利用者の入力生体情報を、予め登録された登録利用者の生体画像に表された生体情報である登録生体情報と照合する。生体認証装置は、照合処理の結果に基づいて、入力生体情報と登録生体情報が一致すると判定した場合、その利用者を正当な権限を有する登録利用者として認証する。そして生体認証装置は、認証された利用者が生体認証装置が組み込まれた装置または生体認証装置と接続された他の装置を使用することを許可する。
 生体認証における一般的な問題として、同一人物の生体情報であっても、登録生体画像に表された生体情報と入力生体画像に表された生体情報が必ずしも一致しないということがある。この理由は、登録時と照合時とで、センサに対する生体情報を含む部位のポジショニングが異なったり、その生体情報を含む部位の状態が異なることが挙げられる。そして登録時と照合時とで、部位の状態が異なっていると、例えば、照合時に取得された生体画像から抽出される特徴量が、登録時に取得された生体画像から抽出される特徴量と異なることがある。
 例えば、生体情報として、指紋が利用される場合、登録時と照合時とで、指の肌荒れ、または乾燥の程度が異なっていたり、汗、水またはハンドクリーム等による指の表面の湿潤度合いが異なることがある。そして場合によっては、照合時において取得された指紋画像の一部の領域が不鮮明となってしまい、その指紋画像から抽出される特徴量が、登録時において取得された指紋画像から抽出される特徴量と異なってしまうことがある。
 このような場合、両方の画像から抽出された特徴量が完全に一致しないので、照合精度が低下するおそれがある。
 そこで、取得された生体画像に表された生体情報が一定の品質を持つか否か判定する技術が開発されている(例えば、特許文献1~4を参照)。
 そのような公知技術の一例では、装置は、入力指紋画像を細分化した各領域中に隆線と谷線からなる指紋が存在するか否かを判定するとともに、細分化した領域での皮膚表面の状態を判定することで、入力指紋画像が認証に適した指紋画像か否か判定する。また、指紋が存在するか否か、及び皮膚表面の状態の判定については、明るい画素/暗い画素の連結度合いまたは比率が用いられる。
 また、他の公知技術では、指紋照合装置は、指紋センサにより読み取られた画像データより濃淡度を算出し、算出した濃淡度に基づいて画像データにおける画像の品質を判定する。
 さらに他の公知技術では、指紋照合装置は、被験者の採取指紋画像データから採取指紋の隆線を強調したエッジ抽出画像データまたは各画素についての濃淡変化方向を示したグラデーション方向抽出画像データを生成する。そしてこの指紋照合装置は、エッジ画像の重心と画像中心間のずれ量またはグラデーション方向抽出画像データ中の部分領域ごとの濃淡変化の方向パターンから算出される方向パターンごとの合計数に基づいて、画像データの登録可否を決定する。
 さらに他の公知技術では、生体情報検出装置は、採取された画像において生体情報が存在する領域の画素値の平均値と標準偏差に基づいて採取された画像の状態を判定する。
特開2002-298126号公報 特開2002-208001号公報 特開2004-86463号公報 国際公開第2004/102481号パンフレット
 生体認証装置は、生体画像に表された生体情報の品質を測定し、その品質が悪い場合には、生体情報を再度読み取ることにより生体画像を再生成することで、認証精度が低下することを防止できる。
 しかし、例え、生体画像上の一部の領域が不鮮明であっても、その不鮮明な領域に照合処理にとって有用な特徴が含まれていなければ、生体認証装置は、その生体画像を用いても、入力生体情報と登録生体情報を正確に照合できる。しかし従来技術では、生体認証装置は、生体情報が表された画像について、照合処理において有用な特徴とは無関係に、同一の基準で適正か否かを判定していた。そのため、従来技術を採用した生体認証装置は、照合処理を正確に実行するために必要な情報が生体画像に含まれている場合でも、その画像を照合処理に使用するには不適切と判定してしまうことがあった。このような場合、本来であれば、利用者は、生体情報を再度読み取らせなくてよいにもかかわらず、生体情報を再入力することが求められ、その結果、生体認証処理に余計な時間が掛かってしまうおそれがあった。
 そこで、本明細書は、照合に適した生体情報を取得できるとともに、生体情報の無用な再取得を防止可能な生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラムを提供することを目的とする。
 一つの実施形態によれば、生体情報処理装置が提供される。この生体情報処理装置は、利用者の生体情報を取得して、その生体情報を表す入力生体画像を生成する生体情報取得部と、処理部とを有する。その処理部は、入力生体画像に第1の画像処理を行うことにより、第1の中間画像を生成する第1中間画像生成機能と、入力生体画像に第1の画像処理と異なる第2の画像処理を行うことにより、第2の中間画像を生成する第2中間画像生成機能と、第1の中間画像及び第2の中間画像から、入力生体画像に表された利用者の生体情報である入力生体情報の特徴的な点である特異点に対応する点をそれぞれ特異点候補として検出する特異点検出機能と、入力生体情報における同一の特異点に対応する、第1の中間画像から検出された特異点候補と、第2の中間画像から検出された特異点候補間の距離を算出する特異点候補間距離算出機能と、特異点候補間の距離が小さいほど高い値となるように入力生体画像の品質指標を算出し、その品質指標が所定の閾値よりも高いか否か判定する良否判定機能と、品質指標が閾値以下である場合、生体情報取得部に利用者の生体情報を再取得させることを利用者に促すガイダンス機能とを実現する。
 さらに他の実施形態によれば、生体情報処理方法が提供される。この生体情報処理方法は、利用者の生体情報を取得して、その生体情報を表す入力生体画像を生成し、入力生体画像に第1の画像処理を行うことにより、第1の中間画像を生成し、入力生体画像に第1の画像処理と異なる第2の画像処理を行うことにより、第2の中間画像を生成し、第1の中間画像及び第2の中間画像から、入力生体画像に表された利用者の生体情報である入力生体情報の特徴的な点である特異点に対応する点をそれぞれ特異点候補として検出し、入力生体情報における同一の特異点に対応する、第1の中間画像から検出された特異点候補と、第2の中間画像から検出された特異点候補間の距離を算出し、特異点候補間の距離が小さいほど高い値となるように入力生体画像の品質指標を算出し、その品質指標が所定の閾値よりも高いか否か判定し、品質指標が閾値以下である場合、生体情報取得部に利用者の生体情報を再取得させることを利用者に促すことを含む。
 さらに他の実施形態によれば、生体情報の処理をコンピュータに行わせるコンピュータプログラムが提供される。このコンピュータプログラムは、生体情報取得部により生成された、利用者の生体情報を表す入力生体画像に第1の画像処理を行うことにより、第1の中間画像を生成し、入力生体画像に第1の画像処理と異なる第2の画像処理を行うことにより、第2の中間画像を生成し、第1の中間画像及び第2の中間画像から、入力生体画像に表された利用者の生体情報である入力生体情報の特徴的な点である特異点に対応する点をそれぞれ特異点候補として検出し、入力生体情報における同一の特異点に対応する、第1の中間画像から検出された特異点候補と、第2の中間画像から検出された特異点候補間の距離を算出し、特異点候補間の距離が小さいほど高い値となるように入力生体画像の品質指標を算出し、その品質指標が所定の閾値よりも高いか否か判定し、品質指標が閾値以下である場合、生体情報取得部に利用者の生体情報を再取得させることを利用者に促す、ことをコンピュータに実行させる命令を有する。
 本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
 上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
 本明細書に開示された生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラムは、照合に適した生体情報を取得できるとともに、生体情報の無用な再取得を防止することができる。
図1は、第1の実施形態による、生体情報処理装置の概略構成図である。 図2は、第1の実施形態による、利用者に対する生体認証処理を実行するために実現される機能を示す、生体情報処理装置が有する処理部の機能ブロック図である。 図3は、指紋上に存在する特異点の一例を示す図である。 図4(a)~(c)は、それぞれ、入力生体画像、第1中間画像、第2中間画像の例を示す図である。 図5は、処理部上で実行されるコンピュータプログラムにより制御される、生体認証処理の動作フローチャートを示す図である。 図6は、処理部上で実行されるコンピュータプログラムにより制御される、生体認証処理の動作フローチャートを示す図である。 図7は、第2の実施形態による、利用者に対する生体認証処理を実行するために実現される機能を示す、生体情報処理装置が有する処理部の機能ブロック図である。 図8は、処理部上で実行されるコンピュータプログラムにより制御される、入力生体画像の良否判定処理の動作フローチャートを示す図である。 図9は、第3の実施形態による、利用者の生体情報を登録するために実現される機能を示す、生体情報処理装置が有する処理部の機能ブロック図である。 図10は、処理部上で実行されるコンピュータプログラムにより制御される、入力生体画像の登録処理の動作フローチャートを示す図である。 図11は、3個の中間画像を生成する機能を有する処理部の機能ブロック図である。
 以下、図を参照しつつ、第1の実施形態による、生体認証処理を実行する生体情報処理装置について説明する。
 この生体情報処理装置は、利用者に対する生体認証処理を実行するために、利用者の生体情報を表した画像である入力生体画像を取得する。この生体情報処理装置は、入力生体画像に対して2種類の互いに異なる画像処理を実行し、その画像処理結果として得られた2種類の中間画像から、それぞれ、利用者の生体情報の特徴的な点である特異点を抽出する。そしてこの生体情報処理装置は、2種類の中間画像からそれぞれ抽出された特異点の一致度合いにより、入力生体画像の良否を判定する。
 本実施形態では、生体情報処理装置は、生体認証の対象となる生体情報として指の指紋を利用する。しかし、生体認証の対象となる生体情報は、掌紋、鼻紋、静脈パターン、掌形、顔貌、耳介または網膜パターンなど、静止画像に表される他の生体情報であってもよい。
 また、本明細書において、「照合処理」という用語は、入力生体情報と登録生体情報の類似度合いを表す類似度を算出する処理を示すために使用される。また、「生体認証処理」という用語は、照合処理だけでなく、照合処理により求められた類似度を用いて、利用者を認証するか否かを決定する処理を含む、認証処理全体を示すために使用される。
 図1は、生体情報処理装置の概略構成図を示す。図1に示されるように、この生体情報処理装置1は、表示部2と、生体情報取得部3と、入力部4と、記憶部5と、処理部6とを有する。生体情報処理装置1は、生体情報取得部3により利用者の指の指紋を表す入力生体画像を生成し、その入力生体画像を用いて生体認証処理を実行する。そして生体情報処理装置1は、生体認証処理の結果、利用者を登録利用者の何れかとして認証した場合、生体情報処理装置1が実装された装置をその利用者が使用することを許可する。あるいは、生体情報処理装置1は、図示しない他の装置へ、利用者が認証された旨を表す信号を送信して、その利用者が他の装置を使用することを許可する。
 表示部2は、例えば、液晶ディスプレイまたはCRTモニタなどの表示装置を有する。そして表示部2は、生体情報取得部3が適正な入力生体画像を取得可能な位置へ、指を配置させるためのガイダンスメッセージを利用者に対して表示する。また表示部2は、処理部6により実行されたアプリケーションに関連する各種情報などを表示する。
 生体情報取得部3は、利用者の指紋を表す入力生体画像を生成する。そのために、生体情報取得部3は、例えば、スイープ式の指紋センサを有する。この指紋センサは、例えば、光学式、静電容量式、電界式または感熱式の何れかの方式を採用したセンサとすることができる。また生体情報取得部3は、エリアセンサを利用する、何れかの指紋センサを有してもよい。そして生体情報取得部3は、生成した入力生体画像を処理部6へ渡す。
 なお生体情報取得部3は、表示部2または入力部4と一体的に形成されていてもよい。
 入力部4は、例えば、キーボード、マウス、またはタッチパッドなどのユーザインターフェースを有する。そして入力部4を介して利用者により入力されたコマンド、データ、あるいは利用者の識別情報は、処理部6へ渡される。ただし、利用者が生体情報以外の情報を生体情報処理装置1に対して入力する必要がない場合、この入力部4は省略されてもよい。
 記憶部5は、例えば、半導体メモリ、磁気ディスク装置、または光ディスク装置のうちの少なくとも何れか一つを有する。そして記憶部5は、生体情報処理装置1で使用されるアプリケーションプログラム、少なくとも一人の登録利用者の識別情報及び個人設定情報、各種のデータ等を記憶する。また記憶部5は、生体認証処理を実行するためのプログラムを記憶する。さらに記憶部5は、登録利用者それぞれについて、登録利用者の登録生体情報である特定の指の指紋に関するデータを記憶する。この登録生体情報に関するデータは、例えば、登録利用者の特定の指の指紋を撮影した画像である登録生体画像とすることができる。あるいは、この登録生体情報に関するデータは、登録生体画像そのものまたはその部分領域から抽出された照合処理用の特徴量であってもよい。
 また記憶部5は、生体情報取得部3が適正な入力生体画像を取得可能な位置へ、指を配置させるためのガイダンスメッセージを記憶する。
 処理部6は、1個または複数個のプロセッサ及びその周辺回路を有する。そして処理部6は、生体情報取得部3から取得した、その利用者の指紋である入力生体情報が表された入力生体画像を用いた生体認証処理を実行する。
 図2は、生体認証処理を実行するために実現される機能を示す処理部6の機能ブロック図である。図2に示されるように、処理部6は、第1中間画像生成部11と、第2中間画像生成部12と、特異点候補検出部13と、特異点候補間距離算出部14と、良否判定部15と、ガイダンス処理部16と、照合部17と、認証判定部18とを有する。処理部6が有するこれらの各部は、処理部6が有するプロセッサ上で実行されるコンピュータプログラムによって実装される機能モジュールである。あるいは、処理部6が有するこれらの各部は、ファームウェアとして生体情報処理装置1に実装されてもよい。
 第1中間画像生成部11は、入力生体画像に対して、入力生体画像中の不鮮明な領域を補正する画像処理を実行することにより、第1中間画像を生成する。そのような画像処理として、例えば、コントラスト補正処理あるいは周波数強調処理が用いられる。
 第1中間画像生成部11は、コントラスト補正処理として、例えば、入力生体画像中の入力生体情報が写っている生体領域内の画素値の最大値と最小値が、それぞれ、所定値(例えば、最大値が255、最小値が0)となるように、入力生体画像を階調変換する。そして第1中間画像生成部11は、階調変換された入力生体画像を第1中間画像とする。なお、生体領域は、例えば、入力生体画像全体を所定の閾値で2値化することにより検出できる。例えば、入力生体画像上で指が接触していない部分である背景領域内の画素値は、一般に、非常に低い値または非常に高い値となる。そのため、背景領域内の画素値の分布は、生体領域内の画素値の分布と異なる。そこで、第1中間画像生成部11は、入力生体画像全体の画素値のヒストグラムに対する判別分析により、所定の閾値を決定できる。
 あるいは、第1中間画像生成部11は、周波数強調処理として、例えば、入力生体画像を高速フーリエ変換する。第1中間画像生成部11は、高速フーリエ変換により得られた周波数画像に対して、隆線間隔に相当する周波数成分を強調する。そして第1中間画像生成部11は、周波数強調された周波数画像に対して逆高速フーリエ変換することにより、第1中間画像を生成する。なお、第1中間画像生成部11は、高速フーリエ変換の変わりに、ウェーブレット変換を用いてもよい。また第1中間画像生成部11は、入力生体画像に対して、コントラスト補正処理と周波数強調処理をそれぞれ実行することにより、第1中間画像を生成してもよい。
 第1中間画像生成部11は、第1中間画像を特異点候補検出部13へ渡す。
 第2中間画像生成部12は、入力生体画像に対して、入力生体画像中のノイズを除去する画像処理を実行することにより、第2中間画像を生成する。そのような画像処理として、例えば、ガウシアンフィルタあるいはメディアンフィルタなどを用いたマスク処理が用いられる。あるいは、第2中間画像生成部12は、入力生体画像に対して、モルフォロジーのオープニング演算あるいはクロージング演算を行ってもよい。なお、第2中間画像生成部12は、入力生体画像をそのまま第2中間画像としてもよい。
 第2中間画像生成部12は、第2中間画像を特異点候補検出部13へ渡す。
 なお、第1中間画像生成部11及び第2中間画像生成部12により行われる画像処理は、入力生体情報に含まれる、隆線の各端点、各分岐点あるいは後述する特異点間の相対的な位置関係が変化しない処理であることが好ましい。
 特異点候補検出部13は、入力生体情報において特徴的な点である特異点に対応する点を、第1の中間画像及び第2の中間画像からそれぞれ検出する。このような特異点が正確に検出できれば、この入力生体画像には、利用者の入力生体情報の特徴的な部分が写っていると考えられる。そのため、入力生体画像の品質は、照合処理に利用できる程度に良好であると考えられる。
 本実施形態では、入力生体情報は指紋である。そこで、指紋を特徴付ける代表的な特異点を例示する。
 図3は、指紋上に存在する特異点の一例を表す図である。図3に示される指紋画像300において、黒い線は隆線を表し、白い線は谷線を表す。また指紋画像300の上側が、指の先端側となる。そして指紋上では、隆線が渦状に形成されるので、その渦の中心が特異点となる。例えば、上に凸な隆線の渦の中心301は上凸コアと呼ばれる。また、指紋によっては、下に凸な隆線の渦の中心302が形成される。この下に凸な隆線の渦の中心302は下凸コアと呼ばれる。また、指紋によっては、隆線が三角州状に形成される。このような点303、304も、一つの指紋において通常2個以下しか存在しない。そこで隆線が三角州状に形成された点303、304は、デルタ特異点と呼ばれる。
 そこで特異点候補検出部13は、特異点候補として、上凸コア及び下凸コアと、デルタ特異点に対応する点を検出する。
 特異点候補検出部13は、例えば、各中間画像から各画素のポアンカレ指数を算出し、そのポアンカレ指数が所定の条件を満たす画素を、上凸コア、下凸コアあるいはデルタ特異点の候補として検出する。なお、ポアンカレ指数を用いて特異点を検出する方法は、例えば、D.Maltoni他、「指紋認識ハンドブック」、Springer Science, p.100、あるいは、河越他、「指紋パターン分類」、パターン認識、1984年、Vol.17、no.3、pp.295-303に開示されている。
 また、特異点候補検出部13は、以下の手順に従って、特異点の候補を検出してもよい。
 先ず、特異点候補検出部13は、局所閾値法を用いて各中間画像を2値化することにより、隆線に対応する画素と谷線に対応する画素が異なる値を持つ2値化中間画像を作成する。次に、特異点候補検出部13は、隆線が一つの画素の幅で表されるように、2値化中間画像に対して細線化処理を行う。その後、特異点候補検出部13は、上凸コアに対応する少なくとも一つのテンプレートと、細線化された2値化中間画像との間でテンプレートマッチングを実行することにより、相関値を求める。その際、特異点候補検出部13は、細線化された2値化中間画像に対するテンプレートの相対的な位置を変更しつつ、細線化された2値化中間画像上の各位置についてテンプレートとの相関値を求める。そして特異点候補検出部13は、細線化された2値化中間画像上で、求められた相関値が所定値(例えば、0.9)以上となる場合、特異点候補検出部13は、その相関値に対応する位置に上凸コアの候補が存在すると判定する。
 同様に、特異点候補検出部13は、細線化された2値化中間画像と、下凸コアまたはデルタ特異点に対応するテンプレートとのテンプレートマッチングを行うことにより、各中間画像から下凸コア及びデルタ特異点の候補を抽出する。
 ただし、細線化された2値化中間画像と上凸コアに対応するテンプレートとの相関値の最大値が所定値未満であれば、特異点候補検出部13は、上凸コアの候補を検出しない。同様に、細線化された2値化中間画像と下凸コアまたはデルタ特異点に対応するテンプレートとの相関値の最大値が所定値未満であれば、特異点候補検出部13は、下凸コアまたはデルタ特異点の候補を検出しない。
 なお、各テンプレートは、例えば、複数の隆線が含まれる程度の大きさを持つ。そして上凸コアに対応するテンプレートには、上凸コアに対応する2値パターン、例えば、略同心円状の上側に凸な複数の円弧が表される。同様に、下凸コアに対応するテンプレートには、下凸コアに対応する2値パターン、例えば、略同心円状の下側に凸な複数の円弧が表される。さらに、デルタ特異点に対応するテンプレートには、一つの画素から3本向へ隆線が伸びるパターンが表される。
 特異点候補検出部13は、上凸コアの候補が検出された場合、細線化された2値化中間画像上の、上凸コアが検出された位置周辺で、上凸コアよりも下方に存在する領域に含まれる複数の隆線の方向を求めてもよい。そのような領域は、例えば、水平方向について、上凸コアが検出された位置を水平方向の中心として、隆線が複数本含まれる幅を有するとともに、垂直方向について、上凸コアが検出された位置を上端として、隆線が複数本含まれる幅を有する。特異点候補検出部13は、その領域内の複数の隆線の方向の平均値を、上凸コアを形成する隆線の方向とする。同様に、下凸コアの候補が検出された場合、特異点候補検出部13は、下凸コアが検出された位置周辺で、下凸コアよりも上方に存在する領域に含まれる複数の隆線の方向を求めてもよい。さらに、特異点候補検出部13は、デルタ特異点に合流する3方向からの隆線の方向をそれぞれ求めてもよい。
 なお、特異点候補検出部13は、上凸コア、下凸コア及びデルタ特異点などの特異点を検出する公知の他の方法を用いて、各中間画像からそれらの特異点候補を抽出してもよい。また、特異点候補検出部13は、特異点候補の周囲の隆線の方向を求めるために、隆線方向を求める公知の何れかの方法を利用することができる。
 特異点候補検出部13は、各中間画像から検出された特異点候補について、その特異点の種別(すなわち、上凸コア、下凸コアまたはデルタ特異点)を識別する情報及びその特異点候補が検出された中間画像上の位置を特異点候補間距離算出部14へ渡す。また、特異点候補の周囲の隆線の方向が求められている場合には、特異点候補検出部13は、特異点候補の周囲の隆線方向も特異点候補間距離算出部14へ渡す。さらに特異点候補検出部13は、上凸コアと下凸コアの両方の特異点候補が検出されている場合には、上凸コアに対する特異点候補に関する情報とともに、上凸コアから下凸コアへの方向ベクトルを上凸コアの方向として特異点候補間距離算出部14へ渡してもよい。同様に、特異点候補検出部13は、下凸コアに対する特異点候補に関する情報とともに、下凸コアから上凸コアへの方向ベクトルを下凸コアの方向として特異点候補間距離算出部14へ渡してもよい。
 さらに、特異点候補算出部13は、特異点の種別ごとに、各中間画像から検出された特異点候補の数を、良否判定部15へ通知する。
 特異点候補間距離算出部14は、入力生体情報の特異点に対応する、第1中間画像から検出された特異点候補と、第2中間画像から検出された特異点候補間の距離を、特異点候補間距離として算出する。
 第1中間画像及び第2中間画像は何れも入力生体画像から生成されているので、もし入力生体画像が十分に鮮明な画像であれば、第1中間画像と第2中間画像の同じ位置に、同じ種類の特異点候補が検出される可能性が高い。しかし、入力生体画像の一部または全部が不鮮明な場合、第1中間画像の生成に利用される画像処理と第2中間画像の生成に利用される画像処理の違いにより、その不鮮明な領域の特徴が異なることがある。
 図4(a)~(c)は、それぞれ、入力生体画像、第1中間画像、第2中間画像の例を示す図である。
 図4(a)に示された入力生体画像400では、上凸コア401が含まれる領域402が不鮮明となっている。また、図4(b)に示された第1中間画像410では、不鮮明領域402内の隆線は、入力生体画像400における不鮮明領域402の隆線と同じように見える。そのため、上凸コアの候補403は、入力生体画像400における上凸コア401と同じ位置で検出される。一方、図4(c)に示された第2中間画像420では、画像処理の結果、不鮮明領域402内の隆線構造が入力生体画像400の不鮮明領域402内の隆線構造と異なっている。そのため、上凸コアの候補404は、入力生体画像400における上凸コア401と異なる位置で検出される。
 このように、入力生体情報の何れかの特異点に対して、各中間画像から検出される特異点候補の位置または種別などが異なってしまうことがある。あるいは、一方の中間画像から、その特異点に対応する特異点候補が検出されないこともある。そこで、特異点候補距離は、入力生体画像の品質を測定する有用な情報となる。
 例えば、特異点候補間距離算出部14は、第1中間画像から検出された特異点候補のうちの着目する特異点候補と、第2中間画像から検出された特異点候補のうち、その着目特異点候補に最も近い特異点候補とをペアにする。その際、特異点候補間距離算出部14は、他方の中間画像から検出された特異点候補の何れかと既にペアを形成している、一方の中間画像の特異点候補を、他方の中間画像の他の特異点候補とのペアを形成しないようにしてもよい。また特異点候補間距離算出部14は、互いに種別が異なる特異点候補をペアとしないようにしてもよい。
 特異点候補間距離算出部14は、ペアとなった特異点候補間のユークリッド距離を、特異点候補間距離とする。また、特異点候補間距離算出部14は、ペアを形成する二つの特異点候補間の水平方向及び垂直方向の位置の差、方向の差、周囲の隆線の方向の差をそれぞれ要素とする多次元ベクトルの距離を、特異点候補間距離としてもよい。
 さらに、特異点候補間距離算出部14は、ペアを形成できなかった特異点候補の数を、特異点の種別ごとに数える。
 特異点候補間距離算出部14は、ペアごとに算出された特異点候補間距離と、ペアを形成できなかった特異点候補の数とを、良否判定部15へ渡す。
 良否判定部15は、生体情報取得部3により生成された入力生体画像が照合処理に使用するのに適正か否か判定する。そこで良否判定部15は、特異点間候補距離、検出された特異点候補の種別ごとの数、及び特異点候補のペアを形成できなかった特異点候補の数に基づいて、入力生体画像の品質を表す指標を算出する。
 例えば、良否判定部15は、次式に従って入力生体画像の品質指標Qを算出する。
Figure JPOXMLDOC01-appb-M000001
ここでNは、特異点候補のペアの数であり、δiは、特異点候補のペアi(i=0,1,...,N-1)の特異点候補間距離を表す。またδmaxは、特異点候補間距離の正規化基準値であり、例えば、入力生体画像上の一つの特異点に対して実験的に求められた特異点候補間距離の最大値に設定される。またN1、N2は、それぞれ、第1中間画像から検出された特異点候補の数及び第2中間画像から検出された特異点候補の数である。そして関数max(N1,N2)は、N1とN2のうちの大きい方の値を出力する関数である。さらにAは、ペアが形成されなかった特異点候補の数または誤って検出されたと考えられる特異点候補の数に従って決定される係数である。
 なお、(1)式において、δmaxの代わりに、例えば、照合時において、入力生体画像と登録生体画像とが最も良好に一致する位置を探索する際の探索範囲に相当する、両画像の最大位置ずれ量が用いられてもよい。例えば、水平方向の最大位置ずれ量をLx、垂直方向の最大位置ずれ量をLyとしたとき、LxまたはLyのうちの大きいほうの値をδmaxの代わりに用いることができる。
 係数Aは、例えば、各中間画像から検出された特定の種別の特異点候補の数が、一般に存在するその種別の特異点の最大数よりも大きくなるほど、小さな値に設定される。例えば、上凸コアは、一般に、指紋に一つしか存在しない。また下凸コア及びデルタ特異点は、それぞれ、一般に指紋に2個以下しか存在しない。そこで、良否判定部15は、第1中間画像及び第2中間画像からそれぞれ検出された、特異点の種別ごとの特異点候補の数のうち、大きい方の数を特異点の種別ごとの一般に存在する最大数と比較する。そして良否判定部15は、例えば、特異点の種別ごとに、最大数を超えた特異点候補の合計数Neと0.1の積を1から引いた値(1-0.1×Ne)を、基準値A0(例えば1)に乗じることで得られた値を係数Aとする。なお、最大数を超えた特異点候補の合計数Neが0であれば、良否判定部15は、基準値A0自体を係数Aとする。
 また良否判定部15は、ペアが形成されなかった特異点候補の数Nfと0.1の積を1から引いた値(1-0.1×Nf)を、基準値A0に乗じることで得られた値を係数Aとしてもよい。あるいは、良否判定部15は、最大数を超えた特異点候補の合計数Neとペアが形成されなかった特異点候補の数Nfとの和と0.1の積を1から引いた値(1-0.1×(Ne+Nf))を、基準値A0に乗じることで得られた値を係数Aとしてもよい。
 良否判定部15は、算出された品質指標Qを所定の閾値Tと比較する。そして良否判定部15は、品質指標Qが閾値T以上であれば、入力生体画像は照合処理に使用するのに適していると判定する。一方、品質指標Qが閾値T未満であれば、良否判定部15は、入力生体画像は照合処理に使用するのに適していないと判定する。なお、所定の閾値Tは、例えば、生体画像を照合処理に用いたときの本人棄却率が許容範囲内となる、その生体画像に対する品質指標Qの限界値として、実験的に決定される。
 良否判定部15は、良否判定結果を示す情報を処理部6へ渡す。
 ガイダンス処理部16は、処理部6から入力生体画像が照合処理に使用するのに不適切であるとの判定結果を通知されると、利用者に入力生体情報の再入力を促すガイダンスメッセージを記憶部5から読み出す。
 そしてガイダンス処理部16は、読み込んだガイダンスメッセージを表示部2に表示させる。なお、ガイダンス処理部16は、生体情報処理装置1がスピーカを有している場合、ガイダンスメッセージを、スピーカを介して音声により利用者に報知させてもよい。
 またガイダンス処理部16は、利用者にとって再読み取りの際の部位のポジショニングの参考となるように、不適切と判定された入力生体画像あるいは何れかの中間画像を表示部2に表示させてもよい。
 照合部17は、処理部6から入力生体画像及び利用者の識別情報を受け取ると、利用者の識別情報に対応する登録生体情報に関するデータを記憶部5から読み込む。そして照合部17は、入力生体情報と、読み込んだデータに表された登録生体情報を照合する。そして照合部17は、照合処理の結果として、入力生体情報が登録生体情報に類似している度合いを表す類似度を求める。なお、照合部17は、入力生体画像の代わりに、第1中間画像または第2中間画像を用いてもよい。
 照合部17は、照合処理として、例えば、マニューシャマッチング、あるいはパターンマッチングを用いることができる。
 照合部17は、マニューシャマッチングにより入力生体情報と登録生体情報を照合する場合、入力生体画像から照合用の特徴点を抽出する。そして照合部17は、入力生体画像から抽出された特徴点と、記憶部5に登録生体情報に関するデータとして記憶されている、登録生体画像から抽出された複数の特徴点を使用する。
 照合部17は、照合用の特徴点(マニューシャ)として、例えば、隆線の端点、分岐点を抽出する。そこで照合部17は、隆線の分岐点及び端点を入力生体画像から抽出するために、入力生体画像から隆線が細線化された2値化画像を生成する。そして、照合部17は、複数のマスクパターンを用いて細線化された入力生体画像を走査することにより、何れかのマスクパターンと一致するときの、入力生体画像上の位置を検出する。そして照合部17は、検出された位置の中心画素を、特徴点として抽出する。なお、マスクパターンは、例えば、3×3画素で表され、隆線の分岐点または端点に対応する2値パターンを持つ。さらに照合部17は、抽出された特徴点の位置、及びその特徴点近傍の隆線方向を、特徴点を表す情報として求める。なお、照合部17は、特徴点近傍の隆線方向を求めるために、隆線方向を求める公知の何れかの方法を利用することができる。
 登録生体画像に対しても、入力生体画像に対して行う処理と同様の処理を行って、登録生体画像から特徴点が抽出され、抽出された特徴点の位置及び特徴点近傍の隆線方向が記憶部5に記憶される。
 なお、照合部17は、隆線の端点または分岐点を特徴点として求める公知の他の方法を用いて、入力生体画像から特徴点を抽出してもよい。
 照合部17は、登録生体画像のうち、登録生体情報が写っている領域の中心付近に位置する特徴点を、第1の基準特徴点として選択する。また照合部17は、入力生体画像から抽出された特徴点のうちの一つを第2の基準特徴点として選択する。そして照合部17は、第2の基準特徴点を第1の基準特徴点と一致させるように、入力生体画像を平行移動させる。なお、照合部17は、上凸コア、下凸コアなどの特異点を、第1の基準特徴点及び第2の基準特徴点としてもよい。その後、照合部17は、入力生体画像を回転させながら、登録生体画像の特徴点と一致する入力生体画像の特徴点の個数を求める。照合部17は、第1の基準特徴点と第2の基準特徴点の組み合わせを変えつつ、上記の処理を繰り返して、登録生体画像の特徴点と一致する入力生体画像の特徴点の個数の最大値を求める。
 最後に、照合部17は、その個数の最大値を、入力生体画像から抽出された特徴点の総数で割った値を類似度として求める。したがって、この場合、類似度は0~1の値を持ち、入力生体情報と登録生体情報の類似度合いが高い程、類似度の値は1に近づく。
 なお、登録生体情報の特徴点と一致する入力生体情報の特徴点を検出するために、照合部17は、入力生体情報の着目特徴点の位置から所定範囲内に、登録生体情報の特徴点が存在するか否か調べる。ここで、所定範囲は、例えば、隣接する2本の隆線の平均間隔に相当する値とすることができる。照合部17は、着目特徴点の位置から所定範囲内に登録生体情報の特徴点が存在する場合、それら特徴点近傍の隆線方向の角度差を求める。そして隆線方向の角度差の絶対値が所定角度範囲内に含まれる場合、照合部17は、その登録生体情報の特徴点を、入力生体情報の着目特徴点と一致すると判定する。なお所定角度範囲は、着目特徴点近傍の隆線方向と対応する登録生体情報の特徴点近傍の隆線方向とが一致しているとみなせる許容限界に対応する値であり、例えば、10度とすることができる。なお、照合部17は、着目特徴点の位置から所定範囲内に、着目特徴点と同じ種類の登録生体情報の特徴点が存在する場合にのみ、入力生体情報の着目する特徴点と一致する登録生体情報の特徴点が存在すると判定してもよい。また、照合部17は、入力生体情報の特徴点と一致する登録生体情報の特徴点の個数を求める公知の他の方法を利用してもよい。
 また、照合部17は、パターンマッチングにより入力生体情報と登録生体情報を照合する場合、入力生体画像と、記憶部5に登録生体情報に関するデータとして記憶されている登録生体画像を使用する。そして照合部17は、入力生体画像と登録生体画像の相対的な位置を様々に変えつつ、下記の式を用いて、入力生体画像と登録生体画像間の相関値c(i,j)を算出する。
Figure JPOXMLDOC01-appb-M000002
ここで、I(x,y)は、入力生体画像に含まれる、水平座標x、垂直座標yの画素の画素値を表す。またT(x-i,y-j)は、登録生体画像に含まれる、水平座標(x-i)、垂直座標(y-j)の画素の画素値を表す。また、Iavは、入力生体画像に含まれる画素の平均画素値であり、Tavは、登録生体画像に含まれる画素の平均画素値である。なお、i及びjは、それぞれ、入力生体画像と登録生体画像の水平方向及び垂直方向のずれ量を表す。さらにc(i,j)は、入力生体画像が、登録生体画像に対して水平方向にi画素かつ垂直方向にj画素ずれているときの相関値を表す。この相関値c(i,j)は、-1~1の間に含まれる値をとり得る。入力生体画像と登録生体画像とが完全に一致している場合、相関値c(i,j)は1となる。一方、入力生体画像と登録生体画像とが完全に反転している場合、相関値c(i,j)は-1となる。
 照合部17は、算出された類似度を登録利用者の識別情報とともに認証判定部18へ渡す。
 認証判定部18は、類似度が認証判定閾値以上となる場合、入力生体情報と登録生体情報は一致すると判定する。そして認証判定部18は、利用者を、入力部4を介して入力された識別情報に対応する登録利用者として認証する。認証判定部18は、利用者を認証すると、その認証結果を処理部6へ通知する。そして処理部6は、認証された利用者が生体認情報処理装置1が実装された装置あるいは生体認情報処理装置1が接続された装置を利用することを許可する。
 一方、認証判定部18は、類似度が認証判定閾値未満となる場合、入力生体情報と登録生体情報は一致しないと判定する。この場合には、認証判定部18は、利用者を認証しない。認証判定部18は、利用者の認証に失敗したことを示す認証結果を処理部6へ通知する。そして処理部6は、認証されなかった利用者が生体認情報処理装置1が実装された装置あるいは生体認情報処理装置1が接続された装置を使用することを拒否する。また処理部6は、表示部2に、認証に失敗したことを示すメッセージを表示させる。
 認証判定閾値は、登録利用者本人が利用者である場合にのみ、認証判定部18が認証に成功するような値に設定されることが好ましい。そして認証判定閾値は、登録利用者とは異なる他人が利用者である場合には、認証判定部18が認証に失敗するような値に設定されることが好ましい。例えば、認証判定閾値は、類似度の取りうる最大値と最小値の差に0.7を乗じた値を、類似度の最小値に加えた値とすることができる。
 図5及び図6は、処理部6上で実行されるコンピュータプログラムにより制御される、生体認証処理の動作フローチャートを示す。
 図5に示されるように、処理部6は、生体情報取得部3から、利用者の入力生体情報を表す入力生体画像を取得する(ステップS101)。そして処理部6は、入力生体画像を処理部6の第1中間画像生成部11及び第2中間画像生成部12へ渡す。
 第1中間画像生成部11は、入力生体画像に対して、入力生体画像中の不鮮明な領域を補正するような画像処理を実行することにより、第1中間画像を生成する(ステップS102)。また第2中間画像生成部12は、入力生体画像に対して、入力生体画像中のノイズを除去するような画像処理を実行することにより、第2中間画像を生成する(ステップS103)。第1中間画像生成部11及び第2中間画像生成部12は、それぞれ、生成した中間画像を処理部6の特異点候補検出部13へ渡す。
 特異点候補検出部13は、第1中間画像及び第2中間画像から、それぞれ特異点候補を検出する(ステップS104)。そして特異点候補検出部13は、各中間画像から検出された特異点候補に関する情報(例えば、特異点候補の位置、種別、方向及び特異点候補周囲の隆線方向)を、処理部6の特異点候補間距離算出部14へ渡す。また特異点候補検出部13は、特異点の種別ごとの特異点候補の数を処理部6の良否判定部15へ渡す。
 特異点候補間距離算出部14は、第1中間画像から検出された特異点候補と第2中間画像から検出された特異点候補のうち、入力生体画像上の同一の特異点に対応する特異点候補をペアとする。そして特異点候補間距離算出部14は、一つのペアに含まれる特異点候補間の距離を、特異点候補間距離として算出する(ステップS105)。そして特異点候補間距離算出部14は、ペアごとに算出された特異点候補間距離と、ペアを形成できなかった特異点候補の数とを、良否判定部15へ渡す。
 良否判定部15は、ペアごとに算出された特異点候補間距離、特異点の種別ごとの特異点候補の数及びペアを形成できなかった特異点候補の数に基づいて、入力生体画像に対する品質指標Qを算出する(ステップS106)。そして良否判定部15は、その品質指標Qが所定の閾値T以上か否か判定する(ステップS107)。
 品質指標Qが所定の閾値T未満である場合(ステップS107-No)、良否判定部15は、入力生体画像は照合処理に用いるのに不適切であると判定する。そして良否判定部15は、良否判定結果を処理部6に返す。
 処理部6は、ガイダンス処理部16に対して、入力生体画像は、照合処理に使用するには不適正であると判定されたことを通知する。ガイダンス処理部16は、処理部6からその通知を受け取ると、入力生体画像が不適正となったことを示すガイドメッセージを記憶部5から読み込む。そしてガイダンス処理部16は、そのガイドメッセージを表示部2に表示させる(ステップS108)。その後、処理部6は、制御をステップS101に戻し、生体情報取得部3から、利用者の部位を再度読み取ることにより再生成された入力生体画像を取得する。そして処理部6は、ステップS101以降の処理を繰り返し実行する。
 一方、品質指標Qが所定の閾値T以上である場合(ステップS107-Yes)、良否判定部15は、入力生体画像は照合処理に用いるのに適切であると判定する。そして良否判定部15は、良否判定結果を処理部6に返す。
 図6に示されるように、処理部6は、入力生体画像と利用者の識別情報を照合部17に渡す。照合部17は、入力生体画像と利用者の識別情報を受け取ると、利用者の識別情報に対応する登録生体情報に関するデータを記憶部5から読み出す。そして照合部17は、入力生体画像に表された入力生体情報を、読み込んだデータに表された登録生体情報と照合する。そして照合部17は、入力生体情報と登録生体情報の類似度を算出する(ステップS109)。照合部17は、算出された類似度を利用者の識別情報とともに処理部6の認証判定部18へ渡す。
 認証判定部18は、類似度が認証判定用閾値以上となるか否か判定する(ステップS110)。
 類似度が認証判定用閾値以上である場合(ステップS110-Yes)、認証判定部18は利用者を入力された識別情報に対応する登録利用者として認証する(ステップS111)。
 一方、類似度が認証判定用閾値未満である場合(ステップS110-No)、認証判定部18は利用者を認証しない(ステップS112)。
 ステップS111またはS112の後、処理部6は、生体認証処理を終了する。
 なお、処理部6は、ステップS102及びS103の処理を同時に実行してもよい。あるいは、ステップS102の処理とS103の処理の順序は入れ替えられてもよい。
 以上に説明してきたように、第1の実施形態による、生体情報処理装置は、入力生体画像に対して異なる画像処理を行って得られた2種類の中間画像から、それぞれ生体情報の特徴的な点である特異点の候補を検出する。そしてこの生体情報処理装置は、入力生体情報の同一の特異点に対応すると考えられる特異点候補間の距離が大きいと、入力生体画像は照合処理に使用するのに適さないと判定する。そのため、この生体情報処理装置は、入力生体情報上の照合処理に有用な部分が鮮明に写っているか否かを知ることができるので、照合処理に適した生体情報を取得できるとともに、生体情報の無用な再取得を防止できる。
 次に、第2の実施形態による、生体認証処理を実行する生体情報処理装置について説明する。第2の実施形態による生体情報処理装置は、第1中間画像から不鮮明な領域を抽出する。そしてこの生体情報処理装置は、不鮮明な領域内から検出される特異点候補に対する信頼度を下げ、あるいは不鮮明な領域から特異点候補を検出しないことにより、入力生体画像の良否判定精度を向上する。
 なお、第2の実施形態による生体情報処理装置は、第1の実施形態による情報処理装置と比較して、処理部の機能の一部のみが相違する。そこで、以下では、第2の実施形態による生体情報処理装置の処理部の機能のうち、第1の実施形態による情報処理装置の処理部の機能と相違する点について説明する。
 図7は、第2の実施形態による、生体情報処理装置が有する処理部の機能ブロック図である。図7に示されるように、処理部6は、第1中間画像生成部11と、第2中間画像生成部12と、特異点候補検出部13と、特異点候補間距離算出部14と、良否判定部15と、ガイダンス処理部16と、照合部17と、認証判定部18と、不鮮明領域抽出部19と、不鮮明領域補間部20とを有する。図7において、処理部6の各機能ブロックには、図2に示された処理部6の対応する機能ブロックと同じ参照番号を付した。
 不鮮明領域抽出部19は、第1中間画像に基づいて、入力生体情報が写っている領域のうち、不鮮明となっている領域を抽出する。本実施形態では、生体情報は指紋である。そのため、例えば、指を過度にセンサに押圧したり、指の皮膚の表面がかすれていたり、あるいは、指の表面に汗などが付着していると、指の表面の凹凸が減少するので、指紋が写っている領域が不鮮明となり得る。すなわち、このような不鮮明な領域では、隆線に相当する画素の画素値と谷線に相当する画素の画素値との差が小さくなる。
 そこで、不鮮明領域抽出部19は、第1中間画像を複数の小領域に分割し、各小領域内の画素値の統計量に基づいて、その小領域が不鮮明か否か判定する。なお、小領域のサイズは、例えば、数本~十数本の隆線が含まれるサイズとすることが好ましい。また、統計量として、小領域内の平均画素値、分散、最大画素値と最小画素値の差などが算出される。例えば、不鮮明領域抽出部19は、着目小領域内の分散が、画素値が狭い範囲に分布していることを示す低分散閾値未満である場合、着目する小領域は不鮮明領域であると判定し、分散が低分散閾値以上である場合、着目する小領域は鮮明領域と判定してもよい。そして不鮮明領域抽出部19は、着目小領域ごとに、不鮮明領域か否かを表す不鮮明フラグを割り当てる。
 また不鮮明領域抽出部19は、着目する小領域内の平均画素値が明るい方に偏っていることを示す明閾値よりも高く、かつ、分散が低分散閾値未満である場合に、着目する小領域は明不鮮明領域であると判定してもよい。さらに、不鮮明領域抽出部19は、着目する小領域内の平均画素値が暗い方に偏っていることを示す暗閾値未満であり、かつ、分散が低分散閾値未満である場合に、着目する小領域は暗不鮮明領域であると判定してもよい。この場合、不鮮明領域抽出部19は、明不鮮明領域と暗不鮮明領域を区別して、明不鮮明領域と暗不鮮明領域に異なる不鮮明フラグの値を割り当ててもよい。さらに、不鮮明領域抽出部19は、分散が低分散閾値未満であり、平均画素値が暗閾値以上かつ明閾値以下である小領域を、中不鮮明領域とし、明不鮮明領域及び暗不鮮明領域と区別してもよい。この場合も、不鮮明領域抽出部19は、鮮明領域、明不鮮明領域、暗不鮮明領域、中不鮮明領域に対して、それぞれ異なる値を持つ不鮮明フラグを割り当てる。なお、各閾値は、例えば、実験的に最適化される。
 さらに、不鮮明領域抽出部19は、第1中間画像上で生体情報が写っていない領域を背景領域として、他の領域と区別してもよい。なお、不鮮明領域抽出部19は、例えば、第1中間画像において生体領域の画素の最大値以上また最小値以下となる画素からなる領域を、背景領域とする。
 また、不鮮明領域抽出部19は、画素ごとに、鮮明か不鮮明を判定してもよい。この場合には、不鮮明領域抽出部19は、着目する画素を含む小領域について、上記と同様に画素値の統計量を算出し、その統計量が上記の何れかの不鮮明領域とみなすための判定基準を満たす場合、着目する画素は不鮮明領域に含まれると判定する。
 不鮮明領域抽出部19は、ラベリング処理を実行することにより、隣接する小領域あるいは画素のうち、同一の値の不鮮明フラグが割り当てられたものを連結する。そして不鮮明領域抽出部19は、不鮮明な小領域または画素が連結されることにより作成された個々の不鮮明領域ごとに、異なるラベルを付す。
 さらに、不鮮明領域抽出部19は、同一の値のラベルが付された不鮮明領域ごとに、不鮮明度を算出する。例えば、不鮮明度ALは次式に従って算出される。
Figure JPOXMLDOC01-appb-M000003
ただし、Bmaxは、不鮮明領域内の最大画素値であり、Bminは、不鮮明領域内の最小画素値である。またLmaxは、第1中間画像全体における生体領域の画素の最大値であり、Lminは、第1中間画像全体における生体領域の画素の最小値である。この不鮮明度ALは、BmaxとBminが等しい場合、すなわち、不鮮明領域内の画素値が均一な場合、最も高い値(1)となり、一方、BmaxとBminの差が最も大きい場合、すなわち、不鮮明領域内のコントラストが第1中間画像全体のコントラストと等しい場合に、最も低い値(0)となる。なお、第1中間画像において、隆線に相当する領域の画素値が谷線に相当する領域の画素値よりも高い場合、(3)式において、Bmaxは隆線に相当する画素の平均画素値あるいは中央値であり、Bminは谷線に相当する画素の平均画素値あるいは中央値でもよい。この場合、不鮮明領域抽出部19は、例えば、不鮮明領域内の画素値のヒストグラムを判別分析することにより求めた閾値よりも高い画素値を持つ画素を隆線に相当する画素とし、その閾値以下の画素値を持つ画素を谷線に相当する画素とする。
 また、不鮮明領域抽出部19は、(3)式の代わりに、次式に従って不鮮明度ALを算出してもよい。
Figure JPOXMLDOC01-appb-M000004
ここでσBは、着目する不鮮明領域内の画素値の標準偏差であり、αは係数である。例えば、αは2に設定される。また(4)式に従って算出された不鮮明度ALが0を下回った場合、不鮮明領域抽出部19は、不鮮明度ALを0としてもよい。このように、標準偏差を用いて不鮮明度ALを決定することにより、不鮮明領域抽出部19は、不鮮明領域内に含まれるノイズによる不鮮明度ALへの影響を軽減できる。また不鮮明領域抽出部19は、標準偏差の代わりに、分散値を用いてもよい。
 さらに、不鮮明領域抽出部19は、着目する不鮮明領域内の隆線の方向の信頼度に基づいて、不鮮明度ALを算出してもよい。例えば、不鮮明領域抽出部19は、特開平08-7097号公報に開示されているように、次式のように規定される、着目する不鮮明領域内の各画素における水平方向の微分値及び垂直方向の微分値に基づいて求められる行列Vの固有値と、行列Mの固有値を求める。
ただし、f(x,y)は、水平方向の座標値x、垂直方向の座標値yにおける第1中間画像の画素値を表す。またfx(x,y)は、水平方向の座標値x、垂直方向の座標値yにおける水平方向の微分値を表す。さらにfy(x,y)は、水平方向の座標値x、垂直方向の座標値yにおける垂直方向の微分値を表す。また、fxav(x,y)、fyav(x,y)は、それぞれ、着目する不鮮明領域C内におけるfx(x,y)、fy(x,y)の平均値である。そしてNtotalは、着目する不鮮明領域C内の画素数である。
 行列Vの固有値と、行列Mの固有値のうち、絶対値が小さい方の固有値をλ1、他方をλ2とすると、着目する不鮮明領域内のノイズが多いほど、水平方向の微分値と垂直方向の微分値がばらつくため、λ1とλ2の差は小さくなる。そこで不鮮明領域抽出部19は、着目する不鮮明領域の局所的な隆線方向の信頼度に基づく不鮮明度ALを次式に従って算出してもよい。
Figure JPOXMLDOC01-appb-M000006
 さらに不鮮明領域抽出部19は、着目する不鮮明領域近傍の大域的な隆線方向の信頼度に基づいて不鮮明度を算出するために、着目する不鮮明領域内の隆線方向と、その周囲の領域の隆線方向の差の二乗和が大きいほど大きな値となるように、不鮮明度を算出してもよい。
 また不鮮明領域抽出部19は、着目領域について、(3)、(4)、(7)式に従ってそれぞれ算出された不鮮明度を加重平均した値を、着目する不鮮明領域に対する不鮮明度としてもよい。あるいは、不鮮明領域抽出部19は、着目する不鮮明領域について、(3)、(4)、(7)式に従ってそれぞれ算出された不鮮明度のうちの最大値を、着目する不鮮明領域に対する不鮮明度としてもよい。
 また、不鮮明領域抽出部19は、コントラストに基づく不鮮明度AL1と、局所的な隆線方向の信頼度に基づく不鮮明度AL2と、大域的な隆線方向の信頼度に基づく不鮮明度AL3を加重平均した値を、着目領域に対する不鮮明度としてもよい。この場合、コントラストに基づく不鮮明度AL1は、(3)式または(4)式に従って算出される。また、局所的な隆線方向の信頼度に基づく不鮮明度AL2は、(7)式に従って算出される。
 あるいは、不鮮明領域抽出部19は、AL1、AL2、AL3のうちの最大値を着目する不鮮明領域に対する不鮮明度としてもよい。何れの場合も、不鮮明領域抽出部19は、不鮮明度ALを、0~1の間となるように正規化された値とすることができる。
 なお、不鮮明領域抽出部19は、第1中間画像を複数に分割した小領域または画素ごとに、不鮮明度ALを算出してもよい。そして不鮮明領域抽出部19は、不鮮明度ALが所定の閾値以上となる小領域または画素に対してラベリング処理を実行することにより、隣接する小領域あるいは画素のうち、不鮮明度ALの差の絶対値が所定範囲内に収まるものを連結する。不鮮明領域抽出部19は、ラベリング処理により、連結された小領域または画素の集合を、一つの不鮮明領域とする。そして不鮮明領域抽出部19は、各不鮮明領域の不鮮明度を、その不鮮明領域に含まれる各小領域または画素ごとに算出された不鮮明度を平均した値とする。この場合、所定の閾値は、例えば、特異点の検出に失敗する確率が許容限界を超える不鮮明度に対応する値として、実験的に決定される。また所定範囲は、二つの領域の不鮮明の度合いが同一であるとみなせる範囲であり、例えば、不鮮明度の最大値の1/10に設定される。
 不鮮明領域抽出部19は、各不鮮明領域を表す情報及び各不鮮明領域の不鮮明度を、不鮮明領域補間部20、特異点候補検出部13及び良否判定部15へ渡す。なお、不鮮明領域を表す情報は、例えば、第1中間画像と同じサイズの画像であり、かつ、画素ごとに対応する不鮮明領域に相当するラベル番号を画素値として持つ画像とすることができる。
 不鮮明領域補間部20は、第1中間画像上の不鮮明領域のうち、所定の条件を満たす領域を、その周囲の領域の情報を用いて補間する。例えば、不鮮明領域補間部20は、所定の閾値以上の不鮮明度を持つ不鮮明領域を、補間対象となる領域の候補である補間候補領域とする。この場合、所定の閾値は、例えば、上記のように、特異点の検出に失敗する確率が許容限界を超える不鮮明度に対応する値として実験的に決定され、例えば、不鮮明度の最大値の1/2に設定される。
 また、第1中間画像が全体的に不鮮明となり、第1中間画像を、鮮明領域と不鮮明領域のように区別することは難しいこともある。このような場合、不鮮明領域補間部20は、不鮮明度の高い領域を補間対象とするように、補間候補領域を抽出するための不鮮明度に対する閾値を設定する。例えば、不鮮明領域補間部20は、大津の閾値自動決定法を用いて、補間候補領域内の不鮮明度の分散とそれ以外の領域内の不鮮明度の分散が小さく、補間候補領域とそれ以外の領域間の不鮮明度の分散が大きくなるように閾値を決定する。そして不鮮明領域補間部20は、決定された閾値よりも高い不鮮明度を持つ不鮮明領域を補間候補領域とする。
 不鮮明領域補間部20は、補間候補領域の面積が所定値以下であり、補間候補領域の全周が鮮明領域に囲まれている場合、その補間候補領域を補間対象領域とする。ここで面積の所定値は、例えば、補間対象領域内において補間により擬似的に表された隆線と、実際の隆線との位置の差の最大値が、隆線のピッチの2~3倍以下となるように、実験的に決定される。
 また、補間候補領域の全周が鮮明領域に囲まれないこともある。例えば、亀裂状の深い皺または傷が指紋上に一文字状あるいは十文字状に存在したり、数本の谷線が汗などの液体により満たされている場合、補間候補領域は、指紋が写っている領域の一端から他端まで連続する細長い領域となる。このような場合、不鮮明領域補間部20は、補間候補領域内に着目する小領域あるいは画素を設定する。そして不鮮明領域補間部20は、着目小領域あるいは画素を挟んで対向する二つの鮮明領域間の距離が所定距離以下であれば、補間候補領域を補間対象領域としてもよい。この場合、所定距離は、例えば、隆線のピッチの数倍程度に設定される。
 補間対象領域が決定されると、不鮮明領域補間部20は、その補間対象領域内の隆線または谷線が、補間対象領域周囲の領域の隆線または谷線と連続するように、補間対象領域を補間する。例えば、不鮮明領域補間部20は、補間対象領域の周囲の領域における各隆線の位置及び方向を算出する。例えば、不鮮明領域補間部20は、補間対象領域の周囲の領域を、隆線に相当する画素値を有する画素と谷線に相当する画素値を有する画素に2値化する。そして不鮮明領域補間部20は、補間対象領域との境界における、隆線に相当する画素の位置、及び隆線に相当する画素が連続している方向を調べることで、補間対象領域の周囲の領域における各隆線の位置及び方向を算出できる。
 不鮮明領域補間部20は、例えば、スプライン補間を用いて各隆線に相当する多次元多項式を決定することにより、補間対象領域の周囲の領域における各隆線が補間対象領域において延長されるべき方向を決定する。また不鮮明領域補間部20は、補間対象領域の周囲から内部へ向かうように、繰り返し補間処理を実行することで、補間対象領域内の隆線の位置及び方向を決定してもよい。
 さらに、不鮮明領域補間部20は、補間された隆線同士が重なることのないように、補間対象領域周囲の十分に広い領域から複数の隆線の位置及び方向を求めてもよい。そして不鮮明領域補間部20は、それら複数の隆線の位置及び方向を多次元多項式に当てはめることによって、補間対象領域内の隆線の位置及び方向を決定してもよい。
 また、補間対象領域内であっても、隆線の位置及び方向が算出できることもある。そこで不鮮明領域補間部20は、補間対象領域内において隆線の方向を、補間される隆線方向の決定に利用してもよい。例えば、不鮮明領域補間部20は、次式にしたがって、補間対象領域内の着目する領域の隆線方向を決定してもよい。
Figure JPOXMLDOC01-appb-M000007
ただし、φは、着目する領域において補間された隆線の方向を表す。またφiは、着目する領域から算出した隆線の方向を表し、一方、φeは、着目する領域の周囲の鮮明領域から、上記のようにスプライン補間などを用いて推定した着目領域内の隆線の方向を表す。またALは、着目する領域の不鮮明度である。このALは、0~1の範囲の値となるように正規化されている。なお、(8)式において、ALの代わりに、着目する領域の不鮮明度ALからφeを求めた鮮明領域の不鮮明度を引いた値を用いてもよい。
 このように、不鮮明領域補間部20は、補間対象領域から推定された隆線の方向も、不鮮明度が低いほど反映されるように隆線の方向を決定することで、より正確に補間対象領域を補間できる。特に、補間対象領域が広く、かつ補間対象領域内でも隆線の方向がある程度判別できる場合、補間対象領域は正確に補間される。
 また不鮮明領域補間部20は、隆線を基準として補間対象領域を補間する代わりに、谷線を基準として補間対象領域を補間してもよい。
 不鮮明領域補間部20は、補間処理が行われた第1中間画像を、特異点候補検出部13に渡す。また不鮮明領域補間部20は、補間されなかった不鮮明領域を示す情報を特異点候補検出部13に渡してもよい。
 特異点候補検出部13は、第1の実施形態と同様に、補間処理が行われた第1中間画像と第2中間画像から、それぞれ特異点を検出する。ただし、特異点候補検出部13は、不鮮明度が所定の閾値よりも高い不鮮明領域、あるいは補間されなかった不鮮明領域からは、特異点を検出しなくてもよい。なお、所定の閾値は、例えば、特異点の検出精度が許容限界以下となる不鮮明度に対応する値として、実験的に決定される。
 特異点候補間距離算出部14も、第1の実施形態と同様に、同一の特異点に対応する、第1中間画像から検出された特異点候補と、第2中間画像から検出された特異点候補間の距離を、それぞれ特異点候補間距離として算出する。そして特異点候補間距離算出部14は、ペアごとに算出された特異点候補間距離と、ペアを形成できなかった特異点候補の数とを、良否判定部15へ渡す。
 良否判定部15は、第1の実施形態と同様に、入力生体画像に対する品質指標Qを算出し、その品質指標Qに基づいて入力生体画像の良否を判定する。本実施形態では、良否判定部15は、特異点が検出された領域の不鮮明度が高いほど、品質指標Qの値が低下するように品質指標Qを算出する。例えば、良否判定部15は、(1)式の代わりに、次式に従って品質指標Qを算出する。
Figure JPOXMLDOC01-appb-M000008
ここでNは、特異点候補のペアの数であり、δiは、特異点候補のペアi(i=0,1,...,N-1)の特異点候補間距離を表す。またδmaxは、特異点候補間距離の正規化基準値であり、例えば、入力生体画像上の一つの特異点に対して実験的に求められた特異点候補間距離の最大値に設定される。またALiは、特異点候補のペアiについて、第1中間画像から検出された特異点が含まれる領域の不鮮明度を表す。なお、特異点が属する領域が鮮明領域であり、その領域に対する不鮮明度が求められていない場合には、良否判定部15はその領域の不鮮明度を0とする。またN1、N2は、それぞれ、第1中間画像から検出された特異点候補の数及び第2中間画像から検出された特異点候補の数である。そして関数max(N1,N2)は、N1とN2のうちの大きい方の値を出力する関数である。さらにAは、ペアが形成されなかった特異点候補の数または誤って検出されたと考えられる特異点候補の数に従って決定される係数であり、(1)式の係数Aと同様に決定される。
 なお、(9)式においても、δmaxの代わりに、例えば、照合時において、入力生体画像と登録生体画像とが最も良好に一致する位置を探索する際の探索範囲に相当する、両画像の最大位置ずれ量が用いられてもよい。
 良否判定部15は、第1の実施形態と同様に、算出された品質指標Qを所定の閾値Tと比較する。そして良否判定部15は、品質指標Qが閾値T以上であれば、入力生体画像は照合処理に使用するのに適していると判定する。一方、品質指標Qが閾値T未満であれば、良否判定部15は、入力生体画像は照合処理に使用するのに適していないと判定する。そして良否判定部15は、良否判定結果を示す情報を処理部6へ渡す。
 ガイダンス処理部16は、処理部6から入力生体画像が照合処理に使用するのに不適切であるとの判定結果を通知されると、利用者に入力生体情報の再入力を促すガイダンスメッセージを記憶部5から読み出す。そしてガイダンス処理部16は、ガイダンスメッセージを表示部2に表示させる。
 図8は、処理部6上で実行されるコンピュータプログラムにより制御される、入力生体画像の良否判定処理の動作フローチャートを示す。
 処理部6は、生体情報取得部3から、利用者の入力生体情報を表す入力生体画像を取得する(ステップS201)。そして処理部6は、入力生体画像を処理部6の第1中間画像生成部11及び第2中間画像生成部12へ渡す。
 第1中間画像生成部11は、入力生体画像に対して、入力生体画像中の不鮮明な領域を補正するような画像処理を実行することにより、第1中間画像を生成する(ステップS202)。そして第1中間画像生成部11は、第1中間画像を処理部6の不鮮明領域抽出部19へ渡す。不鮮明領域抽出部19は、第1中間画像から不鮮明領域を検出し、各不鮮明領域の不鮮明度を算出する(ステップS203)。そして不鮮明領域抽出部19は、各不鮮明領域を表す情報及び各不鮮明領域の不鮮明度を、処理部6の不鮮明領域補間部20、特異点候補検出部13及び良否判定部15へ渡す。不鮮明領域補間部20は、不鮮明領域のうち所定の条件を満たす領域を補間する(ステップS204)。なお、所定の条件は、不鮮明領域補間部20に関して上記に詳述したとおりである。不鮮明領域補間部20は、補間処理が行われた第1中間画像を、特異点候補検出部13に渡す。
 また第2中間画像生成部12は、入力生体画像に対して、入力生体画像中のノイズを除去するような画像処理を実行することにより、第2中間画像を生成する(ステップS205)。第2中間画像生成部12は、第2中間画像を特異点候補検出部13へ渡す。
 特異点候補検出部13は、第1中間画像及び第2中間画像から、それぞれ特異点候補を検出する(ステップS206)。そして特異点候補検出部13は、各中間画像から検出された特異点候補に関する情報(例えば、特異点候補の位置、種別、方向及び特異点候補周囲の隆線方向)を、処理部6の特異点候補間距離算出部14へ渡す。また特異点候補検出部13は、特異点の種別ごとの特異点候補の数を処理部6の良否判定部15へ渡す。
 特異点候補間距離算出部14は、第1中間画像から検出された特異点候補と第2中間画像から検出された特異点候補のうち、入力生体画像上の同一の特異点に対応すると想定される特異点候補をペアとする。そして特異点候補間距離算出部14は、一つのペアに含まれる特異点候補間の距離を、特異点候補間距離として算出する(ステップS207)。そして特異点候補間距離算出部14は、ペアごとに算出された特異点候補間距離と、特異点の種別ごとのペアを形成できなかった特異点候補の数とを、良否判定部15へ渡す。
 良否判定部15は、ペアごとに算出された特異点候補間距離、特異点の種別ごとの特異点候補の数、ペアを形成できなかった特異点候補の数とともに特異点候補が属する領域の不鮮明度に基づいて、入力生体画像に対する品質指標Qを算出する(ステップS208)。そして良否判定部15は、その品質指標Qが所定の閾値T以上か否か判定する(ステップS209)。
 品質指標Qが所定の閾値T未満である場合(ステップS209-No)、良否判定部15は、入力生体画像は照合処理に用いるのに不適切であると判定する。そして良否判定部15は、良否判定結果を処理部6に返す。
 処理部6は、ガイダンス処理部16に対して、入力生体画像は、照合処理に使用するには不適正であると判定されたことを通知する。ガイダンス処理部16は、処理部6からその通知を受け取ると、入力生体画像が不適正となったことを示すガイドメッセージを記憶部5から読み込む。そしてガイダンス処理部16は、そのガイドメッセージを表示部2に表示させる(ステップS210)。
 その後、処理部6は、制御をステップS201に戻し、生体情報取得部3から、利用者の部位を再度読み取ることにより再生成された入力生体画像を取得する。そして処理部6は、ステップS201以降の処理を繰り返し実行する。
 一方、品質指標Qが所定の閾値T以上である場合(ステップS210-Yes)、良否判定部15は、入力生体画像は照合処理に用いるのに適切であると判定する。そして良否判定部15は、良否判定結果を処理部6に返す。
 その後、処理部6は、図6に示したステップS109~S112の処理を実行することにより、入力生体画像を用いて利用者の生体認証処理を実行する。その際、ステップS109において、照合部17は、入力生体画像の代わりに、不鮮明領域が補間された第1中間画像を用いてもよい。
 なお、ステップS202~S204の処理と、ステップS205の処理の順序は入れ替えられてもよく、あるいは、ステップS202~S204の処理と、ステップS205の処理は並列に実行されてもよい。
 以上に説明してきたように、第2の実施形態による、生体情報処理装置は、入力生体画像に対して異なる画像処理を行って得られた2種類の中間画像のうち、一方の局所的な不鮮明度を、入力生体画像の品質を評価するための一つの指標として利用する。そのため、この生体情報処理装置は、入力生体画像の品質をより正確に評価できるので、入力生体画像の再取得が必要か否かをより正確に判定できる。さらにこの生体情報処理装置は、不鮮明な領域を、その周囲の鮮明な領域で補間した画像を照合処理に用いることができるので、認証精度を向上することができる。
 なお、第2の実施形態の変形例として、生体情報処理装置は、第1中間画像から抽出された不鮮明領域の補間を行わなくてもよい。この場合、不鮮明領域補間部20の機能は省略される。
 次に、第3の実施形態による、生体情報の登録処理を実行する生体情報処理装置について説明する。第3の実施形態による生体情報処理装置は、登録利用者の登録生体情報を表す登録生体画像を生成し、その登録生体画像から、照合処理に利用するための登録生体情報に関するデータを作成する。
 なお、第3の実施形態による生体情報処理装置は、第2の実施形態による情報処理装置と比較して、処理部の機能の一部のみが相違する。そこで、以下では、第3の実施形態による生体情報処理装置の処理部の機能のうち、第2の実施形態による情報処理装置の処理部の機能と相違する点について説明する。
 図9は、第3の実施形態による、生体情報処理装置が有する処理部の機能ブロック図である。図9に示されるように、処理部6は、第1中間画像生成部11と、第2中間画像生成部12と、特異点候補検出部13と、特異点候補間距離算出部14と、良否判定部15と、ガイダンス処理部16と、不鮮明領域抽出部19と、不鮮明領域補間部20と、登録部21とを有する。図9において、処理部6の各機能ブロックには、図7に示された処理部6の対応する機能ブロックと同じ参照番号を付した。
 登録部21は、処理部6から、良否判定部15によって入力生体画像が照合処理に使用するのに適切と判定された入力生体画像を受け取る。そして登録部21は、照合処理に使用するのに適切と判定された入力生体画像を登録生体画像とし、その登録生体画像に表された生体情報を登録生体情報とする。
 図10は、処理部6上で実行されるコンピュータプログラムにより制御される、入力生体画像の登録処理の動作フローチャートを示す。なおこの処理は、図8に示された良否判定処理のステップS210において、良否判定部15が、入力生体画像は照合処理に用いるのに適切であると判定した後に実行される。
 登録部21は、登録生体画像から、照合処理に利用される、登録生体情報に関するデータを作成する(ステップS301)。なお、登録生体情報に関するデータは、例えば、登録生体画像そのものとすることができる。あるいは、登録生体情報に関するデータは、登録生体画像そのものまたはその部分領域から抽出された照合処理用の特徴量であってもよい。なお、登録生体情報に関するデータが照合処理用の特徴量である場合、登録部21は、例えば、第1の実施形態による生体情報処理装置1の照合部17と同様に、登録生体画像そのものまたはその部分領域から照合処理用の特徴量を抽出する。
 また登録部21は、入力部6を介して、登録利用者の識別情報を取得する(ステップS302)。なお、登録利用者の識別情報は、入力生体画像の取得時、またはそれ以前に取得されてもよい。そして登録部21は、登録生体情報に関するデータを、その登録利用者の識別情報と関連付けて記憶部5に記憶する(ステップS303)。
 以上に説明してきたように、第3の実施形態による、生体情報処理装置は、登録利用者の生体情報を登録する際、照合処理に適した生体情報を取得できるとともに、生体情報の無用な再取得を防止して、処理時間の増加を防止することができる。
 また、上記の各実施形態による生体情報処理装置の変形例として、生体情報処理装置の処理部は、入力生体画像から互いに異なる画像処理が施された3個以上の中間画像を生成してもよい。
 図11は、3個の中間画像を生成する機能を有する処理部の機能ブロック図である。図11に示されるように、処理部6は、第1中間画像生成部11と、第2中間画像生成部12と、第3中間画像生成部22と、特異点候補検出部13と、特異点候補間距離算出部14と、良否判定部15と、ガイダンス処理部16と、照合部17と、認証判定部18と、不鮮明領域抽出部19と、不鮮明領域補間部20とを有する。
 図11において、処理部6の各機能ブロックには、図2に示された処理部6の対応する機能ブロックと同じ参照番号を付した。以下では、第1の実施形態による生体情報処理装置の処理部の機能と異なる点についてのみ説明する。
 第3中間画像生成部22は、第1中間画像及び第2中間画像と異なる中間画像を作成する。例えば、第3中間画像生成部22は、第2中間画像が、入力生体画像にノイズ除去処理を行ったものである場合、入力生体画像そのものを第3中間画像としてもよい。あるいは、第3中間画像生成部22は、入力生体画像に対して、第2中間画像の生成に利用したノイズ除去処理と異なるノイズ除去処理を行ったものとしてもよい。あるいは、第3中間画像生成部22は、入力生体画像をコントラスト補正することにより第1中間画像が生成されている場合、入力生体画像に周波数強調処理を施した画像を第3中間画像としてもよい。
 この場合、特異点候補検出部13は、各中間画像から、それぞれ特異点候補を検出する。そして特異点候補間距離算出部14は、同一の特異点に対応する各中間画像から検出された特異点候補間で、それぞれ特異点候補間距離を算出する。そして特異点候補検出部14は、着目する特異点に対して算出された複数の特異点候補間距離の平均値、中央値または最大値を、その着目する特異点に対する特異点候補間距離とする。これにより、この生体情報処理装置は、画像処理の違いによる特異点候補間距離の統計的に評価することができるので、その特異点候補間距離に基づく品質指標について、画像処理の違いによるばらつきをなくすことができる。そのため、この生体情報処理装置は、入力生体画像の良否を安定的に評価することができる。
 また、第2または第3の実施形態による生体情報処理装置の変形例として、処理部は、第1中間画像から検出された特異点候補が属する領域の不鮮明度に基づいて、入力生体画像の品質を評価してもよい。この場合、処理部の良否判定部は、特異点候補が属する領域の不鮮明度が低いほど、品質指標Qの値が高くなるように、品質指標Qを算出する。例えば、良否判定部は、次式に従って品質指標Qを算出できる。
Figure JPOXMLDOC01-appb-M000009
ここでN1は、第1中間画像から検出された特異点候補の数である。またALiは、特異点候補i(i=0,1,...,N1-1)が含まれる領域の不鮮明度を表す。なお、特異点が属する領域が鮮明領域であり、その領域に対する不鮮明度が求められていない場合には、良否判定部はその領域の不鮮明度を0とする。さらにAは、誤って検出されたと考えられる特異点候補の数に従って決定される係数である。例えば、係数Aは、特異点の種別ごとに、基準数を超えた特異点候補の合計数Neと0.1の積を1から引いた値(1-0.1×Ne)を、さらに基準値A0(例えば1)に乗じることで得られた値とする。なお、基準数を超えた特異点候補の合計数Neが0であれば、良否判定部15は、基準値A0自体を係数Aとする。
 この場合、処理部において、第2中間画像生成部及び特異点候補間距離算出部の機能は省略される。
 なお、本発明は、上記の実施形態に限定されるものではない。例えば、他の実施形態では、生体情報処理装置の処理部は、図2または図7に示した機能に加えて、図9に示した登録部の機能を有してもよい。これにより、生体情報処理装置は、照合処理に利用する生体情報を予め登録しておき、登録した生体情報を用いて生体認証処理を実行することができる。この場合、処理部の良否判定部は、入力生体画像の品質指標Qと比較する閾値Tを、照合時と登録時で異ならせてもよい。例えば、登録時の閾値Trは、照合時の閾値Tiよりも高い値であってもよい。これにより、生体情報処理装置は、生体認証処理の規準となる登録生体情報に関するデータを作成する場合には、品質の高い生体画像のみを受容することで、生体認証処理の精度を向上できる。一方、生体情報処理装置は、照合時には、照合処理に使用するのに十分なレベルの品質を持つ生体画像を受容することで、生体情報の読み取りが無用に繰り返されることを防止できる。
 なお、上記の生体情報処理装置は、入力生体情報と照合すべき登録生体情報が事前に特定されない、いわゆる1対N照合を行ってもよい。この場合、処理部の照合部は、入力生体情報を、記憶部に記憶された全ての登録利用者のそれぞれに対する登録生体情報と照合する。そして照合部は、各登録生体情報について算出された類似度のうち、最も高い類似度及びその最高類似度に対応する登録利用者の識別情報を特定する。そして認証判定部は、最高類似度が認証判定閾値よりも高ければ、利用者をその最高類似度に対応する登録利用者として認証する。一方、最高類似度が認証判定閾値以下であれば、認証判定部は、利用者を認証しない。
 さらに、本明細書に開示された生体情報処理装置及び生体情報処理方法は、利用者が何らかの操作を行うために、利用者の生体情報と、予め登録された生体情報間で生体認証処理を実行する、各種の装置またはシステムに適用可能である。例えば、そのような装置またはシステムには、1台以上の端末とサーバが通信ネットワークを介して接続されたコンピュータシステムが含まれる。この場合、各端末に生体情報取得部が設けられ、その生体情報取得部により取得された生体画像は、サーバへ送信される。そしてサーバは、上記の実施形態の処理部の機能を実行することにより、生体画像の登録処理あるいは生体認証処理を実行する。
 さらに、各端末のプロセッサが、上記の各実施形態の処理部の機能のうち、各中間画像生成部、特異点候補検出部、特異点候補間距離算出部、良否判定部及びガイダンス処理部の機能を実行し、サーバのプロセッサが、残りの機能を実行してもよい。これにより、サーバのプロセッサに対する処理の負荷が軽減できる。
 また、生体情報取得部と、記憶部と、処理部と、Universal Serial Busなどの規格に準じたデータ伝送用インターフェースとが一体として形成された可搬メモリ装置の処理部が、上記の実施形態におけるコンピュータの処理部の各機能を有していてもよい。
 また、上記の各実施形態による処理部の機能をコンピュータに実現させる命令を有するコンピュータプログラムは、記録媒体に記録された形で提供されてもよい。
 ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
 1  生体情報処理装置
 2  表示部
 3  生体情報取得部
 4  入力部
 5  記憶部
 6  処理部
 11  第1中間画像生成部
 12  第2中間画像生成部
 13  特異点候補検出部
 14  特異点候補間距離算出部
 15  良否判定部
 16  ガイダンス処理部
 17  照合部
 18  認証判定部
 19  不鮮明領域抽出部
 20  不鮮明領域補間部
 21  登録部
 22  第3中間画像生成部

Claims (11)

  1.  利用者の生体情報を取得して、該生体情報を表す入力生体画像を生成する生体情報取得部と、
     処理部であって、
      前記入力生体画像に第1の画像処理を行うことにより、第1の中間画像を生成する第1中間画像生成機能と、
      前記入力生体画像に前記第1の画像処理と異なる第2の画像処理を行うことにより、第2の中間画像を生成する第2中間画像生成機能と、
      前記第1の中間画像及び前記第2の中間画像から、前記入力生体画像に表された利用者の生体情報である入力生体情報の特徴的な点である特異点に対応する点をそれぞれ特異点候補として検出する特異点検出機能と、
      前記入力生体情報における同一の特異点に対応する、前記第1の中間画像から検出された特異点候補と、前記第2の中間画像から検出された特異点候補間の距離を算出する特異点候補間距離算出機能と、
      前記特異点候補間の距離が小さいほど高い値となるように前記入力生体画像の品質指標を算出し、該品質指標が所定の閾値よりも高いか否か判定する良否判定機能と、
      前記品質指標が前記閾値以下である場合、前記生体情報取得部に利用者の生体情報を再取得させることを利用者に促すガイダンス機能と、
    を実現する処理部と、
    を有する生体情報処理装置。
  2.  前記第1の画像処理はコントラスト補正処理または周波数強調処理であり、前記第2の画像処理はノイズ除去処理である、請求項1に記載の生体情報処理装置。
  3.  前記処理部は、
     前記第1の中間画像を複数の小領域に分割し、小領域ごとに不鮮明度を算出する不鮮明領域抽出機能をさらに実現し、
     前記良否判定機能は、前記品質指標を、前記第1の中間画像から検出された特異点候補が属する小領域の不鮮明度が高いほど低くする、請求項1または2に記載の生体情報処理装置。
  4.  前記特異点候補検出機能は、前記不鮮明度が所定の閾値以上となる小領域を除いて前記特異点候補を検出する、請求項3に記載の生体情報処理装置。
  5.  前記良否判定機能は、前記第1の中間画像から検出された特異点候補及び前記第2の中間画像から検出された特異点候補のうち、同一の特異点に対応する特異点候補として関連付けることができない特異点候補の数が多いほど、前記品質指標を低くする、請求項1~4の何れか一項に記載の生体情報処理装置。
  6.  前記良否判定機能は、前記第1の中間画像から検出された特定の種別の特異点に対応する特異点候補の数及び前記第2の中間画像から検出された当該特定の種別の特異点に対応する特異点候補の数のうちの大きい方の数から、当該特定の種別の特異点が前記入力生体情報に存在する可能性のある最大数を引いた差が大きいほど、前記品質指標を低くする、請求項1~5の何れか一項に記載の生体情報処理装置。
  7.  前記処理部は、
     前記入力生体画像から、前記第1の中間画像及び前記第2の中間画像と異なる第3の中間画像を生成する第3中間画像生成機能をさらに実現し、
     前記特異点候補検出機能は、前記第3の中間画像から特異点候補を検出し、
     前記特異点候補間距離算出機能は、前記入力生体情報における同一の特異点に対応する、前記第1の中間画像から検出された特異点候補と、前記第2の中間画像から検出された特異点候補と、前記第3の中間画像から特異点候補間のそれぞれの距離の統計的代表値を前記特異点候補間の距離とする、請求項1~6の何れか一項に記載の生体情報処理装置。
  8.  利用者の識別情報を取得する入力部と、
     予め登録された少なくとも一人の登録利用者の登録生体情報に関するデータを、該登録利用者の識別情報とともに記憶する記憶部とをさらに有し、
     前記処理部は、
      前記品質指標が前記閾値よりも高い場合、前記利用者の識別情報に対応する前記登録生体情報に関するデータを前記記憶部から読み込み、読み込んだデータに表された登録生体情報と前記入力生体情報を照合する照合処理機能をさらに実現する、
    請求項1~7の何れか一項に記載の生体情報処理装置。
  9.  利用者の識別情報を取得する入力部と、
     記憶部とをさらに有し、
     前記処理部は、
      前記品質指標が前記閾値よりも高い場合、前記入力生体画像から、照合処理に利用されるデータを登録生体情報に関するデータとして作成し、該登録生体情報に関するデータを、前記利用者の識別情報とともに前記記憶部に書き込む登録機能をさらに実現する、請求項1~8の何れか一項に記載の生体情報処理装置。
  10.  利用者の生体情報を取得して、該生体情報を表す入力生体画像を生成し、
     前記入力生体画像に第1の画像処理を行うことにより、第1の中間画像を生成し、
     前記入力生体画像に前記第1の画像処理と異なる第2の画像処理を行うことにより、第2の中間画像を生成し、
     前記第1の中間画像及び前記第2の中間画像から、前記入力生体画像に表された利用者の生体情報である入力生体情報の特徴的な点である特異点に対応する点をそれぞれ特異点候補として検出し、
     前記入力生体情報における同一の特異点に対応する、前記第1の中間画像から検出された特異点候補と、前記第2の中間画像から検出された特異点候補間の距離を算出し、
     前記特異点候補間の距離が小さいほど高い値となるように前記入力生体画像の品質指標を算出し、該品質指標が所定の閾値よりも高いか否か判定し、
     前記品質指標が前記閾値以下である場合、前記生体情報取得部に利用者の生体情報を再取得させることを利用者に促す、
    ことを含む生体情報処理方法。
  11.  生体情報取得部により生成された、利用者の生体情報を表す入力生体画像に第1の画像処理を行うことにより、第1の中間画像を生成し、
     前記入力生体画像に前記第1の画像処理と異なる第2の画像処理を行うことにより、第2の中間画像を生成し、
     前記第1の中間画像及び前記第2の中間画像から、前記入力生体画像に表された利用者の生体情報である入力生体情報の特徴的な点である特異点に対応する点をそれぞれ特異点候補として検出し、
     前記入力生体情報における同一の特異点に対応する、前記第1の中間画像から検出された特異点候補と、前記第2の中間画像から検出された特異点候補間の距離を算出し、
     前記特異点候補間の距離が小さいほど高い値となるように前記入力生体画像の品質指標を算出し、該品質指標が所定の閾値よりも高いか否か判定し、
     前記品質指標が前記閾値以下である場合、前記生体情報取得部に利用者の生体情報を再取得させることを利用者に促す、
    ことをコンピュータに実行させる生体情報処理用コンピュータプログラム。
PCT/JP2009/068390 2009-10-27 2009-10-27 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム WO2011052036A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09850816.1A EP2495698B1 (en) 2009-10-27 2009-10-27 Biometric information processing device, biometric information processing method, and computer program for biometric information processing
PCT/JP2009/068390 WO2011052036A1 (ja) 2009-10-27 2009-10-27 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
JP2011538137A JP5304901B2 (ja) 2009-10-27 2009-10-27 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
US13/440,522 US8472679B2 (en) 2009-10-27 2012-04-05 Biometric information processing apparatus, biometric information processing method, and biometric information processing computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/068390 WO2011052036A1 (ja) 2009-10-27 2009-10-27 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/440,522 Continuation US8472679B2 (en) 2009-10-27 2012-04-05 Biometric information processing apparatus, biometric information processing method, and biometric information processing computer program

Publications (1)

Publication Number Publication Date
WO2011052036A1 true WO2011052036A1 (ja) 2011-05-05

Family

ID=43921480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/068390 WO2011052036A1 (ja) 2009-10-27 2009-10-27 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム

Country Status (4)

Country Link
US (1) US8472679B2 (ja)
EP (1) EP2495698B1 (ja)
JP (1) JP5304901B2 (ja)
WO (1) WO2011052036A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030074A (ja) * 2011-07-29 2013-02-07 Fujitsu Ltd 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
KR101544279B1 (ko) 2012-11-14 2015-08-12 후지쯔 가부시끼가이샤 생체 정보 보정 장치, 생체 정보 보정 방법 및 생체 정보 보정용 컴퓨터 판독 가능한 기록 매체
JPWO2016159390A1 (ja) * 2015-03-31 2017-12-28 日本電気株式会社 生体パターン情報処理装置、生体パターン情報処理方法、およびプログラム
JP2019109619A (ja) * 2017-12-15 2019-07-04 富士通株式会社 生体認証装置、生体認証方法、および生体認証プログラム
JP2020115402A (ja) * 2015-06-15 2020-07-30 日本電気株式会社 真皮画像情報処理装置、真皮画像情報処理方法及びプログラム
JP2021047931A (ja) * 2015-03-31 2021-03-25 日本電気株式会社 指紋情報処理装置、指紋情報処理方法およびプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012014304A1 (ja) * 2010-07-29 2012-02-02 富士通株式会社 生体認証装置および生体認証プログラム
WO2012090287A1 (ja) * 2010-12-27 2012-07-05 富士通株式会社 生体認証装置
JP6161543B2 (ja) * 2011-03-17 2017-07-12 ニュー・ヨーク・ユニヴァーシティー 物理的オブジェクトの認証と検証のためのシステム、方法及びコンピュータアクセス可能媒体
WO2015070549A1 (zh) * 2013-11-12 2015-05-21 浙江维尔科技股份有限公司 一种皮肤纹理的采集及其身份识别方法和系统
US9558392B2 (en) * 2015-02-12 2017-01-31 Korecen Co., Ltd. Finger vein authentication system
FR3034224B1 (fr) * 2015-03-23 2018-03-23 Morpho Dispositif de verification de la veracite d'une empreinte digitale
KR101774746B1 (ko) * 2015-08-13 2017-09-05 주식회사 슈프리마 지문 인증 방법 및 그 지문 인증 방법을 이용한 장치
US10192144B2 (en) * 2016-04-14 2019-01-29 Research International, Inc. Coupon reader
US10318845B2 (en) 2016-04-14 2019-06-11 Research International, Inc. Coupon reader
US11227386B2 (en) * 2017-08-15 2022-01-18 Siemens Healthcare Gmbh Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks
US10817738B2 (en) 2018-10-03 2020-10-27 The Government of the United States of America, as represented by the Secretary of Homeland Security Quantifying biometric information acquisition
CN110070006B (zh) * 2019-04-01 2021-09-21 Oppo广东移动通信有限公司 指纹识别方法、电子装置及计算机可读取介质
CN112560564A (zh) * 2019-09-24 2021-03-26 深圳云天励飞技术有限公司 一种图像质量阈值设置方法、装置及电子设备
CN111507411B (zh) * 2020-04-20 2021-05-11 湖北微视艺展文化科技有限公司 一种图像比对的方法及系统
CN114241528A (zh) * 2021-02-08 2022-03-25 神盾股份有限公司 指纹感测装置及其操作方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH087097A (ja) 1994-06-21 1996-01-12 Nec Corp 隆線方向抽出装置
JPH08129644A (ja) * 1993-05-07 1996-05-21 Sharp Corp 指紋画像の画質判定方法
JP2002208001A (ja) 2001-01-12 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 指紋照合装置および指紋照合方法ならびにプログラム
JP2002298126A (ja) 2001-03-29 2002-10-11 Fujitsu Ltd 入力指紋状態判定方法及び装置
JP2004086463A (ja) 2002-08-26 2004-03-18 Casio Comput Co Ltd 画像登録方法、画像登録装置、および画像登録処理プログラム
WO2004079658A1 (ja) * 2003-03-07 2004-09-16 Nippon Telegraph And Telephone Corporation 生体画像照合装置およびその照合方法
WO2004102481A1 (ja) 2003-05-15 2004-11-25 Fujitsu Limited 生体情報検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2785862B2 (ja) * 1995-10-16 1998-08-13 日本電気株式会社 指紋カード選択装置および指紋カード絞り込み装置
JP2002222424A (ja) * 2001-01-29 2002-08-09 Nec Corp 指紋照合システム
US6895104B2 (en) * 2001-02-16 2005-05-17 Sac Technologies, Inc. Image identification system
CA2584121C (en) * 2004-10-15 2014-08-19 The Regents Of The University Of Colorado, A Body Corporate Revocable biometrics with robust distance metrics
US20070297653A1 (en) * 2006-06-22 2007-12-27 Rudolf Maarten Bolle Fingerprint representation using localized texture features
JP5120013B2 (ja) * 2008-03-27 2013-01-16 富士通株式会社 認証装置、認証方法及び認証プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08129644A (ja) * 1993-05-07 1996-05-21 Sharp Corp 指紋画像の画質判定方法
JPH087097A (ja) 1994-06-21 1996-01-12 Nec Corp 隆線方向抽出装置
JP2002208001A (ja) 2001-01-12 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 指紋照合装置および指紋照合方法ならびにプログラム
JP2002298126A (ja) 2001-03-29 2002-10-11 Fujitsu Ltd 入力指紋状態判定方法及び装置
JP2004086463A (ja) 2002-08-26 2004-03-18 Casio Comput Co Ltd 画像登録方法、画像登録装置、および画像登録処理プログラム
WO2004079658A1 (ja) * 2003-03-07 2004-09-16 Nippon Telegraph And Telephone Corporation 生体画像照合装置およびその照合方法
WO2004102481A1 (ja) 2003-05-15 2004-11-25 Fujitsu Limited 生体情報検出装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. MALTONI ET AL.: "Handbook of Fingerprint Recognition", SPRINGER SCIENCE
KAWAGOE ET AL.: "Fingerprint Pattern Classification", PATTERN RECOGNITION, vol. 17, no. 3, 1984, pages 295 - 303, XP000611321, DOI: doi:10.1016/0031-3203(84)90079-7
See also references of EP2495698A4

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030074A (ja) * 2011-07-29 2013-02-07 Fujitsu Ltd 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
KR101544279B1 (ko) 2012-11-14 2015-08-12 후지쯔 가부시끼가이샤 생체 정보 보정 장치, 생체 정보 보정 방법 및 생체 정보 보정용 컴퓨터 판독 가능한 기록 매체
JPWO2016159390A1 (ja) * 2015-03-31 2017-12-28 日本電気株式会社 生体パターン情報処理装置、生体パターン情報処理方法、およびプログラム
JP2020080188A (ja) * 2015-03-31 2020-05-28 日本電気株式会社 指紋情報処理装置、指紋情報処理方法、およびプログラム
US10915728B2 (en) 2015-03-31 2021-02-09 Nec Corporation Biological pattern information processing device, biological pattern information processing method and program
JP2021047931A (ja) * 2015-03-31 2021-03-25 日本電気株式会社 指紋情報処理装置、指紋情報処理方法およびプログラム
JP7107360B2 (ja) 2015-03-31 2022-07-27 日本電気株式会社 指紋情報処理装置、指紋情報処理方法およびプログラム
US11557146B2 (en) 2015-03-31 2023-01-17 Nec Corporation Biological pattern information processing device, biological pattern information processing method, and program
US11776304B2 (en) 2015-03-31 2023-10-03 Nec Corporation Biological pattern information processing device, biological pattern information processing method and program
JP2020115402A (ja) * 2015-06-15 2020-07-30 日本電気株式会社 真皮画像情報処理装置、真皮画像情報処理方法及びプログラム
JP7010328B2 (ja) 2015-06-15 2022-01-26 日本電気株式会社 真皮画像情報処理装置、真皮画像情報処理方法及びプログラム
JP2019109619A (ja) * 2017-12-15 2019-07-04 富士通株式会社 生体認証装置、生体認証方法、および生体認証プログラム

Also Published As

Publication number Publication date
US20120189171A1 (en) 2012-07-26
JP5304901B2 (ja) 2013-10-02
EP2495698A4 (en) 2017-03-15
EP2495698A1 (en) 2012-09-05
EP2495698B1 (en) 2018-05-02
JPWO2011052036A1 (ja) 2013-03-14
US8472679B2 (en) 2013-06-25

Similar Documents

Publication Publication Date Title
JP5304901B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
KR101307603B1 (ko) 생체 정보 등록 장치, 생체 정보 등록 방법 및 생체 정보 등록용 컴퓨터 프로그램과 생체 인증 장치, 생체 인증 방법 및 생체 인증용 컴퓨터 프로그램
JP5477385B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
Gottschlich Curved-region-based ridge frequency estimation and curved Gabor filters for fingerprint image enhancement
EP2444933B1 (en) Biometric authentication device, biometric authentication method and computer program for biometric authentication
JP5505504B2 (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラムならびに生体情報登録装置
EP2528018B1 (en) Biometric authentication device and biometric authentication method
JP5699845B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
JP4351982B2 (ja) 個人認証方法、装置及びプログラム
KR100940902B1 (ko) 손가락 기하학 정보를 이용한 바이오 인식 방법
US20080101663A1 (en) Methods for gray-level ridge feature extraction and associated print matching
WO2008008591A2 (en) Method and apparatus for determining print image quality
US20080101662A1 (en) Print matching method and apparatus using pseudo-ridges
US20090232397A1 (en) Apparatus and method for processing image
JP5915336B2 (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
Liu et al. An improved 3-step contactless fingerprint image enhancement approach for minutiae detection
Lin et al. Optical sensor measurement and biometric-based fractal pattern classifier for fingerprint recognition
Daramola et al. Algorithm for fingerprint verification system
KR100489430B1 (ko) 위치이동, 회전에 무관한 지문인식 방법 및 지문인식 장치및 그 방법을 실행시키기 위한 프로그램을 기록한기록매체
Gil et al. Access control system with high level security using fingerprints
US10984085B2 (en) Biometric recognition for uncontrolled acquisition environments
Joshi et al. Investigating the impact of thresholding and thinning methods on the performance of partial fingerprint identification systems: a review
Prasad et al. Hand vein authentication system using connected minutiae neighbours
Golash et al. Optimal and user friendly technique for enhancing security by robust password creation using biometric characteristic
Nadgir Facilitating sensor interoperability and incorporating quality in fingerprint matching systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09850816

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011538137

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2009850816

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE