WO2011092827A1 - 生体情報処理装置、生体情報処理方法及び生体情報処理プログラム - Google Patents

生体情報処理装置、生体情報処理方法及び生体情報処理プログラム Download PDF

Info

Publication number
WO2011092827A1
WO2011092827A1 PCT/JP2010/051166 JP2010051166W WO2011092827A1 WO 2011092827 A1 WO2011092827 A1 WO 2011092827A1 JP 2010051166 W JP2010051166 W JP 2010051166W WO 2011092827 A1 WO2011092827 A1 WO 2011092827A1
Authority
WO
WIPO (PCT)
Prior art keywords
biological
image
region
information processing
inconsistent
Prior art date
Application number
PCT/JP2010/051166
Other languages
English (en)
French (fr)
Inventor
幸弘 安孫子
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2011551627A priority Critical patent/JP5482803B2/ja
Priority to EP10844589.1A priority patent/EP2530644A4/en
Priority to PCT/JP2010/051166 priority patent/WO2011092827A1/ja
Publication of WO2011092827A1 publication Critical patent/WO2011092827A1/ja
Priority to US13/560,168 priority patent/US9607204B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1335Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction

Definitions

  • the present invention relates to the synthesis of a plurality of partial images obtained by continuously photographing a biological finger or the like, for example, a biometric information processing apparatus and a biometric information processing method for processing an authentication image by extracting an authenticable region in the synthesized image And a biological information processing program.
  • biometric information is known as a security function for information devices.
  • biometrics biometrics
  • an image such as a fingerprint of the person to be authenticated is captured as biometric information, and the feature points of the fingerprint are collated using the image to authenticate whether the person to be authenticated is the person.
  • a flat fingerprint sensor as a sensor for capturing the biological information.
  • this sensor has a large sensor surface (collecting surface) for a finger for collecting a fingerprint, and can capture biometric information by one or a few imaging operations.
  • This fingerprint sensor is a sensor that moves a finger relative to a sensor surface or moves a fingerprint sensor relative to a finger to collect a plurality of continuous partial images.
  • the so-called sweep type, slide type The type is called the Swipe type.
  • Patent Document 1 As such a biometric information reading sensor, a finger is slid with respect to the sensor, and a fingerprint image is reconstructed from a partial image of the read biometric information (for example, Patent Document 1). It is known to have an array of sex detection elements (Patent Document 2).
  • the movement amount or movement position of a finger is estimated from the difference between images acquired by a plurality of sensors, and thereby the image is synthesized to prevent expansion and contraction of the fingerprint image (Patent Document 3), (Patent Document 4) is known that corrects distortion based on the speed change.
  • Patent Document 5 Also known is a technique for extracting a characteristic shape from a fingerprint partial image and synthesizing the partial images based on the amount of movement between the images detected from the coincidence of the characteristic shapes of the partial images preceding and following in time.
  • Patent Document 7 the quality of acquired fingerprint image data is analyzed, and in the case of poor quality, the cause of the failure and countermeasures are analyzed, and the evaluation result is displayed or acoustically notified.
  • JP-A-10-091769 Japanese Patent Laid-Open No. 11-253428 JP 2009-3564 A JP 2002-216116 A JP 2003-248820 A JP 2005-143890 A JP 2007-97842 A
  • the image when reconstructing a partial image acquired by such a sweep type sensor, for example, if the biometric information to be read is a pattern having a stripe pattern such as a fingerprint, the image may be synthesized at an incorrect position. There is an inconvenience.
  • distortion or the like occurs in the synthesized image due to a change in the moving speed or direction of a living body such as a finger with respect to the sensor surface, and living body information different from the original living body information is read.
  • Authentication performance such as the fact that incorrect feature information (branch points and end points of ridges) is extracted from such biometric information and used for biometric authentication, the rejection rate increases and the acceptance rate increases. There is a risk of reducing the reliability.
  • the purpose of the biometric information processing apparatus, biometric information processing method, or biometric information processing program of the present disclosure is to authenticate a reconstructed biometric image by excluding inconsistent portions of image synthesis and using a portion suitable for authentication. This is to improve the reliability of the biometric authentication function.
  • the biological information processing apparatus of the present disclosure includes a biological image acquisition unit, an inconsistent region extraction unit, and an appropriate region extraction unit.
  • the biometric image acquisition unit acquires a biometric image obtained by synthesizing a plurality of images continuously captured from a living body that moves relative to the reading unit.
  • the inconsistent area extracting unit extracts inconsistent areas by using the capturing characteristics of a plurality of images continuously captured from the biological image.
  • the appropriate region extraction unit extracts an appropriate region suitable for authentication from the biological image using the inconsistent region extracted from the biological image.
  • the biological information processing method of the present disclosure includes a biological image acquisition step, an inconsistent region extraction step, and an appropriate region extraction step.
  • a biometric image acquisition step a biometric image obtained by synthesizing a plurality of images continuously captured from a living body that moves relative to the reading unit is acquired.
  • the inconsistent region extraction step the inconsistent region is extracted by using the capturing characteristics of a plurality of images continuously captured from the biological image.
  • an appropriate region suitable for authentication is extracted from the biological image using the inconsistent region extracted from the biological image.
  • a biological information processing program of the present disclosure is a biological information processing program executed by a computer mounted on the biological information processing apparatus, and includes a biological image capturing function, an inconsistent region extraction function, And an appropriate area extraction function.
  • the biological image capturing function captures a biological image obtained by synthesizing a plurality of images continuously captured from a living body that moves relative to the reading unit.
  • the mismatch area extraction function extracts mismatch areas using the capture characteristics of a plurality of images that are continuously captured from the biological image.
  • the appropriate region extraction function extracts an appropriate region suitable for authentication from the biological image using the inconsistent region extracted from the biological image.
  • the biological information processing apparatus According to the biological information processing apparatus, the biological information processing method, or the biological information processing program of the present disclosure, the following effects can be obtained.
  • a composite inconsistent region is extracted from a biometric image obtained by compositing a plurality of consecutively acquired partial images, and the inconsistent region is used. It is a biological information processing apparatus that extracts an appropriate area used for authentication.
  • FIG. 1 is a diagram illustrating a functional configuration of the biological information processing apparatus according to the first embodiment
  • FIG. 2 is a flowchart illustrating a processing procedure for extracting a mismatched area and an appropriate area of a synthesized biological image. Note that the configurations and processing procedures shown in FIGS. 1 and 2 are examples, and the present invention is not limited to these.
  • the biological information processing apparatus 2 is an example of the biological information processing apparatus, the biological information processing method, and the biological information processing program of the present disclosure, and is based on a combined state of a biological image obtained by combining a plurality of partial biological images. This is an example of means for extracting an appropriate area applicable to biometric authentication.
  • a biometric image obtained by synthesizing and reconstructing a plurality of partial biometric images 4 captured by a sweep-type sensor or the like provided in the reading device is used from the feature information of the biometric image by using the characteristics of the image capture. Analyze the synthesis state. By this analysis, for example, an inconsistent region is extracted such that the captured biological information is not accurately synthesized with respect to the base living body or the biological information is distorted. Then, using the extracted inconsistent region, a properly synthesized region in the biological image is extracted.
  • the biological information processing apparatus 2 that analyzes the combined state in this way and extracts the appropriate region using the extracted inconsistent region includes, for example, the biological image acquisition unit 6, the inconsistent region extracting unit 8, and the appropriate region extracting unit. 10 is provided.
  • the biological image acquisition unit 6 is an example of a unit that acquires and reconstructs a plurality of partial biological images, or a unit that captures a reconstructed biological image.
  • the biological image acquisition unit 6 includes, for example, the above-described sweep type sensor as a reading unit of the partial biological image 4, for example. Then, a plurality of partial living body images 4 are continuously collected and combined with respect to the relatively moving living body to reconstruct the living body image.
  • the synthesis of the partial living body image 4 may be a process for synthesizing an image when a sweep type sensor is used.
  • the moving distance and the relative moving direction of the living body moving relative to the reading device. Etc. may be synthesized based on the above.
  • the means described in the above-mentioned Patent Documents 1 to 6 may be used.
  • the inconsistent region extraction unit 8 is an example of a biological information processing function unit that analyzes and extracts a region that is in an inconsistent state with respect to the base living body with respect to the composite state of the reconstructed biological image. is there.
  • a biological information processing function unit that analyzes and extracts a region that is in an inconsistent state with respect to the base living body with respect to the composite state of the reconstructed biological image. is there.
  • For extracting the inconsistent region of the biological image for example, a discontinuous state, a distorted state, a repeated state, or the like of biological information described later is used as the capturing characteristic of the partial biological image 4.
  • this inconsistent region may be analyzed along, for example, a relative movement direction of the living body or a direction orthogonal to a direction regarded as a relative movement direction with respect to the living body image acquisition unit.
  • the appropriate area extraction unit 10 is an example of a biometric information processing function unit that extracts an appropriate area that can be used for authentication based on the extracted inconsistent area from a biometric image reconstructed by synthesis.
  • an appropriate region candidate may be extracted by removing the extracted inconsistent region from the biological image. Then, the appropriate region may be extracted based on a condition such as the size of biometric information that can be authenticated (for example, the number of pixels) as a predetermined condition for the appropriate region candidate.
  • the appropriate area to be extracted is not limited to one for the biological image. For example, a plurality of appropriate areas may be extracted depending on the size of the inconsistent area.
  • FIG. 2 will be referred to regarding the process of extracting the mismatched area and the appropriate area from the biological image.
  • This extraction process is an example of a biological information processing method and a biological information processing program, and as described above, a plurality of partial biological images 4 are reconstructed to acquire a biological image, and an inconsistent region is obtained from this biological image. And an appropriate area is extracted using the inconsistent area.
  • This extraction processing procedure includes a biological image acquisition function (step S11), an inconsistent area extraction function (step S12), and an appropriate area extraction function (step S13).
  • a plurality of partial biological images 4 are captured and a reconstructed biological image is acquired (step S11).
  • an inconsistent region of synthesis is extracted from this biological image (step S12).
  • the biometric information is fingerprint information
  • the combined result of a plurality of continuously captured images is a fingerprint
  • the direction of the ridge and the interval information between the ridges are used.
  • the biological image may be analyzed.
  • feature information such as the edge of a fingerprint ridge or a minutia such as a branch point may be used.
  • the capturing characteristics of the partial living body image 4 for example, the amount of change in the tangent angle of the ridge of the fingerprint is detected, or the distortion is detected using the frequency.
  • This analysis may be performed on, for example, the entire region of the biological image, or may be performed for each predetermined pixel unit.
  • candidates for a region where biometric information is discontinuous, a region where distortion occurs, and a region where similar images are repeated are extracted from the biometric image.
  • the analysis of the discontinuous state of biological information, the analysis of the strain state, and the analysis of the repeated state described above may be performed, or any one of these may be performed, or a combination of a plurality of them may be performed. Also good.
  • step S13 an appropriate region is extracted by removing the extracted inconsistent region from the biological image.
  • the extracted inconsistent area information and appropriate area information may be transferred to the biometric authentication unit 12 side and used for biometric authentication processing, or may be stored in a storage unit.
  • a process for determining applicability to authentication is performed on the extracted appropriate area.
  • FIG. 3 is a diagram illustrating a functional configuration of the biological information processing apparatus according to the second embodiment
  • FIG. 4 is a flowchart illustrating processing of a biological image according to the second embodiment. Note that the configurations, processing procedures, and the like illustrated in FIGS. 3 and 4 are examples, and are not limited thereto. 3 and 4, the description of the same configuration or the same process as in FIGS. 1 and 2 is omitted.
  • the biological information processing apparatus 2 is a configuration example of the biological information processing apparatus, the biological information processing method, or the biological information processing program of the present disclosure, and the extracted appropriate area is used for authentication in the first embodiment. This is a configuration including whether or not it is possible. Therefore, the biological information processing apparatus 2 includes, for example, a determination unit 14 in addition to the above-described biological image acquisition unit 6, inconsistent region extraction unit 8, and appropriate region extraction unit 10.
  • the determination unit 14 is an example of a unit that determines the reading state of the biometric information. For example, the determination unit 14 determines whether the appropriate area extracted from the biometric image satisfies a condition that allows the biometric authentication unit 12 to perform authentication. . In this determination, for example, the number of pixels that can be used for authentication, position information in the biological image, and the like of the extracted appropriate region may be determined. The presence / absence of an appropriate area in the acquired biometric image that can be authenticated is the determination result of the read state of the biometric information.
  • the appropriate region most suitable for authentication may be extracted by determining whether the determination unit 14 has a predetermined condition for the extracted appropriate region candidate.
  • FIG. 4 is referred to for the processing of biological information according to the second embodiment.
  • This biological information processing is an example of a biological information processing method and a biological information processing program, and determines whether or not the extracted appropriate area can be used for authentication. Therefore, in addition to the above-described biological image acquisition function (step S21), inconsistent area extraction function (step S22), and appropriate area extraction function (step S23), a determination processing function (step S24) is included.
  • step S21 the biometric image acquisition function (step S21), the mismatched area extraction function (step S22), and the appropriate area extraction function (step S23) shown in FIG. 4, the steps S11 to S13 (FIG. What is necessary is just to perform like 2).
  • step S24 it is determined whether or not the extracted appropriate area can be used for authentication.
  • the determination is made based on the positional relationship between the appropriate region and the mismatched region with respect to the biological image, or based on the number of pixels in the appropriate region.
  • step S24 If it is determined that this information can be used for authentication (YES in step S24), the appropriate area information is transmitted as authentication information to the biometric authentication unit 12 side. Or you may memorize
  • the reliability of biometric authentication can be improved. Further, the reliability of biometric authentication can be improved by determining the read state of the image based on the position and size of the extracted appropriate region with respect to the reconstructed biometric image.
  • the third embodiment shows a specific configuration example of the biological information processing apparatus.
  • a plurality of partial biometric images are captured, a synthetic inconsistent region is extracted from the bioimage reconstructed by synthesis, and an appropriate region is extracted using the inconsistent region. I do.
  • the extraction of the inconsistent region of the biological image is determined by analyzing, for example, discontinuous portions, repeated portions, and distorted portions of the biological information as the capturing characteristics of the captured partial biological images.
  • FIG. 5 is a diagram illustrating functional units of the biological information processing apparatus
  • FIG. 6 is a diagram illustrating functional configuration examples of the feature information extraction unit and the inconsistent region extraction unit
  • FIG. 7 is an input state of biological information with respect to the sweep type sensor.
  • FIG. 8 is a diagram illustrating detection of ridge directions
  • FIG. 9 is a diagram illustrating examples of ridge information and ridge direction information.
  • the structure shown in FIG.5, FIG.6, FIG.7, FIG.8 and FIG. 9 is an example, Comprising: It does not restrict to this. The description of the same configuration as the first or second embodiment is omitted.
  • the biometric information processing device 2 is an example of the biometric information processing device, the biometric information processing method, or the biometric information processing program of the present disclosure, and configures, for example, a biometric authentication device.
  • a biometric authentication device In the analysis of the mismatch of the synthesized biological image, for example, feature information extracted from the biological image is used.
  • feature information extracted from the biological image In the inconsistent area extraction, an image having a ridge discontinuity, a frequency discontinuity, a shading discontinuity, a repetitive pattern, or the like, which is a capturing characteristic of a plurality of captured partial images, is analyzed.
  • the biometric information used here indicates biometric fingerprint information, for example.
  • the biometric information processing apparatus 2 includes a biometric image acquisition unit 6, an inconsistent region extraction unit 8, an appropriate region extraction unit 10, a determination unit 14, an authentication unit 16, and a feature information extraction unit. 18 is provided.
  • the inconsistent region extraction unit 8 includes, for example, a ridge discontinuity detection unit 20, a frequency discontinuity detection unit 22, a shading discontinuity detection unit 24, and a repeated pattern detection unit 26. These functional units are realized by computer processing.
  • the feature information extraction unit 18 is means for analyzing and extracting biological feature information from the reconstructed biological image or partial biological image.
  • this feature information for example, fingerprint ridge direction information, fingerprint center information, minutiae information, ridge interval information, etc. may be extracted. Then, using these pieces of feature information, a mismatched region of the reconstructed biological image is extracted.
  • the feature information may be extracted in the same manner as the extraction of the feature information of the biometric information used in the authentication process.
  • biometric authentication may be performed using the feature information obtained here.
  • the ridge discontinuity detection unit 20 is an example of an inconsistent region extraction function unit using the extracted feature information.
  • the ridge discontinuity detection unit 20 includes a ridge direction discontinuity detection unit 28, and the ridges of a biological image are discontinuous. Analyzing the part synthesized in the correct state.
  • the ridge direction discontinuity detection unit 28 predicts a predetermined ridge direction based on, for example, ridge direction information or displacement information of a tangent to the ridge, and calculates the predicted direction and the ridge direction of the biological image. Compare and detect discontinuities.
  • the frequency discontinuity detection unit 22 analyzes, for example, interval information between ridges of adjacent fingerprints or between ridges and valleys as a frequency, and detects frequency discontinuities linearly distributed on a biological image. It is a means to detect.
  • this frequency discontinuity detection for example, a distortion of the living body image caused by a change in the moving speed of the living body with respect to the reading device is detected.
  • the shading discontinuity detection unit 24 is an example of a functional unit that detects a discontinuous portion of a ridge, and for example, calculates the intensity of a pixel that indicates a portion where the shading of a biological image has changed, Detects ridge misalignment with respect to the relative movement direction. And about the detection area
  • the repetitive pattern detection unit 26 is an example of a unit that detects a region in which a plurality of partial biological images incorporating the same part of the living body are repeatedly synthesized, and includes a ridge direction same part detection unit 30.
  • the same ridge direction part detection unit 30 is a means for detecting a part in which, for example, a predetermined region having the same ridge direction in a biological image is combined on a straight line. As a result, for example, a region in which regions having the same ridge direction are adjacently distributed in parallel is detected as a repetitive pattern indicating a combination mismatch.
  • the biological information processing apparatus 2 of this embodiment includes a feature information extraction unit 18 and an inconsistent region extraction unit 8 as shown in FIG.
  • the feature information extraction unit 18 is a functional unit that receives the biological image acquired by the biological image acquisition unit 6 described above and extracts feature information from the biological image. Therefore, the feature information extraction unit 18 includes, for example, a ridge direction detection unit 50, a fingerprint center detection unit 52, a minutia detection unit 54, and an interval detection unit 56.
  • the biometric image acquisition unit 6 includes, for example, a sweep type sensor 40 shown in FIG. 7 as means for acquiring a plurality of partial biometric images 4, and a part that the user has captured by sliding the finger 42.
  • the fingerprint image is synthesized to reconstruct the fingerprint image.
  • the ridge direction detection unit 50 is means for detecting a ridge direction from a biological image.
  • the fingerprint image 60 is divided into predetermined small areas (FIG. 8A), and binarization is performed, and image processing is performed using a directional filter or the like.
  • the ridge direction 62 is obtained by such processing (FIG. 8B).
  • the ridge direction 62 and ridge 64 of the fingerprint image 60 are shown in FIG.
  • a method disclosed in Japanese Patent Application Laid-Open No. 5-242227 may be used.
  • the fingerprint center detection unit 52 is a means for detecting the center of the fingerprint from the synthesized fingerprint image 60.
  • the detection of the fingerprint center for example, there is a method of obtaining the curvature of the fingerprint pattern at each position on the fingerprint image and obtaining the maximum point of this curvature.
  • ⁇ D.Maltoni et al. ⁇ Fingerprint Recognition Handbook '' Springer Science, p.100 '', ⁇ M. Kawagoe and A.Tojo, Fingerprint Pattern Classification, Pattern Recognition, Vol.17, No. 295-303, 1984.
  • a method of detecting a singular point using the Poincare index may be used.
  • the interval detection unit 56 is means for detecting interval information between ridges, valleys, or ridges and valleys of a synthesized fingerprint image.
  • a discontinuity detection unit 70 for example, a discontinuity detection unit 70, a repetition detection unit 72, and a distortion detection unit 74 are configured.
  • the discontinuity detection unit 70 is an example of a means for detecting a discontinuity portion of a ridge as an inconsistent region, and corresponds to, for example, the ridge discontinuity detection unit 20 and the light / dark discontinuity detection unit 24 described above.
  • the discontinuity detection unit 70 includes a discontinuity candidate point detection unit 76, a straight line detection unit 78, and a discontinuity determination unit 80.
  • the discontinuity candidate point detection unit 76 is a means for detecting, for example, a discontinuous point for each ridge by analyzing the ridge direction information and the shading information. As shown in FIG. 10, the discontinuity candidate points 100 are discontinuous positions of the ridge generated by the image composition shift, and a plurality of discontinuity candidate points 100 are generated in the horizontal direction with respect to the fingerprint image 60.
  • the straight line detection unit 78 is a means for detecting whether or not the discontinuity candidate points 100 are generated on a straight line. That is, the fingerprint image 60 is composed of a plurality of partial living body images 4 along the relative movement direction of the living body. Thereby, a discontinuous part with respect to the adjacent ridge line is generated on a straight line in a direction orthogonal to the relative movement direction of the living body.
  • the discontinuity determination unit 80 is an example of a unit that determines the occurrence of discontinuity based on the detection results of the discontinuity candidate point detection unit 76 and the straight line detection unit 78. As described above, when the detected discontinuity candidate point 100 is generated in a straight line, this portion is determined to be a discontinuity occurrence portion.
  • the repetition detection unit 72 corresponds to the above-described repetition pattern detection unit 26 and is an example of a unit that detects repetition of the synthesized biological image, and includes an area division unit 82, an area shape estimation unit 84, and a repeatability determination. Part 86 is provided.
  • the region dividing unit 82 is an example of a unit that performs binarization processing for extracting a region that may be in a repeated state on a biological image in the repeated detection processing.
  • the region shape estimation unit 84 is an example of a unit that detects a difference in the contact width of a finger in the above-described binarized image and estimates a region including a repetitive pattern candidate that may be in a repetitive state ( FIG. 25).
  • the repeatability determination unit 86 is an example of a unit that determines whether or not the above-described repetitive pattern candidate is a repetitive pattern using ridge direction information or the like.
  • the distortion detection unit 74 corresponds to the frequency discontinuity detection unit 22 described above, and is means for detecting that a distortion region is generated in the reconstructed biological image.
  • the frequency calculation unit 88, an area dividing unit 90, and a distortion determining unit 92 are examples of the frequency calculation unit 88, an area dividing unit 90, and a distortion determining unit 92.
  • the frequency calculation unit 88 is a means for calculating a threshold value for each horizontal direction of a biological image or calculating projection information for a frequency indicating interval information such as a ridge between fingerprints in a predetermined region.
  • the area dividing unit 90 is a means for dividing the distortion area into a plurality of areas that are targets of frequency calculation and distortion determination.
  • the distortion determination unit 92 is a means for detecting a distortion area when the calculated projection information exceeds a predetermined threshold.
  • This inconsistent area extraction shows a case where fingerprint information is used as biometric information.
  • FIG. 11 is a diagram showing a discontinuity occurrence state
  • FIG. 12 is a flowchart showing a discontinuity detection processing procedure
  • FIG. 13 is a diagram showing the principle of grayscale discontinuity detection
  • FIG. 14 is for calculating edge strength.
  • FIG. 15 is a diagram showing an example of an operator for the edge
  • FIG. 15 is a diagram showing that the edge state is different depending on the fingerprint region
  • FIG. 16 is a diagram showing the state of edge strength analysis
  • FIG. FIG. 18 is a flowchart showing the processing procedure of gray level discontinuity detection
  • FIG. 19 is a diagram showing the principle of discontinuity detection using the tangential direction of the ridge
  • FIG. 20 is a linear analysis of the discontinuous portion.
  • FIG. 21 is a flowchart showing a processing procedure for discontinuity detection using the tangential direction of the ridge. Note that the configurations, processing contents, processing procedures, and the like shown in FIGS. 11 to 21 are examples, and the present invention is not limited to these.
  • the ridge 64 is bent halfway or has a step, and the finger contact area 101 is similarly distorted.
  • An example of a properly synthesized ridge is shown in FIG. 11A.
  • FIG. 11B when inconsistent synthesis is performed, for example, as shown in FIG. 11B, since the images are continuously synthesized from the discontinuous portions 102 synthesized inconsistently, the fingerprint is distorted. . If the feature information extracted from such a ridge is used for biometric authentication, there is a possibility that the position of the bending or the stepped portion may be erroneously recognized as the end of the ridge.
  • the discontinuous detection the continuous state of the ridge 64 is analyzed, and the discontinuous portion 102 shown in FIG. 11B is detected.
  • this discontinuity detection for example, the above-described grayscale discontinuity detection or ridge tangential discontinuity detection is used.
  • the discontinuity detection processing procedure for example, as shown in FIG. 12, after performing the light / dark discontinuity detection processing F1, the discontinuity detection processing F2 using the tangential direction of the ridges may be performed.
  • a discontinuous candidate point 100 using the density information of the fingerprint image 60 is detected (step S101), and straight line detection is performed using the discontinuous candidate point 100 (step S102). That is, as shown in FIG. 10 and FIG. 11B, the discontinuous points of the ridge 64 are generated on a straight line with respect to the horizontal direction of the fingerprint image 60. Therefore, whether or not the discontinuous candidate point 100 is detected on the straight line. Judgment is made.
  • this straight line detection for example, calculation processing by Hough transform or least square method may be performed.
  • step S103 Based on the detection result of the discontinuity candidate point 100 and the result of straight line detection, the determination of the discontinuity of light and shade is performed (step S103).
  • processing F2 the tangential direction of the ridge 64 is analyzed, and the discontinuous candidate point 100 is detected from the displacement state of each arbitrary point (step S104).
  • Straight line detection is performed (step S105).
  • the discontinuity is determined based on the tangent direction (step S106).
  • the edge of the ridge 64 of the fingerprint image 60 extracted by the feature information extraction unit 18 is used.
  • a ridge 64 thinned to one pixel width using a low-pass filter or the like shows a portion where the change in shading is steep in the relative movement direction of the living body as the vertical direction.
  • the edge strength 104 is calculated.
  • the edge strength 104 is calculated using an operator 106 such as a Sobel operator shown in FIG.
  • This operator 106 is an example of an image analysis filter, and weights coefficients for the density values of the target pixel and its neighboring pixels. In the calculation process, for example, a product-sum operation is performed using a matrix of operators 106, and a new gray value is set.
  • a pixel having a high edge strength 104 of the fingerprint image 60 is defined as an edge pixel, and a length of the edge pixels connected is defined as an edge length.
  • a portion where the edge pixels are arranged in a straight line in the horizontal direction of the fingerprint image 60 is regarded as a discontinuous portion.
  • the edge strength 104 calculated using the operator 106 for the discontinuous portion is detected as shown in FIG. 13B.
  • the ridge 64 (FIG. 15A) extending in the horizontal direction, such as the tip side of the finger, or the ridge 64 (FIG. 15B) inclined slightly obliquely is not suitable. Even when it is not continuous, the edge strength 104 in the vertical direction may be detected. That is, in the ridge 64 (FIG. 15A) extending long in the horizontal direction, it is determined that the edge is long connected in the horizontal direction. Further, in the ridge 64 (FIG. 15B) extending in an oblique direction, the edge portion 108 of about 1 to 2 pixels may be detected in the horizontal direction. Therefore, a process for distinguishing between these cases is required.
  • the edge length is made using the edge length. That is, the ridge 64 extending in the horizontal direction has a long edge length in the horizontal direction. Further, in the ridge 64 slightly extending in the oblique direction, the edge length in the horizontal direction becomes a small value of about 1 pixel, for example. Therefore, an edge pixel whose edge length is between a predetermined threshold value Th min and Th max is detected, and this portion is detected as a discontinuous candidate.
  • ridges 64 and valleys 110 are combined alternately (FIG. 16A).
  • edge length is simply detected, a long edge length is detected in the same manner as the ridge 64 extending in the horizontal direction, and if the above-described threshold is used, it is not determined that the edge is discontinuous. become.
  • code information obtained by calculating the edge strength is used for detection of such a long edge length. That is, a reference plane for detection is set for the fingerprint image 60.
  • the sign of the edge strength 104 of the boundary line from the valley line 110 to the ridge line 64 is opposite to the sign of the edge strength 112 of the boundary line from the ridge line 64 to the valley line 110 (FIG. 16B).
  • the edge pixel group having the edge strength 104 or the edge strength 112 having the same code and the edge length between the predetermined threshold value Th min and Th max is determined as a discontinuous candidate.
  • the edge length is detected for each predetermined pixel width in the horizontal direction with respect to the fingerprint image 60.
  • projection information ⁇ Len of the edge length Len for each predetermined pixel width is calculated in the horizontal direction using each detected edge length Len.
  • detection is performed for each detection area 114 set to a predetermined pixel width with respect to the fingerprint image 60.
  • this calculation process for example, a square process or a calculation by an absolute value may be performed. Then, the detection area 114 where the edge length projection information ⁇ Len exceeds a predetermined threshold is detected as a discontinuous portion.
  • This process is an example of a biological information processing method and a biological information processing program.
  • the operator 106 (FIG. 14) is applied to the fingerprint image 60 to detect the edge strength in the vertical direction (step S201).
  • a pixel whose absolute value of edge intensity exceeds a predetermined threshold is detected as an edge pixel (step S202).
  • an edge pixel group having the same edge strength sign and an edge length in the horizontal direction between a predetermined threshold Th min and Th max is detected as a discontinuous candidate (step S203).
  • the projection information ⁇ Len in the horizontal direction is calculated for the length Len of the edge pixel of the discontinuous candidate (step S204).
  • step S205 the process proceeds to a determination of whether or not the calculated projection information ⁇ Len of the edge pixel exceeds a predetermined threshold. If it exceeds (YES in step S205), the discontinuous portions are arranged on a straight line. Assuming that it has occurred, it is detected as a discontinuous portion of the biological image (step S206).
  • the information on the detected discontinuous portion may be stored in, for example, the storage unit of the biological information processing apparatus 2.
  • An angle change of the angle ⁇ is detected.
  • the ridge direction is predicted using the angle change of the tangent S, and the predicted direction is compared with the ridge direction of the biological image.
  • This angle change detecting tangent S i calculates the tangential angle difference [Delta] [theta] i between the tangential direction detection position adjacent P i + 1 -P i.
  • the analysis is performed along the tangential direction detection position P. If there is a position where the difference ⁇ of the angle ⁇ changes rapidly, the detection position P including the discontinuous portion X is detected as the discontinuous candidate point 116.
  • a straight line detection process is performed as shown in FIG. As described above, straight line detection is performed for each detection area 114 having a predetermined pixel width.
  • the fingerprint image 60 is obtained by synthesizing the partial living body image 4 along the ridges 64, and the adjacent ridges 64 are substantially parallel, so that the adjacent ridges 64 are also discontinuous.
  • a value ⁇ obtained by adding the calculated tangential angle difference ⁇ to the ridge 64 in the detection area 114 is calculated as projection information.
  • This process is an example of a biological information processing method and a biological information processing program.
  • the ridge 64 is thinned (step S301), for example, about one pixel.
  • thinning means, for example, a contraction process may be performed in which a process of scraping pixels little by little from the periphery of the ridge is repeated. Alternatively, other methods may be used.
  • the tangent angle ⁇ is calculated at regular intervals (detection position P) with respect to the thinned ridge 64 (step S302), and the difference ⁇ between the tangent angle ⁇ is calculated with respect to the adjacent detection position P (step S303). .
  • is calculated as projection information in the horizontal direction of the fingerprint image 60 (step S304).
  • the projection information ⁇ is analyzed for each detection area 114 shown in FIG. 20, and it is determined whether the maximum value exceeds a predetermined threshold value set (step S305). If the maximum value of the projection information ⁇ exceeds the threshold value (YES in step S305), it is assumed that the discontinuous portions are arranged in a straight line, and the detection area 114 is defined as the discontinuous line 150 (FIG. 31). Etc.) (step S306).
  • step S307 It is determined whether the maximum values of all the projection information ⁇ have been determined (step S307), and when the maximum values of all the projection information ⁇ have been determined (YES in step S307), this process ends.
  • detection may be performed based on the tangential direction of the boundary line between the ridge 64 and the valley line 110, for example. Discontinuity detection can be performed by the above processing.
  • repetitive pattern detection which is one of inconsistent area extraction means for fingerprint images.
  • FIG. 22 is a diagram illustrating a state in which a repeated pattern is generated with respect to a ridge on the tip side of the finger
  • FIG. 23 is a diagram illustrating a state in which a repeated pattern is generated with respect to a ridge on the base side of the finger
  • FIG. 25 is a diagram showing a ridge direction in a repetitive pattern
  • FIG. 25 is a diagram showing a detection principle of a repetitive pattern
  • FIG. 26 is a flowchart showing region division processing and region shape estimation division processing
  • FIG. 27 is a repetitive pattern detection processing. It is a flowchart which shows. Note that the configurations, processing contents, processing procedures, and the like illustrated in FIGS. 22 to 27 are examples, and the present invention is not limited to these.
  • the repetitive pattern which is an inconsistent region of biometric information, is a state in which a plurality of partial biometric images 4 incorporating the same part of the living body are repeatedly synthesized.
  • the contact boundary line 120 and the ridge line 64 with respect to the contact area 101 of the finger are the same in the repetitive area 122 with respect to the appropriately reconstructed fingerprint image (FIGS. 22A and 23A).
  • the partial images of the parts are continuously synthesized (FIGS. 22B and 23B).
  • a plurality of images of the same part are acquired by temporarily stopping the relative movement between the living body and the sensor due to the frictional force generated by the slide between the living body and the sensor.
  • the relative movement distance between the living body and the sensor detected from these images is 0, and if a redundant image is cut off or synthesized at an overlapping position in the reconstruction process of the living body image, a repetitive pattern does not occur.
  • the overlapping position may not be detected even in the same part image due to image noise or a slight pressure change of the living body against the sensor, and the repeated region 122 is generated by overlapping at a shifted position.
  • the biological image Since the repeated image 122 of the biological image repeats the image of the same part, the biological image is synthesized in a translated state when synthesized at a shifted position. Therefore, as shown in FIG. 24, the ridge direction 62 of the ridge 64 in the repeated region 122 where the repeated pattern is generated indicates the same direction.
  • the width of the parallelogram indicating the repeat area 122 on the fingertip side is narrowed (FIG. 24A). On the other hand, the width becomes wider on the root side (FIG. 24B), and the fingerprint information minutia is lost.
  • a region division process and a region shape estimation division process are performed on the fingerprint image 60 in order to distinguish a region having a high possibility of repetition. And the repeatability determination by the same site
  • part detection of the direction of the ridge 64 is performed about the divided repeating pattern candidate.
  • the obtained biological image is subjected to image reduction processing or the above-described thinning processing. Then, binarization processing is performed on the obtained image in order to distinguish the contact range of the finger from the background portion.
  • image reduction processing or the above-described thinning processing.
  • binarization processing is performed on the obtained image in order to distinguish the contact range of the finger from the background portion.
  • region shape estimation division processing for detecting a region candidate including a repetitive pattern is performed.
  • the repeated pattern is generated in a region where left and right boundary lines 126, 128, 130, and 132 between the finger contact range 123 and the background are parallel to each other in the horizontal direction. That is, as shown in FIG. 25, a region 134 in which the boundary line 126 and the boundary line 130, and the boundary line 128 and the boundary line 132 are parallel to each other is a region having a high possibility of a repeated pattern.
  • an elongated detection region 136 for each predetermined number of pixels is set so as to be sliced in the horizontal direction. Then, in each detection region 136, the difference in the contact width 138 of the finger is detected, and when the difference in the contact width 138 is small, it is determined that the range 134 has a high possibility of forming a repeated pattern. A region is set as a repeated pattern candidate. Conversely, it can be determined that there is no repetitive pattern in the region where the change in the contact width 138 is large.
  • repeatability is determined.
  • the ridge direction 62 acquired by the feature information extraction unit 18 is used to search for a part in which the ridge direction 62 can be regarded as the same in parallel with the boundary lines 126, 128, 130, and 132. .
  • a difference ⁇ in the angle ( ⁇ ) of the corresponding ridge direction 62 is calculated by comparing adjacent detection areas 136, and if the difference is smaller than a predetermined threshold, the ridge 64 in the same direction is repeated. It may be determined that the pattern is a repetitive pattern. Alternatively, the sum ⁇ of the differences ⁇ may be calculated for each detection region 136. That is, when a repeated pattern is generated in the adjacent detection region 136, the ridge direction 62 becomes parallel, and thus the difference ⁇ becomes small.
  • This process is an example of a biological information processing method and a biological information processing program.
  • a reduced image of the fingerprint image 124 is generated (step S401), and a threshold for dividing the background and finger contact range 123 in the image is calculated for the reduced image (step S402).
  • this threshold calculation for example, Otsu's threshold automatic determination method or the like may be used. Then, using this threshold value, the reduced image is binarized and the contact range 123 is detected (step S403).
  • a contact width 138 from the upper end to the lower end of the fingerprint image 124 is calculated for the detection area 136 (step S404), and a difference between adjacent contact widths 138 is detected (step S405).
  • step S406 It is determined whether the detected difference is below a predetermined threshold (step S406). If there is no difference in the contact width 138 (YES in step S406), the detection area 136 is divided as a candidate area including a repeated pattern. (Step S407). If there is a large difference in the contact width 138 (NO in step S406), the next detection area 136 is determined to be a difference because it is not a repetitive pattern.
  • the detected repeated pattern candidate is selected (step S501), and the ridge direction 62 of the repeated pattern candidate is detected (step S502).
  • the ridge direction 62 information extracted by the feature information extraction unit 18 as described above may be used.
  • the detection unit of the same direction part is selected from the repeated pattern candidates (step S503), and the sum ⁇ of the difference of the direction information is calculated along the boundary direction of the finger contact range 123 (step S504).
  • step S505 It is determined whether the sum ⁇ of the differences is below a predetermined threshold (step S505). If the sum ⁇ of the differences is smaller than the predetermined threshold (YES in step S505), ridges in the same direction are repeated by repetition. Therefore, it is detected as a repetitive pattern (step S506). If the total difference ⁇ is greater than the predetermined threshold (NO in step S505), the process proceeds to step S507. Then, it is determined whether all of the same repeated pattern candidates have been determined (step S507). If not determined (NO in step S507), the process returns to step S503 to detect a difference from other repeated pattern candidates. I do.
  • step S508 it is determined whether all the repeated pattern candidates have been determined (step S508), and when all the repeated pattern candidates have been determined (YES in step S508), this process is terminated. If all candidates have not been determined, the process returns to step S501 to select a new repeated candidate pattern and perform the above processing.
  • FIG. 28 is a diagram showing a state of a distorted portion of a biological image
  • FIG. 29 is a diagram showing the principle of frequency detection
  • FIG. 30 is a flowchart showing a distortion detection process.
  • the configurations, processing contents, processing procedures, and the like shown in FIGS. 28 to 30 are examples, and the present invention is not limited to these.
  • a distorted region 140 in which the ridge interval is not constant from a specific position is detected with respect to the appropriately synthesized fingerprint image 60 (FIG. 28A). (FIG. 28B).
  • This distortion region 140 is generated, for example, when the amount of finger movement changes.
  • the distortion region 140 of the fingerprint image 60 is detected by calculating the main frequency component ⁇ p for each region of interest set on the fingerprint image 60. This frequency may be calculated, for example, by analyzing the uneven waveform of the fingerprint in the region of interest.
  • a region of interest 142 set for each predetermined pixel value is set for the fingerprint image 60.
  • the region of interest 142 may be set to 16 pixels ⁇ 16 pixels ⁇ 32 pixels ⁇ 32 pixels so that a plurality of ridges 64 are included.
  • the region of interest 142 may be set without a gap so as to cover the entire fingerprint image 60, or may be set at predetermined intervals.
  • straight line detection is performed for the principal component ⁇ p of the frequency calculated for each region of interest 142.
  • a detection area 144 for each predetermined pixel may be set in the horizontal direction of the fingerprint image 60.
  • horizontal projection information ⁇ p / n of the principal component ⁇ p detected from each region of interest 142 is calculated for each detection region 144.
  • the projection information ⁇ p / n is outside the range set by a predetermined threshold based on the average value of the principal component ⁇ p , it is determined that the region includes a discontinuous portion, that is, the distortion region 140. To do.
  • FIG. 30 will be referred to for the distortion detection process.
  • a frequency principal component ⁇ p is detected from the region of interest 142 (step S601), and a threshold value is calculated based on the average value of the frequency principal components ⁇ p (step S602). Further, the projection information ⁇ p / n in the horizontal direction of the frequency principal component ⁇ p is calculated (step S603).
  • step S604 it is determined whether the projection information ⁇ p / n exceeds the calculated threshold (step S604). If it exceeds (YES in step S604), the detection area 144 including the straight area 142 is detected. Is detected as the distortion region 140 (step S605).
  • step S606 If all projection information has been determined (YES in step S606), this process ends.
  • the detected strain area information may be stored in the storage unit of the biological information processing apparatus 2, for example.
  • the inconsistent region of the biological image can be extracted by performing discontinuous detection, repeated detection, and distortion detection as the capturing characteristics of a plurality of partial biological images captured continuously. Note that the above discontinuous detection, repetitive detection, and distortion detection are not limited to the order described above.
  • FIG. 31 is a diagram illustrating a state where the contact portion of the biological image is divided by discontinuous lines
  • FIG. 32 is a diagram illustrating a state where the contact portion of the biological image is divided by a plurality of discontinuous lines
  • FIG. 33 is a diagram illustrating a state in which an appropriate region is extracted from the divided biological image with reference to the fingerprint center.
  • FIGS. 34 and 35 are diagrams illustrating the principle of determination processing for an appropriate region candidate. It is a flowchart which shows an appropriate area
  • the configurations, processing contents, processing procedures, and the like shown in FIGS. 31 to 36 are examples, and the present invention is not limited to these.
  • the appropriate area is extracted from the fingerprint image 60 as a biological image based on the size of the area excluding the inconsistent area of the extracted image. That is, an image size required on the authentication algorithm side, for example, an area composed of a predetermined number of pixels is extracted as an appropriate area.
  • the determination of the appropriate area is made based on the extracted mismatched area and the extracted position of the appropriate area as to whether the appropriate area is suitable for authentication. Since the minutiae information used for biometric authentication is mostly near the center of the fingerprint, it is determined whether the area near the center of the fingerprint has been extracted as an appropriate area, and the reading state of the biometric image is evaluated.
  • the appropriate region excluding the mismatched region with respect to the fingerprint image 60 is extracted from the contact region 101 of the living body after removing the repeated region 122 and the distorted region 140.
  • Division processing is performed by the continuous line 150.
  • the largest contact area 101 may be determined as the appropriate area for the divided contact area 101.
  • the discontinuous line 150 may use the detection area 114 detected as the discontinuous area described above.
  • the contact including the fingerprint center 152 obtained by the feature information extraction process described above is performed.
  • the area 101 is set as an appropriate area.
  • authentication applicability can also be satisfied by setting an area including the fingerprint center 152 as an appropriate area based on the definition of the determination process.
  • distances L 1 and L 2 to the boundary line 120 of the contact area 101 closest to the fingerprint center 152 are determined as shown in FIGS. As described above, even in the contact area 101 including the fingerprint center 152, when the fingerprint center 152 is close to the boundary line 120 of the contact area 101, it is determined that a range suitable for authentication is not sufficiently included.
  • the threshold of the distance between the fingerprint center 152 and the nearest boundary line 120 is determined by an authentication algorithm.
  • an area excluding the repeated area 122 and the distorted area 140 is detected as an appropriate area candidate (step S701). If there is a discontinuous line in the appropriate area candidate, the appropriate area candidate is divided using the discontinuous line as a boundary line (step S702).
  • step S703 It is determined whether the size of the divided appropriate area candidate exceeds a predetermined threshold (step S703). If the threshold is exceeded (YES in step S703), it is determined whether the fingerprint center is included in the appropriate area candidate (step S704). When the size determination of the appropriate area candidate (step S703) or the determination whether the fingerprint center is included (step S704) is not satisfied (NO in step S703 or NO in step S704), the appropriate area The candidate does not satisfy the extraction condition. Then, the process proceeds to determination of whether there is another appropriate area candidate (step S707).
  • step S704 the process proceeds to the applicability determination for authentication. It is determined whether the distance from the fingerprint center to the nearest boundary line exceeds a predetermined threshold (step S705). If the distance exceeds the predetermined threshold (YES in step S705), the appropriate area candidate is determined as an appropriate area, The data is stored in the storage unit (step S706). If the threshold value is not exceeded (NO in step S705), the process proceeds to step S707, and if there is another appropriate area candidate (YES in step S707), the process returns to step S703, and the next appropriate area candidate is determined. Make a decision.
  • the user is prompted to input biometric information again.
  • advice or the like may be given using the display unit 168 (FIG. 37) of the biological information processing apparatus 2 as to how to input biological information.
  • the reliability of biometric authentication can be improved. Further, the reliability of biometric authentication can be improved by determining the read state of the image based on the position and size of the extracted appropriate region with respect to the reconstructed biometric image. In addition, by extracting an appropriate region that can be authenticated, it is not necessary to repeat re-input of biometric information even when partial biometric images are synthesized inconsistently, and the convenience for the user is improved.
  • the biological information processing apparatus 2 performs detection according to the pattern.
  • the biological information is arranged linearly because there are cases where patterns such as textures are originally distributed discontinuously. Thereby, it can prevent detecting a discontinuous area accidentally.
  • the authentication performance can be improved without increasing the number of operations.
  • the fourth embodiment shows an example of a hardware configuration of a biological information processing apparatus and an example of a processing procedure thereof.
  • FIG. 37 and FIG. 38 are referred to for the fourth embodiment.
  • FIG. 37 is a diagram illustrating a hardware configuration example of the biological information processing apparatus
  • FIG. 38 is a flowchart illustrating a processing procedure of the biological information processing. Note that the configuration, processing content, processing procedure, and the like illustrated in FIGS. 37 and 38 are examples, and the present invention is not limited to these. The description of the same configuration and processing contents as those in the above embodiment is omitted.
  • the biometric information processing apparatus 2 is a means for acquiring a partial biometric image 4 and extracting a region suitable for authentication from the reconstructed biometric image or determining authentication applicability of the biometric image. Consists of a computer.
  • the biometric information processing device 2 may constitute a biometric authentication device. For example, as shown in FIG. 37, a biometric information reading unit 160, a CPU (Central processing unit) 162, a memory 164, an input / output unit 166, a display unit 168, and the like are provided.
  • the biological information reading unit 160 is an example of a biological image reading unit, and constitutes the biological image acquisition unit 6.
  • the biometric information reading unit 160 is composed of a sweep type fingerprint sensor, and takes in a plurality of partial biometric images 4 when the user slides his / her finger.
  • the CPU 162 is an example of a calculation unit for calculating and executing an OS (Operating System) stored in the memory 164 and other processing programs, and configures an information processing unit of the biological information processing apparatus 2. . Then, by executing the program, the acquired biometric image synthesis, feature information extraction, inconsistent area extraction, appropriate area extraction, and reading determination process are executed.
  • OS Operating System
  • the memory 164 is an example of a storage unit or a recording unit, and stores, for example, an operation control program or a processing program of the biological information processing apparatus 2 or an acquired biological image.
  • the configuration of the memory 164 includes, for example, a program storage unit 170, a data storage unit 172, a RAM (Random Access Memory) 174, and the like.
  • the program storage unit 170 is an example of a unit that stores a program for performing operation control of the biological information processing apparatus 2, analysis processing for the biological image described above, and the like, and includes a computer-readable medium.
  • a ROM ReadROMOnly Memory
  • a feature information information extraction program 1702, an inconsistent region extraction program 1703, an appropriate region extraction program 1704, a reading determination program 1705, and the like are stored in addition to the OS 1701.
  • the data storage unit 172 is an example of a means for storing captured biometric images, extracted feature information, information on inconsistent areas or appropriate areas of the biometric image, and may be, for example, a ROM or a flash memory. Good.
  • a feature information storage unit 176, a biological image storage unit 178, and the like are configured.
  • the program storage unit 170 and the data recording unit 172 may be configured by, for example, an EEPROM (ElectricallyrErasablerasand Programmable Read Only Memory) that can be electrically rewritten.
  • EEPROM ElectricallyrErasablerasand Programmable Read Only Memory
  • processing programs are not limited to those stored in the program storage unit 170 or the like.
  • a computer-readable recording medium such as a magnetic disk, a flexible disk, an optical disk, or a magneto-optical disk may be used.
  • a program or the like may be read from a server or database on the network and used.
  • the RAM 174 constitutes a work area for executing the above control program and the like. Then, the CPU 162 causes the inconsistent area extraction unit 8, the appropriate area extraction unit 10, the determination unit 14, and the like to function by executing the control program.
  • the input / output unit 166 is an example of an input unit of the biological information processing apparatus 2 or an output unit such as a voice, and may be configured by an input unit such as a keyboard or a voice output unit such as a speaker.
  • the display unit 168 is an example of a display unit composed of an LCD (Liquid Crystal Display) display element or the like that can display a screen. For example, a biometric information input instruction and a verification result are given to a user who performs authentication. Alternatively, biometric information input advice or the like may be displayed.
  • LCD Liquid Crystal Display
  • the biological information reading unit 160 acquires the partial biological image 4 and captures the biological image reconstructed by synthesis (step S801). Feature information is extracted from this biological image (step S802), and the mismatch information is extracted by the above-described processing using this feature information (step S803). Then, an appropriate region is extracted from the biometric image using this inconsistent region (step S804), and the biometric image reading determination is performed by determining applicability to authentication (step S805).
  • biometric information such as appropriate area information is output (step S806).
  • 5th Embodiment has shown the case where extraction of the feature information used for inconsistent area extraction and the extraction of the feature information used for authentication are performed separately.
  • FIG. 39 is referred to for the fifth embodiment.
  • FIG. 39 is a diagram illustrating a functional configuration of the biological information processing apparatus according to the fifth embodiment.
  • the configuration illustrated in FIG. 39 is an example, and the present invention is not limited to this.
  • the same components as those in FIG. 39 are identical to FIG. 39.
  • the biometric information processing device 2 is an example of the biometric information processing device, the biometric information processing method, or the biometric information processing program of the present disclosure. Extract only. Then, when it is determined by the reading determination that the acquired biometric image can be authenticated, feature information necessary for authentication is extracted.
  • the biological information processing apparatus 2 includes, for example, the storage unit 180, the feature information extraction unit 18, the inconsistent region extraction unit 8, the appropriate region extraction unit 10, the determination unit 14, and the authentication unit 16.
  • An extraction unit 182 is provided.
  • the storage unit 180 corresponds to, for example, the feature information storage unit 176 described above, and stores the feature information extracted by the feature information extraction unit 18.
  • the feature extraction unit 182 is an example of a unit that extracts feature information necessary for authentication from the determined biometric information that can be authenticated by the reading determination.
  • this biological information for example, a reconstructed biological image or appropriate area information extracted from this biological image is used.
  • the feature information extracted by the feature information extraction unit 18 can be used by connecting to the storage unit 180. Therefore, the feature extraction unit 182 may extract feature information that is not stored in the storage unit 180 from the feature information necessary for authentication.
  • 6th Embodiment shows the modification of the combination of the means to extract a mismatch area
  • FIG. 40 is referred to for the sixth embodiment.
  • FIG. 40 is a diagram illustrating a functional configuration example of the biological information processing apparatus according to the sixth embodiment. Note that the configuration shown in FIG. 40 is an example, and the present invention is not limited to this. In FIG. 40, the same parts as those in FIG.
  • This biological information processing apparatus 2 has a configuration in which the inconsistent region extraction unit 8 includes a shading discontinuity detection unit 24 and a repetitive pattern detection unit 26. That is, the case where the density discontinuity detection and the repeated pattern detection are performed as the inconsistent area extraction processing is shown.
  • a biometric image used for biometric authentication even if a distorted ridge is slightly distorted or clogged, it may be applied to authentication if it has a predetermined error level. However, as shown in the above detection process, an image in which shading discontinuity or a repetitive pattern occurs is completely different biometric information. If the feature information used for authentication is extracted from this ridge image, the person himself / herself is identified. However, it may not be authenticated.
  • ridge discontinuity detection and frequency discontinuity detection are omitted as extraction of inconsistent regions, and grayscale discontinuity detection and repetitive pattern detection are preferentially executed.
  • the inconsistent region extraction processing is not limited to the case of FIG. 40.
  • the above-described frequency discontinuity detection or discontinuity detection using the tangential direction of the ridge is used for the grayscale discontinuity detection and the repeated pattern detection. May be combined.
  • FIG. 41 is referred to for the seventh embodiment.
  • FIG. 41 is a flowchart illustrating an example of inconsistent region extraction processing of the biological information processing apparatus. Note that the processing procedure shown in FIG. 41 is an example, and the present invention is not limited to this.
  • inconsistent area extraction for example, a process with a lighter processing load than other detection processes is performed first, and an appropriate area candidate at this stage is extracted from the inconsistent areas detected in these processes. Then, another detection process is performed on the appropriate area candidate.
  • step S901 when a biological image is acquired (step S901), a ridge discontinuity detection process (step S902) and a frequency discontinuity detection process (step S903) are performed, and the discontinuous lines detected by these processes are removed from the biological image.
  • the appropriate area candidate is extracted (step S904).
  • the appropriate region candidate is subjected to light / dark discontinuity (step S905) and repeated pattern detection (step S906), and an appropriate region is extracted using the extracted mismatched region (step S907). Is output (step S908).
  • FIGS. There is a personal digital assistant (PDA: Personal Digital Assistant) 400.
  • PDA Personal Digital Assistant
  • a display-side housing unit 202 and an operation-side housing unit 204 are connected by a hinge unit 206 so as to be opened and closed.
  • the display-side casing unit 202 includes a display unit 208, a receiver 210, and the like
  • the operation-side casing unit 204 includes a biological information reading unit 212, an operation input unit 214, and the like.
  • the PC (FIG. 43) 300 is configured to be able to open and close the key-side casing 302 and the display-side casing 304 with a hinge 306, for example.
  • a biometric information reading unit 308 and a keyboard 310 are provided on the key side housing unit 302 side, and a display unit 312 is provided on the display unit side housing unit 304.
  • the PDA 400 (FIG. 44) includes a display unit 402, an operation unit 404, and a biological information reading unit 406.
  • a fingerprint image is used as an example of biometric information.
  • the present invention is not limited to this.
  • a palm print, a palm shape, a palm vein, a finger vein, or the like may be used.
  • the detection process with a light processing load is executed.
  • the present invention is not limited to this. For example, a heavy process is performed first. Alternatively, if no inconsistency is detected here, other processing may not be performed. In addition, when inconsistency is detected, other detection processing may be performed on the region excluding the inconsistency region detected by this processing.
  • This biological information processing apparatus may include biological information input means, partial image composition means, inconsistent area detection means, appropriate area detection means, and reading determination means.
  • the biological information input means visualizes the biological information of the relatively moving biological part and continuously collects a plurality of partial images of the biological information.
  • the partial image synthesis means synthesizes the plurality of partial images input by the biological information input means based on the device movement distance and the relative movement direction of the relatively moving biological part.
  • the inconsistent area detection means regards the relative movement direction calculated by the partial image composition means from the composite image synthesized by the partial image composition means or the relative movement direction based on the installation state of the biological information input means. A region improperly synthesized along a direction orthogonal to a predetermined direction is detected.
  • the appropriate area detecting means detects an appropriate area based on the size of the area excluding the inconsistent area in the composite image.
  • the reading determination unit determines the reading state based on the positional relationship between the appropriate area and the inconsistent area.
  • the biological information processing apparatus may include ridge discontinuity detection means.
  • the ridge discontinuity detecting means detects a discontinuous region that is linearly distributed on the composite image based on a ridge direction detected from a local region in the composite image. If the ridge discontinuity detecting means is provided, the inconsistent area detecting means can detect the inconsistent area based on the discontinuity information.
  • this biological information processing apparatus may include frequency discontinuity detection means.
  • the frequency discontinuity detection means is linearly distributed on the composite image based on frequency information along a boundary defined between a ridge or a ridge and a valley from a local region of the composite image. Detect discontinuous areas.
  • the inconsistent area detecting means may be configured to detect an inconsistent area based on the discontinuity information.
  • this biological information processing apparatus may include a ridge direction identical part detecting means and a repeated pattern detecting means.
  • the same ridge direction part detection means detects the same ridge direction part where the local areas where the ridge directions calculated from the local area are the same are connected in a straight line.
  • the repetitive pattern detection means repeats when the same part in the ridge direction is adjacent and distributed in parallel, or when local areas where the ridge directions calculated from the local area are the same are widely distributed. Detect patterns.
  • the inconsistent area detecting means may be configured to detect the inconsistent area based on the position and shape of the repeated pattern.
  • this biological information processing apparatus may include ridge direction discontinuity detection means.
  • the ridge direction discontinuity detection means predicts a prediction range that can be taken by the ridge direction in the adjacent local region adjacent to the relative movement direction of the living body or a predetermined direction regarded as the relative movement direction. Then, when the ridge direction in the adjacent local region is outside the prediction range, the ridge direction is regarded as discontinuous, and a region where the ridge direction is discontinuous is detected.
  • the inconsistent area detecting means may be configured to detect the inconsistent area based on the discontinuity information.
  • This relative movement direction may be calculated by the partial image combining means from the ridge direction calculated for the local region of the combined image.
  • the predetermined direction regarded as the relative movement direction may be calculated based on the installation state of the biological information input means.
  • the biological information processing apparatus may include a light / dark discontinuity detecting means.
  • the light / dark discontinuity detecting means calculates a light / dark change with respect to the relative movement direction or a predetermined direction regarded as the relative movement direction, and the ridge direction, the orthogonal direction in the composite image plane, and the relative movement direction are calculated. Based on the difference, light and dark discontinuities are detected. Then, the inconsistent area detecting means may detect the inconsistent area based on the discontinuity information.
  • the relative movement direction may be calculated by the partial image composition unit, and the predetermined direction regarded as the relative movement direction may be calculated based on the installation state of the biological information input unit.
  • the biometric information processing apparatus, the biometric information processing method, or the biometric information processing program of the present disclosure of the present disclosure extracts an appropriate region of synthesis from a biometric image reconstructed by synthesis and uses it for authentication. It is useful because it can improve the reliability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Abstract

 取得した複数の部分生体画像を合成して再構成した生体情報の解析処理を行う生体情報処理装置、生体情報処理方法、生体情報処理プログラムであって、生体画像の合成が不整合な領域を抽出する。そして、生体画像から不整合な領域を除外して、認証に適した適正領域を抽出する。これにより、本人受け入れ拒否等を回避できる。また、生体認証の信頼性を向上させるとともに、生体情報の再入力の回数を減らすことができ、利便性が高められる。

Description

生体情報処理装置、生体情報処理方法及び生体情報処理プログラム
 本発明は、生体の指等を連続撮影した複数枚の部分画像の合成に関し、例えば、合成画像中の認証可能な領域の抽出により、認証用画像を処理する生体情報処理装置、生体情報処理方法及び生体情報処理プログラムに関する。
 情報機器等のセキュリティ機能として、生体情報(バイオメトリクス)を用いた個人認証が知られている。この個人認証では、生体情報として例えば、被認証者の指紋等の画像を取り込み、その画像を用いて指紋の特徴点を照合し、被認証者が本人であるかを認証する。
 この生体情報を取り込むセンサには、例えば、平面型指紋センサがある。このセンサは例えば、指紋を採取する指に対して大きいセンサ面(採取面)を有しており、1度又は少数回の撮影により生体情報の取り込みが行える。
 しかし、認証機能を搭載する情報機器が小型化し、また、このような認証機能を携帯電話機やPDA(Personal Digital Assistant:携帯情報端末機)等の小型情報機器に搭載するようになり、上記の大きなセンサでは搭載が困難になっている。そこで、センサ面を指に対して小さなものとし、そのセンサ面によって連続的に採取した複数の部分生体画像を統合し、再構成して指全体の指紋画像を得るものがある。
 この指紋センサは、センサ面に対して指を移動させ、又は指に対して指紋センサを移動させて連続した複数の部分画像を採取するセンサであり、所謂スウィープ(Sweep )型、スライド(Slide )型、スワイプ(Swipe )型と呼ばれる。
 このような生体情報の読取りセンサとして、指をセンサに対してスライドさせ、読み取った生体情報の部分イメージから指紋のイメージを再構成するもの(例えば、特許文献1)や、走査型指紋検知に容量性検知要素からなるアレイを備えたことが知られている(特許文献2)。
 部分画像の合成に関し、複数のセンサで取得した画像の差から指の移動量や移動位置を推定し、これにより画像合成して指紋画像の伸縮等を防止するもの(特許文献3)や、指の速度変化から歪みを補正するもの(特許文献4)が知られている。
 また、指紋部分画像から、特徴的形状を抽出し、時間的に前後する部分画像の特徴的形状の一致から検出した画像間の移動量に基づいて部分画像を合成するものが知られている(特許文献5)。
 入力された指紋画像の端部を検出し、各端部の値が予め定められた規格値から離れている場合には、入力者に対して補正すべき内容を通知して指紋画像の再入力を促すものが知られている(特許文献6)
 また、取得した指紋画像データの画像品質を分析して、品質不良の場合、不良原因と対策を解析し、評価結果を表示や音響で告知するものが知られている(特許文献7)。
特開平10-091769号公報 特開平11-253428号公報 特開2009-3564号公報 特開2002-216116号公報 特開2003-248820号公報 特開2005-143890号公報 特開2007-97842号公報
 ところで、このようなスウィープ型センサで取得した部分画像を再構成する場合、例えば、読み取る生体情報が指紋等の縞模様を有するパターンであると、誤った位置で画像が合成される場合があるという不都合がある。
 例えば、センサ面に対する指等の生体の移動速度や方向の変化によって、合成された画像に歪み等が生じ、本来の生体情報とは異なる生体情報が読み取られることになる。このような生体情報から誤った特徴情報(隆線の分岐点や端点)が抽出され、生体認証に利用されることにより、本人拒否率が増加し、また他人受け入れ率が増加する等、認証性能の信頼性を低下させるおそれがある。
 また、誤った位置での合成により再構成された画像について、従来、生体情報が不適切に読み取られたことを判断するものがあるが、この判断を行うには生体の相対移動に関する情報も取得する必要があった。よって、例えば、合成された画像情報のみを受けとる認証装置側等では、生体情報が適正に合成されているかを判断するのは困難であった。
 そこで、本開示の生体情報処理装置、生体情報処理方法、又は生体情報処理プログラムの目的は、再構成した生体画像に対し、画像合成が不整合な部分を除外し、認証に適した部分で認証を行わせることで、生体認証機能の信頼性を高めることにある。
 上記目的を達成するため、本開示の生体情報処理装置は、生体画像取得部と、不整合領域抽出部と、適正領域抽出部とを備える。生体画像取得部は、読取手段に対して相対的に移動する生体から連続的に取り込んだ複数の画像を合成した生体画像を取得する。不整合領域抽出部は、前記生体画像から連続的に取り込んだ複数の画像の取り込み特性を利用して不整合領域を抽出する。適正領域抽出部は、前記生体画像から抽出した前記不整合領域を用いて、前記生体画像から認証に適した適正領域を抽出する。
 上記目的を達成するため、本開示の生体情報処理方法は、生体画像取得ステップと、不整合領域抽出ステップと、適正領域抽出ステップとを含む。生体画像取得ステップは、読取手段に対して相対的に移動する生体から連続的に取り込んだ複数の画像を合成した生体画像を取得する。不整合領域抽出ステップは、前記生体画像から連続的に取り込んだ複数の画像の取り込み特性を利用して不整合領域を抽出する。適正領域抽出ステップは、前記生体画像から抽出した前記不整合領域を用いて、前記生体画像から認証に適した適正領域を抽出する。
 上記目的を達成するため、本開示の生体情報処理プログラムは、上記生体情報処理装置に搭載されたコンピュータに実行させる生体情報処理プログラムであって、生体画像取込み機能と、不整合領域抽出機能と、適正領域抽出機能とを含む。生体画像取込み機能は、読取手段に対して相対的に移動する生体から連続的に取り込んだ複数の画像を合成した生体画像を取り込む。不整合領域抽出機能は、前記生体画像から連続的に取り込んだ複数の画像の取り込み特性を利用して不整合領域を抽出する。適正領域抽出機能は、前記生体画像から抽出した前記不整合領域を用いて、前記生体画像から認証に適した適正領域を抽出する。
 本開示の生体情報処理装置、生体情報処理方法、又は生体情報処理プログラムによれば、次のような効果が得られる。
 (1) 再構成した生体画像から不整合領域を抽出し、この不整合領域を用いて適正領域を抽出して認証に利用することで、本人の受け入れ拒否等を防止することができ、生体認証の信頼性を向上させることができる。
 (2) また、生体画像から認証可能な適正領域を抽出することで、不整合な合成がされた場合でも生体情報の再入力を繰り返させることがなく、利用者の利便性が高められる。
 そして、本発明の他の目的、特徴及び利点は、添付図面及び各実施の形態を参照することにより、一層明確になるであろう。
第1の実施の形態に係る生体情報処理装置の機能構成を示す図である。 合成した生体画像の不整合領域及び適正領域の抽出処理を示すフローチャートである。 第2の実施の形態に係る生体情報処理装置の機能構成を示す図である。 第2の実施の形態に係る生体画像の処理を示すフローチャートである。 第3の実施の形態に係る生体情報処理装置の機能部を示す図である。 特徴情報抽出部及び不整合領域抽出部の機能構成例を示す図である。 スウィープ型センサに対する生体情報の入力状態を示す図である。 隆線方向の検出を示す図である。 隆線情報と隆線方向情報の例を示す図である。 隆線の不連続状態を示す図である。 不連続の発生状態を示す図である。 不連続検出の処理手順を示すフローチャートである。 濃淡不連続検出の原理を示す図である。 エッジ強度を算出するための演算子の一例を示す図である。 指紋部位によりエッジの状態が異なることを示す図である。 エッジ強度解析の状態を示す図である。 不連続部分の直線解析を示す図である。 濃淡不連続検出の処理手順を示すフローチャートである。 隆線の接線方向を利用した不連続検出の原理を示す図である。 不連続部分の直線解析を示す図である。 隆線の接線方向を利用した不連続検出の処理手順を示すフローチャートである。 指の先端側の隆線に対して繰り返しパターンが生じた状態を示す図である。 指の根元側の隆線に対して繰り返しパターンが生じた状態を示す図である。 繰り返しパターンにおける隆線方向を示す図である。 繰り返しパターンの検出原理を示す図である。 領域分割処理及び領域形状推定分割処理を示すフローチャートである。 繰り返しパターン検出の処理手順を示すフローチャートである。 生体画像の歪み部分の状態を示す図である。 周波数検出の原理を示す図である。 歪み検出処理を示すフローチャートである。 生体画像の接触部に対して、不連続線によって分割した状態を示す図である。 生体画像の接触部に対して、複数の不連続線によって分割した状態を示す図である。 分割した生体画像に対して、指紋中心を基準とした適正領域を抽出する状態を示す図である。 適正領域候補に対する判定処理の原理を示す図である。 適正領域候補に対する判定処理の原理を示す図である。 適正領域抽出処理、及び判定処理を示すフローチャートである。 第4の実施の形態に係る生体情報処理装置のハードウェア構成例を示す図である。 生体情報処理の処理手順を示すフローチャートである。 第5の実施の形態に係る生体情報処理装置の機能構成を示す図である。 第6の実施の形態に係る生体情報処理装置の機能構成例を示す図である。 生体情報処理装置の不整合領域抽出処理の一例を示すフローチャートである。 他の実施の形態に係る携帯電話機の構成例を示す図である。 他の実施の形態に係るPCの構成例を示す図である。 他の実施の形態に係るPDAの構成例を示す図である。
〔第1の実施の形態〕
 第1の実施の形態は、認証情報として、連続的に取得した複数の部分画像を合成して再構成した生体画像に対し、合成の不整合領域を抽出し、その不整合領域を利用して認証に用いる適正領域を抽出する生体情報処理装置である。
 第1の実施の形態について、図1及び図2を参照する。図1は、第1の実施の形態に係る生体情報処理装置の機能構成を示す図、図2は、合成した生体画像の不整合領域及び適正領域の抽出処理の処理手順を示すフローチャートである。なお、図1及び図2に示す構成や処理手順等は一例であって、これに限定されるものではない。
 この生体情報処理装置2は、本開示の生体情報処理装置、生体情報処理方法及び生体情報処理プログラムの一例であって、複数の部分生体画像を合成した生体画像に対し、その合成状態に基づいて、生体認証に適用できる適正領域を抽出する手段の一例である。
 そこで、読取装置に備えられたスウィープ型センサ等で取り込んだ複数の部分生体画像4を合成して再構成した生体画像に対し、その画像取り込みの特性を利用して、生体画像の特徴情報等から合成状態を解析する。この解析により、例えば、取り込まれた生体情報が基の生体に対して正確に合成されていない、又は生体情報に歪みが生じている等の不整合領域を抽出する。そして、抽出した不整合領域を利用し、生体画像内の適正に合成された領域を抽出する。
 このように合成状態を解析し、抽出した不整合領域を利用して適正領域の抽出を行う生体情報処理装置2は、例えば、生体画像取得部6、不整合領域抽出部8、適正領域抽出部10を備えている。
 生体画像取得部6は、複数の部分生体画像を取得して再構成する手段、又は再構成された生体画像を取り込む手段の一例である。この生体画像取得部6は、例えば、部分生体画像4の読取手段として、例えば、既述のスウィープ型センサを備える。そして、相対的に移動する生体について、複数の部分生体画像4を連続的に採取し、結合させて生体画像の再構成を行う。
 ここで、部分生体画像4の合成は、スウィープ型センサを用いた場合の画像の合成を行う処理であればよく、例えば、読取装置に対して相対的に移動する生体の移動距離や相対移動方向等に基づいて合成すればよい。この生体画像の再構成については、例えば、上記の特許文献1~6に示す手段を用いてもよい。
 不整合領域抽出部8は、再構成された生体画像の合成状態について、基の生体に対して不整合な状態となっている領域を解析して抽出する、生体情報の処理機能部の一例である。この生体画像の不整合領域の抽出には、部分生体画像4の取り込み特性として、例えば、後述する生体情報の不連続状態や歪み状態、繰り返し状態等を利用している。また、この不整合領域は、例えば、生体の相対移動方向、又は生体画像取得手段に対して相対移動方向とみなす方向と直行する方向に沿って解析を行ってもよい。
 適正領域抽出部10は、合成により再構成した生体画像に対し、抽出した不整合領域に基づいて認証に利用できる適正領域を抽出する、生体情報の処理機能部の一例である。例えば、生体画像に対して、抽出した不整合領域を除去することで、適正領域の候補を抽出してもよい。そして、その適正領域の候補に対して、所定の条件として、例えば、認証可能な生体情報の大きさ(例えば、画素数)等の条件に基づいて、適正領域の抽出を行ってもよい。抽出する適正領域は、生体画像に対して1つとは限られず、例えば、不整合領域の大きさ等によって、複数の適正領域を抽出してもよい。
 そして、抽出した適正領域の情報は、例えば、生体認証部12側に送られ、認証処理が行われる。
 次に、生体画像に対する不整合領域の抽出、適正領域の抽出処理について、図2を参照する。
 この抽出処理は、生体情報処理方法、生体情報処理プログラムの一例であって、既述のように、複数の部分生体画像4を再構成して生体画像を取得し、この生体画像から不整合領域を抽出し、この不整合領域を利用して、適正領域を抽出する。この抽出処理手順には、生体画像取得機能(ステップS11)、不整合領域抽出機能(ステップS12)、適正領域抽出機能(ステップS13)が含まれる。
 生体画像の取得では、複数の部分生体画像4を取り込み、再構成した生体画像を取得する(ステップS11)。そして、この生体画像について、合成の不整合な領域の抽出を行う(ステップS12)。この不整合領域の抽出では、例えば、生体情報が指紋情報であり、連続的に取り込んだ複数の画像の合成結果が指紋の場合において、その隆線の方向や、隆線間の間隔情報を利用して、生体画像を解析すればよい。また、指紋の隆線の端部や、分岐点等のマニューシャ等の特徴情報を利用してもよい。そして、部分生体画像4の取り込み特性として例えば、指紋の隆線の接線角度の変化量検出や周波数を用いた歪みの検出等を行う。この解析は、例えば、生体画像の全領域に対して行ってもよく、又は、所定の画素単位毎に区切って行ってもよい。
 この解析により、生体画像中において、生体情報が不連続となっている領域、歪みが生じている領域、同様の画像が繰り返しとなっている領域の候補を抽出する。この処理では、例えば、既述した生体情報の不連続状態の解析、歪み状態の解析、繰り返し状態の解析の全てを行ってもよく、又はこれらの何れか1つを行い、又は複数を組み合わせてもよい。
 不整合領域を抽出したら、生体画像の適正領域の抽出に移行する(ステップS13)。この処理では、生体画像に対して、抽出した不整合領域を除去することで、適正領域を抽出する。
 抽出した不整合領域情報や適正領域情報は、例えば、生体認証部12側へと転送して、生体認証処理に利用すればよく、又は、記憶手段に記憶してもよい。
 斯かる構成によれば、再構成された生体画像の不整合領域を抽出し、この不整合領域を用いて適正領域を抽出することで、本人の受け入れ拒否や他人の受け入れを防止することができ、生体認証の信頼性を向上させることができる。また、認証可能な適正領域の抽出を行うことで、部分生体画像が不整合に合成された場合でも、生体情報の再入力を繰り返す必要がなく、利用者の利便性が高められる。
〔第2の実施の形態〕
 第2の実施の形態は、第1の実施の形態に示す構成に加え、抽出した適正領域に対して、認証への適用性の判定処理を行う。
 第2の実施の形態について、図3及び図4を参照する。図3は、第2の実施の形態に係る生体情報処理装置の機能構成を示す図、図4は、第2の実施の形態に係る生体画像の処理を示すフローチャートである。なお、図3、図4に示す構成、処理手順等は一例であって、これに限定されない。また、図3、図4において、図1、図2と同等の構成又は同等の処理については、説明を省略する。
 この生体情報処理装置2は、本開示の生体情報処理装置、生体情報処理方法又は生体情報処理プログラムの構成例であって、第1の実施の形態に対して、抽出した適正領域が認証に利用可能か否かの判定を含む構成である。そこで、この生体情報処理装置2には、例えば、既述の生体画像取得部6、不整合領域抽出部8、適正領域抽出部10に加え、判定部14を備えている。
 判定部14は、生体情報の読取り状態を判定する手段の一例であって、例えば、生体画像から抽出した適正領域が、生体認証部12で認証を行うことができる条件を満たしているかを判定する。この判定では、例えば、抽出した適正領域の、認証に利用可能な画素数や、生体画像内における位置情報等を判定すればよい。そして、取得した生体画像の認証可能な適正領域の有無が、生体情報の読取り状態の判定結果となる。
 また、例えば、抽出された適正領域の候補に対して、判定部14が所定の条件を有するかを判定することで、最も認証に適した適正領域を抽出するようにしてもよい。
 第2の実施の形態に係る生体情報の処理について、図4を参照する。
 この生体情報処理は、生体情報処理方法、生体情報処理プログラムの一例であって、抽出した適正領域が認証に利用可能か否かの判定を行う。そこで、既述の生体画像取得機能(ステップS21)、不整合領域抽出機能(ステップS22)、適正領域抽出機能(ステップS23)に加えて、判定処理機能(ステップS24)が含まれる。
 図4に示した生体画像取得機能(ステップS21)、不整合領域抽出機能(ステップS22)、適正領域抽出機能(ステップS23)については、第1の実施の形態に示すステップS11~ステップS13(図2)と同様に行えばよい。
 そして、判定処理では、抽出した適正領域に対して、認証に利用可能か否かを判定する(ステップS24)。この処理では、例えば、生体画像に対して、適正領域と不整合領域との位置関係に基づいて判定したり、又は適正領域の画素数等に基づいて判定する。
 この判定により、認証に利用可能と判定した場合(ステップS24のYES)には、その適正領域情報を認証情報として、生体認証部12側へと送信する。又は、記憶部等に記憶させてもよい。また、認証に利用できないと判断した場合(ステップS24のNO)は、生体情報の読取りが良好ではないので、例えば、ステップS21に戻り、再度の生体画像の取得を指示する。この場合、例えば、生体情報処理装置2の表示部168(図37)等を利用して、利用者に対して生体情報の再入力を促す。更に、生体情報の入力の仕方について、アドバイスを行ってもよい。
 斯かる構成によれば、再構成された生体画像の不整合領域を抽出し、この不整合領域を用いて適正領域を抽出することで、本人の受け入れ拒否や他人の受け入れを防止することができ、生体認証の信頼性を向上させることができる。また、再構成した生体画像に対し、抽出した適正領域の位置や大きさ等に基づいて画像の読取り状態を判定することにより、生体認証の信頼性を向上させることができる。
〔第3の実施の形態〕
 第3の実施の形態は、生体情報処理装置の具体的な構成例を示す。生体情報処理では、既述のように、複数の部分生体画像を取り込み、合成により再構成した生体画像に対して合成の不整合領域を抽出し、この不整合領域を利用して適正領域の抽出を行う。生体画像の不整合領域の抽出は、取り込んだ複数の部分生体画像の取り込み特性として、例えば、生体情報の不連続部分、繰り返し部分、歪み部分を解析して判断する。
 第3の実施の形態について、図5、図6、図7、図8及び図9を参照する。図5は、生体情報処理装置の機能部を示す図、図6は、特徴情報抽出部及び不整合領域抽出部の機能構成例を示す図、図7は、スウィープ型センサに対する生体情報の入力状態を示す図、図8は、隆線方向の検出を示す図、図9は、隆線情報と隆線方向情報の例を示す図である。なお、図5、図6、図7、図8及び図9に示す構成は一例であって、これに限られない。また、第1又は第2の実施の形態と同等の構成については、説明を省略する。
 この生体情報処理装置2は、本開示の生体情報処理装置、生体情報処理方法又は、生体情報処理プログラムの一例であり、例えば、生体認証装置を構成する。合成した生体画像の不整合の解析では、例えば、生体画像から抽出される特徴情報を利用する。そして不整合領域の抽出では、取り込んだ複数の部分画像の取り込み特性である隆線不連続、周波数不連続、濃淡不連続、繰り返しパターン等となっている画像の解析を行う。なお、ここで利用する生体情報は、例えば、生体指紋情報を示している。
 そこで、この生体情報処理装置2は、図5に示すように、生体画像取得部6、不整合領域抽出部8、適正領域抽出部10、判定部14、認証部16の他、特徴情報抽出部18を備える。また、不整合領域抽出部8は、例えば、隆線不連続検出部20、周波数不連続検出部22、濃淡不連続検出部24、繰り返しパターン検出部26を備えている。これらの機能部はコンピュータ処理によって実現される。
 特徴情報抽出部18は、再構成された生体画像、又は部分生体画像から、生体の特徴情報を解析し、抽出する手段である。この特徴情報として、例えば、指紋の隆線方向情報、指紋中心情報、マニューシャ情報、隆線間隔情報等を抽出すればよい。そして、これらの特徴情報を利用し、再構成された生体画像の不整合領域の抽出を行う。
 なお、この特徴情報の抽出は、認証処理で利用する生体情報の特徴情報の抽出と同様に行えばよく、例えば、ここで得られた特徴情報を利用して、生体認証を行ってもよい。
 隆線不連続検出部20は、抽出した特徴情報を利用した不整合領域の抽出機能部の一例であって、例えば、隆線方向不連続検出部28を備え、生体画像の隆線が不連続な状態に合成されている部分の解析を行う。隆線方向不連続検出部28は、例えば、隆線方向情報又は隆線の接線の変位情報等に基づいて所定の隆線方向を予測し、この予測方向と、生体画像の隆線方向とを比較して不連続を検出する。
 周波数不連続検出部22は、例えば、隣り合う指紋の隆線間、又は隆線と谷線との間の間隔情報を周波数として解析し、生体画像上に直線的に分布する周波数の不連続を検出する手段である。この周波数不連続検出により、例えば、読取装置に対する生体の移動速度の変化等によって生じる生体画像の歪みを検出する。
 濃淡不連続検出部24は、隆線の不連続部分の検出を行う機能部の一例であって、例えば、生体画像の隆線の濃淡が変化した部分を示す画素の強度を算出し、生体の相対移動方向に対する隆線のズレを検出する。そして、生体の相対移動方向に対して直交方向に採った検出領域について、画素の持つ隆線の強度を表す値が不連続となっている領域を不整合領域として検出する。
 繰り返しパターン検出部26は、生体の同一部位を取り込んだ複数の部分生体画像を繰り返して合成している領域を検出する手段の一例であり、隆線方向同一部位検出部30を備えている。この隆線方向同一部位検出部30は、例えば、生体画像の隆線方向が同一となる所定の領域が、直線上に連なって合成されている部位を検出する手段である。これにより、例えば、隆線方向が同一となる領域が隣接して平行に分布している領域を、合成の不整合を示す繰り返しパターンとして検出する。
 更に、この実施の形態の生体情報処理装置2は、図6に示すように、特徴情報抽出部18及び不整合領域抽出部8が構成される。
 特徴情報抽出部18は、既述の生体画像取得部6で取得した生体画像の提供を受け、その生体画像から特徴情報を抽出する機能部である。そこで、特徴情報抽出部18は例えば、隆線方向検出部50、指紋中心検出部52、マニューシャ検出部54、間隔検出部56を備えている。
 この場合、生体画像取得部6には、複数の部分生体画像4を取得する手段として、例えば、図7に示すスウィープ型センサ40を備えており、利用者が指42をスライドさせて取り込んだ部分指紋画像を合成して、指紋画像を再構成する。
 隆線方向検出部50は、生体画像から隆線方向を検出する手段である。隆線方向の検出は、図8に示すように、例えば、指紋画像60を所定の小領域に分割し(図8A)、2値化等の処理を施して、方向性フィルタ等によって画像処理をすればよく、このような処理により隆線方向62が得られる(図8B)。この指紋画像60の隆線方向62と隆線64を図9に示す。このような隆線方向の検出として、例えば、特開平5-242227号公報に示す方法を利用してもよい。
 指紋中心検出部52は、合成された指紋画像60から、指紋の中心を検出する手段である。この指紋中心の検出は、例えば、指紋画像上の各位置における指紋紋様の曲率を求め、この曲率の最大点を求める方法がある。また、例えば、「D.Maltoni 他著『指紋認識ハンドブック』Springer Science, p.100 」や、「M.Kawagoe and A.Tojo, Fingerprint Pattern Classification, Pattern Recognition, Vol.17, No.3, pp. 295-303, 1984. 」に示すように、ポアンカレ指数を用いて特異点を検出する方法を利用してもよい。
 間隔検出部56は、合成された指紋画像の隆線同士、谷線同士、又は隆線と谷線との間隔情報を検出する手段である。
 不整合領域抽出部8には、例えば、不連続検出部70、繰り返し検出部72、歪み検出部74が構成されている。
 不連続検出部70は、不整合領域として、隆線の不連続部分を検出する手段の一例であって、例えば、既述の隆線不連続検出部20、濃淡不連続検出部24に対応する。この不連続検出部70には、不連続候補点検出部76、直線検出部78、不連続判定部80を備えている。
 不連続候補点検出部76は、隆線方向情報、濃淡情報の解析により、例えば、隆線毎に不連続になっている点を検出する手段である。図10に示すように、不連続候補点100は、画像合成のズレにより生じた隆線の不連続位置であり、指紋画像60に対して水平方向に複数発生する。
 直線検出部78は、不連続候補点100が直線上に発生しているか否かを検出する手段である。即ち、指紋画像60は、複数の部分生体画像4を生体の相対移動方向に沿って合成している。これにより、隣接した隆線に対して不連続部分が、生体の相対移動方向に対して直交方向に直線上に生じることになる。
 不連続判定部80は、不連続候補点検出部76及び直線検出部78の検出結果に基づいて、不連続の発生を判定する手段の一例である。既述のように、検出した不連続候補点100が、直線状に発生している場合には、この部分を不連続発生部分と判断する。
 繰り返し検出部72は、既述の繰り返しパターン検出部26に対応しており、合成した生体画像の繰り返しを検出する手段の一例であって、領域分割部82、領域形状推定部84、繰り返し性判定部86を備える。
 領域分割部82は、後述するように、繰り返し検出処理において、生体画像に対して、繰り返し状態となる可能性がある領域を抽出するための2値化処理を行う手段の一例である。
 領域形状推定部84は、例えば、上記の2値化画像において、指の接触幅の差を検出し、繰り返し状態となる可能性がある繰り返しパターン候補を含む領域を推定する手段の一例である(図25)。
 繰り返し性判定部86は、例えば、上記の繰り返しパターン候補に対して、隆線方向情報等を利用し、繰り返しパターンか否かを判定する手段の一例である。
 また、歪み検出部74は、既述の周波数不連続検出部22に対応しており、再構成した生体画像に、歪み領域が発生していることを検出する手段であり、例えば、周波数算出部88、領域分割部90、歪み判定部92を備える。
 周波数算出部88は、例えば、所定領域における指紋の隆線間等の間隔情報を示す周波数について、生体画像の水平方向毎に閾値を算出したり、投影情報を算出する手段である。
 領域分割部90は、歪み領域に対し、周波数算出や歪み判定の対象である複数の領域に分割する手段である。
 歪み判定部92は、上記の算出した投影情報が所定の閾値を超えている場合に歪み領域として検出する手段である。
 次に、生体画像の不整合領域抽出の具体的な解析処理例について示す。この不整合領域抽出では、生体情報として、指紋情報を利用した場合を示す。
(1)不連続検出
 生体画像の不連続検出について、図11、図12、図13、図14、図15、図16、図17、図18、図19、図20及び図21を参照する。図11は、不連続の発生状態を示す図、図12は、不連続検出の処理手順を示すフローチャート、図13は、濃淡不連続検出の原理を示す図、図14は、エッジ強度を算出するための演算子の一例を示す図、図15は、指紋部位によりエッジの状態が異なることを示す図、図16は、エッジ強度解析の状態を示す図、図17は、不連続部分の直線解析を示す図、図18は、濃淡不連続検出の処理手順を示すフローチャート、図19は、隆線の接線方向を利用した不連続検出の原理を示す図、図20は、不連続部分の直線解析を示す図、図21は、隆線の接線方向を利用した不連続検出の処理手順を示すフローチャートである。なお、図11~図21に示す構成、処理内容、処理手順等は一例であって、これに限定されない。
 取得した複数の画像が不連続に合成された指紋画像60では、隆線64が途中で折れ曲がる、又は段差が生じる等の状態となり、指の接触領域101も同様に歪んだ状態となる。適正に合成された隆線の例を図11Aに示す。これに対し、不整合な合成が行われると、例えば、図11Bに示すように、不整合に合成された不連続部分102から連続的に画像が合成されるので、指紋が歪んだ状態となる。このような隆線から抽出した特徴情報を生体認証に利用すると、上記の折れ曲がりの位置や、段差部分を隆線の端部と誤認識するおそれがある。
 そこで、不連続検出では、隆線64の連続状態を解析し、図11Bに示す不連続部分102を検出する。この不連続検出では、例えば、既述した濃淡不連続検出や、隆線の接線方向不連続検出を利用する。
 不連続検出の処理手順として、例えば、図12に示すように、濃淡不連続検出処理F1を行った後に、隆線の接線方向を利用した不連続検出処理F2を行えばよい。
 まず、処理F1として、指紋画像60の濃淡情報を利用した不連続候補点100を検出し(ステップS101)、この不連続候補点100を用いて直線検出を行う(ステップS102)。即ち、図10及び図11Bに示すように、隆線64の不連続点は指紋画像60の水平方向に対して直線上に生じることから、不連続候補点100が直線上に検出されているか否かの判断を行う。この直線検出には、例えば、ハフ変換、最小自乗法による算出処理を行えばよい。
 不連続候補点100の検出結果、直線検出の結果に基づいて、濃淡の不連続の判定を行う(ステップS103)。
 次に、処理F2として、隆線64の接線方向を解析し、任意の各点の変位状態から不連続候補点100を検出し(ステップS104)、上記のように、この不連続候補点100の直線検出を行う(ステップS105)。そして、不連続候補点の検出結果と、直線検出結果に基づいて、接線方向に基づいた不連続の判定を行う(ステップS106)。
 なお、この処理F1と処理F2の手順は、何れか一方のみを行うものであってもよい。
 (A)濃淡不連続検出(図13)
 濃淡不連続検出では、例えば、特徴情報抽出部18で抽出した指紋画像60の隆線64のエッジを利用する。図13に示すように、例えば、ローパスフィルタ等を用いて、1画素幅に細線化した隆線64に対して、垂直方向として例えば、生体の相対移動方向に濃淡の変化が急な部分を示すエッジ強度104の算出を行う。エッジ強度104は、例えば、図14に示すソーベルオペレータ等の演算子106を用いて算出する。この演算子106は、画像解析のフィルタの一例であって、注目画素とその近傍画素の濃度値に対して、係数の重み付けを行う。算出処理では、例えば、演算子106の行列を用いて積和演算を行い、新たな濃淡値を設定する。
 指紋画像60のエッジ強度104が高い画素をエッジ画素とし、また、エッジ画素が連なっている長さをエッジ長とする。そして、エッジ画素が指紋画像60の水平方向に直線状に並んでいる部分を不連続部分であるとみなす。
 そして、不連続部分に対して演算子106を利用して算出したエッジ強度104は、図13Bに示すように検出される。
 しかしながら、図15に示すように、指の先端側等のように水平方向に伸びた隆線64(図15A)や、僅かに斜め方向に傾いた隆線64(図15B)のように、不連続でない場合にも、垂直方向のエッジ強度104が検出される場合がある。即ち、水平方向に長く伸びた隆線64(図15A)では、エッジが水平方向に長く繋がっていると判断される。また、斜め方向に伸びた隆線64(図15B)では、水平方向に、例えば、1~2画素程度のエッジ部分108として検出される場合がある。従って、これらの場合を区別する処理が必要となる。
 そこで、エッジ長を利用した判断を行う。即ち、水平方向に伸びている隆線64では水平方向のエッジ長が長くなる。また、僅かに斜め方向に伸びている隆線64では、水平方向のエッジ長が例えば、1画素程度と小さい値となる。よって、エッジ長が所定の閾値Thmin からThmax の間であるエッジ画素を検出し、この部分を不連続候補として検出する。
 また、図16に示すように、隆線64と谷線110が互い違いになって合成される(図16A)。この場合には、単純にエッジ長を検出すると、水平方向に伸びた隆線64と同じように長いエッジ長が検出されることになり、既述の閾値を利用すると、不連続と判断されないことになる。
 そこで、このように長いエッジ長の検出に対しては、エッジ強度の算出により得られた符号情報を利用する。即ち、指紋画像60に対して、検出を行う基準面を設定する。例えば、谷線110から隆線64への境界線のエッジ強度104の符号と、逆に、隆線64から谷線110への境界線のエッジ強度112の符号が異なる(図16B)。これにより、同じ符号のエッジ強度104又はエッジ強度112であって、エッジ長が所定の閾値Thmin からThmax の間であるエッジ画素群を不連続候補として判断する。
 このエッジ長の検出は、指紋画像60に対して、水平方向に所定の画素幅毎に行う。
 次に、不連続候補の直線検出では、図17に示すように、検出した各エッジ長Lenを利用して、水平方向に所定の画素幅毎のエッジ長Lenの投影情報ΣLenを算出する。直線検出は、例えば、指紋画像60に対して所定の画素幅に設定した検出エリア114毎に検出を行う。この場合、既述のように、エッジ強度104とエッジ強度112の符号が異なることから、この算出処理では、例えば、二乗処理や絶対値による算出を行えばよい。そして、エッジ長の投影情報ΣLenが所定の閾値を超えている検出エリア114を不連続箇所として検出する。
 この濃淡不連続の検出処理について、図18を参照する。この処理は、生体情報処理方法及び生体情報処理プログラムの一例である。
 指紋画像60に演算子106(図14)を適用して垂直方向のエッジ強度を検出する(ステップS201)。エッジ強度の絶対値が所定の閾値を超える画素をエッジ画素として検出する(ステップS202)。
 検出したエッジ画素について、エッジ強度の符号が同じであり、かつエッジ長が水平方向に所定の閾値Thmin からThmax の間であるエッジ画素群を不連続候補として検出する(ステップS203)。
 検出した不連続候補点100に対する直線検出として、不連続候補のエッジ画素の長さLenについて、水平方向の投影情報ΣLenを算出する(ステップS204)。
 そして、算出したエッジ画素の投影情報ΣLenが所定の閾値を超えているかの判断に移行し(ステップS205)、超えている場合(ステップS205のYES)には、不連続箇所が直線上に並んで生じているとみなして、生体画像の不連続部分として検出する(ステップS206)。
 全ての投影情報ΣLenの極大値を判定した場合(ステップS207のYES)には、この処理を終了する。
 検出した不連続部分の情報については、例えば、生体情報処理装置2の記憶部等に記憶させればよい。
 (B)隆線の接線方向不連続検出(図19)
 隆線の接線方向を利用した不連続検出では、図19に示すように、例えば、1画素幅に細線化した隆線64について、所定の間隔毎に区分けした接線方向検出位置Pにおける接線Sの角度θの角度変化を検出する。これにより、接線Sの角度変化を利用して隆線方向を予測し、この予測方向と、生体画像の隆線方向とを比較する。そして、隆線64が予測範囲外にあるとき、つまり、接線Sが所定の閾値以上に急激に変化した場合に不連続として検出する。
 この接線Sの角度変化検出では、例えば、隣り合う接線方向検出位置Pi+1 -P間における接線方向の角度差Δθを算出する。このように、例えば、接線方向検出位置Pに沿って解析する。そして、角度θの差分Δθが急激に変化している位置があれば、不連続箇所Xを含む検出位置Pを不連続候補点116として検出する。
 隆線64に設定した接線方向検出位置Pにおける接線Sの角度変化Δθを検出したら、図20に示すように、直線検出処理を行う。直線検出は、既述のように、所定の画素幅の検出エリア114毎に行う。この指紋画像60は、部分生体画像4を隆線64に沿って合成しており、また、隣合う隆線64は略平行になるので、隣り合う隆線64においても不連続となる。この直線検出では、検出エリア114内の隆線64に対して、算出した接線角度の差分Δθを足し合わせた値ΣΔθを投影情報として算出する。
 この隆線の接線方向不連続の検出処理について、図21を参照する。この処理は、生体情報処理方法及び生体情報処理プログラムの一例である。
 隆線64を細線化し(ステップS301)、例えば、1画素程度にする。この細線化の手段として、例えば、隆線周囲から少しずつ画素を削り取る処理を繰り返す、収縮処理を行えばよい。又はその他の方法を利用してもよい。
 細線化した隆線64に対して一定間隔毎(検出位置P)に接線角度θを算出し(ステップS302)、隣合う検出位置Pに対して接線角度θの差分Δθを算出する(ステップS303)。
 全ての隆線64の接線角度θの差分Δθを算出したら、直線検出処理に移行する。接線方向の差分について、指紋画像60の水平方向の投影情報として、ΣΔθを算出する(ステップS304)。
 例えば、図20に示す検出エリア114毎に投影情報ΣΔθを解析し、極大値が、設定した所定の閾値を超えているかを判断する(ステップS305)。そして、投影情報ΣΔθの極大値が閾値を超えている場合(ステップS305のYES)には、不連続箇所が直線状に並んでいるとみなして、その検出エリア114を不連続線150(図31等)として検出する(ステップS306)。
 全ての投影情報ΣΔθの極大値を判定したかを判断し(ステップS307)、全ての投影情報ΣΔθの極大値を判定した場合(ステップS307のYES)には、この処理を終了する。
 なお、この不連続検出では、例えば、隆線64と谷線110との間の境界線の接線方向に基づいて検出を行ってもよい。以上のような処理により、不連続検出が行える。
(2)繰り返しパターン検出(図22)
 次に、指紋画像に対する不整合領域抽出手段の1つである繰り返しパターン検出の具体的な処理例を示す。
 繰り返しパターン検出について、図22、図23、図24、図25、図26及び図27を参照する。図22は、指の先端側の隆線に対して繰り返しパターンが生じた状態を示す図、図23は、指の根元側の隆線に対して繰り返しパターンが生じた状態を示す図、図24は、繰り返しパターンにおける隆線方向を示す図、図25は、繰り返しパターンの検出原理を示す図、図26は、領域分割処理及び領域形状推定分割処理を示すフローチャート、図27は、繰り返しパターン検出処理を示すフローチャートである。なお、図22~図27に示す構成、処理内容、処理手順等は一例であって、これに限定されない。
 生体情報の不整合領域である繰り返しパターンは、生体の同一部位を取り込んだ複数の部分生体画像4が繰り返して合成された状態である。例えば、図22に示すように、指の接触領域101に対する接触境界線120や隆線64について、適正に再構成された指紋画像(図22A、図23A)に対して、繰り返し領域122では、同一部分の部分画像を連続的に合成されている(図22B、図23B)。
 画像の繰り返しは、例えば、生体の読取りにおいて、生体とセンサとの間のスライドで生じる摩擦力等より、一時的に生体とセンサとの相対移動が止まることによって同一部位の画像を複数枚取得することにより生じる。このとき、これらの画像から検出される生体とセンサとの相対移動距離は0であり、生体画像の再構成処理において冗長な画像を切り捨て、又は重なり合う位置で合成すれば繰り返しパターンは生じない。しかし、画像のノイズや僅かなセンサに対する生体の押圧変化によって、同じ部位の画像であっても重ね合わせる位置が検出されない場合があり、ずれた位置で重ね合わせられることで繰り返し領域122が発生する。
 生体画像の繰り返し領域122は、同じ部位の画像を繰り返しているため、ずれた位置で合成されると平行移動した状態で生体画像が合成される。従って、図24に示すように、繰り返しパターンが発生している繰り返し領域122内の隆線64の隆線方向62は、同一方向を示している。また、指のスライド速度は、入力開始から徐々に速くなることから、指先側での繰り返し領域122を示す平行四辺形の幅が狭くなる(図24A)。逆に、根元側では幅が広くなり(図24B)、指紋情報のマニューシャが無くなってしまうことになる。
 このような繰り返し検出では、例えば、指紋画像60に対して、繰り返しが生じている可能性が高い領域を区別するため、領域分割処理、領域形状推定分割処理を行う。そして、分割された繰り返しパターン候補について、隆線64の方向同一部位検出による繰り返し性の判定を行う。
 領域分割では、取得した生体画像について、画像の縮小化処理、又は既述の細線化処理を行う。そして、得られた画像に対して、指の接触範囲と背景部分とを区別するために二値化処理を行う。この領域分割処理により、図25に示すように、指の接触範囲123を示す指紋画像124が得られる。
 次に、繰り返しパターンを含む領域の候補を検出する領域形状推定分割処理を行う。繰り返しパターンは、指紋画像124において、指の接触範囲123と背景との、対向する左右の境界線126、128、130、132が、水平方向に平行になっている領域に発生する。即ち、図25に示すように、対向する境界線126と境界線130、境界線128と境界線132が平行となっている範囲134が繰り返しパターンの可能性が高い領域である。
 そこで、この範囲134を検出するため、水平方向にスライスするように、例えば、所定の画素数毎の細長い検出領域136を設定する。そして、各検出領域136において、指の接触幅138の差を検出し、この接触幅138の差が小さい場合には、繰り返しパターンを形成する可能性の高い範囲134であると判断し、この検出領域を繰り返しパターン候補とする。また、逆に、接触幅138の変化の大きい領域では、繰り返しパターンは無いと判断できる。
 繰り返しパターン候補を検出したら、繰り返し性の判定を行う。この判定では、既述のように、特徴情報抽出部18で取得した隆線方向62を利用し、境界線126、128、130、132と平行に隆線方向62が同一とみなせる部位を探索する。
 例えば、隣合う検出領域136を対比して、対応する隆線方向62の角度(φ)の差分Δφを算出し、その差分が所定の閾値より小さい場合には、同一方向の隆線64が繰り返されていると判断して、繰り返しパターンであると判断してもよい。また、検出領域136毎に差分Δφの総和ΣΔφを算出してもよい。即ち、隣接する検出領域136で繰り返しパターンが発生している場合、その隆線方向62が平行になるので、その差分Δφが小さくなる。
 次に、繰り返し検出処理について、図26及び図27を参照する。この処理は、生体情報処理方法及び生体情報処理プログラムの一例である。
 領域分割処理として、指紋画像124の縮小画像を生成し(ステップS401)、この縮小画像に対して、画像中の背景と指の接触範囲123を分割するための閾値を算出する(ステップS402)。この閾値算出では、例えば、大津の閾値自動決定法等を利用すればよい。そして、この閾値を利用して、縮小画像を二値化し、接触範囲123を検出する(ステップS403)。
 次に、領域形状推定分割処理に移行する。この処理では、上記の検出領域136について、指紋画像124の上端から下端までの接触幅138を算出し(ステップS404)、隣接する接触幅138の差分を検出する(ステップS405)。
 検出した差分について、所定の閾値を下回るかを判定し(ステップS406)、接触幅138に差がない場合(ステップS406のYES)には、この検出領域136を繰り返しパターンを含む領域の候補として分割する(ステップS407)。また、接触幅138に大きな差がある場合(ステップS406のNO)には、繰り返しパターンではないとして、次の検出領域136の差分判定を行う。
 そして、この差分判定を指紋画像124の上端から下端まで判定した場合(ステップS408のYES)には、この処理を終了する。
 次に、繰り返し性の判定に移行する。
 検出した繰り返しパターン候補を選択し(ステップS501)、繰り返しパターン候補の隆線方向62を検出する(ステップS502)。隆線方向62は、既述のように特徴情報抽出部18で抽出した情報を利用すればよい。
 繰り返しパターン候補から方向同一部位の検出単位を選択し(ステップS503)、指の接触範囲123の境界線方向に沿って、方向情報の差分の総和ΣΔφを算出する(ステップS504)。
 この差分の総和ΣΔφが所定の閾値を下回るかを判定し(ステップS505)、差分の総和ΣΔφが所定の閾値より小さい場合には(ステップS505のYES)、繰り返しによって、同一方向の隆線が繰り返されているので、繰り返しパターンとして検出する(ステップS506)。また、差分の総和ΣΔφが所定の閾値より大きい場合には(ステップS505のNO)、ステップS507に移行する。そして、同一の繰り返しパターン候補内の全てを判定したかを判断し(ステップS507)、判定していない場合(ステップS507のNO)には、ステップS503に戻り、他の繰り返しパターン候補との差分検出を行う。
 また、全ての繰り返しパターン候補を判定したかを判断し(ステップS508)、全ての繰り返しパターン候補を判定した場合(ステップS508のYES)には、この処理を終了する。全ての候補の判定をしていない場合には、ステップS501に戻り、新たな繰り返し候補パターンを選択して、上記の処理を行う。
(3)歪み検出(図28)
 次に、指紋画像に対する不整合領域抽出手段の一例として、周波数不連続検出による歪み検出処理の具体例を示す。
 歪み検出について、図28、図29及び図30を参照する。図28は、生体画像の歪み部分の状態を示す図、図29は、周波数検出の原理を示す図、図30は、歪み検出処理を示すフローチャートである。なお、図28~図30に示す構成、処理内容、処理手順等は一例であって、これに限定されない。
 生体画像の歪み領域の検出では、例えば、図28に示すように、適正に合成された指紋画像60(図28A)に対して、特定の位置から隆線間隔が一定とならない歪み領域140を検出する(図28B)。この歪み領域140は、例えば、指の移動量が変化することにより生じる。
 指紋画像60の歪み領域140は、指紋画像60上に設定した着目領域毎に周波数の主要成分ωpを算出することで検出する。この周波数は、例えば、この着目領域における指紋の凹凸濃淡波形等の解析により算出すればよい。
 周波数の検出では、図29に示すように、指紋画像60に対して、所定画素値毎に設定した着目領域142を設定する。この着目領域142は、例えば、指紋画像60の分解能が500〔dpi〕の場合には、隆線64が複数本含まれるように縦横16画素×16画素ないし32画素×32画素を設定すればよい。着目領域142は、指紋画像60の全てを覆うように隙間なく設定してもよく、又は所定の間隔毎に設定してもよい。
 そして、着目領域142毎に算出した周波数の主成分ωについて、直線検出を行う。この直線検出では、既述のように、例えば、指紋画像60の水平方向に所定の画素毎の検出領域144を設定すればよい。そして、各検出領域144毎に各着目領域142から検出した主成分ωの水平方向の投影情報Σω/nを算出する。この投影情報Σω/nが、主成分ωの平均値に基づいた所定の閾値で設定される範囲の外にある場合は、不連続箇所を含む領域、即ち、歪み領域140であると判定する。
 次に、歪み検出処理について、図30を参照する。
 着目領域142から周波数の主成分ωを検出し(ステップS601)、この周波数の主成分ωの平均値に基づいた閾値を算出する(ステップS602)。また、周波数の主成分ωの水平方向の投影情報Σω/nを算出する(ステップS603)。
 直線検出として、投影情報Σω/nが算出した閾値を超えているかを判断し(ステップS604)、超えている場合(ステップS604のYES)には、この直目領域142を含んだ検出領域144を歪み領域140として検出する(ステップS605)。
 そして、全ての投影情報を判定した場合(ステップS606のYES)には、この処理を終了する。
 検出した歪み領域情報は、例えば、生体情報処理装置2の記憶部に記憶させればよい。
 以上のように、連続的に取り込んだ複数の部分生体画像の取り込み特性として、不連続検出、繰り返し検出、歪み検出を行うことで生体画像の不整合領域を抽出することができる。なお、上記の不連続検出、繰り返し検出、歪み検出は、上記した順序に限られない。
 次に、生体画像に対する適正領域の抽出処理、及び生体画像の判定処理について、図31、図32、図33、図34、図35及び図36を参照する。図31は、生体画像の接触部に対して、不連続線によって分割した状態を示す図、図32は、生体画像の接触部に対して、複数の不連続線によって分割した状態を示す図、図33は、分割した生体画像に対して、指紋中心を基準とした適正領域を抽出する状態を示す図、図34及び図35は、適正領域候補に対する判定処理の原理を示す図、図36は、適正領域抽出処理、及び判定処理を示すフローチャートである。なお、図31~図36に示す構成、処理内容、処理手順等は一例であって、これに限定されない。
 適正領域は、既述のように、生体画像として指紋画像60から、抽出した画像の不整合領域を除いた領域の大きさに基づいて抽出する。即ち、認証アルゴリズム側で要求される画像の寸法、例えば、所定の画素数で構成される領域を適正領域として抽出する。また、適正領域の判定は、適正領域が認証に適しているかについて、抽出した不整合領域と適正領域の抽出位置に基づいて判定する。生体認証に利用するマニューシャ情報等は、指紋中心付近に多いので、この指紋中心付近の領域が適正領域として抽出されているかを判定し、生体画像の読取り状態を評価する。
 指紋画像60に対する不整合領域を除いた適正領域の抽出は、図31、図32に示すように、繰り返し領域122や歪み領域140を除去した後、生体の接触領域101に対して、検出した不連続線150によって分割処理を行う。そして、分割した接触領域101に対して、例えば、最も大きい接触領域101を適正領域として判断してもよい。この不連続線150は、既述の不連続領域として検出された検出エリア114を利用すればよい。
 また、不連続線150により、同等の大きさの適正領域が複数抽出され、1つを選択する場合、図33に示すように、既述の特徴情報抽出処理で得た指紋中心152を含む接触領域101を適正領域とする。複数の適正領域候補が抽出されている場合には、上記の判定処理の定義から、指紋中心152を含む領域を適正領域とすることで、認証適用性も満たすことができる。
 次に、抽出した適正領域に対する認証適用性の判断として、図34、図35に示すように、指紋中心152に最も近い接触領域101の境界線120までの距離L、Lを判断する。上記のように、指紋中心152を含む接触領域101であっても、指紋中心152が接触領域101の境界線120に近い場合、認証に適した範囲が十分に含まれないと判断する。この指紋中心152と最も近い境界線120との距離の閾値は、認証アルゴリズムにより決められる。
 なお、複数の適正領域候補をそのまま適正領域として利用する場合には、上記の指紋中心152を基準とした選択処理、判定処理は行わない。
 この適正領域の抽出処理及び判定処理について、図36を参照する。
 再構成した指紋画像60に対して、繰り返し領域122や歪み領域140を除いた領域を適正領域候補として検出する(ステップS701)。そして、この適正領域候補内に不連続線があれば、不連続線を境界線として、適正領域候補を分割する(ステップS702)。
 分割した適正領域候補に対して、大きさが所定の閾値を超えているかを判断する(ステップS703)。閾値を超えている場合(ステップS703のYES)には、適正領域候補内に指紋中心が含まれているかを判定する(ステップS704)。この適正領域候補の大きさ判定(ステップS703)、又は指紋中心が含まれるか否かの判定(ステップS704)を満たしていない場合(ステップS703のNO又はステップS704のNO)には、この適正領域候補は、抽出条件を満たさないことになる。そして、他の適正領域候補があるかの判断に移行する(ステップS707)。
 また、この適正領域の条件を満たした場合(ステップS704のYES)、認証への適用性判定に移行する。指紋中心から最も近い境界線までの距離が所定の閾値を超えているかを判断し(ステップS705)、超えている場合(ステップS705のYES)には、この適正領域候補を適正領域と決定し、記憶部へと格納する(ステップS706)。また、閾値を超えない場合(ステップS705のNO)には、ステップS707に移行し、他の適正領域候補があれば(ステップS707のYES)、ステップS703に戻り、次の適正領域候補に対して判断を行う。
 そして、この判定処理によって、認証に適した適正領域が抽出されない場合には、利用者に対して、生体情報の再入力を促す。このとき、例えば、生体情報の入力の仕方について、生体情報処理装置2の表示部168(図37)を利用して、アドバイス等を行ってもよい。
 斯かる構成によれば、再構成された生体画像の不整合領域を抽出し、この不整合領域を用いて適正領域を抽出することで、本人の受け入れ拒否や他人の受け入れを防止することができ、生体認証の信頼性を向上させることができる。また、再構成した生体画像に対し、抽出した適正領域の位置や大きさ等に基づいて画像の読取り状態を判定することにより、生体認証の信頼性を向上させることができる。また、認証可能な適正領域の抽出を行うことで、部分生体画像が不整合に合成された場合でも、生体情報の再入力を繰り返す必要がなく、利用者の利便性が高められる。
 この第3の実施の形態について、特徴的な構成や効果を列挙すれば次の通りである。
 (1) この生体情報処理装置2では、合成画像から、部分画像を誤った位置で合成されて生体情報が不適切に読み取られたことを、2以上の部分画像から検出した相対移動に関する情報を利用せずに判断することができる。
 (2) 読取装置と生体との相対速度、移動方向により、誤って合成されるパターンが複数生じることから、この生体情報処理装置2では、そのパターンに応じて検出を行う。
 (3) 合成画像内において、誤った位置で部分画像が合成された場合でも、認証に適切な領域を利用することが可能となり、本人拒否率を下げることができる。言い換えれば、他人受け入れ率の上昇を防ぐことができる。
 (4) 生体情報は、元来からテクスチャ等のパターンが不連続に分布するパターンを呈する場合があるため、直線的に配置されている。これにより、誤って不連続領域を検出するのを防止することができる。
 (5) 利用者に対し、生体情報の再入力の要求を減らすことで、操作回数を増加させることがなく、認証性能を向上させることができる。
 (6) 生体の相対移動速度を誤検出して合成した場合においても、隆線方向、濃淡が連続している領域を抽出することで、適切な領域を選択して認証を行うことができ、本人拒否率を下げることができる。
 (7) 例えば、生体の相対移動速度を過剰に大きく検出することで、繰り返し画像を合成した場合でも、隆線方向、又は隆線の濃淡が適正に合成されている領域を抽出して、認証に利用するので、認証機能の信頼性を向上させることができる。
 (8) 生体画像の合成処理において、生体の相対移動方向を誤検出して合成した画像に対して、認証に適切な領域を抽出して認証に利用するので、認証機能の信頼性を向上させることができる。
 (9) また、合成された生体画像に対して、例えば、センサに対する生体の相対移動速度等の情報を利用せず、抽出した特徴情報に基づいて生体画像の状態判断を行うことができる。
〔第4の実施の形態〕
 第4の実施の形態は、生体情報処理装置のハードウェア構成例及びその処理手順の一例を示す。
 第4の実施の形態について、図37及び図38を参照する。図37は、生体情報処理装置のハードウェア構成例を示す図、図38は、生体情報処理の処理手順を示すフローチャートである。なお、図37及び図38に示す構成、処理内容、処理手順等は一例であって、これに限定されない。また、上記実施の形態と同様の構成、処理内容については、説明を省略する。
 この生体情報処理装置2は、部分生体画像4を取得し、再構成した生体画像に対して、認証に適した領域を抽出し、又はその生体画像の認証適用性を判定する手段であって、コンピュータによって構成されている。また、この生体情報処理装置2は、生体認証装置を構成してもよい。例えば、図37に示すように、生体情報読取部160、CPU(Central Processing Unit ) 162、メモリ164、入出力部166、表示部168等を備えている。
 生体情報読取部160は、生体画像の読取り手段の一例であって、生体画像取得部6を構成する。この生体情報読取部160は、スウィープ型指紋センサで構成され、利用者が指をスライドさせることによって、複数の部分生体画像4を取り込む。
 CPU162は、メモリ164に記憶されているOS(Operating System)や、その他の処理プログラム等を演算して実行するための演算手段の一例であって、生体情報処理装置2の情報処理部を構成する。そして、プログラムの実行により、取得した生体画像の合成、特徴情報の抽出、不整合領域の抽出、適正領域の抽出、読取判定処理を実行する。
 メモリ164は、記憶手段又は記録手段の一例であって、例えば、生体情報処理装置2の動作制御プログラムや処理プログラム等、また、取得した生体画像等を記憶する。メモリ164の構成は、例えば、プログラム記憶部170、データ記  憶部172、RAM(Random Access Memory)174等で構成されている。
 プログラム記憶部170は、生体情報処理装置2の動作制御や、既述の生体画像に対する解析処理等を行うプログラムを記憶する手段の一例であって、コンピュータ読取り可能な媒体で構成される。例えば、ROM(Read Only Memory)で構成してもよい。このプログラム記憶部170には、例えば、OS1701の他、特徴情報情報抽出プログラム1702、不整合領域抽出プログラム1703、適正領域抽出プログラム1704、読取判定プログラム1705等が記憶されている。これらの処理プログラムの実行により、既述の不連続検出処理、繰り返しパターン検出処理、歪み検出処理等を行う。
 データ記憶部172は、取り込んだ生体画像や、抽出した特徴情報、生体画像の不整合領域や適正領域の情報を記憶する手段の一例であって、例えば、ROMやフラッシュメモリ等で構成されればよい。データ記憶部172には、例えば、特徴情報記憶部176や生体画像記憶部178等が構成されている。
 なお、このプログラム記憶部170やデータ記録部172は、例えば、電気的に内容を書き換えることができるEEPROM(Electrically Erasable and Programmable Read Only Memory )等で構成されてもよい。
 また、上記の各処理プログラムは、プログラム記憶部170等に記憶されたものに限られない。例えば、磁気ディスク、フレキシブルディスク、光ディスク、光磁気ディスク等のコンピュータで読出し可能な記録媒体に記憶されているものを利用してもよい。さらに、ネットワーク上にあるサーバやデータベース等からプログラム等を読み込んで利用してもよい。
 RAM174は、上記の制御プログラム等を実行させるためのワークエリアを構成している。そして、CPU162が制御プログラムを実行することで、既述の不整合領域抽出部8、適正領域抽出部10、判定部14等を機能させる。
 入出力部166は、生体情報処理装置2の入力手段又は音声等の出力手段の一例であって、例えば、キーボード等の入力手段、又はスピーカ等の音声出力手段で構成されればよい。
 表示部168は、画面表示が可能なLCD(Liquid Crystal Display) 表示素子等で構成された表示手段の一例であって、例えば、認証を行う利用者に対して、生体情報の入力指示、照合結果又は生体情報の入力アドバイス等を表示してもよい。
 このような構成により、図38に示す生体画像処理を行う。
 即ち、既述のように、生体情報読取部160において部分生体画像4を取得し、合成により再構成した生体画像を取り込む(ステップS801)。この生体画像から特徴情報を抽出し(ステップS802)、この特徴情報を利用して、既述の処理によって不整合領域を抽出する(ステップS803)。そして、生体画像から、この不整合領域を利用して適正領域を抽出し(ステップS804)、認証への適用性判断により、生体画像の読取判定を行う(ステップS805)。
 生体画像に認証可能な適正領域がなければ(ステップS805のNO)、生体画像の再入力を指示する。また、生体画像によって認証が可能であれば(ステップS805のYES)、この適正領域情報等の生体情報を出力する(ステップS806)。
〔第5の実施の形態〕
 第5の実施の形態は、不整合領域抽出に用いる特徴情報の抽出と、認証に利用する特徴情報の抽出を分けて行う場合を示している。
 第5の実施の形態について、図39を参照する。図39は、第5の実施の形態に係る生体情報処理装置の機能構成を示す図である。なお、図39に示す構成は一例であって、これに限定されない。また、図39において、図6と同一構成については、同一符号を付し、説明を省略する。
 この生体情報処理装置2は、本開示の生体情報処理装置、生体情報処理方法又は生体情報処理プログラムの一例であって、例えば、特徴情報抽出部18において、不整合領域の抽出に利用する特徴情報のみを抽出する。そして、読取判定により、取得した生体画像が認証可能であると判断された場合に、認証に必要な特徴情報の抽出を行う。
 生体情報処理装置2には、既述のように、特徴情報抽出部18、不整合領域抽出部8、適正領域抽出部10、判定部14、認証部16の他、例えば、記憶部180、特徴抽出部182を備えている。
 記憶部180は、例えば、既述の特徴情報記憶部176に対応しており、特徴情報抽出部18で抽出した特徴情報を記憶する。
 特徴抽出部182は、読取判定によって認証可能である判定された生体情報から認証に必要な特徴情報を抽出する手段の一例である。この生体情報は、例えば、再構成された生体画像、又はこの生体画像から抽出した適正領域情報を利用する。また、記憶部180と接続し、特徴情報抽出部18で抽出した特徴情報を利用することもできる。従って、この特徴抽出部182では、認証に必要な特徴情報の内、記憶部180に記憶されていない特徴情報を抽出すればよい。
 斯かる構成によれば、既述のように、抽出した不整合領域を用いて適正領域を抽出して認証することで、本人の受け入れ拒否や他人の受け入れを防止することができ、生体認証の信頼性を向上させることができる。また、不整合領域の抽出処理において、必要な特徴情報のみを抽出すればよく、処理の軽減が図られ、適正領域抽出処理、判定処理の迅速化が図られる。さらに、認証処理において、既に取得した共通の特徴情報を利用できるので生体認証処理を軽減できる。また、認証適用性のある生体画像に対して特徴抽出を行うので、抽出処理の無駄を省くことができる。
〔第6の実施の形態〕
 第6の実施の形態は、不整合領域を抽出する手段の組み合わせの変形例を示す。
 第6の実施の形態について、図40を参照する。図40は、第6の実施の形態に係る生体情報処理装置の機能構成例を示す図である。なお、図40に示す構成は、一例であって、これに限定されない。図40において、図5と同一部分には同一符号を付してある。
 この生体情報処理装置2では、不整合領域抽出部8に濃淡不連続検出部24、繰り返しパターン検出部26を備える構成である。即ち、不整合領域の抽出処理として、濃淡不連続検出、繰り返しパターン検出を行う場合を示している。
 生体認証に用いる生体画像では、合成による隆線の多少の歪み状態や寸詰まり状態が発生しても、所定の誤差程度であれば認証に適用することができる場合がある。しかし、上記の検出処理において示すように、濃淡不連続や繰り返しパターンが発生した画像では、全く異なる生体情報となっており、この隆線画像から認証に用いる特徴情報を抽出すれば、本人であっても認証を受けられないことがある。
 従って、この実施の形態では、不整合領域の抽出として、隆線不連続検出や周波数不連続検出(図5等)を省略し、濃淡不連続検出、繰り返しパターン検出を優先的に実行する。
 なお、不整合領域の抽出処理は、図40の場合に限られず、例えば、この濃淡不連続検出、繰り返しパターン検出に、既述の周波数不連続検出又は隆線の接線方向を利用した不連続検出を組み合わせてもよい。
 斯かる構成によれば、不整合領域抽出処理の迅速化を図ることができる。
〔第7の実施の形態〕
 第7の実施の形態は、不整合領域抽出処理の処理手順の変形例を示している。
 第7の実施の形態について、図41を参照する。図41は、生体情報処理装置の不整合領域抽出処理の一例を示すフローチャートである。なお、図41に示す処理手順は一例であって、これに限定されない。
 この不整合領域抽出では、例えば、他の検出処理に比べて処理負荷が軽いものを先に行い、これらの処理で検出した不整合領域から、この段階での適正領域候補を抽出する。そして、この適正領域候補に対して、他の検出処理を行う。
 例えば、生体画像を取得したら(ステップS901)、隆線不連続検出処理(ステップS902)、周波数不連続検出処理(ステップS903)を行い、これらの処理で検出した不連続線を生体画像から除去し、適正領域候補を抽出する(ステップS904)。
 そして、この適正領域候補に対して、濃淡不連続(ステップS905)、繰り返しパターン検出(ステップS906)を行い、抽出した不整合領域を利用して、適正領域を抽出し(ステップS907)、生体画像を出力する(ステップS908)。
 斯かる構成によれば、処理負荷の大きい検出処理に対して、検出対象を絞り込むことができ、不整合領域抽出処理の迅速化を図ることができる。
〔他の実施の形態〕
 (1) 上記の実施の形態に係る生体情報処理装置2を搭載する電子機器の例として、例えば、図42、図43及び図44に示すように、携帯電話機200、PC(Personal Computer) 300、携帯情報端末機(PDA:Personal Digital Assistant)400がある。この携帯電話機200(図42)は、例えば、表示側筐体部202と操作側筐体部204とがヒンジ部206によって開閉可能に連結されている。表示側筐体部202には、表示部208、レシーバ210等が備えられており、操作側筐体部204には、生体情報読取部212、操作入力部214等を備える。
 また、PC(図43)300は、例えば、キー側筐体部302と表示側筐体部304とをヒンジ部306で開閉可能に構成されている。キー側筐体部302側には生体情報読取部308、キーボード310が備えられ、表示部側筐体部304には表示部312が備えられている。PDA400(図44)は、表示部402、操作部404、生体情報読取部406を備えている。
 (2) 上記実施の形態では、生体情報の一例として指紋画像を利用したが、これに限られず、例えば、掌紋、掌形、手のひら静脈、指静脈等を利用してもよい。
 (3) 上記実施の形態では、不整合領域抽出処理において、図41に示すように、処理負荷の軽い検出処理から実行したが、これに限られず、例えば、処理の重い処理を先に行っておき、ここで不整合が検出されなければ他の処理を行わないようにしてもよい。また、不整合が検出された場合には、この処理で検出した不整合領域を除いた領域について、他の検出処理を行うようにしてもよい。
 次に、以上述べた実施の形態に関し、特徴事項を列挙する。
 (1) この生体情報処理装置は、生体情報入力手段と、部分画像合成手段と、不整合領域検出手段と、適正領域検出手段と、読取判定手段とを備えればよい。この場合、生体情報入力手段では、相対的に移動している生体部位の生体情報を映像化して、該生体情報についての複数の部分画像を連続的に採取する。部分画像合成手段では、該生体情報入力手段によって入力される該複数の部分画像を、相対的に移動している生体部位の装置移動距離と相対移動方向に基づいて合成する。不整合領域検出手段では、該部分画像合成手段によって合成された合成画像から、該部分画像合成手段で算出される相対移動方向あるいは、該生体情報入力手段の設置状態に基づいて相対移動方向とみなす所定の方向と直交する方向に沿って不適切に合成された領域を検出する。適正領域検出手段では、該合成画像における該不整合領域を除いた領域の大きさに基づいて適正な領域を検出する。そして、読取判定手段では適正領域と不整合領域との位置関係に基づいて読取状態を判定する。
 (2) 更に、この生体情報処理装置は隆線不連続検出手段を備えてもよい。該隆線不連続検出手段は、該合成画像における局所領域から検出される隆線方向に基づいて、該合成画像上に直線的に分布する不連続領域を検出する。この隆線不連続検出手段を備えれば、該不整合領域検出手段は該不連続情報に基づいて不整合領域を検出することができる。
 (3) 更に、この生体情報処理装置は周波数不連続検出手段を備えてもよい。該周波数不連続検出手段は、該合成画像の局所領域から、隆線あるいは隆線と谷線との間に定めた境界線に沿った周波数情報に基づいて、該合成画像上に直線的に分布する不連続領域を検出する。該不整合領域検出手段は、該不連続情報に基づいて不整合領域を検出する構成とすればよい。
 (4) 更に、この生体情報処理装置は、隆線方向同一部位検出手段と、繰り返しパターン検出手段とを備えてもよい。隆線方向同一部位検出手段は、局所領域から算出した隆線方向が同一となる局所領域が直線状に連なっている隆線方向同一部位を検出する。繰り返しパターン検出手段は、該隆線方向同一部位が隣接し合い、かつ平行に分布している、又は、局所領域から算出した隆線方向が同一となる局所領域が広く分布しているときに繰り返しパターンを検出する。そして、該不整合領域検出手段は、該繰り返しパターンの位置と形状に基づいて不整合領域を検出する構成とすればよい。
 (5) 既述の繰り返しパターンについて、隆線方向同一部位内の画像に対して隆線方向の接線方向が持つ周波数よりも低く、かつ波数が2以上となる周波数以上の帯域を選択してもよい。この場合、所定の閾値より大きい強度を有する場合に繰り返しパターンを有していると判断すればよい。
 (6) 更に、この生体情報処理装置は、隆線方向不連続検出手段を備えてもよい。隆線方向不連続検出手段は、生体の相対移動方向あるいは、相対移動方向とみなす所定の方向に隣接する隣接局所領域における隆線方向の取り得る予測範囲を予測する。そして、該隣接局所領域における隆線方向が、該予測範囲外にあるときに隆線方向が不連続であるとみなして、隆線方向が不連続となる領域を検出する。そして、該不整合領域検出手段は、該不連続情報に基づいて不整合領域を検出するように構成すればよい。この相対移動方向は、該合成画像の局所領域に関して算出した隆線方向から、該部分画像合成手段で算出すればよい。また、相対移動方向とみなす所定の方向は、該生体情報入力手段の設置状態に基づいて算出すればよい。
 (7) 更に、生体情報処理装置は、濃淡不連続検出手段を備えてもよい。濃淡不連続検出手段は、相対移動方向あるいは、相対移動方向とみなす所定の方向に対して濃淡変化を算出し、該隆線方向と該合成画像面内の直交方向と、該相対移動方向との差分に基づいて、濃淡不連続を検出する。そして、該不整合領域検出手段は、該不連続情報に基づいて不整合領域を検出すればよい。ここで、相対移動方向は、該部分画像合成手段で算出すればよく、また、相対移動方向とみなす所定の方向は、該生体情報入力手段の設置状態に基づいて算出すればよい。
 以上述べたように、本開示の生体情報処理装置、生体情報処理方法又は生体情報処理プログラムの実施の形態等について説明した。本発明は、上記記載に限定されるものではない。特許請求の範囲に記載され、又は発明を実施するための形態に開示された要旨に基づき、当業者において様々な変形や変更が可能であることは勿論である。斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。
 本開示の本開示の生体情報処理装置、生体情報処理方法又は生体情報処理プログラムは、合成により再構成した生体画像に対して、合成の適正領域を抽出して認証に利用することで、認証機能の信頼性を向上させることができる等、有用である。
 2 生体情報処理装置
 4 部分生体画像
 6 生体画像取得部
 8 不整合領域抽出部
 10 適正領域抽出部
 12 生体認証部
 14 判定部
 18 特徴情報取得部
 20 隆線不連続検出部
 22 周波数不連続検出部
 24 濃淡不連続検出部
 26 繰り返しパターン検出部
 28 隆線方向不連続検出部
 30 隆線方向同一部位検出部
 50 隆線方向検出部
 52 指紋中心検出部
 54 マニューシャ検出部
 56 間隔検出部
 62 隆線方向
 70 不連続検出部
 72 繰り返し検出部
 74 歪み検出部
 76 不連続候補点検出部
 78 直線検出部
 80 不連続判定部
 82 領域分割部
 84 領域形状推定部
 86 繰り返し性判定部
 88 周波数算出部
 90 領域分割部
 92 歪み判定部
 100 不連続候補点
 104 エッジ強度
 106 演算子
 122 繰り返し領域
 140 歪み領域
 142 着目領域
 144 検出領域
 152 指紋中心

Claims (19)

  1.  読取手段に対して相対的に移動する生体から連続的に取り込んだ複数の画像を合成した生体画像を取得する生体画像取得部と、
     前記生体画像から連続的に取り込んだ複数の画像の取り込み特性を利用して不整合領域を抽出する不整合領域抽出部と、
     前記生体画像から抽出した前記不整合領域を用いて、前記生体画像から認証に適した適正領域を抽出する適正領域抽出部と、
     を備えることを特徴とする、生体情報処理装置。
  2.  更に、前記生体画像から抽出した前記適正領域が認証に利用可能かを判定する判定部を備えることを特徴とする、請求項1に記載の生体情報処理装置。
  3.  更に、前記生体画像から生体の特徴情報を抽出する特徴情報抽出部と、
    を備え、前記不整合領域抽出部は、該特徴情報を用いて前記生体画像の不整合領域を抽出することを特徴とする、請求項1に記載の生体情報処理装置。
  4.  前記不整合領域抽出部は、連続的に取り込んだ複数の画像の合成結果である指紋の隆線方向の不連続部分に基づいて、画像合成の不整合領域を抽出する隆線不連続検出部を備えることを特徴とする、請求項1に記載の生体情報処理装置。
  5.  前記不整合領域抽出部は、連続的に取り込んだ複数の画像の合成結果が指紋のとき、隣合う指紋の隆線間の周波数を算出し、検出領域毎の該周波数の値が閾値より大きい領域、又は閾値より小さい領域を、画像合成の不整合領域として抽出する周波数不連続検出部を備えることを特徴とする、請求項1に記載の生体情報処理装置。
  6.  前記不整合領域抽出部は、連続的に取り込んだ複数の画像の合成結果が指紋のとき、隣接した指紋の隆線方向が同一となる部分が平行に繰り返して結合されている領域を検出する繰り返しパターン検出部を備え、
     該検出領域を画像合成の不整合領域として抽出することを特徴とする、請求項1に記載の生体情報処理装置。
  7.  前記不整合領域抽出部は、連続的に取り込んだ複数の画像の合成結果が指紋のとき、前記読取装置に対する生体の相対移動方向に対する隆線の濃淡変化を算出し、該濃淡変化の値が閾値より大きい領域を不整合領域として抽出する濃淡不連続検出部とを備えることを特徴とする、請求項1に記載の生体情報処理装置。
  8.  前記不整合領域抽出部は、連続的に取り込んだ複数の画像を合成した生体画像情報に対して、不連続検出、繰り返し検出、歪み検出の少なくとも1つを行うことを特徴とする請求項1に記載の生体情報処理装置。
  9.  前記判定部は、前記適正領域抽出部で抽出した適正領域に対し、生体画像内における位置、大きさの何れか1つ又は両方に基づいて、認証に利用可能かを判定することを特徴とする請求項2に記載の生体情報処理装置。
  10.  読取手段に対して相対的に移動する生体から連続的に取り込んだ複数の画像を合成した生体画像を取得するステップと、
     前記生体画像から連続的に取り込んだ複数の画像の取り込み特性を利用して不整合領域を抽出するステップと、
     前記生体画像から抽出した前記不整合領域を用いて、前記生体画像から認証に適した適正領域を抽出するステップと、
     を含むことを特徴とする、生体情報処理方法。
  11.  更に、前記生体画像から抽出した前記適正領域が認証に利用可能かを判定するステップを含むことを特徴とする、請求項10に記載の生体情報処理方法。
  12.  更に、前記生体画像から生体の特徴情報を抽出する機能と、
    を含み、該特徴情報を用いて前記生体画像の不整合領域を抽出することを特徴とする、請求項10に記載の生体情報処理方法。
  13.  指紋の隆線方向の不連続部分に基づいて、前記生体画像の画像合成の不整合領域を抽出するステップを含むことを特徴とする、請求項10に記載の生体情報処理方法。
  14.  隣合った指紋の隆線間の周波数を算出し、該周波数の値が閾値より大きい領域、又は閾値より小さい領域を、前記生体画像の画像合成の不整合領域として抽出するステップとを含むことを特徴とする、請求項10に記載の生体情報処理方法。
  15.  隣接した指紋の隆線方向が同一となる部分が平行に繰り返して結合されている領域を検出するステップを含み、
     該検出領域を前記生体画像の画像合成の不整合領域として抽出することを特徴とする、請求項10に記載の生体情報処理方法。
  16.  前記読取装置に対する生体の相対移動方向に対する隆線の濃淡変化を算出し、該濃淡変化の値が閾値より大きい領域を不整合領域として抽出するステップを含むことを特徴とする、請求項10に記載の生体情報処理方法。
  17.  抽出した適正領域に対し、生体画像内における位置、大きさの何れか1つ又は両方に基づいて、認証に利用可能かを判定するステップを含むことを特徴とする請求項11に記載の生体情報処理方法。
  18.  読取手段に対して相対的に移動する生体から連続的に取り込んだ複数の画像を合成した生体画像を取込む機能と、
     前記生体画像から連続的に取り込んだ複数の画像の取り込み特性を利用して不整合領域を抽出する機能と、
     前記生体画像から抽出した前記不整合領域を用いて、前記生体画像から認証に適した適正領域を抽出する機能と、
     をコンピュータに実行させることを特徴とする、生体情報処理プログラム。
  19.  更に、前記生体画像から抽出した前記適正領域に対し、生体画像内における位置、大きさの何れか1つ又は両方に基づいて、が認証に利用可能かを判定する機能を含むことを特徴とする、請求項18に記載の生体情報処理プログラム。
PCT/JP2010/051166 2010-01-28 2010-01-28 生体情報処理装置、生体情報処理方法及び生体情報処理プログラム WO2011092827A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011551627A JP5482803B2 (ja) 2010-01-28 2010-01-28 生体情報処理装置、生体情報処理方法及び生体情報処理プログラム
EP10844589.1A EP2530644A4 (en) 2010-01-28 2010-01-28 DEVICE FOR PROCESSING BIOLOGICAL INFORMATION, PROCESS FOR PROCESSING BIOLOGICAL INFORMATION AND PROGRAM FOR PROCESSING BIOLOGICAL INFORMATION
PCT/JP2010/051166 WO2011092827A1 (ja) 2010-01-28 2010-01-28 生体情報処理装置、生体情報処理方法及び生体情報処理プログラム
US13/560,168 US9607204B2 (en) 2010-01-28 2012-07-27 Biometric information processing apparatus, method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/051166 WO2011092827A1 (ja) 2010-01-28 2010-01-28 生体情報処理装置、生体情報処理方法及び生体情報処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/560,168 Continuation US9607204B2 (en) 2010-01-28 2012-07-27 Biometric information processing apparatus, method, and recording medium

Publications (1)

Publication Number Publication Date
WO2011092827A1 true WO2011092827A1 (ja) 2011-08-04

Family

ID=44318837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/051166 WO2011092827A1 (ja) 2010-01-28 2010-01-28 生体情報処理装置、生体情報処理方法及び生体情報処理プログラム

Country Status (4)

Country Link
US (1) US9607204B2 (ja)
EP (1) EP2530644A4 (ja)
JP (1) JP5482803B2 (ja)
WO (1) WO2011092827A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8833657B2 (en) * 2010-03-30 2014-09-16 Willie Anthony Johnson Multi-pass biometric scanner
TWI476702B (zh) * 2012-03-16 2015-03-11 Pixart Imaging Inc 使用者辨識系統及辨識使用者的方法
CN104021419B (zh) * 2013-02-28 2017-09-19 华为终端有限公司 一种统计纸张数目的方法和装置
CN106233306B (zh) * 2014-09-06 2019-09-27 深圳市汇顶科技股份有限公司 在移动设备上注册和识别指纹配置文件的方法及移动设备
US9558392B2 (en) * 2015-02-12 2017-01-31 Korecen Co., Ltd. Finger vein authentication system
SE1550281A1 (en) * 2015-03-06 2016-09-07 Fingerprint Cards Ab Method and system for estimating finger movement
USD776664S1 (en) * 2015-05-20 2017-01-17 Chaya Coleena Hendrick Smart card
KR20180081356A (ko) 2017-01-06 2018-07-16 삼성전자주식회사 지문 이미지의 왜곡을 처리하는 방법 및 장치
CN108182424B (zh) * 2018-01-29 2020-05-22 上海天马微电子有限公司 显示装置及其指纹识别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05242227A (ja) 1992-03-03 1993-09-21 Fujitsu Ltd 指紋照合装置
JPH1091769A (ja) 1996-06-14 1998-04-10 Thomson Csf 指紋読み取りシステム
JPH11253428A (ja) 1998-01-13 1999-09-21 St Microelectronics Inc 走査型容量性半導体指紋検知器
JP2002042136A (ja) * 2000-07-28 2002-02-08 Nec Corp 指紋識別方法及び装置
JP2002216116A (ja) 2001-01-16 2002-08-02 Nec Soft Ltd 指紋画像の入力方法、指紋画像の入力装置、プログラム、携帯型情報機器
JP2003248820A (ja) 2002-02-25 2003-09-05 Fujitsu Ltd 画像連結方法、プログラム及び装置
JP2005143890A (ja) 2003-11-17 2005-06-09 Fujitsu Ltd 生体情報採取装置
JP2005352623A (ja) * 2004-06-09 2005-12-22 Nec Soft Ltd パターン照合装置、画像品質検証方法及び画像品質検証プログラム
JP2007097842A (ja) 2005-10-04 2007-04-19 Fujitsu Ltd 指紋歪み検出装置を備える指紋照合装置
JP2007202912A (ja) * 2006-02-03 2007-08-16 Secom Co Ltd 縞模様を含む画像の照合装置
JP2009003564A (ja) 2007-06-19 2009-01-08 Mitsumi Electric Co Ltd 指紋画像形成装置及びこれに用いる指移動量推定方法及び指紋画像形成方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079672B2 (en) * 2000-01-28 2006-07-18 Chuo Hatsujo Kabushiki Kaisha Fingerprint image evaluating method and fingerprint matching device
JP2002083288A (ja) * 2000-09-06 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> 指紋画像取り込み方法および指紋照合装置
JP4193163B2 (ja) * 2001-03-26 2008-12-10 日本電気株式会社 指掌紋画像処理装置及び方法
KR100432491B1 (ko) * 2001-08-31 2004-05-22 (주)니트 젠 융선방향 모델을 이용한 지문 특징데이터 추출방법
US7020591B1 (en) * 2001-09-05 2006-03-28 Cogent Systems, Inc Partial differential equation model for image feature extraction and identification
WO2004026139A1 (ja) * 2002-09-17 2004-04-01 Fujitsu Limited 生体情報取得装置および生体情報による認証装置
US20050249386A1 (en) * 2003-06-30 2005-11-10 Mobisol Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof
US7565548B2 (en) * 2004-11-18 2009-07-21 Biogy, Inc. Biometric print quality assurance
WO2006135203A1 (en) * 2005-06-15 2006-12-21 Lg Electronics Inc. Fingerprint recognition system and method
EP1901231A4 (en) * 2005-06-30 2012-11-28 Nec Corp FINGERPRINT IMAGE BACKGROUND DETECTION DEVICE AND DETECTION METHOD
US8204281B2 (en) * 2007-12-14 2012-06-19 Validity Sensors, Inc. System and method to remove artifacts from fingerprint sensor scans
JP2010079666A (ja) * 2008-09-26 2010-04-08 Oki Semiconductor Co Ltd 指紋認証ナビゲーション装置およびその動作方法
JP5477887B2 (ja) * 2008-12-22 2014-04-23 日本電気株式会社 指掌紋画像処理装置、指掌紋画像処理方法及び指掌紋画像処理プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05242227A (ja) 1992-03-03 1993-09-21 Fujitsu Ltd 指紋照合装置
JPH1091769A (ja) 1996-06-14 1998-04-10 Thomson Csf 指紋読み取りシステム
JPH11253428A (ja) 1998-01-13 1999-09-21 St Microelectronics Inc 走査型容量性半導体指紋検知器
JP2002042136A (ja) * 2000-07-28 2002-02-08 Nec Corp 指紋識別方法及び装置
JP2002216116A (ja) 2001-01-16 2002-08-02 Nec Soft Ltd 指紋画像の入力方法、指紋画像の入力装置、プログラム、携帯型情報機器
JP2003248820A (ja) 2002-02-25 2003-09-05 Fujitsu Ltd 画像連結方法、プログラム及び装置
JP2005143890A (ja) 2003-11-17 2005-06-09 Fujitsu Ltd 生体情報採取装置
JP2005352623A (ja) * 2004-06-09 2005-12-22 Nec Soft Ltd パターン照合装置、画像品質検証方法及び画像品質検証プログラム
JP2007097842A (ja) 2005-10-04 2007-04-19 Fujitsu Ltd 指紋歪み検出装置を備える指紋照合装置
JP2007202912A (ja) * 2006-02-03 2007-08-16 Secom Co Ltd 縞模様を含む画像の照合装置
JP2009003564A (ja) 2007-06-19 2009-01-08 Mitsumi Electric Co Ltd 指紋画像形成装置及びこれに用いる指移動量推定方法及び指紋画像形成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. MALTONI ET AL.: "Handbook of Fingerprint Recognition", SPRINGER SCIENCE, pages: 100
M. KAWAGOE; A. TOJO, FINGERPRINT PATTERN CLASSIFICATION, PATTERN RECOGNITION, vol. 17, no. 3, 1984, pages 295 - 303
See also references of EP2530644A4

Also Published As

Publication number Publication date
US20130004031A1 (en) 2013-01-03
US9607204B2 (en) 2017-03-28
JPWO2011092827A1 (ja) 2013-05-30
EP2530644A1 (en) 2012-12-05
EP2530644A4 (en) 2015-07-08
JP5482803B2 (ja) 2014-05-07

Similar Documents

Publication Publication Date Title
JP5482803B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理プログラム
JP5206218B2 (ja) 指紋画像取得装置、指紋認証装置、指紋画像取得方法及び指紋認証方法
EP2128817B1 (en) Image reading device, image reading program, and image reading method
US9087228B2 (en) Method and apparatus for authenticating biometric scanners
US8577091B2 (en) Method and apparatus for authenticating biometric scanners
EP1306804B1 (en) Fingerprint identification method and apparatus
EP1339008B1 (en) Authentication method, and program and apparatus therefor
JP5699845B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
JP5304901B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
US20080101663A1 (en) Methods for gray-level ridge feature extraction and associated print matching
EP2672450A1 (en) Biometric information registration device and biometric information registration method
US20080101662A1 (en) Print matching method and apparatus using pseudo-ridges
WO2007029591A1 (ja) 画像処理装置、マスク作成方法及びプログラム
JP5915336B2 (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
US20070292005A1 (en) Method and apparatus for adaptive hierarchical processing of print images
Biradar et al. Fingerprint ridge orientation extraction: a review of state of the art techniques
Kekre et al. Fingerprint's core point detection using orientation field
CN109844814B (zh) 信息处理方法和信息处理装置
JP2007179267A (ja) パターン照合装置
US11823487B2 (en) Method and system for enrolling a fingerprint
EP3627380B1 (en) A method of verifying the acquisition of an individual&#39;s biometric data
KR100629302B1 (ko) 지문등록을 위한 지문템플릿 생성방법
Krishna Prasad A Text Book of Research Papers on Fingerprint Recognition & Hash Code Techniques
Cho et al. A method for fingerprint enrollment by finger rubbing
Jahankhani et al. Analysis of Fingerprint Image to Verify a Person

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10844589

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011551627

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010844589

Country of ref document: EP