WO2018198500A1 - 照合装置、照合方法および照合プログラム - Google Patents

照合装置、照合方法および照合プログラム Download PDF

Info

Publication number
WO2018198500A1
WO2018198500A1 PCT/JP2018/006035 JP2018006035W WO2018198500A1 WO 2018198500 A1 WO2018198500 A1 WO 2018198500A1 JP 2018006035 W JP2018006035 W JP 2018006035W WO 2018198500 A1 WO2018198500 A1 WO 2018198500A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
collation
feature point
feature
similarity
Prior art date
Application number
PCT/JP2018/006035
Other languages
English (en)
French (fr)
Inventor
青木　隆浩
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP18792286.9A priority Critical patent/EP3617993B1/en
Publication of WO2018198500A1 publication Critical patent/WO2018198500A1/ja
Priority to US16/662,607 priority patent/US11315341B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1353—Extracting features related to minutiae or pores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G06V40/1371—Matching features related to minutiae or pores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Definitions

  • This case relates to a verification device, verification method and verification program.
  • Verification using feature points is used in biometric authentication and the like.
  • the feature point matching method the feature amount of the registered image and the feature amount of the matching image are matched. For example, a loop is performed on the registered feature points to search for matching feature points that form a pair. As a pair partner, a matching feature point having the most similar feature amount in comparison with a matching feature point whose spatial distance is equal to or smaller than a threshold is selected. There may be a positional shift between the registered image and the collation image. Therefore, a technique for collating two images close to each other has been disclosed (see, for example, Patent Document 1).
  • the matching feature point that is the counterpart of the pair of registered feature points is selected from those having a certain spatial distance, but if the distance is too far from the whole pair, it corresponds correctly to the registered feature points. It is not necessarily a feature point. In this case, there is a possibility that the authentication accuracy is lowered.
  • an object of the present invention is to provide a collation device, a collation method, and a collation program that can improve authentication accuracy.
  • the collation device calculates a positional difference and a feature amount similarity with each feature point in the collation image acquired by the imaging device for each of a plurality of feature points in the registered image registered in advance.
  • the positional difference between the similarity calculation unit and each feature point in the registered image with the feature point having the maximum similarity in the matching image is larger than a threshold value, the similarity is equal to or lower than the next point.
  • a collation unit that collates the collation image with the registered image using the similarity to a point.
  • (A) And (b) is a figure which illustrates a feature point and a feature-value. It is a figure which illustrates the search of a feature point pair.
  • (A) It is a figure which illustrates the result of a feature point pair
  • (b) is a figure which illustrates movement amount.
  • (A) is a block diagram for demonstrating the hardware constitutions of the collation apparatus which concerns on Example 1
  • (b) is a schematic diagram of a biosensor. It is a block diagram of each function of a collation device realized by execution of a collation program. It is an example of the flowchart showing the detail of the collation process which concerns on a present Example. It is a figure which illustrates a pair information list.
  • FIG. (A) And (b) is a figure which illustrates an outline. It is a figure which illustrates the flowchart for determining whether a 1st place is used or a 2nd or less is used according to a reliability. It is a block diagram of each function of a collation device concerning Example 3. It is a figure which illustrates the flowchart for determining whether the 1st place is used according to the flag F, or 2nd or less is used.
  • feature point matching method a characteristic point (feature point) is extracted from an image, and matching is performed based on a feature amount calculated from an image near the feature point. For example, as illustrated in FIGS. 1A and 1B, fingerprints, vein branch points, and the like are extracted as feature points, and feature amounts are calculated from images near the feature points. As specific feature amounts, there are various methods such as LPQ (disclosed in Blur, Insensitive, Texture, Classification, Using, Local, Phase, Quantization, etc.).
  • LPQ disclosed in Blur, Insensitive, Texture, Classification, Using, Local, Phase, Quantization, etc.
  • the feature amount of a registered image feature point (hereinafter referred to as a registered feature point) registered in advance and the feature point of a collation image acquired by photographing a subject at the time of authentication.
  • a feature point pair is searched for by comparing with a feature amount (hereinafter referred to as a matching feature point). It is assumed that approximate registration normalization of the registered image and the collation image has been performed.
  • the alignment normalization normalization such as position and rotation in the XY direction can be used.
  • a loop is performed on the registered feature points to search for paired matching feature points.
  • two of (1) spatial distance (X, Y distance) and (2) feature amount score are used as indices.
  • the spatial distance the distance between the coordinate (Xri, Yri) of the registered feature point of interest and the coordinate (Xii, Yii) of the matching feature point is obtained, and the distance is not more than the threshold value Rth. .
  • a matching feature point having the maximum feature amount score is searched.
  • FIG. 3A is a diagram illustrating the result of all the feature point pairs obtained. From this result, a collation score for determining whether or not the authentication of the registered image and the collation image is successful is obtained. For example, it sorts by a feature-value score, calculates
  • the order of the sorting is hereinafter referred to as a rank. For example, the first result of the sorting is ranked first, and the second result of the sorting is ranked second.
  • the movement amount is a difference in coordinates of the obtained corresponding point pair. For example, assume that the coordinates of the registered feature point 1 are (100, 100). It is assumed that the matching feature point having the highest feature amount score is the matching feature point 1 and its coordinates are (90, 91). In this case, the movement amount between the registered feature point 1 and the matching feature point 1 is obtained as (10, 9). In this way, the movement amount is obtained for each corresponding point.
  • FIG. 3B is a diagram illustrating the movement amount as a result different from that in FIG.
  • a feature point pair greatly deviating from the overall average movement amount can be determined as an erroneous corresponding point.
  • the amount of movement of the feature point pair ranked third is greatly different from the others. Therefore, the accuracy of authentication can be increased by excluding the feature point pair ranked third from the calculation target of the matching score.
  • the collation process is performed after applying the approximate alignment (normalization process such as translation correction and rotation correction) of the registered image and the collation image in advance.
  • the normalization process does not always completely correct, and an error may remain.
  • the parallel movement generally does not greatly affect the feature amount score.
  • the rotation correction greatly affects the feature amount score. For example, since the LPQ feature mentioned above is not a rotation invariant feature, the feature amount score deteriorates if there is a rotation shift. In such a case, there is a problem that the person is rejected.
  • FIG. 4A is a block diagram for explaining a hardware configuration of the collation apparatus 100 according to the first embodiment.
  • FIG. 4B is a schematic diagram of the biosensor 105 described later.
  • the collation device 100 includes a CPU 101, a RAM 102, a storage device 103, a display device 104, a biosensor 105, a communication unit 106, an attribute information acquisition unit 107, and the like. Each of these devices is connected by a bus or the like.
  • a CPU (Central Processing Unit) 101 is a central processing unit.
  • the CPU 101 includes one or more cores.
  • a RAM (Random Access Memory) 102 is a volatile memory that temporarily stores programs executed by the CPU 101, data processed by the CPU 101, and the like.
  • the storage device 103 is a nonvolatile storage device.
  • a ROM Read Only Memory
  • SSD solid state drive
  • the collation program according to the present embodiment is stored in the storage device 103.
  • the display device 104 is a liquid crystal display, an electroluminescence panel, or the like, and displays a result of each process described later.
  • the biometric sensor 105 is an imaging device that acquires an image of a subject, and in this embodiment, is an imaging device that acquires an image of a user's biological body. As illustrated in FIG. 4B, the biometric sensor 105 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) camera or the like. The biometric sensor 105 can acquire an image in which a feature point appears, such as a palm vein image, a fingerprint image, or a face image.
  • CMOS Complementary Metal Oxide Semiconductor
  • the communication unit 106 is, for example, a connection interface to a LAN (Local Area Network).
  • the attribute information acquisition unit 107 is an input device such as a keyboard and a mouse.
  • the attribute information acquisition unit 107 is a device for inputting an ID for identifying a user, a user name, a password, and the like.
  • the collation program stored in the storage device 103 is expanded in the RAM 102 so as to be executable.
  • the CPU 101 executes a verification program developed in the RAM 102. Thereby, each process by the collation apparatus 100 is performed. By executing the verification program, verification processing and the like are executed.
  • FIG. 5 is a block diagram of each function of the collation apparatus 100 realized by executing the collation program.
  • the overall management unit 10 the biometric data acquisition unit 20, the normalization processing unit 30, the feature extraction unit 40, the database unit 50, the storage unit 60, the verification processing unit 70, and the like are executed by executing the verification program.
  • the collation processing unit 70 functions as a pair collation unit 71, a pair list creation unit 72, an overall movement amount calculation unit 73, a final score calculation unit 74, and the like.
  • FIG. 6 is an example of a flowchart showing details of the collation processing according to the present embodiment.
  • the attribute information acquisition unit 107 acquires, for example, the user ID as attribute information (step S1).
  • the biometric data acquisition unit 20 acquires a collation image from the biometric sensor 105 from the user's biometric (step S2).
  • the normalization processing unit 30 acquires a registered image corresponding to the ID acquired in step S1 from the database unit 50, and normalizes the collation image with respect to the registered image (step S3).
  • alignment such as parallel movement and rotational movement can be performed.
  • the parallel movement can be performed based on the barycentric coordinates of the subject area (finger area or palm area).
  • the edge of the contour can be calculated and performed based on the edge direction.
  • the feature extraction unit 40 extracts feature points from the collated image after normalization. For example, fingerprints, vein intersections, branch points, and the like can be used as feature points.
  • the feature extraction unit 40 calculates a feature amount as a feature amount vector from the image of the calculated feature point vicinity region. As a specific calculation method, the above-described LPQ or the like can be used.
  • the pair matching unit 71 calculates a feature amount score for a matching feature point whose positional difference is equal to or smaller than a threshold in the matching image (step S4). At that time, the pair matching unit 71 calculates a movement amount between the registered feature point and the matching feature point.
  • the pair list creation unit 72 creates a pair information list (step S5).
  • FIG. 7 is a diagram illustrating a pair information list. As illustrated in FIG. 7, the one with the largest feature amount score is stored in the first place. In the second place, the one with the next feature amount score is stored.
  • the total movement amount calculation unit 73 calculates the total movement amount from all the movement amounts in the pair information list (step S6).
  • a representative value based on statistical processing can be used as the total movement amount. For example, an average value of each movement amount, a median, or the like can be used as a representative value.
  • at least one of the movement amounts may be used by limiting the feature amount score and the rank. For example, the total movement amount may be obtained using only a pair having a feature amount score equal to or higher than a predetermined threshold or a pair higher than a predetermined rank in the feature point pair information list. By doing in this way, the information of the feature point pair with a low feature-value score can be excluded, and accuracy improves as a result.
  • the final score calculation unit 74 calculates a final score after excluding pairs in which the difference between the total movement amount and the movement amount is equal to or greater than a threshold (step S7).
  • the final score can be calculated as follows. First, the final score calculation unit 74 refers to the feature point pair information list and acquires N feature points from the top of the rank. N is a predetermined constant. The final score calculation unit 74 checks the movement amount of the corresponding feature point pair when acquiring the top N feature points. When the movement amount of the corresponding feature point pair is larger than the total movement amount, the final score calculation unit 74 excludes the corresponding feature point from the score calculation. The final score calculation unit 74 calculates the average value of the feature amount scores of the N feature point pairs obtained in this way as a final score.
  • FIG. 8 is an example of a flowchart showing details of step S7.
  • the final score calculation unit 74 substitutes 1 for a variable n (step S11).
  • the final score calculation unit 74 substitutes 1 for the variable idx (step S12).
  • the variable idx means a point of interest in the feature point pair information list, and specifically, what line of data is focused.
  • the first rank of the first rank is the first row
  • the second rank of the first rank is the second row
  • the first rank of the second rank is the third row.
  • the final score calculation unit 74 determines whether or not the variable idx is larger than the feature point pair number Ln (step S13).
  • the feature point pair number Ln is the total number of pairs in the feature point pair information list.
  • the final score calculation unit 74 ends the flowchart. This means that a predetermined number N of feature point pairs cannot be obtained. In such a case, a very low value is set as the matching score between the matching image and the registered image. If it is an example of biometric authentication, it will be judged that it is others.
  • the final score calculation unit 74 checks the validity of the idx-th pair in the feature point pair information list (step S14). This pays attention to the idx-th pair in the feature point pair information list and checks whether this is appropriate. Specifically, it is judged from the following points. First, paying attention to the movement amount of the idx-th pair, if the difference from the total movement amount is equal to or greater than a threshold value, it is determined that the value is not appropriate. When using the second place, attention is paid to the matching point of the feature point pair of interest. In the case of a correct pair, the registration point and verification point should correspond to 1: 1. Therefore, it is checked whether or not the matching point of the feature point pair of interest has already appeared as a valid feature point pair.
  • the corresponding pair is determined to be valid, and the second pair is not valid. To be judged.
  • the matching feature point 1 is a pair with the registered feature point 1
  • the difference between the movement amount of the matching feature point 2 that gives the first score of the registered feature point 3 and the total movement amount is equal to or larger than the threshold value, it is determined that the corresponding pair is not valid, and the second pair Is deemed appropriate.
  • the final score calculation unit 74 determines whether the feature amount score of the idx-th pair is valid based on the result of step S14 (step S15). If “No” is determined in step S15, 1 is added to idx (step S16). Thereafter, the process is executed again from step S13. If “Yes” is determined in step S15, the idx-th feature value score in the feature point pair information list is set as the top n-th feature value score (step S17). Next, the final score calculation unit 74 adds 1 to the variable n (step S18).
  • Step S19 determines whether or not the variable n is larger than N (step S19). If it is determined as “No” in Step S19, Step S16 is executed. When it is determined as “Yes” in Step S19, the final score calculation unit 74 calculates a final score from the top N scores (Step S20). Thereafter, the execution of the flowchart ends.
  • the second place is used instead of the first place when calculating the final score.
  • an appropriate feature point pair can be used when the rotation error becomes large. That is, it is possible to exclude a matching feature point whose feature amount score has increased accidentally due to an increase in rotation error. In addition, it is possible to use a matching feature point in which a feature amount score is accidentally reduced due to an increase in rotation error. Therefore, the final score calculation accuracy is improved, and the authentication accuracy is improved.
  • the present invention in the pair information list, only the first place and the second place are stored for each registered feature point.
  • the present invention is not limited to this.
  • the third or lower matching feature point may be included.
  • the final score may be calculated using the third feature amount score whose position difference is equal to or less than the threshold value.
  • the biosensor 105 functions as an example of a photographing apparatus that acquires a collation image.
  • the pair matching unit 71 calculates a positional difference and a feature amount similarity with each feature point in the matching image for each of a plurality of feature points in a registered image registered in advance. Function.
  • the final score calculation unit 74 has a positional difference between the feature point in the registered image and the feature point having the maximum similarity in the matching image larger than a threshold value, the similarity is equal to or lower than the next point. It functions as an example of a collation unit that collates the collation image and the registered image using the similarity with the feature point.
  • the total movement amount calculation unit 73 calculates a position difference between each feature point in the registered image and the feature point having the maximum similarity in the collation image, and at least one of the calculated position differences is calculated. It functions as an example of a representative value calculation unit that calculates a representative value from a population that includes it.
  • the normalization processing unit 30 functions as an example of an alignment unit that performs alignment of the verification image and the registered image before the verification of the verification image and the registered image.
  • the second or lower pair is not reflected in the final score.
  • authentication accuracy is higher when only the first place is used without using the second place or less. Therefore, in the second embodiment, when the reliability of the normalization processing by the normalization processing unit 30 is high, the second or lower feature amount score is not reflected in the final score.
  • FIG. 9 is a block diagram of each function of the collation device 100a according to the second embodiment.
  • the function of the collation device 100a is different from the function of the collation device 100 according to the first embodiment in that a normalization reliability calculation unit 31 is realized in the normalization processing unit 30.
  • the normalization reliability calculation unit 31 calculates the reliability of normalization processing by the normalization processing unit 30.
  • the reliability of rotation correction can be calculated as the reliability.
  • the reliability in this case is an index indicating how correct the rotation correction is. That is, the reliability is a numerical value that decreases when the rotation error is large and increases when the rotation error is small.
  • rotation correction there is a case where rotation correction is performed using the contour of a subject (finger outline or palm outline). For example, as illustrated in FIG. 10A, if the contour is clearly displayed, accurate rotation correction can be performed based on the contour. Therefore, a high numerical value is calculated as the reliability.
  • the normalization reliability calculation unit 31 has a higher reliability as the strength (edge strength) of the contour data that is the basis of the rotation correction is higher, and a higher reliability as the reflected contour is longer. Then, the reliability is calculated.
  • the normalization reliability calculation unit 31 may calculate the reliability so that the lower the noise of the verification image, the higher the reliability.
  • the reliability may be calculated by the following method. First, the presence or absence of ambient light such as sunlight can be used as a reference. In the presence of external light, saturation or the like due to intense light may occur and the reliability of contour information may be reduced. An illuminance sensor is provided separately from the feature image photographing such as a CMOS camera, and the reliability is calculated according to the external light intensity.
  • image data feature image
  • FIG. 11 is a diagram illustrating a flowchart for determining whether to use the first place or the second order or less according to the reliability.
  • the flowchart of FIG. 11 is executed after step S3 of the flowchart of FIG. 6 is executed.
  • the normalized reliability calculation unit 31 calculates the reliability of the normalized collation image (Step S ⁇ b> 21).
  • the overall management unit 10 determines whether or not the reliability calculated in step S21 is less than a threshold value (step S22). If it is determined as “Yes” in step S22, the overall management unit 10 permits the processing after step S4 in the flowchart of FIG. 6 (step S23).
  • step S22 the overall management unit 10 instructs the pair list creation unit 72 to create a list of only the first place in step S5 of the flowchart of FIG. 6 (step S24). .
  • step S7 of the flowchart of FIG. 6 the overall management unit 10 instructs the final score calculation unit 74 to calculate the final score only from the first feature amount score (step S25). In this case, matching feature points that increase the positional difference may be excluded.
  • the second or lower feature amount score when the reliability of the collation image normalization is high, the second or lower feature amount score can be excluded from the calculation of the final score.
  • the feature amount score of the second or lower rank when the reliability of normalization of the collation image is low, the feature amount score of the second or lower rank can be reflected in the calculation of the final score. In this way, it is possible to improve the authentication accuracy by determining whether or not to use the second or lower feature quantity according to the reliability of normalization of the collation image.
  • the normalization reliability calculation unit 31 the determination unit that determines whether the rotation error of the subject of the verification image is less than the threshold value, or the reliability that calculates the reliability of the contour of the subject of the verification image It functions as an example of a degree calculation unit.
  • Example 2 it was dynamically determined whether or not the rotational deviation was large by calculating the reliability of the normalization process.
  • the reliability of the normalization process does not have to be dynamically calculated under the operating conditions in which no rotation error is assumed in advance. Therefore, in the third embodiment, operational conditions that are unlikely to cause a rotation error, operational conditions that cause a rotation error, and the like are stored as information in advance. Do not reflect in the final score.
  • FIG. 12 is a block diagram of each function of the collation device 100b according to the third embodiment.
  • the function of the collation device 100b is different from the function of the collation device 100 according to the first embodiment in that a flag information storage unit 75 is further realized in the collation processing unit 70.
  • the flag information storage unit 75 stores a flag for determining whether or not the second or lower pair is reflected in the final score.
  • the flag can be switched depending on the presence / absence of a biometric authentication guide (physical guide for holding a biological part).
  • a rotation error is less likely to occur under an operating condition in which a guide is used when registering a registered image and the guide is used even during authentication. In such a case, the authentication accuracy is higher when only the first place is used without using the second place or less.
  • a rotation error tends to increase between a registered image and a collation image under an operating condition in which a guide is used when registering a registered image and a guide is not used when authenticating. In such a case, the second or lower feature amount score is reflected in the final score.
  • FIG. 13 is a diagram illustrating a flowchart for determining whether to use the first place or to use the second order or less according to the flag F.
  • the flowchart of FIG. 13 is executed after step S3 of the flowchart of FIG. 6 is executed.
  • the overall management unit 10 determines whether or not the flag F is 1 (step S31). If it is determined as “Yes” in step S31, the overall management unit 10 permits the processing after step S4 in the flowchart of FIG. 6 (step S32). If “No” is determined in step S31, the overall management unit 10 instructs the pair list creation unit 72 to create a list of only the first place in step S5 of the flowchart of FIG. 6 (step S33). .
  • step S7 in the flowchart of FIG. 6 the overall management unit 10 instructs the final score calculation unit 74 to calculate the final score from only the first feature amount score (step S34). In this case, matching feature points that increase the positional difference may be excluded.
  • the present embodiment it is possible to determine whether to use the second or lower or only the first place according to the operation condition of the verification device. Specifically, under operational conditions where rotation errors are unlikely to occur, the feature amount score of the second or lower rank can be excluded from the final score calculation. On the other hand, under operational conditions where a rotation error is likely to occur, a feature amount score of second or lower can be reflected in the calculation of the final score. In this way, it is possible to improve the authentication accuracy by determining whether to use the second or lower feature quantity according to the operation condition.
  • the flag information storage unit 75 functions as an example of a storage unit that stores the operating conditions of the verification device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Quality & Reliability (AREA)

Abstract

【課題】　認証精度を向上させることができる照合装置、照合方法および照合プログラムを提供する。 【解決手段】　照合装置は、予め登録されている登録画像中の複数の特徴点それぞれについて、撮影装置が取得した照合画像中の各特徴点との位置差および特徴量の類似度を算出する類似度算出部と、前記登録画像中の各特徴点について、前記照合画像のうち前記類似度が最大となる特徴点との位置差が閾値より大きい場合に、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合する照合部と、を備える。

Description

照合装置、照合方法および照合プログラム
　本件は、照合装置、照合方法および照合プログラムに関する。
　生体認証等において、特徴点を用いた照合が利用されている。特徴点照合方式では、登録画像の特徴点の特徴量と、照合画像の特徴点の特徴量とが照合される。例えば、登録特徴点に対してループを行い、ペアとなる照合特徴点を探索する。ペアの相手としては、空間的距離が閾値以下となる照合特徴点との比較において特徴量が最も似ている照合特徴点が選ばれる。なお、登録画像と照合画像との間には、位置ズレが生じている場合がある。そこで、２枚の画像を近づけて照合する技術が開示されている（例えば、特許文献１参照）。
国際公開第２０１２／０６３７０８号
　しかしながら、登録特徴点のペアの相手となる照合特徴点は、ある程度の空間的距離が近いものから選ばれるが、ペア全体から見れば距離が離れ過ぎていると登録特徴点に正しく対応している特徴点とは限らない。この場合、認証精度が低下するおそれがある。
　１つの側面では、本発明は、認証精度を向上させることができる照合装置、照合方法および照合プログラムを提供することを目的とする。
　１つの態様では、照合装置は、予め登録されている登録画像中の複数の特徴点それぞれについて、撮影装置によって取得した照合画像中の各特徴点との位置差および特徴量の類似度を算出する類似度算出部と、前記登録画像中の各特徴点について、前記照合画像のうち前記類似度が最大となる特徴点との位置差が閾値より大きい場合に、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合する照合部と、を備える。
　認証精度を向上させることができる。
（ａ）および（ｂ）は特徴点および特徴量を例示する図である。 特徴点ペアの探索を例示する図である。 （ａ）特徴点ペアの結果を例示する図であり、（ｂ）は移動量を例示する図である。 （ａ）は実施例１に係る照合装置のハードウェア構成を説明するためのブロック図であり、（ｂ）は生体センサの模式図である。 照合プログラムの実行によって実現される照合装置の各機能のブロック図である。 本実施例に係る照合処理の詳細を表すフローチャートの一例である。 ペア情報リストを例示する図である。 ステップＳ７の詳細を表すフローチャートの一例である。 実施例２に係る照合装置の各機能のブロック図である。 （ａ）および（ｂ）は輪郭線を例示する図である。 信頼度に応じて、第１位を利用するか第２以下を利用するか否かを判定するためのフローチャートを例示する図である。 実施例３に係る照合装置の各機能のブロック図である。 フラグＦに応じて第１位を利用するか第２以下を利用するか否かを判定するためのフローチャートを例示する図である。
　実施例の説明に先立って、特徴点を用いた照合方式（特徴点照合方式）の概略について説明する。特徴点照合方式では、画像の中で特徴的な点（特徴点）を抽出し、特徴点近傍の画像から算出した特徴量を基に照合を行う。例えば、図１（ａ）および図１（ｂ）で例示するように、指紋や静脈の分岐点などを特徴点として抽出し、当該特徴点近傍の画像から特徴量を算出する。具体的な特徴量として、例えばＬＰＱ(Blur Insensitive Texture Classification Using Local Phase Quantization等で開示)などの様々な方式がある。
　照合処理には様々な方式を用いることが可能であるが、以下では一例を述べる。まず、図２で例示するように、予め登録された登録画像の特徴点（以下、登録特徴点と称する。）の特徴量と、認証時に被写体を撮影することで取得された照合画像の特徴点（以下、照合特徴点と称する。）の特徴量とを比較し、特徴点ペアを探索する。なお、登録画像および照合画像のおおよその位置合わせ正規化は、実施済みであるとする。位置合わせ正規化として、ＸＹ方向の位置や回転などの正規化を用いることができる。
　まず、登録特徴点に対してループを行い、ペアとなる照合特徴点を探索する。ここで、特徴点ペアの探索では、（１）空間的距離（Ｘ，Ｙ距離）、（２）特徴量スコア、の２つを指標として用いる。空間的距離に関しては、注目している登録特徴点の座標（Ｘｒｉ，Ｙｒｉ）と照合特徴点の座標（Ｘｉｉ，Ｙｉｉ）との距離を求め、当該距離が閾値Ｒｔｈ以下であることを条件とする。所定の距離以下の特徴点の中で、特徴量スコアが最大となる照合特徴点を探索する。
　具体的には、特徴量同士がどの程度似ているかを表す類似度を特徴量スコアとして算出し、最大の特徴量スコアを与える照合特徴点を探索する。図３（ａ）は、得られた全特徴点ペアの結果を例示する図である。この結果から、登録画像と照合画像との認証が成功したか否かを判断するための照合スコアを求める。例えば、特徴量スコアでソートし、特徴量スコア上位（例えば、上位１０位）の平均を求め、当該平均を照合スコアとする。照合スコアが閾値以上であれば、認証成功となる。なお、当該ソートの順番を、以下、ランクと称する。例えば、当該ソートの結果の１位がランク１位であり、当該ソートの結果の２位がランク２位である。
　ここで、位置差（移動量）に着目した特徴点ペアの選択処理を行うことで、認証精度が改善する。移動量とは、求めた対応点ペアの座標の差異のことである。例えば、登録特徴点１の座標が（１００，１００）であったとする。最も特徴量スコアが高かった照合特徴点が照合特徴点１であり、その座標が（９０，９１）であったとする。この場合、登録特徴点１と照合特徴点１との間の移動量は、（１０，９）と求まる。このように対応点ごとに移動量を求める。図３（ｂ）は、図３（ａ）とは別の結果で移動量を例示する図である。
　ここで、全体の平均的な移動量から大きく外れた特徴点ペアは、誤った対応点であると判断することができる。図３（ｂ）の例では、ランク３位の特徴点ペアにおいて、移動量
が他と大きくずれている。そのため、ランク３位の特徴点ペアを照合スコアの計算対象から除外することで、認証精度を高めることができる。
　このように、事前に登録画像と照合画像とのおおよその位置合わせ（平行移動補正、回転補正などの正規化処理）を適用した上で照合処理を行っている。しかしながら、正規化処理で完全に補正されるとは限らず、誤差が残る場合がある。なお、平行移動は、一般的に特徴量スコアに大きく影響しない。一方、回転補正は、特徴量スコアに大きく影響する。例えば、上記で挙げたＬＰＱ特徴は回転不変な特徴ではないため、回転ズレがあると特徴量スコアが劣化する。このようなケースでは本人拒否が発生してしまう問題がある。
　以下の実施例では、適切な特徴点のペアを生成することで認証精度を高めることができる照合装置、照合方法および照合プログラムについて説明する。
　図４（ａ）は、実施例１に係る照合装置１００のハードウェア構成を説明するためのブロック図である。図４（ｂ）は、後述する生体センサ１０５の模式図である。図４（ａ）で例示するように、照合装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４、生体センサ１０５、通信部１０６、属性情報取得部１０７などを備える。これらの各機器は、バスなどによって接続されている。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。
　記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施例に係る照合プログラムは、記憶装置１０３に記憶されている。表示装置１０４は、液晶ディスプレイ、エレクトロルミネッセンスパネル等であり、後述する各処理の結果などを表示する。
　生体センサ１０５は、被写体の画像を取得する撮影装置であり、本実施例においては、ユーザの生体の画像を取得する撮影装置である。図４（ｂ）で例示するように、生体センサ１０５は、一例として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどである。生体センサ１０５は、例えば、手のひら静脈画像、指紋画像、顔画像などの、特徴点が現れる画像を取得することができる。
　通信部１０６は、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などへの接続インタフェースである。属性情報取得部１０７は、キーボード、マウスなどの入力機器であり、例えば、ユーザを識別するためのＩＤ、ユーザ名、パスワードなどを入力するための装置である。
　記憶装置１０３に記憶されている照合プログラムは、実行可能にＲＡＭ１０２に展開される。ＣＰＵ１０１は、ＲＡＭ１０２に展開された照合プログラムを実行する。それにより、照合装置１００による各処理が実行される。照合プログラムが実行されることによって、照合処理などが実行される。
　図５は、照合プログラムの実行によって実現される照合装置１００の各機能のブロック
図である。図５で例示するように、照合プログラムの実行によって、全体管理部１０、生体データ取得部２０、正規化処理部３０、特徴抽出部４０、データベース部５０、記憶部６０、照合処理部７０などが実現される。照合処理部７０は、ペア照合部７１、ペアリスト作成部７２、全体移動量算出部７３、最終スコア算出部７４などとして機能する。
　図６は、本実施例に係る照合処理の詳細を表すフローチャートの一例である。図６で例示するように、属性情報取得部１０７は、例えば、ユーザのＩＤを属性情報として取得する（ステップＳ１）。次に、生体データ取得部２０は、生体センサ１０５から当該ユーザの生体から照合画像を取得する（ステップＳ２）。
　次に、正規化処理部３０は、ステップＳ１で取得されたＩＤに対応する登録画像をデータベース部５０から取得し、当該登録画像に対して照合画像を正規化する（ステップＳ３）。正規化処理として、平行移動、回転移動などの位置合わせを行うことができる。平行移動は、被写体領域（指領域や手のひら領域）の重心座標などを基に行うことができる。また、回転移動として、輪郭のエッジを算出し、エッジ方向を基に行うことができる。
　次に、特徴抽出部４０は、正規化後の照合画像から特徴点を抽出する。例えば、指紋や静脈の交点、分岐点などを特徴点とすることができる。特徴抽出部４０は、算出した特徴点近傍領域の画像から特徴量を特徴量ベクトルとして算出する。具体的な算出方式としては前述したＬＰＱなどを利用することができる。
　次に、ペア照合部７１は、登録特徴点のそれぞれについて、照合画像のうち位置差が閾値以下となる照合特徴点について、特徴量スコアを算出する（ステップＳ４）。その際に、ペア照合部７１は、登録特徴点と照合特徴点との移動量を算出する。次に、ペアリスト作成部７２は、ペア情報リストを作成する（ステップＳ５）。図７は、ペア情報リストを例示する図である。図７で例示するように、第１位には、特徴量スコアが最大のものが格納される。第２位には、特徴量スコアが次点のものが格納される。
　次に、全体移動量算出部７３は、ペア情報リストの全ての移動量から全体移動量を算出する（ステップＳ６）。全体移動量として、統計処理に基づく代表値を用いることができる。例えば、代表値として、各移動量の平均値やメディアンなどを用いることができる。また、全体移動量を求める際、特徴量スコアや順位に制限を設けることで、少なくともいずれかの移動量を用いてもよい。例えば、特徴点ペア情報リストのうち、所定閾値以上の特徴量スコアを持つペアや、所定順位以上のペアのみを用いて全体移動量を求めてもよい。このようにすることで、特徴量スコアが低い特徴点ペアの情報を排除することができ、結果として精度が改善する。
　次に、最終スコア算出部７４は、全体移動量と移動量との差異が閾値以上となるペアを除外した上で、最終スコアを算出する（ステップＳ７）。具体的には、以下のように最終スコアを算出することができる。まず、最終スコア算出部７４は、特徴点ペア情報リストを参照し、ランク上位からＮ個の特徴点を取得する。Ｎは、所定の定数である。最終スコア算出部７４は、上位Ｎ個の特徴点を取得するにあたり、該当する特徴点ペアの移動量をチェックする。最終スコア算出部７４は、全体移動量と比較して該当する特徴点ペアの移動量が大きい場合には、該当特徴点はスコア算出から除外する。最終スコア算出部７４は、このようにして求めたＮ個の特徴点ペアの特徴量スコアの平均値などを最終的なスコアとして算出する。
　図８は、ステップＳ７の詳細を表すフローチャートの一例である。図８で例示するように、最終スコア算出部７４は、変数ｎに１を代入する（ステップＳ１１）。変数ｎは、上位Ｎ個の特徴点ペアを求めるに当たり、現在探索しているランクを示す。変数ｎ＝１であ
れば、ランク１位のペアを探索することを意味する。
　次に、最終スコア算出部７４は、変数ｉｄｘに１を代入する（ステップＳ１２）。変数ｉｄｘは、特徴点ペア情報リストにおける着目点を意味し、具体的には何行目のデータに着目しているかを意味する。図７の例では、ランク１位の第１位が１行目であり、ランク１位の第２位が２行目であり、ランク２位の第１位が３行目である。
　次に、最終スコア算出部７４は、変数ｉｄｘが特徴点ペア数Ｌｎよりも大きいか否かを判定する（ステップＳ１３）。特徴点ペア数Ｌｎは、特徴点ペア情報リストにおける全ペア数である。ステップＳ１３で「Ｎｏ」と判定された場合、最終スコア算出部７４は、フローチャートを終了する。これは、所定の数Ｎ個の特徴点ペアを求めることができなかった場合を意味している。このような場合は、照合画像と登録画像との照合スコアとして、非常に低い値が設定される。生体認証の例であれば、他人と判断される。
　次に、最終スコア算出部７４は、特徴点ペア情報リストのｉｄｘ番目のペアの妥当性をチェックする（ステップＳ１４）。これは、特徴点ペア情報リストにおいてｉｄｘ番目のペアに着目し、これが妥当かどうかチェックを行うものである。具体的には以下の点から判断する。まず、ｉｄｘ番目のペアの移動量に着目し、全体移動量との差異が閾値以上であれば、妥当ではないと判断する。また、第２位を利用する場合には、着目している特徴点ペアの照合点に着目する。正しいペアの場合、登録点と照合点とは１：１に対応するはずである。そのため、着目している特徴点ペアの照合点が既に妥当な特徴点ペアとして出現しているかどうかのチェックを行う。図７を例に説明する。登録特徴点１の第１位スコアを与える照合特徴点１の移動量と全体移動量との差異が閾値未満であれば、該当ペアが妥当と判断され、第２位のペアは妥当ではないと判断される。また、照合特徴点１は登録特徴点１とペアであると判断されるため、登録特徴点２の第２位である照合特徴点１とのペアはこの時点で妥当ではないと判断される。一方、登録特徴点３の第１位のスコアを与える照合特徴点２の移動量と全体移動量との差異が閾値以上であれば、該当ペアは妥当ではないと判断され、第２位のペアが妥当であると判断される。
　次に、最終スコア算出部７４は、ステップＳ１４の結果に基づいて、ｉｄｘ番目のペアの特徴量スコアが妥当であるか否かを判定する（ステップＳ１５）。ステップＳ１５で「Ｎｏ」と判定された場合、ｉｄｘに１を足し合わせる（ステップＳ１６）。その後、ステップＳ１３から再度実行される。ステップＳ１５で「Ｙｅｓ」と判定された場合、上位ｎ番目の特徴量スコアとして、特徴点ペア情報リストのｉｄｘ番目の特徴量スコアを設定する（ステップＳ１７）。次に、最終スコア算出部７４は、変数ｎに１を足し合わせる（ステップＳ１８）。
　次に、最終スコア算出部７４は、変数ｎがＮよりも大きいか否かを判定する（ステップＳ１９）。ステップＳ１９で「Ｎｏ」と判定された場合、ステップＳ１６が実行される。ステップＳ１９で「Ｙｅｓ」と判定された場合、最終スコア算出部７４は、上位Ｎ個のスコアから最終スコアを算出する（ステップＳ２０）。その後、フローチャートの実行が終了する。
　本実施例によれば、各登録特徴点について、第１位の位置差が大きくなる場合に、最終スコアの算出の際に第１位ではなく第２位が用いられる。この構成によれば、回転誤差が大きくなる場合等に、適切な特徴点ペアを用いることができるようになる。すなわち、回転誤差が大きくなったために偶発的に特徴量スコアが大きくなった照合特徴点を、除外することができる。また、回転誤差が大きくなったために偶発的に特徴量スコアが小さくなった照合特徴点を用いることができる。したがって、最終スコアの算出精度が向上し、認証精度が向上する。
　なお、不適切な対応点ペアの移動量は様々な方向にばらつくため、全体移動量を求めて平均化することで、ばらつきの影響を抑制することができる。したがって、第１位の位置差を判定する際に、移動量と全体移動量との差を用いることで、各特徴点ペアが適切であるか否かを判断する精度が向上する。ただし、全体移動量を用いなくても、位置差が所定の閾値より大きいか否かを判定しても、各特徴点ペアが適切であるか否かを判断することができる。
　なお、本実施例においては、ペア情報リストにおいて、各登録特徴点に対して第１位および第２位だけ格納しているが、それに限られない。例えば、第３位以下の照合特徴点も含めてもよい。例えば、第１位の位置差が閾値を上回り、第２の位置差も閾値を上回る場合に、位置差が閾値以下の第３位の特徴量スコアを用いて最終スコアを算出してもよい。
　本実施例において、生体センサ１０５が、照合画像を取得する撮影装置の一例として機能する。ペア照合部７１が、予め登録されている登録画像中の複数の特徴点それぞれについて、前記照合画像中の各特徴点との位置差および特徴量の類似度を算出する類似度算出部の一例として機能する。最終スコア算出部７４が、前記登録画像中の各特徴点について、前記照合画像のうち前記類似度が最大となる特徴点との位置差が閾値より大きい場合に、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合する照合部の一例として機能する。全体移動量算出部７３が、前記登録画像中の特徴点それぞれについて前記照合画像のうち前記類似度が最大となる特徴点との位置差を算出し、算出された位置差のうち少なくともいずれかを含む母集団から代表値を算出する代表値算出部の一例として機能する。正規化処理部３０が、前記照合画像と前記登録画像との照合の前に、前記照合画像と前記登録画像との位置合わせを行う位置合わせ部の一例として機能する。
　位置合わせの精度が高い場合等では、第２位以下のペアを最終スコアに反映しない方が高い認証精度を得られる場合がある。例えば、回転誤差がほとんど発生しないような場合には、第２位以下を用いずに第１位だけを用いる方が、認証精度が高くなる。そこで、第２実施例においては、正規化処理部３０による正規化処理の信頼度が高い場合には、第２位以下の特徴量スコアを最終スコアに反映させないようにする。
　図９は、実施例２に係る照合装置１００ａの各機能のブロック図である。照合装置１００ａの機能が実施例１に係る照合装置１００の機能と異なる点は、正規化処理部３０に、正規化信頼度算出部３１が実現される点である。
　正規化信頼度算出部３１は、正規化処理部３０による正規化処理の信頼度を算出する。例えば、信頼度として、回転補正の信頼度を算出することができる。この場合の信頼度は、回転補正がどの程度正しいかを表す指標である。すなわち、信頼度は、回転誤差が大きい場合には低くなり、回転誤差が小さい場合には高くなる数値である。例えば、回転補正として、被写体の輪郭（指の輪郭線や手のひらの輪郭線）を用いて回転補正を行うケースが挙げられる。例えば、図１０（ａ）で例示するように、輪郭線が綺麗に映っていれば、それを基に正確な回転補正を行うことができる。そこで、信頼度として高い数値を算出する。しかしながら、画像ブレや被写体の位置ズレが大きい場合などには、図１０（ｂ）で例示するように、輪郭線が薄いか映っていないケースがあり得る。このような場合には、信頼度として低い数値を算出する。具体的には、正規化信頼度算出部３１は、回転補正の元となる輪郭データの強さ（エッジ強度）が大きいほど高い信頼度となり、映っている輪郭が長いほど高い信頼度となるように、信頼度を算出する。
　その他、正規化信頼度算出部３１は、照合画像のノイズが少ないほど高い信頼度となるように、信頼度を算出してもよい。また、信頼度算出方法として以下のような方式で信頼度を算出してもよい。まず、太陽光などの環境光の有無を基準とすることができる。外光が存在する場合、強烈な光によるサチュレーションなどが起こり、輪郭情報の信頼性が低下することが考えられる。ＣＭＯＳカメラなどの特徴画像撮影用とは別に照度センサを設けておき、外光強度に応じて信頼度を算出する。また、生体認証システムの構成として、画像データ（特徴画像）をネットワークで転送する構成とする場合がある。運用環境によっては画像データを圧縮して転送する必要が生ずる場合がある。例えば、ネットワーク帯域が非常に狭いケースでは、画像圧縮が必須のケースが出てくる。画像を圧縮すると、ブロックノイズなど画像圧縮に固有の画質劣化が生ずるケースがある。このようなシステムでは、例えば圧縮品質に応じて信頼度を設定する構成としてもよい。
　図１１は、信頼度に応じて、第１位を利用するか第２以下を利用するか否かを判定するためのフローチャートを例示する図である。図１１のフローチャートは、図６のフローチャートのステップＳ３が実行された後に、実行される。図１１で例示するように、正規化信頼度算出部３１は、正規化された照合画像の信頼度を算出する（ステップＳ２１）。次に、全体管理部１０は、ステップＳ２１で算出された信頼度が閾値未満であるか否かを判定する（ステップＳ２２）。ステップＳ２２で「Ｙｅｓ」と判定された場合、全体管理部１０は、図６のフローチャートのステップＳ４以降の処理を許容する（ステップＳ２３）。ステップＳ２２で「Ｎｏ」と判定された場合、全体管理部１０は、図６のフローチャートのステップＳ５において、ペアリスト作成部７２に第１位だけのリストを作成するように指示する（ステップＳ２４）。次に、全体管理部１０は、図６のフローチャートのステップＳ７において、最終スコア算出部７４に、第１位の特徴量スコアだけから最終スコアを算出するように指示する（ステップＳ２５）。この場合、位置差が大きくなる照合特徴点は除外してもよい。
　本実施例によれば、照合画像の正規化の信頼度が高い場合には、最終スコアの算出から、第２位以下の特徴量スコアを除外することができる。一方、照合画像の正規化の信頼度が低い場合には、最終スコアの算出に、第２位以下の特徴量スコアを反映させることができる。このように、照合画像の正規化の信頼度に応じて第２位以下の特徴量を用いるか否かを決定することで、認証精度を向上させることができる。
　本実施例においては、正規化信頼度算出部３１、照合画像の被写体の回転誤差が閾値未満になるか否かを判定する判定部、または、照合画像の被写体の輪郭の信頼度を算出する信頼度算出部の一例として機能する。
　実施例２では、正規化処理の信頼度を算出することで、回転ズレが大きいか否かを動的に判断した。一方、回転誤差が生じないことが予め想定される運用条件では、正規化処理の信頼度を動的に算出しなくてもよい。そこで、第３実施例では、回転誤差が生じにくい運用条件、回転誤差が生じる運用条件、などを予め情報として格納しておき、回転誤差が生じにくい運用条件では第２位以下の特徴量スコアを最終スコアに反映させないようにする。
　図１２は、実施例３に係る照合装置１００ｂの各機能のブロック図である。照合装置１００ｂの機能が実施例１に係る照合装置１００の機能と異なる点は、照合処理部７０に、フラグ情報格納部７５がさらに実現される点である。フラグ情報格納部７５は、第２位以下のペアを最終スコアに反映させるか否かを判断するためのフラグを格納する。
　例えば、生体認証用ガイド（生体部位を保持するための物理的なガイド）の有無によっ
てフラグを切り替えることができる。例えば、登録画像の登録時にはガイドを用い、認証時にもガイドを用いる運用条件では、回転誤差が生じにくくなる。このような場合には、第２位以下を用いずに第１位だけを用いる方が、認証精度が高くなる。一方、登録画像の登録時にはガイドを用いて、認証時にはガイドを用いない運用条件では、登録画像と照合画像との間で回転誤差が大きくなる傾向がある。このような場合、第２位以下の特徴量スコアを最終スコアに反映させる。
　フラグ情報格納部７５は、登録時にも認証時にもガイドを用いる場合にはフラグＦ＝０を格納し、登録時にガイドを用いて認証時にはガイドを用いない場合にはフラグＦ＝１を格納する。
　図１３は、フラグＦに応じて、第１位を利用するか第２以下を利用するか否かを判定するためのフローチャートを例示する図である。図１３のフローチャートは、図６のフローチャートのステップＳ３が実行された後に、実行される。図１３で例示するように、全体管理部１０は、フラグＦが１であるか否かを判定する（ステップＳ３１）。ステップＳ３１で「Ｙｅｓ」と判定された場合、全体管理部１０は、図６のフローチャートのステップＳ４以降の処理を許容する（ステップＳ３２）。ステップＳ３１で「Ｎｏ」と判定された場合、全体管理部１０は、図６のフローチャートのステップＳ５において、ペアリスト作成部７２に第１位だけのリストを作成するように指示する（ステップＳ３３）。次に、全体管理部１０は、図６のフローチャートのステップＳ７において、最終スコア算出部７４に、第１位の特徴量スコアだけから最終スコアを算出するように指示する（ステップＳ３４）。この場合、位置差が大きくなる照合特徴点は除外してもよい。
　本実施例によれば、照合装置の運用条件に応じて、第２以下を用いるか第１位だけを用いるかを判断することができる。具体的には、回転誤差が生じにくい運用条件などでは、最終スコアの算出から、第２位以下の特徴量スコアを除外することができる。一方、回転誤差が生じやすい運用条件では、最終スコアの算出に、第２位以下の特徴量スコアを反映させることができる。このように、運用条件に応じて第２位以下の特徴量を用いるか否かを決定することで、認証精度を向上させることができる。
　本実施例においては、フラグ情報格納部７５が、照合装置の運用条件を格納する格納部の一例として機能する。
　以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　１０　全体管理部
　２０　生体データ取得部
　３０　正規化処理部
　３１　正規化信頼度算出部
　４０　特徴抽出部
　５０　データベース部
　６０　記憶部
　７０　照合処理部
　７１　ペア照合部
　７２　ペアリスト作成部
　７３　全体移動量算出部
　７４　最終スコア算出部
　７５　フラグ情報格納部
　１００　照合装置

Claims (9)

  1. 　予め登録されている登録画像中の複数の特徴点それぞれについて、撮影装置によって取得された照合画像中の各特徴点との位置差および特徴量の類似度を算出する類似度算出部と、
    　前記登録画像中の各特徴点について、前記照合画像のうち前記類似度が最大となる特徴点との位置差が閾値より大きい場合に、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合する照合部と、を備えることを特徴とする照合装置。
  2. 　前記登録画像中の特徴点それぞれについて前記照合画像のうち前記類似度が最大となる特徴点との位置差を算出し、算出された位置差のうち少なくともいずれかを含む母集団から代表値を算出する代表値算出部を備え、
    　前記照合部は、前記登録画像中の各特徴点について前記照合画像のうち前記類似度が最大となる特徴点との位置差と前記代表値との差が閾値より大きい場合に、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合することを特徴とする請求項１記載の照合装置。
  3. 　前記照合画像と前記登録画像との照合の前に、前記照合画像と前記登録画像との位置合わせを行う位置合わせ部を備えることを特徴とする請求項１または２に記載の照合装置。
  4. 　前記照合画像の被写体の回転誤差が閾値未満になるか否かを判定する判定部を備え、
    　前記照合部は、前記回転誤差が前記閾値未満になると判定された場合に、前記次点以下の特徴点の前記類似度を用いないことを特徴とする請求項３記載の照合装置。
  5. 　前記照合画像の被写体の輪郭の信頼度を算出する信頼度算出部を備え、
    　前記位置合わせ部は、前記輪郭を用いて前記位置合わせを行い、
    　前記照合部は、前記信頼度が閾値以上となる場合に、前記次点以下の特徴点の前記類似度を用いないことを特徴とする請求項３記載の照合装置。
  6. 　前記照合装置の運用条件を格納する格納部を備え、
    　前記照合部は、前記格納部に格納される前記運用条件が所定の条件を満たす場合に、前記次点以下の特徴点の前記類似度を用いないことを特徴とする請求項１または２に記載の照合装置。
  7. 　前記撮影装置は、照合画像として生体の画像を取得し、
    　前記特徴点は、前記生体に現れる特徴点であることを特徴とする請求項１～６のいずれか一項に記載の照合装置。
  8. 　予め登録されている登録画像中の複数の特徴点それぞれについて、撮影装置によって取得された照合画像中の各特徴点との位置差および特徴量の類似度を類似度算出部が算出し、
    　前記登録画像中の各特徴点について、前記照合画像のうち前記類似度が最大となる特徴点との位置差が閾値より大きい場合に、照合部が、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合する、ことを特徴とする照合方法。
  9. 　コンピュータに、
    　予め登録されている登録画像中の複数の特徴点それぞれについて、撮影装置によって取得された照合画像中の各特徴点との位置差および特徴量の類似度を算出する処理と、
    　前記登録画像中の各特徴点について、前記照合画像のうち前記類似度が最大となる特徴点との位置差が閾値より大きい場合に、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合する処理と、を実行させることを特徴とする照合プログラム。
PCT/JP2018/006035 2017-04-27 2018-02-20 照合装置、照合方法および照合プログラム WO2018198500A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18792286.9A EP3617993B1 (en) 2017-04-27 2018-02-20 Collation device, collation method and collation program
US16/662,607 US11315341B2 (en) 2017-04-27 2019-10-24 Information processing apparatus, verification method, and computer-readable recording medium recording verification program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017088379A JP6790995B2 (ja) 2017-04-27 2017-04-27 照合装置、照合方法および照合プログラム
JP2017-088379 2017-04-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/662,607 Continuation US11315341B2 (en) 2017-04-27 2019-10-24 Information processing apparatus, verification method, and computer-readable recording medium recording verification program

Publications (1)

Publication Number Publication Date
WO2018198500A1 true WO2018198500A1 (ja) 2018-11-01

Family

ID=63919632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006035 WO2018198500A1 (ja) 2017-04-27 2018-02-20 照合装置、照合方法および照合プログラム

Country Status (4)

Country Link
US (1) US11315341B2 (ja)
EP (1) EP3617993B1 (ja)
JP (1) JP6790995B2 (ja)
WO (1) WO2018198500A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199136A1 (ja) * 2020-03-30 2021-10-07 日本電気株式会社 指紋照合装置、指紋照合方法、及び、記録媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330408B (zh) * 2017-06-30 2021-04-20 北京乐蜜科技有限责任公司 视频处理方法、装置、电子设备及存储介质
CN112435283A (zh) * 2020-11-04 2021-03-02 浙江大华技术股份有限公司 图像的配准方法、电子设备以及计算机可读存储介质
KR20230060374A (ko) * 2021-10-27 2023-05-04 현대자동차주식회사 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법
WO2023148964A1 (ja) * 2022-02-07 2023-08-10 日本電気株式会社 照合装置、照合方法、およびプログラム
WO2024095462A1 (ja) * 2022-11-04 2024-05-10 富士通株式会社 照合スコア算出方法、照合スコア算出装置、照合スコア算出システム、及び照合スコア算出プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152706A (ja) * 2008-12-25 2010-07-08 Fujitsu Ltd 生体認証装置
JP2010160557A (ja) * 2009-01-06 2010-07-22 Silex Technology Inc 生体照合における結果判定方法およびプログラム
US20110038540A1 (en) * 2009-08-11 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus extracting feature points and image based localization method using extracted feature points
JP2012256272A (ja) * 2011-06-10 2012-12-27 Seiko Epson Corp 生体識別装置、及び、生体識別方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2944557B2 (ja) * 1997-02-27 1999-09-06 日本電気ソフトウェア株式会社 縞パターン照合装置
US6134340A (en) * 1997-12-22 2000-10-17 Trw Inc. Fingerprint feature correlator
JP4426733B2 (ja) * 2000-03-31 2010-03-03 富士通株式会社 指紋データ合成方法，指紋データ合成装置，指紋データ合成プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体
JP2005149455A (ja) * 2003-10-21 2005-06-09 Sharp Corp 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
US20080273770A1 (en) * 2007-05-03 2008-11-06 Upek, Inc. Fast Fingerprint Identification And Verification By Minutiae Pair Indexing
JP4820830B2 (ja) 2008-02-15 2011-11-24 株式会社東芝 パターン認識装置、パターン認識プログラム及びパターン認識方法
EP2639762A1 (en) 2010-11-08 2013-09-18 Nec Corporation Image verification apparatus
EP2677495B1 (en) * 2011-02-15 2022-09-28 Fujitsu Limited Biometric authentication device, method and computer program
GB2507539A (en) * 2012-11-02 2014-05-07 Zwipe As Matching sets of minutiae using local neighbourhoods
JP2015121874A (ja) * 2013-12-20 2015-07-02 富士通株式会社 生体認証装置、照合用データ検証方法及び照合用データ検証用コンピュータプログラム
JP6467852B2 (ja) * 2014-10-10 2019-02-13 富士通株式会社 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152706A (ja) * 2008-12-25 2010-07-08 Fujitsu Ltd 生体認証装置
JP2010160557A (ja) * 2009-01-06 2010-07-22 Silex Technology Inc 生体照合における結果判定方法およびプログラム
US20110038540A1 (en) * 2009-08-11 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus extracting feature points and image based localization method using extracted feature points
JP2012256272A (ja) * 2011-06-10 2012-12-27 Seiko Epson Corp 生体識別装置、及び、生体識別方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3617993A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199136A1 (ja) * 2020-03-30 2021-10-07 日本電気株式会社 指紋照合装置、指紋照合方法、及び、記録媒体
JPWO2021199136A1 (ja) * 2020-03-30 2021-10-07
US11734950B2 (en) 2020-03-30 2023-08-22 Nec Corporation Fingerprint matching apparatus, fingerprint matching method, and recording medium
JP7414124B2 (ja) 2020-03-30 2024-01-16 日本電気株式会社 指紋照合装置、指紋照合方法、及び、プログラム

Also Published As

Publication number Publication date
JP2018185730A (ja) 2018-11-22
EP3617993A4 (en) 2020-04-29
EP3617993B1 (en) 2021-09-15
EP3617993A1 (en) 2020-03-04
JP6790995B2 (ja) 2020-11-25
US11315341B2 (en) 2022-04-26
US20200057910A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
WO2018198500A1 (ja) 照合装置、照合方法および照合プログラム
CN108230383B (zh) 手部三维数据确定方法、装置及电子设备
US11113505B2 (en) Palm print image matching techniques
US10255477B2 (en) Feature-based matcher for distorted fingerprint matching
JP6024141B2 (ja) 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム
JP2008117333A (ja) 情報処理装置、情報処理方法、個人識別装置、個人識別装置における辞書データ生成・更新方法および辞書データ生成・更新プログラム
KR102558741B1 (ko) 사용자 등록 장치 및 방법
US10474872B2 (en) Fingerprint matching using virtual minutiae
JP6648639B2 (ja) 生体情報処理装置、生体情報処理方法および生体情報処理プログラム
CN111783770A (zh) 图像的矫正方法、装置和计算机可读存储介质
JP6617570B2 (ja) 生体認証装置、生体認証方法、および生体認証プログラム
JP6908843B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113095187A (zh) 一种基于图像特征匹配对齐的试卷批改方法
JP6349817B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
KR20100038190A (ko) 등록장치, 조합장치, 데이터구조 및 기억매체
KR20200109977A (ko) 지문 및 얼굴 영상을 이용한 스마트폰 기반 신원확인 방법
US11537813B1 (en) System for synthesizing data
EP4156087A1 (en) Authentication method, authentication program, and authentication device
US10984085B2 (en) Biometric recognition for uncontrolled acquisition environments
WO2023242899A1 (ja) 類似度算出方法、類似度算出プログラム、および類似度算出装置
US20190205613A1 (en) Distorted fingerprint matching using pose and minutia grouping
CN115497146B (zh) 模型的训练方法和装置、身份验证方法和装置
WO2022185486A1 (ja) 認証方法、認証プログラム、および情報処理装置
Venkatesh AI-Driven Palm Vein Biometrics for Enhanced Authentication
CN118172803A (zh) 一种掌纹识别方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18792286

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018792286

Country of ref document: EP

Effective date: 20191127