WO2023075183A1 - Deep learning-based non-contact palm print recognition system and method - Google Patents

Deep learning-based non-contact palm print recognition system and method Download PDF

Info

Publication number
WO2023075183A1
WO2023075183A1 PCT/KR2022/014611 KR2022014611W WO2023075183A1 WO 2023075183 A1 WO2023075183 A1 WO 2023075183A1 KR 2022014611 W KR2022014611 W KR 2022014611W WO 2023075183 A1 WO2023075183 A1 WO 2023075183A1
Authority
WO
WIPO (PCT)
Prior art keywords
palm
ikp
feature information
user
interest
Prior art date
Application number
PCT/KR2022/014611
Other languages
French (fr)
Korean (ko)
Inventor
이광준
신동진
박은수
Original Assignee
주식회사 카카오브이엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카카오브이엑스 filed Critical 주식회사 카카오브이엑스
Publication of WO2023075183A1 publication Critical patent/WO2023075183A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Definitions

  • the present invention relates to a deep learning-based non-contact palm print recognition system and method, and more particularly, to a palm print recognition system and method for non-contact palm and finger knuckle features extracted based on deep learning and used for user authentication.
  • Intestinal vein recognition is a method of extracting and authenticating a vein pattern of a hand through near-infrared imaging, and for this purpose, an additional device such as a vein recognition sensor is required.
  • Palm print recognition is a method of authentication through palm lines and fine wrinkles on the palm.
  • IKP Inner Knuckle Print
  • non-contact palm print recognition there are many contact types, and the palm is photographed by fixing and contacting the hand to a glass plate that can be photographed. After extracting a region of interest (ROI), which is a region from which palm print features are to be extracted, from the photographed palm, post-processing such as a gabor filter and equalization is performed.
  • ROI region of interest
  • non-contact palm print recognition there is a method of extracting features by photographing a palm in a fixed environment and applying a deep learning technique such as a Convolution Neural Network (CNN). 1 illustrates an example of capturing an image of a palm in a non-contact manner in a fixed environment according to the prior art.
  • the fixed environment means an environment with no background and constant illumination, and an image captured in this environment may include only image information of the palm without background information.
  • Patent Document 1 Patent Publication No. 2002-0061375, "Security management system using palm print and vein pattern recognition"
  • Patent Document 2 Utility Model Publication No. 20-2009-0011127, “Multiple Biometrics Device”
  • An object of the present invention is to provide a deep learning-based non-contact palm print recognition system and method capable of performing user authentication with higher performance by simultaneously using palm wrinkles and IKP in a non-contact manner without the limitation of a fixed environment.
  • the present invention is intended to provide a deep learning-based non-contact palm print recognition system and method capable of more quickly performing user authentication by comparing and determining only specific user's characteristic information using user reservation information.
  • the present invention provides a deep learning-based non-contact palm print recognition system and method capable of further improving the accuracy of user recognition by extracting a plurality of user feature information using deep learning and setting different weights for each feature information. want to provide
  • the present invention is intended to provide a deep learning-based non-contact palm print recognition system and method capable of protecting personal information by converting bio data, which is personal information of a user, into characteristic information and storing it, and destroying original information.
  • a palm print recognition system includes a server for recognizing a palm print in a non-contact manner based on deep learning. Palm region of interest and Inner Knuckle Print (IKP) region of interest extracted from the image are received, palm feature information and IKP feature information are extracted from the palm region of interest and the IKP region of interest based on deep learning, respectively, and the palm feature information And it is possible to identify a user based on the IKP characteristic information.
  • IKP Inner Knuckle Print
  • the IKP region of interest includes a plurality of IKP regions of interest for each of a plurality of fingers
  • the IKP feature information includes a plurality of IKP feature information for each of the plurality of IKP regions of interest.
  • the palm feature information and the IKP feature information are feature vectors including vector values
  • the server stores data located within a predetermined distance from a location within a vector space of the feature vector. Based on this, the user can be identified.
  • the distance is set so that a plurality of data exists within the distance
  • the server may identify a user by assigning different weights to the plurality of data in order of proximity to the feature vector. there is.
  • the distance may be set differently for the palm feature information and the IKP feature information.
  • the server may identify a user by assigning different weights to the palm feature information and the IKP feature information.
  • the server may identify the user by comparing the palm characteristic information and the IKP characteristic information with the reserved user's characteristic information using the user's reservation information.
  • the server may extract the palm feature information and the IKP feature information, and then discard the original information of the palm region of interest and the IKP region of interest.
  • a deep learning-based non-contact palm print recognition method extracts a palm region of interest and an inner knuckle print (IKP) region of interest from an image of a user's palm and finger knuckles. doing; extracting palm feature information and IKP feature information from the palm region of interest and the IKP region of interest based on deep learning; and identifying a user based on the palm feature information and the IKP feature information.
  • IKP inner knuckle print
  • the IKP region of interest includes a plurality of IKP regions of interest for each of a plurality of fingers
  • the IKP feature information includes a plurality of IKP feature information for each of the plurality of IKP regions of interest.
  • the palm feature information and the IKP feature information are feature vectors including vector values
  • the step of identifying the user is within a predetermined distance from a location of the feature vector in a vector space. The user can be identified based on the location data.
  • the distance is set so that a plurality of data exists within the distance, and the step of identifying the user places different weights on the plurality of data in order of proximity to the feature vector, and the user can identify.
  • the distance may be set differently for the palm feature information and the IKP feature information.
  • the user in the step of identifying the user, may be identified by assigning different weights to the palm feature information and the IKP feature information.
  • the user in the step of identifying the user, can be identified by comparing the palm characteristic information and the IKP characteristic information with the reserved user's characteristic information using the user's reservation information. .
  • the step of extracting the palm feature information and the IKP feature information after the step of extracting the palm feature information and the IKP feature information, the step of destroying the original information of the palm region of interest and the IKP region of interest may be further included.
  • the size is set based on a keypoint in the middle of the palm as the center and a distance between the keypoint in the middle of the palm and the fingers, extracting a region; Extracting an IKP boundary box in the form of a long rectangle centered on the keypoint of the knuckle; and finding a reference position on a vertical axis where wrinkles exist based on pixel intensities within the IKP boundary box, and extracting an IKP region of interest having the reference position as a center.
  • a deep learning-based non-contact palm print recognition system and method capable of performing user authentication with higher performance by simultaneously using palm wrinkles and IKP in a non-contact manner without limitation of a fixed environment is provided.
  • a deep learning-based non-contact palm print recognition system and method capable of more quickly performing user authentication by limiting and comparing characteristic information of a predetermined user using user reservation information is provided. do.
  • a deep learning-based non-contact type that can further improve the accuracy of user recognition by extracting a plurality of pieces of user feature information using deep learning and setting different weights for each feature information.
  • a palm print recognition system and method are provided.
  • a deep learning-based non-contact palm print recognition system and method capable of protecting personal information by converting and storing bio data, which is personal information of a user, into characteristic information and destroying original information, is provided. do.
  • FIG. 1 illustrates an example of capturing an image of a palm in a non-contact manner in a fixed environment according to the prior art.
  • FIG. 2 is a structural diagram of a palm print recognition system according to an embodiment of the present invention.
  • ROI 3 illustrates a region of interest (ROI) to be extracted from a palm image captured in a non-contact manner according to an embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a process of extracting a palm region of interest and a finger (IKP) region of interest according to an embodiment of the present invention.
  • FIG. 5 shows an image obtained by converting an image within an IKP boundary box into a gray scale according to an embodiment of the present invention.
  • FIG. 6 illustrates an image from which a background is excluded from an IKP boundary box according to an embodiment of the present invention.
  • FIG 7 shows an image in which 20% of both sides are removed from the IKP boundary box according to an embodiment of the present invention.
  • FIG. 8 illustrates a method of finding a center, which is a reference position in the vertical axis, by finding a wrinkled region of an IKP according to an embodiment of the present invention.
  • FIG 9 shows an image in which the upper 10% and the lower 10% of the IKP boundary box are removed according to an embodiment of the present invention.
  • FIG 10 illustrates an image obtained by extracting an IKP ROI from an original image within an IKP boundary box according to an embodiment of the present invention.
  • FIG. 11 shows the model structure of a palm and IKP according to an embodiment of the present invention.
  • Figure 12 shows the Top module structure in the model structure of the palm and IKP according to an embodiment of the present invention.
  • FIG. 13 illustrates a fixed threshold scheme according to an embodiment of the present invention.
  • FIG. 16 shows a palm print recognition bio information processing process according to an embodiment of the present invention.
  • FIG. 17 illustrates an example of characteristic information stored in a user characteristic information DB according to an embodiment of the present invention.
  • one component when it is described that one component is “connected” to another component, it should be understood that it includes the case where it is directly connected as well as the case where it is connected through another component in the middle, and “direct connection” or “direct connection” It should be understood that one component is connected to another component only when it is described as “connected” without other components in the middle. Likewise, other expressions describing relationships between components should be understood in the same sense.
  • FIG. 2 is a structural diagram of a palm print recognition system 100 according to an embodiment of the present invention.
  • the palm print recognition system 100 may include a terminal 110 and a server 120, and the terminal 110 includes a palm print photographing unit 111 and a region of interest (ROI) extraction unit ( 112), and the server 120 includes a feature extraction unit 121, a user reservation information database (DB) 122, a user characteristic information database (DB) 123, a user identification unit 124, and an output may include section 125 .
  • the configuration of the terminal 110 and the server 120 is not limited to such a separate configuration, and for example, the ROI extraction unit 112 may be located in the server 120 instead of the terminal 110 .
  • the terminal 110 may be in the form of a smart phone or tablet, may include a camera for capturing palm prints, and may have applications for capturing palm prints and extracting ROI installed therein.
  • the palm print photographing unit 111 may capture a palm print including the user's palm and knuckles using a camera.
  • the ROI extraction unit 112 may extract a region of interest (ROI) from which feature information is to be extracted from the palm print image captured by the palm print capture unit 111, and the ROI of the palm and the IKP may be extracted.
  • ROI region of interest
  • Each region of interest (ROI) may be extracted and transmitted to the server 120 .
  • the palm region of interest may be one region of interest including wrinkles in the center of the palm, and the IKP region of interest (ROI) includes wrinkles of the knuckles of the index, middle, ring and small fingers, respectively. may be a plurality of regions of interest. In another embodiment, the IKP region of interest (ROI) may be a region of interest for each of any single or multiple fingers.
  • the feature extractor 121 of the server 120 may receive the palm region of interest and the IKP region of interest from the ROI extractor 112 and extract features for each of a plurality of regions of interest based on deep learning.
  • the feature information extracted from the palm region of interest and the IKP region of interest by the feature extractor 121 based on deep learning may be a feature vector, for example, a vector value of a point located in a 256-dimensional space.
  • the feature extraction unit 121 may transmit feature information extracted from each region of interest to the user identification unit 124 .
  • the user identification unit 124 compares the palm characteristic information and IKP characteristic information received from the feature extraction unit 121 with the user characteristic information stored in the user characteristic information database (DB) 123, and determines the user to identify the user. .
  • the user characteristic information stored in the user characteristic information database (DB) 123 may include palm characteristic information and IKP characteristic information for each user, and the user's reservation from the user reservation information database (DB) 122
  • the user identification unit 124 may perform user identification more quickly.
  • the user reservation information may be golf course booking information, and the user identification unit 124 compares and determines only the reservation on the same day or the user's characteristic information reserved within a certain time range using the golf course booking information. User identification can be performed quickly.
  • the output unit 125 may receive the identification result performed by the user identification unit 124 and transmit it to the terminal 110 .
  • the identification result may be the identified user's name or ID, and may be UNKNOWN if the user is not identified.
  • ROI Region of interest
  • ROI region of interest
  • ROI 3 illustrates a region of interest (ROI) to be extracted from a palm image captured in a non-contact manner according to an embodiment of the present invention.
  • a palm image can be captured in a non-contact manner without the limitation of a fixed environment. That is, according to an embodiment of the present invention, a palm print can be recognized by taking a palm image in a non-contact manner even in an environment where there is a background and illumination is not constant.
  • the region of interest includes a palm region of interest (red box, 310) and a finger (IKP) region of interest (blue box, 320, 330, 340, 350),
  • the palm region of interest (ROI) is It may be one region of interest (red box, 310) including wrinkles in the center of the palm
  • the IKP region of interest (ROI) includes a plurality of regions of interest (region of interest (ROI) including wrinkles of knuckles for each of the index finger, middle finger, ring finger, and small finger).
  • FIG. 4 is a diagram for explaining a process of extracting a palm region of interest (ROI) and a finger (IKP) region of interest (ROI) according to an embodiment of the present invention.
  • the palm ROI is in the form of a square centered on the keypoint C1 in the middle of the palm, and its size (width, height) is based on the keypoints P1, P2, P3, and P4 between the fingers and the keypoint C1 in the middle of the palm.
  • the width and height of the palm ROI may be set to 110% of the average distances from C1 to P1, P2, P3, and P4.
  • the rotation of the palm ROI may be set based on a keypoint P3 between the middle and ring fingers and a keypoint C1 in the center of the palm.
  • the palm ROI may be rotated such that a straight line connecting C1 to P3 is vertical.
  • the IKP ROI is in the form of a square centered on the keypoint of the knuckle, and its size (width, height) can be set to maintain a constant ratio with the size (width, height) of the palm ROI.
  • the size (width, height) of the IKP ROI may be set to 1/4 of the size (width, height) of the palm ROI.
  • the IKP ROI extraction may first extract an IKP boundary box in the form of a long vertical rectangle, and then extract the IKP ROI in the form of a square secondarily, and the width of the IKP boundary box is equal to the width of the palm ROI. It is set to 1/4, and the height of the IKP boundary box can be set to 1/2 the height of the palm ROI.
  • the rotation of the IKP ROI and/or the IKP boundary box may be based on a straight line angle between the starting point of the finger and the IKP.
  • the rotation of the IKP ROI and/or the IKP boundary box may be such that a straight line connecting G1 to G2 is vertical.
  • the shape, size, and rotation of the palm ROI and the shape, size, and rotation of the IKP ROI (and/or IKP boundary box) are not limited to those of the above embodiment, and may be appropriately changed or modified.
  • the IKP boundary box may be in the form of a vertically long rectangle, and the IKP ROI may be in the form of a square.
  • the IKP ROI may be in the form of a square.
  • an image within an IKP boundary box may be converted into a gray scale in order to improve computation speed.
  • 5 shows an image obtained by converting an image within an IKP boundary box into a gray scale according to an embodiment of the present invention.
  • FIG. 6 illustrates an image from which a background is excluded from an IKP boundary box according to an embodiment of the present invention.
  • vector S a vector with the same length as the width of the image.
  • vector S a vector with the same length as the width of the image.
  • a vertical axis reference position where a wrinkle exists can be found. 8 illustrates a method of finding a center, which is a reference position in the vertical axis, by finding a wrinkled region of an IKP according to an embodiment of the present invention.
  • a vector having the same length as the height of the image can be obtained, which is defined as a vector M.
  • the first difference (1st-difference) of M is obtained to obtain a position smaller than the threshold value.
  • the threshold value may be set to 0 as a default value, and the operation may be repeated while increasing the threshold value by 0.1 until there are two or more positions smaller than the threshold value. Positions extracted through this are defined as peaks.
  • the median value of the peak that is, the average of the maximum value and minimum value of the peak can be set as the center of the IKP ROI. In one embodiment, if the location of the center is biased too upward or downward, the corresponding center may not be set as the center of the IKP ROI.
  • the upper 10% and the lower 10% of the original image can be removed unconditionally in the region containing the peak and set the center.
  • 9 shows an image in which the upper 10% and the lower 10% of the IKP boundary box are removed according to an embodiment of the present invention.
  • the IKP ROI can be extracted by extracting the upper and lower parts by 1/2 of the size (height) of the IKP ROI from the center to create a square image.
  • a technique such as zero padding may be used to fit the extracted image to the size of the IKP ROI.
  • an image extracted as an IKP ROI may be an original image rather than a gray-scaled image. That is, in order to improve the operation speed, an image is converted into a gray scale to determine an extraction region, but after the extraction region is determined, the original image, not the gray scale image, may be extracted. 10 illustrates an image obtained by extracting an IKP ROI from an original image within an IKP boundary box according to an embodiment of the present invention.
  • feature information may be extracted from each of the palm ROI and the IKP ROI, and the feature information may be extracted based on a deep learning technique.
  • the deep learning technique can be executed using a conventional learning model, and the learning model and data experimented by the inventors of the present application will be described below.
  • imageNet pretrained MobileNet V2 was used as a backbone model.
  • the input size of the model is 224x224 for palm ROI and 128x128 for IKP ROI. Since the IKP is relatively small compared to the palm of the hand, a smaller size was selected. Detailed parameters are as follows.
  • the model structure of the palm and IKP is shown in FIG. 11, and the structure of the top module is shown in FIG. 12.
  • CosFace was applied to the model structure during training to widen the distance between classes for better learning.
  • CosFace is removed and the distance is compared and measured with the embedding vector value.
  • the output value of the Dense layer is a vector value.
  • the data set is input into the model and placed in the vector space, and the data to be tested is input into the model and the distance is extracted through the difference value (norm) with the already placed vectors. Data can be classified by inferring the nearest class with the extracted distance value.
  • feature information may be extracted from each of the palm ROI and the IKP ROI based on a deep learning technique, and the feature information may be expressed as a vector value.
  • the deep learning technique can be executed using a conventional learning model, and through learning using various data sets, the feature vector values placed in the vector space can be arranged to have a certain distance so that classification and identification of data can be properly performed. there is.
  • User identification may be performed by collating user feature information extracted based on deep learning, and the user feature information may include feature vectors extracted for palm ROI and IKP ROI, respectively.
  • a feature vector can be identified by data existing within a predetermined distance in a vector space.
  • input data for user identification may be expressed as a feature vector extracted based on deep learning, for example, as a specific location in a 256-dimensional space.
  • the user of the corresponding data can be identified by considering the input data as being close to the corresponding data. If data does not exist within a predetermined distance (threshold), it can be set to UNKNOWN.
  • the threshold value may be experimentally set in consideration of user identification results.
  • the threshold value may be set by calculating a distance when the top 5 data (top 5) closest to the input data coincide with the user of the input data.
  • 14 shows the result of a threshold setting experiment according to an embodiment of the present invention.
  • the graph on the left shows the percentage of the data set according to the threshold value when all of the top 5 user identification results for palm feature information are correct.
  • the graph on the right shows the ratio of the data set according to the threshold when all of the top 5 user identification results for the IKP feature information are correct.
  • the inventor of the present application confirmed through experiments that setting the threshold to 8500 in the case of the palm and 6500 in the case of the IKP improves the user identification result. However, this is only set in consideration of the learning result based on a predetermined data set and the user identification result based on the top 5, and can be set differently according to the change in the type of data and identification result criteria.
  • Table 1 shows, according to an embodiment of the present invention, when the input data is 1 piece of palm feature information and 4 pieces of IKP feature information (index finger, middle finger, ring finger and hand), the closest data information for each feature information is calculated by 5 pieces, A total of 25 calculation results are shown for each cell.
  • 22 cells were identified as user walter, and 3 cells were identified as user thunder, user jayden, respectively, or a result of unknown was produced.
  • top 1 is information of data having a vector value closest to the vector value of the input data
  • top n is information of data having an n-th closest vector value.
  • a total of 25 calculation results can produce various results depending on the environment of the input image (eg, quality, ROI extraction accuracy, etc.), and the type of feature information (by palm, IKP) and the degree of proximity of vector values (top n)
  • a user can be more accurately identified by converting a score by putting different weights on each cell according to .
  • a weight may be set by considering a distance distribution of top n for each type of feature information (palm, IKP).
  • 15 shows the distance distribution of the top 5 by type of feature information (palm, IKP) in the form of a boxplot according to an embodiment of the present invention.
  • Blue boxes represent IKP top 1 to 5, respectively, and each of the four box plots in the box represents the distance distribution for the index, middle, ring, and small finger feature information, respectively.
  • the red box represents the top 1 to 5 for palm feature information.
  • Table 2 shows weight settings for each of the top 1 to 5 palms and IKPs (index/middle/ring and small) according to an embodiment of the present invention.
  • the total weight is 100 points, and the weight of the palm and top 1 can be set the highest, and the weight of the hand can be set relatively low among IKP.
  • the final identification result can be defined as unknown regardless of the conversion score according to the weight, and at this time, the user with the highest score can be output only as the prediction result.
  • the accuracy of user identification can be further improved by identifying a user using a score calculated by weighting each type of feature information (palm, IKP).
  • the terminal 110 may collect original information on the user's long print and transmit it to the server 120 (1610).
  • the original information of the user's palm print includes ROI extraction information for palm and IKP.
  • the server 120 may generate feature information from original information using a deep learning algorithm in the feature extractor 121 (1620). When the feature information is generated, the original information may be immediately destroyed (1630).
  • the characteristic information may be transmitted using https POST and may be stored in the user characteristic information DB 123 (1640).
  • the feature information may be a feature vector expressed as a vector value according to the characteristics of the user's palm and IKP.
  • the user feature information DB 123 stores feature vectors other than the original information on the user's palm print, so that sensitive personal information of the user can be protected.
  • the terminal 110 may input original information about the user's long text and transmit it to the server 120 (1650).
  • the original information of the user's palm print includes ROI extraction information for palm and IKP.
  • the server 120 may generate feature information from original information using a deep learning algorithm in the feature extractor 121 (1660). When the feature information is generated, the original information may be immediately destroyed (1670).
  • the characteristic information may be transmitted using https POST, and may be compared with the characteristic information stored in the user characteristic information DB 123 (1680). As a result of the comparison, user authentication or user identification may be performed (1690), and the result may be calculated and output (1700).
  • personal information can be protected by converting and storing bio data, which is personal information of a user, into characteristic information and destroying the original information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a deep learning-based non-contact palm print recognition system and method. The palm print recognition system according to the present invention comprises a server for recognizing a palm print in a non-contact manner on the basis of deep learning. The server can: receive an inner knuckle print (IKP) region of interest and a palm region of interest extracted from a captured image of the user's palm and knuckles; extract palm feature information and IKP feature information from the palm region of interest and the IKP region of interest, respectively, on the basis of deep learning; and identify a user on the basis of the palm feature information and the IKP feature information.

Description

딥러닝 기반 비접촉식 장문 인식 시스템 및 방법Deep learning based non-contact palm print recognition system and method
본 발명은 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 비접촉식으로 손바닥과 손가락 마디의 특징을 딥러닝 기반으로 추출하여 사용자 인증에 사용하는 장문 인식 시스템 및 방법에 관한 것이다.The present invention relates to a deep learning-based non-contact palm print recognition system and method, and more particularly, to a palm print recognition system and method for non-contact palm and finger knuckle features extracted based on deep learning and used for user authentication.
사용자 인증을 위하여 사람의 손을 이용하는 기술에는 장정맥 인식, 장문 인식 등이 있다. 장정맥 인식은 근적외선 촬영을 통해 손의 정맥 패턴을 추출하여 인증을 하는 방식이며, 이를 위해서는 정맥 인식 센서와 같은 부가 장치가 필요하다. 장문 인식은 손바닥의 손금과 잔주름 등을 통해 인증을 하는 방식으로서, 기존 연구 및 실제 제품은 주로 손바닥의 주름을 이용하거나 손가락 마디의 주름(이하 IKP: Inner Knuckle Print)을 이용하여 인증을 수행한다.Techniques using human hands for user authentication include intestinal vein recognition, palm print recognition, and the like. Intestinal vein recognition is a method of extracting and authenticating a vein pattern of a hand through near-infrared imaging, and for this purpose, an additional device such as a vein recognition sensor is required. Palm print recognition is a method of authentication through palm lines and fine wrinkles on the palm. Existing research and actual products mainly use palm wrinkles or finger knuckle wrinkles (IKP: Inner Knuckle Print) to perform authentication.
기존의 장문 인식에는 접촉식이 많으며 손을 촬영 가능한 유리판 등에 고정, 접촉시켜 손바닥을 촬영한다. 촬영된 손바닥에서 장문 특징을 추출할 영역인 관심 영역(Region of Interest: ROI)를 추출한 뒤 가버 필터(gabor filter), 이퀄라이제이션(equalization) 등의 후처리를 수행한다. 비접촉식 장문 인식으로는 손바닥을 고정 환경에서 촬영하여 합성곱 신경망(Convolution Neural Network: CNN) 등의 딥러닝 기법을 적용하여 특징을 추출하는 방법 등이 있다. 도 1은 종래 기술에 따라 비접촉식으로 고정 환경에서 손바닥 영상을 촬영한 예를 도시한다. 여기서 고정 환경이란 배경이 없고 조도가 일정한 환경을 의미하며, 이러한 환경에서 촬영한 영상은 배경 정보 없이 손바닥의 영상 정보만을 포함할 수 있다.In conventional palm print recognition, there are many contact types, and the palm is photographed by fixing and contacting the hand to a glass plate that can be photographed. After extracting a region of interest (ROI), which is a region from which palm print features are to be extracted, from the photographed palm, post-processing such as a gabor filter and equalization is performed. As for non-contact palm print recognition, there is a method of extracting features by photographing a palm in a fixed environment and applying a deep learning technique such as a Convolution Neural Network (CNN). 1 illustrates an example of capturing an image of a palm in a non-contact manner in a fixed environment according to the prior art. Here, the fixed environment means an environment with no background and constant illumination, and an image captured in this environment may include only image information of the palm without background information.
기존의 비접촉식 장문 인식 방식들은 손바닥 주름과 손가락 마디의 주름(IKP)을 분류하여 연구하였다. 또한, IKP를 추출하는 기법에 있어서도 손가락 전체를 관심 영역으로 추출하는 등 부정확한 방식을 채택하였다.Existing non-contact palm print recognition methods were studied by classifying palm wrinkles and knuckle wrinkles (IKP). Also, in the technique of extracting the IKP, an inaccurate method such as extracting the entire finger as a region of interest was adopted.
[선행기술문헌][Prior art literature]
[특허문헌][Patent Literature]
(특허문헌 1) 공개특허공보 특2002-0061375호, "장문 및 정맥 패턴 인식을 이용한 보안관리 시스템"(Patent Document 1) Patent Publication No. 2002-0061375, "Security management system using palm print and vein pattern recognition"
(특허문헌 2) 공개실용신안공보 제20-2009-0011127호, "다중 생체인식 장치"(Patent Document 2) Utility Model Publication No. 20-2009-0011127, "Multiple Biometrics Device"
본 발명은 고정 환경이라는 제한 없이 비접촉식으로 손바닥 주름과 IKP를 동시에 이용하여 보다 높은 성능으로 사용자 인증을 수행할 수 있는 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법을 제공하고자 한다.An object of the present invention is to provide a deep learning-based non-contact palm print recognition system and method capable of performing user authentication with higher performance by simultaneously using palm wrinkles and IKP in a non-contact manner without the limitation of a fixed environment.
또한, 본 발명은 사용자 예약 정보를 이용하여 소정 사용자의 특징 정보만을 한정하여 비교 판정함으로써, 보다 신속하게 사용자 인증을 수행할 수 있는 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법을 제공하고자 한다.In addition, the present invention is intended to provide a deep learning-based non-contact palm print recognition system and method capable of more quickly performing user authentication by comparing and determining only specific user's characteristic information using user reservation information.
또한, 본 발명은 딥러닝을 이용하여 사용자 특징 정보를 복수 개 추출하고, 각각의 특징 정보에 상이한 가중치를 설정하여, 사용자 인식의 정확도를 보다 향상시킬 수 있는 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법을 제공하고자 한다.In addition, the present invention provides a deep learning-based non-contact palm print recognition system and method capable of further improving the accuracy of user recognition by extracting a plurality of user feature information using deep learning and setting different weights for each feature information. want to provide
또한, 본 발명은 사용자의 개인 정보인 바이오 데이터를 특징 정보로 변환하여 저장하고 원본 정보는 파기함으로써, 개인 정보를 보호할 수 있는 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법을 제공하고자 한다.In addition, the present invention is intended to provide a deep learning-based non-contact palm print recognition system and method capable of protecting personal information by converting bio data, which is personal information of a user, into characteristic information and storing it, and destroying original information.
상술한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 장문 인식 시스템은 딥러닝에 기반하여 비접촉식으로 장문을 인식하기 위한 서버를 포함하고, 상기 서버는, 사용자의 손바닥과 손가락 마디를 촬영한 영상에서 추출한 손바닥 관심 영역과 IKP(Inner Knuckle Print) 관심 영역을 수신하고, 딥러닝에 기반하여 상기 손바닥 관심 영역과 상기 IKP 관심 영역으로부터 손바닥 특징 정보와 IKP 특징 정보를 각각 추출하고, 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 기초하여 사용자를 식별할 수 있다.In order to solve the above problems, a palm print recognition system according to an embodiment of the present invention includes a server for recognizing a palm print in a non-contact manner based on deep learning. Palm region of interest and Inner Knuckle Print (IKP) region of interest extracted from the image are received, palm feature information and IKP feature information are extracted from the palm region of interest and the IKP region of interest based on deep learning, respectively, and the palm feature information And it is possible to identify a user based on the IKP characteristic information.
또한, 본 발명의 일 실시예에 따르면, 상기 IKP 관심 영역은 복수 개의 손가락 각각에 대한 복수 개의 IKP 관심 영역을 포함하고, 상기 IKP 특징 정보는 상기 복수 개의 IKP 관심 영역 각각에 대한 복수 개의 IKP 특징 정보를 포함할 수 있다.Further, according to an embodiment of the present invention, the IKP region of interest includes a plurality of IKP regions of interest for each of a plurality of fingers, and the IKP feature information includes a plurality of IKP feature information for each of the plurality of IKP regions of interest. can include
또한, 본 발명의 일 실시예에 따르면, 상기 손바닥 특징 정보와 상기 IKP 특징 정보는 벡터값을 포함하는 특징 벡터이며, 상기 서버는 상기 특징 벡터의 벡터 공간 내 위치에서 미리 정해진 거리 내에 위치하는 데이터에 기초하여 사용자를 식별할 수 있다.In addition, according to an embodiment of the present invention, the palm feature information and the IKP feature information are feature vectors including vector values, and the server stores data located within a predetermined distance from a location within a vector space of the feature vector. Based on this, the user can be identified.
또한, 본 발명의 일 실시예에 따르면, 상기 거리는 상기 거리 내에 복수 개의 데이터가 존재하도록 설정되고, 상기 서버는 상기 복수 개의 데이터에 대하여 상기 특징 벡터에 근접한 순으로 상이한 가중치를 두어 사용자를 식별할 수 있다.In addition, according to an embodiment of the present invention, the distance is set so that a plurality of data exists within the distance, and the server may identify a user by assigning different weights to the plurality of data in order of proximity to the feature vector. there is.
또한, 본 발명의 일 실시예에 따르면, 상기 거리는 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 대하여 상이하게 설정될 수 있다.Also, according to an embodiment of the present invention, the distance may be set differently for the palm feature information and the IKP feature information.
또한, 본 발명의 일 실시예에 따르면, 상기 서버는 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 대하여 상이한 가중치를 두어 사용자를 식별할 수 있다.Also, according to an embodiment of the present invention, the server may identify a user by assigning different weights to the palm feature information and the IKP feature information.
또한, 본 발명의 일 실시예에 따르면, 상기 서버는 사용자의 예약 정보를 이용하여 상기 손바닥 특징 정보와 상기 IKP 특징 정보를 예약된 사용자의 특징 정보와 비교함으로써 사용자를 식별할 수 있다.In addition, according to an embodiment of the present invention, the server may identify the user by comparing the palm characteristic information and the IKP characteristic information with the reserved user's characteristic information using the user's reservation information.
또한, 본 발명의 일 실시예에 따르면, 상기 서버는 상기 손바닥 특징 정보와 상기 IKP 특징 정보를 추출한 후, 상기 손바닥 관심 영역과 상기 IKP 관심 영역의 원본 정보를 파기할 수 있다.Also, according to an embodiment of the present invention, the server may extract the palm feature information and the IKP feature information, and then discard the original information of the palm region of interest and the IKP region of interest.
상술한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 딥러닝 기반 비접촉식 장문 인식 방법은, 사용자의 손바닥과 손가락 마디를 촬영한 영상에서 손바닥 관심 영역과 IKP(Inner Knuckle Print) 관심 영역을 추출하는 단계; 딥러닝에 기반하여 상기 손바닥 관심 영역과 상기 IKP 관심 영역으로부터 손바닥 특징 정보와 IKP 특징 정보를 각각 추출하는 단계; 및 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 기초하여 사용자를 식별하는 단계를 포함할 수 있다.In order to solve the above problems, a deep learning-based non-contact palm print recognition method according to an embodiment of the present invention extracts a palm region of interest and an inner knuckle print (IKP) region of interest from an image of a user's palm and finger knuckles. doing; extracting palm feature information and IKP feature information from the palm region of interest and the IKP region of interest based on deep learning; and identifying a user based on the palm feature information and the IKP feature information.
또한, 본 발명의 일 실시예에 따르면, 상기 IKP 관심 영역은 복수 개의 손가락 각각에 대한 복수 개의 IKP 관심 영역을 포함하고, 상기 IKP 특징 정보는 상기 복수 개의 IKP 관심 영역 각각에 대한 복수 개의 IKP 특징 정보를 포함할 수 있다.Further, according to an embodiment of the present invention, the IKP region of interest includes a plurality of IKP regions of interest for each of a plurality of fingers, and the IKP feature information includes a plurality of IKP feature information for each of the plurality of IKP regions of interest. can include
또한, 본 발명의 일 실시예에 따르면, 상기 손바닥 특징 정보와 상기 IKP 특징 정보는 벡터값을 포함하는 특징 벡터이며, 상기 사용자를 식별하는 단계는 상기 특징 벡터의 벡터 공간 내 위치에서 미리 정해진 거리 내에 위치하는 데이터에 기초하여 사용자를 식별할 수 있다.In addition, according to an embodiment of the present invention, the palm feature information and the IKP feature information are feature vectors including vector values, and the step of identifying the user is within a predetermined distance from a location of the feature vector in a vector space. The user can be identified based on the location data.
또한, 본 발명의 일 실시예에 따르면, 상기 거리는 상기 거리 내에 복수 개의 데이터가 존재하도록 설정되고, 상기 사용자를 식별하는 단계는 상기 복수 개의 데이터에 대하여 상기 특징 벡터에 근접한 순으로 상이한 가중치를 두어 사용자를 식별할 수 있다.In addition, according to an embodiment of the present invention, the distance is set so that a plurality of data exists within the distance, and the step of identifying the user places different weights on the plurality of data in order of proximity to the feature vector, and the user can identify.
또한, 본 발명의 일 실시예에 따르면, 상기 거리는 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 대하여 상이하게 설정될 수 있다.Also, according to an embodiment of the present invention, the distance may be set differently for the palm feature information and the IKP feature information.
또한, 본 발명의 일 실시예에 따르면, 상기 사용자를 식별하는 단계는 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 대하여 상이한 가중치를 두어 사용자를 식별할 수 있다.Also, according to an embodiment of the present invention, in the step of identifying the user, the user may be identified by assigning different weights to the palm feature information and the IKP feature information.
또한, 본 발명의 일 실시예에 따르면, 상기 사용자를 식별하는 단계는 사용자의 예약 정보를 이용하여 상기 손바닥 특징 정보와 상기 IKP 특징 정보를 예약된 사용자의 특징 정보와 비교함으로써 사용자를 식별할 수 있다.In addition, according to one embodiment of the present invention, in the step of identifying the user, the user can be identified by comparing the palm characteristic information and the IKP characteristic information with the reserved user's characteristic information using the user's reservation information. .
또한, 본 발명의 일 실시예에 따르면, 상기 손바닥 특징 정보와 IKP 특징 정보를 각각 추출하는 단계 이후에, 상기 손바닥 관심 영역과 상기 IKP 관심 영역의 원본 정보를 파기하는 단계를 더 포함할 수 있다.Further, according to an embodiment of the present invention, after the step of extracting the palm feature information and the IKP feature information, the step of destroying the original information of the palm region of interest and the IKP region of interest may be further included.
또한, 본 발명의 일 실시예에 따르면, 상기 관심 영역을 추출하는 단계는, 손바닥 중앙의 키포인트를 중심으로 하고, 상기 손바닥 중앙의 키포인트와 손가락 사이 키포인트의 거리에 기초하여 크기를 설정하여, 손바닥 관심 영역을 추출하는 단계; 손가락 마디의 키포인트를 중심으로 하여 세로가 긴 직사각형 형태의 IKP 바운더리 박스를 추출하는 단계; 및 상기 IKP 바운더리 박스 내의 화소 강도에 기초하여 주름이 존재하는 세로축 기준 위치를 찾아 상기 기준 위치를 센터로 하는 IKP 관심 영역을 추출하는 단계를 포함할 수 있다.In addition, according to an embodiment of the present invention, in the step of extracting the region of interest, the size is set based on a keypoint in the middle of the palm as the center and a distance between the keypoint in the middle of the palm and the fingers, extracting a region; Extracting an IKP boundary box in the form of a long rectangle centered on the keypoint of the knuckle; and finding a reference position on a vertical axis where wrinkles exist based on pixel intensities within the IKP boundary box, and extracting an IKP region of interest having the reference position as a center.
본 발명의 일 실시예에 따르면, 고정 환경이라는 제한 없이 비접촉식으로 손바닥 주름과 IKP를 동시에 이용하여 보다 높은 성능으로 사용자 인증을 수행할 수 있는 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법이 제공된다.According to an embodiment of the present invention, a deep learning-based non-contact palm print recognition system and method capable of performing user authentication with higher performance by simultaneously using palm wrinkles and IKP in a non-contact manner without limitation of a fixed environment is provided.
또한, 본 발명의 일 실시예에 따르면, 사용자 예약 정보를 이용하여 소정 사용자의 특징 정보만을 한정하여 비교 판정함으로써, 보다 신속하게 사용자 인증을 수행할 수 있는 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법이 제공된다.In addition, according to an embodiment of the present invention, a deep learning-based non-contact palm print recognition system and method capable of more quickly performing user authentication by limiting and comparing characteristic information of a predetermined user using user reservation information is provided. do.
또한, 본 발명의 일 실시예에 따르면, 딥러닝을 이용하여 사용자 특징 정보를 복수 개 추출하고, 각각의 특징 정보에 상이한 가중치를 설정하여, 사용자 인식의 정확도를 보다 향상시킬 수 있는 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법이 제공된다.In addition, according to an embodiment of the present invention, a deep learning-based non-contact type that can further improve the accuracy of user recognition by extracting a plurality of pieces of user feature information using deep learning and setting different weights for each feature information. A palm print recognition system and method are provided.
또한, 본 발명의 일 실시예에 따르면, 사용자의 개인 정보인 바이오 데이터를 특징 정보로 변환하여 저장하고 원본 정보는 파기함으로써, 개인 정보를 보호할 수 있는 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법이 제공된다.In addition, according to an embodiment of the present invention, a deep learning-based non-contact palm print recognition system and method capable of protecting personal information by converting and storing bio data, which is personal information of a user, into characteristic information and destroying original information, is provided. do.
도 1은 종래 기술에 따라 비접촉식으로 고정 환경에서 손바닥 영상을 촬영한 예를 도시한다. 1 illustrates an example of capturing an image of a palm in a non-contact manner in a fixed environment according to the prior art.
도 2는 본 발명의 일 실시예에 따른 장문 인식 시스템의 구조도이다.2 is a structural diagram of a palm print recognition system according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따라 비접촉식으로 촬영한 손바닥 영상에서 추출하고자 하는 관심 영역(ROI)을 도시한다.3 illustrates a region of interest (ROI) to be extracted from a palm image captured in a non-contact manner according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따라 손바닥 관심 영역과 손가락(IKP) 관심 영역을 추출하는 과정을 설명하기 위한 도면이다.4 is a diagram for explaining a process of extracting a palm region of interest and a finger (IKP) region of interest according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내의 영상을 그레이 스케일로 변환한 영상을 도시한다.5 shows an image obtained by converting an image within an IKP boundary box into a gray scale according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내에서 배경을 제외시킨 영상을 도시한다.6 illustrates an image from which a background is excluded from an IKP boundary box according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내에서 양 옆 20%를 제거한 영상을 도시한다.7 shows an image in which 20% of both sides are removed from the IKP boundary box according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따라 IKP의 주름진 영역을 찾아 세로축 기준 위치인 센터를 찾는 방법을 도시한다.8 illustrates a method of finding a center, which is a reference position in the vertical axis, by finding a wrinkled region of an IKP according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내에서 위쪽 10%와 아래쪽 10%를 제거한 영상을 도시한다.9 shows an image in which the upper 10% and the lower 10% of the IKP boundary box are removed according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내의 원본 영상에서 IKP ROI를 추출한 영상을 도시한다.10 illustrates an image obtained by extracting an IKP ROI from an original image within an IKP boundary box according to an embodiment of the present invention.
도 11은 본 발명의 일 실시예에 따른 손바닥 및 IKP의 모델 구조를 도시한다.11 shows the model structure of a palm and IKP according to an embodiment of the present invention.
도 12는 본 발명의 일 실시예에 따른 손바닥 및 IKP의 모델 구조 내의 탑 모듈(Top module) 구조를 도시한다.Figure 12 shows the Top module structure in the model structure of the palm and IKP according to an embodiment of the present invention.
도 13은 본 발명의 일 실시예에 따른 고정 임계값 방식을 도시한다.13 illustrates a fixed threshold scheme according to an embodiment of the present invention.
도 14는 본 발명의 일 실시예에 따른 임계값 설정 실험의 결과를 도시한다.14 shows the result of a threshold setting experiment according to an embodiment of the present invention.
도 15는 본 발명의 일 실시예에 따라 특징 정보의 종류별(손바닥, IKP별)로 top 5의 거리 분포를 상자도표(boxplot) 형태로 나타낸 것이다. 15 shows the distance distribution of the top 5 by type of feature information (palm, IKP) in the form of a boxplot according to an embodiment of the present invention.
도 16은 본 발명의 일 실시예에 따라 장문 인식 바이오 정보 처리 과정을 나타낸다.16 shows a palm print recognition bio information processing process according to an embodiment of the present invention.
도 17은 본 발명의 일 실시예에 따라 사용자 특징 정보 DB에 저장되는 특징 정보의 예를 나타낸다.17 illustrates an example of characteristic information stored in a user characteristic information DB according to an embodiment of the present invention.
본 발명에 관한 설명에서 사용하는 용어는 다음과 같이 이해되어야 한다. 먼저, 본 명세서에서 단수형 또는 복수형으로 표현된 부분은 필수불가결한 경우를 제외하고는 단수형 및 복수형인 경우를 모두 포함하는 것으로 해석될 수 있다. 또한, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 용어로서만 사용되고, 이들 용어들에 의하여 권리범위가 한정되어서는 안 된다. Terms used in the description of the present invention should be understood as follows. First, parts expressed in the singular or plural in this specification may be interpreted as including both singular and plural cases except for indispensable cases. In addition, terms such as "first" and "second" are used only as terms for distinguishing one component from another, and the scope of rights should not be limited by these terms.
또한, 하나의 구성요소가 다른 구성요소와 "연결"되어 있다고 기재한 경우에는 직접 연결된 경우와 함께, 중간에 다른 구성요소를 통하여 연결된 경우도 포함하는 것으로 이해되어야 하며, "직접 연결" 또는 "바로 연결"되어 있다고 기재한 경우에만 중간에 다른 구성요소가 없이 하나의 구성요소와 다른 구성요소가 연결된 것으로 이해되어야 한다. 마찬가지로 구성요소들 사이의 관계를 설명하는 다른 표현들도 동일한 취지로 이해되어야 한다.In addition, when it is described that one component is “connected” to another component, it should be understood that it includes the case where it is directly connected as well as the case where it is connected through another component in the middle, and “direct connection” or “direct connection” It should be understood that one component is connected to another component only when it is described as "connected" without other components in the middle. Likewise, other expressions describing relationships between components should be understood in the same sense.
이하에서는 본 발명의 구체적인 실시예를 첨부 도면을 참조하여 상세히 설명한다. 첨부 도면을 참조하여 설명함에 있어서 동일하거나 대응하는 구성 요소는 동일한 도면 번호를 부여하고, 중복되는 설명은 생략한다. 본 발명은 다양한 변형이 가능하며, 이하 설명되는 실시예에 의하여 한정되지 않는다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same or corresponding components are assigned the same reference numerals, and overlapping descriptions are omitted. The present invention is capable of various modifications, and is not limited by the embodiments described below.
장문 인식 시스템palm print recognition system
도 2는 본 발명의 일 실시예에 따른 장문 인식 시스템(100)의 구조도이다.2 is a structural diagram of a palm print recognition system 100 according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 장문 인식 시스템(100)은 단말기(110) 및 서버(120)를 포함할 수 있으며, 단말기(110)는 장문 촬영부(111) 및 관심 영역(ROI) 추출부(112)를 포함할 수 있고, 서버(120)는 특징 추출부(121), 사용자 예약 정보 데이터베이스(DB)(122), 사용자 특징 정보 데이터베이스(DB)(123), 사용자 식별부(124) 및 출력부(125)를 포함할 수 있다. 그러나 단말기(110)와 서버(120)의 구성이 이와 같이 분리되는 구성으로 한정되는 것은 아니며, 예컨대 ROI 추출부(112)는 단말기(110)가 아니라 서버(120)에 위치할 수도 있다.The palm print recognition system 100 according to an embodiment of the present invention may include a terminal 110 and a server 120, and the terminal 110 includes a palm print photographing unit 111 and a region of interest (ROI) extraction unit ( 112), and the server 120 includes a feature extraction unit 121, a user reservation information database (DB) 122, a user characteristic information database (DB) 123, a user identification unit 124, and an output may include section 125 . However, the configuration of the terminal 110 and the server 120 is not limited to such a separate configuration, and for example, the ROI extraction unit 112 may be located in the server 120 instead of the terminal 110 .
일 실시예에서, 단말기(110)는 스마트폰이나 태블릿의 형태일 수 있으며, 장문 촬영을 위한 카메라를 포함하고, 장문 촬영 및 ROI 추출을 위한 어플리케이션이 설치되어 있을 수 있다. 장문 촬영부(111)는 카메라를 이용하여 사용자의 손바닥과 손가락 마디를 포함하는 장문을 촬영할 수 있다. ROI 추출부(112)는 장문 촬영부(111)에 의해 촬영된 장문 영상에서 특징 정보를 추출할 관심 영역(ROI: Region of Interest)을 추출할 수 있으며, 손바닥의 관심 영역(ROI)과 IKP의 관심 영역(ROI)을 각각 추출하여 서버(120)로 전송할 수 있다. 일 실시예에서, 손바닥 관심 영역(ROI)은 손바닥 중심의 주름을 포함하는 하나의 관심 영역일 수 있으며, IKP 관심 영역(ROI)은 검지, 중지, 약지, 소지 각각에 대하여 손가락 마디의 주름을 포함하는 복수 개의 관심 영역일 수 있다. 다른 실시예에서, IKP 관심 영역(ROI)은 임의의 단수 또는 복수 개의 손가락 각각에 대한 관심 영역일 수 있다.In one embodiment, the terminal 110 may be in the form of a smart phone or tablet, may include a camera for capturing palm prints, and may have applications for capturing palm prints and extracting ROI installed therein. The palm print photographing unit 111 may capture a palm print including the user's palm and knuckles using a camera. The ROI extraction unit 112 may extract a region of interest (ROI) from which feature information is to be extracted from the palm print image captured by the palm print capture unit 111, and the ROI of the palm and the IKP may be extracted. Each region of interest (ROI) may be extracted and transmitted to the server 120 . In one embodiment, the palm region of interest (ROI) may be one region of interest including wrinkles in the center of the palm, and the IKP region of interest (ROI) includes wrinkles of the knuckles of the index, middle, ring and small fingers, respectively. may be a plurality of regions of interest. In another embodiment, the IKP region of interest (ROI) may be a region of interest for each of any single or multiple fingers.
서버(120)의 특징 추출부(121)는 ROI 추출부(112)로부터 손바닥 관심 영역 및 IKP 관심 영역을 수신하고, 딥러닝에 기반하여 복수 개의 관심 영역 각각에 대하여 특징을 추출할 수 있다. 일 실시예에서, 특징 추출부(121)가 딥러닝에 기반하여 손바닥 관심 영역 및 IKP 관심 영역에서 추출한 특징 정보는 특징 벡터일 수 있으며, 예컨대 256차원 공간 내에 위치하는 점의 벡터값일 수 있다. 특징 추출부(121)는 각각의 관심 영역에서 추출된 특징 정보를 사용자 식별부(124)에 전송할 수 있다.The feature extractor 121 of the server 120 may receive the palm region of interest and the IKP region of interest from the ROI extractor 112 and extract features for each of a plurality of regions of interest based on deep learning. In one embodiment, the feature information extracted from the palm region of interest and the IKP region of interest by the feature extractor 121 based on deep learning may be a feature vector, for example, a vector value of a point located in a 256-dimensional space. The feature extraction unit 121 may transmit feature information extracted from each region of interest to the user identification unit 124 .
사용자 식별부(124)는 특징 추출부(121)로부터 수신한 손바닥 특징 정보 및 IKP 특징 정보를 사용자 특징 정보 데이터베이스(DB)(123) 내에 저장된 사용자 특징 정보와 비교, 판정하여 사용자를 식별할 수 있다. 일 실시예에서, 사용자 특징 정보 데이터베이스(DB)(123) 내에 저장된 사용자 특징 정보는 사용자별 손바닥 특징 정보 및 IKP 특징 정보를 포함할 수 있으며, 사용자 예약 정보 데이터베이스(DB)(122)로부터 사용자의 예약 정보를 수신하여, 소정 시간의 범위 내에 예약되어 있는 사용자의 특징 정보만을 사용자 식별부(124)에 제공함으로써, 사용자 식별부(124)가 더욱 신속하게 사용자 식별을 수행하도록 할 수 있다. 일 실시예에서, 사용자 예약 정보는 골프장 부킹 정보일 수 있으며, 사용자 식별부(124)는 골프장 부킹 정보를 이용하여 당일 예약 또는 일정 시간 범위 내에 예약되어 있는 사용자의 특징 정보만을 비교, 판정함으로써, 더욱 신속하게 사용자 식별을 수행할 수 있다.The user identification unit 124 compares the palm characteristic information and IKP characteristic information received from the feature extraction unit 121 with the user characteristic information stored in the user characteristic information database (DB) 123, and determines the user to identify the user. . In one embodiment, the user characteristic information stored in the user characteristic information database (DB) 123 may include palm characteristic information and IKP characteristic information for each user, and the user's reservation from the user reservation information database (DB) 122 By receiving the information and providing the user identification unit 124 with only user characteristic information reserved within a predetermined time range, the user identification unit 124 may perform user identification more quickly. In one embodiment, the user reservation information may be golf course booking information, and the user identification unit 124 compares and determines only the reservation on the same day or the user's characteristic information reserved within a certain time range using the golf course booking information. User identification can be performed quickly.
출력부(125)는 사용자 식별부(124)에서 수행한 식별 결과를 수신하여 단말기(110)에 전송할 수 있다. 일 실시예에서, 식별 결과는 식별된 사용자의 이름이나 ID 등일 수 있으며, 사용자가 식별되지 않는 경우에는 UNKNOWN(식별불가)이 될 수도 있다.The output unit 125 may receive the identification result performed by the user identification unit 124 and transmit it to the terminal 110 . In one embodiment, the identification result may be the identified user's name or ID, and may be UNKNOWN if the user is not identified.
관심 영역(ROI) 추출Region of interest (ROI) extraction
이하, 본 발명의 일 실시예에 따라 ROI 추출부(112)가 관심 영역(ROI)을 추출하는 과정에 대해 설명한다.Hereinafter, a process of extracting a region of interest (ROI) by the ROI extractor 112 according to an embodiment of the present invention will be described.
도 3은 본 발명의 일 실시예에 따라 비접촉식으로 촬영한 손바닥 영상에서 추출하고자 하는 관심 영역(ROI)을 도시한다.3 illustrates a region of interest (ROI) to be extracted from a palm image captured in a non-contact manner according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 고정 환경이라는 제한 없이 비접촉식으로 손바닥 영상을 촬영할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 배경이 있고 조도가 일정하지 않은 환경에서도 비접촉식으로 손바닥 영상을 촬영하여 장문을 인식할 수 있다.According to an embodiment of the present invention, a palm image can be captured in a non-contact manner without the limitation of a fixed environment. That is, according to an embodiment of the present invention, a palm print can be recognized by taking a palm image in a non-contact manner even in an environment where there is a background and illumination is not constant.
일 실시예에서, 관심 영역(ROI)은 손바닥 관심 영역(빨간색 박스, 310)과 손가락(IKP) 관심 영역(파란색 박스, 320, 330, 340, 350)을 포함하며, 손바닥 관심 영역(ROI)은 손바닥 중심의 주름을 포함하는 하나의 관심 영역(빨간색 박스, 310)일 수 있고, IKP 관심 영역(ROI)은 검지, 중지, 약지, 소지 각각에 대하여 손가락 마디의 주름을 포함하는 복수 개의 관심 영역(파란색 박스, 320, 330, 340, 350)일 수 있다.In one embodiment, the region of interest (ROI) includes a palm region of interest (red box, 310) and a finger (IKP) region of interest (blue box, 320, 330, 340, 350), the palm region of interest (ROI) is It may be one region of interest (red box, 310) including wrinkles in the center of the palm, and the IKP region of interest (ROI) includes a plurality of regions of interest (region of interest (ROI) including wrinkles of knuckles for each of the index finger, middle finger, ring finger, and small finger). blue box, 320, 330, 340, 350).
도 4는 본 발명의 일 실시예에 따라 손바닥 관심 영역(ROI)과 손가락(IKP) 관심 영역(ROI)을 추출하는 과정을 설명하기 위한 도면이다.4 is a diagram for explaining a process of extracting a palm region of interest (ROI) and a finger (IKP) region of interest (ROI) according to an embodiment of the present invention.
일 실시예에서, 손바닥 ROI는 손바닥 중앙의 키포인트 C1을 중심으로 하는 정사각형의 형태로서, 그 크기(폭, 높이)는 손가락 사이의 키포인트 P1, P2, P3, P4와 손바닥 중앙의 키포인트 C1에 기초하여 설정할 수 있다. 예컨대, 손바닥 ROI의 폭과 높이는 C1으로부터 P1, P2, P3, P4 각각에 대한 거리 평균의 110%로 설정할 수 있다.In one embodiment, the palm ROI is in the form of a square centered on the keypoint C1 in the middle of the palm, and its size (width, height) is based on the keypoints P1, P2, P3, and P4 between the fingers and the keypoint C1 in the middle of the palm. can be set For example, the width and height of the palm ROI may be set to 110% of the average distances from C1 to P1, P2, P3, and P4.
Figure PCTKR2022014611-appb-img-000001
Figure PCTKR2022014611-appb-img-000001
일 실시예에서, 손바닥 ROI의 로테이션은 중지와 약지 사이의 키포인트 P3와 손바닥 중앙의 키포인트 C1에 기초하여 설정할 수 있다. 예컨대, 손바닥 ROI의 로테이션은 C1에서 P3를 이은 직선이 수직이 되도록 로테이션할 수 있다.In one embodiment, the rotation of the palm ROI may be set based on a keypoint P3 between the middle and ring fingers and a keypoint C1 in the center of the palm. For example, the palm ROI may be rotated such that a straight line connecting C1 to P3 is vertical.
일 실시예에서, IKP ROI는 손가락 마디의 키포인트를 중심으로 하는 정사각형의 형태로서, 그 크기(폭, 높이)는 손바닥 ROI의 크기(폭, 높이)와 일정 비율을 유지하도록 설정할 수 있다. 예컨대, IKP ROI의 크기(폭, 높이)는 손바닥 ROI의 크기(폭, 높이)의 1/4로 설정할 수 있다. 일 실시예에서, IKP ROI 추출은 1차적으로 세로가 긴 직사각형 형태의 IKP 바운더리 박스를 먼저 추출한 후, 2차적으로 정사각형 형태의 IKP ROI를 추출할 수 있으며, IKP 바운더리 박스의 폭은 손바닥 ROI 폭의 1/4로 설정하고, IKP 바운더리 박스의 높이는 손바닥 ROI 높이의 1/2로 설정할 수 있다.In one embodiment, the IKP ROI is in the form of a square centered on the keypoint of the knuckle, and its size (width, height) can be set to maintain a constant ratio with the size (width, height) of the palm ROI. For example, the size (width, height) of the IKP ROI may be set to 1/4 of the size (width, height) of the palm ROI. In one embodiment, the IKP ROI extraction may first extract an IKP boundary box in the form of a long vertical rectangle, and then extract the IKP ROI in the form of a square secondarily, and the width of the IKP boundary box is equal to the width of the palm ROI. It is set to 1/4, and the height of the IKP boundary box can be set to 1/2 the height of the palm ROI.
일 실시예에서, IKP ROI 및/또는 IKP 바운더리 박스의 로테이션은 손가락이 시작되는 지점과 IKP의 직선 각도를 기준으로 로테이션할 수 있다. 예컨대, IKP ROI 및/또는 IKP 바운더리 박스의 로테이션은 G1에서 G2를 이은 직선이 수직이 되도록 로테이션할 수 있다.In one embodiment, the rotation of the IKP ROI and/or the IKP boundary box may be based on a straight line angle between the starting point of the finger and the IKP. For example, the rotation of the IKP ROI and/or the IKP boundary box may be such that a straight line connecting G1 to G2 is vertical.
손바닥 ROI의 형태, 크기, 로테이션 및 IKP ROI(및/또는 IKP 바운더리 박스)의 형태, 크기, 로테이션은 상기 실시예에 한정되지 않으며, 적절히 변경 내지 변형이 가능하다.The shape, size, and rotation of the palm ROI and the shape, size, and rotation of the IKP ROI (and/or IKP boundary box) are not limited to those of the above embodiment, and may be appropriately changed or modified.
일 실시예에서, IKP 바운더리 박스는 세로로 긴 직사각형의 형태일 수 있으며, IKP ROI는 정사각형의 형태일 수 있다. 일반적으로, 객체의 크기가 작거나, 형체가 흐릿하거나, 그림자가 생기는 경우 등 여러가지 이유로 인하여, 단순히 키포인트 추출 모델만으로는 IKP ROI를 명확하게 추출하는 것이 어려울 수 있다. 따라서, IKP 바운더리 박스를 먼저 추출한 후, IKP ROI를 추출하는 것이 바람직하다. 이하, 그 과정을 보다 상세히 설명한다.In one embodiment, the IKP boundary box may be in the form of a vertically long rectangle, and the IKP ROI may be in the form of a square. In general, it may be difficult to clearly extract an IKP ROI using only a keypoint extraction model for various reasons, such as when an object has a small size, a blurry shape, or a shadow. Therefore, it is preferable to first extract the IKP boundary box and then extract the IKP ROI. Hereinafter, the process will be described in more detail.
첫 번째로, 연산 속도 향상을 위하여 IKP 바운더리 박스 내의 영상을 그레이 스케일(gray scale)로 변환할 수 있다. 도 5는 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내의 영상을 그레이 스케일로 변환한 영상을 도시한다.First, an image within an IKP boundary box may be converted into a gray scale in order to improve computation speed. 5 shows an image obtained by converting an image within an IKP boundary box into a gray scale according to an embodiment of the present invention.
두 번째로, 그레이 스케일로 변환된 IKP 바운더리 박스 내의 영상에서 좌우측면에 배경이 걸쳐 있을 가능성을 배제하기 위하여, 도 6과 같이 배경이 없고 온전히 손가락만 찍힌 영역을 추출할 수 있다. 도 6은 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내에서 배경을 제외시킨 영상을 도시한다. Second, in order to exclude the possibility that the background spans the left and right sides of the image within the IKP boundary box converted to gray scale, as shown in FIG. 6 illustrates an image from which a background is excluded from an IKP boundary box according to an embodiment of the present invention.
구체적으로, 그레이 스케일로 변환된 IKP 바운더리 박스 내 영상에서 수직 방향을 기준으로 화소 강도(pixel intensity) 값의 표준 편차를 계산하면, 영상의 폭과 같은 길이의 벡터를 구할 수 있으며, 이를 벡터 S로 정의한다. S에서 소정의 임계값보다 작은 영역을 추출함으로써, 좌우에 조금씩 배경이 걸쳐 있는 경우 분석 대상에서 제외시킬 수 있다. Specifically, by calculating the standard deviation of pixel intensity values based on the vertical direction in the image within the IKP boundary box converted to gray scale, a vector with the same length as the width of the image can be obtained, which is referred to as vector S. define. By extracting a region smaller than a predetermined threshold value in S, a case where the background is slightly overlapped on the left and right sides can be excluded from the analysis target.
추출된 영역에서 추가적으로 원본 영상의 양 옆 20%를 조건 없이 제거할 수 있다. 도 7은 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내에서 양 옆 20%를 제거한 영상을 도시한다.In the extracted area, 20% of both sides of the original image can be additionally removed without condition. 7 shows an image in which 20% of both sides are removed from the IKP boundary box according to an embodiment of the present invention.
세 번째로, IKP의 관심 영역은 주름진 영역이고, 주름진 영역은 상대적으로 어두워서 화소 강도 값이 낮다는 전제 하에, 주름이 존재하는 세로축 기준 위치를 찾아낼 수 있다. 도 8은 본 발명의 일 실시예에 따라 IKP의 주름진 영역을 찾아 세로축 기준 위치인 센터를 찾는 방법을 도시한다. Thirdly, on the premise that the region of interest of the IKP is a wrinkled region and that the wrinkled region is relatively dark and has a low pixel intensity value, a vertical axis reference position where a wrinkle exists can be found. 8 illustrates a method of finding a center, which is a reference position in the vertical axis, by finding a wrinkled region of an IKP according to an embodiment of the present invention.
구체적으로, 영상의 수평 방향으로 화소 강도의 평균을 구하면, 영상의 높이와 같은 길이의 벡터를 구할 수 있으며, 이를 벡터 M으로 정의한다. M을 표준화한 후, M의 1차 차분(1st-difference)을 구하여 임계값보다 작은 위치를 구한다. 일 실시예에서, 임계값은 기본값으로 0을 설정할 수 있으며, 임계값보다 작은 위치가 2군데 이상이 될 때까지 임계값을 0.1 만큼씩 높이면서 연산을 반복할 수 있다. 이를 통해 추출된 위치를 피크(peaks)로 정의한다. 피크의 중앙값, 즉 피크의 최대값과 피크의 최소값의 평균을 IKP ROI의 센터로 설정할 수 있다. 일 실시예에서, 센터의 위치가 너무 위 또는 아래로 치우쳐 있는 경우, 해당 센터를 IKP ROI의 센터로 설정하지 않을 수 있다.Specifically, if the average of pixel intensities is obtained in the horizontal direction of the image, a vector having the same length as the height of the image can be obtained, which is defined as a vector M. After standardizing M, the first difference (1st-difference) of M is obtained to obtain a position smaller than the threshold value. In one embodiment, the threshold value may be set to 0 as a default value, and the operation may be repeated while increasing the threshold value by 0.1 until there are two or more positions smaller than the threshold value. Positions extracted through this are defined as peaks. The median value of the peak, that is, the average of the maximum value and minimum value of the peak can be set as the center of the IKP ROI. In one embodiment, if the location of the center is biased too upward or downward, the corresponding center may not be set as the center of the IKP ROI.
피크를 포함하고 센터가 설정된 영역에서 원본 영상의 위쪽 10%와 아래쪽 10%를 조건 없이 제거할 수 있다. 도 9는 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내에서 위쪽 10%와 아래쪽 10%를 제거한 영상을 도시한다.The upper 10% and the lower 10% of the original image can be removed unconditionally in the region containing the peak and set the center. 9 shows an image in which the upper 10% and the lower 10% of the IKP boundary box are removed according to an embodiment of the present invention.
마지막으로, 센터로부터 IKP ROI 크기(높이)의 1/2 만큼씩 위 아래를 추출하여 정사각형의 영상을 만듦으로써, IKP ROI를 추출할 수 있다. 일 실시예에서, 추출된 영상을 IKP ROI의 크기에 맞추기 위하여 제로 패딩(zero padding) 등의 기법을 사용할 수 있다. 일 실시예에서, IKP ROI로서 추출된 영상은 그레이 스케일된 영상이 아닌 원본 영상일 수 있다. 즉, 연산 속도를 향상시키기 위하여 영상을 그레이 스케일로 변환하여 추출 영역을 결정하지만, 추출 영역이 결정된 이후에는 그레이 스케일된 영상이 아닌 원본 영상에 대하여 추출을 진행할 수 있다. 도 10은 본 발명의 일 실시예에 따라 IKP 바운더리 박스 내의 원본 영상에서 IKP ROI를 추출한 영상을 도시한다.Finally, the IKP ROI can be extracted by extracting the upper and lower parts by 1/2 of the size (height) of the IKP ROI from the center to create a square image. In one embodiment, a technique such as zero padding may be used to fit the extracted image to the size of the IKP ROI. In one embodiment, an image extracted as an IKP ROI may be an original image rather than a gray-scaled image. That is, in order to improve the operation speed, an image is converted into a gray scale to determine an extraction region, but after the extraction region is determined, the original image, not the gray scale image, may be extracted. 10 illustrates an image obtained by extracting an IKP ROI from an original image within an IKP boundary box according to an embodiment of the present invention.
특징 추출feature extraction
이하, 본 발명의 일 실시예에 따라 특징 추출부(121)가 관심 영역(ROI)으로부터 특징 정보를 추출하는 과정에 대해 설명한다.Hereinafter, a process of extracting feature information from the region of interest (ROI) by the feature extractor 121 according to an embodiment of the present invention will be described.
본 발명의 일 실시예에 따르면, 손바닥 ROI와 IKP ROI 각각으로부터 특징 정보를 추출할 수 있으며, 특징 정보의 추출은 딥러닝 기법에 기초하여 실행될 수 있다. 딥러닝 기법은 통상적인 학습 모델을 이용하여 실행될 수 있으며, 이하 본 출원의 발명자가 실험한 학습 모델과 데이터에 대해서 설명한다.According to an embodiment of the present invention, feature information may be extracted from each of the palm ROI and the IKP ROI, and the feature information may be extracted based on a deep learning technique. The deep learning technique can be executed using a conventional learning model, and the learning model and data experimented by the inventors of the present application will be described below.
<모델><model>
백본 모델로 imageNet pretrained MobileNet V2를 이용하였다. 모델의 입력 사이즈는 손바닥 ROI는 224x224이고, IKP ROI는 128x128이다. 손바닥에 비해 IKP가 상대적으로 작기 때문에 더 낮은 사이즈로 선택하였다. 세부적인 파라미터는 다음과 같다.imageNet pretrained MobileNet V2 was used as a backbone model. The input size of the model is 224x224 for palm ROI and 128x128 for IKP ROI. Since the IKP is relatively small compared to the palm of the hand, a smaller size was selected. Detailed parameters are as follows.
1. Embedding size: 2561. Embedding size: 256
2. optimizer: Adam(cosine_decay_restart_learning_rate) - t_mul=-2.0, m_mul=1.02. optimizer: Adam(cosine_decay_restart_learning_rate) - t_mul=-2.0, m_mul=1.0
3. learning rate 초기값: 0.0013. Initial value of learning rate: 0.001
<학습><Learning>
손바닥 및 IKP의 모델 구조는 도 11과 같으며, 탑 모듈(Top module)의 구조는 도 12와 같다. 학습 시 모델 구조에 CosFace를 적용했는데 이는 클래스(class) 간의 거리를 넓혀 더욱 잘 학습하게 하기 위함이다. 인퍼런스(Inference) 시에는 CosFace를 제거하고 임베딩 벡터값으로 거리를 비교하며 측정한다. Dense 계층(layer)의 출력값은 벡터값이다. 실제 테스트 시 데이터 셋을 모델에 입력하여 벡터 공간에 배치하고 테스트하고자 하는 데이터를 모델에 입력하여 이미 배치된 벡터들과 차이값(노름, norm)을 통해 거리를 추출한다. 추출된 거리 값으로 가장 가까운 클래스(class)를 유추하여 데이터를 분류할 수 있다.The model structure of the palm and IKP is shown in FIG. 11, and the structure of the top module is shown in FIG. 12. CosFace was applied to the model structure during training to widen the distance between classes for better learning. During inference, CosFace is removed and the distance is compared and measured with the embedding vector value. The output value of the Dense layer is a vector value. During the actual test, the data set is input into the model and placed in the vector space, and the data to be tested is input into the model and the distance is extracted through the difference value (norm) with the already placed vectors. Data can be classified by inferring the nearest class with the extracted distance value.
<데이터 셋><data set>
데이터 셋은 이하의 5가지 데이터 셋을 이용하였다.As a data set, the following 5 data sets were used.
1. KakaoVX 직원 데이터 셋1. KakaoVX Employee Dataset
2. MPD V2 데이터 셋2. MPD V2 Dataset
3. tongji 데이터 셋3. tongji dataset
4. crowdworks 외주 데이터 셋4. Crowdworks Outsourcing Dataset
5. 11k hands 데이터 셋5. 11k hands data set
본 발명의 일 실시예에 따르면, 딥러닝 기법에 기초하여 손바닥 ROI와 IKP ROI 각각으로부터 특징 정보를 추출할 수 있으며, 특징 정보는 벡터값으로 나타낼 수 있다. 딥러닝 기법은 통상적인 학습 모델을 이용하여 실행될 수 있으며, 다양한 데이터 셋을 이용한 학습을 통하여, 벡터 공간에 배치되는 특징 벡터값들은 데이터의 분류와 식별이 적절히 이뤄질 수 있도록 일정 거리를 갖도록 배치될 수 있다.According to an embodiment of the present invention, feature information may be extracted from each of the palm ROI and the IKP ROI based on a deep learning technique, and the feature information may be expressed as a vector value. The deep learning technique can be executed using a conventional learning model, and through learning using various data sets, the feature vector values placed in the vector space can be arranged to have a certain distance so that classification and identification of data can be properly performed. there is.
사용자 식별user identification
이하, 본 발명의 일 실시예에 따라 사용자 식별부(124)가 사용자를 식별하는 과정에 대해 설명한다.Hereinafter, a process of identifying a user by the user identification unit 124 according to an embodiment of the present invention will be described.
사용자 식별은 딥러닝에 기반하여 추출된 사용자의 특징 정보를 대조하여 이뤄질 수 있으며, 사용자의 특징 정보는 손바닥 ROI 및 IKP ROI 각각에 대하여 추출된 특징 벡터를 포함할 수 있다. 특징 벡터는 벡터 공간에서 소정의 거리 내에 존재하는 데이터에 의해 식별될 수 있다.User identification may be performed by collating user feature information extracted based on deep learning, and the user feature information may include feature vectors extracted for palm ROI and IKP ROI, respectively. A feature vector can be identified by data existing within a predetermined distance in a vector space.
<고정 임계값 방식><Fixed Threshold Method>
도 13은 본 발명의 일 실시예에 따른 고정 임계값 방식을 도시한다. 일 실시예에서, 사용자 식별을 위한 입력 데이터는 딥러닝에 기반하여 추출된 특징 벡터로서, 예컨대 256차원 공간 내의 특정 위치로서 표현될 수 있다. 입력 데이터를 중심으로 하여 소정의 거리(임계값) 이내에 데이터가 존재하는 경우, 입력 데이터를 해당 데이터에 가까운 것으로 보아 해당 데이터의 사용자로 식별할 수 있다. 소정의 거리(임계값) 이내에 데이터가 존재하지 않는 경우에는 UNKNOWN(식별불가)으로 설정할 수 있다.13 illustrates a fixed threshold scheme according to an embodiment of the present invention. In one embodiment, input data for user identification may be expressed as a feature vector extracted based on deep learning, for example, as a specific location in a 256-dimensional space. When data exists within a predetermined distance (threshold) from the input data as the center, the user of the corresponding data can be identified by considering the input data as being close to the corresponding data. If data does not exist within a predetermined distance (threshold), it can be set to UNKNOWN.
<임계값 설정><Threshold Setting>
임계값은 실험적으로 사용자 식별 결과를 고려하여 설정할 수 있다. 일 실시예에서, 임계값은 입력 데이터에 가장 근접한 5개의 데이터(top 5)가 입력 데이터의 사용자와 일치할 때의 거리를 산출하여 설정할 수 있다. 도 14는 본 발명의 일 실시예에 따른 임계값 설정 실험의 결과를 도시한다. 좌측 그래프는 손바닥 특징 정보에 대하여 top 5의 사용자 식별 결과가 모두 맞는 경우 임계값에 따른 데이터 셋의 비율을 나타낸다. 우측 그래프는 IKP 특징 정보에 대하여 top 5의 사용자 식별 결과가 모두 맞는 경우 임계값에 따른 데이터 셋의 비율을 나타낸다. 본 출원의 발명자는 실험을 통하여 손바닥의 경우에는 임계값을 8500으로 설정하고, IKP의 경우에는 임계값을 6500으로 설정하는 것이 사용자 식별 결과를 양호하게 한다는 점을 확인하였다. 다만, 이는 소정의 데이터 셋에 기초한 학습 결과와 top 5를 기준으로 한 사용자 식별 결과를 고려하여 설정한 것일 뿐이며, 데이터의 종류 및 식별 결과 기준의 변경에 따라 얼마든지 달리 설정될 수 있다.The threshold value may be experimentally set in consideration of user identification results. In one embodiment, the threshold value may be set by calculating a distance when the top 5 data (top 5) closest to the input data coincide with the user of the input data. 14 shows the result of a threshold setting experiment according to an embodiment of the present invention. The graph on the left shows the percentage of the data set according to the threshold value when all of the top 5 user identification results for palm feature information are correct. The graph on the right shows the ratio of the data set according to the threshold when all of the top 5 user identification results for the IKP feature information are correct. The inventor of the present application confirmed through experiments that setting the threshold to 8500 in the case of the palm and 6500 in the case of the IKP improves the user identification result. However, this is only set in consideration of the learning result based on a predetermined data set and the user identification result based on the top 5, and can be set differently according to the change in the type of data and identification result criteria.
<점수 환산 기법><Score Conversion Technique>
일 실시예에서, 데이터베이스에 사용자별로 5장씩의 장문이 등록되어 있다고 전제하고, 입력 데이터에 가장 근접한 5개의 데이터(top 5)를 식별한다면, 표 1과 같이 총 25개 셀(cell)의 식별 결과가 산출될 수 있다. 표 1은 본 발명의 일 실시예에 따라 입력 데이터가 손바닥 특징 정보 1개와 IKP 특징 정보 4개(검지, 중지, 약지 및 소지)인 경우, 각 특징 정보별로 가장 근접한 데이터 정보를 5개씩 산출하여, 총 25개의 산출 결과를 각 셀별로 나타낸다. 표 1의 실시예에서는, 22개의 셀은 사용자 walter로 식별되었고, 3개의 셀은 각각 사용자 thunder, 사용자 jayden으로 식별되거나 식별불가(unknown)의 결과가 산출되었다. 여기서, top 1은 입력 데이터의 벡터값과 가장 근접한 벡터값을 갖는 데이터의 정보이고, top n은 n번째로 근접한 벡터값을 갖는 데이터의 정보이다.In one embodiment, if it is assumed that 5 palm prints are registered for each user in the database, and 5 data (top 5) closest to the input data are identified, a total of 25 cells are identified as shown in Table 1. can be calculated. Table 1 shows, according to an embodiment of the present invention, when the input data is 1 piece of palm feature information and 4 pieces of IKP feature information (index finger, middle finger, ring finger and hand), the closest data information for each feature information is calculated by 5 pieces, A total of 25 calculation results are shown for each cell. In the example of Table 1, 22 cells were identified as user walter, and 3 cells were identified as user thunder, user jayden, respectively, or a result of unknown was produced. Here, top 1 is information of data having a vector value closest to the vector value of the input data, and top n is information of data having an n-th closest vector value.
Figure PCTKR2022014611-appb-img-000002
Figure PCTKR2022014611-appb-img-000002
총 25개의 산출 결과는 입력되는 영상의 환경(예컨대, 화질, ROI 추출 정확도 등)에 따라 다양한 결과가 나올 수 있는데, 특징 정보의 종류(손바닥, IKP별)와 벡터값의 근접한 정도(top n)에 따라 각각의 셀에 대하여 다른 가중치를 두어 점수를 환산함으로써 사용자를 보다 정확하게 식별할 수 있다.A total of 25 calculation results can produce various results depending on the environment of the input image (eg, quality, ROI extraction accuracy, etc.), and the type of feature information (by palm, IKP) and the degree of proximity of vector values (top n) A user can be more accurately identified by converting a score by putting different weights on each cell according to .
일 실시예에서, 특징 정보의 종류별(손바닥, IKP별)로 top n의 거리 분포를 고려하여 가중치를 설정할 수 있다. 도 15는 본 발명의 일 실시예에 따라 특징 정보의 종류별(손바닥, IKP별)로 top 5의 거리 분포를 상자도표(boxplot) 형태로 나타낸 것이다. 파란색 박스는 IKP top 1~5를 각각 나타내며, 박스 내 4개씩의 상자도표는 각각 검지, 중지, 약지, 소지의 특징 정보에 대한 거리 분포를 나타낸다. 빨간색 박스는 손바닥 특징 정보에 대한 top 1~5를 나타낸다. 각 특징 정보별 top n끼리의 거리 분포를 비교할 때 많이 벌어져 있으면 데이터 분류를 더 잘 할 수 있으므로, 거리 분포가 많이 벌어져 있는 특징 정보에 대해서는 더 높은 가중치를 설정함으로써 데이터 분류의 정확성을 높일 수 있으며, 이를 통해 사용자 식별을 더 정확하게 수행할 수 있다. 예컨대, 손바닥에 대한 가중치는 높게 설정하고, 소지에 대한 가중치는 낮게 설정함으로써, 사용자 식별의 정확성을 보다 향상시킬 수 있다. 표 2는 본 발명의 일 실시예에 따라 손바닥과 IKP별(검지/중지/약지 및 소지)로 top 1~5 각각에 대한 가중치 설정을 나타낸다. 가중치의 총 합계는 100점이며, 손바닥과 top 1의 가중치는 가장 높게 설정하고, IKP 중 소지의 가중치는 상대적으로 낮게 설정할 수 있다.In an embodiment, a weight may be set by considering a distance distribution of top n for each type of feature information (palm, IKP). 15 shows the distance distribution of the top 5 by type of feature information (palm, IKP) in the form of a boxplot according to an embodiment of the present invention. Blue boxes represent IKP top 1 to 5, respectively, and each of the four box plots in the box represents the distance distribution for the index, middle, ring, and small finger feature information, respectively. The red box represents the top 1 to 5 for palm feature information. When comparing the distance distributions of the top n for each feature information, data classification can be better if the distance distribution is widely spread, so the accuracy of data classification can be increased by setting a higher weight for feature information with a wide spread Through this, user identification can be performed more accurately. For example, by setting a high weight for the palm and a low weight for the hand, the accuracy of user identification can be further improved. Table 2 shows weight settings for each of the top 1 to 5 palms and IKPs (index/middle/ring and small) according to an embodiment of the present invention. The total weight is 100 points, and the weight of the palm and top 1 can be set the highest, and the weight of the hand can be set relatively low among IKP.
Figure PCTKR2022014611-appb-img-000003
Figure PCTKR2022014611-appb-img-000003
표 2의 가중치에 따라 표 1의 산출 결과를 계산하면, 사용자를 walter로 식별하는 것은 81점, 사용자를 thunder로 식별하는 것은 8점, 사용자를 jayden으로 식별하는 것은 6점, 사용자를 식별불가(unknown)로 판정하는 것은 5점이 되어, 가장 점수가 높은 walter로 사용자를 최종 식별할 수 있다.Calculating the calculation results in Table 1 according to the weights in Table 2, identifying the user as walter 81 points, identifying the user as thunder 8 points, identifying the user as jayden 6 points, user not identified ( unknown) becomes 5 points, and the user can be finally identified as walter with the highest score.
또한, 본 발명의 일 실시예에 따르면, top 1에서 식별불가(unknown)가 3회 이상 나오는 경우나, 25개의 셀에서 동일한 사용자가 7번 이상 나오지 않는 경우와 같이, 특정 사용자로 최종 식별하기에는 신뢰할 수 없는 산출 결과가 다수 포함되어 있다고 판단되는 경우에는, 가중치에 따른 환산 점수와 무관하게 최종 식별 결과를 식별불가(unknown)로 정의할 수 있으며, 이때 가장 높은 점수의 사용자를 예측 결과로서만 출력할 수도 있다.In addition, according to an embodiment of the present invention, it is not reliable to finally identify a specific user, such as when unknown appears 3 or more times in top 1 or when the same user does not appear 7 or more times in 25 cells. If it is determined that many calculation results that cannot be calculated are included, the final identification result can be defined as unknown regardless of the conversion score according to the weight, and at this time, the user with the highest score can be output only as the prediction result. may be
이와 같이, 본 발명의 일 실시예에 따르면, 특징 정보의 종류별(손바닥, IKP별)로 가중치를 두어 계산된 점수를 이용하여 사용자를 식별함으로써, 사용자 식별의 정확도를 보다 향상시킬 수 있다.As described above, according to an embodiment of the present invention, the accuracy of user identification can be further improved by identifying a user using a score calculated by weighting each type of feature information (palm, IKP).
개인 정보 바이오 데이터 처리personal information bio data processing
도 16은 본 발명의 일 실시예에 따라 장문 인식 바이오 정보 처리 과정을 나타낸다. 단말기(110)에서 사용자 장문에 대한 원본 정보를 수집하여 서버(120)에 전송할 수 있다(1610). 일 실시예에서, 사용자 장문의 원본 정보는 손바닥 및 IKP에 대한 ROI를 추출한 정보를 포함한다. 서버(120)는 특징 추출부(121)에서 딥러닝 알고리즘을 이용하여 원본 정보로부터 특징 정보를 생성할 수 있다(1620). 특징 정보가 생성되면 원본 정보는 즉시 파기할 수 있다(1630). 일 실시예에서, 특징 정보는 https POST를 이용하여 전송될 수 있으며, 사용자 특징 정보 DB(123)에 저장될 수 있다(1640).16 shows a palm print recognition bio information processing process according to an embodiment of the present invention. The terminal 110 may collect original information on the user's long print and transmit it to the server 120 (1610). In one embodiment, the original information of the user's palm print includes ROI extraction information for palm and IKP. The server 120 may generate feature information from original information using a deep learning algorithm in the feature extractor 121 (1620). When the feature information is generated, the original information may be immediately destroyed (1630). In one embodiment, the characteristic information may be transmitted using https POST and may be stored in the user characteristic information DB 123 (1640).
도 17은 본 발명의 일 실시예에 따라 사용자 특징 정보 DB(123)에 저장되는 특징 정보의 예를 나타낸다. 일 실시예에서, 특징 정보는 사용자의 손바닥 및 IKP의 특징에 따른 벡터값으로 표현되는 특징 벡터일 수 있다. 사용자 특징 정보 DB(123)에는 사용자 장문에 대한 원본 정보가 아닌 특징 벡터가 저장됨으로써, 사용자의 민감한 개인 정보가 보호될 수 있다.17 shows an example of characteristic information stored in the user characteristic information DB 123 according to an embodiment of the present invention. In one embodiment, the feature information may be a feature vector expressed as a vector value according to the characteristics of the user's palm and IKP. The user feature information DB 123 stores feature vectors other than the original information on the user's palm print, so that sensitive personal information of the user can be protected.
한편, 사용자를 식별하고자 하는 경우, 단말기(110)에서 사용자 장문에 대한 원본 정보를 입력하여 서버(120)에 전송할 수 있다(1650). 일 실시예에서, 사용자 장문의 원본 정보는 손바닥 및 IKP에 대한 ROI를 추출한 정보를 포함한다. 서버(120)는 특징 추출부(121)에서 딥러닝 알고리즘을 이용하여 원본 정보로부터 특징 정보를 생성할 수 있다(1660). 특징 정보가 생성되면 원본 정보는 즉시 파기할 수 있다(1670). 일 실시예에서, 특징 정보는 https POST를 이용하여 전송될 수 있으며, 사용자 특징 정보 DB(123)에 저장된 특징 정보와 대조될 수 있다(1680). 대조 결과, 사용자 인증 또는 사용자 식별이 이뤄질 수 있으며(1690), 그 결과를 산출하여 출력할 수 있다(1700).On the other hand, when it is desired to identify a user, the terminal 110 may input original information about the user's long text and transmit it to the server 120 (1650). In one embodiment, the original information of the user's palm print includes ROI extraction information for palm and IKP. The server 120 may generate feature information from original information using a deep learning algorithm in the feature extractor 121 (1660). When the feature information is generated, the original information may be immediately destroyed (1670). In one embodiment, the characteristic information may be transmitted using https POST, and may be compared with the characteristic information stored in the user characteristic information DB 123 (1680). As a result of the comparison, user authentication or user identification may be performed (1690), and the result may be calculated and output (1700).
이와 같이, 본 발명의 일 실시예에 따르면, 사용자의 개인 정보인 바이오 데이터를 특징 정보로 변환하여 저장하고 원본 정보는 파기함으로써, 개인 정보를 보호할 수 있다.As described above, according to an embodiment of the present invention, personal information can be protected by converting and storing bio data, which is personal information of a user, into characteristic information and destroying the original information.
이상, 본 발명의 이해를 위해 첨부 도면에 따른 구체적인 실시예를 설명하였으나, 본 발명은 본원의 도면 및 상기 설명된 구성만으로 한정되는 것은 아니다. 본 기술분야의 통상의 기술자는 본 발명이 추구하는 목적과 효과의 범위 내에서 다양한 변형 및 수정이 가능함을 충분히 이해할 것이다.In the above, specific embodiments have been described according to the accompanying drawings for understanding of the present invention, but the present invention is not limited only to the drawings and the above-described configuration of the present application. Those skilled in the art will fully understand that various variations and modifications are possible within the scope of the objects and effects pursued by the present invention.
[부호의 설명][Description of code]
100: 장문 인식 시스템100: palm print recognition system
110: 단말기110: terminal
111: 장문 촬영부111: long film shooting department
112: ROI 추출부112: ROI extraction unit
120: 서버120: server
121: 특징 추출부121: feature extraction unit
122: 사용자 예약 정보 DB122: User reservation information DB
123: 사용자 특징 정보 DB123: User characteristic information DB
124: 사용자 식별부124: user identification unit
125: 출력부125: output unit

Claims (17)

  1. 장문 인식 시스템으로서,As a palm print recognition system,
    상기 시스템은 딥러닝에 기반하여 비접촉식으로 장문을 인식하기 위한 서버를 포함하고,The system includes a server for recognizing palm prints in a non-contact manner based on deep learning,
    상기 서버는, The server,
    사용자의 손바닥과 손가락 마디를 촬영한 영상에서 추출한 손바닥 관심 영역과 IKP(Inner Knuckle Print) 관심 영역을 수신하고,Receiving a palm region of interest and an Inner Knuckle Print (IKP) region of interest extracted from an image of a user's palm and knuckles;
    딥러닝에 기반하여 상기 손바닥 관심 영역과 상기 IKP 관심 영역으로부터 손바닥 특징 정보와 IKP 특징 정보를 각각 추출하고,Based on deep learning, palm feature information and IKP feature information are extracted from the palm region of interest and the IKP region of interest, respectively;
    상기 손바닥 특징 정보와 상기 IKP 특징 정보에 기초하여 사용자를 식별하는 것을 특징으로 하는 장문 인식 시스템.and identifying a user based on the palm feature information and the IKP feature information.
  2. 제1항에 있어서,According to claim 1,
    상기 IKP 관심 영역은 복수 개의 손가락 각각에 대한 복수 개의 IKP 관심 영역을 포함하고,The IKP region of interest includes a plurality of IKP regions of interest for each of a plurality of fingers;
    상기 IKP 특징 정보는 상기 복수 개의 IKP 관심 영역 각각에 대한 복수 개의 IKP 특징 정보를 포함하는 것을 특징으로 하는 장문 인식 시스템.The palm print recognition system, wherein the IKP feature information includes a plurality of pieces of IKP feature information for each of the plurality of IKP regions of interest.
  3. 제1항에 있어서,According to claim 1,
    상기 손바닥 특징 정보와 상기 IKP 특징 정보는 벡터값을 포함하는 특징 벡터이며,The palm feature information and the IKP feature information are feature vectors including vector values,
    상기 서버는 상기 특징 벡터의 벡터 공간 내 위치에서 미리 정해진 거리 내에 위치하는 데이터에 기초하여 사용자를 식별하는 것을 특징으로 하는 장문 인식 시스템.The palm print recognition system according to claim 1 , wherein the server identifies the user based on data located within a predetermined distance from a position in the vector space of the feature vector.
  4. 제3항에 있어서,According to claim 3,
    상기 거리는 상기 거리 내에 복수 개의 데이터가 존재하도록 설정되고,The distance is set so that a plurality of data exists within the distance,
    상기 서버는 상기 복수 개의 데이터에 대하여 상기 특징 벡터에 근접한 순으로 상이한 가중치를 두어 사용자를 식별하는 것을 특징으로 하는 장문 인식 시스템.The palm print recognition system of claim 1 , wherein the server identifies the user by assigning different weights to the plurality of pieces of data in order of proximity to the feature vector.
  5. 제3항에 있어서,According to claim 3,
    상기 거리는 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 대하여 상이하게 설정되는 것을 특징으로 하는 장문 인식 시스템.The palm print recognition system, characterized in that the distance is set differently for the palm feature information and the IKP feature information.
  6. 제1항에 있어서,According to claim 1,
    상기 서버는 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 대하여 상이한 가중치를 두어 사용자를 식별하는 것을 특징으로 하는 장문 인식 시스템.The palm print recognition system, characterized in that the server identifies the user by assigning different weights to the palm feature information and the IKP feature information.
  7. 제1항에 있어서,According to claim 1,
    상기 서버는 사용자의 예약 정보를 이용하여 상기 손바닥 특징 정보와 상기 IKP 특징 정보를 예약된 사용자의 특징 정보와 비교함으로써 사용자를 식별하는 것을 특징으로 하는 장문 인식 시스템.The palm print recognition system of claim 1 , wherein the server identifies the user by comparing the palm feature information and the IKP feature information with reserved user feature information using user reservation information.
  8. 제1항에 있어서,According to claim 1,
    상기 서버는 상기 손바닥 특징 정보와 상기 IKP 특징 정보를 추출한 후, 상기 손바닥 관심 영역과 상기 IKP 관심 영역의 원본 정보를 파기하는 것을 특징으로 하는 장문 인식 시스템.The palm print recognition system according to claim 1 , wherein the server extracts the palm feature information and the IKP feature information, and then discards original information of the palm region of interest and the IKP region of interest.
  9. 딥러닝 기반 비접촉식 장문 인식 방법으로서,As a deep learning-based non-contact palm print recognition method,
    사용자의 손바닥과 손가락 마디를 촬영한 영상에서 손바닥 관심 영역과 IKP(Inner Knuckle Print) 관심 영역을 추출하는 단계;extracting a palm region of interest and an inner knuckle print (IKP) region of interest from a photographed image of a user's palm and knuckles;
    딥러닝에 기반하여 상기 손바닥 관심 영역과 상기 IKP 관심 영역으로부터 손바닥 특징 정보와 IKP 특징 정보를 각각 추출하는 단계; 및extracting palm feature information and IKP feature information from the palm region of interest and the IKP region of interest based on deep learning; and
    상기 손바닥 특징 정보와 상기 IKP 특징 정보에 기초하여 사용자를 식별하는 단계를 포함하는 것을 특징으로 하는 장문 인식 방법.and identifying a user based on the palm feature information and the IKP feature information.
  10. 제9항에 있어서,According to claim 9,
    상기 IKP 관심 영역은 복수 개의 손가락 각각에 대한 복수 개의 IKP 관심 영역을 포함하고,The IKP region of interest includes a plurality of IKP regions of interest for each of a plurality of fingers;
    상기 IKP 특징 정보는 상기 복수 개의 IKP 관심 영역 각각에 대한 복수 개의 IKP 특징 정보를 포함하는 것을 특징으로 하는 장문 인식 방법.The IKP feature information includes a plurality of pieces of IKP feature information for each of the plurality of IKP regions of interest.
  11. 제9항에 있어서,According to claim 9,
    상기 손바닥 특징 정보와 상기 IKP 특징 정보는 벡터값을 포함하는 특징 벡터이며,The palm feature information and the IKP feature information are feature vectors including vector values,
    상기 사용자를 식별하는 단계는 상기 특징 벡터의 벡터 공간 내 위치에서 미리 정해진 거리 내에 위치하는 데이터에 기초하여 사용자를 식별하는 것을 특징으로 하는 장문 인식 방법.Wherein the step of identifying the user identifies the user based on data located within a predetermined distance from a position in a vector space of the feature vector.
  12. 제11항에 있어서,According to claim 11,
    상기 거리는 상기 거리 내에 복수 개의 데이터가 존재하도록 설정되고,The distance is set so that a plurality of data exists within the distance,
    상기 사용자를 식별하는 단계는 상기 복수 개의 데이터에 대하여 상기 특징 벡터에 근접한 순으로 상이한 가중치를 두어 사용자를 식별하는 것을 특징으로 하는 장문 인식 방법.Wherein the step of identifying the user identifies the user by assigning different weights to the plurality of pieces of data in order of proximity to the feature vector.
  13. 제11항에 있어서,According to claim 11,
    상기 거리는 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 대하여 상이하게 설정되는 것을 특징으로 하는 장문 인식 방법.The palm print recognition method, characterized in that the distance is set differently for the palm feature information and the IKP feature information.
  14. 제9항에 있어서,According to claim 9,
    상기 사용자를 식별하는 단계는 상기 손바닥 특징 정보와 상기 IKP 특징 정보에 대하여 상이한 가중치를 두어 사용자를 식별하는 것을 특징으로 하는 장문 인식 방법.Wherein the step of identifying the user identifies the user by assigning different weights to the palm feature information and the IKP feature information.
  15. 제9항에 있어서,According to claim 9,
    상기 사용자를 식별하는 단계는 사용자의 예약 정보를 이용하여 상기 손바닥 특징 정보와 상기 IKP 특징 정보를 예약된 사용자의 특징 정보와 비교함으로써 사용자를 식별하는 것을 특징으로 하는 장문 인식 방법.Wherein the step of identifying the user identifies the user by comparing the palm feature information and the IKP feature information with reserved user feature information using the user's reservation information.
  16. 제9항에 있어서,According to claim 9,
    상기 손바닥 특징 정보와 IKP 특징 정보를 각각 추출하는 단계 이후에, 상기 손바닥 관심 영역과 상기 IKP 관심 영역의 원본 정보를 파기하는 단계를 더 포함하는 것을 특징으로 하는 장문 인식 방법.The palm print recognition method further comprising the step of destroying the original information of the palm region of interest and the IKP region of interest after the step of extracting the palm feature information and the IKP feature information, respectively.
  17. 제9항에 있어서,According to claim 9,
    상기 관심 영역을 추출하는 단계는,In the step of extracting the region of interest,
    손바닥 중앙의 키포인트를 중심으로 하고, 상기 손바닥 중앙의 키포인트와 손가락 사이 키포인트의 거리에 기초하여 크기를 설정하여, 손바닥 관심 영역을 추출하는 단계;extracting a palm region of interest by setting a keypoint in the middle of the palm as a center and setting a size based on a distance between the keypoint in the middle of the palm and a finger;
    손가락 마디의 키포인트를 중심으로 하여 세로가 긴 직사각형 형태의 IKP 바운더리 박스를 추출하는 단계; 및Extracting an IKP boundary box in the form of a long rectangle centered on the keypoint of the knuckle; and
    상기 IKP 바운더리 박스 내의 화소 강도에 기초하여 주름이 존재하는 세로축 기준 위치를 찾아 상기 기준 위치를 센터로 하는 IKP 관심 영역을 추출하는 단계를 포함하는 것을 특징으로 하는 장문 인식 방법.and extracting an IKP region of interest having the reference position as a center by finding a reference position on a vertical axis where wrinkles exist based on pixel intensities within the IKP boundary box.
PCT/KR2022/014611 2021-10-26 2022-09-29 Deep learning-based non-contact palm print recognition system and method WO2023075183A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210143392A KR20230063894A (en) 2021-10-26 2021-10-26 System and method for deep learning based non-contact palm print identification
KR10-2021-0143392 2021-10-26

Publications (1)

Publication Number Publication Date
WO2023075183A1 true WO2023075183A1 (en) 2023-05-04

Family

ID=86158040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014611 WO2023075183A1 (en) 2021-10-26 2022-09-29 Deep learning-based non-contact palm print recognition system and method

Country Status (2)

Country Link
KR (1) KR20230063894A (en)
WO (1) WO2023075183A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100753746B1 (en) * 2005-11-30 2007-08-31 강성욱 Hotel reservation and settlement method by using biometrics
JP2020061171A (en) * 2012-09-05 2020-04-16 エレメント，インク． System and method for biometric authentication in connection with camera-equipped devices
KR20200145924A (en) * 2019-06-20 2020-12-31 동국대학교 산학협력단 Finger wrinkle recognition device and method based on deep learning
KR20210019515A (en) * 2018-06-21 2021-02-22 아마존 테크놀로지스, 인크. Contactless biometric system
JP2021157827A (en) * 2017-03-23 2021-10-07 日本電気株式会社 Authentication apparatus, authentication system, authentication method, and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020061375A (en) 2001-01-16 2002-07-24 이승호 Security management system by palm-vein pattern identification
KR20090011127U (en) 2008-04-26 2009-10-29 주식회사지한정보통신 Multimodel biometric identification device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100753746B1 (en) * 2005-11-30 2007-08-31 강성욱 Hotel reservation and settlement method by using biometrics
JP2020061171A (en) * 2012-09-05 2020-04-16 エレメント，インク． System and method for biometric authentication in connection with camera-equipped devices
JP2021157827A (en) * 2017-03-23 2021-10-07 日本電気株式会社 Authentication apparatus, authentication system, authentication method, and program
KR20210019515A (en) * 2018-06-21 2021-02-22 아마존 테크놀로지스, 인크. Contactless biometric system
KR20200145924A (en) * 2019-06-20 2020-12-31 동국대학교 산학협력단 Finger wrinkle recognition device and method based on deep learning

Also Published As

Publication number Publication date
KR20230063894A (en) 2023-05-10

Similar Documents

Publication Publication Date Title
WO2016163755A1 (en) Quality measurement-based face recognition method and apparatus
WO2011096651A2 (en) Face identification method and device thereof
WO2020130309A1 (en) Image masking device and image masking method
WO2015174647A1 (en) User authentication method, device for executing same, and recording medium for storing same
WO2021162195A1 (en) Deep-learning-based identification card authenticity verification apparatus and method
WO2013048160A1 (en) Face recognition method, apparatus, and computer-readable recording medium for executing the method
WO2017099427A1 (en) Convergent biometric authentication method based on finger joint and finger vein, and apparatus therefor
EP3459009A2 (en) Adaptive quantization method for iris image encoding
WO2020196985A1 (en) Apparatus and method for video action recognition and action section detection
WO2018117353A1 (en) Method for detecting borderline between iris and sclera
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2021153858A1 (en) Device for assisting identification by using atypical skin disease image data
WO2014017697A1 (en) Method and device for extracting finger vein pattern using guided gabor filter
WO2020207038A1 (en) People counting method, apparatus, and device based on facial recognition, and storage medium
WO2017115937A1 (en) Device and method synthesizing facial expression by using weighted value interpolation map
WO2018164363A1 (en) Contactless multiple body part recognition method and multiple body part recognition device, using multiple biometric data
WO2013165048A1 (en) Image search system and image analysis server
Chen et al. Detection of human faces in colour images
WO2019035544A1 (en) Face recognition apparatus and method using learning
WO2021040287A1 (en) Person re-identification device and method
WO2020080734A1 (en) Face recognition method and face recognition device
WO2022240029A1 (en) System for identifying companion animal and method therefor
WO2018070576A1 (en) User recognition method using hybrid biometric information and device thereof
WO2021145502A1 (en) Device and method for recognizing face and stress
WO2022045746A1 (en) Computing apparatus and method for authentication of pattern code including facial feature information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887387

Country of ref document: EP

Kind code of ref document: A1