WO2020085632A1 - 생체 인식 기반의 사용자 인증 방법 및 장치 - Google Patents

생체 인식 기반의 사용자 인증 방법 및 장치 Download PDF

Info

Publication number
WO2020085632A1
WO2020085632A1 PCT/KR2019/010781 KR2019010781W WO2020085632A1 WO 2020085632 A1 WO2020085632 A1 WO 2020085632A1 KR 2019010781 W KR2019010781 W KR 2019010781W WO 2020085632 A1 WO2020085632 A1 WO 2020085632A1
Authority
WO
WIPO (PCT)
Prior art keywords
biometric
user
feature
shallow
deep
Prior art date
Application number
PCT/KR2019/010781
Other languages
English (en)
French (fr)
Inventor
안드레비치 오디노키크그랩
안드레비치 솔로마틴이반
미카일로비치 파투코브알렉세이
세르게비치 에피모브유리
세르게비치 나티욱비탈리
알렉세비치 에레메브블라디미르
유주완
이광현
이희준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from RU2018137909A external-priority patent/RU2697646C1/ru
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/288,256 priority Critical patent/US20210382970A1/en
Publication of WO2020085632A1 publication Critical patent/WO2020085632A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • Embodiments relate to a biometrics-based user authentication method and apparatus, and more particularly, to a method and apparatus for authenticating a biometrics-based user using a learning network model.
  • biometric information eg, fingerprint, iris, voice, face, etc.
  • the user authentication function is mainly used in financial devices, access controllers, mobile devices, and laptops.
  • mobile devices such as smart phones are widely used, sensors for personal authentication are provided to protect a lot of information stored in the smart phones. .
  • the user authentication method based on biometrics has limitations because it has high sensitivity to various situations, biometric movements, and other characteristics of the user. For example, in the case of iris recognition, dark lighting, excessive lighting, wearing glasses and contact lenses, blinking eyes, and whether the eyelids or eyelashes are obscured can have a significant effect on performing biometric-based user authentication. You can. This entails an increase in errors in biometrics-based user authentication, deterioration in recognition performance, and reduced access convenience.
  • the problem to be solved by the present disclosure is to solve the above-described problems, and to provide a biometrics-based user authentication method and apparatus using a learning network model to increase the accuracy of user authentication.
  • an embodiment of the present disclosure includes: obtaining a biological image of a user; Obtaining a shallow biometric feature from the acquired biometric image of the user, using a first neural network constituting a learning network model; Obtaining deep biometric features from the acquired biometric image of the user by using a second neural network constituting the learning network model; Determining a similarity between the shallow biometric feature and the deep biometric feature and a pre-stored legitimate user biometric feature; And determining whether the user is the legitimate user based on the determined similarity.
  • the step of acquiring the deep biometric feature may provide a biometrics-based user authentication method comprising the step of acquiring the deep biometric feature from the shallow biometric feature using the second neural network. have.
  • determining the similarity comprises: normalizing the shallow biometric feature and the deep biometric feature of the user; And determining the similarity using the normalized shallow biometric feature and the deep biometric feature of the normalized user.
  • the method when acquiring the biometric image of the user, the method further includes receiving additional information including at least one of context information and user status information, and determining the similarity is based on the additional information.
  • additional information including at least one of context information and user status information
  • determining the similarity is based on the additional information.
  • the neural network may provide a biometrics-based user authentication method including a previously learned convolutional neural network using variational inference.
  • the second neural network may provide a biometrics-based user authentication method including a neural network having 5 or fewer layers of convolutional neural networks.
  • the step of acquiring the biometric image of the user includes taking a biometric image of the user using a camera
  • the biometrics-based user authentication method comprises: It may provide a user authentication method based on biometrics further comprising the step of displaying in all or part of the obscured form.
  • obtaining a biometric image of the legitimate user Obtaining shallow and deep biometric characteristics of the legitimate user from the acquired biometric image of the legitimate user using the learning network model; And storing the obtained biometric and deep biometric features of the legitimate user.
  • further comprising normalizing the shallow biometric feature and the deep biometric feature of the legitimate user, and storing the acquired shallow biometric feature and deep biometric feature of the legitimate user comprises:
  • a method of authenticating a user based on biometrics may be provided, which includes storing a shallow biometric feature and a deep biometric feature of the user.
  • a memory for storing one or more instructions; And at least one processor that executes the one or more instructions stored in the memory, wherein the at least one processor executes the one or more instructions to obtain a biometric image of a user and to construct a learning network model.
  • a shallow biometric feature is obtained from the acquired biometric image of the user and deep from the acquired biometric image using the second neural network constituting the learning network model.
  • a biometric based user authentication device Can provide.
  • One embodiment of the present disclosure includes a program stored on a recording medium to execute a method according to an embodiment of the present disclosure on a computer.
  • One embodiment of the present disclosure includes a computer-readable recording medium recording a program for executing a method according to an embodiment of the present disclosure on a computer.
  • One embodiment of the present disclosure includes a computer-readable recording medium that records a database used in one embodiment of the present disclosure.
  • a biometrics-based user authentication method and device are provided to increase the accuracy of biometrics and to conveniently authenticate a user.
  • FIG. 1 is a diagram illustrating an outline of a method of performing user authentication based on biometric recognition according to an embodiment.
  • FIG. 2 is a flowchart schematically showing a flow of a biometric based user authentication method performed by a biometric based user authentication device according to an embodiment.
  • FIG. 3 is a diagram illustrating a method of performing a biometrics-based user authentication process by extracting shallow and deep biometric features from a biometric image according to an embodiment.
  • FIG. 4 is a diagram illustrating a method of performing a biometric based user authentication process by extracting a shallow feature from a biometric image and extracting a deep feature from the shallow feature according to an embodiment.
  • FIG. 5 is a block diagram of a biometrics-based user authentication method for performing a user authentication process in consideration of a biometric mask according to an embodiment.
  • FIG. 6 is a diagram illustrating a method of processing a biological image using a neural network including one or more convolution layers according to an embodiment.
  • FIG. 7 is a diagram illustrating an outline of a biometric based user authentication method performed by a mobile device according to an embodiment.
  • FIG. 8 is a diagram illustrating an outline of a biometric based user authentication method performed by a mobile device through a server according to an embodiment.
  • FIG. 9 is a diagram illustrating an outline of a method of recognizing a user's iris with a user's face covered according to an embodiment.
  • FIG. 10 is a diagram illustrating an outline of a method for performing a biometrics-based user authentication process using additional information according to an embodiment.
  • FIG. 11 is a flowchart of a biometric based user authentication method performed by a device according to an embodiment.
  • FIG. 12 is a flowchart of a biometrics-based user authentication method performed by a biometrics-based user authentication device through a normalization process using a mask according to an embodiment.
  • FIG. 13 is a diagram schematically showing a flow of a method for extracting shallow biometric features from a user's biometric image according to an embodiment.
  • FIG. 14 is a diagram schematically showing a flow of a method for extracting shallow biometric features from a user's biometric image according to an embodiment.
  • 15 is a flowchart of a user authentication method based on biometric recognition using additional information according to an embodiment.
  • 16A and 16B are diagrams showing experimental results according to an embodiment.
  • 17 is a block diagram schematically showing the configuration of a biometric based user authentication device according to an embodiment.
  • “comprising at least one of a, b, or c” means “a only, b only, c only, a and b, or b and c,” It may mean that it includes a and c, or that it includes both a, b and c.
  • part as used in the present disclosure means a hardware component such as software, FPGA, or ASIC, and “part” performs certain roles. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors.
  • part refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, procedures, Includes subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables.
  • the functionality provided within components and “parts” can be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • One embodiment of the present disclosure can be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented with various numbers of hardware and / or software configurations that perform particular functions.
  • the functional blocks of the present disclosure can be implemented by one or more microprocessors, or by circuit configurations for a given function.
  • functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks can be implemented with algorithms running on one or more processors.
  • the present disclosure may employ conventional techniques for electronic environment setting, signal processing, and / or data processing.
  • AI-related functions are operated through a processor and a memory.
  • the processor may consist of one or more processors.
  • the one or a plurality of processors may be a general-purpose processor such as a CPU, an AP, or a digital signal processor (DSP), a graphic processor such as a GPU or a vision processing unit (VPU), or an artificial intelligence processor such as an NPU.
  • DSP digital signal processor
  • VPU vision processing unit
  • an artificial intelligence processor such as an NPU.
  • One or a plurality of processors are controlled to process input data according to predefined operation rules or artificial intelligence models stored in the memory.
  • the AI-only processors may be designed with a hardware structure specialized for processing a specific AI model.
  • the predefined motion rules or artificial intelligence models are characterized by being created through learning.
  • the basic artificial intelligence model is learned using a plurality of training data by a learning algorithm, thereby creating a predefined operation rule or artificial intelligence model set to perform a desired characteristic (or purpose). It means Jim.
  • Such learning may be performed on a device on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and / or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the examples described above.
  • the artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and performs a neural network operation through calculation between a result of calculation of a previous layer and a plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by learning results of the artificial intelligence model. For example, a plurality of weights may be updated such that a loss value or a cost value obtained from the artificial intelligence model is reduced or minimized during the learning process.
  • the artificial neural network may include a deep neural network (DNN), for example, Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), There are Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN) or Deep Q-Networks, but are not limited to the above-described examples.
  • DNN Deep neural network
  • a convolutional neural network may include a convolutional layer, a pooling layer, and an activation map.
  • the pooling layer can be used to receive the output data of the CNN as input and reduce the size of the output data activation map or to emphasize specific data.
  • biometrics-based user authentication process is described assuming a process for releasing the lock screen for convenience of description.
  • the same user authentication technology can be applied to the user authentication process such as asset management, payment system, etc. rather than unlocking the screen.
  • FIG. 1 is a diagram illustrating an outline of a method of performing user authentication based on biometric recognition according to an embodiment.
  • the biometrics-based user authentication process may authenticate a user using the neural network 120.
  • the device 100 may acquire a biometric image 110 of the user.
  • the device 100 may acquire a shallow biometric feature and a deep biometric feature of the user by processing the biometric image 110 of the user acquired using the neural network 120.
  • the bio-characteristics are features of a human body shape, such as a face (face), facial thermogram, fingerprint, iris, retina, ear, hand, palm, eyelid shape, eyelash shape, skin, vein, etc. , Human behavioral features such as voice, gait, signature, and the like.
  • Biometric features may be the subject of biometrics. As described above, the bio-characteristics generally refer to the bio-characteristics of humans, but the animal bio-characteristics may be used according to embodiments.
  • Shallow biometric features and deep biometric features may be determined according to the range of learned data, the number of training times, the type of neural network used for learning, and the type and number of layers constituting the neural network used for learning, but are not limited thereto. no.
  • the shallow biometric feature may be a biometric feature in which the stride is greater than 1 to express the contour of the biometric image
  • the deep biometric feature may be a biometric feature in which the stride is 1 to express the detailed characteristic of the biometric image.
  • the shallow biometric feature may be a biometric feature representing the texture of the biometric image extracted by the initial shallow layer of the neural network 120.
  • the deep biometric feature may be a biometric feature showing details of a biometric image extracted by a deep layer of the neural network 120.
  • the neural network 120 may be a set of algorithms that perform user authentication. Also, the neural network 120 may be implemented with software or an engine for executing the above-described algorithm set. The neural network 120 implemented in software or engine may be executed by a processor in a server or a processor in the device 100. In one embodiment, the neural network 120 may include a plurality of layers composed of a plurality of nodes. For example, the neural network 120 may include an input layer, a hidden layer, an output layer, and the like. Also, the neural network 120 may include connection weights connecting a plurality of nodes included in each of the plurality of layers to a node included in another layer. According to an embodiment, the neural network 120 may include a first network 130 and a second network 150.
  • the first network 130 may be used to extract shallow biometric features from the user's biometric image 110
  • the second network 150 may be used to extract deep biometric features from the user's biometric image 110
  • the first network 130 and the second network 150 may be separate neural networks.
  • the device 100 may extract shallow biometric features from the user's biometric image 110 using the first network, and extract deep biometric features from the user's biometric image 110 using the second network.
  • the second network 150 is connected to the first network 130 and is a set of distinct layer (s) constituting the first network 130 and one neural network 120 Can be That is, the first network 130 and the second network 150 may be included in a single neural network.
  • the device 100 extracts a shallow biometric feature from the user's biometric image 110 using the first network 130, and the second network connected to the first network 130 from the extracted shallow biometric feature ( 150) can be used to extract deep biological features. That is, instead of using two different neural networks, the device 100 may extract shallow and deep biometric features by combining multiple layers in a single neural network.
  • the device 100 may calculate a similarity 170 to the legitimate user's biometric characteristic stored in the database 190 based on the acquired biometric characteristic and the shallow biometric characteristic of the user. According to the calculated similarity 170, the device 100 may determine whether the user is a legitimate user, and allow the user to access the device 100. According to an embodiment, the device 100 may perform a biometric authentication-based biometric authentication method with high accuracy. In addition, the device 100 may improve the performance of a user authentication service based on biometric recognition in a mobile computing device having limited computing resources.
  • the device 100 includes a smart phone, a tablet personal computer (PC), a PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a netbook, a media player, a micro server, and a global positioning system (GPS). system) device, e-book terminal, digital broadcasting terminal, navigation, kiosk, MP3 player, digital camera, home appliance, and other mobile or non-mobile computing devices, but is not limited thereto. Further, the device 100 may be a wearable device such as a watch, glasses, hair band, and ring equipped with a communication function and a data processing function.
  • a wearable device such as a watch, glasses, hair band, and ring equipped with a communication function and a data processing function.
  • FIG. 2 is a flowchart schematically showing a flow of a biometric based user authentication method performed by a biometric based user authentication device according to an embodiment.
  • the device 100 may acquire a biometric image of the user.
  • the device 100 may acquire a user's biometric image using a camera, an image sensor, a depth sensor, and the like, but is not limited thereto.
  • the device 100 may acquire a shallow biometric feature from the acquired biometric image 110.
  • the device 100 may acquire a shallow biometric feature from the acquired biometric image of the user using the first neural network constituting the learning network model.
  • the device 100 may acquire a deep biometric feature from the acquired biometric image 110 of the user.
  • the device 100 may acquire a deep biometric feature from the acquired biometric image of the user using the second neural network constituting the learning network model.
  • the device 100 may acquire a deep biometric characteristic from a shallow biometric characteristic of the acquired user, using a second neural network constituting a single neural network together with the first neural network. That is, a shallow biometric characteristic that is a result of passing through the output layer of the first neural network may be an input of the input layer of the second neural network.
  • the second neural network may include a different number of layers than the first neural network.
  • the second neural network may include fewer layers than the first neural network.
  • the number of layers of the second neural network, the order and parameters of the total transformation may be the same as or different from the number of layers of the first neural network, the order and parameters of the total transformation, depending on the allowable number of the second neural network, , It can be determined according to the processing speed of data and the degree of demand for recognition accuracy.
  • the first neural network and the second neural network can operate on a local computing device. Accordingly, the device 100 may enhance the privacy of the user's personal biometric data. In another embodiment, the first neural network and the second neural network may be stored in a secure cloud, and the device 100 may use the first neural network and the second neural network online through a server. This can reduce the delay due to the use capacity and overload of the device 100 by passing some or all of the load generated when the device 100 extracts the shallow and deep biometric features to the server.
  • the device 100 may determine the similarity between the user's biometric features including shallow and deep biometric features and the pre-stored legitimate user's biometric features. Similarity is information that shows the similarity between a legitimate user's biometric feature and the current user's biometric feature, for example, various techniques such as mean square error, Euclidean distance, and Kullback-Leibler divergence. Can be determined through.
  • the device 100 may use the database 190 to use the pre-stored legitimate user's biometric features.
  • the device 100 may use a neural network to determine the similarity between the legitimate user's biometric feature and the current user's biometric feature. For example, the device 100 may determine similarity using one or more layers of a convolutional neural network. However, the method of determining the similarity is not limited to this.
  • the device 100 may determine whether the user is a legitimate user based on the determined similarity. In one embodiment, if the similarity is higher than the threshold, the device 100 may allow the user to access the device 100. In another embodiment, if the similarity is lower than the threshold, the device 100 may not allow the user to access the device 100.
  • the threshold may be a preset value or a value determined as suitable by the learning network model, but is not limited thereto.
  • a threshold for comparison may be set after testing is completed on a sample of the test.
  • the results of the test can be used to construct a curved receiver operating characteristic (ROC) that reflects the relationship between false non-match rate (FNMR) and false match rate (FMR).
  • ROC curved receiver operating characteristic
  • FNMR false non-match rate
  • FMR false match rate
  • the threshold value may be determined according to a value in which the FNMR and FMR values are maintained within limits allowed by preset recognition accuracy requirements.
  • FIG. 3 is a diagram illustrating a method of performing a biometric based user authentication process by extracting shallow and deep biometric features from a biometric image according to an embodiment.
  • the device may acquire a biometric image 350 of a user and a biometric image 370 of a legitimate user.
  • the user's biometric image 350 may be an enlarged iris image obtained in a dark environment
  • the legitimate user's biometric image 370 may be acquired in a bright environment.
  • the pupil may be a reduced iris image.
  • the device may obtain the first mask 330 and the second mask 390 which are the results of normalizing the biometric image 350 of the user and the biometric image 370 of the legitimate user, respectively, using a learning network model. .
  • the device extracts shallow and deep biometric features from the user's biometric image 350, first mask 330, legitimate user's biometric image 370 and second mask 390 using a neural network. can do.
  • the acquisition process of the first mask 330 and the second mask 390 may be omitted. Accordingly, the device can directly extract the user's biometric and deep biometric features from the user's biometric image 350 in a dark environment and the legitimate user's biometric image 370 in a bright environment.
  • the device may determine the similarity between the legitimate user's biometric feature and the user's biometric feature based on the extracted shallow biometric features and deep biometric features.
  • the device maintains a fast authentication speed in the biometric based user authentication process 300 by using both shallow and deep biometric features, and the biometric based user authentication process 300 Accuracy can be increased.
  • the similarity may be determined using the additional information 310 along with the extracted shallow and deep biometric features. For example, the device may determine similarity by using information obtained in an environment where the user's biometric image 350 is dark and information obtained in an environment where the user's biometric image 370 is bright.
  • the additional information 310 is a biometric image 350 including weather and time when acquiring the biometric image 350 of the user, a degree of illumination, and time when the biometric image 350 of the user is acquired, etc. ) May include, but is not limited to, status information and the user's status information including whether the user wears glasses or lenses, the degree of pupil expansion or contraction, and biometric feature information other than the bio-part to be acquired.
  • the additional information 310 may be numerical expression information representing distorted information of values constituting a pixel of a biological image based on context information when obtaining a biological image and status information of a user.
  • the additional information 310 may be expressed as a vector, and may be used when a device determines similarity, along with shallow and deep biometric characteristics. According to an embodiment, by additionally considering the additional information 310, the device may perform a biometrics-based user authentication process with more accurate recognition.
  • the device may determine, based on the determined similarity, whether the user's biometric feature matches a legitimate user's biometric feature. In one embodiment, if the similarity is higher than the threshold, the device may allow the user to access the device. In another embodiment, if the similarity is lower than the threshold, the device may not allow the user to access the device.
  • the threshold may be a preset value or a value determined as suitable by the learning network model, but is not limited thereto.
  • FIG. 4 is a diagram illustrating a method of performing a biometric based user authentication process by extracting a shallow feature from a biometric image and extracting a deep feature from the shallow feature according to an embodiment.
  • the device may acquire a biometric image 450 of the user and a biometric image 470 of the legitimate user.
  • the user's biometric image 450 may be an enlarged iris image of a pupil obtained in a dark environment
  • the legitimate user's biometric image 470 may be acquired in a bright environment.
  • the pupil may be a reduced iris image.
  • the device may obtain the first mask 430 and the second mask 490 which are the results of normalizing the biometric image 450 of the user and the biometric image 470 of the legitimate user, respectively, using a learning network model. .
  • the device may extract a shallow feature from the biometric image 450 of the user, the first mask 430, the biometric image 470 of the legitimate user, and the second mask 490 using a neural network.
  • the process of acquiring the first mask 430 and the second mask 490 is omitted, and the device is a biometric image 450 of a user in a dark environment and a biometric image 470 of a legitimate user in a bright environment ), You can extract the shallow features of the user.
  • the device may extract deep features from the shallow features extracted using the neural network. That is, a shallow feature can be extracted from an initial layer of a single neural network, and a deep feature can be extracted from a deep layer. According to an embodiment, the device may increase recognition accuracy by using shallow and deep features. In addition, by extracting a deep feature from a shallow feature, the device can simplify the structure of the neural network than when using two different neural networks by performing all procedures of the user authentication system in a single neural network. Based on a simplified network structure, a user authentication system can operate on a mobile device with limited computing resources.
  • the device may determine the similarity between the legitimate user's biometric feature and the user's biometric feature based on the extracted shallow and deep features.
  • the device may maintain a fast authentication speed of the biometric based user authentication process 400 and increase the accuracy of the biometric based user authentication process 400 by using both shallow and deep features.
  • the user authentication system can operate on a mobile device with limited computing resources.
  • the similarity may be determined using the additional information 410 along with the extracted shallow and deep features.
  • the additional information 410 is a biometric image 450 including weather and time when acquiring the biometric image 450 of the user, a degree of illumination, and time when the biometric image 450 of the user is acquired, and the like. It may include, but is not limited to, status information and the user's status information including whether the user wears glasses or lenses, the degree of pupil expansion or contraction, and biometric feature information other than the bio-part to be acquired.
  • the additional information 410 may be numerical expression information indicating distorted information of values constituting a pixel of a biological image by context information when obtaining a biological image and status information of a user.
  • the additional information 410 may be expressed as a vector, and may be used when a device determines similarity, along with shallow and deep features. According to an embodiment, by additionally considering the additional information 410, the device may perform a biometric recognition-based user authentication process with more accurate recognition.
  • the device may determine whether the user's biometric feature matches a legitimate user's biometric feature. In one embodiment, if the similarity is higher than the threshold, it may allow the user to access the device. In another embodiment, if the similarity is lower than the threshold, the device may not allow the user to access the device.
  • the threshold may be a preset value or a value determined as suitable by the learning network model, but is not limited thereto.
  • FIG. 5 is a block diagram of a biometrics-based user authentication method that performs a user authentication process in consideration of a biometric mask according to an embodiment.
  • the device may acquire a first biometric image 504 and a second biometric image 506.
  • the first biometric image 504 may be a biometric image of a user acquired in a dark environment
  • the second biometric image 506 may be a biometric image of a legitimate user acquired in a bright environment and stored in the memory.
  • the device acquires a first mask 502 and a second mask 508 that are the results of processing the first biometric image 504 and the second biometric image 506, respectively, through a normalization process, The second mask can be stored in the memory.
  • the device may extract a shallow biometric feature from the first biometric image 504 using the first convolution block of the neural network.
  • the device may extract shallow biometric features from the second biometric image using the first convolution block of the neural network. That is, the convolution block extracting the shallow biometric feature for the first biometric image and the convolution block extracting the shallow biometric feature for the second biometric image may be the same block.
  • the shallow biometric features extracted from the first biometric image 504 and the second biometric image 506 may be used to extract biometric features of the second convolution block of the neural network.
  • the device may generate a shallow biometric feature vector using the first mask 502 and the second mask 508.
  • a shallow bio-feature vector may be used at 540 by the device to express shallow bio-features using variational inference.
  • the device may extract a deep biometric feature from the shallow biometric feature using the second convolutional block of the neural network.
  • Deep biometric features may be used by the device at 560 to express deep biometric features using variational inference.
  • the device may determine similarity using shallow and deep biometric features.
  • the device may further consider additional information 570 to determine similarity.
  • the additional information 570 is context information when obtaining a biological image including weather and time when obtaining the user's biological image, degree of illumination, and time when the user's biological image is acquired, and whether the user wears glasses or a lens , The degree of pupil expansion or contraction, and the user's status information including bio-characteristic information other than the bio-part to be acquired, but may not be limited thereto.
  • the device may perform a more accurate biometric based user authentication process.
  • the device may be enlarged of the first biometric image in consideration of additional information including information obtained in an environment where the first biometric image 504 is dark and information obtained in an environment where the second biometric image 506 is bright.
  • additional information including information obtained in an environment where the first biometric image 504 is dark and information obtained in an environment where the second biometric image 506 is bright.
  • the similarity between the pupil and the reduced pupil of the second biological image can be determined.
  • the device may determine whether the user's biometric image matches the legitimate user's biometric image based on the determined similarity.
  • a normalization process may be additionally used in the process of the device expressing a shallow biometric characteristic at 540, the device determining similarity at 580, and determining whether the device matches the biometric characteristic of a legitimate user at 590. You can.
  • FIG. 6 is a diagram illustrating a method of processing a biological image using a neural network including one or more convolution layers according to an embodiment.
  • the biometric image is described as an iris image 600, but is not limited thereto, and may include other physical shape images such as a fingerprint image, a face image, a hand image, a retinal image, an ear image, and a palmist image.
  • the learning network model may alternately include a layer performing a convolution operation and a layer performing a transformation operation.
  • the learning network model may include a layer that performs both transformation and convolution operations.
  • the layer performing the transformation operation may be configured after the layer performing some convolutional operations, rather than the layer performing all the convolutional operations.
  • the layer performing the transformation operation may be omitted, and the result of the convolution operation by one or more layers performing the convolution operation may be output as it is.
  • the first convolutional layer 610 of the neural network has a dimension , And may be a single convolution layer with a stride of 1.
  • the first convolution layer 610 does not perform activation, does not reduce dimensions, and may not be transformed by other activation functions.
  • the first convolution layer 610 may perform a convolution operation using the iris image 600.
  • the layer performing the transformation operation following the first convolution layer 610 may generate the first transformation image 620 from the result of the convolution operation.
  • the transformation operation may be performed by the first convolution layer 610.
  • the second convolutional layer 630 having a dimension may perform a convolution operation using the first transformed image 620.
  • the layer performing the transformation operation following the second convolution layer 630 may generate the second transformation image 620 from the convolution operation result.
  • the transformation operation may be performed by the second convolution layer 630.
  • the device may generate a final modified image 660 from the iris image 600 using d convolutional layers. Using the first modified image 620 to the final modified image 660, a biometric feature map This can be generated. Biometric feature map Can be expressed as
  • FIG. 7 is a diagram illustrating an outline of a biometric based user authentication method performed by a mobile device according to an embodiment.
  • the device 100 may be a mobile device.
  • the device 100 may acquire the user's biometric image 720 through a camera, but the user's biometric image 720 may be obtained by a sensor including a voice sensor, an image sensor, or the like, other than the camera. It may be obtained, but is not limited thereto.
  • the device 100 may acquire additional information at the time of obtaining the user's biometric image 720.
  • the device 100 may extract a shallow biometric feature from the acquired biometric image 720 using a single neural network 740 constituting the learning network model, and extract a desired biometric feature from the shallow biometric feature.
  • the device 100 may additionally consider additional information when extracting deep and shallow biometric features.
  • the device 100 may determine a similarity 760 to a biometric feature of a legitimate user using a deep biometric feature and a shallow biometric feature extracted using a single neural network 740. In one embodiment, the device 100 may determine, based on the similarity 760, whether the user's biometric feature matches a legitimate user's biometric feature.
  • the device 100 extracts shallow biometric features from a shallow layer of a single neural network 740 and extracts deep features from a deep layer of a single neural network 740 to perform all procedures of the user authentication system. It may proceed in a single neural network 740. Therefore, the device 100 can simplify the structure of the neural network than when using two different neural networks. Based on a simplified network structure, a user authentication system can operate on a mobile device with limited computing resources. By extracting the biometric features of the user by the device 100 itself, the privacy of the user can be enhanced and the need for access to unnecessary networks can be reduced.
  • FIG. 8 is a diagram illustrating an outline of a biometric based user authentication method performed by a mobile device through a server according to an embodiment.
  • the device 100 may acquire a user's biometric image 800 through a camera, but the user's user may be provided by a sensor including a voice sensor, an image sensor, and the like, other than the camera.
  • the biological image 800 may be acquired, but is not limited thereto.
  • the device 100 may acquire additional information at the time of acquiring the user's biometric image 800.
  • the device 100 may transmit the user's biometric image 820 to the server 840.
  • the device 100 may also transmit additional information to the server 840. According to one embodiment, after the device 100 performs at least a part of the process of processing the biometric image described above with reference to FIG. 7 in the device 100 before transmitting the user's biometric image 820 to the server 840.
  • the partially processed biometric image 820 may be transmitted to the server 840.
  • the server 840 may extract deep and shallow biometric features from the biometric image 820 using the neural network 860.
  • the server 840 may determine the similarity 880 between the user's biometric feature and the legitimate user's biometric feature by comparing the user's biometric feature and the legitimate user's biometric feature stored in the database.
  • the server 840 may transmit the determined similarity 880 to the device 100.
  • the device 100 receiving the similarity 880 may determine whether the user is a legitimate user based on the similarity 880 and allow the user access accordingly.
  • the device 100 can quickly complete the user authentication process without delay due to load. .
  • FIG. 9 is a diagram illustrating an outline of a method of recognizing a user's iris with a user's face covered according to an embodiment.
  • a user may look at the camera of the device 100 to recognize the iris of the device 100.
  • the device 100 may acquire the iris image 920 of the user through the camera.
  • the device 100 may output an image 940 other than the user's face on the screen. That is, the device 100 may display the iris image 920 of the user in a partially or partially obscured form.
  • the device 100 may display the iris image 920 of the user in the form of a mask or an animal.
  • the other image 940 may be an image set by the user or an image recommended by the device 100.
  • the user's biometric image 920 is output in a completely or partly obscured state, so that the device 100 may reduce the mental discomfort that a user's face is exposed on the screen.
  • the user may select a photo preferred by the user as another image 940.
  • the administrator of the biometrics-based user authentication security application may promote the use of the biometrics-based user authentication security application to the user through a method such as eye contact with a shape in a preferred picture.
  • iris recognition for convenience, it is not limited to iris recognition, and the method can be applied to all biometric recognition processes.
  • FIG. 10 is a diagram illustrating an outline of a method for performing a biometrics-based user authentication process using additional information according to an embodiment.
  • the device 100 may perform a biometric based user authentication process in consideration of additional information.
  • the additional information may include at least one of the status information 1000 and the user's status information when obtaining the user's biometric image.
  • the context information 1000 may include the intensity of the wind, the intensity of the light, the intensity of the sunlight, day and night, indoor / outdoor location of the place where the biological image was acquired, and the like.
  • the device 100 may perform an user authentication process by obtaining an iris image in the opened state 1020 in consideration of an environment in which the intensity of wind or sunlight is strong.
  • a case where an iris image is acquired during the day or an iris image obtained at night is considered.
  • the device 100 considers a state in which the pupil is contracted due to the intensity of light (1040) and an expanded state (1060) when the iris image is acquired at night. You can do
  • the user's status information may include, but is not limited to, the degree of occlusion of the iris by the eyelashes and eyelids, whether the user wears glasses or a contact lens.
  • the device 100 may perform a user authentication process in consideration of the iris obscured by the spectacle frame and the reflection of light by the spectacle lens.
  • the device 100 may consider both the context information 1000 and the user's status information when obtaining the user's biometric image. For example, a situation in which the user is not wearing glasses indoors (1010), a situation in which the user is not wearing glasses outdoors (1030), a situation in which the user is wearing glasses indoors (1050), the user The device 100 may perform an iris recognition-based user authentication process in consideration of a situation (1070) of wearing glasses outdoors.
  • iris recognition-based user authentication process has been described, but is not limited to iris recognition, and the method may be applied to all biometric-based user authentication processes.
  • FIG. 11 is a flowchart of a biometric based user authentication method performed by a device according to an embodiment.
  • the device may acquire a biometric characteristic of a legitimate user extracted in advance and stored in a memory.
  • the device may acquire a biometric image of a legitimate user in advance.
  • the device may acquire a biometric feature from a biometric image of a legitimate user obtained using a learning network model.
  • the biometric feature may include both shallow and deep biometric features, or may include only shallow biometric features or only deep biometric features.
  • the device may store the acquired biometric characteristics of the legitimate user.
  • the device may use the stored biometric characteristics of the legitimate user.
  • the device is a biometric feature map corresponding to a biometric feature of a legitimate user extracted in advance and stored in memory Can be obtained.
  • Legitimate user's biometric feature map May be extracted in advance in the process of registering a legitimate user on the device.
  • the device acquires an image of a legitimate user and processes the biometric image of the legitimate user using the learned convolutional neural network to map the biometric feature Create, and legitimate user's biometric feature map Can be stored in the device's memory to register a legitimate user as the owner of the device.
  • a legitimate user registration process may be performed in the initial activation phase.
  • a legitimate user's biometric feature map The neural network that generated the can be used in the user authentication process to determine whether the user of the device is a legitimate user.
  • the device may acquire a biometric image of the user.
  • the device may initiate a user authentication process to determine whether the current user of the device is a legitimate user.
  • the device may acquire a biometric image using a camera or sensor. 1110 may correspond to 210 described above with reference to FIG. 2.
  • the device may obtain a biometric feature map of the user from the biometric image of the user by processing the biometric image of the user using the first block of the neural network.
  • the first block of the neural network is a biometric feature map of a legitimate user It may be the same as the first block of the neural network used in the process of generating. That is, the device processes at least one biometric feature map of the current user by processing the biometric image of the user using the first block used in the registration process of the legitimate user. You can create
  • processing the user's biometric image using the first block of the neural network may include the following steps: There is no activation layer, and a pooling layer that reduces dimension. Processing the image by n or fewer convolutional layers of the first block of the neural network configured to have at least 1 stride, with or without a pooling layer, and i or fewer transform layers and n or fewer Performing a convolution operation obtained as an output that passes through the convolution layer of.
  • n, the number of convolution layers, and i, the number of transform layers may be 3 or less.
  • the transformation is a hyperbolic tangent tanh (x) function, a transformation by an activation function, a transformation by a quantization function, a transformation by a binarization function It may include, but is not limited to this.
  • the structure of such a neural network can ensure the lightness of the neural network with all possible advantageous effects.
  • the first block of the neural network may include a single convolutional layer with a stride of 1, and may not include an activation layer and a pooling layer. That is, the device may perform convolutional calculation using the first block of the neural network, and may not perform transformation and reduction of dimensions by an activation function.
  • the first block of the neural network may include a single convolutional layer and an activation layer.
  • the device may perform a convolution operation by a single convolution layer and then a transformation by an activation layer using the first block of the neural network. For example, after performing a convolution operation by a single convolution layer using the first block of the neural network, the device uses the hyperbolic tangent function tanh (x) to calculate the convolution operation result.
  • the activation function may be a function such as sigmoid (x), arctg (x), softsign (x), relu (x), elu (x), prelu (x), sin (x), but is limited thereto. It does not work.
  • the convolution operation by a single convolution layer may follow after the transformation operation.
  • the deformation operation may be performed by a convolutional layer.
  • the first modification operation may be performed by the first convolutional layer.
  • the deformation operation may be performed by a layer performing the deformation operation.
  • the layers performing the transformation operation are alternately arranged with the convolution layer to form a neural network.
  • the device may use blocks of the neural network without separating them instead of using separate blocks.
  • the device may generate a shallow feature vector by performing an element-wise operation of each biometric feature map using a neural network.
  • the device maps at least one biometric feature of the user Components of And at least one biometric feature map of legitimate users Components of Shallow feature vector by performing the operation of each component of Can generate
  • the operation for each component may be performed according to the following [Equation 1].
  • the operation for each component is a map of at least one biometric feature of the user Component of And at least one biometric feature map of legitimate users Components of It may be L1-norm or L2-norm performed on.
  • the device may map a shallow feature vector to another feature space using a neural network.
  • Device shallow feature vector Shallow feature vectors in different feature spaces, using one or more additional layers of the neural network to obtain Can be mapped. That is, the other feature space may mean a space that is mapped using one or more additional layers of the neural network, and the device may be connected to another feature space. As a result of mapping, shallow feature vector Can be obtained.
  • the device uses a neural network to map a biometric feature of a legitimate user And user's biometric feature map Can be combined.
  • the device is at least one biometric feature map of a legitimate user And at least one biometric feature map of the user Can be combined.
  • the device may map at least one biometric feature of a legitimate user through component-specific operation. And at least one biometric feature map of the user It is possible to obtain the result of the combination.
  • the operation for each other component may be an operation for a difference in the sum or product of values for pairs corresponding to the component, but is not limited thereto.
  • the device uses the second block of the neural network to map at least one biometric feature of a legitimate user. And at least one biometric feature map of the user Deep feature vector by processing the combined result of Can generate
  • the structure eg, number of layers, number of transforms, order, etc.
  • parameters of the second block of the neural network may correspond to the structure and parameters of the first block of the neural network.
  • the structure and parameters of the first block and the second block may be matched or different according to an allowable number in the network, and may be determined according to the processing speed of data and the accuracy of required recognition.
  • the device may reduce the lightness of the structure of the neural network by extracting deep biometric features from shallow and biometric features.
  • the network structure can be simplified.
  • the device can increase the accuracy of the biometric process without using a deep neural network with a large number of parameters.
  • the neural network according to an embodiment is used by a mobile device because the neural network is light. Can be. That is, the neural network according to an embodiment may solve the problem of the biometrics-based user authentication process under conditions (eg, limited computing resources of the mobile device) that the existing neural network does not face.
  • the device uses a neural network to shallow feature vectors Feature vector deep in a feature space different from the feature space mapped Can be mapped.
  • Device deep feature vector Feature vectors deep in different feature spaces, using one or more additional layers of the neural network to obtain Can be mapped.
  • shallow feature vector A feature space that is mapped to and another feature space may mean a space that is mapped using one or more additional layers of the neural network, and one or more additional layers of the neural network may be a shallow feature vector. It may be a layer different from the layer used when mapping. Devices are in different feature spaces As a result of mapping, shallow feature vector Can be obtained.
  • a feature vector deep in the feature space The layer of the neural network used to map the may be a fully-connected layer.
  • the layers of the neural network may be arranged consecutively and have one or more distribution parameters.
  • the device may determine the similarity between the legitimate user's biometric feature and the user's biometric feature based on the result of combining the shallow feature vector and the deep feature vector.
  • the device uses a neural network, similarity vector Shallow feature vector to obtain And deep feature vectors Can be combined. I.e. similarity vector Vector, shallow features And deep feature vectors It may be the result of combining. Similarity vector To obtain, one or more additional layers of the neural network can be used. Similarity vector, according to one embodiment Can be mapped to a space of dimension 1 by one or more additional layers of the neural network. In other words, the similarity vector in the space with dimension 1 As a result of being mapped, the device may acquire similarity.
  • the layer (s) of the neural network used to map the may be a fully-connected layer (s) having the same dimension.
  • vector , And The layers of the neural network used to map are arranged in series, and may have one or more distribution parameters.
  • the vector , And The number of layers of the neural network used to map the may be determined by the number of one or more distribution parameters, and the dimension of the distribution may be determined by the number of components constituting each layer.
  • each distribution may be a standard normal distribution having expected and variance parameters, but is not limited thereto.
  • the distribution can have different parameters.
  • the distribution may be a gamma distribution, a log-normal distribution, a Poisson distribution, etc., but is not limited thereto.
  • the shallow feature vector And deep feature vectors Shallow feature vector to obtain And deep feature vectors
  • the feature space mapped to is a shallow feature vector And deep feature vectors It may be a space having a dimension equal to or greater than the feature space obtained.
  • similarity vectors The feature space to be mapped may be a space having a dimension of 1. That is, the device is a similarity vector Similarity can be determined in this mapped feature space. Accordingly, similarity vector Similarity vector in the feature space to which it is mapped As a result of mapping, the device may acquire similarity.
  • the neural networks used in 1125, 1140 and 1145 can be learned in advance using variational inference.
  • Variance inference used in the learning of neural networks is approximation to a probability distribution that is easy to handle posterior distribution, and can be obtained by sampling arbitrary values from the distribution.
  • Variance inference is generated in the learning stage of a neural network and can represent a selection of values from a distribution defined by a fully-connected layer with the same dimensions.
  • the components of the layer may be parameters of distributions.
  • the number of parameters defining the distribution is determined by the number of fully connected layers, and the dimension of each distribution may be determined according to the number of components included in each layer.
  • the selection of values from the distribution can be performed randomly in the learning process of the direct pass.
  • distribution parameters can be learned.
  • the selection of values from the distribution can be determined by using a function that is the distribution parameter.
  • the distribution has the parameter ) And variance ( ) Is a standard normal distribution, and the function is Can be
  • the convolutional neural network can be trained using a training data set, which is a set of pairs of comparisons.
  • the type of comparison may be one of two: the same living body, or two different living bodies.
  • the structure of the neural network (number of parameters, type and number of layers, etc.) may be selected in consideration of data processing speed and recognition accuracy requirements.
  • the device may determine whether the user is a legitimate user based on the determined similarity.
  • the device may allow the current user to access the device if the similarity is higher than the threshold. On the other hand, if the similarity is lower than the threshold, the device may not allow the current user to access the device.
  • the threshold may be a preset value or a value determined as suitable by the learning network model, but is not limited thereto.
  • a threshold for comparison may be set after testing is completed on a sample of the test.
  • the results of the test can be used to construct a curved receiver operating characteristic (ROC) that reflects the relationship between false non-match rate (FNMR) and false match rate (FMR).
  • ROC curved receiver operating characteristic
  • the threshold value may be determined according to a value in which the FNMR and the FMR value are maintained within a limit allowed by a preset recognition accuracy requirement.
  • FIG. 12 is a flowchart of a biometrics-based user authentication method performed by a biometrics-based user authentication device through a normalization process using a mask according to an embodiment.
  • the device may obtain a biometric feature and mask of a legitimate user extracted and stored in advance.
  • the mask may be a result of normalizing a biological image. Normalization can be defined as converting the pixels of a biometric image from polar coordinates to linear coordinates. The pixels of the biological image can be transformed from a circular location to a rectangular matrix of pixels through normalization. For example, in an iris image, the mask may display specific points of the normalized iris image that are obscured by eyelids, eyelashes, glare, and the like. The device may acquire a biometric image of a legitimate user in advance.
  • a biometric feature and a legitimate user's mask from a biometric image of the legitimate user obtained using the learning network model can be obtained.
  • the biometric feature may include both shallow and deep biometric features, only shallow biometric features, or only deep biometric features.
  • the device is obtained biometric features and masks of the legitimate user Can be saved. Accordingly, the device may use the stored biometric feature of the legitimate user when the user performs biometric based user authentication.
  • the device is a biometric feature map corresponding to a biometric feature of a legitimate user extracted in advance and stored in the memory Can be obtained.
  • a legitimate user's biometric feature map May be extracted in advance in the process of registering a legitimate user on the device.
  • the device acquires an image of a legitimate user and processes a biometric image of the legitimate user using the learned neural network to map the biometric feature And bio mask Acquisition and legitimate user's biometric feature map And bio mask Can be stored in the device's memory for later use.
  • the device uses a neural network to provide a legitimate user's biometric mask.
  • Biometric feature map of legitimate users Can be scaled to the size of.
  • a legitimate user registration process may be performed in an initial activation step.
  • a legitimate user's biometric feature map And bio mask The neural network that generated the can be used in the user authentication process to determine whether the user of the device is a legitimate user.
  • the device may include a biometric image of the user and a biometric mask corresponding to the biometric image Can be obtained.
  • the first block of the neural network is a biometric feature map of a legitimate user It may be the same as the first block of the neural network used in the process of generating. That is, the device processes at least one biometric feature map of the current user by processing the biometric image of the user using the first block used in the registration process of the legitimate user. You can create Also, the user's biometric mask May be a result of normalizing the user's biometric image.
  • a legitimate user's biometric mask And user's bio-mask As a method of obtaining, existing techniques may be used. According to one embodiment, the use of a mask may improve the accuracy of biometric based user authentication.
  • the device may obtain a biometric feature map from the biometric image by processing the biometric image of the user by the first block of the neural network.
  • 1215 may correspond to 1115 described above with reference to FIG. 11.
  • the device is a valid user's biometric mask And user's bio-mask Shallow feature vector based on operation for each component of each biofeature map based on Can generate
  • the device maps at least one biometric feature of the user Component of And at least one biometric feature map of legitimate users Components of Shallow feature vector by performing the operation of each component of Can generate
  • the operation for each component may be performed according to the following [Equation 2].
  • Biometric feature map of legitimate users through And user's biometric feature map It can reflect the degree of difference between them.
  • the operation for each component is at least one biometric feature map of the user Component of And at least one biometric feature map of legitimate users Components of It may be L1-norm or L2-norm performed on.
  • the device can map shallow feature vectors to other feature spaces using a neural network.
  • the device may combine the user's shallow biometric feature map with the user's shallow biometric feature map using a neural network.
  • the device may generate a deep feature vector by processing the result of combining the biometric feature map using the second block of the neural network.
  • the device may map deep feature vectors to other feature spaces using a neural network.
  • the device may determine the similarity between the valid user's biometric feature and the user's biometric feature based on the result of combining the shallow feature vector and the deep feature vector. In one embodiment, 1225 to 1245 may correspond to 1125 to 1145 described above with reference to FIG. 11.
  • the neural networks used in 1225, 1240 and 1245 can be learned in advance using variational inference.
  • Variance inference used in the learning of neural networks is approximation to a probability distribution that is easy to handle posterior distribution, and can be obtained by sampling arbitrary values from the distribution.
  • Variance inference is generated in the learning stage of a neural network and can represent a selection of values from a distribution defined by a fully-connected layer with the same dimensions.
  • the components of the layer may be parameters of distributions.
  • the number of parameters defining the distribution is determined by the number of fully connected layers, and the dimension of each distribution may be determined according to the number of components included in each layer.
  • the selection of values from the distribution can be performed randomly in the learning process of the direct pass.
  • the selection of values from the distribution can be determined by using a function that is the distribution parameter.
  • the distribution has the parameter ) And variance ( ) Is a standard normal distribution, and the function is Can be
  • the convolutional neural network may be trained using a training data set that is a set of pairs of comparisons.
  • the type of comparison may be one of two: the same living body, or two different living bodies.
  • the structure of the neural network (number of parameters, type and number of layers, etc.) may be selected in consideration of data processing speed and recognition accuracy requirements.
  • the device may determine whether the user is a legitimate user based on the determined similarity.
  • 1250 may correspond to 1150 described above with reference to FIG. 11.
  • FIG. 13 is a diagram schematically showing a flow of a method for extracting shallow biometric features from a user's biometric image according to an embodiment.
  • the device may acquire a user's biometric image and a user's mask.
  • the device may acquire a biometric image by a camera or sensor.
  • the device normalizes the biometric image using a neural network, thereby allowing the user's biometric mask Can be obtained.
  • the device may process the biometric image using the first block of the neural network using the biometric mask of the user.
  • the first block is a biometric feature map from a biometric image of a legitimate user in advance. It can be used to extract.
  • a layer performing transformation by activation of the first block of the neural network may have at least 1 stride not included, and the number N of layers of the first block is Yes For example, it may be 3 or less.
  • the neural network may process a result of convolution, which is an output of i or less transforms and N or fewer layers.
  • the number of modifications i may be 3 or less.
  • the transformation is a transformation by a hyperbolic tangent function tanh (x) and / or other activation function, a transformation by a quantization function, a binarization function It may include, but is not limited to.
  • the activation function may be sigmoid (x), arctg (x), softsign (x), relu (x), elu (x), prelu (x), sin (x), but is not limited thereto. .
  • the device may perform an operation for each component of the biometric feature based on the legitimate user's mask and the user's mask using a neural network.
  • the neural network can generate a shallow feature vector.
  • 1360 and 1380 may correspond to 1220 described above with reference to FIG. 12.
  • FIG. 14 is a diagram schematically showing a flow of a method for extracting shallow biometric features from a user's biometric image according to an embodiment.
  • the device may acquire a biometric image of the user and a user's mask using a neural network.
  • the device may acquire a biometric image by a camera or sensor.
  • the device normalizes the biometric image using a neural network, thereby allowing the user's biometric mask Can be obtained.
  • the device may process the biometric image using the first block of the neural network using the biometric mask of the user.
  • the first block is a biometric feature map from a biometric image of a legitimate user in advance. It can be used to extract.
  • a layer performing transformation by activation of the first block of the neural network may have at least 1 stride not included, and the number N of layers of the first block is Yes For example, it may be 3 or less.
  • the neural network may output a convolution operation result. That is, unlike 1340 described above with reference to FIG. 13, modification may be omitted, and one or more convolution operation results may be output as it is. That is, the number of modifications i may be zero.
  • the device is a valid user's biometric mask And user's bio-mask Shallow feature vector based on operation for each component of each biofeature map based on Can generate
  • the device maps at least one biometric feature of the user Component of And at least one biometric feature map of legitimate users Components of Shallow feature vector by performing the operation of each component of Can generate
  • 1470 and 1490 may correspond to 1220 described above with reference to FIG. 12.
  • 15 is a flowchart of a user authentication method based on biometric recognition using additional information according to an embodiment.
  • the device may acquire a biometric characteristic of a legitimate user extracted in advance and stored in a memory.
  • 1505 may correspond to 1105 described above with reference to FIG. 11.
  • the device may acquire a biometric image of the user.
  • the device may obtain a biometric feature map from the biometric image of the user by processing the biometric image of the user by the first block of the neural network.
  • the device may generate a shallow feature vector through computation for each component of each biofeature map.
  • the device may map shallow feature vectors to other feature spaces using a neural network.
  • the device may combine the legitimate user's shallow feature map and the user's shallow feature map.
  • the device can generate a deep feature vector by processing the join result by the second block of the neural network.
  • the device may map deep feature vectors to other feature spaces using a neural network.
  • 1505 to 1540 may correspond to 1105 to 1140 described above with reference to FIG. 11.
  • the device may determine similarity based on a result of combining a shallow feature vector, a deep feature vector, and additional information.
  • the device uses a neural network, similarity vector To obtain a shallow feature vector Deep feature vector And additional information.
  • similarity vector Silver shallow feature vector Deep feature vector And additional information.
  • the additional information 310 is a biometric image including weather and time when obtaining the biometric image 350 of the user, the degree of illumination, and the time at which the biometric image 350 of the user is acquired, etc. 350
  • the additional information 310 may be numerical expression information representing distorted information of values constituting a pixel of a biological image based on context information when obtaining a biological image and status information of a user.
  • the additional information 310 may be expressed as a vector, and may be used when a device determines similarity, along with shallow and deep biometric characteristics. According to an embodiment, by additionally considering the additional information 310, the device may perform a biometrics-based user authentication process with more accurate recognition.
  • Similarity vector may be mapped to a space of dimension 1.
  • the similarity vector in the space with dimension 1 As a result of being mapped, the device may acquire similarity.
  • the device may determine whether the user is a legitimate user based on the determined similarity. According to one embodiment, if the similarity is higher than the threshold, the current user may be allowed to access the device. On the other hand, if the similarity is lower than the threshold, the current user may not be allowed to access the device.
  • the threshold may be a preset value or a value determined as suitable by the learning network model, but is not limited thereto.
  • 16A and 16B are diagrams showing experimental results according to an embodiment.
  • the reliability of the recognition system may be evaluated as a False Acceptance Rate (FAR) error and a False Rejection Rate (FRR) error.
  • FAR is a probability of erroneously determining that biometric information that is not the user's own is a false recognition rate, and FAR 0.001% may mean a possibility of one error when 100,000 authentication is performed.
  • FRR is a probability of erroneously determining that the user's biometric information is not the person by the rejection rate, and FRR 0.1% may mean a possibility of one error when 1000 authentication is performed.
  • EER Equal Error Rate
  • EER values can be easily obtained from the Receiver Operating Characteristic (ROC) curve. EER is a quick way to compare the accuracy of devices with different ROC curves. Accordingly, the device with the lowest EER may be the most accurate.
  • FAR and FRR may be determined by comparing a similarity calculated using a predetermined threshold and a neural network. Also, the preset threshold may be determined from a result of simulating similarity between a legitimate user and a user. That is, the greater the difference between the similarity with a legitimate user and the non-rights, the higher the reliability of the recognition system.
  • an embodiment is extracted in the form of a random variable from a biometric image to represent the characteristics of the living body in the form of a distribution, and reflects the characteristics of all living bodies You can use variable inference, a regularization operation that you can do.
  • the conventional biometric-based user authentication method has an FRR of about 0.6
  • the biometric-based user authentication method according to the embodiment has a 0.2 Since it can have an FRR, it is possible to improve the recognition accuracy by about 3 times in relation to the recognition accuracy.
  • the existing biometric-based user authentication method has an EER of about 0.045
  • the biometric-based user authentication method according to an embodiment has an EER of about 0.015
  • the recognition accuracy and In relation to this, the performance may be improved by 3 times.
  • 94569 legitimate users and 10104817 non-legitimate users were tested, and the number of training, verification, and experimental data was 32207, 4693, and 9034, respectively.
  • a neural network may be used as a tool for recording, processing, and compensating for nonlinear distortion to extract unique biometric features of a biometric image from a low quality image.
  • the method according to an embodiment may use a neural network capable of extracting biometric features from a biometric image, and additionally use a second block of the neural network to improve biometric performance in a less controlled environment.
  • the second block of the neural network may not be deep.
  • the second block of the neural network may be composed of five or fewer convolutional layers. Accordingly, since the neural network structure according to an embodiment may be lightened, an application may be applied on a mobile device.
  • 17 is a block diagram schematically showing the configuration of a biometric based user authentication device according to an embodiment.
  • the device 1700 may include a processor 1720, a camera 1740, a memory 1760, and an output unit 1780. However, not all of the components shown in FIG. 17 are essential components of the device 1700. The device 1700 may be implemented by more components than those illustrated in FIG. 17, or the device 1700 may be implemented by fewer components than those illustrated in FIG. 17.
  • the processor 1720 controls the overall operation of the device 1700, and may include at least one processor such as a CPU and a GPU.
  • the processor may be implemented as an application-specific integrated circuit (ASIC), field-programmable gate array (FPGA), or system-on-chip (SoC).
  • ASIC application-specific integrated circuit
  • FPGA field-programmable gate array
  • SoC system-on-chip
  • the processor 1720 may control other components included in the device 1700 so that the processor 1720 performs an operation for operating the device 1700.
  • the processor 1720 may execute a program stored in the memory 1760, read a stored file, or store a new file.
  • the processor 1720 may perform an operation for operating the device 1700 by executing a program stored in the memory 1760.
  • the processor 1720 acquires a biometric image of a user, acquires a shallow biometric feature from the biometric image of the acquired user, using a first neural network constituting the learning network model, and the learning network
  • a deep biometric feature is obtained from the acquired biometric image of the acquired user by using a second neural network constituting a model, and between the shallow biometric feature and the deep biometric feature and a pre-stored legitimate user biometric feature.
  • a similarity level may be determined, and based on the determined similarity level, it may be determined whether the user is the legitimate user.
  • the camera 1740 may include an internal camera, an external camera, a front camera, a camera with infrared (IR) illumination, or a combination thereof.
  • the camera 1740 may acquire a biological image.
  • the biometric image according to an embodiment may be a static biometric image or a plurality of biometric images.
  • the camera 1740 may acquire a biometric image sequence including a series of biometric images.
  • the camera 1740 according to an embodiment may acquire a video sequence.
  • the processor 1720 may access and use data stored in the memory 1760, or may store new data in the memory 1760.
  • the memory 1760 may include the biometric feature database 190.
  • the memory 1760 may store the biometric image captured by the camera 1740 of the device 1700 and the biometric image and biometric features processed by the processor 1720.
  • the output unit 1780 may include a display unit, an audio output unit, and a vibration motor. According to an embodiment, the output unit 1780 may display the biometric image of the user and / or the biometric image of the user in a completely or partially obscured form.
  • the device 1700 may further include a sensor unit (not shown).
  • the sensor unit may include an EEG sensor.
  • the sensor unit includes a magnetic sensor, an acceleration sensor, a temperature / humidity sensor, an infrared sensor, a gyroscope sensor, a position sensor (e.g., GPS), a barometric pressure sensor, a proximity sensor, and an RGB sensor. It may include at least one, but is not limited thereto.
  • the device 1700 may further include a communication unit (not shown).
  • the communication unit may include one or more components that enable the device 1700 to communicate with a server or external device.
  • the communication unit may include a short-range communication unit, a mobile communication unit, and a broadcast reception unit.
  • the communication unit may transmit the user's biometric image from the device 1700 to the server.
  • the communication unit may receive the similarity obtained by processing the user biometric image by a server using a neural network from the server.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include computer storage media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the disclosed embodiments can be implemented as an S / W program that includes instructions stored on a computer-readable storage media.
  • the computer is a device capable of invoking stored instructions from a storage medium and operating according to the disclosed embodiment according to the invoked instruction, and may include an electronic device according to the disclosed embodiments.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not contain a signal and is tangible, but does not distinguish between data being stored semi-permanently or temporarily on the storage medium.
  • control method may be provided as being included in a computer program product.
  • Computer program products are commodities that can be traded between sellers and buyers.
  • the computer program product may include an S / W program and a storage medium readable by a computer in which the S / W program is stored.
  • the computer program product may include a product (eg, a downloadable app) in the form of an S / W program that is distributed electronically through a device manufacturer or an electronic market (eg, Google Play Store, App Store).
  • a product eg, a downloadable app
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a SW program.
  • the computer program product in a system composed of a server and a device, may include a storage medium of a server or a storage medium of a device.
  • a third device eg, a smart phone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include an S / W program itself transmitted from a server to a device or a third device, or transmitted from a third device to a device.
  • one of the server, the device, and the third apparatus can execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the device, and the third apparatus may execute the computer program product to distribute and implement the method according to the disclosed embodiments.
  • a server may execute a computer program product stored in the server to control a device in communication with the server to perform the method according to the disclosed embodiments.
  • a third device may execute a computer program product, so that a device in communication with the third device can be controlled to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third device may execute the method according to the disclosed embodiments by executing a computer program product provided in a preloaded state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

일 실시예에 따라, 사용자의 생체 이미지를 획득하고, 학습 네트워크 모델을 구성하는 제 1 뉴럴 네트워크를 이용하여, 상기 획득된 사용자의 생체 이미지로부터 얕은(shallow) 생체 특징을 획득하고, 상기 학습 네트워크 모델을 구성하는 제 2 뉴럴 네트워크를 이용하여 상기 획득된 사용자의 생체 이미지로부터 깊은(deep) 생체 특징을 획득하고, 상기 얕은 생체 특징 및 상기 깊은 생체 특징과 기 저장된 정당한 사용자의 생체 특징 간의 유사도를 결정하며, 상기 결정된 유사도에 기초하여, 상기 사용자가 상기 정당한 사용자인지 여부를 결정하는, 생체 인식 기반의 사용자 인증 방법이 개시된다.

Description

생체 인식 기반의 사용자 인증 방법 및 장치
실시예들은, 생체 인식 기반의 사용자 인증 방법 및 장치에 관한 것으로서, 보다 구체적으로는 학습 네트워크 모델을 이용하여 생체 인식 기반의 사용자를 인증하는 방법 및 장치에 관한 것이다.
최근 고성능 카메라 및 센서의 발전에 따라, 보안을 강화하기 위해 생체 센서에 의해 획득된 사용자의 생체 정보(예: 지문, 홍채, 음성, 얼굴 등)를 이용하여 사용자 인증을 수행하는 기술이 개발되고 있다. 사용자 인증 기능은 금융 기기, 출입 통제기, 모바일 장치, 노트북 등에서 주로 사용되며, 최근 스마트 폰과 같은 모바일 장치가 널리 보급됨에 따라 스마트 폰 내에 저장된 많은 정보를 보호하기 위해 개인 인증을 위한 센서가 제공되고 있다.
그러나, 생체 인식 기반의 사용자 인증 방법은 다양한 상황, 생체의 움직임, 사용자의 다른 특징들 등에 대한 높은 민감도를 가지기 때문에 한계가 존재한다. 예를 들어, 홍채 인식의 경우 어두운 조명, 과도한 조명, 안경 및 콘택트 렌즈의 착용 유무, 눈의 깜박거림, 눈꺼풀이나 속눈썹에 의한 가려짐 효과 유무는 생체 인식 기반의 사용자 인증을 수행하는데 상당한 영향을 미칠 수 있다. 이는 생체 인식 기반의 사용자 인증의 오류 증가, 인식의 성능 저하 및 접근의 편리성을 감소시키는 결과를 수반한다.
본 개시가 해결하고자 하는 과제는 전술한 문제를 해결하기 위한 것으로서, 학습 네트워크 모델을 이용하는 생체 인식 기반의 사용자 인증 방법 및 장치를 제공하여 사용자 인증의 정확도를 높이고자 한다.
또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함하는 컴퓨터 프로그램 제품을 제공하는 데 있다. 해결하려는 기술적 과제는 상기에 기재된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 사용자의 생체 이미지를 획득하는 단계; 학습 네트워크 모델을 구성하는 제 1 뉴럴 네트워크를 이용하여, 상기 획득된 사용자의 생체 이미지로부터 얕은 생체 특징을 획득하는 단계; 상기 학습 네트워크 모델을 구성하는 제 2 뉴럴 네트워크를 이용하여 상기 획득된 사용자의 생체 이미지로부터 깊은 생체 특징을 획득하는 단계; 상기 얕은(shallow) 생체 특징 및 상기 깊은(deep) 생체 특징과 기 저장된 정당한 사용자의 생체 특징 간의 유사도를 결정하는 단계; 및 상기 결정된 유사도에 기초하여, 상기 사용자가 상기 정당한 사용자인지 여부를 결정하는 단계를 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
일 실시예에서, 상기 깊은 생체 특징을 획득하는 단계는, 상기 제 2 뉴럴 네트워크를 이용하여 상기 얕은 생체 특징으로부터 상기 깊은 생체 특징을 획득하는 단계를 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
일 실시예에서, 상기 정당한 사용자의 얕은 생체 특징 및 상기 정당한 사용자의 깊은 생체 특징을 결합하여 하나의 제1 특징 벡터를 생성하는 단계; 상기 현재 사용자의 얕은 생체특징 및 상기 현재 사용자의 깊은 생체 특징을 결합하여 하나의 제2 특징벡터를 생성하는 단계; 및 상기 제1 특징벡터 및 상기 제2 특징벡터 간의 차이에 기초하여 유사도를 결정하는 단계를 더 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
일 실시예에서, 상기 유사도를 결정하는 단계는, 상기 사용자의 상기 얕은 생체 특징 및 상기 깊은 생체 특징을 정규화 하는 단계; 및 상기 정규화 된 사용자의 얕은 생체 특징 및 상기 깊은 생체 특징을 이용하여, 유사도를 결정하는 단계를 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
일 실시예에서, 상기 사용자의 생체 이미지의 획득 시 상황 정보 및 사용자의 상태 정보 중 적어도 하나를 포함하는 부가정보를 수신하는 단계를 더 포함하고, 상기 유사도를 결정하는 단계는, 상기 부가 정보에 기초하여, 상기 유사도를 결정하는 단계를 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
일 실시예에서, 상기 뉴럴 네트워크는, 변분추론(variational inference)를 이용하여 사전에 학습된 컨벌루션 뉴럴 네트워크를 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
일 실시예에서, 상기 제2 뉴럴 네트워크는, 5개 이하의 컨벌루션 뉴럴 네트워크의 레이어를 가지는 뉴럴 네트워크를 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
일 실시예에서, 상기 사용자의 생체 이미지를 획득하는 단계는, 카메라를 이용하여 상기 사용자의 생체 이미지를 촬영하는 단계를 포함하고, 상기 생체 인식 기반의 사용자 인증 방법은, 화면에 상기 사용자의 생체를 전부 또는 일부 가려진 형태로 디스플레이하는 단계를 더 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
일 실시예에서, 상기 정당한 사용자의 생체 이미지를 획득하는 단계; 상기 학습 네트워크 모델을 이용하여 상기 획득한 정당한 사용자의 생체 이미지로부터 상기 정당한 사용자의 얕은 생체 특징 및 깊은 생체 특징을 획득하는 단계; 및 상기 획득한 정당한 사용자의 얕은 생체 특징 및 깊은 생체 특징을 저장하는 단계를 더 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
일 실시예에서, 상기 정당한 사용자의 상기 얕은 생체 특징 및 상기 깊은 생체 특징을 정규화 하는 단계를 더 포함하고, 상기 획득한 정당한 사용자의 얕은 생체 특징 및 깊은 생체 특징을 저장하는 단계는, 상기 정규화된 정당한 사용자의 얕은 생체 특징 및 깊은 생체 특징을 저장하는 단계를 포함하는 생체 인식 기반의 사용자 인증 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 사용자의 생체 이미지를 획득하고, 학습 네트워크 모델을 구성하는 제 1 뉴럴 네트워크를 이용하여, 상기 획득된 사용자의 생체 이미지로부터 얕은(shallow) 생체 특징을 획득하고, 상기 학습 네트워크 모델을 구성하는 제 2 뉴럴 네트워크를 이용하여 상기 획득된 사용자의 생체 이미지로부터 깊은(deep) 생체 특징을 획득하고, 상기 얕은(shallow) 생체 특징 및 상기 깊은(deep) 생체 특징과 기 저장된 정당한 사용자의 생체 특징 간의 유사도를 결정하며, 상기 유사도를 기초로 상기 사용자가 상기 정당한 사용자인지 여부를 결정하는, 생체 인식 기반의 사용자 인증 디바이스를 제공할 수 있다.
본 개시의 일 실시예는, 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키도록 기록매체에 저장된 프로그램을 포함한다.
본 개시의 일 실시예는, 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
본 개시의 일 실시예는, 본 개시의 일 실시예에서 사용되는 데이터베이스를 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
본 개시의 실시예들에 따르면, 생체 인식 기반의 사용자 인증 방법 및 디바이스를 제공하여 생체 인식의 정확도를 높이고 편리하게 사용자를 인증할 수 있도록 한다.
또한, 본 개시의 실시예들에 따르면, 제한된 컴퓨팅 자원을 가지는 모바일 컴퓨팅 디바이스에서 생체 인식을 기반으로 한 사용자 인증 서비스의 성능을 향상시킬 수 있도록 한다.
본 개시의 다른 특징들 및 이점들은 다음의 상세한 설명 및 첨부된 도면들로부터 명백해질 것이다.
도 1은 일 실시예에 의한 생체 인식 기반의 사용자 인증을 수행하는 방법의 개요를 도시한 도면이다.
도 2는 일 실시예에 의한 생체 인식 기반의 사용자 인증 디바이스가 수행하는 생체 인식 기반의 사용자 인증 방법의 흐름을 개략적으로 나타낸 흐름도이다.
도 3은 일 실시예에 의한 생체 이미지로부터 얕은(shallow) 생체특징 및 깊은(deep) 생체특징을 추출하여 생체 인식 기반의 사용자 인증 프로세스를 수행하는 방법을 도시한 도면이다.
도 4는 일 실시예에 의한 생체 이미지로부터 얕은 특징을 추출하고, 얕은 특징으로부터 깊은 특징을 추출하여 생체 인식 기반의 사용자 인증 프로세스를 수행하는 방법을 도시한 도면이다.
도 5는 일 실시예에 의한 생체 마스크(mask)를 고려하여 사용자 인증 프로세스를 수행하는 생체 인식 기반의 사용자 인증 방법의 블록도이다.
도 6은 일 실시예에 의한 하나 이상의 컨벌루션 레이어(convolution layer)를 포함하는 뉴럴 네트워크를 이용하여 생체 이미지를 처리하는 방법을 도시한 도면이다.
도 7은 일 실시예에 의한 모바일 디바이스에서 수행하는 생체 인식 기반의 사용자 인증 방법의 개요를 도시한 도면이다.
도 8은 일 실시예에 의한 모바일 디바이스가 서버를 통해 수행하는 생체 인식 기반의 사용자 인증 방법의 개요를 도시한 도면이다.
도 9는 일 실시예에 의한 사용자의 얼굴이 가려진 상태로 사용자의 홍채를 인식하는 방법의 개요를 도시한 도면이다.
도 10은 일 실시예에 의한 부가 정보를 이용하여 생체 인식 기반의 사용자 인증 프로세스를 수행하는 방법의 개요를 도시한 도면이다.
도 11은 일 실시예에 의한 디바이스가 수행하는 생체 인식 기반의 사용자 인증 방법의 흐름도이다.
도 12는 일 실시예에 의한 마스크(mask)를 이용한 정규화 프로세스를 통해 생체 인식 기반의 사용자 인증 디바이스가 수행하는 생체 인식 기반의 사용자 인증 방법의 흐름도이다.
도 13은 일 실시예에 의한 사용자의 생체 이미지로부터 얕은 생체 특징을 추출하는 방법의 흐름을 개략적으로 나타낸 도면이다.
도 14는 일 실시예에 의한 사용자의 생체 이미지로부터 얕은 생체 특징을 추출하는 방법의 흐름을 개략적으로 나타낸 도면이다.
도 15는 일 실시예에 의한 부가 정보를 사용한 생체 인식 기반의 사용자 인증 방법의 흐름도이다.
도 16a 및 도 16b는 일 실시예에 의한 실험 결과를 도시한 도면이다.
도 17은 일 실시예에 의한 생체 인식 기반의 사용자 인증 디바이스의 구성을 개략적으로 도시한 블록도이다.
이하에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 개시에서 설명되는 특정 실행들은 일 실시예일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다. 또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 구성요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다. 본 개시에서 다양한 곳에 등장하는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다. 또한, 본 개시에서, "a, b 또는 c 중 적어도 하나를 포함한다"는 "a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.
또한, 본 개시에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 특성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
본 개시의 일 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
CNN (Convolutional Neural Network)은 컨벌루션(convolution) 레이어, 풀링(pooling) 레이어 및 액티베이션 맵(activation map)을 포함할 수 있다. 풀링 레이어란 CNN의 출력 데이터를 입력으로 받아서 출력 데이터인 액티베이션 맵의 크기를 줄이거나 특정 데이터를 강조하기 위해 사용할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 개시 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
이하 설명에서 생체 인식 기반의 사용자 인증 프로세스는 설명의 편의를 위해 잠금 화면을 해제하기 위한 프로세스로 가정하여 설명한다. 하지만, 잠금 화면 해제가 아닌 자산 관리, 결제 시스템 등과 같은 사용자 인증 프로세스에도 동일하게 동일 사용자 인증 기술을 적용할 수 있다.
도 1은 일 실시예에 의한 생체 인식 기반의 사용자 인증을 수행하는 방법의 개요를 도시한 도면이다.
도 1을 참조하면, 생체 인식 기반의 사용자 인증 프로세스는 뉴럴 네트워크(120)를 이용하여 사용자를 인증할 수 있다. 일 실시예에서, 디바이스(100)는 사용자의 생체 이미지(110)를 획득할 수 있다. 또한, 디바이스(100)는 뉴럴 네트워크(120)를 이용하여 획득한 사용자의 생체 이미지(110)를 처리함으로써 사용자의 얕은(shallow) 생체 특징과 깊은(deep) 생체 특징을 획득할 수 있다.
일 실시예에서, 생체 특징은 안면(얼굴), 얼굴 서모그램(thermogram), 지문, 홍채, 망막, 귀, 손, 손금, 눈꺼풀 모양, 속눈썹 모양, 피부, 정맥 등과 같은 인간의 신체적 형상의 특징이나, 음성, 걸음걸이(gait), 서명 등과 같은 인간의 행동적 특징을 포함할 수 있다. 생체 특징은 생체측량(Biometrics)의 대상일 수 있다. 이와 같이 생체 특징은 통상적으로 인간의 생체 특징을 말하나, 실시예에 따라 동물의 생체 특징이 이용될 수도 있다.
얕은 생체 특징과 깊은 생체 특징은 학습 시킨 데이터의 범위, 학습 횟수, 학습에 이용되는 뉴럴 네트워크의 종류 및 학습에 이용되는 뉴럴 네트워크를 구성하는 레이어의 종류와 개수 등에 따라 결정될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 얕은 생체 특징은, 스트라이드(stride)가 1보다 커서 생체 이미지의 윤곽을 표현한 생체 특징이고, 깊은 생체 특징은, 스트라이드가 1이어서 생체 이미지의 세밀한 특징이 표현된 생체 특징일 수 있다. 또한 예를 들어, 얕은 생체 특징은 뉴럴 네트워크(120)의 초기의 얕은 레이어에 의해 추출된 생체 이미지의 텍스처(texture)를 나타낸 생체 특징일 수 있다. 또한, 깊은 생체 특징은 뉴럴 네트워크(120)의 깊은 레이어에 의해 추출된 생체 이미지의 세부사항을 나타낸 생체 특징일 수 있다.
뉴럴 네트워크(120)는 사용자 인증을 수행하는 알고리즘의 집합일 수 있다. 또한, 뉴럴 네트워크(120)는 전술한 알고리즘 집합을 실행하기 위한 소프트웨어 또는 엔진 등으로 구현될 수 있다. 소프트웨어 또는 엔진으로 구현된 뉴럴 네트워크(120)는 서버의 프로세서 또는 디바이스(100) 내의 프로세서에 의해 실행될 수 있다. 일 실시예에서, 뉴럴 네트워크(120)는 복수의 노드들로 구성되는 복수의 레이어들을 포함할 수 있다. 예를 들어, 뉴럴 네트워크(120)는 입력 레이어(input layer), 히든 레이어(hidden layer), 출력 레이어(output layer) 등을 포함할 수 있다. 또한, 뉴럴 네트워크(120)는 복수의 레이어들의 각각에 포함된 복수의 노드들을 다른 레이어에 포함된 노드에 연결시키는 연결 가중치들을 포함할 수 있다. 일 실시예에 따라, 뉴럴 네트워크(120)는 제1 네트워크(130) 및 제2 네트워크(150)을 포함할 수 있다. 제1 네트워크(130)는 사용자의 생체 이미지(110)로부터 얕은 생체 특징을 추출하는 데 사용되고, 제2 네트워크(150)는 사용자의 생체 이미지(110)로부터 깊은 생체 특징을 추출하는 데 사용될 수 있으나, 이에 제한되는 것은 아니다. 일 실시예에서, 제1 네트워크(130) 및 제2 네트워크(150)는 별개의 뉴럴 네트워크일 수 있다. 이에 따라, 디바이스(100)는 사용자의 생체 이미지(110)로부터 제1 네트워크를 이용하여 얕은 생체 특징을 추출하고, 사용자의 생체 이미지(110)로부터 제2 네트워크를 이용하여 깊은 생체 특징을 추출할 수 있다. 또 다른 일 실시예에 따라, 제2 네트워크(150)는 제1 네트워크(130)와 연결되고, 제1 네트워크(130)와 하나의 뉴럴 네트워크(120)를 구성하는 별개의 레이어(들)의 집합일 수 있다. 즉, 제1 네트워크(130)와 제2 네트워크(150)는 단일 뉴럴 네트워크에 포함될 수 있다. 이에 따라, 디바이스(100)는 사용자의 생체 이미지(110)로부터 제1 네트워크(130)를 이용하여 얕은 생체 특징을 추출하고, 추출된 얕은 생체 특징으로부터 제1 네트워크(130)와 연결된 제2 네트워크(150)를 이용하여 깊은 생체 특징을 추출할 수 있다. 즉, 디바이스(100)는 두 가지의 다른 뉴럴 네트워크를 사용하는 것 대신, 단일 뉴럴 네트워크에서 여러 개의 레이어들을 결합함으로써, 얕은 생체 특징 및 깊은 생체 특징을 추출할 수 있다.
일 실시예에서, 디바이스(100)는 획득한 사용자의 얕은 생체 특징 및 깊은 생체 특징에 기초하여 데이터 베이스(190)에 저장된 정당한 사용자의 생체 특징과의 유사도(170)를 산출할 수 있다. 산출된 유사도(170)에 따라, 디바이스(100)는 사용자가 정당한 사용자인지 결정하고, 사용자가 디바이스(100)에 접근하는 것을 허용할 수 있다. 디바이스(100)는, 일 실시예에 따라, 높은 정확도를 가지는 생체 인식 기반의 생체 인증 방법을 수행할 수 있다. 또한, 디바이스(100)는 제한된 컴퓨팅 자원을 가지는 모바일 컴퓨팅 디바이스에서 생체 인식을 기반으로 한 사용자 인증 서비스의 성능을 향상시킬 수 있다.
디바이스(100)는 스마트폰, 태블릿 PC(tablet personal computer), PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱(laptop), 넷북(netbook), 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 디바이스(100)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다.
도 2는 일 실시예에 의한 생체 인식 기반의 사용자 인증 디바이스가 수행하는 생체 인식 기반의 사용자 인증 방법의 흐름을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 210에서, 디바이스(100)는 사용자의 생체 이미지를 획득할 수 있다. 디바이스(100)는 카메라, 이미지 센서, 깊이 센서 등을 이용하여 사용자의 생체 이미지를 획득할 수 있으나, 이에 제한되는 것은 아니다.
220에서, 디바이스(100)는 획득한 사용자의 생체 이미지(110)로부터 얕은(shallow) 생체 특징을 획득할 수 있다. 디바이스(100)는 학습 네트워크 모델을 구성하는 제1 뉴럴 네트워크를 이용하여, 획득한 사용자의 생체 이미지로부터 얕은 생체 특징을 획득할 수 있다.
230에서, 디바이스(100)는, 획득한 사용자의 생체 이미지(110)로부터 깊은(deep) 생체 특징을 획득할 수 있다. 디바이스(100)는 학습 네트워크 모델을 구성하는 제2 뉴럴 네트워크를 이용하여, 획득한 사용자의 생체 이미지로부터 깊은 생체 특징을 획득할 수 있다. 또 다른 일 실시예에 따라, 디바이스(100)는 제1 뉴럴 네트워크와 함께 단일 뉴럴 네트워크를 구성하는 제2 뉴럴 네트워크를 이용하여, 획득한 사용자의 얕은 생체 특징으로부터 깊은 생체 특징을 획득할 수 있다. 즉, 제1 뉴럴 네트워크의 출력 레이어(output layer)를 통과한 결과인 얕은 생체 특징이 제2 뉴럴 네트워크의 인풋 레이어(input layer)의 입력이 될 수 있다. 일 실시예에서, 제2 뉴럴 네트워크는 제1 뉴럴 네트워크와 다른 수의 레이어를 포함할 수 있다. 예를 들어, 제2 뉴럴 네트워크는 제1 뉴럴 네트워크보다 적은 수의 레이어를 포함할 수 있다. 또한, 제2 뉴럴 네트워크의 레이어의 수, 총 변환의 차수 및 파라미터는 제2 뉴럴 네트워크의 허용 가능한 수에 따라, 제1 뉴럴 네트워크의 레이어의 수, 총 변환의 차수 및 파라미터와 같거나 다를 수 있고, 데이터의 처리 속도 및 인식 정확도에 대한 요구 정도에 따라 결정될 수 있다.
일 실시예에서, 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크는 로컬(local) 컴퓨팅 디바이스 상에서 작동할 수 있다. 이에 따라, 디바이스(100)는 사용자 개인의 생체 데이터의 프라이버시(privacy)를 강화할 수 있다. 다른 일 실시예에서, 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크는 보안 클라우드에 저장될 수 있고, 디바이스(100)는 서버를 통해 온라인으로 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크를 이용할 수 있다. 이는 디바이스(100)가 얕은 생체 특징 및 깊은 생체 특징을 추출할 때 발생하는 부하의 일부 또는 전부를 서버에 넘김으로써 디바이스(100)의 사용 용량 및 과부하로 인한 지연을 감소시킬 수 있다.
240에서, 디바이스(100)는 얕은 생체 특징 및 깊은 생체 특징을 포함하는 사용자의 생체 특징과 기 저장된 정당한 사용자의 생체 특징 간의 유사도를 결정할 수 있다. 유사도는 정당한 사용자의 생체 특징과 현재 사용자의 생체 특징 간의 유사한 정도를 나타내는 정보로서, 예를 들어 평균 제곱 오차(mean square error), 유클리디안 거리(Euclidean distance), Kullback-Leibler divergence 등 다양한 기법을 통해 결정될 수 있다. 디바이스(100)는 기 저장된 정당한 사용자의 생체 특징을 사용하기 위해 데이터 베이스(190)를 이용할 수 있다. 또한, 디바이스(100)는 정당한 사용자의 생체 특징과 현재 사용자의 생체 특징 간의 유사도를 결정하기 위해 뉴럴 네트워크를 사용할 수 있다. 예를 들어, 디바이스(100)는 컨벌루션(convolution) 뉴럴 네트워크의 하나 이상의 레이어를 이용하여 유사도를 결정할 수 있다. 다만, 유사도가 결정되는 방법은 이에 한정되는 것은 아니다.
250에서, 디바이스(100)는, 결정된 유사도에 기초하여, 사용자가 정당한 사용자인지 여부를 결정할 수 있다. 일 실시예에서, 유사도가 임계값보다 높으면 디바이스(100)는 사용자가 디바이스(100)에 접근하는 것을 허용할 수 있다. 다른 일 실시예에서, 유사도가 임계값보다 낮으면 디바이스(100)는 사용자가 디바이스(100)에 접근하는 것을 허용하지 않을 수 있다. 일 실시예에서, 임계값은 미리 설정된 값이거나 학습 네트워크 모델에 의해 적합하다고 판단된 값일 수 있으나 이에 제한되는 것은 아니다.
일 실시예에서, 비교를 위한 임계값은 테스트(test)의 샘플에 대한 테스트 완료 후에 설정될 수 있다. 또한, 테스트의 결과는 FNMR(false non-match rate) 및 FMR(false match rate) 사이의 관계를 반영하는 곡선 ROC(receiver operating characteristic)을 구성하는 데 사용될 수 있다. 일 실시예에서, 임계값은, FNMR 및 FMR 값이 미리 설정된 인식의 정확도 요구사항에 의해 허용되는 한계 내에서 유지되는 값에 따라 결정될 수 있다.
도 3은 일 실시예에 의한 생체 이미지로부터 얕은(shallow) 생체 특징 및 깊은(deep) 생체 특징을 추출하여 생체 인식 기반의 사용자 인증 프로세스를 수행하는 방법을 도시한 도면이다.
도 3을 참조하면, 디바이스는 사용자의 생체 이미지(350) 및 정당한 사용자의 생체 이미지(370)를 획득할 수 있다. 예를 들어, 홍채 인식 기반의 사용자 인증 시스템에서, 사용자의 생체 이미지(350)는 어두운 환경에서 획득된 동공이 확대된 홍채 이미지 일 수 있고, 정당한 사용자의 생체 이미지(370)는 밝은 환경에서 획득된 동공이 축소된 홍채 이미지일 수 있다. 또한, 디바이스는 사용자의 생체 이미지(350) 및 정당한 사용자의 생체 이미지(370)를 학습 네트워크 모델을 이용하여 각각 정규화한 결과인 제1 마스크(330) 및 제2 마스크(390)를 획득할 수 있다.
320에서, 디바이스는 뉴럴 네트워크를 이용하여 사용자의 생체 이미지(350), 제1 마스크(330), 정당한 사용자의 생체 이미지(370) 및 제2 마스크(390)로부터 얕은 생체 특징 및 깊은 생체 특징을 추출할 수 있다. 일 실시예에 따라, 제1 마스크(330) 및 제2 마스크(390)의 획득과정은 생략될 수 있다. 이에 따라,디바이스는 어두운 환경에서의 사용자의 생체 이미지(350) 및 밝은 환경에서의 정당한 사용자의 생체 이미지(370)로부터 바로 사용자의 얕은 생체 특징 및 깊은 생체 특징을 추출할 수 있다.
340에서, 디바이스는 추출된 얕은 생체 특징 및 깊은 생체 특징에 기초하여 정당한 사용자의 생체 특징과 사용자의 생체 특징 간의 유사도를 결정할 수 있다. 일 실시예에 따라, 디바이스는, 얕은 생체 특징 및 깊은 생체 특징 모두를 이용함으로써, 생체 인식 기반의 사용자 인증 프로세스(300)에서 빠른 인증 속도를 유지하고, 생체 인식 기반의 사용자 인증 프로세스(300)의 정확도를 높일 수 있다. 일 실시예에서, 유사도는 추출된 얕은 생체 특징 및 깊은 생체 특징과 더불어 부가 정보(310)를 사용하여 결정될 수 있다. 예를 들어, 사용자의 생체 이미지(350)가 어두운 환경에서 획득된 정보 및 정당한 사용자의 생체 이미지(370)가 밝은 환경에서 획득된 정보를 이용하여, 디바이스는 유사도를 결정할 수 있다. 일 실시예에서, 부가 정보(310)는 사용자의 생체 이미지(350)를 획득할 때의 날씨 및 시간, 조명의 정도, 사용자의 생체 이미지(350)를 획득한 시간 등을 포함하는 생체 이미지(350)의 획득 시 상황 정보 및 사용자의 안경 또는 렌즈 착용 여부, 동공 확장 또는 축소 정도, 획득하고자 하는 생체 부위 이외의 생체 특징 정보 등을 포함하는 사용자의 상태 정보를 포함할 수 있으나 이에 제한되는 것은 아니다. 부가 정보(310)는 생체 이미지 획득 시의 상황 정보 및 사용자의 상태 정보에 의해 생체 이미지의 픽셀을 구성하는 값들의 왜곡되는 정보를 나타내는 수치 표현 정보일 수 있다. 예를 들어, 부가 정보(310)는 벡터로 표현되어 얕은 생체 특징 및 깊은 생체 특징과 더불어 디바이스가 유사도를 결정할 때 사용될 수 있다. 일 실시예에 따라, 부가 정보(310)를 추가적으로 고려함으로써 디바이스는 보다 정확한 인식도를 가지는 생체 인식 기반의 사용자 인증 프로세스를 수행할 수 있다.
360에서, 디바이스는 결정된 유사도에 기초하여, 사용자의 생체 특징이 정당한 사용자의 생체 특징과 일치하는지 여부를 결정할 수 있다. 일 실시예에서, 유사도가 임계값보다 높으면 디바이스는 사용자가 디바이스에 접근하는 것을 허용할 수 있다. 다른 일 실시예에서, 유사도가 임계값보다 낮으면 디바이스는 사용자가 디바이스에 접근하는 것을 허용하지 않을 수 있다. 일 실시예에서, 임계값은 미리 설정된 값이거나 학습 네트워크 모델에 의해 적합하다고 판단된 값일 수 있으나 이에 제한되는 것은 아니다.
도 4는 일 실시예에 의한 생체 이미지로부터 얕은 특징을 추출하고, 얕은 특징으로부터 깊은 특징을 추출하여 생체 인식 기반의 사용자 인증 프로세스를 수행하는 방법을 도시한 도면이다.
도 4를 참조하면, 디바이스는 사용자의 생체 이미지(450) 및 정당한 사용자의 생체 이미지(470)를 획득할 수 있다. 예를 들어, 홍채 인식 기반의 사용자 인증 시스템에서, 사용자의 생체 이미지(450)는 어두운 환경에서 획득된 동공이 확대된 홍채 이미지 일 수 있고, 정당한 사용자의 생체 이미지(470)는 밝은 환경에서 획득된 동공이 축소된 홍채 이미지일 수 있다. 또한, 디바이스는 사용자의 생체 이미지(450) 및 정당한 사용자의 생체 이미지(470)를 학습 네트워크 모델을 이용하여 각각 정규화한 결과인 제1 마스크(430) 및 제2 마스크(490)를 획득할 수 있다.
420에서, 디바이스는 뉴럴 네트워크를 이용하여 사용자의 생체 이미지(450), 제1 마스크(430), 정당한 사용자의 생체 이미지(470) 및 제2 마스크(490)로부터 얕은 특징을 추출할 수 있다. 일 실시예에서, 제1 마스크(430) 및 제2 마스크(490)의 획득과정을 생략하고, 디바이스는 어두운 환경에서의 사용자의 생체 이미지(450) 및 밝은 환경에서의 정당한 사용자의 생체 이미지(470)로부터 바로 사용자의 얕은 특징을 추출할 수 있다.
440에서, 디바이스는 뉴럴 네트워크를 이용하여 추출된 얕은 특징으로부터 깊은 특징을 추출할 수 있다. 즉, 단일 뉴럴 네트워크의 초기 레이어에서 얕은 특징을 추출하고, 깊은 레이어에서 깊은 특징을 추출할 수 있다. 일 실시예에 따라, 디바이스는 얕은 특징 및 깊은 특징을 이용함으로써 인식의 정확도를 높일 수 있다. 또한, 디바이스는 얕은 특징으로부터 깊은 특징을 추출함으로써 사용자 인증 시스템의 모든 절차를 단일 뉴럴 네트워크에서 진행하여 두 가지의 다른 뉴럴 네트워크를 사용할 때 보다 뉴럴 네트워크의 구조를 단순화할 수 있다. 단순화된 네트워크 구조에 기초하여, 사용자 인증 시스템은 한정된 컴퓨팅 자원을 가지는 모바일 디바이스 상에서 작동될 수 있다.
460에서, 디바이스는 추출된 얕은 특징 및 깊은 특징에 기초하여 정당한 사용자의 생체 특징과 사용자의 생체 특징 간의 유사도를 결정할 수 있다. 디바이스는, 얕은 특징 및 깊은 특징 모두를 이용함으로써, 생체 인식 기반의 사용자 인증 프로세스(400)의 빠른 인증 속도를 유지하고, 생체 인식 기반의 사용자 인증 프로세스(400)의 정확도를 높일 수 있다. 또한, 일 실시예에 따라, 단일 뉴럴 네트워크를 사용함으로써, 단순화된 네트워크 구조에 기초하여, 사용자 인증 시스템은 한정된 컴퓨팅 자원을 가지는 모바일 디바이스 상에서 작동될 수 있다. 일 실시예에 따라, 유사도는 추출된 얕은 특징 및 깊은 특징과 더불어 부가 정보(410)를 사용하여 결정될 수 있다. 예를 들어, 부가정보(410)는 사용자의 생체 이미지(450)를 획득할 때의 날씨 및 시간, 조명의 정도, 사용자의 생체 이미지(450)를 획득한 시간 등을 포함하는 생체 이미지(450)의 획득 시 상황 정보 및 사용자의 안경 또는 렌즈 착용 여부, 동공 확장 또는 축소 정도, 획득하고자 하는 생체 부위 이외의 생체 특징 정보 등을 포함하는 사용자의 상태 정보를 포함할 수 있으나 이에 제한되는 것은 아니다. 부가 정보(410)는 생체 이미지 획득 시의 상황 정보 및 사용자의 상태 정보에 의해 생체 이미지의 픽셀을 구성하는 값들의 왜곡되는 정보를 나타내는 수치 표현 정보일 수 있다. 예를 들어, 부가 정보(410)는 벡터로 표현되어 얕은 특징 및 깊은 특징과 더불어 디바이스가 유사도를 결정할 때 사용될 수 있다. 일 실시예에 따라, 부가 정보(410)를 추가적으로 고려함으로써 디바이스는 보다 정확한 인식도를 가지는 생체 인식 기반의 사용자 인증 프로세스를 수행할 수 있다.
480에서, 결정된 유사도에 기초하여, 디바이스는 사용자의 생체 특징이 정당한 사용자의 생체 특징과 일치하는지 결정할 수 있다. 일 실시예에서, 유사도가 임계값보다 높으면 사용자가 디바이스에 접근하는 것을 허용할 수 있다. 다른 일 실시예에서, 유사도가 임계값보다 낮으면 디바이스는 사용자가 디바이스에 접근하는 것을 허용하지 않을 수 있다. 임계값은 미리 설정된 값이거나 학습 네트워크 모델에 의해 적합하다고 판단된 값일 수 있으나 이에 제한되는 것은 아니다.
도 5는 일 실시예에 의한 생체 마스크를 고려하여 사용자 인증 프로세스를 수행하는 생체 인식 기반의 사용자 인증 방법의 블록도이다.
도 5를 참조하면, 디바이스는 제1 생체 이미지(504) 및 제2 생체 이미지(506)를 획득할 수 있다. 예를 들어, 제1 생체 이미지(504)는 어두운 환경에서 획득한 사용자의 생체 이미지이고, 제2 생체 이미지(506)는 밝은 환경에서 획득하여 메모리에 저장된 정당한 사용자의 생체 이미지일 수 있다. 또한, 일 실시예에 의한 디바이스는 제1 생체 이미지(504) 및 제2 생체 이미지(506)를 정규화 프로세스를 통해 각각 처리한 결과인 제1 마스크(502) 및 제2 마스크(508)를 획득하고 제2 마스크를 메모리에 저장할 수 있다.
510에서, 디바이스는 뉴럴 네트워크의 제1 컨벌루션(convolution) 블록을 이용하여, 제1 생체 이미지(504)로부터 얕은 생체 특징을 추출할 수 있다. 520에서, 디바이스는 뉴럴 네트워크의 제1 컨벌루션 블록을 이용하여 제2 생체 이미지로부터 얕은 생체 특징을 추출할 수 있다. 즉, 제1 생체 이미지에 대한 얕은 생체 특징을 추출한 컨벌루션 블록과 제2 생체 이미지에 대한 얕은 생체 특징을 추출한 컨벌루션 블록은 동일한 블록일 수 있다. 제1 생체 이미지(504) 및 제2 생체 이미지(506)로부터 추출된 얕은 생체 특징은 뉴럴 네트워크의 제2 컨벌루션 블록이 깊은 생체 특징을 추출하는 데 이용될 수 있다.
530에서, 디바이스는 제1 마스크(502) 및 제2 마스크(508)를 이용하여 얕은 생체 특징 벡터를 생성할 수 있다. 일 실시예에서, 얕은 생체 특징 벡터는, 540에서 디바이스가 변분 추론(variational inference)을 이용하여 얕은 생체 특징을 표현하는 데 사용될 수 있다.
550에서, 디바이스는 뉴럴 네트워크의 제2 컨벌루션 블록을 이용하여, 얕은 생체 특징으로부터 깊은 생체 특징을 추출할 수 있다. 깊은 생체 특징은, 560에서 디바이스가 변분 추론(variational inference)을 이용하여 깊은 생체 특징을 표현하는 데 사용할 수 있다.
580에서, 디바이스는 얕은 생체 특징 및 깊은 생체 특징을 이용하여 유사도를 결정할 수 있다. 일 실시예에서 디바이스는 유사도를 결정하기 위해 부가 정보(570)를 더 고려할 수 있다. 부가정보(570)는 사용자의 생체 이미지를 획득할 때의 날씨 및 시간, 조명의 정도, 사용자의 생체 이미지를 획득한 시간 등을 포함하는 생체 이미지의 획득 시 상황 정보 및 사용자의 안경 또는 렌즈 착용 여부, 동공 확장 또는 축소 정도, 획득하고자 하는 생체 부위 이외의 생체 특징 정보 등을 포함하는 사용자의 상태 정보를 포함할 수 있으나 이에 제한되는 것은 아니다. 일 실시예에 따라, 부가 정보를 추가적으로 고려함으로써 디바이스는 더 정확한 생체 인식 기반의 사용자 인증 프로세스를 수행할 수 있다. 예를 들어, 디바이스는 제1 생체 이미지(504)가 어두운 환경에서 획득된 정보 및 제2 생체 이미지(506)가 밝은 환경에서 획득된 정보를 포함하는 부가정보를 고려하여 제1 생체 이미지의 확대된 동공과 제2 생체 이미지의 축소된 동공 간의 유사도를 결정할 수 있다.
590에서, 디바이스는 결정된 유사도를 기초로 사용자의 생체 이미지가 정당한 사용자의 생체 이미지와 일치하는지 여부를 결정할 수 있다. 일 실시예에서, 540에서 디바이스가 얕은 생체 특징을 표현하고, 580에서 디바이스가 유사도를 결정하고, 590에서 디바이스가 정당한 사용자의 생체 특징과 일치 여부를 결정하는 과정에는 각각 정규화 프로세스가 추가적으로 더 이용될 수 있다.
도 6은 일 실시예에 의한 하나 이상의 컨벌루션 레이어(convolution layer)를 포함하는 뉴럴 네트워크를 이용하여 생체 이미지를 처리하는 방법을 도시한 도면이다.
일 실시예에서, 생체 이미지는 홍채 이미지(600)로 설명하나, 이에 한정되지 않고 지문 이미지, 얼굴 이미지, 손 이미지, 망막 이미지, 귀 이미지, 손금 이미지 등과 같은 다른 신체적 형상 이미지를 포함할 수 있다. 일 실시예에서, 학습 네트워크 모델은 컨벌루션 연산을 수행하는 레이어와 변형(transformation) 연산을 수행하는 레이어가 번갈아 포함할 수 있다. 다른 일 실시예에서, 학습 네트워크 모델은 변형 연산 및 컨벌루션 연산을 모두 수행하는 레이어를 포함할 수 있다. 또 다른 일 실시예에서, 변형 연산을 수행하는 레이어는 모든 컨벌루션 연산을 수행하는 레이어가 아닌, 일부의 컨벌루션 연산을 수행하는 레이어의 이후에 구성될 수도 있다. 또한, 변형 연산을 수행하는 레이어는 생략될 수 있고, 컨벌루션 연산을 수행하는 하나 이상의 레이어에 의해 컨벌루션 연산한 결과는 그대로 출력될 수 있다.
일 실시예에서, 뉴럴 네트워크의 제1 컨벌루션 레이어(610)는 차원이
Figure PCTKR2019010781-appb-img-000001
이고, 스트라이드(stride)가 1인 단일 컨벌루션 레이어일 수 있다. 또한, 제1 컨벌루션 레이어(610)는 액티베이션(activation)을 수행하지 않고, 차원을 감소시키지 않으며, 다른 액티베이션 함수에 의해 변환이 수행되지 않을 수 있다. 일 실시예에서, 제1 컨벌루션 레이어(610)는 홍채 이미지(600)를 이용하여 컨벌루션 연산을 수행할 수 있다. 제1 컨벌루션 레이어(610)를 뒤따르는 변형 연산을 수행하는 레이어는 컨벌루션 연산 결과로부터 제1 변형 이미지(620)를 생성할 수 있다. 다만, 일 실시예에서, 변형 연산은 제1 컨벌루션 레이어(610)가 수행할 수도 있다. 마찬가지로,
Figure PCTKR2019010781-appb-img-000002
차원을 가지는 제2 컨벌루션 레이어(630)는 제1 변형 이미지(620)를 이용하여 컨벌루션 연산을 수행할 수 있다. 또한, 제2 컨벌루션 레이어(630)를 뒤따르는 변형 연산을 수행하는 레이어는 컨벌루션 연산 결과로부터 제2 변형 이미지(620)를 생성할 수 있다. 다만, 일 실시예에서, 변형 연산은 제2 컨벌루션 레이어(630)가 수행할 수도 있다. d개의 컨벌루션 레이어를 이용하여 디바이스는 홍채 이미지(600)로부터 최종 변형 이미지(660)를 생성할 수 있다. 제1 변형 이미지(620) 내지 최종 변형 이미지(660)를 이용하여, 생체 특징 맵(map)
Figure PCTKR2019010781-appb-img-000003
이 생성될 수 있다. 생체 특징 맵
Figure PCTKR2019010781-appb-img-000004
은 다음과 같이 표현될 수 있다.
Figure PCTKR2019010781-appb-img-000005
Figure PCTKR2019010781-appb-img-000006
Figure PCTKR2019010781-appb-img-000007
의 구성요소이다.
도 7은 일 실시예에 의한 모바일 디바이스에서 수행하는 생체 인식 기반의 사용자 인증 방법의 개요를 도시한 도면이다.
도 7을 참조하면, 일 실시예에 따른 디바이스(100)는 모바일 디바이스일 수 있다. 일 실시예에서, 디바이스(100)는 카메라를 통해 사용자의 생체 이미지(720)를 획득할 수 있으나, 카메라가 아닌 다른 음성 센서, 이미지 센서 등을 포함하는 센서에 의해 사용자의 생체 이미지(720)를 획득할 수도 있고, 이에 제한되는 것은 아니다. 또한, 디바이스(100)는 사용자의 생체 이미지(720)를 획득할 당시의 부가 정보를 획득할 수 있다. 디바이스(100)는 학습 네트워크 모델을 구성하는 단일 뉴럴 네트워크(740)를 이용하여, 획득된 생체 이미지(720)로부터 얕은 생체 특징을 추출하고, 얕은 생체 특징으로부터 싶은 생체 특징을 추출할 수 있다. 또한, 디바이스(100)는 깊은 생체 특징과 얕은 생체 특징을 추출할 때 부가 정보를 추가적으로 고려할 수 있다. 디바이스(100)는, 단일 뉴럴 네트워크(740)를 이용하여 추출된 깊은 생체 특징 및 얕은 생체 특징을 이용하여, 정당한 사용자의 생체 특징과의 유사도(760)를 결정할 수 있다. 일 실시예에서, 디바이스(100)는 유사도(760)에 기초하여, 사용자의 생체 특징이 정당한 사용자의 생체 특징과 일치하는지 결정할 수 있다.
일 실시예에 따라, 디바이스(100)는 단일 뉴럴 네트워크(740)의 얕은 레이어로부터 얕은 생체 특징을 추출하고, 단일 뉴럴 네트워크(740)의 깊은 레이어로부터 깊은 특징을 추출함으로써 사용자 인증 시스템의 모든 절차를 단일 뉴럴 네트워크(740)에서 진행할 수 있다. 따라서, 디바이스(100)는 두 가지의 다른 뉴럴 네트워크를 사용할 때보다 뉴럴 네트워크의 구조를 단순화할 수 있다. 단순화된 네트워크 구조에 기초하여, 사용자 인증 시스템은 한정된 컴퓨팅 자원을 가지는 모바일 디바이스 상에서 작동될 수 있다. 디바이스(100)가 자체적으로 사용자의 생체 특징을 추출함으로써, 사용자의 프라이버시가 강화되고 불필요한 네트워크와의 접속의 필요성이 감소될 수 있다.
도 8은 일 실시예에 의한 모바일 디바이스가 서버를 통해 수행하는 생체 인식 기반의 사용자 인증 방법의 개요를 도시한 도면이다.
도 8을 참조하면, 일 실시예에 따른 디바이스(100)는 카메라를 통해 사용자의 생체 이미지(800)를 획득할 수 있으나, 카메라가 아닌 다른 음성 센서, 이미지 센서 등을 포함하는 센서에 의해 사용자의 생체 이미지(800)를 획득할 수도 있고, 이에 제한되는 것은 아니다. 또한, 디바이스(100)는 사용자의 생체 이미지(800)를 획득할 당시의 부가 정보를 획득할 수 있다. 디바이스(100)는 서버(840)에 사용자의 생체 이미지(820)를 전송할 수 있다. 또한, 디바이스(100)는 서버(840)에 부가 정보도 전송할 수 있다. 일 실시예에 따라, 디바이스(100)는, 서버(840)에 사용자의 생체 이미지(820)를 전송하기 전에 디바이스(100)에서 도 7에서 전술한 생체 이미지의 처리 과정의 적어도 일부를 수행한 뒤, 일부 처리된 생체 이미지(820)를 서버(840)에 전송할 수도 있다. 서버(840)는 뉴럴 네트워크(860)를 이용하여 생체 이미지(820)로부터 깊은 생체 특징 및 얕은 생체 특징을 추출할 수 있다. 또한, 서버(840)는 사용자의 생체 특징과 데이터 베이스에 저장된 정당한 사용자의 생체 특징을 비교하여 사용자의 생체 특징과 정당한 사용자의 생체 특징 간의 유사도(880)를 결정할 수 있다. 일 실시예에서, 서버(840)는 디바이스(100)에게 결정된 유사도(880)를 전송할 수 있다. 유사도(880)를 수신한 디바이스(100)는, 유사도(880)에 기초하여, 사용자가 정당한 사용자인지 여부를 결정하고 그에 따라 사용자의 접근을 허용할 수 있다. 일 실시예에 따라, 뉴럴 네트워크(860)를 포함하는 서버(840)를 이용하여 생체 이미지로부터 생체 특징을 추출함으로써, 디바이스(100)는 부하로 인한 지연 없이 신속하게 사용자 인증 프로세스를 완료할 수 있다.
도 9는 일 실시예에 의한 사용자의 얼굴이 가려진 상태로 사용자의 홍채를 인식하는 방법의 개요를 도시한 도면이다.
도 9를 참조하면, 사용자는 디바이스(100)에 자신의 홍채를 인식시키기 위해 디바이스(100)의 카메라를 바라볼 수 있다. 디바이스(100)는 카메라를 통해 사용자의 홍채 이미지(920)를 획득할 수 있다. 다만, 디바이스(100)는 화면에 사용자의 얼굴이 아닌 다른 이미지(940)를 출력할 수 있다. 즉, 디바이스(100)는 사용자의 홍채 이미지(920)를 전부 또는 일부 가려진 형태로 디스플레이 할 수 있다. 예를 들어, 디바이스(100)는 사용자의 홍채 이미지(920)를 가면의 형태, 동물의 형태 등으로 디스플레이 할 수 있다. 다른 이미지(940)는 사용자가 직접 설정한 이미지이거나, 디바이스(100)가 추천하는 이미지일 수 있다. 일 실시예에 따라, 사용자의 생체 이미지(920)가 전부 또는 일부 가려진 상태로 출력됨으로써, 디바이스(100)는 사용자에게 화면에 자신이 얼굴이 노출되는 심적 불편함을 감소시킬 수 있다. 또한, 사용자는 다른 이미지(940)로써 사용자가 선호하는 사진을 선택할 수 있다. 생체 인식 기반의 사용자 인증 보안 애플리케이션의 관리자는 선호하는 사진 속 형상과 눈을 마주치는 등의 방법을 통해 사용자에게 생체 인식 기반의 사용자 인증 보안 애플리케이션의 사용을 촉진시킬 수 있다. 편의상 홍채 인식으로 설명하였으나, 홍채 인식에 한정되는 것은 아니고, 모든 생체 인식 프로세스에 상기 방법을 적용할 수 있다.
도 10은 일 실시예에 의한 부가 정보를 이용하여 생체 인식 기반의 사용자 인증 프로세스를 수행하는 방법의 개요를 도시한 도면이다.
도 10을 참조하면, 일 실시예에 따른 디바이스(100)는 부가 정보를 고려하여 생체 인식 기반의 사용자 인증 프로세스를 수행할 수 있다. 일 실시예에서, 부가 정보는 사용자의 생체 이미지의 획득 시 상황 정보(1000) 및 사용자의 상태 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 사용자의 홍채 이미지의 획득 시 상황 정보(1000)는 바람의 세기, 조명의 세기, 햇빛의 세기, 낮과 밤, 생체 이미지를 획득한 장소의 실내/실외 여부 등을 포함할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 바람의 세기가 강하거나 햇빛의 세기가 강하면, 사용자는 바람 또는 햇빛으로부터 눈을 보호하기 위하여 실눈을 뜰 수 있다. 이에 따라, 디바이스(100)는 바람 또는 햇빛의 세기가 강한 환경을 고려하여, 실눈을 뜬 상태(1020)에서의 홍채 이미지를 획득하여 사용자 인증 프로세스를 수행할 수 있다. 또 다른 예를 들어, 낮에 홍채 이미지를 획득한 경우나 밤에 홍채 이미지를 획득한 경우를 생각해 볼 수 있다. 낮에 홍채 이미지를 획득한 경우 빛의 세기로 인해 동공이 수축된 상태(1040) 및 밤에 홍채 이미지를 획득한 경우 동공이 확장된 상태(1060)을 고려하여, 디바이스(100)는 사용자 인증 프로세스를 수행할 수 있다.
일 실시예에서, 사용자의 상태 정보는 속눈썹과 눈꺼풀에 의한 홍채의 가려짐 정도, 사용자의 안경 또는 콘택트 렌즈(contact lens) 착용 여부 등을 포함할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 사용자가 안경을 착용하고 있는 경우, 디바이스(100)는 안경테에 의한 홍채의 가려짐, 안경 렌즈에 의한 빛의 반사 등을 고려하여, 사용자 인증 프로세스를 수행할 수 있다.
일 실시예에서, 디바이스(100)는 사용자의 생체 이미지의 획득 시 상황 정보(1000) 및 사용자의 상태 정보 모두를 고려할 수 있다. 예를 들어, 사용자가 실내에서 안경을 착용하고 있지 않은 상황(1010), 사용자가 실외에서 안경을 착용하고 있지 않은 상황(1030), 사용자가 실내에서 안경을 착용하고 있는 상황(1050), 사용자가 실외에서 안경을 착용하고 있는 상황(1070) 등을 고려하여 디바이스(100)는 홍채 인식 기반의 사용자 인증 프로세스를 수행할 수 있다.
편의상 홍채 인식 기반의 사용자 인증 프로세스로 설명하였으나, 홍채 인식에 한정되는 것은 아니고, 모든 생체 인식 기반의 사용자 인증 프로세스에 상기 방법을 적용할 수 있다.
도 11은 일 실시예에 의한 디바이스가 수행하는 생체 인식 기반의 사용자 인증 방법의 흐름도이다.
도 11을 참조하면, 1105에서, 디바이스는 사전에 추출되고 메모리에 저장된 정당한 사용자의 생체 특징을 획득할 수 있다. 디바이스는 사전에 정당한 사용자의 생체 이미지를 획득할 수 있다. 또한, 디바이스는 학습 네트워크 모델을 이용하여 획득한 정당한 사용자의 생체 이미지로부터 생체 특징을 획득할 수 있다. 일 실시예에서, 생체 특징은 얕은 생체 특징 및 깊은 생체 특징을 모두를 포함하거나 얕은 생체 특징만을 포함하거나, 깊은 생체 특징만을 포함할 수 있다. 디바이스는 획득한 정당한 사용자의 생체 특징을 저장할 수 있다. 또한, 디바이스는 사용자가 생체 인식 기반의 사용자 인증을 수행할 때, 저장된 정당한 사용자의 생체 특징을 이용할 수 있다.
일 실시예에서, 디바이스는 사전에 추출되고 메모리에 저장된 정당한 사용자의 생체 특징에 대응되는 생체 특징 맵(map)
Figure PCTKR2019010781-appb-img-000008
을 획득할 수 있다. 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000009
은 디바이스 상의 정당한 사용자를 등록하는 과정에서 사전에 추출될 수 있다. 디바이스는 정당한 사용자의 이미지를 획득하고, 학습된 컨벌루션 뉴럴 네트워크를 이용하여 정당한 사용자의 생체 이미지를 처리하여 생체 특징 맵
Figure PCTKR2019010781-appb-img-000010
을 생성하고, 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000011
을 디바이스의 메모리에 저장하여 정당한 사용자를 디바이스의 권리자로 등록할 수 있다. 일 실시예에서, 정당한 사용자의 등록 과정은 초기 활성화 단계에서 수행될 수 있다. 또한, 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000012
을 생성한 뉴럴 네트워크는 디바이스의 사용자가 정당한 사용자인지 결정하는 사용자 인증 프로세스에서 사용될 수 있다.
1110에서, 디바이스는 사용자의 생체 이미지를 획득할 수 있다. 일 실시예에 따라, 정당한 사용자의 등록 과정을 완료한 후, 디바이스는 디바이스의 현재 사용자가 정당한 사용자인지 결정하기 위해 사용자 인증 프로세스를 시작할 수 있다. 디바이스는 카메라 또는 센서를 이용하여 생체 이미지를 획득할 수 있다. 1110은 도 2를 참조하여 전술한 210과 대응될 수 있다.
1115에서, 디바이스는 뉴럴 네트워크의 제1 블록을 이용하여 사용자의 생체 이미지를 처리함으로써 사용자의 생체 이미지로부터 사용자의 생체 특징 맵을 획득할 수 있다. 일 실시예에서, 뉴럴 네트워크의 제1 블록은 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000013
을 생성하는 과정에서 사용된 뉴럴 네트워크의 제1 블록과 동일할 수 있다. 즉, 디바이스는 정당한 사용자의 등록과정에서 사용된 제1 블록을 이용하여 사용자의 생체 이미지를 처리함으로써 현재 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000014
을 생성할 수 있다.
일 실시예에서, 뉴럴 네트워크의 제1 블록을 이용하여 사용자의 생체 이미지를 처리하는 단계는 다음의 단계들을 포함할 수 있다: 액티베이션 (activation) 레이어는 없고, 차원을 감소 시키는 풀링(pooling) 레이어는 존재하거나 또는 풀링 레이어도 없이, 적어도 1의 스트라이드(stride)를 가지도록 구성된 뉴럴 네트워크의 제1 블록의 n개 이하의 컨벌루션 레이어에 의해 이미지를 처리하는 단계 및 i개 이하의 변형 레이어 및 n개 이하의 컨벌루션 레이어를 통과한 출력으로 얻어진 컨벌루션 연산을 수행하는 단계. 일 실시예에서, 컨벌루션 레이어의 개수인 n과 변형 레이어의 개수인 i는 3 이하일 수 있다. 또한, 변형은 쌍곡선 탄젠트 (hyperbolic tangent) tanh(x) 함수, 액티베이션(activation) 함수에 의한 변형, 양자화 함수에 의한 변형, 이진화 함수에 의한 변형
Figure PCTKR2019010781-appb-img-000015
을 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에 따라, 이와 같은 뉴럴 네트워크의 구조는 모든 가능한 유리한 효과와 함께 뉴럴 네트워크의 경량(lightness) 를 보장할 수 있다.
일 실시예에서, 뉴럴 네트워크의 제1 블록은 스트라이드(stride)가 1인 단일 컨벌루션 레이어를 포함하고, 액티베이션 레이어 및 풀링 레이어를 포함하지 않을 수 있다. 즉, 디바이스는 뉴럴 네트워크의 제1 블록을 이용하여 컨벌루션 연산은 수행하고, 액티베이션 함수에 의한 변형 및 차원의 감소는 수행하지 않을 수 있다.
다른 일 실시예에서, 뉴럴 네트워크의 제1 블록은 단일 컨벌루션 레이어 및 액티베이션 레이어를 포함할 수 있다. 디바이스는 뉴럴 네트워크의 제1 블록을 이용하여, 단일 컨벌루션 레이어에 의한 컨벌루션 연산을 수행한 후에, 액티베이션 레이어에 의한 변형을 수행할 수 있다. 예를 들어, 디바이스는 뉴럴 네트워크의 제1 블록을 이용하여 단일 컨벌루션 레이어에 의한 컨벌루션 연산을 수행한 후에, 쌍곡선 탄젠트 함수(hyperbolic tangent) tanh(x)를 이용하여, 컨벌루션 연산 결과를
Figure PCTKR2019010781-appb-img-000016
에 따라 이진화(binarization) 변형을 수행할 수 있다. 즉, i=1인 단일 변형이 수행될 수 있다. 또한, 액티베이션(activation) 함수는 sigmoid(x), arctg(x), softsign(x), relu(x), elu(x), prelu(x), sin(x) 등의 함수일 수 있으나, 이에 제한되는 것은 아니다.
또 다른 일 실시예에서, 단일 컨벌루션 레이어에 의한 컨벌루션 연산은 변형 연산 이후에 뒤따를 수 있다. 일 실시예에 따른, 변형 연산은 컨벌루션 레이어에 의해 수행될 수 있다. 예를 들어, 제1 변형 동작은 제1 컨벌루션 레이어에 의해 수행될 수 있다. 다른 일 실시예에 따른, 변형 연산은 변형 연산을 수행하는 레이어에 의해 수행될 수 있다. 변형 연산을 수행하는 레이어는 컨벌루션 레이어와 번갈아가며 배치되어 뉴럴 네트워크를 구성할 수 있다. 또 다른 일 실시예에 따른, 변형 연산은 모든 컨벌루션 레이어가 아닌 일부의 컨벌루션 레이어 이후에 위치한 변형 연산을 수행하는 레이어(들)에 수행될 수도 있다. 즉, 변형은 생략될 수 있고, 하나 이상의 컨벌루션 레이어에 의해 컨벌루션 연산한 결과는 그대로 출력될 수 있다 (i=0).
일 실시예에서, 뉴럴 네트워크가 제1 블록과 제2 블록으로 분리되는 것은 필수적이지 않을 수 있다. 예를 들어, 뉴럴 네트워크의 제1 블록과 제2 블록의 구조 및 파라미터가 일치하면, 디바이스는 별개의 블록을 사용하는 것 대신에 뉴럴 네트워크의 블록을 분리하지 않고 사용할 수 있다.
1120에서, 디바이스는 뉴럴 네트워크를 이용하여 각 생체 특징 맵의 구성요소 별 (element-wise) 연산을 수행하여 얕은 특징 벡터를 생성할 수 있다. 디바이스는 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000017
의 구성요소
Figure PCTKR2019010781-appb-img-000018
와 정당한 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000019
의 구성요소
Figure PCTKR2019010781-appb-img-000020
의 구성요소 별 연산을 수행함으로써 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000021
를 생성할 수 있다. 일 실시예에 따라, 구성요소 별 연산은 다음의 [ 수학식 1 ]에 따라 수행될 수 있다.
[ 수학식 1 ]
Figure PCTKR2019010781-appb-img-000022
Figure PCTKR2019010781-appb-img-000023
Figure PCTKR2019010781-appb-img-000024
과 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000025
간의 차이의 정도를 반영하는 식별자이다.
일 실시예에서, 구성요소 별 연산은 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000026
의 구성요소인
Figure PCTKR2019010781-appb-img-000027
와 정당한 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000028
의 구성요소
Figure PCTKR2019010781-appb-img-000029
상에서 수행되는 L1-norm 또는 L2-norm 일 수 있다.
1125에서, 일 실시예에 따른 디바이스는 뉴럴 네트워크를 이용하여 다른 특징 공간에 얕은 특징 벡터를 매핑할 수 있다. 디바이스는 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000030
를 획득하기 위해, 뉴럴 네트워크의 하나 이상의 추가적인 레이어를 이용하여, 다른 특징 공간에 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000031
를 매핑할 수 있다. 즉, 다른 특징 공간은 뉴럴 네트워크의 하나 이상의 추가적인 레이어를 이용하여 매핑하는 공간을 의미할 수 있고, 디바이스는 다른 특징 공간에
Figure PCTKR2019010781-appb-img-000032
를 매핑한 결과, 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000033
를 획득할 수 있다.
1130에서, 디바이스는 뉴럴 네트워크를 이용하여 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000034
과 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000035
을 결합할 수 있다. 일 실시예에서, 디바이스는 정당한 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000036
과 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000037
을 결합할 수 있다. 다른 일 실시예에서, 디바이스는 구성요소 별 연산을 통해 정당한 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000038
과 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000039
의 결합 결과를 획득할 수 있다. 예를 들어, 다른 구성요소 별 연산은 구성요소에 대응되는 쌍에 대한 값의 합 또는 곱의 차이에 대한 연산일 수 있으나, 이에 제한되는 것은 아니다.
1135에서, 디바이스는 뉴럴 네트워크의 제2 블록을 이용하여 정당한 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000040
과 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000041
의 결합 결과를 처리함으로써, 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000042
를 생성할 수 있다. 일 실시예에 따라, 뉴럴 네트워크의 제2 블록의 구조(예. 레이어의 수, 변환의 수, 차수 등) 및 파라미터는 뉴럴 네트워크의 제1 블록의 구조 및 파라미터에 대응될 수 있다. 제1 블록 및 제2 블록의 구조 및 파라미터는 네트워크에서 허용 가능한 수에 따라 일치하거나 다를 수 있고, 데이터의 처리 속도 및 요구되는 인식의 정확도에 따라 결정될 수 있다.
일 실시예에 따라, 디바이스는 얕고 생체 특징으로부터 깊은 생체 특징을 추출함으로써 뉴럴 네트워크의 구조의 경량(lightness)을 감소시킬 수 있다. 단일 뉴럴 네트워크를 두 개의 메인 블록으로 분할하여 얕은 생체 특징 및 깊은 생체 특징을 추출함으로써, 네트워크 구조가 단순화될 수 있다. 또한, 디바이스는 많은 수의 파라미터를 가지는 깊은 뉴럴 네트워크를 이용하지 않고도 생체 인식 프로세스의 정확도를 높일 수 있다. 이에 따라, 기존의 뉴럴 네트워크는 컴퓨팅 자원 및 다른 기타 자원이 제한된 모바일 디바이스에서 깊은 뉴럴 네트워크를 사용하기가 상당히 복잡했던 것에 비해, 일 실시예에 따른 뉴럴 네트워크는, 뉴럴 네트워크가 가벼워 모바일 디바이스에 의해 이용될 수 있다. 즉, 일 실시예에 따른 뉴럴 네트워크는, 기존 뉴럴 네트워크가 대항하지 못한 조건들(예. 모바일 디바이스의 제한된 컴퓨팅 자원)에서 생체 인식 기반의 사용자 인증 프로세스의 문제점을 해결할 수 있다.
1140에서, 디바이스는 뉴럴 네트워크를 이용하여 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000043
를 매핑한 특징 공간과 다른 특징 공간에 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000044
를 매핑할 수 있다. 디바이스는 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000045
를 획득하기 위해, 뉴럴 네트워크의 하나 이상의 추가적인 레이어를 이용하여, 다른 특징 공간에 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000046
를 매핑할 수 있다. 즉, 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000047
를 매핑한 특징 공간과 다른 특징 공간은 뉴럴 네트워크의 하나 이상의 추가적인 레이어를 이용하여 매핑하는 공간을 의미할 수 있고, 뉴럴 네트워크의 하나 이상의 추가적인 레이어는 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000048
를 매핑할 때 이용한 레이어와 다른 레이어일 수 있다. 디바이스는 다른 특징 공간에
Figure PCTKR2019010781-appb-img-000049
를 매핑한 결과, 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000050
를 획득할 수 있다. 일 실시예에 따라, 특징 공간에 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000051
를 매핑하는데 사용되는 뉴럴 네트워크의 레이어는 풀리 커넥티드 레이어(fully-connected layer)일 수 있다. 또한, 뉴럴 네트워크의 레이어들은 연속적으로 배열되며, 하나 이상의 분포의 파라미터를 가질 수 있다.
1145에서, 디바이스는 얕은 특징 벡터와 깊은 특징 벡터를 결합한 결과를 기초로, 정당한 사용자의 생체 특징과 사용자의 생체 특징 간의 유사도를 결정할 수 있다. 디바이스는 뉴럴 네트워크를 이용하여, 유사도 벡터
Figure PCTKR2019010781-appb-img-000052
를 획득하기 위해 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000053
및 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000054
를 결합할 수 있다. 즉, 유사도 벡터
Figure PCTKR2019010781-appb-img-000055
는, 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000056
및 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000057
를 결합한 결과일 수 있다. 유사도 벡터
Figure PCTKR2019010781-appb-img-000058
를 획득하기 위해, 뉴럴 네트워크의 하나 이상의 추가적인 레이어가 사용될 수 있다. 일 실시예에 따라, 유사도 벡터
Figure PCTKR2019010781-appb-img-000059
는 뉴럴 네트워크의 하나 이상의 추가적인 레이어에 의해 차원이 1인 공간에 매핑될 수 있다. 즉, 차원이 1인 공간에 유사도 벡터
Figure PCTKR2019010781-appb-img-000060
가 매핑되는 결과, 디바이스는 유사도를 획득할 수 있다.
일 실시예에 따라, 1125, 1140 및 1145에서 벡터
Figure PCTKR2019010781-appb-img-000061
,
Figure PCTKR2019010781-appb-img-000062
및
Figure PCTKR2019010781-appb-img-000063
을 매핑하는 데 사용되는 뉴럴 네트워크의 레이어(들)은 동일한 차원을 가지는 풀리 커넥티드 레이어(fully-connected layer)(들)일 수 있다. 또한, 벡터
Figure PCTKR2019010781-appb-img-000064
,
Figure PCTKR2019010781-appb-img-000065
및
Figure PCTKR2019010781-appb-img-000066
을 매핑하는 데 사용되는 뉴럴 네트워크의 레이어들은, 연속적으로 배열되며, 하나 이상의 분포 파라미터를 가질 수 있다. 일 실시예에 따라, 벡터
Figure PCTKR2019010781-appb-img-000067
,
Figure PCTKR2019010781-appb-img-000068
및
Figure PCTKR2019010781-appb-img-000069
을 매핑하는 데 사용되는 뉴럴 네트워크의 레이어의 수는 하나 이상의 분포 파라미터의 수에 의해 결정될 수 있고, 분포의 차원은 각 레이어를 구성하는 구성요소의 수에 의해 결정될 수 있다. 또한, 각 분포는 기댓값과 분산의 파라미터를 가지는 표준정규분포 (standard normal distribution) 일 수 있으나, 이에 한정되는 것은 아니다. 분포는 서로 다른 파라미터를 가질 수 있다. 예를 들어, 분포는 감마 분포(gamma distribution), 로그-정규 분포(log-normal distribution), 푸아송 분포(Poisson distribution) 등일 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 1125 및 1140에서, 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000070
및 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000071
를 획득하기 위해 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000072
및 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000073
를 매핑한 특징 공간은 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000074
및 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000075
를 획득한 특징 공간보다 크거나 같은 차원을 가지는 공간일 수 있다. 또한, 유사도 벡터
Figure PCTKR2019010781-appb-img-000076
이 매핑되는 특징 공간은 차원이 1인 공간일 수 있다. 즉, 디바이스는 유사도 벡터
Figure PCTKR2019010781-appb-img-000077
이 매핑되는 특징 공간에서 유사도를 결정할 수 있다. 이에 따라, 유사도 벡터
Figure PCTKR2019010781-appb-img-000078
이 매핑되는 특징 공간에 유사도 벡터
Figure PCTKR2019010781-appb-img-000079
를 매핑하는 결과, 디바이스는 유사도를 획득할 수 있다.
일 실시예에서, 1125, 1140 및 1145에서 사용되는 뉴럴 네트워크는 변분 추론(variational inference)을 이용하여 사전에 학습될 수 있다. 뉴럴 네트워크의 학습에 사용되는 변분 추론은 사후확률(posterior) 분포를 다루기 쉬운 확률분포로 근사(approximation)하는 것으로, 분포에서 임의의 값을 샘플링하여 얻어질 수 있다. 변분추론은 뉴럴 네트워크의 학습 단계에서 생성되며, 같은 차원을 갖는 풀리 커넥티드 레이어(fully-connected layer)로 정의되는 분포로부터 값의 선택을 나타낼 수 있다. 또한, 레이어의 구성요소들은 분포들의 파라미터들일 수 있다. 일 실시예에서, 분포를 정의하는 파라미터의 수는 완전히 연결된 레이어의 수에 의해 결정되며, 각 분포의 차원은 각 레이어에 포함된 구성요소의 개수에 따라 결정될 수 있다. 또한, 분포로부터의 값의 선택은 다이렉트 패스 (direct pass)의 학습 과정에서 무작위로 진행될 수 있다. 이에 따라, 분포 파라미터들은 학습될 수 있다. 네트워크의 테스트(또는 사용) 모드에서, 분포로부터 값의 선택은 분포 파라미터인 함수가 사용됨으로써 결정될 수 있다. 일 실시예에서, 분포는 파라미터가 기대값(
Figure PCTKR2019010781-appb-img-000080
)과 분산(
Figure PCTKR2019010781-appb-img-000081
)인 표준 정규 분포이고, 함수는
Figure PCTKR2019010781-appb-img-000082
일 수 있다. 컨볼루션 뉴럴 네트워크는 비교쌍(pairs of comparisons)들의 세트인 훈련 데이터 세트를 이용하여 훈련될 수 있다. 또한, 비교의 종류는 둘 중 하나일 수 있다: 같은 생체, 혹은 서로 다른 두 생체. 뉴럴 네트워크의 구조(파라미터의 수, 레이어의 종류와 수 등)는 데이터 처리 속도와 인식 정확도의 필요조건을 고려하여 선택될 수 있다.
1150에서, 디바이스는 결정된 유사도에 기초하여, 사용자가 정당한 사용자인지 결정할 수 있다. 디바이스는 유사도가 임계값보다 높으면 현재 사용자가 디바이스에 접근하는 것을 허용할 수 있다. 반면에, 유사도가 임계값보다 낮으면 디바이스는 현재 사용자가 디바이스에 접근하는 것을 허용하지 않을 수 있다. 임계값은 미리 설정된 값이거나 학습 네트워크 모델에 의해 적합하다고 판단된 값일 수 있으나 이에 제한되는 것은 아니다.
일 실시예에서, 비교를 위한 임계값은 테스트(test)의 샘플에 대한 테스트 완료 후에 설정될 수 있다. 또한, 테스트의 결과는 FNMR(false non-match rate) 및 FMR(false match rate) 사이의 관계를 반영하는 곡선 ROC(receiver operating characteristic)을 구성하는 데 사용될 수 있다. 일 실시예에 따른 임계값은, FNMR 및 FMR 값이 미리 설정된 인식의 정확도 요구사항에 의해 허용되는 한계 내에서 유지되는 값에 따라 결정될 수 있다.
도 12는 일 실시예에 의한 마스크(mask)를 이용한 정규화 프로세스를 통해 생체 인식 기반의 사용자 인증 디바이스가 수행하는 생체 인식 기반의 사용자 인증 방법의 흐름도이다.
도 12를 참조하면, 1205에서, 디바이스는, 사전에 추출되고 저장된 정당한 사용자의 생체 특징 및 마스크를 획득할 수 있다. 일 실시예에서, 마스크란, 생체 이미지를 정규화한 결과일 수 있다. 정규화는 생체 이미지의 픽셀을 극 좌표로부터 선형 좌표로 변환하는 것으로 정의될 수 있다. 생체 이미지의 픽셀들은 정규화를 통해 원형 위치(circular location)로부터 픽셀들의 직사각형 행렬로 변환될 수 있다. 예를 들어, 홍채 이미지에서, 마스크는 눈꺼풀, 속눈썹, 눈부심 등으로 가려진 정규화된 홍채 이미지의 특정 포인트들을 표시할 수 있다. 디바이스는 사전에 정당한 사용자의 생체 이미지를 획득할 수 있다. 또한, 학습 네트워크 모델을 이용하여 획득한 정당한 사용자의 생체 이미지로부터 생체 특징 및 정당한 사용자의 마스크
Figure PCTKR2019010781-appb-img-000083
를 획득할 수 있다. 일 실시예에 따라, 생체 특징은 얕은 생체 특징 및 깊은 생체 특징을 모두를 포함하거나 얕은 생체 특징만을 포함하거나, 깊은 생체 특징만을 포함할 수 있다. 또한, 디바이스는 획득한 정당한 사용자의 생체 특징 및 마스크
Figure PCTKR2019010781-appb-img-000084
를 저장할 수 있다. 이에 따라, 디바이스는 사용자가 생체 인식 기반의 사용자 인증을 수행할 때, 저장된 정당한 사용자의 생체 특징을 이용할 수 있다.
디바이스는 사전에 추출되고 메모리에 저장된 정당한 사용자의 생체 특징에 대응되는 생체 특징 맵(map)
Figure PCTKR2019010781-appb-img-000085
을 획득할 수 있다. 일 실시예에 따라, 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000086
은 디바이스 상의 정당한 사용자를 등록하는 과정에서 사전에 추출될 수 있다. 디바이스는 정당한 사용자의 이미지를 획득하고, 학습된 뉴럴 네트워크를 이용하여 정당한 사용자의 생체 이미지를 처리하여 생체 특징 맵
Figure PCTKR2019010781-appb-img-000087
과 생체 마스크
Figure PCTKR2019010781-appb-img-000088
를 획득하며, 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000089
과 생체 마스크
Figure PCTKR2019010781-appb-img-000090
를 나중에 사용하기 위해 디바이스의 메모리에 저장할 수 있다. 또한, 디바이스는 뉴럴 네트워크를 이용하여 정당한 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000091
를 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000092
의 크기로 스케일링할 수 있다. 일 실시예에 따라, 정당한 사용자의 등록 과정은 초기 활성화 단계에서 수행될 수 있다. 또한, 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000093
과 생체 마스크
Figure PCTKR2019010781-appb-img-000094
를 생성한 뉴럴 네트워크는 디바이스의 사용자가 정당한 사용자인지 결정하는 사용자 인증 프로세스에서 사용될 수 있다.
1210에서, 디바이스는, 사용자의 생체 이미지 및 생체 이미지에 대응되는 생체 마스크
Figure PCTKR2019010781-appb-img-000095
를 획득할 수 있다. 일 실시예에 따라, 뉴럴 네트워크의 제1 블록은 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000096
을 생성하는 과정에서 사용된 뉴럴 네트워크의 제1 블록과 동일할 수 있다. 즉, 디바이스는 정당한 사용자의 등록과정에서 사용된 제1 블록을 이용하여 사용자의 생체 이미지를 처리함으로써 현재 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000097
을 생성할 수 있다. 또한, 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000098
는 사용자의 생체 이미지를 정규화한 결과일 수 있다.
일 실시예에 따라, 정당한 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000099
및 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000100
를 획득하는 방법은, 기존의 기술들이 이용될 수 있다. 일 실시예에 따라, 마스크의 사용은 생체 인식 기반의 사용자 인증의 정확도를 향상시킬 수 있다.
1215에서, 디바이스는, 뉴럴 네트워크의 제1 블록에 의해 사용자의 생체 이미지를 처리함으로써 생체 이미지로부터 생체 특징 맵을 획득할 수 있다. 일 실시예에서, 1215는 도 11을 참고하여 전술한 1115와 대응될 수 있다.
1220에서, 디바이스는, 정당한 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000101
및 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000102
에 기초하여 각 생체특징 맵의 구성요소 별 연산을 통해 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000103
를 생성할 수 있다. 일 실시예에서, 디바이스는 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000104
의 구성요소인
Figure PCTKR2019010781-appb-img-000105
와 정당한 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000106
의 구성요소
Figure PCTKR2019010781-appb-img-000107
의 구성요소 별 연산을 수행함으로써 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000108
를 생성할 수 있다. 일 실시예에 따라, 구성요소 별 연산은 다음의 [수학식 2]에 따라 수행될 수 있다.
[수학식 2]
Figure PCTKR2019010781-appb-img-000109
Figure PCTKR2019010781-appb-img-000110
Figure PCTKR2019010781-appb-img-000111
를 통해 정당한 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000112
과 사용자의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000113
간의 차이의 정도를 반영할 수 있다. 일 실시예에 따라, 구성요소 별 연산은 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000114
의 구성요소인
Figure PCTKR2019010781-appb-img-000115
와 정당한 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000116
의 구성요소
Figure PCTKR2019010781-appb-img-000117
상에서 수행되는 L1-norm 또는 L2-norm 일 수 있다.
1225에서, 디바이스는, 뉴럴 네트워크를 이용하여 다른 특징 공간에 얕은 특징 벡터를 매핑할 수 있다. 1230에서, 디바이스는, 뉴럴 네트워크를 이용하여 정당한 사용자의 얕은 생체 특징 맵 및 사용자의 얕은 생체 특징 맵을 결합할 수 있다. 1235에서, 디바이스는 뉴럴 네트워크의 제2 블록을 이용하여 생체 특징 맵의 결합 결과를 처리함으로써 깊은 특징 벡터를 생성할 수 있다. 1240에서, 디바이스는 뉴럴 네트워크를 이용하여 다른 특징 공간에 깊은 특징 벡터를 매핑할 수 있다. 1245에서, 디바이스는 얕은 특징 벡터와 깊은 특징 벡터를 결합한 결과를 기초로, 정당한 사용자의 생체 특징과 사용자의 생체 특징 간의 유사도를 결정할 수 있다. 일 실시예에서, 1225 내지 1245은 도 11을 참고하여 전술한 1125 내지 1145과 대응될 수 있다.
일 실시예에서, 1225, 1240 및 1245에서 사용되는 뉴럴 네트워크는 변분 추론(variational inference)을 이용하여 사전에 학습될 수 있다. 뉴럴 네트워크의 학습에 사용되는 변분 추론은 사후확률(posterior) 분포를 다루기 쉬운 확률분포로 근사(approximation)하는 것으로, 분포에서 임의의 값을 샘플링하여 얻어질 수 있다. 변분추론은 뉴럴 네트워크의 학습 단계에서 생성되며, 같은 차원을 갖는 풀리 커넥티드 레이어(fully-connected layer)로 정의되는 분포로부터 값의 선택을 나타낼 수 있다. 또한, 레이어의 구성요소들은 분포들의 파라미터들일 수 있다. 일 실시예에 따라, 분포를 정의하는 파라미터의 수는 완전히 연결된 레이어의 수에 의해 결정되며, 각 분포의 차원은 각 레이어에 포함된 구성요소의 개수에 따라 결정될 수 있다. 또한, 분포로부터의 값의 선택은 다이렉트 패스 (direct pass)의 학습 과정에서 무작위로 진행될 수 있다. 이에 따라, 분포 파라미터들은 학습될 수 있다. 네트워크의 테스트(또는 사용) 모드에서, 분포로부터 값의 선택은 분포 파라미터인 함수가 사용됨으로써 결정될 수 있다. 일 실시예에서, 분포는 파라미터가 기대값(
Figure PCTKR2019010781-appb-img-000118
)과 분산(
Figure PCTKR2019010781-appb-img-000119
)인 표준 정규 분포이고, 함수는
Figure PCTKR2019010781-appb-img-000120
일 수 있다. 일 실시예에 따라, 컨볼루션 뉴럴 네트워크는 비교쌍(pairs of comparisons)들의 세트인 훈련 데이터 세트를 이용하여 훈련될 수 있다. 또한, 비교의 종류는 둘 중 하나일 수 있다: 같은 생체, 혹은 서로 다른 두 생체. 뉴럴 네트워크의 구조(파라미터의 수, 레이어의 종류와 수 등)는 데이터 처리 속도와 인식 정확도의 필요조건을 고려하여 선택될 수 있다.
1250에서, 디바이스는 결정된 유사도에 기초하여, 사용자가 정당한 사용자인지 결정할 수 있다. 일 실시예에 따라, 1250은 도 11을 참고하여 전술한 1150과 대응될 수 있다.
도 13은 일 실시예에 의한 사용자의 생체 이미지로부터 얕은 생체 특징을 추출하는 방법의 흐름을 개략적으로 나타낸 도면이다.
도 13을 참조하면, 1305 및 1310에서 디바이스는 사용자의 생체 이미지와 사용자의 마스크를 획득할 수 있다. 일 실시예에 따라, 디바이스는 카메라나 센서에 의해 생체 이미지를 획득할 수 있다. 또한, 디바이스는 뉴럴 네트워크를 이용하여 생체 이미지를 정규화하여 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000121
를 획득할 수 있다.
1320에서 디바이스는 사용자의 생체 마스크를 이용하여, 뉴럴 네트워크의 제1 블록을 이용하여 생체 이미지를 처리할 수 있다. 또한, 제1 블록은 사전에 정당한 사용자의 생체 이미지로부터 생체 특징 맵
Figure PCTKR2019010781-appb-img-000122
을 추출하는 데 사용될 수 있다. 일 실시예에 따른, 뉴럴 네트워크의 제1 블록의 액티베이션 (activation)에 의한 변형을 수행하는 레이어는 포함되지 않은 적어도 1의 스트라이드(stride)를 가질 수 있고, 제1 블록의 레이어의 수 N은 예를 들어 3 이하일 수 있다.
1340에서, 일 실시예에 따른 뉴럴 네트워크는 i개 이하의 변형 및 N개 이하의 레이어를 통과한 출력인 컨벌루션 연산 결과를 처리할 수 있다. 예를 들어, 변형의 수 i는 3이하일 수 있다. 또한, 변형은 쌍곡선 탄젠트(hyperbolic tangent) 함수 tanh(x) 및/또는 다른 액티베이션(activation) 함수에 의한 변형, 양자화(quantization) 함수에 의한 변형, 이진화(binarization) 함수
Figure PCTKR2019010781-appb-img-000123
에 의한 변형 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 액티베이션 함수는 sigmoid(x), arctg(x), softsign(x), relu(x), elu(x), prelu(x), sin(x) 등일 수 있으나, 이에 한정되는 것은 아니다.
1360에서, 디바이스는 뉴럴 네트워크를 이용하여 정당한 사용자의 마스크 및 사용자의 마스크에 기초하여 생체 특징의 구성요소 별 연산을 수행할 수 있다. 1380에서, 뉴럴 네트워크는 얕은 특징 벡터를 생성할 수 있다. 일 실시예에서, 1360 및 1380은 도 12를 참조하여 전술한 1220과 대응될 수 있다.
도 14는 일 실시예에 의한 사용자의 생체 이미지로부터 얕은 생체 특징을 추출하는 방법의 흐름을 개략적으로 나타낸 도면이다.
도 14을 참조하면, 1410 및 1420에서 디바이스는 뉴럴 네트워크를 이용하여 사용자의 생체 이미지와 사용자의 마스크를 획득할 수 있다. 일 실시예에서, 디바이스는 카메라나 센서에 의해 생체 이미지를 획득할 수 있다. 또한, 디바이스는 뉴럴 네트워크를 이용하여 생체 이미지를 정규화하여 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000124
를 획득할 수 있다.
1430에서 디바이스는 사용자의 생체 마스크를 이용하여, 뉴럴 네트워크의 제1 블록을 이용하여 생체 이미지를 처리할 수 있다. 또한, 제1 블록은 사전에 정당한 사용자의 생체 이미지로부터 생체 특징 맵
Figure PCTKR2019010781-appb-img-000125
을 추출하는 데 사용될 수 있다. 일 실시예에 따른, 뉴럴 네트워크의 제1 블록의 액티베이션 (activation)에 의한 변형을 수행하는 레이어는 포함되지 않은 적어도 1의 스트라이드(stride)를 가질 수 있고, 제1 블록의 레이어의 수 N은 예를 들어 3 이하일 수 있다.
1450에서 일 실시예에 따른 뉴럴 네트워크는 컨벌루션 연산 결과를 출력할 수 있다. 즉, 도 13을 참고하여 전술한 1340과 달리, 변형은 생략될 수 있고, 하나 이상의 컨벌루션 연산 결과를 그대로 출력할 수 있다. 즉, 변형의 수 i는 0일 수 있다.
1470 및 1490에서, 디바이스는, 정당한 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000126
및 사용자의 생체 마스크
Figure PCTKR2019010781-appb-img-000127
에 기초하여 각 생체특징 맵의 구성요소 별 연산을 통해 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000128
를 생성할 수 있다. 일 실시예에서, 디바이스는 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000129
의 구성요소인
Figure PCTKR2019010781-appb-img-000130
와 정당한 사용자의 적어도 하나의 생체 특징 맵
Figure PCTKR2019010781-appb-img-000131
의 구성요소
Figure PCTKR2019010781-appb-img-000132
의 구성요소 별 연산을 수행함으로써 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000133
를 생성할 수 있다. 일 실시예에 따라, 1470 및 1490은 도 12를 참조하여 전술한 1220과 대응될 수 있다.
도 15는 일 실시예에 의한 부가 정보를 사용한 생체 인식 기반의 사용자 인증 방법의 흐름도이다.
도 15를 참조하면, 1505에서, 디바이스는 사전에 추출되고 메모리에 저장된 정당한 사용자의 생체 특징을 획득할 수 있다. 일 실시예에 따라, 1505는 도 11을 참조하여 전술한 1105와 대응될 수 있다.
1510에서, 디바이스는 사용자의 생체 이미지를 획득할 수 있다. 1515에서, 디바이스는 뉴럴 네트워크의 제1 블록에 의해 사용자의 생체 이미지를 처리함으로써 사용자의 생체 이미지로부터 생체 특징 맵을 획득할 수 있다. 1520에서, 디바이스는 각 생체특징 맵의 구성요소 별 연산을 통해 얕은 특징 벡터를 생성할 수 있다. 1525에서, 디바이스는 뉴럴 네트워크를 이용하여 다른 특징 공간에 얕은 특징 벡터를 매핑할 수 있다. 1530에서, 디바이스는 정당한 사용자의 얕은 특징 맵 및 사용자의 얕은 특징 맵을 결합할 수 있다. 1535에서, 디바이스는 뉴럴 네트워크의 제2 블록에 의해 결합 결과를 처리함으로써 깊은 특징 벡터를 생성할 수 있다. 1540에서, 디바이스는 뉴럴 네트워크를 이용하여 다른 특징 공간에 깊은 특징 벡터를 매핑할 수 있다. 일 실시예에 따라, 1505 내지 1540은 도 11을 참조하여 전술한 1105 내지 1140과 대응될 수 있다.
1545에서, 일 실시예에 따른 디바이스는 얕은 특징 벡터, 깊은 특징 벡터 및 부가 정보를 결합한 결과를 기초로, 유사도를 결정할 수 있다. 디바이스는 뉴럴 네트워크를 이용하여 유사도 벡터
Figure PCTKR2019010781-appb-img-000134
를 획득하기 위해, 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000135
, 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000136
및 부가 정보를 결합할 수 있다. 즉, 유사도 벡터
Figure PCTKR2019010781-appb-img-000137
은, 얕은 특징 벡터
Figure PCTKR2019010781-appb-img-000138
, 깊은 특징 벡터
Figure PCTKR2019010781-appb-img-000139
및 부가 정보를 결합한 결과일 수 있다. 일 실시예에 따라, 부가 정보(310)는 사용자의 생체 이미지(350)를 획득할 때의 날씨 및 시간, 조명의 정도, 사용자의 생체 이미지(350)를 획득한 시간 등을 포함하는 생체 이미지(350)의 획득 시 상황 정보 및 사용자의 안경 또는 렌즈 착용 여부, 동공 확장 또는 축소 정도, 획득하고자 하는 생체 부위 이외의 생체 특징 정보 등을 포함하는 사용자의 상태 정보를 포함할 수 있으나 이에 제한되는 것은 아니다. 부가 정보(310)는 생체 이미지 획득 시의 상황 정보 및 사용자의 상태 정보에 의해 생체 이미지의 픽셀을 구성하는 값들의 왜곡되는 정보를 나타내는 수치 표현 정보일 수 있다. 예를 들어, 부가 정보(310)는 벡터로 표현되어 얕은 생체 특징 및 깊은 생체 특징과 더불어 디바이스가 유사도를 결정할 때 사용될 수 있다. 일 실시예에 따라, 부가 정보(310)를 추가적으로 고려함으로써 디바이스는 보다 정확한 인식도를 가지는 생체 인식 기반의 사용자 인증 프로세스를 수행할 수 있다.
일 실시예에 따라, 유사도 벡터
Figure PCTKR2019010781-appb-img-000140
을 획득하기 위해, 컨벌루션 뉴럴 네트워크의 하나 이상의 레이어가 사용될 수 있다. 예를 들어, 유사도 벡터
Figure PCTKR2019010781-appb-img-000141
는 차원이 1인 공간에 매핑될 수 있다. 즉, 차원이 1인 공간에 유사도 벡터
Figure PCTKR2019010781-appb-img-000142
가 매핑되는 결과, 디바이스는 유사도를 획득할 수 있다.
1550에서, 디바이스는, 결정된 유사도에 기초하여 사용자가 정당한 사용자인지 결정할 수 있다. 일 실시예에 따라, 유사도가 임계값보다 높으면 현재 사용자가 디바이스에 접근하는 것이 허용될 수 있다. 반면에, 유사도가 임계값보다 낮으면 현재 사용자가 디바이스에 접근하는 것이 허용되지 않을 수 있다. 일 실시예에 따라, 임계값은 미리 설정된 값이거나 학습 네트워크 모델에 의해 적합하다고 판단된 값일 수 있으나 이에 제한되는 것은 아니다.
도 16a 및 도 16b는 일 실시예에 의한 실험 결과를 도시한 도면이다.
일 실시예에서, 인식 시스템의 신뢰도는 FAR(False Acceptance Rate) 에러와 FRR(False Rejection Rate) 에러로 평가될 수 있다. FAR이란, 오인식률로, 본인의 것이 아닌 생체인식 정보를 본인의 것으로 잘못 판단할 확률로 FAR 0.001%는 10만회 인증 시 1회 오류 가능성을 의미할 수 있다. FRR이란, 오거부률로 본인의 생체 정보를 본인이 아닌 것으로 잘못 판단할 확률로 FRR 0.1%는 1000회 인증 시 1회 오류가 발생할 가능성을 의미할 수 있다. EER(Equal Error Rate)이란, 동일 오류율로, FAR과 FRR의 수치가 같아질 때의 오류율을 의미할 수 있다. EER의 수치는 ROC(Receiver Operating Characteristic) 곡선으로부터 쉽게 얻을 수 있다. EER은 다른 ROC곡선을 가지는 장치의 정확도를 비교하기 위한 빠른 방법이다. 이에 따라, 가장 낮은 EER을 가지는 장치가 가장 정확할 수 있다. 일 실시예에서, FAR과 FRR은 기 설정된 임계값과 뉴럴 네트워크를 이용하여 계산된 유사도를 비교하여 결정될 수 있다. 또한, 기 설정된 임계값은 정당한 사용자와 사용자 간 유사도를 시뮬레이션 한 결과로부터 결정될 수 있다. 즉, 정당한 사용자와의 유사도와 비 권리자와의 유사도의 차이가 클 수록 인식 시스템의 신뢰도가 높아질 수 있다. 따라서, 일 실시예에 따른 뉴럴 네트워크에서 발생하는 중대한 에러를 감소시키기 위해, 일 실시예는, 생체 이미지로부터 확률 변수의 형태로 추출되어 분포의 형태로 생체의 특징을 나타내고, 모든 생체의 특징을 반영할 수 있는 규칙화 연산(regulation operation)인 변분 추론을 이용할 수 있다.
도 16a 및 도 16b를 참조하면, 실내의 다양한 조명 및 실외의 태양에 대한 다양한 방향에서 생체 인식의 성능을 확인할 수 있다. 일 실시예에 따른 방법을 이용한 결과, FRR의 경우, 기존의 생체 인식 기반의 사용자 인증 방법은 약 0.6의 FRR을 가짐과 달리, 일 실시예에 따른 생체 인식 기반의 사용자 인증 방법은, 약 0.2의 FRR을 가질 수 있어, 인식의 정확도와 관련하여 인식 정확도를 약 3배로 향상시킬 수 있다. 또한, EER의 경우, 기존의 생체 인식 기반의 사용자 인증 방법은 약 0.045의 EER을 가짐과 달리, 일 실시예에 따른 생체 인식 기반의 사용자 인증 방법은, 약 0.015의 EER을 가져, 인식의 정확도와 관련하여 3배로 성능이 향상될 수 있다. 이와 관련하여 정당한 사용자는 94569번, 정당한 사용자가 아닌 사용자는 10104817번 테스트되었고, 훈련, 검증, 실험 데이터 수는 각각 32207, 4693, 9034개이다.
기존의 방법은 동공이 지나치게 확대되거나 수축되는 경우, 강한 조명 또는 햇빛 하에서 눈을 가늘게 뜨게 되는 경우, 생체 이미지를 획득할 때 손 떨림으로 인해 이미지가 흐려진 경우 등의 조건에서 생체 인식 인증 시스템의 성능이 나빠질 수 있다. 일 실시예에 의한 방법에 따라, 낮은 품질의 이미지로부터 생체 이미지의 독특한 생체 특징을 추출하기 위해 비선형 왜곡을 기록, 처리 및 보상하기 위한 도구로서 뉴럴 네트워크가 사용될 수 있다. 일 실시예에 의한 방법은 생체 이미지로부터 생체 특징을 추출할 수 있는 뉴럴 네트워크를 사용하고, 덜 통제된 환경에서의 생체 인식 성능을 향상시키기 위해 뉴럴 네트워크의 제2 블록을 추가로 이용할 수 있다. 일 실시예에 따라, 뉴럴 네트워크의 제2 블록은 깊지 않을 수 있다. 예를 들어, 뉴럴 네트워크의 제2 블록은 5개 이하의 컨벌루션 레이어로 구성될 수 있다. 이에 따라, 일 실시예에 따른 뉴럴 네트워크 구조는 가벼워질 수 있으므로 모바일 디바이스 상에서 애플리케이션을 적용할 수 있다.
도 17은 일 실시예에 의한 생체 인식 기반의 사용자 인증 디바이스의 구성을 개략적으로 도시한 블록도이다.
도 17을 참조하면, 디바이스(1700)는 프로세서(1720), 카메라(1740), 메모리(1760) 및 출력부(1780)를 포함할 수 있다. 그러나, 도 17에 도시된 구성 요소 모두가 디바이스(1700)의 필수 구성 요소인 것은 아니다. 도 17에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(1700)가 구현될 수도 있고, 도 17에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(1700)가 구현될 수도 있다.
프로세서(1720)는 디바이스(1700)의 전체적인 동작을 제어하며, CPU, GPU 등과 같은 프로세서를 적어도 하나 이상 포함할 수 있다. 일 실시예에서, 프로세서는 ASIC (application-specific integrated circuit), FPGA (field-programmable gate array) 또는 SoC (system-on-chip)으로 구현될 수 있다. 또한, 프로세서(1720)는 프로세서(1720)는 디바이스(1700)를 작동하기 위한 동작을 수행하도록 디바이스(1700)에 포함된 다른 구성들을 제어할 수 있다. 예를 들어, 프로세서(1720)는 메모리(1760)에 저장된 프로그램을 실행시키거나, 저장된 파일을 읽어오거나, 새로운 파일을 저장할 수도 있다. 일 실시예에서, 프로세서(1720)는 메모리(1760)에 저장된 프로그램을 실행함으로써, 디바이스(1700)를 작동하기 위한 동작을 수행할 수 있다. 예를 들면, 프로세서(1720)는 사용자의 생체 이미지를 획득하고, 상기 학습 네트워크 모델을 구성하는 제 1 뉴럴 네트워크를 이용하여, 상기 획득된 사용자의 생체 이미지로부터 얕은 생체 특징을 획득하고, 상기 학습 네트워크 모델을 구성하는 제 2 뉴럴 네트워크를 이용하여 상기 획득된 사용자의 생체 이미지로부터 깊은 생체 특징을 획득하며, 상기 얕은(shallow) 생체 특징 및 상기 깊은(deep) 생체 특징과 기 저장된 정당한 사용자의 생체 특징 간의 유사도를 결정하고, 상기 결정된 유사도에 기초하여, 상기 사용자가 상기 정당한 사용자인지 여부를 결정할 수 있다.
카메라(1740)는 내부 카메라, 외부 카메라, 정면 카메라, 적외선(IR) 조명을 갖는 카메라 또는 이들의 조합을 포함할 수 있다. 일 실시예에 따른 카메라(1740)는 생체 이미지를 획득할 수 있다. 일 실시예에 따른 생체 이미지는 정적인 생체 이미지이거나 복수의 생체 이미지일 수 있다. 예를 들어, 카메라(1740)는 일련의 생체 이미지를 포함하는 생체 이미지 시퀀스를 획득할 수 있다. 일 실시예에 따른 카메라(1740)는 비디오 시퀀스를 획득할 수도 있다.
메모리(1760)에는 애플리케이션과 같은 프로그램 및 파일 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 프로세서(1720)는 메모리(1760)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(1760)에 저장할 수도 있다. 일 실시예에서, 메모리(1760)는 생체 특징 데이터 베이스(190)를 포함할 수 있다. 일 실시예에서, 메모리(1760)는 디바이스(1700)의 카메라(1740)에 의해 촬영된 생체 이미지와 프로세서(1720)에 의해 처리된 생체 이미지 및 생체 특징을 저장할 수 있다.
출력부(1780)는 디스플레이부, 음향 출력부 및 진동 모터를 포함할 수 있다. 일 실시예에 따라, 출력부(1780)는 사용자의 생체 이미지 및/또는 사용자의 생체 이미지를 전부 또는 일부 가린 형태로 디스플레이 할 수 있다.
도 17에 도시되지는 아니하였으나, 디바이스(1700)는 센서부(미도시)를 더 포함할 수 있다. 일 실시예에서, 센서부는 EEG 센서를 포함할 수 있다. 센서부는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 17에 도시되지는 아니하였으나, 디바이스(1700)는 통신부(미도시)를 더 포함할 수 있다. 통신부는, 디바이스(1700)가 서버 또는 외부 장치와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부는, 근거리 통신부, 이동 통신부, 방송 수신부를 포함할 수 있다. 일 실시예에서, 통신부는 디바이스(1700)로부터 서버로 사용자의 생체 이미지를 전송할 수 있다. 또한, 통신부는 뉴럴 네트워크를 이용하는 서버에 의해 사용자 생체 이미지가 처리됨으로써 획득한 유사도를 서버로부터 수신할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
개시된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 서버 또는 디바이스와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 디바이스 또는 제 3 장치로 전송되거나, 제 3 장치로부터 디바이스로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 디바이스 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 디바이스 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제 3 장치가 컴퓨터 프로그램 제품을 실행하여, 제 3 장치와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 제 3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제 3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드 된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제 3 장치는 프리로드 된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 사용자의 생체 이미지를 획득하는 단계;
    학습 네트워크 모델을 구성하는 제 1 뉴럴 네트워크를 이용하여, 상기 획득된 사용자의 생체 이미지로부터 얕은(shallow) 생체 특징을 획득하는 단계;
    상기 학습 네트워크 모델을 구성하는 제 2 뉴럴 네트워크를 이용하여 상기 획득된 사용자의 생체 이미지로부터 깊은(deep) 생체 특징을 획득하는 단계;
    상기 얕은 생체 특징 및 상기 깊은 생체 특징과 기 저장된 정당한 사용자의 생체 특징 간의 유사도를 결정하는 단계; 및
    상기 결정된 유사도에 기초하여, 상기 사용자가 상기 정당한 사용자인지 여부를 결정하는 단계를 포함하는, 생체 인식 기반의 사용자 인증 방법.
  2. 제 1 항에 있어서, 상기 깊은 생체 특징을 획득하는 단계는,
    상기 제 2 뉴럴 네트워크를 이용하여, 상기 얕은 생체 특징으로부터 상기 깊은 생체 특징을 획득하는, 생체 인식 기반의 사용자 인증 방법.
  3. 제 1 항에 있어서,
    상기 정당한 사용자의 얕은 생체 특징 및 상기 사용자의 얕은 생체 특징을 결합하여 하나의 얕은 특징 벡터를 생성하는 단계; 및
    상기 정당한 사용자의 깊은 생체 특징 및 상기 사용자의 깊은 생체 특징을 결합하여 하나의 깊은 특징 벡터를 생성하는 단계를 더 포함하고,
    상기 유사도를 결정하는 단계는,
    상기 얕은 특징 벡터 및 상기 깊은 특징 벡터에 기초하여 유사도를 결정하는, 생체 인식 기반의 사용자 인증 방법.
  4. 제 1 항에 있어서,
    상기 사용자의 상기 얕은 생체 특징 및 상기 깊은 생체 특징을 정규화 하는 단계를 더 포함하고,
    상기 유사도를 결정하는 단계는,
    상기 정규화 된 얕은 생체 특징 및 상기 깊은 생체 특징을 이용하여, 유사도를 결정하는, 생체 인식 기반의 사용자 인증 방법.
  5. 제 1 항에 있어서, 상기 생체 인식 기반의 사용자 인증 방법은,
    상기 사용자의 생체 이미지의 획득 시 상황 정보 및 사용자의 상태 정보 중 적어도 하나를 포함하는 부가정보를 수신하는 단계를 더 포함하고,
    상기 유사도를 결정하는 단계는,
    상기 부가 정보에 기초하여, 상기 유사도를 결정하는, 생체 인식 기반의 사용자 인증 방법.
  6. 제 1 항에 있어서, 상기 학습 네트워크 모델은,
    변분추론(variational inference)를 이용하여 사전에 학습된 학습 네트워크 모델을 포함하는, 생체 인식 기반의 사용자 인증 방법.
  7. 제 1 항에 있어서, 상기 제 2 뉴럴 네트워크는,
    5개 이하의 컨벌루션 뉴럴 네트워크의 레이어를 가지는, 생체 인식 기반의 사용자 인증 방법.
  8. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    사용자의 생체 이미지를 획득하고,
    학습 네트워크 모델을 구성하는 제 1 뉴럴 네트워크를 이용하여, 상기 획득된 사용자의 생체 이미지로부터 얕은(shallow) 생체 특징을 획득하고,
    상기 학습 네트워크 모델을 구성하는 제 2 뉴럴 네트워크를 이용하여 상기 획득된 사용자의 생체 이미지로부터 깊은(deep) 생체 특징을 획득하고,
    상기 얕은생체 특징 및 상기 깊은 생체 특징과 기 저장된 정당한 사용자의 생체 특징 간의 유사도를 결정하며,
    상기 유사도를 기초로 상기 사용자가 상기 정당한 사용자인지 여부를 결정하는, 생체 인식 기반의 사용자 인증 디바이스.
  9. 제 8 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제 2 뉴럴 네트워크를 이용하여 상기 얕은 생체 특징으로부터 상기 깊은 생체 특징을 획득하는, 생체 인식 기반의 사용자 인증 디바이스.
  10. 제 8 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 정당한 사용자의 얕은 생체 특징 및 상기 사용자의 얕은 생체 특징을 결합하여 하나의 얕은 특징 벡터를 생성하고,
    상기 정당한 사용자의 깊은 생체 특징 및 상기 사용자의 깊은 생체 특징을 결합하여 하나의 깊은 특징 벡터를 생성하며,
    상기 얕은 특징 벡터 및 상기 깊은 특징 벡터에 기초하여 유사도를 결정하는, 생체 인식 기반의 사용자 인증 디바이스.
  11. 제 8 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 사용자의 상기 얕은 생체 특징 및 상기 깊은 생체 특징을 정규화 하고,
    상기 정규화 된 얕은 생체 특징 및 상기 깊은 생체 특징을 이용하여, 유사도를 결정하는, 생체 인식 기반의 사용자 인증 디바이스.
  12. 제 8 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 사용자의 생체 이미지의 획득 시 상황 정보 및 사용자의 상태 정보 중 적어도 하나를 포함하는 부가정보를 수신하고,
    상기 부가 정보에 기초하여, 상기 유사도를 결정하는, 생체 인식 기반의 사용자 인증 디바이스.
  13. 제 8 항에 있어서, 상기 학습 네트워크 모델은,
    변분추론(variational inference)를 이용하여 사전에 학습된 학습 네트워크 모델을 포함하는, 생체 인식 기반의 사용자 인증 디바이스.
  14. 제 8 항에 있어서, 상기 제2 뉴럴 네트워크는,
    5개 이하의 컨벌루션 뉴럴 네트워크의 레이어를 가지는, 생체 인식 기반의 사용자 인증 디바이스.
  15. 하나 이상의 프로그램들을 저장하는 컴퓨터로 읽을 수 있는 기록매체로서,
    상기 하나 이상의 프로그램들은, 생체 인식 기반의 사용자 인증 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 상기 생체 인식 기반의 사용자 인증 디바이스로 하여금:
    제 1 항 내지 제 7 항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2019/010781 2018-10-26 2019-08-23 생체 인식 기반의 사용자 인증 방법 및 장치 WO2020085632A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/288,256 US20210382970A1 (en) 2018-10-26 2019-08-23 Biometrics-based user authentication method and device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
RU2018137909 2018-10-26
RU2018137909A RU2697646C1 (ru) 2018-10-26 2018-10-26 Способ биометрической аутентификации пользователя и вычислительное устройство, реализующее упомянутый способ
KR1020190082227A KR20200047294A (ko) 2018-10-26 2019-07-08 생체 인식 기반의 사용자 인증 방법 및 장치
KR10-2019-0082227 2019-07-08

Publications (1)

Publication Number Publication Date
WO2020085632A1 true WO2020085632A1 (ko) 2020-04-30

Family

ID=70330509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010781 WO2020085632A1 (ko) 2018-10-26 2019-08-23 생체 인식 기반의 사용자 인증 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2020085632A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063843A (zh) * 2022-05-20 2022-09-16 华南理工大学 面向高自由度应用场景的掌脉数据增强及特征提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160083900A (ko) * 2013-11-04 2016-07-12 페이스북, 인크. 얼굴 표현을 위한 시스템 및 방법
JP2017010543A (ja) * 2015-06-24 2017-01-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
US20180260553A1 (en) * 2013-05-13 2018-09-13 Veridium Ip Limited System and method for authorizing access to access-controlled environments
KR20180109634A (ko) * 2017-03-28 2018-10-08 삼성전자주식회사 얼굴 인증 방법 및 장치
JP2018165983A (ja) * 2017-03-28 2018-10-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認証方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260553A1 (en) * 2013-05-13 2018-09-13 Veridium Ip Limited System and method for authorizing access to access-controlled environments
KR20160083900A (ko) * 2013-11-04 2016-07-12 페이스북, 인크. 얼굴 표현을 위한 시스템 및 방법
JP2017010543A (ja) * 2015-06-24 2017-01-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
KR20180109634A (ko) * 2017-03-28 2018-10-08 삼성전자주식회사 얼굴 인증 방법 및 장치
JP2018165983A (ja) * 2017-03-28 2018-10-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認証方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063843A (zh) * 2022-05-20 2022-09-16 华南理工大学 面向高自由度应用场景的掌脉数据增强及特征提取方法
CN115063843B (zh) * 2022-05-20 2024-03-29 华南理工大学 面向高自由度应用场景的掌脉数据增强及特征提取方法

Similar Documents

Publication Publication Date Title
WO2019164373A1 (en) Electronic device displaying avatar motion-performed as per movement of facial feature point and method for operating same
WO2020190083A1 (en) Electronic device and controlling method thereof
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2019164266A1 (en) Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2020017706A1 (en) Electronic device and method for controlling the same
WO2015115681A1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
WO2019231130A1 (ko) 전자 장치 및 그의 제어방법
US11250243B2 (en) Person search system based on multiple deep learning models
CN114450690A (zh) 网络模型训练方法、图像属性识别方法、装置及电子设备
EP3539056A1 (en) Electronic apparatus and operation method thereof
WO2020017902A1 (en) Method and apparatus for performing user authentication
WO2021060721A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
WO2017115937A1 (ko) 가중치 보간 맵을 이용한 표정 합성 장치 및 방법
WO2022039450A1 (ko) 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2019156428A1 (en) Electronic device and method for correcting images using external electronic device
EP4049235A1 (en) Electronic device and controlling method of electronic device
WO2020085632A1 (ko) 생체 인식 기반의 사용자 인증 방법 및 장치
CN112257645A (zh) 人脸的关键点定位方法和装置、存储介质及电子装置
WO2022108001A1 (ko) 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
WO2021221490A1 (en) System and method for robust image-query understanding based on contextual features
WO2021230680A1 (en) Method and device for detecting object in image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19875826

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19875826

Country of ref document: EP

Kind code of ref document: A1