WO2021162195A1 - 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법 - Google Patents

딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법 Download PDF

Info

Publication number
WO2021162195A1
WO2021162195A1 PCT/KR2020/013226 KR2020013226W WO2021162195A1 WO 2021162195 A1 WO2021162195 A1 WO 2021162195A1 KR 2020013226 W KR2020013226 W KR 2020013226W WO 2021162195 A1 WO2021162195 A1 WO 2021162195A1
Authority
WO
WIPO (PCT)
Prior art keywords
card
authenticity
feature information
identification
feature
Prior art date
Application number
PCT/KR2020/013226
Other languages
English (en)
French (fr)
Inventor
최호열
이동열
Original Assignee
주식회사 카카오뱅크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카카오뱅크 filed Critical 주식회사 카카오뱅크
Priority to US17/786,684 priority Critical patent/US11594053B2/en
Publication of WO2021162195A1 publication Critical patent/WO2021162195A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D25/00—Information-bearing cards or sheet-like structures characterised by identification or security features; Manufacture thereof
    • B42D25/20—Information-bearing cards or sheet-like structures characterised by identification or security features; Manufacture thereof characterised by a particular use or purpose
    • B42D25/23—Identity cards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D25/00—Information-bearing cards or sheet-like structures characterised by identification or security features; Manufacture thereof
    • B42D25/30—Identification or security features, e.g. for preventing forgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to a device for determining the authenticity of an identification card.
  • Internet banking refers to a service that processes various financial transactions such as deposits and withdrawals provided by banks using the Internet and uses various financial information and functions. For this, the user can open an account provided by the bank and use Internet banking through the account.
  • users In order to use Internet banking, users install an application on the user's terminal and conduct banking business in connection with a server that manages banking services through the application.
  • the user can process various banking tasks using the application without directly visiting the bank.
  • the present invention is to solve the above-mentioned problems, and it is a technical task of the present invention to provide a deep learning-based identification card authenticity verification device and authenticity verification method capable of automatically verifying the authenticity of an identification card.
  • a method for determining the authenticity of an ID card based on deep learning is a plurality of expressing an index for verifying the authenticity of the ID card from the ID data by inputting ID data into a feature information extraction model extracting characteristic information of dogs; inputting the extracted plurality of characteristic information into a classification model to determine the authenticity of the identification card; and extracting a Class Activation Map in which a forged area of the identification data is activated from the plurality of characteristic information when it is determined that the identification card is forged.
  • the device for determining the authenticity of a deep learning-based ID card includes a memory in which a plurality of program modules are stored; and a processor for executing the plurality of program modules stored in the memory, wherein the program modules input identification data obtained by photographing an identification card into a feature information extraction model to verify the authenticity of the identification card from the identification data a feature information extraction unit for extracting a plurality of feature information representing an indicator for; a determination unit for inputting the extracted plurality of feature information into a classification model to determine the authenticity of the identification card; and a forged area extracting unit for extracting a Class Activation Map in which a forged area of the identification data is activated from the plurality of characteristic information when it is determined that the identification card is forged.
  • the present invention it is possible to automatically check the authenticity of the ID card, so that not only can the verification of the authenticity of the ID card be performed quickly, but also there is an effect that the cost can be reduced because no manpower is required.
  • the present invention can perform verification of the authenticity of an ID using a neural network model generated based on deep learning, so that it is possible not only to identify a fake ID that cannot be distinguished with the naked eye, but also to improve the reliability of internet banking. there is an effect that
  • FIG. 1 is a view showing a system for determining the authenticity of an ID card capable of determining the authenticity of an ID according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the configuration of a banking server according to an embodiment of the present invention.
  • 3A and 3B are diagrams illustrating structures of a feature information extraction model and a classification model included in a neural network model according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of generating a class activation map by summing activated feature information by a generator.
  • FIG. 5 is a view showing a flow chart showing a method of verifying the authenticity of an identification card according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method for displaying a counterfeit area of an identification card according to an embodiment of the present invention.
  • FIG. 7 illustrates an example screen for determining a counterfeit area of an identification card according to an embodiment of the present invention.
  • At least one should be understood to include all possible combinations from one or more related items.
  • the meaning of “at least one of the first, second, and third items” means each of the first, second, or third items as well as two of the first, second and third items. It may mean a combination of all items that can be presented from more than one.
  • each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, technically various interlocking and driving are possible, and each of the embodiments may be implemented independently of each other or may be implemented together in a related relationship. may be
  • the identification card authenticity determination system 10 performs authentication for the corresponding user using identification data obtained from the user's identification card.
  • the identification card authenticity determination system 10 may be a banking system that provides a banking service, and the identification data may be an identification image obtained by photographing the identification of the user.
  • the authentication may be for performing banking services including account opening, loan, and the like.
  • the identification card authenticity determination system 10 includes a user terminal 100 and an identification card authenticity determination device 200 as shown in FIG. 1 .
  • the identification card authenticity determination system 10 is a banking system and the identification card authenticity determination device 200 is a banking server.
  • the reference number of the banking system will use the same reference number as the reference number of the identification card authenticity determination system 10
  • the reference number of the banking server will use the same reference number as the identification card authenticity determination device 200 .
  • the user terminal 100 provides a banking service to the user by interworking with the banking server 200 through a network.
  • a banking application is installed in the user terminal 100 .
  • the banking application receives the banking service request from the user, and transmits it to the banking server 200 so that the banking service requested from the user is processed by the banking server 200 .
  • the banking application transmits an account opening request or an account transfer request to the banking server 200 when an account opening request or an account transfer request is generated from a user, thereby opening an account by the banking server 200 or sending the requested amount. allow it to be transferred.
  • the banking application generates an ID card photographing request to perform authentication for the user.
  • the banking application 10 may generate an ID photographing request in order to authenticate the user when an account opening request is generated by the user.
  • the banking application may generate an ID photographing request to authenticate the user.
  • the banking application 10 may generate an ID card photographing request in order to authenticate the user when an account transfer request is generated by the user.
  • the user may generate ID data by photographing the ID through the user terminal 100 .
  • the banking application transmits the generated ID data to the banking server 200 to verify the authenticity of the ID.
  • the banking application receives the authenticity check result of the identification card from the banking server 200 and provides it to the user.
  • the banking application receives the verification result of the ID from the banking server 200 and provides it to the user, but according to another embodiment of the present invention, the banking function performed by the banking server 200 is described. Applications can do Alternatively, some functions performed by the banking server 200 may be performed by the banking application.
  • Such a banking application may be downloaded through an online market such as an App Store or Google Play and installed in the user terminal 100 or may be installed when the terminal is manufactured by a terminal manufacturer.
  • the user terminal 100 is a personal computer (PC) or notebook equipped with a wired Internet connection and browsing function, a notebook or portable terminal equipped with a wireless LAN/mobile Internet connection and browsing function, and a mobile communication network connection and browsing function. It may include a Personal Communication System (PCS), a Global System for Mobile (GSM) terminal, a Personal Digital Assistant (PDA), or a smart phone.
  • PCS Personal Communication System
  • GSM Global System for Mobile
  • PDA Personal Digital Assistant
  • the banking server 200 provides a banking service to the user in conjunction with the user terminal 100 . Specifically, the banking server 200 provides a banking service to the user in conjunction with the banking application installed in the user terminal 100 .
  • the banking server 200 may open an account according to the account opening request.
  • the banking server 200 may transfer the requested amount from the user's account to the transfer target account according to the transfer request.
  • the banking server 200 may receive ID data from a banking application and perform verification of the authenticity of the ID data.
  • the banking server 200 according to the present invention may perform verification of the authenticity of the ID data based on deep learning.
  • the banking server 200 according to the present invention may generate a class activation map in which the counterfeit area of the ID data is activated when it is determined that the ID is forged. Therefore, the banking server 200 according to the present invention not only simply determines the forgery of the ID card, but also allows the forgery area on the ID card to be checked, so that the system administrator can understand the reason that the ID card is forged.
  • the banking server 200 may include physical components such as a processor 205 and a memory 207 .
  • the banking server 200 may include one or more program modules implemented in the form of software configured to be executed by the processor 205 , and the one or more program modules may be stored in the memory 207 .
  • the one or more modules may include an interface unit 210 , an ID data collection unit 220 , an authenticity determination unit 230 , a neural network model 240 , and a learning unit 250 , and the memory 207 includes a database 260 may be further stored.
  • the processor 205 may execute one or more modules 210 to 250 stored in the memory 207 or execute various types of instruction sets. In addition, the processor 205 may process various software functions or data in addition to the modules 210 to 250 shown in FIG. 2 .
  • the memory 207 may include a non-volatile memory such as a high-speed random access memory (RAM), one or more magnetic disk storage devices, and a flash memory device.
  • the memory 207 may further include a storage device disposed apart from the processor 205 and accessible through a communication network such as the Internet.
  • the interface unit 210 receives the request and response transmitted from the user terminal 100 and transmits the request and response to the user terminal 100 . Specifically, the interface unit 210 receives the request and response from the banking application installed in the user terminal 100, and transmits the request and response to the banking application.
  • the interface unit 210 may receive an account opening request from a banking application, and when an account created according to the account opening request is opened, an account opening response may be transmitted to the banking application.
  • the interface unit 210 may receive ID data obtained by photographing the ID card from the banking application.
  • the ID data received by the interface unit 210 may be data obtained in real time through the user terminal 100 .
  • the ID data may be an ID image obtained in real time through the user terminal 100, and in this case, the interface unit 210 may receive an ID image composed of a plurality of frames as ID data.
  • the ID data collection unit 220 collects ID data received by the interface unit 210 .
  • ID data may be collected in various forms such as vector data as well as images.
  • the ID data collection unit 220 may store the collected ID data in the database 260 .
  • the identification data collection unit 220 transmits the collected identification data to the authenticity determination unit 230 .
  • the authenticity determination unit 230 determines the authenticity of the ID card, and when it is determined that the ID card is forged, generates a Class Activation Map in which a counterfeit area of ID data is activated.
  • the authenticity determination unit 230 inputs the ID data to the neural network model 240 to verify the authenticity of the ID card, and generates a Class Activation Map.
  • the neural network model 240 may be implemented as a Convolution Neural Network (CNN) algorithm.
  • the neural network model 240 may be implemented as a Recurrent Neural Network (RNN) algorithm, a Neural Network (NN) algorithm, or the like.
  • RNN Recurrent Neural Network
  • NN Neural Network
  • the neural network model 240 according to the present invention will be described below as implemented with a CNN algorithm.
  • the authenticity determination unit 230 includes a feature information extraction unit 310 , a determination unit 320 , a counterfeit area extraction unit 330 , and a reference information comparison unit 335 as shown in FIG. 2 .
  • the neural network model 240 used by the authenticity determination unit 230 includes a feature information extraction model 340 and a classification model 350 as shown in FIG. 2 .
  • the feature information extraction unit 310 inputs identification data into the feature information extraction model 340 included in the neural network model 240, so that a plurality of feature vectors or a plurality of feature maps are obtained from the identification data. to extract
  • the feature vector or feature map represents an indicator for verifying the authenticity of the ID.
  • Indices for verifying the authenticity of an ID include hologram information present on the ID card, reflected light information on the ID card, shadow information on the ID card, Moire pattern information, face information included in the ID card, and reference information included in the ID card. may include In this case, the moiré pattern refers to a pattern generated when the display is photographed.
  • the reference information means the date of issuance, resident number, address, name, etc.
  • the feature information extraction model 340 may be a single model learned indices for verifying the authenticity of an identification card, or may be composed of a plurality of models learned for each indicator.
  • FIGS. 3A and 3B are diagrams for explaining an embodiment of determining a forged area by extracting a feature vector as feature information from ID data
  • FIG. 3B is a diagram for determining a forged area by extracting a feature map in the form of an image from the feature information from the ID data It is a drawing for explaining an embodiment.
  • FIG. 3A shows the configuration of a Convolutional Neural Network (CNN) layer for detecting a forged region by extracting a feature vector from ID data.
  • the CNN layer shown in FIG. 3A includes predetermined learning data (eg, various types of ID data) may be a learned layer.
  • the CNN layer includes a feature information extraction model 340 for extracting a feature vector as feature information of the input ID data and a classification model 350 for classifying a class, and the feature information extraction model 340 includes n convolutional layers ( 510) and m pooling layers may be implemented in a stacked form.
  • the convolution layer 510 is an essential element that reflects an activation function after applying a filter to input data, and the pooling layer 520 is selectively applicable.
  • a filter traverses the ID data as shown in FIG. 3A to extract a feature vector of the ID data, calculates a convolution, and uses the calculation result to create a feature vector.
  • an output data type may be changed according to a filter size, a stride, whether padding is applied, and a max pooling size.
  • the pooling layer 520 may receive the output data of the convolutional layer 510 as an input, and may be used to emphasize or reduce the size of specific data.
  • the classification model 350 disposed next to the feature information extraction model 340 may be a fully connected (FC) layer for image classification, and is located between a part for extracting features of an image and a part for classifying an image.
  • a flattening layer may be disposed to form image data in an array form.
  • the feature vector of the present invention may include a hologram, reflected light, a moiré pattern, whether a photograph and a resident registration number and gender match, and image data as a configuration.
  • feature vectors representing holograms, reflected light, and moiré patterns may be expressed in the form of vector values of a fully connected layer before the soft max layer.
  • gender the difference between the sex and age prediction result through facial image analysis and the actual age and gender (e.g., 0 if gender matches or 1 if gender does not match) can be expressed as a vector value.
  • the image data may generate a feature vector by inputting the color image data itself as an input.
  • the feature vector representing the components of the present invention may be expressed in the form of a one-dimensional or multi-dimensional matrix.
  • the feature vector may be expressed as a change value or a binary value of previously designated components for forgery detection.
  • the classification model 350 including the fully connected layer and the softmax function shown in FIG. 3A may exist for each feature vector output from the feature information extraction model 340 .
  • the classification model 350 fuses each feature vector output from the feature information extraction model 340 and uses it as a new input feature vector, and the fused feature vector is applied to one classification model 350 . It can be implemented in an input method.
  • the present invention it can be determined whether or not identification data is forged based on the final vector value output through the output layer. For example, in the case of a fake ID using a copy, the amount of change in the hologram may be different or there may be no reflected light compared to a true ID. If the vector value indicating the amount of change in the hologram or the presence or absence of reflected light is out of the range of the value of a true ID, the corresponding ID data can be determined as a forgery.
  • a moiré pattern existing in the ID data may be detected, and whether the ID data is forged may be determined through a vector value representing the pattern.
  • ID data is forgery or not by checking the information recognized as the OCR result in the government API to check whether it is a match. It can be expressed as a vector value (eg, 0 or 1) to indicate whether the corresponding ID data is forged.
  • the feature information extraction model 340 of the present invention can more precisely determine whether the identification data is forged by using the auxiliary index. For example, by comparing the age recognized through the resident registration number of the ID with the age estimated from the photo of the ID, it is possible to determine whether the ID is a forged ID.
  • the past history of the ID photo or the history of other organizations can be used as an auxiliary indicator to determine whether or not it is forged.
  • the neural network model 240 of the present invention may generate a class activation map (CAM) by using the output results of the feature information extraction model 340 and the classification model 350, and a vector value constituting the class activation map by the user Through this, it can be determined whether or not it is a forgery.
  • CAM class activation map
  • the feature information is in the form of a feature vector
  • a plurality of vector values constituting the class activation map may be calculated, and a vector value that deviates from a reference value among them may be determined to be a forgery.
  • the neural network model 240 may derive only a counterfeit determination result, and when a user wants to check a forged element in detail, a vector value determined as a forgery is checked, and a counterfeit area is traced back. can be found
  • 3B is a diagram showing the structures of the feature information extraction model 340 and the classification model 350 included in the neural network model 240 according to an embodiment of the present invention.
  • the feature information extraction model 340 extracts a plurality of feature maps as feature information from the input ID data as shown in FIG. 3B .
  • the feature information extraction model 340 includes n convolutional layers 510 and m pooling layers 520 as shown in FIG. 3B .
  • n convolutional layers 510 are sequentially arranged to generate a plurality of feature maps by applying a convolutional filter of a predetermined size to ID data.
  • n may be an integer of 2 or more.
  • the convolution filters applied to each convolutional layer 510 may be different filters, and may be filters for extracting different features.
  • the n convolutional layers 510 apply an activation function to the generated plurality of feature maps to impart non-linear characteristics to the plurality of feature maps.
  • the activation function refers to a function that gives a weight to a plurality of input information and outputs a completed result value by combining them.
  • the activation function may be a Relu function that outputs a positive value as it is and outputs a negative value as 0 among pixel values of the feature map.
  • the activation function may be a PRelu function that outputs a positive value among pixel values of the feature map as it is and outputs a negative value as a reduced value by a predetermined size.
  • the activation function is a Relu function or a PRelu function, but this is only one embodiment, and the present invention is not limited thereto.
  • the m pooling layers 520 are respectively disposed at an output end of at least one of the n convolutional layers 510 to reduce the dimension by applying a sampling filter of a predetermined size to the plurality of feature maps.
  • the m pooling layers 520 are a max-pooling layer that extracts a maximum value among pixel values included in a region corresponding to a sampling filter on each feature map as a feature value of the feature map. layer).
  • the pooling layer 520 according to the present invention may be performed in various ways such as not only max pooling, average pooling, log-sum-exponential (LSE), etc., which may only be a difference in implementation method. have.
  • the feature information extraction unit 310 transmits the feature information extracted through the feature information extraction model 340 to the determination unit 320 .
  • the feature information extracted through the feature information extraction model 340 may be a feature vector or a feature map in the form of an image.
  • the feature information extracted through the feature information extraction model 340 is a feature map. .
  • the determination unit 320 inputs a plurality of feature maps to the classification model 350 to determine the authenticity of the ID.
  • a classification model 350 used by the determination unit 320 to determine the authenticity of an identification card will be described in more detail with reference to FIG. 3B .
  • the classification model 350 calculates a probability value indicating the authenticity of the identification card by using a plurality of input feature maps.
  • the classification model 350 may be implemented as a plurality of models that each calculate a probability value for an index for confirming the authenticity of the identification card.
  • the classification model 350 reflects all the indicators for checking the authenticity of the identification card to determine whether the identification is authentic or not. It can also be implemented as one model that calculates one probability value representing .
  • the classification model 350 includes an input layer 530 and a probability value calculation layer 540 .
  • the input layer 530 applies a sampling filter of a predetermined size to each feature map and averages pixel values included in an area corresponding to the sampling filter, thereby reducing the dimensions of the plurality of feature maps. It may be a pooling layer (Global Average Pooling Layer).
  • the input layer 530 may be configured in various ways, such as a fully connected layer as well as a global average pooling layer.
  • the probability value calculation layer 540 may be a soft max layer that calculates a probability value indicating the authenticity of an ID by giving weights to a plurality of feature maps with reduced dimensions.
  • the probability value calculation layer 540 may be configured in various ways as well as the soft max layer.
  • the classification model 350 may predict the age and gender of the user by using the feature map representing the facial data of the ID photo.
  • the probability value calculation layer 540 of the classification model 350 may additionally calculate a probability value indicating age and gender as well as a probability value indicating the authenticity of the identification card.
  • the determination unit 320 may transmit the age and gender predicted from the classification model 350 to the reference information comparison unit 335 .
  • the determination unit 320 determines that the identification card is forged. If the probability value is equal to or greater than a predetermined threshold, the determination unit 320 determines that the identification card is normal. The determination unit 320 transmits the determination result to the banking application installed in the user terminal 100 .
  • the feature map extraction unit 310 inputs the ID data into the feature map extraction model 340 to extract the feature map, and the determination unit 320 uses the extracted feature map to determine whether the identification card is authentic or not. was described as judging.
  • a feature vector extracting unit (not shown) may be used to extract a feature vector from the ID data, and the determination unit 320 may determine the authenticity of the ID card using the feature vector.
  • the feature vector extraction unit according to the present invention will be described in more detail for extracting the feature vector from the identification data.
  • the feature vector extraction unit may extract the feature vector by inputting the identification data into a feature vector extraction model (not shown).
  • the feature vector may include a first feature vector expressing a hologram, a second feature vector expressing reflected light, a third feature vector expressing a shadow, a fourth feature vector expressing a Moire pattern, etc. can
  • the feature vector extraction model may include a first feature vector extraction model, a second feature vector extraction model, a third feature vector extraction model, and a fourth feature vector extraction model.
  • the first feature vector extraction model is a model for extracting a first feature vector expressing a hologram from the ID card image
  • the second feature vector extraction model is a model for extracting a second feature vector expressing reflected light from the ID card image
  • the 3 feature vector extraction model is a model for extracting a third feature vector representing a shadow from the ID image
  • the fourth feature vector extraction model is a model for extracting a fourth feature vector representing a moiré pattern from the ID image.
  • one feature vector extraction model may extract the first to fourth feature vectors, which is only a difference in implementation method and is not limited thereto.
  • the feature vector extractor may extract the first to fourth feature vectors from the feature vector extraction model and fuse the first to fourth feature vectors to generate one fusion feature vector.
  • the fusion feature vector is a four-dimensional feature vector, and may be a feature vector expressing a hologram, reflected light, shadow, and moiré pattern.
  • the feature vector extractor may transmit the fusion feature vector to the determiner 320 .
  • the determination unit 320 may input the fusion feature vector into the classification model 350 to determine the authenticity of the identification card. If the probability value output from the classification model 350 is less than a predetermined threshold, the determination unit 320 determines that the identification card is forged. If the probability value is equal to or greater than a predetermined threshold, the determination unit 320 determines that the identification card is normal. The determination unit 320 transmits the determination result to the banking application installed in the user terminal 100 .
  • the feature vector extracting unit may transmit the first to fourth feature vectors extracted from the identification data to the determining unit 320 .
  • the determination unit 320 may input the first to fourth feature vectors to the classification model 350 .
  • the classification model 350 determines the presence or absence of a first probability value indicating the existence of the hologram, a second probability value indicating the presence of reflected light, a third probability value indicating the presence or absence of a shadow, and the presence or absence of a moiré pattern.
  • the indicated fourth probability value can be calculated.
  • the determination unit 320 may determine that the identification card is forged, and if all of the first to fourth probability values are higher than the predetermined threshold, It can be judged that the ID is normal.
  • the classification model 350 can output an identifier indicating the existence of a hologram, an identifier indicating the presence or absence of reflected light, an identifier indicating the presence of a shadow, and an identifier indicating the presence or absence of a moiré pattern.
  • the determination unit 320 may determine whether the identification card has been forged or forged according to the identifier.
  • the identifier may be set based on the authenticity of the ID.
  • the classification model 350 outputs 1 if there is a hologram and outputs 0 if it does not exist, outputs 1 if there is reflected light and outputs 0 if it does not exist, and outputs 1 if there is a shadow and does not exist. Otherwise, 0 is output. If the moiré pattern does not exist, 1 is output. If it does not exist, 0 can be output. In this case, if the at least one identifier is 0, the determination unit 320 may determine that the ID is forged, and if all the identifiers are 1, the determination unit 320 may determine that the ID is normal.
  • classification model 350 there is one classification model 350 in the above-described embodiment, this is only an embodiment, and a classification model 350 may exist for each feature vector.
  • the counterfeit area extraction unit 330 determines that the identification card is forged by the determination unit 320, a class activation map ( Class Activation Map).
  • the reason that the counterfeit region extraction unit 330 according to the present invention extracts the class activation map from the plurality of feature maps is that when the plurality of feature maps are input to the classification model 350 , the classification model 350 is extracted from the plurality of feature maps.
  • the classification model 350 is a deep learning model, and since it is a black box in which the system administrator cannot know how the judgment result is derived, there was a problem that the authenticity result could not be explained. Because.
  • the present invention extracts the class activation map, thereby making it possible to explain the authenticity result, thereby effectively coping with the user's objection, and thereby improving the system reliability.
  • the counterfeit region extraction unit 330 includes an activation unit 410 and a generation unit 420 .
  • the activator 410 applies the weights of the classification model 350 to a plurality of feature maps, respectively, and activates the counterfeit area on each feature map.
  • the weight of the classification model 350 may mean a weight that is given for classification of a plurality of feature maps by the probability value calculation layer 540 .
  • the generator 420 generates a class activation map by combining the feature maps activated by the activator 410 . Specifically, the generator 420 generates a class activation map by summing the activated feature maps.
  • FIG. 4 is a diagram illustrating an example in which the generator generates a class activation map by adding up activated feature maps.
  • the activator 410 activates the feature map by assigning a weight to each feature map.
  • the generator 420 generates a class activation map by summing the activated feature maps.
  • the generator 420 stores the generated class activation map in the database 260 .
  • the generation unit 420 may transmit the class activation map to the user terminal 100 through the interface unit 210 .
  • the generation unit 420 may transmit the class activation map to the banking application installed in the user terminal 100 through the interface unit 210 .
  • the counterfeit area extraction unit 330 may further include a determination unit 430 for determining an indicator indicating forgery of an identification card.
  • the determination unit 430 determines an index indicating forgery of the identification card from the class activation map generated by the generation unit 420 . Specifically, the determination unit 430 determines an index indicating forgery of the identification card from the forgery area displayed on the class activation map.
  • the determination unit 430 determines that the hologram of the ID is forged.
  • the generation unit 420 does not transmit the class activation map itself to the banking application, but an indicator indicating forgery of the ID determined by the determination unit 430 to the banking application. .
  • the present invention is not limited thereto, and both the class activation map and the index indicating forgery of the ID may be transmitted to the banking application.
  • the reference information comparison unit 335 may extract reference information from the identification data and compare the extracted reference information with the age and gender predicted from the classification model 350 to verify the authenticity of the identification card.
  • the reference information may mean a resident number, name, address, issuance date, and the like.
  • the reference information comparison unit 335 may extract reference information from the identification data by using an optical character reader (OCR).
  • OCR optical character reader
  • the reference information comparison unit 335 may generate a confirmation request message and transmit it to the system administrator.
  • the reason that the reference information comparison unit 335 according to the present invention generates and transmits a confirmation request message to the system administrator is that age and gender are predicted as face information included in the ID card, so that the face information included in the ID card changes over time. This is because it may not reflect
  • the reference information comparison unit 335 may transmit the reference information and request an external agency server (not shown) to determine the authenticity.
  • the reference information comparison unit 335 may request to determine the authenticity of the ID card to the non-face-to-face ID verification service providing server (not shown) built by the Korea Financial Telecommunications and Clearings Institute.
  • the reference information comparison unit 335 may request a determination of the authenticity of the ID from the Road Traffic Authority or the National police Agency when the photographed ID is a driver's license, and when the photographed ID is a resident registration card, the civil service portal server (eg, You can request to determine the authenticity of your ID through the government 24 or civil petitions24).
  • the reference information comparison unit 335 receives the authenticity check result of the ID from the external agency server and transmits it to the banking application installed in the user terminal 100 .
  • the learning unit 250 trains the neural network model 240 . Specifically, the learning unit 250 trains the neural network model 240 using a plurality of training data.
  • the plurality of learning data refers to learning data in which an indicator for determining the authenticity of an identification card is expressed.
  • the learning unit 250 may update the filter coefficients and weights of convolutional filters included in the neural network model by learning the neural network model 240 according to a back propagation algorithm.
  • the database 260 stores identification data.
  • the ID data may be encrypted and stored so that a person cannot confirm it.
  • a plurality of learning data is stored in the database 260 .
  • the database 260 may store a plurality of feature maps extracted by the authenticity check unit 230 , the authenticity check result, and the class activation map.
  • FIG. 5 is a view showing a flow chart showing a method of verifying the authenticity of an identification card according to an embodiment of the present invention.
  • the identification verification method shown in FIG. 5 may be performed by the banking system shown in FIG. 1 .
  • the banking system generates an ID photographing request to authenticate the user ( S500 ). For example, when a request for opening an account is generated by a user, the banking system may generate an ID photographing request to authenticate the user. As another example, when a loan request is generated by a user, the banking system may generate an ID photographing request to authenticate the user. As another example, when an account transfer request is generated by a user, the banking system may generate an ID card photographing request to authenticate the user.
  • the banking system extracts a plurality of characteristic information by inputting the identification data into the characteristic information extraction model when identification data is generated according to the identification photographing request (S510).
  • the banking system may extract a plurality of feature vectors or feature maps as feature information.
  • each feature vector or each feature map represents an indicator for verifying the authenticity of the ID.
  • Indices for verifying the authenticity of an ID include hologram information present on the ID card, reflected light information on the ID card, shadow information on the ID card, Moire pattern information, face information included in the ID card, and reference information included in the ID card.
  • the moiré pattern refers to a pattern generated when the display is photographed.
  • the reference information means the date of issuance, resident number, address, name, etc.
  • the feature information extraction model may be one model in which indices for verifying the authenticity of an identification card are learned, or may be composed of a plurality of models learned for each indicator.
  • the feature information extraction model is a CNN layer including a feature information extraction model for extracting a feature vector as feature information of the input ID data and a classification model for classifying a class, as shown in FIG. 3A above.
  • the feature information extraction model may be implemented in a form in which n convolutional layers and m pooling layers are stacked.
  • the convolutional layer is an essential element that reflects the activation function after applying a filter to the input data, and the pooling layer is optional.
  • the feature information extraction model may include a feature information extraction model composed of n convolutional layers and m pooling layers for extracting a feature map as feature information of the input ID data as shown in FIG. 3b.
  • n n is an integer greater than or equal to 2
  • convolutional layers are sequentially arranged to generate a plurality of feature maps by applying a convolutional filter of a predetermined size to ID data.
  • the convolutional filters of each convolutional layer may be different filters, and may be filters for extracting different features.
  • the n convolutional layers apply an activation function to the generated plurality of feature maps to give non-linear characteristics to the plurality of feature maps.
  • the activation function refers to a function that gives a weight to a plurality of input information and outputs a completed result value by combining them.
  • the activation function may be a Relu function that outputs a positive value as it is and outputs a negative value as 0 among pixel values of the feature map.
  • the activation function may be a PRelu function that outputs a positive value among pixel values of the feature map as it is and outputs a negative value as a reduced value by a predetermined size.
  • the activation function is a Relu function or a PRelu function, but this is only one embodiment, and the present invention is not limited thereto.
  • the m pooling layers are respectively disposed at an output end of at least one of the n convolutional layers to reduce a dimension by applying a sampling filter of a predetermined size to a plurality of feature maps.
  • the m pooling layers are max-pooling layers that extract the maximum value among pixel values included in the region corresponding to the sampling filter on each feature map as a feature value of the feature map.
  • the pooling layer according to the present invention may be performed in various ways, such as average pooling and log-sum-exponential (LSE) as well as max pooling.
  • the banking system inputs a plurality of feature vectors or a plurality of feature maps to the classification model to determine the authenticity of the ID card (S520).
  • the classification model calculates a probability value indicating the authenticity of an ID using a plurality of input feature vectors or a plurality of feature maps.
  • the classification model includes at least one fully connected layer and a soft max layer (not shown) as shown in FIG. 3A above, or the classification model includes an input layer and a probability value calculation layer as shown in FIG. 3B. may include
  • the input layer is a global average pooling layer ( Global Average Pooling Layer).
  • Global Average Pooling Layer Global Average Pooling Layer
  • the input layer according to the present invention may be configured in various ways, such as a fully connected layer as well as a global average pooling layer.
  • the probability value calculation layer may be a soft max layer that calculates a probability value indicating the authenticity of an ID by giving weights to a plurality of feature maps with reduced dimensions.
  • the probability value calculation layer according to the present invention may be configured in various ways as well as the soft max layer.
  • the classification model can predict the age and gender of the user by using a feature map representing the facial data of the ID photo.
  • the probability value calculation layer of the classification model may calculate not only the probability value indicating the authenticity of the identification card, but also the probability value indicating the age and gender.
  • the banking system determines that the ID is normal (S530). If the probability value output from the classification model is less than a predetermined threshold (S525), the banking system determines that the identification card is forged (S540). The banking system provides the judgment result to the user.
  • FIG. 6 is a flowchart illustrating a method for displaying a fake ID area according to an embodiment of the present invention.
  • the identification counterfeit area display method shown in FIG. 6 may be performed by the banking system shown in FIG. 1 .
  • the banking system detects a counterfeit region on each feature vector or feature map by assigning weights of the classification model to the plurality of feature vectors or feature maps extracted in S510 (S550). Accordingly, a fake region is detected for each feature vector or feature map.
  • the weight of the classification model may mean a weight given for classification of a plurality of feature vectors or a plurality of feature maps in the probability value calculation layer.
  • the banking system generates a class activation map by combining the detected feature vectors or feature maps (S560). Specifically, the banking system generates a class activation map by summing the activated feature maps.
  • the banking system may provide a class activation map to the user. However, this is only one example, and the banking system may provide the class activation map only to the system administrator.
  • the reason that the banking system according to the present invention extracts a class activation map from a plurality of feature vectors or a plurality of feature maps is that when a plurality of feature vectors or a plurality of feature maps are input as a classification model, the classification model is converted into a plurality of feature vectors or a plurality of feature maps. It is possible to classify forgery from the feature map of dogs, but the classification model is a deep learning model, and since it is a black box that the system administrator cannot know how the judgment result is derived, there is a problem that the authenticity result cannot be explained. because there was
  • the present invention extracts the class activation map, thereby making it possible to explain the authenticity result, thereby effectively coping with the user's objection, and thereby improving the system reliability.
  • the banking system determines an index indicating forgery of the ID from the generated class activation map (S570). Specifically, the banking system determines an indicator indicating forgery of the identification card from the counterfeit area indicated on the class activation map.
  • the banking system determines that the hologram of the ID is forged when the forged area displayed on the class activation map is activated in the form of a hologram on the ID.
  • the banking system extracts reference information from the identification data and compares the extracted reference information with the age and gender predicted from the classification model 350 to verify the authenticity of the identification card.
  • the reference information may mean a resident number, name, address, issuance date, and the like.
  • the banking system may generate a confirmation request message and transmit it to the system administrator.
  • the reason that the banking system according to the present invention generates and sends a confirmation request message to the system administrator is that age and gender are predicted as face information included in the ID card, so the facial information included in the ID card may not reflect the passage of time. because there is also
  • the banking system may transmit the reference information and request an external agency server (not shown) to determine the authenticity.
  • the reference information comparison unit 335 may request to determine the authenticity of the ID card to the non-face-to-face ID verification service providing server (not shown) built by the Korea Financial Telecommunications and Clearings Institute.
  • the reference information comparison unit 335 may request a determination of the authenticity of the ID from the Road Traffic Authority or the National police Agency when the photographed ID is a driver's license, and when the photographed ID is a resident registration card, the civil service portal server (eg, You can request to determine the authenticity of your ID through the government 24 or civil petitions24).
  • the banking system receives the authenticity verification result of the ID from the external agency server and provides it to the user.
  • a banking system can train a neural network model. Specifically, the banking system trains a neural network model using a plurality of training data.
  • the plurality of learning data refers to learning data in which an indicator for determining the authenticity of an identification card is expressed.
  • the banking system may update the filter coefficients and weights of convolutional filters included in the neural network model by learning the neural network model according to a back propagation algorithm.
  • the identification counterfeit area display method shown in FIG. 6 may be performed after the identification verification method shown in FIG. 5 is performed.
  • the method for verifying the authenticity of the ID shown in FIG. 5 and the method for displaying the counterfeit area of the ID shown in FIG. 6 may be performed at the same time, and the method for verifying the authenticity of the ID shown in FIG. Any one of the area display methods may be selectively performed.
  • the ID verification system described through the above-described embodiments may be implemented as shown in FIG. 7 in an actual ID verification service.
  • the image data captured by the user may be output, and the authenticity determined through the ID verification system may be displayed ( 710 ).
  • the authenticity of image data may be provided through an intuitive UI 710 such as “NO” or “YES”.
  • the counterfeit region 700 derived through the neural network model 240 is displayed on the image data, so that the counterfeit region can be intuitively identified.
  • the neural network model for determining the authenticity of an ID card of the present invention after the administrator checks the authenticity result, by tracing back the identification step of the neural network model when checking the actual forgery area, it is possible to accurately derive by what value it is determined to be a forgery.
  • This component may be provided as a series of computer instructions via computer-readable media or machine-readable media, including volatile and non-volatile memory.
  • the directives may be provided as software or firmware, and may be implemented, in whole or in part, in a hardware configuration such as ASICs, FPGAs, DSPs, or other similar devices.
  • the instructions may be configured to be executed by one or more processors or other hardware components, which when executing the series of computer instructions perform or perform all or part of the methods and procedures disclosed herein. make it possible

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Credit Cards Or The Like (AREA)

Abstract

자동으로 신분증의 진위확인을 수행할 수 있는 본 발명의 일 실시예에 따른 딥러닝 기반의 신분증 진위판단방법은 신분증 데이터를 특징정보 추출 모델에 입력하여 상기 신분증 데이터로부터 상기 신분증의 진위확인을 위한 지표를 표현하는 복수개의 특징정보를 추출하는 단계; 상기 추출된 복수개의 특징정보를 분류 모델에 입력하여 상기 신분증의 진위판단을 수행하는 단계; 및 상기 신분증이 위조된 것으로 판단되면 상기 복수개의 특징정보로부터 상기 신분증 데이터의 위조 영역이 활성화된 클래스 활성화 맵(Class Activation Map)을 추출하는 단계를 포함하는 것을 특징으로 한다.

Description

딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법
본 발명은 신분증 진위판단장치에 관한 것이다.
인터넷 뱅킹은 인터넷을 이용하여 은행에서 제공하는 입출금과 같은 다양한 금융 거래를 처리하고, 각종 금융 정보와 기능을 이용하는 서비스를 의미한다. 이를 위해 사용자는 은행에서 제공하는 계좌를 개설하고 해당 계좌를 통해 인터넷 뱅킹을 이용할 수 있다.
인터넷 뱅킹을 이용하기 위해 사용자들은 사용자 단말기에 어플리케이션을 설치하고, 해당 어플리케이션을 통해 뱅킹 서비스를 관리하는 서버와 연계하여 은행 업무를 처리한다.
이에 따라, 사용자는 직접 은행에 방문하지 않고도 어플리케이션을 이용하여 다양한 은행 업무를 처리할 수 있다.
다만, 인터넷 뱅킹의 특성 상 보안의 신뢰도가 낮은데 인터넷 뱅킹은 사용자의 신분증을 촬영한 신분증 이미지로 사용자에 대한 인증을 수행한다.
하지만, 신분증을 위조하여 위조 신분증으로 인증을 수행하거나, 타인의 신분증을 촬영한 신분증 이미지를 이용하여 인증을 수행하는 등 부정한 의도로 인증이 빈번하게 발생하고 있다. 이러한 문제를 해결하기 위해 사용자로부터 신분증을 수신하면 은행원이나 시스템 관리자가 직접 육안으로 신분증의 진위확인을 하였다.
이로 인해 매번 인증을 수행할 때마다 은행원 또는 시스템 관리자가 신분증의 진위확인을 수행하게 되어 많은 인력이 필요하다는 문제점이 있을 뿐만 아니라, 육안으로 구분할 수 없을 만큼 정교화된 위조 신분증이 만들어지고 있어 신분증의 진위확인이 제대로 이루어지지 않는다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 자동으로 신분증의 진위확인을 수행할 수 있는 딥러닝 기반의 신분증 진위확인장치 및 진위확인방법을 제공하는 것을 그 기술적 과제로 한다.
또한, 본 발명은 딥러닝 기반으로 생성된 신경망 모델을 이용하여 신분증의 진위확인을 수행할 수 있는 딥러닝 기반의 신분증 진위확인장치 및 진위확인방법을 제공하는 것을 그 기술적 과제로 한다.
또한, 본 발명은 진위확인 결과를 설명할 수 있는 딥러닝 기반의 신분증 진위확인장치 및 진위확인방법을 제공하는 것을 그 기술적 과제로 한다.
상술한 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 딥러닝 기반의 신분증 진위판단방법은 신분증 데이터를 특징정보 추출 모델에 입력하여 상기 신분증 데이터로부터 상기 신분증의 진위확인을 위한 지표를 표현하는 복수개의 특징정보를 추출하는 단계; 상기 추출된 복수개의 특징정보를 분류 모델에 입력하여 상기 신분증의 진위판단을 수행하는 단계; 및 상기 신분증이 위조된 것으로 판단되면 상기 복수개의 특징정보로부터 상기 신분증 데이터의 위조 영역이 활성화된 클래스 활성화 맵(Class Activation Map)을 추출하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 측면에 따른 딥러닝 기반의 신분증 진위판단장치는 복수개의 프로그램 모듈들이 저장된 메모리; 및 상기 메모리에 저장된 상기 복수개의 프로그램 모듈들을 실행시키기 위한 프로세서를 포함하고, 상기 프로그램 모듈들은, 신분증을 촬영하여 획득된 신분증 데이터를 특징정보 추출 모델에 입력하여 상기 신분증 데이터로부터 상기 신분증의 진위확인을 위한 지표를 표현하는 복수개의 특징정보를 추출하는 특징정보 추출부; 상기 추출된 복수개의 특징정보를 분류 모델에 입력하여 상기 신분증의 진위판단을 수행하는 판단부; 및 상기 신분증이 위조된 것으로 판단되면 상기 복수개의 특징정보로부터 상기 신분증 데이터의 위조 영역이 활성화된 클래스 활성화 맵(Class Activation Map)을 추출하는 위조영역 추출부를 포함하는 것을 특징으로 한다.
본 발명에 따르면 자동으로 신분증의 진위확인을 수행할 수 있어 신분증의 진위확인이 신속하게 수행될 수 있을 뿐만 아니라, 인력이 필요하지 않아 비용을 줄일 수 있다는 효과가 있다.
또한, 본 발명은 딥러닝기반으로 생성된 신경망 모델을 이용하여 신분증의 진위확인을 수행할 수 있어 육안으로 구분할 수 없는 위조 신분증을 판별할 수 있을 뿐만 아니라, 이로 인해 인터넷 뱅킹의 신뢰성을 향상시킬 수 있다는 효과가 있다.
또한, 본 발명은 진위확인 결과를 설명할 수 있어, 신분증의 진위확인을 요청한 사용자의 이의 제기 시 효과적으로 대처할 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 신분증의 진위판단을 수행할 수 있는 신분증 진위판단 시스템을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 뱅킹 서버의 구성을 보여주는 도면이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 신경망 모델에 포함된 특징정보 추출 모델 및 분류모델의 구조를 보여주는 도면이다.
도 4는 생성부가 활성화된 특징정보를 합산하여 클래스 활성화 맵을 생성하는 일례를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 신분증의 진위확인 방법을 나타내는 플로우 차트를 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 신분증의 위조영역 표시방법을 보여주는 플로우 차트이다.
도 7은 본 발명의 일 실시예에 따른 신분증의 위조영역 판별을 위한 예시 화면을 도시한 것이다.
명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명의 핵심 구성과 관련이 없는 경우 및 본 발명의 기술분야에 공지된 구성과 기능에 대한 상세한 설명은 생략될 수 있다. 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 명세서에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3 항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미할 수 있다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하고, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.
이하, 본 발명의 실시예에 대해 도면을 참고하여 보다 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 신분증의 진위판단을 수행할 수 있는 신분증 진위판단 시스템의 구성을 보여주는 도면이다. 신분증 진위판단 시스템(10)은 사용자의 신분증으로부터 획득된 신분증 데이터를 이용하여 해당 사용자에 대한 인증을 수행한다. 일 실시예에 있어서, 신분증 진위판단 시스템(10)은 뱅킹 서비스를 제공하는 뱅킹 시스템일 수 있고, 신분증 데이터는 사용자의 신분증을 촬영한 신분증 이미지일 수 있다. 이때, 인증은 계좌 개설, 대출 등을 포함하는 뱅킹 서비스를 수행하기 위한 것일 수 있다.
신분증 진위판단 시스템(10)은 도 1에 도시된 바와 같이 사용자 단말기(100)와 신분증 진위판단 장치(200)를 포함한다. 이하에서는 설명의 편의를 위해, 신분증 진위판단 시스템(10)이 뱅킹 시스템이고, 신분증 진위판단 장치(200)는 뱅킹 서버인 것으로 가정하여 설명한다. 이때, 뱅킹 시스템의 도면부호는 신분증 진위판단 시스템(10)의 도면부호와 동일한 도면부호를 사용하기로 하고, 뱅킹 서버의 도면부호는 신분증 진위판단 장치(200)와 동일한 도면부호를 사용하기로 한다.
사용자 단말기(100)는 네트워크를 통해 뱅킹 서버(200)와 연동하여 사용자에게 뱅킹 서비스를 제공한다. 이를 위해, 사용자 단말기(100)에는 뱅킹 어플리케이션이 설치된다. 뱅킹 어플리케이션은 사용자로부터 뱅킹 서비스 요청을 수신하고, 이를 뱅킹 서버(200)로 전달함으로써 사용자로부터 요청된 뱅킹 서비스가 뱅킹 서버(200)에 의해 처리되게 한다.
일례로, 뱅킹 어플리케이션은 사용자로부터 계좌개설요청 또는 계좌이체요청이 발생되면 계좌 개설요청 또는 계좌이체요청을 뱅킹 서버(200)로 전송함으로써 뱅킹 서버(200)에 의해 계좌가 개설되거나 이체요청된 금액을 이체될 수 있게 한다.
본 발명에 따른 뱅킹 어플리케이션은 사용자에 대한 인증을 수행하기 위해 신분증 촬영요청을 생성한다. 일례로, 뱅킹 어플리케이션(10)은 사용자에 의해 계좌개설요청이 발생하면, 해당 사용자의 인증을 수행하기 위해 신분증 촬영요청을 생성할 수 있다. 다른 예로, 뱅킹 어플리케이션은 사용자에 의해 대출요청이 발생하면, 해당 사용자의 인증을 수행하기 위해 신분증 촬영요청을 생성할 수 있다. 또 다른 예로, 뱅킹 어플리케이션(10)은 사용자에 의해 계좌이체요청이 발생하면, 해당 사용자의 인증을 수행하기 위해 신분증 촬영요청을 생성할 수 있다.
이러한 예를 따르는 경우, 해당 사용자는 사용자 단말기(100)를 통해 신분증을 촬영하여 신분증 데이터를 생성할 수 있다.
뱅킹 어플리케이션은 신분증 데이터가 생성되면, 생성된 신분증 데이터를 뱅킹 서버(200)로 전송하여 신분증의 진위확인이 수행되도록 한다. 뱅킹 어플리케이션은 신분증의 진위확인 결과를 뱅킹 서버(200)로부터 수신하여 사용자에게 제공한다.
본 명세서에서는, 뱅킹 어플리케이션이 뱅킹 서버(200)로부터 신분증의 진위확인 결과를 수신하여 사용자에게 제공하는 것을 위주로 설명하였으나, 본 발명의 다른 실시예에 의하면, 뱅킹 서버(200)가 수행하는 기능을 뱅킹 어플리케이션이 수행할 수 있다. 또는, 뱅킹 서버(200)가 수행하는 일부 기능은 뱅킹 어플리케이션에서 수행할 수 있다.
이와 같은 뱅킹 어플리케이션은 앱 스토어나 구글 플레이 등과 같은 온라인 마켓을 통해 다운로드되어 사용자 단말기(100)에 설치되거나 단말기 제조 업체에 의해 단말기 제조시 설치되어 있을 수 있다.
사용자 단말기(100)는 유선 인터넷 접속 및 브라우징 기능이 구비된 개인 컴퓨터(PC) 또는 노트북, 무선랜/휴대인터넷 접속 및 브라우징 기능이 구비된 노트북 또는 휴대단말기, 이동통신망에 접속 및 브라우징 기능이 구비된 PCS(Personal Communication System), GSM(Global System for Mobile) 단말기, PDA(Personal Digital Assistant), 또는 스마트폰(Smart Phone) 등을 포함할 수 있다.
뱅킹 서버(200)는 사용자 단말기(100)와 연동하여 뱅킹 서비스를 사용자에게 제공한다. 구체적으로 뱅킹 서버(200)는 사용자 단말기(100)에 설치된 뱅킹 어플리케이션과 연동하여 뱅킹 서비스를 사용자에게 제공한다.
일 예로, 뱅킹 서버(200)는 뱅킹 어플리케이션으로부터 계좌 개설요청을 수신하면, 계좌 개설요청에 따라 계좌를 개설할 수 있다. 다른 예로, 뱅킹 서버(200)는 뱅킹 어플리케이션으로부터 이체요청을 수신하면, 이체요청에 따라 이체요청된 금액을 사용자의 계좌에서 이체대상이 된 계좌로 이체할 수 있다.
본 발명에 따른 뱅킹 서버(200)는 뱅킹 어플리케이션으로부터 신분증 데이터를 수신하여 신분증 데이터의 진위확인을 수행할 수 있다. 특히, 본 발명에 따른 뱅킹 서버(200)는 딥러닝(Deep Learning) 기반으로 신분증 데이터의 진위확인을 수행할 수 있다.
또한, 본 발명에 따른 뱅킹 서버(200)는 신분증이 위조된 것으로 판단되면 신분증 데이터의 위조 영역이 활성화된 클래스 활성화 맵을 생성할 수 있다. 따라서, 단순히 본 발명에 따른 뱅킹 서버(200)는 단순히 신분증의 위조판단뿐만 아니라, 신분증 상에서 위조 영역을 확인할 수 있게 함으로써, 시스템 관리자가 신분증을 위조로 판단한 이유를 파악할 수 있게 할 수 있다.
뱅킹 서버(200)는 도 2에 도시된 바와 같이, 프로세서(205) 및 메모리(207)와 같은 물리적인 구성을 포함할 수 있다. 또한, 뱅킹 서버(200)는 프로세서(205)에 의해 실행될 수 있도록 구성된 소프트웨어 형태로 구현된 하나 이상의 프로그램 모듈들을 포함할 수 있고, 하나 이상의 프로그램 모듈들은 메모리(207)에 저장될 수 있다. 하나 이상의 모듈들은 인터페이스부(210), 신분증 데이터 수집부(220), 진위판단부(230), 신경망 모델(240), 및 학습부(250)를 포함할 수 있고, 메모리(207)에는 데이터 베이스(260)가 추가로 저장될 수 있다.
프로세서(205)는 메모리(207)에 저장되어 있는 하나 이상의 모듈들(210~250)을 실행하거나 다양한 종류의 명령어 세트를 실행할 수 있다. 또한, 프로세서(205)는 도 2에 도시된 모듈들(210~250) 외에 다양한 소프트웨어적인 기능들을 처리하거나 데이터를 처리할 수도 있다.
메모리(207)는 고속 램(Higi-Speed Random Access Memory), 하나 이상의 마그네틱 디스크 스토리지 디바이스, 및 플래시 메모리 장치 등과 같은 비휘발성 메모리(Non-Volatile Memory)를 포함할 수 있다. 또한, 메모리(207)는 프로세서(205)로부터 이격되어 배치되고, 인터넷 등과 같은 통신 네트워크를 통해 액세스 될 수 있는 저장장치를 추가로 포함할 수도 있다.
인터페이스부(210)는 사용자 단말기(100)로부터 전송되는 요청 및 응답을 수신하고 사용자 단말기(100)로 요청 및 응답을 전송한다. 구체적으로 인터페이스부(210)는 사용자 단말기(100)에 설치된 뱅킹 어플리케이션으로부터 요청 및 응답을 수신하고, 뱅킹 어플리케이션으로 요청 및 응답을 전송한다.
일례로, 인터페이스부(210)는 뱅킹 어플리케이션으로부터 계좌 개설 요청을 수신할 수 있고, 계좌 개설 요청에 따라 생성된 계좌가 개설되면 계좌 개설 응답을 뱅킹 어플리케이션으로 전송할 수 있다.
일 실시예에 있어서 인터페이스부(210)는 뱅킹 어플리케이션으로부터 신분증을 촬영한 신분증 데이터를 수신할 수 있다. 이때, 인터페이스부(210)가 수신하는 신분증 데이터는 사용자 단말기(100)를 통해 실시간으로 획득되는 데이터일 수 있다.
예컨대, 신분증 데이터는 사용자 단말기(100)를 통해 실시간으로 획득된 신분증 이미지일 수 있고, 이러한 경우 인터페이스부(210)는 신분증 데이터로써 복수개의 프레임(Frame)으로 구성된 신분증 이미지를 수신할 수 있다.
신분증 데이터 수집부(220)는 인터페이스부(210)에 의해 수신된 신분증 데이터를 수집한다. 이 때, 신분증 데이터는 이미지뿐만 아니라 벡터 데이터 등과 같이 다양한 형태로 수집될 수 있다. 신분증 데이터 수집부(220)는 수집된 신분증 데이터를 데이터 베이스(260)에 저장할 수 있다.
신분증 데이터 수집부(220)는 수집된 신분증 데이터를 진위판단부(230)로 전달한다.
진위판단부(230)는 신분증의 진위를 판단하고, 신분증이 위조된 것으로 판단되면 신분증 데이터의 위조영역이 활성화된 클래스 활성화 맵(Class Activation Map)을 생성한다.
이를 위해, 진위판단부(230)는 신경망 모델(240)에 신분증 데이터를 입력하여 신분증의 진위확인을 수행하고, 클래스 활성화 맵(Class Activation Map)을 생성한다. 이때, 신경망 모델(240)은 CNN(Convolution Neural Network) 알고리즘으로 구현될 수 있다. 또한, 신경망 모델(240)은 RNN(Recurrent Neural Network) 알고리즘, NN(Neural Network) 알고리즘 등으로 구현될 수 있다. 다만, 설명의 편의를 위해 아래에서는 본 발명에 따른 신경망 모델(240)이 CNN 알고리즘으로 구현된 것으로 설명한다.
진위판단부(230)는 도 2에 도시된 바와 같이 특징정보 추출부(310), 판단부(320), 위조영역 추출부(330), 및 기준정보 비교부(335)를 포함한다. 또한, 진위판단부(230)가 이용하는 신경망 모델(240)은 도 2에 도시된 바와 같이 특징정보 추출 모델(340) 및 분류 모델(350)을 포함한다.
특징정보 추출부(310)는 신분증 데이터를 신경망 모델(240)에 포함된 특징정보 추출 모델(340)에 입력함으로써, 신분증 데이터로부터 복수개의 특징 벡터(Feature Vector) 또는 복수개의 피쳐맵(Feature Map)을 추출한다. 이때, 특징벡터 또는 피쳐맵은 신분증의 진위확인을 위한 지표를 표현한다. 신분증의 진위확인을 위한 지표는 신분증 상에 존재하는 홀로그램 정보, 신분증의 반사광 정보, 신분증 상에 그림자 정보, 모아레 패턴(Moire Pattern) 정보, 신분증에 포함된 얼굴정보, 신분증에 포함된 기준정보 등을 포함할 수 있다. 이때, 모아레 패턴은 디스플레이를 촬영했을 경우 발생되는 패턴을 의미한다. 기준정보는 발급일자, 주민번호, 주소, 이름 등을 의미한다.
이러한 실시예를 따를 때, 특징정보 추출모델(340)은 신분증의 진위확인을 위한 지표들이 학습된 하나의 모델일 수 있고, 각 지표 별로 학습된 복수개의 모델로 구성될 수도 있다.
이하, 특징정보 추출부(310)에 의해 입력된 신분증 데이터로부터 특징정보를 추출하는 특징정보 추출 모델(340)에 대해 도 3a 및 3b를 참조하여 보다 구체적으로 설명한다. 도 3a는 신분증 데이터로부터 특징정보로써 특징 벡터를 추출하여 위조 영역을 판단하는 실시예를 설명하기 위한 도면이고, 도 3b는 신분증 데이터로부터 특징정보로부터 이미지 형태의 피쳐 맵을 추출하여 위조 영역을 판단하는 실시예를 설명하기 위한 도면이다.
먼저, 도 3a는 신분증 데이터로부터 특징벡터를 추출하여 위조 영역을 검출하기 위한 CNN(Convolutional Neural Network) 레이어의 구성을 보여주는 것으로서, 도 3a에 도시된 CNN 레이어는 미리 정해진 학습 데이터(예컨대, 다양한 종류의 신분증 데이터)를 이용하여 학습된 레이어일 수 있다.
CNN 레이어는 입력된 신분증 데이터의 특징정보로써 특징벡터를 추출하는 특징정보 추출 모델(340)과 클래스를 분류하는 분류 모델(350)을 포함하고, 특징정보 추출 모델(340)은 n개의 컨벌루션 레이어(510)와 m개의 풀링 레이어가 겹겹이 쌓인 형태로 구현될 수 있다. 컨벌루션 레이어(510)는 입력 데이터에 필터를 적용한 후 활성화 함수를 반영하는 필수 요소이고, 풀링 레이어(520)는 선택적으로 적용 가능하다.
특징정보 추출 모델(340)은 신분증 데이터의 특징벡터를 추출하기 위하여 도 3a와 같이 신분증 데이터를 필터(Filter)가 순회하며 합성곱을 계산하고, 그 계산 결과를 이용하여 특징벡터를 만든다. 컨벌루션 레이어(510)는 필터크기, 스트라이드(Stride), 패딩(Padding) 적용 여부, 맥스풀링(Max Pooling) 크기에 따라서 출력 데이터 형태가 변경될 수 있다. 풀링 레이어(520)는 컨벌루션 레이어(510)의 출력 데이터를 입력으로 받아, 특정 데이터를 강조하거나 크기를 줄이는 데 이용될 수 있다.
특징정보 추출 모델(340)의 다음에 배치되는 분류 모델(350)은 이미지 분류를 위한 완전연결(Fully Connected:FC) 레이어일 수 있고, 이미지의 특징을 추출하는 부분과 이미지를 분류하는 부분 사이에 이미지 형태의 데이터를 배열 형태로 만드는 평탄화(Flatten) 레이어가 배치될 수 있다.
일 실시예로서, 본 발명의 특징벡터는 홀로그램, 반사광, 모아레 패턴, 사진 및 주민등록번호 성별의 일치 여부, 이미지 데이터를 구성으로 포함할 수 있다. 도 3a를 참조한 본 실시예에서, 홀로그램, 반사광, 모아레 패턴을 나타내는 특징벡터는 소프트 맥스 레이어 이전의 완전연결 레이어(Fully Connected layer)의 벡터 값 형태로 표현될 수 있다. 한편, 성별의 경우 안면 이미지 분석을 통한 성별, 나이 예측 결과와 OCR 결과로 나온 실제 나이, 성별과의 차이값(예컨대, 성별이 일치하면 0 또는 성별이 비일치하면 1)이 벡터값으로 표현될 수 있다. 또한 이미지 데이터는 컬러 이미지 데이터 자체를 입력으로 하여 특징벡터를 생성할 수 있다.
본 실시예에서, 본 발명의 구성들을 표현하는 특징벡터는 1차원 또는 다차원 행렬 형태로 표현될 수 있다. 특징벡터는 위조 판별을 위해 미리 지정한 구성들의 변화량 값 또는 바이너리 값으로 표현될 수 있다.
일 실시예로서 도 3a에 도시된 완전연결 레이어와 소프트맥스 함수로 구성되는 분류 모델(350)은 특징정보 추출모델(340)에서 출력되는 각각의 특징 벡터에 대해 각각 존재할 수 있다. 한편, 다른 실시예로서, 분류 모델(350)은 특징정보 추출모델(340)에서 출력되는 각 특징벡터들을 융합하여 새로운 입력 특징 벡터로 이용하고, 융합된 특징 벡터가 하나의 분류 모델(350)에 입력되는 방식으로 구현될 수 있다.
본 발명은 출력 레이어를 통해 출력되는 최종 벡터값을 기초로 신분증 데이터의 위조 여부를 판별할 수 있다. 예를 들어, 복사본을 이용한 위조 신분증의 경우 진정한 신분증에 비해 홀로그램의 변화량이 다르거나 반사광이 존재하지 않을 수 있다. 이러한 홀로그램 변화량이나 반사광의 존재 여부를 나타내는 벡터 값이 진정한 신분증이 갖는 값의 범위를 벗어나는 경우 해당 신분증 데이터를 위조로 판별할 수 있다.
다른 예로, 모니터를 촬영한 위조 신분증의 경우, 신분증 데이터 내에 존재하는 모아레 패턴을 검출할 수 있고, 이러한 패턴을 나타내는 벡터 값을 통해 해당 신분증 데이터의 위조 여부를 판별할 수 있다.
또한 신분증에 포함된 텍스트(이름, 주민등록번호 등)의 경우 정부 기관 API에 OCR 결과로 인식된 정보를 조회하여 일치하는지 여부를 확인함으로써 해당 신분증 데이터의 위조 여부를 판별할 수 있고, 일치 여부 확인결과를 벡터값(예컨대, 0 또는 1)으로 표현하여 해당 신분증 데이터의 위조 여부를 표현할 수 있다.
나아가, 본 발명의 특징정보 추출 모델(340)은 보조 지표를 활용하여 신분증 데이터의 위조 여부를 더 정밀하게 판별할 수 있다. 예컨대, 신분증의 주민등록번호를 통해 인식한 나이와 신분증의 사진으로부터 추정되는 나이를 비교하여 위조 신분증 여부를 판별할 수 있다. 또한 신분증 사진의 과거 이력이나 타 기관의 이력 등을 위조 여부를 판별하는 보조 지표로 이용할 수도 있다.
본 발명의 신경망 모델(240)은 특징정보 추출 모델(340)과 분류 모델(350)의 출력 결과를 이용하여 클래스 활성화 맵(CAM)을 생성할 수 있고, 사용자가 클래스 활성화 맵을 구성하는 벡터 값을 통해 위조 여부가 판별될 수 있다. 특징정보가 특징벡터 형태인 경우 클래스 활성화 맵을 구성하는 여러 개의 벡터 값이 산출될 수 있고, 그 중 기준치를 벗어나는 벡터값이 위조로 판별될 수 있다.
실시예에 따라, 신경망 모델(240)은 위조 판별 결과만을 도출할 수 있고, 사용자가 상세하게 위조된 요소를 확인하고자 할 경우에, 위조로 판별된 벡터값을 확인하고, 이를 역추적하여 위조 영역을 찾아낼 수 있다.
도 3b는 본 발명의 일 실시예에 따른 신경망 모델(240)에 포함된 특징정보 추출 모델(340) 및 분류모델(350)의 구조를 보여주는 도면이다.
특징정보 추출 모델(340)은 도 3b에 도시된 바와 같이 입력되는 신분증 데이터로부터 특징정보로써 복수개의 피쳐맵을 추출한다.
특징정보 추출 모델(340)은 도 3b에 도시된 바와 같이 n개의 컨벌루션 레이어(510) 및 m개의 풀링 레이어(520)을 포함한다.
n개의 컨벌루션 레이어(510)는 순차적으로 배치되어 신분증 데이터에 미리 정해진 사이즈의 컨벌루션 필터를 적용하여 복수개의 피쳐맵을 생성한다. n은 2 이상의 정수일 수 있다.
이때, 각 컨벌루션 레이어(510)에 적용되는 컨벌루션 필터는 서로 상이한 필터로서, 서로 다른 특징을 추출하는 필터일 수 있다.
n개의 컨벌루션 레이어(510)는 생성된 복수개의 피쳐맵에 활성화함수를 적용하여 복수개의 피쳐맵에 비선형적 특성을 부여한다. 여기서 활성화함수란 복수의 입력정보에 가중치를 부여하여 결합해 완성된 결과값을 출력하는 함수를 의미한다. 일 실시예에 있어서, 활성화함수는 피쳐맵의 픽셀값들 중 양의 값은 그대로 출력하고 음의 값은 0으로 출력하는 Relu함수일 수 있다. 다른 실시예에 있어서, 활성화함수는 피쳐맵의 픽셀값들 중 양의 값은 그대로 출력하고 음의 값은 미리 정해진 크기만큼 감소된 값으로 출력하는 PRelu함수일 수 있다. 상술한 실시예에서는 활성화함수가 Relu 함수 또는 PRelu 함수인 것으로 설명하였지만, 이는 하나의 실시예일뿐, 본 발명은 이에 한정되지 않는다.
m개의 풀링 레이어(520)는 n개의 컨벌루션 레이어(510)들 중 적어도 하나의 출력단에 각각 배치되어 복수개의 피쳐맵에 미리 정해진 사이즈의 샘플링 필터를 적용하여 차원을 감소시킨다. 일 실시예에 있어서, m개의 풀링 레이어(520)는 각각의 피쳐맵 상에서 샘플링 필터에 상응하는 영역에 포함된 픽셀값들 중 최대값을 피쳐맵의 특징값으로 추출하는 맥스풀링 레이어(Max-Pooling Layer)일 수 있다. 다만, 본 발명에 따른 풀링 레이어는(520)는 맥스풀링 뿐만 아니라, 평균 풀링(Average Pooling), LSE(Log-Sum-Exponential) 등 다양한 방식으로 수행될 수 있고, 이는 구현방식의 차이에 불과할 수 있다.
다시 도 2를 참조하면, 특징정보 추출부(310)는 특징정보 추출 모델(340)을 통해 추출된 특징정보를 판단부(320)로 전달한다. 상술한 바와 같이, 특징정보 추출 모델(340)을 통해 추출된 특징정보는 특징벡터 또는 이미지 형태의 피쳐 맵일 수 있다. 이하에서는 설명의 편의를 위해 특징정보 추출 모델(340)을 통해 추출된 특징정보가 피쳐맵인 것으로 가정하여 설명하지만, 특징정보가 특징벡터인 경우에도 후술하는 본 발명의 특징은 동일하게 적용될 수 있다.
판단부(320)는 복수개의 피쳐맵을 분류 모델(350)에 입력하여 신분증의 진위판단을 수행한다.
판단부(320)가 신분증의 진위판단을 위해 이용하는 분류 모델(350)에 대해 도 3b를 참조하여 보다 구체적으로 설명한다.
분류 모델(350)은 입력된 복수개의 피쳐맵을 이용하여 신분증의 진위여부를 나타내는 확률값을 산출한다. 이때, 분류 모델(350)은 신분증의 진위여부를 확인하기 위한 지표에 대한 확률값을 각각 산출하는 복수개의 모델로 구현될 수도 있고, 이와 달리 신분증의 진위여부를 확인하기 위한 지표를 모두 반영하여 진위여부를 나타내는 하나의 확률값을 산출하는 하나의 모델로도 구현될 수 있다.
한편, 도 3b에 도시된 바와 같이 분류 모델(350)은 입력 레이어(530) 및 확률값 산출 레이어(540)를 포함한다.
일 실시예에 있어서, 입력 레이어(530)는 각 피쳐맵 상에서 미리 정해진 사이즈의 샘플링 필터를 적용하여 샘플링 필터에 상응하는 영역에 포함된 픽셀값들을 평균함으로써 복수개의 피쳐맵의 차원을 감소시키는 전역 평균 풀링 레이어(Global Average Pooling Layer)일 수 있다.
다만 본 발명에 따른 입력 레이어(530)는 전역 평균 풀링 레이어뿐만 아니라, 완전 연결 레이어(Fully Connected Layer) 등 다양한 방식으로 구성될 수 있다.
확률값 산출 레이어(540)는 차원이 감소된 복수개의 피쳐맵에 가중치를 부여하여 신분증의 진위여부를 나타내는 확률값을 산출하는 소프트 맥스 레이어(Soft Max Layer)일 수 있다.
다만 본 발명에 따른 확률값 산출 레이어(540)는 소프트 맥스 레이어 뿐만 아니라, 다양한 방식으로 구성될 수 있다.
한편, 분류 모델(350)은 신분증 사진의 안면데이터를 표현하는 피쳐맵을 이용하여 해당 사용자의 나이와 성별을 예측할 수 있다. 이러한 실시예를 따를 때, 분류 모델(350)의 확률값 산출 레이어(540)는 신분증 진위여부를 나타내는 확률값뿐만 아니라, 나이 및 성별을 나타내는 확률값을 추가로 산출할 수 있을 것이다. 이러한 실시예를 따를 때, 판단부(320)는 분류 모델(350)로부터 예측된 나이와 성별을 기준정보 비교부(335)로 전달할 수 있다.
다시 도 2를 참조하면, 판단부(320)는 분류 모델(350)로부터 출력되는 확률값이 미리 정해진 문턱값 미만이면, 신분증이 위조된 것으로 판단한다. 판단부(320)는 확률값이 미리 정해진 문턱값 이상이면, 신분증이 정상인 것으로 판단한다. 판단부(320)는 판단결과를 사용자 단말기(100)에 설치된 뱅킹 어플리케이션으로 전송한다.
상술한 실시예에서, 피쳐맵 추출부(310)가 신분증 데이터를 피쳐맵 추출 모델(340)에 입력하여 피쳐맵을 추출하고, 판단부(320)가 추출된 피쳐맵을 이용하여 신분증의 진위여부를 판단하는 것으로 설명하였다.
하지만, 이러한 실시예와 달리 특징벡터 추출부(미도시)를 이용하여 신분증 데이터로부터 특징벡터를 추출하고, 판단부(320)가 이러한 특징벡터를 이용하여 신분증 의 진위여부를 판단할 수도 있다.
이하에서는, 본 발명에 따른 특징벡터 추출부가 신분증 데이터로부터 특징벡터를 추출하는 것에 대해 보다 구체적으로 설명한다.
특징벡터 추출부는 신분증 데이터를 특징벡터 추출모델(미도시)에 입력하여 특징벡터를 추출할 수 있다. 이때, 특징벡터는, 홀로그램을 표현하는 제1 특징벡터, 반사광을 표현하는 제2 특징벡터, 그림자를 표현하는 제3 특징벡터, 모아레 패턴(Moire Pattern)을 표현하는 제4 특징벡터 등을 포함할 수 있다.
일 실시예에 잇어서, 특징벡터 추출모델은 제1 특징벡터 추출모델, 제2 특징벡터 추출모델, 제3 특징벡터 추출모델, 제4 특징벡터 추출모델을 포함할 수 있다.
여기서 제1 특징벡터 추출모델은 신분증이미지로부터 홀로그램을 표현하는 제1 특징벡터를 추출하는 모델이고, 제2 특징벡터 추출모델은 신분증이미지로부터 반사광을 표현하는 제2 특징벡터를 추출하는 모델이며, 제3 특징벡터 추출모델은 신분증이미지로부터 그림자를 표현하는 제3 특징벡터를 추출하는 모델이고, 제4 특징벡터 추출모델은 신분증이미지로부터 모아레 패턴을 표현하는 제4 특징벡터를 추출하는 모델이다.
이러한 실시예와 달리 상술한 바와 같이 하나의 특징벡터 추출모델이 제1 내지 제4 특징벡터를 추출할 수도 있을 거이며, 이는 구현방식의 차이에 불과하며 이에 한정되지 않는다.
특징벡터 추출부는 특징벡터 추출모델로부터 제1 내지 제4 특징벡터를 추출하고, 제1 내지 제4 특징벡터를 융합하여 하나의 융합 특징벡터를 생성할 수 잇다. 이때, 융합 특징벡터는 4차원 특징벡터로서, 홀로그램, 반사광, 그림자, 및 모아레 패턴을 표현하는 특징벡터일 수 있다.
특징벡터 추출부는 융합 특징벡터를 판단부(320)로 전달할 수 있다.
판단부(320)는 융합 특징벡터를 분류 모델(350)에 입력하여 신분증의 진위판단을 할 수 있다. 판단부(320)는 분류 모델(350)로부터 출력되는 확률값이 미리 정해진 문턱값 미만이면, 신분증이 위조된 것으로 판단한다. 판단부(320)는 확률값이 미리 정해진 문턱값 이상이면, 신분증이 정상인 것으로 판단한다. 판단부(320)는 판단결과를 사용자 단말기(100)에 설치된 뱅킹 어플리케이션으로 전송한다.
상술한 실시예와 달리, 특징벡터 추출부가 신분증 데이터로부터 추출된 제1 내지 제4 특징벡터를 판단부(320)로 전달할 수 있다. 이러한 실시예를 따를 때, 판단부(320)는 분류모델(350)에 제1 내지 제4 특징벡터를 입력할 수 있다.
이러한 실시예를 따를때, 분류모델(350)은 홀로그램의 존재여부를 나타내는 제1 확률값, 반사광의 존재여부를 나타내는 제2 확률값, 그림자의 존재여부를 나타내는 제3 확률값, 및 모아레 패턴의 존재여부를 나타내는 제4 확률값을 산출할 수 있다.
판단부(320)는 제1 내지 제4 확률값 중 적어도 하나의 확률값이 미리 정해진 문턱값보다 낮으면, 신분증이 위조된 것으로 판단할 수 있고, 제1 내지 제4 확률값 모두가 미리 정해진 문턱값 보다 높으면 신분증이 정상인 것으로 판단할 수 있다.
상술한 실시예와 달리, 분류모델(350)이 홀로그램의 존재여부를 나타내는 식별자, 반사광의 존재여부를 나타내는 식별자, 그림자의 존재여부를 나타내는 식별자, 및 모아레 패턴의 존재여부를 나타내는 식별자를 출력할 수 있고, 판단부(320)는 이러한 식별자에 따라 신분증 위변조 여부를 판단할 수 있다.
이때, 식별자는 신분증의 진위를 기준으로 설정될 수 있다.
예컨대, 분류모델(350)이 홀로그램이 존재하면 1을 출력하고 존재하지 않으면 0을 출력하며, 반사광이 존재하면 1을 출력하고 존재하지 않으면 0을 출력하고, 그림자가 존재하면 1을 출력하고 존재하지 않으면 0을 출력하며, 모아레 패턴이 존재하지 않으면 1을 출력하고 존재하지 않으면 0을 출력할 수 있다. 이러한 경우, 판단부(320)는 적어도 하나의 식별자가 0이면 신분증이 위조된 것으로 판단하고, 모든 식별자가 1이면 신분증이 정상인 것으로 판단할 수 있다.
상술한 실시예에서 분류모델(350)이 하나인 것으로 설명하였으나, 이는 실시예에 불과할 뿐, 각 특징벡터 별로 분류모델(350)이 존재할 수 도 있을 것이다.
위조영역 추출부(330)는 판단부(320)에 의해 신분증이 위조된 것으로 판단되면 특징정보 추출부(310)에 의해 추출된 복수개의 피쳐맵으로부터 신분증 데이터의 위조 영역이 활성화된 클래스 활성화 맵(Class Activation Map)을 추출한다.
본 발명에 따른 위조영역 추출부(330)가 복수개의 피쳐맵으로부터 클래스 활성화 맵을 추출하는 이유는, 복수개의 피쳐맵이 분류 모델(350)로 입력되면 분류 모델(350)이 복수개의 피쳐맵으로부터 위조여부를 분류할 수 있으나, 분류 모델(350)은 딥러닝 모델로서 시스템 관리자가 판단결과가 어떻게 도출되는지 알 수 없는 블랙 박스(Black Box)이기 때문에 진위결과에 대한 설명을 할 수 없다는 문제가 있었기 때문이다.
따라서, 본 발명은 클래스 활성화 맵을 추출함으로써 이를 통해 진위결과에 대한 설명을 할 수 있게 하여 사용자의 이의 제기 시 효과적으로 대처할 수 있을 뿐만 아니라, 이로 인해 시스템 신뢰도가 향상된다는 효과가 있다.
이를 위해 위조영역 추출부(330)는 활성화부(410) 및 생성부(420)를 포함한다.
본 발명에 따른 활성화부(410)는 복수개의 피쳐맵에 분류 모델(350)의 가중치를 각각 부여하여 각 피쳐맵 상에 위조영역을 활성화시킨다. 이때, 분류 모델(350)의 가중치는 확률값 산출 레이어(540)에서 복수개의 피쳐맵의 분류를 위해서 부여하는 가중치를 의미할 수 있다.
생성부(420)는 활성화부(410)에 의해 활성화된 피쳐맵을 조합하여 클래스 활성화 맵을 생성한다. 구체적으로 생성부(420)는 활성화된 피쳐맵을 합산하여 클래스 활성화 맵을 생성한다.
도 4는 생성부가 활성화된 피쳐맵을 합산하여 클래스 활성화 맵을 생성하는 일례를 보여주는 도면이다.
도 4에 도시된 바와 같이 활성화부(410)가 각 피쳐맵에 가중치를 부여하여 피쳐맵을 활성화시킨다. 생성부(420)는 활성화된 피쳐맵을 합산하여 클래스 활성화 맵을 생성한다.
생성부(420)는 생성된 클래스 활성화 맵을 데이터베이스(260)에 저장한다.
일 실시예에 있어서, 생성부(420)는 클래스 활성화 맵을 인터페이스부(210)를 통해 사용자 단말기(100)로 전달할 수 있다. 구체적으로 생성부(420)는 클래스 활성화 맵을 인터페이스부(210)를 통해 사용자 단말기(100)에 설치된 뱅킹 어플리케이션으로 전송할 수 있다.
본 발명에 따른 위조영역 추출부(330)는 도 2에 도시된 바와 같이 신분증의 위조를 나타내는 지표를 결정하는 결정부(430)를 더 포함할 수 있다.
본 발명에 따른 결정부(430)는 생성부(420)에 의해 생성된 클래스 활성화 맵으로부터 신분증의 위조를 나타내는 지표를 결정한다. 구체적으로, 결정부(430)는 클래스 활성화 맵에 표시된 위조영역으로부터 신분증의 위조를 나타내는 지표를 결정한다.
일례로, 결정부(430)는 클래스 활성화 맵에 표시된 위조영역이 신분증 상에서 홀로그램 형태로 활성화된 경우, 신분증의 홀로그램이 위조된 것으로 결정한다.
이러한 실시예를 따르는 경우, 본 발명은 생성부(420)가 클래스 활성화 맵 자체를 뱅킹 어플리케이션으로 전송하지 않고, 결정부(430)에 의해 결정된 신분증의 위조를 나타내는 지표를 뱅킹 어플리케이션으로 전송할 수 있을 것이다.
다만, 본 발명은 이에 한정되지 않고, 클래스 활성화 맵 및 신분증의 위조를 나타내는 지표 모두를 뱅킹 어플리케이션으로 전송할 수도 있을 것이다.
한편, 기준정보 비교부(335)는 신분증 데이터로부터 기준정보를 추출하고 추출된 기준정보와 분류모델(350)로부터 예측된 나이 및 성별을 비교하여 신분증의 진위확인을 수행할 수 있다. 이때, 기준정보는 주민번호, 이름, 주소, 발급일자 등을 의미할 수 있다.
일 실시예에 있어서, 기준정보 비교부(335)는 광학적 문자 판독장치(Optical Character Reader, OCR)을 이용하여 신분증 데이터로부터 기준정보를 추출할 수 있다.
기준정보 비교부(335)는 기준정보가 분류모델(350)로부터 예측된 나이 및 성별과 상이하면 확인요청 메시지를 생성하여 시스템 관리자에게 전송할 수 있다.
본 발명에 따른 기준정보 비교부(335)가 시스템 관리자에게 확인요청 메시지를 생성하여 전송하는 이유는, 나이 및 성별이 신분증에 포함된 얼굴정보로 예측되었기 때문에 신분증에 포함된 얼굴정보가 시간의 흐름을 반영하지 못할 수 도 있기 때문이다.
기준정보 비교부(335)는 기준정보와 분류모델(350)로부터 예측된 나이 및 성별이 일치하면, 기준정보를 전송하여 외부기관 서버(미도시)에 진위여부 판단을 요청할 수 있다. 예컨대, 기준정보 비교부(335)는 금융결제원이 구축한 비대면 신분증 진위확인 서비스 제공 서버(미도시)로 신분증의 진위 여부 판단을 요청할 수 있다. 다른 예로, 기준정보 비교부(335)는 촬영된 신분증이 운전면허증인 경우에는 도로교통공단이나 경찰청으로 신분증의 진위 여부 판단을 요청할 수 있고, 촬영된 신분증이 주민등록증인 경우에는 민원포털서버(예컨대, 정부 24 또는 민원24)로 신분증의 진위 여부 판단을 요청할 수 있다.
기준정보 비교부(335)는 외부기관 서버로부터 신분증의 진위확인결과를 수신하고 이를 사용자 단말기(100)에 설치된 뱅킹 어플리케이션으로 전송한다.
다시 도 2를 참조하면, 학습부(250)는 신경망 모델(240)을 학습시킨다. 구체적으로, 학습부(250)는 복수개의 학습 데이터를 이용하여 신경망 모델(240)을 학습시킨다. 이때, 복수개의 학습 데이터는 신분증의 진위여부를 판단할 수 있는 지표가 표현된 학습 데이터를 의미한다.
일 실시예에 있어서, 학습부(250)는 역전파(Back Propagation) 알고리즘에 따라 신경망 모델(240)을 학습시킴으로써, 신경망 모델에 포함된 컨벌루션 필터들의 필터계수 및 가중치를 갱신할 수 있다.
데이터베이스(260)에는 신분증 데이터가 저장된다. 이때, 신분증 데이터는 사람이 확인할 수 없도록 암호화되어 저장될 수 있다. 또한, 데이터베이스(260)에는 복수개의 학습 데이터가 저장된다. 또한, 데이터베이스(260)에는 진위확인부(230)에 의해 추출된 복수개의 피쳐맵과 진위확인 결과, 클래스 활성화 맵이 저장될 수 있다.
이하, 본 발명에 따른 신분증 진위확인 방법에 대해 도 5를 참조하여 설명한다.
도 5는 본 발명의 일 실시예에 따른 신분증의 진위확인 방법을 나타내는 플로우 차트를 보여주는 도면이다. 도 5에 도시된 신분증 진위확인 방법은 도 1에 도시된 뱅킹 시스템에 의해 수행될 수 있다.
도 5에 도시된 바와 같이 뱅킹 시스템은 사용자에 대한 인증을 수행하기 위해 신분증 촬영요청을 생성한다(S500). 일례로, 뱅킹 시스템은 사용자에 의해 계좌개설요청이 발생하면, 해당 사용자의 인증을 수행하기 위해 신분증 촬영요청을 생성할 수 있다. 다른 예로, 뱅킹 시스템은 사용자에 의해 대출요청이 발생하면, 해당 사용자의 인증을 수행하기 위해 신분증 촬영요청을 생성할 수 있다. 또 다른 예로, 뱅킹 시스템은 사용자에 의해 계좌이체요청이 발생하면, 해당 사용자의 인증을 수행하기 위해 신분증 촬영요청을 생성할 수 있다.
뱅킹 시스템은 신분증 촬영요청에 따라 신분증 데이터가 생성되면 신분증 데이터를 특징정보 추출 모델에 입력하여 복수개의 특징정보를 추출한다(S510). 일 실시예에 있어서, 뱅킹 시스템은 특징정보로써 복수개의 특징벡터 또는 피쳐맵(Feature Map)을 추출할 수 있다. 이때, 각 특징벡터 또는 각 피쳐맵은 신분증의 진위확인을 위한 지표를 표현한다. 신분증의 진위확인을 위한 지표는 신분증 상에 존재하는 홀로그램 정보, 신분증의 반사광 정보, 신분증 상에 그림자 정보, 모아레 패턴(Moire Pattern) 정보, 신분증에 포함된 얼굴정보, 신분증에 포함된 기준정보 등을 포함한다. 이때, 모아레 패턴은 디스플레이를 촬영했을 때 발생되는 패턴을 의미한다. 기준정보는 발급일자, 주민번호, 주소, 이름 등을 의미한다.
이러한 실시예를 따를 때, 특징정보 추출 모델은 신분증의 진위확인을 위한 지표들이 학습된 하나의 모델일 수 있고, 각 지표 별로 학습된 복수개의 모델로 구성될 수도 있다.
일 실시예에 있어서, 특징정보추출 모델은 상술한 도 3a에 도시된 바와 같이, 입력된 신분증 데이터의 특징정보로써 특징벡터를 추출하는 특징정보 추출 모델과 클래스를 분류하는 분류 모델을 포함하는 CNN 레이어로 구현될 수 있다. 이때, 특징정보 추출 모델은 n개의 컨벌루션 레이어와 m개의 풀링 레이어가 겹겹이 쌓인 형태로 구현될 수 있다. 컨벌루션 레이어는 입력 데이터에 필터를 적용한 후 활성화 함수를 반영하는 필수 요소이고, 풀링 레이어는 선택적으로 적용 가능하다.
다른 실시예에 있어서, 특징정보추출 모델은 도 3b에 도시된 바와 같이 입력된 신분증 데이터의 특징정보로써 피쳐맵을 추출하는 n개의 컨벌루션 레이어 및 m개의 풀링 레이어로 구성된 특징정보 추출 모델을 포함할 수도 있다. 이러한 경우, n개(n은 2이상의 정수)의 컨벌루션 레이어는 순차적으로 배치되어 신분증 데이터에 미리 정해진 사이즈의 컨벌루션 필터를 적용하여 복수개의 피쳐맵을 생성한다. 이때, 각 컨벌루션 레이어의 컨벌루션 필터는 서로 상이한 필터로서, 서로 다른 특징을 추출하는 필터일 수 있다.
n개의 컨벌루션 레이어는 생성된 복수개의 피쳐맵에 활성화함수를 적용하여 복수개의 피쳐맵에 비선형적 특성을 부여한다. 여기서 활성화함수란 복수의 입력정보에 가중치를 부여하여 결합해 완성된 결과값을 출력하는 함수를 의미한다. 일 실시예에 있어서, 활성화함수는 피쳐맵의 픽셀값들 중 양의 값은 그대로 출력하고 음의 값은 0으로 출력하는 Relu함수일 수 있다. 다른 실시예에 있어서, 활성화함수는 피쳐맵의 픽셀값들 중 양의 값은 그대로 출력하고 음의 값은 미리 정해진 크기만큼 감소된 값으로 출력하는 PRelu함수일 수 있다. 상술한 실시예에서는 활성화함수가 Relu 함수 또는 PRelu 함수인 것으로 설명하였지만, 이는 하나의 실시예일뿐, 본 발명은 이에 한정되지 않는다.
m개의 풀링 레이어는 n개의 컨벌루션 레이어들 중 적어도 하나의 출력단에 각각 배치되어 복수개의 피쳐맵에 미리 정해진 사이즈의 샘플링 필터를 적용하여 차원을 감소시킨다. 일 실시예에 있어서, m개의 풀링 레이어는 각각의 피쳐맵 상에서 샘플링 필터에 상응하는 영역에 포함된 픽셀값들 중 최대값을 피쳐맵의 특징값으로 추출하는 맥스풀링 레이어(Max-Pooling Layer)일 수 있다. 다만, 본 발명에 따른 풀링 레이어는는 맥스풀링 뿐만 아니라, 평균 풀링(Average Pooling), LSE(Log-Sum-Exponential) 등 다양한 방식으로 수행될 수 있다.
이후, 뱅킹 시스템은 복수개의 특징벡터 또는 복수개의 피쳐맵을 분류 모델에 입력하여 신분증의 진위판단을 수행한다(S520).
분류 모델은 입력된 복수개의 특징벡터 또는 복수개의 피쳐맵을 이용하여 신분증의 진위여부를 나타내는 확률값을 산출한다. 이를 위해, 분류모델은 상술한 도 3a에 도시된 바와 같이 적어도 하나의 완전 연결 레이어 및 소프트 맥스 레이어(미도시)를 포함하거나, 도 3b에 도시된 바와 같이 분류 모델은 입력 레이어 및 확률값 산출 레이어를 포함할 수 있다.
일 실시예에 있어서, 입력 레이어는 각 피쳐맵 상에서 미리 정해진 사이즈의 샘플링 필터를 적용하여 샘플링 필터에 상응하는 영역에 포함된 픽셀값들을 평균함으로써 복수개의 피쳐맵의 차원을 감소시키는 전역 평균 풀링 레이어(Global Average Pooling Layer)일 수 있다. 다만 본 발명에 따른 입력 레이어는 전역 평균 풀링 레이어 뿐만 아니라, 완전 연결 레이어(Fully Connected Layer) 등 다양한 방식으로 구성될 수 있다.
확률값 산출 레이어는 차원이 감소된 복수개의 피쳐맵에 가중치를 부여하여 신분증의 진위여부를 나타내는 확률값을 산출하는 소프트 맥스 레이어(Soft Max Layer)일 수 있다. 다만 본 발명에 따른 확률값 산출 레이어는 소프트 맥스 레이어 뿐만 아니라, 다양한 방식으로 구성될 수 있다.
한편, 분류 모델은 신분증 사진의 안면데이터를 표현하는 피쳐맵을 이용하여 해당 사용자의 나이와 성별을 예측할 수 있다. 이러한 실시예를 따를 때, 분류 모델의 확률값 산출 레이어는 신분증 진위여부를 나타내는 확률값뿐만 아니라, 추가로 나이 및 성별을 나타내는 확률값을 산출할 수 있을 것이다.
뱅킹 시스템은 확률값이 미리 정해진 문턱값 이상이면(S525), 신분증이 정상인 것으로 판단한다(S530). 뱅킹 시스템은 분류 모델로부터 출력되는 확률값이 미리 정해진 문턱값 미만이면(S525), 신분증이 위조된 것으로 판단한다(S540). 뱅킹 시스템은 판단결과를 사용자에게 제공한다.
이하, 본 발명의 일 실시예에 따른 신분증 위조영역 표시방법에 대해 도 6을 참조하여 보다 구체적으로 설명한다.
도 6은 본 발명의 일 실시예에 따른 신분증 위조영역 표시방법을 보여주는 플로우 차트이다. 도 6에 도시된 신분증 위조영역 표시방법은 도 1에 도시된 뱅킹 시스템에 의해 수행될 수 있다.
이때, 신분증 데이터로부터 복수개의 특징벡터 또는 복수개의 피쳐맵을 추출하는 과정은 도 5에 도시된 S500 및 S510에 도시된 것과 동일하므로, 구체적인 설명은 생략하고, 도 6에서는 복수개의 특징벡터 또는 복수개의 피쳐맵 추출과정(S510)이 수행된 이후의 과정에 대해 설명한다.
뱅킹 시스템은 S510에서 추출된 복수개의 특징벡터 또는 복수개의 피쳐맵에 분류 모델의 가중치를 각각 부여하여 각 특징벡터 또는 피쳐맵 상에서 위조영역을 검출한다(S550). 이에 따라 각 특징벡터 또는 피쳐맵 별로 위조영역이 검출되게 된다. 이때, 분류 모델의 가중치는 확률값 산출 레이어에서 복수개의 특징벡터 또는 복수개의 피쳐맵의 분류를 위해서 부여하는 가중치를 의미할 수 있다.
뱅킹 시스템은 검출된 특징벡터 또는 피쳐맵을 조합하여 클래스 활성화 맵을 생성한다(S560). 구체적으로 뱅킹 시스템은 활성화된 피쳐맵을 합산하여 클래스 활성화 맵을 생성한다. 뱅킹 시스템은 클래스 활성화 맵을 사용자에게 제공할 수 있다. 다만, 이는 하나의 예에 불과하며, 뱅킹 시스템은 시스템 관리자에게만 클래스 활성화 맵을 제공할 수도 있다.
본 발명에 따른 뱅킹 시스템이 복수개의 특징벡터 또는 복수개의 피쳐맵으로부터 클래스 활성화 맵을 추출하는 이유는, 복수개의 특징벡터 또는 복수개의 피쳐맵이 분류 모델로 입력되면 분류 모델이 복수개의 특징벡터 또는 복수개의 피쳐맵으로부터 위조여부를 분류할 수 있으나, 분류 모델은 딥러닝 모델로서 시스템 관리자가 판단결과가 어떻게 도출되는지 알 수 없는 블랙 박스(Black Box)이기 때문에 진위결과에 대한 설명을 할 수 없다는 문제가 있었기 때문이다.
따라서, 본 발명은 클래스 활성화 맵을 추출함으로써 이를 통해 진위결과에 대한 설명을 할 수 있게 하여 사용자의 이의 제기 시 효과적으로 대처할 수 있을 뿐만 아니라, 이로 인해 시스템 신뢰도가 향상된다는 효과가 있다.
뱅킹 시스템은 생성된 클래스 활성화 맵으로부터 신분증의 위조를 나타내는 지표를 결정한다(S570). 구체적으로, 뱅킹 시스템은 클래스 활성화 맵에 표시된 위조영역으로부터 신분증의 위조를 나타내는 지표를 결정한다.
일례로, 뱅킹 시스템은 클래스 활성화 맵에 표시된 위조영역이 신분증 상에서 홀로그램 형태로 활성화된 경우, 신분증의 홀로그램이 위조된 것으로 결정한다.
한편, 뱅킹 시스템은 신분증 데이터로부터 기준정보를 추출하고 추출된 기준정보와 분류모델(350)로부터 예측된 나이 및 성별을 비교하여 신분증의 진위확인을 수행할 수 있다. 이때, 기준정보는 주민번호, 이름, 주소, 발급일자 등을 의미할 수 있다.
뱅킹 시스템은 기준정보가 분류모델로부터 예측된 나이 및 성별과 상이하면 확인요청 메시지를 생성하여 시스템 관리자에게 전송할 수 있다.
본 발명에 따른 뱅킹 시스템이 시스템 관리자에게 확인요청 메시지를 생성하여 전송하는 이유는, 나이 및 성별이 신분증에 포함된 얼굴정보로 예측되었기 때문에 신분증에 포함된 얼굴정보가 시간의 흐름을 반영하지 못할 수 도 있기 때문이다.
뱅킹 시스템은 기준정보와 분류모델로부터 예측된 나이 및 성별이 일치하면, 기준정보를 전송하여 외부기관 서버(미도시)에 진위여부 판단을 요청할 수 있다. 예컨대, 기준정보 비교부(335)는 금융결제원이 구축한 비대면 신분증 진위확인 서비스 제공 서버(미도시)로 신분증의 진위 여부 판단을 요청할 수 있다. 다른 예로, 기준정보 비교부(335)는 촬영된 신분증이 운전면허증인 경우에는 도로교통공단이나 경찰청으로 신분증의 진위 여부 판단을 요청할 수 있고, 촬영된 신분증이 주민등록증인 경우에는 민원포털서버(예컨대, 정부 24 또는 민원24)로 신분증의 진위 여부 판단을 요청할 수 있다.
뱅킹 시스템은 외부기관 서버로부터 신분증의 진위확인결과를 수신하고 이를 사용자에게 제공한다.
뱅킹 시스템은 신경망 모델을 학습시킬 수 있다. 구체적으로, 뱅킹 시스템은 복수개의 학습 데이터를 이용하여 신경망 모델을 학습시킨다. 이때, 복수개의 학습 데이터는 신분증의 진위여부를 판단할 수 있는 지표가 표현된 학습 데이터를 의미한다.
일 실시예에 있어서, 뱅킹 시스템은 역전파(Back Propagation) 알고리즘에 따라 신경망 모델을 학습시킴으로써, 신경망 모델에 포함된 컨벌루션 필터들의 필터계수 및 가중치를 갱신할 수 있다.
도 6에 도시된 신분증 위조영역 표시방법은 도 5에 도시된 신분증 진위확인 방법이 수행된 이후에 수행될 수 있다. 다른 실시예에 있어서, 도 5에 도시된 신분증 진위확인 방법과 도 6에 도시된 신분증 위조영역 표시방법은 동시에 수행될 수도 있고, 도 5에 도시된 신분증 진위확인 방법과 도 6에 도시된 신분증 위조영역 표시방법 중 어느 하나만 선택적으로 수행될 수도 있을 것이다.
상술한 실시예들을 통해 설명한 신분증 진위 확인 시스템은, 실제 신분증 진위 확인 서비스에서 도 7과 같이 구현될 수 있다. 신분증 진위 확인을 실시하는 관리자 단말 상에서, 도 7과 같이 사용자가 촬영한 이미지 데이터가 출력될 수 있고, 신분증 진위 판별 시스템을 통해 판별된 진위 여부가 표시(710)될 수 있다. 일례로, 도 7에 도시된 바와 같이, 이미지 데이터의 진위여부는 “NO” 또는 “YES”와 같은 직관적인 UI(710)로 제공될 수 있다. 또한 신경망 모델(240)을 통해 도출된 위조 영역(700)이 이미지 데이터 상에 표시됨으로써, 위조 영역을 직관적으로 파악할 수 있게 한다. 한편, 관리자가 위조 영역 확인을 위해 '상세보기'(720)를 선택하면, 위조로 판별한 이유(예컨대, 주민등록번호 값 조회 시 불일치, 홀로그램 변화량 기준치 미달)에 대한 설명 문구나 이미지를 더 표시하도록 구현할 수 있다.
본 발명의 신분증 진위 판별을 위한 신경망 모델은, 관리자가 진위 결과를 확인한 후, 실제 위조 영역 확인 시에 신경망 모델의 판별 단계를 역추적해 나감으로써, 어떤 값에 의해 위조로 판명되었는지를 정확히 도출해낼 수 있다.
이는 기존의 신분증 진위 판별 시스템을 개선하여 딥러닝을 통해 더 정교하게 위조를 검출하고, 검출 결과를 직관적이고 세밀하게 확인할 수 있는 효과가 있다.
본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
상술한 실시예에 있어서는, 본 발명에 따른 신분증 진위판단방법이 뱅킹 서비스에 적용되는 것으로 설명하였지만, 다른 실시예에 있어서, 본 발명에 따른 신분증 진위판단방법은 뱅킹 서비스뿐만 아니라 신분증 진위확인이 요구되는 서비스라면 제한 없이 적용될 수 있을 것이다.
또한, 본 명세서에 설명되어 있는 방법들은 적어도 부분적으로, 하나 이상의 컴퓨터 프로그램 또는 구성요소를 사용하여 구현될 수 있다.　 이 구성요소는 휘발성 및 비휘발성 메모리를 포함하는 컴퓨터로 판독 가능한 매체 또는 기계 판독 가능한 매체를 통해 일련의 컴퓨터 지시어들로서 제공될 수 있다. 상기 지시어들은 소프트웨어 또는 펌웨어로서 제공될 수 있으며, 전체적 또는 부분적으로, ASICs, FPGAs, DSPs, 또는 그 밖의 다른 유사 소자와 같은 하드웨어 구성에 구현될 수도 있다. 상기 지시어들은 하나 이상의 프로세서 또는 다른 하드웨어 구성에 의해 실행되도록 구성될 수 있는데, 상기 프로세서 또는 다른 하드웨어 구성은 상기 일련의 컴퓨터 지시어들을 실행할 때 본 명세서에 개시된 방법들 및 절차들의 모두 또는 일부를 수행하거나 수행할 수 있도록 한다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (17)

  1. 신분증 데이터를 특징정보 추출 모델에 입력하여 상기 신분증 데이터로부터 상기 신분증의 진위확인을 위한 지표를 표현하는 복수개의 특징정보를 추출하는 단계;
    상기 추출된 복수개의 특징정보를 분류 모델에 입력하여 상기 신분증의 진위판단을 수행하는 단계; 및
    상기 신분증이 위조된 것으로 판단되면 상기 복수개의 특징정보로부터 상기 신분증 데이터의 위조 영역이 활성화된 클래스 활성화 맵(Class Activation Map)을 추출하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단방법.
  2. 제1항에 있어서,
    상기 클래스 활성화 맵을 추출하는 단계는
    상기 복수개의 특징정보에 상기 분류 모델의 가중치를 각각 부여하여 각 특징정보 상에 위조 영역을 활성화하는 단계; 및
    상기 활성화된 특징정보를 조합하여 상기 클래스 활성화 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단방법.
  3. 제1항에 있어서,
    상기 신분증의 진위판단을 수행하는 단계는,
    상기 분류 모델로부터 출력되는 확률값이 미리 정해진 문턱값 미만이면 상기 신분증이 위조된 것으로 판단하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단방법.
  4. 제1항에 있어서,
    상기 분류 모델은,
    상기 복수개의 특징정보에 가중치를 부여하여 상기 신분증의 진위여부를 나타내는 확률값을 산출하는 소프트 맥스 레이어(Soft Max Layer)를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단방법.
  5. 제1항에 있어서,
    상기 분류 모델은,
    각 특징정보에 미리 정해진 사이즈의 샘플링 필터를 적용하여 샘플링 필터에 상응하는 영역에 포함된 픽셀값들을 평균함으로써 상기 복수개의 특징정보의 차원을 감소시키는 전역 평균 풀링 레이어(Global Average Pooling Layer)를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단방법.
  6. 제1항에 있어서,
    상기 특징정보 추출 모델은,
    순차적으로 배치되어 상기 신분증 데이터에 미리 정해진 사이즈의 컨벌루션 필터를 적용하여 상기 복수개의 특징정보를 생성하고, 상기 생성된 복수개의 특징정보에 활성화 함수를 적용하여 상기 복수개의 특징정보에 비선형적 특성을 부여하는 n개(n은 2 이상의 정수)의 컨벌루션 레이어를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단방법.
  7. 제1항에 있어서,
    상기 특징정보 추출 모델은,
    상기 신분증 데이터로부터 상기 복수개의 특징정보를 생성하는 n개의 컨벌루션 레이어들 중 적어도 하나의 출력단에 각각 배치되어 상기 생성된 복수개의 특징정보에 미리 정해진 사이즈의 샘플링 필터를 적용하여 차원을 감소시키는 m개(m는 1보다 큰 정수)의 풀링 레이어를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단방법.
  8. 제1항에 있어서,
    상기 신분증의 진위를 확인하기 위한 지표는 상기 신분증 상에 존재하는 홀로그램 정보, 신분증의 반사광 정보, 상기 신분증 상에 존재하는 그림자 정보, 모아레 패턴(Moire Pattern) 정보, 상기 신분증에 포함된 안면 데이터, 및 상기 신분증에 포함된 기준정보 중 적어도 하나를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단방법.
  9. 제1항에 있어서,
    상기 특징정보는 상기 신분증 데이터를 상기 특징정보 추출 모델에 입력하여 획득한 특징벡터 또는 이미지 형태의 피쳐맵인 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단방법.
  10. 복수개의 프로그램 모듈들이 저장된 메모리; 및
    상기 메모리에 저장된 상기 복수개의 프로그램 모듈들을 실행시키기 위한 프로세서를 포함하고,
    상기 프로그램 모듈들은,
    신분증을 촬영하여 획득된 신분증 데이터를 특징정보 추출 모델에 입력하여 상기 신분증 데이터로부터 상기 신분증의 진위확인을 위한 지표를 표현하는 복수개의 특징정보를 추출하는 특징정보 추출부;
    상기 추출된 복수개의 특징정보를 분류 모델에 입력하여 상기 신분증의 진위판단을 수행하는 판단부; 및
    상기 신분증이 위조된 것으로 판단되면 상기 복수개의 특징정보로부터 상기 신분증 데이터의 위조 영역이 활성화된 클래스 활성화 맵(Class Activation Map)을 추출하는 위조영역 추출부를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단장치.
  11. 제10항에 있어서,
    상기 위조영역 추출부는
    상기 복수개의 특징정보에 상기 분류 모델의 가중치를 각각 부여하여 각 특징정보 상에 위조 영역을 활성화하는 활성화부; 및
    상기 활성화된 특징정보를 조합하여 상기 클래스 활성화 맵을 생성하는 생성부를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단장치.
  12. 제10항에 있어서,
    상기 판단부는,
    상기 분류 모델로부터 출력되는 확률값이 미리 정해진 문턱값 미만이면 상기 신분증이 위조된 것으로 판단하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단장치.
  13. 제10항에 있어서,
    상기 분류 모델은,
    상기 복수개의 특징정보에 가중치를 부여하여 상기 신분증의 진위여부를 나타내는 확률값을 산출하는 소프트 맥스 레이어를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단장치.
  14. 제10항에 있어서,
    상기 분류 모델은,
    각 특징정보에 미리 정해진 사이즈의 샘플링 필터를 적용하여 샘플링 필터에 상응하는 영역에 포함된 픽셀값들을 평균함으로써 상기 복수개의 특징정보의 차원을 감소시키는 전역 평균 풀링 레이어를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단장치.
  15. 제10항에 있어서,
    상기 특징정보 추출 모델은,
    순차적으로 배치되어 상기 신분증 데이터에 미리 정해진 사이즈의 컨벌루션 필터를 적용하여 상기 복수개의 특징정보를 생성하고, 상기 생성된 복수개의 특징정보에 활성화 함수를 적용하여 상기 복수개의 특징정보에 비선형적 특성을 부여하는 n개(n은 2 이상의 정수)의 컨벌루션 레이어를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단장치.
  16. 제10항에 있어서,
    상기 특징정보 추출 모델은,
    상기 신분증 데이터로부터 상기 복수개의 특징정보를 생성하는 n개의 컨벌루션 레이어들 중 적어도 하나의 출력단에 각각 배치되어 상기 생성된 복수개의 특징정보에 미리 정해진 사이즈의 샘플링 필터를 적용하여 차원을 감소시키는 m개(m는 1보다 큰 정수)의 풀링 레이어를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단장치.
  17. 제10항에 있어서,
    상기 신분증의 진위를 확인하기 위한 지표는 상기 신분증 상에 존재하는 홀로그램 정보, 상기 신분증의 반사광 정보, 신분증 상에 존재하는 그림자 정보, 모아레 패턴(Moire Pattern) 정보, 상기 신분증에 포함된 안면 데이터, 및 상기 신분증에 포함된 기준정보 중 적어도 하나를 포함하는 것을 특징으로 하는 딥러닝 기반의 신분증 진위판단장치.
PCT/KR2020/013226 2020-02-14 2020-09-28 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법 WO2021162195A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/786,684 US11594053B2 (en) 2020-02-14 2020-09-28 Deep-learning-based identification card authenticity verification apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0018242 2020-02-14
KR1020200018242A KR102125379B1 (ko) 2020-02-14 2020-02-14 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법

Publications (1)

Publication Number Publication Date
WO2021162195A1 true WO2021162195A1 (ko) 2021-08-19

Family

ID=71142190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013226 WO2021162195A1 (ko) 2020-02-14 2020-09-28 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법

Country Status (3)

Country Link
US (1) US11594053B2 (ko)
KR (1) KR102125379B1 (ko)
WO (1) WO2021162195A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9299194B2 (en) * 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
KR102125379B1 (ko) * 2020-02-14 2020-06-22 주식회사 카카오뱅크 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법
KR102210959B1 (ko) * 2020-06-29 2021-02-01 주식회사 카카오뱅크 신분증 이미지 품질 평가 방법 및 서버
WO2022010022A1 (ko) * 2020-07-06 2022-01-13 주식회사 유스비 비대면 본인인증 고객확인 장치 및 그 방법
KR102503016B1 (ko) * 2020-07-23 2023-02-23 주식회사 케이티 비대면 사용자 인증을 수행하는 인증 서버, 사용자 단말 및 방법
KR102528816B1 (ko) * 2020-09-15 2023-05-03 주식회사 카카오뱅크 신분증 검수 정보를 이용한 신경망의 약지도 학습 방법 및 시스템
KR102327758B1 (ko) 2020-10-22 2021-11-18 동국대학교 산학협력단 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법
KR102410588B1 (ko) * 2021-09-15 2022-06-22 주식회사 풀스택 신분증 위조 여부 판단 장치 및 방법
KR102457034B1 (ko) * 2022-01-10 2022-10-21 인트인 주식회사 Nft 디지털 자산의 저작권 침해 여부 검출 방법
KR102573975B1 (ko) * 2022-06-15 2023-09-04 주식회사 코이웨어 신분증 진위 여부 판단 장치 및 그 방법
US20240029460A1 (en) * 2022-07-20 2024-01-25 Samsung Electronics Co., Ltd. Apparatus and method for performing image authentication
CN116740794B (zh) * 2023-08-15 2023-11-28 中国科学技术大学 人脸伪造图像鉴别方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070008968A (ko) * 2005-07-14 2007-01-18 세미테크 주식회사 신분증 위조 판별 장치 및 그 방법
KR100894696B1 (ko) * 2008-08-18 2009-04-24 이종명 신분증 위변조 판별 장치, 및 시스템
KR200483242Y1 (ko) * 2015-10-23 2017-05-02 김우섭 모바일 디바이스를 이용한 신분증 인식 장치
JP2019536120A (ja) * 2017-06-30 2019-12-12 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド Ｉｄ写真の真正性を検証するためのシステムおよび方法
JP2020008896A (ja) * 2018-07-02 2020-01-16 カシオ計算機株式会社 画像識別装置、画像識別方法及びプログラム
KR102125379B1 (ko) * 2020-02-14 2020-06-22 주식회사 카카오뱅크 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7757942B1 (en) * 2006-09-18 2010-07-20 Ford Sr Ronald Biometric charge card verification system and associated method
US10217179B2 (en) * 2016-10-17 2019-02-26 Facebook, Inc. System and method for classification and authentication of identification documents using a machine learning based convolutional neural network
US11627465B2 (en) * 2021-06-10 2023-04-11 Cisco Technology, Inc. Token-based access for internet-of-things devices in wireless wide area networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070008968A (ko) * 2005-07-14 2007-01-18 세미테크 주식회사 신분증 위조 판별 장치 및 그 방법
KR100894696B1 (ko) * 2008-08-18 2009-04-24 이종명 신분증 위변조 판별 장치, 및 시스템
KR200483242Y1 (ko) * 2015-10-23 2017-05-02 김우섭 모바일 디바이스를 이용한 신분증 인식 장치
JP2019536120A (ja) * 2017-06-30 2019-12-12 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド Ｉｄ写真の真正性を検証するためのシステムおよび方法
JP2020008896A (ja) * 2018-07-02 2020-01-16 カシオ計算機株式会社 画像識別装置、画像識別方法及びプログラム
KR102125379B1 (ko) * 2020-02-14 2020-06-22 주식회사 카카오뱅크 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법

Also Published As

Publication number Publication date
US20230013380A1 (en) 2023-01-19
US11594053B2 (en) 2023-02-28
KR102125379B1 (ko) 2020-06-22

Similar Documents

Publication Publication Date Title
WO2021162195A1 (ko) 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법
WO2020207189A1 (zh) 身份验证方法、装置、存储介质和计算机设备
KR101626880B1 (ko) 비대면 실명확인 온라인 신분증 식별 및 인식 시스템 및 방법
WO2022019693A1 (ko) 사용자 비대면 인증 vc(verifiable credential)를 이용한 did(decentralized identifier) 기반의 사용자 비대면 인증 방법 및 이를 이용한 인증 지원 서버
JP2022512123A (ja) 身元情報認証方法、装置及びサーバ
KR20180050968A (ko) 온라인 시험 관리 방법
WO2017043885A1 (ko) 모바일 비대면 실명 확인을 통한 금융 서비스 제공 방법 및 시스템
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
WO2022097982A1 (ko) 안면인식 기반 전자서명 서비스 제공 방법 및 서버
WO2024053932A1 (ko) 안면 인식 및 라이브니스를 이용하여 비대면 본인 인증을 수행하는 전자 장치 및 서버를 포함하는 시스템의 제어 방법
CN105515777A (zh) 一种usbkey设备的双重认证系统和方法
WO2021217899A1 (zh) 显示信息的加密方法、装置、设备及存储介质
WO2017183830A1 (ko) 홍채템플릿 분산 저장 및 매칭을 이용한 홍채인식 보안 강화 방법 및 장치
EP3459009A2 (en) Adaptive quantization method for iris image encoding
CN112560683A (zh) 一种翻拍图像识别方法、装置、计算机设备及存储介质
TWM566865U (zh) 基於臉部辨識進行驗證的交易系統
WO2022114290A1 (ko) 비대면 본인인증 시스템 및 그 방법
TWI661398B (zh) 基於臉部辨識進行驗證的交易系統及其方法
WO2021162440A1 (ko) 홀로그램 검출 서비스 제공 서버 및 홀로그램 검출 방법
WO2012018173A2 (ko) 무인대출 처리방법
CN113591603A (zh) 证件的验证方法、装置、电子设备及存储介质
WO2017222125A1 (ko) 식별코드를 이용한 자필서명 검증 시스템 및 방법
CN111553285A (zh) 在车辆远程定损过程中保护用户隐私信息的方法及系统
WO2015182940A1 (ko) 개인 식별 카드, 개인 식별 카드의 발급 방법 및 시스템, 개인 식별 카드의 인증 방법 및 시스템
KR102384253B1 (ko) 영상통화인증 수행 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20918453

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20918453

Country of ref document: EP

Kind code of ref document: A1