KR101535591B1 - Authentication processing method, authentication processing system performing the same, c0mputer program for the same and storage medium storing the same - Google Patents
Authentication processing method, authentication processing system performing the same, c0mputer program for the same and storage medium storing the same Download PDFInfo
- Publication number
- KR101535591B1 KR101535591B1 KR1020140117296A KR20140117296A KR101535591B1 KR 101535591 B1 KR101535591 B1 KR 101535591B1 KR 1020140117296 A KR1020140117296 A KR 1020140117296A KR 20140117296 A KR20140117296 A KR 20140117296A KR 101535591 B1 KR101535591 B1 KR 101535591B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- face
- feature amount
- amount information
- input
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
- H04L9/3231—Biological data, e.g. fingerprint, voice or retina
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
본 발명은 인증 처리 방법, 인증 처리 시스템, 이를 위한 컴퓨터 프로그램 및 기록 매체에 관한 것으로서, 사용자의 필체인식과 얼굴인식을 결합하여 인증이 이뤄지도록 구성됨으로써, 은행결제와 같이 사용자 인증이 필요한 다양한 경우에 안전하면서도 편리한 사용자 중심형(Customer-centered) 인증 처리가 제공되도록 구성된 인증 처리 방법, 인증 처리 시스템, 이를 위한 컴퓨터 프로그램 및 기록 매체에 관한 것이다.
The present invention relates to an authentication processing method, an authentication processing system, a computer program for the authentication processing, and a recording medium, and is configured to perform authentication by combining a handwriting recognition and a face recognition of a user. To an authentication processing method, an authentication processing system, a computer program therefor, and a recording medium configured to provide secure and convenient user-centered authentication processing.
은행 예금 입출금이나 계좌 이체 등과 같은 다양한 금융결제 처리에 있어서, 정보 기술을 이용한 사용자 인증 및 결제 처리 기술의 사용이 보편화 되었다. In various financial settlement processes such as bank deposit / withdrawal and account transfer, the use of user authentication and payment processing technology using information technology became popular.
예를 들어, 은행업무에서 IC카드와 자동현금인출기(ATM기)가 보급되면서 은행을 직접 방문하지 않고도 은행업무시간에 무관하게 결제가 용이하게 되었다.For example, IC cards and automatic teller machines (ATMs) have become popular in the banking business, making it easier to settle irrespective of banking hours without having to visit the bank directly.
그런데, 최근에는 은행카드로 현금인출 뿐 아니라 물건 구매가 가능하게 되는 등, 일반 생활에서 은행카드에 대한 의존성이 높아지면서 그에 대한 보안 위협도 증가하고 있다. 예를 들어, 범죄자의 카드 강탈에 의한 불법적인 현금인출사례가 증가하고 있다. However, in recent years, bank cards have become increasingly reliant on bank cards in general life, such as making cash withdrawals as well as purchasing goods. For example, illegal cash withdrawals by criminals are increasing.
그 대응 방안의 일예로, 사용자의 생체 정보를 인증 정보의 하나로 활용하는 기술이 시도되고 있다. As an example of the countermeasure, a technique of utilizing biometric information of a user as one of authentication information is attempted.
예를 들어, 은행결제에서 기존의 신분확인 수단인 카드 인식 및 비밀번호 입력을 대체할 수단으로 얼굴인식 기술이 주목받고 있다.For example, face recognition technology is attracting attention as a means to replace card identification and password input, which is an existing identification means in bank settlement.
얼굴인식 기술은 사용자 본인의 변경할 수 없는 생체정보인 얼굴 특징량 정보를 이용하기 때문에 카드를 따로 소지할 필요가 없으며, 또한 카드의 도난 및 분실로 인한 범죄를 근본적으로 차단할 수 있다는 장점이 있다.Since face recognition technology uses facial feature quantity information, which is biometric information that can not be changed by the user himself, it is not necessary to carry a card separately and it is also possible to fundamentally block the crime caused by theft or loss of the card.
그러나, 이러한 장점이 있음에도 불구하고 얼굴인식을 이용한 은행결제의 도입이 미루어지고 있는 이유 중의 하나는 얼굴인식의 인식률의 한계이다.However, despite these advantages, one of the reasons why the introduction of bank settlement using face recognition is delayed is the limit of recognition rate of face recognition.
예를 들어, 얼굴인식에서는 다양한 환경 조건(조명, 자세, 표정, 각종 액세서리 착용 등)에 따라 인식률이 달라지며, 동일한 환경하에서도 비교되어지는 얼굴수가 많을수록 오인식률이 증가한다.For example, in face recognition, the recognition rate varies depending on various environmental conditions (lighting, posture, facial expression, wear of various accessories, etc.). In the same environment, the more the number of faces to be compared, the more the false recognition rate increases.
은행의 경우, 은행 규모에 따라 고객의 수가 수십만 내지 수백만, 수천만, 수억에 이를 수가 있는데, 등록한 얼굴수가 많을수록 오인식률이 증가하게 되면, 본인이 아닌 타인에 의하여 결제가 이루어지거나 본인의 결제가 오인식에 의해 거부되는 현상이 발생될 가능성이 높아진다.In the case of banks, depending on the size of the bank, the number of customers can reach hundreds of thousands to millions, tens of millions, or hundreds of millions. If the number of registered faces increases as the number of false recognition increases, the payment will be made by someone other than the person himself, There is a high possibility that a phenomenon that is rejected by the user is generated.
그러므로, 이러한 오인식률을 저감시키는 사용자 인증 기술의 개발이 절실하게 요구되는 실정이었다.
Therefore, development of a user authentication technique for reducing such a false recognition rate is urgently required.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 사용자의 필체인식과 얼굴인식을 결합하여 인증이 이뤄지도록 구성됨으로써, 은행결제와 같이 사용자 인증이 필요한 다양한 경우에 안전하면서도 편리한 사용자 중심형(Customer-centered) 인증 처리가 제공되도록 구성된 인증 처리 방법, 인증 처리 시스템, 이를 위한 컴퓨터 프로그램 및 기록 매체를 제공하는 것을 그 목적으로 한다.
SUMMARY OF THE INVENTION The present invention is conceived to solve the problems as described above, and it is an object of the present invention to provide a handy, user- An authentication processing system, a computer program therefor, and a recording medium configured to provide a customer-centered authentication process.
상기와 같은 목적을 달성하기 위한 본 발명의 일측면에 따르면, 인증 처리 시스템에서 실행되는 사용자 인증 처리 방법으로서, 1) 필기 입력 수단을 통해 사용자가 입력한 문자열과 그 필체를 입력받는 단계; 2) 영상 입력 수단을 통해 사용자의 얼굴 영상을 입력받는 단계; 3) 상기 입력된 문자열, 필체 및 얼굴 영상에 근거하여, 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 생성하는 단계; 및 4) 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 하는 단계;를 포함하여 구성된 인증 처리 방법이 개시된다.According to an aspect of the present invention, there is provided a method of processing a user authentication executed in an authentication processing system, the method comprising: 1) receiving a character string input by a user via a handwriting input means and a handwriting thereof; 2) receiving a user's face image through a video input means; 3) generating an input user template including character string information, handwriting feature amount information, and face feature amount information based on the inputted character string, handwriting, and face image; And 4) at least one of character string information, handwriting feature amount information, and face feature amount information included in the input user template, character string information, handwriting feature amount information, and face feature amount information And performing a user authentication process in comparison with at least any one of the information.
본 발명의 또 다른 일측면에 따르면, 인증 처리 시스템에서 실행되는 사용자 인증 처리 방법으로서, 101) 사용자 인증 처리를 위해 입력된 문자열, 필체 및 얼굴 영상에 근거하여 생성된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 전송받는 단계- 상기 문자열과 그 필체는 필기 입력 수단을 통해 사용자가 입력한 것이며, 상기 얼굴 영상은 영상 입력 수단을 통해 입력된 사용자의 얼굴 영상임-; 및 102) 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 하는 단계;를 포함하여 구성된 인증 처리 방법이 개시된다.According to another aspect of the present invention, there is provided a user authentication processing method executed in an authentication processing system, the method comprising: 101) character string information generated based on a character string, handwriting, and face image input for user authentication processing, Receiving an input user template including facial feature quantity information, wherein the character string and the handwriting are input by a user through a handwriting input means, and the face image is a face image of a user input through a video input means; And 102) determining at least one of character string information, handwriting feature amount information, and face feature amount information included in the input user template as character string information, handwriting feature amount information, and face feature amount information And performing a user authentication process in comparison with at least any one of the information.
본 발명의 또 다른 일측면에 따르면, 사용자 인증 처리를 실행하기 위한 인증 처리 시스템으로서, 사용자 인증 처리를 위해 입력된 문자열, 필체 및 얼굴 영상에 근거하여 생성된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 전송받는 전송 처리 모듈- 상기 문자열과 그 필체는 필기 입력 수단을 통해 사용자가 입력한 것이며, 상기 얼굴 영상은 영상 입력 수단을 통해 입력된 사용자의 얼굴 영상임-; 및 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 하는 인증 처리 모듈;을 포함하여 구성된 인증 처리 시스템이 개시된다.According to another aspect of the present invention, there is provided an authentication processing system for executing a user authentication processing, the authentication processing system comprising: character string information generated based on a character string, a handwriting and a face image input for user authentication processing, The character string and the handwriting are input by the user through the handwriting input means, and the face image is the face image of the user input through the image input means; And at least one of character string information, handwriting feature amount information, and face feature amount information included in the input user template, at least any one of character string information, handwriting feature amount information, and face feature amount information included in the pre- And an authentication processing module for performing user authentication processing in comparison with one piece of information.
본 발명의 또 다른 일측면에 따르면, 사용자 인증 처리를 실행하기 위한 인증 처리 시스템으로서, 필기 입력 수단을 통해 사용자가 입력한 문자열과 그 필체를 입력 처리하고, 영상 입력 수단을 통해 입력된 사용자의 얼굴 영상을 입력 처리하는 입력 처리 모듈; 상기 입력된 문자열, 필체 및 얼굴 영상에 근거하여, 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 생성하는 사용자 템플릿 생성 모듈; 및 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 하는 인증 처리 모듈;을 포함하여 구성된 인증 처리 시스템이 개시된다. According to another aspect of the present invention, there is provided an authentication processing system for executing a user authentication process, comprising: input processing means for inputting a character string input by a user through a handwriting input means and a handwriting thereof; An input processing module for inputting an image; A user template generating module for generating an input user template including character string information, handwriting feature amount information, and face feature amount information based on the input character string, handwriting, and face image; And at least one of character string information, handwriting feature amount information, and face feature amount information included in the input user template, at least any one of character string information, handwriting feature amount information, and face feature amount information included in the pre- And an authentication processing module for performing user authentication processing in comparison with one piece of information.
본 발명의 또 다른 일측면에 따르면, 하드웨어와 결합되어 상기 인증 처리 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램이 개시된다.According to another aspect of the present invention, a computer program stored on a medium for executing the authentication processing method in combination with hardware is disclosed.
본 발명의 또 다른 일측면에 따르면, 상기 인증 처리 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체가 개시된다.
According to another aspect of the present invention, a computer-readable recording medium on which a computer program for executing the authentication processing method on a computer is recorded.
이와 같은 본 발명은, 사용자의 필체인식과 얼굴인식을 결합하여 인증이 이뤄지도록 구성됨으로써, 은행결제와 같이 사용자 인증이 필요한 다양한 경우에 안전하면서도 편리한 사용자 중심형(Customer-centered) 인증 처리가 제공되도록 하는 장점이 있다. According to the present invention, authentication is performed by combining a handwriting recognition and a face recognition of a user so that safe and convenient user-centered authentication processing is provided in various cases where user authentication is required such as bank settlement .
또한 본 발명은, 얼굴 특징량 인식 과정에서 타인수락률과 본인거부율을 함께 고려하여 적절한 개수로 얼굴인식 후보 리스트(사용자 후보 리스트)의 수를 선정하므로, 인식 정확도와 함께 계산부하의 측면에서도 효율적인 인증 처리가 가능하도록 하는 장점이 있다. Further, in the present invention, since the number of face recognition candidate lists (user candidate lists) is selected in consideration of the number of face recognition rate and the false rejection rate in the face feature amount recognition process, Processing is possible.
또한 본 발명은, 얼굴 특징량의 기간 조건 또는 인증 횟수 조건에 근거하여 사용자 인증에 사용할 얼굴 특징량을 갱신하도록 구성되므로, 사용자의 얼굴특징이 시간에 따라 또는 환경에 따라 변화되더라도 지속적으로 높은 얼굴 인식률을 제공하도록 하는 장점이 있다.
Further, the present invention is configured to update the face feature quantity to be used for user authentication based on the period condition or the authentication frequency condition of the face feature quantity. Therefore, even if the user's face feature changes with time or environment, And the like.
도 1은 본 발명의 일실시예에 따른 인증 처리 시스템 구성도,
도 2는 본 발명의 또 다른 일실시예에 따른 인증 처리 시스템 구성도,
도 3은 본 발명의 일실시예에 따른 인증 처리 방법의 흐름도,
도 4은 본 발명의 일실시예에 따른 인증 처리 방법의 S2 단계의 상세 흐름도,
도 5는 본 발명의 일실시예에 따른 인증 처리 방법의 S4 단계의 상세 흐름도,
도 6은 본 발명의 일실시예에 따른 인증 처리 방법의 각도 범위 정보를 설명하기 위한 모식도,
도 7은 본 발명의 일실시예에 따른 인증 처리 방법의 얼굴 가이드 영역을 설명하기 위한 모식도이다. 1 is a configuration diagram of an authentication processing system according to an embodiment of the present invention;
2 is a configuration diagram of an authentication processing system according to another embodiment of the present invention;
3 is a flowchart of an authentication processing method according to an embodiment of the present invention;
4 is a detailed flowchart of step S2 of the authentication processing method according to an embodiment of the present invention,
5 is a detailed flowchart of step S4 of the authentication processing method according to an embodiment of the present invention,
6 is a schematic diagram for explaining angle range information of an authentication processing method according to an embodiment of the present invention,
7 is a schematic diagram for explaining a face guide area of an authentication processing method according to an embodiment of the present invention.
본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.The present invention may be embodied in many other forms without departing from its spirit or essential characteristics. Accordingly, the embodiments of the present invention are to be considered in all respects as merely illustrative and not restrictive.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises", "having", "having", and the like are intended to specify the presence of stated features, integers, steps, operations, components, Steps, operations, elements, components, or combinations of elements, numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like or corresponding elements are denoted by the same reference numerals, and a duplicate description thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
본 실시예의 인증 처리 시스템(1000)은 예를 들어, 은행 결제 시스템과 같은 공지의 금융 거래 시스템을 포함하여 사용자 인증 처리가 필요한 다양한 시스템에 적용될 수 있다. The
일예로, 사용자 얼굴 촬영이 가능한 디지털 카메라가 영상 입력 수단으로 구비되고, 사용자가 특정 문자열을 필기 입력 가능한 공지의 전자적인 필기 입력 패드가 필기 입력 수단으로 구비된 은행용 자동현금인출기(ATM기)에 본 실시예의 인증 처리 시스템(1000)이 구비될 수 있다. 이때, 본 실시예의 인증 처리 시스템(1000)은, 은행용 자동현금인출기(ATM기)에 인증 애플리케이션 프로그램의 형태로 설치되어 구동될 수도 있고, 별도의 컴퓨팅 수단 형태로 연결 설치되어 구동될 수도 있다. For example, a digital camera capable of photographing a face of a user is provided as a video input means, and a known electronic handwriting input pad capable of inputting a specific character string by a user is provided in a bank automatic teller machine (ATM) The
또한, 후술하는 도 2의 실시예와 같이, 필기 인식 및 얼굴 인식, 입력 사용자 템플릿 생성 기능은 은행용 자동현금인출기(ATM기) 측(입력측)에 구비되고, 입력 사용자 템플릿을 이용한 사용자 인증 처리 기능은 원격지의 시스템 서버(인증측)에서 이뤄지도록 구성될 수도 있다. 이러한 구성을 취하는 경우, 비교적 간단한 연산이 요구되는 인식 및 입력 기능만 입력측에 구비되고, 복잡한 연산이 요구되는 인증 처리 기능은 고사양의 컴퓨팅 자원을 활용하기에 용이한 시스템 서버에 구비되므로, 다수의 입력측을 통한 사용자 인증 처리에 더욱 효율적일 수 있다. 2, a handwriting recognition, a face recognition, and an input user template creation function are provided on the bank automatic teller machine (ATM) side (input side), and a user authentication processing function using an input user template May be configured to be performed at a remote system server (authentication side). In the case of adopting such a configuration, only the recognition and input functions requiring a relatively simple operation are provided on the input side, and the authentication processing function requiring complicated operation is provided in the system server that is easy to utilize high-level computing resources, Lt; RTI ID = 0.0 > user authentication < / RTI >
한편, 등록 사용자 템플릿 생성을 위한 사용자의 최초 필기 입력이나 최초 얼굴 영상 입력은 은행용 자동현금인출기(ATM기)를 통해 입력 사용자 템플릿 생성과 유사한 과정으로 이뤄지거나, 은행에 별도 마련된 입력 수단을 이용하여 이뤄질 수 있다. Meanwhile, a user's first handwriting input or first face image input for creating a registered user template may be performed through a process similar to the generation of an input user template through an automatic teller machine (ATM) for a bank, .
한편, 본 실시예의 인증 처리 시스템(1000)을 통한 사용자 인증 처리는 단독적인 사용자 인증 처리 프로세스로서 이뤄질 수도 있고, 사용자의 ID 정보가 저장된 IC 카드, 마그네틱 카드, RFID 태그 등과 같은 별도의 인증 수단을 통한 인증과 함께 이뤄지거나, 사용자의 ID 정보 입력과 같은 정보 입력 프로세스와 함께 이뤄지는 것을 배제하지 않는다.
Meanwhile, the user authentication processing through the
도 1은 본 발명의 일실시예에 따른 인증 처리 시스템 구성도이다. 1 is a configuration diagram of an authentication processing system according to an embodiment of the present invention.
본 실시예의 인증 처리 시스템(1000)은 입력 처리 모듈(1010), 사용자 템플릿 생성 모듈(1012) 및 인증 처리 모듈(1014)을 포함하며, 상기 각 모듈에 대해서는 상세하게 후술한다. 또한, 사용자 관련 정보, 사용자 인증 로그 정보, 사용자 템플릿 관련 정보 등을 저장 관리하는 데이터베이스(1016)가 구비되고, 시스템의 일반적인 관리 기능 수행을 위한 관리 모듈(1018)이 구비된다. The
본 실시예의 인증 처리 시스템(1000)에는 입력 장치(10)가 연결 구비되며, 상기 입력 장치(10)에는 사용자의 필기 입력(문자열 및 그에 대한 필체 입력)을 받기 위한 필기 입력 수단(11)과 사용자의 얼굴 영상을 입력받기 위한 영상 입력 수단(12)이 구비된다. An
필기 입력 수단(11)으로서, 공지의 필기 입력 패드가 사용될 수 있다. 필기 입력 패드는 예를 들어, 신용카드 리더기에 장착된 공지의 패드를 이용하되, 카드 결제 후 단순 사인 기록수단으로 이용되었던 필기 인식을 사용자의 신분 확인을 위한 수단으로 더욱 활용한다는 점에서 차이가 있다. 이 경우, 필기 입력을 위한 부가장치를 추가로 설치하지 않고 이미 활용 중인 공지의 패드를 그대로 활용할 수 있다는 장점이 있다. 다른 예로서, 태블릿 PC 등을 필기 입력 패드로 사용하는 것도 가능하다.As the handwriting input means 11, a known handwriting input pad can be used. The handwriting input pad differs from the handwriting input pad in that, for example, a known pad mounted on a credit card reader is used, but the handwriting recognition used as a simple sign recording means after card settlement is further utilized as a means for identification of the user . In this case, there is an advantage that a known pad currently in use can be used as it is without adding an additional device for handwriting input. As another example, it is possible to use a tablet PC or the like as a handwriting input pad.
영상 입력 수단(12)으로 사용되는 카메라는, 사용자 얼굴의 위변조를 막고 조명의 영향을 감소시키며 야간에도 사용이 가능하도록 근적외선(NIR) 카메라 또는 RGB와 IR기능을 동시에 지원하는 카메라를 이용하는 것이 바람직하다. 다른 예로서, 태블릿 PC 등에 구비된 PC용 카메라를 사용하는 것도 가능하다.The camera used as the image input means 12 preferably uses a near infrared ray (NIR) camera or a camera that simultaneously supports RGB and IR functions so as to prevent forgery and falsification of a user's face, reduce the influence of illumination, and use at night . As another example, it is possible to use a PC camera provided in a tablet PC or the like.
입력 처리 모듈(1010)은, 필기 입력 수단(11)을 통해 사용자가 입력한 문자열과 그 필체를 입력 처리하고, 영상 입력 수단(12)을 통해 입력된 사용자의 얼굴 영상을 입력 처리한다. 여기서, '입력 처리'란, 각 입력 수단을 통해 입력된 내용을 디지털 데이터화하는 것으로 이해될 수 있다. The
사용자 템플릿 생성 모듈(1012)은, 상기 입력된 문자열, 필체 및 얼굴 영상에 근거하여, 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 생성한다. 이를 위해, 사용자 템플릿 생성 모듈(1012)은, 입력된 문자열의 문자 인식, 입력된 문자열의 필체 인식, 입력된 사용자의 얼굴 회전 각도 범위 및 얼굴 특징량 인식 등을 수행하고 그 인식 정보를 생성한다. The user
인증 처리 모듈(1014)은, 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 한다. The
바람직하게, 상기 입력 사용자 템플릿 및 상기 등록 사용자 템플릿에는, 사용자 템플릿에 포함된 사용자의 얼굴 특징량 정보가 상기 영상 입력 수단을 중심으로 어느 얼굴 회전 각도 범위에서 검출된 것인지를 구분하기 위한 각도 범위 정보가 더욱 포함된다. Preferably, the input user template and the registered user template include angle range information for identifying whether a user's face feature amount information included in a user template is detected in a face rotation angle range around the image input means .
바람직한 일예로, 상기 각도 범위 정보는, 사용자의 얼굴이 영상 입력 수단을 정면으로 향하는 경우가 0˚로 정의될 때(도 6의 C), 상기 0˚를 기준으로 좌(左)측 얼굴 회전 방향을 따라 소정의 얼굴 회전 각도 범위가 적어도 하나 이상 설정되고, 상기 0˚를 기준으로 우(右)측 얼굴 회전 방향을 따라 소정의 얼굴 회전 각도 범위가 적어도 하나 이상 설정되는 방식으로 각도 범위가 설정된다. 예를 들어, 도 6에서 좌측 15˚는 L1, 좌측 30˚는 L2, 우측 15˚는 R1, 우측 30˚는 R2라고 할 때, 좌측 0~15˚범위(C~L1)는 '0', 우측 0~15˚범위(C~R1)는 '1', 좌측 15~30˚범위(L1~L2)는 '2', 우측 15~30˚ 범위(R1~R2)는 '3'과 같이 좌우측의 얼굴 회전 각도 범위에 따라 각도 범위 정보를 정수값의 형태로 정의할 수 있다. 도 6의 'H'는 사용자의 머리 부분을 모식적으로 나타낸 것이다. 6C). When the user's face is defined as 0 DEG when the user faces the front face of the image input means, the angular range information is displayed on the left (left) face rotation direction At least one predetermined face rotation angle range is set along the right side face rotation direction and at least one predetermined face rotation angle range is set along the right side face rotation direction with respect to the 0 ° . For example, in FIG. 6, when the left 15 ° is L1, the left 30 ° is L2, the right 15 ° is R1, and the right 30 ° is R2, the left 0-15 ° range (C ~ The right side ranges from 0 to 15 ° (C to R1), the left side ranges from 15 to 30 ° (L1 to L2), the right side ranges from 15 to 30 ° (R1 to R2) The angle range information can be defined in the form of an integer value according to the range of the face rotation angle of the face. 'H' in FIG. 6 schematically shows the head of the user.
상기 등록 사용자 템플릿에는, 상기 각도 범위 정보에 따라 구분되는 복수의 얼굴 회전 각도 범위 별로, 해당 각도 범위에서 검출된 얼굴 특징량 정보가 매칭된 형태로 포함된다. The registered user template includes facial feature quantity information detected in the corresponding angular range in a matching manner for each of a plurality of face rotation angle ranges classified according to the angular range information.
또한, 상기 입력 사용자 템플릿에는, 상기 각도 범위 정보에 따라 구분되는 복수의 얼굴 회전 각도 범위 중 적어도 어느 하나의 각도 범위에 대하여, 해당 각도 범위에서 검출된 얼굴 특징량 정보가 매칭된 형태로 포함된다. 일예로, 상기 입력 사용자 템플릿에는, 상기 각도 범위 정보에 따라 구분되는 복수의 얼굴 회전 각도 범위 중 사용자 인증을 위한 얼굴 입력 시 특정된 어느 하나의 각도 범위에 대하여, 해당 각도 범위에서 검출된 얼굴 특징량 정보가 매칭된 형태로 포함된다. The input user template includes at least one of a plurality of angular ranges of the face rotation angles that are classified according to the angular range information, and the face feature amount information detected in the angular range is included in a matched form. For example, the input user template may include a plurality of face rotation angle ranges classified according to the angle range information, with respect to any one of the angular ranges specified at the time of face input for user authentication, Information is included in a matched form.
바람직한 일예로, 상기 입력 사용자 템플릿 및 상기 등록 사용자 템플릿은, 상기 문자열 정보, 필체 특징량 정보, 얼굴 특징량 정보 및 각도 범위 정보 중 적어도 어느 하나의 정보가 포함된 XML 포맷의 파일 형태로 구성된다.
In a preferred embodiment, the input user template and the registered user template are configured in an XML format file format including at least any one of the character string information, handwriting feature amount information, face feature amount information, and angle range information.
도 2는 본 발명의 또 다른 일실시예에 따른 인증 처리 시스템 구성도이다. 2 is a configuration diagram of an authentication processing system according to another embodiment of the present invention.
상술한 도 1의 실시예에서는 인증 처리 시스템(1000)이 사용자 인증 처리가 필요한 위치에 하나의 단일 시스템 형태로 구비되는 경우를 예시하였는데, 또 다른 예로서, 인증 처리 시스템(1000)은 필기 입력 및 얼굴 영상 입력이 이뤄지고 이에 근거하여 입력 사용자 템플릿을 생성하는 입력측(1000A)과, 입력측(1000A)으로부터 통신 네트워크(1)를 통해 전송된 입력 사용자 템플릿에 근거하여 인증 처리를 수행하는 인증측(1000B)을 포함하는 분산 시스템의 형태로 구성될 수도 있다. In the embodiment of FIG. 1 described above, the
이 경우, 인증 처리 시스템(1000)의 입력측(1000A)은, 입력 처리 모듈(1010), 사용자 템플릿 생성 모듈(1012)을 포함하며, 생성된 사용자 템플릿을 전송하기 위한 전송 처리 모듈(1011')과 일반 관리 기능을 위한 관리 모듈(1018')을 포함한다. In this case, the
또한, 인증 처리 시스템(1000)의 인증측(1000B)은 전송 처리 모듈(1011) 및 인증 처리 모듈(1014)을 포함하여 구성된다. The
인증측(1000B)의 전송 처리 모듈(1011)은, 사용자 인증 처리를 위해 입력된 문자열, 필체 및 얼굴 영상에 근거하여 생성된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 전송받는다. 이때, 상기 문자열과 그 필체는 필기 입력 수단(11)을 통해 사용자가 입력한 것이며, 상기 얼굴 영상은 영상 입력 수단(12)을 통해 입력된 사용자의 얼굴 영상이 된다. The
또한, 인증 처리 모듈(1014)은, 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 한다.
Further, the
도 3은 본 발명의 일실시예에 따른 인증 처리 방법의 흐름도, 도 4은 본 발명의 일실시예에 따른 인증 처리 방법의 S2 단계의 상세 흐름도, 도 5는 본 발명의 일실시예에 따른 인증 처리 방법의 S4 단계의 상세 흐름도, 도 6은 본 발명의 일실시예에 따른 인증 처리 방법의 각도 범위 정보를 설명하기 위한 모식도, 도 7은 본 발명의 일실시예에 따른 인증 처리 방법의 얼굴 가이드 영역을 설명하기 위한 모식도이다. FIG. 3 is a flowchart of an authentication processing method according to an embodiment of the present invention. FIG. 4 is a detailed flowchart of step S2 of the authentication processing method according to an embodiment of the present invention. FIG. 6 is a schematic diagram for explaining angle range information of the authentication processing method according to an embodiment of the present invention. FIG. 7 is a schematic view illustrating a face guide of an authentication processing method according to an embodiment of the present invention. Is a schematic diagram for explaining a region.
사용자 인증 처리가 이뤄지기 전에 먼저 사용자 등록 처리가 이뤄지게 된다. 이를 위해, PS 단계에서는, 인증 처리 시스템이 사용자 등록을 위해 입력된 문자열, 필체 및 얼굴 영상에 근거하여, 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 등록 사용자 템플릿을 생성 및 저장한다. The user registration process is performed before the user authentication process is performed. To this end, in the PS step, the authentication processing system generates and stores a registered user template including character string information, handwriting feature amount information, and face feature amount information based on the character string, handwriting, and face image input for user registration .
문자열 및 필체를 입력하기 위해, 사용자는 필기 입력 패드에 예를 들어, 이름이나 생일, 취미에 따른 일정한 길이의 문자를 입력한다. 인증 처리 시스템은 필체 인식 알고리즘을 이용하여 문자열을 판독하며, 다른 한편 필체의 고유한 형태를 반영하는 필체 특징량 정보를 추출한다. 이러한 문자열 및 필체 입력 과정은 사용자 인증을 위한 과정에서도 유사하게 이뤄진다. To enter a string and a handwriting, the user enters characters of a certain length on the handwriting pad, for example, by name, birthday, or hobby. The authentication processing system reads the character string using the handwriting recognition algorithm, and extracts the handwriting feature amount information reflecting the unique form of the handwriting. This string and handwriting input process is similar in the process for user authentication.
등록 사용자 템플릿이 저장된 이후 은행 결제 등을 위해 사용자 인증 처리가 진행되면, S1 단계에서는, 인증 처리 시스템이 필기 입력 수단을 통해 사용자가 입력한 문자열과 그 필체를 입력받는다. 이때, 바람직하게는, 사용자가 입력한 문자열을 표시 장치를 통해 사용자에게 확인을 위한 표시 제공을 할 수 있으며, 문자열이 정확하게 인식되지 아니한 경우에, 재입력 안내를 할 수도 있다. After the registered user template is stored, the user authentication process is performed for bank settlement, etc. In step S1, the authentication processing system receives the character string inputted by the user through the handwriting input means and the handwriting. At this time, preferably, the character string inputted by the user can be provided to the user through the display device for confirmation, and when the character string is not correctly recognized, the re-entry guide can be provided.
S2 단계에서는, 인증 처리 시스템이 영상 입력 수단을 통해 사용자의 얼굴 영상을 입력받는다. In step S2, the authentication processing system receives the face image of the user through the video input means.
바람직하게, 상기 S2 단계는 다음과 같은 상세 단계로 구성된다. Preferably, step S2 comprises the following detailed steps.
S21 단계에서는, 인증 처리 시스템이 상기 영상 입력 수단을 통해 사용자의 얼굴이 포함된 영상을 입력받는다. In step S21, the authentication processing system receives the image including the user's face through the video input means.
S22 단계에서는, 인증 처리 시스템이 상기 입력된 영상을 영상 표시 수단(도 7의 D)을 통해 사용자에게 시각적으로 제공하되, 상기 제공하는 영상 중에 얼굴 가이드 영역(도 7의 GA)을 시각적으로 함께 표시한다. In step S22, the authentication processing system visually provides the input image to the user via the video display means (D in Fig. 7), and visually displays the face guide area (GA in Fig. 7) do.
S23 단계에서는, 인증 처리 시스템이 상기 입력된 영상 중에 포함된 사용자의 얼굴 영역(도 7의 FA)이 상기 얼굴 가이드 영역(도 7의 GA) 내에 포함되거나, 상기 사용자의 얼굴 영역(도 7의 FA)이 상기 얼굴 가이드 영역(도 7의 GA)과 비교하여 소정 크기 비율 범위에 해당하는 것으로 판단한 경우(예, FA의 면적이 GA의 면적의 80~90%에 해당)에 후술하는 S3 단계로 진행한다. 사용자의 얼굴은 도 7의 F와 같이 대략 타원형으로 생긴 일반적인 얼굴 평면으로 인식될 수 있는데, 본 실시예에 있어서는 인증 처리 연산의 효율성과 인식의 정확도를 높이기 위해 사각형으로 얼굴 영역(FA)을 인식하고 사각형의 얼굴 영역(FA)을 기준으로 상기와 같은 얼굴 가이드 영역(도 7의 GA)과의 비교 처리를 수행하는 것이 바람직하다. 이러한 방식을 통해, 얼굴의 크기의 다양성에 따른 인식률 변화를 커버하여 인식률을 더욱 높일 수 있다. 7) of the user included in the input image is included in the face guide area (GA in Fig. 7) or the face area of the user (FA in Fig. 7) ) Is compared with the face guide area (GA in FIG. 7), it is determined that it corresponds to the predetermined size ratio range (for example, the area of FA corresponds to 80 to 90% of the area of GA) do. The face of the user can be recognized as a general face plane formed in an approximately elliptical shape as shown in F of FIG. 7. In this embodiment, the face area FA is recognized with a rectangle in order to improve the efficiency of the authentication processing operation and the recognition accuracy It is preferable to perform a comparison process with the face guide area (GA in Fig. 7) as described above with reference to the face area FA of the quadrangle. In this way, the recognition rate can be further increased by covering the recognition rate change according to the variation of the size of the face.
S3 단계에서는, 인증 처리 시스템이 상기 입력된 문자열, 필체 및 얼굴 영상에 근거하여, 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 생성한다. In step S3, the authentication processing system generates an input user template including character string information, handwriting feature amount information, and face feature amount information based on the inputted character string, handwriting, and face image.
문자열 정보 및 필체 특징량 정보의 생성은 다양한 공지의 서명 인식 기법을 이용하여 구현될 수 있다. 종래에 일반적으로 알려진 서명 인식은 서명의 모양보다는 서명하는 동안 전자펜 끝의 속력, 압력속도, 가속도 등의 변화를 분석하는 방식으로 서명의 특징을 판단한다. 즉, 펜을 이동한 총거리, 시작점과 끝점의 직선거리, 세그먼트의 이동거리, 서명 시간, 서명 속도, 서명의 좌표들(X, Y)의 평균값, 각 축의 교차 횟수, 디지털 펜으로 서명을 입력시킬 때의 압력 평균값 등을 이용하여 등록 서명과 입력 서명간의 유사도를 확인한다. 본 실시예에서도 유사한 방식으로, 상기 각 인식값 중의 적어도 어느 하나 이상의 정보를 필체 특징량 정보로 사용할 수 있다. The generation of the character string information and the handwriting feature amount information may be implemented using various known signature recognition techniques. Conventionally known signature recognition determines characteristics of a signature by analyzing changes in speed, pressure speed, acceleration, etc. of the tip of the electronic pen during signing rather than the signature shape. That is, the total distance of movement of the pen, the straight line distance of the start point and the end point, the movement distance of the segment, the signing time, the signing speed, the average value of the coordinates (X, Y) And the similarity between the registration signature and the input signature. In the present embodiment, at least any one or more of the recognized values can be used as handwriting feature quantity information in a similar manner.
이러한 기존 기술의 일예로서, 취득한 서명에 대한 전역적인 특징 정보로 구성된 전체론적(Holistic) 대표 벡터를 이용하는 특징기반접근법(Feature based Approach)과 시간순서(Time Sequence)에 따른 서명의 지역적인 속성을 이용하는 함수 기반 접근법이 융합된 하이브리드기법 등이 적용된다. 또한, 정확성을 보다 제고하기 위하여 분절단위 비교방법과 구간분할비교방법을 적용하여 인식률을 향상시키는 방법 등도 제안된 바 있다. 필체 또는 서명을 인식하는 기법은 다수의 논문 및 특허 자료에 상세하게 설명된바 있으므로, 그 상세 설명은 생략한다.As an example of such existing technology, there are a feature based approach using a holistic representative vector composed of global feature information on the acquired signature, and a feature based approach using a local attribute of a signature according to a time sequence And a hybrid technique in which a function-based approach is fused. In order to improve the accuracy, a method of improving the recognition rate by applying the segment unit comparison method and the segmentation comparison method has been proposed. Handwriting or signature recognizing techniques have been described in detail in a number of papers and patent documents, and detailed description thereof will be omitted.
한편, 문자열 정보의 생성은 다양한 공지의 문자 인식 기법을 통해 구현될 수 있다. 예를 들어, 입력된 문자열을 이미지로 입력받아 이진화를 수행한 다음, 세션화(Thinning/ Skeletonization)과정을 거쳐 체인코드(ChainCode)를 추출하며, 신경망이나 SVM과 같은 분류기를 이용하여 이미 훈련시킨 문자 모델에서 분류과정을 거쳐 최종 문자를 추출할 수 있다. 문자를 인식하는 기법도 다수의 논문 및 특허 자료에 상세하게 설명된바 있으므로, 그 상세 설명은 생략한다.On the other hand, the generation of the character string information can be realized through various known character recognition techniques. For example, an input character string is input as an image, binarization is performed, and a chain code (ChainCode) is extracted through a thinning / skeletonization process. Then, a character string already trained using a classifier such as a neural network or SVM The final character can be extracted through the classification process in the model. The technique of recognizing characters has been described in detail in a number of papers and patent documents, and a detailed description thereof will be omitted.
한편, 얼굴 특징량은 입력 영상에 포함된 사용자의 얼굴을 인증 처리 시스템이 해석해서 눈, 코, 입이나 얼굴의 형상, 색 등을 파라미터화한 바이너리 데이터로 이해될 수 있다. 얼굴 특징량 정보 및 그 생성 기법도 다수의 논문 및 특허 자료에 상세하게 설명된바 있으므로, 그 상세 설명은 생략한다.On the other hand, the facial feature quantity can be understood as binary data obtained by interpreting the face of the user included in the input image by the authentication processing system and parameterizing the shape of eyes, nose, mouth, face, color, and the like. Since the facial feature quantity information and the generation method thereof have been described in detail in a number of papers and patent data, detailed description thereof will be omitted.
상술한 바와 같이 본 실시예의 입력 사용자 템플릿 및 등록 사용자 템플릿은, 상기 문자열 정보, 필체 특징량 정보, 얼굴 특징량 정보 및 각도 범위 정보 중 적어도 어느 하나의 정보가 포함된 XML 포맷의 파일 형태로 구성된다. As described above, the input user template and registered user template of the present embodiment are configured in a file format of XML format including at least any one of the character string information, handwriting feature amount information, face feature amount information, and angle range information .
이러한 사용자 템플릿의 데이터 구조를 예시하면 다음의 표 1과 같다. The data structure of such a user template is shown in Table 1 below.
'sign_data'의 'string', 'binary_feature' 속성에는 사용자가 사인 입력한 문자열과 필체 특징량이 저장된다.The 'string' and 'binary_feature' attributes of 'sign_data' store the character string input by the user and handwriting feature.
'face_data'의 'number_of_faces'에는 얼굴을 반복 추출한 횟수, 'face'에는 매 얼굴의 특징량 정보가 저장되는데, 'index' 속성은 얼굴 번호, 'angle_type'는 각도 범위 타입(각도 범위 정보를 이루는 정수값), 'thumbnail'에는 마스킹된 얼굴영상, 'binary_feature'에는 얼굴 특징량(바이너리 특징량)이 저장된다. 'face' is the number of times the face is repeatedly extracted, 'face' is the feature quantity information of each face, 'index' attribute is the face number, 'angle_type' is the angle range type Value), a masked face image is stored in 'thumbnail', and a face feature quantity (binary feature quantity) is stored in 'binary_feature'.
특히, 'thumbnail'에는 사용자의 프라이버시 보호를 위해 마스킹된 RGB 포맷의 얼굴 영상 데이터가 저장될 수 있으며, 이를 보다 상세하게 설명하면 다음과 같다. In particular, the 'thumbnail' may store facial image data of masked RGB format in order to protect the privacy of the user, and it will be described in more detail as follows.
< thumbnail width = “100”, height = “90”, color_pace = “RGB”, pixel_data = “FF FB DC…” /><thumbnail width = "100", height = "90", color_pace = "RGB", pixel_data = "FF FB DC ... "/>
(단, width : 얼굴 이미지 가로방향 픽셀수, (Where width is the number of pixels in the horizontal direction of the face image,
height : 얼굴 이미지 세로방향 픽셀수, height: the number of pixels in the portrait image direction,
color_space : 색공간(RGB, GRAY, YUV), color_space: Color space (RGB, GRAY, YUV),
pixel_data : 이미지 픽셀자료(color_space(색공간)에 따라 다르며, 예를 들어, color_space = RGB인 경우는 R, G, B 바이트순서로, backsapce를 간격으로 매 픽셀데이터가 배치됨. 즉 FF(R), FB(G), DC(B)))pixel_data: It depends on color_space (color space), for example, if color_space = RGB, every pixel data is arranged in the order of R, G, B byte and spaced backsapce, ie FF (R) FB (G), DC (B)))
상기 마스킹 알고리즘은 얼굴 영상 데이터의 암복호화 과정이기 때문에 공지의 다양한 암복호화 알고리즘이 사용될 수 있다. 이때 얼굴 영상 마스킹은 시스템의 입력측(도 2 참조)에서 수행되고, 언마스킹은 인증측(도 2 참조)에서 수행되기 때문에 비대칭 암호화 기법(암호화 키와 복호화 키가 서로 다른 암호화), 예를 들어, RSA 알고리즘이 사용될 수 있다. Since the masking algorithm is an encryption / decryption process of facial image data, various known encryption / decryption algorithms can be used. Since the facial image masking is performed at the input side of the system (see FIG. 2) and unmasking is performed at the authentication side (see FIG. 2), the asymmetric encryption technique (encryption key and decryption key are different encryption) The RSA algorithm can be used.
'binary_feature'는 얼굴 비교에 사용되어지는 얼굴 특징량(바이너리 특징량)으로서 바이트형 배열이 저장된다. 'binary_feature' is a face feature quantity (binary feature quantity) used for face comparison, and a byte type array is stored.
< binary_feature length = “1044”, data = “023042000000…” />< binary_feature length = " 1044 ", data = " 023042000000 ... "/>
(단, length : 바이너리 특징량의 길이(bytes), (Length: length of binary characteristic quantity (bytes)
data : 바이너리 특징량)data: binary feature quantity)
S4 단계에서는, 인증 처리 시스템이 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 한다. In step S4, the authentication processing system stores at least any one of the character string information, the handwriting feature amount information, and the face feature amount information included in the input user template as character string information, handwriting feature amount information, Face characteristic amount information and face characteristic amount information to perform user authentication processing.
상기 S4 단계는 다음과 같은 상세 단계로 구성된다. The step S4 is composed of the following detailed steps.
S41 단계에서는, 인증 처리 시스템이 상기 입력 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보를 상기 등록 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보와 비교하여, 얼굴 특징량 정보를 비교하기 위한 사용자 후보 리스트를 생성한다. In step S41, the authentication processing system compares the character string information and handwriting feature amount information included in the input user template with character string information and handwriting feature amount information included in the registered user template, And generates a candidate list.
S42 단계에서는, 인증 처리 시스템이 상기 사용자 후보 리스트에 포함된 사용자 후보에 대하여, 상기 입력 사용자 템플릿에 포함된 얼굴 특징량 정보를 상기 등록 사용자 템플릿에 포함된 얼굴 특징량 정보와 비교하여, 사용자 인증을 진행 중인 사용자가 특정 등록 사용자에 해당하는 것으로 판단된 경우 상기 특정 등록 사용자가 사용자 인증된 것으로 인증 처리를 한다. In step S42, the authentication processing system compares the face feature amount information included in the input user template with the face feature amount information included in the registered user template, with respect to the user candidate included in the user candidate list, If it is determined that the user in progress corresponds to the specific registered user, the specific registered user is authenticated as the user authenticated.
한편, 바람직한 일예로, 상기 S41 단계 및 S42 단계는 다음과 같이 더욱 구성된다. Meanwhile, in a preferred embodiment, steps S41 and S42 are further configured as follows.
상기 S41 단계에서는, 상기 입력 사용자 템플릿에 포함된 문자열 정보와 상기 등록 사용자 템플릿에 포함된 문자열 정보가 일치하고, 상기 입력 사용자 템플릿에 포함된 필체 특징량 정보와 상기 등록 사용자 템플릿에 포함된 필체 특징량 정보를 비교하여, 필체 특징량 간의 유사도가 소정 임계값 이상인 등록 사용자를 사용자 후보 리스트에 포함시킨다. In step S41, the character string information included in the input user template and the character string information included in the registered user template are identical, and the handwriting feature amount information included in the input user template and the handwriting feature amount included in the registered user template Information is compared with each other, and a registered user whose degree of similarity between handwriting feature quantities is equal to or greater than a predetermined threshold value is included in the user candidate list.
이때, 상기 사용자 후보 리스트에 포함되는 사용자 후보의 수는, 상기 S42 단계의 얼굴 특징량 정보 비교를 통한 사용자 인증 처리를 위해 설정된 타인수락율(False Accept Rate, FAR) 또는 본인거부율(False Rejection Rate, FRR) 중의 적어도 어느 하나의 조건을 충족시킬 수 있는 범위에서 산출되는 것이 바람직하다. At this time, the number of user candidates included in the user candidate list may be a False Accept Rate (FAR) or a False Rejection Rate (FAR) set for the user authentication process through the comparison of the facial feature amount information in step S42, FRR) in a range capable of satisfying at least one of the conditions.
바람직한 일예로, 상기 본인거부율(False Rejection Rate, FRR)은, 상기 타인수락율(False Accept Rate, FAR)이 소정의 요구값 조건을 충족시키는 조건에서 산출된 값을 사용하는 것으로 이해될 수 있다. 이에 대하여 상세하게 설명한다. In a preferred embodiment, the False Rejection Rate (FRR) may be understood to be a value calculated under a condition that the False Accept Rate (FAR) satisfies a predetermined required value condition. This will be described in detail.
얼굴 인식 엔진의 인식률을 평가하는 기본 항목으로 타인수락율(오수락률)과 본인거부율(오거부률)이 있다.As a basic item for evaluating the recognition rate of the face recognition engine, there are the other acceptance rate (false acceptance rate) and the false rejection rate (false rejection rate).
타인수락률(False Accept Rate : FAR)은 얼굴 인식 엔진이 본인이 아닌 타인을 본인으로 인식하는 오류의 비율로서 타인을 본인으로 인식한 횟수(Sim)를 전체 타인의 비교횟수(NI)로 나누어 계산된다.The False Accept Rate (FAR) is calculated by dividing the number of times (Sim) that the face recognition engine recognizes the other person as the person, do.
[수학식1][Equation 1]
본인거부률(False Rejection Rate : FRR)은 본인을 타인으로 거부하는 오류의 비율로서 거부된 본인의 비교 횟수(Sgm)를 전체 본인의 비교 횟수(NG)로 나누어 계산된다.The False Rejection Rate (FRR) is calculated by dividing the number of rejections (Sgm) of the rejected person by the total number of comparisons (NG) of the user as a percentage of the error that rejects the user as the other person.
[수학식2]&Quot; (2) "
FAR와 FRR는 트레이드 오프(trade-off) 관계에 있는데, 얼굴 특징량 비교시에 임계값(얼굴 유사도 판단을 위한 임계값)을 높게 설정할수록 FAR는 낮아지지만 FRR는 높아지고, 임계값을 낮게 설정할수록 FRR는 낮아지지만 FAR는 높아지게 된다. FAR와 FRR가 동시에 낮은 값을 가질 때, 예를 들어 FAR = 0, FRR = 0일 때 이상적인 얼굴 인식 엔진이라 할 수 있다. 그러나, 위의 두 항목을 동시에 낮추는 것은 곤란하기 때문에 적용 대상에 맞게 어느 한 항목을 선택하게 된다.FAR and FRR are in a trade-off relationship. When a threshold value (a threshold for judging facial similarity) is set to a high value in the comparison of facial feature quantities, the FAR becomes lower but FRR becomes higher and the threshold value is set lower FRR is lower but FAR is higher. When FAR and FRR have low values at the same time, for example, FAR = 0 and FRR = 0, it is an ideal face recognition engine. However, since it is difficult to lower the above two items at the same time, one of them is selected according to the application target.
출입통제 시스템이나 은행결제 시스템과 같은 사용자 인증이 필요한 시스템에서는 미등록자의 인식을 차단하여야 하므로 FAR = 0이 되도록 설정한 임계값에서 평가한 본인거부률 FRR로부터 후보리스트의 개수(N)를 도출한다. 다만, 여기서 FAR = 0이 실제로 구현되기는 어려우므로, FAR = 0 이라는 실제 의미는 FAR 가 소정 기준에 의해 0으로 판단할 수 있는 경우로 이해될 수 있으며, 예를 들어, FAR=0.0005 이거나 이보다 작은 경우를 FAR = 0 으로 판단하고, FAR=0.0005 보다 큰 경우를 FAR 가 0보다 큰 경우로 판단하는 것으로 설정될 수 있다. 이하에서도 이러한 의미로 이해한다. In a system requiring user authentication such as access control system or bank settlement system, the recognition of non-registrants should be blocked. Therefore, the number of candidate lists (N) is derived from FRR, which is evaluated at the threshold set to FAR = 0. However, since it is difficult to actually implement FAR = 0 here, the actual meaning of FAR = 0 can be understood as a case where FAR can be determined as 0 by a predetermined criterion. For example, when FAR = 0.0005 or smaller Is determined to be FAR = 0, and when the FAR is greater than 0.0005, it is determined that the FAR is greater than zero. This is also understood in the following.
FAR = 0, 즉 타인의 인식을 허용하지 않을 때 1명의 사용자를 거부하는 데이터베이스의 표본개수는 1/FRR로 계산될 수 있으며, 이를 감안하여, 상기 사용자 후보 리스트에 포함되는 사용자 후보의 수(N)는 하기 수학식3에 의해 산출되는 것이 바람직하다. The number of samples of the database rejecting one user when FAR = 0, i.e., when the recognition of the other user is not permitted, can be calculated by 1 / FRR, and the number of user candidates included in the user candidate list N ) Is preferably calculated by the following equation (3).
[수학식3]&Quot; (3) "
(단, N: 사용자 후보의 수, (Where N: number of user candidates,
FRR: 얼굴 특징량 정보 비교를 통한 사용자 인증 처리를 위해 설정된 본인거부율, FRR: the rejection rate set for the user authentication processing by comparing the facial feature amount information,
M: M>1인 조건을 만족하는 자연수로서 설정되는 값)M: a value set as a natural number satisfying the condition of M > 1)
일례로 FAR = 0일 때 FRR = 0.001이라면, 이는 미등록자의 인증을 허가하지 않으면서 1000명당 1명의 사용자를 거부한다는 것을 의미하므로 사용자 후보 리스트의 수를 그것의 1/10로 제한하기 위해 M = 10으로 설정하면 사용자 후보 리스트의 수는 다음과 같이 산출된다.For example, if FRR = 0.001 when FAR = 0, it means rejecting 1 user per 1000 without granting authentication of non-registrants. Therefore, to limit the number of user candidate lists to 1/10 of that, , The number of user candidate lists is calculated as follows.
따라서, 얼굴 인식 엔진에서 비교 되어지는 사용자 후보 리스트의 수를 100~200명으로 제한하면 본인을 거부하는 경우의 수(Sgm)가 매우 작은 값으로 수렴하여 얼굴 인식 엔진의 인식률이 거의 완벽하게 제공된다고 볼 수 있다. Therefore, if the number of user candidate lists to be compared in the face recognition engine is limited to 100 to 200, the number of rejection cases (Sgm) converges to a very small value and the recognition rate of the face recognition engine is almost completely provided can see.
상기 M은 계산 부하와 함께 얼굴 인식률을 고려하여, 예를 들어, 시스템 내부에서 자동으로 설정될 수 있다. The M can be set automatically in the system, for example, in consideration of the face recognition rate together with the calculation load.
FRR는 얼굴 인식 엔진의 성능을 나타내는 지표이기 때문에 시스템 관리자에 의해 결정되는 값으로 볼 수 있으며, 이로부터 얼굴 비교 연산시 1명이 거부되는 얼굴 데이터베이스의 규모(1/FRR)가 산출된다. 만약, 이 규모의 1/10의 규모 내에서 비교한다면 거부되는 얼굴은 0.1명으로 감소될 것이고 1/100의 규모에서 비교한다면 거부되는 얼굴은 0.01명으로 감소될 것이다. 본 실시예의 경우, 인증 처리 모듈에 얼굴 인식 엔진이 구비된 것으로 볼 수 있다. Since FRR is an index indicating the performance of the face recognition engine, it can be regarded as a value determined by the system administrator. From this, the size (1 / FRR) of the face database in which one person is rejected is calculated. If you compare within a scale of 1/10 of this scale, the rejected face will be reduced to 0.1, and the rejected face will be reduced to 0.01 if you compare on a scale of 1/100. In the case of the present embodiment, it can be seen that the authentication processing module is provided with a face recognition engine.
상기 S42 단계에서는, 상기 입력 사용자 템플릿에 포함된 얼굴 특징량 정보를 상기 등록 사용자 템플릿에 포함된 얼굴 특징량 정보와 비교하여, 얼굴 특징량 간의 유사도가 소정 임계값 이상인 등록 사용자를 상기 특정 등록 사용자에 해당하는 것으로 판단하고 사용자 인증 처리한다.
In step S42, the face feature quantity information included in the input user template is compared with the face feature quantity information included in the registered user template, and the registered user having the similarity degree of the face feature quantity equal to or greater than the predetermined threshold value is notified to the specific registered user It is judged to be applicable and the user authentication processing is performed.
한편, 상술한 바와 같이, 상기 입력 사용자 템플릿 및 상기 등록 사용자 템플릿에는, 사용자 템플릿에 포함된 사용자의 얼굴 특징량 정보가 상기 영상 입력 수단을 중심으로 어느 얼굴 회전 각도 범위에서 검출된 것인지를 구분하기 위한 각도 범위 정보가 더욱 포함된다. Meanwhile, as described above, the input user template and the registered user template are used to distinguish whether the face feature amount information of the user included in the user template is detected in the range of the face rotation angle around the image input means Angle range information is further included.
이 경우, 상기 S2 단계에서는, 상기 사용자의 얼굴 영상 입력은 상기 복수의 얼굴 회전 각도 범위 중 어느 하나의 각도 범위에 대하여 이뤄지며, 상기 S4 단계에서는, 상기 입력 사용자 템플릿에 포함된 얼굴 특징량 정보와 상기 등록 사용자 템플릿에 포함된 얼굴 특징량 정보의 비교는, 상기 등록 사용자 템플릿에 포함된 복수의 얼굴 특징량 정보 중 상기 S2 단계에서 얼굴 영상이 입력된 얼굴 회전 각도 범위와 동일한 각도 범위에 대하여 저장된 등록 사용자 템플릿의 얼굴 특징량 정보에 근거하여 이뤄진다.
In this case, in step S2, the face image input of the user is performed with respect to any one of the angular ranges of the plurality of face rotation angle ranges, and in step S4, the face feature quantity information included in the input user template, The comparison of the face feature quantity information included in the registered user template is performed by comparing the face feature quantity information included in the registration user template with the registered user Based on the facial feature quantity information of the template.
한편, 사용자의 얼굴은 시간이나 영상 입력 환경 변화 등에 따라 당초 등록 사용자 템플릿에 저장된 얼굴 특징량 정보와 다르게 변화될 수 있다. 이러한 점을 감안하여, 등록 사용자 템플릿에 저장된 얼굴 특징량 정보를 갱신 관리하는 것이 바람직하다. On the other hand, the face of the user may be changed differently from the facial feature amount information stored in the originally registered user template according to time or a change of the image input environment. In view of this, it is preferable to update and manage the face feature amount information stored in the registered user template.
이를 위한 바람직한 일예로서, S5 단계에서는, 인증 처리 시스템이 상기 S4 단계의 사용자 인증 처리가 미리 설정된 기간 조건(예, 최초 등록 후 일정 기간 경과, 최종 갱신 후 일정 기간 경과) 또는 인증 횟수 조건(예, 최초 등록 후 설정 횟수 이상 사용자 인증 수행, 최종 갱신 후 설정 횟수 이상 사용자 인증 수행)에 충족되는 경우, 상기 S4 단계의 인증 처리 후에, 사용자 인증 처리된 입력 사용자 템플릿에 포함된 얼굴 특징량 정보를 새로운 얼굴 특징량 정보로 저장하도록 등록 사용자 템플릿을 갱신한다.
As a preferable example for this, in step S5, the authentication processing system determines whether the user authentication process in step S4 is in a predetermined period condition (e.g., a predetermined period after the initial registration, a certain period of time after the last update) When the user authentication is performed for a number of times equal to or greater than the preset number of times after the initial registration, and a user authentication is performed for a number of times greater than or equal to the preset number of times after the last update), the facial feature amount information included in the user- The registered user template is updated so as to be stored as the feature amount information.
한편, 상기 도 2의 실시예의 형태로 인증 처리 시스템이 구성되는 경우, 인증 처리 시스템의 인증측에서는 다음과 같이 인증 처리 방법이 실행될 수 있다. On the other hand, when the authentication processing system is configured in the form of the embodiment of FIG. 2, the authentication processing method may be executed as follows on the authentication side of the authentication processing system.
S101 단계에서는, 인증 처리 시스템의 인증측이 사용자 인증 처리를 위해 입력된 문자열, 필체 및 얼굴 영상에 근거하여 생성된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 전송받는다. 이때, 상기 문자열과 그 필체는 필기 입력 수단을 통해 사용자가 입력한 것이며, 상기 얼굴 영상은 영상 입력 수단을 통해 입력된 사용자의 얼굴 영상이 된다. In step S101, the authentication side of the authentication processing system receives an input user template including character string information, handwriting feature amount information, and face feature amount information generated based on the character string, handwriting, and face image input for user authentication processing . At this time, the character string and the handwriting are inputted by the user through the handwriting input means, and the face image is the face image of the user inputted through the image input means.
S102 단계에서는, 인증 처리 시스템이 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 한다.
In step S102, the authentication processing system stores at least any one of the character string information, the handwriting feature amount information, and the face feature amount information included in the input user template as character string information, handwriting feature amount information, Face characteristic amount information and face characteristic amount information to perform user authentication processing.
한편, 본 발명의 실시예 들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령과 이를 포함하는 컴퓨터 판독가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
Meanwhile, embodiments of the present invention include program instructions for performing various computer-implemented operations and a computer readable medium having the same. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The media may be those specially designed and constructed for the present invention or may be those known to those skilled in the computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, USB drives, self-optical media such as floppy disks, And a hardware device specifically configured to store and execute program instructions such as flash memory and the like. The medium may be a transmission medium such as an optical or metal line, a wave guide, or the like, including a carrier wave for transmitting a signal designating a program command, a data structure, or the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
10: 입력 장치
11: 필기 입력 수단
12: 영상 입력 수단
20: 표시 장치
21: 영상 표시 수단
1000: 인증 처리 시스템10: Input device
11: Handwriting input means
12: Video input means
20: Display device
21: Video display means
1000: Authentication processing system
Claims (20)
1) 필기 입력 수단을 통해 사용자가 입력한 문자열과 그 필체를 입력받는 단계;
2) 영상 입력 수단을 통해 사용자의 얼굴 영상을 입력받는 단계;
3) 상기 입력된 문자열, 필체 및 얼굴 영상에 근거하여, 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 생성하는 단계; 및
4) 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 하는 단계;를 포함하며,
상기 4) 단계는,
41) 상기 입력 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보를 상기 등록 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보와 비교하여, 얼굴 특징량 정보를 비교하기 위한 사용자 후보 리스트를 생성하는 단계; 및
42) 상기 사용자 후보 리스트에 포함된 사용자 후보에 대하여, 상기 입력 사용자 템플릿에 포함된 얼굴 특징량 정보를 상기 등록 사용자 템플릿에 포함된 얼굴 특징량 정보와 비교하여, 사용자 인증을 진행 중인 사용자가 특정 등록 사용자에 해당하는 것으로 판단된 경우 상기 특정 등록 사용자가 사용자 인증된 것으로 인증 처리를 하는 단계;를 포함하여 구성된 인증 처리 방법.
A user authentication processing method executed in an authentication processing system,
1) receiving a character string inputted by a user and a handwriting through the handwriting input means;
2) receiving a user's face image through a video input means;
3) generating an input user template including character string information, handwriting feature amount information, and face feature amount information based on the inputted character string, handwriting, and face image; And
4) At least one of the character string information, the handwriting feature amount information, and the face feature amount information included in the input user template is at least one of character string information, handwriting feature amount information and face feature amount information included in the pre- And performing a user authentication process in comparison with any one of the information,
The step (4)
41) generating a user candidate list for comparing the face feature amount information by comparing character string information and handwriting feature amount information included in the input user template with character string information and handwriting feature amount information included in the registered user template ; And
42) For the user candidates included in the user candidate list, the face feature quantity information included in the input user template is compared with the face feature quantity information included in the registered user template, And authenticating that the specific registered user is authenticated when it is determined that the user is authenticated.
상기 입력 사용자 템플릿 및 상기 등록 사용자 템플릿에는,
사용자 템플릿에 포함된 사용자의 얼굴 특징량 정보가 상기 영상 입력 수단을 중심으로 어느 얼굴 회전 각도 범위에서 검출된 것인지를 구분하기 위한 각도 범위 정보가 더욱 포함된 것을 특징으로 하는 인증 처리 방법.
The method according to claim 1,
Wherein the input user template and the registered user template include:
Further comprising angle range information for identifying which face rotation angle range the user's face feature amount information contained in the user template is detected based on the image input means.
상기 등록 사용자 템플릿에는,
상기 각도 범위 정보에 따라 구분되는 복수의 얼굴 회전 각도 범위 별로, 해당 각도 범위에서 검출된 얼굴 특징량 정보가 매칭된 형태로 포함된 것을 특징으로 하는 인증 처리 방법.
3. The method of claim 2,
In the registered user template,
Wherein the face feature quantity information detected in the corresponding angular range is included in a matched form for each of a plurality of face rotation angle ranges classified according to the angle range information.
상기 입력 사용자 템플릿에는,
상기 각도 범위 정보에 따라 구분되는 복수의 얼굴 회전 각도 범위 중 적어도 어느 하나의 각도 범위에 대하여, 해당 각도 범위에서 검출된 얼굴 특징량 정보가 매칭된 형태로 포함된 것을 특징으로 하는 인증 처리 방법.
The method of claim 3,
In the input user template,
Wherein the facial feature quantity information detected in the corresponding angular range is included in a matched form with respect to at least any one of a plurality of angular range of face rotation angles divided according to the angular range information.
상기 입력 사용자 템플릿 및 상기 등록 사용자 템플릿은,
상기 문자열 정보, 필체 특징량 정보, 얼굴 특징량 정보 및 각도 범위 정보 중 적어도 어느 하나의 정보가 포함된 XML 포맷의 파일 형태로 구성되는 것을 특징으로 하는 인증 처리 방법.
5. The method of claim 4,
Wherein the input user template and the registered user template include:
Characterized in that it is configured in a file format of an XML format including at least any one of the character string information, handwriting feature amount information, face feature amount information, and angle range information.
상기 2) 단계에서,
상기 사용자의 얼굴 영상 입력은 상기 복수의 얼굴 회전 각도 범위 중 어느 하나의 각도 범위에 대하여 이뤄지며,
상기 4) 단계에서,
상기 입력 사용자 템플릿에 포함된 얼굴 특징량 정보와 상기 등록 사용자 템플릿에 포함된 얼굴 특징량 정보의 비교는, 상기 등록 사용자 템플릿에 포함된 복수의 얼굴 특징량 정보 중 상기 2) 단계에서 얼굴 영상이 입력된 얼굴 회전 각도 범위와 동일한 각도 범위에 대하여 저장된 등록 사용자 템플릿의 얼굴 특징량 정보에 근거하여 이뤄지는 것을 특징으로 하는 인증 처리 방법.
5. The method of claim 4,
In the step 2)
Wherein the face image input of the user is performed for any one of the plurality of face rotation angle ranges,
In the step 4)
The comparison of the facial feature quantity information included in the input user template and the facial feature quantity information included in the registered user template may include comparing the facial feature quantity information included in the input user template with the facial feature quantity information included in the registered user template, Based on the face feature amount information of the registered user template stored for the same angular range as the face rotation angle range of the registered user template.
상기 각도 범위 정보는,
사용자의 얼굴이 영상 입력 수단을 정면으로 향하는 경우가 0˚로 정의될 때,
상기 0˚를 기준으로 좌측 얼굴 회전 방향을 따라 소정의 얼굴 회전 각도 범위가 적어도 하나 이상 설정되고,
상기 0˚를 기준으로 우측 얼굴 회전 방향을 따라 소정의 얼굴 회전 각도 범위가 적어도 하나 이상 설정되는 방식으로 각도 범위가 설정되는 것을 특징으로 하는 인증 처리 방법.
3. The method of claim 2,
The angular range information includes,
When the case where the face of the user faces the front face of the image input means is defined as 0 degrees,
A predetermined face rotation angle range is set along the left face rotation direction on the basis of the 0 °,
Wherein an angle range is set in such a manner that at least one predetermined face rotation angle range is set along the right face rotation direction on the basis of the 0 °.
상기 2) 단계는,
21) 상기 영상 입력 수단을 통해 사용자의 얼굴이 포함된 영상을 입력받는 단계;
22) 상기 입력된 영상을 영상 표시 수단을 통해 사용자에게 시각적으로 제공하되, 상기 제공하는 영상 중에 얼굴 가이드 영역을 시각적으로 함께 표시하는 단계; 및
23) 상기 입력된 영상 중에 포함된 사용자의 얼굴 영역이 상기 얼굴 가이드 영역 내에 포함되거나, 상기 사용자의 얼굴 영역이 상기 얼굴 가이드 영역과 비교하여 소정 크기 비율 범위에 해당하는 것으로 판단한 경우에 상기 3) 단계로 진행하는 단계;를 포함하여 구성된 것을 특징으로 하는 인증 처리 방법.
The method according to claim 1,
The step (2)
21) receiving an image including a user's face through the image input means;
22) visually providing the input image to the user through the image display means, and visually displaying the face guide region in the provided image; And
23) If it is determined that the face region of the user included in the input image is included in the face guide region or the face region of the user is compared with the face guide region and corresponds to a predetermined size ratio range, The method comprising the steps of:
상기 41) 단계에서는,
상기 입력 사용자 템플릿에 포함된 문자열 정보와 상기 등록 사용자 템플릿에 포함된 문자열 정보가 일치하고,
상기 입력 사용자 템플릿에 포함된 필체 특징량 정보와 상기 등록 사용자 템플릿에 포함된 필체 특징량 정보를 비교하여, 필체 특징량 간의 유사도가 소정 임계값 이상인 등록 사용자를 사용자 후보 리스트에 포함시키는 것을 특징으로 하는 인증 처리 방법.
The method according to claim 1,
In the step 41)
The character string information included in the input user template matches the character string information included in the registered user template,
The handwritten feature amount information included in the input user template is compared with handwriting feature amount information included in the registered user template to include a registered user whose similarity degree between the handwriting feature amounts is equal to or greater than a predetermined threshold value in the user candidate list Authentication processing method.
상기 사용자 후보 리스트에 포함되는 사용자 후보의 수는,
상기 42) 단계의 얼굴 특징량 정보 비교를 통한 사용자 인증 처리를 위해 설정된 타인수락율(False Accept Rate, FAR) 또는 본인거부율(False Rejection Rate, FRR) 중의 적어도 어느 하나의 조건을 충족시킬 수 있는 범위에서 산출되는 것을 특징으로 하는 인증 처리 방법.
11. The method of claim 10,
Wherein the number of user candidates included in the user candidate list,
(FAR) or a false rejection rate (FRR) set for the user authentication process through the comparison of the facial feature quantity information in step 42) In the authentication processing step.
상기 사용자 후보 리스트에 포함되는 사용자 후보의 수(N)는 하기 수학식3에 의해 산출되는 것을 특징으로 하는 인증 처리 방법.
[수학식3]
(단, N: 사용자 후보의 수,
FRR: 얼굴 특징량 정보 비교를 통한 사용자 인증 처리를 위해 설정된 본인거부율,
M: M>1인 조건을 만족하는 자연수로서 설정되는 값)
12. The method of claim 11,
Wherein the number N of user candidates included in the user candidate list is calculated by the following equation (3).
&Quot; (3) "
(Where N: number of user candidates,
FRR: the rejection rate set for the user authentication processing by comparing the facial feature amount information,
M: a value set as a natural number satisfying the condition of M > 1)
상기 본인거부율(False Rejection Rate, FRR)은,
상기 타인수락율(False Accept Rate, FAR)이 소정의 요구값 조건을 충족시키는 조건에서 산출된 값을 사용하는 것을 특징으로 하는 인증 처리 방법.
13. The method of claim 12,
The False Rejection Rate (FRR)
Wherein a value calculated under a condition that the False Accept Rate (FAR) satisfies a predetermined required value condition is used.
상기 42) 단계에서는,
상기 입력 사용자 템플릿에 포함된 얼굴 특징량 정보를 상기 등록 사용자 템플릿에 포함된 얼굴 특징량 정보와 비교하여, 얼굴 특징량 간의 유사도가 소정 임계값 이상인 등록 사용자를 상기 특정 등록 사용자에 해당하는 것으로 판단하고 사용자 인증 처리하는 것을 특징으로 하는 인증 처리 방법.
The method according to claim 1,
In the step 42)
The facial feature quantity information included in the input user template is compared with the facial feature quantity information included in the registered user template to determine that the registered user having the similarity degree between the facial feature quantity equal to or greater than the predetermined threshold value corresponds to the specific registered user And a user authentication process is performed.
5) 상기 4) 단계의 사용자 인증 처리가 미리 설정된 기간 조건 또는 인증 횟수 조건에 충족되는 경우,
상기 4) 단계의 인증 처리 후에, 사용자 인증 처리된 입력 사용자 템플릿에 포함된 얼굴 특징량 정보를 새로운 얼굴 특징량 정보로 저장하도록 등록 사용자 템플릿을 갱신하는 단계;를 더 포함하여 구성된 것을 특징으로 하는 인증 처리 방법.
The method according to claim 1,
5) If the user authentication process in the step 4) is satisfied with the preset period condition or the authentication frequency condition,
And updating the registered user template so as to store the face feature amount information included in the input user template subjected to the user authentication processing as the new face feature amount information after the authentication processing in the step 4) Processing method.
101) 사용자 인증 처리를 위해 입력된 문자열, 필체 및 얼굴 영상에 근거하여 생성된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 전송받는 단계- 상기 문자열과 그 필체는 필기 입력 수단을 통해 사용자가 입력한 것이며, 상기 얼굴 영상은 영상 입력 수단을 통해 입력된 사용자의 얼굴 영상임-; 및
102) 상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 하는 단계;를 포함하며,
상기 102) 단계는,
1021) 상기 입력 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보를 상기 등록 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보와 비교하여, 얼굴 특징량 정보를 비교하기 위한 사용자 후보 리스트를 생성하는 단계; 및
1022) 상기 사용자 후보 리스트에 포함된 사용자 후보에 대하여, 상기 입력 사용자 템플릿에 포함된 얼굴 특징량 정보를 상기 등록 사용자 템플릿에 포함된 얼굴 특징량 정보와 비교하여, 사용자 인증을 진행 중인 사용자가 특정 등록 사용자에 해당하는 것으로 판단된 경우 상기 특정 등록 사용자가 사용자 인증된 것으로 인증 처리를 하는 단계;를 포함하여 구성된 인증 처리 방법.
A user authentication processing method executed in an authentication processing system,
101) receiving an input user template including character string information, handwriting feature amount information, and face feature amount information generated based on a character string, handwriting, and face image input for user authentication processing, A face image input by a user through an input means, the face image being a face image of a user input through a video input means; And
102) At least one of the character string information, handwriting feature amount information, and face feature amount information included in the input user template is at least one of character string information, handwriting feature amount information, and face feature amount information included in the pre- And performing a user authentication process in comparison with any one of the information,
The step (102)
1021) generating a user candidate list for comparing the face feature amount information by comparing the character string information and handwriting feature amount information included in the input user template with character string information and handwriting feature amount information included in the registered user template ; And
1022) comparing the face feature amount information included in the input user template with the face feature amount information included in the registered user template with respect to a user candidate included in the user candidate list, And authenticating that the specific registered user is authenticated when it is determined that the user is authenticated.
사용자 인증 처리를 위해 입력된 문자열, 필체 및 얼굴 영상에 근거하여 생성된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 전송받는 전송 처리 모듈- 상기 문자열과 그 필체는 필기 입력 수단을 통해 사용자가 입력한 것이며, 상기 얼굴 영상은 영상 입력 수단을 통해 입력된 사용자의 얼굴 영상임-; 및
상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 하는 인증 처리 모듈;을 포함하며,
상기 인증 처리 모듈은,
상기 입력 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보를 상기 등록 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보와 비교하여, 얼굴 특징량 정보를 비교하기 위한 사용자 후보 리스트를 생성하는 기능; 및
상기 사용자 후보 리스트에 포함된 사용자 후보에 대하여, 상기 입력 사용자 템플릿에 포함된 얼굴 특징량 정보를 상기 등록 사용자 템플릿에 포함된 얼굴 특징량 정보와 비교하여, 사용자 인증을 진행 중인 사용자가 특정 등록 사용자에 해당하는 것으로 판단된 경우 상기 특정 등록 사용자가 사용자 인증된 것으로 인증 처리를 하는 기능;을 더 수행하는 것을 특징으로 하는 인증 처리 시스템.
An authentication processing system for executing user authentication processing,
A transmission processing module for receiving an input user template including character string information, handwriting feature amount information, and face feature amount information, which are generated based on a character string, handwriting and facial images input for user authentication processing, A face image input by a user through an input means, the face image being a face image of a user input through a video input means; And
At least one of character string information, handwriting feature amount information, and face feature amount information included in the input user template, at least any one of character string information, handwriting feature amount information, and face feature amount information included in a previously stored registered user template And an authentication processing module for performing user authentication processing in comparison with the information of the authentication processing module,
The authentication processing module,
A function of generating a user candidate list for comparing face characteristic amount information by comparing character string information and handwriting feature amount information included in the input user template with character string information and handwriting feature amount information included in the registered user template; And
The face characteristic amount information included in the input user template is compared with the face feature amount information included in the registered user template with respect to the user candidates included in the user candidate list, And a function of authenticating that the specific registered user has been authenticated when it is determined that the specific registered user is authentic.
필기 입력 수단을 통해 사용자가 입력한 문자열과 그 필체를 입력 처리하고, 영상 입력 수단을 통해 입력된 사용자의 얼굴 영상을 입력 처리하는 입력 처리 모듈;
상기 입력된 문자열, 필체 및 얼굴 영상에 근거하여, 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보가 포함된 입력 사용자 템플릿을 생성하는 사용자 템플릿 생성 모듈; 및
상기 입력 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보를 기 저장된 등록 사용자 템플릿에 포함된 문자열 정보, 필체 특징량 정보 및 얼굴 특징량 정보 중 적어도 어느 하나의 정보와 비교하여 사용자 인증 처리를 하는 인증 처리 모듈;을 포함하며,
상기 인증 처리 모듈은,
상기 입력 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보를 상기 등록 사용자 템플릿에 포함된 문자열 정보 및 필체 특징량 정보와 비교하여, 얼굴 특징량 정보를 비교하기 위한 사용자 후보 리스트를 생성하는 기능; 및
상기 사용자 후보 리스트에 포함된 사용자 후보에 대하여, 상기 입력 사용자 템플릿에 포함된 얼굴 특징량 정보를 상기 등록 사용자 템플릿에 포함된 얼굴 특징량 정보와 비교하여, 사용자 인증을 진행 중인 사용자가 특정 등록 사용자에 해당하는 것으로 판단된 경우 상기 특정 등록 사용자가 사용자 인증된 것으로 인증 처리를 하는 기능;을 더 수행하도록 구성된 인증 처리 시스템.
An authentication processing system for executing user authentication processing,
An input processing module for inputting a character string input by a user through handwriting input means and a handwriting input thereof, and inputting a face image of a user inputted through the image input means;
A user template generating module for generating an input user template including character string information, handwriting feature amount information, and face feature amount information based on the input character string, handwriting, and face image; And
At least one of character string information, handwriting feature amount information, and face feature amount information included in the input user template, at least any one of character string information, handwriting feature amount information, and face feature amount information included in a previously stored registered user template And an authentication processing module for performing user authentication processing in comparison with the information of the authentication processing module,
The authentication processing module,
A function of generating a user candidate list for comparing face characteristic amount information by comparing character string information and handwriting feature amount information included in the input user template with character string information and handwriting feature amount information included in the registered user template; And
The face characteristic amount information included in the input user template is compared with the face feature amount information included in the registered user template with respect to the user candidates included in the user candidate list, And a function of authenticating the specific registered user as a user authenticated when it is determined that the specific registered user is authentic.
A computer program stored on a recording medium for executing an authentication processing method according to any one of claims 1 to 8 and 10 to 16 in combination with hardware.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140117296A KR101535591B1 (en) | 2014-09-03 | 2014-09-03 | Authentication processing method, authentication processing system performing the same, c0mputer program for the same and storage medium storing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140117296A KR101535591B1 (en) | 2014-09-03 | 2014-09-03 | Authentication processing method, authentication processing system performing the same, c0mputer program for the same and storage medium storing the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101535591B1 true KR101535591B1 (en) | 2015-07-09 |
Family
ID=53792451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140117296A KR101535591B1 (en) | 2014-09-03 | 2014-09-03 | Authentication processing method, authentication processing system performing the same, c0mputer program for the same and storage medium storing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101535591B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101710998B1 (en) * | 2015-09-23 | 2017-03-02 | 주식회사 하렉스인포텍 | Method of user authentication using a variable keypad and, the system thereof |
| WO2020241987A1 (en) * | 2019-05-27 | 2020-12-03 | 주식회사 시큐브 | Apparatus and method for user authentication based on face recognition and handwritten signature verification |
| KR20210157929A (en) * | 2020-06-22 | 2021-12-30 | 주식회사 휴메닉 | Virtual reality based cognitive rehabilitation training system and method with training |
| KR20210157930A (en) * | 2020-06-22 | 2021-12-30 | 주식회사 휴메닉 | Untact type cognitive rehabilitation training system and method |
| KR20220019325A (en) * | 2020-08-10 | 2022-02-17 | 주식회사 카카오뱅크 | Method for facial authentication using input patterns and authentication server for the same method |
| WO2022114479A1 (en) * | 2020-11-26 | 2022-06-02 | 변철원 | Artificial intelligence assistant device and system based on door image analysis |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040048114A (en) * | 2002-12-02 | 2004-06-07 | 주식회사 시큐아이티 | Authentication method and device using multi biological identification in portable radiotelephone |
| JP2010182271A (en) * | 2009-02-09 | 2010-08-19 | Toshiba Corp | Personal identification device, personal identification method, and personal identification program |
| KR20140001163A (en) * | 2012-06-26 | 2014-01-06 | 구글 인코포레이티드 | Facial recognition |
-
2014
- 2014-09-03 KR KR1020140117296A patent/KR101535591B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040048114A (en) * | 2002-12-02 | 2004-06-07 | 주식회사 시큐아이티 | Authentication method and device using multi biological identification in portable radiotelephone |
| JP2010182271A (en) * | 2009-02-09 | 2010-08-19 | Toshiba Corp | Personal identification device, personal identification method, and personal identification program |
| KR20140001163A (en) * | 2012-06-26 | 2014-01-06 | 구글 인코포레이티드 | Facial recognition |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101710998B1 (en) * | 2015-09-23 | 2017-03-02 | 주식회사 하렉스인포텍 | Method of user authentication using a variable keypad and, the system thereof |
| US10740450B2 (en) | 2015-09-23 | 2020-08-11 | Harex Infotech Inc. | Method and system for authenticating identity using variable keypad |
| WO2020241987A1 (en) * | 2019-05-27 | 2020-12-03 | 주식회사 시큐브 | Apparatus and method for user authentication based on face recognition and handwritten signature verification |
| US12106608B2 (en) | 2019-05-27 | 2024-10-01 | Secuve Co., Ltd. | Apparatus and method for user authentication based on face recognition and handwritten signature verification |
| KR20210157929A (en) * | 2020-06-22 | 2021-12-30 | 주식회사 휴메닉 | Virtual reality based cognitive rehabilitation training system and method with training |
| KR20210157930A (en) * | 2020-06-22 | 2021-12-30 | 주식회사 휴메닉 | Untact type cognitive rehabilitation training system and method |
| KR102430067B1 (en) | 2020-06-22 | 2022-08-08 | 주식회사 휴메닉 | Virtual reality based cognitive rehabilitation training system and method with training |
| KR102430066B1 (en) | 2020-06-22 | 2022-08-08 | 주식회사 휴메닉 | Untact type cognitive rehabilitation training system and method |
| KR20220019325A (en) * | 2020-08-10 | 2022-02-17 | 주식회사 카카오뱅크 | Method for facial authentication using input patterns and authentication server for the same method |
| KR102474577B1 (en) * | 2020-08-10 | 2022-12-05 | 주식회사 카카오뱅크 | Method for facial authentication using input patterns and authentication server for the same method |
| WO2022114479A1 (en) * | 2020-11-26 | 2022-06-02 | 변철원 | Artificial intelligence assistant device and system based on door image analysis |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11853406B2 (en) | System for verifying the identity of a user | |
| US11973877B2 (en) | Systems and methods for secure tokenized credentials | |
| US9904873B2 (en) | Extracting card data with card models | |
| KR101535591B1 (en) | Authentication processing method, authentication processing system performing the same, c0mputer program for the same and storage medium storing the same | |
| US10614334B2 (en) | Extraction of data from a digital image | |
| US11715102B2 (en) | Dynamically verifying a signature for a transaction | |
| US20210398128A1 (en) | Velocity system for fraud and data protection for sensitive data | |
| US11574313B2 (en) | Security and fraud prevention techniques based on detection of a transaction card in an image | |
| Ferdinand et al. | Atm security system modeling using face recognition with facenet and haar cascade | |
| Gujar et al. | Face Recognition Open CV Based ATM Security System | |
| Shukla et al. | Secure OTP Generated Hand Gesture Online Transaction Using CNN. | |
| Burkul et al. | Exploring the intricacies of Biometric ATM operations, specifically focusing on the integration of fingerprint and facial recognition using Deep Learning techniques | |
| WO2024073264A1 (en) | Fake signature detection | |
| Suwald | Smartcards, security, and biometrics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180703 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190703 Year of fee payment: 5 |