KR20060014654A - System and method for the user's authentication by facial-password in the client-server computer system - Google Patents
System and method for the user's authentication by facial-password in the client-server computer system Download PDFInfo
- Publication number
- KR20060014654A KR20060014654A KR1020040063285A KR20040063285A KR20060014654A KR 20060014654 A KR20060014654 A KR 20060014654A KR 1020040063285 A KR1020040063285 A KR 1020040063285A KR 20040063285 A KR20040063285 A KR 20040063285A KR 20060014654 A KR20060014654 A KR 20060014654A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- authentication
- password
- user
- security code
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
Abstract
본 발명은 사용자 아이디에 대하여 전자적 인증을 수행하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법에 관한 것으로서, 클라이언트 컴퓨터에서는 얼굴패스워드를 이용하여 사용자의 본인확인을 위한 인증을 먼저 수행하고, 인증이 성공하면 약속된 보안함수에 의해 얼굴영상과 얼굴패스워드를 이용하여 제작되는 얼굴보안코드를 이용하여 클라이언트 서버에서의 사용자 인증을 실시하는 것을 특징으로 한다. 이러한 인증 방법은 사용자의 생체정보를 인증을 위한 전자 데이터로 활용하는 효과가 있으며, 얼굴영상과 얼굴패스워드를 이용하여 제작되는 얼굴보안코드는 사용자가 입력하는 기억정보는 간단하게 유지하면서 전자적 처리 과정에서는 복잡한 구조를 가지도록 하는 효과가 있고, 인증을 수행할 경우마다 사용자의 얼굴보안코드가 자동 갱신되도록 하는 보안 효과도 있다.The present invention relates to a client server system and method for face password user authentication that performs electronic authentication for a user ID. The client computer first performs authentication for user identification using a face password, and authentication is successful. Then, a user authentication at the client server is performed by using a face security code produced by using a face image and a face password by a promised security function. This authentication method has the effect of utilizing the user's biometric information as electronic data for authentication, and the face security code produced by using the face image and the face password in the electronic processing process while maintaining the memory information input by the user simply It has the effect of having a complicated structure, and also has the security effect of automatically updating the user's face security code every time authentication is performed.
이를 위한 본 발명은 클라이언트 컴퓨터에서 카메라를 이용하여 사용자의 얼굴영상을 입력하고 동시에 얼굴패스워드를 입력하는 단계; 기 입력된 얼굴패스워드와의 유사성을 비교하여 사용자 인증을 수행하는 단계; 동일한 얼굴패스워드로 인증되는 경우, 사용자마다 고유한 얼굴보안코드를 제작하고 인증을 위한 정보들을 서버로 전송하는 단계; 서버 컴퓨터에서는 해당 아이디에 대하여 얼굴보안코드를 제작하는 단계; 얼굴패스워드의 동일성을 비교 검증하는 단계; 얼굴보안코드 비교 검증 결과가 동일하면 사용자 인증을 승인하는 절차를 통신망을 이용하여 수행하는 단계를 포함하여 구성되는 것을 특징으로 한다. 또한, 본 발명에 의한 얼굴패스워 드를 이용한 사용자 인증시스템은, 얼굴영상을 획득할 카메라가 부착되고 카메라로부터 입력되는 얼굴영상에 대해 얼굴패스워드 기준점을 추출하는 얼굴인식부 및 얼굴패스워드 인증부를 구비하고 얼굴보안코드 생성부와 얼굴패스워드 저장부를 또한 구비하고 논리 연산을 수행할 제어부와 메모리 장치를 구비하며, 사용자 인증 정보를 송수신할 통신부를 구비한 클라이언트 컴퓨터; 및 상기 클라이언트 컴퓨터와 유무선 통신망으로 연결되어 있으며, 전송된 얼굴영상 인식부와 개인정보 데이터베이스 및 얼굴보안코드 생성부 및 검증부를 구비하고 있으며 논리 연산을 수행할 제어부와 메모리 장치 및 데이터 송수신을 위한 통신부가 구비된 서버 컴퓨터를 포함하여 구성되는 것을 특징으로 한다. To this end, the present invention comprises the steps of inputting a face image of a user using a camera at the client computer and simultaneously inputting a face password; Performing user authentication by comparing similarity with a previously input face password; If the same face password is authenticated, creating a unique face security code for each user and transmitting information for authentication to a server; Producing a face security code for the corresponding ID at the server computer; Comparing and verifying the identity of the face password; If the face security code comparison verification result is the same, it characterized in that it comprises a step of performing a procedure for approving user authentication using a communication network. In addition, the user authentication system using a face password according to the present invention, a face recognition unit and a face password authentication unit for attaching a camera to obtain a face image and extracts the face password reference point for the face image input from the camera, A client computer including a face security code generation unit and a face password storage unit, a control unit to perform a logical operation, and a memory device, and a communication unit to transmit / receive user authentication information; And a face image recognition unit, a personal information database, a face security code generation unit, and a verification unit connected to the client computer through a wired / wireless communication network, a control unit for performing logical operations, a memory device, and a communication unit for data transmission and reception. It is characterized by including a server computer provided.
Description
도 1은 얼굴패스워드를 이용한 사용자 인증 시스템 및 방법에 대한 개요도1 is a schematic diagram of a user authentication system and method using a face password
도 2는 사용자 인증을 위한 클라이언트 서버 시스템의 구성도 2 is a configuration diagram of a client server system for user authentication
도 3은 얼굴패스워드 인증원리의 개요도Figure 3 is a schematic diagram of the face password authentication principle
도 4는 얼굴보안코드의 제작을 위한 개요도4 is a schematic diagram for the production of the face security code
도 5는 얼굴보안코드의 제작을 위한 순서도5 is a flow chart for the production of the face security code
도 6은 클라이언트 서버 시스템의 얼굴패스워드 사용자 등록을 위한 순서도6 is a flowchart for registering a face password user of a client server system.
도 7은 클라이언트 서버 시스템의 얼굴패스워드 사용자 인증을 위한 순서도7 is a flowchart for face password user authentication of a client server system.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
1: 사용자 본인(송신자) 2: 사용자의 얼굴영상1: user (sender) 2: user's face image
3: 클라이언트 컴퓨터 4: 카메라3: client computer 4: camera
5: 서버 컴퓨터 6: 데이터베이스5: server computer 6: database
7: 전기적 송신 및 수신 8: 인터넷7: Electrical transmission and reception 8: Internet
9: 주연산장치(CPU) 10: 메모리 장치9: main operation unit (CPU) 10: memory unit
11: 데이터 송수신을 위한 통신부 12: 카메라 입력영상 얼굴인식부11: Communication unit for data transmission and reception 12: Camera input image face recognition unit
13: 얼굴패스워드 인증부 14: 얼굴보안코드 생성부13: face password authentication unit 14: face security code generation unit
15: 얼굴패스워드 저장부 16: 정지영상 얼굴인식부15: face password storage unit 16: still image face recognition unit
17: 얼굴보안코드 및 얼굴영상 검증부 17: face security code and face image verification unit
18: 얼굴패스워드 제1 기준점(P1) 19: 얼굴패스워드 제2 기준점(P2)18: Face password first reference point P1 19: Face password second reference point P2
20, 21, 22, 23: 등록된 얼굴패스워드(M1, M2, M3, M4)20, 21, 22, 23: Registered face passwords (M1, M2, M3, M4)
20c, 21c, 22c, 23c: 얼굴패스워드 재입력 오차 허용범위20c, 21c, 22c, 23c: tolerance for face password re-entry error
20s, 21s, 22s, 23s: 인증을 위해 재입력된 얼굴패스워드(S1, S2, S3, S4)20s, 21s, 22s, 23s: Retyped face passwords (S1, S2, S3, S4) for authentication
25: 암호화 함수25: encryption function
26: 얼굴보안코드26: face security code
본 발명은 클라이언트 서버 구조의 통신망을 이용하는 사용자 아이디(ID) 및 패스워드 인증에 있어서, 사용자의 전자적 인증 수단으로 사용자 본인의 생체정보에 해당하는 얼굴영상과 본인이 직접 얼굴영상 위에 마우스 등의 수단으로 입력되는 여러 개의 위치정보 및 입력순서에 근거한 GUI(graphic user interface) 환경에서의 패스워드(이하에서는 "얼굴패스워드"이라 칭한다) 정보를 기반으로 암호화되어 제작되는 당사자의 고유한 얼굴보안코드에 의해 서버에서 사용자 아이디 인증을 수행하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법에 관한 것이다.According to the present invention, in the user ID and password authentication using a client server structure, the face image corresponding to the user's biometric information and the user directly input the face image on the face image by means of a mouse or the like through the electronic authentication means of the user. The user of the server by the unique face security code of the person who is encrypted based on the password (hereinafter referred to as "face password") information in the GUI (graphic user interface) environment based on multiple location information and input order A client server system and method for face password user authentication performing identity authentication.
종래 사용자 신원인증 기술로는 문자입력 방식의 아이디 및 패스워드방식이 가장 널리 사용되어오고 있다. 그리고 패스워드의 보안성을 강화하기 위하여 임의의 패스워드 형태인 PIN(Personal Identification Number) 번호 방식을 사용하기도 한다. 그리고 일회용 암호를 전자메일로 송수신하고 인증을 수행하거나, 클라이언트-서버에서 문답식의 사용자 신원인증 수단들이 사용되고 있다. 그리고 보다 보안성을 향상시키기 위하여 공개키 기반구조의 공인인증서를 사용하거나 공개키 암호화기술을 적용한 전자서명을 통하여 사용자 신원인증 기술을 적용하고 있으며, 현재 금융거래 등의 중요한 전자거래 형태에서 사용자 신원을 인증하기 위한 수단으로 활용하고 있다. Conventional user identification technology has been the most widely used ID and password method of the character input method. In order to enhance the security of the password, a PIN (Personal Identification Number) numbering scheme may be used. And one-time passwords are transmitted and received by e-mail and authenticated, or question-and-answer user identity authentication methods are used in client-server. In order to improve security, user identity authentication technology is applied by using public key infrastructure or digital signature with public key encryption technology. It is used as a means for authentication.
그리고 최근에는 휴대폰 번호 또는 휴대폰에 내장된 암호화 칩을 이용한 수단이나, 스마트 카드 및 RFID(radio frequency identification) 기술을 적용한 사용자 신원인증 수단을 실생활에 적용하고 있는 단계에 있다.Recently, the mobile phone number or a means using an encryption chip embedded in a mobile phone or a smart card and a user identity authentication means using a radio frequency identification (RFID) technology are being applied to the real life.
이상의 사용자 신원확인 수단들은 사용자의 생체특성을 반영하지 않은 임의의 숫자 및 문자 조합에 의해서만 아이디 및 패스워드 인증을 수행하므로 거래 상대방을 직접 눈으로 보거나 접촉할 수 없는 전자거래에서는 거래 상대방을 인증하는 측면에서 한계가 있을 수밖에 없는 문제점이 있다. Since the above user identification means performs ID and password authentication only by a random combination of numbers and letters that do not reflect the biometric characteristics of the user, in terms of authenticating the other party in an electronic transaction that cannot directly see or contact the other party. There is a problem that must be limited.
그리고 오래 전부터 이상의 문제점을 개선할 목적으로 생체인증을 이용한 사용자 신원인증 기술을 실제 산업현장에 적용하려는 많은 연구개발 노력들이 기울여 지고 있다. 생체인증 기술로는 얼굴인식, 지문인식, 홍채 또는 망막인식, 정맥인식 등의 인간의 정적인 특성을 이용하는 방법들이 있으며 사람의 행동성향을 분석하고 인증에 적용하려는 방법들로서 키보드 입력습관, 자필 싸인, 걸음걸이 및 음성 등의 방법들이 연구개발 되고 있다. 상기의 생체인식 방법들은 네트웍으로 연결된 수 많은 사용자들을 대상으로 사용자 신원인증 기술을 구현하기에는 현실적인 문제점들이 아직 극복되지 않았으며, 가장 큰 문제점으로 확률적 인증에러(EER: equal error rate) 즉 오인식률(FAR: false acceptance ratio) 및 오거부율(FRR: false rejection ratio)에 의해 모든 사용자들에게 100% 신원인증을 제공할 수 없는 곤란한 문제점이 있다. 그렇지만 생체인증 기술은 전자거래에 있어서 전자거래 당사자의 거래에 대한 부인방지 효과를 보다 확실하게 제공할 수 있는 기술적 방법이다.In order to improve the above problems, many research and development efforts have been made to apply user identity authentication technology using biometric authentication to actual industrial sites. Biometric technologies include the use of human's static characteristics such as face recognition, fingerprint recognition, iris or retinal recognition, and vein recognition, and methods to analyze human behavior and apply them to authentication. Gait and voice are being researched and developed. The above biometric methods have not yet overcome the practical problems of implementing the user identity authentication technique for a large number of users connected to the network. The biggest problem is the equal error rate (EER), that is, the false recognition rate ( There is a difficult problem in that it is not possible to provide 100% identity authentication to all users due to false acceptance ratio (FAR) and false rejection ratio (FRR). Nevertheless, biometric technology is a technical method that can more reliably provide the non-repudiation effect on the transactions of electronic trading parties in electronic transactions.
이외에도 오프라인 거래에서는 거래당사자들이 직접 대면하고 거래를 추진하는 것과 달리 온라인 거래에서는 전자적으로만 인증 및 거래정보를 송수신하므로 거래 상대방을 직접 대면할 수 없는 문제점이 있다. 종래의 생체인증 방법에 의한 사용자 신원확인 기술은 개인의 생체 템플릿을 전송하고 인증하는 방식에 의해 전자적으로는 본인확인 과정을 수행해주지만, 인증과 동시에 사람의 눈으로 직접 상대방을 확인하기 곤란한 형태가 대부분이다. 따라서 디지털 정지영상을 상기의 목적으로 거래 상대방에게 전송하고자 하는 경우 얼굴영상 데이터의 위조 및 변조에 대한 보안 기능을 별도로 제공하여야 한다.In addition, in the off-line transactions, unlike the trade partners face-to-face and promote the transaction, online transactions only send and receive authentication and transaction information, there is a problem that you can not face the other party directly. In the conventional biometric authentication method, a user identification technology is electronically performed by a method of transmitting and authenticating a personal biometric template, but at the same time, it is difficult to identify the other party directly with human eyes at the same time. to be. Therefore, if a digital still image is to be transmitted to a counterparty for the above purpose, a security function for forgery and forgery of face image data should be separately provided.
또 다른 기술적 요구에 의하면, 전자거래에 있어서 얼굴영상을 직접 전송하는 경우 아도베(Adobe Co., Ltd.)사의 포토샵(Photoshop) 프로그램과 같은 그림 편 집도구가 시중에 많이 배포되어 얼굴영상의 일부 혹은 전부를 쉽게 위조 및 변조할 수 있으며, 이미지의 일부를 다르게 표현하는 영상 패러디가 인터넷에서 사회현상으로 나타나고 있다. 이상의 문제점을 해결하기 위한 보안수단으로는 워터마킹(watermarking), 스테가노그라피(steganography), 스크램블(scramble) 등의 기술적 수단들이 있지만 영상 전체를 대상으로 암호화 알고리즘을 획일적으로 적용하는 보안기술이므로 암호화 및 복호화 과정에서 연산량이 많거나, 대칭키와 같은 보안구조의 속성상 각 개인의 얼굴영상에 대해서는 보안기능을 차별화할 수 없는 문제점도 있다. 또한 지금까지 개발된 암호화 알고리즘 중에서 대칭키 방식의 DES(Data Encryption Standard) 알고리즘과 비대칭키 방식의 RSA(Rivest Shamir Adleman), DSA(또는 DSS: Digital Signature Standard) 등으로 알려진 공개키(PKI: Public Key Infrastructure) 기반의 암호화 알고리즘에 기반한 보안성과 비교하여 상기 이미지 보안기술의 암호화 수준이 현저히 낮은 문제점이 있다. 따라서 디지털 정지 얼굴영상의 전송에 있어서 개인키가 적용된 보안 알고리즘 개발은 개인 얼굴영상 전송에서의 정보보호 측면에서도 필요한 기술이다.According to another technical requirement, in the case of direct transmission of facial images in electronic transactions, a large number of image editing tools, such as the Photoshop program of Adobe Co., Ltd., are widely distributed on the market. Or all of them can be easily forged and altered, and a video parody that expresses parts of an image differently appears as a social phenomenon on the Internet. Security measures for solving the above problems include watermarking, steganography, scramble and other technical means, but it is a security technology that applies encryption algorithm uniformly to the whole image. In the decryption process, there is a problem in that a security function cannot be differentiated for each face image due to a large amount of operation or a security structure such as a symmetric key. In addition, public key (PKI: Public Key, also known as symmetric key type DES (Data Encryption Standard) algorithm, asymmetric key type RSA (Rivest Shamir Adleman), DSA (or Digital Signature Standard), etc. Compared with the security based on the infrastructure based encryption algorithm, the encryption level of the image security technology is significantly lower. Therefore, the development of a security algorithm applied with a private key in the transmission of digital still face images is a necessary technique in terms of information protection in the transmission of personal face images.
또한 생체인증 기술과 데이터 전송에 대한 생체정보의 보안성을 높이기 위해 생체 템플릿 데이터와 공개키 기반의 암호화 기술을 접목하려는 다각적인 시도들이 현재까지 진행되고 있는 실정이다. In addition, various attempts have been made to combine biometric template data and public key-based encryption technology to enhance biosecurity information and security of biometric information for data transmission.
종래 아이디 패스워드 구조의 사용자 인증 방법 문제점으로는 사용자 편의성은 높지만 사용자 인증에 대한 보안은 취약한 방식이라는 점이다. 예를 들면, 키보드로 문자 및 숫자 조합의 패스워드를 입력하는 방식의 인증은 사용자가 복잡한 패 스워드를 조합해서 사용하면 보안성은 높지만 기억하기 곤란하며, 반대의 경우 쉬운 단어로 만든 패스워드는 기억하기는 쉽지만 추정에 의한 보안의 취약점이 발생한다.The problem of the user authentication method of the conventional ID password structure is that user convenience is high, but security for user authentication is a weak method. For example, authentication by entering a combination of letters and numbers on the keyboard is more secure but difficult to remember if the user uses a combination of complex passwords, and vice versa. Presumed security vulnerability.
생체인증의 경우는 개인의 생체정보가 변경이 매우 어려우므로 통신망을 통해 전송되는 개인의 생체정보를 보호하기 위한 암호화 기술이 매우 중요하다. In the case of biometric authentication, since it is very difficult to change the biometric information of an individual, encryption technology for protecting the biometric information of an individual transmitted through a communication network is very important.
또 한가지 문제점은 상기의 아이디 패스워드 인증 또는 생체인증에서와 같이 사용자가 직접 제공하는 인증을 위한 개인정보 자체가 통신망을 경유하여 서버로 전송되므로, 전송되는 개인정보로서의 인증 정보가 암호화되지 않는다면 사용자 컴퓨터 및 데이터의 전송 및 서버 컴퓨터에서의 사용자 인증용 개인정보에 대한 보안위험성이 집중되는 문제점이 있다. Another problem is that the personal information for authentication provided directly by the user, such as in ID password authentication or biometric authentication, is transmitted to the server via a communication network, so that the authentication information as the transmitted personal information is not encrypted. There is a problem that the security risks of data transfer and personal information for user authentication in the server computer are concentrated.
본 발명의 목적은 상기 문제점을 해결하기 위하여 이루어진 것으로, 클라이언트 컴퓨터에서는 사용자의 얼굴 생체정보와 상호 연관성을 갖고 전자적 인증을 실시하는 얼굴패스워드 인증 수단과 인증을 위해 제공되는 개인정보로서의 얼굴영상 및 얼굴패스워드 정보가 보호될 수 있도록 암호화할 수 있는 얼굴보안코드 수단이 논리적으로 결합되고 전송되어, 서버 시스템에서는 사용자 아이디에 대한 얼굴보안코드 인증이 실시되어 본인확인 특성이 우수한 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법을 제공하는데 있다. An object of the present invention is to solve the above problems, in the client computer, the facial image authentication means for performing the electronic authentication and correlated with the face biometric information of the user and the face image and face password as personal information provided for authentication The face security code means that can be encrypted so that information can be protected is logically combined and transmitted, the server system for the face password code authentication for the user ID is implemented in the server system, the client server system for face password user authentication with excellent identity characteristics And providing a method.
또한, 본 발명의 다른 목적은 사용자 인증에 사용되는 개인정보 데이터의 구 성에 있어서, 사용자 아이디의 인증을 위해 입력된 얼굴영상과 얼굴보안코드를 모두 클라이언트에서 서버로 전송하면, 서버 컴퓨터에서는 전송된 얼굴영상과 데이터베이스에 저장된 얼굴패스워드로부터 제작되는 얼굴보안코드와 전송된 얼굴보안코드의 동일성을 검증하는 방법으로 전송된 얼굴영상의 위조 변조 가능성과 전송된 얼굴보안코드의 무결성 판단을 동시에 달성할 수 있도록 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법을 제공하는데 있다.In addition, another object of the present invention is in the configuration of personal information data used for user authentication, if both the face image and the face security code input for authentication of the user ID from the client to the server, the face transmitted from the server computer By verifying the identity of the face security code generated from the image and the face password stored in the database and the transmitted face security code, the possibility of forgery tampering of the transmitted face image and the integrity determination of the transmitted face security code can be simultaneously achieved. A client server system and method for face password user authentication are provided.
또한, 본 발명의 또 다른 목적은 디지털 정지 얼굴영상 데이터의 전송시 사용자 본인이 임의의 형태로 지정하는 얼굴패스워드 정보가 암호화를 위한 얼굴보안코드 제작에 직접 사용되어 얼굴보안코드의 개별적 보안가치를 향상시키고, 동시에 위조 변조 가능성도 판단할 수 있도록 하는 보안방식의 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법을 제공하는데 있다.In addition, another object of the present invention is to improve the individual security value of the face security code by using the face password information specified by the user in a random form when transmitting digital still face image data directly used in the production of the face security code for encryption To provide a client server system and method for face-password user authentication in a secure manner that can determine the possibility of forgery tampering.
또한, 본 발명의 또 다른 목적은 사용자 인증 시스템에서의 개인정보 저장 및 인증을 위한 보안구조에 있어서, 사용자 입력 정보를 얼굴영상과 얼굴패스워드로 다원화하고 직접 인증에 사용되는 얼굴보안코드가 얼굴인식에 의한 수학적 좌표변환 과정과 암호화 과정을 통하여 제작되고 인증되도록 함으로서 종래의 방식에 비해 개인정보 분산 및 얼굴보안코드 생성과정에 의한 보안 효과가 우수하며, 동시에 사용자의 패스워드 기억은 간단하게 하면서 전자적으로 적용되는 패스워드는 매우 복잡하고 자동 갱신될 수도 있도록 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법을 제공하는데 있다.
Further, another object of the present invention is a security structure for storing and authenticating personal information in a user authentication system, wherein the user input information is diversified into a face image and a face password, and a face security code used for direct authentication is used for face recognition. It is manufactured and authenticated through mathematical coordinate conversion process and encryption process, and the security effect is excellent by the process of distributing personal information and face security code, compared to the conventional method, and at the same time, it is applied electronically while simplifying user's password memory. It is to provide a client server system and method for face password user authentication that allows passwords to be very complex and automatically updated.
상기 목적을 달성하기 위한 본 발명에 의한 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법은, 클라이언트 컴퓨터에서 카메라를 이용하여 사용자의 얼굴영상을 입력하고 동시에 얼굴영상을 이용하여 얼굴패스워드를 입력하는 단계;A client server system and method for face password user authentication according to the present invention for achieving the above object include: inputting a face image of a user using a camera at a client computer and simultaneously inputting a face password using the face image;
클라이언트 컴퓨터에서 등록된 얼굴패스워드와 인증을 위해 입력된 얼굴패스워드의 유사성을 비교하여 사용자 인증을 수행하는 단계;Performing user authentication by comparing the similarity between the registered face password at the client computer and the face password input for authentication;
동일한 패스워드로 인증되는 경우, 사용자 입력정보로서의 얼굴영상과 얼굴패스워드로 암호화 함수에 의해 제작되는 얼굴보안코드를 제작하고 아이디 및 얼굴영상 그리고 얼굴보안코드를 서버로 전송하는 단계;If the authentication is performed using the same password, generating a face security code produced by an encryption function using a face image and a face password as user input information, and transmitting an ID, a face image, and a face security code to a server;
서버 컴퓨터에서는 해당 아이디에 대한 얼굴패스워드를 데이터베이스로부터 독출하고 전송된 얼굴영상을 이용하여 얼굴보안코드를 제작하는 단계;Reading, by the server computer, a face password for the corresponding ID from a database and manufacturing a face security code using the transmitted face image;
클라이언트 컴퓨터로부터 전송된 얼굴보안코드와 서버컴퓨터에서 새로이 제작된 얼굴패스워드의 동일성을 비교 검증하는 단계;Comparing and verifying the identity of the face security code transmitted from the client computer and the newly created face password at the server computer;
해당 아이디의 얼굴보안코드 비교 검증 결과가 동일하면 클라이언트 컴퓨터에 사용자 인증을 승인하는 절차를 통신망을 이용하여 수행하는 단계를 포함하여 구성되는 것을 특징으로 한다.If the face security code comparison verification result of the corresponding ID is the same, the step of approving the user authentication to the client computer using a communication network, characterized in that configured to include.
또한, 본 발명에 의한 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템은, 얼굴영상을 획득할 카메라가 부착되고 카메라로부터 입력되는 얼굴영상에 대해 얼굴패스워드 기준점을 추출하는 얼굴인식부 및 얼굴패스워드 인증부를 구비 하고 얼굴보안코드 생성부와 얼굴패스워드 저장부를 또한 구비하고 논리 연산을 수행할 제어부와 메모리 장치를 구비하며, 데이터를 송수신할 통신부를 구비한 클라이언트 컴퓨터; 및The client server system for face password user authentication according to the present invention includes a face recognition unit and a face password authentication unit attached to a camera to acquire a face image and extracting a face password reference point for the face image input from the camera. A client computer including a face security code generation unit and a face password storage unit, including a control unit and a memory device to perform logical operations, and a communication unit to transmit and receive data; And
상기 클라이언트 컴퓨터와 유무선 통신망으로 연결되어 있으며, 전송된 얼굴영상 인식부와 개인정보 데이터베이스 및 얼굴보안코드 생성부 및 검증부를 구비하고 있으며 논리 연산을 수행할 제어부와 메모리 장치 및 데이터 송수신을 위한 통신부가 구비된 서버 컴퓨터를 포함하여 구성되는 것을 특징으로 한다. The client computer is connected to the wired / wireless communication network, and includes a face image recognition unit, a personal information database, a face security code generation unit, and a verification unit, and a control unit for performing logical operations, a memory device, and a communication unit for data transmission and reception. It is characterized in that it is configured to include a server computer.
이하, 첨부도면을 참조하여 본 발명의 실시 예에 대해 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법에 적용되는 세부 기술들을 차례로 상세히 설명하기로 한다.Hereinafter, the detailed techniques applied to the client server system and method for face password user authentication will be described in detail with reference to the accompanying drawings.
도 1은 얼굴패스워드를 이용한 사용자 인증 시스템 및 방법에 대한 개요를 도시한 것이다. 클라이언트 컴퓨터(3)가 인터넷(8) 통신망으로 연결되고 전기적 송신 및 수신(7) 과정을 실시하는 서버컴퓨터(5)구조에서 클라이언트 컴퓨터(3)를 이용하여 사용자 인증을 수행하는 사용자(1)는 클라이언트 컴퓨터(3)에 연결된 카메라(4)를 통하여 본인의 얼굴영상(2)을 입력할 수 있는 구조로 되어 있으며, 동시에 서버컴퓨터(5)는 여러 사용자들의 인증을 위한 개인정보를 저장하고 사용할 수 있는 데이터베이스(6)를 구비할 수 있는 구성이다. 전기적 송신 및 수신(7)과정을 상세히 설명하면 클라이언트 컴퓨터(3)에서 사용자 등록 또는 인증을 위한 소프트웨어를 서버 컴퓨터(5)로부터 다운로드받는 단계(7a)와 클라이언트 컴퓨터(3)에서 사 용자(1) 인증 절차를 수행하고 서버컴퓨터(5)에서의 사용자 인증을 요청하기 위하여 개인정보를 다시 클라이언트 컴퓨터(3)에서 서버컴퓨터(5)로 전송하는 단계(7b)와 클라이언트 컴퓨터(3)로부터 전송된 사용자 인증을 위한 개인정보를 이용하여 서버컴퓨터(5)에서 사용자 인증 절차를 수행하고 인증 결과를 다시 클라이언트 컴퓨터(3)로 전송하는 단계(7c)로 구성된다. 1 shows an overview of a user authentication system and method using a face password. In the
도 2는 사용자 인증을 위한 클라이언트 서버 시스템의 구성을 도시한 것이다. 클라이언트 컴퓨터(3)는 사용자의 얼굴영상을 입력받기 위하여 카메라 장치를(4) 구비하고 있으며, 컴퓨터 내부의 주요한 구성요소로서 카메라 입력영상 얼굴인식부를(12) 구비하고 있으며, 얼굴패스워드 인증부(13), 얼굴보안코드 생성부(14), 그리고 얼굴패스워드 저장부(15)로 구성되어 있으며, 상기의 사용자 인증을 위한 컴퓨터 연산을 수행할 주연산장치 제어부(9), 메모리장치를(10) 또한 구비하고 있으며, 데이터 송수신 통신부(11)도 구비하고 있다. 또한, 상기 클라이언트 컴퓨터(3)내 카메라 입력영상 얼굴인식부(12), 얼굴패스워드 인증부(13), 얼굴보안코드 생성부(14)를 구성하는 사용자 소프트웨어는 서버컴퓨터(5)로부터 통신망을 통하여 수신(7)된다.2 illustrates a configuration of a client server system for user authentication. The
상기의 클라이언트 컴퓨터 인증시스템에서, 카메라(4) 입력영상 얼굴인식부(12)에서는 카메라로부터 입력되는 동영상 중에서 임의의 한 장을 선택하고 선택된 정지영상에 대하여 얼굴인식 과정을 실시하여 인증을 위한 임의의 사람 얼굴영역이 있는지 여부를 판단한 후, 얼굴영상에 대하여 얼굴의 양쪽 눈 대상영역을 추출하고, 얼굴패스워드 입력을 수행할 수 있도록 양쪽 눈의 좌표 점을 설 정하는 기능을 수행한다. 얼굴패스워드 인증부는(13) 입력된 얼굴영상에서의 양쪽 눈에 해당하는 기준 좌표점이 설정된 후 사용자가 마우스 또는 터치스크린 방식으로 얼굴의 눈 코 입과 같은 기억하기 쉬운 부위를 임의로 지정하는 방법으로 얼굴 내에서의 입력위치와 입력순서를 패스워드로 활용하기 위한 얼굴패스워드 등록 및 인증 기능을 수행한다. 얼굴패스워드 생성부는(14) 등록된 얼굴패스워드 정보와 입력된 얼굴영상을 이용하여 암호화 함수 연산을 실시하는 기능을 수행한다. 얼굴패스워드 저장부(15)는 얼굴패스워드 등록 후 클라이언트 컴퓨터 내에 등록된 얼굴패스워드 값을 얼굴좌표계로 저장하는 기능을 수행한다. In the client computer authentication system described above, the
인터넷으로 연결되어 전기적 송신 및 수신(7)을 수행할 서버 컴퓨터(5)는 데이터 송수신을 위한 통신부(11)를 통하여 사용자 인증을 위한 개인정보 즉 아이디, 얼굴영상, 얼굴보안코드가 모두 수신되면 전송된 한 장의 얼굴영상에 대하여 양쪽 눈의 기준 좌표 점을 추출하는 전송된 정지영상 얼굴 인식부(16), 해당 아이디의 얼굴좌표계 얼굴패스워드를 추출할 개인정보 데이터베이스(6), 상기의 정지영상과 개인정보 데이터베이스에서의 얼굴패스워드 정보를 이용하여 암호화 함수 연산을 실시하는 얼굴보안코드 생성부(14), 그리고 서버컴퓨터에서 자체적으로 제작한 얼굴보안코드와 클라이언트 컴퓨터로부터 전송된 개인정보로서의 얼굴보안코드 동일성을 검증하는 얼굴보안코드 검증부를(17) 구비하고 있으며, 상기의 사용자 인증을 위한 컴퓨터 연산을 수행할 주연산장치 제어부(9), 메모리장치를(10) 또한 구비하고 있다.The
상기 서버컴퓨터 인증시스템에 있어서, 본 발명의 얼굴보안코드 생성부는(14) 동일한 암호화 함수와 얼굴보안코드 제작 방법을 사용하지만, 사용자의 요구에 의해 서로 동일하지 않은 암호화 함수를 적용하는 것도 가능하다. 즉 서버 컴퓨터(5)와 클라이언트 컴퓨터(3)의 얼굴보안코드 생성부(14)에서 동일한 사용자 입력정보로서의 얼굴영상과 얼굴패스워드를 적용하더라도 얼굴보안코드 값은 서로 일치하지 않는 값으로 제작하고, 추후 얼굴보안코드 검증부(17)에서 사전에 약속된 추가적인 연산을 수행하는 방법으로 해결 할 수도 있음을 밝혀둔다. 즉 서버 컴퓨터의 얼굴보안코드 생성부(14)에서 임의의 보안함수를 추가로 설계하여 적용하고, 얼굴보안코드 검증부(17)에서 다시 먼저 적용된 보안함수의 역함수를 적용하는 방식이다. 그리고 개인정보 데이터베이스(6)에서는 해당 아이디별로 등록단계의 얼굴패스워드 및 얼굴영상이 인증을 목적으로 저장되고, 인증단계에서 전송되는 얼굴영상은 관리목적으로 별도 저장되고 관리된다. 또한 정지영상 얼굴인식부는(16) 클라이언트 컴퓨터(3)의 카메라 입력영상 얼굴인식부(12)와 동일한 얼굴인식 알고리즘을 사용한다. In the server computer authentication system, the face security
도 3은 얼굴패스워드 인증원리의 개요를 도시한 것이다. 도 3a는 얼굴인식 기술을 적용하여 얼굴의 양쪽 눈을 찾은 후 한쪽 눈을 (0,0)에 해당하는 제1 기준점(P1)(18)으로 사용하고 다른 한쪽 눈을 (100,0)인 제2 기준점(P2)(19)으로 설정하여 얼굴내에 입력되는 특정 위치점(x1,y1)(55)의 좌표 값을 새롭게 변환화고 규격화하는 원리를 나타낸 도면이다. 도 3a의 임의의 위치점(x1,y1)(55)은 제 1 및 제 2 기준점(P1, P2)에 의해, x-y 윈도좌표계로 표시된 특정 위치점 값이 기하학적으로 좌표변환되는 효과가 발생하며 이와 같은 새로운 좌표값의 변환이 사람의 양 쪽 눈을 기준으로 실시되는 변환계를 다음에서는 "얼굴좌표계"라 칭한다. 이와같은 얼굴좌표계의 특징은 등록 또는 인증단계에서 얼굴의 특정위치를 지정하여 입력하는 경우 사람의 얼굴이 카메라로부터 크게 입력되거나 작게 입력되고, 동시에 상하좌우로 이동하는 경우에도 각각 입력된 지점의 얼굴위치를 기억하는 것이 컴퓨터 윈도우 좌표계로 기억하는 것보다 쉽고 편리하다는 점이다. 즉 윈도우 화면상에 나타난 얼굴영상에서의 임의의 입력위치를 위도우 좌표계로 사용하는 것이 아니라 얼굴의 두 눈을 기준으로 삼각 측량법에 의해 재 지정되는 상대좌표계 즉 얼굴좌표계를 활용한다는 점이다. 그리고 통상의 학문적인 얼굴인식 기술을 이용하여 얼굴영상 내에서 양쪽 눈을 찾고 얼굴좌표계의 기준 좌표점을 설정하는 과정을 설명하면, 먼저 얼굴영상에서 영상의 이진화 및 칼라영상 분석과정 등을 통하여 얼굴의 눈, 눈썹, 코, 입 등의 대상영역을 추출하는 과정을 실시하고 다시 각각의 얼굴부위로 추정되는 덩어리(blob)들 중에서 눈에 해당하는 덩어리를 추출한다. 그리고 눈으로 추정되는 덩어리의 중심 좌표를 눈의 좌표로 인식하고 얼굴좌표계의 기준 좌표점(P1, P2)으로 사용한다. Figure 3 shows an overview of the face password authentication principle. Figure 3a is to find both eyes of the face by applying a face recognition technique, using one eye as the first reference point (P1) (18) corresponding to (0,0) and the other eye (100,0) 2 is a diagram showing the principle of newly converting and normalizing the coordinate values of the specific position points (x1, y1) 55 inputted into the face by setting the reference points (P2) 19. The arbitrary position points (x1, y1) 55 of FIG. 3A have the effect of geometrically transforming a specific position point value represented by the xy window coordinate system by the first and second reference points P1, P2. The conversion system in which the same new coordinate value conversion is performed with respect to both eyes of the person is hereinafter referred to as "face coordinate system". The feature of such a face coordinate system is that when a user inputs a specific position of a face in the registration or authentication step, a face of a human face is inputted from the camera in a large or small form, and at the same time, the face position of each face is moved. Remembering is easier and more convenient than remembering with computer window coordinates. In other words, it does not use an arbitrary input position in the face image displayed on the window screen as a latitude coordinate system, but uses a relative coordinate system that is re-designated by triangulation based on two eyes of the face. The process of finding both eyes in the face image and setting the reference coordinate points of the face coordinate system using conventional academic face recognition techniques will first be described. A process of extracting target areas such as eyes, eyebrows, noses, and mouths is performed, and the masses corresponding to the eyes are extracted from the masses estimated to be the face parts. The center coordinates of the lump, which are estimated as eyes, are recognized as eye coordinates and used as reference coordinate points P1 and P2 of the face coordinate system.
도 3b는 얼굴좌표계를 이용하여 얼굴패스워드 인증을 실시하는 원리를 설명하고자 하는 도면으로서, 먼저 얼굴패스워드의 개념을 간단히 설명하면 종래의 문자 및 숫자의 조합으로 키보드를 이용하여 입력되는 형태의 패스워드와는 달리 카메라를 통하여 컴퓨터 화면상에 사용자의 얼굴영상이 도입되고, 컴퓨터 화면상에서 마우스 또는 터치스크린을 이용하여 얼굴영상 내에 임의로 지정되는 다수의 위치점들이 다시 입력되면, 얼굴좌표계를 이용하여 등록단계에서의 입력점들과 인증단계 에서의 입력점들에 대한 입력순서와 입력위치의 유사성을 판별하는 방법의 인증체계를 설명하는 것으로, 다음에서는 "얼굴패스워드 인증"이라 칭한다. 얼굴패스워드 인증에 대하여 도 3b를 이용하여 상세히 설명하면 다음과 같다. 등록단계에서 마우스로 입력되는 사용자의 임의의 입력점들은 양쪽 눈에 해당하는 얼굴좌표계의 기준점(P1, P2)(18, 19)에 대하여 일련의 고유한 패턴을 형성하게 되고, 얼굴좌표계로 인식되는 얼굴패스워드 등록점(M1, M2, M3, M4)(20, 21, 22, 23) 형태로 저장된다. 인증단계에서 사용자의 등록단계 기억에 의해 다시 반복 입력되면, 입력점들은 입력을 위해 사용한 얼굴영상에서 얼굴좌표계의 기준점(P1, P2)(18, 19)들에 의해 얼굴좌표계로 변환되어 얼굴패스워드 인증점(S1, S2, S3, S4)(20s, 21s, 22s, 23s)들로 표현된다. 상기의 얼굴패스워드 입력점들은 입력위치 및 입력순서를 모두 인증에 적용하며, 사용자 얼굴패스워드 인증을 위해 입력순서와 입력위치를 동일하게 실시하더라도, 도 3b에 나타낸바와 같이 인증점과 등록점의 위치가 정확하게 일치하기 어렵다. 따라서 얼굴패스워드 인증에서는 사용자의 기억오차, 입력오차를 고려한 얼굴패스워드 재입력 오차 허용범위를(20c, 21c, 22c, 23c) 설정하고 있으며, 오차 범위 허용 값은 입력점마다 각각 다르게 설정할 수도 있고, 모든 입력점에 대하여 단일화 할 수도 있다. FIG. 3B is a view for explaining the principle of face password authentication using a face coordinate system. First, the concept of face password will be briefly described. Otherwise, if a face image of the user is introduced on the computer screen through the camera, and a plurality of position points arbitrarily designated in the face image are input again using a mouse or a touch screen on the computer screen, the face coordinate system is used to register the face image. The authentication scheme of the method for determining the similarity between the input order and the input position for the input points and the input points in the authentication step will be referred to as "face password authentication" in the following. The facial password authentication will be described in detail with reference to FIG. 3B. Any input points of the user inputted by the mouse in the registration step form a series of unique patterns with respect to the reference points (P1, P2) (18, 19) of the face coordinate system corresponding to both eyes, and are recognized as the face coordinate system. Face password registration points (M1, M2, M3, M4) (20, 21, 22, 23) is stored in the form. When inputted again by the user's registration step memory in the authentication step, the input points are converted into the face coordinate system by the reference points (P1, P2) (18, 19) of the face coordinate system in the face image used for input, and the face password authentication is performed. It is represented by points S1, S2, S3, S4 (20s, 21s, 22s, 23s). The above face password input points apply both the input position and the input order to the authentication, and even though the input order and the input position are performed for the user face password authentication, the positions of the authentication point and the registration point are as shown in FIG. 3B. It is difficult to match exactly. Therefore, in the face password authentication, the allowable range of the face password re-input error (20c, 21c, 22c, 23c) considering the user's memory error and input error is set, and the allowable error range can be set differently for each input point. You can also unify the input point.
이와 같은 인증체계의 특징은 종래의 패스워드와는 달리 생체정보를 이용하여 인증을 수행한다는 점이고, 또한 종래의 패스워드는 입력된 패스워드와 인증을 요청하는 패스워드가 동일한지를 판별하는 방법이지만, 얼굴패스워드는 등록된 위치점들의 입력순서에 따라 인증을 요청하는 위치점들의 입력위치 오차를 판별하고 유사성을 판별하는 인증방법을 사용한다는 점이다. 따라서 얼굴패스워드 인증에서도 오인식율이 존재할 수 있지만, 인증을 위해 종래의 얼굴인식에서는 많은 수량의 얼굴특징 정보를 사용하는 점과 달리 본 발명에서는 얼굴내 양쪽 눈만을 생체정보로 활용하는 방법에 의해 오인식율이 크게 개선될 수 있다. 얼굴패스워드 인증에서는 양쪽 눈을 찾는 생체인식 단계를 전처리과정으로 먼저 실시한다. 다음으로 실시하는 사용자 입력정보의 유사성을 판별하는 단계에서는 얼굴좌표계의 기준점(P1, P2)(18, 19)으로 하는 얼굴좌표계로의 변환 후 등록점들과 인증점들의 입력순서 및 위치오차를 단순히 판단하기 위한 수학적 연산만을 수행하므로 논리적 오차는 존재하지 않는 특징을 가진다. 즉 반드시 "예 또는 아니오" 에 대한 결과를 도출할 수 있는 인증수단이다. 이상과 같은 얼굴패스워드 인증방식은 타인의 얼굴을 이용해서도 본인의 얼굴패스워드 인증을 수행할 수 있는 특징이 있으므로 종래의 얼굴인증과는 다른 기술이라고 할 수 있다. 그렇지만 인증을 수행하는 본인의 얼굴영상이 인증을 위해 반드시 사용되어야만 얼굴패스워드 인증을 수행할 수 있다는 점에서 인증을 요청한 사람에 대한 신원확인 보안효과가 있으며, 종래의 문자 입력에 의한 패스워드 인증방식과는 또 다른 얼굴화면을 이용한 패스워드 인증방식이라는 점이 특징이다. The characteristic of such an authentication system is that unlike a conventional password, authentication is performed using biometric information. In addition, a conventional password is a method for determining whether an input password and a password for authentication are the same, but a face password is registered. It is to use the authentication method to determine the input position error of the location points requesting authentication in accordance with the input order of the location points and to determine the similarity. Therefore, in the face password authentication, there may be a false recognition rate, but unlike the conventional face recognition uses a large amount of facial feature information for authentication, in the present invention, the false recognition rate by the method using only both eyes in the face as biometric information This can be greatly improved. In face password authentication, the biometric step of finding both eyes is first performed as a preprocessing process. In the next step of determining the similarity of the user input information, the input order and position error of the registration points and the authentication points after conversion to the face coordinate system as reference points (P1, P2) (18, 19) of the face coordinate system are simply determined. Since only a mathematical operation for determining is performed, a logical error does not exist. In other words, it is an authentication means that can yield a result of "yes or no". The face password authentication method as described above may be referred to as a technology different from the conventional face authentication because the face password authentication may be performed using another person's face. However, since the face image of the person performing the authentication must be used for authentication, the face password authentication can be performed. Therefore, there is a security effect of identity verification for the person requesting the authentication. Another feature is that it is a password authentication method using a face screen.
도 4는 얼굴보안코드의 제작을 위한 개요를 도시한 것으로 얼굴보안코드 제작을 위하여 얼굴패스워드와 얼굴영상을 이용하여 얼굴보안코드 제작을 위한 암호화 함수 연산을 실시하여 얼굴보안코드를 제작하는 과정을 나타낸 것이다. 카메라로부터 입력된 얼굴영상(2)과 얼굴영상(2)으로부터 추출된 얼굴패스워드 기준점(18, 19) 그리고 기준점(18, 19)에 대하여 표기된 얼굴패스워드 등록점들을(20, 21, 22, 23) 이용하여 암호화 함수(25)로 연산을 실시하여 얼굴보안코드(26)를 제작한다. 얼굴보안코드를 제작하기 위해 사용되는 암호화 함수(25)를 다시 상세히 설명하면, 얼굴좌표계의 얼굴패스워드 등록점들이 윈도우좌표계로 다시 변환되면 얼굴영상 변화에 따라 서로 다른 좌표 값{(x1,y1), (x2,y2), (x3,y3), (x4,y4)}으로 표현될 수 있다. 그리고 암호화 함수(25)로서 다항방정식 형태의 일방향 함수를 사용한다. 예를 들면 f(x1, y1, x2, y2, x3, y3, x4, y4)=ax1*by1*cx2*dy2*ex3*gy3*hx4*iy4 함수에서 a, b, c, d, e, g, h, i 는 상수이고, 좌표 값을 변수로 적용하여 연산하는 방법이다. 얼굴패스워드의 윈도우좌표값을 각각의 변수 값으로 대입하여 하나의 결과 값을 도출하고, 함수 연산 결과 값을 다시 16진수 값으로 변환하는 방식에 의해 사용자의 얼굴보안코드를 제작한다. 또한 상기 연산과정에서 사용된 좌표값 이외에 얼굴영상과 얼굴보안코드의 상관성을 증가시키기 위하여 4개의 등록점 각각에 해당하는 픽셀에서의 RGB 또는 YCbCr 화상정보 값에서 색상, 명도, 채도 정보에서 선택하여 다항방정식의 변수 값으로 추가 적용할 수도 있음은 물론이다. 그리고 당업자에 의해 실시된 함수연산 결과 값의 16진수 변환은 필요에 의해 변경될 수 있음을 밝혀 둔다.Figure 4 shows the outline for the production of a face security code, showing the process of producing a face security code by performing an encryption function operation for the face security code using a face password and a face image to produce a face security code will be. The facial
상기의 얼굴보안코드 제작방법 특징은 사용자의 기억정보로서의 얼굴패스워드와 사용자의 생체정보로서의 얼굴영상을 얼굴보안코드 제작에 동시에 적용하는 방법으로서 얼굴보안코드의 복제에 사용될 개인정보를 분산 관리할 수 있다는 점이다. 또한, 상기의 방법으로 제작된 얼굴보안코드와 얼굴영상은 얼굴패스워드 및 암 호화 함수에 의해 수학적으로 상호 연관성을 가지게 되므로 얼굴보안코드가 얼굴영상의 진위를 판별할 수 있는 기술적 수단이 될 수 있다. 즉 동일한 사람으로부터 획득되는 얼굴영상이라도 주위의 조명조건, 화면내의 얼굴의 위치, 얼굴의 미세한 포즈 변화 등으로 인하여 항상 변화하는 특징을 가지는 것이 얼굴영상이므로 동일한 얼굴패스워드 정보에 의해 제작되는 얼굴보안코드도 역시 항상 변화하게 되는 특징을 갖게 된다. 정지 얼굴영상의 보안측면에서 다시 설명하면 얼굴패스워드라고 하는 사용자의 독창적인 입력 값이 본인의 정지얼굴영상마다 얼굴보안코드를 생성하게 되는 시작 정보이므로, 얼굴보안코드 인증에 의해 인증에 사용된 본인 얼굴영상의 위조 및 변조 가능성에 대한 간접적 열쇠 역할을 제공하는 특징도 갖는다. The method of manufacturing a face security code is a method of simultaneously applying a face password as a user's memory information and a face image as a user's biometric information to a face security code, which can distribute and manage personal information to be used for copying a face security code. Is the point. In addition, since the face security code and the face image produced by the above method are mathematically related by the face password and the encryption function, the face security code can be a technical means for determining the authenticity of the face image. That is, even a face image obtained from the same person has a characteristic that is constantly changing due to the surrounding lighting conditions, the position of the face in the screen, and the minute pose change of the face, so that the face security code produced by the same face password information is also used. It also has the characteristic of always changing. In the security aspect of the still face image, since the original input value of the user, the face password, is the start information that generates the face security code for each still face image, the face used for authentication by face security code authentication. It also features features that provide an indirect key to image forgery and tampering.
도 5는 얼굴보안코드의 제작을 위한 순서를 도시한 것이다. 얼굴보안코드 제작과정을 단계별로 상세히 설명하면, 먼저 얼굴보안코드 제작을 위한 시작 과정으로 개인정보 수집단계를 실시한다(S100). 개인정보 수집단계에서는 얼굴영상과 클라이언트 컴퓨터에 저장된 얼굴좌표계로 저장된 얼굴패스워드 등록점 정보를 준비한다. 또한 서버 컴퓨터에서는 데이터베이스에서 얼굴패스워드 등록점을 독출한다. 다음 단계로 준비된 얼굴영상에서 양쪽 눈을 추출하고 얼굴좌표계의 기준좌표로 설정하는 단계를 실시한다(S110). 양쪽 눈의 기준점이 얼굴영상에서 추출되면 얼굴패스워드 정보가 얼굴좌표계와 윈도우좌표계 사이를 당업자의 필요에 의해 자유로이 변환 가능함을 의미하게 된다. 다음 단계로 얼굴좌표계로 표시된 얼굴패스워드 등록점을 윈도우좌표계로 변환하는 단계를 실시한다(S120). 이와 같은 단계를 실시하는 이유는 동일한 얼굴패스워드 등록점을 인증에 사용된 얼굴영상을 이용하여 인증 할 때마다 다르게 표현하기 위함이다. 즉 동일한 얼굴좌표계의 얼굴패스워드가 얼굴의 크기가 다르거나 화면 내에서의 상하좌우 위치가 각각 다른 얼굴영상에 표현되면, 윈도우좌표계 관점에서는 얼굴패스워드가 다르게 표현되는 효과를 이용하고자 하는 것이다. 다음 단계에서는 얼굴보안코드를 제작하기 위한 암호화 함수에 적용될 변수 값을 선택하는 단계를 실시한다(S130). 다음단계로 전 단계에서 추출된 입력정보를 암호화 함수에 대입하고 암호화 함수 연산을 실시한다(S140). 다음 단계로 함수 연산으로 얻어지는 결과 값을 16진수로 변환하는 보안코드의 규격화 단계를 실시한다(S150). 본 단계에서는 보안코드 표현에 있어서, 함수 연산 결과 값의 복잡성을 증가하기 위하여 16진수 보다 더 높은 진수로 변환할 수 있고, 문자의 수를 제한하는 방법으로 보안코드의 길이를 규격화할 수도 있다. 마지막 단계로 얼굴보안코드 생성이 완료되는 단계를 실시한다(S160). 즉 전 단계에서 제작이 완료된 얼굴보안코드를 메모리 또는 저장장치에 보관하고 사용자 인증을 위한 다음단계를 실시함을 의미한다. 5 shows a procedure for manufacturing a face security code. If the detailed description of the face security code production process step by step, first performs a personal information collection step as a start process for producing a face security code (S100). In the personal information collecting step, the face password registration point information stored in the face image and the face coordinate system stored in the client computer is prepared. The server computer also reads the face password registration point from the database. In the next step, both eyes are extracted from the prepared face image and the reference coordinates of the face coordinate system are set (S110). When the reference points of both eyes are extracted from the face image, it means that the face password information can be freely converted between the face coordinate system and the window coordinate system as required by those skilled in the art. Next, a step of converting the face password registration point indicated by the face coordinate system into the window coordinate system is performed (S120). The reason for performing such a step is to express the same face password registration point differently every time authentication is made using the face image used for authentication. That is, when face passwords of the same face coordinate system are represented in different face images or face images having different positions of up, down, left and right in the screen, the face password is expressed differently from the viewpoint of the window coordinate system. In the next step, a variable value to be applied to an encryption function for producing a face security code is selected (S130). In the next step, the input information extracted in the previous step is substituted into the encryption function, and the encryption function is performed (S140). In the next step, a standardization step of the security code for converting the result value obtained by the function operation into hexadecimal is performed (S150). In this step, in the security code representation, in order to increase the complexity of the function operation result value, the security code may be converted to a higher number than the hexadecimal number, and the length of the security code may be standardized by limiting the number of characters. As a final step, the face security code generation is completed (S160). This means that the face security code, which has been completed in the previous step, is kept in a memory or a storage device and the next step for user authentication is performed.
도 6은 클라이언트 서버 시스템의 얼굴패스워드 사용자 등록을 위한 순서를 도시한 것이다. 클라이언트 컴퓨터와 서버컴퓨터가 유무선 통신망을 이용하여 연결되는 시작 단계를 실시하고(S200), 다음 단계로 클라이언트 컴퓨터에 연결된 카메라로부터 사용자의 얼굴영상을 입력받은 후 도 3에서 상세히 설명한 바와 같이 얼굴의 유 무 판단 및 얼굴이 존재하는 경우 얼굴내에서 양쪽 눈에 해당하는 기준점을 추출하는 카메라 입력영상 얼굴인식 단계를 실시하고(S210), 기준점이 추출된 얼굴영상내에서 마우스 또는 터치스크린을 이용한 사용자의 얼굴패스워드 신규로 입력받고 클라이언트 컴퓨터 내에 저장하는 단계를 실시한다(S220). 이때 저장되는 얼굴패스워드는 얼굴좌표계로 변환되어 저장되는 등록점 정보이다. 다음 단계에서는 도 5에서 상세히 설명한 얼굴보안코드를 생성하는 단계를 실시하고(S230), 생성이 완료되면 클라이언트 컴퓨터의 통신부를 통하여 사용자 아이디 및 얼굴영상 그리고 얼굴보안코드 그리고 상기 단계에서 얼굴좌표계로 저장된 얼굴패스워드 등록점을 서버 컴퓨터로 전송하는 단계를 실시한다(S240). 이때 전송되는 개인정보의 크기는 얼굴영상을 포함하므로 통상의 TCP/IP 통신에서 기본 패킷 크기보다 크므로 여러 개의 통신 패킷으로 분리하여 전송하게 된다. 통신망을 통하여 클라이언트 컴퓨터에서 전송한 데이터가 모두 서버 컴퓨터에 수신되면, 서버컴퓨터에서는 먼저 전송된 정지 얼굴영상에서 양쪽 눈의 얼굴좌표계 기준 좌표점을 추출하는 얼굴인식 단계를 실시한다(S250). 다음 단계에서 전송된 얼굴패스워드 등록점과 얼굴영상을 이용하여 얼굴보안코드를 다시 제작하는 단계를 실시하고(S260), 서버에서 제작된 얼굴보안코드와 클라이언트 컴퓨터에서 전송된 얼굴보안코드의 동일성을 검증하여 전송된 얼굴영상의 무결성을 간접적으로 판단하는 단계를 실시한다(S270). 그리고 검증 결과가 동일하지 않으면, 클라이언트 컴퓨터에 거절을 통지하는 단계를 실시하고(S300), 검증 결과가 동일하면 서버 데이터베이스에 아이디별 정지 얼굴영상 그리고 얼굴패스워드를 저장하는 단계를 실시하고(S280), 클라이언트 컴퓨터에 승인을 통지하는 단계를 실시한다(S290).6 illustrates a procedure for face password user registration of a client server system. After the client computer and the server computer are connected to each other by using a wired / wireless communication network (S200), and after receiving a face image of the user from a camera connected to the client computer as a next step, as shown in detail in FIG. In case of determination and face, a camera input image face recognition step of extracting a reference point corresponding to both eyes in the face is performed (S210), and a user's face password using a mouse or a touch screen in the face image from which the reference point is extracted. Newly received and stored in the client computer (S220). At this time, the stored face password is registration point information that is converted into a face coordinate system and stored. In the next step, the step of generating the face security code described in detail in FIG. 5 is performed (S230), and when the generation is completed, the user ID and face image and the face security code through the communication unit of the client computer and the face stored in the face coordinate system in the step. The password registration point is transmitted to the server computer (S240). In this case, since the size of the transmitted personal information includes a face image, the size of the personal information is larger than the basic packet size in the normal TCP / IP communication, so that the data is separated into several communication packets and transmitted. When all data transmitted from the client computer through the communication network is received by the server computer, the server computer performs a face recognition step of extracting the reference coordinate points of the face coordinate system of both eyes from the transmitted still face image (S250). Re-creating the face security code using the face password registration point and the face image transmitted in the next step (S260), verifying the identity of the face security code produced by the server and the face security code transmitted from the client computer Indirectly determining the integrity of the transmitted face image (S270). If the verification result is not the same, a step of notifying the rejection to the client computer is performed (S300). If the verification result is the same, the step of storing the still face image and the face password for each ID in the server database is performed (S280). In step S290, the client computer is notified of the approval.
도 7은 클라이언트 서버 시스템의 얼굴패스워드 사용자 인증을 위한 순서를 도시한 것이다. 도 6의 사용자 등록과정을 먼저 실시한 후, 다음과정으로 해당 아 이디에 대한 사용자 인증과정을 실시한다. 사용자 인증을 위하여 클라이언트 컴퓨터와 서버 컴퓨터가 유무선 통신망으로 연결되는 시작단계에서(S400), 카메라를 이용하여 사용자의 얼굴영상을 입력하고 얼굴영상에 대한 얼굴좌표계 기준좌표점을 추출하는 얼굴인식 단계를 실시하며(S410), 다음으로 얼굴영상을 이용하여 얼굴패스워드를 입력하는 단계를 실시하고(S420), 클라이언트 컴퓨터에 사용자 등록 후 저장된 얼굴패스워드 등록점들과 새로이 인증을 위해 입력된 얼굴패스워드 인증점들이 재입력 오차 허용범위 내에 존재하는지 여부를 판단하여 사용자 인증을 수행하는 얼굴패스워드 인증단계를 실시한다(S430). 얼굴패스워드가 동일하지 않다고 판단되는 경우 인증실패 단계를 실시하고 사용자 인증을 종료한다(S440). 그리고 동일한 얼굴패스워드로 인증되는 경우, 사용자 입력정보로서의 얼굴영상과 얼굴패스워드로 암호화 함수에 의해 제작되는 얼굴보안코드를 제작하고(S450) 아이디 및 얼굴영상 그리고 얼굴보안코드를 서버로 전송하는 단계를 실시한다(S460). 인증과정에서 실시하는 얼굴보안코드 생성과정은 등록과정과 동일하게 수행되지만, 적용되는 암호화 함수는 각각 다르게 정의하고 사용할 수도 있다. 또한 인증과정에서는 등록과정과 달리 클라이언트 컴퓨터에서 서버컴퓨터로 전송되는 개인정보 데이터의 구성에 있어서 얼굴패스워드가 제외된다. 통신망을 통하여 클라이언트 컴퓨터에서 전송한 데이터가 모두 서버 컴퓨터에 수신되면, 서버컴퓨터에서는 먼저 전송된 정지 얼굴영상에서 양쪽 눈의 얼굴좌표계 기준 좌표점을 추출하는 얼굴인식 단계를 실시한다(S470). 그리고 서버 컴퓨터에서는 해당 아이디에 대한 얼굴패스워드를 데이터베이스로부터 독출하고 전송된 얼굴영상을 이용하여 얼굴보안코드를 제작하는 단계를 실시하며(S480), 클라이언트 컴퓨터로부터 전송된 얼굴보안코드 및 서버컴퓨터에서 새로이 제작된 얼굴보안코드의 동일성을 비교 검증하는 단계를 실시한다(S490). 얼굴보안코드가 일치하지 않으면 클라이언트 컴퓨터에서 전송된 얼굴보안코드가 위조되었거나 전송된 얼굴영상이 위조 또는 변조된 것으로 판단하고, 클라이언트 컴퓨터에 거절을 통지하는 단계를 실시하고(S520), 얼굴보안코드가 일치하면 전송된 얼굴영상의 무결성이 간접적 수단으로 입증된 것으로 판단하고 서버 데이터베이스에 아이디별 정지 얼굴영상을 관리목적으로 저장하는 단계를 실시하고(S500), 클라이언트 컴퓨터에 승인을 통지하는 단계를 실시한다(S510). 상기 등록단계 및 인증단계에서 사용자의 정지 얼굴영상이 축적된 데이터베이스 정보는 종래의 얼굴인식기술에 의한 사용자 인증용 자료로 사용될 수 있는 장점을 가지고 있다.7 shows a procedure for face password user authentication of a client server system. After performing the user registration process of FIG. 6 first, the user authentication process for the corresponding ID is performed in the following process. In a start step in which a client computer and a server computer are connected to a wired / wireless communication network for user authentication (S400), a face recognition step of inputting a face image of a user using a camera and extracting a reference coordinate point for the face image is performed. Next, a step of inputting a face password using the face image is performed (S410), and the face password registration points stored after the user registration on the client computer and the face password authentication points newly inputted for authentication are regenerated. A face password authentication step of performing user authentication is performed by determining whether an input error exists within an allowable range (S430). If it is determined that the face password is not the same, the authentication failure step is performed and the user authentication is terminated (S440). When the same face password is authenticated, a face security code produced by an encryption function is generated using a face image and a face password as user input information (S450), and a step of transmitting an ID, a face image and a face security code to a server is performed. (S460). The face security code generation process performed in the authentication process is performed in the same manner as the registration process, but the encryption functions to be applied may be defined and used differently. In the authentication process, unlike the registration process, the face password is excluded from the configuration of the personal information data transmitted from the client computer to the server computer. When all data transmitted from the client computer through the communication network is received by the server computer, the server computer performs a face recognition step of extracting the reference coordinate point of the face coordinate system of both eyes from the transmitted still face image (S470). The server computer reads out the face password for the corresponding ID from the database and generates a face security code using the transmitted face image (S480). The face security code transmitted from the client computer and the server computer are newly produced. Comparing and verifying the identity of the face security code has been performed (S490). If the face security codes do not match, it is determined that the face security code transmitted from the client computer is forged or the transmitted face image is forged or tampered, and a step of notifying the client computer of rejection is performed (S520). If there is a match, it is determined that the integrity of the transmitted face image is proved by indirect means, and the step of storing the still face image for each management purpose in the server database is performed (S500), and notifying the client computer of the approval. (S510). The database information in which the still face image of the user is accumulated in the registration step and the authentication step has an advantage that it can be used as data for user authentication by conventional face recognition technology.
또 다른 실시 예로서 얼굴패스워드 인증 단계가 상기의 예와 같이 클라이언트 컴퓨터에서 실시되면, 서버시스템과는 무관하게 사용자의 얼굴패스워드를 추정하기 위하여 무한정 반복 실시될 수 있는 문제점이 도출될 수 있으므로, 이상의 문제를 해결하기 위한 보안상의 이유로 서버컴퓨터에서 도 3 또는 도 7의 얼굴패스워드 인증 단계(S430)를 얼굴보안코드 인증단계와 함께 순차적으로 실시할 수도 있다.As another example, when the face password authentication step is performed on the client computer as in the above example, a problem may be derived that can be repeated indefinitely to estimate the face password of the user regardless of the server system. For security reasons, the server computer may sequentially perform the face password authentication step S430 of FIG. 3 or 7 together with the face security code authentication step.
이상의 본 발명은 상기에 기술된 실시 예들에 의해 한정되지 않고 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있는데, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다. The present invention is not limited to the above-described embodiments and may be variously modified and changed by those skilled in the art, which are included in the spirit and scope of the present invention as defined in the appended claims.
이상에서 살펴본 바와 같이 본 발명에 의한 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법에 의하면, 사용자 본인의 얼굴영상을 이용하여 얼굴내의 임의로 선택한 지점들에 대한 정보를 인증원리로 사용하는 얼굴패스워드 인증과 등록된 얼굴패스워드 정보와 인증시의 얼굴영상을 이용하여 암호화 함수 연산하는 방법으로 제작되는 얼굴보안코드 인증의 상호 연관성을 갖는 두 가지 인증방법에 의해 온라인에서도 사용자 본인확인 기능을 강화하고, 사용자 인증 성공률은 크게 개선하면서, 정지 얼굴영상에 대한 개별적 보안수단도 제공하는 효과를 얻을 수 있고, 사용자 인증을 위한 정보의 형태가 다양한 특성에 의해 개인정보의 분산 저장 및 관리의 효과가 있는 새로운 클라이언트 서버 방식의 사용자 신원인증 시스템 및 방법을 제공한다.
As described above, according to the client server system and method for face password user authentication according to the present invention, face password authentication using information about randomly selected points in a face using the user's face image as an authentication principle, The user authentication function is strengthened online and the user authentication success rate is enhanced by two authentication methods that have the correlation between the face security code authentication produced by the encryption function calculation using the registered face password information and the face image during authentication. The new client server method has the effect of providing a separate security measure for still face images while greatly improving, and having the effect of distributed storage and management of personal information due to various characteristics of information for user authentication. User Identity Authentication System and Method Provided.
Claims (23)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040063285A KR100594195B1 (en) | 2004-08-11 | 2004-08-11 | System and method for the user's authentication by facial-password in the client-server computer system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040063285A KR100594195B1 (en) | 2004-08-11 | 2004-08-11 | System and method for the user's authentication by facial-password in the client-server computer system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060014654A true KR20060014654A (en) | 2006-02-16 |
KR100594195B1 KR100594195B1 (en) | 2006-07-03 |
Family
ID=37123569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040063285A KR100594195B1 (en) | 2004-08-11 | 2004-08-11 | System and method for the user's authentication by facial-password in the client-server computer system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100594195B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100834758B1 (en) * | 2006-07-05 | 2008-06-05 | 삼성전자주식회사 | Security apparatus for computer system and method for the same |
WO2010005215A2 (en) * | 2008-07-07 | 2010-01-14 | 주식회사 미래인식 | Method and system for entry and exit management using biometrics |
CN109635148A (en) * | 2018-12-14 | 2019-04-16 | 深圳英飞拓科技股份有限公司 | Face picture storage method and device |
KR102174548B1 (en) * | 2020-08-17 | 2020-11-05 | 주식회사 프라이봇 | Apparatus and method for access certification by facial code chain encryption |
CN116582281A (en) * | 2023-07-10 | 2023-08-11 | 中国人民解放军国防科技大学 | Safe face recognition method, system and equipment based on password technology |
-
2004
- 2004-08-11 KR KR1020040063285A patent/KR100594195B1/en active IP Right Grant
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100834758B1 (en) * | 2006-07-05 | 2008-06-05 | 삼성전자주식회사 | Security apparatus for computer system and method for the same |
US8646069B2 (en) | 2006-07-05 | 2014-02-04 | Samsung Electronics Co., Ltd. | Security apparatus for computer system and method thereof |
WO2010005215A2 (en) * | 2008-07-07 | 2010-01-14 | 주식회사 미래인식 | Method and system for entry and exit management using biometrics |
WO2010005215A3 (en) * | 2008-07-07 | 2010-03-11 | 주식회사 미래인식 | Method and system for entry and exit management using biometrics |
CN109635148A (en) * | 2018-12-14 | 2019-04-16 | 深圳英飞拓科技股份有限公司 | Face picture storage method and device |
CN109635148B (en) * | 2018-12-14 | 2021-06-15 | 深圳英飞拓科技股份有限公司 | Face picture storage method and device |
KR102174548B1 (en) * | 2020-08-17 | 2020-11-05 | 주식회사 프라이봇 | Apparatus and method for access certification by facial code chain encryption |
CN116582281A (en) * | 2023-07-10 | 2023-08-11 | 中国人民解放军国防科技大学 | Safe face recognition method, system and equipment based on password technology |
CN116582281B (en) * | 2023-07-10 | 2023-09-22 | 中国人民解放军国防科技大学 | Safe face recognition method, system and equipment based on password technology |
Also Published As
Publication number | Publication date |
---|---|
KR100594195B1 (en) | 2006-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9646296B2 (en) | Mobile-to-mobile transactions | |
US8478990B2 (en) | Mobile transaction methods and devices with three-dimensional colorgram tokens | |
CN110245482B (en) | Authentication method and system | |
US10848304B2 (en) | Public-private key pair protected password manager | |
CN107209821A (en) | For the method and authentication method being digitally signed to e-file | |
Im et al. | Practical privacy-preserving face authentication for smartphones secure against malicious clients | |
JP2004536384A (en) | Method, system, and computer program for remote authentication of fingerprint via network | |
JPWO2007094165A1 (en) | Identification system and program, and identification method | |
NO316489B1 (en) | System, portable device and method for digital authentication, encryption and signing by generating volatile but consistent and repeatable crypton keys | |
WO2012097362A2 (en) | Protecting codes, keys and user credentials with identity and patterns | |
EP3655874B1 (en) | Method and electronic device for authenticating a user | |
US20210367938A1 (en) | Biometrically-enhanced verifiable credentials | |
CN103297237B (en) | Identity registration and authentication method, system, personal authentication apparatus and certificate server | |
JPH10269182A (en) | User authentication method and user authentication system | |
Aanjanadevi et al. | Face Attribute Convolutional Neural Network System for Data Security with Improved Crypto Biometrics. | |
Han et al. | A novel hybrid crypto-biometric authentication scheme for ATM based banking applications | |
KR100594195B1 (en) | System and method for the user's authentication by facial-password in the client-server computer system | |
KR102068041B1 (en) | Appratus and method of user authentication and digital signature using user's biometrics | |
CN112334897A (en) | Method and electronic equipment for authenticating user | |
JP4749017B2 (en) | Pseudo biometric authentication system and pseudo biometric authentication method | |
CN203243360U (en) | Identity registration system | |
CN115280309A (en) | Method, system and computer program product for authentication | |
Joshi | Session passwords using grids and colors for web applications and PDA | |
KR20070044720A (en) | System and method for the one-time password's authentication by the human-face image | |
JP2004310202A (en) | Individual identification system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130621 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20140623 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20150622 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20160620 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20170622 Year of fee payment: 12 |
|
FPAY | Annual fee payment |
Payment date: 20180621 Year of fee payment: 13 |
|
FPAY | Annual fee payment |
Payment date: 20190619 Year of fee payment: 14 |