KR20060014654A - System and method for the user's authentication by facial-password in the client-server computer system - Google Patents

System and method for the user's authentication by facial-password in the client-server computer system Download PDF

Info

Publication number
KR20060014654A
KR20060014654A KR1020040063285A KR20040063285A KR20060014654A KR 20060014654 A KR20060014654 A KR 20060014654A KR 1020040063285 A KR1020040063285 A KR 1020040063285A KR 20040063285 A KR20040063285 A KR 20040063285A KR 20060014654 A KR20060014654 A KR 20060014654A
Authority
KR
South Korea
Prior art keywords
face
authentication
password
user
security code
Prior art date
Application number
KR1020040063285A
Other languages
Korean (ko)
Other versions
KR100594195B1 (en
Inventor
정욱진
Original Assignee
정욱진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정욱진 filed Critical 정욱진
Priority to KR1020040063285A priority Critical patent/KR100594195B1/en
Publication of KR20060014654A publication Critical patent/KR20060014654A/en
Application granted granted Critical
Publication of KR100594195B1 publication Critical patent/KR100594195B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Abstract

본 발명은 사용자 아이디에 대하여 전자적 인증을 수행하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법에 관한 것으로서, 클라이언트 컴퓨터에서는 얼굴패스워드를 이용하여 사용자의 본인확인을 위한 인증을 먼저 수행하고, 인증이 성공하면 약속된 보안함수에 의해 얼굴영상과 얼굴패스워드를 이용하여 제작되는 얼굴보안코드를 이용하여 클라이언트 서버에서의 사용자 인증을 실시하는 것을 특징으로 한다. 이러한 인증 방법은 사용자의 생체정보를 인증을 위한 전자 데이터로 활용하는 효과가 있으며, 얼굴영상과 얼굴패스워드를 이용하여 제작되는 얼굴보안코드는 사용자가 입력하는 기억정보는 간단하게 유지하면서 전자적 처리 과정에서는 복잡한 구조를 가지도록 하는 효과가 있고, 인증을 수행할 경우마다 사용자의 얼굴보안코드가 자동 갱신되도록 하는 보안 효과도 있다.The present invention relates to a client server system and method for face password user authentication that performs electronic authentication for a user ID. The client computer first performs authentication for user identification using a face password, and authentication is successful. Then, a user authentication at the client server is performed by using a face security code produced by using a face image and a face password by a promised security function. This authentication method has the effect of utilizing the user's biometric information as electronic data for authentication, and the face security code produced by using the face image and the face password in the electronic processing process while maintaining the memory information input by the user simply It has the effect of having a complicated structure, and also has the security effect of automatically updating the user's face security code every time authentication is performed.

이를 위한 본 발명은 클라이언트 컴퓨터에서 카메라를 이용하여 사용자의 얼굴영상을 입력하고 동시에 얼굴패스워드를 입력하는 단계; 기 입력된 얼굴패스워드와의 유사성을 비교하여 사용자 인증을 수행하는 단계; 동일한 얼굴패스워드로 인증되는 경우, 사용자마다 고유한 얼굴보안코드를 제작하고 인증을 위한 정보들을 서버로 전송하는 단계; 서버 컴퓨터에서는 해당 아이디에 대하여 얼굴보안코드를 제작하는 단계; 얼굴패스워드의 동일성을 비교 검증하는 단계; 얼굴보안코드 비교 검증 결과가 동일하면 사용자 인증을 승인하는 절차를 통신망을 이용하여 수행하는 단계를 포함하여 구성되는 것을 특징으로 한다. 또한, 본 발명에 의한 얼굴패스워 드를 이용한 사용자 인증시스템은, 얼굴영상을 획득할 카메라가 부착되고 카메라로부터 입력되는 얼굴영상에 대해 얼굴패스워드 기준점을 추출하는 얼굴인식부 및 얼굴패스워드 인증부를 구비하고 얼굴보안코드 생성부와 얼굴패스워드 저장부를 또한 구비하고 논리 연산을 수행할 제어부와 메모리 장치를 구비하며, 사용자 인증 정보를 송수신할 통신부를 구비한 클라이언트 컴퓨터; 및 상기 클라이언트 컴퓨터와 유무선 통신망으로 연결되어 있으며, 전송된 얼굴영상 인식부와 개인정보 데이터베이스 및 얼굴보안코드 생성부 및 검증부를 구비하고 있으며 논리 연산을 수행할 제어부와 메모리 장치 및 데이터 송수신을 위한 통신부가 구비된 서버 컴퓨터를 포함하여 구성되는 것을 특징으로 한다. To this end, the present invention comprises the steps of inputting a face image of a user using a camera at the client computer and simultaneously inputting a face password; Performing user authentication by comparing similarity with a previously input face password; If the same face password is authenticated, creating a unique face security code for each user and transmitting information for authentication to a server; Producing a face security code for the corresponding ID at the server computer; Comparing and verifying the identity of the face password; If the face security code comparison verification result is the same, it characterized in that it comprises a step of performing a procedure for approving user authentication using a communication network. In addition, the user authentication system using a face password according to the present invention, a face recognition unit and a face password authentication unit for attaching a camera to obtain a face image and extracts the face password reference point for the face image input from the camera, A client computer including a face security code generation unit and a face password storage unit, a control unit to perform a logical operation, and a memory device, and a communication unit to transmit / receive user authentication information; And a face image recognition unit, a personal information database, a face security code generation unit, and a verification unit connected to the client computer through a wired / wireless communication network, a control unit for performing logical operations, a memory device, and a communication unit for data transmission and reception. It is characterized by including a server computer provided.

Description

얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법{System and method for the user's authentication by facial-password in the client-server computer system}System and method for the user's authentication by facial-password in the client-server computer system}

도 1은 얼굴패스워드를 이용한 사용자 인증 시스템 및 방법에 대한 개요도1 is a schematic diagram of a user authentication system and method using a face password

도 2는 사용자 인증을 위한 클라이언트 서버 시스템의 구성도 2 is a configuration diagram of a client server system for user authentication

도 3은 얼굴패스워드 인증원리의 개요도Figure 3 is a schematic diagram of the face password authentication principle

도 4는 얼굴보안코드의 제작을 위한 개요도4 is a schematic diagram for the production of the face security code

도 5는 얼굴보안코드의 제작을 위한 순서도5 is a flow chart for the production of the face security code

도 6은 클라이언트 서버 시스템의 얼굴패스워드 사용자 등록을 위한 순서도6 is a flowchart for registering a face password user of a client server system.

도 7은 클라이언트 서버 시스템의 얼굴패스워드 사용자 인증을 위한 순서도7 is a flowchart for face password user authentication of a client server system.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

1: 사용자 본인(송신자) 2: 사용자의 얼굴영상1: user (sender) 2: user's face image

3: 클라이언트 컴퓨터 4: 카메라3: client computer 4: camera

5: 서버 컴퓨터 6: 데이터베이스5: server computer 6: database

7: 전기적 송신 및 수신 8: 인터넷7: Electrical transmission and reception 8: Internet

9: 주연산장치(CPU) 10: 메모리 장치9: main operation unit (CPU) 10: memory unit

11: 데이터 송수신을 위한 통신부 12: 카메라 입력영상 얼굴인식부11: Communication unit for data transmission and reception 12: Camera input image face recognition unit

13: 얼굴패스워드 인증부 14: 얼굴보안코드 생성부13: face password authentication unit 14: face security code generation unit

15: 얼굴패스워드 저장부 16: 정지영상 얼굴인식부15: face password storage unit 16: still image face recognition unit

17: 얼굴보안코드 및 얼굴영상 검증부 17: face security code and face image verification unit

18: 얼굴패스워드 제1 기준점(P1) 19: 얼굴패스워드 제2 기준점(P2)18: Face password first reference point P1 19: Face password second reference point P2

20, 21, 22, 23: 등록된 얼굴패스워드(M1, M2, M3, M4)20, 21, 22, 23: Registered face passwords (M1, M2, M3, M4)

20c, 21c, 22c, 23c: 얼굴패스워드 재입력 오차 허용범위20c, 21c, 22c, 23c: tolerance for face password re-entry error

20s, 21s, 22s, 23s: 인증을 위해 재입력된 얼굴패스워드(S1, S2, S3, S4)20s, 21s, 22s, 23s: Retyped face passwords (S1, S2, S3, S4) for authentication

25: 암호화 함수25: encryption function

26: 얼굴보안코드26: face security code

본 발명은 클라이언트 서버 구조의 통신망을 이용하는 사용자 아이디(ID) 및 패스워드 인증에 있어서, 사용자의 전자적 인증 수단으로 사용자 본인의 생체정보에 해당하는 얼굴영상과 본인이 직접 얼굴영상 위에 마우스 등의 수단으로 입력되는 여러 개의 위치정보 및 입력순서에 근거한 GUI(graphic user interface) 환경에서의 패스워드(이하에서는 "얼굴패스워드"이라 칭한다) 정보를 기반으로 암호화되어 제작되는 당사자의 고유한 얼굴보안코드에 의해 서버에서 사용자 아이디 인증을 수행하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법에 관한 것이다.According to the present invention, in the user ID and password authentication using a client server structure, the face image corresponding to the user's biometric information and the user directly input the face image on the face image by means of a mouse or the like through the electronic authentication means of the user. The user of the server by the unique face security code of the person who is encrypted based on the password (hereinafter referred to as "face password") information in the GUI (graphic user interface) environment based on multiple location information and input order A client server system and method for face password user authentication performing identity authentication.

종래 사용자 신원인증 기술로는 문자입력 방식의 아이디 및 패스워드방식이 가장 널리 사용되어오고 있다. 그리고 패스워드의 보안성을 강화하기 위하여 임의의 패스워드 형태인 PIN(Personal Identification Number) 번호 방식을 사용하기도 한다. 그리고 일회용 암호를 전자메일로 송수신하고 인증을 수행하거나, 클라이언트-서버에서 문답식의 사용자 신원인증 수단들이 사용되고 있다. 그리고 보다 보안성을 향상시키기 위하여 공개키 기반구조의 공인인증서를 사용하거나 공개키 암호화기술을 적용한 전자서명을 통하여 사용자 신원인증 기술을 적용하고 있으며, 현재 금융거래 등의 중요한 전자거래 형태에서 사용자 신원을 인증하기 위한 수단으로 활용하고 있다. Conventional user identification technology has been the most widely used ID and password method of the character input method. In order to enhance the security of the password, a PIN (Personal Identification Number) numbering scheme may be used. And one-time passwords are transmitted and received by e-mail and authenticated, or question-and-answer user identity authentication methods are used in client-server. In order to improve security, user identity authentication technology is applied by using public key infrastructure or digital signature with public key encryption technology. It is used as a means for authentication.

그리고 최근에는 휴대폰 번호 또는 휴대폰에 내장된 암호화 칩을 이용한 수단이나, 스마트 카드 및 RFID(radio frequency identification) 기술을 적용한 사용자 신원인증 수단을 실생활에 적용하고 있는 단계에 있다.Recently, the mobile phone number or a means using an encryption chip embedded in a mobile phone or a smart card and a user identity authentication means using a radio frequency identification (RFID) technology are being applied to the real life.

이상의 사용자 신원확인 수단들은 사용자의 생체특성을 반영하지 않은 임의의 숫자 및 문자 조합에 의해서만 아이디 및 패스워드 인증을 수행하므로 거래 상대방을 직접 눈으로 보거나 접촉할 수 없는 전자거래에서는 거래 상대방을 인증하는 측면에서 한계가 있을 수밖에 없는 문제점이 있다. Since the above user identification means performs ID and password authentication only by a random combination of numbers and letters that do not reflect the biometric characteristics of the user, in terms of authenticating the other party in an electronic transaction that cannot directly see or contact the other party. There is a problem that must be limited.

그리고 오래 전부터 이상의 문제점을 개선할 목적으로 생체인증을 이용한 사용자 신원인증 기술을 실제 산업현장에 적용하려는 많은 연구개발 노력들이 기울여 지고 있다. 생체인증 기술로는 얼굴인식, 지문인식, 홍채 또는 망막인식, 정맥인식 등의 인간의 정적인 특성을 이용하는 방법들이 있으며 사람의 행동성향을 분석하고 인증에 적용하려는 방법들로서 키보드 입력습관, 자필 싸인, 걸음걸이 및 음성 등의 방법들이 연구개발 되고 있다. 상기의 생체인식 방법들은 네트웍으로 연결된 수 많은 사용자들을 대상으로 사용자 신원인증 기술을 구현하기에는 현실적인 문제점들이 아직 극복되지 않았으며, 가장 큰 문제점으로 확률적 인증에러(EER: equal error rate) 즉 오인식률(FAR: false acceptance ratio) 및 오거부율(FRR: false rejection ratio)에 의해 모든 사용자들에게 100% 신원인증을 제공할 수 없는 곤란한 문제점이 있다. 그렇지만 생체인증 기술은 전자거래에 있어서 전자거래 당사자의 거래에 대한 부인방지 효과를 보다 확실하게 제공할 수 있는 기술적 방법이다.In order to improve the above problems, many research and development efforts have been made to apply user identity authentication technology using biometric authentication to actual industrial sites. Biometric technologies include the use of human's static characteristics such as face recognition, fingerprint recognition, iris or retinal recognition, and vein recognition, and methods to analyze human behavior and apply them to authentication. Gait and voice are being researched and developed. The above biometric methods have not yet overcome the practical problems of implementing the user identity authentication technique for a large number of users connected to the network. The biggest problem is the equal error rate (EER), that is, the false recognition rate ( There is a difficult problem in that it is not possible to provide 100% identity authentication to all users due to false acceptance ratio (FAR) and false rejection ratio (FRR). Nevertheless, biometric technology is a technical method that can more reliably provide the non-repudiation effect on the transactions of electronic trading parties in electronic transactions.

이외에도 오프라인 거래에서는 거래당사자들이 직접 대면하고 거래를 추진하는 것과 달리 온라인 거래에서는 전자적으로만 인증 및 거래정보를 송수신하므로 거래 상대방을 직접 대면할 수 없는 문제점이 있다. 종래의 생체인증 방법에 의한 사용자 신원확인 기술은 개인의 생체 템플릿을 전송하고 인증하는 방식에 의해 전자적으로는 본인확인 과정을 수행해주지만, 인증과 동시에 사람의 눈으로 직접 상대방을 확인하기 곤란한 형태가 대부분이다. 따라서 디지털 정지영상을 상기의 목적으로 거래 상대방에게 전송하고자 하는 경우 얼굴영상 데이터의 위조 및 변조에 대한 보안 기능을 별도로 제공하여야 한다.In addition, in the off-line transactions, unlike the trade partners face-to-face and promote the transaction, online transactions only send and receive authentication and transaction information, there is a problem that you can not face the other party directly. In the conventional biometric authentication method, a user identification technology is electronically performed by a method of transmitting and authenticating a personal biometric template, but at the same time, it is difficult to identify the other party directly with human eyes at the same time. to be. Therefore, if a digital still image is to be transmitted to a counterparty for the above purpose, a security function for forgery and forgery of face image data should be separately provided.

또 다른 기술적 요구에 의하면, 전자거래에 있어서 얼굴영상을 직접 전송하는 경우 아도베(Adobe Co., Ltd.)사의 포토샵(Photoshop) 프로그램과 같은 그림 편 집도구가 시중에 많이 배포되어 얼굴영상의 일부 혹은 전부를 쉽게 위조 및 변조할 수 있으며, 이미지의 일부를 다르게 표현하는 영상 패러디가 인터넷에서 사회현상으로 나타나고 있다. 이상의 문제점을 해결하기 위한 보안수단으로는 워터마킹(watermarking), 스테가노그라피(steganography), 스크램블(scramble) 등의 기술적 수단들이 있지만 영상 전체를 대상으로 암호화 알고리즘을 획일적으로 적용하는 보안기술이므로 암호화 및 복호화 과정에서 연산량이 많거나, 대칭키와 같은 보안구조의 속성상 각 개인의 얼굴영상에 대해서는 보안기능을 차별화할 수 없는 문제점도 있다. 또한 지금까지 개발된 암호화 알고리즘 중에서 대칭키 방식의 DES(Data Encryption Standard) 알고리즘과 비대칭키 방식의 RSA(Rivest Shamir Adleman), DSA(또는 DSS: Digital Signature Standard) 등으로 알려진 공개키(PKI: Public Key Infrastructure) 기반의 암호화 알고리즘에 기반한 보안성과 비교하여 상기 이미지 보안기술의 암호화 수준이 현저히 낮은 문제점이 있다. 따라서 디지털 정지 얼굴영상의 전송에 있어서 개인키가 적용된 보안 알고리즘 개발은 개인 얼굴영상 전송에서의 정보보호 측면에서도 필요한 기술이다.According to another technical requirement, in the case of direct transmission of facial images in electronic transactions, a large number of image editing tools, such as the Photoshop program of Adobe Co., Ltd., are widely distributed on the market. Or all of them can be easily forged and altered, and a video parody that expresses parts of an image differently appears as a social phenomenon on the Internet. Security measures for solving the above problems include watermarking, steganography, scramble and other technical means, but it is a security technology that applies encryption algorithm uniformly to the whole image. In the decryption process, there is a problem in that a security function cannot be differentiated for each face image due to a large amount of operation or a security structure such as a symmetric key. In addition, public key (PKI: Public Key, also known as symmetric key type DES (Data Encryption Standard) algorithm, asymmetric key type RSA (Rivest Shamir Adleman), DSA (or Digital Signature Standard), etc. Compared with the security based on the infrastructure based encryption algorithm, the encryption level of the image security technology is significantly lower. Therefore, the development of a security algorithm applied with a private key in the transmission of digital still face images is a necessary technique in terms of information protection in the transmission of personal face images.

또한 생체인증 기술과 데이터 전송에 대한 생체정보의 보안성을 높이기 위해 생체 템플릿 데이터와 공개키 기반의 암호화 기술을 접목하려는 다각적인 시도들이 현재까지 진행되고 있는 실정이다. In addition, various attempts have been made to combine biometric template data and public key-based encryption technology to enhance biosecurity information and security of biometric information for data transmission.

종래 아이디 패스워드 구조의 사용자 인증 방법 문제점으로는 사용자 편의성은 높지만 사용자 인증에 대한 보안은 취약한 방식이라는 점이다. 예를 들면, 키보드로 문자 및 숫자 조합의 패스워드를 입력하는 방식의 인증은 사용자가 복잡한 패 스워드를 조합해서 사용하면 보안성은 높지만 기억하기 곤란하며, 반대의 경우 쉬운 단어로 만든 패스워드는 기억하기는 쉽지만 추정에 의한 보안의 취약점이 발생한다.The problem of the user authentication method of the conventional ID password structure is that user convenience is high, but security for user authentication is a weak method. For example, authentication by entering a combination of letters and numbers on the keyboard is more secure but difficult to remember if the user uses a combination of complex passwords, and vice versa. Presumed security vulnerability.

생체인증의 경우는 개인의 생체정보가 변경이 매우 어려우므로 통신망을 통해 전송되는 개인의 생체정보를 보호하기 위한 암호화 기술이 매우 중요하다. In the case of biometric authentication, since it is very difficult to change the biometric information of an individual, encryption technology for protecting the biometric information of an individual transmitted through a communication network is very important.

또 한가지 문제점은 상기의 아이디 패스워드 인증 또는 생체인증에서와 같이 사용자가 직접 제공하는 인증을 위한 개인정보 자체가 통신망을 경유하여 서버로 전송되므로, 전송되는 개인정보로서의 인증 정보가 암호화되지 않는다면 사용자 컴퓨터 및 데이터의 전송 및 서버 컴퓨터에서의 사용자 인증용 개인정보에 대한 보안위험성이 집중되는 문제점이 있다. Another problem is that the personal information for authentication provided directly by the user, such as in ID password authentication or biometric authentication, is transmitted to the server via a communication network, so that the authentication information as the transmitted personal information is not encrypted. There is a problem that the security risks of data transfer and personal information for user authentication in the server computer are concentrated.

본 발명의 목적은 상기 문제점을 해결하기 위하여 이루어진 것으로, 클라이언트 컴퓨터에서는 사용자의 얼굴 생체정보와 상호 연관성을 갖고 전자적 인증을 실시하는 얼굴패스워드 인증 수단과 인증을 위해 제공되는 개인정보로서의 얼굴영상 및 얼굴패스워드 정보가 보호될 수 있도록 암호화할 수 있는 얼굴보안코드 수단이 논리적으로 결합되고 전송되어, 서버 시스템에서는 사용자 아이디에 대한 얼굴보안코드 인증이 실시되어 본인확인 특성이 우수한 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법을 제공하는데 있다. An object of the present invention is to solve the above problems, in the client computer, the facial image authentication means for performing the electronic authentication and correlated with the face biometric information of the user and the face image and face password as personal information provided for authentication The face security code means that can be encrypted so that information can be protected is logically combined and transmitted, the server system for the face password code authentication for the user ID is implemented in the server system, the client server system for face password user authentication with excellent identity characteristics And providing a method.

또한, 본 발명의 다른 목적은 사용자 인증에 사용되는 개인정보 데이터의 구 성에 있어서, 사용자 아이디의 인증을 위해 입력된 얼굴영상과 얼굴보안코드를 모두 클라이언트에서 서버로 전송하면, 서버 컴퓨터에서는 전송된 얼굴영상과 데이터베이스에 저장된 얼굴패스워드로부터 제작되는 얼굴보안코드와 전송된 얼굴보안코드의 동일성을 검증하는 방법으로 전송된 얼굴영상의 위조 변조 가능성과 전송된 얼굴보안코드의 무결성 판단을 동시에 달성할 수 있도록 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법을 제공하는데 있다.In addition, another object of the present invention is in the configuration of personal information data used for user authentication, if both the face image and the face security code input for authentication of the user ID from the client to the server, the face transmitted from the server computer By verifying the identity of the face security code generated from the image and the face password stored in the database and the transmitted face security code, the possibility of forgery tampering of the transmitted face image and the integrity determination of the transmitted face security code can be simultaneously achieved. A client server system and method for face password user authentication are provided.

또한, 본 발명의 또 다른 목적은 디지털 정지 얼굴영상 데이터의 전송시 사용자 본인이 임의의 형태로 지정하는 얼굴패스워드 정보가 암호화를 위한 얼굴보안코드 제작에 직접 사용되어 얼굴보안코드의 개별적 보안가치를 향상시키고, 동시에 위조 변조 가능성도 판단할 수 있도록 하는 보안방식의 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법을 제공하는데 있다.In addition, another object of the present invention is to improve the individual security value of the face security code by using the face password information specified by the user in a random form when transmitting digital still face image data directly used in the production of the face security code for encryption To provide a client server system and method for face-password user authentication in a secure manner that can determine the possibility of forgery tampering.

또한, 본 발명의 또 다른 목적은 사용자 인증 시스템에서의 개인정보 저장 및 인증을 위한 보안구조에 있어서, 사용자 입력 정보를 얼굴영상과 얼굴패스워드로 다원화하고 직접 인증에 사용되는 얼굴보안코드가 얼굴인식에 의한 수학적 좌표변환 과정과 암호화 과정을 통하여 제작되고 인증되도록 함으로서 종래의 방식에 비해 개인정보 분산 및 얼굴보안코드 생성과정에 의한 보안 효과가 우수하며, 동시에 사용자의 패스워드 기억은 간단하게 하면서 전자적으로 적용되는 패스워드는 매우 복잡하고 자동 갱신될 수도 있도록 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법을 제공하는데 있다.
Further, another object of the present invention is a security structure for storing and authenticating personal information in a user authentication system, wherein the user input information is diversified into a face image and a face password, and a face security code used for direct authentication is used for face recognition. It is manufactured and authenticated through mathematical coordinate conversion process and encryption process, and the security effect is excellent by the process of distributing personal information and face security code, compared to the conventional method, and at the same time, it is applied electronically while simplifying user's password memory. It is to provide a client server system and method for face password user authentication that allows passwords to be very complex and automatically updated.

상기 목적을 달성하기 위한 본 발명에 의한 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법은, 클라이언트 컴퓨터에서 카메라를 이용하여 사용자의 얼굴영상을 입력하고 동시에 얼굴영상을 이용하여 얼굴패스워드를 입력하는 단계;A client server system and method for face password user authentication according to the present invention for achieving the above object include: inputting a face image of a user using a camera at a client computer and simultaneously inputting a face password using the face image;

클라이언트 컴퓨터에서 등록된 얼굴패스워드와 인증을 위해 입력된 얼굴패스워드의 유사성을 비교하여 사용자 인증을 수행하는 단계;Performing user authentication by comparing the similarity between the registered face password at the client computer and the face password input for authentication;

동일한 패스워드로 인증되는 경우, 사용자 입력정보로서의 얼굴영상과 얼굴패스워드로 암호화 함수에 의해 제작되는 얼굴보안코드를 제작하고 아이디 및 얼굴영상 그리고 얼굴보안코드를 서버로 전송하는 단계;If the authentication is performed using the same password, generating a face security code produced by an encryption function using a face image and a face password as user input information, and transmitting an ID, a face image, and a face security code to a server;

서버 컴퓨터에서는 해당 아이디에 대한 얼굴패스워드를 데이터베이스로부터 독출하고 전송된 얼굴영상을 이용하여 얼굴보안코드를 제작하는 단계;Reading, by the server computer, a face password for the corresponding ID from a database and manufacturing a face security code using the transmitted face image;

클라이언트 컴퓨터로부터 전송된 얼굴보안코드와 서버컴퓨터에서 새로이 제작된 얼굴패스워드의 동일성을 비교 검증하는 단계;Comparing and verifying the identity of the face security code transmitted from the client computer and the newly created face password at the server computer;

해당 아이디의 얼굴보안코드 비교 검증 결과가 동일하면 클라이언트 컴퓨터에 사용자 인증을 승인하는 절차를 통신망을 이용하여 수행하는 단계를 포함하여 구성되는 것을 특징으로 한다.If the face security code comparison verification result of the corresponding ID is the same, the step of approving the user authentication to the client computer using a communication network, characterized in that configured to include.

또한, 본 발명에 의한 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템은, 얼굴영상을 획득할 카메라가 부착되고 카메라로부터 입력되는 얼굴영상에 대해 얼굴패스워드 기준점을 추출하는 얼굴인식부 및 얼굴패스워드 인증부를 구비 하고 얼굴보안코드 생성부와 얼굴패스워드 저장부를 또한 구비하고 논리 연산을 수행할 제어부와 메모리 장치를 구비하며, 데이터를 송수신할 통신부를 구비한 클라이언트 컴퓨터; 및The client server system for face password user authentication according to the present invention includes a face recognition unit and a face password authentication unit attached to a camera to acquire a face image and extracting a face password reference point for the face image input from the camera. A client computer including a face security code generation unit and a face password storage unit, including a control unit and a memory device to perform logical operations, and a communication unit to transmit and receive data; And

상기 클라이언트 컴퓨터와 유무선 통신망으로 연결되어 있으며, 전송된 얼굴영상 인식부와 개인정보 데이터베이스 및 얼굴보안코드 생성부 및 검증부를 구비하고 있으며 논리 연산을 수행할 제어부와 메모리 장치 및 데이터 송수신을 위한 통신부가 구비된 서버 컴퓨터를 포함하여 구성되는 것을 특징으로 한다. The client computer is connected to the wired / wireless communication network, and includes a face image recognition unit, a personal information database, a face security code generation unit, and a verification unit, and a control unit for performing logical operations, a memory device, and a communication unit for data transmission and reception. It is characterized in that it is configured to include a server computer.

이하, 첨부도면을 참조하여 본 발명의 실시 예에 대해 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법에 적용되는 세부 기술들을 차례로 상세히 설명하기로 한다.Hereinafter, the detailed techniques applied to the client server system and method for face password user authentication will be described in detail with reference to the accompanying drawings.

도 1은 얼굴패스워드를 이용한 사용자 인증 시스템 및 방법에 대한 개요를 도시한 것이다. 클라이언트 컴퓨터(3)가 인터넷(8) 통신망으로 연결되고 전기적 송신 및 수신(7) 과정을 실시하는 서버컴퓨터(5)구조에서 클라이언트 컴퓨터(3)를 이용하여 사용자 인증을 수행하는 사용자(1)는 클라이언트 컴퓨터(3)에 연결된 카메라(4)를 통하여 본인의 얼굴영상(2)을 입력할 수 있는 구조로 되어 있으며, 동시에 서버컴퓨터(5)는 여러 사용자들의 인증을 위한 개인정보를 저장하고 사용할 수 있는 데이터베이스(6)를 구비할 수 있는 구성이다. 전기적 송신 및 수신(7)과정을 상세히 설명하면 클라이언트 컴퓨터(3)에서 사용자 등록 또는 인증을 위한 소프트웨어를 서버 컴퓨터(5)로부터 다운로드받는 단계(7a)와 클라이언트 컴퓨터(3)에서 사 용자(1) 인증 절차를 수행하고 서버컴퓨터(5)에서의 사용자 인증을 요청하기 위하여 개인정보를 다시 클라이언트 컴퓨터(3)에서 서버컴퓨터(5)로 전송하는 단계(7b)와 클라이언트 컴퓨터(3)로부터 전송된 사용자 인증을 위한 개인정보를 이용하여 서버컴퓨터(5)에서 사용자 인증 절차를 수행하고 인증 결과를 다시 클라이언트 컴퓨터(3)로 전송하는 단계(7c)로 구성된다. 1 shows an overview of a user authentication system and method using a face password. In the server computer 5 structure in which the client computer 3 is connected to the Internet 8 communication network and performs the electrical transmission and reception process, the user 1 who performs user authentication using the client computer 3 The user can input his / her face image 2 through the camera 4 connected to the client computer 3, and at the same time, the server computer 5 can store and use personal information for authentication of various users. It is the structure which can be provided with the database 6 which exists. In detail, the process of electrical transmission and reception (7) is described. Step 7a of downloading the software for user registration or authentication from the client computer 3 from the server computer 5 and the user 1 from the client computer 3 is described. Step 7b of transferring personal information back from the client computer 3 to the server computer 5 to perform the authentication procedure and requesting user authentication on the server computer 5 and the user transmitted from the client computer 3 Step 7c is performed by performing a user authentication procedure at the server computer 5 using the personal information for authentication and transmitting the authentication result back to the client computer 3.

도 2는 사용자 인증을 위한 클라이언트 서버 시스템의 구성을 도시한 것이다. 클라이언트 컴퓨터(3)는 사용자의 얼굴영상을 입력받기 위하여 카메라 장치를(4) 구비하고 있으며, 컴퓨터 내부의 주요한 구성요소로서 카메라 입력영상 얼굴인식부를(12) 구비하고 있으며, 얼굴패스워드 인증부(13), 얼굴보안코드 생성부(14), 그리고 얼굴패스워드 저장부(15)로 구성되어 있으며, 상기의 사용자 인증을 위한 컴퓨터 연산을 수행할 주연산장치 제어부(9), 메모리장치를(10) 또한 구비하고 있으며, 데이터 송수신 통신부(11)도 구비하고 있다. 또한, 상기 클라이언트 컴퓨터(3)내 카메라 입력영상 얼굴인식부(12), 얼굴패스워드 인증부(13), 얼굴보안코드 생성부(14)를 구성하는 사용자 소프트웨어는 서버컴퓨터(5)로부터 통신망을 통하여 수신(7)된다.2 illustrates a configuration of a client server system for user authentication. The client computer 3 includes a camera device 4 for receiving a face image of a user, and is provided with a camera input image face recognition unit 12 as a main component of the computer, and a face password authentication unit 13 ), A face security code generation unit 14, and a face password storage unit 15, the main operation unit control unit 9 and the memory device 10 to perform the computer operation for the user authentication In addition, the data transmission and reception communication unit 11 is also provided. In addition, the user software constituting the camera input image face recognition unit 12, face password authentication unit 13, and face security code generation unit 14 in the client computer 3 is transmitted from the server computer 5 through a communication network. Is received (7).

상기의 클라이언트 컴퓨터 인증시스템에서, 카메라(4) 입력영상 얼굴인식부(12)에서는 카메라로부터 입력되는 동영상 중에서 임의의 한 장을 선택하고 선택된 정지영상에 대하여 얼굴인식 과정을 실시하여 인증을 위한 임의의 사람 얼굴영역이 있는지 여부를 판단한 후, 얼굴영상에 대하여 얼굴의 양쪽 눈 대상영역을 추출하고, 얼굴패스워드 입력을 수행할 수 있도록 양쪽 눈의 좌표 점을 설 정하는 기능을 수행한다. 얼굴패스워드 인증부는(13) 입력된 얼굴영상에서의 양쪽 눈에 해당하는 기준 좌표점이 설정된 후 사용자가 마우스 또는 터치스크린 방식으로 얼굴의 눈 코 입과 같은 기억하기 쉬운 부위를 임의로 지정하는 방법으로 얼굴 내에서의 입력위치와 입력순서를 패스워드로 활용하기 위한 얼굴패스워드 등록 및 인증 기능을 수행한다. 얼굴패스워드 생성부는(14) 등록된 얼굴패스워드 정보와 입력된 얼굴영상을 이용하여 암호화 함수 연산을 실시하는 기능을 수행한다. 얼굴패스워드 저장부(15)는 얼굴패스워드 등록 후 클라이언트 컴퓨터 내에 등록된 얼굴패스워드 값을 얼굴좌표계로 저장하는 기능을 수행한다. In the client computer authentication system described above, the camera 4 input image face recognition unit 12 selects any one of the moving images input from the camera and performs a face recognition process on the selected still image to perform any After determining whether there is a human face region, extracts both eye regions of the face from the face image, and sets coordinate points of both eyes to perform face password input. The face password authentication unit 13 sets a reference coordinate point corresponding to both eyes in the input face image, and then the user arbitrarily designates an easy-to-remember area such as an eye nose mouth of the face by a mouse or a touch screen method. Performs face password registration and authentication function to utilize the input location and input order in. The face password generator 14 performs a function of performing an encryption function by using the registered face password information and the input face image. The face password storage unit 15 stores a face password value registered in the client computer as a face coordinate system after face password registration.

인터넷으로 연결되어 전기적 송신 및 수신(7)을 수행할 서버 컴퓨터(5)는 데이터 송수신을 위한 통신부(11)를 통하여 사용자 인증을 위한 개인정보 즉 아이디, 얼굴영상, 얼굴보안코드가 모두 수신되면 전송된 한 장의 얼굴영상에 대하여 양쪽 눈의 기준 좌표 점을 추출하는 전송된 정지영상 얼굴 인식부(16), 해당 아이디의 얼굴좌표계 얼굴패스워드를 추출할 개인정보 데이터베이스(6), 상기의 정지영상과 개인정보 데이터베이스에서의 얼굴패스워드 정보를 이용하여 암호화 함수 연산을 실시하는 얼굴보안코드 생성부(14), 그리고 서버컴퓨터에서 자체적으로 제작한 얼굴보안코드와 클라이언트 컴퓨터로부터 전송된 개인정보로서의 얼굴보안코드 동일성을 검증하는 얼굴보안코드 검증부를(17) 구비하고 있으며, 상기의 사용자 인증을 위한 컴퓨터 연산을 수행할 주연산장치 제어부(9), 메모리장치를(10) 또한 구비하고 있다.The server computer 5, which is connected to the Internet and performs electrical transmission and reception, transmits all personal information for user authentication, that is, an ID, a face image, and a face security code, through the communication unit 11 for data transmission and reception. The transmitted still image face recognition unit 16 for extracting the reference coordinate points of both eyes with respect to a single face image, a personal information database 6 for extracting the face coordinate system face password of the corresponding ID, the still image and the individual The face security code generation unit 14 which performs encryption function calculation using the face password information in the information database, and the face security code identical to the face security code produced by the server computer as the personal information transmitted from the client computer. It is provided with a face security code verification unit 17 to verify, and the computer operation for the user authentication Also provided is a main operation unit control unit 9 and a memory unit 10 to be performed.

상기 서버컴퓨터 인증시스템에 있어서, 본 발명의 얼굴보안코드 생성부는(14) 동일한 암호화 함수와 얼굴보안코드 제작 방법을 사용하지만, 사용자의 요구에 의해 서로 동일하지 않은 암호화 함수를 적용하는 것도 가능하다. 즉 서버 컴퓨터(5)와 클라이언트 컴퓨터(3)의 얼굴보안코드 생성부(14)에서 동일한 사용자 입력정보로서의 얼굴영상과 얼굴패스워드를 적용하더라도 얼굴보안코드 값은 서로 일치하지 않는 값으로 제작하고, 추후 얼굴보안코드 검증부(17)에서 사전에 약속된 추가적인 연산을 수행하는 방법으로 해결 할 수도 있음을 밝혀둔다. 즉 서버 컴퓨터의 얼굴보안코드 생성부(14)에서 임의의 보안함수를 추가로 설계하여 적용하고, 얼굴보안코드 검증부(17)에서 다시 먼저 적용된 보안함수의 역함수를 적용하는 방식이다. 그리고 개인정보 데이터베이스(6)에서는 해당 아이디별로 등록단계의 얼굴패스워드 및 얼굴영상이 인증을 목적으로 저장되고, 인증단계에서 전송되는 얼굴영상은 관리목적으로 별도 저장되고 관리된다. 또한 정지영상 얼굴인식부는(16) 클라이언트 컴퓨터(3)의 카메라 입력영상 얼굴인식부(12)와 동일한 얼굴인식 알고리즘을 사용한다. In the server computer authentication system, the face security code generation unit 14 of the present invention uses the same encryption function and the face security code production method, but it is also possible to apply encryption functions not identical to each other at the request of the user. That is, even if the face security code generation unit 14 of the server computer 5 and the client computer 3 applies the face image and the face password as the same user input information, the face security code values are produced to be inconsistent with each other. It will be clear that the face security code verification unit 17 may be solved by performing an additional operation previously promised. That is, the face security code generation unit 14 of the server computer additionally design and apply an arbitrary security function, and the face security code verification unit 17 applies the inverse function of the security function applied first again. In the personal information database 6, the face password and the face image of the registration step for each ID are stored for the purpose of authentication, and the face image transmitted in the authentication step is separately stored and managed for management purposes. In addition, the still image face recognition unit 16 uses the same face recognition algorithm as the camera input image face recognition unit 12 of the client computer 3.

도 3은 얼굴패스워드 인증원리의 개요를 도시한 것이다. 도 3a는 얼굴인식 기술을 적용하여 얼굴의 양쪽 눈을 찾은 후 한쪽 눈을 (0,0)에 해당하는 제1 기준점(P1)(18)으로 사용하고 다른 한쪽 눈을 (100,0)인 제2 기준점(P2)(19)으로 설정하여 얼굴내에 입력되는 특정 위치점(x1,y1)(55)의 좌표 값을 새롭게 변환화고 규격화하는 원리를 나타낸 도면이다. 도 3a의 임의의 위치점(x1,y1)(55)은 제 1 및 제 2 기준점(P1, P2)에 의해, x-y 윈도좌표계로 표시된 특정 위치점 값이 기하학적으로 좌표변환되는 효과가 발생하며 이와 같은 새로운 좌표값의 변환이 사람의 양 쪽 눈을 기준으로 실시되는 변환계를 다음에서는 "얼굴좌표계"라 칭한다. 이와같은 얼굴좌표계의 특징은 등록 또는 인증단계에서 얼굴의 특정위치를 지정하여 입력하는 경우 사람의 얼굴이 카메라로부터 크게 입력되거나 작게 입력되고, 동시에 상하좌우로 이동하는 경우에도 각각 입력된 지점의 얼굴위치를 기억하는 것이 컴퓨터 윈도우 좌표계로 기억하는 것보다 쉽고 편리하다는 점이다. 즉 윈도우 화면상에 나타난 얼굴영상에서의 임의의 입력위치를 위도우 좌표계로 사용하는 것이 아니라 얼굴의 두 눈을 기준으로 삼각 측량법에 의해 재 지정되는 상대좌표계 즉 얼굴좌표계를 활용한다는 점이다. 그리고 통상의 학문적인 얼굴인식 기술을 이용하여 얼굴영상 내에서 양쪽 눈을 찾고 얼굴좌표계의 기준 좌표점을 설정하는 과정을 설명하면, 먼저 얼굴영상에서 영상의 이진화 및 칼라영상 분석과정 등을 통하여 얼굴의 눈, 눈썹, 코, 입 등의 대상영역을 추출하는 과정을 실시하고 다시 각각의 얼굴부위로 추정되는 덩어리(blob)들 중에서 눈에 해당하는 덩어리를 추출한다. 그리고 눈으로 추정되는 덩어리의 중심 좌표를 눈의 좌표로 인식하고 얼굴좌표계의 기준 좌표점(P1, P2)으로 사용한다. Figure 3 shows an overview of the face password authentication principle. Figure 3a is to find both eyes of the face by applying a face recognition technique, using one eye as the first reference point (P1) (18) corresponding to (0,0) and the other eye (100,0) 2 is a diagram showing the principle of newly converting and normalizing the coordinate values of the specific position points (x1, y1) 55 inputted into the face by setting the reference points (P2) 19. The arbitrary position points (x1, y1) 55 of FIG. 3A have the effect of geometrically transforming a specific position point value represented by the xy window coordinate system by the first and second reference points P1, P2. The conversion system in which the same new coordinate value conversion is performed with respect to both eyes of the person is hereinafter referred to as "face coordinate system". The feature of such a face coordinate system is that when a user inputs a specific position of a face in the registration or authentication step, a face of a human face is inputted from the camera in a large or small form, and at the same time, the face position of each face is moved. Remembering is easier and more convenient than remembering with computer window coordinates. In other words, it does not use an arbitrary input position in the face image displayed on the window screen as a latitude coordinate system, but uses a relative coordinate system that is re-designated by triangulation based on two eyes of the face. The process of finding both eyes in the face image and setting the reference coordinate points of the face coordinate system using conventional academic face recognition techniques will first be described. A process of extracting target areas such as eyes, eyebrows, noses, and mouths is performed, and the masses corresponding to the eyes are extracted from the masses estimated to be the face parts. The center coordinates of the lump, which are estimated as eyes, are recognized as eye coordinates and used as reference coordinate points P1 and P2 of the face coordinate system.

도 3b는 얼굴좌표계를 이용하여 얼굴패스워드 인증을 실시하는 원리를 설명하고자 하는 도면으로서, 먼저 얼굴패스워드의 개념을 간단히 설명하면 종래의 문자 및 숫자의 조합으로 키보드를 이용하여 입력되는 형태의 패스워드와는 달리 카메라를 통하여 컴퓨터 화면상에 사용자의 얼굴영상이 도입되고, 컴퓨터 화면상에서 마우스 또는 터치스크린을 이용하여 얼굴영상 내에 임의로 지정되는 다수의 위치점들이 다시 입력되면, 얼굴좌표계를 이용하여 등록단계에서의 입력점들과 인증단계 에서의 입력점들에 대한 입력순서와 입력위치의 유사성을 판별하는 방법의 인증체계를 설명하는 것으로, 다음에서는 "얼굴패스워드 인증"이라 칭한다. 얼굴패스워드 인증에 대하여 도 3b를 이용하여 상세히 설명하면 다음과 같다. 등록단계에서 마우스로 입력되는 사용자의 임의의 입력점들은 양쪽 눈에 해당하는 얼굴좌표계의 기준점(P1, P2)(18, 19)에 대하여 일련의 고유한 패턴을 형성하게 되고, 얼굴좌표계로 인식되는 얼굴패스워드 등록점(M1, M2, M3, M4)(20, 21, 22, 23) 형태로 저장된다. 인증단계에서 사용자의 등록단계 기억에 의해 다시 반복 입력되면, 입력점들은 입력을 위해 사용한 얼굴영상에서 얼굴좌표계의 기준점(P1, P2)(18, 19)들에 의해 얼굴좌표계로 변환되어 얼굴패스워드 인증점(S1, S2, S3, S4)(20s, 21s, 22s, 23s)들로 표현된다. 상기의 얼굴패스워드 입력점들은 입력위치 및 입력순서를 모두 인증에 적용하며, 사용자 얼굴패스워드 인증을 위해 입력순서와 입력위치를 동일하게 실시하더라도, 도 3b에 나타낸바와 같이 인증점과 등록점의 위치가 정확하게 일치하기 어렵다. 따라서 얼굴패스워드 인증에서는 사용자의 기억오차, 입력오차를 고려한 얼굴패스워드 재입력 오차 허용범위를(20c, 21c, 22c, 23c) 설정하고 있으며, 오차 범위 허용 값은 입력점마다 각각 다르게 설정할 수도 있고, 모든 입력점에 대하여 단일화 할 수도 있다. FIG. 3B is a view for explaining the principle of face password authentication using a face coordinate system. First, the concept of face password will be briefly described. Otherwise, if a face image of the user is introduced on the computer screen through the camera, and a plurality of position points arbitrarily designated in the face image are input again using a mouse or a touch screen on the computer screen, the face coordinate system is used to register the face image. The authentication scheme of the method for determining the similarity between the input order and the input position for the input points and the input points in the authentication step will be referred to as "face password authentication" in the following. The facial password authentication will be described in detail with reference to FIG. 3B. Any input points of the user inputted by the mouse in the registration step form a series of unique patterns with respect to the reference points (P1, P2) (18, 19) of the face coordinate system corresponding to both eyes, and are recognized as the face coordinate system. Face password registration points (M1, M2, M3, M4) (20, 21, 22, 23) is stored in the form. When inputted again by the user's registration step memory in the authentication step, the input points are converted into the face coordinate system by the reference points (P1, P2) (18, 19) of the face coordinate system in the face image used for input, and the face password authentication is performed. It is represented by points S1, S2, S3, S4 (20s, 21s, 22s, 23s). The above face password input points apply both the input position and the input order to the authentication, and even though the input order and the input position are performed for the user face password authentication, the positions of the authentication point and the registration point are as shown in FIG. 3B. It is difficult to match exactly. Therefore, in the face password authentication, the allowable range of the face password re-input error (20c, 21c, 22c, 23c) considering the user's memory error and input error is set, and the allowable error range can be set differently for each input point. You can also unify the input point.

이와 같은 인증체계의 특징은 종래의 패스워드와는 달리 생체정보를 이용하여 인증을 수행한다는 점이고, 또한 종래의 패스워드는 입력된 패스워드와 인증을 요청하는 패스워드가 동일한지를 판별하는 방법이지만, 얼굴패스워드는 등록된 위치점들의 입력순서에 따라 인증을 요청하는 위치점들의 입력위치 오차를 판별하고 유사성을 판별하는 인증방법을 사용한다는 점이다. 따라서 얼굴패스워드 인증에서도 오인식율이 존재할 수 있지만, 인증을 위해 종래의 얼굴인식에서는 많은 수량의 얼굴특징 정보를 사용하는 점과 달리 본 발명에서는 얼굴내 양쪽 눈만을 생체정보로 활용하는 방법에 의해 오인식율이 크게 개선될 수 있다. 얼굴패스워드 인증에서는 양쪽 눈을 찾는 생체인식 단계를 전처리과정으로 먼저 실시한다. 다음으로 실시하는 사용자 입력정보의 유사성을 판별하는 단계에서는 얼굴좌표계의 기준점(P1, P2)(18, 19)으로 하는 얼굴좌표계로의 변환 후 등록점들과 인증점들의 입력순서 및 위치오차를 단순히 판단하기 위한 수학적 연산만을 수행하므로 논리적 오차는 존재하지 않는 특징을 가진다. 즉 반드시 "예 또는 아니오" 에 대한 결과를 도출할 수 있는 인증수단이다. 이상과 같은 얼굴패스워드 인증방식은 타인의 얼굴을 이용해서도 본인의 얼굴패스워드 인증을 수행할 수 있는 특징이 있으므로 종래의 얼굴인증과는 다른 기술이라고 할 수 있다. 그렇지만 인증을 수행하는 본인의 얼굴영상이 인증을 위해 반드시 사용되어야만 얼굴패스워드 인증을 수행할 수 있다는 점에서 인증을 요청한 사람에 대한 신원확인 보안효과가 있으며, 종래의 문자 입력에 의한 패스워드 인증방식과는 또 다른 얼굴화면을 이용한 패스워드 인증방식이라는 점이 특징이다. The characteristic of such an authentication system is that unlike a conventional password, authentication is performed using biometric information. In addition, a conventional password is a method for determining whether an input password and a password for authentication are the same, but a face password is registered. It is to use the authentication method to determine the input position error of the location points requesting authentication in accordance with the input order of the location points and to determine the similarity. Therefore, in the face password authentication, there may be a false recognition rate, but unlike the conventional face recognition uses a large amount of facial feature information for authentication, in the present invention, the false recognition rate by the method using only both eyes in the face as biometric information This can be greatly improved. In face password authentication, the biometric step of finding both eyes is first performed as a preprocessing process. In the next step of determining the similarity of the user input information, the input order and position error of the registration points and the authentication points after conversion to the face coordinate system as reference points (P1, P2) (18, 19) of the face coordinate system are simply determined. Since only a mathematical operation for determining is performed, a logical error does not exist. In other words, it is an authentication means that can yield a result of "yes or no". The face password authentication method as described above may be referred to as a technology different from the conventional face authentication because the face password authentication may be performed using another person's face. However, since the face image of the person performing the authentication must be used for authentication, the face password authentication can be performed. Therefore, there is a security effect of identity verification for the person requesting the authentication. Another feature is that it is a password authentication method using a face screen.

도 4는 얼굴보안코드의 제작을 위한 개요를 도시한 것으로 얼굴보안코드 제작을 위하여 얼굴패스워드와 얼굴영상을 이용하여 얼굴보안코드 제작을 위한 암호화 함수 연산을 실시하여 얼굴보안코드를 제작하는 과정을 나타낸 것이다. 카메라로부터 입력된 얼굴영상(2)과 얼굴영상(2)으로부터 추출된 얼굴패스워드 기준점(18, 19) 그리고 기준점(18, 19)에 대하여 표기된 얼굴패스워드 등록점들을(20, 21, 22, 23) 이용하여 암호화 함수(25)로 연산을 실시하여 얼굴보안코드(26)를 제작한다. 얼굴보안코드를 제작하기 위해 사용되는 암호화 함수(25)를 다시 상세히 설명하면, 얼굴좌표계의 얼굴패스워드 등록점들이 윈도우좌표계로 다시 변환되면 얼굴영상 변화에 따라 서로 다른 좌표 값{(x1,y1), (x2,y2), (x3,y3), (x4,y4)}으로 표현될 수 있다. 그리고 암호화 함수(25)로서 다항방정식 형태의 일방향 함수를 사용한다. 예를 들면 f(x1, y1, x2, y2, x3, y3, x4, y4)=ax1*by1*cx2*dy2*ex3*gy3*hx4*iy4 함수에서 a, b, c, d, e, g, h, i 는 상수이고, 좌표 값을 변수로 적용하여 연산하는 방법이다. 얼굴패스워드의 윈도우좌표값을 각각의 변수 값으로 대입하여 하나의 결과 값을 도출하고, 함수 연산 결과 값을 다시 16진수 값으로 변환하는 방식에 의해 사용자의 얼굴보안코드를 제작한다. 또한 상기 연산과정에서 사용된 좌표값 이외에 얼굴영상과 얼굴보안코드의 상관성을 증가시키기 위하여 4개의 등록점 각각에 해당하는 픽셀에서의 RGB 또는 YCbCr 화상정보 값에서 색상, 명도, 채도 정보에서 선택하여 다항방정식의 변수 값으로 추가 적용할 수도 있음은 물론이다. 그리고 당업자에 의해 실시된 함수연산 결과 값의 16진수 변환은 필요에 의해 변경될 수 있음을 밝혀 둔다.Figure 4 shows the outline for the production of a face security code, showing the process of producing a face security code by performing an encryption function operation for the face security code using a face password and a face image to produce a face security code will be. The facial password reference points 18 and 19 extracted from the face image 2 and the facial image 2 input from the camera, and the facial password registration points marked with respect to the reference points 18 and 19 (20, 21, 22, 23). By using the encryption function 25 to perform the operation to produce a face security code (26). The encryption function 25 used to produce the face security code will be described in detail. When the face password registration points of the face coordinate system are converted back to the window coordinate system, different coordinate values {(x1, y1), (x2, y2), (x3, y3), (x4, y4)}. As the encryption function 25, a one-way function in the form of a polynomial equation is used. For example, in the functions f (x1, y1, x2, y2, x3, y3, x4, y4) = ax1 * by1 * cx2 * dy2 * ex3 * gy3 * hx4 * iy4 a, b, c, d, e, g , h, and i are constants and can be calculated by applying coordinates to variables. The user's face security code is produced by substituting the window coordinate value of the face password into each variable value to derive one result value and converting the result of the function operation back to the hexadecimal value. In addition, in order to increase the correlation between the face image and the face security code in addition to the coordinate values used in the calculation process, the polynomial is selected from the hue, lightness, and saturation information from RGB or YCbCr image information values of pixels corresponding to four registration points. Of course, it can also be applied as a variable value of the equation. And it will be appreciated that the hexadecimal conversion of the result of the function operation performed by those skilled in the art can be changed as necessary.

상기의 얼굴보안코드 제작방법 특징은 사용자의 기억정보로서의 얼굴패스워드와 사용자의 생체정보로서의 얼굴영상을 얼굴보안코드 제작에 동시에 적용하는 방법으로서 얼굴보안코드의 복제에 사용될 개인정보를 분산 관리할 수 있다는 점이다. 또한, 상기의 방법으로 제작된 얼굴보안코드와 얼굴영상은 얼굴패스워드 및 암 호화 함수에 의해 수학적으로 상호 연관성을 가지게 되므로 얼굴보안코드가 얼굴영상의 진위를 판별할 수 있는 기술적 수단이 될 수 있다. 즉 동일한 사람으로부터 획득되는 얼굴영상이라도 주위의 조명조건, 화면내의 얼굴의 위치, 얼굴의 미세한 포즈 변화 등으로 인하여 항상 변화하는 특징을 가지는 것이 얼굴영상이므로 동일한 얼굴패스워드 정보에 의해 제작되는 얼굴보안코드도 역시 항상 변화하게 되는 특징을 갖게 된다. 정지 얼굴영상의 보안측면에서 다시 설명하면 얼굴패스워드라고 하는 사용자의 독창적인 입력 값이 본인의 정지얼굴영상마다 얼굴보안코드를 생성하게 되는 시작 정보이므로, 얼굴보안코드 인증에 의해 인증에 사용된 본인 얼굴영상의 위조 및 변조 가능성에 대한 간접적 열쇠 역할을 제공하는 특징도 갖는다. The method of manufacturing a face security code is a method of simultaneously applying a face password as a user's memory information and a face image as a user's biometric information to a face security code, which can distribute and manage personal information to be used for copying a face security code. Is the point. In addition, since the face security code and the face image produced by the above method are mathematically related by the face password and the encryption function, the face security code can be a technical means for determining the authenticity of the face image. That is, even a face image obtained from the same person has a characteristic that is constantly changing due to the surrounding lighting conditions, the position of the face in the screen, and the minute pose change of the face, so that the face security code produced by the same face password information is also used. It also has the characteristic of always changing. In the security aspect of the still face image, since the original input value of the user, the face password, is the start information that generates the face security code for each still face image, the face used for authentication by face security code authentication. It also features features that provide an indirect key to image forgery and tampering.

도 5는 얼굴보안코드의 제작을 위한 순서를 도시한 것이다. 얼굴보안코드 제작과정을 단계별로 상세히 설명하면, 먼저 얼굴보안코드 제작을 위한 시작 과정으로 개인정보 수집단계를 실시한다(S100). 개인정보 수집단계에서는 얼굴영상과 클라이언트 컴퓨터에 저장된 얼굴좌표계로 저장된 얼굴패스워드 등록점 정보를 준비한다. 또한 서버 컴퓨터에서는 데이터베이스에서 얼굴패스워드 등록점을 독출한다. 다음 단계로 준비된 얼굴영상에서 양쪽 눈을 추출하고 얼굴좌표계의 기준좌표로 설정하는 단계를 실시한다(S110). 양쪽 눈의 기준점이 얼굴영상에서 추출되면 얼굴패스워드 정보가 얼굴좌표계와 윈도우좌표계 사이를 당업자의 필요에 의해 자유로이 변환 가능함을 의미하게 된다. 다음 단계로 얼굴좌표계로 표시된 얼굴패스워드 등록점을 윈도우좌표계로 변환하는 단계를 실시한다(S120). 이와 같은 단계를 실시하는 이유는 동일한 얼굴패스워드 등록점을 인증에 사용된 얼굴영상을 이용하여 인증 할 때마다 다르게 표현하기 위함이다. 즉 동일한 얼굴좌표계의 얼굴패스워드가 얼굴의 크기가 다르거나 화면 내에서의 상하좌우 위치가 각각 다른 얼굴영상에 표현되면, 윈도우좌표계 관점에서는 얼굴패스워드가 다르게 표현되는 효과를 이용하고자 하는 것이다. 다음 단계에서는 얼굴보안코드를 제작하기 위한 암호화 함수에 적용될 변수 값을 선택하는 단계를 실시한다(S130). 다음단계로 전 단계에서 추출된 입력정보를 암호화 함수에 대입하고 암호화 함수 연산을 실시한다(S140). 다음 단계로 함수 연산으로 얻어지는 결과 값을 16진수로 변환하는 보안코드의 규격화 단계를 실시한다(S150). 본 단계에서는 보안코드 표현에 있어서, 함수 연산 결과 값의 복잡성을 증가하기 위하여 16진수 보다 더 높은 진수로 변환할 수 있고, 문자의 수를 제한하는 방법으로 보안코드의 길이를 규격화할 수도 있다. 마지막 단계로 얼굴보안코드 생성이 완료되는 단계를 실시한다(S160). 즉 전 단계에서 제작이 완료된 얼굴보안코드를 메모리 또는 저장장치에 보관하고 사용자 인증을 위한 다음단계를 실시함을 의미한다. 5 shows a procedure for manufacturing a face security code. If the detailed description of the face security code production process step by step, first performs a personal information collection step as a start process for producing a face security code (S100). In the personal information collecting step, the face password registration point information stored in the face image and the face coordinate system stored in the client computer is prepared. The server computer also reads the face password registration point from the database. In the next step, both eyes are extracted from the prepared face image and the reference coordinates of the face coordinate system are set (S110). When the reference points of both eyes are extracted from the face image, it means that the face password information can be freely converted between the face coordinate system and the window coordinate system as required by those skilled in the art. Next, a step of converting the face password registration point indicated by the face coordinate system into the window coordinate system is performed (S120). The reason for performing such a step is to express the same face password registration point differently every time authentication is made using the face image used for authentication. That is, when face passwords of the same face coordinate system are represented in different face images or face images having different positions of up, down, left and right in the screen, the face password is expressed differently from the viewpoint of the window coordinate system. In the next step, a variable value to be applied to an encryption function for producing a face security code is selected (S130). In the next step, the input information extracted in the previous step is substituted into the encryption function, and the encryption function is performed (S140). In the next step, a standardization step of the security code for converting the result value obtained by the function operation into hexadecimal is performed (S150). In this step, in the security code representation, in order to increase the complexity of the function operation result value, the security code may be converted to a higher number than the hexadecimal number, and the length of the security code may be standardized by limiting the number of characters. As a final step, the face security code generation is completed (S160). This means that the face security code, which has been completed in the previous step, is kept in a memory or a storage device and the next step for user authentication is performed.

도 6은 클라이언트 서버 시스템의 얼굴패스워드 사용자 등록을 위한 순서를 도시한 것이다. 클라이언트 컴퓨터와 서버컴퓨터가 유무선 통신망을 이용하여 연결되는 시작 단계를 실시하고(S200), 다음 단계로 클라이언트 컴퓨터에 연결된 카메라로부터 사용자의 얼굴영상을 입력받은 후 도 3에서 상세히 설명한 바와 같이 얼굴의 유 무 판단 및 얼굴이 존재하는 경우 얼굴내에서 양쪽 눈에 해당하는 기준점을 추출하는 카메라 입력영상 얼굴인식 단계를 실시하고(S210), 기준점이 추출된 얼굴영상내에서 마우스 또는 터치스크린을 이용한 사용자의 얼굴패스워드 신규로 입력받고 클라이언트 컴퓨터 내에 저장하는 단계를 실시한다(S220). 이때 저장되는 얼굴패스워드는 얼굴좌표계로 변환되어 저장되는 등록점 정보이다. 다음 단계에서는 도 5에서 상세히 설명한 얼굴보안코드를 생성하는 단계를 실시하고(S230), 생성이 완료되면 클라이언트 컴퓨터의 통신부를 통하여 사용자 아이디 및 얼굴영상 그리고 얼굴보안코드 그리고 상기 단계에서 얼굴좌표계로 저장된 얼굴패스워드 등록점을 서버 컴퓨터로 전송하는 단계를 실시한다(S240). 이때 전송되는 개인정보의 크기는 얼굴영상을 포함하므로 통상의 TCP/IP 통신에서 기본 패킷 크기보다 크므로 여러 개의 통신 패킷으로 분리하여 전송하게 된다. 통신망을 통하여 클라이언트 컴퓨터에서 전송한 데이터가 모두 서버 컴퓨터에 수신되면, 서버컴퓨터에서는 먼저 전송된 정지 얼굴영상에서 양쪽 눈의 얼굴좌표계 기준 좌표점을 추출하는 얼굴인식 단계를 실시한다(S250). 다음 단계에서 전송된 얼굴패스워드 등록점과 얼굴영상을 이용하여 얼굴보안코드를 다시 제작하는 단계를 실시하고(S260), 서버에서 제작된 얼굴보안코드와 클라이언트 컴퓨터에서 전송된 얼굴보안코드의 동일성을 검증하여 전송된 얼굴영상의 무결성을 간접적으로 판단하는 단계를 실시한다(S270). 그리고 검증 결과가 동일하지 않으면, 클라이언트 컴퓨터에 거절을 통지하는 단계를 실시하고(S300), 검증 결과가 동일하면 서버 데이터베이스에 아이디별 정지 얼굴영상 그리고 얼굴패스워드를 저장하는 단계를 실시하고(S280), 클라이언트 컴퓨터에 승인을 통지하는 단계를 실시한다(S290).6 illustrates a procedure for face password user registration of a client server system. After the client computer and the server computer are connected to each other by using a wired / wireless communication network (S200), and after receiving a face image of the user from a camera connected to the client computer as a next step, as shown in detail in FIG. In case of determination and face, a camera input image face recognition step of extracting a reference point corresponding to both eyes in the face is performed (S210), and a user's face password using a mouse or a touch screen in the face image from which the reference point is extracted. Newly received and stored in the client computer (S220). At this time, the stored face password is registration point information that is converted into a face coordinate system and stored. In the next step, the step of generating the face security code described in detail in FIG. 5 is performed (S230), and when the generation is completed, the user ID and face image and the face security code through the communication unit of the client computer and the face stored in the face coordinate system in the step. The password registration point is transmitted to the server computer (S240). In this case, since the size of the transmitted personal information includes a face image, the size of the personal information is larger than the basic packet size in the normal TCP / IP communication, so that the data is separated into several communication packets and transmitted. When all data transmitted from the client computer through the communication network is received by the server computer, the server computer performs a face recognition step of extracting the reference coordinate points of the face coordinate system of both eyes from the transmitted still face image (S250). Re-creating the face security code using the face password registration point and the face image transmitted in the next step (S260), verifying the identity of the face security code produced by the server and the face security code transmitted from the client computer Indirectly determining the integrity of the transmitted face image (S270). If the verification result is not the same, a step of notifying the rejection to the client computer is performed (S300). If the verification result is the same, the step of storing the still face image and the face password for each ID in the server database is performed (S280). In step S290, the client computer is notified of the approval.

도 7은 클라이언트 서버 시스템의 얼굴패스워드 사용자 인증을 위한 순서를 도시한 것이다. 도 6의 사용자 등록과정을 먼저 실시한 후, 다음과정으로 해당 아 이디에 대한 사용자 인증과정을 실시한다. 사용자 인증을 위하여 클라이언트 컴퓨터와 서버 컴퓨터가 유무선 통신망으로 연결되는 시작단계에서(S400), 카메라를 이용하여 사용자의 얼굴영상을 입력하고 얼굴영상에 대한 얼굴좌표계 기준좌표점을 추출하는 얼굴인식 단계를 실시하며(S410), 다음으로 얼굴영상을 이용하여 얼굴패스워드를 입력하는 단계를 실시하고(S420), 클라이언트 컴퓨터에 사용자 등록 후 저장된 얼굴패스워드 등록점들과 새로이 인증을 위해 입력된 얼굴패스워드 인증점들이 재입력 오차 허용범위 내에 존재하는지 여부를 판단하여 사용자 인증을 수행하는 얼굴패스워드 인증단계를 실시한다(S430). 얼굴패스워드가 동일하지 않다고 판단되는 경우 인증실패 단계를 실시하고 사용자 인증을 종료한다(S440). 그리고 동일한 얼굴패스워드로 인증되는 경우, 사용자 입력정보로서의 얼굴영상과 얼굴패스워드로 암호화 함수에 의해 제작되는 얼굴보안코드를 제작하고(S450) 아이디 및 얼굴영상 그리고 얼굴보안코드를 서버로 전송하는 단계를 실시한다(S460). 인증과정에서 실시하는 얼굴보안코드 생성과정은 등록과정과 동일하게 수행되지만, 적용되는 암호화 함수는 각각 다르게 정의하고 사용할 수도 있다. 또한 인증과정에서는 등록과정과 달리 클라이언트 컴퓨터에서 서버컴퓨터로 전송되는 개인정보 데이터의 구성에 있어서 얼굴패스워드가 제외된다. 통신망을 통하여 클라이언트 컴퓨터에서 전송한 데이터가 모두 서버 컴퓨터에 수신되면, 서버컴퓨터에서는 먼저 전송된 정지 얼굴영상에서 양쪽 눈의 얼굴좌표계 기준 좌표점을 추출하는 얼굴인식 단계를 실시한다(S470). 그리고 서버 컴퓨터에서는 해당 아이디에 대한 얼굴패스워드를 데이터베이스로부터 독출하고 전송된 얼굴영상을 이용하여 얼굴보안코드를 제작하는 단계를 실시하며(S480), 클라이언트 컴퓨터로부터 전송된 얼굴보안코드 및 서버컴퓨터에서 새로이 제작된 얼굴보안코드의 동일성을 비교 검증하는 단계를 실시한다(S490). 얼굴보안코드가 일치하지 않으면 클라이언트 컴퓨터에서 전송된 얼굴보안코드가 위조되었거나 전송된 얼굴영상이 위조 또는 변조된 것으로 판단하고, 클라이언트 컴퓨터에 거절을 통지하는 단계를 실시하고(S520), 얼굴보안코드가 일치하면 전송된 얼굴영상의 무결성이 간접적 수단으로 입증된 것으로 판단하고 서버 데이터베이스에 아이디별 정지 얼굴영상을 관리목적으로 저장하는 단계를 실시하고(S500), 클라이언트 컴퓨터에 승인을 통지하는 단계를 실시한다(S510). 상기 등록단계 및 인증단계에서 사용자의 정지 얼굴영상이 축적된 데이터베이스 정보는 종래의 얼굴인식기술에 의한 사용자 인증용 자료로 사용될 수 있는 장점을 가지고 있다.7 shows a procedure for face password user authentication of a client server system. After performing the user registration process of FIG. 6 first, the user authentication process for the corresponding ID is performed in the following process. In a start step in which a client computer and a server computer are connected to a wired / wireless communication network for user authentication (S400), a face recognition step of inputting a face image of a user using a camera and extracting a reference coordinate point for the face image is performed. Next, a step of inputting a face password using the face image is performed (S410), and the face password registration points stored after the user registration on the client computer and the face password authentication points newly inputted for authentication are regenerated. A face password authentication step of performing user authentication is performed by determining whether an input error exists within an allowable range (S430). If it is determined that the face password is not the same, the authentication failure step is performed and the user authentication is terminated (S440). When the same face password is authenticated, a face security code produced by an encryption function is generated using a face image and a face password as user input information (S450), and a step of transmitting an ID, a face image and a face security code to a server is performed. (S460). The face security code generation process performed in the authentication process is performed in the same manner as the registration process, but the encryption functions to be applied may be defined and used differently. In the authentication process, unlike the registration process, the face password is excluded from the configuration of the personal information data transmitted from the client computer to the server computer. When all data transmitted from the client computer through the communication network is received by the server computer, the server computer performs a face recognition step of extracting the reference coordinate point of the face coordinate system of both eyes from the transmitted still face image (S470). The server computer reads out the face password for the corresponding ID from the database and generates a face security code using the transmitted face image (S480). The face security code transmitted from the client computer and the server computer are newly produced. Comparing and verifying the identity of the face security code has been performed (S490). If the face security codes do not match, it is determined that the face security code transmitted from the client computer is forged or the transmitted face image is forged or tampered, and a step of notifying the client computer of rejection is performed (S520). If there is a match, it is determined that the integrity of the transmitted face image is proved by indirect means, and the step of storing the still face image for each management purpose in the server database is performed (S500), and notifying the client computer of the approval. (S510). The database information in which the still face image of the user is accumulated in the registration step and the authentication step has an advantage that it can be used as data for user authentication by conventional face recognition technology.

또 다른 실시 예로서 얼굴패스워드 인증 단계가 상기의 예와 같이 클라이언트 컴퓨터에서 실시되면, 서버시스템과는 무관하게 사용자의 얼굴패스워드를 추정하기 위하여 무한정 반복 실시될 수 있는 문제점이 도출될 수 있으므로, 이상의 문제를 해결하기 위한 보안상의 이유로 서버컴퓨터에서 도 3 또는 도 7의 얼굴패스워드 인증 단계(S430)를 얼굴보안코드 인증단계와 함께 순차적으로 실시할 수도 있다.As another example, when the face password authentication step is performed on the client computer as in the above example, a problem may be derived that can be repeated indefinitely to estimate the face password of the user regardless of the server system. For security reasons, the server computer may sequentially perform the face password authentication step S430 of FIG. 3 or 7 together with the face security code authentication step.

이상의 본 발명은 상기에 기술된 실시 예들에 의해 한정되지 않고 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있는데, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다. The present invention is not limited to the above-described embodiments and may be variously modified and changed by those skilled in the art, which are included in the spirit and scope of the present invention as defined in the appended claims.

이상에서 살펴본 바와 같이 본 발명에 의한 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템 및 방법에 의하면, 사용자 본인의 얼굴영상을 이용하여 얼굴내의 임의로 선택한 지점들에 대한 정보를 인증원리로 사용하는 얼굴패스워드 인증과 등록된 얼굴패스워드 정보와 인증시의 얼굴영상을 이용하여 암호화 함수 연산하는 방법으로 제작되는 얼굴보안코드 인증의 상호 연관성을 갖는 두 가지 인증방법에 의해 온라인에서도 사용자 본인확인 기능을 강화하고, 사용자 인증 성공률은 크게 개선하면서, 정지 얼굴영상에 대한 개별적 보안수단도 제공하는 효과를 얻을 수 있고, 사용자 인증을 위한 정보의 형태가 다양한 특성에 의해 개인정보의 분산 저장 및 관리의 효과가 있는 새로운 클라이언트 서버 방식의 사용자 신원인증 시스템 및 방법을 제공한다.
As described above, according to the client server system and method for face password user authentication according to the present invention, face password authentication using information about randomly selected points in a face using the user's face image as an authentication principle, The user authentication function is strengthened online and the user authentication success rate is enhanced by two authentication methods that have the correlation between the face security code authentication produced by the encryption function calculation using the registered face password information and the face image during authentication. The new client server method has the effect of providing a separate security measure for still face images while greatly improving, and having the effect of distributed storage and management of personal information due to various characteristics of information for user authentication. User Identity Authentication System and Method Provided.

Claims (23)

사용자 아이디에 대하여 전자적 인증을 수행하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 인증 방법에 있어서,In the client server authentication method for face password user authentication that performs electronic authentication for the user ID, (a)클라이언트 컴퓨터에서 카메라를 이용하여 사용자의 얼굴영상을 입력하고, 마우스를 이용하여 얼굴패스워드를 입력하는 단계;(a) inputting a face image of a user using a camera at a client computer, and inputting a face password using a mouse; (b)얼굴패스워드 인증점에 대하여 얼굴패스워드 인증을 실시하는 단계;(b) performing face password authentication on the face password authentication point; (c)동일한 사용자의 얼굴패스워드로 인증되는 경우, 얼굴영상과 얼굴패스워드를 이용하여 얼굴보안코드를 제작하는 단계;(c) if a face password of the same user is authenticated, manufacturing a face security code using the face image and the face password; (d)인증을 위한 개인정보로서 해당 아이디별 얼굴영상과 얼굴영상으로 제작된 얼굴보안코드를 클라이언트 컴퓨터에서 서버컴퓨터로 전송하는 단계;(d) transmitting the face security code produced by the face image and face image for each ID as personal information for authentication from the client computer to the server computer; (e)서버컴퓨터에서는 클라이언트 컴퓨터로부터 수신된 해당 아이디의 얼굴패스워드를 데이터베이스에서 독출하고, 수신된 얼굴영상에 대하여 클라이언트 컴퓨터에서와 동일한 방법으로 얼굴보안코드를 제작하는 단계; (e) at the server computer, reading a face password of the corresponding ID received from the client computer in a database, and producing a face security code on the received face image in the same manner as at the client computer; (f)서버컴퓨터에서 제작된 얼굴보안코드와 클라이언트 컴퓨터에서 수신된 얼굴보안코드의 동일성을 판단하는 방법의 사용자 인증을 실시하는 단계;(f) performing user authentication in a method for determining the sameness between the face security code produced at the server computer and the face security code received at the client computer; (g)사용자 정보를 저장하고, 인증 결과를 클라이언트 컴퓨터에 전송하는 단계를 포함하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법. (g) storing user information and transmitting the authentication result to the client computer. 제 1항에 있어서, 상기 (a)단계는 The method of claim 1, wherein step (a) 사용자로부터 얼굴영상과 얼굴패스워드 정보가 입력되면 얼굴인식 기술을 적용하는 단계로서,When face image and face password information is input from the user, a face recognition technique is applied. (a1)얼굴영상에서 영상의 이진화 및 칼라 영상분석을 통하여 얼굴의 눈, 코, 입, 눈썹으로 추정되는 중요 얼굴부위를 추출하는 단계;(a1) extracting important face parts estimated from eyes, nose, mouth, and eyebrows of the face through binarization and color image analysis of the face image; (a2)여러 개의 얼굴부위들 영상 덩어리 중에서 양쪽 눈에 해당하는 영상 덩어리를 추출하는 단계;(a2) extracting image chunks corresponding to both eyes from the image chunks of the plurality of face parts; (a3)눈의 추정되는 영상덩어리의 중심좌표를 눈의 좌표점으로 인식하는 단계를 포함하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법. (a3) A method for face password user authentication of a client server structure comprising the step of recognizing a center coordinate of an estimated image mass of an eye as a coordinate point of an eye. 제 1항에 있어서, 상기 (b)단계는The method of claim 1, wherein step (b) 등록 단계에서 사용자가 입력한 얼굴패스워드 등록점 정보와 인증 단계에서 재입력된 얼굴패스워드의 인증점 정보에 대하여 사용자 인증을 실시하는 단계로서,A step of performing user authentication on the face password registration point information entered by the user in the registration step and the authentication point information of the face password re-entered in the authentication step, (b1)얼굴영상에 대하여 양쪽 눈을 얼굴좌표계의 기준 좌표점으로 설정하는 단계;(b1) setting both eyes to a reference coordinate point of the face coordinate system with respect to the face image; (b2)얼굴좌표계에서 사용자가 입력한 얼굴패스워드 등록점 정보와 인증점 정보를 함께 도시하는 단계;(b2) showing face password registration point information and authentication point information input by the user in the face coordinate system; (b3)사용자의 입력순서에 따라 등록점에 부여된 동일한 크기의 재입력 오차 허용범위 내에 인증점이 존재하는지를 판단하는 인증 단계를 포함하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법.(b3) A method for face password user authentication of a client server structure comprising an authentication step of determining whether an authentication point exists within an allowable re-input error tolerance given to a registration point according to a user's input order. 제 2항에 있어서, 상기 (b3)단계에서의 재입력 오차 허용범위 크기를 각각의 등록점마다 다르게 설정하고 인증에 적용하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법.The method of claim 2, wherein the size of the re-input error tolerance in step (b3) is set differently for each registration point and applied to authentication. 제 1항에 있어서, 상기 (c)단계는The method of claim 1, wherein step (c) 통신망을 이용하여 전달되는 사용자 인증을 위한 개인정보의 내용이 쉽게 유추되기 어렵도록 암호화하는 수단으로서 얼굴보안코드를 제작하는 단계로서,As a step of producing a face security code as a means for encrypting the content of the personal information for user authentication transmitted using a communication network to be difficult to infer, (c1)얼굴보안코드 제작을 위한 개인정보로서의 얼굴영상과 얼굴좌표계의 얼굴패스워드 등록점을 준비하는 단계;(c1) preparing a face image and a face password registration point of a face coordinate system as personal information for manufacturing a face security code; (c2)얼굴영상내 양쪽 눈을 기준좌표계로 설정하는 단계;(c2) setting both eyes in the face image as a reference coordinate system; (c3)얼굴좌표계의 얼굴패스워드 등록점을 윈도우좌표계의 얼굴영상내에 표기하는 단계;(c3) marking the face password registration point of the face coordinate system in the face image of the window coordinate system; (c4)암호화 함수에 적용할 개인정보 값들을 선택하는 단계;(c4) selecting personal information values to be applied to the encryption function; (c5)암호화 함수 연산을 실시하는 단계를 포함하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법.(c5) performing a cryptographic function operation, the method for facial password user authentication of a client server structure. 제 5항에 있어서, 암호화 함수 연산의 결과 값이 매우 큰 값으로 만들어지는 경우 정보전달의 효율성 및 복잡한 표현의 수단으로서 결과 값을 16진수로 변환하는 단계를 추가하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법. 6. The face password user authentication of a client server structure according to claim 5, further comprising the step of converting the result value into a hexadecimal number as a means of information transmission efficiency and complex expression when the result value of the encryption function operation is made to a very large value. Way for you. 제 5항에 있어서, 상기 (c5)단계에서의 얼굴보안코드를 제작하기 위한 암호화 함수는 다항방정식 구조의 일방향 함수를 사용하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법. 6. The method of claim 5, wherein the encryption function for producing the face security code in step (c5) uses a one-way function of a polynomial equation structure. 제 7항에 있어서, 암호화 함수로서의 다항방정식에 변수 값으로 사용되는 얼굴패스워드 좌표에서의 색상에 대한 영상 정보 값을 추가적으로 사용하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법. 8. The method of claim 7, further comprising using image information values for colors in face password coordinates used as variable values in a polynomial equation as an encryption function. 제 1항에 있어서, 사용자 아이디별 인증에 사용되는 개인정보로서의 정지 얼굴영상을 개인정보 데이터베이스에 별도로 저장 관리하는 단계를 추가하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법. The method of claim 1, further comprising separately storing and managing a still face image as personal information used for authentication for each user ID in a personal information database. 제 1항에 있어서, 사용자 아이디 인증을 위한 등록단계로서,The method of claim 1, wherein as a registration step for authenticating a user ID, (h)클라이언트 컴퓨터에서 카메라를 이용하여 사용자의 얼굴영상을 입력하고, 마우스를 이용하여 얼굴패스워드를 입력하는 단계;(h) inputting a face image of the user using a camera at a client computer and inputting a face password using a mouse; (i)얼굴패스워드 등록점을 얼굴좌표계로 저장하는 단계;(i) storing the face password registration point in the face coordinate system; (j)등록된 얼굴패스워드와 얼굴영상에서 추출된 기준좌표 점을 적용하여 얼굴보안코드를 제작하는 단계;(j) manufacturing a face security code by applying the registered face password and the reference coordinate point extracted from the face image; (k)등록을 위한 개인정보로서 해당 아이디별 얼굴영상과 얼굴영상으로 제작 된 얼굴보안코드 그리고 저장된 얼굴패스워드를 클라이언트 컴퓨터에서 서버컴퓨터로 전송하는 단계;(k) transmitting the face image for each ID, the face security code made from the face image, and the stored face password as personal information for registration from the client computer to the server computer; (l)서버컴퓨터에서는 클라이언트 컴퓨터로부터 수신된 해당 아이디의 얼굴패스워드와 수신된 얼굴영상에 대하여 클라이언트 컴퓨터에서와 동일한 방법으로 얼굴보안코드를 제작하는 단계; (l) producing a face security code in the same manner as in the client computer with respect to the face password and the received face image of the corresponding ID received from the client computer; (m)서버컴퓨터에서 제작된 얼굴보안코드와 클라이언트 컴퓨터에서 수신된 얼굴보안코드의 동일성을 판단하는 방법의 사용자 인증을 실시하는 단계;(m) performing user authentication in a method for determining the sameness between the face security code produced at the server computer and the face security code received at the client computer; (n)사용자 등록정보를 개인정보 데이터베이스에 저장하고, 인증 결과를 클라이언트 컴퓨터에 전송하는 단계를 포함하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법. (n) storing the user registration information in a personal information database and transmitting the authentication result to the client computer. 제 10항에 있어서, 상기 (n)단계에서 데이터베이스에 저장되는 개인정보는 아이디, 얼굴패스워드, 얼굴영상으로 구성되는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법. The method of claim 10, wherein the personal information stored in the database in step (n) comprises an ID, a face password, and a face image. 제 1항에 있어서, 클라이언트 컴퓨터에서의 얼굴패스워드 인증 단계가 서버컴퓨터와는 무관하게 무한정 반복 실시될 수 있는 점에 대하여,The method according to claim 1, wherein the face password authentication step at the client computer can be repeated indefinitely regardless of the server computer. 클라이언트 컴퓨터에서 실시하는 얼굴패스워드 인증 단계를 서버컴퓨터에서 실시하는 클라이언트 서버 구조의 얼굴패스워드 사용자 인증을 위한 방법. A method for face password user authentication of a client server structure in which a face password authentication step performed at a client computer is performed at a server computer. 마우스, 모니터, 터치입력장치, 카메라 등의 외부 장치를 구비한 컴퓨터 시스템으로 사용자 아이디에 대한 전자적 인증을 수행하기 위하여 유무선 통신망으로 연결된 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템에 있어서,In the client server system for face password user authentication connected to a wired or wireless communication network to perform electronic authentication for the user ID with a computer system having an external device such as a mouse, a monitor, a touch input device, a camera, etc. 상기 사용자의 카메라 입력 얼굴영상 얼굴인식부 및 얼굴패스워드 인증부를 구비하고, 얼굴보안코드 생성부와 얼굴패스워드 저장부를 또한 구비하고 연산장치로서의 제어부와 데이터 송수신용 통신부를 포함하는 클라이언트 컴퓨터;A client computer including a camera input face image face recognition unit and a face password authentication unit of the user, further comprising a face security code generation unit and a face password storage unit, and including a control unit as a computing device and a communication unit for data transmission and reception; 상기 클라이언트 컴퓨터와 통신망으로 연결된 서버컴퓨터에서는 전송된 정지영상 얼굴인식부 및 얼굴보안코드 생성부 및 얼굴보안코드 검증부 및 개인정보 데이터베이스를 또한 구비하고 있으며 연산장치로서의 제어부와 데이터 송수신용 통신부가 구비된 서버 컴퓨터를 포함하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템. The server computer connected to the client computer and the communication network is provided with a still image face recognition unit, a face security code generation unit, a face security code verification unit, and a personal information database, and a control unit as a computing device and a communication unit for data transmission and reception are provided. Client server system for facial password user authentication, including server computer. 제 13항에 있어서, 클라이언트 컴퓨터와 서버컴퓨터가 유무선 통신망으로 연결되는 것을 포함하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템. The client server system of claim 13, wherein the client computer and the server computer are connected to a wired or wireless communication network. 제 13항에 있어서, 클라이언트 컴퓨터에서의 카메라 입력영상 얼굴인식부와 서버컴퓨터에서의 정지영상 얼굴인식부는 얼굴영상에서 얼굴패스워드를 입력하기 위한 양쪽 눈을 기준좌표점으로 지정하는 얼굴인식 알고리즘을 동일하게 사용하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템.The face recognition unit of claim 13, wherein the camera input image face recognition unit at the client computer and the still image face recognition unit at the server computer have the same face recognition algorithm that designates both eyes as reference coordinate points for inputting a face password in the face image. Client server system for face password user authentication. 제 13항에 있어서, 얼굴패스워드 인증부는 사용자가 입력하는 얼굴영상과 마우스로 입력하는 얼굴 내 입력점등을 이용하여, 얼굴좌표계로 좌표변환을 실시하고 사용자 인증을 실시하는 것을 특징으로 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템.The face password user authentication of claim 13, wherein the face password authentication unit converts coordinates into a face coordinate system and performs user authentication using a face image input by a user and an input point within a face input by a mouse. Server system for management. 제 16항에 있어서, 얼굴패스워드 사용자 인증을 위해 입력순서에 따라 등록점에 부여된 재입력 오차 허용범위 내에 인증점이 존재하는지를 판단하는 기능을 수행하는 얼굴패스워드 인증부를 포함하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템.The client of claim 16, further comprising a face password authentication unit configured to determine whether an authentication point exists within a re-input error tolerance given to the registration point in accordance with an input order for face password user authentication. Server system. 제 13항에 있어서, 클라이언트 컴퓨터 및 서버컴퓨터 시스템에서 얼굴보안코드 생성부를 동일한 암호화 함수와 얼굴보안코드 제작방법으로 각각 실시하는 것을 특징으로 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템.15. The client server system of claim 13, wherein the client computer and the server computer system each implement a face security code generation unit using the same encryption function and face security code manufacturing method. 제 18항에 있어서, 보안상의 이유로 암호화 함수를 동일하지 않게 정의하고 얼굴보안코드를 제작하는 것을 특징으로 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템.19. The client server system of claim 18, wherein the encryption function is not defined identically for security reasons and a face security code is produced. 제 13항 및 제 18항에 있어서, 얼굴보안코드 검증부에서는 클라이언트 컴퓨터에서 수신된 얼굴보안코드와 서버컴퓨터에서 제작된 얼굴보안코드의 동일성을 판 별하는 기능을 특징으로 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템.19. The method according to claim 13 or 18, wherein the face security code verification unit determines the identity of the face security code received from the client computer and the face security code produced by the server computer. Client Server System. 제 13항 및 제 19항에 있어서, 얼굴보안코드 검증부에서는 서버컴퓨터에서 제작된 얼굴보안코드에 다시 역함수를 적용하여 새로이 얼굴보안코드를 제작하고 클라이언트 컴퓨터에서 수신된 얼굴보안코드와 동일성을 판별하는 기능을 특징으로 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템.20. The apparatus of claim 13 or 19, wherein the face security code verification unit applies a reverse function to the face security code produced by the server computer to produce a new face security code and determines the same as the face security code received from the client computer. Client server system for facial password user authentication characterized in that the function. 제 13항에 있어서, 개인정보 데이터베이스에는 등록 단계에서 전송된 개인 아이디별 얼굴영상과 얼굴좌표계로 표현된 얼굴패스워드를 저장하는 것을 특징으로 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템. 15. The client server system of claim 13, wherein the personal information database stores face images expressed by face IDs and face coordinates transmitted in the registration step. 제 13항에 있어서, 개인정보 데이터베이스에 추가적으로 인증 단계에서의 얼굴영상을 해당 아이디별로 별도 저장하는 것을 특징으로 하는 얼굴패스워드 사용자 인증을 위한 클라이언트 서버 시스템. The client server system of claim 13, wherein the face image in the authentication step is separately stored for each ID in addition to the personal information database.
KR1020040063285A 2004-08-11 2004-08-11 System and method for the user's authentication by facial-password in the client-server computer system KR100594195B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040063285A KR100594195B1 (en) 2004-08-11 2004-08-11 System and method for the user's authentication by facial-password in the client-server computer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040063285A KR100594195B1 (en) 2004-08-11 2004-08-11 System and method for the user's authentication by facial-password in the client-server computer system

Publications (2)

Publication Number Publication Date
KR20060014654A true KR20060014654A (en) 2006-02-16
KR100594195B1 KR100594195B1 (en) 2006-07-03

Family

ID=37123569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040063285A KR100594195B1 (en) 2004-08-11 2004-08-11 System and method for the user's authentication by facial-password in the client-server computer system

Country Status (1)

Country Link
KR (1) KR100594195B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834758B1 (en) * 2006-07-05 2008-06-05 삼성전자주식회사 Security apparatus for computer system and method for the same
WO2010005215A2 (en) * 2008-07-07 2010-01-14 주식회사 미래인식 Method and system for entry and exit management using biometrics
CN109635148A (en) * 2018-12-14 2019-04-16 深圳英飞拓科技股份有限公司 Face picture storage method and device
KR102174548B1 (en) * 2020-08-17 2020-11-05 주식회사 프라이봇 Apparatus and method for access certification by facial code chain encryption
CN116582281A (en) * 2023-07-10 2023-08-11 中国人民解放军国防科技大学 Safe face recognition method, system and equipment based on password technology

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834758B1 (en) * 2006-07-05 2008-06-05 삼성전자주식회사 Security apparatus for computer system and method for the same
US8646069B2 (en) 2006-07-05 2014-02-04 Samsung Electronics Co., Ltd. Security apparatus for computer system and method thereof
WO2010005215A2 (en) * 2008-07-07 2010-01-14 주식회사 미래인식 Method and system for entry and exit management using biometrics
WO2010005215A3 (en) * 2008-07-07 2010-03-11 주식회사 미래인식 Method and system for entry and exit management using biometrics
CN109635148A (en) * 2018-12-14 2019-04-16 深圳英飞拓科技股份有限公司 Face picture storage method and device
CN109635148B (en) * 2018-12-14 2021-06-15 深圳英飞拓科技股份有限公司 Face picture storage method and device
KR102174548B1 (en) * 2020-08-17 2020-11-05 주식회사 프라이봇 Apparatus and method for access certification by facial code chain encryption
CN116582281A (en) * 2023-07-10 2023-08-11 中国人民解放军国防科技大学 Safe face recognition method, system and equipment based on password technology
CN116582281B (en) * 2023-07-10 2023-09-22 中国人民解放军国防科技大学 Safe face recognition method, system and equipment based on password technology

Also Published As

Publication number Publication date
KR100594195B1 (en) 2006-07-03

Similar Documents

Publication Publication Date Title
US9646296B2 (en) Mobile-to-mobile transactions
US8478990B2 (en) Mobile transaction methods and devices with three-dimensional colorgram tokens
CN110245482B (en) Authentication method and system
US10848304B2 (en) Public-private key pair protected password manager
CN107209821A (en) For the method and authentication method being digitally signed to e-file
Im et al. Practical privacy-preserving face authentication for smartphones secure against malicious clients
JP2004536384A (en) Method, system, and computer program for remote authentication of fingerprint via network
JPWO2007094165A1 (en) Identification system and program, and identification method
NO316489B1 (en) System, portable device and method for digital authentication, encryption and signing by generating volatile but consistent and repeatable crypton keys
WO2012097362A2 (en) Protecting codes, keys and user credentials with identity and patterns
EP3655874B1 (en) Method and electronic device for authenticating a user
US20210367938A1 (en) Biometrically-enhanced verifiable credentials
CN103297237B (en) Identity registration and authentication method, system, personal authentication apparatus and certificate server
JPH10269182A (en) User authentication method and user authentication system
Aanjanadevi et al. Face Attribute Convolutional Neural Network System for Data Security with Improved Crypto Biometrics.
Han et al. A novel hybrid crypto-biometric authentication scheme for ATM based banking applications
KR100594195B1 (en) System and method for the user&#39;s authentication by facial-password in the client-server computer system
KR102068041B1 (en) Appratus and method of user authentication and digital signature using user&#39;s biometrics
CN112334897A (en) Method and electronic equipment for authenticating user
JP4749017B2 (en) Pseudo biometric authentication system and pseudo biometric authentication method
CN203243360U (en) Identity registration system
CN115280309A (en) Method, system and computer program product for authentication
Joshi Session passwords using grids and colors for web applications and PDA
KR20070044720A (en) System and method for the one-time password&#39;s authentication by the human-face image
JP2004310202A (en) Individual identification system and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140623

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150622

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160620

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170622

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180621

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 14