KR102038551B1 - Login to a computing device based on facial recognition - Google Patents

Login to a computing device based on facial recognition Download PDF

Info

Publication number
KR102038551B1
KR102038551B1 KR1020180080248A KR20180080248A KR102038551B1 KR 102038551 B1 KR102038551 B1 KR 102038551B1 KR 1020180080248 A KR1020180080248 A KR 1020180080248A KR 20180080248 A KR20180080248 A KR 20180080248A KR 102038551 B1 KR102038551 B1 KR 102038551B1
Authority
KR
South Korea
Prior art keywords
program
authentication
login
user information
user
Prior art date
Application number
KR1020180080248A
Other languages
Korean (ko)
Inventor
이영
황동혁
최성복
김지현
Original Assignee
주식회사 테르텐
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테르텐 filed Critical 주식회사 테르텐
Priority to KR1020180080248A priority Critical patent/KR102038551B1/en
Application granted granted Critical
Publication of KR102038551B1 publication Critical patent/KR102038551B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina

Abstract

Disclosed is an automatic login method using face recognition. The method allows an authentication program to receive first user information to register the first user information in a first memory area. The authentication program generates a first authentication pattern from a first authentication image of a user to register the first authentication pattern in the first memory area. A login program calls the authentication program after the computing device boots. The called authentication program generates a second authentication pattern from a second authentication image of the user photographed by a camera. The authentication program compares the second authentication pattern and the first authentication pattern read from the first memory area. When the authentication patterns match, the authentication program transmits the first user information transmitted from the first memory area to the login program. The login program reads second user information stored in a second memory area to compare the first and the second user information. When the first and the second user information match, the authentication program automatically logs in to the computing device in accordance with a first message transmitted from the login program.

Description

얼굴 인식을 이용한 컴퓨팅 장치에 대한 로그인{LOGIN TO A COMPUTING DEVICE BASED ON FACIAL RECOGNITION}LOGIN TO A COMPUTING DEVICE WITH FACE RECOGNITION {LOGIN TO A COMPUTING DEVICE BASED ON FACIAL RECOGNITION}

본 발명은 컴퓨팅 장치에 대한 사용자 인증에 관한 것으로, 특히 사용자의 얼굴 인식에 기초하여 컴퓨팅 장치에 로그인하는 방법, 상기 방법을 수행할 수 있는 컴퓨터 프로그램, 및 상기 컴퓨터 프로그램을 실행할 수 있는 컴퓨티 시스템에 관한 것이다.TECHNICAL FIELD The present invention relates to user authentication for a computing device, and more particularly, to a method for logging in to a computing device based on face recognition of a user, a computer program capable of performing the method, and a computer system capable of executing the computer program. It is about.

컴퓨터 보안에서, 로그인(또는 로그온(logon), 사인-인(sign-in) 또는 사인-온(sign-on))과 로그아웃(또는 로그오프(log off), 사인 아웃(sign out), 또는 사인 오프(sign off))은 접근 허가 증명을 얻기 위해 사용자 인증으로 개인이 컴퓨터 시스템에 접근하는 작업을 말한다. 컴퓨터 보안에서 로그인과 로그아웃은 중요한 역할을 담당한다. 사용자는 접근을 얻기 위해 컴퓨터 시스템에 로그인할 수 있으며 상기 접근이 더 이상 필요하지 않을 때 상기 사용자는 컴퓨터 시스템으로부터 로그아웃할 수 있다.In computer security, log in (or log on, sign in, or sign on) and log out (or log off, sign out, or Sign off refers to the act of an individual accessing a computer system with user authentication to obtain proof of access. Login and logout play an important role in computer security. The user can log in to the computer system to gain access and can log out of the computer system when the access is no longer needed.

공개특허공보: 공개번호 10-2014-0075756 (2014.06.19.공개)Patent Publication: Publication No. 10-2014-0075756 (June 19, 2014)

본 발명이 이루고자 하는 기술적인 과제는 컴퓨팅 장치에 저장된 데이터 보안을 위해 사용자의 얼굴 인식 결과에 기초하여 상기 컴퓨팅 장치에 미리 저장된 사용자 정보를 로그인 프로그램으로 전송하고, 상기 로그인 프로그램으로 하여금 수신된 사용자 정보를 이용하여 상기 사용자를 인증하고, 인증 결과에 따라 상기 컴퓨팅 장치에 자동 로그인할 수 있는 방법, 상기 방법을 수행할 수 있는 컴퓨터 프로그램, 및 상기 컴퓨터 프로그램을 실행할 수 있는 컴퓨티 시스템을 제공하는 것이다.The technical problem to be achieved by the present invention is to transmit the user information pre-stored in the computing device to the login program based on the face recognition result of the user to secure the data stored in the computing device, and the login program to receive the received user information The present invention provides a method for authenticating the user and automatically logging in to the computing device according to the authentication result, a computer program for performing the method, and a computer system for executing the computer program.

본 발명에 따른 로그인 방법은 컴퓨팅 장치에서 실행 중인 인증 프로그램이 상기 컴퓨팅 장치와 결합된 입력 장치를 통해 사용자에 의해 입력된 제1사용자 정보를 수신하여 상기 인증 프로그램에 의해 액세스되는 제1메모리 영역에 등록하는 단계; 상기 인증 프로그램이 상기 컴퓨팅 장치와 결합된 카메라에 의해 촬영된 상기 사용자의 제1인증 이미지로부터 제1인증 패턴을 생성하고, 생성된 제1인증 패턴을 상기 제1메모리 영역에 등록하는 단계; 상기 컴퓨팅 장치가 부팅된 후, 상기 컴퓨팅 장치에서 실행 중인 로그인 프로그램이 상기 인증 프로그램을 호출하는 단계; 호출된 인증 프로그램이 상기 카메라에 의해 촬영된 상기 사용자의 제2인증 이미지로부터 제2인증 패턴을 생성하는 단계; 상기 인증 프로그램이 상기 제2인증 패턴과 상기 제1메모리 영역으로부터 전송된 상기 제1인증 패턴을 비교하는 단계; 상기 제1인증 패턴과 상기 제2인증 패턴이 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 전송된 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계; 상기 로그인 프로그램이 상기 제1사용자 정보를 수신한 후, 상기 로그인 프로그램이 상기 로그인 프로그램에 의해서 액세스 가능한 제2메모리 영역에 저장된 제2사용자 정보를 읽어와서, 상기 제1사용자 정보와 상기 제2사용자 정보를 비교하는 단계; 및 상기 제1사용자 정보와 상기 제2사용자 정보가 일치할 때, 상기 인증 프로그램이 상기 로그인 프로그램으로부터 전송된 제1메시지에 따라 상기 컴퓨팅 장치에 자동 로그인하는 단계를 포함한다.In the login method according to the present invention, an authentication program running on a computing device receives first user information input by a user through an input device coupled with the computing device, and registers in a first memory area accessed by the authentication program. Making; Generating, by the authentication program, a first authentication pattern from a first authentication image of the user photographed by a camera coupled with the computing device, and registering the generated first authentication pattern in the first memory area; After the computing device is booted, a login program running on the computing device calling the authentication program; Generating, by the called authentication program, a second authentication pattern from the second authentication image of the user captured by the camera; Comparing the second authentication pattern with the first authentication pattern transmitted from the first memory area by the authentication program; When the first authentication pattern and the second authentication pattern match, transmitting, by the authentication program, the first user information transmitted from the first memory area to the login program; After the login program receives the first user information, the login program reads second user information stored in a second memory area accessible by the login program, so that the first user information and the second user information. Comparing the; And when the first user information and the second user information match, the authentication program automatically logs in to the computing device according to the first message transmitted from the login program.

본 발명에 따른 컴퓨팅 장치와 결합되어 상기 컴퓨팅 장치에 자동 로그인을 위해 데이터 저장 장치에 저장된 인증 프로그램은 등록 단계에서, 상기 인증 프로그램이 상기 컴퓨팅 장치와 결합된 입력 장치를 통해 사용자에 의해 입력된 제1사용자 정보를 제1메모리 영역에 등록하는 단계; 상기 등록 단계에서, 상기 인증 프로그램이 상기 컴퓨팅 장치와 결합된 카메라에 의해 촬영된 상기 사용자의 제1얼굴 이미지를 상기 제1메모리 영역에 등록하는 단계; 인증 단계에서, 상기 컴퓨팅 장치가 부팅된 후, 상기 인증 프로그램이 상기 컴퓨팅 장치에서 실행 중인 로그인 프로그램에 의해 실행되는 단계; 상기 인증 단계에서, 상기 인증 프로그램이 상기 카메라에 의해 촬영된 상기 사용자의 제2얼굴 이미지를 수신하는 단계; 상기 인증 프로그램이 상기 제1메모리 영역으로부터 상기 제1얼굴 이미지를 읽어와서 상기 제1얼굴 이미지와 상기 제2얼굴 이미지를 비교하는 단계; 상기 제1얼굴 이미지와 상기 제2얼굴 이미지가 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 읽혀진 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계; 및 상기 인증 프로그램이 상기 로그인 프로그램으로부터 자동 로그인을 지시하는 메시지를 수신하고 상기 메시지에 응답하여 상기 컴퓨팅 장치에 자동 로그인하는 단계를 포함한다.An authentication program associated with a computing device according to the present invention and stored in a data storage device for automatic login to the computing device may be registered in a first step in which the authentication program is input by a user through an input device coupled with the computing device. Registering user information in a first memory area; In the registering step, registering, by the authentication program, a first face image of the user captured by a camera coupled with the computing device to the first memory area; In the authentication step, after the computing device is booted, the authentication program is executed by a login program running on the computing device; In the authentication step, the authentication program receiving a second face image of the user photographed by the camera; The authentication program reading the first face image from the first memory area and comparing the first face image with the second face image; When the first face image and the second face image match, transmitting, by the authentication program, the first user information read from the first memory area to the login program; And the authentication program receiving a message instructing automatic login from the login program and automatically logging in to the computing device in response to the message.

본 발명에 따른 컴퓨팅 장치와 결합되어 상기 컴퓨팅 장치에 자동 로그인 작동을 위해 데이터 저장 장치에 저장된 자동 로그인 관리 프로그램은 인증 프로그램과 감시 프로그램을 포함하는 상기 자동 로그인 관리 프로그램 이 상기 컴퓨팅 장치에 셋업되는 단계; 상기 인증 프로그램이 사용자의 제1사용자 정보를 수신하여 제1메모리 영역에 등록하는 단계; 상기 인증 프로그램이 상기 사용자의 제1얼굴 이미지를 수신하여 상기 제1메모리 영역에 등록하는 단계; 로그인 프로그램에 의해 상기 인증 프로그램이 호출되는 단계; 상기 인증 프로그램이 상기 사용자의 제2얼굴 이미지를 수신하는 단계; 상기 인증 프로그램이 상기 제1메모리 영역으로부터 상기 제1얼굴 이미지를 읽어와서 상기 제1얼굴 이미지와 상기 제2얼굴 이미지를 비교하는 단계; 상기 제1얼굴 이미지와 상기 제2얼굴 이미지가 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 읽혀진 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계; 상기 인증 프로그램이 상기 로그인 프로그램으로부터 자동 로그인을 지시하는 메시지를 수신하고 상기 메시지에 응답하여 상기 컴퓨팅 장치에 상기 자동 로그인 작동을 수행하는 단계; 및 상기 감시 프로그램이 미리 정해진 시간 내에 입력 이벤트가 발생하는지를 감시하는 단계를 포함한다.An automatic login management program coupled to a computing device according to the present invention and stored in a data storage device for automatic login operation to the computing device comprises: setting up the automatic login management program on the computing device, including an authentication program and a monitoring program; Receiving, by the authentication program, first user information of a user and registering the same in a first memory area; Receiving, by the authentication program, the first face image of the user in the first memory area; Calling the authentication program by a login program; The authentication program receiving a second face image of the user; The authentication program reading the first face image from the first memory area and comparing the first face image with the second face image; When the first face image and the second face image match, transmitting, by the authentication program, the first user information read from the first memory area to the login program; The authentication program receiving a message instructing automatic login from the login program and performing the automatic login operation on the computing device in response to the message; And monitoring, by the monitoring program, whether an input event occurs within a predetermined time.

본 발명에 따른 컴퓨팅 장치에서 실행되는 로그인 프로그램, 인증 프로그램, 및 감시 프로그램을 이용하여 사용자를 상기 컴퓨팅 장치에 자동 로그인하는 서비스 제공 방법은 상기 로그인 프로그램을 이용하여 상기 사용자의 제2사용자 정보를 제2메모리 영역에 저장하는 단계; 상기 인증 프로그램을 이용하여 상기 사용자의 제1사용자 정보를 제1메모리 영역에 저장하는 단계; 상기 인증 프로그램을 이용하여 상기 사용자의 제1얼굴 이미지를 상기 제1메모리 영역에 저장하는 단계; 상기 컴퓨팅 장치가 부팅된 후, 상기 로그인 프로그램이 상기 인증 프로그램을 호출하는 단계; 상기 인증 프로그램이 상기 사용자의 제2얼굴 이미지를 수신하는 단계; 상기 인증 프로그램이 상기 제1메모리 영역으로부터 상기 제1얼굴 이미지를 읽어와서, 상기 제1얼굴 이미지와 상기 제2얼굴 이미지를 비교하는 단계; 상기 제1얼굴 이미지와 상기 제2얼굴 이미지가 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 상기 제1사용자 정보를 읽어와서 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계; 상기 로그인 프로그램이 상기 제1사용자 정보를 수신한 후, 상기 로그인 프로그램이 상기 제2메모리 영역으로부터 상기 제2사용자 정보를 읽어와서, 상기 제1사용자 정보와 상기 제2사용자 정보를 비교하는 단계; 상기 제1사용자 정보와 상기 제2사용자 정보가 일치할 때, 상기 로그인 프로그램이 제1메시지를 상기 인증 프로그램으로 전송하는 단계; 및 상기 인증 프로그램이 상기 제1메시지에 따라 상기 사용자를 상기 컴퓨팅 장치에 자동 로그인하는 단계를 포함한다.A service providing method for automatically logging a user into the computing device using a login program, an authentication program, and a monitoring program executed on a computing device according to the present invention may include second user information of the user using the login program. Storing in a memory area; Storing first user information of the user in a first memory area using the authentication program; Storing the first face image of the user in the first memory area using the authentication program; After the computing device is booted, the login program calling the authentication program; The authentication program receiving a second face image of the user; The authentication program reading the first face image from the first memory area and comparing the first face image with the second face image; When the first face image and the second face image coincide, the authentication program reading the first user information from the first memory area and transmitting the first user information to the login program; After the login program receives the first user information, the login program reading the second user information from the second memory area to compare the first user information with the second user information; Transmitting, by the login program, a first message to the authentication program when the first user information and the second user information match; And automatically authenticating, by the authentication program, the user to the computing device according to the first message.

본 발명의 실시 예에 따른 로그인 방법에서 인증 프로그램은, 사용자의 얼굴 인식에 기초하여 상기 사용자자 정당한 사용자일 때, 컴퓨팅 장치에 미리 저장된 사용자 정보를 로그인 프로그램으로 전송하고, 상기 로그인 프로그램으로 하여금 상기 인증 프로그램으로부터 전송받은 상기 사용자 정보를 이용하여 상기 사용자가 정당한 사용자인지를 다시 인증하고, 인증의 결과에 따라 상기 컴퓨팅 장치에 자동으로 로그인하게 할 수 있다. In the login method according to an embodiment of the present invention, when the user is a legitimate user based on face recognition of the user, the authentication program transmits user information previously stored in a computing device to a login program, and causes the login program to perform the authentication. The user information received from the program may be used to re-authenticate whether the user is a legitimate user and automatically log in to the computing device according to the authentication result.

따라서 사용자의 얼굴 인식에 기초하여 컴퓨팅 장치에 로그인하는 방법은 상기 컴퓨팅 장치에 대한 보안을 강화할 수 있는 효과가 있다.Therefore, the method of logging in to the computing device based on the face recognition of the user has an effect of enhancing the security of the computing device.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예들에 따라 얼굴 인식을 이용하여 컴퓨팅 장치에 자동 로그인을 수행할 수 있는 컴퓨팅 시스템의 블록도를 나타낸다.
도 2는 본 발명의 실시 예들에 따른 도 1에 도시된 컴퓨팅 시스템의 작동을 설명하는 플로우 차트이다.
도 3은 본 발명의 실시 예들에 따른 도 1에 도시된 컴퓨팅 시스템의 작동을 설명하는 플로우 차트이다.
도 4는 도 1에 도시된 컴퓨팅 장치에서 실행되는 로그인 GUI의 실시 예를 나타낸다.
도 5는 발명의 실시 예들에 따라 얼굴 인식을 이용하여 컴퓨팅 장치에 자동 로그인을 수행할 수 있는 컴퓨팅 시스템의 블록도를 나타낸다.The detailed description of each drawing is provided in order to provide a thorough understanding of the drawings cited in the detailed description of the invention.
1 is a block diagram of a computing system capable of performing automatic login to a computing device using face recognition according to embodiments of the present invention.
2 is a flow chart illustrating the operation of the computing system shown in FIG. 1 in accordance with embodiments of the present invention.
3 is a flow chart illustrating the operation of the computing system shown in FIG. 1 in accordance with embodiments of the present invention.
4 illustrates an embodiment of a login GUI executed in the computing device illustrated in FIG. 1.
5 illustrates a block diagram of a computing system capable of performing automatic login to a computing device using face recognition in accordance with embodiments of the invention.

본 명세서에서 인증 이미지는 사용자 인증 또는 자동 로그인을 위한 이미지를 의미하고, 상기 이미지는 이미지 신호들 또는 이미지 데이터를 의미하고, 이미지는 하나의 이미지 또는 복수 개의 이미지들을 총칭한다.In the present specification, an authentication image refers to an image for user authentication or automatic login, and the image refers to image signals or image data, and the image collectively refers to one image or a plurality of images.

본 발명에서 하나의 이미지는 사용자의 얼굴 이미지 또는 피사체(subject for photography)에 대한 이미지를 의미하고, 복수 개의 이미지들은 사용자의 얼굴 이미지와, 상기 사용자가 소지하는 대상(object)의 이미지("대상 이미지"라 한다)를 포함한다. 또한, 복수 개의 이미지들은 복수 개의 피사체들(예컨대, 손가락과 스마트폰, 또는 주먹진 손과 펴진 손)에 대한 이미지들을 의미할 수 있다. 여기서 대상은 카메라에 의해 촬영될 수 있는 피사체, 예컨대, 스마트폰, 볼펜, 책, 또는 사용자의 신체의 일부 등을 의미한다.In the present invention, one image refers to an image of a user's face or a subject for photography, and the plurality of images represent an image of the user's face and an image of an object possessed by the user ("target image"). ""). Also, the plurality of images may refer to images of a plurality of subjects (eg, a finger and a smartphone, or a fist and a stretched hand). Here, the object refers to a subject that can be photographed by a camera, for example, a smartphone, a ballpoint pen, a book, or a part of a user's body.

인증 이미지는 사용자 인증 또는 자동 로그인을 위한 패턴(또는 인증 패턴)으로 식별(또는 결정)될 수 있다. 여기서 패턴(또는 인증 패턴)은 피사체들 각각을 식별하기 위한 유일무이한 정보(또는, 특징들)를 의미한다고 가정한다.The authentication image may be identified (or determined) as a pattern (or authentication pattern) for user authentication or automatic login. Here, it is assumed that the pattern (or authentication pattern) means unique information (or features) for identifying each of the subjects.

본 발명의 인증 프로그램은 사용자의 신원(identity)를 결정하기 위해 얼굴 인식 기술(또는 얼굴 인식 알고리즘)을 이용하여 상기 사용자의 얼굴 이미지 또는 상기 얼굴 이미지에 해당하는 얼굴 패턴을 분석할 수 있다.The authentication program of the present invention may analyze a face image of the user or a face pattern corresponding to the face image by using face recognition technology (or face recognition algorithm) to determine the identity of the user.

예컨대, 얼굴 인식을 수행하는 인증 프로그램(또는 얼굴 인식 프로그램)은 카메라(또는 이미지 센서)에 의해 촬영된 이미지로부터 사람의 얼굴을 검출하는 얼굴 검출 과정, 검출된 얼굴에 다양한 보정들(예컨대, 촬영된 얼굴에 영향을 주는 조명에 대한 보정, 촬영된 얼굴에 해당하는 신호들에 포함된 잡음 신호 제거, 촬영된 얼굴의 회전, 및 촬영된 얼굴의 크기 보정, 등)을 수행하는 얼굴 정렬 과정, 상기 얼굴 정렬 과정을 통해 정렬된 얼굴로부터 특정한 사람의 얼굴과 다른 사람의 얼굴을 구별하는데 필요한 고유한 특징들(이를 "얼굴 패턴"이라 한다.)을 추출하는 얼굴 특징 추출 과정, 및 추출된 고유한 특징들과 상기 다른 사람의 얼굴의 고유한 특징들과의 유사도를 비교하는 인식 과정을 수행한다.For example, an authentication program (or face recognition program) that performs face recognition is a face detection process of detecting a face of a person from an image captured by a camera (or an image sensor), and various corrections (eg, images of the face detected). A face alignment process that performs correction for lighting affecting a face, noise signal included in signals corresponding to a photographed face, rotation of a photographed face, and correction of a size of a photographed face, etc. Facial feature extraction process for extracting unique features (called "face patterns") necessary to distinguish one person's face from another person's face from the aligned face through the alignment process, and the extracted unique features A recognition process is performed to compare the degree of similarity with the unique features of the other person's face.

예컨대, 얼굴 패턴은 사용자의 눈의 크기, 사용자의 두 눈들 사이의 거리, 사용자의 두 눈썹들 사이의 거리, 사용자의 코의 크기와 모양, 사용자의 눈과 코의 상대적 위치, 사용자의 입의 크기와 모양, 사용자의 귀의 위치, 크기, 및 모양, 등과 같은 특징들을 포함한다. 마찬가지로, 대상 패턴은 대상 이미지에 포함된 대상을 다른 대상과 구별할 수 있는 크기, 모양, 및/또는 컬러, 등과 같은 특징들을 포함한다.For example, the facial pattern may include the size of the user's eyes, the distance between the user's two eyes, the distance between the user's two eyebrows, the size and shape of the user's nose, the relative position of the user's eyes and nose, the size of the user's mouth. Features such as and shape, the position, size, and shape of the user's ear. Similarly, the object pattern includes features such as size, shape, and / or color, etc. that can distinguish the object included in the object image from other objects.

실시 예들에 따라 본 발명의 인증 프로그램은 사용자의 신원를 결정하기 위해 이미지 처리 기술(또는 이미지 처리 알고리즘)을 이용하여 피사체의 이미지 또는 상기 피사체의 이미지에 해당하는 피사체의 패턴을 분석할 수 있다.According to embodiments, the authentication program of the present invention may analyze an image of a subject or a pattern of a subject corresponding to the image of the subject by using an image processing technique (or an image processing algorithm) to determine a user's identity.

도 1은 본 발명의 실시 예들에 따라 얼굴 인식을 이용하여 컴퓨팅 장치에 자동 로그인을 수행할 수 있는 컴퓨팅 시스템의 블록도를 나타낸다. 도 1을 참조하면, 컴퓨팅 시스템(100)은 컴퓨팅 장치(200), 카메라(240), 및 제1입력 장치(250)를 포함할 수 있고, 실시 예들에 따라 컴퓨팅 시스템(100)은 제2입력 장치(260)와 출력 장치(270)를 더 포함할 수 있다.1 is a block diagram of a computing system capable of performing automatic login to a computing device using face recognition according to embodiments of the present invention. Referring to FIG. 1, the computing system 100 may include a computing device 200, a camera 240, and a first input device 250. According to embodiments, the computing system 100 may include a second input. The device 260 may further include an output device 270.

컴퓨팅 시스템(100) 또는 컴퓨팅 장치(200)는 PC(personal computer), 워크스테이션(workstation), 또는 모바일 장치(mobile device or portable device)일 수 있고, 상기 PC는 데스크탑 컴퓨터, 노트북 컴퓨터, 랩탑 컴퓨터, 또는 휴대용 (hand-held) 컴퓨터, 등을 의미할 수 있고, 상기 모바일 장치는 스마트폰, 인터넷 모바일 장치(internet mobile device(MID)), 사물 인터넷(Internet of Things (IoT)) 장치, 또는 PDA(personal digital assistant)일 수 있으나 이에 한정되는 것은 아니다.Computing system 100 or computing device 200 may be a personal computer, a workstation, or a mobile device or a portable device, which may be a desktop computer, a laptop computer, a laptop computer, Or a hand-held computer, or the like, wherein the mobile device is a smart phone, an internet mobile device (MID), an Internet of Things (IoT) device, or a PDA ( personal digital assistant), but is not limited thereto.

컴퓨팅 장치(200)는 프로세서(210), 메모리 컨트롤러(220), 제1메모리 영역 (230), 제2메모리 영역(232), 및 입력 입터페이스(255)를 포함한다. 실시 예들에 따라, 제1메모리 영역(230)과 제2메모리 영역(232)은 컴퓨팅 장치(200)의 내부 또는 외부에 배치된 하나의 메모리 장치에 포함될 수 있고, 서로 다른 메모리 장치들에 포함될 수 있다.The computing device 200 includes a processor 210, a memory controller 220, a first memory area 230, a second memory area 232, and an input interface 255. In some embodiments, the first memory area 230 and the second memory area 232 may be included in one memory device disposed inside or outside the computing device 200, and may be included in different memory devices. have.

프로세서(210)는 CPU(entral processing unit), GPU(Graphic Processing Unit), GPGPU(General-Purpose computing on Graphics Processing Units), 또는 AP (application processor)를 의미할 수 있고, 프로세서(210)는 메모리 컨트롤러 (220), 메모리 장치, 및/또는 입력 입터페이스(255) 각각의 작동을 제어할 수 있다.The processor 210 may mean a central processing unit (CPU), a graphics processing unit (GPU), a general-process computing on graphics processing units (GPGPU), or an application processor (AP), and the processor 210 may be a memory controller. The operation of each of the 220, the memory device, and / or the input interface 255 may be controlled.

프로세서(210)는 운영 체계(operation system(OS); 212)를 실행할 수 있고, OS(212)는 로그인 프로그램(214), 인증 프로그램(216), 및 감시 프로그램 (monitoring program; 218)을 실행할 수 있다. 실시 예들에 따라, 로그인 프로그램 (214)은 인증 프로그램(216)을 포함할 수 있다. 자동 로그인 관리 프로그램(또는 자동 로그인 관리 프로그램 세트)은 인증 프로그램(216)과 감시 프로그램(218)을 총칭할 수 있다.The processor 210 may execute an operating system (OS) 212, and the OS 212 may execute a login program 214, an authentication program 216, and a monitoring program 218. have. According to embodiments, the login program 214 may include an authentication program 216. The automatic login management program (or automatic login management program set) may collectively refer to the authentication program 216 and the monitoring program 218.

프로그램 셋 업 과정에서, 인증 프로그램(216)과 감시 프로그램(218)은 OS (212)의 제어에 따라 컴퓨팅 장치(200)에 설치될 수 있다. 인증 프로그램(216)의 확장자는 dll(dynamic-link library)이고, 감시 프로그램(218)의 확장자는 exe이다. 프로그램 셋 업 과정에서, 인증 프로그램(216)은 로그인 프로그램(214)에 dll 파일로서 삽입되거나 머지(merge)될 수 있다.In the program setup process, the authentication program 216 and the monitoring program 218 may be installed in the computing device 200 under the control of the OS 212. The extension of the authentication program 216 is a dynamic-link library (dll), and the extension of the monitoring program 218 is exe. In the program setup process, the authentication program 216 may be inserted into the login program 214 as a dll file or merged.

실시 예들에 따라, 인증 프로그램(216)을 포함하는 로그인 프로그램(214)이 컴퓨팅 장치(200)로 로드 또는 다운로드되어 OS(212)에 의해 설치될 수 있다.According to embodiments, the login program 214 including the authentication program 216 may be loaded or downloaded to the computing device 200 and installed by the OS 212.

예컨대, 인증 프로그램(216)은 Microsoft®의 GINA(graphical identification and authentication) 또는 GINA dll일 수 있으나 이에 한정되는 것은 아니다.For example, the authentication program 216 may be, but is not limited to, a graphic identification and authentication (GINA) or a GINA dll of Microsoft®.

본 명세서에서 각 프로그램(214, 216, 및 218)은 소프트웨어 모듈(software module)을 의미할 수 있고, 여기서 소프트웨어 모듈은 명령들(instructions) 또는 프로그램 코드들을 포함하는 파일(file)을 의미하거나, dll과 같이 애플리케이션 프로그램의 일부인 하나의 실행가능한 파일(single executable file)을 의미할 수 있다.Each program 214, 216, and 218 herein may mean a software module, where the software module means a file containing instructions or program codes, or a dll This may mean a single executable file that is part of an application program.

로그인 프로그램(214)은 로그인 프로그램(214)을 대체할 수 있는 프로그램(예컨대, 인증 프로그램(216))이 컴퓨팅 장치(200) 내에 존재하는지(또는 설치되어 있는지)를 판단하고, 판단의 결과에 따라 상기 프로그램이 컴퓨팅 장치(200) 내에 존재한다고 판단될 때, 로그인 프로그램(214)은 상기 프로그램을 호출(call)하여 실행할 수 있다.The login program 214 determines whether a program (eg, the authentication program 216) that can replace the login program 214 exists in (or is installed in) the computing device 200, and according to the result of the determination When it is determined that the program exists in the computing device 200, the login program 214 may call and execute the program.

인증 프로그램(216)은 인증 이미지(예컨대, 얼굴 이미지 및/또는 대상 이미지)로부터 인증 패턴(예컨대, 얼굴 패턴 및/또는 대상 패턴)을 생성하고, 생성된 인증 패턴을 제1메모리 영역(230)에 저장(또는 등록)하고, 사용자 정보(URI)를 제1메모리 영역(230)에 저장하고, 비교 대상이 되는 인증 패턴들을 비교하고, 제1메모리 영역(230)으로부터 읽혀진 사용자 정보(URI)를 로그인 프로그램(214)으로 전송(또는 삽입)한다.The authentication program 216 generates an authentication pattern (eg, a face pattern and / or a target pattern) from the authentication image (eg, a face image and / or a target image), and generates the generated authentication pattern in the first memory area 230. Save (or register), store the user information (URI) in the first memory area 230, compare the authentication patterns to be compared, and log in the user information (URI) read from the first memory area (230) Transfer (or insert) to program 214.

실시 예들에 따라, 인증 프로그램(216)은 인증 이미지 자체를 제1메모리 영역(230)에 저장한 후, 비교 대상이 되는 인증 이미지들 각각으로부터 인증 패턴을 추출하고, 추출된 인증 패턴들의 일치 여부 또는 유사도를 판단할 수 있다.According to embodiments, the authentication program 216 stores the authentication image itself in the first memory area 230, and then extracts an authentication pattern from each of the authentication images to be compared, and whether the extracted authentication patterns match or not. Similarity can be determined.

감시 프로그램(218)은 인증 프로그램(216)에 의해 자동 로그인이 수행됨을 모니터(또는 감시)하고, 모니터(또는 감시) 결과에 응답하여 미리 정해진 시간 내에 입력 이벤트가 발생했는지를 판단하고, 상기 미리 정해진 시간 내에 상기 입력 이벤트가 발생하지 않을 경우 로그아웃 또는 화면 잠금을 지시하는 메시지 (message)를 로그인 프로그램(214)으로 전송할 수 있다.The monitoring program 218 monitors (or monitors) that the automatic login is performed by the authentication program 216, determines whether an input event has occurred within a predetermined time in response to the monitor (or monitoring) result, and determines the predetermined time. If the input event does not occur within a time, a message indicating a logout or screen lock may be transmitted to the login program 214.

메시지는 특정한 작업(예컨대, 자동 로그인, 로그아웃, 또는 화면 잠금, 등)을 지시하는 신호, 인터럽트, 알림, 또는 명령(instruction)을 총칭한다.A message is a generic term for a signal, interrupt, notification, or instruction that indicates a particular action (eg, automatic login, logout, or screen lock, etc.).

인증 프로그램(216)은 로그인 프로그램(214)으로부터 전송된 자동 로그인을 위한 메시지를 받을 수 있다. 인증 프로그램(216)은 인공 지능(artificial intelligence) 또는 기계 학습(machine learning) 알고리즘을 통해 카메라(240)에 의해 촬영된 이미지에 포함된 인증 이미지 또는 인증 이미지에 해당하는 인증 패턴을 학습하고 인식할 수 있다.The authentication program 216 may receive a message for automatic login sent from the login program 214. The authentication program 216 may learn and recognize an authentication image included in an image captured by the camera 240 or an authentication pattern corresponding to the authentication image through artificial intelligence or machine learning algorithms. have.

로그인 프로그램(214)은 (i) 입력 장치(250 또는 260)를 이용하여 사용자가 입력한 사용자 정보(URI)를 제2메모리 영역(232)에 저장(또는 등록)할 수 있고, (ⅱ) 인증 프로그램(216)의 설치 여부를 확인할 수 있고, 인증 프로그램(216)이 설치된 경우 인증 프로그램(216)의 실행을 위해 인증 프로그램(216)을 호출할 수 있고, (ⅲ) 인증 프로그램(216)으로부터 전송된 제1사용자 정보와 제2메모리 영역 (232)으로부터 읽혀진 제2사용자 정보를 비교하고 비교 결과에 해당하는 메시지를 인증 프로그램(216)으로 전송할 수 있고, (ⅳ) 감시 프로그램(218)으로부터 전송된 로그아웃 또는 화면 잠금을 지시하는 메시지에 응답하여 컴퓨팅 장치(200)를 로그아웃하거나 컴퓨팅 장치(200)에 대한 화면 잠금을 제어할 수 있다.The login program 214 may (i) store (or register) user information (URI) input by the user using the input device 250 or 260 in the second memory area 232, and (ii) authenticate. It is possible to check whether the program 216 is installed, and if the authentication program 216 is installed, the authentication program 216 may be called for the execution of the authentication program 216, and (i) transmitted from the authentication program 216. Compare the first user information with the second user information read from the second memory area 232 and transmit a message corresponding to the comparison result to the authentication program 216, and (i) transmit the message from the monitoring program 218. In response to a message instructing to log out or lock the screen, the computing device 200 may be logged out or the screen lock of the computing device 200 may be controlled.

사용자 정보(URI)는 사용자가 컴퓨팅 장치(200)에 로그인하기 위해 필요한 정보를 의미하고, 사용자 정보(URI)는 사용자 이름(또는 e-메일 주소)과 패스워드를 포함할 수 있다. 상기 패스워드는 문자 또는 사용자의 생체 정보일 수 있고, 상기 생체 정보는 사용자의 지문 정보, 사용자의 홍채 정보, 사용자의 제스처, 또는 사용자의 목소리일 수 있으나 이에 한정되는 것은 아니다. 컴퓨팅 장치(200)는 입력 장치들(250과 260) 이외에 상체 정보를 획득하여 프로세서(210)로 전송할 수 있는 생체 정보 입력 장치를 더 포함할 수 있다.User information (URI) refers to information required for a user to log in to computing device 200, and user information (URI) may include a user name (or e-mail address) and a password. The password may be text or biometric information of the user, and the biometric information may be, but is not limited to, fingerprint information of a user, iris information of a user, a gesture of a user, or a voice of a user. The computing device 200 may further include a biometric information input device that may acquire upper body information and transmit the upper body information to the processor 210 in addition to the input devices 250 and 260.

메모리 컨트롤러(220)는, 프로세서(210)의 제어에 따라, 프로세서(210)와 메모리 장치 사이에서 주고받는 정보를 인터페이싱할 수 있다. 메모리 컨트롤러(220)는 메모리 장치에 정보를 저장할 수 있고, 상기 메모리 장치로부터 정보를 읽을 수 있다.The memory controller 220 may interface information exchanged between the processor 210 and the memory device under the control of the processor 210. The memory controller 220 may store information in the memory device and read information from the memory device.

본 명세서에서 메모리 장치는 제1메모리 영역(230)과 제2메모리 영역(232) 모두를 포함하는 하나의 메모리 장치를 의미할 수 있고, 제1메모리 영역(230)을 포함하는 제1메모리 장치와 제2메모리 영역(232)을 포함하는 제2메모리 장치를 포함할 수 있다. 즉, 메모리 장치는 하나의 메모리 장치 또는 복수 개의 메모리 장치들을 총칭한다. 예컨대, 각 메모리 영역(230과 232)은 보안 메모리 영역(secure memory region)을 의미할 수 있다.In the present specification, the memory device may mean one memory device including both the first memory area 230 and the second memory area 232, and includes a first memory device including the first memory area 230. It may include a second memory device including a second memory area 232. That is, the memory device collectively refers to one memory device or a plurality of memory devices. For example, each of the memory regions 230 and 232 may refer to a secure memory region.

메모리 장치는 정보(예컨대, 얼굴 패턴, 대상 패턴, 및 사용자 정보)를 일시적으로 또는 영구적으로 저장할 수 있는 데이터 저장 장치(또는 데이터 저장 매체)를 의미하고, 휘발성 메모리 장치와 불휘발성 메모리 장치를 총칭한다. 상기 휘발성 메모리 장치는 DRAM(dynamic random access memory)일 수 있고, 상기 불휘발성 메모리 장치는 하드디스크 드라이브(harddisk drive(HDD)) 또는 플래시-기반 메모리 장치인 솔리드 스테이트 드라이브(solid state drive(SSD))일 수 있다.The memory device refers to a data storage device (or data storage medium) capable of temporarily or permanently storing information (eg, a face pattern, a target pattern, and user information), and collectively refers to a volatile memory device and a nonvolatile memory device. . The volatile memory device may be a dynamic random access memory (DRAM), and the nonvolatile memory device may be a hard disk drive (HDD) or a solid state drive (SSD) that is a flash-based memory device. Can be.

메모리 장치는 컴퓨팅 장치(200)의 내부에 배치될 수 있고 컴퓨팅 장치(200)의 외부에 배치될 수 있다.The memory device may be disposed inside the computing device 200 and may be disposed outside the computing device 200.

카메라(240)는 대상(object) 또는 피사체에 대한 이미지(또는 이미지 데이터)를 생성할 수 있는 이미징 장치(imging device)를 의미할 수 있고, PC 처럼 컴퓨팅 장치(200)의 외부에 배치될 수 있고, 모바일 장치처럼 컴퓨팅 장치(210)의 내부에 배치될 수 있다. 카메라(240)는 웹 카메라 또는 CMOS 이미지 센서로 구현될 수 있고, 컬러 이미지와 깊이(depth) 이미지를 포함하는 복합 이미지, 또는 컬러 이미지를 생성할 수 있다.The camera 240 may refer to an imaging device capable of generating an object or an image (or image data) of the subject, and may be disposed outside the computing device 200 like a PC. It may be disposed inside the computing device 210 as a mobile device. The camera 240 may be implemented as a web camera or a CMOS image sensor, and may generate a composite image or a color image including a color image and a depth image.

실시 예들에 따라, 카메라(240)와 프로세서(210) 사이에는 ISP(image signal processor)가 배치될수 있고, 상기 ISP는 카메라(240)에 의해 생성된 이미지 신호들을 프로세서(210)가 처리할 수 있는 이미지(또는 이미지 데이터)로 변환할 수 있다.According to embodiments, an image signal processor (ISP) may be disposed between the camera 240 and the processor 210, and the ISP may process image signals generated by the camera 240. Can be converted into an image (or image data).

제1입력 장치(250)는 사용자 정보(URI)를 입력할 수 있는 키보드, 키패드, 터치 패드, 또는 터치스크린으로 구현될 수 있다.The first input device 250 may be implemented as a keyboard, a keypad, a touch pad, or a touch screen that can input user information (URI).

입력 인터페이스(255)는 프로세서(210)와 제1입력 장치(250) 사이에서 주고받는 정보를 인터페이싱할 수 있다. 실시 예들에 따라, 입력 인터페이스(255)는 블루투스 페어링(bluetooth pairing)을 수행할 수 있는 하드웨어 또는 상기 블루투스 페어링을 수행하기 위해 프로세서(210)에 실행되는 컴퓨터 프로그램(또는 소프트웨어 모듈)을 의미할 수 있다.The input interface 255 may interface information exchanged between the processor 210 and the first input device 250. According to embodiments, the input interface 255 may refer to hardware capable of performing Bluetooth pairing or a computer program (or software module) executed in the processor 210 to perform the Bluetooth pairing. .

제2입력 장치(260)는 컴퓨터 마우스일 수 있다. 실시 예들에 따라, 키보드 (250)가 블루투스 키보드이고 컴퓨터 마우스(260)가 블루투스 마우스일 때, 블루투스 키보드(250)와 블루투스 마우스(260)는 입력 인터페이스(255)를 통해 프로세서 (210)와 정보를 주고받을 수 있다.The second input device 260 may be a computer mouse. According to embodiments, when the keyboard 250 is a Bluetooth keyboard and the computer mouse 260 is a Bluetooth mouse, the Bluetooth keyboard 250 and the Bluetooth mouse 260 communicate information with the processor 210 via the input interface 255. Can send and receive

실시 예들에 따라, 제1입력 장치(250)는 컴퓨팅 장치(200)와 통신할 수 있는 모바일 장치(예컨대, 스마트폰)에 포함된 블루투스 송수신기를 의미할 수 있다. 상기 모바일 장치의 블루투스 송수신기와 컴퓨팅 장치(200)가 블루투스 통신 프로토콜을 통해 블루투스 페어링(bluetooth pairing)되어 있을 때, 입력 인터페이스 (255)는 상기 블루 투스 송수신기를 포함하는 상기 모바일 장치의 사용자에 의해 입력된 사용자 정보(URI)를 수신하여 프로세서(210)로 전송할 수 있다.According to embodiments, the first input device 250 may refer to a Bluetooth transceiver included in a mobile device (eg, a smartphone) that can communicate with the computing device 200. When the Bluetooth transceiver of the mobile device and the computing device 200 are Bluetooth paired via a Bluetooth communication protocol, the input interface 255 is input by a user of the mobile device including the Bluetooth transceiver. The user information (URI) may be received and transmitted to the processor 210.

도 2는 본 발명의 실시 예들에 따른 도 1에 도시된 컴퓨팅 시스템의 작동을 설명하는 플로우 차트이다.2 is a flow chart illustrating the operation of the computing system shown in FIG. 1 in accordance with embodiments of the present invention.

도 1과 도 2를 참조하면, 제1등록 단계에서, 사용자가 사용자 정보(URI)를 제1입력 장치(250)에 입력하면, 제2사용자 정보(URI)로서 사용되는 사용자 정보 (URI)는 입력 인터페이스(255)를 통해 프로세서(210)에서 실행되는 로그인 프로그램(214)으로 전송된다.1 and 2, in a first registration step, when a user inputs user information (URI) to the first input device 250, the user information (URI) used as the second user information (URI) is It is sent to the login program 214 running on the processor 210 via the input interface 255.

로그인 프로그램(214)은 제2사용자 정보(URI)를 메모리 컨트롤러(220)를 통해 제2메모리 영역(232)에 저장(또는 등록)한다(S101). 제2메모리 영역(232)은 OS (212) 또는 로그인 프로그램(214)에 의해서만 액세스되는 보안 메모리 영역이므로, 인증 프로그램(216)은 제2메모리 영역(232)을 액세스할 수 없다.The login program 214 stores (or registers) the second user information URI in the second memory area 232 through the memory controller 220 (S101). Since the second memory area 232 is a secure memory area that is accessed only by the OS 212 or the login program 214, the authentication program 216 cannot access the second memory area 232.

실시 예들에 따라, 로그인 프로그램(214)은 암호키를 이용하여 제2사용자 정보(URI)를 암호화하고, 암호화된 제2사용자 정보를 메모리 컨트롤러(220)를 통해 제2메모리 영역(232)에 저장(또는 등록)할 수 있다(S101).According to embodiments, the login program 214 encrypts the second user information URI using an encryption key and stores the encrypted second user information in the second memory area 232 through the memory controller 220. (Or registration) (S101).

로그인 프로그램(214)은, 인증 프로그램(216)으로부터 전송된 제1사용자 정보(URI)의 수신에 응답하여, 제2메모리 영역(232)에 저장된 암호화된 제2사용자 정보를 리드(read)하고, 암호화된 제2사용자 정보를 상기 암호키를 이용하여 복호화하고, 복호화된 제2사용자 정보(URI)와 제1사용자 정보(URI)를 비교하고, 비교 결과(예컨대, 성공 또는 실패)를 지시하는 메시지를 인증 프로그램(216)으로 전송할 수 있다.The login program 214 reads the encrypted second user information stored in the second memory area 232 in response to receiving the first user information URI transmitted from the authentication program 216, A message that decrypts encrypted second user information using the encryption key, compares the decrypted second user information URI and the first user information URI, and indicates a comparison result (eg, success or failure). May be transmitted to the authentication program 216.

제1등록 단계 이후에, 인증 프로그램(216)과 감시 프로그램(218)은 컴퓨팅 장치(200)의 프로세서(210)에 의해 컴퓨팅 장치(200)에 설치(또는 셋업)된다.After the first registration step, the authentication program 216 and the monitoring program 218 are installed (or set up) on the computing device 200 by the processor 210 of the computing device 200.

인증 프로그램(216)이 컴퓨팅 장치(200)에 설치(또는 셋업)된 후, 제2등록 단계에서 컴퓨팅 장치(200)가 부팅(booting)되거나 파워-온(power-on)되면, OS (212)는 상기 부팅 또는 상기 파워-온을 감지하고, 로그인 프로그램(214)의 실행을 위해 로그인 프로그램(214)를 호출한다.After the authentication program 216 is installed (or set up) on the computing device 200 and the computing device 200 is booted or powered on in the second registration step, the OS 212 Detects the boot or power-on and calls login program 214 for execution of login program 214.

로그인 프로그램(214)은 자동 로그인을 수행하는 본 발명에 따른 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있는지를 확인(또는 판단)하고, 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있을 때, 로그인 프로그램(214)은 인증 프로그램(216)을 호출한다. 따라서, 인증 프로그램(216)이 호출(또는 실행)됨에 따라 로그인 프로그램(214) 대신에 인증 프로그램(216)이 로그인 또는 자동 로그인에 관여한다.The login program 214 checks (or determines) whether the authentication program 216 according to the present invention, which performs automatic login, is installed on the computing device 200, and the authentication program 216 is applied to the computing device 200. When installed, the login program 214 calls the authentication program 216. Thus, as authentication program 216 is called (or executed), instead of login program 214, authentication program 216 is involved in login or automatic login.

예컨대, 로그인 프로그램(214)이 실행될 때 인증 프로그램(216)은 로그인 프로그램(214)으로부터 인터럽트 신호를 수신할 수 있는 대기(standby) 상태에 있을 수 있고, 인증 프로그램(216)이 실행될 때 로그인 프로그램(214)은 인증 프로그램(216)으로부터 인터럽트 신호를 수신할 수 있는 대기 상태에 있을 수 있다.For example, when the login program 214 is executed, the authentication program 216 may be in a standby state to receive an interrupt signal from the login program 214, and when the authentication program 216 is executed, the login program ( 214 may be in a waiting state to receive an interrupt signal from authentication program 216.

예컨대, 로그인 프로그램(214)이 포그라운드(foreground)에서 실행될 때 인증 프로그램(216)은 백그라운드(background)에서 실행될 수 있고, 인증 프로그램(216)이 포그라운드에서 실행될 때 로그인 프로그램(214)은 백그라운드에서 실행될 수 있다.For example, the authentication program 216 may run in the background when the login program 214 runs in the foreground, and the login program 214 may run in the background when the authentication program 216 runs in the foreground. Can be executed.

예컨대, 인증 프로그램(216)이 호출(또는 실행)되면, 인증 프로그램(216)은 사용자 정보(URI)를 입력할 수 있는 제1사용자 인터페이스와, 사용자의 얼굴을 등록할 수 있는 제2사용자 인터페이스를 포함하는 사용자 인터페이스를 출력 장치(예컨대, 디스플레이 장치; 270)를 통해 사용자에게 제공한다. 실시 예들에 따라 상기 제1사용자 인터페이스, 상기 제2사용자 인터페이스, 및 상기 사용자 인터페이스 각각은 그래픽 사용자 인터페이스(graphical user interface(GUI))일 수 있으나 이에 한정되는 것은 아니다.For example, when the authentication program 216 is called (or executed), the authentication program 216 may include a first user interface for inputting user information (URI) and a second user interface for registering a user's face. The user interface is provided to a user through an output device (eg, a display device) 270. According to embodiments, each of the first user interface, the second user interface, and the user interface may be a graphical user interface (GUI), but is not limited thereto.

인증 프로그램(216) 또는 사용자는 카메라(240)의 작동을 제어하는 카메라 드라이버 또는 카메라 API(Application Programming Interface)를 실행시킬 수 있다.The authentication program 216 or the user may execute a camera driver or a camera application programming interface (API) that controls the operation of the camera 240.

제2등록 단계에서, 사용자가 제1입력 장치(250)를 통해 제1사용자 인터페이스에 사용자 정보(URI)를 입력하면, 제1사용자 정보(URI)로서 사용되는 사용자 정보(URI)는 입력 인터페이스(255)를 통해 로그인 프로그램(214) 대신에 인증 프로그램(216)으로 전송(또는 입력)된다. 인증 프로그램(216)은 제1사용자 정보(URI)를 메모리 컨트롤러(220)를 통해 제1메모리 영역(230)에 저장(또는 등록)한다(S103). 제1메모리 영역(230)은 인증 프로그램(216)에 의해서만 액세스되는 보안 메모리 영역이므로, 로그인 프로그램(214)은 제1메모리 영역(230)을 액세스할 수 없다.In the second registration step, when the user inputs the user information (URI) to the first user interface through the first input device 250, the user information (URI) used as the first user information (URI) is input interface ( 255 is transmitted (or entered) to authentication program 216 instead of login program 214. The authentication program 216 stores (or registers) the first user information URI in the first memory area 230 through the memory controller 220 (S103). Since the first memory area 230 is a secure memory area that is accessed only by the authentication program 216, the login program 214 may not access the first memory area 230.

제2등록 단계에서, 사용자가 제2사용자 인터페이스를 조작하여 카메라(240)를 이용하여 사용자의 얼굴을 촬영하면, 카메라(240)는 상기 사용자의 얼굴에 해당하는 제1얼굴 이미지(IM1)를 생성한다. 제1얼굴 이미지(IM1)는 프로세서(210)에서 실행되는 인증 프로그램(216)으로 전송되고, 인증 프로그램(216)은 제1얼굴 이미지 (IM1)로부터 제1얼굴 패턴(FP1)을 생성하고, 메모리 컨트롤러(220)를 통해 제1얼굴 패턴(FP1)을 제1메모리 영역(230)에 저장(또는 등록)한다(S105).In the second registration step, when the user manipulates the second user interface to photograph the user's face using the camera 240, the camera 240 generates a first face image IM1 corresponding to the user's face. do. The first face image IM1 is transmitted to the authentication program 216 executed in the processor 210, and the authentication program 216 generates the first face pattern FP1 from the first face image IM1, and stores the memory. The first face pattern FP1 is stored (or registered) in the first memory area 230 through the controller 220 (S105).

실시예들에 따라, 인증 프로그램(216)은 얼굴 이미지 자체를 제1메모리 영역 (230)에 저장한 후 단계(S125)에서 제1메모리 영역(230)으로부터 리드된 상기 얼굴 이미지로부터 얼굴 패턴을 추출할 수 있다.According to embodiments, the authentication program 216 stores the face image itself in the first memory area 230 and then extracts a face pattern from the face image read from the first memory area 230 in step S125. can do.

제2등록 단계에서, 단계(S105)는 단계(S103)보다 먼저 수행될 수 있다.In the second registration step, step S105 may be performed before step S103.

제2등록 단계가 완료된 후, 인증 단계 또는 자동 로그인 단계에서, 컴퓨팅 장치(200)가 다시 부팅되거나 다시 파워-온되면, OS(212)는 상기 부팅 또는 상기 파워-온을 감지하고, 로그인 프로그램(214)을 실행하기 위해 로그인 프로그램(214)를 호출한다.After the second registration step is completed, in the authentication step or the automatic login step, when the computing device 200 is rebooted or powered on again, the OS 212 detects the boot or the power-on, and the login program ( Call login program 214 to execute 214.

인증 단계 또는 자동 로그인 단계에서, 로그인 프로그램(214)은 자동 로그인을 수행하는 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있는지를 확인(또는 판단)하고, 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있을 때, 로그인 프로그램(214)은 인증 프로그램(216)을 실행시키기 위해 인증 프로그램(216)을 호출한다(S110).In the authentication phase or the automatic login phase, the login program 214 checks (or determines) that an authentication program 216 that performs automatic login is installed on the computing device 200, and the authentication program 216 is configured to compute the device. When installed at 200, the login program 214 calls the authentication program 216 to execute the authentication program 216 (S110).

자동 로그인은 제2등록 단계 이후(즉, 제1사용자 정보(URI)와 제1얼굴 패턴 (FP1)이 제1메모리 영역(230)에 저장된 후)에 컴퓨팅 장치(200)에 로그인하기 위해 사용자가 입력 장치(250 또는 260)를 통해 사용자 정보(URI)를 별도로 입력하지 않더라도 인증 프로그램(216)의 메시지에 따라 컴퓨팅 장치(200)에 자동으로 로그인하는 것을 의미한다. 따라서 자동 로그인 이후에, 사용자는 컴퓨팅 장치(200)의 메모리 장치에 저장되고 상기 사용자에게 액세스가 허용된 리소스(예컨대, 문서, 파일, 또는 이미지)를 사용할 수 있다.The automatic login is performed by a user to log in to the computing device 200 after the second registration step (ie, after the first user information URI and the first face pattern FP1 are stored in the first memory area 230). Even if the user information (URI) is not separately input through the input device 250 or 260, it means that the user automatically logs in to the computing device 200 according to the message of the authentication program 216. Thus, after automatic login, a user can use a resource (eg, document, file, or image) stored in the memory device of computing device 200 and granted access to the user.

컴퓨팅 장치(200)에 유선 또는 무선으로 연결된 카메라(240)는 사용자의 얼굴을 촬영하고, 상기 사용자의 얼굴에 대한 제2얼굴 이미지(IMi, i=2)를 생성하고, 제2얼굴 이미지(IM2)를 프로세서(210)로 전송한다. 프로세서(210)에서 실행 중인 인증 프로그램(216)은 제2얼굴 이미지(IM2)로부터 제2얼굴 패턴(FPi, i=2)을 생성한다(S120).The camera 240 connected to the computing device 200 by wire or wirelessly captures a face of the user, generates a second face image IMi (i = 2) of the face of the user, and generates a second face image IM2. ) Is transmitted to the processor 210. The authentication program 216 running in the processor 210 generates a second face pattern FPi (i = 2) from the second face image IM2 (S120).

제2얼굴 이미지(IM2)가 수신되거나 제2얼굴 패턴(FP2)이 생성됨에 따라, 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1얼굴 패턴(FP1)를 읽어와서, 제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)을 비교한다(S125).As the second face image IM2 is received or the second face pattern FP2 is generated, the authentication program 216 reads the first face pattern FP1 stored in the first memory area 230, and thus the first face pattern IM2 is generated. The face pattern FP1 is compared with the second face pattern FP2 (S125).

제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)이 일치할 때(S125의 YES), 예컨대, 제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)과의 유사도가 높을 때(S125의 YES), 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1사용자 정보(URI)를 읽어와서 제1사용자 정보(URI)를 로그인 프로그램(214)으로 전송한다(S130).When the first face pattern FP1 and the second face pattern FP2 coincide (YES in S125), for example, when the similarity between the first face pattern FP1 and the second face pattern FP2 is high (S125). YES), the authentication program 216 reads the first user information URI stored in the first memory area 230 and transmits the first user information URI to the login program 214 (S130).

실시 예들에 따라, 인증 프로그램(216)은 제1얼굴 이미지(IM1) 자체를 제1메모리 영역(230)에 저장하고, 제1메모리 영역(230)에 저장된 제1얼굴 이미지(IM1)를 리드하고, 제1얼굴 이미지(IM1)로부터 제1얼굴 패턴(FP1)을 생성하고, 제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)를 비교할 수도 있다.According to embodiments, the authentication program 216 stores the first face image IM1 itself in the first memory area 230, reads the first face image IM1 stored in the first memory area 230, and reads the first face image IM1 itself. The first face pattern FP1 may be generated from the first face image IM1, and the first face pattern FP1 may be compared with the second face pattern FP2.

실시 예들에 따라, 인증 프로그램(216)이 암호키를 이용하여 제1사용자 정보 (URI)를 암호화하고, 암호화된 제1사용자 정보를 제1메모리 영역(230)에 저장한 경우, 제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)이 일치할 때(S125의 YES), 인증 프로그램(216)은 제1메모리 영역(230)으로부터 암호화된 제1사용자 정보를 읽어와서, 상기 암호화된 제1사용자 정보를 상기 암호키를 이용하여 복호화하고, 복호화된 제1사용자 정보(URI)를 로그인 프로그램(214)으로 전송할 수 있다(S130).According to embodiments, when the authentication program 216 encrypts the first user information (URI) using an encryption key and stores the encrypted first user information in the first memory area 230, the first face pattern. When (FP1) and the second face pattern FP2 coincide (YES in S125), the authentication program 216 reads the encrypted first user information from the first memory area 230, so that the encrypted first User information may be decrypted using the encryption key, and the decrypted first user information URI may be transmitted to the login program 214 (S130).

제1사용자 정보(URI)가 수신됨에 따라 로그인 프로그램(214)은 제2메모리 영역(232)에 저장된 제2사용자 정보(URI)를 읽어와서, 제1사용자 정보(URI)와 제2사용자 정보(URI)를 비교한다(S140). 앞에서 설명한 바와 같이, 로그인 프로그램 (214)은 암호화된 제2사용자 정보를 암호키를 이용하여 복호화한 후 복호화된 제2사용자 정보와 제1사용자 정보를 비교할 수 있다.As the first user information URI is received, the login program 214 reads the second user information URI stored in the second memory area 232, so that the first user information URI and the second user information UI are read. URI) is compared (S140). As described above, the login program 214 may decrypt the encrypted second user information by using an encryption key and then compare the decrypted second user information with the first user information.

제1사용자 정보(URI)와 제2사용자 정보(URI)가 일치할 때(S150의 YES), 로그인 프로그램(214)은 인증(또는 일치) 또는 성공을 지시하는 메시지를 인증 프로그램(216)으로 전송한다. 따라서, 인증 프로그램(216)은 상기 메지시에 응답하여 컴퓨팅 장치(200)에 자동 로그인한다(S155). 컴퓨팅 장치(200)에 자동 로그인됨에 따라, 바탕 화면이 디스플레이 장치(270)에서 디스플레이된다.When the first user information (URI) and the second user information (URI) match (YES in S150), the login program 214 transmits a message indicating authentication (or matching) or success to the authentication program 216. do. Accordingly, the authentication program 216 automatically logs in to the computing device 200 in response to the message (S155). As the user automatically logs in to the computing device 200, the desktop screen is displayed on the display device 270.

즉, 사용자가 컴퓨팅 장치(200)에 로그인하기 위해 사용자 정보(URI)를 제1입력 장치(250)로 새로 입력하지 않더라도 인증 프로그램(216)은 로그인 프로그램 (214)으로부터 전송된 인증(또는 일치) 또는 성공을 지시하는 메시지에 따라 컴퓨팅 장치(200)에 자동으로 로그인한다(S155).That is, even if the user does not newly enter the user information (URI) into the first input device 250 to log in to the computing device 200, the authentication program 216 may be authenticated (or matched) transmitted from the login program 214. Or, automatically logs in to the computing device 200 according to a message indicating success (S155).

제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)이 일치하지 않을 때(S125의 NO), 예컨대, 제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)과의 유사도가 낮을 때(S125의 NO), 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1사용자 정보(URI)를 로그인 프로그램(214)으로 전송하지 않는다(S145). 따라서 사용자는 컴퓨팅 장치(200)에 로그인할 수 없다.When the first face pattern FP1 and the second face pattern FP2 do not coincide (NO in S125), for example, when the similarity between the first face pattern FP1 and the second face pattern FP2 is low ( NO in S125, the authentication program 216 does not transmit the first user information URI stored in the first memory area 230 to the login program 214 (S145). Therefore, the user cannot log in to the computing device 200.

인증 프로그램(216)은 제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)과의 유사도(또는 유사 정도를 나타내는 값)와 기준 유사도(또는 기준 값)를 비교하고, 상기 유사도가 상기 기준 유사도보다 높을 때에는 단계(S130)을 수행하고, 그렇지 않을 때 단계(S145)를 수행한다.The authentication program 216 compares the similarity (or value indicating the degree of similarity) and the reference similarity (or reference value) between the first face pattern FP1 and the second face pattern FP2, and the similarity is the reference similarity. If it is higher, step S130 is performed, otherwise step S145 is performed.

또한, 제1사용자 정보(URI)와 제2사용자 정보(URI)가 일치하지 않을 때 (S150의 NO), 로그인 프로그램(214)은 불인증(또는 불일치) 또는 실패를 지시하는 메시지를 인증 프로그램(216)으로 전송한다. 따라서 인증 프로그램(216)은 컴퓨팅 장치(200)로의 로그인을 거부한다(S145). 사용자는 컴퓨팅 장치(200)에 로그인할 수 없다.In addition, when the first user information URI and the second user information URI do not match (NO in S150), the login program 214 sends a message indicating an unauthorized (or inconsistent) or failure message to the authentication program ( 216). Therefore, the authentication program 216 rejects the login to the computing device 200 (S145). The user cannot log in to the computing device 200.

실행 파일(executable file)로 구현될 수 있는 감시 프로그램(218)은, 컴퓨팅 장치(200)로의 자동 로그인을 모니터(또는 감시)하고, 모니터(또는 감시) 결과에 따라 감시 프로그램(218)에 포함된 소프트웨어 카운터(또는 소프트웨어 타이머)를 작동(또는 시작)시킨다.The monitoring program 218, which may be implemented as an executable file, monitors (or monitors) an automatic login to the computing device 200, and is included in the monitoring program 218 according to the monitor (or monitoring) result. Activates (or starts) a software counter (or software timer).

감시 프로그램(216)은 제1입력 장치(250), 제2입력 장치(260), 및/또는 카메라(240)로부터 출력 신호(이를 "입력 이벤트"라 한다.)가 발생하는지를 모니터하고, 모니터 결과에 따라 메시지를 생성한다(S160).The monitoring program 216 monitors whether an output signal (called an "input event") occurs from the first input device 250, the second input device 260, and / or the camera 240, and monitors the result. Generate a message according to (S160).

예컨대, 감시 프로그램(216)은 소프트웨어 카운터(또는 소프트웨어 타이머)에 의해 계산(또는 측정)된 미리 정해진 시간 이내에 입력 이벤트가 발생하는지를 판단한다(S170). 상기 미리 정해진 시간 이내에 상기 입력 이벤트가 발생하면(S170의 YES), 예컨대 사용자가 컴퓨팅 장치(200)를 현재 사용하고 있다고 판단될 때, 자동 로그인은 그대로 유지된다(S175).For example, the monitoring program 216 determines whether an input event occurs within a predetermined time calculated (or measured) by a software counter (or a software timer) (S170). If the input event occurs within the predetermined time (YES in S170), for example, when it is determined that the user is currently using the computing device 200, the automatic login is maintained (S175).

그러나 상기 미리 정해진 시간 이내에 상기 입력 이벤트가 발생하지 않으면 (S170의 NO), 예컨대 사용자가 컴퓨팅 장치(200)를 현재 사용하고 있지 않다고 판단될 때, 감시 프로그램(218)은 로그아웃 또는 화면 잠금을 지시하는 메시지를 생성하고, 상기 메시지를 로그인 프로그램(214)으로 전송한다. 로그인 프로그램(218)은 상기 메시지에 응답하여 컴퓨팅 장치(200)에 대한 로그아웃 또는 화면 잠금을 수행한다(S180).However, if the input event does not occur within the predetermined time (NO in S170), for example, when it is determined that the user is not currently using the computing device 200, the monitoring program 218 instructs to log out or lock the screen. Generates a message, and sends the message to the login program 214. The login program 218 performs a logout or screen lock on the computing device 200 in response to the message (S180).

컴퓨팅 장치(200)에 대한 로그아웃 또는 화면 잠금이 수행된 후, 컴퓨팅 장치(200)에 대한 자동 로그인은 아래의 단계들에 따라 다시 수행된다.After the logout or screen lock on the computing device 200 is performed, automatic login to the computing device 200 is performed again according to the following steps.

로그아웃 또는 화면 잠금을 지시하는 메시지에 따라 실행되는 로그인 프로그램(214)은 자동 로그인을 수행하는 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있는지를 다시 확인(또는 판단)하고, 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있을 때, 인증 프로그램(216)을 실행시키기 위해 로그인 프로그램 (214)은 인증 프로그램(216)을 다시 호출한다(S110).The login program 214, which is executed according to a message instructing logout or screen lock, checks again (or determines) whether an authentication program 216 that performs automatic login is installed in the computing device 200, and the authentication program When 216 is installed in the computing device 200, the login program 214 calls the authentication program 216 again to execute the authentication program 216 (S110).

카메라(240)에 의해 사용자의 얼굴이 다시 촬영되면, 카메라(240)는 상기 사용자의 얼굴에 대한 제3얼굴 이미지(IMi, i=3)를 생성하고, 제3얼굴 이미지(IM3)를 프로세서(210)로 전송한다. 프로세서(210)에서 실행되는 인증 프로그램(216)은 제3얼굴 이미지(IM3)로부터 제3얼굴 패턴(FPi, i=3)을 생성한다(S120). 각 얼굴 이미지(IM1, IM2, 및 IM3)는 각 시점에 카메라(240)에 의해 촬영된 사용자의 얼굴에 대한 이미지이다.When the face of the user is photographed by the camera 240 again, the camera 240 generates a third face image IMi (i = 3) of the face of the user and converts the third face image IM3 into a processor ( 210). The authentication program 216 executed in the processor 210 generates a third face pattern FPi (i = 3) from the third face image IM3 (S120). Each face image IM1, IM2, and IM3 is an image of a user's face photographed by the camera 240 at each viewpoint.

제3얼굴 이미지(IM3)가 수신되거나 제3얼굴 패턴(FP3)이 생성됨에 따라, 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1얼굴 패턴(FP1)를 읽어와서, 제1얼굴 패턴(FP1)과 제3얼굴 패턴(FP3)을 비교한다(S125).When the third face image IM3 is received or the third face pattern FP3 is generated, the authentication program 216 reads the first face pattern FP1 stored in the first memory area 230, and thus the first face pattern IM3 is generated. The face pattern FP1 is compared with the third face pattern FP3 (S125).

제1얼굴 패턴(FP1)과 제3얼굴 패턴(FP3)이 일치할 때(S125의 YES), 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1사용자 정보(URI)를 읽어와서 제1사용자 정보(URI)를 로그인 프로그램(214)으로 전송한다(S130). 실시 예들에 따라, 인증 프로그램(216)은 복호화된 제1사용자 정보(URI)를 로그인 프로그램(214)으로 전송한다(S130).When the first face pattern FP1 and the third face pattern FP3 coincide (YES in S125), the authentication program 216 reads the first user information URI stored in the first memory area 230. The first user information URI is transmitted to the login program 214 (S130). According to embodiments, the authentication program 216 transmits the decrypted first user information (URI) to the login program 214 (S130).

제1사용자 정보(URI)가 수신됨에 따라 로그인 프로그램(214)은 제2메모리 영역(232)에 저장된 제2사용자 정보(URI)를 읽어와서, 제1사용자 정보(URI)와 제2사용자 정보(URI)를 비교한다(S140). 실시 예에 따라, 로그인 프로그램(214)은 암호화된 제2사용자 정보를 복호화하고, 제1사용자 정보(URI)와 복호화된 제2사용자 정보(URI)를 비교한다(S140).As the first user information URI is received, the login program 214 reads the second user information URI stored in the second memory area 232, so that the first user information URI and the second user information UI are read. URI) is compared (S140). According to an embodiment, the login program 214 decrypts the encrypted second user information, and compares the first user information URI and the decrypted second user information URI (S140).

제1사용자 정보(URI)와 제2사용자 정보(URI)가 일치할 때(S150의 YES), 로그인 프로그램(214)은 인증(또는 일치)를 지시하는 메시지를 인증 프로그램(216)으로 새롭게 전송한다. 따라서, 인증 프로그램(216)은 상기 메지시에 응답하여 컴퓨팅 장치(200)에 자동 로그인한다(S155). 그후, 앞에서 설명된 단계들(S160, S170, S175, 및 S180)이 수행된다.When the first user information URI and the second user information URI match (YES in S150), the login program 214 newly transmits a message indicating authentication (or matching) to the authentication program 216. . Accordingly, the authentication program 216 automatically logs in to the computing device 200 in response to the message (S155). Then, the steps S160, S170, S175, and S180 described above are performed.

도 2에서는 사용자의 얼굴 인식을 통해 컴퓨팅 장치(200)에 자동 로그인하는 방법(S100)이 설명되었으나, 본 발명은 사용자의 얼굴 대신에 상기 사용자의 신체의 일부 또는 상기 사용자가 소지하는 대상을 인식하여 컴퓨팅 장치(200)에 자동 로그인하는 방법에도 적용될 수 있다.In FIG. 2, a method (S100) of automatically logging in to the computing device 200 through face recognition of the user has been described, but the present invention recognizes a part of the user's body or an object possessed by the user instead of the user's face. The method may also be applied to the method of automatically logging in to the computing device 200.

따라서, 도 1의 각 이미지(IM1과 IMi)는 사용자의 신체의 일부 이미지 또는 대상 이미지를 의미할 수 있고, 제1메모리 영역(230)에 저장되는 FP1은 상기 이미지에 해당하는 패턴을 의미할 수 있고, FPi는 IMi에 해당하는 패턴을 의미할 수 있다.Accordingly, each of the images IM1 and IMi in FIG. 1 may mean a partial image or a target image of the user's body, and FP1 stored in the first memory area 230 may mean a pattern corresponding to the image. FPi may mean a pattern corresponding to IMi.

도 3은 본 발명의 실시 예들에 따른 도 1에 도시된 컴퓨팅 시스템의 작동을 설명하는 플로우 차트이다.3 is a flow chart illustrating the operation of the computing system shown in FIG. 1 in accordance with embodiments of the present invention.

도 2를 참조하여 설명된 제1등록 단계는 이미 수행되었고, 인증 프로그램 (216)과 감시 프로그램(218)은 이미 컴퓨팅 장치(200)에 설치되었다고 가정한다.It is assumed that the first registration step described with reference to FIG. 2 has already been performed and the authentication program 216 and the monitoring program 218 are already installed in the computing device 200.

인증 프로그램(216)이 컴퓨팅 장치(200)에 설치된 후, 컴퓨팅 장치(200)가 부팅되거나 파워-온되면, OS(212)는 상기 부팅 또는 상기 파워-온을 감지하고, 로그인 프로그램(214)를 호출하고, 호출된 로그인 프로그램(214)은 인증 프로그램 (216)을 다시 호출한다.After the authentication program 216 is installed in the computing device 200, when the computing device 200 is booted or powered on, the OS 212 detects the boot or the power-on and executes a login program 214. And the called login program 214 calls the authentication program 216 again.

호출된 인증 프로그램(216)은 제1모드(MODE1)와 제2모드(MODE2) 중에서 어느 하나를 선택할 수 있는 옵션(또는 GUI))을 디스플레이 장치(270)를 통해 사용자에게 제공한다. 사용자는 상기 옵션(또는 GUI)를 이용하여 제1모드(MODE1) 또는 제2모드(MODE2)를 선택할 수 있다(S205).The called authentication program 216 provides the user with the display device 270 an option (or GUI) for selecting one of the first mode MODE1 and the second mode MODE2. The user may select the first mode MODE1 or the second mode MODE2 using the option (or GUI) (S205).

제1모드(MODE1)는 도 2를 참조하여 설명된 얼굴 인식을 이용하여 컴퓨팅 장치(200)에 자동 로그인하는 방법(S100)이고, 제2모드(MODE2)는 복수 개의 인증 이미지들에 해당하는 인증 패턴들을 이용하여 컴퓨팅 장치(200)에 자동 로그인하는 방법(S200)이다.The first mode MODE1 is a method of automatically logging in to the computing device 200 using face recognition described with reference to FIG. 2 (S100), and the second mode MODE2 is authentication corresponding to a plurality of authentication images. A method of automatically logging in to the computing device 200 using the patterns (S200).

도 3에서는 설명의 편의를 위한 복수 개의 인증 이미지들은 2개이고, 2개의 인증 이미지들은 사용자의 얼굴 이미지와 대상 이미지이고, 상기 대상 이미지는 스마트폰 이미지라고 가정한다. 물론, 본 발명은 더 강화된 보안을 위해, 3개 이상의 인증 이미지들을 이용하여 컴퓨팅 장치(200)에 자동 로그인하는 방법에 적용될 수 있다.In FIG. 3, it is assumed that a plurality of authentication images are provided for convenience of description, two authentication images are a face image and a target image of a user, and the target image is a smartphone image. Of course, the present invention can be applied to a method of automatically logging in to the computing device 200 using three or more authentication images for enhanced security.

사용자가 인증 프로그램(216)에 의해 제공되는 제2모드(MODE2)를 선택했다고 가정한다.Assume that the user has selected the second mode MODE2 provided by the authentication program 216.

도 1 내지 도 3을 참조하면, 제2등록 단계에서, 사용자가 제1입력 장치(250)를 통해 제1사용자 인터페이스에 사용자 정보(URI)를 입력하면, 제1사용자 정보 (URI)로 불리는 사용자 정보(URI)는 입력 인터페이스(255)를 통해 프로세서(210)에서 실행되는 인증 프로그램(216)으로 전송된다. 인증 프로그램(216)은 제1사용자 정보(URI)를 메모리 컨트롤러(220)를 통해 제1메모리 영역(230)에 저장(또는 등록)한다(S210).1 to 3, in the second registration step, when a user inputs user information (URI) to the first user interface through the first input device 250, a user called first user information (URI). The information URI is transmitted to the authentication program 216 running on the processor 210 via the input interface 255. The authentication program 216 stores (or registers) the first user information URI in the first memory area 230 through the memory controller 220 (S210).

제2등록 단계에서, 사용자가 제2사용자 인터페이스를 조작하여 카메라(240)를 이용하여 사용자의 얼굴을 촬영하면, 카메라(240)는 상기 사용자의 얼굴에 해당하는 제1얼굴 이미지(IM1)를 생성한다. 제1얼굴 이미지(IM1)는 프로세서(210)에서 실행되는 인증 프로그램(216)으로 전송되고, 인증 프로그램(216)은 제1얼굴 이미지 (IM1)로부터 제1얼굴 패턴(FP1)을 생성하고, 메모리 컨트롤러(220)를 통해 제1얼굴 패턴(FP1)을 제1메모리 영역(230)에 저장(또는 등록)한다(S215).In the second registration step, when the user manipulates the second user interface to photograph the user's face using the camera 240, the camera 240 generates a first face image IM1 corresponding to the user's face. do. The first face image IM1 is transmitted to the authentication program 216 executed in the processor 210, and the authentication program 216 generates the first face pattern FP1 from the first face image IM1, and stores the memory. The first face pattern FP1 is stored (or registered) in the first memory area 230 through the controller 220 (S215).

사용자가 제2사용자 인터페이스를 조작하여 카메라(240)를 이용하여 자신이 소지하고 있는 스마트폰을 촬영하면, 카메라(240)는 상기 스마트폰에 해당하는 제1스마트폰 이미지(OIMi, i=1)를 생성한다. 제1스마트폰 이미지(OIM1)는 프로세서 (210)에서 실행되는 인증 프로그램(216)으로 전송되고, 인증 프로그램(216)은 제1스마트폰 이미지(IM1)로부터 제1스마트폰 패턴(OPi, i=1)을 생성하고, 메모리 컨트롤러(220)를 통해 제1스마트폰 패턴(OP1)을 제1메모리 영역(230)에 저장(또는 등록)한다(S220).When the user operates the second user interface and photographs the smart phone possessed by the user by using the camera 240, the camera 240 may display the first smart phone image (OIMi, i = 1) corresponding to the smart phone. Create The first smartphone image OIM1 is transmitted to the authentication program 216 that is executed in the processor 210, and the authentication program 216 receives the first smartphone pattern OPi, i = from the first smartphone image IM1. 1) and the first smartphone pattern OP1 is stored (or registered) in the first memory area 230 through the memory controller 220 (S220).

제2등록 단계에서, 단계들(S210, S215, 및 S220)이 수행되는 순서는 실시 예들에 따라 다양하게 변경될 수 있다.In the second registration step, the order in which the steps S210, S215, and S220 are performed may be variously changed according to embodiments.

제2등록 단계가 완료된 후, 인증 단계 또는 자동 로그인 단계에서, 컴퓨팅 장치(200)가 다시 부팅되거나 다시 파워-온되면, OS(212)는 상기 부팅 또는 상기 파워-온을 감지하고, 대기 상태에 있는 로그인 프로그램(214)를 호출한다.After the second registration step is completed, in the authentication step or the automatic login step, if the computing device 200 is rebooted or powered on again, the OS 212 detects the boot or the power-on and enters the standby state. The login program 214 which is present.

인증 단계 또는 자동 로그인 단계에서, 로그인 프로그램(214)은 자동 로그인을 수행하는 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있는지를 확인(또는 판단)하고, 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있을 때, 로그인 프로그램(214)은 대기 상태의 인증 프로그램(216)을 다시 호출한다(S223). 따라서 인증 프로그램(216)은 실행된다.In the authentication phase or the automatic login phase, the login program 214 checks (or determines) that an authentication program 216 that performs automatic login is installed on the computing device 200, and the authentication program 216 is configured to compute the device. When installed at 200, the login program 214 calls again the authentication program 216 in the standby state (S223). Thus, the authentication program 216 is executed.

인증 단계 또는 자동 로그인 단계를 수행하기 위해, 사용자가 카메라(240)를 이용하여 상기 사용자의 얼굴과 스마트폰을 순차적으로 또는 병렬적으로 촬영하면, 카메라(240)는 상기 사용자의 얼굴에 대한 제2얼굴 이미지(IMi, i=2)와 상기 스마트폰에 대한 제2스마트폰 이미지(OIMi, i=2)를 생성하고, 제2얼굴 이미지(IM2)와 제2스마트폰 이미지(OIM2)를 프로세서(210)로 전송하고, 인증 프로그램(216)은 제2얼굴 이미지(IM2)로부터 제2얼굴 패턴(FPi, i=2)을 생성하고 제2스마트폰 이미지 (OIM2)로부터 제2스마트폰 패턴(OP2)를 생성한다(S225).In order to perform the authentication step or the automatic login step, when the user photographs the user's face and the smartphone in sequence or in parallel using the camera 240, the camera 240 generates a second image of the user's face. A face image IMi (i = 2) and a second smartphone image OIMi (i = 2) for the smartphone are generated, and the second face image IM2 and the second smartphone image OIM2 are generated by the processor ( 210, the authentication program 216 generates the second face pattern FPi, i = 2 from the second face image IM2, and the second smartphone pattern OP2 from the second smartphone image OIM2. ) Is generated (S225).

각 이미지(IM2와 OIM2)가 수신되거나 각 패턴(FP2와 OP2)이 생성됨에 따라, 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1얼굴 패턴(FP1)과 제1스마트폰 패턴(OP1)을 읽어와서, 제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)을 비교하고 (S230), 제1스마트폰 패턴(OP1)과 제2스마트폰 패턴(OP2)을 비교한다(S235).As each image IM2 and OIM2 is received or each pattern FP2 and OP2 is generated, the authentication program 216 may store the first face pattern FP1 and the first smartphone pattern stored in the first memory area 230. After reading OP1, the first face pattern FP1 and the second face pattern FP2 are compared (S230), and the first smartphone pattern OP1 and the second smartphone pattern OP2 are compared ( S235).

실시 예들에 따라, 인증 프로그램(216)이 제1얼굴 이미지(IM1)와 제1스마트폰 이미지(OIM1)를 제1메모리 영역(230)에 저장한 경우, 각 이미지(IM2와 OIM2)가 수신되거나 각 패턴(FP2와 OP2)이 생성됨에 따라 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1얼굴 이미지(IM1)와 제1스마트폰 이미지(OIM1)를 읽어와서, 제1얼굴 이미지(IM1)에 해당하는 제1얼굴 패턴(FP1)과 제1스마트폰 이미지(OIM1)에 해당하는 제1스마트폰 패턴(OP1)을 생성하고, 제1얼굴 패턴(FP1)과 제2얼굴 패턴 (FP2)을 비교하고(S230), 제1스마트폰 패턴(OP1)과 제2스마트폰 패턴(OP2)을 비교한다(S235).According to embodiments, when the authentication program 216 stores the first face image IM1 and the first smartphone image OIM1 in the first memory area 230, each image IM2 and OIM2 is received or As the patterns FP2 and OP2 are generated, the authentication program 216 reads the first face image IM1 and the first smartphone image OIM1 stored in the first memory area 230, and thus the first face image. The first smartphone pattern OP1 corresponding to the first face pattern FP1 and the first smartphone image OIM1 corresponding to IM1 is generated, and the first face pattern FP1 and the second face pattern ( FP2) is compared (S230), and the first smartphone pattern OP1 and the second smartphone pattern OP2 are compared (S235).

제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)이 일치하고(S230의 YES) 제1스마트폰 패턴(OP1)과 제2스마트폰 패턴(OP2)이 일치할 때(S235의 YES), 예컨대 제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)과의 유사도가 높고(S230의 YES) 제1스마트폰 패턴(OP1)과 제2스마트폰 패턴(OP2)의 유사도가 높을 때(S235의 YES), 인증 프로그램 (216)은 제1메모리 영역(230)에 저장된 제1사용자 정보(URI)를 읽어와서 제1사용자 정보(URI)를 로그인 프로그램(214)으로 전송한다(S130).When the first face pattern FP1 and the second face pattern FP2 match (YES in S230) and the first smartphone pattern OP1 and the second smartphone pattern OP2 coincide (YES in S235), For example, when the similarity between the first face pattern FP1 and the second face pattern FP2 is high (YES in S230) and when the similarity between the first smartphone pattern OP1 and the second smartphone pattern OP2 is high (S235). YES), the authentication program 216 reads the first user information URI stored in the first memory area 230 and transmits the first user information URI to the login program 214 (S130).

제1사용자 정보(URI)가 수신됨에 따라 로그인 프로그램(214)은 제2메모리 영역(232)에 저장된 제2사용자 정보(URI)를 읽어와서, 제1사용자 정보(URI)와 제2사용자 정보(URI)를 비교한다(S140).As the first user information URI is received, the login program 214 reads the second user information URI stored in the second memory area 232, so that the first user information URI and the second user information UI are read. URI) is compared (S140).

제1사용자 정보(URI)와 제2사용자 정보(URI)가 일치할 때(S150의 YES), 로그인 프로그램(214)은 인증(또는 일치)를 지시하는 메시지를 인증 프로그램(216)으로 전송한다. 따라서, 인증 프로그램(216)은 상기 메지시에 응답하여 컴퓨팅 장치 (200)에 자동 로그인한다(S155). 자동 로그인됨에 따라 바탕 화면이 디스플레이 장치(270)에서 디스플레이된다.When the first user information URI and the second user information URI match (YES in S150), the login program 214 transmits a message indicating authentication (or matching) to the authentication program 216. Accordingly, the authentication program 216 automatically logs in to the computing device 200 in response to the message (S155). As the user is automatically logged in, the desktop is displayed on the display device 270.

제1얼굴 패턴(FP1)과 제2얼굴 패턴(FP2)이 일치하지 않거나(S230 NO) 제1스마트폰 패턴(OP1)과 제2스마트폰 패턴(OP2)이 일치하지 않을 때(S235의 NO), 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1사용자 정보(URI)를 로그인 프로그램(214)으로 전송하지 않는다(S145). 따라서 사용자는 컴퓨팅 장치(200)에 로그인할 수 없다.When the first face pattern FP1 and the second face pattern FP2 do not coincide (S230 NO) or when the first smartphone pattern OP1 and the second smartphone pattern OP2 do not coincide (NO in S235). The authentication program 216 does not transmit the first user information URI stored in the first memory area 230 to the login program 214 (S145). Therefore, the user cannot log in to the computing device 200.

또한, 제1사용자 정보(URI)와 제2사용자 정보(URI)가 일치하지 않을 때 (S150의 NO), 로그인 프로그램(214)은 불인증(또는 불일치)를 지시하는 메시지를 인증 프로그램(216)으로 전송한다. 따라서 인증 프로그램(216)은 컴퓨팅 장치(200)로의 로그인을 거부한다(S145).In addition, when the first user information URI and the second user information URI do not match (NO in S150), the login program 214 sends a message indicating the unauthorized authentication (or inconsistency) to the authentication program 216. To send. Therefore, the authentication program 216 rejects the login to the computing device 200 (S145).

도 4를 참조하면, 로그인 프로그램(214) 또는 인증 프로그램(216)은 로그인 GUI(214A)를 사용자에게 제공할 수 있다.Referring to FIG. 4, the login program 214 or the authentication program 216 may provide the login GUI 214A to the user.

예컨대, 제1등록 단계에서 로그인 프로그램(214)에 의해 제공되는 로그인 GUI(214A)는 사용자 이름과 패스워드를 입력할 수 있는 UI들(user interfaces; 216-1과 216-3)와 저장(또는 등록)을 위한 UI(216-5)를 포함한다.For example, the login GUI 214A provided by the login program 214 in the first registration step stores and stores (or registers) user interfaces (216-1 and 216-3) for entering a user name and password. UI 216-5).

제2등록 단계에서 인증 프로그램(216)에 의해 제공되는 로그인 GUI(214A)는 사용자 이름과 패스워드를 입력할 수 있는 UI들(216-1과 216-3)와 저장(또는 저장)을 위한 UI(216-5)를 포함한다.In the second registration step, the login GUI 214A provided by the authentication program 216 includes UIs 216-1 and 216-3 for inputting a user name and password, and a UI for storing (or storing) ( 216-5).

인증 단계 또는 자동 로그인 단계에서 인증 프로그램(216)에 의해 제공되는 로그인 GUI(214A)는 사용자 이름과 패스워드를 입력할 수 있는 UI들(216-1과 216-3)와 로그인을 위한 UI(216-5)를 포함한다.The login GUI 214A provided by the authentication program 216 in the authentication phase or the automatic login phase includes UIs 216-1 and 216-3 for entering a user name and password and a UI 216- for login. 5) is included.

인증 단계 또는 자동 로그인 단계에서, 인증 프로그램(214)은 로그인 프로그램(214)로부터 전송되고 인증(또는 일치)를 지시하는 메시지에 포함된 사용자 정보 (예컨대, 사용자 이름과 패스워드)를 UI들(216-1과 216-3)에 강제로 삽입한 후, 자동 로그인을 위해 UI(216-5)를 자동으로(또는 프로그램적으로) 클릭하게 할 수 있다. 따라서, 사용자가 UI들(216-1과 216-3)에 수동으로 사용자 정보를 입력하지 않고 UI(216-5)를 수동으로 클락하지 않다라도 인증 프로그램(214)에 의해 사용자는 컴퓨팅 장치(200)에 자동적으로 로그인할 수 있다.In the authentication phase or the automatic login phase, the authentication program 214 transmits the user information (eg, user name and password) included in the message transmitted from the login program 214 and indicating authentication (or matching) to the UIs 216-. 1, 216-3), and then automatically (or programmatically) click on UI 216-5 for automatic login. Thus, even if a user does not manually enter user information into the UIs 216-1 and 216-3 and does not manually clock the UI 216-5, the authentication program 214 allows the user to use the computing device 200. You can log in automatically).

도 5는 발명의 실시 예들에 따라 얼굴 인식을 이용하여 컴퓨팅 장치에 자동 로그인을 수행할 수 있는 컴퓨팅 시스템의 블록도를 나타낸다. 도 1과 도 5를 참조하면, 카메라(240)로부터 프로세서(210)로 전송되는 데이터와, 프로세서(210)로부터 메모리 컨트롤러(220)로 전송되는 데이터를 제외하면, 도 1에 도시된 컴퓨팅 시스템(100)의 구조와 도 5에 도시된 컴퓨팅 시스템(100)의 구조는 동일하다.5 illustrates a block diagram of a computing system capable of performing automatic login to a computing device using face recognition in accordance with embodiments of the invention. 1 and 5, except for data transmitted from the camera 240 to the processor 210 and data transmitted from the processor 210 to the memory controller 220, the computing system illustrated in FIG. 1 ( The structure of 100 and the computing system 100 shown in FIG. 5 are identical.

도 1, 도 2, 및 도 5를 참조하면, 제1등록 단계에서, 사용자가 제1입력 장치 (250)에 사용자 정보(URI)를 입력하면, 제2사용자 정보(URI)로 불리는 사용자 정보 (URI)는 입력 인터페이스(255)를 통해 로그인 프로그램(214)으로 전송된다.1, 2, and 5, in a first registration step, when a user inputs user information (URI) to the first input device 250, user information called second user information (URI) ( URI) is sent to the login program 214 via the input interface 255.

로그인 프로그램(214)은 제2사용자 정보(URI)를 메모리 컨트롤러(220)를 통해 제2메모리 영역(232)에 저장(또는 등록)한다. 실시 예들에 따라, 로그인 프로그램(214)은 암호키를 이용하여 제2사용자 정보(URI)를 암호화하고, 암호화된 제2사용자 정보를 메모리 컨트롤러(220)를 통해 제2메모리 영역(232)에 저장할 수 있다.The login program 214 stores (or registers) the second user information URI in the second memory area 232 through the memory controller 220. According to embodiments, the login program 214 encrypts the second user information URI using an encryption key, and stores the encrypted second user information in the second memory area 232 through the memory controller 220. Can be.

로그인 프로그램(214)은, 인증 프로그램(216)으로부터 전송된 제1사용자 정보(URI)의 수신에 응답하여, 제2메모리 영역(232)에 저장된 암호화된 제2사용자 정보를 읽어오고, 암호화된 제2사용자 정보를 상기 암호키를 이용하여 복호화하고, 복호화된 제2사용자 정보(URI)와 제1사용자 정보(URI)를 비교하고, 그 비교 결과(예컨대, 성공 또는 실패)를 지시하는 메시지를 인증 프로그램(216)으로 전송할 수 있다.The login program 214 reads the encrypted second user information stored in the second memory area 232 in response to the reception of the first user information URI transmitted from the authentication program 216, and encrypts the encrypted first user information. 2 Decrypt the user information using the encryption key, compare the decrypted second user information (URI) and the first user information (URI), and authenticate the message indicating the comparison result (for example, success or failure). Program 216.

제1등록 단계 이후에, 인증 프로그램(216)과 감시 프로그램(218)은 컴퓨팅 장치(200)의 프로세서(210)에 의해 컴퓨팅 장치(200)에 설치(또는 셋업)된다.After the first registration step, the authentication program 216 and the monitoring program 218 are installed (or set up) on the computing device 200 by the processor 210 of the computing device 200.

인증 프로그램(216)이 컴퓨팅 장치(200)에 설치(또는 셋업)된 후, 제2등록 단계에서 컴퓨팅 장치(200)가 부팅되거나 파워-온되면, OS(212)는 상기 부팅 또는 상기 파워-온을 감지하고, 로그인 프로그램(214)의 실행을 위해 로그인 프로그램 (214)를 호출한다.After the authentication program 216 is installed (or set up) on the computing device 200, and when the computing device 200 is booted or powered on in the second registration step, the OS 212 may boot the boot or the power-on. And the login program 214 is called for execution of the login program 214.

로그인 프로그램(214)은 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있는지를 확인(또는 판단)하고, 인증 프로그램(216)이 설치되어 있을 때, 로그인 프로그램(214)은 인증 프로그램(216)을 실행하기 위해 인증 프로그램(216)을 호출한다.The login program 214 checks (or determines) whether the authentication program 216 is installed in the computing device 200, and when the authentication program 216 is installed, the login program 214 is the authentication program 216. The authentication program 216 is called to execute.

제2등록 단계에서, 사용자가 제1입력 장치(250)를 통해 제1사용자 인터페이스에 사용자 정보(URI)를 입력하면, 제1사용자 정보(URI)로 불리는 사용자 정보 (URI)는 입력 인터페이스(255)를 통해 로그인 프로그램(214) 대신에 인증 프로그램 (216)으로 전송(또는 입력)된다. 인증 프로그램(216)은 제1사용자 정보(URI)를 메모리 컨트롤러(220)를 통해 제1메모리 영역(230)에 저장(또는 등록)한다.In the second registration step, when the user inputs the user information (URI) to the first user interface through the first input device 250, the user information (URI) called the first user information (URI) is input interface 255. Is transmitted (or entered) to the authentication program 216 instead of the login program 214. The authentication program 216 stores (or registers) the first user information URI in the first memory area 230 through the memory controller 220.

제2등록 단계에서, 사용자가 제2사용자 인터페이스를 조작하여 카메라(240)를 이용하여 사용자의 얼굴을 포함하는 피사체들을 촬영하면, 카메라(240)는 상기 피사체들을 포함하는 제1이미지(IG1)를 생성한다. 제1이미지(IG1)는 인증 프로그램 (216)으로 전송되고, 인증 프로그램(216)은 제1이미지(IG1)로부터 상기 사용자의 얼굴에 해당하는 제1얼굴 이미지(FI1)을 추출하고, 추출된 제1얼굴 이미지(FI1)를 메모리 컨트롤러(220)를 통해 제1메모리 영역(230)에 저장(또는 등록)한다.In the second registration step, when the user operates the second user interface to photograph the subjects including the user's face using the camera 240, the camera 240 captures the first image IG1 including the subjects. Create The first image IG1 is transmitted to the authentication program 216, and the authentication program 216 extracts the first face image FI1 corresponding to the face of the user from the first image IG1 and extracts the extracted first image. The first face image FI1 is stored (or registered) in the first memory area 230 through the memory controller 220.

제2등록 단계가 완료된 후, 인증 단계 또는 자동 로그인 단계에서, 컴퓨팅 장치(200)가 다시 부팅되거나 다시 파워-온되면, OS(212)는 상기 부팅 또는 상기 파워-온을 감지하고, 로그인 프로그램(214)을 실행시키기 위해 로그인 프로그램 (214)를 호출한다.After the second registration step is completed, in the authentication step or the automatic login step, when the computing device 200 is rebooted or powered on again, the OS 212 detects the boot or the power-on, and the login program ( Call login program 214 to execute 214.

인증 단계 또는 자동 로그인 단계에서, 로그인 프로그램(214)은 인증 프로그램(216)이 컴퓨팅 장치(200)에 설치되어 있는지를 확인(또는 판단)하고, 인증 프로그램(216)이 설치되어 있을 때, 로그인 프로그램(214)은 인증 프로그램(216)을 실행시키기 위해 인증 프로그램(216)을 호출한다.In the authentication phase or the automatic login phase, the login program 214 checks (or determines) whether the authentication program 216 is installed in the computing device 200, and when the authentication program 216 is installed, the login program 214 calls the authentication program 216 to execute the authentication program 216.

사용자가 제2사용자 인터페이스를 조작하여 카메라(240)를 이용하여 사용자의 얼굴을 포함하는 피사체들을 다시 촬영하면, 카메라(240)는 상기 피사체들을 포함하는 제2이미지(IGi, i=2)를 생성한다. 제2이미지(IG2)는 인증 프로그램(216)으로 전송되고, 인증 프로그램(216)은 제2이미지(IG2)로부터 상기 사용자의 얼굴에 해당하는 제2얼굴 이미지(FI2)을 추출한다.When the user manipulates the second user interface again to photograph the subjects including the user's face using the camera 240, the camera 240 generates a second image (IGi, i = 2) including the subjects. do. The second image IG2 is transmitted to the authentication program 216, and the authentication program 216 extracts the second face image FI2 corresponding to the face of the user from the second image IG2.

제2얼굴 이미지(IG2)가 생성됨에 따라, 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1얼굴 이미지(FI1)를 읽어와서, 제1얼굴 이미지(FI1)과 제2얼굴 이미지(FI2)을 비교한다.As the second face image IG2 is generated, the authentication program 216 reads the first face image FI1 stored in the first memory area 230, and thus the first face image FI1 and the second face image. Compare (FI2).

제1얼굴 이미지(FI1)과 제2얼굴 이미지(FI2)이 일치할 때, 예컨대, 제1얼굴 이미지(FI1)에 포함된 특징들과 제2얼굴 이미지(FI2)에 포함된 특징들과의 유사도가 높을 때, 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1사용자 정보 (URI)를 읽어와서 제1사용자 정보(URI)를 로그인 프로그램(214)으로 전송한다.When the first face image FI1 coincides with the second face image FI2, for example, the similarity between the features included in the first face image FI1 and the features included in the second face image FI2. When is high, the authentication program 216 reads the first user information (URI) stored in the first memory area 230 and transmits the first user information (URI) to the login program 214.

제1사용자 정보(URI)가 수신됨에 따라 로그인 프로그램(214)은 제2메모리 영역(232)에 저장된 제2사용자 정보(URI)를 읽어와서, 제1사용자 정보(URI)와 제2사용자 정보(URI)를 비교한다.As the first user information URI is received, the login program 214 reads the second user information URI stored in the second memory area 232, so that the first user information URI and the second user information UI are read. URI).

제1사용자 정보(URI)와 제2사용자 정보(URI)가 일치할 때, 로그인 프로그램 (214)은 인증(또는 일치) 또는 성공을 지시하는 메시지를 인증 프로그램(216)으로 전송한다. 인증 프로그램(216)은 상기 메지시에 응답하여 컴퓨팅 장치(200)에 자동 로그인한다.When the first user information URI and the second user information URI match, the login program 214 sends a message to the authentication program 216 indicating authentication (or matching) or success. The authentication program 216 automatically logs in to the computing device 200 in response to the message.

제1얼굴 이미지(FI1)과 제2얼굴 이미지(FI2)이 일치하지 않을 때, 예컨대, 예컨대, 제1얼굴 이미지(FI1)에 포함된 특징들과 제2얼굴 이미지(FI2)에 포함된 특징들과의 유사도가 낮을 때, 인증 프로그램(216)은 제1메모리 영역(230)에 저장된 제1사용자 정보(URI)를 로그인 프로그램(214)으로 전송하지 않는다.When the first face image FI1 and the second face image FI2 do not coincide, for example, the features included in the first face image FI1 and the features included in the second face image FI2. When the degree of similarity with that is low, the authentication program 216 does not transmit the first user information URI stored in the first memory area 230 to the login program 214.

제1사용자 정보(URI)와 제2사용자 정보(URI)가 일치하지 않을 때, 로그인 프로그램(214)은 불인증(또는 불일치) 또는 실패를 지시하는 메시지를 인증 프로그램 (216)으로 전송한다. 따라서 인증 프로그램(216)은 컴퓨팅 장치(200)로의 로그인을 거부한다(S145). 즉, 사용자는 컴퓨팅 장치(200)에 로그인할 수 없다.When the first user information URI and the second user information URI do not match, the login program 214 sends a message to the authentication program 216 indicating an unauthorized (or inconsistent) or failure. Therefore, the authentication program 216 rejects the login to the computing device 200 (S145). That is, the user cannot log in to the computing device 200.

도 1 내지 도 5를 참조하여 설명된 얼굴 인식(또는 얼굴 패턴의 비교)에 기초하여 컴퓨팅 장치(200)에 자동 로그인할 수 있는 방법(또는 단계들)을 수행할 수 있는 컴퓨터 프로그램은, 컴퓨팅 장치(200)로 읽을 수 있는 저장 매체(예컨대, 메모리 장치)에 저장되고, 컴퓨팅 장치(200)에 의해 실행될 수 있다.A computer program capable of performing a method (or steps) that can automatically log in to computing device 200 based on face recognition (or comparison of face patterns) described with reference to FIGS. 1-5. And may be stored in a storage medium (eg, a memory device) that can be read by 200 and executed by computing device 200.

하드웨어(200 또는 210)와 결합되어 얼굴 인식에 기초하여 컴퓨팅 장치(200)에 자동 로그인하기 위해 저장 매체(예컨대, 메모리 장치)에 저장된 컴퓨터 프로그램은, 도 1 내지 도 5를 참조하여 설명된 얼굴 인식에 기초하여 자동 로그인 방법을 수행할 수 있다. 여기서 컴퓨터 프로그램은 애플리케이션 프로그램을 의미할 수 있다.A computer program coupled to hardware 200 or 210 and stored in a storage medium (eg, a memory device) to automatically log in to computing device 200 based on face recognition, may be used for face recognition described with reference to FIGS. 1-5. The automatic login method may be performed based on. Here, the computer program may mean an application program.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

100: 컴퓨팅 시스템
200: 컴퓨팅 장치
210: 프로세서
212: OS(operating system)
214: 로그인 프로그램
216: 인증 프로그램
218: 감시 프로그램
220: 메모리 컨트롤러
230: 제1메모리 영역
232: 제2메모리 영역
240: 카메라
250: 제1입력 장치, 키보드
255: 입력 인터페이스
260: 제2입력 장치, 컴퓨터 마우스
270: 출력 장치, 디스플레이 장치, 스피커100: computing system
200: computing device
210: processor
212: operating system (OS)
214: login program
216: Certification Program
218: surveillance program
220: memory controller
230: first memory area
232: second memory area
240: camera
250: first input device, keyboard
255: input interface
260: second input device, computer mouse
270: output device, display device, speaker

Claims (17)

컴퓨팅 장치에서 실행 중인 인증 프로그램이 상기 컴퓨팅 장치와 결합된 입력 장치를 통해 사용자에 의해 입력된 제1사용자 정보를 수신하여 상기 인증 프로그램에 의해 액세스되는 제1메모리 영역에 등록하는 단계;
상기 인증 프로그램이 상기 컴퓨팅 장치와 결합된 카메라에 의해 촬영된 상기 사용자의 제1인증 이미지로부터 제1인증 패턴을 생성하고, 생성된 제1인증 패턴을 상기 제1메모리 영역에 등록하는 단계;
상기 컴퓨팅 장치가 부팅된 후, 상기 컴퓨팅 장치에서 실행 중인 로그인 프로그램이 상기 인증 프로그램을 호출하는 단계;
호출된 인증 프로그램이 상기 카메라에 의해 촬영된 상기 사용자의 제2인증 이미지로부터 제2인증 패턴을 생성하는 단계;
상기 인증 프로그램이 상기 제2인증 패턴과 상기 제1메모리 영역으로부터 전송된 상기 제1인증 패턴을 비교하는 단계;
상기 제1인증 패턴과 상기 제2인증 패턴이 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 전송된 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계;
상기 로그인 프로그램이 상기 제1사용자 정보를 수신한 후, 상기 로그인 프로그램이 상기 로그인 프로그램에 의해서 액세스 가능한 제2메모리 영역에 저장된 제2사용자 정보를 읽어와서, 상기 제1사용자 정보와 상기 제2사용자 정보를 비교하는 단계; 및
상기 제1사용자 정보와 상기 제2사용자 정보가 일치할 때, 상기 인증 프로그램이 상기 로그인 프로그램으로부터 전송된 제1메시지에 따라 상기 컴퓨팅 장치에 자동 로그인하는 단계를 포함하는 로그인 방법.Receiving, by an authentication program running on a computing device, first user information input by a user through an input device coupled with the computing device and registering in a first memory area accessed by the authentication program;
Generating, by the authentication program, a first authentication pattern from a first authentication image of the user photographed by a camera coupled with the computing device, and registering the generated first authentication pattern in the first memory area;
After the computing device is booted, a login program running on the computing device calling the authentication program;
Generating, by the called authentication program, a second authentication pattern from the second authentication image of the user captured by the camera;
Comparing the second authentication pattern with the first authentication pattern transmitted from the first memory area by the authentication program;
When the first authentication pattern and the second authentication pattern match, transmitting, by the authentication program, the first user information transmitted from the first memory area to the login program;
After the login program receives the first user information, the login program reads second user information stored in a second memory area accessible by the login program, so that the first user information and the second user information. Comparing the; And
And when the first user information and the second user information coincide, the authentication program automatically logging in to the computing device according to the first message transmitted from the login program. 제1항에 있어서,
상기 제1인증 이미지는 상기 사용자의 제1얼굴 이미지이고,
상기 제2인증 이미지는 상기 사용자의 제2얼굴 이미지인 로그인 방법.The method of claim 1,
The first authentication image is a first face image of the user,
And the second authentication image is a second face image of the user. 제1항에 있어서,
상기 제1인증 이미지는 상기 사용자의 제1얼굴 이미지와 제1대상 이미지를 포함하고,
상기 제2인증 이미지는 상기 사용자의 제2얼굴 이미지와 제2대상 이미지를 포함하고,
상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계는,
상기 제1얼굴 이미지에 대한 제1얼굴 패턴과 상기 제2얼굴 이미지에 대한 제2얼굴 패턴이 일치하고, 상기 제1대상 이미지에 대한 제1대상 패턴과 상기 제2대상 이미지에 대한 제2대상 패턴이 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 리드된 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 로그인 방법.The method of claim 1,
The first authentication image includes a first face image and a first target image of the user,
The second authentication image includes a second face image and a second target image of the user,
The step of transmitting the first user information to the login program,
The first face pattern for the first face image and the second face pattern for the second face image match, and the first target pattern for the first target image and the second target pattern for the second target image. And the authentication program transmits the first user information read from the first memory area to the login program. 제1항에 있어서,
상기 컴퓨팅 장치에서 실행 중인 감시 프로그램이 자동 로그인 후 미리 설정된 시간 내에 상기 입력 장치로부터 입력 이벤트가 발생하는지를 감시하는 단계; 및
상기 미리 설정된 시간 내에 상기 입력 이벤트가 발생하지 않을 때, 상기 감시 프로그램으로부터 전송된 제2메시지에 따라 상기 로그인 프로그램이 상기 컴퓨팅 장치를 로그아웃하거나 화면 잠금하는 단계를 더 포함하는 로그인 방법.The method of claim 1,
Monitoring whether an input event occurs from the input device within a preset time after an automatic login by the monitoring program running on the computing device; And
And when the input event does not occur within the preset time, the login program logs out or locks the computing device according to a second message sent from the monitoring program. 제4항에 있어서,
상기 로그인 프로그램의 확장자는 dll이고,
상기 감시 프로그램의 확장자는 exe인 로그인 방법.The method of claim 4, wherein
The extension of the login program is dll,
The extension of the monitoring program is exe login method. 제4항에 있어서,
상기 로그인 프로그램이 상기 컴퓨팅 장치를 로그아웃하거나 화면 잠금을 한 후, 상기 로그인 프로그램이 상기 인증 프로그램을 다시 호출하는 단계;
다시 호출된 인증 프로그램이 상기 카메라에 의해 다시 촬영된 상기 사용자의 제3인증 이미지로부터 제3인증 패턴을 생성하는 단계;
상기 인증 프로그램이 상기 제3인증 패턴과 상기 제1메모리 영역으로부터 리드된 상기 제1인증 패턴을 비교하는 단계;
상기 제1인증 패턴과 상기 제3인증 패턴이 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 다시 리드된 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계;
상기 로그인 프로그램이 상기 제1사용자 정보를 수신한 후, 상기 로그인 프로그램이 상기 제2메모리 영역에 저장된 상기 제2사용자 정보를 다시 읽어와서, 상기 제1사용자 정보와 상기 제2사용자 정보를 비교하는 단계; 및
상기 제1사용자 정보와 상기 제2사용자 정보가 일치할 때, 상기 인증 프로그램이 상기 로그인 프로그램으로부터 다시 전송된 상기 제1메시지에 따라 상기 컴퓨팅 장치에 다시 로그인하는 단계를 더 포함하는 로그인 방법.The method of claim 4, wherein
After the login program logs out or locks the computing device, the login program calls the authentication program again;
Generating a third authentication pattern from the third authentication image of the user again photographed by the camera, by the called authentication program again;
Comparing the third authentication pattern with the first authentication pattern read from the first memory area by the authentication program;
When the first authentication pattern and the third authentication pattern match, transmitting, by the authentication program, the first user information read back from the first memory area to the login program;
After the login program receives the first user information, the login program reads the second user information stored in the second memory area again and compares the first user information with the second user information. ; And
And when the first user information and the second user information match, the authentication program logs in to the computing device again according to the first message sent back from the login program. 제1항에 있어서, 상기 제1사용자 정보와 상기 제2사용자 정보를 비교하는 단계는,
상기 인증 프로그램이 암호화된 상기 제2사용자 정보를 상기 제2메모리 영역으로부터 읽어와서 복호화하는 단계; 및
상기 제1사용자 정보와 복호화된 상기 제2사용자 정보를 비교하는 단계를 포함하는 로그인 방법.The method of claim 1, wherein the comparing of the first user information and the second user information comprises:
Reading and encrypting the encrypted second user information from the second memory area by the authentication program; And
And comparing the first user information with the decrypted second user information. 제1항에 있어서,
상기 로그인 프로그램은 GINA(graphical identification and authentication) 모듈인 로그인 방법.The method of claim 1,
The login program is a GINA (graphical identification and authentication) module. 제1항의 상기 로그인 방법을 수행할 수 있는 컴퓨터 프로그램을 기록한 상기 컴퓨팅 장치로 읽을 수 있는 기록 매체.A recording medium readable by the computing device having recorded a computer program capable of performing the login method of claim 1. 컴퓨팅 장치와 결합되어 상기 컴퓨팅 장치에 자동 로그인을 위해 데이터 저장 장치에 저장된 인증 프로그램에 있어서,
등록 단계에서, 상기 인증 프로그램이 상기 컴퓨팅 장치와 결합된 입력 장치를 통해 사용자에 의해 입력된 제1사용자 정보를 제1메모리 영역에 등록하는 단계;
상기 등록 단계에서, 상기 인증 프로그램이 상기 컴퓨팅 장치와 결합된 카메라에 의해 촬영된 상기 사용자의 제1얼굴 이미지를 상기 제1메모리 영역에 등록하는 단계;
인증 단계에서, 상기 컴퓨팅 장치가 부팅된 후, 상기 인증 프로그램이 상기 컴퓨팅 장치에서 실행 중인 로그인 프로그램에 의해 실행되는 단계;
상기 인증 단계에서, 상기 인증 프로그램이 상기 카메라에 의해 촬영된 상기 사용자의 제2얼굴 이미지를 수신하는 단계;
상기 인증 프로그램이 상기 제1메모리 영역으로부터 상기 제1얼굴 이미지를 읽어와서 상기 제1얼굴 이미지와 상기 제2얼굴 이미지를 비교하는 단계;
상기 제1얼굴 이미지와 상기 제2얼굴 이미지가 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 읽혀진 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계; 및
상기 인증 프로그램이 상기 로그인 프로그램으로부터 자동 로그인을 지시하는 메시지를 수신하고 상기 메시지에 응답하여 상기 컴퓨팅 장치에 자동 로그인하는 단계를 포함하는 데이터 저장 장치에 저장된 인증 프로그램.An authentication program associated with a computing device and stored in a data storage device for automatic login to the computing device, the authentication program comprising:
Registering, by the authentication program, first user information input by a user through an input device coupled with the computing device in a first memory area;
In the registering step, registering, by the authentication program, a first face image of the user captured by a camera coupled with the computing device to the first memory area;
In the authentication step, after the computing device is booted, the authentication program is executed by a login program running on the computing device;
In the authentication step, the authentication program receiving a second face image of the user photographed by the camera;
The authentication program reading the first face image from the first memory area and comparing the first face image with the second face image;
When the first face image and the second face image match, transmitting, by the authentication program, the first user information read from the first memory area to the login program; And
And the authentication program receiving a message instructing automatic login from the login program and automatically logging in to the computing device in response to the message. 제10항에 있어서,
상기 메시지는 제2메모리 영역으로부터 읽혀진 제2사용자 정보와 상기 제1사용자 정보가 일치할 때 상기 로그인 프로그램에 의해 생성된 데이터 저장 장치에 저장된 인증 프로그램.The method of claim 10,
The message stored in the data storage device generated by the login program when the second user information read from the second memory area and the first user information match. 제10항에 있어서,
상기 로그인 프로그램에 의해 상기 컴퓨팅 장치가 로그아웃된 후,
재인증 단계에서, 상기 인증 프로그램이 상기 로그인 프로그램에 의해 재실행되는 단계;
상기 재인증 단계에서, 재실행된 인증 프로그램이 상기 카메라에 의해 촬영된 상기 사용자의 제3얼굴 이미지를 수신하는 단계;
상기 재실행된 인증 프로그램이 상기 제1메모리 영역으로부터 상기 제1얼굴 이미지를 읽어와서 상기 제1얼굴 이미지와 상기 제3얼굴 이미지를 비교하는 단계;
상기 제1얼굴 이미지와 상기 제3얼굴 이미지가 일치할 때, 상기 재실행된 인증 프로그램이 상기 제1메모리 영역으로부터 다시 읽혀진 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계; 및
상기 재실행된 인증 프로그램이 상기 로그인 프로그램으로부터 자동 로그인을 지시하는 메시지를 다시 수신하고 다시 수신된 메시지에 응답하여 상기 컴퓨팅 장치에 자동 로그인하는 단계를 포함하는 데이터 저장 장치에 저장된 인증 프로그램.The method of claim 10,
After the computing device is logged out by the login program,
In the reauthentication step, the authentication program being re-executed by the login program;
In the re-authentication step, the re-executed authentication program receiving a third face image of the user photographed by the camera;
The re-executed authentication program reading the first face image from the first memory area and comparing the first face image with the third face image;
When the first face image and the third face image coincide, the re-executed authentication program transmitting the first user information read back from the first memory area to the login program; And
Receiving the message instructing automatic login from the login program again by the re-executed authentication program, and automatically logging in to the computing device in response to the received message. 컴퓨팅 장치와 결합되어 상기 컴퓨팅 장치에 자동 로그인 작동을 위해 데이터 저장 장치에 저장된 자동 로그인 관리 프로그램에 있어서,
인증 프로그램과 감시 프로그램을 포함하는 상기 자동 로그인 관리 프로그램 이 상기 컴퓨팅 장치에 셋업되는 단계;
상기 인증 프로그램이 사용자의 제1사용자 정보를 수신하여 제1메모리 영역에 등록하는 단계;
상기 인증 프로그램이 상기 사용자의 제1얼굴 이미지를 수신하여 상기 제1메모리 영역에 등록하는 단계;
로그인 프로그램에 의해 상기 인증 프로그램이 호출되는 단계;
상기 인증 프로그램이 상기 사용자의 제2얼굴 이미지를 수신하는 단계;
상기 인증 프로그램이 상기 제1메모리 영역으로부터 상기 제1얼굴 이미지를 읽어와서 상기 제1얼굴 이미지와 상기 제2얼굴 이미지를 비교하는 단계;
상기 제1얼굴 이미지와 상기 제2얼굴 이미지가 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 읽혀진 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계;
상기 인증 프로그램이 상기 로그인 프로그램으로부터 자동 로그인을 지시하는 메시지를 수신하고 상기 메시지에 응답하여 상기 컴퓨팅 장치에 상기 자동 로그인 작동을 수행하는 단계; 및
상기 감시 프로그램이 미리 정해진 시간 내에 입력 이벤트가 발생하는지를 감시하는 단계를 포함하는 데이터 저장 장치에 저장된 자동 로그인 관리 프로그램.An automatic login management program coupled with a computing device and stored in a data storage device for automatic login operation to the computing device,
Setting up the automatic login management program on the computing device, the authentication program including an authentication program and a monitoring program;
Receiving, by the authentication program, first user information of a user and registering the same in a first memory area;
Receiving, by the authentication program, the first face image of the user in the first memory area;
Calling the authentication program by a login program;
The authentication program receiving a second face image of the user;
The authentication program reading the first face image from the first memory area and comparing the first face image with the second face image;
When the first face image and the second face image match, transmitting, by the authentication program, the first user information read from the first memory area to the login program;
The authentication program receiving a message instructing automatic login from the login program and performing the automatic login operation on the computing device in response to the message; And
And monitoring, by the monitoring program, whether an input event occurs within a predetermined time. 제13항에 있어서,
상기 미리 정해진 시간 내에 상기 입력 이벤트가 발생할 때, 상기 감시 프로그램은 로그인의 유지를 지시하는 제1메시지를 상기 로그인 프로그램으로 전송하고,
상기 미리 정해진 시간 내에 상기 입력 이벤트가 발생하지 않을 때, 상기 감시 프로그램은 로그아웃 또는 화면 잠금을 지시하는 제2메시지를 상기 로그인 프로그램으로 전송하는 데이터 저장 장치에 저장된 자동 로그인 관리 프로그램.The method of claim 13,
When the input event occurs within the predetermined time, the monitoring program sends a first message to the login program instructing to maintain the login,
And when the input event does not occur within the predetermined time, the monitoring program is stored in a data storage device for transmitting a second message to the login program indicating logout or screen lock. 제13항에 있어서,
상기 인증 프로그램의 확장자는 dll이고,
상기 감시 프로그램의 확장자는 exe은 데이터 저장 장치에 저장된 자동 로그인 관리 프로그램.The method of claim 13,
The extension of the authentication program is dll,
The extension of the monitoring program is an exe automatic login management program stored in the data storage device. 컴퓨팅 장치에서 실행되는 로그인 프로그램, 인증 프로그램, 및 감시 프로그램을 이용하여 사용자를 상기 컴퓨팅 장치에 자동 로그인하는 서비스 제공 방법에 있어서,
상기 로그인 프로그램을 이용하여 상기 사용자의 제2사용자 정보를 제2메모리 영역에 저장하는 단계;
상기 인증 프로그램을 이용하여 상기 사용자의 제1사용자 정보를 제1메모리 영역에 저장하는 단계;
상기 인증 프로그램을 이용하여 상기 사용자의 제1얼굴 이미지를 상기 제1메모리 영역에 저장하는 단계;
상기 컴퓨팅 장치가 부팅된 후, 상기 로그인 프로그램이 상기 인증 프로그램을 호출하는 단계;
상기 인증 프로그램이 상기 사용자의 제2얼굴 이미지를 수신하는 단계;
상기 인증 프로그램이 상기 제1메모리 영역으로부터 상기 제1얼굴 이미지를 읽어와서, 상기 제1얼굴 이미지와 상기 제2얼굴 이미지를 비교하는 단계;
상기 제1얼굴 이미지와 상기 제2얼굴 이미지가 일치할 때, 상기 인증 프로그램이 상기 제1메모리 영역으로부터 상기 제1사용자 정보를 읽어와서 상기 제1사용자 정보를 상기 로그인 프로그램으로 전송하는 단계;
상기 로그인 프로그램이 상기 제1사용자 정보를 수신한 후, 상기 로그인 프로그램이 상기 제2메모리 영역으로부터 상기 제2사용자 정보를 읽어와서, 상기 제1사용자 정보와 상기 제2사용자 정보를 비교하는 단계;
상기 제1사용자 정보와 상기 제2사용자 정보가 일치할 때, 상기 로그인 프로그램이 제1메시지를 상기 인증 프로그램으로 전송하는 단계; 및
상기 인증 프로그램이 상기 제1메시지에 따라 상기 사용자를 상기 컴퓨팅 장치에 자동 로그인하는 단계를 포함하는 서비스 제공 방법.A service providing method for automatically logging a user into the computing device using a login program, an authentication program, and a monitoring program executed on a computing device, the method comprising:
Storing second user information of the user in a second memory area using the login program;
Storing first user information of the user in a first memory area by using the authentication program;
Storing the first face image of the user in the first memory area using the authentication program;
After the computing device is booted, the login program calling the authentication program;
The authentication program receiving a second face image of the user;
The authentication program reading the first face image from the first memory area and comparing the first face image with the second face image;
When the first face image and the second face image coincide, the authentication program reading the first user information from the first memory area and transmitting the first user information to the login program;
After the login program receives the first user information, the login program reading the second user information from the second memory area to compare the first user information with the second user information;
Transmitting, by the login program, a first message to the authentication program when the first user information and the second user information match; And
The authentication program automatically logging the user into the computing device according to the first message. 제16항에 있어서,
상기 자동 로그인 후, 상기 감시 프로그램은 미리 정해진 시간 내에 입력 이벤트가 발생하는지를 감시하는 단계;
상기 미리 정해진 시간 내에 상기 입력 이벤트가 발생하지 않을 때, 상기 감시 프로그램이 제2메시지를 상기 로그인 프로그램으로 전송하는 단계; 및
상기 로그인 프로그램이 상기 제2메시지에 따라 로그아웃 또는 화면 잠금을 수행하는 단계를 더 포함하는 서비스 제공 방법.The method of claim 16,
After the automatic login, the monitoring program monitoring whether an input event occurs within a predetermined time;
When the input event does not occur within the predetermined time, the monitoring program sending a second message to the login program; And
The log-in program further comprises the step of performing a logout or screen lock according to the second message.
KR1020180080248A 2018-07-10 2018-07-10 Login to a computing device based on facial recognition KR102038551B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180080248A KR102038551B1 (en) 2018-07-10 2018-07-10 Login to a computing device based on facial recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180080248A KR102038551B1 (en) 2018-07-10 2018-07-10 Login to a computing device based on facial recognition

Publications (1)

Publication Number Publication Date
KR102038551B1 true KR102038551B1 (en) 2019-11-26

Family

ID=68731220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180080248A KR102038551B1 (en) 2018-07-10 2018-07-10 Login to a computing device based on facial recognition

Country Status (1)

Country Link
KR (1) KR102038551B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200302039A1 (en) * 2019-03-21 2020-09-24 Alibaba Group Holding Limited Authentication verification using soft biometric traits

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017409A (en) * 2000-08-30 2002-03-07 서평원 Limiting method for user working by password
KR20110028821A (en) * 2009-09-14 2011-03-22 조영미 System for transmitting or acknowledging of restriction of user pc using screen saver and the method thereof
KR20140075756A (en) 2011-09-28 2014-06-19 구글 인코포레이티드 Login to a computing device based on facial recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017409A (en) * 2000-08-30 2002-03-07 서평원 Limiting method for user working by password
KR20110028821A (en) * 2009-09-14 2011-03-22 조영미 System for transmitting or acknowledging of restriction of user pc using screen saver and the method thereof
KR20140075756A (en) 2011-09-28 2014-06-19 구글 인코포레이티드 Login to a computing device based on facial recognition

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200302039A1 (en) * 2019-03-21 2020-09-24 Alibaba Group Holding Limited Authentication verification using soft biometric traits
US10885171B2 (en) * 2019-03-21 2021-01-05 Advanced New Technologies Co., Ltd. Authentication verification using soft biometric traits
US10922399B2 (en) * 2019-03-21 2021-02-16 Advanced New Technologies Co., Ltd. Authentication verification using soft biometric traits

Similar Documents

Publication Publication Date Title
EP3308312B1 (en) Secure biometric data capture, processing and management
KR102132507B1 (en) Resource management based on biometric data
US10440019B2 (en) Method, computer program, and system for identifying multiple users based on their behavior
US9531710B2 (en) Behavioral authentication system using a biometric fingerprint sensor and user behavior for authentication
US10951609B2 (en) System to effectively validate the authentication of OTP usage
US20160191515A1 (en) User authentication method and electronic device performing user authentication
EP3312759B1 (en) Secure element (se), a method of operating the se, and an electronic device including the se
US20110206244A1 (en) Systems and methods for enhanced biometric security
US10013540B2 (en) Authentication based on body movement
KR20140077838A (en) Information processing apparatus, lock execution method, and lock execution system
US10621431B2 (en) Camera that uses light from plural light sources disposed on a device
US11101990B2 (en) Default account authentication
WO2017071498A1 (en) Identity authentication method and device
US20170126635A1 (en) Controlling Access To Resource Functions At A Control Point Of The Resource Via A User Device
KR102038551B1 (en) Login to a computing device based on facial recognition
US10262165B2 (en) Authentication of a smart pen and computing device
EP3304391B1 (en) Controlling access to resource functions at a control point of the resource via a user device
WO2016165537A1 (en) Method for controlling intelligent terminal and apparatus for controlling intelligent terminal
KR102248132B1 (en) Method, apparatus and program of log-in using biometric information
KR20190052405A (en) Computer security system and method using authentication function in smart phone
US11394707B2 (en) Clamshell device authentication operations
CN113918906A (en) Authentication data transmission method and system
US20200057845A1 (en) User authentication for protected actions
KR20210051517A (en) Operating method of electronic device for performing login to a plurality of programs using integrated identification information
US20210264006A1 (en) Dynamic biometric updating

Legal Events

Date Code Title Description
GRNT Written decision to grant