KR102301785B1 - Method and appauatus for face continuous authentication - Google Patents
Method and appauatus for face continuous authentication Download PDFInfo
- Publication number
- KR102301785B1 KR102301785B1 KR1020200008275A KR20200008275A KR102301785B1 KR 102301785 B1 KR102301785 B1 KR 102301785B1 KR 1020200008275 A KR1020200008275 A KR 1020200008275A KR 20200008275 A KR20200008275 A KR 20200008275A KR 102301785 B1 KR102301785 B1 KR 102301785B1
- Authority
- KR
- South Korea
- Prior art keywords
- user authentication
- face
- processor
- face region
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Collating Specific Patterns (AREA)
Abstract
얼굴 연속 인증을 위한 방법 및 장치가 개시된다. 얼굴 인증 방법은, 카메라를 통해 연속적인 촬영을 수행하는 단계; 상기 촬영을 통한 영상 프레임에서 얼굴 영역을 검출하는 단계; 상기 얼굴 영역의 위치 변화를 추적하는 단계; 및 상기 얼굴 영역의 추적을 통해 연속적인 사용자 인증을 수행하는 단계를 포함한다.A method and apparatus for continuous face authentication are disclosed. The face authentication method includes the steps of performing continuous shooting through a camera; detecting a face region in the image frame through the photographing; tracking a change in the position of the face region; and performing continuous user authentication through tracking of the face region.
Description
아래의 설명은 사용자의 신원 확인을 위한 인증 기술에 관한 것이다.The description below relates to an authentication technique for verifying a user's identity.
생체 인증(fast identity online)은 사용자의 신원 확인을 위해 지문, 홍재, 얼굴, 음성 등 개인의 고유한 생체 정보를 이용하는 기술이다.Biometric authentication (fast identity online) is a technology that uses an individual's unique biometric information, such as a fingerprint, Hongjae, face, and voice, to verify a user's identity.
얼굴 인식은 보편적으로 사용되고 있는 생체 인증 기술 중 하나로, 기존의 번호 키 기반 인증 시스템을 대체하여 스마트 도어(smart door), 스마트폰(smartphone), 랩탑 컴퓨터(laptop computer) 등 다양한 보안 시스템에 활용되고 있다.Face recognition is one of the commonly used biometric authentication technologies, and it is being used in various security systems, such as smart doors, smartphones, and laptop computers, replacing the existing number key-based authentication systems. .
예컨대, 한국 등록특허공보 제10-0809044호(등록일 2008년 02월 25일)에는 방문자 얼굴을 촬영하여 등록자를 인증하는 비접촉식 얼굴인증 도어락 시스템이 개시되어 있다.For example, Korean Patent Publication No. 10-0809044 (registration date: February 25, 2008) discloses a non-contact face authentication door lock system that authenticates a registrant by photographing a visitor's face.
현재 얼굴 인증 기술은 기기가 사용자에게 인증을 요구할 시에 얼굴을 기기의 카메라에 근접하여 인증을 받는 방식이다.Current face authentication technology is a method of receiving authentication by bringing a face closer to the device's camera when a device requests authentication from a user.
그러나, 기존 얼굴 인증 기술은 사용자에게 근접 촬영을 위한 노력을 요구하는 단점이 있고, 특히 실물이 아닌 사진 등 다른 종류의 입력으로 인증이 처리되는 문제가 있다.However, the existing face authentication technology has a disadvantage in that it requires an effort for close-up photography from the user, and in particular, there is a problem in that authentication is processed with a different type of input such as a non-real picture.
얼굴 인증을 위한 사용자 노력을 최소화할 수 있는 얼굴 인증 방법 및 장치를 제공한다.A face authentication method and apparatus capable of minimizing user effort for face authentication are provided.
사진 등 다른 종류의 입력을 이용한 페이크(fake) 인증 문제를 해결할 수 있는 얼굴 인증 방법 및 장치를 제공한다.A face authentication method and apparatus capable of solving a fake authentication problem using other types of input such as a photo are provided.
컴퓨터 장치에서 실행되는 얼굴 인증 방법에 있어서, 상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 얼굴 인증 방법은, 상기 적어도 하나의 프로세서에서, 카메라를 통해 연속적인 촬영을 수행하는 단계; 상기 적어도 하나의 프로세서에서, 상기 촬영을 통한 영상 프레임에서 얼굴 영역을 검출하는 단계; 상기 적어도 하나의 프로세서에서, 상기 얼굴 영역의 위치 변화를 추적하는 단계; 및 상기 적어도 하나의 프로세서에서, 상기 얼굴 영역의 추적을 통해 연속적인 사용자 인증을 수행하는 단계를 포함하는 얼굴 인증 방법을 제공한다.A face authentication method executed in a computer device, the computer device comprising at least one processor configured to execute computer readable instructions contained in a memory, the face authentication method comprising: in the at least one processor, a camera; performing continuous shooting through; detecting, by the at least one processor, a face region in the image frame through the photographing; tracking, in the at least one processor, a change in the position of the face region; and performing, in the at least one processor, continuous user authentication through tracking of the face region.
일 측면에 따르면, 상기 적어도 하나의 프로세서에서, 상기 카메라를 통해 촬영된 이미지와 상기 검출된 얼굴 영역 및 사용자 인증 결과를 수집하는 단계; 및 상기 적어도 하나의 프로세서에서, 상기 수집된 이미지와 얼굴 영역 및 사용자 인증 결과를 이용하여 사용자 인증을 위한 딥러닝 모델을 학습하는 단계를 더 포함하고, 상기 연속적인 사용자 인증을 수행하는 단계는, 상기 딥러닝 모델을 이용하여 사용자 인증을 수행할 수 있다.According to one aspect, the at least one processor, collecting the image captured through the camera, the detected face region, and a user authentication result; and learning, in the at least one processor, a deep learning model for user authentication using the collected image, face region, and user authentication result, wherein performing the continuous user authentication comprises: User authentication can be performed using a deep learning model.
다른 측면에 따르면, 상기 연속적인 사용자 인증을 수행하는 단계는, 상기 딥러닝 모델을 이용하여 사진을 이용한 페이크 입력을 식별하는 단계를 포함할 수 있다.According to another aspect, performing the continuous user authentication may include identifying a fake input using a photo using the deep learning model.
또 다른 측면에 따르면, 상기 학습하는 단계는, 사용자 인증에 성공한 이미지와 얼굴 영역을 사용자 ID 정보와 함께 정답 데이터로 학습하는 단계를 포함할 수 있다.According to another aspect, the learning may include learning the image and the face region that have succeeded in user authentication as correct answer data together with user ID information.
또 다른 측면에 따르면, 상기 검출하는 단계는, 상기 영상 프레임에서 사람 후보 영역에 해당되는 ROI(Region of interest)를 크롭(crop)하여 상기 얼굴 영역을 검출하는 단계를 포함할 수 있다.According to another aspect, the detecting may include detecting the face region by cropping a region of interest (ROI) corresponding to a human candidate region in the image frame.
컴퓨터 장치에 있어서, 메모리에 포함된 컴퓨터 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 카메라를 통해 연속적인 촬영을 수행하여 상기 촬영을 통한 영상 프레임에서 얼굴 영역을 검출하고, 상기 얼굴 영역의 위치 변화를 추적하면서 상기 얼굴 영역의 추적을 통해 연속적인 사용자 인증을 수행하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.A computer device comprising: at least one processor implemented to execute computer readable instructions contained in a memory, wherein the at least one processor performs continuous shooting through a camera to display a face in an image frame through the shooting There is provided a computer device, characterized in that it detects a region, tracks a change in the position of the facial region, and performs continuous user authentication through tracking of the facial region.
본 발명의 실시예들에 따르면, 근접 촬영을 위한 사용자 노력 없이 얼굴 인증을 처리할 수 있어 사용자 편의를 향상시킬 수 있다.According to embodiments of the present invention, face authentication can be processed without user effort for close-up photography, thereby improving user convenience.
본 발명의 실시예들에 따르면, 사진 등 다른 종류의 입력을 이용한 페이크 인증 문제를 효과적으로 해결할 수 있다.According to embodiments of the present invention, it is possible to effectively solve the problem of fake authentication using other types of input such as a photo.
도 1은 본 발명의 일실시예에 있어서 컴퓨터 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 얼굴 인증 방법의 일 예를 도시한 순서도이다.1 is a block diagram for explaining an example of an internal configuration of a computer device according to an embodiment of the present invention.
2 is a diagram illustrating an example of components that a processor of a computer device according to an embodiment of the present invention may include.
3 is a flowchart illustrating an example of a face authentication method that can be performed by a computer device according to an embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명의 실시예들은 사용자의 신원 확인을 위한 인증 기술에 관한 것이다.Embodiments of the present invention relate to authentication technology for verifying the identity of a user.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 근접 촬영을 위한 사용자 노력을 요구하지 않고 얼굴 인증을 처리함과 아울러, 사진 등 다른 종류의 입력을 이용한 페이크 인증 문제를 해결할 수 있고, 이를 통해 사용자 편의, 보안 강화 등의 측면에 있어서 상당한 장점들을 달성한다.Embodiments including those specifically disclosed herein can solve the problem of fake authentication using other types of input, such as photos, while processing face authentication without requiring user effort for close-up photography, and through this, the user It achieves significant advantages in terms of convenience, enhanced security, etc.
도 1은 본 발명의 일실시예에 있어서 컴퓨터 장치의 내부 구성의 일례를 설명하기 위한 블록도이다. 예를 들어, 본 발명의 실시예들에 따른 얼굴 인증 시스템이 도 1의 컴퓨터 장치(100)를 통해 구현될 수 있다. 도 1에 도시한 바와 같이, 컴퓨터 장치(100)는 얼굴 인증 방법을 실행하기 위한 구성요소로서 프로세서(110), 메모리(120), 영구 저장 장치(130), 버스(140), 입출력 인터페이스(150) 및 네트워크 인터페이스(160)를 포함할 수 있다.1 is a block diagram for explaining an example of an internal configuration of a computer device according to an embodiment of the present invention. For example, the face authentication system according to embodiments of the present invention may be implemented through the
프로세서(110)는 얼굴 인증을 위한 구성요소로서 명령어들의 시퀀스를 처리할 수 있는 임의의 장치를 포함하거나 그의 일부일 수 있다. 프로세서(110)는 예를 들어 컴퓨터 프로세서, 이동 장치 또는 다른 전자 장치 내의 프로세서 및/또는 디지털 프로세서를 포함할 수 있다. 프로세서(110)는 예를 들어, 서버 컴퓨팅 디바이스, 서버 컴퓨터, 일련의 서버 컴퓨터들, 서버 팜, 클라우드 컴퓨터, 컨텐츠 플랫폼 등에 포함될 수 있다. 프로세서(110)는 버스(140)를 통해 메모리(120)에 접속될 수 있다.
메모리(120)는 컴퓨터 장치(100)에 의해 사용되거나 그에 의해 출력되는 정보를 저장하기 위한 휘발성 메모리, 영구, 가상 또는 기타 메모리를 포함할 수 있다. 메모리(120)는 예를 들어 랜덤 액세스 메모리(RAM: random access memory) 및/또는 다이내믹 RAM(DRAM: dynamic RAM)을 포함할 수 있다. 메모리(120)는 컴퓨터 장치(100)의 상태 정보와 같은 임의의 정보를 저장하는 데 사용될 수 있다. 메모리(120)는 예를 들어 얼굴 인증을 위한 명령어들을 포함하는 컴퓨터 장치(100)의 명령어들을 저장하는 데에도 사용될 수 있다. 컴퓨터 장치(100)는 필요에 따라 또는 적절한 경우에 하나 이상의 프로세서(110)를 포함할 수 있다.
버스(140)는 컴퓨터 장치(100)의 다양한 컴포넌트들 사이의 상호작용을 가능하게 하는 통신 기반 구조를 포함할 수 있다. 버스(140)는 예를 들어 컴퓨터 장치(100)의 컴포넌트들 사이에, 예를 들어 프로세서(110)와 메모리(120) 사이에 데이터를 운반할 수 있다. 버스(140)는 컴퓨터 장치(100)의 컴포넌트들 간의 무선 및/또는 유선 통신 매체를 포함할 수 있으며, 병렬, 직렬 또는 다른 토폴로지 배열들을 포함할 수 있다.
영구 저장 장치(130)는 (예를 들어, 메모리(120)에 비해) 소정의 연장된 기간 동안 데이터를 저장하기 위해 컴퓨터 장치(100)에 의해 사용되는 바와 같은 메모리 또는 다른 영구 저장 장치와 같은 컴포넌트들을 포함할 수 있다. 영구 저장 장치(130)는 컴퓨터 장치(100) 내의 프로세서(110)에 의해 사용되는 바와 같은 비휘발성 메인 메모리를 포함할 수 있다. 영구 저장 장치(130)는 예를 들어 플래시 메모리, 하드 디스크, 광 디스크 또는 다른 컴퓨터 판독 가능 매체를 포함할 수 있다.
입출력 인터페이스(150)는 키보드, 마우스, 음성 명령 입력, 디스플레이 또는 다른 입력 또는 출력 장치에 대한 인터페이스들을 포함할 수 있다. 구성 명령들 및/또는 얼굴 인증을 위한 입력이 입출력 인터페이스(150)를 통해 수신될 수 있다.The input/
네트워크 인터페이스(160)는 근거리 네트워크 또는 인터넷과 같은 네트워크들에 대한 하나 이상의 인터페이스를 포함할 수 있다. 네트워크 인터페이스(160)는 유선 또는 무선 접속들에 대한 인터페이스들을 포함할 수 있다. 구성 명령들 및/또는 얼굴 인증을 위한 입력이 네트워크 인터페이스(160)를 통해 수신될 수 있다.
또한, 다른 실시예들에서 컴퓨터 장치(100)는 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(100)는 상술한 입출력 인터페이스(150)와 연결되는 입출력 장치들 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.Also, in other embodiments, the
본 실시예들은 사용자의 신원 확인을 위한 인증 기술에 관한 것으로, 특히 얼굴 인증 기술에 관한 것이다.The present embodiments relate to authentication technology for user identification, and more particularly, to face authentication technology.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.2 is a diagram illustrating an example of components that a processor of a computer device according to an embodiment of the present invention may include.
도 2에 도시된 바와 같이, 프로세서(110)는 학습 수행부(210), 및 사용자 인증부(220)를 포함할 수 있다. 학습 수행부(210)는 실시예에 따라서 데이터 수집부(211)와 딥러닝 학습부(212) 중 적어도 하나를 포함할 수 있다.As shown in FIG. 2 , the
이러한 프로세서(110)의 구성요소들은 적어도 하나의 프로그램 코드에 의해 제공되는 제어 명령에 따라 프로세서(110)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 프로세서(110)가 얼굴 인증과 관련된 데이터를 활용하여 딥러닝 모델을 학습하도록 컴퓨터 장치(100)를 제어하기 위해 동작하는 기능적 표현으로서 학습 수행부(210)가 사용될 수 있다. 프로세서(110) 및 프로세서(110)의 구성요소들은 이하의 얼굴 인증 방법이 포함하는 단계들을 수행할 수 있다. 예를 들어, 프로세서(110) 및 프로세서(110)의 구성요소들은 메모리(120)가 포함하는 운영체제의 코드와 상술한 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 적어도 하나의 프로그램 코드는 얼굴 인증 방법을 처리하기 위해 구현된 프로그램의 코드에 대응될 수 있다.These components of the
도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 얼굴 인증 방법의 일 예를 도시한 순서도이다.3 is a flowchart illustrating an example of a face authentication method that can be performed by a computer device according to an embodiment of the present invention.
도 3의 얼굴 인증 방법은 도시된 순서대로 발생하지 않을 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.The face authentication method of FIG. 3 may not occur in the order shown, and some of the steps may be omitted or additional processes may be further included.
프로세서(110)는 얼굴 인증 방법을 위한 프로그램 파일에 저장된 프로그램 코드를 메모리(120)에 로딩할 수 있다. 예를 들어, 얼굴 인증 방법을 위한 프로그램 파일은 도 1을 통해 설명한 영구 저장 장치(130)에 저장되어 있을 수 있고, 프로세서(110)는 버스를 통해 영구 저장 장치(130)에 저장된 프로그램 파일로부터 프로그램 코드가 메모리(120)에 로딩되도록 컴퓨터 장치(100)를 제어할 수 있다. 이때, 프로세서(110) 및 프로세서(110)가 포함하는 데이터 수집부(211), 딥러닝 학습부(212), 및 사용자 인증부(220) 각각은 메모리(120)에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(S301 내지 S308)을 실행하기 위한 프로세서(110)의 서로 다른 기능적 표현들일 수 있다. 단계들(S301 내지 S308)의 실행을 위해, 프로세서(110) 및 프로세서(110)의 구성요소들은 직접 제어 명령에 따른 연산을 처리하거나 또는 컴퓨터 장치(100)를 제어할 수 있다.The
단계(S301)에서 사용자 인증부(220)는 입출력 인터페이스(150)와 연결되는 카메라를 통해 지속적인 촬영 혹은 주기적인 촬영을 수행할 수 있다. 사용자 인증부(220)는 얼굴 인증을 위한 별도의 사용자 노력을 요구하는 것이 아니라, 카메라가 켜져 있는 상황에서 연속적으로 사용자의 얼굴을 촬영하거나 또는 일정 주기마다 카메라를 통해 사용자의 얼굴을 촬영할 수 있다. 사용자의 얼굴이 카메라 잡히는 순간이 많은 서비스를 가정할 수 있으며, 예를 들어 CCTV와 같이 카메라가 항상 켜져 있는 상황에서 사용자를 연속적으로 촬영하거나, 혹은 스마트폰의 사용 중 카메라가 켜질 때마다 또는 주기적으로 카메라를 켜서 사용자를 촬영할 수 있다. 지속적인 촬영이나 주기적인 촬영 이외에도 컴퓨터 장치(100)에 포함된 센서(예컨대, 움직임 센서, 적외선 센서, 터치 센서 등)를 통해 사전에 정의된 환경이 감지되는 경우 카메라를 켜서 사용자를 촬영하는 것 또한 가능하다.In step S301 , the user authentication unit 220 may perform continuous or periodic photographing through a camera connected to the input/
단계(S302)에서 사용자 인증부(220)는 단계(S301)에서 촬영된 이미지에서 얼굴 영역을 검출할 수 있다. 사용자 인증부(220)는 얼굴 검출(face detection) 알고리즘을 통해 영상 프레임에서 얼굴이 존재하는 위치를 검출할 수 있다. 예를 들어, 사용자 인증부(220)는 영상 프레임에서 다양한 크기의 얼굴을 검출하기 위해 피라미드 영상을 생성한 후 한 픽셀씩 이동하며 특정 크기(예컨대, 20×20 픽셀)의 해당 영역이 얼굴인지 아닌지를 신경망(Neural Network), 아다부스트(Adaboost), 서포트 벡터 머신(Support Vector Machine) 등과 같은 분류기로 결정할 수 있다.In step S302 , the user authenticator 220 may detect a face region from the image captured in step S301 . The user authenticator 220 may detect a position where a face is present in the image frame through a face detection algorithm. For example, the user authenticator 220 generates a pyramid image to detect faces of various sizes in the image frame and then moves one pixel at a time to determine whether the corresponding area of a specific size (eg, 20×20 pixels) is a face. a can be determined as a classifier such as a neural network (neural Network), Ada-boost (Adaboost), support vector machine (Support Vector machine).
단계(S303)에서 사용자 인증부(220)는 단계(S302)에서 검출된 얼굴 영역의 위치 변화를 추적할 수 있다. 사용자 인증부(220)는 얼굴 추적(face tracking) 알고리즘을 통해 일련의 영상 프레임 내 얼굴 영역의 크기, 색, 모양, 윤곽선 등 특정적인 정보 간의 유사도를 이용하여 얼굴 영역의 변화를 추적할 수 있다.In step S303 , the user authenticator 220 may track a change in the position of the face region detected in step S302 . The user authenticator 220 may track a change in a face region using a similarity between specific information such as a size, color, shape, and outline of a face region in a series of image frames through a face tracking algorithm.
단계(S304)에서 사용자 인증부(220)는 단계(S303)에서 추적된 얼굴 영역을 이용하여 사용자 인증을 수행할 수 있다. 사용자 인증부(220)는 연속적인 촬영이나 주기적인 촬영을 통해 사용자의 얼굴을 추적하면서 사용자를 연속적으로 혹은 주기적으로 인증할 수 있다. 사용자 인증부(220)는 추적된 얼굴 영역을 메모리(120)에 사전 등록된 얼굴 DB(database)와 비교하여 사용자를 인증할 수 있다. 따라서, 사용자 인증부(220)는 사용자의 인증이 필요한 시점에 별도의 사용자 노력 없이 사용자 인증을 수행할 수 있다. 얼굴 인증을 위한 별도의 사용자 노력을 요구하지 않고 사용자가 인증을 위해 노력하지 않는 상황에서도 카메라에 얼굴이 잡힐 때마다 사용자를 인증할 수 있다.In step S304, the user authentication unit 220 may perform user authentication using the face region tracked in step S303. The user authentication unit 220 may continuously or periodically authenticate the user while tracking the user's face through continuous or periodic photographing. The user authenticator 220 may authenticate the user by comparing the tracked face region with a face DB (database) pre-registered in the
학습 수행부(210)는 카메라에 사용자 얼굴이 잡힐 때마다 인증과 관련된 데이터를 수집하고 수집된 데이터를 바탕으로 딥러닝 모델을 학습하여 시스템을 개선할 수 있다.The learning
단계(S305)에서 데이터 수집부(211)는 촬영 데이터, 즉 단계(S301)에서 카메라를 통해 촬영된 이미지를 모델 학습을 위한 학습 데이터로 수집할 수 있다.In step S305 , the data collection unit 211 may collect the captured data, that is, the image captured by the camera in step S301 as learning data for model learning.
단계(S306)에서 데이터 수집부(211)는 얼굴 영역 데이터, 즉 단계(S302)에서 검출된 얼굴 영역을 모델 학습을 위한 학습 데이터로 수집할 수 있다.In step S306 , the data collection unit 211 may collect face region data, that is, the face region detected in step S302 , as training data for model learning.
단계(S307)에서 데이터 수집부(211)는 사용자 인증 결과 데이터, 즉 단계(S304)에서 사용자 인증에 성공한 사용자 ID 정보를 모델 학습을 위한 학습 데이터로 수집할 수 있다.In step S307, the data collection unit 211 may collect user authentication result data, that is, user ID information that has succeeded in user authentication in step S304 as training data for model learning.
단계(S308)에서 딥러닝 학습부(212)는 모델 학습을 위한 학습 데이터로 수집된 촬영 데이터와 얼굴 영역 데이터 및 사용자 인증 결과 데이터를 이용하여 사용자 인증을 위한 딥러닝 모델을 학습할 수 있다. 딥러닝 학습부(212)는 모델 학습 데이터로 수집된 촬영 데이터와 얼굴 영역 데이터를 사용자 인증에 성공한 데이터와 사용자 인증에 실패한 데이터로 분류할 수 있다. 이때, 딥러닝 학습부(212)는 사용자 인증에 성공함에 따라 사용자 ID 정보가 존재하는 데이터를 사용자 인증에 성공한 데이터로 분류할 수 있고, 사용자 인증에 성공한 촬영 데이터와 얼굴 영역 데이터를 해당 사용자 ID 정보와 함께 정답 데이터로 학습할 수 있다. 한편, 사용자 인증에 실패함에 따라 사용자 ID 정보가 존재하지 않는 데이터를 사용자 인증에 실패한 데이터로 분류할 수 있고, 사용자 인증에 실패한 촬영 데이터와 얼굴 영역 데이터를 오답 데이터로 학습할 수 있다.In step S308 , the deep learning learning unit 212 may learn a deep learning model for user authentication by using photographing data, face area data, and user authentication result data collected as training data for model learning. The deep learning learning unit 212 may classify the photographed data and face region data collected as model learning data into data in which user authentication is successful and data in which user authentication is unsuccessful. At this time, the deep learning learning unit 212 may classify data in which user ID information exists as data that has succeeded in user authentication as user authentication is successful, and divide the photographed data and face area data in which user authentication is successful to the corresponding user ID information. You can learn from the correct answer data with Meanwhile, as user authentication fails, data in which user ID information does not exist may be classified as data that has failed user authentication, and photographed data and face area data that have failed user authentication may be learned as incorrect answer data.
이후, 사용자 인증부(220)는 사용자 인증이 필요한 시점에 별도의 사용자 노력을 요구하지 않고 단계(S308)에서 학습된 딥러닝 모델을 바탕으로 사용자 인증을 수행할 수 있다.Thereafter, the user authentication unit 220 may perform user authentication based on the deep learning model learned in step S308 without requiring additional user effort when user authentication is required.
예를 들어, 출입문에 부착된 스마트 도어에서 추가적인 노력으로 사용자를 인증하는 것이 아니라, 스마트 도어에 부착된 카메라에서 복도에서 걸어오는 사용자를 멀리서부터 인식하여 사용자를 지속적으로 인증할 수 있다. 실제 사용자가 문에 도착했을 때에는 이미 사용자를 인식하여 출입의 여부를 판단할 수 있다.For example, instead of authenticating the user with additional effort in the smart door attached to the door, the camera attached to the smart door may recognize the user walking in the hallway from a distance and continuously authenticate the user. When an actual user arrives at the door, the user can already be recognized to determine whether to enter or not.
사용자의 얼굴을 원거리에서 보다 정확히 인식하기 위해서는 영상 프레임에서 사람이 있을 것이라고 생각되는 후보 영역으로 ROI(Region of interest)을 크롭(crop)하여 얼굴 검출을 위한 입력으로 활용할 수 있다.In order to more accurately recognize a user's face from a distance, a region of interest (ROI) may be cropped from an image frame to a candidate region where a person is expected to be used as an input for face detection.
특히, 사용자 인증부(220)는 촬영 데이터와 얼굴 영역 데이터 및 사용자 인증 결과 데이터로 학습된 딥러닝 모델을 통해 사용자 인증을 수행함으로써 사진 등 다른 종류의 입력을 페이크로 선별할 수 있어 보다 강인한 인증 환경을 제공할 수 있다.In particular, the user authentication unit 220 performs user authentication through a deep learning model learned from photographing data, face region data, and user authentication result data, so that other types of inputs such as photos can be selected as fakes, resulting in a stronger authentication environment can provide
이처럼 본 발명의 실시예들에 따르면, 근접 촬영을 위한 사용자 노력 없이 얼굴 인증을 처리할 수 있어 사용자 편의를 향상시킬 수 있다. 그리고, 본 발명의 실시예들에 따르면, 사진 등 다른 종류의 입력을 이용한 페이크 인증 문제를 효과적으로 해결할 수 있다.As such, according to embodiments of the present invention, face authentication can be processed without user effort for close-up photography, thereby improving user convenience. And, according to embodiments of the present invention, it is possible to effectively solve the problem of fake authentication using other types of input such as a photo.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, the apparatus and components described in the embodiments may include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU). It may be implemented using one or more general purpose or special purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for interpretation by or providing instructions or data to the processing device. have. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. In this case, the medium may be to continuously store a program executable by a computer, or to temporarily store it for execution or download. In addition, the medium may be a variety of recording means or storage means in the form of a single or several hardware combined, it is not limited to a medium directly connected to any computer system, and may exist distributed on a network. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like. In addition, examples of other media may include recording media or storage media managed by an app store for distributing applications, sites for supplying or distributing other various software, and servers.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (6)
상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
상기 얼굴 인증 방법은,
상기 적어도 하나의 프로세서에서, 카메라를 통해 연속적인 촬영을 수행하는 단계;
상기 적어도 하나의 프로세서에서, 상기 촬영을 통한 영상 프레임에서 얼굴 영역을 검출하는 단계;
상기 적어도 하나의 프로세서에서, 상기 얼굴 영역의 위치 변화를 추적하는 단계;
상기 적어도 하나의 프로세서에서, 상기 얼굴 영역의 추적을 통해 연속적인 사용자 인증을 수행하는 단계;
상기 적어도 하나의 프로세서에서, 상기 카메라를 통해 촬영된 이미지와 상기 검출된 얼굴 영역 및 사용자 인증 결과를 수집하는 단계; 및
상기 적어도 하나의 프로세서에서, 상기 수집된 이미지와 얼굴 영역 및 사용자 인증 결과를 이용하여 사용자 인증을 위한 딥러닝 모델을 학습하는 단계
를 포함하고,
상기 검출하는 단계는,
상기 영상 프레임으로부터 피라미드 영상을 생성하는 단계; 및
상기 피라미드 영상에서 상기 얼굴 영역을 검출하는 단계
를 포함하고,
상기 연속적인 사용자 인증을 수행하는 단계는,
상기 딥러닝 모델을 이용하여 사용자 인증을 수행하고,
상기 학습하는 단계는,
사용자 인증 결과에 따라 상기 수집된 이미지와 얼굴 영역을 사용자 인증에 성공한 데이터와 사용자 인증에 실패한 데이터로 분류하는 단계;
사용자 인증에 성공한 이미지와 얼굴 영역을 사용자 ID 정보와 함께 정답 데이터로 학습하는 단계; 및
사용자 인증에 실패한 이미지와 얼굴 영역을 오답 데이터로 학습하는 단계
를 포함하는 얼굴 인증 방법.A face authentication method executed on a computer device, the method comprising:
the computer device comprises at least one processor configured to execute computer readable instructions contained in a memory;
The face authentication method is
performing, in the at least one processor, continuous photographing through a camera;
detecting, by the at least one processor, a face region in the image frame through the photographing;
tracking, in the at least one processor, a change in the position of the face region;
performing, in the at least one processor, continuous user authentication through tracking of the face region;
collecting, in the at least one processor, the image captured by the camera, the detected face region, and a user authentication result; and
Learning, in the at least one processor, a deep learning model for user authentication using the collected image, face region, and user authentication result
including,
The detecting step is
generating a pyramid image from the image frame; and
detecting the face region from the pyramid image
including,
The step of performing the continuous user authentication,
Perform user authentication using the deep learning model,
The learning step is
classifying the collected images and face regions into data in which user authentication succeeds and data in which user authentication fails according to a user authentication result;
learning the image and face region that has succeeded in user authentication as correct answer data along with user ID information; and
Learning the image and face area that failed user authentication as incorrect answer data
A face authentication method comprising a.
상기 연속적인 사용자 인증을 수행하는 단계는,
상기 딥러닝 모델을 이용하여 사진을 이용한 페이크 입력을 식별하는 단계
를 포함하는 얼굴 인증 방법.According to claim 1,
The step of performing the continuous user authentication,
Using the deep learning model to identify a fake input using a photo
A face authentication method comprising a.
상기 검출하는 단계는,
상기 영상 프레임에서 사람 후보 영역에 해당되는 ROI(Region of interest)를 크롭(crop)하여 상기 얼굴 영역을 검출하는 단계
를 포함하는 얼굴 인증 방법.According to claim 1,
The detecting step is
detecting the face region by cropping a region of interest (ROI) corresponding to a human candidate region in the image frame;
A face authentication method comprising a.
메모리에 포함된 컴퓨터 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서는,
카메라를 통해 연속적인 촬영을 수행하여 상기 촬영을 통한 영상 프레임에서 얼굴 영역을 검출하는 과정;
상기 얼굴 영역의 위치 변화를 추적하면서 상기 얼굴 영역의 추적을 통해 연속적인 사용자 인증을 수행하는 과정;
상기 카메라를 통해 촬영된 이미지와 상기 검출된 얼굴 영역 및 사용자 인증 결과를 수집하는 과정; 및
상기 적어도 하나의 프로세서에서, 상기 수집된 이미지와 얼굴 영역 및 사용자 인증 결과를 이용하여 사용자 인증을 위한 딥러닝 모델을 학습하는 과정
을 처리하고,
상기 검출하는 과정은,
상기 영상 프레임으로부터 피라미드 영상을 생성한 후 상기 피라미드 영상에서 상기 얼굴 영역을 검출하고,
상기 연속적인 사용자 인증을 수행하는 과정은,
상기 딥러닝 모델을 이용하여 사용자 인증을 수행하고,
상기 학습하는 과정은,
사용자 인증 결과에 따라 상기 수집된 이미지와 얼굴 영역을 사용자 인증에 성공한 데이터와 사용자 인증에 실패한 데이터로 분류하고,
사용자 인증에 성공한 이미지와 얼굴 영역을 사용자 ID 정보와 함께 정답 데이터로 학습하고,
사용자 인증에 실패한 이미지와 얼굴 영역을 오답 데이터로 학습하는 것
을 특징으로 하는 컴퓨터 장치.In a computer device,
at least one processor implemented to execute computer readable instructions contained in a memory
including,
the at least one processor,
detecting a face region in an image frame through the photographing by performing continuous photographing through a camera;
performing continuous user authentication through tracking of the face region while tracking a change in the position of the face region;
collecting an image captured by the camera, the detected face region, and a user authentication result; and
A process of learning, in the at least one processor, a deep learning model for user authentication using the collected image, face region, and user authentication result
process the
The detection process is
After generating a pyramid image from the image frame, detecting the face region from the pyramid image,
The process of performing the continuous user authentication is,
Perform user authentication using the deep learning model,
The learning process is
Classifying the collected image and face region into data that succeeds in user authentication and data that fails user authentication according to the user authentication result,
It learns images and face areas that have succeeded in user authentication as correct answer data along with user ID information,
Learning images and face areas that fail user authentication with incorrect answer data
A computer device characterized by a.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2020/001076 WO2021125432A1 (en) | 2019-12-18 | 2020-01-22 | Method and device for continuous face authentication |
US17/843,520 US20220318358A1 (en) | 2019-12-18 | 2022-06-17 | Method and apparatus for continuous authentication |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190170112 | 2019-12-18 | ||
KR20190170112 | 2019-12-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210078377A KR20210078377A (en) | 2021-06-28 |
KR102301785B1 true KR102301785B1 (en) | 2021-09-15 |
Family
ID=76607930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200008275A KR102301785B1 (en) | 2019-12-18 | 2020-01-22 | Method and appauatus for face continuous authentication |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102301785B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102578583B1 (en) * | 2021-12-22 | 2023-09-15 | 주식회사 마인드포지 | Electronic device for using face recognition and method for operating the same |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012003686A (en) * | 2010-06-21 | 2012-01-05 | Canon Inc | Authentication device, authentication method, authentication program, and recording medium |
KR101915765B1 (en) * | 2017-12-08 | 2018-11-06 | 주식회사 리턴트루 | Biometric authentication apparatus for detecting user authentication using forged biometric information |
JP2018181157A (en) * | 2017-04-19 | 2018-11-15 | 株式会社日立製作所 | Person authentication device |
-
2020
- 2020-01-22 KR KR1020200008275A patent/KR102301785B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012003686A (en) * | 2010-06-21 | 2012-01-05 | Canon Inc | Authentication device, authentication method, authentication program, and recording medium |
JP2018181157A (en) * | 2017-04-19 | 2018-11-15 | 株式会社日立製作所 | Person authentication device |
KR101915765B1 (en) * | 2017-12-08 | 2018-11-06 | 주식회사 리턴트루 | Biometric authentication apparatus for detecting user authentication using forged biometric information |
Also Published As
Publication number | Publication date |
---|---|
KR20210078377A (en) | 2021-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109948408B (en) | Activity test method and apparatus | |
CN108629168B (en) | Face verification method and device and computing device | |
US11443559B2 (en) | Facial liveness detection with a mobile device | |
US11449971B2 (en) | Method and apparatus with image fusion | |
CN106599772B (en) | Living body verification method and device and identity authentication method and device | |
KR102415509B1 (en) | Face verifying method and apparatus | |
KR102434562B1 (en) | Method and apparatus for detecting fake fingerprint, method and apparatus for recognizing fingerprint | |
EP2863339B1 (en) | Methods and systems for determing user liveness | |
US20170262472A1 (en) | Systems and methods for recognition of faces e.g. from mobile-device-generated images of faces | |
US11651624B2 (en) | Iris authentication device, iris authentication method, and recording medium | |
US20200302715A1 (en) | Face authentication based smart access control system | |
JP7484985B2 (en) | Authentication system, authentication method, and program | |
CN112825128A (en) | Method and apparatus for liveness testing and/or biometric verification | |
KR20220076398A (en) | Object recognition processing apparatus and method for ar device | |
WO2022078168A1 (en) | Identity verification method and apparatus based on artificial intelligence, and computer device and storage medium | |
JP2018181157A (en) | Person authentication device | |
CN111382666A (en) | Device and method with user authentication | |
KR102301785B1 (en) | Method and appauatus for face continuous authentication | |
US11663805B1 (en) | Utilizing sensor data for automated user identification | |
US20240028698A1 (en) | System and method for perfecting and accelerating biometric identification via evolutionary biometrics via continual registration | |
KR20230156823A (en) | Fingerprint identification method, device, electronic apparatus and storage medium | |
KR102380426B1 (en) | Method and apparatus for verifying face | |
US20220318358A1 (en) | Method and apparatus for continuous authentication | |
JPWO2020185948A5 (en) | ||
JP2010003010A (en) | Face authentication device and face authentication method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |