KR102301786B1 - 딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치 - Google Patents

딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치 Download PDF

Info

Publication number
KR102301786B1
KR102301786B1 KR1020200009739A KR20200009739A KR102301786B1 KR 102301786 B1 KR102301786 B1 KR 102301786B1 KR 1020200009739 A KR1020200009739 A KR 1020200009739A KR 20200009739 A KR20200009739 A KR 20200009739A KR 102301786 B1 KR102301786 B1 KR 102301786B1
Authority
KR
South Korea
Prior art keywords
layer
pooling
deep learning
convolution
roi pooling
Prior art date
Application number
KR1020200009739A
Other languages
English (en)
Other versions
KR20210079156A (ko
Inventor
채명수
Original Assignee
주식회사 노타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 노타 filed Critical 주식회사 노타
Priority to PCT/KR2020/001618 priority Critical patent/WO2021125434A1/ko
Publication of KR20210079156A publication Critical patent/KR20210079156A/ko
Application granted granted Critical
Publication of KR102301786B1 publication Critical patent/KR102301786B1/ko
Priority to US17/843,768 priority patent/US20220318359A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치가 개시된다. 딥러닝 기반 얼굴 인증 방법은, 얼굴 탐지(face detection)를 위한 특징 추출기(feature extractor)로 사용되는 딥러닝 모델(deep learning model)에서의 ROI 풀링(Region of interest pooling)을 수행하는 단계; 및 상기 ROI 풀링을 통해 획득한 고정 길이(fixed length) 특징을 이용하여 얼굴 인증을 수행하는 단계를 포함한다.

Description

딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치{METHOD AND APPAUATUS FOR FACE VERIFICATION USING DEEP LEARNING BASED REAL-TIME ON-DEVICE}
아래의 설명은 사용자의 신원 확인을 위한 얼굴 인증 기술에 관한 것이다.
생체 인증(fast identity online)은 사용자의 신원 확인을 위해 지문, 홍재, 얼굴, 음성 등 개인의 고유한 생체 정보를 이용하는 기술이다.
얼굴 인식은 보편적으로 사용되고 있는 생체 인증 기술 중 하나로, 기존의 번호 키 기반 인증 시스템을 대체하여 스마트폰(smartphone), 랩탑 컴퓨터(laptop computer), 스마트 도어(smart door) 등 다양한 보안 시스템에 활용되고 있다.
예컨대, 한국 등록특허공보 제10-0456619호(등록일 2004년 11월 01일)에는 얼굴 등록 과정에서는 얼굴 별로 식별력이 우수한 특징 집합을 선택하고 인증 과정에서는 학습 과정에서 선택된 특징 집합만을 사용하여 제한된 환경 하에서도 얼굴 인증이 가능하도록 하는 기술이 개시되어 있다.
딥러닝 기반 얼굴 인증 기술에 있어 얼굴 탐지기(detector)와 얼굴 분류기(classifier)에서 이루어지는 연산을 최소화하여 더욱 적은 연산량으로 얼굴 인증을 수행할 수 있는 방법 및 장치를 제공한다.
컴퓨터 장치에서 실행되는 딥러닝 기반 얼굴 인증 방법에 있어서, 상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 딥러닝 기반 얼굴 인증 방법은, 상기 적어도 하나의 프로세서에서, 얼굴 탐지(face detection)를 위한 특징 추출기(feature extractor)로 사용되는 딥러닝 모델(deep learning model)에서의 ROI 풀링(Region of interest pooling)을 수행하는 단계; 및 상기 적어도 하나의 프로세서에서, 상기 ROI 풀링을 통해 획득한 고정 길이(fixed length) 특징을 이용하여 얼굴 인증을 수행하는 단계를 포함하는 딥러닝 기반 얼굴 인증 방법을 제공한다.
일 측면에 따르면, 상기 수행하는 단계는, 상기 딥러닝 모델의 출력 계층과 가장 가까운 최상위 계층에서 상기 ROI 풀링을 수행할 수 있다.
다른 측면에 따르면, 상기 수행하는 단계는, 상기 딥러닝 모델의 복수 개의 계층에서 각각 상기 ROI 풀링을 수행하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 수행하는 단계는, 상기 ROI 풀링을 수행한 각 계층 사이에서 컨볼루션(convolution)을 수행하는 단계를 더 포함할 수 있다.
컴퓨터 장치에 있어서, 메모리에 포함된 컴퓨터 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 얼굴 탐지를 위한 특징 추출기로 사용되는 딥러닝 모델에서의 ROI 풀링을 수행하는 과정; 및 상기 ROI 풀링을 통해 획득한 고정 길이 특징을 이용하여 얼굴 인증을 수행하는 과정을 처리하는 컴퓨터 장치를 제공한다.
본 발명의 실시예들에 따르면, 딥러닝 기반 얼굴 인증 기술에 있어 얼굴 탐지기와 얼굴 분류기에서 이루어지는 연산을 최소화하여 더욱 적은 연산량으로 얼굴 인증을 수행할 수 있다.
도 1은 본 발명의 일실시예에 있어서 컴퓨터 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 2는 얼굴 인증 등록 과정(Face Verification Registration)을 도시한 흐름도이다.
도 3은 얼굴 인증 검증 과정(Face Verification Test)을 도시한 흐름도이다.
도 4는 얼굴 특징 추출기의 딥러닝 모델 선학습(pretraining) 과정을 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 딥러닝 기반 얼굴 인증 방법의 일 예를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 딥러닝 기반 얼굴 인증 방법의 다른 예를 도시한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 사용자의 신원 확인을 위한 얼굴 인증 기술에 관한 것이다.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 딥러닝 기반 얼굴 인증 기술에 있어 얼굴 탐지기와 얼굴 분류기에서의 연산을 최소화할 수 있고, 이를 통해 시스템 복잡도, 인증 성능, 비용 절감 등의 측면에 있어서 상당한 장점들을 달성한다.
도 1은 본 발명의 일실시예에 있어서 컴퓨터 장치의 내부 구성의 일례를 설명하기 위한 블록도이다. 예를 들어, 본 발명의 실시예들에 따른 얼굴 인증 시스템이 도 1의 컴퓨터 장치(100)를 통해 구현될 수 있다. 도 1에 도시한 바와 같이, 컴퓨터 장치(100)는 얼굴 인증 방법을 실행하기 위한 구성요소로서 프로세서(110), 메모리(120), 영구 저장 장치(130), 버스(140), 입출력 인터페이스(150), 및 네트워크 인터페이스(160)를 포함할 수 있다.
프로세서(110)는 얼굴 인증을 위한 구성요소로서 명령어들의 시퀀스를 처리할 수 있는 임의의 장치를 포함하거나 그의 일부일 수 있다. 프로세서(110)는 예를 들어 컴퓨터 프로세서, 이동 장치 또는 다른 전자 장치 내의 프로세서 및/또는 디지털 프로세서를 포함할 수 있다. 프로세서(110)는 예를 들어, 서버 컴퓨팅 디바이스, 서버 컴퓨터, 일련의 서버 컴퓨터들, 서버 팜, 클라우드 컴퓨터, 컨텐츠 플랫폼 등에 포함될 수 있다. 프로세서(110)는 버스(140)를 통해 메모리(120)에 접속될 수 있다.
메모리(120)는 컴퓨터 장치(100)에 의해 사용되거나 그에 의해 출력되는 정보를 저장하기 위한 휘발성 메모리, 영구, 가상 또는 기타 메모리를 포함할 수 있다. 메모리(120)는 예를 들어 랜덤 액세스 메모리(RAM: random access memory) 및/또는 다이내믹 RAM(DRAM: dynamic RAM)을 포함할 수 있다. 메모리(120)는 컴퓨터 장치(100)의 상태 정보와 같은 임의의 정보를 저장하는 데 사용될 수 있다. 메모리(120)는 예를 들어 얼굴 인증을 위한 명령어들을 포함하는 컴퓨터 장치(100)의 명령어들을 저장하는 데에도 사용될 수 있다. 컴퓨터 장치(100)는 필요에 따라 또는 적절한 경우에 하나 이상의 프로세서(110)를 포함할 수 있다.
버스(140)는 컴퓨터 장치(100)의 다양한 컴포넌트들 사이의 상호작용을 가능하게 하는 통신 기반 구조를 포함할 수 있다. 버스(140)는 예를 들어 컴퓨터 장치(100)의 컴포넌트들 사이에, 예를 들어 프로세서(110)와 메모리(120) 사이에 데이터를 운반할 수 있다. 버스(140)는 컴퓨터 장치(100)의 컴포넌트들 간의 무선 및/또는 유선 통신 매체를 포함할 수 있으며, 병렬, 직렬 또는 다른 토폴로지 배열들을 포함할 수 있다.
영구 저장 장치(130)는 (예를 들어, 메모리(120)에 비해) 소정의 연장된 기간 동안 데이터를 저장하기 위해 컴퓨터 장치(100)에 의해 사용되는 바와 같은 메모리 또는 다른 영구 저장 장치와 같은 컴포넌트들을 포함할 수 있다. 영구 저장 장치(130)는 컴퓨터 장치(100) 내의 프로세서(110)에 의해 사용되는 바와 같은 비휘발성 메인 메모리를 포함할 수 있다. 영구 저장 장치(130)는 예를 들어 플래시 메모리, 하드 디스크, 광 디스크 또는 다른 컴퓨터 판독 가능 매체를 포함할 수 있다.
입출력 인터페이스(150)는 키보드, 마우스, 음성 명령 입력, 디스플레이 또는 다른 입력 또는 출력 장치에 대한 인터페이스들을 포함할 수 있다. 구성 명령들 및/또는 얼굴 인증을 위한 입력이 입출력 인터페이스(150)를 통해 수신될 수 있다.
네트워크 인터페이스(160)는 근거리 네트워크 또는 인터넷과 같은 네트워크들에 대한 하나 이상의 인터페이스를 포함할 수 있다. 네트워크 인터페이스(160)는 유선 또는 무선 접속들에 대한 인터페이스들을 포함할 수 있다. 구성 명령들 및/또는 얼굴 인증을 위한 입력이 네트워크 인터페이스(160)를 통해 수신될 수 있다.
또한, 다른 실시예들에서 컴퓨터 장치(100)는 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(100)는 상술한 입출력 인터페이스(150)와 연결되는 입출력 장치들 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
이하에서는 딥러닝 모델을 기반으로 얼굴 인증을 수행하는 방법의 구체적인 실시예를 설명하기로 한다.
일반적으로, 얼굴 인증 시스템이란, 주어진 이미지(사진) 속에서 다수의 얼굴을 찾아내고 각각의 얼굴이 데이터베이스에 사전 등록된 얼굴인지 여부를 응답하는 시스템을 의미한다.
얼굴 인증 시스템은 크게 얼굴 인증을 위한 등록 단계(registration)와 얼굴 인증을 위한 검증 단계(test) 단계로 나뉜다.
도 2는 얼굴 인증 등록 과정의 예를 도시한 흐름도이고, 도 3은 얼굴 인증 검증 과정의 예를 도시한 흐름도이다.
도 2와 도 3을 참조하면, 얼굴 인증 시스템은 전체 이미지에서 사람의 얼굴 부분이 차지하는 ROI(region of interest)의 위치를 탐지하는 얼굴 탐지기(detector), 및 얼굴 탐지기에서 탐지한 ROI를 통해 해당 얼굴이 누구인지를 추출하는 얼굴 특징 추출기(facial feature extractor)를 포함할 수 있다.
얼굴 탐지기에 해당되는 딥러닝 모델로는 YOLO(you only look once), SSD(single shot multibox detector) 등이 대표적인 모델이며, 이미지넷(ImageNet) 데이터셋으로 선학습을 진행한 ResNet(residual neural network), VGG(visual geometry group), 모바일넷(MobileNet) 등과 같은 모델을 백본 특징 추출기(backbone feature extractor)로 활용할 수 있다.
이때, 백본 특징 추출기로 사용되는 딥러닝 모델은 얼굴 분류기(facial classifier)에서 활용되는 딥러닝 모델과 구조적으로 유사한 모델이며, 이미지로부터 특징점을 분석한다는 점에서 공통점을 가진다.
백본 특징 추출기와 얼굴 탐지기를 연결해 얼굴 검출 모델을 학습함으로써 백본 특징 추출기가 학습되며, 가장 널리 알려진 학습 방식 중 하나는 VGGFace 모델이다.
얼굴 특징 추출기의 경우 도 4에 도시한 바와 같이 얼굴을 분류(classification)하도록 모델을 학습한 다음 분류기(classifier) 부분을 없애고 중간 히든 활성 함수(hidden activation function)를 특징(feature)으로 활용할 수 있다.
도 2와 도 3에 도시한 바와 같이, 일반적인 얼굴 인증 시스템에서는 백본 특징 추출기의 연산과 별개로 얼굴 특징 추출기에 이미지를 다시 입력하여 얼굴 인증을 진행한다.
그러나, 기존 얼굴 인증 시스템에서는 얼굴 특징 추출기에서 행해지는 연산은 백본 특징 추출기에서 진행된 연산과 유사성이 있어 연산의 낭비가 존재한다.
본 발명의 실시예들은 딥러닝 기반 얼굴 인증 모델에서 얼굴 탐지기와 얼굴 분류기의 연산을 최소화하여 더욱 적은 연산량으로 얼굴 인증을 수행할 수 있는 방법을 제안한다.
객체 분류(Object classification)
얼굴을 포함한 객체 분류기(object classifier)는 주어진 이미지가 어떤 객체인지를 응답하는 모델로, 현재 딥러닝을 이용한 시스템에서는 신경망(neural network)만을 이용하여 특징 추출(feature extraction) 및 분류(classification)를 수행하고 있다.
이때, 신경망은 계층적 구조를 지니며 낮은 계층(데이터에 가까운 계층)에서는 엣지 필터(edge filter), 코너 필터(corner filter) 등 일반적인 특징(general feature)의 형태를 지니도록 학습되고, 높은 계층(라벨에 가까운 계층)에서는 객체 부분(object part) 등 특수한 형태에 대해 학습이 이루어진다.
낮은 계층의 특징은 해당 모델을 학습할 때 쓰이는 라벨에 크게 상관없이 비슷한 형태를 가지며, 이러한 특징을 활용해 모델 검출기의 정보를 모델 분류기에서 활용함으로써 모델 분류기에서의 연산량을 줄일 수 있다.
특징 맵(Feature map)
특징 맵이란, 입력 이미지에서 특징 추출기를 통과해 출력으로 얻어지는 형태의 이미지를 의미하며, 입력 이미지의 크기에 비례하여 특징 맵의 크기도 변화한다.
특징 맵의 특정 좌표의 값은 이미지의 값에 대응되며, 예를 들어 특징 추출기가 빨간색 특징을 추출하는 추출기인 경우 특징 맵의 특정 좌표가 높은 값을 지닌다면 입력 이미지에서 특징 맵의 좌표에 대응되는 이미지 좌표는 붉은 색을 나타낸다.
이미지에서 얼굴 부분에 해당되는 ROI를 잘라내는(crop) 경우 특징 맵에서 잘라내기를 통해 미리 연산해 놓은 특징 정보를 활용할 수 있다.
ROI 풀링 (Pooling)
ROI 풀링이란, 원하는 영역에서 원하는 크기와 비율에 맞춰 풀링하는 기법을 의미한다. ROI 풀링을 이용하여 특징 맵 상에서 원하는 위치의 임의 크기의 특징 맵을 고정 길이(fixed length) 특징으로 풀링할 수 있다.
도 5는 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 딥러닝 기반 얼굴 인증 방법의 일 예를 도시한 흐름도이다.
도 5를 참조하면, 본 발명에 따른 딥러닝 기반 얼굴 인증 시스템은 새로운 특징 추출기(분류를 위한 얼굴 특징 추출기)를 생략하고 기존 특징 추출기(탐지를 위한 백본 특징 추출기)에서 ROI 풀링을 통해 고정 길이 특징을 획득하여 얼굴 데이터베이스에 등록한 후 이를 추후 검증 단계에서 활용하여 얼굴 인증을 수행할 수 있다.
이때, ROI 풀링을 수행하는 레이어는 데이터에 가까운 낮은 계층에 해당될 수도 있고, 라벨이 가까운 높은 계층에 해당될 수도 있다. ROI 풀링 레이어가 높은 계층으로 구성될수록 얼굴 인증을 위한 구분력이 향상될 수 있다. 일례로, ROI 풀링 레이어로 출력 계층과 가장 가까운 최상위 계층을 이용할 수 있다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 딥러닝 기반 얼굴 인증 방법의 다른 예를 도시한 흐름도이다.
도 6을 참조하면, 본 발명에 따른 딥러닝 기반 얼굴 인증 시스템은 기존 특징 추출기(백본 특징 추출기)에서 ROI 풀링을 수행함에 있어 ROI 풀링을 복수 개의 계층에서 수행할 수 있다.
등록 단계와 검증 단계에서 백본 특징 추출기만을 이용하는 경우 얼굴 해상도가 낮을 수 있다는 우려와, 백본 특징 추출기가 얼굴 특징 추출기보다 구분력이 좋은 특징을 제공하지 못한다는 한계가 있을 수 있다.
이를 해결하기 위해 본 발명에서는 ROI 풀링을 여러 계층에서 수행할 수 있다. 특히, 본 발명에 따른 딥러닝 기반 얼굴 인증 시스템은 ROI 풀링을 여러 계층에서 수행한 후 각 계층 사이의 정보를 더 추출하기 위한 별도의 컨볼루션 계층(convolution layer)을 포함할 수 있다.
일례로, 본 발명에 따른 딥러닝 기반 얼굴 인증 시스템은 백본 특징 추출기의 신경망의 낮은 계층에서 제1 ROI 풀링을 수행하고, 중간 계층에서 제2 ROI 풀링을 수행하고, 높은 계층에서 제3 ROI 풀링을 수행하는 구조를 포함할 수 있다. 이때, 제1 ROI 풀링의 풀링 결과를 컨볼루션하기 위한 제1 컨볼루션 계층, 제1 컨볼루션 계층의 컨볼루션 결과와 제2 ROI 풀링의 풀링 결과를 컨볼루션하기 위한 제2 컨볼루션 계층, 제2 컨볼루션 계층의 컨볼루션 결과와 제3 ROI 풀링의 풀링 결과를 컨볼루션하기 위한 제3 컨볼루션 계층을 포함하여 설계할 수 있다.
따라서, 본 발명에 따른 딥러닝 기반 얼굴 인증 시스템은 얼굴 분류를 위한 특징 추출기 없이 얼굴 탐지를 위한 특징 추출기만을 이용하고 ROI 풀링을 통해 고정 길이 특징을 획득하여 이를 얼굴 인증 등록 단계는 물론이고 얼굴 인증 검증 단계에서 활용함으로써 낭비적인 연산을 최소화하여 더욱 적은 연산량으로 얼굴 인증을 수행할 수 있다.
또한, 본 발명에 따른 딥러닝 기반 얼굴 인증 시스템은 특징 추출기에서의 ROI 풀링을 복수 개의 계층에서 수행한 후 각 계층 사이의 정보를 컨볼루션 계층을 통해 추출함으로써 얼굴 인증에 필요한 정보를 충분히 추출하여 얼굴 인증의 성능을 보장할 수 있다.
도 5와 6의 딥러닝 기반 얼굴 인증 방법은 도시된 순서대로 발생하지 않을 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.
프로세서(110)는 딥러닝 기반 얼굴 인증 방법을 위한 프로그램 파일에 저장된 프로그램 코드를 메모리(120)에 로딩할 수 있다. 예를 들어, 딥러닝 기반 얼굴 인증 방법을 위한 프로그램 파일은 도 1을 통해 설명한 영구 저장 장치(130)에 저장되어 있을 수 있고, 프로세서(110)는 버스를 통해 영구 저장 장치(130)에 저장된 프로그램 파일로부터 프로그램 코드가 메모리(120)에 로딩되도록 컴퓨터 장치(100)를 제어할 수 있다. 이때, 딥러닝 기반 얼굴 인증 방법의 실행을 위해, 프로세서(110) 및 프로세서(110)의 구성요소들은 직접 제어 명령에 따른 연산을 처리하거나 또는 컴퓨터 장치(100)를 제어할 수 있다.
이처럼 본 발명의 실시예들에 따르면, 딥러닝 기반 얼굴 인증 기술에 있어 얼굴 탐지기와 얼굴 분류기에서 이루어지는 연산을 최소화하여 더욱 적은 연산량으로 얼굴 인증을 수행할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 컴퓨터 장치에서 실행되는 딥러닝 기반 얼굴 인증 방법에 있어서,
    상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
    상기 딥러닝 기반 얼굴 인증 방법은,
    상기 적어도 하나의 프로세서에서, 얼굴 탐지(face detection)를 위한 특징 추출기(feature extractor)로 사용되는 딥러닝 모델(deep learning model)에서의 ROI 풀링(Region of interest pooling)을 수행하는 단계; 및
    상기 적어도 하나의 프로세서에서, 상기 ROI 풀링을 통해 획득한 고정 길이(fixed length) 특징을 이용하여 얼굴 인증을 수행하는 단계
    를 포함하고,
    얼굴 분류(face classification)를 위한 별개의 특징 추출기 없이 얼굴 탐지를 위한 특징 추출기만을 이용하여 얼굴 인증을 위한 등록 단계와 검증 단계를 수행하고,
    상기 ROI 풀링을 수행하는 단계는,
    상기 딥러닝 모델의 제1 계층에서 제1 ROI 풀링을 수행하고 제2 계층에서 제2 ROI 풀링을 수행하고 제3 계층에서 제3 ROI 풀링을 수행하는 단계; 및
    상기 ROI 풀링을 수행한 각 계층 사이에서 컨볼루션(convolution)을 수행하는 단계
    를 포함하고,
    상기 컨볼루션을 수행하는 단계는,
    제1 컨볼루션 계층을 통해 상기 제1 ROI 풀링의 풀링 결과를 컨볼루션하는 단계;
    제2 컨볼루션 계층을 통해 상기 제1 컨볼루션 계층의 컨볼루션 결과와 상기 제2 ROI 풀링의 풀링 결과를 컨볼루션하는 단계; 및
    제3 컨볼루션 계층을 통해 상기 제2 컨볼루션 계층의 컨볼루션 결과와 상기 제3 ROI 풀링의 풀링 결과를 컨볼루션하는 단계
    를 포함하는 딥러닝 기반 얼굴 인증 방법.
  2. 제1항에 있어서,
    상기 수행하는 단계는,
    상기 딥러닝 모델의 출력 계층과 가장 가까운 최상위 계층에서 상기 ROI 풀링을 수행하는 것
    을 특징으로 하는 딥러닝 기반 얼굴 인증 방법.
  3. 삭제
  4. 삭제
  5. 컴퓨터 장치에 있어서,
    메모리에 포함된 컴퓨터 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    얼굴 탐지를 위한 특징 추출기로 사용되는 딥러닝 모델에서의 ROI 풀링을 수행하는 과정; 및
    상기 ROI 풀링을 통해 획득한 고정 길이 특징을 이용하여 얼굴 인증을 수행하는 과정
    을 처리하고,
    얼굴 분류를 위한 별개의 특징 추출기 없이 얼굴 탐지를 위한 특징 추출기만을 이용하여 얼굴 인증을 위한 등록 단계와 검증 단계를 수행하고,
    상기 ROI 풀링을 수행하는 과정은,
    상기 딥러닝 모델의 제1 계층에서 제1 ROI 풀링을 수행하고 제2 계층에서 제2 ROI 풀링을 수행하고 제3 계층에서 제3 ROI 풀링을 수행하는 과정; 및
    상기 ROI 풀링을 수행한 각 계층 사이에서 컨볼루션을 수행하는 과정
    을 포함하고,
    상기 컨볼루션을 수행하는 과정은,
    제1 컨볼루션 계층을 통해 상기 제1 ROI 풀링의 풀링 결과를 컨볼루션하는 과정;
    제2 컨볼루션 계층을 통해 상기 제1 컨볼루션 계층의 컨볼루션 결과와 상기 제2 ROI 풀링의 풀링 결과를 컨볼루션하는 과정; 및
    제3 컨볼루션 계층을 통해 상기 제2 컨볼루션 계층의 컨볼루션 결과와 상기 제3 ROI 풀링의 풀링 결과를 컨볼루션하는 과정
    을 포함하는 컴퓨터 장치.
KR1020200009739A 2019-12-19 2020-01-28 딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치 KR102301786B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2020/001618 WO2021125434A1 (ko) 2019-12-19 2020-02-04 딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치
US17/843,768 US20220318359A1 (en) 2019-12-19 2022-06-17 Method and apparatus for deep learning-based real-time on-device authentication

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190170529 2019-12-19
KR20190170529 2019-12-19

Publications (2)

Publication Number Publication Date
KR20210079156A KR20210079156A (ko) 2021-06-29
KR102301786B1 true KR102301786B1 (ko) 2021-09-15

Family

ID=76626684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200009739A KR102301786B1 (ko) 2019-12-19 2020-01-28 딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102301786B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190294860A1 (en) * 2016-12-31 2019-09-26 Shenzhen Sensetime Technology Co, Ltd Methods and apparatuses for detecting face, and electronic devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190294860A1 (en) * 2016-12-31 2019-09-26 Shenzhen Sensetime Technology Co, Ltd Methods and apparatuses for detecting face, and electronic devices

Also Published As

Publication number Publication date
KR20210079156A (ko) 2021-06-29

Similar Documents

Publication Publication Date Title
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
US11176423B2 (en) Edge-based adaptive machine learning for object recognition
CN111191539B (zh) 证件真伪验证方法、装置、计算机设备和存储介质
KR102415503B1 (ko) 분류기 학습 방법 및 객체 검출 방법
KR102434562B1 (ko) 위조 지문 검출 방법 및 장치, 지문 인식 방법 및 장치
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
JP7454105B2 (ja) 顔画像品質評価方法及び装置、コンピュータ機器並びにコンピュータプログラム
CN108875731B (zh) 目标识别方法、装置、系统及存储介质
US20190294900A1 (en) Remote user identity validation with threshold-based matching
CN111914775B (zh) 活体检测方法、装置、电子设备及存储介质
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
US11087137B2 (en) Methods and systems for identification and augmentation of video content
US11126827B2 (en) Method and system for image identification
KR102558741B1 (ko) 사용자 등록 장치 및 방법
CN112364827A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN112417947B (zh) 关键点检测模型的优化及面部关键点的检测方法及装置
CN113192175A (zh) 模型训练方法、装置、计算机设备和可读存储介质
KR102558736B1 (ko) 지문 인식 방법 및 장치
CN114663726A (zh) 目标类别检测模型的训练方法、目标检测方法及电子设备
CN114387656B (zh) 基于人工智能的换脸方法、装置、设备及存储介质
KR20170057118A (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
CN111310751A (zh) 车牌识别方法、装置、电子设备和存储介质
KR102301786B1 (ko) 딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
KR102301785B1 (ko) 얼굴 연속 인증을 위한 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant