KR20210058157A - 얼굴 이미지 기반 사용자 식별 장치 및 방법 - Google Patents

얼굴 이미지 기반 사용자 식별 장치 및 방법 Download PDF

Info

Publication number
KR20210058157A
KR20210058157A KR1020190145280A KR20190145280A KR20210058157A KR 20210058157 A KR20210058157 A KR 20210058157A KR 1020190145280 A KR1020190145280 A KR 1020190145280A KR 20190145280 A KR20190145280 A KR 20190145280A KR 20210058157 A KR20210058157 A KR 20210058157A
Authority
KR
South Korea
Prior art keywords
face
distance
identifier
user
image
Prior art date
Application number
KR1020190145280A
Other languages
English (en)
Inventor
김영삼
김석현
김수형
김승현
노종혁
조관태
조상래
조영섭
조진만
황정연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190145280A priority Critical patent/KR20210058157A/ko
Publication of KR20210058157A publication Critical patent/KR20210058157A/ko

Links

Images

Classifications

    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/481—
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

얼굴 이미지 기반 사용자 식별 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 장치는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은 이미지를 입력 받고, 상기 이미지에서 사용자의 얼굴 영역을 검출하고, 딥러닝 기반으로 학습된 모델을 이용하여 상기 얼굴 영역에 대한 얼굴 식별자와 상기 얼굴 식별자에 상응하는 복수개의 얼굴 식별자 후보들을 생성하고, 데이터베이스에서 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터를 검색하고, 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리를 계산하여 상기 사용자를 식별한다.

Description

얼굴 이미지 기반 사용자 식별 장치 및 방법 {APPARATUS AND METHOD FOR IDENTIFICATING USER BASED ON FACE IMAGE}
본 발명은 생체인증 및 사용자 식별 기술에 관한 것으로, 보다 상세하게는 생체정보 중에서도 얼굴 이미지에 기반하여 사용자를 식별하는 기술에 관한 것이다.
기존의 얼굴 이미지 해싱 기술은 딥러닝(deep learning) 기법 또는 양자화(quantization) 기법을 이용하여 얼굴 이미지로부터 고정 길이의 식별자를 생성하고, 식별자 간의 유사도 비교를 통해 사용자를 식별하였다. 딥러닝 기법 및 양자화 기법 모두 사용자 식별을 위한 검색 시간 및 저장공간상의 효율을 높이기 위해 비트열 또는 정수 형태의 식별자를 추출하며, 식별자의 길이가 짧으면서도 식별 성능을 유지 또는 향상시키는 방법이다. 보다 구체적으로는 식별자를 비트열로 변형함으로써 유사도를 해밍 거리(Hamming distance)로 사용함으로써 실수 벡터간 유사도인 코사인 거리(Cosine distance)/유클리디언 거리(Euclidean distance)보다 연산의 복잡도를 낮추고, 결과적으로 검색 시간을 줄일 수 있다. 그러나 기존 방법들은 데이터베이스에 등록된 사용자 및 얼굴 이미지의 수에 비례하여 검색 시간이 증가하는 문제점이 있다.
한편, 한국등록특허 제 10-2017-0015639 호 “디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법”는 CCTV, 블랙박스, 스마트폰, 디지털 카메라 등의 영상 저장장치에 저장된 화상 데이터에서 얼굴로부터 개인을 식별하고 식별된 개인의 얼굴 사진의 촬영 시각과 촬영 시각별 위치 정보를 추출하여 얼굴이 인식된 개인의 타임라인과 타임라인에 따른 동선 정보를 제공하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법에 관하여 개시하고 있다.
본 발명은 사용자 식별을 위한 처리 시간을 감소시키고, 확장성(Scalability)이 높은 사용자 식별 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 장치는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은 이미지를 입력 받고, 상기 이미지에서 사용자의 얼굴 영역을 검출하고, 딥러닝 기반으로 학습된 모델을 이용하여 상기 얼굴 영역에 대한 얼굴 식별자와 상기 얼굴 식별자에 상응하는 복수개의 얼굴 식별자 후보들을 생성하고, 데이터베이스에서 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터를 검색하고, 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리를 계산하여 상기 사용자를 식별한다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 얼굴 영역으로부터 고정 길이의 정수 또는 이진 벡터로 표현되는 해시코드를 추출할 수 있다.
이 때, 상기 딥러닝 기반으로 학습된 모델은 해밍 거리(HAMMING DISTANCE) 기법을 이용하여 사용자와 유사한 얼굴 이미지는 가까운 거리에 식별자가 분포하고, 사용자와 상이한 얼굴 이미지일수록 먼 거리에 식별자가 분포하도록 학습된 것일 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 해밍 거리(HAMMING DISTANCE) 기법을 이용하여 상기 얼굴 식별자에 대한 기설정된 임계값 이하의 거리를 갖는 복수개의 얼굴 식별자 후보들을 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 코사인 거리 및 유클리디언 거리 중 어느 하나에 기반하여 상기 거리를 계산할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리가 가장 가깝고, 상기 거리가 기설정된 임계값 이하이면 상기 사용자를 식별한 것으로 판단할 수 있다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법은 얼굴 이미지 기반 사용자 식별 장치의 얼굴 이미지 기반 사용자 식별 방법에 있어서, 이미지를 입력 받고, 상기 이미지에서 사용자의 얼굴 영역을 검출하는 단계; 딥러닝 기반으로 학습된 모델을 이용하여 상기 얼굴 영역에 대한 얼굴 식별자와 상기 얼굴 식별자에 상응하는 복수개의 얼굴 식별자 후보들을 생성하는 단계; 데이터베이스에서 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터를 검색하는 단계 및 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리를 계산하여 상기 사용자를 식별하는 단계를 포함한다.
이 때, 상기 얼굴 식별자를 생성하는 단계는 상기 얼굴 영역으로부터 고정 길이의 정수 또는 이진 벡터로 표현되는 해시코드를 추출할 수 있다.
이 때, 상기 딥러닝 기반으로 학습된 모델은 해밍 거리(HAMMING DISTANCE) 기법을 이용하여 사용자와 유사한 얼굴 이미지는 가까운 거리에 식별자가 분포하고, 사용자와 상이한 얼굴 이미지일수록 먼 거리에 식별자가 분포하도록 학습된 것일 수 있다.
이 때, 상기 생성하는 단계는 상기 해밍 거리(HAMMING DISTANCE) 기법을 이용하여 상기 얼굴 식별자에 대한 기설정된 임계값 이하의 거리를 갖는 복수개의 얼굴 식별자 후보들을 생성할 수 있다.
이 때, 상기 사용자를 식별하는 단계는 코사인 거리 및 유클리디언 거리 중 어느 하나에 기반하여 상기 거리를 계산할 수 있다.
이 때, 상기 사용자를 식별하는 단계는 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리가 가장 가깝고, 상기 거리가 기설정된 임계값 이하이면 상기 사용자를 식별한 것으로 판단할 수 있다.
본 발명은 사용자 식별을 위한 처리 시간을 감소시키고, 확장성(Scalability)이 높은 사용자 식별 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 얼굴 이미지로부터 식별자 후보를 생성하는 과정을 나타낸 도면이다.
도 3 및 도 4는 본 발명의 일실시예에 따른 메모리에 저장되는 데이터베이스의 구조를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 식별자 인덱스 데이터베이스의 식별자 인덱스를 이진트리로 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법의 사용자 등록 과정을 나타낸 동작흐름도이다.
도 7은 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법을 나타낸 동작흐름도이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "??부", "??기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 장치를 나타낸 블록도이다. 도 2는 본 발명의 일실시예에 따른 얼굴 이미지로부터 식별자 후보를 생성하는 과정을 나타낸 도면이다. 도 3 및 도 4는 본 발명의 일실시예에 따른 메모리에 저장되는 데이터베이스의 구조를 나타낸 도면이다. 도 5는 본 발명의 일실시예에 따른 식별자 인덱스 데이터베이스의 식별자 인덱스를 이진트리로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 장치(100)는 카메라(110), 프로세서(120), 메모리(130) 및 디스플레이를 포함할 수 있다.
카메라(110)는 이미지를 촬영하고, 프로세서(120)에 전달하거나 메모리(130)에 전달하여 이미지를 저장할 수 있다.
메모리(130)는 복수의 딥러닝 모델들이 저장될 수 있다. 복수의 딥러닝 모델들은 얼굴 검출 모델, 식별자 생성 모델, 특징 추출 모델이 포함될 수 있다. 또한, 메모리(130)에는 복수의 사용자들에 대한 데이터베이스가 생성 또는 저장될 수 있다.
프로세서(120)는 외부 입력 장치, 네트워크 또는 카메라(110)를 통해 입력받은 이미지로부터 얼굴 영역을 검출할 수 있다. 얼굴 영역 검출은 딥러닝 방법(예: Convolutional Neural Network)으로 학습된 모델에 의하여 수행될 수 있다.
이 때, 프로세서(120)는 검출된 얼굴 영역으로부터 얼굴 식별자를 생성할 수 있다.
이 때, 프로세서(120)는 딥러닝 방법(예: Convolutional Neural Network)으로 학습된 모델에 의하여 얼굴 식별자를 생성할 수 있다. 생성된 식별자는 고정 길이의 비트열로 표현될 수 있으며, 해시 코드라고 명명할 수 있다. 따라서, 프로세서(120)는 식별자의 유사도 비교를 위해 해밍 거리(Hamming distance) 기법 을 사용할 수 있다.
이 때, 프로세서(120)는 해밍 거리가 동일한 사용자의 경우 가까운 거리에 분포하며, 다른 사용자의 경우 상대적으로 먼 거리에 분포하도록 훈련된 딥러닝 모델을 얼굴 식별자 생성에 사용할 수 있다.
이 때, 프로세서(120)는 검출된 얼굴 영역으로부터 특징벡터를 추출할 수 있다.
이 때, 프로세서(120)는 딥러닝 방법(예: Convolutional Neural Network)으로 학습된 모델에 의하여 특징벡터를 추출할 수 있다. 특징벡터는 고정 길이의 실수 벡터로 표현될 수 있으며, 거리 비교는 코사인 거리(Cosine distance) 또는 유클리디언 거리(Euclidean distance)를 사용할 수 있다.
이 때, 프로세서(120)는 코사인 거리 또는 유클리디언 거리가 동일한 사용자의 경우 가까운 거리에 분포하며, 다른 사용자의 경우 상대적으로 먼 거리에 분포하도록 훈련된 딥러닝 모델을 특징벡터 추출에 사용할 수 있다.
이 때, 프로세서(120)는 사용자 식별을 위해 얼굴 식별자를 이용하여 복수개의 얼굴 식별자 후보들을 생성할 수 있다. 생체정보의 특성 상 같은 사용자라고 하더라도 포즈, 조명 등의 조건에 따라 추출된 식별자는 다를 수 있다. 이 때, 프로세서(120)는 이미지 생성 조건의 차이를 해밍 거리로 표현할 수 있으며, 이를 부류내 분산(var_intra)으로 정의할 수 있다.
이 때, 프로세서(120)는 기설정된 부류내 분산의 임계값(t_vi)에 따라 하나의 식별자로부터 복수의 식별자 후보들을 생성해낼 수 있다.
이 때, 프로세서(120)는 사용자의 얼굴 식별자(쿼리 식별자)로부터 복수개의 얼굴 식별자 후보들을 생성할 수 있다. 어느 하나의 사용자의 얼굴 식별자는 부류내 분산의 임계값(t_vi) 내에 분포할 확률이 높다. 따라서, 프로세서(120)는 얼굴 식별자로부터 임계값(t_vi) 이하의 거리를 갖는 복수개의 얼굴 식별자 후보들을 생성할 수 있다.
도 2를 참조하면, 얼굴 식별자의 길이가 16비트이고 임계값(t_vi)가 1이라고 하면, 프로세서(120)가 생성하는 복수개의 식별자 후보들을 16비트 중 1비트를 수정함으로써 얻어지는 16개의 비트열을 모두 포함할 수 있다.
이 때, 프로세서(120)는 생성된 복수개의 식별자 후보들을 이용하여 사용자를 식별할 수 있다. 메모리(130)에는 복수의 사용자에 대한 데이터가 도 3 및 도4와 같이 저장될 수 있다.
이 때, 프로세서(120)는 생성된 복수개의 식별자 후보들을 메모리(130)의 식별자 인덱스 데이터베이스로부터 검색할 수 있다.
이 때, 프로세서(120)는 식별자 인덱스 데이터베이스를 도 5와 같이 이진트리 형태로 구성할 수도 있다.
도 5를 참조하면, 16비트의 얼굴 식별자에 대한 이진트리는 깊이가 16인 이진트리로 저장될 수 있다. 따라서 하나의 식별자 후보에 대한 검색 시간은 16번의 비교연산을 필요로 하며 복수의 식별자 후보에 대한 검색 시간은 식별자 후보의 개수(M) 및 부류간 분산 임계값(t_vi)에 비례할 수 있다. 즉, 검색 시간이 데이터베이스에 저장되어 있는 사용자 수 또는 이미지의 수에 비례하지 않기 때문에 데이터베이스 내의 모든 식별자와 유사도 비교를 통해 검색을 수행하는 방법에 비해 검색 속도에 이점을 얻을 수 있다.
도 6은 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법의 사용자 등록 과정을 나타낸 동작흐름도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법의 사용자 등록 과정은 먼저 이미지를 입력 받을 수 있다(S210).
즉, 단계(S210)는 프로세서(120)가 사용자 등록을 위해 카메라(110)를 구동하여 사용자의 얼굴이 포함된 이미지를 촬영할 수 있다.
이 때, 단계(S210)는 카메라(110) 이외에도 외부 입력 장치 또는 네트워크를 통해서도 이미지를 입력 받을 수도 있다.
또한, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법의 사용자 등록 과정은 얼굴 영역을 검출할 수 있다(S220).
즉, 단계(S220)는 프로세서(120)가 촬영된 이미지로부터 얼굴 영역을 검출하며, 검출이 성공하는 경우 이후의 단계를 수행할 수 있고, 실패하는 경우는 사용자에게 재시도를 요청할 수 있다.
이 때, 단계(S220)는 얼굴 영역 검출을 위해 메모리에 저장되어 있는 얼굴 영역 검출 모델을 사용할 수 있으며, 해당 모델로부터 출력된 얼굴 영역의 좌표를 이용하여 촬영 이미지로부터 얼굴 영역을 검출할 수 있다.
또한, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법의 사용자 등록 과정은 얼굴 식별자를 생성할 수 있다(S230).
즉, 단계(S230)는 프로세서(120)가 얼굴 이미지로부터 얼굴 식별자를 생성할 수 있다.
이를 위해, 단계(S230)는 메모리(130)에 기저장된 얼굴 식별자 생성 모델을 사용할 수 있다.
또한, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법의 사용자 등록 과정은 특징벡터를 생성할 수 있다(S240).
즉, 단계(S240)는 프로세서(120)가 얼굴 이미지로부터 특징벡터를 생성할 수 있다.
이를 위해, 단계(S240)는 메모리(130)에 기저장된 특징추출 모델을 사용할 수 있다.
또한, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법의 사용자 등록 과정은 개인정보를 입력받을 수 있다(S250)
즉, 단계(S250)는 얼굴 식별자 및 특징벡터가 생성되면 사용자로부터 ID 및 개인정보(예: 이름, 전화번호)를 추가로 입력받을 수도 있다.
또한, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법의 사용자 등록 과정은 얼굴 식별자, 특징벡터 및 개인정보를 데이터베이스에 저장할 수 있다(S260).
즉, 단계(S260)은 생성한 얼굴 식별자, 특징벡터, ID 및 개인정보는 메모리(130)내의 데이터베이스에 저장할 수 있다.
본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법의 사용자 등록 과정은 기설정된 이미지 생성 조건에 따라 복수개의 얼굴 식별자 후보들을 생성하기 위해, 다양한 포즈 및 조명변화를 고려하여 반복 수행될 수도 있다.
이 때, 도 3 및 도4에 도시된 데이터베이스 구성에 따라 하나의 ID에 다수의 특징벡터가 저장될 수도 있다.
도 7은 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법을 나타낸 동작흐름도이다.
본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법은 얼굴 식별자를 생성할 수 있다(S310).
즉, 단계(S310)는 프로세서(120)가 사용자 식별을 위해 사용자의 얼굴이 포함된 이미지로부터 사용자의 쿼리 얼굴 식별자 및 쿼리 특징벡터를 생성할 수 있으며, 도 6에서 설명한 사용자 등록 과정에서 설명한 것과 동일하다.
또한, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법은 모든 얼굴 식별자 후보들을 검색할 수 있다(S320).
즉, 단계(S320)는 프로세서(120)가 얼굴 식별자를 이용하여 식별자 인덱스 데이터베이스로부터 매칭되는 식별자 및 ID를 검색할 수 있다.
이 때, 단계(S320)는 식별자 검색을 위해서는 임계값(t_vi) 이하의 해밍 거리를 갖는 모든 식별자 후보를 생성하여 검색을 수행하며, 그 예시는 상기에서 설명한 바와 동일하다.
또한, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법은 특징벡터를 검색할 수 있다(S330).
즉, 단계(S330)는 검색된 얼굴 식별자 후보들을 이용하여 식별자 인덱스 데이터베이스로부터 복수의 ID가 검색되면, 해당 ID에 대응하는 복수개의 특징벡터들을 사용자 정보 데이터베이스로부터 검색할 수 있다.
또한, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법은 거리 비교를 통해 순위를 매길 수 있다(S340).
즉, 단계(S340)는 검색된 복수개의 특징벡터와 사용자의 쿼리 특징벡터와의 거리를 계산하여 순위를 매길 수 있다.
이 때, 단계(S340)는 상기에서 설명한 바와 같이 코사인 거리 또는 유클리디언 거리를 계산할 수 있다.
또한, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 방법은 특징벡터의 거리가 임계값 이하인지 판단할 수 있다(S350).
즉, 단계(S350)는 최종적으로 사용자의 쿼리 특징벡터와 가장 가까운 1순위 특징벡터간의 거리가 임계값 이하이면 해당 특징벡터의 ID로 사용자 식별을 완료할 수 있고(S360), 임계값을 초과하는 경우, 다른 인증정보에 대한 입력을 사용자에게 요청할 수 있다(S370).
즉, 단계(S360)는 사용자의 쿼리 특징벡터와 거리가 가까운 복수개의 특징벡터 중 거리가 임계값 이하인 특징벡터 및 ID가 복수개인 경우, 해당하는 복수개의 ID를 화면에 보여줄 수 있다.
이 때, 단계(S360)는 사용자에게 ID 중 하나를 선택하도록 요청하고, 다른 인증 정보(예: 목소리, 비밀번호)를 요청할 수도 있다.
또한, 단계(S320)는 복수개의 식별자 후보들을 이용한 검색이 실패하는 경우 프로세서(120)가 거리 기반의 식별과정을 수행할 수 있다.
이 때, 단계(S320)는 프로세서(120)가 사용자의 쿼리 얼굴 식별자와 식별자 인덱스 데이터베이스에 저장된 모든 식별자와 거리를 계산할 수 있다.
이 때, 단계(S320)는 프로세서(120)가 거리에 기반한 순위가 임계값(예: 100순위) 이하인 식별자 및 그에 대응하는 ID를 검색 결과로 반환할 수 있다.
이 때, 단계(S320)는 검색된 ID에 대응하는 특징벡터를 이용하여 단계(S330)부터 사용자 식별 방법을 계속 수행할 수 있다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 장치(100)는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 장치(100)는 하나 이상의 프로세서(1110); 및 상기 하나 이상의 프로세서(1110)에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리(1130)를 포함하고, 상기 적어도 하나 이상의 프로그램은 이미지를 입력 받고, 상기 이미지에서 사용자의 얼굴 영역을 검출하고, 딥러닝 기반으로 학습된 모델을 이용하여 상기 얼굴 영역에 대한 얼굴 식별자와 상기 얼굴 식별자에 상응하는 복수개의 얼굴 식별자 후보들을 생성하고, 데이터베이스에서 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터를 검색하고, 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리를 계산하여 상기 사용자를 식별한다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 얼굴 영역으로부터 고정 길이의 정수 또는 이진 벡터로 표현되는 해시코드를 추출할 수 있다.
이 때, 상기 딥러닝 기반으로 학습된 모델은 해밍 거리(HAMMING DISTANCE) 기법을 이용하여 사용자와 유사한 얼굴 이미지는 가까운 거리에 식별자가 분포하고, 사용자와 상이한 얼굴 이미지일수록 먼 거리에 식별자가 분포하도록 학습된 것일 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 해밍 거리(HAMMING DISTANCE) 기법을 이용하여 상기 얼굴 식별자에 대한 기설정된 임계값 이하의 거리를 갖는 복수개의 얼굴 식별자 후보들을 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 코사인 거리 및 유클리디언 거리 중 어느 하나에 기반하여 상기 거리를 계산할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리가 가장 가깝고, 상기 거리가 기설정된 임계값 이하이면 상기 사용자를 식별한 것으로 판단할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 얼굴 이미지 기반 사용자 식별 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 얼굴 이미지 기반 사용자 식별 장치
110: 카메라 120: 프로세서
130: 메모리
110: 마이크로 컨트롤러 유닛 120: 운영체제
130: 어플리케이션
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (12)

  1. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리;
    를 포함하고,
    상기 적어도 하나 이상의 프로그램은
    이미지를 입력 받고, 상기 이미지에서 사용자의 얼굴 영역을 검출하고, 딥러닝 기반으로 학습된 모델을 이용하여 상기 얼굴 영역에 대한 얼굴 식별자와 상기 얼굴 식별자에 상응하는 복수개의 얼굴 식별자 후보들을 생성하고, 데이터베이스에서 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터를 검색하고, 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리를 계산하여 상기 사용자를 식별하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나 이상의 프로그램은
    상기 얼굴 영역으로부터 고정 길이의 정수 또는 이진 벡터로 표현되는 해시코드를 추출하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 장치.
  3. 청구항 1에 있어서,
    상기 딥러닝 기반으로 학습된 모델은
    해밍 거리(HAMMING DISTANCE) 기법을 이용하여 사용자와 유사한 얼굴 이미지는 가까운 거리에 식별자가 분포하고, 사용자와 상이한 얼굴 이미지일수록 먼 거리에 식별자가 분포하도록 학습된 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 장치.
  4. 청구항 2에 있어서,
    상기 적어도 하나 이상의 프로그램은
    상기 해밍 거리(HAMMING DISTANCE) 기법을 이용하여 상기 얼굴 식별자에 대한 기설정된 임계값 이하의 거리를 갖는 복수개의 얼굴 식별자 후보들을 생성하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 장치.
  5. 청구항 4에 있어서,
    상기 적어도 하나 이상의 프로그램은
    코사인 거리 및 유클리디언 거리 중 어느 하나에 기반하여 상기 거리를 계산하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 장치.
  6. 청구항 5에 있어서,
    상기 적어도 하나 이상의 프로그램은
    상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리가 가장 가깝고, 상기 거리가 기설정된 임계값 이하이면 상기 얼굴 영역으로부터 추출된 특징벡터에 대응하는 사용자를 식별한 것으로 판단하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 장치.
  7. 얼굴 이미지 기반 사용자 식별 장치의 얼굴 이미지 기반 사용자 식별 방법에 있어서,
    이미지를 입력 받고, 상기 이미지에서 사용자의 얼굴 영역을 검출하는 단계;
    딥러닝 기반으로 학습된 모델을 이용하여 상기 얼굴 영역에 대한 얼굴 식별자와 상기 얼굴 식별자에 상응하는 복수개의 얼굴 식별자 후보들을 생성하는 단계;
    데이터베이스에서 상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터를 검색하는 단계; 및
    상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리를 계산하여 상기 사용자를 식별하는 단계;
    를 포함하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 방법.
  8. 청구항 7에 있어서,
    상기 생성하는 단계는
    상기 얼굴 영역으로부터 고정 길이의 정수 또는 이진 벡터로 표현되는 해시코드를 추출하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 방법.
  9. 청구항 7에 있어서,
    상기 딥러닝 기반으로 학습된 모델은
    해밍 거리(HAMMING DISTANCE) 기법을 이용하여 사용자와 유사한 얼굴 이미지는 가까운 거리에 식별자가 분포하고, 사용자와 상이한 얼굴 이미지일수록 먼 거리에 식별자가 분포하도록 학습된 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 방법.
  10. 청구항 9에 있어서,
    상기 생성하는 단계는
    상기 해밍 거리(HAMMING DISTANCE) 기법을 이용하여 상기 얼굴 식별자에 대한 기설정된 임계값 이하의 거리를 갖는 복수개의 얼굴 식별자 후보들을 생성하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 방법.
  11. 청구항 10에 있어서,
    상기 사용자를 식별하는 단계는
    코사인 거리 및 유클리디언 거리 중 어느 하나에 기반하여 상기 거리를 계산하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 방법.
  12. 청구항 11에 있어서,
    상기 사용자를 식별하는 단계는
    상기 복수개의 얼굴 식별자 후보들에 대응하는 특징벡터와 상기 얼굴 영역으로부터 추출된 특징벡터와의 거리가 가장 가깝고, 상기 거리가 기설정된 임계값 이하이면 상기 사용자를 식별한 것으로 판단하는 것을 특징으로 하는 얼굴 이미지 기반 사용자 식별 방법.
KR1020190145280A 2019-11-13 2019-11-13 얼굴 이미지 기반 사용자 식별 장치 및 방법 KR20210058157A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145280A KR20210058157A (ko) 2019-11-13 2019-11-13 얼굴 이미지 기반 사용자 식별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145280A KR20210058157A (ko) 2019-11-13 2019-11-13 얼굴 이미지 기반 사용자 식별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210058157A true KR20210058157A (ko) 2021-05-24

Family

ID=76153128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145280A KR20210058157A (ko) 2019-11-13 2019-11-13 얼굴 이미지 기반 사용자 식별 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210058157A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230001373A (ko) * 2021-06-28 2023-01-04 중소기업은행 실명확인방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230001373A (ko) * 2021-06-28 2023-01-04 중소기업은행 실명확인방법 및 그 장치

Similar Documents

Publication Publication Date Title
Chen et al. Fast person re-identification via cross-camera semantic binary transformation
JP6973876B2 (ja) 顔認識方法、顔認識装置及び顔認識方法を実行するコンピュータプログラム
JP6041439B2 (ja) 画像に基づくバイナリ特徴ベクトルを用いた画像検索装置、システム、プログラム及び方法
US11727053B2 (en) Entity recognition from an image
TWI528196B (zh) Similar image recognition method and apparatus
US8498455B2 (en) Scalable face image retrieval
CN110348362B (zh) 标签生成、视频处理方法、装置、电子设备及存储介质
CN108664526B (zh) 检索的方法和设备
CN109582813B (zh) 一种文物展品的检索方法、装置、设备和存储介质
KR20110027666A (ko) 이미지들의 유사성 검색을 위한 시스템 및 방법
KR20160011916A (ko) 얼굴 인식을 통한 사용자 식별 방법 및 장치
US11714921B2 (en) Image processing method with ash code on local feature vectors, image processing device and storage medium
US10943098B2 (en) Automated and unsupervised curation of image datasets
KR102261054B1 (ko) 카메라에 연결되는 고속 얼굴 인식 장치
AU2019200711A1 (en) Biometric verification
WO2022103684A1 (en) Face-aware person re-identification system
WO2023124278A1 (zh) 图像处理模型的训练方法、图像分类方法及装置
WO2023123923A1 (zh) 人体重识别方法、人体重识别装置、计算机设备及介质
Singh et al. A comprehensive survey on person re-identification approaches: various aspects
An et al. Multi-level common space learning for person re-identification
KR20210058157A (ko) 얼굴 이미지 기반 사용자 식별 장치 및 방법
JP6601965B2 (ja) 探索木を用いて量子化するプログラム、装置及び方法
JP5959446B2 (ja) コンテンツをバイナリ特徴ベクトルの集合で表現することによって高速に検索する検索装置、プログラム及び方法
CN114048344A (zh) 一种相似人脸搜索方法、装置、设备和可读存储介质
JP5791666B2 (ja) ビジュアルキーワードの動的生成装置