KR20160011916A - 얼굴 인식을 통한 사용자 식별 방법 및 장치 - Google Patents

얼굴 인식을 통한 사용자 식별 방법 및 장치 Download PDF

Info

Publication number
KR20160011916A
KR20160011916A KR1020140093220A KR20140093220A KR20160011916A KR 20160011916 A KR20160011916 A KR 20160011916A KR 1020140093220 A KR1020140093220 A KR 1020140093220A KR 20140093220 A KR20140093220 A KR 20140093220A KR 20160011916 A KR20160011916 A KR 20160011916A
Authority
KR
South Korea
Prior art keywords
input
images
image
representative images
representative
Prior art date
Application number
KR1020140093220A
Other languages
English (en)
Inventor
황원준
서성주
김정배
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140093220A priority Critical patent/KR20160011916A/ko
Priority to US14/803,332 priority patent/US20160026854A1/en
Publication of KR20160011916A publication Critical patent/KR20160011916A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

미리 저장된 사용자의 참조 영상에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득하고, 수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득하며, 입력 대표 영상들 및 참조 대표 영상들을 이용하여 산출된 입력 영상 및 참조 영상 간의 유사도에 따라 사용자를 인증하는, 사용자 인증 방법을 제공할 수 있다.

Description

얼굴 인식을 통한 사용자 식별 방법 및 장치{METHOD AND APPARATUS OF IDENTIFYING USER USING FACE RECOGNITION}
아래의 실시예들은 얼굴 인식을 통한 사용자 식별 방법 및 장치에 관한 것이다.
근래 들어, 사건, 사고 및 테러 등이 빈번하게 발생함에 따라 보안의 중요성이 더 커지고 있다. 이에 따라 보안 카메라의 설치가 늘어 나고 있으며, 보안 영상의 기록 보관소(Archive)에 저장 되는 영상의 종류 및 양도 늘어나고 있다. 사건, 사고 전후에 범죄 형태와 범인 색출 위해서 보안 영상의 기록 보관소(Archive)를 검색해야 하지만, 많은 수의 카메라들에서 촬영된 영상을 빠르게 검색 하는 일은 용의하지 않다.
결국 대용량 기록 보관소에 저장된 영상들로부터 원하는 상황 또는 원하는 영상을 빠르게 검색하기 위해서는 영상의 특징을 파악하여 검색하는 방법이 요구된다. 저장된 영상에서의 얼굴 인식은 포즈, 조명 변화, 표정 변화 등에 따라 인식 성능이 떨어지기 때문에 제품 적용이 용이하지 않다.
또한, 최근 포터블 디바이스 등에 지문 인식 등의 생체 정보를 이용한 사용자 인증 방식이 채택되고 있다. 지문 인식을 위해서는 사용자의 지문을 스캔할 수 있는 별도의 하드웨어 장치가 요구될 수 있는데, 이에 대한 대안으로, 포터블 디바이스에 포함된 카메라 등의 촬상 수단을 통해 사용자 얼굴을 이용하여 사용자를 인증하는 기술이 개발되고 있다.
이와 같이, 사용자의 얼굴을 인식하여 사용자를 식별하기 위해 많은 얼굴 인식 알고리즘이 개발되고 있으나, 사용자 얼굴의 다양한 포즈(pose) 및 사용자가 위치한 장소의 조명 색 또는 조명의 밝기가 일정하지 않다는 제한으로 인해, 얼굴 인식을 통해 사용자를 정확히 인증하기 쉽지 않았다.
일실시예에 따르면, 사용자 인증 방법은 미리 저장된 사용자의 참조 영상에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득하는 단계; 수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득하는 단계; 상기 입력 대표 영상들 및 상기 참조 대표 영상들을 이용하여 상기 입력 영상 및 참조 영상 간의 유사도를 산출하는 단계; 및 상기 산출된 유사도에 따라 상기 사용자를 인증하는 단계를 포함한다.
상기 유사도를 산출하는 단계는 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리를 이용하여 상기 유사도를 산출하는 단계를 포함할 수 있다.
상기 유사도를 산출하는 단계는 상기 입력 영상의 특징점과 상기 참조 영상의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리를 이용하여 상기 유사도를 산출하는 단계를 포함할 수 있다.
상기 유사도를 산출하는 단계는 상기 입력 영상의 특징점과 상기 참조 영상의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리에, 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리 각각에 대한 가중치를 더 고려하여 상기 유사도를 산출하는 단계를 포함할 수 있다.
상기 참조 대표 영상을 획득하는 단계는 상기 참조 영상으로부터 상기 미리 정해진 기준에 따라 분류된 참조 예제 세트들 별로 상기 참조 대표 영상들을 획득하는 단계를 포함할 수 있다.
상기 참조 대표 영상들을 획득하는 단계는, 상기 미리 정해진 기준에 따라 상기 참조 영상에 유사한 복수의 참조 예제 영상들을 클러스터링하여 복수의 참조 예제 세트들로 분류하는 단계; 및 상기 복수의 참조 예제 세트들 각각에서 검색된 상기 참조 영상에 유사한 참조 예제 영상들을 이용하여 상기 참조 대표 영상들을 생성하는 단계를 포함할 수 있다.
상기 참조 예제 영상들은 상기 사용자의 서로 다른 포즈들에 따른 예제 영상들, 및 상기 서로 다른 조명 밝기에 따른 예제 영상들 중 적어도 하나를 포함하고, 상기 참조 예제 영상들은 예제 영상 데이터베이스에 미리 저장될 수 있다.
상기 하나 이상의 입력 대표 영상을 획득하는 단계는 상기 입력 영상으로부터 상기 미리 정해진 기준에 따라 분류된 입력 예제 세트들 별로 상기 입력 대표 영상을 획득하는 단계를 포함할 수 있다.
상기 입력 대표 영상을 획득하는 단계는, 상기 미리 정해진 기준에 따라 상기 입력 영상에 유사한 복수의 입력 예제 영상들을 클러스터링하여 상기 n개(n ≥1인 자연수)의 입력 예제 세트들로 분류하는 단계; 및 상기 n개의 입력 예제 세트들 각각에서 검색된 상기 입력 영상에 유사한 입력 예제 영상들을 이용하여 n 개의 상기 입력 대표 영상들을 생성하는 단계를 포함할 수 있다.
상기 입력 대표 영상들을 생성하는 단계는, 상기 n 개의 입력 예제 세트들 각각에서 상기 입력 영상과의 유사도를 산출하여, 미리 설정된 기준값보다 상기 산출된 유사도가 높은 m개(m ≥1인 자연수)의 입력 예제 영상들을 결정하는 단계; 및 상기 m개의 입력 예제 영상들을 이용하여 n 개의 상기 입력 대표 영상들을 생성하는 단계를 포함할 수 있다.
상기 미리 정해진 기준은 얼굴의 포즈(pose) 변화, 또는 조명(lighting) 변화를 포함할 수 있다.
일실시예에 따르면, 얼굴 인증 장치는 사용자의 참조 영상을 저장하는 저장부; 입력 영상을 수신하는 통신부; 및 상기 참조 영상에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득하고, 수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득하며, 상기 입력 대표 영상들 및 상기 참조 대표 영상들을 이용하여 산출된 상기 입력 영상 및 참조 영상 간의 유사도에 따라 상기 사용자를 인증하는 프로세서를 포함할 수 있다.
상기 프로세서는 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리를 이용하여 상기 유사도를 산출할 수 있다.
상기 프로세서는 상기 입력 영상의 특징점과 상기 참조 영상의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리를 이용하여 상기 유사도를 산출할 수 있다.
상기 프로세서는 상기 입력 영상의 특징점과 상기 참조 영상의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리에, 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리 각각에 대한 가중치를 더 고려하여 상기 유사도를 산출할 수 있다.
상기 프로세서는, 상기 미리 정해진 기준에 따라 상기 참조 영상에 유사한 복수의 참조 예제 영상들을 클러스터링하여 복수의 참조 예제 세트들로 분류하고, 상기 복수의 참조 예제 세트들 각각에서 검색된 상기 참조 영상에 유사한 참조 예제 영상들을 이용하여 상기 참조 대표 영상들을 생성할 수 있다.
상기 참조 예제 영상들은 상기 사용자의 서로 다른 포즈들에 따른 예제 영상들, 및 상기 서로 다른 조명 밝기에 따른 예제 영상들 중 적어도 하나를 포함하고, 상기 저장부는, 상기 참조 예제 영상들을 저장하는 예제 영상 데이터베이스를 포함할 수 있다.
상기 프로세서는, 상기 미리 정해진 기준에 따라 상기 입력 영상에 유사한 복수의 입력 예제 영상들을 클러스터링하여 상기 n개(n ≥1인 자연수)의 입력 예제 세트들로 분류하고, 상기 n개의 입력 예제 세트들 각각에서 검색된 상기 입력 영상에 유사한 입력 예제 영상들을 이용하여 n 개의 상기 입력 대표 영상들을 생성할 수 있다.
일실시예에 따르면, 사용자 인증 방법은, 미리 저장된 복수의 사용자들의 참조 영상들 각각에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득하는 단계; 수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득하는 단계; 상기 입력 대표 영상들 및 상기 참조 대표 영상들 각각을 이용하여 상기 입력 영상 및 참조 영상들 간의 유사도를 산출하는 단계; 및 상기 산출된 유사도에 따라 상기 복수의 사용자들 중 상기 입력 영상에 해당하는 사용자를 인식하는 단계를 포함할 수 있다.
상기 유사도를 산출하는 단계는 상기 입력 영상의 특징점과 상기 참조 영상들 각각과의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들 각각의 특징점 간의 거리를 이용하여 상기 유사도를 산출하는 단계를 포함할 수 있다.
상기 유사도를 산출하는 단계는 상기 입력 영상의 특징점과 상기 참조 영상들 각각과의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들 각각의 특징점 간의 거리에, 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들 각각의 특징점 간의 거리 각각에 대한 가중치를 더 고려하여 상기 유사도를 산출하는 단계를 포함할 수 있다.
상기 참조 대표 영상을 획득하는 단계는 상기 참조 영상들 각각으로부터 상기 미리 정해진 기준에 따라 분류된 참조 예제 세트들 별로 상기 참조 대표 영상들을 획득하는 단계를 포함할 수 있다.
상기 참조 대표 영상들을 획득하는 단계는, 상기 미리 정해진 기준에 따라 상기 참조 영상들 각각에 유사한 복수의 참조 예제 영상들을 클러스터링하여 복수의 참조 예제 세트들로 분류하는 단계; 및 상기 복수의 참조 예제 세트들 각각에서 검색된 상기 참조 영상들 각각에 유사한 참조 예제 영상들을 이용하여 상기 참조 대표 영상들을 생성하는 단계를 포함할 수 있다.
상기 참조 예제 영상들은 상기 복수의 사용자들 각각의 서로 다른 포즈들에 따른 예제 영상들, 및 상기 서로 다른 조명 밝기에 따른 예제 영상들 중 적어도 하나를 포함하고, 상기 참조 예제 영상들은 예제 영상 데이터베이스에 미리 저장될 수 있다.
도 1은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 이용되는 특징 공간(feature space)을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법을 나타낸 플로우 차트이다.
도 3은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 참조 대표 영상들을 획득하는 방법을 나타낸 플로우 차트이다.
도 4는 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 입력 대표 영상을 획득하는 방법을 나타낸 플로우 차트이다.
도 5는 다른 실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 입력 대표 영상을 획득하는 방법을 나타낸 플로우 차트이다.
도 6은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 입력 영상에 유사한 입력 예제 영상들을 검색하는 방법을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 입력 대표 영상들을 생성하는 방법을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에 따라 각 포즈에 따른 5개의 입력 예제 세트들에서 입력 영상(x1, y1) 각각에 유사한 입력 예제 영상들 및 참조 영상(x2)에 유사한 참조 예제 영상들을 도식화하여 나타낸 도면이다.
도 9는 도 8의 도식화된 도면을 이해하기 쉬운 형태로 나타낸 도면이다.
도 10은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에 따라 클러스터링된 각 입력 예제 세트들로부터 검색된 입력 영상에 유사한 입력 예제 영상들 및 입력 예제 영상들에 대응되는 가중치를 이용하여 생성한 입력 대표 영상들을 나타낸 도면이다.
도 11은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에 따라 입력 영상 및 참조 영상 간의 유사도를 산출하는 방법을 설명하기 위한 도면이다.
도 12는 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 장치의 블록도이다.
도 13는 일실시예에 따른 사용자 인식 방법을 나타낸 플로우 차트이다.
컴퓨터 시스템은 아래의 실시예들을 설명하기 위한 하나의 참조로 사용된다. 당업자들은 아래에서 기술되는 시스템 및 방법들이 사용자 인터페이스를 보유하고 있는 임의의 디스플레이 시스템에 적용될 수 있음을 충분히 이해할 수 있다. 특히 본 명세서에서 설명되는 얼굴 인식을 이용한 사용자 인증 방법 및 장치는 하나 이상의 프로세서, 메모리, 및 디스플레이 수단을 포함하는 컴퓨터 시스템에 의해 구현될 수 있다. 당업자라면 주지하는 바와 같이, 컴퓨터 시스템은 셀룰러 폰 등의 포터블 디바이스일 수 있다.
본 명세서에서 사용되는 “실시예”, “예”, “측면”, “예시” 등은 기술된 임의의 양상(aspect) 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되어야 하는 것은 아니다.
아래에서 사용되는 용어들 '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, '또는'이라는 용어는 배타적 논리합 "exclusive OR"라기보다는 포함적인 논리합 "inclusive OR"를 의미한다. 즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, "x가 a 또는 b를 이용한다"는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
또한, 본 명세서 및 청구항들에서 사용되는 단수 표현("a" 또는 "an")은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징, 단계, 동작, 모듈, 구성요소 및/또는 컴포넌트가 존재함을 의미하지만, 하나 이상의 다른 특징, 단계, 동작, 모듈, 구성요소, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
이하에서는 입력 영상으로서 얼굴 영상을 예로 들어 설명하지만, 사용자 별로 고유한 신체 일부에 대한 영상 또한 입력 영상으로 사용될 수 있다.
이하에서 설명하는 사용자 식별 방법은,
(1) 모바일 디바이스와 같은 개인화 단말(personalized device)에서, 하나 또는 그 이상의 제한된 사용자를 인증하기 위한 사용자 인증(User Authentication) 방법, 및
(2) 다수의 사용자 중 특정 사용자를 인식하기 위한 사용자 인식(User Recognition) 방법
을 포함할 수 있다. 이러한 사용자 인증 방법 및 사용자 인식 방법은 입력 영상을 단일 사용자에 대한 참조 영상과 대비하는지(사용자 인증) 또는 입력 영상을 다수의 사용자에 대한 참조 영상과 대비하는지(사용자 인식)에 따라 구분될 수 있으나, 이는 실시예의 차이일 뿐, 그 동작 방법은 유사하다. 이하 사용자 인증 방법의 일례를 중심으로 상세히 설명한다.
도 1은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 이용되는 특징 공간(feature space)을 설명하기 위한 도면이다.
도 1을 참조하면, 복수의 사용자들의 얼굴에 대한 서로 다른 예제 영상들이 투영된 특징 공간(feature space)이 도시된다. 여기서, 서로 다른 예제 영상들은 사용자들의 포즈, 조명 등에 따라 다양하게 변형될 수 있는 영상들에 해당하며, 예제 영상들의 특징점에 따라 특징 공간에 투영(project)될 수 있다.
특징 공간에 투영된 서로 다른 예제 영상들은 각 예제 영상들의 특징(점)에 기반하여 도 1과 같이 표현될 수 있다. 보다 간단한 표현을 위해 도 1에서는 조명의 변화를 고려하지 않고, 사용자 얼굴의 포즈 변화만 있다고 가정한다.
도 1에서 m1으로 표현된 곡선은 특징 공간에서 인물 A의 입력 영상으로부터 변형될 수 있는 예제 영상들의 위치를 나타내고, m2로 표현된 곡선은 인물 B의 입력 영상으로부터 변형될 수 있는 예제 영상들의 위치를 나타낼 수 있다. 또한, x1과 x2는 동일 인물 C의 포즈 변화에 따른 얼굴 특징점을 나타내고, y1은 인물 D의 얼굴 특징점을 나타낼 수 있다.
동일 인물이지만 포즈가 서로 다른 얼굴 영상의 특징점인 x1과 x2의 거리를 예를 들어, 유클리디안 거리 공식인 L2 Distance를 이용하여 계산하면 dx1x2가 될 수 있다. 또한, 서로 다른 인물들의 얼굴 영상이지만 유사한 포즈를 가지고 있는 영상들의 특징점 x1과 y1의 L2 Distance는 dx1y1가 될 수 있다.
특징 공간에서 얼굴 인식을 이용한 사용자 인증이 정확하게 수행되기 위해서는 dx1y1 > dx1x2가 되어야 하지만, 실제로는 도 1과 같이 dx1y1 << dx1x2가 될 수 있다. 이러한 결과는 얼굴 인식을 이용한 사용자 인증의 경우, 포즈 변화에 따라 변형될 수 있는 영상들을 선형적으로 학습하기 어렵기 때문이다. 다시 말해, 서로 다른 사람이지만 동일한 포즈를 가진 얼굴 영상들이, 동일 인물이지만 서로 다른 포즈를 가진 얼굴 영상들보다 특징 공간에서 더 유사하게 보일 수 있다.
이하에서, '거리'는 특징 공간에서의 특징들 또는 특징점들 간의 거리를 의미하는 것으로 이해될 수 있다.
도 2는 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법을 나타낸 플로우 차트이다.
도 2를 참조하면, 일실시예에 따른 사용자 인증 장치(이하, '인증 장치')는 미리 저장된 사용자의 참조 영상에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득할 수 있다(210). 여기서, 미리 정해진 기준은 얼굴의 포즈(pose) 변화, 또는 조명(lighting) 변화를 포함할 수 있다.
단계(210)에서, 인증 장치는 참조 영상으로부터 미리 정해진 기준에 따라 분류된 참조 예제 세트들 별로 참조 대표 영상들을 획득할 수 있다. 인증 장치가 참조 대표 영상들을 획득하는 방법은 도 3을 참조하여 설명한다.
인증 장치는 수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득할 수 있다(220). 이때, 입력 영상은 예를 들어, 인증 장치에 포함된 이미지 센서 또는 카메라를 통해 촬영된 영상일 수 있다. 입력 영상은 사용자의 얼굴 영상을 포함할 수 있고, 단수의 사용자에 대한 것일 수도 있고, 복수의 사용자에 대한 것일 수도 있다.
단계(220)에서, 인증 장치는 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 예제 세트들 별로 입력 대표 영상을 획득할 수 있다. 인증 장치가 입력 대표 영상들을 획득하는 방법은 도 4, 및 도 7을 참조하여 설명한다.
인증 장치는 입력 대표 영상들 및 참조 대표 영상들을 이용하여 입력 영상 및 참조 영상 간의 유사도를 산출할 수 있다(230).
단계(230)에서, 인증 장치는 미리 정해진 기준에 따라 서로 대응되는 입력 대표 영상들의 특징점과 참조 대표 영상들의 특징점 간의 거리를 이용하여 유사도를 산출할 수 있다.
또한, 인증 장치는 입력 영상의 특징점과 참조 영상의 특징점 간의 거리 및 미리 정해진 기준에 따라 서로 대응되는 입력 대표 영상들의 특징점과 참조 대표 영상들의 특징점 간의 거리를 이용하여 유사도를 산출할 수 있다. 일실시예에서 인증 장치가 유사도를 산출하는 구체적인 방법은 도 8, 도 9 및 도 11을 참조하여 설명한다.
이 밖에도, 인증 장치는 입력 영상의 특징점과 참조 영상의 특징점 간의 거리 및 미리 정해진 기준에 따라 서로 대응되는 입력 대표 영상들의 특징점과 참조 대표 영상들의 특징점 간의 거리에, 입력 대표 영상들의 특징점과 참조 대표 영상들의 특징점 간의 거리 각각에 대한 가중치를 더 고려하여 유사도를 산출할 수 있다. 일실시예에서 가중치를 더 고려하여 유사도를 산출하는 방법은 도 10을 참조하여 상세히 설명한다.
인증 장치는 단계(230)에서 산출된 유사도에 따라 사용자를 인증할 수 있다(240). 인증 장치는 예를 들어, 단계(230)에서 산출된 유사도가 미리 정해진 값보다 크거나 같으면, 입력 영상이 참조 영상과 동일한 사용자임을 인증할 수 있다.
도 3은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 참조 대표 영상들을 획득하는 방법을 나타낸 플로우 차트이다.
도 3을 참조하면, 일실시예에 따른 인증 장치는 미리 정해진 기준에 따라 참조 영상에 유사한 복수의 참조 예제 영상들을 클러스터링하여 복수의 참조 예제 세트들로 분류할 수 있다(310). 이때, 참조 영상은 인증 장치의 저장부에 미리 저장될 수 있다. 또한, 참조 예제 영상들은 사용자의 서로 다른 포즈들에 따른 예제 영상들, 및 서로 다른 조명 밝기에 따른 예제 영상들 중 적어도 하나를 포함할 수 있다.
참조 예제 영상들은 예제 영상 데이터베이스에 미리 저장될 수 있다. 예제 영상 데이터베이스는 저장부 또는 별도의 저장 매체에 저장될 수 있다.
인증 장치는 복수의 참조 예제 세트들 각각에서 검색된 참조 영상에 유사한 참조 예제 영상들을 이용하여 참조 대표 영상들을 생성할 수 있다(320).
인증 장치는, 단계(320)에서 생성된 참조 대표 영상들은 저장부에 저장할 수 있다(330). 실시예에 따라서, 인증 장치는 도 3을 통해 획득한 참조 대표 영상들을 예제 영상 데이터베이스에 미리 저장하고, 저장된 참조 대표 영상들을 입력 영상이 수신되면, 호출하여 사용할 수도 있다.
도 4는 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 입력 대표 영상을 획득하는 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 인증 장치는 입력 영상이 수신되면, 미리 정해진 기준에 따라 입력 영상에 유사한 복수의 입력 예제 영상들을 클러스터링하여 n개(n ≥1인 자연수)의 입력 예제 세트들로 분류할 수 있다(410). 여기서, 미리 정해진 기준은 예를 들어, 얼굴의 포즈 변화 또는 조명 변화일 수 있다.
복수의 입력 예제 영상들은 예를 들어, 100~200개이고, 입력 예제 세트들은 예를 들어, 3~5개일 수 있다.
단계(410)에서, 인증 장치는 예를 들어, 서로 다른 포즈들에 대한 예제 영상들 또는 서로 다른 조명 밝기에 대한 예제 영상들을 클러스터링하여 입력 예제 세트들로 분류할 수 있다.
인증 장치는 단계(410)에서 분류된 n개의 입력 예제 세트들 각각에서 검색된, 입력 영상에 유사한 입력 예제 영상들을 이용하여 n 개의 입력 대표 영상들을 생성할 수 있다.
보다 상세하게, 인증 장치는 n 개의 입력 예제 세트들 각각에서 입력 영상에 유사한 입력 예제 영상들과 입력 영상과의 유사도를 산출할 수 있다(420).
인증 장치는, 단계(420)에서 산출된 유사도가 미리 설정된 기준값보다 높은 m개(m ≥1인 자연수)의 입력 예제 영상들을 결정할 수 있다(430).
인증 장치는 m개의 입력 예제 영상들을 이용하여 n 개의 입력 대표 영상들을 생성할 수 있다(440). 인증 장치는 각 입력 예제 세트들마다에 대한 입력 대표 영상을 생성하여 획득할 수 있다.
도 5는 다른 실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 입력 대표 영상을 획득하는 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 일실시예에 따른 인증 장치는 입력 영상을 수신할 수 있다(510).
인증 장치는 미리 정해진 기준에 따라, 입력 영상에 유사한 복수의 입력 예제 영상들을 클러스터링하여 n 개의 입력 예제 세트들로 분류할 수 있다(520). 이때, 입력 영상에 유사한 복수의 입력 예제 영상들은 예를 들어, 예제 영상 데이터베이스에 저장될 수 있다. 단계(520)에서 복수의 입력 예제 영상들은 얼굴의 포즈 또는 조명에 따라 클러스터링될 수 있다.
인증 장치는 입력 영상으로부터 특징을 추출할 수 있다(530).
단계(530)에서, 인증 장치는 입력 영상들을 예를 들어, 세 개의 랜드마크(landmark)들을 가진 미리 정해진 크기의 영상들로 정규화(normalize)하고, 정규화된 영상들로부터 특징을 추출할 수 있다. 세 개의 랜드마크들은 예를 들어, 눈, 코, 입일 수 있다.
인증 장치는, 입력 영상에서 추출된 특징을 이용하여, 입력 예제 세트들 각각에서 입력 영상에 유사한 복수의 입력 예제 영상들을 검색할 수 있다(540). 단계(540)에서, 인증 장치는 입력 영상으로부터 추출된 특징에 기반하여 특징 공간(feature space)에 투영된 복수의 입력 예제 영상들 간의 거리(distance)에 기초하여, 입력 영상에 유사한 복수의 입력 예제 영상들을 검색할 수 있다. 입력 영상에 유사한 복수의 예제 영상들을 검색하는 방법은 도 6을 참조하여 설명한다.
인증 장치는, 단계(540)에서 검색된 입력 영상에 유사한 복수의 입력 예제 영상들에 대해 가중치를 부여하여 입력 대표 영상들을 생성할 수 있다(550).
단계(550)에서, 인증 장치는 입력 영상과 입력 영상에 유사한 입력 예제 영상들 간의 거리에 따른 서로 다른 가중치를 사용하여 입력 대표 영상을 생성할 수 있다.
도 6은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 입력 영상에 유사한 입력 예제 영상들을 검색하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 하나의 입력 예제 세트에서 입력 영상 x에 유사한 입력 예제 영상들(e1, e2, e3, e4, .. , em)이 도시된다.
예를 들어, 인증 장치가 사용자의 서로 다른 입력 예제 영상들(example images)을 포함하는 입력 예제 세트에서 입력 영상 x에 유사한 m 개의 입력 예제 영상들(e1, e2, e3, e4, .. , em)을 검색한다고 가정하자.
인증 장치는 예를 들어, K-means 방법과 같은 클러스터링 방법을 이용하여 입력 예제 영상들을 n 개의 그룹들로 클러스터링할 수 있다. 이때, 인증 장치는 예를 들어, -120도, -60도, 0도, +60도, +120도와 같은 5개의 각 포즈(Pose) 별로, 또는 45도, -30도, -15도, 0도, +15도, +30, +45도 등과 같이 7개의 각 포즈 별로 입력 예제 영상들을 클러스터링할 수 있다.
입력 영상 x가 입력되면, 인증 장치는 입력 영상 x로부터 특징을 추출하고, 추출된 특징을 이용하여 입력 영상 x에 유사한 입력 예제 영상들(e1, e2, e3, e4, .., em)을 검색할 수 있다.
인증 장치는, 사용자의 서로 다른 입력 예제 영상들(example images)을 포함하는 입력 예제 세트에서, 입력 영상 x로부터 추출된 특징을 이용하여 입력 영상 x와 유사한 입력 예제 영상들을 m개씩 검색할 수 있다.
인증 장치는, 예를 들어 도 6과 같은 특징 공간(feature space)에서 입력 영상 x로부터 추출된 특징에 기반한 입력 예제 영상들 간의 거리(distance)에 기초하여, 입력 영상에 유사한 입력 예제 영상들(e1, e2, e3, e4, .. , em)을 검색할 수 있다.
인증 장치는, 얼굴의 변이(variation)마다, 다시 말해 n 개의 입력 예제 세트들 각각에 대하여 입력 영상 x에 유사한 m 개의 입력 예제 영상들을 검색할 수 있다.
도 7은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에서 입력 대표 영상들을 생성하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, n 개의 입력 예제 세트들 각각에서 생성된 입력 대표 영상의 특징(점)이 도시된다. 이하에서 입력 영상으로부터 입력 대표 영상들을 생성하는 방법에 대하여 설명하지만, 참조 영상으로부터 참조 대표 영상들을 생성하는 경우에도 이하에서 설명하는 방법이 동일하게 적용될 수 있다.
n 개의 입력 예제 세트들 각각에서 입력 영상 x에 유사한 m 개의 입력 예제 영상들이 검색되면, 인증 장치는 m 개의 입력 예제 영상들을 이용하여 n 개의 입력 예제 세트들 각각에 대한 입력 대표 영상들(μ1, μ2, μ3,.., μn)을 생성할 수 있다.
예를 들어, 정면을 기준으로 오른쪽으로 45도(+45 도) 회전된 포즈에 대해 클러스터링된 제1 입력 예제 세트에서 입력 영상 x에 유사한 5 개의 입력 예제 영상들이 검색되었다고 가정하자.
인증 장치는 5 개의 유사한 입력 예제 영상들을 이용하여 제1 입력 예제 세트에 대한 대표 영상(μ1)을 생성할 수 있다. 이때, 만약, 포즈 별로 클러스터링된 입력 예제 세트들의 개수가 총 7개라고 하면, 인증 장치는 7개의 입력 예제 세트 별 입력 대표 영상들(μ1, μ2, μ3, .., μn)을 생성할 수 있다. 여기서, 입력 대표 영상들은 예를 들어, 각 입력 예제 세트에서 입력 영상에 유사한 5개의 입력 예제 영상들의 특징점들을 평균한 입력 평균 영상일 수 있다.
이때, 7개의 입력 예제 세트 별 입력 대표 영상들로부터 추출된 특징 벡터는 상호 보완적일 수 있다. 일 실시예에서 입력 예제 영상들을 클러스터링하면 얼굴 특징에 따라서 그룹핑(Grouping)이 될 수 있다. 예를 들어서 -45도, -30도, -15도, 0도, +15도, +30, +45도 등과 같이 7개의 포즈들이 있다고 하면, 입력 예제 영상들은 7가지 포즈들의 입력 예제 세트들로 그룹핑될 수 있다.
이때, 각 클러스터(Cluster)에서 생성된 입력 대표 영상은 해당 입력 예제 세트의 특성을 반영하게 되고, 각 입력 예제 세트마다의 서로 다른 포즈 정보를 가질 수 있다. 각 입력 예제 세트마다 생성된 입력 대표 영상은 서로 다른 특성을 가질 수 있지만, 입력 영상과 유사한 입력 예제 영상들을 이용하여 입력 대표 영상을 구성했기 때문에 입력 대표 영상들은 입력 영상과 가장 유사하지만 서로 특성이 다른(different) 값을 가질 수 있어 얼굴 인식을 이용한 사용자 인증에 상호 보완적일 수 있다.
실시예에 따라서는 서로 다른 포즈들이 아닌 서로 다른 조명 밝기에 따라 입력 영상 x에 유사한 입력 예제 영상들을 검색할 수 있다.
예를 들어, 45 룩스(Lux)의 조명 밝기에 대해 클러스터링된 제1 입력 예제 세트에서 입력 영상 x에 유사한 5 개의 입력 예제 영상들이 검색되었다고 가정하자.
인증 장치는 5 개의 유사한 입력 예제 영상들을 이용하여 제1 입력 예제 세트에 대한 대표 영상(μ1)을 생성할 수 있다. 이때, 만약, 조명 밝기 별로 클러스터링된 입력 예제 세트들의 개수가 총 7개라고 하면, 인증 장치는 7개의 입력 예제 세트 별 입력 대표 영상들(μ1, μ2, μ3, .. ,μn)을 생성할 수 있다. 여기서, 입력 대표 영상들은 예를 들어, 각 입력 예제 세트에서 입력 영상에 유사한 5개의 입력 예제 영상들의 특징점들을 평균한 입력 평균 영상일 수 있다.
이때, 7개의 입력 예제 세트 별 입력 대표 영상들로부터 추출된 특징 벡터는 상호 보완적일 수 있다. 일 실시예에서 입력 예제 영상들을 클러스터링하면 얼굴 특징에 따라서 그룹핑(Grouping)이 될 수 있다. 예를 들어서 10 룩스, 30 룩스, 50 룩스의 서로 다른 3가지 조명 밝기가 있다고 하면, 예제 영상들은 3가지 조명 밝기들의 입력 예제 세트들로 그룹핑될 수 있다.
이때, 각 클러스터(Cluster)에서 생성된 입력 대표 영상은 해당 입력 예제 세트의 특성을 반영하게 되고, 각 입력 예제 세트마다의 서로 다른 조명 밝기 정보를 가질 수 있다.
도 8은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에 따라 각 포즈에 따른 5개의 입력 예제 세트들에서 입력 영상(x1, y1) 각각에 유사한 입력 예제 영상들 및 참조 영상(x2)에 유사한 참조 예제 영상들을 도식화하여 나타낸 도면이다.
도 8을 참조하면, 예제 영상 데이터베이스에서 클러스터링된 5개의 입력 예제 세트들(E1, E2, E3, E4, E5), 입력 영상(x1, y1) 및 참조 영상(x2)가 특징 공간에 도식화한 도면이 도시된다.
도 8에서 x1은 사용자(x)의 얼굴을 포함하는 입력 영상이고, x2는 얼굴 인증을 위해 미리 저장된 사용자(x)의 얼굴 영상, 다시 말해 참조 영상이며, y1은 미리 저장된 사용자(x)와 다른 사용자(y)의 얼굴을 포함하는 입력 영상을 나타낸다.
이때, 예제 영상 데이터베이스는 복수의 사용자들(x,y)의 서로 다른 포즈들 각각에 대한 입력 예제 영상들을 포함할 수 있다. 참조 영상(x2) 및 참조 영상의 서로 다른 포즈들 각각에 대한 예제 영상들은 미리 저장될 수 있다. 클러스터링된 5개의 입력 예제 세트들(E1, E2, E3, E4, E5)은 예를 들어, 서로 다른 포즈(pose) 또는 서로 다른 조명(lighting)에 따라 클러스터링될 수 있다.
이하에서는 복수의 사용자들의 입력 예제 영상들에 대하여 고려하기에 앞서, 동일한 사용자(x)에 대한 입력 영상 및 참조 영상 간의 관계를 먼저 살펴본다.
인증 장치는 5개의 입력 예제 세트들(E1, E2, E3, E4, E5) 각각에서 입력 영상(x1)에 유사한 입력 예제 영상들을 검색할 수 있다. 인증 장치는 입력 영상(x1)과 유사한 과정을 거쳐 5개의 그룹들(E1, E2, E3, E4, E5) 각각에서 참조 영상(x2)에 유사한 참조 예제 영상들을 검색할 수 있다.
이때, 입력 영상(x1)과 참조 영상(x2)가 동일한 인물(x)에 대한 영상이라면, 인증 장치가 각 영상(x1, x2)에 유사한 예제 영상들이라고 검색한 영상들은 서로 동일한 예제 영상들일 수 있다. 도 8에서 인증 장치가 동일한 인물에 대해 서로 동일한 예제 영상을 검색한 경우, 검색된 예제 영상은 검은색 테두리에 X를 친 노드(
Figure pat00001
)로 표시될 수 있다.
인증 장치가 각 영상(x1, x2)에 유사한 예제 영상들이라고 검색한 영상들이 서로 동일한 예제 영상들인 경우, 인증 장치는 입력 영상(x1)과 참조 영상(x2)이 동일한 인물에 대한 영상임을 인증할 수 있다.
예제 영상들은, 예제 영상 세트 E4 에서와 같이 동일한 인물(x)에 대한 예제 영상들이 아닌 경우에도, 서로 유사한 거리에 위치할 수 있다. 다시 말해, 사용자(x)가 아닌 다른 인물(y)에 대한 입력 영상(y1)의 경우에도, 각 예제 영상 세트들에서 참조 영상(x2)에 유사한 예제 영상들이 검색될 수 있다.
예를 들어, 사용자가 오른쪽을 바라보는 포즈에 대한 예제 영상 세트에서 다른 인물에 대한 입력 얼굴 영상(y1)의 예제 영상들 또한 사용자(x)의 입력 영상(x1)에 유사한 예제 영상들과 서로 유사한 거리에 위치할 수 있다.
일실시예에서는 입력 영상과 참조 영상 간의 유사도를 산출할 때에 입력 영상으로부터 생성된 입력 대표 영상들 및 참조 영상으로부터 생성된 참조 대표 영상들의 특징점 간의 거리를 이용함으로써, 다른 인물에 대한 영상인 입력 영상(y1)과 입력 영상(x1) 간의 거리보다 동일한 인물에 대한 영상인 입력 영상(x1)과 참조 영상(x2) 간의 거리가 가깝게 나타나도록 할 수 있다.
도 9는 도 8의 도식화된 도면을 이해하기 쉬운 형태로 나타낸 도면이다.
특징 공간에서 입력 영상 x1 과 참조 영상 x2 간의 거리와 이들 각각에 유사한 예제 영상들의 거리 및 입력 영상 x1 과 입력 영상 y1 간의 거리와 이들 각각에 유사한 예제 영상들 간의 거리 간의 관계는 아래의 [수학식 1]과 같이 나타낼 수 있다.
Figure pat00002
여기서,
Figure pat00003
는 특징 공간에서 입력 영상 x1과 입력 영상 y1 간의 거리를 나타내고,
Figure pat00004
는 입력 영상 x1과 입력 영상 y1 각각에 유사한 예제 영상들 간의 평균 거리를 나타낸다. 또한,
Figure pat00005
는 입력 영상 x1과 참조 영상 x2 간의 거리를 나타내고,
Figure pat00006
는 입력 영상 x1과 참조 영상 x2 각각에 유사한 예제 영상들 간의 평균 거리를 나타낸다.
도 8에서
Figure pat00007
<
Figure pat00008
이지만, 이들 각각에 유사한 예제 영상들 간의 거리를 함께 고려하는 경우에 [수학식 1]과 같이 동일 인물의 영상들 간의 거리가 더 가까운 것으로 나타날 수 있다. 다시 말해, 입력 영상 x1과 참조 영상 x2 간의 유사도가 높은 것으로 나타날 수 있다.
동일인의 얼굴에 대해서도, 예를 들어, 포즈(Pose)가 달라지면, 포즈가 다른 얼굴 영상의 특징점 거리만을 비교했을 때는, 유사도가 낮게 도출되어 다른 인물이라고 판단될 수 있다.
일실시예에서는 입력 영상으로부터 분류된 다양한 포즈 별 입력 예제 세트들로부터 입력 대표 영상들을 생성하고, 미리 저장된 참조 영상에 대해서도 다양한 포즈 별 참조 예제 세트들로부터 참조 대표 영상들을 생성할 수 있다. 이때, 생성된 입력 대표 영상들 및 참조 대표 영상들 간의 특징점의 거리를 입력 영상과 참조 영상 간의 특징점의 거리와 함께 고려함으로써 동일인의 얼굴 영상 간의 유사도를 높일 수 있다.
여기서, 입력 대표 영상들 및 참조 대표 영상들 간의 특징점의 거리는 미리 정해진 기준에 따라 서로 대응되는 입력 대표 영상들의 특징점과 참조 대표 영상들의 특징점 간의 거리일 수 있다. 인증 장치는 예를 들어, 제1 포즈에 대한 입력 대표 영상과 참조 대표 영상 간의 특징점의 거리, 제2 포즈에 대한 입력 대표 영상과 참조 대표 영상 간의 특징점의 거리 등과 같은 방식으로 특징점 간의 거리를 이용하여 유사도를 산출할 수 있다.
특징 공간에서 입력 영상과 참조 영상 간의 거리를 '글로벌 디스턴스(global distance)'라고 부를 수 있고, 입력 영상과 입력 영상에 유사한 예제 영상들 간의 거리 및 참조 영상과 참조 영상에 유사한 예제 영상들 간의 거리를 '로컬 디스턴스(local distance)'라고 부를 수 있다. 로컬 디스턴스(local distance)는 하나의 세트 내라는 지역적 특성 공간으로 제약되고, 내부 변이(intra-variations)에 기인한 특징 공간(feature space)에서의 왜곡을 완화시킬 수 있다.
일실시예에서는 글로벌 디스턴스 및 로컬 디스턴스와 같은 서로 다른 개념의 거리들을 사용하여 얼굴 인식 성능을 향상시킬 수 있다.
도 10은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에 따라 클러스터링된 각 입력 예제 세트들로부터 검색된 입력 영상에 유사한 입력 예제 영상들 및 입력 예제 영상들에 대응되는 가중치를 이용하여 생성한 입력 대표 영상들을 나타낸 도면이다.
도 10을 참고하면, 3개로 클러스터링된 그룹들에서 검색된 입력 영상(x1)에 유사한 입력 예제 영상들(e11, e12, e13, .., e1m, e21 , e22, e23, .., e2m , e31, e32, e33, .., e3m) 및 입력 예제 영상들에 대응되는 가중치를 이용하여 생성된 3개의 입력 대표 영상들(μ11, μ12, μ13)이 도시된다.
입력 대표 영상들을 생성함에 있어 입력 예제 이미지들 간의 랭크 순서(rank orders) 또한 얼굴 인식에 중요하다.
예를 들어, 한 입력 예제 세트에서 입력 영상과 가장 가까운 얼굴을 찾아내서 랭크(Rank) 순으로 나열하는 경우, 입력 영상에 가장 유사한 입력 예제 영상부터 상위 랭크가 주어지게 된다.
만일 우연하게 입력 영상에 상당히 유사한 영상이 입력 예제 영상들 중에 있다면, 입력 영상에 상당히 유사한 영상의 다른 포즈에 대한 입력 예제 영상을 사용하는 것이 입력 영상에 유사하지 않은 입력 예제 영상을 사용하는 것보다 사용자 인증에 유리할 수 있다. 그렇기 때문에 랭크 순서가 높은 입력 예제 영상에 가장 큰 가중치(Weight)를 줄 수 있다.
랭크가 높은 예제 영상만을 사용하면, 입력 영상과 입력 대표 영상들이 유사해질 수 있으므로, 일실시예에서는 랭크 순서대로 많은 입력 예제 영상들을 정합할 수 있다.
인증 장치는 입력 대표 영상들을 생성할 때, 랭크 순서에 따라 쿼리(query)로부터의 거리에 대하여 서로 다른 가중치를 사용할 수 있다. 여기서, 쿼리(query)는 입력 영상으로 이해될 수 있다.
인증 장치는 입력 영상과 입력 영상에 유사한 예제 영상들 간의 거리에 대한 서로 다른 가중치를 사용하여 입력 대표 영상을 생성할 수 있다.
예를 들어, 가중치를 적용하여 입력 대표 영상(μ1)을 생성하는 방법은 아래의 [수학식 2]과 같이 나타낼 수 있다.
Figure pat00009
여기서,
Figure pat00010
이고, w i 는 각 입력 예제 영상에 대한 가중치를 나타내며, e i 는 입력 영상과 입력 영상에 유사한 입력 예제 영상들 간의 거리를 나타낸다.
도 11은 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 방법에 따라 입력 영상 및 참조 영상 간의 유사도를 산출하는 방법을 설명하기 위한 도면이다.
도 11에서 x1은 입력 영상을 나타내고, x2는 참조 영상을 나타낸다. μ11, μ12, μ13는 입력 예제 세트 1, 2, 3 각각에서 입력 영상 x1 에 유사한 예제 영상들을 이용하여 생성된 입력 대표 영상들을, μ21, μ22, μ23는 그룹 1, 2, 3 각각에서 참조 영상 x2 에 유사한 예제 영상들을 이용하여 생성된 참조 대표 영상들을 나타낸다.
또한,
Figure pat00011
는 특징 공간에서 입력 영상 x1과 참조 영상 x2간의 거리를 나타내고, d 1 은 입력 대표 영상 μ11 및 참조 대표 영상 μ21 의 특징점 간의 거리를, d 2 는 입력 대표 영상 μ12 및 참조 대표 영상 μ22 의 특징정 간의 거리를, d 3 은 입력 대표 영상 μ13 및 참조 대표 영상 μ23 간의 특징점 간의 거리를 나타낸다.
이러한 방식으로 계산된 특징점 간의 거리들을 이용하여 입력 영상 및 참조 영상 간의 유사도(d)를 산출하는 방법은 아래의 [수학식 3]과 같이 나타낼 수 있다.
Figure pat00012
여기서, wi는 대표 영상들 각각에 적용되는 가중치를 나타내고, di는 각 입력 영상 세트에서 입력 대표 영상과 참조 대표 영상의 특징점 간의 거리를 나타낸다.
인증 장치는 입력 대표 영상들과 참조 대표 영상들의 특징점(feature point)을 추출하고, 특징 공간(feature space)에서 입력 대표 영상들과 참조 대표 영상들의 특징점 간의 거리(distance) 각각에 가중치를 반영한 값 및 입력 영상 및 참조 영상 간의 거리(
Figure pat00013
)를 이용하여 유사도(d)를 산출할 수 있다.
이때, 입력 영상과 참조 영상 간의 유사도 외에 입력 대표 영상들과 참조 대표 영상들 간의 유사도 또한 얼굴 인증의 지표로 사용될 수 있다.
상술한 사용자 인증 방법은 실시예에 따라서, 미리 저장된 참조 영상이 어느 한 사용자의 영상이 아닌 복수의 사용자들 각각의 참조 영상들인 경우에 복수의 사용자들 중 입력 영상의 사용자가 누구에 해당하는지를 인식하는 데에도 사용될 수 있다.
다시 말해, 사용자(x)뿐만이 아니라, 다른 인물들(y, z, w) 등에 대한 참조 영상들을 미리 저장하고, 입력 영상과 참조 영상들 간의 유사도를 산출하여 입력 영상의 사용자가 사용자 x, y, z, w 중 누구인지를 인식할 수 있다.
복수의 사용자들 각각의 참조 영상들을 이용하여 사용자를 인식하는 방법에 대하여는 도 13을 참조하여 설명한다.
도 12는 일실시예에 따른 얼굴 인식을 이용한 사용자 인증 장치의 블록도이다.
도 12을 참조하면, 일실시예에 따른 인증 장치(1200)는 저장부(1210), 통신부(1230) 및 프로세서(1250)를 포함한다.
저장부(1210)는 사용자의 참조 영상을 저장할 수 있다.
통신부(1230)는 입력 영상을 수신할 수 있다. 이때, 입력 영상은 단수일 수도 있고, 복수일 수도 있다.
프로세서(1250)는 참조 영상에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득하고, 수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득할 수 있다. 프로세서(1150)는 입력 대표 영상들 및 참조 대표 영상들을 이용하여 산출된 입력 영상 및 참조 영상 간의 유사도에 따라 사용자를 인증할 수 있다.
프로세서(1250)는 미리 정해진 기준에 따라 서로 대응되는 입력 대표 영상들의 특징점과 참조 대표 영상들의 특징점 간의 거리를 이용하여 유사도를 산출할 수 있다.
프로세서(1250)는 입력 영상의 특징점과 참조 영상의 특징점 간의 거리 및 미리 정해진 기준에 따라 서로 대응되는 입력 대표 영상들의 특징점과 참조 대표 영상들의 특징점 간의 거리를 이용하여 유사도를 산출할 수 있다.
프로세서(1250)는 입력 영상의 특징점과 참조 영상의 특징점 간의 거리 및 미리 정해진 기준에 따라 서로 대응되는 입력 대표 영상들의 특징점과 참조 대표 영상들의 특징점 간의 거리에, 입력 대표 영상들의 특징점과 참조 대표 영상들의 특징점 간의 거리 각각에 대한 가중치를 더 고려하여 유사도를 산출할 수 있다.
프로세서(1250)는 미리 정해진 기준에 따라 참조 영상에 유사한 복수의 참조 예제 영상들을 클러스터링하여 복수의 참조 예제 세트들로 분류할 수 있다. 그리고, 프로세서(1250)는 복수의 참조 예제 세트들 각각에서 검색된 참조 영상에 유사한 참조 예제 영상들을 이용하여 참조 대표 영상들을 생성할 수 있다.
이때, 참조 예제 영상들은 사용자의 서로 다른 포즈들에 따른 예제 영상들, 및 서로 다른 조명 밝기에 따른 예제 영상들 중 적어도 하나를 포함할 수 있다.
저장부(1210)는 참조 예제 영상들을 저장하는 예제 영상 데이터베이스를 포함할 수 있다.
프로세서(1250)는 미리 정해진 기준에 따라 입력 영상에 유사한 복수의 입력 예제 영상들을 클러스터링하여 n개(n ≥1인 자연수)의 입력 예제 세트들로 분류할 수 있다. 프로세서(1250)는 n개의 입력 예제 세트들 각각에서 검색된 입력 영상에 유사한 입력 예제 영상들을 이용하여 n 개의 입력 대표 영상들을 생성할 수 있다.
도 13는 일실시예에 따른 사용자 인식 방법을 나타낸 플로우 차트이다.
도 13을 참조하면, 일실시예에 따른 인식 장치는 미리 저장된 복수의 사용자들의 참조 영상들 각각에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득할 수 있다(1310). 인식 장치는 도 12에 도시된 인증 장치와 실질적으로 동일한 구성을 포함할 수 있다.
단계(1310)에서, 인식 장치는 참조 영상들 각각으로부터 미리 정해진 기준에 따라 분류된 참조 예제 세트들 별로 참조 대표 영상들을 획득할 수 있다.
단계(1310)에서, 인식 장치는 미리 정해진 기준에 따라 참조 영상들 각각에 유사한 복수의 참조 예제 영상들을 클러스터링하여 복수의 참조 예제 세트들로 분류할 수 있다. 그리고, 인식 장치는 복수의 참조 예제 세트들 각각에서 검색된 참조 영상들 각각에 유사한 참조 예제 영상들을 이용하여 참조 대표 영상들을 생성할 수 있다.
여기서, 참조 예제 영상들은 복수의 사용자들 각각의 서로 다른 포즈들에 따른 예제 영상들, 및 복수의 사용자들 각각의 서로 다른 조명 밝기에 따른 예제 영상들 중 적어도 하나를 포함할 수 있다. 참조 예제 영상들은 예를 들어, 예제 영상 데이터베이스에 미리 저장될 수 있다.
인식 장치는 수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득할 수 있다(1320).
인식 장치는 입력 대표 영상들 및 참조 대표 영상들 각각을 이용하여 입력 영상 및 참조 영상들 간의 유사도를 산출할 수 있다(1330).
단계(1330)에서, 인식 장치는 입력 영상의 특징점과 참조 영상들 각각과의 특징점 간의 거리 및 미리 정해진 기준에 따라 서로 대응되는 입력 대표 영상들의 특징점과 참조 대표 영상들 각각의 특징점 간의 거리를 이용하여 유사도를 산출할 수 있다.
또한, 단계(1330)에서 인식 장치는 입력 영상의 특징점과 참조 영상들 각각과의 특징점 간의 거리 및 미리 정해진 기준에 따라 서로 대응되는 입력 대표 영상들의 특징점과 참조 대표 영상들 각각의 특징점 간의 거리에, 입력 대표 영상들의 특징점과 참조 대표 영상들 각각의 특징점 간의 거리 각각에 대한 가중치를 더 고려하여 유사도를 산출할 수 있다.
인식 장치는 단계(1330)에서 산출된 유사도에 따라 복수의 사용자들 중 입력 영상에 해당하는 사용자를 인식할 수 있다(1340).
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
1200: 인증 장치
1210: 저장부
1230: 통신부
1250: 프로세서

Claims (25)

  1. 미리 저장된 사용자의 참조 영상에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득하는 단계;
    수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득하는 단계;
    상기 입력 대표 영상들 및 상기 참조 대표 영상들을 이용하여 상기 입력 영상 및 참조 영상 간의 유사도를 산출하는 단계; 및
    상기 산출된 유사도에 따라 상기 사용자를 인증하는 단계
    를 포함하는, 사용자 인증 방법.
  2. 제1항에 있어서,
    상기 유사도를 산출하는 단계는
    상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리를 이용하여 상기 유사도를 산출하는 단계
    를 포함하는, 사용자 인증 방법.
  3. 제1항에 있어서,
    상기 유사도를 산출하는 단계는
    상기 입력 영상의 특징점과 상기 참조 영상의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리를 이용하여 상기 유사도를 산출하는 단계
    를 포함하는, 사용자 인증 방법.
  4. 제1항에 있어서,
    상기 유사도를 산출하는 단계는
    상기 입력 영상의 특징점과 상기 참조 영상의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리에, 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리 각각에 대한 가중치를 더 고려하여 상기 유사도를 산출하는 단계
    를 포함하는, 사용자 인증 방법.
  5. 제1항에 있어서,
    상기 참조 대표 영상을 획득하는 단계는
    상기 참조 영상으로부터 상기 미리 정해진 기준에 따라 분류된 참조 예제 세트들 별로 상기 참조 대표 영상들을 획득하는 단계
    를 포함하는, 사용자 인증 방법.
  6. 제5항에 있어서,
    상기 참조 대표 영상들을 획득하는 단계는
    상기 미리 정해진 기준에 따라 상기 참조 영상에 유사한 복수의 참조 예제 영상들을 클러스터링하여 복수의 참조 예제 세트들로 분류하는 단계; 및
    상기 복수의 참조 예제 세트들 각각에서 검색된 상기 참조 영상에 유사한 참조 예제 영상들을 이용하여 상기 참조 대표 영상들을 생성하는 단계
    를 포함하는, 사용자 인증 방법.
  7. 제6항에 있어서,
    상기 참조 예제 영상들은
    상기 사용자의 서로 다른 포즈들에 따른 예제 영상들, 및 상기 서로 다른 조명 밝기에 따른 예제 영상들 중 적어도 하나를 포함하고,
    상기 참조 예제 영상들은
    예제 영상 데이터베이스에 미리 저장되는, 사용자 인증 방법.
  8. 제1항에 있어서,
    상기 하나 이상의 입력 대표 영상을 획득하는 단계는
    상기 입력 영상으로부터 상기 미리 정해진 기준에 따라 분류된 입력 예제 세트들 별로 상기 입력 대표 영상을 획득하는 단계
    를 포함하는, 사용자 인증 방법.
  9. 제1항에 있어서,
    상기 입력 대표 영상을 획득하는 단계는,
    상기 미리 정해진 기준에 따라 상기 입력 영상에 유사한 복수의 입력 예제 영상들을 클러스터링하여 상기 n개(n ≥1인 자연수)의 입력 예제 세트들로 분류하는 단계; 및
    상기 n개의 입력 예제 세트들 각각에서 검색된 상기 입력 영상에 유사한 입력 예제 영상들을 이용하여 n 개의 상기 입력 대표 영상들을 생성하는 단계
    를 포함하는, 사용자 인증 방법.
  10. 제9항에 있어서,
    상기 입력 대표 영상들을 생성하는 단계는,
    상기 n 개의 입력 예제 세트들 각각에서 상기 입력 영상과의 유사도를 산출하여, 미리 설정된 기준값보다 상기 산출된 유사도가 높은 m개(m ≥1인 자연수)의 입력 예제 영상들을 결정하는 단계; 및
    상기 m개의 입력 예제 영상들을 이용하여 n 개의 상기 입력 대표 영상들을 생성하는 단계
    를 포함하는, 사용자 인증 방법.
  11. 제1항에 있어서,
    상기 미리 정해진 기준은
    얼굴의 포즈(pose) 변화, 또는 조명(lighting) 변화를 포함하는, 사용자 인증 방법.
  12. 제1항 내지 제11항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  13. 사용자의 참조 영상을 저장하는 저장부;
    입력 영상을 수신하는 통신부; 및
    상기 참조 영상에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득하고, 수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득하며, 상기 입력 대표 영상들 및 상기 참조 대표 영상들을 이용하여 산출된 상기 입력 영상 및 참조 영상 간의 유사도에 따라 상기 사용자를 인증하는 프로세서
    를 포함하는, 사용자 인증 장치.
  14. 제13항에 있어서,
    상기 프로세서는
    상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리를 이용하여 상기 유사도를 산출하는, 사용자 인증 장치.
  15. 제13항에 있어서,
    상기 프로세서는
    상기 입력 영상의 특징점과 상기 참조 영상의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리를 이용하여 상기 유사도를 산출하는, 사용자 인증 장치.
  16. 제13항에 있어서,
    상기 프로세서는
    상기 입력 영상의 특징점과 상기 참조 영상의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리에, 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들의 특징점 간의 거리 각각에 대한 가중치를 더 고려하여 상기 유사도를 산출하는, 사용자 인증 장치.
  17. 제13항에 있어서,
    상기 프로세서는,
    상기 미리 정해진 기준에 따라 상기 참조 영상에 유사한 복수의 참조 예제 영상들을 클러스터링하여 복수의 참조 예제 세트들로 분류하고, 상기 복수의 참조 예제 세트들 각각에서 검색된 상기 참조 영상에 유사한 참조 예제 영상들을 이용하여 상기 참조 대표 영상들을 생성하는, 사용자 인증 장치.
  18. 제17항에 있어서,
    상기 참조 예제 영상들은
    상기 사용자의 서로 다른 포즈들에 따른 예제 영상들, 및 상기 서로 다른 조명 밝기에 따른 예제 영상들 중 적어도 하나를 포함하고,
    상기 저장부는,
    상기 참조 예제 영상들을 저장하는 예제 영상 데이터베이스를 포함하는, 사용자 인증 장치.
  19. 제13항에 있어서,
    상기 프로세서는,
    상기 미리 정해진 기준에 따라 상기 입력 영상에 유사한 복수의 입력 예제 영상들을 클러스터링하여 상기 n개(n ≥1인 자연수)의 입력 예제 세트들로 분류하고, 상기 n개의 입력 예제 세트들 각각에서 검색된 상기 입력 영상에 유사한 입력 예제 영상들을 이용하여 n 개의 상기 입력 대표 영상들을 생성하는, 사용자 인증 장치.
  20. 미리 저장된 복수의 사용자들의 참조 영상들 각각에 대하여 미리 정해진 기준에 따라 분류된 참조 대표 영상들을 획득하는 단계;
    수신된 입력 영상으로부터 미리 정해진 기준에 따라 분류된 입력 대표 영상들을 획득하는 단계;
    상기 입력 대표 영상들 및 상기 참조 대표 영상들 각각을 이용하여 상기 입력 영상 및 참조 영상들 간의 유사도를 산출하는 단계; 및
    상기 산출된 유사도에 따라 상기 복수의 사용자들 중 상기 입력 영상에 해당하는 사용자를 인식하는 단계
    를 포함하는 사용자 인증 방법.
  21. 제20항에 있어서,
    상기 유사도를 산출하는 단계는
    상기 입력 영상의 특징점과 상기 참조 영상들 각각과의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들 각각의 특징점 간의 거리를 이용하여 상기 유사도를 산출하는 단계
    를 포함하는, 사용자 인식 방법.
  22. 제20항에 있어서,
    상기 유사도를 산출하는 단계는
    상기 입력 영상의 특징점과 상기 참조 영상들 각각과의 특징점 간의 거리 및 상기 미리 정해진 기준에 따라 서로 대응되는 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들 각각의 특징점 간의 거리에, 상기 입력 대표 영상들의 특징점과 상기 참조 대표 영상들 각각의 특징점 간의 거리 각각에 대한 가중치를 더 고려하여 상기 유사도를 산출하는 단계
    를 포함하는, 사용자 인식 방법.
  23. 제20항에 있어서,
    상기 참조 대표 영상을 획득하는 단계는
    상기 참조 영상들 각각으로부터 상기 미리 정해진 기준에 따라 분류된 참조 예제 세트들 별로 상기 참조 대표 영상들을 획득하는 단계
    를 포함하는, 사용자 인식 방법.
  24. 제23항에 있어서,
    상기 참조 대표 영상들을 획득하는 단계는,
    상기 미리 정해진 기준에 따라 상기 참조 영상들 각각에 유사한 복수의 참조 예제 영상들을 클러스터링하여 복수의 참조 예제 세트들로 분류하는 단계; 및
    상기 복수의 참조 예제 세트들 각각에서 검색된 상기 참조 영상들 각각에 유사한 참조 예제 영상들을 이용하여 상기 참조 대표 영상들을 생성하는 단계
    를 포함하는, 사용자 인식 방법.
  25. 제24항에 있어서,
    상기 참조 예제 영상들은
    상기 복수의 사용자들 각각의 서로 다른 포즈들에 따른 예제 영상들, 및 상기 서로 다른 조명 밝기에 따른 예제 영상들 중 적어도 하나를 포함하고,
    상기 참조 예제 영상들은
    예제 영상 데이터베이스에 미리 저장되는, 사용자 인식 방법.
KR1020140093220A 2014-07-23 2014-07-23 얼굴 인식을 통한 사용자 식별 방법 및 장치 KR20160011916A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140093220A KR20160011916A (ko) 2014-07-23 2014-07-23 얼굴 인식을 통한 사용자 식별 방법 및 장치
US14/803,332 US20160026854A1 (en) 2014-07-23 2015-07-20 Method and apparatus of identifying user using face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140093220A KR20160011916A (ko) 2014-07-23 2014-07-23 얼굴 인식을 통한 사용자 식별 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20160011916A true KR20160011916A (ko) 2016-02-02

Family

ID=55166969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140093220A KR20160011916A (ko) 2014-07-23 2014-07-23 얼굴 인식을 통한 사용자 식별 방법 및 장치

Country Status (2)

Country Link
US (1) US20160026854A1 (ko)
KR (1) KR20160011916A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026854A1 (en) * 2014-07-23 2016-01-28 Samsung Electronics Co., Ltd. Method and apparatus of identifying user using face recognition
KR101695655B1 (ko) * 2016-02-23 2017-01-12 이정선 영상 분석 방법 및 장치
KR20180055573A (ko) * 2016-11-17 2018-05-25 삼성전자주식회사 데이터 인식 및 트레이닝 장치 및 방법
KR20190100529A (ko) * 2018-02-08 2019-08-29 주식회사 케이티 사용자의 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램
US11157760B2 (en) 2017-12-21 2021-10-26 Samsung Electronics Co., Ltd. Liveness test method and apparatus
KR20220096778A (ko) * 2020-12-31 2022-07-07 주식회사 포스코아이씨티 클러스터링 기법을 이용하여 얼굴이미지를 비교하는 에지 디바이스 및 이를 포함한 얼굴인증 시스템

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133213A1 (zh) * 2016-02-01 2017-08-10 北京小米移动软件有限公司 指纹识别方法和装置
CN106169072B (zh) * 2016-07-07 2019-03-19 中国科学院上海微系统与信息技术研究所 一种基于泰勒展开的人脸识别方法及系统
SG10202111394XA (en) 2017-04-13 2021-12-30 Senti Biosciences Inc Combinatorial cancer immunotherapy
CN107358187A (zh) * 2017-07-04 2017-11-17 四川云物益邦科技有限公司 一种证件照片识别方法
CN108052864B (zh) * 2017-11-17 2019-04-26 平安科技（深圳）有限公司 人脸识别方法、应用服务器及计算机可读存储介质
SG11202103317XA (en) 2018-10-17 2021-05-28 Senti Biosciences Inc Combinatorial cancer immunotherapy
US11419898B2 (en) 2018-10-17 2022-08-23 Senti Biosciences, Inc. Combinatorial cancer immunotherapy
CN109618286B (zh) * 2018-10-24 2020-12-01 广州烽火众智数字技术有限公司 一种实时监控系统和方法
CN109903172A (zh) * 2019-01-31 2019-06-18 阿里巴巴集团控股有限公司 理赔信息提取方法和装置、电子设备
US20220237405A1 (en) * 2021-01-28 2022-07-28 Macronix International Co., Ltd. Data recognition apparatus and recognition method thereof

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463163B1 (en) * 1999-01-11 2002-10-08 Hewlett-Packard Company System and method for face detection using candidate image region selection
JP4432262B2 (ja) * 1999-03-12 2010-03-17 ソニー株式会社 画像処理装置、画像処理方法及び記録媒体
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
EP1408449A3 (en) * 2002-10-04 2006-02-01 Sony Corporation Method and apparatus for identifying a photographic camera by correlating two images
KR100899199B1 (ko) * 2002-11-05 2009-05-27 삼성전자주식회사 지문인식을 이용한 보안시스템 및 보안방법
JP4365189B2 (ja) * 2003-02-05 2009-11-18 富士フイルム株式会社 認証装置
JP4606779B2 (ja) * 2004-06-07 2011-01-05 グローリー株式会社 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム
KR100714726B1 (ko) * 2006-01-11 2007-05-04 삼성전자주식회사 얼굴 인식 방법 및 장치
US8208764B2 (en) * 2006-01-21 2012-06-26 Elizabeth Guckenberger Photo automatic linking system and method for accessing, linking, and visualizing “key-face” and/or multiple similar facial images along with associated electronic data via a facial image recognition search engine
FR2907239B1 (fr) * 2006-10-11 2009-01-09 Spikenet Technology Procede de recherche et de reconnaissance rapides d'une image numerique representative d'au moins un motif graphique dans une banque d'images numeriques
US8027521B1 (en) * 2008-03-25 2011-09-27 Videomining Corporation Method and system for robust human gender recognition using facial feature localization
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
KR101242659B1 (ko) * 2009-03-19 2013-03-19 한국전자통신연구원 영상 검색 방법
JP2010231744A (ja) * 2009-03-30 2010-10-14 Nec Personal Products Co Ltd 情報処理装置、プログラム及び画像データ管理方法
US8693789B1 (en) * 2010-08-09 2014-04-08 Google Inc. Face and expression aligned moves
JP5703444B2 (ja) * 2011-02-03 2015-04-22 パナソニックＩｐマネジメント株式会社 照明器具
EP2677495B1 (en) * 2011-02-15 2022-09-28 Fujitsu Limited Biometric authentication device, method and computer program
US9251402B2 (en) * 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
US9323980B2 (en) * 2011-05-13 2016-04-26 Microsoft Technology Licensing, Llc Pose-robust recognition
US8908903B2 (en) * 2011-08-31 2014-12-09 The Nielsen Company (Us), Llc Image recognition to support shelf auditing for consumer research
CN102722731A (zh) * 2012-05-28 2012-10-10 南京航空航天大学 一种基于改进sift算法的高效图像匹配方法
WO2014013686A1 (ja) * 2012-07-19 2014-01-23 日本電気株式会社 照合装置及び照合装置の制御方法、並びにコンピュータ・プログラム
KR20150039309A (ko) * 2013-10-02 2015-04-10 한국전자통신연구원 개인 신분 도용 차단 방법 및 그 장치
JP2015121874A (ja) * 2013-12-20 2015-07-02 富士通株式会社 生体認証装置、照合用データ検証方法及び照合用データ検証用コンピュータプログラム
US20150235073A1 (en) * 2014-01-28 2015-08-20 The Trustees Of The Stevens Institute Of Technology Flexible part-based representation for real-world face recognition apparatus and methods
JP6448223B2 (ja) * 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
KR101640014B1 (ko) * 2014-07-17 2016-07-15 크루셜텍 (주) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
KR20160011916A (ko) * 2014-07-23 2016-02-02 삼성전자주식회사 얼굴 인식을 통한 사용자 식별 방법 및 장치
CN104537336B (zh) * 2014-12-17 2017-11-28 厦门立林科技有限公司 一种具备自学习功能的人脸识别方法和系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026854A1 (en) * 2014-07-23 2016-01-28 Samsung Electronics Co., Ltd. Method and apparatus of identifying user using face recognition
KR101695655B1 (ko) * 2016-02-23 2017-01-12 이정선 영상 분석 방법 및 장치
KR20180055573A (ko) * 2016-11-17 2018-05-25 삼성전자주식회사 데이터 인식 및 트레이닝 장치 및 방법
US11157760B2 (en) 2017-12-21 2021-10-26 Samsung Electronics Co., Ltd. Liveness test method and apparatus
US11971924B2 (en) 2017-12-21 2024-04-30 Samsung Electronics Co., Ltd. Liveness test method and apparatus
KR20190100529A (ko) * 2018-02-08 2019-08-29 주식회사 케이티 사용자의 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램
KR20220096778A (ko) * 2020-12-31 2022-07-07 주식회사 포스코아이씨티 클러스터링 기법을 이용하여 얼굴이미지를 비교하는 에지 디바이스 및 이를 포함한 얼굴인증 시스템

Also Published As

Publication number Publication date
US20160026854A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
KR20160011916A (ko) 얼굴 인식을 통한 사용자 식별 방법 및 장치
US10346676B2 (en) Face detection, representation, and recognition
US11908238B2 (en) Methods and systems for facial point-of-recognition (POR) provisioning
US7873189B2 (en) Face recognition by dividing an image and evaluating a similarity vector with a support vector machine
EP2073147B1 (en) Generic biometric filter
US8150109B2 (en) Large volume face recognition apparatus and method
US8463044B2 (en) Method and device of detecting object in image and system including the device
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
KR20150116641A (ko) 이미지 인식 장치, 그것의 이미지 인식 방법 및 얼굴 이미지 생성 방법
KR20160032533A (ko) 예제 피라미드에 기초하여 입력 영상의 특징을 추출하는 방법 및 얼굴 인식 장치
AU2019200711A1 (en) Biometric verification
US8718362B2 (en) Appearance and context based object classification in images
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
Haji et al. Real time face recognition system (RTFRS)
KR20070105074A (ko) 이동 통신 단말기에서 이미지 관리 방법
Bak et al. Person re-identification by pose priors
AU2011265494A1 (en) Kernalized contextual feature
US11087121B2 (en) High accuracy and volume facial recognition on mobile platforms
KR20240087443A (ko) 비지도 도메인 적응을 위한 객체 검색 모델의 트레이닝 방법 및 장치
KR101306576B1 (ko) 차분 성분을 고려한 조명 변화에 강인한 얼굴 인식 시스템
Hahmann et al. Combination of facial landmarks for robust eye localization using the Discriminative Generalized Hough Transform
Pande et al. Parallel processing for multi face detection and recognition
Hahmann et al. Model interpolation for eye localization using the Discriminative Generalized Hough Transform
RU2578806C1 (ru) Способ сравнения лица человека с помощью цифрового двумерного изображения лица либо с помощью изображения лица от одной или нескольких стереокамер с двумерным изображением лица из базы данных
KR20150120188A (ko) 인증 방법 및 이를 이용한 인증 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application