KR20190016733A - 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR20190016733A
KR20190016733A KR1020170101030A KR20170101030A KR20190016733A KR 20190016733 A KR20190016733 A KR 20190016733A KR 1020170101030 A KR1020170101030 A KR 1020170101030A KR 20170101030 A KR20170101030 A KR 20170101030A KR 20190016733 A KR20190016733 A KR 20190016733A
Authority
KR
South Korea
Prior art keywords
score
partial occlusion
subject
candidate
similarity
Prior art date
Application number
KR1020170101030A
Other languages
English (en)
Other versions
KR101998112B1 (ko
Inventor
김익재
남기표
최희승
조정현
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020170101030A priority Critical patent/KR101998112B1/ko
Publication of KR20190016733A publication Critical patent/KR20190016733A/ko
Application granted granted Critical
Publication of KR101998112B1 publication Critical patent/KR101998112B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06K9/00268—
    • G06K9/481—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Collating Specific Patterns (AREA)

Abstract

부분 가림 얼굴 인식 장치는 부분 가림 얼굴 인식 장치는 대상자의 얼굴이 포함된 제1 이미지를 획득하는 이미지 획득부; 상기 대상자의 얼굴로부터 복수의 특징점을 추출하는 특징점 추출부; 상기 복수의 특징점에 기초하여 상기 제1 이미지에 복수의 패치영역을 설정하는 영역 설정부; 각 패치 영역으로부터 상기 대상자에 대한 로컬 특징벡터를 각각 생성하여 제1 로컬 특징벡터 세트를 생성하는 모델링부; 상기 제1 로컬 특징벡터 세트와 후보자에 대한 제2 로컬 특징벡터 세트를 비교하여 상기 대상자와 상기 후보자 간의 유사도 점수 세트를 생성하는 특징 비교부; 상기 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 상기 대상자와 상기 후보자 간의 부분 가림 인증 점수를 계산하고, 상기 부분 가림 인증 점수에 기초하여 상기 대상자에 대응하는 후보자의 이미지를 결정하는 신원 확인부를 포함한다. 따라서, 특징점 중 일부가 가림자에 의해 부분적으로 가려진 얼굴의 신원을 확인할 수 있다.

Description

얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR RECOGNIZING PARTIAL OBSCURED FACE BY SPECIFYING PARTIAL AREA BASED ON FACIAL FEATURE POINT, RECORDING MEDIUM AND APPARATUS FOR PERFORMING THE METHOD}
본 발명은 부분 가림에 강인한 얼굴 인식 기술에 관한 것으로, 구체적으로는 얼굴 특징점에 기반하여 얼굴의 주요 영역을 설정하고, 설정된 주요 영역의 특징벡터 중 부분 가림이 없는 주요 영역에 기초하여 신원을 확인하는 방법에 관한 것이다.
기존의 비밀번호 또는 신분증과 같은 보안 카드에 의한 보안 방법은 분실, 도난 또는 도용의 경우 문제가 발생할 가능성이 있다. 이러한 기존의 비밀 번호 또는 보안 카드에 의한 보안 방법의 문제를 해결하기 위해 최근에는 대상자의 생체 정보를 이용하는 생체 인식 기술이 개발되어 널리 이용되고 있다.
생체 인식 기술이란 인체의 일부분을 인식하는 기술을 말한다. 생체 인식 기술에 의한 보안 방법으로는 지문인식, 홍채인식 및 얼굴인식이 있다. 지문인식은 보안 기술이 적용되는 분야에 종사하는 일부의 사람에게서 지문 채취가 불가능하고, 홍채인식은 장비가 고가이며 출입자에게 인식에 대한 거부감을 주며, 평면 얼굴인식은 조명이나 표정에 따른 영향을 많이 받고 도용의 가능성도 높다.
앞선 기술들의 단점을 보완할 수 있는 얼굴 인식으로 접근한 사례가 있으나, 신원 확인의 대상자가 모자, 선글라스, 마스크 등의 액세서리를 착용하여 얼굴 영역의 일부가 가려지면 인식 성능이 크게 저하되는 문제가 있다. 따라서, 범죄자가 신원을 은폐하기 위해 마스크 등을 착용하는 경우, 범죄자의 신원을 확인하기 어려운 문제가 있다.
또한, 진실된 신원 확인 대상자가 종래의 얼굴 인식 기술을 사용하는 경우, 신원을 확인할 때마다 착용한 모자, 선글라스 등의 액세서리를 착용 해제해야 하는 불편이 있다.
KR 10-2008-0067793 KR 10-2016-0118502
본 발명의 일 측면에 따르면, 얼굴 특징점에 기반하여 얼굴의 주요 영역을 설정하고, 설정된 주요 영역의 특징벡터 중 부분 가림이 없는 주요 영역에 기초하여 신원을 확인하는 방법이 제공될 수 있다.
이외에, 부분 가림 얼굴 인식 장치가 제공되고, 관련된 컴퓨터 저장 매체 또한 제공될 수도 있다.
본 발명의 일 측면에 따른 부분 가림 얼굴 인식 방법은 대상자의 얼굴이 포함된 제1 이미지를 획득하는 단계; 상기 제1 이미지에 복수의 패치영역을 설정하는 단계; 각 패치 영역으로부터 상기 대상자에 대한 로컬 특징벡터를 각각 생성하여 제1 로컬 특징벡터 세트를 생성하는 단계; 상기 제1 로컬 특징벡터 세트와 후보자에 대한 제2 로컬 특징벡터 세트를 비교하여 상기 대상자와 상기 후보자 간의 유사도 점수 세트를 생성하는 단계; 상기 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 상기 대상자와 상기 후보자 간의 부분 가림 인증 점수를 계산하는 단계; 및 상기 부분 가림 인증 점수에 기초하여 상기 대상자에 대응하는 후보자의 이미지를 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 방법은 상기 대상자의 얼굴로부터 복수의 특징점을 추출하는 단계를 더 포함하고, 상기 복수의 패치영역은 상기 복수의 특징점에 기초하여 설정될 수도 있다.
일 실시예에서, 상기 부분 가림 인증 점수를 계산하는 단계는, 상기 유사도 점수 세트에 포함된 유사도 점수를 내림차순으로 배열하는 단계; 상기 내림차순 유사도 점수 배열에서 인접한 두 유사도 점수의 차이에 기초하여 기준 점수를 결정하는 단계; 상기 기준 점수 이상의 유사도 점수를 이용하여 상기 부분 가림 인증 점수를 계산하는 단계를 포함할 수 있다.
일 실시예에서, 상기 대상자와 후보자 간의 부분 가림 인증 점수를 계산하는 단계는, 상기 적어도 하나의 유사도 점수의 평균 값, 최대 값 및 최소 값 중 어느 하나를 상기 부분 가림 인증 점수로 계산할 수 있다.
일 실시예에서, 상기 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 부분 가림 인증 점수를 계산하는 단계는, 상기 적어도 하나의 유사도 점수에 가중치 합(weighted sum)을 적용하여 상기 부분 가림 인증 점수를 계산할 수 있다.
일 실시예에서, 상기 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 부분 가림 인증 점수를 계산하는 단계는 SVM(Support Vector Machine), SVDD(Support Vector Data Description), SVR(Support Vector Regression), ANN(Artificial Neural Network) 및 K-평균 클러스터링(K-means clustering) 알고리즘 중 적어도 하나를 통해 상기 적어도 하나의 유사도 점수로부터 상기 부분 가림 인증 점수를 계산할 수 있다. 일 실시예에서, 상기 제1 로컬 특징벡터 세트를 생성하는 단계는 LBP(Local Binary pattern), LE(Learning-based Encoding), SIFT(Scale Invariant Feature Transform) 및 HOG(Histogram of Gradients) 중 적어도 하나를 통해 제1 이미지로부터 제1 로컬 특징벡터 세트를 생성할 수 있다.
일 실시예에서, 상기 제1 로컬 특징벡터 세트에 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), 베이지안(Bayesian) 및 결합 베이지안(Joint Bayesian) 중 적어도 하나를 적용할 수 있다.
일 실시예에서, 상기 대상자의 얼굴은 부분 가림 영역을 포함하고, 상기 복수의 특징점 중 적어도 하나는 상기 부분 가림 영역으로부터 추출될 수도 있다.
상기 복수의 특징점을 추출하는 단계는 CLM(Constrained Local Model), SDM(Supervised Descent Method), AAM(Active Appearance Model) 및 ASM(Active Shape Model) 중 적어도 하나를 이용하여 상기 복수의 특징점을 추출할 수 있다.
실시예들에 따른 컴퓨터 판독가능 기록 매체에는 부분 가림 얼굴 인식 방법을 수행하기 위한 컴퓨터 프로그램이 기록될 수도 있다.
본 발명의 일 측면에 따른 부분 가림 얼굴 인식 장치는 대상자의 얼굴이 포함된 제1 이미지를 획득하는 이미지 획득부; 상기 제1 이미지에 복수의 패치영역을 설정하는 영역 설정부; 각 패치 영역으로부터 상기 대상자에 대한 로컬 특징벡터를 각각 생성하여 제1 로컬 특징벡터 세트를 생성하는 모델링부; 상기 제1 로컬 특징벡터 세트와 후보자에 대한 제2 로컬 특징벡터 세트를 비교하여 상기 대상자와 상기 후보자 간의 유사도 점수 세트를 생성하는 특징 비교부; 상기 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 상기 대상자와 상기 후보자 간의 부분 가림 인증 점수를 계산하고, 상기 부분 가림 인증 점수에 기초하여 상기 대상자에 대응하는 후보자의 이미지를 결정하는 신원 확인부를 포함할 수 있다.
일 실시예에서, 상기 장치는 상기 대상자의 얼굴로부터 복수의 특징점을 추출하는 특징점 추출부를 더 포함하고, 상기 영역 설정부는 상기 복수의 특징점에 기초하여 상기 복수의 패치영역를 설정할 수 있다.
일 실시예에서, 상기 신원 확인부는 상기 적어도 하나의 유사도 점수의 평균 값, 최대 값 및 최소 값 중 어느 하나를 상기 부분 가림 인증 점수로 계산할 수 있다.
일 실시예에서, 상기 신원 확인부는 상기 적어도 하나의 유사도 점수에 가중치 합(weighted sum)을 적용하여 상기 부분 가림 인증 점수를 계산할 수 있다.
일 실시예에서, 상기 신원 확인부는 SVM(Support Vector Machine), SVDD(Support Vector Data Description), SVR(Support Vector Regression), ANN(Artificial Neural Network) 및 K-평균 클러스터링(K-means clustering) 알고리즘 중 적어도 하나를 통해 상기 적어도 하나의 유사도 점수로부터 상기 부분 가림 인증 점수를 계산할 수 있다.
일 실시예에서, 상기 특징 비교부는 LBP(Local Binary pattern), LE(Learning-based Encoding), SIFT(Scale Invariant Feature Transform) 및 HOG(Histogram of Gradients) 중 적어도 하나를 통해 제1 이미지로부터 제1 로컬 특징벡터 세트를 생성할 수 있다.
일 실시예에서, 상기 특징 비교부는 상기 제1 로컬 특징벡터 세트에 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), 베이지안(Bayesian) 및 결합 베이지안(Joint Bayesian) 중 적어도 하나를 적용할 수 있다.
일 실시예에서, 상기 대상자의 얼굴은 부분 가림 영역을 포함하고, 상기 특징점 추출부는 상기 복수의 특징점 중 적어도 하나를 상기 부분 가림 영역으로부터 추출할 수 있다.
일 실시예에서, 상기 특징점 추출부는 CLM(Constrained Local Model), SDM(Supervised Descent Method), AAM(Active Appearance Model) 및 ASM(Active Shape Model) 중 적어도 하나를 이용하여 상기 복수의 특징점을 추출할 수 있다.
본 발명의 일 측면에 따르면, 모자나 액세서리 등에 의해 대상자 얼굴이 부분적으로 가려진 경우에도 신원을 확인할 수 있다. 따라서, CCTV나 블랙박스 등의 영상 보안 시스템 등에서 모자, 마스크 등을 착용한 범죄 용의자들을 식별하기에 용이하다.
나아가, 출입 통제 시스템 또는 현금 자동 입출금기와 같은 대상자에게 편의를 제공하는 서비스에 활용시 대상자가 모자나 액세서리의 착용을 해제할 필요가 없이 신원을 확인할 수 있어 대상자에게 편의성을 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은, 본 발명의 일 실시예에 따른, 부분 가림 얼굴 인식 장치의 블록도이다.
도 2는, 본 발명의 일 실시예에 따른, 부분 가림 얼굴 인식 장치에서 부분 가림 얼굴 인식 방법이 수행되는 과정을 나타내는 개념도이다.
도 3은, 본 발명의 일 실시예에 따른, 도 2에 도시된 부분 가림 얼굴 인식 방법의 흐름도이다.
도 4는, 일 실시예에 따른, 대상자와 비교대상 사이의 유사도 점수 세트를 도시한 도면이다.
도 5는, 일 실시예에 따른, 대상 이미지에 대응하는 후보 이미지를 결정하는 과정의 흐름도이다.
상기 도면들은 단지 도시(illustration)의 목적을 위해서 본 발명의 다양한 실시예들을 묘사한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 통상의 기술자는 본 명세서에 설명된 구조 및 방법의 대안적인 실시예가 본 명세서에 설명된 발명의 원리를 벗어나지 않고 사용될 수도 있다는 것을 다음의 설명으로부터 용이하게 인식할 수 있을 것이다.
실시예들은 여기에 첨부된 도면들을 참조하여 설명될 것이다 그러나, 여기에 개시된 원리들은 많은 상이한 형태로 구현될 수도 있으며 여기에서 기재된 실시예로 제한되어 생각되지 않아야 한다. 발명의 상세한 설명에서, 잘 알려진 특징 및 기술에 대한 상세한 설명이 실시예의 특징을 불필요하게 불명확하게 하는 것을 피하기 위해 생략될 수도 있다.
본 명세서에서 얼굴에 부분 가림이 있다는 것은 가림자에 의해 눈, 코, 입, 귀, 이마 등과 같은 얼굴 구성요소 또는 얼굴 표면의 일부가 사진 또는 영상에 전체가 나타나지 않는 것을 의미한다. 가림자는 얼굴과 관측 수단(예를 들면, 사람의 눈, 촬영 장치 등)의 사이에 위치하여 얼굴의 일부를 가리는 것으로서, 선글라스, 마스크, 모자 등 물품, 또는 앞머리, 손과 같은 인체의 일부일 수도 있다. 부분 가림 영역은 관측 수단을 기준으로 얼굴 내 가림자가 차지하는 영역을 나타낸다. 예를 들어, 마스크에 의해 입이 가려진 얼굴을 촬영 장치가 관측하는 경우, 가림자는 마스크이고, 부분 가림 영역은 촬영 장치를 기준으로 마스크에 의해 가려진 얼굴 일부의 영역을 나타낸다.
본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은, 일 실시예에 따른, 부분 가림 얼굴 인식 장치의 블록도이다. 도 1에 도시된 바와 같이, 부분 가림 얼굴 인식 장치(100)는 이미지 획득부(10), 특징점 추출부(20), 영역 설정부(30), 특징벡터 생성부(40), 특징 비교부(50) 및 신원 확인부(60)를 포함한다.
본 발명의 상기 장치(100)는 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 특징 비교부(50) 등의 구성은 상기 장치(100)에서 실행되는 상기 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(100)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 특징 비교부(50) 등의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
상기 장치(100)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(100)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
상기 장치(100)는 미리 구축된 얼굴 데이터베이스(200)를 이용할 수 있다. 상기 얼굴 데이터베이스(200)는 대상자 신원을 인증하기 위한 하나 이상의 후보자에 연관된 정보를 저장한다. 후보자에 연관된 정보는 후보자 신원(ID) 정보, 후보 이미지 정보를 포함한다. 또한, 후보자에 연관된 정보는 지역, 인종, 국가, 성별 등 사용 환경에 따라 적합한 정보를 더 포함할 수 있다. 나아가, 후보자에 대한 로컬 특징벡터 세트 정보를 더 포함할 수도 있다. 후보자에 연관된 정보는 사용 환경에 따라 업데이트될 수도 있다.
신원 정보와 이미지 정보는 식별자를 각각 포함한다. 일 후보자에 대한 신원 정보에 포함된 식별자와 이미지 정보에 포함된 식별자는 서로 대응된다. 따라서, 얼굴 데이터베이스(200) 내 하나의 이미지를 결정하면, 이미지 정보에 포함된 식별자를 통해 해당 이미지의 신원 정보를 확인할 수 있다.
일 실시예에서, 상기 장치(100)는 클라우드 서버와 같은 외부 데이터베이스 정보를 이용할 수 있는 컴퓨팅 장치일 수도 있다. 이 경우, 상기 장치(100)는 사용자의 요구에 따라 외부의 얼굴 데이터베이스(200)에 접속하여 데이터 통신을 할 수 있는 모든 종류의 단말일 수도 있다. 예컨데, 상기 장치(100)는 데이터망(예; 인터넷)에 무선 접속하는 무선단말(예; 핸드폰, PDA(Personal Digital Assistant), 노트북, PMP(Portable Multimedia Player) 등) 또는, 데이터망에 유선 접속하는 유선단말(예: PC, 노트북 등)일 수도 있다.
다른 실시예에서, 상기 장치(100)는 내부에 얼굴 데이터베이스(200)를 더 포함할 수도 있다. 상기 실시예와 같이 상기 장치(100)가 얼굴 데이터베이스(200)를 더 포함하는 경우, 저장되는 데이터베이스 정보는 외부 데이터베이스로부터 획득될 수도 있고, 사용자의 입력으로부터 획득될 수도 있다.
상기 장치(100)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 당업자에게 명백할 것이다. 또한, 상기 장치(100)는, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
도 2는, 본 발명의 일 실시예에 따른, 부분 가림 얼굴 인식 장치에서 부분 가림 얼굴 인식 방법이 수행되는 과정을 나타내는 개념도이고, 도 3은, 본 발명의 일 실시예에 따른, 도 2에 도시된 부분 가림 얼굴 인식 방법의 흐름도이다.
도 1 및 도 3을 참조하면, 이미지 획득부(10)는 신원 확인 대상인 대상자의 얼굴을 포함하는 대상 이미지를 획득한다(S10). 이미지 획득부(10)는, 예를 들어 카메라 또는 폐쇄회로카메라(CCTV) 등과 같은, 이미지 촬영 장치를 이용하여 대상자를 직접 촬영하고 대상 이미지를 생성하는 모듈을 포함할 수도 있다. 일 실시예에서, 대상자의 얼굴은 부분 가림 영역을 포함할 수도 있다. 이 경우, 이미지 획득부(10)는 대상자의 얼굴 일부가 가려진 대상 이미지를 획득한다(S10).
다른 실시예에서, 이미지 획득부(10)는 상황에 따라 적외선 카메라와 같은 이미지 촬영을 보조하기 위한 구성요소를 더 포함할 수도 있다. 또 다른 실시예에서, 이미지 획득부(10)는 스캐너를 이용하여 상이한 유형의 이미지를 더 생성할 수도 있다.
또한, 이미지 획득부(10)는 유선 또는 무선 인터페이스(예를 들어, USB 2.0, USB 3.0, BUS, 시리얼 케이블, LTE, WiFi, 3G, 2G, LAN 또는 임의의 적절한 통신 연결 인터페이스)를 통해 읽어내거나 수신하는 모듈을 포함할 수도 있다. 따라서, 이미지 획득부(10)는 얼굴 데이터베이스(200)와 상기 장치(100)를 전기적으로 연결하는 유선 또는 무선 인터페이스를 통해 얼굴 데이터베이스(200)에 저장된 후보 이미지를 획득할 수도 있다. 일부 실시예에서, 이미지 획득부(10)는 대상자의 신분증, 신용카드 등에 포함된 다른 저장매체에 저장된 이미지를 후보 이미지로 획득할 수도 있다.
또한, 이미지 획득부(10)는 얼굴 부분을 검출하도록 더 구성될 수도 있다. 예를 들어 이미지 획득부(10)가 획득한 대상 이미지가 대상자의 얼굴, 대상자의 몸체(특히, 상체) 및 대상자가 위치하고 있는 배경 등을 포함하는 경우, 대상 이미지로부터 얼굴 윤곽을 결정하여 얼굴 부분을 검출한다. 이 경우, 상기 장치(100)는 얼굴 부분이 검출되어 생성된 이미지를 대상 이미지로 사용한다.
한편, 이미지 획득부(10)는 얼굴 검출 시 Haar, NN(Neural Network), SVM(Support Vector Machine), Gabor, SIFT(Scale Invariant Feature Transform) 중 적어도 하나를 이용하여 대상 이미지로부터 얼굴을 검출할 수 있으나, 이에 제한되지 않으며 다양한 얼굴 검출 방법을 이용할 수 있다.
특징점 추출부(20)는 이미지 획득부(10)가 획득한 대상 이미지에 포함된 대상자의 얼굴로부터 특징점을 추출한다(S20). 상기 특징점은 눈의 중심, 코의 중심, 양 입 끝점, 얼굴 윤곽 중 간격이 가장 넓은 위치의 점, 턱 윤곽의 중심 등과 같이, 얼굴을 구별하기 위한 특성을 나타내는 점으로서, 일반적으로 하나의 얼굴에 복수의 특징점이 위치한다. 상기 특징점은 얼굴 구성요소의 위치를 결정하는데 효율적이고, 주변의 환경 변화 여부(예를 들어, 특징점 주변의 가림 전후)가 아래에서 서술되는 유사도 점수의 변화를 보다 크게 하는 위치에 설정된다.
특징점 추출부(20)는 어떠한 얼굴 구성요소가 얼굴의 어느 지점에 위치하는지 훈련(training)된 특징 추출 알고리즘을 이용하여 대상 이미지에 포함된 대상자 얼굴에서 특징점이 어디에 위치하는지 결정하고 대상자 얼굴의 특징점을 추출한다. 상기 특징 추출 알고리즘은 얼굴 데이터베이스(200)에 저장된 후보 이미지 중 일부를 훈련 데이터로 하여 훈련될 수도 있고, 또는 다른 훈련 데이터에 의해 훈련될 수도 있다.
상기 특징 추출 알고리즘은 CLM(Constrained Local Model), SDM(Supervised Descent Method), AAM(Active Appearance Model), ASM(Active Shape Model) 중 적어도 하나를 이용하여 훈련될 수 있으나, 이에 제한되지 않으며 다양한 방법에 의해 훈련될 수 있다.
일 실시예에서, 특징점 추출부(20)는 대상자의 얼굴에 포함된 부분 가림 영역으로부터 복수의 특징점 중 적어도 하나를 추출할 수도 있다. 특징점 추출부(20)는 특징점이 초기 설정(default)되어 있는 특징 추출 알고리즘을 이용하여 부분 가림 영역에 위치하는 특징점을 추출한다(S20).
일 예에서, 특징점 추출부(20)가 오른쪽 눈 중심, 왼쪽 눈 중심, 코 끝, 양 입술 끝점의 5개의 특징점이 초기 설정(default)되어 있는 특징 추출 알고리즘을 이용하여 마스크를 착용한 대상자에 대해 상기 5개의 특징점을 추출하는 경우, 특징점 추출부(20)는 초기 설정된 5개의 특징점을 대상 이미지에 적용하여 대상 이미지 상에서 각각 이동시킨다. 특징점 추출부(20)는 초기 설정 특징점과 대상 이미지 간의 오차를 계산한다. 이 경우, 마스크 착용으로 인해 양 입술 끝점에 연관된 오차는 오른쪽 눈 중심, 왼쪽 눈 중심, 코끝에 연관된 오차에 비해 상대적으로 높음에도 불구하고, 오차가 상대적으로 낮은 오른쪽 눈 중심, 왼쪽 눈 중심, 코 끝의 평균 오차가 가장 낮은 위치를 대상자의 오른쪽 눈 중심, 왼쪽 눈 중심, 코 끝, 양 입술 끝점에 대응하는 특징점으로 설정한다. 상기 예에서, 특징점의 위치, 개수 및 평균 오차와 같은 특징점 설정 기준은 단순한 예시에 불과하며, 이에 한정되지 않는다.
특징점 추출부(20)는 대상자 얼굴로부터 추출된 특징점에 기초하여 정규화된 이미지를 생성할 수도 있다. 예를 들어, 특징점 추출부(20)가 양 눈의 중심과 입술 양 끝에 대응하는 특징점의 위치를 추출하면, 대상자의 눈과 입이 최대한 가운데로 올 수 있도록 이미지를 간단하게 회전(rotate)하고, 크기를 조절(scale)하며 비틀어(shear) 정규화된 이미지를 생성할 수도 있다. 일부 실시예에서, 정규화부(20)는 3D 변형(3D warps)을 추가로 이용하여 정규화된 이미지를 생성할 수도 있다.
특징점 추출부(20)가 위에서 서술된 바와 같이 이미지 획득부(10)에서 획득된 대상 이미지를 보정(alignment)하여 정규화된 이미지를 생성하는 경우, 대상 이미지에 포함되어 있던 조명, 표정, 포즈 성분을 제거될 수 있다. 생성된 정규화 이미지는 대상자의 응시 방향에 따른 정면 혹은 측면의 각도, 고개를 좌우로 기울이는 정도, 다양한 표정, 카메라와의 거리에 따른 얼굴 영상의 크기 등과 같은 형태적 변화와 조명에 따른 얼굴 내에서의 밝기 정도의 차이, 복잡한 배경 혹은 얼굴과 구분이 어려운 색상의 다른 객체 등과 같은 외부적 변수가 정규화 전의 이미지와 비교하여 상대적으로 적다. 따라서, 얼굴 인식이 보다 효과적으로 이루어질 수 있다.
영역 설정부(30)는 추출된 특징점을 기초로 대상 이미지에 패치영역을 설정한다(S30). 일 실시예에서, 적어도 하나의 패치영역은 부분 가림 영역의 일부 또는 전부를 포함한다. 상기 예에서, 5개의 특징점이 추출되므로, 오른쪽 눈을 포함하는 패치영역(이하, “제1 패치영역”), 왼쪽 눈을 포함하는 패치영역(이하, “제2 패치영역”), 코 끝을 포함하는 패치영역(이하, “제3 패치영역”) 및 양 입술 끝점을 포함하는 패치영역(이하, “제4 패치영역” 및 “제5 패치영역”)과 같이 5개의 패치영역이 설정된다. 제4 패치영역 및 제5 패치영역은 마스크에 의한 부분 가림 영역의 일부를 포함할 수도 있다.
일부 실시예에서, 영역 설정부(30)는 대상 이미지를 패치영역으로 분할하여 복수의 패치영역 이미지를 포함하는 패치영역 세트를 생성할 수도 있다. 상기 예에서, 영역 설정부(30)는 대상 이미지를 5개의 패치영역 이미지로 분할하고 패치영역 이미지 세트를 생성할 수도 있다.
일 실시예에서, 영역 설정부(30)는 패치영역의 범위를 신원 확인 결과에 기초하여 결정할 수도 있다. 패치영역의 범위는 다양한 통계 방법을 이용하여 결정될 수도 있다. 또한, 패치영역의 범위는 신원 확인 결과에 기초하여 업데이트될 수도 있다.
모델링부(40)는 대상자에 대한 로컬 특징벡터 세트를 생성한다(S40). 모델링부(40)는 각 패치영역 이미지로부터 각 패치영역에 대한 특징벡터(즉, “로컬 특징벡터”)를 생성한다. 일 실시예에서, 모델링부(40)는 특징 서술자에 의해 패치영역에 대한 로컬 특징벡터를 생성한다. 상기 예에서, 모델링부(40)는 대상자에 대한 제1 내지 제5 패치영역으로부터 제1 내지 제5 로컬 특징벡터를 생성한다(S40).
일 실시예에서, 모델링부(40)는 특징 서술자로, LBP(Local Binary Pattern), LE(Learning-based Encoding), SIFT(Scale Invariant Feature Transform), HOG(Histogram of Gradients) 중 적어도 하나를 이용하여 로컬 특징벡터를 생성할 수도 있으나, 이에 제한되지 않으며 다양한 특징 서술자를 이용할 수 있다. 로컬 특징벡터는 특징 서술자에 따라 상이할 수도 있다. 예를 들어, 동일한 패치영역에 LBP(Local Binary Pattern)을 적용하여 생성된 로컬 특징벡터와 HOG(Histogram of Gradients)를 적용하여 생성된 로컬 특징벡터는 상이할 수도 있다.
일 실시예에서, 모델링부(40)는 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), 베이지안(Bayesian), 결합 베이지안(Joint Bayesian) 중 적어도 하나를 로컬 특징벡터 세트에 적용하여 패치영역의 특성이 더욱 강화된 로컬 특징벡터를 생성할 수도 있으나, 이에 제한되지 않으며 다양한 변환 과정을 이용할 수도 있다. 이러한 변환 과정을 로컬 특징벡터 세트에 적용하면 신원 확인에 불필요한 특징들이 제거되어 신원 확인 속도가 향상될 수도 있다. 나아가, 잡음 특징들이 제거되어 상기 장치(100)의 신원 확인 성능이 향상될 수도 있다.
일 실시예에서, 모델링부(40)가 생성한 로컬 특징벡터 세트에 포함된 적어도 하나의 로컬 특징벡터는 부분 가림 영역에 대한 특징 정보를 나타낸다. 상기 예에서, 제4 로컬 특징벡터 및 제5 로컬 특징벡터에는 마스크에 의한 변화를 포함되어 있다.
특징 비교부(50)는 신원 확인의 대상이 되는 대상자와 신원 확인의 비교대상이 되는 후보자 간의 유사 정도를 수치화한다. 상기 유사 정도는 대상 이미지와 후보 이미지 간의 유사도 점수로 나타낼 수 있다. 특징 비교부(50)는 대상자에 대한 로컬 특징벡터 세트와 후보자에 대한 로컬 특징벡터 세트에 기초하여 대상 이미지와 후보 이미지 간의 유사도 점수 세트를 생성한다(S50).
일부 실시예에서, 특징 비교부(50)는 얼굴 데이터베이스(200)에 저장된 각 후보자에 대한 로컬 특징벡터 세트를 획득할 수도 있다. 이 경우, 상기 장치(100)는 얼굴 데이터베이스(200)로부터 후보자에 대한 로컬 특징벡터 세트를 획득하여 대상 이미지와 후보 이미지 간의 유사도 점수 세트를 생성할 수도 있다.
일 실시예에서, 특징 비교부(50)는 유클리디안 거리(Euclidian distance), 코사인 거리(Cosine distance), 마할라노비스 거리(Mahalanobis distance) 및 결합 베이지안(Joint Bayesian) 중 적어도 하나를 통해 대상 이미지와 후보 이미지 간의 유사도 점수 세트를 생성하나, 이에 제한되지 않으며 다양한 유사도 측정법을 이용할 수 있다.
일 예에서, 특징 비교부(50)는 아래의 [수학식 1]을 이용하여 각 패치영역에 대한 대상자와 후보자 간의 유사도 점수를 결정할 수도 있다.
[수학식 1]
Figure pat00001
d(u,c)는 각 패치영역별 대상자와 후보자 간의 유사도 점수, N은 패치영역의 수, M은 각 패치영역을 서술하는 특징의 수, u, c는 대상자 및 후보자에 대한 로컬 특징벡터를 각각 나타낸다. M은 패치영역의 범위, 사용된 특징 서술자 및 변환 과정에 기초하여 결정될 수도 있다. dN(u, c)는 정수, 자연수, 부동소수점, 이진수와 같은 다양한 수의 형태로 표현될 수도 있다. 일부 실시예에서, 상기 [수학식 1]의 결과를 일반적으로 사용자에게 익숙한 0부터 100의 범위로 하고, 유사도가 높으면 높은 점수가 산출되도록 변환하는 과정이 더 적용될 수도 있다. 그 결과, 사용자 편의성이 더 증가될 수도 있다.
상기 예에서, 대상자의 제1 패치영역에 기초한 제1 로컬 특징벡터와 후보자의 제1 패치영역에 기초한 제1 로컬 특징벡터는 상기 [수학식 1]에 적용되어 대상자의 왼쪽 눈 끝점 주변과 후보자의 왼쪽 눈 끝점 주변의 유사 정도를 d1으로 나타낼 수도 있다. 그 결과, 특징 비교부(50)는 {d1, d2, d3, d4, d5}로 구성된 유사도 점수 세트를 생성할 수도 있다. 대상자(A)가 마스크를 착용하여 양 입술 끝에 발생한 변화로 인해 d4 및 d5의 점수는 상대적으로 낮은 유사도를 나타낸다.
일부 실시예에서, 특징 비교부(50)는 상기 [수학식 1]을 M으로 나눈 결과를 유사도 점수로 결정할 수도 있다.
특징 비교부(50)는 패치영역별 유사도 점수를 각각 계산하여, 대상자와 후보자 간의 유사도 점수 세트를 생성한다. 특징 비교부(50)는 코는 물론, 눈, 입 등과 같은 다수의 얼굴 구성요소에 대한 유사 정도에 대한 정보를 사용자에게 제공할 수도 있다.
신원 확인부(60)는 대상자와 후보자 간의 유사도 점수 세트에 기초하여 대상자에 대응하는 후보자의 이미지를 결정한다(S60). 신원 확인부(60)는 대상자에 대응하는 후보자의 이미지를 결정하고, 대상자에 대응하는 후보자의 신원 정보를 통해 대상자의 신원을 확인한다. 대상자에 대응하는 후보자의 이미지가 결정되면, 신원 확인부(60)는 후보자의 후보 이미지에 포함된 식별자를 통해 후보자의 신원 정보를 획득하고, 대상자의 신원을 확인한다.
일 실시예에서, 대상 이미지에 부분 가림이 있는 경우, 신원 확인부(60)는 대상자와 후보자 간의 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 대상자에 대응하는 후보자의 이미지를 결정한다(S60). 신원 확인부(60)는 유사도 점수 세트 중 상위 유사도 점수, 하위 유사도 점수, 또는 일부 점수를 선별하고 그 중 가장 높거나 낮은 점수와 같은 적어도 하나의 유사도에 기초하여 후보자의 이미지를 결정할 수도 있다.
도 4는, 일 실시예에 따른, 대상자(A)와 후보자(B2) 간의 유사도 점수 세트를 도시한 도면이다. 상기 예에서, 도 2의 대상자(A)가 마스크를 착용하지 않은 사진(B2)이 후보 이미지로 데이터베이스에 저장되어 있는 경우, 마스크 착용으로 인해 대상자의 양쪽 입 끝 이미지와 후보자의 양쪽 입 끝 이미지가 상이하다. 따라서, 도 4에 도시된 바와 같이, 양 입 끝에 대한 유사도 점수는 다른 유사도 점수에 비해 상대적으로 낮게 계산된다. 신원 확인부(60)는 입 양 끝점에 대한 유사도 점수를 제외한 나머지 상위 유사도 점수에 기초하여 대상자의 신원을 확인할 수도 있다.
도 5는, 일 실시예에 따른, 대상자(A)에 대응하는 후보자(B2)의 이미지를 결정하는 과정의 흐름도이다. 상기 실시예에서, 신원 확인부(60)는 계산된 유사도 점수를 내림차순으로 배열한다(S61). 부분 가림으로 인한 차이에 의해 유사도 점수가 패치영역별로 각각 상이하게 된다. 내림차순으로 배열한 결과, 도 4에 도시된 바와 같이, 부분 가림이 있는 패치영역의 유사도 점수가 하위 점수로 분류된다. 상기 내림차순의 배열은 부분 가림이 있는 패치영역을 분류하기 위한 하나의 수단으로서, 내림차순은 물론, 오름차순과 같은 다양한 배열 방법이 사용될 수도 있다.
신원 확인부(60)는 내림차순된 유사도 점수 배열에서 인접한 두 유사도 점수의 차이를 각각 계산한다(S63). 그리고, 각각 계산된 유사도 점수 차이에 기초하여 기준 점수를 결정한다. 일 실시예에서, 신원 확인부(60)는 차이가 가장 큰 두 유사도 점수를 결정하고, 차이가 가장 큰 점수 중 상위 점수를 기준 점수로 결정한다(S65). 도 4를 참조하면, 신원 확인부(60)는 코 끝을 포함하는 제3 패치영역의 유사도 점수(60점)를 기준 점수로 결정할 수도 있다. 일부 실시예에서, 특징점의 개수, 패치영역에 포함된 얼굴 구성요소 등과 같은 조건에 따라, 두번째 또는 세번째 점수 차이의 두 유사도 점수를 결정할 수도 있다.
신원 확인부(60)는 기준 점수 이상의 유사도 점수를 이용하여 부분 가림 인증 점수를 계산한다(S67). 부분 가림 인증 점수는 부분 가림이 있는 대상자의 신원을 확인하기 위한 하나의 수단이다.
일 실시예에서, 신원 확인부(60)는 유사도 점수 세트 중 적어도 하나의 유사도 점수의 평균 값, 최대 값 및 최소 값 중 어느 하나를 상기 부분 가림 인증 점수로 계산한다(S67). 도 4를 참조하면, 신원 확인부(60)는 90점, 85점, 76점의 평균인 83.66을 부분 가림 인증 점수로 계산할 수도 있다.
일 실시예에서, 신원 확인부(60)는 가중치 합(weighted sum)을 유사도 점수 세트 중 적어도 하나의 유사도 점수에 적용하여 부분 가림 인증 점수를 계산할 수도 있다. 상기 실시예에서, 부분 가림 인증 점수는 다음의 [수학식 2]로 나타낼 수도 있다.
[수학식 2]
부분 가림 인증 점수 = w1s1 + w2s2 +…+ wksN (k<N)
N은 유사도 점수 세트 내 전체 유사도 점수의 개수를 나타내며, k는 유사도 점수 세트 중 인증 점수의 기초가 되는 일부 유사도 점수의 개수를 나타내고, w1, w2, … , wk는 각 유사도 점수에 대한 각 가중치를 나타낸다. w1는 가장 큰 값의 유사도 점수가 신원 확인에 미치는 영향의 정도, w2는 2번째 큰 값의 유사도 점수가 신원 확인에 미치는 영향의 정도, … , 자는 k번째 큰 값의 유사도 점수가 신원 확인에 미치는 영향의 정도를 나타낸다. 각 가중치는 회귀 분석(regression anlaysis) 등과 같은 다양한 통계 수단을 이용하여 계산될 수도 있다.
일 실시예에서, 신원 확인부(60)는 SVM(Support Vector Machine), SVDD(Support Vector Data Description), SVR(Support Vector Regression), ANN(Artificial Neural Network) 및 K-평균 클러스터링(K-means clustering) 알고리즘 중 적어도 하나를 통해 유사도 점수 세트 중 적어도 하나의 유사도 점수로부터 부분 가림 인증 점수를 계산할 수도 있으나, 이에 제한되지 않으며 다양한 알고리즘을 이용하여 계산할 수도 있다.
일 예에서, 신원 확인부(60)는 SVM 알고리즘를 통해 부분 가림 인증 점수를 계산할 수도 있다. SVM은 기계 학습의 분야 중 하나로서, 패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 주로 분류와 회귀 분석을 위해 사용된다. 예를 들어, 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM 알고리즘은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 생성할 수 있다. 따라서, 신원 확인부(60)는 소정의 값을 기준으로 유사도 점수를 분류할 수도 있다. 소정의 값은 훈련 데이터(training data)를 바탕으로 설정된다. 상기 예에서, 특징 비교부(50)에서 0부터 1 사이의 값을 각각 갖는 유사도 점수 세트를 생성하고, 훈련 데이터를 바탕으로 설정된 소정 값이 0.5인 경우, 신원 확인부(60)는 0.5를 기준으로 유사도 점수를 1 또는 0으로 분류할 수도 있다. 즉, 0.7 또는 0.9와 같이 1에 가까운 유사도 점수를 갖는 패치영역에 대해서는 유사도 점수를 1로 분류하고, 0.1 또는 0.3과 같이 0에 가까운 유사도 점수를 갖는 패치영역에 대해서는 유사도 점수를 0으로 분류함으로써 부분 가림 인증 점수를 계산할 수도 있다.
이와 같이, SVM, SVDD, SVR, ANN 및 K-평균 클러스터링 알고리즘 등과 같은 다양한 군집화 알고리즘을 통해 비유사하다고 판단되는 패치영역은 배제하고 유사하다고 판단되는 패치영역을 중심으로 부분 가림 인증 점수를 계산함으로써, 보다 강화된 얼굴 인식 기능을 가질 수 있다.
신원 확인부(60)는 부분 가림 인증 점수에 기초하여 대상자에 대응하는 후보자의 이미지를 결정한다(S69). 일 실시예에서, 신원 확인부(60)는 가장 높은 부분 가림 인증 점수에 연관된 후보자를 사용자에 대응한다고 결정한다. 도 2를 참조하면, 사용자(A)와 후보자(B2) 간의 부분 가림 인증 점수가 가장 높으므로, 신원 확인부(60)는 후보자(B2)의 신원 정보에 기초하여 사용자(A)의 신원을 확인한다.
일부 실시예에서, 부분 가림 인증 점수가 동점인 경우, 우선 부분 가림 인증 점수가 동점인 후보군을 선별하고, 동점인 후보군의 얼굴로부터 부분 가림이 없는 영역의 특징점을 추가로 추출하며, 이를 기초로 유사도 점수를 새로 생성하여 부분 가림 인증 점수가 동점인 후보군 중 대상자에 대응하는 후보자의 이미지를 결정할 수도 있다.
이상에서 설명한 실시예들에 따른 부분 가림 얼굴 인식 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 부분 가림 얼굴 인식 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나, 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (20)

  1. 대상자의 얼굴이 포함된 제1 이미지를 획득하는 단계;
    상기 제1 이미지에 복수의 패치영역을 설정하는 단계;
    각 패치 영역으로부터 상기 대상자에 대한 로컬 특징벡터를 각각 생성하여 제1 로컬 특징벡터 세트를 생성하는 단계;
    상기 제1 로컬 특징벡터 세트와 후보자에 대한 제2 로컬 특징벡터 세트를 비교하여 상기 대상자와 상기 후보자 간의 유사도 점수 세트를 생성하는 단계;
    상기 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 상기 대상자와 상기 후보자 간의 부분 가림 인증 점수를 계산하는 단계; 및
    상기 부분 가림 인증 점수에 기초하여 상기 대상자에 대응하는 후보자의 이미지를 결정하는 단계를 포함하는 부분 가림 얼굴 인식 방법.
  2. 제 1 항에 있어서,
    상기 대상자의 얼굴로부터 복수의 특징점을 추출하는 단계를 더 포함하고,
    상기 복수의 패치영역은 상기 복수의 특징점에 기초하여 설정되는 부분 가림 얼굴 인식 방법.
  3. 제 1 항에 있어서,
    상기 부분 가림 인증 점수를 계산하는 단계는,
    상기 유사도 점수 세트에 포함된 유사도 점수를 내림차순으로 배열하는 단계;
    상기 내림차순 유사도 점수 배열에서 인접한 두 유사도 점수의 차이에 기초하여 기준 점수를 결정하는 단계;
    상기 기준 점수 이상의 유사도 점수를 이용하여 상기 부분 가림 인증 점수를 계산하는 단계를 포함하는 부분 가림 얼굴 인식 방법.
  4. 제 1 항에 있어서,
    상기 대상자와 후보자 간의 부분 가림 인증 점수를 계산하는 단계는,
    상기 적어도 하나의 유사도 점수의 평균 값, 최대 값 및 최소 값 중 어느 하나를 상기 부분 가림 인증 점수로 계산하는 부분 가림 얼굴 인식 방법.
  5. 제 1 항에 있어서,
    상기 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 부분 가림 인증 점수를 계산하는 단계는,
    상기 적어도 하나의 유사도 점수에 가중치 합(weighted sum)을 적용하여 상기 부분 가림 인증 점수를 계산하는 부분 가림 얼굴 인식 방법.
  6. 제 1 항에 있어서,
    상기 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 부분 가림 인증 점수를 계산하는 단계는,
    SVM(Support Vector Machine), SVDD(Support Vector Data Description), SVR(Support Vector Regression), ANN(Artificial Neural Network) 및 K-평균 클러스터링(K-means clustering) 알고리즘 중 적어도 하나를 통해 상기 적어도 하나의 유사도 점수로부터 상기 부분 가림 인증 점수를 계산하는 부분 가림 얼굴 인식 방법.

  7. 제 1 항에 있어서,
    상기 제1 로컬 특징벡터 세트를 생성하는 단계는 LBP(Local Binary pattern), LE(Learning-based Encoding), SIFT(Scale Invariant Feature Transform) 및 HOG(Histogram of Gradients) 중 적어도 하나를 통해 제1 이미지로부터 제1 로컬 특징벡터 세트를 생성하는 부분 가림 얼굴 인식 방법.
  8. 제 7 항에 있어서,
    상기 제1 로컬 특징벡터 세트에 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), 베이지안(Bayesian) 및 결합 베이지안(Joint Bayesian) 중 적어도 하나를 적용하는 부분 가림 얼굴 인식 방법.
  9. 제 2 항에 있어서,
    상기 대상자의 얼굴은 부분 가림 영역을 포함하고, 상기 복수의 특징점 중 적어도 하나는 상기 부분 가림 영역으로부터 추출되는 부분 가림 얼굴 인식 방법.
  10. 제 9 항에 있어서,
    상기 복수의 특징점을 추출하는 단계는,
    CLM(Constrained Local Model), SDM(Supervised Descent Method), AAM(Active Appearance Model) 및 ASM(Active Shape Model) 중 적어도 하나를 이용하여 상기 복수의 특징점을 추출하는 부분 가림 얼굴 인식 방법.
  11. 제 1 항 내지 제 10 항 중 어느 하나의 항에 따른 부분 가림 얼굴 인식 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록 매체.
  12. 대상자의 얼굴이 포함된 제1 이미지를 획득하는 이미지 획득부;
    상기 제1 이미지에 복수의 패치영역을 설정하는 영역 설정부;
    각 패치 영역으로부터 상기 대상자에 대한 로컬 특징벡터를 각각 생성하여 제1 로컬 특징벡터 세트를 생성하는 모델링부;
    상기 제1 로컬 특징벡터 세트와 후보자에 대한 제2 로컬 특징벡터 세트를 비교하여 상기 대상자와 상기 후보자 간의 유사도 점수 세트를 생성하는 특징 비교부;
    상기 유사도 점수 세트 중 적어도 하나의 유사도 점수에 기초하여 상기 대상자와 상기 후보자 간의 부분 가림 인증 점수를 계산하고, 상기 부분 가림 인증 점수에 기초하여 상기 대상자에 대응하는 후보자의 이미지를 결정하는 신원 확인부를 포함하는 부분 가림 얼굴 인식 장치.
  13. 제 12 항에 있어서,
    상기 대상자의 얼굴로부터 복수의 특징점을 추출하는 특징점 추출부를 더 포함하고, 상기 영역 설정부는 상기 복수의 특징점에 기초하여 상기 복수의 패치영역를 설정하는 부분 가림 얼굴 인식 장치.
  14. 제 12 항에 있어서,
    상기 신원 확인부는 상기 적어도 하나의 유사도 점수의 평균 값, 최대 값 및 최소 값 중 어느 하나를 상기 부분 가림 인증 점수로 계산하는 부분 가림 얼굴 인식 장치.
  15. 제 12 항에 있어서,
    상기 신원 확인부는 상기 적어도 하나의 유사도 점수에 가중치 합(weighted sum)을 적용하여 상기 부분 가림 인증 점수를 계산하는 부분 가림 얼굴 인식 장치.
  16. 제 12 항에 있어서,
    상기 신원 확인부는,
    SVM(Support Vector Machine), SVDD(Support Vector Data Description), SVR(Support Vector Regression), ANN(Artificial Neural Network) 및 K-평균 클러스터링(K-means clustering) 알고리즘 중 적어도 하나를 통해 상기 적어도 하나의 유사도 점수로부터 상기 부분 가림 인증 점수를 계산하는 부분 가림 얼굴 인식 장치.
  17. 제 12 항에 있어서,
    상기 특징 비교부는 LBP(Local Binary pattern), LE(Learning-based Encoding), SIFT(Scale Invariant Feature Transform) 및 HOG(Histogram of Gradients) 중 적어도 하나를 통해 제1 이미지로부터 제1 로컬 특징벡터 세트를 생성하는 부분 가림 얼굴 인식 장치.
  18. 제 17 항에 있어서,
    상기 특징 비교부는 상기 제1 로컬 특징벡터 세트에 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), 베이지안(Bayesian) 및 결합 베이지안(Joint Bayesian) 중 적어도 하나를 적용하는 부분 가림 얼굴 인식 장치.
  19. 제 12 항에 있어서,
    상기 대상자의 얼굴은 부분 가림 영역을 포함하고, 상기 특징 추출부는 복수의 특징점 중 적어도 하나를 상기 부분 가림 영역으로부터 추출하는 부분 가림 얼굴 인식 장치.
  20. 제 19 항에 있어서,
    상기 특징점 추출부는 CLM(Constrained Local Model), SDM(Supervised Descent Method), AAM(Active Appearance Model) 및 ASM(Active Shape Model) 중 적어도 하나를 이용하여 상기 복수의 특징점을 추출하는 부분 가림 얼굴 인식 장치.
KR1020170101030A 2017-08-09 2017-08-09 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 KR101998112B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170101030A KR101998112B1 (ko) 2017-08-09 2017-08-09 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170101030A KR101998112B1 (ko) 2017-08-09 2017-08-09 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치

Publications (2)

Publication Number Publication Date
KR20190016733A true KR20190016733A (ko) 2019-02-19
KR101998112B1 KR101998112B1 (ko) 2019-07-10

Family

ID=65528723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170101030A KR101998112B1 (ko) 2017-08-09 2017-08-09 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (1)

Country Link
KR (1) KR101998112B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142131A (ko) 2019-06-11 2020-12-22 서강대학교산학협력단 음성인식 장치 및 음성인식 장치의 동작방법
KR102197334B1 (ko) * 2020-06-12 2020-12-31 주식회사 카카오뱅크 신경망을 이용한 신분증 진위 판단 방법 및 이를 수행하는 서버
KR102215535B1 (ko) * 2020-06-02 2021-02-10 주식회사 카카오뱅크 신경망을 이용한 안면 부분 이미지 기반 신분 인증 방법 및 이를 수행하는 시스템
CN112766167A (zh) * 2021-01-20 2021-05-07 宁夏计算机软件与技术服务有限公司 一种基于人脸特征向量的人脸识方法
KR20220018230A (ko) * 2020-08-06 2022-02-15 주식회사 카카오뱅크 신경망을 이용한 영상통화 기반의 인증 모니터링 방법 및 시스템
KR20220019325A (ko) * 2020-08-10 2022-02-17 주식회사 카카오뱅크 입력 패턴을 이용한 안면 인증 방법 및 인증 서버
KR20220031518A (ko) * 2020-09-04 2022-03-11 이승원 어린이집 등하원 알림 서비스 및 통합 관리 시스템
KR20220038877A (ko) * 2020-09-21 2022-03-29 (주) 아하 인공지능을 이용한 안면 인식 방법 및 시스템
KR20220071528A (ko) * 2020-11-24 2022-05-31 한국전력공사 얼굴 인식 장치 및 방법
KR20220077374A (ko) * 2020-12-02 2022-06-09 배종상 비대면 출입통제 장치
US20220277439A1 (en) * 2019-07-18 2022-09-01 Mitsubishi Electric Corporation Inspection device, inspection method, and recording medium
KR102444907B1 (ko) * 2021-12-15 2022-09-19 주식회사 페이스테그 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램
KR20220140240A (ko) * 2021-04-09 2022-10-18 한국과학기술연구원 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템
KR20230017424A (ko) * 2021-07-28 2023-02-06 엔에이치엔클라우드 주식회사 딥러닝 기반의 온라인 시험 부정행위 탐지 방법 및 그 시스템
US20230060298A1 (en) * 2021-08-27 2023-03-02 Citic Dicastal Co., Ltd Hub Image Retrieval Method and Device
US12019724B2 (en) 2021-03-16 2024-06-25 Korea Institute Of Science And Technology Device and method for authenticating user based on facial characteristics and mask characteristics of the user
KR102758618B1 (ko) * 2024-07-04 2025-01-22 주식회사 이앤지웍스 이미지 내 객체의 지역적 특징의 추출 및 식별을 기반으로 한 객체 분류 및 유사도 판단 처리 방법, 장치 및 시스템
US12211311B2 (en) 2020-06-19 2025-01-28 Samsung Electronics Co., Ltd. Object recognition method and object recognition apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527104B2 (en) 2021-02-09 2022-12-13 Danny Rittman Systems and methods of facial and body recognition, identification and analysis
US11921831B2 (en) 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100839536B1 (ko) * 2006-12-15 2008-06-19 주식회사 케이티 얼굴 특징점 추출 장치 및 그 방법, 머리카락 추출 장치 및 그 방법, 실사 캐릭터 생성 시스템 및 그 방법
KR20080067793A (ko) 2007-01-17 2008-07-22 전준철 부분공간과 선형벡터양자화 분류기에 기반한 실시간 얼굴인식
KR101402078B1 (ko) * 2012-12-07 2014-06-03 경북대학교 산학협력단 얼굴 인식 장치 및 얼굴 인식 방법
KR20160118502A (ko) 2015-04-02 2016-10-12 동국대학교 산학협력단 얼굴 영상 기반 성별 인식 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100839536B1 (ko) * 2006-12-15 2008-06-19 주식회사 케이티 얼굴 특징점 추출 장치 및 그 방법, 머리카락 추출 장치 및 그 방법, 실사 캐릭터 생성 시스템 및 그 방법
KR20080067793A (ko) 2007-01-17 2008-07-22 전준철 부분공간과 선형벡터양자화 분류기에 기반한 실시간 얼굴인식
KR101402078B1 (ko) * 2012-12-07 2014-06-03 경북대학교 산학협력단 얼굴 인식 장치 및 얼굴 인식 방법
KR20160118502A (ko) 2015-04-02 2016-10-12 동국대학교 산학협력단 얼굴 영상 기반 성별 인식 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chaochao Lu et. al., Face Recognition Using Face Patch Networks, (2014.03.03) 1부* *
Rui Min et. al., Face Recognition Robust to Occlusions, (2015.11.30) 1부* *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142131A (ko) 2019-06-11 2020-12-22 서강대학교산학협력단 음성인식 장치 및 음성인식 장치의 동작방법
US20220277439A1 (en) * 2019-07-18 2022-09-01 Mitsubishi Electric Corporation Inspection device, inspection method, and recording medium
KR102215535B1 (ko) * 2020-06-02 2021-02-10 주식회사 카카오뱅크 신경망을 이용한 안면 부분 이미지 기반 신분 인증 방법 및 이를 수행하는 시스템
KR102197334B1 (ko) * 2020-06-12 2020-12-31 주식회사 카카오뱅크 신경망을 이용한 신분증 진위 판단 방법 및 이를 수행하는 서버
US12211311B2 (en) 2020-06-19 2025-01-28 Samsung Electronics Co., Ltd. Object recognition method and object recognition apparatus
KR20220018230A (ko) * 2020-08-06 2022-02-15 주식회사 카카오뱅크 신경망을 이용한 영상통화 기반의 인증 모니터링 방법 및 시스템
KR20220019325A (ko) * 2020-08-10 2022-02-17 주식회사 카카오뱅크 입력 패턴을 이용한 안면 인증 방법 및 인증 서버
KR20220031518A (ko) * 2020-09-04 2022-03-11 이승원 어린이집 등하원 알림 서비스 및 통합 관리 시스템
KR20220038877A (ko) * 2020-09-21 2022-03-29 (주) 아하 인공지능을 이용한 안면 인식 방법 및 시스템
KR20220071528A (ko) * 2020-11-24 2022-05-31 한국전력공사 얼굴 인식 장치 및 방법
KR20220077374A (ko) * 2020-12-02 2022-06-09 배종상 비대면 출입통제 장치
CN112766167A (zh) * 2021-01-20 2021-05-07 宁夏计算机软件与技术服务有限公司 一种基于人脸特征向量的人脸识方法
US12019724B2 (en) 2021-03-16 2024-06-25 Korea Institute Of Science And Technology Device and method for authenticating user based on facial characteristics and mask characteristics of the user
KR20220140240A (ko) * 2021-04-09 2022-10-18 한국과학기술연구원 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템
KR20230017424A (ko) * 2021-07-28 2023-02-06 엔에이치엔클라우드 주식회사 딥러닝 기반의 온라인 시험 부정행위 탐지 방법 및 그 시스템
US20230060298A1 (en) * 2021-08-27 2023-03-02 Citic Dicastal Co., Ltd Hub Image Retrieval Method and Device
KR102444907B1 (ko) * 2021-12-15 2022-09-19 주식회사 페이스테그 얼굴 특징 벡터를 이용한 데이터 접근 관리 방법, 데이터 접근 관리 장치, 이를 위한 컴퓨터 프로그램
KR102758618B1 (ko) * 2024-07-04 2025-01-22 주식회사 이앤지웍스 이미지 내 객체의 지역적 특징의 추출 및 식별을 기반으로 한 객체 분류 및 유사도 판단 처리 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR101998112B1 (ko) 2019-07-10

Similar Documents

Publication Publication Date Title
KR101998112B1 (ko) 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN110326001B (zh) 使用利用移动设备捕捉的图像执行基于指纹的用户认证的系统和方法
JP4610614B2 (ja) 単一画像に基づくマルチ生体認証システムおよび方法
Genovese et al. Touchless palmprint recognition systems
US20220189212A1 (en) Authentication device, authentication method, and recording medium
Omoyiola Overview of biometric and facial recognition techniques
CN113646806A (zh) 图像处理设备、图像处理方法和存储程序的记录介质
Soldera et al. Facial biometrics and applications
Donida Labati et al. Computational intelligence for biometric applications: a survey
Aglio-Caballero et al. Analysis of local binary patterns and uniform local binary patterns for palm vein biometric recognition
KR101195539B1 (ko) 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법
KR102063745B1 (ko) 측면 프로파일링 기반 신원확인 장치 및 방법
Boodoo et al. Robust multi biometric recognition using face and ear images
Srinivas et al. Human identification using automatic and semi‐automatically detected facial Marks
KR102493322B1 (ko) 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법
Rane et al. Multimodal system using Radon-Gabor transform
Dubey et al. Deep Perusal of Human Face Recognition Algorithms from Facial Snapshots
Mohammed et al. Conceptual analysis of Iris Recognition Systems
KR102249663B1 (ko) 귀 인식 기반 신원확인 방법 및 시스템
KR102598434B1 (ko) 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템
Chowdhary Analysis of Unimodal and Multimodal Biometric System
Garud et al. Fingerprint and Palmprint Recognition using neighborhood operation and FAST features
AU2021102309A4 (en) An efficient iris recognition system with complete local ternary pattern feature extraction and classification method
Henry et al. Synergy in facial recognition extraction methods and recognition algorithms
Garud et al. Palmprint and Handgeometry Recognition using FAST features and Region properties

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170809

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180710

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20190118

Patent event code: PE09021S02D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190409

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190703

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190704

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220623

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230620

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240625

Start annual number: 6

End annual number: 6